CN114332289A - 环境地图构建方法、设备及存储介质 - Google Patents
环境地图构建方法、设备及存储介质 Download PDFInfo
- Publication number
- CN114332289A CN114332289A CN202011052561.8A CN202011052561A CN114332289A CN 114332289 A CN114332289 A CN 114332289A CN 202011052561 A CN202011052561 A CN 202011052561A CN 114332289 A CN114332289 A CN 114332289A
- Authority
- CN
- China
- Prior art keywords
- environment
- map
- environment map
- area
- autonomous mobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本申请实施例提供一种环境地图构建方法、设备及存储介质。在本申请实施例中,结合自主移动设备的行走轨迹,构建包含未被占据的区域的环境地图;并以此为基础,进一步结合环境区域中存在的空间分割体的位置,识别出未被占据的区域中存在的多个子区域;通过为多个子区域添加外墙体,构建出一种类似户型图的环境地图,这种环境地图与用户的直观感受更加贴近,便于用户理解,用户基于这种环境地图可以更加方便、准确地与自主移动设备进行交互,有利于提高基于环境地图的人机交互质量。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种环境地图构建方法、设备及存储介质。
背景技术
随着人工智能技术的发展,自移动机器人的功能越来越强大,随之与用户之间的交互需求也在不断增加。鉴于此,自移动机器人开始将采用即时定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术构建的环境地图展现给用户,希望用户可以通过环境地图与自移动机器人进行交互,更加灵活地指示自移动机器人执行作业任务。例如,扫地机器人将环境地图展现给用户,希望用户可以通过环境地图,灵活、方便地指示扫地机器人到特定区域执行定点清扫任务。但问题是,基于环境地图的人机交互效果并不理想。
发明内容
本申请的多个方面提供一种环境地图构建方法、设备及存储介质,用以构建一种便于用户理解的环境地图,提高基于环境地图的人机交互质量。
本申请实施例提供一种环境地图构建方法,适用于自主移动设备,所述方法包括:获取已遍历环境区域对应的第一环境地图,所述第一环境地图中包括未被占据的区域;根据所述环境区域中空间分割体的位置,识别出所述未被占据的区域中的区域分割线,所述区域分割线将所述未被占据的区域划分为多个子区域;为所述多个子区域添加外墙体,以得到第二环境地图,所述第二环境地图中包括所述多个子区域及其外墙体。
本申请实施例还提供一种控制自主移动设备的方法,适用于终端设备,所述方法包括:响应于显示操作,展示环境地图,所述环境地图中包括其对应环境区域中多个可通行子区域及其外墙体;响应于所述环境地图上的触发操作,向自主移动设备发送控制指令,以使自主移动设备针对所述环境区域中的目标对象执行指定操作;其中,所述目标对象与所述环境地图上被触发的地图位置对应,所述地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
本申请实施例还提供一种自主移动设备,包括:设备本体,所述设备本体上设有存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,与所述存储器耦合,用于执行所述计算机程序,以用于:获取已遍历环境区域对应的第一环境地图,所述第一环境地图中包括未被占据的区域;根据所述环境区域中空间分割体的位置,识别出所述未被占据的区域中的区域分割线,所述区域分割线将所述未被占据的区域划分为多个子区域;为所述多个子区域添加外墙体,以得到第二环境地图,所述第二环境地图中包括所述多个子区域及其外墙体。
本申请实施例还提供一种终端设备,包括:存储器、处理器以及显示器;所述存储器,用于存储计算机程序;所述处理器,与所述存储器耦合,用于执行所述计算机程序,以用于:响应于显示操作,通过所述显示器展示环境地图,所述环境地图中包括其对应环境区域中多个可通行子区域及其外墙体;响应于所述环境地图上的触发操作,向自主移动设备发送控制指令,以使自主移动设备针对所述环境区域中的目标对象执行指定操作;其中,所述目标对象与所述环境地图上被触发的地图位置对应,所述地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,当计算机程序被处理器执行时,致使处理器能够实现本申请实施例提供的各方法中的步骤。
在本申请实施例中,结合自主移动设备的行走轨迹,构建包含未被占据的区域的环境地图;并以此为基础,进一步结合环境区域中存在的空间分割体的位置,识别出未被占据的区域中存在的多个子区域;通过为多个子区域添加外墙体,构建出一种类似户型地图的环境地图,这种环境地图与用户的直观感受更加贴近,便于用户理解,用户基于这种环境地图可以更加方便、准确地与自主移动设备进行交互,有利于提高基于环境地图的人机交互质量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1本申请示例性实施例提供的一种环境地图构建方法的流程示意图;
图2a为本申请示例性实施例提供的环境地图中呈现未被占据的区域的地图状态示意图;
图2b是在图2a所示未被占据的区域中添加区域分割线得到多个子区域的地图状态示意图;
图2c是为图2b所示多个子区域添加外墙体得到的地图状态示意图;
图2d是对图2c所示多个子区域之间的外墙体平齐后得到的地图状态示意图;
图3为本申请示例性实施例提供的控制自主移动设备的方法流程示意图;
图4为本申请示例性实施例提供的一种环境地图构建装置的结构示意图;
图5为本申请示例性实施例提供的一种控制装置的结构示意图;
图6a为本申请示例性实施例提供的一种自主移动设备的结构示意图;
图6b为本申请示例性实施例提供的一种自主移动机器人的结构示意图;
图7本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在介绍本申请实施例之前,先对本申请实施例中的自主移动设备进行介绍说明。本申请实施例中的自主移动设备可以是任何能够在环境空间中高度自主地进行空间移动的机械设备,例如,可以是机器人、净化器、无人驾驶的搬运车辆等。其中,机器人可以是家用型机器人,例如扫地机器人、家庭陪护机器人等;也可以是商用型机器人,例如用于商场、超市、银行、医院、机场或火车站等场所中的巡航机器人、引导机器人或协助用户办理各种事务的服务机器人,以及用于各种仓库中的搬运机器人等。在本申请实施例中,自主移动设备具有行进装置,可以在当前所处环境内自主移动;另外,自主移动设备还具有各种传感器,例如视觉传感器以及激光传感器等。其中,视觉传感器可以是单目摄像头、双目摄像头或者深度摄像头(Red Green Blue-Depth map,RGB-D)等;激光传感器包括但不限于:线激光传感器、面激光传感器等。这些传感器可在自主移动设备移动过程中采集周围的环境信息,例如视觉传感器可在自主移动设备移动过程中采集周围的环境图像,激光传感器可在自主移动设备移动过程中采集周围的障碍物信息,这些环境信息为对自主移动设备进行定位、导航或避障提供了数据依据。其中,对自主移动设备进行定位、导航或避障除了依据这些传感器实时采集到的环境信息之外,还需要依赖自主移动设备所在环境中的环境地图。
在本申请下述实施例中,提供了一种新的地图构建方法,可以构建出一种类似户型图的环境地图,这种环境地图不仅可以用来对自主移动设备进行定位、导航或避障,而且因为这种环境地图与用户的直观感受更加贴近,便于用户理解,用户还可以基于这种环境地图对自主移动设备进行交互控制。相较于传统记录障碍物信息的环境地图及记录设备移动轨迹的环境地图,使用本申请实施例提供的环境地图对自主移动设备进行交互控制,有利于提高基于环境地图的人机交互质量。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请示例性实施例提供的一种环境地图构建方法的流程示意图。如图1所示,该方法包括:
11、获取已遍历环境区域对应的第一环境地图,该第一环境地图中包括未被占据的区域。
12、根据环境区域中空间分隔体的位置,识别出未被占据的区域中的区域分割线,该区域分割线将未被占据的区域划分为多个子区域。
13、为多个子区域添加外墙体,以得到第二环境地图,该第二环境地图中包括环境区域中多个子区域及其外墙体。
在本实施例中,自主移动设备在首次进入未知环境时,沿一定的路径遍历该未知环境,以构建环境地图;或者,也可以在首次执行任务过程中,边执行作业任务,边遍历该未知环境,以构建环境地图。需要说明的是,在一次遍历过程中,自主移动机器人可能将整个环境中的区域都遍历了,也可能因为某些原因,例如某些区域无法进入或者自主移动设备电量不足等,仅遍历了整个环境中的部分区域。
无论是哪种情况,对于已遍历的环境区域,可结合自主移动设备在遍历过程中的行走轨迹,构建出该环境区域对应的环境地图,为了便于区分和描述,将这里的环境地图称为第一环境地图。具体地,在遍历过程中,可利用自主移动设备上的传感器采集周围的环境信息,根据采集到的环境信息构建第一环境地图。在一可选实施例中,自主移动设备上设置有激光传感器,则可以采用激光SLAM技术构建第一环境地图。在另一可选实施例中,自主移动设备上设置有视觉传感器,例如单目摄像头或双目摄像头,则可以采用视觉SLAM技术构建第一环境地图。可选地,第一环境地图可以是栅格地图,但不限于此。需要说明的是,可以通过前文描述的方式,获取已遍历环境区域对应的第一环境地图,除此之外,也可以采用其它方式。例如,对于已经构建出第一环境地图的情况,可以直接获取第一环境地图。
在本实施例中,对于已遍历的环境区域,可以获取其对应的第一环境地图,第一环境地图中包含该环境区域中的未被占据的区域,未被占据的区域是指未被障碍物占据的位置相衔接形成的区域。可选地,未被占据的区域可以是自主移动设备能够通行的区域,例如可以是宽度大于自主移动设备的最大宽度、高度大于自主移动设备的最大高度的一些连通区域,如客厅区域、阳台区域或卧室区域;或者,未被占据的区域也可能是一些自主移动设备无法通过的区域,例如沙发或床下面的区域,以及相邻家居之间的缝隙等。在一种可选实施例中,如图2a所示,第一环境地图中已有未被占据的区域的边界轮廓。在另一可选实施例中,第一环境地图中包括环境区域中被占据和未被占据的位置信息,未被占据的位置信息相互衔接所形成的区域即为未被占据的区域,但第一环境地图上并未标记出未被占据的区域的边界轮廓。在该可选实施例中,基于第一环境地图中记录的被占据和未被占据的位置信息,可以在第一环境地图上标记出该环境区域中的未被占据的区域。其中,第一环境地图上呈现的未被占据的区域的一种形态如图2a所示。在本实施例中,在第一环境地图中包括环境区域中被占据和未被占据的位置信息的情况下,并不限定在第一环境地图上标记未被占据的区域的具体实施方式,下面举例说明:
在一可选实施例中,可以在被占据和未被占据的位置信息之间添加边界轮廓,图2a中的曲线即为被占据和未被占据的位置信息之间的边界轮廓,该边界轮廓围出的区域(即边界轮廓内的区域)即为未被占据的区域。在图2a中,仅示出了边界轮廓及其围出的内部区域,边界轮廓之外的位置是被障碍物占据的位置,在图2a中未做图示。进一步,在被占据和未被占据的位置信息之间添加边界轮廓的一种方式中,可以遍历第一环境地图上的地图点,对遍历到的每个地图点,在其相邻地图点中寻找占据状态与该地图点不同的相邻地图点,如果寻找到,则在两个地图点之间添加一条线段;如果没有寻找到,则说明该地图点与其相邻地图点的占据状态相同,或者全部被占据,或者是全部未被占据;当所有地图点均被遍历之后,占据状态不同的相邻地图点之间的线段衔接起来就得到了图2a所示的边界轮廓。其中,地图点是第一环境地图上最小的地图单位,例如,以栅格地图为例,则栅格地图上的一个栅格就表示一个地图点。或者,在被占据和未被占据的位置信息之间添加边界轮廓的另一种方式中,可以显示第一环境地图,向用户呈现第一环境地图中被占据和未被占据的位置信息;用户可以利用手指或触控笔在被占据和未被占据的位置信息之间滑动,以发起添加边界轮廓的操作;响应于用户的滑动操作,沿着用户的滑动轨迹添加曲线,可以得到如图2a所示的边界轮廓。
在另一可选实施例中,可以用同一种颜色对未被占据的位置进行填充,所有未被占据的位置处的颜色相互衔接,即可得到被颜色填充的一片区域,即为未被占据的区域。可选地,可以遍历第一环境地图上的地图点,对遍历到的每个地图点,判断其占据状态,如果被占据,则不做处理,向其相邻地图点进行遍历;如果未被占据,则对其进行颜色填充,直至遍历完所有地图点,即可得到未被占据的区域。
在又一可选实施例中,可以用同一种颜色对被占据的位置进行填充,所有被占据的位置处的颜色相互衔接,可得到被颜色填充的一片区域,这片区域是不未被占据的区域;相应地,第一环境地图上未被颜色填充的区域,即为未被占据的区域。可选地,可以遍历第一环境地图上的地图点,对遍历到的每个地图点,判断其占据状态,如果未被占据,则不做处理,向其相邻地图点进行遍历;如果被占据,则对其进行颜色填充,直至遍历完所有地图点,即可得到不可通信区域和未被占据的区域。
在本实施例中,针对第一环境地图中包含的未被占据的区域,可以结合环境区域中存在的空间分割体的位置,识别未被占据的区域中的区域分割线。其中,空间分割体是指存在于环境区域中且能够将环境区域划分为不同区域的对象,例如可以是环境区域中的内墙体、隔断、各种门体、货架、工位等。根据应用场景的不同,空间分割体的实现会有所不同。例如,以家庭场景为例,环境区域可以是家庭区域,则家庭区域中的空间分割体可以是家庭中的入户门、房间门、内墙体以及隔扇中的至少一种。区域分割线是环境区域中存在的空间分割体在第一环境地图中的映射,区域分割线可将未被占据的区域划分为多个子区域。以图2a所示未被占据的区域为例,可以得到该未被占据的区域中的区域分割线,如图2b所示。在图2b中,以空间分割体是房间门,则区域分割线所分割出的各子区域是一个个的房间。
在一可选实施例中,可以预先获知环境区域中存在的空间分割体及其位置,例如可以通过环境区域对应的户型图,得到该环境区域中存在哪些空间分割体并可确定这些空间分割体在哪些位置;之后,可根据户型图与第一环境地图之间的坐标转换关系,可将空间分割体在户型图中的位置转换到第一环境地图中,完成空间分割体到第一环境地图的映射,该映射结果即为第一环境地图中的区域分割线。
在另一可选实施例中,自主移动设备上设置有视觉传感器,通过视觉传感器在自主移动设备遍历该环境区域的过程中可以采集该环境区域中的环境图像;基于此,可以获取视觉传感器采集到的环境图像;识别环境图像中存在的空间分割体及空间分割体在环境图像中的位置坐标;之后,将识别到的空间分割体在环境图像中的位置坐标映射到第一环境地图中,以得到未被占据的区域中的区域分割线。其中,识别环境图像中存在的空间分割体的方式可以采用以下任意一种:
基于语义的识别方式:在获取环境图像之后,可以对环境图像进行语义分割,得到环境图像中至少一个对象的语义标签;根据至少一个对象的语义标签和已知空间分割体的语义标签,识别出环境图像中存在的空间分割体。其中,语义分割在处理环境图像时,可以具体到像素级别,也就是说,会将环境图像中每个像素分配到某个对象类别。可选地,可以预先训练语义分割模型,将环境图像输入到语义分割模型中,得到环境图像中包含的对象及其语义标签。其中,语义分割模型可以是卷积神经网络模型,全卷积神经网络(FullyConvolution Networks,FCN)模型或者全卷积DenseNet(Fully Convolutional DenseNet)模型等。在本实施例中,预先维护已知空间分割体的语义标签,在语义分割模型输出环境图像中各对象及其语义标签之后,可以将各对象的语义标签与已知空间分割体的语义标签进行匹配;若匹配中,则可以确定与被匹配中的语义标签对应的对象即为空间分割体。例如,在家庭环境中,已知的空间分割体包括房间门、隔断和内墙体;假设从环境图像中识别到房间门、桌子、椅子、电视、衣柜以及沙发、茶几等对象,将各对象的语义信息与已知空间分割体的语义信息进行匹配,发现房间门被匹配中,则可以确定该环境图像中的房间门是一种具体的空间分割体。
基于模型的识别方式:对于具体应用场景,可以收集该应用场景中可作为空间分割体的对象,然后将这些可作为空间分割体的对象及其图像作为训练样本进行模型训练,得到分割体识别模型。基于此,在获取环境图像之后,可以将环境图像输入分割体识别模型进行识别,进而可以得到环境图像中是否存在空间分割体的结果,进一步,在环境图像中存在空间分割体的情况下,还可以输出该环境图像中存在的空间分割体是什么。
基于几何特征的识别方式:在获取环境图像之后,可以对环境图像中包含的至少一个对象进行特征提取,得到至少一个对象的几何特征。在本实施例中,预先维护已知空间分割体的几何特征,在得到环境图像中各对象的几何特征之后,可以将各对象的几何特征与已知空间分割体的几何特征进行匹配;若匹配中,则可以确定与被匹配中的几何特征对应的对象即为空间分割体。例如,在家庭环境中,已知的空间分割体包括房间门,且已知房间门的长宽高;假设从环境图像中识别到房间门、桌子、椅子、电视、衣柜以及沙发、茶几等对象及其几何尺寸,将各对象的几何尺寸与已知空间分割体的几何尺寸进行匹配,发现房间门的几何尺寸被匹配中,则可以确定该环境图像中的房间门是一种具体的空间分割体。
进一步,在上述三种方式中,得到包含空间分割体的环境图像可以是一张,也可以是多张。在包含空间分割体的环境图像为多张的情况下,可以将空间分割体在每张环境图像中的位置坐标分别映射到第一环境地图中,这样可以得到多组位置坐标;之后,计算多组位置坐标的平均位置坐标,将平均位置坐标在第一环境地图中对应的线段作为未被占据的区域中的区域分割线。这种使用多张环境图像的方式,有利于提高计算出的区域分割线的准确度。另外,未被占据的区域中存在的区域分割线的数量可以是一个,也可以是多个。这些区域分割线可将未被占据的区域划分为多个子区域,如图2b所示。在图2b中,以将整个未被占据的区域划分为9个子区域为例进行图示,并用数字0-8进行标记。
对用户来说,图2b所示环境地图中多个子区域并不直观,也无法理解各子区域具体对应环境区域中的哪部分区域。在本实施例中,在得到多个子区域之后,进一步为多个子区域添加外墙体,得到第二环境地图,如图2c所示。在此说明,本实施例中的环境区域来自某一建筑,例如商场、店铺、家庭、超市、体育场、机场或火车站等,而墙体是环境区域所属建筑中非常重要的部位,墙体分为外墙体和内墙体,内墙体一定程度上决定了建筑的内部结构,而外墙体决定了环境区域所属建筑的外部轮廓。在本实施例中,为子区域添加外墙体,可以得到包含多个子区域及其外墙体的第二环境地图。这样的环境地图更像户型图,对用户来说结合各子区域的外墙体可以很直观地理解第二环境地图中各子区域具体对应到实际环境中的哪个区域,可以更加方便、直观和准确地通过环境地图对自主移动设备进行交互控制,提高基于环境地图的人机交互质量。
在本申请实施例中,并不限定为多个子区域添加外墙体的实施方式。在一可选实施例中,针对每个子区域,可以从视觉传感器采集到的环境图像中提取与该子区域对应的特征信息,并将该特征信息添加至第一环境地图中的对应位置;在每个子区域的外围添加规则的外形轮廓作为外墙体,从而得到第二环境地图;其中,每个子区域及其对应特征信息全部落在其对应的外形轮廓内,且不同子区域的外形轮廓不重叠。在另一可选实施例中,用户可以实地了解各子区域的特征信息,并通过自主移动设备提供的交互界面,将各子区域的特征信息输入自主移动设备,自主移动设备在本地存储各子区域的特征信息;这样,自主移动设备可以直接从本地获取每个子区域的特征信息,并添加至第一环境地图中的对应位置;在每个子区域的外围添加规则的外形轮廓作为外墙体,从而得到第二环境地图;其中,每个子区域及其对应特征信息全部落在其对应的外形轮廓内,且不同子区域的外形轮廓不重叠。其中,规则的外形轮廓可以是长方形、正方形、三角形、五边形或六边形等规则多边形。其中,从环境图像中提取出的特征信息包括但不限于:基于几何信息的特征点、基于语义信息的轮廓点以及线特征。其中,可以采用ORB(Oriented Fast and Rotated Brief的简称)算法、尺度不变特征变换(Scale-invariant feature transform,SIFT)算法等提取基于几何信息的特征点,例如可以是角点。其中,基于语义信息的轮廓点可以是环境图像中存在的各物体的轮廓特征,例如桌子、椅子、沙发、床等物体的轮廓特征。线特征是指图像中局部显著性的特征,例如可以是灰度梯度变化较大的特征,在室内环境图像中经常出现在墙角、物体边缘或相邻墙体的拐角位置等。
在本申请实施例中,并不限定为每个子区域添加规则外形轮廓的实施方式。在一可选实施例中,对每个子区域,在为该子区域添加规则的外形轮廓时,可以获取该子区域的边界轮廓,并确定该边界轮廓的大体形状;例如该子区域的边界轮廓大体是个长方形或正方形;然后,以该边界轮廓的大体形状作为参考,在该子区域的外围添加规则外形轮廓。在另一可选实施例中,对每个子区域,在为该子区域添加规则的外形轮廓时,可以在显示屏上单独显示该子区域及其边界轮廓;用户看到该子区域及其边界轮廓之后,可以确定该子区域的边界轮廓的大体形状,则以该边界轮廓的大体形状作为参考,在该子区域的外围手动绘制规则多边形;自主移动设备可响应于用户在显示屏上绘制规则多边形的操作,沿着显示屏上的移动轨迹在该子区域的外围添加规则多边形作为外形轮廓。在又一可选实施例中,在将未被占据的区域分割为多个子区域之后,在显示屏上显示将第一环境地图,此时第一环境地图包括多个子区域;用户看到第一环境地图后,可以确定每个子区域及其边界轮廓的大体形状,则以每个子区域的边界轮廓的大体形状作为参考,依次在每个子区域的外围手动绘制规则多边形;自主移动设备可响应于用户在显示屏上绘制规则多边形的操作,沿着显示屏上的移动轨迹依次在每个子区域的外围添加规则多边形作为其外形轮廓。
进一步可选地,在每个子区域的外围添加规则的外形轮廓之后,还可以对多个子区域外形轮廓之间的缝隙进行填充,以平齐多个子区域的外墙体。例如,在对图2c所示第二环境地图进行缝隙填充之后,可以得到图2d所示的第二环境地图。这样,第二环境地图更加美观,更加符合用户直观感受。
在此说明,在图2c和图2d中,不同子区域对应的颜色深度不同,以便于对不同子区域进行区分。在实际应用中,各子区域之间可以带有颜色填充,也可以不带有颜色填充,对此不做限定。
进一步可选地,在图2c或图2d所示的第二环境地图中,除了包括多个子区域以及各子区域的外墙体之外,还可以从视觉传感器采集到的环境图像中识别出各子区域中以及外墙体上包含的其它对象,例如窗户或悬挂的壁画等各种物体。
进一步可选地,在图2c或图2d所示的第二环境地图中,还可以显示各子区域的面积,使得第二环境地图更像户型图,更加切近用户的直观感觉。在一可选实施例中,各子区域的户型面积可以从环境区域对应的实际户型图或建筑图纸中获取并提供给自主移动设备,自主移动设备将各子区域的户型面积标注到第二环境地图中。在另一可选实施例中,在为各子区域添加外墙体之后,可以以各子区域的外墙体为基准,根据外墙体的形状和尺寸,预估各子区域的户型面积;之后,将各子区域的户型面积标注在第二环境地图中。
进一步可选地,为了能够更加准确地基于外墙体的形状和尺寸预估各子区域的户型面积,在为各子区域添加外墙体时,可以考虑实际建筑场景中外墙体的厚度,按照第二环境地图的比例尺,合理地在每个子区域的外围添加能够覆盖住每个子区域及其对应特征信息的外墙体。
进一步可选地,在图2c或图2d所示的第二环境地图中,各子区域属于环境区域中未被占据的部分位置,除此之外,还可以包括该环境区域中被占据的位置信息。这样,自主移动设备可以直接根据第二环境地图中包括的被占据和未被占据的位置信息进行定位、导航或避障。
在本申请实施例中,在得到第二环境地图之后,自主移动设备可以输出第二环境地图,以便于用户能够通过第二环境地图与自主移动设备进行交互。其中,输出第二环境地图的方式包括但不限于以下几种:
输出方式1:自主移动设备设置有显示屏,则可以将第二环境地图显示显示屏上,供用户使用。
输出方式2:自主移动设备设置有投影模型,利用投影模块可以将第二环境地图投影至幕布或墙面上进行显示,供用户使用。
输出方式3:自主移动设备可以与用户的终端设备进行绑定,用户的终端设备上安装有控制自主移动设备的应用程序(APP),自主移动设备可以将第二环境地图发送至用户的终端设备,由终端设备将第二环境地图显示给用户,以供用户使用。
对用户来说,可以通过第二环境地图对自主移动设备进行交互控制。其中,用户可以利用终端设备显示的第二环境地图对自主移动设备进行交互控制;或者,也可以通过自主移动设备投影到幕布或墙面上的第二环境地图对自主移动设备进行交互控制;或者,也可以通过自主移动设备显示的第二环境地图对自主移动设备进行交互控制。下面分别展开说明:
基于第二环境地图的交互控制方式1:自主移动设备在得到第二环境地图之后,将第二环境地图保存在本地。进一步,当用户希望通过第二环境地图对自主移动设备进行交互控制时,可以向自主移动设备发出显示第二环境地图的指令。例如,用户可以通过语音方式向自主移动设备发出显示第二环境地图的指令,或者,也可以通过其终端设备上的APP向自主移动设备发出显示第二环境地图的指令,或者也可以通过自主移动设备提供的物理按钮或虚拟按钮向自主移动设备发出显示第二环境地图的指令。无论是哪种方式,自主移动设备在接收到用户的指令后,可以将第二环境地图显示在其显示屏上。用户看到第二环境地图后,根据第二环境地图中显示的各子区域以及各子区域的外墙体,根据实际环境中各对象与外墙体的相对位置关系,可以确定实际环境中要控制的对象在第二环境地图中的大体或精确位置,于是,可以在第二环境地图上发出触发操作,例如可以点击第二环境地图上某个地图位置,以指示自主移动设备针对实际环境中与该地图位置对应的目标对象执行指定操作。对自主移动设备来说,可响应于第二环境地图上的触发操作,针对实际环境中与被触发的地图位置对应的目标对象执行指定操作。
其中,根据应用场景的不同,被触发的地图位置、对应的目标对象以及指定操作均会有所不同。下面以家庭场景为例,在该家庭场景中包括入户门、房间门、内墙体、外墙体以及隔扇;这些入户门、房间门内墙体、外墙体以及隔扇将整个家庭环境分割为多个环境子区域;这些环境子区域包括但不限于:房间(如主卧室、次卧室、儿童房)、厨房、卫生间、客厅、阳台、、书房或健身房等中的一种或多种,另外,在家庭环境中,外墙体上通常设有窗户。以自主移动设备是家用扫地机器人为例,对用户通过类似户型图的第二环境地图与扫地机器人进行交互控制的过程进行示例性说明。
为了解放双手,提高清洁效率和质量,用户购买一台扫地机器人,该扫地机器人具有激光传感器和视觉传感器。首次开机后,扫地机器人遍历整个家庭环境,在遍历过程中利用激光传感器采集已遍历区域中的障碍物信息,并利用视觉传感器采集已遍历区域中的环境图像。在遍历结束后,扫地机器人通过自带的SLAM系统完成室内栅格地图的构建,即第一环境地图。其中,可以采用激光SLAM技术构建第一环境地图,也可以采用视觉SLAM技术构建第一环境地图。在第一环境地图的基础上,采用前述实施例提供的方法构建出类似户型地图的第二环境地图。用户通过第二环境地图可与扫地机器人进行交互控制,指示扫地机器人执行清扫任务和/或监控任务。
场景实施例A1:
扫地机器人带有视觉传感器,基于视觉传感器可为用户提供各种监控服务。在本实施例中,用户希望扫地机器人能够辅助监控入户门的状态,以避免因忘记关闭入户门或入户门因异常而引起的家庭安全问题。基于此,用户可以启用扫地机器人的监控服务。具体地,用户通过语音或触控等方式指示扫地机器人显示第二环境地图。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定入户门在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
扫地机器人响应于对该地图位置的触发操作,确定与该触发操作绑定的服务为监控服务,并确定实际环境中与该地图位置对应的目标对象为入户门;然后,以语音方式向用户输出确认信息,例如“请确认是否监控入户门”。用户以语音方式进行确认;扫地机器人收到用户进行确认的语音信号后,启动视觉传感器,并从当前位置移动至入户门附近的目标位置,目标位置的选择以入户门落入视觉传感器的视场范围内为依据。
然后,在该目标位置处利用视觉传感器持续采集包含入户门的图像,并根据采集到的图像分析入户门是否未关闭或者是否有异常;当发现入户门未关闭或未完全关闭或者入户门有异常情况时,以语音方式向用户输出警告信息,以提示用户入户门未关闭或有异常情况,请用户及时关注。其中,识别入户门是否关闭或是否有异常,可以由服务端执行并向扫地机器人返回识别结果;当然也可以由扫地机器人执行。无论由谁执行识别操作,可选地,可以预先训练识别模型,利用识别模型识别入户门是否关闭或是否有异常;或者,可选地,也可以预先保存入户门关闭状态或正常状态下的图像作为基准图像;将采集到的包含入户门状态的图像与预先保存的基准图像进行特征比对,从而识别入户门是否关闭或是否有异常。其中,入户门可能存在的异常情况包括但不限于:入户门被猛烈撞击、在监控期间有人通过入户门往屋内观望以及在监控期间有人通过入户门进入屋内。进一步可选地,扫地机器人还可以预先扫描并保存家人的图像,将监控期间通过入户门进入或往屋内观察的人员图像与预先保存的家人图像进行比对;若发现是陌生人,则及时发出警告信息。
场景实施例A2:
在实际应用中,用户可能不希望扫地机器人进入特定房间执行任务。例如,在儿童睡觉时,用户不希望扫地机器人进入儿童房内执行任务,以免影响儿童休息。又例如,在为某个房间开窗通风期间,需要关闭该房间的房间门,此时也不希望扫地机器人进入该房间。针对这些需求,扫地机器人可为用户提供一种房间门关闭服务。该房间门关闭服务所实现的“关闭”是一种虚拟关闭方式,但对扫地机器人来说,将不会进入该房间门对应的房间。
当用户不希望扫地机器人进入目标房间时,可以启用扫地机器人提供的房间门关闭服务。具体地,用户通过语音或触控等方式指示扫地机器人显示第二环境地图。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定目标房间在第二环境地图上对应的子区域,并且可确定目标房间的房间门在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
扫地机器人响应于对该地图位置的触发操作,确定与该触发操作绑定的服务为房间门关闭服务,可选地,可以以语音方式向用户输出确认信息,例如“请确认是否关闭该房间门”;用户以语音方式进行确认;扫地机器人收到用户进行确认的语音信号后,在第二环境地图上与该房间门对应的位置处设置虚拟墙。这样,扫地机器人移动到该房间门前时,会因为无法通过而调整移动方向,不会通过该房间门进入目标房间,达到了关闭房间门的效果。
可选地,用户还可以再次对上述地图位置发出触发操作,再次发出的触发操作用于指示解除对该房间门的关闭。扫地机器人响应于对该地图位置的再次触发操作,将第二环境地图上与房间门对应的位置处的虚拟墙取消,以解除对该房间门的关闭。在解除对房间门的关闭后,扫地机器人就可以通过该房间门进入对应的目标房间,执行清扫任务或监控任务。
场景实施例A3:
与上述场景实施例A1类似,扫地机器人带有视觉传感器,基于视觉传感器可为用户提供各种监控服务。在本实施例中,用户希望扫地机器人能够辅助监控窗户的状态,以避免因忘记关窗或窗户因异常而引起的家庭安全问题。例如,孩子在家时,由于孩子活泼好动,经常会爬到窗户上玩耍,家长无法实时追踪,可以启用扫地机器人的监控服务。又例如,用户外出时,希望开窗给室内通风,但又担心有不法人员通过窗户入室盗窃,可以启用扫地机器人的监控服务。
具体地,用户在启用扫地机器人的监控服务时,可以通过语音或触控等方式指示扫地机器人显示第二环境地图。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定窗户在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
扫地机器人响应于对该地图位置的触发操作,确定与该触发操作绑定的服务为监控服务,并确定实际环境中与该地图位置对应的目标对象为窗户;然后,以语音方式向用户输出确认信息,例如“请确认是否监控窗户”。用户以语音方式进行确认;扫地机器人收到用户进行确认的语音信号后,启动视觉传感器,并从当前位置移动至窗户附近的目标位置,目标位置的选择以窗户落入视觉传感器的视场范围内为依据。
然后,在该目标位置处利用视觉传感器持续采集包含窗户的图像,并根据采集到的图像分析窗户是否未关闭或者是否有异常;当发现窗户未关闭或者有孩子在窗户上玩耍或有人从窗外入室等异常情况时,以语音方式向用户输出警告信息,或者,向用户的终端设备以短信或应用内消息等方式发送警告信息,以提示用户窗户未关闭或有异常情况,请用户及时关注。其中,识别窗户是否关闭或是否有异常,可以由服务端执行并向扫地机器人返回识别结果;当然也可以由扫地机器人执行,具体识别方式可参见前述场景实施例A1中的描述,对此不再赘述。
场景实施例A4:
本实施例的扫地机器人支持沿边清扫模式,即扫地机器人会自动随着墙壁的边缘进行清扫。基于此,用户可以根据实际情况,指定扫地机器人具体沿着那个墙壁的边缘进行清扫。例如,用户在房间过程中,希望边收拾边清扫,但是某个墙体边缘堆放有物品,用户尚未来得及收拾,此时,用户可以选择让扫地机器人沿着其它墙体边缘开始清扫,给用户留出收拾这些物品的时间,而且在此期间还不耽误清扫。鉴于此,用户可以通过语音、显示屏或物理按键等方式指示扫地机器人执行沿边清扫任务;此时,扫地机器人接收用户发出的清扫指令,向用户显示第二环境地图,以供用户选择需要沿边清扫的墙体是哪个。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定需要沿边清扫的内墙体或外墙体在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
扫地机器人响应于对该地图位置的触发操作,确定实际环境中与该地图位置对应的目标对象为内墙体或外墙体。可选地,扫地机器人还可以以语音方式向用户输出确认信息,例如“请确认是否沿选定的墙体执行沿边清扫任务”。用户以语音方式进行确认;扫地机器人收到用户进行确认的语音信号后,从当前位置移动至用户选定的内墙体或外墙体处,开始执行沿边清扫任务。
场景实施例A5:
本实施例的扫地机器人支持定点清扫模式,即扫地机器人可以针对用户选定的环境子区域进行清扫。基于此,用户可以根据实际情况,指示扫地机器人到特定环境子区域中进行清扫。例如,用户可以根据需要,指示扫地机器人到儿童房、宠物房、厨房或卫生间等特定的环境子区域中执行清扫任务。鉴于此,用户可以通过语音、显示屏或物理按键等方式指示扫地机器人执行定点清扫任务;此时,扫地机器人接收用户发出的清扫指令,向用户显示第二环境地图,以供用户选择需要定点清扫的环境子区域,如儿童房、宠物房、厨房或卫生间等。由于第二环境地图与家庭户型图相似,用户可以方面、直观地确定需要定点清扫的环境子区域在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
扫地机器人响应于对该地图位置的触发操作,确定实际环境中与该地图位置对应的目标对象为儿童房、宠物房、厨房或卫生间等特定的环境子区域。可选地,扫地机器人还可以以语音方式向用户输出确认信息,例如“请确认是否沿对选定的环境子区域执行定点清扫任务”。用户以语音方式进行确认;扫地机器人收到用户进行确认的语音信号后,从当前位置移动至选定的环境子区域中,开始执行定点清扫任务。
进一步可选地,除了上述场景实施例A4和A5之外,用户还可以通过其它方式指示扫地机器人执行清扫任务,例如,用户可以直接对扫地机器人说“执行清扫任务”,扫地机器人接收到执行清扫任务的指令后,可采用随机清扫模式或弓字型清扫模式执行清扫任务。无论是用户采用何种方式指示扫地机器人执行清扫任务,也无论扫地机器人以何种模式执行清扫任务,在扫地机器人执行清扫任务过程中,可获取当前清扫区域在第二环境地图上对应的子区域记为目标子区域;然后,根据目标子区域的外墙体和扫地机器人的移动轨迹,计算扫地机器人已清扫的户型面积;在第二环境地图的目标子区域中,显示已清扫的户型面积。进一步,还可以在第二环境地图的目标子区域中,显示扫地机器人的移动轨迹。其中,扫地机器人已清扫的户型面积大于等于其实际清扫面积。实际清扫面积是根据扫地机器人的移动轨迹计算出来的面积,是扫地机器人实际走过的面积;而已清扫的户型面积不仅包括实际清扫面积,如果清扫区域中存在一些扫地机器人无法通过或无法清扫的区域,也会考虑在内。以扫地机器人清扫客厅为例,客厅中摆放有茶几、电视柜和沙发,被茶几、电视柜和沙发占据的区域,假设面积为10平米,这10平米是扫地机器人是无法清扫的,扫地机器人实际可以清扫的是客厅中的其余区域,假设为20平米,那么扫地机器人在客厅中执行清扫任务,可根据扫地机器人的移动轨迹计算出其实际清扫面积是或大约是20平米,但根据客厅的外墙体和扫地机器人的移动轨迹计算出其清扫的户型面积是或大约是30平米。
由此可见,基于上述类似户型图的第二环境地图,用户可以更加方便、直观、灵活多样地对扫地机器人发起控制操作,同时基于第二环境地图,也丰富了扫地机器人的功能,使得扫地机器人不再局限于为用户提供清扫服务,还可以为用户提供各种监控服务。
基于第二环境地图的交互控制方式2:自主移动设备在得到第二环境地图之后,一方面将第二环境地图保存在本地,另一方面将第二环境地图发送给用户的终端设备。进一步,当用户希望通过第二环境地图对自主移动设备进行交互控制时,可以通过其使用的终端设备对自主移动设备进行控制。基于此,如图3所示,从终端设备角度描述的一种控制自主移动设备的方法,包括:
31、响应于显示操作,展示第二环境地图,所述第二环境地图中包括其对应环境区域中多个可通行子区域及其外墙体。
32、响应于第二环境地图上的触发操作,向自主移动设备发送控制指令,以使自主移动设备针对实际环境中与被触发的地图位置对应的目标对象执行指定操作;其中,目标对象与第二环境地图上被触发的地图位置对应,该地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
用户可以向其使用的终端设备发起显示第二环境地图的操作。例如,用户可以点击桌面上的APP图标,打开控制自主移动设备的APP,此时可显示第二环境地图。或者,在APP的设置页面中包含供用户选择是否显示第二环境地图的配置项,例如是一开关按钮,用户通过该配置项发出显示第二环境地图的操作。或者,用户也可以通过语音指令指示终端设备显示第二环境地图。无论是哪种方式,终端设备在接收到用户的指令后,可以将第二环境地图显示在其显示屏上。
用户看到第二环境地图后,根据第二环境地图中显示的各子区域以及各子区域的外墙体,根据实际环境中各对象与外墙体的相对位置关系,可以确定实际环境中要控制的对象在第二环境地图中的大体或精确位置,于是,可以在第二环境地图上发出触发操作,例如可以点击第二环境地图上某个地图位置,以指示自主移动设备针对实际环境中与该地图位置对应的目标对象执行指定操作。终端设备响应于第二环境地图上的触发操作,向自主移动设备发送控制指令,以使自主移动设备针对实际环境中与被触发的地图位置对应的目标对象执行指定操作。
其中,根据应用场景的不同,被触发的地图位置、对应的目标对象以及指定操作均会有所不同。下面以家庭场景为例,在该家庭场景中包括入户门、房间门、内墙体、外墙体以及隔扇;这些入户门、房间门内墙体、外墙体以及隔扇将整个家庭环境分割为多个环境子区域;这些环境子区域包括但不限于:房间(如主卧室、次卧室、儿童房)、厨房、卫生间、客厅、阳台、、书房或健身房等中的一种或多种,另外,在家庭环境中,外墙体上通常设有窗户。以自主移动设备是家用扫地机器人为例,对用户通过类似户型图的第二环境地图与扫地机器人进行交互控制的过程进行示例性说明。
为了解放双手,提高清洁效率和质量,用户购买一台扫地机器人,该扫地机器人具有激光传感器和视觉传感器。首次开机后,扫地机器人遍历家庭环境,在遍历过程中利用激光传感器采集已遍历区域中的障碍物信息,并利用视觉传感器采集已遍历区域中的环境图像。在遍历结束后,扫地机器人通过自带的SLAM系统完成室内栅格地图的构建,即第一环境地图。其中,可以采用激光SLAM技术构建第一环境地图,也可以采用视觉SLAM技术构建第一环境地图。在第一环境地图的基础上,采用前述实施例提供的方法构建出类似户型地图的第二环境地图。用户通过第二环境地图可与扫地机器人进行交互控制,指示扫地机器人执行清扫任务和/或监控任务。
需要说明的是,扫地机器人可以先遍历部分家庭区域,并构建部分家庭区域对应的第二环境地图;然后,在后续执行作业任务中,若遍历到新的家庭区域,可以针对新的家庭区域构建环境地图,并对已有第二环境地图进行更新,逐渐得到整个家庭环境的第二环境地图。
在构建出家庭环境对应的第二环境地图之后,扫地机器人将第二环境地图发送给用户的终端设备。用户的终端设备上安装有用于控制扫地机器人的APP,用户通过该APP可以查看第二环境地图,也可以通过该APP向扫地机器人发出各种控制指令。
场景实施例B1:
扫地机器人带有视觉传感器,基于视觉传感器可为用户提供各种监控服务。在本实施例中,用户希望扫地机器人能够辅助监控入户门的状态,以避免因忘记关闭入户门或入户门因异常而引起的家庭安全问题。基于此,用户可以启用扫地机器人的监控服务。具体地,用户打开终端设备上的APP,并通过该APP的页面显示第二环境地图。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定入户门在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
用户的终端设备响应于对该地图位置的触发操作,确定实际环境中与该地图位置对应的目标对象为入户门;可选地,在第二环境地图上方,以浮层或消息弹窗的方式向用户输出确认信息,例如“请确认是否监控入户门”,并显示“是”与“否”按钮。终端设备响应用户点击“是”按钮的操作,向扫地机器人发送控制指令,以指示扫地机器人检查入户门是否有异常或关闭。
扫地机器人收到终端设备发送的控制指令后,可识别出需要执行检查入户门是否有异常或关闭的操作,于是启动视觉传感器,并从当前位置移动至入户门附近的目标位置,目标位置的选择以入户门落入视觉传感器的视场范围内为依据。在该目标位置处利用视觉传感器持续采集包含入户门的图像,并根据采集到的图像分析入户门是否未关闭或者是否有异常。当发现入户门未关闭或未完全关闭或者入户门有异常情况时,以语音方式向用户输出警告信息,或者,向终端设备以短信或应用内消息的方式返回告警信息,以提示用户入户门未关闭或有异常情况,请用户及时关注。
场景实施例B2:
在实际应用中,用户可能不希望扫地机器人进入特定房间执行任务。例如,在儿童睡觉时,用户不希望扫地机器人进入儿童房内执行任务,以免影响儿童休息。又例如,在为某个房间开窗通风期间,需要关闭该房间的房间门,此时也不希望扫地机器人进入该房间。针对这些需求,扫地机器人可为用户提供一种房间门关闭服务。该房间门关闭服务所实现的“关闭”是一种虚拟关闭方式,但对扫地机器人来说,将不会进入该房间门对应的房间。
当用户不希望扫地机器人进入目标房间时,可以启用扫地机器人提供的房间门关闭服务。具体地,用户打开终端设备上的APP,并通过该APP的页面显示第二环境地图。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定目标房间在第二环境地图上对应的子区域,并且可确定目标房间的房间门在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
用户的终端设备响应于对该地图位置的触发操作,可选地,在第二环境地图上方,以浮层或消息弹窗的方式向用户输出确认信息,例如“请确认是否关闭该房间门”,并显示“是”与“否”按钮。终端设备响应用户点击“是”按钮的操作,向扫地机器人发送控制指令,以指示扫地机器人提供房间门关闭服务。
扫地机器人收到终端设备发送的控制指令后,可识别出需要执行房间门关闭服务,于是,在第二环境地图上与该房间门对应的位置处设置虚拟墙。这样,扫地机器人移动到该房间门前时,会因为无法通过而调整移动方向,不会通过该房间门进入目标房间,达到了关闭房间门的效果。
可选地,用户还可以再次对上述地图位置发出触发操作,再次发出的触发操作用于指示解除对该房间门的关闭。终端设备响应于对该地图位置的再次触发操作,向扫地机器人发送解除指令;扫地机器人根据该解除指令,将第二环境地图上与房间门对应的位置处的虚拟墙取消,以解除对该房间门的关闭。在解除对房间门的关闭后,扫地机器人就可以通过该房间门进入对应的目标房间,执行清扫任务或监控任务。
场景实施例B3:
与上述场景实施例B1类似,扫地机器人带有视觉传感器,基于视觉传感器可为用户提供各种监控服务。在本实施例中,用户希望扫地机器人能够辅助监控窗户的状态,以避免因忘记关窗或窗户因异常而引起的家庭安全问题。例如,孩子在家时,由于孩子活泼好动,经常会爬到窗户上玩耍,家长无法实时追踪,可以启用扫地机器人的监控服务。又例如,用户外出时,希望开窗给室内通风,但又担心有不法人员通过窗户入室盗窃,可以启用扫地机器人的监控服务。
具体地,用户打开终端设备上的APP,并通过该APP的页面显示第二环境地图。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定窗户在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
用户的终端设备响应于对该地图位置的触发操作,确定实际环境中与该地图位置对应的目标对象为窗户;可选地,在第二环境地图上方,以浮层或消息弹窗的方式向用户输出确认信息,例如“请确认是否监控窗户”,并显示“是”与“否”按钮。终端设备响应用户点击“是”按钮的操作,向扫地机器人发送控制指令,以指示扫地机器人检查窗户是否有异常或关闭。
扫地机器人收到终端设备发送的控制指令后,可识别出需要执行检查窗户是否有异常或关闭的操作,于是启动视觉传感器,并从当前位置移动至窗户附近的目标位置,目标位置的选择以窗户落入视觉传感器的视场范围内为依据。在该目标位置处利用视觉传感器持续采集包含入户门的图像,并根据采集到的图像分析入户门是否未关闭或者是否有异常;当发现入户门未关闭或未完全关闭或者入户门有异常情况时,以语音方式向用户输出警告信息,或者,向终端设备以短信或应用内消息的方式返回告警信息,以提示用户入户门未关闭或有异常情况,请用户及时关注。
场景实施例B4:
本实施例的扫地机器人支持沿边清扫模式,即扫地机器人会自动随着墙壁的边缘进行清扫。基于此,用户可以根据实际情况,指定扫地机器人具体沿着那个墙壁的边缘进行清扫。例如,用户在房间过程中,希望边收拾边清扫,但是某个墙体边缘堆放有物品,用户尚未来得及收拾,此时,用户可以选择让扫地机器人沿着其它墙体边缘开始清扫,给用户留出收拾这些物品的时间,而且在此期间还不耽误清扫。鉴于此,用户打开终端设备上的APP,通过该APP的页面显示第二环境地图。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定需要沿边清扫的内墙体或外墙体在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
用户的终端设备响应于对该地图位置的触发操作,确定实际环境中与该地图位置对应的目标对象为内墙体或外墙体。可选地,终端设备还可以在第二环境地图上方,以浮层或消息弹窗的方式向用户输出确认信息,例如“请确认是否沿选定的墙体执行沿边清扫任务”,并显示“是”与“否”按钮。终端设备响应用户点击“是”按钮的操作,向扫地机器人发送控制指令,以指示扫地机器人针对选定的内墙体或外墙体执行沿边清扫任务。扫地机器人收到终端设备发送的控制指令后,可识别出需要针对选定的内墙体或外墙体执行沿边清扫任务,于是从当前位置移动至用户选定的内墙体或外墙体处,开始执行沿边清扫任务。
场景实施例B5:
本实施例的扫地机器人支持定点清扫模式,即扫地机器人可以针对用户选定的环境子区域进行清扫。基于此,用户可以根据实际情况,指示扫地机器人到特定环境子区域中进行清扫。例如,用户可以根据需要,指示扫地机器人到儿童房、宠物房、厨房或卫生间等特定的环境子区域中执行清扫任务。鉴于此,用户打开终端设备上的APP,通过该APP的页面显示第二环境地图,用户通过第二环境地图可以选择需要定点清扫的环境子区域,如儿童房、宠物房、厨房或卫生间等。由于第二环境地图与家庭户型图相似,用户可以方便、直观地确定需要定点清扫的环境子区域在第二环境地图上对应的地图位置;然后,针对该地图位置发起触发操作,例如可以点击、双击、长按或触控该地图位置。
用户的终端设备响应于对该地图位置的触发操作,确定实际环境中与该地图位置对应的目标对象为儿童房、宠物房、厨房或卫生间等特定的环境子区域。可选地,终端设备还可以在第二环境地图上方,以浮层或消息弹窗的方式向用户输出确认信息,例如“请确认是否沿对选定的环境子区域执行定点清扫任务”。终端设备响应用户点击“是”按钮的操作,向扫地机器人发送控制指令,以指示扫地机器人针对选定的环境子区域执行定点清扫任务。扫地机器人收到终端设备发送的控制指令后,可识别出需要针对选定的环境子区域执行定点清扫任务,于是从当前位置移动至选定的环境子区域中,开始执行定点清扫任务。
进一步可选地,除了上述场景实施例B4和B5之外,用户还可以通过其它方式指示扫地机器人执行清扫任务,例如,用户可以直接对扫地机器人说“执行清扫任务”,扫地机器人接收到执行清扫任务的指令后,可采用随机清扫模式或弓字型清扫模式执行清扫任务。无论是用户采用何种方式指示扫地机器人执行清扫任务,也无论扫地机器人以何种模式执行清扫任务,在扫地机器人执行清扫任务过程中,可获取当前清扫区域在第二环境地图上对应的子区域记为目标子区域;根据目标子区域的外墙体和扫地机器人的移动轨迹,计算其已清扫的户型面积;并将其已清扫的户型面积返回给终端设备。终端设备接收扫地机器人发送的执行清扫任务时已清扫的户型面积,在第二环境地图的目标子区域中,显示所述已清扫的户型面积;其中,扫地机器人已清扫的户型面积大于等于其实际清扫面积。关于已清扫的户型面积与实际清扫面积的解释说明可参见前述实施例,在此不再赘述。进一步,扫地机器人还可以将其执行清扫任务时的移动轨迹发送给终端设备;终端设备还可接收扫地机器人返回的执行清扫任务时的移动轨迹,并在第二环境地图的目标子区域中,显示扫地机器人的移动轨迹。
由此可见,基于上述类似户型图的第二环境地图,用户可以更加方便、直观、灵活多样地对扫地机器人发起控制操作,同时基于第二环境地图,也丰富了扫地机器人的功能,使得扫地机器人不再局限于为用户提供清扫服务,还可以为用户提供各种监控服务。
基于第二环境地图的交互控制方式3:自主移动设备在得到第二环境地图之后,将第二环境地图保存在本地。自主移动设备设有投影模块,且配有投影遥控器。当用户希望通过第二环境地图对自主移动设备进行交互控制时,可以通过投影遥控器向自主移动设备发出显示第二环境地图的指令。自主移动设备在接收到投影遥控器发出的显示指令后,可以将第二环境地图投影至家庭的白色墙面上。其中,该白色墙面的位置可预先设置在自主移动设备中,据此,自主移动设备根据该位置移动至白色墙面附近并将投影模块朝向该白色墙面进行投影。或者,自主移动设备也可以在接收到显示指令后,实时寻找距离自己最近的白色墙面,将投影模块朝向该最近的白色墙面进行投影。用户看到第二环境地图后,根据第二环境地图中显示的各子区域以及各子区域的外墙体,根据实际环境中各对象与外墙体的相对位置关系,可以确定实际环境中要控制的对象在第二环境地图中的大体或精确位置,于是,可以通过投影遥控器在第二环境地图上发出触发操作,例如可以将红外光点打到第二环境地图上某个地图位置,以指示自主移动设备针对实际环境中与该地图位置对应的目标对象执行指定操作。对自主移动设备来说,可通过投影模块或视觉摄像头捕捉到第二环境地图上的红外光点,确定第二环境地图上被触发的地图位置,针对实际环境中与被触发的地图位置对应的目标对象执行指定操作。
其中,根据应用场景的不同,被触发的地图位置、对应的目标对象以及指定操作均会有所不同。以家庭场景为例,以自主移动设备是家用扫地机器人为例,用户通过第二环境地图可以指示扫地机器人对入户门或窗口进行监控,也可以指示扫地机器人提供房间门关闭服务,还可以指示扫地机器人提供沿边清扫任务或定点清扫任务。这些实施例与前述场景实施例相比,区别仅在于:用户通过第二环境地图发出交互控制的方式不同,其它实施过程均相同或相似,故可参见前述实施例,在此不再赘述。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤11至步骤14的执行主体可以为设备A;又比如,步骤11-13的执行主体可以为设备A,步骤14的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如11、12等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图4为本申请示例性实施例提供的一种环境地图构建装置的结构示意图。如图4所示,该装置包括:获取模块41、识别模块43以及添加模块44。
获取模块41,用于获取已遍历环境区域对应的第一环境地图,第一环境地图中包括未被占据的区域;
识别模块43,用于根据环境区域中空间分割体的位置,识别出未被占据的区域中的区域分割线,区域分割线将未被占据的区域划分为多个子区域;
添加模块44,用于为多个子区域添加外墙体,以得到第二环境地图,第二环境地图中包括多个子区域及其外墙体。
进一步可选地,如图4所示,该装置还可以包括:标记模块42。在第一环境地图中包括环境区域中被占据和未被占据的位置信息的情况下,标记模块42用于基于被占据和未被占据的位置信息,在第一环境地图上标记出未被占据的区域,为识别模块43提供数据基础。具体地,可以在被占据和未被占据的位置信息之间添加边界轮廓,所述边界轮廓围出的区域为未被占据的区域。
关于获取模块41、标记模块42、识别模块43以及添加模块44所实现功能的详细描述,可参见前述实施例中相应描述,在此不再赘述。
图5为本申请示例性实施例提供的一种控制装置的结构示意图。如图5所示,该装置包括:显示模块51和发送模块52。
显示模块51,用于响应于显示操作,展示环境地图,环境地图中包括其对应环境区域中多个可通行子区域及其外墙体;
发送模块52,用于响应于环境地图上的触发操作,向自主移动设备发送控制指令,以使自主移动设备针对环境区域中的目标对象执行指定操作;其中,目标对象与环境地图上被触发的地图位置对应,地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
关于显示模块51和发送模块52所实现功能的详细描述,可参见前述实施例中相应描述,在此不再赘述。
图6a为本申请示例性实施例提供的一种自主移动设备的结构示意图。如图6a所示,该自主移动设备包括:设备本体60,设备本体60上设有存储器64和处理器66;进一步,设备本体60上还设有视觉传感器61,以及一些其它传感器62,例如惯导传感器、激光传感器、防撞传感器等。
存储器64,用于存储计算机程序,并可被配置为存储其它各种数据以支持在自主移动设备上的操作。这些数据的示例包括用于在自主移动设备上操作的任何应用程序或方法的指令,消息,图片,视频等。
处理器65,与存储器64耦合,用于执行存储器64中的计算机程序,以用于:获取已遍历环境区域对应的第一环境地图,第一环境地图中包括未被占据的区域;根据环境区域中空间分割体的位置,识别出未被占据的区域中的区域分割线,区域分割线将未被占据的区域划分为多个子区域;为多个子区域添加外墙体,以得到第二环境地图,第二环境地图中包括多个子区域及其外墙体。
在一可选实施例中,第一环境地图中包括环境区域中被占据和未被占据的位置信息;基于此,处理器65还用于:基于被占据和未被占据的位置信息,在第一环境地图上标记出未被占据的区域。处理器65在第一环境地图上标记出未被占据的区域时,具体用于:在被占据和未被占据的位置信息之间添加边界轮廓,边界轮廓围出的区域为未被占据的区域。
在一可选实施例中,处理器65在识别未被占据的区域中的区域分割线时,具体用于:获取视觉传感器在自主移动设备遍历环境区域过程中采集到的环境图像;识别环境图像中存在的空间分割体及其在环境图像中的位置坐标;将空间分割体在环境图像中的位置坐标映射到第一环境地图中,以得到未被占据的区域中的区域分割线。
在一可选实施例中,处理器65在识别环境图像中存在的空间分割体时,具体用于:对环境图像进行语义分割,得到环境图像中至少一个对象的语义标签;根据至少一个对象的语义标签和已知空间分割体的语义标签,识别出环境图像中存在的空间分割体;或者,将环境图像输入分割体识别模型进行识别,以得到环境图像中存在的空间分割体;或者,提取环境图像中至少一个对象的几何特征;根据至少一个对象的几何特征和已知空间分割体的几何特征,识别出环境图像中存在的空间分割体。
在一可选实施例中,环境图像为多张,处理器65在得到未被占据的区域中的区域分割线时,具体用于:将空间分割体在每张环境图像中的位置坐标分别映射到第一环境地图中,以得到多组位置坐标;计算多组位置坐标的平均位置坐标,将平均位置坐标对应的线段作为未被占据的区域中的区域分割线。
在一可选实施例中,处理器65在为多个子区域添加外墙体时,具体用于:针对每个子区域,从视觉传感器采集到的环境图像中提取与子区域对应的特征信息,并将特征信息添加至第一环境地图中的对应位置;在每个子区域的外围添加规则的外形轮廓作为外墙体,以得到第二环境地图;其中,每个子区域及其对应特征信息全部落在对应的外形轮廓内,且不同子区域的外形轮廓不重叠。
在一可选实施例中,处理器65在每个子区域的外围添加规则的外形轮廓之后,还用于:对多个子区域外形轮廓之间的缝隙进行填充,以平齐多个子区域的外墙体。
在一可选实施例中,处理器65在得到第二环境地图之后,还用于执行以下至少一种操作:
在自主移动设备的显示屏上显示第二环境地图;
将第二环境地图投影至幕布或墙面上进行显示;
将第二环境地图发送至用户的终端设备,以供终端设备显示第二环境地图。
在一可选实施例中,处理器65在显示屏上显示第二环境地图之后,还用于:响应于第二环境地图上的触发操作,针对环境区域中的目标对象执行指定操作,目标对象与第二环境地图上被触发的地图位置对应,且地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
在一可选实施例中,第一环境地图对应的环境区域为家庭区域,空间分割体为家庭区域中的入户门、房间门、内墙体以及隔扇中的至少一种,且家庭区域中的外墙体上设有窗户。
在一可选实施例中,处理器65在针对环境区域中的目标对象执行指定操作时,具体用于执行以下至少一种操作:
若目标对象为入户门,则控制自主移动设备检查入户门是否有异常或关闭;
若目标对象为房间门,则控制自主移动设备在第二环境地图上与房间门对应的位置设置虚拟墙,以禁入房间门;
若目标对象为窗户,则控制自主移动设备检查窗户是否有异常或关闭;
若目标对象为内墙体和/或外墙体,则控制自主移动设备沿内墙体和/或外墙体对应的边界执行延边清扫任务;
若目标对象为家庭中的环境子区域,则控制自主移动设备在环境子区域中执行定点清扫任务。家庭中的环境子区域可以是房间、厨房、客厅、卫生间、阳台、书房、儿童房或健身房等。
在一可选实施例中,自主移动设备为扫地机器人,扫地机器人可执行清扫任务,在该情况下,处理器65还用于:获取清扫区域在第二环境地图上对应的目标子区域;根据目标子区域的外墙体和自主移动设备的移动轨迹,计算已清扫的户型面积;在第二环境地图的目标子区域中,显示已清扫的户型面积;已清扫的户型面积大于或等于实际清扫面积。
进一步,如图6a所示,该自主移动设备还包括:通信组件66、显示器67、电源组件68、音频组件69等其它组件。图6a中仅示意性给出部分组件,并不意味着自主移动设备只包括图6a所示组件。
可选地,本实施例的自主移动设备可以是机器人、净化器等。
在一可选实施例中,自主移动设备实现为机器人。如图6b所示,本实施例的机器人600包括:机械本体601,机械本体601上设有一个或多个处理器602、一个或多个存储计算机指令的存储器603以及通信组件604。通信组件604可以是Wifi模块、红外模块或蓝牙模块等。
机械本体601上除了设有一个或多个处理器602、通信组件604以及一个或多个存储器603之外,还设置有机器人600的一些基本组件,例如视觉传感器606、电源组件607、驱动组件608或者惯导传感器609等等。视觉传感器可以是摄像头、相机等。惯导传感器可以是IMU或者里程计等。可选地,驱动组件608可以包括驱动轮、驱动电机、万向轮等。可选地,若机器人600是银行中的自助服务机器人,则该机器人600还可以包括键盘、显示屏、证件识别组件、文件扫描组件、触摸感应组件以及打印组件等。若机器人600是搬运机器人,则该机器人600还可以包括:载货托盘、移动底盘或者机械手等。若机器人600是扫地机器人,则该机器人600还可以包括清扫组件,清扫组件可以包括清扫电机、清扫刷、起尘刷、吸尘风机等。不同机器人600所包含的这些基本组件以及基本组件的构成均会有所不同,本申请实施例仅是部分示例。值得说明的是,在图6b以虚线框示出的组件均为可选组件,而非必要组件。
值得说明的是,一个或多个处理器602、一个或多个存储器603可设置于机械本体601内部,也可以设置于机械本体601的表面。机械本体601是机器人600赖以完成作业任务的执行机构,可以在确定的环境中执行处理器602指定的操作。其中,机械本体601一定程度上体现了机器人600的外观形态。在本实施例中,并不限定机器人600的外观形态,例如可以是人形、圆形等。关于处理器602执行存储器603中存储的计算机程序,可实现与前述实施例(如图6a所示实施例)中相同的功能,在此不再赘述,可参见前述实施例中的描述。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由自主移动设备执行的各步骤。
图7本申请实施例提供的一种终端设备的结构示意图。如图7所示,该终端设备包括:存储器71、处理器72以及显示器73。
存储器71,用于存储计算机程序,并可被配置为存储其它各种数据以支持在自主移动设备上的操作。这些数据的示例包括用于在自主移动设备上操作的任何应用程序或方法的指令,消息,图片,视频等。
处理器72,与存储器71耦合,用于执行存储器71中的计算机程序,以用于:响应于显示操作,通过显示器73展示环境地图,环境地图中包括其对应环境区域中多个可通行子区域及其外墙体;响应于环境地图上的触发操作,向自主移动设备发送控制指令,以使自主移动设备针对环境区域中的目标对象执行指定操作;其中,目标对象与环境地图上被触发的地图位置对应,地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
在一可选实施例中,上述环境地图对应的环境区域为家庭区域,目标对象为家庭区域中的入户门、房间门、内墙体、隔扇、外墙体以及设置于外墙体上的窗户中的至少一种。
在一可选实施例中,若目标对象为入户门,则触发操作指示自主移动设备检查入户门是否有异常或关闭;若目标对象为房间门,则触发操作指示自主移动设备在环境地图上与房间门对应的位置设置虚拟墙,以禁入房间门;若目标对象为窗户,则触发操作指示自主移动设备检查窗户是否有异常或关闭;若目标对象为内墙体和/或外墙体,则触发操作指示自主移动设备沿内墙体和/或外墙体对应的边界执行延边清扫任务;若目标对象为家庭中的环境子区域,则触发操作指示自主移动设备在环境子区域中执行定点清扫任务。
在一可选实施例中,自主移动设备是扫地机器人,扫地机器人可执行清扫任务并可向终端设备返回其已清扫的户型面积。在该情况下,处理器72还用于:接收扫地机器人发送的执行清扫任务时已清扫的户型面积;在环境地图的目标子区域中,显示已清扫的户型面积;其中,已清扫的户型面积大于或等于实际清扫面积;目标子区域是指执行清扫任务的清扫区域在第二环境地图上对应的子区域。
进一步可选地,处理器72还用于:接收自主移动设备返回的执行沿边或定点清扫任务时的移动轨迹;在环境地图的目标子区域中显示自主移动设备的移动轨迹。
进一步,如图7所示,该终端设备还包括:通信组件74、电源组件75、音频组件76等其它组件。图7中仅示意性给出部分组件,并不意味着终端设备只包括图7所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由终端设备执行的各步骤。
上述实施例中的存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
上述实施例中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G/LTE、5G等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还可以包括近场通信(NFC)模块,射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术等。
上述实施例中的显示器包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述实施例中的电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述实施例中的音频组件,可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (20)
1.一种环境地图构建方法,适用于自主移动设备,其特征在于,所述方法包括:
获取已遍历环境区域对应的第一环境地图,所述第一环境地图中包括未被占据的区域;
根据所述环境区域中空间分割体的位置,识别出所述未被占据的区域中的区域分割线,所述区域分割线将所述未被占据的区域划分为多个子区域;
为所述多个子区域添加外墙体,以得到第二环境地图,所述第二环境地图中包括所述多个子区域及其外墙体。
2.根据权利要求1所述的方法,其特征在于,所述第一环境地图中包括所述环境区域中被占据和未被占据的位置信息,所述方法还包括:
在所述被占据和未被占据的位置信息之间添加边界轮廓,所述边界轮廓围出的区域为未被占据的区域。
3.根据权利要求1所述的方法,其特征在于,根据所述环境区域中空间分割体的位置,识别所述未被占据的区域中的区域分割线,包括:
获取视觉传感器在自主移动设备遍历所述环境区域过程中采集到的环境图像;
识别所述环境图像中存在的空间分割体及其在所述环境图像中的位置坐标;
将所述空间分割体在环境图像中的位置坐标映射到所述第一环境地图中,以得到所述未被占据的区域中的区域分割线。
4.根据权利要求3所述的方法,其特征在于,识别所述环境图像中存在的空间分割体,包括:
对所述环境图像进行语义分割,得到所述环境图像中至少一个对象的语义标签;根据所述至少一个对象的语义标签和已知空间分割体的语义标签,识别出所述环境图像中存在的空间分割体;
或者
将所述环境图像输入分割体识别模型进行识别,以得到所述环境图像中存在的空间分割体;
或者
提取所述环境图像中至少一个对象的几何特征;根据所述至少一个对象的几何特征和已知空间分割体的几何特征,识别出所述环境图像中存在的空间分割体。
5.根据权利要求3所述的方法,其特征在于,所述环境图像为多张,则将所述空间分割体在环境图像中的位置坐标映射到所述第一环境地图中,以得到所述未被占据的区域中的区域分割线,包括:
将所述空间分割体在每张环境图像中的位置坐标分别映射到所述第一环境地图中,以得到多组位置坐标;
计算所述多组位置坐标的平均位置坐标,将所述平均位置坐标对应的线段作为所述未被占据的区域中的区域分割线。
6.根据权利要求1所述的方法,其特征在于,为所述多个子区域添加外墙体,以得到第二环境地图,包括:
针对每个子区域,从视觉传感器采集到的环境图像中提取与所述子区域对应的特征信息,并将所述特征信息添加至所述第一环境地图中的对应位置;
在每个子区域的外围添加规则的外形轮廓作为外墙体,以得到所述第二环境地图;其中,每个子区域及其对应特征信息全部落在对应的外形轮廓内,且不同子区域的外形轮廓不重叠。
7.根据权利要求6所述的方法,其特征在于,在每个子区域的外围添加规则的外形轮廓之后,还包括:
对所述多个子区域外形轮廓之间的缝隙进行填充,以平齐所述多个子区域的外墙体。
8.根据权利要求1-7任一项所述的方法,其特征在于,在得到第二环境地图之后,还包括以下至少一种操作:
在自主移动设备的显示屏上显示所述第二环境地图;
将所述第二环境地图投影至幕布或墙面上进行显示;
将所述第二环境地图发送至用户的终端设备,以供所述终端设备显示所述第二环境地图。
9.根据权利要求8所述的方法,其特征在于,在自主移动设备的显示屏上显示所述第二环境地图之后,还包括:
响应于所述第二环境地图上的触发操作,针对所述环境区域中的目标对象执行指定操作,所述目标对象与所述第二环境地图上被触发的地图位置对应,且所述地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
10.根据权利要求9所述的方法,其特征在于,所述环境区域为家庭区域,所述空间分割体为所述家庭区域中的入户门、房间门、内墙体以及隔扇中的至少一种,且所述家庭区域中的外墙体上设有窗户。
11.根据权利要求10所述的方法,其特征在于,针对所述环境区域中的目标对象执行指定操作,包括以下至少一种:
若目标对象为入户门,则自主移动设备检查所述入户门是否有异常或关闭;
若目标对象为房间门,则自主移动设备在所述第二环境地图上与所述房间门对应的位置设置虚拟墙,以关闭所述房间门;
若目标对象为窗户,则自主移动设备检查所述窗户是否有异常或关闭;
若目标对象为内墙体和/或外墙体,则自主移动设备沿内墙体和/或外墙体对应的边界执行延边清扫任务;
若所述目标对象为家庭中的环境子区域,则自主移动设备在所述环境子区域中执行定点清扫任务。
12.根据权利要求1-7以及9-11中任一项所述的方法,其特征在于,所述自主移动设备是扫地机器人,所述方法还包括:
在所述扫地机器人执行清扫任务的情况下,获取清扫区域在第二环境地图上对应的目标子区域;
根据所述目标子区域的外墙体和所述扫地机器人的移动轨迹,计算已清扫的户型面积;
在所述第二环境地图的目标子区域中,显示所述已清扫的户型面积,所述已清扫的户型面积大于或等于实际清扫面积。
13.一种控制自主移动设备的方法,适用于终端设备,其特征在于,所述方法包括:
响应于显示操作,展示环境地图,所述环境地图中包括其对应环境区域中多个可通行子区域及其外墙体;
响应于所述环境地图上的触发操作,向自主移动设备发送控制指令,以使自主移动设备针对所述环境区域中的目标对象执行指定操作;
其中,所述目标对象与所述环境地图上被触发的地图位置对应,所述地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
14.根据权利要求13所述的方法,其特征在于,所述环境区域为家庭区域,所述目标对象为所述家庭区域中的入户门、房间门、内墙体、隔扇、外墙体以及设置于外墙体上的窗户中的至少一种。
15.根据权利要求14所述的方法,其特征在于,
若目标对象为入户门,则所述触发操作指示自主移动设备检查入户门是否有异常或关闭;
若目标对象为房间门,则所述触发操作指示自主移动设备在所述环境地图上与房间门对应的位置设置虚拟墙,以禁入所述房间门;
若目标对象为窗户,则所述触发操作指示自主移动设备检查窗户是否有异常或关闭;
若目标对象为内墙体和/或外墙体,则所述触发操作指示自主移动设备沿内墙体和/或外墙体对应的边界执行延边清扫任务;
若所述目标对象为家庭中的环境子区域,则所述触发操作指示自主移动设备在所述环境子区域中执行定点清扫任务。
16.根据权利要求13-15任一项所述的方法,其特征在于,所述自主移动设备是扫地机器人,所述方法还包括:
接收扫地机器人发送的执行清扫任务时已清扫的户型面积;
在所述环境地图的目标子区域中,显示所述已清扫的户型面积,所述已清扫的户型面积大于或等于实际清扫面积;
其中,目标子区域是指清扫区域在第二环境地图上对应的子区域。
17.根据权利要求16所述的方法,其特征在于,还包括:
接收自主移动设备返回的执行扫任务时的移动轨迹;
在所述环境地图的目标子区域中显示自主移动设备的移动轨迹。
18.一种自主移动设备,其特征在于,包括:设备本体,所述设备本体上设有存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,与所述存储器耦合,用于执行所述计算机程序,以用于:
获取已遍历环境区域对应的第一环境地图,所述第一环境地图中包括未被占据的区域;
根据所述环境区域中空间分割体的位置,识别出所述未被占据的区域中的区域分割线,所述区域分割线将所述未被占据的区域划分为多个子区域;
为所述多个子区域添加外墙体,以得到第二环境地图,所述第二环境地图中包括所述多个子区域及其外墙体。
19.一种终端设备,其特征在于,包括:存储器、处理器以及显示器;
所述存储器,用于存储计算机程序;
所述处理器,与所述存储器耦合,用于执行所述计算机程序,以用于:
响应于显示操作,通过所述显示器展示环境地图,所述环境地图中包括其对应环境区域中多个可通行子区域及其外墙体;
响应于所述环境地图上的触发操作,向自主移动设备发送控制指令,以使自主移动设备针对所述环境区域中的目标对象执行指定操作;
其中,所述目标对象与所述环境地图上被触发的地图位置对应,所述地图位置是用户基于目标对象与外墙体的相对位置关系确定的。
20.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,致使所述处理器实现权利要求1-17任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011052561.8A CN114332289A (zh) | 2020-09-29 | 2020-09-29 | 环境地图构建方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011052561.8A CN114332289A (zh) | 2020-09-29 | 2020-09-29 | 环境地图构建方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114332289A true CN114332289A (zh) | 2022-04-12 |
Family
ID=81010868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011052561.8A Pending CN114332289A (zh) | 2020-09-29 | 2020-09-29 | 环境地图构建方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114332289A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114766985A (zh) * | 2022-06-14 | 2022-07-22 | 唯羲科技有限公司 | 一种应用于多元场景下的定位建图管理方法及系统 |
-
2020
- 2020-09-29 CN CN202011052561.8A patent/CN114332289A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114766985A (zh) * | 2022-06-14 | 2022-07-22 | 唯羲科技有限公司 | 一种应用于多元场景下的定位建图管理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7395229B2 (ja) | 状況認識のためのモバイル清掃ロボット人工知能 | |
EP3785093B1 (en) | Robot contextualization of map regions | |
US11662722B2 (en) | Autonomous monitoring robot systems | |
US20210260773A1 (en) | Systems and methods to control an autonomous mobile robot | |
US20230393579A1 (en) | Sectoring of maps for robot navigation | |
CN112739244A (zh) | 移动机器人清洁系统 | |
US20230389762A1 (en) | Visual fiducial for behavior control zone | |
US20220015596A1 (en) | Contextual and user experience based mobile robot control | |
CN112784664A (zh) | 语义地图构建与作业方法、自主移动设备及存储介质 | |
JP2022549572A (ja) | 自律モバイルロボットのための画像捕捉デバイス、ならびに関連するシステムおよび方法 | |
CN113729564A (zh) | 基于情境和用户体验的移动机器人调度与控制 | |
CN114332289A (zh) | 环境地图构建方法、设备及存储介质 | |
CN113703439A (zh) | 自主移动设备控制方法、装置、设备及可读存储介质 | |
KR20200066708A (ko) | 로봇 청소기와 공간 정보를 교환하기 위한 증강 현실 사용 | |
CN111830998B (zh) | 作业方法、虚拟墙添加方法、设备及存储介质 | |
CN112257510A (zh) | 一种在区域地图中确定对象的方法、系统及自移动机器人 | |
CN112034849B (zh) | 一种自移动设备选区处理方法及自移动设备 | |
CN117908531A (zh) | 用于确定在移动设备的环境中的选择区域的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |