CN110174888B - 自移动机器人控制方法、装置、设备及存储介质 - Google Patents

自移动机器人控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110174888B
CN110174888B CN201810904750.XA CN201810904750A CN110174888B CN 110174888 B CN110174888 B CN 110174888B CN 201810904750 A CN201810904750 A CN 201810904750A CN 110174888 B CN110174888 B CN 110174888B
Authority
CN
China
Prior art keywords
scene
indoor environment
self
cleaning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810904750.XA
Other languages
English (en)
Other versions
CN110174888A (zh
Inventor
董济铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ruike Fashion Electronic Co ltd
Original Assignee
Shenzhen Ruike Fashion Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ruike Fashion Electronic Co ltd filed Critical Shenzhen Ruike Fashion Electronic Co ltd
Priority to CN201810904750.XA priority Critical patent/CN110174888B/zh
Publication of CN110174888A publication Critical patent/CN110174888A/zh
Application granted granted Critical
Publication of CN110174888B publication Critical patent/CN110174888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

本发明的自移动机器人控制方法、装置、设备及存储介质,通过所建立的对应室内环境的室内环境语义描述地图来甄别不同场景,从而对应采用针对性的清洁方案。本发明实现通过环境的识别出可使扫地机器人能够更有针对性地清洁,提高清洁质量和效率。

Description

自移动机器人控制方法、装置、设备及存储介质
技术领域
本发明涉及自动清洁机器技术领域,特别是涉及自移动机器人控制方法、装置、设备及存储介质。
背景技术
现有的扫地机器人针对于室内环境的清洁是针对于地面进行无差别的清洁,如进行弓字形覆盖时,扫地机不会针对于室内的不同场景、情况或者使用情景等去进行更有针对性或计划性的清洁。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供自移动机器人控制方法、装置、设备及存储介质,用于解决现有技术中的问题。
为实现上述目的及其他相关目的,本发明提供一种自移动机器人控制方法,应用于清洁室内环境的自移动机器人;所述方法包括:获取输入数据并提取输入特征信息;根据所述输入特征信息,在对应所述室内环境的室建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景;执行对应所述待清洁场景预先设置的清洁方案。
于本发明的一实施例中,所述室内环境中定义有一或多个特征场景,所述待清洁场景选自所述特征场景;所述室内环境语义描述地图的建立方式,包括:从采集自所述室内环境的环境数据提取多个样本特征信息;对各所述样本特征信息进行语义信息描述,包括:通过语义分类模型将从与所述样本特征信息及关于所述室内环境的预设特征信息进行比对,且根据比对的匹配度来确定各样本特征信息所归属的特征场景;通过带有语义描述信息的样本特征信息所对应的环境数据构建所述室内环境语义描述地图。
于本发明的一实施例中,所述样本特征信息及预设特征信息是关于特征场景的空间中的固定因素、或者关于固定因素及非固定因素而提取的;所述特征场景包含对应所述固定因素的空间区域,或者,所述特征场景包含对应所述固定因素的空间区域且其带有对应所述非固定因素的情景。
于本发明的一实施例中,所述环境数据包括:采集自室内环境中的视觉数据、声音数据、红外光测量数据、亮度数据、温度数据、及地面清洁装置运行路线中障碍物的尺度数据中的一种或多种组合。
于本发明的一实施例中,所述环境数据是所述自移动机器人多次采集的数据集合。
于本发明的一实施例中,所述清洁方案包括:根据室内环境语义描述地图对所述待清洁场景的语义描述信息中所定义的各个特征场景的场景标识、场景地图、及情景中的一或多种组合而制定的行进路径、清洁时间、及清洁方式中的一或多种组合。
于本发明的一实施例中,在执行清洁方案的过程中,根据实时的输入数据判断待清洁场景的情景变化,对应调整行进路径、清洁时间、和/或清洁方式,对应调整行进路径、清洁时间、和/或清洁方式。
于本发明的一实施例中,所述输入数据包括:图像、声音、文本、及遥控指令形式中的一种或多种组合的用户输入数据;以及/或者,采集自所述室内环境的环境数据。
为实现上述目的及其他相关目的,本发明提供一种自移动机器人控制装置,应用于清洁室内环境的自移动机器人;所述自移动机器人控制装置包括:通信单元,用于获取输入数据并提取输入特征信息;处理单元,用于根据所述输入特征信息,在对应所述室内环境的室建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景;执行对应所述待清洁场景预先设置的清洁方案。
于本发明的一实施例中,所述室内环境中定义有一或多个特征场景,所述待清洁场景选自所述特征场景;所述室内环境语义描述地图的建立方式,包括:从采集自所述室内环境的环境数据提取多个样本特征信息;对各所述样本特征信息进行语义信息描述,包括:通过语义分类模型将从与所述样本特征信息及关于所述室内环境的预设特征信息进行比对,且根据比对的匹配度来确定各样本特征信息所归属的特征场景;通过带有语义描述信息的样本特征信息所对应的环境数据构建所述室内环境语义描述地图。
于本发明的一实施例中,所述样本特征信息及预设特征信息是关于特征场景的空间中的固定因素、或者关于固定因素及非固定因素而提取的;所述特征场景包含对应所述固定因素的空间区域,或者,所述特征场景包含对应所述固定因素的空间区域且其带有对应所述非固定因素的情景。
于本发明的一实施例中,所述环境数据包括:采集自室内环境中的视觉数据、声音数据、红外光测量数据、亮度数据、温度数据、及地面清洁装置运行路线中障碍物的尺度数据中的一种或多种组合。
于本发明的一实施例中,所述环境数据是所述自移动机器人多次采集的数据集合。
于本发明的一实施例中,所述清洁方案包括:根据室内环境语义描述地图对所述待清洁场景的语义描述信息中所定义的各个特征场景的场景标识、场景地图、及情景中的一或多种组合而制定的行进路径、清洁时间、及清洁方式中的一或多种组合。
于本发明的一实施例中,所述处理单元,用于在执行清洁方案的过程中,根据实时的输入数据判断待清洁场景的情景变化,对应调整行进路径、清洁时间、和/或清洁方式,对应调整行进路径、清洁时间、和/或清洁方式。
于本发明的一实施例中,所述输入数据包括:图像、声音、文本、及遥控指令形式中的一种或多种组合的用户输入数据;以及/或者,采集自所述室内环境的环境数据。
为实现上述目的及其他相关目的,本发明提供一种自移动机器人,包括:信号采集器、处理器及存储器;所述信号采集器,用于获取输入数据并提取样本特征信息;所述存储器,用于存储自移动机器人控制程序;所述处理器,连接所述存储器及信号采集器,其运行所述自移动机器人控制程序以执行所述的自移动机器人控制方法。
为实现上述目的及其他相关目的,本发明提供一种计算机可读存储介质,用于存储自移动机器人控制程序,所述自移动机器人控制程序,用于被处理器执行以实现如下功能:获取输入数据并提取输入特征信息;根据所述输入特征信息,在对应所述室内环境的室建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景;执行对应所述待清洁场景预先设置的清洁方案。
如上所述,本发明的自移动机器人控制方法、装置、设备及存储介质,通过所建立的对应室内环境的室内环境语义描述地图来甄别不同场景,从而对应采用针对性的清洁方案。本发明实现通过环境的识别出可使扫地机器人能够更有针对性地清洁,提高清洁质量和效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1显示为本发明实施例中家居环境的分区示意图。
图2显示为本发明实施例中自移动机器人控制方法的流程示意图。
图3显示为本发明实施例中自移动机器人控制装置的功能模块示意图。
图4显示为本发明实施例中的功能模块示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明的技术方案是关于自动化的自移动机器人的控制方式改进,所述自动化的自移动机器人可以是具有移动及清洁能力的服务机器人实现,包括但不限于扫/地机器人、擦窗机器人等,也可以应用于未来的各种清洁服务机器人,其可以实现清洁室内环境中各种位置、各种物件的能力例如家居室内环境、办公室内环境等。
在该些室内环境中,在空间上可以分出很多区域。
常见的,将家居室内环境按功能区域的进行场景划分,包括例如“卧室”、“客厅”、“餐厅”、“厨房”、“卫生间”等;将办公室内环境按区域功能划分为“办公区”、“会议室”、“茶水间”等,还可以进一步按部门职能细分办公区为“研发部”、“销售部”、“财务部”等。
当然,根据用户个性化的需求,所述室内环境在空间上也可以划分出很多自定义区域,例如将花卉种植的花盆等所在的区域定义为花盆区域,将沙发所在的区域定义为沙发区域,将厨房灶台周围区域定义为易脏区域等。
上述常见功能区域和自定义区域间是在两个层面的,两者可以共存,不同层面的场景间可以有重叠,例如“沙发区”和“客厅”,“厨房”和“易脏区”等。
请参阅图1,展示实施例中家居室内环境的平面结构示意图。
在所述家居室内环境中,已按“卧室”101、“餐厅”102、“厨房”103、“卫生间”104、“客厅”105等常见功能区域进行了划分,自移动机器人如扫地机器人需要对各个不同的常见功能区域分别执行不同的清洁方案,例如,在卧室101中,需要扫地机器人绕床进行清洁;在餐厅102中,需扫地机器人绕餐桌以及餐椅进行清洁;在卫生间104,不需要扫地机器人进行清洁等等。
在所述家居室内环境中,也划分出“沙发区”107、“花盆区”108、及“易脏区”109等,在本实施例中,自移动机器人也需要对该些自定义区域分别执行不同的清洁方案,例如,对沙发区107执行绕沙发进行清洁,对花盆区108需要执行清扫结合擦干地板上水珠的清洁动作,对易脏区109需要定期清洁和/或定期清洁多次。
在该需求下,则自移动机器人需要具备智能识别各个场景(即常见功能区域、自定义区域)的能力,另外需要具备对应各区域执行针对性的清洁方案的能力。
基于此,本发明的设计思想是融合室内环境的地图数据及对该室内环境的语义描述信息来建立室内环境语义描述地图,自移动机器人可据以识别室内环境的各个区域和/或区域内情景,从而采用针对性的清洁方案。
在本发明的一实施例中,可以利用自主移动机器人同时定位与地图创建(SLAM)技术来进行地图数据采集以及地图生成,SLAM问题可以描述为:机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和传感器数据进行自身定位,同时建造增量式地图。在SLAM中,机器人利用自身携带的传感器识别未知环境中的特征标志,然后根据机器人与特征标志之间的相对位置和里程计的读数估计机器人和特征标志的全局坐标。
而对应该室内环境的语义描述信息,本发明定义特征场景,所述特征场景可以表示为上述按空间划分的区域;以及/或者,也可以表示不同情景下的各个区域,例如“用餐中的餐厅”、“用餐后的餐厅”等。
以各种特征场景作为分类,以所述环境数据提取的样本特征信息作为输入,通过语义分类模型进行分类,从而形成对各应个特征场景的语义描述信息。
在本发明的一实施例中,所述环境数据可以是由所述自移动机器人上的传感器所采集,所述传感器包括:图像采集传感器(摄像头等)、声音传感器(麦克风等)、红外传感器、亮度传感器、温度传感器、及距离传感器等,也可以是集成多个传感器的设备,例如深度相机等。
所述环境数据包括:采集自室内环境中的视觉数据、声音数据、红外光测量数据、亮度数据、温度数据、及地面清洁装置运行路线中障碍物(例如家具、墙体等)的尺度数据中的一种或多种组合。
所述环境数据可以是遍历整个室内场景所采集的数据,也可以是在局部区域,例如某个区域内所采集的数据。
所述环境数据中会包含特征场景中人和/或物的各种信息,例如人的身份、活动、声音及神态等,物的状态、形状、位置、布局、温度、湿度、亮度等,所述物例如家居环境中的家具、灯具、及装饰物等。这些人、物的各种信息中有固定因素,也有非固定因素。
固定因素指的是无论在何种情景下,都可以描述一空间的特征。例如餐桌、餐椅的形状、餐厅灯具的形状等,无论在用餐前、用餐中还是用餐后,都可以通过这些固定因素来判断出对应的区域是餐厅。
非固定因素,则是随情景变化而会改变的,其可用于描述某个特定情景下的空间的特征。例如,人在餐厅用餐,其描述的是“用餐中的餐厅”的特征场景,而若当人用餐后离开餐厅,则其描述的是“用餐后的餐厅”的特征场景。
因此,所述环境数据优选是在一段时间内(例如几小时、几天、几月或几年等)多次采集的,而非单次的采集数据,在按此方式采集的环境数据中就可能会包含情景变化的数据。
进而,针对上述固定因素、非固定因素进行特征提取即可得到所述样本特征信息。
所述语义分类模型可以选用贝叶斯算法及其变种、逻辑回归算法、决策树算法、KNN算法、支持向量机、或神经网络模型(例如CNN、RNN)等实现。
以下通过一实施例描述所述室内环境语义描述地图的建立:
A)通过从采集自所述室内环境的环境数据提取多个样本特征信息。
具体来讲,样本特征信息是用于表示某一对象区别于其它对象的描述数据,所述样本特征信息例如为图像中的像素点的灰度特征,声音中声纹、频率的特征等等,当然也可包括多种传感器数据的融合后的特征,例如描述上述非固定因素中人在餐厅吃饭及吃饭后人离开餐厅的特征,可能需要不同时间点的多个从图像提取的特征的组合,例如,在第一时间(特征1)采集到图像中人在餐厅(特征2)且人在进餐(特征3),以及第一时间之后的适当的第二时间采集的人离开餐厅(特征4)。
特征提取方式较多,特征的类型也不胜枚举,此处不一一展开。
B)对各所述样本特征信息进行语义信息描述,包括:
通过语义分类模型将所述样本特征信息及所述室内环境的预设特征信息进行比对,且根据比对的匹配度来确定各样本特征信息所归属的特征场景。
于本发明的一实施例中,所述预设特征信息是预先设置的关联各个特征场景的特征数据,例如,餐厅中餐桌、餐椅、墙面、和/或地砖图像中像素点灰度的组合,“餐厅”标识等,均归属于“餐厅”这一特征场景的分类;将从环境数据提取的样本特征信息与预设特征信息的比对,根据相似程度即能确定该样本特征信息所归类的特征场景,例如通过CNN网络的Softmax函数作为输出层即能输出样本特征信息归属于每个特征场景分类的匹配度(即概率,权重),从中选取概率最大的特征场景为最终分类。
从而,对每个样本特征信息均能设置所归属的特征场景的分类标记,完成语义信息描述。
需说明的是,每次对一个样本特征信息完成语义信息描述后,可将其加入预设特征信息中,以用于进行下一个样本特征信息的比对。
进一步的,根据经所述语义描述的样本特征信息所对应的环境数据,通过例如SLAM等地图技术来构建室内环境的地图,从而就形成了带有语义描述信息的机器人地图,即室内环境语义描述地图。训练完成的所述语义分类模型可以集成在所述室内环境语义描述地图中作为分类器使用。
并且,对应各个特征场景设定相应的清洁方案,所述自移动机器人就能根据所述室内环境语义描述地图执行对应各种特征场景的清洁方案。
于本发明的一实施例中,所述清洁方案包括:根据室内环境语义描述地图对所述待清洁场景的语义描述信息中所定义的各个特征场景的场景标识、场景地图、及情景中的一或多种组合而制定的行进路径、清洁时间、及清洁方式中的一或多种组合。
具体来讲,所述场景标识用于标识特征场景,例如“餐厅”、“用餐中餐厅”、或“用餐后餐厅”等;所述场景地图包含了餐厅内各点在室内环境语义描述地图的位置数据,所述位置数据可以取自于在特征场景的空间建立的空间或平面坐标系中的位置坐标;优选的,所述场景地图也可以包含特征场景内各个物(例如家具、摆放物等)的位置数据。
所述行进路径包括:到达特征场景所在空间的导航路径(例如自移动机器人在客厅且需要赶往餐厅清洁,根据室内环境语义描述地图可以生成导航路径),和/或在特征场景进行清洁的清洁行进路径等,所述清洁时间例如等待用餐后清洁等,所述清洁方式例如选择清扫加抹擦等。
需说明的是,上述清洁方式并不限于现有服务机器人例如扫地机器人的扫地或拖地作业,也可以应用于未来的各种清洁服务机器人,其可以实现清洁室内各种位置、各种物件的能力。
以上仅为举例,清洁方案可以根据实际的特征场景的清洁需求加以设定,并非以上述举例为限。
请参阅图2,展示本发明实施例中自移动机器人控制方法的流程示意图。所述自移动机器人控制方法可以应用于所述的自移动机器人,对室内环境中的所述特征场景按所执行的清洁方案进行清洁动作。
所述方法包括:
步骤S201:获取输入数据并提取输入特征信息。
在本发明的一或多个实施例中,所述输入数据包括:图像、声音、文本、及遥控指令形式中的一种或多种组合的用户输入数据;以及/或者,采集自所述室内环境的环境数据。
如果是用户输入数据,即通过用户输入数据来控制自移动机器人。举例来说,通过自移动机器人的摄像头采集人的视觉数据,其中包含人的手势,如指向餐厅,表示餐厅需要清洁;又例如,通过自移动机器人的麦克风采集声音输入,比如人的语音“去清洁餐厅”,表示餐厅需要清洁;又例如,通过摄像头采集到人书写在纸上或显示在可视设备(例如手机、平板电脑等)上的文字“去清洁餐厅”;又例如,通过遥控器上的功能按键“清洁餐厅”发送控制指令给自移动机器人,表示餐厅需要清洁。
相应的,所述输入特征信息可以例如为描述所述图像、声音、文本、遥控指令所表达含义的表示数据,通过图像识别、语音识别、文字识别、指令识别结合语义识别的方式实现;在一或多个实施例中,也可以将从所述图像、声音、文本、和/或遥控指令格式的用户输入数据(可以是专门输入,也可以是从环境数据中获得)提取的样本特征信息作为训练集来训练所述语义分类模型,从而在建立的室内环境语义描述地图中的特征场景也能有关联于用户输入数据的语义描述信息。
如果是室内环境的环境数据,即所述自移动机器人通过其传感器采集到的其所处位置周围的环境数据,其输入特征信息即与前述的样本特征信息获得方式相似。
步骤S202:根据所述输入特征信息,在对应所述室内环境的室建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景。
所述特征语义匹配可以利用训练完成的所述语义分类模型来执行,也可以通过其他的数据分类模型来执行,也可以通过其他的数据分类模型配合/融合于所述语义分类模型来执行。
举例来说,若根据用户输入数据(例如人的语音“去清洁餐厅”)所提取的输入特征信息与样本特征信息中的“餐厅”匹配,如果是文本或相同文本编码方式的比较的话,
步骤S203:执行对应所述待清洁场景预先设置的清洁方案。
于本发明的一实施例中,在执行清洁方案的过程中,根据实时的输入数据判断待清洁场景的情景变化,对应调整行进路径、清洁时间、和/或清洁方式,对应调整行进路径、清洁时间、和/或清洁方式。
所述输入数据包括:图像、声音、文本、及遥控指令形式中的一种或多种组合的用户输入数据;以及/或者,采集自所述室内环境的环境数据。
在情景发生变化的情况下,可能会从一个特征场景变化至另一个特征场景,从而对应的清洁方案也发生变化。
举例来说,自移动机器人在清洁餐厅时,人发出语音“去清洁卧室”,则自移动机器人按照设置停止当前清洁任务,而移动至卧室执行对应的清洁方案,或者将移动至卧室执行对应的清洁方案排入任务序列中排在当前清洁任务之后。
以下通过多个实例来说明上述方法的具体应用:
场景1:饭后餐桌范围的指定清洁
在室内环境的空间中定义餐桌椅周围区域,自移动机器人在建立室内环境语义描述地图过程中,获得室内环境的餐桌椅位置的位置数据并进行特征匹配和识别分类至所述餐桌椅周围区域。
当用户用完餐后可以通过语音指令或者遥控器指令命令自移动机器人对餐桌周围区域进行清扫,则自移动机器人识别餐桌椅周围区域为待清洁场景,从而根据地图移动至餐桌椅周围区域按对应清洁方案执行清洁动作;或者,当用户用完餐后,也可通过自移动机器人的摄像头获得的视觉数据及麦克风采集的声音数据对餐桌位置的情况进行智能监控,当餐桌位置持续有人活动超过十五分钟即可判断为餐桌椅周围区域处于“用餐中”情景下的特征场景,当用餐后通过视觉和声音数据判断餐桌范围内的人都离开了,即可判断出餐桌椅周围区域处于“用餐后”情景下的特征场景,对应应该进行餐桌范围的清扫的清洁方案。
所述清洁方案可以定义适合餐后餐桌清扫的清扫模式对餐桌范围进行清扫路径的规划和清扫,使餐后的家庭环境快速高效地恢复整洁。
可选的,当室内有多个位置被机器识别为餐桌时,自移动机器人可以根据采集环境数据中的视觉数据和声音数据通过一定时间学习家庭成员的所在位置来识别多个可能位置中真正使用的餐桌位置,也就是特征场景的识别。用户也可以通过人工指定来选择室内正在使用的餐桌位置,帮助机器进行特征场景的定位。
场景2:对花盆区的定制清扫
在室内环境的空间中定义“花盆区”。在清扫该区域时,因更需要自移动机器人完成擦干地面的溢出的浇花水及尘土,因此对应该特征场景所设定的清洁方案可以定义:停止水箱向抹布供水,用干抹布将花盆区域的地面上的水清扫干净。
对应该特征场景的清洁模式可设为两种,当然只是举例而非以此为限:
a.当用户通过语音指令或遥控指令下令自移动机器人对花盆区进行清扫时,自移动机器人会根据地图中定义花盆区中各点位置数据进行清扫路径规划并清扫;
b.在常规覆盖清扫时,自移动机器人可以根据采集的环境数据经语义匹配自动识别出其所在位置为花盆区,启动对应花盆区进行特定模式的清洁方案,包括:例如增大吸力吸走掉落的尘土、缓慢行走防止机器在溢出浇绿植水的地面产生打滑现象等。
如图3所示,展示本发明实施例中的自移动机器人控制装置300的功能模块示意图。需说明的是,由于本实施例的装置而言,由于其与前述公开的方法实施例相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
所述自移动机器人控制装置300应用于清洁室内环境的自移动机器人。
所述自移动机器人控制装置300包括:
通信单元301,用于获取输入数据并提取输入特征信息;
处理单元302,用于根据所述输入特征信息,在对应所述室内环境的室建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景;执行对应所述待清洁场景预先设置的清洁方案。
于本发明的一实施例中,所述室内环境中定义有一或多个特征场景,所述待清洁场景选自所述特征场景;所述室内环境语义描述地图的建立方式,包括:从采集自所述室内环境的环境数据提取多个样本特征信息;对各所述样本特征信息进行语义信息描述,包括:通过语义分类模型将从与所述样本特征信息及关于所述室内环境的预设特征信息进行比对,且根据比对的匹配度来确定各样本特征信息所归属的特征场景;通过带有语义描述信息的样本特征信息所对应的环境数据构建所述室内环境语义描述地图。
于本发明的一实施例中,所述环境数据包括:采集自室内环境中的视觉数据、声音数据、红外光测量数据、亮度数据、温度数据、及地面清洁装置运行路线中障碍物的尺度数据中的一种或多种组合。
于本发明的一实施例中,所述环境数据是所述自移动机器人多次采集的数据集合。
于本发明的一实施例中,所述清洁方案包括:根据室内环境语义描述地图对所述待清洁场景的语义描述信息中所定义的各个特征场景的场景标识、场景地图、及情景中的一或多种组合而制定的行进路径、清洁时间、及清洁方式中的一或多种组合。
于本发明的一实施例中,所述处理单元302,用于在执行清洁方案的过程中,根据实时的输入数据判断待清洁场景的情景变化,对应调整行进路径、清洁时间、和/或清洁方式,对应调整行进路径、清洁时间、和/或清洁方式。
于本发明的一实施例中,所述输入数据包括:图像、声音、文本、及遥控指令形式中的一种或多种组合的用户输入数据;以及/或者,采集自所述室内环境的环境数据。
需要说明的是,应理解以上装置的各个单元的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元通过处理元件调用软件的形式实现,部分单元通过硬件的形式实现。例如,处理单元302可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上处理单元302的功能。其它单元的实现与之类似。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,包含信号的处理能力。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC),或,一个或多个微处理器(digitalsingnalprocessor,简称DSP),或,一个或者多个现场可编程门阵列(FieldProgrammableGateArray,简称FPGA)等。再如,当以上某个单元通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessingUnit,简称CPU)或其它可以调用程序代码的处理器。再如,这些单元可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
如图4所示,展示本发明提供的自移动机器人400的电路结构示意图。
所述自移动机器人400包括:信号采集器401、处理器402及存储器403。
所述信号采集器401,用于获取输入数据。
于本发明的一实施例中,由于所述输入数据包括:图像、声音、文本、及遥控指令形式中的一种或多种组合的用户输入数据;以及/或者,采集自所述室内环境的环境数据,则所述信号采集器401可以通过有线或无线通信电路实现,例如有线网卡、USB通信电路、WiFi通信模块等用于接收用户输入数据;所述信号采集器401也可以是各种传感器实现而用于采集环境数据,例如图像采集传感器(摄像头等)、声音传感器(麦克风等)、红外传感器、亮度传感器、温度传感器、及距离传感器等,也可以是集成多个传感器的设备,例如深度相机等。
所述存储器403,用于存储自移动机器人控制程序。
所述处理器402,连接所述存储器403及信号采集器401(例如通过总线连接),其运行所述自移动机器人控制程序以执行例如图2实施例所展示的自移动机器人控制方法,包括:获取输入数据并提取输入特征信息;根据所述输入特征信息,在对应所述室内环境的室建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景;执行对应所述待清洁场景预先设置的清洁方案。
所述存储器403可能包含随机存取存储器(RandomAccessMemory,简称RAM),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
所述的处理器402可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
需说明的是,在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令,可以是所述自移动机器人控制程序,存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(SolidStateDisk,SSD))等。
综上所述,本发明的自移动机器人控制方法、装置、设备及存储介质,通过所建立的对应室内环境的室内环境语义描述地图来甄别不同场景,从而对应采用针对性的清洁方案。本发明实现通过环境的识别出可使扫地机器人能够更有针对性地清洁,提高清洁质量和效率。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (18)

1.一种自移动机器人控制方法,其特征在于,应用于清洁室内环境的自移动机器人;所述方法包括:
获取输入数据并提取输入特征信息;
根据所述输入特征信息,在对应所述室内环境建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景;
执行对应所述待清洁场景预先设置的清洁方案;
其中,所述室内环境中定义有一或多个特征场景,对应各个特征场景设定相应的清洁方案;所述待清洁场景选自所述特征场景;所述特征场景包含对应固定因素的空间区域且其带有对应非固定因素的情景;
所述室内环境语义描述地图的建立方式,包括:
从采集自所述室内环境的环境数据提取多个样本特征信息;对各所述样本特征信息进行语义信息描述;通过带有语义描述信息的样本特征信息所对应的环境数据构建所述室内环境语义描述地图;所述样本特征信息是关于特征场景的空间中的固定因素及非固定因素而提取的。
2.根据权利要求1所述的自移动机器人控制方法,其特征在于,对各所述样本特征信息进行语义信息描述,包括:
通过语义分类模型将从与所述样本特征信息及关于所述室内环境的预设特征信息进行比对,且根据比对的匹配度来确定各样本特征信息所归属的特征场景。
3.根据权利要求2所述的自移动机器人控制方法,其特征在于,所述预设特征信息是关于特征场景的空间中的固定因素、或者关于固定因素及非固定因素而提取的,所述样本特征信息还包括:关于特征场景的空间中的固定因素而提取的特征信息;所述特征场景包含对应所述固定因素的空间区域。
4.根据权利要求2所述的自移动机器人控制方法,其特征在于,所述环境数据包括:采集自室内环境中的视觉数据、声音数据、红外光测量数据、亮度数据、温度数据、及地面清洁装置运行路线中障碍物的尺度数据中的一种或多种组合。
5.根据权利要求2所述的自移动机器人控制方法,其特征在于,所述环境数据是所述自移动机器人多次采集的数据集合。
6.根据权利要求1所述的自移动机器人控制方法,其特征在于,所述清洁方案包括:根据室内环境语义描述地图对所述待清洁场景的语义描述信息中所定义的各个特征场景的场景标识、场景地图、及情景中的一或多种组合而制定的行进路径、清洁时间、及清洁方式中的一或多种组合。
7.根据权利要求6所述的自移动机器人控制方法,其特征在于,在执行清洁方案的过程中,根据实时的输入数据判断待清洁场景的情景变化,对应调整行进路径、清洁时间、和/或清洁方式。
8.根据权利要求1或7所述的自移动机器人控制方法,其特征在于,所述输入数据包括:图像、声音、文本、及遥控指令形式中的一种或多种组合的用户输入数据;以及/或者,采集自所述室内环境的环境数据。
9.一种自移动机器人控制装置,其特征在于,应用于清洁室内环境的自移动机器人;所述自移动机器人控制装置包括:
通信单元,用于获取输入数据并提取输入特征信息;
处理单元,用于根据所述输入特征信息,在对应所述室内环境建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景;执行对应所述待清洁场景预先设置的清洁方案;其中,所述室内环境中定义有一或多个特征场景,对应各个特征场景设定相应的清洁方案;所述待清洁场景选自所述特征场景;所述特征场景包含对应固定因素的空间区域且其带有对应非固定因素的情景;
所述室内环境语义描述地图的建立方式,包括:
从采集自所述室内环境的环境数据提取多个样本特征信息;对各所述样本特征信息进行语义信息描述;通过带有语义描述信息的样本特征信息所对应的环境数据构建所述室内环境语义描述地图;所述样本特征信息是关于特征场景的空间中的固定因素及非固定因素而提取的。
10.根据权利要求9所述的自移动机器人控制装置,其特征在于,对各所述样本特征信息进行语义信息描述,包括:
通过语义分类模型将从与所述样本特征信息及关于所述室内环境的预设特征信息进行比对,且根据比对的匹配度来确定各样本特征信息所归属的特征场景。
11.根据权利要求10所述的自移动机器人控制装置,其特征在于,所述预设特征信息是关于特征场景的空间中的固定因素、或者关于固定因素及非固定因素而提取的,所述样本特征信息还包括:关于特征场景的空间中的固定因素而提取的特征信息;所述特征场景包含对应所述固定因素的空间区域。
12.根据权利要求10所述的自移动机器人控制装置,其特征在于,所述环境数据包括:采集自室内环境中的视觉数据、声音数据、红外光测量数据、亮度数据、温度数据、及地面清洁装置运行路线中障碍物的尺度数据中的一种或多种组合。
13.根据权利要求10所述的自移动机器人控制装置,其特征在于,所述环境数据是所述自移动机器人多次采集的数据集合。
14.根据权利要求9所述的自移动机器人控制装置,其特征在于,所述清洁方案包括:根据室内环境语义描述地图对所述待清洁场景的语义描述信息中所定义的各个特征场景的场景标识、场景地图、及情景中的一或多种组合而制定的行进路径、清洁时间、及清洁方式中的一或多种组合。
15.根据权利要求14所述的自移动机器人控制装置,其特征在于,所述处理单元,用于在执行清洁方案的过程中,根据实时的输入数据判断待清洁场景的情景变化,对应调整行进路径、清洁时间、和/或清洁方式,对应调整行进路径、清洁时间、和/或清洁方式。
16.根据权利要求9或15所述的自移动机器人控制装置,其特征在于,所述输入数据包括:图像、声音、文本、及遥控指令形式中的一种或多种组合的用户输入数据;以及/或者,采集自所述室内环境的环境数据。
17.一种自移动机器人,其特征在于,包括:信号采集器、处理器及存储器;
所述信号采集器,用于获取输入数据;
所述存储器,用于存储自移动机器人控制程序;
所述处理器,连接所述存储器及信号采集器,其运行所述自移动机器人控制程序以执行如权利要求1至8中任一项所述的自移动机器人控制方法。
18.一种计算机可读存储介质,其特征在于,用于存储自移动机器人控制程序,所述自移动机器人控制程序,用于被处理器执行以实现如下功能:
获取输入数据并提取输入特征信息;
根据所述输入特征信息,在对应室内环境建立的室内环境语义描述地图中进行特征语义匹配,以得到对应的待清洁场景;
执行对应所述待清洁场景预先设置的清洁方案;
其中,所述室内环境中定义有一或多个特征场景,对应各个特征场景设定相应的清洁方案;所述待清洁场景选自所述特征场景;所述特征场景包含对应固定因素的空间区域且其带有对应非固定因素的情景;
所述室内环境语义描述地图的建立方式,包括:
从采集自所述室内环境的环境数据提取多个样本特征信息;对各所述样本特征信息进行语义信息描述;通过带有语义描述信息的样本特征信息所对应的环境数据构建所述室内环境语义描述地图;所述样本特征信息是关于特征场景的空间中的固定因素及非固定因素而提取的。
CN201810904750.XA 2018-08-09 2018-08-09 自移动机器人控制方法、装置、设备及存储介质 Active CN110174888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810904750.XA CN110174888B (zh) 2018-08-09 2018-08-09 自移动机器人控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810904750.XA CN110174888B (zh) 2018-08-09 2018-08-09 自移动机器人控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110174888A CN110174888A (zh) 2019-08-27
CN110174888B true CN110174888B (zh) 2022-08-12

Family

ID=67689090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810904750.XA Active CN110174888B (zh) 2018-08-09 2018-08-09 自移动机器人控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110174888B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110742557B (zh) * 2019-10-24 2021-07-27 深圳市银星智能科技股份有限公司 一种摄像头的控制方法、装置及电子设备
CN111012261A (zh) * 2019-11-18 2020-04-17 深圳市杉川机器人有限公司 基于场景识别的清扫方法、系统、扫地设备及存储介质
DE102020102766A1 (de) * 2020-02-04 2021-08-05 Vorwerk & Co. Interholding Gesellschaft mit beschränkter Haftung Verfahren zum Betrieb eines Reinigungssystems
CN111476098A (zh) * 2020-03-06 2020-07-31 珠海格力电器股份有限公司 一种识别目标区域的方法、装置、终端及计算机可读介质
CN113749585B (zh) * 2020-05-28 2022-10-21 宁波方太厨具有限公司 基于语义的扫地机器人自适应清扫方法
CN111678522A (zh) * 2020-06-18 2020-09-18 小狗电器互联网科技(北京)股份有限公司 一种针对目标物的清扫方法、装置、可读介质及电子设备
CN111743463A (zh) * 2020-06-18 2020-10-09 小狗电器互联网科技(北京)股份有限公司 一种针对目标物的清扫方法、装置、可读介质及电子设备
CN113892858A (zh) * 2020-06-22 2022-01-07 深圳乐动机器人有限公司 一种禁区设置方法、装置、清洁机器人及存储介质
CN111738528B (zh) * 2020-07-20 2020-11-20 北京云迹科技有限公司 机器人调度方法及第一机器人
WO2022095060A1 (zh) * 2020-11-09 2022-05-12 深圳市大疆创新科技有限公司 路径规划方法、路径规划装置、路径规划系统和介质
CN115391380A (zh) * 2021-05-19 2022-11-25 苏州宝时得电动工具有限公司 一种自动匹配服务区域的方法、自移动设备和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100432396C (zh) * 2005-01-26 2008-11-12 株式会社电装 可减少噪声的阀控制装置
US8838268B2 (en) * 2008-01-28 2014-09-16 Seegrid Corporation Service robot and method of operating same
US9051028B2 (en) * 2012-09-14 2015-06-09 Raytheon Company Autonomous hull inspection
CN103558856A (zh) * 2013-11-21 2014-02-05 东南大学 动态环境下服务动机器人导航方法
KR102158695B1 (ko) * 2014-02-12 2020-10-23 엘지전자 주식회사 로봇 청소기 및 이의 제어방법
CN104545706B (zh) * 2015-01-29 2017-06-13 梁胜昔 地面清洁机器人及其接水装置
CN106155050A (zh) * 2015-04-15 2016-11-23 小米科技有限责任公司 智能清洁设备的工作模式调整方法及装置、电子设备
KR102427836B1 (ko) * 2015-06-26 2022-08-02 삼성전자주식회사 로봇 청소기, 정보 제공 시스템 및 정보 제공 방법
US10335949B2 (en) * 2016-01-20 2019-07-02 Yujin Robot Co., Ltd. System for operating mobile robot based on complex map information and operating method thereof
WO2018006373A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 一种基于意图识别控制家电的方法、系统及机器人
CN106108776B (zh) * 2016-08-04 2018-12-07 深圳瑞科时尚电子有限公司 互换式水箱组件及家用后抽式吸尘器
CN106782030A (zh) * 2016-11-30 2017-05-31 北京贝虎机器人技术有限公司 用于生成具有语义描述的室内地图的方法及装置
US10962647B2 (en) * 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
CN106709937A (zh) * 2016-12-21 2017-05-24 四川以太原力科技有限公司 一种扫地机器人的控制方法
CN107145578B (zh) * 2017-05-08 2020-04-10 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN108231069B (zh) * 2017-08-30 2021-05-11 深圳乐动机器人有限公司 清洁机器人的语音控制方法、云服务器、清洁机器人及其存储介质
CN107752910A (zh) * 2017-09-08 2018-03-06 珠海格力电器股份有限公司 区域清扫方法、装置、存储介质、处理器及扫地机器人
CN108125622A (zh) * 2017-12-15 2018-06-08 珊口(上海)智能科技有限公司 控制方法、系统及所适用的清洁机器人
CN108338748A (zh) * 2018-03-14 2018-07-31 郑州工程技术学院 一种基于视频监控的自动清洁方法、装置以及清洁机器人

Also Published As

Publication number Publication date
CN110174888A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110174888B (zh) 自移动机器人控制方法、装置、设备及存储介质
CN111543902B (zh) 地面清洁方法、装置、智能清洁设备和存储介质
CN111657798B (zh) 基于场景信息的清扫机器人控制方法、装置和清扫机器人
CN111839371B (zh) 地面清扫方法、装置、扫地机和计算机存储介质
CN108759844A (zh) 机器人重定位与环境地图构建方法、机器人及存储介质
US20200238511A1 (en) Robot apparatus, methods and computer products
TWI706763B (zh) 移動式機器人及其控制方法
CN111643017B (zh) 基于日程信息的清扫机器人控制方法、装置和清扫机器人
CN111973075B (zh) 基于户型图的地面清扫方法、装置、扫地机和计算机介质
CN102189557A (zh) 控制设备、控制方法和程序
US20200170474A1 (en) Robot and robot system
CN111643014A (zh) 智能清洁方法、装置、智能清洁设备和存储介质
JPWO2019211932A1 (ja) 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム
CN104182232A (zh) 一种创建上下文感知应用的方法及用户终端
CN110308661A (zh) 基于机器学习的智能设备控制方法及装置
CN111973076A (zh) 房间属性识别方法、装置、扫地机器人和存储介质
CN111743462A (zh) 扫地机器人的清扫方法及装置
CN116636774A (zh) 机器人及其控制方法、装置、设备及存储介质
US20230111067A1 (en) Systems, robots, and methods for selecting classifiers based on context
CN107028558B (zh) 计算机可读取记录媒体及自动清扫机
CN113749585A (zh) 基于语义的扫地机器人自适应清扫方法
CN114027746B (zh) 控制方法、装置、存储介质、电子设备及清洁机器人
CN114886345B (zh) 用于扫地机器人控制的方法、装置、系统及存储介质
US20240142994A1 (en) Stationary service appliance for a poly functional roaming device
CN116264950A (zh) 一种扫地机器人的设置方法、扫地机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant