CN113786125B - 作业方法、自移动设备及存储介质 - Google Patents
作业方法、自移动设备及存储介质 Download PDFInfo
- Publication number
- CN113786125B CN113786125B CN202110944997.6A CN202110944997A CN113786125B CN 113786125 B CN113786125 B CN 113786125B CN 202110944997 A CN202110944997 A CN 202110944997A CN 113786125 B CN113786125 B CN 113786125B
- Authority
- CN
- China
- Prior art keywords
- target object
- self
- target
- behavior mode
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000004140 cleaning Methods 0.000 claims abstract description 37
- 230000006399 behavior Effects 0.000 claims description 190
- 230000009471 action Effects 0.000 claims description 27
- 230000001133 acceleration Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 17
- 230000004048 modification Effects 0.000 claims description 15
- 238000012986 modification Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000005728 strengthening Methods 0.000 claims description 7
- 238000004804 winding Methods 0.000 claims description 5
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 238000010408 sweeping Methods 0.000 abstract description 50
- 230000007613 environmental effect Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 210000002268 wool Anatomy 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
- A47L11/4008—Arrangements of switches, indicators or the like
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本申请实施例提供一种作业方法、自移动设备及存储介质。在本申请实施例中,充分利用并结合自移动设备上的结构光模组获得更为丰富的环境数据,对作业环境中的不同物体进行类型识别,进而针对不同类型的物体采用不同的机器行为模式执行作业任务,做到更有针对性地、精细化、有目的性的执行作业任务,不仅能缩短作业时间,还能提高作业能力,改善用户的使用体验。特别是针对扫地机器人,针对不同类型的物体可以采用不同的机器行为模式执行清洁任务,做到更有针对性地、精细化、有目的性的清洁作业,不仅能缩短清洁时间,还能提高清洁能力,改善用户的使用体验。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种作业方法、自移动设备及存储介质。
背景技术
随着人们生活水平的不断提高,越来越多的智能化电器进入了人们的生活中。同时,很多家庭也开始利用智能扫地机器人来完成家庭环境的清洁。同时,AI技术的发展以及各类传感器性能的提升,扫地机器人的功能在不断进步和完善,从最开始的随机清扫(Random)时代,逐渐发展到可以规划清扫的智能清扫(Smart Move)时代,清扫方式也在不断地进步。
虽然扫地机器人的清扫方式在不断提升,但是目前扫地机器人只能采用较为简单的规划方式来完成整个家庭环境的清扫遍历,无法满足家庭环境中更加细致化的清扫需求,导致清洁时间较长,用户的使用体验不佳。
发明内容
本申请的多个方面提供一种作业方法、自移动设备及存储介质,用以满足更加细致化的作业需求。
本申请实施例提供一种作业方法,适用于带有结构光模组的自移动设备,该方法包括:
利用结构光模组中的结构光组件和视觉传感器分别采集前方作业区域中的结构光数据和图像数据;基于图像数据识别前方作业区域中存在的目标物体类别,选择与目标物体类别适配的目标机器行为模式;在结构光数据的辅助下,按照目标机器行为模式控制自移动设备针对前方作业区域中存在的目标物体执行作业任务。
本申请实施例还提供一种自移动设备,包括:设备本体,设备本体上设置有一个或多个存储器、一个或多个处理器以及结构光模组;结构光模组包括:结构光组件和视觉传感器;
一个或多个存储器,用于存储计算机程序;一个或多个处理器,用于执行计算机程序,以用于:
利用结构光模组中的结构光组件和视觉传感器分别采集前方作业区域中的结构光数据和图像数据;基于图像数据识别前方作业区域中存在的目标物体类别,选择与目标物体类别适配的目标机器行为模式;在结构光数据的辅助下,按照目标机器行为模式控制自移动设备针对前方作业区域中存在的目标物体执行作业任务。
本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当计算机指令被一个或多个处理器执行时,致使一个或多个处理器执行本申请实施例提供的自移动设备的作业方法实施例中的步骤。
在本申请实施例中,充分利用并结合自移动设备上的结构光模组获得更为丰富的环境数据,对作业环境中的不同物体进行类型识别,进而针对不同类型的物体采用不同的机器行为模式执行作业任务,做到更有针对性地、精细化、有目的性的执行作业任务,不仅能缩短作业时间,还能提高作业能力,改善用户的使用体验。特别是针对扫地机器人,针对不同类型的物体可以采用不同的机器行为模式执行清洁任务,做到更有针对性地、精细化、有目的性的清洁作业,不仅能缩短清洁时间,还能提高清洁能力,改善用户的使用体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一示例性实施例提供的自移动设备利用结构光模组进行作业的场景示意图;
图2为本申请一示例性实施例提供的一种结构光模组的结构示意图;
图3为本申请一示例性实施例提供的另一种结构光模组的结构示意图;
图4为本申请一示例性实施例提供的一种作业方法的流程示意图;
图5为本申请一示例性实施例提供的一种扫地机器人作业时的场景示意图;
图6为本申请一示例性实施例提供的家庭环境的户型图;
图7为本申请示例性实施例提供的一种自移动设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有扫地机器人不能满足人们在家庭环境中细致化的清扫需求,而且对于复杂的、精细的家庭环境,现有扫地机器人也没有很有针对性地,因地制宜地执行清洁任务,导致清洁时间长,效率低,用户的使用体验不佳。针对该技术问题,在本申请实施例中,充分利用并结合自移动设备上的结构光模组获得更为丰富的环境数据,对作业环境中的不同物体进行类型识别,进而针对不同类型的物体采用不同的机器行为模式执行作业任务,做到更有针对性地、精细化、有目的性的执行作业任务,不仅能缩短作业时间,还能提高作业能力,改善用户的使用体验。特别是针对扫地机器人,针对不同类型的物体可以采用不同的机器行为模式执行清洁任务,做到更有针对性地、精细化、有目的性的清洁作业,不仅能缩短清洁时间,还能提高清洁能力,改善用户的使用体验。
在此说明,本申请实施例提供的各种方法可由自移动设备实施。在本申请实施例中,自移动设备可以是任何能够在其所在环境中高度自主地进行空间移动的机械设备,例如,可以是机器人、净化器、无人驾驶车辆等。其中,机器人可以包括扫地机器人、陪护机器人或引导机器人等。这里对“自移动设备”进行的解释说明适用于本申请所有实施例,在后续各实施例中不再做重复性说明。
在对本申请实施例提供的各种方法进行详细说明之前,先对自移动设备可以采用的结构光模组进行说明。在本申请各实施例中,自移动设备安装有结构光模组。本申请实施例使用的结构光模组泛指任何包括结构光组件和视觉传感器的结构光模组。
其中,结构光组件包括线激光发射器102和激光摄像头101,线激光发射器102用于向外发射可见或不可见的线激光,激光摄像头101负责采集线激光探测到环境的激光图像。具体的,线激光发射器102发射的线激光遇到环境中的物体之后,在物体上形成激光条纹,激光摄像头101采集其视场范围内包括激光条纹的激光图像。利用三角法测距原理、激光条纹的激光图像在激光图像中的位置,激光摄像头101坐标系、自移动设备的设备坐标系和世界坐标系之间的坐标变换关系,可以从激光图像用于探测激光摄像头101视场角内的物体的三维点云数据、轮廓、高度、宽度、深度、长度等信息。
在图1中,自移动设备按照前进方向在工作面(诸如地面、桌面以及玻璃面)上移动,通过线激光发射器102向外发射线激光,线激光若遇到前方作业区域中的物体,会在物体上形成激光条纹,此时,激光摄像头101采集到包括激光条纹的激光图像。根据激光条纹在激光图像中的位置、三角法测距原理、激光摄像头101坐标系、自移动设备的设备坐标系和世界坐标系之间的坐标变换关系,不难计算出激光条纹所对应的物体上的各个位置点的高度h(也即物体上的位置点与工作面之间的距离)、各个位置点的深度s(也即物体上的位置点距离自移动设备的距离)、各个位置点的三维点云数据、物体的宽度b(宽度方向与前进方向垂直)以及物体的长度a(长度方向与前进方向平行)。在获取到物体上多个位置点的三维点云数据之后,通过分析三维点云数据可以确定物体的轮廓信息。
其中,视觉传感器103可以是能采集可见光图像的视觉摄像头,例如包括但不限于单目RGB摄像头和双目RGB摄像头等。进一步可选的,视觉传感器103的滤光片无法穿透线激光发射器102对外发射线激光被物体反射回来的反射光,以保证视觉传感器103可以采集到不包含线激光在遇到物体后产生激光条纹的可见光图像,如图1所示的可见光图像,进而保证视觉传感器103所采集的图像数据的质量。
值得注意的是,上述结构光模组可通过结构光组件探测到物体的三维点云数据、轮廓、高度、宽度、深度、长度等信息;通过视觉传感器103可以感知到物体的颜色特征、纹理特征、形状特征和空间关系特征等信息,进而感知更为丰富的环境信息,有利于帮助提升自移动设备的智能化程度。
下面结合图2-图3,对本申请实施例可以采用的几种结构光模组的结构以及工作原理进行简单说明。本领域技术人员应该理解下述列举的结构光模组仅为示例性说明,本申请实施例可以采用的结构光模组并不限于这几种。
如图2至3所示,一种结构光模组主要包括:结构光组件和视觉组件。其中,结构光组件包括激光摄像头101、分布于激光摄像头101两侧的线激光发射器102。视觉组件包括视觉传感器103。其中,结构光组件或视觉组件可由结构光模组内部的控制器或外部的控制器进行控制。为了便于理解将结构光模组内部的控制器称之为模组控制器104。图2中模组控制器104以虚线框表示,说明模组控制器104为可选组件。当结构光模组应用到自主移动设备上后,结构光模组中的全部或部分组件可在自主移动设备的主控制器106的控制下进行工作。为了便于理解,以结构光组件在模组控制器104的控制下工作和视觉组件在主控制器106的控制下进行工作为例进行说明。
其中,线激光发射器102安装于激光摄像头101上方、下方、左侧或右侧均可以,只要线激光发射器102发射的线激光位于激光摄像头101的视场范围内即可。在图2和图3中,以线激光发射器102安装于激光摄像头101左右两侧为例进行图示。如图1所示,在结构光模组中,线激光发射器102发射出的激光面打在障碍物或地面表面形成的激光条纹在前方水平于地面、垂直于自移动设备前进方向。可将这种安装方式称为水平安装。图1所示为结构光模组在自移动设备上的安装状态以及应用状态示意图。
如图1所示,自移动设备向前行进过程中,可控制结构光模组按照一定的方式工作,例如周期性(每20ms)进行一次环境探测,从而得到一组激光图像数据,每个激光图像数据中包含线激光打到物体表面或地面上形成的激光条纹,一条激光条纹包含多个三维数据,大量激光图像中的激光条纹上的三维数据可形成三维点云数据。
可选地,模组控制器104一方面对激光摄像头101进行曝光控制,另一方面可控制线激光发射器102在激光摄像头101曝光期间对外发射线激光,以便于激光摄像头101采集由线激光探测到的激光图像。其中,模组控制器104可以控制位于激光摄像头101两侧的线激光发射器102同时工作,或者交替工作,对此不做限定。本申请实施例并不限制模组控制器104的实现形态,例如可以是但不限于CPU、GPU或MCU等处理器。本申请实施例也不限定模组控制器104控制结构光模组的方式。凡是可以实现结构光模组功能的实施方式均适用于本申请实施例。
具体的,模组控制器104可以控制激光摄像头101的曝光频率、曝光时长、工作频率等。激光摄像头101在模组控制器104的控制下在线激光发射器102发射线激光期间采集由线激光探测到的激光图像。基于激光摄像头101采集到的激光图像,可以计算出结构光模组或结构光模组所在设备到前方物体(如障碍物)的距离(也即前方物体的深度信息),还可以计算前方物体(如障碍物)的三维点云数据、轮廓、形状、高度和/或宽度、体积等信息,进一步,还可以进行三维重建等。其中,可以利用激光三角测距法原理,通过三角函数计算激光摄像头101与其前方物体的距离。
在本实施例中,并不限定线激光发射器102的实现形态,可以是任何能够发射线激光的设备/产品形态。例如,线激光发射器102可以是但不限于:激光管。在本实施例中,也不限定线激光发射器102发射线激光的波长,波长不同,线激光的颜色会不同,例如可以是红色激光、紫色激光等。另外,线激光可以是可见光,也可以是不可见光。
在本实施例中,并不限定激光摄像头101的实现形态。凡是可以采集线激光发射器102发射出的线激光所探测到的环境的激光图像的视觉类设备均适用于本申请实施例。例如,激光摄像头101可以采用能够采集线激光发射器102发射出的线激光的摄像头。与线激光发射器102发射线激光的波长适配,例如,激光摄像头101还可以是红外摄像头、紫外线摄像头、星光摄像机、高清摄像头、加装了透红色激光的2D视觉摄像头、加装了透紫色激光的2D视觉摄像头、以及加装了透紫色激光的2D视觉摄像头等。激光摄像头101可采集其视场角内的激光图像。激光摄像头101的视场角包括垂直视场角、水平视场角、对角视场角。在本实施例中,并不限定激光摄像头101的视场角,可以根据应用需求来选择具有合适视场角的激光摄像头101。可选的,激光摄像头101的水平视场角为100.6°;或者,激光摄像头101的垂直视场角为74.7°;或者,激光摄像头101的对角视场角为133.7°。
在本实施例中,只要线激光发射器102发射出去的线激光位于激光摄像头101的视场范围内即可,至于线激光在物体表面形成的激光条纹与水平面之间的角度不做限定,例如可以平行或垂直于水平面,可以与水平面之间成任意角度,具体可根据应用需求而定。
在本实施例中,并不限定视觉传感器103的实现形态。凡是可以采集可见光图像的视觉类设备均适用于本申请实施例。可见光图像可以呈现环境中物体的颜色特征、纹理特征、形状特征和空间关系特征等特征,能够帮助识别物体的种类、材质等信息。在本申请实施例中,视觉传感器103采集其视场范围内的环境图像是一种可见光图像。其中,视觉传感器103可以包括但不限于:单目RGB摄像头、双目RGB摄像头等。其中,单目RGB摄像头包括一个RGB摄像头,双目RGB摄像头包括两个RGB摄像头,RGB摄像头是能够采集RGB图像的2D视觉摄像头。激光摄像头101可采集其视场角内的环境图像。视觉传感器103的视场角包括垂直视场角、水平视场角、对角视场角。在本实施例中,并不限定视觉传感器103的视场角,可以根据应用需求来选择具有合适视场角的视觉传感器103。可选的,视觉传感器103的水平视场角为148.3°;或者,视觉传感器103的垂直视场角为125.8°;或者,视觉传感器103的对角视场角为148.3°。
应理解,RGB摄像头的滤光片无法穿透线激光发射器102对外发射线激光被物体反射回来的反射光。因此,RGB摄像头可以采集到不包含线激光在遇到物体后产生激光条纹的可见光图像。可以理解的是,视觉传感器103采集其视场范围内的环境图像是不包含激光条纹的可见光图像。
可选的,视觉传感器103在主控制器106的控制下进行工作。例如,主控制器106可以控制视觉传感器103的曝光频率、曝光时长、工作频率等。
进一步可选的,参见图2和图3,结构光模组中的视觉组件还可以包括指示灯105,指示灯105的亮灭状态指示视觉传感器103的工作状态。例如,指示灯105亮起表示视觉传感器103处于工作状态。指示灯105熄灭,表示视觉传感器103处于关闭状态。可选的,指示灯105在模组控制器104的控制下进行工作。模组控制器104可与主控制器106进行交互,获取主控制器106发送的视觉传感器103的工作状态,并基于视觉传感器103的工作状态控制指示灯105的亮灭状态。
进一步可选的,为了提高结构光模组的智能性,可以由模组控制器104控制结构光组件和视觉组件的图像采集工作,并承担对结构光组件和视觉组件的所采集的激光图像数据和可见光图像数据进行数据处理工作。
进一步可选的,为了减少结构光模组的数据处理量,提高结构光模组的图像采集效率,由主控制器106承担对结构光组件和视觉组件的所采集的激光图像数据和可见光图像数据进行数据处理工作。在这种情形下,结构光模组通过模组控制器104向主控制器106发送结构光组件采集的激光图像数据,同时,主控制器106获取视觉组件采集的可见光图像数据。其中,主控制器106可以对激光图像数据进行分析,物体三维点云数据、轮廓、形状、高度和/或宽度、体积等。主控制器106还可以对可见光图像数据进行分析,识别物体的颜色特征、纹理特征、形状特征、空间关系特征、种类、材质等信息。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图4为本申请一示例性实施例提供的作业方法的流程图。该方法适用于自移动设备,自移动设备安装有结构光模组。关于结构光模组的介绍请参见前述内容。如图1所示,该方法包括以下步骤:
401、利用结构光模组中的结构光组件和视觉传感器分别采集前方作业区域中的结构光数据和图像数据。
402、基于图像数据识别前方作业区域中存在的目标物体类别,选择与目标物体类别适配的目标机器行为模式。
403、在结构光数据的辅助下,按照目标机器行为模式控制自移动设备针对前方作业区域中存在的目标物体执行作业任务。
在本申请实施例中,自移动设备作业过程中,可以利用结构光模组探测前方作业区域的环境信息。其中,前方作业区域是指在自移动设备作业过程中,自移动设备沿行进方向能够识别的范围,该前方作业区域的环境信息会随着自移动设备的行进随之变化,自移动设备在不同作业区域内,其前方作业区域的环境信息不同。具体的,利用结构光组件采集前方作业区域中的结构光数据,也即在线激光发射器向前方作业区域发射线激光之后,由激光摄像头采集线激光探测到环境的激光图像数据。同时,利用视觉传感器采集前方作业区域中的图像数据,该图像数据为可见光图像数据。
在获取到前方作业区域中的结构光数据和图像数据之后,首先基于图像数据识别前方作业区域中是否存在物体以及物体所属的类别。
值得注意的是,在本申请实施例中,物体类别是从物体对自移动设备作业影响的角度对物体进行分类。例如,物体类别大致可分为:易卡困、易缠绕、易脏以及可移动等,但并不限于以上类别。应理解,易卡困物体是指作业环境中存在的一些容易致使自移动设备被困住和卡死的物体;易缠绕物体是指作业环境中存在的一些容易缠绕自移动设备的物体;易脏污物体是指作业环境中存在的容易导致其所在区域比较脏污的一些物体;可移动物体是指作业环境中存在的一些可移动的物体,这些物体一方面可能会干扰自移动设备的正常行进,另一方面会干扰自移动设备执行作业任务,例如被可移动物体占据的地方自移动设备将无法打扫,需要采取一些特殊处理方式。
以家庭环境为例,假设家庭环境中存在以下物体:垃圾桶、充电座、鞋子、碗盆、U型椅、吧台椅、移门滑轨、衣服、地毯边缘、电线、人以及动物等。在这些物体中,有些物体属于易卡困类别的物体,有些属于易缠绕类别的物体,有些属于易脏污类别的物体,还有些属于可移动的物体。例如,易卡困类别的物体包括但不限于:U型椅、吧台椅、移门滑轨。易缠绕类别的物体包括但不限于:衣服、地毯边缘、电线。易脏污类别的物体包括但不限于:垃圾桶、充电座、鞋子、碗盆。又例如,可移动的物体包括但不限于:人、动物等。
在本申请实施例中,将基于结构光模组中视觉传感器采集到的前方作业区域中的图像数据识别到的前方作业区域中存在的物体所属的类别称为目标物体类别。目标物体类别可以包括上述列举的几种物体类别中的任一种或几种,对此不做限定。另外,在本申请实施例中,对基于结构光模组中视觉传感器采集到的图像数据识别前方作业区域中存在的目标物体类别的方式不做限定。下面对识别目标物体类别的实施方式进行举例说明:
可选地,自移动设备可以利用AI(Artificial Intelligence,人工智能)算法,对结构光模组中视觉传感器采集到的图像数据进行物体识别,从而得到自移动设备前方作业区域中存在的目标物体类别。可选的,AI识别结果包括物体是作业环境中的哪个物体,以及物体所属类别。其中,基于AI算法对结构光模组中视觉传感器采集到的图像数据进行物体识别,具体可以是:采用预先训练的神经网络模型对结构光模组中视觉传感器采集到的图像数据进行物体识别。具体地,可以预先准备大量的样本物体图像,并标注样本物体图像中物体所属的物体类别,根据样本物体图像及其标注结果进行模型训练,获取能够识别物体类别的图像识别模型,将该图像识别模型内置到自移动设备内。之后,在结构光模组中的视觉传感器采集到自移动设备前方作业区域内的图像数据之后,自移动设备可利用该图像识别模型对图像数据进行物体识别,从而得到自移动设备前方作业区域中存在的目标物体类别。其中,图像识别模型的网络结构包括但不限于:CNN(Convolutional Neural Networks,卷积神经网络)、RNN(Recurrent Neural Network,循环神经网络)以及LSTM(Long Short-Term Memory,长短期记忆人工神经网络)。
进一步可选的,本申请实施例采用的图像识别模型包括特征提取网络和分类神经网络。图像识别模型基于图像数据识别自移动设备前方作业区域中存在的物体类别的一种实施过程是:将图像数据输入特征提取网络中,在图像数据上生成至少一个候选框,对每个候选框对应的特征映射图进行池化处理以得到第一特征向量;进一步,基于每个候选框对应的第一特征向量从至少一个候选框中选定有效候选框;有效候选框是指圈定图像区域中包含有物体的候选框;将有效候选框中的图像输入到分类神经网络中,对有效候选框中的图像进行特征提取以得到第二特征向量;基于第二特征向量识别出有效候选框中物体所属的物体类别。例如,可以将第二特征向量与预先维护的特征库中已知物体对应的特征向量进行匹配,将特征库中被第二特征向量匹配中的特征向量对应的已知物体所属的类别,作为有效候选框中物体所属的类别。
可选的,特征库中维护了已知物体及其物体类别的关联关系。其中,已知物体可以指其所属物体类别已经确认的物体。
在本申请的上述或下述实施例中,在自移动设备识别出前方作业区域中存在的目标物体及其所属的目标物体类别之后,还可以将识别出的目标物体及其所属的目标物体类别更新到环境地图中与该目标物体对应的地图区域中。
进一步可选的,在本申请实施例中,作业环境中可能存在一些未被AI算法识别到的物体及其所属的物体类别,针对这些物体及其所属的物体类别,允许用户将这些物体及其所属的物体类别等信息添加至环境地图中。具体的,用户可以在与自移动设备绑定的终端设备的显示屏幕上或在自移动设备的显示屏幕上查看环境地图,并将环境地图中已经存在的物体及其所属物体类别与自移动设备所在作业环境中实际存在的物体及其所属物体类别进行比对;若作业环境中实际存在的物体及其所属的物体类别与环境地图中已经记载的物体及其所属物体类别不符合,用户可以更新环境地图,以便环境地图更加准确反映作业环境中实际存在的物体及其所属物体类别的信息,以使环境地图与作业环境更加契合。应理解,与作业环境更加契合的环境地图能够帮助提高自移动设备更加准确感知作业环境中存在物体的信息,有利于提高移动设备的作业性能。
其中,作业环境中实际存在的物体及其所属的物体类别与环境地图中已经记载的物体及其所属物体类别不符合的情形包括以下几种:
情形之一:作业环境中实际存在一些物体及其所属的物体类别并未出现在环境地图中;
情形之二:作业环境中实际存在一些物体及其所属物体类别与环境地图中标记的信息不一致。
为了便于理解和区分,将作业环境中实际存在但未出现在环境地图中物体称为第一物体。用户可以根据第一物体在作业环境中的位置信息,在环境地图中增加该第一物体及其所属物体类别等信息。
为了便于理解和区分,将作业环境中真实存在但在环境地图中标记有误的物体称为第二物体。用户可以在环境地图中将第二物体的相关信息进行修改,以与其真实信息相契合。
进一步的,为了满足用户对已知物体类别的修改需求,自移动设备还可以在接收到用户针对已知物体类别的修改请求时,展示已知物体类别,以及响应针对已知物体类别发起的第一修改操作,获取修改后的物体类别;已知物体类别是用户在环境地图上设定的和/或自移动设备基于历史图像数据识别到的。其中,第一修改操作包括以下至少一种:修改物体类别的名称、调整物体类别对应的物体、以及删除已知物体类别。
其中,针对修改物体类别的名称的修改操作,则修改前该物体类别的物体变成修改后物体类别下的物体。例如,将鞋子的物体类别从易脏污类别修改为易缠绕类别。
其中,针对调整物体类别对应的物体的修改操作,被调整的物体的物体类别发生改变。例如,易卡困类别下的物体从U型椅、吧台椅、移门滑轨变为U型椅和吧台椅,也即将移门滑轨从易卡困类别中移除。
其中,针对删除已知物体类别的修改操作,则被删除的已知物体类别下的物体后续将不会被识别为被删除的已知物体类别。
其中,在发生作业环境中实际存在的物体及其所属的物体类别与环境地图中已经记载的物体及其所属物体类别不符合的情形时,用户可以在环境地图中设定正确的物体及其所属物体类别,此时,由用户在环境地图中设定物体类别为已知物体类别。
需要指的是,若自移动设备获知已知物体类别信息被修改了,则后续可以结合修改后的已知物体类别信息并基于视觉传感器采集的图像数据识别自移动设备前方作业区域中的目标物体类别。
在基于图像数据识别前方作业区域中存在的目标物体类别之后,选择与目标物体类别适配的目标机器行为模式。应理解,与目标物体类别适配的目标机器行为模式是基于目标物体类别有针对性地为自移动设备选择的目标机器行为模式。自移动设备按照目标机器行为模式针对前方作业区域中存在的目标物体执行作业任务时,自身作业能力受到目标物体的影响较小。下面分情况介绍与目标物体类别适配的目标机器行为模式:
情况1:针对易卡困物体,目标机器行为模式可以是避障行为模式或加速通行行为模式。假如自移动设备在执行作业任务中遇到易卡困物体,若易卡困物体不可通行,则自移动设备按照避障行为模式避开易卡困物体;若易卡困物体可通行,则自移动设备按照加速通行行为模式快速从易卡困物体内部通行;以减少被易卡困物体困住卡死的概率。
以扫地机器人为例,若扫地机器人在执行清扫任务过程中遇到诸如U型椅或吧台椅等不可通行的易卡困物体,则扫地机器人放弃清扫U型椅或吧台椅的周边区域,并按照避障行为模式避开U型椅或吧台椅等不可通行的易卡困物体。
若扫地机器人在执行清扫任务过程中遇到诸如移门滑轨等可通行的易卡困物体,则扫地机器人放弃清扫移门滑轨的周边区域,并按照加速通行行为模式加速通过诸如移门滑轨等易卡困物体。
情况2:针对易缠绕物体,目标机器行为模式可以是减速作业行为模式。此时,自移动设备按照减速作业行为模式在作业过程中放缓作业速度,以减少被易缠绕物体缠绕的概率。
例如,若扫地机器人在执行清扫任务过程中遇得诸如衣服、地毯边缘、电线等易缠绕物体,扫地机器人按照减速作业行为模式可以适当地关闭边刷或滚刷,或者减慢边刷的转速,也即停止清扫作业或减慢清扫作业速度。当扫地机器人远离易缠绕物体后,再将恢复至正常清扫状态。
情况3:针对易脏污物体,目标机器行为模式可以是加强作业行为模式。此时,自移动设备按照加强作业行为模式提高作业能力对易脏污物体进行加强处理。
例如,若扫地机器人在执行清扫任务过程中遇到诸如垃圾桶、充电座、鞋子以及碗盆等易脏污物体,扫地机器人按照加强作业行为模式加强对于这类周围的清洁力度。实际应用中,扫地机器人可以加快边刷和滚刷的转速,以及加强风机的吸力。同时,扫地机器人也可以在这类物体的周围执行多次重复式的清扫,或执行多次绕圈清洁。
情况4:针对可移动物体,目标机器行为模式可以是语音提示行为模式。其中,语音提示行为模式可以实现自移动设备与可移动物体的交互,提示可移动物体避让自移动设备需要执行作业任务的区域。
例如,若扫地机器人在执行清扫任务过程中遇到人,则扫地机器人按照语音提示行为模式语音提示人离开当前位置,或者抬起双脚,让扫地机器人完成对人脚所占区域的清洁任务。
在本申请的上述或下述实施例中,为了准确且快速地选择与目标物体类别适配的目标机器行为模式,可以预先关联存储已知物体类别及其对应的机器行为模式,以便自移动设备可以根据目标物体类别,查询已知物体类别及其对应的机器行为模式,以得到与目标物体类别对应的机器行为模式,作为目标机器行为模式。
在本申请的上述或下述实施例中,已知物体类别及其对应的机器行为模式可以由自移动设备设定,也可以由用户设定,对此不做限制。
进一步可选的,还可以支持用户根据实际应用需求修改已知物体类别对应的机器行为模式。例如,对机器行为模式至少包括自移动设备执行作业任务所需的行为参数和行为动作的进行修改。其中,行为参数包括但不限于:作业次数、风机吸力大小、边刷转速、执行动作时相对目标物体的距离值和方向角度等。行为动作例如加速通行动作、减速作业、避障动作、加强作业动作以及语音提示动作等。
于是,在本申请的上述或下述实施例中,上述方法还包括:展示已知物体类别对应的机器行为模式,响应针对机器行为模式发起的第二修改操作,获取修改后的机器行为模式;其中,第二修改操作包括以下至少一种:修改已有行为参数、增加新的行为参数、删除已有行为参数、修改已有机器动作参数、增加新的机器动作参数以及删除已有机器动作参数。
在自移动设备选择与目标物体类别适配的目标机器行为模式,为了提高自移动设备的作业性能,可以在结构光数据的辅助下,按照目标机器行为模式控制自移动设备针对前方作业区域中存在的目标物体执行作业任务。例如,结构光数据可探测到物体的三维点云数据、轮廓、形状、高度、宽度、深度(也即物体距自移动设备的距离)、长度、厚度以及体积等信息,结合上述结构光数据,可以提高自移动设备作业性能。
本申请实施例提供的作业方法,充分利用并结合自移动设备上的结构光模组获得更为丰富的环境数据,对作业环境中的不同物体进行类型识别,进而针对不同类型的物体采用不同的机器行为模式执行作业任务,做到更有针对性地、精细化、有目的性的执行作业任务,不仅能缩短作业时间,还能提高作业能力,改善用户的使用体验。特别是针对扫地机器人,针对不同类型的物体可以采用不同的机器行为模式执行清洁任务,做到更有针对性地、精细化、有目的性的清洁作业,不仅能缩短清洁时间,还能提高清洁能力,改善用户的使用体验。
在本申请的上述或下述实施例中,为了提高自移动设备前方作业区域中存在的物体类别的识别准确度,在选择与目标物体类别适配的目标机器行为模式之前,还可以结合结构光数据对基于图像数据识别出的目标物体类别进行修正。例如,结合结构光数据识别物体的高度、宽度、长度或体积是否与目标物体类别匹配。又例如,考虑到同一物体类别的物体的轮廓具体相似性,还可以结合结构光数据识别物体的轮廓,基于轮廓信息对目标物体类别进行修正。
于是,在本申请的上述或下述实施例中,在选择与目标物体类别适配的目标机器行为模式之前,上述方法还包括:基于结构光数据识别前方作业区域中存在的目标物体轮廓;根据目标物体轮廓对目标物体类别进行修正。
示例性的,基于结构光数据识别前方作业区域中存在的目标物体轮廓时,可以先基于结构光数据获取目标物体的三维点云数据,基于目标物体的三维点云数据对目标物体进行三维重建,并对三维重建得到的目标物体进行轮廓特征提取,以获取目标物体轮廓。
在本申请的一些可选实施例中,可以预先提取属于任一物体类别下的物体的轮廓特征。若目标物体轮廓与属于目标物体类别下的物体的轮廓特征相匹配,则不需要对目标物体类别进行修正。若目标物体轮廓与属于目标物体类别下的物体的轮廓特征不匹配,则将所述目标物体轮廓对应的物体类别作为参考物体类别,根据所述参考物体类别对所述目标物体类别进行修正;其中,不同物体类别具有不完全相同的物体轮廓。在本申请一些可选的实施例中,根据参考物体类别对目标物体类别进行修正的一种实施过程是:在目标物体类别与参考物体类别之间的差异度小于设定阈值的情况下,将目标物体类别直接修正为参考物体类别;或者,在目标物体类别与参考物体类别之间的差异度大于或等于设定阈值的情况下,确定可以在目标物体类别和参考物体类别之间过度的中间态物体类别,将目标物体类别修正为中间态物体类别。
在本申请一些可选的实施例中,根据目标物体轮廓对所述目标物体类别进行修正的一种实施过程是:根据目标物体轮廓对目标物体类别进行更细粒度的划分,以得到目标物体类别下的子类别。例如,针对易卡困类别,既有诸如移门滑轨这样的非镂空型物体,也有诸如U型椅和吧台椅等这样的镂空型物体。自移动设备遇到非镂空型物体时,可以加速从非镂空型物体上快速通过,以避免被非镂空型物体困住卡死。而自移动设备遇到镂空型物体时,可以对镂空型物体的物体类别进行细化,识别该镂空型物体是否可以通行。
于是,在本申请一些可选的实施例中,根据目标物体轮廓对目标物体类别进行更细粒度的划分,以得到目标物体类别下的子类别的一种实施过程是:在目标物体类别为易卡困类别情况下,结合目标物体轮廓,确定目标物体轮廓对应目标物体是否为镂空型物体;在目标物体为镂空型物体的情况下,结合目标物体的镂空宽度和自移动设备的机身宽度,将目标物体类别划分为易卡困且不可通过和易卡困且可通过两种子类别。
示例性的,可以根据目标物体轮廓中贴近工作面(例如地面、桌面以及玻璃面)的下边缘上多个位置点的高度信息以及对应的横向距离信息,识别目标物体是否为镂空型物体,以及是属于易卡困且不可通过子类别还是属于易卡困且可通过子类别。
进一步可选的,首先识别目标物体轮廓中贴近工作面(例如地面、桌面以及玻璃面)的下边缘上是否存在高于工作面的多个位置点。若存在高于工作面的多个位置点,确定目标物体为镂空型物体。在目标物体为镂空型物时,识别目标物体的下边缘上是否存在连续的镂空宽度大于机身宽度高度大于机身高度的多个位置点,若存在连续的镂空宽度大于机身宽度且高度大于机身高度的多个位置点,则目标物体类别划分为易卡困且可通过。若不存在连续的镂空宽度大于机身宽度或高度大于机身高度的多个位置点,则目标物体类别划分为易卡困且不可通过。
其中,目标物体高度根据连续的多个位置点的高度进行求平均值计算获取。镂空宽度是指连续的多个位置点对应的横向距离信息,可以通过连续的多个位置点中的第一个位置点和最后一个位置点的位置坐标计算得到,也即第位置点与最后一个位置点之间的距离信息。参见图5所示的圆拱形镂空型物体,圆圈代表的是圆拱形镂空型物体上的多个位置点,对多个位置点距离地面的高度进行求平均值,作为圆拱形镂空型物体的高度,若圆拱形镂空型物体的高度大于机身高度,再进一步计算多个位置点的横向距离信息l,若横向距离信息l大于机身宽度,则自移动设备可以从圆拱形镂空型物体的内部穿行,也即圆拱形镂空型物体的物体类别划分为易卡困且可通过。若横向距离信息l小于等于机身宽度,或圆拱形镂空型物体的高度小于等于机身高度,则自移动设备不可以从圆拱形镂空型物体的内部穿行,也即圆拱形镂空型物体的物体类别划分为易卡困且不可通过。
在本申请的上述或下述实施例中,在结构光数据的辅助下,按照目标机器行为模式控制自移动设备针对前方作业区域中存在的目标物体执行作业任务的一种实施过程是:基于结构光数据,识别前方作业区域中存在的目标物体的位置信息和/或外形参数;根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务。
其中,目标物体的位置信息可以是该目标物体的三维点云数据,外形参数包括但不限于轮廓、高度、宽度、深度以及长度等信息。
下面分情况介绍根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务的实施过程。
情形1:在目标物体类别为易卡困且不可通过的情况下,选择避障行为模式作为与目标物体类别适配的目标机器行为模式。针对易卡困且不可通过的目标物体,除了需要考虑目标物体的位置信息以判断自移动设备当前与目标物体的距离是否接近避障距离,还需要至少考虑外形参数中的轮廓参数,以减少自移动设备在避障过程中被目标物体的轮廓边缘损伤。相应地,根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务的一种实施过程是:基于目标物体的位置信息和外形参数中的轮廓参数,按照避障行为模式控制自移动设备针对目标物体进行避障。
例如,若将U型椅或吧台椅划分为易卡困且不可通过的目标物体,则自移动设备当前与U型椅或吧台椅的距离接近避障距离时,开始进行避障,并在避障过程中实施监测自身是否触碰到U型椅或吧台椅的轮廓边缘。
情形2:在目标物体类别为易卡困且可通过的情况下,选择加速通行行为模式作为与目标物体类别适配的目标机器行为模式。
若目标物体为非镂空物体,例如移门滑轨,则控制自移动设备按照加速通行行为模式快速越过移门滑轨。
若目标物体为镂空物体,例如,U型椅或吧台椅。除了需要考虑目标物体的位置信息以判断自移动设备当前与目标物体的距离是否接近避障距离,还需要至少考虑外形参数中的镂空宽度和高度,以使得自移动设备从目标物体可以穿行的区域穿行出去,以减少自移动设备在穿行过程中与目标物体相撞。相应地,根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务的一种实施过程是:基于目标物体的位置信息和外形参数中的镂空宽度和高度,按照加速通行行为模式控制自移动设备穿过目标物体的镂空区域以继续执行作业任务。
在本申请一些可选的实施例中,加速通行行为模式包括:指示加速动作的第一指示参数和加速动作所需的第一执行参数,第一执行参数包括方向参数、距离参数和速度参数。其中,第一指示参数主要指示要执行的行为动作是否为加速动作。第一执行参数是指执行加速动作所需的参数,例如方向参数、距离参数和速度参数中至少一种。其中,距离参数可以是包括在自移动设备与目标物体相距多远时开始启动加速通行模式,或者,在自移动设备与目标物体相距多远时结束加速通行模式。
若目标物体为非镂空物体,例如移门滑轨,在自移动设备在距离移门滑轨15㎝时,目标物体朝着移门滑轨呈45度夹角的方向,每秒30厘米的速度加速通过移门滑轨,以及在目标物体离开移门滑轨至少10㎝之后,可以退出加速通行模式,按照正常速度通行模式移动。
若目标物体为非镂空物体,例如,U型椅或吧台椅,相应地,基于目标物体的位置信息和外形参数中的镂空宽度和高度,按照加速通行模式控制自移动设备穿过目标物体的镂空区域以继续执行作业任务的一种实施过程是:基于目标物体的位置信息和外形参数中的镂空宽度和高度,结合方向参数,调整自移动设备的朝向,以使自移动设备朝向目标物体的镂空区域;按照距离参数和速度参数,控制自移动设备沿着当前朝向加速直至穿过目标物体的镂空区域为止。
应理解,自移动设备所朝向目标物体的镂空区域是指自移动设备可穿行的镂空区域。若目标物体为U型椅或吧台椅,在自移动设备在距离U型椅或吧台椅15㎝时,目标物体朝着U型椅或吧台椅呈45度夹角的方向,每秒30厘米的速度加速通过U型椅或吧台椅的可穿行的镂空区域,以及在目标物体离开U型椅或吧台椅至少10㎝之后,可以退出加速通行模式,按照正常速度通行模式移动。
情况3:在目标物体类别为易缠绕的情况下,选择减速作业行为模式与目标物体类别适配的目标机器行为模式,相应地,根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务的一种实施过程是:基于目标物体的外形参数中的轮廓边缘位置,按照减速作业行为模式控制自移动设备针对目标物体执行作业任务。
例如,诸如衣服、电线、地毯等易缠绕物体,基于结构光数据可以识别出这类物体的轮廓边缘位置,基于这类物体的轮廓的边缘位置可以使得诸如扫地机器人等自移动设备在不缠绕上述易缠绕物体的前提下,减速作业以减少这类物体周围区域的发生漏扫的情形的概率。
在本申请一些可选的实施例中,减速作业行为模式包括:指示减速作业的第二指示参数和减速作业所需的第二执行参数,第二执行参数至少包括避障距离以及小于转速阈值的第一边刷转速。其中,转速阈值、第一边刷转速根据实际应用需求设置。
若目标物体为诸如衣服或电线等只能在其周边区域作业,不能在其上表面作业的易缠绕物体,自移动设备可以基于第二指示参数和第二执行参数在距离目标物体大于避障距离的周围区域内根据第一边刷转速控制驱动其边刷执行清洁任务。
若目标物体为诸如地毯等不仅需要在其周边区域作业,还需要在其上表面作业(也即在目标物体的上方作业)的易缠绕物体,相应地,基于目标物体的外形参数中的轮廓边缘位置,按照减速作业行为模式控制自移动设备针对目标物体执行作业任务的一种实施过程是:
基于目标物体的轮廓边缘位置,结合避障距离,控制自移动设备在距离目标物体大于避障距离的周围区域内执行作业任务;以及在自移动设备爬升至目标物体上方执行作业任务时,基于外形参数中的轮廓上边缘的高度信息,根据第一边刷转速控制自移动设备驱动其边刷在目标物体上方执行清洁任务。其中,轮廓上边缘是指轮廓中远离工作面的边缘,是轮廓中相对其他边缘最高的边缘。
结合轮廓上边缘的高度信息,可以评估目标物体的作业难度,也可以对目标物体进一步进行分类。以地毯为例,有的地毯为长毛地毯,有的地毯为短毛地毯。长毛地毯的轮廓上边缘的高度高于短毛地毯的轮廓上边缘的高度,
长毛地毯相对短毛地毯较难清洁。短毛地毯和长毛地毯都需要增大风机的吸力,长毛地毯需要的风机的吸力比短毛地毯的风机的吸力还大,但是在硬质地板上不需要很大的风机吸力。因此,还可以根据轮廓上边缘的高度信息调整自移动设备滚刷中风机的吸力,既能保证一定的清洁力度下还能保证自移动设备的续航能力。因此,结合轮廓上边缘的高度信息可以进一步有针对性有目的性地控制自移动设备作业。
情况4:在目标物体类别为易脏污的情况下,选择加强作业行为模式作为与目标物体类别适配的目标机器行为模式。相应地,根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务的一种实施过程是:基于目标物体的外形参数中的轮廓边缘位置,按照加强作业行为模式控制自移动设备针对目标物体执行作业任务。
在本申请一些可选的实施例中,加强作业行为模式包括:指示加强作业的第三指示参数和加强作业所需的第三执行参数,第三执行参数至少包括作业次数以及大于转速阈值的第二边刷转速;
相应地,基于目标物体的外形参数中的轮廓边缘位置,按照加强作业行为模式控制自移动设备针对目标物体执行作业任务,包括:
基于目标物体的外形参数中的轮廓边缘位置,根据作业次数控制自移动设备在目标物体周围区域多次执行作业任务;以及在每次执行作业任务过程中,根据第二边刷转速,控制自移动设备驱动其边刷在目标物体周围区域执行清洁任务。其中,第二边刷转速根据实际应用需求设置。第二边刷转速可以是大于转速阈值的较大的边刷转速。
应理解,自移动设备在距离目标物体大于避障距离的周围区域内多次执行作业任务。
情况5:在目标物体类别为可移动的情况下,选择语音提示行为模式作为与目标物体类别适配的目标机器行为模式。相应地,根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务的一种实施过程是:基于目标物体的位置信息,按照语音提示行为模式控制自移动设备针对目标物体发出语音提示信息,以提示目标物体改变其状态;以及结合针对目标物体采集到的结构光数据,识别目标物体的最新状态,并在最新状态符合语音提示要求的情况下,继续控制自移动设备针对目标物体执行作业任务。
在可移动的目标物体阻挡自移动设备无法继续向前移动时,自移动设备可以语音提示可移动的目标物体改变其姿态,使得自移动设备可以继续向前移动。
以可移动的目标物体是人为例,人所在的位置,扫地机器人通常打扫不了。所以,扫地机器人可以通过播放语音提示,提醒用户避让(用户站立时),或者提醒用户抬起双脚(用户坐着时),也即提醒用户改变其状态。由于人在人在坐着状态时,通过视觉传感器采集的图像数据仅仅可以识别出人的大概位置,但无法判断人的脚是否放在地面上,当扫地机器人语音提醒用户抬起双脚后,仅靠图像数据的识别结果是无法判断人脚是否已经抬起,而结构光组件可以通过比对提示语音前后该人的大概位置是否有障碍物的改变,来判断用户的双脚是否抬起。如已抬起,则扫地机器人穿过用户去清洁,否则,扫地机器人绕开用户清洁。
为了便于理解,以自主移动设备为家庭服务机器人例,结合家庭服务机器人在家庭环境中执行任务的场景,对本申请实施例提供的自移动设备的行进控制方法进行详细说明。
应用场景实例1:
家庭服务机器人主要工作在家庭环境中。如图6所示,是实际生活中较为常见的户型图,家庭服务机器人的作业区域可能是主卧、客厅、次卧、厨房、卫生间、阳台等区域。家庭服务机器人的作业区域内行进过程中,利用结构光模组中的视觉传感器(如RGB摄像头)采集家庭环境中的RGB图像数据,并基于RGB图像数据识别家庭服务机器人前方作业区域中存在的目标物体类别。
若遇到诸如移门滑轨的易卡困且可通行到障碍物,家庭服务机器人可以采集移门滑轨的结构光数据,具体是控制线激光发射器向移门滑轨发射线激光,并利用激光摄像头采集包括线激光形成在移门滑轨的激光条纹的激光图像。基于结构光数据更加准确地识别移门滑轨的位置、长度、高度、和角度等信息,家庭服务机器人按照移门滑轨的相关信息,调整机身姿态,使得家庭服务机器人与移门滑轨形成一个合适的夹角,同时与移门滑轨的距离达到避障距离时,加速通过移门滑轨,合适的角度和速度有助于提高家庭服务机器人的越障性能。
若遇到诸如U型椅、吧台椅等易卡困的障碍物,基于采集到的U型椅的结构光数据,可以识别出U型椅的两条椅腿的准确位置,使得家庭服务机器人能在避开U型椅腿的同时,又不至于漏扫U型椅腿中间的区域。基于采集到的吧台椅的结构光数据,可以识别出吧台椅整个底座圆盘的准确位置,使得家庭服务机器人能准确的绕着底座圆盘进行清扫而不发生卡困。
若遇到诸如衣服、电线、地毯等易缠绕的障碍物,基于采集到的这类障碍物的结构光数据可以准确定位这类物体的轮廓边缘位置,使得家庭服务机器人能在不缠绕的前提下,尽可能近地靠近这类物体,避免发生漏扫的问题。同时,结构光数据也能给出地毯毛的长度,确认地毯是长毛地毯还是短毛地毯,有助于家庭服务机器人调整合适的滚刷吸力(长毛地毯需要增大风机吸力,短毛地毯吸力比长毛小,但都比硬质地面吸力大),这样既保持清洁力度的前提下,又能保证家庭服务机器人的续航能力。
若遇到诸如垃圾桶、充电座、鞋子、碗盆等易脏污的障碍物,基于采集到的这类障碍物的结构光数据可以准确定位这类物体的轮廓边缘位置,使得家庭服务机器人能在不缠绕的前提下,尽可能近地靠近这类物体,避免发生漏扫的问题。
若遇到人,基于结构光数据可以通过比对提示语音前后该人的大概位置是否有障碍物的改变,来判断用户的双脚是否抬起。如已抬起,则家庭服务机器人穿过用户去清洁,否则,家庭服务机器人绕开用户清洁。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤401至步骤403的执行主体可以为设备A;又比如,步骤401和402的执行主体可以为设备A,步骤403的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如401、402等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图7为本申请示例性实施例提供的一种自主移动设备的结构示意图。如图7所示,该自主移动设备包括:设备本体70,设备本体70上设置有一个或多个存储器71、一个或多个处理器72以及结构光模组73;结构光模组73包括:结构光组件731和视觉组件732。其中,结构光组件731至少包括激光摄像头7311和线激光发射器7312。视觉组件732至少包括视觉传感器7321。在图7中,以线激光发射器7312分布在激光摄像头7311两侧为例进行图示,但并不限于此。关于结构光模组73的其它实现结构可参见前述实施例中的描述,在此不再赘述。
其中,一个或多个存储器71用于存储计算机程序;一个或多个处理器72用于执行计算机程序,以用于:
利用结构光模组中的结构光组件和视觉传感器分别采集前方作业区域中的结构光数据和图像数据;基于图像数据识别前方作业区域中存在的目标物体类别,选择与目标物体类别适配的目标机器行为模式;在结构光数据的辅助下,按照目标机器行为模式控制自移动设备针对前方作业区域中存在的目标物体执行作业任务。
在本申请一些可选的实施例中,在选择与目标物体类别适配的目标机器行为模式之前,处理器72还用于:
基于结构光数据识别前方作业区域中存在的目标物体轮廓;根据目标物体轮廓对目标物体类别进行修正。
在本申请一些可选的实施例中,处理器72在根据目标物体轮廓对目标物体类别进行修正时,具体用于:
在目标物体轮廓与目标物体类别不匹配的情况下,将目标物体轮廓对应的物体类别作为参考物体类别,根据参考物体类别对目标物体类别进行修正;其中,不同物体类别具有不完全相同的物体轮廓;
和/或
根据目标物体轮廓对目标物体类别进行更细粒度的划分,以得到目标物体类别下的子类别。
在本申请一些可选的实施例中,处理器72在根据参考物体类别对目标物体类别进行修正时,具体用于:
在目标物体类别与参考物体类别之间的差异度小于设定阈值的情况下,将目标物体类别直接修正为参考物体类别;
或者
在目标物体类别与参考物体类别之间的差异度大于或等于设定阈值的情况下,确定可以在目标物体类别和参考物体类别之间过度的中间态物体类别,将目标物体类别修正为中间态物体类别。
在本申请一些可选的实施例中,处理器72在根据目标物体轮廓对目标物体类别进行更细粒度的划分时,具体用于:
在目标物体类别为易卡困类别情况下,结合目标物体轮廓,确定目标物体轮廓对应目标物体是否为镂空型物体;
在目标物体为镂空型物体的情况下,结合目标物体的镂空宽度和自移动设备的机身宽度,将目标物体类别划分为易卡困且不可通过和易卡困且可通过两种子类别。
在本申请一些可选的实施例中,处理器72在结构光数据的辅助下,按照目标机器行为模式控制自移动设备针对前方作业区域中存在的目标物体执行作业任务时,具体用于:
基于结构光数据,识别前方作业区域中存在的目标物体的位置信息和/或外形参数;
根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务。
在本申请一些可选的实施例中,在目标物体类别为易卡困且不可通过的情况下,处理器72在选择与目标物体类别适配的目标机器行为模式时,具体用于:选择避障行为模式作为目标机器行为模式;
相应地,处理器72在根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务时,具体用于:
基于目标物体的位置信息和外形参数中的轮廓参数,按照避障行为模式控制自移动设备针对目标物体进行避障。
在本申请一些可选的实施例中,在目标物体类别为易卡困且可通过的情况下,处理器72选择与目标物体类别适配的目标机器行为模式时,具体用于:选择加速通行行为模式作为目标机器行为模式;
相应地,处理器72根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务时,具体用于:基于目标物体的位置信息和外形参数中的镂空宽度和高度,按照加速通行行为模式控制自移动设备穿过目标物体的镂空区域以继续执行作业任务。
在本申请一些可选的实施例中,加速通行行为模式包括:指示加速动作的第一指示参数和加速动作所需的第一执行参数,第一执行参数包括方向参数、距离参数和速度参数;
相应地,处理器72基于目标物体的位置信息和外形参数中的镂空宽度和高度,按照加速通行模式控制自移动设备穿过目标物体的镂空区域以继续执行作业任务时,具体用于:基于目标物体的位置信息和外形参数中的镂空宽度和高度,结合方向参数,调整自移动设备的朝向,以使自移动设备朝向目标物体的镂空区域;
按照距离参数和速度参数,控制自移动设备沿着当前朝向加速直至穿过目标物体的镂空区域为止。
在本申请一些可选的实施例中,在目标物体类别为易缠绕的情况下,处理器72选择与目标物体类别适配的目标机器行为模式时,具体用于:选择减速作业行为模式作为目标机器行为模式;
相应地,根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务,包括:
基于目标物体的外形参数中的轮廓边缘位置,按照减速作业行为模式控制自移动设备针对目标物体执行作业任务。
在本申请一些可选的实施例中,减速作业行为模式包括:指示减速作业的第二指示参数和减速作业所需的第二执行参数,第二执行参数至少包括避障距离以及小于转速阈值的第一边刷转速;
相应地,处理器72基于目标物体的外形参数中的轮廓边缘位置,按照减速作业行为模式控制自移动设备针对目标物体执行作业任务时,具体用于:
基于目标物体的轮廓边缘位置,结合避障距离,控制自移动设备在距离目标物体大于避障距离的周围区域内执行作业任务;以及
在自移动设备爬升至目标物体上方执行作业任务时,基于外形参数中的轮廓外边缘的高度信息,根据第一边刷转速控制自移动设备驱动其边刷在目标物体上方执行清洁任务。
在本申请一些可选的实施例中,在目标物体类别为易脏污的情况下,处理器72选择与目标物体类别适配的目标机器行为模式时,具体用于:选择加强作业行为模式作为目标机器行为模式;
相应地,根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务,包括:
基于目标物体的外形参数中的轮廓边缘位置,按照加强作业行为模式控制自移动设备针对目标物体执行作业任务。
在本申请一些可选的实施例中,加强作业行为模式包括:指示加强作业的第三指示参数和加强作业所需的第三执行参数,第三执行参数至少包括作业次数以及大于转速阈值的第二边刷转速;
相应地,处理器72基于目标物体的外形参数中的轮廓边缘位置,按照加强作业行为模式控制自移动设备针对目标物体执行作业任务时,具体用于:
基于目标物体的外形参数中的轮廓边缘位置,根据作业次数控制自移动设备在目标物体周围区域多次执行作业任务;以及
在每次执行作业任务过程中,根据第二边刷转速,控制自移动设备驱动其边刷在目标物体周围区域执行清洁任务。
在本申请一些可选的实施例中,在目标物体类别为可移动的情况下,处理器72选择与目标物体类别适配的目标机器行为模式时,具体用于:选择语音提示行为模式作为目标机器行为模式;
相应地,处理器72根据目标物体的位置信息和/或外形参数,按照目标机器行为模式控制自移动设备针对目标物体执行作业任务时,具体用于:
基于目标物体的位置信息,按照语音提示行为模式控制自移动设备针对目标物体发出语音提示信息,以提示目标物体改变其状态;以及
结合针对目标物体采集到的结构光数据,识别目标物体的最新状态,并在最新状态符合语音提示要求的情况下,继续控制自移动设备针对目标物体执行作业任务。
在本申请一些可选的实施例中,处理器72选择与目标物体类别适配的目标机器行为模式时,具体用于:
根据目标物体类别,查询已知物体类别及其对应的机器行为模式,以得到与目标物体类别对应的机器行为模式,作为目标机器行为模式。
在本申请一些可选的实施例中,处理器72还用于:
展示已知物体类别,以及响应针对已知物体类别发起的第一修改操作,获取修改后的物体类别;已知物体类别是用户在环境地图上设定的和/或自移动设备基于历史图像数据识别到的;
其中,第一修改操作包括以下至少一种:修改物体类别的名称、调整物体类别对应的物体以及删除已知物体类别。
在本申请一些可选的实施例中,机器行为模式至少包括自移动设备执行作业任务所需的行为参数和行为动作,处理器72还用于:
展示已知物体类别对应的机器行为模式,响应针对机器行为模式发起的第二修改操作,获取修改后的机器行为模式;
其中,第二修改操作包括以下至少一种:修改已有行为参数、增加新的行为参数、删除已有行为参数、修改已有机器行为动作、增加新的机器行为动作以及删除已有机器行为动作。
进一步,除了上述提到的各种组件,本实施例的自主移动设备还可以包括一些基本组件,例如通信组件74、电源组件75、驱动组件76等等。
其中,一个或多个存储器主要用于存储计算机程序,该计算机程序可被主控制器执行,致使主控制器控制自主移动设备执行相应任务。除了存储计算机程序之外,一个或多个存储器还可被配置为存储其它各种数据以支持在自主移动设备上的操作。这些数据的示例包括用于在自主移动设备上操作的任何应用程序或方法的指令,自主移动设备所在环境/场景的地图数据,工作模式,工作参数等等。
通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如Wifi,2G或3G、4G、5G或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件还可以包括近场通信(NFC)模块,射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术等。
可选地,驱动组件可以包括驱动轮、驱动电机、万向轮等。可选地,本实施例的自主移动设备可实现为扫地机器人,则在实现为扫地机器人的情况下,自主移动设备还可以包括清扫组件,清扫组件可以包括清扫电机、清扫刷、起尘刷、吸尘风机等。不同自主移动设备所包含的这些基本组件以及基本组件的构成均会有所不同,本申请实施例仅是部分示例。
相应地,本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当计算机指令被一个或多个处理器执行时,致使一个或多个处理器执行包括以下的动作:利用所述结构光模组中的结构光组件和视觉传感器分别采集前方作业区域中的结构光数据和图像数据;基于所述图像数据识别前方作业区域中存在的目标物体类别,并选择与所述目标物体类别适配的目标机器行为模式;在所述结构光数据的辅助下,按照所述目标机器行为模式控制所述自移动设备针对前方作业区域中存在的目标物体执行作业任务。
除上述动作之外,当计算机指令被一个或多个处理器执行时,还可以致使一个或多个处理器执行其他动作,其他动作可参见图4所示方法中的详细描述,在此不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (19)
1.一种作业方法,其特征在于,适用于带有结构光模组的自移动设备,所述方法包括:
利用所述结构光模组中的结构光组件和视觉传感器分别采集前方作业区域中的结构光数据和图像数据,其中,所述结构光数据为激光图像数据,所述结构光数据包括以下至少一种:目标物体的三维点云数据、轮廓、形状、高度、宽度、深度、长度、厚度以及体积,所述视觉传感器采集的图像数据为可见光图像数据;
基于所述图像数据识别前方作业区域中存在的目标物体类别,选择与所述目标物体类别适配的目标机器行为模式;
在所述结构光数据的辅助下,按照所述目标机器行为模式控制所述自移动设备针对前方作业区域中存在的目标物体执行作业任务;其中,若所述目标物体为易脏污物体,在针对所述目标物体的边界执行作业任务时,加快边刷的转速,或者,若所述目标物体为易缠绕物体,在针对所述目标物体的边界执行作业任务时,减慢边刷的转速。
2.根据权利要求1所述的方法,其特征在于,在选择与所述目标物体类别适配的目标机器行为模式之前,还包括:
基于所述结构光数据识别前方作业区域中存在的目标物体轮廓;
根据所述目标物体轮廓对所述目标物体类别进行修正。
3.根据权利要求2所述的方法,其特征在于,根据所述目标物体轮廓对所述目标物体类别进行修正,包括:
在所述目标物体轮廓与所述目标物体类别不匹配的情况下,将所述目标物体轮廓对应的物体类别作为参考物体类别,根据所述参考物体类别对所述目标物体类别进行修正;其中,不同物体类别具有不完全相同的物体轮廓;
和/或
根据所述目标物体轮廓对所述目标物体类别进行更细粒度的划分,以得到所述目标物体类别下的子类别。
4.根据权利要求3所述的方法,其特征在于,根据所述参考物体类别对所述目标物体类别进行修正,包括:
在所述目标物体类别与所述参考物体类别之间的差异度小于设定阈值的情况下,将所述目标物体类别直接修正为所述参考物体类别;
或者
在所述目标物体类别与所述参考物体类别之间的差异度大于或等于设定阈值的情况下,确定在所述目标物体类别和所述参考物体类别之间过度的中间态物体类别,将所述目标物体类别修正为所述中间态物体类别。
5.根据权利要求3所述的方法,其特征在于,根据所述目标物体轮廓对所述目标物体类别进行更细粒度的划分,以得到所述目标物体类别下的子类别,包括:
在所述目标物体类别为易卡困类别情况下,结合所述目标物体轮廓,确定所述目标物体轮廓对应目标物体是否为镂空型物体;
在所述目标物体为镂空型物体的情况下,结合所述目标物体的镂空宽度和所述自移动设备的机身宽度,将所述目标物体类别划分为易卡困且不可通过和易卡困且可通过两种子类别。
6.根据权利要求1-5任一项所述的方法,其特征在于,在所述结构光数据的辅助下,按照所述目标机器行为模式控制所述自移动设备针对前方作业区域中存在的目标物体执行作业任务,包括:
基于所述结构光数据,识别前方作业区域中存在的目标物体的位置信息和/或外形参数;
根据所述目标物体的位置信息和/或外形参数,按照所述目标机器行为模式控制所述自移动设备针对所述目标物体执行作业任务。
7.根据权利要求6所述的方法,其特征在于,在所述目标物体类别为易卡困且不可通过的情况下,选择与所述目标物体类别适配的目标机器行为模式,包括:选择避障行为模式作为所述目标机器行为模式;
相应地,根据所述目标物体的位置信息和/或外形参数,按照所述目标机器行为模式控制所述自移动设备针对所述目标物体执行作业任务,包括:
基于所述目标物体的位置信息和外形参数中的轮廓参数,按照所述避障行为模式控制所述自移动设备针对所述目标物体进行避障。
8.根据权利要求1-5任一项所述的方法,其特征在于,在所述目标物体类别为易卡困且可通过的情况下,选择与所述目标物体类别适配的目标机器行为模式,包括:选择加速通行行为模式作为所述目标机器行为模式;
相应地,根据所述目标物体的位置信息和/或外形参数,按照所述目标机器行为模式控制所述自移动设备针对所述目标物体执行作业任务,包括:
基于所述目标物体的位置信息和外形参数中的镂空宽度和高度,按照所述加速通行行为模式控制所述自移动设备穿过所述目标物体的镂空区域以继续执行作业任务。
9.根据权利要求8所述的方法,其特征在于,所述加速通行行为模式包括:指示加速动作的第一指示参数和加速动作所需的第一执行参数,所述第一执行参数包括方向参数、距离参数和速度参数;
相应地,基于所述目标物体的位置信息和外形参数中的镂空宽度和高度,按照所述加速通行行为模式控制所述自移动设备穿过所述目标物体的镂空区域以继续执行作业任务,包括:
基于所述目标物体的位置信息和外形参数中的镂空宽度和高度,结合所述方向参数,调整所述自移动设备的朝向,以使所述自移动设备朝向所述目标物体的镂空区域;
按照所述距离参数和速度参数,控制所述自移动设备沿着当前朝向加速直至穿过所述目标物体的镂空区域为止。
10.根据权利要求1-5任一项所述的方法,其特征在于,在所述目标物体类别为易缠绕的情况下,选择与所述目标物体类别适配的目标机器行为模式,包括:选择减速作业行为模式作为所述目标机器行为模式;
相应地,根据所述目标物体的位置信息和/或外形参数,按照所述目标机器行为模式控制所述自移动设备针对所述目标物体执行作业任务,包括:
基于所述目标物体的外形参数中的轮廓边缘位置,按照所述减速作业行为模式控制所述自移动设备针对所述目标物体执行作业任务。
11.根据权利要求10所述的方法,其特征在于,所述减速作业行为模式包括:指示减速作业的第二指示参数和减速作业所需的第二执行参数,所述第二执行参数至少包括避障距离以及小于转速阈值的第一边刷转速;
相应地,基于所述目标物体的外形参数中的轮廓边缘位置,按照所述减速作业行为模式控制所述自移动设备针对所述目标物体执行作业任务,包括:
基于所述目标物体的轮廓边缘位置,结合所述避障距离,控制所述自移动设备在距离所述目标物体大于所述避障距离的周围区域内执行作业任务;以及
在所述自移动设备爬升至所述目标物体上方执行作业任务时,基于所述外形参数中的轮廓外边缘的高度信息,根据所述第一边刷转速控制所述自移动设备驱动其边刷在所述目标物体上方执行清洁任务。
12.根据权利要求1-5任一项所述的方法,其特征在于,在所述目标物体类别为易脏污的情况下,选择与所述目标物体类别适配的目标机器行为模式,包括:选择加强作业行为模式作为所述目标机器行为模式;
相应地,根据所述目标物体的位置信息和/或外形参数,按照所述目标机器行为模式控制所述自移动设备针对所述目标物体执行作业任务,包括:
基于所述目标物体的外形参数中的轮廓边缘位置,按照所述加强作业行为模式控制所述自移动设备针对所述目标物体执行作业任务。
13.根据权利要求12所述的方法,其特征在于,所述加强作业行为模式包括:指示加强作业的第三指示参数和加强作业所需的第三执行参数,所述第三执行参数至少包括作业次数以及大于转速阈值的第二边刷转速;
相应地,基于所述目标物体的外形参数中的轮廓边缘位置,按照所述加强作业行为模式控制所述自移动设备针对所述目标物体执行作业任务,包括:
基于所述目标物体的外形参数中的轮廓边缘位置,根据所述作业次数控制所述自移动设备在所述目标物体周围区域多次执行作业任务;以及
在每次执行作业任务过程中,根据所述第二边刷转速,控制所述自移动设备驱动其边刷在所述目标物体周围区域执行清洁任务。
14.根据权利要求1-5任一项所述的方法,其特征在于,在所述目标物体类别为可移动的情况下,选择与所述目标物体类别适配的目标机器行为模式,包括:选择语音提示行为模式作为所述目标机器行为模式;
相应地,根据所述目标物体的位置信息和/或外形参数,按照所述目标机器行为模式控制所述自移动设备针对所述目标物体执行作业任务,包括:
基于所述目标物体的位置信息,按照所述语音提示行为模式控制所述自移动设备针对所述目标物体发出语音提示信息,以提示所述目标物体改变其状态;以及
结合针对所述目标物体采集到的结构光数据,识别所述目标物体的最新状态,并在所述最新状态符合语音提示要求的情况下,继续控制所述自移动设备针对所述目标物体执行作业任务。
15.根据权利要求1-5任一项所述的方法,其特征在于,选择与所述目标物体类别适配的目标机器行为模式,包括:
根据所述目标物体类别,查询已知物体类别及其对应的机器行为模式,以得到与所述目标物体类别对应的机器行为模式,作为所述目标机器行为模式。
16.根据权利要求15所述的方法,其特征在于,还包括:
展示已知物体类别,以及响应针对所述已知物体类别发起的第一修改操作,获取修改后的物体类别;所述已知物体类别是用户在环境地图上设定的和/或自移动设备基于历史图像数据识别到的;
其中,所述第一修改操作包括以下至少一种:修改物体类别的名称、调整物体类别对应的物体以及删除已知物体类别。
17.根据权利要求15所述的方法,其特征在于,所述机器行为模式至少包括自移动设备执行作业任务所需的行为参数和行为动作,所述方法还包括:
展示已知物体类别对应的机器行为模式,响应针对所述机器行为模式发起的第二修改操作,获取修改后的机器行为模式;
其中,所述第二修改操作包括以下至少一种:修改已有行为参数、增加新的行为参数、删除已有行为参数、修改已有机器行为动作、增加新的机器行为动作以及删除已有机器行为动作。
18.一种自移动设备,其特征在于,包括:设备本体,所述设备本体上设置有一个或多个存储器、一个或多个处理器以及结构光模组;所述结构光模组包括:结构光组件和视觉传感器;
所述一个或多个存储器,用于存储计算机程序;所述一个或多个处理器,用于执行所述计算机程序,以用于:
利用所述结构光模组中的结构光组件和视觉传感器分别采集前方作业区域中的结构光数据和图像数据,其中,所述结构光数据为激光图像数据,所述结构光数据包括以下至少一种:目标物体的三维点云数据、轮廓、形状、高度、宽度、深度、长度、厚度以及体积,所述视觉传感器采集的图像数据为可见光图像数据;
基于所述图像数据识别前方作业区域中存在的目标物体类别,选择与所述目标物体类别适配的目标机器行为模式;
在所述结构光数据的辅助下,按照所述目标机器行为模式控制所述自移动设备针对前方作业区域中存在的目标物体执行作业任务;其中,若所述目标物体为易脏污物体,在针对所述目标物体的边界执行作业任务时,加快边刷的转速,或者,若所述目标物体为易缠绕物体,在针对所述目标物体的边界执行作业任务时,减慢边刷的转速。
19.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,致使所述处理器实现权利要求1-17任一项所述方法中的步骤。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310706115.1A CN116711996A (zh) | 2021-08-17 | 2021-08-17 | 作业方法、自移动设备及存储介质 |
CN202110944997.6A CN113786125B (zh) | 2021-08-17 | 2021-08-17 | 作业方法、自移动设备及存储介质 |
EP22857487.7A EP4385384A1 (en) | 2021-08-17 | 2022-07-14 | Structured light module and self-moving device |
PCT/CN2022/105817 WO2023020174A1 (zh) | 2021-08-17 | 2022-07-14 | 一种结构光模组及自移动设备 |
US18/442,785 US20240197130A1 (en) | 2021-08-17 | 2024-02-15 | Structured light module and self-moving device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110944997.6A CN113786125B (zh) | 2021-08-17 | 2021-08-17 | 作业方法、自移动设备及存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310706115.1A Division CN116711996A (zh) | 2021-08-17 | 2021-08-17 | 作业方法、自移动设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113786125A CN113786125A (zh) | 2021-12-14 |
CN113786125B true CN113786125B (zh) | 2023-07-28 |
Family
ID=78876138
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110944997.6A Active CN113786125B (zh) | 2021-08-17 | 2021-08-17 | 作业方法、自移动设备及存储介质 |
CN202310706115.1A Pending CN116711996A (zh) | 2021-08-17 | 2021-08-17 | 作业方法、自移动设备及存储介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310706115.1A Pending CN116711996A (zh) | 2021-08-17 | 2021-08-17 | 作业方法、自移动设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113786125B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4385384A1 (en) * | 2021-08-17 | 2024-06-19 | Ecovacs Robotics Co., Ltd. | Structured light module and self-moving device |
CN114287832A (zh) * | 2021-12-30 | 2022-04-08 | 安徽协创物联网技术有限公司 | 一种扫地机器人系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110179404A (zh) * | 2019-05-22 | 2019-08-30 | 深圳飞科机器人有限公司 | 清洁机器人、清洁方法及计算机可读存储介质 |
CN111421553A (zh) * | 2020-05-14 | 2020-07-17 | 小狗电器互联网科技(北京)股份有限公司 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412394B (zh) * | 2016-09-26 | 2019-04-30 | 上海应用技术大学 | 一种适合马路低头族的安全出行装置 |
CN107092252A (zh) * | 2017-04-11 | 2017-08-25 | 杭州光珀智能科技有限公司 | 一种基于机器视觉的机器人主动避障方法及其装置 |
WO2019199027A1 (ko) * | 2018-04-09 | 2019-10-17 | 엘지전자 주식회사 | 로봇 청소기 |
CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
CN110353583A (zh) * | 2019-08-21 | 2019-10-22 | 追创科技(苏州)有限公司 | 扫地机器人及扫地机器人的自动控制方法 |
CN110974088B (zh) * | 2019-11-29 | 2021-09-24 | 深圳市杉川机器人有限公司 | 扫地机器人控制方法、扫地机器人及存储介质 |
CN112363513B (zh) * | 2020-11-25 | 2024-06-18 | 珠海一微半导体股份有限公司 | 一种基于深度信息的障碍物分类避障控制方法 |
-
2021
- 2021-08-17 CN CN202110944997.6A patent/CN113786125B/zh active Active
- 2021-08-17 CN CN202310706115.1A patent/CN116711996A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110179404A (zh) * | 2019-05-22 | 2019-08-30 | 深圳飞科机器人有限公司 | 清洁机器人、清洁方法及计算机可读存储介质 |
CN111421553A (zh) * | 2020-05-14 | 2020-07-17 | 小狗电器互联网科技(北京)股份有限公司 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN116711996A (zh) | 2023-09-08 |
CN113786125A (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113786125B (zh) | 作业方法、自移动设备及存储介质 | |
CN112415998B (zh) | 一种基于tof摄像头的障碍物分类避障控制系统 | |
CN111142526B (zh) | 越障与作业方法、设备及存储介质 | |
CN107224249B (zh) | 清洁设备的清洁操作执行方法、装置及可读存储介质 | |
US10678251B2 (en) | Cleaning method for a robotic cleaning device | |
AU2014278987B2 (en) | Cleaning robot and method for controlling the same | |
CN112890680B (zh) | 跟随清洁作业方法、控制方法、装置、机器人及存储介质 | |
CN116578068A (zh) | 机器人定位方法、机器人及存储介质 | |
CN110946508B (zh) | 使用激光雷达和摄像头的扫地机器人的控制方法及装置 | |
CN104825101A (zh) | 机器人清洁器及其控制方法 | |
CN116069033A (zh) | 信息采集方法、设备及存储介质 | |
US11397437B2 (en) | System with a first floor processing device and a second floor processing device as well as a method for operating such a system | |
CN111714028A (zh) | 清扫设备的禁区脱困方法、装置、设备及可读存储介质 | |
KR20210079610A (ko) | 인공 지능 청소 로봇 및 방법 | |
CN110967703A (zh) | 使用激光雷达和摄像头的室内导航方法及室内导航装置 | |
EP4388961A1 (en) | Cleaning robot, control method and apparatus therefor, and electronic device and storage medium | |
CN112754363A (zh) | 清扫控制方法、清扫控制装置、清扫设备和存储介质 | |
CN110881909A (zh) | 一种扫地机控制方法及装置 | |
CN116211168A (zh) | 清洁设备的运行控制方法及装置、存储介质及电子装置 | |
CN113741441A (zh) | 作业方法及自移动设备 | |
CN110946512A (zh) | 基于激光雷达和摄像头的扫地机器人的控制方法及装置 | |
CN111657791A (zh) | 一种遥控清扫方法和装置 | |
CN115568785A (zh) | 一种控制扫地机器人运行的方法、相关装置和存储介质 | |
WO2023020174A1 (zh) | 一种结构光模组及自移动设备 | |
CN118058658B (zh) | 清洁机器人的移动控制方法和清洁机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |