CN110989631B - 自移动机器人控制方法、装置、自移动机器人和存储介质 - Google Patents

自移动机器人控制方法、装置、自移动机器人和存储介质 Download PDF

Info

Publication number
CN110989631B
CN110989631B CN201911398752.7A CN201911398752A CN110989631B CN 110989631 B CN110989631 B CN 110989631B CN 201911398752 A CN201911398752 A CN 201911398752A CN 110989631 B CN110989631 B CN 110989631B
Authority
CN
China
Prior art keywords
obstacle
plane
self
type
moving robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911398752.7A
Other languages
English (en)
Other versions
CN110989631A (zh
Inventor
杨晓璐
单俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecovacs Robotics Suzhou Co Ltd
Original Assignee
Ecovacs Robotics Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecovacs Robotics Suzhou Co Ltd filed Critical Ecovacs Robotics Suzhou Co Ltd
Priority to CN201911398752.7A priority Critical patent/CN110989631B/zh
Publication of CN110989631A publication Critical patent/CN110989631A/zh
Application granted granted Critical
Publication of CN110989631B publication Critical patent/CN110989631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施例提供一种自移动机器人控制方法、装置、自移动机器人和存储介质,该方法包括:获取自移动机器人采集到的环境图像,并确定此图像中障碍物的尺寸信息。若尺寸信息满足预设条件,则进一步识别此障碍物的类型,并根据障碍物的类型控制自移动机器人的运动。上述方法中,一方面,自移动机器人会先对障碍物的尺寸进行判断,再对尺寸满足预设条件的障碍物识别其所属的类型,以使自移动机器人做出与障碍物类型所对应的运动,保证自移动机器人的任务执行质量。另一方面,自移动机器人在运动的过程中可以实时拍得环境图像,并进一步根据此实时拍得图像识别障碍物类型,保证了障碍物的识别的实时性。

Description

自移动机器人控制方法、装置、自移动机器人和存储介质
技术领域
本发明涉及避障控制技术领域,尤其涉及一种自移动机器人控制方法、装置、自移动机器人和存储介质。
背景技术
随着人工智能技术的发展,各种自移动机器人也越来越多地应用于各个领域,比如服务机器人、扫地机器人、自移动售货机器人等等。在家居场景中,最常使用的就是清洁机器人。由于其能够自主进行清洁工作,解放人们的双手,尤其受到年轻人的追捧。
为了正常完成清洁任务,扫地机器人往往需要识别出工作环境中障碍物的类型,比如障碍物可以是台阶、地毯、墙壁等等。在现有技术中,通常是先由扫地机器人配置的摄像头拍摄环境图像,再根据环境图像中的二维信息识别障碍物的类型。扫地机器人可以采用相应的方式通过障碍物,比如避开或者越过障碍物,从而完成清洁任务。
发明内容
本发明实施例提供一种自移动机器人控制方法、装置、自移动机器人和存储介质,用以保证自移动机器人做出的运动是与障碍物对应的,保证自移动机器人的任务执行质量。
本发明实施例提供一种自移动机器人控制方法,包括:
获取自移动机器人采集到的环境图像;
确定所述环境图像中障碍物的尺寸信息;
若所述尺寸信息满足预设条件,则识别所述障碍物的类型;
根据所述障碍物的类型控制所述自移动机器人的运动。
本发明实施例提供一种自移动机器人控制装置,包括:
获取模块,用于获取自移动机器人采集到的环境图像;
确定模块,用于确定所述环境图像中障碍物的尺寸信息;
识别模块,用于若所述尺寸信息满足预设条件,则识别所述障碍物的类型;
控制模块,用于根据所述障碍物的类型控制所述自移动机器人的运动。
本发明实施例提供一种自移动机器人,包括:处理器和存储器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现:
获取自移动机器人采集到的环境图像;
确定所述环境图像中障碍物的尺寸信息;
若所述尺寸信息满足预设条件,则识别所述障碍物的类型;
根据所述障碍物的类型控制所述自移动机器人的运动。
本发明实施例提供一种自移动机器人,包括:激光发射组件、图像采集组件和控制组件;
其中,所述激光发射组件用于发射激光至自移动机器人前方的障碍物;所述图像采集组件用于采集包含被激光照射的所述障碍物的环境图像;
其中,所述控制组件用于:获取自移动机器人采集到的环境图像;
确定所述环境图像中障碍物的尺寸信息;
若所述尺寸信息满足预设条件,则识别所述障碍物的类型;
根据所述障碍物的类型控制所述自移动机器人的运动。
本发明实施例提供了一种存储计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器至少执行以下的动作:
获取自移动机器人采集到的环境图像;
确定所述环境图像中障碍物的尺寸信息;
若所述尺寸信息满足预设条件,则识别所述障碍物的类型;
根据所述障碍物的类型控制所述自移动机器人的运动。
在本发明提供的自移动机器人控制方法中,获取自移动机器人采集到的环境图像,并确定此图像中障碍物的尺寸信息。若尺寸信息满足预设条件,则进一步识别此障碍物的类型,并根据障碍物的类型控制自移动机器人的运动。
根据上述描述可知,一方面,自移动机器人会先对障碍物的尺寸进行判断,由于尺寸信息满足条件的障碍物,其通常都具有相似的形状,而其所属的类型又往往差距较大,自移动机器对其的通过方式自然也就不同。因此,对于尺寸满足预设条件的障碍物,自移动机器人还会进一步识别其所属的类型,以使自移动机器人做出的运动与障碍物类型所对应,从而保证自移动机器人的任务执行质量,不会出现应该越过此障碍物而自移动机器人却避开此障碍物的情况。另一方面,自移动机器人在运动的过程中可以实时拍得环境图像,并进一步根据此实时拍得图像识别障碍物类型,保证了障碍物的识别的实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种自移动机器人控制方法的流程图;
图2为本发明实施例提供的对应关系建立过程的示意图;
图3为本发明实施例提供的一种步骤102的具体实现方式的流程图;
图4为本发明实施例提供的一种根据三维坐标确定障碍物类型的方式的流程图;
图5为本发明实施例提供的一种根据障碍物类型控制扫地机器人运动的流程图;
图6为本发明实施例提供的一种移动机器人控制装置的结构示意图;
图7为与图6所示实施例提供的移动机器人控制装置对应的一种自移动机器人的结构示意图;
图8为与图6所示实施例提供的移动机器人控制装置对应的另一种自移动机器人的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式。除非上下文清楚地表示其他含义,“多个”一般包含至少两个。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
在实际应用中,常见的自移动机器人可以包括背景技术中提及的服务机器人、扫地机器人、自移动售货机器人等等。自移动机器人通常可以提供不同的工作模式,以保证能够完成不同类型的任务。以扫地机器人为例,其提供的工作模式可以包括扫地模式和扫拖一体模式,其中,扫拖一体模式是指扫地机器人在扫地的同时还可以利用自身携带的抹布进行拖地。
无论处于哪种工作模式下,对于清洁环境中的形状各异的障碍物,扫地机器人通常都会采取不同的运动方式,因此,障碍物识别的准确性会直接影响到清洁任务完成的质量。
对于形状差异较大的障碍物,通常较为容易区分,扫地机器人便可以直接根据障碍物类型选择避开或者跨越此障碍物,保证清洁任务的顺利完成。而对于形状相似的障碍物,正是由于形状相似,所以才很容易出现识别出的障碍物类型有误的情况,也就使得扫地机器人不能准确地执行与障碍物类型对应的动作。举例来说,形状相似的障碍物可以是室内清洁场景中略高于地面的地毯以及台阶,则地毯是扫地机器人需要清洁的对象,台阶是扫地机器人应该避开的对象。如果障碍物识别不准确的话,就会出现避开地毯,或者强行跨越台阶的情况,从而导致清洁任务的完成质量不高。
为了避免出现上述情况,下面结合以下的实施例对本文提供的自移动机器人控制方法进行详细介绍。下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。并且在各实施例之间不冲突的情况下,下述各实施例及各实施例中的特征可以相互组合。
图1为本发明实施例提供的一种自移动机器人控制方法的流程图。实际应用中,该自移动机器人控制方法可以由诸如服务机器人、扫地机器人、自移动售货机器人等自移动机器人来执行。本实施例以及下述各实施例均以扫地机器人为例进行说明,如图1所示,该方法可以包括如下步骤:
101、获取自移动机器人采集到的环境图像。
扫地机器人上配置的图像采集组件可以在机器人运动过程中实时拍得运动前方的环境图像。可选地,图像采集组件具体可以为相机。在执行清洁任务的过程中,图像采集组件在一时刻采集到的环境图像中可以包括该时刻时位于扫地机器人前方的所有障碍物。
102、确定环境图像中障碍物的尺寸信息。
对于环境图像中任一像素点,其均对应于一个二维坐标也即是此像素点的像素坐标,能够表明此像素点在环境图像中所处的行和列。则一种可选地方式,由于图像采集组件的标定信息能够反映像素点的像素坐标与被拍障碍物在物理空间中的三维坐标之间的对应关系,而此标定信息又是扫地机器人已经预先得到的,此时,机器人便可以直接利用此对应关系确定出环境图像中各像素点对应的三维坐标。三维坐标可以由分别表示障碍物宽度信息、高度信息和深度信息的第一坐标值、第二坐标值和第三坐标值组成。
其中,上述对应关系举例来说,环境图像中像素点A的像素坐标可以表示为(M,N),表明此像素点A位于环境图像中的第M行、第N列,此像素点A对应的三维坐标可以表示为(X,Y,Z)。
此处需要说明的有,通过上述方式得到的三维坐标实际上是对应于图像采集组件的相机坐标系的。而为了保证后续步骤的准确性,可选地,还可以根据旋转矩阵和平移矩阵对三维坐标进行转换,以转换得到对应于扫地机器人机座坐标系的三维坐标。
在得到三维坐标后,可以利用其来进一步计算障碍物的尺寸信息。其中,尺寸信息可以包括障碍物的高度、宽度、长度等。当尺寸信息具体表现为障碍物的高度时,且三维坐标中的第二坐标值能够表示障碍物高度,此时,一种可选地障碍物的高度的确定方式可以为:
对于环境图像中各像素点的三维坐标,可以将具有相同第二坐标值的三维坐标划分为同一组,以得到至少一个分组。然后,统计每个分组中三维坐标的数量,将三维坐标数量最多的一组对应的第二坐标值确定为障碍物的高度。
103、若尺寸信息满足预设条件,则识别障碍物的类型。
104、根据障碍物的类型控制自移动机器人的运动。
若此第二坐标值超出预设高度范围内,则可以确定障碍物的尺寸信息不满足预设条件。此时,机器人可以认为此障碍物的高度已经超过扫地机器人的越障能力,可以确定此障碍物为不可跨越类型,扫地机器人会直接避开此障碍物。以扫地机器人所处的清洁环境为例,不可跨越类型的障碍物通常可以是高度较高的桌椅腿、墙壁等等。
若此第二坐标值处于预设高度范围内,则可以确定障碍物的尺寸信息满足预设条件。这种满足预设条件的障碍物,通常为类型差异较大但形状相似的物体,并且这种形状相似的障碍物所属的类型通常可以为可跨越类型和尝试跨域类型。同样以清洁环境为例,满足预设条件的障碍物通常可以为属于尝试跨域类型的台阶或者属于可跨越类型的地毯。由于它们的形状相似且高度都不高,大约3cm左右,因此,预设高度范围通常可以以此3cm为中间值,设置一个较小的范围,比如2.7cm~3.2cm。
容易理解的,扫地机器人对于台阶和地毯的越障方式显然是不同的。比如障碍物为台阶时,可以控制扫地机器人对台阶进行尝试跨越或者直接避开;比如障碍物为地毯时,可以控制扫地机器人跨越地毯,从而实现对地毯的清洁,以保证清洁任务的完成质量。
因此,对于尺寸信息满足预设条件的障碍物,还需要进一步识别其类型,以最终根据障碍物的类型来控制扫地机器人的运动,也即是跨越或者避开障碍物,从而保证扫地机器人的任务完成质量。障碍物类型的具体识别方式可以参见下述如图4实施例中的相关描述。
本实施例中,获取自移动机器人采集到的环境图像,并确定此图像中障碍物的尺寸信息。若尺寸信息满足预设条件,则可以进一步识别此障碍物的类型,并根据障碍物的类型控制自移动机器人的运动。上述方法中,一方面,自移动机器人会先对障碍物的尺寸进行判断,再识别尺寸满足预设条件的障碍物所属的类型,以使自移动机器人做出与障碍物类型所对应的运动,保证自移动机器人的任务执行质量。另一方面,自移动机器人在运动的过程中可以实时拍得环境图像,并进一步根据此实时拍得图像识别障碍物类型,保证了障碍物的识别的实时性。同时,相比于现有技术中利用像素点的二维信息来识别障碍物的方式,障碍物的三维坐标能够更准确的描述障碍物的特征,
在图1所示实施例中已经提及了像素坐标与三维坐标之间的对应关系,下面可以对此对应关系的建立过程进行描述。
具体地,在描述对应关系建立过程之前,可以先对图2中的相关内容进行解释:扫地机器人可以配置由图像采集组件以及激光发射组件组成的激光模组。其中,激光发射组件具体可以为线激光传感器或者固态面阵激光雷达。在扫地机器人执行正常的清洁任务之前,扫地机器人可以位于清洁环境中的任一位置O,此时激光发射组件可以向清洁环境中的墙壁发射激光,图像采集组件可以在此时拍得环境图像。为了与步骤101中的环境图像区分,可以将此环境图像称为标定环境图像。其中,图2为激光照射到墙壁上时扫地机器人所处清洁环境的俯视图,图中的物体P1为图像采集组件,物体P2为激光发射组件。
基于上述描述,一种可选地对应关系的建立方式,可以结合图2进行描述:
根据图2中包括的ΔABD、ΔACD与ΔCEG、ΔCFG之间的相似性,可以得到以下比例关系式:
Figure BDA0002346979470000081
其中,Z为线段AB的长度即墙壁与图像采集组件P1之间的距离,也可以理解为墙壁与扫地机器人之间的距离,f为线段CE的长度即图像采集组件P1的焦距,d为线段CD的长度即图像采集组件P1与激光发射组件P2之间的距离,c为线段CE的长度即标定参数。
根据图2中的线段EF的长度为标定参数a,线段FG的长度为标定参数c,线段EG的长度为标定参数b,并且c=b-a,
Figure BDA0002346979470000082
其中,a、b也是标定参数,M’为标定环境图像中任一像素点A’的像素坐标。
将a、b的等式带入(1)式后,整理可得:
Figure BDA0002346979470000083
其中,L为图像采集组件P1中成像元件的尺寸,θ为激光发射组件P2的发光角度也即是图中的∠ADC,∠CGE。
上述确定出的Z值也即是三维坐标中用于表示障碍物深度信息的第三坐标值。通过上述方式便可以得到标定环境图像中每个像素点对应的第三坐标值。
进一步地,还可以则根据像素点A’的第三坐标值以及像素点A’对应的像素坐标确定出像素点A’的第一坐标值和第二坐标值,从而建立起扫地机器人所处清洁环境中位置O处像素坐标与三维坐标之间的对应关系。
需要说明的有,扫地机器人可以预先在清洁环境中的不同位置拍摄不同的标定环境图像,则根据上述方式便可得到在不同位置处像素坐标与三维坐标之间的对应关系。当扫地机器人在清洁环境中开始执行正常的清洁任务时,可以先获取当前的位置信息,再确定与此位置信息对应的对应关系,从而进一步得到环境图像中各像素点对应的三维坐标。
图1所示实施例的步骤102中已经提供了通过对三维坐标分组来确定障碍物高度的方式,但处于同一分组内的第二坐标值对应的像素点,可能有个别像素点是分散地分布于环境图像中的不同位置的,这些零散分布的像素点显然描述的不是同一障碍物,从而导致计算出的障碍物高度也是不准确的。
为了避免出现上述情况,另一种可选地障碍物尺寸信息的确定方式也即是步骤102的另一种可选实现方式,可以如图3所示:
1021、对环境图像中各像素点对应的三维坐标进行平面拟合。
1022、将拟合出的第一平面和第二平面之间的高度差确定为障碍物的高度。
具体来说,在得到环境图像中各像素点对应的三维坐标后,可以对三维坐标进行平面拟合,也即是根据具有相同第二坐标值的三维坐标进行平面拟合,以得到包括第一平面和第二平面的至少一个平面。其中,第一平面可以为扫地机器人所处物体的表面。第一平面通常为地面所对应的平面,第二平面可以为障碍物的表面,比如地毯或者台阶的表面。然后,计算第一平面和第二平面之间的高度差,并确定高度差为障碍物的高度。
本实施例中,对于第二坐标值相同的像素点,若其中存在一小部分像素点,其在环境图像中的位置明显远离大部分像素点,则这一小部分像素点会在平面拟合的过程中滤除。因此,用于拟合平面的像素点在环境图像中所处的位置都是紧密的,这种紧密也意味着它们描述的是同一障碍物,从而保证扫地机器人能够准确确定出障碍物的高度。
在利用图3所示的方式计算出高度差后,若第一平面和第二平面之间的高度差超出预设高度范围,则可以确定障碍物为不可跨越类型,此时,扫地机器人会避开此障碍物。若此高度差处于预设高度范围内,则可以确定障碍物的高度满足预设条件。此时,可以进一步根据第二平面包含的三维坐标来识别此障碍物所属的类型,以进一步根据障碍物的类型控制扫地机器人的运动。可选地,一种根据三维坐标识别障碍物类型的方式,可以如图4所示:
201、分别计算第二平面包含的三维坐标的第一坐标值、第二坐标值、第三坐标值各自对应的第一方差、第二方差、第三方差。
202、若至少两个方差大于预设阈值,则确定障碍物的类型为可跨越类型。
203、若至少两个方差小于或等于预设阈值,则确定障碍物的类型为尝试跨越类型。
具体来说,第二平面包含的多个三维坐标都各自具有三个坐标值,先根据多个第一坐标值计算对应于第一坐标值的第一方差。同理,也可以分别计算出对应于第二坐标值的第二方差以及对应于第三坐标值的第三方差。方差的大小可以表明第二平面的包含的三维坐标的变化剧烈程度,也可以表明第二平面所对应的障碍物表面的平滑程度。可选地,除了方差以外,还可以是标准差或者其他能够表明坐标变化剧烈程度的参数。
当三个方差中的至少两个方差都大于预设阈值时,表明第二平面包含的三维坐标变化较为剧烈,第二平面所对应的障碍物表面较为粗糙,此时,可以确定障碍物类型为可跨越类型,比如可以是地毯。当三个方差中的至少两个方差都小于或等于预设阈值时,表明障碍物的表面较为平整,此时,可以确定障碍物类型为尝试跨越类型,比如可以是台阶。
虽然尺寸信息满足预设条件的障碍物往往具有相似的形状,但其表面特性通常是差异较大的。本实施例提供的方式是先根据第二平面包含的三维坐标的变化剧烈程度来表明障碍物的表面的平滑程度,再根据表面的平滑程度来准确确定出障碍物具体属于哪种类型的,保证障碍物类型识别的准确性,进一步控制扫地机器人做出与障碍物类型对应的运动方式,保证清洁任务的完成质量。
当识别出障碍物为地毯时,扫地机器人便可以直接运动到地毯上,并对地毯进行清洁。而当障碍物类型为台阶时,对于扫地机器人来说,台阶上下的区域通常也都是需要进行打扫的,每当遇到都台阶直接绕开显然是不太合理的。而对于已经超过扫地机器人越障能力的台阶,如果强行跨越的话,又很容易造成扫地机器人的困住甚至倾倒。此时,如图5所示,扫地机器人可以按照下述方式控制自身的运动:
301、若障碍物的类型为台阶,则判断第一平面与第二平面之间的高度差是否小于预设越障阈值。
302、若高度差小于预设越障阈值,则控制自移动机器人跨越台阶。
303、若高度差大于或等于预设越障阈值,则控制自移动机器人避开台阶。
具体地,先判断扫地机器人所在地面对应的第一平面与台阶对应的第二平面之间的高度差与预设越障阈值之间的关系。其中,预设越障阈值可以为2cm。
若高度差小于预设越障阈值,表明此高度差没有超出扫地机器人的越障能力,则可以控制扫地机器人跨越台阶,并对台阶上的区域进行清洁。若高度差大于或等于预设越障阈值,表明此高度差已经超出了扫地机器人的越障能力,则可以控制扫地机器人避开台阶,以避免因强行跨越台阶而出现扫地机器人困住甚至倾倒的情况。
本实施例中,若扫地机器人已经确定出障碍物为台阶时,还可以根据台阶的高度选择是否跨越此台阶,从而使扫地机器人做出最适合的运动,不会出现因强行跨越台阶而使机器人困住甚至倾倒的情况,保证清洁任务的完成质量。
以下将详细描述本发明的一个或多个实施例的自移动机器人控制装置。本领域技术人员可以理解,这些自移动机器人控制装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图6为本发明实施例提供的一种自移动机器人控制装置的结构示意图,如图6所示,该装置包括:
获取模块11,用于获取自移动机器人采集到的环境图像。
尺寸确定模块12,用于确定所述环境图像中障碍物的尺寸信息。
识别模块13,用于若所述尺寸信息满足预设条件,则识别所述障碍物的类型。
控制模块14,用于根据所述障碍物的类型控制所述自移动机器人的运动。
可选地,所述尺寸确定模块12具体包括:
第一确定单元121,用于定所述环境图像中各像素点对应的三维坐标。
第二确定单元122,用于根据所述各像素点对应的三维坐标确定所述障碍物的尺寸信息。
可选地,所述尺寸信息包括障碍物的高度;
所述第二确定单元122具体用于:对所述环境图像中各像素点对应的三维坐标进行平面拟合;以及将拟合出的第一平面和第二平面之间的高度差确定为所述障碍物的高度,其中,所述自移动机器人位于所述第一平面对应的物体的表面,所述第二平面对应于所述障碍物的表面。
可选地,所述装置还包括:条件确定模块15,用于若所述高度差处于预设高度范围内,则确定所述障碍物的高度满足预设条件。
可选地,所述第二平面包含的三维坐标由第一坐标值、第二坐标值、第三坐标值组成;
所述识别模块13具体用于:分别计算所述第二平面包含的三维坐标的第一坐标值、第二坐标值、第三坐标值各自对应的第一方差、第二方差、第三方差;若至少两个方差大于预设阈值,则确定所述障碍物的类型为可跨越类型;以及若至少两个方差小于或等于所述预设阈值,则确定所述障碍物的类型为尝试跨越类型。
可选地,所述识别模块13具体还用于:若所述第一平面和所述第二平面之间的高度差超出所述预设高度范围,则确定所述障碍物为不可跨越类型;
所述控制模块14具体用于:控制所述自移动机器人避开所述障碍物。
可选地,所述自移动机器人为清洁机器人,所述可跨越类型为地毯,所述尝试跨越类型为台阶,所述不可跨域类型为墙壁;
所述控制模块14具体用于:若所述障碍物的类型为地毯,则控制所述自移动机器人运动至地毯上。
所述控制模块14具体还用于:若所述障碍物的类型为台阶,则判断所述第一平面与所述第二平面之间的高度差是否小于预设越障阈值;若所述高度差小于所述预设越障阈值,则控制所述自移动机器人跨越台阶;以及若所述高度差大于或等于所述预设越障阈值,则控制所述自移动机器人避开台阶。
图6所示的自移动机器人控制装置可以执行前述图1至图5所示实施例提供的自移动机器人控制方法,本实施例未详细描述的部分,可参考对图1至图5所示实施例的相关说明,在此不再赘述。
以上描述了自移动机器人控制装置的内部功能和结构,在一个可能的设计中,自移动机器人控制装置的结构可实现为自移动机器人中的一部分,如图7所示,本发明实施例提供的一种自移动机器人可以包括:处理器21和存储器22。其中,所述存储器22用于存储支持该自移动机器人执行前述图1至图5所示实施例中提供的自移动机器人控制方法的程序,所述处理器21被配置为用于执行所述存储器22中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤:
获取自移动机器人采集到的环境图像;
确定所述环境图像中障碍物的尺寸信息;
若所述尺寸信息满足预设条件,则识别所述障碍物的类型;
根据所述障碍物的类型控制所述自移动机器人的运动。
可选地,所述处理器21还用于执行前述图1至图5所示实施例中的全部或部分步骤。
其中,所述自移动机器人的结构中还可以包括通信接口23,用于与其他设备或通信网络通信。
图8为本发明实施例提供的另一种自移动机器人的内部结构示意图。如图8所示,该自移动机器人3包括:激光发射组件31、图像采集组件32和控制组件33。
其中,激光发射组件31用于发射激光至自移动机器人前方的障碍物。图像采集组件32用于采集包含被激光照射的障碍物的环境图像。
其中,控制组件33用于获取自移动机器人采集到的环境图像;确定所述环境图像中障碍物的尺寸信息;若所述尺寸信息满足预设条件,则识别所述障碍物的类型;以及根据所述障碍物的类型控制所述自移动机器人的运动。
其中,可选地,控制组件33具体包括处理器331和存储器332。
存储器332用于存储一条或多条计算机指令,其中,一条或多条计算机指令以供处理器331执行。处理器331用于执行前述图1至图5所示实施例中的全部或部分步骤。
其中,可选地,上述的激光发射组件31可以是能够发射线激光的线激光传感器,也可以是能够发射面激光的固态面阵激光雷达等。并且当激光发射组件31具体为线激光传感器时,其的数量可以是多个,通过左右对称设置,可以实现交替发射激光。
另外,本发明实施例提供了一种存储计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器至少执行以下的动作:
获取自移动机器人采集到的环境图像;
确定所述环境图像中障碍物的尺寸信息;
若所述尺寸信息满足预设条件,则识别所述障碍物的类型;
根据所述障碍物的类型控制所述自移动机器人的运动。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来。
为便于理解,以扫地机器人对室内进行清洁的应用场景为例,对以上提供的自移动机器人移动控制方法的具体实现进行示例性说明。
扫地机器人开启后,其身上配置的图像采集组件可以实时采集环境图像。在一时刻采集到的环境图像后,由于图像采集组件的标定信息能够反映图像中各像素点的二维坐标即像素坐标与障碍物在物理空间中的三维坐标之间的对应关系,因此,扫地机器人可以根据此标定信息直接确定出环境图像中各像素点对应的三维坐标。此三维坐标用于表明像素点描述的障碍物的宽度信息、高度信息和深度信息。
然后,根据环境图像中各像素点的三维坐标可以拟合出两个平面。第一平面用于描述扫地机器人所在的地面,第二平面用于描述环境图像中包含的障碍物。两平面之间的高度差也可以理解为障碍物的高度。
假设障碍物的尺寸信息为障碍物的高度,若两平面的高度差超出预设高度范围内,则表明环境图像中障碍物的尺寸信息不满足预设条件。此时,扫地机器人可以认为此障碍物为高度较高的、无法跨越的物体,比如墙壁或者桌椅退等。此障碍物的高度超过自身的越障能力,则会控制扫地机器人避开此障碍物。
若两平面的高度差满足预设高度范围内,则表明环境图像中包含的障碍物的尺寸信息满足预设条件。此时,扫地机器人还需要进一步确定出此障碍物所属的类型。其中,上述的障碍物可以为清洁环境中形状相似且高度较小的物体,比如地毯和台阶。
具体地,可以先计算第二平面包含的三维坐标中的第一坐标值对应的第一方差;计算第二坐标值对应的第二方差;计算第三坐标值对应的第三方差,并根据这三个方差来确定障碍物是台阶还是地毯。
若三个方差中的至少两个方差都大于或等于预设阈值,表明三维坐标的变化剧烈程度较大,则确定此障碍物为地毯。扫地机器人可以运动到此地毯上,以实现对地毯的清洁。若三个方差中的至少两个方差都小于预设阈值,表明三维坐标的变化剧烈程度较小,障碍物的表面较为平滑,则确定此障碍物为台阶。
对于障碍物是台阶的情况,扫地机器人还会进一步判断台阶的高度与预设越障阈值之间的关系。若台阶的高度大于或等于预设越障阈值,表明台阶的高度已经超过了扫地机器人自身的越障能力,为了避免因越障而产生的机器人困住或倾倒的情况,可以控制扫地机器人避开此台阶。若台阶的高度小于预设越障阈值,表明台阶的高度没有超过扫地机器人自身的越障能力,此时,可以控制扫地机器人跨越此台阶,对台阶上的平面进行清洁。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种自移动机器人控制方法,其特征在于,包括:
获取自移动机器人采集到的环境图像;
对所述环境图像中各像素点对应的三维坐标进行平面拟合,以得到第一平面和第二平面;
将第一平面和第二平面之间的高度差确定为所述环境图像中障碍物的高度,所述自移动机器人位于所述第一平面对应的物体的表面,所述第二平面对应于所述障碍物的表面;
若所述高度差超出预设高度范围,则识别所述障碍物为不可跨越类型;
控制所述自移动机器人避开所述不可跨越类型的障碍物。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述高度差处于所述预设高度范围内,则确定所述障碍物的高度满足预设条件。
3.根据权利要求2所述的方法,其特征在于,所述第二平面包含的三维坐标由第一坐标值、第二坐标值、第三坐标值组成;
所述方法还包括:
分别计算所述第二平面包含的三维坐标的第一坐标值、第二坐标值、第三坐标值各自对应的第一方差、第二方差、第三方差;
若至少两个方差大于预设阈值,则确定所述障碍物的类型为可跨越类型;
若至少两个方差小于或等于所述预设阈值,则确定所述障碍物的类型为尝试跨越类型。
4.根据权利要求3所述的方法,其特征在于,所述自移动机器人为清洁机器人,所述可跨越类型为地毯,所述尝试跨越类型为台阶,所述不可跨越类型为墙壁。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述障碍物的类型为地毯,则控制所述自移动机器人运动至地毯上。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述障碍物的类型为台阶,则判断所述第一平面与所述第二平面之间的高度差是否小于预设越障阈值;
若所述高度差小于所述预设越障阈值,则控制所述自移动机器人跨越台阶;
若所述高度差大于或等于所述预设越障阈值,则控制所述自移动机器人避开台阶。
7.一种自移动机器人控制装置,其特征在于,包括:
获取模块,用于获取自移动机器人采集到的环境图像;
确定模块,用于对所述环境图像中各像素点对应的三维坐标进行平面拟合,以得到第一平面和第二平面;
将第一平面和第二平面之间的高度差确定为所述环境图像中障碍物的高度,所述自移动机器人位于所述第一平面对应的物体的表面,所述第二平面对应于所述障碍物的表面;
识别模块,用于若所述高度差超出预设高度范围,则识别所述障碍物为不可跨越类型;
控制模块,用于控制所述自移动机器人避开所述不可跨越类型的障碍物。
8.一种自移动机器人,包括:处理器和存储器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现:
获取自移动机器人采集到的环境图像;
对所述环境图像中各像素点对应的三维坐标进行平面拟合,以得到第一平面和第二平面;
将第一平面和第二平面之间的高度差确定为所述环境图像中障碍物的高度,所述自移动机器人位于所述第一平面对应的物体的表面,所述第二平面对应于所述障碍物的表面;
若所述高度差超出预设高度范围,则识别所述障碍物为不可跨越类型;
控制所述自移动机器人避开所述不可跨越类型的障碍物。
9.一种自移动机器人,包括:激光发射组件、图像采集组件和控制组件;
其中,所述激光发射组件用于发射激光至自移动机器人前方的障碍物;所述图像采集组件用于采集包含被激光照射的所述障碍物的环境图像;
其中,所述控制组件用于获取自移动机器人采集到的环境图像;对所述环境图像中各像素点对应的三维坐标进行平面拟合,以得到第一平面和第二平面;
将第一平面和第二平面之间的高度差确定为所述环境图像中障碍物的高度,所述自移动机器人位于所述第一平面对应的物体的表面,所述第二平面对应于所述障碍物的表面;若所述高度差超出预设高度范围,则识别所述障碍物为不可跨越类型;以及控制所述自移动机器人避开所述不可跨越类型的障碍物。
10.一种存储计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器至少执行以下的动作:
获取自移动机器人采集到的环境图像;
对所述环境图像中各像素点对应的三维坐标进行平面拟合,以得到第一平面和第二平面;
将第一平面和第二平面之间的高度差确定为所述环境图像中障碍物的高度,所述自移动机器人位于所述第一平面对应的物体的表面,所述第二平面对应于所述障碍物的表面;
若所述高度差超出预设高度范围,则识别所述障碍物为不可跨越类型;
控制所述自移动机器人避开所述不可跨越类型的障碍物。
CN201911398752.7A 2019-12-30 2019-12-30 自移动机器人控制方法、装置、自移动机器人和存储介质 Active CN110989631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911398752.7A CN110989631B (zh) 2019-12-30 2019-12-30 自移动机器人控制方法、装置、自移动机器人和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911398752.7A CN110989631B (zh) 2019-12-30 2019-12-30 自移动机器人控制方法、装置、自移动机器人和存储介质

Publications (2)

Publication Number Publication Date
CN110989631A CN110989631A (zh) 2020-04-10
CN110989631B true CN110989631B (zh) 2022-07-12

Family

ID=70079063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911398752.7A Active CN110989631B (zh) 2019-12-30 2019-12-30 自移动机器人控制方法、装置、自移动机器人和存储介质

Country Status (1)

Country Link
CN (1) CN110989631B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189614B (zh) * 2020-04-22 2023-08-11 追觅创新科技(苏州)有限公司 障碍物识别方法、装置及存储介质
CN111528739A (zh) * 2020-05-09 2020-08-14 小狗电器互联网科技(北京)股份有限公司 清扫模式切换方法、系统、电子设备、存储介质及扫地机
CN111813103B (zh) * 2020-06-08 2021-07-16 珊口(深圳)智能科技有限公司 移动机器人的控制方法、控制系统及存储介质
CN112347876B (zh) * 2020-10-26 2024-04-05 珠海一微半导体股份有限公司 一种基于tof摄像头的障碍物识别方法、清洁机器人
CN112363513A (zh) * 2020-11-25 2021-02-12 珠海市一微半导体有限公司 一种基于深度信息的障碍物分类避障控制方法
CN112690710B (zh) * 2020-12-29 2021-10-26 深圳市云视机器人有限公司 障碍物通过性判断方法、装置、计算机设备及存储介质
CN112987002B (zh) * 2021-02-22 2024-04-05 广州大学 一种障碍物危险性识别方法、系统及装置
CN112836681B (zh) * 2021-03-03 2024-01-26 上海高仙自动化科技发展有限公司 一种障碍物标记方法、装置及可读非暂时性存储介质
CN112948464B (zh) * 2021-03-04 2021-09-17 重庆工业职业技术学院 一种基于强化学习的避碰智能机器人
CN113532461B (zh) * 2021-07-08 2024-02-09 山东新一代信息产业技术研究院有限公司 一种机器人自主避障导航的方法、设备及存储介质
CN114047753B (zh) * 2021-11-03 2023-02-03 哈尔滨鹏路智能科技有限公司 一种基于深度视觉的扫地机器人障碍物识别和避障方法
CN114326742A (zh) * 2021-12-31 2022-04-12 深圳市优必选科技股份有限公司 机器人运行方法、机器人运行装置、机器人及介质
CN116945148A (zh) * 2022-04-15 2023-10-27 追觅创新科技(苏州)有限公司 机器人控制方法、装置、机器人及存储介质
CN116203970A (zh) * 2023-04-27 2023-06-02 泰坦(天津)能源技术有限公司 一种巡检机器人的智能避障方法及系统
CN117891260B (zh) * 2024-03-14 2024-05-17 追觅创新科技(苏州)有限公司 一种自移动机器人、越障方法、越障系统及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009929A (ja) * 2006-06-30 2008-01-17 Secom Co Ltd 移動ロボット
CN206021080U (zh) * 2016-09-07 2017-03-15 上海木爷机器人技术有限公司 机器人
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN110208819A (zh) * 2019-05-14 2019-09-06 江苏大学 一种多个障碍物三维激光雷达数据的处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544495B (zh) * 2017-08-17 2021-04-27 北京小米移动软件有限公司 清扫方法及装置
US10513037B2 (en) * 2017-12-15 2019-12-24 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009929A (ja) * 2006-06-30 2008-01-17 Secom Co Ltd 移動ロボット
CN206021080U (zh) * 2016-09-07 2017-03-15 上海木爷机器人技术有限公司 机器人
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN110208819A (zh) * 2019-05-14 2019-09-06 江苏大学 一种多个障碍物三维激光雷达数据的处理方法

Also Published As

Publication number Publication date
CN110989631A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110989631B (zh) 自移动机器人控制方法、装置、自移动机器人和存储介质
US11042760B2 (en) Mobile robot, control method and control system thereof
US10705535B2 (en) Systems and methods for performing simultaneous localization and mapping using machine vision systems
US10611023B2 (en) Systems and methods for performing occlusion detection
CN110989630B (zh) 自移动机器人控制方法、装置、自移动机器人和存储介质
JP2022546289A (ja) 掃除ロボット及び掃除ロボットの自動制御方法
Ekvall et al. Integrating active mobile robot object recognition and slam in natural environments
Wurm et al. Hierarchies of octrees for efficient 3d mapping
CN113916230A (zh) 用于使用机器视觉系统执行同时定位和映射的系统和方法
CN112075879A (zh) 一种信息处理方法、装置及存储介质
Mendez et al. Sedar-semantic detection and ranging: Humans can localise without lidar, can robots?
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
CN111714028A (zh) 清扫设备的禁区脱困方法、装置、设备及可读存储介质
CN111726591B (zh) 地图更新方法、装置、存储介质及电子设备
CN111700553B (zh) 避障方法、装置、机器人和存储介质
CN114777761A (zh) 清洁机及地图构建方法
CN114326742A (zh) 机器人运行方法、机器人运行装置、机器人及介质
CN113589813A (zh) 机器人构建房间户型图的控制方法
Knoll et al. Plant root exit point search algorithm for weed control applications in organic farming
CN113009911B (zh) 清洁路径的生成方法、装置和自移动设备
RU2800503C1 (ru) Робот-уборщик и способ автоматического управления роботом-уборщиком
CN117122245A (zh) 机器人控制方法、机器人、机器人控制系统及存储介质
CN114723799A (zh) 检测方法、装置、移动机器人及存储介质
CN115170445A (zh) 点云数据的确定方法、装置及其相关设备和存储介质
CN115607052A (zh) 一种机器人的清洁方法、装置、设备及清洁机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant