CN115981298A - 户外机器人的作业控制方法及户外机器人 - Google Patents

户外机器人的作业控制方法及户外机器人 Download PDF

Info

Publication number
CN115981298A
CN115981298A CN202111200095.8A CN202111200095A CN115981298A CN 115981298 A CN115981298 A CN 115981298A CN 202111200095 A CN202111200095 A CN 202111200095A CN 115981298 A CN115981298 A CN 115981298A
Authority
CN
China
Prior art keywords
obstacle
image
environment image
target
outdoor robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111200095.8A
Other languages
English (en)
Inventor
宋庆祥
于坤
朱永康
刘浩
顾陈洁
张建越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecovacs Robotics Suzhou Co Ltd
Original Assignee
Ecovacs Robotics Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecovacs Robotics Suzhou Co Ltd filed Critical Ecovacs Robotics Suzhou Co Ltd
Priority to CN202111200095.8A priority Critical patent/CN115981298A/zh
Publication of CN115981298A publication Critical patent/CN115981298A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请实施例提供一种户外机器人的作业控制方法及户外机器人。在本申请实施例中,利用户外机器人搭载的至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息,并联合环境图像的语义分割结果和环境图像上像素点的深度信息识别前方区域中存在的目标作业对象和非目标作业对象,并控制户外机器人导航至存在目标作业对象的目标作业区域执行作业任务,同时在去往目标作业区域的过程中进行对非目标对象中的障碍物对象执行避障处理。由此,户外机器人能够减少出现对非目标作业对象所在区域执行作业任务情形的概率,还能够户外机器人减少对目标作业对象所在区域遗漏执行作业任务情形的概率,改善了户外机器人的作业性能。

Description

户外机器人的作业控制方法及户外机器人
技术领域
本申请涉及人工智能技术领域,尤其涉及一种户外机器人的作业控制方法及户外机器人。
背景技术
随着计算机技术、传感器技术以及人工智能技术等不断的发展,智能割草机的应用范围越来越大。目前,智能割草机通常使用超声波传感器检测前方区域是否存在物体以及在存在物体的情况下获取物体高度,并将物体高度与高度阈值进行比较以区分物体是障碍物对象还是待割除的草。然而,若高度阈值设置不合适,容易导致障碍物对象和草的误识别,使得智能割草机出现误割草和漏割草情况比较多。
发明内容
本申请的多个方面提供一种户外机器人的作业控制方法及户外机器人,用以改善户外机器人的作业性能。
本申请实施例提供一种户外机器人的作业控制方法,户外机器人上设置有至少一个传感器,该方法包括:
在户外机器人的行进过程中,利用至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息;对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置;根据目标对象的位置和非目标对象的位置,确定目标作业区域以及去往目标作业区域的导航路径,导航路径上包括非目标对象中的障碍物对象;在户外机器人沿着导航路径去往目标作业区域的过程中,根据障碍物对象对应的深度信息针对障碍物对象进行避障,并在到达目标作业区域后针对目标对象执行作业任务。
本申请实施例还提供一种户外机器人,包括:至少一个传感器、存储器和处理器;
存储器,用于存储计算机程序;
处理器耦合至存储器,用于执行计算机程序,以用于:
在户外机器人的行进过程中,利用至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息;对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置;根据目标对象的位置和非目标对象的位置,确定目标作业区域以及去往目标作业区域的导航路径,导航路径上包括非目标对象中的障碍物对象;在户外机器人沿着导航路径去往目标作业区域的过程中,根据障碍物对象对应的深度信息针对障碍物对象进行避障,并在到达目标作业区域后针对目标对象执行作业任务。
在本申请实施例中,利用户外机器人搭载的至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息,并联合环境图像的语义分割结果和环境图像上像素点的深度信息识别前方区域中存在的目标作业对象和非目标作业对象,并控制户外机器人导航至存在目标作业对象的目标作业区域执行作业任务,同时在去往目标作业区域的过程中进行对非目标对象中的障碍物对象执行避障处理。由此,户外机器人能够准确识别户外机器人前方区域的目标作业对象和非目标作业对象,进而帮助户外机器人减少出现对非目标作业对象所在区域执行作业任务情形的概率,还能够户外机器人减少对目标作业对象所在区域遗漏执行作业任务情形的概率,改善了户外机器人的作业性能。另外,户外机器人实现了无接触式检测障碍物,能够准确识别前方区域的障碍物对象,并精准进行避障处理,也能够减少户外机器人在户外作业时被障碍物对象损坏的概率,保障了户外机器人的安全性。特别在户外机器人为智能割草机器人时,能够有效减少智能割草机容易出现误割草和漏割草的情形,改善了智能割草机器人的割草性能。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一示例性实施例提供的一种应用场景示意图;
图2为本申请一示例性实施例提供的一种户外机器人的作业控制方法的流程示意图;
图3为本申请一示例性实施例提供的另一种应用场景示意图;
图4至6分别为本申请一示例性实施例提供的一种结构光模组的结构示意图;
图7为本申请一示例性实施例提供的一种户外机器人的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对智能割草机容易出现误割草和漏割草的技术问题,本申请实施例提供一种户外机器人的作业控制方法及户外机器人。在本申请实施例中,利用户外机器人搭载的至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息,并联合环境图像的语义分割结果和环境图像上像素点的深度信息识别前方区域中存在的目标作业对象和非目标作业对象,并控制户外机器人导航至存在目标作业对象的目标作业区域执行作业任务,同时在去往目标作业区域的过程中进行对非目标对象中的障碍物对象执行避障处理。由此,户外机器人能够准确识别户外机器人前方区域的目标作业对象和非目标作业对象,进而帮助户外机器人减少出现对非目标作业对象所在区域执行作业任务情形的概率,还能够户外机器人减少对目标作业对象所在区域遗漏执行作业任务情形的概率,改善了户外机器人的作业性能。另外,户外机器人实现了无接触式检测障碍物,能够准确识别前方区域的障碍物对象,并精准进行避障处理,也能够减少户外机器人在户外作业时被障碍物对象损坏的概率,保障了户外机器人的安全性。特别在户外机器人为智能割草机器人时,能够有效减少智能割草机容易出现误割草和漏割草的情形,改善了智能割草机器人的割草性能。
在此说明,本申请实施例提供的各种方法可由户外机器人实施。在本申请实施例中,户外机器人可以是任何能够在其所在环境中高度自主地进行空间移动的机械设备,例如,可以是智能割草机器人、智能巡检机器人、智能消杀机器人、智能搬运机器人以及智能户外清洁机器人等。相对于室内机器人,户外机器人需要面对不同路面、坡度以及复杂路况等更加复杂的环境。这里对“户外机器人”进行的解释说明适用于本申请所有实施例,在后续各实施例中不再做重复性说明。
图1为本申请一示例性实施例提供的一种应用场景示意图。在图1中,智能割草机在户外执行割草作业,由于户外环境的复杂性,户外环境中除了存在需要割的草,还会存在石头、蔬菜、水沟、泥坑、树木、猫、狗等物体。智能割草机在割草作业中需要准确识别前方区域的待割的草和非草对象,以减少误割草和漏割草的概率。
值得注意的是,图1所示的智能割草机在户外执行割草作业仅仅是一种示意性的应用场景,本申请实施例提供的户外机器人的作业控制方法可以适用于各种户外场景,例如智能巡检机器人在户外执行巡检任务、智能消杀机器人在户外执行消杀任务、智能搬运机器人在户外执行搬运任务以及智能户外清洁机器人在户外执行清洁任务,当然,本申请实施例并不限制户外场景。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图2为本申请一示例性实施例提供的一种户外机器人的作业控制方法的流程示意图。参见图2,该方法可以包括以下步骤:
201、在户外机器人的行进过程中,利用至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息。
202、对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置。
203、根据目标对象的位置和非目标对象的位置,确定目标作业区域以及去往目标作业区域的导航路径,导航路径上包括非目标对象中的障碍物对象。
204、在户外机器人沿着导航路径去往目标作业区域的过程中,根据障碍物对象对应的深度信息针对障碍物对象进行避障,并在到达目标作业区域后针对目标对象执行作业任务。
在本申请实施例中,前方区域是指在户外机器人作业过程中,户外机器人沿行进方向能够识别的范围,该户外机器人的环境信息会随着户外机器人的行进随之变化,户外机器人在不同作业区域内,其前方区域的环境信息不同。
在本申请实施例中,本申请实施例对设置在户外机器人上的至少一个传感器的设备形态不做限制。例如,至少一个传感器可以包括RGB单目摄像头和深度传感器。又例如,至少一个传感器可以包括RGB-D传感器,其中,RGB-D传感器是能够采集RGB图像和深度(Depth)图像。又例如,至少一个传感器可以包括RGB双目摄像头。
在本申请实施例中,至少一个传感器主要承担但不限于以下任务:采集位于户外机器人的前方区域内的环境图像和环境图像上像素点的深度信息。下面介绍至少一个传感器的一些示例性的采集方式。
作为一种示例,若至少一个传感器包括RGB单目摄像头和深度传感器,则利用至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息的具体过程是:利用单目摄像头采集前方区域内的单目图像,并利用深度传感器采集深度图像,深度图像中包括单目图像中各像素点的深度信息。
作为另一种示例,若至少一个传感器包括RGB-D传感器,则利用至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息的具体过程是:利用RGB-D传感器采集前方区域内的单目图像和深度图像,深度图像中包括单目图像中各像素点的深度信息。
作为另一种示例,若至少一个传感器包括RGB双目摄像头,则利用至少一个传感器采集前方区域内的图像和图像上像素点的深度信息的具体过程是:利用双目摄像头采集前方区域内的双目图像,并运用双目匹配(Stereo Matching)算法处理双目图像获取深度图像,深度图像中包括双目图像中各像素点的深度信息。
在本申请实施例中,采集到户外机器人前方区域内的环境图像之后,对环境图像进行语义分割(Semantic Segmentation),以得到环境图像包括的目标对象及其位置和非目标对象及其位置。
具体应用时,可以采用样本环境图像训练一个语义分割网络,利用语义分割网络对环境图像进行语义分割。该语义分割网络是从像素级别来理解图像的,即将属于同一类物体的像素都归为一类。例如,将属于目标对象的像素分成一类,将属于非目标对象的像素分成一类,从而根据环境地图的语义分割的结果可以确定出环境图像中的目标对象及其位置和非目标对象及其位置。
在对样本环境图像进行标注时,可以标注样本环境图像中各个像素点所属的对象类别,还可以标注样本环境图像中包括的对象在样本环境图像中的位置。其中,对象类别可以是户外环境中存在的各种物体类别,例如包括但不限于草、石头、蔬菜、水沟、泥坑、树木、猫、狗等。进一步可选的,对象类别还可以从对作业任务影响的角度进行划分,例如,需要作业的目标对象、不需要作业的非目标对象,其中,非目标对象还可以细分为需要避障的障碍物对象和不需要避障的非障碍物对象。以割草场景为例,对象类别分为草、非草。其中,非草中可以细分为障碍物对象和非障碍物对象。
在本申请的上述或下述实施例中,对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置的一种实施过程是:根据环境图像中的像素纹理相似度,将环境图像划分为多个图像块;以图像块为单位,针对每个图像块进行语义分割,得到每个图像块对应的对象类别和位置,对象类别为目标对象或非目标对象。
在本申请实施例中,可以采用训练出一种改进型的语义分割网络对环境图像进行语义分割。其中,改进型的语义分割网络是从图像块级别来理解图像的,即将属于同一类物体的图像块都归为一类。例如,将属于目标对象的图像块分成一类,将属于非目标对象的图像块分成一类,从而根据环境地图的语义分割的结果可以确定出环境图像中的目标对象及其位置和非目标对象及其位置。在改进型的语义分割网络的样本标注阶段,对样本环境图像进行标注时,可对象以标注样本环境图像中各个图像块所属的类别,还可以标注样本环境图像中包括的对象在样本环境图像中的位置。
由于环境图像中同一物体的各个像素点的纹理特征相近,于是,实际应用中,可以计算两两像素点之间的纹理相似度,为了便于理解,将两两像素点之间的纹理相似度称之为像素纹理相似度。基于两两像素点之间的纹理相似度找出属于多个纹理特征相近的像素点,将多个纹理特征相近的像素点划分为同一个图像块,进而实现较为准确地将环境图像划分为多个图像块。
进一步可选的,纹理特征相近的像素点可以是像素点之间的纹理相似度大于预设的相似度阈值的像素点。其中,相似度阈值根据实际应用需求灵活设置。
在本申请实施例中,在识别出户外机器人前方区域存在的目标对象及其位置和非目标对象及其位置,户外机器人可以基于目标对象的位置和非目标对象的位置确定针对目标对象作业的目标作业区域,以及规划出去往目标作业区域的导航路径。应理解,目标作业区域可以理解为目标对象所在区域,目标作业区域中不包括或少量包括除目标对象之外的其他对象。在规划导航路径时,可以以去往目标作业区域的导航路径上的障碍物对象的数量最少为目标进行路径规划,也可以以去往目标作业区域的导航路径长度最短为目标进行路径规划,也可以以去往目标作业区域的导航路径需要户外机器人调整行进方向次数最少为目标进行路径规划,但并不以此为限。
具体应用时,导航路径上可能会存在非目标对象中的障碍物对象,也可能不存在非目标对象中的障碍物对象。若导航路径上存在障碍物对象,则在户外机器人沿着导航路径去往目标作业区域的过程中,可以根据障碍物对象对应的深度信息针对障碍物对象进行避障,并在到达目标作业区域后针对目标对象执行作业任务。
在本申请实施例中,根据障碍物对象对应的深度信息可以实时检测户外机器人与障碍物对象之间的距离,并在相距障碍物对象的距离达到预设避障距离时,户外机器人对障碍物对象进行避障处理。预设避障距离根据实际情形灵活设置,另外,可以针对不同类型的障碍物对象设置不同的预设避障距离。例如,智能割草机在朝着割草区域行进过程中,若遇到石头、泥坑、树木、猫、狗等障碍物时,需要进行避障处理,以避免在向割草区域行进时被障碍物损坏。
进一步可选的,为了提高避障准确性,根据障碍物对象对应的深度信息针对障碍物对象进行避障的一种实施过程是:根据障碍物对象上各像素点对应的深度信息,获取平均深度信息;根据平均深度信息,针对障碍物对象进行避障。值得注意的是,根据对环境图像的语义分割结果,可以获取环境图像中障碍物对象上各像素点,以及根据采集的到环境图像中各像素点的深度信息,可以得到障碍物对象上各像素点对应的深度信息。实际应用中,可以选择对障碍物对象上全部的像素点的深度信息进行求平均值,得到平均深度信息。也可以选择对障碍物对象上局部的像素点的深度信息进行求平均值,得到平均深度信息。例如,对障碍物对象的中心区域的像素点的深度信息进行求平均值,得到平均深度信息,但并不以此为限。
进一步可选的,还可以将障碍物对象对应的深度信息映射到户外机器人使用的导航地图上。若障碍物对象对应的深度信息采用的坐标系与导航地图采用的坐标系不同,则根据两个坐标系之间的坐标转换方法将障碍物对象对应的深度信息映射到户外机器人使用的导航地图上。若障碍物对象对应的深度信息采用的坐标系与导航地图采用的坐标系相同,则直接将障碍物对象对应的深度信息映射到户外机器人使用的导航地图上。进一步可选的,可以在导航地图上标注出障碍物对象信息,户外机器人根据导航地图上的可通行区域与障碍物对象信息规划之间的行走路径。其中,障碍物对象信息例如包括但不限于三维点云数据、长度、高度、宽度或者障碍物类型等。
本申请实施例提供的户外机器人的作业控制方法,利用户外机器人搭载的至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息,并联合环境图像的语义分割结果和环境图像上像素点的深度信息识别前方区域中存在的目标作业对象和非目标作业对象,并控制户外机器人导航至存在目标作业对象的目标作业区域执行作业任务,同时在去往目标作业区域的过程中进行对非目标对象中的障碍物对象执行避障处理。由此,户外机器人能够准确识别户外机器人前方区域的目标作业对象和非目标作业对象,进而帮助户外机器人减少出现对非目标作业对象所在区域执行作业任务情形的概率,还能够户外机器人减少对目标作业对象所在区域遗漏执行作业任务情形的概率,改善了户外机器人的作业性能。另外,户外机器人实现了无接触式检测障碍物,能够准确识别前方区域的障碍物对象,并精准进行避障处理,也能够减少户外机器人在户外作业时被障碍物对象损坏的概率,保障了户外机器人的安全性。特别在户外机器人为智能割草机器人时,能够有效减少智能割草机容易出现误割草和漏割草的情形,改善了智能割草机器人的割草性能。
在本申请的上述或下述实施例中,户外机器人的机身下方的结构光模组,利用结构光模组可以识别更多维度的物体信息,以便户外机器人结合更多维度的物体信息进行作业控制。参见图3至图6,该结构光模组可以包括结构光组件。其中,结构光组件包括线激光发射器102和激光摄像头101,线激光发射器102用于向外发射可见或不可见的线激光,激光摄像头101负责采集线激光探测到环境的激光图像。具体的,线激光发射器102发射的线激光遇到环境中的物体之后,在物体上形成激光条纹,激光摄像头101采集其视场范围内包括激光条纹的激光图像。利用三角法测距原理、激光条纹的激光图像在激光图像中的位置,激光摄像头101坐标系、户外机器人的设备坐标系和世界坐标系之间的坐标变换关系,可以从激光图像用于探测激光摄像头101视场角内的物体的三维点云数据、轮廓、高度、宽度、深度、长度等信息。
在图3中,户外机器人按照前进方向在工作面(诸如地面、桌面以及玻璃面)上移动,通过线激光发射器102向外发射线激光,线激光若遇到前方作业区域中的物体,会在物体上形成激光条纹,此时,激光摄像头101采集到包括激光条纹的激光图像。根据激光条纹在激光图像中的位置、三角法测距原理、激光摄像头101坐标系、户外机器人的设备坐标系和世界坐标系之间的坐标变换关系,不难计算出激光条纹所对应的物体上的各个位置点的高度h(也即物体上的位置点与工作面之间的距离)、各个位置点的深度s(也即物体上的位置点距离户外机器人的距离)、各个位置点的三维点云数据、物体的宽度b(宽度方向与前进方向垂直)以及物体的长度a(长度方向与前进方向平行)。在获取到物体上多个位置点的三维点云数据之后,通过分析三维点云数据可以确定物体的轮廓信息。
进一步可选的,参见图3、图4和图6,该结构光模组还可以包括视觉组件,视觉组件可以包括视觉传感器103。图4中视觉传感器103以虚线框表示,说明视觉传感器103为可选组件。其中,视觉传感器103可以是能采集可见光图像的视觉摄像头,例如包括但不限于单目RGB摄像头和双目RGB摄像头等。进一步可选的,视觉传感器103的滤光片无法穿透线激光发射器102对外发射线激光被物体反射回来的反射光,以保证视觉传感器103可以采集到不包含线激光在遇到物体后产生激光条纹的可见光图像,如图3所示的可见光图像,进而保证视觉传感器103所采集的图像数据的质量。
值得注意的是,上述结构光模组可通过结构光组件探测到物体的三维点云数据、轮廓、高度、宽度、深度、长度等信息;通过视觉传感器103可以感知到物体的颜色特征、纹理特征、形状特征和空间关系特征等信息,进而感知更为丰富的环境信息,有利于帮助提升户外机器人的智能化程度。
进一步可选的,结构光组件或视觉组件可由结构光模组内部的控制器或外部的控制器进行控制。为了便于理解将结构光模组内部的控制器称之为模组控制器104。图4中模组控制器104以虚线框表示,说明模组控制器104为可选组件。当结构光模组应用到户外机器人上后,结构光模组中的全部或部分组件可在户外机器人的主控制器106的控制下进行工作。为了便于理解,以结构光组件在模组控制器104的控制下工作和视觉组件在主控制器106的控制下进行工作为例进行说明。
其中,线激光发射器102安装于激光摄像头101上方、下方、左侧或右侧均可以,只要线激光发射器102发射的线激光位于激光摄像头101的视场范围内即可。在图4至图6中,以线激光发射器102安装于激光摄像头101左右两侧为例进行图示。如图3所示,在结构光模组中,线激光发射器102发射出的激光面打在障碍物或地面表面形成的激光条纹在前方水平于地面、垂直于户外机器人前进方向。可将这种安装方式称为水平安装。图3所示为结构光模组在户外机器人上的安装状态以及应用状态示意图。
如图3所示,户外机器人向前行进过程中,可控制结构光模组按照一定的方式工作,例如周期性(每20ms)进行一次环境探测,从而得到一组激光图像数据,每个激光图像数据中包含线激光打到物体表面或地面上形成的激光条纹,一条激光条纹包含多个三维数据,大量激光图像中的激光条纹上的三维数据可形成三维点云数据。
可选地,模组控制器104一方面对激光摄像头101进行曝光控制,另一方面可控制线激光发射器102在激光摄像头101曝光期间对外发射线激光,以便于激光摄像头101采集由线激光探测到的激光图像。其中,模组控制器104可以控制位于激光摄像头101两侧的线激光发射器102同时工作,或者交替工作,对此不做限定。本申请实施例并不限制模组控制器104的实现形态,例如可以是但不限于CPU、GPU或MCU等处理器。本申请实施例也不限定模组控制器104控制结构光模组的方式。凡是可以实现结构光模组功能的实施方式均适用于本申请实施例。
具体的,模组控制器104可以控制激光摄像头101的曝光频率、曝光时长、工作频率等。激光摄像头101在模组控制器104的控制下在线激光发射器102发射线激光期间采集由线激光探测到的激光图像。基于激光摄像头101采集到的激光图像,可以计算出结构光模组或结构光模组所在设备到前方物体(如障碍物)的距离(也即前方物体的深度信息),还可以计算前方物体(如障碍物)的三维点云数据、轮廓、形状、高度和/或宽度、体积等信息,进一步,还可以进行三维重建等。其中,可以利用激光三角测距法原理,通过三角函数计算激光摄像头101与其前方物体的距离。
在本实施例中,并不限定线激光发射器102的实现形态,可以是任何能够发射线激光的设备/产品形态。例如,线激光发射器102可以是但不限于:激光管。在本实施例中,也不限定线激光发射器102发射线激光的波长,波长不同,线激光的颜色会不同,例如可以是红色激光、紫色激光等。另外,线激光可以是可见光,也可以是不可见光。
在本实施例中,并不限定激光摄像头101的实现形态。凡是可以采集线激光发射器102发射出的线激光所探测到的环境的激光图像的视觉类设备均适用于本申请实施例。例如,激光摄像头101可以采用能够采集线激光发射器102发射出的线激光的摄像头。与线激光发射器102发射线激光的波长适配,例如,激光摄像头101还可以是红外摄像头、紫外线摄像头、星光摄像机、高清摄像头、加装了透红色激光的2D视觉摄像头、加装了透紫色激光的2D视觉摄像头、以及加装了透紫色激光的2D视觉摄像头等。激光摄像头101可采集其视场角内的激光图像。激光摄像头101的视场角包括垂直视场角、水平视场角、对角视场角。在本实施例中,并不限定激光摄像头101的视场角,可以根据应用需求来选择具有合适视场角的激光摄像头101。可选的,激光摄像头101的水平视场角为100.6°;或者,激光摄像头101的垂直视场角为74.7°;或者,激光摄像头101的对角视场角为133.7°。
在本实施例中,只要线激光发射器102发射出去的线激光位于激光摄像头101的视场范围内即可,至于线激光在物体表面形成的激光条纹与水平面之间的角度不做限定,例如可以平行或垂直于水平面,可以与水平面之间成任意角度,具体可根据应用需求而定。
在本实施例中,并不限定视觉传感器103的实现形态。凡是可以采集可见光图像的视觉类设备均适用于本申请实施例。可见光图像可以呈现环境中物体的颜色特征、纹理特征、形状特征和空间关系特征等特征,能够帮助识别物体的种类、材质等信息。在本申请实施例中,视觉传感器103采集其视场范围内的环境图像是一种可见光图像。其中,视觉传感器103可以包括但不限于:单目RGB摄像头、双目RGB摄像头等。其中,单目RGB摄像头包括一个RGB摄像头,双目RGB摄像头包括两个RGB摄像头,RGB摄像头是能够采集RGB图像的2D视觉摄像头。激光摄像头101可采集其视场角内的环境图像。视觉传感器103的视场角包括垂直视场角、水平视场角、对角视场角。在本实施例中,并不限定视觉传感器103的视场角,可以根据应用需求来选择具有合适视场角的视觉传感器103。可选的,视觉传感器103的水平视场角为148.3°;或者,视觉传感器103的垂直视场角为125.8°;或者,视觉传感器103的对角视场角为148.3°。
应理解,RGB摄像头的滤光片无法穿透线激光发射器102对外发射线激光被物体反射回来的反射光。因此,RGB摄像头可以采集到不包含线激光在遇到物体后产生激光条纹的可见光图像。可以理解的是,视觉传感器103采集其视场范围内的环境图像是不包含激光条纹的可见光图像。
可选的,视觉传感器103在主控制器106的控制下进行工作。例如,主控制器106可以控制视觉传感器103的曝光频率、曝光时长、工作频率等。
进一步可选的,参见图4和图6,结构光模组中的视觉组件还可以包括指示灯105,图4中指示灯105以虚线框表示,说明指示灯105为可选的组件。指示灯105的亮灭状态指示视觉传感器103的工作状态。例如,指示灯105亮起表示视觉传感器103处于工作状态。指示灯105熄灭,表示视觉传感器103处于关闭状态。可选的,指示灯105在模组控制器104的控制下进行工作。模组控制器104可与主控制器106进行交互,获取主控制器106发送的视觉传感器103的工作状态,并基于视觉传感器103的工作状态控制指示灯105的亮灭状态。
进一步可选的,为了提高结构光模组的智能性,可以由模组控制器104控制结构光组件和视觉组件的图像采集工作,并承担对结构光组件和视觉组件的所采集的激光图像数据和可见光图像数据进行数据处理工作。
进一步可选的,为了减少结构光模组的数据处理量,提高结构光模组的图像采集效率,由主控制器106承担对结构光组件和视觉组件的所采集的激光图像数据和可见光图像数据进行数据处理工作。在这种情形下,结构光模组通过模组控制器104向主控制器106发送结构光组件采集的激光图像数据,同时,主控制器106获取视觉组件采集的可见光图像数据。其中,主控制器106可以对激光图像数据进行分析,得到物体的三维点云数据、轮廓、形状、高度和/或宽度、体积等。主控制器106还可以对可见光图像数据进行分析,识别物体的颜色特征、纹理特征、形状特征、空间关系特征、种类、材质等信息。
在本申请的上述或下述实施例中,在对环境图像进行语义分割之前,还可以利用结构光模组采集前方区域内物体的高度信息,并结合物体的高度信息,将前方区域划分为候选对象区域和非候选对象区域;相应地,对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置具体是:对环境图像中的候选对象区域进行语义分割,得到目标对象及其位置和第一对象及其位置;并将非候选对象区域进行语义分割,得到第二对象及其位置;其中,第一对象和第二对象为非目标对象。
在本申请实施例中,候选对象的高度接近与目标对象的高度,也即候选对象与目标对象的高度相当。候选对象的高度接近与目标对象的高度,说明候选对象是目标对象的概率较大。非候选对象的高度与目标对象的高度相差较大,非候选对象是目标对象的概率较小。
例如,在割草任务中,需要割除的草和不需要割草的诸如韭菜、大蒜苗、葱等蔬菜的图像特征区别不大,则环境地图的语义分割结果会将诸如韭菜、大蒜苗、葱等蔬菜容易误识别为草。但是,诸如韭菜、大蒜苗、葱等蔬菜与草的高度相差很大,因此,在对环境图像语义分割之前,先基于物体的高度信息从前方区域划分出候选对象区域和非候选对象区域,可以改善环境图像的语义分割结果的准确度。
在本申请的上述或下述实施例中,还可以识别障碍物对象的类型,结合障碍物对象的类型并根据障碍物对象对应的深度信息针对障碍物对象进行避障。在本申请实施例中,对识别障碍物对象的类型的方式不做限制。
作为一种示例,可以在对环境图像进行语义分割过程中,识别障碍物对象的类型。具体应用时,在标注语义分割网络的样本环境图像时,还可以标注样本环境图像中障碍物类型,这样训练得到的语义分割网络在对环境图像进行语义分割时,还可以识别环境图像中存在的障碍物类型。障碍物类型例如包括但不限于:穿越型障碍物对象、跨越型障碍物对象或躲避型障碍物对象。穿越型障碍物对象例如各种镂空形障碍物,户外机器人可以从穿越型障碍物内部穿越。跨越型障碍物对象例如各种低矮的障碍物,户外机器人从跨越型障碍物对象上跨越。躲避型障碍物对象例如各种不可跨越或不可穿越的障碍物,或各种低于地面的凹陷区域。
作为另一种示例,基于户外机器人上安装的结构光模组采集到的结构光数据,识别障碍物对象的类型。示例性的,基于结构光模组采集到的结构光数据,可以获取前方区域中各个障碍物对象的三维点云数据,基于各个障碍物对象的三维点云数据可以识别物体的几何特征,基于几何特征可以识别障碍物对象的类型。
在本申请实施例中,在确定障碍物对象的类型信息之后,可以结合结构光模组采集到的结构光数据再次确认障碍物对象的几何信息。例如,针对穿越型障碍物对象,基于结构光数据确认障碍物对象的镂空宽度和高度。其中,镂空宽度的宽度方向与高度方向垂直。穿越型障碍物对象的高度可以是穿越型障碍物对象靠近地面的边缘与地面之间的落差。穿越型障碍物对象的镂空宽度是指穿越型障碍物对象的镂空区域的宽度。针对跨越型障碍物对象,基于结构光数据确认障碍物对象的高度。
于是,在本申请的一些实施例中,根据障碍物对象对应的深度信息针对障碍物对象进行避障的具体实施过程是:若障碍物对象的类型为穿越型障碍物对象,则在障碍物对象的镂空宽度和高度均大于户外机器人的机身宽度和高度的情况下,根据深度信息控制户外机器人穿越障碍物对象;若障碍物对象的类型为跨越型障碍物对象,则在障碍物对象的高度低于户外机器人的越障高度的情况下,根据深度信息控制户外机器人跨越障碍物对象。
值得注意的是,若障碍物对象的类型为穿越型障碍物对象,则在障碍物对象的镂空宽度或高度小于或等于户外机器人的机身宽度和高度的情况下,根据深度信息控制户外机器人躲避绕开障碍物对象。若障碍物对象的类型为跨越型障碍物对象,则在障碍物对象的高度高于或等于户外机器人的越障高度的情况下,根据深度信息控制户外机器人躲避绕开障碍物对象。
为了便于理解,下面介绍几种场景实施例对本申请实施例提供的户外机器人的作业控制方法进行详细说明。
场景实施例1:
智能割草机搭载了RGB-D传感器,在割草机执行割草作业时,控制RGB-D传感器工作,以采集前方区域的环境图像以及环境图像中各像素点的深度信息。对环境图像进行语义分割,并基于语义分割结果识别前方区域是否存在有草的割草区域,若存在,则基于语义分割结果规划至目标作业区域的导航路径,割草机沿着导航路径行进至割草区域进行割草。同时,若基于语义分割结果识别出前方区域存在石头等障碍物,则在智能割草机朝着割草区域前进的过程中,基于障碍物的深度信息对障碍物进行避障处理。
场景实施例2:
智能割草机搭载了RGB单目摄像头和在机身下方设置了结构光模组,在割草机执行割草作业时,控制RGB单目摄像头和结构光模组工作,通过RGB单目摄像头采集前方区域的环境图像,以及通过结构光模组采集前方区域存在物体的深度信息和高度信息等信息。根据RGB单目摄像头和结构光模组的标定参数,基于结构光模组采集前方区域存在物体的深度信息确定环境图像中各个像素点的深度数据。其中,若通过结构光模组采集到的高度数据确定前方区域中高度与待割的草相当的物体,基于结构光模组的采集数据将前方区域划分有草区域和无草区域。对环境图像中的有草区域和无草区域分别进行语义分割,得到环境地图的语义分割结果。基于环境地图的语义分割结果识别前方区域是否存在有草的割草区域,若存在,则基于语义分割结果规划至割草区域的导航路径,割草机沿着导航路径行进至割草区域进行割草。同时,若基于语义分割结果识别出前方区域存在石头等障碍物,则在智能割草机朝着割草区域前进的过程中,基于障碍物的深度信息对障碍物进行避障处理。
场景实施例3:
智能消杀机器人搭载了RGB单目摄像头和深度传感器。在智能消杀机器人执行消杀作业时,控制RGB单目摄像头和深度传感器工作,通过RGB单目摄像头采集前方区域的环境图像以及通过深度传感器采集前方区域的深度图像,深度图像包括环境图像中各像素点的深度信息。对环境图像进行语义分割,并基于语义分割结果识别前方区域是否存在有消杀对象的消杀区域,若存在,则基于语义分割结果规划至消杀区域的导航路径,智能消杀机器人沿着导航路径行进至消杀区域进行消杀作业。同时,若基于语义分割结果识别出前方区域存在石头等障碍物,则在智能消杀机器人朝着消杀区域前进的过程中,基于障碍物的深度信息对障碍物进行避障处理。
场景实施例4:
智能搬运机器人搭载了RGB双目摄像头。在智能搬运机器人执行搬运任务时,控制RGB双目摄像头工作,通过RGB双目摄像头采集前方区域的双目图像,将双目图像中的任一图像作为环境图像,并运用双目匹配(Stereo Matching)算法处理双目图像获取深度图像,深度图像包括环境图像中各像素点的深度信息。对环境图像进行语义分割,并基于语义分割结果识别前方区域是否存在有搬运对象的搬运区域,若存在,则基于语义分割结果规划至搬运区域的导航路径,智能消杀机器人沿着导航路径行进至搬运区域进行搬运作业。同时,若基于语义分割结果识别出前方区域存在石头等障碍物,则在智能搬运机器人朝着搬运区域前进的过程中,基于障碍物的深度信息对障碍物进行避障处理。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤201至步骤204的执行主体可以为设备A;又比如,步骤201和203的执行主体可以为设备A,步骤204的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图7为本申请又一示例性实施例提供的一种户外机器人的结构示意图。如图7所示,该户外机器人可以包括:存储器71、处理器72和至少一个传感器73。
其中,至少一个传感器73用于采集前方区域内的环境图像和环境图像上像素点的深度信息。
存储器71,主要用于存储计算机程序,这些计算机程序可被处理器72执行,致使处理器72控制户外机器人实现相应功能、完成相应动作或任务。除了存储计算机程序之外,存储器71还可被配置为存储其它各种数据以支持在户外机器人上的操作。这些数据的示例包括用于在户外机器人上操作的任何应用程序或方法的指令。
在本申请实施例中,并不限定处理器72的实现形态,例如可以是但不限于CPU、GPU或MCU等。处理器72可以看作是户外机器人的控制系统,可用于执行存储器71中存储的计算机程序,以控制户外机器人实现相应功能、完成相应动作或任务。值得说明的是,根据户外机器人实现形态以及所处于场景的不同,其所需实现的功能、完成的动作或任务会有所不同;相应地,存储器71中存储的计算机程序也会有所不同,而处理器72执行不同计算机程序可控制户外机器人实现不同的功能、完成不同的动作或任务。
在一些可选实施例中,户外机器人还可以包括显示组件、音频组件、通信组件以及电源组件。在本实施例中,这些组件仅为示意性给出的部分组件,并不意味着户外机器人只包括这些组件,针对不同的应用需求,户外机器人还可以包括其他组件,具体可视户外机器人的产品形态而定。
在本申请实施例中,当处理器72执行存储器71中的计算机程序时,以用于:
在户外机器人的行进过程中,利用至少一个传感器73采集前方区域内的环境图像和环境图像上像素点的深度信息;
对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置;
根据目标对象的位置和非目标对象的位置,确定目标作业区域以及去往目标作业区域的导航路径,导航路径上包括非目标对象中的障碍物对象;
在户外机器人沿着导航路径去往目标作业区域的过程中,根据障碍物对象对应的深度信息针对障碍物对象进行避障,并在到达目标作业区域后针对目标对象执行作业任务。
在一些可选实施例中,至少一个传感器包括双目摄像头,则处理器72利用至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息时,具体用于:
利用双目摄像头采集前方区域内的双目图像,并运用双目匹配算法处理双目图像获取深度图像,深度图像中包括双目图像中各像素点的深度信息。
在一些可选实施例中,至少一个传感器包括单目摄像头和深度传感器,则处理器72利用至少一个传感器采集前方区域内的环境图像和环境图像上像素点的深度信息时,具体用于:
利用单目摄像头采集前方区域内的单目图像,并利用深度传感器采集深度图像,深度图像中包括单目图像中各像素点的深度信息。
在一些可选实施例中,户外机器人的机身下方的结构光模组,则处理器72在对环境图像进行语义分割之前,还用于:
利用结构光模组采集前方区域内物体的高度信息,并结合物体的高度信息,将前方区域划分为候选对象区域和非候选对象区域;
相应地,处理器72对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置时,具体用于:
对环境图像中的候选对象区域进行语义分割,得到目标对象及其位置和第一对象及其位置;并将非候选对象区域进行语义分割,得到第二对象及其位置;其中,第一对象和第二对象为非目标对象。
在一些可选实施例中,处理器72对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置时,具体用于:
根据环境图像中的像素纹理相似度,将环境图像划分为多个图像块;
以图像块为单位,针对每个图像块进行语义分割,得到每个图像块对应的对象类别和位置,对象类别为目标对象或非目标对象。
在一些可选实施例中,处理器72还用于:在对环境图像进行语义分割过程中,识别障碍物对象的类型;或者,基于户外机器人上安装的结构光模组采集到的结构光数据,识别障碍物对象的类型;
则处理器72根据障碍物对象对应的深度信息针对障碍物对象进行避障时,具体用于:
若障碍物对象的类型为穿越型障碍物对象,则在障碍物对象的镂空宽度和高度均大于户外机器人的机身宽度和高度的情况下,根据深度信息控制户外机器人穿越障碍物对象;
若障碍物对象的类型为跨越型障碍物对象,则在障碍物对象的高度低于户外机器人的越障高度的情况下,根据深度信息控制户外机器人跨越障碍物对象。
在一些可选实施例中,处理器72根据障碍物对象对应的深度信息针对障碍物对象进行避障时,具体用于:
根据障碍物对象上各像素点对应的深度信息,获取平均深度信息;根据平均深度信息,针对障碍物对象进行避障。
在一些可选实施例中,户外机器人为割草机,目标作业区域为有草区域,户外机器人到有草区域执行割草任务。
在一些可选实施例中,处理器72对环境图像进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置时,具体用于:
将环境图像输入至训练好的语义分割网络中进行语义分割,得到环境图像包括的目标对象及其位置和非目标对象及其位置;其中,语义分割网络利用样本环境图像训练得到,其中,样本环境图像的标注结果至少包括样本环境图像中各个图像块所属的对象类别,以及对象在样本环境图像中的位置。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由户外机器人执行的各步骤。
上述通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G/LTE、5G等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
上述显示组件包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
上述电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述音频组件,可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种户外机器人的作业控制方法,其特征在于,所述户外机器人上设置有至少一个传感器,所述方法包括:
在所述户外机器人的行进过程中,利用所述至少一个传感器采集前方区域内的环境图像和所述环境图像上像素点的深度信息;
对所述环境图像进行语义分割,得到所述环境图像包括的目标对象及其位置和非目标对象及其位置;
根据所述目标对象的位置和非目标对象的位置,确定目标作业区域以及去往所述目标作业区域的导航路径,所述导航路径上包括所述非目标对象中的障碍物对象;
在所述户外机器人沿着所述导航路径去往所述目标作业区域的过程中,根据所述障碍物对象对应的深度信息针对所述障碍物对象进行避障,并在到达所述目标作业区域后针对所述目标对象执行作业任务。
2.根据权利要求1所述的方法,其特征在于,所述至少一个传感器包括双目摄像头,则利用所述至少一个传感器采集前方区域内的环境图像和所述环境图像上像素点的深度信息,包括:
利用所述双目摄像头采集前方区域内的双目图像,并运用双目匹配算法处理双目图像获取深度图像,所述深度图像中包括双目图像中各像素点的深度信息。
3.根据权利要求1所述的方法,其特征在于,所述至少一个传感器包括单目摄像头和深度传感器,则利用所述至少一个传感器采集前方区域内的环境图像和所述环境图像上像素点的深度信息,包括:
利用所述单目摄像头采集前方区域内的单目图像,并利用所述深度传感器采集深度图像,所述深度图像中包括单目图像中各像素点的深度信息。
4.根据权利要求1所述的方法,其特征在于,所述户外机器人的机身下方的结构光模组,则所述方法在对所述环境图像进行语义分割之前,还包括:
利用所述结构光模组采集所述前方区域内物体的高度信息,并结合所述物体的高度信息,将所述前方区域划分为候选对象区域和非候选对象区域;
相应地,对所述环境图像进行语义分割,得到所述环境图像包括的目标对象及其位置和非目标对象及其位置,包括:
对所述环境图像中的候选对象区域进行语义分割,得到目标对象及其位置和第一对象及其位置;并将所述非候选对象区域进行语义分割,得到第二对象及其位置;其中,所述第一对象和所述第二对象为非目标对象。
5.根据权利要求1所述的方法,其特征在于,对所述环境图像进行语义分割,得到所述环境图像包括的目标对象及其位置和非目标对象及其位置,包括:
根据所述环境图像中的像素纹理相似度,将所述环境图像划分为多个图像块;
以图像块为单位,针对每个图像块进行语义分割,得到每个图像块对应的对象类别和位置,所述对象类别为目标对象或非目标对象。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:在对所述环境图像进行语义分割过程中,识别所述障碍物对象的类型;或者,基于所述户外机器人上安装的结构光模组采集到的结构光数据,识别所述障碍物对象的类型;
则根据所述障碍物对象对应的深度信息针对所述障碍物对象进行避障,包括:
若所述障碍物对象的类型为穿越型障碍物对象,则在所述障碍物对象的镂空宽度和高度均大于所述户外机器人的机身宽度和高度的情况下,根据所述深度信息控制所述户外机器人穿越所述障碍物对象;
若所述障碍物对象的类型为跨越型障碍物对象,则在所述障碍物对象的高度低于所述户外机器人的越障高度的情况下,根据所述深度信息控制所述户外机器人跨越所述障碍物对象。
7.根据权利要求1或6所述的方法,其特征在于,根据所述障碍物对象对应的深度信息针对所述障碍物对象进行避障,包括:
根据所述障碍物对象上各像素点对应的深度信息,获取平均深度信息;根据所述平均深度信息,针对所述障碍物对象进行避障。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述户外机器人为割草机,所述目标作业区域为有草区域,所述户外机器人到有草区域执行割草任务。
9.根据权利要求1至7任一项所述的方法,其特征在于,对所述环境图像进行语义分割,得到所述环境图像包括的目标对象及其位置和非目标对象及其位置包括:
将所述环境图像输入至训练好的语义分割网络中进行语义分割,得到所述环境图像包括的目标对象及其位置和非目标对象及其位置;
其中,所述语义分割网络利用样本环境图像训练得到,其中,所述样本环境图像的标注结果至少包括样本环境图像中各个图像块所属的对象类别,以及对象在所述样本环境图像中的位置。
10.一种户外机器人,其特征在于,包括:至少一个传感器、存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器耦合至所述存储器,用于执行所述计算机程序,以用于:
在所述户外机器人的行进过程中,利用所述至少一个传感器采集前方区域内的环境图像和所述环境图像上像素点的深度信息;
对所述环境图像进行语义分割,得到所述环境图像包括的目标对象及其位置和非目标对象及其位置;
根据所述目标对象的位置和非目标对象的位置,确定目标作业区域以及去往所述目标作业区域的导航路径,所述导航路径上包括所述非目标对象中的障碍物对象;
在所述户外机器人沿着所述导航路径去往所述目标作业区域的过程中,根据所述障碍物对象对应的深度信息针对所述障碍物对象进行避障,并在到达所述目标作业区域后针对所述目标对象执行作业任务。
CN202111200095.8A 2021-10-14 2021-10-14 户外机器人的作业控制方法及户外机器人 Pending CN115981298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111200095.8A CN115981298A (zh) 2021-10-14 2021-10-14 户外机器人的作业控制方法及户外机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111200095.8A CN115981298A (zh) 2021-10-14 2021-10-14 户外机器人的作业控制方法及户外机器人

Publications (1)

Publication Number Publication Date
CN115981298A true CN115981298A (zh) 2023-04-18

Family

ID=85958645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111200095.8A Pending CN115981298A (zh) 2021-10-14 2021-10-14 户外机器人的作业控制方法及户外机器人

Country Status (1)

Country Link
CN (1) CN115981298A (zh)

Similar Documents

Publication Publication Date Title
US10278333B2 (en) Pruning robot system
JP7166926B2 (ja) エリア分類に基づくロボットの構成可能な動作のためのシステム及び方法
AU2011232739B2 (en) System and method for governing a speed of an autonomous vehicle
EP3234721B1 (en) Multi-sensor, autonomous robotic vehicle with mapping capability
CN112526993B (zh) 栅格地图更新方法、装置、机器人及存储介质
US20170303466A1 (en) Robotic vehicle with automatic camera calibration capability
US20220161430A1 (en) Recharging Control Method of Desktop Robot
CN112650235A (zh) 一种机器人避障控制方法、系统及机器人
CN102800083A (zh) 基于双目视觉网格划分匹配算法的农作物喷雾定位方法
CN108710367B (zh) 激光数据识别方法、装置、机器人及存储介质
US20160179095A1 (en) Classification of environment elements
CN113741438A (zh) 路径规划方法、装置、存储介质、芯片及机器人
CN112393737A (zh) 障碍地图的创建方法、系统,机器人及可读存储介质
US20230195130A1 (en) Information collection method, device and storage medium
CN113128747A (zh) 智能割草系统及其自主建图方法
LeVoir et al. High-accuracy adaptive low-cost location sensing subsystems for autonomous rover in precision agriculture
WO2024055788A1 (zh) 基于图像信息的激光定位方法及机器人
CN112066994A (zh) 一种消防机器人局部自主导航方法及系统
Rasmussen et al. Appearance contrast for fast, robust trail-following
CN115454077A (zh) 自动割草机及其控制方法和计算机可读存储介质
CN114019956A (zh) 区域边界确定方法、系统、自主行进设备及割草机器人
CN115981298A (zh) 户外机器人的作业控制方法及户外机器人
WO2021031442A1 (zh) 障碍地图的创建方法、系统,机器人及可读存储介质
CN113520228B (zh) 环境信息采集方法、自主移动设备及存储介质
US20230206647A1 (en) Automatic Robotic Lawn Mowing Boundary Detection Using 3D Semantic Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination