CN112966658B - 机器人导航方法、装置、终端设备及计算机可读存储介质 - Google Patents
机器人导航方法、装置、终端设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112966658B CN112966658B CN202110340441.6A CN202110340441A CN112966658B CN 112966658 B CN112966658 B CN 112966658B CN 202110340441 A CN202110340441 A CN 202110340441A CN 112966658 B CN112966658 B CN 112966658B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- processed
- robot
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000003709 image segmentation Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 17
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于图像处理技术领域,提供了一种机器人导航方法、装置、终端设备及计算机可读存储介质方法,包括:获取机器人前方道路的待处理图像;从所述待处理图像中分割出初始通行区域;检测所述待处理图像中目标障碍物的第一位置信息;根据所述初始通行区域和所述第一位置信息,确定目标通行区域;根据所述目标通行区域控制所述机器人运动。通过上述方法,可以在保证机器人导航精度的同时,提高导航效率,进而保证实时、有效地控制机器人运动。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及一种机器人导航方法、装置、终端设备及计算机可读存储介质。
背景技术
机器人的导航与建图(simultaneous localization and mapping,SLAM)是机器人应用的关键技术。该项技术是指,机器人在未知环境中从一个未知位置开始移动,在移动过程中根据估计出的位置进行自身定位,同时在自身定位的基础上构建地图,以实现机器人的自主定位和导航。
现有技术中,通常需要检测出机器人前方道路图像中的每个物体。这种方法虽然有利于精准地进行机器人导航,但是该方法需要对图像进行逐像素处理,数据处理量较大,对机器人的硬件运算能力要求较高。当硬件运算能力较低时,无法实时、有效地控制机器人运动。
发明内容
本申请实施例提供了一种机器人导航方法、装置、终端设备及计算机可读存储介质,可以在保证机器人导航精度的同时,提高导航效率,进而保证实时、有效地控制机器人运动。
第一方面,本申请实施例提供了一种机器人导航方法,包括:
获取机器人前方道路的待处理图像;
从所述待处理图像中分割出初始通行区域;
检测所述待处理图像中目标障碍物的第一位置信息;
根据所述初始通行区域和所述第一位置信息,确定目标通行区域;
根据所述目标通行区域控制所述机器人运动。
在本申请实施例中,先通过图像分割方法从待处理图像中分割出初始通行区域,再通过目标检测方法从待处理图像中检测出目标障碍物的第一位置信息;上述方法中,相当于对较小的物体采用目标检测、对较大的物体采用图像分割代替目标检测,通过这样的方法,无需对待处理图像中所有的物体进行目标检测,大大减少了数据处理量。然后根据初始通行区域和第一位置信息确定目标通行区域,即利用检测出的目标障碍物的第一位置信息对分割出的初始通行区域进行调整,保证了导航的精确性。通过上述方法,可以在保证机器人导航精度的同时,提高导航效率,进而保证实时、有效地控制机器人运动。
在第一方面的一种可能的实现方式中,所述从所述待处理图像中分割出初始通行区域,包括:
获取所述待处理图像的光学三原色信息和图像深度信息;
根据所述光学三原色信息和所述图像深度信息从所述待处理图像中分割出初始通行区域。
在第一方面的一种可能的实现方式中,所述根据所述光学三原色信息和所述图像深度信息从所述待处理图像中分割出初始通行区域,包括:
获取训练后的通行区域识别模型;
将所述光学三原色信息和所述图像深度信息输入到所述通行区域识别模型中,输出所述初始通行区域。
在第一方面的一种可能的实现方式中,所述通行区域识别模型包括第一特征提取网络、第二特征提取网络和分割网络;
所述将所述光学三原色信息和所述图像深度信息输入到所述通行区域识别模型中,输出所述初始通行区域,包括:
将所述光学三原色信息输入到所述第一特征提取网络中,输出第一特征信息;
将所述图像深度信息输入到所述第二特征提取网络中,输出第二特征信息;
将所述第一特征信息和所述第二特征信息输入到所述分割网络中,输出所述初始通行区域。
在第一方面的一种可能的实现方式中,所述通行区域识别模型还包括检测网络;
所述检测所述待处理图像中目标障碍物的第一位置信息,包括:
将所述第一特征信息和所述第二特征信息输入到所述检测网络中,输出所述第一位置信息。
在第一方面的一种可能的实现方式中,所述根据所述初始通行区域和所述第一位置信息,确定目标通行区域,包括:
获取所述待处理图像中所述初始通行区域对应的第二位置信息;
去除所述第二位置信息中包含的所述第一位置信息,得到第三位置信息;
根据所述第三位置信息确定所述目标通信区域。
第二方面,本申请实施例提供了一种机器人导航装置,包括:
图像获取单元,用于获取机器人前方道路的待处理图像;
图像分割单元,用于从所述待处理图像中分割出初始通行区域;
目标检测单元,用于检测所述待处理图像中目标障碍物的第一位置信息;
通行区域确定单元,用于根据所述初始通行区域和所述第一位置信息,确定目标通行区域;
运动控制单元,用于根据所述目标通行区域控制所述机器人运动。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的机器人导航方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的机器人导航方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的机器人导航方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的机器人导航方法的流程示意图;
图2是本申请实施例提供的通行区域识别模型的结构示意图;
图3是本申请实施例提供的机器人导航装置的结构框图;
图4是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
参见图1,是本申请实施例提供的机器人导航方法的流程示意图,作为示例而非限定,所述方法可以包括以下步骤:
S101,获取机器人前方道路的待处理图像。
实际应用中,可以在机器人上安装摄像装置。在机器人行进过程中,通过摄像装置实时获取机器人前方道路的拍摄图像。获取到的拍摄图像可以作为本申请实施例中的待处理图像。
可选的,可以将每张拍摄图像分别作为待处理图像进行处理。还可以按照一定的采样频率从拍摄图像中抽取部分拍摄图像作为待处理图像进行处理。
示例性的,假设机器人上的摄像装置每1秒拍摄一张拍摄图像,将每张拍摄图像分别作为待处理图像,那么获取待处理图像的频率为每1秒获取一张,相应的,对机器人进行导航控制的频率也为每1秒控制一次。也可以每5秒抽取一张拍摄图像,并将该拍摄图像作为待处理图像,那么获取待处理图像的频率为每5秒获取一张,相应的,对机器人进行导航控制的频率也为每5秒控制一次。
通过设定获取待处理图像的频率,可以控制机器人导航控制的频率。
现有技术中,需要对待处理图像中的每个物体进行检测,这就需要对待处理图像进行逐像素处理,需要大量的像素级标注,数据处理量较大。在本申请实施例中,对较大的物体采用图像分割方法进行处理,对较小的物体采用目标检测方法进行处理。例如,对墙面、地面等采用图像分割方法进行处理,对桌子、水杯等采用目标检测方法进行处理。具体如下述S102和S103所述。
S102,从待处理图像中分割出初始通行区域。
通过步骤S102可以从待处理图像中分割出地面区域,将地面区域作为初始通行区域。
待处理图像中包括光学三原色信息(即RGB信息),现有技术中通常是利用RGB信息对待处理图像进行图像分割处理。而图像中的深度信息能够反映物体距离摄像装置的远近程度,深度信息中也包含了较多的图像特征。
为了获取更多的图像特征,以提高图像分割的准确度,可以在图像分割过程中增加深度信息的获取过程。
在一个实施例中,S102可以包括:
获取待处理图像的光学三原色信息和图像深度信息;根据光学三原色信息和图像深度信息从待处理图像中分割出初始通行区域。
实际应用中,机器人上的摄像装置可以是同时具有深度信息获取功能和RGB信息获取功能的拍摄装置。这样拍摄得到的待处理图像中同时包含了RGB信息和深度信息。从待处理图像中分别提取出RGB信息和深度信息即可。
还可以在机器人的同一位置上安装一个具有深度信息获取功能的拍摄装置和一个具有RGB信息获取功能的拍摄装置,两个拍摄装置的拍摄频率相同,并将两个拍摄装置同时拍摄出的图像作为一组待处理图像。然后从具有深度信息获取功能的拍摄装置拍摄出的待处理图像中获取深度信息,从具有RGB信息获取功能的拍摄装置拍摄出的待处理图像中获取RGB信息。
当然,还可以将具有深度信息获取功能的拍摄装置拍摄出的待处理图像和具有RGB信息获取功能的拍摄装置拍摄出的待处理图像叠加在一起,得到一张叠加图像。然后从叠加图像中分别提取出RGB信息和深度信息。
具体的,初始通行区域的分割步骤可以包括:
根据光学三原色信息提取待处理图像中的第一特征信息,根据图像深度信息提取待处理图像中的第二特征信息,根据第一特征信息和第二特征信息对待处理图像进行图像分割处理,得到初始通行区域。
其中,第一特征信息能够反映待处理图像中的RGB信息,第二特征信息能够反映待处理图像中各物体相对于摄像装置的远近程度。
S103,检测待处理图像中目标障碍物的第一位置信息。
通过步骤S103可以从待处理图像中检测出地面上的椅子、桌子等影响通行的目标障碍物的位置。
基于步骤S102实施例中的描述,为了获取更多的图像特征,以提高目标检测的准确度,可以在目标检测过程中增加深度信息的获取过程。
由于S102中已经获取到了待处理图像的RGB信息和深度信息,且已经根据RGB信息提取出了第一特征信息、根据深度信息提取出了第二特征信息,S103中的目标检测过程和S102中的图像分割过程所需的图像特征可以信息共享。因此,可选的,S103可以包括:
根据第一特征信息和第二特征信息对待处理图像进行目标检测处理,得到目标障碍物的第一位置信息。
通过上述S102和S103步骤,对大的物体采用图像分割处理、对小的物体采用目标检测处理,大大减少了数据处理量。同时,结合图像的深度信息和RGB信息进行图像分割和目标检测,增加了图像的深度特征,能够有效提高图像分割和目标检测的准确度。另外,图像分割过程所需的图像特征信息和目标检测过程所需的图像特征信息进行共享,进一步提高了图像分割和目标检测的准确度;并且只需对待处理图像进行一遍特征提取过程,提高了特征提取的效率,进而提高了图像分割和目标检测的处理速度。
在一个实施例中,为了进一步提高图像分割和目标检测的速度,上述实施例S102和S103中的方法可以通过训练后的通行区域识别模型来实现。
基于S102实施例中的描述,当机器人上的摄像装置可以是同时具有深度信息获取功能和RGB信息获取功能的拍摄装置时,S102和S103的另一种实现方式可以为:将待处理图像输入到通行区域识别模型中,输出初始通行区域和第一位置信息。
当机器人的同一位置上安装一个具有深度信息获取功能的拍摄装置和一个具有RGB信息获取功能的拍摄装置时,S102和S103的另一种实现方式可以为:将具有深度信息获取功能的拍摄装置拍摄获得的待处理图像和具有RGB信息获取功能的拍摄装置拍摄获得的待处理图像输入到通行区域识别模型中,输出初始通行区域和第一位置信息。或者,将叠加图像输入到通行区域识别模型中,输出初始通行区域和第一位置信息。
上述实施例中,通行区域识别模型具有光学三原色信息和图像深度信息的提取功能。在另一个实施例中,S102和S103的一种实现方式为:获取待处理图像的光学三原色信息和图像深度信息;获取训练后的通行区域识别模型;将光学三原色信息和图像深度信息输入到通行区域识别模型中,输出初始通行区域和第一位置信息。在该实施例中,通行区域识别模型不具有光学三原色信息和图像深度信息的提取功能。
通过上述方法,在预先训练好通行区域识别模型后,实际应用过程中,只需将待处理图像的光学三原色信息和图像深度信息输入到训练后的模型中,即可输出图像分割结果(初始通行区域)和目标检测结果(第一位置信息),大大节约了数据处理的时间,进而能够有效提高导航效率。
可选的,参见图2,是本申请实施例提供的通行区域识别模型的结构示意图。如图2所示,本申请实施例中的通行区域识别模型可以包括第一特征提取网络、第二特征提取网络、分割网络和检测网络。
具体的,S102和S103中的,将光学三原色信息和图像深度信息输入到通行区域识别模型中,输出初始通行区域和第一位置信息,可以包括以下步骤:
将光学三原色信息输入到第一特征提取网络中,输出第一特征信息;将图像深度信息输入到第二特征提取网络中,输出第二特征信息;将第一特征信息和第二特征信息输入到分割网络中,输出初始通行区域;将第一特征信息和第二特征信息输入到检测网络中,输出第一位置信息。
本申请实施例中的通行区域识别模型实质为一个多任务学习模型。由于图像分割和目标检测两个任务具有强相关性,因此,令两个任务共享图像特征信息,两个任务相辅相成,有效保证了图像分割和目标检测的准确性。
S104,根据初始通行区域和第一位置信息,确定目标通行区域。
初始通行区域可以包括该区域内的像素点的坐标信息,第一位置信息可以包括目标障碍物对应的像素点的坐标信息。
在一个实施例中,确定目标通行区域的步骤可以包括:
获取待处理图像中初始通行区域对应的第二位置信息;去除第二位置信息中包含的第一位置信息,得到第三位置信息;根据第三位置信息确定目标通信区域。
示例性的,假设初始通行区域包括像素点0-像素点100各自对应的坐标,第一位置信息包括像素点50-像素点60各自对应的坐标,那么第二位置信息中包含像素点0-像素点49以及像素点61-像素点100各自对应的坐标。
S105,根据目标通行区域控制机器人运动。
实际应用中,可以根据目标通行区域中包含的像素点的坐标映射到物理坐标系下,获得目标通信区域对应的物理坐标,然后根据物理坐标规划运动路线,进而控制机器人运动。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法,图3是本申请实施例提供的机器人导航装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图3,该装置包括:
图像获取单元31,用于获取机器人前方道路的待处理图像。
图像分割单元32,用于从所述待处理图像中分割出初始通行区域。
目标检测单元33,用于检测所述待处理图像中目标障碍物的第一位置信息。
通行区域确定单元34,用于根据所述初始通行区域和所述第一位置信息,确定目标通行区域。
运动控制单元35,用于根据所述目标通行区域控制所述机器人运动。
可选的,图像分割单元32包括:
信息获取模块,用于获取所述待处理图像的光学三原色信息和图像深度信息.
图像分割模块,用于根据所述光学三原色信息和所述图像深度信息从所述待处理图像中分割出初始通行区域。
可选的,图像分割模块还用于:
获取训练后的通行区域识别模型;将所述光学三原色信息和所述图像深度信息输入到所述通行区域识别模型中,输出所述初始通行区域。
可选的,通行区域识别模型包括第一特征提取网络、第二特征提取网络和分割网络。
可选的,图像分割模块还用于:
将光学三原色信息输入到第一特征提取网络中,输出第一特征信息;将图像深度信息输入到第二特征提取网络中,输出第二特征信息;将第一特征信息和第二特征信息输入到分割网络中,输出初始通行区域。
可选的,通行区域识别模型还包括检测网络。
可选的,目标检测单元33还用于:
将所述第一特征信息和所述第二特征信息输入到所述检测网络中,输出所述第一位置信息。
可选的,通行区域确定单元34还用于:
获取待处理图像中初始通行区域对应的第二位置信息;去除第二位置信息中包含的第一位置信息,得到第三位置信息;根据第三位置信息确定目标通信区域。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
另外,图3所示的装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元,也可以作为独立的挂件集成到所述终端设备中,还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图4是本申请实施例提供的终端设备的结构示意图。如图4所示,该实施例的终端设备4包括:至少一个处理器40(图4中仅示出一个)处理器、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42,所述处理器40执行所述计算机程序42时实现上述任意各个机器人导航方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图4仅仅是终端设备4的举例,并不构成对终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述终端设备4的内部存储单元,例如终端设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述终端设备4的外部存储设备,例如所述终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (7)
1.一种机器人导航方法,其特征在于,所述方法包括:
获取机器人前方道路的待处理图像;
从所述待处理图像中分割出初始通行区域;
检测所述待处理图像中目标障碍物的第一位置信息;
根据所述初始通行区域和所述第一位置信息,确定目标通行区域;
根据所述目标通行区域控制所述机器人运动;
所述从所述待处理图像中分割出初始通行区域,包括:
获取所述待处理图像的光学三原色信息和图像深度信息;
根据所述光学三原色信息和所述图像深度信息从所述待处理图像中分割出初始通行区域;
所述检测所述待处理图像中目标障碍物的第一位置信息,包括:
将第一特征信息和第二特征信息输入到检测网络中,输出所述第一位置信息;其中,所述第一特征信息用于反映所述待处理图像中的RGB信息,所述第二特征信息用于反映所述待处理图像中的物体相对于摄像装置的远近程度。
2.如权利要求1所述的机器人导航方法,其特征在于,所述根据所述光学三原色信息和所述图像深度信息从所述待处理图像中分割出初始通行区域,包括:
获取训练后的通行区域识别模型;
将所述光学三原色信息和所述图像深度信息输入到所述通行区域识别模型中,输出所述初始通行区域。
3.如权利要求2所述的机器人导航方法,其特征在于,所述通行区域识别模型包括第一特征提取网络、第二特征提取网络和分割网络;
所述将所述光学三原色信息和所述图像深度信息输入到所述通行区域识别模型中,输出所述初始通行区域,包括:
将所述光学三原色信息输入到所述第一特征提取网络中,输出第一特征信息;
将所述图像深度信息输入到所述第二特征提取网络中,输出第二特征信息;
将所述第一特征信息和所述第二特征信息输入到所述分割网络中,输出所述初始通行区域。
4.如权利要求1至3任一项所述的机器人导航方法,其特征在于,所述根据所述初始通行区域和所述第一位置信息,确定目标通行区域,包括:
获取所述待处理图像中所述初始通行区域对应的第二位置信息;
去除所述第二位置信息中包含的所述第一位置信息,得到第三位置信息;
根据所述第三位置信息确定所述目标通信区域。
5.一种机器人导航装置,其特征在于,所述装置包括:
图像获取单元,用于获取机器人前方道路的待处理图像;
图像分割单元,用于从所述待处理图像中分割出初始通行区域;
目标检测单元,用于检测所述待处理图像中目标障碍物的第一位置信息;
通行区域确定单元,用于根据所述初始通行区域和所述第一位置信息,确定目标通行区域;
运动控制单元,用于根据所述目标通行区域控制所述机器人运动;
所述图像分割单元包括:
信息获取模块,用于获取所述待处理图像的光学三原色信息和图像深度信息;
图像分割模块,用于根据所述光学三原色信息和所述图像深度信息从所述待处理图像中分割出初始通行区域;
所述目标检测模块还用于:
将第一特征信息和第二特征信息输入到检测网络中,输出所述第一位置信息;其中,所述第一特征信息用于反映所述待处理图像中的RGB信息,所述第二特征信息用于反映所述待处理图像中的物体相对于摄像装置的远近程度。
6.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110340441.6A CN112966658B (zh) | 2021-03-30 | 2021-03-30 | 机器人导航方法、装置、终端设备及计算机可读存储介质 |
PCT/CN2021/125040 WO2022205841A1 (zh) | 2021-03-30 | 2021-10-20 | 机器人导航方法、装置、终端设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110340441.6A CN112966658B (zh) | 2021-03-30 | 2021-03-30 | 机器人导航方法、装置、终端设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112966658A CN112966658A (zh) | 2021-06-15 |
CN112966658B true CN112966658B (zh) | 2024-06-18 |
Family
ID=76279689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110340441.6A Active CN112966658B (zh) | 2021-03-30 | 2021-03-30 | 机器人导航方法、装置、终端设备及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112966658B (zh) |
WO (1) | WO2022205841A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112966658B (zh) * | 2021-03-30 | 2024-06-18 | 深圳市优必选科技股份有限公司 | 机器人导航方法、装置、终端设备及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110246142A (zh) * | 2019-06-14 | 2019-09-17 | 深圳前海达闼云端智能科技有限公司 | 一种检测障碍物的方法、终端和可读存储介质 |
CN112183476A (zh) * | 2020-10-28 | 2021-01-05 | 深圳市商汤科技有限公司 | 一种障碍检测方法、装置、电子设备以及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018120027A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种障碍物检测方法及装置 |
CN111399492A (zh) * | 2018-12-28 | 2020-07-10 | 深圳市优必选科技有限公司 | 一种机器人及其障碍物感知方法和装置 |
CN112966658B (zh) * | 2021-03-30 | 2024-06-18 | 深圳市优必选科技股份有限公司 | 机器人导航方法、装置、终端设备及计算机可读存储介质 |
-
2021
- 2021-03-30 CN CN202110340441.6A patent/CN112966658B/zh active Active
- 2021-10-20 WO PCT/CN2021/125040 patent/WO2022205841A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110246142A (zh) * | 2019-06-14 | 2019-09-17 | 深圳前海达闼云端智能科技有限公司 | 一种检测障碍物的方法、终端和可读存储介质 |
CN112183476A (zh) * | 2020-10-28 | 2021-01-05 | 深圳市商汤科技有限公司 | 一种障碍检测方法、装置、电子设备以及存储介质 |
Non-Patent Citations (1)
Title |
---|
吴鑫 等.基于颜色和深度信息融合的目标识别方法.农业工程学报.2013,第96-100页. * |
Also Published As
Publication number | Publication date |
---|---|
CN112966658A (zh) | 2021-06-15 |
WO2022205841A1 (zh) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
JP7221089B2 (ja) | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 | |
CN111815754B (zh) | 一种三维信息确定方法、三维信息确定装置及终端设备 | |
CN112528831B (zh) | 多目标姿态估计方法、多目标姿态估计装置及终端设备 | |
JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
CN108681994A (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
CN109784250B (zh) | 自动引导小车的定位方法和装置 | |
CN111928842B (zh) | 一种基于单目视觉实现slam定位的方法及相关装置 | |
CN110673607B (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
CN112686951A (zh) | 用于确定机器人位置的方法、装置、终端及存储介质 | |
CN111199198B (zh) | 一种图像目标定位方法、图像目标定位装置及移动机器人 | |
CN112966658B (zh) | 机器人导航方法、装置、终端设备及计算机可读存储介质 | |
CN113160406B (zh) | 道路三维重建方法、装置、存储介质及电子设备 | |
CN113515143B (zh) | 机器人导航方法、机器人及计算机可读存储介质 | |
US11539871B2 (en) | Electronic device for performing object detection and operation method thereof | |
CN112837384B (zh) | 车辆标记方法、装置和电子设备 | |
CN117908536A (zh) | 机器人避障方法、终端设备及计算机可读存储介质 | |
CN113191189A (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
CN115601435B (zh) | 车辆姿态检测方法、装置、车辆及存储介质 | |
CN111223139B (zh) | 目标定位方法及终端设备 | |
KR101595334B1 (ko) | 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 | |
CN114359915A (zh) | 图像处理方法、装置和可读存储介质 | |
Pandey et al. | Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos | |
CN114359572A (zh) | 多任务检测模型的训练方法、装置及终端设备 | |
CN113610883B (zh) | 点云处理系统和方法、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |