CN113569812A - 未知障碍物的识别方法、装置和电子设备 - Google Patents
未知障碍物的识别方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113569812A CN113569812A CN202111011876.2A CN202111011876A CN113569812A CN 113569812 A CN113569812 A CN 113569812A CN 202111011876 A CN202111011876 A CN 202111011876A CN 113569812 A CN113569812 A CN 113569812A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- pseudo
- image
- point cloud
- unknown
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012216 screening Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种未知障碍物的识别方法、装置和电子设备,包括:获取双目摄像头拍摄的障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在高精度地图中的位置信息在伪点云中筛选得到目标伪点云;对目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;获取障碍物识别算法对障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将多个3D包围框映射至带有障碍物包围框的障碍物图像中,得到带有障碍物包围框的障碍物图像中的新包围框;根据新包围框和障碍物图像中的原有包围框确定障碍物图像中的未知障碍物。本发明的方法能够对未知障碍物进行识别,从而提高了自动驾驶的安全性。
Description
技术领域
本发明涉及障碍物识别的技术领域,尤其是涉及一种未知障碍物的识别方法、装置和电子设备。
背景技术
随着汽车行业的不断发展以及人工智能技术的不断进步,越来越多的车辆开始配备有智能驾驶系统,同时,也有越来越多的研究人员开始关注智能辅助驾驶系统的研究和开发。
伴随着对计算机视觉和深度学习技术研究的深入,使得这两项技术在智能辅助驾驶中的应用成为了可能,且就技术本身而言,应用前景十分乐观。在障碍物识别的应用场景中,通过自动驾驶车辆上安装的摄像头拍摄车辆周围的图像,进而采用障碍物识别算法对摄像头拍摄的图像进行障碍物识别,最终通过识别到的障碍物辅助自动驾驶车辆进行安全行驶。
上述采用障碍物识别算法对摄像头拍摄的图像进行障碍物识别时,障碍物识别算法只能识别得到对其进行训练时标注的障碍物,无法识别得到其它未标注的障碍物,即当图像中出现未知障碍物时,障碍物识别算法也无能为力,存在障碍物漏检的情况,这样,自动驾驶车辆就会产生与未知障碍物发生碰撞的风险,安全性差。
综上,现有技术还无法对未知障碍物进行识别,导致自动驾驶的安全性差。
发明内容
有鉴于此,本发明的目的在于提供一种未知障碍物的识别方法、装置和电子设备,以缓解现有技术还无法对未知障碍物进行识别,导致自动驾驶的安全性差的技术问题。
第一方面,本发明实施例提供了一种未知障碍物的识别方法,包括:
获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在所述高精度地图中的位置信息在所述伪点云中筛选得到目标伪点云,其中,所述目标伪点云为与自动驾驶车辆行驶有关的伪点云;
对所述目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;
获取障碍物识别算法对所述障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将所述多个3D包围框映射至所述带有障碍物包围框的障碍物图像中,得到所述带有障碍物包围框的障碍物图像中的新包围框;
根据所述新包围框和所述带有障碍物包围框的障碍物图像中的原有包围框确定所述障碍物图像中的未知障碍物。
进一步的,获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,包括:
获取所述双目摄像头对所述自动驾驶场景进行拍摄得到的所述障碍物图像;
通过伪点云算法对所述障碍物图像进行处理,得到所述障碍物图像所对应的伪点云。
进一步的,根据高精度地图和自动驾驶车辆在所述高精度地图中的位置信息在所述伪点云中筛选得到目标伪点云,包括:
获取所述自动驾驶车辆在所述高精度地图中的位置信息;
根据所述高精度地图、所述自动驾驶车辆在所述高精度地图中的位置信息和所述伪点云在所述高精度地图中的位置信息,在所述伪点云中确定与所述自动驾驶车辆相距预设范围的目标伪点云。
进一步的,对每组障碍物点云添加包围框,包括:
采用OpenCV对每组障碍物点云添加包围框,得到所述多个3D包围框。
进一步的,根据所述新包围框和所述带有障碍物包围框的障碍物图像中的原有包围框确定所述障碍物图像中的未知障碍物,包括:
若所述新包围框和所述原有包围框的交并比小于预设阈值,则确定所述新包围框包围的部分为所述未知障碍物;
若所述新包围框和所述原有包围框的交并比不小于预设阈值,则确定所述新包围框包围的部分为所述障碍物识别算法已检测得到的障碍物。
进一步的,所述方法还包括:
确定与所述未知障碍物对应的新包围框对应的目标3D包围框;
根据所述目标3D包围框确定与其对应的目标障碍物点云;
根据所述目标障碍物点云,在所述高精度地图中标注与所述目标障碍物点云对应的未知障碍物的位置。
第二方面,本发明实施例还提供了一种未知障碍物的识别装置,包括:
获取并筛选单元,用于获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在所述高精度地图中的位置信息在所述伪点云中筛选得到目标伪点云,其中,所述目标伪点云为与自动驾驶车辆行驶有关的伪点云;
聚类和包围框添加单元,用于对所述目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;
获取并映射单元,用于获取障碍物识别算法对所述障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将所述多个3D包围框映射至所述带有障碍物包围框的障碍物图像中,得到所述带有障碍物包围框的障碍物图像中的新包围框;
确定单元,用于根据所述新包围框和所述带有障碍物包围框的障碍物图像中的原有包围框确定所述障碍物图像中的未知障碍物。
进一步的,所述获取并筛选单元还用于:
获取所述双目摄像头对所述自动驾驶场景进行拍摄得到的所述障碍物图像;
通过伪点云算法对所述障碍物图像进行处理,得到所述障碍物图像所对应的伪点云。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述机器可运行指令在被处理器调用和运行时,所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
在本发明实施例中,提供了一种未知障碍物的识别方法,包括:先获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在高精度地图中的位置信息在伪点云中筛选得到目标伪点云;然后,对目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;进而,获取障碍物识别算法对障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将多个3D包围框映射至带有障碍物包围框的障碍物图像中,得到带有障碍物包围框的障碍物图像中的新包围框;最后,根据新包围框和带有障碍物包围框的障碍物图像中的原有包围框确定障碍物图像中的未知障碍物。通过上述描述可知,本发明的未知障碍物的识别方法能够对未知障碍物进行识别,从而提高了自动驾驶的安全性,缓解了现有技术无法对未知障碍物进行识别,导致自动驾驶的安全性差的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种未知障碍物的识别方法的流程图;
图2为本发明实施例提供的筛选得到目标伪点云的方法流程图;
图3为本发明实施例提供的在高精度地图中标注未知障碍物的位置的方法流程图;
图4为本发明实施例提供的一种未知障碍物的识别装置的示意图;
图5为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,障碍物识别算法只能识别得到对其进行训练时标注的障碍物,无法识别得到其它未标注的障碍物,即当图像中出现未知障碍物时,障碍物识别算法也无能为力,存在障碍物漏检的情况。
基于此,本实施例提供了一种未知障碍物的识别方法,该方法能够对未知障碍物进行识别,从而提高了自动驾驶的安全性。
下面结合附图对本发明实施例进行进一步介绍。
实施例一:
根据本发明实施例,提供了一种未知障碍物的识别方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种未知障碍物的识别方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在高精度地图中的位置信息在伪点云中筛选得到目标伪点云,其中,目标伪点云为与自动驾驶车辆行驶有关的伪点云;
上述自动驾驶场景可以为自动驾驶车辆行驶的场景,上述高精度地图可以为预先建立得到的,筛选目标伪点云是为了减少后续待处理的伪点云的数量,减少计算量,只对与自动驾驶车辆行驶有关的伪点云进行处理,既能保证自动驾驶车辆的安全行驶,又能减少要处理的伪点云的数量。
步骤S104,对目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;
步骤S106,获取障碍物识别算法对障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将多个3D包围框映射至带有障碍物包围框的障碍物图像中,得到带有障碍物包围框的障碍物图像中的新包围框;
上述将多个3D包围框映射至带有障碍物包围框的障碍物图像中的过程即为3D位置坐标转换为2D位置坐标的过程,为通用技术,这里不再赘述。
步骤S108,根据新包围框和带有障碍物包围框的障碍物图像中的原有包围框确定障碍物图像中的未知障碍物。
在本发明实施例中,提供了一种未知障碍物的识别方法,包括:先获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在高精度地图中的位置信息在伪点云中筛选得到目标伪点云;然后,对目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;进而,获取障碍物识别算法对障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将多个3D包围框映射至带有障碍物包围框的障碍物图像中,得到带有障碍物包围框的障碍物图像中的新包围框;最后,根据新包围框和带有障碍物包围框的障碍物图像中的原有包围框确定障碍物图像中的未知障碍物。通过上述描述可知,本发明的未知障碍物的识别方法能够对未知障碍物进行识别,从而提高了自动驾驶的安全性,缓解了现有技术无法对未知障碍物进行识别,导致自动驾驶的安全性差的技术问题。
上述内容对本发明的未知障碍物的识别方法进行了简要介绍,下面对其中涉及到的具体内容进行详细描述。
在本发明的一个可选实施例中,上述步骤S102,获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,具体包括:获取双目摄像头对自动驾驶场景进行拍摄得到的障碍物图像;通过伪点云算法对障碍物图像进行处理,得到障碍物图像所对应的伪点云。
具体的,通过伪点云算法对双目摄像头拍摄的两帧障碍物图像进行处理,得到障碍物图像所对应的伪点云。
在本发明的一个可选实施例中,参考图2,上述步骤S102,根据高精度地图和自动驾驶车辆在高精度地图中的位置信息在伪点云中筛选得到目标伪点云,具体包括如下步骤:
步骤S201,获取自动驾驶车辆在高精度地图中的位置信息;
具体的,可以根据自动驾驶车辆的定位系统确定其在高精度地图中的位置信息。
步骤S202,根据高精度地图、自动驾驶车辆在高精度地图中的位置信息和伪点云在高精度地图中的位置信息,在伪点云中确定与自动驾驶车辆相距预设范围的目标伪点云。
具体的,可以将自动驾驶车辆所在车道、自动驾驶车辆所在车道两侧的车道中的伪点云作为目标伪点云,也就是上述预设范围可以是自动驾驶车辆所在车道和自动驾驶车辆所在车道两侧的车道的范围,本发明实施例对上述预设范围不进行具体限制,还可以为其它预设范围。
在本发明的一个可选实施例中,对每组障碍物点云添加包围框,具体包括:采用OpenCV对每组障碍物点云添加包围框,得到多个3D包围框。
在本发明的一个可选实施例中,上述步骤S108,根据新包围框和带有障碍物包围框的障碍物图像中的原有包围框确定障碍物图像中的未知障碍物,具体包括:
(1)若新包围框和原有包围框的交并比小于预设阈值,则确定新包围框包围的部分为未知障碍物;
(2)若新包围框和原有包围框的交并比不小于预设阈值,则确定新包围框包围的部分为障碍物识别算法已检测得到的障碍物。
上述预设阈值可以根据需要进行设定,本发明实施例对上述预设阈值不进行具体限制。
在本发明的一个可选实施例中,在确定障碍物图像中的未知障碍物之后,参考图3,该方法还包括:
步骤S301,确定与未知障碍物对应的新包围框对应的目标3D包围框;
步骤S302,根据目标3D包围框确定与其对应的目标障碍物点云;
步骤S303,根据目标障碍物点云,在高精度地图中标注与目标障碍物点云对应的未知障碍物的位置。
具体的,将目标障碍物点云的位置信息转换到高境地地图中,就能得到未知障碍物在高精度地图中的位置,进而在高精度地图中标注其位置。
本发明的未知障碍物的识别方法能够对未知障碍物进行识别,从而提高了自动驾驶的安全性。
实施例二:
本发明实施例还提供了一种未知障碍物的识别装置,该未知障碍物的识别装置主要用于执行本发明实施例一中所提供的未知障碍物的识别方法,以下对本发明实施例提供的未知障碍物的识别装置做具体介绍。
图4是根据本发明实施例的一种未知障碍物的识别装置的示意图,如图4所示,该装置主要包括:获取并筛选单元10、聚类和包围框添加单元20、获取并映射单元30和确定单元40,其中:
获取并筛选单元,用于获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在高精度地图中的位置信息在伪点云中筛选得到目标伪点云,其中,目标伪点云为与自动驾驶车辆行驶有关的伪点云;
聚类和包围框添加单元,用于对目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;
获取并映射单元,用于获取障碍物识别算法对障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将多个3D包围框映射至带有障碍物包围框的障碍物图像中,得到带有障碍物包围框的障碍物图像中的新包围框;
确定单元,用于根据新包围框和带有障碍物包围框的障碍物图像中的原有包围框确定障碍物图像中的未知障碍物。
在本发明实施例中,提供了一种未知障碍物的识别装置,包括:先获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在高精度地图中的位置信息在伪点云中筛选得到目标伪点云;然后,对目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;进而,获取障碍物识别算法对障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将多个3D包围框映射至带有障碍物包围框的障碍物图像中,得到带有障碍物包围框的障碍物图像中的新包围框;最后,根据新包围框和带有障碍物包围框的障碍物图像中的原有包围框确定障碍物图像中的未知障碍物。通过上述描述可知,本发明的未知障碍物的识别装置能够对未知障碍物进行识别,从而提高了自动驾驶的安全性,缓解了现有技术无法对未知障碍物进行识别,导致自动驾驶的安全性差的技术问题。
可选地,获取并筛选单元还用于:获取双目摄像头对自动驾驶场景进行拍摄得到的障碍物图像;通过伪点云算法对障碍物图像进行处理,得到障碍物图像所对应的伪点云。
可选地,获取并筛选单元还用于:获取自动驾驶车辆在高精度地图中的位置信息;根据高精度地图、自动驾驶车辆在高精度地图中的位置信息和伪点云在高精度地图中的位置信息,在伪点云中确定与自动驾驶车辆相距预设范围的目标伪点云。
可选地,聚类和包围框添加单元还用于:采用OpenCV对每组障碍物点云添加包围框,得到多个3D包围框。
可选地,确定单元还用于:若新包围框和原有包围框的交并比小于预设阈值,则确定新包围框包围的部分为未知障碍物;若新包围框和原有包围框的交并比不小于预设阈值,则确定新包围框包围的部分为障碍物识别算法已检测得到的障碍物。
可选地,该装置还用于:确定与未知障碍物对应的新包围框对应的目标3D包围框;根据目标3D包围框确定与其对应的目标障碍物点云;根据目标障碍物点云,在高精度地图中标注与目标障碍物点云对应的未知障碍物的位置。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
如图5所示,本申请实施例提供的一种电子设备600,包括:处理器601、存储器602和总线,所述存储器602存储有所述处理器601可执行的机器可读指令,当电子设备运行时,所述处理器601与所述存储器602之间通过总线通信,所述处理器601执行所述机器可读指令,以执行如上述未知障碍物的识别方法的步骤。
具体地,上述存储器602和处理器601能够为通用的存储器和处理器,这里不做具体限定,当处理器601运行存储器602存储的计算机程序时,能够执行上述未知障碍物的识别方法。
处理器601可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602,处理器601读取存储器602中的信息,结合其硬件完成上述方法的步骤。
对应于上述未知障碍物的识别方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述未知障碍物的识别方法的步骤。
本申请实施例所提供的未知障碍物的识别装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
再例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述车辆标记方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种未知障碍物的识别方法,其特征在于,包括:
获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在所述高精度地图中的位置信息在所述伪点云中筛选得到目标伪点云,其中,所述目标伪点云为与自动驾驶车辆行驶有关的伪点云;
对所述目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;
获取障碍物识别算法对所述障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将所述多个3D包围框映射至所述带有障碍物包围框的障碍物图像中,得到所述带有障碍物包围框的障碍物图像中的新包围框;
根据所述新包围框和所述带有障碍物包围框的障碍物图像中的原有包围框确定所述障碍物图像中的未知障碍物。
2.根据权利要求1所述的方法,其特征在于,获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,包括:
获取所述双目摄像头对所述自动驾驶场景进行拍摄得到的所述障碍物图像;
通过伪点云算法对所述障碍物图像进行处理,得到所述障碍物图像所对应的伪点云。
3.根据权利要求1所述的方法,其特征在于,根据高精度地图和自动驾驶车辆在所述高精度地图中的位置信息在所述伪点云中筛选得到目标伪点云,包括:
获取所述自动驾驶车辆在所述高精度地图中的位置信息;
根据所述高精度地图、所述自动驾驶车辆在所述高精度地图中的位置信息和所述伪点云在所述高精度地图中的位置信息,在所述伪点云中确定与所述自动驾驶车辆相距预设范围的目标伪点云。
4.根据权利要求1所述的方法,其特征在于,对每组障碍物点云添加包围框,包括:
采用OpenCV对每组障碍物点云添加包围框,得到所述多个3D包围框。
5.根据权利要求1所述的方法,其特征在于,根据所述新包围框和所述带有障碍物包围框的障碍物图像中的原有包围框确定所述障碍物图像中的未知障碍物,包括:
若所述新包围框和所述原有包围框的交并比小于预设阈值,则确定所述新包围框包围的部分为所述未知障碍物;
若所述新包围框和所述原有包围框的交并比不小于预设阈值,则确定所述新包围框包围的部分为所述障碍物识别算法已检测得到的障碍物。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定与所述未知障碍物对应的新包围框对应的目标3D包围框;
根据所述目标3D包围框确定与其对应的目标障碍物点云;
根据所述目标障碍物点云,在所述高精度地图中标注与所述目标障碍物点云对应的未知障碍物的位置。
7.一种未知障碍物的识别装置,其特征在于,包括:
获取并筛选单元,用于获取双目摄像头拍摄的自动驾驶场景中障碍物图像所对应的伪点云,并根据高精度地图和自动驾驶车辆在所述高精度地图中的位置信息在所述伪点云中筛选得到目标伪点云,其中,所述目标伪点云为与自动驾驶车辆行驶有关的伪点云;
聚类和包围框添加单元,用于对所述目标伪点云进行聚类处理,得到多组障碍物点云,并对每组障碍物点云添加包围框,得到多个3D包围框;
获取并映射单元,用于获取障碍物识别算法对所述障碍物图像进行检测后得到的带有障碍物包围框的障碍物图像,并将所述多个3D包围框映射至所述带有障碍物包围框的障碍物图像中,得到所述带有障碍物包围框的障碍物图像中的新包围框;
确定单元,用于根据所述新包围框和所述带有障碍物包围框的障碍物图像中的原有包围框确定所述障碍物图像中的未知障碍物。
8.根据权利要求7所述的装置,其特征在于,所述获取并筛选单元还用于:
获取所述双目摄像头对所述自动驾驶场景进行拍摄得到的所述障碍物图像;
通过伪点云算法对所述障碍物图像进行处理,得到所述障碍物图像所对应的伪点云。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有机器可运行指令,所述机器可运行指令在被处理器调用和运行时,所述机器可运行指令促使所述处理器运行上述权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111011876.2A CN113569812A (zh) | 2021-08-31 | 2021-08-31 | 未知障碍物的识别方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111011876.2A CN113569812A (zh) | 2021-08-31 | 2021-08-31 | 未知障碍物的识别方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113569812A true CN113569812A (zh) | 2021-10-29 |
Family
ID=78173237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111011876.2A Pending CN113569812A (zh) | 2021-08-31 | 2021-08-31 | 未知障碍物的识别方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113569812A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114596555A (zh) * | 2022-05-09 | 2022-06-07 | 新石器慧通(北京)科技有限公司 | 障碍物点云数据筛选方法、装置、电子设备及存储介质 |
CN114721404A (zh) * | 2022-06-08 | 2022-07-08 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9052721B1 (en) * | 2012-08-28 | 2015-06-09 | Google Inc. | Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection |
CN110378942A (zh) * | 2018-08-23 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 基于双目相机的障碍物标识方法、系统、设备和存储介质 |
US20200103552A1 (en) * | 2018-10-02 | 2020-04-02 | Robert S. Phelan | Unmanned aerial vehicle system and methods |
CN112419494A (zh) * | 2020-10-09 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 |
CN112802092A (zh) * | 2021-01-29 | 2021-05-14 | 深圳一清创新科技有限公司 | 一种障碍物感知方法、装置以及电子设备 |
US20210158546A1 (en) * | 2019-11-22 | 2021-05-27 | Baidu Usa Llc | Updated point cloud registration pipeline based on admm algorithm for autonomous vehicles |
CN112991550A (zh) * | 2021-03-31 | 2021-06-18 | 东软睿驰汽车技术(沈阳)有限公司 | 基于伪点云的障碍物位置检测方法、装置和电子设备 |
WO2021134296A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN113269840A (zh) * | 2021-05-27 | 2021-08-17 | 深圳一清创新科技有限公司 | 一种用于相机和多激光雷达的联合标定方法及电子设备 |
-
2021
- 2021-08-31 CN CN202111011876.2A patent/CN113569812A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9052721B1 (en) * | 2012-08-28 | 2015-06-09 | Google Inc. | Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection |
CN110378942A (zh) * | 2018-08-23 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 基于双目相机的障碍物标识方法、系统、设备和存储介质 |
US20200103552A1 (en) * | 2018-10-02 | 2020-04-02 | Robert S. Phelan | Unmanned aerial vehicle system and methods |
US20210158546A1 (en) * | 2019-11-22 | 2021-05-27 | Baidu Usa Llc | Updated point cloud registration pipeline based on admm algorithm for autonomous vehicles |
WO2021134296A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN112419494A (zh) * | 2020-10-09 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 |
CN112802092A (zh) * | 2021-01-29 | 2021-05-14 | 深圳一清创新科技有限公司 | 一种障碍物感知方法、装置以及电子设备 |
CN112991550A (zh) * | 2021-03-31 | 2021-06-18 | 东软睿驰汽车技术(沈阳)有限公司 | 基于伪点云的障碍物位置检测方法、装置和电子设备 |
CN113269840A (zh) * | 2021-05-27 | 2021-08-17 | 深圳一清创新科技有限公司 | 一种用于相机和多激光雷达的联合标定方法及电子设备 |
Non-Patent Citations (4)
Title |
---|
LEITE, AC 等: "Control and Obstacle Collision Avoidance Method applied to Human-Robot Interaction", 《 2015 IEEE INTERNATIONAL WORKSHOP ON ADVANCED ROBOTICS AND ITS SOCIAL IMPACTS (ARSO)》, 30 September 2016 (2016-09-30), pages 1 - 8 * |
WEI ZHANG 等: "Study of obstacle information processing for unmanned underwater vehicle in unknown ocean environment", 《 OCEANS 2016 - SHANGHAI》, 30 April 2016 (2016-04-30), pages 1 - 5, XP032909541, DOI: 10.1109/OCEANSAP.2016.7485720 * |
江超 等: "未知环境下移动机器人静态与动态实时避障方法研究", 《高技术通讯》, vol. 29, no. 10, 31 October 2019 (2019-10-31), pages 1012 - 1020 * |
魏玉锋;梁冬泰;梁丹;邢淑敏;: "基于多模态信息的机器人视觉识别与定位研究", 光电工程, no. 02, 15 February 2018 (2018-02-15), pages 73 - 84 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114596555A (zh) * | 2022-05-09 | 2022-06-07 | 新石器慧通(北京)科技有限公司 | 障碍物点云数据筛选方法、装置、电子设备及存储介质 |
CN114596555B (zh) * | 2022-05-09 | 2022-08-30 | 新石器慧通(北京)科技有限公司 | 障碍物点云数据筛选方法、装置、电子设备及存储介质 |
CN114721404A (zh) * | 2022-06-08 | 2022-07-08 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
CN114721404B (zh) * | 2022-06-08 | 2022-09-13 | 超节点创新科技(深圳)有限公司 | 避障方法、机器人和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10217007B2 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
CN106952303B (zh) | 车距检测方法、装置和系统 | |
EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
CN112967283B (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
EP2928178B1 (en) | On-board control device | |
CN111399492A (zh) | 一种机器人及其障碍物感知方法和装置 | |
JP2016148962A (ja) | 物体検知装置 | |
JP2000357233A (ja) | 物体認識装置 | |
EP2579230A1 (en) | Device for monitoring vicinity of vehicle | |
WO2017051480A1 (ja) | 画像処理装置及び画像処理方法 | |
CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
CN110341621B (zh) | 一种障碍物检测方法及装置 | |
US10936886B2 (en) | Method and system for stereo based vehicle pose estimation | |
US20150379334A1 (en) | Object recognition apparatus | |
Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
CN108399360B (zh) | 一种连续型障碍物检测方法、装置及终端 | |
US9824449B2 (en) | Object recognition and pedestrian alert apparatus for a vehicle | |
CN111950504A (zh) | 车辆检测方法、装置以及电子设备 | |
CN111191482A (zh) | 一种刹车灯识别方法、装置及电子设备 | |
CN112837384A (zh) | 车辆标记方法、装置和电子设备 | |
US20200003574A1 (en) | Method and device for fast detection of repetitive structures in the image of a road scene | |
CN116543143A (zh) | 一种目标检测模型的训练方法、目标检测方法及装置 | |
CN111144415A (zh) | 一种微小行人目标的检测方法 | |
CN111144361A (zh) | 一种基于二值化cgan网络的公路车道检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |