CN112344855A - 障碍物的检测方法、装置、存储介质和路测设备 - Google Patents
障碍物的检测方法、装置、存储介质和路测设备 Download PDFInfo
- Publication number
- CN112344855A CN112344855A CN202011166755.0A CN202011166755A CN112344855A CN 112344855 A CN112344855 A CN 112344855A CN 202011166755 A CN202011166755 A CN 202011166755A CN 112344855 A CN112344855 A CN 112344855A
- Authority
- CN
- China
- Prior art keywords
- image
- target obstacle
- obstacle
- coordinate
- coordinate information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 27
- 238000012360 testing method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000015654 memory Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种障碍物的检测方法、装置、电子设备和存储介质,涉及计算机视觉和智能交通领域。具体实现方案为:获取第一图像采集设备采集的包含目标障碍物的第一图像以及第二图像采集设备采集的包含目标障碍物的第二图像;根据目标障碍物在第一图像中的第一坐标信息以及目标障碍物在第二图像中的第二坐标信息,得到第一图像的尺度因子;根据目标障碍物在第一图像中的第一坐标信息以及尺度因子,得到目标障碍物的三维坐标。根据本申请的技术方案,可以降低对目标障碍物的三维感知成本。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及计算机视觉和智能交通领域。
背景技术
在智能交通领域,图像采集设备是一种重要的感知设备,其提供的图像信息能够为各项交通应用和信息服务提供基础支撑。然而,由于图像只有二维信息,缺失真实世界中一个维度的信息例如深度信息,因此,相关技术中,通常结合图像以及地面方程,处理得到图像中的物体在真实世界中的三维坐标。
发明内容
本申请提供了一种障碍物的检测方法、装置、存储介质和路侧设备。
根据本申请的一方面,提供了一种障碍物的检测方法,包括:
获取第一图像采集设备采集的包含目标障碍物的第一图像以及第二图像采集设备采集的包含目标障碍物的第二图像;
根据目标障碍物在第一图像中的第一坐标信息以及目标障碍物在第二图像中的第二坐标信息,得到第一图像的尺度因子;
根据目标障碍物在第一图像中的第一坐标信息以及尺度因子,得到目标障碍物的三维坐标。
根据本申请的另一方面,提供了一种障碍物的检测装置,包括:
第一获取模块,用于获取第一图像采集设备采集的包含目标障碍物的第一图像以及第二图像采集设备采集的包含目标障碍物的第二图像;
尺度确定模块,用于根据目标障碍物在第一图像中的第一坐标信息以及目标障碍物在第二图像中的第二坐标信息,得到第一图像的尺度因子;
三维检测模块,用于根据目标障碍物在第一图像中的第一坐标信息以及尺度因子,得到目标障碍物的三维坐标。
根据本申请的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请实施例提供的方法。
根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行本申请实施例提供的方法。
根据本申请的另一方面,提供了一种路侧设备,所述设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请实施例提供的方法。
根据本申请的技术方案,基于两个图像采集设备采集的图像得到目标障碍物的三维坐标,可以降低对目标障碍物的三维感知成本。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请一个实施例的障碍物的检测方法的示意图;
图2是根据本申请另一个实施例的障碍物的检测方法的示意图;
图3是根据本申请又一个实施例的障碍物的检测方法的示意图;
图4是根据本申请一个实施例的障碍物的检测装置的示意图;
图5是根据本申请另一个实施例的障碍物的检测装置的示意图;
图6是用来实现本申请实施例的障碍物的检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请提供了一种障碍物的检测方法。该方法可以应用于智能交通领域的车路协同场景中,为车路协同的车辆提供超出视野范围的障碍物的信息。示例性地,障碍物的检测方法的执行主体可以是各种路侧设备,例如具有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备,也可以是与路侧计算设备连接的服务器设备,或是与路侧感知设备直接相连的服务器设备等。
在智能交通车路协同的一种系统架构中,路测设备包括路侧感知设备和路侧计算设备。其中,路侧感知设备(例如用于获取交通灯图像的路侧相机)连接到路侧计算设备(例如路侧计算单元(Road Side Computing Unit,RSCU)),路侧计算设备连接到服务器设备,服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信。在智能交通车路协同的另一种系统架构中,路侧感知设备自身包括计算功能,则路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线;本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。
图1示出了根据本申请一个实施例的障碍物的检测方法的示意图。如图1所示,该方法包括:
步骤S11,获取第一图像采集设备采集的包含目标障碍物的第一图像以及第二图像采集设备采集的包含目标障碍物的第二图像;
步骤S12,根据目标障碍物在第一图像中的第一坐标信息以及目标障碍物在第二图像中的第二坐标信息,得到第一图像的尺度因子;
步骤S13,根据目标障碍物在第一图像中的第一坐标信息以及尺度因子,得到目标障碍物的三维坐标。
本申请实施例中,第一图像采集设备或第二图像采集设备可以包括设置在车辆中、道路两侧或路口的相机、摄像头等。目标障碍物可以包括当前需要感知三维坐标的交通要素,例如某个车辆前方或导航路径上的人、车、物等。
示例性地,可以通过图像识别的方式,在第一图像采集设备采集的图像中识别出目标障碍物,得到目标障碍物在第一图像中的坐标信息,记为第一坐标信息;在第二图像采集设备采集的第二图像中识别出目标障碍物,得到目标障碍物在第二图像中的坐标信息,记为第二坐标信息。
尺度因子是空间中某点的三维坐标与图像中该点的坐标之间的一个转换参数。根据对极几何原理,在相机坐标系下的某个点的坐标pc与图像采集设备采集的图像中该点的坐标p具有以下关系:
sp=Kpc, 公式(1)
其中,s为尺度因子;K为图像采集设备的内参,与图像采集设备自身特性相关,包括焦距、畸变系数等。
本申请实施例中,利用两个图像采集设备,分别采集目标障碍物的图像,基于目标障碍物在采集的图像中的坐标信息,得到图像的尺度因子。例如,根据两个图像采集设备的内参和外参,以及目标障碍物在两个图像采集设备采集的图像中的坐标信息,利用对极几何原理,解算出该尺度因子。基于该尺度因子以及目标障碍物在图像中的坐标信息,能够得到目标障碍物的三维坐标。由于三维坐标是基于两个图像采集设备采集的图像得到的,因此,减少了标注和更新地面方程的成本,并且检测精度不受地面情况影响,具有低成本、高精度、稳定性高等效果。
在一种示例性的实施方式中,参考图2,上述步骤S12,根据目标障碍物在第一图像中的第一坐标信息以及目标障碍物在第二图像中的第二坐标信息,得到第一图像的尺度因子,可以包括:
步骤S121,基于第一图像采集设备的外参和第二图像采集设备的外参,确定第一图像采集设备和第二图像采集设备之间的转换参数;
步骤S122,基于目标障碍物在第一图像中的第一坐标信息、在第二图像中的第二坐标信息、第一图像采集设备的内参、第二图像采集设备的内参以及转换参数,得到第一图像的尺度因子。
图像采集设备的外参用于表征图像采集设备的相机坐标系和真实世界的世界坐标系之间的相对位置关系,因此,外参与图像采集设备的位置、旋转方向等相关,例如外参可以包括旋转矩阵、平移向量等。
举例而言,在上述步骤S121中,可以通过相机标定法预先确定第一图像采集设备的内参矩阵、第一图像采集设备的旋转矩阵R1和平移向量t1、第二图像采集设备的内参矩阵、第二图像采集设备的旋转矩阵R2和平移向量t2。然后,基于R1、t1、R2和t2,得到两个图像采集设备之间的转换参数,包括两个图像采集设备之间的旋转矩阵R和平移向量t。
根据两个图像采集设备之间的旋转矩阵R和平移向量t,可以确定:
pc2=Rpc1+t; 公式(2)
其中,pc1为目标障碍物在第一图像采集设备的相机坐标系下的三维坐标,pc2为目标障碍物在第二图像采集设备的相机坐标系下的三维坐标。
根据上述公式(1),可以确定:
s1p1=K1pc1; 公式(3)
s2p2=K2pc2; 公式(4)
其中,K1为第一图像采集设备的内参矩阵,s1为第一图像的尺度因子,p1为目标障碍物在第一图像中的第一坐标信息;K2为第二图像采集设备的内参矩阵,s2为第二图像的尺度因子,p2为目标障碍物在第二图像中的第二坐标信息。
联立上述公式(2)至(4),可以得到:
s2p2=K2(RK1 -1s1p1+t); 公式(5)
对公式(5)的等号两边同时叉乘p2,可以得到:
p2 ^K2(RK1 -1s1p1+t)=0; 公式(6)
其中,^表示反对称矩阵算子。
示例性地,在上述步骤S122中,可以根据公式(6),基于目标障碍物的第一坐标信息p1、第二坐标信息p2、第一图像采集设备的内参矩阵K1、第二图像采集设备的内参矩阵K2、第一图像采集设备和第二图像采集设备之间的转换参数R、t,计算得到第一图像的尺度因子s1。
根据上述实施方式,可以基于对极几何原理得到准确的尺度因子。基于准确的尺度因子,可以提高目标障碍物的三维坐标的准确性。
在一种示例性的实施方式中,参考图3,上述步骤S13,根据目标障碍物在第一图像中的第一坐标信息以及尺度因子,得到目标障碍物的三维坐标,包括:
步骤S131,基于障碍物在第一图像中的第一坐标信息、第一图像采集设备的内参以及尺度因子,得到目标障碍物在相机坐标系下的三维坐标;
步骤S132,基于目标障碍物在相机坐标系下的三维坐标以及第一图像采集设备的外参,得到目标障碍物在世界坐标系下的三维坐标。
示例性地,第一图像采集设备的外参包括旋转矩阵和平移向量。在上述步骤S131中,可以根据上述公式(3),基于障碍物在第一图像中的第一坐标信息p1、第一图像的尺度因子s1和第一图像采集设备的内参矩阵K1,计算目标障碍物在相机坐标系下的三维坐标pc1。
在上述步骤S132中,可以根据以下公式,计算目标障碍物在世界坐标系下的三维坐标Pw:
Pw=R1pc1+t1; 公式(7)
其中,R1为第一图像采集设备的旋转矩阵,t1为第一图像采集设备的平移向量。
根据上述实施方式,可以得到目标障碍物在不同坐标系下的三维坐标,因此,可以在针对不同的应用场景选择适用的三维坐标,扩充了目标障碍物的三维坐标的应用场景。
在一种示例性的实施方式中,障碍物的检测方法还可以包括:
获取第三图像采集设备采集的包含目标障碍物的第三图像;
根据目标障碍物在第三图像中的第三坐标信息以及地面方程,得到目标障碍物的三维坐标的调整信息;
基于调整信息对目标障碍物的三维坐标进行调整,得到调整后的三维坐标。
其中,第三图像采集设备可以包括第一图像采集设备和/或第二图像采集设备,也可以包括道路中的其他图像采集设备。
示例性地,地面方程可以表示为:
ax+by+cz+d=0; 公式(8)
其中,a、b、c、d为地面方程的参数。x、y、z表征世界坐标系下任一点的坐标。可选地,可以基于高精地图获得地面方程的参数。
示例性地,根据地面方程和第三图像采集设备的内参,可以获得第三图像中各像素点的深度信息。基于该深度信息和目标障碍物在第三图像中的第三坐标信息,也可以计算得到目标障碍物的三维坐标。本申请实施例中,可以将根据地面方程计算得到的目标障碍物的三维坐标,作为调整信息。在基于第一图像采集设备采集的第一图像以及第二图像采集设备采集的第二图像,计算得到目标障碍物的三维坐标后,基于上述调整信息对目标障碍物的三维坐标进行调整。
实际应用时,可以在道路中设置多个图像采集设备,对于其中一个或多个图像采集设备采集到的包含目标障碍物的图像,分别检测目标障碍物在图像中的坐标信息。再基于每个图像对应的坐标信息,分别结合地面方程,得到每个图像对应的目标障碍物的三维坐标。并且,还可以对多个图像采集设备中的第一图像采集设备和第二图像采集设备采集的图像,分别检测目标障碍物在图像中的坐标,然后计算尺度因子,基于尺度因子得到目标障碍物的三维坐标。对于利用上述各种方式计算得到的各种三维坐标,可以进行融合,得到准确性更高的三维信息。
可见,根据上述实施方式,可以实现多输入源的三维感知信息的融合,提高对目标障碍物的三维感知精度。
在一种示例性的实施方式中,第一图像采集设备和第二图像采集设备设置于道路上。障碍物的检测方法还包括:
向车联网(Vehicle to Everything,V2X)中的车辆发送目标障碍物的三维坐标。
示例性地,第一图像采集设备和第二图像采集设备可以设置在道路上的基建设备例如路灯、交通信号灯、相机立杆上。上述车辆可以包括自动驾驶车辆。
根据上述实施方式,可以为车辆提供超出车辆视野范围的障碍物的三维坐标,有助于车辆规划行驶路径和规避障碍物风险,提高行车效率和道路安全。
作为上述各方法的实现,本申请还提供了一种障碍物的检测装置。图4示出了根据本申请一个实施例的障碍物的检测装置的示意图。如图4所示,该装置包括:
第一获取模块410,用于获取第一图像采集设备采集的包含目标障碍物的第一图像以及第二图像采集设备采集的包含目标障碍物的第二图像;
尺度确定模块420,用于根据目标障碍物在第一图像中的第一坐标信息以及目标障碍物在第二图像中的第二坐标信息,得到第一图像的尺度因子;
三维检测模块430,用于根据目标障碍物在第一图像中的第一坐标信息以及尺度因子,得到目标障碍物的三维坐标。
示例性地,图5示出了根据本申请另一个实施例的障碍物的检测装置的示意图,如图5所示,尺度确定模块420可以包括:
第一确定单元421,用于基于第一图像采集设备的外参和第二图像采集设备的外参,确定第一图像采集设备和第二图像采集设备之间的转换参数;
第二确定单元422,用于基于目标障碍物在第一图像中的第一坐标信息、在第二图像中的第二坐标信息、第一图像采集设备的内参、第二图像采集设备的内参以及转换参数,得到第一图像的尺度因子。
示例性地,如图5所示,三维检测模块430可以包括:
第一检测模块431,用于基于障碍物在第一图像中的第一坐标信息、第一图像采集设备的内参以及尺度因子,得到目标障碍物在相机坐标系下的三维坐标;
第二检测模块432,用于基于目标障碍物在相机坐标系下的三维坐标以及第一图像采集设备的外参,得到目标障碍物在世界坐标系下的三维坐标。
示例性地,如图5所示,该装置还可以包括:
第二获取模块510,用于获取第三图像采集设备采集的包含目标障碍物的第三图像;
信息确定模块520,用于调整根据目标障碍物在第三图像中的第三坐标信息以及地面方程,得到目标障碍物的三维坐标的调整信息;
调整模块530,用于基于调整信息对目标障碍物的三维坐标进行调整,得到调整后的三维坐标。
示例性地,第一图像采集设备和第二图像采集设备设置于道路上,如图5所示,该装置还可以包括:
发送模块540,用于向车联网中的车辆发送目标障碍物的三维坐标。
本申请实施例提供的装置,可以实现本申请实施例提供的障碍物的检测方法,具备相应的有益效果。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的障碍物的检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的障碍物的检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的障碍物的检测方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的障碍物的检测方法对应的程序指令/模块(例如,附图4所示的第一获取模块410、尺度确定模块420和三维检测模块430)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的障碍物的检测方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据障碍物的检测方法的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至障碍物的检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
障碍物的检测方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与障碍物的检测方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
根据本申请的实施例,本申请还提供了一种路侧设备。该设备可以包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述方法实施例中的障碍物的检测方法。
其中,路侧设备的处理器和存储装置的功能以及实现方式,可以参考上述电子设备实施例中的关于处理器和存储器的描述。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS)服务中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
根据本申请实施例的技术方案,基于两个图像采集设备采集的图像得到目标障碍物的三维坐标,因此,减少了标注和更新地面方程的成本,并且检测精度不受地面情况影响,具有低成本、高精度、稳定性高等效果。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (13)
1.一种障碍物的检测方法,包括:
获取第一图像采集设备采集的包含目标障碍物的第一图像以及第二图像采集设备采集的包含所述目标障碍物的第二图像;
根据所述目标障碍物在所述第一图像中的第一坐标信息以及所述目标障碍物在所述第二图像中的第二坐标信息,得到所述第一图像的尺度因子;
根据所述目标障碍物在所述第一图像中的第一坐标信息以及所述尺度因子,得到所述目标障碍物的三维坐标。
2.根据权利要求1所述的方法,其中,所述根据所述目标障碍物在所述第一图像中的第一坐标信息以及所述目标障碍物在所述第二图像中的第二坐标信息,得到所述第一图像的尺度因子,包括:
基于所述第一图像采集设备的外参和所述第二图像采集设备的外参,确定所述第一图像采集设备和所述第二图像采集设备之间的转换参数;
基于所述目标障碍物在所述第一图像中的第一坐标信息、在所述第二图像中的第二坐标信息、所述第一图像采集设备的内参、所述第二图像采集设备的内参以及所述转换参数,得到所述第一图像的尺度因子。
3.根据权利要求1所述的方法,其中,所述根据所述目标障碍物在所述第一图像中的第一坐标信息以及所述尺度因子,得到所述目标障碍物的三维坐标,包括:
基于所述障碍物在所述第一图像中的第一坐标信息、所述第一图像采集设备的内参以及所述尺度因子,得到所述目标障碍物在相机坐标系下的三维坐标;
基于所述目标障碍物在相机坐标系下的三维坐标以及所述第一图像采集设备的外参,得到所述目标障碍物在世界坐标系下的三维坐标。
4.根据权利要求1至3中任一项所述的方法,还包括:
获取第三图像采集设备采集的包含所述目标障碍物的第三图像;
根据所述目标障碍物在所述第三图像中的第三坐标信息以及地面方程,得到所述目标障碍物的三维坐标的调整信息;
基于所述调整信息对所述目标障碍物的三维坐标进行调整,得到调整后的三维坐标。
5.根据权利要求1至3中任一项所述的方法,其中,所述第一图像采集设备和所述第二图像采集设备设置于道路上;
所述方法还包括:
向车联网中的车辆发送所述目标障碍物的三维坐标。
6.一种障碍物的检测装置,包括:
第一获取模块,用于获取第一图像采集设备采集的包含目标障碍物的第一图像以及第二图像采集设备采集的包含所述目标障碍物的第二图像;
尺度确定模块,用于根据所述目标障碍物在所述第一图像中的第一坐标信息以及所述目标障碍物在所述第二图像中的第二坐标信息,得到所述第一图像的尺度因子;
三维检测模块,用于根据所述目标障碍物在所述第一图像中的第一坐标信息以及所述尺度因子,得到所述目标障碍物的三维坐标。
7.根据权利要求6所述的装置,其中,所述尺度确定模块包括:
第一确定单元,用于基于所述第一图像采集设备的外参和所述第二图像采集设备的外参,确定所述第一图像采集设备和所述第二图像采集设备之间的转换参数;
第二确定单元,用于基于所述目标障碍物在所述第一图像中的第一坐标信息、在所述第二图像中的第二坐标信息、所述第一图像采集设备的内参、所述第二图像采集设备的内参以及所述转换参数,得到所述第一图像的尺度因子。
8.根据权利要求6所述的装置,其中,所述三维检测模块包括:
第一检测模块,用于基于所述障碍物在所述第一图像中的第一坐标信息、所述第一图像采集设备的内参以及所述尺度因子,得到所述目标障碍物在相机坐标系下的三维坐标;
第二检测模块,用于基于所述目标障碍物在相机坐标系下的三维坐标以及所述第一图像采集设备的外参,得到所述目标障碍物在世界坐标系下的三维坐标。
9.根据权利要求6至8中任一项所述的装置,还包括:
第二获取模块,用于获取第三图像采集设备采集的包含所述目标障碍物的第三图像;
信息确定模块,用于调整根据所述目标障碍物在所述第三图像中的第三坐标信息以及地面方程,得到所述目标障碍物的三维坐标的调整信息;
调整模块,用于基于所述调整信息对所述目标障碍物的三维坐标进行调整,得到调整后的三维坐标。
10.根据权利要求6至8中任一项所述的装置,其中,所述第一图像采集设备和所述第二图像采集设备设置于道路上;
所述装置还包括:
发送模块,用于向车联网中的车辆发送所述目标障碍物的三维坐标。
11.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
13.一种路侧设备,所述设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011166755.0A CN112344855B (zh) | 2020-10-27 | 2020-10-27 | 障碍物的检测方法、装置、存储介质和路测设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011166755.0A CN112344855B (zh) | 2020-10-27 | 2020-10-27 | 障碍物的检测方法、装置、存储介质和路测设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112344855A true CN112344855A (zh) | 2021-02-09 |
CN112344855B CN112344855B (zh) | 2022-08-26 |
Family
ID=74358819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011166755.0A Active CN112344855B (zh) | 2020-10-27 | 2020-10-27 | 障碍物的检测方法、装置、存储介质和路测设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112344855B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205087A (zh) * | 2021-07-06 | 2021-08-03 | 中汽创智科技有限公司 | 一种感知信息处理方法、装置、设备及计算机可读存储介质 |
CN113312979A (zh) * | 2021-04-30 | 2021-08-27 | 阿波罗智联(北京)科技有限公司 | 图像处理方法、装置、电子设备、路侧设备及云控平台 |
CN113554882A (zh) * | 2021-07-20 | 2021-10-26 | 阿波罗智联(北京)科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
CN115082898A (zh) * | 2022-07-04 | 2022-09-20 | 小米汽车科技有限公司 | 障碍物检测方法、装置、车辆及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010090460A (ko) * | 2000-03-17 | 2001-10-18 | 추후보정 | 기판 상에 반도체 칩을 장착하기 위한 장치 |
CN101441076A (zh) * | 2008-12-29 | 2009-05-27 | 东软集团股份有限公司 | 一种检测障碍物的方法和装置 |
CN101582161A (zh) * | 2009-06-15 | 2009-11-18 | 北京航空航天大学 | 一种基于透视成像模型标定的c型臂图像校正方法 |
CN101980243A (zh) * | 2010-10-15 | 2011-02-23 | 中国人民解放军国防科学技术大学 | 基于双目视觉的手指静脉三维识别方法及装置 |
CN102042807A (zh) * | 2010-10-29 | 2011-05-04 | 中国科学技术大学 | 一种目标空间坐标的柔性立体视觉测量装置 |
CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
CN103072537A (zh) * | 2013-02-05 | 2013-05-01 | 湖南大学 | 基于红外图像处理的汽车防撞安全保护装置及保护方法 |
CN103231708A (zh) * | 2013-04-12 | 2013-08-07 | 安徽工业大学 | 一种基于双目视觉的智能车辆避障方法 |
CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
-
2020
- 2020-10-27 CN CN202011166755.0A patent/CN112344855B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010090460A (ko) * | 2000-03-17 | 2001-10-18 | 추후보정 | 기판 상에 반도체 칩을 장착하기 위한 장치 |
CN101441076A (zh) * | 2008-12-29 | 2009-05-27 | 东软集团股份有限公司 | 一种检测障碍物的方法和装置 |
CN101582161A (zh) * | 2009-06-15 | 2009-11-18 | 北京航空航天大学 | 一种基于透视成像模型标定的c型臂图像校正方法 |
CN101980243A (zh) * | 2010-10-15 | 2011-02-23 | 中国人民解放军国防科学技术大学 | 基于双目视觉的手指静脉三维识别方法及装置 |
CN102042807A (zh) * | 2010-10-29 | 2011-05-04 | 中国科学技术大学 | 一种目标空间坐标的柔性立体视觉测量装置 |
CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
CN103072537A (zh) * | 2013-02-05 | 2013-05-01 | 湖南大学 | 基于红外图像处理的汽车防撞安全保护装置及保护方法 |
CN103231708A (zh) * | 2013-04-12 | 2013-08-07 | 安徽工业大学 | 一种基于双目视觉的智能车辆避障方法 |
CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312979A (zh) * | 2021-04-30 | 2021-08-27 | 阿波罗智联(北京)科技有限公司 | 图像处理方法、装置、电子设备、路侧设备及云控平台 |
CN113312979B (zh) * | 2021-04-30 | 2024-04-16 | 阿波罗智联(北京)科技有限公司 | 图像处理方法、装置、电子设备、路侧设备及云控平台 |
CN113205087A (zh) * | 2021-07-06 | 2021-08-03 | 中汽创智科技有限公司 | 一种感知信息处理方法、装置、设备及计算机可读存储介质 |
CN113554882A (zh) * | 2021-07-20 | 2021-10-26 | 阿波罗智联(北京)科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
CN115082898A (zh) * | 2022-07-04 | 2022-09-20 | 小米汽车科技有限公司 | 障碍物检测方法、装置、车辆及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112344855B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112344855B (zh) | 障碍物的检测方法、装置、存储介质和路测设备 | |
JP7240367B2 (ja) | 車両の位置特定に用いられる方法、装置、電子デバイス及び記憶媒体 | |
CN110793544B (zh) | 路侧感知传感器参数标定方法、装置、设备及存储介质 | |
CN112101209B (zh) | 用于路侧计算设备的确定世界坐标点云的方法和装置 | |
CN111324115A (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
CN111462029B (zh) | 视觉点云与高精地图融合方法、装置和电子设备 | |
EP3968266B1 (en) | Obstacle three-dimensional position acquisition method and apparatus for roadside computing device | |
CN112652016A (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
CN112288825B (zh) | 相机标定方法、装置、电子设备、存储介质和路侧设备 | |
CN112184914B (zh) | 目标对象三维位置的确定方法、装置和路侧设备 | |
CN111079079B (zh) | 数据修正方法、装置、电子设备及计算机可读存储介质 | |
CN110929669A (zh) | 数据标注方法及装置 | |
CN111721281B (zh) | 位置识别方法、装置和电子设备 | |
CN112509057A (zh) | 相机外参标定方法、装置、电子设备以及计算机可读介质 | |
KR102694715B1 (ko) | 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼 | |
CN111666876B (zh) | 用于检测障碍物的方法、装置、电子设备和路侧设备 | |
CN112147632A (zh) | 车载激光雷达感知算法的测试方法、装置、设备和介质 | |
CN112241718A (zh) | 车辆信息的检测方法、检测模型的训练方法和装置 | |
CN111784837A (zh) | 高精地图生成方法和装置 | |
CN110794844A (zh) | 自动驾驶方法、装置、电子设备及可读存储介质 | |
CN111638528A (zh) | 定位方法、装置、电子设备和存储介质 | |
CN112967344A (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
CN111998959B (zh) | 基于实时测温系统的温度校准方法、装置及存储介质 | |
CN112184828A (zh) | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 | |
CN111949816A (zh) | 定位处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211015 Address after: 100176 Room 101, 1st floor, building 1, yard 7, Ruihe West 2nd Road, economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |