CN112215048B - 一种3d目标检测方法、装置和计算机可读存储介质 - Google Patents
一种3d目标检测方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112215048B CN112215048B CN201910631513.5A CN201910631513A CN112215048B CN 112215048 B CN112215048 B CN 112215048B CN 201910631513 A CN201910631513 A CN 201910631513A CN 112215048 B CN112215048 B CN 112215048B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- road side
- mapping
- side camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 230000000007 visual effect Effects 0.000 claims abstract description 88
- 238000013507 mapping Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种3D目标检测方法、装置和计算机可读存储介质，所述方法包括：将路侧摄像头获取的图像映射到目标视角下的图像中；确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；基于所述重合图像进行3D目标检测；将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
Description
技术领域
本发明涉及移动通信技术领域，尤其涉及一种3D目标检测方法、装置和计算机可读存储介质。
背景技术
随着5G通信、人工智能等领域快速发展，数据的快速传输与分析为我们的生活带来了极大的便利。无人驾驶汽车则是基于这些领域的发展过程中最具话题的应用场景，由于单靠无人车独立地去感知环境总会碰到一些难以解决的盲区问题，车路协同的概念应运而生。路侧传感器的感知能力是车路协同的重要的一部分，利用路侧的计算单元完成图像的检测与识别，与车端的感知能力相互配合实现车路协同的目的。对于路侧单目相机的车辆行人等目标的3D检测任务，一是缺少相应的俯拍视角的数据集，且相对于普通的图像数据集的标注成本来说会更高；另一方面，俯视视角的3D检测任务相对于普通图像实现难度会更大，相关的算法还是比较欠缺的。
目前，虽然基于深度学习的3D目标检测的技术路线有很多，但是这些技术路线主要解决的应用场景是在车端，也就是这些提供感知所需数据源的传感器都是部署在车端，这些采集数据的传感器的高度都在两米以下的高度。这些算法在检测性能上固然是非常优越的，但是在解决车路协同场景中路侧的3D车辆检测时，则是不尽如人意的。因为主要路侧的传感器的部署高度大概在4米以上，在提取特征时与普通的图像有较大不同，而且这种角度带来的变化对于3D车辆检测来说影响更大。
发明内容
有鉴于此，本发明实施例期望提供一种3D目标检测方法、装置和计算机可读存储介质。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种3D目标检测方法，该方法包括：
将路侧摄像头获取的图像映射到目标视角下的图像中；
确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；
基于所述重合图像进行3D目标检测；
将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
其中，所述将路侧摄像头获取的图像映射到目标视角下的图像中，包括：
将所述路侧摄像头获取的图像的像素点映射到当前摄像头的三维空间下；
将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中。
其中，所述将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中，通过如下表达式实现：
(x1,y1)＝T1 -1T(X,Y,Z,1)-1；
其中，所述(x1,y1)为目标视角下的图像像素坐标；所述T为路侧摄像头的转换矩阵；T1为该路侧摄像头当前位置与目标视角之间的转换矩阵；所述X,Y,Z分别为当前路侧摄像头的三维空间中一个点的三维坐标。
其中，所述目标视角为：无人驾驶3D检测数据集采集时摄像头部署的位置。
其中，所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像分布在目标视角下图像中的上半区。
可选的，该方法还包括：
设置多个目标视角；
在不同的目标视角下分别进行所述3D目标检测；
基于所述3D目标检测效果建立目标视角转换矩阵库。
其中，所述将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中，包括：
基于所述将路侧摄像头获取的图像映射到目标视角下的图像中的映射过程的逆变换，将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
本发明实施例还提供了一种3D目标检测装置，该装置包括：
第一映射模块，用于将路侧摄像头获取的图像映射到目标视角下的图像中；
确定模块，用于确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；
检测模块，用于基于所述重合图像进行3D目标检测；
第二映射模块，用于将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
本发明实施例还提供了一种3D目标检测装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例提供的3D目标检测方法、装置和计算机可读存储介质，将路侧摄像头获取的图像映射到目标视角下的图像中；确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；基于所述重合图像进行3D目标检测；将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。本发明实施例通过视角变换实现了利用普通视角下的优秀的3D检测方法实现路侧摄像头采集图像的3D检测任务，可解决基于路侧摄像头采集到的图像上做3D目标检测数据集缺乏且相关场景的实现算法较少的问题。
本发明实施例基于所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像进行3D目标检测，充分考虑了不同视角视场的差异性，并利用这种差异性提高3D检测模型的检测速度。
此外，本发明实施例还可以通过增加目标视角的个数来保证信息的完整性，并构建目标视角的变换矩阵库用于供视角变换使用。
附图说明
图1为本发明实施例所述3D目标检测方法流程示意图；
图2为本发明实施例所述3D目标检测装置结构示意图一；
图3为本发明实施例所述3D目标检测装置结构示意图二；
图4为本发明实施例所述路侧摄像头获取图像示意图；
图5为本发明实施例所述路侧摄像头视角与目标视角之间的转换示意图；
图6为本发明实施例所述目标视角下实现的3D车辆检测结果示意图；
图7为本发明实施例所述路侧摄像头图像下的3D车辆检测结果示意图。
具体实施方式
下面结合附图和实施例对本发明进行描述。
在3D目标检测领域，通常使用一个立方体包围框将目标包围起来，同时能够给出该目标的类型以及该目标在当前相机坐标系下的三维坐标信息。对于路侧摄像头采集到的图像来说，同样也需要获取到多目标相应的三维信息，而这个任务相对于无人驾驶车端的三维空间感知更具挑战性。
当前的3D目标检测算法主要是依赖于深度学习的方法，在模型结构的高层加入三维坐标的回归来最终确定目标的物理坐标，进而推导出能够将车体包围的包围框的8个顶点的物理坐标，并根据成像原理得到对应的三维包围框的8个顶点的像素坐标。
本发明实施例提供了一种3D目标检测方法，如图1所示，该方法包括：
步骤101：将路侧摄像头获取的图像映射到目标视角下的图像中；
步骤102：确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；
步骤103：基于所述重合图像进行3D目标检测；
步骤104：将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
本发明实施例通过视角变换实现了利用普通视角下的优秀的3D检测方法实现路侧摄像头采集图像的3D检测任务，可解决基于路侧摄像头采集到的图像上做3D目标检测数据集缺乏且相关场景的实现算法较少的问题。
本发明实施例基于所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像进行3D目标检测，充分考虑了不同视角视场的差异性，并利用这种差异性提高3D检测模型的检测速度。
本发明实施例中，所述将路侧摄像头获取的图像映射到目标视角下的图像中，包括：
将所述路侧摄像头获取的图像的像素点映射到当前摄像头的三维空间下；
将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中。
本发明实施例中，所述将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中，通过如下表达式实现：
(x1,y1)＝T1 -1T(X,Y,Z,1)-1；
其中，所述(x1,y1)为目标视角下的图像像素坐标；所述T为路侧摄像头的转换矩阵；T1为该路侧摄像头当前位置与目标视角之间的转换矩阵；所述X,Y,Z分别为当前路侧摄像头的三维空间中一个点的三维坐标。
本发明实施例中，所述目标视角可为：无人驾驶3D检测数据集采集时摄像头部署的位置。
本发明实施例中，所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像可分布在目标视角下图像中的上半区。
一个实施例中，该方法还包括：
设置多个目标视角；
在不同的目标视角下分别进行所述3D目标检测；
基于所述3D目标检测效果建立目标视角转换矩阵库，以供视角变换使用。
本发明实施例中，所述将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中，包括：
基于所述将路侧摄像头获取的图像映射到目标视角下的图像中的映射过程的逆变换，将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
为了实现上述方法实施例，本发明实施例还提供了一种3D目标检测装置，如图2所示，该装置包括：
第一映射模块201，用于将路侧摄像头获取的图像映射到目标视角下的图像中；
确定模块202，用于确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；
检测模块203，用于基于所述重合图像进行3D目标检测；
第二映射模块204，用于将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
本发明实施例中，所述第一映射模块201将路侧摄像头获取的图像映射到目标视角下的图像中，包括：
将所述路侧摄像头获取的图像的像素点映射到当前摄像头的三维空间下；
将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中。
本发明实施例中，所述第一映射模块201将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中，通过如下表达式实现：
(x1,y1)＝T1 -1T(X,Y,Z,1)-1；
其中，所述(x1,y1)为目标视角下的图像像素坐标；所述T为路侧摄像头的转换矩阵；T1为该路侧摄像头当前位置与目标视角之间的转换矩阵；所述X,Y,Z分别为当前路侧摄像头的三维空间中一个点的三维坐标。
本发明实施例中，所述目标视角可为：无人驾驶3D检测数据集采集时摄像头部署的位置。
本发明实施例中，所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像可分布在目标视角下图像中的上半区。
一个实施例中，如图3所示，该装置还包括：设置模块205，用于
设置多个目标视角；
在不同的目标视角下分别进行所述3D目标检测；
基于所述3D目标检测效果建立目标视角转换矩阵库，以供视角变换使用。
本发明实施例中，所述第二映射模块204将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中，包括：
基于所述将路侧摄像头获取的图像映射到目标视角下的图像中的映射过程的逆变换，将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
本发明实施例还提供了一种3D目标检测装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行
将路侧摄像头获取的图像映射到目标视角下的图像中；
确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；
基于所述重合图像进行3D目标检测；
将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
所述将路侧摄像头获取的图像映射到目标视角下的图像中时，所述处理器还用于运行所述计算机程序时，执行：
将所述路侧摄像头获取的图像的像素点映射到当前摄像头的三维空间下；
将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中。
其中，所述将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中，通过如下表达式实现：
(x1,y1)＝T1 -1T(X,Y,Z,1)-1；
其中，所述(x1,y1)为目标视角下的图像像素坐标；所述T为路侧摄像头的转换矩阵；T1为该路侧摄像头当前位置与目标视角之间的转换矩阵；所述X,Y,Z分别为当前路侧摄像头的三维空间中一个点的三维坐标。
其中，所述目标视角为：无人驾驶3D检测数据集采集时摄像头部署的位置。
其中，所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像分布在目标视角下图像中的上半区。
所述处理器还用于运行所述计算机程序时，执行：
设置多个目标视角；
在不同的目标视角下分别进行所述3D目标检测；
基于所述3D目标检测效果建立目标视角转换矩阵库。
所述将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中时，所述处理器还用于运行所述计算机程序时，执行：
基于所述将路侧摄像头获取的图像映射到目标视角下的图像中的映射过程的逆变换，将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
需要说明的是：上述实施例提供的装置在进行3D目标检测时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与相应方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行：
将路侧摄像头获取的图像映射到目标视角下的图像中；
确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；
基于所述重合图像进行3D目标检测；
将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
所述将路侧摄像头获取的图像映射到目标视角下的图像中时，所述计算机程序被处理器运行时，还执行：
将所述路侧摄像头获取的图像的像素点映射到当前摄像头的三维空间下；
将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中。
其中，所述将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中，通过如下表达式实现：
(x1,y1)＝T1 -1T(X,Y,Z,1)-1；
其中，所述(x1,y1)为目标视角下的图像像素坐标；所述T为路侧摄像头的转换矩阵；T1为该路侧摄像头当前位置与目标视角之间的转换矩阵；所述X,Y,Z分别为当前路侧摄像头的三维空间中一个点的三维坐标。
其中，所述目标视角为：无人驾驶3D检测数据集采集时摄像头部署的位置。
其中，所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像分布在目标视角下图像中的上半区。
所述计算机程序被处理器运行时，还执行：
设置多个目标视角；
在不同的目标视角下分别进行所述3D目标检测；
基于所述3D目标检测效果建立目标视角转换矩阵库。
所述将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中时，所述计算机程序被处理器运行时，还执行：
基于所述将路侧摄像头获取的图像映射到目标视角下的图像中的映射过程的逆变换，将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
下面结合场景实施例对本发明进行描述。
本发明实施例的数据源对象是路侧摄像头采集到的图像，路侧摄像头的部署高度在4米以上。本发明实施例的方案主要包括：
第一步，将路侧摄像头获取的图像像素点映射回当前摄像头的三维空间下；
第二步，将映射得到的所有三维点通过视角转换矩阵投射到另外一个视角下的图像中；
第三步，截取两种视角的重合视场构成的图像信息；
第四步，选择基于单目相机的3D目标检测算法在第三步得到的图像上进行3D目标检测；
第五步，将检测结果映射回路侧摄像头视角下的图像中，包含所有目标的3D信息等。
下面对该方案进行具体解释说明：
一、路侧图像视角变换(对应上述的第一、二步)
此过程是本方案的核心部分，其主要的作用是将路侧摄像头所采集的区域图像通过视角变换之后与另外一个视角(目标视角)建立数据关联。
如图4所示为正常的路侧图像，根据相机的成像原理，三维空间中的点经过透视映射到二维图像上。
(x,y)＝(R,t)(X,Y,Z,1)-1，其中，(x,y)为图像中的某个像素点，R为旋转矩阵，负责描述三维空间中刚体的角度的变化，t为平移向量，负责描述三维空间中刚体位置的变化，由R，t两部分构成转换矩阵T，X,Y,Z分别对应空间中的一个点的三维坐标。
基于上面的公式，本发明实施例可以通过逆透视变换得到图像中每一个像素点对应的三维坐标，也就是上面公式的逆运算。然后，将空间中的点通过坐标转换映射到另外一个视角下的图像中，具体的做法是：假设路侧摄像头的转换矩阵为T，该摄像头当前位置与目标视角之间的转换矩阵T1，则如果将路侧摄像头转换到目标视角下需要乘上T1 -1，即(x1,y1)＝T1 -1T(X,Y,Z,1)-1，其中(x1,y1)为目标视角下的图像像素坐标。
如图5所示，经过上面的过程，可以将路侧摄像头捕获的信息转换到目标视角下的图像中，而目标视角则是对应无人驾驶3D检测数据集采集时摄像头部署的位置。通常采集摄像头位于采集车的车顶，高度通常不会超过两米。这样目标视角与路侧摄像头之间的旋转矩阵需要根据路侧摄像头的安装角度来调整。如果路侧摄像头是水平安装且纵向也没有偏角，此时，两个视角的转换矩阵只涉及平移向量的变化；如果路侧摄像头在安装时存在横向、纵向的角度，则变换矩阵需要坐标系的旋转，也就是旋转矩阵也将在两个视角的转换中起作用。
二、获取重合视场(对应上述的第三、四步)
通过视角转换之后，相当于借助另外一个同样类型摄像头在另外一个视角采集图像，但是这样会引入一个新的问题——两个来自不同视角的摄像头采集到的图像内容必然是不同的，通过坐标转换之后，目标视角下的图像中的内容没有路侧摄像头视角看的距离远，而路侧摄像头视角的盲区更大。这就需要提取两种视角下的重合视场部分，也就是经过视角变换之后会有一部分数据丢失，而我们关注的是关键信息会不会丢失，经过两种视角的视场交叉关系，目标视角的水平视场角能够覆盖整条道路，而且近视点要更近，所以能够看到更多近距离的目标(车辆、行人等)，而路侧摄像头可能会看到更远的目标。
所以，经过视角变换之后有一部分的像素无法投影到目标视角下的图像中，经过转换之后有效区域可能是分布在目标视角下的图像中的上半区。这样，可以根据这种特性将检测网络的输入图像做目标候选区域限制，因此可大大减少目标检测模型在寻找目标时的时间消耗，从而提高检测速度。
但是，当路侧摄像头的覆盖范围可能比较大时，例如，一个路侧摄像头通过角度的调整，可以覆盖双向的多个车道，这时，只设置一个目标视角可能无法解决大部分的车辆等目标的3D检测问题。鉴于此类情况，可以通过增加目标视角的个数。通过多个目标视角可以解决单个目标视角视场盲区的问题，从而扩大检测的横向空间。
另外，还可以通过设置多个目标视角，并且在不同的目标视角下分别测试检测效果，最终根据多个视角下的结果分析找出最佳的视角系统工作组合，将这些最佳的目标视角的转换矩阵存储起来形成转换矩阵库供视角变换使用。
三、视角变换逆过程(对应上述的第五步)
如图6所示为目标视角下实现的3D车辆检测结果，图7所示为一个路侧摄像头图像下的车辆检测效果，本发明实施例就是将目标视角下的结果再经过上文介绍的视角变换的逆过程将车辆等目标的三维信息反馈回原始路侧图像中，从而实现路侧图像的3D目标检测任务。
其实，这个逆过程跟视角变化过程是几乎相同的，唯一不同之处在于视角变换过程中是将路侧摄像头的像素转换到目标视角下，而逆变换过程则是反之。同样，在逆转换过程中，矩阵变换时乘的变换矩阵应该为视角变换过程中的变换矩阵的逆矩阵。通过这个过程，就可以将检测到的3D bounding box的8个定点的位置以及对应的实际的物理三维坐标转换到路侧摄像头坐标系下，从而得到路侧摄像头坐标系下的物理坐标，完成路侧图像中3D目标检测的任务。
可见，本发明实施例通过视角变换实现了利用普通视角下的优秀的3D检测方法实现路侧摄像头采集图像的3D检测任务，可解决基于路侧摄像头采集到的图像上做3D目标检测数据集缺乏且相关场景的实现算法较少的问题。
本发明实施例基于所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像进行3D目标检测，充分考虑了不同视角视场的差异性，并利用这种差异性提高3D检测模型的检测速度。
此外，本发明实施例还可以通过增加目标视角的个数来保证信息的完整性，并构建目标视角的变换矩阵库用于供视角变换使用。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (8)
1.一种3D目标检测方法，其特征在于，该方法包括：
将路侧摄像头获取的图像映射到目标视角下的图像中；
确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；
基于所述重合图像进行3D目标检测；
将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中；其中，
所述将路侧摄像头获取的图像映射到目标视角下的图像中，包括：
将所述路侧摄像头获取的图像的像素点映射到当前摄像头的三维空间下；
将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中；
所述将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中，通过如下表达式实现：
(x1,y1)＝T1 -1T(X,Y,Z,1)-1；
其中，所述(x1,y1)为目标视角下的图像像素坐标；所述T为路侧摄像头的转换矩阵；T1为该路侧摄像头当前位置与目标视角之间的转换矩阵；所述X,Y,Z分别为当前路侧摄像头的三维空间中一个点的三维坐标。
2.根据权利要求1所述的方法，其特征在于，所述目标视角为：无人驾驶3D检测数据集采集时摄像头部署的位置。
3.根据权利要求1所述的方法，其特征在于，所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像分布在目标视角下图像中的上半区。
4.根据权利要求1所述的方法，其特征在于，该方法还包括：
设置多个目标视角；
在不同的目标视角下分别进行所述3D目标检测；
基于所述3D目标检测效果建立目标视角转换矩阵库。
5.根据权利要求1所述的方法，其特征在于，所述将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中，包括：
基于所述将路侧摄像头获取的图像映射到目标视角下的图像中的映射过程的逆变换，将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中。
6.一种3D目标检测装置，其特征在于，该装置包括：
第一映射模块，用于将路侧摄像头获取的图像映射到目标视角下的图像中；
确定模块，用于确定所述路侧摄像头获取的图像与所述目标视角下的图像的重合图像；
检测模块，用于基于所述重合图像进行3D目标检测；
第二映射模块，用于将所述3D目标检测的结果映射回所述路侧摄像头的视角下的图像中；
所述第一映射模块，具体用于将所述路侧摄像头获取的图像的像素点映射到当前摄像头的三维空间下；将映射得到的所有三维像素点通过视角转换矩阵投射到所述目标视角下的图像中；通过如下表达式实现：
(x1,y1)＝T1 -1T(X,Y,Z,1)-1；
其中，所述(x1,y1)为目标视角下的图像像素坐标；所述T为路侧摄像头的转换矩阵；T1为该路侧摄像头当前位置与目标视角之间的转换矩阵；所述X,Y,Z分别为当前路侧摄像头的三维空间中一个点的三维坐标。
7.一种3D目标检测装置，其特征在于，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求1-5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910631513.5A CN112215048B (zh) | 2019-07-12 | 2019-07-12 | 一种3d目标检测方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910631513.5A CN112215048B (zh) | 2019-07-12 | 2019-07-12 | 一种3d目标检测方法、装置和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112215048A CN112215048A (zh) | 2021-01-12 |
| CN112215048B true CN112215048B (zh) | 2024-03-22 |
Family
ID=74047881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910631513.5A Active CN112215048B (zh) | 2019-07-12 | 2019-07-12 | 一种3d目标检测方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215048B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018967B (zh) * | 2022-06-30 | 2024-05-03 | 联通智网科技股份有限公司 | 一种图像生成方法、装置、设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000065948A (ja) * | 1998-08-18 | 2000-03-03 | Oki Electric Ind Co Ltd | 物体検知方法及び装置 |
| CN107577988A (zh) * | 2017-08-03 | 2018-01-12 | 东软集团股份有限公司 | 实现侧方车辆定位的方法、装置及存储介质、程序产品 |
| CN108111818A (zh) * | 2017-12-25 | 2018-06-01 | 北京航空航天大学 | 基于多摄像机协同的运动目标主动感知方法和装置 |
| CN108898171A (zh) * | 2018-06-20 | 2018-11-27 | 深圳市易成自动驾驶技术有限公司 | 图像识别处理方法、系统及计算机可读存储介质 |
| CN109474786A (zh) * | 2018-12-24 | 2019-03-15 | 维沃移动通信有限公司 | 一种预览图像生成方法及终端 |
| CN109579868A (zh) * | 2018-12-11 | 2019-04-05 | 上海元城汽车技术有限公司 | 车外目标定位方法、装置及汽车 |
-
2019
- 2019-07-12 CN CN201910631513.5A patent/CN112215048B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000065948A (ja) * | 1998-08-18 | 2000-03-03 | Oki Electric Ind Co Ltd | 物体検知方法及び装置 |
| CN107577988A (zh) * | 2017-08-03 | 2018-01-12 | 东软集团股份有限公司 | 实现侧方车辆定位的方法、装置及存储介质、程序产品 |
| CN108111818A (zh) * | 2017-12-25 | 2018-06-01 | 北京航空航天大学 | 基于多摄像机协同的运动目标主动感知方法和装置 |
| CN108898171A (zh) * | 2018-06-20 | 2018-11-27 | 深圳市易成自动驾驶技术有限公司 | 图像识别处理方法、系统及计算机可读存储介质 |
| CN109579868A (zh) * | 2018-12-11 | 2019-04-05 | 上海元城汽车技术有限公司 | 车外目标定位方法、装置及汽车 |
| CN109474786A (zh) * | 2018-12-24 | 2019-03-15 | 维沃移动通信有限公司 | 一种预览图像生成方法及终端 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多摄像头的目标连续跟踪;李志华;陈耀武;;电子测量与仪器学报(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112215048A (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520536B (zh) | 一种视差图的生成方法、装置及终端 | |
| WO2019170164A1 (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
| US9483703B2 (en) | Online coupled camera pose estimation and dense reconstruction from video | |
| Won et al. | Sweepnet: Wide-baseline omnidirectional depth estimation | |
| US10176564B1 (en) | Collaborative disparity decomposition | |
| JP2019536170A (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
| JP7035112B2 (ja) | コンピュータビジョン方法およびシステム | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| KR102295809B1 (ko) | 이동체의 전방향에 대한 거리 취득 장치 및 방법 | |
| CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
| KR101076406B1 (ko) | 장애물체 위치 및 속도 추정 장치 및 방법 | |
| Kuschk | Large scale urban reconstruction from remote sensing imagery | |
| CN113034586B (zh) | 道路倾角检测方法和检测系统 | |
| CN111295667A (zh) | 图像立体匹配的方法和辅助驾驶装置 | |
| WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
| CN112215048B (zh) | 一种3d目标检测方法、装置和计算机可读存储介质 | |
| CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
| CN116012805B (zh) | 目标感知方法、装置、计算机设备、存储介质 | |
| Kinzig et al. | Real-time seamless image stitching in autonomous driving | |
| CN117274514A (zh) | 基于地空视角几何变换的遥感图像生成方法及装置 | |
| KR20220133766A (ko) | 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템 | |
| WO2021049281A1 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 | |
| US11227166B2 (en) | Method and device for evaluating images, operating assistance method, and operating device | |
| Li et al. | Depth-assisted demosaicing for light field data in layered object space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |