CN114332790A - 一种双目视觉3d目标检测方法、存储介质及终端设备 - Google Patents

Abstract

本发明公开了一种双目视觉3D目标检测方法、存储介质及终端设备，包括：通过双目相机获取待检测图像；对所述待检测图像进行2D目标检测，获得目标物体的ROI区域；根据改进的立体匹配算法获取所述ROI区域的ROI视差图；将所述ROI视差图转换为3D点云数据；将所述3D点云数据输入预设的3D目标识别网络，获得所述目标物体的3D边框。采用本发明的技术方案能够提高3D目标检测的识别率，为自动驾驶提供更加可靠的目标识别方案。

Description

一种双目视觉3D目标检测方法、存储介质及终端设备

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种双目视觉3D目标检测方法、计算机可读存储介质及终端设备。

背景技术

在自动驾驶领域中，对车辆行驶道路上的物体进行检测识别是非常重要的一环。激光雷达(LiDAR，Light Detection And Ranging)和相机作为支撑物体检测任务的两大传感器，在自动驾驶的车辆的配置中必不可少。

目前，现有技术采用的目标识别方案多以单目相机方案为主，然而，单目相机有一个问题是，在测距的范围和距离方面，有一个不可调和的矛盾，即单目相机的视角越宽，所能探测到精准距离的长度越短，视角越窄，探测到的距离越长，从而导致对目标进行识别的识别率较低，可靠性较差。

发明内容

本发明实施例所要解决的技术问题在于，提供一种双目视觉3D目标检测方法、计算机可读存储介质及终端设备，能够提高3D目标检测的识别率，为自动驾驶提供更加可靠的目标识别方案。

为了解决上述技术问题，本发明实施例提供了一种双目视觉3D目标检测方法，包括：

通过双目相机获取待检测图像；

对所述待检测图像进行2D目标检测，获得目标物体的ROI区域；

根据改进的立体匹配算法获取所述ROI区域的ROI视差图；

将所述ROI视差图转换为3D点云数据；

将所述3D点云数据输入预设的3D目标识别网络，获得所述目标物体的3D边框。

进一步地，所述对所述待检测图像进行2D目标检测，获得目标物体的ROI区域，具体包括：

根据改进的YOLOv3对所述待检测图像进行2D目标检测，获得所述目标物体的ROI区域。

进一步地，所述改进的YOLOv3通过以下步骤获得：

将原始YOLOv3中的上采样层去除，并新增卷积层以进行下采样，获得所述改进的YOLOv3。

进一步地，所述根据改进的立体匹配算法获取所述ROI区域的ROI视差图，具体包括：

获取所述待检测图像的颜色内相关向量，并根据所述颜色内相关向量获取改进的梯度测度；

对所述待检测图像进行Census变换，并利用所述改进的梯度测度和所述待检测图像的颜色信息，通过加权融合进行联合匹配代价计算；

采用基于引导滤波器的代价聚合方法进行代价聚合；

采用胜者为王的方法计算视差，获得初始视差值；

对所述初始视差值进行左右一致性检测，获得误匹配点，并将所述误匹配点划分为极左点和内部点；

针对所述极左点和所述内部点，采用基于十字支撑窗方法进行视差矫正，获得所述ROI视差图。

进一步地，所述颜色内相关向量表示为

其中，(x,y)表示所述待检测图像中的像素点坐标，I_R(x,y)表示所述待检测图像在R通道上的颜色向量，I_G(x,y)表示所述待检测图像在G通道上的颜色向量，I_B(x,y)表示所述待检测图像在B通道上的颜色向量，I_RG(x,y)表示R通道与G通道上的颜色内相关向量，I_GB(x,y)表示G通道与B通道上的颜色内相关向量，I_BR(x,y)表示B通道与R通道上的颜色内相关向量。

进一步地，所述将所述ROI视差图转换为3D点云数据，具体包括：

采用PCL对所述ROI视差图进行三维重建，获得所述3D点云数据。

进一步地，所述3D目标识别网络为AVOD网络；

则，所述将所述3D点云数据输入预设的3D目标识别网络，获得所述目标物体的3D边框，具体包括：

将所述3D点云数据输入所述AVOD网络进行3D目标检测，获得所述目标物体的3D边框。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的双目视觉3D目标检测方法。

本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的双目视觉3D目标检测方法。

进一步地，所述终端设备为ADAS域控制器。

与现有技术相比，本发明实施例提供了一种双目视觉3D目标检测方法、计算机可读存储介质及终端设备，首先，通过双目相机获取待检测图像，并对所述待检测图像进行2D目标检测，获得目标物体的ROI区域，接着，根据改进的立体匹配算法获取所述ROI区域的ROI视差图，并将所述ROI视差图转换为3D点云数据，最后，将所述3D点云数据输入预设的3D目标识别网络，获得所述目标物体的3D边框，能够提高3D目标检测的识别率，为自动驾驶提供更加可靠的目标识别方案。

附图说明

图1是本发明提供的一种双目视觉3D目标检测方法的一个优选实施例的流程图；

图2A是本发明实施例提供的一种原始YOLOv3的检测过程示意图；

图2B是本发明实施例提供的一种改进YOLOv3的检测过程示意图；

图3是本发明提供的一种终端设备的一个优选实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种双目视觉3D目标检测方法，参见图1所示，是本发明提供的一种双目视觉3D目标检测方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S15：

步骤S11、通过双目相机获取待检测图像；

步骤S12、对所述待检测图像进行2D目标检测，获得目标物体的ROI区域；

步骤S13、根据改进的立体匹配算法获取所述ROI区域的ROI视差图；

步骤S14、将所述ROI视差图转换为3D点云数据；

步骤S15、将所述3D点云数据输入预设的3D目标识别网络，获得所述目标物体的3D边框。

具体的，当应用于自动驾驶领域中时，在车辆行驶的过程中，利用预先设置的双目相机获取行驶道路上的待检测图像，其中，待检测图像包括双目相机的左目和右目分别对应获取的左图像和右图像；在获得待检测图像之后，先对待检测图像进行2D目标检测，相应获得待检测图像中的目标物体的ROI区域，再根据改进的立体匹配算法获取ROI区域的ROI视差图，并将获得的ROI视差图转换为3D点云数据，将转换获得的3D点云数据输入预先设置的3D目标识别网络进行3D目标检测，相应获得待检测图像中的目标物体的3D边框。

可以理解的，待检测图像中包含的目标物体可能不止一个，对于每一个目标物体，均可以采用步骤S11至步骤S15进行相应处理，对应获得每一个目标物体的3D边框。

需要说明的是，本发明实施例中所使用的双目相机已经通过现有的相机标定方法完成标定，在具体实施本发明实施例时，可以直接使用标定好的双目相机拍摄待检测图像。

在另一个优选实施例中，所述对所述待检测图像进行2D目标检测，获得目标物体的ROI区域，具体包括：

根据改进的YOLOv3对所述待检测图像进行2D目标检测，获得所述目标物体的ROI区域。

作为上述方案的改进，所述改进的YOLOv3通过以下步骤获得：

将原始YOLOv3中的上采样层去除，并新增卷积层以进行下采样，获得所述改进的YOLOv3。

具体的，结合上述实施例，在对待检测图像进行2D目标检测时，可以利用改进的YOLOv3对待检测图像进行2D目标检测，相应获得目标物体的ROI区域，其中，将原始YOLOv3中的上采样层去除，并新增卷积层用于进行下采样，相应获得改进的YOLOv3。

结合图2A和图2B所示，分别是本发明实施例提供的一种原始YOLOv3和改进YOLOv3的检测过程示意图；在图2A所示的检测过程中，输入大小为416*416*3的图像，通过Darknet-53网络进行处理后，分成四路，其中，第一路通过下采样层进行32倍下采样处理，对应获得第一路输出y1，大小为13*13*255；第一路依次通过下采样层进行32倍下采样处理、通过上采样层进行2倍上采样处理获得一处理结果，第二路通过下采样层进行16倍下采样处理获得一处理结果，两路处理结果共同经过连接层的处理，对应获得第二路输出y2，大小为26*26*255；第二路依次通过下采样层进行16倍下采样处理、通过上采样层进行2倍上采样处理获得一处理结果，第三路通过下采样层进行8倍下采样处理获得一处理结果，两路处理结果共同经过连接层的处理，对应获得第三路输出y3，大小为52*52*255。

而在图2B所示的检测过程中，通过对图2A所示的原始YOLOv3进行改进，获得改进的YOLOv3，输入大小为416*416*3的图像，通过Darknet-53网络进行处理后，分成四路，其中，第一路通过下采样层进行32倍下采样处理获得一处理结果，第二路依次通过下采样层进行16倍下采样处理、通过步长为2的卷积层进行下采样处理获得一处理结果，两路处理结果共同经过连接层的处理，对应获得第一路输出y1，大小为13*13*255；第二路通过下采样层进行16倍下采样处理获得一处理结果，第三路依次通过下采样层进行8倍下采样处理、通过步长为2的卷积层进行下采样处理获得一处理结果，两路处理结果共同经过连接层的处理，对应获得第二路输出y2，大小为26*26*255；第三路通过下采样层进行8倍下采样处理获得一处理结果，第四路依次通过下采样层进行4倍下采样处理、通过步长为2的卷积层进行下采样处理获得一处理结果，两路处理结果共同经过连接层的处理，对应获得第三路输出y3，大小为52*52*255。

需要说明的是，现有的YOLOv3可以在三个不同的尺度对待检测图像进行检测分类，Anchor的设计方式仍然采用了聚类方式，得到九个聚类中心，并将其按照大小分给3个尺度，但是，其中的上采样过程较为耗时，因此，本发明实施例采用改进的YOLOv3，通过去掉上采样层并利用增加的卷积层做下采样，从而得到不同尺度对图像的检测分类，能够提高检测效率。

在又一个优选实施例中，所述根据改进的立体匹配算法获取所述ROI区域的ROI视差图，具体包括：

获取所述待检测图像的颜色内相关向量，并根据所述颜色内相关向量获取改进的梯度测度；

对所述待检测图像进行Census变换，并利用所述改进的梯度测度和所述待检测图像的颜色信息，通过加权融合进行联合匹配代价计算；

采用基于引导滤波器的代价聚合方法进行代价聚合；

采用胜者为王的方法计算视差，获得初始视差值；

对所述初始视差值进行左右一致性检测，获得误匹配点，并将所述误匹配点划分为极左点和内部点；

针对所述极左点和所述内部点，采用基于十字支撑窗方法进行视差矫正，获得所述ROI视差图。

具体的，结合上述实施例，在根据改进的立体匹配算法对待检测图像进行处理，相应获得ROI区域的ROI视差图时，可以将这一处理过程对应划分为匹配代价计算阶段、代价聚合阶段、视差计算阶段和视差优化阶段。

匹配代价计算阶段：获取待检测图像的颜色内相关向量，并根据获得的颜色内相关向量获取改进的梯度测度；对待检测图像进行Census变换，并利用获得的改进的梯度测度和待检测图像的颜色信息(例如颜色绝对差值)，通过加权融合进行联合匹配代价计算；代价聚合阶段：采用基于引导滤波器的代价聚合方法进行代价聚合，引导滤波器具有“保边去噪”的作用，并且时间复杂度与窗口大小无关；视差计算阶段：在代价聚合后，采用胜者为王(Winner-Takes-All，WTA)的方法进行视差计算，相应获得初始视差值，在视差搜索范围内，选取匹配代价最优点为匹配点，并且将当前的视差作为左图像和右图像中的两个匹配点的视差；在视差优化阶段：对获得的初始视差值进行左右一致性检测，相应获得误匹配点，并将获得的误匹配点划分为极左点和内部点，针对极左点和内部点，采用基于十字支撑窗方法对误匹配点进行视差矫正，通过相邻的可靠像素点对视差进行矫正，从而获得优化后的视差图，即为ROI区域的ROI视差图。

作为上述方案的改进，所述颜色内相关向量表示为

其中，(x,y)表示所述待检测图像中的像素点坐标，I_R(x,y)表示所述待检测图像在R通道上的颜色向量，I_G(x,y)表示所述待检测图像在G通道上的颜色向量，I_B(x,y)表示所述待检测图像在B通道上的颜色向量，I_RG(x,y)表示R通道与G通道上的颜色内相关向量，I_GB(x,y)表示G通道与B通道上的颜色内相关向量，I_BR(x,y)表示B通道与R通道上的颜色内相关向量。

具体的，结合上述实施例，R、G、B通道上的颜色内相关，反映的是像素点的RGB颜色空间内在的变化信息，可以体现像素点间的细微差异，是图像的固有属性。假设待检测图像中的一个像素点I(x,y)，建立R、G、B空间向量，三个通道上的颜色向量可以对应表示I_R(x,y)、I_G(x,y)和I_B(x,y)，相应的，R通道与G通道上的颜色内相关向量(即R通道到G通道的变化分量)可以表示为I_RG(x,y)＝I_R(x,y)-I_G(x,y)，G通道与B通道上的颜色内相关向量(即G通道到B通道的变化分量)可以表示为I_GB(x,y)＝I_G(x,y)-I_B(x,y)，B通道与R通道上的颜色内相关向量(即B通道到R通道的变化分量)可以表示为I_BR(x,y)＝I_B(x,y)-I_R(x,y)，像素点的颜色内相关空间表示为I_rce＝[I_RG(x,y),I_GB(x,y),I_BR(x,y)]。

在根据改进的立体匹配算法获取ROI区域的ROI视差图时，通过将获得的颜色内相关向量作为后续改进梯度的关键代价测度之一，即在原有梯度的基础上增加颜色内相关信息，求出梯度匹配代价测度，使得改进后的梯度具有像素点间的颜色变化信息，同时也结合了像素点本身的颜色内变化信息，能够有效地提高立体匹配的正确率。

需要说明的是，改进的梯度测度具体表示为：

其中，dir代表x或y方向，raw和rce分别表示原图和颜色内相关空间，Δ_dirI表示偏导，ω₁和ω₂表示调节两种梯度权重的参数，比值为1：2。

另外，多种测度相结合可以进行相互补充，有更好的匹配效果，本发明实施例同样采用联合代价测度，包括颜色绝对差值、Census变换和改进梯度测度。

颜色绝对差值比较容易实现，并且可以减少重复纹理区域匹配的歧义性，表达式如下：

其中，

和

分别表示参考图像(即左图像)和目标图像(即右图像)，T_AD表示截断阈值。

Census变换测度依赖于局部强度值的相对顺序，而不是强度值本身，能够较好检测出边缘区域，Census变换公式如下：

其中，

表示二进制串联符号，如果p点大于q点灰度值cen(p)就为1，相反为0，最终，像素点p的Census变换为：

其中，

表示求异或符号，变换窗口大小为5×7。

最终匹配代价为：

C(p,d)＝αρ(C_ADc,λ_ADc)+βρ(C_cen,λ_cen)+ξρ(C_gx,λ_gx)+ερ(C_gy,λ_gy)，其中，α、β、ζ和ε分别表示调节各个代价测度影响的参数，ρ(C,λ)＝min(C,λ)。

为了得到更加准确的视差图需要对代价进行聚合，聚合的过程可以看成是滤波的过程，本发明实施例采用引导滤波器进行聚合，引导滤波聚合的过程如下：

其中，w_pq(I)表示邻域像素点q的权重值，I表示原始左图像，q点的权重值计算公式如下：

其中，N表示窗口内像素点的数量，w_k表示左图像中以k为中心的窗口，μ_k和Σ_k分别表示窗口内像素点的平均值与协方差矩阵，τ表示调节滤波器的参数，大小为0.0001，U表示一个大小为3×3的单位矩阵，本发明实施例中采用7×7大小的窗口。

在又一个优选实施例中，所述将所述ROI视差图转换为3D点云数据，具体包括：

采用PCL对所述ROI视差图进行三维重建，获得所述3D点云数据。

具体的，结合上述实施例，在将ROI视差图转换为3D点云数据时，可以采用PCL(Point Cloud Library，点云库)对获得的ROI视差图进行三维重建，相应获得ROI视差图对应的3D点云数据。

在又一个优选实施例中，所述3D目标识别网络为AVOD网络；

则，所述将所述3D点云数据输入预设的3D目标识别网络，获得所述目标物体的3D边框，具体包括：

将所述3D点云数据输入所述AVOD网络进行3D目标检测，获得所述目标物体的3D边框。

具体的，结合上述实施例，本发明实施例中使用的3D目标识别网络可以是AVOD网络等网络模型，则，在根据获得的3D点云数据进行3D目标检测时，可以将获得的3D点云数据输入到AVOD网络中进行3D目标检测，相应获得待检测图像中的目标物体的3D边框。

本发明实施例所提供的一种双目视觉3D目标检测方法，首先通过对待检测图像进行2D目标检测获取ROI分类，接着采用改进梯度的立体匹配算法获取匹配率更高的ROI视差图，并将ROI视差图转换成点云数据，馈入基于点云的3D目标识别网络预测目标的3D边框，与通过单目相机识别3D目标相比，采用双目相机可以直接获取目标物体的深度信息，从而能够提高3D目标检测的识别率，为自动驾驶提供更加可靠的目标识别方案。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的双目视觉3D目标检测方法。

本发明实施例还提供了一种终端设备，参见图3所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的双目视觉3D目标检测方法。

作为上述方案的改进，所述终端设备为ADAS域控制器。

可以理解的，本发明实施例中采用的终端设备可以是ADAS(高级驾驶辅助系统Advanced Driving Assistant System，ADAS)域控制器，即，可以通过ADAS域控制器来实现上述任一实施例所述的双目视觉3D目标检测方法。

优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。

所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。

所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。

需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构框图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

综上，本发明实施例所提供的一种双目视觉3D目标检测方法、计算机可读存储介质及终端设备，首先通过对待检测图像进行2D目标检测获取ROI分类，接着采用改进梯度的立体匹配算法获取匹配率更高的ROI视差图，并将ROI视差图转换成点云数据，馈入基于点云的3D目标识别网络预测目标的3D边框，与通过单目相机识别3D目标相比，采用双目相机可以直接获取目标物体的深度信息，从而能够提高3D目标检测的识别率，为自动驾驶提供更加可靠的目标识别方案。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种双目视觉3D目标检测方法，其特征在于，包括：

通过双目相机获取待检测图像；

对所述待检测图像进行2D目标检测，获得目标物体的ROI区域；

根据改进的立体匹配算法获取所述ROI区域的ROI视差图；

将所述ROI视差图转换为3D点云数据；

将所述3D点云数据输入预设的3D目标识别网络，获得所述目标物体的3D边框。

2.如权利要求1所述的双目视觉3D目标检测方法，其特征在于，所述对所述待检测图像进行2D目标检测，获得目标物体的ROI区域，具体包括：

根据改进的YOLOv3对所述待检测图像进行2D目标检测，获得所述目标物体的ROI区域。

3.如权利要求2所述的双目视觉3D目标检测方法，其特征在于，所述改进的YOLOv3通过以下步骤获得：

将原始YOLOv3中的上采样层去除，并新增卷积层以进行下采样，获得所述改进的YOLOv3。

4.如权利要求1所述的双目视觉3D目标检测方法，其特征在于，所述根据改进的立体匹配算法获取所述ROI区域的ROI视差图，具体包括：

获取所述待检测图像的颜色内相关向量，并根据所述颜色内相关向量获取改进的梯度测度；

对所述待检测图像进行Census变换，并利用所述改进的梯度测度和所述待检测图像的颜色信息，通过加权融合进行联合匹配代价计算；

采用基于引导滤波器的代价聚合方法进行代价聚合；

采用胜者为王的方法计算视差，获得初始视差值；

对所述初始视差值进行左右一致性检测，获得误匹配点，并将所述误匹配点划分为极左点和内部点；

针对所述极左点和所述内部点，采用基于十字支撑窗方法进行视差矫正，获得所述ROI视差图。

5.如权利要求4所述的双目视觉3D目标检测方法，其特征在于，所述颜色内相关向量表示为

其中，(x,y)表示所述待检测图像中的像素点坐标，I_R(x,y)表示所述待检测图像在R通道上的颜色向量，I_G(x,y)表示所述待检测图像在G通道上的颜色向量，I_B(x,y)表示所述待检测图像在B通道上的颜色向量，I_RG(x,y)表示R通道与G通道上的颜色内相关向量，I_GB(x,y)表示G通道与B通道上的颜色内相关向量，I_BR(x,y)表示B通道与R通道上的颜色内相关向量。

6.如权利要求1所述的双目视觉3D目标检测方法，其特征在于，所述将所述ROI视差图转换为3D点云数据，具体包括：

采用PCL对所述ROI视差图进行三维重建，获得所述3D点云数据。

7.如权利要求1～6任一项所述的双目视觉3D目标检测方法，其特征在于，所述3D目标识别网络为AVOD网络；

则，所述将所述3D点云数据输入预设的3D目标识别网络，获得所述目标物体的3D边框，具体包括：

将所述3D点云数据输入所述AVOD网络进行3D目标检测，获得所述目标物体的3D边框。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的双目视觉3D目标检测方法。

9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的双目视觉3D目标检测方法。

10.如权利要求9所述的终端设备，其特征在于，所述终端设备为ADAS域控制器。

Images