CN109726692A - 基于深度学习的高清摄像头3d目标检测系统 - Google Patents

Abstract

本发明公开了基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及处理单元，所述车辆传感器装置包括高清摄像头,所述硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电性连接,所述处理单元包括图像采集单元、特征提取单元、数据处理单元和结果输出。该基于深度学习的高清摄像头3D目标检测系统，图像采集单元主要通过高清摄像头采集图像信息，模型训练单元通过引入自动驾驶数据集对图像识别模型进行评估和校正，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，数据数据模块用于将最终的得到的信息传递给自动驾驶终端。

Description

基于深度学习的高清摄像头3D目标检测系统

技术领域

本发明涉及智能汽车技术领域，具体为基于深度学习的高清摄像头3D目标检测系统。

背景技术

自动驾驶系统需要传感器对前方的前方环境进行三维重建，对被测物体进行识别判断，构建一个道路环境信息的三维立体位置关系图，它的成功与否取决于它在其周围环境中检测和定位对象的能力，其预测、规避和路径规划都依赖于对场景中其他实体的三维位置和尺寸的检测。这使得三维包围盒检测技术成为自动驾驶系统中计算机视觉识别的一个重要问题。主流的自动驾驶系统构架中多数采用了用激光雷达回波形成的激光雷达点云进行三维目标检测的方法，但是激光雷达云图没有目标位置的绝对深度信息，这种纯图像的方法性能上存在滞后性。

目前的激光雷达成本很高，单个激光雷达点云密度稀疏其需要多传感器冗余，这进一步推动了自动驾驶方案成本增高，使其难以在市场上推广普及，因需要一种更精确性价比更高的的三维目标检测系统。因此本发明提出了一种通过低成本高清摄像头进行目标3D检测的装置。

发明内容

本发明的目的在于提供基于深度学习的高清摄像头3D目标检测系统，以解决传统自动驾驶系统因采用激光雷达导致的成本过高无法市场推广的问题。

为实现上述目的，本发明提供如下技术方案：基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及数据处理模块；

所述车辆传感器装置包括高清摄像头；

所述硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电路连接；

所述数据处理模块包括图像采集单元、模型训练单元、特征提取单元、图像处理单元和结果输出单元；

所述图像采集单元通过高清摄像头采集原始输入图像，模型训练单元通过引入自动驾驶数据集对原始输入图像的识别模型进行评估和校正，特征提取单元从图像采集单元获取原始输入图像并生成多尺度二维特征映射，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，结果输出单元用于将最终得到的信息传递给自动驾驶终端；

所述特征提取单元从原始输入图像中生成多尺度二维特征映射，用平面f(u,v)∈Rⁿ表示，Rⁿ代表n维空间；其中(u,v)是这个二维特征映射的平面上的特征点，特征映射对图像中低层结构的信息进行编码，所述低层结构的信息构成训练网络用于构建场景隐式三维表示的基本组件；

通过正投影鸟瞰转换将f(u,v)∈Rⁿ转换为一个三维特征图，用s(x,y,z)∈Rⁿ表示，其中(x,y,z)是三维空间中的点；所述三维特征图定义了在一个由均匀间隔组成的三维空间里，用矩形框表示任意一个大小为r的立方体，所述矩形框的对角坐标分别为(a₁,b₁)和(a₂,b₂)，所述矩形框表示的立方体的长为W、宽为D、高为H，并且有：

其中f为高清摄像头的焦距，(c_a,c_b)为原点；

将图像f(a,b)∈Rⁿ投影的包围框进行平均化，将每一个特征分配到s(x,y,z)∈Rⁿ中适当的位置：

将生成的三维特征映射g(x，y，z)，将一组学习到的权值矩阵M(y)与s(x,y,z)相乘后沿垂直轴累加，得到正交特征图：

式中：B(x，z)为三维映射在地平面的投影；

采用积分图像的快速平均池化：

F(u，v)＝f(a，b)F(a-1，b)+F(a，b-1)-F(a-1，b-1)

图像置信度N(x,z)：

式中：N(x,z)是一个光滑函数，它表示存在一个以(x,y₀,z)为中心的边界盒的概率，其中y₀是高清摄像头到地平面的距离，δ是比例因子；

相对位置偏移量Δpos

Δpos(x,z)表示边界盒中心坐标(x,y₀,z)与目标真实位置的相对偏差,(x_i,y_i,z_i)Δdim是物体i的中心坐标

尺寸偏移量Δdim:

Δdim表示物体真实大小与平均尺寸的对数关系，(w_i,h_i,l_i)为目标物体i的尺寸，是给定物体的平均尺寸；

方向向量Δang(x，z)：

Δ_ang(x，z)＝[sinθ_i，cosθ_i]^τ

Δang(x，z)表示物体相对于y轴的方向向量，是物体与y轴的量角；

采用NMS对数据进行滤波，得到最终可信任数据，输出下一级处理单元。

优选的，所述高清摄像头内设置有感应的传感器，布置成查看或捕捉以及查看或捕捉车辆环境的选定部分的图像。

优选的，所述高清摄像头的传感器设置成车辆何时遇到路面特征并且向中央处理器发送对应的感应信号。

优选的，所述通信电路与中央处理器通过电性连接，中央处理器包括CPU和GPU。

优选的，所述数据格式转换电路与通信电路电性连接。

优选的，所述存储电路为存储器，其与中央处理器进行电性连接。

优选的，所述高清摄像头为多组，分别设置在车内后视镜的中轴位置、后备箱的尾部壳体上以及车身两侧。

优选的，所述高清摄像头和中央处理器均分为能够执行一个或多个指令，并且启动至少一个高清摄像头以查看或捕捉以及查看或捕捉车辆环境选定的一个图像。

优选的，基于深度学习的高清摄像头3D目标检测系统的使用方法，包括以下步骤：

(1)图像采集：通过高清摄像头获得原始输入图像；

(2)特征值提取：特征提取单元采用用残差网络特征提取方法从输入原始图像中提取多尺度特征映射；

(3)正投影转换：采用正交特征变化将提取的所有多尺度特征映射的特征图转换为正投影鸟瞰图，形成残差网络单元；

(4)构建多层网络：将这些处理后的残差网络单元组成一个由上之下的多层网络；

(5)定位和边界估计：为多层网络的每一层网络的每一个对象在地平面的投影生成一个置信度分数，同时引入位置偏移量、维度偏移量和方向向量；

(6)最终定位：采用非极大值抑制算法识别置信度图中的峰值并生成离散边界框，提高物体位置和边框数据的准确度；

(7)输出数据到终端。

与现有技术相比，本发明的有益效果是：该基于深度学习的高清摄像头3D目标检测系统，图像采集单元主要通过高清摄像头采集图像信息，模型训练单元通过引入自动驾驶数据集对图像识别模型进行评估和校正，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，数据数据模块用于将最终的得到的信息传递给自动驾驶终端。

附图说明

图1为本发明的目标检测系统原理图；

图2为本发明的算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及数据处理模块；

车辆传感器装置包括高清摄像头；

硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电路连接；在本发明的一个示例中，高清摄像头内设置有感应的传感器，布置成查看或捕捉以及查看或捕捉车辆环境的选定部分的图像；在本发明的一个示例中，高清摄像头的传感器设置成车辆何时遇到路面特征并且向中央处理器发送对应的感应信号；在本发明的一个示例中，通信电路与中央处理CPU/GPU通过电性连接，通信电路通过GPS定位车辆当前坐标位置，存储电路为存储器，其与中央处理器进行数据交换；在本发明的一个示例中，高清摄像头为多组，分别设置在车内后视镜的中轴位置、后备箱的尾部壳体上以及车身两侧，高清摄像头和中央处理器均分为能够执行一个或多个指令，并且启动至少一个高清摄像头以查看或捕捉以及查看和捕捉车辆环境选定的一个图像；

参阅图1，数据处理模块包括图像采集单元、模型训练单元、特征提取单元、图像处理单元和结果输出单元；图像采集单元通过高清摄像头采集原始输入图像，模型训练单元通过引入自动驾驶数据集对原始输入图像的识别模型进行评估和校正，特征提取单元从图像采集单元获取原始输入图像并生成多尺度二维特征映射，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，结果输出单元用于将最终得到的信息传递给自动驾驶终端；

参阅图2，其高清摄像头3D目标检测算法如下：首先本算法通过特征提取单元采用卷积特征提取方法从原始输入图像中生成多尺度二维特征映射，用平面f(u,v)∈Rⁿ表示，Rⁿ代表n维空间；其中(u,v)是这个二维特征映射平面上的特征点，特征映射对图像中低层结构的信息进行编码，低层结构的信息构成了训练网络用于构建场景隐式三维表示的基本组件；

通过正投影鸟瞰转换将f(u,v)∈Rⁿ转换为一个三维特征图，用s(x,y,z)∈Rⁿ表示，其中(x,y,z)是三维空间中的点；所述三维特征图定义了在一个由均匀间隔组成的三维空间里，用矩形框表示任意一个大小为r的立方体，所述矩形框的对角坐标分别为(a₁,b₁)和(a₂,b₂)，所述矩形框表示的立方体的长为W、宽为D、高为H，并且有：

其中f为高清摄像头的焦距，(c_a,c_b)为原点；

将图像f(a,b)∈Rⁿ投影的包围框进行平均化，将每一个特征分配到s(x,y,z)∈Rⁿ中适当的位置：

将生成的三维特征映射g(x，y，z)，将一组学习到的权值矩阵M(y)与s(x,y,z)相乘后沿垂直轴累加，得到正交特征图：

式中：B(x，z)为三维映射在地平面的投影；

采用积分图像的快速平均池化：

F(u，v)＝f(a，b)+F(a-1，b)+F(a，b-1)-F(a-1，b-1)

图像置信度N(x,z)：

式中：N(x,z)是一个光滑函数，它表示存在一个以(x,y₀,z)为中心的边界盒的概率，其中y₀是高清摄像头到地平面的距离，δ是比例因子；

相对位置偏移量Δpos

Δpos(x,z)表示边界盒中心坐标(x,y₀,z)与目标真实位置的相对偏差,(x_i,y_i,z_i)Δdim是物体i的中心坐标

尺寸偏移量Δdim:

Δdim表示物体真实大小与平均尺寸的对数关系，(w_i,h_i,l_i)为目标物体i的尺寸，是给定物体的平均尺寸；

方向向量Δang(x，z)：

Δ_ang(x，z)＝[sinθ_i，cosθ_i]^T

Δang(x，z)表示物体相对于y轴的方向向量，是物体与y轴的量角；

采用NMS对数据进行滤波，得到最终可信任数据，输出下一级处理单元。

上述的基于深度学习的高清摄像头3D目标检测系统的使用方法，包括以下步骤：

(1)图像采集：通过高清摄像头获得原始输入图像；

(2)特征值提取：特征提取单元采用用残差网络特征提取方法从输入原始图像中提取多尺度特征映射；

(3)正投影转换：采用正交特征变化将提取的所有多尺度特征映射的特征图转换为正投影鸟瞰图，形成残差网络单元；

(4)构建多层网络：将这些处理后的残差网络单元组成一个由上之下的多层网络；

(5)定位和边界估计：为多层网络的每一层网络的每一个对象在地平面的投影生成一个置信度分数，同时引入位置偏移量、维度偏移量和方向向量；

(6)最终定位：采用非极大值抑制算法识别置信度图中的峰值并生成离散边界框，提高物体位置和边框数据的准确度；

(7)输出数据到终端。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.基于深度学习的高清摄像头3D目标检测系统，包括车辆传感器装置、硬件模块以及数据处理模块，其特征在于：

所述车辆传感器装置包括高清摄像头；

所述硬件模块包括电源电路、通信电路、数据格式转换电路、中央处理器和存储电路，高清摄像头与中央处理器通过电路连接；

所述数据处理模块包括图像采集单元、模型训练单元、特征提取单元、图像处理单元和结果输出单元；

所述图像采集单元通过高清摄像头采集原始输入图像，模型训练单元通过引入自动驾驶数据集对原始输入图像的识别模型进行评估和校正，特征提取单元从图像采集单元获取原始输入图像并生成多尺度二维特征映射，图像处理单元根据高清摄像头三维目标识别算法进行目标识别，结果输出单元用于将最终得到的信息传递给自动驾驶终端；

所述特征提取单元从原始输入图像中生成多尺度二维特征映射，用平面f(u,v)∈Rⁿ表示，Rⁿ代表n维空间；其中(u,v)是这个二维特征映射的平面上的特征点，特征映射对图像中低层结构的信息进行编码，所述低层结构的信息构成训练网络用于构建场景隐式三维表示的基本组件；

通过正投影鸟瞰转换将f(u,v)∈Rⁿ转换为一个三维特征图，用s(x,y,z)∈Rⁿ表示，其中(x,y,z)是三维空间中的点；所述三维特征图定义了在一个由均匀间隔组成的三维空间里，用矩形框表示任意一个大小为r的立方体，所述矩形框的对角坐标分别为(a₁,b₁)和(a₂,b₂)，所述矩形框表示的立方体的长为W、宽为D、高为H，并且有：

其中f为高清摄像头的焦距，(c_a,c_b)为原点；

将图像f(a,b)∈Rⁿ投影的包围框进行平均化，将每一个特征分配到s(x,y,z)∈Rⁿ中适当的位置：

将生成的三维特征映射g(x，y，z)，将一组学习到的权值矩阵M(y)与s(x,y,z)相乘后沿垂直轴累加，得到正交特征图：

式中：B(x，z)为三维映射在地平面的投影；

采用积分图像的快速平均池化：

F(u，v)＝f(a，b)+F(a-1，b)+F(a，b-1)-F(a-1，b-1)

图像置信度N(x,z)：

式中：N(x,z)是一个光滑函数，它表示存在一个以(x,y₀,z)为中心的边界盒的概率，其中y₀是高清摄像头到地平面的距离，δ是比例因子；

相对位置偏移量Δpos

Δpos(x,z)表示边界盒中心坐标(x,y₀,z)与目标真实位置的相对偏差,(x_i,y_i,z_i)Δdim是物体i的中心坐标

尺寸偏移量Δdim:

Δdim表示物体真实大小与平均尺寸的对数关系，(w_i,h_i,l_i)为目标物体i的尺寸，是给定物体的平均尺寸；

方向向量Δang(x，z)：

Δ_ang(x，z)＝[sinθ_i，cosθ_i]^T

Δang(x，z)表示物体相对于y轴的方向向量，是物体与y轴的量角；

采用NMS对数据进行滤波，得到最终可信任数据，输出下一级处理单元。

2.根据权利要求1所述的基于深度学习的高清摄像头3D目标检测系统，其特征在于：所述高清摄像头内设置有感应的传感器，布置成查看或捕捉以及查看或捕捉车辆环境的选定部分的图像。

3.根据权利要求2所述的基于深度学习的高清摄像头3D目标检测系统，其特征在于：所述高清摄像头的传感器设置成车辆何时遇到路面特征并且向中央处理器发送对应的感应信号。

4.根据权利要求1所述的基于深度学习的高清摄像头3D目标检测系统，其特征在于：所述通信电路与中央处理器通过电性连接，中央处理器包括CPU和GPU。

5.根据权利要求1所述的基于深度学习的高清摄像头3D目标检测系统，其特征在于：所述数据格式转换电路与通信电路电性连接。

6.根据权利要求1所述的基于深度学习的高清摄像头3D目标检测系统，其特征在于：所述存储电路为存储器，其与中央处理器进行电性连接。

7.根据权利要求1所述的基于深度学习的高清摄像头3D目标检测系统，其特征在于：所述高清摄像头为多组，分别设置在车内后视镜的中轴位置、后备箱的尾部壳体上以及车身两侧。

8.根据权利要求3所述的基于深度学习的高清摄像头3D目标检测系统，其特征在于：所述高清摄像头和中央处理器均分为能够执行一个或多个指令，并且启动至少一个高清摄像头以查看或捕捉以及查看或捕捉车辆环境选定的一个图像。

9.根据权利要求1所述的基于深度学习的高清摄像头3D目标检测系统的使用方法，其特征在于：包括以下步骤：

(1)图像采集：通过高清摄像头获得原始输入图像；

(2)特征值提取：特征提取单元采用用残差网络特征提取方法从输入原始图像中提取多尺度特征映射；

(3)正投影转换：采用正交特征变化将提取的所有多尺度特征映射的特征图转换为正投影鸟瞰图，形成残差网络单元；

(4)构建多层网络：将这些处理后的残差网络单元组成一个由上之下的多层网络；

(5)定位和边界估计：为多层网络的每一层网络的每一个对象在地平面的投影生成一个置信度分数，同时引入位置偏移量、维度偏移量和方向向量；

(6)最终定位：采用非极大值抑制算法识别置信度图中的峰值并生成离散边界框，提高物体位置和边框数据的准确度；

(7)输出数据到终端。