CN111559314A - 深度与图像信息融合的3d增强全景环视系统及实现方法 - Google Patents

Abstract

本发明提供了一种用于图像与深度信息融合的3D增强全景环视系统，包括鱼眼相机，深度相机和处理器，四个鱼眼相机和四个深度相机分别设置在车头中间，车尾中间及车辆两侧后视镜处；车头左右两侧各加装一个深度相机、车尾左右两侧各加装一个深度相机，车身左右两侧各加装两个深度相机；该系统通过将深度信息与图像信息融合将目标物体和地面都转换为点云并统一于车辆坐标系下，消除了普通全景环视系统中物体畸变较大的情况，并且能够得到行驶中物体与车辆的实时距离，提高了驾驶的安全性和体验感。

Description

深度与图像信息融合的3D增强全景环视系统及实现方法

技术领域

本发明属于车辆安全辅助及汽车电子领域，具体涉及一种基于深度与图像信息融合的3D增强全景环视系统及实现方法。

背景技术

随着汽车保有量迅速增长，道路交通安全逐渐成为一个重大的社会问题。全景环视系统通过一组共四颗架设在车身四周的相机实时采集车辆周边环境信息，再对每个相机采集的视频影像信息进行畸变校正、视觉变换处理后，整合拼接形成包含车辆和周边环境信息的全景视频，在中控台上显示，以辅助驾驶员在驾驶、倒车、停车过程中更好地操作，减小事故发生可能。

目前有2D和3D全景两种方案，2D全景系统生成鸟瞰视角的全景视频，它能为汽车驾驶员提供更直观的辅助驾驶信息。在停车场泊车、倒车入库、狭窄路段行驶等工况下为驾驶员提供可靠的盲区显示辅助功能；

3D全景相比于2D全景允许驾驶员从多个角度观察汽车行驶环境，几乎可以保证驾驶员没有视觉死角，提升了驾驶体验，安全保障性能较好，是视觉增强型安全系统的主要趋势。

然而，传统的基于鱼眼相机的环视系统，由于相机畸变，很难避免物体形状失真、显示效果不佳的问题。此外，鱼眼相机不具备测距能力，无法判断车辆与周围物体的距离，不利于提醒驾驶员安全驾驶。为了解决全景图像中物体畸变的问题，一些研究学者首先利用光流技术获得相机的相对位姿变换，然后利用平面扫描法获得单个视角的深度图像，最后利用深度图像修正全景图像。但是该方法计算复杂，难以保证实时性，并且在环境复杂的条件下生成的深度图像误差大。为了获得全景图像中物体的相对位置，一些研究学者采用多传感器融合的方法，比如超声波传感器与鱼眼相机的融合，激光雷达与鱼眼相机的融合。可是，超声波传感器无法提供物体的点云信息，很难修正全景图像中物体的变形。激光雷达价格昂贵，难以普及应用。因此本发明提出了一种深度相机与鱼眼相机融合的3D增强全景环视系统来解决上述问题。

发明内容

本发明要解决的技术问题是提供一种基于深度相机与鱼眼相机，能够对深度信息和图像信息融合处理的3D增强全景环视系统。该系统将地面和目标物体都转换为车辆坐标系下的点云并可按照任意视角进行投影显示。因此，该系统可以消除物体畸变和获得车辆的空间距离，提高驾驶员对周围环境的感知和对3D全景系统使用的体验感从而提升驾驶的安全性。

本发明为解决上述技术问题所采取的技术方案为：一种用于图像与深度信息融合的3D增强全景环视系统，包括鱼眼相机，深度相机和处理器，其特征在于：

四个鱼眼相机和四个深度相机分别设置在车头中间，车尾中间及车辆两侧后视镜处；

车头左右两侧各加装一个深度相机、车尾左右两侧各加装一个深度相机，车身左右两侧各加装两个深度相机；其中：

所述鱼眼相机实时捕捉视场角不小于180度的车辆周围影像信息，由相机内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号；所述深度相机集成了彩色相机和深度传感器，能够同时采集彩色图像和对应的深度图像；所述处理器为NVIDIA TX2处理器，用于处理鱼眼相机的畸变图像和深度相机的彩色图像和深度图像，生成图像信息与深度信息融合的3D增强全景环视系统。

进一步地，该3D增强全景环视系统通过三个功能模块进行工作，其中：

第一功能模块是利用深度相机生成的深度图像和彩色图像生成点云；通过利用卷积神经网络提取彩色图像中常见物体，然后再结合对应的深度图像和深度相机的安装位置生成车辆坐标系下的目标点云，最后对目标点云进行聚类以减少噪点；

第二功能模块是利用鱼眼相机生成的广视角图像生成2D全景环视图像，然后根据虚拟相机模型将2D全景环视图像转换为车辆坐标系下的地面点云；

第三功能模块是将目标点云，车模点云和地面点云统一于车辆坐标系下并做可视化处理从而生成3D全景环视图像。

该发明还提供了一种用于图像与深度信息融合的3D增强全景环视系统的实现方法，其特征在于，具体包括以下步骤：

步骤1、根据深度相机的彩色图像和深度图像生成车辆坐标系下的目标点云；

步骤2、根据鱼眼相机的广视角图像生成车辆坐标系下的地面点云；

步骤3、生成深度信息与图像信息融合的3D全景环视图像；车模点云根据车模的三维模型下采样1000倍生成；利用PCL点云处理库将车辆坐标系下的目标点云，地面点云和车模点云统一在同一个车辆中心为坐标原点的坐标系中并做可视化显示。

进一步地，步骤1具体包括：

步骤1.1、标定深度相机中的彩色相机的和深度传感器的焦距(f_x,f_y)、光心坐标(c_x,c_y)和畸变系数(k₁,k₂,k₃,p₁,p₂)，用于修正彩色图像和深度图像的畸变；

相机的畸变模型由公式(1)-(2)所示：

式中:x,y为无畸变点的坐标，x′,y′为畸变点的坐标，k₁,k₂,k₃为径向畸变参数，p₁,p₂为切向畸变参数，r²＝x²+y²。

步骤1.2、标定彩色相机和深度传感器之间的相对位姿T_r用于找到彩色图像与深度图像的对应关系；

步骤1.3、生成目标点云；利用目标检测器对彩色图像进行目标检测；

步骤1.4、标定深度相机的位置外参T，用于将目标点云转换到车辆坐标系下。

进一步地，步骤2具体包括：

步骤2.1、生成2D全景环视图像，具体包括以下三个步骤：鱼眼图像畸变矫正，系统标定和图像融合；

步骤2.2、生成地面点云，将2D全景图像看作是由车辆中心处一个垂直于地面的虚拟相机生成的，因此利用虚拟相机的内参焦距(f_{v_x},f_{v_y})、(c_{v_x},c_{v_y})和车辆中心到地面的距离z₀按照相机模型将2D全景图像转换为车辆坐标系下的地面点云；

虚拟相机的内参可由图像宽高(w,h)和图像宽高对应的真实距离计算(x,y)可得，其中c_{v_x}＝w/2，c_{v_y}＝h/2，f_{v_x}＝z₀(w-c_{v_x})/x，f_{v_y}＝z₀(h-c_{v_y})/y。

本发明的有益效果为：

1、该系统通过将深度信息与图像信息融合将目标物体和地面都转换为点云并统一于车辆坐标系下，消除了普通全景环视系统中物体畸变较大的情况，并且能够得到行驶中物体与车辆的实时距离，提高了驾驶的安全性和体验感。

2、统一于车辆坐标系下的车模点云，目标物体点云和地面点云可以任意视角进行投影显示，可视化效果好，便于驾驶员观察车辆周围的环境。

3、通过对深度相机彩色图像的目标检测，缩小了目标点云的生成范围，既提升了点云生成的效率，又有效地避免了噪点的干扰。

4、利用虚拟相机技术将2D全景环视图像转化为地面点云，可以方便地与车模点云和目标点云组合，从而生成同一个坐标系下3D全景环视点云。

附图说明

图1是深度信息与图像信息融合的3D增强全景环视系统传感器及处理器布置图。

图2是深度信息与图像信息融合的3D增强全景环视系统工作流程图。

图3是车辆坐标系下的目标点云生成原理图。

图4是深度相机位置外参标定装置图。

图5是车辆坐标系下的地面点云生成原理图。

具体实施方式

以下将结合附图1-5对本发明作进一步详细的阐述。

如图1所示，该实施例提供一种用于图像与深度信息融合的3D增强全景环视系统。该3D增强全景环视系统包括四个鱼眼相机，十二个深度相机，一个处理器。

其中四个鱼眼相机和四个深度相机分别设置在车头中间，车尾中间及车辆两侧后视镜处；

车头左右两侧各加装一个深度相机、车尾左右两侧各加装一个深度相机，车身左右两侧各加装两个深度相机；

所述的鱼眼相机：实时捕捉视场角不小于180度的车辆周围影像信息，由相机内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号。

所述的深度相机：集成了彩色相机和深度传感器，可以同时采集彩色图像和对应的深度图像。

所述的处理器：为NVIDIA TX2处理器，用于处理鱼眼相机的畸变图像和深度相机的彩色图像和深度图像，生成图像信息与深度信息融合的3D增强全景环视系统。

如图2所示，为该系统的工作流程图。该系统主要分为三个功能模块：其中第一功能模块是利用深度相机生成的深度图像和彩色图像生成点云。为了提升点云系信息的有效性和减少系统的计算负载，该系统首先利用卷积神经网络提取彩色图像中常见物体(比如车辆，行人等)，然后再结合对应的深度图像和深度相机的安装位置生成车辆坐标系下的目标点云，最后对目标点云进行聚类以减少噪点；第二功能模块是利用鱼眼相机生成的广视角图像生成2D全景环视图像，然后根据虚拟相机模型将2D全景环视图像转换为车辆坐标系下的地面点云；第三功能模块是将目标点云，车模点云和地面点云统一于车辆坐标系下并做可视化处理从而生成3D全景环视图像。

该实施例还提供了一种利用上述车辆3D增强全景环视系统具体实现的方法，具体包括以下步骤：

步骤1、根据深度相机的彩色图像和深度图像生成车辆坐标系下的目标点云。如图3所示，为该步骤的原理图。

步骤1.1、标定深度相机中的彩色相机的和深度传感器的焦距(f_x,f_y)、光心坐标(c_x,c_y)和畸变系数(k₁,k₂,k₃,p₁,p₂)用于修正彩色图像和深度图像的畸变。

相机的畸变模型由公式(1)-(2)所示。该实例利用张正友棋盘格标定法分别获得彩色相机和深度传感器的上述内参。

式中:x,y为无畸变点的坐标，x′,y′为畸变点的坐标，k₁,k₂,k₃为径向畸变参数，p₁,p₂为切向畸变参数，r²＝x²+y²。

步骤1.2、标定彩色相机和深度传感器之间的相对位姿T_r用于找到彩色图像与深度图像的对应关系。深度相机标定过程中使用的4个坐标系{C},{D},{V}和{W}分别为彩色摄像机，深度摄像机的参考坐标系，标定平板参考坐标系，标定棋盘参考坐标系。假设{C}、{D}、{V}和{W}中任意2个坐标系间的相对位姿矩阵记为T＝{R，t}，则一个坐标系中的点可通过相对位姿矩阵变换到另一个坐标系。以坐标系{D}和{C}为例，{D}中一点X_d变换到彩色摄像机坐标系{C}中对应的坐标X_c为

X_c＝R_rX_d+t_r (3)

式中:R_r为旋转变换矩阵；t_r为平移向量。

利用参考坐标系{V}和{W}的共面关系，计算每幅图像中标定板的平面方程并将其视为约束方程。通过n^Tx-δ＝0定义平面方程，其中n为单位法向量，δ为平面到坐标系{C}原点的距离，计算彩色相机和深度传感器之间的相对位姿T_r。

步骤1.3、生成目标点云。利用基于YOLOv3的目标检测器对彩色图像进行目标检测。每一个检测的目标可由一个2D的边界框

表示。根据步骤1.2标定得到的彩色相机与深度传感器之间的相对位姿T_r获得2D边界框内每个像素对应的深度值d.按照公式(4)可以计算边界框内的图像在相机坐标系的点云。

式中(c_x,c_y)，(f_x,f_y)为步骤1.2标定的彩色相机的光心坐标和焦距。

由于由2D目标框生成的点云只是一个大概的目标区域，包含了一些噪声点，因此该系统采用DBSCAN聚类方法对目标框生成的点云进行聚类，并移除点云数目小于20的类别。

步骤1.4、标定深度相机的位置外参T，用于将目标点云转换到车辆坐标系下。由于安装误差的存在，深度相机在车辆坐标系下的安装位置不能准确确定，因此该系统设计了一种用于标定深度相机位置外参的标定装置。如图4所示，该标定装置包括一个支架和垂直支架安装的高分辨率彩色相机。当标定深度相机位置外参时，将标定装置移至深度相机旁，然后测量标定装置相对于车辆中心的位姿T₁。深度相机初始的位姿T₀可由安装位置确定。深度相机与标定装置的相对位姿T₀₁可由公式(5)计算得到。最后按照Schiller的标定方法用同一个标定板对深度相机和标定装置进行联合标定获得提升的相对位姿T₀₁′，从而利用标定装置的位姿计算出深度相机的位姿T。

T₀₁＝T₀ ^-1T₁ (5)

步骤2、根据鱼眼相机的广视角图像生成车辆坐标系下的地面点云。如图5所示，为该步骤的原理图。

步骤2.1、2D全景环视图像的生成。全景环视图像的生成主要包括以下三个步骤：鱼眼图像畸变矫正，系统标定和图像融合。该系统首先采用一种改进的基于径向畸变的模型对鱼眼图像进行畸变矫正。然后利用车辆周围的标定布获得转为俯视图的透视变换矩阵，并根据透视变换矩阵将4幅矫正的图像转换为鸟瞰图。此外为了进一步提高实时性，该系统才有查找表的方法同时实现鱼眼图像的矫正和透视变换。最后，循环颜色调整法和局部权重插值法被用来对全景图像进行融合从而生成2D全景环视图像。

步骤2.2、地面点云的生成。该系统将2D全景图像看作是由车辆中心处一个垂直于地面的虚拟相机生成的，因此可以利用虚拟相机的内参焦距(f_{v_x},f_{v_y})、(c_{v_x},c_{v_y})和车辆中心到地面的距离z₀按照相机模型将2D全景图像转换为车辆坐标系下的地面点云。虚拟相机的内参可由图像宽高(w,h)和图像宽高对应的真实距离计算(x,y)可得，其中c_{v_x}＝w/2，c_{v_y}＝h/2，f_{v_x}＝z₀(w-c_{v_x})/x，f_{v_y}＝z₀(h-c_{v_y})/y。

步骤3、深度信息与图像信息融合的3D全景环视图像的生成。车模的点云根据车模的三维模型下采样1000倍生成。最后利用PCL点云处理库将车辆坐标系下的目标点云，地面点云和车模统一在同一个车辆中心为坐标原点的坐标系中并做可视化显示。了便于驾驶员观察，用于显示的点云可按照任意角度进行投影至中控显示屏上显示。

虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims (5)

1.一种用于图像与深度信息融合的3D增强全景环视系统，包括鱼眼相机，深度相机和处理器，其特征在于：

四个鱼眼相机和四个深度相机分别设置在车头中间，车尾中间及车辆两侧后视镜处；

车头左右两侧各加装一个深度相机、车尾左右两侧各加装一个深度相机，车身左右两侧各加装两个深度相机；其中：

所述鱼眼相机实时捕捉视场角不小于180度的车辆周围影像信息，由相机内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号；所述深度相机集成了彩色相机和深度传感器，能够同时采集彩色图像和对应的深度图像；所述处理器为NVIDIA TX2处理器，用于处理鱼眼相机的畸变图像和深度相机的彩色图像和深度图像，生成图像信息与深度信息融合的3D增强全景环视系统。

2.根据权利要求1所述的用于图像与深度信息融合的3D增强全景环视系统，其特征在于：该3D增强全景环视系统通过三个功能模块进行工作，其中：

第一功能模块是利用深度相机生成的深度图像和彩色图像生成点云；通过利用卷积神经网络提取彩色图像中常见物体，然后再结合对应的深度图像和深度相机的安装位置生成车辆坐标系下的目标点云，最后对目标点云进行聚类以减少噪点；

第二功能模块是利用鱼眼相机生成的广视角图像生成2D全景环视图像，然后根据虚拟相机模型将2D全景环视图像转换为车辆坐标系下的地面点云；

第三功能模块是将目标点云，车模点云和地面点云统一于车辆坐标系下并做可视化处理从而生成3D全景环视图像。

3.一种权利要求1-2所述的用于图像与深度信息融合的3D增强全景环视系统的实现方法，其特征在于，具体包括以下步骤：

步骤1、根据深度相机的彩色图像和深度图像生成车辆坐标系下的目标点云；

步骤2、根据鱼眼相机的广视角图像生成车辆坐标系下的地面点云；

步骤3、生成深度信息与图像信息融合的3D全景环视图像；车模点云根据车模的三维模型下采样1000倍生成；利用PCL点云处理库将车辆坐标系下的目标点云，地面点云和车模点云统一在同一个车辆中心为坐标原点的坐标系中并做可视化显示。

4.根据权利要求3所述的用于图像与深度信息融合的3D增强全景环视系统的实现方法，其特征在于：步骤1具体包括：

步骤1.1、标定深度相机中的彩色相机的和深度传感器的焦距(f_x,f_y)、光心坐标(c_x,c_y)和畸变系数(k₁,k₂,k₃,p₁,p₂)，用于修正彩色图像和深度图像的畸变；

相机的畸变模型由公式(1)-(2)所示：

式中:x,y为无畸变点的坐标，x′,y′为畸变点的坐标，k₁,k₂,k₃为径向畸变参数，p₁,p₂为切向畸变参数，r²＝x²+y²。

步骤1.2、标定彩色相机和深度传感器之间的相对位姿T_r用于找到彩色图像与深度图像的对应关系；

步骤1.3、生成目标点云；利用目标检测器对彩色图像进行目标检测；

步骤1.4、标定深度相机的位置外参T，用于将目标点云转换到车辆坐标系下。

5.根据权利要求3所述的用于图像与深度信息融合的3D增强全景环视系统的实现方法，其特征在于：步骤2具体包括：

步骤2.1、生成2D全景环视图像，具体包括以下三个步骤：鱼眼图像畸变矫正，系统标定和图像融合；

步骤2.2、生成地面点云，将2D全景图像看作是由车辆中心处一个垂直于地面的虚拟相机生成的，因此利用虚拟相机的内参焦距(f_{v_x},f_{v_y})、(c_{v_x},c_{v_y})和车辆中心到地面的距离z₀按照相机模型将2D全景图像转换为车辆坐标系下的地面点云；

虚拟相机的内参可由图像宽高(w,h)和图像宽高对应的真实距离计算(x,y)可得，其中c_{v_x}＝w/2，c_{v_y}＝h/2，f_{v_x}＝z₀(w-c_{v_x})/x，f_{v_y}＝z₀(h-c_{v_y})/y。

Images