CN103617647B - 一种用于夜视的车辆周围环境三维重构方法 - Google Patents

Abstract

本发明公开了一种用于夜视的车辆周围环境三维重构方法，技术方案是构建基于三维激光雷达传感器的夜视系统，该系统由车载三维激光雷达传感器、计算机、显示器和由环境网格模型生成模块及模型颜色渲染模块组成的三维重构软件组成；环境网格模型生成模块由三维点云生成环境高度图，对环境高度图进行三角面片化，生成三角网格环境模型；模型颜色渲染模块对三角网格环境模型中每个三角面片的着色，生成三维重构图像并由显示器显示。采用本发明能生成车辆周围的三维渲染地形，使重构的颜色更接近人眼的视觉感，且对驾驶员的视野盲区进行显示增强，使驾驶员在无光下仍然有很好的视野，满足夜间驾驶的需求。

Description

一种用于夜视的车辆周围环境三维重构方法

技术领域

本发明涉及图形图像处理领域，具体地涉及一种用于夜视的车辆周围环境三维重构方法。

背景技术

据统计，道路交通事故有80%以上发生在夜间，而大多数重大交通事故和逃逸案件都发生在夜间。夜间行驶最大的安全隐患是由于夜间微光或无光条件下存在许多视觉盲区，使得驾驶员无法充分观察和掌握道路走向，并且很难将车辆周围的所有具有威胁的障碍（如护栏、巨石、行人、沟渠和前向车辆等）全部掌握，导致事故频发。因此，针对车辆在夜间微光或无光条件下驾驶中存在的问题，开发相应的车辆周围环境的场景增强系统，能够有效的提高夜间行车的安全性。

在军事行动中，为了躲避敌方卫星的侦查，车辆（如导弹车、坦克、装甲车及运输车）需要在夜间无光的环境中进行机动；为了达到隐蔽性目的，这些车辆大多时候都要在道路结构复杂的环境中进行机动。这些限制因素综合起来，对军用车辆的驾驶带来了极大的挑战。

目前，用于车辆夜间辅助驾驶的传感器主要有：高动态摄像机、微光夜视仪和红外夜视仪。高动态摄像机成本低，夜间使用需要配合辅助照明，并且需要额外的对比度增强和强光抑制算法配合，鲁棒性不强；微光夜视仪具有体积小、重量轻和工作安全性很高的优点，但是其作用距离和观察效果受环境影响很大，在无光环境下不可用；主动式红外夜视图像有图像较为清晰、对比度大的优点，但其需要主动红外照明，存在特征暴露风险，且其受环境影响较大，怕强光直射。

传统的激光雷达数据可视化方法主要有以下两种：一是直接表示法，即将激光雷达数据转换为三维点云显示或者按照数据的逻辑关系生成二维深度图显示，这种显示方法高度抽象，人无法直接理解其含义；二是栅格地图表示法，即将数据投影到二维栅格地图，并按照栅格的某个属性对栅格赋以颜色后显示，这种方法生成的模型在空间上不连续，且着色方法不符合人类的理解方法。

综上所述，目前的夜视方法普遍存在分辨率不高、对比度不强和边缘不清晰的缺点，难以适应无光或微光的夜间环境，且受强光的影响很大，不能满足辅助驾驶员在夜间驾驶的全部需求。

发明内容

本发明要解决的技术问题是提供一种用于夜视的车辆周围环境三维重构方法，通过此方法构建车辆周围的三维环境，为驾驶员提供驾驶辅助，使驾驶员在无光下仍然有很好的视野，并且对驾驶员的视野盲区进行显示增强。

本发明的技术方案如下：

第一步，构建基于三维激光雷达传感器的夜视系统，该系统的硬件由车载三维激光雷达传感器（帧率10Hz以上，输出大于50万点/秒）、计算机及显示器组成；该系统的软件为三维重构软件，由环境网格模型生成模块及模型颜色渲染模块组成。三维激光雷达传感器实时监测和感知车辆周围环境，将从周围环境获得的三维点云按固定的格式发给计算机；计算机装有三维重构软件，三维重构软件对计算机收到的激光雷达三维点云进行三维重构，生成车辆周围三维环境图像，最后将三维环境图像转换成视频流输出给显示器；显示器将视频流在屏幕上显示。在三维重构软件中，环境网格模型生成模块首先由三维点云生成环境高度图，然后对环境高度图进行三角面片化，生成三角网格环境模型，并将三角网格环境模型发送给模型颜色渲染模块；模型颜色渲染模块计算三角网格环境模型中每个三角面片的颜色后生成三维重构图像并输出给显示器。

第二步，环境网格模型生成模块首先由三维点云生成环境高度图，然后对环境高度图进行三角面片化，生成三角网格环境模型，步骤是：

步骤2.1，使用Pfaff等于2007年在《机器人研究》（TheInternationalJournalofRoboticResearch）杂志上发表的《用于户外地形建模和循环闭合的有效扩展高度图》一文中提出的扩展高度图方法建立环境高度图P_gm。环境高度图P_gm实质上是2.5维等间距栅格地图，其数据组织结构为二维结构体，每个二维结构体代表一个栅格，有四个属性组成，分别记为x、y、z、ocp，x和y表示栅格的中心在XY平面上的坐标，z表示栅格的高度，ocp表示栅格是否有投影或者被插值。建立的环境高度图具体参数如下：地图X方向范围为(-30m,30m)，Y方向范围为(-30m,30m)，每个栅格的占据空间为20×20cm²；

步骤2.2，使用Der-TsaiLee等于1980年在《计算机与信息科学》（InternationalJournalofComputerandInformationSciences）杂志上发表的《构建Delaunay三角划分的两种方法》一文中提到的Delaunay三角划分方法对环境高度图P_gm进行三角划分生成三角网格环境模型E_m＝{s₁,s₂,...,s_i,...,s_n}，n为三角面片的总个数。E_m从数据组织结构上为一维结构体，结构体s_i表示一个三角面片，包含三个顶点和一个颜色属性，分别记为p_i1、p_i2、p_i3和c_i，i为整数且1≤i≤n；

第三步，模型颜色渲染模块按照预定光照模型对三角网格环境模型中每个三角面片的着色，生成三维重构图像并显示，步骤是：

步骤3.1，令i＝1；

步骤3.2，计算汽车虚拟大灯到三角面片s_i的入射光强LI_i和入射光方向v_i，当三角面片足够小的时候（面积小于0.1m²），照射在三角面片上每个区域的光近似等于照射在三角面片中心点上的光；

步骤3.2.1，由公式（1）计算三角面片s_i的中心点Q_i；

Q_i＝(p_i1+p_i2+p_i3)/3公式（1）

步骤3.2.2，由公式（2）计算虚拟大灯到三角面片s_i的距离L_i；

L_i＝|P₀-Q_i|公式（2）

步骤3.2.3，由公式（3）计算入射光方向v_i；

$v_i=\frac{P_0-Q_i}{L_i}$ 公式（3）

步骤3.2.4，由公式（4）计算虚拟大灯光轴与虚拟大灯到三角面片s_i入射光的夹角A_i，其中P₀＝[0,1,0]^T为虚拟大灯的位置，n₀＝[0,1,0]^T为虚拟大灯的光轴单位方向；

$A_i=\arccos \frac{(P_0-Q_i)\·n_0}{L_i}$ 公式（4）

步骤3.2.5，由公式（5）（6）分别计算距离衰减系数DA_i和角度衰减系数AA_i，其中D_th表示虚拟大灯的灯光最远传播距离，一般取D_th＝50，A_th表示虚拟大灯的散射锥角，一般取A_th＝75；

${\mathrm{DA}}_i=\left\{\begin{array}{c}\frac{D_{\mathrm{th}}-L_i}{D_{\mathrm{th}}},L_i<D_{\mathrm{th}}\\ 0,L_i\&GreaterEqual;D_{\mathrm{th}}\end{array}\right.$ 公式（5）

${\mathrm{AA}}_i=\left\{\begin{array}{c}\frac{A_{\mathrm{th}}-\left|A_i\right|}{A_{\mathrm{th}}},\left|A_i\right|<A_{\mathrm{th}}\\ 0,\left|A_i\right|\&GreaterEqual;A_{\mathrm{th}}\end{array}\right.$ 公式（6）

步骤3.2.6，由公式（7）计算照射到三角片面s_i的光强LI_i，其中L_light为虚拟大灯的发光光强，一般取L_light＝2。

LI_i＝L_light·DA_i·AA_i公式（7）

步骤3.3，计算人眼接收的由三角面片s_i反射的光强；

步骤3.3.1，由公式（8）计算三角面片s_i的面法向量N_i，其中运算因子×表示向量的叉乘；

N_i＝(p_i3-p_i1)×(p_i2-p_i1)公式（8）

步骤3.3.2，由公式（9）计算入射光方向v_i和三角面片面法向量N_i之间的夹角余弦cos(θ_i)；

$\cos \left({\mathrm{\&theta;}}_i\right)=\frac{v_i\&CenterDot;N_i}{\left|N_i\right|}$ 公式（9）

步骤3.3.3，计算v_i的反方向关于N_i的单位镜像R_i，R_i即为反射光方向；

步骤3.3.4，由公式（10）计算观察方向V_i，并由公式（11）反射光方向R_i和观察方向V_i之间的夹角余弦其中H₀为观察者得位置；

$V_i=\frac{Q_i-H_0}{|Q_i-H_0|}$ 公式（10）

公式（11）

步骤3.3.5，由公式（12）计算观察者从三角面片s_i接收的反射光强LO_i，其中Kd为漫反射系数，一般取Kd＝0.3，Km为镜面反射系数，一般取Km＝0.8。

公式（12）

步骤3.4，由公式（13）计算三角面片s_i的颜色c_i。若c_i＞255，则令c_i＝255；

c_i＝255·LO_i ^1.5公式（13）

步骤3.5，若i＞n，转步骤3.6；否则令i＝i+1并转步骤3.2；

步骤3.6，将着色后的三角网格环境模型E_m生成三维重构图像输出给显示器。

采用本发明可以达到以下有益效果：

1、本发明通过建立光照模型和光反射模型，模拟了光产生、传播、反射和接收的全过程，使重构的颜色更接近人眼的视觉感；

2、采用本发明能生成车辆周围的三维渲染地形，对于路面和障碍的分辨清晰，图像具有分辨率高、对比度强和边缘清晰的优点，可以满足夜间驾驶的需求。

附图说明

图1是本发明第一步构建的基于三维激光雷达传感器的夜视系统的逻辑结构图；

图2是本发明总体流程图；

图3是本发明第三步中所用的方法的原理示意图；

图4是本发明第三步的流程图；

图5是本发明三维重构图像与原始雷达图像的对比图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

图1是本发明第一步构建的基于三维激光雷达传感器的夜视系统的逻辑结构图。该系统的硬件由车载三维激光雷达传感器（帧率10Hz以上，输出大于50万点/秒）、计算机及显示器组成；该系统的软件为三维重构软件，由环境网格模型生成模块及模型颜色渲染模块组成。三维激光雷达传感器实时监测和感知车辆周围环境，将从周围环境获得的三维点云按固定的格式发给计算机；计算机装有三维重构软件，三维重构软件对计算机收到的激光雷达三维点云进行三维重构，生成车辆周围三维环境图像，将三维环境图像转换成视频流输出给显示器；显示器将视频流在屏幕上显示。在三维重构软件中，环境网格模型生成模块首先由三维点云生成环境高度图，然后对环境高度图进行三角面片化，生成三角网格环境模型，并将三角网格环境模型发送给模型颜色渲染模块；模型颜色渲染模块计算三角网格环境模型中每个三角面片的颜色后生成三维重构图像并输出给显示器。

本发明的总体流程图如图2所示。其流程如下：

第一步，构建基于三维激光雷达传感器的夜视系统；

第二步，三维重构软件接收从三维激光雷达回传的三维点云，环境网格模型生成模块使用三维点云生成环境高度图，之后对环境高度图进行三角面片化，生成三角网格环境模型，并将三角网格环境模型发送给模型颜色渲染模块；

第三步，模型颜色渲染模块按照预定光照模型对三角网格环境模型中每个三角面片的着色，生成三维重构图像并显示。

图3为中心点为Q_i＝(x_i,y_i,z_i)的三角面片s_i的模拟大灯光入射反射示意图，N_i为三角面片s_i面法向量，LI_i为入射光，V_i为观察方向，θ_i为入射光LI_i与面法向量N_i的夹角，为反射光LO_i与观察方向V_i的夹角。光由LI_i的方向入射，在三角面片s_i的中心点Q_i处发生漫反射与镜面反射，其中漫反射方向为全方向，大小和入射光与面法向量的夹角相关，镜面反射方向为LO_i的方向，大小和入射光与面法向量的夹角相关。在观察方向V接收反射光，该反射光由两部分组成，分别为漫反射光L_d与镜面反射光L_m。其中，L_d＝LI_i·Kd·cosθ_i（漫反射光强度等于入射光强度乘以漫反射系数和入射光与面法向量的夹角的余弦），（镜面反射光强度等于入射光强度乘以镜面反射系数和反射光与观察向量的夹角的余弦的k次幂，k常取4）。因此，在观察方向V接收的反射光强度可以表示为：图4是本发明方法第三步的流程图。

第三步，模型颜色渲染模块按照预定光照模型对三角网格环境模型中每个三角面片的着色，生成三维重构图像并显示，其步骤是：

步骤3.1，令i＝1；

步骤3.2，计算汽车虚拟大灯到三角面片s_i的入射光强LI_i和入射光方向v_i，当三角面片足够小的时候（面积小于0.1m²），照射在三角面片上每个区域的光都等于照射在三角面片中心点上的光；

步骤3.2.1，由公式（1）计算三角面片s_i的中心点Q_i；

步骤3.2.2，由公式（2）计算虚拟大灯到三角面片s_i的距离L_i；

步骤3.2.3，由公式（3）计算入射光方向v_i；

步骤3.2.4，由公式（4）计算虚拟大灯光轴与虚拟大灯到三角面片s_i入射光的夹角A_i，其中P₀＝[0,1,0]^T为虚拟大灯的位置，n₀＝[0,1,0]^T为虚拟大灯的光轴单位方向；

步骤3.2.5，由公式（5）（6）分别计算距离衰减系数DA_i和角度衰减系数AA_i，其中D_th表示虚拟大灯的灯光最远传播距离，一般取D_th＝50，A_th表示虚拟大灯的散射锥角，一般取A_th＝75；

步骤3.2.6，由公式（7）计算照射到三角片面s_i的光强LI_i，其中L_light为虚拟大灯的发光光强，一般取L_light＝2。

Q_i＝(p_i1+p_i2+p_i3)/3公式（1）

L_i＝|P₀-Q_i|公式（2）

$v_i=\frac{P_0-Q_i}{L_i}$ 公式（3）

$A_i=\arccos \frac{(P_0-Q_i)\&CenterDot;n_0}{L_i}$ 公式（4）

${\mathrm{DA}}_i=\left\{\begin{array}{c}\frac{D_{\mathrm{th}}-L_i}{D_{\mathrm{th}}},L_i<D_{\mathrm{th}}\\ 0,L_i\&GreaterEqual;D_{\mathrm{th}}\end{array}\right.$ 公式（5）

${\mathrm{AA}}_i=\left\{\begin{array}{c}\frac{A_{\mathrm{th}}-\left|A_i\right|}{A_{\mathrm{th}}},\left|A_i\right|<A_{\mathrm{th}}\\ 0,\left|A_i\right|\&GreaterEqual;A_{\mathrm{th}}\end{array}\right.$ 公式（6）

LI_i＝L_light·DA_i·AA_i公式（7）

步骤3.3，计算人眼接收的由三角面片s_i反射的光强；

步骤3.3.1，由公式（8）计算三角面片s_i的面法向量N_i，其中运算因子×表示向量的叉乘；

步骤3.3.2，由公式（9）计算入射光方向v_i和三角面片面法向量N_i之间的夹角余弦cos(θ_i)；

步骤3.3.3，计算v_i的反方向关于N_i的单位镜像R_i，R_i即为反射光方向；

步骤3.3.4，由公式（10）计算观察方向V_i，并由公式（11）反射光方向R_i和观察方向V_i之间的夹角余弦其中H₀为观察者得位置；

步骤3.3.5，由公式（12）计算观察者从三角面片s_i接收的反射光强LO_i，其中Kd为漫反射系数，一般取Kd＝0.3，Km为镜面反射系数，一般取Km＝0.8。

N_i＝(p_i3-p_i1)×(p_i2-p_i1)公式（8）

$\cos \left({\mathrm{\&theta;}}_i\right)=\frac{v_i\&CenterDot;N_i}{\left|N_i\right|}$ 公式（9）

$V_i=\frac{Q_i-H_0}{|Q_i-H_0|}$ 公式（10）

公式（11）

公式（12）

步骤3.4，由公式（13）计算三角面片s_i的颜色c_i。若c_i＞255，则令c_i＝255；

c_i＝255·LO_i ^1.5公式（13）

步骤3.5，若i＞n，转步骤3.6；否则令i＝i+1并转步骤3.2；

步骤3.6，将着色后的三角网格环境模型E_m生成三维重构图像输出给显示器。

图5是本发明的输出三维重构图像与三维点云的对比图。左侧为三维点云，右侧为采用本方法进行三维重构后的图像。由左图可以看出，三维点云图不连续，在空间上存在很多的空洞，且垂直障碍（白色椭圆内的电线杆）很难辨认；在右图中，环境由相连的三角面片组成，因此三维重构图像像素连续，垂直障碍（白色椭圆内的电线杆）清晰可辨。因此，本方法的处理结果分辨率高、对比度强并且边缘清晰，能够很好得辅助驾驶员在恶劣光照条件下驾驶。

Claims (4)

1.一种用于夜视的车辆周围环境三维重构方法，其特征在于包括以下步骤：

第一步，构建基于三维激光雷达传感器的夜视系统，该系统的硬件由车载三维激光雷达传感器、计算机及显示器组成；该系统的软件为三维重构软件，由环境网格模型生成模块及模型颜色渲染模块组成；三维激光雷达传感器实时监测和感知车辆周围环境，将从周围环境获得的三维点云按固定的格式发给计算机；计算机装有三维重构软件，三维重构软件对计算机收到的激光雷达三维点云进行三维重构，生成车辆周围三维环境图像，最后将三维环境图像转换成视频流输出给显示器；显示器将视频流在屏幕上显示；在三维重构软件中，环境网格模型生成模块首先由三维点云生成环境高度图，然后对环境高度图进行三角面片化，生成三角网格环境模型，并将三角网格环境模型发送给模型颜色渲染模块；模型颜色渲染模块计算三角网格环境模型中每个三角面片的颜色后生成三维重构图像并输出给显示器；

第二步，环境网格模型生成模块首先由三维点云生成环境高度图，然后对环境高度图进行三角面片化，生成三角网格环境模型，步骤是：

步骤2.1，使用Pfaff于2007年在《机器人研究》杂志上发表的《用于户外地形建模和循环闭合的有效扩展高度图》一文中提出的扩展高度图方法建立环境高度图P_gm，环境高度图P_gm是2.5维等间距栅格地图，其数据组织结构为二维结构体，每个二维结构体代表一个栅格，有四个属性组成，分别记为x、y、z、ocp，x和y表示栅格的中心在XY平面上的坐标，z表示栅格的高度，ocp表示栅格是否有投影或者被插值；

步骤2.2，使用Der-TsaiLee于1980年在《计算机与信息科学》杂志上发表的《构建Delaunay三角划分的两种方法》一文中提到的Delaunay三角划分方法对环境高度图P_gm进行三角划分生成三角网格环境模型E_m＝{s₁,s₂,...,s_i,...,s_n}，n为三角面片的总个数；E_m从数据组织结构上为一维结构体，结构体s_i表示一个三角面片，包含三个顶点和一个颜色属性，分别记为p_i1、p_i2、p_i3和c_i，i为整数且1≤i≤n；

第三步，模型颜色渲染模块按照预定光照模型对三角网格环境模型中每个三角面片的着色，生成三维重构图像并显示，步骤是：

步骤3.1，令i＝1；

步骤3.2，计算汽车虚拟大灯到三角面片s_i的入射光强LI_i和入射光方向v_i，当三角面片面积小于0.1m²时，照射在三角面片上每个区域的光近似等于照射在三角面片中心点上的光；

步骤3.2.1，由公式(1)计算三角面片s_i的中心点Q_i；

Q_i＝(p_i1+p_i2+p_i3)/3公式(1)

步骤3.2.2，由公式(2)计算虚拟大灯到三角面片s_i的距离L_i；

L_i＝|P₀-Q_i|公式(2)

步骤3.2.3，由公式(3)计算入射光方向v_i；

$v_i=\frac{P_0-Q_i}{L_i}$ 公式(3)

步骤3.2.4，由公式(4)计算虚拟大灯光轴与虚拟大灯到三角面片s_i入射光的夹角A_i，其中P₀＝[0,1,0]^T为虚拟大灯的位置，n₀＝[0,1,0]^T为虚拟大灯的光轴单位方向；

$A_i=arccos\frac{(P_0-Q_i)\&CenterDot;n_0}{L_i}$ 公式(4)

步骤3.2.5，由公式(5)(6)分别计算距离衰减系数DA_i和角度衰减系数AA_i，其中D_th表示虚拟大灯的灯光最远传播距离，A_th表示虚拟大灯的散射锥角；

${\mathrm{DA}}_i=\left\{\begin{array}{c}\frac{D_{th}-L_i}{D_{th}},L_i<D_{th}\\ 0,L_i\&GreaterEqual;D_{th}\end{array}\right.$ 公式(5)

${\mathrm{AA}}_i=\left\{\begin{array}{c}\frac{A_{th}-\left|A_i\right|}{A_{th}},\left|A_i\right|<A_{th}\\ 0,\left|A_i\right|\&GreaterEqual;A_{th}\end{array}\right.$ 公式(6)

步骤3.2.6，由公式(7)计算照射到三角片面s_i的光强LI_i，其中L_light为虚拟大灯的发光光强，

LI_i＝L_light·DA_i·AA_i公式(7)

步骤3.3，计算人眼接收的由三角面片s_i反射的光强；

步骤3.3.1，由公式(8)计算三角面片s_i的面法向量N_i，其中运算因子×表示向量的叉乘；

N_i＝(p_i3-p_i1)×(p_i2-p_i1)公式(8)

步骤3.3.2，由公式(9)计算入射光方向v_i和三角面片面法向量N_i之间的夹角余弦cos(θ_i)；

$cos\left({\mathrm{\&theta;}}_i\right)=\frac{v_i\&CenterDot;N_i}{\left|N_i\right|}$ 公式(9)

步骤3.3.3，计算v_i的反方向关于N_i的单位镜像R_i，R_i即为反射光方向；

步骤3.3.4，由公式(10)计算观察方向V_i，并由公式(11)反射光方向R_i和观察方向V_i之间的夹角余弦其中H₀为观察者的位置；

$V_i=\frac{Q_i-H_0}{|Q_i-H_0|}$ 公式(10)

公式(11)

步骤3.3.5，由公式(12)计算观察者从三角面片s_i接收的反射光强LO_i，其中Kd为漫反射系数，Km为镜面反射系数，

(公式12)

步骤3.4，由公式(13)计算三角面片s_i的颜色c_i，若c_i＞255，则令c_i＝255；

c_i＝255·LO_i ^1.5公式(13)

步骤3.5，若i＞n，转步骤3.6；否则令i＝i+1并转步骤3.2；

步骤3.6，将着色后的三角网格环境模型E_m生成三维重构图像输出给显示器。

2.如权利要求1所述的一种用于夜视的车辆周围环境三维重构方法，其特征在于所述车载三维激光雷达传感器要求帧率10Hz以上，输出大于50万点/秒。

3.如权利要求1所述的一种用于夜视的车辆周围环境三维重构方法，其特征在于2.1步建立的环境高度图具体参数为：地图X方向范围为(-30m,30m)，Y方向范围为(-30m,30m)，每个栅格的占据空间为20×20cm²。

4.如权利要求1所述的一种用于夜视的车辆周围环境三维重构方法，其特征在于所述D_th＝50，A_th＝75，L_light＝2，Kd＝0.3，Km＝0.8。