CN104021588B - 一种实时恢复车辆三维真实模型的系统及方法 - Google Patents

Abstract

本发明涉及一种实时恢复车辆三维真实模型的系统及方法，属于智能交通领域，可应用于车辆信息管理以及涉及车辆的交通案件中。其中，该系统包含一个一维激光传感器和一个单目摄像头。整个建模过程分为两个部分：线下部分和线上部分。线下过程包括相机的自标定和激光器‑相机的互标定。线上过程为：1)激光信息和车辆视频信息的采集，2)信息间的同步，3)信息间的融合，4)生成车辆的三维模型点云，5)进行三角化连接和纹理映射。本发明方法生成的车辆三维模型相比传统的车辆三维建模方法具有实时性和逼真性，传统的车辆三维建模只是恢复了其简单的骨架模型，不包含丰富的纹理信息。

Description

一种实时恢复车辆三维真实模型的系统及方法

技术领域

本发明属于计算机视觉，计算机图形学方面和自动化等技术领域，具体涉及一种车辆三维建模的方法以及该方法中使用到的装置。

背景技术

现实世界中的任何物体都是三维的，在计算机中对车辆进行三维模型恢复具有现实意义。在智能交通领域，三维电子地图已经越来越多的出现在人们的视野中，那么三维车辆的模型也可以在地图中以其独特的风格更真实的展示给人们，其次，现在的交通事故频发，利用三维车辆的模型能够将交通事故的发生过程更真实的展示给人们，便于事故的调查取证。

传统的车辆三维建模主要是手工提取车辆的特征点，然后建立车辆的骨架模型；或者是通过建立车辆的通用模型，然后通过计算实际车量的参数加权通用模型，从而得到车辆的真实三维模型。这些方法都是简单的建立了车辆的骨架模型，精度不高、实时性不强且缺失真实的车辆纹理信息。

发明内容

针对现有车辆三维建模技术存在精度不高、实时性不强且缺失真实的车辆纹理信息的问题，本发明的目的在于提供一种能够在车辆行驶过程中恢复其三维模型的方案，并具有非常好的具有实时性和逼真性。

为了达到上述目的，本发明采用如下的技术方案：

方案之一，一种实时恢复车辆三维真实模型的系统，该系统包括：

车辆信息采集装置，所述车辆信息采集装置标定采集到的数据，建立高度-图像坐标的映射关系，并实时采集通过车辆的高度以及车辆视频信息；

图像信息配准模块，所述图像信息配准模块对车辆信息采集装置采集的平面图像进行配准，将不同时刻扫描到的点配准到一幅图像；

车辆三维点云生成模块，所述车辆三维点云生成模块根据图像信息配准模块的配准结果采样得到车辆的三维点云；

车辆纹理映射模块，所述车辆纹理映射模块根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模；

三维车辆模型显示模块，所述三维车辆模型显示模块显示车辆三维模型。

该系统的优选方案中，所述车辆信息采集装置包括采集的车辆高度数据的一维激光距离传感器和采集的车辆顶部平面图像的摄像头以及龙门架，所述龙门架容车辆通过，所述一维激光距离传感器和摄像头两者平行于地面水平安置在龙门架上，且垂直于龙门架。

进一步的，所述车辆信息采集装置中还包括用于标定激光器采集的车辆高度数据和摄像头采集的平面图像坐标的立体标定板，所述立体标定板的侧面为45度三角形，斜面为矩形，由正方形的棋盘格填充，棋盘格的边长一定。

方案之一，一种实时恢复车辆三维真实模型的方法，所述方法包括如下步骤：

(1)由经过标定的车辆信息采集装置获取通过车辆的高度数据以及同时间段的车辆视频信息；

(2)对采集到的车辆图像之间进行配准，将不同时刻扫描到的点配准到一幅图像；

(3)根据图像信息配准的结果采样得到车辆的三维点云；

(4)根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模并进行显示。

该方法的优选方案中，所述车辆信息采集装置的标定过程如下：

首先，利用立体标定板确定车辆信息采集装置中激光距离传感器扫描到的高度数据所对应的位置，以及确定该位置在车辆信息采集装置中摄像头捕捉到的图像中的坐标；

接着，通过摄像机的投影关系矩阵，建立高度和坐标之间的关系矩阵方程，完成对激光距离传感器和摄像头采集的数据之间进行标定，建立一个建立高度-图像坐标的映射关系。

进一步，所述步骤(2)中进行图像配准的过程如下：

(21)进行采集信息的时钟同步；

(22)确定参考图像，并通过SIFT特征提取和RANSAC滤波，得到待配准图像和参考图像之间的特征点对；

(23)通过这组点对建立RBF插值方程；

(24)通过该方程将激光扫描点在待配准图像中保存的对应位置投影到参考图像中的相对位置。

进一步的，所述步骤(3)中采样得到车辆的三维点云过程如下：

(31)将配准过激光扫描点的参考图像，通过张氏平面图像标定，将二维图像和世界坐标系之间建立对应关系；

(32)将配准好的参考图像中的激光扫描点对应到世界坐标系下，将参考图像按照实际的长宽比，进行坐标变换，采样出车辆的三维点云。

进一步的，所述步骤(4)中进行纹理映射的过程如下：

(41)对车辆的三维点云进行快速三角化；

(42)根据三维点云与纹理之间的映射关系，直接进行的纹理贴图并进行显示。

本发明方法生成的车辆三维模型相比传统的车辆三维建模方法具有实时性和逼真性，传统的车辆三维建模只是恢复了其简单的骨架模型，不包含丰富的纹理信息。本发明属于智能交通领域，可应用于车辆信息管理以及涉及车辆的交通案件中。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明中实时恢复车辆三维真实模型的系统的框图；

图2为本发明中标定板进行数据标定的原理图；

图3为本发明方法的流程图；

图4为本发明线下过程中激光高度数据和图像平面坐标信息之间互标定的原理图；

图5为本发明中采集通过车辆信息的原理图；

图6为本发明的实验结果图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1，其所示为本发明提供的用于实时恢复车辆三维真实模型的系统的框图。由图可知，该系统100主要由车辆信息采集装置101，图像信息配准模块102，车辆三维点云生成模块103，车辆纹理映射模块104以及三维车辆模型显示模块105组成。

其中，车辆信息采集装置101通过标定采集到的数据，建立高度-图像坐标的映射关系，并实时采集通过车辆的高度以及车辆视频信息。

该车辆信息采集装置101主要由一个一维激光器101a和一个单目摄像头101b以及龙门架101c组成，龙门架101c为整个采集装置的支架，其垂直于地面设置，且能够容车辆通过。

一维激光距离传感器101a(以下简称激光器)和单目摄像头101b为整个装置的信息采集部件，激光器点的频率一般会高于图像视频的采集频率。一维激光器101a用于扫描采集车辆的高度轮廓信息；单目摄像头101b用于采集车辆顶部的平面图像信息

一维激光器101a和摄像头101b两者平行于地面水平安置在龙门架101c上，且垂直于龙门架。

传感器和摄像头采集的数据可以通过有线和无线两种方式传输到工作电脑中。

再者，该车辆信息采集装置101中还包括一立体标定板101d，该立体标定板101d用于实现激光器采集的车辆高度数据和摄像头采集的平面图像坐标之间的互标定。

参加图2，该立体标定板101d为45度三角形立体标定板，其侧面为45度三角形，斜面为矩形，由正方形的棋盘格填充，棋盘格的边长一定。

由此，形成的三角形立体标定板，其底边具有45度的角，当激光器扫描到一个高度数据时可以方便的确定该高度所对应的标定板斜面的某一条线。

再者，该三角立体标定板的斜面为正方形的黑白棋盘格，其边界和角点在图像中可以清晰地提取出来。

本系统中的图像信息配准模块102，其用于对车辆信息采集装置采集的平面图像进行配准，将不同时刻扫描到的点配准到一幅图像。

车辆三维点云生成模块103，用于根据图像信息配准模块的配准结果采样得到车辆的三维点云。

车辆纹理映射模块104，其用于根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模。

三维车辆模型显示模块105，用于显示模块显示车辆三维模型。

基于上述的实时恢复车辆三维真实模型的系统，实现车辆行驶过程中恢复其三维模型的过程主要包括一维激光器和摄像头之间采集的数据之间的互标定、通过车辆的高度数据以及同时间段车辆视频信息的采集、车辆视频序列之间的配准(即车辆图像之间的配准)、三维点云的生成、及纹理映射和显示。

据此，整个具体实施过程可分为两个部分，线下过程和线上过程，其中线下过程是指在装置正式投入使用前事先做好的准备工作，这部分工作只需要进行一次；线上过程是指车辆经过该装置时生成三维模型的过程(参见图3)。

线下过程：

该过程在整个系统具体工作前进行，实现对激光传感器采集到的高度数据和摄像头采集的平面图像数据之间进行标定，从而建立一个高度-图像坐标(h-(x,y))的映射关系。

参见图4，根据摄像机和激光器之间的位置关系可以通过投影关系方程确定：

其中h为激光扫描得到的高度数据，(u，v)是激光扫描的点在图像中对应的坐标。

由此可以确定激光扫描得到的高度数据h与激光扫描的点在图像中对应的坐标(u，v)之间的关系是一个线性投影关系，且满足方程：

H*T＝I

其中，H为激光扫描到的高度数据，I为激光扫描的点在摄像机拍摄的视频图像中对应的坐标，T为所求的关系矩阵。

对此可以利用多次试验，以最小二乘的方法来求解方程中的未知项，该未知项即高度和坐标之间的标定结果。

其具体过程如下：

首先，将斜面为黑白正方形棋盘格的三角形(45度)立体标定板推过建立的车辆信息采集装置101，从激光距离传感器返回的数据中，选择某一特定的高度，该数据代表了激光器到标定板斜面点的直线距离，该高度在立体标定板中的位置对应的是一条平行于底边的一条线，且该线段可以在拍摄的图像中标记出来，继而确定了高度数据所对应的位置，如图2所示。

其次，更改标定板的推行方向，重复上一步的过程，在图像中标记处同一高度下的线段，那么，这两条线段的交点，便是该高度在图像中对应的位置。为了增加该对应的可靠性，可增加实验次数，通过求平均来求得该高度的对应位置。

然后，选择不同的高度，重复前两个步骤，得到n组h和(x,y)的对应关系。

最后，将数据代入上述公式中，解出投影矩阵T，由此完成高度和坐标之间的标定，建立一个高度-图像坐标(h-(x,y))的映射关系。

线上过程(如图3所示)：

第一步，当车辆经过系统中的车辆信息采集装置时，车辆信息采集装置将采集通过车辆的高度数据以及同时间段的车辆视频信息(即车辆图像序列)，并进行保存(如图5所示)。

第二步，采集信息的时钟同步，对激光传感器采集的高度数据和图像视频序列进行采样，使得两组数据的数目是对应的。经过处理，使得每个激光数据相当于恰好被一幅图像所记录。由于一般情况下，激光距离传感器和摄像头采集到的图像视频的帧率并不相同，且前者高于后者。激光传感器采集的数据较为密集，不利于后续步骤的处理，这样该步骤的处理使得两组数据对应，便于后续将将激光点配准到图像中。

同时，根据查询线下过程得高度-坐标(h-(x，y))表，确定采样后的激光扫描数据在其对应图像中的坐标位置，并保存下来。

第三步，将摄像机采集的车辆图像之间进行配准，使得不同时刻的激光扫描点对应到同一参考图像中。

该步骤，首先，自激光传感器有距离返回时起至恢复路面的高度为止，选择该时间段内的一张能够完整记录车辆信息的的图像为参考图像，一般选择激光传感器记录的最低高度值(即车辆的最高点)时拍摄下的图像。

接着，将激光传感器有距离返回时起至恢复路面的高度为止的其他采样图像，向参考图像进行配准，经过背景减法进行图像分割，提取代配准车辆与参考车辆的SIFT特征，采用随机采样一致性模型保留正确的待配准图像和参考图像之间的特征点对。

再者，通过正确匹配的特征点对，建立RBF插值方程f：q_i＝f(p_i)，p_i∈p，q_i∈q.通过该方程求解激光点在待配准图像中保存的对应位置投影到参考图像中的相对位置，从而可建立其它非特征点之间的对应关系。

最后，通过建立图像对之间的对应关系，使得不同时刻的激光扫描点对应到同一参考图像中。

第四步，通过第三步，使得参考图像对应到所有激光扫描到的点，其真实的高度信息便可以得到了，故该步骤通过对图像信息配准的结果采样得到车辆的三维点云。具体过程如下：

首先，将配准过激光扫描点的参考图像，通过张氏平面图像标定，将二维图像和世界坐标系之间建立对应关系，由此关系确定车辆的实际长度和宽度；

接着，将配准好的参考图像中的激光扫描点对应到世界坐标系下，将参考图像按照实际的长宽比，进行坐标变换，若处在同一宽度上点的像素具有相同的高度，那么该车辆的顶部三维信息就全部具备了，由此采样出车辆的三维点云。

最后，对车辆顶部信息的三维点云保存，并进行快速三角化，三角化的过程采用了PCL点云库中的快速三角化的算法。

第五步，由上可知，三维点是由图像的坐标变化并进一步采样得到的，那么这些点在图像中的颜色信息便是已知的。因此，进行直接的纹理映射就可以完成整个三维建模的过程(如图6所示)。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种实时恢复车辆三维真实模型的系统，其特征在于，该系统包括：

车辆信息采集装置，所述车辆信息采集装置标定采集到的数据，建立高度-图像坐标的映射关系，并实时采集通过车辆的高度以及车辆视频信息；

图像信息配准模块，所述图像信息配准模块对车辆信息采集装置采集的平面图像进行配准，将不同时刻扫描到的点配准到一幅图像；首先进行采集信息的时钟同步；接着，确定参考图像，并通过SIFT特征提取和RANSAC滤波，得到待配准图像和参考图像之间的特征点对；接着，通过这组点对建立RBF插值方程；最后通过该方程将激光扫描点在待配准图像中保存的对应位置投影到参考图像中的相对位置；

车辆三维点云生成模块，所述车辆三维点云生成模块根据图像信息配准模块的配准结果采样得到车辆的三维点云；所述车辆三维点云生成模块，首先将配准过激光扫描点的参考图像，通过张氏平面图像标定，将二维图像和世界坐标系之间建立对应关系；接着将配准好的参考图像中的激光扫描点对应到世界坐标系下，将参考图像按照实际的长宽比，进行坐标变换，在处在同一宽度上点的像素具有相同的高度时，则该车辆的顶部三维信息就全部具备，采样出车辆的三维点云；

车辆纹理映射模块，所述车辆纹理映射模块根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模；

三维车辆模型显示模块，所述三维车辆模型显示模块显示车辆三维模型。

2.根据权利要求1所述的一种实时恢复车辆三维真实模型的系统，其特征在于，所述车辆信息采集装置包括采集的车辆高度数据的一维激光距离传感器和采集的车辆顶部平面图像的摄像头以及龙门架，所述龙门架容车辆通过，所述一维激光距离传感器和摄像头两者平行于地面水平安置在龙门架上，且垂直于龙门架。

3.根据权利要求2所述的一种实时恢复车辆三维真实模型的系统，其特征在于，所述车辆信息采集装置中还包括用于标定激光器采集的车辆高度数据和摄像头采集的平面图像坐标的立体标定板，所述立体标定板的侧面为45度三角形，斜面为矩形，由正方形的棋盘格填充，棋盘格的边长一定。

4.一种实时恢复车辆三维真实模型的方法，其特征在于，所述方法包括如下步骤：

(1)由经过标定的车辆信息采集装置获取通过车辆的高度数据以及同时间段的车辆视频信息；

(2)对采集到的车辆图像之间进行配准，将不同时刻扫描到的点配准到一幅图像；进行图像配准的过程如下：

(21)进行采集信息的时钟同步；

(22)确定参考图像，并通过SIFT特征提取和RANSAC滤波，得到待配准图像和参考图像之间的特征点对；

(23)通过这组点对建立RBF插值方程；

(24)通过该方程将激光扫描点在待配准图像中保存的对应位置投影到参考图像中的相对位置；

(3)根据图像信息配准的结果采样得到车辆的三维点云；采样得到车辆的三维点云过程如下：

(31)将配准过激光扫描点的参考图像，通过张氏平面图像标定，将二维图像和世界坐标系之间建立对应关系；

(32)将配准好的参考图像中的激光扫描点对应到世界坐标系下，将参考图像按照实际的长宽比，进行坐标变换，若处在同一宽度上点的像素具有相同的高度，则该车辆的顶部三维信息就全部具备，由此采样出车辆的三维点云；

(4)根据车辆三维点云生成模块确定的三维点云与纹理之间的映射关系，进行纹理贴图，完成三维建模并进行显示。

5.根据权利要求4所述的一种实时恢复车辆三维真实模型的方法，其特征在于，所述车辆信息采集装置的标定过程如下：

首先，利用立体标定板确定车辆信息采集装置中激光距离传感器扫描到的高度数据所对应的位置，以及确定该位置在车辆信息采集装置中摄像头捕捉到的图像中的坐标；

接着，通过摄像机的投影关系矩阵，建立高度和坐标之间的关系矩阵方程，完成对激光距离传感器和摄像头采集的数据之间进行标定，建立一个建立高度-图像坐标的映射关系。

6.根据权利要求4所述的一种实时恢复车辆三维真实模型的方法，其特征在于，所述步骤(4)中进行纹理映射的过程如下：

(41)对车辆的三维点云进行快速三角化；

(42)根据三维点云与纹理之间的映射关系，直接进行的纹理贴图并进行显示。