CN104346833A - 一种基于单目视觉的车辆重构算法 - Google Patents

Abstract

一种基于单目视觉的车辆重构算法，其步骤为：采用SIFT算子作为图像特征点的提取与匹配算法；采用基于标定物的摄像机标定方法，通过SIFT算子得到的特征匹配点计算摄像机的内参数和外参数；基于布尔图像的图像背景分割方法，将目标车辆从复杂的背景中提取出来；采用基于几何学的分层量化和表面分割方法得到车辆的3D模型。有益效果是：首次提出了一种新型的基于单目视觉的3D模型重建的整体算法框架，并首次将之应用到车辆的3D重建；通过空间点与投影点的关系建立摄像机内、外参数的超定方程，有效地提高了计算精度和计算速度；提出了AND-OR树车辆表面重组最优搜索算法，能够有效准确地搜索出最优的车辆表面形状，并且提高搜索速度和搜索的准确度。

Description

一种基于单目视觉的车辆重构算法

技术领域

本发明涉及一种基于单目视觉的车辆重构算法。 

背景技术

随着汽车产量的增长，汽车种类的增多，人们对汽车的需求越来越大。为了提高汽车的产量就要同时缩短汽车的生产周期和设计周期。为了提高汽车的生产效率，缩短汽车的设计周期。这就使得汽车的外形设计成为人们关注的焦点。现在的设计师在进行车辆外形设计时多采用继承并发展以前的车辆设计方案的方法。这就使得高效准确地重建出车辆的外形变得尤其重要。目前对于汽车外形的测量多采用三维坐标机或者激光扫描仪测出的坐标点云，但实车往往不容易获得，即使较容易获得，所测点云的合理性也因操作人员的经验而有所不同。另外这些方法有周期长，操作复杂、成本高、精度不高等缺点。 

发明内容

本发明的目的是为了克服背景技术中的不足之处，基于单目视觉采用几何学的分层量化和图形分割重建车辆的3D模型。该方法通过处理不同角度拍摄的目标车辆的图像序列可以准确地重建车辆外形，具有操作简单效果明显的特性。能够很好地得到车辆的外形信息,重建车辆的3D模型。 

为了解决上述存在的技术问题，本发明是通过以下技术方案实现的： 

一种基于单目视觉的车辆重构算法，其内容包括如下步骤： 

步骤一、特征点的提取与匹配 

所述的特征点的提取与匹配是指采用基于尺度空间不变性的SIFT算子的特征转换算法；SIFT算子特征点提取是指将图像中感兴趣的可以更有效描述图像 内容及结构的特征找出来，如图像中的边缘、角点、兴趣点；SIFT算子特征点的匹配是指根据所选择特征的值，建立特征点间的对应关系，将同一空间物理点在不同图像中的成像点对应起来，并由此得到相应的视差图像； 

所述的尺度空间不变性是指在不同的尺度空间下仍然能够匹配特征点。 

所述的尺度空间是指在图像处理中引入一个被视为尺度的参数通过连续变换尺度参数获得不同尺度下的图像处理信息。 

所述的SIFT算子是在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量的算法。 

步骤二、摄像机标定 

所述的摄像机标定是指采用基于标定物的摄像机标定方法，通过摄像机拍摄到的图片得到摄像机的内参数和外参数；所述的基于标定物的摄像机标定方法是指使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系,利用空间点与图像点的共线性方程计算摄像机模型的内外参数，利用光束平差法实现相机内外参数的校准；所述摄像机的内参数是指摄像机坐标系与世界坐标系之间进行变换时所需要的一个3×3的旋转矩阵R和一个3×1的平移矢量T；所述摄像机的外参数是指有效焦距f、像面中心坐标(u₀,v₀)、径向畸变修正系数、切向畸变修正系数、仿射畸变和非正交畸变修正系数； 

步骤三、目标车辆与背景分割 

所述的目标车辆与背景分割是指采用基于布尔图像的图像分割算法(BMS)；所述的目标车辆与背景分割是指进行车祸过程的三维重建时，首先要将目标车辆的轮廓从背景中提取出来，这就需要对车祸过程中的图片进行图像分割；所述的布尔图像是指对图片的每个颜色通道设置一个阀值来得到二值化的图像； 通过这种方法能够有效的将目标车辆与背景分割开来； 

步骤四、车辆外形轮廓的模型重建 

所述的车辆外轮廓的模型重建是指采用基于几何模型分层量化和表面空间分割方法实现车辆的几何模型重建；所述的表面空间分割是指将车辆表面的不同几何形状从车辆整体上提取出来，将车辆表面整体分割成多个不同几何形的小部分；所述的几何模型分层量化是指将车辆表面分割出来的每一个小部分量化为不同的各种参数，例如：位置、位置方向和几何图形的尺寸；最后将每个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型。 

由于采用上述技术方案，本发明提供的一种基于单目视觉的车辆重构算法与现有技术相比，具有这样的有益效果： 

1、本发明首次提出了一种新型的基于单目视觉的3D模型重建的整体算法框架，并首次将之应用到车辆的3D重建。该技术的整体实现的组成为：特征点的提取与匹配、摄像机标定、目标车辆与背景分割、车辆外形轮廓重建； 

2、本发明通过空间点与投影点的关系建立摄像机内、外参数的超定方程，通过最小二乘法求解摄像机内外参数，采用光束平差法对摄像机的内、外参数进行校准，有效地提高了计算精度和计算速度； 

3、本发明提出的一种基于布尔图像的图像背景分割算法能够有效地忽略图像中的背景、凸显目标车辆，提高了目标车辆提取的效率； 

4、本发明提出的基于几何学的分层量化和表面分割方法通过对SIFT提取的特征点进行进一步的处理，采用线段和几何图形对车辆表面进行描述，有效地弥补了SIFT特征点提取算法不能提取边界的缺点； 

5、本发明首次提出了AND-OR树车辆表面重组最优搜索算法，能够有效准 确地搜索出最优的车辆表面形状，并且提高搜索速度和搜索的准确度。 

附图说明：

附图1是本发明的整体实现结构图； 

附图2是本发明的提取特征点的实现步骤结构图； 

附图3是本发明的目标车辆与背景分割实现结构图； 

附图4是本发明的车辆外轮廓模型重建实现结构图； 

附图5是本发明的摄像机模型示意图； 

附图6是本发明的目标车辆与背景分割的实验结果图； 

附图7是本发明的几何学的3D模型重建的实验结果图。 

具体实施方式：

以下结合附图与具体实施方式对本发明做更为详细的说明： 

一种基于单目视觉的车辆重构算法，如图1所示其实现步骤为：特征点的提取与匹配、摄像机标定、目标车辆与背景分割、车辆外形轮廓重建。 

图1所示是本发明的整体实现结构图。该图从整体上呈现了实现本发明的整体框架结构。从提取图像的特征点到重建出车辆的3D模型，清晰地展示了实现流程以及每一步的算法。这一整体框架是本发明首次提出并将之应用到车辆3D重建。这也是本发明的特别之处。 

此处所述的具体实施仅用以解释本发明，并不用于限定本发明。 

所述特征点的提取与匹配是指基于尺度空间不变性的SIFT算子的特征转换算法。SIFT算子特征点提取是指将图像中感兴趣的可以更有效描述图像内容及结构的特征找出来，如图像中的边缘、角点、兴趣点； 

所述的SIFT算子特征点提取步骤如下： 

1)对图像建立尺度空间； 

2)提取尺度空间的反应值的极值点； 

3)优化计算，抛弃一些不稳定点； 

4)对提取出的特征点分配主方向； 

通过计算以特征点为中心的特定窗口内每个像素点的梯度幅值和方向来确定特征点的分配主方向，建立特征描述子。计算公式如下： 

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}...\left(1\right)$

$\mathrm{\θ}(x,y)={\tan }^{-1}((L(x,y-1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))...\left(2\right)$

其中，m(x,y)和θ(x,y)分别代表点(x,y)处的梯度和方向，L(x,y)表示(x,y)点处的灰度值。 

SIFT算子特征点的匹配是指根据所选择特征的值，建立特征点间的对应关系，将同一空间物理点在不同图像中的成像点对应起来，并由此得到相应的视差图像；本发明实施例采用基于传统的欧式距离算法来进行所述SIFT算子特征点的匹配。通过计算描述子之间的最短欧氏距离来进行匹配。 

实现所述SIFT算子特征点的匹配步骤如下： 

1)对同一场景的两幅(或多幅)图像提取特征点； 

2)建立表征特征点属性的描述符； 

3)从一幅图像上顺序选取特征点，采用序列法与另一幅图像上的特征点进行比较，找出差别最小的点； 

4)设置欧式距离的经验阈值，判别是否是对应特征点； 

5)返回3)，直至搜寻完毕。 

所述的特征描述子采用4×4×8＝128个元素特征向量来描述每一个特征点。所述的128个元素特征向量的欧式距离表示为： 

$S=\sqrt{{(X_1-Y_1)}^2+{(X_2-Y_2)}^2+{(X_3-Y_3)}^2+\·\·\·+{(X_{127}-X_{127})}^2+{(X_{128}-X_{128})}^2}...\left(3\right)$

本发明选取距离S最小的点对，他们最有可能是匹配点对。 

图2所示是本发明的提取特征点的实现步骤结构图。该图详细的介绍了本发明中对输入图像特征点的提取与匹配实现步骤，是本发明实现下面内容的基础。 

所述的摄像机标定是指基于标定物的摄像机标定方法，本发明提出一种改进的摄像机标定校准算法。通过摄像机拍摄到的图片得到摄像机的内参数和外参数。所述的基于标定物的摄像机标定方法是指使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系,利用空间点与图像点的共线性方程计算摄像机模型的内外参数，利用光束平差法实现相机内外参数的校准；所述的摄像机内参数是指摄像机坐标系与世界坐标系之间进行变换时所需要的一个3×3的旋转矩阵R和一个3×1的平移矢量T；所述的摄像机外参数是指有效焦距f、像面中心坐标(u₀,v₀)、径向畸变修正系数、切向畸变修正系数、仿射畸变和非正交畸变修正系数。 

图5所示是本发明摄像机模型示意图。该图展示了实现摄像机自标定时建立的摄像机坐标系模型。 

所述的目标车辆与背景分割是指基于布尔图像的图像分割算法(BMS)。所述的目标车辆与背景分割是指进行车祸过程的三维重建时，首先要将目标车辆的轮廓从背景中提取出来。 

本实施例中所述将目标车辆的轮廓从背景中提取出来的实现步骤如下： 

1)以δ为步长在0-255之间取不同的θ作为图片每个颜色通道的阈值，得到多个均匀分布的二值化的布尔图像； 

2)将上一步得到的二值化图像中的封闭区域内部赋值为1，其余部分赋值为0，得到凸显目标车辆的关注图像； 

3)对上一步得到的多个关注图像取线性平均值得到整体的平均关注图像； 

4)进行高斯模糊得到最后的凸显图像。 

图3所示是本发明的目标车辆与背景分割实现结构图。该图详细介绍了本发明实现目标车辆与背景分割的算法步骤以及实现每一步的理论算法。 

所述的布尔图像的获得公式如下： 

B_i＝THRESH(Φ(I),θ)......................................................(4) 

其中，THRESH(.,θ)函数表示对输入图像I进行二值化，θ表示二值化的阀值。 

通过布尔图像得到凸显目标车辆的关注图像公式如下： 

$\stackrel{\‾}{A}=\∫A\left(B\right)p\left(B\right|I)\mathrm{dB}...\left(5\right)$

其中，表示得到的目标车辆的封闭图形，A(B)表示提取出布尔图形B的封闭区间。p(B|I)表示基于布尔图像B的最优广义函数。 

图6是本发明的目标车辆与背景分割的实验结果图。该图显示了本发明的算法的处理车辆与背景分割时的效果。通过该视图可以看出这种方法能够很好地将目标车辆从图像中凸显出来，并将不重要的背景模糊忽略掉。 

所述的车辆外轮廓的模型重建是指基于几何模型分层量化和表面空间分割方法实现车辆的几何模型重建。所述的表面空间分割是指将车辆表面的不同几何形状从车辆整体上提取出来，将车辆表面整体分割成多个不同几何形的小部分。图4所示是本发明的车辆外轮廓模型重建实现结构图。该图详细介绍了本发明实现车辆外轮廓模型重建的算法步骤以及实现每一步的理论算法。 

所述的车辆外轮廓的模型重建的实现步骤如下： 

1)图像分解：将汽车表面分割为左车门、右车门、前挡风玻璃、后挡风玻璃、左轮胎、右轮胎等小部分，其中每个角度图片中目标车辆的分割公式如下： 

$p(I,w|T)=q(I,w)\underset{n=1}{\overset{N}{\mathrm{\Π}}}\frac{p\left(I_{{\mathrm{\Λ}}_{T_n}}\right|T_n,w)}{q\left(I_{{\mathrm{\Λ}}_{T_n}}\right|T_n,w)}...\left(6\right)$

其中，p(I,w|T)表示本发明的分割方式，q(I,w)表示参考分割方式。对车辆表面分割结果的评价公式如下： 

$\mathrm{IG}\left(S\right)=\∫\∫p(I,w|T)\log \frac{p(I,w|T)}{q(I,w)}\mathrm{dIdw}\≈\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{K_n}{\mathrm{\Σ}}}{s}_{\mathrm{mnk}}...\left(7\right)$

其中，IG(S)表示评价得分，s_mnk表示第m个图片的第n个分割部分的第k个有效几何图形； 

2)目标量化：得到车辆每一个小部分的目标位置、方向、尺寸； 

3)重新组合：将量化后的车辆的每一个小部分通过AND-OR树最优搜索算法重新组合得到重建的车辆外轮廓模型，如图7所示。 

采用所述的AND-OR树搜索算法将每个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型。AND-OR树最优搜索算法公式如下： 

$\max {\mathrm{IG}}^{\mathrm{OR}}=\underset{j\∈\mathrm{ch}\left(i\right)}{\max }\max {\mathrm{IG}}_{\mathrm{hj}}^{\mathrm{AND}}=\underset{j\∈\mathrm{ch}\left(i\right)}{\max }\max \mathrm{\Σ}{\mathrm{IG}}_k^{\mathrm{OR}}=\underset{j\∈\mathrm{ch}\left(j\right)}{\max }\underset{k\∈\mathrm{ch}\left(j\right)}{\mathrm{\Σ}}\max {\mathrm{IG}}_k^{\mathrm{OR}}...\left(8\right)$

其中，ch(i)函数返回节点i的索引号。 

图7所示是本发明的几何学的3D模型重建的实验结果图。该图显示了使用基于几何学分层量化算法重建车辆的3D模型的结果图。该图实现的结果是以几何图形的形式重建车辆的外形的效果。可以看出能够很好的重建出车辆的边界。 

Claims (9)

1.一种基于单目视觉的车辆重构算法，其主要特征在于：其内容包括如下步骤：

步骤一、特征点的提取与匹配

所述的特征点的提取与匹配是指采用基于尺度空间不变性的SIFT算子的特征转换算法；SIFT算子特征点提取是指将图像中感兴趣的可以更有效描述图像内容及结构的特征找出来，如图像中的边缘、角点、兴趣点；SIFT算子特征点的匹配是指根据所选择特征的值，建立特征点间的对应关系，将同一空间物理点在不同图像中的成像点对应起来，并由此得到相应的视差图像；

步骤二、摄像机标定

所述的摄像机标定是指采用基于标定物的摄像机标定方法，通过摄像机拍摄到的图片得到摄像机的内参数和外参数；所述的基于标定物的摄像机标定方法是指使用结构已知的标定参照物,通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系,利用空间点与图像点的共线性方程计算摄像机模型的内外参数，利用光束平差法实现相机内外参数的校准；所述摄像机的内参数是指摄像机坐标系与世界坐标系之间进行变换时所需要的一个3×3的旋转矩阵R和一个3×1的平移矢量T；所述摄像机的外参数是指有效焦距f、像面中心坐标(u₀,v₀)、径向畸变修正系数、切向畸变修正系数、仿射畸变和非正交畸变修正系数；

步骤三、目标车辆与背景分割

所述的目标车辆与背景分割是指采用基于布尔图像的图像分割算法(BMS)；所述的目标车辆与背景分割是指进行车祸过程的三维重建时，首先要将目标车辆的轮廓从背景中提取出来，这就需要对车祸过程中的图片进行图像分割；所述的布尔图像是指对图片的每个颜色通道设置一个阀值来得到二值化的图像；通过这种方法能够有效的将目标车辆与背景分割开来；

步骤四、车辆外形轮廓的模型重建

所述的车辆外轮廓的模型重建是指采用基于几何模型分层量化和表面空间分割方法实现车辆的几何模型重建；所述的表面空间分割是指将车辆表面的不同几何形状从车辆整体上提取出来，将车辆表面整体分割成多个不同几何形的小部分；所述的几何模型分层量化是指将车辆表面分割出来的每一个小部分量化为不同的各种参数，例如：位置、位置方向和几何图形的尺寸；最后将每个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型。

2.根据权利要求1所述的一种基于单目视觉的车辆重构算法，其主要特征在于：所述的尺度空间不变性是指在不同的尺度空间下仍然能够匹配特征点。

3.根据权利要求1所述的一种基于单目视觉的车辆重构算法，其主要特征在于：所述的尺度空间是指在图像处理中引入一个被视为尺度的参数通过连续变换尺度参数获得不同尺度下的图像处理信息。

4.根据权利要求1所述的一种基于单目视觉的车辆重构算法，其主要特征在于：所述的SIFT算子是在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量的算法。

5.根据权利要求1所述的一种基于单目视觉的车辆重构算法，其主要特征在于：所述的SIFT算子特征点提取步骤如下：

1)对图像建立尺度空间；

2)提取尺度空间的反应值的极值点；

3)优化计算，抛弃一些不稳定点；

4)对提取出的特征点分配主方向；

通过计算以特征点为中心的特定窗口内每个像素点的梯度幅值和方向来确定特征点的分配主方向，建立特征描述子。计算公式如下：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

其中，m(x,y)和θ(x,y)分别代表点(x,y)处的梯度和方向，L(x,y)表示(x,y)点处的灰度值。

6.根据权利要求5所述的一种基于单目视觉的车辆重构算法，其主要特征在于：所述的特征描述子采用4×4×8＝128个元素特征向量来描述每一个特征点。

7.根据权利要求1所述的一种基于单目视觉的车辆重构算法，其主要特征在于：实现SIFT算子特征点的匹配步骤如下：

1)对同一场景的两幅(或多幅)图像提取特征点；

2)建立表征特征点属性的描述符；

3)从一幅图像上顺序选取特征点，采用序列法与另一幅图像上的特征点进行比较，找出差别最小的点；

4)设置欧式距离的经验阈值，判别是否是对应特征点；

5)返回3)，直至搜寻完毕。

8.根据权利要求1所述的一种基于单目视觉的车辆重构算法，其主要特征在于：所述将目标车辆的轮廓从背景中提取出来的实现步骤如下：

1)以δ为步长在0-255之间取不同的θ作为图片每个颜色通道的阈值，得到多个均匀分布的二值化的布尔图像；

2)将上一步得到的二值化图像中的封闭区域内部赋值为1，其余部分赋值为0，得到凸显目标车辆的关注图像；

3)对上一步得到的多个关注图像取线性平均值得到整体的平均关注图像；

4)进行高斯模糊得到最后的凸显图像。

9.根据权利要求1所述的一种基于单目视觉的车辆重构算法，其主要特征在于：所述的车辆外轮廓的模型重建的实现步骤如下：

1)图像分解：将汽车的每一个小部分图片进行分割，其中每个角度图片中目标车辆的分割公式如下：

$p(I,w|T)=q(I,w)\underset{n=1}{\overset{N}{\mathrm{\Π}}}\frac{p\left(I_{{\mathrm{\Λ}}_{T_n}}\right|T_n,w)}{q\left(I_{{\mathrm{\Λ}}_{T_n}}\right|T_n,w)}$

其中，p(I,w|T)表示本发明的分割方式，q(I,w)表示参考分割方式。对表面分割结果的评价公式如下：

$\mathrm{IG}\left(S\right)=\∫\∫p(I,w|T)\log \frac{p(I,w|T)}{q(I,w)}\mathrm{dIdw}\≈\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{K_n}{\mathrm{\Σ}}}{s}_{\mathrm{mnk}}$

其中，IG(S)表示评价得分，s_mnk表示第m个图片的第n个分割部分的第k个有效几何图形；

2)目标量化：得到车辆每一个小部分的目标位置、方向、尺寸；

3)重新组合：将量化后的车辆的每一个小部分通过AND-OR树最优搜索算法重新组合得到重建的车辆外轮廓模型。