CN109215122B - 一种街景三维重建系统及方法、智能小车 - Google Patents

Abstract

本发明属于图像数据处理或产生技术领域，公开了一种街景三维重建系统及方法、智能小车，图像采集模块，用于通过摄像头采集图像；第一上位机，通过Wifi与图像采集模块连接，用于将摄像头采集的图像上传到后台计算机存储器中；第二上位机，用于摄像头调节条调节搭载摄像头的舵机，采集不同角度的图像。本发明克服了光照条件变化以及模糊所带来的不利影响，亦可表征不同尺度的图像灰度特征以及不同方向的图像纹理结构特征，这种特征融合的方法大大提高了特征点匹配的精度。与现有的利用航拍设备进行街景图像采集相比，本发明操作简单方便，硬件成本低，多特征融合方法提高了匹配的精度，进而提高了重建精度。

Description

一种街景三维重建系统及方法、智能小车

技术领域

本发明属于图像数据处理或产生技术领域，尤其涉及一种街景三维重建系统及方法、智能小车。

背景技术

街景三维重建技术使人们足不出户便可体验城市中的真实景象，也能在导航中获得全面的城市地图信息。因此，街景地图服务是一项拥有着广阔发展前景的服务。

目前，业内常用的现有技术是这样的：在建立街景仿真模型的前期街景图像采集工作都是航空器随机拍摄的，该街景图像采集的成本较高，操作过程复杂，受天气因素影响较大。因此采用航空器拍摄、采集图像的方法广泛推广应用存在困难。街景三维重建模型方法目前主要包括基于形变模型的重构方法，基于三维特征提取的重构方法。形变模型重构方法由于只采用单帧街景图像，其可用的特征数目有限，因此重构后的街景三维模型精度不高。目前最为常用的是基于三维特征提取的重构方法。其中特征点检测、特征描述器生成和特征点匹配是特征配准方法的关键。常用的特征检测算子有SIFT、MSER、Harris等。传统的SIFT算法存在特征角点较多，运算耗时，效率低下的不足。MSER特征区域提取算子对光照变化、多视角、噪声变化、尺度具有良好的不变性。但MSER算子初始化参数较多，检测结果是特征区域精度不够。Harris特征点检测算法对光照变化，拍摄角度，噪声干扰等具有较强的鲁棒性，但提取的角点不均匀且存在冗余从而不利于配准精度的提高。

考虑到实际采集图像时常伴有光线变化和模糊噪声的干扰。光线变化是由于光照变化或相机曝光不均以及相机之间的光感性能差异使得同一物体同时成像所获得的图像存在亮度变化；模糊噪声是图像受成像系统聚集，大气湍流等因素影响变得模糊，传统的解决图像匹配光照条件等变化的常用方法有图像预处理和图像梯度信息，其中预处理技术有浮雕化处理，直方图均衡化等。这些方法的主要缺点是图像细节信息消失，有用信号的对比度降低；而提取梯度信息的方法在图像亮度较低，噪声严重情况下梯度信息的获取非常困难，致其性能受到较大影响。解决图像模糊问题以往常用的处理方式是在图像匹配之间去除模糊引起的图像退化，如点扩散函数、逆滤波等。但通常大部分的去模糊函数参数无法确定，以至于这类方法的精度和稳定性能较难保证。因此构造一种具有光照鲁棒且抗模糊的特征描述子是基于特征的图像匹配方法的关键。此外，为了更好地描述图像的局部细节特征，近年来研究人员逐渐将研究方法集中于利用多尺度几何分析的数学工具进行图像特征提取。其中Contourlet变换具有多方向、多尺度、多分辨率和各向异性、采样冗余度相对较小，迭代滤波的计算速度快等特点，该滤波分解技术在表征图像的各向异性方向具有极大的优势。

发明内容

针对现有技术存在的问题，本发明提供了一种街景三维重建系统及方法、智能小车。

本发明是这样实现的，一种街景三维重建系统，所述街景三维重建系统包括：

图像采集模块，用于通过摄像头采集图像；

第一上位机，通过Wifi与图像采集模块连接，用于将摄像头采集的图像上传到后台设计算机存储器中；

第二上位机，用于摄像头调节条调节搭载摄像头的舵机，采集不同角度的图像。

本发明的另一目的在于提供一种实现所述街景三维重建系统的街景三维重建方法，所述街景三维重建方法包括以下步骤：

步骤一，获取街景图像；

步骤二，采集多角度街景图像，采用特征点提取算法，提取街景图像的特征点；

步骤三，对街景图像进行Contourlet分解，得到多尺度的低频子带和多方向的高频子带；

步骤四，对不同尺度的低频子带构造高斯组合不变矩提取图像的统计特性；

步骤五，对不同方向高频子带计算能量、对比度、相关性和熵四个参数提取反映图像结构纹理特性的特征矢量；

步骤六，用相似度函数完成特征点之间初—精两步匹配；

步骤七，采用种子点生长算法，得到密集的点云信息；

步骤八，经过处理后，根据图像的二维坐标与三维世界坐标之间的关系得到图像像素点对应的三维空间坐标，完成街景的三维重建。

进一步，所述步骤一具体包括：

(1)遥感小车移动到待拍摄街景的指定位置；

(2)调整小车上安装有可旋转180°的舵机，该舵机上安装有摄像头，达到获取不同角度的多幅街景图像；

(3)将前端硬件采集的图像通过Wifi上传到后台计算机内存中。

进一步，所述步骤四的个高斯组合不变矩特征描述器：

构造：

在矩定义中加入高斯核函数，σ为尺度因子；图像的p+q阶离散GCMs定义如下：

GCMs的中心矩为：

其中，

是(n×n)窗口的重心坐标

其中r＝(p+q+2)/2，η_pq为标准化中心矩。

进一步，所述步骤五的构造针对高频子带的能量、对比度、相关性和熵四个参数：

能量：

对比度：

相关性：

熵：

进一步，所述步骤七的种子点算法，以获取的特征点对为种子点对，以每个特征点对为中心，3×3大小的窗口范围内计算不同角度两图像中对应邻域点对的相似度值s，连线距离d和斜率k，三者叉乘h，h＞h_i，h_i为种子点叉乘值；那么将其作为新的种子点对加入种子集合T中，重复上述操作，最后种子队列为空时，种子生长结束，运用这种匹配传递的生长法，获得稠密的点去信息，真实地重建三维街景。

进一步，所述步骤八采用立体视觉系统模型：

其中，(X,Y,Z,1)为真实物体对应的三维世界坐标，(u₁,v₁,1)，(u₂,v₂,1)为对应点三维世界坐标在不同角度成像图像中的二维齐次坐标，M₁，M₂为摄像机标定参数投影矩阵。

综上所述，本发明的优点及积极效果为：利用MSER检测图像的有效特征区域，依据区域灰度均方差确定每块区域特征点数量，采用Harris提取区域特征角点。对图像作Contourlet变换，针对低频子带提取多尺度高斯组合矩进行初匹配；针对高频子带构造图像纹理特征的多方向、灰度共生矩完成二次精匹配。本发明克服了光照条件变化以及模糊所带来的不利影响，亦可表征不同尺度的图像灰度特征以及不同方向的图像纹理结构特征，特征融合的方法大大提高了特征点匹配的精度。

与现有的利用航拍设备进行街景图像采集相比，本发明方法操作简单方便，硬件成本低，多特征融合方法提高了匹配的精度，进而提高了重建精度。符合应用条件，具有很强的时用性和高效性，适用在街景地图服务领域推广应用。

本发明设计了一款多功能智能小车代替航空器拍摄街景图像，该小车的旋转摄像头可拍摄多角度的多帧街景图像。该采集过程成本低、操作简单、不易受拍摄场地及环境因素影响。在图像特征匹配过程，针对特征点数量冗余、分布不均匀，特征描述子单一的问题，本发明则利用MSER与Harris特征点提取的互补性，借鉴多特征融合的思想，将Contourlet变换与灰度共生矩相结合用于图像匹配，提取Contourlet变换低频分量的新高斯组合不变矩特征使图像对光照变化，抗模糊噪声，角度变换平移，仿射变换等干扰因素不敏感。在构造不变矩特征向量的过程中加入高斯尺度因子，有利于提取图像在不同尺度的统计特征信息。Contourlet变换的高频分量主要代表图像的边缘纹理特征。该多特征融合方法充分提取了图像的全局统计特征和局部细节特性，有效地克服单一特征无法表征图像中多信息的不足，有利于提高图像的匹配精度。

本发明的仿真验真实验图像均为遥感卫星拍摄的标准图像。选取的图像分别是不同源的Landat-SPOT bands。相对于参考图像，待配准图像分别是照度变换和模糊变换。

特征匹配结果由表1所示，将本发明的算法与经典的SIFT作对比，分别采用特征点数目，正确的匹配点对数，匹配正确率，匹配时间等性能指标进行分析比较。配准精度用RMSE值进行度量，RMSE值越小，配准精度越高。

表1匹配参数结果对比

N₁为初始匹配对数，N₂为最终匹配对数，时间为配准总耗时包括构造特征描述子和特征配准的时间，正确配准率是正确的匹配对数与总匹配对数的比值。

附图说明

图1是本发明实施例提供的街景三维重建系统结构示意图；

图中：1、图像采集模块；2、第一上位机；3、第二上位机。

图2是本发明实施例提供的街景三维重建方法流程图。

图3是本发明实施例提供的智能小车的结构示意图；

图4是本发明实施例提供的上位机软件控制界面示意图；

图5是本发明实施例提供的街景三维重建方法实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了克服利用传统算法建立街景仿真模型的过程中，由于街景图像都是航空器随机拍摄的，成本较高，此外单帧街景图像中可用的特征数目较少重构模型精度不高的不足；本发明能实现任一角度街景图像的采集，成本较低；为了克服不同视觉环境下混合颜色与拍摄角度形成相互干扰因素，使得不同视觉随机拍摄下的图像关键信息受干扰。本发明采用三维视觉的街景虚拟模型的建立方法能够提高街景虚拟模型的精度。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的街景三维重建系统包括：

图像采集模块1，用于通过摄像头采集图像。

第一上位机2，通过Wifi与图像采集模块1连接，用于将摄像头采集的图像上传到后台设计算机存储器中。

第二上位机3，用于摄像头调节条调节搭载摄像头的舵机，采集不同角度的图像。

如图2所示，本发明实施例提供的街景三维重建方法包括以下步骤：

S201：获取街景图像；

S202：采集多角度街景图像，采用特征点提取算法，提取街景图像的特征点；

S203：对街景图像进行Contourlet分解，得到多尺度的低频子带和多方向的高频子带；

S204：对不同尺度的低频子带构造高斯组合不变矩提取图像的统计特性；

S205：对不同方向高频子带计算能量、对比度、相关性和熵四个参数提取反映图像结构纹理特性的特征矢量；

S206：用相似度函数完成特征点之间初—精两步匹配；

S207：采用种子点生长算法，得到密集的点云信息；

S208：经过处理后，根据图像的二维坐标与三维世界坐标之间的关系可以得到图像像素点对应的三维空间坐标，完成街景的三维重建。

小车“摄像头”通过“WiFi模块”将视频数据传输到第一上位机中的“视频区”中实时显示，在第二上位机的软件操作界面可以通过点击“录像开关”按钮将视频数据保存到第二上位机指定存储位置。

图中小车外部结构如图示中数字标注所示；内部连接描述：小车内部控制面板分为：AR9331-AL1A通信模块，STM32小车控制模块，L9110驱动模块，摄像头模块，电机模块，超声波模块，车前灯模块，激光灯模块STM32控制板与L9110驱动模块，电机模块，超声波模块，车前灯模块，激光灯模块有线连接，与AR9331-AL1A通信模块IIC串口链接，与电机模块PWM输出连接。AR9331-AL1A与摄像头模块串口连接，与上位机无线连接

图4是本发明实施例提供的上位机软件控制界面示意图；

图中软件操作界面如图示中数字标注所示；用户在第二上位机通过上下拖动“摄像头角度调节条”调节视频仰角操作时，上位机通过WiFi通信将一个十六进制指令码发送到小车WiFi模块中，WiFi模块通过IIC串口与小车控制面板通信，将指令码传输到主控芯片STM32中，主控面板通过改变摄像头舵机的占空比，从而达到小车摄像头仰角改变的目的。

如图5所示，本发明实施例提供的街景三维重建方法具体包括以下步骤：

1获取街景图像；

1.1遥感小车移动到待拍摄街景的指定位置；

1.2调整小车上安装有可旋转180°的舵机，该舵机上安装有摄像头，达到获取不同角度的多幅街景图像；

1.3将前端硬件采集的图像通过Wifi上传到后台计算机内存中。

2.步骤1.1通过手机安装软件，界面上的“上”、“下”、“左”、“右”驱驶小车履带的方向使小车移动到指定位置。

3.步骤1.2调整

摄像头调节条实现摄像头角度的调整。

4.步骤3采用MSER提取图像最大稳定极值区域并对椭圆区域归一化，然后计算每一椭圆区域的局部灰度均方差。

5.步骤4根据子区域灰度均方差设定特征数量N；计算子区中每个像素的Harris值并按降序排序，提取Harris值较大的像素点作为特征点。

6.步骤5对采集到的街景图像进行Contourlet二级，得到σ₁，σ₂两尺度的低频子带和d₁～d₁₂十二个多方向的高频子带。

7.步骤6构造高斯组合新矩GCMs。

步骤6在矩定义中加入高斯核函数，σ为尺度因子，图像的p+q阶离散GCMs定义如下：

GCMs的中心矩为：

其中，

是(n×n)窗口的重心坐标

其中r＝(p+q+2)/2，η_pq为标准化中心矩；

三个高斯组合不变矩：

步骤7σ₁，σ₂两级低频子带的矩特征矢量为

步骤8提取结构纹理特征的能量、对比度、相关性和熵四个参数。

四个参数公式如下：

能量：

对比度：

相关性：

熵：

步骤9高频子带共生矩阵特征矢量为f_H＝[f_ene,f_con,f_cor,f_ent]。

步骤10多方向d₁～d₁₂加权后的高频子带灰度共生矩特征矢量为f′_H＝[f′_ene,f′_con,f′_cor,f′_ent]；

依据空间活跃程度的对比度敏感函数CSF对以上高频子带计算四个参数加权系数。

CSF公式如下：

A(θ_n)＝(2.6×10.0192+0.114×f)×e^-(0.1145)1.1；

其中

为高频子带I(x,y,θ_dn)的空间频率。

图像的行频率，

为图像的列频率。加权后的特征参数为：

其中d_n(n＝1,2,...,12)共12个方向子带；

同理可得：f′_con，f′_cor，f′_ent。

步骤11初—精两步法特征配准；

首先用低频子带的六维矩特征向量

进行相似性测度的初始匹配：

S_ij＝exp(-|f_{L_reference}(i)-f_{L_sensed}(j)|)；

其中：

在初始匹配的基础上利用加权后的高频子带f′_H＝[f′_ene,f′_con,f′_cor,f′_ent]进行二次精匹配；

S_ij＝exp(-|f′_{H_reference}(i)-f′_{H_sensed}(j)|)；

其中，|f′_{H_reference}(i)-f′_{H_sensed}(j)|＝|f′_ene(i)-f′_ene(j)|·|f′_con(i)-f′_con(j)|·|f′_cor(i)-f′_cor(j)|·|f′_ent(i)-f′_ent(j)|。

步骤12，再精匹配结束后，最后用RANSC剔除错误匹配；

RANSC计算出第一视角图像的特征点与第二视角待匹配图像的相应特征点之间的坐标转换关系，即变换矩阵H如下：

下面结合具体实施例对本发明的应用原理作进一步的描述。

以街景的一处建筑物为例，通过上位机的手机界面中“上”、“下”、“左”、“右”四个方向按钮遥控小车的移动方向及行走路径，选定合适的拍摄位置，然后通过上位机的手机界面中的摄像头角度调节条调节安装在小车上的高清摄像头的角度，采集建筑物不同角度的多幅图像。图像大小为5152pixel×3864pixel。

1)用MSER-Harris角点检测算法分别检测由智能小车采集的不同角度多幅图像(下面第一视角图像、第二视角图像及第三视角图像)的特征点。

2)用新构造的高斯组合不变矩表征检测算法提取到的各特征点的特征信息，使用相似性函数完成特征点的相似性度量实现图像特征点的初匹配。(第一视角图像与第二视角图像中的共有特征点匹配、第二视角与第三视角图像中的共有特征点匹配)

3)提取灰度共生矩的能量、相关性、对比度及熵四个参数指标，用这四个参数分别描述初匹配成功的各特征点的特征信息。使用相似性函数对初匹配成功的特征点进行二次相似性度量实现图像特征点的二次精匹配。(第一视角图像与第二视角图像中的共有特征点匹配、第二视角与第三视角图像中的共有特征点匹配)

4)基于立体视觉模型，根据匹配特征点对的二维坐标得到该特征点的三维坐标，最终获得所有匹配成功的特征点的三维坐标即三维点云数据，进而重建此建筑物的三维模型。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种街景三维重建方法，运用于街景三维重建系统，其特征在于，所述街景三维重建系统包括：

图像采集模块，用于通过摄像头采集图像；

第一上位机，通过Wifi与图像采集模块连接，用于将摄像头采集的图像上传到后台计算机存储器中；

第二上位机，用于摄像头调节条调节搭载摄像头的舵机，采集不同角度的图像；

所述街景三维重建方法包括以下步骤：

步骤一，获取街景图像；

步骤二，采集多角度街景图像，采用特征点提取算法，提取街景图像的特征点；首先采用MSER提取图像最大稳定极值区域并对椭圆区域归一化，计算每一椭圆区域的局部灰度均方差；然后根据椭圆区域灰度均方差设定特征点数量；最后计算椭圆区域中每个像素的Harris值并按降序排列，提取前几个Harris值较大的像素点作为特征点；

步骤三，对街景图像进行Contourlet分解，得到多尺度的低频子带和多方向的高频子带；

步骤四，对不同尺度的低频子带构造高斯组合不变矩提取图像的统计特性；

步骤五，对不同方向高频子带计算能量、对比度、相关性和熵四个参数提取反映图像结构纹理特性的特征矢量；

步骤六，用相似度函数完成特征点之间初—精两步匹配；

步骤七，采用种子点生长算法，得到密集的点云信息；种子点生长算法从种子点出发，以获取的特征点对为种子点对，以每个特征点对为中心，3×3大小的窗口范围内计算不同角度两图像中对应邻域点对的相似度值s，连线距离d和斜率k，三者叉乘h，h＞h_i，h_i为种子点叉乘值；将所述不同角度两图像中对应邻域点对作为新的种子点对加入种子集合T中，重复上述操作，最后种子队列为空时，种子生长结束，运用这种匹配传递的生长法，获得稠密的点云信息，真实地重建三维街景；

步骤八，经过处理后，根据图像的二维坐标与三维世界坐标之间的关系得到图像像素点对应的三维空间坐标，完成街景的三维重建。

2.如权利要求1所述的街景三维重建方法，其特征在于，所述步骤一具体包括：

(1)遥感小车移动到待拍摄街景的指定位置；

(2)调整小车上安装有可旋转180°的舵机，该舵机上安装有摄像头，达到获取不同角度的多幅街景图像；

(3)将前端硬件采集的图像通过Wifi上传到后台计算机内存中。

3.如权利要求1所述的街景三维重建方法，其特征在于，所述步骤四的高斯组合不变矩特征描述器：

构造如下：在矩定义中加入高斯核函数，σ为尺度因子；图像的p+q阶离散GCMs定义如下：

GCMs的中心矩为：

其中，

是(n×n)窗口的重心坐标；η_pq为标准化中心矩：

其中r＝(p+q+2)/2。

4.如权利要求1所述的街景三维重建方法，其特征在于，所述步骤五的构造针对高频子带计算能量、对比度、相关性和熵四个参数：

能量：

对比度：

相关性：

熵：

5.如权利要求1所述的街景三维重建方法，其特征在于，所述步骤八采用立体视觉系统模型：

其中，(X,Y,Z,1)为真实物体对应的三维世界坐标，(u₁,v₁,1)，(u₂,v₂,1)为对应点三维世界坐标在不同角度成像图像中的二维齐次坐标，M₁，M₂为摄像机标定参数投影矩阵。

Images