CN104318604A - 一种3d图像拼接方法及装置 - Google Patents

Abstract

本发明涉及图像拼接技术领域，尤其涉及一种3D图像拼接方法及装置。该方法包括：获取目标监测区域的已布点摄像机拍摄的待拼接图像，拼接图像两两之间具有设定比例的重叠区域；确定待拼接图像中的图像特征点的位置对应关系；利用图像特征点的全局方位信息确定几何投影平面；根据图像特征点的位置对应关系，将所有待拼接图像投影到几何投影平面，确定全局图架构；根据图像特征点的全局坐标进行图像融合，得到三维全景图像。本发明的该3D图像拼接方法及装置，能够快速进行目标监测区域的图像拼接实现3D场景展示，有效克服了现有的逆向三维建模工作量大、周期长、模型难以复用的缺点，使得本发明方案，更能满足用户进行三维场景展现的实际需求。

Description

一种3D图像拼接方法及装置

技术领域

本发明涉及图像拼接技术领域，具体而言，涉及一种3D图像拼接方法及装置。

背景技术

目前，多利用摄像设备对重点场所、重点设备进行监控。采用摄像设备监控获取的图像均为二维图像，且每台监控设备仅能获取监控场所或设备的部分图像，不便于用户对监控场所或设备进行全景监测。例如，在变电站的监控中，布置了数十台摄像机，分别监控不同的物理和场景对象，如何进行基于三维全景可视化的变电站场景展现与监测是电力用户的业务需求之一。

现有的三维全景可视化场景展现与监测的方法主要是三维巡视、仿真培训和设备资产管理等，在实现过程中多采用逆向三维建模手段，包括：对已有的监测设备或场景的实体模型进行拍照或扫描，得到监测模型图像；在三维环境中，基于监测模型图像建立三维数字模型；将获取的监测场景的监测图像投影到三维数字模型中，进行三维全景可视化展现。

上述的方法虽然能够实现三维场景的可视化，但因为监测场所或设备的不同，例如每个变电站都有不同类型的设备和独特的空间分布特征，若都采用上述三维逆向建模的方法进行三维场景的展现，需要对每个设备、场所进行建模，导致三维逆向建模工作量大、周期长、模型难以复用，不能满足用户三维场景展现的实际需求。

发明内容

本发明的目的在于提供一种3D图像拼接方法及装置，以解决上述的问题。

在本发明的实施例中提供了一种3D图像拼接方法，包括：获取目标监测区域的已布点摄像机拍摄的待拼接图像，所述待拼接图像两两之间具有设定比例的重叠区域；确定所述待拼接图像中的图像特征点的位置对应关系；利用所述图像特征点的全局方位信息确定几何投影平面；根据所述图像特征点的所述位置对应关系，将所有所述待拼接图像投影到所述几何投影平面，确定全局图架构；根据所述图像特征点的全局坐标进行图像融合，得到三维全景图像。

优选地，该方法还包括：获取所述目标监测区域的已布点摄像机的摄像机信息，所述摄像机信息包括：摄像机个数、摄像机类型及摄像机物理参数。

优选地，所述确定所述待拼接图像中的图像特征点的位置对应关系，包括：基于尺度不变特征转换SIFT算法提取所述待拼接图像中的图像特征点；采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征点对；基于外极线约束几何模型和摄像机成像原理计算所述特征点对之间的位置关系。

优选地，所述采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征点对，包括：根据所述图像特征点的横坐标或纵坐标把所述重叠区域均匀分布；两两计算所述图像特征点的特征向量的欧氏距离，将所述欧氏距离小于设定的阈值的特征点匹配加入特征点对。

优选地，所述基于外极线约束几何模型和摄像机成像原理计算特征点对之间的位置关系，包括：基于RANSAC算法估算关于特征点对的基本矩阵；通过外极线约束几何模型约束所述基本矩阵的估算结果，并联立摄像机成像原理，计算所述图像特征点对的位置关系。

优选地，所述利用所述图像特征点的全局方位信息确定几何投影平面，包括：基于图像特征点到几何投影平面距离最小的原则，采用最小二乘法拟合所述几何投影平面。

优选地，所述根据所述图像特征点的全局坐标进行图像融合，得到三维全景图像，包括：采用柱面正射投影，将所述待拼接图像投影到柱面全局坐标中，基于所述图像特征点与柱面之间的映射关系进行图像融合。

本发明实施例还提供了一种3D图像拼接装置，包括：图像获取装置，用于获取目标监测区域的已布点摄像机拍摄的待拼接图像，所述拼接图像两两之间具有设定比例的重叠区域；位置关系确定模块，用于确定所述待拼接图像中的图像特征点的位置对应关系；投影模块，用于利用所述图像特征点的全局方位信息确定几何投影平面；根据所述图像特征点的所述位置对应关系，将所有所述待拼接图像投影到所述几何投影平面，确定全局图架构；图像融合模块，用于根据所述图像特征点的全局坐标进行图像融合，得到三维全景图像。

优选地，所述位置关系确定模块，包括：图像特征点提取子模块，用于基于尺度不变特征转换SIFT算法提取所述待拼接图像中的图像特征点；匹配子模块，用于采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征点对；位置关系确定子模块，用于基于外极线约束几何模型和摄像机成像原理计算所述特征点对之间的位置关系。

本发明实施例的3D图像拼接方法及装置，利用已布点摄像机获取的图像作为待拼接图像，通过待拼接图像中的图像特征点的位置对应关系在几何投影平面中进行投影、拼接，利用该方法无需预先建立目标监测区域的模型，能够快速进行目标监测区域的图像拼接实现3D场景展示，有效克服了现有的逆向三维建模工作量大、周期长、模型难以复用的缺点，使得本发明的方法及装置，更能满足用户进行三维场景展现的实际需求。

另外，本方法中，为了达到真实展现场景或设备的目的，基于图像特征点全局框架图的正投影方法，不会出现累积误差所造成图像失真变形的情况，可以达到真实模拟场景的需求。

附图说明

图1示出了本发明实施例中3D图像拼接方法的一种流程图；

图2示出了本发明实施例中3D图像拼接方法的另一种流程图；

图3示出了本发明实施例中外极线约束几何模型；

图4示出了本发明实施例中3D图像拼接装置的结构示意图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

本发明基于目标监测区域(例如变电站)三维可视化的应用需求，研究与目标监测区域视频监控系统相结合的三维全景可视化方法，提出基于摄像机粗精度监控方位实时监控图像获取，运用自适应图像特征点匹配技术计算匹配点对，估算匹配点基本矩阵，在此基础上基于外极线约束和摄像机成像原理计算匹配点对之间的位置关系；利用特征点对应关系进行图像的正射投影，将待拼接图像投影到全局图中,对图像进行融合，从而构建具有真实场景的实时三维全景图像。

基于上述思想，本发明实施例提供了一种3D图像拼接方法，如图1所示，主要处理步骤包括：

步骤S11：获取目标监测区域的已布点摄像机拍摄的待拼接图像，待拼接图像两两之间具有设定比例的重叠区域；

步骤S12：确定待拼接图像中的图像特征点的位置对应关系；

步骤S13：利用图像特征点的全局方位信息确定几何投影平面；

步骤S14：根据图像特征点的位置对应关系，将所有待拼接图像投影到几何投影平面，确定全局图架构；

步骤S15：根据图像特征点的全局坐标进行图像融合，得到三维全景图像。

利用该方法无需预先建立目标监测区域的模型，能够快速进行目标监测区域的图像拼接实现3D场景展示，有效克服了现有的逆向三维建模工作量大、周期长、模型难以复用的缺点，使得本发明的方法，更能满足用户进行三维场景展现的实际需求。

另外，本方法中，为了达到真实展现场景或设备的目的，基于图像特征点全局框架图的正投影方法，不会出现累积误差所造成图像失真变形的情况，可以达到真实模拟场景的需求。

如图2所示，本发明还提供了一种基于上述思想的优选实施方法，该方法主要包括：

步骤S21：实时获取待监测区域已布点摄像机拍摄的待拼接图像。

在监测区域中，已布点有摄像机。通过布点的摄像机能够实时获取到监测区域的监测图像。

对于已布点摄像机获取的待拼接图像，两两之间具有设定比例的重叠区域，优选地，待拼接图像两两之间至少具有20％的重叠区域。

另外，该方法中预先获取有已布点摄像机的摄像机信息，具体摄像机信息可以包括摄像机个数、摄像机类型和摄像机物理参数。对于摄像机类型，其可以选择范围包括球机、枪机、高清摄像机等；摄像机参数包括：摄像机位置、摄像机的焦距、光轴方向、变倍值、成像元件尺寸及分辨率等。

步骤S22：基于SIFT算法提取待拼接图像中的图像特征点。

其中，通过SIFT算法提取待拼接图像中的图像特征点的步骤包括：

1)、尺度空间极值点的检测；在尺度空间通过高斯微分函数来检测潜在的对于尺度和旋转不变的兴趣点；

2)、关键点定位；在兴趣点位置上，确定关键点的位置和尺度；

3)、关键点方向确定；基于图像局部的梯度方向，给每个关键点分配方向；

4)、计算关键点的描述子；在每个关键点的领域内测量图像局部的梯度，最终用一个特征向量来表达。

上述确定出的关键点即待拼接图像中的图像特征点。

步骤S23：采用特征点自适应匹配方法，快速判断对图像特征点是否匹配，如果匹配，则进行步骤S24，否则，重复步骤S23直至找到所有图像特征点的位置关系。

对于每个图像特征点，其描述子是一个128维的特征向量。两帧图像中相匹配的关键点是最相关的，所以欧氏距离最短的，基于此，本步骤中快速判断对图像特征点是否匹配的方法包括：

首先假设特征点对在两幅图的重叠区域上是均匀分布的，利用横坐标或纵坐标把重叠区域平均分配，通过计算两个图像特征点的特征向量的欧氏距离，将距离小于设定的阈值的图像特征点匹配加入特征点对；从特征点对集合中按欧氏距离从小到大的顺序取出特征点个数，即满足特征点对平均分布的要求，又最大化特征点的匹配程度。

其中，计算两个特征点之间的欧氏距离公式为：

$d=\sqrt{{\mathrm{\Σ}}_{i=0}^{127}{\left(\mathrm{descr}1\right[i]-\mathrm{descr}2[i\left]\right)}^2},$ descr1[i]和descr2[i]为两个图像特征点的描述子在第i维处的值。

步骤S24：基于外极线约束几何模型和摄像机成像原理计算特征点对之间的位置关系。

根据S23中得到的特征点对，基于RANSAC(即Random SampleConsensus)估算关于特征点对的基本矩阵并根据外极线约束几何模型估算基本矩阵中符合的点对数来确定两幅图是否匹配，如图3所示，当空间一点P在第一幅图像C₁中的投影m位于某外极线Pm₁，那么它在另一幅图C₂中的投影m′一定处于相对应的外极线Pm₂上，即

联立摄像机成像原理，计算图像特征点对的位置关系，具体方法为：

基于摄像机成像原理，构建摄像机内外参数模型。

摄像机外参数模型为：

其中表示摄像机在设立的O-XYZ坐标轴中的旋转角度，其中r_x为x方向的旋转角度，r_y为y方向的旋转角度，r_z为z方向的旋转角度；表示摄像机在O-XYZ坐标轴的平移参数，t_x为x方向的平移参数，t_y为y方向的平移参数，t_z为z方向的平移参数。

摄像机内参数模型：其中分别为摄像机水平和垂直轴上归一化焦距，是摄像机的焦距，dx和dy分别表示摄像机成像元件CCD单位像素的尺寸大小。(u₀，v₀)表示摄像机光轴中心线在成像平面的交点的图像坐标，通常位于图像中心处，其值常取分辨率的一半。

欲建立的三维场景的图像坐标与世界坐标之间的关系为：

其中，O-X_wY_wZ_w为世界坐标系,(x_w,y_w,z_w)为空间点任意一点P在世界坐标系下的坐标，(u，v)为P点在带拼接图像坐标系下的坐标。

步骤S25：图像特征点对的正射投影融合

得到图像特征点的位置关系后，首先利用图像特征点的全局方位信息确定几个投影平面，以尽量减少图像特征点到这个平面的距离和，这样可以最小化图像拼接所带来的误差影响；优选地，采用最小二乘法来拟合投影平面，从而确保这些空间点到新平面的距离和最小。

根据上述图像特征点的位置对应关系，将所有待拼接图像投影到几何投影平面，确定全局图架构；根据图像特征点的全局坐标进行图像融合，得到三维全景图像。优选地，采用柱面正射投影，将待拼接图像投影到柱面全局坐标中，基于图像特征点与柱面之间的映射关系进行图像融合。即将图像投影到柱面全局坐标中，基于图像特征点与柱面之间的映射关系进行图像融合，得到实景图像上像素点在全局视点空间中的位置信息，最终以二维坐标形式存储。

在采用柱面正射投影中，包括：统一柱面和待拼接图像的坐标，待拼接图像上的点投影到柱面上的点Q(x′，y′，z′)，即 $(x^{\′},y^{\′},z^{\′})=\frac{r}{\sqrt{x^2+z^2}}(x,y,z);$

根据图像(x，y)和柱面图像对应点(x′，y′)之间的映射关系，即图像的正投影运算：

$\left\{\begin{array}{c}{x}^{\′}=r*\arctan \left(\frac{x}{r}\right)\\ y^{\′}=y*\cos \mathrm{\θ}\\ \mathrm{\θ}=\arctan \left(\frac{x}{r}\right)\end{array}\right.$

其中r为柱面半径，一般取摄像机焦距；图像根据特征点在全局图中的位置关系进行融合不会出现累积误差造成的图像失真变形的情况，达到构建具有真实场景的实时三维全景图像。

以变电站中变压器三维实时全景为例，为达到全景图像，在变电站中一般采用三到四个摄像机，其中包括固定摄像机和球机，在此基于智能辅助综合监控一体化平台，选中变电站场景中的摄像机，调整其位置或根据之前监控保留的预置位信息，在某时刻就可以实时的获取各摄像机监控图像；根据摄像机方位信息输入监控图像，基于SIFT算法提取图像中重叠区域的特征点，同时基于自适应匹配方法快速均匀获取特征点对，然后使用外极线约束和摄像机成像原理计算特征点对位置关系,最后根据特征点对位置关系进行投影和融合，从而展现出真实场景的实时三维全景图像。

本方法中，1)利用变电站场景中已布点的摄像机，其在监控一体平台中已经证实可以达到对设备或场景的全面监控，简便易行，降低工作量；

2)基于SIFT和自适应匹配方法可以达到快速和准确的特征点对；

3)基于外极线约束和摄像机成像原理获取特征点位置关系为保证图像拼接中减少累积误差和图形失真的情况；最终达到以真实的场景展现变压器的三维全景。

本发明实施例中还提供了一种3D图像拼接装置，如图4所示，包括：

图像获取装置41，用于获取目标监测区域的已布点摄像机拍摄的待拼接图像，拼接图像两两之间具有设定比例的重叠区域；

位置关系确定模块42，用于确定待拼接图像中的图像特征点的位置对应关系；

投影模块43，用于利用图像特征点的全局方位信息确定几何投影平面；根据图像特征点的位置对应关系，将所有待拼接图像投影到几何投影平面，确定全局图架构；

图像融合模块44，用于根据图像特征点的全局坐标进行图像融合，得到三维全景图像。

上述位置关系确定模块，包括：

图像特征点提取子模块，用于基于尺度不变特征转换SIFT算法提取待拼接图像中的图像特征点；

匹配子模块，用于采用特征点自适应匹配方法对图像特征点进行匹配，得到特征点对；

位置关系确定子模块，用于基于外极线约束几何模型和摄像机成像原理计算特征点对之间的位置关系。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种3D图像拼接方法，其特征在于，包括：

获取目标监测区域的已布点摄像机拍摄的待拼接图像，所述待拼接图像两两之间具有设定比例的重叠区域；

确定所述待拼接图像中的图像特征点的位置对应关系；

利用所述图像特征点的全局方位信息确定几何投影平面；

根据所述图像特征点的所述位置对应关系，将所有所述待拼接图像投影到所述几何投影平面，确定全局图架构；

根据所述图像特征点的全局坐标进行图像融合，得到三维全景图像。

2.根据权利要求1所述的3D图像拼接方法，其特征在于，该方法还包括：获取所述目标监测区域的已布点摄像机的摄像机信息，所述摄像机信息包括：摄像机个数、摄像机类型及摄像机物理参数。

3.根据权利要求1所述的3D图像拼接方法，其特征在于，所述确定所述待拼接图像中的图像特征点的位置对应关系，包括：

基于尺度不变特征转换SIFT算法提取所述待拼接图像中的图像特征点；

采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征点对；

基于外极线约束几何模型和摄像机成像原理计算所述特征点对之间的位置关系。

4.根据权利要求3所述的3D图像拼接方法，其特征在于，所述采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征点对，包括：

根据所述图像特征点的横坐标或纵坐标把所述重叠区域均匀分布；

两两计算所述图像特征点的特征向量的欧氏距离，将所述欧氏距离小于设定的阈值的图像特征点匹配加入特征点对。

5.根据权利要求3所述的3D图像拼接方法，其特征在于，所述基于外极线约束几何模型和摄像机成像原理计算特征点对之间的位置关系，包括：

基于RANSAC算法估算关于特征点对的基本矩阵；

通过外极线约束几何模型约束所述基本矩阵的估算结果，并联立摄像机成像原理，计算所述特征点对的位置关系。

6.根据权利要求1所述的3D图像拼接方法，其特征在于，所述利用所述图像特征点的全局方位信息确定几何投影平面，包括：

基于图像特征点到几何投影平面距离最小的原则，采用最小二乘法拟合所述几何投影平面。

7.根据权利要求1所述的3D图像拼接方法，其特征在于，所述根据所述图像特征点的全局坐标进行图像融合，得到三维全景图像，包括：

采用柱面正射投影，将所述待拼接图像投影到柱面全局坐标中，基于所述图像特征点与柱面之间的映射关系进行图像融合。

8.一种3D图像拼接装置，其特征在于，包括：

图像获取装置，用于获取目标监测区域的已布点摄像机拍摄的待拼接图像，所述拼接图像两两之间具有设定比例的重叠区域；

位置关系确定模块，用于确定所述待拼接图像中的图像特征点的位置对应关系；

投影模块，用于利用所述图像特征点的全局方位信息确定几何投影平面；根据所述图像特征点的所述位置对应关系，将所有所述待拼接图像投影到所述几何投影平面，确定全局图架构；

图像融合模块，用于根据所述图像特征点的全局坐标进行图像融合，得到三维全景图像。

9.根据权利要求8所述的3D图像拼接装置，其特征在于，所述位置关系确定模块，包括：

图像特征点提取子模块，用于基于尺度不变特征转换SIFT算法提取所述待拼接图像中的图像特征点；

匹配子模块，用于采用特征点自适应匹配方法对所述图像特征点进行匹配，得到特征点对；

位置关系确定子模块，用于基于外极线约束几何模型和摄像机成像原理计算所述特征点对之间的位置关系。