CN106886979A - 一种图像拼接装置及图像拼接方法 - Google Patents

Abstract

本发明公开了一种图像拼接装置及图像拼接方法，其中图像拼接装置包括彩色相机、深度相机和分光镜，分光镜用于将入射光线分成透射光和反射光，其中彩色相机设置在分光镜的透射光的光路上，深度相机设置在分光镜的反射光的光路上，且分光镜到彩色相机和到深度相机的距离相等；图像拼接方法包括：通过至少两个图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列；从图像序列中选取相邻的两幅图像，提取特征点并匹配，计算得到全局单应性矩阵；获取相邻的两幅图像的重叠区域的图像层次信息，根据图像层次信息对重叠区域的图像进行投影得到拼接图像。本发明提出的图像拼接装置及图像拼接方法，实现无缝拼接，大大减少重影和视差。

Description

一种图像拼接装置及图像拼接方法

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种图像拼接装置及图像拼接方法。

背景技术

由于相机视角有限以及广角镜头边缘畸变严重，难以获得一幅全景图像，利用图像拼接技术能大幅扩展镜头的表现能力。图像拼接是将一组重叠图像序列拼接成一幅宽视角或360度全景的无缝图，它作为新兴技术，在短短几年得到了快速发展。目前全景拼接图像已经成为虚拟现实研究中的热点和关键技术，在教育、娱乐、军事、医学、航空航天、体育等多个领域发挥着重要作用。

而现有的获取全景图像通常存在以下问题：使用多相机拍摄时各相机的光心不重合，或者单相机多次拍摄时相机光心不重合，或者拍摄场景中包含多个平面，从而导致两幅图像的重叠区域将会出现视差问题，导致拼接出现重影，影响获得的拼接图的视觉效果。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决现有的图像拼接过程中存在的重影和视差问题，本发明提出一种图像拼接装置及图像拼接方法，实现无缝拼接，大大减少重影和视差。

为达到上述目的，本发明采用以下技术方案：

本发明公开了一种图像拼接装置，包括彩色相机、深度相机和分光镜，所述分光镜用于将入射光线分成透射光和反射光，其中所述彩色相机设置在所述分光镜的透射光的光路上，所述深度相机设置在所述分光镜的反射光的光路上，且所述分光镜到所述彩色相机和到所述深度相机的距离相等。

优选地，所述分光镜为中性非偏振分光镜。

本发明还公开了一种图像拼接方法，包括以下步骤：

S1：通过至少两个上述的图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列；

S2：从所述图像序列中选取相邻的两幅图像，提取特征点并匹配，计算得到全局单应性矩阵；

S3：获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息，如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像；如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像。

优选地，步骤S3中获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息具体包括：根据步骤S2中的相邻的两幅图像的重叠区域的深度信息来划分图像层次信息，并根据各层次的视差来校正层次划分的合理性，其中视差的计算公式为：

其中，P为视差，D为深度，f为彩色相机的焦距，x_c表示两个图像拼接装置中的彩色相机之间的距离。

优选地，步骤S3中如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像具体包括：如果重叠区域的图像层次为一层，则使用全局单应性矩阵将第二幅图像投影映射到第一幅图像的坐标系中得到拼接图像。

优选地，步骤S3中如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像具体包括：如果重叠区域的图像层次大于一层，则在每层中选择至少四对已经匹配好的特征点来计算局部单应性矩阵，并利用得到的局部单应性矩阵来计算置信度，若置信度≥0.95，则确认该局部单应性矩阵是相应层特征点的映射，否则舍弃该局部单应性矩阵并回到特征提取步骤重新计算局部单应性矩阵；然后将第二幅图像整体根据全局单应性矩阵投影到第一幅图像的坐标系中，并将第二幅图像的重叠区域使用各层的局部单应性矩阵投影变换到第一幅图像的坐标系中得到拼接图像。

优选地，所述图像拼接方法还包括以下步骤：S4：采用光束法平差使得步骤S3中得到的拼接图像中通过投影变换后的像点与真实平面中的像点之间的误差最小化，并对边缘进行畸变校正。

优选地，步骤S4中的光束法平差具体包括：设定一个3D空间中的点X_j，点X_j被多个位于不同角度的彩色相机拍摄到，根据第i个彩色相机看到点X_j的坐标以及点X_j向二维像平面转换的矩阵为Pⁱ，计算投影矩阵和对应的3D空间中的点使得计算得到的3D空间中的点与真实平面中的点X_j之间的误差最小：

其中，w_ij表示指示参量，如果计算得到的3D空间中的点在投影平面内，则w_ij＝1，否则为0，d(x,y)代表点x与y之间的欧式距离。

优选地，步骤S4中的畸变校正具体包括：如果重叠区域的图像层次为一层，则融合整个重叠区域，得到最终的拼接图像，如果重叠区域的图像层次大于一层，则融合图像分割线的部分，得到最终的拼接图像。

优选地，如果重叠区域的图像层次为一层，则采用α融合、加权融合、多频段融合或金字塔融合法融合整个重叠区域，得到最终的拼接图像；如果重叠区域的图像层次大于一层，采用MRF算法计算相应层次的投影变换的缝合线，选择最佳缝合线算法中效果最好的一条缝合线进行α融合。

优选地，采用MRF算法计算相应层次的投影变换的缝合线具体包括：

采用MRF算法对两幅图像的重叠区域I₀和I₁进行标记，I₀区域标记为0，I₁区域标记为1，通过按层次最小化能量来得到缝合线，表达式如下：

其中，λ为权重值，数据项E_d表示该点像素的梯度损耗，平滑项E_s表示两幅图像的重叠区域的接缝处的损耗，数据项E_d的具体表达式为：

其中，l_p是二进制标定值用来描述像素的梯度；

平滑项损耗E_s的具体表达式为：

E_s＝D(p₀,p₁)+D(q₀,q₁)

其中，D表示重叠区域的图像被标记成不同的标签的差异之和，由二范数与梯度进行表征。

与现有技术相比，本发明的有益效果在于：本发明的图像拼接装置及图像拼接方法通过将彩色相机与深度相机进行结合，获取有重叠区域的一组图像，将所有图像拼接在一起获得宽视角的一幅图像，其中由于在图像拼接装置中对应设置分光镜和深度相机，使得拍摄得到的各个图像中均具有深度信息，根据深度信息将图片重叠区域划分为多个层次，对每个层次分别进行拼接，从而可以处理多层次场景的拼接，实现无缝拼接，减少视差和重影问题，大大提升了拼接质量与视觉效果。

附图说明

图1是本发明优选实施例的图像拼接方法的流程示意图；

图2是本发明优选实施例的图像拼接装置的结构示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明优选实施例公开了一种图像拼接方法，包括以下步骤：

S1：通过至少两个图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列，该图像序列用于后续进行拼接。

图像拼接装置的结构示意图如图2所示，图像拼接装置包括彩色相机10、深度相机20和分光镜30，分光镜30可以将入射光线40分成两束，一束为透射光50，一束为反射光60；彩色相机10设置在透射光50的光路上，用于接收透射50，深度相机20设置在反射光60的光路上，用于接收反射光60；并且分光镜30到彩色相机10和到深度相机20的距离相等。通过该图像拼接装置可以直接获取彩色相机对应场景的深度信息，其中彩色相机10可以采用GoPro、Surround 360、柯达PixPro SP360等。

其中，图像拼接装置中的分光镜30采用中性非偏振分光镜，透射反射比为50:50，使得入射光线通过分光镜30后，一半经过透射给彩色相机10，另一半经过反射给深度相机20，以保证深度相机获得的深度信息与彩色相机的场景能一一对应。

S2：从图像序列中选取相邻的两幅图像，提取特征点并匹配，计算得到全局单应性矩阵。

其中提取特征点可以采用：Sift特征点检测、Surf特征点检测、Harris角点检测等方法，本施例中采用Sift特征点检测的方法，对提取出的特征点进行一一匹配，可以通过欧式距离、灰度相关和松弛匹配、以及梯度方向等信息进行匹配，本实施例中，使用欧式距离加上RANSC算法对特征点进行筛选与匹配，用最小二乘法对匹配的特征点求解得到全局单应性矩阵。

S3：获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息，如果图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像，如果图像层次大于一层，依据所述重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像。

具体地，步骤S3包括以下步骤：

S31：获取步骤S2中的相邻的两幅图像的重叠区域，根据深度相机的信息可以获取图像的重叠区域的场景与彩色相机的距离，结合场景内容将重叠区域图像划分为n个层次(1≤n≤4)，比如场景单一的天空、远山、湖泊、森林等可以视为只有一层，可以得到视差与深度之间的关系为：

当深度较小时，即深度值远远小于相机焦距(例如深度值比相机焦距小一个数量级)，f-D可以近似为f，则视差与深度的关系可以等效为：

其中P为视差，D为深度，f为彩色相机的焦距，x_c表示两个图像拼接装置中的彩色相机之间的距离。

如果拍摄系统中是两个水平放置的彩色相机，则x_c为两个彩色相机光心的水平距离；如果是多个彩色相机共圆心放置，则其中r表示圆心到彩色相机光心的半径，n为相机的个数。

通过式(1)、(2)可以计算重叠区域各层次的视差，来判断划分的层次的合理性。具体地，视差小于a为一层，a到b为一层，b到c为一层，c以上为一层，其中a、b、c的确定与图像大小、相机焦距等有关，例如一幅400*400的图像，可容忍的视差值为50。

S32：如果重叠区域的图像层次为一层，即n＝1，则直接使用步骤S2中的全局单应性矩阵，将第二幅图像投影映射到第一幅图像的坐标系中得到拼接图像；

S33：如果重叠区域的图像层次大于一层，即n＞1，则在每个层选择至少四对已经匹配好的特征点来计算局部单应性矩阵，并利用得到的局部单应性矩阵计算置信度，如果置信度在0.95以上，则认为该局部单应性矩阵是相应层特征点的映射，否则，舍弃该局部单应性矩阵回到特征提取步骤重新计算局部单应性矩阵；然后先将第二幅图像整体根据全局单应性矩阵投影到第一幅图像的坐标系中，对于第二幅图像的重叠区域则使用各层的局部单应性矩阵投影变换到第一幅图像的坐标系中。

S4：对步骤S3得到的拼接图像作光束法平差和畸变校正，如果重叠区域的图像层次为一层，则融合整个重叠区域；如果重叠区域的图像层次大于一层，则融合图像分割线的部分，得到最终的拼接图。

具体地，步骤S4包括以下步骤：

S41：假设拍摄图像中的噪声是高斯白噪声，采用光束法平差使得通过投影变换后的像点与真实平面中的像点之间的误差最小化，使得映射误差最小化。设定一个3D空间中的点X_j，它被多个位于不同角度的彩色相机拍摄到，根据第i个彩色相机看到点X_j的坐标以及该点向二维像平面转换的矩阵为Pⁱ，估计投影矩阵和对应的3D空间中的点使得估计得到的3D空间中的点与真实平面中的点X_j之间的误差最小，即：

其中，w_ij表示指示参量，如果由式(3)估计得到的3D空间中的点在投影平面内，则w_ij＝1，否则为0，d(x,y)代表点x与y之间的欧式距离。本实施例中，由3D点向二维像平面转换的矩阵Pⁱ使用全局单应性矩阵。

拍摄相机由于设计、加工工艺及安装等因素，导致拍摄的图像产生一些畸变，包括径向畸变、离心畸变和薄棱镜畸变等，故需要对获得的图片进行畸变校正，本实施例中采用几何畸变校正的方法，由之前建立的图像像素坐标系与相机坐标系对应点的映射关系，对图像各个像素坐标进行校正，对灰度进行内插确定各像素的灰度值。

S42：若步骤S3中重叠区域的图像层次为一层，则直接对整个重叠区域进行融合，融合方法可以采用α融合、加权融合、多频段融合、金字塔融合法等算法，本实施例中采用金字塔融合。

S43：若步骤S3中重叠区域的图像层次大于一层，则采用最佳缝合线的融合方法，对步骤S2中的全局单应性矩阵和步骤S3中的各层的局部单应性矩阵，利用MRF算法得到相应投影变换的缝合线，选择最佳缝合线算法中效果最好(缝合线尽量避免将一物体分割成两部分)的一条缝合线进行简单的α融合。

采用MRF算法对两幅图像的重叠区域I₀和I₁进行标记，I₀区域标记为0，I₁区域标记为1，通过按层次最小化能量来得到缝合线，表达式如下：

其中，λ为权重值，本实施例中取值为2，数据项E_d表示该点像素的梯度损耗，平滑项E_s表示两幅图像的重叠区域的接缝处的损耗，数据项E_d的具体表达式为：

其中，l_p是二进制标定值用来描述像素的梯度，其取值为0和1。

平滑项损耗E_s的具体表达式为：

E_s＝D(p₀,p₁)+D(q₀,q₁) (6)

其中，D表示重叠区域的图像被标记成不同的标签的差异之和，由二范数与梯度进行表征。

本发明优选实施例的图像拼接装置及图像拼接方法通过将彩色相机与深度相机进行结合，获取有重叠区域的一组图像，将所有图像拼接在一起获得宽视角的一幅图像，其中由于在图像拼接装置中对应设置分光镜和深度相机，使得拍摄得到的各个图像中均具有深度信息，根据深度信息将图片重叠区域划分为多个层次，对每个层次分别进行拼接，从而可以处理多层次场景的拼接，实现无缝拼接，减少视差和重影问题，大大提升了拼接质量与视觉效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种图像拼接装置，其特征在于，包括彩色相机、深度相机和分光镜，所述分光镜用于将入射光线分成透射光和反射光，其中所述彩色相机设置在所述分光镜的透射光的光路上，所述深度相机设置在所述分光镜的反射光的光路上，且所述分光镜到所述彩色相机和到所述深度相机的距离相等。

2.根据权利要求1所述的图像拼接装置，其特征在于，所述分光镜为中性非偏振分光镜。

3.一种图像拼接方法，其特征在于，包括以下步骤：

S1：通过至少两个如权利要求1或2所述的图像拼接装置分别拍摄不同视角的图像，获取有重叠区域的图像序列；

S2：从所述图像序列中选取相邻的两幅图像，提取特征点并匹配，计算得到全局单应性矩阵；

S3：获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息，如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像；如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像。

4.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中获取步骤S2中的相邻的两幅图像的重叠区域的图像层次信息具体包括：根据步骤S2中的相邻的两幅图像的重叠区域的深度信息来划分图像层次信息，并根据各层次的视差来校正层次划分的合理性，其中视差的计算公式为：

$P=\frac{x_c}{f-D}D$

其中，P为视差，D为深度，f为彩色相机的焦距，x_c表示两个图像拼接装置中的彩色相机之间的距离。

5.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中如果重叠区域的图像层次为一层，则使用全局单应性矩阵进行投影得到拼接图像具体包括：如果重叠区域的图像层次为一层，则使用全局单应性矩阵将第二幅图像投影映射到第一幅图像的坐标系中得到拼接图像。

6.根据权利要求3所述的图像拼接方法，其特征在于，步骤S3中如果重叠区域的图像层次大于一层，依据重叠区域的场景位于不同层次计算得到各层的局部单应性矩阵，并按层次分别使用各层的局部单应性矩阵对重叠区域图像进行投影得到拼接图像具体包括：

如果重叠区域的图像层次大于一层，则在每层中选择至少四对已经匹配好的特征点来计算局部单应性矩阵，并利用得到的局部单应性矩阵来计算置信度，若置信度≥0.95，则确认该局部单应性矩阵是相应层特征点的映射，否则舍弃该局部单应性矩阵并回到特征提取步骤重新计算局部单应性矩阵；然后将第二幅图像整体根据全局单应性矩阵投影到第一幅图像的坐标系中，并将第二幅图像的重叠区域使用各层的局部单应性矩阵投影变换到第一幅图像的坐标系中得到拼接图像。

7.根据权利要求3至6任一项所述的图像拼接方法，其特征在于，还包括以下步骤：

S4：采用光束法平差使得步骤S3中得到的拼接图像中通过投影变换后的像点与真实平面中的像点之间的误差最小化，并对边缘进行畸变校正。

8.根据权利要求7所述的图像拼接方法，其特征在于，步骤S4中的光束法平差具体包括：设定一个3D空间中的点X_j，点X_j被多个位于不同角度的彩色相机拍摄到，根据第i个彩色相机看到点X_j的坐标xⁱ _j，以及点X_j向二维像平面转换的矩阵为Pⁱ，计算投影矩阵和对应的3D空间中的点使得计算得到的3D空间中的点与真实平面中的点X_j之间的误差最小：

$\underset{\widetilde{P^i},\widetilde{X_j}}{\min }\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{w}_{ij}d{(\widetilde{P^i}\widetilde{X_j},x_j^i)}^2$

其中，w_ij表示指示参量，如果计算得到的3D空间中的点在投影平面内，则w_ij＝1，否则为0，d(x,y)代表点x与y之间的欧式距离。

9.根据权利要求7所述的图像拼接方法，其特征在于，步骤S4中的畸变校正具体包括：如果重叠区域的图像层次为一层，则融合整个重叠区域，得到最终的拼接图像，如果重叠区域的图像层次大于一层，则融合图像分割线的部分，得到最终的拼接图像。

10.根据权利要求9所述的图像拼接方法，其特征在于，如果重叠区域的图像层次为一层，则采用α融合、加权融合、多频段融合或金字塔融合法融合整个重叠区域，得到最终的拼接图像；如果重叠区域的图像层次大于一层，采用MRF算法计算相应层次的投影变换的缝合线，选择最佳缝合线算法中效果最好的一条缝合线进行α融合；优选地，采用MRF算法计算相应层次的投影变换的缝合线具体包括：

采用MRF算法对两幅图像的重叠区域I₀和I₁进行标记，I₀区域标记为0，I₁区域标记为1，通过按层次最小化能量来得到缝合线，表达式如下：

$E=\underset{p}{\mathrm{\Σ}}{E}_d+\mathrm{\λ}\underset{(p,q)\∈N}{\mathrm{\Σ}}{E}_s$

其中，λ为权重值，数据项E_d表示该点像素的梯度损耗，平滑项E_s表示两幅图像的重叠区域的接缝处的损耗，数据项E_d的具体表达式为：

$E_d(p,l_p)=-\▿I_{\left(p\right)}^{l_p}$

其中，l_p是二进制标定值用来描述像素的梯度；

平滑项损耗E_s的具体表达式为：

E_s＝D(p₀,p₁)+D(q₀,q₁)

其中，D表示重叠区域的图像被标记成不同的标签的差异之和，由二范数与梯度进行表征。