CN103761721A

CN103761721A - 一种适用于空间绳系机器人的立体视觉快速图像拼接方法

Info

Publication number: CN103761721A
Application number: CN201310746983.9A
Authority: CN
Inventors: 黄攀峰; 蔡佳; 王东科; 张彬
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2013-12-30
Filing date: 2013-12-30
Publication date: 2014-04-30
Anticipated expiration: 2033-12-30
Also published as: CN103761721B

Abstract

本发明涉及一种适用于空间绳系机器人的立体视觉快速图像拼接方法，基于ORB特征检测和描述算法的图像拼接算法，通过与传统的拼接算法的对比，可以看出，这种算法在拼接精度、鲁棒性和最终拼接图像的效果上其性能都比较好，其速度相对于传统的算法却是最快的，具有较为广泛的应用范围和良好的应用前景。与现有技术相比，本发明具有如下有益效果：算法的耗时较少，拼接速度显著提高；图片拼接处融合效果较好；抗噪声能力比较强。

Description

一种适用于空间绳系机器人的立体视觉快速图像拼接方法

技术领域

本发明属于图像处理与计算机视觉领域，具体涉及一种适用于空间绳系机器人的立体视觉快速图像拼接方法。

背景技术

图像处理是一门综合性的学科，由于近年来其应用的日益广泛，已经发展为一门成长迅速的、具有强大生命力的学科。尤其是近年来计算机技术迅速发展，数字图像处理技术也随之产生，并且迅速发展。近年来，随着人们应用的不断加深，对图像的视角、分辨率和大小的要求都在不停地增加，比如在航空图像处理和地理信息系统中，对图像的视角、范围和分辨率都有很严格的要求。

图像拼接是把多幅相互间具有一定重叠区域的原始图像，经过一系列的图像处理过程，最终生成一幅包含各原始图像信息的、宽视角的大型无缝图像的过程。这样不但能够获得更广阔的视野，还可以间接提高图像的分辨率，获得高分辨率的大型图像。已经成为图像处理技术领域的一个重要分支，由于其应用领域的不断扩展，在实际应用中对其的要求不断提高，所以图像拼接技术已经成为图像处理领域的研究热点。

在实际应用中，有很多地方都需要用到图像拼接技术。比如对一个很大尺寸的物体，如果想要在一张照片中显示，一般做法是放缩镜头，调节相机的焦距，但是这样做往往会导致照片的分辨率下降，无法获得高清晰的图片。计算机和数字图像处理技术的飞速发展，使得图像拼接技术更加的成熟，使用更加的方便简单，能够很好的解决上面的问题。

如今，图像拼接技术日益流行，其应用范围极其广泛，在虚拟实现技术、机器视觉、计算机图形学等很多领域都具有重要的研究价值。在医学研究、航空拍摄、天气预报、遥感图像处理、资源勘测、地理信息勘探、军事预警、可视电话、网络电视、物体的3D重建、全景图像的构造、图像或视频的超分辨率处理等领域都有广泛的应用。

虽然目前已经有人提出不少的图像拼接算法，图像拼接技术也在不断的发展，但是仍然不能满足当前实际应用对其的需求。已有的算法存在着速度不够快、精度不够高、融合效果不够好、使用范围不够广和鲁棒性不够强等各种问题。比如基于经典的特征检测算法SIFT的图像拼接算法，其效果虽然很好，但是由于SIFT算法的计算量很大，所以算法的运行速度很慢；基于SURF的图像拼接算法，虽然其运算速度较快，但是其拼接效果却不理想。因此研究一种精度高、速度快、效果好、智能程度高、鲁棒性强并且适应性广的图像拼接算法具有十分重要的意义。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种适用于空间绳系机器人的立体视觉快速图像拼接方法，在于弥补现有图像拼接算法在速度、精度、融合度、适用范围和鲁棒性上的不足，提供一种能够实时对双目立体视觉系统采集到的左右图像进行拼接的算法。

技术方案

一种适用于空间绳系机器人的立体视觉快速图像拼接方法，其特征在于：步骤如下：

步骤1：采用左右两台相机对目标图像同步进行采集后得到两幅图像I_l(x',y')和I_r(x,y)，以其中一幅图像为参考图像I_l(x',y')，另一幅图像为待拼接图像I_r(x,y)；所述两台相机为光轴平行放置；所述两幅图像具有重叠；

步骤2：对两幅图像I_l(x',y')和I_r(x,y)分别进行中值滤波和维纳滤波；

步骤3：对滤波后的图像I_l(x',y')和I_r(x,y)利用ORB算法分别进行特征提取，分别得到I_l(x',y')I_r(x,y)上的特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}；

采用Hamming距离作为距离的描述对特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}进行匹配，得到粗匹配后的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}；

分别计算各匹配点之间的Euclidean距离d_lr1,d_lr2,…,d_lrc，得到其中的最小距离d_min；

对特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}中每个特征点对进行如下判断，如果d_lri<2×d_min，该特征点对视为正确匹配，则保留该特征点对P_lmi和P_rmi；如果d_lri≥2×d_min，该特征点对视为错误匹配，则剔除该特征点对P_lmi和P_rmi；

得到正确匹配的特征点集{P_lfm1,P_lfm2,…,P_lfmj}和{P_rfm1,P_rfm2,…,P_rfmj}；

步骤4：以矩阵乘法表示2D图像之间的变换关系，其上各点之间的映射关系如下：

(\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}) = (\begin{matrix} m_{0} & m_{1} & m_{2} \\ m_{3} & m_{4} & m_{5} \\ m_{6} & m_{7} & m_{8} \end{matrix}) (\begin{matrix} x \\ y \\ 1 \end{matrix}) = M (\begin{matrix} x \\ y \\ 1 \end{matrix})

M记为空间变换矩阵；

利用步骤3得到的正确匹配的特征点集{P_lfm1,P_lfm2,…,P_lfmj}和{P_rfm1,P_rfm2,…,P_rfmj}，根据随机抽样一致性方法RANSAC方法计算得到从待拼接图像I_r(x,y)到参考图像I_l(x’,y’)变换的空间变换矩阵M中的各参量值；

根据空间变换矩阵M，将待拼接图像I_r(x,y)投影变换到参考图像I_l(x',y')坐标系中，得到I_r(x,y)'；

步骤5：采用加权平均法将I_l(x',y')和I_r(x,y)'融合成一副图像I(x_w,y_w)。

所述加权平均法的步骤如下：对I_l(x',y')和I_r(x,y)'上的各像素点由下述公式处理：

I (x_{w}, y_{w}) = \{\begin{matrix} I_{l} (x_{w}, y_{w}) & (x_{w}, y_{w}) &Element; I_{l} \\ a_{1} (x_{w}, y_{w}) I_{l} (x_{w}, y_{w}) + a_{2} I_{r} {(x_{w}, y_{w})}^{'} & (x_{w}, y_{w}) &Element; I_{l} \cap {I_{r}}^{'} \\ I_{r} {(x_{w}, y_{w})}^{'} & (x_{w}, y_{w}) &Element; {I_{r}}^{'} \end{matrix}

其中a₁和a₂分别代表两幅原始图像重叠区域中像素所应用的权值，满足a₁+a₂=1，0<a₁<1，0<a₂<1；所述a₂＝1-a₁；其中：x_max和x_min分别表示I_l(x',y')和I_r(x,y)'重叠区域的x轴最大和最小值；当a₁由1慢慢变化到0时，重叠区域从第一幅图像I_l(x',y')慢慢过渡到第二幅图像I_r(x,y)'，实现了图像间的平滑过渡，消除了拼接缝效应，调整图像尺寸大小后形成完整的拼接图像I(x_w,y_w)。

有益效果

本发明提出的一种适用于空间绳系机器人的立体视觉快速图像拼接方法，基于ORB特征检测和描述算法的图像拼接算法，通过与传统的拼接算法的对比，可以看出，这种算法在拼接精度、鲁棒性和最终拼接图像的效果上其性能都比较好，其速度相对于传统的算法却是最快的，具有较为广泛的应用范围和良好的应用前景。

与现有技术相比，本发明具有如下有益效果：

1、算法的耗时较少，拼接速度显著提高；

2、图片拼接处融合效果较好；

3、抗噪声能力比较强；

本发明的方法易于实现和应用，主要可以应用于以下几个方面：

1、机器人双目图像拼接；

2、高清或全景图像的快速拼接等。

附图说明

图1为本发明的算法总流程框图。

图2为图像坐标变换类型示意图。

图3为拼接前两幅原始图像。

图4为拼接后的效果图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明实施的技术方案为：由特征检测与匹配、确定变换数学模型、图像空间变换、图像重构拼接和图像融合等五部分组成。

该方法具体包括步骤如下：

(1)图像采集：利用双目相机对目标图像进行采集；

(2)图像预处理：对左右相机采集到的图像进行中值滤波和维纳滤波等预处理，以消除噪声干扰，得到平滑的目标图像；

(3)特征检测与匹配：采用ORB特征点提取算法分别对左右两幅图像进行检测，并使用rBRIEF得到二进制位串的关键点描述符，所以在关键点匹配的过程中距离的描述使用Hamming距离，在匹配点搜索的过程中，使用KD树数据结构。最后采用阈值法剔除错误的匹配点对。

(4)图像配准：利用正确匹配的两幅图像的关键点对，计算出从待拼接图像到参考图像变换的数学模型中的各参量值，从而确定两幅图像之间的数学变换模型；根据数学变换模型，把待拼接图像投影变换到参考图像坐标系中，使两幅图像进行空间对齐；

(5)图像融合：将两幅图像进行叠加，合并为一副图像；对重叠区域进行平滑处理，消除图像合成时在重叠区域上出现的拼接缝，以改善拼接图像的视觉效果。

具体如图1所示，本发明实施例提供的立体视觉快速图像拼接过程包括：

(1)图像获取

左右两台相机对目标图像同步进行采集后分别得到图像参考图像I_l(x',y')和待拼接图像I_r(x,y)。

(2)图像预处理

对采集到的图像I_l(x',y')和I_r(x,y)分别进行中值滤波和维纳滤波。

(3)特征检测与匹配：

对I_l(x',y')和I_r(x,y)利用ORB算法进行特征提取，简要做法如下：进行OrientedFAST特征点检测；生成Rotated BRIEF特征描述子。

其中关于上述步骤如何具体操作，为本领域公知技术，可参考文献1“Ethan Rublee,Vincent Rabaud,Kurt Konolige and Gary Bradski.ORB:an efficient alternative to SIFT orSURF[C].IEEE International Conference,Barcelona,2011:2564-2571.”，此处不再赘述。

经过这一步骤可以分别得到I_l(x',y')I_r(x,y)上的特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}。

特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}匹配的过程中使用Hamming距离作为距离的描述。在匹配点搜索的过程中使用KD树数据结构，由此可以得到粗匹配后的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}。

对粗匹配后得到的特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}进行错误匹配点的剔除方法如下：分别计算各匹配点之间的Euclidean距离d_lr1,d_lr2,…,d_lrc。计算得到其中的最小距离d_min。

对特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}中每个特征点对进行如下判断，如果d_lri<2×d_min，该特征点对视为正确匹配，则保留该特征点对P_lmi和P_rmi；如果d_lri≥2×d_min，该特征点对视为错误匹配，则剔除该特征点对P_lmi和P_rmi。经过该步骤后得到正确匹配的特征点集{P_lfm1,P_lfm2,…,P_lfmj}和{P_rfm1,P_rfm2,…,P_rfmj}。

(4)图像配准

二维图像I_l(x',y')和I_r(x,y)之间的变换形式主要有刚体变换、相似变换、仿射变换和透视变换四种关系，详细如图2所示，使用齐次坐标就可以用矩阵乘法来表示2D图像之间的变换关系，其上各点之间的映射关系如下公式(1)所示：

(\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}) = (\begin{matrix} m_{0} & m_{1} & m_{2} \\ m_{3} & m_{4} & m_{5} \\ m_{6} & m_{7} & m_{8} \end{matrix}) (\begin{matrix} x \\ y \\ 1 \end{matrix}) = M (\begin{matrix} x \\ y \\ 1 \end{matrix}) - - - (1)

M记为空间变换矩阵。

利用正确匹配的两幅图像的关键点对{P_lfm1,P_lfm2,…,P_lfmj}和{P_rfm1,P_rfm2,…,P_rfmj}，根据随机抽样一致性方法(RANSAC)方法计算出从待拼接图像I_r(x,y)到参考图像I_l(x’,y’)变换的空间变换矩阵M中的各参量值。

其中关于上述步骤如何具体操作，为本领域公知技术，可参考文献2“Xu Jing,YangXiao Hong,Shao Xiang Xin,Meng Xian Ying.A new medical image mosaic algorithm baseon regional features registration[C].IEEE International Conference on Computer Scienceand Automation Engineering,Zhangjiajie,2012:173-176.”

根据上一步确定的两幅图像之间的空间变换矩阵M，把待拼接图像I_r(x,y)投影变换到参考图像I_l(x',y')坐标系中，得到I_r(x,y)'。

通过重采样处理获取待配准图像中可能出现的非整数点的像素值。常用的重采样算法有最近邻插值法、双线性插值法和三次卷积法等

(5)图像融合

采用加权平均法将I_l(x',y')和I_r(x,y)'融合成一副图像I(x_w,y_w)。该法能够使I_l(x',y')和I_r(x,y)'重叠区域的像素灰度值随水平距离而逐渐融合，不会产生拼接缝。具体做法如下：

对于I_l(x',y')和I_r(x,y)'上的各像素点进行如公式(2)处理得到：

I (x_{w}, y_{w}) = \{\begin{matrix} I_{l} (x_{w}, y_{w}) & (x_{w}, y_{w}) &Element; I_{l} \\ a_{1} (x_{w}, y_{w}) I_{l} (x_{w}, y_{w}) + a_{2} I_{r} {(x_{w}, y_{w})}^{'} & (x_{w}, y_{w}) &Element; I_{l} \cap {I_{r}}^{'} \\ I_{r} {(x_{w}, y_{w})}^{'} & (x_{w}, y_{w}) &Element; {I_{r}}^{'} \end{matrix} - - - (2)

其中a₁和a₂分别代表两幅原始图像重叠区域中像素所应用的权值，满足a₁+a₂=1，0<a₁<1，0<a₂<1。它们的值是由图像重叠区域的水平宽度和当前处理的像素所在位置共同决定，由计算公式(3)和(4)可得：

a_{1} = \frac{x_{\max} - x_{i}}{x_{\max} - x_{\min}} - - - (3)

a₂＝1-a₁ (4)

x_max和x_min分别表示I_l(x',y')和I_r(x,y)'重叠区域的x轴最大和最小值。当a₁由1慢慢变化到0时，重叠区域从第一幅图像I_l(x',y')慢慢过渡到第二幅图像I_r(x,y)'，实现了图像间的平滑过渡，消除了拼接缝效应，调整图像尺寸大小后形成完整的拼接图像I(x_w,y_w)。

Claims

1.一种适用于空间绳系机器人的立体视觉快速图像拼接方法，其特征在于：步骤如下：

(\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}) = (\begin{matrix} m_{0} & m_{1} & m_{2} \\ m_{3} & m_{4} & m_{5} \\ m_{6} & m_{7} & m_{8} \end{matrix}) (\begin{matrix} x \\ y \\ 1 \end{matrix}) = M (\begin{matrix} x \\ y \\ 1 \end{matrix})

M记为空间变换矩阵；

2.根据权利要求1所述适用于空间绳系机器人的立体视觉快速图像拼接方法，其特征在于：所述加权平均法的步骤如下：对I_l(x',y')和I_r(x,y)'上的各像素点由下述公式处理：

I (x_{w}, y_{w}) = \{\begin{matrix} I_{l} (x_{w}, y_{w}) & (x_{w}, y_{w}) &Element; I_{l} \\ a_{1} (x_{w}, y_{w}) I_{l} (x_{w}, y_{w}) + a_{2} I_{r} {(x_{w}, y_{w})}^{'} & (x_{w}, y_{w}) &Element; I_{l} \cap {I_{r}}^{'} \\ I_{r} {(x_{w}, y_{w})}^{'} & (x_{w}, y_{w}) &Element; {I_{r}}^{'} \end{matrix}