CN103489165B - 一种面向视频拼接的小数查找表生成方法 - Google Patents

Abstract

本发明属于图像信息处理领域，提供一种面向视频拼接的小数查找表生成方法，包括坐标投影、特征点检测与匹配、滤除误匹配点和构建小数查找表。本发明所述方法首先进行坐标投影，将待拼接的图像分别投影到一个标准的坐标系下，然后进行特征点检测与匹配，并滤除误匹配点，最后构建小数查找表，根据拼接视频的尺寸对查找表进行裁剪，并利用小数查找表通过双线性插值获得拼接视频图像。本发明提供的小数查找表生成方法能够获得拍摄图像与拼接图像坐标之间的一一映射关系，满足视频拼接的实时性要求，同时相比于整数查找表过渡更加自然，能够达到更理想的视觉效果。

Description

一种面向视频拼接的小数查找表生成方法

技术领域

本发明涉及一种面向视频拼接的小数查找表生成方法，属于图像信息处理领域，具体包括坐标投影、特征点检测与匹配、滤除误匹配点和构建小数查找表。

背景技术

视频拼接技术突破摄像机采集传感器的物理限制，通过拼接多摄像机同一时刻下拍摄的视频序列，得到高分辨的全景视频，能够大大提高人们对事物和场景的动态感知、辨别与监控能力。将视频拼接技术应用于军事领域，可以为军事侦查提供全方位场景信息，对于战场信息感知、情报获取和作战指挥具有非常重要的意义。

视频拼接技术要点涉及数据采集、图像配准、图像拼接与融合等方面。目前图像拼接技术已经比较成熟，效果也比较好，但由于视频拼接在实时性方面有更加严格的要求，因此需要针对视频拼接的特点研究具有良好实时性的拼接算法。

传统的图像配准过程包括投影变换，特征点检测与匹配以及误匹配点滤除等步骤，计算量大，速度慢，难以满足视频拼接的实时性要求。在实际拼接过程中，需要快速确定摄像头实际成像平面坐标与拼接图像成像面坐标之间的一一映射关系。为了保证实际成像平面与拼接图像成像面之间的坐标映射的实时性，坐标映射可以预先计算好的查找表来实现。程序开辟一块全局的存储空间，将查找表常驻于内存中，通过查表这种简单方式，在生成全景视频时快速完成投影、匹配、裁剪和向三维空间映射时的变形和融合。在实际应用中，采用整数查找表容易出现锯齿化效果，而采用小数查找表并通过双线性插值获得的拼接图像过渡更加自然，具有更好的视觉效果。

发明内容

本发明为快速确定摄像头实际成像平面坐标与拼接图像成像面坐标之间的一一映射关系，提供一种面向视频拼接的小数查找表生成方法。

本发明采用的技术方案包括如下步骤：

一种面向视频拼接的小数查找表生成方法，包括如下步骤：

S1、坐标投影：将待拼接的拍摄图像分别投影到一个标准的坐标系下；

S2、特征点检测与匹配：对经过步骤S1投影后的图像进行特征点检测与匹配，得到初始匹配特征点集合；

S3、滤除误匹配点：对所述初始匹配特征点集合，滤除其中的误匹配点，获得最终匹配特征点集合；

S4、构建小数查找表：利用相邻两幅图像的所述最终匹配特征点集合中的特征点坐标，求解拍摄图像与拼接图像坐标之间的变换关系，根据所述变换关系建立小数查找表，并根据拼接视频的尺寸对所述小数查找表进行裁剪，得到最终的小数查找表。

进一步，所述步骤S1中坐标投影采用的方法包括但不限于柱面投影法、球面投影法或者平面投影法。

进一步，所述步骤S2中特征点检测与匹配的方法包括但不限于SIFT特征点检测与匹配方法或者角点检测与匹配方法。

进一步，所述步骤S3中采用RANSAC算法进行滤除误匹配点。

进一步，所述步骤S4中构建小数查找表的具体方法为：

S41、利用相邻两幅图像的所述最终匹配特征点集合中的特征点坐标，求解拍摄图像与拼接图像坐标之间的变换关系：拍摄图像与拼接图像坐标之间通过三阶变换矩阵进行转换，通过求解该变换矩阵，建立拼接图像点到源图像点的一一映射关系；对于拼接图像中的每一个点，按照该变换矩阵计算其在源图像中相应点的坐标值，并保留小数位，得到小数坐标值；

S42、根据所述变换关系建立小数查找表：用三通道彩色图像数据结构构建小数查找表，在每个像素的存储单元中，存储与像素位置坐标对应的源图像像素的小数坐标值；对于所述小数查找表中对应于重叠区域的部分，其每个像素处存储的坐标值为相邻图像中任意一幅图像在该像素处的小数坐标值；

S43、根据拼接视频的尺寸对所述小数查找表进行裁剪，得到最终的小数查找表：根据拼接视频的尺寸对查找表进行裁剪，按照上、下、左、右边界，去除边界以外的部分。

本发明还提供了一种基于小数查找表的视频拼接方法，包括以下步骤：

S501.根据上述方法建立小数查找表；

S502.对于拼接图像中每一像素位置，在所述小数查找表中查找其对应源图像中像素的小数坐标值，采用双线性插值方法得到拼接图像中该像素位置的像素值。

进一步，所述步骤S502中双线性插值方法的具体步骤为：

对于拼接图像中某一像素位置(xc,yc)对应源图像i的像素(x₀ ⁱ,y₀ ⁱ)；设I(·)为整数部分，D(·)为小数部分，则有：

$\left\{\begin{array}{c}{x_0}^i=I\left({x_0}^i\right)+D\left({x_0}^i\right)\\ {y_0}^i=I\left({y_0}^i\right)+D\left({y_0}^i\right)\end{array}\right.$

设(xc,yc)的像素值为P(xc,yc)，源图像为S，采用双线性插值方法得到拼接图像中像素位置(xc,yc)的像素值：

P(xc,yc)＝S(x₀ ⁱ,y₀ ⁱ)＝S₁·(1-D(y₀ ⁱ))+S₂·D(y₀ ⁱ)

其中：

$\left\{\begin{array}{c}{S}_1=S\left(I\right({x_0}^i\left)\right),I\left({y_0}^i\right))\·(1-D({x_0}^i\left)\right)+S\left(I\right({x_0}^i)+1,I({y_0}^i\left)\right)\·D({x_0}^i)\\ S_2=S\left(I\right({x_0}^i\left)\right),I\left({y_0}^i\right)+1)\·(1-D({x_0}^i\left)\right)+S\left(I\right({x_0}^i)+1,I({y_0}^i)+1)\·D({x_0}^i)\end{array}\right..$

综上所述，本发明所述方法首先进行坐标投影，将待拼接的图像分别投影到一个标准的坐标系下，然后进行特征点检测与匹配，并滤除误匹配点，最后构建小数查找表，根据拼接视频的尺寸对查找表进行裁剪，并利用小数查找表通过双线性插值获得拼接视频图像。本发明能够快速确定摄像头实际成像平面坐标与拼接图像成像面坐标之间的一一映射关系，满足视频拼接的实时性要求。同时相比于整数查找表过渡更加自然，能够达到更理想的视觉效果。

附图说明

图1是本发明所述方法的流程图；

图2是待拼接图像；

图3是投影过程；

图4是求解拍摄焦距示意图；

图5是小数查找表；

图6是双线性插值求解示意图；

图7是利用查找表得到拼接视频图像。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

本发明提供了一种面向视频拼接的小数查找表生成方法，如图1所示，包括如下步骤：

S1、坐标投影：将待拼接的拍摄图像分别投影到一个标准的坐标系下；

S2、特征点检测与匹配：对经过步骤S1投影后的图像进行特征点检测与匹配，得到初始匹配特征点集合；

S3、滤除误匹配点：对所述初始匹配特征点集合，滤除其中的误匹配点，获得最终匹配特征点集合；

S4、构建小数查找表：利用相邻两幅图像的所述最终匹配特征点集合中的特征点坐标，求解拍摄图像与拼接图像坐标之间的变换关系，根据所述变换关系建立小数查找表，并根据拼接视频的尺寸对所述小数查找表进行裁剪，得到最终的小数查找表。

进一步，利用最终的小数查找表，可以采用双线性插值方法，得到拼接的视频图像。

下面对结合实施例对各步骤进行具体说明。

S1、坐标投影

由于拍摄的图像序列是实体景物在不同坐标系下的二维投影，因此首先需要将待拼接的图像分别投影到一个统一的坐标系下，然后再进行图像的拼接。坐标投影采用的方法包括柱面投影法和球面投影法等。相对于球面投影而言，柱面投影法能够获得更准确的坐标映射，且计算更为简便，因此选择柱面投影法进行坐标投影。

柱面投影法可以参见文献[1]H.Maas,D.Schneider,AGeometricModelforLinear-array-basedTerrestrialPanoramicCameras,ThePhotogrammetricRecord,21(115),198-210,2006。该文献中给出了一种典型的柱面投影的过程，可以应用与本发明中。

球面投影法可以参见文献[2]J.Alferes,E.Zalama,J.Gomez,ReconstructionofThreeDimensionalModelsofEnvironmentswithaMobileRobot,Proceedingsofthe2005IEEEInternationalConferenceonRoboticsandAutomation,1865-1870,2005。该文献中给出了一种典型的柱面投影的过程，可以应用与本发明中。

如图2所示，拍摄图像序列是实体景物在不同坐标系下的二维投影，因此需要将待拼接的图像分别投影到一个统一的坐标系下，然后再进行图像的拼接。

图3和图4给出了柱面投影的示意图。选取坐标原点O为圆柱中心(投影中心)，S为原始图像，S_c为投影图像。设拍摄焦距为f，拍摄图像宽度和高度分别为W和H，投影角为θ。柱面图像中像素坐标为(xc,yc)，对应在拍摄图像中的像素坐标为(x,y)。投影计算公式为：

$\left\{\begin{array}{c}x=f\tan \left(\arcsin \right(\frac{xc-f\sin \frac{\mathrm{\θ}}{2}}{f}\left)\right)+\frac{W}{2}\\ y=\frac{\sqrt{f^2+{(\frac{W}{2}-x)}^2}(yc-\frac{H}{2})}{f}+\frac{H}{2}\end{array}\right.---\left(1\right)$

其中， $f=\frac{W}{2\tan \frac{\mathrm{\θ}}{2}}.$

S2、特征点检测与匹配。目前广泛采用的特征点检测与匹配方法包括尺度不变特征变换(ScaleInvariantFeatureTransform，SIFT)特征检测与匹配,Harris算法等。其中，SIFT特征可以较好地应对大尺度变换带来的特征点检测不准确的问题，并且对于视角变化、噪声和光照变化等具有良好的鲁棒性，因此选择SIFT特征以提高图像配准和图像拼接的准确性。

SIFT特征检测与匹配方法可以参见文献[3]K.Mikolajczyk,C.Schmid,Scale&AffineInvariantInterestPointDetectors,InternationalJournalofComputerVision,63–86,2004。该文献中给出了一种典型的SIFT特征检测与匹配方法，可以应用于本发明中进行特征点检测与匹配。

Harris算法可以参见文献[4]C.Harris，M.Stephens,ACombinedCornerandEdgeDetector,Proceedingsofthe4thAlveyVisionConference,147–151,1988.该文献中给出了一种典型的Harris算法，可以应用于本发明中进行特征点检测与匹配。

本实施例中采用了SIFT特征点检测与匹配方法，包括检测尺度空间极值、精确定位特征点的位置、确定特征点的主方向、生成SIFT特征描述符和特征匹配。对经过步骤一投影后的图像进行特征点检测与匹配，最后可得到初始匹配特征点集合。

S3、滤除误匹配点：利用RANSAC算法滤除误匹配点，获得最终匹配特征点集合。

RANSAC(RandomSampleConsensus)算法包括以下步骤：

(1)在所有匹配点对中随机选择n(n≥3)对匹配点，计算变换矩阵；

(2)利用求出的变换矩阵对所有匹配点进行计算，并计算真实值与计算值之间的距离。对该距离设定阈值T。若距离小于T，则将这对匹配点视为内点，否则视为外点并滤除；

(3)随机采样M次，直到得到最大的内点集合为止；根据这个最大内点集合估计变换矩阵，并把这个矩阵作为最后的变换矩阵。

S4、构建小数查找表。

在获取精确的匹配特征点的基础上，可以求解两幅图像之间的变换关系。结合步骤S1中的投影变换，可以得到拍摄图像与拼接图像坐标之间的一一映射关系。对于拼接图像中每一个像素坐标，都可以唯一确定其在源图像中的对应坐标。在获取精确的匹配特征点的基础上，可以求解两幅投影图像之间的变换关系：

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]---\left(2\right)$

其中(x₁,y₁)和(x₂,y₂)是两幅图像中对应的两个点， $H=\left[\begin{array}{ccc}{h}_0& h_3& h_6\\ h_1& h_4& h_7\\ h_2& h_5& h_8\end{array}\right]$ 为变换矩阵。通过以上变换关系可以将所有投影后图像变换到同一坐标系中。

然后可以用三通道彩色图像数据结构构建查找表，在像素(i,j)的存储单元中，存储与位置坐标(i,j)对应的源图像像素的小数坐标值。由于拼接视频要求具有规整的边界，因此需要根据拼接视频的尺寸对查找表进行裁剪，去除边界形状不规则的部分，得到最终的小数查找表。本实施例中裁剪后的最终查找表如图5所示。

本发明还提供了一种基于小数查找表的视频拼接方法，根据上述方法得到小数查找表后，再利用双线性插值方法，结合该小数查找表获得拼接图像。具体步骤为：

如图6所示，对于拼接视频图像中某一像素位置(xc,yc)对应源图像i的像素(x₀ ⁱ,y₀ ⁱ)。设I(·)为整数部分，D(·)为小数部分，则有：

$\left\{\begin{array}{c}{x_0}^i=I\left({x_0}^i\right)+D\left({x_0}^i\right)\\ {y_0}^i=I\left({y_0}^i\right)+D\left({y_0}^i\right)\end{array}\right.$

设(xc,yc)的像素值为P(xc,yc)，源图像为S，S(m,n)表示源图像中(m,n)位置处的像素值，采用双线性插值方法得到拼接图像中像素位置(xc,yc)的像素值：

P(xc,yc)＝S(x₀ ⁱ,y₀ ⁱ)＝S₁·(1-D(y₀ ⁱ))+S₂·D(y₀ ⁱ)

其中：

$\left\{\begin{array}{c}{S}_1=S\left(I\right({x_0}^i\left)\right),I\left({y_0}^i\right))\·(1-D({x_0}^i\left)\right)+S\left(I\right({x_0}^i)+1,I({y_0}^i\left)\right)\·D({x_0}^i)\\ S_2=S\left(I\right({x_0}^i\left)\right),I\left({y_0}^i\right)+1)\·(1-D({x_0}^i\left)\right)+S\left(I\right({x_0}^i)+1,I({y_0}^i)+1)\·D({x_0}^i)\end{array}\right.$

本实施例中最终生成拼接视频图像如图7所示。

Claims (6)

1.一种面向视频拼接的小数查找表生成方法，其特征在于包括如下步骤：

S1、坐标投影：将待拼接的拍摄图像分别投影到一个标准的坐标系下；

S2、特征点检测与匹配：对经过步骤S1投影后的图像进行特征点检测与匹配，得到初始匹配特征点集合；

S3、滤除误匹配点：对所述初始匹配特征点集合，滤除其中的误匹配点，获得最终匹配特征点集合；

S4、构建小数查找表：利用相邻两幅图像的所述最终匹配特征点集合中的特征点坐标，求解拍摄图像与拼接图像坐标之间的变换关系，根据所述变换关系建立小数查找表，并根据拼接视频的尺寸对所述小数查找表进行裁剪，得到最终的小数查找表；

具体方法为：

S41、利用相邻两幅图像的所述最终匹配特征点集合中的特征点坐标，求解拍摄图像与拼接图像坐标之间的变换关系：拍摄图像与拼接图像坐标之间通过三阶变换矩阵进行转换，通过求解该变换矩阵，建立拼接图像点到源图像点的一一映射关系；对于拼接图像中的每一个点，按照该变换矩阵计算其在源图像中相应点的坐标值，并保留小数位，得到小数坐标值；

S42、根据所述变换关系建立小数查找表：用三通道彩色图像数据结构构建小数查找表，在每个像素的存储单元中，存储与像素位置坐标对应的源图像像素的小数坐标值；对于所述小数查找表中对应于重叠区域的部分，其每个像素处存储的坐标值为相邻图像中任意一幅图像在该像素处的小数坐标值；

S43、根据拼接视频的尺寸对所述小数查找表进行裁剪，得到最终的小数查找表：根据拼接视频的尺寸对查找表进行裁剪，按照上、下、左、右边界，去除边界以外的部分。

2.根据权利要求1所述的面向视频拼接的小数查找表生成方法，其特征在于：所述步骤S1中坐标投影采用的方法为柱面投影法、球面投影法或者平面投影法。

3.根据权利要求1所述的面向视频拼接的小数查找表生成方法，其特征在于：所述步骤S2中特征点检测与匹配的方法为SIFT特征点检测与匹配方法或者角点检测与匹配方法。

4.根据权利要求1所述的面向视频拼接的小数查找表生成方法，其特征在于所述步骤S3中采用RANSAC算法进行滤除误匹配点。

5.一种基于小数查找表的视频拼接方法，其特征在于包括以下步骤：

S501.根据权利要求1-4之一所述的方法建立小数查找表；

S502.对于拼接图像中每一像素位置，在所述小数查找表中查找其对应源图像中像素的小数坐标值，采用双线性插值方法得到拼接图像中该像素位置的像素值。

6.根据权利要求5所述的基于小数查找表的视频拼接方法，其特征在于：所述步骤S502中双线性插值方法的具体步骤为：

对于拼接图像中某一像素位置(xc,yc)对应源图像i的像素(x₀ ⁱ,y₀ ⁱ)；设I(·)为整数部分，D(·)为小数部分，则有：

$\left\{\begin{array}{c}{x_0}^i=I\left({x_0}^i\right)+D\left({x_0}^i\right)\\ {y_0}^i=I\left({y_0}^i\right)+D\left({y_0}^i\right)\end{array}\right.$

设(xc,yc)的像素值为P(xc,yc)，源图像为S，采用双线性插值方法得到拼接图像中像素位置(xc,yc)的像素值：

P(xc,yc)＝S(x₀ ⁱ,y₀ ⁱ)＝S₁·(1-D(y₀ ⁱ))+S₂·D(y₀ ⁱ)

其中：

$\left\{\begin{array}{c}{S}_1=S\left(I\right({x_0}^i),I({y_0}^i\left)\right)\·(1-D({x_0}^i\left)\right)+S\left(I\right({x_0}^i)+1,I({y_0}^i\left)\right)\·D\left({x_0}^i\right)\\ S_2=S\left(I\right({x_0}^i),I({y_0}^i)+1)\·(1-D({x_0}^i\left)\right)+S\left(I\right({x_0}^i)+1,I({y_0}^i)+1)\·D\left({x_0}^i\right)\end{array}\right..$