CN102231806B - 基于视频的双参数管道内壁全景图像模型与生成方法 - Google Patents

Abstract

本发明涉及一种基于视频的双参数管道内壁全景图像模型与生成方法，其通过前进式相机拍摄管道内壁图像，将拍摄的图像输入至计算机，由计算机进行处理，然后输出管道内壁的全景图。该过程分为图像采集阶段和全景图构建阶段。针对所得到的视频质量较差的特点，将相机模型进行简化。由于图像的质量可能被亮度变化，镜头模糊和相机不规则运动影响，为得到无缝清晰的全景图，基于马尔可夫随机场建立代价函数，通过置信度算法优化代价函数来自动消除图像拼接中的接缝，得到分辨率统一的高清晰度全景图像。本发明可用于地质工程中岩层结构的探测，或者用作医学图像分析中病变器官纹理的恢复。

Description

基于视频的双参数管道内壁全景图像模型与生成方法

技术领域

本发明涉及一种图像处理方法，尤其是一种基于视频的双参数管道内壁全景图像模型与生成方法。

背景技术

根据图像拼接的方法不同，传统构建全景图算法可以分成三类。第一类方法采用固定的视点，原理在于选定一个参考平面，将其它图像对齐到参考平面，最后按照图像序列依次整幅拼接来构建全景图。最简单的例子把照相机固定在三角架上，令照相机绕其光心旋转来连续拍摄图像，然后在圆柱体，正方形或球体上[1-5]拼接成全景图。更一般相机运动也可以用这种方法来拼接，所处理的图像间的关系模型包括全局仿射变换[6-7]，平面投影变换[8-9]等等。然而这种方法有其局限性：1)只能处理旋转幅度较小的图像，否则图像拼接时会产生畸变现象。2)无法处理相机前进运动或Zoom操作时全景图像的拼接。

第二类方法基于不同视点拍摄的图像创建全景图[10]。如A.Agarwala等人为了最小化多视点导致的视差问题，采用图割算法来为结果图像上的每个像素选择视点，他们的方法目的在于创建物体基本上在一个平面的比较长的街道的全景图，其针对的相机运动形式与本文不同。

最后一类方法基于视频序列创建全景图，这类方法需要在序列帧中提取窄条（strips）然后将窄条对齐来得到结果图像。相关的方法有扫推式全景图（pushbroom panoramas）[11],S.Peleg等提出的自适应拼接模型[12-13]，Zomet等提出的“x-slit”[14]。

在传统的拼接方法中，前进式摄像机运动容易出现问题。B.Rousso[13]等人提出了一种通过采集垂直于光流的窄条进行拼接的方法，这种方法可以应对相机的自由运动。之后他们提出另一种方法[15]通过将2维平面反投影到3维圆柱体来得到拼接图像，这种方法需要预先知道相机的内部参数,然而这一点在地质工程中往往很难满足。S.Peleg等人[12]总结了前人的方法,提出根据相机运动在图像上采集窄条（strips）并将其投影到流体上来得到全景图。他们的方法适用于大多数的相机模型，但是这种方法采用六个参数的仿射变换矩阵来对齐连续的图像，参数较多，对配准误差和光照变化非常敏感，同时当场景出现深度变化时，所拼接的图像会出现变形。对于这种方法，相邻窄条之间的差异，亮度的变化以及图像配准的错误都会导致结果图像的拼接错误。

发明内容

本发明的目的是为克服上述现有技术的不足，提供一种利用图像拼接技术将一组图像序列转换为单个场景的表示，大大减少场景表示的数据量，增加了稳定性和适应性，通过置信度算法优化代价函数来自动消除图像拼接中的接缝，从而得到分辨率统一的高清晰度全景图像的基于视频的双参数管道内壁全景图像模型与生成方法。

为实现上述目的，本发明采用下述技术方案：

一种基于视频的双参数管道内壁全景图像模型与生成方法，其采用相机在管道中做前进式或后退式的拍摄，相机运动包括沿管道中轴的平移和绕光轴的旋转，获得输入视频后，采用马尔可夫随机场优化的方法来构建全景图，无需相机定标和其他辅助设备，具体包括以下步骤：

1）.相机在管道中做前进式或后退式的拍摄，相机运动包括沿管道中轴的平移和绕光轴的旋转；

2).将相机拍摄的视频输入计算机;

3).使用KLT算法对输入视频进行特征跟踪；

4).将相机模型简化，假定相邻帧间相机的运动由变焦以及绕光轴的转动组成，相机的运动轨迹与圆柱体的中轴线重合；

5).由跟踪到的特征点对求取变焦系数及旋转角度，从而求取全景图上像素在各帧的投影位置；

6).为全景图构建代价函数；

7).利用置信度传播算法求解代价函数,经过迭代，选出最优候选像素，自动消除图像拼接中的接缝，从而得到分辨率统一的高清晰度全景图像；

8).对得到的全景图进行亮度均衡；

9).工作结束。

所述步骤4）中的将相机模型简化具体过程为：在投影几何中，一个空间点M和其对应的图像上点m之间的关系表示为

m＝K[RT]M  (1)

K是相机内部参数，相机外部参数由旋转矩阵R和平移矩阵T组成，对于一个前进式的相机模型，假设一个空间点M（X,Y,Z）在两个连续帧上有对应的图像点m(x,y)和m′(x′,y′)，不失一般性，将第一帧的相机坐标系作为世界坐标系，相机位置作为坐标系原点，得到

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(2\right)$

k代表焦距，由（2）得到

$\left[\begin{array}{c}x\\ y\end{array}\right]=\frac{k}{Z}\left[\begin{array}{c}X\\ Y\end{array}\right]---\left(3\right)$

对于连续的帧，相机的位移沿着光轴方向而相机的旋转围绕光轴，所以假设m′的位移是(0,0,t)，其旋转角度为β，得到

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}\cos \mathrm{\β}& \sin \mathrm{\β}& 0& 0\\ -\sin \mathrm{\β}& \cos \mathrm{\β}& 0& 0\\ 0& 0& 1& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(4\right)$

从公式（4），得到下面这个式子：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\frac{k}{(Z+t)}\left[\begin{array}{cc}\cos \mathrm{\β}& \sin \mathrm{\β}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]$

$=\frac{k^{\′}}{k}\left[\begin{array}{cc}\cos \mathrm{\β}& \sin \mathrm{\β}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\·\frac{k}{Z}\left[\begin{array}{c}X\\ Y\end{array}\right]$

$+(\frac{Z}{Z+t}-\frac{k^{\′}}{k})\left[\begin{array}{cc}\cos \mathrm{\β}& \sin \mathrm{\β}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{c}X\\ Y\end{array}\right]---\left(5\right)$

$=\frac{k^{\′}}{k}\left[\begin{array}{cc}\cos \mathrm{\β}& \sin \mathrm{\β}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+(\frac{Z}{Z+t}-\frac{k^{\′}}{k})\left[\begin{array}{c}{x}^{\′\′}\\ y^{\′\′}\end{array}\right]$

上式中，[x″,y″]^T是相对原图像只有旋转的图像，存在一个系数k′/k使得：

$\frac{Z}{Z+t}-\frac{k^{\′}}{k}\≈0---\left(6\right)$

这说明相机模型被近似表示为只有旋转和变焦两个系数的模型，变焦系数为k′/k，而旋转角度为β，有：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]\≈\frac{k^{\′}}{k}\left[\begin{array}{cc}\cos \mathrm{\β}& \sin \mathrm{\β}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(7\right).$

所述步骤5）中求取全景图上像素在各帧的投影位置具体方式为：

假设一个视频序列有N帧，N为大于等于2的正整数，全景图从左到右由N-1个矩形窄条拼接而成，第i个矩形窄条用I_i表示，i为大于等于N的正整数；如图2所示。我们在每帧选择一个同样大小的圆，圆心在图像中心，第i帧上的圆记为C_i。圆C_i对应I_i第一列在第i帧的投影，圆C_i+1对应I_i最后一列在第i+1帧的投影圆。C_i在第i+1帧的投影为圆

则

和C_i+1之间的区域S_i对应全景图中区域I_i在第i+1帧的投影。利用在第i+1帧投影的位置加上公式 $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]\≈\frac{k^{\′}}{k}\left[\begin{array}{cc}\cos \mathrm{\β}& \sin \mathrm{\β}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(7\right),$ 我们可以得到I_i中像素在其他各帧的投影位置。公式（7）只有两个未知数Δλ和β，所以对于特征点跟踪的精度要求比较低，使用KLT特征跟踪算法（全称为Kanade-Lucas-Tomasi feature tracking algorithm(KLT)中文一般叫做KLT特征跟踪算法）得到的特征点能够对这两个参数鲁棒的求解。对于I_i上的像素，称第i+1帧为它们的“源帧”，能够看到对于全景图上的像素，其在源帧的投影具有相似的分辨率。

所述步骤6）中的构建代价函数具体为：

得到全景图上每个像素在各帧图像上投影的坐标之后，将问题归结为一个标号问题：对于结果图上的每一个像素，将其看作一个节点，相邻节点间有一条边相连，每个像素在多幅图像上都有投影，每个投影对应节点的一个标号，假定节点集合为P，边的集合为E，建立一个无向网络图G＝(P,E)，L＝(L_i|i＝1...N)是一个标号集，希望找到一个标号f(labeling)f:P→L,f将标号f_p∈L分配给节点p∈P，

标号策略f的质量用一个代价函数来表示：

$\mathrm{Cost}\left(f\right)={\mathrm{\λ}}_1\underset{p\∈P}{\mathrm{\Σ}}{D}_t\left(f_p\right)+{\mathrm{\λ}}_2\underset{p\∈P}{\mathrm{\Σ}}{D}_s\left(f_p\right)+{\mathrm{\λ}}_3\underset{(p,q)\∈E}{\mathrm{\Σ}}V(f_p,f_q)---\left(8\right)$

E是网络图上的边，D_t(·)与候选投影亮度相关，用于避免选择模糊的标号，D_s(·)用于约束某些像素选择特定的标号，使得全景图整幅图像尽量保持一致的分辨率，同时通过这一项解决由于使用变焦模型导致的累积误差问题，V(·)是光滑项，衡量了相邻像素之间的差异，保证拼接后图像的光滑性；

称节点p在源帧上投影的标号为“源标号”，记为

假设相邻节点p,q∈P，f_p∈L，f_q∈L，下面分别给出D_t(·)，D_s(·)和V(·)的描述：

由于光照不均匀，图像中有些区域变得模糊或高亮，丢失细节，不希望采集落入这些区域的投影，第一项D_t(·)的目的在于避免选择在这些区域的标号，假定投影处的灰度值为g,认为灰度与255或0相差小于阈值μ的投影有可能出现了丢失细节，为了保证所选择的标号具有正常的亮度，将第一项定义为

$D_s\left(f_p\right)=\left\{\begin{array}{cc}0& f_p=f_p^s\\ 1& \mathrm{otherwise}\end{array}\right.---\left(9\right)$

对于本身接近白色或黑色的节点，因为其投影均为白色或黑色，D_t(·)不会影响最后结果图像；

函数第二项D_s(·)用于约束标号选择。假设全景图有M列（M为大于0的整数），对于全景图上的像素，每隔l列,l为小于M的整数，要求该列像素的标号必须选取其源标号，并称这些列为″标准列″；这一项与V(·)相配合，会使得全景图中的像素拥有相似的分辨率，从而避免视差问题。将第二项定义为：

$D_s\left(f_p\right)=\left\{\begin{array}{cc}0& f_p=f_p^s\\ 1& \mathrm{otherwise}\end{array}\right.---\left(10\right)$

第三项V(f_p,f_q)的作用在于使全景图中临近标准列的像素选取与标准列相同的标号，同时在两个标准列之间的区域会选择一条最优接缝，来得到平滑的图像，对于光滑项的定义有两个原则：

1，对于相邻两节点，由于在同一帧图像中，光学特性最为相似，像素之间拥有最好的光滑性和一致性，则当他们来自同一帧有更高的优先权；

2，相邻节点标号不同，选择像素差异最小的标号，以保持图像的光滑性；

那么光滑项代价函数定义如下：

$V(f_p,f_q)=\left\{\begin{array}{cc}0& f_p=f_q\\ \left|\right|I(p,f_p)-I(q,f_q)\left|\right|& f_p\≠f_q\end{array}\right.---\left(11\right)$

I(p,f_p)，I(q,f_q)分别是相邻像素p,q标号为f_p，f_q时的像素值，而‖·‖代表一个合适的范数；

对于参数做如下设定：代价函数第一项的阈值设为15；为保证模糊标号不会被选择，将λ₁设为10e6;对于标准列上的像素，若其选择源标号时亮度大于15并小于240时，希望它们选择源标号，否则选择其他亮度大于15并小于240的标号，令λ₂＝λ₁/2；λ₃设为1；用于获得第一个投影的圆半径设为95；全景图上每隔15列选定一列为标准列；置信度算法迭代次数为30。

本发明与S.Peleg等人的方法相比较,其优点在于:

本发明通过简化相机模型，只需要求取两个参数，大大增加了稳定性和适应性。由于图像的质量可能被亮度变化，镜头模糊和相机不规则运动影响，为得到无缝清晰的全景图，我们将该拼接归结为一个标号问题，基于马尔可夫随机场建立代价函数，通过置信度算法优化代价函数来自动消除图像拼接中的接缝，从而得到分辨率统一的高清晰度全景图像。本发明不需要相机内部参数，得到具有高清晰度高分辨率的管道内壁拼接图像。本发明除了可以直接用于地质工程中岩层结构的探测，还可用作医学图像分析中病变器官纹理的恢复如基于内窥镜在食道拍摄的视频恢复食道纹理。

附图说明

图1是方法的流程图；

图2是求取投影的示意图；

图3(a）是全景图；图3（b）-图3(d)与视频序列中几帧的对比图像；

图4为长度为7900帧的视频序列得到的全景图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，一种基于视频的双参数管道内壁全景图像模型与生成方法，如图1所示，方法如下：

1)相机在管道中做前进式或后退式的拍摄，相机运动包括沿管道中轴的平移和绕光轴的旋转；

2)将相机拍摄的视频输入计算机;

3)使用KLT算法对输入视频进行特征跟踪；

4)将相机模型进行简化，假定相邻帧间相机的运动由变焦以及绕光轴的转动组成，相机的运动轨迹与圆柱体的中轴线重合；

5)由跟踪到的特征点对求取变焦系数及旋转角度，从而求取全景图上像素在各帧的投影位置；

6)为全景图构建代价函数；

7)利用置信度传播算法求解代价函数。经过迭代，我们选出最优候选像素，自动消除图像拼接中的接缝，从而得到分辨率统一的高清晰度全景图像；

8)对得到的全景图进行亮度均衡；

9)工作结束;

例子：

通过以上方法可以有效获得地质剖面的整体结构。比较图3（a）的全景图和图3（b-d）视频序列中三帧图像。可以看到在结果图中，对于孔洞内壁上的各种特征都得到了很好的恢复。此外，为进一步说明该方法的有效性，在图3和图4中分别给出两段视频的全景图。图4为长度为7900帧的视频序列得到的全景图。原始大小为15033×360像素，篇幅所限，全景图分成三段，由上到下排列。

Claims (4)

1.一种基于视频的双参数管道内壁全景图像模型与生成方法，其特征在于，其采用相机在管道中做前进式或后退式的拍摄，相机运动包括沿管道中轴的平移和绕光轴的旋转，获得输入视频后，采用马尔可夫随机场优化的方法来构建全景图，无需相机定标和其他辅助设备，具体包括以下步骤：

1）.相机在管道中做前进式或后退式的拍摄，相机运动包括沿管道中轴的平移和绕光轴的旋转；

2).将相机拍摄的视频输入计算机；

3).使用KLT算法对输入视频进行特征跟踪；

4).将相机模型简化，假定相邻帧间相机的运动由变焦以及绕光轴的转动组成，相机的运动轨迹与圆柱体的中轴线重合；

5).由跟踪到的特征点对求取变焦系数及旋转角度，从而求取全景图上像素在各帧的投影位置；

6).为全景图构建代价函数；

7).利用置信度传播算法求解代价函数,经过迭代，选出最优候选像素，自动消除图像拼接中的接缝，从而得到分辨率统一的高清晰度全景图像；

8).对得到的全景图进行亮度均衡；

9).工作结束。

2.根据权利要求1所述的基于视频的双参数管道内壁全景图像模型与生成方法，其特征在于：所述步骤4）中的将相机模型简化具体过程为：在投影几何中，一个空间点M和其对应的图像上点m之间的关系表示为

m＝K[RT]M  (1)

K是相机内部参数，相机外部参数由旋转矩阵R和平移矩阵T组成，对于一个前进式的相机模型，假设一个空间点M（X,Y,Z）在两个连续帧上有对应的图像点m(x,y)和m′(x′,y′)，不失一般性，将第一帧的相机坐标系作为世界坐标系，相机位置作为坐标系原点，得到

k代表焦距，由（2）得到

对于连续的帧，相机的位移沿着光轴方向而相机的旋转围绕光轴，所以假设m′的位移是(0,0,t)，其旋转角度为β，得到

从公式（4），得到下面这个式子：

上式中，[x″,y″]^T是相对原图像只有旋转的图像，存在一个系数k′/k使得：

这说明相机模型被近似表示为只有旋转和变焦两个系数的模型，变焦系数为k′/k，而旋转角度为β，有：

3.根据权利要求1所述的基于视频的双参数管道内壁全景图像模型与生成方法，其特征在于：所述步骤5）中求取全景图上像素在各帧的投影位置具体方式为：

假设一个视频序列有N帧，N为大于等于2的整数，全景图从左到右由N-1个矩形窄条拼接而成，第i个矩形窄条用I_i表示，i为大于等于N的正整数；在每帧选择一个同样大小的圆，圆心在图像中心，第i帧上的圆记为C_i,圆C_i对应I_i第一列在第i帧的投影，圆C_i+1对应I_i最后一列在第i+1帧的投影圆；C_i在第i+1帧的投影为圆 

则 

和C_i+1之间的区域S_i对应全景图中区域I_i在第i+1帧的投影；利用在第i+1帧投影的位置加上公式 得到I_i中像素在其他各帧的投影位置；公式（7）只有两个未知数Δλ和β，所以对于特征点跟踪的精度要求比较低，使用KLT特征跟踪算法得到的特征点能够对这两个参数鲁棒的求解；对于I_i上的像素，称第i+1帧为它们的“源帧”，能够看到对于全景图上的像素，其在源帧的投影具有相似的分辨率。

4.根据权利要求1所述的基于视频的双参数管道内壁全景图像模型与生成方法，其特征在于：所述步骤6）中的构建代价函数具体为：

得到全景图上每个像素在各帧图像上投影的坐标之后，将问题归结为一个标号问题：对于结果图上的每一个像素，将其看作一个节点，相邻节点间有一条边相连，每个像素在多幅图像上都有投影，每个投影对应节点的一个标号，假定节点集合为P，边的集合为E，建立一个无向网络图G＝(P,E)，L＝(L_i|i＝1...N)是一个标号集，希望找到一个标号f(labeling)f:P→L,f将标号f_p∈L分配给节点p∈P，

标号策略f的质量用一个代价函数来表示：

E是网络图上的边，D_t(·)与候选投影亮度相关，用于避免选择模糊的标号，D_s(·)用于约束某些像素选择特定的标号，使得全景图整幅图像尽量保持一致的分辨率，同时通过这一项解决由于使用变焦模型导致的累积误差问题，V(·)是光滑项，衡量了相邻像素之间的差异，保证拼接后图像的光滑性；

称节点p在源帧上投影的标号为“源标号”，记为 

假设相邻节点p,q∈P，f_p∈L，f_q∈L，下面分别给出D_t(·)，D_s(·)和V(·)的描述：

由于光照不均匀，图像中有些区域变得模糊或高亮，丢失细节，不希望采集落入这些区域的投影，第一项D_t(·)的目的在于避免选择在这些区域的标号，假定投影处的灰度值为g,认为灰度与255或0相差小于阈值μ的投影有可能出现了丢失细节，为了保证所选择的标号具有正常的亮度，将第一项定义为

对于本身接近白色或黑色的节点，因为其投影均为白色或黑色，D_t(·)不会影响最后结果图像；

函数第二项D_s(·)用于约束标号选择；假设全景图有M列，M为大于0的整数，对于全景图上的像素，每隔l列，l为小于M整数，要求该列像素的标号必须选取其源标号，并称这些列为″标准列″；这一项与V(·)相配合，会使得全景图中的像素拥有相似的分辨率，从而避免视差问题；将第二项定义为：

第三项V(f_p,f_q)的作用在于使全景图中临近标准列的像素选取与标准列相同的标号，同时在两个标准列之间的区域会选择一条最优接缝，来得到平滑的图像，对于光滑项的定义有两个原则：

1，对于相邻两节点，由于在同一帧图像中，光学特性最为相似，像素之间拥有最好的光滑性和一致性，则当它们来自同一帧有更高的优先权；

2，相邻节点标号不同，选择像素差异最小的标号，以保持图像的光滑性；

那么光滑项代价函数定义如下：

I(p,f_p)，I(q,f_q)分别是相邻像素p,q标号为f_p，f_q时的像素值，而‖·‖代表一个合适的范数；

对于参数做如下设定：代价函数第一项的阈值设为15；为保证模糊标号不会被选择，将λ₁设为10e6;对于标准列上的像素，若其选择源标号时亮度大于15并小于240时，希望它们选择源标号，否则选择亮度大于15并小于240的标号，令λ₂＝λ₁/2；λ₃设为1；用于获得第一个投影的圆半径设为95；全景图上每隔15列选定一列为标准列；置信度算法迭代次数为30。 

Images