CN101901472B - 一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法 - Google Patents

Abstract

本发明提出一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法，包括如下步骤：输入变形的带损毁的批量图像；对输入的变形带损毁的批量图像建立低秩数学模型；和对低秩数学模型进行优化求解，得到对齐的批量图像。本发明一方面对非刚性批量图像对齐问题进行数学建模，模型易于理解，且符合实际的物理意义；另一方面利用矩阵秩最小化及压缩感知方面研究的最新成果，采用高效的凸优化方法，使得该方法实现起来简单而高效。

Description

一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法。 

背景技术

当前，随着一些图像和视频分享网站的流行，大大增加了在线图像和视频数据的数量。这些图像和视频数据缺少规则性，例如，它们的光照条件大相径庭，图像中物体被遮挡，图像间的位置关系不整齐等。这些因素为接下来对这些图像的处理和有效地利用这些图像带来了很大的挑战。在医学领域，随着医学图像成像技术的发展，可以通过医学成像设备获取很多人体组织、骨骼等的医学图像，例如核磁共振图像(MR图像)。但在采集过程中，由于电磁线圈不完美、人体微小的运动等，造成采集图像的部分损毁和图像间的不整齐。从这些有损毁、不整齐的图像中恢复出高质量、对齐的图像对接下来的医学分析和诊断具有十分重要的意义。 

其中，对批量图像进行处理，利用图像间的相关性，恢复被污染和损毁的图像，对齐图像间的位置关系，即鲁棒批量图像对齐是一项重要的任务。 

一般而言，采用通过引入不同的相似性的度量来完成批量图像对齐的任务。Learned-Miller所提出的Congealing算法，即寻找一种对齐关系，使得对齐后的批量图像对应位置上像素的信息熵之和最小。假设把每幅图像拉成一个列向量，把对齐后的批量图像排列为一个大矩阵，那么Congealing算法就相当于尽量使该矩阵的各行接近于常数。与之相反，最小二乘Congealing算法寻找对齐关系，从而使得两两图像间的均方误差最小，这相当于使大矩阵的各列尽量一样。在以上两种方法中，如果满足了所选定的对齐标准，即相当于对齐图像所组成的矩阵是一个低秩矩阵，理想情况下，是一个秩为1的矩阵。然而，如果不同图像间有光照的变化等，那么对齐图像所组成的矩阵可能具有比大于1的秩。这种情况下，更合理的方法就是最小化对齐图像组成矩阵的秩。例如，Vedaldi等就考虑了最小化图像矩阵的对数行列式度量，其中，对数行列式可以看作是秩函数的光滑替代。或者，也可以直接对低秩的要求进行限制，比如变换成分分析就使用了期望最大化算法在已知的某个图像变化群中，来拟合这个低维的线性模型。 

真实的图像数据往往既有较大的光照的变化，又有遮挡、大误差等，例如人脸图像中的阴影、帽子、眼镜等，医学图像中由于电磁线圈不完美、人体微小的运动造成的阴影与图像变形。但是以上所述方法一个共同的缺点在于它们不能同时处理图像中 存在的大误差和图像变形。最近提出的一种名为鲁棒参数成分分析的算法也是来拟合一个低秩模型，使用一个鲁棒的拟合函数来减少大误差和遮挡的影响。但是，这是一个非凸优化的问题，求解比较困难。从被部分高度损毁的数据中拟合一个低秩模型，这个问题本身就是一个很困难的问题，很久以来一直没有多项式时间算法求解该问题，这也使得鲁棒批量图像对齐问题十分难于解决。幸运的是，最近在矩阵秩最小化方面研究的发展使得有可能精确且高效地使用凸优化的方法从被损毁的数据中恢复低秩结构矩阵。 

一般而言，批量图像间不但存在全局的位置差异，而且存在局部形变。批量图像间的位置关系难以使用某一种变换群，如平移变换、相似变换、仿射变换、投影变换等，来描述。要对齐批量图像，还需要考虑批量图像间的非刚性变形。 

总结而言，非刚性鲁棒批量图像对齐任务存在如下的难点： 

1)需要同时对齐批量图像，数据量大，对齐比较困难； 

2)单一的图像变换群难以刻画图像间的位置关系，需要处理图像间的非刚性变形，这也给非刚性批量图像对齐带来挑战； 

3)批量图像间不但存在非刚性变形，而且有部分图像可能存在部分污染与损毁，在对齐批量图像的同时，修复这些具有损毁的图像，也使得非刚性鲁棒批量图像对齐任务十分具有挑战性。 

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别针对利用图像间的相关性，在对齐图像的同时，恢复被污染和损毁的图像，提出了一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法，涉及对非刚性鲁棒批量图像对齐问题进行数学建模和对优化模型进行求解两部分内容。 

为实现上述目的，本发明实施例提出了一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法，包括如下步骤： 

输入变形的带损毁的批量图像； 

对所述输入的变形带损毁的批量图像建立低秩数学模型；和 

对所述低秩数学模型进行优化求解，得到对齐的批量图像。 

本发明利用图像间的相关性，在对齐图像的同时，恢复被污染和损毁的图像，提供一种高效、鲁棒的非刚性批量图像对齐方法。 

本发明的显著技术效果体现在以下方面： 

1)对非刚性批量图像对齐问题进行数学建模，模型易于理解，且符合实际的物理意义； 

2)利用矩阵秩最小化及压缩感知方面研究的最新成果，采用高效的凸优化方法，使得该方法实现起来简单而高效。 

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。 

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中： 

图1为根据本发明实施例的非刚性鲁棒批量图像对齐方法的流程框图； 

图2为根据本发明实施例的非刚性鲁棒批量图像对齐方法的流程示意图。 

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。 

由于对同一物体采集得到的不同图像，其图像间往往具有很强的相关性。但是，这些批量图像间往往会存在不同程度的变形和部分损毁等，导致图像位置形状间的不整齐、图像信息的不完整等。针对上述问题，本发明主要在于提供一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法，在对齐图像的同时，利用图像间的相似结构和相关性，恢复被部分损毁的图像。 

为实现本发明的目的，本发明实施例提供了一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法。图1示出了该非刚性鲁棒批量图像对齐方法的流程框图。如图1所示，该方法包括如下步骤： 

S101：输入变形的带损毁的批量图像； 

结合图2所示，输入某一物体的n幅对齐的图像 由于光照条件及遮挡物等影响，上述图像存在变形和部分损毁等，导致图像位置形状间的不整齐、图像信息的不完整等。一般而言，这些图像间是线性相关的。 

设运算符vec：R^w×h→R^m表示选择感兴趣区域并将其m个像素拉为一个列向量，则这些图像的感兴趣区域组成的矩阵为： 

$A\stackrel{.}{=}\left[\mathrm{vec}\left(I_1^0\right)\right|...\left|\mathrm{vec}\left(I_n^0\right)\right]{\∈R}^{m\×n},$

该矩阵A为近似低秩的。现有理论表明，如果图像 

是一个凸的、表面为郎伯特属性的物体的图像，则这些图像近似处在一个9维的子空间中。 

在本实施例中，输入n＝40幅人脸图像，上述人脸图像中含有不同的光照条件，有的人脸图像被部分遮挡，例如眼睛、围巾等造成的遮挡，这些图像还具有不同的表情变化。对其中感兴趣的人脸图像部分进行处理，裁取大小为m＝60×80＝4800像素大小的部分，即w＝60，h＝80，进行对齐和恢复处理。 

S102：对输入的变形带损毁的批量图像建立低秩数学模型； 

对步骤101中输入的变形带损毁的批量图像建立低秩数学模型，包括对大的稀疏误差进行建模、对批量图像间的变形进行建模和对批量图像之间的线性相关性建立低秩模型。 

S1021：对噪声误差的幅度值超过Amp，且误差稀疏的图像建立稀疏误差数学模型。 

由于在实际中，低维的子空间结构很容易被破坏。例如当图像中物体存在部分遮挡或是损毁时，人脸图像中的阴影、墨镜、帽子、围巾等就破坏了这些人脸图像的低维结构。由此，用户观察到的不再是直接线性相关的批量图像 

了，而是带有大的但是稀疏的噪声误差图像 $I_1=I_1^0+e_1,I_2=I_2^0+e_2,...,I_n=I_n^0+e_n{\∈R}^{w\×h}.$

其中， 

表示大而稀疏的噪声误差。上述误差 

在幅度值上超过Amp，但是只影响到图像中某一部分的图像像素，即误差是稀疏的，图像中大部分像素位置上误差都为0。对批量图像观测到的图像可以表示如下： 

$D\stackrel{.}{=}\left[\mathrm{vec}\left(I_1\right)\right|...\left|\mathrm{vec}\left(I_n\right)\right]=A+E.$

其中， 

为一个低秩矩阵，表示批量图像间的线性相关性， 

为大的稀疏的误差矩阵，表示批量图像中存在的损毁、遮挡、阴影和高光等产生误差的因素。 

S1022：根据上述稀疏误差模型，对存在变形的未对齐批量图像建立变形数学模型； 

步骤1021中的稀疏误差模型，假设给定的图像 

各像素为精确对齐的。即使是很小的未对齐也会破坏图像间的线性结构。因此，即使能够恢复图像的误差E，其矩阵A仍将为一个满秩矩阵。为此，本发明采用非刚性图像变形 

来描述实际中的未对齐现象，认为这些变形作用在二维图像 上，造成了图像间的未对齐。由此，根据本发明实施例提供的方法观测到的带有大的稀疏误差的未对齐批量图像，即变形数学模型为： $D\stackrel{.}{=}\left[\mathrm{vec}\left(I_1\right)\right|...\left|\mathrm{vec}\left(I_n\right)\right]=T^{-1}(A+E),$

其中， $T^{-1}(A+E)\stackrel{.}{=}\left[\mathrm{vec}\left(T_1^{-1}(I_1^0+e_1)\right)\right|...\left|\mathrm{vec}\left(T_n^{-1}(I_n^0+e_n)\right)\right]{\∈R}^{m\×n},$ T[＝T₁，…，T_n]为变形因子，表示批量图像中的未对齐现象。 

S1023：根据上述稀疏误差数学模型和变形数学模型，对批量图像之间的线性相关性建立低秩数学模型。 

根据步骤1021和1022中在对图像的大的稀疏误差问题和未对齐问题都进行了建模后，为了能够正确恢复批量图像间的低秩结构，本发明必须同时使这些图像对齐，并矫正图像中的误差。 

具体的说，以 

表示一组线性相关的图像。观测到的图像含有部分损毁且图像间未对齐，即： 恢复图 

及变形 

如果上述图像是精确对齐好的，当恢复图像中稀疏的误差部分后，那么它们处在一个低秩结构中。为此，寻找一组变形参数T＝[T₁，..，T_n]，使得经过这种变形矫正后的图像所组成的矩阵，在除去大的稀疏误差的影响后，矩阵的秩越小越好。 

具体的说，以T(D)表示[vecT₁(I₁))|…|vec(T_n(I_n))]∈R^m×n，建立低秩数学模型为： 

$\underset{A,E,T}{\min }\mathrm{rank}\left(A\right)+{\mathrm{\βC}}_{\mathrm{smooth}},$

s.t.T(D)＝A+E，|E|0≤k。 

其中，k为E中非零元素的个数的最大值。如果k过大，上述优化问题可能没法求解或其求解的结果没有实际意义。 

其中，l₀范数|E|₀表示误差矩阵E中非零元素的个数，C_smooth为对变形T的光滑性约束惩罚因子，参数β＞0为对惩罚因子的加权。 

另一方面，上述问题的拉格朗日形式为： 

$\underset{A,E,T}{\min }\mathrm{rank}\left(A\right)+\mathrm{\γ}{\left|E\right|}_0+{\mathrm{\βC}}_{\mathrm{smooth}},$

s.t.T(D)＝A+E。 

其中，参数γ＞0为用来平衡矩阵A的秩与误差矩阵E的稀疏性的。 

S103：对上述低秩数学模型进行优化求解，得到对齐的批量图像。 

对步骤102中得到的低秩数学模型进行优化求解，包括对变形进行参数化处理、对变形问题进行凸函数替代、逐步线性化逼近和对凸优化问题进行求解等四个部分。 

S1031：对变形数学模型进行参数化处理； 

为了刻画非刚性变形，需要对该变形进行参数化处理。在本实施例中，采用B样条参数化处理。 

假设图像域为Ω＝{(x，y)|0≤x＜X，0≤y＜γ}。令φ表示一个n_x×n_y的网格，网格由间距为δ均匀分布的控制点φ_i，j控制。则非刚性变形可以由一维B样条的张量积表示为： 

$T_k(x,y)=\underset{h=0}{\overset{3}{\mathrm{\Σ}}}\underset{l=0}{\overset{3}{\mathrm{\Σ}}}{B}_h\left(u\right)B_l\left(v\right){\mathrm{\φ}}_{i+h,j+l},$

其中， 

表示下取整运算。B_l表示第1个B样条基函数，即 

B₀(u)＝(1-_u ³)/6， 

B₁(u)＝(3_u ³-6_u ²+4)/6， 

B₂(u)＝(-3_u ³+3_u ²+3u+1)/6， 

B₃(u)＝u³/6。 

由此，可定义变形T的光滑性约束惩罚因子为： 

$C_{\mathrm{smooth}}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\∫}_0^X{\∫}_0^Y[{\left(\frac{{\∂}^2{T}_k}{{{\∂}_x}^2}\right)}^2+{\left(\frac{{\∂}^2{T}_k}{{{\∂}_y}^2}\right)}^2+{\left(\frac{{\∂}^2{T}_k}{\∂x\∂y}\right)}^2]\mathrm{dxdy},$

对变形参数进行这种约束是为了防止变形过于任意，使变形尽量光滑。 

在本实施例中，对变形采用B样条进行参数化处理，控制点水平间隔与竖直间隔均为δ＝5像素，共有11×15＝165个控制点。 

在本实施例中，采用B样条参数化处理对变形数学模型进行参数化处理，但不仅限于上述方法。通过其他参数化处理方法获得变形T的光滑性约束惩罚因子C_smooth亦属于本发明的保护范围。 

S1032：采用凸函数代替低秩数学模型，生成凸优化数学模型； 

由于步骤1023中的低秩数学模型中涉及到矩阵的秩和矩阵的l₀范数，矩阵的秩和l₀范数都是组合优化函数，这使得对该低秩数学模型的优化十分困难。在实际求解时，使用函数的凸包来近似代替该数学模型的函数，即生成凸优化数学模型。具体的说，凸优化数学模型为： 

$\underset{A,E,T}{\min }\left|A\right|*+\mathrm{\λ}{\left|E\right|}_1+{\mathrm{\βC}}_{\mathrm{smooth}},$

s.t.T(D)＝A+E 

其中，|A|*表示矩阵A的原子范数，即矩阵A的所有奇异值之和；|E|₁表示矩阵E的l₁范数，即矩阵E中所有元素的绝对值之和，参数λ＞0为|E|₁的加权值；C_smooth为变形因子的光滑性约束惩罚因子，β＞0为对惩罚因子C_smooth的加权值。C_smooth和T(D)定义分别见步骤1031和步骤1023。 

在本实施例中，采用增广拉格朗日乘子法求解上述优化问题，其中各参数分别为：m＝4800，n＝40， 

β＝1。 

S1033：采用一阶凸优化方法对上述凸优化数学模型进行优化求解。 

采用凸优化中的一阶优化算法对步骤1032中的凸优化问题进行求解。其中，在本实施例中，可以采用一阶优化方法中的加速固定点近似算法或增广拉格朗日乘子算法等。 

此外，对步骤1032中的凸优化问题进行求解，不仅限于采用上述凸优化中一阶优化算法，也可采用内点法或半正定规划方法等。 

具体的说，采用上述方法对凸优化问题进行求解，输出求解得到的矩阵A、E和变形参数中控制点φ_i，j的坐标。其中变形参数中控制点φ_i，j的坐标描述了图像间的变形。 

将矩阵A的每一列4800维的向量重新排列为60×80的图像，共40幅图像，上述图像即为被对齐和恢复的批量图像。 

本发明实施例提供的基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法，利用图像间的相关性，在对齐图像的同时，恢复被污染和损毁的图像。 

本发明的显著技术效果体现在以下方面： 

1)对非刚性批量图像对齐问题进行数学建模，模型易于理解，且符合实际的物理意义； 

2)利用矩阵秩最小化及压缩感知方面研究的最新成果，采用高效的凸优化方法，使得该方法实现起来简单而高效。 

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。 

Claims (3)

1.一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法，其特征在于，包括如下步骤：

输入变形的带损毁的批量图像；

根据所述输入的变形带损毁的批量图像建立低秩数学模型，其中，所述根据输入的变形带损毁的批量图像建立低秩数学模型包括：

对噪声误差的幅度值超过Amp，且误差稀疏的图像建立稀疏误差数学模型，其中，所述稀疏误差数学模型为：

$D\stackrel{.}{=}\left[\mathrm{vec}\left(I_1\right)\right|...\left|\mathrm{vec}\left(I_n\right)\right]=A+E,$

其中，A为低秩矩阵，表示所述批量图像间的线性相关性，其中，E为误差矩阵，表示所述批量图像中存在的产生上述误差的因素，其中，

为所述输入变形的带损毁的批量图像，

I₁，...I_n为稀疏的噪声误差图像，vec表示R^w×h→R^m，将图像的m个像素拉为一个列向量，m＝w×h，其中，w×h为图像的像素大小，n为输入的变形带损毁的批量图像的数量，e_i表示噪声误差，1≤i≤n；

根据所述稀疏误差数学模型，对存在变形的未对齐的批量图像建立变形数学模型，其中，所述变形数学模型为：

$D\stackrel{.}{=}\left[\mathrm{vec}\left(I_1\right)\right|...\left|\mathrm{vec}\left(I_n\right)\right]=T^{-1}(A+E),$

其中， $T^{-1}(A+E)\stackrel{.}{=}\left[\mathrm{vec}\left(T_1^{-1}(I_1^0+e_1)\right)\right|...\left|\mathrm{vec}\left(T_n^{-1}(I_n^0+e_n)\right)\right]{\∈R}^{m\×n},$ 其中，T为变形因子，表示批量图像中的未对齐现象，T＝[T₁，…，T_n]；

根据所述稀疏误差数学模型和变形数学模型，对批量图像之间的线性相关性建立低秩数学模型，其中，所述低秩数学模型为：当T(D)＝A+E且|E|₀≤k时，

其中，|E|₀为l₀范数，表示误差矩阵E中非零元素的个数，rank(A)为所述低秩矩阵A的秩，C_smooth为对变形T的光滑性约束惩罚因子，β＞0为对所述惩罚因子C_smooth的加权值，k为所述误差矩阵E中非零元素的个数的最大值；和

对所述低秩数学模型进行优化求解，得到对齐的批量图像，其中所述对数学模型进行优化求解进一步包括：

对所述变形数学模型进行参数化处理，其中，所述对变形数学模型进行参数化处理进一步包括：

采用B样条参数化处理，得到所述变形数学模型中的变形因子的光滑性约束惩罚因子：

$C_{\mathrm{smooth}}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\∫}_0^X{\∫}_0^Y[{\left(\frac{{\∂}^2{T}_k}{\∂x^2}\right)}^2+{\left(\frac{{\∂}^2{T}_k}{\∂y^2}\right)}^2+{\left(\frac{{\∂}^2{T}_k}{\∂x\∂y}\right)}^2]\mathrm{dxdy},$

其中，T_k(x，y)为一维B样条的张量积，

其中，

采用凸函数代替所述低秩数学模型以生成凸优化数学模型，其中，所述凸优化数学模型为：当T(D)＝A+E时， $\underset{A,E,T}{\min }\left|A\right|*+\mathrm{\λ}{\left|E\right|}_1+{\mathrm{\βC}}_{\mathrm{smooth}},$

其中，|A|*表示矩阵A的原子范数，即矩阵A的所有奇异值之和，|E|₁表示矩阵E的l₁范数，即矩阵E中所有元素的绝对值之和，参数λ＞0为|E|₁的加权值；C_smooth为变形因子的光滑性约束惩罚因子，β＞0为对所述惩罚因子C_smooth的加权值；

对所述凸优化数学模型进行优化求解。

2.如权利要求1所述的非刚性鲁棒批量图像对齐方法，其特征在于，对所述凸优化数学模型进行优化求解的方法包括：一阶凸优化方法或内点法或半正定规划方法。

3.如权利要求1所述的非刚性鲁棒批量图像对齐方法，其特征在于，采用一阶凸优化方法对所述凸优化数学模型进行优化求解包括：采用加速固定近似算法或增广拉格朗日乘子算法对所述凸优化数学模型进行优化求解。

Images