CN103559683B - 基于多视图流行低秩表示的受损图像修复方法 - Google Patents

Abstract

基于多视图流行低秩表示的受损图像修复方法，针对受损图像进行以下操作：首先，提取受损图像的多类型特征，获得受损图像的多视图表达；然后，构建并利用多视图流行保持受损图像的不同局部几何结构，对受损图像进行低秩矩阵分解，得到图像的多视图低秩表示和受损矩阵表示；最后，基于集成多视图低秩表示对受损图像进行修复，得到完整的原始图像。本发明的优点在于：充分考虑了受损图像的多视图补偿信息以及局部流行结构特征，能更好地恢复清晰而完整的原始图像，更有效地提高用户的视觉体验度，可应用于生物、医学和遥感探测等领域的图像修复。

Description

基于多视图流行低秩表示的受损图像修复方法

技术领域

本发明涉及受损图像修复的技术领域，特别是基于多视图流行低秩表示的受损图像修复方法。

背景技术

随着数字图像捕获设备广泛应用于生物、医学、文物保护和遥感探测等领域，并在人们的日常生活中大量普及，使得无时不刻都在产生记录各种类型的图像数据。图像作为传达信息的媒介，因其能直观明了地呈现丰富的内容，日益占据着人类生产生活的重要部分。因此，研究和发展图像技术在推动人类文明进步的历程中必将产生深远的影响。

在现实生活和应用中，人们捕获盒保存图像的过程常会受到各种外界的干扰，如野外拍摄动物时会有树叶遮挡、医学影像会有电磁波干扰、遥感探测中会受到大气扰动的影响等等。这些干扰在一定程度上将使捕获的图像受损，从而减弱了人们对图像的视觉效果。因此，对受损图像进行修复，提高和改善视觉体验度，是非常具有潜在价值和现实意义的研究课题。

目前，受损图像修复集中在传统的数字图像处理领域，主要方法有基于纹理合成的方法和基于偏微分方程的方法，涉及小波分析、傅里叶变换、离散余弦变换和神经网络等技术。这些传统方法在数据量少的情况下能取得很到的效果，但是当图像数据的数量很大时，统计学习的方法不管在修复效率还是修复质量上，都具有更为明显的优势。典型的用于图像修复的统计机器学习方法有低秩矩阵分解、压缩感知和非负稀疏表达等等。而本发明中利用图像的多视图表达及流行结构的特征进行图像修复则是较为前沿的修复技术。

发明内容

为了移除受损图像中的噪声或遮挡物，增强用户对图像的视觉体验效果，本发明提出了一种基于多视图流行低秩表示的受损图像修复方法，该方法包括以下步骤：

1、获取含有多种受损情形的图像库后，针对受损图像进行以下操作：

1)从不同角度(如色彩、形状、纹理等)提取受损图像的多类型特征，并得到包含K类特征的集合f＝{f₁，…，f_K}，获得受损图像的多视图表达；

2)构建并利用多视图流行保持受损图像的不同局部几何结构，对多视图受损图像进行低秩矩阵分解，得到多视图低秩表示和受损矩阵表示；

3)基于集成多视图低秩表示对受损图像进行修复，从而得到完整的原始图像。

进一步，步骤1)中所述的受损图像的多视图表达，具体是：

1)将n幅受损图像缩放为同等大小，每幅受损图像用d维的向量表示，则所有受损图像可表示为一个原始像素矩阵B∈R^d×n；

2)从色彩、形状和纹理等角度对受损图像提取K种特征，每种特征对应一个视图，如果受损图像的第v种特征具有m_v维，那么全部受损图像的第v个视图用数据矩阵表示，这样，全部受损图像数据的多视图表达按列存放为矩阵V＝[V¹；…；V^K]∈R^m×n，其中为多视图表达的数据维度。

进一步，步骤2)中所述的构建并利用多视图流行保持受损图像的不同局部几何结构，具体是：

1)数据的流行反映了数据的本征结构，一般通过拉普拉斯矩阵表示，对受损图像的不同视图构建基于p近邻的拉普拉斯矩阵L可反映其不同的局部结构；

2)设第v个受损图像视图上对应的邻接权重矩阵为W^v，第v个视图的所有受损图像可看做一个图，每幅图像看成图的顶点，对第v个视图中的任意一幅图像x_i，根据欧氏距离在整个视图中搜索它的p个邻居图像，在它们之间建立一条边并赋予它们之间的权重为1，即其中j代表x_i的邻居索引，若两点之间无边，则权重设为0；

3)根据邻接权重矩阵W^v计算对角矩阵D^v，该矩阵对角线上的元素值为W^v对应列元素的累加和，即这样，第v个受损图像视图对应的流行为L^v＝D^v-W^v；

4)根据上述方法可以此构建受损图像多个视图对应的多个流行。

进一步，步骤2)中所述的对多视图受损图像进行低秩矩阵分解，具体是：

1)假设受损图像的每个视图均可分解为无损部分(即清洁的图像)和受损部分(如噪声或遮挡等)，对第v个视图V^v，可分解为无损部分V^vZ^v和受损部分其中Z^v∈R^n×n是对应的低秩表示；

2)考虑到每种视图反映原始受损图像的程度不同，赋予第v个视图V^v的权重为θ_v，从而充分利用多个视图提供的相互补偿信息，通过对受损图像多视图流行做低秩矩阵分解可求得对应的低秩表示Z＝[Z¹；…；Z^K]∈R^Kn×n和受损表示矩阵E＝[E¹；…；E^K]∈R^m×n，即求解以下目标函数

$\underset{Z,E,\mathrm{\θ}}{\min imize}\underset{v=1}{\overset{K}{\Σ}}{\mathrm{\θ}}_v\[{||Z^v||}_{*}+\mathrm{\γ}Tr\left(Z^{v^T}{L}^v{Z}^v\right)\]+\mathrm{\λ}{||E||}_{2,1},$

$subject{\mathrm{toV}}^v=V^v{Z}^v+E^v,\underset{v=1}{\overset{K}{\Σ}}{\mathrm{\θ}}_v=1,Z^v\≥0,{\mathrm{\θ}}_v\≥0,$

其中，||·||_*表示矩阵的核范式，即矩阵的奇异值之和，Tr(·)表示矩阵的迹，||·||_2,1表示矩阵的l_2,1范式，即先对矩阵的列求l₂范式再求l₁范式，这里也可以根据需要仅用l₁范式反映随机噪声，γ＞0和λ＞0是可以调节的参数，它们分别控制受损图像中的流行几何结构反映程度和受损部分的抑制程度。

进一步，步骤3)中所述的基于集成多视图低秩表示对受损图像进行修复，具体是：

1)基于上述步骤获得的受损图像对应的多视图低秩表示矩阵Z＝[Z¹；…；Z^K]及其相应的权重向量θ＝[θ₁，…，θ_K]，计算权重线性组合即集成多视图低秩表示；

2)以集成多视图低秩表示为映射矩阵，则受损图像的原始像素矩阵B通过线性投影可得到修复后的原始图像。

本发明提出了基于多视图流行低秩表示的受损图像修复方法，其优点在于：充分考虑了受损图像的多视图补偿信息以及局部流行结构特征，能更好地恢复清晰而完整的原始图像，更有效地提高用户的视觉体验度，可应用于生物、医学和遥感探测等领域的图像修复。

附图说明

图1是本发明的方法流程图。

具体实施方式

参照附图，进一步说明本发明：

基于多视图流行低秩表示的受损图像修复方法，该方法包括以下步骤：

1、获取含有多种受损情形的图像库后，针对受损图像进行以下操作：

1)从不同角度(如色彩、形状、纹理等)提取受损图像的多类型特征，并得到包含K类特征的集合f＝{f₁，…，f_K}，获得受损图像的多视图表达；

2)构建并利用多视图流行保持受损图像的不同局部几何结构，对多视图受损图像进行低秩矩阵分解，得到多视图低秩表示和受损矩阵表示；

3)基于集成多视图低秩表示对受损图像进行修复，从而得到完整的原始图像。

步骤1)中所述的受损图像的多视图表达，具体是：

1)将n幅受损图像缩放为同等大小，每幅受损图像用d维的向量表示，则所有受损图像可表示为一个原始像素矩阵B∈R^d×n；

2)从色彩、形状和纹理等角度对受损图像提取K种特征，每种特征对应一个视图，如果受损图像的第v种特征具有m_v维，那么全部受损图像的第v个视图用数据矩阵表示，这样，全部受损图像数据的多视图表达按列存放为矩阵V＝[V¹；…；V^K]∈R^m×n，其中为多视图表达的数据维度。

步骤2)中所述的构建并利用多视图流行保持受损图像的不同局部几何结构，具体是：

1)数据的流行反映了数据的本征结构，一般通过拉普拉斯矩阵表示，对受损图像的不同视图构建基于p近邻的拉普拉斯矩阵L可反映其不同的局部结构；

2)设第v个受损图像视图上对应的邻接权重矩阵为W^v，第v个视图的所有受损图像可看做一个图，每幅图像看成图的顶点，对第v个视图中的任意一幅图像x_i，根据欧氏距离在整个视图中搜索它的p个邻居图像，在它们之间建立一条边并赋予它们之间的权重为1，即其中j代表v_i的邻居索引，若两点之间无边，则权重设为0；

3)根据邻接权重矩阵W^v计算对角矩阵D^v，该矩阵对角线上的元素值为W^v对应列元素的累加和，即这样，第v个受损图像视图对应的流行为L^v＝D^v-W^v；

4)根据上述方法可以此构建受损图像多个视图对应的多个流行。

步骤2)中所述的对多视图受损图像进行低秩矩阵分解，具体是：

1)假设受损图像的每个视图均可分解为无损部分(即清洁的图像)和受损部分(如噪声或遮挡等)，对第v个视图V^v，可分解为无损部分V^vZ^v和受损部分其中Z^vvR^nvn是对应的低秩表示；

2)考虑到每种视图反映原始受损图像的程度不同，赋予第v个视图V^v的权重为θ_v，从而充分利用多个视图提供的相互补偿信息，通过对受损图像多视图流行做低秩矩阵分解可求得对应的低秩表示Z＝[Z¹；…；Z^K]∈R^Kn×n和受损表示矩阵E＝[E¹；…；E^K]∈R^m×n，即求解以下目标函数

$\underset{Z,E,\mathrm{\θ}}{\min imize}\underset{v=1}{\overset{K}{\Σ}}{\mathrm{\θ}}_v\[{||Z^v||}_{*}+\mathrm{\γ}Tr\left(Z^{v^T}{L}^v{Z}^v\right)\]+\mathrm{\λ}{||E||}_{2,1},$

$subject{\mathrm{toV}}^v=V^v{Z}^v+E^v,\underset{v=1}{\overset{K}{\Σ}}{\mathrm{\θ}}_v=1,Z^v\≥0,{\mathrm{\θ}}_v\≥0,$

其中，||·||_*表示矩阵的核范式，即矩阵的奇异值之和，Tr(·)表示矩阵的迹，||·||_2,1表示矩阵的l_2,1范式，即先对矩阵的列求l₂范式再求l₁范式，这里也可以根据需要仅用l₁范式反映随机噪声，γ＞0和λ＞0是可以调节的参数，它们分别控制受损图像中的流行几何结构反映程度和受损部分的抑制程度。

进一步，步骤3)中所述的基于集成多视图低秩表示对受损图像进行修复，具体是：

1)基于上述步骤获得的受损图像对应的多视图低秩表示矩阵Z＝[Z¹；…；Z^K]及其相应的权重向量θ＝[θ₁，…，θ_K]，计算权重线性组合即集成多视图低秩表示；

2)以集成多视图低秩表示为映射矩阵，则受损图像的原始像素矩阵B通过线性投影可得到修复后的原始图像。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.基于多视图流行低秩表示的受损图像修复方法，该方法的特征在于获取含有多种受损情形的图像库后，针对受损图像进行以下操作：

1)从色彩、形状、纹理的不同角度提取受损图像的多类型特征，并得到包含K类特征的集合f＝{f₁，…，f_K}，获得受损图像的多视图表达；步骤1)中所述的受损图像的多视图表达，具体是：

11)将n幅受损图像缩放为同等大小，每幅受损图像用d维的向量表示，则所有受损图像可表示为一个原始像素矩阵B∈R^{d × n}；

12)从色彩、形状和纹理角度对受损图像提取K种特征，每种特征对应一个视图，如果受损图像的第v种特征具有m_v维，那么全部受损图像的第v个视图用数据矩阵表示，这样，全部受损图像数据的多视图表达按列存放为矩阵V＝[V¹；…；V^K]∈R^{m × n}，其中为多视图表达的数据维度；

2)构建并利用多视图流行保持受损图像的不同局部几何结构，对多视图受损图像进行低秩矩阵分解，得到多视图低秩表示和受损矩阵表示；所述的构建并利用多视图流行保持受损图像的不同局部几何结构，具体是：

(21)数据的流行反映了数据的本征结构，通过拉普拉斯矩阵表示，对受损图像的不同视图构建基于p近邻的拉普拉斯矩阵L可反映其不同的局部结构；

(22)设第v个受损图像视图上对应的邻接权重矩阵为W^v，第v个视图的所有受损图像可看做一个图，每幅图像看成图的顶点，对第v个视图中的任意一幅图像x_i，根据欧氏距离在整个视图中搜索它的p个邻居图像，在它们之间建立一条边并赋予它们之间的权重为1，即其中j代表x_i的邻居索引，若两点之间无边，则权重设为0；

(23)根据邻接权重矩阵W^v计算对角矩阵D^v，该矩阵对角线上的元素值为W^v对应列元素的累加和，即这样，第v个受损图像视图对应的流行为L^v＝D^v-W^v；

(24)根据上述方法可以构建受损图像多个视图对应的多个流 行；

3)基于集成多视图低秩表示对受损图像进行修复，从而得到完整的原始图像。

2.如权利要求1所述的基于多视图流行低秩表示的受损图像修复方法，其特征在于：步骤2)中所述的对多视图受损图像进行低秩矩阵分解，具体是：

21a)假设受损图像的每个视图均可分解为无损部分和受损部分，对第v个视图V^v，可分解为无损部分V^vZ^v和受损部分其中Z^v∈R^{n × n}是对应的低秩表示；

22a)考虑到每种视图反映原始受损图像的程度不同，赋予第v个视图V^v的权重为θ_v，从而充分利用多个视图提供的相互补偿信息，通过对受损图像多视图流行做低秩矩阵分解可求得对应的低秩表示Z＝[Z¹；…；Z^K]∈R^{Kn × n}和受损表示矩阵E＝[E¹；…；E^K]∈R^{m × n}，即求解以下目标函数

其中，||·||_*表示矩阵的核范式，即矩阵的奇异值之和，Tr(·)表示矩阵的迹，||·||_2,1表示矩阵的l_2,1范式，即先对矩阵的列求l₂范式再求l₁范式，这里也可以根据需要仅用l₁范式反映随机噪声，γ＞0和λ＞0是可以调节的参数，它们分别控制受损图像中的流行几何结构反映程度和受损部分的抑制程度。

3.如权利要求2所述的基于多视图流行低秩表示的受损图像修复方法，其特征在于：步骤3)中所述基于集成多视图低秩表示对受损图像进行修复，具体是：

31)基于步骤1、2获得的受损图像对应的多视图低秩表示矩阵Z＝[Z¹；…；Z^K]及其相应的权重向量θ＝[θ₁，…，θ_K]，计算权重线性组合即集成多视图低秩表示；

32)以集成多视图低秩表示为映射矩阵，则受损图像的原始像素矩阵B通过线性投影可得到修复后的原始图像。