CN103856776A - 边界和曲率驱动修复的图像编码和解码方法 - Google Patents

Abstract

本发明公开一种边界和曲率驱动修复的图像编码和解码方法，首先根据边缘强度和颜色方差将图像子块分为结构块、结构模版块、梯度块、梯度模版块和非特征块，由于非特征块的像素值无法用典型模型来刻画，同时为了有效地恢复结构子块和梯度子块，必须保留主要的结构和梯度参数，因此，本发明采用传统的JPEG方法编码结构模版块、梯度模版块和非特征块，而且采用线性插值方法修复梯度块。最后，采用边界插值和曲率驱动的扩散模型修复结构块，进而获得解码后的图像，可克服现有方法中结构边断裂和纹理模糊的不足。

Description

边界和曲率驱动修复的图像编码和解码方法

技术领域

本发明涉及一种数字图像压缩方法，尤其是一种高效率、更加符合人眼视觉特点的边界和曲率驱动修复的图像编码和解码方法。

背景技术

人类感知系统所获取的信息中大约有80%~85%是视觉信息，因此图像与视频是人类接受信息的最主要途径。尤其是互联网、无线通信和移动计算等技术的稳步发展，使得多种不同类型的多媒体服务向社会经济的各个应用领域不断拓展，人们对图像与视频产品的消费数量和消费期望比以往任何时期都大得多。高效率的编码技术是上述诸多应用能够成功推广的一个重要保证，一方面，虽然JPEG和JPEG 2000标准已经将图像压缩效率提升到一个相当的高度，但是随着高清和超高清采集设备的推广、消费主体由固定式终端向移动终端的转变，人们对图像质量需求的提高速度依然快于网络带宽的增长速度，它们在可以预见的时间内仍旧是多媒体通信的主要矛盾之一。另一方面，现有编码标准大多追求信号意义下的保真度，如峰值信噪比、均方误差等，而这些函数并不能很好地度量解码图像的主观质量，比如关于结构相似度SSIM (Structural Similarity)指标的研究就表明人眼视觉系统对于图像中的结构差异较之亮度差异敏感得多。

目前，有研究者将纹理合成和修复引入到图像编码中，其基本思想是在编码时将边界、轮廓和纹理等结构特征提取出来再简化其描述，而在解码端则根据结构和参数信息利用纹理合成或修复的方法将其重构出来，即最大限度地去除人类视觉所无法感知到的信息、利用有限的信息生成符合人眼主观要求的图像，期望在高压缩比的情况下获得视觉上足够好的重构质量。但是，现有方法尚不成熟，虽然它们可用于有效解码图像的结构信息，但是对纹理部分的重构结果却有着明显的人工痕迹，以致影响了解码图像的总体主观质量。

发明内容

本发明为了解决现有方法的上述技术问题，提供一种高效率、更加符合人眼视觉特点的边界和曲率驱动修复的图像编码和解码方法。

本发明的技术解决方案是：一种边界和曲率驱动修复的图像编码和解码方法，其特征在于：

所述编码方法按如下步骤进行：

a. 将源图像分成尺寸为S×S像素的、不重叠的子块；

b. 将所有子块分成结构块、结构块模版、梯度块、梯度块模版和非特征块，并建立标志块类型的块类型表；

b.1 将源图像转换为灰度图，采用Canny算子进行边缘检测并建立标志边缘位置的边缘表；

b.2 初始化块类型表；

b.3 对于源图像的每个子块，若当前子块中包含边缘，则将其归为结构块类型，并在块类型表中将相应位置的值设置为1；否则，转入b.4；

b.3.1 如果在当前的结构块中边缘像素的个数大于S或者小于S / 2，则把它归为结构块模版类型，并在块类型表中将相应位置的值设置为2；

b.3.2 如果在当前结构块的8邻域内存在至少2个结构块，则把它归为结构块模版类型，并在块类型表中将相应位置的值设置为2；

b.4 对于源图像中每个尚未确定类型的子块，计算其颜色方差                                                

：

 其中，R，G，B代表红、绿、蓝三种颜色分量，

表示一个子块的R，G，B三个分量的平均值，x，y表示像素的坐标；若当前子块的颜色方差

小于阈值

，则将其归为梯度块，在块类型表中将相应元素的值设置为3；否则，将当前子块归为非特征子块，并在块类型表中将相应元素的值设置为5；

b.4.1 对于所有的梯度块，如果某个块的8领域内存在结构块或者非特征块，则把它归为梯度块模版类型，并在块类型表中将相应位置的值设置为4；

b.4.2 对于所有的梯度块，如果某个块的平均像素值大于源图像中所有梯度块的平均像素值，则也把它归为梯度块模版类型，并在块类型表中将相应位置的值设置为4；

c. 采用JPEG编码所有的结构块模版、梯度块模版和非特征块；

d. 采用算术编码压缩块类型表、边缘表和每个梯度块的梯度信息，结束；

所述解码方法按如下步骤进行：

a. 采用JPEG解码出结构块模版、梯度块模版和非特征块；

b. 采用算术解码得到块类型表、边缘表和每个梯度块的梯度信息；

c. 利用梯度块的梯度信息和其8邻域内的已解码子块来解码梯度块：

c.1 对于每个梯度块，将其周围已经解码出的子块个数称为“置信度”，在所有未解码的梯度块中选择“置信度”最高的块作为待修复子块；

c.2 修复梯度块的四条边界：

c.2.1 若待修复块周围4邻域的相邻子块都已经解码，则直接采用相邻子块边界处的像素值对待修复块边界的像素进行赋值；转入c.3；

c.2.2 若待修复块周围4邻域的相邻子块中有3个已经解码，则用c.2.1中的方法对相应的3条边界的像素进行赋值；而对于剩余的1条边界，则结合当前梯度块的梯度信息和线性插值方法进行修复，插值公式为：

其中，

表示坐标为

的像素的值，，

，

和

表示当前子块的平均梯度在水平和垂直方向上的分量；

c.2.3 若待修复块周围4邻域的相邻子块中有2个已经解码，则先用c.2.1的方法修复相应的2条边界的像素； 

c.2.3.1 当两条已知边界相邻时，则令，

，一边界上任意像素的修复值为：

另一相邻边界上任意像素的修复值：

c.2.3.2 当两条已知边界不相邻时，则令

，一边界上任意像素的修复值为：

另一相对边界上任意像素的修复值为：

c.2.4 若待修复块周围4邻域的相邻子块中有1个已经解码，则先用c.2.1的方法修复其相邻边界的像素值；首先修复已知边界的对边，其任意像素的修复值为：

，

剩余的相对两边界采用c.2.3的方法完成修复；

c.3 根据当前子块的边界像素值和梯度信息修复当前子块内部的像素值：

，其中

，，

，

，

，

，

式中符号含义与c.2.2相同；

c.4 如果仍有待修复的梯度块，则转入c.1；否则，梯度块的解码过程结束；

d. 利用结构块的边缘信息和其8邻域内的已解码子块信息来解码结构块；

d.1 对于每个结构块，将其周围的已经解码出的子块个数也称为“置信度”；在所有未解码的结构块中选择置信度最高的块作为待修复子块；

d.2 将当前待修复子块及位于其8邻域范围内的8个子块组成一个集合B，并为B建立一张可用像素表；若某个像素已解码，则在该表中将相应位置的元素值置为1，否则置为0；

d.3 利用边缘表计算出B中长度最长的一条边缘，称为“主边”；以主边为对称轴，左、右各R个像素为半径建立一个“结构区域”；位于结构区域内、主边左侧的像素集合归为B1类，而主边右侧的像素集合归为B2类；当前待修复子块中除了结构区域外，剩余像素组成的集合称为“扩散区域”；

d.4 修复位于当前子块结构区域中的边缘像素，根据边缘表和结构区域中的的已知边缘点，利用线性插值的方法修复未知边缘点：

d.5 修复位于当前子块的结构区域中除边缘像素以外的像素，称为“内点”；

d.5.1 根据可用像素表统计每个内点周围、

像素范围内的可用像素数目，并选择可用像素数目最多的内点作为待修复的目标像素

；

d.5.2 以目标像素为中心建立一个大小为

像素的模板

，并设目标像素属于B1类，则在结构区域的B1类点中搜索与

最为匹配的

像素点集

，再将

的中心像素

的值赋值给目标像素

作为其修复值；

d.5.3 若结构区域中仍有未修复的像素，则转入d.5.1；否则，转入d.6；

d.6 若仍有待修复的结构块，则转入d.1；否则，结构块的解码过程结束；

d.7 对于整个待解码图像，采用曲率驱动模型修复位于结构块扩散区域中的像素，解码过程结束。

本发明首先根据边缘强度和颜色方差将图像子块分为结构块、结构模版块、梯度块、梯度模版块和非特征块，由于非特征块的像素值无法用典型模型来刻画，同时为了有效地恢复结构子块和梯度子块，必须保留主要的结构和梯度参数，因此，本发明采用传统的JPEG方法编码结构模版块、梯度模版块和非特征块，采用线性插值方法修复梯度块，最后，采用边界插值和曲率驱动的扩散模型修复结构块，进而获得解码后的图像。

与现有技术相比，本发明具有两个方面优点：第一，利用图像修复技术去除了梯度块和结构块中的数据和视觉冗余，既可进一步提高现有方法的压缩比，又能在一定程度上缓解JPEG的块效应，改善解码图像的人眼主观质量。第二，考虑到主要边缘两端会有从结构逐步过渡到纹理的部分，将结构块内的像素进一步划分为结构区域和扩散区域后再分别采用边界线性插值和曲率驱动的扩散模型来修复，从而可克服现有方法中结构边断裂和纹理模糊的不足。

附图说明

图1为本发明实施例结构块中主边的影响区域示意图。

图2为本发明实施例与现有技术解码图像的主观质量比较图。

具体实施方式

所述编码方法按如下步骤进行：

a. 将源图像分成尺寸为S×S像素的、不重叠的子块；

b. 将所有子块分成结构块、结构块模版、梯度块、梯度块模版和非特征块，并建立标志块类型的块类型表；

b.1 将源图像转换为灰度图，采用Canny算子进行边缘检测并建立标志边缘位置的边缘表；

b.2 初始化块类型表，即把没有类型的块在块类型表中标记为0；

b.3 对于源图像的每个子块，若当前子块中包含边缘，则将其归为结构块类型，并在块类型表中将相应位置的值设置为1；否则，转入b.4；

b.3.1 如果在当前的结构块中边缘像素的个数大于S或者小于S / 2，则把它归为结构块模版类型，并在块类型表中将相应位置的值设置为2；

b.3.2 如果在当前结构块的8邻域内存在至少2个结构块，则把它归为结构块模版类型，并在块类型表中将相应位置的值设置为2；

b.4 对于源图像中每个尚未确定类型的子块，计算其颜色方差

：

    其中，

代表红、绿、蓝三种颜色分量，

表示一个子块的

三个分量的平均值，

表示像素的坐标；若当前子块的颜色方差

小于阈值

，则将其归为梯度块，在块类型表中将相应元素的值设置为3；否则，将当前子块归为非特征子块，并在块类型表中将相应元素的值设置为5；

b.4.1 对于所有的梯度块，如果某个块的8领域内存在结构块或者非特征块，则把它归为梯度块模版类型，并在块类型表中将相应位置的值设置为4；

b.4.2 对于所有的梯度块，如果某个块的平均像素值大于源图像中所有梯度块的平均像素值，则也把它归为梯度块模版类型，并在块类型表中将相应位置的值设置为4；

c. 采用JPEG编码所有的结构块模版、梯度块模版和非特征块，丢弃（不编码）结构块和梯度块；

d. 采用算术编码压缩块类型表、边缘表和每个梯度块的梯度信息，结束；

所述解码方法按如下步骤进行：

a. 采用JPEG解码出所有的结构块和梯度块；模板块和非特征子块；

b. 采用算术解码得到块类型表、边缘表和每个梯度子块的梯度信息；

c. 利用梯度块的梯度信息和其8邻域内的已解码子块来解码梯度块：

c.1 对于每个梯度块，将其周围已经解码出的子块个数称为“置信度”，已经解码的子块越多，其置信度越高，在所有未解码的梯度子块中选择“置信度”最高的块作为待修复子块；

c.2 修复梯度块的四条边界：

c.2.1 若待修复块周围4邻域的相邻子块都已经解码，则直接采用相邻子块边界处的像素值对待修复块边界的像素进行赋值；转入c.3；

c.2.2 若待修复块周围4邻域的相邻子块中有3个已经解码，则用c.2.1中的方法对相应的3条边界的像素进行赋值；而对于剩余的1条边界，则结合当前梯度块的梯度信息和线性插值方法进行修复，插值公式为（以修复右边界为例，其它3条边界的处理方法相同）：

    其中，

表示坐标为

的像素的值，

，，

和

表示当前子块的平均梯度在水平和垂直方向上的分量；

c.2.3 若待修复块周围4邻域的相邻子块中有2个已经解码，则先用c.2.1的方法修复相应的2条边界的像素； 

c.2.3.1 当两条已知边界相邻时（以上边界和左边界已知为例，其它情况的处理方法相同），则令

，，右边界上任意像素的修复值为：

下边界上任意像素的修复值：

c.2.3.2 当两条已知边界不相邻时（以上边界和下边界已知为例，其它情况的处理方法相同），则令，左边界上任意像素的修复值为：

右边界上任意像素的修复值为：

c.2.4 若待修复块周围4邻域的相邻子块中有1个已经解码，则先用c.2.1的方法修复其相邻边界的像素值；假设已经修复的是上边界（其余情况的处理方法相同），先修复已知边界的对边，即下边界，其任意像素的修复值为：

，

剩余的左右两边界采用c.2.3的方法完成修复；

c.3 根据当前子块的边界像素值和梯度信息修复当前子块内部的像素值：

，其中

，

，

，

，

，

，

式中符号含义与c.2.2相同；

c.4 如果仍有待修复的梯度块，则转入c.1；否则，梯度块的解码过程结束；

d. 利用结构块的边缘信息和其8邻域内的已解码子块信息来解码结构块；

d.1 对于每个结构块，将其周围的已经解码出的子块个数也称为“置信度”；已经解码的子块越多，其置信度越高，在所有未解码的结构块中选择置信度最高的块作为待修复子块；

d.2 将当前待修复子块及位于其8邻域范围内的8个子块组成一个集合B，并为B建立一张可用像素表；若某个像素已解码，则在该表中将相应位置的元素值置为1，否则置为0；

d.3 利用边缘表计算出B中长度最长的一条边缘，称为“主边”；以主边为对称轴，左、右各R个像素为半径建立一个“结构区域”；位于结构区域内、主边左侧的像素集合归为B1类，而主边右侧的像素集合归为B2类；当前待修复子块中除了结构区域外，剩余像素组成的集合称为“扩散区域”；

d.4 修复位于当前子块结构区域中的边缘像素，根据边缘表和结构区域中的的已知边缘点，利用线性插值的方法修复未知边缘点：

d.5 修复位于当前子块的结构区域中除边缘像素以外的像素，称为“内点”；

d.5.1 根据可用像素表统计每个内点周围、像素范围内的可用像素数目，并选择可用像素数目最多的内点作为待修复的目标像素

；

d.5.2 以目标像素为中心建立一个大小为像素的模板

，并设目标像素属于B1类，则在结构区域的B1类点中搜索与

最为匹配（比如欧式距离最近）的像素点集

，再将

的中心像素的值赋值给目标像素

作为其修复值；

d.5.3 若结构区域中仍有未修复的像素，则转入d.5.1；否则，转入d.6；

d.6 若仍有待修复的结构块，则转入d.1；否则，结构块的解码过程结束；

d.7 对于整个待解码图像，采用曲率驱动模型(CDD)修复位于结构块扩散区域中的像素，解码过程结束。

本发明实施例结构块中主边的影响区域示意图如图1所示。

本发明实施例中，S=8，R=3，N=3，

，解码图像的质量用无参考的视觉质量度量标准(该度量标准的详细介绍和代码见：https://ece.uwaterloo.ca/~z70wang/research/nr_jpeg_quality/index.html)进行评价。本发明实施例的结果如表1所示，解码图像的主观质量比较结果如图2所示。

图2中的图像名称从上至下依次为Kodim09、 Kodim20、 Plane、Pole、Projector、Statue、Winxp，从左至右依次为(a)源图像、(c) JPEG的结果、(d) PAI的结果、(e)本发明实施例的结果。

表1  NR比较结果，JPEG的量化系数QP = 90 

图像名称	图像尺寸	JPEG	PAI	本发明实施例
					Kodim09	512×768	7.3300	9.6562	9.7111
Kodim20	768×512	7.0021	7.5266	7.6089
					Plane	512×384	6.3040	8.0007	9.4014
Pole	384×512	7.7149	9.2221	9.5948
					Projector	512×384	6.0900	8.4448	8.6927
Statue	384×512	5.8526	8.5599	8.6118
					Winxp	1024×768	6.0011	7.4465	7.7164

 实验结果表明，本发明的方法取得了较好的编码效果，其解码图像的质量高于目前的JPEG和PAI (Parameter-Assistant Inpainting)等图像编码方法。

Claims (1)

1.一种边界和曲率驱动修复的图像编码和解码方法，其特征在于：

所述编码方法按如下步骤进行：

a. 将源图像分成尺寸为S×S像素的、不重叠的子块；

b. 将所有子块分成结构块、结构块模版、梯度块、梯度块模版和非特征块，并建立标志块类型的块类型表；

b.1 将源图像转换为灰度图，采用Canny算子进行边缘检测并建立标志边缘位置的边缘表；

b.2 初始化块类型表；

b.3 对于源图像的每个子块，若当前子块中包含边缘，则将其归为结构块类型，并在块类型表中将相应位置的值设置为1；否则，转入b.4；

b.3.1 如果在当前的结构块中边缘像素的个数大于S或者小于S / 2，则把它归为结构块模版类型，并在块类型表中将相应位置的值设置为2；

b.3.2 如果在当前结构块的8邻域内存在至少2个结构块，则把它归为结构块模版类型，并在块类型表中将相应位置的值设置为2；

b.4 对于源图像中每个尚未确定类型的子块，计算其颜色方差                                                

：

 

 其中，

代表红、绿、蓝三种颜色分量，

表示一个子块的三个分量的平均值，

表示像素的坐标；若当前子块的颜色方差

小于阈值

，则将其归为梯度块，在块类型表中将相应元素的值设置为3；否则，将当前子块归为非特征子块，并在块类型表中将相应元素的值设置为5；

b.4.1 对于所有的梯度块，如果某个块的8领域内存在结构块或者非特征块，则把它归为梯度块模版类型，并在块类型表中将相应位置的值设置为4；

b.4.2 对于所有的梯度块，如果某个块的平均像素值大于源图像中所有梯度块的平均像素值，则也把它归为梯度块模版类型，并在块类型表中将相应位置的值设置为4；

c. 采用JPEG编码所有的结构块模版、梯度块模版和非特征块；

d. 采用算术编码压缩块类型表、边缘表和每个梯度块的梯度信息，结束；

所述解码方法按如下步骤进行：

a. 采用JPEG解码出结构块模版、梯度块模版和非特征块；

b. 采用算术解码得到块类型表、边缘表和每个梯度块的梯度信息；

c. 利用梯度块的梯度信息和其8邻域内的已解码子块来解码梯度块：

c.1 对于每个梯度块，将其周围已经解码出的子块个数称为“置信度”，在所有未解码的梯度块中选择“置信度”最高的块作为待修复子块；

c.2 修复梯度块的四条边界：

c.2.1 若待修复块周围4邻域的相邻子块都已经解码，则直接采用相邻子块边界处的像素值对待修复块边界的像素进行赋值；转入c.3；

c.2.2 若待修复块周围4邻域的相邻子块中有3个已经解码，则用c.2.1中的方法对相应的3条边界的像素进行赋值；而对于剩余的1条边界，则结合当前梯度块的梯度信息和线性插值方法进行修复，插值公式为：

其中，

表示坐标为

的像素的值，， 

，

和

表示当前子块的平均梯度在水平和垂直方向上的分量；

c.2.3 若待修复块周围4邻域的相邻子块中有2个已经解码，则先用c.2.1的方法修复相应的2条边界的像素； 

c.2.3.1 当两条已知边界相邻时，则令

，

，一边界上任意像素的修复值为：

另一相邻边界上任意像素的修复值：

c.2.3.2 当两条已知边界不相邻时，则令

，一边界上任意像素的修复值为：

另一相对边界上任意像素的修复值为：

c.2.4 若待修复块周围4邻域的相邻子块中有1个已经解码，则先用c.2.1的方法修复其相邻边界的像素值；首先修复已知边界的对边，其任意像素的修复值为：

，

剩余的相对两边界采用c.2.3的方法完成修复；

c.3 根据当前子块的边界像素值和梯度信息修复当前子块内部的像素值：

，其中

，

，

，，

，，

式中符号含义与c.2.2相同；

c.4 如果仍有待修复的梯度块，则转入c.1；否则，梯度块的解码过程结束；

d. 利用结构块的边缘信息和其8邻域内的已解码子块信息来解码结构块；

d.1 对于每个结构块，将其周围的已经解码出的子块个数也称为“置信度”；在所有未解码的结构块中选择置信度最高的块作为待修复子块；

d.2 将当前待修复子块及位于其8邻域范围内的8个子块组成一个集合B，并为B建立一张可用像素表；若某个像素已解码，则在该表中将相应位置的元素值置为1，否则置为0；

d.3 利用边缘表计算出B中长度最长的一条边缘，称为“主边”；以主边为对称轴，左、右各R个像素为半径建立一个“结构区域”；位于结构区域内、主边左侧的像素集合归为B1类，而主边右侧的像素集合归为B2类；当前待修复子块中除了结构区域外，剩余像素组成的集合称为“扩散区域”；

d.4 修复位于当前子块结构区域中的边缘像素，根据边缘表和结构区域中的的已知边缘点，利用线性插值的方法修复未知边缘点：

d.5 修复位于当前子块的结构区域中除边缘像素以外的像素，称为“内点”；

d.5.1 根据可用像素表统计每个内点周围、

像素范围内的可用像素数目，并选择可用像素数目最多的内点作为待修复的目标像素

；

d.5.2 以目标像素为中心建立一个大小为像素的模板

，并设目标像素属于B1类，则在结构区域的B1类点中搜索与

最为匹配的

像素点集

，再将

的中心像素

的值赋值给目标像素

作为其修复值；

d.5.3 若结构区域中仍有未修复的像素，则转入d.5.1；否则，转入d.6；

d.6 若仍有待修复的结构块，则转入d.1；否则，结构块的解码过程结束；

d.7 对于整个待解码图像，采用曲率驱动模型修复位于结构块扩散区域中的像素，解码过程结束。