CN109785286A

CN109785286A - 一种基于纹理特征融合的图像修复检测方法

Info

Publication number: CN109785286A
Application number: CN201811523591.5A
Authority: CN
Inventors: 张玉兰; 杨建权; 丁峰; 钱静; 朱国普
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2018-12-12
Filing date: 2018-12-12
Publication date: 2019-05-21
Anticipated expiration: 2038-12-12
Also published as: CN109785286B; WO2020119618A1

Abstract

本发明提出一种基于纹理特征融合的图像修复检测方法，包括以下步骤：将待检测图像转为灰度图；逐像素提取图像纹理特征；计算所述灰度图的图拉普拉斯在图像照度方向上的变化量；对所述变化量再次逐像素提取纹理特征；融合所有提取的纹理特征，形成融合特征；将所述融合特征输入分类器进行判决；移除异常点，得到检测结果。本发明利用纹理特征实现对图像修复的检测，检测效果优于常规检测方法，尤其针对较小尺寸的图像块修复具有较好的检测效果,并且对JPEG压缩图像的修复检测也具有较好的鲁棒性。

Description

一种基于纹理特征融合的图像修复检测方法

技术领域

本发明涉及图像处理领域，尤其涉及图像修复的检测方法。

背景技术

图像修复是指重建图像中丢失或损坏部分的过程，一般采用复杂的算法来重构已丢失或损坏的图像数据，在维持原图整体和谐统一的基础上，恢复了图像的真实视觉。一般用来修复电影、还原退化的老旧照片以及去除图片中的水印、日期等信息。但有些别具用心的人利用现有的修复算法对图像进行恶意篡改，例如移除图像中本身存在的物体或人物，企图改变原始图像所反映的客观事实。因此，如何有效区分数字图像的真实性，就变得尤为重要。

图像修复算法主要包括两大类：第一类是基于扩散的图像修复算法，其主要用于较小物体的移除，在小区域内不会留下可感知的修复痕迹；第二类是基于范例的图像修复算法，多用于图像中较大物体的移除修复。在一些篡改应用中，要篡改的区域特别小，但现有的图像修复检测算法，大多数是针对第二类算法的检测，对较小尺寸的图像块修复，检测结果并不理想。而且现有检测技术对JPEG压缩没有很好的鲁棒性，JPEG压缩会严重影响检测效果。

发明内容

有鉴于此，本发明提出一种基于图像纹理特征融合的图像修复检测算法，可实现对图像较小区域的修复检测定位。

一种基于纹理特征融合的图像修复检测方法，包括以下步骤；

(1)将待检测图像转为灰度图；

(2)逐像素提取图像纹理特征；

(3)计算所述灰度图的图拉普拉斯在图像照度方向上的变化量；

(4)对步骤(3)中所述变化量再次进行步骤(2)的逐像素提取纹理特征；

(5)融合步骤(2)、(4)提取的纹理特征，形成融合特征；

(6)将所述融合特征输入分类器进行判决；

(7)移除异常点，根据形态学滤波移除小的误警区域，得到检测结果。

优选地，步骤(2)中采用局部二值模式，即LBP，和局部相位量化，即LPQ，两种局部纹理分析算子提取图像纹理特征。

优选地，所述LBP特征为均匀的具有旋转不变性质的LBP特征。

对任一像素提取LBP特征的步骤为：

选取该像素作为中心像素，取半径为R的邻域中P个像素，提取均匀的具有旋转不变性质的LBP特征，计算公式为：

其中g_c表示中心像素值，g_a表示半径为R的区域内的邻域像素值，P是邻域的像素点数，a＝0，1，......，P-1，上角标riu2表示均匀的具有旋转不变性质的LBP特征。

优选地，取P＝16，R＝2，得到1×18维LBP特征值。

对任一像素提取LPQ特征的步骤为：

以该像素为中心，取N×N像素的局部窗口，N为大于等于3的奇数，N＝3，5，……11，在窗口内对像素值做离散傅里叶变换，对离散傅里叶变换向量的第b个成分，b＝1、2、3、4，g_b＝Re(g_b)+Im(g_b)i的实部Re(g_b)和虚部Im(g_b)分别进行量化，得到量化返回值q_k：

由此得到的8位二进制系数，将其转化为十进制数即得LPQ特征：

优选地，取N＝3。

优选地，步骤(3)中图像的图拉普拉斯在图像照度方向上的变化量I^′n(i，j)由下式计算：

其中n表示修复次数，(i，j)表示像素坐标，Lⁿ(i，j)是需要传播的信息，表示信息传播的方向，是对要传播信息变化的一个度量。

优选地，步骤(5)中的融合为将步骤(2)和步骤(4)的特征串联起来，形成所述融合特征。

优选地，形成融合特征后，还对所述融合特征进行降维处理。

优选地，所述分类器为集成分类器。

优选地，步骤(7)中移除异常点包括排除异常暴露的点，并根据形态学滤波移除小的误警区域。

相对于现有技术，本发明的优点在于：本发明利用纹理特征实现对图像修复的检测，检测效果优于常规检测方法，尤其针对较小尺寸的图像块修复具有较好的检测效果，并且对JPEG压缩图像的修复检测也具有较好的鲁棒性。

附图说明

图1为本发明的图像修复检测方法流程图

具体实施方式

如图1所示，本发明的基于纹理特征融合的图像修复检测方法，主要包括以下步骤：

S1、转灰度图。输入待检测彩色图像进行灰度转换，得到灰度图。

S2、逐像素地提取局部二值模式(Local binary pattern，LBP)，局部相位量化(Local phase quantization，LPQ)特征。

首先对灰度图逐像素提取LBP特征，对于每个像素，取半径为R的邻域中P个像素，提取均匀的具有旋转不变性质的LBP特征，计算公式如下：

其中g_c表示中心像素值，g_a表示半径为R的区域内的邻域像素值，P是邻域的像素点数，上角标riu2表示均匀的具有旋转不变性质的LBP特征。在本实施例中，取P＝16，R＝2，由此得到1×18维LBP特征。

然后对灰度图像逐像素提取LPQ特征，在取N×N像素的局部窗口，N为大于等于3的奇数，N＝3，5，……11，通过对傅里叶变换的相位谱做去相关和均匀量化，得到图像像素的LPQ特征。在LPQ特征计算的时候，只考虑2维离散傅里叶变换的4个复数系数，其中，假设g_b＝Re(g_b)+Im(g_b)i是傅里叶变换向量的第b个成分，b＝1、2、3、4，将它的实部Re(g_b)和虚部Im(g_b)用一个简单的标量量化：

由此可得到8个二进制系数，这8个二进制系数按照一定的顺序排列即可得到LPQ特征，

排序时通常将实部的量化值排在前四位，对应的虚部量化值排在后四位，将所得二进制数编码转化为十进制数即得LPQ特征。

在本实施例中，取N＝3。

对于图像的边缘像素，采用镜像扩展的方式计算LBP和LPQ特征。

S3、计算灰度图像的图拉普拉斯在图像照度方向上的变化量。图像的图拉普拉斯在图像照度方向上的变化量I^′n(i，j)实际上是图拉普拉斯在梯度垂直方向上的投影，可以由下式计算

其中n表示修复次数，(i，j)表示像素坐标，Lⁿ(i，j)是需要传播的信息，表示信息传播的方向，是对要传播信息变化的一个度量。其中图像的图拉普拉斯Lⁿ(i，j)可以用计算。下标xx，yy分别表示对x轴和y轴方向求二阶偏导，在连续数学中可以用图拉普拉斯的梯度来表示。梯度的垂直方向即为传播的方向用表示，其将梯度的方向旋转90度得到。最终计算出I^′n(i，j)与灰度图的尺寸大小是相同的。在修复区域的I^′n(i，j)值接近于0，而在未修复区域I^′n(i，j)值偏大。

S4、对S3中得到的变化量提取LBP和LPQ特征。针对S3中提取的变化量I^′n(i，j)，逐个像素提取LBP和LPQ特征。此过程的计算方法与S2中相同，只是针对图拉普拉斯在梯度垂直方向上的变化量提取纹理特征。

S5、特征融合。将S2计算的LBP、LPQ特征与S4中计算的LBP、LPQ特征串联起来，即得到高维的融合特征，可以更好地表征修复区域与未被修复区域的图像。为了提高计算速度，也可以将融合特征进行降维处理。降维处理可采用主成分分析(PCA)方法，或其他能保留特征主要信息的降维方法。

S6、将融合特征输入到集成分类器测试。集成分类器(Ensemble classifier)先用来训练，将大量的已知修复与否的像素融合特征作为训练样本，输入到分类器训练，训练出一个判决较准确的模型。然后将测试样本，即测试图像每个像素的融合特征输入到训练好的模型，由模型做出判决，逐一判断每个像素是否经过修复。

S7、输出判决结果。集成分类器采用训练好的模型对每个像素逐一判决，返回+1的为修复点，返回-1的是未修复的点，最后排除图像中异常暴露的点并根据形态学滤波移除小的误警区域，即可得到最终的检测结果。排除异常暴露的点指的是针对图像中部分曝光不足和过度曝光的像素，由于这些像素的图拉普拉斯接近于0，导致图拉普拉斯的变化也会很小，对检测结果有一定影响。因此，当3*3窗口中像素值之和小于10或大于245时，则认为当前窗口的中心点是图像中异常曝光的区域，将其判定为未经修复的点。根据形态学滤波指的是通过腐蚀操作移除小的误警区域，通过膨胀操作扩大检测的修复区域，降低假阳性，提高真阳性。

可行性验证

在UCID图像数据库中验证。首先利用GIMP图像处理软件可以得到基于扩散的修复图像，包括各种不同的修复尺寸(8×8，32×32)以及对不同质量因子(QF＝90，QF＝75)的JPEG压缩图像。随机选取数据库中的338张图像用于训练，剩余的1000张图像用于测试，每张图像取50个正样本点，即经过修复的点和50个负样本点，即未被修复的点。采用ROC曲线的线下面积(Area under the curve，AUC)和F1-socre作为判别标准，检测结果如下表所示：

	AUC	F1-score
			8×8	0.8594	0.6811
32×32	0.9025	0.7552

表1、对不同尺寸修复的检测结果

表2、对不同质量因子(修复块大小为8×8时)图像修复的检测结果

基于以上分析，本发明提出的方案在技术上是可行的。

所述领域的普通技术人员应当理解，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于纹理特征融合的图像修复检测方法，其特征在于，包括以下步骤；

(1)将待检测图像转为灰度图；

(2)逐像素提取图像纹理特征；

(5)融合步骤(2)、(4)提取的纹理特征，形成融合特征；

(6)将所述融合特征输入分类器进行判决；

(7)移除异常点，得到检测结果。

2.根据权利要求1所述的图像修复检测方法，其特征在于，步骤(2)中采用局部二值模式，即LBP，和局部相位量化，即LPQ，两种局部纹理分析算子提取图像纹理特征。

3.根据权利要求2所述的图像修复检测方法，其特征在于，所述LBP特征为均匀的具有旋转不变性质的LBP特征。

4.根据权利要求3所述的图像修复检测方法，其特征在于，对任一像素提取LBP特征的步骤为：

其中g_c表示中心像素值，g_a表示半径为R的区域内的邻域像素值，P是邻域的像素点数，a＝0,1,……,P-1，上角标riu2表示均匀的具有旋转不变性质的LBP特征；

对任一像素提取LPQ特征的步骤为：

由此得到的8位二进制系数，将其转化为十进制数即得LPQ特征，

5.根据权利要求4所述的图像修复检测方法，其特征在于，在计算LBP特征值时取P＝16，R＝2，得到1×18维LBP特征值；在计算LPQ特征值时取N＝3。

6.根据权利要求1-5任一项所述的图像修复检测方法，其特征在于，步骤(3)中图像的图拉普拉斯在图像照度方向上的变化量I'ⁿ(i,j)由下式计算：

其中n表示修复次数，(i,j)表示像素坐标，Lⁿ(i,j)是需要传播的信息，表示信息传播的方向，是对要传播信息变化的一个度量。

7.根据权利要求1-6任一项所述的图像修复检测方法，其特征在于，步骤(5)中的融合为将步骤(2)和步骤(4)的特征串联起来，形成所述融合特征。

8.根据权利要求7所述的图像修复检测方法，其特征在于，形成融合特征后，还对所述融合特征进行降维处理。

9.根据权利要求1-8任一项所述的图像修复检测方法，其特征在于，所述分类器为集成分类器。

10.根据权利要求1-9任一项所述的图像修复检测方法，其特征在于，步骤(7)中移除异常点即排除异常暴露的点，并根据形态学滤波移除小的误警区域。