CN101504655B - 一种基于彩色关系特征的图像近似拷贝检测方法 - Google Patents

Abstract

本发明提供一种基于彩色关系特征的图像近似拷贝检测方法，包括步骤：(1)记录图像分块的颜色关系特征；(2)图像鲁棒特征的提取；(3)阈值的选取方法与图像近似拷贝的识别。利用本发明能够快速提取出数字图像的鲁棒特征表示，并能通过该特征有效地判断两幅图像I，I′是否为近似拷贝版本。与现有方法相比，本发明的时间、空间复杂度均较低，并且能抵抗大部分常用的图像处理操作。

Description

一种基于彩色关系特征的图像近似拷贝检测方法

技术领域

本发明属于多媒体数据库管理，多媒体数字版权保护领域。具体涉及到一种能快速、有效地从图像数据库中检索出给定数字图像近似拷贝版本的方法。

技术背景

数字图像的近似拷贝指的是一幅图像在经过一些常规数字图像处理操作后的不同版本。这些修改后的版本其视觉上与原始图像很相近，但质量上却有所差异。判别给定的图像是否为已有图像库(或网络)中某一图像数据的近似拷贝版本，这对减少数据库的冗余性、维护数字版权等都有着十分重要的意义。图像近似拷贝的检测类似但有别于传统的基于内容的图像检索(content basedimage retrieval)，因为它仅需识别来自同一图像的不同近似版本，而不必考虑与其内容相似(如都是“日出”内容图像)但不是出自于同一图像的其它数据。

由于在许多实际的应用当中，图像库数据量往往是巨大的。因此，近似拷贝检测算法需要满足一定检测正确率的情况下，还须要求算法的时间复杂度(检索速度)与空间复杂度(存储图像特征的大小)都比较低。现有的一些方法常需综合图像数据颜色、纹理、局部结构等特征去表示图像的内容(一般均上100维特征)。在特征提取时，需要将图像从空域变换到其它的频率域空间，如DCT、DWT等。这样其算法的时间、空间复杂度都会比较高，而且部分方法仅对某些特定图像处理操作鲁棒，如JPEG压缩、加噪，而对其他常用图像处理操作，如几何变换，随机剪切等鲁棒性比较差。

发明内容

本发明的目的在于针对现有方法时间、空间复杂度较高等缺陷，提供一种基于彩色关系特征的图像近似拷贝检测方法。

为了实现上述发明目的，采用的技术方案如下：

一种基于彩色关系特征的图像近似拷贝检测方法，包括如下步骤：

(1)将一幅图像分成多个图像块Blk(j)，并计算每一个Blk(j)的红、绿、蓝三个颜色通道上像素值的平均值，再根据这三个平均值的大小排列组成六种关系case i(i＝1，2，3，4，5，6)；

(2)统计步骤(1)中各图像块Blk(j)中的颜色所属关系，令满足关系casei的图像块集合为P_i，计算P_i占所有图像分块中的百分比H(i)，从而得到整幅图像的鲁棒特征：[H(1)，H(2)，H(3)，H(4)，H(5)，H(6)]；

(3)计算图像I与图像I′之间相似度的距离： $D(H,H^{\′})=\underset{i=1}{\overset{6}{\mathrm{\Σ}}}|H\left(i\right)-H^{\′}\left(i\right)|,$ 其中，H，H′分别表示图像I，I′的鲁棒特征，并从图像训练集中提取阈值T，根据图像间的相似度距离与阈值T的比较确定两幅图像是否为近似拷贝。

本发明主要利用了图像各颜色通道间的大小统计关系特征，具体为图像RGB颜色空间上3种颜色(即Red，Green和Blue通道上数据的平均值)6种大小排序关系的统计数据。本发明分成三个步骤：(1)记录图像分块的颜色关系特征；(2)图像鲁棒特征的提取；(3)阈值的选取方法与图像近似拷贝的识别。

所述步骤(1)记录图像分块颜色关系特征的具体方法是：首先把待测彩色图像I(设其大小为M×N)分解为无重叠Bz×Bz大小的小块，设为Blk(j)，要求Bz＝8k，k∈N，j＝1，2，...S，其中 $S=\left[\frac{M}{\mathrm{Bz}}\right]\left[\frac{N}{\mathrm{Bz}}\right]$ 表示图像分块的总个数，然后对于每一个彩色图像小块Blk(j)，计算其R(Red)，G(Green)，B(Blue)三个颜色通道上像素的平均值，设为R_ave(j)，G_ave(j)，B_ave(j)，并记录这三个平均值属于以下哪种关系：

case 1：R_ave(j)≥G_ave(j)≥B_ave(j)

case 2：R_ave(j)≥B_ave(j)≥G_ave(j)

case 3：G_ave(j)≥R_ave(j)≥B_ave(j)

case 4：G_ave(j)≥B_ave(j)≥R_ave(j)

case 5：B_ave(j)≥R_ave(j)≥G_ave(j)

case 6：B_ave(j)≥G_ave(j)≥R_ave(j)

所述步骤(2)图像鲁棒特征的提取的具体方法是：统计步骤(1)中各小块Blk(j)中的颜色所属关系，设满足关系case i的图像块集合为P_i：

P_i＝{Blk(j)|[R_ave(j)，G_ave(j)，B_ave(j)]s.t.case#i}

其中，i∈[1，2，3，4，5，6]，j∈[1，2，...，S]；

并计算这6种颜色关系各占所有图像分块中的百分比：

$H\left(i\right)=\frac{S_i}{\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{S}_j}$

其中，S_i＝|P_i|表示属于关系case i图像块集合的元素个数；H(i)表示图像中满足关系i的图像块占所有图像块的比例；H(i)的精度要求为2位或2以上的有效数字的十进制小数。从而得到图像I的鲁棒特征表示为：[H(1)，H(2)，H(3)，H(4)，H(5)，H(6)]。从大量的实验数据和理论分析得到，该特征对大部分常用的图像处理操作具有较好的鲁棒性，也即是说图像在经过各种图像处理操作后，该特征的差异不大。而对于不出自同一幅图像的不同图像，该特征区分度也较高。因此，能满足数字图像近似拷贝检测的要求。

由于[H(1)，H(2)，H(3)，H(4)，H(5)，H(6)]这6个数字的和为1。为进一步节省图像特征的存储空间，只需记录图像的前5个特征，即[H(1)，H(2)，H(3)，H(4)，H(5)]。

而H(6)可由H(6)＝1-H(1)-H(2)-H(3)-H(4)-H(5)得到。

所述步骤(3)阈值的选取方法与图像近似拷贝的识别的具体方法为：首先选取一定数量的图像(一般不少于500幅)作为原始图像集，并针对所要考虑的图像操作(如包括一般的图像压缩、噪声干扰、图像增强、剪切、旋转、模糊、添加文字说明等)，模拟图像近似拷贝的过程，生成出一系列原始图像的近似拷贝版本作为图像训练集；然后按照步骤(1)、(2)提取出每幅图像的6个特征；定义图像I与图像I′间相似度的距离D为：

$D(H,H^{\′})=\underset{i=1}{\overset{6}{\mathrm{\Σ}}}|H\left(i\right)-H^{\′}\left(i\right)|$

其中，H，H′分别表示图像I，I′的特征，可知0≤D(H，H′)≤2；

然后按以下情况，统计两类图像间的距离：

(a)原始图像两两之间的距离；

(b)原始图像与其对应近似拷贝版本之间的距离；

通过大量实验数据表明，集合(a)中的距离近似均值为1的高斯分布，而集合(b)中的距离往往很靠近0；因此，可根据具体识别系统所考虑的图像处理集合以及检测率等要求，选择一个恰当的阈值T，将这两类情况(是否图像的近似拷贝)区分开：当两图像间的距离小于此阈值T时，认为图像是近似拷贝版本，而大于T时，则认为是非近似拷贝版本。

利用本发明能够快速提取出数字图像的鲁棒特征表示，并能通过该特征有效地判断两幅图像I，I′是否为近似拷贝版本。与现有方法相比，本发明的时间、空间复杂度均较低，并且能抵抗大部分常用的图像处理操作。

附图说明

图1为本发明的流程示意图；

图2为图像无重复分块示意图；

图3为三幅测试图像(Lena，Baboon，Peppers)鲁棒特征的柱状图；

图4为图像鲁棒特征的Hash值表示示意图；

图5为三幅测试图像与其对应近似拷贝版本的距离示意图；

图6是600幅训练图像两两间距离的直方图；

图7是600幅训练图像与其对应近似拷贝版本间距离的直方图；

图8是训练数据的ROC曲线。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明的流程图如附图1所示，包括步骤：(1)记录图像分块的颜色关系特征；(2)图像鲁棒特征的提取；(3)阈值的选取方法与图像近似拷贝的识别。

每个步骤具体如下：

步骤(1)、记录图像分块的颜色关系特征

假设待检测的图像为I，其大小为M×N。首先按图示2所示，将I分解为无重叠区域的Bz×Bz(这里设定Bz＝16)大小的图像块，记为Blk(j)，j＝1，2，...，S， $S=\left[\frac{M}{\mathrm{Bz}}\right]\left[\frac{N}{\mathrm{Bz}}\right].$ 对于每个彩色图像小块Blk(j)，首先计算其R、G和B三个颜色通道上的灰度平均值，得到R_ave(j)，G_ave(j)，B_ave(j)，并根据以下6种情况对得到的3个平均值进行归类：

case 1：R_ave(j)≥G_ave(j)≥B_ave(j)

case 2：R_ave(j)≥B_ave(j)≥G_ave(j)

case 3：G_ave(j)≥R_ave(j)≥B_ave(j)

case 4：G_ave(j)≥B_ave(j)≥R_ave(j)

case 5：B_ave(j)≥R_ave(j)≥G_ave(j)

case 6：B_ave(j)≥G_ave(j)≥R_ave(j)

步骤(2)、图像鲁棒特征的提取

统计步骤(1)中图像各小块Blk(j)的颜色所属关系，设满足关系case i的图像块集合为P_i，即

P_i＝{Blk(j)|[R_ave(j)，G_ave(j)，B_ave(j)]s.t.case #i}

其中，i∈[1，2，3，4，5，6]，j∈[1，2，...，S]

计算这6种关系各占所有图像分块中的百分比：

$H\left(i\right)=\frac{S_i}{\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{S}_j}$

其中，S_i＝|P_i|表示图像分块中满足关系case i的个数；H(i)则表示满足关系case i的分块占所有图像分块的比例。

可以证明0≤H(i)≤1，且有 $\underset{i=1}{\overset{6}{\mathrm{\Σ}}}H\left(i\right)=1$

经过大量实验数据得到，H(i)要求是2位或2位以上有效数字的十进制小数(这里实验设定为2位)。图3是三个典型的图像(Lena，Baboon，Peppers)特征的柱状图，可以看到不同图像其H(i)值得分布是不一致的。

为了进一步缩减图像特征的存储空间(即降低算法的空间复杂度)，仅需记录图像的前5个特征数据，即[H(1)，H(2)，H(3)，H(4)，H(5)]，而第6个特征数据可由 $H\left(6\right)=1-\underset{i=1}{\overset{5}{\mathrm{\Σ}}}H\left(i\right)$ 得到。如图4所示，在存储图像特征时，把前5个特征(十进制具有2位有效数字的小数)转换为二进制表示。可以得到一个长度为35(35＝7×5)比特的Hash值。也即任意一幅彩色图像，利用本发明均压缩为35比特。与现有大部分算法相比，其空间复杂度大大降低。

步骤(3)、阈值的选取方法与图像近似拷贝的识别

随机选取了6000幅彩色图像做测试，首先从中选取出10％的图像作为训练的原始图像集，即600幅。对于每一幅图像，利用“Imagemagick”软件按下表参数产生出100幅与之对应的近似拷贝版本：

图像处理操作	参数说明	编号#
			JPEG compression	QF：50to 90	1～5
JPEG2000 compression	QF：50to 90	6～10
			Scaling	0.5to 2	11～15
Rotation	Degree：51590180270	16～20
			Cropping	5％to 25％	21～25
Framing	10％with random color	26～30

Region Tampering	3％to 15％	31～35
			AWGN	Snr：20db to 40db	36～40
Median Filtering	3×3to 11×11	41～45
			Average Filtering	3×3to 11×11	46～50
Gamma Correction	1/1.5，1/2，1.5，2，2.25	51～55
			Changing Saturation	50％to 130％	56～60
Changing Brightness	70％to 120％	61～65
			Motion Blurring	Angle：72to 288，radius 10，sigma：10	66～70
Radial Blurring	Angle：2to 10	71～75
			Swirl	Angle：10to 90	76～80
Sharpen	Radius：10sigma：10to 50	81～85
			Roll	Rolled percentage：2％to 10％	86～90
Flipping	Horizontal Direction	91
			Despeckling	Default setting	92
Changing Contrast	Increase/Decrease usingdefault settings	93，94
			Raising	Increase/Decrease 10％usingdefault settings	95，96
Spread	The distance is 2and 5	97，98
			Shear	[100；0.210；001][100；0.510；001]	99，100

然后按照步骤(1)、(2)提取出每幅图像的6个特征；按如下公式计算图像I与图像I′间相似度距离D：

$D(H,H^{\′})=\underset{i=1}{\overset{6}{\mathrm{\Σ}}}|H\left(i\right)-H^{\′}\left(i\right)|$

其中，H，H′分别表示图像I，I′的特征。

然后按以下情况，统计两类图像间的距离：

(a)原始图像两两之间的距离；

(b)原始图像与其对应近似拷贝版本之间的距离。

测试1：若原始图像集仅为Lena，Baboon与Peppers三幅图像，则(a)为：D(H_L，H_B)＝1.24，D(H_L，H_P)＝0.93，D(H_B，H_P)＝0.67，H_L，H_B，H_P分别表示Lena，Baboon与Peppers图像的鲁棒特征；

而原始图像与其对应的近似拷贝版本间距离(b)如图5所示。可以看到所有距离均小于0.2。

因此选取阈值T∈(0.2，0.67)时，可以将这两类图像完全区分开。

测试2：为了得到一个比较恰当的阈值，对600副图像进行了训练，剩下的5400幅图像作为测试的原始图像集合。图6所示的是600副图像两两间距离的直方图，可以看到它近似均值为1的高斯分布；图7是600幅训练图像与其对应近似拷贝版本间距离的直方图，其距离分布很靠近0。

根据系统检测率的要求，可得到较优的阈值T。为此定义True positiverate(TPR)与False positive rate(FPR)如下：

$\mathrm{TPR}=\frac{\#\mathrm{of}\det \mathrm{ected\; near\; duplicates\; pairs}}{\mathrm{Total}\#\mathrm{of\; near\; duplicates\; pairs}}\×100\%$

$\mathrm{FPR}=\frac{\#\mathrm{of\; false}\det \mathrm{ected\; near\; duplicates\; pairs}}{\mathrm{Total}\#\mathrm{of\; non}-\mathrm{duplicates\; pairs}}\×100\%$

图8是得到的ROC(Receiver Operating Characteristic)曲线，T可按照如下的公式得到：

$T=\underset{T}{\arg \max }\left(\frac{\mathrm{TPR}\left(T\right)+[1-\mathrm{FPR}\left(T\right)]}{2}\right)$

在实验中，经过训练得到T＝0.27。然后利用该阈值T对测试图像集合进行检测，得到较好的检测结果TPR＝98.5％，FPR＝2.53％。

由于本发明的时间、空间复杂度都较低，在实际的应用当中，还可以作为图像近似拷贝检测的预处理步骤，快速地去除图像库中非近似拷贝的版本(FPR小于某一设定的阈值)，这样可大大降低图像的搜索空间，然后再结合其它的检测算法进一步提高系统的效率。

Claims (6)

1.一种基于彩色关系特征的图像近似拷贝检测方法，其特征在于包括如下步骤：

(1)将一幅图像分成多个图像块Blk(j)，并计算每一个Blk(j)中红、绿、蓝三个颜色通道上像素的平均值，再根据这三个平均值的大小排列组成六种关系case i(i＝1，2，3，4，5，6)；

(2)统计步骤(1)中各图像块Blk(j)中的颜色所属关系，令满足关系case i的图像块集合为P_i，计算P_i占所有图像分块中的百分比H(i)，从而得到整幅图像的鲁棒特征：[H(1)，H(2)，H(3)，H(4)，H(5)，H(6)]；

(3)计算图像I与图像I′之间相似度的距离： $D(H,H^{\′})=\underset{i=1}{\overset{6}{\mathrm{\Σ}}}|H\left(i\right)-H^{\′}\left(i\right)|,$ 其中，H，H′分别表示图像I，I′的鲁棒特征，并从图像训练集中提取阈值T，根据图像间的相似度距离与阈值T的比较确定两幅图像是否为近似拷贝。

2.根据权利要求1所述的基于彩色关系特征的图像近似拷贝检测方法，其特征在于所述步骤(1)的图像分块为把大小为M×N的图像I分解为S个无重叠Bz×Bz大小的图像块Blk(j)，其中 $S=\left[\frac{M}{\mathrm{Bz}}\right]\left[\frac{N}{\mathrm{Bz}}\right]$ 表示图像块的总个数。

3.根据权利要求1或2所述的基于彩色关系特征的图像近似拷贝检测方法，其特征在于所述步骤(1)确定的关系case i具体如下：

case 1：R_ave(j)≥G_ave(j)≥B_ave(j)

case 2：R_ave(j)≥B_ave(j)≥G_ave(j)

case 3：G_ave(j)≥R_ave(j)≥B_ave(j)

case 4：G_ave(j)≥B_ave(j)≥R_ave(j)

case 5：B_ave(j)≥R_ave(j)≥G_ave(j)

case 6：B_ave(j)≥G_ave(j)≥R_ave(j)

其中R_ave(j)，G_ave(j)，B_ave(j)为分块Blk(j)中红、绿、蓝三个颜色通道上像素值的平均值。

4.根据权利要求1所述的基于彩色关系特征的图像近似拷贝检测方法，其特征在于所述步骤(2)确定的H(i)的精度为具有2位或2以上有效数字的十进制小数。

5.根据权利要求4所述的基于彩色关系特征的图像近似拷贝检测方法，其特征在于所述步骤(2)只记录图像的其中5个鲁棒特征，即[H(1)，H(2)，H(3)，H(4)，H(5)]，而H(6)可通过如下公式计算获得，即H(6)＝1-H(1)-H(2)-H(3)-H(4)-H(5)。

6.根据权利要求1所述的基于彩色关系特征的图像近似拷贝检测方法，其特征在于所述步骤(3)从图像训练集中提取阈值T具体如下：

首先选取一定数量的原始图像作为原始图像库，并模拟图像近似拷贝的过程，生成一系列原始图像的近似拷贝版本作为图像训练集；

然后按照步骤(1)、(2)提取出每幅图像的6个鲁棒特征，根据鲁棒特征计算任意图像I与图像I′之间相似度的距离；

再统计原始图像之间、原始图像与其对应近似拷贝图像之间的距离；

根据统计的距离确定一个恰当的阈值T，当两图像间的距离小于此阈值时，认为图像是近似拷贝，而大于T时，则认为是非近似拷贝版本。

Images