CN108876756A - 图像相似性的度量方法和装置 - Google Patents

Abstract

本申请公开了图像相似性的度量方法和装置，包括：A、提取待对比图像的边界，确定图像边界的相似性，选出边界相同或边界在指定范围内相似的待对比图像；B、针对所选出的待对比图像，采用结构相似性和感知哈希算法计算所述图像之间的相似性。本发明可以提高度量精度、降低计算量。

Description

图像相似性的度量方法和装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种图像相似性的度量方法和装置。

背景技术

目前，主流的图像相似性度量方法有基于颜色和纹理特征的相似性度量、基于峰值信噪比(PSNR)的相似性度量方法、结构相似性(SSIM)度量方法、感知哈希算法(P-Hash)、计算特征点(FAST、SURF、SIFT、ORB等)度量方法。

在所述现有的图像相似性度量方法中，基于PSNR的相似性度量方法是最普遍和使用最为广泛的一种图像客观评价方法，然而该方法是基于对应像素点间的误差，即基于误差敏感的图像质量进行相似性度量。由于并未考虑到人眼的视觉特性，例如人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响等。由于人眼的这种视觉特性，则经常出现所述基于PSNR的相似性度量方法的度量结果与人的主观感觉不一致的情况。

所述现有的基于SSIM的度量方法能取得优于PSNR度量方法的结果，但SSIM度量方法不能完全解决上述PSNR度量方法存在的问题。

所述现有的P-Hash算法由于将图像压缩并灰度化，丢失了大部分图像信息，因此其精确度不高。

因此，现有技术整体上存在如下缺点：图像相似性的度量精度不高，计算量都比较大。

发明内容

有鉴于此，本发明的主要目的是提供一种图像相似性的度量方法和装置，以提高度量精度、降低计算量。

本发明的技术方案是这样实现的：

一种图像相似性的度量方法，包括：

A、提取待对比图像的边界，确定图像边界的相似性，选出边界相同或边界在指定范围内相似的待对比图像；

B、针对所选出的待对比图像，采用结构相似性和感知哈希算法计算所述图像之间的相似性。

在本发明所述方法的一种优选实施例中，所述步骤A具体包括：

对待对比图像的图像边缘进行边缘检测，提取图像边界，并得到边界灰度图；

根据图像大小将图像划分为网络结构；

取得所述图像中每一个网格的灰度值，得到边界灰度图的指纹字符串；

统计每两个待对比的图像的指纹字符串中，所述网格灰度值不相同的数据位数；如果不相同的数据位数与指纹字符串中的总数据位数的比值低于指定比值，则判定待对比的两张图像相似，对该两张图像执行步骤B；如果不相同的数据位数与指纹字符串中的总数据位数的比值等于或高于所述指定比值，则判定待对比的两张图像是不同的图像，对该两张图像不执行步骤B。

在本发明所述方法的一种优选实施例中，所述对图像边缘进行边缘检测具体包括：利用Canny边缘检测器进行边缘检测。

在本发明所述方法的一种优选实施例中，所述步骤B具体包括：

将所选出的待对比图像缩小到n×n的尺寸；

将所述缩小后的图像转为n²级灰度；

根据所述两个待对比图像的n²级灰度，计算两个图像各自的像素均值和标准差，以及计算两个图像之间的像素均方差和协方差；

根据所述两个图像各自的均值和标准差，以及计算两个图像之间的均方差和协方差，计算所述两个图像的亮度比较函数，对比度比较函数，结构比较函数、和峰值信噪比PSNR值；

根据以下公式计算所述两个待对比图像之间的相似性SSIM(x,y)：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ·[PSNR]^λ

其中，所述x，y分别代表所述两个待对比的图像，l(x,y)为所述两个图像的亮度比较函数，α为l(x,y)的权值；c(x,y)为所述两个图像的对比度比较函数，β为c(x,y)的权值；s(x,y)为所述两个图像的结构比较函数，γ为s(x,y)的权值；PSNR为峰值信噪比PSNR值，λ为PSNR的权值；α,β,γ,λ＞0。

在本发明所述方法的一种优选实施例中，根据下述公式计算所述两个图像各自的像素均值和标准差，以及计算两个图像之间的像素均方差和协方差，其中x，y分别代表所述两个待对比的图像；

两个图像各自的像素均值计算公式为：

其中，μ_x为图像x的像素均值，μ_y为图像y的像素均值；x_i,j为图像x的n²级灰度图像中，第i行第j列的像素值；y_i,j为图像y的n²级灰度图像中，第i行第j列的像素值；

两个图像各自的像素标准差计算公式为：

其中，为图像x的像素标准差，为图像y的像素标准差；

两个图像之间的像素均方差MSE的计算公式为：

两个图像之间的协方差σ_xy计算公式为：

在本发明所述方法的一种优选实施例中，根据下述公式计算所述两个图像的亮度比较函数，对比度比较函数，结构比较函数、和峰值信噪比PSNR值，其中x，y分别代表所述两个待对比的图像；

两个图像的亮度比较函数l(x,y)的计算公式为：

两个图像的对比度比较函数c(x,y)的计算公式为：

两个图像的结构比较函数s(x,y)的计算公式为：

两个图像的PSNR值的计算公式为：

其中，所述C₁ C₂ C₃是为了避免分母为零而设的相对小的常数；a_max＝2^K-1，K是表示一个像素点用的二进制位数，L为像素的动态范围，K₁,K₂为常数，K₁＜＜1,K₂＜＜1。

在本发明所述方法的一种优选实施例中，该方法进一步包括：

利用滑动窗将所述待对比的图像分块，令分块总数为M，采用高斯加权计算每一窗口的均值、方差以及协方差，然后计算对应块的结构相似性，最后将两个图像的各个块的结构相似性的平均值作为两图像的结构相似性。

在本发明所述方法的一种优选实施例中，所述n＝8。

一种图像相似性的度量装置，包括：

图像分类模块，用于提取待对比图像的边界，确定图像边界的相似性，选出边界相同或边界在指定范围内相似的待对比图像。

相似性计算模块，用于针对所选出的待对比图像，采用结构相似性和感知哈希算法计算所述图像之间的相似性。

与现有技术相比，本发明针对待对比的图像，先提取待对比图像的边界，确定图像边界的相似性，选出边界相同或边界在指定范围内相似的待对比图像；这一步骤相当于将图像进行了分类，在面对大量图像的相似性比较时，采用这一步骤可以将那些明显不相似的图像对排除掉，筛选出相似性较高的图像对，然后再针对选出的待对比图像，利用峰值信噪比和结构相似性计算所述图像之间的相似性。本发明最大限度地利用了图像信息、边界信息、结构信息等，其中虽然增加了图像分类步骤，看似增加了计算量，但由于首先对图像进行分类，反而减小了需要计算相似性的图片数量，因此在整体上降低了计算量。同时，本发明又利用峰值信噪比和结构相似性挖掘图像结构、对比信息后计算所述图像之间的相似性，提高了图像相似性的度量精度。

附图说明

图1为本发明一种实施例中所述图像相似性的度量方法的流程图；

图2为本发明一种实施例中进行图像分类的流程图；

图3为本发明一种实施例中针对所选出的待对比图像，采用结构相似性和感知哈希算法计算所述图像之间的相似性的流程图；

图4为本发明一种实施例中所述图像相似性的度量装置的组成示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明一种实施例中所述图像相似性的度量方法的流程图。参见图1，本发明所述方法主要分为两大步骤，即步骤10和步骤20。

步骤10、提取待对比图像的边界，确定图像边界的相似性，选出边界相同或边界在指定范围内相似的待对比图像。

本步骤10相当于将待对比的图像(即图像对)进行了分类，只选出边界相同或边界在指定范围内相似的图像对来执行下一步骤20，而其它图像对则不必再执行下一步骤20。

步骤20、针对所选出的待对比图像，采用结构相似性(SSIM)和感知哈希算法(P-Hash)计算所述图像之间的相似性。

本步骤20具体是结合SSIM和P-Hash算法计算图像相似性，具体是利用PSNR和SSIM挖掘图像结构、对比等信息最后计算相似性。

本发明上述步骤10和步骤20的优点在于最大限度的利用图像信息，边界信息、结构信息等，看似增加了计算量，但由于首先对图像进行分类，反而减小了需要计算相似性的图片数量。

图2为本发明一种实施例中进行图像分类的流程图；即所述步骤10的一种具体执行流程图。参见图2，在一种优选实施例中，所述步骤10具体包括：

步骤101、边缘检测：对待对比图像的图像边缘进行边缘检测，例如具体可以是利用Canny边缘检测算法进行边缘检测，提取图像边界，并得到边界灰度图；所述灰度图只有黑白两种色彩。

所述对图像边缘进行边缘检测具体包括：利用Canny边缘检测器进行边缘检测。所述Canny边缘检测器基于一个多阶边缘算子的边缘检测算法，Canny边缘检测器使用一个基于高斯模型派生的检测模型，因为未处理图像可能含有噪声，所以开始在原始图像上应用一个高斯滤波器，其输出结果是一个轻度平滑的图像，从而可以不至于被单个噪声像素干扰全局重要参数。

步骤102、图像划分：根据图像大小将图像划分为网络结构；原始图像大的话，划分的网格数就多，原则上图像的网格划分得越精细越好。

步骤103、获取灰度值：取得所述图像中每一个网格的灰度值，即0或1，得到边界灰度图的指纹字符串；因为图像的网格划分得很精细，带有边界的网格灰度值为1，没有边界的网格灰度值为0。

步骤104、边界相似性度量：统计每两个待对比的图像的指纹字符串中，所述网格灰度值不相同的数据位数；如果不相同的数据位数与指纹字符串中的总数据位数的比值低于指定比值(例如低于1/10)，则判定待对比的两张图像相似，对该两张图像执行步骤20；如果不相同的数据位数与指纹字符串中的总数据位数的比值等于或高于所述指定比值(如等于或高于1/10)，则判定待对比的两张图像是不同的图像，对该两张图像不执行步骤20。

图3为本发明一种实施例中针对所选出的待对比图像，采用结构相似性和感知哈希算法计算所述图像之间的相似性的流程图；即步骤20的一种具体执行流程。参见图3，所述步骤20具体包括：

步骤201、缩小尺寸：将所选出的待对比图像缩小到n×n的尺寸，总共n²个像素。这一步的作用是去除图像的细节，只保留结构/明暗等基本信息，摒弃不同尺寸/比例带来的图像差异。

在本发明的一种优选实施例中，所述n＝8，当然所述n也可以取其它数值。下面在举例的实施例中，取n＝8来举例说明。例如本步骤201中，将所选出的待对比图像缩小到8×8的尺寸，总共64个像素。

步骤202、简化色彩：将所述缩小后的图像转为n²级灰度，即所有像素点总共只有n²种颜色。例如n为8的话，将所述缩小后的图像转为64级灰度；即所有像素点总共只有64种颜色。

步骤203、根据所述两个待对比图像的n²级灰度，计算两个图像各自的像素均值和标准差，以及计算两个图像之间的像素均方差和协方差。

步骤204、根据所述两个图像各自的均值和标准差，以及计算两个图像之间的均方差和协方差，计算所述两个图像的亮度比较函数，对比度比较函数，结构比较函数、和峰值信噪比PSNR值。

步骤205、计算相似度：根据以下公式计算所述两个待对比图像之间的相似性SSIM(x,y)：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ·[PSNR]^λ

其中，所述x,y分别代表所述两个待对比的图像，l(x,y)为所述两个图像的亮度比较函数，α为l(x,y)的权值；c(x,y)为所述两个图像的对比度比较函数，β为c(x,y)的权值；s(x,y)为所述两个图像的结构比较函数，γ为s(x,y)的权值；PSNR为峰值信噪比PSNR值，λ为PSNR的权值；α,β,γ,λ＞0。

所述SSIM(x,y)的取值范围[0,1]，值越大，表示所述两个图像的相似性越大。在进一步的优选实施例中，可以利用滑动窗将所述待对比的图像分块，令分块总数为M，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差以及协方差，然后计算对应块的结构相似性SSIM(x,y)，最后将平均值作为两图像的结构相似性，即平均结构相似性MSSIM(x,y)。

进一步的，在所述步骤203中，根据下述公式计算所述两个图像各自的像素均值和标准差，以及计算两个图像之间的像素均方差和协方差，其中x,y分别代表所述两个待对比的图像；

两个图像各自的像素均值计算公式为：

如果n＝8则该公式为：

其中，μ_x为图像x的像素均值，μ_y为图像y的像素均值；x_i,j为图像x的n²级灰度图像中，第i行第j列的像素值；y_i,j为图像y的n²级灰度图像中，第i行第j列的像素值；

两个图像各自的像素标准差计算公式为：

如果n＝8则该公式为：

其中，为图像x的像素标准差，为图像y的像素标准差；

两个图像之间的像素均方差MSE的计算公式为：

如果n＝8则该公式为：

两个图像之间的协方差σ_xy计算公式为：

如果n＝8则该公式为：

进一步的，在所述步骤204中，根据下述公式计算所述两个图像的亮度比较函数，对比度比较函数，结构比较函数、和峰值信噪比PSNR值，其中x,y分别代表所述两个待对比的图像；

两个图像的亮度比较函数l(x,y)的计算公式为：

两个图像的对比度比较函数c(x,y)的计算公式为：

两个图像的结构比较函数s(x,y)的计算公式为：

两个图像的PSNR值的计算公式为：

其中，所述C₁ C₂ C₃是为了避免分母为零而设的相对小的常数；a_max＝2^K-1，K是表示一个像素点用的二进制位数，L为像素的动态范围(若是8位灰度图像则L＝255)，K₁,K₂为常数，K₁＜＜1,K₂＜＜1；在一种优选实施例中，这里取K₁＝0.01,K₂＝0.03,L＝255。

本发明所述的图像相似性的度量方法的特点在于：

(1)图像分类：在进行相似性计算之前，首先进行图像分类。一方面面对大量图像相似性比较时，尽可能将图像分类可以减小计算量，同时避免边界不同但统计信息相同时，给相似性计算带来的不便。

(2)分类方法：与传统的基于图像内容的分类方法不同，本方案提出了基于图像边界的分类方法。分类方法充分利用边界提取后精细划分的边界灰度图的布尔特性，简化了计算。

(3)相似性参数计算方法：P-Hash方法框架下，使用压缩后的图像的亮度比较函数，对比度比较函数，结构比较函数、PSNR值进行相似性参数计算。

如上所述，本发明是一种基于SSIM和P-Hash算法的图像相似性的度量方法。本发明首先使用图像边界对图像进行简单的分类筛选，是边界相似或相同的图像才进行步骤20所述的相似性计算，并充分利用边界的黑白对照，简化了图像色彩处理；然后利用PSNR和SSIM挖掘图像结构、对比等信息最后计算相似性，基于P-Hash方法框架，充分利用图像亮度、对比度、结构、整体差异，进行相似性计算。所述P-Hash算法的作用是对每张图像生成一个指纹(fingerprint)字符串，然后比较不同图像的指纹。结果越接近，就说明图像越相似。

本发明最大限度地利用了图像信息、边界信息、结构信息等，其中虽然增加了图像分类步骤，看似增加了计算量，但由于首先对图像进行分类，反而减小了需要计算相似性的图片数量，因此在整体上降低了计算量。同时，本发明又利用峰值信噪比和结构相似性挖掘图像结构、对比信息后计算所述图像之间的相似性，提高了图像相似性的度量精度。

与上述方法对应的，本发明还公开了一种图像相似性的度量装置，图4为本发明一种实施例中所述图像相似性的度量装置的组成示意图，参见图4，改装置包括：

图像分类模块，用于执行上述步骤10，即用于提取待对比图像的边界，确定图像边界的相似性，选出边界相同或边界在指定范围内相似的待对比图像。

相似性计算模块，用于执行上述步骤20，即用于针对所选出的待对比图像，采用结构相似性和感知哈希算法计算所述图像之间的相似性。

至于图像分类模块的具体执行过程请参见上述步骤10的描述。

至于相似性计算模块的具体执行过程请参见上述步骤20的描述。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点，或者也可以分布到多个终端或网络节点上。

另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。

另外，本发明所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种图像相似性的度量方法，其特征在于，包括：

A、提取待对比图像的边界，确定图像边界的相似性，选出边界相同或边界在指定范围内相似的待对比图像；

B、针对所选出的待对比图像，采用结构相似性和感知哈希算法计算所述图像之间的相似性。

2.根据权利要求1所述的方法，其特征在于，所述步骤A具体包括：

对待对比图像的图像边缘进行边缘检测，提取图像边界，并得到边界灰度图；

根据图像大小将图像划分为网络结构；

取得所述图像中每一个网格的灰度值，得到边界灰度图的指纹字符串；

统计每两个待对比的图像的指纹字符串中，所述网格灰度值不相同的数据位数；如果不相同的数据位数与指纹字符串中的总数据位数的比值低于指定比值，则判定待对比的两张图像相似，对该两张图像执行步骤B；如果不相同的数据位数与指纹字符串中的总数据位数的比值等于或高于所述指定比值，则判定待对比的两张图像是不同的图像，对该两张图像不执行步骤B。

3.根据权利要求2所述的方法，其特征在于，所述对图像边缘进行边缘检测具体包括：利用Canny边缘检测器进行边缘检测。

4.根据权利要求1所述的方法，其特征在于，所述步骤B具体包括：

将所选出的待对比图像缩小到n×n的尺寸；

将所述缩小后的图像转为n²级灰度；

根据所述两个待对比图像的n²级灰度，计算两个图像各自的像素均值和标准差，以及计算两个图像之间的像素均方差和协方差；

根据所述两个图像各自的均值和标准差，以及计算两个图像之间的均方差和协方差，计算所述两个图像的亮度比较函数，对比度比较函数，结构比较函数、和峰值信噪比PSNR值；

根据以下公式计算所述两个待对比图像之间的相似性SSIM(x,y)：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ·[PSNR]^λ

其中，所述x，y分别代表所述两个待对比的图像，l(x,y)为所述两个图像的亮度比较函数，α为l(x,y)的权值；c(x,y)为所述两个图像的对比度比较函数，β为c(x,y)的权值；s(x,y)为所述两个图像的结构比较函数，γ为s(x,y)的权值；PSNR为峰值信噪比PSNR值，λ为PSNR的权值；α,β,γ,λ＞0。

5.根据权利要求4所述的方法，其特征在于，根据下述公式计算所述两个图像各自的像素均值和标准差，以及计算两个图像之间的像素均方差和协方差，其中x，y分别代表所述两个待对比的图像；

两个图像各自的像素均值计算公式为：

其中，μ_x为图像x的像素均值，μ_y为图像y的像素均值；x_i,j为图像x的n²级灰度图像中，第i行第j列的像素值；y_i,j为图像y的n²级灰度图像中，第i行第j列的像素值；

两个图像各自的像素标准差计算公式为：

其中，为图像x的像素标准差，为图像y的像素标准差；

两个图像之间的像素均方差MSE的计算公式为：

两个图像之间的协方差σ_xy计算公式为：

6.根据权利要求4所述的方法，其特征在于，根据下述公式计算所述两个图像的亮度比较函数，对比度比较函数，结构比较函数、和峰值信噪比PSNR值，其中x，y分别代表所述两个待对比的图像；

两个图像的亮度比较函数l(x,y)的计算公式为：

两个图像的对比度比较函数c(x,y)的计算公式为：

两个图像的结构比较函数s(x,y)的计算公式为：

两个图像的PSNR值的计算公式为：

其中，所述C₁C₂C₃是为了避免分母为零而设的相对小的常数；a_max＝2^K-1，K是表示一个像素点用的二进制位数，L为像素的动态范围，K₁,K₂为常数，K₁＜＜1,K₂＜＜1。

7.根据权利要求4所述的方法，其特征在于，该方法进一步包括：

利用滑动窗将所述待对比的图像分块，令分块总数为M，采用高斯加权计算每一窗口的均值、方差以及协方差，然后计算对应块的结构相似性，最后将两个图像的各个块的结构相似性的平均值作为两图像的结构相似性。

8.根据权利要求4-7任一项所述的方法，其特征在于，所述n＝8。

9.一种图像相似性的度量装置，其特征在于，包括：

图像分类模块，用于提取待对比图像的边界，确定图像边界的相似性，选出边界相同或边界在指定范围内相似的待对比图像。

相似性计算模块，用于针对所选出的待对比图像，采用结构相似性和感知哈希算法计算所述图像之间的相似性。