CN108805214B - 一种基于模糊加权直方图的相似图像匹配方法和系统 - Google Patents

Abstract

本发明涉及计算机图像检索领域，提出了一种基于模糊加权直方图的相似图像匹配方法，包括以下步骤：S1、分别对查询图像和待检索图像进行计算处理，获取查询图像的模糊加权特征直方图和各个待检索图像的模糊加权特征直方图；S2、计算查询图像与各个待检索图像的加权特征直方图之间的特征相似度值，得到特征相似度值集合，并按照特征相似度值进行正向排序，建立相似图像索引表；S3、根据相似匹配图像的显示数量，从相似图像索引表检索出满足条件的相似匹配图像并进行显示。本发明提高了相似图像匹配的准确性，可以广泛应用于图像检索领域。

Description

一种基于模糊加权直方图的相似图像匹配方法和系统

技术领域

本发明涉及计算机图像检索领域，特别涉及一种基于模糊加权直方图的相似图像匹配系统及方法。

背景技术

相似图像匹配是根据给定的查询图像，能够在图像数据库中匹配出与所查询图像在内容语义上相似的图像，这是计算机视觉领域中关于图像检索的一个经典问题。随着互联网和图像处理技术的快速发展，使得相似图像匹配系统的实际应用价值日益升高。

图像的视觉特征表述方式是对相似图像进行匹配，并能够准确返回结果的关键技术，通过提高视觉特征的表示性能，能够更好地获取图像内容的语义解释，使得图像之间具备较好的区分性特征。图像匹配方法通过计算图像的视觉表述特征之间的相似度，可以准确地返回所查询图像的匹配结果。在相似图像匹配方法中，视觉特征的表述与相似度计算方式主要包含逐一像素点法和统计基本特征法。其中，逐一像素点法是对目标图像与原图像的所有像素点逐一进行视觉特征的差异性比较，得到目标图像与原图像的相似度。这种方法的计算量比较大，同时，利用该方法对于经过角度旋转、尺寸缩放等图像处理方法得到的图像进行相似度计算时，可能会产生较大的匹配误差。另一类，统计基本特征法是通过分别提取目标图像与原图像的视觉特征，然后利用统计法将得到的目标图像与原图像的视觉特征进行统计，最后对两者的统计值进行比较计算目标图像与原图像的相似度。这种方法采用了基于统计法的视觉特征，利用统计值可以反映出图像的全局特性，但是对于图像局部特性，这种方法的判别效果不理想。因此，如何有效的表述图像视觉特征，提高相似图像匹配的准确性是图像检索领域一直以来重点研究的核心问题。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于模糊加权直方图的相似图像匹配方法，以提高相似图像的匹配准确性。

为了解决上述技术问题，本发明采用的技术方案为：一种基于模糊加权直方图的相似图像匹配方法，包括以下步骤：

S1、分别对查询图像O和待检索图像{Q₁，Q₂，……Q_N}进行计算处理，获取查询图像O的模糊加权特征直方图O＝{o₁,o₂,…,o_m}和各个待检索图像Q_j的模糊加权特征直方图

j∈N，N表示待检索图像的数量，m表示直方图的维数；

S2、计算查询图像O与各个待检索图像Q_j的加权特征直方图之间的特征相似度值D_j，得到特征相似度值集合D＝{D_j|j∈N}，并按照特征相似度值进行正向排序，建立相似图像索引表；

S3、根据相似匹配图像的显示数量K，从相似图像索引表检索出满足条件的相似匹配图像并进行显示；

所述步骤S1中，模糊加权特征直方图的获取方法包括如下步骤：

S101、提取图像的颜色特征和纹理特征，得到图像的基本视觉特征向量集合V；

S102、提取图像的局部特征W_i，得到图像的局部特征矢量W；

S103、对图像的基本视觉特征向量集合V进行模糊控制处理，得到图像的视觉模糊特征向量集合FV，FV＝{FV_i|i∈n}；

S104、将图像的局部特征与相对应的图像视觉模糊特征向量进行特征融合，得到融合特征向量FW；采用直方图统计法统计融合特征向量FW中的融合特征FW_i，构建模糊加权特征直方图。

所述步骤S101具体为：提取图像颜色特征和纹理特征，得到图像的基本视觉特征向量集合V＝{V_i|i∈n}，V_i表示待图像中像素i的特征向量，n表示图像像素的数量；所述步骤S102具体为：计算图像在以像素i为圆心，r为半径的圆面积邻域Ω_i内的基本视觉特征的平均欧式距离作为图像在像素i下的局部特征W_i，进而得到图像的局部特征矢量W，其中，W＝{W_i|i∈n}。

所述步骤S101中，提取局部特征W_i时，半径r的计算公式为：

其中l表示图像的长度像素，k表示图像的宽度像素，ceil表示向上取整函数；

局部特征W_i的计算公式为：

其中d(V_j-V_i)表示邻域Ω_i内像素j和像素i的基本视觉特征之间的欧氏距离，num(Ω_i)表示邻域Ω_i所包含像素的数量。

所述步骤S104中，融合特征FW_i的计算公式为：FW_i＝FV_i·W_i。

所述步骤S2中，特征相似度的计算公式为

其中，

表示第j个待检索图像Q_j的模糊加权特征直方图中的第k个元素，o_k表示查询图像O的模糊加权特征直方图中对应的第k个元素。

本发明还提供了一种基于模糊加权直方图的相似图像匹配系统，包括：

图像处理模块：用于获得查询图像和待检索图像的模糊加权特征直方图；

相似匹配模块，用于计算查询图像和待检索图像的特征相似度值D_j，并按照特征相似度值由大到小正向排序，建立相似图像索引表；

显示设置模块：用于实时设置相似匹配图像的显示数量K，并通过相似图像索引表的索引顺序检索出特征相似度排前K位相似匹配图像并进行显示；

所述图像处理模块包括：

视觉特征单元：用于提取图像的颜色特征和纹理特征，得到图像的基本视觉特征向量集合V；

局部特征单元：用于提取图像的局部特征W_i，得到图像的局部特征矢量W；

模糊控制器单元：用于对图像的基本视觉特征向量集合V进行模糊控制处理，得到图像的视觉模糊特征向量集合FV，FV＝{FV_i|i∈n}；

特征融合单元：用于将图像的局部特征与相对应的图像视觉模糊特征向量进行特征融合，得到融合特征向量FW；采用直方图统计法统计融合特征向量FW中的融合特征FW_i，构建模糊加权特征直方图。

所述视觉特征单元具体用于：提取图像颜色特征和纹理特征，得到图像的基本视觉特征向量集合V＝{V_i|i∈n}，V_i表示图像中像素i的特征向量，n表示图像像素的数量；

局部特征单元具体用于在以各个像素为圆心、r为半径的圆面积邻域内提取图像局部特征W_i，得到局部特征矢量W＝{W_i|i∈n}。

所述局部特征单元提取图像的局部特征时，半径r的计算公式为：

其中l表示图像的长度像素，k表示图像的宽度像素，ceil表示向上取整函数；局部特征的计算公式为：

其中d(V_j-V_i)表示邻域Ω_i内像素j和像素i的基本视觉特征之间的欧氏距离，num(Ω_i)表示邻域Ω_i所包含像素的数量。

所述特征融合单元进行特征融合的计算公式为：FW_i＝FV_i·W_i。

所述相似匹配模块包括：相似度计算单元：用于计算查询图像和待检索图像的特征相似度值D_j，其计算公式为

其中，

表示第j个待检索图像Q_j的模糊加权特征直方图中的第k个元素，o_k表示查询图像O的模糊加权特征直方图中对应的第k个元素；正排索引单元：用于按照特征相似度值由大到小正向排序，建立相似图像索引表。

本发明与现有技术相比具有以下有益效果：本发明一方面采用模糊控制器对基本视觉特征向量进行模糊化处理，使得模糊化视觉特征向量具有较强的鲁棒性，从而提高视觉特征的表述能力；另一方面通过计算视觉特征的在区域内的平均欧式距离来提取图像局部特征，并且采用融合特征方法将局部特征和模糊化视觉特征进行特征融合后，利用交叉熵值来表征相似度，进行相似图像的匹配判别，不仅考虑了视觉特征的高效表述性能，同时采用圆面积邻域内特征差异权值描述图像的局部特征，有利于解决统计值不能有效反映图像局部特性的缺陷，提高相似图像匹配的准确性；在输出匹配图像时，能够根据实际图像匹配的要求，实时调整输出相似图像匹配结果中的匹配图像的数量，具有快速调节匹配结果的显示能力，操作灵活。本发明设计合理，适用于针对图像内容相似性判别的匹配图像的显示输出，有助于实现图像检索的智能化，提高相似图像匹配的准确性。

附图说明

图1为本发明实施例提出的基于模糊加权直方图的相似图像匹配方法的流程图；

图2为本发明实施例提出的基于模糊加权直方图的相似图像匹配方法中模糊加权特征直方图的获取流程图；

图3为本发明实施例提出的基于模糊加权直方图的相似图像匹配系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于模糊加权直方图的相似图像匹配方法，包括以下步骤：

S1、分别对查询图像O和待检索图像{Q₁，Q₂，……Q_N}进行计算处理，获取查询图像O的模糊加权特征直方图O＝{o₁,o₂,…,o_m}和各个待检索图像Q_j的模糊加权特征直方图

j∈N，N表示待检索图像的数量，m表示直方图的维数。

S2、计算查询图像O与各个待检索图像Q_j的加权特征直方图之间的特征相似度值D_j，得到特征相似度值集合D＝{D_j|j∈N}，并按照特征相似度值进行正向排序，建立相似图像索引表。

其中，特征相似度的计算公式为：

式(1)中，

表示第j个待检索图像Q_j的模糊加权特征直方图中的第k个元素，o_k表示查询图像O的模糊加权特征直方图中对应的第k个元素。通过交叉熵值计算法获得查询图像O和待检索图像Q的相似度，可以提高图像的相似匹配准确率。

S3、根据相似匹配图像的显示数量K，从相似图像索引表检索出满足条件的相似匹配图像并进行显示。

其中，查询图像O和待检索图像{Q₁，Q₂，……Q_N}的模糊加权特征直方图的获取方法相同，如图2所示，其包括如下步骤：

S101、提取图像颜色特征和纹理特征，得到图像的基本视觉特征向量集合V＝{V_i|i∈n}，V_i表示待图像中像素i的特征向量，n表示图像像素的数量；其中，查询图像O和待检索图像的基本视觉特征向量集合分别表示为V^O＝{V_i ^O|i∈n}和V^Q＝{V_i ^Q|i∈n}。

S102、计算图像在以像素i为圆心，r为半径的圆面积邻域Ω_i内的基本视觉特征的平均欧式距离作为图像在像素i下的局部特征W_i，进而得到图像的局部特征矢量W＝{W_i|i∈n}。其中，查询图像O和待检索图像的局部特征矢量分别为W_O＝{W_i ^o|i∈n}和W_Q＝{W_i ^Q|i∈n}。

其中，提取局部特征W_i时，邻域Ω_i的半径r的计算可以公式为：

其中l表示图像的长度像素，k表示图像的宽度像素，ceil()表示向上取整函数，取值为大于或等于括号内的最小整数，将r的值作为提取图像局部特征的圆面积半径的大小。

局部特征的计算公式为：

其中d(V_j-V_i)表示邻域Ω_i内像素j和像素i的基本视觉特征之间的欧氏距离，num(Ω_i)表示邻域Ω_i所包含像素的数量。

S103、对图像的基本视觉特征向量集合V进行模糊控制处理，得到图像的视觉模糊特征向量集合FV，FV＝{FV_i|i∈n}；其中，查询图像O和待检索图像的视觉模糊特征向量集合分别为FV^O＝{FV_i ^O|i∈n}和FV^Q＝{FV_i ^Q|i∈n}。

S104、将图像的局部特征与相对应的图像视觉模糊特征向量进行特征融合，得到融合特征向量FW；采用直方图统计法统计融合特征向量FW的融合特征FW_i，构建模糊加权特征直方图。

其中，特征融合的具体方法为：计算查询图像O的特征差异权值矢量W_O＝{W_i ^o|i∈n}与其视觉模糊特征向量FV^O＝{FV_i ^O|i∈n}的内积，得到查询图像O的融合特征向量FW^O＝{FW_i ^O|i∈n}；计算待检索图像Q的特征差异权值矢量W_Q＝{W_i ^Q|i∈n}与其视觉模糊特征向量FV^Q＝{FV_i ^Q|i∈n}的内积，得到待检索图像Q的融合特征向量FW^Q＝{FW_i ^Q|i∈n}。其中，融合特征FW_i的计算公式为：

FW_i＝FV_i·W_i(4)

其中，采用直方图统计法分别统计查询图像O的融合特征向量FW^O＝{FW_i ^O|i∈n}和待检索图像Q的融合特征向量FW^Q＝{FW_i ^Q|i∈n}，得到查询图像O和待检索图像Q的模糊加权特征直方图O＝{o₁,o₂,…,o_m}和Q＝{q₁,q₂,…,q_m}，其中m为直方图的维数。

此外，如图3所示，本发明实施例还提供了一种基于模糊加权直方图的相似图像匹配系统，包括：

图像处理模块1：用于获得查询图像和待检索图像的模糊加权特征直方图；

相似匹配模块2，用于计算查询图像和待检索图像的特征相似度值D_j，并按照特征相似度值由大到小正向排序，建立相似图像索引表；

显示设置模块3：用于实时设置相似匹配图像的显示数量K，并通过相似图像索引表的索引顺序检索出特征相似度排前K位相似匹配图像并进行显示；其中，如图3所示，所述图像处理模块1具体包括：视觉特征单元101，局部特征单元102，模糊控制器单元103和特征融合单元104，其中视觉特征单元101与模糊控制器单元103连接，局部特征单元103和模糊控制器单元103与特征融合单元104连接，特征融合单元104输出模糊加权特征直方图到所述相似匹配模块2。

具体地，视觉特征单元101用于提取图像颜色特征和纹理特征，得到图像的基本视觉特征向量集合V＝{V_i|i∈n}，V_i表示图像中像素i的特征向量，n表示图像像素的数量；局部特征单元102用于在以各个像素为圆心、r为半径的圆面积邻域内提取图像局部特征W_i，得到局部特征矢量W＝{W_i|i∈n}。用于提取图像的局部特征W_i，得到图像的局部特征矢量W；模糊控制器单元103用于对图像的基本视觉特征向量集合V进行模糊控制处理，得到图像的视觉模糊特征向量集合FV，FV＝{FV_i|i∈n}；特征融合单元104用于将图像的局部特征与相对应的图像视觉模糊特征向量进行特征融合，得到融合特征向量FW；采用直方图统计法统计融合特征FW_i，构建模糊加权特征直方图。

具体地，所述局部特征单元103提取图像的局部特征时，半径r的计算公式为：

其中l表示图像的长度像素，k表示图像的宽度像素，ceil表示向上取整函数；局部特征的计算公式为：

其中d(V_j-V_i)表示邻域Ω_i内像素j和像素i的基本视觉特征之间的欧氏距离，num(Ω_i)表示邻域Ω_i所包含像素的数量。

具体地，所述特征融合单元104进行特征融合的计算公式为：FW_i＝FV_i·W_i。

具体地，所述相似匹配模块2包括相似度计算单元201和正排索引单元202。其中，相似度计算单元201用于计算查询图像和待检索图像的特征相似度值D_j，其计算公式为

其中，

表示第j个待检索图像Q_j的模糊加权特征直方图中的第k个元素，o_k表示查询图像O的模糊加权特征直方图中对应的第k个元素；正排索引单元202用于按照特征相似度值由大到小正向排序，建立相似图像索引表。

具体地，所述显示设置模块3包括显示数量控制单元301和图像匹配单元302，其中，显示数量控制模块301用于设置所述图像数据库中与查询图像O相似的匹配图像数量，该数量就是每次显示结果中相似匹配待检索图像Q的输出数量。图像匹配模块302将正排索引模块202建立的相似图像索引表作为输入，按照索引顺序由大到小依次输出相似匹配图像，输出相似匹配图像的数量为显示数量控制模块301中设置的数量。其中，根据实际图像匹配的要求自行设置匹配图像的显示数量K时，需满足条件K≤N，然后按照相似图像索引表和相似匹配图像数量，依次检索出满足条件的相似匹配图像。

此外，本发明的一种基于模糊加权直方图的相似图像匹配系统，还包括图像存储单元4，其中，图像存储单元4包括目标图像单元401和图像数据库402，目标图像单元401存储给定的查询图像O，图像数据库402存储与所查询图像进行相似匹配判别的待检索图像Q，是该系统的图像检索范围。

本发明一方面采用模糊控制器对基本视觉特征向量进行模糊化处理，使得模糊化视觉特征向量具有较强的鲁棒性，从而提高视觉特征的表述能力；另一方面通过计算视觉特征的在区域内的平均欧式距离来提取图像局部特征，并且采用融合特征方法将局部特征和模糊化视觉特征进行特征融合后，利用交叉熵值来表征相似度，进行相似图像的匹配判别，不仅考虑了视觉特征的高效表述性能，同时采用圆面积邻域内特征差异权值描述图像的局部特征，有利于解决统计值不能有效反映图像局部特性的缺陷，提高相似图像匹配的准确性；在输出匹配图像时，能够根据实际图像匹配的要求，实时调整输出相似图像匹配结果中的匹配图像的数量，具有快速调节匹配结果的显示能力，操作灵活。本发明设计合理，适用于针对图像内容相似性判别的匹配图像的显示输出，有助于实现图像检索的智能化，提高相似图像匹配的准确性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于模糊加权直方图的相似图像匹配方法，其特征在于，包括以下步骤：

S1、分别对查询图像O和待检索图像{Q₁，Q₂，……Q_N}进行计算处理，获取查询图像O的模糊加权特征直方图O＝{o₁,o₂,…,o_m}和各个待检索图像Q_j的模糊加权特征直方图

j∈N，N表示待检索图像的数量，m表示直方图的维数；

S2、计算查询图像O与各个待检索图像Q_j的加权特征直方图之间的特征相似度值D_j，得到特征相似度值集合D＝{D_j|j∈N}，并按照特征相似度值进行正向排序，建立相似图像索引表；

S3、根据相似匹配图像的显示数量K，从相似图像索引表检索出满足条件的相似匹配图像并进行显示；

所述步骤S1中，模糊加权特征直方图的获取方法包括如下步骤：

S101、提取图像的颜色特征和纹理特征，得到图像的基本视觉特征向量集合V，V＝{V_i|i∈n}，V_i表示图像中像素i的特征向量，n表示图像像素的数量；

S102、计算图像在以像素i为圆心，r为半径的圆面积邻域Ω_i内的基本视觉特征的平均欧式距离作为图像在像素i下的局部特征W_i，进而得到图像的局部特征矢量W，其中，W＝{W_i|i∈n}；提取局部特征W_i时，半径r的计算公式为：

其中l表示图像的长度像素，k表示图像的宽度像素，ceil表示向上取整函数；

局部特征W_i的计算公式为：

其中d(V_j-V_i)表示邻域Ω_i内像素j和像素i的基本视觉特征之间的欧氏距离，V_i表示图像中像素i的特征向量，num(Ω_i)表示邻域Ω_i所包含像素的数量；

S103、对图像的基本视觉特征向量集合V进行模糊控制处理，得到图像的视觉模糊特征向量集合FV，FV＝{FV_i|i∈n}；

S104、将图像的局部特征与相对应的图像视觉模糊特征向量进行特征融合，得到融合特征向量FW；采用直方图统计法统计融合特征向量FW中的融合特征FW_i，构建模糊加权特征直方图。

2.根据权利要求1所述的一种基于模糊加权直方图的相似图像匹配方法，其特征在于，所述步骤S104中，融合特征FW_i的计算公式为：FW_i＝FV_i·W_i。

3.根据权利要求1所述的一种基于模糊加权直方图的相似图像匹配方法，其特征在于，所述步骤S2中，特征相似度的计算公式为

其中，

表示第j个待检索图像Q_j的模糊加权特征直方图中的第k个元素，o_k表示查询图像O的模糊加权特征直方图中对应的第k个元素。

4.一种基于模糊加权直方图的相似图像匹配系统，其特征在于，包括：

图像处理模块：用于获得查询图像和待检索图像的模糊加权特征直方图；

相似匹配模块，用于计算查询图像和待检索图像的特征相似度值D_j，并按照特征相似度值由大到小正向排序，建立相似图像索引表；

显示设置模块：用于实时设置相似匹配图像的显示数量K，并通过相似图像索引表的索引顺序检索出特征相似度排前K位相似匹配图像并进行显示；

所述图像处理模块包括：

视觉特征单元：用于提取图像的颜色特征和纹理特征，得到图像的基本视觉特征向量集合V＝{V_i|i∈n}，V_i表示图像中像素i的特征向量，n表示图像像素的数量；

局部特征单元：用于在以各个像素为圆心、r为半径的圆面积邻域内提取图像局部特征W_i，得到局部特征矢量W＝{W_i|i∈n}；

所述局部特征单元提取图像的局部特征时，半径r的计算公式为：

其中l表示图像的长度像素，k表示图像的宽度像素，ceil表示向上取整函数；

局部特征的计算公式为：

其中d(V_j-V_i)表示邻域Ω_i内像素j和像素i的基本视觉特征之间的欧氏距离，num(Ω_i)表示邻域Ω_i所包含像素的数量；

模糊控制器单元：用于对图像的基本视觉特征向量集合V进行模糊控制处理，得到图像的视觉模糊特征向量集合FV，FV＝{FV_i|i∈n}；

特征融合单元：用于将图像的局部特征与相对应的图像视觉模糊特征向量进行特征融合，得到融合特征向量FW；采用直方图统计法统计融合特征向量FW中的融合特征FW_i，构建模糊加权特征直方图。

5.根据权利要求4所述的一种基于模糊加权直方图的相似图像匹配系统，其特征在于，所述特征融合单元进行特征融合的计算公式为：FW_i＝FV_i·W_i。

6.根据权利要求4所述的一种基于模糊加权直方图的相似图像匹配系统，其特征在于，所述相似匹配模块包括：

相似度计算单元：用于计算查询图像和待检索图像的特征相似度值D_j，其计算公式为

其中，

表示第j个待检索图像Q_j的模糊加权特征直方图中的第k个元素，o_k表示查询图像O的模糊加权特征直方图中对应的第k个元素；

正排索引单元：用于按照特征相似度值由大到小正向排序，建立相似图像索引表。

Images