CN108875828A - 一种相似图像的快速匹配方法和系统 - Google Patents

Abstract

本发明涉及计算机图像检索领域，提出了一种相似图像的快速匹配方法和系统，该方法包括后台预处理的步骤和前台匹配的步骤，所述后台预处理的步骤具体包括：S101、提取图像数据库中的各个待检索图像的视觉特征；S102、为图像数据库中的各个待检索图像映射M个文本特征标注；S103、建立以文本标注为索引单位的联合排序索引表F _i ，形成图像排序；所述前台匹配的步骤具体包括：S201、接收并提取查询图像O的视觉特征；S202、确定查询图像的文本特征标注；S203、将查询图像的文本特征所对应的联合排序索引表中的图像作为查询图像O的备选匹配图像库；根据匹配数量，输出匹配结果。本发明大大缩小了图像匹配的搜索范围，提高了图像检索的速度。

Description

一种相似图像的快速匹配方法和系统

技术领域

本发明涉及计算机图像检索领域，特别涉及一种相似图像的快速匹配方法和系统。

背景技术

图像匹配系统根据判断图像内容所包含信息的相近似程度，能够在图像数据库中匹配出与所查询图像内容信息相似的图像，实现图像匹配的结果输出。图像匹配系统可以用来查找同源图片或者目标对象，随着互联网和图像处理技术的快速发展，使得图像匹配系统的实际应用价值日益升高。

图像的匹配特征主要包括文本特征和视觉特征两种。其中，文本特征需要预先进行人工标注，利用文本特征实现图像匹配，可以降低图像相似性的判断难度，但是对于数据量较大的图像匹配系统，人工标注的预处理过程是一个难以完成的任务。视觉特征是图像的颜色、纹理、形状等具有直观意义的基本特性，与人类视觉的明度知觉、颜色知觉、形状知觉等直观感知所获取的信息相对应，视觉特征能够直观地表述图像的内容信息，但是与文本特征相比，视觉特征的相似度计算过程所需较长。面对当今互联网上数以千亿计的图像资源，如何快速而有效地实现图像匹配成为图像检索领域面临的一种重要挑战。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种相似图像的快速匹配方法，通过建立视觉特征与文本特征的索引关系，从而提高图像匹配系统的搜索速度。

为了解决上述技术问题，本发明采用的技术方案为：一种相似图像的快速匹配方法，包括后台预处理的步骤和前台匹配的步骤，所述后台预处理的步骤具体包括：

S101、提取图像数据库中的各个待检索图像的视觉特征，得到各个待检索图像的视觉特征矢量V_Q；

S102、为图像数据库中的各个待检索图像映射M个文本特征标注，其中，M为大于等于3的正整数；统计文本标注集合T＝{T_i,i∈n}中各个文本特征T_i对应的所有待检索图像，作为以T_i为映射文本特征的备选文本匹配图像，其中，n表示文本标注集合T中的文本特征的数量；

S103、计算以文本特征T_i为映射的各个备选文本匹配图像的视觉特征矢量与该文本特征T_i的量化视觉特征矢量之间的标准化欧式距离，作为备选文本匹配图像与文本特征的相似度；并将相似度值由大到小的顺序，对以文本特征T_i为文本特征标注的所有备选文本匹配图像进行排序，建立联合排序索引表F_i，对文本特征集合T内的所有文本特征进行上述步骤，形成以文本标注为索引单位的图像排序。

所述前台匹配的步骤具体包括：

S201、接收并提取查询图像O的视觉特征，形成查询图像O的视觉特征矢量V_o；

S202、将查询图像的视觉特征矢量与文本标注集合中的各个文本特征进行对比，选取文本标注集合T＝{T_i,i∈n}中与所述查询图像的视觉特征矢量V_o的相对差值最小的文本特征T_o作为查询图像的文本特征标注；

S203、将文本特征T_o所对应的联合排序索引表F_o中的图像作为查询图像O的备选匹配图像库；根据匹配数量，输出匹配结果。

所述步骤S102中，所述映射M个文本特征标注的具体方法为：采用K均值聚类算法将待检索图像的视觉特征矢量V_Q聚成M个类，找到文本标注集合T＝{T_i,i∈n}中分别与所述M个类内各个像素的视觉特征矢量相对差值最小的M个文本特征，作为待检索图像的文本特征标注；其中，n表示文本标注集合中的文本特征的数量。

所述文本标注集合存储在文本标注数据库中，所述文本标注集合中的各个文本特征T_i用于存放对应的量化视觉特征矢量，所述步骤S102中，找到文本标注集合T＝{T_i,i∈n}中分别与所述M个类内各个像素的视觉特征矢量相对差值最小的M个文本特征的具体方法为：将每个类内的所有像素的视觉特征矢量与文本标注集合T＝{T_i,i∈n}中各个文本特征T_i的量化视觉特征矢量依次求差，将每个类内差值最小的文本特征提取出来，即可以得到与所述M个类一一对应的M个文本特征。

所述步骤S102中，M的取值为5。

本发明还提供了一种相似图像的快速匹配系统，包括：后台部件和前台部件，所述后台部件用于图像的预处理工作，其包括：

数据加载模块：提取图像数据库中的各个待检索图像的视觉特征，得到各个待检索图像的视觉特征矢量V_Q；

特征映射模块：用于为图像数据库中的各个待检索图像映射M个文本特征标注，其中，M为大于等于3的正整数；还用于统计文本标注集合中各个文本特征T_i对应的所有待检索图像，作为以T_i为映射文本特征的备选文本匹配图像；

联合索引模块：用于计算各个文本特征T_i的备选文本匹配图像的视觉特征矢量与该文本特征T_i的量化视觉特征矢量之间的标准化欧式距离，作为备选文本匹配图像与该文本特征的相似度；还用于将相似度值由大到小的顺序，对以文本特征T_i为文本特征标注的所有备选文本匹配图像进行排序，建立联合排序索引表F_i，形成以文本标注为索引单位的图像排序；

所述前台模块用于输入查询图像以及输出与查询图像匹配的图像，其包括：

输入接收模块：用于接收查询图像O，并提取查询图像O的视觉特征，形成查询图像O的视觉特征矢量V_o；还用于将查询图像的视觉特征矢量与文本标注集合中的各个文本特征进行对比，选取文本标注集合T＝{T_i,i∈n}中与所述查询图像的视觉特征矢量V_o的相对差值最小的文本特征T_o作为查询图像的文本特征标注；

查询匹配模块：用于向所述联合索引模块发出通信请求，选取文本特征T_o所对应的联合排序索引表F_o中记录的图像，将其作为查询图像O的备选匹配图像库；

输出匹配模块：用于根据匹配数量，从备选匹配图像库中选取相应数量的图像作为匹配图像输出匹配结果。

所述特征映射模块映射M个文本特征标注的具体方法为：采用K均值聚类算法将待检索图像的视觉特征矢量V_Q聚成M个类，找到文本标注集合T＝{T_i,i∈n}中分别与所述M个类内各个像素的视觉特征矢量相对差值最小的M个文本特征，作为待检索图像的文本特征标注；其中，n表示文本标注集合中的文本特征的数量。

所述的一种相似图像的快速匹配系统，还包括图像存储单元，所述图像存储单元包括图像数据库和文本标注数据库，所述图像数据库用于存储待检索图像，所述文本标注数据库用于存储文本标注集合，所述文本标注集合中的各个文本特征T_i用于存放对应的量化视觉特征矢量。

本发明与现有技术相比具有以下有益效果：

1、本发明采用后台离线预处理方式，对图像数据库中的待检索图像做数据预处理工作，与前台模块的实时查询操作相结合，可以提高图像匹配系统的搜索速度；

2、本发明采用视觉特征与文本特征生成的映射关系，建立文本特征与视觉特征的联合排序索引表，形成以文本标注为索引单位的图像排序，降低图像相似性的判断难度；

3、本发明能够直接从联合排序索引表中搜索相似匹配图像，既可以省略文本特征的人工标注环节，又可以简化图像匹配系统的搜索过程，进一步提高了图像匹配系统的搜索速度。本发明适用于面向大量图像数据，快速输出与待检索图像所匹配的图像。

附图说明

图1为本发明实施例提出的一种相似图像的快速匹配方法中后台预处理的流程示意图；

图2为本发明实施例提出的一种相似图像的快速匹配方法中前台匹配的流程示意图；

图3为本发明实施例提出的一种相似图像的快速匹配系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1～2所示，本发明实施例提供了一种相似图像的快速匹配方法，其包括后台预处理的步骤和前台匹配的步骤，如图1所示，所述后台预处理的步骤具体包括：

S101、提取图像数据库中的各个待检索图像的视觉特征，得到各个待检索图像的视觉特征矢量V_Q。

S102、为图像数据库中的各个待检索图像映射5个文本特征标注；统计文本标注集合T＝{T_i,i∈n}中各个文本特征T_i对应的所有待检索图像，作为以文本特征T_i为映射的所有备选文本匹配图像，其中，n表示文本标注集合T中的文本特征的数量。

其中，所述映射5个文本特征标注的具体方法为：采用K均值聚类算法将待检索图像的视觉特征矢量V_Q聚成5个类，找到文本标注集合T＝{T_i,i∈n}中分别与所述5个类内各个像素的视觉特征矢量相对差值最小的5个文本特征，作为待检索图像的文本特征标注；其中，n表示文本标注集合中的文本特征的数量。T_i是文本标注集合T中任意一个文本特征标注，存放该文本标注的量化视觉特征矢量。

具体地，所述文本标注集合T存储在文本标注数据库中，所述文本标注集合T中的各个文本特征T_i用于存放对应的量化视觉特征矢量，所述步骤S102中，找到文本标注集合T＝{T_i,i∈n}中分别与所述5个类内各个像素的视觉特征矢量相对差值最小的5个文本特征的具体方法为：将5个类中每个类内的所有像素的视觉特征矢量与文本标注集合T＝{T_i,i∈n}中各个文本特征T_i的量化视觉特征矢量依次求差，将每个类内差值最小的文本特征T₁ ^Q、T₂ ^Q、T₃ ^Q、T₄ ^Q和T₅ ^Q提取出来，即可以得到与所述5个类一一对应的5个文本特征。其中T₁ ^Q、T₂ ^Q、T₃ ^Q、T₄ ^Q和T₅ ^Q均包含于文本标注数据库102中存储的文本标注集合T。

此外，进行K均值聚类算法进行分类时，也可以将图像聚成3～4个类，或者聚成5个以上更多的类，具体设置为多少可以根据图像数据库中待检索图像的数量，特性进行选取，本实施例中，进行K均值聚类算法进行分类时优选聚为5类，可以得到较优的匹配速度和匹配效果。

S103、计算以文本特征T_i为映射的各个备选文本匹配图像的视觉特征矢量与该文本特征T_i的量化视觉特征矢量之间的标准化欧式距离，作为备选文本匹配图像与文本特征的相似度；并将相似度值由大到小的顺序，对以文本特征T_i为文本特征标注的所有备选文本匹配图像进行排序，建立联合排序索引表F_i，对文本特征集合T内的所有文本特征进行上述步骤，形成以文本标注为索引单位的图像排序。

其中，文本特征T_i的第l个备选文本匹配图像的视觉特征矢量与该文本特征T_i的量化视觉特征矢量之间的标准化欧式距离的计算公式为：

式(1)中，表示以T_i为文本特征标注的第l个备选文本匹配图像的视觉特征矢量，p表示视觉特征矢量的维数，其总数量为q，s_p表示第p维度的方差。

所述前台匹配的步骤具体包括：

S201、接收并提取查询图像O的视觉特征，形成查询图像O的视觉特征矢量V_o。

S202、将查询图像的视觉特征矢量与文本标注集合中的各个文本特征进行对比，选取文本标注集合T＝{T_i,i∈n}中与所述查询图像的视觉特征矢量V_o的相对差值最小的文本特征T_o作为查询图像的文本特征标注。

S203、将文本特征T_o所对应的联合排序索引表F_o中的图像作为查询图像O的备选匹配图像库；根据匹配数量，输出匹配结果。

本发明实施例中，通过后台预处理的步骤，可以给图像数据库中的待检索图像建立文本特征标注，并根据备选文本匹配图像的视觉特征矢量与该文本特征T_i的量化视觉特征矢量之间的标准化欧式距离的大小，建立以各个文本特征为索引的排序索引表，然后在查询时，只需要给查询图像映射文本特征T_o，即可以根据对应的排序索引表，快速找到以该文本特征标注的所有待检索图像，大大缩小了图像匹配的搜索范围，提高了检索速度。

如图3所示，本发明实施例还提供了一种相似图像的快速匹配系统，包括：后台部件1、前台部件2和图像存储单元3。

所述后台部件1采用离线预处理方式，对图像数据库中的待检索图像Q做数据预处理工作。其主要包括数据加载模块101，特征映射模块102，联合索引模块103，其中，数据加载模块101用于提取图像数据库中的各个待检索图像的视觉特征，得到各个待检索图像的视觉特征矢量V_Q；特征映射模块102用于为图像数据库中的各个待检索图像映射M个文本特征标注，其中，M为大于等于3的正整数；还用于统计文本标注集合中各个文本特征T_i对应的所有待检索图像，作为以T_i为映射文本特征的备选文本匹配图像；联合索引模块103：用于计算各个文本特征T_i的备选文本匹配图像的视觉特征矢量与该文本特征T_i的量化视觉特征矢量之间的标准化欧式距离，作为备选文本匹配图像与该文本特征的相似度；还用于将相似度值由大到小的顺序，对以文本特征T_i为文本特征标注的所有备选文本匹配图像进行排序，建立联合排序索引表F_i，形成以文本标注为索引单位的图像排序。

具体地，特征映射模块映射M个文本特征标注的具体方法为：采用K均值聚类算法将待检索图像的视觉特征矢量V_Q聚成M个类，找到文本标注集合T＝{T_i,i∈n}中分别与所述M个类内各个像素的视觉特征矢量相对差值最小的M个文本特征，作为待检索图像的文本特征标注；其中，n表示文本标注集合中的文本特征的数量。

所述前台部件2用于接收查询图像O，针对图像存储单元图像数据库中的图像，实时在线查询与图像O相似匹配的图像，并完成匹配结果的输出。其主要包括输入接收模块201，查询匹配模块202和输出匹配模块203；其中，输入接收模块201用于接收查询图像O，并提取查询图像O的视觉特征，形成查询图像O的视觉特征矢量V_o；还用于将查询图像的视觉特征矢量与文本标注集合中的各个文本特征进行对比，选取文本标注集合T＝{T_i,i∈n}中与所述查询图像的视觉特征矢量V_o的相对差值最小的文本特征T_o作为查询图像的文本特征标注；查询匹配模块202用于向所述联合索引模块发出通信请求，选取文本特征T_o所对应的联合排序索引表F_o中记录的图像，将其作为查询图像O的备选匹配图像库；输出匹配模块203用于根据匹配数量，从备选匹配图像库中选取相应数量的图像作为匹配图像输出匹配结果。

所述图像存储单元3包括图像数据库301和文本标注数据库302，所述图像数据库301用于存储待检索图像，所述文本标注数据库302用于存储文本标注集合，所述文本标注集合中的各个文本特征T_i用于存放对应的量化视觉特征矢量。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种相似图像的快速匹配方法，其特征在于，包括后台预处理的步骤和前台匹配的步骤，所述后台预处理的步骤具体包括：

S101、提取图像数据库中的各个待检索图像的视觉特征，得到各个待检索图像的视觉特征矢量V_Q；

S102、为图像数据库中的各个待检索图像映射M个文本特征标注，其中，M为大于等于3的正整数；统计文本标注集合T＝{T_i,i∈n}中各个文本特征T_i对应的所有待检索图像，作为以T_i为映射文本特征的备选文本匹配图像，其中，n表示文本标注集合T中的文本特征的数量；

S103、计算以文本特征T_i为映射的各个备选文本匹配图像的视觉特征矢量与该文本特征T_i的量化视觉特征矢量之间的标准化欧式距离，作为备选文本匹配图像与文本特征的相似度；并将相似度值由大到小的顺序，对以文本特征T_i为文本特征标注的所有备选文本匹配图像进行排序，建立联合排序索引表F_i，对文本特征集合T内的所有文本特征进行上述步骤，形成以文本标注为索引单位的图像排序。

所述前台匹配的步骤具体包括：

S201、接收并提取查询图像O的视觉特征，形成查询图像O的视觉特征矢量V_o；

S202、将查询图像的视觉特征矢量与文本标注集合中的各个文本特征进行对比，选取文本标注集合T中与所述查询图像的视觉特征矢量V_o的相对差值最小的文本特征T_o作为查询图像的文本特征标注；

S203、将文本特征T_o所对应的联合排序索引表F_o中的图像作为查询图像O的备选匹配图像库；根据匹配数量，输出匹配结果。

2.根据权利要求1所述的一种相似图像的快速匹配方法，其特征在于，所述步骤S102中，所述映射M个文本特征标注的具体方法为：采用K均值聚类算法将待检索图像的视觉特征矢量V_Q聚成M个类，找到文本标注集合T＝{T_i,i∈n}中分别与所述M个类内各个像素的视觉特征矢量相对差值最小的M个文本特征，作为待检索图像的文本特征标注；其中，n表示文本标注集合中的文本特征的数量。

3.根据权利要求2所述的一种相似图像的快速匹配方法，其特征在于，所述文本标注集合存储在文本标注数据库中，所述文本标注集合中的各个文本特征T_i用于存放对应的量化视觉特征矢量，所述步骤S102中，找到文本标注集合T＝{T_i,i∈n}中分别与所述M个类内各个像素的视觉特征矢量相对差值最小的M个文本特征的具体方法为：将每个类内的所有像素的视觉特征矢量与文本标注集合T＝{T_i,i∈n}中各个文本特征T_i的量化视觉特征矢量依次求差，将每个类内差值最小的文本特征提取出来，即可以得到与所述M个类一一对应的M个文本特征。

4.根据权利要求1所述的一种相似图像的快速匹配方法，其特征在于，所述步骤S102中，M的取值为5。

5.一种相似图像的快速匹配系统，其特征在于，包括：后台部件和前台部件，所述后台部件用于图像的预处理工作，其包括：

数据加载模块：提取图像数据库中的各个待检索图像的视觉特征，得到各个待检索图像的视觉特征矢量V_Q；

特征映射模块：用于为图像数据库中的各个待检索图像映射M个文本特征标注，其中，M为大于等于3的正整数；还用于统计文本标注集合中各个文本特征T_i对应的所有待检索图像，作为以T_i为映射文本特征的备选文本匹配图像；

联合索引模块：用于计算各个文本特征T_i的备选文本匹配图像的视觉特征矢量与该文本特征T_i的量化视觉特征矢量之间的标准化欧式距离，作为备选文本匹配图像与该文本特征的相似度；还用于将相似度值由大到小的顺序，对以文本特征T_i为文本特征标注的所有备选文本匹配图像进行排序，建立联合排序索引表F_i，形成以文本标注为索引单位的图像排序；

所述前台模块用于输入查询图像以及输出与查询图像匹配的图像，其包括：

输入接收模块：用于接收查询图像O，并提取查询图像O的视觉特征，形成查询图像O的视觉特征矢量V_o；还用于将查询图像的视觉特征矢量与文本标注集合中的各个文本特征进行对比，选取文本标注集合T＝{T_i,i∈n}中与所述查询图像的视觉特征矢量V_o的相对差值最小的文本特征T_o作为查询图像的文本特征标注；

查询匹配模块：用于向所述联合索引模块发出通信请求，选取文本特征T_o所对应的联合排序索引表F_o中记录的图像，将其作为查询图像O的备选匹配图像库；

输出匹配模块：用于根据匹配数量，从备选匹配图像库中选取相应数量的图像作为匹配图像输出匹配结果。

6.根据权利要求5所述的一种相似图像的快速匹配系统，其特征在于，特征映射模块映射M个文本特征标注的具体方法为：采用K均值聚类算法将待检索图像的视觉特征矢量V_Q聚成M个类，找到文本标注集合T＝{T_i,i∈n}中分别与所述M个类内各个像素的视觉特征矢量相对差值最小的M个文本特征，作为待检索图像的文本特征标注；其中，n表示文本标注集合中的文本特征的数量。

7.根据权利要求5所述的一种相似图像的快速匹配系统，其特征在于，还包括图像存储单元，所述图像存储单元包括图像数据库和文本标注数据库，所述图像数据库用于存储待检索图像，所述文本标注数据库用于存储文本标注集合，所述文本标注集合中的各个文本特征T_i用于存放对应的量化视觉特征矢量。