CN108804476B - 图像搜索结果的排序方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种图像搜索结果的排序方法、装置、电子设备和存储介质，能够将商品图像本身直接作为搜索结果的排序条件，基于搜索结果的图像与样本图像的相似度进行排序。该排序方法包括：根据图像内容对图像进行分割，所述图像包括样本图像和待排序图像；提取所述图像的边界信息，生成所述图像的极大模边缘图像；对所述极大模边缘图像进行降噪处理；计算各待排序图像的极大模边缘图像与所述样本图像的极大模边缘图像的差分图像，然后根据所述差分图像提取各待排序图像与所述样本图像的相似度；根据所述相似度的大小对所述待排序图像进行排序。

Description

图像搜索结果的排序方法、装置、电子设备和存储介质

技术领域

本发明计算机技术领域，尤其涉及一种图像搜索结果的排序方法、装置、电子设备和存储介质。

背景技术

图像搜索中重要的问题之一是如何有效地对搜索结果进行排序。现有技术通常是根据图像周围的文字描述或对图像本身含有的文字对图像进行排序。

借助于文本搜索中的成熟技术，目前的视频和图像搜索主要也是通过索引和搜索其相关的文本信息，例如视频/图像所在网页周围的文字，视频的语音记录、字幕，视频/图像标题，通用资源定位符(URL，也称网页地址)等。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

对于大规模的图像集，基于文本的搜索快速高效。但是，“一幅图像胜过千言万语”，有限的文本信息不足以全面充分地描述图像丰富的视觉内容，因此基于文本的搜索结果往往不尽如人意，在搜索引擎返回的结果中，一些不相关或者相关度低的图像经常被排在搜索结果的前几位。例如：图像和其文本信息之间的误匹配会造成一些不相关的图像被错误地返回；由于仅依赖于文本信息无法区分图像的相关程度，所以一些相关性较低的图像被返回给用户。

发明内容

有鉴于此，本发明实施例提供一种图像搜索结果的排序方法、装置、电子设备和存储介质，能够将商品图像本身直接作为搜索结果的排序条件，基于搜索结果的图像与样本图像的相似度进行排序。

为实现上述目的，根据本发明实施例的一个方面，提供了一种图像搜索结果的排序方法、装置、电子设备和存储介质。

本发明实施例的一种图像搜索结果的排序方法包括：根据图像内容对图像进行分割，所述图像包括样本图像和待排序图像；提取所述图像的边界信息，生成所述图像的极大模边缘图像；对所述极大模边缘图像进行降噪处理；计算各待排序图像的极大模边缘图像与所述样本图像的极大模边缘图像的差分图像，然后根据所述差分图像提取各待排序图像与所述样本图像的相似度；根据所述相似度的大小对所述待排序图像进行排序。

可选地，根据图像内容对图像进行分割包括：应用超像素进行图像表达，然后利用图像中各超像素之间的关联，对图像进行内容分隔。

可选地，所述图像内容包括图像的颜色、纹理、形状、轮廓特征。

可选地，对所述极大模边缘图像进行降噪处理包括：利用傅里叶变换对所述极大模边缘图像进行高、低频过滤。

为实现上述目的，根据本发明实施例的另一方面，提供了一种图像搜索结果的排序装置。

本发明实施例的一种图像搜索结果的排序装置包括：图像分割模块，用于根据图像内容对图像进行分割，所述图像包括样本图像和待排序图像；边界提取模块，用于提取所述图像的边界信息，生成所述图像的极大模边缘图像；降噪模块，用于对所述极大模边缘图像进行降噪处理；相似度计算模块，用于计算各待排序图像的极大模边缘图像与所述样本图像的极大模边缘图像的差分图像，然后根据所述差分图像提取各待排序图像与所述样本图像的相似度；排序模块，用于根据所述相似度的大小对所述待排序图像进行排序。

可选地，所述图像分割模块还用于：应用超像素进行图像表达，然后利用图像中各超像素之间的关联，对图像进行内容分隔。

可选地，所述图像内容包括图像的颜色、纹理、形状、轮廓特征。

可选地，所述降噪模块还用于：利用傅里叶变换对所述极大模边缘图像进行高、低频过滤。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。

本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求本发明实施例的图像搜索结果的排序方法。

为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的图像搜索结果的排序方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用了基于图像内容对图像进行特征提取和与样本图像相似度判断，作为根据文字排序的补充或辅助的技术手段，所以克服了现有技术中以文字作为搜索结果的排序条件的局限性和不准确的技术问题，进而达到了利用图像本身的内容特征对图像进行相似度排序的技术效果，使得对图像搜索结果的排序更接近于实际应用，排序结果也更精准；通过应用超像素进行图像表达，以进行语义分割，从而可以有效地将具有语义信息的各个部分分割出来，便于进行图像边界的提取；通过利用图像丰富多样的可视化内容特征进行图像分割，从而能够方便精准的判断待排序图像与样本图像的相似度；通过利用傅里叶变换对极大模边缘图像进行降噪处理，从而能够使得用于进行相似度提取的边缘图像更清晰，确保排序结果更准确。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的图像搜索结果的排序方法的主要步骤的示意图；

图2是根据本发明实施例的图像搜索结果的排序装置的主要模块的示意图；

图3是用适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在大多数搜索网站，例如电商网站或者图片搜索功能的搜索引擎等，都以图像作为信息的载体，图像除了具有较文字更加直观的视觉效果之外，其本身就是信息，能够传达出丰富的内涵和信息特征。例如在电子商务领域，将商品图像本身直接作为搜索结果的排序条件，就可以弥补复杂的难以用常规关键词描述和检索的缺陷。

本发明实施例中，主要是基于图像内容的图像排序技术，即利用图像的可视特征，从颜色、纹理、形状轮廓等特征对图像进行分析排序。尝试通过理解图像的实际内容，检索排序出与样本图像(即用于检索的图像)相类似或相同的图像。这种实际的内容特征也可认为是图像的物理特征或是“所见即所得”的可视特征。

该技术利用计算机对图像的内容特征进行自动分析和抽取，并编制成特征索引，在匹配引擎中进行相似度计算。从排序过程来看，计算机按照用户的检索请求，将输入的样本图像的某一特征与特征索引库中的特征信息自动进行比对，将最佳匹配结果及与图像的关联信息按照相似度顺序排列显示。这是一种迭代过程，也是一种相似检索，而传统的基于文本的图像检索则是一种精确检索。

本发明实施例中，前述内容特征主要是指图像的颜色、纹理、形状、轮廓等特征。其中，基于颜色的特征：例如可以选用符合人类视觉特性的HSV颜色空间，利用人对颜色的感知对HSV空间颜色分量进行非等间隔量化并形成特征矢量。计算每幅图像的颜色直方图，即每一种颜色在图像像素点中的比例，作为图像的特征向量加以保存。基于纹理的特征：可以是基于共生矩阵和Gabor滤波器的提取纹理特征算法提取纹理特征。基于形状、轮廓的特征：可以是采用Canny算子提取图形边缘，经过罗廓线的预处理获得图像目标区域。

图1是根据本发明实施例的图像搜索结果的排序方法的主要步骤的示意图。

如图1所示，本发明实施例的一种图像搜索结果的排序方法主要包括如下步骤：

步骤S11：根据图像内容对图像进行分割，所述图像包括样本图像和待排序图像。其中，图像内容可以包括图像的颜色、纹理、形状、轮廓特征。本发明实施例中，可以应用超像素进行图像内容的表达，然后利用图像中各超像素之间的关联，对图像进行内容分隔。

在步骤S11对图像进行分割之后，从步骤S12开始处理。

步骤S12：提取所述图像的边界信息，生成所述图像的极大模边缘图像。

步骤S13：对所述极大模边缘图像进行降噪处理。利用傅里叶变换对所述极大模边缘图像进行高、低频过滤。

步骤S14：计算各待排序图像的极大模边缘图像与所述样本图像的极大模边缘图像的差分图像，然后根据所述差分图像提取各待排序图像与所述样本图像的相似度。

步骤S15：根据所述相似度的大小对所述待排序图像进行排序。

本发明实施例中，基于图像内容提取图像的边界信息，然后基于边界信息进行重排序。首先对商品图像做图像分割，并提取边界信息，生成商品框架图(即极大模边缘图像)，然后通过傅里叶变换对频域进行过滤，将图像中的低频信息与高频信息区分开来，然后提取对应的用于比较相似度的差分图像特征进行排序表述。以下以电子商务领域的商品图像搜索为例，对以图像为搜索结果的排序条件的排序过程进行详细说明。

图像搜索结果的具体排序过程如下：

1、图像压缩上传，此处图像包括样本图像和待排序图像。待排序图像即根据样本图像进行搜索出的所有近似图像，尚未根据相似度进行准确排序。

2、对图像进行分割

本发明实施例中，可以应用超像素(超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息)进行图像表达，并进一步通过各超像素之间关联进行图上分析，从而实现语义分割。该方法可有效地将具有语义信息的各个部分分割出来。

3、提取图像的边界信息，生成极大模边缘图像

提取图像极大模边缘图像可以采用如下算法：图像的边缘就是图像中灰度变换剧烈的点，通常就是信号中突变点。本发明实施例中，定义θ(x,y)为高斯函数，

为小波函数。对其进行2^j离散化，可得二进小波函数

则函数f(x,y)在尺度2^j时的二进小波变换为

用二进小波变换的模极大值点表示该点处的边缘强度，模值为

梯度为

而

中沿相角

方向的局部极大值

为可能的边缘点

记模值图像

，生成可能的极大模边缘图像

，图像中其它像素均标记为零。

4、对得到的极大模边缘图像通过傅里叶变换进行高、低频过滤，大致过程如下：

第1步，将极大模边缘图像进行扩充(例如可以通过补零的方式)，使其长和宽变为大于或等于自身长度的最小2的整数次幂；

第2步，对扩充后的极大模边缘图像进行移动中心操作，即乘以(-1)^(x+y)；

第3步，计算第二步的FFT(即利用一维快速傅里叶变换实现二维)，生成一个大小和扩充图像一致的二维复数数组F(u，v)；

第4步，生成一个频率域的滤波器H(u，v)；

第5步，点乘，令g(u，v)＝H(u，v)·F(u，v)；

第6步，对g做快速傅里叶逆变换IFFT(快速傅里叶逆变换)；

第7步，对第6步的结果取实部；

第8步，对第7步的结果乘以(-1)^(x+y)再次移动中心；

第9步，剪裁获得与原图(即用于搜索的样本图像)大小一致的结果。

5、求样本图像与待排序图像的极大模边缘图像的差分图像。分别得到M_max(k,l)，

图像的尺寸为M×N，则二者的差分图像可表示为：

其中，k＝0,1,…K-1；l＝0,1,…L-1；且0≤K≤M，0≤L≤N。

6、特征提取。从差分图像△(k,l)中提取用于排序图像的统计特征——相似度μ_△，如下：

μ_△用于判断图像与样本图像的相似度。

7、按图形相似度进行排序

根据相似度μ_△的值对各待排序图像进行排序。

根据本发明实施例的图像搜索结果的排序方法可以看出，因为采用了基于图像内容对图像进行特征提取和与样本图像相似度判断的技术手段，所以克服了现有技术中以文字作为搜索结果的排序条件的局限性和不准确的技术问题，进而达到了利用图像本身的内容特征对图像进行相似度排序的技术效果，使得对图像搜索结果的排序更接近于实际应用，排序结果也更精准；通过应用超像素进行图像表达，以进行语义分割，从而可以有效地将具有语义信息的各个部分分割出来，便于进行图像边界的提取；通过利用图像丰富多样的可视化内容特征进行图像分割，从而能够方便精准的判断待排序图像与样本图像的相似度；通过利用傅里叶变换对极大模边缘图像进行降噪处理，从而能够使得用于进行相似度提取的边缘图像更清晰，确保排序结果更准确。

图2是根据本发明实施例的图像搜索结果的排序装置的主要模块的示意图。

如图2所示，本发明实施例的图像搜索结果的排序装置20的主要包括如下模块：图像分割模块201、边界提取模块202、降噪模块203、相似度计算模块204以及排序模块205。

其中，图像分割模块201用于根据图像内容对图像进行分割，所述图像包括样本图像和待排序图像；边界提取模块202用于提取所述图像的边界信息，生成所述图像的极大模边缘图像；降噪模块203用于对所述极大模边缘图像进行降噪处理；相似度计算模块204用于计算各待排序图像的极大模边缘图像与所述样本图像的极大模边缘图像的差分图像，然后根据所述差分图像提取各待排序图像与所述样本图像的相似度；排序模块205用于根据所述相似度的大小对所述待排序图像进行排序。

图像分割模块201还可用于：应用超像素进行图像表达，然后利用图像中各超像素之间的关联，对图像进行内容分隔。

本发明实例中，图像内容可以包括图像的颜色、纹理、形状、轮廓特征。

另外，降噪模块203还可用于：利用傅里叶变换对所述极大模边缘图像进行高、低频过滤。

从以上描述可以看出，因为采用了基于图像内容对图像进行特征提取和与样本图像相似度判断的技术手段，所以克服了现有技术中以文字作为搜索结果的排序条件的局限性和不准确的技术问题，进而达到了利用图像本身的内容特征对图像进行相似度排序的技术效果，使得对图像搜索结果的排序更接近于实际应用，排序结果也更精准；通过应用超像素进行图像表达，以进行语义分割，从而可以有效地将具有语义信息的各个部分分割出来，便于进行图像边界的提取；通过利用图像丰富多样的可视化内容特征进行图像分割，从而能够方便精准的判断待排序图像与样本图像的相似度；通过利用傅里叶变换对极大模边缘图像进行降噪处理，从而能够使得用于进行相似度提取的边缘图像更清晰，确保排序结果更准确。

下面参考图3，其示出了适于用来实现本申请实施例的终端设备的计算机系统300的结构示意图。图3示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图3所示，计算机系统300包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的主要步骤图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，主要步骤图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或主要步骤图中的每个方框、以及框图或主要步骤图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像分割模块、边界提取模块、降噪模块、相似度计算模块以及排序模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，图像分割模块还可以被描述为“根据图像内容对图像进行分割的模块”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：根据图像内容对图像进行分割，所述图像包括样本图像和待排序图像；提取所述图像的边界信息，生成所述图像的极大模边缘图像；对所述极大模边缘图像进行降噪处理；计算各待排序图像的极大模边缘图像与所述样本图像的极大模边缘图像的差分图像，然后根据所述差分图像提取各待排序图像与所述样本图像的相似度；根据所述相似度的大小对所述待排序图像进行排序。

根据本发明实施例的技术方案，因为采用了基于图像内容对图像进行特征提取和与样本图像相似度判断的技术手段，所以克服了现有技术中以文字作为搜索结果的排序条件的局限性和不准确的技术问题，进而达到了利用图像本身的内容特征对图像进行相似度排序的技术效果，使得对图像搜索结果的排序更接近于实际应用，排序结果也更精准；通过应用超像素进行图像表达，以进行语义分割，从而可以有效地将具有语义信息的各个部分分割出来，便于进行图像边界的提取；通过利用图像丰富多样的可视化内容特征进行图像分割，从而能够方便精准的判断待排序图像与样本图像的相似度；通过利用傅里叶变换对极大模边缘图像进行降噪处理，从而能够使得用于进行相似度提取的边缘图像更清晰，确保排序结果更准确。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种图像搜索结果的排序方法，其特征在于，包括：

根据图像内容对图像进行分割，所述图像包括样本图像和待排序图像；

提取所述图像的边界信息，生成所述图像的极大模边缘图像；

对所述极大模边缘图像进行降噪处理；

计算各待排序图像的极大模边缘图像与所述样本图像的极大模边缘图像的差分图像，然后根据所述差分图像提取各待排序图像与所述样本图像的相似度；

根据所述相似度的大小对所述待排序图像进行排序；

其中，根据图像内容对图像进行分割包括：应用超像素进行图像表达，然后利用图像中各超像素之间的关联，对图像进行内容分隔。

2.根据权利要求1所述的排序方法，其特征在于，所述图像内容包括图像的颜色、纹理、形状、轮廓特征。

3.根据权利要求1所述的排序方法，其特征在于，对所述极大模边缘图像进行降噪处理包括：利用傅里叶变换对所述极大模边缘图像进行高、低频过滤。

4.一种图像搜索结果的排序装置，其特征在于，包括：

图像分割模块，用于根据图像内容对图像进行分割，所述图像包括样本图像和待排序图像；

边界提取模块，用于提取所述图像的边界信息，生成所述图像的极大模边缘图像；

降噪模块，用于对所述极大模边缘图像进行降噪处理；

相似度计算模块，用于计算各待排序图像的极大模边缘图像与所述样本图像的极大模边缘图像的差分图像，然后根据所述差分图像提取各待排序图像与所述样本图像的相似度；

排序模块，用于根据所述相似度的大小对所述待排序图像进行排序；

其中，所述图像分割模块还用于：应用超像素进行图像表达，然后利用图像中各超像素之间的关联，对图像进行内容分隔。

5.根据权利要求4所述的排序装置，其特征在于，所述图像内容包括图像的颜色、纹理、形状、轮廓特征。

6.根据权利要求4所述的排序装置，其特征在于，所述降噪模块还用于：利用傅里叶变换对所述极大模边缘图像进行高、低频过滤。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的排序方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-3中任一项所述的排序方法。

Images