CN111782841A - 图像搜索方法、装置、设备和计算机可读介质 - Google Patents

Abstract

本发明公开了图像搜索方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像；根据所述视觉物品图像的文字标识，计算与所述上传图像中文字的文本相似度；结合所述图像相似度和所述文本相似度，排列并输出所述视觉物品图像。该实施方式在用户上传图像带有文字的场景下，返回的物品图像与文字相关，因此上传图像与物品图像相关性较高。

Description

图像搜索方法、装置、设备和计算机可读介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像搜索方法、装置、设备和计算机可读介质。

背景技术

图像搜索是通过用户上传图像进行搜索，从而向用户返回与上传图像相似的物品图像。其中，主要是利用可以度量图像相似度的特征描述用户上传图像与物品图像。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在用户上传图像带有文字的场景下，返回的物品图像与上述文字无关，因此存在上传图像与物品图像相关性较低的技术问题。

发明内容

有鉴于此，本发明实施例提供一种图像搜索方法、装置、设备和计算机可读介质，在用户上传图像带有文字的场景下，返回的物品图像与文字相关，因此上传图像与物品图像相关性较高。

为实现上述目的，根据本发明实施例的一个方面，提供了一种图像搜索方法，包括：

基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像；

根据所述视觉物品图像的文字标识，计算与所述上传图像中文字的文本相似度；

结合所述图像相似度和所述文本相似度，排列并输出所述视觉物品图像。

所述基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像，包括：

基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像；

按照所述上传图像中文字，搜索得到文本物品图像；

基于所述文本物品图像的图像特征，计算所述文本物品图像与所述上传图像的图像相似度，得到文本视觉物品图像；

在所述文本视觉物品图像和所述视觉物品图像中，按照与所述上传图像的图像相似度，选择预设数量图像更新所述视觉物品图像。

所述结合所述图像相似度和所述文本相似度，排列并输出所述视觉物品图像，包括：

结合所述图像相似度、所述文本相似度和所述文本相似度的权重，排列并输出所述视觉物品图像。

所述根据所述视觉物品图像的文字标识，计算与所述上传图像中文字的文本相似度之前，还包括：

依据预设筛选条件，在所述上传图像中初步识别文字中选择，得到所述上传图像中文字，

所述预设筛选条件包括以下条件中的一种或多种：

过滤文本置信度低于预设置信度阈值的初步识别文字；

过滤占用文本面积低于预设面积阈值的初步识别文字；

纠正所述初步识别文字；

删除所述初步识别文字中的停用词，并对所述初步识别文字进行分词。

所述按照所述上传图像中文字，搜索得到文本物品图像，包括：

所述上传图像中文字组成多个文本，按照一个所述文本，搜索得到所述一个文本的物品图像；

将所有所述一个文本的物品图像作为所述文本物品图像；

或，

所述上传图像中文字组成多个文本，按照所述多个文本，联合搜索得到所述文本物品图像。

所述文本相似度包括距离相似度、最长公共子串相似度或最长公共子序列相似度。

所述文字标识包括以下一种或多种：物品名称、物品标签和物品图像中文字。

根据本发明实施例的第二方面，提供了一种图像搜索方法，包括：

基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像；

根据所述文本物品图像的图像，计算与所述上传图像的图像相似度；

结合所述文字相似度和所述图像相似度，排列并输出所述文本物品图像。

所述基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像，包括：

基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像；

按照所述上传图像的图像特征，搜索得到视觉物品图像；

基于所述视觉物品图像的文字标识，计算所述视觉物品图像与所述上传图像的文字相似度，得到视觉文本物品图像；

在所述视觉文本物品图像和所述文本物品图像中，按照与所述上传图像的文字相似度，选择预设数量图像更新所述文本物品图像。

根据本发明实施例的第三方面，提供了一种图像搜索装置，包括：

视觉模块，用于基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像；

文字模块，用于根据所述视觉物品图像的文字标识，计算与所述上传图像中文字的文本相似度；

输出模块，结合所述图像相似度和所述文本相似度，排列并输出所述视觉物品图像。

根据本发明实施例的第四方面，提供了一种图像搜索装置，包括：

文字模块，用于基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像；

视觉模块，用于根据所述文本物品图像的图像，计算与所述上传图像的图像相似度；

输出模块，用于结合所述文字相似度和所述图像相似度，排列并输出所述文本物品图像。

根据本发明实施例的第五方面，提供了一种图像搜索电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。

根据本发明实施例的第六方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为基于用户上传图像提取图像特征，并结合与上传图像的图像相似度，得到视觉物品图像；根据视觉物品图像的文字标识，计算与上传图像中文字的文本相似度；结合图像相似度和文本相似度，排列并输出视觉物品图像。在用户上传图像带有文字的场景下，返回的物品图像不仅与上传图像相关，同时与上传图像中文字相关，因此上传图像与物品图像相关性较高。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的图像搜索方法的主要流程的示意图；

图2是根据本发明实施例的结合文本视觉物品图像的图像搜索方法的流程的示意图；

图3是根据本发明实施例的另一种图像搜索方法的主要流程的示意图；

图4是根据本发明实施例的结合视觉文本物品图像的图像搜索方法的流程的示意图；

图5是根据本发明实施例的图像搜索装置的主要结构的示意图；

图6是根据本发明另一个实施例的图像搜索装置的主要结构的示意图；

图7是本发明实施例可以应用于其中的示例性系统架构图；

图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

利用用户上传图像查询物品图像，在很多情况下都能满足利用图像搜索物品的需求。但是在用户上传图像带有文字的场景下，如图书，图像特征可以搜索到相似的图书，但不一定能区分开系列丛书。

如：某高考真题练习册，既有语文科目的版本，又有数学科目版本，其外观上仅有文字区别，利用图像特征可以搜索到该高考真题练习册的物品，但不一定能区分哪个物品是与用户上传图像中科目是一致的。那么，在用户上传图像带有文字的场景下，返回的物品图像与上述文字无关，因此存在上传图像与物品图像相关性较差的技术问题。

为了解决在用户上传图像带有文字的场景下，上传图像与物品图像相关性较差的技术问题，可以采用以下本发明实施例中的技术方案。

参见图1，图1是根据本发明实施例的图像搜索方法主要流程的示意图，图像相似度结合与上传图像中文字的文本相似度，输出视觉物品图像。如图1所示，具体包括以下步骤：

S101、基于用户上传图像提取图像特征，并结合与上传图像的图像相似度，得到视觉物品图像。

用户可以通过网络上传图像，上传图像中不仅包括用户感兴趣的物品，而且带有文字。作为一个示例，上传图像中包括一个茶杯，上传图像中还包括文字：一键出水茶水分离。

提取上传图像的图像特征，图像特征包括特征模型提取的特征、颜色特征、纹理特征、形状特征和空间关系特征。提取上传图像的图像特征的目的在于，按照所提取的图像特征，在预设图像库中确定视觉物品图像。视觉物品图像是基于与上传图像的视觉相似度所确定的物品图像。

具体来说，物品图像的图像特征是预先提取的，根据在上传图像中所提取的图像特征，计算预设图像库中物品图像与上传图像的图像相似度。将图像相似度最高的预设数量上述物品图像作为视觉物品图像。作为一个示例，图像相似度可以包括根据欧式距离、余弦距离计算得到的相似度，或由灰度直方图、尺度不变特征变换(Scale-invariantfeature transform，SIFT)计算的相似度。

S102、根据视觉物品图像的文字标识，计算与上传图像中文字的文本相似度。

可以利用已有模型识别上传图像，从而获知上传图像中文字；或，调用第三方接口输出上传图像，返回上传图像中文字。可以理解的是，在得到上传图像中文字的同时，还可以得到文字所在位置坐标和/或文本置信度等参数。

可以理解的是，在用户上传图像中，利用检测框获取物品图像的情况下，则上传图像中文字是指上述检测框内的文字。

考虑到上述得到的上传图像中文字可能出现识别错误等情况，那么可以依据预设筛选条件，在上传图像中初步识别文字中选择，以得到上传图像中文字。其中，上传图像中初步识别文字，即利用已有模型或调用第三方接口获得的文字。

预设筛选条件可以包括以下条件中的一种或多种：

筛选条件1：过滤文本置信度低于预设置信度阈值的初步识别文字。

筛选条件2：过滤占用文本面积低于预设面积阈值的初步识别文字；

筛选条件3：纠正初步识别文字；

筛选条件4：删除初步识别文字中的停用词，并对初步识别文字进行分词。

下面结合上述预设筛选条件分别进行说明。

筛选条件1：过滤文本置信度低于预设置信度阈值的初步识别文字。文本置信度是衡量初步识别文字可信程度的参数。当文本置信度低于预设置信度，则说明该初步识别文字不可信，则可以删除该初步识别的文字。

筛选条件2：过滤占用文本面积低于预设面积阈值的初步识别文字。基于文字所在位置坐标能够计算得到占用文本面积。在上传图像中包括多个文字，文字所占用文本面积越大，则该文字越重要。那么，可以通过预设面积阈值过滤占用文本面积过低的初步识别文字。

可以按照以下方式确定预设面积阈值。

方式一：预设面积阈值可以为固定值。

方式二：结合所有初步识别文字分别占用面积计算得到的预设面积阈值。示例性的，初步识别文字分别占用3块面积，可以将上述3块面积的平均值作为预设面积阈值。

方式三：结合上传图像面积计算得到预设面积阈值。作为一个示例，将20％的上传图像面积作为预设面积阈值。

筛选条件3：纠正初步识别文字。对初步识别文字进行错误纠正。其中，纠正方式可以为根据字形、字音、音形或者预设数据库纠正。

筛选条件4：删除初步识别文字中的停用词，并对初步识别文字进行分词。为了提高搜索效率，可以删除初步识别文字中的停用词，并进行分词。

经过上述筛选条件的筛选后，在初步识别文字的基础上，得到上传图像中文字。上传图像中文字的准确性更高。

预设图像库中物品图像均有对应的文字标识。其中，文字标识可以包括以下一种或多种：物品名称、物品标签和物品图像中文字。物品名称即物品图像中物品的名称。物品标签即物品图像中预设物品的标签，如：物品标签为：茶杯。物品图像中文字即物品图像中标识的文字。

下面以文字标识具体为物品名称，示例性说明本发明实施例的技术方案。

作为一个示例，物品图像1的物品名称为：茶水分离泡茶大容量茶杯，物品图像2的物品名称为：透明双层玻璃带把茶杯。那么，每件视觉物品图像也有物品名称。

可以根据视觉物品图像的物品名称，计算与上传图像中文字的文本相似度。作为一个示例，文本相似度包括距离相似度、最长公共子串相似度或最长公共子序列相似度。距离相似度可以包括以下一种：欧几里得距离、马哈拉诺比斯距离、曼哈顿距离、切比雪夫距离、明可夫斯基距离和海明距离。

S103、结合图像相似度和文本相似度，排列并输出视觉物品图像。

视觉物品图像与上传图像的图像相似度，可以从视觉的角度衡量视觉物品。视觉物品图像与上传图像中文字的文本相似度，可以从文字的角度衡量视觉物品。

那么，可以结合上述图像相似度和上述文本相似度，排列视觉物品图像，如：按照图像相似度和文本相似度均较高的顺序排列视觉物品图像，图像相似度和文本相似度均较高可以说明该视觉物品图像与上传图像的相关性较高。然后向用户输出上述排列后的视觉物品图像，以便于用户挑选物品。

在本发明的一个实施例中，可以结合图像相似度、文本相似度和文本相似度的权重，排列并输视觉物品图像。在本发明的实际应用过程中，可以以文本相似度的权重实现图像相似度和文本相似度的融合。图像相似度记为：A，文本相似度记为：B，文本相似度的权重记为：K，则一个视觉物品图像的分数＝A+KB，示例性的K的取值范围是0至1。视觉物品图像的分数越高，则说明该视觉物品图像与上传图像的相关性越高。进而可以按照视觉物品图像的分数，按照从高到低的顺序排列视觉物品图像。

在上述实施例中，在用户上传图像带有文字的场景下，在考虑与上传图像的图像相似度基础上，还基于与上传图像中文字的文本相似度，排列并输出视觉物品图像。向用户返回的视觉物品图像不仅与上传图像相关，而且还与上传图像中文字相关，因此上传图像与视觉物品图像相关性较高。

视觉物品图像是按照图像相似度和上传图像得到物品图像。在本发明的一个实施例中，还可以利用上传图像中文字搜索得到文字物品图像。将上述视觉物品图像和文字物品图像的基础上，更新视觉物品图像。这样，扩充物品图像搜索结果，在更大范围内确定视觉物品图像。

参见图2，图2是根据本发明实施例的结合文本视觉物品图像的图像搜索方法的流程的示意图，具体包括以下步骤:

S201、基于用户上传图像提取图像特征，并结合与上传图像的图像相似度，得到视觉物品图像。

与S101类似的，基于用户上传图像提取图像特征，并结合与上传图像的图像相似度，得到视觉物品图像。其目的在于通过提取图像特征，结合与上传图像的图像相似度，从视觉上确定视觉物品图像。

S202、按照上传图像中文字，搜索得到文本物品图像。

获知上传图像中文字后，可以按照上传图像中文字，搜索得到文本物品图像。可以理解的是，文本物品图像是从文字的角度搜索得到的物品图像，其中，上述搜索范围可以大于基于用户上传图像搜索范围。

在本发明的一个实施例中，可以将上传图像中文字组成多个文本，按照其中一个文本，搜索得到该文本的物品图像。然后，将所有文本的物品图像作为文本物品图像。

作为一个示例，上传图像中文字包括：红黑苹果手机。可以组成以下文本：红苹果；黑苹果；苹果；手机；苹果手机；红苹果手机；黑苹果手机。以上述每个文本分别作为关键词，搜索得到该文本的物品图像。将上述多个文字的物品图像的集合，作为文本物品图像。这样，可以得到与每个文本分别相关的物品图像。

在本发明的另一个实施例中，可以将上传图像中文字组成多个文本，按照上述多个文本，联合搜索得到文本物品图像。

作为一个示例，上传图像中文字包括：红黑苹果手机。可以组成以下文本：红苹果；黑苹果；苹果；手机；苹果手机；红苹果手机；黑苹果手机。以上述每个文本共同作为关键词，联合搜索得到文本物品图像。这样，可以得到与每个文本共同相关的物品图像。

可以理解的是，S201与S202并没有执行的先后顺序。既可以先执行S201，再执行S202；也可以先执行S202，再执行S201。

S203、基于文本物品图像的图像特征，计算文本物品图像与上传图像的图像相似度，得到文本视觉物品图像。

提取文本物品图像的图像特征，并根据所提取的图像特征，计算文本物品图像与上传图像的图像相似度。

按照文本物品图像与上传图像的图像相似度由大到小的顺序，选择前N个图像，作为文本视觉物品图像。N是大于等于0的整数。S204、在文本视觉物品图像和视觉物品图像中，按照与上传图像的图像相似度，选择预设数量图像更新视觉物品图像。

文本视觉物品图像是从文本和视觉两方面获取的物品图像。视觉物品图像是从视觉方面获取的物品图像。为了能够在更大范围内搜索以得到用户所需的视觉物品图像，可以更新视觉物品图像。

具体来说，在文本视觉物品图像和视觉物品图像中，按照与上传图像的图像相似度由大到小的顺序，选择前M个图像作为视觉物品图像。其中，M是大于等于0的整数。

S205、根据视觉物品图像的文字标识，计算视觉物品图像与上传图像中文字的文本相似度。

类似于S102，可以根据视觉物品图像的文字标识，计算视觉物品图像与上传图像中文字的文本相似度。从而文字的角度衡量视觉物品图像与上传图像。可以理解的是，此处的视觉物品图像是更新后的视觉物品图像。

S206、结合视觉物品图像与上传图像的图像相似度，以及视觉物品图像与上传图像中文字的文本相似度，排列并输出视觉物品图像。

类似于S103，可以结合视觉物品图像与上传图像的图像相似度，以及视觉物品图像与上传图像中文字的文本相似度，排列并输出视觉物品图像。

在上述实施例中，在用户上传图像带有文字的场景下，基于与上传图像的图像相似度搜索得到视觉物品图像，按照上传图像中文字搜索得到文本物品图像，进而得到文本视觉物品图像。基于文本视觉物品图像和视觉物品图像，更新视觉物品图像。由于增加了文本物品图像，因此可以从文字相似角度增加物品图像，进一步增强上传图像与视觉物品图像的相关性。

在上述图1和图2对应的实施例中，先基于图像特征得到视觉物品图像；在基于文字标识，在视觉物品图像的基础上计算文本相似度。最后，结合图像相似度和文本相似度，输出视觉物品图像。

在下述图3和图4对应的实施例中，先基于文字标识得到文本物品图像；在基于文本物品图像的基础上计算图像相似度。最后，结合图像相似度和文本相似度，输出文本物品图像。

可以理解的是，视觉物品图像是先考虑图像再考虑文字，所输出的图像；文本物品图像是先考虑文字再考虑图像，所输出的图像。无论采用上述哪种方式，视频物品图像或文本物品图像均是与上传图像相关性较高的图像。

参见图3，图3是根据本发明实施例的另一种图像搜索方法的主要流程的示意图，具体包括：

S301、基于用户上传图像提取文字标识，并结合与上传图像的文字相似度，得到文本物品图像。

类似于S102，基于用户上传图像提取文字标识，并结合与上传图像的文字相似度，选择最相思的多个图像，作为文本物品图像。

S302、根据文本物品图像的图像，计算与上传图像的图像相似度。

类似于S101，计算文本物品图像的图像与上传图像的图像相似度。

S303、结合文字相似度和图像相似度，排列并输出文本物品图像。

类似于S103，结合文字相似度和图像相似度，排列并输出文本物品图像。

图4是根据本发明实施例的结合视觉文本物品图像的图像搜索方法的流程的示意图。

图4中利用上传图像的图像特征，得到视觉文本物品图像。利用视觉文本物品图像和已有文本物品图像更新文本物品图像。具体包括：

S401、基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像。

类似于S301，基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像。

S402、按照上传图像的图像特征，搜索得到视觉物品图像。

类似于S101，提取上传图像的图像特征，并按照上传图像的图像特征，搜索得到视觉物品图像。

S403、基于视觉物品图像的文字标识，计算视觉物品图像与上传图像的文字相似度，得到视觉文本物品图像。

类似于S102，基于视觉物品图像的文字标识，计算视觉物品图像与上传图像的文字相似度，得到视觉文本物品图像。

S404、在视觉文本物品图像和文本物品图像中，按照与上传图像的文字相似度，选择预设数量图像更新文本物品图像。

文字相似度的具体过程可以参见S102，在视觉文本物品图像和文本物品图像中，按照与上传图像的文字相似度，选择预设数量图像，就可以更新文本物品图像。

S405、根据文本物品图像的图像，计算与上传图像的图像相似度。

类似于S302，计算文本物品图像的图像与上传图像的图像相似度。

S406、结合文字相似度和图像相似度，排列并输出文本物品图像。

类似于S303，结合文字相似度和图像相似度，排列并输出文本物品图像。

参见图5，图5是根据本发明实施例的图像搜索装置的主要结构的示意图，图像搜索装置可以实现图1或图2中的图像搜索方法，如图5所示，图像搜索装置具体包括：

视觉模块501，用于基于用户上传图像提取图像特征，并结合与上传图像的图像相似度，得到视觉物品图像。

文字模块502，用于根据视觉物品图像的文字标识，计算与上传图像中文字的文本相似度。

输出模块503，结合图像相似度和文本相似度，排列并输出视觉物品图像。

在本发明的一个实施例中，视觉模块501，具体用于基于用户上传图像提取图像特征，并结合与上传图像的图像相似度，得到视觉物品图像；

按照上传图像中文字，搜索得到文本物品图像；

基于文本物品图像的图像特征，计算文本物品图像与上传图像的图像相似度，得到文本视觉物品图像；

在文本视觉物品图像和视觉物品图像中，按照与上传图像的图像相似度，选择预设数量图像更新视觉物品图像。

在本发明的一个实施例中，输出模块503，具体用于结合图像相似度、文本相似度和文本相似度的权重，排列并输出视觉物品图像。

在本发明的一个实施例中，文字模块502，还用于依据预设筛选条件，在上传图像中初步识别文字中选择，得到上传图像中文字，

预设筛选条件包括以下条件中的一种或多种：

过滤文本置信度低于预设置信度阈值的初步识别文字；

过滤占用文本面积低于预设面积阈值的初步识别文字；

纠正所述初步识别文字；

删除所述初步识别文字中的停用词，并对所述初步识别文字进行分词。

在本发明的一个实施例中，文字模块502，具体用于上传图像中文字组成多个文本，按照一个文本，搜索得到一个文本的物品图像；

将所有文本的物品图像作为文本物品图像；

或，

上传图像中文字组成多个文本，按照多个文本，联合搜索得到文本物品图像。

在本发明的一个实施例中，文本相似度包括距离相似度、最长公共子串相似度或最长公共子序列相似度。

在本发明的一个实施例中，所述文字标识包括以下一种或多种：物品名称、物品标签和物品图像中文字。

参见图6，图6是根据本发明另一个实施例的图像搜索装置的主要结构的示意图，图像搜索装置可以实现图3或图4中的图像搜索方法，如图6所示，图像搜索装置具体包括：

文字模块601，用于基于用户上传图像提取文字标识，并结合与上传图像的文字相似度，得到文本物品图像。

视觉模块602，用于根据文本物品图像的图像，计算与上传图像的图像相似度。

输出模块603，用于结合文字相似度和图像相似度，排列并输出文本物品图像。

图7示出了可以应用本发明实施例的图像搜索方法或图像搜索装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的图像搜索方法一般由服务器705执行，相应地，图像搜索装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像；

根据所述视觉物品图像的文字标识，计算与所述上传图像中文字的文本相似度；

结合所述图像相似度和所述文本相似度，排列并输出所述视觉物品图像。

根据本发明实施例的技术方案，因为基于用户上传图像提取图像特征，并结合与上传图像的图像相似度，得到视觉物品图像；根据视觉物品图像的文字标识，计算与上传图像中文字的文本相似度；结合图像相似度和文本相似度，排列并输出视觉物品图像。在用户上传图像带有文字的场景下，返回的物品图像不仅与上传图像相关，同时与上传图像中文字相关，因此上传图像与物品图像相关性较高。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种图像搜索方法，其特征在于，包括：

基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像；

根据所述视觉物品图像的文字标识，计算与所述上传图像中文字的文本相似度；

结合所述图像相似度和所述文本相似度，排列并输出所述视觉物品图像。

2.根据权利要求1所述图像搜索方法，其特征在于，所述基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像，包括：

基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像；

按照所述上传图像中文字，搜索得到文本物品图像；

基于所述文本物品图像的图像特征，计算所述文本物品图像与所述上传图像的图像相似度，得到文本视觉物品图像；

在所述文本视觉物品图像和所述视觉物品图像中，按照与所述上传图像的图像相似度，选择预设数量图像更新所述视觉物品图像。

3.根据权利要求1所述图像搜索方法，其特征在于，所述结合所述图像相似度和所述文本相似度，排列并输出所述视觉物品图像，包括：

结合所述图像相似度、所述文本相似度和所述文本相似度的权重，排列并输出所述视觉物品图像。

4.根据权利要求1所述图像搜索方法，其特征在于，所述根据所述视觉物品图像的文字标识，计算与所述上传图像中文字的文本相似度之前，还包括：

依据预设筛选条件，在所述上传图像中初步识别文字中选择，得到所述上传图像中文字，

所述预设筛选条件包括以下条件中的一种或多种：

过滤文本置信度低于预设置信度阈值的初步识别文字；

过滤占用文本面积低于预设面积阈值的初步识别文字；

纠正所述初步识别文字；

删除所述初步识别文字中的停用词，并对所述初步识别文字进行分词。

5.根据权利要求2所述图像搜索方法，其特征在于，所述按照所述上传图像中文字，搜索得到文本物品图像，包括：

所述上传图像中文字组成多个文本，按照一个所述文本，搜索得到所述一个文本的物品图像；

将所有所述一个文本的物品图像作为所述文本物品图像；

或，

所述上传图像中文字组成多个文本，按照所述多个文本，联合搜索得到所述文本物品图像。

6.根据权利要求1所述图像搜索方法，其特征在于，所述文本相似度包括距离相似度、最长公共子串相似度或最长公共子序列相似度。

7.根据权利要求1所述图像搜索方法，其特征在于，所述文字标识包括以下一种或多种：物品名称、物品标签和物品图像中文字。

8.一种图像搜索方法，其特征在于，包括：

基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像；

根据所述文本物品图像的图像，计算与所述上传图像的图像相似度；

结合所述文字相似度和所述图像相似度，排列并输出所述文本物品图像。

9.根据权利要求8所述图像搜索方法，其特征在于，所述基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像，包括：

基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像；

按照所述上传图像的图像特征，搜索得到视觉物品图像；

基于所述视觉物品图像的文字标识，计算所述视觉物品图像与所述上传图像的文字相似度，得到视觉文本物品图像；

在所述视觉文本物品图像和所述文本物品图像中，按照与所述上传图像的文字相似度，选择预设数量图像更新所述文本物品图像。

10.一种图像搜索装置，其特征在于，包括：

视觉模块，用于基于用户上传图像提取图像特征，并结合与所述上传图像的图像相似度，得到视觉物品图像；

文字模块，用于根据所述视觉物品图像的文字标识，计算与所述上传图像中文字的文本相似度；

输出模块，结合所述图像相似度和所述文本相似度，排列并输出所述视觉物品图像。

11.一种图像搜索装置，其特征在于，包括：

文字模块，用于基于用户上传图像提取文字标识，并结合与所述上传图像的文字相似度，得到文本物品图像；

视觉模块，用于根据所述文本物品图像的图像，计算与所述上传图像的图像相似度；

输出模块，用于结合所述文字相似度和所述图像相似度，排列并输出所述文本物品图像。

12.一种图像搜索电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

Images