CN112445926B - 一种图像检索方法以及装置 - Google Patents

Abstract

本申请公开了一种图像检索方法以及装置，该方法包括：获得第一图像信息中的目标字符信息；获得目标字符信息所对应的目标局部特征信息；根据目标字符信息以及目标局部特征信息进行图像检索，获得第二图像信息。通过使用该方法，可避免现有的因图像的局部特征信息的区分性不足而影响检索准确率和召回率，并且解决了因丢失图像的几何结构信息而无法利用几何一致性验证方法对检索结果进行验证而影响检索准确率和召回率的问题、以及由于文本信息的可重复性所导致的误匹配而影响检索准确率和召回率的问题。

Description

一种图像检索方法以及装置

技术领域

本申请涉及计算机技术领域，具体涉及一种图像检索方法。本申请同时涉及一种图像检索装置以及一种电子设备。

背景技术

以图搜图检索引擎，是一种通过搜索图像的文本信息或者图像的视觉特征信息，为用户提供互联网上相关图像资料的检索服务的专业搜索引擎。用户可通过在该检索引擎中输入与目标图像的名称或内容相似的关键字来进行检索，或者通过在该检索引擎中上传与目标图像相似的图像信息进行检索。其工作原理为：根据输入的图像信息、图像的内容语义以及上下文联系进行查找，以图像语义特征为线索从图像数据库中检索出具有相似特性的其它图像。由于网络图像数据的日渐庞大以及用户对图像检索需求的提高，因此，以图搜图具有广泛的应用场景。

当图像的局部特征信息的区分性不足时，检索准确率和召回率将受到较大影响，因此，结合图像中文本信息辅助实施基于内容的图像检索具有较好的应用前景。

现有的结合图像中文本信息辅助实施基于内容的图像检索方法的一种可选方案是：针对图像中的文本信息进行文本检测和识别，得到文本识别结果，将该文本识别结果作为图像的表征信息，并利用文本搜索技术进行文本检索，以此作为现有的以图搜图系统的辅助检索方式。该方案完全基于已有的文本识别技术和文本搜索引擎技术，思路直观且实现简单。

现有的结合图像中文本信息辅助实施基于内容的图像检索方法的另一种可选方案是：针对图像中的文本信息进行文本检测和识别后，保留识别出的文本信息的位置信息，并利用该文本信息及其位置信息直接在图像中进行局部文本匹配。

然而，上述方案存在以下不足：

完全基于已有的文本识别技术和文本搜索引擎技术，其丢失了图像的几何结构信息，无法利用几何一致性验证方法对检索结果进行验证，因而其检索结果的准确率和召回率未得到保障。

利用文本信息及其位置信息直接在图像中进行局部文本匹配，由于文本信息的重复性高，因此可造成误匹配，同样影响图像检索结果的准确率和召回率。

发明内容

本申请提供一种图像检索方法，以解决现有的以图搜图过程中影响检索结果的准确率和召回率的问题。本申请另外提供一种图像检索装置以及一种电子设备。本申请还提供一种图像检索方法、与该方法相对应的图像检索装置以及电子设备。本申请另外提供一种图像检索方法、与该方法相对应的图像检索装置以及电子设备。本申请还提供一种图像匹配方法、与该方法相对应的图像匹配装置以及电子设备。本申请还提供一种检索方法、与该方法相对应的检索装置以及电子设备。

本申请提供一种图像检索方法，包括：

获得第一图像信息中的目标字符信息；

获得所述目标字符信息对应的目标局部特征信息；

根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息。

可选的，所述目标字符信息对应的目标局部特征信息包括：所述目标字符信息的几何结构信息。

可选的，所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；

对应的，所述获得所述目标字符信息对应的目标局部特征信息，包括执行如下步骤中的至少一个步骤：

获得所述目标字符信息的位置信息；

获得所述目标字符信息的尺度信息；

获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符信息在所述第一图像信息中的位置信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对位置信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符信息相对于所述第一图像信息的尺度信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符信息相对于所述第一图像信息的方向信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对方向信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符的边界框；

获得所述边界框的中心坐标信息；

将所述边界框的中心坐标信息作为所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符的边界框；

获得所述边界框的尺度信息；

将所述边界框的尺度信息作为所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符的边界框；

获得所述边界框的方向信息；

将所述边界框的方向信息作为所述目标字符信息的方向信息。

可选的，所述目标字符信息对应的目标局部特征信息包括：所述目标字符信息的特征描述信息；

对应的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的特征描述信息。

可选的，所述获得所述目标字符信息的特征描述信息，包括：

获得所述目标字符的边界框；

获得所述边界框的特征向量；

将所述边界框的特征向量作为所述目标字符信息的特征描述信息。

可选的，所述获得所述边界框的特征向量，包括：

获得所述第一图像信息所对应的特征图；

将所述边界框投影至所述特征图上，获得所述特征图的块区域；

针对所述块区域进行池化操作，获得所述边界框的特征向量。

可选的，还包括：

对所述边界框的特征向量进行降维操作。

可选的，所述获得第一图像信息中的目标字符信息，包括：

采用光学字符识别方式对第一图像信息进行特征提取，获得所述第一图像信息中的目标字符信息。

可选的，所述获得第一图像信息中的目标字符信息，包括：

获得所述第一图像信息中的文本行信息；

对所述文本行信息进行分割处理，获得所述目标字符信息。

可选的，所述根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息，包括：

以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息；其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括与该图像信息中的字符信息相对应的局部特征信息。

可选的，所述以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息，包括：

从所述目标图像数据库中查找与所述目标字符信息相匹配的备用图像信息；

获得与备用图像信息中的字符信息相对应的局部特征信息；

从所述与备用图像信息中的字符信息相对应的局部特征信息中获得与所述目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息；

采用几何一致性验证方式对所述备用局部特征信息进行验证，获得与所述目标局部特征信息相匹配的候选局部特征信息；

根据所述备用图像信息中包含的候选局部特征信息的数量，获得与所述第一图像信息相匹配的第二图像信息。

可选的，所述根据所述备用图像信息中包含的候选局部特征信息的数量，获得与所述第一图像信息相匹配的第二图像信息，包括：

按照所述备用图像信息中包含的候选局部特征信息的数量由多到少的顺序，对所述备用图像信息进行排序；

将排序靠前的预定数目的备用图像信息作为与所述第一图像信息相匹配的第二图像信息。

可选的，所述以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息，包括：

从所述目标图像数据库中查找与所述目标字符信息相匹配的备用图像信息；

获得与备用图像信息中的字符信息相对应的局部特征信息；

从所述与备用图像信息中的字符信息相对应的局部特征信息中获得与所述目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息；

按照备用图像信息中包含所述备用局部特征信息的数量，对所述备用图像信息进行排序，将排序靠前的预定数量的备用图像信息作为候选图像信息；

采用几何一致性验证方式对所述候选图像信息进行验证，获得候选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；

根据所述候选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息。

可选的，所述获得第一图像信息中的目标字符信息，包括：

获得第一图像信息中的识别码信息；

所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述识别码信息对应的目标局部特征信息。

可选的，还包括：

获得与所述第一图像信息相关联的视频信息和与所述第一图像信息相关联的语音信息中的至少一种；

在根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息之前，还包括：

根据所述与所述第一图像信息相关联的视频信息和与所述第一图像信息相关联的语音信息中的至少一种，进行初步检索，获得目标图像数据库；

所述根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息，包括：

根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息，针对所述目标图像数据库进行图像检索，获得第二图像信息。

可选的，还包括：

获得所述第一图像信息的图像局部特征信息；

获得与所述图像局部特征信息和所述目标局部特征信息中的至少一种局部特征信息相关联的待推送图像信息；

输出所述待推送图像信息。

本申请还提供一种图像检索方法，包括：

获得第一图像信息中的目标字符信息；

获得所述目标字符信息对应的字符局部特征信息；

获得所述第一图像信息中的目标图像局部特征信息；

根据所述目标字符信息、所述字符局部特征信息以及所述目标图像局部特征信息进行图像检索，获得第二图像信息。

可选的，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的几何结构信息。

可选的，所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；

对应的，所述获得所述目标字符信息对应的字符局部特征信息，包括执行如下步骤中的至少一个步骤：

获得所述目标字符信息的位置信息；

获得所述目标字符信息的尺度信息；

获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：

获得所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符信息在所述第一图像信息中的位置信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对位置信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：

获得所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符信息相对于所述第一图像信息的尺度信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符信息相对于所述第一图像信息的方向信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对方向信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符的边界框；

获得所述边界框的中心坐标信息；

将所述边界框的中心坐标信息作为所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符的边界框；

获得所述边界框的尺度信息；

将所述边界框的尺度信息作为所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符的边界框；

获得所述边界框的方向信息；

将所述边界框的方向信息作为所述目标字符信息的方向信息。

可选的，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的特征描述信息；所述获得所述目标字符信息对应的字符局部特征信息，包括：获得所述目标字符信息的特征描述信息。

可选的，所述获得所述目标字符信息的特征描述信息，包括：

获得所述目标字符的边界框；

获得所述边界框的特征向量；

将所述边界框的特征向量作为所述目标字符信息的特征描述信息。

可选的，所述获得所述边界框的特征向量，包括：

获得所述第一图像信息所对应的特征图；

将所述边界框投影至所述特征图上，获得所述特征图的块区域；

针对所述块区域进行池化操作，获得所述边界框的特征向量。

可选的，所述获得第一图像信息中的目标字符信息，包括：

采用光学字符识别方式对第一图像信息进行特征提取，获得所述第一图像信息中的目标字符信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述目标字符信息、所述字符局部特征信息以及所述图像局部特征信息共同作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息；其中，所述目标图像数据库中包含图像信息、该图像信息中的字符信息以及该图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括如下中的至少一种：

与图像信息所包含的字符信息相对应的字符局部特征信息；

图像信息所包含的图像局部特征信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

判断所述第一检索结果是否符合预定检索要求；

如果所述第一检索结果不符合预定检索要求，则以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二检索结果；

根据所述第一检索结果和所述第二检索结果，获得所述第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

可选的，所述第一检索结果包括至少一个第一备选图像信息和用于表示所述第一备选图像信息与所述第一图像信息之间的相似度的第一匹配值；所述第二检索结果包括至少一个第二备选图像信息和用于表示所述第二备选图像信息与所述第一图像信息之间的相似度的第二匹配值，所述根据所述第一检索结果和所述第二检索结果，获得所述第二图像信息，包括：

根据所述第一匹配值和所述第二匹配值，从所述第一备选图像信息和所述第二备选图像信息中选取满足预定匹配阈值的目标备选图像信息；

采用几何一致性验证方式对所述目标备选图像信息进行验证，获得目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；

根据所述目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息。

本申请还提供一种图像检索方法，包括：

获得第一图像信息中的图像局部特征信息；

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

判断所述第一检索结果是否符合预定检索要求；

如果所述第一检索结果不符合预定检索要求，则获得所述第一图像信息中的目标字符信息；

获得所述目标字符信息对应的字符局部特征信息；

以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，该局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

本申请还提供一种图像匹配方法，包括：

获得第一图像信息中的第一字符信息；

获得所述第一字符信息对应的第一局部特征信息；

获得第二图像信息中的第二字符信息；

获得所述第二字符信息对应的第二局部特征信息；

根据所述第一字符信息、所述第一局部特征信息、所述第二字符信息以及所述第二局部特征信息，对所述第一图像信息和所述第二图像信息进行匹配，获得匹配结果。

可选的，所述根据所述第一字符信息、所述第一局部特征信息、所述第二字符信息以及所述第二局部特征信息，对所述第一图像信息和所述第二图像信息进行匹配，获得匹配结果，包括：

根据所述第一字符信息和所述第二字符信息，判断所述第一图像信息和所述第二图像信息是否包含相同字符信息；

如果确定所述第一图像信息和所述第二图像信息包含相同字符信息，则根据所述第一局部特征信息和所述第二局部特征信息，计算获得第一图像信息与第二图像信息的相似度数值；

判断第一图像信息与第二图像信息的相似度数值是否达到预定要求；

如果是，则采用几何一致性验证方式对第一图像信息和第二图像信息进行验证，并根据验证结果获得匹配结果。

本申请还提供一种检索方法，包括：

获得第一图像信息中的目标文本区域；

获得所述目标文本区域中的字符信息对应的字符局部特征信息；

以所述字符局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息与图像信息中的字符信息对应的字符局部特征信息的索引关系。31、一种图像检索装置，其特征在于，包括：

目标字符信息获得单元，用于获得第一图像信息中的目标字符信息；

目标局部特征信息获得单元，用于获得所述目标字符信息对应的目标局部特征信息；

第二图像信息获得单元，用于根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息。

本申请还提供一种电子设备，包括：

处理器；

存储器，用于存储图像检索程序，所述程序在被所述处理器读取执行时，执行如下操作：

获得第一图像信息中的目标字符信息；

获得所述目标字符信息所对应的目标局部特征信息；

根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息。

本申请还提供一种图像检索装置，包括：

目标字符信息获得单元，用于获得第一图像信息中的目标字符信息；

字符局部特征信息获得单元，用于获得所述目标字符信息对应的字符局部特征信息；

图像局部特征信息获得单元，用于获得所述第一图像信息中的图像局部特征信息；

第二图像信息获得单元，用于根据所述目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息。

本申请还提供一种电子设备，包括：

处理器；

存储器，用于存储图像检索程序，所述程序在被所述处理器读取执行时，执行如下操作：

获得第一图像信息中的目标字符信息；

获得所述目标字符信息对应的字符局部特征信息；

获得所述第一图像信息中的图像局部特征信息；

根据所述目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息。

本申请还提供一种图像检索装置，包括：

图像局部特征信息获得单元，用于获得第一图像信息中的图像局部特征信息；

第一检索结果获得单元，用于以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

预定检索要求判断单元，用于判断所述第一检索结果是否符合预定检索要求；

目标字符信息获得单元，用于确定所述第一检索结果不符合预定检索要求之后，获得所述第一图像信息中的目标字符信息；

字符局部特征信息获得单元，用于获得所述目标字符信息对应的字符局部特征信息；

第二图像信息获得单元，用于以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，该局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

本申请还提供一种电子设备，包括：

处理器；

存储器，用于存储图像检索程序，所述程序在被所述处理器读取执行时，执行如下操作：

获得第一图像信息中的图像局部特征信息；

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

判断所述第一检索结果是否符合预定检索要求；

如果所述第一检索结果不符合预定检索要求，则获得所述第一图像信息中的目标字符信息；

获得所述目标字符信息对应的字符局部特征信息；

以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，该局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

本申请还提供一种图像匹配装置，包括：

第一字符信息获得单元，用于获得第一图像信息中的第一字符信息；

第一局部特征信息获得单元，用于获得所述第一字符信息对应的第一局部特征信息；

第二字符信息获得单元，用于获得第二图像信息中的第二字符信息；

第二局部特征信息获得单元，用于获得所述第二字符信息所对应的第二局部特征信息；

匹配结果获得单元，用于根据所述第一字符信息、所述第一局部特征信息、所述第二字符信息以及所述第二局部特征信息，对所述第一图像信息和所述第二图像信息进行匹配，获得匹配结果。

本申请还提供一种电子设备，包括：

处理器；

存储器，用于存储图像匹配程序，所述程序在被所述处理器读取执行时，执行如下操作：

获得第一图像信息中的第一字符信息；

获得所述第一字符信息对应的第一局部特征信息；

获得第二图像信息中的第二字符信息；

获得所述第二字符信息对应的第二局部特征信息；

根据所述第一字符信息、所述第一局部特征信息、所述第二字符信息以及所述第二局部特征信息，对所述第一图像信息和所述第二图像信息进行匹配，获得匹配结果。

本申请还提供一种检索装置，包括：

目标文本区域获得单元，用于获得第一图像信息中的目标文本区域；

字符局部特征信息获得单元，用于获得所述目标文本区域中字符信息对应的字符局部特征信息；

第二图像信息获得单元，用于以所述字符局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息与图像信息中的字符信息对应的字符局部特征信息的索引关系。

本申请还提供一种电子设备，包括：

处理器；

存储器，用于存储检索程序，所述程序在被所述处理器读取执行时，执行如下操作：

获得第一图像信息中的目标文本区域；

获得所述目标文本区域中字符信息对应的字符局部特征信息；

以所述字符局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息与图像信息中的字符信息对应的字符局部特征信息的索引关系。

与现有技术相比，本申请具有以下优点：

本申请提供的图像检索方法，通过获得第一图像信息中的目标字符信息以及获得该目标字符信息所对应的目标局部特征信息，并且根据目标字符信息以及目标局部特征信息进行图像检索，使得原本仅具有文本语义属性的目标字符信息同时具有图像的局部特征属性，从而将字符信息作为可进行图像处理的局部特征信息，并结合目标字符信息应用于图像检索过程中。通过使用该方法，可避免现有的因图像的局部特征信息的区分性不足而影响检索准确率和召回率的问题，解决了因丢失图像的几何结构信息而无法利用几何一致性验证方法对检索结果进行验证而影响检索准确率和召回率的问题、以及由于文本信息的可重复性所导致的误匹配而影响检索准确率和召回率的问题。

附图说明

图1是本申请第一实施例提供的图像检索方法流程图；

图1-A是本申请第一实施例提供的第一图像信息的示意图；

图1-B是本申请第一实施例提供的第二图像信息的示意图；

图1-C是本申请第一实施例提供的备用图像信息的示意图；

图1-D是本申请第一实施例提供的备用图像信息的示意图；

图1-E是本申请第一实施例提供的商品检索场景的示意图；

图2是本申请第二实施例提供的图像检索方法流程图；

图3是本申请第三实施例提供的图像检索方法流程图；

图4是本申请第四实施例提供的图像匹配方法流程图；

图5是本申请第五实施例提供的图像检索装置的单元框图；

图6是本申请第六实施例提供的电子设备的逻辑结构示意图；

图7是本申请第七实施例提供的图像检索装置的单元框图；

图8是本申请第八实施例提供的电子设备的逻辑结构示意图；

图9是本申请第九实施例提供的图像检索装置的单元框图；

图10是本申请第十实施例提供的电子设备的逻辑结构示意图；

图11是本申请第十一实施例提供的图像匹配装置的单元框图；

图12是本申请第十二实施例提供的电子设备的逻辑结构示意图；

图13是是本申请第十三实施例提供的检索方法流程图；

图14是本申请第十四实施例提供的检索装置的单元框图；

图15是本申请第十五实施例提供的电子设备的逻辑结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

基于内容的图像检索(Content Based Image Retrieval，CBIR)是指直接采用图像内容进行图像信息查询的检索方式，即在图像数据库中检索与被输入的样本图像在内容上一致或相似的图像集合的过程，一般可通过对图像特征进行比较的方式从图像数据库中查找出具有相似图像特征的其它图像。

传统的基于内容的图像检索方法是从图像中直接提取图案区域的局部特征信息，当图像的局部特征信息的区分性不足时，其检索准确率和召回率将受到较大影响。因此，可结合图像中文本信息辅助实施上述基于内容的图像检索方法。

针对现有的基于内容的图像检索场景，为了提高图像检索的准确率和召回率，本申请提供了一种图像检索方法、与该方法相对应的图像检索装置以及电子设备，本申请还提供一种图像检索方法、与该方法相对应的图像检索装置以及电子设备。本申请另外提供一种图像检索方法、与该方法相对应的图像检索装置以及电子设备。本申请还提供一种图像匹配方法、与该方法相对应的图像匹配装置以及电子设备。以下提供实施例对所述方法、装置以及电子设备进行详细说明。

本申请第一实施例提供一种图像检索方法，该方法的应用主体可以为基于图像内容实现图像检索的计算设备应用，图1为本申请第一实施例提供的图像检索方法流程图，以下结合图1对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。

如图1所示，本实施例提供的图像检索方法包括如下步骤：

S101，获得第一图像信息中的目标字符信息。

第一图像信息可以是指图像检索过程中用于进行图像搜索的样本图像信息，目标字符信息是指第一图像信息中包含的作为图像组成部分的部分或全部字符信息。

在本实施例中采用光学字符识别(Optical Character Recognition，OCR)方式对第一图像信息进行特征提取，获得第一图像信息中的目标字符信息。

光学字符识别是指通过图像处理和模式识别技术对光学字符进行识别的方式，例如，通过检测暗、亮的模式确定图像信息中字符的形状，并采用字符识别方法将字符的形状翻译成计算机文字。本实施例中，采用光学字符识别方式对第一图像信息进行特征提取的过程可以为：采用水平分割方式对经过图像降噪、倾斜校正以及二值化处理后的第一图像信息中每一行的像素点进行投影，根据投影结果确定分割点，按照该分割点进行图像分割处理，获得第一图像信息中的文本行信息；采用垂直分割方式对上述文本行信息进行分割处理，将文本行信息中的目标字符信息分割出来。

通过上述OCR识别方式，可以获得第一图像信息中文本行信息的字符识别结果，即字符的语义，该字符识别结果可以为后续的检索提供检索信息。例如，如图1-A所示，第一图像信息为一张照片，该照片中包含“不到长城非好汉”的石碑，采用上述OCR识别方式对该照片进行识别，可以识别出该石碑上所刻写的文字的语义，“不到长城非好汉”中的每个文字均可以为目标字符信息。

S102，获得目标字符信息对应的目标局部特征信息。

图像特征提取是图像分析与图像识别的前提，其用于将高维图像数据进行简化表达。图像特征包括基于文本的特征信息(如关键字、注释等)和视觉特征信息(如颜色、纹理、形状等)两类。视觉特征信息又可分为用于描述图像共有特征的通用视觉特征信息和局部特征信息。其中，局部特征信息是图像中有别于其周围区域的特征信息，其可反映图像信息所具有的局部特殊性，是图像特征的局部表达。因此，局部特征信息需具备可区分性(包含丰富的信息量，可适用于在海量特征数据库中进行快速、准确的特征匹配)、多量性(可产生多个特征向量)、高速性(满足图像特征匹配的实时性要求)、不变性(对图像旋转、尺度缩放、亮度变化等保持不变性，对视角变化、仿射变换、噪声等也保持一定程度的稳定性)，例如，图像的局部关键点通常为具有显著特性、不会因光照条件、仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。

目标字符信息对应的目标局部特征信息指的是以目标字符信息作为第一图像信息的局部特征信息后所对应的图像处理信息，例如以目标字符信息作为第一图像信息的局部关键点后所对应的局部关键点信息，该目标字符信息具有局部关键点的所有属性。在本实施例中，以上述步骤获得的目标字符信息作为第一图像信息的局部关键点，可以按照局部关键点的相应处理方式对目标字符信息进行处理。

目标字符信息对应的目标局部特征信息可以为目标字符信息的几何结构信息，也可以为目标字符信息的特征描述信息，其中，目标字符信息的几何结构信息包括：目标字符信息的位置信息、目标字符信息的尺度信息以及目标字符信息的方向信息中的至少一种。对应的，获得所述目标字符信息所对应的目标局部特征信息，其实质为：获得目标字符信息的位置信息、目标字符信息的尺度信息、目标字符信息的方向信息以及目标字符信息的特征描述信息中的一种或多种，并将上述获得的信息作为第一图像信息的局部关键点信息。

获得目标字符信息的位置信息，可以是指获得目标字符信息在第一图像信息中的位置信息，也可以是指获得所述目标字符信息中至少两个字符信息之间的相对位置信息。在本实施例中，获得目标字符信息的位置信息的具体方式可以为：获得目标字符的边界框(bounding box)，并且获得该边界框的中心坐标信息，将该边界框的中心坐标信息作为目标字符信息的位置信息，或者将目标字符信息中任意两个或多个相邻或不相邻字符的边界框的中心坐标信息之间的相对位置关系作为目标字符信息的位置信息。边界框用于表示目标字符的边界范围，其可以为规则的四边形或者不规则的任意形状。

获得目标字符信息的尺度信息，可以是指获得所述目标字符信息相对于所述第一图像信息的尺度信息，也可以是指获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。在本实施例中，获得目标字符信息的尺度信息的具体方式可以为：获得目标字符的边界框，并且获得该边界框的尺度信息，将该边界框的尺度信息作为目标字符信息的尺度信息，进一步的，还可将目标字符信息中任意两个或多个相邻或不相邻字符的边界框的尺度信息之间的比例数值作为目标字符信息的尺度信息。

获得目标字符信息的方向信息，可以是指获得所述目标字符信息相对于所述第一图像信息的方向信息，也可以是指获得所述目标字符信息中至少两个字符信息之间的相对方向信息。在本实施例中，获得目标字符信息的方向信息的具体方式可以为：获得目标字符的边界框，并且获得该边界框的方向信息，将边界框的方向信息作为目标字符信息的方向信息，或者将目标字符信息中任意两个或多个相邻或不相邻字符的边界框的方向信息之间的相对关系作为目标字符信息的方向信息。例如，在目标字符的边界框周围计算第一图像信息的梯度方向和大小，可以得到最显著的方向，将该方向赋给对应的目标字符，针对该目标字符的后续操作均相对该方向进行计算，可确保第一图像信息的旋转不变性。

获得目标字符信息的特征描述信息相当于对目标字符信息进行编码，通过对目标字符信息进行编码，即可将目标字符信息所属的第一图像信息与具有不同位置信息、不同尺度信息以及不同方向信息等几何结构信息的其它特征信息所对应的图像信息进行比较。例如，获得作为局部关键点信息的目标字符信息之后，用一组向量将该目标字符信息进行描述，获得该目标字符信息的描述信息，该描述信息不但包括目标字符信息，也包括目标字符信息周围对其有贡献的像素点的信息，用于作为目标匹配的依据，也可使目标字符信息具有更多的不变特性，例如不会因光照变化、3D视点变化而变化。

在本实施例中，获得目标字符信息的特征描述信息，具体可以为：获得目标字符的边界框，并且获得该边界框的特征向量，将边界框的特征向量作为目标字符信息的特征描述信息。特征向量为用于表示和量化第一图像信息的数字列表，上述过程可理解为将第一图像信息转化为一个数字列表进行表示。特征向量中用来描述第一图像信息的各种属性的向量称为特征矢量。

获得目标字符的边界框的特征向量的思路为：对目标字符的边界框周围的图像区域进行分块，获得目标字符的边界框所对应的块区域，计算块区域的梯度直方图，生成具有独特性的特征向量，该特征向量是上述块区域所对应的图像信息的一种抽象表示方法，其具有唯一性。

在本实施例中，获得边界框的特征向量的过程可以为：获得第一图像信息所对应的特征图，将边界框投影至特征图上，获得特征图的块区域，针对块区域进行池化操作，获得边界框的特征向量。

在上述获得边界框的特征向量之后，为了在保证原有数据分布和重要特征信息的情况下有效简化数据，例如消除数据噪声、降低算法开销、使得特征向量更容易处理和使用，需对上述获得的边界框的特征向量进行降维操作。具体可采用现有的主成分分析法(Principal components analysis，PCA)对边界框的特征向量进行降维处理。

在本实施例中，目标字符信息所对应的目标局部特征信息为上述目标字符信息的位置信息、尺度信息、方向信息以及特征描述信息等四种信息，例如，上述照片中的“不到长城非好汉”中每个文字的位置信息、尺度信息、方向信息以及特征描述信息即为该文字所对应的目标局部特征信息。

需要说明的是，第一图像信息中的目标字符信息并不局限于上述文本信息，其还可以为各种识别码信息，例如二维码、条形码、数字码等信息，上述获得第一图像信息中的目标字符信息，还可以为获得第一图像信息中的识别码信息；上述获得目标字符信息对应的目标局部特征信息，还可以为获得所述识别码信息对应的目标局部特征信息，例如获得二维码的位置信息、方向信息以及尺寸信息等。

S103，根据目标字符信息以及目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息。

在上述步骤获得目标字符信息以及目标字符信息的位置信息、目标字符信息的尺度信息、目标字符信息的方向信息、目标字符信息的特征描述信息等目标局部特征信息之后，本步骤用于根据该目标字符信息以及目标局部特征信息进行图像检索，获得第二图像信息。

在本实施例中，根据目标局部特征信息以及目标字符信息的进行图像检索，获得第二图像信息的过程可以为：以目标字符信息和目标局部特征信息作为第一图像信息的表征信息，在目标图像数据库中进行检索，获得与第一图像信息相匹配的第二图像信息；其中，目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括与该图像信息中的字符信息相对应的局部特征信息，即，目标图像数据库中的局部特征信息中包含字符信息的位置信息、字符信息的尺寸信息、字符信息的方向信息以及字符信息的特征描述信息中的一种或多种。

在本实施例中，以目标字符信息以及目标局部特征信息作为第一图像信息的表征信息，在目标图像数据库中进行检索，获得与目标局部特征信息相匹配的第二图像信息的过程可以为：

A、从目标图像数据库中查找与目标字符信息相匹配的备用图像信息。例如，目标字符信息为“不到长城非好汉”，则从目标图像数据库中查找的与该目标字符信息相匹配的包含字符信息“不到长城非好汉”的备用图像信息，如图1-B、图1-C以及图1-D中均包含字符信息“不到长城非好汉”，则图1-B、图1-C以及图1-D均可作为备用图像信息。

B、获得与备用图像信息中的字符信息相对应的局部特征信息。例如，根据目标数据库中预先建立的图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，即可通过备用图像信息查找到其包含的、且与其建立有索引关系的字符信息相对应的局部特征信息，例如获得图1-B、图1-C以及图1-D中所包含的字符信息“不到长城非好汉”中每个字符信息的位置信息、尺度信息、方向信息以及特征描述信息等。

C、从上述与备用图像信息中的字符信息相对应的局部特征信息中获得与上述目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息，例如，采用基于树结构的最近邻搜索方法或者基于哈希的最近邻搜索方法，从所有备用图像信息的字符信息“不到长城非好汉”的每个文字的位置信息、尺度信息、方向信息以及特征描述信息等局部特征信息中，查找出与上述第一图像信息中的目标字符信息“不到长城非好汉”中各文字的位置信息、尺度信息、方向信息以及特征描述信息等目标局部特征信息的相似度数值处于预定相似度阈值范围内的局部特征信息，并将其作为备用局部特征信息。在本实施例中，该过程具体可通过计算目标局部特征信息中的目标字符信息的特征描述信息与备用图像信息中所包含的与上述目标字符信息具有相同语义的字符信息的特征描述信息之间的相似性实现，例如采用欧式空间的比对方法分别计算目标字符信息“不到长城非好汉”中“城”字的特征向量到各个备用图像信息所包含的“城”字的特征向量的相似性数值，以欧式距离作为相似性度量，两个特征向量之间的欧氏距离越小，表明相似性越高。通过该方法，可获得备用图像信息中与第一图像信息的目标字符信息相近的字符信息。

D、采用几何一致性验证方式对上述备用局部特征信息进行验证，获得与目标局部特征信息相匹配的候选局部特征信息，例如，基于目标字符信息的位置信息、尺寸信息以及方向信息等几何结构信息，采用仿射变换、透视变换等几何变换方式对备用局部特征信息进行验证，获得与目标局部特征信息正确匹配的候选局部特征信息。

E、根据备用图像信息中包含的上述候选局部特征信息的数量，获得与第一图像信息相匹配的第二图像信息，即，将备用图像信息中所包含的与目标局部特征信息正确匹配的局部特征信息的数量，作为该备用图像信息的局部特征信息与第一图像信息的目标局部特征信息的几何一致性的度量值，按照该度量值，确定第二图像信息。例如，按照图1-B、图1-C以及图1-D中包含上述候选局部特征信息的数量由多到少的顺序，对图1-B、图1-C以及图1-D进行排序，将排序靠前的预定数目的备用图像信息作为第二图像信息；或者将图1-B、图1-C以及图1-D中、包含上述候选局部特征信息的数量达到或超过预定阈值的图1-B作为第二图像信息。

需要说明的是，上述获得与第一图像信息相匹配的第二图像信息的过程还可以为：

采用与上述过程相同的方式从目标图像数据库中查找与上述目标字符信息相匹配的备用图像信息；获得与备用图像信息中的字符信息相对应的局部特征信息；从与备用图像信息中的字符信息相对应的局部特征信息中获得与目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息；按照备用图像信息中包含备用局部特征信息的数量，对备用图像信息进行排序，将排序靠前的预定数量的备用图像信息作为候选图像信息；采用几何一致性验证方式对候选图像信息进行验证，获得候选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，该过程实质为获得候选图像信息中与目标字符信息正确匹配的字符信息的数量，例如，基于目标字符信息的位置信息、尺寸信息以及方向信息等几何结构信息，采用仿射变换、透视变换等几何变换方式对候选图像信息所包含的字符信息进行验证，获得候选图像信息中与目标字符信息正确匹配的字符信息的数量；根据候选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息，例如按照候选图像信息中包含与目标字符信息正确匹配的字符信息的数量由多到少的顺序，对候选图像信息进行排序，将排序靠前的预定数量的候选图像信息作为第二图像信息。

在本实施例中，目标图像数据库可以通过如下方式获得：

首先，获得图像信息集合；例如，对被浏览过的图像信息进行采集，得到图像信息集合；

其次，获得图像信息集合中各图像信息所包含的字符信息；例如，采用光学字符识别方式对图像信息集合中所包含图像信息进行特征提取，获得上述图像信息中的字符信息。

然后，获得上述图像信息集合中各图像信息所对应的局部特征信息，该局部特征信息包括图像信息中的字符信息所对应的局部特征信息；例如，获得字符信息的位置信息、字符信息的尺度信息、字符信息的方向信息以及字符信息的特征描述信息。该局部特征信息也可包括图像局部特征信息，例如图像的局部关键点信息。

最后，利用树结构、Hash结构、倒排索引、图结构等对上述信息进行聚类，建立上述图像信息、图像信息中包含的字符信息以及图像信息对应的局部特征信息之间的索引关系，以此获得目标图像数据库。

需要说明的是，在根据目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息之前，还可获得与第一图像信息相关联的视频信息和与第一图像信息相关联的语音信息中的至少一种，并根据所述与所述第一图像信息相关联的视频信息和与所述第一图像信息相关联的语音信息中的至少一种，进行初步检索，获得目标图像数据库。与第一图像信息相关联的视频信息可以是指包含该第一图像信息的视频信息，也可以是指与第一图像信息的主题相同或相似的视频信息，例如，第一图像信息为某个商品的广告宣传页面，该广告宣传页面取自该商品的广告宣传片，则该广告宣传片为与该广告宣传页面相关联的视频信息；或者，也可以将该商品的同类别商品的广告宣传片作为与上述广告宣传页面相关联的视频信息。与第一图像信息相关联的语音信息可以为上述广告宣传片所对应的语音信息，或者与第一图像信息中的文本信息相匹配的语音信息，例如在摄制广告宣传片时所对应的语音介绍信息。上述目标图像数据库中所包含的图像信息均可以为上述与所述第一图像信息相关联的视频信息中的视频图像信息，也可以与第一图像信息相关联的语音信息所对应的图像信息。

上述根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息，可以是指：根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息，针对所述目标图像数据库进行图像检索，获得第二图像信息。

本实施例提供的图像检索方法，采用光学字符识别方式对第一图像信息(如图1-A所示)进行特征提取，获得第一图像信息中的目标字符信息“不到长城非好汉”，获得该目标字符信息的位置信息、目标字符信息的尺度信息、目标字符信息的方向信息以及目标字符信息的特征描述信息作为第一图像信息的目标局部特征信息，并且基于该目标字符信息和目标局部特征信息在目标图像数据库中进行图像检索，例如，从目标图像数据库中查找与目标字符信息“不到长城非好汉”相匹配的备用图像信息(如图1-B、图1-C以及图1-D中所示)，获得与备用图像信息中的字符信息相对应的局部特征信息，从上述与备用图像信息中的字符信息相对应的局部特征信息中获得与上述目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息，然后基于目标字符信息的位置信息、尺寸信息以及方向信息等几何结构信息，采用仿射变换、透视变换等几何变换方式对上述备用局部特征信息进行验证，获得与目标字符信息对应的目标局部特征信息正确匹配的候选局部特征信息，最后，将备用图像信息中包含的上述候选局部特征信息的数量，作为该备用图像信息的局部特征信息与第一图像信息的目标局部特征信息的几何一致性的度量值，并以此确定第二图像信息。

该方法将图像信息中文本区域的字符信息作为图像信息的局部关键点，使得原本仅具有文本语义属性的字符信息同时具有图像的局部特征属性，从而将字符信息作为可进行图像处理的局部特征信息，并结合字符信息的语义共同应用于图像检索过程中。通过使用该方法，可避免现有的因图像的局部特征信息的区分性不足而影响检索准确率和召回率，并且可避免现有的结合图像中的文本信息辅助实施基于内容的图像检索方法中、因丢失图像的几何结构信息而无法利用几何一致性验证方法对检索结果进行验证、以及由于文本信息的可重复性所导致的误匹配而影响检索准确率和召回率。

本方法的另一实施场景如图1-E所示，图1-E所示的实施场景中，采用本申请提供的图像检索方法进行商品检索。如图1-E所示，用户通过手机摄取商品图像信息，该商品图像信息中包含“待识别”字样，该商品图像信息中的目标字符信息为“待识别字样”，其对应的目标局部特征信息为“待识别字样”中每个字符的位置信息，即、与上述“待识别”相对应的位置信息，根据上述目标字符信息以及目标字符信息的位置信息在已有的商品图像库中进行图像检索，即可检索出包含上述“待识别文字”字样的商品图像信息，以此检索获得商品图像信息所属的商品A、商品B以及商品C。

在本实施例中，还可根据第一图像信息的局部特征信息进行相关图像推送，该过程具体为：获得所述第一图像信息的图像局部特征信息，图像局部特征信息可以是指图像中有别于其周围区域的颜色、纹理、形状等图像特征信息；获得与所述图像局部特征信息和所述目标局部特征信息中的至少一种局部特征信息相关联的待推送图像信息；例如，图像局部特征信息为第一图像信息中的具有特殊标识的局部图像，则与该图像局部特征信息相关联的待推送图像信息可以为其它同样具有上述特殊标识的局部图像的图像信息、或者与上述特殊标识的局部图像具有某种特定联系的图像信息，例如针对商品的广告宣传页面，该特定联系可以是指用于表示与第一图像信息所对应的商品具有相同品牌、相同使用功能、能够配套使用的商品。再例如，局部特征信息为第一图像信息中的字符信息的位置信息、方向信息、尺寸信息等信息，则与该局部特征信息相关联的待推送图像信息可以为其它包含与上述位置信息、方向信息、尺寸信息等信息相同或相似的字符信息的图像信息，将该种图像信息作为待推送图像信息，主要是基于某些具有相同品牌、相同使用功能、能够配套使用的商品，其广告宣传风格也相同或相似，因此可以基于局部特征信息进行关联推送。最后，输出所述待推送图像信息。

本申请第二实施例提供一种图像检索方法，本实施例用于将现有的基于图像局部特征信息的图像检索方式与基于字符局部特征信息的图像检索方式进行结合。如图2所示，本实施例提供的图像检索方法包括如下步骤：

S201，获得第一图像信息中的目标字符信息。

在本实施例中，可采用光学字符识别方式对第一图像信息进行特征提取，获得第一图像信息中的目标字符信息。具体实现方式可参考本申请第一实施例的步骤S101中的相关描述，在此不再赘述。

S202，获得目标字符信息所对应的字符局部特征信息。

目标字符信息所对应的字符局部特征信息可以为目标字符信息的几何结构信息，也可以为目标字符信息的特征描述信息，其中，目标字符信息的几何结构信息包括：目标字符信息的位置信息、目标字符信息的尺度信息以及目标字符信息的方向信息中的至少一种。对应的，获得所述目标字符信息所对应的目标局部特征信息，其实质为：获得目标字符信息的位置信息、目标字符信息的尺度信息、目标字符信息的方向信息以及目标字符信息的特征描述信息中的一种或多种，并将上述获得的信息作为第一图像信息的局部关键点信息。

获得目标字符信息的位置信息，可以是指获得目标字符信息在第一图像信息中的位置信息，也可以是指获得所述目标字符信息中至少两个字符信息之间的相对位置信息。在本实施例中，获得目标字符信息的位置信息的具体方式可以为：获得目标字符的边界框(bounding box)，并且获得该边界框的中心坐标信息，将该边界框的中心坐标信息作为目标字符信息的位置信息，或者将目标字符信息中任意两个或多个相邻或不相邻字符的边界框的中心坐标信息之间的相对位置关系作为目标字符信息的位置信息。边界框用于表示目标字符的边界范围，其可以为规则的四边形或者不规则的任意形状。

获得目标字符信息的尺度信息，可以是指获得所述目标字符信息相对于所述第一图像信息的尺度信息，也可以是指获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。在本实施例中，获得目标字符信息的尺度信息的具体方式可以为：获得目标字符的边界框，并且获得该边界框的尺度信息，将该边界框的尺度信息作为目标字符信息的尺度信息，进一步的，还可将目标字符信息中任意两个或多个相邻或不相邻字符的边界框的尺度信息之间的比例数值作为目标字符信息的尺度信息。

获得目标字符信息的方向信息，可以是指获得所述目标字符信息相对于所述第一图像信息的方向信息，也可以是指获得所述目标字符信息中至少两个字符信息之间的相对方向信息。在本实施例中，获得目标字符信息的方向信息的具体方式可以为：获得目标字符的边界框，并且获得该边界框的方向信息，将边界框的方向信息作为目标字符信息的方向信息，或者将目标字符信息中任意两个或多个相邻或不相邻字符的边界框的方向信息之间的相对关系作为目标字符信息的方向信息。例如，在目标字符的边界框周围计算第一图像信息的梯度方向和大小，可以得到最显著的方向，将该方向赋给对应的目标字符，针对该目标字符的后续操作均相对该方向进行计算，可确保第一图像信息的旋转不变性。

获得目标字符信息的特征描述信息相当于对目标字符信息进行编码，通过对目标字符信息进行编码，即可将目标字符信息所属的第一图像信息与具有不同位置信息、不同尺度信息以及不同方向信息等几何结构信息的其它特征信息所对应的图像信息进行比较。例如，获得作为局部关键点信息的目标字符信息之后，用一组向量将该目标字符信息进行描述，获得该目标字符信息的描述信息，该描述信息不但包括目标字符信息，也包括目标字符信息周围对其有贡献的像素点的信息，用于作为目标匹配的依据，也可使目标字符信息具有更多的不变特性，例如不会因光照变化、3D视点变化而变化。

在本实施例中，获得目标字符信息的特征描述信息，具体可以为：获得目标字符的边界框，并且获得该边界框的特征向量，将边界框的特征向量作为目标字符信息的特征描述信息。特征向量为用于表示和量化第一图像信息的数字列表，上述过程可理解为将第一图像信息转化为一个数字列表进行表示。特征向量中用来描述第一图像信息的各种属性的向量称为特征矢量。

获得目标字符的边界框的特征向量的思路为：对目标字符的边界框周围的图像区域进行分块，获得目标字符的边界框所对应的块区域，计算块区域的梯度直方图，生成具有独特性的特征向量，该特征向量是上述块区域所对应的图像信息的一种抽象表示方法，其具有唯一性。

获得边界框的特征向量的方式可以为：获得第一图像信息所对应的特征图；将边界框投影至特征图上，获得特征图的块区域；针对块区域进行池化操作，获得边界框的特征向量。

有关本步骤的具体细节请参考本申请第一实施例的步骤S102中的内容，在此不再赘述。

S203，获得第一图像信息中的目标图像局部特征信息。

第一图像信息中的目标图像局部特征信息可以是指第一图像信息中具有图像要素的视觉特征信息，该目标图像局部特征信息为非文本信息，例如为第一图像信息中图案区域的局部关键点信息。在本实施例中，目标图像局部特征信息可以是指第一图像信息中的字符局部特征信息之外的局部特征信息。可通过现有的图像特征提取方式获得该目标图像局部特征信息，如SIFT图像特征提取方法、SURF图像特征提取方法或者ORB图像特征提取方法，在此不再赘述。

S204，根据目标字符信息、字符局部特征信息以及目标图像局部特征信息进行图像检索，获得第二图像信息。

本步骤用于将字符局部特征信息和目标图像局部特征信息作为第一图像信息的局部特征信息，并结合目标字符信息进行图像检索。在本实施例中，可通过如下几种方式实现该过程：

方式一：以目标字符信息、字符局部特征信息和目标图像局部特征信息共同作为第一图像信息的表征信息，在目标图像数据库中进行检索，获得与该表征信息相匹配的第二图像信息；其中，目标图像数据库中包含图像信息、该图像信息中的字符信息以及该图像信息对应的局部特征信息之间的索引关系，该局部特征信息包括如下中的至少一种：与图像信息所包含的字符信息相对应的字符局部特征信息；图像信息所包含的图像局部特征信息。上述过程与上述第一实施例中步骤S103相类似，首先从目标图像数据库中查找与目标字符信息相匹配的备用图像信息，然后获得该备用图像信息中的字符局部特征信息和图像局部特征信息，后续基于该获得的字符局部特征信息和图像局部特征信息，与上述第一图像信息中的字符局部特征信息和图像局部特征信息进行相似度匹配，并进行几何一致性验证，在此不再赘述。

方式二：以目标图像局部特征信息作为第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；判断第一检索结果是否符合预定检索要求；如果第一检索结果不符合预定检索要求，则以目标字符信息和字符局部特征信息作为第一图像信息的第二表征信息，在目标图像数据库中进行检索，获得第二图像信息；该过程可参考本申请第一实施例的步骤S103进行理解，在此不再赘述。其中，目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，该局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

方式三：以目标图像局部特征信息作为第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；以目标字符信息和字符局部特征信息作为第一图像信息的第二表征信息，在目标图像数据库中进行检索，获得第二检索结果；根据第一检索结果和第二检索结果，获得第二图像信息；其中，目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息所包含的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

在该种方式中，第一检索结果包括至少一个第一备选图像信息和用于表示第一备选图像信息与第一图像信息之间的相似度的第一匹配值；第二检索结果包括至少一个第二备选图像信息和用于表示第二备选图像信息与第一图像信息之间的相似度的第二匹配值，上述根据第一检索结果和第二检索结果，获得第二图像信息的过程具体可以为：根据第一匹配值和第二匹配值，从第一备选图像信息和第二备选图像信息中选取满足预定匹配阈值的目标备选图像信息；采用几何一致性验证方式对目标备选图像信息进行验证，获得目标备选图像信息中与字符局部特征信息和目标图像局部特征信息正确匹配的局部特征信息的数量，例如，基于目标字符信息的位置信息、尺寸信息以及方向信息等几何结构信息，以及基于图像局部特征信息中的几何结构信息，采用仿射变换、透视变换等几何变换方式对目标备选图像信息所包含的字符信息和图像局部特征信息进行验证，获得目标备选图像信息中与目标字符信息和图像局部特征信息正确匹配的字符信息和图像局部特征信息的数量；根据目标备选图像信息中与目标字符信息和图像局部特征信息正确匹配的字符信息和图像局部特征信息的数量，获得第二图像信息。

本申请第三实施例另外提供一种图像检索方法，本实施例用于将现有的基于图像局部特征信息的图像检索方式与基于字符局部特征信息的图像检索方式进行结合。本实施例提供的图像检索方法与第二实施例所提供的图像检索方法的区别点在于：获得目标字符信息所对应的字符局部特征信息的条件有所不同。如图3中所示，该图像检索方法包括如下步骤：

S301，获得第一图像信息中的图像局部特征信息。

请参考本申请第二实施例的步骤S203理解本步骤，在此不再赘述。

S302，以图像局部特征信息作为第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果。

第一检索结果为检索获得的初始图像信息。参照现有的图像检索技术理解本步骤，在此不再赘述。

S303，判断第一检索结果是否符合预定检索要求。

例如，根据初始图像信息与第一图像信息的相似度是否达到预定的相似度阈值判断第一检索结果是否符合预定检索要求。

S304，如果第一检索结果不符合预定检索要求，则获得第一图像信息中的目标字符信息。

参照本申请第一实施例的步骤S101理解本步骤，在此不再赘述。

S305，获得目标字符信息所对应的字符局部特征信息。

参照本申请第二实施例的步骤S202理解本步骤，在此不再赘述。

S306，以目标字符信息以及字符局部特征信息作为第一图像信息的第二表征信息，在目标图像数据库中进行检索，获得第二图像信息；其中，目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，该局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

具体请参照本申请第一实施例的步骤S103理解本步骤的实施细节，在此不再赘述。

本申请第四实施例提供一种图像匹配方法，如图4所示，该图像匹配方法包括如下步骤：

S401，获得第一图像信息中的第一字符信息。

请参考本申请第一实施例的步骤S101理解本步骤，在此不再赘述。

S402，获得第一字符信息所对应的第一局部特征信息。

本实施例中，第一字符信息所对应的第一局部特征信息包括：第一字符信息的位置信息、第一字符信息的尺度信息、第一字符信息的方向信息以及第一字符信息的特征描述信息。

请参考本申请第一实施例的步骤S102理解本步骤的实施细节，在此不再赘述。

S403，获得第二图像信息中的第二字符信息。

请参考本申请第一实施例的步骤S101理解本步骤的实施细节，在此不再赘述。

S404，获得第二字符信息所对应的第二局部特征信息。

本实施例中，第二字符信息所对应的第二局部特征信息包括：第二字符信息的位置信息、第二字符信息的尺度信息、第二字符信息的方向信息以及第二字符信息的特征描述信息。

请参考本申请第一实施例的步骤S102理解本步骤的实施细节，在此不再赘述。

S405，根据第一字符信息、第一局部特征信息、第二字符信息以及第二局部特征信息，对第一图像信息和第二图像信息进行匹配，获得匹配结果。

本步骤具体可包括如下内容：

首先，根据第一字符信息和第二字符信息进行初步匹配，例如，根据第一字符信息和第二字符信息，判断第一图像信息和第二图像信息是否包含相同字符信息，如果确定第一图像信息和第二图像信息包含相同字符信息，例如，判断第一图像信息和第二图像信息中是否都包含语义为“不到长城非好汉”的文字，如果初步匹配相符，则根据第一字符信息的特征描述信息和第二字符信息的特征描述信息，计算获得第一图像信息与第二图像信息的相似度数值。例如，采用欧式空间的比对方法计算第一字符信息中所有字符信息的边界框的特征向量到第二字符信息中所有字符信息的边界框的特征向量的相似性数值，以欧式距离作为相似性度量，两个特征向量之间的欧氏距离越小，表明相似性越大。将第一字符信息与第二字符信息中、相似性数值达到预定相似度阈值的字符信息的数量，作为第一图像信息与第二图像信息的相似度数值。

其次，判断第一图像信息与第二图像信息的相似度数值是否达到预定要求。例如，判断第一字符信息与第二字符信息中、相似性数值达到预定相似度阈值的字符信息的数量是否达到或超过预定的数量阈值，如果是，则确定第一图像信息与第二图像信息的相似度数值达到预定要求。

如果第一图像信息与第二图像信息的相似度数值达到预定要求，则采用几何一致性验证方式对第一图像信息和第二图像信息进行验证，并根据验证结果获得第一图像信息与第二图像信息是否相匹配的匹配结果。例如，基于字符信息的位置信息、尺度信息以及方向信息等几何结构信息，采用仿射变换、透视变换等几何变换方式对上述相似性数值达到预定相似度阈值的字符信息进行验证，如果验证结果为：第一字符信息与第二字符信息中正确匹配的字符信息的数量达到或超过预定匹配阈值，则确定第一图像信息与第二图像信息相匹配。

上述第一实施例提供了一种图像检索方法，与之相对应的，本申请第五实施例还提供了一种图像检索装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。

请参考图5理解该实施例，图5为本实施例提供的装置的单元框图，如图5所示，本实施例提供的装置包括：

目标字符信息获得单元501，用于获得第一图像信息中的目标字符信息；

目标局部特征信息获得单元502，用于获得目标字符信息所对应的目标局部特征信息；

第二图像信息获得单元503，用于根据目标字符信息以及目标局部特征信息进行图像检索，获得第二图像信息。

可选的，所述目标字符信息对应的目标局部特征信息包括：所述目标字符信息的几何结构信息。

可选的，所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；

对应的，所述获得所述目标字符信息对应的目标局部特征信息，包括执行如下步骤中的至少一个步骤：

获得所述目标字符信息的位置信息；

获得所述目标字符信息的尺度信息；

获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符信息在所述第一图像信息中的位置信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对位置信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符信息相对于所述第一图像信息的尺度信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符信息相对于所述第一图像信息的方向信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对方向信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符的边界框；

获得所述边界框的中心坐标信息；

将所述边界框的中心坐标信息作为所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符的边界框；

获得所述边界框的尺度信息；

将所述边界框的尺度信息作为所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符的边界框；

获得所述边界框的方向信息；

将所述边界框的方向信息作为所述目标字符信息的方向信息。

可选的，所述目标字符信息对应的目标局部特征信息包括：所述目标字符信息的特征描述信息；

对应的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的特征描述信息。

可选的，所述获得所述目标字符信息的特征描述信息，包括：

获得所述目标字符的边界框；

获得所述边界框的特征向量；

将所述边界框的特征向量作为所述目标字符信息的特征描述信息。

可选的，所述获得所述边界框的特征向量，包括：

获得所述第一图像信息所对应的特征图；

将所述边界框投影至所述特征图上，获得所述特征图的块区域；

针对所述块区域进行池化操作，获得所述边界框的特征向量。

可选的，还包括：

对所述边界框的特征向量进行降维操作。

可选的，所述获得第一图像信息中的目标字符信息，包括：

采用光学字符识别方式对第一图像信息进行特征提取，获得所述第一图像信息中的目标字符信息。

可选的，所述获得第一图像信息中的目标字符信息，包括：

获得所述第一图像信息中的文本行信息；

对所述文本行信息进行分割处理，获得所述目标字符信息。

可选的，所述根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息，包括：

以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息；其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括与该图像信息中的字符信息相对应的局部特征信息。

可选的，所述以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息，包括：

从所述目标图像数据库中查找与所述目标字符信息相匹配的备用图像信息；

获得与备用图像信息中的字符信息相对应的局部特征信息；

从所述与备用图像信息中的字符信息相对应的局部特征信息中获得与所述目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息；

采用几何一致性验证方式对所述备用局部特征信息进行验证，获得与所述目标局部特征信息相匹配的候选局部特征信息；

根据所述备用图像信息中包含的候选局部特征信息的数量，获得与所述第一图像信息相匹配的第二图像信息。

可选的，所述根据所述备用图像信息中包含的候选局部特征信息的数量，获得与所述第一图像信息相匹配的第二图像信息，包括：

按照所述备用图像信息中包含的候选局部特征信息的数量由多到少的顺序，对所述备用图像信息进行排序；

将排序靠前的预定数目的备用图像信息作为与所述第一图像信息相匹配的第二图像信息。

可选的，所述以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息，包括：

从所述目标图像数据库中查找与所述目标字符信息相匹配的备用图像信息；

获得与备用图像信息中的字符信息相对应的局部特征信息；

从所述与备用图像信息中的字符信息相对应的局部特征信息中获得与所述目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息；

按照备用图像信息中包含所述备用局部特征信息的数量，对所述备用图像信息进行排序，将排序靠前的预定数量的备用图像信息作为候选图像信息；

采用几何一致性验证方式对所述候选图像信息进行验证，获得候选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；

根据所述候选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息。

可选的，所述获得第一图像信息中的目标字符信息，包括：

获得第一图像信息中的识别码信息；

所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述识别码信息对应的目标局部特征信息。

可选的，还包括：

获得与所述第一图像信息相关联的视频信息和与所述第一图像信息相关联的语音信息中的至少一种；

在根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息之前，还包括：

根据所述与所述第一图像信息相关联的视频信息和与所述第一图像信息相关联的语音信息中的至少一种，进行初步检索，获得目标图像数据库；

所述根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息，包括：

根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息，针对所述目标图像数据库进行图像检索，获得第二图像信息。

可选的，还包括：

获得所述第一图像信息的图像局部特征信息；

获得与所述图像局部特征信息和所述目标局部特征信息中的至少一种局部特征信息相关联的待推送图像信息；

输出所述待推送图像信息。

在上述的实施例中，提供了一种图像检索方法以及一种图像检索装置，此外，本申请第六实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。

该电子设备实施例如下：

请参考图6理解本实施例，图6为本实施例提供的电子设备的示意图。

如图6所示，电子设备包括：处理器601；存储器602；

存储器602，用于存储图像检索的程序，程序在被处理器读取执行时，执行如下操作：

获得第一图像信息中的目标字符信息；

获得目标字符信息所对应的目标局部特征信息；

根据目标字符信息以及目标局部特征信息进行图像检索，获得第二图像信息。

可选的，所述目标字符信息对应的目标局部特征信息包括：所述目标字符信息的几何结构信息。

可选的，所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；

对应的，所述获得所述目标字符信息对应的目标局部特征信息，包括执行如下步骤中的至少一个步骤：

获得所述目标字符信息的位置信息；

获得所述目标字符信息的尺度信息；

获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符信息在所述第一图像信息中的位置信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对位置信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符信息相对于所述第一图像信息的尺度信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。

可选的，所述获得所述目标字符信息对应的目标局部特征信息，包括：获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符信息相对于所述第一图像信息的方向信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对方向信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符的边界框；

获得所述边界框的中心坐标信息；

将所述边界框的中心坐标信息作为所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符的边界框；

获得所述边界框的尺度信息；

将所述边界框的尺度信息作为所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符的边界框；

获得所述边界框的方向信息；

将所述边界框的方向信息作为所述目标字符信息的方向信息。

可选的，所述目标字符信息对应的目标局部特征信息包括：所述目标字符信息的特征描述信息；

对应的，所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述目标字符信息的特征描述信息。

可选的，所述获得所述目标字符信息的特征描述信息，包括：

获得所述目标字符的边界框；

获得所述边界框的特征向量；

将所述边界框的特征向量作为所述目标字符信息的特征描述信息。

可选的，所述获得所述边界框的特征向量，包括：

获得所述第一图像信息所对应的特征图；

将所述边界框投影至所述特征图上，获得所述特征图的块区域；

针对所述块区域进行池化操作，获得所述边界框的特征向量。

可选的，还包括：

对所述边界框的特征向量进行降维操作。

可选的，所述获得第一图像信息中的目标字符信息，包括：

采用光学字符识别方式对第一图像信息进行特征提取，获得所述第一图像信息中的目标字符信息。

可选的，所述获得第一图像信息中的目标字符信息，包括：

获得所述第一图像信息中的文本行信息；

对所述文本行信息进行分割处理，获得所述目标字符信息。

可选的，所述根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息，包括：

以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息；其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括与该图像信息中的字符信息相对应的局部特征信息。

可选的，所述以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息，包括：

从所述目标图像数据库中查找与所述目标字符信息相匹配的备用图像信息；

获得与备用图像信息中的字符信息相对应的局部特征信息；

从所述与备用图像信息中的字符信息相对应的局部特征信息中获得与所述目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息；

采用几何一致性验证方式对所述备用局部特征信息进行验证，获得与所述目标局部特征信息相匹配的候选局部特征信息；

根据所述备用图像信息中包含的候选局部特征信息的数量，获得与所述第一图像信息相匹配的第二图像信息。

可选的，所述根据所述备用图像信息中包含的候选局部特征信息的数量，获得与所述第一图像信息相匹配的第二图像信息，包括：

按照所述备用图像信息中包含的候选局部特征信息的数量由多到少的顺序，对所述备用图像信息进行排序；

将排序靠前的预定数目的备用图像信息作为与所述第一图像信息相匹配的第二图像信息。

可选的，所述以所述目标字符信息和所述目标局部特征信息作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息，包括：

从所述目标图像数据库中查找与所述目标字符信息相匹配的备用图像信息；

获得与备用图像信息中的字符信息相对应的局部特征信息；

从所述与备用图像信息中的字符信息相对应的局部特征信息中获得与所述目标局部特征信息的相似度数值处于预定相似度阈值范围内的备用局部特征信息；

按照备用图像信息中包含所述备用局部特征信息的数量，对所述备用图像信息进行排序，将排序靠前的预定数量的备用图像信息作为候选图像信息；

采用几何一致性验证方式对所述候选图像信息进行验证，获得候选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；

根据所述候选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息。

可选的，所述获得第一图像信息中的目标字符信息，包括：

获得第一图像信息中的识别码信息；

所述获得所述目标字符信息对应的目标局部特征信息，包括：

获得所述识别码信息对应的目标局部特征信息。

可选的，还包括：

获得与所述第一图像信息相关联的视频信息和与所述第一图像信息相关联的语音信息中的至少一种；

在根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息之前，还包括：

根据所述与所述第一图像信息相关联的视频信息和与所述第一图像信息相关联的语音信息中的至少一种，进行初步检索，获得目标图像数据库；

所述根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息进行图像检索，获得第二图像信息，包括：

根据所述目标字符信息以及所述目标字符信息对应的目标局部特征信息，针对所述目标图像数据库进行图像检索，获得第二图像信息。

可选的，还包括：

获得所述第一图像信息的图像局部特征信息；

获得与所述图像局部特征信息和所述目标局部特征信息中的至少一种局部特征信息相关联的待推送图像信息；

输出所述待推送图像信息。

上述第二实施例提供了一种图像检索方法，与之相对应的，本申请第七实施例还提供了一种图像检索装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。

请参考图7理解该实施例，图7为本实施例提供的装置的单元框图，如图7所示，本实施例提供的装置包括：

目标字符信息获得单元701，用于获得第一图像信息中的目标字符信息；

字符局部特征信息获得单元702，用于获得目标字符信息所对应的字符局部特征信息；

图像局部特征信息获得单元703，用于获得第一图像信息中的图像局部特征信息；

第二图像信息获得单元704，用于根据目标字符信息、字符局部特征信息以及图像局部特征信息进行图像检索，获得第二图像信息。

可选的，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的几何结构信息。

可选的，所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；

对应的，所述获得所述目标字符信息对应的字符局部特征信息，包括执行如下步骤中的至少一个步骤：

获得所述目标字符信息的位置信息；

获得所述目标字符信息的尺度信息；

获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：

获得所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符信息在所述第一图像信息中的位置信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对位置信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：

获得所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符信息相对于所述第一图像信息的尺度信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符信息相对于所述第一图像信息的方向信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对方向信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符的边界框；

获得所述边界框的中心坐标信息；

将所述边界框的中心坐标信息作为所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符的边界框；

获得所述边界框的尺度信息；

将所述边界框的尺度信息作为所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符的边界框；

获得所述边界框的方向信息；

将所述边界框的方向信息作为所述目标字符信息的方向信息。

可选的，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的特征描述信息；所述获得所述目标字符信息对应的字符局部特征信息，包括：获得所述目标字符信息的特征描述信息。

可选的，所述获得所述目标字符信息的特征描述信息，包括：

获得所述目标字符的边界框；

获得所述边界框的特征向量；

将所述边界框的特征向量作为所述目标字符信息的特征描述信息。

可选的，所述获得所述边界框的特征向量，包括：

获得所述第一图像信息所对应的特征图；

将所述边界框投影至所述特征图上，获得所述特征图的块区域；

针对所述块区域进行池化操作，获得所述边界框的特征向量。

可选的，所述获得第一图像信息中的目标字符信息，包括：

采用光学字符识别方式对第一图像信息进行特征提取，获得所述第一图像信息中的目标字符信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述目标字符信息、所述字符局部特征信息以及所述图像局部特征信息共同作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息；其中，所述目标图像数据库中包含图像信息、该图像信息中的字符信息以及该图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括如下中的至少一种：

与图像信息所包含的字符信息相对应的字符局部特征信息；

图像信息所包含的图像局部特征信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

判断所述第一检索结果是否符合预定检索要求；

如果所述第一检索结果不符合预定检索要求，则以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二检索结果；

根据所述第一检索结果和所述第二检索结果，获得所述第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

可选的，所述第一检索结果包括至少一个第一备选图像信息和用于表示所述第一备选图像信息与所述第一图像信息之间的相似度的第一匹配值；所述第二检索结果包括至少一个第二备选图像信息和用于表示所述第二备选图像信息与所述第一图像信息之间的相似度的第二匹配值，所述根据所述第一检索结果和所述第二检索结果，获得所述第二图像信息，包括：

根据所述第一匹配值和所述第二匹配值，从所述第一备选图像信息和所述第二备选图像信息中选取满足预定匹配阈值的目标备选图像信息；

采用几何一致性验证方式对所述目标备选图像信息进行验证，获得目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；

根据所述目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息。

在上述的实施例中，提供了一种图像检索方法以及一种图像检索装置，此外，本申请第八实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。该电子设备实施例如下：

请参考图8理解本实施例，图8为本实施例提供的电子设备的示意图。

如图8所示，电子设备包括：处理器801；存储器802；

存储器802，用于存储图像检索的程序，程序在被处理器读取执行时，执行如下操作：

获得第一图像信息中的目标字符信息；

获得目标字符信息所对应的字符局部特征信息；

获得第一图像信息中的图像局部特征信息；

根据目标字符信息、字符局部特征信息以及图像局部特征信息进行图像检索，获得第二图像信息。

可选的，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的几何结构信息。

可选的，所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；

对应的，所述获得所述目标字符信息对应的字符局部特征信息，包括执行如下步骤中的至少一个步骤：

获得所述目标字符信息的位置信息；获得所述目标字符信息的尺度信息；获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：

获得所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符信息在所述第一图像信息中的位置信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对位置信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：

获得所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符信息相对于所述第一图像信息的尺度信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。

可选的，所述获得所述目标字符信息对应的字符局部特征信息，包括：获得所述目标字符信息的方向信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符信息相对于所述第一图像信息的方向信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对方向信息。

可选的，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符的边界框；

获得所述边界框的中心坐标信息；

将所述边界框的中心坐标信息作为所述目标字符信息的位置信息。

可选的，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符的边界框；

获得所述边界框的尺度信息；

将所述边界框的尺度信息作为所述目标字符信息的尺度信息。

可选的，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符的边界框；

获得所述边界框的方向信息；

将所述边界框的方向信息作为所述目标字符信息的方向信息。

可选的，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的特征描述信息；所述获得所述目标字符信息对应的字符局部特征信息，包括：获得所述目标字符信息的特征描述信息。

可选的，所述获得所述目标字符信息的特征描述信息，包括：

获得所述目标字符的边界框；

获得所述边界框的特征向量；

将所述边界框的特征向量作为所述目标字符信息的特征描述信息。

可选的，所述获得所述边界框的特征向量，包括：

获得所述第一图像信息所对应的特征图；

将所述边界框投影至所述特征图上，获得所述特征图的块区域；

针对所述块区域进行池化操作，获得所述边界框的特征向量。

可选的，所述获得第一图像信息中的目标字符信息，包括：

采用光学字符识别方式对第一图像信息进行特征提取，获得所述第一图像信息中的目标字符信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述目标字符信息、所述字符局部特征信息以及所述图像局部特征信息共同作为所述第一图像信息的表征信息，在目标图像数据库中进行检索，获得与所述第一图像信息相匹配的第二图像信息；其中，所述目标图像数据库中包含图像信息、该图像信息中的字符信息以及该图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括如下中的至少一种：

与图像信息所包含的字符信息相对应的字符局部特征信息；

图像信息所包含的图像局部特征信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

判断所述第一检索结果是否符合预定检索要求；

如果所述第一检索结果不符合预定检索要求，则以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

可选的，所述根据目标字符信息、所述字符局部特征信息以及所述图像局部特征信息进行图像检索，获得第二图像信息，包括：

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二检索结果；

根据所述第一检索结果和所述第二检索结果，获得所述第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

可选的，所述第一检索结果包括至少一个第一备选图像信息和用于表示所述第一备选图像信息与所述第一图像信息之间的相似度的第一匹配值；所述第二检索结果包括至少一个第二备选图像信息和用于表示所述第二备选图像信息与所述第一图像信息之间的相似度的第二匹配值，所述根据所述第一检索结果和所述第二检索结果，获得所述第二图像信息，包括：

根据所述第一匹配值和所述第二匹配值，从所述第一备选图像信息和所述第二备选图像信息中选取满足预定匹配阈值的目标备选图像信息；

采用几何一致性验证方式对所述目标备选图像信息进行验证，获得目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；

根据所述目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息。

上述第三实施例提供了一种图像检索方法，与之相对应的，本申请第九实施例还提供了一种图像检索装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。

请参考图9理解该实施例，图9为本实施例提供的装置的单元框图，如图9所示，本实施例提供的装置包括：

图像局部特征信息获得单元901，用于获得第一图像信息中的图像局部特征信息；

第一检索结果获得单元902，用于以图像局部特征信息作为第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

预定检索要求判断单元903，用于判断第一检索结果是否符合预定检索要求；

目标字符信息获得单元904，用于确定第一检索结果不符合预定检索要求之后，获得第一图像信息中的目标字符信息；

字符局部特征信息获得单元905，用于获得目标字符信息所对应的字符局部特征信息；

第二图像信息获得单元906，用于以目标字符信息以及字符局部特征信息作为第一图像信息的第二表征信息，在目标图像数据库中进行检索，获得第二图像信息；

其中，目标图像数据库中包含图像信息、目标字符信息以及字符局部特征信息之间的索引关系，该局部特征信息包括：与图像信息所包含的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

在上述的实施例中，提供了一种图像检索方法以及一种图像检索装置，此外，本申请第十实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。

该电子设备实施例如下：

请参考图10理解本实施例，图10为本实施例提供的电子设备的示意图。

如图10所示，电子设备包括：处理器1001；存储器1002；

存储器1002，用于存储图像检索的程序，程序在被处理器读取执行时，执行如下操作：

获得第一图像信息中的图像局部特征信息；

以图像局部特征信息作为第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果；

判断第一检索结果是否符合预定检索要求；

如果第一检索结果不符合预定检索要求，则获得第一图像信息中的目标字符信息；

获得目标字符信息所对应的字符局部特征信息；

以目标字符信息和字符局部特征信息作为第一图像信息的第二表征信息，在目标图像数据库中进行检索，获得第二图像信息；

其中，目标图像数据库中包含图像信息、目标字符信息以及字符局部特征信息之间的索引关系，该局部特征信息包括：与图像信息所包含的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

上述第四实施例提供了一种图像匹配方法，与之相对应的，本申请第十一实施例还提供了一种图像匹配装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。

请参考图11理解该实施例，图11为本实施例提供的装置的单元框图，如图11所示，本实施例提供的装置包括：

第一字符信息获得单元1101，用于获得第一图像信息中的第一字符信息；

第一局部特征信息获得单元1102，用于获得第一字符信息所对应的第一局部特征信息；

第二字符信息获得单元1103，用于获得第二图像信息中的第二字符信息；

第二局部特征信息获得单元1104，用于获得第二字符信息所对应的第二局部特征信息；

匹配结果获得单元1105，用于根据第一字符信息、第一局部特征信息、第二字符信息以及第二局部特征信息，对第一图像信息和第二图像信息进行匹配，获得匹配结果。

可选的，根据第一字符信息、第一局部特征信息、第二字符信息以及第二局部特征信息，对第一图像信息和第二图像信息进行匹配，获得匹配结果，包括：

根据第一字符信息和第二字符信息，判断第一图像信息和第二图像信息是否包含相同字符信息；

如果确定第一图像信息和第二图像信息包含相同字符信息，则根据第一局部特征信息和第二局部特征信息，计算获得第一图像信息与第二图像信息的相似度数值；

判断第一图像信息与第二图像信息的相似度数值是否达到预定要求；

如果是，则采用几何一致性验证方式对第一图像信息和第二图像信息进行验证，并根据验证结果获得匹配结果。

在上述的实施例中，提供了一种图像匹配方法以及一种图像匹配装置，此外，本申请第十二实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。

该电子设备实施例如下：

请参考图12理解本实施例，图12为本实施例提供的电子设备的示意图。

如图12所示，电子设备包括：处理器1201；存储器1202；

存储器1202，用于存储图像匹配的程序，程序在被处理器读取执行时，执行如下操作：

获得第一图像信息中的第一字符信息；

获得第一字符信息所对应的第一局部特征信息；

获得第二图像信息中的第二字符信息；

获得第二字符信息所对应的第二局部特征信息；

根据第一字符信息、第一局部特征信息、第二字符信息以及第二局部特征信息，对第一图像信息和第二图像信息进行匹配，获得匹配结果。

可选的，根据第一字符信息、第一局部特征信息、第二字符信息以及第二局部特征信息，对第一图像信息和第二图像信息进行匹配，获得匹配结果，包括：

根据第一字符信息和第二字符信息，判断第一图像信息和第二图像信息是否包含相同字符信息；

如果确定第一图像信息和第二图像信息包含相同字符信息，则根据第一局部特征信息和第二局部特征信息，计算获得第一图像信息与第二图像信息的相似度数值；

判断第一图像信息与第二图像信息的相似度数值是否达到预定要求；

如果是，则采用几何一致性验证方式对第一图像信息和第二图像信息进行验证，并根据验证结果获得匹配结果。

本申请第十三实施例提供了一种检索方法，该方法不考虑字符信息的语义属性，仅将字符信息对应的位置、尺寸、方向以及特征向量等字符局部特征信息作为检索依据，如图13所示，该方法包括如下步骤：

S1301，获得第一图像信息中的目标文本区域。

例如，通过OCR识别中的图像处理和版面划分模块对第一图像信息进行处理，得到第一图像信息中包含有文字内容的目标文本区域。该过程无需识别出目标文本区域中字符信息的语义，仅获得包含文本信息的图像区域的形状即可。

S1302，获得目标文本区域中的字符信息对应的字符局部特征信息。

例如，对上述目标文本区域进行字符分割处理，并获得分割处理后的每一个字符的位置、尺寸、方向以及特征向量等字符局部特征信息。

S1303，以字符局部特征信息作为第一图像信息的表征信息，在目标图像数据库中进行检索，获得第二图像信息；该目标图像数据库中包含图像信息与图像信息中的字符信息对应的字符局部特征信息的索引关系。具体请参考本申请第一实施例的步骤S103的部分内容理解本步骤，在此不再赘述。

本方法可作为基于内容的图像检索的辅助方案，例如，在图像的局部特征信息的区分性不足时，或者由于文本信息的重复性高而造成误匹配时，可将本方法作为上述方案的补充方案。

上述第十三实施例提供了一种检索方法，与之相对应的，本申请第十四实施例还提供了一种检索装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。

请参考图14理解该实施例，图14为本实施例提供的装置的单元框图，如图14所示，本实施例提供的装置包括：

目标文本区域获得单元1401，用于获得第一图像信息中的目标文本区域；

字符局部特征信息获得单元1402，用于获得目标文本区域中的字符信息对应的字符局部特征信息；

第二图像信息获得单元1403，用于以字符局部特征信息作为第一图像信息的表征信息，在目标图像数据库中进行检索，获得第二图像信息；

其中，目标图像数据库中包含图像信息与图像信息中的字符信息对应的字符局部特征信息的索引关系。

在上述的实施例中，提供了一种检索方法以及一种检索装置，此外，本申请第十五实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。该电子设备实施例如下：

请参考图15理解本实施例，图15为本实施例提供的电子设备的示意图。

如图15所示，电子设备包括：处理器1501；存储器1502；

存储器1502，用于存储检索程序，程序在被处理器读取执行时，执行如下操作：获得第一图像信息中的目标文本区域；获得目标文本区域中的字符信息对应的字符局部特征信息；以字符局部特征信息作为第一图像信息的表征信息，在目标图像数据库中进行检索，获得第二图像信息；其中，目标图像数据库中包含图像信息与图像信息中的字符信息对应的字符局部特征信息的索引关系。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (13)

1.一种图像检索方法，其特征在于，包括：

获得第一图像信息中的目标字符信息；

获得所述目标字符信息对应的字符局部特征信息，其中，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的几何结构信息；所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；对应的，所述获得所述目标字符信息对应的字符局部特征信息，包括执行如下步骤中的至少一个步骤：获得所述目标字符信息的位置信息；获得所述目标字符信息的尺度信息；获得所述目标字符信息的方向信息；

获得所述第一图像信息中的目标图像局部特征信息；

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果，所述第一检索结果包括至少一个第一备选图像信息和用于表示所述第一备选图像信息与所述第一图像信息之间的相似度的第一匹配值；以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二检索结果，所述第二检索结果包括至少一个第二备选图像信息和用于表示所述第二备选图像信息与所述第一图像信息之间的相似度的第二匹配值；根据所述第一匹配值和所述第二匹配值，从所述第一备选图像信息和所述第二备选图像信息中选取满足预定匹配阈值的目标备选图像信息；采用几何一致性验证方式对所述目标备选图像信息进行验证，获得目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；根据所述目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

2.根据权利要求1所述的方法，其特征在于，所述获得所述目标字符信息对应的字符局部特征信息，包括：

获得所述目标字符信息的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符信息在所述第一图像信息中的位置信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对位置信息。

4.根据权利要求1所述的方法，其特征在于，所述获得所述目标字符信息对应的字符局部特征信息，包括：

获得所述目标字符信息的尺度信息。

5.根据权利要求4所述的方法，其特征在于，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符信息相对于所述第一图像信息的尺度信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对尺寸信息。

6.根据权利要求1所述的方法，其特征在于，所述获得所述目标字符信息对应的字符局部特征信息，包括：获得所述目标字符信息的方向信息。

7.根据权利要求6所述的方法，其特征在于，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符信息相对于所述第一图像信息的方向信息；或者，

获得所述目标字符信息中至少两个字符信息之间的相对方向信息。

8.根据权利要求1或2所述的方法，其特征在于，所述获得所述目标字符信息的位置信息，包括：

获得所述目标字符的边界框；

获得所述边界框的中心坐标信息；

将所述边界框的中心坐标信息作为所述目标字符信息的位置信息。

9.根据权利要求1或4所述的方法，其特征在于，所述获得所述目标字符信息的尺度信息，包括：

获得所述目标字符的边界框；

获得所述边界框的尺度信息；

将所述边界框的尺度信息作为所述目标字符信息的尺度信息。

10.根据权利要求1或6所述的方法，其特征在于，所述获得所述目标字符信息的方向信息，包括：

获得所述目标字符的边界框；

获得所述边界框的方向信息；

将所述边界框的方向信息作为所述目标字符信息的方向信息。

11.根据权利要求1所述的方法，其特征在于，所述获得第一图像信息中的目标字符信息，包括：

采用光学字符识别方式对第一图像信息进行特征提取，获得所述第一图像信息中的目标字符信息。

12.一种图像检索装置，其特征在于，包括：

目标字符信息获得单元，用于获得第一图像信息中的目标字符信息；

字符局部特征信息获得单元，用于获得所述目标字符信息对应的字符局部特征信息，其中，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的几何结构信息；所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；对应的，所述获得所述目标字符信息对应的字符局部特征信息，包括执行如下步骤中的至少一个步骤：获得所述目标字符信息的位置信息；获得所述目标字符信息的尺度信息；获得所述目标字符信息的方向信息；

图像局部特征信息获得单元，用于获得所述第一图像信息中的图像局部特征信息；

第二图像信息获得单元，用于以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果，所述第一检索结果包括至少一个第一备选图像信息和用于表示所述第一备选图像信息与所述第一图像信息之间的相似度的第一匹配值；以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二检索结果，所述第二检索结果包括至少一个第二备选图像信息和用于表示所述第二备选图像信息与所述第一图像信息之间的相似度的第二匹配值；根据所述第一匹配值和所述第二匹配值，从所述第一备选图像信息和所述第二备选图像信息中选取满足预定匹配阈值的目标备选图像信息；采用几何一致性验证方式对所述目标备选图像信息进行验证，获得目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；根据所述目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。

13.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储图像检索程序，所述程序在被所述处理器读取执行时，执行如下操作：

获得第一图像信息中的目标字符信息；

获得所述目标字符信息对应的字符局部特征信息，其中，所述目标字符信息对应的字符局部特征信息包括：所述目标字符信息的几何结构信息；所述目标字符信息的几何结构信息包括如下中的至少一种：所述目标字符信息的位置信息；所述目标字符信息的尺度信息；所述目标字符信息的方向信息；对应的，所述获得所述目标字符信息对应的字符局部特征信息，包括执行如下步骤中的至少一个步骤：获得所述目标字符信息的位置信息；获得所述目标字符信息的尺度信息；获得所述目标字符信息的方向信息；

获得所述第一图像信息中的图像局部特征信息；

以所述图像局部特征信息作为所述第一图像信息的第一表征信息，在目标图像数据库中进行检索，获得第一检索结果，所述第一检索结果包括至少一个第一备选图像信息和用于表示所述第一备选图像信息与所述第一图像信息之间的相似度的第一匹配值；以所述目标字符信息和所述字符局部特征信息作为所述第一图像信息的第二表征信息，在所述目标图像数据库中进行检索，获得第二检索结果，所述第二检索结果包括至少一个第二备选图像信息和用于表示所述第二备选图像信息与所述第一图像信息之间的相似度的第二匹配值；根据所述第一匹配值和所述第二匹配值，从所述第一备选图像信息和所述第二备选图像信息中选取满足预定匹配阈值的目标备选图像信息；采用几何一致性验证方式对所述目标备选图像信息进行验证，获得目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量；根据所述目标备选图像信息中与目标局部特征信息正确匹配的局部特征信息的数量，获得第二图像信息；

其中，所述目标图像数据库中包含图像信息、图像信息中的字符信息以及图像信息对应的局部特征信息之间的索引关系，图像信息对应的局部特征信息包括：与图像信息中的字符信息相对应的字符局部特征信息、以及图像信息所包含的图像局部特征信息。