CN110532415A - 图像搜索处理方法、装置、设备及存储介质 - Google Patents
图像搜索处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110532415A CN110532415A CN201910812737.6A CN201910812737A CN110532415A CN 110532415 A CN110532415 A CN 110532415A CN 201910812737 A CN201910812737 A CN 201910812737A CN 110532415 A CN110532415 A CN 110532415A
- Authority
- CN
- China
- Prior art keywords
- image
- main body
- processing
- subject
- canvas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 157
- 238000000034 method Methods 0.000 claims abstract description 109
- 238000010586 diagram Methods 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 68
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims description 74
- 230000015654 memory Effects 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 15
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000004807 localization Effects 0.000 abstract 1
- 235000019580 granularity Nutrition 0.000 description 19
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Character Input (AREA)
Abstract
本申请公开了图像搜索处理方法、装置、设备及存储介质，涉及图像处理技术领域。本方法的实现方案包括：响应于接收到的图像搜索指令，获取所述图像搜索指令中的待识别图像，所述待识别图像包括至少一个第一图像主体，所述第一图像主体是以下任意一种：文字、示意图和图片；对每一个所述第一图像主体进行定位处理，得到每一个所述第一图像主体在所述待识别图像中的第一位置信息，并对每一个所述第一图像主体进行内容识别处理，得到每一个所述第一图像主体的识别结果；根据每一个所述第一图像主体的第一位置信息和识别结果，确定并显示与所述待识别图像匹配的图像组。本方法具有图像搜索适用范围广泛，搜索方式灵活，图像搜索结果精度高的有益特点。
Description
技术领域
本申请涉及图像处理领域，尤其是一种图像搜索处理方法、装置、设备及存储介质。
背景技术
随着互联网上图像数据的日渐庞大，用户对图像搜索技术的要求也在不断提高。
相关技术中，图像搜索的方法包括用户输入用于描述图像内容的文字，终端返回与文字内容匹配的图像组；或者，用户输入原始图像，终端返回与原始图像内容匹配的图像组，作为“以图搜图”的图像搜索结果。
然而，当用户需要搜索的目标图像的图像内容较为复杂，用户难以通过文字描述其图像内容，且没有能够用于“以图搜图”的原始图像时，将无法获取到该用户想要的图像搜索结果，存在图像搜索适用范围小，搜索条件限制多的缺陷。同时，仅根据文字内容或者原始图像内容，进行的图像搜索，存在图像搜索精度低的缺陷。
发明内容
本申请实施例提供一种图像搜索处理方法、装置、设备及存储介质，用于解决现有图像搜索处理方法适用范围受限、图像搜索精度低的问题。
第一方面，本申请提供了一种图像搜索处理方法，包括：
响应于接收到的图像搜索指令，获取所述图像搜索指令中的待识别图像，所述待识别图像包括至少一个第一图像主体，所述第一图像主体是以下任意一种：文字、示意图和图片；
对每一个所述第一图像主体进行定位处理，得到每一个所述第一图像主体在所述待识别图像中的第一位置信息，并对每一个所述第一图像主体进行内容识别处理，得到每一个所述第一图像主体的识别结果；
根据每一个所述第一图像主体的第一位置信息和识别结果，确定并显示与所述待识别图像匹配的图像组。
待识别图像的第一图像主体是以下任意一种：文字、示意图和图片，待识别图像的表达方式灵活，图像搜索适用范围广泛；在根据第一图像主体是文字、图形或图像的待识别图像，进行图像搜索处理时，根据每一个第一图像主体的位置信息和识别结果，确定与待识别图像匹配的图像组，图像搜索精度高。
进一步地，对每一个所述第一图像主体进行定位处理，得到每一个所述第一图像主体在所述待识别图像中的第一位置信息，包括：
对所述待识别图像的图像画布进行分割处理，得到N个画布区域，N为大于2的整数；
确定每一个所述第一图像主体分布的所述画布区域，并将每一个所述第一图像主体分布的所述画布区域作为所述第一位置信息。
根据每一个第一图像主体在待识别图像中分布的画布区域，来确定与待识别图像匹配的图像组，图像搜索精度高。
进一步地，对所述待识别图像的图像画布进行分割处理，得到N个画布区域，包括：
对所述待识别图像的图像画布进行至少一次分割处理，其中，各次分割处理对图像画布进行的分割方式不同；
确定每一个所述第一图像主体分布的所述画布区域，并将每一个所述第一图像主体分布的所述画布区域作为所述第一位置信息，包括：
确定每一个所述第一图像主体在每一次分割处理中分布的所述画布区域，得到每一个所述第一图像主体在每一次分割处理中的所述第一位置信息。
以对待识别图像的图像画布进行多次分割处理的方式，来确定待识别图像中的每一个第一图像主体多维化的位置信息，根据每一个第一图像主体多维化的位置信息进行图像搜索处理，图像搜索精度高。
进一步地，所述待识别图像中的所述示意图的添加方式包括：用户手绘示意图或插入现有的示意图；所述待识别图像中的所述文字的添加方式包括：用户手写文字或使用键盘输入文字，所述键盘包括实体键盘和虚拟键盘。
当用户无法只通过文字描述待识别图像的图像内容，也没有可用的原始图像用作待识别图像时，其可通过文字、示意图、图片的组合方式来描述用于图像搜索的待识别图像，其中，用户可通过手绘示意图或者插入现有示意图的方式，在待识别图像中添加示意图，实现了通过“泛绘画”或者“草图”的方式，简单直观地描述待识别图像的图像内容。同时，用户还可通过手写的方式，在待识别图像中添加文字，待识别图像的表达方式具有灵活性和便捷性，图像搜索适用范围广泛，搜索方式灵活。
进一步地，对每一个所述第一图像主体进行内容识别处理，得到每一个所述第一图像主体的识别结果，包括：
对每一个所述第一图像主体进行内容识别处理，得到用于描述每一个所述第一图像主体的字符串。
通过将待识别图像中的文字、图形或图像格式的第一图像主体转换为字符串，利用每一个第一图像主体对应的字符串进行图像搜索，实现了对第一图像主体形式多样化的待识别图像进行的图像搜索处理，图像搜索方式灵活，适用范围广泛。
进一步地，根据每一个所述第一图像主体的所述第一位置信息和所述识别结果，确定与所述待识别图像匹配的图像组，包括：
根据每一个所述第一图像主体对应的所述字符串和每一个所述第一图像主体在至少一次分割处理中对应的所述第一位置信息，进行至少一次搜索处理，得到与所述待识别图像匹配的图像组。
根据每一个第一图像主体对应的字符串和多维位置信息，进行至少一次搜索处理，图像搜索方式灵活，适用范围广泛，图像搜索结果精度高。同时，利用每一个第一图像主体的多维位置信息进行图像搜索，图像搜索效率高。
所述方法还包括：对所述第一图像主体对应的所述字符串的分类粒度进行放大处理，并根据分类粒度放大处理后的字符串进行搜索处理。
对第一图像主体对应的字符串的分类粒度进行放大处理，并利用分类粒度放大后的字符串进行图像搜索，图像搜索方式灵活，搜索维度多样化，能够匹配到丰富的搜索结果，有利于有效提升用户体验。
进一步地，所述匹配的图像组中包括一个匹配图像或者至少两个相似的匹配图像，所述匹配图像中包括至少一个第二图像主体，所述第二图像主体为图像，其中，
所述第二图像主体的数量与所述第一图像主体的数量相同；
每一个所述第二图像主体的第二位置信息与对应的所述第一图像主体的所述第一位置信息相同，其中，所述第二位置信息为所述第二图像主体在所述匹配图像中分布的画布区域；
每一个所述第二图像主体与对应的所述第一图像主体的识别结果相匹配。
搜索得到的匹配图像与待识别图像之间，不仅满足图像主体的内容匹配，还满足图像主体的位置关系相适应，图像搜索精度高。
第二方面，本申请提供了一种图像搜索处理的装置，包括：
获取单元，用于响应于接收到的图像搜索指令，获取所述图像搜索指令中的待识别图像，所述待识别图像包括至少一个第一图像主体，所述第一图像主体是以下任意一种：文字、示意图和图片；
第一处理单元，用于对每一个所述第一图像主体进行定位处理，得到每一个所述第一图像主体在所述待识别图像中的第一位置信息，并对每一个所述第一图像主体进行内容识别处理，得到每一个所述第一图像主体的识别结果；
第二处理单元，用于根据每一个所述第一图像主体的第一位置信息和识别结果，确定并显示与所述待识别图像匹配的图像组。
进一步地，所述第一处理单元，包括：
第一处理子单元，用于对所述待识别图像的图像画布进行分割处理，得到N个画布区域，N为大于2的整数；
第二处理子单元，用于确定每一个所述第一图像主体分布的所述画布区域，并将每一个所述第一图像主体分布的所述画布区域作为所述第一位置信息。
进一步地，所述第一处理子单元，包括：
第一处理模块，用于对所述待识别图像的图像画布进行至少一次分割处理，其中，各次分割处理对图像画布进行的分割方式不同；
所述第二处理子单元，包括：
第二处理模块，用于确定每一个所述第一图像主体在每一次分割处理中分布的所述画布区域，得到每一个所述第一图像主体在每一次分割处理中的所述第一位置信息。
进一步地，所述待识别图像中的所述示意图的添加方式包括：用户手绘示意图或插入现有的示意图；所述待识别图像中的所述文字的添加方式包括：用户手写文字或使用键盘输入文字，所述键盘包括实体键盘和虚拟键盘。
进一步地，所述第一处理单元，还包括：
第三处理子单元，用于对每一个所述第一图像主体进行内容识别处理，得到用于描述每一个所述第一图像主体的字符串。
进一步地，所述第二处理单元，包括：
第四处理子单元，用于根据每一个所述第一图像主体对应的所述字符串和每一个所述第一图像主体在至少一次分割处理中对应的所述第一位置信息，进行至少一次搜索处理，得到与所述待识别图像匹配的图像组。
进一步地，所述第四处理子单元包括第三处理模块，用于对所述第一图像主体对应的所述字符串的分类粒度进行放大处理，并根据分类粒度放大处理后的字符串进行搜索处理。
进一步地，所述匹配的图像组中包括一个匹配图像或者至少两个相似的匹配图像，所述匹配图像中包括至少一个第二图像主体，所述第二图像主体为图像，其中，
所述第二图像主体的数量与所述第一图像主体的数量相同；
每一个所述第二图像主体的第二位置信息与对应的所述第一图像主体的所述第一位置信息相同，其中，所述第二位置信息为所述第二图像主体在所述匹配图像中分布的画布区域；
每一个所述第二图像主体与对应的所述第一图像主体的识别结果相匹配。
第三方面，本申请提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。
第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。
第五方面，本申请提供了一种图像搜索处理的方法，包括：
接收图像搜索指令，基于所述图像搜索指令中的待搜索图像，确定与所述待搜索图像匹配的图像组并显示；
其中，所述待搜索图像包括至少一个第一图像主体，所述第一图像主体可以是以下任意一种或者几种：文字、示意图和图片。
上述申请中的一个实施例具有如下优点或有益效果：图像搜索适用范围广，搜索结果精度高。因为采用了响应于接收到的图像搜索指令，获取所述图像搜索指令中的待识别图像，所述待识别图像包括至少一个第一图像主体，所述第一图像主体是以下任意一种：文字、示意图和图片；对每一个所述第一图像主体进行定位处理，得到每一个所述第一图像主体在所述待识别图像中的第一位置信息，并对每一个所述第一图像主体进行内容识别处理，得到每一个所述第一图像主体的识别结果；根据每一个所述第一图像主体的第一位置信息和识别结果，确定并显示与所述待识别图像匹配的图像组的技术手段，所以克服了相关图像搜索技术中的搜索适用范围受限，搜索结果精度不高的问题，进而达到图像搜索适用范围广泛，搜索方式灵活，图像搜索精度高的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的一种图像搜索处理方法的流程示意图；
图1a-1c是本申请实施例提供的一种待识别图像的示意图；
图2是本申请实施例提供的又一种图像搜索处理方法的流程示意图；
图2a-2d是本申请实施例提供的一种图像画布分割处理示意图；
图2e是利用图1b搜索得到的匹配图像；
图2f是利用图1b搜索得到的匹配图像
图3是本申请实施例提供的一种图像搜索处理装置的结构示意图；
图4是本申请实施例提供的又一种图像搜索处理装置的结构示意图；
图5是本申请实施例提供的一种图像搜索处理设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请涉及的名词解释：
示意图：具有概括性和可识性的示意性绘图。
OCR：Optical Character Recognition，光学字符识别，是指通过检测暗、亮模式以确定文字形状，并利用字符识别方法将文字形状翻译成计算机文字的技术。
本申请的应用场景：随着互联网上图像数据的日渐庞大，用户对图像搜索技术的要求也在不断提高。相关技术中，图像搜索的方法包括用户输入用于描述图像内容的文字，终端返回与文字内容匹配的图像组；或者，用户输入原始图像，终端返回与原始图像匹配的图像组，作为“以图搜图”的图像搜索结果。
然而，当用户需要的目标图像的图像内容较为复杂，例如，用户需要搜索的目标图像中包括多个图像主体，且每一个图像主体在目标图像中具有确定的分布位置，此时用户难以通过文字描述其图像内容，且没有能够用于“以图搜图”的原始图像时，将无法获取到该用户想要的图像搜索结果。
本申请提供的图像搜索处理方法、装置、设备及存储介质，旨在解决上述技术问题。
图1为本申请实施例提供的一种图像搜索处理方法，如图1所示，该方法包括：
步骤101、响应于接收到的图像搜索指令，获取图像搜索指令中的待识别图像，待识别图像包括至少一个第一图像主体，第一图像主体是以下任意一种：文字、示意图和图片。
在本实施例中，具体的，本实施例的执行主体为终端设备或者设置在终端设备上的服务器、或者控制器、或者其他可以执行本实施例的装置或设备，本实施例以执行主体为设置在终端设备上的应用软件为例进行说明。
在用户进行图像搜索时,其需要在应用软件提供的空白图像画布中插入文字、示意图或者图片，添加文字的方式包括在空白图像画布中书写文字，或者使用键盘键入文字，键盘包括实体键盘和虚拟键盘，添加示意图的方式包括在空白图像画布中绘制示意图，或者插入现有的示意图,添加图片的方式包括在空白图像画布中插入现有的图片。插入空白图像画布中的文字、示意图或者图片构成了待识别图像的第一图像主体,每一个第一图像主体在待识别图像的图像画布中具有确定的位置。
在输入待识别图像时，用户可以通过文字方式来描述待识别图像中的第一图像主体；也可以通过绘制示意图或插入示意图的方式来描述待识别图像中的第一图像主体，示意图是一种具有概括性和可视性的简单示意图，绘制简单，操作方便，实现了通过“泛绘画”或者“草图”方式来描述待识别图像的图像内容，描述方式简单灵活；用户还可以利用插入的图片来描述待识别图像的第一图像主体，待识别图像的表达方式具有多样性和灵活性。待识别图像包括至少一个第一图像主体，每一个第一图像主体在待识别图像中具有固定的位置，待识别图像不仅包括需要匹配的各个第一图像主体，还包括各个第一图像主体之间的位置关系。对于具有复杂图像内容的待识别图像来说，用户不方便通过文字方式来描述待识别图像的全部图像内容，也不一定有具有相似图像内容的原始图像，此时，用户可以通过文字、示意图、图片组合的方式来描述待识别图像，文字、示意图、图片之间的位置关系即为构成待识别图像的各个第一图像主体之间的位置关系。
示例性的，图1a为本申请实施例提供的一种待识别图像的示意图，如图1a所示，该待识别图像中包含两个第一图像主体，两个第一图像主体均为文字；图1b为本申请实施例提供的另一种待识别图像的示意图，如图1b所示，该待识别图像中包含两个第一图像主体，两个第一图像主体分别为示意图和文字；图1c为本申请实施例提供的再一种待识别图像的示意图，如图1c所示，该待识别图像中包含三个第一图像主体，三个第一图像主体分别为示意图、图片和文字，示意图、图片和文字之间的位置关系，构成了待识别图像中的各个第一图像主体之间的位置关系，图1c表示的待识别图像的图像内容为“林志玲的左右侧各有一人”。
步骤102、对每一个第一图像主体进行定位处理，得到每一个第一图像主体在待识别图像中的第一位置信息，并对每一个第一图像主体进行内容识别处理，得到每一个第一图像主体的识别结果；
在本实施例中，具体的，待识别图像中包括至少一个第一图像主体，每一个第一图像主体在待识别图像的图像画布中具有固定位置，对每一个第一图像主体进行定位处理，通过确定每一个第一图像主体在待识别图像的图像画布中分布的画布区域，来得到每一个第一图像主体的第一位置信息。同时，对每一个第一图像主体进行内容识别处理，得到每一个第一图像主体的识别结果。本步骤确定出了构成待识别图像的每一个第一图像主体的位置信息，也确定出了每一个第一图像主体的内容信息，在利用待识别图像进行图像搜索时，确定与每一个第一图像主体的位置信息、内容信息相匹配的其他图像。
步骤103、根据每一个第一图像主体的第一位置信息和识别结果，确定并显示与待识别图像匹配的图像组。
在本实施例中，具体的，在利用待识别图像进行图像搜索得到匹配图像时，匹配图像不仅需要与每一个第一图像主体的识别结果相适应，还需要满足各个第一图像主体的之间的位置关系。根据确定出的每一个第一图像主体的第一位置信息和识别结果，即根据每一个第一图像主体在待识别图像中的分部区域，和根据用于描述每一个第一图像主体含义的识别结果，进行图像搜索处理，得到与待识别图像匹配的图像组，并进行显示，匹配的图像组中包括一张匹配图像或者至少两张相似的匹配图像。
本实施例通过响应于接收到的图像搜索指令，获取图像搜索指令中的待识别图像，待识别图像包括至少一个第一图像主体，第一图像主体是以下任意一种：文字、示意图和图片；对每一个第一图像主体进行定位处理，得到每一个第一图像主体在待识别图像中的第一位置信息，并对每一个第一图像主体进行内容识别处理，得到每一个第一图像主体的识别结果；根据每一个第一图像主体的第一位置信息和识别结果，确定并显示与待识别图像匹配的图像组。用于图像搜索的待识别图像的第一图像主体，可以是文字、示意图和图片中的任意一种，待识别图像的表达方式具有灵活性和便捷性，适用于具有复杂图像内容的待识别图像的表达，当用户无法通过纯文字来描述待识别图像中的图像内容，也没有合适的原始图像用作待识别图像时，可以利用文字、示意图和图片组合的方式来表达待识别图像，图像搜索适用范围广泛，搜索方式灵活；在利用待识别图像进行图像搜索时，根据每一个第一图像主体的第一位置信息和识别结果，确定与待识别图像匹配的图像组，得到的图像组中的匹配图像不仅与每一个第一图像主体的识别结果相适应，还与每一个第一图像主体的位置信息相匹配，能够实现复杂图像内容的图像搜索处理，图像搜索处理得到的匹配图像的匹配度高，有利于实现灵活、精确、快速的图像搜索处理，有利于提升用户体验。
图2为本申请实施例提供的另一种图像搜索处理方法的流程示意图，如图2所示，该方法包括：
步骤201、响应于接收到的图像搜索指令，获取图像搜索指令中的待识别图像，待识别图像包括至少一个第一图像主体，第一图像主体是以下任意一种：文字、示意图和图片。
在本实施例中，具体的，本步骤可以参见图1的步骤101，不再赘述。
步骤202、对待识别图像的图像画布进行至少一次分割处理，确定每一个第一图像主体在每一次分割处理中的第一位置信息，并对每一个第一图像主体进行内容识别处理，得到用于描述每一个第一图像主体的字符串。
在本实施例中，具体的，对待识别图像的图像画布进行分割处理，得到N个画布区域，N为大于2的整数；确定每一个第一图像主体分布的画布区域，并将每一个第一图像主体分布的画布区域作为第一位置信息。更具体的，对待识别图像的图像画布进行至少一次分割处理，每一次分割处理得到m*m个画布区域，m为大于1的任一整数；确定每一个第一图像主体在每一次分割处理中分布的画布区域，并将分布的画布区域作为每一个第一图像主体在每一次分割处理中的第一位置信息。对待识别图像进行的每一次分割处理的分割方式不同。
确定每一个第一图像主体分布的画布区域的方法包括：利用自动框选技术对每一个第一图像主体进行框选，得到包含整个第一图像主体的最小矩形区域；确定每一个第一图像主体对应的最小矩形区域，与m*m个画布区域的分布关系，将与最小矩形区域存在交集的画布区域，作为第一图像主体在该次分割处理中分布的画布区域，并将分布的画布区域作为第一图像主体在该次分割处理中的第一位置关系。
示例性的，对图1b所示的待识别图像的图像画布进行4次均等分割处理，分别得到3*3、2*2、1*1、1*1个画布区域。图2a为本申请实施例提供的一种图像画布分割处理示意图，如图2a所示，对待识别图像的图像画布进行九宫格均等分割处理，得到3*3个画布区域，示意图形式的图像主体分布的画布区域包括“左上、左中、左下、中上、中中、中下”的六个画布区域，“林志玲”文字形式的图像主体分布的画布区域包括“中中、右中”的两个画布区域。图2b为本申请实施例提供的另一种图像画布分割处理示意图，如图2b所示，对待识别图像的图像画布进行田字格均等分割处理，得到2*2个画布区域，示意图形式的图像主体分布的画布区域包括“左上、左下”两个画布区域，“林志玲”文字形式的图像主体分布的画布区域包括“右上、右下”两个画布区域。图2c为本申请实施例提供的再一种图像画布分割处理示意图，如图2c所示，对待识别图像的图像画布进行上下均等分割处理，得到1*1个画布区域，示意图形式的图像主体分布的画布区域包括“上、下”两个画布区域，“林志玲”文字形式的图像主体分布的画布区域包括“上、下”两个画布区域。图2d为本申请实施例提供的其他一种图像画布分割处理示意图，如图2d所示，对待识别图像的图像画布进行左右均等分割处理，得到1*1个画布区域，示意图形式的图像主体分布在“左”这一画布区域，“林志玲”文字形式的图像主体分布在“右”这一个画布区域。通过对待识别图像的图像画布进行多次分割处理，将待识别图像的图像画布分割成不同粒度的画布区域。将每一次分割处理中，每一个第一图像主体所分布的画布区域，构成了每一个第一图像主体不同粒度的位置信息。在利用每一个第一图像主体多粒度的位置信息进行图像搜索时，位置信息粒度越大，对应的图像匹配结果越精确；位置信息粒度越小，对应的图像匹配速度越快，多粒度位置信息有效保证了图像搜索的精度和速度，有利于提升用户体验。
对每一个第一图像主体进行内容识别处理，得到用于描述每一个第一图像主体的字符串。当第一图像主体是文字时，对文字进行OCR文本内容提取处理，得到用于表示文字的第一字符串；当第一图像主体是示意图时，利用预设的分类模型对示意图进行识别处理，得到用于表示简笔画的分类的第二字符串；当第一图像主体是图像时，利用图像识别CNN技术，对图像进行识别处理，得到用于表示图像的第三字符串。对示意图进行内容识别处理得到的第二字符串，描述了示意图的分类。图像库在存储图像的同时，还存储有用于描述图像内容的文字数据，在确定与待识别图像匹配的图像时，利用每一个第一图像主体对应的字符串，在图像库中匹配对应的文本数据。
利用每一个第一图像主体的字符串和每一个第一图像主体在每一次分割处理中的第一位置信息，构成待识别图像的语义检索式。示例性的，图1b所示的待识别图像的语义检索式可以表示为{{第一图像主体：(人)，位置：{(左上、左中、左下、中上、中中、中下)、(左上、左下)、(上、下)、(左)}}、{第一图像主体：(林志玲)，位置{(中中、右中)、(右上、右下)、(上、下)、(右)}}}，对语义检索式进行编码处理，得到应用程序能够识别的计算机文本格式的语义检索式，供后续图像检索处理使用。
步骤203、根据每一个第一图像主体对应的字符串和每一个第一图像主体在至少一次分割处理中对应的第一位置信息，进行至少一次搜索处理，得到与待识别图像匹配的图像组。
在本实施例中，具体的，根据每一个第一图像主体对应的字符串和每一个第一图像主体在一次分割处理中对应的第一位置信息，进行一次搜索处理，得到与本次搜索处理对应的匹配图像。由于对待识别图像的图像画布进行了至少一次的分割处理，每一次分割处理中的分割方式不同，每一个第一图像主体在各次分割处理中具有不同的第一位置信息，因此，需要进行至少一次搜索处理。为提高图像搜索的搜索效率和搜索精度，根据由细至粗分割粒度的分割处理顺序，进行对应的图像搜索处理。示例性的，图2e为利用图1b搜索得到的匹配图像，图2f为利用图1b搜索得到的匹配图像。
图像搜索过程中可以根据用户的搜索精度和搜索速度要求，选择其中某个或者某几个分割粒度的分割处理对应的第一位置信息进行搜索处理，示例性的，用户选择的是“快速搜索模式”，于是选择分割粒度为2的上下分割处理和左右分割处理对应的两个第一位置信息进行搜索处理，即根据{{第一图像主体：(人)，位置：{(上、下)、(左)}}、{第一图像主体：(林志玲)，位置{(上、下)、(右)}}}进行搜索处理，得到与待识别图像匹配的图像组。
根据获取的待识别图像，通过在图像库中进行图像匹配，以实现图像搜索处理，图像库包括云端图像库和本地图像库。图像库在存储图像的同时，还存储有用于描述图像信息的图像标签。图像库中的图像包括至少一个第二图像主体，任一图像对应的图像标签中包括用于描述第二图像主体内容的文字数据，和用于描述第二图像主体位置关系的位置数据。在进行图像搜索处理时，根据每一个第一图像主体对应的字符串和第一位置信息，进行图像标签匹配，并将匹配到的图像标签对应的图像作为图像搜索处理得到的匹配图像。每一次搜索处理得到的每一个匹配图像中，包括至少一个第二图像主体，第二图像主体为图像，其中，第二图像主体的数量与第一图像主体的数量相同；每一个第二图像主体的第二位置信息与对应的第一图像主体的第一位置信息相同，其中，第二位置信息为第二图像主体在匹配图像中分布的画布区域；并且，每一个第二图像主体与对应的第一图像主体的字符串相匹配。
匹配的图像组中包括一个匹配图像或者至少两个相似的匹配图像，在匹配的图像组中，分割粒度越细的分割处理对应的匹配图像排序越靠前。
在根据每一个第一图像主体对应的字符串和每一个第一图像主体在至少一次分割处理中对应的第一位置信息，进行至少一次搜索处理时，若根据第一图像主体对应的字符串，无法搜索得到匹配图像时，将第一图像主体对应的字符串的分类粒度进行退化处理，利用退化处理得到的更大分类粒度的字符串进行搜索处理。例如，将第一图像主体的字符串的分类粒度由“林志玲”逐步退化到女明星、女人、人进行搜索处理。
本实施例通过响应于接收到的图像搜索指令，获取图像搜索指令中的待识别图像，待识别图像包括至少一个第一图像主体，第一图像主体是以下任意一种：文字、示意图和图片；对待识别图像的图像画布进行至少一次分割处理，确定每一个第一图像主体在每一次分割处理中的第一位置信息，并对每一个第一图像主体进行内容识别处理，得到用于描述每一个第一图像主体的字符；根据每一个第一图像主体对应的字符串和每一个第一图像主体在至少一次分割处理中对应的第一位置信息，进行至少一次搜索处理，得到与待识别图像匹配的图像组。通过文字、示意图、图像的组合方式来描述待识别图像，描述方式简单，表达灵活，有利于有效提高图像搜索处理的适用范围；根据每一个第一图像主体对应的字符串和每一个第一图像主体在至少一次分割处理中对应的第一位置信息，进行图像搜索处理得到的匹配图像，不仅与待识别图像的每一个第一图像主体的内容相匹配，还与每一个第一图像主体的分布位置相适应，图像搜索精度高。
图3为本申请实施例提供的一种图像搜索处理装置的结构示意图，如
图3所示，该装置包括：
获取单元1，用于响应于接收到的图像搜索指令，获取图像搜索指令中的待识别图像，待识别图像包括至少一个第一图像主体，第一图像主体是以下任意一种：文字、示意图和图片；
第一处理单元2，用于对每一个第一图像主体进行定位处理，得到每一个第一图像主体在待识别图像中的第一位置信息，并对每一个第一图像主体进行内容识别处理，得到每一个第一图像主体的识别结果；
第二处理单元3，用于根据每一个第一图像主体的第一位置信息和识别结果，确定并显示与待识别图像匹配的图像组。
本实施例通过响应于接收到的图像搜索指令，获取图像搜索指令中的待识别图像，待识别图像包括至少一个第一图像主体，第一图像主体是以下任意一种：文字、示意图和图片；对每一个第一图像主体进行定位处理，得到每一个第一图像主体在待识别图像中的第一位置信息，并对每一个第一图像主体进行内容识别处理，得到每一个第一图像主体的识别结果；根据每一个第一图像主体的第一位置信息和识别结果，确定并显示与待识别图像匹配的图像组。用于图像搜索的待识别图像的第一图像主体，可以是文字、示意图和图片中的任意一种，待识别图像的表达方式具有灵活性和便捷性，适用于具有复杂图像内容的待识别图像的表达，当用户无法通过纯文字来描述待识别图像中的图像内容，也没有合适的原始图像用作待识别图像时，可以利用文字、示意图和图片组合的方式来表达待识别图像，图像搜索适用范围广泛，搜索方式灵活；在利用待识别图像进行图像搜索时，根据每一个第一图像主体的第一位置信息和识别结果，确定与待识别图像匹配的图像组，得到的图像组中的匹配图像不仅与每一个第一图像主体的识别结果相适应，还与每一个第一图像主体的位置信息相匹配，能够实现复杂图像内容的图像搜索处理，图像搜索处理得到的匹配图像的匹配度高，有利于实现灵活、精确、快速的图像搜索处理，有利于提升用户体验。
图4为本申请实施例提供的另一种图像搜索处理装置的结构示意图，在图3的基础上，如图4所示，
第一处理单元2，包括：
第一处理子单元21，用于对待识别图像的图像画布进行分割处理，得到N个画布区域，N为大于2的整数；
第二处理子单元22，用于确定每一个第一图像主体分布的画布区域，并将每一个第一图像主体分布的画布区域作为第一位置信息。
第一处理子单元21，包括：
第一处理模块211，用于对待识别图像的图像画布进行至少一次分割处理，其中，各次分割处理对图像画布进行的分割方式不同；
第二处理子单元22，包括：
第二处理模块221，用于确定每一个第一图像主体在每一次分割处理中分布的画布区域，得到每一个第一图像主体在每一次分割处理中的第一位置信息。
待识别图像中的示意图的添加方式包括：用户手绘示意图或插入现有的示意图；待识别图像中的文字的添加方式包括：用户手写文字或使用键盘输入文字，键盘包括实体键盘和虚拟键盘。
第一处理单元2，还包括：
第三处理子单元23，用于对每一个第一图像主体进行内容识别处理，得到用于描述每一个第一图像主体的字符串。
第二处理单元3，包括：
第四处理子单元31，用于根据每一个第一图像主体对应的字符串和每一个第一图像主体在至少一次分割处理中对应的第一位置信息，进行至少一次搜索处理，得到与待识别图像匹配的图像组。
第四处理子单元31包括第三处理模块311，用于对第一图像主体对应的字符串的分类粒度进行放大处理，并根据分类粒度放大处理后的字符串进行搜索处理。
其中，匹配的图像组中包括一个匹配图像或者至少两个相似的匹配图像，匹配图像中包括至少一个第二图像主体，第二图像主体为图像，其中，
第二图像主体的数量与第一图像主体的数量相同；
每一个第二图像主体的第二位置信息与对应的第一图像主体的第一位置信息相同，其中，第二位置信息为第二图像主体在匹配图像中分布的画布区域；
每一个第二图像主体与对应的第一图像主体的识别结果相匹配。
本实施例通过响应于接收到的图像搜索指令，获取图像搜索指令中的待识别图像，待识别图像包括至少一个第一图像主体，第一图像主体是以下任意一种：文字、示意图和图片；对待识别图像的图像画布进行至少一次分割处理，确定每一个第一图像主体在每一次分割处理中的第一位置信息，并对每一个第一图像主体进行内容识别处理，得到用于描述每一个第一图像主体的字符；根据每一个第一图像主体对应的字符串和每一个第一图像主体在至少一次分割处理中对应的第一位置信息，进行至少一次搜索处理，得到与待识别图像匹配的图像组。通过文字、示意图、图片的组合方式来描述待识别图像，描述方式简单，表达灵活，有利于有效提高图像搜索处理的适用范围；根据每一个第一图像主体对应的字符串和每一个第一图像主体在至少一次分割处理中对应的第一位置信息，进行图像搜索处理得到的匹配图像，不仅与待识别图像的每一个第一图像主体的内容相匹配，还与每一个第一图像主体的分布位置相适应，图像搜索精度高。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质，图5是根据本申请实施例的图像搜索处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的图像搜索处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像搜索处理的方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像搜索处理的方法对应的程序指令/模块(例如，附图3所示的获取单元1、第一处理单元2和第二处理单元3)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像搜索处理的方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像搜索处理的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至图像搜索处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像搜索处理的方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与图像搜索处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
本实施例提供的图像搜索处理系统的原理和有益效果，参考图1-图2中的图像搜索处理方法的原理和有益效果，不再赘述。
本申请实施例还提供了一种图像搜索处理的方法，该方法包括：接收图像搜索指令，基于图像搜索指令中的待搜索图像，确定与待搜索图像匹配的图像组并显示；其中，待搜索图像包括至少一个第一图像主体，第一图像主体可以是以下任意一种或者几种：文字、示意图和图片。
本实施例提供的图像搜索处理方法的原理和有益效果，参考图1-图2中的图像搜索处理方法的原理和有益效果，不再赘述。
在本申请实施例中，上述各实施例之间可以相互参考和借鉴，相同或相似的步骤以及名词均不再一一赘述。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (19)
1.一种图像搜索处理的方法，其特征在于，包括：
响应于接收到的图像搜索指令，获取所述图像搜索指令中的待识别图像，所述待识别图像包括至少一个第一图像主体，所述第一图像主体是以下任意一种：文字、示意图和图片；
对每一个所述第一图像主体进行定位处理，得到每一个所述第一图像主体在所述待识别图像中的第一位置信息，并对每一个所述第一图像主体进行内容识别处理，得到每一个所述第一图像主体的识别结果；
根据每一个所述第一图像主体的第一位置信息和识别结果，确定并显示与所述待识别图像匹配的图像组。
2.根据权利要求1所述的方法，其特征在于，对每一个所述第一图像主体进行定位处理，得到每一个所述第一图像主体在所述待识别图像中的第一位置信息，包括：
对所述待识别图像的图像画布进行分割处理，得到N个画布区域，N为大于2的整数；
确定每一个所述第一图像主体分布的所述画布区域，并将每一个所述第一图像主体分布的所述画布区域作为所述第一位置信息。
3.根据权利要求2所述的方法，其特征在于，对所述待识别图像的图像画布进行分割处理，得到N个画布区域，包括：
对所述待识别图像的图像画布进行至少一次分割处理，其中，各次分割处理对图像画布进行的分割方式不同；
确定每一个所述第一图像主体分布的所述画布区域，并将每一个所述第一图像主体分布的所述画布区域作为所述第一位置信息，包括：
确定每一个所述第一图像主体在每一次分割处理中分布的所述画布区域，得到每一个所述第一图像主体在每一次分割处理中的所述第一位置信息。
4.根据权利要求1所述的方法，其特征在于，所述待识别图像中的所述示意图的添加方式包括：用户手绘示意图或插入现有的示意图；所述待识别图像中的所述文字的添加方式包括：用户手写文字或使用键盘输入文字，所述键盘包括实体键盘和虚拟键盘。
5.根据权利要求1所述的方法，其特征在于，对每一个所述第一图像主体进行内容识别处理，得到每一个所述第一图像主体的识别结果，包括：
对每一个所述第一图像主体进行内容识别处理，得到用于描述每一个所述第一图像主体的字符串。
6.根据权利要求5所述的方法，其特征在于，根据每一个所述第一图像主体的所述第一位置信息和所述识别结果，确定与所述待识别图像匹配的图像组，包括：
根据每一个所述第一图像主体对应的所述字符串和每一个所述第一图像主体在至少一次分割处理中对应的所述第一位置信息，进行至少一次搜索处理，得到与所述待识别图像匹配的图像组。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：对所述第一图像主体对应的所述字符串的分类粒度进行放大处理，并根据分类粒度放大处理后的字符串进行搜索处理。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述匹配的图像组中包括一个匹配图像或者至少两个相似的匹配图像，所述匹配图像中包括至少一个第二图像主体，所述第二图像主体为图像，其中，
所述第二图像主体的数量与所述第一图像主体的数量相同；
每一个所述第二图像主体的第二位置信息与对应的所述第一图像主体的所述第一位置信息相同，其中，所述第二位置信息为所述第二图像主体在所述匹配图像中分布的画布区域；
每一个所述第二图像主体与对应的所述第一图像主体的识别结果相匹配。
9.一种图像搜索处理的装置，其特征在于，包括：
获取单元，用于响应于接收到的图像搜索指令，获取所述图像搜索指令中的待识别图像，所述待识别图像包括至少一个第一图像主体，所述第一图像主体是以下任意一种：文字、示意图和图片；
第一处理单元，用于对每一个所述第一图像主体进行定位处理，得到每一个所述第一图像主体在所述待识别图像中的第一位置信息，并对每一个所述第一图像主体进行内容识别处理，得到每一个所述第一图像主体的识别结果；
第二处理单元，用于根据每一个所述第一图像主体的第一位置信息和识别结果，确定并显示与所述待识别图像匹配的图像组。
10.根据权利要求9所述的装置，其特征在于，所述第一处理单元，包括：
第一处理子单元，用于对所述待识别图像的图像画布进行分割处理，得到N个画布区域，N为大于2的整数；
第二处理子单元，用于确定每一个所述第一图像主体分布的所述画布区域，并将每一个所述第一图像主体分布的所述画布区域作为所述第一位置信息。
11.根据权利要求10所述的装置，其特征在于，所述第一处理子单元，包括：
第一处理模块，用于对所述待识别图像的图像画布进行至少一次分割处理，其中，各次分割处理对图像画布进行的分割方式不同；
所述第二处理子单元，包括：
第二处理模块，用于确定每一个所述第一图像主体在每一次分割处理中分布的所述画布区域，得到每一个所述第一图像主体在每一次分割处理中的所述第一位置信息。
12.根据权利要求9所述的装置，其特征在于，所述待识别图像中的所述示意图的添加方式包括：用户手绘示意图或插入现有的示意图；所述待识别图像中的所述文字的添加方式包括：用户手写文字或使用键盘输入文字，所述键盘包括实体键盘和虚拟键盘。
13.根据权利要求9所述的装置，其特征在于，所述第一处理单元，还包括：
第三处理子单元，用于对每一个所述第一图像主体进行内容识别处理，得到用于描述每一个所述第一图像主体的字符串。
14.根据权利要求13所述的装置，其特征在于，所述第二处理单元，包括：
第四处理子单元，用于根据每一个所述第一图像主体对应的所述字符串和每一个所述第一图像主体在至少一次分割处理中对应的所述第一位置信息，进行至少一次搜索处理，得到与所述待识别图像匹配的图像组。
15.根据权利要求14所述的装置，其特征在于，所述第四处理子单元包括第三处理模块，用于对所述第一图像主体对应的所述字符串的分类粒度进行放大处理，并根据分类粒度放大处理后的字符串进行搜索处理。
16.根据权利要求9-15任一项所述的装置，其特征在于，所述匹配的图像组中包括一个匹配图像或者至少两个相似的匹配图像，所述匹配图像中包括至少一个第二图像主体，所述第二图像主体为图像，其中，
所述第二图像主体的数量与所述第一图像主体的数量相同；
每一个所述第二图像主体的第二位置信息与对应的所述第一图像主体的所述第一位置信息相同，其中，所述第二位置信息为所述第二图像主体在所述匹配图像中分布的画布区域；
每一个所述第二图像主体与对应的所述第一图像主体的识别结果相匹配。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
19.一种图像搜索处理的方法，其特征在于，包括：
接收图像搜索指令，基于所述图像搜索指令中的待搜索图像，确定与所述待搜索图像匹配的图像组并显示；
其中，所述待搜索图像包括至少一个第一图像主体，所述第一图像主体可以是以下任意一种或者几种：文字、示意图和图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910812737.6A CN110532415B (zh) | 2019-08-30 | 2019-08-30 | 图像搜索处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910812737.6A CN110532415B (zh) | 2019-08-30 | 2019-08-30 | 图像搜索处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110532415A true CN110532415A (zh) | 2019-12-03 |
| CN110532415B CN110532415B (zh) | 2022-08-30 |
Family
ID=68665403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910812737.6A Active CN110532415B (zh) | 2019-08-30 | 2019-08-30 | 图像搜索处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110532415B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428121A (zh) * | 2020-03-17 | 2020-07-17 | 百度在线网络技术（北京）有限公司 | 搜索信息的方法和装置 |
| CN111709922A (zh) * | 2020-06-10 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
| CN113239224A (zh) * | 2021-05-14 | 2021-08-10 | 百度在线网络技术（北京）有限公司 | 异常文档识别方法、装置、设备和存储介质 |
| CN113393418A (zh) * | 2021-04-19 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种用户界面组件检索方法及装置、设备、存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102339306A (zh) * | 2010-08-31 | 2012-02-01 | 微软公司 | 基于草图的图像搜索 |
| US20130120440A1 (en) * | 2011-11-14 | 2013-05-16 | W.W. Grainger, Inc. | System and method for using an image to provide search results |
| CN103631889A (zh) * | 2013-11-15 | 2014-03-12 | 北京奇虎科技有限公司 | 一种图像识别方法和装置 |
| CN103838810A (zh) * | 2012-11-20 | 2014-06-04 | 三星电子株式会社 | 使用标签信息进行图像搜索的方法和装置 |
| US20150093029A1 (en) * | 2013-10-01 | 2015-04-02 | Adobe Systems Incorporated | Image layers navigation |
| CN106202189A (zh) * | 2016-06-27 | 2016-12-07 | 乐视控股（北京）有限公司 | 一种图像搜索方法及装置 |
| CN107256216A (zh) * | 2017-04-17 | 2017-10-17 | 捷开通讯(深圳)有限公司 | 移动终端、管理图片的方法以及存储装置 |
| WO2018174603A1 (ko) * | 2017-03-22 | 2018-09-27 | (주)광개토연구소 | 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치 |
| CN109947967A (zh) * | 2017-10-10 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、存储介质和计算机设备 |
-
2019
- 2019-08-30 CN CN201910812737.6A patent/CN110532415B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102339306A (zh) * | 2010-08-31 | 2012-02-01 | 微软公司 | 基于草图的图像搜索 |
| US20130120440A1 (en) * | 2011-11-14 | 2013-05-16 | W.W. Grainger, Inc. | System and method for using an image to provide search results |
| CN103838810A (zh) * | 2012-11-20 | 2014-06-04 | 三星电子株式会社 | 使用标签信息进行图像搜索的方法和装置 |
| US20150093029A1 (en) * | 2013-10-01 | 2015-04-02 | Adobe Systems Incorporated | Image layers navigation |
| CN103631889A (zh) * | 2013-11-15 | 2014-03-12 | 北京奇虎科技有限公司 | 一种图像识别方法和装置 |
| CN106202189A (zh) * | 2016-06-27 | 2016-12-07 | 乐视控股（北京）有限公司 | 一种图像搜索方法及装置 |
| WO2018174603A1 (ko) * | 2017-03-22 | 2018-09-27 | (주)광개토연구소 | 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치 |
| CN107256216A (zh) * | 2017-04-17 | 2017-10-17 | 捷开通讯(深圳)有限公司 | 移动终端、管理图片的方法以及存储装置 |
| CN109947967A (zh) * | 2017-10-10 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、存储介质和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| AN,JUNXIU等: "Research and Implementation on the Cloud of Chinese Letter", 《ADVANCED RESEARCH ON INFORMATION SCIENCE, AUTOMATION AND MATERIAL SYSTEM, PTS 1-6》 * |
| 于伯峰: "印刷体中文文档中表格和汉字的识别研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428121A (zh) * | 2020-03-17 | 2020-07-17 | 百度在线网络技术（北京）有限公司 | 搜索信息的方法和装置 |
| CN111428121B (zh) * | 2020-03-17 | 2021-07-02 | 百度在线网络技术（北京）有限公司 | 搜索信息的方法和装置 |
| CN111709922A (zh) * | 2020-06-10 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
| CN111709922B (zh) * | 2020-06-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
| CN113393418A (zh) * | 2021-04-19 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种用户界面组件检索方法及装置、设备、存储介质 |
| CN113239224A (zh) * | 2021-05-14 | 2021-08-10 | 百度在线网络技术（北京）有限公司 | 异常文档识别方法、装置、设备和存储介质 |
| CN113239224B (zh) * | 2021-05-14 | 2024-09-06 | 百度在线网络技术（北京）有限公司 | 异常文档识别方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110532415B (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532415B (zh) | 图像搜索处理方法、装置、设备及存储介质 | |
| US11854237B2 (en) | Human body identification method, electronic device and storage medium | |
| CN111104514B (zh) | 文档标签模型的训练方法及装置 | |
| CN113094550B (zh) | 视频检索方法、装置、设备和介质 | |
| CN111221984A (zh) | 多模态内容处理方法、装置、设备及存储介质 | |
| US11775845B2 (en) | Character recognition method and apparatus, electronic device and computer readable storage medium | |
| CN111782977B (zh) | 兴趣点处理方法、装置、设备及计算机可读存储介质 | |
| CN112507735B (zh) | 机器翻译模型的训练方法、装置和电子设备 | |
| CN111949814A (zh) | 搜索方法、装置、电子设备和存储介质 | |
| CN110659600B (zh) | 物体检测方法、装置及设备 | |
| CN112001169B (zh) | 文本纠错的方法、装置、电子设备和可读存储介质 | |
| CN111640103B (zh) | 图像检测方法、装置、设备以及存储介质 | |
| US20220027575A1 (en) | Method of predicting emotional style of dialogue, electronic device, and storage medium | |
| CN112085090A (zh) | 翻译方法、装置以及电子设备 | |
| CN111708477B (zh) | 按键识别方法、装置、设备以及存储介质 | |
| CN112487242A (zh) | 用于识别视频的方法、装置、电子设备及可读存储介质 | |
| CN111611990A (zh) | 用于识别图像中表格的方法和装置 | |
| CN111984825A (zh) | 用于搜索视频的方法和装置 | |
| CN112149741A (zh) | 图像识别模型的训练方法、装置、电子设备及存储介质 | |
| CN111241810A (zh) | 标点预测方法及装置 | |
| CN111275827A (zh) | 基于边缘的增强现实三维跟踪注册方法、装置和电子设备 | |
| CN112036315A (zh) | 字符识别方法、装置、电子设备及存储介质 | |
| CN110517079B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN112052825A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN110502625A (zh) | 医疗问题解答方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |