CN104731784A - 视觉搜索方法、系统以及移动终端 - Google Patents

视觉搜索方法、系统以及移动终端 Download PDF

Info

Publication number
CN104731784A
CN104731784A CN201310699781.3A CN201310699781A CN104731784A CN 104731784 A CN104731784 A CN 104731784A CN 201310699781 A CN201310699781 A CN 201310699781A CN 104731784 A CN104731784 A CN 104731784A
Authority
CN
China
Prior art keywords
image
service end
search
mobile terminal
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310699781.3A
Other languages
English (en)
Other versions
CN104731784B (zh
Inventor
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201310699781.3A priority Critical patent/CN104731784B/zh
Priority to EP14801411.1A priority patent/EP3086238A4/en
Priority to US15/105,879 priority patent/US20170004148A1/en
Priority to PCT/CN2014/079623 priority patent/WO2014187408A1/zh
Publication of CN104731784A publication Critical patent/CN104731784A/zh
Application granted granted Critical
Publication of CN104731784B publication Critical patent/CN104731784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship

Abstract

本发明公开了一种视觉搜索方法、系统以及移动终端。本发明的视觉搜索方法包括：移动终端采集图像；获取所述图像的图像复杂度系数，判当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索；本发明的视觉搜索方法充分利用移动终端和服务端的计算能力协同工作完成视觉搜索，减少了视觉搜索的时间、提高了视觉搜索的效率。

Description

视觉搜索方法、系统以及移动终端
技术领域
本发明涉及搜索领域，尤其涉及一种视觉搜索方法、系统以及移动终端。
背景技术
目前主流的移动终端视觉搜索架构包括以下三种：
第一种架构，如图1所示，在移动终端只进行图像压缩和结果显示，而将复杂性较高的特征提取、描述子生成和图像检索放在可视化搜索服务器端进行，这种架构由于向服务器端上传的文件较大，导致可视化搜索的大部分时间都耗在了数据传输上，同时图像的编码和解码也花费了大量时间，这大大影响了用户体验。
第二种架构，如图2所示，在移动终端侧进行图像特征提取、描述子生成以及描述子编码，向服务器端上传描述子信息，而在服务器端进行描述子解码和图像检索。
第三种架构，如图3所示，这种架构与第二种架构相似即在移动终端侧进行特征点提取、描述子生成以及描述子编码，向服务器端上传描述子信息，而在服务器端进行描述子解码和图像检索，不同点是第三种架构在移动终端存在本地图像或者是本地缓存图像数据，可以在移动终端本地进行图像检索。
上述后两种架构的优点是利用了移动终端的计算能力，但是其是否会降低图像检索耗时存在一定的不确定性，这主要是由系统采集到的图像的复杂程度、所采用的特征点检测和描述子生成算法和网络数据传输时间所决定的。
发明内容
本发明要解决的主要技术问题是，提供一种视觉搜索方法、系统以及移动终端，能够减少视觉搜索的时间、提高视觉搜索的效率。
为解决上述技术问题，本发明提供一种视觉搜索方法，包括如下步骤：
移动终端采集图像，获取所述图像的图像复杂度参数；
当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；
当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索。
进一步地，所述获取所述图像的图像复杂度参数的步骤包括：
对所述图像进行比较型特征提取，并获取图像特征分组映射表；
根据图像特征分组映射表对比较型特征进行归并，并对可归并为一类的比较型特征对应的像素点进行个数统计；
根据个数统计结果和所述图像特征分组映射表计算得出图像复杂度系数。
进一步地，所述根据图像特征分组映射表对比较型特征进行归并的步骤包括：
将所述比较型特征转换为二进制比较型特征；
根据所述二进制比较型特征和所述图像特征分组映射表对所述比较型特征进行归并；
所述根据个数统计结果和所述图像特征分组映射表计算得出图像复杂度系数的步骤包括：
在所述图像特征分组映射表中查找所述像素点对应的比较型特征值的一致性距离；
根据个数统计结果计算一致性距离在预设范围内的像素点的占比；
根据该占比得到图像复杂度系数；
所述图像特征分组映射表为通过将经过变换处理后可获得相同的处理结果的二进制比较型特征归并为一组的方式生成的特性分组表，该表至少包括：特征分组索引、像素点对应的比较型特征值的一致性距离以及比较型特征值。
进一步地，所述方法还包括：获取所述图像的图像特征分组索引；
当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端。
进一步地，所述获取所述图像的图像特征分组索引的步骤包括：
对所述图像进行粗狂式的分块后进行比较型特征的提取；
根据该提取的比较型特征在图像特征分组映射表中查询得到所述图像分组特征索引。
进一步地，所述方法还包括：当根据所述图像在移动终端本地进行图像搜索失败时，将本地搜索过程中提取的图像特征文件发送给所述服务端供所述服务端进行图像搜索，接收所述服务端反馈的搜索结果。
同样为了解决上述技术问题，本发明还提供了一种移动终端，包括：采集模块、参数获取模块、搜索模块以及收发模块；
所述采集模块用于采集图像；
所述参数获取模块用于提取所述图像的图像复杂度参数；
所述收发模块用于当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；
所述搜索模块用于当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索。
进一步地，所述参数获取模块用于：
对所述图像进行比较型特征提取，并获取图像特征分组映射表；
根据图像特征分组映射表对比较型特征进行归并，并对可归并为一类的比较型特征对应的像素点进行个数统计；
根据个数统计结果和所述图像特征分组映射表计算得出图像复杂度系数。
进一步地，所述参数获取模块用于：
将所述比较型特征转换为二进制比较型特征；
根据所述二进制比较型特征和所述图像特征分组映射表对所述比较型特征进行归并；
在所述图像特征分组映射表中查找所述像素点对应的比较型特征值的一致性距离；
根据个数统计结果计算一致性距离在预设范围内的像素点的占比；
根据该占比得到图像复杂度系数；
所述图像特征分组映射表为通过将经过变换处理后可获得相同的处理结果的二进制比较型特征归并为一组的方式生成的特性分组表，该表至少包括：特征分组索引、像素点对应的比较型特征值的一致性距离以及比较型特征值。
进一步地，所述移动终端还包括：索引获取模块；所述索引获取模块用于获取所述图像的图像特征分组索引；
所述收发模块还用于当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端。
进一步地，所述索引获取模块用于：
对所述图像进行粗狂式的分块后进行比较型特征的提取；
根据该提取的比较型特征在图像特征分组映射表中查询得到所述图像分组特征索引。
进一步地，所述收发模块还用于当根据所述图像在移动终端本地进行图像搜索失败时，将本地搜索过程中提取的图像特征文件发送给所述服务端供所述服务端进行图像搜索。
同样为了解决上述的技术问题，本发明还提供了一种视觉搜索系统，包括：服务端和移动终端；所述移动终端包括：采集模块、参数获取模块、搜索模块以及收发模块；所述服务端包括：服务端搜索模块和服务端收发模块；
所述采集模块用于采集图像；
所述参数获取模块用于提取所述图像的图像复杂度参数；
所述收发模块用于当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；所述搜索模块用于当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索；
所述服务端收发模块用于接收所述移动终端发送的图像信息，以及将所述服务端搜索模块的搜索结果反馈给所述移动终端；
所述服务端搜索模块用于根据所述图像信息进行图像搜索。
进一步地，所述移动终端还包括：索引获取模块；
所述索引获取模块用于获取所述图像的图像特征分组索引；
所述收发模块还用于当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端；
所述服务端收发模块还用于接收所述移动终端发送的图像特征分组索引；
所述服务端搜索模块用于根据所述图像信息和所述分组索引进行图像搜索。
进一步地，所述收发模块还用于当根据所述图像在移动终端本地进行图像搜索失败时，将本地搜索过程中提取的图像特征文件发送给所述服务端；
所述服务端收发模块还用于接收所述移动终端发送所述图像特征文件；
所述服务端搜索模块还用于根据所述图像特征文件进行图像搜索。
本发明的有益效果是：
本发明提供了一种视觉搜索方法、系统以及移动终端，能够减少视觉搜索的时间、提高视觉搜索的效率。本发明的视觉搜索方法包括：移动终端采集图像；获取所述图像的图像复杂度系数，当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索；本发明的视觉搜索方法可以根据图像复杂度参数智能选择移动终端或服务端进行图像搜索，充分利用移动终端和服务端的计算能力协同工作完成视觉搜索，在处理图像复杂度较低的图像时在移动终端本地进行图像特征提取和搜索，以减少在视觉搜索过程中移动终端与服务端之间数据传输时间、提高了视觉搜索的效率；在处理图像复杂度高的图像时可以将图像发送到服务端，由计算能力较强的服务端进行图像搜索，缩短了图像搜索时间，提高了视觉搜索的效率；本发明的视觉搜索方法与现有技术相比，能够减少网络数据传输的时间、提高视觉搜索的效率。
附图说明
图1为现有技术中第一种移动终端视觉搜索架构示意图；
图2为现有技术中第二种移动终端视觉搜索架构示意图；
图3为现有技术中第三种移动终端视觉搜索架构示意图；
图4为本发明实施例一提供的一种视觉搜索方法的流程示意图；
图5为本发明实施例一提供的一种获取图像复杂度参数的方法流程图；
图6为本发明实施例一提供的一种视觉搜索系统的工作流程图；
图7为本发明实施例一提供的一种获取所述图像的图像特征分组索引的流程图；
图8为本发明实施例二提供的一种移动终端的结构示意图；
图9为本发明实施例二提供的另一种移动终端的结构示意图；
图10为本发明实施例三提供的一种视觉搜索系统的结构示意图；
图11为本发明实施例三提供的另一种视觉搜索系统的结构示意图。
具体实施方式
本发明的发明点主要在于：根据采集图像的复杂度智能地选择视觉搜索方案，充分利用移动终端和服务端的计算能力，使二者协同工作完成视觉搜索，减少视觉搜索的时间、提高视觉搜索的效率。本发明的主要技术方案包括：
移动终端采集图像，获取所述图像的图像复杂度参数；
当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；
当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索。
本发明的方案可以利用图像复杂度参数来灵活选择由移动终端或者服务端进行图像搜索，提高了图像搜索的效率。
下面通过具体实施方式结合附图对本发明作进一步详细说明。
实施例一：
请参考图4，本实施例提供了一种视觉搜索方法，包括：
步骤401：移动终端采集图像，获取所述图像的图像复杂度参数。
步骤402：判断所述图像复杂度参数的值是否在预设范围内，若否，则执行步骤403，若是，则执行步骤404。
对于本实施例预设范围，用户可以根据实际需求或者经验值进行设置。本实施例中图像复杂度参数为可以反映图像的复杂度大小的参数，优先地为图像复杂度系数，图像复杂度系数值越大说明图像越复杂，图像复杂度系数越小说明图像越简单。本实施例将以图像复杂度参数为图像复杂度系数为例来介绍本实施例的视觉搜索方法。
本实施例的视觉搜索方法增加了一判断过程来判断图像复杂度参数的值是否在预设范围内；应当理解本发明的方法还可以由其他步骤来实现识别复杂度参数的值在或不在预设范围内。
步骤403：将所述图像发送给服务端供服务端进行图像搜索，接收服务端反馈的搜索结果。
本实施例中服务端进行图像搜索可以采用本领域技人员所熟知的方式，例如也可以提取接收到的图像的特征，然后在服务端数据库中进行特征匹配等。
步骤404：根据所述图像在移动终端本地进行图像搜索。
在移动终端本地进行图像搜索可以采用本领域技术人员所熟知的方式，例如提取图像的图像特征，然后根据图像特征在本地数据库和/或缓存中进行特征匹配。
本实施例的视觉搜索方法是根据图像复杂度参数来选择由移动终端还是服务端进行图像搜索，当图像复杂度比较小时，可以由移动终端在本地进行图像搜索，不需要将图像发送给服务端进行图像搜索，节省了发送图像和接收搜索结果的时间；当图像复杂度较大时，考虑到移动终端自身的计算能力，所以将图像发送给计算能力强大的服务端进行图像搜索，加快了图像搜索效率，减少了图像搜索的时间。
上述步骤401中获取所述图像的图像复杂度参数的过程具体包括：
步骤501：对所述图像进行比较型特征提取，并获取图像特征分组映射表。
步骤502：根据图像特征分组映射表对比较型特征进行归并，并对可归并为一类的比较型特征对应的像素点进行个数统计。
具体地，可以将所述比较型特征转换为二进制比较型特征，根据所述二进制比较型特征和所述图像特征分组映射表对所述比较型特征进行归并。例如提取的比较型特征用二进制表示，为0000001、00000010、00000100、11111111，然后将二进制比较型转换为十进制的比较型特征，即1、2、4、255；然后根据十进制比较型特征在图像特征分组映射表查找，经过查找可知，特征值为1、2、4对于的特征可以归并为一类，特征值为255的可单独归并为一类；然后可以利用直方图对归并为一类的像素点进行个数统计，例如统计特征值为1、2、4对应的像素点的个数和统计特征为255对应的像素点的个数。
本实施例中图像特征分组映射表可以通过对图像的二进制比较型特征进行变换处理，并对变换处理结果一致的二进制比较型特征进行归并为一组的方式得到的，该表格至少包括：特征分组索引、像素点对应的比较型特征值的一致性距离以及比较型特征值。例如提取样本图像的所有二进制比较型特征，然后将二进制比较型特征进行变换处理，将变换处理结果一致的二进制比较型特征归为一类特征组，该图像特征分组映射表就是由这些特征组构成的，每个特征组包括的项目可以包括但不限于：特征分组索引、像素点对应的比较型特征值的一致性距离以及比较型特征值。
下面以LBP（Local Binary Patterns，局部二值模式）特征为例，来说明本实施例的图像特征分组映射表的构建方法：
首先提取样本图像的256个比较型特征，将特征用二进制表示即00000000-1111111；然后对这些二进制特征进行循环移位计算，将循环移位计算结果相同的特征划分为一组，同时根据循环移位计算结果得出像素点的一致性距离，本实施例中一致性距离为连续1或0的个数；例如二进制比较型特征为0000001经过循环移位计算后得到00000001，所以一致性距离为7；通过该方法可以将原来的256种模式特征归并为36组，如表1所示。通过循环移位的方法进行归并可以解决传统比较型特征对旋转不具有鲁棒性的问题。
步骤503：根据个数统计结果和所述图像特征分组映射表计算得出图像复杂度系数。
具体地，在所述图像特征分组映射表中查找可归并为一类的像素点对应比较型特征值的一致性距离；根据个数统计结果计算一致性距离在预设范围内的像素点的占比；根据该占比得到图像复杂度系数。例如计算比较型特征值的一致性距离在1-3之间的像素点个数，然后将该个数除以图像总个数即可得到占比；本实施例的方法是按照像素点来划分图像的，所以每个比较型特征就代表一个像素点，本实施例可以通过计算一致性距离比较小的像素点的占比得到图像复杂度系数。
本实施例中一致性距离为二进制特征经过循环移位后二进制中连续0或1的个数。
本实施例占比即为图像复杂度系数描述，占比越大说明图像越复杂，图像特征多；占比越小说明图像越简单，图像特征少。
下面以LBP（Local Binary Patterns，局部二值模式）特征为例，来说明本实施例中图像复杂度系数提取的具体过程：
第一步：计算图像对应的积分图像；
第二步：提取比较型特征，并进行二进制表示为，将比较型特征表示为由0和1组成的二进制比较型特征；
第三步：根据图像特征分组映射表将二进制比较型特征进行归并，并对归并后的比较型特征进行直方图统计。具体地，将二进行比较型特征转换为十进制比较型特征，然后根据十进制比较型特征和表1进行归并，例如将1,2,4,8,16,32归并为一组；然后对归并为一类的特征进行直方图统计，统计归并为一类的像素点的个数；
第四步：统计一致性距离比较小的像素点的占比，该占比即为图像复杂度系数描述。如LBP特征，只需统计一致性距离为0-3的像素点的占比，占比越大，说明图像越复杂，特征越多，无法在移动智能终端进行特征的提取，反之，占比越小，说明图像越简单，特征越少，计算复杂度越底，可以考虑从在移动智能终端进行特征提取。
为了缩小服务端的搜索范围，本实施例的视觉搜索方法还包括：
获取所述图像的图像特征分组索引；
当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端。
本实施例的视觉搜索方法可以在当所述图像复杂度参数的值不在预设范围内时，将图像以及图像特征分组索引发送给服务端；服务端可以根据图像和图像特征分析索引进行图像搜索。具体地，服务端可以提取采集图像对应的积分图像的图像特征，然后根据图像特征分组索引缩小图像搜索范围，提高移动视觉搜索实时性和准确性。
下面通过具体的搜索系统来进一步介绍本实施例的视觉搜索方法。本实施例中视觉搜索系统，参考图10；包括移动终端和服务端；该移动终端应用本实施例的视觉搜索方法，图6所示，系统的具体工作流程如下：
步骤601：移动终端采集图像。
步骤602：对图像进行滤波处理以降低噪声影响。
步骤603：计算所述图像对应的积分图像。
步骤604：对积分图像进行图像复杂度系数和图像特征分组索引提取。
步骤605：将图像复杂度系数与预设阈值进行比较，判断是否大于预设阈值，若是，则执行步骤606，若否，则执行步骤610。
步骤606：移动终端对积分图像进行压缩编码，将压缩图像及图像特征分组索引通过无线网络传到服务端。
步骤607：服务端进行解码获取积分图像，对积分图像进行图像特征提取。
步骤608：根据图像特征分组索引对数据库中图像进行过滤，缩小图像检索的范围。
步骤609：根据提取的图像特征在过滤后的数据库中搜索，得到搜索结果，并将搜索结果对应的信息通过无线网络返回给移动终端进行显示。
步骤610：移动终端对积分图像进行图像特征提取，根据提取的图像特征在本地数据库和/或缓存中进行搜索，搜索成功则显示搜索结果。
本实施例中获取所述图像的图像特征分组索引的具体过程包括：
步骤701：对所述图像进行粗狂式的分块后进行比较型特征的提取。
例如计算所述图像对应的积分图像，将积分图像分割为几个比较大分块，然后对所述积分图像进行比较型特征提取。
步骤702：根据所述图像比较型特征在图像特征分组映射表中查询得到所述图像分组特征索引。
例如在与表1类似的分组映射表中查询出图像分组特征索引。
本实施例提供的视觉搜索方法中当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索，具体的图像搜索可以包括：
移动终端对图像进行图像特征提取，根据该提取的图像特征在本地数据库和/或缓存中进行特征匹配。
若匹配成功，则说明图像搜索成功移动终端可以显示搜索结果。
若匹配失败，则说明图像搜索失败，此时移动终端可以将提取的图像特征进行压缩编码，将压缩编码后的图像特征发送给服务端，由服务端进行图像搜索，服务端返回搜索结果给移动终端。
所以上述图6所示流程中还可以包括：在本地搜索失败时，将提取的图像特征文件发送给服务端。服务端直接根据图像特征文件进行图像搜索提高了服务端搜索的效率。
本实施例的视觉搜索方法与现有技术相比，解决了传统技术中移动终端和服务端传递信息单一所带来的种种负面效果，可以有效利用移动终端和服务端计算能力协同完成视觉搜索任务，降低网络传输时间，同时利用时间复杂度较低的算法提取查询图像分组特征索引，查询过程中根据图像特征分组索引对需要检索图像进行过滤，可以有效的提高移动视觉搜索的实时性。
表1
实施例二：
本实施例提供了一种移动终端，如图8所示，包括：采集模块、参数获取模块、搜索模块以及收发模块；
所述采集模块用于采集图像；
所述参数获取模块用于提取所述图像的图像复杂度参数；
所述收发模块用于当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；
所述搜索模块用于当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索。
本实施例的移动终端可以根据图像复杂度智能选择由移动终端进行视觉搜索还是由服务端进行视觉搜索，当图像复杂度比较小时，可以由移动终端在本地进行图像搜索，不需要将图像发送给服务端进行图像搜索，节省了发送图像和接收搜索结果的时间；当图像复杂度较大时，考虑到移动终端自身的计算能力，所以将图像发送给计算能力强大的服务端进行图像搜索，加快了图像搜索效率，减少了图像搜索的时间。
优先地，本实施例参数获取模块用于：
对所述图像进行比较型特征提取，获取图像特征分组映射表；
根据图像特征分组映射表对比较型特征进行归并，并对可归并为一类的像素点进行个数统计；
根据个数统计结果和所述图像特征分组映射表计算得出图像复杂度系数；
优先地，本实施例的所述参数获取模块用于：
将所述比较型特征转换为二进制比较型特征；
根据所述二进制比较型特征和所述图像特征分组映射表对所述比较型特征进行归并；
在所述图像特征分组映射表中查找所述像素点对应的比较型特征值的一致性距离；
根据个数统计结果计算一致性距离在预设范围内的像素点的占比；
根据该占比得到图像复杂度系数；
所述图像特征分组映射表为通过将经过变换处理后可获得相同的处理结果的二进制比较型特归并为一组的方式生成的特性分组表，该表至少包括：特征分组索引、像素点对应的比较型特征值的一致性距离以及比较型特征值。
优先地，如图9所示，本实施例的移动终端还包括：索引获取模块；所述索引获取模块用于提取所述图像的图像特征分组索引；所述收发模块还用于当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端。
图9所示的移动终端在图像复杂度系数较大的情况下可以将图像和图像特征分组索引发送给服务端，服务端根据图像特征分组索引可以减小图像搜索范围，提高移动视觉搜索实时性。
优先地，本实施例所述索引获取模块用于：
对所述图像进行粗狂式的分块后进行比较型特征的提取；
根据该提取的比较型特征在图像特征分组映射表中查询得到所述图像分组特征索引。
优先地，为了进一步提高服务端图像搜索效率，本实施例的移动终端中所述收发模块还用于当根据所述图像在移动终端本地进行图像搜索失败时，将本地搜索过程中提取的图像特征文件发送给所述服务端供所述服务端进行图像搜索。
实施例三：
本实施例提供了一种视觉搜索系统，如图10所示，包括移动终端和服务端；所述移动终端包括：采集模块、参数获取模块、搜索模块以及收发模块；所述服务端包括：服务端搜索模块和服务端收发模块；
所述采集模块用于采集图像；
所述参数获取模块用于提取所述图像的图像复杂度参数；
所述收发模块用于当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；所述搜索模块用于当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索；
所述服务端收发模块用于接收所述移动终端发送的图像信息，以及将所述服务端搜索模块的搜索结果反馈给所述移动终端；
所述服务端搜索模块用于根据所述图像信息进行图像搜索。
优先地，如图11所示，本实施例视觉搜索系统中移动终端还可以包括：索引获取模块；所述索引获取模块用于获取所述图像的图像特征分组索引；
所述索引获取模块用于获取所述图像的图像特征分组索引；
所述收发模块还用于当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端；
所述服务端收发模块还用于接收所述移动终端发送的图像特征分组索引；
所述服务端搜索模块用于根据所述图像信息和所述分组索引进行图像搜索。
本实施例的服务端采用样本归类的方法在接收到移动终端分组索引后可以根据分组索引快速定位到相关分组图像；具体的服务端的样本归类的方法包括：离线训练阶段，对每幅图像提取图像特征分组索引，将同特征分组索引的图像归为一组，对每一分组进行较高复杂度的样本训练，在线识别阶段，可以根据查询图像的分组特征索引直接定位到相关分组图像，利用训练阶段生成的该分组的文件进行快速的图像搜索。
优先地，本实施例的视觉搜索系统中所述收发模块还用于当根据所述图像在移动终端本地进行图像搜索失败时，将本地搜索过程中提取的图像特征文件发送给所述服务端；
所述服务端收发模块还用于接收所述移动终端发送所述图像特征文件；
所述服务端搜索模块还用于根据所述图像特征文件进行图像搜索。
本实施例移动终端和系统通过轻量级的图像处理方法智能选择移动终端视觉搜索方案，充分利用移动终端和服务端计算能力协同完成移动视觉搜索，减少数据传输时间，提高搜索效率。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (15)

1.一种视觉搜索方法，其特征在于，包括如下步骤：
移动终端采集图像，获取所述图像的图像复杂度参数；
当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；
当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索。
2.如权利要求1所述的视觉搜索方法，其特征在于，所述获取所述图像的图像复杂度参数的步骤包括：
对所述图像进行比较型特征提取，并获取图像特征分组映射表；
根据图像特征分组映射表对比较型特征进行归并，并对可归并为一类的比较型特征对应的像素点进行个数统计；
根据个数统计结果和所述图像特征分组映射表计算得出图像复杂度系数。
3.如权利要求2所述的视觉搜索方法，其特征在于，所述根据图像特征分组映射表对比较型特征进行归并的步骤包括：
将所述比较型特征转换为二进制比较型特征；
根据所述二进制比较型特征和所述图像特征分组映射表对所述比较型特征进行归并；
所述根据个数统计结果和所述图像特征分组映射表计算得出图像复杂度系数的步骤包括：
在所述图像特征分组映射表中查找所述像素点对应的比较型特征值的一致性距离；
根据个数统计结果计算一致性距离在预设范围内的像素点的占比；
根据该占比得到图像复杂度系数；
所述图像特征分组映射表为通过将经过变换处理后可获得相同的处理结果的二进制比较型特征归并为一组的方式生成的特性分组表，该表至少包括：特征分组索引、像素点对应的比较型特征值的一致性距离以及比较型特征值。
4.如权利要求1-3任一项所述的视觉搜索方法，其特征在于，还包括：
获取所述图像的图像特征分组索引；
当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端。
5.如权利要求4所述的视觉搜索方法，其特征在于，所述获取所述图像的图像特征分组索引的步骤包括：
对所述图像进行粗狂式的分块后进行比较型特征的提取；
根据该提取的比较型特征在图像特征分组映射表中查询得到所述图像分组特征索引。
6.如权利要求1-3任一项所述的视觉搜索方法，其特征在于，还包括：
当根据所述图像在移动终端本地进行图像搜索失败时，将本地搜索过程中提取的图像特征文件发送给所述服务端供所述服务端进行图像搜索，接收所述服务端反馈的搜索结果。
7.一种移动终端，其特征在于，包括：采集模块、参数获取模块、搜索模块以及收发模块；
所述采集模块用于采集图像；
所述参数获取模块用于提取所述图像的图像复杂度参数；
所述收发模块用于当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；
所述搜索模块用于当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索。
8.如权利要求7所述的移动终端，其特征在于，所述参数获取模块用于：
对所述图像进行比较型特征提取，并获取图像特征分组映射表；
根据图像特征分组映射表对比较型特征进行归并，并对可归并为一类的比较型特征对应的像素点进行个数统计；
根据个数统计结果和所述图像特征分组映射表计算得出图像复杂度系数。
9.如权利要求8所述的移动终端，其特征在于，所述参数获取模块用于：
将所述比较型特征转换为二进制比较型特征；
根据所述二进制比较型特征和所述图像特征分组映射表对所述比较型特征进行归并；
在所述图像特征分组映射表中查找所述像素点对应的比较型特征值的一致性距离；
根据个数统计结果计算一致性距离在预设范围内的像素点的占比；
根据该占比得到图像复杂度系数；
所述图像特征分组映射表为通过将经过变换处理后可获得相同的处理结果的二进制比较型特征归并为一组的方式生成的特性分组表，该表至少包括：特征分组索引、像素点对应的比较型特征值的一致性距离以及比较型特征值。
10.如权利要求7-9任一项所述的移动终端，其特征在于，还包括：索引获取模块；所述索引获取模块用于获取所述图像的图像特征分组索引；
所述收发模块还用于当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端。
11.如权利要求10所述的移动终端，其特征在于，所述索引获取模块用于：
对所述图像进行粗狂式的分块后进行比较型特征的提取；
根据该提取的比较型特征在图像特征分组映射表中查询得到所述图像分组特征索引。
12.如权利要求7-9任一项所述的移动终端，其特征在于，所述收发模块还用于当根据所述图像在移动终端本地进行图像搜索失败时，将本地搜索过程中提取的图像特征文件发送给所述服务端供所述服务端进行图像搜索。
13.一种视觉搜索系统，其特征在于，包括：服务端和移动终端；所述移动终端包括：采集模块、参数获取模块、搜索模块以及收发模块；所述服务端包括：服务端搜索模块和服务端收发模块；
所述采集模块用于采集图像；
所述参数获取模块用于提取所述图像的图像复杂度参数；
所述收发模块用于当所述图像复杂度参数的值不在预设范围内时，则将所述图像发送给服务端供服务端进行图像搜索，并且接收服务端反馈的搜索结果；所述搜索模块用于当所述图像复杂度参数的值在预设范围内时，则根据所述图像在移动终端本地进行图像搜索；
所述服务端收发模块用于接收所述移动终端发送的图像信息，以及将所述服务端搜索模块的搜索结果反馈给所述移动终端；
所述服务端搜索模块用于根据所述图像信息进行图像搜索。
14.如权利要求13所述的视觉搜索系统，其特征在于，所述移动终端还包括：索引获取模块；
所述索引获取模块用于获取所述图像的图像特征分组索引；
所述收发模块还用于当所述图像复杂度参数的值不在预设范围内时，将所述图像特征分组索引发送给所述服务端；
所述服务端收发模块还用于接收所述移动终端发送的图像特征分组索引；
所述服务端搜索模块用于根据所述图像信息和所述分组索引进行图像搜索。
15.如权利要求13或14所述的视觉搜索系统，其特征在于，所述收发模块还用于当根据所述图像在移动终端本地进行图像搜索失败时，将本地搜索过程中提取的图像特征文件发送给所述服务端；
所述服务端收发模块还用于接收所述移动终端发送所述图像特征文件；
所述服务端搜索模块还用于根据所述图像特征文件进行图像搜索。
CN201310699781.3A 2013-12-18 2013-12-18 视觉搜索方法、系统以及移动终端 Active CN104731784B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310699781.3A CN104731784B (zh) 2013-12-18 2013-12-18 视觉搜索方法、系统以及移动终端
EP14801411.1A EP3086238A4 (en) 2013-12-18 2014-06-10 Visual search method, system and mobile terminal
US15/105,879 US20170004148A1 (en) 2013-12-18 2014-06-10 Visual search method, system and mobile terminal
PCT/CN2014/079623 WO2014187408A1 (zh) 2013-12-18 2014-06-10 视觉搜索方法、系统以及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310699781.3A CN104731784B (zh) 2013-12-18 2013-12-18 视觉搜索方法、系统以及移动终端

Publications (2)

Publication Number Publication Date
CN104731784A true CN104731784A (zh) 2015-06-24
CN104731784B CN104731784B (zh) 2019-03-26

Family

ID=51932954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310699781.3A Active CN104731784B (zh) 2013-12-18 2013-12-18 视觉搜索方法、系统以及移动终端

Country Status (4)

Country Link
US (1) US20170004148A1 (zh)
EP (1) EP3086238A4 (zh)
CN (1) CN104731784B (zh)
WO (1) WO2014187408A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651741A (zh) * 2016-12-09 2017-05-10 西华大学 一种基于云计算的图形处理系统
US11704813B2 (en) 2019-11-29 2023-07-18 Baidu Online Network Technology (Beijing) Co., Ltd. Visual search method, visual search device and electrical device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3000238B1 (en) * 2013-05-20 2019-02-20 Intel Corporation Elastic cloud video editing and multimedia search

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010071617A1 (en) * 2008-12-15 2010-06-24 Thomson Licensing Method and apparatus for performing image processing
CN101868796A (zh) * 2007-10-05 2010-10-20 诺基亚公司 用于搜索应用的多缓存的方法、装置和计算机程序产品
US20110131235A1 (en) * 2009-12-02 2011-06-02 David Petrou Actionable Search Results for Street View Visual Queries
CN102147815A (zh) * 2011-04-21 2011-08-10 北京大学 图片搜索方法和图片搜索系统
CN102819566A (zh) * 2012-07-17 2012-12-12 杭州淘淘搜科技有限公司 一种商品图像跨类目检索方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763429B (zh) * 2010-01-14 2012-01-25 中山大学 一种基于颜色和形状特征的图像检索方法
US8401225B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8942917B2 (en) * 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US20140195560A1 (en) * 2013-01-09 2014-07-10 Samsung Electronics Co., Ltd Two way local feature matching to improve visual search accuracy

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868796A (zh) * 2007-10-05 2010-10-20 诺基亚公司 用于搜索应用的多缓存的方法、装置和计算机程序产品
WO2010071617A1 (en) * 2008-12-15 2010-06-24 Thomson Licensing Method and apparatus for performing image processing
US20110131235A1 (en) * 2009-12-02 2011-06-02 David Petrou Actionable Search Results for Street View Visual Queries
CN102147815A (zh) * 2011-04-21 2011-08-10 北京大学 图片搜索方法和图片搜索系统
CN102819566A (zh) * 2012-07-17 2012-12-12 杭州淘淘搜科技有限公司 一种商品图像跨类目检索方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651741A (zh) * 2016-12-09 2017-05-10 西华大学 一种基于云计算的图形处理系统
CN106651741B (zh) * 2016-12-09 2019-12-13 西华大学 一种基于云计算的图形处理系统
US11704813B2 (en) 2019-11-29 2023-07-18 Baidu Online Network Technology (Beijing) Co., Ltd. Visual search method, visual search device and electrical device

Also Published As

Publication number Publication date
EP3086238A1 (en) 2016-10-26
CN104731784B (zh) 2019-03-26
US20170004148A1 (en) 2017-01-05
WO2014187408A1 (zh) 2014-11-27
EP3086238A4 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
CN102147815B (zh) 图片搜索方法和图片搜索系统
CN104008395B (zh) 一种基于人脸检索的不良视频智能检测方法
CN105373626A (zh) 分布式人脸识别轨迹搜索系统和方法
CN104952073B (zh) 基于深度学习的镜头边缘检测方法
CN105824928A (zh) 移动终端、服务器、基于内容的图像识别搜索方法及系统
CN113392646A (zh) 一种数据中台系统、构建方法及装置
CN103617217A (zh) 一种基于层次索引的图像检索方法及系统
CN104915351A (zh) 图片排序方法及终端
CN106649663A (zh) 一种基于紧凑视频表征的视频拷贝检测方法
CN101916279A (zh) 基于图像分析技术的植物物种查询系统及方法
CN103929644A (zh) 一种视频指纹库建立、视频指纹识别方法及装置
CN105550253B (zh) 一种类型关系的获取方法及装置
CN107977592B (zh) 一种图像文本检测方法及系统、用户终端及服务器
CN110188217A (zh) 图像查重方法、装置、设备和计算机可读储存介质
CN104731784A (zh) 视觉搜索方法、系统以及移动终端
CN113761242A (zh) 一种基于人工智能的大数据图像识别系统及方法
CN104376291B (zh) 数据处理的方法及装置
CN104615734A (zh) 一种社区管理服务大数据处理系统及其处理方法
CN103530377A (zh) 一种基于二进制特征码的场景信息搜索方法
CN110399344A (zh) 选取重复图像的方法及装置
CN103186772A (zh) 集群构架下的人脸识别系统及方法
CN106127602B (zh) 一种基于约简离群点算法的窃电辨识方法及装置
CN104820914A (zh) 无线盘点装置
CN114741557B (zh) 视图数据库管理分类方法
CN109064578A (zh) 一种基于云服务的考勤系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant