CN111177450B - 一种图像检索云识别方法、系统及计算机可读存储介质 - Google Patents

一种图像检索云识别方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN111177450B
CN111177450B CN201911425798.3A CN201911425798A CN111177450B CN 111177450 B CN111177450 B CN 111177450B CN 201911425798 A CN201911425798 A CN 201911425798A CN 111177450 B CN111177450 B CN 111177450B
Authority
CN
China
Prior art keywords
image
database
standard
retrieval
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911425798.3A
Other languages
English (en)
Other versions
CN111177450A (zh
Inventor
刘力
尤峰华
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shichen Information Technology Shanghai Co ltd
Original Assignee
Shichen Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shichen Information Technology Shanghai Co ltd filed Critical Shichen Information Technology Shanghai Co ltd
Priority to CN201911425798.3A priority Critical patent/CN111177450B/zh
Publication of CN111177450A publication Critical patent/CN111177450A/zh
Application granted granted Critical
Publication of CN111177450B publication Critical patent/CN111177450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Abstract

本申请实施例提供了一种图像检索云识别方法、系统及计算机可读存储介质,其中所述方法利用终端设备获取待检索识别图像,提取所述待检索识别图像的特征数据,并获取所述终端设备的历史检索记录,所述历史检索记录中包含所述终端设备在先验证图像的识别码和/或分组号;利用所述在先验证图像的识别码和/或分组号以及所述关系映射表构建逻辑子数据库,或者,从缓存服务器中获取所述逻辑子数据库;所述逻辑子数据库包含与所述在先验证图像在同一个分组的标准图像的特征数据;利用所述待检索识别图像的特征数据在所述逻辑子数据库中进行第一图像检索。

Description

一种图像检索云识别方法、系统及计算机可读存储介质
技术领域
本申请涉及计算机视觉领域,特别是涉及一种图像检索云识别方法、系统及计算机可读存储介质。
背景技术
基于图像的检索识别可以根据一张输入图片进行分析、检索、识别,从而得到其对应的标准图像,通过该标准图像可以关联出不同的应用或内容。随着人工智能、机器学习以及图像处理等技术的发展,基于图像的检索识别应用场景广泛,是人脸识别、内容推荐、广告定向推广、增强现实等应用中的基础技术,且已经广泛应用于日常生活中,比如在购物网站上可以通过拍照搜索相应的商品,在视频网站上观看视频内容时可以根据场景中的物体、衣着推送相应的商品广告,在增强现实应用中进行商品的互动营销。
目前图像检索识别的技术实现手法多为利用网络将摄像头采集到的图像信息传送至服务器端,服务器端根据易辨识信息组成一个候选数据集,对候选数据集中的数据进行识别训练后,根据预设的评分机制,选出最合适的标准图像。
但是,现有技术方案,识别效率较低,用户等待时间长,体验感较差,尤其是在应对超大规模的检索时,往往容易出现误检测、检索失败、检索返回结果时间长等问题。尤其图像数据库的规模不断扩大,导致图像检索识别的误检率、识别检索失败率都随之提高,图像识别速度也随之变慢。
发明内容
本申请提供一种图像检索云识别方法、系统及计算机可读存储介质,能降低图像检索识别的误检率,提高图像识别的速度。
本申请提供一种图像检索云识别方法,其特征在于,所述方法包括:
提取标准图像的特征数据,并为所述标准图像分配唯一的识别码,按照预设的规则对所述标准图像的特征数据进行分组,为同组标准图像的特征数据分配相同的分组号,将分组后的标准图像的特征数据存储在图像特征数据库中,构建包含所述标准图像的识别码、分组号以及特征数据的关系映射表;
利用终端设备获取待检索识别图像,提取所述待检索识别图像的特征数据,并获取所述终端设备的历史检索记录,所述历史检索记录中包含所述终端设备在先验证图像的识别码和/或分组号;
利用所述在先验证图像的识别码和/或分组号以及所述关系映射表构建逻辑子数据库,或者,从缓存服务器中获取所述逻辑子数据库;所述逻辑子数据库包含与所述在先验证图像在同一个分组的标准图像的特征数据;
所述利用所述在先验证图像的识别码和/或分组号以及所述关系映射表构建逻辑子数据库,具体包括:
在所述映射关系表中查找所述在先验证图像的识别码所对应的分组号,利用所述分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;
或者,
利用所述在先验证图像的分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;
利用所述待检索识别图像的特征数据在所述逻辑子数据库中进行第一图像检索。
优选地,所述利用所述待检索识别图像的特征数据在所述逻辑子库中进行图像检索,具体包括:
在所述逻辑子数据库中进行第一图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像;
选取至少一个所述候选图像进行验证,满足预设验证标准的候选图像为验证图像,输出所述验证图像。
优选地,所述图像特征数据库还存储所述标准图像的特征描述向量的降维编码;
如果所述第一图像检索未得到所述候选图像,利用所述待检索识别图像的特征描述向量的降维编码,在所述图像特征数据库中进行第二图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像。
优选地,所述方法还包括存储热点数据,所述热点数据包括所述终端设备在预设时间内被检索次数大于预设阈值的历史检索记录以及与所述历史检索记录中在先验证图像对应的逻辑子数据库,所述热点数据存储在所述缓存服务器中。
优选地,所述终端设备输出所述验证图像后,将所述验证图像的识别码和分组号中的至少一个以及所述验证图像对应的逻辑子数据库存储在所述热点数据中。
优选地,所述历史检索记录中存储的标准图像的识别码或分组号多于一个时,对每个标准图像的识别码或分组号按被检索的次数降序排列,并利用所述降序排列的结果对所述逻辑子数据库进行排序。
优选地,所述按照预设的规则对所述标准图像的特征数据进行分组,包括:
利用所述标准图像的图像内容和/或所述标准图像之间的相似性对所述标准图形的特征数据进行分组。
优选地,所述方法还包括:在对所述标准图像的特征数据进行分组时,对应于同一分组号的任意两幅标准图像的相似度小于等于预设的阈值。
本申请还提供一种图像检索云识别系统,其特征在于,包括:处理器和存储器;
所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时执行如前所述的图像检索云识别方法的步骤。
本申请还提供一种图像检索云识别系统,其特征在于,所述系统包括建库模块、检索模块和缓存模块,其中:
所述建库模块,用于提取标准图像的特征数据,并为所述标准图像分配唯一的识别码,按照预设的规则对所述标准图像的特征数据进行分组,为同组标准图像的特征数据分配相同的分组号,将分组后的标准图像的特征数据存储在图像特征数据库中,构建包含所述标准图像的识别码、分组号以及特征数据的关系映射表;
所述检索模块,用于利用终端设备获取待检索识别图像,提取所述待检索识别图像的特征数据,并获取所述终端设备的历史检索记录,所述历史检索记录中包含所述终端设备在先验证图像的识别码和/或分组号;利用所述在先验证图像的识别码和/或分组号以及所述关系映射表构建逻辑子数据库,或者,从所述缓存模块中获取所述逻辑子数据库;所述逻辑子数据库包含与所述在先验证图像在同一个分组的标准图像的特征数据;利用所述待检索识别图像的特征数据在所述逻辑子数据库中进行第一图像检索;
在所述映射关系表中查找所述在先验证图像的识别码所对应的分组号,利用所述分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;
或者,利用所述在先验证图像的分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;
所述缓存模块,用于存储所述终端设备的历史检索记录和所述逻辑子数据库。
优选地,所述检索模块还用于在所述逻辑子数据库中进行第一图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像;选取至少一个所述候选图像进行验证,满足预设验证标准的候选图像为验证图像,利用所述终端设备输出所述验证图像。
优选地,所述建库模块还用于在所述图像特征数据库中存储所述标准图像的特征描述向量的降维编码;
所述检索模块还用于,如果所述第一图像检索未得到所述候选图像,利用所述待检索识别图像的特征描述向量的降维编码,在所述图像特征数据库中进行第二图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像。
优选地,所述缓存模块还用于存储热点数据,所述热点数据包括所述终端设备在预设时间内被检索次数大于预设阈值的历史检索记录以及与所述历史检索记录中在先验证图像对应的逻辑子数据库。
优选地,所述缓存模块还用于,在所述终端设备输出所述验证图像后,将所述验证图像的识别码和分组号中的至少一个以及所述验证图像对应的逻辑子数据库存储在所述热点数据中。
优选地,所述缓存模块还用于,当所述历史检索记录中存储的标准图像的识别码或分组号多于一个时,对每个标准图像的识别码或分组号按被检索的次数降序排列,并利用所述降序排列的结果对所述逻辑子数据库进行排序。
优选地,所述建库模块还用于,利用所述标准图像的图像内容和/或所述标准图像之间的相似性对所述标准图形的特征数据进行分组。
优选地,所述建库模块还用于,对所述标准图像的特征数据进行分组,对应于同一分组号的任意两幅标准图像的相似度小于等于预设的阈值。
本申请还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前所述的图像检索云识别方法的步骤。
上述描述的图像检索云识别方法、系统及计算机可读存储介质,根据所述待检索识别图像的特征点和/或特征描述向量进行历史记录检索,获取与所述待检索识别图像相似度大于等于预设阈值的候选图像,对候选图像进行几何验证。在图像检索识别,尤其是面对超大规模的图像检索识别时,能显著减少单次图像检索的平均延时,还能有效降低误检率,提高图像识别速度和图像检索的成功率,减少用户的等待时间,给用户带来更好的体验。而且随着图库规模的增大,图像误检率、图像检索失败率也不会显著增加,以及图像检索识别的速度也不会明显变慢,可以面对百万级、千万级以上规模的图库进行图像检索识别。
附图说明
图1是本申请实施例图像检索云识别系统的第一结构示意图;
图2是本申请实施例图像检索云识别方法的第一流程示意图;
图3是本申请实施例图像检索云识别方法的第二流程示意图;
图4是本申请实施例图像检索云识别方法的第三流程示意图;
图5是本申请实施例图像检索云识别方法的第四流程示意图;
图6是本申请实施例图像检索云识别方法的第五流程示意图;
图7是本申请实施例图像检索云识别系统的第二结构示意图;
图8是本申请实施例图像检索云识别系统的第三结构示意图;
图9是本申请实施例图像检索云识别系统的第四结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非上下文明确地另外指明,否则单数形式“一”和“所述”包括复数指代物。如本申请中所使用的,用语“第一”和“第二”可互换使用,以将一个或一类构件分别与另一个或另一类区分开,且不旨在表示独立构件的位置或重要性。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如android操作系统、IOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。
所述网络104包括但不限于互联网、移动通信网络、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。例如,移动通信网络可以是3G、4G或5G移动通信系统,例如,移动通信网络可以是宽带码分多址(Wideband Code Division Multiple Access,WCDMA)系统、频分多址(Frequency Division Multiple Access,FDMA)系统、正交频分多址(Orthogonal Frequency-Division Multiple Access,OFDMA)系统、单载波FDMA(SC-FDMA)系统、通用分组无线业务(General Packet Radio Service,GPRS)系统或长期演进(LongTerm Evolution,LTE)系统,以及其他此类通信系统。当然,本领域技术人员应能理解上述终端设备仅为举例,其他现有的或今后可能出现的终端设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
服务器105可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心,例如云端服务器。其也可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的图像检索云识别方法一般由服务器执行,相应地,图像检索云识别系统/装置一般设置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
如图2所述,为本申请一实施例的一种图像检索云识别方法的流程示意图,该图像检索云识别方法可以由云端服务器执行。
步骤11,获取待检索识别图像。
例如,带有摄像和/或数据传输模块的终端设备,可以通过有线和/或无线的方式获取到图像,或者,可以通过图像采集设备获取到图像。所述终端设备包括但不限于智能手机、平板、增强现实(Augmented Reality,AR)眼镜。
例如,所述终端设备通过拍照或选取所述终端设备的存储器中的图片或通过网络获取待检索识别图像。
所述终端设备获取待检索识别图像后,将所述待检索识别图像发送给云端服务器,即所述云端服务器从所述终端设备获取待检索识别图像。
步骤12,提取所述待检索识别图像的特征点并计算所提取的特征点的特征描述向量。
例如,如图3所示,为本申请一实施例的一种提取所述待检索识别图像的特征点并计算所提取的特征点的特征描述向量的流程示意图。
步骤201、提取所述待检索识别图像的特征点。
例如,云端服务器提取所述待检索识别图像的特征点的方法有很多,例如,使用特征提取算子提取特征点,例如,加速角点特征(Features from Accelerated SegmentTest,FAST)检测算法、哈里斯(Harris)角点检测算法、莫拉维克(Moravec)角点检测算法、史托马西(Shi-Tomasi)角点检测算法或基于加速角点特征和二元独立特征描述(OrientedFASTand Rotated BRIEF,ORB)特征检测算法等。
角点是图像中的特殊位置,也可以称为“关键特征点(keypoint feature)”,或“兴趣点(interestpoint)”,例如,角点可以是一阶导数(即灰度的梯度)的极值点所对应的像素点、两条及两条以上边缘的交点或图像中梯度值和梯度方向的变化速率大于等于预设阈值的点,或者某处的一阶导数最大和二阶导数为零的点,指示物体边缘变化不连续的方向。
例如,FAST角点检测算法是找到与周围邻域内大于预定数量的像素点相差大于等于预设阈值的像素点P,则所述像素点P为角点,角点即为所要提取的特征点。例如,随机选择一个像素点P,以P为圆心画一个半径为3像素的圆经过16个像素点,如果圆周上有连续n个像素点的灰度值与P点的灰度值之差大于等于预设阈值,则认为P为所要提取的特征点,其中,所述预设阈值可以根据应用场景调整,n为大于等于1的整数,例如,n可以设置为12。
例如,Harris角点检测算法,基于“当一个窗口在图像上移动时,在平滑区域,窗口在各个方向上没有变化;在边缘上,窗口在边缘的方向上没有变化”的理论,通过窗口在各个方向上的变化程度,找到某些位置的点,使得窗口在各个方向上都具有变化,即为所述角点。
步骤202、对所述特征点进行特征描述得到所述待检索识别图像的特征描述向量。
例如,使用尺度不变特征转换(Scale-Invariant Feature Transform,SIFT)特征描述子算法、加速稳健特征(Speeded Up Robust Features,SURF)特征描述子算法或二元尺度不变(Binary Robust Invariant Scalable Keypoints,BRISK)特征描述子算法等,对所述特征点进行特征描述得到所述待检索识别图像的特征描述向量。
例如,SIFT特征描述子算法,用于侦测与描述图像中的局部性特征,对所述特征点进行梯度计算,生成梯度直方图,统计选取的领域内像素的梯度和方向,从而确定所述特征点的方向;取所述特征点周围4×4共16个区域块,统计每个所述区域块内8个梯度方向,用这4×4×8共128维向量作为所述特征点的特征描述向量,将所述待检索识别图像中的所有特征点都用SIFT算法转化为128维的特征描述向量,得到所述待检索识别图像的特征描述向量。
步骤13,获取所述终端设备的历史检索记录。
所述历史检索记录可以是所述终端设备前一次检索识别的结果。例如,所述历史检索记录可以存储在云端服务器或缓存服务器或所述终端设备的存储器中,所述终端设备前一次检索识别的结果可以为所述终端设备前一次检索识别得到的验证图像的识别码(Identification,ID),所述终端设备前一次或多次检索识别得到的验证图像可以称为在先验证图像,获取所述在先验证图像的识别码。所述缓存服务器在下文详述。
在本申请实施例的一个可选方案中,所述历史检索记录也可以是所述终端设备前一次或多次检索识别的结果中至少一帧在先验证图像的ID。
在本申请的另一实施例中,所述历史检索记录也可以是所述终端设备前一次或多次检索识别的结果中在先验证图像的分组号,例如,获取所述终端设备前一次检索识别的结果中在先验证图像的分组号。所述在先验证图像分组的具体过程在下文详述。
步骤14,利用所述历史检索记录,构建逻辑子数据库并在所述逻辑子数据库中进行第一图像检索。
例如,所述第一图像检索可以是分别计算所述待检索识别图像与所述逻辑子数据库中的每一幅标准图像的相似度,与所述待检索识别图像相似度高于预设阈值的标准图像为第一图像检索结果,将所述第一图像检索结果作为候选图像。
例如,构建所述逻辑子数据库并进行第一图像检索的过程可以如图4所示,具体如下所述。
步骤301,利用所述历史检索记录以及所述关系映射表,构建所述逻辑子数据库。
例如,所述历史检索记录中所述在先验证图像的识别码(ID)为Q。利用识别码Q在所述关系映射表中查找Q对应的分组号G。或者,所述历史检索记录中所述在先验证图像的分组号为G。利用分组号G在所述关系映射表中查到所有从属于分组号为G且存储在所述图像特征数据库中的标准图像,组成分组号为G的标准图像集{Qi|i=[1,N]},其中,G分组中有N幅标准图像,N为大于1的整数,N小于完整的图像特征数据库中存储的总的标准图像数量。利用所述图像特征数据库获取所述N标准幅图像(即标准图像集{Qi|i=[1,N]})的特征描述向量并输出至所述逻辑子数据库,即所述逻辑子数据库包含分组号为G的N幅标准图像的特征点和/或特征描述向量,完成所述逻辑子数据库的构建。
其中,所述图像特征数据库和所述关系映射表是预先构建的,如图6所示,所述图像特征数据库和关系映射表的构建过程如下。
步骤3011,获取标准图像,参照图2及步骤12获取所述标准图像的特征点和特征描述向量。
其中,所述标准图像是指包含一个或多个平面或三维物体完整外观的图像。所述标准图像可以是人工选择和/或自动和/或半自动选择的,例如,人工选择抓取或直接获取的图像为所述标准图像,或者,所述设备根据人工预设标准自动抓取物体的图像为所述标准图像,或者所述设备随机自动抓取物体的图像为所述标准图像。
步骤3013,为每一个所述标准图像分配一一对应的识别码(Identification,ID)。
步骤3014,构建所述图像特征数据库和关系映射表。
例如,将每一个所述标准图像的信息输出至所述图像特征数据库,建立所述图像特征数据库,所述标准图像的信息包括以下内容中的一个或多个:所述标准图像的特征点、所述标准图像的特征描述向量、所述标准图像的特征描述向量的降维编码等。将所述标准图像与识别码的对应关系等记录在所述关系映射表中,建立所述关系映射表。
在本申请的另一实施例中,在构建所述图像特征数据库和关系映射表时还可以对所述标准图像进行相似性检查,按所述相似性检查的结果对所述标准图像进行分组,并将所述标准图像的分组号与识别码的对应关系、所述标准图像与分组号的对应关系等记录在所述关系映射表中,构建所述图像特征数据库和关系映射表。所述分组的规则可以是人工预设的,例如根据所述标准图像的图像内容进行分组,所述标准图像的图像内容可以是所述标准图像包含的物体的类别、所述标准图像对应的现实环境、所述标准图像的应用场景等。在本申请实施例的一个可选方案中,所述分组下同组内的任意两个标准图像的相似度β满足0≤a≤β*100%≤b≤1,其中a为预设的同组内标准图像相似度的最低阈值,b为预设的同组内标准图像相似度的最高阈值。例如,将相似度大于等于预设阈值的两幅标准图像定义为相似标准图像,将相似度等于100%的两幅标准图像定义为重复图像。删减所述图像特征数据库中的重复图像直至所述图像特征数据库中不存在重复图像,将所述图像特征数据库中的相似标准图像放入不同分组中。例如,在构建所述图像特征数据库和关系映射表时执行步骤3012,对所述标准图像进行所述相似性检查,将尚未存储到所述图像特征数据库中的标准图像Q1与已存储在所述图像特征数据库中的所有标准图像的进行第三图像检索,所述第三图像检索可以是分别计算所述待检索识别图像与所述图像特征数据库中的每一幅标准图像的相似度,在所述图像特征数据库中找到与标准图像Q1相似度大于等于预设阈值的标准图像Q2为第三图像检索结果,所述标准图像Q2和标准图像Q1为所述相似标准图像,避免将标准图像Q1编入标准图像Q2所在的分组G,例如,将标准图像Q1编入分组T,将标准图像Q1的特征点、特征描述向量、降维编码等信息存储到所述图像特征数据库中,将标准图像Q1与识别码的对应关系、标准图像Q1与分组T的对应关系存储到所述关系映射表中。所述关系映射表记录了每个分组中每幅所述标准图像的信息在所述图像特征数据库中的位置,利用所述标准图像Q1的分组号T和所述关系映射表可以从所述图像特征数据库中提取所述标准图像Q1的信息。
在本申请的另一实施例中,所述相似性检查也可以对所述标准图像进行降维编码,所述降维编码的过程在下文详述。将标准图像Q1的降维编码与所述图像特征数据库中每一幅标准图像的降维编码分别进行相似度检测,找到与标准图像Q1相似度大于等于预设阈值的标准图像Q2,将标准图像Q1编入与标准图像Q2不同的分组中,例如,标准图像Q2在的分组G中,将标准图像Q1编入分组T。
在本申请的另一实施例中,所述关系映射表在记录标准图像与分组号的对应关系时,为了查找的效率,可以采用倒排的思想,即根据所述标准图像的分组号记录所述标准图像,记录相同的分组内的所有标准图像的识别码,将所述标准图像按分组号进行排列。
在本申请实施例一个可选的方案中,为了提高图像检索识别的效率,可以从所述缓存服务器中获取所述逻辑子数据库,在所述逻辑子数据库中进行第一图像检索,无需重新构建所述逻辑子数据库。例如,可以在所述云端服务器和/或所述缓存服务器和/或所述终端设备的存储器中存储热点数据。所述热点数据包括所述终端设备在预设时间内被检索次数大于预设阈值的所述历史检索记录。例如,所述热点数据包括以下信息中的一个或多个:所述终端设备在预设时间内被检索次数大于M次的历史检索记录、所述被检索次数大于M次的历史检索记录中的在先验证图像(且为存储在所述图像特征数据库中的标准图像)、所述被检索次数大于M次的在先验证图像的分组号、所述被检索次数大于M次的在先验证图像对应的逻辑子数据库。其中,M为大于等于1的自然数。例如,在检索识别图像的过程中,从所述热点数据中获得所述被检索次数大于M次的在先验证图像对应的逻辑子数据库,在所述逻辑子数据库中进行第一图像检索,不需要利用所述关系映射表获取相应的标准图像集后再从所述图像特征数据库中获取信息建立逻辑子数据库。
在本申请实施例一个可选的方案中,所述历史检索记录中存储的标准图像的识别码或分组号多于一个时,对每个标准图像的识别码或分组号按被检索的次数降序排列,并利用所述降序排列的结果对所述逻辑子数据库进行排序。例如,分组号G被检索的次数大于分组号T被检索的次数,所述历史检索记录中分组号G对应的所述逻辑子数据库排列在分组号T对应的所述逻辑子数据库之前。
步骤302、基于所述待检索识别图像的特征描述向量在所述逻辑子数据库中进行所述第一图像检索,将所述第一图像检索结果作为所述候选图像。
例如,所述第一图像检索可以基于所述待检索识别图像的特征描述向量分别计算所述待检索识别图像与所述逻辑子数据库中的每一幅标准图像的相似度,与所述待检索识别图像相似度大于等于预设阈值的标准图像为第一图像检索结果,将所述第一图像检索结果作为所述候选图像。
所述候选图像可以为一个或多个,当所述候选图像为多个时,还可以对该多个候选图像进行相似度从大到小的排序。
步骤15,如果所述第一图像检索未得到所述候选图像,对所述待检索识别图像特征点的特征描述向量进行降维编码,利用所述待检索识别图像的降维编码在所述图像特征数据库中进行第二图像检索。
例如,所述第二图像检索可以是分别计算所述待检索识别图像与所述图像特征数据库中的每一幅标准图像的相似度,与所述待检索识别图像相似度大于等于预设阈值的标准图像为第二图像检索结果,将所述第二图像检索结果作为所述候选图像。
所述候选图像可以为一个或多个,当所述候选图像为多个时,还可以对所述多个候选图像进行相似度从大到小的排序。
如图5所示,所述降维编码并进行第二图像检索的方法可以如下所述。
步骤401、对所述待检索识别图像的特征描述向量进行降维编码。
例如,词袋(Bag-of-words)模型是图片特征的一种统计表达,可以有效描述图片的整体和局部特性。使用词袋模型或逆向文件频率指数(term frequency-inversedocument frequency,TF-IDF)模型等将所述待检索识别图像的特征描述向量从高维编码为一个低维的二进制描述词。
例如,所述Bag-of-words模型的编码过程可以利用k均值聚类算法(k-meansclustering algorithm,K-Means)算法,提取部分标准图像中特征点的特征描述向量并将相似度大于等于预设阈值的进行聚类,例如随机选取任意幅标准图像中特征点的特征描述向量为初始的聚类中心,然后以其他标准图像或待检索识别图像中特征点的特征描述向量为对象,计算每个对象与各个聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个对象,聚类的聚类中心会根据聚类中现有的对象被重新计算。计算得到k簇聚类,且簇内具的相似度高于簇间相似度。聚类中心被称为“词”,聚类得到的所有簇(即所有的“词”)组成一个“码本”。对于每一幅待降维的图像(可以是标准图像或待检索识别图像),以其特征描述向量在码本中搜索最相似的聚类中心(也即词),统计不同词在该待降维图像中出现的频度,形成一个直方图;对该直方图作L1归一化,得到基于词袋模型的二进制描述词,即得到所述待降维的图像(标准图像或待检索识别图像)的降维编码。
步骤402、基于所述待检索识别图像的降维编码,在所述图像特征数据库中进行所述第二图像检索,将所述第二图像检索结果作为所述候选图像。
例如,所述第二图像检索可以是分别计算所述待检索识别图像的降维编码与所述图像特征数据库中的每一幅标准图像的降维编码的相似度,与所述待检索识别图像相似度大于等于预设阈值的标准图像为第二图像检索结果,将所述第二图像检索结果作为所述候选图像。
步骤16,对所述候选图像进行几何验证,根据几何验证的结果确定本次检索是否成功。
例如,选取至少一个所述候选图像进行几何验证,所述几何验证可以是计算所述待检索识别图像与所述候选图像之间的单应变换,检测计算所述单应变换的结果是否满足预设标准,满足所述预设标准的候选图像为验证图像。
例如,所述单应变换可以是计算所述待检索识别图像与所述候选图像之间的单应变换矩阵H。所述单应变换矩阵H可具体表征为:
Figure GDA0002922791120000211
如上公式表示单应矩阵的计算过程,其中argmin表示使得表达式的值最小。一个单应矩阵H应使得将所述待检索识别图像中的点(例如,在所述待检索识别图像中的坐标为
Figure GDA0002922791120000212
的点)经过变换后得到的单应变换点(例如,经过所述单应变换后坐标为
Figure GDA0002922791120000213
的点)与所述候选图像的点(例如,在所述候选图像中的坐标为(ui,vi)的点)之间的距离之和最小。设定距离阈值ε,如果所述待检索识别图像中坐标为
Figure GDA0002922791120000221
的点在所述单应变换矩阵H变换下与所述候选图像坐标为(ui,vi)的点之间的距离之和小于阈值ε,则标定所述待检索识别图像中坐标为
Figure GDA0002922791120000222
与所述候选图像中坐标为(ui,vi)的点为一组匹配点。如果所述待检索识别图像与所述候选图像的所述匹配点的数量大于预设的数量阈值SUM,即认为满足预设标准,所述满足预设标准的候选图像为验证图像。
在本申请实施例一个可选的方案中,当所述候选图像为多个时,还可以按与所述待检索识别图像的相似度从大到小的顺序选择所述候选图像依次分别计算与所述待检索识别图像的单应变换。
如果存在满足预设标准的所述验证图像,则确定本次检索识别成功,所述终端设备输出所述验证图像,并将本次检索识别的结果记录在所述历史检索记录中,结束本次检索识别。或者,如果不存在满足预设标准的所述验证图像,确定本次检索识别失败,可以终止检索,也可以重新返回步骤11,获取下一张待检索识别图像。
如图7所示,本申请实施例提供了一种图像检索云识别系统,所述系统包括存储器601和处理器602,其中,所述存储器601,用于存储代码和/或相关数据;所述处理器602,用于执行所述存储器601中的代码和/或相关数据用以实现前述图像检索云识别方法的步骤。
如图8所示,本申请实施例提供了一种图像检索云识别系统,所述图像检索云识别系统可以包括云端服务器703。
所述云端服务器703,用于通过网络702与图像采集设备701进行通信。
所述图像采集设备701,用于采集、抓取或读取标准图像和/或待检索识别图像,所述图像采集设备701的具体功能可以如图2所描述的图像检索云识别方法的步骤11中的所述终端设备的工作过程,在此不再赘述。
所述网络702,用于联通所述图像采集设备701和所述云端服务器703,所述网络702的具体功能可以如图1所描述的图像检索云识别系统的网络104的工作过程。
所述云端服务器703,用于计算、检索识别所述图像采集设备701所采集到的图像。例如,所述云端服务器703可以包括通过系统总线相互通信连接的建库模块7031、检索模块7032和缓存模块7033。
所述建库模块7031,用于提取标准图像的特征数据,并为所述标准图像分配唯一的识别码,按照预设的规则对所述标准图像的特征数据进行分组,为同组标准图像的特征数据分配相同的分组号,将分组后的标准图像的特征数据存储在图像特征数据库中,构建包含所述标准图像的识别码、分组号以及特征数据的关系映射表。所述建库模块7031,还用于在所述图像特征数据库中存储所述标准图像的特征描述向量的降维编码。所述建库模块7031,还用于利用所述标准图像的图像内容和/或所述标准图像之间的相似性对所述标准图形的特征数据进行分组。所述建库模块7031,还用于对所述标准图像的特征数据进行分组,对应于同一分组号的任意两幅标准图像的相似度小于等于预设的阈值。所述建库模块7031的具体功能可以执行如图6所描述的图像检索云识别方法的步骤3011、3012、3013、3014。
所述检索模块7032,用于利用终端设备获取待检索识别图像,提取所述待检索识别图像的特征数据,并获取所述终端设备的历史检索记录,所述历史检索记录中包含所述终端设备在先验证图像的识别码和/或分组号;利用所述在先验证图像的识别码和/或分组号以及所述关系映射表构建逻辑子数据库,或者,从所述缓存模块7033中获取所述逻辑子数据库;所述逻辑子数据库包含与所述在先验证图像在同一个分组的标准图像的特征数据;利用所述待检索识别图像的特征数据在所述逻辑子数据库中进行第一图像检索。所述检索模块7032,还用于在所述映射关系表中查找所述在先验证图像的识别码所对应的分组号,利用所述分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;或者,利用所述在先验证图像的分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库。所述检索模块7032,还用于在所述逻辑子数据库中进行第一图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像;选取至少一个所述候选图像进行验证,满足预设验证标准的候选图像为验证图像,利用所述终端设备输出所述验证图像。所述检索模块7032还用于,如果所述第一图像检索未得到所述候选图像,利用所述待检索识别图像的特征描述向量的降维编码,在所述图像特征数据库中进行第二图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像。所述检索模块7032的具体功能可以执行如图2所描述的图像检索云识别方法的步骤11、12、13、14、15、16。所述检索模块7032的具体功能可以执行如图3所描述的图像检索云识别方法的步骤201、202。所述检索模块7032的具体功能可以执行如图4所描述的图像检索云识别方法的步骤301、302。所述检索模块7032的具体功能可以执行如图5所描述的图像检索云识别方法的步骤401、402。
所述缓存模块7033,用于存储所述终端设备的历史检索记录和所述逻辑子数据库。所述缓存模块7033,还用于存储热点数据,所述热点数据包括所述终端设备在预设时间内被检索次数大于预设阈值的历史检索记录以及与所述历史检索记录中在先验证图像对应的逻辑子数据库。所述缓存模块7033还用于,在所述终端设备输出所述验证图像后,将所述验证图像的识别码和分组号中的至少一个以及所述验证图像对应的逻辑子数据库存储在所述热点数据中。所述缓存模块7033还用于,当所述历史检索记录中存储的标准图像的识别码或分组号多于一个时,对每个标准图像的识别码或分组号按被检索的次数降序排列,并利用所述降序排列的结果对所述逻辑子数据库进行排序。所述缓存模块7033的具体功能可以如图2所描述的图像检索云识别方法中的缓存服务器。
在本申请实施例中,所述建库模块7031、检索模块7032和缓存模块7033可以集成在设备上,例如集成在设备的处理器上,设备的处理器可以是CPU、服务器,或者其他中央处理器等。
在本申请另一实施例中,所述所述云端服务器还可以包括通过系统总线相互通信连接的计算服务器、缓存服务器、关系映射表服务器、图像特征数据库服务器。
所述计算服务器,用于图像检索识别的计算。所述计算服务器的具体功能可以如图8所描述的图像检索云识别系统中的检索模块。
所述缓存服务器,用于存储终端设备的历史检索记录和逻辑子数据库。所述缓存服务器的具体功能可以如图2所描述的图像检索云识别方法中的所述终端设备的存储器。所述缓存服务器的具体功能可以如图8所描述的图像检索云识别系统中的缓存模块。
所述关系映射表服务器,用于存储关系映射表。所述关系映射表服务器的具体功能可以如图8所描述的图像检索云识别系统中的建库模块。
所述图像特征数据库服务器,用于存储图像特征数据库。所述图像特征数据库服务器可以如图8所描述的图像检索云识别系统中的建库模块。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图9,图9为本实施例计算机设备基本结构框图。
所述计算机设备10可以作为云端服务器,包括通过系统总线相互通信连接存储器1001、处理器1002、网络接口1003。需要指出的是,图中仅示出了具有组件1001-1003的计算机设备10,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器1001至少包括一种类型的可读存储介质,所述可读存储介质包括非易失性存储器(non-volatile memory)或易失性存储器,例如,闪存(flashmemory)、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦写可编程只读存储器(erasableprogrammable read-only memory,EPROM)、电可擦写可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、可编程只读存储器(programmableread-only memory,PROM)、磁性存储器、磁盘、光盘等,所述RAM可以包括静态RAM或动态RAM。在一些实施例中,所述存储器1001可以是所述计算机设备10的内部存储单元,例如,该计算机设备10的硬盘或内存。在另一些实施例中,所述存储器1001也可以是所述计算机设备10的外部存储设备,例如该计算机设备10上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器1001还可以既包括所述计算机设备10的内部存储单元也包括其外部存储设备。本实施例中,所述存储器1001通常用于存储安装于所述计算机设备10的操作系统和各类应用软件,例如图像检索云识别方法的程序代码等。此外,所述存储器1001还可以用于暂时地存储已经输出或者将要输出的各类数据。
在本申请实施例中,该处理器1002可以是中央处理单元(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1002还可以是其他通用处理器、数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器,例如单片机等。
该处理器1002通常用于控制所述计算机设备10的总体操作。本实施例中,所述存储器1001用于存储程序代码或指令,所述程序代码包括计算机操作指令,所述处理器1002用于执行所述存储器1001存储的程序代码或指令或者处理数据,例如运行所述图像检索云识别方法的程序代码。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外设部件互连标准(Periphera1 Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请的另一实施例还提供一种计算机可读介质,计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码,使得处理器能够执行在流程图2至图6中每个步骤、或各步骤的组合中规定的功能动作;生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置,或者前述的任意适当组合,所述存储器用于存储程序代码或指令,所述程序代码包括计算机操作指令,所述处理器用于执行所述存储器存储的程序代码或指令。
所述存储器和所述处理器的定义,可以参考前述计算机设备实施例的描述,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所属技术领域的技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,并被通讯设备内部的处理器执行,前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中,所述处理器可以作为一个或多个处理器芯片实施,或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit,ASIC)的一部分;而前述的存储介质可以包括但不限于以下类型的存储介质:闪存(Flash Memory)、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (18)

1.一种图像检索云识别方法,其特征在于,所述方法包括:
提取标准图像的特征数据,并为所述标准图像分配唯一的识别码,按照预设的规则对所述标准图像的特征数据进行分组,为同组标准图像的特征数据分配相同的分组号,将分组后的标准图像的特征数据存储在图像特征数据库中,构建包含所述标准图像的识别码、分组号以及特征数据的关系映射表;
利用终端设备获取待检索识别图像,提取所述待检索识别图像的特征数据,并获取所述终端设备的历史检索记录,所述历史检索记录中包含所述终端设备在先验证图像的识别码和/或分组号;
利用所述在先验证图像的识别码和/或分组号以及所述关系映射表构建逻辑子数据库,或者,从缓存服务器中获取所述逻辑子数据库;所述逻辑子数据库包含与所述在先验证图像在同一个分组的标准图像的特征数据;
所述利用所述在先验证图像的识别码和/或分组号以及所述关系映射表构建逻辑子数据库,具体包括:在所述映射关系表中查找所述在先验证图像的识别码所对应的分组号,利用所述分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;或者,利用所述在先验证图像的分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;
利用所述待检索识别图像的特征数据在所述逻辑子数据库中进行第一图像检索。
2.如权利要求1所述的方法,其特征在于,所述利用所述待检索识别图像的特征数据在所述逻辑子库中进行图像检索,具体包括:
在所述逻辑子数据库中进行第一图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像;
选取至少一个所述候选图像进行验证,满足预设验证标准的候选图像为验证图像,输出所述验证图像。
3.如权利要求2所述的方法,其特征在于,所述图像特征数据库还存储所述标准图像的特征描述向量的降维编码;
如果所述第一图像检索未得到所述候选图像,利用所述待检索识别图像的特征描述向量的降维编码,在所述图像特征数据库中进行第二图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像。
4.如权利要求2所述的方法,其特征在于,所述方法还包括存储热点数据,所述热点数据包括所述终端设备在预设时间内被检索次数大于预设阈值的历史检索记录以及与所述历史检索记录中在先验证图像对应的逻辑子数据库,所述热点数据存储在所述缓存服务器中。
5.如权利要求4所述的方法,其特征在于,所述终端设备输出所述验证图像后,将所述验证图像的识别码和分组号中的至少一个以及所述验证图像对应的逻辑子数据库存储在所述热点数据中。
6.如权利要求5所述的方法,其特征在于,所述历史检索记录中存储的标准图像的识别码或分组号多于一个时,对每个标准图像的识别码或分组号按被检索的次数降序排列,并利用所述降序排列的结果对所述逻辑子数据库进行排序。
7.如权利要求1至6任意一项所述的方法,其特征在于,所述按照预设的规则对所述标准图像的特征数据进行分组,包括:
利用所述标准图像的图像内容和/或所述标准图像之间的相似性对所述标准图形的特征数据进行分组。
8.如权利要求7所述的方法,其特征在于,所述方法还包括:
在对所述标准图像的特征数据进行分组时,对应于同一分组号的任意两幅标准图像的相似度小于等于预设的阈值。
9.一种图像检索云识别系统,其特征在于,包括:处理器和存储器;
所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时执行如权利要求1至8任意一项所述的图像检索云识别方法的步骤。
10.一种图像检索云识别系统,其特征在于,所述系统包括建库模块、检索模块和缓存模块,其中:
所述建库模块,用于提取标准图像的特征数据,并为所述标准图像分配唯一的识别码,按照预设的规则对所述标准图像的特征数据进行分组,为同组标准图像的特征数据分配相同的分组号,将分组后的标准图像的特征数据存储在图像特征数据库中,构建包含所述标准图像的识别码、分组号以及特征数据的关系映射表;
所述检索模块,用于利用终端设备获取待检索识别图像,提取所述待检索识别图像的特征数据,并获取所述终端设备的历史检索记录,所述历史检索记录中包含所述终端设备在先验证图像的识别码和/或分组号;利用所述在先验证图像的识别码和/或分组号以及所述关系映射表构建逻辑子数据库,或者,从所述缓存模块中获取所述逻辑子数据库;所述逻辑子数据库包含与所述在先验证图像在同一个分组的标准图像的特征数据;利用所述待检索识别图像的特征数据在所述逻辑子数据库中进行第一图像检索;
在所述映射关系表中查找所述在先验证图像的识别码所对应的分组号,利用所述分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;或者,利用所述在先验证图像的分组号以及所述映射关系表在所述图像特征数据库中提取与所述分组号相同的标准图像的特征数据,构建所述逻辑子数据库;
所述缓存模块,用于存储所述终端设备的历史检索记录和所述逻辑子数据库。
11.如权利要求10所述的系统,其特征在于,所述检索模块还用于在所述逻辑子数据库中进行第一图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像;选取至少一个所述候选图像进行验证,满足预设验证标准的候选图像为验证图像,利用所述终端设备输出所述验证图像。
12.如权利要求11所述的系统,其特征在于,所述建库模块还用于在所述图像特征数据库中存储所述标准图像的特征描述向量的降维编码;
所述检索模块还用于,如果所述第一图像检索未得到所述候选图像,利用所述待检索识别图像的特征描述向量的降维编码,在所述图像特征数据库中进行第二图像检索得到与所述待检索识别图像相似度大于等于预设阈值的标准图像作为候选图像。
13.如权利要求11所述的系统,其特征在于,所述缓存模块还用于存储热点数据,所述热点数据包括所述终端设备在预设时间内被检索次数大于预设阈值的历史检索记录以及与所述历史检索记录中在先验证图像对应的逻辑子数据库。
14.如权利要求13所述的系统,其特征在于,所述缓存模块还用于,在所述终端设备输出所述验证图像后,将所述验证图像的识别码和分组号中的至少一个以及所述验证图像对应的逻辑子数据库存储在所述热点数据中。
15.如权利要求14所述的系统,其特征在于,所述缓存模块还用于,当所述历史检索记录中存储的标准图像的识别码或分组号多于一个时,对每个标准图像的识别码或分组号按被检索的次数降序排列,并利用所述降序排列的结果对所述逻辑子数据库进行排序。
16.如权利要求10至15任意一项所述的系统,其特征在于,所述建库模块还用于,利用所述标准图像的图像内容和/或所述标准图像之间的相似性对所述标准图形的特征数据进行分组。
17.如权利要求16所述的系统,其特征在于,所述建库模块还用于,对所述标准图像的特征数据进行分组,对应于同一分组号的任意两幅标准图像的相似度小于等于预设的阈值。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像检索云识别方法的步骤。
CN201911425798.3A 2019-12-31 2019-12-31 一种图像检索云识别方法、系统及计算机可读存储介质 Active CN111177450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911425798.3A CN111177450B (zh) 2019-12-31 2019-12-31 一种图像检索云识别方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911425798.3A CN111177450B (zh) 2019-12-31 2019-12-31 一种图像检索云识别方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111177450A CN111177450A (zh) 2020-05-19
CN111177450B true CN111177450B (zh) 2021-03-23

Family

ID=70649103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911425798.3A Active CN111177450B (zh) 2019-12-31 2019-12-31 一种图像检索云识别方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111177450B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112201117B (zh) * 2020-09-29 2022-08-02 深圳市优必选科技股份有限公司 一种逻辑板识别方法、装置及终端设备
CN112800258A (zh) * 2021-03-11 2021-05-14 上海依图网络科技有限公司 图像检索方法、装置、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887447A (zh) * 2009-05-11 2010-11-17 奥林巴斯映像株式会社 图像检索装置和图像检索方法
CN106557503A (zh) * 2015-09-28 2017-04-05 杭州海康威视数字技术股份有限公司 一种图像检索的方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016331220A1 (en) * 2015-09-30 2018-04-19 Aintu Inc. Systems and methods for product authentication
CN105930499B (zh) * 2016-05-09 2019-11-22 深圳市数极科技有限公司 一种图片搜索方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887447A (zh) * 2009-05-11 2010-11-17 奥林巴斯映像株式会社 图像检索装置和图像检索方法
CN106557503A (zh) * 2015-09-28 2017-04-05 杭州海康威视数字技术股份有限公司 一种图像检索的方法和系统

Also Published As

Publication number Publication date
CN111177450A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
US10140549B2 (en) Scalable image matching
CN103455542B (zh) 多类识别器以及多类识别方法
CN109582813B (zh) 一种文物展品的检索方法、装置、设备和存储介质
CN115578735B (zh) 文本检测方法和文本检测模型的训练方法、装置
CN111177450B (zh) 一种图像检索云识别方法、系统及计算机可读存储介质
CN112330331A (zh) 基于人脸识别的身份验证方法、装置、设备及存储介质
CN111373393B (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN113111880A (zh) 证件图像校正方法、装置、电子设备及存储介质
CN114898266B (zh) 训练方法、图像处理方法、装置、电子设备以及存储介质
CN113360803A (zh) 基于用户行为的数据缓存方法、装置、设备及存储介质
CN114049568A (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
CN112396048B (zh) 图片信息提取方法、装置、计算机设备及存储介质
CN113408323B (zh) 表格信息的提取方法、装置、设备及存储介质
CN112801099A (zh) 一种图像处理方法、装置、终端设备及介质
CN115880702A (zh) 数据处理方法、装置、设备、程序产品及存储介质
CN113627542A (zh) 一种事件信息处理方法、服务器及存储介质
CN112036501A (zh) 基于卷积神经网络的图片的相似度检测方法及其相关设备
CN108009233B (zh) 一种图像还原方法、装置、计算机设备及存储介质
CN113763313A (zh) 文本图像的质量检测方法、装置、介质及电子设备
KR102041994B1 (ko) 복수의 질의 이미지 검색을 위한 효과적인 이미지 벡터 병합
CN111079704A (zh) 一种基于量子计算的人脸识别方法及装置
CN117173731B (zh) 一种模型训练的方法、图像处理的方法以及相关装置
CN111626074A (zh) 一种人脸分类方法及装置
Chamasemani et al. Region-based surveillance video retrieval with effective object representation
CN117093717B (zh) 一种相似文本聚合方法、装置、设备及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant