CN111625665B - 阈值确定和图像检索方法、装置、电子设备和存储介质 - Google Patents

阈值确定和图像检索方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111625665B
CN111625665B CN202010464049.8A CN202010464049A CN111625665B CN 111625665 B CN111625665 B CN 111625665B CN 202010464049 A CN202010464049 A CN 202010464049A CN 111625665 B CN111625665 B CN 111625665B
Authority
CN
China
Prior art keywords
image
matching
resource
images
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010464049.8A
Other languages
English (en)
Other versions
CN111625665A (zh
Inventor
王忍宝
王晓斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Toycloud Technology Co Ltd
Original Assignee
Anhui Toycloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Toycloud Technology Co Ltd filed Critical Anhui Toycloud Technology Co Ltd
Priority to CN202010464049.8A priority Critical patent/CN111625665B/zh
Publication of CN111625665A publication Critical patent/CN111625665A/zh
Application granted granted Critical
Publication of CN111625665B publication Critical patent/CN111625665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例提供一种阈值确定和图像检索方法、装置、电子设备和存储介质,其中阈值确定方法包括:确定匹配阈值待定的资源图像对应的若干个测试图像;将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分;基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度;基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值。本发明实施例提供的方法、装置、电子设备和存储介质,实现了资源图像匹配阈值的个性化定制,避免了针对不同资源图像应用单一且固定的匹配阈值导致的图像检索识别准确性低的问题,提高了图像检索识别的准确性。

Description

阈值确定和图像检索方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种阈值确定和图像检索方法、装置、电子设备和存储介质。
背景技术
随着人工智能的兴起和计算机视觉技术的发展,用于阅读实体书的智能阅读设备越来越普及。其中,用户在使用智能阅读设备阅读实体书时,通常是由智能阅读设备对其所拍摄到的图像进行检索识别,从而向用户提供实体书的当前页面所对应的语音、视频等多媒体内容。
目前,智能阅读设备在针对图像进行检索识别时,通常将待检索的图像与每张资源图像进行匹配,并将针对每张资源图像匹配得到的相似度与预先设定的匹配阈值进行比较,从而确定待检索的图像与资源图像之间的对应关系。在此过程中,针对于不同的资源图像,其匹配阈值固定且单一,导致图像检索识别准确性低。
发明内容
本发明实施例提供一种阈值确定和图像检索方法、装置、电子设备和存储介质,用以解决现有的图像检索阈值单一且固定,导致图像检索识别准确性低的问题。
第一方面,本发明实施例提供一种阈值确定方法,包括:
确定匹配阈值待定的资源图像对应的若干个测试图像;
将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分;
基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度;
基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值。
优选地,所述将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分,具体包括:
将任一测试图像分别与多个候选资源图像进行匹配,得到预设数量个与所述任一测试图像之间的匹配度最高的候选资源图像,作为所述任一测试图像的候选匹配图像;
基于所述任一测试图像与每一候选匹配图像之间的相对匹配关系和/或绝对匹配关系,确定所述任一测试图像的匹配得分。
优选地,所述基于所述任一测试图像与每一候选匹配图像之间的相对匹配关系和/或绝对匹配关系,确定所述任一测试图像的匹配得分,具体包括:
基于所述任一测试图像与每一候选匹配图像之间的绝对匹配关系,确定每一候选匹配图像的绝对关系权重;
基于任一候选匹配图像的绝对关系权重,以及候选匹配图像的数量和候选资源图像的数量,确定所述任一候选匹配图像的绝对权重得分;
基于所述任一测试图像与任一候选匹配图像之间的相对匹配关系,以及候选匹配图像的数量和候选资源图像的数量,确定所述任一候选匹配图像的相对权重得分;
基于每一候选匹配图像的绝对权重得分和相对权重得分,确定所述任一测试图像的权重得分;
基于所述任一测试图像的权重得分以及所述任一测试图像对应的相对匹配关系和/或绝对匹配关系,或,基于所述任一测试图像的权重得分,确定所述任一测试图像的匹配得分。
优选地,所述任一测试图像与任一候选匹配图像之间的绝对匹配关系为所述任一测试图像与所述任一候选匹配图像之间的距离测量值;
所述任一测试图像与任一候选匹配图像之间的相对匹配关系为所述任一测试图像分别与所述任一候选匹配图像和所述任一候选匹配图像的相邻候选匹配图像之间的距离测量值之差。
优选地,所述基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度,具体包括:
基于所述每一测试图像的匹配得分,以及所述资源图像当前的匹配阈值,确定所述资源图像的特征辨识度。
优选地,基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值,具体包括:
基于所述资源图像的特征辨识度,以及所述资源图像所属的资源图像集合的整体辨识度,调整所述资源图像的匹配阈值;
其中,所述资源图像集合的整体辨识度是基于所述资源图像集合中的每个资源图像的特征辨识度确定的。
优选地,所述确定匹配阈值待定的资源图像对应的若干个测试图像,具体包括:
在模拟图像检索场景下连续采集多帧采集图像;
将所述多帧采集图像中的任一帧采集图像作为所述资源图像,将所述多帧采集图像中的其余各帧采集图像作为所述资源图像对应的测试图像。
第二方面,本发明实施例提供一种图像检索方法,包括:
确定待检索图像与所属资源图像集合中每一资源图像的检索得分;
基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果;
其中,每一资源图像的匹配阈值是基于如第一方面所提供的阈值确定方法确定的。
优选地,所述基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果,之后还包括:
若判断获知所述图像检索结果为空,且所述待检索图像所属的资源图像集合的工程化开关处于开启状态,则基于所述待检索图像与所属资源图像集合中部分或全部资源图像的检索得分,以及所述部分或全部资源图像的工程化阈值,更新所述待检索图像的图像检索结果。
优选地,所述基于所述待检索图像与所属资源图像集合中部分或全部资源图像的检索得分,以及所述部分或全部资源图像的工程化阈值,更新所述待检索图像的图像检索结果,具体包括:
确定所述待检索图像的前次检索图像在所述资源图像集合中的资源图像编号;
基于所述前次检索图像在所述资源图像集合中的资源图像编码,以及预设工程化编号范围,定位所述资源图像集合中的部分资源图像作为工程化图像;
基于所述待检索图像与所属资源图像集合中每一工程化资源图像的检索得分,以及每一工程化资源图像的工程化阈值,更新所述待检索图像的图像检索结果。
第三方面,本发明实施例提供一种阈值确定装置,包括:
测试图像确定单元,用于确定匹配阈值待定的资源图像对应的若干个测试图像;
匹配得分确定单元,用于将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分;
辨识度确定单元,用于基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度;
匹配阈值调整单元,用于基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值。
第四方面,本发明实施例提供一种图像检索装置,包括:
检索得分确定单元,用于确定待检索图像与所属资源图像集合中每一资源图像的检索得分;
检索结果确定单元,用于基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果;
其中,每一资源图像的匹配阈值是基于如第一方面所提供的阈值确定方法确定的。
第五方面,本发明实施例提供一种电子设备,包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑命令,以执行如第一方面或第二方面所提供的方法的步骤。
第六方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面或第二方面所提供的方法的步骤。
本发明实施例提供的一种阈值确定和图像检索方法、装置、电子设备和存储介质,基于多个测试图像的匹配得分确定的对应资源图像的特征辨识度,进行资源图像匹配阈值的调整,从而实现了资源图像匹配阈值的个性化定制,避免了针对不同资源图像应用单一且固定的匹配阈值导致的图像检索识别准确性低的问题,提高了图像检索识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的阈值确定方法的流程示意图;
图2为本发明实施例提供的匹配得分确定方法的流程示意图;
图3为本发明另一实施例提供的匹配得分确定方法的流程示意图;
图4为本发明实施例提供的基于整体辨识度和特征辨识度调整匹配阈值的方法;
图5为本发明实施例提供的资源图像和测试图像确定方法的流程示意图;
图6为本发明另一实施例提供的阈值确定方法的流程示意图;
图7为本发明实施例提供的图像检索方法的流程示意图;
图8为本发明实施例提供的工程化图像检索方法的流程示意图;
图9为本发明实施例提供的阈值确定装置的结构示意图;
图10为本发明实施例提供的图像检索装置的结构示意图;
图11为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,智能阅读设备在针对图像进行检索识别时,通常将待检索的图像与每张资源图像进行匹配,并将针对每张资源图像匹配得到的相似度与预先设定的匹配阈值进行比较,从而确定待检索的图像与资源图像之间的对应关系。在此过程中,针对于不同的资源图像,其匹配阈值固定且单一,尤其是针对于本身特征较弱或者文字较多的资源图像,如果不区分性地设置此类图像的匹配阈值,必然会导致此类图像难以被成功检出,影响图像检索识别的准确性。
针对这一问题,本发明实施例提供一种阈值确定方法。图1为本发明实施例提供的阈值确定方法的流程示意图,如图1所示,该方法包括:
步骤110,确定匹配阈值待定的资源图像对应的若干个测试图像。
此处,匹配阈值待定的资源图像即需要进行匹配阈值的确定或者调整的资源图像,资源图像具体可以是智能阅读设备可阅读书目中任意一页的图像,可阅读书目可以是绘本、杂志及画报等不同读物类型,其中任意一页的图像可以是书目的封面或者封底,也可以是书目的内容页,本发明实施例对此不作具体限定。
匹配阈值待定的资源图像可以对应若干个测试图像,测试图像是针对于资源图像所对应的实体书的页面进行图像采集得到的图像,若干个测试图像可以是在相同或不同的光线、角度下,应用相同或不同的图像采集设备采集得到的,本发明实施例对此不作具体限定。例如,匹配阈值待定的资源图像所对应的是书目A的第5页,则该资源图像对应的若干个测试图像均是对书目A的第5页进行图像采集得到的。
步骤120,将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分。
具体地,候选资源图像为可以是与匹配阈值待定的资源图像属于同一书目或不同书目的资源图像,多个候选资源图像中可以包含匹配阈值待定的资源图像。
将任一测试图像分别与多个候选资源图像进行匹配的过程中,可以将任一测试图像视为图像检索过程中待检索的图像,将该测试图像分别与每一候选资源图像进行匹配,从而得到该测试图像的匹配得分。此处,任一测试图像的匹配得分是基于该测试图像与每一候选资源图像的匹配结果得到的,匹配得分具体可以反映该测试图像与每一候选资源图像在匹配过程中相似程度或者区分程度,还可以反映该测试图像相对于每一候选资源图像的相似程度或者区分程度的差异性等,本发明实施例对此不作具体限定。
步骤130,基于每一测试图像的匹配得分,确定资源图像的特征辨识度。
具体地,在得到每一测试图像的匹配得分后,可以综合每一测试图像的匹配得分,分析对应资源图像自身的图像特征是否具有强辨识度,并得到资源图像的特征辨识度。此处,特征辨识度用于表征图像特征在辨识匹配方面的强弱程度。
例如,通过各个测试图像的匹配得分反映出测试图像相对于非对应资源图像的候选资源图像的相似程度较高或区分程度较弱,或者测试图像相对于不同候选资源图像的相似程度或区分程度的差异性较弱,均可以确定对应资源图像的特征辨识度较差;通过各个测试图像的匹配得分反映出测试图像相对于非对应资源图像的候选资源图像的相似程度较低或区分程度较高,而相对于对应资源图像的相似程度极高,或者测试图像相对于不同候选资源图像的相似程度或区分程度的差异性较强,均可以确定对应资源图像的特征辨识度较强。
步骤140,基于资源图像的特征辨识度,调整资源图像的匹配阈值。
具体地,在得到资源图像的特征辨识度后,即可对资源图像的匹配阈值进行调整,例如若资源图像的特征辨识度较弱,可以对应降低资源图像的匹配阈值,若资源图像的特征辨识度较强,则可以对应提高资源图像的匹配阈值,或者维持资源图像当前的匹配阈值,本发明实施例对此不作具体限定。此处,待调整的匹配阈值可以是预先设定的初始匹配阈值,也可以是上次调整后的匹配阈值。针对于初始匹配阈值的设置,不同的资源图像可以设置相同的初始匹配阈值,也可以设置不同的初始匹配阈值,例如针对任一书目,可以拆分为封面、封底和内容页分别进行初始匹配阈值的设置。
此外,调整过后的匹配阈值可以直接应用于针对该资源图像的图像检索,也可以在此基础上结合匹配阈值和匹配得分,对资源图像的特征辨识度进行更新,并在此基础上进一步调整资源图像的匹配阈值。
本发明实施例提供的方法,基于多个测试图像的匹配得分确定的对应资源图像的特征辨识度,进行资源图像匹配阈值的调整,从而实现了资源图像匹配阈值的个性化定制,避免了针对不同资源图像应用单一且固定的匹配阈值导致的图像检索识别准确性低的问题,提高了图像检索识别的准确性。
基于上述实施例,图2为本发明实施例提供的匹配得分确定方法的流程示意图,如图2所示,步骤120具体包括:
步骤121,将任一测试图像分别与多个候选资源图像进行匹配,得到预设数量个与该测试图像之间的匹配度最高的候选资源图像,作为该测试图像的候选匹配图像。
具体地,针对于任一测试图像,可以将该测试图像分别与多个候选资源图像进行匹配,获得每一候选资源图像与该测试图像之间的匹配度。根据匹配度的大小,筛选出预设数量个与该测试图像之间的匹配度最高的候选资源图像,作为该测试图像的候选匹配图像。此处,预设数量即预先设定好的候选匹配图像的具体数量,预设数量的大小可以根据候选资源图像的数量进行设置,本发明实施例对于预设数量的设置不作具体限定。
步骤122,基于该测试图像与每一候选匹配图像之间的相对匹配关系和/或绝对匹配关系,确定该测试图像的匹配得分。
具体地,绝对匹配关系是指测试图像对应于单一候选匹配图像的相似程度或区分程度,相对匹配关系是指测试图像相对于不同候选匹配图像的相似程度或区分程度的差异性,测试图像与每一候选匹配图像之间的绝对匹配关系可以在步骤121的匹配过程中得到,测试图像与每一候选匹配图像之间的相对匹配关系可以在步骤121的匹配过程中得到,也可以在匹配结束后,基于绝对匹配关系得到,本发明实施例对此不作具体限定。
本发明实施例提供的方法,通过任一测试图像与每一候选匹配图像之间的相对匹配关系和/或绝对匹配关系,确定该测试图像的匹配得分,从而从多个维度获取匹配得分,有助于提高对应资源图像的特征辨识度的准确性,进而提高匹配阈值调节的准确性。
基于上述任一实施例,图3为本发明另一实施例提供的匹配得分确定方法的流程示意图,如图3所示,步骤122具体包括:
步骤1221,基于该测试图像与每一候选匹配图像之间的绝对匹配关系,确定每一候选匹配图像的绝对关系权重。
具体地,任一测试图像可以对应若干个候选匹配图像,该测试图像与每一候选匹配图像之间存在绝对匹配关系,以表征该测试图像与每一候选匹配图像的相似程度或区分程度。在此基础上,结合该测试图像与每一候选匹配图像之间的绝对匹配关系,即可确定每一候选匹配图像的绝对关系权重,以表征各个候选匹配图像在所有候选匹配图像中相对于测试图像在相似性或区分性上的重要程度。
步骤1222,基于任一候选匹配图像的绝对关系权重,以及候选匹配图像的数量和候选资源图像的数量,确定该候选匹配图像的绝对权重得分。
具体地,针对任一候选匹配图像,该候选匹配图像的绝对权重得分是综合该测试图像与该候选匹配图像之间的绝对匹配关系、该测试图像与其余各个候选匹配图像之间的绝对匹配关系,以及候选匹配图像本身的规模等因素得到的,该候选匹配图像的绝对关系权重越高,则该候选匹配图像的绝对权重得分越高。
步骤1223,基于该测试图像与任一候选匹配图像之间的相对匹配关系,以及候选匹配图像的数量和候选资源图像的数量,确定该候选匹配图像的相对权重得分。
具体地,针对任一候选匹配图像,该候选匹配图像的相对权重得分是综合该测试图像与该候选匹配图像之间的相对匹配关系,以及候选匹配图像本身的规模等因素得到的,该候选匹配图像的相对匹配关系所体现的相似程度或区分程度的差异性越大,则该候选匹配图像的相对权重得分越高。
步骤1224,基于每一候选匹配图像的绝对权重得分和相对权重得分,确定该测试图像的权重得分。
此处,测试图像的权重得分可以包含每一候选匹配图像的权重得分,其中任一候选匹配图像的权重得分是基于绝对权重得分和相对权重得分确定的,例如可以是绝对权重得分和相对权重得分之和,也可以包含绝对权重得分和相对权重得分,本发明实施例对此不作具体限定。
步骤1225,基于该测试图像的权重得分以及该测试图像对应的相对匹配关系和/或绝对匹配关系,或,基于该测试图像的权重得分,确定该测试图像的匹配得分。
具体地,在得到测试图像的权重得分后,可以直接将该测试图像的权重得分以及该测试图像对应的相对匹配关系和/或绝对匹配关系组合作为该测试图像的匹配得分,或者直接将该测试图像的权重得分作为该测试图像的匹配得分,再或者基于该测试图像的权重得分以及该测试图像对应的相对匹配关系和/或绝对匹配关系,确定该测试图像的匹配得分,在本发明实施例对此不作具体限定。
本发明实施例提供的方法,通过分别计算每一候选匹配图像的绝对权重得分和相对权重得分,以确定对应测试图像的权重得分,进而确定对应测试图像的匹配得分,提高匹配得分计算的准确性和全面性。
基于上述任一实施例,该方法中,任一测试图像与任一候选匹配图像之间的绝对匹配关系为该测试图像与该候选匹配图像之间的距离测量值;任一测试图像与任一候选匹配图像之间的相对匹配关系为该测试图像分别与该候选匹配图像和该候选匹配图像的相邻候选匹配图像之间的距离测量值之差。
具体地,针对于任一测试图像及其对应的任一候选匹配图像,两者之间的距离测量值用于表示该测试图像和该候选匹配图像的图像特征相似程度,距离测量值越小,则对应的图像特征相似程度越高。此处的距离测量值具体可以通过欧氏距离、巴氏距离、曼哈顿距离、切比雪夫距离等距离算法得到,作为优选,此处的距离测量值可以通过欧式距离和巴氏距离分别表示。
任一测试图像可以对应若干个候选匹配图像,每个候选匹配图像均对应一个距离测量值,可以将每个距离测量值作为该测试图像与每一候选匹配图像之间的绝对匹配关系,用于表征测试图像与候选匹配图像之间的绝对相似程度。此外,考虑到任一测试图像对应的若干个候选匹配图像是按照匹配度由高到低的顺序依次排列的,可以将每两个相邻的候选匹配图像分别对应的距离测量值之差作为该测试图像与每一候选匹配图像之间的相对匹配关系,用于表征测试图像与各个候选匹配图像之间的相似程度的差异性。例如,针对于任一测试图像及其对应的任一候选匹配图像,可以将该测试图像与该候选匹配图像之间的距离测量值,以及该测试图像与该候选匹配图像的下一候选匹配图像之间的距离测量值,两者的差值,作为该测试图像以及该候选匹配图像之间的相对匹配关系。
基于上述任一实施例,步骤1221中,针对于任一测试图像,假设其对应的候选匹配图像的数量为N,其对应的候选资源图像的数量为num,N和num均为正整数。任一候选匹配图像的绝对匹配关系可以表示为该测试图像与该候选匹配图像之间的欧式距离和巴氏距离。假设该测试图像与N个候选匹配图像之间的欧式距离分别为DE(1)、DE(2)、…、DE(i)、…、DE(N),其与N个候选匹配图像之间的巴式距离分别为DB(1)、DB(2)、…、DB(i)、…、DB(N)。
此处,任一候选匹配图像的绝对关系权重具体可以表示为该候选匹配图像的欧式距离权重和巴氏距离权重,例如第i个候选匹配图像对应的欧式距离权重WDE(i)和巴氏距离权重WDB(i)分别表示如下公式:
任一候选匹配图像的相对匹配关系具体可以表示为该候选匹配图像的欧式距离差,例如第i个候选匹配图像对应的欧式距离差DDE(i)表示为如下公式:
DDE(i)=DE(i)-DE(i+1)
该测试图像的权重得分表示为[W(1),W(2),…,W(i),…,W(N)]。当num≤N+1时,针对于第i个候选匹配图像的权重得分W(i)表示为如下公式:
W(i)=WE(i)+WB(i)+WDE(i)
其中,WE(i)、WB(i)和WDE(i)分别表示针对于第i个候选匹配图像的欧式距离权重得分、巴氏距离权重得分和距离差权重得分,欧式距离权重得分和巴氏距离权重得分即绝对权重得分,距离差权重得分即相对权重得分:
WDE(i)=log(DDE(i)+b)
当num>N+1时,针对于第i个候选匹配图像的权重得分W(i)表示为如下公式:
W(i)=log(WDE(i)+b)+log(WDB(i)+b)+log(DDE(i)+b)
上述公式中,引入计算因子b是为了确保对数底数大于0,例如b可以设置为0.01。
本发明实施例提供的权重得分的计算方法中,欧式距离权重WDE(i)和巴氏距离权重WDB(i)即绝对匹配关系在权重得分计算中的应用,欧式距离差DDE(i)即相对匹配关系在权重得分计算中的应用,通过结合绝对匹配关系和相对匹配关系,提高了权重得分计算的准确性。
基于上述任一实施例,任一测试图像的匹配得分具体可以表示为[S(l,1),S(l,2),…,S(l,K)],其中l表示该测试图像为若干个测试图像中的第l个,K表示匹配得分的类别数,S(l,K)即第l个测试图像的第K类匹配得分。此处,匹配得分的类别具体可以是测试图像与每一候选匹配图像之间的距离测量值的最小值、测试图像与每一候选匹配图像之间的距离测量值中每两个相邻距离测量值之间的差值,以及测试图像的权重得分。对应地,资源图像的匹配阈值也是基于上述每种类别对应设置的。
例如,匹配得分具体表示为[S(l,1),S(l,2),S(l,3),S(l,4),S(l,5)],其中,S(l,1)为第l个测试图像与每一候选匹配图像之间的欧氏距离的最小值,S(l,2)为第l个测试图像与每一候选匹配图像之间的距离测量值中每两个相邻欧氏距离之间的差值,S(l,3)为第l个测试图像与每一候选匹配图像之间的巴氏距离的最小值,S(l,4)为第l个测试图像与每一候选匹配图像之间的距离测量值中每两个相邻巴氏距离之间的差值,S(l,5)为第l个测试图像的权重得分。
基于上述任一实施例,步骤130具体包括:基于每一测试图像的匹配得分,以及资源图像当前的匹配阈值,确定资源图像的特征辨识度。
具体地,在确定资源图像的特征辨识度时,不仅需要考虑资源图像的对应的每一测试图像的匹配得分,还需要考虑资源图像当前的匹配阈值,即在进行此次调整之前的匹配阈值。通过结合资源图像的对应的每一测试图像的匹配得分,以及资源图像当前的匹配阈值,判断当前的匹配阈值是否能够满足每一测试图像的检索识别需求,从而确定资源图像的特征辨识度,并以此为依据判断是否需要对当前的匹配阈值进行调整。
进一步地,可以先基于资源图像对应的每一测试图像的匹配得分,确定资源图像的匹配得分,并将资源图像的匹配得分与资源图像当前的匹配阈值进行结合比较,确定资源图像的特征辨识度,也可以分别将每一测试图像的匹配得分与资源图像当前的匹配阈值进行结合比较,判断当前的匹配阈值是否满足对应测试图像的检索识别需求,在将针对于每一测试图像的判断结果进行结合,得到资源图像的特征辨识度。
基于上述任一实施例,步骤130具体包括:基于每一测试图像的匹配得分,确定对应资源图像的匹配得分;基于资源图像当前的匹配阈值和匹配得分,确定资源图像的特征辨识度。
具体地,资源图像的匹配得分的确定,可以通过如下步骤实现:
假设资源图像对应的测试图像的数量为L,资源图像对应的L个测试图像的匹配得分可以表示为:
针对不同测试图像对应于同一类别的匹配得分,例如上述矩阵中的同一列匹配得分,可以将该列匹配得分的均值,作为资源图像中此类别的匹配得分,也可以删除该列匹配得分中的最大值和最小值,将剩余的匹配得分的均值作为资源图像中此类别的匹配得分。由此得到资源图像的匹配得分表示为[MS(1),MS(2),…,MS(K)]。
进一步地,可以根据测试图像的数量确定资源图像匹配得分的计算方法,例如若0<L<3,则资源图像的匹配得分计算公式为:
否则,该资源图像的匹配得分计算公式为:
式中,k为小于等于K的正整数,即SS(k)为同一种类的匹配得分的总和,MaxS(k)=Max{S(1,k)、S(2,k)…S(L,k)},MinS(k)=Min{S(1,k)、S(2,k)…S(L,k)},MaxS(k)和MinS(k)分别为同一种类的。
在此基础上,资源图像的特征辨识度的确定,可以通过如下步骤实现:
假设资源图像当前的匹配阈值表示为[IT(1),IT(2),…,IT(K)],其中每个IT均对应匹配得分的一个类别。可以将匹配得分与匹配阈值的比值作为资源图像的特征辨识度PFI,具体体现为如下公式:
式中,MS(k)和IT(k)分别为第k个类别对应的匹配得分和匹配阈值。特征辨识度PFI具体可以是每个类别对应的匹配得分和匹配阈值之间比值的均值。
基于上述任一实施例,步骤140具体包括:基于资源图像的特征辨识度,以及资源图像所属的资源图像集合的整体辨识度,调整资源图像的匹配阈值;其中,资源图像集合的整体辨识度是基于资源图像集合中的每个资源图像的特征辨识度确定的。
具体地,在对单一资源图像的匹配阈值进行调整时,不仅可以参考该资源图像自身的整体辨识度,还可以参考该资源图像所述的资源图像集合的整体辨识度。此处的资源图像集合中包含有若干个资源图像,具体可以是若干个相似度较高的资源图像,也可以是属于同一书目或者同一类目的资源图像等。资源图像集合的整体辨识度是基于集合内每个资源图像的特征辨识度确定的,例如整体辨识度可以是每个资源图像的特征辨识度的均值。
本发明实施例提供的方法,结合资源图像的特征辨识度,以及资源图像所属的资源图像集合的整体辨识度进行匹配阈值的调整,进一步提高匹配阈值的准确性。
基于上述任一实施例,图4为本发明实施例提供的基于整体辨识度和特征辨识度调整匹配阈值的方法,如图4所示,步骤140具体包括:
针对单个资源图像,可以预先设定第一辨识度阈值和第二辨识度阈值例如/>若资源图像的特征辨识度/>则说明资源图像的特征辨识度较好,目前的匹配阈值能较好的满足资源图像的识别检索需求;若则说明资源图像目前的匹配阈值刚好满足资源图像的识别检索需求;若则说明资源图像的特征辨识度较差,无法满足识别检索,需要进一步对当前的匹配阈值进行调整。
此外,针对资源图像所属的资源图像集合,可以预先设定整体辨识度阈值例如若资源图像集合的整体辨识度/>则说明资源图像集合的整体辨识度较好,此时若资源图像集合中的资源图像的特征辨识度/>则对该资源图像当前的匹配阈值进行调整,具体可以是将匹配阈值IT更新为/>若/>则说明资源图像集合的整体辨识度较差,此时若资源图像集合中的资源图像的特征辨识度则对该资源图像当前的匹配阈值进行调整。
进一步地,在的情况下,资源图像集合中的资源图像的特征辨识度和/>所对应的匹配阈值调整方法可以相同,也可以不同。例如,在的情况下,若其中资源图像的特征辨识度/>则将匹配阈值IT更新为若/>则将匹配阈值IT更新为/>
需要说明的是,上述参数表示辨识度阈值,γ和β为矫正因子,用于对匹配阈值进行矫正。上述参数/>γ和β均可通过大量的数据训练得到。
此外,图像检索识别场景下,通常是将实体书的高清扫描图作为资源图像用于识别资源的制作。而图像检索时,待检索的图像则是通过智能阅读设备采集得到的,图像采集场景的具体差异,使得待检索的图像和用于资源制作的资源图像差异较大,导致图像检索识别效果受到了极大的限制。针对这一问题,基于上述任一实施例,图5为本发明实施例提供的资源图像和测试图像确定方法的流程示意图,如图5所示,步骤110具体包括:
步骤111,在模拟图像检索场景下连续采集多帧采集图像;
步骤112,将多帧采集图像中的任一帧采集图像作为资源图像,将多帧采集图像中的其余各帧采集图像作为资源图像对应的测试图像。
具体地,模拟图像检索场景即与实际图像检索场景相类似的模拟场景,模拟图像检索场景具备与实际图像检索场景相同的特征,例如图像采集设备相同、图像采集角度相同、采集目标的布设位置相同等,本发明实施例对此不作具体限定。
在模拟图像检索场景下连续采集的多帧采集图像之间,仅存在采集目标的小范围平移、环境光变化等区别。从中选取任意一帧作为资源图像进行识别资源制作,将其余各帧作为资源图像对应的测试图像,不仅能够保证资源图像与实际图像检索场景下采集的待检索的图像差异较小,从而提高图像检索识别效果,同时使得在阈值确定过程中,避免由于采集环境的差异导致的测试图像和资源图像之间的差异为资源图像的特征辨识度的确定引入干扰,能够完全聚焦于资源图像本身的特征,从而提高特征辨识度确定的准确性。
基于上述任一实施例,图6为本发明另一实施例提供的阈值确定方法的流程示意图,如图6所示,该方法包括如下步骤:
首先,在模拟图像检索场景下,针对实体书目的任一页面,连续采集L+1帧采集图像,将其中的任一帧图像作为资源图像,剩余L帧作为资源图像对应的测试图像。
针对L帧测试图像,分别与多个候选资源图像进行匹配,从而得到L帧测试图像分别对应的匹配得分。在此基础上,结合L帧测试图像分别对应的匹配得分,得到对应资源图像的匹配得分,并结合资源图像的匹配得分与资源图像当前的匹配阈值,确定资源图像的特征辨识度。此处,资源图像当前的匹配阈值可以是初始匹配阈值,也可以是前次调整后的匹配阈值。
在得到资源图像的特征辨识度后,可以基于资源图像的特征辨识度,判断是否需要对资源图像当前的匹配阈值进行调整,从而确定个性化的资源图像的匹配阈值。
基于上述任一实施例,图7为本发明实施例提供的图像检索方法的流程示意图,如图7所示,图像检索方法包括:
步骤710,确定待检索图像与所属资源图像集合中每一资源图像的检索得分。
步骤720,基于待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定待检索图像的图像检索结果;其中,每一资源图像的匹配阈值是基于上述任一实施例提供的阈值确定方法确定的。
具体地,在针对待检索图像进行检索识别时,将待检索与所属资源图像集合中每一资源图像进行匹配,得到待检索图像与所属资源图像集合中每一资源图像的检索得分,此处待检索图像与任一资源图像的检索得分用于反映待检索图像与该资源图像的相似程度。进一步地,待检索图像具体可以是若干个针对同一目标采集拍摄的图像,检索得分可以是结合若干个图像与任一资源图像的匹配得分得到的,检索得分的具体获取方式可以参考上述实施例中资源图像的匹配得分的获取方式,此处不再赘述。
在得到待检索图像与所属资源图像集合中任一资源图像的检索得分后,可以将检索得分与该资源图像的匹配阈值进行比较,若检索得分大于匹配阈值,则确定待检索图像的图像检索结果为该资源图像,否则,确定待检索图像的图像检索结果非该资源图像。通过将待检索图像与所属资源图像集合中每一资源图像的检索得分,分别与对应的资源图像的匹配阈值进行比较,最终确定待检索图像的图像检索结果。
本发明实施例提供的方法,每一资源图像的匹配阈值均是根据资源图像自身的特征辨识度定制的,因此在进行图像检索时能够取得准确有效的图像检索结果。
然而,即便个性化定制了各个资源图像的匹配阈值,在实际图像检索过程中,仍然可能存在由于某些资源图像的特征弱、文字多、系列相似的问题导致无法准确检索的问题。对此,基于上述任一实施例,步骤720之后还包括:
步骤730,若判断获知图像检索结果为空,且待检索图像所属的资源图像集合的工程化开关处于开启状态,则基于待检索图像与所属资源图像集合中部分或全部资源图像的检索得分,以及部分或全部资源图像的工程化阈值,更新待检索图像的图像检索结果。
具体地,针对于资源图像集合中存在部分资源图像特征弱、文字多或者系列图像存在相似度较高的问题,可以预先为资源图像集合设置工程化开关。此处,工程化开关可以视为是否对资源图像集合执行工程化检索的开关,工程化开关可以处于开启状态或关闭状态,当工程化开关处于开启状态时,可以在基于个性化定制的匹配阈值无法得到检索结果的情况下,应用工程化阈值与检索得分进行比较,从而更新图像检索结果;当工程化开关处于关闭状态时,则不执行上述工程化检索过程。
本发明实施例中,在基于个性化定制的匹配阈值无法得到检索结果的情况下,判断资源图像集合的工程化开关是否处于开启状态,如果是,则执行工程化检索,将资源图像集合中部分或全部资源图像预先设定的工程化阈值,与待检索图像对应的检索得分进行比较,以更新图像检索结果,或者将资源图像集合中部分或全部资源图像的匹配阈值调低作为工程化阈值,与待检索图像对应的检索得分进行比较,以更新图像检索结果。此处,针对任一资源图像,资源图像的工程化阈值小于匹配阈值。
本发明实施例提供的方法,通过工程化开关的应用,解决了由于资源图像的特征弱、文字多、系列相似的问题导致无法准确检索的问题,提高了图像检索的准确性。
基于上述任一实施例,图8为本发明实施例提供的工程化图像检索方法的流程示意图,如图8所示,步骤730具体包括:
确定待检索图像的前次检索图像在资源图像集合中的资源图像编号;基于前次检索图像在所述资源图像集合中的资源图像编码,以及预设工程化编号范围,定位资源图像集合中的部分资源图像作为工程化图像;基于待检索图像与所属资源图像集合中每一工程化资源图像的检索得分,以及每一工程化资源图像的工程化阈值,更新待检索图像的图像检索结果。
具体地,考虑到实际应用场景下,用户在阅读图书时,通常是逐页阅读,或者在一个较小的页码范围内进行阅读,例如从第11页翻阅到第13页,或者从第11页返回到第10页。工程化检索从用户的阅读习惯出发,结合前次检索得到的图像的具体编码,来辅助当前的图像检索。
在基于个性化定制的匹配阈值无法得到检索结果的情况下,且判断获知资源图像集合的工程化开关处于开启状态时,首先确定前次检索图像在资源图像集合中的资源图像编号。以资源图像集合为任一书目为例,资源图像编号可以是书目中的页码。在得到前次检索图像在资源图像集合中的资源图像编号后,可以以前次检索图像的资源图像编号为基准,结合预设工程化编号范围,定位预设工程化编号范围内的资源图像作为工程化资源图像。此处,将前次检索图像的资源图像编号作为基准,具体可以是将前次检索图像的资源图像编号作为预设工程化编号范围的中心,例如前次检索图像的资源图像编号为第102页,预设工程化编号范围为21,则可以将第92页至第112页的资源图像作为工程化资源图像。
在确定工程化资源图像后,可以对应确定每个工程化资源图像的工程化阈值,从而将工程化资源图像的工程化阈值与待检索图像对应的检索得分进行比较,以更新图像检索结果。
本发明实施例提供方法,通过工程化处理,提高了图像检索识别的准确性。
基于上述任一实施例,图9为本发明实施例提供的阈值确定装置的结构示意图,如图9所示,阈值确定装置包括测试图像确定单元910、匹配得分确定单元920、辨识度确定单元930和匹配阈值调整单元940;
其中,测试图像确定单元910用于确定匹配阈值待定的资源图像对应的若干个测试图像;
匹配得分确定单元920用于将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分;
辨识度确定单元930用于基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度;
匹配阈值调整单元940用于基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值。
本发明实施例提供的装置,基于多个测试图像的匹配得分确定的对应资源图像的特征辨识度,进行资源图像匹配阈值的调整,从而实现了资源图像匹配阈值的个性化定制,避免了针对不同资源图像应用单一且固定的匹配阈值导致的图像检索识别准确性低的问题,提高了图像检索识别的准确性。
基于上述任一实施例,匹配得分确定单元920包括:
候选匹配图像确定子单元,用于将任一测试图像分别与多个候选资源图像进行匹配,得到预设数量个与所述任一测试图像之间的匹配度最高的候选资源图像,作为所述任一测试图像的候选匹配图像;
匹配得分确定子单元,用于基于所述任一测试图像与每一候选匹配图像之间的相对匹配关系和/或绝对匹配关系,确定所述任一测试图像的匹配得分。
基于上述任一实施例,匹配得分确定子单元具体用于:
基于所述任一测试图像与每一候选匹配图像之间的绝对匹配关系,确定每一候选匹配图像的绝对关系权重;
基于任一候选匹配图像的绝对关系权重,以及候选匹配图像的数量和候选资源图像的数量,确定所述任一候选匹配图像的绝对权重得分;
基于所述任一测试图像与任一候选匹配图像之间的相对匹配关系,以及候选匹配图像的数量和候选资源图像的数量,确定所述任一候选匹配图像的相对权重得分;
基于每一候选匹配图像的绝对权重得分和相对权重得分,确定所述任一测试图像的权重得分;
基于所述任一测试图像的权重得分以及所述任一测试图像对应的相对匹配关系和/或绝对匹配关系,或,基于所述任一测试图像的权重得分,确定所述任一测试图像的匹配得分。
基于上述任一实施例,所述任一测试图像与任一候选匹配图像之间的绝对匹配关系为所述任一测试图像与所述任一候选匹配图像之间的距离测量值;
所述任一测试图像与任一候选匹配图像之间的相对匹配关系为所述任一测试图像分别与所述任一候选匹配图像和所述任一候选匹配图像的相邻候选匹配图像之间的距离测量值之差。基于上述任一实施例,辨识度确定单元930具体用于:
基于所述每一测试图像的匹配得分,以及所述资源图像当前的匹配阈值,确定所述资源图像的特征辨识度。
基于上述任一实施例,匹配阈值调整单元940具体用于:
基于所述资源图像的特征辨识度,以及所述资源图像所属的资源图像集合的整体辨识度,调整所述资源图像的匹配阈值;
其中,所述资源图像集合的整体辨识度是基于所述资源图像集合中的每个资源图像的特征辨识度确定的。
基于上述任一实施例,测试图像确定单元910具体用于:
在模拟图像检索场景下连续采集多帧采集图像;
将所述多帧采集图像中的任一帧采集图像作为所述资源图像,将所述多帧采集图像中的其余各帧采集图像作为所述资源图像对应的测试图像。
基于上述任一实施例,图10为本发明实施例提供的图像检索装置的结构示意图,如图10所示,图像检索装置包括检索得分确定单元1010和检索结果确定单元1020;
其中,检索得分确定单元1010用于确定待检索图像与所属资源图像集合中每一资源图像的检索得分;
检索结果确定单元1020用于基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果;
其中,每一资源图像的匹配阈值是基于上述任一实施例提供的阈值确定方法确定的。
本发明实施例提供的装置,每一资源图像的匹配阈值均是根据资源图像自身的特征辨识度定制的,因此在进行图像检索时能够取得准确有效的图像检索结果。
基于上述任一实施例,图像检索装置还包括工程化检索单元;工程化检索单元用于:
若判断获知所述图像检索结果为空,且所述待检索图像所属的资源图像集合的工程化开关处于开启状态,则基于所述待检索图像与所属资源图像集合中部分或全部资源图像的检索得分,以及所述部分或全部资源图像的工程化阈值,更新所述待检索图像的图像检索结果。
基于上述任一实施例,工程化检索单元具体用于:
确定所述待检索图像的前次检索图像在所述资源图像集合中的资源图像编号;
基于所述前次检索图像在所述资源图像集合中的资源图像编码,以及预设工程化编号范围,定位所述资源图像集合中的部分资源图像作为工程化图像;
基于所述待检索图像与所属资源图像集合中每一工程化资源图像的检索得分,以及每一工程化资源图像的工程化阈值,更新所述待检索图像的图像检索结果。
图11为本发明实施例提供的电子设备的结构示意图,如图11所示,该电子设备可以包括:处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑命令,以执行如下方法:确定匹配阈值待定的资源图像对应的若干个测试图像;将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分;基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度;基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值。
此外,处理器1110还可以调用存储器1130中的逻辑命令,以执行如下方法:确定待检索图像与所属资源图像集合中每一资源图像的检索得分;基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果;其中,每一资源图像的匹配阈值是基于阈值确定方法确定的。
此外,上述的存储器1130中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:确定匹配阈值待定的资源图像对应的若干个测试图像;将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分;基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度;基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:确定待检索图像与所属资源图像集合中每一资源图像的检索得分;基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果;其中,每一资源图像的匹配阈值是基于阈值确定方法确定的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种阈值确定方法,其特征在于,包括:
确定匹配阈值待定的资源图像对应的若干个测试图像;
将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分;
基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度;
基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值;
所述基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度,包括:
将每一测试图像对应于同一类别的匹配得分的均值,或者将删除每一测试图像对应于同一类别的匹配得分中的最大值和最小值后剩余的匹配得分的均值,作为资源图像中各类别的匹配得分;
基于所述资源图像中各类别的匹配得分,以及所述资源图像当前对应各类别的匹配阈值,应用如下公式,确定所述资源图像的特征匹配度PFI:
式中,MS(k)和IT(k)分别为所述资源图像中第k个类别对应的匹配得分和匹配阈值,K为类别总数。
2.根据权利要求1所述的阈值确定方法,其特征在于,所述将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分,具体包括:
将任一测试图像分别与多个候选资源图像进行匹配,得到预设数量个与所述任一测试图像之间的匹配度最高的候选资源图像,作为所述任一测试图像的候选匹配图像;
基于所述任一测试图像与每一候选匹配图像之间的相对匹配关系和/或绝对匹配关系,确定所述任一测试图像的匹配得分。
3.根据权利要求2所述的阈值确定方法,其特征在于,所述基于所述任一测试图像与每一候选匹配图像之间的相对匹配关系和/或绝对匹配关系,确定所述任一测试图像的匹配得分,具体包括:
基于所述任一测试图像与每一候选匹配图像之间的绝对匹配关系,确定每一候选匹配图像的绝对关系权重;
基于任一候选匹配图像的绝对关系权重,以及候选匹配图像的数量和候选资源图像的数量,确定所述任一候选匹配图像的绝对权重得分;
基于所述任一测试图像与任一候选匹配图像之间的相对匹配关系,以及候选匹配图像的数量和候选资源图像的数量,确定所述任一候选匹配图像的相对权重得分;
基于每一候选匹配图像的绝对权重得分和相对权重得分,确定所述任一测试图像的权重得分;
基于所述任一测试图像的权重得分以及所述任一测试图像对应的相对匹配关系和/或绝对匹配关系,或,基于所述任一测试图像的权重得分,确定所述任一测试图像的匹配得分。
4.根据权利要求2或3所述的阈值确定方法,其特征在于,所述任一测试图像与任一候选匹配图像之间的绝对匹配关系为所述任一测试图像与所述任一候选匹配图像之间的距离测量值;
所述任一测试图像与任一候选匹配图像之间的相对匹配关系为所述任一测试图像分别与所述任一候选匹配图像和所述任一候选匹配图像的相邻候选匹配图像之间的距离测量值之差。
5.根据权利要求1至3中任一项所述的阈值确定方法,其特征在于,所述基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值,具体包括:
基于所述资源图像的特征辨识度,以及所述资源图像所属的资源图像集合的整体辨识度,调整所述资源图像的匹配阈值;
其中,所述资源图像集合的整体辨识度是基于所述资源图像集合中的每个资源图像的特征辨识度确定的。
6.根据权利要求1至3中任一项所述的阈值确定方法,其特征在于,所述确定匹配阈值待定的资源图像对应的若干个测试图像,具体包括:
在模拟图像检索场景下连续采集多帧采集图像;
将所述多帧采集图像中的任一帧采集图像作为所述资源图像,将所述多帧采集图像中的其余各帧采集图像作为所述资源图像对应的测试图像。
7.一种图像检索方法,其特征在于,包括:
确定待检索图像与所属资源图像集合中每一资源图像的检索得分;
基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果;
其中,每一资源图像的匹配阈值是基于如权利要求1至6中任一项所述的阈值确定方法确定的。
8.根据权利要求7所述的图像检索方法,其特征在于,所述基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果,之后还包括:
若判断获知所述图像检索结果为空,且所述待检索图像所属的资源图像集合的工程化开关处于开启状态,则基于所述待检索图像与所属资源图像集合中部分或全部资源图像的检索得分,以及所述部分或全部资源图像的工程化阈值,更新所述待检索图像的图像检索结果。
9.根据权利要求8所述的图像检索方法,其特征在于,所述基于所述待检索图像与所属资源图像集合中部分或全部资源图像的检索得分,以及所述部分或全部资源图像的工程化阈值,更新所述待检索图像的图像检索结果,具体包括:
确定所述待检索图像的前次检索图像在所述资源图像集合中的资源图像编号;
基于所述前次检索图像在所述资源图像集合中的资源图像编码,以及预设工程化编号范围,定位所述资源图像集合中的部分资源图像作为工程化图像;
基于所述待检索图像与所属资源图像集合中每一工程化资源图像的检索得分,以及每一工程化资源图像的工程化阈值,更新所述待检索图像的图像检索结果。
10.一种阈值确定装置,其特征在于,包括:
测试图像确定单元,用于确定匹配阈值待定的资源图像对应的若干个测试图像;
匹配得分确定单元,用于将每一测试图像分别与多个候选资源图像进行匹配,得到每一测试图像的匹配得分;
辨识度确定单元,用于基于所述每一测试图像的匹配得分,确定所述资源图像的特征辨识度;
匹配阈值调整单元,用于基于所述资源图像的特征辨识度,调整所述资源图像的匹配阈值;
所述辨识度确定单元具体用于:
将每一测试图像对应于同一类别的匹配得分的均值,或者将删除每一测试图像对应于同一类别的匹配得分中的最大值和最小值后剩余的匹配得分的均值,作为资源图像中各类别的匹配得分;
基于所述资源图像中各类别的匹配得分,以及所述资源图像当前对应各类别的匹配阈值,应用如下公式,确定所述资源图像的特征匹配度PFI:
式中,MS(k)和IT(k)分别为所述资源图像中第k个类别对应的匹配得分和匹配阈值,K为类别总数。
11.一种图像检索装置,其特征在于,包括:
检索得分确定单元,用于确定待检索图像与所属资源图像集合中每一资源图像的检索得分;
检索结果确定单元,用于基于所述待检索图像与所属资源图像集合中每一资源图像的检索得分,以及每一资源图像的匹配阈值,确定所述待检索图像的图像检索结果;
其中,每一资源图像的匹配阈值是基于如权利要求1至6中任一项所述的阈值确定方法确定的。
12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6中任一项所述的阈值确定方法,或如权利要求7至9中任一项所述的图像检索方法的步骤。
13.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的阈值确定方法,或如权利要求7至9中任一项所述的图像检索方法的步骤。
CN202010464049.8A 2020-05-27 2020-05-27 阈值确定和图像检索方法、装置、电子设备和存储介质 Active CN111625665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010464049.8A CN111625665B (zh) 2020-05-27 2020-05-27 阈值确定和图像检索方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010464049.8A CN111625665B (zh) 2020-05-27 2020-05-27 阈值确定和图像检索方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111625665A CN111625665A (zh) 2020-09-04
CN111625665B true CN111625665B (zh) 2023-08-25

Family

ID=72271305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010464049.8A Active CN111625665B (zh) 2020-05-27 2020-05-27 阈值确定和图像检索方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111625665B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763123A (zh) * 2009-12-02 2012-10-31 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
CN109034002A (zh) * 2018-07-04 2018-12-18 安徽淘云科技有限公司 实体书检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318576B2 (en) * 2013-12-12 2019-06-11 Nant Holdings Ip, Llc Image recognition verification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763123A (zh) * 2009-12-02 2012-10-31 高通股份有限公司 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
CN109034002A (zh) * 2018-07-04 2018-12-18 安徽淘云科技有限公司 实体书检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑杰 ; 刘杰 ; 黄超 ; 陈更生 ; .一种改进的基于角点检测的并行化电子稳像算法.复旦学报(自然科学版).2016,(06),全文. *

Also Published As

Publication number Publication date
CN111625665A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN109948478B (zh) 基于神经网络的大规模非均衡数据的人脸识别方法、系统
EP3772036A1 (en) Detection of near-duplicate image
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN110489951A (zh) 风险识别的方法、装置、计算机设备和存储介质
CN111160229B (zh) 基于ssd网络的视频目标检测方法及装置
CN113191938B (zh) 图像处理方法、装置、电子设备及存储介质
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN110135413B (zh) 一种字符识别图像的生成方法、电子设备和可读存储介质
CN111435445A (zh) 字符识别模型的训练方法及装置、字符识别方法及装置
CN111625665B (zh) 阈值确定和图像检索方法、装置、电子设备和存储介质
CN110839242A (zh) 异常号码识别方法及装置
CN116628507A (zh) 数据处理方法、装置、设备及可读存储介质
CN109800702B (zh) 指静脉识别的快速比对方法及计算机可读取的存储介质
CN112560728B (zh) 目标对象识别方法及装置
CN113591706A (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN112907541A (zh) 一种手掌图像质量评估模型构建方法及装置
CN112084903A (zh) 一种更新人脸识别底库照片的方法及系统
CN112949385A (zh) 一种基于光视觉的水面目标检测与识别方法
CN113516140A (zh) 图像处理、模型训练方法、系统及设备
CN115908260B (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN116600176B (zh) 笔顺音视频生成方法、装置、计算机设备及存储介质
CN113312959B (zh) 一种基于dtw距离的手语视频关键帧采样方法
CN113312541B (zh) 语音搜索方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230031 China (Anhui) pilot Free Trade Zone, Hefei, Anhui province 6 / F and 23 / F, scientific research building, building 2, zone a, China sound Valley, No. 3333 Xiyou Road, high tech Zone, Hefei

Applicant after: Anhui taoyun Technology Co.,Ltd.

Address before: 230031 9th floor, building 1, tianyuandike science and Technology Park, 66 Qianshui East Road, high tech Zone, Hefei City, Anhui Province

Applicant before: ANHUI TAOYUN TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant