CN111522969A - 图像检索方法、装置、计算机设备和存储介质 - Google Patents

图像检索方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111522969A
CN111522969A CN202010244132.4A CN202010244132A CN111522969A CN 111522969 A CN111522969 A CN 111522969A CN 202010244132 A CN202010244132 A CN 202010244132A CN 111522969 A CN111522969 A CN 111522969A
Authority
CN
China
Prior art keywords
image
target
subgraph
detection
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010244132.4A
Other languages
English (en)
Inventor
炊文伟
畅婧文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202010244132.4A priority Critical patent/CN111522969A/zh
Publication of CN111522969A publication Critical patent/CN111522969A/zh
Priority to PCT/CN2020/119714 priority patent/WO2021196551A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种图像检索方法、装置、计算机设备和存储介质。该方法包括:接收用户的检索指令;获取待检索图像;待检索图像包含多个不同检测类型的目标;通过目标检测算法对待检索图像进行目标检测,得到各检出目标对应的检测类型以及各检出目标对应的分布区域;根据各检出目标对应的分布区域在待检索图像中进行抠图,得到各检出目标对应的子图;对于各检测类型的检出目标,在与检出目标的检测类型对应的图像底库中,检索与检出目标对应的子图匹配的底库子图;图像底库中存储有底库子图,底库子图包含与检出目标的检测类型相同的目标;根据与各检出目标对应的子图匹配的底库子图,得到检索指令对应的目标图像。采用本方法能够提高图像检索效率。

Description

图像检索方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像数据处理技术领域,特别是涉及一种图像检索方法、装置、计算机设备和存储介质。
背景技术
随着多媒体技术的发展,出现了图像检索技术,图像检索是指通过一张待检索图像检索出数据库中与之相似的图像的过程。图像检索技术产生至今,已经形成了三个重要的分支:基于文本的图像检索、基于内容的图像检索和基于语义的图像检索。
传统的图像检索方法中,首先需要用户人为地截取待检索图像中各个目标的子图,然后用户将目标子图输入检索系统以实现图像检索功能。但是,在检索过程中,用户每次仅能输入一个目标子图,且该检索系统每次只能对于一个目标完成检索。当目标存在多个时,该检索系统需要执行多次图像检索任务,导致检索时间较长,检索效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高图像检索效率的图像检索方法、装置、计算机设备和存储介质。
一种图像检索方法,所述方法包括:
接收用户的检索指令;
获取待检索图像;所述待检索图像包含多个不同检测类型的目标;
通过目标检测算法对所述待检索图像进行目标检测,得到各检出目标对应的检测类型以及所述各检出目标对应的分布区域;所述分布区域为所述检出目标在所述待检测图像中所处的区域;
根据所述各检出目标对应的分布区域在所述待检索图像中进行抠图,得到所述各检出目标对应的子图;
对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图;所述图像底库中存储有底库子图,所述底库子图包含与所述检出目标的检测类型相同的目标;
根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像。
在其中一个实施例中,所述用户的检索指令为关联检索指令,所述关联检索指令包含第一检测类型和第二检测类型;与所述第一检测类型的检出目标对应的子图匹配的底库子图为第一底库子图,与所述第二检测类型的检出目标对应的子图匹配的底库子图为第二底库子图,所述图像底库中关联存储有所述底库子图以及所述底库子图所对应全景图的图像标识;
所述根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像,包括:
若所述第一底库子图和所述第二底库子图关联了具有相同图像标识的第一关联全景图,则将所述第一关联全景图作为所述检索指令对应的目标图像,或者将所述第一关联全景图、所述第一底库子图和所述第二底库子图作为所述检索指令对应的目标图像。
在其中一个实施例中,所述方法还包括:
将所述各检出目标对应的检测类型展示给所述用户,以使所述用户从所述各检出目标对应的检测类型中选取所述第一检测类型和所述第二检测类型。
在其中一个实施例中,所述方法还包括:
根据所述第一检测类型的检出目标对应的子图与所述第一底库子图的第一相似度,和所述第二检测类型的检出目标对应的子图与所述第二底库子图的第二相似度,得到所述检索指令对应的各目标图像的相似度。
在其中一个实施例中,所述检索指令包含用于检索的检出目标的标识;所述方法还包括:
将所述各检出目标对应的分布区域或所述各检出目标对应的子图展示给所述用户,以使所述用户从所述各检出目标中选取用于图像检索的检出目标;
所述对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图,包括:
对于与所述用于图像检索的检出目标的标识对应的第三检出目标,在与所述第三检出目标的检测类型对应的图像底库中,检索与所述第三检出目标对应的子图匹配的第三底库子图。
在其中一个实施例中,所述检索指令包含至少两个用于检索的检出目标的标识;所述对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图,还包括:
对于与所述用于图像检索的检出目标的标识对应的第四检出目标,在与所述第四检出目标的检测类型对应的图像底库中,检索与所述第四检出目标对应的子图匹配的第四底库子图;
所述根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像,包括:
若所述第三底库子图和所述第四底库子图关联了具有相同图像标识的第二关联全景图,则将所述第二关联全景图作为所述检索指令对应的目标图像,或者将所述第二关联全景图、所述第三底库子图和所述第四底库子图作为所述检索指令对应的目标图像。
在其中一个实施例中,所述在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图,包括:
在与所述检出目标的检测类型对应的图像底库中,筛选符合所述用户输入的设定时间和/或设定地点的底库子图集合;
在所述底库子图集合中,检索与所述检出目标对应的子图匹配的底库子图。
在其中一个实施例中,在所述筛选符合所述用户输入的设定时间和/或设定地点的底库子图集合之前,所述方法还包括:
获取所述用户输入的预设时间以及预设时长;
将包含所述预设时间的时间段作为所述设定时间,所述设定时间的时长为所述预设时长;或;
获取所述用户输入的起始时间和终止时间;
将所述起始时间与所述终止时间之间的时间段作为所述设定时间;或;
获取所述用户输入的起始日期和终止日期、每日的起始时间和每日的终止时间,
将所述起始日期和所述终止日期之间的每个日期中,所述每日的起始时间和所述每日的终止时间之间的时间段作为所述设定时间。
一种图像检索装置,所述装置包括:
指令接收模块,用于接收用户的检索指令;
图像获取模块,用于获取待检索图像;所述待检索图像包含多个不同检测类型的目标;
目标检测模块,用于通过目标检测算法对所述待检索图像进行目标检测,得到各检出目标对应的检测类型以及所述各检出目标对应的分布区域;所述分布区域为所述检出目标在所述待检测图像中所处的区域;
抠图模块,用于根据所述各检出目标对应的分布区域在所述待检索图像中进行抠图,得到所述各检出目标对应的子图;
图像检索模块,用于对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图;所述图像底库中存储有底库子图,所述底库子图包含与所述检出目标的检测类型相同的目标;
图像确定模块,用于根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收用户的检索指令;
获取待检索图像;所述待检索图像包含多个不同检测类型的目标;
通过目标检测算法对所述待检索图像进行目标检测,得到各检出目标对应的检测类型以及所述各检出目标对应的分布区域;所述分布区域为所述检出目标在所述待检测图像中所处的区域;
根据所述各检出目标对应的分布区域在所述待检索图像中进行抠图,得到所述各检出目标对应的子图;
对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图;所述图像底库中存储有底库子图,所述底库子图包含与所述检出目标的检测类型相同的目标;
根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收用户的检索指令;
获取待检索图像;所述待检索图像包含多个不同检测类型的目标;
通过目标检测算法对所述待检索图像进行目标检测,得到各检出目标对应的检测类型以及所述各检出目标对应的分布区域;所述分布区域为所述检出目标在所述待检测图像中所处的区域;
根据所述各检出目标对应的分布区域在所述待检索图像中进行抠图,得到所述各检出目标对应的子图;
对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图;所述图像底库中存储有底库子图,所述底库子图包含与所述检出目标的检测类型相同的目标;
根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像。
上述图像检索方法、装置、计算机设备和存储介质,可一次性实现对待检索图像中多个不同检测类型的目标进行目标检测,从而得到各检出目标对应的检测类型以及各检出目标对应的分布区域,进而对于各检测类型的检出目标,分别在与检出目标的检测类型对应的图像底库中检索出目标图像。本申请实施例无需用户人为地截取待检索图像中各个目标的子图并将各个目标子图输入检索系统,用户只需上传一次图像即可一次性完成对所有检测类型的检出目标的检索,从而有效降低了用户操作复杂度,提高了检索效率。
附图说明
图1为一个实施例中图像检索方法的应用环境图;
图2为一个实施例中图像检索方法的流程示意图;
图3为一个实施例中将各检出目标对应的子图展示给用户的效果图;
图4为一个实施例中将目标图像展示给用户的效果图;
图5为另一个实施例中图像检索方法的流程示意图;
图6为又一个实施例中图像检索方法的流程示意图;
图7为一个实施例中筛选符合用户设定的时间及地点检索条件的底库子图集合的流程示意图;
图8为一个实施例中图像检索装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一示例性实施例中,以本申请涉及的图像检索方法应用于图像检索设备进行举例说明。可以理解的是,如图1所示,该图像检索设备可以是终端102,也可以是服务器104,还可以是包括终端102和服务器104的系统,并通过终端102和服务器104的交互实现。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一示例性实施例中,如图2所示,提供了一种图像检索方法,以图像检索设备为图1中的服务器为例进行说明,具体可以通过以下步骤实现:
步骤S202,接收用户的检索指令。
其中,用户的检索指令是用户基于图像检索需求,在终端上进行相应的用户操作而得以生成。
具体地,图像检索设备可接收终端发送的用户的检索指令。
步骤S204,获取待检索图像。
其中,待检索图像包含多个不同检测类型的目标。检测类型是图像检索设备所使用的目标检测算法能够检测出的目标类型。例如,目标检测算法能够检测出人脸类型的目标、人体类型的目标和机动车类型的目标,不能检测出猫脸、电线杆类型的目标,则检测类型为人脸类型、人体类型和机动车类型,猫脸、电线杆不属于检测类型。
具体地,图像检索设备获取待检索图像。其中,该待检索图像可以是用户通过终端输入的图像,该图像包含多个检测类型的目标,例如,待检索图像A中包含1个人脸、1个人体、1辆非机动车,即包含人脸、人体、非机动车3个检测类型的目标。
步骤S206,通过目标检测算法对待检索图像进行目标检测,得到各检出目标对应的检测类型以及各检出目标对应的分布区域。
其中,目标检测算法检测出的目标称为检出目标,目标检测算法可一次性检测出多个检测类型的检出目标。分布区域为检出目标在待检测图像中所处的区域,也即目标在待检测图像中所处的位置。
具体地,图像检索设备通过预设的目标检测算法对待检索图像进行目标检测,得到各检出目标对应的检测类型以及各检出目标对应的分布区域。例如,针对待检索图像A进行目标检测,可同时检测出1个人脸、1个人体和1辆非机动车。若由于某些原因(比如目标被遮挡、画质不清晰等)导致目标检测算法无法检测出这类目标,那么,这类目标不属于上述的“检出目标”。
可选地,图像检索设备在获取到各检出目标对应的分布区域后,将各检出目标对应的分布区域标记在待检测图像上展示给用户,以使用户获知都有哪些目标被检测出来。
步骤S208,根据各检出目标对应的分布区域在待检索图像中进行抠图,得到各检出目标对应的子图。
具体地,图像检索设备根据各检出目标对应的分布区域,针对各检出目标分别在待检索图像中进行抠图,得到各检出目标对应的子图,以用于后续的检索步骤。可选地,分布区域用检出目标所在检出框(boundingbox)左上、左下、右上、右下4个顶点的坐标表示,根据这4个顶点的坐标在待检索图像中截取检出目标的子图。可选地,针对每一检出目标,都需要从原图(即待检索图像)中截取目标子图。
可选地,图像检索设备在得到各检出目标对应的子图后,将各检出目标对应的子图展示给用户,以使用户获知都有哪些目标被检测出来并将用于后续检索,其中,效果图可参见图3。
步骤S210,对于各检测类型的检出目标,在与检出目标的检测类型对应的图像底库中,检索与检出目标对应的子图匹配的底库子图。
其中,图像底库中存储有底库子图,底库子图包含检测类型与检出目标的检测类型相同的目标。
具体地,图像检索设备首先根据检出目标的检测类型查找相匹配的图像底库,进而在与检出目标的检测类型相匹配的图像底库中,检索与检出目标对应的子图匹配的底库子图。例如,在待检索图像A中,检出目标包括人脸目标、人体目标和非机动车目标,对应检出目标的检测类型分别是人脸类型、人体类型和非机动车类型。图像检测设备根据机动车类型查找机动车类型的图像底库,根据非机动车类型查找非机动车类型的图像底库,根据人体类型查找人体类型的图像底库,然后,图像检测设备分别在各种类型的图像底库中,例如在人脸类型的图像底库中,检索与人脸子图匹配的底库子图,在非机动车类型的图像底库中,检索与非机动车子图匹配的底库子图,在人体类型的图像底库中,检索与人体子图匹配的底库子图。
可选地,目标子图与底库子图的匹配方式可以是:首先,分别提取目标子图的图像特征和底库子图的图像特征,然后,确定目标子图的图像特征和底库子图的图像特征之间的相似度,将相似度大于预设阈值的底库子图作为与检出目标对应的子图匹配的底库子图。可选地,相似度可以通过计算特征向量之间的距离来确定。
步骤S212,根据与各检出目标对应的子图匹配的底库子图,得到检索指令对应的目标图像。
具体地,图像检索设备可以将与各检出目标对应的子图匹配的底库子图直接作为检索指令对应的目标图像,也可以对与各检出目标对应的子图匹配的底库子图进行进一步的筛选、处理得到检索指令对应的目标图像,例如可将底库子图对应的全景图(底库子图是由全景图中进行目标检测并抠图获得)作为目标图像。
续举前例,可选地,对于待检测图像A,图像检索设备可一次性对其中的人脸目标、人体目标、非机动车目标进行检索,得到人脸检索结果、人体检索结果、非机动车检索结果,将三者的集合作为检索指令对应的目标图像。
可选地,图像检索设备可根据检出目标对应的子图与匹配的底库子图之间的相似度,将多张匹配的底库子图按照降序排列,并选取前N位作为检索指令对应的目标图像。将目标图像展示给用户的效果图可参见图4。
需要说明的是,本申请实施例对各步骤的先后顺序并未限制,例如,步骤S202可在步骤S204、S206或S208之后。
上述图像检索方法中,可一次性实现对待检索图像中多个不同检测类型的目标进行目标检测,从而得到各检出目标对应的检测类型以及各检出目标对应的分布区域,进而对于各检测类型的检出目标,分别在与检出目标的检测类型对应的图像底库中检索出目标图像。本申请实施例无需用户人为地截取待检索图像中各个目标的子图并将各个目标子图输入检索系统,用户只需上传一次图像即可一次性完成对所有检测类型的检出目标的检索,从而有效降低了用户操作复杂度,提高了检索效率。
在一示例性实施例中,用户的检索指令为关联检索指令,该关联检索指令包含第一检测类型和第二检测类型。与第一检测类型的检出目标对应的子图匹配的底库子图为第一底库子图,与第二检测类型的检出目标对应的子图匹配的底库子图为第二底库子图。图像底库中关联存储有底库子图以及底库子图所对应全景图的图像标识。
续举前例,待检索图像A中包含人脸F、人体P和非机动车V,上一实施例中,检索指令对应的目标图像包含用人脸F检索出的人脸F1,用人体P检索出的人体P1和用非机动车V检索出的非机动车V1。目标图像可以是人脸F1、人体P1和非机动车V1所在的底库子图(见图4),也可以是人脸F1、人体P1和非机动车V1所在的全景图。由于人脸F1仅是由人脸F检索出的,无法获知人脸F1中所在的全景图中是否拍到了人体、拍到的人体是否与人体P匹配。然而,某些情况下,用户希望检索出这样的目标图像,它在同一张图像中既然包含与人脸F匹配的人脸F2又包含与人体P匹配的人体P2。或者,用户希望检索出这样的目标图像,它在同一张图像中既然包含与人体P匹配的人体P2又包含与非机动车V匹配的非机动车V2。即,用户希望在同一目标图像中有至少两种检测类型的目标存在,且每种检测类型的目标均与待检索图像中相应类型的目标匹配。此时,用户可以给出包含第一检测类型和第二检测类型的关联检索指令。例如,用户希望同一张目标图像中既然包含与人脸F匹配的人脸又包含与人体P匹配的人体时,可给出包含人脸检测类型和人体检索类型的关联检索指令。相应地,图像检索设备在获得了与人脸F匹配的F1、F2,与人体P匹配的P1、P2后,不会将F1、F2、P1、P2直接作为目标图像返回给用户,而是会进一步判断F1、F2和P1、P2是否出现在同一图像中,即F1、F2和P1、P2是否对应了相同的全景图。
基于此,请参照图5,步骤S212具体可以通过以下步骤实现:
步骤S212a,若第一底库子图和第二底库子图关联了具有相同图像标识的第一关联全景图,则将第一关联全景图作为检索指令对应的目标图像,或者将第一关联全景图、第一底库子图和第二底库子图作为检索指令对应的目标图像。
具体地,第一底库子图和第二底库子图关联了具有相同图像标识的第一关联全景图,表明第一底库子图和第二底库子图都是从第一关联全景图中抠图得到,也就是说,第一底库子图中的第一检测类型的目标和第二底库子图中的第二检测类型的目标位于同一张全景图中。图像检索设备通过判定底库子图与全景图的关联关系,可检索出一张图中同时包含两种检测类型的全景图,这样更容易确定不同的底库子图中不同检测类型的目标的关系。
举例而言,在待检索图像A中,若第一底库子图中的目标为人脸F2,第二底库子图中的目标为非机动车V2,若第一底库子图与第二底库子图对应的全景图具有相同的图像标识,表明人脸F2与非机动车V2原来是位于同一张第一关联全景图B中,这时,由于底库子图与全景图的关联性,可将第一关联全景图B也作为检索指令对应的目标图像。
本申请实施例中,可以得到这样的目标图像,在同一目标图像中有至少两种检测类型的目标存在,且每种检测类型的目标均与待检索图像中相应类型的目标匹配。如此,可提供更加丰富、多维的检索手段,提升用户体验。
在一示例性实施例中,第一检测类型和第二检测类型的获取方式可以是:将各检出目标对应的检测类型展示给用户,以使用户从各检出目标对应的检测类型中选取第一检测类型和第二检测类型。
具体地,在图像检索设备获得各检出目标对应的检测类型之后,图像检索设备将各检出目标对应的检测类型展示给用户,展示方式可以是通过图像检索设备的显示屏展示给用户或者通过先传输给终端再通过终端的显示屏展示给用户,以使用户从各检出目标对应的检测类型中选取第一检测类型和第二检测类型。可选地,用户可以根据检测类型提示选项手动选择第一检测类型和第二检测类型。可选地,用户也可以选择一种检测类型或者多于两种的检测类型。
本申请实施例中,通过将检出目标对应的检测类型展示给用户,以便于用户选择有检索需求的检测类型的目标,可快速得到检索的目标图像。并且,如此可避免全部检测类型的目标被检索,使得所检索出的目标图像数据量过大,从而增加用户查看检索结果的时间,无疑增加了用户的任务量。因此,可进一步提高图像检索效率以及准确性。
在一示例性实施例中,该方法还包括以下步骤:
步骤S2112,根据第一检测类型的检出目标对应的子图与第一底库子图的第一相似度,和第二检测类型的检出目标对应的子图与第二底库子图的第二相似度,得到检索指令对应的各目标图像的相似度。
具体地,图像之间的相似度可以通过提取各图像中的图像特征,并计算相应位置的特征距离来得到。图像检索设备根据第一检测类型的检出目标对应的子图与第一底库子图的第一相似度,和第二检测类型的检出目标对应的子图与第二底库子图的第二相似度,得到各目标图像与待检索图像的相似度。可选地,图像检索设备可以对第一相似度和第二相似度按照预设权重进行线性叠加之后得到检索指令对应的各目标图像的相似度。图像检索设备还可以对第一相似度和第二相似度进行非线性叠加之后得到检索指令对应的各目标图像的相似度。当然,也可以通过其他方式计算各目标图像与待检索图像的相似度,本申请不限于此。
例如,用户希望同一张目标图像中既然包含与人脸F匹配的人脸又包含与人体P匹配的人体,给出了包含人脸检测类型和人体检索类型的关联检索指令。其中,人脸匹配相似度阈值为90%,人体匹配相似度阈值为70%。通常情况下人脸检索结果较为准确,可设置较高权重例如0.8,人体因受衣着、遮挡等原因可设置较低权重例如0.2。用户图像检索设备检索到与人脸F匹配的F1(与F相似度90%,对应全景图标识1)、F2(与F相似度95%,对应全景图标识2),与人体P匹配的P1(与P相似度90%,对应全景图标识1)、P2(与F相似度75%,对应全景图标识2),可获得具有全景图标识1的目标图像M1(包含F1和P1),具有全景图标识2的目标图像M2(包含F2和P2),其中M1与待检索图像的相似度为90%,M2与待检索图像的相似度为91%。
本申请实施例中,由于第一底库子图与第二底库子图为同一张第一关联全景图中的图像,因此,根据第一相似度和第二相似度计算出的关联相似度,可用来表征第一关联全景图与第一检测类型和第二检测类型的检出目标的相似程度,这样,可获得更多的图像信息,有助于找寻同时出现两类目标的图像之间关联性。
进一步地,在得到检索指令对应的各目标图像的相似度之后,可将不同检测类型下的相似度分别按照降序排列,并选取前N位作为检索指令对应的目标图像。这样,将相似度较高的目标图像展示给用户,一方面减少了用户查看的任务量,另一方面提供的目标图像更为准确,有利于提高用户体验。
在一示例性实施例中,检索指令包含用于检索的检出目标的标识。基于此,请参照图6,该方法还包括以下步骤:
步骤S209,将各检出目标对应的分布区域或各检出目标对应的子图展示给用户,以使用户从各检出目标中选取用于图像检索的检出目标。
具体地,图像检索设备在获得各检出目标对应的分布区域和/或各检出目标对应的子图之后,将各检出目标对应的分布区域和/或各检出目标对应的子图展示给用户,展示方式可以是通过图像检索设备的显示屏展示给用户或者通过先传输给终端再通过终端的显示屏展示给用户,以使用户从各检出目标中选取用于图像检索的检出目标。
可以理解的是,图像检索设备通过预设的目标检测算法对待检索图像进行目标检测得到各检出目标后,即对各检出目标分配一标识(例如目标ID),用户选取了某个检出目标作为用于检索的检出目标后,即返回包含用于检索的检出目标的标识的检索指令。
进一步地,步骤S210具体可以通过以下步骤实现:
步骤S2102,对于与用于图像检索的检出目标的标识对应的第三检出目标,在与第三检出目标的检测类型对应的图像底库中,检索与第三检出目标对应的子图匹配的第三底库子图。
具体地,图像检索设备在接收到用户选择的检出目标之后,根据检出目标的标识确定第三检出目标,并在与第三检出目标的检测类型对应的图像底库中,检索与第三检出目标对应的子图匹配的第三底库子图。即本实施例中,只针对用户选择的检出目标进行检索,无需对所有的检出目标进行检索。
需要说明的是,第三检出目标可以是多个,多个第三检出目标可以对应相同或不同的检测类型。例如,用户从待检索图像中的人脸F、人体P、非机动车V中选取人脸F、非机动车V作为第三检出目标,图像检索设备可在人脸图像底库中检索与F匹配的底库子图F4,在非机动车图像底库中检索与P匹配的底库子图P4。
在另一实施方式中,图像检索设备可以只在待检索图像中包含两个同一检测类型的不同目标时将这两个不同的目标展示给用户供用户选择,对于只包含一个目标的检测类型,可默认用其包含的目标进行检索。例如,待检测图像中包含2个人脸,1辆非机动车,则可将2个人脸展示给用户以使用户选择需要用于检索的人脸,而无需把非机动车展示给用户。之后,图像检索设备使用待检索图像A中包含的非机动车,以及用户选择的1张人脸进行检索。
本申请实施例中,通过将各检出目标对应的分布区域和/或各检出目标对应的子图展示给用户,以便于用户选择有检索需求的目标,从而快速检索出用户有检索需求的目标的检索图像,进一步提高了检索效率。
在一示例性实施例中,检索指令包含至少两个用于检索的检出目标的标识。基于此,步骤S210具体还可以通过以下步骤实现:
步骤S2104,对于与用于图像检索的检出目标的标识对应的第四检出目标,在与第四检出目标的检测类型对应的图像底库中,检索与第四检出目标对应的子图匹配的第四底库子图。
具体地,图像检索设备对于与用于图像检索的检出目标的标识对应的第四检出目标,在与第四检出目标的检测类型对应的图像底库中,检索与第四检出目标对应的子图匹配的第四底库子图。
某些情况下,用户希望检索到同时包含第三检出目标和第四检出目标的图像。例如,待检索图像中包含人脸A和人脸B,用户希望找到人脸A和人脸B被同时拍到的其他图像。此时,步骤S212具体可以通过以下步骤实现:
步骤S2122,若第三底库子图和第四底库子图关联了具有相同图像标识的第二关联全景图,则将第二关联全景图作为检索指令对应的目标图像,或者将第二关联全景图、第三底库子图和第四底库子图作为检索指令对应的目标图像。
具体地,若第三底库子图和第四底库子图关联了具有相同图像标识的第二关联全景图,表明第三底库子图和第四底库子图都是从第二关联全景图中抠图得到,也就是说,第三底库子图中的目标和第四底库子图中的目标位于同一张全景图中。此时,图像检索设备可将第二关联全景图作为检索指令对应的目标图像,或者图像检索设备将第二关联全景图、第三底库子图和第四底库子图作为检索指令对应的目标图像。
如此,图像检索设备会将人脸A和人脸B被同时拍到的第二关联全景图作为目标图像。
需要说明的是,第三检出目标和第四检出目标的检测类型可以相同也可以不同。
本申请实施例中,若不同的底库子图属于同一张第二关联全景图中的局部图,表明这些底库子图是在同一时间被同一图像采集设备拍摄到的,因此,可将这些底库子图以及第二关联全景图作为最终的目标图像,有利于用户获知各图像之间的关联性,并以此获知更多的图像信息。
在一示例性实施例中,请参照图7,步骤S210具体可以通过以下步骤实现:
步骤S232,在与检出目标的检测类型对应的图像底库中,筛选符合用户输入的设定时间和/或设定地点的底库子图集合;
步骤S234,在底库子图集合中,检索与检出目标对应的子图匹配的底库子图。
具体地,用户可在终端展示的检索界面中,在检索条件选项处设置检索时间段和检索地点范围,基于该设定时间和/或设定地点,在与检出目标的检测类型对应的图像底库中,筛选符合用户输入的设定时间和/或设定地点的底库子图集合。接下来,目标检测设备在底库子图集合中,检索与检出目标对应的子图匹配的底库子图。
本申请实施例中,只在设定时间和/或设定地点的底库子图中进行检索,有利于快速地获得检索图像。
在一示例性实施例中,时间设定的实现方式包括多种,以下仅列举其中几种实现方式:
实现方式一:获取用户输入的预设时间以及预设时长;将包含预设时间的时间段作为设定时间,其中,设定时间的时长为预设时长。可选地,预设时间为基于待检索图像的拍摄时间确定的时间,设定时间为以预设时间为中心,前后1/2预设时长的时间段。
通常情况下,在待检索图像拍摄时间前后一段时间内更容易检索到目标,预设时长可根据目标移动速度设定。
实现方式二:获取用户输入的起始时间和终止时间;将起始时间与终止时间之间的时间段作为设定时间。可选地,起始时间和终止时间基于待检索图像的拍摄时间确定。
举例而言,在连续时间段选项中,用户在起始时间处输入起始时间,例如2018-05-02 00:00:00,并在截止时间处输入终止时间,例如2018-05-09 00:00:00,设置好之后,图像检索设备将2018-05-02 00:00:00~2018-05-09 00:00:00作为设定时间。
实现方式三:获取用户输入的起始日期和终止日期、每日的起始时间和每日的终止时间,将起始日期和终止日期之间的每个日期中,每日的起始时间和每日的终止时间之间的时间段作为设定时间。可选地,起始日期和终止日期、每日的起始时间和每日的终止时间基于待检索图像的拍摄时间确定。
举例而言,在有规律时间段选项中,用户在日期处输入起始日期和终止日期,例如2018-05-02、2018-05-09,并在时间处输入每日的起始时间和每日的终止时间,例如01:00:00、04:00:00,设置好之后,图像检索设备将2018-05-02~2018-05-09中的01:00:00~04:00:00作为设定时间。
本实施例中,通过设置多种检索时间的搜索方式,可满足不同的实际需求,功能更加多样化,适用性更强。
应该理解的是,虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一示例性实施例中,如图8所示,提供了一种图像检索装置,包括:指令接收模块302、图像获取模块304、目标检测模块306、抠图模块308、图像检索模块310和图像确定模块312,其中:
该指令接收模块302,用于接收用户的检索指令。
该图像获取模块304,用于获取待检索图像;待检索图像包含多个不同检测类型的目标。
该目标检测模块306,用于通过目标检测算法对待检索图像进行目标检测,得到各检出目标对应的检测类型以及各检出目标对应的分布区域;分布区域为检出目标在待检测图像中所处的区域。
该抠图模块308,用于根据各检出目标对应的分布区域在待检索图像中进行抠图,得到各检出目标对应的子图。
该图像检索模块310,用于对于各检测类型的检出目标,在与检出目标的检测类型对应的图像底库中,检索与检出目标对应的子图匹配的底库子图;图像底库中存储有底库子图,底库子图包含与检出目标的检测类型相同的目标。
该图像确定模块312,用于根据与各检出目标对应的子图匹配的底库子图,得到检索指令对应的目标图像。
上述图像检索装置中,可一次性实现对待检索图像中多个不同检测类型的目标进行目标检测,从而得到各检出目标对应的检测类型以及各检出目标对应的分布区域,进而对于各检测类型的检出目标,分别在与检出目标的检测类型对应的图像底库中检索出目标图像。本申请实施例无需用户人为地截取待检索图像中各个目标的子图并将各个目标子图输入检索系统,用户只需上传一次图像即可一次性完成对所有检测类型的检出目标的检索,从而有效降低了用户操作复杂度,提高了检索效率。
在一示例性实施例中,用户的检索指令为关联检索指令,关联检索指令包含第一检测类型和第二检测类型;与第一检测类型的检出目标对应的子图匹配的底库子图为第一底库子图,与第二检测类型的检出目标对应的子图匹配的底库子图为第二底库子图,图像底库中关联存储有底库子图以及底库子图所对应全景图的图像标识;该图像确定模块312具体用于若第一底库子图和第二底库子图关联了具有相同图像标识的第一关联全景图,则将第一关联全景图作为检索指令对应的目标图像,或者将第一关联全景图、第一底库子图和第二底库子图作为检索指令对应的目标图像。
在一示例性实施例中,还包括:展示模块(图未示),用于将各检出目标对应的检测类型展示给用户,以使用户从各检出目标对应的检测类型中选取第一检测类型和第二检测类型。
在一示例性实施例中,还包括:相似度计算模块,用于根据第一检测类型的检出目标对应的子图与第一底库子图的第一相似度,和第二检测类型的检出目标对应的子图与第二底库子图的第二相似度,得到检索指令对应的各目标图像的相似度。
在一示例性实施例中,检索指令包含用于检索的检出目标的标识;该展示模块还用于将各检出目标对应的分布区域或各检出目标对应的子图展示给用户,以使用户从各检出目标中选取用于图像检索的检出目标;该图像检索模块310具体用于对于与用于图像检索的检出目标的标识对应的第三检出目标,在与第三检出目标的检测类型对应的图像底库中,检索与第三检出目标对应的子图匹配的第三底库子图。
在一示例性实施例中,检索指令包含至少两个用于检索的检出目标的标识;该图像检索模块310具体用于对于与用于图像检索的检出目标的标识对应的第四检出目标,在与第四检出目标的检测类型对应的图像底库中,检索与第四检出目标对应的子图匹配的第四底库子图;该图像确定模块312具体用于若第三底库子图和第四底库子图关联了具有相同图像标识的第二关联全景图,则将第二关联全景图作为检索指令对应的目标图像,或者将第二关联全景图、第三底库子图和第四底库子图作为检索指令对应的目标图像。
在一示例性实施例中,该图像检索模块310具体用于在与检出目标的检测类型对应的图像底库中,筛选符合用户输入的设定时间和/或设定地点的底库子图集合;在底库子图集合中,检索与检出目标对应的子图匹配的底库子图。
关于图像检索装置的具体限定可以参见上文中对于图像检索方法的限定,在此不再赘述。上述图像检索装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一示例性实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储底库子图数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像检索方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一示例性实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
接收用户的检索指令;
获取待检索图像;待检索图像包含多个不同检测类型的目标;
通过目标检测算法对待检索图像进行目标检测,得到各检出目标对应的检测类型以及各检出目标对应的分布区域;分布区域为检出目标在待检测图像中所处的区域;
根据各检出目标对应的分布区域在待检索图像中进行抠图,得到各检出目标对应的子图;
对于各检测类型的检出目标,在与检出目标的检测类型对应的图像底库中,检索与检出目标对应的子图匹配的底库子图;图像底库中存储有底库子图,底库子图包含与检出目标的检测类型相同的目标;
根据与各检出目标对应的子图匹配的底库子图,得到检索指令对应的目标图像。
上述计算机设备中,可一次性实现对待检索图像中多个不同检测类型的目标进行目标检测,从而得到各检出目标对应的检测类型以及各检出目标对应的分布区域,进而对于各检测类型的检出目标,分别在与检出目标的检测类型对应的图像底库中检索出目标图像。本申请实施例无需用户人为地截取待检索图像中各个目标的子图并将各个目标子图输入检索系统,用户只需上传一次图像即可一次性完成对所有检测类型的检出目标的检索,从而有效降低了用户操作复杂度,提高了检索效率。
在一示例性实施例中,用户的检索指令为关联检索指令,关联检索指令包含第一检测类型和第二检测类型;与第一检测类型的检出目标对应的子图匹配的底库子图为第一底库子图,与第二检测类型的检出目标对应的子图匹配的底库子图为第二底库子图,图像底库中关联存储有底库子图以及底库子图所对应全景图的图像标识;处理器执行计算机程序时还实现以下步骤:若第一底库子图和第二底库子图关联了具有相同图像标识的第一关联全景图,则将第一关联全景图作为检索指令对应的目标图像,或者将第一关联全景图、第一底库子图和第二底库子图作为检索指令对应的目标图像。
在一示例性实施例中,处理器执行计算机程序时还实现以下步骤:将各检出目标对应的检测类型展示给用户,以使用户从各检出目标对应的检测类型中选取第一检测类型和第二检测类型。
在一示例性实施例中,处理器执行计算机程序时还实现以下步骤:根据第一检测类型的检出目标对应的子图与第一底库子图的第一相似度,和第二检测类型的检出目标对应的子图与第二底库子图的第二相似度,得到检索指令对应的各目标图像的相似度。
在一示例性实施例中,检索指令包含用于检索的检出目标的标识;处理器执行计算机程序时还实现以下步骤:将各检出目标对应的分布区域或各检出目标对应的子图展示给用户,以使用户从各检出目标中选取用于图像检索的检出目标;对于与用于图像检索的检出目标的标识对应的第三检出目标,在与第三检出目标的检测类型对应的图像底库中,检索与第三检出目标对应的子图匹配的第三底库子图。
在一示例性实施例中,检索指令包含至少两个用于检索的检出目标的标识;处理器执行计算机程序时还实现以下步骤:对于与用于图像检索的检出目标的标识对应的第四检出目标,在与第四检出目标的检测类型对应的图像底库中,检索与第四检出目标对应的子图匹配的第四底库子图;若第三底库子图和第四底库子图关联了具有相同图像标识的第二关联全景图,则将第二关联全景图作为检索指令对应的目标图像,或者将第二关联全景图、第三底库子图和第四底库子图作为检索指令对应的目标图像。
在一示例性实施例中,处理器执行计算机程序时还实现以下步骤:在与检出目标的检测类型对应的图像底库中,筛选符合用户输入的设定时间和/或设定地点的底库子图集合;在底库子图集合中,检索与检出目标对应的子图匹配的底库子图。
在一示例性实施例中,处理器执行计算机程序时还实现以下步骤:获取用户输入的预设时间以及预设时长;将包含预设时间的时间段作为设定时间,设定时间的时长为预设时长;或;获取用户输入的起始时间和终止时间;将起始时间与终止时间之间的时间段作为设定时间;或;获取用户输入的起始日期和终止日期、每日的起始时间和每日的终止时间,将起始日期和终止日期之间的每个日期中,每日的起始时间和每日的终止时间之间的时间段作为设定时间。
在一示例性实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
接收用户的检索指令;
获取待检索图像;待检索图像包含多个不同检测类型的目标;
通过目标检测算法对待检索图像进行目标检测,得到各检出目标对应的检测类型以及各检出目标对应的分布区域;分布区域为检出目标在待检测图像中所处的区域;
根据各检出目标对应的分布区域在待检索图像中进行抠图,得到各检出目标对应的子图;
对于各检测类型的检出目标,在与检出目标的检测类型对应的图像底库中,检索与检出目标对应的子图匹配的底库子图;图像底库中存储有底库子图,底库子图包含与检出目标的检测类型相同的目标;
根据与各检出目标对应的子图匹配的底库子图,得到检索指令对应的目标图像。
上述计算机可读存储介质中,可一次性实现对待检索图像中多个不同检测类型的目标进行目标检测,从而得到各检出目标对应的检测类型以及各检出目标对应的分布区域,进而对于各检测类型的检出目标,分别在与检出目标的检测类型对应的图像底库中检索出目标图像。本申请实施例无需用户人为地截取待检索图像中各个目标的子图并将各个目标子图输入检索系统,用户只需上传一次图像即可一次性完成对所有检测类型的检出目标的检索,从而有效降低了用户操作复杂度,提高了检索效率。
在一示例性实施例中,用户的检索指令为关联检索指令,关联检索指令包含第一检测类型和第二检测类型;与第一检测类型的检出目标对应的子图匹配的底库子图为第一底库子图,与第二检测类型的检出目标对应的子图匹配的底库子图为第二底库子图,图像底库中关联存储有底库子图以及底库子图所对应全景图的图像标识;计算机程序被处理器执行时还实现以下步骤:若第一底库子图和第二底库子图关联了具有相同图像标识的第一关联全景图,则将第一关联全景图作为检索指令对应的目标图像,或者将第一关联全景图、第一底库子图和第二底库子图作为检索指令对应的目标图像。
在一示例性实施例中,计算机程序被处理器执行时还实现以下步骤:将各检出目标对应的检测类型展示给用户,以使用户从各检出目标对应的检测类型中选取第一检测类型和第二检测类型。
在一示例性实施例中,计算机程序被处理器执行时还实现以下步骤:根据第一检测类型的检出目标对应的子图与第一底库子图的第一相似度,和第二检测类型的检出目标对应的子图与第二底库子图的第二相似度,得到检索指令对应的各目标图像的相似度。
在一示例性实施例中,检索指令包含用于检索的检出目标的标识;计算机程序被处理器执行时还实现以下步骤:将各检出目标对应的分布区域或各检出目标对应的子图展示给用户,以使用户从各检出目标中选取用于图像检索的检出目标;对于与用于图像检索的检出目标的标识对应的第三检出目标,在与第三检出目标的检测类型对应的图像底库中,检索与第三检出目标对应的子图匹配的第三底库子图。
在一示例性实施例中,检索指令包含至少两个用于检索的检出目标的标识;计算机程序被处理器执行时还实现以下步骤:对于与用于图像检索的检出目标的标识对应的第四检出目标,在与第四检出目标的检测类型对应的图像底库中,检索与第四检出目标对应的子图匹配的第四底库子图;若第三底库子图和第四底库子图关联了具有相同图像标识的第二关联全景图,则将第二关联全景图作为检索指令对应的目标图像,或者将第二关联全景图、第三底库子图和第四底库子图作为检索指令对应的目标图像。
在一示例性实施例中,计算机程序被处理器执行时还实现以下步骤:在与检出目标的检测类型对应的图像底库中,筛选符合用户输入的设定时间和/或设定地点的底库子图集合;在底库子图集合中,检索与检出目标对应的子图匹配的底库子图。
在一示例性实施例中,计算机程序被处理器执行时还实现以下步骤:获取用户输入的预设时间以及预设时长;将包含预设时间的时间段作为设定时间,设定时间的时长为预设时长;或;获取用户输入的起始时间和终止时间;将起始时间与终止时间之间的时间段作为设定时间;或;获取用户输入的起始日期和终止日期、每日的起始时间和每日的终止时间,将起始日期和终止日期之间的每个日期中,每日的起始时间和每日的终止时间之间的时间段作为设定时间。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像检索方法,其特征在于,所述方法包括:
接收用户的检索指令;
获取待检索图像;所述待检索图像包含多个不同检测类型的目标;
通过目标检测算法对所述待检索图像进行目标检测,得到各检出目标对应的检测类型以及所述各检出目标对应的分布区域;所述分布区域为所述检出目标在所述待检测图像中所处的区域;
根据所述各检出目标对应的分布区域在所述待检索图像中进行抠图,得到所述各检出目标对应的子图;
对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图;所述图像底库中存储有底库子图,所述底库子图包含与所述检出目标的检测类型相同的目标;
根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像。
2.根据权利要求1所述的方法,其特征在于,所述用户的检索指令为关联检索指令,所述关联检索指令包含第一检测类型和第二检测类型;与所述第一检测类型的检出目标对应的子图匹配的底库子图为第一底库子图,与所述第二检测类型的检出目标对应的子图匹配的底库子图为第二底库子图,所述图像底库中关联存储有所述底库子图以及所述底库子图所对应全景图的图像标识;
所述根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像,包括:
若所述第一底库子图和所述第二底库子图关联了具有相同图像标识的第一关联全景图,则将所述第一关联全景图作为所述检索指令对应的目标图像,或者将所述第一关联全景图、所述第一底库子图和所述第二底库子图作为所述检索指令对应的目标图像。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将所述各检出目标对应的检测类型展示给所述用户,以使所述用户从所述各检出目标对应的检测类型中选取所述第一检测类型和所述第二检测类型。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
根据所述第一检测类型的检出目标对应的子图与所述第一底库子图的第一相似度,和所述第二检测类型的检出目标对应的子图与所述第二底库子图的第二相似度,得到所述检索指令对应的各目标图像的相似度。
5.根据权利要求1所述的方法,其特征在于,所述检索指令包含用于检索的检出目标的标识;所述方法还包括:
将所述各检出目标对应的分布区域或所述各检出目标对应的子图展示给所述用户,以使所述用户从所述各检出目标中选取用于图像检索的检出目标;
所述对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图,包括:
对于与所述用于图像检索的检出目标的标识对应的第三检出目标,在与所述第三检出目标的检测类型对应的图像底库中,检索与所述第三检出目标对应的子图匹配的第三底库子图。
6.根据权利要求5所述的方法,其特征在于,所述检索指令包含至少两个用于检索的检出目标的标识;所述对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图,还包括:
对于与所述用于图像检索的检出目标的标识对应的第四检出目标,在与所述第四检出目标的检测类型对应的图像底库中,检索与所述第四检出目标对应的子图匹配的第四底库子图;
所述根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像,包括:
若所述第三底库子图和所述第四底库子图关联了具有相同图像标识的第二关联全景图,则将所述第二关联全景图作为所述检索指令对应的目标图像,或者将所述第二关联全景图、所述第三底库子图和所述第四底库子图作为所述检索指令对应的目标图像。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图,包括:
在与所述检出目标的检测类型对应的图像底库中,筛选符合所述用户输入的设定时间和/或设定地点的底库子图集合;
在所述底库子图集合中,检索与所述检出目标对应的子图匹配的底库子图。
8.根据权利要求7所述的方法,其特征在于,在所述筛选符合所述用户输入的设定时间和/或设定地点的底库子图集合之前,所述方法还包括:
获取所述用户输入的预设时间以及预设时长;
将包含所述预设时间的时间段作为所述设定时间,所述设定时间的时长为所述预设时长;
或;
获取所述用户输入的起始时间和终止时间;
将所述起始时间与所述终止时间之间的时间段作为所述设定时间;
或;
获取所述用户输入的起始日期和终止日期、每日的起始时间和每日的终止时间,
将所述起始日期和所述终止日期之间的每个日期中,所述每日的起始时间和所述每日的终止时间之间的时间段作为所述设定时间。
9.一种图像检索装置,其特征在于,所述装置包括:
指令接收模块,用于接收用户的检索指令;
图像获取模块,用于获取待检索图像;所述待检索图像包含多个不同检测类型的目标;
目标检测模块,用于通过目标检测算法对所述待检索图像进行目标检测,得到各检出目标对应的检测类型以及所述各检出目标对应的分布区域;所述分布区域为所述检出目标在所述待检测图像中所处的区域;
抠图模块,用于根据所述各检出目标对应的分布区域在所述待检索图像中进行抠图,得到所述各检出目标对应的子图;
图像检索模块,用于对于各检测类型的检出目标,在与所述检出目标的检测类型对应的图像底库中,检索与所述检出目标对应的子图匹配的底库子图;所述图像底库中存储有底库子图,所述底库子图包含与所述检出目标的检测类型相同的目标;
图像确定模块,用于根据与各检出目标对应的子图匹配的底库子图,得到所述检索指令对应的目标图像。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202010244132.4A 2020-03-31 2020-03-31 图像检索方法、装置、计算机设备和存储介质 Pending CN111522969A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010244132.4A CN111522969A (zh) 2020-03-31 2020-03-31 图像检索方法、装置、计算机设备和存储介质
PCT/CN2020/119714 WO2021196551A1 (zh) 2020-03-31 2020-09-30 图像检索方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010244132.4A CN111522969A (zh) 2020-03-31 2020-03-31 图像检索方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111522969A true CN111522969A (zh) 2020-08-11

Family

ID=71902479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010244132.4A Pending CN111522969A (zh) 2020-03-31 2020-03-31 图像检索方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111522969A (zh)
WO (1) WO2021196551A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196551A1 (zh) * 2020-03-31 2021-10-07 北京旷视科技有限公司 图像检索方法、装置、计算机设备和存储介质
WO2023124135A1 (zh) * 2021-12-29 2023-07-06 上海商汤智能科技有限公司 特征检索方法、装置、电子设备、计算机存储介质和程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678661A (zh) * 2013-12-24 2014-03-26 中国联合网络通信集团有限公司 图像搜索方法和终端
CN106777083A (zh) * 2016-12-13 2017-05-31 四川研宝科技有限公司 一种标记图片中物体的方法及装置
CN106815272A (zh) * 2015-12-02 2017-06-09 杭州海康威视数字技术股份有限公司 一种图像检索方法、装置及系统
CN108197265A (zh) * 2017-12-29 2018-06-22 深圳市视维科技股份有限公司 一种基于短视频搜索完整视频的方法及系统
CN109241349A (zh) * 2018-08-14 2019-01-18 中国电子科技集团公司第三十八研究所 一种基于深度学习的监控视频多目标分类检索方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544496A (zh) * 2018-11-19 2019-03-29 南京旷云科技有限公司 训练数据的生成方法、对象检测模型的训练方法和装置
CN111522969A (zh) * 2020-03-31 2020-08-11 北京旷视科技有限公司 图像检索方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678661A (zh) * 2013-12-24 2014-03-26 中国联合网络通信集团有限公司 图像搜索方法和终端
CN106815272A (zh) * 2015-12-02 2017-06-09 杭州海康威视数字技术股份有限公司 一种图像检索方法、装置及系统
CN106777083A (zh) * 2016-12-13 2017-05-31 四川研宝科技有限公司 一种标记图片中物体的方法及装置
CN108197265A (zh) * 2017-12-29 2018-06-22 深圳市视维科技股份有限公司 一种基于短视频搜索完整视频的方法及系统
CN109241349A (zh) * 2018-08-14 2019-01-18 中国电子科技集团公司第三十八研究所 一种基于深度学习的监控视频多目标分类检索方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196551A1 (zh) * 2020-03-31 2021-10-07 北京旷视科技有限公司 图像检索方法、装置、计算机设备和存储介质
WO2023124135A1 (zh) * 2021-12-29 2023-07-06 上海商汤智能科技有限公司 特征检索方法、装置、电子设备、计算机存储介质和程序

Also Published As

Publication number Publication date
WO2021196551A1 (zh) 2021-10-07

Similar Documents

Publication Publication Date Title
US9323785B2 (en) Method and system for mobile visual search using metadata and segmentation
US9076064B2 (en) Image processing apparatus and image processing method
US20130148898A1 (en) Clustering objects detected in video
CN108334632B (zh) 实体推荐方法、装置、计算机设备和计算机可读存储介质
CN110162665B (zh) 视频搜索方法、计算机设备及存储介质
WO2015125025A2 (en) Systems and methods for image-feature-based recognition
CN111581423B (zh) 一种目标检索方法及装置
CN111522969A (zh) 图像检索方法、装置、计算机设备和存储介质
JP2017182628A (ja) 拡張現実ユーザインタフェース適用装置および制御方法
CN111914775A (zh) 活体检测方法、装置、电子设备及存储介质
CN111860313A (zh) 基于人脸识别的信息查询方法、装置、计算机设备和介质
CN114416905A (zh) 物品寻找方法、标签生成方法及其装置
CN108419112B (zh) 基于测控航迹信息的流媒体视频编目方法、检索方法及装置
KR20190124436A (ko) 영상 기반 건물 검색 방법 및 장치
Kim et al. m CLOVER: mobile content-based leaf image retrieval system
CN111104915B (zh) 一种同行分析方法、装置、设备和介质
Zhang et al. Dynamic multi-video summarization of sensor-rich videos in geo-space
CN110659376A (zh) 图片查找方法、装置、计算机设备和存储介质
CN110738175A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN110659373A (zh) 图像检索的方法、设备、计算机设备和存储介质
CN116383423A (zh) 图像检索结果的重排方法、装置、计算机设备及介质
CN115082999A (zh) 合影图像人物分析方法、装置、计算机设备和存储介质
CN113449130A (zh) 一种图像检索方法、装置、一种计算机可读存储介质和计算设备
CN113537127A (zh) 影片匹配方法、装置、设备及存储介质
JP5349004B2 (ja) コンテンツ検索システムおよびコンテンツ検索プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination