CN110134807B - 目标检索方法、装置、系统及存储介质 - Google Patents

目标检索方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110134807B
CN110134807B CN201910409173.1A CN201910409173A CN110134807B CN 110134807 B CN110134807 B CN 110134807B CN 201910409173 A CN201910409173 A CN 201910409173A CN 110134807 B CN110134807 B CN 110134807B
Authority
CN
China
Prior art keywords
target
retrieval
image
client
analysis type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910409173.1A
Other languages
English (en)
Other versions
CN110134807A (zh
Inventor
苏琳
晋兆龙
肖潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201910409173.1A priority Critical patent/CN110134807B/zh
Publication of CN110134807A publication Critical patent/CN110134807A/zh
Application granted granted Critical
Publication of CN110134807B publication Critical patent/CN110134807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本申请涉及一种目标检索方法、装置、系统及存储介质,属于图像处理技术领域,该方法包括:显示包括图像添加控件和目标检测控件的图像上传界面;接收作用于图像添加控件的图像添加操作;在图像上传界面中显示图像添加操作指示的n张目标图像;在接收到作用于目标检测控件的检测操作后获取并显示n张目标图像中的检索目标;对于每张目标图像,在确定目标图像中的检索目标准确时将确定后的检索目标发送至服务器,以供服务器检索出与检索目标的相似度超过相似度阈值的检索结果;在检索结果显示界面中显示检索目标的检索结果;可以解决用户需要确定多张目标图像中的检索目标时需要逐张选择目标图像,操作比较复杂的问题;可以提高目标检索效率。

Description

目标检索方法、装置、系统及存储介质
技术领域
本申请涉及目标检索方法、装置、系统及存储介质,属于图像处理技术领域。
背景技术
目前,视频监控系统在维护社会治安、加强社会管理及安全保障方面发挥重要作用,面对日益增长的摄像头数量,从这些海量的视频监控中寻找感兴趣的目标将耗费大量人力物力。因此视频目标自动检测、存储及检索,能够有效提高海量视频监控效率。
传统的目标检索方法中,通常客户端与服务器只支持一次性选择单张图像进行检测,此时,用户若需要对多张图像进行检测,并对多张图像检测得到的检索目标进行检索,则需要逐张手动添加目标图片、分次确定目标图片中的检索目标,目标检索效率较低。
发明内容
本申请提供了一种目标检索方法、装置、系统及存储介质,可以解决用户需要确定多张目标图像中的检索目标时,需要逐张选择目标图像,操作比较复杂的问题;本申请提供如下技术方案:
第一方面,提供了一种目标检索方法,所述方法包括:
显示图像上传界面,所述图像上传界面包括图像添加控件和目标检测控件;
接收作用于所述图像添加控件的图像添加操作;
在所述图像上传界面中显示所述图像添加操作指示的n张目标图像,所述n为大于1的整数;
在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;
对于每张目标图像,在确定所述目标图像中的检索目标准确时将确定后的检索目标发送至所述服务器,以供所述服务器从数据库中检索出与所述检索目标的相似度超过相似度阈值的检索结果;
在检索结果显示界面中显示所述检索目标的检索结果。
可选地,所述图像上传界面还包括检索确认控件,所述在确定所述目标图像中的检索目标准确时将确定后的检索目标发送至所述服务器,包括:
对于每张目标图像,接收对所述目标图像中检索目标的修改操作得到所述确定后的检索目标;
在接收到作用于所述检索确认控件的确认操作后,将所述确定后的检索目标发送至所述服务器。
可选地,所述图像上传界面还包括分析类型选择控件,所述方法还包括:
接收作用于所述分析类型选择控件的分析类型选择操作,得到所述分析类型选择操作指示的分析类型;
所述获取并显示所述n张目标图像中的检索目标,包括:
将所述n张目标图像和所述分析类型上传至服务器,以供所述服务器确定所述分析类型对应的目标检测算法;使用所述目标检测算法检测所述n张目标图像中的检索目标,并将所述检索目标在对应目标图像中的位置信息发送至所述客户端;
获取所述服务器检测的每张目标图像中检索目标的位置信息;
基于所述位置信息在检索目标显示界面中显示每张目标图像中的检索目标。
可选地,所述在检索目标显示界面中显示每张目标图像中的检索目标,包括:
在检索目标显示界面中以预定速度逐张显示目标图像中的检索目标。
可选地,所述方法还包括:
接收对所述目标图像的框选操作,得到所述目标图像中的检索目标。
第二方面,提供了一种目标检索方法,所述方法包括:
获取客户端发送的n张目标图像的检索目标,所述n为大于1的整数;所述n张目标图像的检索目标由所述客户端在接收到作用于图像上传界面中图像添加控件的图像添加操作后,在所述图像上传界面中显示所述图像添加操作指示的n张目标图像;在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;对于每张目标图像,在确定所述目标图像中的检索目标准确时发送;
对于每张目标图像的检索目标,在数据库中检索与所述检索目标之间的相似度超过相似度阈值的检索结果;
将所述检索目标的检索结果返回至所述客户端,以供所述客户端在检索结果显示界面显示所述检索目标的检索结果。
可选地,所述方法还包括:
接收所述客户端发送的分析类型,所述分析类型是所述客户端在接收到作用于分析类型选择控件的分析类型选择操作后得到的;
确定所述分析类型对应的至少一种目标检测算法;
使用所述目标检测算法对所述n张目标图像进行目标检测,得到每张目标图像的检索目标;
将所述检索目标在对应目标图像中的位置信息发送至所述客户端,以供所述客户端在检索目标显示界面中显示每张目标图像中的检索目标。
可选地,所述分析类型为人员类型、车辆类型、人脸类型和通用类型中的一种。
第三方面,提供了一种目标检索装置,所述装置包括:
第一显示模块,用于显示图像上传界面,所述图像上传界面包括图像添加控件和目标检测控件;
操作接收模块,用于接收作用于所述图像添加控件的图像添加操作;
第二显示模块,用于在所述图像上传界面中显示所述图像添加操作指示的n张目标图像,所述n为大于1的整数;
目标获取模块,用于在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;
目标发送模块,用于对于每张目标图像,在确定所述目标图像中的检索目标准确时将确定后的检索目标发送至所述服务器,以供所述服务器从数据库中检索出与所述检索目标的相似度超过相似度阈值的检索结果;
第三显示模块,用于在检索结果显示界面中显示所述检索目标的检索结果。
第四方面,提供了一种目标检索装置,所述装置包括:
目标获取模块,用于获取客户端发送的n张目标图像的检索目标,所述n为大于1的整数;所述n张目标图像的检索目标由所述客户端在接收到作用于图像上传界面中图像添加控件的图像添加操作后,在所述图像上传界面中显示所述图像添加操作指示的n张目标图像;在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;对于每张目标图像,在确定所述目标图像中的检索目标准确时发送;
目标检索模块,用于对于每张目标图像的检索目标,在数据库中检索与所述检索目标之间的相似度超过相似度阈值的检索结果;
检索反馈模块,用于将所述检索目标的检索结果返回至所述客户端,以供所述客户端在检索结果显示界面显示所述检索目标的检索结果。
第五方面,提供了一种目标检索系统,所述系统包括客户端和服务器;
所述客户端包括第三方面所述的目标检索装置;
所述服务器包括第四方面所述的目标检索装置。
第六方面,提供一种目标检索装置,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现第一方面所述的目标检索方法;或者,实现第二方面所述的目标检索方法。
第七方面,提供一种计算机可读存储介质,所述存储介质中存储有程序,所述程序由所述处理器加载并执行以实现第一方面所述的目标检索方法;或者,实现第二方面所述的目标检索方法。
本申请的有益效果在于:通过显示图像上传界面,图像上传界面包括图像添加控件和目标检测控件;接收作用于图像添加控件的图像添加操作;在图像上传界面中显示图像添加操作指示的n张目标图像;在接收到作用于目标检测控件的检测操作后,获取并显示n张目标图像中的检索目标;对于每张目标图像,在确定目标图像中的检索目标准确时将确定后的检索目标发送至服务器,以供服务器从数据库中检索出与检索目标的相似度超过相似度阈值的检索结果;在检索结果显示界面中显示检索目标的检索结果;可以解决用户需要确定多张目标图像中的检索目标时,需要逐张选择目标图像,操作比较复杂的问题;由于一次图像添加操作可以添加多张目标图像,同时对该目标图像中的检索目标进行检索,而无需多次添加目标图像,因此可以提高目标检索效率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的目标检索系统的结构示意图;
图2是本申请一个实施例提供的目标检索方法的流程图;
图3是本申请一个实施例提供的添加目标图像的示意图;
图4是本申请一个实施例提供的获取分析类型的示意图;
图5是本申请一个实施例提供的客户端获取并显示检索目标的流程图;
图6是本申请一个实施例提供的显示检索目标的示意图;
图7是本申请一个实施例提供的显示检索结果的示意图;
图8是本申请另一个实施例提供的目标检索方法的流程图;
图9是本申请一个实施例提供的目标检索装置的框图;
图10是本申请一个实施例提供的目标检索装置的框图;
图11是本申请一个实施例提供的目标检索装置的框图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
图1是本申请一个实施例提供的目标检索系统的结构示意图,如图1所示,该系统至少包括:客户端110和服务器120。
客户端110用于为用户提供目标检索服务。客户端110可以是网页客户端;或者,也可以是安装于电子设备中的应用程序(Application),本实施例不对客户端110的类型作限定。
可选地,客户端110用于:显示图像上传界面,该图像上传界面包括图像添加控件和目标检测控件;接收作用于图像添加控件的图像添加操作;在图像上传界面中显示图像添加操作指示的n张目标图像,n为大于1的整数;在接收到作用于目标检测控件的检测操作后,获取并显示n张目标图像中的检索目标;对于每张目标图像,在确定目标图像中的检索目标准确时将确定后的检索目标发送至服务器120,以供服务器120从数据库中检索出与检索目标的相似度超过相似度阈值的检索结果;在检索结果显示界面中显示检索目标的检索结果。
其中,相似度阈值可以是80%、90%等,本实施例不对相似度阈值的取值作限定。
本实施例中,客户端110通过一次性在图像上传界面中上传多张目标图像,可以解决用户需要确定多张目标图像中的检索目标时,需要逐张选择目标图像,操作比较复杂的问题,从而提高目标检索效率。
可选地,客户端110通过有线或者无线方式与服务器120通信连接。
服务器120用于为客户端110提供后端服务。可选地,服务器120可以是单独的服务器主机;或者,也可以是多台服务器主机构成的服务器集群,本实施例不对服务器120的类型作限定。
可选地,服务器120用于:获取客户端110发送的n张目标图像的检索目标;对于每张目标图像的检索目标,在数据库中检索与检索目标之间的相似度超过相似度阈值的检索结果;将检索目标的检索结果返回至客户端110,以供客户端110在检索结果显示界面显示检索目标的检索结果。
图2是本申请一个实施例提供的目标检索方法的流程图,本实施例以该方法应用于图1所示的目标检索系统中为例进行说明。该方法至少包括以下几个步骤:
步骤201,客户端显示图像上传界面,该图像上传界面包括图像添加控件和目标检测控件。
图像上传界面用于上传目标图像。图像上传界面包括图像添加控件和目标检测控件。其中,图像添加控件用于在图像上传界面中添加目标图像;目标检测控件用于对图像上传界面中添加的目标图像进行检测,得到检索目标。
可选地,图像上传界面基于QML语言实现界面设计。QML语言是一种描述性的脚本语言,文件格式以.qml结尾。
步骤202,客户端接收作用于图像添加控件的图像添加操作。
在一个示例中,图像添加控件为点击触发控件。比如:参考图3所示的图像上传界面300,该图像上传界面包括点击触发控件301和的目标检测控件302,图像添加控件301为一个可供用户点击触发的虚拟按键。此时,作用于点击触发控件301的图像添加操作可以是至少一次的点击操作。客户端接收到点击操作后显示图像选择界面310,该图像选择界面310包括本地存储的至少一张图像;在接收到对多张图像的选择操作后,确定目标图像添加完成。
在另一个示例中,图像添加控件为用于显示目标图像的区域。比如:参考图3所示的图像上传界面300中用于显示目标图像的区域303。此时,作用于区域303的图像添加操作可以是将目标图像拖曳至区域303的拖曳操作。
当然,客户端可以同时支持通过上述两种示例所述的图像添加操作。
可选地,本实施例中,一次图像添加操作支持添加多张目标图像。示意性地,将QML中FileDialog权限的属性selectMultiple设置为true,从而实现一次图像添加操作添加多张目标图像。
可选地,一次图像添加操作支持添加的目标图像的数量小于或者等于预设阈值。预设阈值为大于1的整数。示意性地,预设阈值为30、25等,本实施例不对预设阈值的取值作限定。
可选地,n张目标图像的图像路径可以是网络图像路径;和/或本机图像路径,本实施例不对目标图像的图像路径作限定。
可选地,n张目标图像的图片格式包括但不限于:bmp、jpg、png、gif、pcd、svg、和/或webp等图片格式,本实施例不对目标图像的图片格式作限定。在实际实现时,可以将qml中nameFilters属性设置为同时兼容bmp、jpg、png、gif、pcd、svg、和/或webp等图片格式,以支持上传多种图片格式的n张目标图像。
步骤203,在图像上传界面中显示图像添加操作指示的n张目标图像,n为大于1的整数。
比如:在图3所示的区域303中显示n张目标图像。
步骤204,在接收到作用于目标检测控件的检测操作后,客户端获取并显示n张目标图像中的检索目标。
可选地,客户端获取并显示n张目标图像中的检索目标的方式包括但不限于以下几种:
第一种:客户端将n张目标图像发送至服务器,由服务器来检测n张目标图像中的检索目标。此时,图像上传界面还包括分析类型选择控件,在本步骤之前,客户端还需要接收作用于分析类型选择控件的分析类型选择操作,得到分析类型选择操作指示的分析类型。分析类型用于供服务器确定检测检索目标的目标检测算法。
可选地,分析类型包括但不限于:人脸类型、人员类型、车辆类型和通用类型。其中,通用分析类型适用于检测人脸、人员和车辆。当然,分类类型还可以包括其他类型,比如:动物类型、植物类型等,本实施例不对分析类型的设置方式作限定。
可选地,参考图4,图像上传界面包括分析类型选择控件401,在接收到作用于分析类型选择控件401的分析类型选择操作后,图像上传界面上显示分析类型选择窗口,该分析类型选择窗口包括客户端支持的多种分析类型402,客户端在接收到对于某个分析类型的选择操作后,得到分析类型选择操作指示的分析类型。
此时,参考图5所示的步骤51-57,客户端获取并显示n张目标图像中的检索目标,至少包括以下几个步骤:
步骤51,客户端将n张目标图像和分析类型上传至服务器,以供服务器确定分析类型对应的目标检测算法。
可选地,客户端在接收到作用于目标检测控件的检测操作后,可以同时上传n张目标图像和分析类型;或者,也可以分别上传n张目标图像和分析类型。客户端基于远程过程调用(Remote Procedure Call,RPC)协议上传n张目标图像和分析类型,当然,客户端也可以使用其他协议上传n张目标图像和分析类型,本实施例不对n张目标图像和分析类型的上传方式作限定。
可选地,客户端在上传n张目标图像时,将n张目标图像以GridView的格式根据图像上传的顺序依次显示在图片检测对话框的目录列表。其中,图片检测对话框为接收到检测操作后覆盖在图像上传界面上的窗口;或者,也可以是图像上传界面中显示目标图像的区域,比如:区域303,本实施例不对图片检测对话框的实现方式作限定。
可选地,客户端上传n张目标图像时,QML语言自动为每张目标图像分配索引值(index),以供客户端利用索引值作为数组下标,建立目标图像的图像信息与索引值之间的对应关系。
步骤52,服务器接收客户端发送的分析类型。
其中,分析类型是客户端在接收到作用于分析类型选择控件的分析类型选择操作后得到的。
可选地,分析类型为人员类型、车辆类型、人脸类型和通用类型中的一种。
步骤53,服务器确定分析类型对应的至少一种目标检测算法。
目标检测算法用于检测目标图像中分析类型指示的检索目标。
示意性地,人员类型对应的目标检测算法为人员检测算法,该人员检测算法用于检测目标图像中的人员;车辆类型对应的目标测算法为车辆检测算法,该车辆检测算法用于检测目标图像中的车辆;人脸类型对应的目标检测算法为人脸检测算法;人脸检测算法用于检测目标图像中的人脸;通用类型对应的目标检测算法包括其他分析类型对应的目标检测算法。
目标检测算法可以是基于滑动窗口的目标检测算法、基于纹理的目标检测算、基于深度学习的目标检测算法等,本实施例不对目标检测算法的算法类型作限定。
步骤54,服务器使用目标检测算法对n张目标图像进行目标检测,得到每张目标图像的检索目标。
可选地,服务器对n张目标图像进行目标检测之后得到的检测结果包括:检索目标在目标图像中的坐标、尺寸。当然,还可以包括检索目标所属目标图像的图像路径、是否被选中的标志等信息。
步骤55,服务器将检索目标在对应目标图像中的位置信息发送至客户端,以供客户端在检索目标显示界面中显示每张目标图像中的检索目标。
其中,检索目标在对应目标图像中的位置信息包括:检索目标在目标图像中的坐标。可选地,位置信息还包括检索目标在目标图像中的尺寸。
比如:以矩形框选检索目标,则检索目标在对应目标图像中的位置信息包括:检索目标的某个顶点在目标图像中的坐标,以及以该顶点确定出的检索目标的长和宽(也即检索目标在目标图像中的尺寸)。
步骤56,客户端获取服务器检测的每张目标图像中检索目标的位置信息。
可选地,客户端通过定时器定时从服务器获取目标图像的位置信息。
步骤57,客户端基于位置信息在检索目标显示界面中显示每张目标图像中的检索目标。
可选地,步骤51、56和57可单独实现为客户端侧方法实施例;步骤52-55可单独实现为服务器侧方法实施例。
可选地,客户端根据位置信息确定出检索目标在目标图像中位置;然后,客户端将该位置的图像信息抠出并显示在目标显示界面中。
可选地,在检索目标显示界面中以预定速度逐张显示目标图像中的检索目标。预定速度可以为每秒1张、两秒1张等,预定速度不会给用户带来视觉疲劳,本实施例不对预定速度的取值作限定。
第二种:客户端本地检测n张目标图像中的检索目标。此时,图像上传界面也可以包括分析类型选择控件,在本步骤之前,客户端还需要接收作用于分析类型选择控件的分析类型选择操作,得到分析类型选择操作指示的分析类型。此时,客户端根据分析类型确定对应的目标检测算法;然后,使用该目标检测算法检测目标图像中的检索目标。客户端检测检索目标的相关描述参见第一种方式中服务器检测检索目标的相关描述,本实施例在此不再一一描述。
参考图6所示的客户端显示n张目标图像中的检索目标的示意图,对于目标图像61,客户端获取到目标图像61的检索目标62后,将该检索目标62显示在检索目标显示界面63。
步骤205,对于每张目标图像,客户端在确定目标图像中的检索目标准确时将确定后的检索目标发送至服务器,以供服务器从数据库中检索出与检索目标的相似度超过相似度阈值的检索结果。
本实施例中,客户端还需要对获取到的检索目标进行确认,在确认检索目标准确后再将检索目标发送至服务器以供服务器进行检索。此时,图像上传界面还包括检索确认控件,在确定目标图像中的检索目标准确时将确定后的检索目标发送至服务器,包括:对于每张目标图像,接收对目标图像中检索目标的修改操作得到确定后的检索目标;在接收到作用于检索确认控件的确认操作后,将确定后的检索目标发送至服务器。
可选地,对目标图像中检索目标的修改操作包括但不限于:取消选中操作、选中操作、检索目标删除操作、检索目标添加操作、全选操作、取消全选操作、轮廓修改操作、路径修改操作和位置修改操作。
其中,取消选中操作是指取消对检索目标进行检索的操作,该取消选中操作可以是作用于已选中的检索目标的点击操作,当然,也可以是其他类型的操作,本实施例不对取消选中操作的类型作限定。在实际实现时,客户端使用remove函数将取消选中操作指示的检索目标的ifSel标志设置为false,且将该检索目标移出目标选中列表中,以执行取消选中操作。
选中操作是指确定对检索目标进行检索的操作,该取消选中操作可以是作用于未选中的检索目标的点击操作,当然,也可以是其他类型的操作,本实施例不对选中操作的类型作限定。在实际实现时,客户端可以将选中操作指示的检索目标的ifSel标志设置为true,然后,利用QML语言中append函数将该检索目标添加到目标选中列表中,目标选中列表以GridView的格式显示选中的检索目标。
检索目标删除操作是指删除检索目标的操作。可选地,检索目标显示界面包括删除检索目标控件,删除检索目标的操作包括作用于删除检索目标控件的操作。比如:客户端接收到作用于某个检索目标的选中操作后,接收到作用于删除检索目标控件的检索目标删除操作,则将该检索目标在检索目标显示界面中删除。在实际实现时,客户端可以使用clear()函数删除选中的检索目标。
检索目标添加操作是指添加检索目标的操作。可选地,检索目标显示界面包括检索目标添加控件,添加检索目标的操作包括作用于检索目标添加控件的操作。比如:客户端接收到作用于某个目标图像的框选操作,接收到作用于检索目标添加控件的检索目标添加操作,则将该框选操作指示的图像信息(即检索目标)添加至在检索目标显示界面中。
全选操作是指一次性选中检索目标显示界面中未选中的检索目标的操作。可选地,检索目标显示界面包括全选控件,全选操作包括作用全选控件的操作。比如:客户端接收到作用于全选控件的全选操作,则将检索目标显示界面中的所有检索目标选中。在实际实现时,客户端可以采用for循环的方式依次添加目标显示界面中的检索目标。
取消全选操作是指一次性取消选中对检索目标显示界面中已被选中的检索目标的操作。可选地,检索目标显示界面包括取消全选控件,取消全选操作包括作用取消全选控件的操作。比如:客户端接收到作用于取消全选控件的取消全选操作,则取消选中检索目标显示界面中的所有检索目标。在实际实现时,客户端可以采用for循环的方式依次移出目标显示界面中的检索目标。
轮廓修改操作是指对目标显示界面中检索目标的轮廓进行修改的操作。比如:客户端使用Canvas组件对检索目标的轮廓进行修改。
路径修改操作是指对检索目标所属目标图像的图像路径进行修改的操作。
位置修改操作是指对检索目标在目标图像中的位置进行修改的操作。
可选地,客户端接收到对目标图像中检索目标的修改操作之后,实时存储检索目标对应的修改后的目标信息。
步骤206,服务器获取客户端发送的n张目标图像的检索目标,n为大于1的整数。
其中,n张目标图像的检索目标由客户端在接收到作用于图像上传界面中图像添加控件的图像添加操作后,在图像上传界面中显示图像添加操作指示的n张目标图像;在接收到作用于目标检测控件的检测操作后,获取并显示n张目标图像中的检索目标;对于每张目标图像,在确定目标图像中的检索目标准确时发送。
步骤207,对于每张目标图像的检索目标,服务器在数据库中检索与检索目标之间的相似度超过相似度阈值的检索结果。
可选地,服务器根据检索目标的类型调用对应的分析算法,使用该分析算法获取检索目标的特征点属性信息;然后,服务器将该检索目标的特征点属性信息与数据库中已存储图像数据的特征点属性信息进行比较;将相似度与检索目标的特征点属性信息之间的相似度超过相似度阈值的已存储图像数据确定为检索结果。比如:检索目标的类型为人员,则分析算法为人员属性分析算法;检索目标的类型为人脸,则分析算法为人脸属性分析算法;检索目标的类型为车辆,则分析算法为车辆属性分析算法。分析算法可以是基于神经网络的属性分析算法,当然,也可以是其他类型的分析算法,本实施例不对分析算法的类型作限定。
可选地,相似度阈值可以是90%、80%等,本实施例不对相似度阈值的取值作限定。
可选地,数据库中已存储图像数据可以是图片中的图像数据;或者,也可以是视频中每帧图像数据,本实施例不对已存储图像数据的来源作限定。
可选地,对于每个检索目标,服务器将与该检索目标之间的相似度排名在前k位的检索结果发送至客户端。k为正整数。
步骤208,服务器将检索目标的检索结果返回至客户端,以供客户端在检索结果显示界面显示检索目标的检索结果。
步骤209,客户端在检索结果显示界面中显示检索目标的检索结果。
可选地,客户端按照与检索目标的相似度由高到低的顺序显示检索结果。
可选地,检索结果显示界面可以与图像上传界面不同;或者,也可以与图像上传界面相同。
其中,参考图7所示的检索结果显示界面70,对于已选中的检索目标71,客户端按照相似度由高到低的顺序显示检索结果72。
综上所述,本实施例提供的目标检索方法,通过显示图像上传界面,图像上传界面包括图像添加控件和目标检测控件;接收作用于图像添加控件的图像添加操作;在图像上传界面中显示图像添加操作指示的n张目标图像;在接收到作用于目标检测控件的检测操作后,获取并显示n张目标图像中的检索目标;对于每张目标图像,在确定目标图像中的检索目标准确时将确定后的检索目标发送至服务器,以供服务器从数据库中检索出与检索目标的相似度超过相似度阈值的检索结果;在检索结果显示界面中显示检索目标的检索结果;可以解决用户需要确定多张目标图像中的检索目标时,需要逐张选择目标图像,操作比较复杂的问题,由于一次图像添加操作可以添加多张目标图像,同时对该目标图像中的检索目标进行检索,而无需多次添加目标图像,因此可以提高目标检索效率。
另外,通过设置通用类型,使得服务器或者客户端可以检测目标图像中多种类型的检索目标,这样,可以同时对多种类型的检索目标进行检索;可以解决只能对一种检索目标进行检索,导致需要对同一张目标图像进行多次检测,导致目标检索效率较低的问题;可以提高目标检索效率。
另外,客户端支持手动添加、删除或修改检索目标,且可实现对检索目标的大小、位置等的修改,可以提高确定检索目标的准确性。
另外,通过将检索结果按照相似度由高到低显示,可以提高用户搜索相似度较高的检索结果的效率。
可选地,步骤201-205和209可以单独实现为客户端侧的方法实施例;步骤206-208可单独实现为服务器侧的方法实施例。
为了更清楚地理解本申请提供的目标检索方法,参考图8,本实施例以一个示例对目标检索方法进行说明,该方法至少包括以下几个步骤:
步骤81,客户端确定目标图像的分析类型。
步骤82,客户端添加n张目标图像。
可选地,步骤82可以在步骤81之后执行;或者,也可以在步骤81之前执行,本实施例不对步骤82与步骤81之间的执行顺序作限定。
步骤83,在接收到作用于目标检测控件的检测操作后,客户端确定目标图像的数量是否小于或等于预设阈值;若不是,则重新执行步骤82;若是,则执行步骤84。
步骤84,客户端将n张目标图像和分析类型上传至服务器。
步骤85,服务器接收n张目标图像和分析类型;确定分析类型对应的目标检测算法;使用该目标检测算法对n张目标图像进行检测,得到每张目标图像的检索目标。
步骤86,服务器将检索目标在对应目标图像中的位置信息发送至客户端。
步骤87,客户端获取服务器检测的每张目标图像中检索目标的位置信息;基于位置信息在检索目标显示界面中显示每张目标图像中的检索目标。
步骤88,客户端接收对检索目标的修改操作,该修改操作至少包括:取消选中操作、选中操作、检索目标删除操作、检索目标添加操作、全选操作、取消全选操作、轮廓修改操作、路径修改操作和位置修改操作。
步骤89,客户端在确定目标图像中的检索目标准确时将确定后的检索目标发送至服务器。
步骤90,服务器获取客户端发送的n张目标图像的检索目标。
步骤91,服务器根据检索目标的类型调用对应的分析算法,使用该分析算法获取检索目标的特征点属性信息;使用该分析算法获取数据库中已存储图像数据的特征点属性信息。
步骤92,服务器将检索目标的特征点属性信息与已存储图像数据的特征点属性信息进行比较;在相似度小于或等于相似度阈值时,对于下一张已存储图像再次执行本步骤;在相似度大于相似度阈值时输出检索结果。
步骤93,服务器将检索目标的检索结果返回至客户端。
步骤94,客户端在检索结果显示界面中显示检索目标的检索结果。
图9是本申请一个实施例提供的目标检索装置的框图,本实施例以该装置应用于图1所示的目标检索系统中的客户端110为例进行说明。该装置至少包括以下几个模块:第一显示模块910、操作接收模块920、第二显示模块930、目标获取模块940、目标发送模块950和第三显示模块960。
第一显示模块910,用于显示图像上传界面,所述图像上传界面包括图像添加控件和目标检测控件;
操作接收模块920,用于接收作用于所述图像添加控件的图像添加操作;
第二显示模块930,用于在所述图像上传界面中显示所述图像添加操作指示的n张目标图像,所述n为大于1的整数;
目标获取模块940,用于在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;
目标发送模块950,用于对于每张目标图像,在确定所述目标图像中的检索目标准确时将确定后的检索目标发送至所述服务器,以供所述服务器从数据库中检索出与所述检索目标的相似度超过相似度阈值的检索结果;
第三显示模块960,用于在检索结果显示界面中显示所述检索目标的检索结果。
相关细节参考上述客户端侧的方法实施例。
图10是本申请一个实施例提供的目标检索装置的框图,本实施例以该装置应用于图1所示的目标检索系统中的服务器120为例进行说明。该装置至少包括以下几个模块:目标获取模块1010、目标检索模块1020和检索反馈模块1030。
目标获取模块1010,用于获取客户端发送的n张目标图像的检索目标,所述n为大于1的整数;所述n张目标图像的检索目标由所述客户端在接收到作用于图像上传界面中图像添加控件的图像添加操作后,在所述图像上传界面中显示所述图像添加操作指示的n张目标图像;在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;对于每张目标图像,在确定所述目标图像中的检索目标准确时发送;
目标检索模块1020,用于对于每张目标图像的检索目标,在数据库中检索与所述检索目标之间的相似度超过相似度阈值的检索结果;
检索反馈模块1030,用于将所述检索目标的检索结果返回至所述客户端,以供所述客户端在检索结果显示界面显示所述检索目标的检索结果。
相关细节参考上述方法实施例。
需要说明的是:上述实施例中提供的目标检索装置在进行目标检索时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将目标检索装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标检索装置与目标检索方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图11是本申请一个实施例提供的目标检索装置的框图,该装置可以是图1所示的目标检索系统中的客户端110或者服务器120。该装置至少包括处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心,比如:4核心处理器、11核心处理器等。处理器1101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的目标检索方法。
在一些实施例中,目标检索装置还可选包括有:外围设备接口和至少一个外围设备。处理器1101、存储器1102和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地,外围设备包括但不限于:射频电路、触摸显示屏、音频电路、和电源等。
当然,目标检索装置还可以包括更少或更多的组件,本实施例对此不作限定。
可选地,本申请还提供有一种计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的目标检索方法。
可选地,本申请还提供有一种计算机产品,该计算机产品包括计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的目标检索方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种目标检索方法,其特征在于,所述方法包括:
显示图像上传界面,所述图像上传界面包括图像添加控件和目标检测控件;
接收作用于所述图像添加控件的图像添加操作;
在所述图像上传界面中显示所述图像添加操作指示的n张目标图像,所述n为大于1的整数;
在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;
对于每张目标图像,在确定所述目标图像中的检索目标准确时将确定后的检索目标发送至所述服务器,以供所述服务器从数据库中检索出与所述检索目标的相似度超过相似度阈值的检索结果;
在检索结果显示界面中显示所述检索目标的检索结果;
所述图像上传界面还包括分析类型选择控件,所述方法还包括:接收作用于所述分析类型选择控件的分析类型选择操作,得到所述分析类型选择操作指示的分析类型;
所述获取并显示所述n张目标图像中的检索目标,包括:将所述n张目标图像和所述分析类型上传至服务器,以供所述服务器确定所述分析类型对应的目标检测算法;使用所述目标检测算法检测所述n张目标图像中的检索目标,并将所述检索目标在对应目标图像中的位置信息发送至所述客户端;获取所述服务器检测的每张目标图像中检索目标的位置信息;基于所述位置信息在检索目标显示界面中显示每张目标图像中的检索目标;
或者,根据所述分析类型确定对应的目标检测算法;使用所述目标检测算法检测目标图像中的检索目标;基于所述检索目标的位置信息在检索目标显示界面中显示每张目标图像中的检索目标。
2.根据权利要求1所述的方法,其特征在于,所述图像上传界面还包括检索确认控件,所述在确定所述目标图像中的检索目标准确时将确定后的检索目标发送至所述服务器,包括:
对于每张目标图像,接收对所述目标图像中检索目标的修改操作得到所述确定后的检索目标;
在接收到作用于所述检索确认控件的确认操作后,将所述确定后的检索目标发送至所述服务器。
3.根据权利要求1所述的方法,其特征在于,所述在检索目标显示界面中显示每张目标图像中的检索目标,包括:
在检索目标显示界面中以预定速度逐张显示目标图像中的检索目标。
4.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
接收对所述目标图像的框选操作,得到所述目标图像中的检索目标。
5.一种目标检索方法,其特征在于,所述方法包括:
获取客户端发送的n张目标图像的检索目标,所述n为大于1的整数;所述n张目标图像的检索目标由所述客户端在接收到作用于图像上传界面中图像添加控件的图像添加操作后,在所述图像上传界面中显示所述图像添加操作指示的n张目标图像;在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;对于每张目标图像,在确定所述目标图像中的检索目标准确时发送;
对于每张目标图像的检索目标,在数据库中检索与所述检索目标之间的相似度超过相似度阈值的检索结果;
将所述检索目标的检索结果返回至所述客户端,以供所述客户端在检索结果显示界面显示所述检索目标的检索结果;
所述方法还包括:
接收所述客户端发送的分析类型,所述分析类型是所述客户端在接收到作用于分析类型选择控件的分析类型选择操作后得到的;
确定所述分析类型对应的至少一种目标检测算法;
使用所述目标检测算法对所述n张目标图像进行目标检测,得到每张目标图像的检索目标;
将所述检索目标在对应目标图像中的位置信息发送至所述客户端,以供所述客户端在检索目标显示界面中显示每张目标图像中的检索目标。
6.根据权利要求5所述的方法,其特征在于,所述分析类型为人员类型、车辆类型、人脸类型和通用类型中的一种。
7.一种目标检索装置,其特征在于,所述装置包括:
第一显示模块,用于显示图像上传界面,所述图像上传界面包括图像添加控件和目标检测控件;
操作接收模块,用于接收作用于所述图像添加控件的图像添加操作;
第二显示模块,用于在所述图像上传界面中显示所述图像添加操作指示的n张目标图像,所述n为大于1的整数;
目标获取模块,用于在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;
目标发送模块,用于对于每张目标图像,在确定所述目标图像中的检索目标准确时将确定后的检索目标发送至所述服务器,以供所述服务器从数据库中检索出与所述检索目标的相似度超过相似度阈值的检索结果;
第三显示模块,用于在检索结果显示界面中显示所述检索目标的检索结果;
所述图像上传界面还包括分析类型选择控件,所述装置还包括:用于接收作用于所述分析类型选择控件的分析类型选择操作,得到所述分析类型选择操作指示的分析类型的模块;
所述目标获取模块,用于:将所述n张目标图像和所述分析类型上传至服务器,以供所述服务器确定所述分析类型对应的目标检测算法;使用所述目标检测算法检测所述n张目标图像中的检索目标,并将所述检索目标在对应目标图像中的位置信息发送至所述客户端;获取所述服务器检测的每张目标图像中检索目标的位置信息;基于所述位置信息在检索目标显示界面中显示每张目标图像中的检索目标;
或者,根据所述分析类型确定对应的目标检测算法;使用所述目标检测算法检测目标图像中的检索目标;基于所述检索目标的位置信息在检索目标显示界面中显示每张目标图像中的检索目标。
8.一种目标检索装置,其特征在于,所述装置包括:
目标获取模块,用于获取客户端发送的n张目标图像的检索目标,所述n为大于1的整数;所述n张目标图像的检索目标由所述客户端在接收到作用于图像上传界面中图像添加控件的图像添加操作后,在所述图像上传界面中显示所述图像添加操作指示的n张目标图像;在接收到作用于所述目标检测控件的检测操作后,获取并显示所述n张目标图像中的检索目标;对于每张目标图像,在确定所述目标图像中的检索目标准确时发送;
目标检索模块,用于对于每张目标图像的检索目标,在数据库中检索与所述检索目标之间的相似度超过相似度阈值的检索结果;
检索反馈模块,用于将所述检索目标的检索结果返回至所述客户端,以供所述客户端在检索结果显示界面显示所述检索目标的检索结果;
所述装置还包括:
用于接收所述客户端发送的分析类型的模块,所述分析类型是所述客户端在接收到作用于分析类型选择控件的分析类型选择操作后得到的;
用于确定所述分析类型对应的至少一种目标检测算法的模块;
用于使用所述目标检测算法对所述n张目标图像进行目标检测,得到每张目标图像的检索目标的模块;
用于将所述检索目标在对应目标图像中的位置信息发送至所述客户端,以供所述客户端在检索目标显示界面中显示每张目标图像中的检索目标的模块。
9.一种目标检索系统,其特征在于,所述系统包括客户端和服务器;
所述客户端包括权利要求7所述的目标检索装置;
所述服务器包括权利要求8所述的目标检索装置。
10.一种目标检索装置,其特征在于,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现如权利要求1至4任一项所述的目标检索方法;或者,实现权利要求5或6所述的目标检索方法。
11.一种计算机可读存储介质,其特征在于,所述存储介质中存储有程序,所述程序被处理器执行时用于实现如权利要求1至4任一项所述的目标检索方法;或者,如权利要求5或6所述的目标检索方法。
CN201910409173.1A 2019-05-17 2019-05-17 目标检索方法、装置、系统及存储介质 Active CN110134807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910409173.1A CN110134807B (zh) 2019-05-17 2019-05-17 目标检索方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910409173.1A CN110134807B (zh) 2019-05-17 2019-05-17 目标检索方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110134807A CN110134807A (zh) 2019-08-16
CN110134807B true CN110134807B (zh) 2021-06-04

Family

ID=67574795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910409173.1A Active CN110134807B (zh) 2019-05-17 2019-05-17 目标检索方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110134807B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274431A (zh) * 2020-02-04 2020-06-12 浙江大华技术股份有限公司 一种图像检索处理方法及装置
CN113761244A (zh) * 2020-11-20 2021-12-07 北京京东振世信息技术有限公司 一种图像截取方法、数据匹配方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006053019A2 (en) * 2004-11-08 2006-05-18 Sharpcast, Inc. Method and apparatus for a file sharing and synchronization system
CN102768683B (zh) * 2012-06-29 2015-11-25 北京奇虎科技有限公司 一种图片信息的搜索方法及搜索装置
CN103744993A (zh) * 2014-01-22 2014-04-23 苏州科达科技股份有限公司 一种录像文件的存储与检索方法及其存储与检索装置
CN104133899B (zh) * 2014-08-01 2017-10-13 百度在线网络技术(北京)有限公司 图片搜索库的生成方法和装置、图片搜索方法和装置
US20170053023A1 (en) * 2015-08-17 2017-02-23 Critical Informatics, Inc. System to organize search and display unstructured data
CN106454277B (zh) * 2016-11-30 2019-09-27 杭州联络互动信息科技股份有限公司 一种用于视频监控的图像分析方法以及装置
CN108664364B (zh) * 2017-03-31 2023-05-09 腾讯科技(深圳)有限公司 一种终端测试方法及装置
CN108182714B (zh) * 2018-01-02 2023-09-15 腾讯科技(深圳)有限公司 图像处理方法及装置、存储介质
CN109034115B (zh) * 2018-08-22 2021-10-22 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN110134807A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
AU2017204338B2 (en) Industry first method that uses users search query to show highly relevant poster frames for stock videos thereby resulting in great experience and more sales among users of stock video service
US20190188222A1 (en) Thumbnail-Based Image Sharing Method and Terminal
CN110458107B (zh) 用于图像识别的方法和装置
CN104321802B (zh) 图像分析装置、图像分析系统、图像分析方法
US9972113B2 (en) Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images
US8396246B2 (en) Tagging images with labels
CN105302428B (zh) 基于社交网络的动态信息展示方法和装置
JP2018536929A (ja) 顔認識アプリケーションにおけるフォールスポジティブの最小化のための方法および装置
US20140293069A1 (en) Real-time image classification and automated image content curation
US10276213B2 (en) Automatic and intelligent video sorting
US10496696B2 (en) Search method and apparatus
US20150169944A1 (en) Image evaluation apparatus, image evaluation method, and non-transitory computer readable medium
US20210406615A1 (en) Learning device, classification device, learning method, classification method, learning program, and classification program
CN110134807B (zh) 目标检索方法、装置、系统及存储介质
CN108229289B (zh) 目标检索方法、装置和电子设备
WO2021196551A1 (zh) 图像检索方法、装置、计算机设备和存储介质
KR101768914B1 (ko) 지오 태깅 방법, 지오 태깅 장치 및 이를 수행하는 프로그램을 기록하는 기록매체
CN112052833B (zh) 对象密度监控系统、方法、视频解析服务器及存储介质
JP6341843B2 (ja) 画像検索装置、及び画像検索システム
US20190050413A1 (en) Method and apparatus for providing search recommendation information
CN112394809A (zh) 一种实现增强现实的方法、装置及通信设备
CN114064516B (zh) 一种数据处理方法、装置、计算机设备及存储介质
Urmanov et al. The assessment of the visibility and the status of volcanoes using sequences of video observation images
CN117349467B (zh) 遥感影像地图的多尺度动态服务方法、装置及存储介质
Huang et al. Helmet-wearing detection with intelligent learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant