CN110134810A - 检索图像的方法及装置 - Google Patents
检索图像的方法及装置 Download PDFInfo
- Publication number
- CN110134810A CN110134810A CN201910397237.0A CN201910397237A CN110134810A CN 110134810 A CN110134810 A CN 110134810A CN 201910397237 A CN201910397237 A CN 201910397237A CN 110134810 A CN110134810 A CN 110134810A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- humanized
- database
- reference line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims description 81
- 238000000605 extraction Methods 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 11
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000011161 development Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000013441 quality evaluation Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000011521 glass Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 240000001114 Aniseia martinicensis Species 0.000 description 1
- 241000220645 Leonotis nepetifolia Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种检索图像的方法及装置。该方法包括:获取参考行人属性;使用所述参考行人属性检索数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。还公开了相应的装置。本申请通过使用参考行人属性对数据库中的数据进行检索,确定数据库中具有与参考行人属性匹配的特征数据的图像,以获得目标图像。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种检索图像的方法及装置。
背景技术
目前,为了增强工作、生活或者社会环境中的安全性,会在各个区域场所内安装摄像监控设备,以便根据视频流信息进行安全防护。随着公共场所内摄像头数量的快速增长,如何有效的通过海量视频流确定包含目标人物的图像,并根据该图像的信息确定目标人物的行踪等信息具有重要意义。
通过对摄像头采集的视频流进行人脸识别,可从视频流中确定包含目标人物的图像,但通过监控系统的摄像头采集的视频流无法满足进行人脸识别所需的标准,因此,该种方式的识别准确率低。
发明内容
本申请提供一种检索图像方法及装置,以检索图像。
第一方面,提供了一种检索图像的方法,所述方法包括:获取参考行人属性;使用所述参考行人属性检索数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在一种可能实现的方式中,所述获取参考行人属性之前,还包括:获取待处理视频流;对所述待处理视频流进行结构化处理,获得所述数据库。
在该种可能实现的方式中,对获取到的待处理视频流进行结构化处理,可将待处理视频流中的属性提取出来,获得数据库。
在另一种可能实现的方式中,所述对所述待处理视频流进行结构化处理,获得所述数据库,包括:对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据;根据所述第一特征数据中的特征,获得待处理图像中的人物对象的属性;将所述人物对象的属性作为所述待处理图像的特征数据,获得所述数据库;所述数据库包括所述待处理图像和所述待处理图像的特征数据。
在该种可能实现的方式中,通过对待处理视频流中的待处理图像进行特征提取处理,获得待处理图像中的人物对象的属性,并将该属性作为待处理图像的特征数据,获得数据库。以便通过属性检索数据库中图像。
在又一种可能实现的方式中,所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据之前,还包括:对所述视频流中的待处理图像进行特征提取处理,获得第二特征数据;在根据所述第二特征数据中的特征确定所述待处理图像中包含人物对象的情况下,执行所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据的步骤。
在该种可能实现的方式中,通过对待处理图像进行特征提取处理,以确定待处理图像中是否包含人物对象,并在待处理图像中包含人物对象的情况下,才对待处理图像进行下一步特征提取处理,以减小建立数据库中的数据处理量,提高建立数据库的速度。
在又一种可能实现的方式中,所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据,包括:根据所述第二特征数据中的特征,获得所述人物对象在所述待处理图像中的位置;所述位置为包含所述人物对象的矩形框的任意一对对角在所述待处理图像中的位置;截取所述待处理图像中由所述位置确定的矩形区域,获得人物对象图像;对所述人物对象图像进行特征提取处理,获得所述第一特征数据。
在该种可能实现的方式中,通过对提取获得的特征数据确定人物对象在待处理图像中的位置,并根据该位置获得人物对象图像,再对人物对象图像进行特征提取处理,获得人物对象的属性,可进一步减小建立数据库中的数据处理量,提高建立数据库的速度。
在又一种可能实现的方式中,所述方法还包括:获取所述待处理图像的采集时间和采集位置;所述待处理图像的特征数据还包括:所述采集时间和所述采集位置。
在该种可能实现的方式中,待处理图像的特征数据还包括待处理图像的采集时间和待处理图像的采集位置,这样,可在获得目标图像的同时,根据目标图像的采集位置和采集时间获得目标图像中的人物对象的行踪。
在又一种可能实现的方式中,所述获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像之后,还包括:向终端发送具有与所述参考行人属性匹配的特征数据的人物对象图像;在接收到所述终端发送的针对所述人物对象图像的详情展示请求的情况下,向所述终端发送具有与所述参考行人属性匹配的特征数据的待处理图像。
在该种可能实现的方式中,首先将具有与参考行人属性匹配的特征数据的人物对象图像发送至终端,供用户确认人物对象图像中包含的人物对象是否为目标人物。进一步的,还可向终端发送待处理图像,供用户进一步确认人物对象图像中包含的人物对象是否为目标人物,可提高用户确定目标人物的效率。
在又一种可能实现的方式中,所述方法还包括:在接收到所述终端发送的行踪展示请求的情况下,向所述终端发送指令;所述指令用于指示所述终端在地图中显示所述待处理图像的采集位置和采集时间。
在该种可能实现的方式中,可根据待处理图像的采集位置和采集时间,在地图中显示人物对象的行踪。
在又一种可能实现的方式中,所述使用所述参考行人属性检索数据库之前,还包括:获取目标时间范围和/或目标地理位置范围;所述使用所述参考行人属性检索数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像,包括:将所述数据库中采集时间在所述目标时间范围内和/或采集位置在所述目标地理位置范围内的图像作为待检索图像;获得所述待检索图像中具有与所述参考行人属性匹配的特征数据的图像,作为所述目标图像。
在该种可能实现的方式中,可根据获取到的目标时间范围和/或目标地理位置范围缩小对数据库进行检索的范围,实现精确检索,提高检索效率。
在又一种可能实现的方式中,所述在根据所述第二特征数据中的特征确定所述待处理图像中包含人物对象的情况下之后,还包括:根据预先设定的图像质量评价指标,获得所述待处理图像的质量分数;所述图像质量评价指标包括以下至少一个:人物对象区域是否包含头部区域、上身区域、下身区域和鞋子区域;人物对象区域的清晰度;人物对象区域的遮挡情况;所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据,包括:对质量分数达到阈值的待处理图像进行特征提取处理,获得所述第一特征数据。
在该种可能实现的方式中,根据图像质量评价指标对待处理图像的质量进行评价,并对质量分数达到阈值的待处理图像进行特征提取处理,获得特征数据可提高数据库中的特征数据的准确度,进而提高检索图像的准确度。
在又一种可能实现的方式中,所述获取参考行人属性之后,还包括:在所述数据库中不存在与所述参考行人属性匹配的数据的情况下,将所述参考行人属性储存;获取新的待处理视频流;对所述新的待处理视频流进行结构化处理,获得新的数据库;所述新的数据库包含新的具有特征数据的图像;使用所述参考行人属性检索所述新的数据库,获得所述新的数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在该种可能实现的方式中,使用参考行人属性对由新的待处理视频流获得的新的数据库进行检索,可从新的待处理视频流中确定目标图像。
在又一种可能实现的方式中,所述参考行人属性包括以下至少一种:上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西。
在该种可能实现的方式中,可使用上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、发型、发色中的至少一种特征对数据库进行检索,获得目标图像。
在又一种可能实现的方式中,所述检索图像的方法还包括:在所述参考行人属性包括至少两种特征的情况下,按预先设定的特征的优先级确定检索顺序;按所述检索顺序依次使用所述参考行人属性中的特征检索所述数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在该种可能实现的方式中,通过特征的优先级,确定特征的检索顺序,可提高检索速度,提升检索效率。
在又一种可能实现的方式中,所述待处理视频流由摄像头采集;所述摄像头包括以下至少一种参数:人脸可识别偏转角范围为-90°至-45°或+45°至+90°、人脸可识别俯仰角范围为-90°至-30°或+30°至+90°、采集的人脸图像中的两眼瞳间距小于18像素点。
在该种可能实现的方式中,可通过满足上述条件(即参数)的摄像头采集的视频流建立数据库,进而使用参考行人属性对该数据库进行检索,获得目标图像。
第二方面,提供了一种检索图像的装置,所述装置包括:第一获取单元,用于获取参考行人属性;检索单元,用于使用所述参考行人属性检索数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在一种可能实现的方式中,所述检索图像的装置还包括:第二获取单元,用于获取待处理视频流;处理单元,用于对所述待处理视频流进行结构化处理,获得所述数据库。
在另一种可能实现的方式中,所述处理单元具体用于:对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据;以及根据所述第一特征数据中的特征,获得待处理图像中的人物对象的属性;以及将所述人物对象的属性作为所述待处理图像的特征数据,获得所述数据库;所述数据库包括所述待处理图像和所述待处理图像的特征数据。
在又一种可能实现的方式中,所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据之前,所述处理单元具体还用于:对所述视频流中的待处理图像进行特征提取处理,获得第二特征数据;在根据所述第二特征数据中的特征确定所述待处理图像中包含人物对象的情况下,执行所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据的步骤。
在又一种可能实现的方式中,所述处理单元具体还用于:根据所述第二特征数据中的特征,获得所述人物对象在所述待处理图像中的位置;所述位置为包含所述人物对象的矩形框的任意一对对角在所述待处理图像中的位置;以及截取所述待处理图像中由所述位置确定的矩形区域,获得人物对象图像;以及对所述人物对象图像进行特征提取处理,获得所述第一特征数据。
在又一种可能实现的方式中,所述第一获取单元还用于获取所述待处理图像的采集时间和采集位置;所述待处理图像的特征数据还包括:所述采集时间和所述采集位置。
在又一种可能实现的方式中,所述检索图像的装置还包括:发送单元,用于在所述获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像之后,向终端发送具有与所述参考行人属性匹配的特征数据的人物对象图像;所述发送单元,还用于在接收到所述终端发送的针对所述人物对象图像的详情展示请求的情况下,向所述终端发送具有与所述参考行人属性匹配的特征数据的待处理图像。
在又一种可能实现的方式中,所述检索图像的装置还包括:所述发送单元,还用于在接收到所述终端发送的行踪展示请求的情况下,向所述终端发送指令;所述指令用于指示所述终端在地图中显示所述待处理图像的采集位置和采集时间。
在又一种可能实现的方式中,所述第一获取单元,还用于在所述使用所述参考行人属性检索数据库之前,获取目标时间范围和/或目标地理位置范围;所述处理单元具体还用于:将所述数据库中采集时间在所述目标时间范围内和/或采集位置在所述目标地理位置范围内的图像作为待检索图像;以及获得所述待检索图像中具有与所述参考行人属性匹配的特征数据的图像,作为所述目标图像。
在又一种可能实现的方式中,所述处理单元具体还用于:在所述在根据所述特征图像中的特征,得到所述待处理图像中包含人物对象的情况下之后,根据预先设定的图像质量评价指标,获得所述待处理图像的质量分数;所述图像质量评价指标包括以下至少一个:人物对象区域是否包含头部区域、上身区域、下身区域和鞋子区域;人物对象区域的清晰度;人物对象区域的遮挡情况;以及所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据,包括:以及对质量分数达到阈值的待处理图像进行特征提取处理,获得所述第一特征数据。
在又一种可能实现的方式中,所述检索图像的装置还包括:储存单元,用于在所述获得参考行人属性之后,在所述数据库中不存在与所述参考行人属性匹配的数据的情况下,将所述参考行人属性储存;所述第一获取单元,还用于获取新的待处理视频流;所述处理单元,还用于对所述新的待处理视频流进行结构化处理,获得新的数据;所述新的数据包含新的具有特征数据的图像;所述检索单元,还用于使用所述参考行人属性检索所述新的数据,获得所述新的数据中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在又一种可能实现的方式中,所述参考行人属性包括以下至少一种:上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西。
在又一种可能实现的方式中,所述检索图像的装置还包括:确定单元,用于在所述参考行人属性包括至少两种特征的情况下,按预先设定的特征的优先级确定检索顺序;所述检索单元,还用于按所述检索顺序依次使用所述参考行人属性中的特征检索所述数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在又一种可能实现的方式中,所述待处理视频流由摄像头采集;所述摄像头包括以下至少一种参数:人脸可识别偏转角范围为-90°至-45°或+45°至+90°、人脸可识别俯仰角范围为-90°至-30°或+30°至+90°、采集的人脸图像中的两眼瞳间距小于18像素点。
第三方面,提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被电子设备的处理器执行时,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1为本申请实施例提供的一种检索图像的方法的流程示意图;
图2为本申请实施例提供的一种建立数据库的方法的流程示意图;
图3为本申请实施例提供的一种待处理图像中的位置的示意图;
图4为本申请实施例提供的另一种检索图像的方法的流程示意图;
图5为本申请实施例提供的一种人物对象图像与待处理图像的示意图;
图6为本申请实施例提供的另一种检索图像的方法的流程示意图;
图7为本申请实施例提供的一种检索图像的装置的结构示意图;
图8为本申请实施例提供的一种检索图像的装置的硬件结构示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为提高社会治安管控能力,维护良好社会治安环境,越来越多的地方布置了监控摄像头,相关人员在需要找寻目标人物时,可根据该目标人物的穿着、装饰等特征从布置在不同位置的摄像头采集的视频流中确定该目标人物的行踪。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例(一)提供的一种检索图像的方法的流程示意图。
101、获取参考行人属性。
本申请实施例中,参考行人属性可包括参考服饰属性(包括所有装饰人体的物品中的至少一种)和/或部分参考外貌特征(包括:体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西)。在一种可能实现的方式中,参考行人属性包括以下至少一种:上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、口罩颜色、体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西。
参考行人属性可以是目标人物的属性。例如,A地方发生抢劫案,参考行人属性可以是据案发当时的目击证人提供的嫌疑人(即目标人物)的属性(如:身穿白色上衣、黑色裤子,且戴眼镜的短发女人)。
本申请实施例中,获取参考行人属性的方式可以是接收用户通过输入组件输入的参考行人属性,其中,输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。也可以是接收终端发送的参考行人属性,其中,终端包括手机、计算机、平板电脑、服务器等。
在一种可能实现的方式中,终端与服务器之间通信连接,终端接收用户输入的参考行人属性,并将该参考行人属性发送至服务器,以使服务器获取参考行人属性。
可选的,在该种可能实现的方式中,用户在通过终端输入参考行人属性之前,终端可向用户显示待选择的行人属性,并将用户选择的行人属性作为参考行人属性,发送至服务器。
举例来说,终端向用户显示的上衣颜色或裤子颜色或鞋子颜色或发色的待选择项包括:黑色、白色、红色、橙色、黄色、绿色、蓝色、紫色、棕色;裤子长度的待选项包括:长裤、短裤、裙子;帽子款式的待选项包括:无帽子、棒球帽、鸭舌帽、平沿帽、渔夫帽、贝雷帽、礼帽;打不打伞的待选项包括:打伞、未打伞;箱包类别包括:无箱包、单肩包、双肩包、拉杆箱、手拎箱、腰包;发型的待选项包括:披肩长发、短发、光头、秃头。终端将用户从上述待选项中选择的一项或多项特征作为参考行人属性发送至服务器。
102、使用所述参考行人属性检索数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
本申请实施例中,数据库可以是在获取参考行人属性之前建立的,数据库包括图像和图像的特征数据,其中,图像的特征数据指图像中的人物对象的属性,人物对象属性包括服饰属性和/或部分外貌特征(包括:体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西),服饰属性包括所有装饰人体的物品中的至少一种。在一种可能实现的方式中,人物对象的属性包括以下至少一种:上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、口罩颜色、体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西。
由于数据库中的每张图像均具有特征数据,因此,使用获取到的参考行人属性检索数据库,即从数据库中确定与参考行人属性匹配的特征数据,进而确定目标图像。需要理解的是,目标图像的数量可能是一张,也可能是多张。
举例来说,参考行人属性为:上衣颜色为白色、裤子颜色为黑色、裤子长度为长裤,发型为短发、发色为黑色。使用参考行人属性检索数据库,即从数据库中确定特征数据包括上衣颜色为白色、裤子颜色为黑色、裤子长度为长裤、发型为短发、发色为黑色的图像,获得目标图像。
可选的,由于每个摄像头的位置(即经度和纬度)是确定的,且摄像头采集的图像的时间也是确定的,因此,数据库中的图像的特征数据还可包括:采集位置和采集时间,其中,采集位置为采集该图像的摄像头的经度和纬度,采集时间为摄像头采集该图像时的时间。
这样,在获得目标图像后,还可根据特征数据中的采集位置和采集时间,确定目标人物的行踪,即在何时出现在何地。
本申请实施例通过使用参考行人属性对数据库中的数据进行检索,确定数据库中具有与参考行人属性匹配的特征数据的图像,以获得目标图像。应用本实施例可通过参考行人属性确定目标图像,并根据目标图像的采集时间和采集位置,确定目标人物(即目标图像中的人物对象)的行踪。
请参阅图2,图2是本申请实施例(二)提供的一种建立数据库的方法的流程示意图。
201、获取待处理视频流。
本申请实施例中,服务器与多个摄像头相连,多个摄像头中的每个摄像头的安装位置不同,且服务器可从每个摄像头获取实时采集的视频流,即待处理视频流。
需要理解的是,与服务器连接的摄像头的数量并不是固定的,将摄像头的网络地址输入至服务器,即可通过服务器从摄像头获取采集的视频流。
举例来说,B地方的管制人员想要利用本申请提供的技术方案(即通过服务器)建立B地方的数据库,则只需将B地方的摄像头的网络地址输入至服务器,即可通过服务器获取B地方的摄像头采集的视频流,并可对B地方的摄像头采集的视频流进行后续处理,建立B地方的数据库。
待处理视频流包含连续多帧待处理图像,服务器在对待处理视频流进行后续处理之前,可对待处理视频流进行解码处理,获得一帧一帧图像。
202、对所述待处理视频流进行结构化处理,获得所述数据库。
本申请实施例中,通过对待处理视频流进行结构化处理,可提取出待处理视频流中的人物对象的属性,包括以下步骤:
对所述视频流中的待处理图像进行特征提取处理,获得第二特征数据;
在根据第二特征数据中的特征确定待处理图像中包含人物对象的情况下,对待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据;
根据第一特征数据中的特征,获得待处理图像中的人物对象的属性;
将人物对象的属性作为待处理图像的特征数据,获得数据库,其中,数据库包括待处理图像和待处理图像的特征数据。
上述待处理图像即为201中获得的一帧一帧图像,即本实施例对待处理视频流中的每一帧图像均进行特征提取处理,获得第二特征数据。其中,该特征提取处理可通过预先训练好的神经网络实现,也可通过特征提取模型实现,本申请对此不作限定。第二特征数据用于识别待处理图像中是否包含人物对象。
上述待处理图像为数字图像,通过对待处理图像进行特征提取处理得到的第一特征数据和第二特征数据可以理解为待处理图像的更深层次的语义信息。在一些可能的实现方式中,通过多层任意堆叠的卷积层对待处理图像逐层进行卷积处理完成对待处理图像的特征提取处理,其中,每个卷积层提取出的特征内容及语义信息均不一样,具体表现为,特征提取处理一步步地将图像的特征抽象出来,同时也将逐步去除相对次要的特征数据,因此,越到后面提取出的特征数据越小,内容及语义信息就越浓缩。通过多层卷积层逐级对待处理图像进行卷积处理,并提取相应的第一特征数据,这样,可在获得待处理图像主要内容信息(即待处理图像的第一特征数据)的同时,将图像尺寸缩小,减小系统的计算量,提高运算速度。在一种可能实现的方式中,卷积处理的实现过程如下:卷积层对待处理图像做卷积处理,即利用卷积核在待处理图像上滑动,并将待处理图像上的像素与对应的卷积核上的数值相乘,然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素值,最终滑动处理完待处理图像中所有的像素,并提取出第一特征数据。同理,通过多层任意堆叠的卷积层对待处理图像进行卷积处理可获得第二特征数据。需要理解的是,获得第一特征数据的卷积层和获得第二特征数据的卷积层不同。
由于数据库是用于检索包含人物对象的图像,因此,在进行后续处理前,需确定待处理视频流中的每一帧图像中是否包含人物对象。在一种可能实现的方式中,通过预先训练好的神经网络对待处理图像进行特征提取处理,获得第二特征数据,该预先训练好的神经网络根据第二特征数据中的特征识别待处理图像中是否包含人物对象。
在确定待处理图像中包含人物对象的情况下,对待处理图像进行特征提取处理,获得第一特征数据。其中,该特征提取处理可通过预先训练好的神经网络实现,也可通过特征提取模型或特征提取算法实现,本申请对此不作限定。第一特征数据用于提取待处理图像中的人物对象的属性。
需要理解的是,获得第一特征数据的特征提取处理和获得第二特征数据的特征提取处理可通过不同的神经网络或不同的特征提取算法实现。对于待处理视频流中不包含人物对象的待处理图像,将不再进行特征提取处理,获得第一特征数据,且不储存不包含人物对象的待处理图像。这样,可大大减少数据处理量,同时减少数据存储空间。
在一种可能实现的方式中,通过提取出第一特征数据的神经网络对第一特征数据中的特征进行识别,可获得待处理图像中的人物对象的属性。
由于一张待处理图像中可能包含多个人物对象,为方便用户(此处指输入参考行人属性的用户)查看人物对象,以确认是否是目标人物。可选的,对待处理图像进行特征提取处理,获得第一特征数据可包括以下步骤:
根据第二特征数据中的特征,获得人物对象在待处理图像中的位置,其中,该位置为包含人物对象的矩形框的任意一对对角在待处理图像中的位置;
截取待处理图像中由位置确定的矩形区域,获得人物对象图像;
对人物对象图像进行特征提取处理,获得第一特征数据。
需要理解的是,上述根据第二特征数据中的特征,获得所述人物对象在待处理图像中的位置在根据第二特征数据中的特征确定待处理图像中包含人物对象之后执行,即根据包含人物对象的待处理图像的第二特征数据中的特征,获得该人物对象在该待处理图像中的位置。
其中,该位置可参见图3,如图3所示,待处理图像C内包含人物对象D,且待处理图像内的坐标系为xoy,包含人物对象D的矩形框为a(x1,y1)b(x2,y2)c(x3,y3)d(x4,y4),则人物对象D在待处理图像C中的位置为a(x1,y1)和c(x3,y3),或b(x2,y2)和d(x4,y4)。需要理解的是,图3中的矩形框abcd是为了方便理解而画的,在获得人物对象D在待处理图像C中的位置的过程中,待处理图像C内不存在矩形框abcd,而是直接给出点a和点c的坐标,或点b和点d的坐标。
上述根据第二特征数据中的特征获得人物对象在待处理图像中的位置的过程,可由获得第二特征数据的神经网络或特征提取模型实现。
根据人物对象在待处理图像中的位置,即可在待处理图像中确定相应的矩形区域,以图3为例,即矩形框abcd所包含的区域。并从待处理图像中截取该矩形区域,获得人物对象图像。
需要理解的是,每个人物对象图像均只包含一个人物对象,对于同时包含多个人物对象的待处理图像,将获得多个人物对象图像。此外,在从待处理图像中截取由位置确定的矩形区域,获得人物对象图像后,待处理图像中并不会缺失该矩形区域。
再通过神经网络或特征提取模型对人物对象图像进行特征提取处理,获得第一特征数据。后续可根据第一特征数据中的特征,获得该人物对象图像中人物对象的属性,将人物对象的属性作为待处理图像的特征数据,并将该待处理图像和特征数据进行储存,获得数据库。
举例来说(例1),待处理图像E中包含人物对象F,包含F的人物对象图像为G,F的属性包括:上衣颜色为白色,裤子颜色为白色,裤子长度为短裤,帽子款式为不戴帽子,鞋子颜色为白色,发型为短发,发色为黑色。则E的特征数据为上衣颜色为白色,裤子颜色为白色,裤子长度为短裤,帽子款式为不戴帽子,鞋子颜色为白色,发型为短发,发色为黑色。此外,由于G基于E获得,G的特征数据同样为F的属性。最后将人物对象F的属性、待处理图像E、人物对象图像G储存至数据库。
需要理解的是,特征数据、待处理图像、人物对象图像三者之间是相互关联,即通过特征数据可确定待处理图像、或通过特征数据可确定人物对象图像、或通过人物对象图像确定关联的待处理图像。
接着例1继续举例,待处理图像E中还包含人物对象H,包含H的人物对象图像为I,H的属性包括:上衣颜色为白色,裤子颜色为黑色,裤子长度为长裤,帽子款式为平沿帽,鞋子颜色为黑色,发型为短发,发色为黑色。若与参考行人属性匹配的特征数据为F的属性,则确定的目标图像为人物对象图像G和待处理图像E;若与参考行人属性匹配的特征数据为H的属性,则确定的目标图像为人物对象图像I和待处理图像E。
由于每个摄像头的位置是确定的,即服务器内储存有摄像头的经度信息和纬度信息,进而待处理图像的采集位置是确定的,且摄像头采集的视频流的时间也是确定的,即视频流中的待处理图像的采集时间是确定的。可选的,还可将待处理图像的采集位置和采集时间作为特征数据,即将人物对象的属性、待处理图像的采集时间和采集位置作为待处理图像的特征数据。由于人物对象图像基于待处理图像获得,人物对象图像的采集时间即为待处理图像的采集时间,人物对象图像的采集位置即为待处理图像的采集位置。
本实施例通过对获取到的待处理视频流中的待处理图像进行特征提取处理,可将待处理图像中的人物对象的属性作为待处理图像和人物对象图像的特征数据,并建立数据库。这样,在不储存所有获取到的待处理视频流的情况下,可通过将特征数据、包含人物对象图像的待处理图像、人物对象图像储存至数据库,使数据库中包含待处理视频流中人物对象的全部属性,进而减小数据库中的数据量。
若参考行人属性由终端发送至服务器,服务器在获得目标图像后,还可将该目标图像发送至该终端,终端可显示该目标图像,以供用户确认目标图像中的人物对象是否是目标人物。
请参阅图4,图4是本申请实施例(三)提供的另一种检索图像的方法的流程示意图。
401、向终端发送具有与所述参考行人属性匹配的特征数据的人物对象图像。
本实施例中,终端即为发送参考行人属性的终端。
如202所述,数据库中包含人物对象图像和待处理图像,且特征数据、人物对象图像、待处理图像之间相互关联。因此,在数据库中检索获得与参考行人属性匹配的特征数据后,将具有该特征数据的人物对象图像发送至终端。终端可显示服务器发送的人物对象图像,以供用户确认人物对象图像中的人物对象是否是目标人物。
402、在接收到所述终端发送的针对所述人物对象图像的详情展示请求的情况下,向所述终端发送具有与所述参考行人属性匹配的特征数据的待处理图像。
401中获得的人物对象图像可能有多张,在显示人物对象图像时,可以列表的形式显示所有人物对象的缩略图,用户在确定人物对象图像中的人物对象有很大概率为目标人物的情况下,可向服务器发送针对该人物对象图像的详情展示请求,以获取该人物对象图像的详细信息。
可选的,用户可通过点击该人物对象图像向服务器发送针对该人物对象图像的详情展示请求。
服务器在接收到终端发送的针对所述人物对象图像的详情展示请求的情况下,可将与该人物对象图像关联的待处理图像发送至终端,终端可显示服务器发送的待处理图像,以供用户获知该人物对象图像的详情,并进一步确认该人物对象图像中的人物对象是否是目标人物。
可选的,若待处理图像中包含多个人物对象,由于每张人物对象图像均包含人物对象在待处理图像中的位置,因此,针对人物对象图像的详情展示请求向用户显示待处理图像时,可根据人物对象在待处理图像中的位置将待处理图像中的人物对象用矩形框框出,以便用户从待处理图像中的多个人物对象中确定人物对象图像中的人物对象。
举例来说,如图5所示,人物对象图像a中包含人物对象c,在接收到终端发送的针对a的详情展示请求后,将待处理图像b发送至终端,其中,b内有包含c的矩形框。
由于人物对象图像所包含的数据量比待处理图像所包含的数据量小,在401和402提供的实现方式中,通过先向终端发送人物对象图像,在接收到终端发送的详情展示请求后,再向终端发送待处理图像,可减小终端显示图像所需处理的数据量。且在图像中的人物对象大小相同的情况下,终端显示人物对象图像的数量比显示待处理图像的数量多,这样,可提高用户确定目标人物的效率。
403、在接收到所述终端发送的行踪展示请求的情况下,向所述终端发送指令;所述指令用于指示所述终端在地图中显示所述待处理图像的采集位置和采集时间。
本实施例中,行踪展示指在地图中显示目标图像中的人物对象出现的地点和出现的时间。
用户在确认目标图像中的人物对象为目标对象的情况下,可通过终端向服务器发送行踪展示请求。
可选的,用户可在终端显示人物对象图像后,通过终端向服务器发送行踪展示请求,即用户确认人物对象图像中的人物对象即为目标人物,可直接通过终端向服务器发送行踪展示请求,而不需要再通过终端向服务器发送详情展示请求。用户也可在终端显示待处理图像后,通过终端向服务器发送行踪展示请求,即用户无法通过人物对象图像确认人物对象图像中的人物对象是否是目标对象,需要通过待处图像进一步确认该人物对象是否是目标对象,而用户通过待处理图像确认该人物对象即为目标对象的情况下,可通过终端向服务器发送行踪展示请求。其中,用户通过终端向服务器发送行踪展示请求的方式可以是点击终端的显示页面内的预设按钮。
服务器在接收到终端发送的行踪展示请求的情况下,向终端发送指令,其中,该指令用于指示终端在地图中显示具有与参考行人属性匹配的特征数据的待处理图像的采集位置和采集时间。这样,用户可更直观的获取目标图像中的人物对象的行踪,即何时出现在何地。
在本实施例中,服务器首先将具有与参考行人属性匹配的特征数据的人物对象图像发送至终端,供用户确认人物对象图像中包含的人物对象是否为目标人物。进一步的,还可向终端发送待处理图像,供用户进一步确认人物对象图像中包含的人物对象是否为目标人物。通过该种方式可减小终端显示图像所需处理的数据量,且可提高用户确定目标人物的效率。
请参阅图6,图6是本申请实施例(四)提供的实施例(一)中步骤102的一种可能的实现方式的流程示意图。
601、在参考行人属性包括至少两种特征的情况下,按预先设定的特征的优先级确定检索顺序。
如上所述,参考行人属性包括以下至少一种:上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、口罩颜色、体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西。显然,上述不同特征的显著性之间存在差异,例如:戴帽子的人在人群中的占比小,若参考行人属性中包括帽子款式,使用帽子款式对数据库进行检索,能快速缩小检索范围,提升检索速度。反之,若参考行人属性中包括裤子长度,无论该裤子长度是长裤,还是短裤,抑或是裙子,具有该特征(裤子长度)的人在人群的占比均大,使用裤子长度对数据库进行检索,检索速度较慢。
因此,在使用参考行人属性检索数据库之前,可为属性中的特征设定优先级,并按特征的优先级确定检索顺序。
举例来说(例2),属性中的特征的优先级可参见下表1,若参考行人属性中包含表1中的7个特征,则检索顺序为先使用帽子款式检索数据库,再使用发色检索数据库,…,最后使用裤子长度检索数据库。
优先级(从高到底) | 特征 |
1 | 帽子款式 |
2 | 发色 |
3 | 发型 |
4 | 鞋子颜色 |
5 | 裤子颜色 |
6 | 上衣颜色 |
7 | 裤子长度 |
表1
需要理解的是,表1中所记载的优先级仅用于举例,并不对本申请构成限定。
602、按所述检索顺序依次使用所述参考行人属性中的特征检索所述数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在通过特征的优先级确定检索顺序后,可按检索顺序依次使用参考行人属性中的特征检索数据库,获得上述目标图像。
接着例2继续举例,参考行人属性包含的特征为:帽子款式为平沿帽,发色为黄色,发型为披肩长发,鞋子颜色为白色,裤子颜色为蓝色,上衣颜色为红色,裤子长度为长裤,首先使用帽子款式为平沿帽这个特征检索数据库,获得数据库中具有包含帽子款式为平沿帽的特征数据的图像,作为第一待检索图像;然后使用发色为黄色这个特征对第一待检索图像进行检索,获得第一待检索图像中具有包含发色为黄色的特征数据的图像,作为第二待检索图像;…;最后使用发色为黄色这个特征对第六待检索图像(即使用上衣颜色为红色这个特征检索后得到的图像集)进行检索,获得第六待检索图像中具有包含裤子长度为长裤的特征数据的图像,作为目标图像。
可选的,还可根据特征的具体内容设置优先级,例如:在中国内地,发色为黑色的人在人群中的比例大,而发色为蓝色的人在人群中的比例小,因此,可为发色为蓝色的特征设置高的优先级,为发色为黑色的特征设置低的优先级,同样可提升检索速度。
可选的,还可根据获取待处理视频流的摄像头所在的位置设置优先级。举例来说,获取待处理视频流的摄像头所在的位置可理解为通过获取待处理视频流的摄像头进行监控的区域。显然,不同区域(此处指地理区域)的人的特征是不一样的,例如:中国内地区域的人中发色为黑色的人多,而北欧地区的人中发色为金色的人多。因此,可根据获取待处理视频流的摄像头进行监控的区域设置特征的优先级。
可选的,在使用参考行人属性检索数据库之前,还获取到目标时间范围和/或目标地理位置范围。这样,在使用参考行人属性检索数据库时,将数据库中采集时间在目标时间范围内和/或采集位置在目标地理位置范围内的图像作为待检索图像,再获得待检索图像中具有与参考行人属性匹配的特征数据的图像,作为目标图像。
应用本实施例可为特征设置优先级,根据特征的优先级确定检索顺序可提高检索速度,提升检索效率。
如上所述,通过对待处理图像进行特征提取处理,可获得待处理图像和人物对象图像的特征数据。显然,从待处理图像中提取的特征越丰富,获得的特征数据的准确度越高,可选的,在对待处理图像进行特征提取处理之前,可对待处理图像进行图像质量检测,并对图像质量高的待处理图像进行特征提取处理,以提取更丰富的特征,进而提高特征数据的准确度。
以下为本申请实施例(五)提供的一种对待处理图像进行图像质量检测的方法的可能实现的方式。
在建立数据库之前,可预先设定图像质量评价指标,图像质量评价指标包括以下至少一个:人物对象区域是否包含头部区域、上身区域、下身区域和鞋子区域;人物对象区域的清晰度;人物对象区域的遮挡情况。其中,人物对象区域是否包含头部区域、上身区域、下身区域和鞋子区域指人物对象区域至少包含头部区域、上身区域、下身区域中的一个,还可以包含头部区域、上身区域、下身区域中的一个或多个和鞋子区域。
通过识别待处理图像中的人物对象区域是否包含头部区域、上身区域、下身区域、鞋子区域,可判断待处理图像中的人物对象的完整度,由于特征数据中包含头部特征(如发型、帽子款式)、上身特征(上衣颜色)、下身特征(裤子颜色、裤子长度)和鞋子颜色,因此,待处理图像中的人物对象越完整,最终获得的特征数据就越丰富,根据参考行人属性进行检索获得的目标图像的精确度就越高。
待处理图像中的人物对象区域越清晰,后续提取出的特征就越丰富,相应的,获得的特征数据就越准确。此外,待处理图像中的人物对象区域的被遮挡的区域越小,后续提取出的特征就越丰富,相应的,获得的特征数据就越准确。
举例来说,根据上述图像质量评价指标可对待处理视频流中的待处理图像的质量进行评分,如:若待处理图像中的人物对象区域包含头部区域、上身区域、下身区域中的任意一个,评分增加1分,若待处理图像中的人物对象区域包含头部区域、上身区域、下身区域中的任意一个,且包含鞋子区域,评分增加2分,若待处理图像中的人物对象区域包含头部区域、上身区域、下身区域中的任意两个,评分增加3分,若待处理图像中的人物对象区域包含头部区域、上身区域、下身区域中的任意两个,且包含鞋子区域,评分增加4分,若待处理图像中的人物对象区域包含头部区域、上身区域、下身区域,评分增加5分,若待处理图像中的人物对象区域包含头部区域、上身区域、下身区域,且包含鞋子区域,评分增加6分,。待处理图像中的人物对象区域内被遮挡的区域的面积小于或等于15%,评分减0.5分,被遮挡的区域的面积大于15%小于或等于40%,评分减1分,被遮挡的区域的面积大于40%小于或等于70%,评分减2分,被遮挡的区域的面积大于70%,评分减3.5分。此外,还可根据待处理图像中人物对象区域的清晰度从1~5分中获得相应的分数,最后将各项得分,得到图像质量分数。需要理解的是,待处理图像中人物对象区域的清晰度的判断可由任意图像清晰度算法实现,如:灰度方差函数、灰度方差乘积函数、能量梯度函数,本申请对此不做具体限定。
对质量分数未达到阈值的待处理图像则可不进行下一步处理,而将质量分数达到阈值的待处理图像作为可进行下一步处理的图像,即对质量分数达到阈值的待处理图像进行特征提取处理,获得第一特征数据,再根据第一特征数据获得特征数据(获得特征数据的过程可参见202)。
此外,由于获取到的待处理视频流处于不断更新的状态,即数据库中的特征数据也处于不断更新的状态,若当前数据库中不存在与参考行人属性匹配的数据,可将参考行人属性储存,并使用参考行人属性检索新的数据,获得新的数据中具有与参考行人属性匹配的特征数据的图像,作为目标图像。其中,新的数据包括对新的待处理视频流进行结构化处理获得的新的具有特征数据的图像。
可选的,实施例(一)至实施例(五)中所提到的待处理视频流均可由由摄像头采集,该摄像头包括以下至少一种参数:人脸可识别偏转角范围为-90°至-45°或+45°至+90°、人脸可识别俯仰角范围为-90°至-30°或+30°至+90°、采集的人脸图像中的两眼瞳间距小于18像素点。
上述人脸可识别偏转角指摄像头镜头的拍摄方向与过所拍人物的脸部区域的竖直线之间的夹角,且从被拍摄人体的头顶从上往下看,摄像头的拍摄方向相较于过所拍人物的脸部区域的竖直线的偏移方向为顺时针方向时,人脸可识别偏转角为正,反之,从被拍摄人体的头顶从上往下看,摄像头的拍摄方向相较于过所拍人物的脸部区域的竖直线的偏移方向为逆时针方向时,人脸可识别偏转角为负。
摄像头的人脸可识别偏转角范围在-90°至-45°或+45°至+90°内时,利用摄像头采集到的视频流进行人脸识别的准确率较低。
上述人脸可识别俯仰角指摄像头镜头的拍摄方向与过所拍人物的脸部区域的水平线之间的夹角,且从被拍摄人体的左侧往右侧的方向看,摄像头的拍摄方向相较于过所拍人物的脸部区域的水平线的偏移方向为顺时针方向时,人脸可识别俯仰角为正,反之,从被拍摄人体的左侧往右侧的方向看,摄像头的拍摄方向相较于过所拍人物的脸部区域的水平线的偏移方向为逆时针方向时,人脸可识别俯仰角为负。
摄像头的人脸可识别偏转角范围在-90°至-45°或+45°至+90°内,或摄像头的人脸可识别俯仰角范围在-90°至-30°或+30°至+90°内,或摄像头采集的人脸图像中的两眼瞳间距小于18像素点,利用该摄像头采集到的视频流进行人脸识别的准确率较低,进而无法从数据库中确定目标图像,以及目标人物的行踪。但应用本申请实施例提供的方案可使用参考行人属性从数据库中确定目标图像,以及目标人物的行踪。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图7,图7为本申请实施例提供的一种检索图像的装置的结构示意图,该装置1包括:第一获取单元11、检索单元12、第二获取单元13、处理单元14、发送单元15、储存单元16以及确定单元17。其中:
第一获取单元11,用于获取参考行人属性;
检索单元12,用于使用所述参考行人属性检索数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在一种可能实现的方式中,所述检索图像的装置1还包括:
第二获取单元13,用于获取待处理视频流;
处理单元14,用于对所述待处理视频流进行结构化处理,获得所述数据库。
在另一种可能实现的方式中,所述处理单元14具体用于:对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据;以及根据所述第一特征数据中的特征,获得待处理图像中的人物对象的属性;以及将所述人物对象的属性作为所述待处理图像的特征数据,获得所述数据库;所述数据库包括所述待处理图像和所述待处理图像的特征数据。
在又一种可能实现的方式中,所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据之前,所述处理单元14具体还用于:对所述视频流中的待处理图像进行特征提取处理,获得第二特征数据;在根据所述第二特征数据中的特征确定所述待处理图像中包含人物对象的情况下,执行所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据的步骤。
在又一种可能实现的方式中,所述处理单元14具体还用于:根据所述第二特征数据中的特征,获得所述人物对象在所述待处理图像中的位置;所述位置为包含所述人物对象的矩形框的任意一对对角在所述待处理图像中的位置;以及截取所述待处理图像中由所述位置确定的矩形区域,获得人物对象图像;以及对所述人物对象图像进行特征提取处理,获得所述第一特征数据。
在又一种可能实现的方式中,所述第一获取单元11还用于获取所述待处理图像的采集时间和采集位置;所述待处理图像的特征数据还包括:所述采集时间和所述采集位置。
在又一种可能实现的方式中,所述检索图像的装置1还包括:发送单元15,用于在所述获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像之后,向终端发送具有与所述参考行人属性匹配的特征数据的人物对象图像;所述发送单元15,还用于在接收到所述终端发送的针对所述人物对象图像的详情展示请求的情况下,向所述终端发送具有与所述参考行人属性匹配的特征数据的待处理图像。
在又一种可能实现的方式中,所述检索图像的装置1还包括:所述发送单元15,还用于在接收到所述终端发送的行踪展示请求的情况下,向所述终端发送指令;所述指令用于指示所述终端在地图中显示所述人物对象图像的采集位置和采集时间或所述待处理图像的采集位置和采集时间。
在又一种可能实现的方式中,所述第一获取单元11,还用于在所述使用所述参考行人属性检索数据库之前,获取目标时间范围和目标地理位置范围;所述处理单元14具体还用于:将所述数据库中采集时间在所述目标时间范围内,且采集位置在所述目标地理位置范围内的图像作为待检索图像;以及获得所述待检索图像中具有与所述参考行人属性匹配的特征数据的图像,作为所述目标图像。
在又一种可能实现的方式中,所述处理单元14具体还用于:在所述在根据所述特征图像中的特征,得到所述待处理图像中包含人物对象的情况下之后,根据预先设定的图像质量评价指标,获得所述待处理图像的质量分数;所述图像质量评价指标包括以下至少一个:人物对象区域是否包含头部区域、上身区域、下身区域和鞋子区域;人物对象区域的清晰度;人物对象区域的遮挡情况;所述处理单元14具体还用于:对质量分数达到阈值的待处理图像进行特征提取处理,获得所述第一特征数据。
在又一种可能实现的方式中,所述检索图像的装置1还包括:储存单元16,用于在所述获得参考行人属性之后,在所述数据库中不存在与所述参考行人属性匹配的数据的情况下,将所述参考行人属性储存;所述第一获取单元11,还用于获取新的待处理视频流;所述处理单元14,还用于对所述新的待处理视频流进行结构化处理,获得新的数据库;所述新的数据库包含新的具有特征数据的图像;所述检索单元12,还用于使用所述参考行人属性检索所述新的数据库,获得所述新的数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在又一种可能实现的方式中,所述参考行人属性包括以下至少一种:上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、体型、性别、发型、发色、动作、年龄段、是否戴眼镜、胸前是否抱东西。
在又一种可能实现的方式中,所述检索图像的装置1还包括:确定单元17,用于在所述参考行人属性包括至少两种特征的情况下,按预先设定的特征的优先级确定检索顺序;所述检索单元12,还用于按所述检索顺序依次使用所述参考行人属性中的特征检索所述数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
在又一种可能实现的方式中,所述待处理视频流由摄像头采集;所述摄像头包括以下至少一种参数:人脸可识别偏转角范围为-90°至-45°或+45°至+90°、人脸可识别俯仰角范围为-90°至-30°或+30°至+90°、采集的人脸图像中的两眼瞳间距小于18像素点。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图8为本申请实施例提供的一种检索图像的装置的硬件结构示意图。该装置2包括处理器21,还可以包括输入装置22、输出装置23和存储器24。该输入装置22、输出装置23、存储器24和处理器21之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable readonly memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号,以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件,也可以是一个整体的器件。
处理器可以包括是一个或多个处理器,例如包括一个或多个中央处理器(centralprocessing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据,执行上述方法实施例中的步骤。具体可参见方法实施例中的描述,在此不再赘述。
可以理解的是,图8仅仅示出了一种检索图像的装置的简化设计。在实际应用中,检索图像的装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等,而所有可以实现本申请实施例的检索图像的装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
Claims (10)
1.一种检索图像的方法,其特征在于,所述方法包括:
获取参考行人属性;
使用所述参考行人属性检索数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
2.根据权利要求1所述的方法,其特征在于,所述获取参考行人属性之前,还包括:
获取待处理视频流;
对所述待处理视频流进行结构化处理,获得所述数据库。
3.根据权利要求2所述的方法,其特征在于,所述对所述待处理视频流进行结构化处理,获得所述数据库,包括:
对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据;
根据所述第一特征数据中的特征,获得待处理图像中的人物对象的属性;
将所述人物对象的属性作为所述待处理图像的特征数据,获得所述数据库;所述数据库包括所述待处理图像和所述待处理图像的特征数据。
4.根据权利要求3所述的方法,其特征在于,所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据之前,还包括:
对所述视频流中的待处理图像进行特征提取处理,获得第二特征数据;
在根据所述第二特征数据中的特征确定所述待处理图像中包含人物对象的情况下,执行所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据的步骤。
5.根据权利要求4所述的方法,其特征在于,所述对所述待处理视频流中的待处理图像进行特征提取处理,获得第一特征数据,包括:
根据所述第二特征数据中的特征,获得所述人物对象在所述待处理图像中的位置;所述位置为包含所述人物对象的矩形框的任意一对对角在所述待处理图像中的位置;
截取所述待处理图像中由所述位置确定的矩形区域,获得人物对象图像;
对所述人物对象图像进行特征提取处理,获得所述第一特征数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:获取所述待处理图像的采集时间和采集位置;
所述待处理图像的特征数据还包括:所述采集时间和所述采集位置。
7.一种检索图像的装置,其特征在于,包括:
第一获取单元,用于获取参考行人属性;
检索单元,用于使用所述参考行人属性检索数据库,获得所述数据库中具有与所述参考行人属性匹配的特征数据的图像,作为目标图像。
8.一种处理器,其特征在于,所述处理器用于执行如权利要求1至6中任意一项所述的方法。
9.一种电子设备,其特征在于,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述电子设备执行如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被电子设备的处理器执行时,使所述处理器执行权利要求1至6任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910397237.0A CN110134810A (zh) | 2019-05-14 | 2019-05-14 | 检索图像的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910397237.0A CN110134810A (zh) | 2019-05-14 | 2019-05-14 | 检索图像的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110134810A true CN110134810A (zh) | 2019-08-16 |
Family
ID=67573775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910397237.0A Pending CN110134810A (zh) | 2019-05-14 | 2019-05-14 | 检索图像的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110134810A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110580275A (zh) * | 2019-09-30 | 2019-12-17 | 深圳市商汤科技有限公司 | 地图显示方法及装置 |
CN111368688A (zh) * | 2020-02-28 | 2020-07-03 | 深圳市商汤科技有限公司 | 行人监测方法及相关产品 |
CN112632300A (zh) * | 2020-09-29 | 2021-04-09 | 深圳市商汤科技有限公司 | 图像检索方法及装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060140455A1 (en) * | 2004-12-29 | 2006-06-29 | Gabriel Costache | Method and component for image recognition |
CN106649490A (zh) * | 2016-10-08 | 2017-05-10 | 中国人民解放军理工大学 | 一种基于深度特征的图像检索方法及装置 |
CN107783995A (zh) * | 2016-08-26 | 2018-03-09 | 杭州海康威视数字技术股份有限公司 | 一种目标对象检索方法及装置 |
CN108447159A (zh) * | 2018-03-28 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 人脸图像采集方法、装置和出入口管理系统 |
CN108664526A (zh) * | 2017-04-01 | 2018-10-16 | 华为技术有限公司 | 检索的方法和设备 |
CN109003318A (zh) * | 2018-08-09 | 2018-12-14 | 北京深瞐科技有限公司 | 一种视频处理方法、装置及存储介质 |
CN109145707A (zh) * | 2018-06-20 | 2019-01-04 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN109446364A (zh) * | 2018-10-23 | 2019-03-08 | 北京旷视科技有限公司 | 抓拍检索方法、图像处理方法、装置、设备及存储介质 |
-
2019
- 2019-05-14 CN CN201910397237.0A patent/CN110134810A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060140455A1 (en) * | 2004-12-29 | 2006-06-29 | Gabriel Costache | Method and component for image recognition |
CN107783995A (zh) * | 2016-08-26 | 2018-03-09 | 杭州海康威视数字技术股份有限公司 | 一种目标对象检索方法及装置 |
CN106649490A (zh) * | 2016-10-08 | 2017-05-10 | 中国人民解放军理工大学 | 一种基于深度特征的图像检索方法及装置 |
CN108664526A (zh) * | 2017-04-01 | 2018-10-16 | 华为技术有限公司 | 检索的方法和设备 |
CN108447159A (zh) * | 2018-03-28 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 人脸图像采集方法、装置和出入口管理系统 |
CN109145707A (zh) * | 2018-06-20 | 2019-01-04 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN109003318A (zh) * | 2018-08-09 | 2018-12-14 | 北京深瞐科技有限公司 | 一种视频处理方法、装置及存储介质 |
CN109446364A (zh) * | 2018-10-23 | 2019-03-08 | 北京旷视科技有限公司 | 抓拍检索方法、图像处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
郝明刚等: "基于肤色特征和遗传算法的人眼瞳孔定位算法", 《计算机应用研究》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110580275A (zh) * | 2019-09-30 | 2019-12-17 | 深圳市商汤科技有限公司 | 地图显示方法及装置 |
CN111368688A (zh) * | 2020-02-28 | 2020-07-03 | 深圳市商汤科技有限公司 | 行人监测方法及相关产品 |
CN112632300A (zh) * | 2020-09-29 | 2021-04-09 | 深圳市商汤科技有限公司 | 图像检索方法及装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108197250B (zh) | 图片检索方法、电子设备及存储介质 | |
CN110442742A (zh) | 检索图像的方法及装置、处理器、电子设备及存储介质 | |
CN109697416A (zh) | 一种视频数据处理方法和相关装置 | |
AU2016291660A1 (en) | Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams | |
CN108229335A (zh) | 关联人脸识别方法和装置、电子设备、存储介质、程序 | |
CN110163076A (zh) | 一种图像数据处理方法和相关装置 | |
CN110134810A (zh) | 检索图像的方法及装置 | |
CN109309808A (zh) | 一种基于人脸识别的监控系统及方法 | |
CN110334231A (zh) | 一种信息处理方法及装置、存储介质 | |
CN106055710A (zh) | 基于视频的商品推荐方法及装置 | |
CN109871815A (zh) | 一种查询监控信息的方法及装置 | |
CN111241305A (zh) | 数据处理方法和装置、电子设备及计算机可读存储介质 | |
CN109784274A (zh) | 识别尾随的方法及相关产品 | |
WO2022121498A1 (zh) | 身份识别方法、模型训练方法、装置、设备和存储介质 | |
CN110443120A (zh) | 一种人脸识别方法及设备 | |
CN110378323A (zh) | 用于处理视频的方法和装置 | |
CN107729380A (zh) | 服饰搭配方法、终端、计算机终端 | |
CN109670517A (zh) | 目标检测方法、装置、电子设备和目标检测模型 | |
CN109886739A (zh) | 基于珠宝门店导购管理方法、系统及其存储介质 | |
CN113935358A (zh) | 一种行人追踪方法、设备和存储介质 | |
CN109977832A (zh) | 一种图像处理方法、装置及存储介质 | |
CN109858332A (zh) | 一种人员行为分析方法、装置和电子设备 | |
CN106529375A (zh) | 移动终端及其图像中物体特征的识别方法 | |
CN109284740A (zh) | 对鼠情进行统计的方法、装置、设备以及存储介质 | |
CN110119456A (zh) | 检索图像的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |