CN111538861A - 基于监控视频进行图像检索的方法、装置、设备及介质 - Google Patents

基于监控视频进行图像检索的方法、装置、设备及介质 Download PDF

Info

Publication number
CN111538861A
CN111538861A CN202010324076.5A CN202010324076A CN111538861A CN 111538861 A CN111538861 A CN 111538861A CN 202010324076 A CN202010324076 A CN 202010324076A CN 111538861 A CN111538861 A CN 111538861A
Authority
CN
China
Prior art keywords
image
sub
human body
structured information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010324076.5A
Other languages
English (en)
Other versions
CN111538861B (zh
Inventor
张朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010324076.5A priority Critical patent/CN111538861B/zh
Publication of CN111538861A publication Critical patent/CN111538861A/zh
Application granted granted Critical
Publication of CN111538861B publication Critical patent/CN111538861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7328Query by example, e.g. a complete video frame or video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于监控视频进行图像检索的方法、装置、设备及介质,本发明通过当监控视频中部分行人图像的结构化信息不全时,如果接收到待检索行人的第一部位的图像,根据待检索行人的第一部位的第一子结构化信息,查找保存的每个图像的第一部位的子结构化信息中与待检索行人的图像的第一部位的第一子结构化信息的相似度满足第一要求的每个第一目标图像,并基于第一目标图像确定的候选第一目标图像,查找保存的每个图像的第二部位的子结构化信息与每个候选第一目标图像的第二部位的第二子结构化信息的相似度满足第二要求的每个第二目标图像,可提高检索结果的准确性。

Description

基于监控视频进行图像检索的方法、装置、设备及介质
技术领域
本发明主要涉及视频监控技术领域,尤其涉及一种基于监控视频进行图像检索的方法、装置、设备及介质。
背景技术
所谓视频数据的结构化处理,就是通过对原始视频进行智能分析,提取出目标的关键信息,并对提取到的海量信息进行筛选和整理,以供检索待检索行人或者物体图像时使用,视频数据的结构化处理的最基础的功能就是对行人或者机动车、非机动车等物体进行抓拍、特征提取和检索。
对视频数据进行结构化处理时,图像数据库中的数据往往来源于图像采集设备所采集的监控视频,基于监控视频进行行人检索时,首先需要获取上传的待检索行人的人脸的图像,或者身体的图像,由于现有图像数据库中的人脸结构化信息和身体结构化信息是分开存储的,所以当获取的图像为人脸的图像时,将从该图像中获取的人脸的结构化信息与图像数据库中存储的人脸的结构化信息进行比对,从而确定目标图像;当上传的图像为身体的图像时,将从该图像中获取的身体的结构化信息与图像数据库中存储的身体的结构化信息进行比对,从而确定目标图像。
然而,图像采集设备采集到的监控视频中,经常会出现人脸或人体被遮挡的情况,例如监控视频中行人的人脸部位由于佩戴口罩、眼镜、雨伞、头盔等遮挡物,造成获得的监控视频中的图像的人脸部位识别不清的问题,导致获取的该图像的人脸的结构化信息不全,因此,如果输入的待检索的图像为人脸的图像时,将会因为监控视频中图像的人脸的结构化信息不全,影响检索的精度。
同样的,由于监控视频中行人的身体部位因为拥挤遮挡、衣着多样、光照变化等因素,造成获得的监控视频中行人的身体部位识别不清的问题,导致获取的该图像的身体的结构化信息不全,因此,如果输入的待检索的图像为身体的图像时,也会因为监控视频中图像的身体的结构化信息不全,影响检索的精度。
综上可知,现有在监控视频中进行行人检索时,经常会出现由于监控视频中图像的结构化信息不全,而导致检索结果准确性低的问题。
发明内容
本发明实施例提供了一种基于监控视频进行图像检索的方法、装置、设备及介质,用以解决在监控视频中进行行人检索时,由于监控视频中图像的结构化信息不全,导致的检索结果准确性低的问题。
本发明的一方面提供了一种基于监控视频进行图像检索的方法,所述方法包括:
获取接收到的待检索行人的第一部位的图像的第一子结构化信息,其中所述第一部位为人脸或者身体;
根据保存的每个图像的所述第一部位的子结构化信息,查找所述第一部位的子结构化信息与所述第一子结构化信息的相似度满足第一要求的每个第一目标图像;
根据所述每个第一目标图像,确定候选第一目标图像;
根据所述每个候选第一目标图像的第二部位的第二子结构化信息及保存的每个图像的第二部位的子结构化信息,查找所述第二部位的子结构化信息与所述第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中所述第二部位为身体或人脸;
将所述每个第一目标图像和所述每个第二目标图像作为检索到的图像。
进一步地,所述获取接收到的待检索行人的第一部位的图像的第一子结构化信息之前,所述方法还包括:
针对保存的每个图像,判断该图像是否包含身体;
若否,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息。
进一步地,子结构化信息包括属性信息和/或高维特征。
进一步地,若所述子结构化信息包括属性信息和高维特征,所述根据该图像中头肩区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
进一步地,所述根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标包括:
根据以下公式
Figure BDA0002462525900000031
确定图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,其中,h1和h2为第一外接矩形坐标框中对角线上两个顶点,p1和p2为第二外接矩形坐标框中对角线上两个顶点,
Figure BDA0002462525900000032
为人体与肩膀高度的统计系数。
进一步地,若所述子结构化信息包括属性信息和高维特征,所述根据该图像中人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
进一步地,所述根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标包括:
根据以下公式:
(xp1,yp1,xp2,yp2)=(0.5×(5xf1-3xf2),2yf1-yf2,0.5×(5xf2-3xf1),6yf2-5yf1),确定图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,其中,f1和f2为第三外接矩形坐标框中对角线上两个顶点,p1和p2为第二外接矩形坐标框中对角线上两个顶点。
进一步地,所述根据所述每个第一目标图像,确定候选第一目标图像包括;
将每个第一目标图像,确定为候选第一目标图像;或
针对所述每个第一目标图像中任意两个第一目标图像,确定该两个第一目标图像的第二子结构化信息的相似度;获取相似度满足第三要求的第一目标图像作为候选第一目标图像。
本发明的另一方面提供了一种基于监控视频进行图像检索的装置,所述装置包括:
获取模块,用于获取接收到的待检索行人的第一部位的图像的第一子结构化信息,其中所述第一部位为人脸或者身体;
查找模块,用于根据保存的每个图像的所述第一部位的子结构化信息,查找所述第一部位的子结构化信息与所述第一子结构化信息的相似度满足第一要求的每个第一目标图像;
第一确定模块,用于根据所述每个第一目标图像,确定候选第一目标图像;
所述查找模块,还用于根据所述每个候选第一目标图像的第二部位的第二子结构化信息及保存的每个图像的第二部位的子结构化信息,查找所述第二部位的子结构化信息与所述第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中所述第二部位为身体或人脸;
第二确定模块,用于将所述每个第一目标图像和所述每个第二目标图像作为检索到的图像。
进一步地,所述装置还包括:
生成模块,用于针对保存的每个图像,判断该图像是否包含身体;若否,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息。
进一步地,所述生成模块,具体用于在所述子结构化信息包括属性信息和高维特征时,根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
进一步地,所述生成模块,具体用于在所述子结构化信息包括属性信息和高维特征时,根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
进一步地,所述第一确定模块,具体用于将每个第一目标图像,确定为候选第一目标图像;或,针对所述每个第一目标图像中任意两个第一目标图像,确定该两个第一目标图像的第二子结构化信息的相似度;获取相似度满足第三要求的第一目标图像作为候选第一目标图像。
本发明的再一方面提供了一种电子设备,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现上述任一所述基于监控视频进行图像检索的方法的步骤。
本发明的再一方面提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述基于监控视频进行图像检索的方法的步骤。
本发明实施例通过当监控视频中部分行人图像的结构化信息不全时,如果接收到待检索行人的第一部位的图像,其中,第一部位为人脸或者身体,根据待检索行人的第一部位的第一子结构化信息,查找保存的每个图像的第一部位的子结构化信息中与待检索行人的图像的第一部位的第一子结构化信息的相似度满足第一要求的每个第一目标图像,并基于第一目标图像确定的候选第一目标图像,查找保存的每个图像的第二部位的子结构化信息与每个候选第一目标图像的第二部位的第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中第二部位为身体或人脸,因为在进行图像查找时,第一目标图像是基于每个图像的第一部位的子结构化信息查找得到的,第二目标图像是基于每个图像的第二部位的子结构化信息查找到的,因此将每个第一目标图像和每个第二目标图像作为检索到的图像,可在一定程度上提高检索结果的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于监控视频进行图像检索的方法过程示意图;
图2为本发明实施例提供的确定图像中人体的位置信息的示意图;
图3为本发明实施例提供的确定人体区域的第二外接矩形坐标框的具体过程示意图;
图4为本发明实施例提供的另一种基于监控视频进行图像检索的过程示意图;
图5为本发明实施例提供的一种基于监控视频进行图像检索的装置;
图6为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
为了提高基于监控视频进行行人检索的准确性,本发明实施例提供了一种基于监控视频进行图像检索的方法、装置、设备及介质。
实施例1:
图1为本发明实施例提供的一种基于监控视频进行图像检索的方法过程示意图,该过程包括:
S101:获取接收到的待检索行人的第一部位的图像的所述第一部位的第一子结构化信息,其中所述第一部位为人脸或者身体。
本发明实施例中,该监控视频行人检索方法应用于电子设备,该电子设备可以是进行视频监控的图像采集的设备,或者存储了监控视频的终端或者服务器等。
电子设备在接收到待检索行人的第一部位的图像后,获取该第一部位的第一子结构化信息,其中,该第一部位可能为人脸,也可能为身体,因此获取的该第一子结构化信息,可能是人脸的子结构化信息,也可能是身体的子结构化信息。不过电子设备可以对第一部位进行识别,从而确定该第一子结构化信息到底是人脸的子结构化信息,还是身体的子结构化信息。
在本发明实施例中,人脸的结构化信息包括:人脸的高维特征和人脸的属性信息,其中人脸的属性信息包括:人脸的表情、是否佩戴眼镜、种族、口罩、年龄、性别等;身体的结构化信息包括:身体的高维特征和身体的属性信息,其中身体的属性信息包括:上下身衣服颜色、上下身衣服款式、是否带行李、是否带背包等。在本发明实施例中,子结构化信息可以包括属性信息和/或高维特征,即该子结构化信息为结构化信息中的部分或全部,也就是说该子结构化信息可以为属性信息,也可以是高维特征,还可以是高维特征和属性信息。
为了方便后续检索,获取了该第一子结构化信息后,针对该图像保存该第一子结构化信息。
具体的获取结构化信息的过程为现有技术,在此不再赘述。
S102:根据保存的每个图像的所述第一部位的子结构化信息,查找所述第一部位的子结构化信息与所述第一子结构化信息的相似度满足第一要求的每个第一目标图像。
电子设备中针对监控视频中行人的每个图像,保存有该图像的结构化信息,因为进行检索是基于图像的子结构化信息的,而且具体基于哪种子结构化信息是预先规定的,因此为了减少数据量,可以在保存的时候只保存图像的进行检索的子结构化信息。当然也可以针对图像保存其完整的结构化信息,只是因为结构化信息是由属性信息和高维特征按照设定的顺序组合得到的,例如结构化信息中第一部分为属性特征,第二部分为高维特征,因此在进行图像检索的时候,可以根据保存的完整的结构化信息,识别其中进行检索的子结构化信息,从而确定图像是否匹配。
因为获取的监控视频中行人的图像中可能只包含人脸,或者只包含身体,或者同时包含人脸和身体,为了方便后续的检索,在本发明实施例中针对每个图像,将该图像的人脸的子结构化信息和身体的子结构化信息作为一组,进行关联保存。同时,为了方便检索,在针对图像保存人脸的子结构化信息和身体的子结构化信息时,将人脸和身体的子结构化信息进行区分保存,例如,可以将该图像的人脸的子结构化信息和身体的子结构化信息以结构化信息组的形式进行保存,该结构化信息组中包含两部分,分别为人脸的子结构化信息和身体的子结构化信息,如果图像中只包含身体,则该结构化信息组的第二部分为空,如果图像中只包含人脸,则该结构化信息组的第一部分为空,如果图像中既包含人脸又包含身体,则该结构化信息组中两部分都非空。
因为电子设备通过对图像的识别可以获知图像中是否包含身体或人脸,因此获取的第一子结构化信息也知道是身体的子结构化信息,还是人脸的子结构化信息,电子设备中又保存有从监控视频中得到的每个图像的结构化信息组,因此可以将该第一子结构化信息与每个图像的结构化信息组中的对应的子结构化信息进行匹配,从而确定相似度。
确定该第一子结构化信息与图像的结构化信息组中对应的子结构化信息的相似度后,判断该相似度是否满足预设的第一要求,比如,判断该相似度是否大于设定的第一阈值,若是,则确定相似度满足预设的第一要求,该子结构化信息对应的图像为第一目标图像,否则,确定相似度不满足预设的第一要求,该子结构化信息对应的图像不是第一目标图像。
可以采用现有方法确定第一子结构化信息与图像的结构化信息组中对应的子结构化信息的相似度,在此不再赘述。
S103:根据所述每个第一目标图像,确定候选第一目标图像。
在确定第一目标图像后,根据第一目标图像,可以将每个第一目标图像确定为候选第一目标图像,也可以将部分第一目标图像确定为候选第一目标图像,比如可以将第一目标图像中既包含身体,又包含人脸的第一目标图像确定为候选第一目标图像,或者将第一目标图像中包含身体的第一目标图像确定为候选第一目标图像。
为了进一步提高检索的准确性,可以根据第一部位的不同,采用不同的方法确定候选第一目标图像,如果第一部位为人脸,则将第一目标图像中包含身体的第一目标图像确定为候选第一目标图像,反之,如果第一部位为身体,则将第一目标图像中包含人脸的第一目标图像确定为候选第一目标图像。也可以是,如果第一部位为人脸,则将第一目标图像中包含人脸的第一目标图像确定为候选第一目标图像,如果第一部位为身体,则将第一目标图像中包含身体的第一目标图像确定为候选第一目标图像。在具体应用时,可以根据需要灵活选择。
例如,接收到的待检索行人的人脸的图像,获取到该图像的人脸的第一子结构化信息,人脸的第一子结构化信息可以为人脸的高维特征,电子设备中分别保存了A1、A2、A3、A4、A5……A20,总共20张图像,该20张图像中A2、A3、A4、A5、A7、A8、A10、A11、A12、A13、A14、A15、A18、A19、A20中包含人脸的高维特征,分别确定该人脸的高维特征与保存的A2、A3、A4、A5、A7、A8、A10、A11、A12、A13、A14、A15、A18、A19、A20中的人脸的高维特征的相似度,相似度满足预设的第一要求的为A2、A5、A11、A19和A20的高维特征,即第一目标图像为A2、A5、A11、A19和A20。
若将包含身体的第一目标图像确定为候选第一目标图像,第一目标图像A5和A20中包含身体,因此,将A5和A20确定为候选第一目标图像。
S104:根据所述每个候选第一目标图像的第二部位的第二子结构化信息及保存的每个图像的第二部位的子结构化信息,查找所述第二部位的子结构化信息与所述第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中所述第二部位为身体或人脸。
因为电子设备中针对监控视频中行人的每个图像,分别保存有每个图像的结构化信息组。在确定候选第一目标图像后,获取候选第一目标图像的第二部位的第二子结构化信息,若第一子结构化信息为人脸的子结构化信息,则该第二子结构化信息为身体的子结构化信息,反之,若第一子结构化信息为身体的子结构化信息,则该第二子结构化信息为人脸的子结构化信息。而电子设备中又保存有图像的结构化信息组,因此可以将该第二子结构化信息与图像的结构化信息组中的对应的子结构化信息进行匹配,从而确定相似度。
确定该第二子结构化信息与图像的结构化信息组中对应的子结构化信息的相似度后,判断该相似度是否满足预设的第二要求,比如,判断该相似度是否大于设定的第二阈值,若是,则确定相似度满足预设的第二要求,该子结构化信息对应的图像为第二目标图像,否则,确定相似度不满足预设的第二要求,该子结构化信息对应的图像不是第二目标图像。该第二阈值与第一阈值可以相同,也可以不同。
还以上述例子进行说明,将A5和A20确定为候选第一目标图像后,可以选择第二子结构化信息为身体的属性信息,分别确定候选第一目标图像A5和A20的身体的属性信息与保存的A1、A2、A3、A4、A5、A6、A7、A8、A10、A11、A12、A13、A14、A15、A16、A18、A19、A20中身体的属性信息的相似度,相似度满足预设的第二要求的为A3、A5、A16和A20的属性信息,即第二目标图像为A3、A5、A16和A20。
S105:将所述每个第一目标图像和所述每个第二目标图像作为检索到的图像。
得到第一目标图像后,为扩大检索范围,在第一目标图像中选取候选第一目标图像,根据候选第一目标图像的第二子结构化信息,得到与该候选第一目标图像的第二子结构化信息的相似度满足预设的第二要求的第二目标图像,将每个第一目标图像和每个第二目标图像作为检索得到的图像。
在本发明实施例中,当监控视频中部分行人图像的结构化信息不全时,如果接收到待检索行人的第一部位的图像,其中,第一部位为人脸或者身体,根据待检索行人的第一部位的第一子结构化信息,查找保存的每个图像的第一部位的子结构化信息中与待检索行人的图像的第一部位的第一子结构化信息的相似度满足第一要求的每个第一目标图像,并基于第一目标图像确定的候选第一目标图像,查找保存的每个图像的第二部位的子结构化信息与每个候选第一目标图像的第二部位的第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中第二部位为身体或人脸,因为在进行图像查找时,第一目标图像是基于每个图像的第一部位的子结构化信息查找得到的,第二目标图像是基于每个图像的第二部位的子结构化信息查找到的,因此将每个第一目标图像和每个第二目标图像作为检索到的图像,可在一定程度上提高检索结果的准确性。
实施例2:
为了提高检索的准确性,在上述实施例的基础上,在本发明实施例中,在接收待检索行人的第一部位的图像之前,所述方法还包括:
针对保存的每个图像,判断该图像是否包含身体;
若否,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息。
电子设备中保存的监控视频是由不同的监控设备采集的,采集的图像可能会受安装角度、受监控场景不同的影响,采集的图像中可能只包含身体或者只包含人脸,如果采集的图像中只包含身体或者人脸,将会导致无法获取到图像中完整的身体和人脸的子结构化信息。在进行检索时,如果待检索行人的图像只包含人脸或者身体时,这些只包含身体或人脸的图像将会无法被检索到,从而影响检索的准确性。
为了进一步提高准确性,在本发明实施例中,针对保存的每个图像,判断该图像是否包含身体,若不包含身体,则根据该图像中人脸区域的位置信息或头肩区域的位置信息及以及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的身体的子结构化信息。
因为电子设备通过对图像的识别可以获知图像中是否包含人脸或头肩,如果确定该图像只包含人脸,则可以根据图像中人脸区域的位置信息以及预设的人脸区域的位置信息生成身体的子结构化信息的算法,生成该图像的身体的子结构化信息。
如果确定该图像中包含头肩,子结构化信息包括属性信息和高维特征,所述根据该图像中头肩区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
如果确定该图像中包含人脸,子结构化信息包括属性信息和高维特征,所述根据该图像中人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
另外,如果图像中包含有头肩,而头肩又包含人脸,因此在确定人体区域的位置信息时,也可以根据该图像中人脸区域的位置信息来确定。在具体应用时,可以根据需要灵活选择。但因为一般根据头肩区域的位置信息,确定人体区域的位置信息更准确,因此当图像中包含头肩时,可以选择根据图像中头肩区域的位置信息,确定人体区域的位置信息。
在本发明实施例中人体包含人脸和身体,身体是人体中除人的头部外其他部位的统称。
在确定头肩区域的位置信息和人脸区域的位置信息后,根据头肩区域或人脸区域在该图像中的位置信息,以及对应的预设算法,可以确定人体区域的位置信息,确定人体区域的位置信息后,原来只包含人脸或者头肩的图像中除了包含原有的人脸或者头肩之外,还包含有确定的人体区域的位置信息,将包含有人体区域的位置信息的该图像输入到预先训练完成的特征提取模型中,可以获取到该图像的人体的高维特征。优选地,特征提取模型可以选用行人重识别网络模型。
另外,将包含人体区域的位置信息的图像输入到预先训练完成的分类模型,可以获取该图像的人体的属性信息。其中,该分类模型可以选用多任务多类别分类网络模型。
因为得到的人体的高维特征中包含人脸的高维特征和身体的高维特征,而且人体的高维特征中具体哪部分是身体的高维特征是可以预知的,所以可以从人体的高维特征中提取出对应的身体的高维特征,该身体的高维特征即为身体部位对应的高维特征。
同样的,因为得到的人体的属性信息中包含人脸的属性信息和身体的属性信息,而且人体的属性信息中具体哪些部分是对应身体的属性信息也是可以预知的,所以可以从人体的属性信息中提取身体的属性信息。
具体地,例如人体的属性信息可以包括:表情、是否佩戴眼镜、种族、口罩、年龄、性别、上下身衣服颜色、上下身衣服款式、是否带行李、是否带背包等属性信息,身体的属性信息可以包括:上下身衣服颜色、上下身衣服款式、是否带行李、是否带背包等属性信息,因此提取该人体的属性信息中的上下身衣服颜色、上下身衣服款式、是否带行李、是否带背包等属性信息,从而得到身体的属性信息。
得到人体的高维特征和属性信息这些人体的结构化信息之后,优选将该图像的人体的结构化信息、该图像的人脸的结构化信息和身体的结构化信息作为一组,一起关联保存,即该图像的结构化信息组中包含三部分,分别为人脸的结构化信息、身体的结构化信息及人体的结构化信息。每个部分可以均设置有对应的标识信息,例如位置标识或者名称标识,可以根据对应的标识信息查找到对应的结构化信息。
在确定头肩区域的位置信息后,根据该图像头肩区域的位置信息生成人体的结构化信息时,先生成该图像中人体的位置信息。在生成该图像中人体的位置信息时,先确定包含该图像的头肩区域的第一外接矩形坐标框,根据该第一外接矩形坐标框的对角线上的两个顶点的横纵坐标以及预设的第一算法,得到包含该图像的人体区域的第二外接矩形坐标框,即在该图像中包含人体区域的位置信息。
具体的,根据包含该图像的头肩区域的第一外接矩形坐标框的对角线上的两个顶点的坐标,得到包含该图像的人体区域的第二外接矩形坐标框的对应的对角线上的两个顶点的坐标时,可以采用以下公式:
Figure BDA0002462525900000151
其中,(xh1,yh1,xh2,yh2)为第一外接矩形坐标框的对角线上的两个顶点h1和h2的横纵坐标,(xp1,yp1,xp2,yp2)为得到的第二外接矩形坐标框的对应的对角线上的两个顶点p1和p2的横纵坐标,若h1为左下角顶点,h2为右上角顶点,则p1为左下角顶点,p2为右上角顶点,反之,若h1为左上角顶点,h2为右下角顶点,则p1为左上角顶点,p2为右下角顶点。
Figure BDA0002462525900000161
为人体与肩膀高度的统计系数,一般为默认值,例如可以是5。根据上式可知,p1的横纵坐标与h1的横纵坐标相同,p2的横坐标与h2的横坐标相同,p2的纵坐标是h2的纵坐标与h1的纵坐标之差的统计系数倍。
图2为本发明实施例提供的确定图像中人体的位置信息的示意图,h1为该图像的头肩区域的第一外接矩形坐标框的左上角的顶点,h2为该第一外接矩形坐标框的右下角的顶点,p1为得到的该图像的人体区域的第二外接矩形坐标框的左上角的顶点,p2为第二外接矩形坐标框的右下角的顶点。
在确定该图像的人体区域的第二外接矩形坐标框后,根据该第二外接矩形坐标框中对角线上两个顶点的坐标,该图像中包含人体区域的位置信息。
优选地,在本发明实施例中,图像的头肩区域中头肩的属性信息可以包括朝向(正面、侧面或背面)、表情、眼镜、种族、口罩、年龄、帽子等。
在确定人脸区域的位置信息后,根据该图像人脸区域的位置信息生成人体的结构化信息时,先生成该图像中人体的位置信息。在生成该图像中人体的位置信息时,先确定包含该图像的人脸区域的第三外接矩形坐标框,根据该第三外接矩形坐标框的对角线上的两个顶点的横纵坐标以及预设的第二算法,得到包含该图像的人体区域的第二外接矩形坐标框,即在该图像中包含人体区域的位置信息。
具体的,根据包含该图像的人脸区域的第三外接矩形坐标框的对角线上的两个顶点的坐标,得到包含该图像的人体区域的第二外接矩形坐标框的对应的对角线上的两个顶点的坐标时,可以采用以下公式:
(xp1,yp1,xp2,yp2)=(0.5×(5xf1-3xf2),2yf1-yf2,0.5×(5xf2-3xf1),6yf2-5yf1)
其中,(xf1,yf1,xf2,yf2)为第三外接矩形坐标框的对角线上的两个顶点f1和f2的横纵坐标,(xp1,yp1,xp2,yp2)为得到的第二外接矩形坐标框的对应的对角线上的两个顶点p1和p2的横纵坐标,若f1为左下角顶点,f2为右上角顶点,则p1为左下角顶点,p2为右上角顶点,反之,若f1为左上角顶点,f2为右下角顶点,则p1为左上角顶点,p2为右下角顶点。p1的横坐标是5倍的f1的横坐标与3倍的f2的横坐标之差的0.5倍,p1的纵坐标是2倍的f1的纵坐标与f2的纵坐标之差,p2的横坐标是5倍的f2的横坐标与3倍的f1的横坐标之差的0.5倍,p2的纵坐标是6倍的f2的纵坐标与5倍的f1的纵坐标之差。
还以上述图2为例进行说明,f1为该图像的人脸区域的第三外接矩形坐标框的左上角的顶点,f2为该第三外接矩形坐标框的右下角的顶点,p1为得到的该图像的人体区域的第二外接矩形坐标框的左上角的顶点,p2为第二外接矩形坐标框的右下角的顶点。
具体的,根据得到的该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,即在该图像中包含人体区域的位置信息,可以基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息。将获取的人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建为身体的子结构化信息。
图3为本发明实施例提供的确定人体区域的第二外接矩形坐标框的具体过程,包括以下步骤:
S301:判断是否已确定包含该图像的头肩区域的第一外接矩形坐标框对角线上两个顶点的坐标,若是,则进行S302,若否,进行S303。
S302:根据该两个顶点的坐标得到包含该图像的人体区域的第二外接矩形坐标框的对应对角线上两个顶点的坐标,并保存该图像的人体区域的第二外接矩形坐标框的对应对角线上两个顶点的坐标。
S303:判断是否已确定包含该图像的人脸区域的第三外接矩形坐标框对角线上两个顶点的坐标,若是,则进行S304。
S304:根据该两个顶点的坐标得到包含该图像的人体区域的第二外接矩形坐标框的对应对角线上两个顶点的坐标,并保存该图像的人体区域的第二外接矩形坐标框的对应对角线上两个顶点的坐标。
由于在本发明实施例中,针对保存的不包含身体的图像,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息,进一步提高了检索的准确性。
实施例3:
为了提高检索的效率,在上述各实施例的基础上,本发明实施例中,所述根据所述每个第一目标图像,确定候选第一目标图像包括:
将每个第一目标图像,确定为候选第一目标图像;或
针对所述每个第一目标图像中任意两个第一目标图像,确定该两个第一目标图像的第二子结构化信息的相似度;获取相似度满足第三要求的第一目标图像作为候选第一目标图像。
因为在根据第一目标图像确定候选第一目标图像时,可以将每个第一目标图像都确定为候选第一目标图像,但如果将每个第一目标图像都确定为候选第一目标图像,在第一目标图像的数量太多时,得到的候选第一目标图像的数量也很多,再根据该候选第一目标图像确定第二目标图像时,将会得到很多的检索结果,不利于最后的筛选。
在本发明实施例中,因为第一目标图像为根据待检索行人的图像的第一部位的第一子结构化信息与保存的每个图像的第一部位的子结构化信息进行匹配得到的,因此,该第一目标图像中一定包含第一部位,但该第一目标图像可能包含第二部位,也可能不包含第二部位,而第二目标图像是根据候选第一目标图像的第二部位的第二子结构化信息与保存的图像的第二部位的子结构化信息进行匹配得到的,因此,根据第一目标图像确定候选第一目标图像时,可以在第一目标图像中包含第二部位的第二子结构化信息的第一目标图像中确定候选第一目标图像。
在根据第一目标图像,确定第一候选目标图像时,在该第一目标图像中查找包含第二部位的第二子结构化信息的第一目标图像,判断该包含第二部位的第二子结构化信息的第一目标图像的数量是否大于2,若否,则该第一目标图像中只有一个第一目标图像或两个第一目标图像包含第二部位的第二子结构化信息,确认该一个第一目标图像或两个第一目标图像为候选第一目标图像;若该包含第二部位的第二子结构化信息第一目标图像的数量大于2,则确定所有第一目标图像中包含第二部位的第二子结构化信息中的任意两个第二子结构化信息的相似度,判断该相似度是否满足预设的第三要求,比如,判断该相似度是否大于设定的第三阈值,若是,则确定相似度满足预设的第三要求,该两个第二子结构化信息对应的每个第一目标图像均为候选第一目标图像,否则,确定相似度不满足预设的第三要求。该第三阈值、第二阈值与第一阈值可以完全相同或者部分相同,也可以完全不同。
例如,电子设备查找到A1、A2、A3……A10,10张第一目标图像,第一部位为人脸,第二部位为身体,该10张图像中A2、A5、A10包含身体,则可以分别计算A2、A5、A10三个第一目标图像中任意两个第一目标图像包含的身体的属性信息的相似度,假设A2、A5的身体的属性信息的相似度为0.75,A2、A10的身体的属性信息的相似度为0.85,A5、A10的身体的属性信息的相似度为0.90,相似度满足预设的第三要求为第一目标图像A5、A10的身体的属性信息,即候选第一目标图像为A5、A10。
由于在本发明实施例中,通过第一目标图像,确认候选第一目标图像,根据候选第一目标图像的第二子结构化信息及保存的每个图像的子结构化信息进行对比,此方法提高了检索的效率。
下面再通过一个具体实施例说明基于监控视频进行图像检索的过程,图4为本发明实施例提供的另一种基于监控视频进行图像检索的过程示意图,如图4所示:
S401:针对监控视频中行人的每个图像,电子设备中保存有该图像的结构化信息组,该结构化信息组中包括该图像的人脸的结构化信息、身体的结构化信息、人体结构化信息。
在本发明实施例中,可以选择结构化信息中的高维特征作为子结构化信息,下面步骤中均以高维特征作为子结构化信息为例进行举例说明。
S402:判断待检索行人的图像中是否同时包含第一部位和第二部位,如果是,进行步骤S403,否则,进行步骤S406。
其中,如果待检索行人的图像中同时包含第一部位和第二部位,则认为该图像为包含人体的图像。
S403:根据电子设备中保存的每个图像的人脸的高维特征,查找电子设备中保存的图像的人脸的高维特征与待检索行人的图像的人脸部位对应的高维特征的相似度大于第一阈值的每个第一目标图像,其中,第一阈值可以为0.95。
S404:根据电子设备中保存的每个图像的身体的高维特征,查找电子设备中保存的图像的身体的高维特征与待检索行人的图像的身体部位对应的高维特征的相似度大于第二阈值的每个第二目标图像。其中,第二阈值可以为0.85。
S405:将每个第一目标图像和每个第二目标图像作为检索到的图像。
S406:确认待检索行人的第一部位的图像,如果第一部位为人脸则执行步骤S407,如果第一部位为身体,则执行步骤S412。
S407:获取接收到的待检索行人的人脸图像中的人脸的高维特征。
S408:根据电子设备中保存的每个图像的人脸的结构化信息中的高维特征,查找电子设备中保存的图像的人脸的高维特征与待检索行人的图像的人脸的高维特征的相似度大于第一阈值的每个第一目标图像。其中,第一阈值可以为0.95。
S409:判断第一目标图像中是否包含身体,如果包含,则进行S410。
S410:将包含身体的第一目标图像确定为候选第一目标图像,根据每个候选第一目标图像的身体的高维特征及电子设备中保存的每个图像的身体的高维特征,查找电子设备中保存的图像的身体的高维特征与每个候选第一目标图像的高维特征的相似度大于第二阈值的每个第二目标图像。其中第二阈值可以为0.90。
S411:将每个第一目标图像和每个第二目标图像作为检索到的图像。
S412:获取接收到的待检索行人的身体图像中的身体的高维特征。
S413:根据电子设备中保存的每个图像的身体的结构化信息中高维特征,查找电子设备中保存的图像的身体的高维特征与待检索行人的图像的身体的高维特征的相似度大于第一阈值的每个第一目标图像。其中第一阈值可以为0.85。
S414:判断第一目标图像中是否包含人脸,如果包含,则进行S415。
S415:将包含人脸的第一目标图像确定为候选第一目标图像,根据每个候选第一目标图像的人脸的高维特征及电子设备中保存的每个图像的人脸的结构化信息中高维特征,查找电子设备中保存的图像的人脸的高维特征与每个候选第一目标图像的人脸的高维特征的相似度大于第二阈值的每个第二目标图像。其中第二阈值可以为0.95。
S416:将每个第一目标图像和每个第二目标图像作为检索到的图像。
实施例4:
图5为本发明实施例提供的一种基于监控视频进行图像检索的装置,如图5所示,在上述各实施例的基础上,本发明实施例提供的一种基于监控视频进行图像检索的装置,所述装置包括:
获取模块51,用于获取接收到的待检索行人的第一部位的图像的第一子结构化信息,其中所述第一部位为人脸或者身体;
查找模块52,用于根据保存的每个图像的所述第一部位的子结构化信息,查找所述第一部位的子结构化信息与所述第一子结构化信息的相似度满足第一要求的每个第一目标图像;
第一确定模块53,用于根据所述每个第一目标图像,确定候选第一目标图像;
所述查找模块52,还用于根据所述每个候选第一目标图像的第二部位的第二子结构化信息及保存的每个图像的第二部位的子结构化信息,查找所述第二部位的子结构化信息与所述第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中所述第二部位为身体或人脸;
第二确定模块54,用于将所述每个第一目标图像和所述每个第二目标图像作为检索到的图像。
优选地,所述装置还包括:
生成模块,用于针对保存的每个图像,判断该图像是否包含身体;若否,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息。
优选地,所述生成模块,具体用于在所述子结构化信息包括属性信息和高维特征时,根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
优选地,所述生成模块,具体用于在所述子结构化信息包括属性信息和高维特征时,根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
优选地,所述第一确定模块53,具体用于将每个第一目标图像,确定为候选第一目标图像;或,针对所述每个第一目标图像中任意两个第一目标图像,确定该两个第一目标图像的第二子结构化信息的相似度;获取相似度满足第三要求的第一目标图像作为候选第一目标图像。
本发明实施例通过当监控视频中部分行人图像的结构化信息不全时,如果接收到待检索行人的第一部位的图像,其中,第一部位为人脸或者身体,根据待检索行人的第一部位的第一子结构化信息,查找保存的每个图像的第一部位的子结构化信息中与待检索行人的图像的第一部位的第一子结构化信息的相似度满足第一要求的每个第一目标图像,并基于第一目标图像确定的候选第一目标图像,查找保存的每个图像的第二部位的子结构化信息与每个候选第一目标图像的第二部位的第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中第二部位为身体或人脸,因为在进行图像查找时,第一目标图像是基于每个图像的第一部位的子结构化信息查找得到的,第二目标图像是基于每个图像的第二部位的子结构化信息查找到的,因此将每个第一目标图像和每个第二目标图像作为检索到的图像,可在一定程度上提高检索结果的准确性。
实施例5:
图6为本发明实施例提供的一种电子设备结构示意图,在上述各实施例的基础上,本发明实施例还提供了一种电子设备,如图6所示,包括:处理器61、通信接口62、存储器63和通信总线64,其中,处理器61,通信接口62,存储器63通过通信总线64完成相互间的通信;
所述存储器63中存储有计算机程序,当所述程序被所述处理器61执行时,使得所述处理器61执行如下步骤:
获取接收到的待检索行人的第一部位的图像的第一子结构化信息,其中所述第一部位为人脸或者身体;
根据保存的每个图像的所述第一部位的子结构化信息,查找所述第一部位的子结构化信息与所述第一子结构化信息的相似度满足第一要求的每个第一目标图像;
根据所述每个第一目标图像,确定候选第一目标图像;
根据所述每个候选第一目标图像的第二部位的第二子结构化信息及保存的每个图像的第二部位的子结构化信息,查找所述第二部位的子结构化信息与所述第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中所述第二部位为身体或人脸;
将所述每个第一目标图像和所述每个第二目标图像作为检索到的图像。
在一种可能的实施方式中,处理器61,还用于所述获取接收到的待检索行人的第一部位的图像的第一子结构化信息之前,所述方法还包括:
针对保存的每个图像,判断该图像是否包含身体;
若否,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息。
在一种可能的实施方式中,处理器61,具体用于若所述子结构化信息包括属性信息和高维特征,所述根据该图像中头肩区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
在一种可能的实施方式中,处理器61,具体用于所述根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标包括:根据以下公式
Figure BDA0002462525900000241
确定图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,其中,h1和h2为第一外接矩形坐标框中对角线上两个顶点,p1和p2为第二外接矩形坐标框中对角线上两个顶点,
Figure BDA0002462525900000251
为人体与肩膀高度的统计系数。
在一种可能的实施方式中,处理器61,具体用于若所述子结构化信息包括属性信息和高维特征,所述根据该图像中人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
在一种可能的实施方式中,处理器61,具体用于所述根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标包括:
根据以下公式:
(xp1,yp1,xp2,yp2)=(0.5×(5xf1-3xf2),2yf1-yf2,0.5×(5xf2-3xf1),6yf2-5yf1),确定图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,其中,f1和f2为第三外接矩形坐标框中对角线上两个顶点,p1和p2为第二外接矩形坐标框中对角线上两个顶点。
在一种可能的实施方式中,处理器61,具体用于所述根据所述每个第一目标图像,确定候选第一目标图像包括;
将每个第一目标图像,确定为候选第一目标图像;或
针对所述每个第一目标图像中任意两个第一目标图像,确定该两个第一目标图像的第二子结构化信息的相似度;获取相似度满足第三要求的第一目标图像作为候选第一目标图像。
由于上述电子设备解决问题的原理与基于监控视频进行图像检索的方法相似,因此上述电子设备的实施可以参见方法的实施,重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口62用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字指令处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本发明实施例通过当监控视频中部分行人图像的结构化信息不全时,如果接收到待检索行人的第一部位的图像,其中,第一部位为人脸或者身体,根据待检索行人的第一部位的第一子结构化信息,查找保存的每个图像的第一部位的子结构化信息中与待检索行人的图像的第一部位的第一子结构化信息的相似度满足第一要求的每个第一目标图像,并基于第一目标图像确定的候选第一目标图像,查找保存的每个图像的第二部位的子结构化信息与每个候选第一目标图像的第二部位的第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中第二部位为身体或人脸,因为在进行图像查找时,第一目标图像是基于每个图像的第一部位的子结构化信息查找得到的,第二目标图像是基于每个图像的第二部位的子结构化信息查找到的,因此将每个第一目标图像和每个第二目标图像作为检索到的图像,可在一定程度上提高检索结果的准确性。
实施例6:
在上述各实施例的基础上,本发明实施例提供的一种计算机可读存储介质,所述计算机可读存储介质内存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行时实现如下步骤:
获取接收到的待检索行人的第一部位的图像的第一子结构化信息,其中所述第一部位为人脸或者身体;
根据保存的每个图像的所述第一部位的子结构化信息,查找所述第一部位的子结构化信息与所述第一子结构化信息的相似度满足第一要求的每个第一目标图像;
根据所述每个第一目标图像,确定候选第一目标图像;
根据所述每个候选第一目标图像的第二部位的第二子结构化信息及保存的每个图像的第二部位的子结构化信息,查找所述第二部位的子结构化信息与所述第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中所述第二部位为身体或人脸;
将所述每个第一目标图像和所述每个第二目标图像作为检索到的图像。
在一种可能的实施方式中,所述获取接收到的待检索行人的第一部位的图像的第一子结构化信息之前,还包括:
针对保存的每个图像,判断该图像是否包含身体;
若否,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息。
在一种可能的实施方式中,子结构化信息包括属性信息和/或高维特征。
在一种可能的实施方式中,若所述子结构化信息包括属性信息和高维特征,所述根据该图像中头肩区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
在一种可能的实施方式中,所述根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标包括:
根据以下公式
Figure BDA0002462525900000281
确定图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,其中,h1和h2为第一外接矩形坐标框中对角线上两个顶点,p1和p2为第二外接矩形坐标框中对角线上两个顶点,
Figure BDA0002462525900000282
为人体与肩膀高度的统计系数。
在一种可能的实施方式中,若所述子结构化信息包括属性信息和高维特征,所述根据该图像中人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
在一种可能的实施方式中,所述根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标包括:
根据以下公式:
(xp1,yp1,xp2,yp2)=(0.5×(5xf1-3xf2),2yf1-yf2,0.5×(5xf2-3xf1),6yf2-5yf1),确定图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,其中,f1和f2为第三外接矩形坐标框中对角线上两个顶点,p1和p2为第二外接矩形坐标框中对角线上两个顶点。
在一种可能的实施方式中,所述根据所述每个第一目标图像,确定候选第一目标图像包括;
将每个第一目标图像,确定为候选第一目标图像;或
针对所述每个第一目标图像中任意两个第一目标图像,确定该两个第一目标图像的第二子结构化信息的相似度;获取相似度满足第三要求的第一目标图像作为候选第一目标图像。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
本发明实施例通过当监控视频中部分行人图像的结构化信息不全时,如果接收到待检索行人的第一部位的图像,其中,第一部位为人脸或者身体,根据待检索行人的第一部位的第一子结构化信息,查找保存的每个图像的第一部位的子结构化信息中与待检索行人的图像的第一部位的第一子结构化信息的相似度满足第一要求的每个第一目标图像,并基于第一目标图像确定的候选第一目标图像,查找保存的每个图像的第二部位的子结构化信息与每个候选第一目标图像的第二部位的第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中第二部位为身体或人脸,因为在进行图像查找时,第一目标图像是基于每个图像的第一部位的子结构化信息查找得到的,第二目标图像是基于每个图像的第二部位的子结构化信息查找到的,因此将每个第一目标图像和每个第二目标图像作为检索到的图像,可在一定程度上提高检索结果的准确性。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种基于监控视频进行图像检索的方法,其特征在于,所述方法包括:
获取接收到的待检索行人的第一部位的图像的第一子结构化信息,其中所述第一部位为人脸或者身体;
根据保存的每个图像的所述第一部位的子结构化信息,查找所述第一部位的子结构化信息与所述第一子结构化信息的相似度满足第一要求的每个第一目标图像;
根据所述每个第一目标图像,确定候选第一目标图像;
根据所述每个候选第一目标图像的第二部位的第二子结构化信息及保存的每个图像的第二部位的子结构化信息,查找所述第二部位的子结构化信息与所述第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中所述第二部位为身体或人脸;
将所述每个第一目标图像和所述每个第二目标图像作为检索到的图像。
2.根据权利要求1所述的方法,其特征在于,所述获取接收到的待检索行人的第一部位的图像的第一子结构化信息之前,所述方法还包括:
针对保存的每个图像,判断该图像是否包含身体;
若否,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息。
3.根据权利要求1或2所述的方法,其特征在于,子结构化信息包括属性信息和/或高维特征。
4.根据权利要求3所述的方法,其特征在于,若所述子结构化信息包括属性信息和高维特征,所述根据该图像中头肩区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
5.根据权利要求4所述的方法,其特征在于,所述根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标包括:根据以下公式
Figure FDA0002462525890000021
确定图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,其中,h1和h2为第一外接矩形坐标框中对角线上两个顶点,p1和p2为第二外接矩形坐标框中对角线上两个顶点,
Figure FDA0002462525890000022
为人体与肩膀高度的统计系数。
6.根据权利要求3所述的方法,其特征在于,若所述子结构化信息包括属性信息和高维特征,所述根据该图像中人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息包括:
根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;
基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;
获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
7.根据权利要求6所述的方法,其特征在于,所述根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标包括:
根据以下公式
(xp1,yp1,xp2,yp2)=(0.5×(5xf1-3xf2),2yf1-yf2,0.5×(5xf2-3xf1),6yf2-5yf1),确定图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标,其中,f1和f2为第三外接矩形坐标框中对角线上两个顶点,p1和p2为第二外接矩形坐标框中对角线上两个顶点。
8.根据权利要求1或2所述的方法,其特征在于,所述根据所述每个第一目标图像,确定候选第一目标图像包括;
将每个第一目标图像,确定为候选第一目标图像;或
针对所述每个第一目标图像中任意两个第一目标图像,确定该两个第一目标图像的第二子结构化信息的相似度;获取相似度满足第三要求的第一目标图像作为候选第一目标图像。
9.一种基于监控视频进行图像检索的装置,其特征在于,所述装置包括:
获取模块,用于获取接收到的待检索行人的第一部位的图像的第一子结构化信息,其中所述第一部位为人脸或者身体;
查找模块,用于根据保存的每个图像的所述第一部位的子结构化信息,查找所述第一部位的子结构化信息与所述第一子结构化信息的相似度满足第一要求的每个第一目标图像;
第一确定模块,用于根据所述每个第一目标图像,确定候选第一目标图像;
所述查找模块,还用于根据所述每个候选第一目标图像的第二部位的第二子结构化信息及保存的每个图像的第二部位的子结构化信息,查找所述第二部位的子结构化信息与所述第二子结构化信息的相似度满足第二要求的每个第二目标图像,其中所述第二部位为身体或人脸;
第二确定模块,用于将所述每个第一目标图像和所述每个第二目标图像作为检索到的图像。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
生成模块,用于针对保存的每个图像,判断该图像是否包含身体;若否,根据该图像中头肩区域的位置信息或人脸区域的位置信息及对应的预设算法,生成该图像的身体的子结构化信息,并针对该图像保存生成的该身体的子结构化信息。
11.根据权利要求10所述的装置,其特征在于,所述生成模块,具体用于在所述子结构化信息包括属性信息和高维特征时,根据该图像中头肩区域的第一外接矩形坐标框中对角线上两个顶点的坐标,及预设的第一算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
12.根据权利要求10所述的装置,其特征在于,所述生成模块,具体用于在所述子结构化信息包括属性信息和高维特征时,根据该图像中人脸区域的第三外接矩形坐标框中对角线上两个顶点的坐标,及预设的第二算法,得到该图像中人体区域的第二外接矩形坐标框中对角线上两个顶点的坐标;基于预先训练完成的特征提取模型,获取包含人体区域的图像的人体的高维特征;并基于预先训练完成的分类模型,获取包含人体区域的图像的人体的属性信息;获取所述人体的高维特征中的身体的高维特征及人体的属性信息中的身体的属性信息构建身体的子结构化信息。
13.根据权利要求9或10所述的装置,其特征在于,所述第一确定模块,具体用于将每个第一目标图像,确定为候选第一目标图像;或,针对所述每个第一目标图像中任意两个第一目标图像,确定该两个第一目标图像的第二子结构化信息的相似度;获取相似度满足第三要求的第一目标图像作为候选第一目标图像。
14.一种电子设备,其特征在于,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-8中任一所述基于监控视频进行图像检索的方法的步骤。
15.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-8中任一所述基于监控视频进行图像检索的方法的步骤。
CN202010324076.5A 2020-04-22 2020-04-22 基于监控视频进行图像检索的方法、装置、设备及介质 Active CN111538861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010324076.5A CN111538861B (zh) 2020-04-22 2020-04-22 基于监控视频进行图像检索的方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010324076.5A CN111538861B (zh) 2020-04-22 2020-04-22 基于监控视频进行图像检索的方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111538861A true CN111538861A (zh) 2020-08-14
CN111538861B CN111538861B (zh) 2023-08-15

Family

ID=71975228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010324076.5A Active CN111538861B (zh) 2020-04-22 2020-04-22 基于监控视频进行图像检索的方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111538861B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269828A (zh) * 2021-04-25 2021-08-17 青岛海尔空调器有限总公司 物品查找方法、装置、空调设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1260934A2 (en) * 2001-05-22 2002-11-27 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
CN107644208A (zh) * 2017-09-21 2018-01-30 百度在线网络技术(北京)有限公司 人脸检测方法和装置
CN108664526A (zh) * 2017-04-01 2018-10-16 华为技术有限公司 检索的方法和设备
CN108984799A (zh) * 2018-08-21 2018-12-11 北京深瞐科技有限公司 一种视频数据处理方法及装置
CN109426785A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
CN109829356A (zh) * 2018-12-05 2019-05-31 科大讯飞股份有限公司 神经网络的训练方法及基于神经网络的行人属性识别方法
WO2019114036A1 (zh) * 2017-12-12 2019-06-20 深圳云天励飞技术有限公司 人脸检测方法及装置、计算机装置和计算机可读存储介质
US20190197299A1 (en) * 2017-12-27 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for detecting body
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪(北京)教育科技有限公司 姿态问题检测方法及装置
CN109993102A (zh) * 2019-03-28 2019-07-09 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质
WO2019153830A1 (zh) * 2018-02-12 2019-08-15 北京市商汤科技开发有限公司 行人再识别方法、装置、电子设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1260934A2 (en) * 2001-05-22 2002-11-27 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
CN108664526A (zh) * 2017-04-01 2018-10-16 华为技术有限公司 检索的方法和设备
CN109426785A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
CN107644208A (zh) * 2017-09-21 2018-01-30 百度在线网络技术(北京)有限公司 人脸检测方法和装置
WO2019114036A1 (zh) * 2017-12-12 2019-06-20 深圳云天励飞技术有限公司 人脸检测方法及装置、计算机装置和计算机可读存储介质
US20190197299A1 (en) * 2017-12-27 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for detecting body
WO2019153830A1 (zh) * 2018-02-12 2019-08-15 北京市商汤科技开发有限公司 行人再识别方法、装置、电子设备和存储介质
CN108984799A (zh) * 2018-08-21 2018-12-11 北京深瞐科技有限公司 一种视频数据处理方法及装置
CN109829356A (zh) * 2018-12-05 2019-05-31 科大讯飞股份有限公司 神经网络的训练方法及基于神经网络的行人属性识别方法
CN109993102A (zh) * 2019-03-28 2019-07-09 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪(北京)教育科技有限公司 姿态问题检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘锋,王宣银,王全强: "智能监控中基于头肩特征的人体检测方法研究", no. 04 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269828A (zh) * 2021-04-25 2021-08-17 青岛海尔空调器有限总公司 物品查找方法、装置、空调设备和存储介质

Also Published As

Publication number Publication date
CN111538861B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN111010590A (zh) 一种视频裁剪方法及装置
CN110991465B (zh) 一种物体识别方法、装置、计算设备及存储介质
Li et al. Integrating a statistical background-foreground extraction algorithm and SVM classifier for pedestrian detection and tracking
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
CN109740517A (zh) 一种确定待识别对象的方法及装置
CN108875542B (zh) 一种人脸识别方法、装置、系统及计算机存储介质
CN109740415A (zh) 车辆属性识别方法及相关产品
CN111160140B (zh) 一种图像检测方法及装置
CN112381075A (zh) 一种机房特定场景下进行人脸识别的方法及系统
KR102592551B1 (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN111027507A (zh) 基于视频数据识别的训练数据集生成方法及装置
CN109815842A (zh) 一种确定待识别对象的属性信息的方法及装置
CN112905824A (zh) 目标车辆追踪方法、装置、计算机设备及存储介质
CN107315984B (zh) 一种行人检索的方法及装置
CN109800675A (zh) 一种确定人脸对象的识别图像的方法及装置
CN112966758A (zh) 一种农作物病虫草害识别方法、装置、系统及存储介质
CN110909565A (zh) 图像识别和行人再识别方法及装置,电子和存储设备
Zeng et al. Amorphous region context modeling for scene recognition
CN111538861B (zh) 基于监控视频进行图像检索的方法、装置、设备及介质
CN113470013A (zh) 一种搬移物品的检测方法及装置
CN113837006A (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN111444373A (zh) 图像检索方法及其装置、介质和系统
CN111259832B (zh) 一种犬只的识别方法,识别装置,机器可读介质以及系统
CN116844077A (zh) 视频处理的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant