CN112528078B - 一种图像归档方法、装置及设备 - Google Patents

一种图像归档方法、装置及设备 Download PDF

Info

Publication number
CN112528078B
CN112528078B CN202011492937.7A CN202011492937A CN112528078B CN 112528078 B CN112528078 B CN 112528078B CN 202011492937 A CN202011492937 A CN 202011492937A CN 112528078 B CN112528078 B CN 112528078B
Authority
CN
China
Prior art keywords
image
target
human body
value
parameter value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011492937.7A
Other languages
English (en)
Other versions
CN112528078A (zh
Inventor
谢佳形
陈鑫嘉
焦庆磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011492937.7A priority Critical patent/CN112528078B/zh
Publication of CN112528078A publication Critical patent/CN112528078A/zh
Application granted granted Critical
Publication of CN112528078B publication Critical patent/CN112528078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像归档方法、装置及设备,该方法包括:获取监控对象的图像集合,图像集合包括多个抓拍图像;确定每个抓拍图像对应的特征参数值,基于所有抓拍图像对应的特征参数值确定特征集合;从特征集合中选取特征参数值作为目标特征参数值,从图像集合中选取与目标特征参数值匹配的目标抓拍图像;若目标对象的所有封面图像中存在与目标特征参数值匹配的目标封面图像,则确定所述目标抓拍图像与所述目标封面图像的相似度;若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像。通过本申请的技术方案,提高图像归档的准确性,有效地避免图像归档的分析结果出现错误。

Description

一种图像归档方法、装置及设备
技术领域
本申请涉及智能监控技术领域,尤其涉及一种图像归档方法、装置及设备。
背景技术
随着安防产业和AI(Artificial Intelligence,人工智能)技术的发展,视频监控系统的应用越来越广泛。在视频监控系统中,如何对监控视频中的目标对象进行自动整理归档,已经成为关键性需求。图像归档是实现自动整理归档的一种技术,图像归档是指识别目标对象的图像,并为目标对象的多个图像设置同一个标签,这个标签作为目标对象的唯一标识。通过该唯一标识获知目标对象的多个图像,目标对象的结构化信息,目标对象的经纬度信息等。若对目标对象进行布控,通过图像归档可以查询到目标对象的实时位置和行走轨迹等。
为了实现图像归档,可以确定抓拍图像与目标对象的已存储图像的相似度。若该相似度大于相似度阈值,则确定该抓拍图像中的对象是目标对象。若该相似度不大于相似度阈值,则确定该抓拍图像中的对象不是目标对象。
由于物理环境的影响(如光照、摄像头与人体的相对位置等),会导致同一对象的图像形态各异,如站立和坐着等。若已存储图像为站立态图像,抓拍图像为站立态图像,则相似度大于相似度阈值,确定抓拍图像中的对象是目标对象。若已存储图像为坐着态图像,抓拍图像接为站立态图像,则相似度可能不大于相似度阈值,确定抓拍图像中的对象不是目标对象,即结果错误。
发明内容
本申请提供一种图像归档方法,所述方法包括:
获取监控对象的图像集合,所述图像集合包括监控对象的多个抓拍图像;
确定每个抓拍图像对应的特征参数值,并基于所有抓拍图像对应的特征参数值确定特征集合,所述特征集合包括不重复的特征参数值;
从所述特征集合中选取特征参数值作为目标特征参数值,并从所述图像集合中选取与所述目标特征参数值匹配的目标抓拍图像;
若目标对象的所有封面图像中存在与所述目标特征参数值匹配的目标封面图像,则确定所述目标抓拍图像与所述目标封面图像的相似度;
若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像。
在一种可能的实施方式中,若所述特征参数值包括目标人体朝向值,所述确定每个抓拍图像对应的特征参数值,包括:
针对每个抓拍图像,将所述抓拍图像输入给已训练的人体朝向模型,由人体朝向模型输出与所述抓拍图像对应的第一人体朝向值,及所述第一人体朝向值的置信度;其中,所述人体朝向模型是用于预测人体朝向值的机器学习模型;
若所述第一人体朝向值的置信度大于预设第一置信度阈值,则将所述第一人体朝向值确定为所述抓拍图像对应的目标人体朝向值。
在一种可能的实施方式中,所述确定每个抓拍图像对应的特征参数值,还包括:若所述第一人体朝向值的置信度不大于预设第一置信度阈值,且所述第一人体朝向值与历史图像对应的目标人体朝向值相同,则将所述第一人体朝向值确定为所述抓拍图像对应的目标人体朝向值;其中,所述历史图像是所述图像集合中与所述抓拍图像相邻的、且已经确定出目标人体朝向值的抓拍图像。
在一种可能的实施方式中,所述确定每个抓拍图像对应的特征参数值,还包括:若所述第一人体朝向值的置信度不大于预设第一置信度阈值,且所述第一人体朝向值与历史图像对应的目标人体朝向值不同,则获取所述监控对象的人体运动轨迹,并基于所述人体运动轨迹确定所述监控对象的运动方向;
基于所述运动方向确定与所述抓拍图像对应的第二人体朝向值;
将所述第二人体朝向值确定为所述抓拍图像对应的目标人体朝向值。
在一种可能的实施方式中,若所述特征参数值包括目标人体姿态值,所述确定每个抓拍图像对应的特征参数值,包括:
针对每个抓拍图像,将所述抓拍图像输入给已训练的人体姿态模型,由人体姿态模型输出与所述抓拍图像对应的第一人体姿态值,及所述第一人体姿态值的置信度;其中,所述人体姿态模型是用于预测人体姿态值的机器学习模型;
若所述第一人体姿态值的置信度大于预设第二置信度阈值,则将所述第一人体姿态值确定为所述抓拍图像对应的目标人体姿态值。
在一种可能的实施方式中,所述确定每个抓拍图像对应的特征参数值,还包括:若所述第一人体姿态值的置信度不大于预设第二置信度阈值,则从所述抓拍图像中获取所述监控对象的检测框,并基于所述检测框的长度与所述检测框的宽度的比例,确定与所述抓拍图像对应的第二人体姿态值;
将所述第二人体姿态值确定为所述抓拍图像对应的目标人体姿态值。
在一种可能的实施方式中,所述从所述特征集合中选取特征参数值作为目标特征参数值,包括:对所述特征集合中的所有特征参数值进行排序;基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值;
所述从所述特征集合中选取特征参数值作为目标特征参数值之后,所述方法还包括:若所述目标对象的所有封面图像中不存在与所述目标特征参数值匹配的目标封面图像,则返回执行基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值的操作。
在一种可能的实施方式中,所述将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像之后,所述方法还包括:
从所述图像集合中选取待存储抓拍图像,所述目标对象的所有封面图像对应的特征参数值不包括所述待存储抓拍图像对应的特征参数值;
将所述待存储抓拍图像存储为所述目标对象的封面图像。
本申请提供一种图像归档装置,所述装置包括:获取模块,用于获取监控对象的图像集合,所述图像集合包括所述监控对象的多个抓拍图像;
确定模块,用于确定每个抓拍图像对应的特征参数值,并基于所有抓拍图像对应的特征参数值确定特征集合,所述特征集合包括不重复的特征参数值;
选取模块,用于从所述特征集合中选取特征参数值作为目标特征参数值,并从所述图像集合中选取与所述目标特征参数值匹配的目标抓拍图像;
确定模块,还用于若目标对象的所有封面图像中存在与所述目标特征参数值匹配的目标封面图像,确定所述目标抓拍图像与所述目标封面图像的相似度;
归档模块,用于若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像。
本申请提供一种图像归档设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
获取监控对象的图像集合,所述图像集合包括监控对象的多个抓拍图像;
确定每个抓拍图像对应的特征参数值,并基于所有抓拍图像对应的特征参数值确定特征集合,所述特征集合包括不重复的特征参数值;
从所述特征集合中选取特征参数值作为目标特征参数值,并从所述图像集合中选取与所述目标特征参数值匹配的目标抓拍图像;
若目标对象的所有封面图像中存在与所述目标特征参数值匹配的目标封面图像,则确定所述目标抓拍图像与所述目标封面图像的相似度;
若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像。
由以上技术方案可见,本申请实施例中,可以选取与目标特征参数值匹配的目标抓拍图像,并选取与目标特征参数值匹配的目标封面图像,基于目标抓拍图像与目标封面图像之间的相似度,对抓拍图像进行归档。由于目标封面图像的特征参数值与目标抓拍图像的特征参数值相同,即目标封面图像与目标抓拍图像属于同种类型的图像,因此,目标抓拍图像与目标封面图像之间的相似度结果比较准确,从而能够提高图像归档的准确性,可以有效地避免图像归档的分析结果出现错误,从而能够帮助提升对象归档准确性,提升档案准确率。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的图像归档方法的流程示意图;
图2是本申请一种实施方式中的人体朝向的示意图;
图3是本申请一种实施方式中的图像归档方法的示意图;
图4是本申请一种实施方式中的目标人体朝向值的确定流程示意图;
图5是本申请一种实施方式中的监控对象的运动方向的示意图;
图6是本申请一种实施方式中的目标人体姿态值的确定流程示意图;
图7是本申请一种实施方式中的图像归档装置的结构示意图;
图8是本申请一种实施方式中的图像归档设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在介绍本申请实施例的技术方案之前,先介绍与本申请有关的概念:
抓拍图像:通过摄像头采集到的图像,在得到抓拍图像时,抓拍图像还没有身份信息,通过对抓拍图像进行图像归档,获知抓拍图像所属的目标对象。
底库图像:通过信息采集获取的图像,如身份证图像等,底库图像一般比较清晰,在得到底库图像时,底库图像已经具有身份信息,不再进行图像归档。
封面图像:封面图像在本质上也是抓拍图像,如封面图像一般是比较清晰的抓拍图像。在得到抓拍图像时,可以对抓拍图像进行图像归档,以获知抓拍图像所属的目标对象,可以将抓拍图像作为这个目标对象的封面图像。
图像归档:识别出目标对象的图像,为目标对象的多个图像设置同一个标签,这个标签可以作为目标对象的唯一标识。通过目标对象的唯一标识,可以获知目标对象的所有数据,如多个图像(如抓拍图像、底库图像、封面图像等),结构化信息(如身份证号码,手机号码,性别,家庭住址等),经纬度信息(如抓拍图像的采集位置,可以是对抓拍图像进行采集的摄像头的位置)等。实际上,图像归档就是将同一个目标对象的所有图像归类为同一个档案。
示例性的,若对目标对象进行布控(即对目标对象进行实时监控,则每个抓拍图像均需要与目标对象的已存储图像进行比对,分析抓拍图像是否属于该目标对象),则通过图像归档可以分析出目标对象的实时位置和行走轨迹。
在相关技术中,为了实现抓拍图像的图像归档,可以采用如下方式:
在得到抓拍图像(如抓拍图像1)后,确定抓拍图像1与目标对象的已存储图像(如底库图像或封面图像)的相似度。若该相似度不大于相似度阈值,则不将抓拍图像1归档为该目标对象的抓拍图像。或者,若该相似度大于相似度阈值,则将抓拍图像1归档为该目标对象的抓拍图像。在将抓拍图像1归档为该目标对象的抓拍图像后,还可以将抓拍图像1存储为该目标对象的封面图像。
但是,由于物理环境的影响,会导致目标对象的抓拍图像的形态各异,如站立和坐着等。若已存储图像为坐着态图像,抓拍图像为站立态图像,即使已存储图像和抓拍图像属于同一目标对象,相似度也可能不大于相似度阈值,即确定抓拍图像不属于该目标对象,导致结果出现错误,即得到错误的归档结果。
针对上述发现,本申请实施例中,选取与目标特征参数值匹配的目标抓拍图像,并选取与目标特征参数值匹配的目标封面图像,基于目标抓拍图像与目标封面图像之间的相似度,对抓拍图像进行归档。由于目标封面图像的特征参数值与目标抓拍图像的特征参数值相同,即目标封面图像与目标抓拍图像属于同种类型的图像,因此,目标抓拍图像与目标封面图像的相似度结果比较准确,从而提高图像归档的准确性,有效地避免图像归档的分析结果出现错误。
以下结合具体实施例,对本申请实施例的技术方案进行说明。
本申请实施例中提出一种图像归档方法,该方法可以应用于图像归档设备,对此图像归档设备的类型不做限制,例如,可以是摄像机(如模拟摄像机或者网络摄像机等),个人计算机,终端设备,服务器,管理设备等。
参见图1所示,为图像归档方法的流程示意图,该方法可以包括:
步骤101,获取监控对象(即待归档的监控对象,该监控对象可以为用户)的图像集合,该图像集合可以包括该监控对象的多个抓拍图像。
比如说,获取监控视频,该监控视频包括至少一个对象的抓拍图像,为了区分方便,将监控视频中的每个对象称为监控对象,且以一个监控对象的图像归档过程为例。基于此,可以从监控视频中获取到包括该监控对象的抓拍图像,将这些抓拍图像存储为该监控对象的图像集合,该图像集合包括多个抓拍图像。
为了从监控视频中获取到包括该监控对象的抓拍图像,可以对监控视频中的该监控对象进行检测和跟踪,得到该监控对象的多个抓拍图像,对此检测和跟踪过程不做限制,只要能够得到该监控对象的多个抓拍图像即可。
当然,上述方式只是获取监控对象的图像集合的示例,本文并不局限于从监控视频中获取该图像集合,对此图像集合的获取方式不做限制。
步骤102,确定监控对象的每个抓拍图像对应的特征参数值。
示例性的,特征参数值可以是人体特征参数值(用于反映人体特征的参数值),也可以是人脸特征参数值(用于反映人脸特征的参数值),还可以是其它类型的特征参数值,对此不做限制。本文以人体特征参数值为例,人脸特征参数值的实现方式与人体特征参数值的实现方式类似,后续不再赘述。
在一种可能的实施方式中,用于反映人体特征的特征参数包括但不限于人体朝向和/或人体姿态,当然,上述只是两个示例,对此特征参数不做限制。用于反映人体朝向的特征参数值称为人体朝向值,用于反映人体姿态的特征参数值称为人体姿态值,即特征参数值包括但不限于人体朝向值和/或人体姿态值。
参见图2所示,人体朝向可以采用45度进行分割,划分为正面、背面、朝左、朝右、正左、正右、背左、背右等8个人体朝向,因此,人体朝向值可以包括人体正面朝向、人体背面朝向、人体朝左朝向、人体朝右朝向、人体正左朝向、人体正右朝向、人体背左朝向、人体背右朝向等8个人体朝向值。
当然,人体朝向也可以采用其它角度(如30度、60度、90度等)进行分割,划分为更多的人体朝向值,或者划分为更少的人体朝向值,对此不做限制。
人体姿态可以划分为坐姿,弯腰和站立等3个人体姿态,因此,人体姿态值可以包括人体坐姿、人体弯腰和人体站立等3个人体姿态值。当然,人体姿态也可以采用其它方式进行划分,对此人体姿态的划分方式不做限制。
综上所述,针对监控对象的每个抓拍图像,可以确定该抓拍图像对应的特征参数值,该抓拍图像对应的特征参数值可以包括但不限于目标人体朝向值(为了区分方便,将抓拍图像对应的人体朝向值记为目标人体朝向值)和/或目标人体姿态值(为了区分方便,将抓拍图像对应的人体姿态值记为目标人体姿态值)。
比如说,抓拍图像1对应的目标人体朝向值为人体背面朝向,抓拍图像1对应的目标人体姿态值为人体坐姿。抓拍图像2对应的目标人体朝向值为人体朝右朝向,抓拍图像2对应的目标人体姿态值为人体坐姿,以此类推。
步骤103,基于监控对象的所有抓拍图像对应的特征参数值确定特征集合,该特征集合包括不重复的特征参数值。例如,若特征参数值为目标人体朝向值,目标人体朝向值不同表示特征参数值不重复,目标人体朝向值相同表示特征参数值重复。若特征参数值为目标人体姿态值,目标人体姿态值不同表示特征参数值不重复,目标人体姿态值相同表示特征参数值重复。若特征参数值为目标人体朝向值和目标人体姿态值,目标人体朝向值相同且目标人体姿态值相同,表示特征参数值重复;目标人体朝向值相同且目标人体姿态值不同,表示特征参数值不重复;目标人体朝向值不同且目标人体姿态值相同,表示特征参数值不重复;目标人体朝向值不同且目标人体姿态值不同,表示特征参数值不重复。
假设抓拍图像1对应的特征参数值为人体背面朝向和人体坐姿,抓拍图像2对应的特征参数值为人体朝右朝向和人体坐姿,抓拍图像3对应的特征参数值为人体朝右朝向和人体坐姿,抓拍图像4对应的特征参数值为人体朝右朝向和人体弯腰,则抓拍图像2对应的特征参数值与抓拍图像3对应的特征参数值重复,特征集合包括特征参数值A(人体背面朝向和人体坐姿)、特征参数值B(人体朝右朝向和人体坐姿)和特征参数值C(人体朝右朝向和人体弯腰)。
综上所述,在得到监控对象的每个抓拍图像对应的特征参数值之后,就可以基于监控对象的所有抓拍图像对应的特征参数值确定特征集合。
步骤104,从特征集合中选取特征参数值作为目标特征参数值。
比如说,对特征集合中的所有特征参数值进行排序;基于排序结果,从特征集合中遍历一个特征参数值作为目标特征参数值。例如,可以按照特征参数值的重要程度从大到小的顺序,对所有特征参数值进行排序;基于排序结果,从特征集合中遍历第一个特征参数值作为目标特征参数值。或者,可以按照特征参数值的重要程度从小到大的顺序,对所有特征参数值进行排序;基于排序结果,从特征集合中遍历最后一个特征参数值作为目标特征参数值。
为了方便描述,后续以按照特征参数值的重要程度从大到小的顺序,对所有特征参数值进行排序为例。在第一次执行步骤104时,从特征集合中遍历第一个特征参数值作为目标特征参数值;在第二次执行步骤104时,从特征集合中遍历第二个特征参数值作为目标特征参数值,以此类推。
为了确定特征集合中每个特征参数值的重要程度,可以采用如下方式:预先配置所有特征参数值的重要程度,基于预先配置的所有特征参数值的重要程度,针对特征集合中每个特征参数值,可以确定该特征参数值的重要程度。
比如说,8个人体朝向值和3个人体姿态值一共组合成24个特征参数值,如(人体正面朝向+人体坐姿)、(人体正面朝向+人体弯腰)、(人体正面朝向+人体站立)、(人体背面朝向+人体坐姿)、(人体背面朝向+人体弯腰)、(人体背面朝向+人体站立)…,可以预先配置这24个特征参数值的重要程度。
关于24个特征参数值的重要程度,本实施例中不做限制,比如说,对人体朝向值的重要值和人体姿态值的重要值进行加权运算,得到特征参数值的重要程度。关于人体朝向值的重要值,可以根据经验配置,如人体正面朝向的重要值大于人体朝左朝向的重要值,人体朝左朝向的重要值大于人体背面朝向的重要值等,对此不做限制,当人体朝向值的匹配准确性越高时,该人体朝向值的重要值越大。关于人体姿态值的重要值,可以根据经验配置,如人体站立的重要值大于人体坐姿的重要值,人体坐姿的重要值大于人体弯腰的重要值等,对此不做限制,当人体姿态值的匹配准确性越高时,该人体姿态值的重要值越大。
在得到特征集合后,若特征集合包括特征参数值A、特征参数值B和特征参数值C,基于预先配置的24个特征参数值的重要程度,可以查询到特征参数值A(属于24个特征参数值中的某一个)的重要程度,特征参数值B的重要程度和特征参数值C的重要程度。基于各特征参数值的重要程度,可以对特征集合中的所有特征参数值进行排序,假设排序结果为特征参数值B、特征参数值A、特征参数值C,则从特征集合中选取特征参数值B作为目标特征参数值。
步骤105,从监控对象的图像集合中选取与该目标特征参数值匹配的目标抓拍图像,即,该目标抓拍图像对应的特征参数值与该目标特征参数值相同。
比如说,从监控对象的图像集合中选取出所有候选抓拍图像,每个候选抓拍图像对应的特征参数值均与目标特征参数值相同。然后,从所有候选抓拍图像中选取一个候选抓拍图像作为与该目标特征参数值匹配的目标抓拍图像。
例如,可以随机选取一个候选抓拍图像作为目标抓拍图像,或者,可以选取图像质量最高的候选抓拍图像作为目标抓拍图像,对此选取方式不做限制。
关于抓拍图像的图像质量,该图像质量用于反映抓拍图像的好坏,如基于抓拍图像的清晰度,曝光,颜色,噪音等属性,确定抓拍图像的图像质量,关于抓拍图像的图像质量的确定方式,本实施例中不做限制。
步骤106,若目标对象的所有封面图像中存在与该目标特征参数值匹配的目标封面图像,则确定该目标抓拍图像与该目标封面图像的相似度。若目标对象的所有封面图像中不存在与该目标特征参数值匹配的目标封面图像,则返回执行步骤104,即从特征集合中选取另一个特征参数值作为目标特征参数值。
在一种可能的实施方式中,为了确定监控对象的抓拍图像是否属于目标对象(如目标用户,即已经具有身份的目标对象)的抓拍图像,则先判断该目标对象的所有封面图像中是否存在与该目标特征参数值匹配的封面图像。
若存在与该目标特征参数值匹配的封面图像,则从目标对象的所有封面图像中选取出所有候选封面图像,每个候选封面图像对应的特征参数值均与目标特征参数值相同。然后,从所有候选封面图像中选取一个候选封面图像作为与该目标特征参数值匹配的目标封面图像。例如,可以随机选取一个候选封面图像作为目标封面图像,或者,可以选取图像质量最高的候选封面图像作为目标封面图像。显然,目标封面图像对应的特征参数值与该目标特征参数值相同。
然后,确定目标抓拍图像与目标封面图像的相似度,比如说,获取目标抓拍图像的特征模型,并获取目标封面图像的特征模型,确定目标抓拍图像的特征模型与目标封面图像的特征模型的相似度,而目标抓拍图像的特征模型与目标封面图像的特征模型的相似度,就是目标抓拍图像与目标封面图像的相似度。
针对图像的特征模型,该特征模型是通过算法对图像中的目标进行描述的一串二进制数据,可以通过大量特征点来表示特征模型,显然,当特征点的数量越多时,则特征模型越长,特征模型对目标的识别更加准确。
针对特征模型的相似度,可以基于欧式距离或余弦距离等,确定特征模型的相似度,对此确定方式不做限制,能够得到特征模型的相似度即可。
若目标对象的所有封面图像中不存在与该目标特征参数值匹配的封面图像,即不存在上述目标封面图像,则返回执行步骤104。在返回执行步骤104时,需要基于排序结果,从特征集合中遍历另一个特征参数值作为目标特征参数值。
比如说,特征集合中的所有特征参数值的排序结果为特征参数值B、特征参数值A、特征参数值C,则第一次执行步骤104时,选取特征参数值B作为目标特征参数值。在步骤106中,若目标对象的所有封面图像中不存在与特征参数值B匹配的目标封面图像,则返回执行步骤104,选取特征参数值A作为目标特征参数值。在步骤106中,若目标对象的所有封面图像中不存在与特征参数值A匹配的目标封面图像,则返回执行步骤104,选取特征参数值C作为目标特征参数值。在步骤106中,若目标对象的所有封面图像中不存在与特征参数值C匹配的目标封面图像,则结束特征集合的遍历操作。
在结束特征集合的遍历操作后,可以从目标对象的所有封面图像中随机选取一个封面图像作为目标封面图像,或者,选取图像质量最高的封面图像作为目标封面图像。显然,目标封面图像对应的特征参数值与该目标特征参数值不同。当然,也可以将目标对象的底库图像作为目标封面图像,对此不做限制。在得到目标封面图像后,可以确定目标抓拍图像与目标封面图像的相似度。
步骤107,若该目标抓拍图像与该目标封面图像的相似度大于相似度阈值,则将该监控对象的抓拍图像归档为该目标对象的抓拍图像。
示例性的,若该目标抓拍图像与该目标封面图像的相似度不大于相似度阈值,则该监控对象的抓拍图像不属于该目标对象的抓拍图像,完成针对该目标对象的比对过程。针对另一目标对象,返回执行步骤106-步骤107,确定该监控对象的抓拍图像是否属于该目标对象的抓拍图像,以此类推,一直到将该监控对象的抓拍图像归档为某个目标对象的抓拍图像。或者,该监控对象的抓拍图像不属于所有目标对象的抓拍图像,将该监控对象作为一个新建目标对象。
在一个例子中,上述执行顺序只是为了方便描述给出的一个示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见,本申请实施例中,可以选取与目标特征参数值匹配的目标抓拍图像,并选取与目标特征参数值匹配的目标封面图像,基于目标抓拍图像与目标封面图像之间的相似度,对抓拍图像进行归档。由于目标封面图像的特征参数值与目标抓拍图像的特征参数值相同,即目标封面图像与目标抓拍图像属于同种类型的图像,因此,目标抓拍图像与目标封面图像之间的相似度结果比较准确,从而能够提高图像归档的准确性,可以有效地避免图像归档的分析结果出现错误,从而能够帮助提升对象归档准确性,提升档案准确率。
在一种可能的实施方式中,参见图3所示,为图像归档方法的示意图,以特征参数值包括人体朝向值和人体姿态值为例,可以增加人体角度判断子系统和人体姿态判断子系统,人体角度判断子系统用于确定抓拍图像的目标人体朝向值,人体姿态判断子系统用于确定抓拍图像的目标人体姿态值。
参见图3所示,针对摄像头采集的监控视频,可以对监控视频中的监控对象进行目标检测和目标跟踪,得到监控对象的图像集合,该图像集合包括监控对象的多个抓拍图像。针对监控对象的每个抓拍图像,由人体角度判断子系统确定抓拍图像的目标人体朝向值,由人体姿态判断子系统确定抓拍图像的目标人体姿态值。基于抓拍图像的目标人体朝向值和目标人体姿态值,就可以选取出一帧抓拍图像作为目标抓拍图像,进行后续的属性识别和人员归档等操作。
比如说,基于抓拍图像的目标人体朝向值和目标人体姿态值,可以从所有抓拍图像中选取目标抓拍图像,并从目标对象的所有封面图像中选取目标封面图像,基于目标抓拍图像与目标封面图像的相似度,可以确定该监控对象的抓拍图像是否属于该目标图像,从而完成属性识别和人员归档等操作。
相比于人脸特征参数值,本实施例的人体特征参数值(如人体朝向值和人体姿态值)更加多样,但是特征提取和检索难度更大,因此,可以保存同一个目标对象的多个角度和姿态的封面图像,即多角度多姿态的封面图像,在归档时可以比对相同角度类别和相同姿态类别的人体,提升档案准确率。
在一种可能的实施方式中,人体角度判断子系统用于确定每个抓拍图像的目标人体朝向值,该目标人体朝向值的确定依据可以包括但不限于以下至少一种:人体朝向模型、历史朝向数据、人体运动轨迹。比如说,针对每个抓拍图像,可以采用如下方式确定该抓拍图像对应的目标人体朝向值:
方式1、将抓拍图像输入给已训练的人体朝向模型,由人体朝向模型输出与该抓拍图像对应的人体朝向值,即该抓拍图像对应的目标人体朝向值。
方式2、将抓拍图像对应的历史图像的人体朝向值,作为该抓拍图像对应的目标人体朝向值。该历史图像是图像集合中与该抓拍图像相邻的、且已经确定出目标人体朝向值的抓拍图像。例如,图像集合依次包括抓拍图像1、抓拍图像2和抓拍图像3,在确定抓拍图像3对应的目标人体朝向值时,抓拍图像2作为历史图像,将抓拍图像2的人体朝向值作为抓拍图像3对应的目标人体朝向值。
方式3、获取监控对象的人体运动轨迹,基于该人体运动轨迹确定监控对象的运动方向,基于该运动方向确定该抓拍图像对应的目标人体朝向值。比如说,基于抓拍图像的采集时刻,若基于人体运动轨迹确定该采集时刻的运动方向为正面方向,则目标人体朝向值为人体正面朝向;若基于人体运动轨迹确定该采集时刻的运动方向为朝左方向,则目标人体朝向值为人体朝左朝向,以此类推。
方式4、将抓拍图像输入给已训练的人体朝向模型,由人体朝向模型输出与该抓拍图像对应的第一人体朝向值,及第一人体朝向值的置信度。若第一人体朝向值的置信度大于预设第一置信度阈值(可以根据经验进行配置,对此不做限制),则可以将第一人体朝向值确定为该抓拍图像对应的目标人体朝向值。若该第一人体朝向值的置信度不大于预设第一置信度阈值,且第一人体朝向值与历史图像对应的目标人体朝向值相同,则将第一人体朝向值确定为该抓拍图像对应的目标人体朝向值。若该第一人体朝向值的置信度不大于预设第一置信度阈值,且第一人体朝向值与历史图像对应的目标人体朝向值不同,则将历史图像对应的目标人体朝向值确定为该抓拍图像对应的目标人体朝向值。
方式5、将抓拍图像输入给已训练的人体朝向模型,由人体朝向模型输出与该抓拍图像对应的第一人体朝向值,及第一人体朝向值的置信度。若第一人体朝向值的置信度大于预设第一置信度阈值,则可以将第一人体朝向值确定为该抓拍图像对应的目标人体朝向值。若该第一人体朝向值的置信度不大于预设第一置信度阈值,则获取监控对象的人体运动轨迹,基于该人体运动轨迹确定监控对象的运动方向,基于该运动方向确定与该抓拍图像对应的第二人体朝向值。若该第一人体朝向值与该第二人体朝向值相同,则将第一人体朝向值确定为该抓拍图像对应的目标人体朝向值。若该第一人体朝向值与该第二人体朝向值不同,则将该第二人体朝向值确定为该抓拍图像对应的目标人体朝向值。
方式6、将抓拍图像输入给已训练的人体朝向模型,由人体朝向模型输出与该抓拍图像对应的第一人体朝向值,及第一人体朝向值的置信度。若第一人体朝向值的置信度大于预设第一置信度阈值,则可以将第一人体朝向值确定为该抓拍图像对应的目标人体朝向值。若第一人体朝向值的置信度不大于预设第一置信度阈值,且第一人体朝向值与历史图像对应的目标人体朝向值相同,则将第一人体朝向值确定为该抓拍图像对应的目标人体朝向值。若第一人体朝向值的置信度不大于预设第一置信度阈值,且第一人体朝向值与历史图像对应的目标人体朝向值不同,则获取监控对象的人体运动轨迹,基于该人体运动轨迹确定监控对象的运动方向,基于该运动方向确定与该抓拍图像对应的第二人体朝向值,并将该第二人体朝向值确定为该抓拍图像对应的目标人体朝向值。显然,在该情况下,无论该第一人体朝向值与该第二人体朝向值是否相同,均可以将该第二人体朝向值确定为该抓拍图像对应的目标人体朝向值。
以下结合图4所示的流程,对确定抓拍图像对应的目标人体朝向值的过程进行说明,图4是针对方式6的说明,其它方式类似,本文不做重复赘述。
步骤401,将抓拍图像输入给已训练的人体朝向模型,由人体朝向模型输出与该抓拍图像对应的第一人体朝向值,及第一人体朝向值的置信度。
示例性的,人体朝向模型是用于预测人体朝向值的机器学习模型。
比如说,人体朝向模型是用于预测人体朝向值的机器学习模型(如深度学习分类网络模型),可以利用大量训练数据(如标注了人体朝向值的图像)对人体朝向模型进行训练,训练目标是最小化预测的朝向类别与实际标定的朝向类别之差,对此训练过程不做限制。在训练过程结束后,就可以得到已训练的人体朝向模型,基于已训练的人体朝向模型执行后续检测流程。
在检测流程,在得到监控对象的抓拍图像后,可以将该抓拍图像输入给已训练的人体朝向模型,由于人体朝向模型是用于预测人体朝向值的机器学习模型,因此,人体朝向模型可以输出与该抓拍图像对应的人体朝向值(为了方便描述,后续记为第一人体朝向值),及第一人体朝向值的置信度。
步骤402,判断第一人体朝向值的置信度是否大于预设第一置信度阈值。
如果是,则可以执行步骤403;如果否,则可以执行步骤404。
步骤403,将第一人体朝向值确定为该抓拍图像对应的目标人体朝向值。
步骤404,判断第一人体朝向值与历史图像对应的目标人体朝向值是否相同。如果是,则可以执行步骤403;如果否,则可以执行步骤405。历史图像是图像集合中与该抓拍图像相邻的、且已经确定出目标人体朝向值的抓拍图像。
示例性的,在第一人体朝向值的置信度不大于预设第一置信度阈值时,人体朝向模型输出的第一人体朝向值可能不正确,因此,可以使用历史朝向信息对第一人体朝向值进行核实。比如说,由于视频帧在时间上是连续的,即,图像集合中的多个抓拍图像是连续视频帧,因此,在确定当前抓拍图像对应的目标人体朝向值时,可以选取当前抓拍图像的前N帧抓拍图像的目标人体朝向值(可以缓存前N帧抓拍图像的目标人体朝向值,N可以为正整数)。
若第一人体朝向值与前N帧抓拍图像的目标人体朝向值均一致,则第一人体朝向值大概率为正确朝向,即,将第一人体朝向值确定为该抓拍图像对应的目标人体朝向值。否则,可能是人体朝向模型预测错误,也可能是人体实际上进行了转向,因此,可以执行步骤405,对第一人体朝向值再次进行核实。
步骤405,获取监控对象的人体运动轨迹,基于该人体运动轨迹确定监控对象的运动方向,基于该运动方向确定与该抓拍图像对应的第二人体朝向值。
示例性的,在利用检测和跟踪算法对监控对象进行跟踪时,可以得到监控对象的人体运动轨迹,该人体运动轨迹包括每帧抓拍图像的人体框中心点。基于每帧抓拍图像的人体框中心点可以确定监控对象的运动方向。比如说,参见图5所示,示出了t-1帧抓拍图像的中心点和t帧抓拍图像的中心点,t帧抓拍图像就是需要确定目标人体朝向值的当前帧抓拍图像。基于t-1帧抓拍图像的中心点和t帧抓拍图像的中心点的位置变化,得到运动角度α=arctan((y2-y1)/(x2-x1))。
基于运动角度α就可以确定监控对象的运动方向,比如说,可以划分出8个运动方向,这8个运动方向对应图2所示的8个人体朝向值,确定运动角度α属于8个运动方向中的哪个运动方向,这个运动方向就是监控对象的运动方向。
在得到监控对象的运动方向后,确定与该运动方向对应的人体朝向值,并将与该运动方向对应的人体朝向值作为与该抓拍图像对应的第二人体朝向值。
步骤406,判断第一人体朝向值与第二人体朝向值是否相同。
如果是,则执行步骤403;如果否,则执行步骤407。
步骤407,将第二人体朝向值确定为该抓拍图像对应的目标人体朝向值。
在第一人体朝向值的置信度不大于预设第一置信度阈值,且第一人体朝向值与历史图像对应的目标人体朝向值不同时,人体朝向模型输出的第一人体朝向值可能不正确,因此,使用人体运动轨迹对第一人体朝向值进行核实。例如,基于人体运动轨迹确定第二人体朝向值,若第一人体朝向值与第二人体朝向值一致,则第一人体朝向值大概率为正确,即,将第一人体朝向值(实际上也是第二人体朝向值)确定为抓拍图像对应的目标人体朝向值。否则,可能是人体朝向模型预测错误,将第二人体朝向值确定为抓拍图像对应的目标人体朝向值。
示例性的,由于人体运动轨迹由检测和跟踪过程得到,而检测和跟踪过程也有一定的错误概率。比如说,当人体基本没有移动时,会由于检测器不稳定而使人体中心点发生一些微小抖动,此时中心点运动速度非常小,或者,跟踪匹配发生错误,导致匹配到距离较远的非同一人两帧,此时中心点运动速度非常大。综上所述,能够从人体运动轨迹推理出人体实际运动方向的前提是,人体中心点的运动速度不能过小也不能过大,需要在一个阈值空间内。综上所述,在步骤406之前,可以判断监控对象的运动速度是否位于阈值区间,如果否,则执行步骤403,不再执行步骤406;如果是,则执行步骤406。
在一种可能的实施方式中,人体姿态判断子系统用于确定每个抓拍图像的目标人体姿态值,该目标人体姿态值的确定依据可以包括但不限于以下至少一种:人体姿态模型,检测框的长宽比,比如说,针对每个抓拍图像,人体姿态判断子系统可以采用如下方式确定该抓拍图像对应的目标人体姿态值:
方式1、将抓拍图像输入给已训练的人体姿态模型,由人体姿态模型输出与该抓拍图像对应的人体姿态值,即该抓拍图像对应的目标人体姿态值。
方式2、从抓拍图像中获取该监控对象的检测框,并基于该检测框的长度与该检测框的宽度的比例,确定与该抓拍图像对应的目标人体姿态值。
方式3、将抓拍图像输入给已训练的人体姿态模型,由人体姿态模型输出与该抓拍图像对应的第一人体姿态值,及第一人体姿态值的置信度。若第一人体姿态值的置信度大于预设第二置信度阈值(可以根据经验配置),则将第一人体姿态值确定为抓拍图像对应的目标人体姿态值。若第一人体姿态值的置信度不大于预设第二置信度阈值,则从抓拍图像中获取监控对象的检测框,并基于该检测框的长度与该检测框的宽度的比例,确定与该抓拍图像对应的第二人体姿态值;将该第二人体姿态值确定为该抓拍图像对应的目标人体姿态值。
以下结合图6所示的流程,对确定抓拍图像对应的目标人体姿态值的过程进行说明,图6是针对方式3的说明,其它方式类似,本文不做重复赘述。
步骤601,将抓拍图像输入给已训练的人体姿态模型,由人体姿态模型输出与该抓拍图像对应的第一人体姿态值,及第一人体姿态值的置信度。
示例性的,人体姿态模型是用于预测人体姿态值的机器学习模型。
比如说,人体姿态模型是用于预测人体姿态值的机器学习模型(如深度学习分类网络模型),可以利用大量训练数据(如标注了人体姿态值的图像)对人体姿态模型进行训练,训练目标是最小化预测的姿态类别与实际标定的姿态类别之差,对此训练过程不做限制。在训练过程结束后,就可以得到已训练的人体姿态模型,基于已训练的人体姿态模型执行后续检测流程。
在检测流程,在得到监控对象的抓拍图像后,可以将该抓拍图像输入给已训练的人体姿态模型,由于人体姿态模型是用于预测人体姿态值的机器学习模型,因此,人体姿态模型可以输出与该抓拍图像对应的人体姿态值(为了方便描述,后续记为第一人体姿态值),及第一人体姿态值的置信度。
步骤602,判断第一人体姿态值的置信度是否大于预设第二置信度阈值。
如果是,则可以执行步骤603;如果否,则可以执行步骤604。
步骤603,将第一人体姿态值确定为该抓拍图像对应的目标人体姿态值。
步骤604,从该抓拍图像中获取监控对象的检测框,并基于该检测框的长度与该检测框的宽度的比例,确定与该抓拍图像对应的第二人体姿态值。
示例性的,在第一人体姿态值的置信度不大于预设第二置信度阈值时,人体姿态模型输出的第一人体姿态值可能不正确,因此,可以使用检测框的长宽比对第一人体姿态值进行核实。比如说,由于不同姿态可以反映在长宽比中,站立姿态的长宽比大于弯腰姿态的长宽比,站立姿态的长宽比大于坐姿姿态的长宽比,因此,可以使用检测框的长宽比对第一人体姿态值进行区分。
在一种可能的实施方式中,可以从该抓拍图像中获取该监控对象的检测框,并将该检测框输入给已训练的检测框长宽归档模型,由该检测框长宽归档模型基于该检测框的长度与该检测框的宽度的比例,确定与该抓拍图像对应的第二人体姿态值,并输出与该抓拍图像对应的第二人体姿态值。
比如说,检测框长宽归档模型是用于预测人体姿态值的机器学习模型(如深度学习分类网络模型),即基于检测框的长宽比预测人体姿态值,可以利用大量训练数据(如标注了长宽比和人体姿态值的检测框)对检测框长宽归档模型进行训练,对此训练过程不做限制,如采用逻辑回归,最近邻,支持向量机等分类算法进行训练。在训练过程结束后,就可以得到已训练的检测框长宽归档模型,该检测框长宽归档模型可以给出长宽比到姿态类别的合理映射。
基于已训练的检测框长宽归档模型执行后续检测流程,在检测流程,在得到监控对象的检测框后,可以将该检测框输入给已训练的检测框长宽归档模型,该检测框长宽归档模型可以基于该检测框的长度与该检测框的宽度的比例,确定与抓拍图像对应的第二人体姿态值,并输出该第二人体姿态值。
步骤605,判断第一人体姿态值与第二人体姿态值是否相同。
如果是,则执行步骤603;如果否,则执行步骤606。
步骤606,将第二人体姿态值确定为该抓拍图像对应的目标人体姿态值。
在一种可能的实施方式中,基于监控对象的所有抓拍图像,可以得到多组特征参数值(即目标人体朝向值和目标人体姿态值,目标人体朝向值是角度特征,目标人体姿态值是姿态特征,即多组特征参数值对应多角度多姿态),基于这些特征参数值可以得到特征集合,该特征集合包括不重复的特征参数值。
从特征集合中选取特征参数值作为目标特征参数值,从所有抓拍图像中选取与目标特征参数值匹配的目标抓拍图像,并从目标对象的所有封面图像中选取与目标特征参数值匹配的目标封面图像。通过比较目标抓拍图像与目标封面图像的相似度,确定该监控对象的抓拍图像是否归档为该目标对象的抓拍图像,从而完成归档比对,判断监控对象的抓拍图像是否属于已有封面下的档案库。
在一种可能的实施方式中,在将监控对象的抓拍图像归档为目标对象的抓拍图像之后,还可以将监控对象的抓拍图像存储为该目标对象的封面图像,即,将监控对象的抓拍图像存储到该目标对象的档案库中,作为该目标对象的封面图像,用于后续比对。由于图像集合包括监控对象的多个抓拍图像,因此,可以从监控对象的多个抓拍图像中选取部分抓拍图像存储为目标对象的封面图像。
为了选取部分抓拍图像存储为目标对象的封面图像,还可以采用如下方式:从监控对象的图像集合中随机选取K个抓拍图像存储为目标对象的封面图像。或者,从监控对象的图像集合中选取图像质量最好的K个抓拍图像存储为目标对象的封面图像。或者,从监控对象的图像集合中选取待存储抓拍图像,目标对象的所有封面图像对应的特征参数值不包括该待存储抓拍图像对应的特征参数值,将待存储抓拍图像存储为目标对象的封面图像,通过该方式,能够丰富目标对象的封面图像的多样性,使得目标对象具有各种特征参数值的封面图像。
基于上述技术方案,本申请实施例中,由于目标封面图像的特征参数值与目标抓拍图像的特征参数值相同,即目标封面图像与目标抓拍图像属于同种类型的图像,因此,目标抓拍图像与目标封面图像之间的相似度结果比较准确,从而能够提高图像归档的准确性,可以有效地避免图像归档的分析结果出现错误,从而能够帮助提升对象归档准确性,提升档案准确率。对于可追溯到历史图像的抓拍图像,人体朝向判别时不仅用了人体朝向模型进行分类,还利用历史图像对人体朝向值进行修正,提高了人体朝向判断的准确性。可以借助监控对象在监控视频中的运动轨迹信息修正人体朝向值,提高了人体朝向判断的准确性。人体姿态判别时不仅用了人体姿态模型进行分类,还利用检测框的长宽信息对人体姿态值进行修正,提高了人体姿态判断的准确性。在归档时使用多朝向多姿态的抓拍图像,根据朝向和姿态选择相近的封面图像进行特征比对,提高识别的准确性。通过保留并利用各个朝向和姿态的图像作为封面图像,在识别时对抓拍图像与相应朝向和姿态的封面图像匹配,大大提升识别准确率。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像归档装置,参见图7所示,为所述图像归档装置的结构示意图,所述装置可以包括:
获取模块71,用于获取监控对象的图像集合,所述图像集合包括所述监控对象的多个抓拍图像;确定模块72,用于确定每个抓拍图像对应的特征参数值,基于所有抓拍图像对应的特征参数值确定特征集合,所述特征集合包括不重复的特征参数值;选取模块73,用于从所述特征集合中选取特征参数值作为目标特征参数值,并从所述图像集合中选取与所述目标特征参数值匹配的目标抓拍图像;确定模块74,还用于若目标对象的所有封面图像中存在与所述目标特征参数值匹配的目标封面图像,确定所述目标抓拍图像与所述目标封面图像的相似度;归档模块75,用于若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像。
若所述特征参数值包括目标人体朝向值,所述确定模块72确定每个抓拍图像对应的特征参数值时具体用于:针对每个抓拍图像,将所述抓拍图像输入给已训练的人体朝向模型,由人体朝向模型输出与所述抓拍图像对应的第一人体朝向值,及所述第一人体朝向值的置信度;所述人体朝向模型是用于预测人体朝向值的机器学习模型;若所述第一人体朝向值的置信度大于预设第一置信度阈值,则将所述第一人体朝向值确定为所述抓拍图像对应的目标人体朝向值。
示例性的,所述确定模块72确定每个抓拍图像对应的特征参数值时具体用于:若所述第一人体朝向值的置信度不大于预设第一置信度阈值,且所述第一人体朝向值与历史图像对应的目标人体朝向值相同,则将所述第一人体朝向值确定为所述抓拍图像对应的目标人体朝向值;其中,所述历史图像是所述图像集合中与所述抓拍图像相邻的、且已经确定出目标人体朝向值的抓拍图像。
示例性的,所述确定模块72确定每个抓拍图像对应的特征参数值时具体用于:若所述第一人体朝向值的置信度不大于预设第一置信度阈值,且所述第一人体朝向值与历史图像对应的目标人体朝向值不同,则获取所述监控对象的人体运动轨迹,并基于所述人体运动轨迹确定所述监控对象的运动方向;
基于所述运动方向确定与所述抓拍图像对应的第二人体朝向值;
将所述第二人体朝向值确定为所述抓拍图像对应的目标人体朝向值。
若所述特征参数值包括目标人体姿态值,所述确定模块72确定每个抓拍图像对应的特征参数值时具体用于:针对每个抓拍图像,将所述抓拍图像输入给已训练的人体姿态模型,由人体姿态模型输出与所述抓拍图像对应的第一人体姿态值,及所述第一人体姿态值的置信度;所述人体姿态模型是用于预测人体姿态值的机器学习模型;若所述第一人体姿态值的置信度大于预设第二置信度阈值,则将所述第一人体姿态值确定为所述抓拍图像对应的目标人体姿态值。
示例性的,所述确定模块72确定每个抓拍图像对应的特征参数值时具体用于:若所述第一人体姿态值的置信度不大于预设第二置信度阈值,则从所述抓拍图像中获取所述监控对象的检测框,并基于所述检测框的长度与所述检测框的宽度的比例,确定与所述抓拍图像对应的第二人体姿态值;
将所述第二人体姿态值确定为所述抓拍图像对应的目标人体姿态值。
示例性的,所述选取模块73从所述特征集合中选取特征参数值作为目标特征参数值时具体用于:对所述特征集合中的所有特征参数值进行排序;基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像归档设备,参见图8所示,所述图像归档设备包括:处理器81和机器可读存储介质82,所述机器可读存储介质82存储有能够被所述处理器81执行的机器可执行指令;所述处理器81用于执行机器可执行指令,以实现如下步骤:
获取监控对象的图像集合,所述图像集合包括监控对象的多个抓拍图像;
确定每个抓拍图像对应的特征参数值,并基于所有抓拍图像对应的特征参数值确定特征集合,所述特征集合包括不重复的特征参数值;
从所述特征集合中选取特征参数值作为目标特征参数值,并从所述图像集合中选取与所述目标特征参数值匹配的目标抓拍图像;
若目标对象的所有封面图像中存在与所述目标特征参数值匹配的目标封面图像,则确定所述目标抓拍图像与所述目标封面图像的相似度;
若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的图像归档方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种图像归档方法,其特征在于,所述方法包括:
获取监控对象的图像集合,所述图像集合包括监控对象的多个抓拍图像;
确定每个抓拍图像对应的特征参数值,并基于所有抓拍图像对应的特征参数值确定特征集合,所述特征集合包括不重复的特征参数值;
从所述特征集合中选取特征参数值作为目标特征参数值,并从所述图像集合中选取与所述目标特征参数值匹配的目标抓拍图像;
若目标对象的所有封面图像中存在与所述目标特征参数值匹配的目标封面图像,则确定所述目标抓拍图像与所述目标封面图像的相似度;
若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像;
其中,所述从所述特征集合中选取特征参数值作为目标特征参数值,包括:按照特征参数值的重要程度对所述特征集合中的所有特征参数值进行排序;基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值;
所述从所述特征集合中选取特征参数值作为目标特征参数值之后,所述方法还包括:若所述目标对象的所有封面图像中不存在与所述目标特征参数值匹配的目标封面图像,则返回执行基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值的操作。
2.根据权利要求1所述的方法,其特征在于,若所述特征参数值包括目标人体朝向值,所述确定每个抓拍图像对应的特征参数值,包括:
针对每个抓拍图像,将所述抓拍图像输入给已训练的人体朝向模型,由人体朝向模型输出与所述抓拍图像对应的第一人体朝向值,及所述第一人体朝向值的置信度;其中,所述人体朝向模型是用于预测人体朝向值的机器学习模型;
若所述第一人体朝向值的置信度大于预设第一置信度阈值,则将所述第一人体朝向值确定为所述抓拍图像对应的目标人体朝向值。
3.根据权利要求2所述的方法,其特征在于,
所述确定每个抓拍图像对应的特征参数值,还包括:
若所述第一人体朝向值的置信度不大于预设第一置信度阈值,且所述第一人体朝向值与历史图像对应的目标人体朝向值相同,则将所述第一人体朝向值确定为所述抓拍图像对应的目标人体朝向值;其中,所述历史图像是所述图像集合中与所述抓拍图像相邻的、且已经确定出目标人体朝向值的抓拍图像。
4.根据权利要求3所述的方法,其特征在于,
所述确定每个抓拍图像对应的特征参数值,还包括:
若所述第一人体朝向值的置信度不大于预设第一置信度阈值,且所述第一人体朝向值与历史图像对应的目标人体朝向值不同,则获取所述监控对象的人体运动轨迹,并基于所述人体运动轨迹确定所述监控对象的运动方向;
基于所述运动方向确定与所述抓拍图像对应的第二人体朝向值;
将所述第二人体朝向值确定为所述抓拍图像对应的目标人体朝向值。
5.根据权利要求1所述的方法,其特征在于,若所述特征参数值包括目标人体姿态值,所述确定每个抓拍图像对应的特征参数值,包括:
针对每个抓拍图像,将所述抓拍图像输入给已训练的人体姿态模型,由人体姿态模型输出与所述抓拍图像对应的第一人体姿态值,及所述第一人体姿态值的置信度;其中,所述人体姿态模型是用于预测人体姿态值的机器学习模型;
若所述第一人体姿态值的置信度大于预设第二置信度阈值,则将所述第一人体姿态值确定为所述抓拍图像对应的目标人体姿态值。
6.根据权利要求5所述的方法,其特征在于,
所述确定每个抓拍图像对应的特征参数值,还包括:
若所述第一人体姿态值的置信度不大于预设第二置信度阈值,则从所述抓拍图像中获取所述监控对象的检测框,并基于所述检测框的长度与所述检测框的宽度的比例,确定与所述抓拍图像对应的第二人体姿态值;
将所述第二人体姿态值确定为所述抓拍图像对应的目标人体姿态值。
7.根据权利要求1所述的方法,其特征在于,所述将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像之后,所述方法还包括:
从所述图像集合中选取待存储抓拍图像,所述目标对象的所有封面图像对应的特征参数值不包括所述待存储抓拍图像对应的特征参数值;
将所述待存储抓拍图像存储为所述目标对象的封面图像。
8.一种图像归档装置,其特征在于,所述装置包括:
获取模块,用于获取监控对象的图像集合,所述图像集合包括所述监控对象的多个抓拍图像;
确定模块,用于确定每个抓拍图像对应的特征参数值,并基于所有抓拍图像对应的特征参数值确定特征集合,所述特征集合包括不重复的特征参数值;
选取模块,用于从所述特征集合中选取特征参数值作为目标特征参数值,并从所述图像集合中选取与所述目标特征参数值匹配的目标抓拍图像;
确定模块,还用于若目标对象的所有封面图像中存在与所述目标特征参数值匹配的目标封面图像,确定所述目标抓拍图像与所述目标封面图像的相似度;
归档模块,用于若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像;
其中,所述选取模块从所述特征集合中选取特征参数值作为目标特征参数值时具体用于:按照特征参数值的重要程度对所述特征集合中的所有特征参数值进行排序;基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值;
所述选取模块从所述特征集合中选取特征参数值作为目标特征参数值之后还用于:若所述目标对象的所有封面图像中不存在与所述目标特征参数值匹配的目标封面图像,则返回执行基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值的操作。
9.一种图像归档设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
获取监控对象的图像集合,所述图像集合包括监控对象的多个抓拍图像;
确定每个抓拍图像对应的特征参数值,并基于所有抓拍图像对应的特征参数值确定特征集合,所述特征集合包括不重复的特征参数值;
从所述特征集合中选取特征参数值作为目标特征参数值,并从所述图像集合中选取与所述目标特征参数值匹配的目标抓拍图像;
若目标对象的所有封面图像中存在与所述目标特征参数值匹配的目标封面图像,则确定所述目标抓拍图像与所述目标封面图像的相似度;
若所述目标抓拍图像与所述目标封面图像的相似度大于相似度阈值,则将所述监控对象的抓拍图像归档为所述目标对象的抓拍图像;
其中,所述从所述特征集合中选取特征参数值作为目标特征参数值,包括:按照特征参数值的重要程度对所述特征集合中的所有特征参数值进行排序;基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值;
所述从所述特征集合中选取特征参数值作为目标特征参数值之后,若所述目标对象的所有封面图像中不存在与所述目标特征参数值匹配的目标封面图像,则返回执行基于排序结果,从所述特征集合中遍历一个特征参数值作为所述目标特征参数值的操作。
CN202011492937.7A 2020-12-16 2020-12-16 一种图像归档方法、装置及设备 Active CN112528078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011492937.7A CN112528078B (zh) 2020-12-16 2020-12-16 一种图像归档方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011492937.7A CN112528078B (zh) 2020-12-16 2020-12-16 一种图像归档方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112528078A CN112528078A (zh) 2021-03-19
CN112528078B true CN112528078B (zh) 2023-04-25

Family

ID=75000884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011492937.7A Active CN112528078B (zh) 2020-12-16 2020-12-16 一种图像归档方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112528078B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629233A (zh) * 2017-03-20 2018-10-09 华为技术有限公司 一种行人检索方法及装置
CN111985336A (zh) * 2020-07-22 2020-11-24 深圳供电局有限公司 人脸图像聚类方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002310B2 (en) * 2014-04-29 2018-06-19 At&T Intellectual Property I, L.P. Method and apparatus for organizing media content
CN106682632B (zh) * 2016-12-30 2020-07-28 百度在线网络技术(北京)有限公司 用于处理人脸图像的方法和装置
CN111814522B (zh) * 2019-04-12 2024-05-31 杭州海康威视数字技术股份有限公司 对监控图像进行处理的方法和装置
CN110705476A (zh) * 2019-09-30 2020-01-17 深圳市商汤科技有限公司 数据分析方法、装置、电子设备和计算机存储介质
CN111126208B (zh) * 2019-12-11 2022-12-16 智慧眼科技股份有限公司 行人归档方法、装置、计算机设备及存储介质
CN111191599B (zh) * 2019-12-27 2023-05-30 平安国际智慧城市科技股份有限公司 姿态识别方法、装置、设备及存储介质
CN112016609B (zh) * 2020-08-24 2024-02-27 杭州海康威视系统技术有限公司 一种图像聚类方法、装置、设备及计算机存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629233A (zh) * 2017-03-20 2018-10-09 华为技术有限公司 一种行人检索方法及装置
CN111985336A (zh) * 2020-07-22 2020-11-24 深圳供电局有限公司 人脸图像聚类方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112528078A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
US10782688B2 (en) Method, control apparatus, and system for tracking and shooting target
Eade et al. Unified loop closing and recovery for real time monocular SLAM.
US9298976B2 (en) Method, apparatus and computer readable recording medium for managing a reference face database to improve face recognition performance under a restricted memory environment
Guan et al. Real-time event-triggered object tracking in the presence of model drift and occlusion
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
US9064171B2 (en) Detection device and method for transition area in space
Yu et al. The solution path algorithm for identity-aware multi-object tracking
KR102263717B1 (ko) 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법
JP2017033547A (ja) 情報処理装置及びその制御方法及びプログラム
CN109902619B (zh) 图像闭环检测方法及系统
CN111209774B (zh) 目标行为识别及显示方法、装置、设备、可读介质
CN111445526A (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
US20170300777A1 (en) Method and Device for Establishing Correspondence Between Objects in a Multi-Image Source Environment
Lisanti et al. Continuous localization and mapping of a pan–tilt–zoom camera for wide area tracking
CN111177440B (zh) 目标图像的检索方法、装置、计算机设备和存储介质
Tao et al. Tracking for half an hour
CN112001948A (zh) 一种目标跟踪处理方法及装置
CN112101156A (zh) 一种目标识别的方法、装置和电子设备
US10963720B2 (en) Estimating grouped observations
CN109492702B (zh) 基于排序度量函数的行人重识别方法、系统、装置
CN113610967B (zh) 三维点检测的方法、装置、电子设备及存储介质
CN112528078B (zh) 一种图像归档方法、装置及设备
CN110968719B (zh) 一种人脸聚类方法及装置
CN112214629B (zh) 基于图像识别的回环检测方法及可移动设备
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant