CN111914781A - 一种人脸图像处理的方法及装置 - Google Patents

一种人脸图像处理的方法及装置 Download PDF

Info

Publication number
CN111914781A
CN111914781A CN202010796593.2A CN202010796593A CN111914781A CN 111914781 A CN111914781 A CN 111914781A CN 202010796593 A CN202010796593 A CN 202010796593A CN 111914781 A CN111914781 A CN 111914781A
Authority
CN
China
Prior art keywords
target
face image
face
target face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010796593.2A
Other languages
English (en)
Other versions
CN111914781B (zh
Inventor
李加恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010796593.2A priority Critical patent/CN111914781B/zh
Publication of CN111914781A publication Critical patent/CN111914781A/zh
Application granted granted Critical
Publication of CN111914781B publication Critical patent/CN111914781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸图像处理的方法、及装置,本发明实施例在将监控区域内抓拍的目标人脸图像发送之前,需要对监控区域内抓拍的目标人脸图像进行三个步骤的筛选处理:第一步骤,需要针对目标,从抓拍的多张目标人脸图像中选择最佳目标人脸图像;第二步骤,基于最佳目标人脸图像提取的人脸特征数据,确定是否已存储了所述目标的目标人脸图像,如果否,则建立存储区域存储该最佳目标人脸图像,如果是,则在已建立的存储区域中存储该最佳目标人脸图像;第三步骤、对建立的存储区域中存储的最佳目标人脸图像进行去重,将人脸评分值最高的最佳目标人脸图像发送。因此,本发明实施例实现了对在监控区域内抓拍的多个目标人脸图像去重,针对目标保留拍摄质量最好的目标人脸图像。

Description

一种人脸图像处理的方法及装置
技术领域
本发明涉及图像处理技术,特别涉及一种人脸图像处理的方法及装置。
背景技术
在视频监控中,涉及了在监控区域内进行人脸图像的识别及抓拍的技术。为了实现监控区域内的人脸图像识别及抓拍,布防了在监控区域内进行监控的人脸抓拍摄像机,所述人脸抓拍摄像机识别监控区域内的目标人脸特征,基于所识别的目标人脸特征对目标持续追踪,当目标人脸特征数据符合预设的抓拍条件时,对目标人脸图像进行抓拍及存储。当所述人脸抓拍摄像机短暂丢失追踪目标后,可以再次基于识别到的目标人脸特征对目标追踪,再次对再次追踪的目标人脸特征数据进行判断,当再次判断追踪的目标人脸特征数据符合预设的抓拍条件时,再次对目标人脸图像进行抓拍及存储。
因此,采用上述方案对目标人脸图像进行识别及抓拍,针对监控区域,同一目标会存储有多个目标人脸图像,这会浪费存储资源,且用户无法快速且准确地分辨多个目标人脸图像的拍摄质量,进行后续的选择。因此,如何对多个目标人脸图像去重,针对目标保留拍摄质量最好的目标人脸图像,成为了一个亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种人脸图像处理的方法,该方法能够对在监控区域内抓拍的多个目标人脸图像去重,针对目标保留拍摄质量最好的目标人脸图像。
本发明实施例还提供了一种人脸图像处理的装置,该装置能够对在监控区域内抓拍的多个目标人脸图像去重,针对目标保留拍摄质量最好的目标人脸图像。
本发明实施例提供了一种人脸图像的处理方法,所述方法包括:
在监控区域内抓拍至少一目标人脸图像,从中选取最佳目标人脸图像,基于所述最佳目标人脸图像提取目标人脸特征数据;
将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过,如果是,建立对应目标标识的存储区域存储所述最佳目标人脸图像,且将所述目标人脸特征数据作为人脸特征数据进行保存;如果否,在已建立的对应目标标识的存储区域中存储所述最佳目标人脸图像;
将所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送,其中,所述对应目标标识的存储区域存储有最佳目标人脸图像的集合。
较佳地,将所述监控区域划分为多个子监控区域,所述在监控区域抓拍至少一目标人脸图像包括:
针对不同的子监控区域设置不同的人脸图像抓拍条件;
在当前子监控区域中,设置的人脸抓拍摄像机基于识别的目标人脸特征,对目标进行追踪,当识别的目标人脸图像符合当前子监控区域对应的人脸图像抓拍条件时,对目标人脸图像进行抓拍;
所述从中选取最佳目标人脸图像包括:
对在当前子监控区域中抓拍的至少一目标人脸图像分别进行人脸评分,将具有最高评分值的目标人脸图像作为当前子监控区域中抓拍的最佳目标人脸图像。
较佳地,所述人脸图像抓拍条件为人脸特征数据的评分阈值,所述当识别的目标人脸图像符合当前子监控区域对应的人脸图像抓拍条件时,对目标人脸图像进行抓拍还包括:
对识别的目标人脸图像进行人脸评分,当得到的人脸评分值高于人脸特征数据的评分阈值时,对识别的目标人脸图像进行抓拍。
较佳地,所述将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过包括:
将所述目标人脸特征数据分别与已保存的多个人脸特征数据中的每个人脸特征数据进行相似度比对,得到相似度值,判断所得到的相似度值中是否有超过设置的相似度阈值的相似度值,如果是,则确定所述最佳目标人脸图像被抓拍过;如果否,则确定所述最佳目标人脸图像没有被抓拍过。
较佳地,将所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送之前,还包括:
设定的时间阈值到时,判断所述对应目标标识的存储区域中的最佳目标人脸图像是否有重复,如果是,确定所述对应目标标识的存储区域中的最佳目标人脸图像的人脸评分值,保留人脸评分值最高的所述最佳目标人脸图像,删除其他重复的所述最佳目标人脸图像。
本发明实施例提供了一种人脸图像的处理装置,包括:获取单元、选取单元、判断单元、人脸特征数据存储单元、目标人脸图像存储单元及上传单元,其中,
获取单元,用于获取在监控区域抓拍至少一目标人脸图像;
选取单元,用于选取最佳目标人脸图像;
判断单元,用于基于所述最佳目标人脸图像提取目标人脸特征数据,将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过,如果是,在目标人脸图像存储单元中建立对应目标标识的存储区域存储所述最佳目标人脸图像,且将所述目标人脸特征数据作为一人脸特征数据进行保存;如果否,在目标人脸图像存储单元中已建立的对应目标标识的存储区域中存储所述最佳目标人脸图像;
人脸特征数据存储单元,用于存储多个人脸特征数据;
目标人脸图像存储单元,用于建立对应目标标识的存储区域存储最佳目标人脸图像;
上传单元,用于将目标人脸图像存储单元的所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送,其中,所述对应目标标识的存储区域存储有最佳目标人脸图像的集合。
本发明实施例还提供一种人脸图像的处理方法,包括:
基于用户对至少2个监控子区域的不同关注度,对各个监控子区域分别设置不同的人脸评分阈值,其中,在任一监控子区域内,存储大于人脸评分阈值的人脸图像;
在任一监控子区域内:
获取目标对象的多个图像;
在所述目标对象的多个图像中确定出大于该监控子区域的人脸评分阈值的图像,并存储所述确定的图像;以及
基于所有监控子区域对应存储的所有图像,确定一张人脸评分值最高的图像作为所述目标对象的最佳人脸图像,并与所述目标对象直接关联。
较佳地,所述设置的人脸评分阈值由摄像机的景深确定,以使邻近摄像机景深的监控子区域的人脸评分阈值大于远离摄像机景深的监控子区域的人脸评分阈值。
较佳地,所述设置的人脸评分阈值由监控子区域与摄像机之间距离确定,以使监控子区域的人脸评分阈值与所述距离负相。
较佳地,上述实施例中还包括:
在任一监控子区域内,基于设定的时间周期,在存储的所有图像中确定一张人脸评分最高的图像,并删除其余图像。
如上所见,本发明实施例在将监控区域内抓拍的目标人脸图像发送之前,需要对监控区域内抓拍的目标人脸图像进行三个步骤的筛选处理:第一步骤,需要针对目标,从抓拍的多张目标人脸图像中选择最佳目标人脸图像;第二步骤,基于最佳目标人脸图像提取的人脸特征数据,确定是否已存储了所述目标的目标人脸图像,如果否,则建立存储区域存储该最佳目标人脸图像,如果是,则在已建立的存储区域中存储该最佳目标人脸图像;第三步骤、对建立的存储区域中存储的最佳目标人脸图像进行去重,将人脸评分值最高的最佳目标人脸图像发送。这样,本发明实施例就可以在一监控区域内,针对目标,发送一目标人脸图像,且保证发送的目标人脸图像的图像质量是最高的。因此,本发明实施例实现了对在监控区域内抓拍的多个目标人脸图像去重,针对目标保留拍摄质量最好的目标人脸图像。
附图说明
图1为本发明实施例提供的人脸图像处理的方法流程图;
图2为本发明实施例提供的将监控区域划分多个子监控区域的示意图;
图3为本发明实施例提供的人脸图像处理的具体例子过程示意图;
图4为本发明实施例提供的人脸图像处理的具体例子方法流程图;
图5为本发明实施例提供的人脸图像处理的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
从背景技术可以看出,在一监控区域内,人脸抓拍摄像机抓拍的多个目标人脸图像都会被存储,浪费了存储资源,用户也无法快速且准确地分辨多张目标人脸图像的拍摄质量,进行后续的选择,用户体验度不高。
因此,如何实现对在监控区域内抓拍的多张人脸图像去重,针对目标保留拍摄质量最好的目标人脸图像就成为了需要解决的问题。本发明实施例为了解决这个问题,在将监控区域内抓拍的目标人脸图像发送之前,需要对监控区域内抓拍的目标人脸图像进行三个步骤的筛选处理:第一步骤,需要针对目标,从抓拍的多张目标人脸图像中选择最佳目标人脸图像;第二步骤,基于最佳目标人脸图像提取的人脸特征数据,确定是否已存储了所述目标的目标人脸图像,如果否,则建立存储区域存储该最佳目标人脸图像,如果是,则在已建立的存储区域中存储该最佳目标人脸图像;第三步骤、对建立的存储区域中存储的最佳目标人脸图像进行去重,将人脸评分值最高的最佳目标人脸图像发送。
这样,本发明实施例就可以在一监控区域内,针对目标,发送一目标人脸图像,且保证发送的目标人脸图像的图像质量是最高的。
图1为本发明实施例提供的人脸图像处理的方法流程图,其具体步骤包括:
步骤101、在监控区域内抓拍至少一目标人脸图像,从中选取最佳目标人脸图像,基于所述最佳目标人脸图像提取目标人脸特征数据;
步骤102、将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过,如果是,执行步骤103;如果否,执行步骤104;
步骤103、建立对应目标标识的存储区域存储所述最佳目标人脸图像,且将所述目标人脸特征数据作为一人脸特征数据进行保存,执行步骤105;
步骤104、在已建立的对应目标标识的存储区域中存储所述最佳目标人脸图像,执行步骤105;
步骤105、将所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送,其中,所述对应目标标识的存储区域存储有最佳目标人脸图像的集合。
图1所述的过程是由设置的监控设备实现的,该监控设备可以集成在人脸抓拍摄像机上,或者在该监控设备的控制下,人脸抓拍摄像机在监控区域内抓拍至少一目标人脸图像。
所述方法的步骤101中,所述在监控区域内抓拍至少一目标人脸图像的过程可以为:
设置人脸的评分阈值,当所述人脸抓拍摄像机识别的目标人脸的评分值超过所设置人脸评分阈值时,则对目标人脸图像进行抓拍;当所述人脸抓拍摄像机识别的目标人脸特征的评分值不超过所设置的人脸评分阈值时,则对目标人脸图像不进行抓拍。
目前,预先设置人脸特征评分算法,该算法是采用神经网络训练得到的或者是人工设置的,将识别的目标人脸图像特征输入到该人脸特征评分算法,就可以由该人脸特征评分算法计算得到评分值,并输出。这种对人脸图像进行评分的方式可以被应用到本发明实施例中。
从上述方式可以看出,对监控区域内的目标人脸图像是否进行抓拍的判断依据是所述人脸抓拍摄像机识别的目标的人脸评分值是否大于所设置的人脸评分阈值,因此,人脸评分阈值的设置大小就决定了目标人脸图像被抓拍的数量及质量。在实际使用中,如果人脸评分阈值设置较高,则监控区域的中心区域中的目标人脸图像容易被抓拍,监控区域的边缘区域中的目标人脸图像则不容易被抓拍,在整个监控区域内所抓拍到的目标人脸图像的质量较高;如果人脸评分阈值设置较低,使得监控区域的边缘区域中的目标人脸图像容易被抓拍到,在整个监控区域内所抓拍到的目标人脸图像的质量较低。这是因为所述人脸抓拍摄像机在布防时,存在俯仰角,所以在监控区域的边缘区域中识别的目标比较小且识别到的目标人脸评分值比较低,而为了得到抓拍质量比较好的目标人脸图像,则会将对应监控区域的人脸评分阈值设置比较高,经过比对判断后,对于监控区域中识别到的拍摄质量差的目标就会丢弃,导致目标人脸图像漏拍。
也就是说,当设置的人脸评分阈值设置过大,就会导致目标人脸图像被漏拍;而当设置的人脸评分阈值设置过小,就会导致抓拍大量质量较低的目标人脸图像需要被处理。采用上述方式很难兼顾目标人脸图像抓拍率和目标人脸图像的拍摄质量。
为了克服上述问题,本发明实施例采用了另一种方式,即将所述监控区域划分为多个子监控区域,所述在监控区域内抓拍至少一目标人脸图像的过程包括:
针对不同的子监控区域设置不同的人脸图像抓拍条件;
在当前子监控区域中,设置的人脸抓拍摄像机基于识别的目标人脸特征,对目标进行追踪,当识别的目标人脸图像符合当前子监控区域对应的人脸图像抓拍条件时,对目标人脸图像进行抓拍。
具体地说,所述人脸图像抓拍条件为人脸特征数据的评分阈值,所述当识别的目标人脸图像符合当前子监控区域对应的人脸图像抓拍条件时,对目标人脸图像进行抓拍还包括:对识别的目标人脸图像进行人脸评分,当得到的人脸评分值高于人脸特征数据的评分阈值时,对识别的目标人脸图像进行抓拍。
采用这种方式划分子监控区域,且针对不同的子监控区域分别设置符合该子监控区域的人脸图像抓拍条件,在不同的子监控区域内抓拍的目标人脸图像兼顾抓拍率及拍摄质量。举一个具体例子对本发明实施例进行说明,图2为本发明实施例提供的将监控区域划分多个子监控区域的示意图。如图所示,监控区域被划分为6个区域,对于其中的边缘区域A和边缘区域C,设置的对应边缘区域A的人脸特征数据的评分阈值及设置的对应边缘区域C的人脸特征数据的评分阈值比较低,在边缘区域A和边缘区域C中,提高目标人脸图像的抓拍率;而对于监控区域中的中心区域E,设置的对应中心区域E的人脸特征数据的评分阈值比较高,在该中心区域E提高抓拍目标人脸图像的质量。对于监控区域中的其他区域,比如区域B所设置的人脸特征数据的评分阈值可以居中,兼顾目标人脸图像的抓拍率及所抓拍目标人脸图像的质量。
为了进一步筛选在监控区域中的各个子监控区域抓拍的目标人脸图像,图1所述从中选取最佳目标人脸图像还包括:对在当前子监控区域中抓拍的至少一目标人脸图像分别进行人脸特征数据的评分,将具有最高评分值的目标人脸图像作为当前子监控区域中抓拍的最佳目标人脸图像。在这里,对人脸特征数据的评分过程也采用上述所述的人脸特征评分算法。
在本发明实施例中,图1中的步骤102中所述将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过包括:
将所述目标人脸特征数据分别与已保存的多个人脸特征数据中的每个人脸特征数据进行相似度比对,得到相似度值,判断所得到的相似度值中是否有超过设置的相似度阈值的相似度值,如果是,则确定所述最佳目标人脸图像被抓拍过;如果否,则确定所述最佳目标人脸图像没有被抓拍过。
在本发明实施中,对于一目标,针对一监控区域,虽然可以存储多个最佳目标人脸图像,但是保存的对应人脸特征数据则只有一个,节省存储资源且保证在进行详细度比对时,减少比对所需的时间及比对工作量。
为了对保存的最佳目标人脸图像进行进一步去重,本发明实施例将所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送之前,还包括:
设定的时间阈值到时,判断所述对应目标标识的存储区域中的最佳目标人脸图像是否有重复,如果是,确定所述对应目标标识的存储区域中的最佳目标人脸图像的人脸评分值,保留人脸评分值最高的所述最佳目标人脸图像,删除其他重复的所述最佳目标人脸图像。
在这里,所述时间阈值根据需要设置,在每个时间阈值周期内,都会对所述对应目标标识的存储区域中的最佳目标人脸图像进行一次去重,从而节省存储资源。
在本发明实施例中,由于每个监控子区域的监控条件不同,在抓拍人脸图像时,当设置的人脸评分阈值设置过大,就会导致目标人脸图像被漏拍;而当设置的人脸评分阈值设置过小,就会导致抓拍大量质量较低的目标人脸图像需要被处理。因此,为了兼顾目标人脸图像抓拍率和目标人脸图像的拍摄质量,提供了一种人脸图像的处理方法,包括:
第一步骤,基于用户对至少2个监控子区域的不同关注度,对各个监控子区域分别设置不同的人脸评分阈值,其中,在任一监控子区域内,存储大于人脸评分阈值的人脸图像;
第二步骤,在任一监控子区域内:
第三步骤,获取目标对象的多个图像;
第三步骤,在所述目标对象的多个图像中确定出大于该监控子区域的人脸评分阈值的图像,并存储所述确定的图像;
第四步骤,基于所有监控子区域对应存储的所有图像,确定一张人脸评分值最高的图像作为所述目标对象的最佳人脸图像,并与所述目标对象直接关联。
在这里,对于不同的监控子区域,所述设置的人脸评分阈值由摄像机的景深确定,以使邻近摄像机景深的监控子区域的人脸评分阈值大于远离摄像机景深的监控子区域的人脸评分阈值。
在这里,不同监控子区域的获取目标对象的图像质量实际上是与摄像机的距离相关的,所以在设置对应的人脸评分阈值时,也要参考监控子区域与摄像机之间的距离。具体地说,所述设置的人脸评分阈值由监控子区域与摄像机之间距离确定,以使监控子区域的人脸评分阈值与所述距离负相。
在本发明实施例中,为了在任一监控子区域内,选择其中一张目标对象对应的最佳人脸图像,可以设置时间周期,基于设定的时间周期,在存储的所有图像中确定一张人脸评分最高的图像,并删除其余图像。
举一个具体例子说明本发明实施例。
如图3所示,图3为本发明实施例提供的人脸图像处理的具体例子过程示意图,包括:
首先,目标出现在监视区域内的一子监控区域时,逐帧识别并跟踪目标,当跟踪的目标人脸评分值超过对应该子监控区域设置的人脸特征数据的评分阈值时,抓拍目标人脸图像并临时存储;
当目标在该子监控区域内丢失时,则采用人脸特征评分算法计算临时存储中的多个目标人脸图像的人脸评分值,根据所计算的人脸评分值高低对临时存储中的多个目标人脸图像(人脸评分值高,则对应的目标人脸图像的拍摄质量高)进行排序,选择最佳目标人脸图像,同时记录最佳目标人脸图像的人脸评分值。
其次,对该子监控区域的最佳目标人脸图像进行人脸建模,得到人脸特征数据,将得到的人脸特征数据与已经存储的多个人脸特征数据进行一一比对,若得到的人脸特征数据与其中一个已经存储的人脸特征数据的相似度值大于等于设置的相似度阈值,则确认该最佳目标人脸图像已经被抓拍过,否则,则确认该最佳目标人脸图像没有被抓拍过。在确认该最佳目标人脸图像没有被抓拍过时,则建立对应目标标识的存储区域存储所述最佳目标人脸图像,可以存储在设置的人脸图像存储单元中,将所述目标人脸特征数据作为一人脸特征数据进行保存,可以保持在设置的人脸特征数据存储单元中。当确认该最佳目标人脸图像已经被抓拍过时,直接将该最佳目标人脸图像存储在已经建立的对应目标标识的存储区域中。
在这里,当建立对应目标标识的存储区域存储所述最佳目标人脸图像时,可以建立已经存储的人脸特征数据与目标标识之间的对应关系,根据对应关系,当确认该最佳目标人脸图像已经被抓拍过时,就可以确定该最佳目标人脸图像所存储的存储区域,将该最佳目标人脸图像存储在已经建立的对应目标标识的存储区域中。
最后,在设定的时间阈值到时时,人脸图像存储单元中进行最佳目标人脸图像的比对去重,通过人脸比对的相似度值高于设定的相似度阈值时,判定为同一目标,保留人脸评分高的最佳人脸图像。
在这里,人脸特征数据存储单元的存储数据量大小可配置,当数据存储量大于配置的数据量阈值时,每增加一个新的目标人脸特征数据,则通过时间戳排序,相应删除掉所存储的时间戳最早的目标人脸特征数据。通过这种方式将人脸特征数据循环存储在人脸特征数据存储单元中,防止人脸特征数据存储单元中的目标人脸特征数据溢出。
这样,在一个设定的时间阈值到时时,人脸图像存储单元中仅仅存储了人脸评分最高的最佳目标人脸图像,节省了存储资源。当需要发送人脸图像存储单元中存储的人脸评分最高的最佳目标人脸图像时,可以将人脸评分最高的最佳目标人脸图像上传到设置的平台上,进行最佳目标人脸图像的展示与分析。
图4为本发明实施例提供的人脸图像处理的具体例子方法流程图,其具体步骤包括:
步骤401、目标出现在监视区域内的一个子监控区域;
步骤402、识别并跟踪目标;
步骤403、当跟踪目标的人脸评分值超过对应该子监控区域设置的人脸特征数据的评分阈值时,抓拍目标人脸图像;
步骤404、将抓拍目标人脸图像进行临时存储;
步骤405、判断在该子监控区域中的跟踪目标是否消失,如果是,执行步骤406;如果否,返回步骤403继续执行;
步骤406、采用人脸特征评分算法,计算临时存储中的多个目标人脸图像的人脸评分值,根据所计算的人脸评分值高低对临时存储中的多个目标人脸图像进行排序,选择目标最佳人脸图像;
步骤407、对该子监控区域的最佳目标人脸图像进行人脸建模,得到人脸特征数据;
步骤408、将得到的人脸特征数据与已经存储的多个人脸特征数据进行一一比对,判断是否比对成功,如果否,执行步骤409;如果是,确认该最佳目标人脸图像已经被抓拍过,执行步骤410;
步骤409、确认该最佳目标人脸图像未被抓拍过,将人脸特征数据进行存储,转入步骤410执行;
步骤410、将最佳目标人脸图像进行存储;
步骤411、判断设定的时间阈值是否到时,如果是,则执行步骤412;如果否,则返回步骤408继续执行;
步骤412、进行所存储的最佳目标人脸图像的比对去重,判断是否有重复的最佳目标人脸图像,如果否,则直接转入步骤414执行;如果是,则执行步骤413;
步骤413、保留人脸评分高的最佳目标人脸图像,删除其他的最佳目标人脸图像;
步骤414、将保留的最佳目标人脸图像上传到设置的平台上。
图5为本发明实施例提供的人脸图像处理的装置结构示意图,该装置包括:获取单元、选取单元、判断单元、人脸特征数据存储单元、目标人脸图像存储单元及上传单元,其中,
获取单元,用于获取在监控区域抓拍至少一目标人脸图像;
选取单元,用于选取最佳目标人脸图像;
判断单元,用于基于所述最佳目标人脸图像提取目标人脸特征数据,将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过,如果是,在目标人脸图像存储单元中建立对应目标标识的存储区域存储所述最佳目标人脸图像,且将所述目标人脸特征数据作为一人脸特征数据进行保存;如果否,在目标人脸图像存储单元中已建立的对应目标标识的存储区域中存储所述最佳目标人脸图像;
人脸特征数据存储单元,用于存储多个人脸特征数据;
目标人脸图像存储单元,用于建立对应目标标识的存储区域存储最佳目标人脸图像;
上传单元,用于将目标人脸图像存储单元的所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送,其中,所述对应目标标识的存储区域存储有最佳目标人脸图像的集合。
在该装置中,将所述监控区域划分为多个子监控区域,
所述获取单元,还用于针对不同的子监控区域设置不同的人脸图像抓拍条件;在当前子监控区域中,控制人脸抓拍摄像机基于识别的目标人脸特征,对目标进行追踪,当识别的目标人脸图像符合当前子监控区域对应的人脸图像抓拍条件时,对目标人脸图像进行抓拍,获取得到当前子监控区域抓拍的至少一目标人脸图像。
在该装置中,所述选取单元,还用于对在当前子监控区域中抓拍的至少一目标人脸图像分别进行人脸评分,将具有最高评分值的目标人脸图像作为当前子监控区域中抓拍的最佳目标人脸图像。
在该装置中,所述人脸图像抓拍条件为人脸特征数据的评分阈值,所述获取单元,还用于对识别的目标人脸图像进行人脸评分,当得到的人脸评分值高于人脸特征数据的评分阈值时,对识别的目标人脸图像进行抓拍。
在该装置中,所述判断单元,还用于将所述目标人脸特征数据分别与已保存的多个人脸特征数据中的每个人脸特征数据进行相似度比对,得到相似度值,判断所得到的相似度值中是否有超过设置的相似度阈值的相似度值,如果是,则确定所述最佳目标人脸图像被抓拍过;如果否,则确定所述最佳目标人脸图像没有被抓拍过。
在该装置中,所述判断单元,还用于设定的时间阈值到时,判断所述目标人脸图像存储单元的所述对应目标标识的存储区域中的最佳目标人脸图像是否有重复,如果是,确定所述对应目标标识的存储区域中的最佳目标人脸图像的人脸评分值,保留人脸评分值最高的所述最佳目标人脸图像,删除其他重复的所述最佳目标人脸图像。
采用本发明实施例对人脸图像进行处理,有以下优点:
1)在监控区域根据实际情况有差异的设置监控子区域,在监控子区域中分别采用不同抓拍条件进行目标人脸图像的抓拍,在保证目标人脸图像的拍摄质量的情况下提高抓拍率;2)所设置的监控设备能够独立完成最佳目标人脸图像的去重过程,不需要引入额外的去重服务器,减少了成本;通过在所设置的监控设备中进行最佳目标人脸图像的去重过程,能够大量减少网络带宽的占用率,提高网络的使用效率,减少建设和维护成本。3)通过最佳目标人脸图像的人脸特征数据比对及对最佳目标人脸图像的人脸评分的协同机制,提高了目标人脸图像去重效率及上传的目标人脸图像的质量;4)触发进行最佳目标人脸图像去重过程的时间阈值可自定义,满足用户多样性的使用需求;5)在保证目标人脸图像抓拍率的情况下,通过最佳目标人脸图像去重过程,提高上传的目标人脸图像的质量。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种人脸图像的处理方法,其特征在于,所述方法包括:
在监控区域内抓拍至少一目标人脸图像,从中选取最佳目标人脸图像,基于所述最佳目标人脸图像提取目标人脸特征数据;
将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过,如果是,建立对应目标标识的存储区域存储所述最佳目标人脸图像,且将所述目标人脸特征数据作为人脸特征数据进行保存;如果否,在已建立的对应目标标识的存储区域中存储所述最佳目标人脸图像;
将所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送,其中,所述对应目标标识的存储区域存储有最佳目标人脸图像的集合。
2.如权利要求1所述的处理方法,其特征在于,将所述监控区域划分为多个子监控区域,所述在监控区域抓拍至少一目标人脸图像包括:
针对不同的子监控区域设置不同的人脸图像抓拍条件;
在当前子监控区域中,设置的人脸抓拍摄像机基于识别的目标人脸特征,对目标进行追踪,当识别的目标人脸图像符合当前子监控区域对应的人脸图像抓拍条件时,对目标人脸图像进行抓拍;
所述从中选取最佳目标人脸图像包括:
对在当前子监控区域中抓拍的至少一目标人脸图像分别进行人脸评分,将具有最高评分值的目标人脸图像作为当前子监控区域中抓拍的最佳目标人脸图像。
3.如权利要求2所述的方法,其特征在于,所述人脸图像抓拍条件为人脸特征数据的评分阈值,所述当识别的目标人脸图像符合当前子监控区域对应的人脸图像抓拍条件时,对目标人脸图像进行抓拍还包括:
对识别的目标人脸图像进行人脸评分,当得到的人脸评分值高于人脸特征数据的评分阈值时,对识别的目标人脸图像进行抓拍。
4.如权利要求1所述的方法,其特征在于,所述将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过包括:
将所述目标人脸特征数据分别与已保存的多个人脸特征数据中的每个人脸特征数据进行相似度比对,得到相似度值,判断所得到的相似度值中是否有超过设置的相似度阈值的相似度值,如果是,则确定所述最佳目标人脸图像被抓拍过;如果否,则确定所述最佳目标人脸图像没有被抓拍过。
5.如权利要求1~4任一所述的方法,其特征在于,将所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送之前,还包括:
设定的时间阈值到时,判断所述对应目标标识的存储区域中的最佳目标人脸图像是否有重复,如果是,确定所述对应目标标识的存储区域中的最佳目标人脸图像的人脸评分值,保留人脸评分值最高的所述最佳目标人脸图像,删除其他重复的所述最佳目标人脸图像。
6.一种人脸图像的处理装置,其特征在于,包括:获取单元、选取单元、判断单元、人脸特征数据存储单元、目标人脸图像存储单元及上传单元,其中,
获取单元,用于获取在监控区域抓拍至少一目标人脸图像;
选取单元,用于选取最佳目标人脸图像;
判断单元,用于基于所述最佳目标人脸图像提取目标人脸特征数据,将所述目标人脸特征数据与已保存的多个人脸特征数据比对,确定所述最佳目标人脸图像是否没有被抓拍过,如果是,在目标人脸图像存储单元中建立对应目标标识的存储区域存储所述最佳目标人脸图像,且将所述目标人脸特征数据作为一人脸特征数据进行保存;如果否,在目标人脸图像存储单元中已建立的对应目标标识的存储区域中存储所述最佳目标人脸图像;
人脸特征数据存储单元,用于存储多个人脸特征数据;
目标人脸图像存储单元,用于建立对应目标标识的存储区域存储最佳目标人脸图像;
上传单元,用于将目标人脸图像存储单元的所述对应目标标识的存储区域中的人脸评分值最高的最佳目标人脸图像发送,其中,所述对应目标标识的存储区域存储有最佳目标人脸图像的集合。
7.一种人脸图像的处理方法,其特征在于,包括:
基于用户对至少2个监控子区域的不同关注度,对各个监控子区域分别设置不同的人脸评分阈值,其中,在任一监控子区域内,存储大于人脸评分阈值的人脸图像;
在任一监控子区域内:
获取目标对象的多个图像;
在所述目标对象的多个图像中确定出大于该监控子区域的人脸评分阈值的图像,并存储所述确定的图像;以及
基于所有监控子区域对应存储的所有图像,确定一张人脸评分值最高的图像作为所述目标对象的最佳人脸图像,并与所述目标对象直接关联。
8.根据权利要求7所述的方法,其特征在于,所述设置的人脸评分阈值由摄像机的景深确定,以使邻近摄像机景深的监控子区域的人脸评分阈值大于远离摄像机景深的监控子区域的人脸评分阈值。
9.根据权利要求7所述的方法,其特征在于,所述设置的人脸评分阈值由监控子区域与摄像机之间距离确定,以使监控子区域的人脸评分阈值与所述距离负相。
10.根据权利要求7所述的方法,其特征在于,还包括:
在任一监控子区域内,基于设定的时间周期,在存储的所有图像中确定一张人脸评分最高的图像,并删除其余图像。
CN202010796593.2A 2020-08-10 2020-08-10 一种人脸图像处理的方法及装置 Active CN111914781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010796593.2A CN111914781B (zh) 2020-08-10 2020-08-10 一种人脸图像处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010796593.2A CN111914781B (zh) 2020-08-10 2020-08-10 一种人脸图像处理的方法及装置

Publications (2)

Publication Number Publication Date
CN111914781A true CN111914781A (zh) 2020-11-10
CN111914781B CN111914781B (zh) 2024-03-19

Family

ID=73283663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010796593.2A Active CN111914781B (zh) 2020-08-10 2020-08-10 一种人脸图像处理的方法及装置

Country Status (1)

Country Link
CN (1) CN111914781B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177917A (zh) * 2021-04-25 2021-07-27 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN113452903A (zh) * 2021-06-17 2021-09-28 浙江大华技术股份有限公司 一种抓拍设备、抓拍方法及主控芯片
CN113596325A (zh) * 2021-07-15 2021-11-02 盛景智能科技(嘉兴)有限公司 抓图方法、装置、电子设备及存储介质
CN115830044A (zh) * 2023-01-10 2023-03-21 广东省测绘产品质量监督检验中心 一种图像分割方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0697677A2 (en) * 1994-08-18 1996-02-21 International Business Machines Corporation Apparatus and method for determining image quality
CN102930261A (zh) * 2012-12-05 2013-02-13 上海市电力公司 一种人脸抓拍识别方法
CN107346426A (zh) * 2017-07-10 2017-11-14 深圳市海清视讯科技有限公司 一种基于摄像机人脸识别的人脸信息收集方法
CN107590212A (zh) * 2017-08-29 2018-01-16 深圳英飞拓科技股份有限公司 一种人脸图片的入库系统及方法
CN109117797A (zh) * 2018-08-17 2019-01-01 浙江捷尚视觉科技股份有限公司 一种基于人脸质量评价的人脸抓拍识别方法
CN109508648A (zh) * 2018-10-22 2019-03-22 成都臻识科技发展有限公司 一种人脸抓拍方法及设备
CN109658572A (zh) * 2018-12-21 2019-04-19 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
US10452897B1 (en) * 2018-08-06 2019-10-22 Capital One Services, Llc System for verifying the identity of a user
WO2020094091A1 (zh) * 2018-11-07 2020-05-14 杭州海康威视数字技术股份有限公司 一种图像抓拍方法、监控相机及监控系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0697677A2 (en) * 1994-08-18 1996-02-21 International Business Machines Corporation Apparatus and method for determining image quality
CN102930261A (zh) * 2012-12-05 2013-02-13 上海市电力公司 一种人脸抓拍识别方法
CN107346426A (zh) * 2017-07-10 2017-11-14 深圳市海清视讯科技有限公司 一种基于摄像机人脸识别的人脸信息收集方法
CN107590212A (zh) * 2017-08-29 2018-01-16 深圳英飞拓科技股份有限公司 一种人脸图片的入库系统及方法
US10452897B1 (en) * 2018-08-06 2019-10-22 Capital One Services, Llc System for verifying the identity of a user
CN109117797A (zh) * 2018-08-17 2019-01-01 浙江捷尚视觉科技股份有限公司 一种基于人脸质量评价的人脸抓拍识别方法
CN109508648A (zh) * 2018-10-22 2019-03-22 成都臻识科技发展有限公司 一种人脸抓拍方法及设备
WO2020094091A1 (zh) * 2018-11-07 2020-05-14 杭州海康威视数字技术股份有限公司 一种图像抓拍方法、监控相机及监控系统
CN109658572A (zh) * 2018-12-21 2019-04-19 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177917A (zh) * 2021-04-25 2021-07-27 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN113177917B (zh) * 2021-04-25 2023-10-13 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN113452903A (zh) * 2021-06-17 2021-09-28 浙江大华技术股份有限公司 一种抓拍设备、抓拍方法及主控芯片
CN113596325A (zh) * 2021-07-15 2021-11-02 盛景智能科技(嘉兴)有限公司 抓图方法、装置、电子设备及存储介质
CN113596325B (zh) * 2021-07-15 2023-05-05 盛景智能科技(嘉兴)有限公司 抓图方法、装置、电子设备及存储介质
CN115830044A (zh) * 2023-01-10 2023-03-21 广东省测绘产品质量监督检验中心 一种图像分割方法、装置、电子设备及存储介质
CN115830044B (zh) * 2023-01-10 2024-04-05 广东省测绘产品质量监督检验中心 一种图像分割方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111914781B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN111914781A (zh) 一种人脸图像处理的方法及装置
CN107346426B (zh) 一种基于摄像机人脸识别的人脸信息收集方法
CN111898581B (zh) 动物检测方法、装置、电子设备及可读存储介质
KR101891225B1 (ko) 배경 모델을 업데이트하기 위한 방법 및 장치
CN109325429B (zh) 一种关联特征数据的方法、装置、存储介质及终端
CN111144332A (zh) 一种图片聚档方法、装置和电子设备
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN109195011B (zh) 一种视频处理方法、装置、设备及存储介质
CN110798653B (zh) 一种基于多机协作的图像处理方法和视频监控系统
CN112767711A (zh) 一种多类别多尺度多目标抓拍方法及系统
JP2022518459A (ja) 情報処理方法および装置、記憶媒体
CN112883782B (zh) 投放行为识别方法、装置、设备及存储介质
CN111010547A (zh) 目标对象的追踪方法及装置、存储介质、电子装置
JP7328012B2 (ja) 電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法
WO2014201891A1 (zh) 多目标跟踪方法、系统及计算机存储介质
CN106781167B (zh) 监测物体运动状态的方法及设备
WO2020168515A1 (zh) 一种图像处理方法、装置、图像拍摄和处理系统及载体
CN116916049A (zh) 一种基于云计算技术的视频数据在线采集与存储系统
CN112883213A (zh) 一种图片归档方法、装置及电子设备
CN110968719B (zh) 一种人脸聚类方法及装置
JP7328011B2 (ja) 電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法
CN108932465A (zh) 降低人脸检测误检率的方法、装置及电子设备
CN108322710B (zh) 人群疏散装置及系统
CN114064669A (zh) 一种人员轨迹特征记录及特征更新方法
CN114863364A (zh) 一种基于智能视频监控的安防检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant