CN107944427A - 动态人脸识别方法及计算机可读存储介质 - Google Patents

动态人脸识别方法及计算机可读存储介质 Download PDF

Info

Publication number
CN107944427A
CN107944427A CN201711337096.0A CN201711337096A CN107944427A CN 107944427 A CN107944427 A CN 107944427A CN 201711337096 A CN201711337096 A CN 201711337096A CN 107944427 A CN107944427 A CN 107944427A
Authority
CN
China
Prior art keywords
face
picture
type
face picture
face type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711337096.0A
Other languages
English (en)
Other versions
CN107944427B (zh
Inventor
阎辰佳
吴鸿伟
周成祖
张永光
汤伟宾
林淑强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN201711337096.0A priority Critical patent/CN107944427B/zh
Publication of CN107944427A publication Critical patent/CN107944427A/zh
Application granted granted Critical
Publication of CN107944427B publication Critical patent/CN107944427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明公开了一种动态人脸识别方法及计算机可读存储介质,方法包括:根据预设的采样率,依次从动态视频流中获取一帧静态图片;对所述一帧静态图片进行人脸检测,得到人脸图片集;获取所述人脸图片集中各人脸图片的关键信息;根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息;根据结构化信息,对各人脸类型进行筛选,得到人脸集合。本发明可快速有效地识别出视频中的所有人脸,且可保证正识率和实时性。

Description

动态人脸识别方法及计算机可读存储介质
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种动态人脸识别方法及计算机可读存储介质。
背景技术
随着高清摄像头的快速普及与部署,每天都有海量的视频数据产生,而这庞大的数据库的处理要靠人力来完成是不现实的。于是,市场对于具有智能分析的视频应用的需求越来越大,尤其是视频中的人脸识别项目最多且按照应用场景的多样化具有许多不同的特性。要完成视频图像的人脸识别,对视频中出现的人脸进行提取是前提,且从中提取的人脸的正确性、清晰度、正面度会直接影响后续识别的正确性,因此是人脸识别的重要保证。
目前,领域内最近且最为流行的人脸检测方法是通过各种不同的神经网络的深度学习从视频中的每一帧得到其中包含的人脸,正识率一般可以达到99%以上,且对光线、人脸表情、遮挡和倾斜不敏感。但是由于视频中图片量巨大,不可避免的会存在不少对非人脸的误判。这些误判中大部分都是由背景中的静态干扰物引起的,去除这部分的噪声成了人脸检测中亟待解决的问题。
原有技术中针对视频中动态的人脸可以先通过运动检测算法对静态干扰物进行过滤,但是使用这种技术在实际应用方面存在以下几点问题:
1、在检测过程中会遗漏静止或移动缓慢的人脸;
2、为使运动检测算法达到好的效果,通常需要花费较长的计算时间,由于深度神经网络检测人脸的算法较为复杂、耗时长,再叠加运动检测的时间没有办法同时保证检测的实时性和正确性;
3、若为保证检测的实时性舍弃深度神经网络的检测算法,则系统对人脸的漏识率和误识率都会明显增高,即降低了系统正识率。
发明内容
本发明所要解决的技术问题是:提供一种动态人脸识别方法及计算机可读存储介质,可快速有效地识别出视频中的所有人脸,且可保证正识率和实时性。
为了解决上述技术问题,本发明采用的技术方案为:一种动态人脸识别方法,包括:
根据预设的采样率,依次从动态视频流中获取一帧静态图片;
对所述一帧静态图片进行人脸检测,得到人脸图片集;
获取所述人脸图片集中各人脸图片的关键信息,所述关键信息包括人脸图片对应的时间戳、人脸图片在所述一帧静态图片中的位置信息和指纹数组;
根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量;
根据结构化信息,对各人脸类型进行筛选,得到人脸集合。
本发明还涉及一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的步骤。
本发明的有益效果在于:通过对检测到的人脸图片通过相似性算法,将认为是同一个人的人脸图片归纳到同一个人脸类型中(这些人可能是正确识别的人,也可能是干扰物),并根据人脸图片的关键信息更新人脸类型的结构化信息,最后对所有人脸类型进行筛选,输出符合要求的人脸图片。本发明通过对检测到的结果进行再处理、限定输出结果,明显减低了算法复杂性,提高处理速度,达到系统实时处理视频的要求;还可根据不同的应用场景进行调节,适应性强;同时保证了人脸识别的正确率。
附图说明
图1为本发明一种动态人脸识别方法的流程图;
图2为本发明实施例一的方法流程图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于:将检测到的人脸图片进行分类,得到各个不同的人脸类型,在分类的同时,获取后续筛选类型所需的每个类型的关键信息,并存放在其对应的结构体中。
请参阅图1,一种动态人脸识别方法,包括:
根据预设的采样率,依次从动态视频流中获取一帧静态图片;
对所述一帧静态图片进行人脸检测,得到人脸图片集;
获取所述人脸图片集中各人脸图片的关键信息,所述关键信息包括人脸图片对应的时间戳、人脸图片在所述一帧静态图片中的位置信息和指纹数组;
根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量;
根据结构化信息,对各人脸类型进行筛选,得到人脸集合。
从上述描述可知,本发明的有益效果在于:通过对检测到的结果进行再处理、限定输出结果,明显减低了算法复杂性,提高处理速度,达到系统实时处理视频的要求;还可根据不同的应用场景进行调节,适应性强;同时保证了人脸识别的正确率。
进一步地,所述“获取所述人脸图片集中各人脸图片的关键信息”具体为:
依次从所述人脸图片集中获取一人脸图片;
获取所述一帧静态图片的时间戳作为所述一人脸图片对应的时间戳;
获取所述一人脸图片在所述一帧静态图片中的位置信息;
根据感知哈希算法,得到所述一人脸图片的指纹数组,所述指纹数组为64个0或1组合的数组。
进一步地,所述“根据感知哈希算法,得到所述一人脸图片的指纹数组,所述指纹数组为64个0或1组合的数组”具体为:
将所述一人脸图片的尺寸缩小至8*8像素;
对缩小后的所述一人脸图片进行离散余弦变换,得到变换矩阵;
获取所述变换矩阵的左上角8*8的矩阵,并将所述8*8的矩阵中的64个元素存储至一维数组中;
根据所述64个元素的平均值,对所述64个元素进行二值化,得到指纹数组。
由上述描述可知,通过获取每个人脸图片的指纹数组,后续可根据指纹数据将人脸图片归类到与其相似的人脸类型。
进一步地,所述“根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量”具体为:
根据一人脸图片的指纹数组,通过相似度算法在人脸类型数据库中查找是否存在与所述一人脸图片相似的人脸类型;
若存在,则将所述一人脸图片保存至所述相似的人脸类型,并根据所述一人脸图片的关键信息更新所述相似的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量;
若不存在,则创建新的人脸类型,并根据所述一人脸图片的关键信息构建所述新的人脸类型的结构化信息。
由上述描述可知,根据人脸图片关键信息中的位置信息,更新人脸类型结构化信息中的位置信息,根据人脸图片关键信息中的指纹数组,更新人脸类型结构化信息中的指纹数组;可通过人脸图片的指纹数组与人脸类型的指纹数组来判断该人脸图片是否与该人脸类型相似;后续可通过人脸类型的首次检测位置、最后检测位置以及保存的人脸图片数量,来判断该人脸类型是否为静态干扰物。
进一步地,所述结构化信息还包括最后检测到所述人脸类型的时间戳;所述“对各人脸类型进行筛选,得到人脸集合”之前,进一步包括:
若一人脸类型满足预设的输出条件,则输出所述一人脸类型至人脸类型集合,并删除所述一人脸类型,所述预设的输出条件为最后检测到所述一人脸类型的时间戳到当前时间的时间差达到预设的时间阈值。
由上述描述可知,当人脸类型满足输出条件即进行输出并在人脸类型数据库中删除该人脸类型,一是为了避免相同的静态干扰物被检测到的次数积累过多(虽然静态干扰物不能被不间断地检测到,但在一长段时间中可能会被检测到多次,所以定时清理数据库中一段较长时间未被检测到的人脸类型有利于静态干扰物的筛除);二是为了及时输出已经从镜头中走出的人的人脸类型,减少程序对内存的占用。
进一步地,所述“对各人脸类型进行筛选,得到人脸集合”具体为:
根据人脸类型集合中各人脸类型的结构化信息中的首次检测到所述人脸类型的位置信息和最后检测到所述人脸类型的位置信息,计算得到各人脸类型的位移;
判断一人脸类型的位移是否大于预设的位移阈值且所述一人脸类型所保存的人脸图片的数量是否大于预设的数量阈值;
若是,则将所述一人脸类型输出至人脸集合;
若否,则将所述一人脸类型输出至干扰物集合。
由上述描述可知,根据结构化信息中该人脸类型所保存的人脸图片的数量可得到该人脸类型被检测到的次数,通过对检测到的次数限制,可防止环境中偶尔被误检到的静态或动态干扰物类型的输出;根据结构化信息中的“首次检测到该人脸类型的位置信息”和“最后检测到该人脸类型的位置信息”可得到该人脸类型从第一次被检测到至最后一次被检测到的过程中所发生的总位移,根据不同的人脸检测场景对总位移量的阈值进行设定,使系统只输出总位移量大于该阈值的人脸,最终能有效筛除系统中的静态干扰物。
进一步地,所述关键信息还包括综合分数;所述“获取所述人脸图片集中各人脸图片的关键信息”还包括:
根据所述一人脸图片的清晰度、正脸程度和人脸完整度,计算得到所述一人脸图片的综合分数。
进一步地,所述“根据所述一人脸图片的清晰度、正脸程度和人脸完整度,计算得到所述一人脸图片的综合分数”具体为:
计算所述一人脸图片的倒谱的平均能量;
根据预设的第一阈值和所述平均能量,计算得到所述一人脸图像的清晰度评分;
根据所述一人脸图片的五官位置,对两眼和两嘴角的倾斜度、人脸对称度进行定量测算并进行归一化处理,得到所述一人脸图片的正脸程度评分;
计算所述一人脸图片的图像边缘信息的均值;
根据所述均值,计算得到所述一人脸图片的完整度评分;
根据所述清晰度评分、正脸程度评分、完整度评分以及预设的权重,计算得到所述一人脸图片的综合分数。
进一步地,所述“得到人脸集合”之后,进一步包括:
输出人脸集合中的各人脸类型中综合分数最高的人脸图片。
由上述描述可知,对于每个人脸类型,只输出一张分数最高的人脸图片,可节约系统资源,同时可获取到每个人脸类型中的效果最好的人脸图片。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的步骤。
实施例一
请参照图2,本发明的实施例一为:一种动态人脸识别方法,包括如下步骤:
S1:根据预设的采样率,从动态视频流中获取一帧静态图片;对不同的视频,其编码帧率是不同的,为了满足实时性的要求(即需要在采样到下一帧图片之前,完成对前一帧的处理),会有处理帧率的上限,因此针对不同的视频流,需要合理设置不同的采样率以满足实时性需求。
S2:判断所述静态图片是否为空,若是,则表示动态视频流已结束,执行步骤S3,若否,则执行步骤S4。
S3:将人脸类型输出至人脸类型集合,即将人脸类型数据库中还未输出的人脸类型均输出至人脸类型集合,并删除人脸类型数据库中所有的人脸类型;执行步骤S13。该步骤即为在视频结束后,清理人脸类型数据库中剩余人脸类型的步骤。
S4:判断已处理的静态图片数量是否到达预设的第一阈值,若是,则执行步骤S11,若否,则执行步骤S5。
S5:对所述一帧静态图片进行人脸检测,得到人脸图片集;具体地,可使用深度神经网络的人脸检测方法进行人脸检测,如使用HOG特征与级联分类器的卷积神经网络,或者多任务级联卷积神经网络的人脸检测方法。
S6:判断所述人脸图片集中是否还存在未处理的人脸图片,若是,则执行步骤S7,若否,则等待直至进行下一帧静态图片的采样,即执行步骤S1。
S7:从所述人脸图片集中获取一人脸图片,并获取所述一人脸图片的关键信息;每次获取的人脸图片为未处理的人脸图片;所述关键信息包括人脸图片对应的时间戳、人脸图片在所述一帧静态图片中的位置信息和指纹数组。
具体地,获取所述一帧静态图片的时间戳作为所述一人脸图片对应的时间戳,即人脸图片对应的时间戳即该人脸图片所属的静态图片的时间戳;获取所述一人脸图片在所述一帧静态图片中的位置信息;根据感知哈希算法,得到所述一人脸图片的指纹数组,所述指纹数组为64个0或1组合的数组。
其中,关于指纹数组的具体求取过程如下所述:
1、将人脸图片的尺寸缩小至8*8像素;
2、对缩小后的人脸图片进行DCT变换(离散余弦变换),并只保留其结果的左上角8*8个元素,将这64个元素保存在一个一维数组A中;
3、根据第二步中得到的64个元素的平均值m,对数组A中的元素进行二值化以求得指纹数组,其中,A中元素值大于m的记为1,小于m的记为0。
S8:根据所述一人脸图片的指纹数组,通过相似度算法在人脸类型数据库中查找是否存在与所述一人脸图片相似的人脸类型,若是,则执行步骤S9,若否,则执行步骤S10。
S9:将所述一人脸图片保存至所述相似的人脸类型,并根据所述一人脸图片的关键信息更新所述相似的人脸类型的结构化信息,所述结构化信息包括最后检测到所述人脸类型的时间戳、首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量,进一步地,还可包括首次检测到所述人脸类型的时间戳;返回执行步骤S6。
具体地,将所述一人脸图片的关键信息中的时间戳作为最后检测到所述人脸类型的时间戳;将第一个保存至该人脸类型的人脸图片的关键信息中的位置信息(即人脸图片在其所属的静态图片中的位置信息)作为首次检测到所述人脸类型的位置信息;将所述一人脸图片的关键信息中的位置信息作为最后检测到所述人脸类型的位置信息;将所述一人脸图片的关键信息中的指纹数组作为最新保存至所述人脸类型的人脸图片的指纹数组;所述人脸类型所保存的人脸图片的数量即为保存至该人脸类型的人脸图片的总数量。
S10:在人脸类型数据库中创建新的人脸类型,并根据所述一人脸图片的关键信息构建所述新的人脸类型的结构化信息。返回执行步骤S6。
S11:判断是否存在满足输出条件的人脸类型,即是否存在一人脸类型,最后检测到该人脸类型的时间戳到当前时间的时间差达到预设的时间阈值,若是,则执行步骤S12。
S12:将满足输出条件的人脸类型输出至人脸类型集合,并在人脸类型数据库中删除所述一人脸类型;之后除了执行步骤S13之外,同时也等待直至进行下一帧静态图片的采样,即执行步骤S1。
对于步骤S11、S12的目的,一是为了避免相同的静态干扰物被检测到的次数积累过多(虽然静态干扰物不能被不间断地检测到,但在一长段时间中可能会被检测到多次,所以定时清理数据库中一段较长时间未被检测到的人脸类型有利于静态干扰物的筛除);二是为了及时输出已经从镜头中走出的人的人脸类型,减少程序对内存的占用。
S13:对人脸类型集合中的各人脸类型进行筛选,得到人脸集合和干扰物集合;对于人脸集合,输出保存到指定路径,对于干扰物集合,则直接丢弃。
具体地,根据人脸类型集合中各人脸类型的结构化信息中的首次检测到所述人脸类型的位置信息和最后检测到所述人脸类型的位置信息,计算得到各人脸类型的位移;判断一人脸类型的位移是否大于预设的位移阈值且所述一人脸类型所保存的人脸图片的数量是否大于预设的数量阈值;若是,则将所述一人脸类型输出至人脸集合;若否,则将所述一人脸类型输出至干扰物集合。
对于人脸类型集合M中的每个人脸类型,根据结构化信息中该人脸类型所保存的人脸图片的数量可得到该人脸类型被检测到的次数,通过对检测到的次数限制(默认值为5个以上),可防止环境中偶尔被误检到的静态或动态干扰物类型的输出。根据结构化信息中的“首次检测到该人脸类型的位置信息”和“最后检测到该人脸类型的位置信息”可得到该人脸类型从第一次被检测到至最后一次被检测到的过程中所发生的总位移,根据不同的人脸检测场景对总位移量的阈值进行设定,使系统只输出总位移量大于该阈值的人脸,最终能有效筛除系统中的静态干扰物。
进一步地,对于步骤S8中的相似性算法,具体方法为:将新检测到的人脸图片的指纹数组中的每一个数据与已经存在的所有人脸类型的结构化信息中的指纹数组中的每一位进行比对,并将每一对数组的比对中不同的数量保存,最终取指纹数组不同个数在不大于同类型阈值的前提下最少的那个人脸类型作为新检测到人脸的类型。关于同类型人脸指纹数组不同个数的阈值是通过对相同人脸和不同人脸图像集的测试得到的。
进一步地,在步骤S8之前,先根据人脸图片的关键信息中的位置信息(即人脸图片在其所属的静态图片中的位置信息)与人脸类型的结构化信息中的最后检测到所述人脸类型的位置信息,获取与当前人脸距离在预设的第二阈值范围内的人脸类型,然后在步骤S8中通过相似性算法在获取到的人脸类型中获取与人脸图片相似的人脸类型。
例如:新检测到的人脸图片的指纹数组:
pHash=1 0 0 0 1 0 1 0 0 1 1 1 1 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 00 0 1 0 1 1 0 1 0 1 0 1 0 0 0 0 1 0 0 0 1 0 1 1 1 0 1 1 1 1 0 0 0
而已有的人脸类型A的指纹数组:
pHash=1 0 0 1 1 0 1 0 0 1 1 1 1 0 0 1 1 1 1 0 0 0 0 1 0 0 0 0 0 1 00 1 1 0 1 1 1 1 0 1 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 1 1 0 1 0 0 0
人脸类型B的指纹数组:
pHash=1 1 0 1 1 0 1 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 00 1 1 0 1 1 1 1 0 1 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 1 1 0 1 1 1 1
假设有且只有人脸类型A和人脸类型B与新检测到的人脸距离在阈值范围内,上述新人脸与A的pHash值有10个不同位,而与B有18个不同位,而同类型人脸的pHash阈值为15,则新检测到的人脸被聚类到人脸类型A下。
本实施例通过对检测到的人脸图片通过相似性算法,将认为是同一个人的人脸图片归纳到同一个人脸类型中(这些人可能是正确识别的人,也可能是干扰物),并根据人脸图片的关键信息更新人脸类型的结构化信息,最后对所有人脸类型进行筛选,输出符合要求的人脸图片。
通过这种方式,待处理的庞大无序的图片数据集被一个结构化数据库所替代,之后只需根据不同的应用场景对筛选算法的参数进行设置,就能定时地从人脸类型数据库中找出符合输出条件的类型集合M,并快速判断是否为真正的人脸类型,即时过滤其中的静态干扰物类型,使得系统最终的输出仅包含正识人脸类型。
本实施例数据结构简单,算法运行速度快,能够满足视频处理对实时性的要求;处理数据时占用系统资源少;根据不同的应用场景表现性能佳,有很好的适应性。
实施例二
本实施例是实施例一的进一步拓展,相同之处不再累述,区别在于,人脸图片的关键信息还包括综合分数,获取综合分数的步骤为:根据所述一人脸图片的清晰度、正脸程度和人脸完整度,计算得到所述一人脸图片的综合分数。综合分数的具体分数的计算如下所述:
1、清晰度:对人脸图片计算其倒谱(Cepstrum),求得其倒谱的平均能量E,然后根据对实验样本中清晰图像和模糊图像的测算得到的阈值T,求取人脸图片的清晰度评分S1=T/(E+T)。
2、正脸程度:根据神经网络提取人脸图片的五官位置,对两眼和两嘴角的倾斜度、人脸对称度进行定量测算并进行归一化处理,得到所述一人脸图片的正脸程度评分S2
其中,对于两眼和两嘴角的倾斜度评分使用下述算法:输入两个已知位置(计算两眼倾斜度时,该两个位置即为两眼的位置;计算两嘴角倾斜度时,该两个位置即为两嘴角的位置)的坐标(x1,y1)和(x2,y2),根据两个点求出其确定直线与水平线的倾斜角度θ=arctan((y2-y1)/(x2-x1)),该部分的得分记为λ1,2=1-|θ|/(π/2);
对于人脸对称度评分使用下述算法:由两眼和两嘴角坐标确定人脸中心坐标(x3,y3)与人脸图像中心坐标(x4,y4),求出两坐标的欧式距离d后对其进行归一化,最后该部分的得分记为λ3=1-d;
最后求取λ1、λ2、λ3的平均值即为S2
3、人脸完整度:使用Sobel算子计算人脸图片的图像边缘信息的均值M,求得完整度评分S3=1/(1+M);
4、对上述的三个评分求取加权平均,得到最后人脸图片的综合分数Score(其中三个评分的权重依次为0.4、0.4、0.2)。
进一步地,人脸类型的结构化信息还可以包括所述人脸类型中保存的人脸图片的综合分数的最高值。
进一步地,在步骤S13中,得到人脸集合后,可只将人脸集合中的各人脸类型中综合分数最高的人脸图片进行输出。
本实施例在记录人脸图片的关键信息时,同时计算每张人脸图片的综合分数,分数越高表示图片效果越好,最后输出人脸集合中人脸类型的综合分数最高的人脸图片,即输出了每个人脸类型中效果最好的人脸图片,有利于后续的分析处理。
实施例三
本实施例是对应上述实施例的一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现以下步骤:
根据预设的采样率,依次从动态视频流中获取一帧静态图片;
对所述一帧静态图片进行人脸检测,得到人脸图片集;
获取所述人脸图片集中各人脸图片的关键信息,所述关键信息包括人脸图片对应的时间戳、人脸图片在所述一帧静态图片中的位置信息和指纹数组;
根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量;
根据结构化信息,对各人脸类型进行筛选,得到人脸集合。
进一步地,所述“获取所述人脸图片集中各人脸图片的关键信息”具体为:
依次从所述人脸图片集中获取一人脸图片;
获取所述一帧静态图片的时间戳作为所述一人脸图片对应的时间戳;
获取所述一人脸图片在所述一帧静态图片中的位置信息;
根据感知哈希算法,得到所述一人脸图片的指纹数组,所述指纹数组为64个0或1组合的数组。
进一步地,所述“根据感知哈希算法,得到所述一人脸图片的指纹数组,所述指纹数组为64个0或1组合的数组”具体为:
将所述一人脸图片的尺寸缩小至8*8像素;
对缩小后的所述一人脸图片进行离散余弦变换,得到变换矩阵;
获取所述变换矩阵的左上角8*8的矩阵,并将所述8*8的矩阵中的64个元素存储至一维数组中;
根据所述64个元素的平均值,对所述64个元素进行二值化,得到指纹数组。
进一步地,所述“根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量”具体为:
根据一人脸图片的指纹数组,通过相似度算法在人脸类型数据库中查找是否存在与所述一人脸图片相似的人脸类型;
若存在,则将所述一人脸图片保存至所述相似的人脸类型,并根据所述一人脸图片的关键信息更新所述相似的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量;
若不存在,则创建新的人脸类型,并根据所述一人脸图片的关键信息构建所述新的人脸类型的结构化信息。
进一步地,所述结构化信息还包括最后检测到所述人脸类型的时间戳;所述“对各人脸类型进行筛选,得到人脸集合”之前,进一步包括:
若一人脸类型满足预设的输出条件,则输出所述一人脸类型至人脸类型集合,并删除所述一人脸类型,所述预设的输出条件为最后检测到所述一人脸类型的时间戳到当前时间的时间差达到预设的时间阈值。
进一步地,所述“对各人脸类型进行筛选,得到人脸集合”具体为:
根据人脸类型集合中各人脸类型的结构化信息中的首次检测到所述人脸类型的位置信息和最后检测到所述人脸类型的位置信息,计算得到各人脸类型的位移;
判断一人脸类型的位移是否大于预设的位移阈值且所述一人脸类型所保存的人脸图片的数量是否大于预设的数量阈值;
若是,则将所述一人脸类型输出至人脸集合;
若否,则将所述一人脸类型输出至干扰物集合。
进一步地,所述关键信息还包括综合分数;所述“获取所述人脸图片集中各人脸图片的关键信息”还包括:
根据所述一人脸图片的清晰度、正脸程度和人脸完整度,计算得到所述一人脸图片的综合分数。
进一步地,所述“根据所述一人脸图片的清晰度、正脸程度和人脸完整度,计算得到所述一人脸图片的综合分数”具体为:
计算所述一人脸图片的倒谱的平均能量;
根据预设的第一阈值和所述平均能量,计算得到所述一人脸图像的清晰度评分;
根据所述一人脸图片的五官位置,对两眼和两嘴角的倾斜度、人脸对称度进行定量测算并进行归一化处理,得到所述一人脸图片的正脸程度评分;
计算所述一人脸图片的图像边缘信息的均值;
根据所述均值,计算得到所述一人脸图片的完整度评分;
根据所述清晰度评分、正脸程度评分、完整度评分以及预设的权重,计算得到所述一人脸图片的综合分数。
进一步地,所述“得到人脸集合”之后,进一步包括:
输出人脸集合中的各人脸类型中综合分数最高的人脸图片。
综上所述,本发明提供的一种动态人脸识别方法及计算机可读存储介质,通过对检测到的人脸图片通过相似性算法,将认为是同一个人的人脸图片归纳到同一个人脸类型中(这些人可能是正确识别的人,也可能是干扰物),并根据人脸图片的关键信息更新人脸类型的结构化信息,最后对所有人脸类型进行筛选,输出符合要求的人脸图片。本发明通过对检测到的结果进行再处理、限定输出结果,明显减低了算法复杂性,提高处理速度,达到系统实时处理视频的要求;数据结构简单,算法运行速度快,能够满足视频处理对实时性的要求;处理数据时占用系统资源少;根据不同的应用场景表现性能佳,有很好的适应性。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种动态人脸识别方法,其特征在于,包括:
根据预设的采样率,依次从动态视频流中获取一帧静态图片;
对所述一帧静态图片进行人脸检测,得到人脸图片集;
获取所述人脸图片集中各人脸图片的关键信息,所述关键信息包括人脸图片对应的时间戳、人脸图片在所述一帧静态图片中的位置信息和指纹数组;
根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量;
根据结构化信息,对各人脸类型进行筛选,得到人脸集合。
2.根据权利要求1所述的动态人脸识别方法,其特征在于,所述“获取所述人脸图片集中各人脸图片的关键信息”具体为:
依次从所述人脸图片集中获取一人脸图片;
获取所述一帧静态图片的时间戳作为所述一人脸图片对应的时间戳;
获取所述一人脸图片在所述一帧静态图片中的位置信息;
根据感知哈希算法,得到所述一人脸图片的指纹数组,所述指纹数组为64个0或1组合的数组。
3.根据权利要求2所述的动态人脸识别方法,其特征在于,所述“根据感知哈希算法,得到所述一人脸图片的指纹数组,所述指纹数组为64个0或1组合的数组”具体为:
将所述一人脸图片的尺寸缩小至8*8像素;
对缩小后的所述一人脸图片进行离散余弦变换,得到变换矩阵;
获取所述变换矩阵的左上角8*8的矩阵,并将所述8*8的矩阵中的64个元素存储至一维数组中;
根据所述64个元素的平均值,对所述64个元素进行二值化,得到指纹数组。
4.根据权利要求1所述的动态人脸识别方法,其特征在于,所述“根据所述关键信息,通过相似度算法对各人脸图片进行匹配分类,得到各人脸图片对应的各人脸类型,并根据人脸图片的关键信息,构建或更新对应的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量”具体为:
根据一人脸图片的指纹数组,通过相似度算法在人脸类型数据库中查找是否存在与所述一人脸图片相似的人脸类型;
若存在,则将所述一人脸图片保存至所述相似的人脸类型,并根据所述一人脸图片的关键信息更新所述相似的人脸类型的结构化信息,所述结构化信息包括首次检测到所述人脸类型的位置信息、最后检测到所述人脸类型的位置信息、最新保存至所述人脸类型的人脸图片的指纹数组以及所述人脸类型所保存的人脸图片的数量;
若不存在,则创建新的人脸类型,并根据所述一人脸图片的关键信息构建所述新的人脸类型的结构化信息。
5.根据权利要求1所述的动态人脸识别方法,其特征在于,所述结构化信息还包括最后检测到所述人脸类型的时间戳;所述“对各人脸类型进行筛选,得到人脸集合”之前,进一步包括:
若一人脸类型满足预设的输出条件,则输出所述一人脸类型至人脸类型集合,并删除所述一人脸类型,所述预设的输出条件为最后检测到所述一人脸类型的时间戳到当前时间的时间差达到预设的时间阈值。
6.根据权利要求5所述的动态人脸识别方法,其特征在于,所述“对各人脸类型进行筛选,得到人脸集合”具体为:
根据人脸类型集合中各人脸类型的结构化信息中的首次检测到所述人脸类型的位置信息和最后检测到所述人脸类型的位置信息,计算得到各人脸类型的位移;
判断一人脸类型的位移是否大于预设的位移阈值且所述一人脸类型所保存的人脸图片的数量是否大于预设的数量阈值;
若是,则将所述一人脸类型输出至人脸集合;
若否,则将所述一人脸类型输出至干扰物集合。
7.根据权利要求1所述的动态人脸识别方法,其特征在于,所述关键信息还包括综合分数;所述“获取所述人脸图片集中各人脸图片的关键信息”还包括:
根据所述一人脸图片的清晰度、正脸程度和人脸完整度,计算得到所述一人脸图片的综合分数。
8.根据权利要求7所述的动态人脸识别方法,其特征在于,所述“根据所述一人脸图片的清晰度、正脸程度和人脸完整度,计算得到所述一人脸图片的综合分数”具体为:
计算所述一人脸图片的倒谱的平均能量;
根据预设的第一阈值和所述平均能量,计算得到所述一人脸图像的清晰度评分;
根据所述一人脸图片的五官位置,对两眼和两嘴角的倾斜度、人脸对称度进行定量测算并进行归一化处理,得到所述一人脸图片的正脸程度评分;
计算所述一人脸图片的图像边缘信息的均值;
根据所述均值,计算得到所述一人脸图片的完整度评分;
根据所述清晰度评分、正脸程度评分、完整度评分以及预设的权重,计算得到所述一人脸图片的综合分数。
9.根据权利要求7或8所述的动态人脸识别方法,其特征在于,所述“得到人脸集合”之后,进一步包括:
输出人脸集合中的各人脸类型中综合分数最高的人脸图片。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9任一项所述的步骤。
CN201711337096.0A 2017-12-14 2017-12-14 动态人脸识别方法及计算机可读存储介质 Active CN107944427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711337096.0A CN107944427B (zh) 2017-12-14 2017-12-14 动态人脸识别方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711337096.0A CN107944427B (zh) 2017-12-14 2017-12-14 动态人脸识别方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107944427A true CN107944427A (zh) 2018-04-20
CN107944427B CN107944427B (zh) 2020-11-06

Family

ID=61943254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711337096.0A Active CN107944427B (zh) 2017-12-14 2017-12-14 动态人脸识别方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107944427B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897775A (zh) * 2018-06-01 2018-11-27 昆明理工大学 一种基于感知哈希的快速图像识别系统及方法
CN109271771A (zh) * 2018-09-20 2019-01-25 平安科技(深圳)有限公司 账号信息找回方法、装置、计算机设备
CN109543641A (zh) * 2018-11-30 2019-03-29 厦门市美亚柏科信息股份有限公司 一种实时视频的多目标去重方法、终端设备及存储介质
CN110287778A (zh) * 2019-05-15 2019-09-27 北京旷视科技有限公司 一种图像的处理方法、装置、终端及存储介质
CN110288632A (zh) * 2019-05-15 2019-09-27 北京旷视科技有限公司 一种图像处理方法、装置、终端及存储介质
CN110852203A (zh) * 2019-10-28 2020-02-28 西安交通大学 一种基于视频特征学习的多要素可疑人员识别方法
CN111784658A (zh) * 2020-06-29 2020-10-16 厦门市美亚柏科信息股份有限公司 一种用于人脸图像的质量分析方法和系统
CN111783537A (zh) * 2020-05-29 2020-10-16 哈尔滨莫迪科技有限责任公司 一种基于目标检测特征的两阶段快速抓取检测方法
CN113012089A (zh) * 2019-12-19 2021-06-22 北京金山云网络技术有限公司 一种图像质量评价方法及装置
CN113822927A (zh) * 2021-09-22 2021-12-21 易联众智鼎(厦门)科技有限公司 一种适用弱质量图像的人脸检测方法、装置、介质及设备
CN117542106A (zh) * 2024-01-10 2024-02-09 成都同步新创科技股份有限公司 一种静态人脸检测和数据排除方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184238A (zh) * 2015-08-26 2015-12-23 广西小草信息产业有限责任公司 一种人脸识别方法及系统
CN105654512A (zh) * 2015-12-29 2016-06-08 深圳羚羊微服机器人科技有限公司 一种目标跟踪方法和装置
CN106650606A (zh) * 2016-10-21 2017-05-10 江苏理工学院 人脸图像的匹配及处理方法、人脸图像模型构建系统
US20170236002A1 (en) * 2016-02-15 2017-08-17 Electronics And Telecommunications Research Institute Face recognition method
CN107403173A (zh) * 2017-08-21 2017-11-28 合肥麟图信息科技有限公司 一种人脸识别系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184238A (zh) * 2015-08-26 2015-12-23 广西小草信息产业有限责任公司 一种人脸识别方法及系统
CN105654512A (zh) * 2015-12-29 2016-06-08 深圳羚羊微服机器人科技有限公司 一种目标跟踪方法和装置
US20170236002A1 (en) * 2016-02-15 2017-08-17 Electronics And Telecommunications Research Institute Face recognition method
CN106650606A (zh) * 2016-10-21 2017-05-10 江苏理工学院 人脸图像的匹配及处理方法、人脸图像模型构建系统
CN107403173A (zh) * 2017-08-21 2017-11-28 合肥麟图信息科技有限公司 一种人脸识别系统及方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897775A (zh) * 2018-06-01 2018-11-27 昆明理工大学 一种基于感知哈希的快速图像识别系统及方法
CN109271771A (zh) * 2018-09-20 2019-01-25 平安科技(深圳)有限公司 账号信息找回方法、装置、计算机设备
CN109543641A (zh) * 2018-11-30 2019-03-29 厦门市美亚柏科信息股份有限公司 一种实时视频的多目标去重方法、终端设备及存储介质
CN109543641B (zh) * 2018-11-30 2021-01-26 厦门市美亚柏科信息股份有限公司 一种实时视频的多目标去重方法、终端设备及存储介质
CN110288632A (zh) * 2019-05-15 2019-09-27 北京旷视科技有限公司 一种图像处理方法、装置、终端及存储介质
CN110287778A (zh) * 2019-05-15 2019-09-27 北京旷视科技有限公司 一种图像的处理方法、装置、终端及存储介质
CN110287778B (zh) * 2019-05-15 2021-09-10 北京旷视科技有限公司 一种图像的处理方法、装置、终端及存储介质
CN110852203A (zh) * 2019-10-28 2020-02-28 西安交通大学 一种基于视频特征学习的多要素可疑人员识别方法
CN110852203B (zh) * 2019-10-28 2022-04-22 西安交通大学 一种基于视频特征学习的多要素可疑人员识别方法
CN113012089A (zh) * 2019-12-19 2021-06-22 北京金山云网络技术有限公司 一种图像质量评价方法及装置
CN111783537A (zh) * 2020-05-29 2020-10-16 哈尔滨莫迪科技有限责任公司 一种基于目标检测特征的两阶段快速抓取检测方法
CN111784658A (zh) * 2020-06-29 2020-10-16 厦门市美亚柏科信息股份有限公司 一种用于人脸图像的质量分析方法和系统
CN111784658B (zh) * 2020-06-29 2022-07-01 厦门市美亚柏科信息股份有限公司 一种用于人脸图像的质量分析方法和系统
CN113822927A (zh) * 2021-09-22 2021-12-21 易联众智鼎(厦门)科技有限公司 一种适用弱质量图像的人脸检测方法、装置、介质及设备
CN117542106A (zh) * 2024-01-10 2024-02-09 成都同步新创科技股份有限公司 一种静态人脸检测和数据排除方法、装置及存储介质
CN117542106B (zh) * 2024-01-10 2024-04-05 成都同步新创科技股份有限公司 一种静态人脸检测和数据排除方法、装置及存储介质

Also Published As

Publication number Publication date
CN107944427B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN107944427A (zh) 动态人脸识别方法及计算机可读存储介质
US10896349B2 (en) Text detection method and apparatus, and storage medium
CN109697416B (zh) 一种视频数据处理方法和相关装置
EP3333768A1 (en) Method and apparatus for detecting target
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
KR102554724B1 (ko) 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스
US11804071B2 (en) Method for selecting images in video of faces in the wild
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN110135246A (zh) 一种人体动作的识别方法及设备
CN108269333A (zh) 人脸识别方法、应用服务器及计算机可读存储介质
CN111797326B (zh) 一种融合多尺度视觉信息的虚假新闻检测方法及系统
CN105631418A (zh) 一种人数统计的方法和装置
CN110390673A (zh) 一种监控场景下基于深度学习的香烟自动检测方法
CN111626240B (zh) 一种人脸图像识别方法、装置、设备及可读存储介质
CN115062186A (zh) 一种视频内容检索方法、装置、设备以及存储介质
CN113076860B (zh) 一种野外场景下的鸟类检测系统
WO2023160061A1 (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
JP5552946B2 (ja) 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム
CN110490170A (zh) 一种人脸候选框提取方法
CN111898473B (zh) 一种基于深度学习的司机状态实时监测方法
CN114332981A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110572618B (zh) 一种非法拍照行为监控方法、装置及系统
CN109325521B (zh) 用于虚拟人物的检测方法及装置
CN113435248A (zh) 口罩人脸识别底库增强方法、装置、设备及可读存储介质
CN112149598A (zh) 一种侧脸评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant