CN112084857A - 一种视频流的人脸识别方法及识别系统 - Google Patents

一种视频流的人脸识别方法及识别系统 Download PDF

Info

Publication number
CN112084857A
CN112084857A CN202010778386.4A CN202010778386A CN112084857A CN 112084857 A CN112084857 A CN 112084857A CN 202010778386 A CN202010778386 A CN 202010778386A CN 112084857 A CN112084857 A CN 112084857A
Authority
CN
China
Prior art keywords
face
information
deep learning
face information
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010778386.4A
Other languages
English (en)
Inventor
戚建淮
罗朋
刘建辉
郑伟范
唐娟
孙秋明
宋晶
彭华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Y&D Electronics Information Co Ltd
Original Assignee
Shenzhen Y&D Electronics Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Y&D Electronics Information Co Ltd filed Critical Shenzhen Y&D Electronics Information Co Ltd
Priority to CN202010778386.4A priority Critical patent/CN112084857A/zh
Publication of CN112084857A publication Critical patent/CN112084857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频流的人脸识别方法及识别系统,包括:图像提取步骤,获取视频流数据,并且从视频流数据中提取多个连续的视频图像信息;人脸结构相似度识别步骤,对视频图像信息中的人脸信息进行人脸平面结构处理,得到结构化人脸信息,并且对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断;深度学习网络识别步骤,根据人脸结构相似度识别步骤的判断结果选择地对部分人脸信息进行深度学习网络识别处理;输出步骤,将深度学习网络识别步骤的处理结果输出利用,实现动态追踪,经过深度学习网络模型对相匹配的部分人脸信息进行处理,减少重复计算,具有较高的精度以及运算效率。

Description

一种视频流的人脸识别方法及识别系统
技术领域
本发明涉及人脸识别领域,特别涉及一种视频流的人脸识别方法及识别系统。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,它由计算机分析人脸图像,从图像中提取有效信息并自动鉴别,现今人脸识别技术已经广泛应用于安全系统及人机交互等方面,已成为计算机视觉和模式识别领域中重要的研究课题之一。
而在人脸识别方法中,现有深度学习网络识别方法,会采集大量的人脸信息作为训练库,建立深度学习的神经网络模型,而后输入获取的人脸信息,能够基于已经训练完成的神经网络模型进行运算识别,从而判断人脸信息的匹配程度。
对于在视频流中实现人脸识别,利用摄像机或摄像头采集含有人脸的视频流,视频流实际上由多张图像信息构成,而每张图像信息中都有可能包含多个不同的人脸信息,假若需要利用深度学习网络识别方法对每张图像信息中的每个人脸信息均进行处理,存在较大的运算量,处理效率低下,不能满足实际运用的要求。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种视频流的人脸识别方法,动态追踪,并且能够基于深度学习网络识别,具有较高的精度以及运算效率。
本发明还提出一种识别系统,实现对视频流中的人脸信息快速识别,具有较高的精度。
根据本发明的第一方面实施例的一种视频流的人脸识别方法,包括:图像提取步骤,获取视频流数据,并且从视频流数据中提取多个连续的视频图像信息;人脸结构相似度识别步骤,对视频图像信息中的人脸信息进行人脸平面结构处理,得到结构化人脸信息,并且对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断;深度学习网络识别步骤,根据人脸结构相似度识别步骤的判断结果选择地对部分人脸信息进行深度学习网络识别处理;输出步骤,将深度学习网络识别步骤的处理结果输出利用。
根据本发明实施例的一种视频流的人脸识别方法,至少具有如下有益效果:
本发明人脸识别方法,从视频流数据中提取连续的视频图像信息,并且解析其中的人脸信息的结构,而后对连续的视频图像信息中相邻位置的人脸信息进行相似度判断,若相似度满足要求,则可以将相似度高的人脸信息预先匹配,实现动态追踪,而后再经过深度学习网络模型对相匹配的部分人脸信息进行处理,减少重复计算,具有较高的精度以及运算效率。
根据本发明的一些实施例,在图像提取步骤中,基于数据帧以从视频流数据中提取多个连续的视频图像信息。
根据本发明的一些实施例,在人脸结构相似度识别步骤中包括:关键点定位步骤,在视频图像信息中基于人脸关键点定位人脸信息;人脸结构定位步骤,对人脸信息进行人脸平面结构的划分,得到结构化人脸信息;相似度判断步骤,对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断。
根据本发明的一些实施例,在人脸结构定位步骤中,采用Voronoi图算法对人脸信息进行人脸平面结构的划分,得到结构化人脸信息。
根据本发明的一些实施例,在相似度判断步骤中,按照最临近原则分类对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断。
根据本发明的一些实施例,在输出步骤中,将深度学习网络识别步骤的处理的人脸信息分类并且建立人脸识别库。
根据本发明的一些实施例,在深度学习网络识别步骤中,将获取的人脸信息与人脸识别库中的人脸信息进行深度学习网络识别判断,并且在输出步骤中输出判断结果。
根据本发明的一些实施例,在输出步骤中,将人脸信息重构成3D人脸信息。
根据本发明第二方面实施例的识别系统,包括处理器以及存储器,存储器用于存储至少一个程序,当至少一个程序被所述处理器执行,使得所述处理器实现上述任一实施例公开的一种视频流的人脸识别方法。
根据本发明实施例的识别系统,至少具有如下有益效果:
本发明的识别系统,对视频流中连续的图像信息中的人脸动态追踪,并且对相似度高的能够相互匹配的多个人脸信息基于深度学习网络模型快速识别,具有较高的精度。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明人脸识别方法其中一种实施例的主流程图;
图2为本发明人脸识别方法其中一种实施例的人脸结构相似度识别步骤的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,涉及到方位描述,例如术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图1、2所示,根据本发明实施例的一种视频流的人脸识别方法,包括:图像提取步骤,获取视频流数据,并且从视频流数据中提取多个连续的视频图像信息;人脸结构相似度识别步骤,对视频图像信息中的人脸信息进行人脸平面结构处理,得到结构化人脸信息,并且对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断;深度学习网络识别步骤,根据人脸结构相似度识别步骤的判断结果选择地对部分人脸信息进行深度学习网络识别处理;输出步骤,将深度学习网络识别步骤的处理结果输出利用。
本发明人脸识别方法,从视频流数据中提取连续的视频图像信息,并且解析其中的人脸信息的结构,而后对连续的视频图像信息中相邻位置的人脸信息进行相似度判断,若相似度满足要求,则可以将相似度高的人脸信息预先匹配,实现动态追踪,而后再经过深度学习网络模型对相匹配的部分人脸信息进行处理,减少重复计算,具有较高的精度以及运算效率。
在本发明的一些实施例中,在图像提取步骤中,基于数据帧以从视频流数据中提取多个连续的视频图像信息。
在本发明的一些实施例中,如图2所示,在人脸结构相似度识别步骤中包括关键点定位步骤、人脸结构定位步骤以及相似度判断步骤。
其中,关键点定位步骤中,在视频图像信息中基于人脸关键点定位人脸信息,可以定位512维关键特征点,并且在构建深度学习网络模型时,可以搭建一个由P、R、O三个子网络组成的检测深度学习网络模型MTCNN,并设置网络参数。
在人脸结构定位步骤,对人脸信息进行人脸平面结构的划分,得到结构化人脸信息,具体地,可采用Voronoi图算法对人脸信息进行人脸平面结构的划分,得到结构化人脸信息;
而在相似度判断步骤中,对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断,具体地,按照最临近原则分类对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断。
Voronoi图对于每个点所在的Voronoi单元都是离该点最近的点组成的区域,可应用于快速对人脸特征进行处理,每一帧视频流数据得到结构化的人脸均能够快速定位,从而快速匹配的相邻人脸的相似度。
在本发明的一些实施例中,在输出步骤中,将深度学习网络识别步骤的处理的人脸信息分类并且建立人脸识别库。
需要说明的是,本设计的人脸识别方法可以在构建深度学习网络模型时使用,能够从视频流中采集大量的人脸信息以形成训练库,而利用本设计的人脸识别方法,可以加快深度学习网络模型的构建速度,同样地,在深度学习网络模型构建完成后,本设计也可以在实际应用中使用,以对摄像头采集的人脸进行识别。
具体地,在建立人脸识别库时,获取人脸信息的数据,并且对人脸信息采集角度在180度内的数据,将采集的图像组成深度学习网络模型的测试集,并且深度学习网络模型进行特征提取得到学习用的特征向量,而后将每张图像对应的人脸区域输入到训练完成的深度学习网络模型,输出每张人脸图像的512维人脸特征向量,通过迭代得到人脸识别的深度学习网络模型,并且可以建立黑白名单库,通过深度学习网络模型进行人脸分类。
其中,在黑白名单库中,对白名单人员进行标记归类,同一个人需要取多张180度以内的带有人脸信息的图像,用于建模,并且构建分类文件夹,不同个人在同一个文件夹内,不同人员用文件夹名字区分,在之后的深度学习网络模型中,不属于此白名单中的人员可以认为是黑名单人员,并且储存在黑名单库中。
在本发明的一些实施例中,在深度学习网络识别步骤中,将获取的人脸信息与人脸识别库中的人脸信息进行深度学习网络识别判断,并且在输出步骤中输出判断结果。
进一步地,在输出步骤中,将人脸信息重构成3D人脸信息,此处可以采用常规的人脸平面图像转3D人脸图像的模型来实现。
具体地,本设计在实际应用中,从摄像头采集的视频流中定位人脸信息,通过Voronoi图算法,迅速得到人脸平面结构,经过特征抽取后,得到特征向量,在深度学习网络识别步骤中将实时得到的特征比对训练好的人脸识别库,并且进行人脸分类,通过类内聚合,类间分隔算法判别是否为库内白名单人员,若人脸库不是库内白名单人员,或者相似度很低,则构建黑名单库,同时可以进行预警。
进一步地,对黑名单图片进行3D重构,得到该人员的3D人脸模型,提供给相关管理人员。
根据本发明第二方面实施例的识别系统,包括处理器以及存储器,存储器用于存储至少一个程序,当至少一个程序被所述处理器执行,使得所述处理器实现上述任一实施例公开的一种视频流的人脸识别方法。
本发明的识别系统,对视频流中连续的图像信息中的人脸动态追踪,并且对相似度高的能够相互匹配的多个人脸信息基于深度学习网络模型快速识别,具有较高的精度。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种视频流的人脸识别方法,其特征在于,包括:
图像提取步骤,获取视频流数据,并且从视频流数据中提取多个连续的视频图像信息;
人脸结构相似度识别步骤,对视频图像信息中的人脸信息进行人脸平面结构处理,得到结构化人脸信息,并且对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断;
深度学习网络识别步骤,根据人脸结构相似度识别步骤的判断结果选择地对部分人脸信息进行深度学习网络识别处理;
输出步骤,将深度学习网络识别步骤的处理结果输出利用。
2.根据权利要求1所述的一种视频流的人脸识别方法,其特征在于:在图像提取步骤中,基于数据帧以从视频流数据中提取多个连续的视频图像信息。
3.根据权利要求1所述的一种视频流的人脸识别方法,其特征在于,在人脸结构相似度识别步骤中包括:
关键点定位步骤,在视频图像信息中基于人脸关键点定位人脸信息;
人脸结构定位步骤,对人脸信息进行人脸平面结构的划分,得到结构化人脸信息;
相似度判断步骤,对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断。
4.根据权利要求3所述的一种视频流的人脸识别方法,其特征在于,在人脸结构定位步骤中,采用Voronoi图算法对人脸信息进行人脸平面结构的划分,得到结构化人脸信息。
5.根据权利要求3所述的一种视频流的人脸识别方法,其特征在于:在相似度判断步骤中,按照最临近原则分类对连续的视频图像信息中相邻位置的结构化人脸信息进行相似度判断。
6.根据权利要求1所述的一种视频流的人脸识别方法,其特征在于:在输出步骤中,将深度学习网络识别步骤的处理的人脸信息分类并且建立人脸识别库。
7.根据权利要求6所述的一种视频流的人脸识别方法,其特征在于:在深度学习网络识别步骤中,将获取的人脸信息与人脸识别库中的人脸信息进行深度学习网络识别判断,并且在输出步骤中输出判断结果。
8.根据权利要求1所述的一种视频流的人脸识别方法,其特征在于:在输出步骤中,将人脸信息重构成3D人脸信息。
9.识别系统,其特征在于,包括处理器以及存储器,存储器用于存储至少一个程序,当至少一个程序被所述处理器执行,使得所述处理器实现如权利要求1-8任一项所述的一种视频流的人脸识别方法。
CN202010778386.4A 2020-08-05 2020-08-05 一种视频流的人脸识别方法及识别系统 Pending CN112084857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778386.4A CN112084857A (zh) 2020-08-05 2020-08-05 一种视频流的人脸识别方法及识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778386.4A CN112084857A (zh) 2020-08-05 2020-08-05 一种视频流的人脸识别方法及识别系统

Publications (1)

Publication Number Publication Date
CN112084857A true CN112084857A (zh) 2020-12-15

Family

ID=73735501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778386.4A Pending CN112084857A (zh) 2020-08-05 2020-08-05 一种视频流的人脸识别方法及识别系统

Country Status (1)

Country Link
CN (1) CN112084857A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609497A (zh) * 2017-08-31 2018-01-19 武汉世纪金桥安全技术有限公司 基于视觉跟踪技术的实时视频人脸识别方法及系统
CN108229322A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 基于视频的人脸识别方法、装置、电子设备及存储介质
CN108875602A (zh) * 2018-05-31 2018-11-23 珠海亿智电子科技有限公司 监控环境下基于深度学习的人脸识别方法
CN111079670A (zh) * 2019-12-20 2020-04-28 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609497A (zh) * 2017-08-31 2018-01-19 武汉世纪金桥安全技术有限公司 基于视觉跟踪技术的实时视频人脸识别方法及系统
CN108229322A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 基于视频的人脸识别方法、装置、电子设备及存储介质
CN108875602A (zh) * 2018-05-31 2018-11-23 珠海亿智电子科技有限公司 监控环境下基于深度学习的人脸识别方法
CN111079670A (zh) * 2019-12-20 2020-04-28 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗浩等: "基于泰森多边形特征分解的人脸识别", 《电视技术》, no. 03, pages 115 - 120 *

Similar Documents

Publication Publication Date Title
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
CN108182409B (zh) 活体检测方法、装置、设备及存储介质
CN104933414B (zh) 一种基于wld-top的活体人脸检测方法
Singh et al. Muhavi: A multicamera human action video dataset for the evaluation of action recognition methods
CN107230267B (zh) 基于人脸识别算法的幼儿园智能签到方法
Zhou et al. Histograms of categorized shapes for 3D ear detection
WO2015089115A1 (en) Feature density object classification, systems and methods
JP2009086901A (ja) 年齢推定システム及び年齢推定方法
Ming et al. Activity recognition from RGB-D camera with 3D local spatio-temporal features
JP2005149506A (ja) 対象物自動認識照合方法および装置
Benlamoudi et al. Face spoofing detection using multi-level local phase quantization (ML-LPQ)
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
CN107480628B (zh) 一种人脸识别方法及装置
Barra et al. Unconstrained ear processing: What is possible and what must be done
US11138417B2 (en) Automatic gender recognition utilizing gait energy image (GEI) images
Suneetha A survey on video-based face recognition approaches
Abdullah-Al-Wadud et al. Skin segmentation using color distance map and water-flow property
CN112084857A (zh) 一种视频流的人脸识别方法及识别系统
Pflug Ear recognition: Biometric identification using 2-and 3-dimensional images of human ears
CN111898473B (zh) 一种基于深度学习的司机状态实时监测方法
Panicker et al. Cardio-pulmonary resuscitation (CPR) scene retrieval from medical simulation videos using local binary patterns over three orthogonal planes
Cui et al. An appearance-based method for iris detection
CN202472689U (zh) 一种人脸姿态检测系统
KR100711223B1 (ko) 저니키(Zernike)/선형 판별 분석(LDA)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체
Tsai et al. Enhanced long-range personal identification based on multimodal information of human features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination