CN110941993A - 基于人脸识别的动态人员分类与存储方法 - Google Patents

基于人脸识别的动态人员分类与存储方法 Download PDF

Info

Publication number
CN110941993A
CN110941993A CN201911043887.1A CN201911043887A CN110941993A CN 110941993 A CN110941993 A CN 110941993A CN 201911043887 A CN201911043887 A CN 201911043887A CN 110941993 A CN110941993 A CN 110941993A
Authority
CN
China
Prior art keywords
face
similarity
image
feature
security system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911043887.1A
Other languages
English (en)
Inventor
于海
杨守界
杨益
杨杨
刘国奇
朱志良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201911043887.1A priority Critical patent/CN110941993A/zh
Publication of CN110941993A publication Critical patent/CN110941993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人脸识别的动态人员分类与存储方法，涉及图像识别处理技术领域。该方法首先获取监控摄像的连续视频序列，定时采集图像帧，并进行图像预处理；然后对经过预处理的图像进行人脸检测和特征提取；逐一计算安防系统人脸库中的人脸特征矩阵与提取出来的人脸特征矩阵的余弦相似度，并取得余弦相似度最大值；最后根据余弦相似度最大值与系统预设阈值进行比较，判断图像中人脸所归属的人群类别，并展示和存储出入记录。本发明方法，能够实时发现安防系统预设黑名单人员，降低犯罪发生概率。同时，可以保存海量不同类别人群的出入记录。

Description

基于人脸识别的动态人员分类与存储方法
技术领域
本发明涉及图像识别处理技术领域，尤其涉及一种基于人脸识别的动态人员分类与存储方法。
背景技术
人脸识别是一种基于人的脸部特征信息进行身份识别的生物识别技术。人脸识别技术在实际应用过程中主要使用摄像机或摄像头，采集含有人脸的图像或视频流，并自动检测和跟踪图像中的人脸，从而达到检测和识别人脸的目的。
近年来，随着科学技术水平的不断提升，人脸识别算法技术得到极大发展。针对静态图像的人脸识别技术已经取得很大的进步，但鲜有针对动态视频人脸识别技术的研究，现存少量能应用于视频中的人脸识别方法也存在着检测准确率低和漏检率高等问题。能够将动态人脸识别技术应用于传统安防系统的方法更是少之又少。传统的安防系统存在无法检索、数据分散、存储周期短等问题，并且无法对指定人员进行追踪。如果有犯罪案件发生，还必须人工调取各个监控视频进行比对，耗时费力，且效果很差。将动态人脸识别技术和传统安防系统相结合，打造智慧安防系统具有重要意义和价值。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于人脸识别的动态人员分类与存储方法，实现对视频中的人脸进行动态识别分类与存储。
为解决上述技术问题，本发明所采取的技术方案是：基于人脸识别的动态人员分类与存储方法，包括以下步骤：
步骤1：获取监控摄像的连续视频序列，定时采集图像帧，将得到的图像进行图像灰度化处理和图像尺寸缩放的预处理操作；
步骤2：对经过预处理的图像进行人脸检测和特征提取，得到人脸特征矩阵；
步骤2.1：将完成预处理的图像通过人脸检测方法利用滑动窗口筛选出图像中出现的人脸，并将人脸区域切割出来；
步骤2.2：利用人脸对齐方法对切割出来的人脸区域进行特征点定位，标注出人脸区域中的五个特征点；所述五个特征点分别为两个瞳孔、鼻尖和两个嘴角；
步骤2.3：将经过人脸对齐处理后标注特征点的人脸图像通过卷积神经网络来提取人脸特征，并最终输出一维的人脸特征矩阵Feature；
步骤3：按照不同人群类别人脸库的优先级顺序遍历预先存储在安防系统数据库中的各个类别的人脸特征库，逐一计算人脸库中的人脸特征矩阵与步骤2中提取出来的人脸特征矩阵Feature的余弦相似度，并取得余弦相似度最大值Max_Similarity；
步骤4：将步骤3中得到的相似度最大值Max_Similarity与安防系统预设的阈值进行比较；
如果相似度最大值Max_Similarity大于或等于安防系统预设阈值，则继续判断与人脸特征矩阵Feature做相似度比较的人脸特征矩阵属于数据库中的哪个人群类别；若此人脸特征矩阵Feature属于数据库中的“黑名单”类别，则立刻触发报警，向安保机构发送报警信息；否则，在安防系统前端做相应人群类别下的出入记录展示；
如果相似度最大值Max_Similarity小于系统预设阈值，则将该人脸自动归类为陌生人类别，并在安防系统前端做陌生人类别的出入记录展示；
步骤5：向安防系统的数据库中保存不同人群类别下的出入记录；对于匹配到数据库中已经存在的人员信息，只需在原有数据条目的出现时间和出现地点字段下追加本次的出现信息；对于陌生人类别则需要重新创建数据条目，并保存该人的人脸特征矩阵和出现时间，以及出现地字段。
采用上述技术方案所产生的有益效果在于：本发明提供的基于人脸识别的动态人员分类与存储方法，利用现代人脸识别技术，将其与传统安防监控系统融合，能够做到实时发现系统预设黑名单人员并报警，降低犯罪发生概率。同时，可以保存海量不同类别人群的出入记录，便于日后对定向人员的出行轨迹追溯，以及分析人群出行规律和习惯。
附图说明
图1为本发明实施例提供的基于人脸识别的动态人员分类与存储方法的流程图；
图2为本发明实施例提供的人脸特征对比的流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例中，基于人脸识别的动态人员分类与存储方法，应用于现有的安防系统，如图1所示，包括以下步骤：
步骤1：使用OpenCV从监控摄像中获取连续视频序列，并每当上一帧图像处理完成后立刻采集当前帧的图像，将得到的当前帧图像进行图像灰度化处理和图像尺寸缩放的预处理操作；
步骤2：对经过预处理的图像进行人脸检测和特征提取，得到人脸特征矩阵；
本实施例中，通过将预处理的图像通过开源的SeetaFace人脸识别引擎进行人脸检测和特征提取；
SeetaFace人脸识别引擎包括了搭建一套全自动人脸识别系统所需的三个核心模块，即：人脸检测模块(SeetaFace Detection)、面部特征点定位模块(SeetaFaceAlignment)、人脸特征提取与比对模块(SeetaFace Identification)；其中，人脸检测模块(SeetaFace Detection)采用了一种结合传统人造特征与多层感知机(MLP)的级联结构，在FDDB上达到了84.4％的召回率(100个误检时)，并可在单个i7 CPU上实时处理VGA分辨率的图像；面部特征点定位模块SeetaFace Alignment通过级联多个深度模型(栈式自编码网络)来回归5个关键特征点(两眼中心、鼻尖和两个嘴角)的位置，在AFLW数据库上达到state-of-the-art的精度，定位速度在单个i7 CPU上超过200fbs；人脸识别模块SeetaFaceIdentification采用一个9层的卷积神经网络(CNN)来提取人脸特征，在LFW数据库上达到97.1％的精度，特征提取速度为每图120ms(在单个i7 CPU上)。
步骤2.1：将完成预处理的图像作为数据源传入人脸检测模块(SeetaFaceDetection)，采用一种结合经典级联结构和多层神经网络的人脸检测方法筛选出人脸窗口；人脸检测方法采用漏斗型，先采用计算量小的特征，快速过滤大量非人脸窗口(图像滑窗)，然后采用复杂结构逐层筛选人脸，最后将人脸区域切割成256*256分辨率的人脸图像；
步骤2.2：将切割好的人脸图像作为数据源传入面部特征点定位模块(SeetaFaceAlignment)，采用一种由粗到精的自编码器网络，通过不断提高图像分辨率，级联多个栈式自编码器网络，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果来回归5个关键特征点(两眼中心、鼻尖和两个嘴角)的位置；
步骤2.3：将经过人脸对齐处理后的人脸图像作为数据源传入人脸特征提取模块(SeetaFace Identification)，采用一个9层的卷积神经网络(包括7个卷积层与2个全连接层)来提取人脸特征，并最终输出一个1*2048大小的人脸特征矩阵Feature；
步骤3：按照不同人群类别人脸库的优先级顺序(首先是黑名单类别，其次是数据库中其他已存在类别)遍历预先存储在安防系统MySQL数据库中的各个类别的人脸特征库(在实际匹配过程中，为了减少I/O操作，做到快速匹配，在程序启动时将数据库中除了陌生人以外的人群类别的人脸特征矩阵加载到系统内存中)，逐一计算人脸库中的人脸特征矩阵与步骤2中提取出来的人脸特征矩阵Feature的余弦相似度，并取得余弦相似度最大值Max_Similarity；
步骤4：将步骤3中得到的相似度最大值Max_Similarity与安防系统预设的阈值进行比较，如图2所示；
如果相似度最大值Max_Similarity大于或等于系统预设阈值，则继续判断与人脸特征矩阵Feature做相似度比较的人脸特征矩阵属于数据库中的哪个人群类别；若此人脸特征矩阵属于数据库中的“黑名单”类别，则立刻触发报警，向安保机构发送报警信息；否则，在安防系统前端做相应人群类别下的出入记录展示；
如果相似度最大值Max_Similarity小于系统预设阈值，则将该人脸自动归类为陌生人类别，并在安防系统前端做陌生人类别的出入记录展示。
步骤5：向安防系统中的MySQL数据库中保存不同人群类别下的出入记录；对于匹配到数据库中已经存在的人员信息，只需在原有数据条目的出现时间和出现地点字段下追加本次的出现信息；对于陌生人类别则需要重新创建数据条目，并保存该人的人脸特征矩阵和出现时间，以及出现地字段，便于日后查询和定向追踪。
在本实例中，将安防系统阈值预设为0.65有较好的分类效果，具体实施中，可以根据当地监控摄像硬件成像水平和安装位置的环境因素动态调节系统阈值，以达到较好的人脸识别分类效果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于人脸识别的动态人员分类与存储方法，其特征在于：包括以下步骤：
步骤1：获取监控摄像的连续视频序列，定时采集图像帧，将得到的图像进行图像灰度化处理和图像尺寸缩放的预处理操作；
步骤2：对经过预处理的图像进行人脸检测和特征提取，得到人脸特征矩阵Feature；
步骤3：按照不同人群类别人脸库的优先级顺序遍历预先存储在安防系统数据库中的各个类别的人脸特征库，逐一计算人脸库中的人脸特征矩阵与步骤2中提取出来的人脸特征矩阵Feature的余弦相似度，并取得余弦相似度最大值Max_Similarity；
步骤4：将步骤3中得到的相似度最大值Max_Similarity与安防系统预设的阈值进行比较；
如果相似度最大值Max_Similarity大于或等于安防系统预设阈值，则继续判断与人脸特征矩阵Feature做相似度比较的人脸特征矩阵属于数据库中的哪个人群类别；若此人脸特征矩阵Feature属于数据库中的“黑名单”类别，则立刻触发报警，向安保机构发送报警信息；否则，在安防系统前端做相应人群类别下的出入记录展示；
如果相似度最大值Max_Similarity小于系统预设阈值，则将该人脸自动归类为陌生人类别，并在安防系统前端做陌生人类别的出入记录展示；
步骤5：向安防系统的数据库中保存不同人群类别下的出入记录；对于匹配到数据库中已经存在的人员信息，只需在原有数据条目的出现时间和出现地点字段下追加本次的出现信息；对于陌生人类别则需要重新创建数据条目，并保存该人的人脸特征矩阵和出现时间，以及出现地字段。
2.根据权利要求1所述的基于人脸识别的动态人员分类与存储方法，其特征在于：所述步骤2的具体方法为：
步骤2.1：将完成预处理的图像通过人脸检测方法利用滑动窗口筛选出图像中出现的人脸，并将人脸区域切割出来；
步骤2.2：利用人脸对齐方法对切割出来的人脸区域进行特征点定位，标注出人脸区域中的五个特征点；所述五个特征点分别为两个瞳孔、鼻尖和两个嘴角；
步骤2.3：将经过人脸对齐处理后标注特征点的人脸图像通过卷积神经网络来提取人脸特征，并最终输出一维的人脸特征矩阵Feature。
CN201911043887.1A 2019-10-30 2019-10-30 基于人脸识别的动态人员分类与存储方法 Pending CN110941993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911043887.1A CN110941993A (zh) 2019-10-30 2019-10-30 基于人脸识别的动态人员分类与存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911043887.1A CN110941993A (zh) 2019-10-30 2019-10-30 基于人脸识别的动态人员分类与存储方法

Publications (1)

Publication Number Publication Date
CN110941993A true CN110941993A (zh) 2020-03-31

Family

ID=69906770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911043887.1A Pending CN110941993A (zh) 2019-10-30 2019-10-30 基于人脸识别的动态人员分类与存储方法

Country Status (1)

Country Link
CN (1) CN110941993A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797696A (zh) * 2020-06-10 2020-10-20 武汉大学 一种现场自主学习的人脸识别系统和方法
CN111931634A (zh) * 2020-08-06 2020-11-13 盐城师范学院 一种基于深度学习的校园防护方法和系统
CN113593162A (zh) * 2021-07-01 2021-11-02 广州联客信息科技有限公司 一种基于视频ai的陌生人通行监控方法及装置
CN115439982A (zh) * 2022-07-22 2022-12-06 合享佳智(深圳)充电桩科技有限公司 一种带人脸识别功能的智能充电桩及人脸识别控制方法
CN116631108A (zh) * 2023-05-18 2023-08-22 保利物业服务股份有限公司 一种基于人脸识别技术的小区安防方法、装置和设备
CN116935462A (zh) * 2023-06-09 2023-10-24 海易科技(北京)有限公司 图像处理方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354902A (zh) * 2015-11-10 2016-02-24 深圳市商汤科技有限公司 一种基于人脸识别的安保管理方法及系统
CN106156688A (zh) * 2015-03-10 2016-11-23 上海骏聿数码科技有限公司 一种动态人脸识别方法及系统
CN106997629A (zh) * 2017-02-17 2017-08-01 北京格灵深瞳信息技术有限公司 门禁控制方法、装置及系统
CN108052925A (zh) * 2017-12-28 2018-05-18 江西高创保安服务技术有限公司 一种小区人员档案智能管理方法
CN108268838A (zh) * 2018-01-02 2018-07-10 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156688A (zh) * 2015-03-10 2016-11-23 上海骏聿数码科技有限公司 一种动态人脸识别方法及系统
CN105354902A (zh) * 2015-11-10 2016-02-24 深圳市商汤科技有限公司 一种基于人脸识别的安保管理方法及系统
CN106997629A (zh) * 2017-02-17 2017-08-01 北京格灵深瞳信息技术有限公司 门禁控制方法、装置及系统
CN108052925A (zh) * 2017-12-28 2018-05-18 江西高创保安服务技术有限公司 一种小区人员档案智能管理方法
CN108268838A (zh) * 2018-01-02 2018-07-10 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797696A (zh) * 2020-06-10 2020-10-20 武汉大学 一种现场自主学习的人脸识别系统和方法
CN111931634A (zh) * 2020-08-06 2020-11-13 盐城师范学院 一种基于深度学习的校园防护方法和系统
CN113593162A (zh) * 2021-07-01 2021-11-02 广州联客信息科技有限公司 一种基于视频ai的陌生人通行监控方法及装置
CN115439982A (zh) * 2022-07-22 2022-12-06 合享佳智(深圳)充电桩科技有限公司 一种带人脸识别功能的智能充电桩及人脸识别控制方法
CN116631108A (zh) * 2023-05-18 2023-08-22 保利物业服务股份有限公司 一种基于人脸识别技术的小区安防方法、装置和设备
CN116631108B (zh) * 2023-05-18 2024-05-24 保利物业服务股份有限公司 一种基于人脸识别技术的小区安防方法、装置和设备
CN116935462A (zh) * 2023-06-09 2023-10-24 海易科技(北京)有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN116935462B (zh) * 2023-06-09 2024-05-17 海易科技(北京)有限公司 图像处理方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN110941993A (zh) 基于人脸识别的动态人员分类与存储方法
CN110942545B (zh) 基于人脸识别和视频围栏的人员密集出入口门禁控制系统及方法
Jiang et al. Automatic soccer video event detection based on a deep neural network combined cnn and rnn
CN107944427B (zh) 动态人脸识别方法及计算机可读存储介质
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN112183468A (zh) 一种基于多注意力联合多级特征的行人再识别方法
WO2020094088A1 (zh) 一种图像抓拍方法、监控相机及监控系统
US11113838B2 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
US12087075B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
Ayyappan et al. Criminals and missing children identification using face recognition and web scrapping
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
CN111507232A (zh) 多模态多策略融合的陌生人识别方法和系统
CN104156691A (zh) 一种基于图像处理的检测行人翻越闸机的监控方法
Heng et al. How to assess the quality of compressed surveillance videos using face recognition
CN111104852A (zh) 一种基于启发式高斯云变换的人脸识别技术
Yang et al. A method of pedestrians counting based on deep learning
CN109583396A (zh) 一种基于cnn两阶段人体检测的区域防范方法、系统以及终端
Kadambari et al. Automation of attendance system using facial recognition
CN115909144A (zh) 一种基于对抗学习的监控视频异常检测方法及系统
CN113591619A (zh) 一种基于录像视频的人脸识别核验装置及其核验方法
Devi et al. Deep learn helmets-enhancing security at ATMs
CN113128452A (zh) 一种基于图像识别的绿化满意度采集方法和系统
Zhang et al. Embedded face recognition system based on multi-task convolutional neural network and LBP features
Anandhi Edge Computing-Based Crime Scene Object Detection from Surveillance Video Using Deep Learning Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination