CN110298296B - 应用于边缘计算设备的人脸识别方法 - Google Patents

应用于边缘计算设备的人脸识别方法 Download PDF

Info

Publication number
CN110298296B
CN110298296B CN201910558738.2A CN201910558738A CN110298296B CN 110298296 B CN110298296 B CN 110298296B CN 201910558738 A CN201910558738 A CN 201910558738A CN 110298296 B CN110298296 B CN 110298296B
Authority
CN
China
Prior art keywords
face
picture
edge computing
base
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910558738.2A
Other languages
English (en)
Other versions
CN110298296A (zh
Inventor
谢佩博
申省梅
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pengsi Technology Co ltd
Original Assignee
Beijing Pengsi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pengsi Technology Co ltd filed Critical Beijing Pengsi Technology Co ltd
Priority to CN201910558738.2A priority Critical patent/CN110298296B/zh
Publication of CN110298296A publication Critical patent/CN110298296A/zh
Application granted granted Critical
Publication of CN110298296B publication Critical patent/CN110298296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明提供一种应用于边缘计算设备的人脸识别方法，将人脸检测模型和人脸特征提前模型加载到边缘计算设备的AI芯片中，对输入的人脸图片进行人脸识别；对于前端抓拍设备采集的人脸抓拍图，使用MTCNN的ONet获取人脸位置信息和关键点坐标信息，对于底库输入图，使用FaceBoxes进行人脸检测，获取人脸位置信息，从人脸图片中裁剪人脸，使用MTCNN的ONet进一步获取人脸特征信息包括人脸位置信息和关键点坐标信息，将获得的抓拍的人脸特征信息和加载到内存中的底图的人脸特征信息做相似性比对和排序；本发明能够避免以往长距离往返延时、网络拥塞、服务质量下降、架构庞大等问题，能够提供更快的响应速度，更好保证安全和隐私。

Description

应用于边缘计算设备的人脸识别方法
技术领域
本发明涉及一种应用于边缘计算设备的人脸识别方法。
背景技术
传统的端设备，例如摄像头主要完成视频编解码、数据传输以及其他软件层面的工作。随着人工智能应用生态的爆发，终端设备大规模接入互联网，由于网络带宽有限，又要满足实时响应的需求，边缘计算成为发展的新趋势之一。
随着面向人工智能应用的芯片技术的飞速发展，边缘计算设备中AI芯片的计算能力不断提高，越来越多的计算工作负载将在边缘计算设备上执行，越来越多的AI应用开始在边缘计算设备上开发和部署。在人脸识别领域，人脸检测、人脸跟踪和质量判断等网络模型简单，网络参数不太复杂，消耗的物理资源少，很容易在边缘计算设备上集成和部署，且能保证实时处理。而人脸特征提取网络，因其网络结构复杂，模型参数众多，计算复杂度高。AI芯片与GPU相比，计算能力还无法同日而语，网络层数多，模型参数复杂的网络部署在边缘计算设备上会带来运算速度慢，无法及时响应现场实时计算要求等问题。
发明内容
本发明针对现有技术中存在的问题，利用AI芯片的强大算力，提供一种应用于边缘计算设备的快速人脸比对方法，解决现有技术中存在的网络层数多，模型参数复杂的网络部署在边缘计算设备上会带来运算速度慢，无法及时响应现场实时计算要求等问题。
术语说明如下：
MTCNN：Multi-task convolutional neural network ，多任务卷积神经网络；
ONet：Output Network ，输出网络；
FaceBoxes：一种人脸检测深度学习网络的名称；
ResNet：Residual Neural Network 残差神经网络。
本发明的技术解决方案是：
一种应用于边缘计算设备的人脸识别方法，将人脸检测模型和人脸特征提取模型加载到边缘计算设备的AI芯片中，对输入的人脸图片进行人脸识别；具体包括以下步骤，
S1、对人脸图片进行识别，确定该人脸图片为前端抓拍设备采集的人脸抓拍图或底库输入图，如是前端抓拍设备采集的人脸抓拍图，则进入下一步骤；如是底库输入图，进入步骤S3；
S2、对于前端抓拍设备采集的人脸抓拍图，使用MTCNN的ONet获取人脸位置信息和关键点坐标信息，进入步骤S4；
S3、对于底库输入图，使用FaceBoxes进行人脸检测，获取人脸位置信息，从人脸图片中裁剪人脸，使用MTCNN的ONet进一步获取人脸特征信息包括人脸位置信息和关键点坐标信息，进入步骤S4；
S4、根据步骤S2、步骤S3所获得的人脸位置信息和人脸关键点坐标信息，分别对人脸进行对齐，分别获得对齐后的抓拍人脸图片、对齐后的底图人脸图片；
S5、将步骤S4所得到的对齐后的抓拍人脸图片、对齐后的底图人脸图片作为输入，分别使用轻量级ResNet获得抓拍的人脸特征信息和底图的人脸特征信息；
S6、将步骤S5获得的底图的人脸特征信息，固化存储在边缘计算设备的存储器上，并根据需要动态加载到边缘计算设备的内存中；
S7、将步骤S5获得的抓拍的人脸特征信息和加载到内存中的底图的人脸特征信息做相似性比对和排序，并输出识别结果，具体为：如存在相似性最高且超过设定相似度阈值的底图的人脸特征信息，则输出该底图的人脸特征信息对应的底库输入图作为人脸识别图；否则，不存在比对成功的人脸识别图。
进一步地，底库输入图包括证件照、类证件照、手机拍摄人脸照。
进一步地，边缘计算设备采用前端智能处理盒子、前端智能摄像头、人脸识别一体机、单兵设备。
本发明的有益效果是：
一、该种应用于边缘计算设备的人脸识别方法，对于证件照、类证件照和手机拍摄人脸照，使用FaceBoxes网络进行人脸检测，获取人脸在原图中的位置信息，模型单一，网络参数少，执行速度快，实时性高。
二、该种应用于边缘计算设备的人脸识别方法，对于前端抓拍设备采集的人脸抓拍图片，使用轻量级的ONet做人脸位置信息微调，同时获得人脸关键点坐标信息，避免从头做人脸检测的重复工作，在保证计算正确性的同时，减少了处理耗时。
三、该种应用于边缘计算设备的人脸识别方法，使用轻量级的ResNet网络抽取人脸特征信息，模型参数大大减少，计算耗时和消耗的资源急剧减少，同时网络模型具有较高的精度，保证特征抽取的有效性和准确性。
四、本发明的应用于边缘计算设备的人脸识别方法，将人脸比对功能运行在边缘计算设备上，就近处理前端摄像设备上采集到的数据，而不需要将大量数据上传到远端的核心管理平台，能够避免以往长距离往返延时、网络拥塞、服务质量下降、架构庞大等问题，能够提供更快的响应速度，更好保证安全和隐私。
附图说明
图1是本发明实施例应用于边缘计算设备的人脸识别方法的流程示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
一种应用于边缘计算设备的人脸识别方法，将人脸检测模型和人脸特征提取模型加载到边缘计算设备的AI芯片中，对输入的人脸图片进行人脸识别；如图1，具体包括以下步骤，
S1、对人脸图片进行识别，确定该人脸图片为前端抓拍设备采集的人脸抓拍图或底库输入图，如是前端抓拍设备采集的人脸抓拍图，则进入下一步骤；如是底库输入图，进入步骤S3；
S2、对于前端抓拍设备采集的人脸抓拍图，使用MTCNN的ONet获取人脸位置信息和关键点坐标信息，进入步骤S4。避免重新进行人脸检测，减少处理耗时，保证正确性。
S3、对于底库输入图，使用FaceBoxes进行人脸检测，获取人脸位置信息，从人脸图片中裁剪人脸，使用MTCNN的ONet进一步获取人脸特征信息包括人脸位置信息和关键点坐标信息，进入步骤S4；
S4、根据步骤S2、步骤S3所获得的人脸位置信息和人脸关键点坐标信息，分别对人脸进行对齐，分别获得对齐后的抓拍人脸图片、对齐后的底图人脸图片；
S5、将步骤S4所得到的对齐后的抓拍人脸图片、对齐后的底图人脸图片作为输入，分别使用轻量级ResNet获得抓拍的人脸特征信息和底图的人脸特征信息；
S6、将步骤S5获得的底图的人脸特征信息，固化存储在边缘计算设备的存储器上，并根据需要动态加载到边缘计算设备的内存中；
S7、将步骤S5获得的抓拍的人脸特征信息和加载到内存中的底图的人脸特征信息做相似性比对和排序，并输出识别结果，具体为：如存在相似性最高且超过设定相似度阈值的底图的人脸特征信息，则输出该底图的人脸特征信息对应的底库输入图作为人脸识别图；否则，不存在比对成功的人脸识别图。
该种应用于边缘计算设备的人脸识别方法，对于证件照、类证件照和手机拍摄人脸照，使用FaceBoxes网络进行人脸检测，获取人脸在原图中的位置信息，模型单一，网络参数少，执行速度快，实时性高。该种应用于边缘计算设备的人脸识别方法，对于前端抓拍设备采集的人脸抓拍图片，使用轻量级的ONet做人脸位置信息微调，同时获得人脸关键点坐标信息，避免从头做人脸检测的重复工作，在保证计算正确性的同时，减少了处理耗时。
该种应用于边缘计算设备的人脸识别方法，使用轻量级的ResNet网络抽取人脸特征信息，模型参数大大减少，处理耗时和消耗的硬件资源急剧减少，同时网络模型具有较高的精度，保证人脸特征抽取的有效性和准确性。
该种应用于边缘计算设备的快速人脸比对方法，通过快速人脸检测模块和快速人脸特征抽取模块实现，快速人脸检测模块基于FaceBoxes重新训练，获得新的通用人脸检测网络模型，可满足各种场景和类型的人脸检测需要。快速特征抽取模块结合MTCNN的第三级网络ONet和ResNet，得到一种轻量级的特征抽取网络，该网络运算速度快，比对精度高，可为边缘计算设备上的人脸比对提供更精确、更实时的人脸识别服务。
该种应用于边缘计算设备的快速人脸比对方法，底库输入图包括证件照、类证件照、手机拍摄人脸照。能够支持证件照、类证件照、手机拍摄照、监控视频照等各类输入图片的人脸检测和人脸特征提取。
该种应用于边缘计算设备的人脸识别方法，将人脸比对功能运行在边缘计算设备上，就近处理前端摄像设备上就近处理采集到的数据，而不需要将大量数据上传到远端的核心管理平台，能够避免以往长距离往返延时、网络拥塞、服务质量下降、架构庞大等问题，能够提供更快的响应速度，更好保证安全和隐私。
该种应用于边缘计算设备的快速人脸比对方法，能够根据边缘计算设备的AI芯片算力和物理存储大小，支持不同规模底库的人脸比对搜索。所使用的AI芯片或模组，包括但不限于海思、瑞芯微、中星微、Intel、寒武纪、比特大陆等国内外AI芯片或模组提供商。边缘计算设备包括前端智能处理盒子、前端智能摄像头、人脸识别一体机、单兵设备等边缘计算设备和应用场景。

Claims (3)

1.一种应用于边缘计算设备的人脸识别方法，其特征在于：将人脸检测模型和人脸特征提取模型加载到边缘计算设备的AI芯片中，对输入的人脸图片进行人脸识别，具体包括以下步骤：
S1、对人脸图片进行识别，确定该人脸图片为前端抓拍设备采集的人脸抓拍图或底库输入图，如是前端抓拍设备采集的人脸抓拍图，则进入下一步骤；如是底库输入图，进入步骤S3；
S2、对于前端抓拍设备采集的人脸抓拍图，使用MTCNN的ONet获取人脸位置信息和关键点坐标信息，进入步骤S4；
S3、对于底库输入图，使用FaceBoxes进行人脸检测，获取人脸位置信息，从人脸图片中裁剪人脸，使用MTCNN的ONet进一步获取人脸特征信息包括人脸位置信息和关键点坐标信息，进入步骤S4；
S4、根据步骤S2、步骤S3所获得的人脸位置信息和人脸关键点坐标信息，分别对人脸进行对齐，分别获得对齐后的抓拍人脸图片、对齐后的底图人脸图片；
S5、将步骤S4所得到的对齐后的抓拍人脸图片、对齐后的底图人脸图片作为输入，分别使用轻量级ResNet获得抓拍的人脸特征信息和底图的人脸特征信息；
S6、将步骤S5获得的底图的人脸特征信息，固化存储在边缘计算设备的存储器上，并根据需要动态加载到边缘计算设备的内存中；
S7、将步骤S5获得的抓拍的人脸特征信息和加载到内存中的底图的人脸特征信息做相似性比对和排序，并输出识别结果，具体为：如存在相似性最高且超过设定相似度阈值的底图的人脸特征信息，则输出该底图的人脸特征信息对应的底库输入图作为人脸识别图；否则，不存在比对成功的人脸识别图。
2.如权利要求1所述的应用于边缘计算设备的人脸识别方法，其特征在于：底库输入图包括证件照、类证件照、手机拍摄人脸照。
3.如权利要求1所述的应用于边缘计算设备的人脸识别方法，其特征在于：边缘计算设备采用前端智能处理盒子、前端智能摄像头、人脸识别一体机、单兵设备。
CN201910558738.2A 2019-06-26 2019-06-26 应用于边缘计算设备的人脸识别方法 Active CN110298296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910558738.2A CN110298296B (zh) 2019-06-26 2019-06-26 应用于边缘计算设备的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910558738.2A CN110298296B (zh) 2019-06-26 2019-06-26 应用于边缘计算设备的人脸识别方法

Publications (2)

Publication Number Publication Date
CN110298296A CN110298296A (zh) 2019-10-01
CN110298296B true CN110298296B (zh) 2021-08-06

Family

ID=68028810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910558738.2A Active CN110298296B (zh) 2019-06-26 2019-06-26 应用于边缘计算设备的人脸识别方法

Country Status (1)

Country Link
CN (1) CN110298296B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769252A (zh) * 2019-11-01 2020-02-07 西安交通大学 一种利用ai人脸检测提升编码质量的方法
CN111428606B (zh) * 2020-03-19 2023-03-31 华南师范大学 一种面向边缘计算的轻量级人脸对比验证方法
CN111738163A (zh) * 2020-06-23 2020-10-02 广东辰启科技有限责任公司 一种边缘计算盒子前端识别的处理方法
CN112927127A (zh) * 2021-03-11 2021-06-08 华南理工大学 一种运行在边缘设备上的视频隐私数据模糊化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016076897A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Image quality compensation system and method
US20190102797A1 (en) * 2017-09-29 2019-04-04 Intel Corporation Digital signage with instant checkout
CN108446680B (zh) * 2018-05-07 2021-12-21 西安电子科技大学 一种基于边缘计算的人脸认证系统中的隐私保护方法及系统
CN109086739A (zh) * 2018-08-23 2018-12-25 成都睿码科技有限责任公司 一种无人脸数据训练的人脸识别方法和系统
CN109543648B (zh) * 2018-11-30 2022-06-17 公安部交通管理科学研究所 一种过车图片中人脸提取方法

Also Published As

Publication number Publication date
CN110298296A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298296B (zh) 应用于边缘计算设备的人脸识别方法
US11423695B2 (en) Face location tracking method, apparatus, and electronic device
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
EP2124159B1 (en) Image learning, automatic annotation, retrieval method, and device
CN112088393B (zh) 图像处理方法、装置及设备
CN111429476A (zh) 确定目标人物行动轨迹的方法和装置
CN114915753A (zh) 云服务器的构架、数据处理方法及存储介质
US20210233280A1 (en) Encoding device control method and device, and storage medium
CN113505250A (zh) 一种分布式图像分析方法、系统及存储介质
CN113157962A (zh) 图像检索方法、电子装置和存储介质
CN115984977A (zh) 活体检测方法和系统
CN114422776A (zh) 摄像设备的检测方法及装置、存储介质、电子装置
CN103927399A (zh) 一种信息推送方法及装置
CN114125226A (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN110245643B (zh) 目标跟踪拍摄方法、装置、电子设备
CN114419473A (zh) 一种基于嵌入式设备的深度学习实时目标检测方法
CN114268730A (zh) 图像存储的方法、装置、计算机设备和存储介质
CN112364683A (zh) 一种案件证据固定方法及装置
CN113221920B (zh) 图像识别方法、装置、设备、存储介质以及计算机程序产品
CN114241620B (zh) 一种数据采集方法、装置、电子设备及存储介质
CN113780228B (zh) 人证比对方法、系统、终端及介质
CN115641499B (zh) 基于街景图特征库的拍照实时定位方法、设备及存储介质
US11438466B2 (en) Generating an automatic virtual photo album
Wang et al. Edge-Cloud Collaboration Architecture for Efficient Web-Based Cognitive Services
CN112419375A (zh) 特征点的匹配方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 108, 1st floor, 30 Building, No. 5 Jiangtai Road, Chaoyang District, Beijing, 100020

Applicant after: Beijing Pengsi Technology Co., Ltd

Address before: Room 108, 1st floor, 30 Building, No. 5 Jiangtai Road, Chaoyang District, Beijing, 100020

Applicant before: Beijing Pengsi Intelligent Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant