CN110334577B - 一种基于海思安防芯片的人脸识别方法 - Google Patents
一种基于海思安防芯片的人脸识别方法 Download PDFInfo
- Publication number
- CN110334577B CN110334577B CN201910368287.6A CN201910368287A CN110334577B CN 110334577 B CN110334577 B CN 110334577B CN 201910368287 A CN201910368287 A CN 201910368287A CN 110334577 B CN110334577 B CN 110334577B
- Authority
- CN
- China
- Prior art keywords
- face
- mpi
- ive
- interface
- haisi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于海思安防芯片的人脸识别方法,本发明利用海思芯片hi3516dv300的高可靠性,高计算性能,强大的图像处理能力,结合人脸识别算法,实时检索视频图像人脸信息,并提取特征值,降低了CPU占用率,加快了人脸跟踪速度,免去了重复的人脸识别。本发明采用海思芯片hi3516dv300,利用其超高清晰图像实时采集及图像优化处理能力,获得取高质量视频图像,再结合NEON,IVE,FPU及NNIE硬件加速功能优化人脸识别算法,实现不需要被识别者配合识别设备,在行进过程中即可被获取图像、比对识别。
Description
技术领域
本发明属于人脸识别的技术领域,具体涉及一种基于海思安防芯片的人脸识别方法。
背景技术
人脸识别无时无刻发生在日常生活中,它是指根据人的脸部特征信息进行身份确认的过程。人类大脑可以轻而易举地通过观察到的人脸来判断其身份,但对于计算机而言却不是一件容易的事情。一般而言,自动人脸识别是指首先采用图像采集设备采集包含人脸的静态图像或动态视频流,然后通过计算机算法自动在图像或视频流中检测和跟踪人脸,进而对检测或跟踪到的人脸进行脸部特征信息提取并识别的过程。
人脸识别的始研究于上世纪六十年代,历经五十多年的发展,已经取得了长足的进步。尤其是近几年来,随着人工智能技术发展所掀起的热潮,人脸识别技术更是引起了学术界和产业界的广泛关注,其不但是计算视觉研究领域的一个重要分支,更是模式识别领域的热门话题,同时也是人工智能在社会生活中一个重要的应用实例。
传统的人脸识别算法运行在嵌入式芯片cpu上,对采集图像不能实时处理,cpu资源占用率高,识别效率低,难以实现跟踪算法。基于海思芯片hi3516dv300结合人脸识别技术实现人事考勤、门禁、身份识别系统。该系统可使受安全保护的地区通过人脸识别辨识试图进入者的身份,可用于企业、住宅安全和管理,也可在机场、体育场、超级市场等公共场所对人群进行监视,通过查询目标人像数据寻找数据库中是否存在重点人口基本信息。例如在机场或车站安装系统以抓捕在逃案犯,在机场安装监视系统以防止恐怖分子登机。本发明利用海思芯片hi3516dv300的高可靠性,高计算性能,强大的图像处理能力,结合人脸识别算法,实时检索视频图像人脸信息,并提取特征值,实现离线或在线识别比对。
发明内容
本发明的目的在于提供一种基于海思安防芯片的人脸识别方法,本发明利用海思芯片hi3516dv300的高可靠性,高计算性能,强大的图像处理能力,结合人脸识别算法,实时检索视频图像人脸信息,并提取特征值,降低了CPU占用率,加快了人脸跟踪速度,免去了重复的人脸识别。
本发明主要通过以下技术方案实现:一种基于海思安防芯片的人脸识别方法,基于海思芯片hi3516dv300进行人脸识别,主要包括以下步骤:
步骤S200:人脸跟踪:利用海思芯片hi3516dv300中的硬件IVE模块,调用以下接口:
HI_MPI_IVE_KCF_GetMemSize接口,用于获取需要创建目标对象数的内存大小;
HI_MPI_IVE_KCF_CreateObjList接口,用于创建目标链表;
HI_MPI_IVE_KCF_DestroyObjList接口,用于销毁目标链表;
HI_MPI_IVE_KCF_CreateGaussPeak接口,用于创建高斯峰值;
HI_MPI_IVE_KCF_CreateCosWin接口,用于创建汉宁窗;
HI_MPI_IVE_KCF_GetTrainObj接口,用于获取需要训练的目标对象;
HI_MPI_IVE_KCF_Process接口,用于提交目标给硬件处理;
HI_MPI_IVE_KCF_GetObjBbox接口,用于获取目标区域跟踪结果信息;
HI_MPI_IVE_KCF_JudgeObjBboxTrackState接口,用于判断目标区域跟踪状态;
HI_MPI_IVE_KCF_ObjUpdate接口,用于更新目标信息。
KCF是一种鉴别式追踪方法,这类方法一般都是在追踪过程中训练一个目标检测器,使用目标检测器去检测下一帧预测位置是否是目标,然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本,目标的周围区域为负样本,当然越靠近目标的区域为正样本的可能性越大。
为了更好的实现本发明,进一步的,还包括步骤S300:人脸校正:利用海思芯片hi3516dv300的SIMD扩展结构及ARM的NEON Ne10运算库提供的大量的浮点运算、矢量计算以及矩阵操作,使用IVE接口HI_MPI_IVE_Resize2进行缩放处理,使用Ne10运算库对人脸校正进行旋转处理。
为了更好的实现本发明,进一步的,采用反向映射的方法调用Ne10运算库矩阵函数接口ne10_transmat_3x3f_neon实现人脸校正进行旋转。
为了更好的实现本发明,进一步的,还包括步骤S400:人脸特征值提取:利用NNIEHI_MPI_SVP_NNIE_ForwardWithBbox提取人脸图片的特征向量,提取出人脸图片以及该图片的上下翻转图各自经过网络在fc5层输出的特征向量,然后将两者拼起以形成一个2倍维数的特征向量,表征人脸。
为了更好的实现本发明,进一步的,还包括步骤S500:人脸特征值是一个一维512浮点数组,计算两个特征值得出相似度,利用Ne10提供的浮点运算,调用Ne10运算库矩阵函数接口ne10_add_float_neon优化运算。
为了更好的实现本发明,进一步的,还包括步骤S100:人脸检测:通过NNIE API接口HI_MPI_SVP_NNIE_LoadModel加载训练好的人脸模型,通过接口HI_MPI_SVP_NNIE_Forward和HI_MPI_SVP_NNIE_ForwardWithBbox计算获取图像中符合人脸特征的位置信息。
利用海思芯片hi3516dv300从sensor采集实时图像,将数据送往NNIE深度学习卷积神经网络进行加速处理的硬件单元处理,进行多节点输入CNN类型网络预测,获取网络段的多个节点输出,包含用户标记需要上报输出的中间层结果,以及网络段的最终结果。
本发明的有益效果:
(1)所述步骤S200降低了CPU占用率,加快了人脸跟踪速度,免去了重复的人脸识别。算法都跑在各加速硬件上,没在cpu运行,cpu只做调度,从而降低了CPU占用率,具有较好的实用性。
(2)采用resize功能模块对图片进行缩放,使超过最佳人脸大小的图像进行缩放处理,减小运算量。
(3)使用Ne10运算库对人脸校正进行旋转处理,减小了对cpu的占用,大大提高了运算速度。
(4)在人脸特征值提取中计算出一对待验证的人脸图片各自的特征向量后,计算余弦相似度,减小了对cpu的占用,大大提高了运算速度。
(5)调用Ne10运算库矩阵函数接口ne10_add_float_neon优化运算,加快运算速度。
(6)本发明采用海思芯片hi3516dv300,利用其超高清晰图像实时采集及图像优化处理能力,获得取高质量视频图像,再结合NEON,IVE,FPU及NNIE硬件加速功能优化人脸识别算法,实现不需要被识别者配合识别设备,在行进过程中即可被获取图像、比对识别。
(7)本发明可实现实时精准快速人脸检测、跟踪、定位、活体检测,大大提高人脸识别效率。本发明不需直接接触设备,隐蔽性好,结果直观,成本适中,安全性高。
具体实施方式
实施例1:
一种基于海思安防芯片的人脸识别方法,主要包括以下步骤:
1)人脸检测
利用海思芯片hi3516dv300从sensor采集实时图像,将数据送往NNIE深度学习卷积神经网络进行加速处理的硬件单元处理,进行多节点输入CNN类型网络预测,获取网络段的多个节点输出,包含用户标记需要上报输出的中间层结果,以及网络段的最终结果。
应用NNIEAPI接口HI_MPI_SVP_NNIE_LoadModel加载训练好的人脸模型,通过接口HI_MPI_SVP_NNIE_Forward和HI_MPI_SVP_NNIE_ForwardWithBbox计算获取图像中符合人脸特征的位置信息。本发明改进实现的途径并通过接口可以提升检测的速度10多倍。
2)人脸跟踪
利用海思芯片hi3516dv300提供的海思媒体处理芯片智能分析系统中的硬件IVE模块,调用接口:
HI_MPI_IVE_KCF_GetMemSize:获取需要创建目标对象数的内存大小。
HI_MPI_IVE_KCF_CreateObjList:创建目标链表。
HI_MPI_IVE_KCF_DestroyObjList:销毁目标链表。
HI_MPI_IVE_KCF_CreateGaussPeak:创建高斯峰值。
HI_MPI_IVE_KCF_CreateCosWin:创建汉宁窗。
HI_MPI_IVE_KCF_GetTrainObj:获取需要训练的目标对象。
HI_MPI_IVE_KCF_Process:提交目标给硬件处理。
HI_MPI_IVE_KCF_GetObjBbox:获取目标区域跟踪结果信息。
HI_MPI_IVE_KCF_JudgeObjBboxTrackState:判断目标区域跟踪状态。
HI_MPI_IVE_KCF_ObjUpdate:更新目标信息。
实现人脸跟踪,此方法降低CPU占用率,加快了人脸跟踪速度,免去了重复的人脸识别。算法都跑在各加速硬件上,没在cpu运行,cpu只做调度。
KCF是一种鉴别式追踪方法,这类方法一般都是在追踪过程中训练一个目标检测器,使用目标检测器去检测下一帧预测位置是否是目标,然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本,目标的周围区域为负样本,当然越靠近目标的区域为正样本的可能性越大。
3)人脸校正
利用海思芯片hi3516dv300 SIMD(Single Instruction,Multiple Data,单指令、多数据)扩展结构(芯片自带的功能)及ARM官方发布的NEON Ne10运算库提供了大量的浮点运算、矢量计算,和矩阵操作(自带的功能),使用IVE接口HI_MPI_IVE_Resize2进行缩放处理(resize功能模块,使超过最佳人脸大小的图像进行缩放处理,减小运算量),使用Ne10运算库对人脸校正进行旋转处理,减小了对cpu的占用,大大提高了运算速度。
采用反向映射的方法,调用Ne10运算库矩阵函数接口ne10_transmat_3x3f_neon实现人脸校正进行旋转,加快运算速度。
4)人脸特征值提取
利用NNIEHI_MPI_SVP_NNIE_ForwardWithBbox提取出一张人脸图片的特征向量,提取出人脸图片以及该图片的上下翻转图各自经过网络在fc5层输出的特征向量,然后将两者拼起来,形成一个2倍维数的特征向量,该特征向量表征了这个人脸。计算出一对待验证的人脸图片各自的特征向量后,计算余弦相似度,减小了对cpu的占用,大大提高了运算速度。
5)基于人脸特征值的比对识别
人脸特征值是一个一维512浮点数组,计算两个特征值得出相似度,判断是否为同一个人。利用Ne10提供的浮点运算,加快运算速度。
调用Ne10运算库矩阵函数接口ne10_add_float_neon优化运算,加快运算速度。
本发明调用Ne10运算库矩阵函数接口ne10_add_float_neon优化运算,加快运算速度。本发明基于海思芯片hi3516dv300硬件加速功能,实时精准快速人脸检测,跟踪,定位,提高识别效率。
本发明采用海思芯片hi3516dv300,利用其超高清晰图像实时采集及图像优化处理能力,获得取高质量视频图像,再结合NEON,IVE,FPU及NNIE硬件加速功能优化人脸识别算法不需要被识别者配合识别设备,在行进过程中即可被获取图像、比对识别。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。
Claims (6)
1.一种基于海思安防芯片的人脸识别方法,其特征在于,基于海思芯片hi3516dv300进行人脸识别,主要包括以下步骤:
步骤S200:人脸跟踪:利用海思芯片hi3516dv300中的硬件IVE模块,调用以下接口:
HI_MPI_IVE_KCF_GetMemSize接口,用于获取需要创建目标对象数的内存大小;
HI_MPI_IVE_KCF_CreateObjList接口,用于创建目标链表;
HI_MPI_IVE_KCF_DestroyObjList接口,用于销毁目标链表;
HI_MPI_IVE_KCF_CreateGaussPeak接口,用于创建高斯峰值;
HI_MPI_IVE_KCF_CreateCosWin接口,用于创建汉宁窗;
HI_MPI_IVE_KCF_GetTrainObj接口,用于获取需要训练的目标对象;
HI_MPI_IVE_KCF_Process接口,用于提交目标给硬件处理;
HI_MPI_IVE_KCF_GetObjBbox接口,用于获取目标区域跟踪结果信息;
HI_MPI_IVE_KCF_JudgeObjBboxTrackState接口,用于判断目标区域跟踪状态;
HI_MPI_IVE_KCF_ObjUpdate接口,用于更新目标信息。
2.根据权利要求1所述的一种基于海思安防芯片的人脸识别方法,其特征在于,还包括步骤S300:人脸校正:利用海思芯片hi3516dv300的SIMD扩展结构及ARM的NEON Ne10运算库提供的大量的浮点运算、矢量计算以及矩阵操作,使用IVE接口HI_MPI_IVE_Resize2进行缩放处理,使用Ne10运算库对人脸校正进行旋转处理。
3.根据权利要求2所述的一种基于海思安防芯片的人脸识别方法,其特征在于,采用反向映射的方法调用Ne10运算库矩阵函数接口ne10_transmat_3x3f_neon实现人脸校正进行旋转。
4.根据权利要求3所述的一种基于海思安防芯片的人脸识别方法,其特征在于,还包括步骤S400:人脸特征值提取:利用NNIEHI_MPI_SVP_NNIE_ForwardWithBbox提取人脸图片的特征向量,提取出人脸图片以及该图片的上下翻转图各自经过网络在fc5层输出的特征向量,然后将两者拼起以形成一个2倍维数的特征向量,表征人脸。
5.根据权利要求4所述的一种基于海思安防芯片的人脸识别方法,其特征在于,还包括步骤S500:人脸特征值是一个一维512浮点数组,计算两个特征值得出相似度,利用Ne10提供的浮点运算,调用Ne10运算库矩阵函数接口ne10_add_float_neon优化运算。
6.根据权利要求1-5任一项所述的一种基于海思安防芯片的人脸识别方法,其特征在于,还包括步骤S100:人脸检测:通过NNIE API接口HI_MPI_SVP_NNIE_LoadModel加载训练好的人脸模型,通过接口HI_MPI_SVP_NNIE_Forward和HI_MPI_SVP_NNIE_ForwardWithBbox计算获取图像中符合人脸特征的位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910368287.6A CN110334577B (zh) | 2019-05-05 | 2019-05-05 | 一种基于海思安防芯片的人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910368287.6A CN110334577B (zh) | 2019-05-05 | 2019-05-05 | 一种基于海思安防芯片的人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110334577A CN110334577A (zh) | 2019-10-15 |
CN110334577B true CN110334577B (zh) | 2022-09-16 |
Family
ID=68139326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910368287.6A Active CN110334577B (zh) | 2019-05-05 | 2019-05-05 | 一种基于海思安防芯片的人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110334577B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047032A (zh) * | 2019-10-25 | 2020-04-21 | 深圳市道通智能航空技术有限公司 | 图像检测的加速方法、装置及存储介质 |
CN111860483B (zh) * | 2020-07-21 | 2022-08-23 | 中国科学院光电技术研究所 | 一种基于海思平台的目标检测方法 |
CN111860385A (zh) * | 2020-07-27 | 2020-10-30 | 珠海研果科技有限公司 | 目标识别方法和装置 |
CN114418824A (zh) * | 2022-01-27 | 2022-04-29 | 支付宝(杭州)信息技术有限公司 | 图像处理方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103986910A (zh) * | 2014-05-20 | 2014-08-13 | 中国科学院自动化研究所 | 一种基于智能分析摄像机的客流统计方法和系统 |
CN207218854U (zh) * | 2017-08-04 | 2018-04-10 | 国网湖北省电力公司武汉供电公司 | 一种自动采集地理信息的摄像头 |
CN108898125A (zh) * | 2018-07-10 | 2018-11-27 | 深圳市巨龙创视科技有限公司 | 一种基于嵌入式人脸识别管理系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10360494B2 (en) * | 2016-11-30 | 2019-07-23 | Altumview Systems Inc. | Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules |
US10474464B2 (en) * | 2017-07-05 | 2019-11-12 | Deep Vision, Inc. | Deep vision processor |
-
2019
- 2019-05-05 CN CN201910368287.6A patent/CN110334577B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103986910A (zh) * | 2014-05-20 | 2014-08-13 | 中国科学院自动化研究所 | 一种基于智能分析摄像机的客流统计方法和系统 |
CN207218854U (zh) * | 2017-08-04 | 2018-04-10 | 国网湖北省电力公司武汉供电公司 | 一种自动采集地理信息的摄像头 |
CN108898125A (zh) * | 2018-07-10 | 2018-11-27 | 深圳市巨龙创视科技有限公司 | 一种基于嵌入式人脸识别管理系统 |
Non-Patent Citations (1)
Title |
---|
基于人脸识别的嵌入式视频监控系统;邝细超;《中国优秀硕士学位论文全文数据库(电子期刊)》;20170215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110334577A (zh) | 2019-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110334577B (zh) | 一种基于海思安防芯片的人脸识别方法 | |
WO2021036828A1 (zh) | 目标跟踪方法、装置、存储介质及电子设备 | |
CN112200043B (zh) | 面向室外施工现场的危险源智能识别系统及方法 | |
CN109657592B (zh) | 一种智能挖掘机的人脸识别方法 | |
Zhou et al. | Spatial–temporal convolutional neural networks for anomaly detection and localization in crowded scenes | |
CN112183471A (zh) | 一种现场人员防疫口罩规范佩戴的自动检测方法及系统 | |
CN107122751B (zh) | 一种基于人脸对齐的人脸跟踪和人脸图像捕获方法 | |
CN105574506A (zh) | 基于深度学习和大规模集群的智能人脸追逃系统及方法 | |
US8953852B2 (en) | Method for face recognition | |
Xie et al. | Deep learning-based computer vision for surveillance in its: Evaluation of state-of-the-art methods | |
Singh et al. | A deep learning based technique for anomaly detection in surveillance videos | |
CN110728252A (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
Jain et al. | Random walk-based feature learning for micro-expression recognition | |
CN115527269B (zh) | 一种人体姿态图像智能识别方法及系统 | |
CN112699769A (zh) | 一种安防监控中遗留物品的检测方法及系统 | |
Saleem et al. | Face recognition using facial features | |
Yang et al. | Face recognition based on MTCNN and integrated application of FaceNet and LBP method | |
CN115457082A (zh) | 一种基于多特征融合增强的行人多目标跟踪算法 | |
Ahmad et al. | Embedded deep vision in smart cameras for multi-view objects representation and retrieval | |
CN114360182B (zh) | 一种智能告警方法、装置、设备及存储介质 | |
Li et al. | A deep pedestrian tracking SSD-based model in the sudden emergency or violent environment | |
K N et al. | Multistage Framework for Automatic Face Mask Detection Using Deep Learning | |
Alarfaj et al. | Automatic anomaly monitoring in public surveillance areas | |
Wang et al. | Ctl-dnnet: effective circular traffic light recognition with a deep neural network | |
Masood et al. | Identification of Anomaly Scenes in Videos Using Graph Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |