CN110532881A - 一种基于嵌入式人工智能芯片的人脸识别安防报警方法 - Google Patents

一种基于嵌入式人工智能芯片的人脸识别安防报警方法 Download PDF

Info

Publication number
CN110532881A
CN110532881A CN201910692109.9A CN201910692109A CN110532881A CN 110532881 A CN110532881 A CN 110532881A CN 201910692109 A CN201910692109 A CN 201910692109A CN 110532881 A CN110532881 A CN 110532881A
Authority
CN
China
Prior art keywords
face
recognition
alarm
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910692109.9A
Other languages
English (en)
Inventor
熊杰
马博
涂俊峰
刘华祠
刘建
杜峰
马兰芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze University
Original Assignee
Yangtze University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze University filed Critical Yangtze University
Priority to CN201910692109.9A priority Critical patent/CN110532881A/zh
Publication of CN110532881A publication Critical patent/CN110532881A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明属于智能识别技术领域,公开了一种基于嵌入式人工智能芯片的人脸识别安防报警方法,基于嵌入式人工智能芯片可进行视频获取、传输、保存、人脸定位、人脸识别以及报警信息和视频信息的发送;具体通过视频数据采集模块采集视频信息,数据中转模块中转上传数据,识别判断模块通过本地开发板进行人脸识别来判断是否有人入侵,识别后判断并启动报警,报警信息下发至用户,使用户及时获得报警结果并进行处理。本发明直接对传输的视频进行实时人脸识别,不需要发送数据给第三方服务器来识别,所以能做到实时监控报警、证据保存以及用户能直接使用手机APP进行实时画面的播放显示。

Description

一种基于嵌入式人工智能芯片的人脸识别安防报警方法
技术领域
本发明属于智能识别技术领域,尤其涉及一种基于嵌入式人工智能芯片的人脸识别安防报警方法。具体涉及一种基于嵌入式人工智能芯片的可进行视频获取、传输、保存;人脸定位、人脸识别以及报警信息、视频信息发送的人脸识别安防报警方法。
背景技术
目前,最接近的现有技术:
安防问题一直是一个生活中突出的问题,无论是门禁还是监控方式都存在着一些不能解决的问题,如:实时报警,证据视频保存,机器主动识别等。在当今这个大的环境下,无论是家庭安防、店铺安防,还是公司安防都存在着诸多的问题,虽然市面上可见的安防产品层出不穷,但是实时监控报警手段却不太理想,有的只能做监控,有的需要触碰红线,也有一部分是做门禁,但这些都不够灵活,在对付那些有经验的入侵者时很难做到安全防护。
现有技术不能及时报警且不能将入侵证据长效保存,而且人脸识别流程不完善,几乎所有能人脸识别的产品都是发送数据给第三方服务器来识别,而不是产品本身识别,这样就产生了一些问题(如延时、安全、数据丢失等);而偏智能化的一些产品成本普遍较高。
综上所述,现有技术存在的问题是:
(1)现有技术不能将入侵证据长效保存。
(2)现有技术人脸识别流程不完善,存在延时、安全、数据丢失等问题。
(3)现有技术大多以依赖第三方服务器资源来做人脸识别,这导致识别过程需要经过网络通道,则必然存在延时长,数据丢失等问题,实时性能不好。
(4)现有技术不能实现智能提取入侵证据并保存,只能保存所采集的监控视频,这就使得在查找证据时较为麻烦。
(5)现有技术不能做到将入侵的视频证据实时推送至用户端方便用户进行查看和及时报警。
(6)现有的报警方法无法做到实时判断并根据判断结果进行实时报警,需要借助外界多级判别才能确定结果,往往错过了破案的最佳时间。
解决上述技术问题的难度:
如何改变传统的通过将视频数据上传至设备生产商的服务器来识别入侵人脸再向用户移动端反馈数据,而在高集成性的嵌入式开发板上进行实时人脸定位,运用深度学习中的人脸识别模型,与用户人脸数据库中自行添加的人脸数据进行识别对比,识别的同时向用户提供报警和证据保存,方便用户获取识别信息和提取入侵证据,用户可在手机端播放视频、提示报警。
解决上述技术问题的意义:
基于上述技术问题,本方法实现了监控现场实时人脸识别,识别结果主动反馈至用户端报警以及证据多端存储的一体化。用户可自行添加或删除人脸数据库中的人脸数据,保证了用户的使用自主性,同时对识别结果可做到及时感知和判断,增加了安防私密性和可靠性。
发明内容
针对现有技术存在的问题,本发明提供了一种基于嵌入式人工智能芯片的人脸识别安防报警系统及方法。
本发明是这样实现的,一种基于嵌入式人工智能芯片的人脸识别安防报警系统及方法,所述基于嵌入式人工智能芯片的人脸识别安防报警的方法包括以下步骤:
步骤一,采用Python语言驱动OpenCV函数库调用USB摄像头,将摄像头采集到的图像数据自动转换成Python语言中的numpy数组,图像数组的大小固定为Length*Weight(640*480),然后将获得到的图像数组传递给实时检测模块,直接将视频信息读取到计算机内存中保存,等待识别和发送;同时利用互联网,采用TCP/IP协议,与远端主机建立连接发送数据,将视频信息存储在局域网内的另一台电脑或者是局域网外的服务器的存储资源上,并进行人脸数据库初始化(人脸特征向量提取):在程序初始化时,先将需要识别的人脸作为标准识别对象,将其这些标准识别对象的人脸图像经过深度学习模型(MobileFaceNet)的卷积特征向量提取,得到人脸特征值D1*D1*C,D1表示每次的输出特征向量的大小,C表示输出特征向量的维度;经过多次这种特征向量提取步骤获得总的特征向量:(此处将Dk*Dk简化为Fk,C就是其通道数n)最后将这个特征向量由卷积神经网络的全连接层转换为一维向量{(X0,Y0),(X1,Y1),(X2,Y2)…(Xn,Yn)}然后将所有特征向量保存到程序的存储单元。;
步骤二,采用深度学习的方式,以计算机(Jetson Nano开发板)做矩阵卷积运算方式实现人脸定位;采用深度学习的方式,计算机(Jetson Nano开发板)以深度学习训练好的人脸识别模型作为基础,调用模型进行人脸识别,并将识别结果作为第三部分的报警结果来源;
其中,检测单元将视频采集到的图像获取后,将640*480的数组经过深度学习模型(MTCNN)的卷积定位运算,获取到人脸的位置Bounding Box(_X0,_Y0)、Length、High,分别人脸框中心,人脸框的长度,人脸框的高度;然后通过OpenCV库将人脸框里的图像剪切下来,用于识别;识别之前已经获取了一张L*W大小的图像,将这个L*W固定为112*112大小,作为识别人脸的图像;将得到的112*112图像经过上述人脸特征向量提取步骤,既可以得到当前检测图像的人脸特征向量{Xnow,Ynow}。
将获取的当前图像人脸特征向量与初始化的人脸数据库的向量做欧式距离比较,距离为计算后得到一组距离值{D0,D1,D2,D3…,Dn},然后取其中最小值Dmin作为判断标志,由于深度学习模型在训练的时候是以Dk≤1.24来进行训练的,所以Dmin≤1.24时记录对应的人脸标签作为识别结果,若Dmin>1.24就判断为陌生人记为“Unknow”标签。步骤三,手机APP进行警报等级判断,同时进行证据存储,并将报警信息上传服务器;同时利用开源的MQTT协议,将分析结果在报警模块中启动报警等级,向用户手机APP推送报警信息;
其中,由步骤二得到Dmin判断的结果标签以后,由于一张图像中可能包含多个人脸,故在每次判断获取标签的同时,记录所获得的标签是否为陌生人;分级报警实现步骤如下:
定义一种数据结构,该数据结构仅含有存储陌生人数量(记为Un_num)和认识人数量(记为Kn_num),当检测模块识别到为认识人时Kn_num=Kn_num+1,否则Un_num=Un_num+1,识别完以后,根据Kn_num与Un_num值与0的关系分级报警,当Kn_num为0时,系统启动一级别报警,当Un_num,Kn_num都不为0时启动二级报警,当Un_num为0时不报警(三级报警)。
步骤四,将视频数据传输到远端另存、视频上传外网服务器;
其中,将识别得到的结果通过互联网将这些图像数据传输到局域网下的另一台主机,发送的时候需要将图像编码,原始编码为普通的十进制浮点数据,将其转换为二进制字节流以后以TCP/IP传输协议传送到另一台主机上,由另一台主机将传输过来的数据保存下来。
步骤五,用户端手机APP可以采用拉取RTMP视频流的方式显示实时监控画面,同时将MQTT的消息及时获取即可达到实时报警功能;报警同时也可短信报警通知。
其中,采用MQTT消息传输协议传送消息到用户手机提醒用户家庭人员情况,同时采用RTMP实时视频传输协议将实时视频显示到用户手机。
进一步,s步骤三中,所述警报等级判断、证据存储、报警信息上传服务器具体包括:
(1)警报等级判断:根据识别结果将警报分级,可划分为三个等级:
一级警报:监控区域只含陌生人;
二级警报:监控区域陌生人和已认识的人同时存在;
三级警报:监控区域无人或者只存在已认识的人;
所述警报等级判断由程序完成;
(2)证据存储:若判定为一级警报,则触发证据存储模块,将入侵者的脸部特征和行动情况视频作为证据现场保存在机器上(Jetson Nano开发板);
(3)报警信息上传服务器:
将判断到的警报等级以0,1,2的形式发送到MQTT服务器;同时以短信推送消息的方式实现二次警报推送。
进一步,步骤四中,所述视频数据传输到远端另存、视频上传外网服务器具体包括:
(1)视频数据传输到远端另存:
采用互联网的TCP/IP协议,与远端主机建立连接发送数据,视频信息可存储在与其建立socket连接的计算机上,这台计算机一般是设置为局域网中的另一台计算机,如有特别许可,可使用外网计算机作为存储资源;
(2)视频上传外网服务器:
局域网下的另一台计算机获取到数据以后,在保存的同时,将视频帧传输到RTMP协议的服务器(srs、Red5等),此时用户手机端即可采用APP向服务器拉取视频信息和实时接受MQTT服务器传输来的信息作为提示报警的方法。
进一步,步骤四中,所述报警信息、视频信息发送后视频信息显示通过利用开源的RTMP协议,将采集到的视频结果发送到服务器端,用户使用手机APP来接收服务发送的视频结果,全套流程建立在互联网的基础上。
本发明另一目的在于提供一种实施所述基于嵌入式人工智能芯片的人脸识别安防报警的方法的终端。
本发明另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述基于嵌入式人工智能芯片的人脸识别安防报警的方法。
本发明另一目的在于提供一种实施所述基于嵌入式人工智能芯片的人脸识别安防报警系统。
综上所述,本发明的优点及积极效果为:
本发明利用摄像头采集实时视频,并在实时视频中加入人脸识别部分,每时每刻做人脸识别,一旦检测到该监控区域内有陌生人就采取报警形式直接向用户提示,不但可以解决安防实时性的问题,而且可以解决当入侵者闯入时直接保存证据的问题,全套工作均由计算机解决。
本发明采用嵌入式人工智能芯片ARM智能集成开发板(Jetson Nano)作为识别的硬件资源,可直接对传输的视频进行实时人脸识别,不需要发送数据给第三方服务器来识别。
本发明可做到实时监控报警、证据保存并且用户可直接使用手机APP播放显示实时画面,成本低。
本发明采用的已获开源认证的人脸识别模型准确率高达99.47%。如图8所示
本发明采用多级智能报警,可以在判别等级为一级警报时不通过用户而直接报警,等级为二级警报以下时实时向用户移动端发送视频进行用户判断,既减少了传统方法只能用户判断之后再报警的繁琐的中间过程,也为之后的破案争取了更多的时间。
附图说明
图1是本发明实施例提供的基于嵌入式人工智能芯片的人脸识别安防报警方法流程图。
图2是本发明实施例提供的基于嵌入式人工智能芯片的人脸识别安防报警方法原理图。
图3是本发明实施例提供的基于嵌入式人工智能芯片的人脸识别安防报警方法工作流程图。
图4是本发明实施例提供的人脸识别流程图。
图5是本发明实施例提供的报警信息传输示意图。
图6是本发明实施例提供的视频信息传输示意图。
图7是本发明实施例提供的总的错误比率图。
图8是本发明实施例提供的正脸进行检测:识别认识的人,并显示姓名图。
图9是本发明实施例提供的对侧脸进行检测:识别认识的人,并显示姓名图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现有技术不能将入侵证据长效保存。现有技术人脸识别流程不完善,存在延时、安全、数据丢失等问题。
针对现有技术存在的问题,本发明提供了一种基于嵌入式人工智能芯片的人脸识别安防报警方法,下面结合技术方案对本发明作详细的描述。
如图1所示,本发明实施例提供的基于嵌入式人工智能芯片的人脸识别安防报警方法包括。
S101,采用python语言调用opencv库获取摄像头视频内容,直接将视频信息读取到内存中保存,等待识别和发送;同时利用互联网,采用TCP/IP协议,与远端主机建立连接发送数据,将视频信息存储在局域网内的另一台电脑或者是局域网外的服务器的存储资源上。
S102,采用深度学习的方式,以计算机(Jetson Nano开发板)做矩阵卷积运算方式实现人脸定位;采用深度学习的方式,计算机(Jetson Nano开发板)以深度学习训练好的人脸识别模型作为基础,调用模型进行人脸识别,并将识别结果作为第三部分的报警结果来源。
S103,手机APP进行警报等级判断,同时进行证据存储,并将报警信息上传服务器;同时利用开源的MQTT协议,将分析结果在报警模块中启动报警等级,向用户手机APP推送报警信息。
S104,将视频数据传输到远端另存、视频上传外网服务器。
S105,用户端手机APP可以采用拉取RTMP视频流的方式显示实时监控画面,同时将MQTT的消息及时获取即可达到实时报警功能;报警同时也可短信报警通知。
步骤S101具体包括:
采用Python语言驱动OpenCV函数库调用USB摄像头,将摄像头采集到的图像数据自动转换成Python语言中的numpy数组,图像数组的大小固定为Length*Weight(640*480),然后将获得到的图像数组传递给实时检测模块,直接将视频信息读取到计算机内存中保存,等待识别和发送。
同时利用互联网,采用TCP/IP协议,与远端主机建立连接发送数据,将视频信息存储在局域网内的另一台电脑或者是局域网外的服务器的存储资源上,并进行人脸数据库初始化。
所述人脸数据库初始化,包括:
先将需要识别的人脸作为标准识别对象,将其这些标准识别对象的人脸图像经过深度学习模型的卷积特征向量提取,得到人脸特征值D1*D1*C,D1表示每次的输出特征向量的大小,C表示输出特征向量的维度。经过多次这种特征向量提取步骤获得总的特征向量:其中,Dk*Dk简化为Fk,C为通道数n。
将这个特征向量由卷积神经网络的全连接层转换为一维向量{(X0,Y0),(X1,Y1),(X2,Y2)…(Xn,Yn)}。
再将所有特征向量保存到程序的存储单元。
步骤S102具体包括:
检测单元将视频采集到的图像获取后,将640*480的数组经过深度学习模型(MTCNN)的卷积定位运算,获取到人脸的位置Bounding Box(_X0,_Y0)、Length、High,分别人脸框中心,人脸框的长度,人脸框的高度。
然后通过OpenCV库将人脸框里的图像剪切下来,用于识别。识别之前已经获取了一张L*W大小的图像,将这个L*W固定为112*112大小,作为识别人脸的图像。将得到的112*112图像经过上述人脸特征向量提取步骤,得到当前检测图像的人脸特征向量{Xnow,Ynow}。
将获取的当前图像人脸特征向量与初始化的人脸数据库的向量做欧式距离比较,距离为计算后得到一组距离值{D0,D1,D2,D3…,Dn},
取最小值Dmin作为判断标志,深度学习模型在训练中,以Dk≤1.24进行训练,Dmin≤1.24时记录对应的人脸标签作为识别结果,若Dmin>1.24判断为陌生人记为Unknow标签。
步骤S103 APP进行警报等级判断中,由步骤二得到Dmin判断的结果标签以后,由于一张图像中可能包含多个人脸,故在每次判断获取标签的同时,记录所获得的标签是否为陌生人。
分级报警的方法包括:
新定义一种数据结构,该数据结构仅含有存储陌生人数量Un_num和认识人数量Kn_num。当检测模块识别到为认识人时Kn_num=Kn_num+1,否则Un_num=Un_num+1,识别完以后,根据Kn_num与Un_num值与0的关系分级报警,当Kn_num为0时,系统启动一级别报警,当Un_num,Kn_num都不为0时启动二级报警,当Un_num为0时不报警。
步骤S104中,将识别得到的结果通过互联网将这些图像数据传输到局域网下的另一台主机,发送时将图像编码,原始编码为普通的十进制浮点数据,转换为二进制字节流以后以TCP/IP传输协议传送到另一台主机上,由另一台主机将传输过来的数据保存下来。
步骤S105中,采用MQTT消息传输协议传送消息到用户手机提醒用户家庭人员,同时采用RTMP实时视频传输协议将实时视频显示到用户手机。
下面结合附图对本发明作进一步描述。
图2是本发明实施例提供的基于嵌入式人工智能芯片的人脸识别安防报警方法原理图。
图3是本发明实施例提供的基于嵌入式人工智能芯片的人脸识别安防报警方法工作流程图。
如图2与图3所示,步骤S102中,通过摄像头采集所监控区域的实时人员情况数据,接着通过传输端口送入集成开发板进行人脸定位识别运算,并进行实时的视频证据保存,接着将计算得到的结果进行警报等级判定,入侵视频进行备份并通过外网服务器发送至用户移动端实时查看。
图4是本发明实施例提供的人脸识别流程图。
如图4所示,步骤S102中,将摄像头采集的视频数据按照开发板运算适合的帧数送入,迭代获得每一次读入的数字图像信息,接着加载已经训练好的人脸数据模型,对读入的图像进行人脸的准确定位,并提取其人脸的特征信息,与人脸数据库中已存在的人脸数据做特征信息的识别对比,将识别结果进行分析判级,得到其对应的警报等级,等级结果最后送入报警与传输模块。
如图5所示,步骤S103中,本发明实施例提供的警报等级判断、证据存储、报警信息上传服务器具体包括:
(1)警报等级判断:根据识别结果将警报分级,可划分为三个等级:
一级警报:监控区域只含陌生人;
二级警报:监控区域陌生人和已认识的人同时存在;
三级警报:监控区域无人或者只存在已认识的人;
所述警报等级判断由程序完成;
(2)证据存储:若判定为一级警报,则触发证据存储模块,将入侵者的脸部特征和行动情况视频作为证据现场保存在机器上(Jetson Nano开发板);
(3)报警信息上传服务器:
将判断到的警报等级以0,1,2的形式发送到MQTT服务器;同时以短信推送消息的方式实现二次警报推送。
如图6所示,步骤S104中,本发明实施例提供的视频数据传输到远端另存、视频上传外网服务器具体包括:
(1)视频数据传输到远端另存:
采用互联网的TCP/IP协议,与远端主机建立连接发送数据,视频信息可存储在与其建立socket连接的计算机上,这台计算机一般是设置为局域网中的另一台计算机,如有特别许可,可使用外网计算机作为存储资源;
(2)视频上传外网服务器:
局域网下的另一台计算机获取到数据以后,在保存的同时,将视频帧传输到RTMP协议的服务器(srs、Red5等),此时用户手机端即可采用APP向服务器拉取视频信息和实时接受MQTT服务器传输来的信息作为提示报警的方法。
步骤S104中,本发明实施例提供的报警信息、视频信息发送后视频信息显示通过利用开源的RTMP协议,将采集到的视频结果发送到服务器端,用户使用手机APP来接收服务发送的视频结果,全套流程建立在互联网的基础上。
下面结合具体实验及实施例对本发明做进一步描述。
实施例1:
opencv库:计算机开源的一个图像处理模块,用于获取摄像头数据。TCP/IP协议:网络通信协议,互联网通信基础架构。深度学习:利用计算机人工神经网络对输入数据做特征提取,以达到机器类似人脑学习的能力。
矩阵卷积运算:计算机深度学习中人工神经网络的底层计算方式,其存在于CNN神经网络中。人脸识别模型:用于人脸识别计算的黑匣子,该模型实际就是一组非常复杂的数学公式,只是由计算机学习而来的,图像通过该数学公式计算以后就得到了另一组数据,这组数据就可以作为分类的依据。RTMP协议:Real Time Messaging Protocol(实时消息传输协议)由Flash Adoub一种流媒体传输协议,可以实时传输视频帧,但需要中间服务器作为中转站。MQTT协议:Message Queuing Telemetry Transport(消息队列遥测传输协议)由IBM推出的一种即时通信的协议,用于消息传输,依赖中间服务器中转传输消息。
实施例2:
以下为嵌入式智能芯片以生活中真实监控视频为基础的人脸识别准确率的五组测试结果,每一组中包含一千帧左右的数据,每一组都是先经过机器识别再由人工识别判断得出的结果。下表中,第一列代表着生活中会出现的任何人的标签(此处仅为实验中出现的人,以姓名首字母作为标签);第二列表示智能芯片是否能识别此人(认识此人);第三列为这组帧数据中真实出现该人的次数;第四列表示识别算法实际检测出来该人的次数,第五列为对应标签的识别准确率。因为每组帧数据中一定有无人脸出现的帧,所以无人脸的帧以e标签表示,同时一帧数据中可能包含多张人脸,但此处无法体现,但将一列的“实际数量”加起来可以得出总和大于总帧数的结果,及可说明有部分数据帧包含多张人脸。
在这些数据中可以说明方案的识别准确性,对于某些人的识别准确率可能很高,对于另外一些人识别率也有可能比较低,但是当出现次数较大时,可以得到较大的识别准确。特殊情况说明:由于五组实验中的m标签人是带帽子出现,由于帽子可能会遮挡脸部信息,所以较之与其他标签识别率对比相对较低。
同时,其五组实验中的错误判断在表六中体现出来,误判情况:A→B表示将标签A误判成了标签B;帧数:为错误判断次数;错误总帧数:为本次实验中出错的总帧数;误判率:为本次实验中出现错误判断的概率。其总的误判帧数相对而言比例较低,结果比较可观,图7为总的错误比率图。
下面结合具体实验对本发明作进一步描述。
对实时摄像头可视区域内的人脸进行识别的结果,可同时显示多人;陌生人显示为Unknow,认识的人显示其姓名。
图8所示,正脸进行检测:识别认识的人,并显示姓名。
图9所示,对侧脸进行检测:识别认识的人,并显示姓名。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于嵌入式人工智能芯片的人脸识别安防报警的方法,其特征在于,所述基于嵌入式人工智能芯片的人脸识别安防报警的方法包括以下步骤:
步骤一,调用opencv库获取摄像头视频内容,将视频信息保存,采用TCP/IP协议,与远端主机建立连接并将识别的视频信息发送;
步骤二,采用深度学习方法,进行图像的矩阵卷积运算实现人脸定位,并以人脸识别模型进行人脸识别,将识别结果作报警结果来源;
步骤三,APP进行警报等级判断,同时进行证据存储,并将报警信息上传;利用开源的MQTT协议,启动报警等级,向用户APP推送报警信息;
步骤四,将视频数据传输到远端主机进行另存、视频上传外网服务器;
步骤五,用户端手机APP采用拉取RTMP视频流的方式显示实时监控画面,同时将MQTT的消息及时获取,实时报警通知。
2.如权利要求1所述基于嵌入式人工智能芯片的人脸识别安防报警的方法,其特征在于,步骤一具体包括:
采用Python语言驱动OpenCV函数库调用USB摄像头,将摄像头采集到的图像数据自动转换成Python语言中的numpy数组,图像数组的大小固定为Length*Weight(640*480),然后将获得到的图像数组传递给实时检测模块,直接将视频信息读取到计算机内存中保存,等待识别和发送;
同时利用互联网,采用TCP/IP协议,与远端主机建立连接发送数据,将视频信息存储在局域网内的另一台电脑或者是局域网外的服务器的存储资源上,并进行人脸数据库初始化。
3.如权利要求2所述基于嵌入式人工智能芯片的人脸识别安防报警的方法,其特征在于,所述人脸数据库初始化,包括:
先将需要识别的人脸作为标准识别对象,将其这些标准识别对象的人脸图像经过深度学习模型的卷积特征向量提取,得到人脸特征值D1*D1*C,D1表示每次的输出特征向量的大小,C表示输出特征向量的维度;经过多次这种特征向量提取步骤获得总的特征向量:其中,Dk*Dk简化为Fk,C为通道数n;
将这个特征向量由卷积神经网络的全连接层转换为一维向量{(X0,Y0),(X1,Y1),(X2,Y2)…(Xn,Yn)};
再将所有特征向量保存到程序的存储单元,将这些人脸特征向量记作已知人脸。
4.如权利要求1所述基于嵌入式人工智能芯片的人脸识别安防报警的方法,其特征在于,步骤二具体包括:
检测单元将视频采集到的图像获取后,将640*480的数组经过深度学习模型(MTCNN)的卷积定位运算,获取到人脸的位置Bounding Box(_X0,_Y0)、Length、High,分别人脸框中心,人脸框的长度,人脸框的高度;
然后通过OpenCV库将人脸框里的图像剪切下来,用于识别;识别之前已经获取了一张L*W大小的图像,将这个L*W固定为112*112大小,作为识别人脸的图像;将得到的112*112图像经过上述人脸特征向量提取步骤,得到当前检测图像的人脸特征向量{Xnow,Ynow};
将获取的当前图像人脸特征向量与初始化的人脸数据库的向量做欧式距离比较,距离为计算后得到一组距离值{D0,D1,D2,D3…,Dn},
取最小值Dmin作为判断标志,深度学习模型在训练中,以Dk≤1.24进行训练,Dmin≤1.24时记录对应的人脸标签作为识别结果,若Dmin>1.24判断为陌生人记为Unknow标签。
5.如权利要求1所述基于嵌入式人工智能芯片的人脸识别安防报警的方法,其特征在于,步骤三APP进行警报等级判断中,由步骤二得到Dmin判断的结果标签以后,由于一张图像中可能包含多个人脸,故在每次判断获取标签的同时,记录所获得的标签是否为陌生人;
分级报警的方法包括:定义数据结构作为是否需要报警的判断依据,以Un_num表示识别的陌生人数量,Kn_num表示识别的已知人脸的数量;检测识别模块每次循环迭代计算判断是否为已知人脸,同时判断若为已知人脸则将已知人脸数Kn_num+1,否则判断为未知人脸既将未知人脸数Un_num+1;
识别完以后,根据Kn_num与Un_num值与0的关系分级报警,当Kn_num为0时,系统启动一级别报警,当Un_num,Kn_num都不为0时启动二级报警,当Un_num为0时不报警。
6.如权利要求1所述基于嵌入式人工智能芯片的人脸识别安防报警的方法,其特征在于,步骤四中,将识别得到的结果通过互联网将这些图像数据传输到局域网下的另一台主机,发送时将图像编码,原始编码为普通的十进制浮点数据,转换为二进制字节流以后以TCP/IP传输协议传送到另一台主机上,由另一台主机将传输的数据保存。
7.如权利要求1所述基于嵌入式人工智能芯片的人脸识别安防报警的方法,其特征在于,步骤五中,采用MQTT消息传输协议传送消息到用户手机提醒用户家庭人员,同时采用RTMP实时视频传输协议将实时视频显示到用户手机。
8.一种实施权利要求1-7任意一项所述的基于嵌入式人工智能芯片的人脸识别安防报警的方法的终端。
9.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-7任意一项所述基于嵌入式人工智能芯片的人脸识别安防报警的方法。
10.一种实施权利要求1-7任意一项所述基于嵌入式人工智能芯片的人脸识别安防报警的方法的基于嵌入式人工智能芯片的人脸识别安防报警系统。
CN201910692109.9A 2019-07-30 2019-07-30 一种基于嵌入式人工智能芯片的人脸识别安防报警方法 Pending CN110532881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910692109.9A CN110532881A (zh) 2019-07-30 2019-07-30 一种基于嵌入式人工智能芯片的人脸识别安防报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910692109.9A CN110532881A (zh) 2019-07-30 2019-07-30 一种基于嵌入式人工智能芯片的人脸识别安防报警方法

Publications (1)

Publication Number Publication Date
CN110532881A true CN110532881A (zh) 2019-12-03

Family

ID=68660974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910692109.9A Pending CN110532881A (zh) 2019-07-30 2019-07-30 一种基于嵌入式人工智能芯片的人脸识别安防报警方法

Country Status (1)

Country Link
CN (1) CN110532881A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111163057A (zh) * 2019-12-09 2020-05-15 中国科学院信息工程研究所 一种基于异构信息网络嵌入算法的用户识别系统及方法
CN112349082A (zh) * 2020-06-15 2021-02-09 江南大学 一种基于人工智能和大数据分析的4g报警系统
CN112417504A (zh) * 2020-11-23 2021-02-26 烟台职业学院 一种基于计算机的公司安全警报系统
CN112991671A (zh) * 2021-02-03 2021-06-18 云南大学 一种基于深度学习的智能安防系统及用于智能安防系统的深度学习方法
CN113032760A (zh) * 2021-05-26 2021-06-25 湖南三湘银行股份有限公司 一种基于头部图像分析的交易安全监管系统
CN113542906A (zh) * 2021-07-20 2021-10-22 山东新一代信息产业技术研究院有限公司 一种基于rtsp视频的网页无插件播放方法
CN114125385A (zh) * 2021-11-15 2022-03-01 茂名粤云信息技术有限公司 一种智能视频系统的智能显示方法
CN117201834A (zh) * 2023-09-11 2023-12-08 南京天创电子技术有限公司 基于目标检测的实时双光谱融合视频流显示方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268680A (zh) * 2013-05-29 2013-08-28 北京航空航天大学 一种家庭智能监控防盗系统
CN107666604A (zh) * 2017-11-14 2018-02-06 合肥奇骏自动化控制有限公司 一种智能家庭无线视频监控系统
CN109191769A (zh) * 2018-09-18 2019-01-11 温岭市志创网络科技有限公司 一种智能家居防盗系统
CN109309808A (zh) * 2017-07-26 2019-02-05 梭维智能科技(深圳)有限公司 一种基于人脸识别的监控系统及方法
CN109389794A (zh) * 2018-07-05 2019-02-26 北京中广通业信息科技股份有限公司 一种智能化视频监控方法和系统
CN109413369A (zh) * 2017-08-17 2019-03-01 孟思宏 一种监控视频智能分析预警平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268680A (zh) * 2013-05-29 2013-08-28 北京航空航天大学 一种家庭智能监控防盗系统
CN109309808A (zh) * 2017-07-26 2019-02-05 梭维智能科技(深圳)有限公司 一种基于人脸识别的监控系统及方法
CN109413369A (zh) * 2017-08-17 2019-03-01 孟思宏 一种监控视频智能分析预警平台
CN107666604A (zh) * 2017-11-14 2018-02-06 合肥奇骏自动化控制有限公司 一种智能家庭无线视频监控系统
CN109389794A (zh) * 2018-07-05 2019-02-26 北京中广通业信息科技股份有限公司 一种智能化视频监控方法和系统
CN109191769A (zh) * 2018-09-18 2019-01-11 温岭市志创网络科技有限公司 一种智能家居防盗系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苗志程: "移动终端中主动预警系统的设计与实现", 《中国优秀硕士论文全文数据库》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111163057A (zh) * 2019-12-09 2020-05-15 中国科学院信息工程研究所 一种基于异构信息网络嵌入算法的用户识别系统及方法
CN112349082A (zh) * 2020-06-15 2021-02-09 江南大学 一种基于人工智能和大数据分析的4g报警系统
CN112417504A (zh) * 2020-11-23 2021-02-26 烟台职业学院 一种基于计算机的公司安全警报系统
CN112991671A (zh) * 2021-02-03 2021-06-18 云南大学 一种基于深度学习的智能安防系统及用于智能安防系统的深度学习方法
CN113032760A (zh) * 2021-05-26 2021-06-25 湖南三湘银行股份有限公司 一种基于头部图像分析的交易安全监管系统
CN113032760B (zh) * 2021-05-26 2021-08-10 湖南三湘银行股份有限公司 一种基于头部图像分析的交易安全监管系统
CN113542906A (zh) * 2021-07-20 2021-10-22 山东新一代信息产业技术研究院有限公司 一种基于rtsp视频的网页无插件播放方法
CN114125385A (zh) * 2021-11-15 2022-03-01 茂名粤云信息技术有限公司 一种智能视频系统的智能显示方法
CN117201834A (zh) * 2023-09-11 2023-12-08 南京天创电子技术有限公司 基于目标检测的实时双光谱融合视频流显示方法及系统
CN117201834B (zh) * 2023-09-11 2024-06-21 南京天创电子技术有限公司 基于目标检测的实时双光谱融合视频流显示方法及系统

Similar Documents

Publication Publication Date Title
CN110532881A (zh) 一种基于嵌入式人工智能芯片的人脸识别安防报警方法
CN111680551B (zh) 监控牲畜数量的方法、装置、计算机设备及存储介质
Cucchiara et al. A multi‐camera vision system for fall detection and alarm generation
EP4123503A1 (en) Image authenticity detection method and apparatus, computer device and storage medium
US20190278976A1 (en) Security system with face recognition
CN108446669B (zh) 运动识别方法、装置及存储介质
CN110532882A (zh) 基于嵌入式人工智能芯片的人脸识别安防报警系统及设备
CN110428522A (zh) 一种智慧新城的智能安防系统
CN107679504A (zh) 基于摄像头场景的人脸识别方法、装置、设备及存储介质
CN109376608A (zh) 一种人脸活体检测方法
CN107613254A (zh) 一种检测门外来访者、识别来访者身份的方法及装置
US20210365343A1 (en) Artificial Intelligence (AI)-Based Cloud Computing Safety Monitoring System
CN111767823A (zh) 一种睡岗检测方法、装置、系统及存储介质
CN102917207A (zh) 基于运动序列的异常行为视觉监测系统
CN113411542A (zh) 一种智能化的工作状况监测设备
CN111259748A (zh) 一种用于视频监控的边缘计算与通信系统
CN108280953A (zh) 视频侦测报警方法及装置、存储介质、摄像头
WO2023179429A1 (zh) 一种视频数据的处理方法、装置、电子设备及存储介质
CN116563797B (zh) 一种用于智慧校园的监控管理系统
CN105957172A (zh) 智能拍照电子屏的拍照考勤应用系统
WO2023279716A1 (zh) 设备联动方法、装置、设备、存储介质、程序产品及计算机程序
CN113869115A (zh) 一种人脸图像处理的方法及系统
CN116778624B (zh) 一种人工智能的人证合一用身份证信息读取分析系统
CN116994209A (zh) 基于人工智能的图像数据处理系统及其方法
CN110393539B (zh) 心理异常检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination