CN110991211B - 基于改进残差神经网络的便携式单兵人脸识别装置 - Google Patents
基于改进残差神经网络的便携式单兵人脸识别装置 Download PDFInfo
- Publication number
- CN110991211B CN110991211B CN201910092599.9A CN201910092599A CN110991211B CN 110991211 B CN110991211 B CN 110991211B CN 201910092599 A CN201910092599 A CN 201910092599A CN 110991211 B CN110991211 B CN 110991211B
- Authority
- CN
- China
- Prior art keywords
- face
- unit
- image
- identity information
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 3
- 241000820057 Ithone Species 0.000 claims 1
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于改进残差神经网络的便携式单兵人脸识别装置，用于对识别对象的人脸进行识别，该装置包括：基准特征存储部，存储有多个识别对象的身份信息、多个身份信息编号以及多个基准人脸特征组；图像采集部，对当前状态的识别对象进行人脸图像采集得到人脸图像；人脸检测部，对人脸图像进行检测得到人脸位置信息和多个人脸特征点位置信息；图像处理部，对人脸图像进行图像处理得到处理后人脸图像；特征提取部，基于改进残差神经网络模型对处理后人脸图像进行人脸特征提取得到人脸特征组；特征比对部，将人脸特征组与多个基准人脸特征组进行对比得到当前身份信息编号；以及身份信息获取部，获取得到当前状态的识别对象的身份信息。
Description
技术领域
本发明属于机器学习领域，涉及人脸识别装置，具体涉及一种基于改进残差神经网络的便携式单兵人脸识别装置。
背景技术
人脸识别是利用人类脸部的生物特征信息，通过一定的技术识别对应人的身份，例如，获得目标人物的人脸图像后从大量待判定的人脸图像中判定出与该目标人物一致人脸图像。人脸识别在计算机视觉与模式识别领域是一项重要的研究工作，也具有丰富的实际生活应用场景，如社区安防、罪犯追逃、移动支付等等。
人脸识别技术的发展已有数十年，早些年的许多相关的机器学习算法被提出，包括基于几何特征的方法和基于统计的方法等等。不过，受到光照亮度、呈现姿态、面部妆容以及环境遮挡等问题的影响，这些早期的机器学习方法识别精度都不理想，一旦环境或人物妆容发生较大变化，则难以准确地进行人脸识别。
近几年中，基于卷积神经网络的方法被广泛用于人脸识别上，并取得了较好的识别精度。其主要流程为利用训练集对卷积神经网络进行训练，并采用训练好的卷积神经网络进行特征提取获得目标图像以及待判定图像的向量，再通过基于向量的相似度判定方法，即可将相似度最高的待判定图像判定为目标人物。
由于人脸图像较为复杂、相关特征难以准确表示，而各种卷积神经网络模型及算法中，基于残差学习机制的卷积神经网络具有良好的学习能力和泛化能力，因此能够适用于人脸识别任务。目前主流的人脸识别装置都是基于前端负责采集图像，通过网络等手段将采集到的图像发送给后台，然后后台再进行图像的处理以及人脸的识别与检测，最后将结果发送给前端装置进行反馈。在整个流程中，处理速度的瓶颈主要是在于图像的传输过程中，处理的快慢非常依赖于网络的质量，导致在网络不佳的环境中，整个系统都无法正常的工作；在整个流程中，当图像采集的信息是十分敏感的情况下，通过网络传输会让信息面临泄漏的风险。
针对上述关于网络传输的安全与网络质量要求高的问题，目前亟需寻求一个能够在终端装置上既进行图像的采集又进行图像的处理以及人脸识别的系统，从而摆脱对于网络依赖，达到令人满意的处理速度，避免图像信息在传输过程中泄漏的风险。
发明内容
为了克服上述的问题，提供一种能够在便携式终端装置上完成人脸识别的一整套流程的方法及系统，本发明采用了如下技术方案：
本发明提供了一种基于改进残差神经网络的便携式单兵人脸识别装置，用于对识别对象的人脸进行识别，其特征在于，包括：基准特征存储部，存储有多个识别对象的身份信息、与多个识别对象分别相对应的多个身份信息编号以及与多个身份信息编号分别相对应的多个基准人脸特征组，每个基准人脸特征组包括对应的识别对象的多个基准人脸特征；图像采集部，对当前状态的识别对象进行人脸图像采集得到人脸图像；人脸检测部，对人脸图像进行检测得到人脸位置信息并基于该人脸位置信息检测得到与多个基准人脸特征分别相对应的多个人脸特征点位置信息；图像处理部，根据多个人脸特征点位置信息对人脸图像进行图像处理得到处理后人脸图像；特征提取部，基于改进残差神经网络模型根据多个人脸特征点位置信息对处理后人脸图像进行人脸特征提取得到含有与多个人脸特征点位置信息分别相对应的多个人脸特征的人脸特征组；特征比对部，将人脸特征组与多个基准人脸特征组进行对比得到当前状态的识别对象的身份信息编号作为当前身份信息编号；以及身份信息获取部，根据当前身份信息编号获取相对应的身份信息作为当前状态的识别对象的身份信息。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，其中，改进残差神经网络模型由依次连接的卷积单元、残差计算单元以及全连接单元构成，卷积单元包含第一卷积部件，残差计算单元具有第一残差计算部件、第二残差计算部件、第三残差计算部件以及第四残差计算部件，第一残差计算部件包含三个残差计算子部件，第二残差计算模块包含十三个残差计算子部件，第三残差计算模块包含十个残差计算子部件，第四残差计算模块包含三个残差计算子部件，全连接单元包含第一全连接部件。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，还包括：图像筛选部以及控制部，其中，图像筛选部具有图像模糊指数计算单元以及模糊指数判断单元，图像模糊指数计算单元按照拉普拉斯变换对处理后人脸图像进行分析得到图像模糊指数，模糊指数判断单元将图像模糊指数与预定的模糊指数阈值进行比较，判断图像模糊指数是否小于等于模糊指数阈值，当图像模糊指数小于等于模糊指数阈值时，控制部控制特征提取部对处理后人脸图像进行人脸特征提取得到人脸特征组，当图像模糊指数大于模糊指数阈值时，控制部控制图像采集部对当前状态的识别对象重新进行人脸图像采集得到当前的人脸图像。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，其中，人脸检测部具有人脸位置检测单元以及人脸特征点位置检测单元，人脸位置检测单元对人脸图像中进行检测得到人脸位置信息，人脸特征点位置检测单元基于该人脸位置信息对包括双眼中心、鼻头以及两侧嘴角的人脸特征点进行检测得到与多个基准人脸特征分别相对应的多个人脸特征点位置信息。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，其中，图像处理部包含对齐处理单元、尺寸统一单元以及中心裁剪单元，对齐处理单元按照仿射变换矩阵根据多个人脸特征点位置信息对人脸图像进行处理得到对齐预处理后人脸图像，尺寸统一单元对对齐预处理后人脸图像进行尺寸统一化处理得到尺寸统一化预处理后人脸图像；中心裁剪单元对尺寸统一化预处理后人脸图像进行中心剪裁处理得到处理后人脸图像。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，其中，特征比对部包括基准特征读取单元、余弦相似度计算单元以及身份信息序号输出单元，基准特征读取单元读取基准特征存储部中的各个基准人脸特征组，余弦相似度计算单元按照预定计算公式将人脸特征组与多个基准人脸特征组进行余弦相似度计算，得到多个余弦相似度，身份信息序号输出单元将最高的余弦相似度作为最高余弦相似度输出并将该最高余弦相似度对应的身份信息编号作为当前身份信息编号输出。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，其中，预定计算公式见下式(1)：
xi为基准人脸特征组中的第i个基准人脸特征，yi为人脸特征组中的第i个人脸特征，n为基准人脸特征组中包含的基准人脸特征的数量。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，还包括：画面生成部以及显示部，其中，一旦身份信息获取部获取得到当前状态的识别对象的身份信息，画面生成部就生成包含有该身份信息和人脸图像的身份信息显示画面，显示部显示对应的身份信息显示画面。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，识别数据生成部以及识别数据存储部，其中，一旦身份信息获取部判定得到当前状态的识别对象的身份信息，识别数据生成部就对该身份信息以及人脸图像进行数据转码处理生成识别数据，识别数据存储部对该识别数据进行储存。
本发明提供的基基于改进残差神经网络的便携式单兵人脸识别装，还可以具有这样的技术特征，该便携式单兵人脸识别装置与远程服务器通信连接，还包括：数据传输部，基于HTTP协议将识别数据发送给远程服务器
发明作用与效果
根据本发明提供的基于改进残差神经网络的便携式单兵人脸识别装置，由于具有基准特征存储部、图像采集部、人脸检测部、图像处理部、特征提取部、特征比对部以及身份信息获取部，能够采集人脸图像、并对人脸图像进行检测和处理，在进行人脸特征提取得到人脸特征组，并进一步将该人脸特征组与多个基准人脸特征组比对从而得到识别对象的身份信息，由于整个识别流程都是在本发明的识别装置中完成，不需要通过网络，因此节约了网络传输带来的时间成本，使得整个装置即使在网络环境不好的地点仍能够顺利的运转。同时，尽管受限于设备的存储方面原因的限制，但是本发明仍然可以支持约五万个体的快速识别。由于硬件上搭载了图形处理单元GPU进行计算加速，因此在实际使用过程中，识别一张人脸图片的时间大约在0.2秒左右。
附图说明
图1是本发明的实施例的基于改进残差神经网络的卷积神经网络人脸识别装置的结构框图；
图2是本发明实施例的基于改进残差神经网络的卷积神经网络人脸识别装置的系统流程图；
图3是本发明实施例人脸注册模块的注册动作流程图；以及
图4是本发明实施例人脸识别模块的识别动作流程图。
具体实施方式
本实施例的模型构建等均在Linux平台上实现，该平台具有至少一张图形处理单元GPU卡的支持。
以下结合附图以及实施例来说明本发明的具体实施方式。
<实施例>
图1是本发明的实施例的基于改进残差神经网络的卷积神经网络人脸识别装置的结构框图。
如图1所示，本发明的基于改进残差神经网络的便携式单兵人脸识别装置100，与远程服务器通信连接，用于对识别对象的人脸进行识别，包括画面存储部1、人脸判断部2、人脸检测部3、图像处理部4、特征提取部5、基准特征存储部6、图像采集部7、图像筛选部8、特征比对部9、余弦相似度比较判断部10、身份信息获取部11、画面生成部12、显示部13、识别数据生成部14、识别数据存储部15、数据传输部16以及控制部17。
画面存储部1存储有注册输入画面让多个识别对象分别输入其用作基准的人脸图像以及对应的身份信息。
人脸判断部2用于判断人脸图像中是否存在人脸。
人脸检测部3用于在人脸判断部2判断人脸图像中存在人脸后基于人脸检测算法对人脸图像进行检测得到人脸位置信息并基于该人脸位置信息检测得到多个人脸特征点位置信息。该人脸检测部3具有人脸位置检测单元以及人脸特征点位置检测单元。
人脸位置检测单元对人脸图像进行检测得到人脸位置信息。
人脸特征点位置检测单元基于该人脸位置信息对包括双眼中心、鼻头以及两侧嘴角的人脸特征点进行检测得到多个人脸特征点位置信息。
图像处理部4根据多个人脸特征点位置信息对人脸图像进行图像处理得到处理后人脸图像。图像处理部4包含对齐处理单元、尺寸统一单元以及中心裁剪单元。
对齐处理单元按照仿射变换矩阵根据多个人脸特征点位置信息对人脸图像进行处理得到对齐预处理后人脸图像。
尺寸统一单元对对齐预处理后人脸图像进行尺寸统一化处理得到尺寸统一化预处理后人脸图像。
中心裁剪单元对尺寸统一化预处理后人脸图像进行中心剪裁处理得到处理后人脸图像。
特征提取部5基于改进残差神经网络模型根据多个人脸特征点位置信息对处理后人脸图像进行人脸特征提取得到含有与多个人脸特征点位置信息分别相对应的多个人脸特征的人脸特征组。
其中，改进残差神经网络模型由依次连接的卷积单元、残差计算单元以及全连接单元构成，卷积单元包含第一卷积部件，残差计算单元具有第一残差计算部件、第二残差计算部件、第三残差计算部件以及第四残差计算部件，第一残差计算部件包含三个残差计算子部件，第二残差计算模块包含十三个残差计算子部件，第三残差计算模块包含十个残差计算子部件，第四残差计算模块包含三个残差计算子部件，全连接单元包含第一全连接部件。
基准特征存储部6在将特征提取部5提取得到每个识别对象的用作基准的人脸图像对应的人脸特征组后将该人脸特征组作为该识别对象的基准人脸特征组，每个基准人脸特征组的多个人脸特征作为该识别对象的多个基准人脸特征，并对每个基准人脸特征组赋予，进一步将该识别对象的身份信息、身份信息编号以及基准人脸特征组对应存储。
图像采集部7获得USB摄像头拍摄到的当前状态的识别对象的视频流并对其进行人脸图像采集以及矩阵变换，读取到一帧人脸图像。
图像筛选部8具有图像模糊指数计算单元以及模糊指数判断单元。
图像模糊指数计算单元按照拉普拉斯变换对处理后人脸图像进行分析得到图像模糊指数。
模糊指数判断单元将图像模糊指数与预定的模糊指数阈值进行比较，判断图像模糊指数是否小于等于模糊指数阈值。控制部17在图像模糊指数大于模糊指数阈值时，控制图像采集部对当前状态的识别对象重新进行人脸图像采集得到当前的人脸图像；在图像模糊指数小于等于模糊指数阈值时，控制特征提取部提取得到人脸特征组。在本实施例中，模糊指数阈值为85。
特征比对部9用于将人脸特征组与多个基准人脸特征组进行对比得到当前状态的识别对象的身份信息编号作为当前身份信息编号，包括基准特征读取单元、余弦相似度计算单元以及身份信息序号输出单元。基准特征读取单元读取基准特征存储部中的各个基准人脸特征组。
余弦相似度计算单元按照预定计算公式将人脸特征组与多个基准人脸特征组进行余弦相似度计算，得到多个余弦相似度。
身份信息序号输出单元将最高的余弦相似度作为最高余弦相似度输出并将该最高余弦相似度以及该最高余弦相似度对应的身份信息编号作为当前身份信息编号输出。
其中，预定计算公式见下式(1)：
xi为基准人脸特征组中的第i个基准人脸特征，yi为人脸特征组中的第i个人脸特征，n为基准人脸特征组中包含的基准人脸特征的数量。
余弦相似度比较判断部10把最高的余弦相似度作为最高余弦相似度与预定的相似度阈值进行比较，判断最高余弦相似度是否大于等于相似度阈值。
身份信息获取部11用于在最高余弦相似度大于等于相似度阈值时根据当前身份信息编号获取相对应的身份信息作为当前状态的识别对象的身份信息，并将该当前状态的识别对象的身份信息以及人脸图像进行打包。
画面生成部12用于在身份信息获取部获取得到当前状态的识别对象的身份信息时对打包后的身份信息以及人脸图像进行解包并生成包含有该身份信息和人脸图像的身份信息显示画面。
显示部13通过显示界面对上述画面进行显示。
识别数据生成部14用于在身份信息获取部获取身份信息后对该身份信息以及人脸图像进行数据转码生成二进制的识别数据。
识别数据存储部15用于对该识别数据进行储存。
数据传输部16基于HTTP协议将识别数据发送给远程服务器。
控制部17用于对基于改进残差神经网络的便携式单兵人脸识别装置100的各个构成部分的工作进行控制。
图2是本发明实施例的基于改进残差神经网络的卷积神经网络人脸识别装置的动作流程图。
如图2所示，本实施例的基于改进残差神经网络的卷积神经网络人脸识别装置100通过系统状态模块、人脸注册模块、人脸识别模块、识别结果同步模块、历史记录查询模块五个模块展开：
系统状态模块用于获取装置的电量、当前时间、蓝牙激活与连接状态和系统运行状态。
系统状态模块的所有功能使用一个单独的线程进行实现。需要检测的状态包括时间、装置电量、蓝牙激活情况、系统的运行状态。获取系统时间可以调用系统提供的接口，装置电量可以通过Linux系统提供的装置文件获取装置信息；蓝牙激活情况可以通过Linux系统提供的装置驱动文件获取蓝牙装置信息；系统的运行状态分为空闲、运行中和不可用三种状态，该模块将接收系统中的人脸识别模块发送的信号进行状态的检测。获得了装置和系统的运行信息后，通过发送消息的方式同步到系统的主线程，主线程根据信息更新界面的显示。
人脸注册模块通过画面存储部1、人脸判断部2、人脸检测部3、图像处理部4、特征提取部5、基准特征存储部6以及显示部13根据多个识别对象提供的用作基准的人脸图像和对应的身份信息，进行特征提取，生成由基准特征存储部6构成的基准人脸特征底库。
人脸注册模块运行在一个独立的进程中。以下将结合附图3对人脸注册过程进行说明。
图3是本发明实施例人脸注册模块的注册动作流程图。
如图3所示，本实施例的注册动作流程包括以下步骤：
步骤S1-1，人脸检测部3加载人脸检测算法模型、特征提取部5加载改进残差神经网络模型，然后进入步骤S1-2。
步骤S1-2，显示部13显示注册输入画面，然后进入步骤S1-3。
步骤S1-3，在识别对象输入其用作基准的人脸图像以及对应的身份信息后，人脸判断部2判断该人脸图像中是否存在人脸，当判断为是时进入步骤然后进入步骤S1-4，否则进入步骤S1-2。
步骤S1-4，人脸检测部3基于人脸检测模型对人脸图像进行检测得到人脸位置信息以及多个人脸特征点位置信息，并在显示部13显示的人脸位置处输出截取方框，然后进入步骤S1-5。
步骤S1-5，图像处理部4根据多个人脸特征点位置信息对人脸图像进行图像处理得到处理后人脸图像，然后进入步骤S1-6。
步骤S1-6，特征提取部5基于改进残差神经网络模型根据多个人脸特征点位置信息对处理后人脸图像进行人脸特征提取得到含有与多个人脸特征点位置信息分别相对应的多个人脸特征的人脸特征组，然后进入步骤S1-7。
步骤S1-7，基准特征存储部6将多个人脸特征作为该识别对象的多个基准人脸特征，人脸特征组作为该识别对象的基准人脸特征组，并对该基准人脸特征组赋予身份信息编号，进一步将该识别对象的身份信息、身份信息编号以及基准人脸特征组编号对应存储，从而形成key-value对。
在本实施例中，当用户在步骤S1-2输入的图片中不存在人脸或人脸检测算法的结果为空时，会记录无法提取特征的图片，在注册结束时打印这些人脸图像的信息。
此外，人脸注册模块对多个识别对象的用作基准的图像分别进行上述动作流程，从而得到多个识别对象的基准人脸特征底库。
人脸识别模块用于对当前状态的人脸进行识别得到最终识别结果，主要通过图像采集部7、人脸判断部2、人脸检测部3、图像处理部4、特征提取部5、基准特征存储部6、图像筛选部8、特征比对部9、余弦相似度比较判断部10、身份信息获取部11、画面生成部12以及显示部13实现识别动作。
人脸识别模块运行在一个独立的线程中，该线程获取主线程更新的人脸图像，调用人脸检测、特征提取和特征比对算法，得到与实时人脸的特征余弦距离最近的基准人脸特征，根据基准人脸特征底库获取身份信息。该模块依赖于通过人脸注册模块获得的基准人脸特征底库。在获得了身份信息后，该模块所在线程会给主线发送识别结果的信息，主线程会通过画面生成部12以及显示部13更新显示信息。
以下结合附图对人脸识别的动作流程进行说明。
图4是本发明实施例人脸识别模块的识别动作流程图。
如图4所示，本实施例的识别动作流程包括以下步骤：
步骤S2-1，人脸检测部3加载人脸检测算法模型、特征提取部5加载改进残差神经网络模型、基准特征存储部加载基准人脸特征底库，然后进入步骤S2-2。
步骤S2-2，图像采集部7获得摄像头视频流并读取一帧人脸图像，然后进入步骤S2-3。
步骤S2-3，人脸判断部2判断该人脸图像中是否存在人脸，当判断为是时进入步骤然后进入步骤S2-4，否则进入步骤S2-2。
步骤S2-4，人脸检测部3基于人脸检测模型对人脸图像进行检测得到人脸位置信息以及多个人脸特征点位置信息，并在显示部13显示的人脸位置处输出截取方框，然后进入步骤S2-5。
步骤S2-5，图像处理部4通过截取方框根据多个人脸特征点位置信息对人脸图像进行人脸截取以及图像处理得到处理后人脸图像，然后进入步骤S2-6。
步骤S2-6，图像筛选部8计算得到该处理后人脸图像的图像模糊指数，并判断该图像模糊指数是否大于模糊指数阈值，当判断为是时，进入步骤S2-7，否则进入步骤S2-2。
步骤S2-7，特征提取部5基于改进残差神经网络模型根据多个人脸特征点位置信息对处理后人脸图像进行人脸特征提取得到人脸特征组，然后进入步骤S2-8。
步骤S2-8，特征比对部9将该人脸特征组与多个基准人脸特征组进行对比得到最高的余弦相似度以及当前身份信息编号，然后进入步骤S2-9。
步骤S2-9，余弦相似度比较判断部10把最高的余弦相似度作为最高余弦相似度与预定的相似度阈值进行比较，判断最高余弦相似度是否大于等于相似度阈值，当判断为是时进入步骤步骤S2-10，否则进入步骤S2-2。
步骤S2-10，身份信息获取部11根据当前身份信息编号获取相对应的身份信息作为当前状态的识别对象的身份信息，然后进入步骤S2-11,
步骤S2-11,将该身份信息以及人脸图像发送到识别结果同步模块，然后进入步骤S2-12。
步骤S2-12，将该身份信息以及人脸图像发送到主线程，然后进入步骤S2-13。
步骤S2-13，将该身份信息以及人脸图像发送到历史记录模块，然后进入步骤S2-2。
在本实施例中，步骤S2-1的人脸检测模型获取对实时视频流中的帧进行人脸位置和特征点位置的检测，改进残差神经网络模型用于获取人脸特征组，基准人脸特征底库的数据用于找到与实时检测到的人脸特征组最接近的基准人脸特征组。
识别结果同步模块，通过识别数据生成部14以及数据传输部16将人脸识别模块识别的正确结果转化为二进制六并通过Http协议发送到远程服务器从而实现数据持久化，利于日后记录查询。
历史记录查询模块通过识别数据生成部14以及识别数据存储部15对人力识别模块的识别结果进行临时的保存，用户可以实时查询到10次的查询结果。
该模块运行在主线程，使得用户随时查看程序运行过程中识别命中结果的功能。该模块接收人脸识别模块在识别命中时的结果，并保存在缓存中，当用户点击查看结果时即可查看历史识别命中的结果，每个结果中包括人脸图像和身份信息。
实施例作用与效果
根据本实施例提供的基于改进残差神经网络的便携式单兵人脸识别装置，由于具有基准特征存储部、图像采集部、人脸检测部、图像处理部、特征提取部、特征比对部以及身份信息获取部，能够采集人脸图像、并对人脸图像进行检测和处理，在进行人脸特征提取得到人脸特征组，并进一步将该人脸特征组与多个基准人脸特征组比对从而得到识别对象的身份信息，由于整个识别流程都是在本实施例的识别装置中完成，不需要通过网络，因此节约了网络传输带来的时间成本，使得整个装置即使在网络环境不好的地点仍能够顺利的运转。同时，尽管受限于设备的存储方面原因的限制，但是本实施例仍然可以支持约五万个体的快速识别。由于硬件上搭载了图形处理单元GPU进行计算加速，因此在实际使用过程中，识别一张人脸图片的时间大约在0.2秒左右。
而且，本实施例用的是改进改进残差神经网络，其具有1个卷积层、1个残差层以及1个全连接层，能够在离线条件下完成人脸识别，不受网络限制，且识别速度快。
此外，因为具有图像筛选部能够计算人脸图像的图像模糊指数，并将该图像模糊指数与模糊指数阈值进行比较，当图像模糊指数较高时，就重新采集人脸图像，从而实现了对人脸图像的筛选，进而提高了人脸识别率。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (9)
1.一种基于改进残差神经网络的便携式单兵人脸识别装置，用于对识别对象的人脸进行识别，其特征在于，包括：
基准特征存储部，存储有多个识别对象的身份信息、与多个所述识别对象分别相对应的多个身份信息编号以及与多个所述身份信息编号分别相对应的多个基准人脸特征组，每个所述基准人脸特征组包括对应的所述识别对象的多个基准人脸特征；
图像采集部，对当前状态的所述识别对象进行人脸图像采集得到人脸图像；
人脸检测部，对所述人脸图像进行检测得到人脸位置信息并基于该人脸位置信息检测得到与多个所述基准人脸特征分别相对应的多个人脸特征点位置信息；
图像处理部，根据多个所述人脸特征点位置信息对所述人脸图像进行图像处理得到处理后人脸图像；
特征提取部，基于改进残差神经网络模型根据多个所述人脸特征点位置信息对所述处理后人脸图像进行人脸特征提取得到含有与多个所述人脸特征点位置信息分别相对应的多个人脸特征的人脸特征组；
特征比对部，将所述人脸特征组与多个所述基准人脸特征组进行对比得到当前状态的所述识别对象的所述身份信息编号作为当前身份信息编号；以及
身份信息获取部，根据所述当前身份信息编号获取相对应的所述身份信息作为当前状态的所述识别对象的所述身份信息，
其中，所述图像采集部包括用于拍摄所述识别对象的视频流的USB摄像头，所述图像采集部对所述视频流进行人脸图像采集以及矩阵变换得到所述人脸图像，
所述特征比对部包括基准特征读取单元、余弦相似度计算单元以及身份信息序号输出单元，
所述基准特征读取单元读取所述基准特征存储部中的各个所述基准人脸特征组，
所述余弦相似度计算单元按照预定计算公式将所述人脸特征组与多个所述基准人脸特征组进行余弦相似度计算，得到多个余弦相似度，
所述身份信息序号输出单元将最高的所述余弦相似度作为最高余弦相似度输出并将该最高余弦相似度对应的所述身份信息编号作为所述当前身份信息编号输出，
基准特征存储部中基准人脸特征的生成过程包括以下步骤：
步骤S1-1，人脸检测部加载人脸检测算法模型、特征提取部加载改进残差神经网络模型；
步骤S1-2，显示部显示注册输入画面；
步骤S1-3，在识别对象输入其用作基准的人脸图像以及对应的身份信息后，人脸判断部判断该人脸图像中是否存在人脸，当判断为是时进入步骤然后进入步骤S1-4，否则进入步骤S1-2；
步骤S1-4，人脸检测部基于人脸检测模型对人脸图像进行检测得到人脸位置信息以及多个人脸特征点位置信息，并在显示部显示的人脸位置处输出截取方框；
步骤S1-5，图像处理部根据多个人脸特征点位置信息对人脸图像进行图像处理得到处理后人脸图像；
步骤S1-6，特征提取部基于改进残差神经网络模型根据多个人脸特征点位置信息对处理后人脸图像进行人脸特征提取得到含有与多个人脸特征点位置信息分别相对应的多个人脸特征的人脸特征组；
步骤S1-7，基准特征存储部将多个人脸特征作为该识别对象的多个基准人脸特征，人脸特征组作为该识别对象的基准人脸特征组，并对该基准人脸特征组赋予身份信息编号，进一步将该识别对象的身份信息、身份信息编号以及基准人脸特征组编号对应存储，从而形成key-value对。
2.根据权利要求1所述的基于改进残差神经网络的便携式单兵人脸识别装置，其特征在于:
其中，所述改进残差神经网络模型由依次连接的卷积单元、残差计算单元以及全连接单元构成，
所述卷积单元包含第一卷积部件，
所述残差计算单元具有第一残差计算部件、第二残差计算部件、第三残差计算部件以及第四残差计算部件，
所述第一残差计算部件包含三个残差计算子部件，
所述第二残差计算模块包含十三个残差计算子部件，
所述第三残差计算模块包含十个残差计算子部件，
所述第四残差计算模块包含三个残差计算子部件，
所述全连接单元包含第一全连接部件。
3.根据权利要求1所述的基于改进残差神经网络的便携式单兵人脸识别装置，其特征在于，还包括：
图像筛选部以及控制部，
其中，所述图像筛选部具有图像模糊指数计算单元以及模糊指数判断单元，
所述图像模糊指数计算单元按照拉普拉斯变换对所述处理后人脸图像进行分析得到图像模糊指数，
所述模糊指数判断单元将所述图像模糊指数与预定的模糊指数阈值进行比较，判断所述图像模糊指数是否小于等于所述模糊指数阈值，
当所述图像模糊指数小于等于所述模糊指数阈值时，所述控制部控制所述特征提取部对所述处理后人脸图像进行人脸特征提取得到所述人脸特征组，
当所述图像模糊指数大于所述模糊指数阈值时，所述控制部控制所述图像采集部对当前状态的所述识别对象重新进行人脸图像采集得到当前的人脸图像。
4.根据权利要求1所述的基于改进残差神经网络的便携式单兵人脸识别装置，其特征在于:
其中，所述人脸检测部具有人脸位置检测单元以及人脸特征点位置检测单元，
所述人脸位置检测单元对所述人脸图像中进行检测得到所述人脸位置信息，
所述人脸特征点位置检测单元基于该人脸位置信息对包括双眼中心、鼻头以及两侧嘴角的人脸特征点进行检测得到与多个所述基准人脸特征分别相对应的多个所述人脸特征点位置信息。
5.根据权利要求1所述的基于改进残差神经网络的便携式单兵人脸识别装置，其特征在于：
其中，所述图像处理部包含对齐处理单元、尺寸统一单元以及中心裁剪单元，
所述对齐处理单元按照仿射变换矩阵根据多个所述人脸特征点位置信息对所述人脸图像进行处理得到对齐预处理后人脸图像，
所述尺寸统一单元对所述对齐预处理后人脸图像进行尺寸统一化处理得到尺寸统一化预处理后人脸图像；
所述中心裁剪单元对所述尺寸统一化预处理后人脸图像进行中心剪裁处理得到所述处理后人脸图像。
6.根据权利要求1所述的基于改进残差神经网络的便携式单兵人脸识别装置，其特征在于：
其中，所述预定计算公式见下式(1)：
所述xi为所述基准人脸特征组中的第i个所述基准人脸特征，
所述yi为所述人脸特征组中的第i个所述人脸特征，
所述n为所述基准人脸特征组中包含的所述基准人脸特征的数量。
7.根据权利要求1所述的基于改进残差神经网络的便携式单兵人脸识别装置，其特征在于，还包括：
画面生成部以及显示部，
其中，一旦所述身份信息获取部获取得到当前状态的所述识别对象的所述身份信息，所述画面生成部就生成包含有该身份信息和所述人脸图像的身份信息显示画面，
所述显示部显示对应的所述身份信息显示画面。
8.根据权利要求1所述的基于改进残差神经网络的便携式单兵人脸识别装置，其特征在于，还包括：
识别数据生成部以及识别数据存储部，
其中，一旦所述身份信息获取部判定得到当前状态的所述识别对象的身份信息，所述识别数据生成部就对该身份信息以及所述人脸图像进行数据转码处理生成识别数据，
所述识别数据存储部对该识别数据进行储存。
9.根据权利要求8所述的基于改进残差神经网络的便携式单兵人脸识别装置，其特征在于，该便携式单兵人脸识别装置与远程服务器通信连接，还包括：
数据传输部，基于HTTP协议将所述识别数据发送给所述远程服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910092599.9A CN110991211B (zh) | 2019-01-30 | 2019-01-30 | 基于改进残差神经网络的便携式单兵人脸识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910092599.9A CN110991211B (zh) | 2019-01-30 | 2019-01-30 | 基于改进残差神经网络的便携式单兵人脸识别装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110991211A CN110991211A (zh) | 2020-04-10 |
| CN110991211B true CN110991211B (zh) | 2024-03-19 |
Family
ID=70081576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910092599.9A Active CN110991211B (zh) | 2019-01-30 | 2019-01-30 | 基于改进残差神经网络的便携式单兵人脸识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991211B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516002A (zh) * | 2021-03-05 | 2021-10-19 | 武汉特斯联智能工程有限公司 | 应用智慧社区的基于人脸识别模型的人脸识别方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897307A (zh) * | 2015-12-21 | 2017-06-27 | 李凡 | 一种在移动终端上取得电子身份证件的方法 |
| CN108268864A (zh) * | 2018-02-24 | 2018-07-10 | 达闼科技（北京）有限公司 | 人脸识别方法、系统、电子设备和计算机程序产品 |
| CN108596143A (zh) * | 2018-05-03 | 2018-09-28 | 复旦大学 | 基于残差量化卷积神经网络的人脸识别方法及装置 |
-
2019
- 2019-01-30 CN CN201910092599.9A patent/CN110991211B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897307A (zh) * | 2015-12-21 | 2017-06-27 | 李凡 | 一种在移动终端上取得电子身份证件的方法 |
| CN108268864A (zh) * | 2018-02-24 | 2018-07-10 | 达闼科技（北京）有限公司 | 人脸识别方法、系统、电子设备和计算机程序产品 |
| CN108596143A (zh) * | 2018-05-03 | 2018-09-28 | 复旦大学 | 基于残差量化卷积神经网络的人脸识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110991211A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609383B (zh) | 3d人脸身份认证方法与装置 | |
| CN107748869B (zh) | 3d人脸身份认证方法与装置 | |
| CN107633165B (zh) | 3d人脸身份认证方法与装置 | |
| CN107122744B (zh) | 一种基于人脸识别的活体检测系统及方法 | |
| JP3469031B2 (ja) | 顔画像登録装置及びその方法 | |
| KR101887637B1 (ko) | 로봇 시스템 | |
| CN111242097A (zh) | 一种人脸识别方法、装置、计算机可读介质及电子设备 | |
| CN106471440A (zh) | 基于高效森林感测的眼睛跟踪 | |
| US10915739B2 (en) | Face recognition device, face recognition method, and computer readable storage medium | |
| CN109858375A (zh) | 活体人脸检测方法、终端及计算机可读存储介质 | |
| CN112507889A (zh) | 一种校验证件与持证人的方法及系统 | |
| WO2020190397A1 (en) | Authentication verification using soft biometric traits | |
| CN108446687B (zh) | 一种基于移动端和后台互联的自适应人脸视觉认证方法 | |
| CN112528902A (zh) | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 | |
| KR102146552B1 (ko) | 비대면 본인 인증 시스템 | |
| CN111199029B (zh) | 人脸识别装置以及人脸识别方法 | |
| CN115035546B (zh) | 三维人体姿态检测方法、装置及电子设备 | |
| CN110991211B (zh) | 基于改进残差神经网络的便携式单兵人脸识别装置 | |
| CN111783674A (zh) | 一种基于ar眼镜的人脸识别方法和系统 | |
| Ma et al. | Multi-perspective dynamic features for cross-database face presentation attack detection | |
| CN114140839B (zh) | 用于人脸识别的图像发送方法、装置、设备及存储介质 | |
| CN112149517A (zh) | 一种人脸考勤方法、系统、计算机设备及存储介质 | |
| Li et al. | CAS-AIR-3D face: A low-quality, multi-modal and multi-pose 3D face database | |
| WO2022222957A1 (zh) | 一种目标识别的方法和系统 | |
| CN114898447A (zh) | 一种基于自注意力机制的个性化注视点检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |