CN113192240A - 一种基于深度学习的识别模组的识别方法、设备以及介质 - Google Patents
一种基于深度学习的识别模组的识别方法、设备以及介质 Download PDFInfo
- Publication number
- CN113192240A CN113192240A CN202110272142.3A CN202110272142A CN113192240A CN 113192240 A CN113192240 A CN 113192240A CN 202110272142 A CN202110272142 A CN 202110272142A CN 113192240 A CN113192240 A CN 113192240A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- feature
- deep learning
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013135 deep learning Methods 0.000 title claims abstract description 53
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 4
- 230000000996 additive effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000036544 posture Effects 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明涉及人脸识别技术领域，尤其涉及一种基于深度学习的识别模组的识别方法、设备以及介质，所述方法包括：获取摄像机采集的位于摄像机前面的图像或者视频；对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；提取所述人脸中的第一特征；提取人脸数据库中的人脸的第二特征；将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；根据识别结果控制门锁打开或者提示认证失败。本发明提供的技术方案，能够提供识别速度较快，并且具有深度学习功能从而能够从多个姿势以及角度均能识别到同一业主，识别结果稳定。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于深度学习的识别模组的识别方法、设备以及介质。
背景技术
现有的识别模组在使用时有些具有基于机器学习的功能，但是大多数还是没有基于深度学习的功能，这样会导致识别速度较慢。并且测量姿势较为单一，导致同一业主在不同角度识别时会出现识别结果刚好相反的情况，给业主带来了极大的不便。
因此，亟需一种识别速度较快，具有深度学习功能，从而从多个姿势、角度均能识别出同一业主，同时具有识别结果稳定的基于深度学习识别模组的识别方法、设备以及介质，从而解决现有的识别模组在使用时大多数还是没有基于深度学习的功能，导致识别速度较慢，并且测量姿势较为单一导致同一业主在不同角度识别时会出现识别结果刚好相反的情况，给业主带来了极大不便的问题。
发明内容
本发明的主要目的在于提供识别速度较快，并且具有深度学习功能从而能够从多个姿势以及角度均能识别出同一业主，识别结果稳定的基于深度学习识别模组的识别方法、设备以及介质。
为实现上述目的，本发明第一方面提供了一种基于深度学习识别模组的识别方法，所述方法包括：
获取摄像机采集的位于摄像机前面的图像或者视频；
对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；
提取所述人脸中的第一特征；
提取人脸数据库中的人脸的第二特征；
将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；
根据识别结果控制门锁打开或者提示认证失败。
作为一种改进，所述方法还包括：
对所述基于深度学习的算法进行训练，所述训练包括向前传播和向后传播两个阶段；
向前传播阶段：
获取所有样本，从所有样本中取其中一个(X，Yp)，并将X视为输入网络；
通过输入信息计算输出Op；
输入信息经过六次转换传递到输出中；且在传递过程中，六层中每一层的权值矩阵与输入信息相点乘，从而获得输出的结果Op，具体通过式1-1得到；
Op＝Fn(…(F2(F1(Xp W(1))W(2))…)W(n)) (1-1)
向后传播阶段：
通过输入输出的值，计算输入值和输出值之间的实际误差值；
利用反向传播方法调整权矩阵，直至误差达到最小。
作为一种改进，所述方法还包括计算卷积层的梯度；所述计算卷积层的梯度包括：
通过对前一层的输入特征进行卷积运算，得到一个输出的特征图，所述输出的特征图与多个输入图与之相关联通过公式(1-2)表示:
其中,
表示在第l层的第j个输出；MJ表示第l层输入特征图的一个集合；b为在每个输出的特征图中都给定了一个偏差值。
作为一种改进，所述方法还包括：
将l+1层的误差信号图进行升采样使得其和卷积层大小一致；
对升采样后的误差信号图与第l层“激活函数偏导图”执行基于元素的乘法，并通过公式(1-3)将对应卷积层中与之对应的每个图j和降采样层对应起来；
up(o)表示升采样操作，通过Kronecker积进行升采样操作。
作为一种改进，通过公式(1-4)计算降采样层的梯度得到降采样后的输入图的结果；
其中，down(*)为降采样函数；利用降采样函数对每一个输入图中不同的 n*n区域求和，使得最终输出图相对于输入图在维度上小n倍，并且，每个输出图都有自己的附加偏差b和乘子偏差。
作为一种改进，所述提取所述人脸中的第一特征，具体包括：
截取人脸部分图像，同时经过归一化处理，得到一幅256x256像素大小的人脸图像。
作为一种改进，所述方法还包括对比度归一化处理，所述对比度归一化处理包括：
图像的调整；
直方图均衡化；
自适应直方图均衡化；
对比度正规化：将归一化后的图像转换到RGB彩色空间。
作为一种改进，获取UMIST库中的人脸图像的姿态、表情，所述表情包括微笑、哀伤、张嘴、带眼镜。
本发明第二方面公开了一种基于深度学习的识别模组的识别设备，所述设备包括：
获取模块：用于获取摄像机采集的位于摄像机前面的图像或者视频；
预处理模块：用于对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；
第一提取模块：用于提取所述人脸中的第一特征；
第二提取模块：用于提取人脸数据库中的人脸的第二特征；
识别模块：用于将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；
控制模块：用于根据识别结果控制门锁打开或者提示认证失败。
本发明第三方面公开了一种存储介质，所述存储介质存储有可执行程序，所述可执行程序被执行时，实现上述基于深度学习的识别模组的识别方法。
本发明提供的技术方案，具有以下优点：
获取摄像机采集的位于摄像机前面的图像或者视频；对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；提取所述人脸中的第一特征；提取人脸数据库中的人脸的第二特征；将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；根据识别结果控制门锁打开或者提示认证失败。能够提供识别速度较快，并且具有深度学习功能从而能够从多个姿势以及角度均能识别到同一业主，识别结果稳定。
附图说明
图1为本发明提供的一实施例提供的一种基于深度学习的识别模组的识别方法的流程示意图。
图2为本发明提供的另一实施例提供的一种基于深度学习的识别模组的识别方法的场景示意图。
图3为本发明提供的一实施例提供的一种基于深度学习的识别模组的识别设备的结构示意图。
图4为本申请另一实施例提供的服务器的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参看图1和2，本发明的一方面提供了一种基于深度学习的识别模组的识别方法，应用于人脸识别门禁终端和小区服务器以及智能门锁等，所述方法包括：
步骤S10：获取摄像机采集的位于摄像机前面的图像或者视频。具体地，门禁终端内部嵌有网络摄像机，负责对进入小区的人员进行实时的信息采集，并且实时录像，通过交换机网络与小区服务器相连，门禁终端实时采集视频，并且传递给后端人脸身份鉴权的小区服务器，由小区服务器来实时检测人脸信息并做识别工作，并把识别结果反馈给门禁终端做开门动作。此外，门禁终端还支持刷IC卡出入，以及外来人员通过呼叫房号，与业主家庭终端进行可视对讲，并可以通过家庭终端开启小区大门。
步骤S20：对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸。从摄像头采集到的每一幅原始图像，通过人脸检测后，截取人脸部分图像，同时经过归一化处理，得到一幅256x256像素大小的人脸图像。同时，为了加快训练算法的收敛速度，还采取了一些图像处理方法，包括：图像去噪、图像降维等手段。为了使得神经网络卷积层可以提取到图像的更显著的特征，在提高图像对比度上，可以采用了以下四个步骤进行对比度归一化处理。1)图像的调整；通过将图像的RGB三个彩色空间的像素映射到另一个值上，并使1％的数据在高低强度像素空间是饱和的，从而增加图像的对比度。2)直方图均衡化；使用直方图均衡化的方法来增强图像的全局对比度，特别是当人脸图像的像素值对比度比较接近的时候，这使得局部对比度低的区域可以获得一个更高的对比度。直方图均衡化是通过将出现最多的像素强度线性扩展而完成的。3)自适应直方图均衡化；自适应直方图均衡化是计算机图像处理技术用于提高图像对比度的一个方法，它与普通直方图均衡技术不同，它通过自适应方法来计算几个直方图，每个对应一个不同的部分图像，并利用它们来重新分布图像的亮度值。因此，自适应直方图均衡化适用于改善图像的局部对比度，使图像可以展示更多的细节部分。4)对比度正规化；以上三种的归一化方法都是在RGB彩色空间进行的，在对比度正规化中，我们需要将图像像素强度作为颜色空间的一部分，为此，我们将RGB彩色空间图像转换到Lab彩色空间进行全局归一化和局部归一化处理。全局归一化中，将图像像素向图像均值收敛，然后进行局部归一化，通过高斯差分滤波增强图像的边缘信息，最后将归一化后的图像转换到RGB彩色空间。
步骤S30：提取所述人脸中的第一特征。通过人脸识别算法提取人脸中的眉毛、眼睛、鼻子、嘴、脸型等外貌的第一特征。
步骤S40：提取人脸数据库中的人脸的第二特征。
获取UMIST库中的人脸图像的姿态、表情，所述表情包括微笑、哀伤、张嘴、带眼镜；通过人脸识别算法提取UMIST库中的人脸图像中的眉毛、眼睛、鼻子、嘴、脸型等外貌的第一特征。
步骤S50：将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果。
步骤S51：首先对所述基于深度学习的算法进行训练，所述训练包括向前传播和向后传播两个阶段；
步骤S501：向前传播阶段：
获取所有样本，从所有样本中取其中一个(X，Yp)，并将X视为输入网络；
通过输入信息计算输出Op；
输入信息经过六次转换传递到输出中；且在传递过程中，六层中每一层的权值矩阵与输入信息相点乘，从而获得输出的结果Op，具体通过式1-1得到；
Op＝Fn(…(F2(F1(Xp W(1))W(2))…)W(n)) (1-1)
步骤S502：向后传播阶段：
通过输入输出的值，计算输入值和输出值之间的实际误差值；
利用反向传播方法调整权矩阵，直至误差达到最小。
步骤S52：所述训练方法还包括计算卷积层的梯度；所述计算卷积层的梯度包括：
通过对前一层的输入特征进行卷积运算，得到一个输出的特征图，所述输出的特征图与多个输入图与之相关联通过公式(1-2)表示:
其中,
表示在第l层的第j个输出；MJ表示第l层输入特征图的一个集合；b为在每个输出的特征图中都给定了一个偏差值。
将l+1层的误差信号图进行升采样使得其和卷积层大小一致；
对升采样后的误差信号图与第l层“激活函数偏导图”执行基于元素的乘法，并通过公式(1-3)将对应卷积层中与之对应的每个图j和降采样层对应起来；
up(o)表示升采样操作，通过Kronecker积进行升采样操作。
步骤S53：通过公式(1-4)计算降采样层的梯度得到降采样后的输入图的结果；
其中，down(*)为降采样函数；利用降采样函数对每一个输入图中不同的 n*n区域求和，使得最终输出图相对于输入图在维度上小n倍，并且，每个输出图都有自己的附加偏差b和乘子偏差。
步骤S54：所述训练方法还包括权值共享；所述权值共享包括以下步骤，在卷积神经网的同一个卷积核内，其所有的神经元的权值是相同的，因此，卷积神经网络只需要较少的参数，从而大大减少需要训练的数据。举个例子来说，假设一张输入图片，其大小为W*H，如果使用全连接网络，生成一张X*Y 的feature map，它需要W*H*X*Y个参数，如果原图长宽是102级别的，而且XY大小和WH差不多的话，那么这样一层网络需要的参数个数是 108～1012级别。这么多参数，对于计算机运算来说，肯定是不行的，那么我们就想办法减少参数的个数对于输出层feature map上的每一个像素，他与原图片的每一个像素都有连接，每一个链接都需要一个参数。但是对于图像来说，一般都是局部相关的，那么如果输出层的每一个像素只和输入层图片的一个局部相连，那么需要参数的个数就会大大减少。假设输出层每个像素只与输入图片上F*F的一个小方块有连接，也就是说输出层的这个像素值，只是通过原图的这个F*F的小方形中的像素值计算而来，那么对于输出层的每个像素，需要的参数个数就从原来的W*H减小到了F*F。另外，如果原图片的每一个小方块都需要计算这样一个输出值，那么需要的参数只是W*H*F*F，如果原图长宽是102级别，而F在10以内的话，那么需要的参数的个数只有105～106级别，相比于原来的参数就会小很多。
卷积神经网络是一种分层的神经网络，其由卷积层和子采样层构成，卷积神经网络不同模型之间的区别就在于卷积层和子采样层的实现方式以及训练方式。
步骤S55：所述训练方法还包括卷积层的构建：卷积层通过局部连接和权值共享的方法，模拟具有局部感受野的简单细胞，提取一些初级视觉特征的过程，卷积操作的优点就是可以增强原信号特征，增强对原信号位移、形变之后的识别能力，并且有效降低噪音等。构成卷积层的参数主要有：输入图像以及特征图像的数量，图像的大小，每一层图像有相同的尺寸(xM，yM)；卷积核的尺寸大小(xK，yK)，其中每一个尺寸为(xK，yK)的卷积核作用于输入图像的有效区域；跳过因子(xS，yS)定义了有多少像素在x， y方向被卷积核跳过。经过卷积层特征提取后，得到的输出图像尺寸。
步骤S56：所述训练方法还包括采样层的构建：池化层模拟复杂细胞是将初级的视觉特征筛选并结合成更高级、抽象的视觉特征的过程，在网络中通过采样实现，经过池化层的采样后，输出特征图的数量不变，但是特征图的尺寸会变小，有减小计算复杂度、抵抗微小位移变化的作用。可以使用了最大池采样层来代替子采样层。在卷积神经网络的实现中，这些层被池抽样和均化操作取代，相邻的像素在卷积时被跳过，以达到降采样的目的。最大池采样层的输出是由尺寸为(xK，yK)大小的非重叠矩阵取最大值得到的。最大池采样提供了局部位移不变性，通过(xK，yK)因子对输入图像的每一个方向进行降采样。池化层采用做大值采样，采样大小为2x2，即把输入的特征图分割成不重叠的2x2大小的矩形，对每个矩形取最大值，所以输出特征图的长和宽均是输入特征图的一半，本文定义池化层中的神经元不具备学习功能。
步骤S57：所述训练方法还包括分类层的构建：选择卷积滤波器的卷积核尺寸，最大池采样矩阵和跳过因子，将最后一层卷积层的输出图像降采样到一个像素，一个全连接层将最后一个卷积层的输出结合为一个一维的特征矩阵。在分类中，最后一层一般是由一个全连接层将每一个像素图像和输出层的每一种可能的分类相连接。使用softmax回归作为最后一层的激励函数，每一个神经元的输出代表分类结果的可能性。基于深度学习的识别模组的识别方法训练完成。
步骤S58：将训练完成的基于深度学习的识别模组的识别方法对所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；所述识别结果包括用于表示相似度大于预设值得第一识别结果和用于表示识别失败的第二识别结果。
步骤S60：根据识别结果控制门锁打开或者提示认证失败。
步骤S61：当所述识别结果为第一识别结果时，控制门锁打开。
步骤S62：当所述识别结果为第二识别结果时，提示认证失败。
本发明提供的技术方案，具有以下优点：
获取摄像机采集的位于摄像机前面的图像或者视频；对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；提取所述人脸中的第一特征；提取人脸数据库中的人脸的第二特征；将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；根据识别结果控制门锁打开或者提示认证失败。能够提供识别速度较快，并且具有深度学习功能从而能够从多个姿势以及角度均能识别到同一业主，识别结果稳定。
请参看图3，本发明第二方面提供了一种基于深度学习的识别模组的识别设备，所述设备包括：
获取模块10：用于获取摄像机采集的位于摄像机前面的图像或者视频；
预处理模块20：用于对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；
第一提取模块30：用于提取所述人脸中的第一特征；
第二提取模块40：用于提取人脸数据库中的人脸的第二特征；
识别模块50：用于将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；
控制模块60：用于根据识别结果控制门锁打开或者提示认证失败。
请参阅图4，本申请还提供一种服务器30，服务器30包括存储器301以及处理器302，其中，存储器301与所述处理器302通过总线303电连接。
其中，存储器301至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器301在一些实施例中可以是服务器30的内部存储单元，例如该服务器30的硬盘。存储器301在另一些实施例中也可以是服务器30的外部存储设备，例如服务器30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。存储器301不仅可以用于存储安装于车载设备的应用软件及各类数据，例如计算机可读程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据，也即该第一存储器可以作为存储介质，存储介质存储有计算机可执行的车辆出行预约程序。
处理器302在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，处理器302可调用存储器301中存储的车辆出行预约程序，以实现如下步骤：
步骤S10：获取摄像机采集的位于摄像机前面的图像或者视频。具体地，门禁终端内部嵌有网络摄像机，负责对进入小区的人员进行实时的信息采集，并且实时录像，通过交换机网络与小区服务器相连，门禁终端实时采集视频，并且传递给后端人脸身份鉴权的小区服务器，由小区服务器来实时检测人脸信息并做识别工作，并把识别结果反馈给门禁终端做开门动作。此外，门禁终端还支持刷IC卡出入，以及外来人员通过呼叫房号，与业主家庭终端进行可视对讲，并可以通过家庭终端开启小区大门。
步骤S20：对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸。从摄像头采集到的每一幅原始图像，通过人脸检测后，截取人脸部分图像，同时经过归一化处理，得到一幅256x256像素大小的人脸图像。同时，为了加快训练算法的收敛速度，还采取了一些图像处理方法，包括：图像去噪、图像降维等手段。为了使得神经网络卷积层可以提取到图像的更显著的特征，在提高图像对比度上，可以采用了以下四个步骤进行对比度归一化处理。1)图像的调整；通过将图像的RGB三个彩色空间的像素映射到另一个值上，并使1％的数据在高低强度像素空间是饱和的，从而增加图像的对比度。2)直方图均衡化；使用直方图均衡化的方法来增强图像的全局对比度，特别是当人脸图像的像素值对比度比较接近的时候，这使得局部对比度低的区域可以获得一个更高的对比度。直方图均衡化是通过将出现最多的像素强度线性扩展而完成的。3)自适应直方图均衡化；自适应直方图均衡化是计算机图像处理技术用于提高图像对比度的一个方法，它与普通直方图均衡技术不同，它通过自适应方法来计算几个直方图，每个对应一个不同的部分图像，并利用它们来重新分布图像的亮度值。因此，自适应直方图均衡化适用于改善图像的局部对比度，使图像可以展示更多的细节部分。4)对比度正规化；以上三种的归一化方法都是在RGB彩色空间进行的，在对比度正规化中，我们需要将图像像素强度作为颜色空间的一部分，为此，我们将RGB彩色空间图像转换到Lab彩色空间进行全局归一化和局部归一化处理。全局归一化中，将图像像素向图像均值收敛，然后进行局部归一化，通过高斯差分滤波增强图像的边缘信息，最后将归一化后的图像转换到RGB彩色空间。
步骤S30：提取所述人脸中的第一特征。通过人脸识别算法提取人脸中的眉毛、眼睛、鼻子、嘴、脸型等外貌的第一特征。
步骤S40：提取人脸数据库中的人脸的第二特征。
获取UMIST库中的人脸图像的姿态、表情，所述表情包括微笑、哀伤、张嘴、带眼镜；通过人脸识别算法提取UMIST库中的人脸图像中的眉毛、眼睛、鼻子、嘴、脸型等外貌的第一特征。
步骤S50：将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果。
步骤S51：首先对所述基于深度学习的算法进行训练，所述训练包括向前传播和向后传播两个阶段；
步骤S501：向前传播阶段：
获取所有样本，从所有样本中取其中一个(X，Yp)，并将X视为输入网络；
通过输入信息计算输出Op；
输入信息经过六次转换传递到输出中；且在传递过程中，六层中每一层的权值矩阵与输入信息相点乘，从而获得输出的结果Op，具体通过式1-1得到；
Op＝Fn(…(F2(F1(Xp W(1))W(2))…)W(n)) (1-1)
步骤S502：向后传播阶段：
通过输入输出的值，计算输入值和输出值之间的实际误差值；
利用反向传播方法调整权矩阵，直至误差达到最小。
步骤S52：所述训练方法还包括计算卷积层的梯度；所述计算卷积层的梯度包括：
通过对前一层的输入特征进行卷积运算，得到一个输出的特征图，所述输出的特征图与多个输入图与之相关联通过公式(1-2)表示:
其中,
表示在第l层的第j个输出；MJ表示第l层输入特征图的一个集合；b为在每个输出的特征图中都给定了一个偏差值。
将l+1层的误差信号图进行升采样使得其和卷积层大小一致；
对升采样后的误差信号图与第l层“激活函数偏导图”执行基于元素的乘法，并通过公式(1-3)将对应卷积层中与之对应的每个图j和降采样层对应起来；
up(o)表示升采样操作，通过Kronecker积进行升采样操作。
步骤S53：通过公式(1-4)计算降采样层的梯度得到降采样后的输入图的结果；
其中，down(*)为降采样函数；利用降采样函数对每一个输入图中不同的n*n区域求和，使得最终输出图相对于输入图在维度上小n倍，并且，每个输出图都有自己的附加偏差b和乘子偏差。
步骤S54：所述训练方法还包括权值共享；所述权值共享包括以下步骤，在卷积神经网的同一个卷积核内，其所有的神经元的权值是相同的，因此，卷积神经网络只需要较少的参数，从而大大减少需要训练的数据。举个例子来说，假设一张输入图片，其大小为W*H，如果使用全连接网络，生成一张X*Y 的feature map，它需要W*H*X*Y个参数，如果原图长宽是102级别的，而且XY大小和WH差不多的话，那么这样一层网络需要的参数个数是 108～1012级别。这么多参数，对于计算机运算来说，肯定是不行的，那么我们就想办法减少参数的个数对于输出层feature map上的每一个像素，他与原图片的每一个像素都有连接，每一个链接都需要一个参数。但是对于图像来说，一般都是局部相关的，那么如果输出层的每一个像素只和输入层图片的一个局部相连，那么需要参数的个数就会大大减少。假设输出层每个像素只与输入图片上F*F的一个小方块有连接，也就是说输出层的这个像素值，只是通过原图的这个F*F的小方形中的像素值计算而来，那么对于输出层的每个像素，需要的参数个数就从原来的W*H减小到了F*F。另外，如果原图片的每一个小方块都需要计算这样一个输出值，那么需要的参数只是W*H*F*F，如果原图长宽是102级别，而F在10以内的话，那么需要的参数的个数只有105～106级别，相比于原来的参数就会小很多。
卷积神经网络是一种分层的神经网络，其由卷积层和子采样层构成，卷积神经网络不同模型之间的区别就在于卷积层和子采样层的实现方式以及训练方式。
步骤S55：所述训练方法还包括卷积层的构建：卷积层通过局部连接和权值共享的方法，模拟具有局部感受野的简单细胞，提取一些初级视觉特征的过程，卷积操作的优点就是可以增强原信号特征，增强对原信号位移、形变之后的识别能力，并且有效降低噪音等。构成卷积层的参数主要有：输入图像以及特征图像的数量，图像的大小，每一层图像有相同的尺寸(xM，yM)；卷积核的尺寸大小(xK，yK)，其中每一个尺寸为(xK，yK)的卷积核作用于输入图像的有效区域；跳过因子(xS，yS)定义了有多少像素在x， y方向被卷积核跳过。经过卷积层特征提取后，得到的输出图像尺寸。
步骤S56：所述训练方法还包括采样层的构建：池化层模拟复杂细胞是将初级的视觉特征筛选并结合成更高级、抽象的视觉特征的过程，在网络中通过采样实现，经过池化层的采样后，输出特征图的数量不变，但是特征图的尺寸会变小，有减小计算复杂度、抵抗微小位移变化的作用。可以使用了最大池采样层来代替子采样层。在卷积神经网络的实现中，这些层被池抽样和均化操作取代，相邻的像素在卷积时被跳过，以达到降采样的目的。最大池采样层的输出是由尺寸为(xK，yK)大小的非重叠矩阵取最大值得到的。最大池采样提供了局部位移不变性，通过(xK，yK)因子对输入图像的每一个方向进行降采样。池化层采用做大值采样，采样大小为2x2，即把输入的特征图分割成不重叠的2x2大小的矩形，对每个矩形取最大值，所以输出特征图的长和宽均是输入特征图的一半，本文定义池化层中的神经元不具备学习功能。
步骤S57：所述训练方法还包括分类层的构建：选择卷积滤波器的卷积核尺寸，最大池采样矩阵和跳过因子，将最后一层卷积层的输出图像降采样到一个像素，一个全连接层将最后一个卷积层的输出结合为一个一维的特征矩阵。在分类中，最后一层一般是由一个全连接层将每一个像素图像和输出层的每一种可能的分类相连接。使用softmax回归作为最后一层的激励函数，每一个神经元的输出代表分类结果的可能性。基于深度学习的识别模组的识别方法训练完成。
步骤S58：将训练完成的基于深度学习的识别模组的识别方法对所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；所述识别结果包括用于表示相似度大于预设值得第一识别结果和用于表示识别失败的第二识别结果。
步骤S60：根据识别结果控制门锁打开或者提示认证失败。
步骤S61：当所述识别结果为第一识别结果时，控制门锁打开。
步骤S62：当所述识别结果为第二识别结果时，提示认证失败。
本发明提供的技术方案，具有以下优点：
获取摄像机采集的位于摄像机前面的图像或者视频；对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；提取所述人脸中的第一特征；提取人脸数据库中的人脸的第二特征；将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；根据识别结果控制门锁打开或者提示认证失败。能够提供识别速度较快，并且具有深度学习功能从而能够从多个姿势以及角度均能识别到同一业主，识别结果稳定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的识别模组的识别方法，其特征在于，所述方法包括：
获取摄像机采集的位于摄像机前面的图像或者视频；
对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；
提取所述人脸中的第一特征；
提取人脸数据库中的人脸的第二特征；
将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；
根据识别结果控制门锁打开或者提示认证失败。
2.如权利要求1所述的基于深度学习的识别模组的识别方法，其特征在于，所述方法还包括：
对所述基于深度学习的算法进行训练，所述训练包括向前传播和向后传播两个阶段；
向前传播阶段：
获取所有样本，从所有样本中取其中一个(X，Yp)，并将X视为输入网络；
通过输入信息计算输出Op；
输入信息经过六次转换传递到输出中；且在传递过程中，六层中每一层的权值矩阵与输入信息相点乘，从而获得输出的结果Op，具体通过式1-1得到；
Op＝Fn(…(F2(F1(Xp W(1))W(2))…)W(n)) (1-1)
向后传播阶段：
通过输入输出的值，计算输入值和输出值之间的实际误差值；
利用反向传播方法调整权矩阵，直至误差达到最小。
3.如权利要求2所述的基于深度学习的识别模组的识别方法，其特征在于，所述方法还包括计算卷积层的梯度；所述计算卷积层的梯度包括：
通过对前一层的输入特征进行卷积运算，得到一个输出的特征图，所述输出的特征图与多个输入图与之相关联通过公式(1-2)表示：
其中，
表示在第l层的第j个输出；MJ表示第l层输入特征图的一个集合；b为在每个输出的特征图中都给定了一个偏差值。
4.如权利要求3所述的基于深度学习的识别模组的识别方法，其特征在于，所述方法还包括：
将l+1层的误差信号图进行升采样使得其和卷积层大小一致；
对升采样后的误差信号图与第l层“激活函数偏导图”执行基于元素的乘法，并通过公式(1-3)将对应卷积层中与之对应的每个图j和降采样层对应起来；
up(o)表示升采样操作，通过Kronecker积进行升采样操作。
5.如权利要求4所述的基于深度学习的识别模组的识别方法，其特征在于，通过公式(1-4)计算降采样层的梯度得到降采样后的输入图的结果；
其中，down(*)为降采样函数；利用降采样函数对每一个输入图中不同的n*n区域求和，使得最终输出图相对于输入图在维度上小n倍，并且，每个输出图都有自己的附加偏差b和乘子偏差。
6.如权利要求5所述的基于深度学习的识别模组的识别方法，其特征在于，所述提取所述人脸中的第一特征，具体包括：
截取人脸部分图像，同时经过归一化处理，得到一幅256x256像素大小的人脸图像。
7.如权利要求6所述的基于深度学习的识别模组的识别方法，其特征在于，所述方法还包括对比度归一化处理，所述对比度归一化处理包括：
图像的调整；
直方图均衡化；
自适应直方图均衡化；
对比度正规化：将归一化后的图像转换到RGB彩色空间。
8.如权利要求1所述的基于深度学习的识别模组的识别方法，其特征在于，获取UMIST库中的人脸图像的姿态、表情，所述表情包括微笑、哀伤、张嘴、带眼镜。
9.一种基于深度学习的识别模组的识别设备，其特征在于，所述设备包括：
获取模块：用于获取摄像机采集的位于摄像机前面的图像或者视频；
预处理模块：用于对所述图像或者视频进行预处理并获取所述图像或者所述视频中的人脸；
第一提取模块：用于提取所述人脸中的第一特征；
第二提取模块：用于提取人脸数据库中的人脸的第二特征；
识别模块：用于将所述第一特征与所述第二特征通过基于深度学习的算法进行识别得到识别结果；
控制模块：用于根据识别结果控制门锁打开或者提示认证失败。
10.一种介质，其特征在于，所述介质存储有可执行程序，所述可执行程序被执行时，实现如权利要求1-8任一项所述的基于深度学习的识别模组的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110272142.3A CN113192240A (zh) | 2021-03-12 | 2021-03-12 | 一种基于深度学习的识别模组的识别方法、设备以及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110272142.3A CN113192240A (zh) | 2021-03-12 | 2021-03-12 | 一种基于深度学习的识别模组的识别方法、设备以及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113192240A true CN113192240A (zh) | 2021-07-30 |
Family
ID=76973256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110272142.3A Pending CN113192240A (zh) | 2021-03-12 | 2021-03-12 | 一种基于深度学习的识别模组的识别方法、设备以及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192240A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104573679A (zh) * | 2015-02-08 | 2015-04-29 | 天津艾思科尔科技有限公司 | 监控场景下基于深度学习的人脸识别系统 |
| CN106803301A (zh) * | 2017-03-28 | 2017-06-06 | 广东工业大学 | 一种基于深度学习的人脸识别门禁方法及系统 |
| CN108427921A (zh) * | 2018-02-28 | 2018-08-21 | 辽宁科技大学 | 一种基于卷积神经网络的人脸识别方法 |
| CN111178130A (zh) * | 2019-11-25 | 2020-05-19 | 重庆特斯联智慧科技股份有限公司 | 一种基于深度学习的人脸识别方法、系统和可读存储介质 |
-
2021
- 2021-03-12 CN CN202110272142.3A patent/CN113192240A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104573679A (zh) * | 2015-02-08 | 2015-04-29 | 天津艾思科尔科技有限公司 | 监控场景下基于深度学习的人脸识别系统 |
| CN106803301A (zh) * | 2017-03-28 | 2017-06-06 | 广东工业大学 | 一种基于深度学习的人脸识别门禁方法及系统 |
| CN108427921A (zh) * | 2018-02-28 | 2018-08-21 | 辽宁科技大学 | 一种基于卷积神经网络的人脸识别方法 |
| CN111178130A (zh) * | 2019-11-25 | 2020-05-19 | 重庆特斯联智慧科技股份有限公司 | 一种基于深度学习的人脸识别方法、系统和可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 王攀等: "《优化与控制中的软计算方法研究》", 31 January 2017, 湖北科学技术出版社, pages: 108 - 110 * |
| 王智文: "《人工智能（下）中学版》", 西南交通大学出版社, pages: 16 - 17 * |
| 高敬鹏: "《深度学习：卷积神经网络技术与实践》", 31 July 2020, 机械工业出版社, pages: 74 - 75 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106599883B (zh) | 一种基于cnn的多层次图像语义的人脸识别方法 | |
| CN108564127B (zh) | 图像转换方法、装置、计算机设备及存储介质 | |
| Izidio et al. | An embedded automatic license plate recognition system using deep learning | |
| KR100601957B1 (ko) | 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치 | |
| CN111860147B (zh) | 行人重识别模型优化处理方法、装置和计算机设备 | |
| CN111738143B (zh) | 一种基于期望最大化的行人重识别方法 | |
| US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
| CN110852703B (zh) | 基于侧脸多特征融合人脸识别的考勤方法、系统、设备及介质 | |
| Nhat et al. | Feature fusion by using LBP, HOG, GIST descriptors and Canonical Correlation Analysis for face recognition | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| Duan et al. | Multi-scale gradients self-attention residual learning for face photo-sketch transformation | |
| CN111242840A (zh) | 手写体字符生成方法、装置、计算机设备和存储介质 | |
| CN111127407B (zh) | 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法 | |
| CN112686247A (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| CN110490057B (zh) | 一种基于人脸大数据人工智能聚类的自适应识别方法与系统 | |
| CN113192240A (zh) | 一种基于深度学习的识别模组的识别方法、设备以及介质 | |
| CN110633631A (zh) | 一种基于部件幂集和多尺度特征的行人重识别方法 | |
| CN114913610A (zh) | 一种基于指纹和指静脉的多模态识别方法 | |
| CN111553202B (zh) | 进行活体检测的神经网络的训练方法、检测方法及装置 | |
| Geetha et al. | 3D face recognition using Hadoop | |
| CN114582002A (zh) | 一种结合注意力模块与二阶池化机制的人脸表情识别方法 | |
| Daniya et al. | ICSA-ECNN based image forgery detection in face images | |
| CN113361422A (zh) | 一种基于角度空间损失承数的人脸识别方法 | |
| CN112084867A (zh) | 一种基于人体骨架点距离的行人定位跟踪方法 | |
| Sevcenco et al. | Perfect histogram matching PCA for face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 238, room 406, 1 Yichuang street, Huangpu District, Guangzhou, Guangdong 510700 Applicant after: Guangzhou langguo Electronic Technology Co.,Ltd. Address before: Room 238, room 406, 1 Yichuang street, Huangpu District, Guangzhou, Guangdong 510700 Applicant before: GUANGZHOU LANGO ELECTRONIC SCIENCE & TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210730 |