CN109409297A - 一种基于双通道卷积神经网络的身份识别方法 - Google Patents

Abstract

本发明公开了一种基于双通道卷积神经网络的身份识别方法，包括训练神经网络和身份识别步骤，采用人脸图像和全身姿态图像两个时间同步图像进行综合训练和识别，避免了单一因素欺骗，具有较强的抗干扰能力和较高的识别准确度；本发明方法，通过一个全连接层将两个通道的特征数据加权连接，并通过多个卷积层、池化层获取图像特征数据，最后由分类器得出类别概率，提取最大概率与设定阈值进行对比确定识别结果。经过多次卷积提取特征图、非线性激励和池化降维处理，使双通道卷积神经网络控制数据更灵活，抽象能力和学习能力更强，从而具有较好的识别效果。

Description

一种基于双通道卷积神经网络的身份识别方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于双通道卷积神经网络的身份识别方法。

背景技术

随着人工智能技术的不断发展，人脸识别技术日趋成熟，人脸识别由于具有非强制性、非接触性、操作简单、结果直观、隐蔽性好等特点已广泛用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域。但由于人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，因而目前人脸识别技术也存在不少局限性。此外，人脸识别还容易受各种外界环境及干扰条件的影响，比如人像的采集对周围的光线环境敏感，光线不同很大程度上会影响识别的准确性，而人体面部的头发、胡须、各种饰物等遮挡物以及人脸变老等因素也对识别率有较大影响。

卷积神经网络(Convolutional Neural Network，CNN)是近年发展起来，并引起广泛重视的一种高效识别方法。目前卷积神经网络是各种深度神经网络中应用最广泛的一种，并在机器视觉、计算机图形学、自然语言处理等诸多领域得到了成功的应用，特别是在机器视觉的很多问题上都取得了当前最好的效果。卷积神经网络以其局部权值共享的特殊结构，使其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

发明内容

针对现有人脸识别技术的缺陷与不足，本发明提出一种基于双通道卷积神经网络的身份识别方法，在识别过程中采用人脸图像和全身姿态图像两个时间同步图像进行综合训练和识别，提高了身份识别的准确性，具有较好的识别效果。

为实现以上发明目的，采用的技术方案是：

一种基于双通道卷积神经网络的身份识别方法，包括以下步骤：

S1：神经网络训练：

S11：图像获取与标记：对摄像头采集的目标的人脸图像和全身姿态图像进行读取，采用逐步读取的方式，将图像数据缓存进内存中，并完成注册目标标记；

S12：训练神经网络：重复选取不同的时间同步图像组输入卷积神经网络进行训练，得到训练好的神经网络；所述时间同步图像组为同一时刻采集到的同一目标的人脸图像和全身姿态图像的图像集合；

S2：身份识别：

S21：采集待识别目标的人脸图像和全身姿态图像的时间同步图像组；

S22：将待识别目标的时间同步图像组输入训练好的神经网络，计算待识别目标与己注册目标特征的相似度，依据相似度的大小进行身份预测，并输出识别结果。

优选地，所述卷积神经网络拥有针对不同图像的两个通道，每个通道包含一个特征提取模块和一个感知模块。

优选地，所述步骤S12具体如下：

S121：通过卷积神经网络通道1的特征提取模块提取注册目标人脸图像的人体特征，包括眉、眼、鼻、嘴和脸部轮廓人脸特征序列及耳朵特征序列，分别输入到卷积神经网络通道1的感知模块计算出预测结果；

S122：通过卷积神经网络通道2的特征提取模块提取注册目标全身姿态图像的人体特征，包括耳朵特征序列和身高、肩宽、臂长、臀宽及关节位置人体姿态特征序列，分别输入到卷积神经网络通道2的感知模块计算出预测结果；

S123：分别计算卷积神经网络两个通道输出的预测结果跟真实结果的误差，并按照参数 梯度计算误差的值，逐层调整输出的卷积神经网络，完成卷积神经网络的更新；

S124：将步骤S121和S122的预测结果输入整体模型中，所述整体模型为：一个全连接层、两个卷积层（包含失活层处理）和两个池化层，将两个通道的预测特征数据经过全连接层加权连接汇合后，经过卷积、池化计算得出综合特征数据，再将所述综合特征数据输入分类器，得出每一个类别的概率，并根据所得最大概率得出目标预测结果，将目标预测结果跟实际结果比较，再根据差异结果按照梯度下降法反向修正神经网络的参数，直至目标预测结果跟实际结果的差异小于预期值；

S125：重复S121至S124步骤，直至目标预测结果跟实际结果的误差达到预期，即完成训练，记录卷积神经网络的参数写入配置文件，得到训练好的神经网络。

优选地，所述步骤S22具体如下：

S221：通过卷积神经网络通道1的特征提取模块提取待识别目标人脸图像的人体特征，包括眉、眼、鼻、嘴和脸部轮廓人脸特征序列及耳朵特征序列，分别输入到训练好的卷积神经网络通道1的感知模块，输出目标的身份特征数据1；

S222：通过卷积神经网络通道2的特征提取模块提取待识别目标全身姿态图像的人体特征，包括耳朵特征序列和身高、肩宽、臂长、臀宽及关节位置人体姿态特征序列，分别输入到训练好的卷积神经网络通道2的感知模块，输出目标的身份特征数据2；

S223：计算S221和S222步骤输出的结果，将所述数据1和数据2进行加权融合及卷积、池化，计算得出综合特征数据，依据所述综合特征数据计算出类别概率，取出最大概率，所述最大概率大于设定的阈值即认为目标识别正确。

优选地，所述步骤S12还包括分类预处理步骤，采用聚类方法对训练的图像样本进行分类预处理，预处理输出的结果为通道1和通道2的初始化参数。

优选地，所述步骤S123采用反向修正的训练方式，将计算输出的预测结果跟真实结果比较，然后按照参数计算最大的调整方向，调整该层的参数，然后计算下一层的最大调整方向，再调整该层的参数，如此循环，直至计算的结果跟预期的真实结果的差值小于预期的值。

优选地，所述通道1的权重大于或等于所述通道2的权重。

优选地，所述步骤S21之前还包括：判断摄像头视野内是否有多个目标重合，如有重合，将视野内的目标进行排序分离，把第一个目标分割出来，所述第一个目标为距离相机最近的目标；所述人脸图像和所述全身姿态图像数据通过同步和行人通道相同来同步定位于同一个目标。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

（1）本发明基于双通道卷积神经网络的身份识别方法，在识别过程中采用人脸图像和全身姿态图像两个视域的时间同步图像进行综合识别，很好地避免了单一因素欺骗，例如由于表情、遮挡和光线等因素造成的识别误判，具有较强的抗干扰能力和较高的识别准确度。

（2）本发明提出的基于双通道卷积神经网络的身份识别方法，通过一个全连接层将两个通道的特征数据加权连接，并通过多个卷积层、池化层获取图像特征数据，最后由分类器得出类别概率，提取最大概率与设定阈值进行对比确定识别结果。经过多次卷积提取特征图、非线性激励和池化降维处理，使双通道卷积神经网络控制数据更灵活，抽象能力和学习能力更强，从而具有较好的识别效果。

附图说明

图1是本发明基于双通道卷积神经网络的身份识别方法流程图。

图2是本发明双通道卷积神经网络的框架构建示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1是本发明基于双通道卷积神经网络的身份识别方法流程图，图2是本发明双通道卷积神经网络的框架构建示意图。以下结合图1和图2对本发明基于双通道卷积神经网络的身份识别方法步骤详细说明如下：

S1：神经网络训练：

S11：对摄像头采集的目标的人脸图像和全身姿态图像进行读取，采用逐步读取的方式，将图像数据缓存进内存中，并完成注册目标标记；人脸图像和全身姿态图像为相互垂直的两个视域的图像，应确保两个视域的摄像头能够同步采集，每个摄像头的帧率、分辨率应设置一致。

S12：训练神经网络：重复选取不同的时间同步图像组输入卷积神经网络进行训练，时间同步图像组为同一时刻采集到的同一目标的人脸图像和全身姿态图像的图像集合，例如目标的人脸图像和全身姿态图像分别标记为Fa和Po，在各个不同时刻T1、T2……Tn采集到的目标A的人脸图像和全身姿态图像集合分别标记为A-T1（Fa1，Po1），A-T2（Fa2，Po2）……A-T1（Fan，Pon），重复选取这些同步图像集合输入卷积神经网络进行训练；其他注册目标例如目标B、C和D等，训练过程类似。

卷积神经网络拥有针对脸图像和全身姿态图像的两个通道，通道1和通道2分别对应处理人脸图像和全身姿态图像，每个通道包含一个特征提取模块和一个感知模块。为了加速训练的收敛，采用聚类方法对训练的图像样本进行分类预处理，预处理输出的结果为通道1和通道2的初始化参数。

更为具体地，包括以下步骤：

S121：通过卷积神经网络通道1的特征提取模块提取注册目标人脸图像的人体特征，包括眉、眼、鼻、嘴和脸部轮廓人脸特征序列及耳朵特征序列，分别输入到卷积神经网络通道1的感知模块计算出预测结果；具体的，图片在进入特征提取模块前，先对图片进行人体头部区域检测（包括眉、眼、鼻、嘴、脸部及耳朵部分），将检测的头部区域归一化（缩放到180*180的分辨率），再将归一化后的图片输入卷积神经网络，神经网络结构为24层卷积网络，其中前面20层为卷积核3x3的卷积网络，最后的4层为全连接层，输出的是注册目标人脸图像的人体特征数据，输出的预测结果为512维的数据，每个维度的数据两两正交；

S122：通过卷积神经网络通道2的特征提取模块提取注册目标全身姿态图像的人体特征，包括耳朵特征序列和身高、肩宽、臂长、臀宽及关节位置人体姿态特征序列，分别输入到卷积神经网络通道2的感知模块计算出预测结果；具体的，神经网络通道2的结构为24层卷积网络，6层池化层和2层失活层，总共32层；输出的预测结果为目标全身姿态图像的人体特征，一共512维两两正交的数据；

S123：分别计算卷积神经网络两个通道输出的预测结果跟真实结果的误差，并按照参数 梯度计算误差的值，逐层调整输出的卷积神经网络，完成卷积神经网络的更新；具体地，采用反向修正的训练方式，将计算输出的预测结果跟真实结果比较，然后按照参数计算最大的调整方向，调整该层的参数，然后计算下一层的最大调整方向，再调整该层的参数，如此循环，直至计算的结果跟预期的真实结果的差值小于预期值；

S124：将步骤S121和S122的预测结果输入整体模型中，整体模型为：一个全连接层、两个卷积层（包含失活层处理）和两个池化层，本实施例通道1的权重等于通道2的权重；在另一个实施例中，通道1的权重大于通道2的权重，有利于加快训练过程和提高识别效率；将两个通道的特征数据进行加权汇合后，再经过两个卷积层（包含失活层处理）和两个池化层，卷积层和池化层前后交叉分布，即卷积层的输出作为池化层的输入，经卷积、池化计算得出综合特征数据，再将综合特征数据输入分类器，得出每一个类别的概率，并根据最大概率得出目标预测结果，将目标预测结果跟实际结果比较，根据差异结果按照梯度下降法反向修正神经网络的参数，直至预测结果跟实际结果差异小于预期值；

S125：重复S121至S124步骤，直至预测结果跟真实结果的误差达到预期，即完成训练，记录卷积神经网络的参数写入配置文件，得到训练好的神经网络。

S2：身份识别：

S21：采集待识别目标的人脸图像和全身姿态图像的时间同步图像组，每个视域的摄像头采集的图像设置为640*480的分辨率；

S22：将待识别目标的时间同步图像组输入已训练好的神经网络，计算待识别目标与己注册目标特征的相似度，依据相似度的大小进行身份预测，并输出识别结果。更为具体地，包括以下步骤：

S221：通过卷积神经网络通道1的特征提取模块提取待识别目标人脸图像的人体特征，包括眉、眼、鼻、嘴和脸部轮廓人脸特征序列及耳朵特征序列，分别输入到训练好的卷积神经网络通道1的感知模块，输出目标的身份特征数据1；具体地，图片在进入特征提取模块前，先对图片进行人的整体头部区域（包含眉、眼、鼻、嘴、脸部及耳朵区域）检测，将检测的头部区域归一化（缩放到180*180的分辨率），再将归一化后的图片输入24层的卷积神经网络，输出目标的身份特征数据1，一共有512维，每两维数据两两正交；

S222：通过卷积神经网络通道2的特征提取模块提取待识别目标全身姿态图像的人体特征，包括耳朵特征序列和身高、肩宽、臂长、臀宽及关节位置人体姿态特征序列，分别输入到训练好的卷积神经网络通道2的感知模块，具体地，激活处理将图像输入到 32层的神经网络进行特征提取，输出目标的身份特征数据2；神经网络输出为512维数据，512维的数据每两维两两正交；

S223：计算S221和S222步骤输出的结果，将身份特征数据1和身份特征数据2进行加权融合及卷积、池化，计算得出综合特征数据，再将综合特征数据输入分类器，即可得出每一个类别的概率，将所有概率中最大的概率取出来，并且最大概率大于设定的阈值即认为识别正确；具体的，阈值设置为0.95，可以根据具体的要求进行微调，阈值越大准确度越高。

考虑到摄像头视野内会有多个目标重合的情况，在步骤S21之前还包括：分割第一个人步骤，首先判断摄像头视野内是否有多个目标重合，如有重合，将视野内的目标进行排序分离，把距离相机最近的目标作为目标第一个人分割出来，更为具体地，通过获取人脸图像，检测人脸图像中的目标，采用目标检测模型分割出第一个人的轮廓图像，然后将轮廓图像跟原图像进行与运算，去掉背景得出第一个人的整体区域图像；找出第一个人后，即采集第一个人的时间同步图像组输入到训练好的神经网络进行身份识别；人脸图像和全身姿态图像数据通过时间同步和行人通道相同来同步定位于同一个人，即在同一个时刻，两个正交视角的摄像头采集到的同一行人通道的图像将其同步定位于同一个人的图像。

由以上技术方案可知，本发明基于双通道卷积神经网络的身份识别方法，在识别过程中采用人脸图像和全身姿态图像两个视域的时间同步图像进行综合识别，很好地避免了单一因素欺骗，例如由于表情、遮挡和光线等因素造成的识别误判，因而具有较强的抗干扰能力和较高的识别准确度。

本发明提出的基于双通道卷积神经网络的身份识别方法，通过一个全连接层将两个通道的特征数据加权连接，并通过多个卷积层、池化层获取图像特征数据，最后由分类器得出类别概率，提取最大概率与设定阈值进行对比确定识别结果。经过多次卷积提取特征图、非线性激励和池化降维处理，使双通道卷积神经网络控制数据更灵活，抽象能力更好，学习能力更强，从而具有较好的识别效果。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而并发明并不局限于此。凡在本发明的精神和原则之内，所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围内。

Claims (8)

1.一种基于双通道卷积神经网络的身份识别方法，其特征在于，包括以下步骤：

S1：神经网络训练：

S11：图像获取与标记：对摄像头采集的目标的人脸图像和全身姿态图像进行读取，采用逐步读取的方式，将图像数据缓存进内存中，并完成注册目标标记；

S12：训练神经网络：重复选取不同的时间同步图像组输入卷积神经网络进行训练，得到训练好的神经网络；所述时间同步图像组为同一时刻采集到的同一目标的人脸图像和全身姿态图像的图像集合；

S2：身份识别：

S21：采集待识别目标的人脸图像和全身姿态图像的时间同步图像组；

S22：将待识别目标的时间同步图像组输入训练好的神经网络，计算待识别目标与己注册目标特征的相似度，依据相似度的大小进行身份预测，并输出识别结果。

2.根据权利要求1所述的一种基于双通道卷积神经网络的身份识别方法，其特征在于，所述卷积神经网络拥有针对不同图像的两个通道，每个通道包含一个特征提取模块和一个感知模块。

3.根据权利要求2所述的一种基于双通道卷积神经网络的身份识别方法，其特征在于，所述步骤S12具体如下：

S121：通过卷积神经网络通道1的特征提取模块提取注册目标人脸图像的人体特征，包括眉、眼、鼻、嘴和脸部轮廓人脸特征序列及耳朵特征序列，分别输入到卷积神经网络通道1的感知模块计算出预测结果；

S122：通过卷积神经网络通道2的特征提取模块提取注册目标全身姿态图像的人体特征，包括耳朵特征序列和身高、肩宽、臂长、臀宽及关节位置人体姿态特征序列，分别输入到卷积神经网络通道2的感知模块计算出预测结果；

S123：分别计算卷积神经网络两个通道输出的预测结果跟真实结果的误差，并按照参数 梯度计算误差的值，逐层调整输出的卷积神经网络，完成卷积神经网络的更新；

S124：将步骤S121和S122的预测结果输入整体模型中，所述整体模型为：一个全连接层、两个卷积层（包含失活层处理）和两个池化层，将两个通道的预测特征数据经过全连接层加权连接汇合后，经过卷积、池化计算得出综合特征数据，再将所述综合特征数据输入分类器，得出每一个类别的概率，并根据所得最大概率得出目标预测结果，将目标预测结果跟实际结果比较，再根据差异结果按照梯度下降法反向修正神经网络的参数，直至目标预测结果跟实际结果的差异小于预期值；

S125：重复S121至S124步骤，直至目标预测结果跟实际结果的误差达到预期，即完成训练，记录卷积神经网络的参数写入配置文件，得到训练好的神经网络。

4.根据权利要求3所述的一种基于双通道卷积神经网络的身份识别方法，其特征在于，所述步骤S22具体如下：

S221：通过卷积神经网络通道1的特征提取模块提取待识别目标人脸图像的人体特征，包括眉、眼、鼻、嘴和脸部轮廓人脸特征序列及耳朵特征序列，分别输入到训练好的卷积神经网络通道1的感知模块，输出目标的身份特征数据1；

S222：通过卷积神经网络通道2的特征提取模块提取待识别目标全身姿态图像的人体特征，包括耳朵特征序列和身高、肩宽、臂长、臀宽及关节位置人体姿态特征序列，分别输入到训练好的卷积神经网络通道2的感知模块，输出目标的身份特征数据2；

S223：计算S221和S222步骤输出的结果，将所述数据1和数据2进行加权融合及卷积、池化，计算得出综合特征数据，依据所述综合特征数据计算出类别概率，取出最大概率，所述最大概率大于设定的阈值即认为目标识别正确。

5.根据权利要求3所述的一种基于双通道卷积神经网络的身份识别方法，其特征在于，所述步骤S12还包括分类预处理步骤，采用聚类方法对训练的图像样本进行分类预处理，预处理输出的结果为通道1和通道2的初始化参数。

6.根据权利要求3所述的一种基于双通道卷积神经网络的身份识别方法，其特征在于，所述步骤S123采用反向修正的训练方式，将计算输出的预测结果跟真实结果比较，然后按照参数计算最大的调整方向，调整该层的参数，然后计算下一层的最大调整方向，再调整该层的参数，如此循环，直至计算的结果跟预期的真实结果的差值小于预期的值。

7.根据权利要求4所述的一种基于双通道卷积神经网络的身份识别方法，其特征在于，所述通道1的权重大于或等于所述通道2的权重。

8.根据权利要求1所述的一种基于双通道卷积神经网络的身份识别方法，其特征在于，所述步骤S21之前还包括：判断摄像头视野内是否有多个目标重合，如有重合，将视野内的目标进行排序分离，把第一个目标分割出来，所述第一个目标为距离相机最近的目标；所述人脸图像和所述全身姿态图像数据通过同步和行人通道相同来同步定位于同一个目标。