CN109583357A - 一种改进lbp和轻量卷积神经网络级联的人脸识别方法 - Google Patents

一种改进lbp和轻量卷积神经网络级联的人脸识别方法 Download PDF

Info

Publication number
CN109583357A
CN109583357A CN201811413568.0A CN201811413568A CN109583357A CN 109583357 A CN109583357 A CN 109583357A CN 201811413568 A CN201811413568 A CN 201811413568A CN 109583357 A CN109583357 A CN 109583357A
Authority
CN
China
Prior art keywords
face
neural networks
convolutional neural
lbp
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811413568.0A
Other languages
English (en)
Other versions
CN109583357B (zh
Inventor
高志斌
唐凌
郭嘉
张昊
吴焱扬
黄联芬
郭杰锋
林英
吴卫东
肖锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201811413568.0A priority Critical patent/CN109583357B/zh
Publication of CN109583357A publication Critical patent/CN109583357A/zh
Application granted granted Critical
Publication of CN109583357B publication Critical patent/CN109583357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种改进LBP和轻量卷积神经网络级联的人脸识别方法，提供：对齐分区局部二值模式初次识别测试单元，APLBP与轻量化卷积神经网络级联的二次识别测试单元，APLBP识别测试单元，轻量化卷积神经网络并行流水线模块加速单元，计算平均识别率单元。将采集的人脸图像划分为主要区域和次要区域，对于人脸图像的主要区域与次要区域，提取中心点LBP像素特征值；通过级联的关系对APLBP识别并提取出的相似图像再加入轻量级卷积神经网络进行二次识别。充分融入了APLBP算法的速度优势和轻量化卷积神经网络的精度优势，通过对轻量化卷积神经网络的卷积层中耗时大的矩阵乘加运算使用并行模块进行加速，从而达到速度和准确率的双向提升。

Description

一种改进LBP和轻量卷积神经网络级联的人脸识别方法
技术领域
本发明涉及人脸识别技术领域，特别是一种改进LBP和轻量卷积神经网络级联的人脸识别方法。
背景技术
人脸识别技术现今正逐步走向成熟，其在动车进站、餐厅付款等场合已经开始大规模使用，但其在算法、识别时间和识别效率方面仍有待改进。
现有的人脸识别算法有基于人脸特征点的识别算法，基于神经网络的人脸识别算法，基于 LBP(局部二值模式)的人脸识别算法等。基于神经网络的人脸识别算法现在出现的有很多种，几乎都是基于卷积神经网络来设计的，卷积神经网络其主要包括以下几个层级，输入层、卷积层、池化层、全连接层和softmax层。目前主流的卷积神经网络有Alexnet、VGG-Face和DeepID，虽然目前通过深度学习应用卷积神经网络在人脸识别方面都取得了很好的效果，但是其伴随的网络都非常深和复杂，模型都非常的庞大，对硬件资源的消耗也很巨大，对嵌入式端来说是非常不适用的。而基于LBP的人脸识别算法，其运用到的是对图像纹理特征的提取，使得光照对识别的影响降得很低，但其算法缺点也很多仍有很多待改进的地方。
相较之下此方法及装置将改进的LBP算法和轻量级卷积神经网络LCNN进行级联，不但能够提高人脸识别的速度，还能利用LCNN其以一个较小的模型得到不错的识别率的优点将之运用在嵌入式端既能合理的运用硬件资源还能得到不错的硬件加速效果，同时在嵌入式端做进一步的改进，通过使用ARM+FPGA的板子(如zynq系列)，图像的采集和预处理在ARM上完成，而在FPGA上做可以并行流水线处理的部分，并在神经网络的卷积层做运算加速。
发明内容
本发明的目的在于提供一种改进LBP和轻量卷积神经网络级联的人脸识别方法，以克服现有技术中存在的缺陷。
为实现上述目的，本发明的技术方案是：包括：一种改进LBP和轻量卷积神经网络级联的人脸识别方法，也即，一种基于改进LBP和LCNN(Lookup-based ConvolutionalNeural Network) 级联的人脸识别方法，提供：
对齐分区局部二值模式初次识别测试单元，用于划分人脸的主要区域和次要区域，通过采用APLBP算法计算人脸图片的APLBP像素特征值，并通过计算人脸相似度的度量值进行第一次识别，得到多张相似的人脸图片；
APLBP与轻量化卷积神经网络级联的二次识别测试单元，用于对经所述对齐分区局部二值模式初次识别测试单元得到的人脸图片，通过级联的方式，在轻量化卷积神经网络进行卷积池化处理提取特征，并根据计算人脸相似度所获取的度量值进行比较，识别出最佳匹配人脸；
轻量化卷积神经网络并行流水线模块加速单元，用于对轻量化卷积神经网络中的各个卷积层中的卷积做并行运算，以加快操作速度；
计算平均识别率单元，通过计算所有测试集的识别率，加权求得总体样本的平均识别率，输出人脸检测结果。
优选地，还包括如下步骤：
步骤S1：对通过开源视觉处理代码模块得到的人脸图像，进行特征点的检测；获取特征点的坐标，根据坐标通过开源视觉处理代码模块对人脸图像进行平移、缩放以及旋转处理，得到一组人脸的正脸图片，并命名数据库，训练集和测试集；对于任意一张人脸图片，通过对齐分区局部二值模式初次识别测试单元采用APLBP算法进行初次识别，包括三个阶段：第一阶段为划分人脸主要区域和次要区域，第二阶段为计算APLBP像素特征值，第三阶段为采用APLBP 算法进行第一次识别；
步骤S2：对于经所述对齐分区局部二值模式初次识别测试单元得到的人脸图片，通过级联的方式，利用轻量化卷积神经网络进行再次识别，通过卷积池化进一步处理提取特征，通过计算人脸相似度的度量值进行比较，识别出最佳匹配人脸；
步骤S3：对轻量化卷积神经网络中的卷积层中的卷积做并行运算，加快操作速度，实现加速；
步骤S4：计算平均识别率单元通过计算所有测试集的识别率，加权求得总体样本的平均识别率，并输出结果。
在本发明一实施例中，在所述步骤S1中，还包括如下步骤：
步骤S11：所述特征点的坐标用于反映眼睛、鼻子、嘴巴、人脸轮廓；将得到的人脸的正脸图片命名为数据库A，同时将数据库A中的人脸图片分为M组，每组N张图片，每一组中都有每个人的一张不同的人脸图片；在M组图片中随机取出2组作为训练样本，作为判断人脸身份的参照基准，剩下M-2组作为测试样本；
步骤S12：划分人脸主要区域和次要区域；
步骤S121：对于一张待测人脸，建立坐标系，获取人脸五个主要特征点的坐标，包括：左眼睛、右眼睛、鼻子、左嘴角以及右嘴角，并记为cp＝{(x1,y1),…,(x5,y5)}；
步骤S122：分别以每一个主要特征点为中心，设置窗口偏移长度w，根据w计算五个主要特征区域，且令w为恒定值；记主要特征区域的左上角坐标设为右下角坐标设为其计算公式为：
步骤S13：计算APLBP像素特征值；
步骤S131：对于人脸图像的主要区域，采用圆形算子提取其中心点LBP像素特征值；对于人脸图像的次要区域，采用圆形算子提取其中心点LBP像素特征值，其中R1＜R2且 P1＞P2；记gc(x,y)为待求点，其坐标为(x,y)，由圆形LBP特征值的计算公式得，该点的LBP特征值如下：
步骤S132，将这个圆形邻域以圆心为中心点，以步长为一个像素单位进行滑动，分别计算每个区域内的LBP特征值，得到原始图像的LBP特征图；对于原始图像中的边缘部分，记LBP 像素特征值为0，得到整张图像的LBP像素特征值，并组成LBP特征图；
步骤S14：采用APLBP算法进行第一次识别；
对于数据库A中的训练样本，用APLBP算法计算其中所有图片的LBP特征图；将LBP特征图进行分块处理，获取每一个模块的直方图；根据直方图分别计算训练集图片的特征矢量Δgtrain，其特征矢量计算公式为：在测试集中任意选取一张图片，计算其特征矢量Δgtest，并计算Δgtest与训练集中所有图片特征矢量的人脸相似度的度量值，获取与测试集中该图片距离最近的K个训练样本的人脸，并将这K个人脸图片传入下一层。
优选地，在所述步骤S2中，还包括如下步骤：
步骤S21：轻量化卷积神经网络识别算法；
根据上一层中过滤下来的K个人脸图片，通过轻量化卷积神经网络在嵌入式板卡上进行特征提取，并进行比较测试；使用轻量化卷积神经网络提取训练样本中的N个人脸的特征，计算该测试集中测试样本与该N个人脸的人脸相似度的度量值，将其中距离最小的人脸作为识别结果；若测试样本的标签与对应的识别出的训练样本的标签相同，则记为一次识别正确，否则记为一次识别错误；
优选地，在所述步骤S3中，还包括如下步骤：
步骤S31：轻量化卷积神经网络卷积层并行模块加速；
轻量化卷积神经网络包括多层卷积层，其中，Cov Kernel表示一个3×3大小的卷积核，Cov layer表示卷积操作输出的结果；卷积过程中卷积核不断与输入图像中的对应区域相乘求和，最终得到卷积结果；基于卷积单元的计算层的独立性以及各层之间的复用性，通过采用并行流水线，让卷积做并行运算，加快卷积层的操作速度。
优选地，在所述步骤S4中，对于第i组测试集，记tsi为总共测试次数，tri为其中正确识别的次数，则第i组测试集识别率ari为：计算所有组测试集的识别率，则所有 M-2组测试集的平均识别率为：通过搭建工程将人脸检测和识别的结果输出。
相较于现有技术，本发明具有以下有益效果：本发明提出的一种改进LBP和轻量卷积神经网络级联的人脸识别方法，对于人脸图像划分为主要区域和次要区域，对于主要区域，用半径小，区域采样点多的圆形算子提取其中心点LBP像素特征值；对于次要区域，用半径大，区域采样点少的圆形算子提取其中心点LBP像素特征值；通过级联的关系对APLBP识别并提取出的相似图像再加入轻量级卷积神经网络进行二次识别。充分融入了APLBP算法的速度优势和 LCNN算法的精度优势，再通过嵌入式板子上的FPGA其异构计算并行流水线工作的优势对卷积神经网络的卷积层中耗时大的矩阵乘加运算进行加速，从而达到速度和准确率的双向提升。充分地对速度和精度进行折中处理，将原有的LBP算法改进为APLBP，这使得识别速度进一步加快；同时，引入LCNN网络进行识别是为了在改进的APLBP算法不能很好地识别的情况下保证识别的准确率，而且对LCNN网络中的卷积层用FPGA做优化，缩短其训练的时间，在保证其准确率的情况下进一步提高了识别速度。
附图说明
图1(a)为本发明方法中APLBP算法计算左眼特征区域坐标示意图。
图1(b)为本发明方法中APLBP算法计算人脸关键区域坐标示意图。
图2为本发明方法中APLBP特征图。
图3为本发明方法中APLBP与LCNN级联系统测试流程图。
图4为本发明方法中LCNN网络结构图。
图5为本发明方法中卷积操作过程示意图。
图6为本发明方法中卷积运算单元结构图。
图7为本发明方法中APLBP与轻量化卷积神经网络级联系统。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明通过一种改进LBP和轻量卷积神经网络级联的人脸识别方法，涉及人脸识别技术领域，首先对现有的局部二值模式(Local Binary Pattern，LBP)进行了一定程度上的改进，并加入了轻量级卷积神经网络(Light Convolutional Neural Networks,LCNN)进行识别。主要针对配备嵌入式装置，需要快速进行人脸识别的场景，如人脸支付、扫脸进站，扫脸入场等，缩短人脸的采集和检测过程，提高识别准确率，并对神经网络的卷积层进行优化使机器能进行快速的人脸识别。
传统的LBP算法是在一个大小为3×3的窗口范围进行周围像素值(称为邻域像素值)与中心像素值的比较，得到差值向量，并把所得结果进行统计分析，得到LBP像素特征值。其具有速度快，对光照鲁棒性大的优点。轻量化卷积神经网络如(LCNN)是利用卷积神经网络对一幅图像进行特征提取，其具体是在卷积层，池化层和全连接层交替进行。
在实施例中，所提供的环境场景为参照人脸图像库很大且适用嵌入式装置的环境场景，但本发明场景不仅仅此环境场景，还适用于其他外界因素干扰的环境场景，此处仅起到示例作用。本发明实施例所提供的为一种改进LBP和轻量卷积神经网络级联的人脸识别方法，其相应的改进的类似方法及装置也适用，在此仅起到示例作用。
在本实施例中，该方法提供五个部分，第一个部分为用嵌入式装置进行人脸检测单元，第二部分为人脸对齐与数据集的建立单元，第三部分为APLBP识别测试单元。第四部分为LCNN网络测试并进行FPGA加速的单元，第五为计算平均识别率单元，并输出结果。
用嵌入式装置人脸检测单元，主要包括通过嵌入式板子移植开源的视觉处理模块通过摄像头拍摄人物图片并进行图像采集和图像预处理，检测人脸，获取大量的人脸图片数据。
人脸对齐与数据集的建立单元，主要包括对图像进行一些基本的处理，以期得到一组人脸正脸图片，同时建立训练集与测试集。
APLBP识别测试单元，对于任意一张人脸图片，用APLBP算法进行计算APLBP像素特征值，并通过计算欧氏距离进行第一次识别，得到多张相似的人脸图片。
轻量化卷积神经网络识别测试单元，对于上一层得到的人脸图片，用轻量化卷积神经网络做卷积池化来提取特征，通过计算余弦距离进行比较，识别出最佳的人脸，同时使用板子上的 FPGA做卷积层的计算单元的并行流水加速。
计算平均识别率单元，通过计算所有测试集的识别率，加权求得总体样本的平均识别率，并输出结果。
在本实施例中，如图7所示，实现步骤如下：
步骤一，通过嵌入式板子移植开源的视觉处理模块如(opencv)到ARM上来做人脸采集和预处理工作(步骤101)，移植业界成熟的算法工程如(MTCNN+ncnn)来进行人脸检测(步骤102)，检测到人脸后对该区域进行裁剪，将这些裁剪的图片保存下来，传入下一步进行处理。
步骤二，如图1(a)与图1(b)所示，对第一步得到的人脸图像，进行特征点的检测，获取特征点的坐标，依据这些坐标利用opencv对图像进行平移，缩放，旋转处理，进而得到一组人脸的正脸图片，并命名数据库，训练集和测试集。
步骤三，如图2所示，对于任意一张人脸图片，利用APLBP算法进行初次识别，其主要包括三个阶段。第一阶段为划分人脸主要区域和次要区域(对应步骤301)，第二阶段为计算APLBP 像素特征值(步骤302)，第三阶段为利用APLBP算法进行第一次识别(步骤303)。
步骤四，如图3～6所示，主要分两个阶段，第一阶段对于上一层得到的相似的人脸图片，利用LCNN进行再次识别测试，其主要为计算余弦距离进行比较，选出最佳匹配脸(步骤401)。第二阶段对LCNN其卷积神经网络的卷积层做FPGA并行流水加速(步骤402)。
步骤五，计算平均识别率单元，通过计算所有测试集的识别率，加权求得总体样本的平均识别率，并输出结果。
进一步的，在本实施例中，在步骤一中，还包括如下步骤：
步骤101，图像采集
步骤1011，使用ARM+FPGA的嵌入式板子(如ZYNQ系列)，我们先制作精简的Linux系统，其中包含BOOT.bin的启动文件、devicetree.dtb的设备树文件、ramdisk.image.gz的文件系统等，这一步是在ARM上实现的。
步骤1012，移植opencv，我们通过cmake的工具链来对交叉编译指定目标机(Linux)和平台(arm)，并添加C语言和C++的编译器，cmake之后我们得到了交叉编译过的opencv，将其放入Linux系统中，通过编写opencv代码实现对某一待测人群中的每个人分别拍摄多张人脸图片将代码交叉编译放入嵌入式板子中并使之成功运行。
步骤102，移植业界成熟的算法工程(如MTCNN+ncnn)到嵌入式板子上来进行人脸检测，移植ncnn的框架到ARM上，将mtcnn的代码进行交叉编译放入板子上执行并实现人脸检测，我们检测到人脸后通过编写opencv代码对该区域进行裁剪，将这些裁剪的图片保存下来，传入下一步进行处理。
进一步的，在本实施例中，在步骤二中，还包括如下步骤：
步骤201，对第一步得到的人脸图像，首先使用一些业界成熟的算法(如ASM算法)进行特征点的检测，从而获取到特征点的坐标，这些坐标主要反映出眼睛，鼻子，嘴巴，人脸轮廓等的重要位置的信息。然后依据这些坐标通过opencv对人脸图像进行平移，缩放，旋转处理，进而得到一组人脸的正脸图片。
步骤202，我们把得到的正脸图片命名为数据库A，同时将数据库A中的人脸图片分为M组，每组N张图片，每一组中都有每个人的一张不同的人脸图片。在M组图片中随机取出2组作为训练样本，以此作为判断人脸身份的参照基准，剩下M-2组作为测试样本。
进一步的，在本实施例中，在步骤三中，还包括如下步骤：
步骤301，划分人脸主要区域和次要区域
步骤3011，对于一张待测人脸，建立坐标系，用ASM算法找出人脸五个主要特征点的坐标，主要特征点为左右眼睛，鼻子，左右嘴角，记为cp＝{(x1,y1),…,(x5,y5)}。其中cp为一个集合， (x1,y1)为左眼睛坐标(x2,y2)为右眼睛坐标(x3,y3)为鼻子坐标(x4,y4)为左嘴角坐标(x5,y5)为右嘴角坐标。
步骤3012，分别以每一个主要特征点为中心，设置窗口偏移长度w，使用w计算五个主要特征区域其图像示例如图2。为保证主要特征区域和次要特征区域的点数对于每一张经过预处理的人脸图像都是一样多的，我们设定w为恒定值。同时，我们把主要特征区域的左上角坐标设为右下角坐标设为其计算公式为：其中(xi,yi)为对应的步骤3011中的人脸主要特征点坐标，w为主要区域的半径。
步骤302，计算APLBP像素特征值
步骤3021，对于人脸图像的主要区域，用半径小,区域采样点多的圆形算子提取其中心点LBP(局部二值模式)像素特征值；对于人脸图像的次要区域，用半径大，区域采样点少的圆形算子提取其中心点LBP像素特征值，其中R1＜R2且P1＞P2(R代表采样半径，P代表采样点的数目)。我们设gc(x,y)表示待求点，其坐标为(x,y)，由圆形LBP特征值的计算公式可得，这一点的LBP特征值如下：上式中第一个为关键区域，第二个为非关键区域。
步骤3022，将这个圆形邻域以圆心为中心点，以步长为一个像素单位进行滑动，分别计算每个区域内的LBP特征值就能得到原始图像的LBP特征图。对于原始图像中的边缘部分，LBP 像素特征值直接记为0，由此得到整张图像的LBP像素特征值，并组成LBP特征图，其图像示例如图1。
步骤303，利用APLBP算法进行第一次识别
对于所有数据库A中的训练样本，用APLBP算法计算其中所有图片的LBP特征图。然后我们将LBP特征图进行分块处理，做出每一个模块的直方图。接着通过直方图，分别计算训练集图片的特征向量Δgtrain，其特征向量计算公式为：g为对应图像某一块的特征值。然后，在某个待测样本的测试集中任意选取一张图片，并计算其特征向量Δgtest。接着计算其与训练集中所有图片特征向量的欧氏距离ΔΩ，其计算公式为：ΔΩ＝|Δgtrain-Δgtest|。最后，找出与它距离最近的K个训练样本的人脸，并将这K个人脸图片传入下一层。
进一步的，在本实施例中，在步骤四中，还包括如下步骤：
步骤401，轻量化卷积神经网络如(LCNN)神经网络识别算法。
根据上一层中过滤下来的与该测试样本最相似的K个人脸，用LCNN网络提取特征并进行比较测试，其整体图像示例如图3，使用LCNN网络提取训练样本中这N个人脸的特征，计算该测试样本与这N个人脸的余弦距离，其计算公式为：以其中距离最小的人脸作为识别结果，若待测图片的标签与对应的识别出的训练样本的标签相同则记为一次识别正确，否则记为一次识别错误。
步骤402，LCNN卷积神经网络卷积层FPGA加速
LCNN网络结构如图4，其中包含了多层卷积层，卷积的操作过程如图5，Cov Kernel代表一个3×3大小的卷积核，图中左下角为一个6×6大小的输入图片，Cov layer代表卷积操作输出的结果。卷积过程中卷积核不断与图像中的对应区域相乘求和(相同位置数字相乘后相加)，最终得到卷积结果。卷积运算单元如图6，我们可以看出其卷积单元的计算层具有的独立性以及各层之间的复用性，针对这个现象我们利用FPGA并行流水线工作的特点，让卷积做并行运算从而加快卷积层的操作速度。
进一步的，在本实施例中，在步骤五中，还包括如下步骤：
步骤501，对于第i组测试集，用tsi表示总共测试次数，用tri表示其中正确识别的次数，则第i组测试集识别率ari为：计算所有组测试集的识别率，则所有M-2组测试集的平均识别率为：最后我们通过搭建工程将人脸检测和识别的结果由嵌入式装置通过HDMI接口连入显示器并输出。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种改进LBP和轻量卷积神经网络级联的人脸识别方法，其特征在于，提供：
对齐分区局部二值模式初次识别测试单元，用于划分人脸的主要区域和次要区域，通过采用APLBP算法计算人脸图片的APLBP像素特征值，并通过计算人脸相似度的度量值进行第一次识别，得到多张相似的人脸图片；
APLBP与轻量化卷积神经网络级联的二次识别测试单元，用于对经所述对齐分区局部二值模式初次识别测试单元得到的人脸图片，通过级联的方式，在轻量化卷积神经网络进行卷积池化处理提取特征，并根据计算人脸相似度所获取的度量值进行比较，识别出最佳匹配人脸；
轻量化卷积神经网络并行流水线模块加速单元，用于对轻量化卷积神经网络中的各个卷积层中的卷积做并行运算，以加快操作速度；
计算平均识别率单元，通过计算所有测试集的识别率，加权求得总体样本的平均识别率，输出人脸检测结果。
2.根据权利要求1所述的一种改进LBP和轻量卷积神经网络级联的人脸识别方法，其特征在于，包括如下步骤：
步骤S1：对通过开源视觉处理代码模块得到的人脸图像，进行特征点的检测；获取特征点的坐标，根据坐标通过开源视觉处理代码模块对人脸图像进行平移、缩放以及旋转处理，得到一组人脸的正脸图片，并命名数据库，训练集和测试集；对于任意一张人脸图片，通过对齐分区局部二值模式初次识别测试单元采用APLBP算法进行初次识别，包括三个阶段：第一阶段为划分人脸主要区域和次要区域，第二阶段为计算APLBP像素特征值，第三阶段为采用APLBP算法进行第一次识别；
步骤S2：对于经所述对齐分区局部二值模式初次识别测试单元得到的人脸图片，通过级联的方式，利用轻量化卷积神经网络进行再次识别，通过卷积池化进一步处理提取特征，通过计算人脸相似度的度量值进行比较，识别出最佳匹配人脸；
步骤S3：对轻量化卷积神经网络中的卷积层中的卷积做并行运算，加快操作速度，实现加速；
步骤S4：计算平均识别率单元通过计算所有测试集的识别率，加权求得总体样本的平均识别率，并输出结果。
3.根据权利要求2所述的一种改进LBP和轻量卷积神经网络级联的人脸识别方法，其特征在于，在所述步骤S1中，还包括如下步骤：
步骤S11：所述特征点的坐标用于反映眼睛、鼻子、嘴巴、人脸轮廓；将得到的人脸的正脸图片命名为数据库A，同时将数据库A中的人脸图片分为M组，每组N张图片，每一组中都有每个人的一张不同的人脸图片；在M组图片中随机取出2组作为训练样本，作为判断人脸身份的参照基准，剩下M-2组作为测试样本；
步骤S12：划分人脸主要区域和次要区域；
步骤S121：对于一张待测人脸，建立坐标系，获取人脸五个主要特征点的坐标，包括：左眼睛、右眼睛、鼻子、左嘴角以及右嘴角，并记为cp＝{(x1,y1),…,(x5,y5)}；
步骤S122：分别以每一个主要特征点为中心，设置窗口偏移长度w，根据w计算五个主要特征区域，且令w为恒定值；记主要特征区域的左上角坐标设为右下角坐标设为其计算公式为：
步骤S13：计算APLBP像素特征值；
步骤S131：对于人脸图像的主要区域，采用圆形算子提取其中心点LBP像素特征值；对于人脸图像的次要区域，采用圆形算子提取其中心点LBP像素特征值，其中R1＜R2且P1＞P2；记gc(x,y)为待求点，其坐标为(x,y)，由圆形LBP特征值的计算公式得，该点的LBP特征值如下：
步骤S132，将这个圆形邻域以圆心为中心点，以步长为一个像素单位进行滑动，分别计算每个区域内的LBP特征值，得到原始图像的LBP特征图；对于原始图像中的边缘部分，记LBP像素特征值为0，得到整张图像的LBP像素特征值，并组成LBP特征图；
步骤S14：采用APLBP算法进行第一次识别；
对于数据库A中的训练样本，用APLBP算法计算其中所有图片的LBP特征图；将LBP特征图进行分块处理，获取每一个模块的直方图；根据直方图分别计算训练集图片的特征矢量Δgtrain，其特征矢量计算公式为：在测试集中任意选取一张图片，计算其特征矢量Δgtest，并计算Δgtest与训练集中所有图片特征矢量的人脸相似度的度量值，获取与测试集中该图片距离最近的K个训练样本的人脸，并将这K个人脸图片传入下一层。
4.根据权利要求3所述的一种改进LBP和轻量卷积神经网络级联的人脸识别方法，其特征在于，在所述步骤S2中，还包括如下步骤：
步骤S21：轻量化卷积神经网络识别算法；
根据上一层中过滤下来的K个人脸图片，通过轻量化卷积神经网络在嵌入式板卡上进行特征提取，并进行比较测试；使用轻量化卷积神经网络提取训练样本中的N个人脸的特征，计算该测试集中测试样本与该N个人脸的人脸相似度的度量值，将其中距离最小的人脸作为识别结果；若测试样本的标签与对应的识别出的训练样本的标签相同，则记为一次识别正确，否则记为一次识别错误。
5.根据权利要求3所述的一种改进LBP和轻量卷积神经网络级联的人脸识别方法，其特征在于，在所述步骤S3中，还包括如下步骤：
步骤S31：轻量化卷积神经网络卷积层并行模块加速；
轻量化卷积神经网络包括多层卷积层，其中，Cov Kernel表示一个3×3大小的卷积核，Cov layer表示卷积操作输出的结果；卷积过程中卷积核不断与输入图像中的对应区域相乘求和，最终得到卷积结果；基于卷积单元的计算层的独立性以及各层之间的复用性，通过采用并行流水线，让卷积做并行运算，加快卷积层的操作速度。
6.根据权利要求4所述的一种改进LBP和轻量卷积神经网络级联的人脸识别方法，其特征在于，在所述步骤S4中，对于第i组测试集，记tsi为总共测试次数，tri为其中正确识别的次数，则第i组测试集识别率ari为：计算所有组测试集的识别率，则所有M-2组测试集的平均识别率为：通过搭建工程将人脸检测和识别的结果输出。
CN201811413568.0A 2018-11-23 2018-11-23 一种改进lbp和轻量卷积神经网络级联的人脸识别方法 Active CN109583357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811413568.0A CN109583357B (zh) 2018-11-23 2018-11-23 一种改进lbp和轻量卷积神经网络级联的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811413568.0A CN109583357B (zh) 2018-11-23 2018-11-23 一种改进lbp和轻量卷积神经网络级联的人脸识别方法

Publications (2)

Publication Number Publication Date
CN109583357A true CN109583357A (zh) 2019-04-05
CN109583357B CN109583357B (zh) 2022-07-08

Family

ID=65924035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811413568.0A Active CN109583357B (zh) 2018-11-23 2018-11-23 一种改进lbp和轻量卷积神经网络级联的人脸识别方法

Country Status (1)

Country Link
CN (1) CN109583357B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222647A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于卷积神经网络的人脸活体检测方法
CN111428606A (zh) * 2020-03-19 2020-07-17 华南师范大学 一种面向边缘计算的轻量级人脸对比验证方法
CN111695450A (zh) * 2020-05-26 2020-09-22 东南大学 一种基于IMobileNet的人脸快速识别方法
CN111798828A (zh) * 2020-05-29 2020-10-20 厦门快商通科技股份有限公司 合成音频检测方法、系统、移动终端及存储介质
CN111815658A (zh) * 2019-04-11 2020-10-23 普天信息技术有限公司 一种图像识别方法及装置
CN111950389A (zh) * 2020-07-22 2020-11-17 重庆邮电大学 一种基于轻量级网络的深度二值特征人脸表情识别方法
CN112001202A (zh) * 2019-05-27 2020-11-27 北京君正集成电路股份有限公司 一种二次人脸检测的网络结构设置方法
CN113496186A (zh) * 2020-08-21 2021-10-12 上海齐感电子信息科技有限公司 移动端设备及其人脸识别方法
CN114360033A (zh) * 2022-03-18 2022-04-15 武汉大学 基于图卷积融合网络的口罩人脸识别方法、系统及设备
CN116524569A (zh) * 2023-05-10 2023-08-01 深圳大器时代科技有限公司 一种基于归类算法的多并发人脸识别系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024141A (zh) * 2010-06-29 2011-04-20 上海大学 基于Gabor小波变换和局部二值模式优化的人脸识别方法
CN106548165A (zh) * 2016-11-28 2017-03-29 中通服公众信息产业股份有限公司 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN106599883A (zh) * 2017-03-08 2017-04-26 王华锋 一种基于cnn的多层次图像语义的人脸识别方法
CN106778683A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于改进lbp特征的快速多角度人脸检测方法
CN107145842A (zh) * 2017-04-19 2017-09-08 西安电子科技大学 结合lbp特征图与卷积神经网络的人脸识别方法
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024141A (zh) * 2010-06-29 2011-04-20 上海大学 基于Gabor小波变换和局部二值模式优化的人脸识别方法
CN106548165A (zh) * 2016-11-28 2017-03-29 中通服公众信息产业股份有限公司 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN106778683A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于改进lbp特征的快速多角度人脸检测方法
CN106599883A (zh) * 2017-03-08 2017-04-26 王华锋 一种基于cnn的多层次图像语义的人脸识别方法
CN107145842A (zh) * 2017-04-19 2017-09-08 西安电子科技大学 结合lbp特征图与卷积神经网络的人脸识别方法
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGSHUAI ZHANG ET AL.: "A face recognition method based on LBP feature for CNN", 《 2017 IEEE 2ND ADVANCED INFORMATION TECHNOLOGY, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IAEAC)》, 2 October 2017 (2017-10-02) *
吴焱扬: "基于改进LBP与LCNN的人脸识别技术研究", 《中国优秀硕博士学位论文全文数据库（硕士） 信息科技辑》, no. 7, 15 July 2019 (2019-07-15), pages 138 - 959 *
李腾等: "基于局部二值特征与深度学习的人脸识别", 《内蒙古科技大学学报》, no. 02, 15 June 2018 (2018-06-15) *
王大伟等: "基于LBP与卷积神经网络的人脸识别", 《天津理工大学学报》, no. 06, 15 December 2017 (2017-12-15) *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815658B (zh) * 2019-04-11 2023-11-24 普天信息技术有限公司 一种图像识别方法及装置
CN111815658A (zh) * 2019-04-11 2020-10-23 普天信息技术有限公司 一种图像识别方法及装置
CN112001202A (zh) * 2019-05-27 2020-11-27 北京君正集成电路股份有限公司 一种二次人脸检测的网络结构设置方法
CN112001202B (zh) * 2019-05-27 2023-07-07 北京君正集成电路股份有限公司 一种二次人脸检测的网络结构设置方法
CN110222647A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于卷积神经网络的人脸活体检测方法
CN110222647B (zh) * 2019-06-10 2022-05-10 大连民族大学 一种基于卷积神经网络的人脸活体检测方法
CN111428606B (zh) * 2020-03-19 2023-03-31 华南师范大学 一种面向边缘计算的轻量级人脸对比验证方法
CN111428606A (zh) * 2020-03-19 2020-07-17 华南师范大学 一种面向边缘计算的轻量级人脸对比验证方法
CN111695450A (zh) * 2020-05-26 2020-09-22 东南大学 一种基于IMobileNet的人脸快速识别方法
CN111798828B (zh) * 2020-05-29 2023-02-14 厦门快商通科技股份有限公司 合成音频检测方法、系统、移动终端及存储介质
CN111798828A (zh) * 2020-05-29 2020-10-20 厦门快商通科技股份有限公司 合成音频检测方法、系统、移动终端及存储介质
CN111950389A (zh) * 2020-07-22 2020-11-17 重庆邮电大学 一种基于轻量级网络的深度二值特征人脸表情识别方法
CN113496186A (zh) * 2020-08-21 2021-10-12 上海齐感电子信息科技有限公司 移动端设备及其人脸识别方法
CN114360033A (zh) * 2022-03-18 2022-04-15 武汉大学 基于图卷积融合网络的口罩人脸识别方法、系统及设备
CN114360033B (zh) * 2022-03-18 2022-06-14 武汉大学 基于图卷积融合网络的口罩人脸识别方法、系统及设备
CN116524569A (zh) * 2023-05-10 2023-08-01 深圳大器时代科技有限公司 一种基于归类算法的多并发人脸识别系统及方法

Also Published As

Publication number Publication date
CN109583357B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN109583357A (zh) 一种改进lbp和轻量卷积神经网络级联的人脸识别方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN101576956B (zh) 基于机器视觉的在线字符检测方法和系统
CN112926405A (zh) 一种安全帽佩戴检测方法、系统、设备及存储介质
CN109325395A (zh) 图像的识别方法、卷积神经网络模型的训练方法及装置
CN105069774B (zh) 基于多示例学习与图割优化的目标分割方法
CN110599463B (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN114495029B (zh) 一种基于改进YOLOv4的交通目标检测方法及系统
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法
CN108932712A (zh) 一种转子绕组质量检测系统及方法
CN109117746A (zh) 手部检测方法及机器可读存储介质
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN111476307A (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN105956581B (zh) 一种快速的人脸特征点初始化方法
CN113538412B (zh) 一种航拍图像的绝缘子缺陷检测方法及装置
CN104751487A (zh) 一种基于彩色rgb三平面色变帧差的运动目标检测方法
CN114373144B (zh) 一种用于高速视频中圆形标识点的自动识别方法
CN110738194A (zh) 一种基于点云有序编码的三维物体识别方法
CN110443277A (zh) 基于注意力模型的少量样本分类方法
CN117079272A (zh) 一种结合手工特征和学习特征的弹底窝痕特征识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant