CN110210432A - 一种基于智能安防机器人非受限条件下的人脸识别方法 - Google Patents

一种基于智能安防机器人非受限条件下的人脸识别方法 Download PDF

Info

Publication number
CN110210432A
CN110210432A CN201910492676.XA CN201910492676A CN110210432A CN 110210432 A CN110210432 A CN 110210432A CN 201910492676 A CN201910492676 A CN 201910492676A CN 110210432 A CN110210432 A CN 110210432A
Authority
CN
China
Prior art keywords
image
pixel
face
formula
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910492676.XA
Other languages
English (en)
Inventor
王耀南
黄亨斌
毛建旭
朱青
周士琪
张思远
钟杭
袁小芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN201910492676.XA priority Critical patent/CN110210432A/zh
Publication of CN110210432A publication Critical patent/CN110210432A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于智能安防机器人非受限条件下的人脸识别方法，首先，利用HOG特征对图像进行人脸检测，然后提取人脸区域图像用于后续处理；然后，利用CNN卷积神经网络训练一个对清晰图像和模糊图像进行二分类的分类器，之后再对分类出来的模糊图像进行去模糊处理，清晰图像则跳过这一步骤；接着，再利用Lucy‑Richardson算法对运动图像帧序列进行去模糊处理；再使用SRCNN图像超分辨算法将图像归一化到同一大小尺度；再将经过以上步骤处理的图像输入到训练好的CNN卷积神经网络中提取特征向量；最后，通过SVM对提取出的特征向量进行分类，从而实现人脸识别。本发明具有有效地提高智能安防机器人在巡逻过程中识别人脸的效率和精度的优点。

Description

一种基于智能安防机器人非受限条件下的人脸识别方法
技术领域
本发明涉及计算机视觉技术领域，更具体地，涉及一种基于智能安防机器人非受限条件下的人脸识别方法。
背景技术
现有的安防主要利用视频监控,需要有专门的安防人员24小时不间断的查看和安保人员定时执行巡逻任务,人力资源开销大,而且靠人进行监视和巡逻容易在夜间疲惫等情况下发生疏漏情况。且当发生大面积停电时,传统安防系统多数都会瘫痪。智能安防机器人可应用于室内外的安防巡逻任务，并进行环境数据收集，构成灵活的监控系统。安防机器人能够在比较恶劣的环境下继续安防巡逻工作，大大节省人力资源，在安全性上具备绝对优势。由于智能安防机器人巡逻时获得的图像质量有好有坏，对于人脸识别而言不能要求被识别人员的高度配合，而传统的人脸识别方法大多基于被识别人员的高度配合才能达到高精度的识别率。鉴于此，研究一种高精度的非受限的人脸识别技术是本技术领域人员需要解决的技术问题。
发明内容
有鉴于此，本发明提出一种基于智能安防机器人非受限条件下的人脸识别方法，该方法经过图像去模糊、变光照、超分辨处理的图像帧序列，解决了现有智能安防机器人巡逻过程中获得图像模糊、光照条件复杂多变、人脸姿态变化和人脸图像低分辨率等造成的人脸识别精度降低或识别不成功的问题。
本发明的基于智能安防机器人非受限条件下的人脸识别方法，包括以下步骤：
S1,利用HOG特征对图像进行人脸检测，并截取对应的人脸图像；
S2,通过预先训练好的基于CNN卷积神经网络的二分类分类器判断截取的人脸图像是否模糊，若是，则进入步骤S3；反之，则进入步骤S4；
S3,对步骤S2中分类得到的模糊人脸图像使用Lucy-Richardson算法作去模糊处理，再进入步骤S4；
S4,对步骤S2或S3处理后的人脸图像通过SRCNN图像超分辨算法处理，得到高分辨率图像后归一化统一大小；
S5,通过预先训练好的CNN卷积神经网络提取特征向量；
S6,通过预先训练好的SVM分类器对步骤SS5得到的特征向量进行分类，实现人脸识别。
进一步地，步骤S1中利用HOG特征对图像进行人脸检测的具体实现方法为：
S11，开始并载入彩色人脸图像；
S12，将彩色人脸图像转换为灰度图；
S13，将灰度图分割为若干8*8像素的小方块；
S14,计算每个小方块的方向梯度分布直方图；
S15,选取直方图中梯度分布数量最大的方向作为该小方块的总方向；
S16，将小方块用方向箭头代替，得到由许多箭头表示的人脸HOG特征图；
S17，通过比对与人脸HOG特征图相似部分检测出图像中的人脸区域。
进一步地，步骤S14中小方块的方向梯度分布直方图通过如下步骤得到：
S141，利用梯度算子对小方块进行卷积，计算得到每个像素点处的梯度方向和幅值，具体公式如下：
式中，Ix为水平方向上的梯度值，Iy为垂直方向上的梯度值，G(x,y)代表梯度的幅值，θ(x,y)代表梯度的方向；
S142，将360度角根据需要分割成12个区域，每个区域包含30度，整个直方图包含12维；
S143，根据每个像素点的梯度方向，利用三线性插值法将其幅值累加到直方图中，得到每个小方块的方向梯度直方图。
进一步地，步骤S2中基于CNN卷积神经网络的二分类分类器通过如下方法训练验证：
S21，准备好训练所用的数据集，数据集中包含有清晰图像和模糊图像，分别放在两个不同的文件夹；
S22，搭建训练用的CNN卷积神经网络；
S23，采用批量随机梯度下降算法进行优化算法求解；
S24，运用步骤S21中准备的数据集重复迭代进行训练；
S25，训练完成后，将该CNN卷积神经网络用于模糊图像的识别。
进一步地，步骤S22中CNN卷积神经网络包括一个输入层、四个卷积层、四个池化层、两个全连接层及一个输出层，其中，卷积层均采用relu激活函数，输出层采用softmax回归输出两个类别的概率。
进一步地，步骤S3中所采用的对步骤S2分类得到的模糊图像使用Lucy-Richardson算法作去模糊处理的具体实现方法为:
S31，建立基本模型
Y＝γ*P (2)
式中，Y表示退化图像，γ表示原始图像，P表示点扩散函数，表示卷积操作，其中，
式中，i和j均为像素点，n为原始图像像素点个数，d为退化图像像素点个数，p(i,j)为点扩散函数，λi为像素点i的真实像素值，yj为像素点j的观测像素值；
S32，假设观测图像和真实图像包含数量相同的像素点；
S33，yj满足泊松分布，即：
yj～Poisson(μj) (4)
其中，uj表示泊松分布的参数，其公式为：
S34，引入泊松分布的概率函数和高斯型点扩展函数：
式中，λ表示泊松分布的期望和方差，k表示变量的值，d(i，j)表示像素点i和j的距离，δ表示方差；
S35，将公式(4)转换为如下公式：
z(i，j)～Poisson(λip(i，j)) (7)
式中，z(i，j)表示像素点i在像素点j上的映射贡献，故yj可由下式表示：
式中，λk表示像素点k的真实像素值，p(k，j)表示点扩散函数在像素点(k，j)处的值；
S36，假定图像γ已知，z(i，j)可由下式估计：
则λ可由下式估计：
S37，得到最后的迭代式：
式中，t表示迭代的次数，λk (t)表示t时刻像素点k的真实像素值，λi (t)表示t时刻像素点i的真实像素值，λi (t+1)表示t+1时刻像素点i的真实像素值。
进一步地，步骤S4中人脸图像通过SRCNN图像超分辨算法处理，得到高分辨率图像后归一化的统一大小为128*128，具体通过如下方法实现：
S41,利用Bicubic插值法，构造BiCubic插值函数
式中，a为变化系数,x为该像素点到P点的距离，W(x)为该像素点的权重；
S42,对待插值的像素点(x,y),取其附近的4x4邻域点(xi,yj),其中，x和y可以为浮点数，i,j＝0,1,2,3；
S43,通过如下公式进行插值计算，将图像转换为128*128的大小：
式中，f(x,y)表示转换后的图像函数，f(xi,yj)表示表示原始图像函数，W(x-xi)表示表示xi的权重，W(y-yj)表示表示yj的权重。
进一步地，步骤S4中所采用的使用SRCNN图像超分辨算法基于三层卷积神经网络，其中，第一个卷积层：卷积核尺寸9×9，卷积核数目64；第二个卷积层：卷积核尺寸1×1，卷积核数目32；第三个卷积层：卷积核尺寸5×5，卷积核数目1。
进一步地，步骤S5中所采用的训练一个提取特征向量的CNN卷积神经网络的具体实现方法为：
S51,通过Triplet Loss损失函数训练CNN卷积神经网络，使用欧式距离作为相似性度量，所述Triplet Loss损失函数的为：
式中，为锚示例，为正示例，为负示例，为锚示例与正示例的欧式距离度量，为锚示例与负示例的欧式距离度量，a为锚示例与正示例之间的距离和锚示例与负示例之间的距离的最小间隔；
S52，步骤S51中的CNN卷积神经网络的网络结构包括四个卷积层、四个最大池化层、一个全连接层，模型输入为一个三元组，大小为128*128*3，第一个卷积层：卷积核尺寸11×11，卷积核数目为48，使用最大值池化，步长为2；第二个卷积层：卷积核尺寸5×5，卷积核数目为128，使用最大值池化，步长为2；第三个卷积层：卷积核尺寸3×3，卷积核数目为192，使用最大值池化，步长为2；第四个卷积层：卷积核尺寸3×3，卷积核数目为128，使用最大值池化，步长为2；全连接层输出128维特征向量。
进一步地，步骤S6中所采用的SVM分类器预先训练的具体实现方法为：
S61，提前建立人脸数据库；
S62，将数据库中所有图像通过步骤S5训练的CNN卷积神经网络分别提取出128维的特征向量；
S63,任意两类样本之间设计一个SVM,进行一对一法分类训练，当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。
本发明提供的基于智能安防机器人非受限条件下的人脸识别方法，(1)由于人脸识别工作只需要对人脸区域图像处理，为避免处理其余区域图像造成计算资源浪费，所以第一步先利用HOG特征对图像进行人脸检测，然后提取人脸区域图像用于后续处理；(2)为克服智能安防机器人抖动造成运动图像模糊的问题，利用Lucy-Richardson算法对运动图像帧序列进行去模糊处理，考虑到对本身已经清晰的图像进行去模糊处理造成的计算资源浪费，所以利用CNN卷积神经网络训练一个对清晰图像和模糊图像进行二分类的分类器，之后再对分类出来的模糊图像进行去模糊处理，清晰图像则跳过这一步骤；(3)使用SRCNN图像超分辨算法将图像归一化到同一大小尺度；(4)将经过以上步骤处理的图像输入到训练好的CNN卷积神经网络中提取特征向量；(5)通过SVM对提取出的特征向量进行分类，从而实现人脸识别。故此，采用本发明的基于智能安防机器人非受限条件下的人脸识别方法具有有效地提高智能安防机器人在巡逻过程中识别人脸的效率和精度的优点。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的基于智能安防机器人非受限条件下的人脸识别方法的流程图；
图2为本发明中利用HOG特征人脸检测方法的流程图；
图3为本发明中对清晰图像和模糊图像进行二分类的CNN卷积神经网络结构图；
图4为本发明中图像超分辨算法SRCNN的卷积神经网络结构图；
图5为本发明中提取特征向量的CNN卷积神经网络的网络结构图；
图6为本发明中人脸识别方法和两种传统算法的对比图；
图7为本发明中人脸识别方法和两种传统算法随距离变化精度曲线图(其中，①号曲线为本发明人脸识别方法在不同距离下的识别精度曲线，②号曲线为VGGFace算法下人脸识别在不同距离下的识别精度曲线，③号曲线为FaceNet算法下人脸识别在不同距离下的识别精度曲线)。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要说明的是，为更好地阐述本发明，此处做出如下解释：
HOG(Histogram of Oriented Gradient)，方向梯度直方图；
CNN(Convolutional Neural Networks)，卷积神经网络；
Lucy-Richardson算法，又称LR算法，是一种非线性方法；
SRCNN(Super-Resolution Convolutional Neural Network)，基于卷积神经网络来实现图像重构；
SVM(support vector machine)，支持向量机；
Relu激活函数，(Rectified Linear Units)激活函数；
Softmax回归(Softmax Regression)，用于解决多分类问题；
Bicubic插值法，双三次的插值法；
Triplet Loss，三元组损失函数。
图1是本发明实施例提供的本发明实施例提供的基于智能安防机器人非受限条件下的人脸识别方法的流程图。如图1所示，本发明的基于智能安防机器人非受限条件下的人脸识别方法，包括以下步骤：
S1,利用HOG特征对图像进行人脸检测，并截取对应的人脸图像；
S2,通过预先训练好的基于CNN卷积神经网络的二分类分类器判断截取的人脸图像是否模糊，若是，则进入步骤S3；反之，则进入步骤S4；
S3,对步骤S2中分类得到的模糊人脸图像使用Lucy-Richardson算法作去模糊处理，再进入步骤S4；
S4,对步骤S2或S3处理后的人脸图像通过SRCNN图像超分辨算法处理，得到高分辨率图像后归一化统一大小；
S5,通过预先训练好的CNN卷积神经网络提取特征向量；
S6,通过预先训练好的SVM分类器对步骤SS5得到的特征向量进行分类，实现人脸识别。
需要说明的是步骤S3与S4之前还包括如下步骤：使用伽马矫正算法对去模糊后的图像进行光照处理；
同时，如图2所示，步骤S1中利用HOG特征对图像进行人脸检测的具体实现方法为：
S11，开始并载入彩色人脸图像；
S12，将彩色人脸图像转换为灰度图；
S13，将灰度图分割为若干8*8像素的小方块；
S14,计算每个小方块的方向梯度分布直方图；
具体地，步骤S14中小方块的方向梯度分布直方图通过如下步骤得到：
S141，利用梯度算子对小方块进行卷积，计算得到每个像素点处的梯度方向和幅值，具体公式如下：
式中，Ix为水平方向上的梯度值，Iy为垂直方向上的梯度值，G(x,y)代表梯度的幅值，θ(x,y)代表梯度的方向；
S142，将360度角根据需要分割成12个区域，每个区域包含30度，整个直方图包含12维；
S143，根据每个像素点的梯度方向，利用三线性插值法将其幅值累加到直方图中，得到每个小方块的方向梯度直方图。即将当前像素的梯度方向大小、像素在小方块中的x坐标与y坐标这三个值来作为插值权重，而被用来插入的值为像素的梯度幅值，就可以得到每个小方块的方向梯度直方图。
需要说明的是，前述梯度算子可为sobel算子(索贝尔算子)，laplacian算子(拉普拉斯算子)等任意一种。
S15,选取直方图中梯度分布数量最大的方向作为该小方块的总方向；
S16，将小方块用方向箭头代替，得到由许多箭头表示的人脸HOG特征图；
S17，通过比对与人脸HOG特征图相似部分检测出图像中的人脸区域。
在进一步地技术方案中，步骤S2中基于CNN卷积神经网络的二分类分类器通过如下方法训练验证：
S21，准备好训练所用的数据集，数据集中包含有清晰图像和模糊图像，分别放在两个不同的文件夹；此处，以清晰图像和模糊图像各500张为例；
S22，搭建训练用的CNN卷积神经网络；
需要说明的是，由于只是处理二分类任务，所以网络不需要太深，如图3所示，CNN卷积神经网络包括一个输入层、四个卷积层、四个池化层、两个全连接层及一个输出层，其中，卷积层均采用relu激活函数，输出层采用softmax回归输出两个类别的概率。
S23，采用批量随机梯度下降算法进行优化算法求解；
由于采用批量随机梯度下降算法(MSGD)，因此，要先定义MSGD的一些要素，主要包括：代价函数，训练、验证、测试model、参数更新规则(即梯度下降)；
S24，运用步骤S21中准备的数据集重复迭代进行训练；
训练过程有训练步数和迭代次数的设置，每步会遍历所有的训练数据，本例中也就是1000个图像，一次迭代遍历一个数据集里的所有样本；
S25，训练完成后，将该CNN卷积神经网络用于模糊图像的识别。
优选地，步骤S3中所采用的对步骤S2分类得到的模糊图像使用Lucy-Richardson算法作去模糊处理的具体实现方法为:
S31，建立基本模型
Y＝γ*P (2)
式中，Y表示退化图像，γ表示原始图像，P表示点扩散函数，表示卷积操作，其中，
式中，i和j均为像素点，n为原始图像像素点个数，d为退化图像像素点个数，p(i，j)为点扩散函数，λi为像素点i的真实像素值，yj为像素点j的观测像素值；
S32，假设观测图像和真实图像包含数量相同的像素点；
S33，yj满足泊松分布，即：
yj～Poisson(μj) (4)
其中，uj表示泊松分布的参数，其公式为：
S34，引入泊松分布的概率函数和高斯型点扩展函数：
式中，λ表示泊松分布的期望和方差，也是单位时间(或单位面积)内随机事件的平均发生率，k表示变量的值，d(i，j)表示像素点i和j的距离，δ表示方差；
S35，将公式(4)转换为如下公式：
z(i，j)～Poisson(λip(i，j)) (7)
式中，z(i，j)表示像素点i在像素点j上的映射贡献，故yj可由下式表示：
式中，λk表示像素点k的真实像素值，p(k，j)表示表示点扩散函数在像素点(k，j)处的值；
S36，假定图像γ已知，z(i，j)可由下式估计：
则λ可由下式估计：
S37，得到最后的迭代式：
式中，t表示迭代的次数，λk (t)表示t时刻像素点k的真实像素值，λi (t)表示t时刻像素点i的真实像素值，λi (t+1)表示t+1时刻像素点i的真实像素值。
此外值得提及的是，步骤S4中人脸图像通过SRCNN图像超分辨算法处理，得到高分辨率图像后归一化的统一大小为128*128，具体通过如下方法实现：
S41,利用Bicubic插值法，构造BiCubic插值函数
式中，a为变化系数,x表示该像素点到P点的距离，W(x)为该像素点的权重；
S42,对待插值的像素点(x,y),取其附近的4x4邻域点(xi,yj),其中，x和y可以为浮点数，i,j＝0,1,2,3；
S43,通过如下公式进行插值计算，将图像转换为128*128的大小：
式中，f(x,y)表示转换后的图像函数，f(xi,yj)表示原始图像函数，W(x-xi)表示xi的权重，W(y-yj)表示yj的权重。
将低分辨率图像输入三层卷积神经网络，对YCrCb(即YUV，主要用于优化彩色视频信号的传输，其中，Y表示明亮度，也就是灰阶值，是个基带信号；而U和V表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色，U和V不是基带信号，它俩是被正交调制了的)颜色空间中的Y通道进行重建，网络形式为(conv1+relu1)—(conv2+relu2)—(conv3))，SRCNN图像超分辨算法基于三层卷积神经网络，如图4所示，该卷积神经网络第一个卷积层：卷积核尺寸9×9，卷积核数目64，输出64张特征图；第二个卷积层：卷积核尺寸1×1，卷积核数目32，输出32张特征图；第三个卷积层：卷积核尺寸5×5，卷积核数目1，输出1张特征图即为最终重建高分辨率图像。
进一步地，步骤S5中所采用的训练一个提取特征向量的CNN卷积神经网络的具体实现方法为：
S51,通过Triplet Loss损失函数训练CNN卷积神经网络，使用欧式距离作为相似性度量，所述Triplet Loss损失函数的为：
式中，为锚示例，为正示例，为负示例，为锚示例与正示例的欧式距离度量，为锚示例与负示例的欧式距离度量，a为锚示例与正示例之间的距离和锚示例与负示例之间的距离的最小间隔；
S52，步骤S51中的CNN卷积神经网络的网络结构包括四个卷积层、四个最大池化层、一个全连接层，模型输入为一个三元组，大小为128*128*3，第一个卷积层：卷积核尺寸11×11，卷积核数目为48，使用最大值池化，步长为2；第二个卷积层：卷积核尺寸5×5，卷积核数目为128，使用最大值池化，步长为2；第三个卷积层：卷积核尺寸3×3，卷积核数目为192，使用最大值池化，步长为2；第四个卷积层：卷积核尺寸3×3，卷积核数目为128，使用最大值池化，步长为2；全连接层输出128维特征向量。需要说明的是，本网络结构的网络形式为(conv1+relu1+max_pool1)—(conv2+relu2+max_pool2)—(conv3+relu3+max_pool3)—(conv4+relu4+max_pool4)—(dropout1)—(flatten1)—(flatten2)—(dense1)；全连接层包括两个flatten层和一个dense层，flatten1层输出为2048d，flatten2层输出为1024d，dense层输出128维特征向量，具体见图5。
同时，本发明中步骤S6中所采用的SVM分类器预先训练的具体实现方法为：
S61，提前建立人脸数据库；
数据库具体包括智能安防机器人执行任务的场所中所有可进入人员每人一张正面清晰图像，每张图像拥有独立标签；
S62，将数据库中所有图像通过步骤S5训练的CNN卷积神经网络分别提取出128维的特征向量；
S63,任意两类样本之间设计一个SVM,进行一对一法分类训练，当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。
以k个样本为例，假设有k个类别的样本就需要设计k(k-1)/2个SVM，每当数据库增加图像时，不需要重新训练所有的SVM，只需要重新训练和增加图像样本相关的分类器。
图6为本发明中人脸识别方法和两种传统算法的对比图。图7为本发明中人脸识别方法和两种传统算法随距离变化精度曲线图(其中，①号曲线为本发明人脸识别方法在不同距离下的识别精度曲线，②号曲线为VGGFace算法下人脸识别在不同距离下的识别精度曲线，③号曲线为FaceNet算法下人脸识别在不同距离下的识别精度曲线。依据图6和图7可知，采用本发明的基于智能安防机器人非受限条件下的人脸识别方法具有有效地提高智能安防机器人在巡逻过程中识别人脸精度的优点。
综上所述，本发明具有如下优点：
(1)对于模糊图像使用Lucy-Richardson算法作去模糊处理，提高了智能安防机器人巡逻时由于抖动造成的模糊图像的识别率；
(2)采用Bicubic插值法和SRCNN图像超分辨算法提高图像分辨率，提高了远距离、低分辨率图像的识别率；
(3)采用Triplet Loss损失函数训练CNN卷积神经网络，有效提高了人脸识别的精度；
(4)采用一对一法(one-versus-one,简称OVO)来训练一个多分类的SVM分类器，每当数据库增加图像时，不需要重新训练所有的SVM，只需要重新训练和增加图像样本相关的分类器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，包括以下步骤：
S1,利用HOG特征对图像进行人脸检测，并截取对应的人脸图像；
S2,通过预先训练好的基于CNN卷积神经网络的二分类分类器判断截取的人脸图像是否模糊，若是，则进入步骤S3；反之，则进入步骤S4；
S3,对步骤S2中分类得到的模糊人脸图像使用Lucy-Richardson算法作去模糊处理，再进入步骤S4；
S4,对步骤S2或S3处理后的人脸图像通过SRCNN图像超分辨算法处理，得到高分辨率图像后归一化统一大小；
S5,通过预先训练好的CNN卷积神经网络提取特征向量；
S6,通过预先训练好的SVM分类器对步骤S5得到的特征向量进行分类，实现人脸识别。
2.根据权利要求1所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S1中利用HOG特征对图像进行人脸检测的具体实现方法为：
S11，开始并载入彩色人脸图像；
S12，将彩色人脸图像转换为灰度图；
S13，将灰度图分割为若干8*8像素的小方块；
S14，计算每个小方块的方向梯度分布直方图；
S15,选取直方图中梯度分布数量最大的方向作为该小方块的总方向；
S16，将小方块用方向箭头代替，得到由许多箭头表示的人脸HOG特征图；
S17，通过比对与人脸HOG特征图相似部分检测出图像中的人脸区域。
3.根据权利要求2所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S14中小方块的方向梯度分布直方图通过如下步骤得到：
S141，利用梯度算子对小方块进行卷积，计算得到每个像素点处的梯度方向和幅值，具体公式如下：
式中，Ix为水平方向上的梯度值，Iy为垂直方向上的梯度值，G(x,y)代表梯度的幅值，θ(x,y)代表梯度的方向；
S142，将360度角根据需要分割成12个区域，每个区域包含30度，整个直方图包含12维；
S143，根据每个像素点的梯度方向，利用三线性插值法将其幅值累加到直方图中，得到每个小方块的方向梯度直方图。
4.根据权利要求1所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S2中基于CNN卷积神经网络的二分类分类器通过如下方法训练验证：
S21，准备好训练所用的数据集，数据集中包含有清晰图像和模糊图像，分别放在两个不同的文件夹；
S22，搭建训练用的CNN卷积神经网络；
S23，采用批量随机梯度下降算法进行优化算法求解；
S24，运用步骤S21中准备的数据集重复迭代进行训练；
S25，训练完成后，将该CNN卷积神经网络用于模糊图像的识别。
5.根据权利要求4所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S22中CNN卷积神经网络包括一个输入层、四个卷积层、四个池化层、两个全连接层及一个输出层，其中，卷积层均采用relu激活函数，输出层采用softmax回归输出两个类别的概率。
6.根据权利要求1所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S3中所采用的对步骤S2分类得到的模糊图像使用Lucy-Richardson算法作去模糊处理的具体实现方法为:
S31，建立基本模型
Y＝γ*P (2)
式中，Y表示退化图像，γ表示原始图像，P表示点扩散函数，表示卷积操作，其中，
式中，i和j均为像素点，n为原始图像像素点个数，d为退化图像像素点个数，p(i,j)为点扩散函数，λi为像素点i的真实像素值，yj为像素点j的观测像素值；
S32，假设观测图像和真实图像包含数量相同的像素点；
S33，yj满足泊松分布，即：
yj～Poisson(μj) (4)
其中，uj表示泊松分布的参数，其公式为：
S34，引入泊松分布的概率函数和高斯型点扩展函数：
式中，λ表示泊松分布的期望和方差，k表示变量的值，d(i,j)表示像素点i和j的距离，δ表示方差；
S35，将公式(4)转换为如下公式：
z(i，j)～Poisson(λip(i，j)) (7)
式中，z(i,j)表示像素点i在像素点j上的映射贡献，故yj可由下式表示：
式中，λk表示像素点k的真实像素值，p(k,j)表示点扩散函数在像素点(k，j)处的值；
S36，假定图像γ已知，z(i,j)可由下式估计：
则λ可由下式估计：
S37，得到最后的迭代式：
式中，t表示迭代的次数，λk (t)表示t时刻像素点k的真实像素值，λi (t)表示t时刻像素点i的真实像素值，λi (t+1)表示t+1时刻像素点i的真实像素值。
7.根据权利要求1所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S4中人脸图像通过SRCNN图像超分辨算法处理，得到高分辨率图像后归一化的统一大小为128*128，具体通过如下方法实现：
S41,利用Bicubic插值法，构造BiCubic插值函数
式中，a为变化系数,x表示该像素点到P点的距离，W(x)为该像素点的权重；
S42,对待插值的像素点(x,y),取其附近的4x4邻域点(xi,yj),其中，x和y可以为浮点数，i,j＝0,1,2,3；
S43,通过如下公式进行插值计算，将图像转换为128*128的大小：
式中，f(x,y)表示转换后的图像函数，f(xi,yj)表示原始图像函数，W(x-xi)表示xi的权重，W(y-yj)表示yj的权重。
8.根据权利要求7所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S4中所采用的使用SRCNN图像超分辨算法基于三层卷积神经网络，其中，第一个卷积层：卷积核尺寸9×9，卷积核数目64；第二个卷积层：卷积核尺寸1×1，卷积核数目32；第三个卷积层：卷积核尺寸5×5，卷积核数目1。
9.根据权利要求1所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S5中所采用的训练一个提取特征向量的CNN卷积神经网络的具体实现方法为：
S51,通过Triplet Loss损失函数训练CNN卷积神经网络，使用欧式距离作为相似性度量，所述Triplet Loss损失函数的为：
式中，为锚示例，为正示例，为负示例，为锚示例与正示例的欧式距离度量，为锚示例与负示例的欧式距离度量，a为锚示例与正示例之间的距离和锚示例与负示例之间的距离的最小间隔；
S52，步骤S51中的CNN卷积神经网络的网络结构包括四个卷积层、四个最大池化层、一个全连接层，模型输入为一个三元组，大小为128*128*3，第一个卷积层：卷积核尺寸11×11，卷积核数目为48，使用最大值池化，步长为2；第二个卷积层：卷积核尺寸5×5，卷积核数目为128，使用最大值池化，步长为2；第三个卷积层：卷积核尺寸3×3，卷积核数目为192，使用最大值池化，步长为2；第四个卷积层：卷积核尺寸3×3，卷积核数目为128，使用最大值池化，步长为2；全连接层输出128维特征向量。
10.根据权利要求1所述的基于智能安防机器人非受限条件下的人脸识别方法，其特征在于，步骤S6中所采用的SVM分类器预先训练的具体实现方法为：
S61，提前建立人脸数据库；
S62，将数据库中所有图像通过步骤S5训练的CNN卷积神经网络分别提取出128维的特征向量；
S63,任意两类样本之间设计一个SVM,进行一对一法分类训练，当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。
CN201910492676.XA 2019-06-06 2019-06-06 一种基于智能安防机器人非受限条件下的人脸识别方法 Pending CN110210432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910492676.XA CN110210432A (zh) 2019-06-06 2019-06-06 一种基于智能安防机器人非受限条件下的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492676.XA CN110210432A (zh) 2019-06-06 2019-06-06 一种基于智能安防机器人非受限条件下的人脸识别方法

Publications (1)

Publication Number Publication Date
CN110210432A true CN110210432A (zh) 2019-09-06

Family

ID=67791373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492676.XA Pending CN110210432A (zh) 2019-06-06 2019-06-06 一种基于智能安防机器人非受限条件下的人脸识别方法

Country Status (1)

Country Link
CN (1) CN110210432A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209845A (zh) * 2020-01-03 2020-05-29 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN111310631A (zh) * 2020-02-10 2020-06-19 湖南大学 一种旋翼作业飞行机器人目标跟踪方法及系统
CN111444899A (zh) * 2020-05-14 2020-07-24 聚好看科技股份有限公司 远程考试控制方法、服务器及终端
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN111798414A (zh) * 2020-06-12 2020-10-20 北京阅视智能技术有限责任公司 显微图像的清晰度确定方法、装置、设备及存储介质
CN112037406A (zh) * 2020-08-27 2020-12-04 江门明浩电力工程监理有限公司 一种智慧工地门禁方法、系统及设备
CN112561879A (zh) * 2020-12-15 2021-03-26 北京百度网讯科技有限公司 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN112669207A (zh) * 2020-12-21 2021-04-16 四川长虹电器股份有限公司 一种基于电视摄像头的人脸图像分辨率增强方法
KR102303002B1 (ko) * 2021-03-31 2021-09-16 인하대학교 산학협력단 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104504A1 (en) * 2004-11-16 2006-05-18 Samsung Electronics Co., Ltd. Face recognition method and apparatus
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN106845330A (zh) * 2016-11-17 2017-06-13 北京品恩科技股份有限公司 一种基于深度卷积神经网络的二维人脸识别模型的训练方法
CN106909882A (zh) * 2017-01-16 2017-06-30 广东工业大学 一种应用于保安机器人的人脸识别系统及方法
CN108830262A (zh) * 2018-07-25 2018-11-16 上海电力学院 自然状态下多角度人脸表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104504A1 (en) * 2004-11-16 2006-05-18 Samsung Electronics Co., Ltd. Face recognition method and apparatus
CN106845330A (zh) * 2016-11-17 2017-06-13 北京品恩科技股份有限公司 一种基于深度卷积神经网络的二维人脸识别模型的训练方法
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN106909882A (zh) * 2017-01-16 2017-06-30 广东工业大学 一种应用于保安机器人的人脸识别系统及方法
CN108830262A (zh) * 2018-07-25 2018-11-16 上海电力学院 自然状态下多角度人脸表情识别方法

Non-Patent Citations (13)

* Cited by examiner, † Cited by third party
Title
306247770: "SVM实现多分类常用的两种方法以及一对一法的代码", 《CSDN》 *
306247770: "SVM实现多分类常用的两种方法以及一对一法的代码", 《CSDN》, 5 December 2018 (2018-12-05), pages 2 *
BICELOVE: "图像放大并进行BiCubic插值", 《CSDN》 *
BICELOVE: "图像放大并进行BiCubic插值", 《CSDN》, 23 April 2014 (2014-04-23), pages 1 - 8 *
CHAO DONG ET AL.: "Learning a Deep Convolutional Network for Image Super-Resolution", 《COMPUTER VISION-ECCV 2014》, pages 184 - 199 *
李秋珍等: "基于卷积神经网络的人脸图像质量评价", 《计算机应用》 *
李秋珍等: "基于卷积神经网络的人脸图像质量评价", 《计算机应用》, 31 March 2019 (2019-03-31), pages 2 - 4 *
田雷: "基于特征学习的无约束环境下的人脸识别研究", 《中国博士学位论文全文数据库信息科技辑》 *
田雷: "基于特征学习的无约束环境下的人脸识别研究", 《中国博士学位论文全文数据库信息科技辑》, 15 January 2019 (2019-01-15) *
谭恒良: "基于融合全局与局部HOG特征的人脸识别方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
谭恒良: "基于融合全局与局部HOG特征的人脸识别方法", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 May 2012 (2012-05-15), pages 2 *
雪入红尘: "图像去模糊（二）——Richardson–Lucy算法", 《CSDN》 *
雪入红尘: "图像去模糊（二）——Richardson–Lucy算法", 《CSDN》, 17 October 2016 (2016-10-17), pages 1 - 5 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209845A (zh) * 2020-01-03 2020-05-29 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN111310631A (zh) * 2020-02-10 2020-06-19 湖南大学 一种旋翼作业飞行机器人目标跟踪方法及系统
CN111310631B (zh) * 2020-02-10 2021-05-07 湖南大学 一种旋翼作业飞行机器人目标跟踪方法及系统
WO2021184894A1 (zh) * 2020-03-20 2021-09-23 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN111444899A (zh) * 2020-05-14 2020-07-24 聚好看科技股份有限公司 远程考试控制方法、服务器及终端
CN111444899B (zh) * 2020-05-14 2023-10-31 聚好看科技股份有限公司 远程考试控制方法、服务器及终端
CN111798414A (zh) * 2020-06-12 2020-10-20 北京阅视智能技术有限责任公司 显微图像的清晰度确定方法、装置、设备及存储介质
CN112037406A (zh) * 2020-08-27 2020-12-04 江门明浩电力工程监理有限公司 一种智慧工地门禁方法、系统及设备
CN112561879A (zh) * 2020-12-15 2021-03-26 北京百度网讯科技有限公司 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN112561879B (zh) * 2020-12-15 2024-01-09 北京百度网讯科技有限公司 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN112669207A (zh) * 2020-12-21 2021-04-16 四川长虹电器股份有限公司 一种基于电视摄像头的人脸图像分辨率增强方法
KR102303002B1 (ko) * 2021-03-31 2021-09-16 인하대학교 산학협력단 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치

Similar Documents

Publication Publication Date Title
CN110210432A (zh) 一种基于智能安防机器人非受限条件下的人脸识别方法
Amato et al. Deep learning for decentralized parking lot occupancy detection
CN107122826B (zh) 用于卷积神经网络的处理方法和系统、和存储介质
CN108460356B (zh) 一种基于监控系统的人脸图像自动处理系统
Rachmadi et al. Vehicle color recognition using convolutional neural network
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
JP6192271B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN104091341B (zh) 一种基于显著性检测的图像模糊检测方法
CN109961003A (zh) 一种基于fpga的嵌入式输电线路机载辅助巡视装置
CN104036468B (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN109657715B (zh) 一种语义分割方法、装置、设备及介质
CN110197231A (zh) 基于可见光和红外光图像融合的鸟情探测设备及识别方法
CN108960260B (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN112307853A (zh) 航拍图像的检测方法、存储介质和电子装置
CN112132145B (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN110164139A (zh) 一种侧方停车检测识别系统及方法
CN113128308A (zh) 一种港口场景下的行人检测方法、装置、设备及介质
CN111079511A (zh) 基于深度学习的文档自动归类及光学字符识别方法及系统
Mu et al. Single image super resolution with high resolution dictionary
CN114973026A (zh) 无人机航拍场景中的目标检测系统、无人机航拍系统
CN110516731A (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
Xue Blind image deblurring: a review
CN108764289B (zh) 一种基于卷积神经网络的ui异常图片分类方法及系统
CN116682057A (zh) 一种基于窗口自注意力机制的变电站安全隐患检测方法
CN110363101A (zh) 一种基于cnn特征融合框架的花卉识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication