CN111860288B - 人脸识别方法、装置及系统、可读存储介质 - Google Patents

人脸识别方法、装置及系统、可读存储介质 Download PDF

Info

Publication number
CN111860288B
CN111860288B CN202010686301.XA CN202010686301A CN111860288B CN 111860288 B CN111860288 B CN 111860288B CN 202010686301 A CN202010686301 A CN 202010686301A CN 111860288 B CN111860288 B CN 111860288B
Authority
CN
China
Prior art keywords
feature
image
features
eye
nose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010686301.XA
Other languages
English (en)
Other versions
CN111860288A (zh
Inventor
段雄
恽益红
张修望
高健豪
宋春林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qihang Automobile Co ltd
Original Assignee
Qihang Automobile Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qihang Automobile Co ltd filed Critical Qihang Automobile Co ltd
Priority to CN202010686301.XA priority Critical patent/CN111860288B/zh
Publication of CN111860288A publication Critical patent/CN111860288A/zh
Application granted granted Critical
Publication of CN111860288B publication Critical patent/CN111860288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人脸识别方法、装置及系统、可读存储介质。所述人脸识别方法包括：获取包含人脸图像的帧图像；基于哈尔特征对所述帧图像中的人脸图像区域进行划分，并且得到多个不同的感兴趣区域；提取每一个所述感兴趣区域的心率信号；对多个所述感兴趣区域分别对应的多个所述心率信号进行频域计算得到心率值。能够实时检测并获取精确度高的心率值。

Description

人脸识别方法、装置及系统、可读存储介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸识别方法、一种人脸识别装置、一种人脸识别系统和一种可读存储介质。
背景技术
目前，在很多公共场所或私人场所都使用到人脸识别技术，并作为进入公共场所或私人场所的身份识别的关键环节，同时也是公共场所或私人场所的重要安保措施。
人脸识别技术通常是将整个人脸作为一个整体特征进行检测识别，目前，这种以完整人脸为检测识别对象的人脸识别算法已经具有的很高的准确性和识别速度；但是，当人脸存在部分遮挡的情况时，现有的人脸识别算法不能够对人脸的部分区域进行检测识别，或者是将人脸上的遮挡物也作为人脸的部分特征并且对包含该遮挡物的完整人脸进行识别，由此导致识别准确率的大幅下降。
目前，针对有遮挡物的完整人脸的人脸识别方法主要有两种：一类是通过人脸中未被遮挡的部分特征进行识别；另一类是对被遮挡部分进行补全，然后再进行识别。但是，以上方法均存在识别准确率低以及训练识别速度达不到实时性要求的问题。
发明内容
因此，本发明实施例提供一种人脸识别方法、一种人脸识别装置、一种人脸识别系统和一种可读存储介质，在遮挡情况下提高了人脸识别的准确率并且能够达到实时性的要求。
一方面，本发明实施例提供的一种人脸识别方法，包括：采用三帧差分法从连续的多个帧图像中得到人脸图像；将所述人脸图像与平均脸图像做差，再采用水平集分割法得到被遮挡区域的轮廓线；定位所述轮廓线在所述人脸图像中的位置，以得到未遮挡区域以及与之对应的未遮挡类型；对所述未遮挡区域的图像信息进行特征提取，得到局部三值模式特征和方向梯度直方图特征；融合所述局部三值模式特征和所述方向梯度直方图特征得到融合特征；采用与所述未遮挡类型对应的分类器对所述融合特征进行识别并得到识别结果。
在本发明的一个实施例中，所述采用三帧差分法从连续的多个帧图像中得到人脸图像，包括：从视频流中获取三个帧图像；将所述三个帧图像依次做差得到两个差分图像；将所述两个差分图像按照像素点进行逻辑与运算后再进行阈值处理，得到处理后图像；对所述处理后图像进行连通性处理得到二值图像；在所述二值图像中确定所述人脸图像的区域，并获得所述人脸图像。
在本发明的一个实施例中，对所述未遮挡区域的图像信息进行特征提取，得到局部三值模式特征和方向梯度直方图特征，包括：判断所述未遮挡类型为眼睛特征未遮挡时，对所述未遮挡区域中的眼睛特征图像进行分块处理，得到多个眼睛特征图像块；对所述多个眼睛特征图像块进行特征提取，得到眼睛特征图像的局部三值模式特征和方向梯度直方图特征；或者，判断所述未遮挡类型为鼻子特征未遮挡时，对所述未遮挡区域中的鼻子特征图像进行分块处理，得到多个鼻子特征图像块；对所述多个鼻子特征图像块进行特征提取，得到鼻子特征图像的局部三值模式特征和方向梯度直方图特征；或者，判断所述未遮挡类型为嘴巴特征未遮挡时，对所述未遮挡区域中的嘴巴特征图像进行分块处理，得到多个嘴巴特征图像块；对所述多个嘴巴特征图像块进行特征提取，得到嘴巴特征图像的局部三值模式特征和方向梯度直方图特征；所述融合所述局部三值模式特征和所述方向梯度直方图特征得到融合特征，包括：对所述眼睛特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述眼睛特征图像的融合特征；或者，对所述鼻子特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述鼻子特征图像的融合特征；或者，对所述嘴巴特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述嘴巴特征图像的融合特征。
在本发明的一个实施例中，所述分类器包括眼睛分类器、鼻子分类器以及嘴巴分类器；所述人脸识别方法还包括：分别构建所述眼睛分类器、所述鼻子分类器以及所述嘴巴分类器。
另一方面，本发明实施例提供的一种人脸识别装置，包括：人脸图像获取模块，用于采用三帧差分法从连续的多个帧图像中得到人脸图像；轮廓线生成模块，用于将所述人脸图像与平均脸图像做差，再采用水平集分割法得到被遮挡区域的轮廓线；定位模块，用于定位所述轮廓线在所述人脸图像中的位置，以得到未遮挡区域以及与之对应的未遮挡类型；特征提取模块，用于对所述未遮挡区域的图像信息进行特征提取，得到局部三值模式特征和方向梯度直方图特征；特征融合模块，用于融合所述局部三值模式特征和所述方向梯度直方图特征得到融合特征；识别模块，用于采用与所述未遮挡类型对应的分类器对所述融合特征进行识别并得到识别结果。
又一方面，本发明实施例提供的一种人脸识别系统，包括：处理器和电连接所述处理器的存储器，所述存储器上存储有所述处理器执行的指令，且所述指令使得所述处理器执行操作以进行如上任意一项实施例所述的人脸识别方法。
再一方面，本发明实施例提供的一种可读存储介质，其为非易失性存储器且存储有程序代码，当所述程序代码被一个或多个处理器执行时，使得所述一个或多个处理器执行如上任意一项实施例所述的人脸识别方法。
综上所述，本申请上述各个实施例可以具有如下一个或多个优点或有益效果：i)采用三帧差分法得到人脸图像，减少了因对非人脸图像的处理而消耗的时间，因此提高了处理速度；ii)采用平均脸与水平集算法确定遮挡区域，避免了后续会对遮挡区域进行特征提取的无效操作，提高处理速度的同时还提高了识别的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的一种人脸识别方法的流程示意图。
图2为图1中步骤S10的详细流程示意图。
图3为图1中步骤S40和S50的详细流程示意图。
图4为图1中步骤S70的详细流程示意图。
图5为本发明第二实施例提供的一种人脸识别装置的模块示意图。
图6为本发明第三实施例提供的一种人脸识别系统的结构示意图。
图7为本发明第四实施例提供的一种可读存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
【第一实施例】
参见图1，其为本发明第一实施例提供的一种人脸识别方法的流程示意图，所述人脸识别方法例如包括：
步骤S10，采用三帧差分法从连续的多个帧图像中得到人脸图像；
步骤S20，将所述人脸图像与平均脸图像做差，再采用水平集分割法得到被遮挡区域的轮廓线；
步骤S30，定位所述轮廓线在所述人脸图像中的位置，以得到未遮挡区域以及与之对应的未遮挡类型；
步骤S40，对所述未遮挡区域的图像信息进行特征提取，得到局部三值模式特征和方向梯度直方图特征；
步骤S50，融合所述局部三值模式特征和所述方向梯度直方图特征得到融合特征；以及
步骤S60，采用与所述未遮挡类型对应的分类器对所述融合特征进行识别并得到识别结果。
具体的，参见图2，所述步骤S10的具体实施方式例如为：
从视频流中截取连续的多个帧图像作为识别的目标，并且，对所述多个帧图像分别进行预处理例如光照处理以及灰度处理，避免因光照和灰度的影响而造成识别准确率低的问题。
例如，采用伽马灰度矫正对每一个所述帧图像进行灰度矫正，使每一个所述帧图像的整体亮度达到预定的标准图像亮度。再例如，使用基于自商图像的光照处理方法对每一个所述帧图像进行光照处理，再使用高斯加权滤波的卷积核对光照处理后的每一个所述帧图像分别进行各向异性滤波，得到滤波后的图像Ia＝F*I；其中，F是高斯加权滤波的卷积核，I是原始图像。然后在图像Ia的基础上得到人脸图像。
使用三帧差分法确定人物在图像Ia中的大致位置并进一步得到人脸图像的过程例如为：获得分别经过上述灰度校正和光照处理且连续地三个帧图像，依次做差获得两张差分图像；将所述两张差分图像逐像素点进行逻辑与运算后在进行阈值处理，得到处理后图像；在对所述处理后图像进行连通性分析，以消除所述处理后图像的内部空洞，得到具有运动人物信息的二值图像；最后，在所述二值图像中确定人物的人脸在所述二值图像中的大致区域，并得到人脸图像。
所述步骤S20中的所述平均脸图像为采用平均脸算法计算出的样本人脸库中的所有人脸图像的合成性容貌其中，S为人脸向量，m和n为累加符号的上下标。所所述样本人脸库可以是通用标准人脸库、FERET人脸图像数据库、Yale人脸图像数据库、Yale人脸图像数据部B、ORL人脸图像数据库、PIE人脸图像数据库、LFW 人脸图像数据库以及MIT人脸图像数据库中的至少一个人脸图像数据库。
其中，所述步骤S20的具体实施方式例如为：而将所述人脸图像与所述平均脸图像做差得到做差图像；再使用水平集分割法对所述做差图像进行水平分割得到被遮挡区域的轮廓线，具体的，将二维曲线的演化问题转化为三维曲面空间的水平集函数演化的隐含方式进行求解以得到所述轮廓线。
所述水平集分割法是使得能量函数F值最小的曲线C，其函数公式为： 其中，Length(C)表示曲线C的长度；S0(C)表示曲线内部区域的面积；λ1和λ2分别是权重系数且通常情况下取值均为1；μ和v为大于0的常数。曲线C即为所述轮廓线。
其中，所述步骤S30的具体实施方式例如为：通过定位所述轮廓线在所述人脸图像中的位置，可以确定所述人脸图像中的遮挡区域，并相应的得到未遮挡区域以及所述未遮挡区域所对应的种类，所述种类为眼睛、鼻子以及嘴巴中的一个或两个。举例来说，所述人脸图像的分布是固定的，也即眼睛、嘴巴和鼻子分别位于所述人脸图像中的不同位置且具有不同的轮廓线，因此根据所述轮廓线及其在所述人脸图像中的位置显然可以确定被遮挡区域，相应的，所述人脸图像中除所述被遮挡区域的其他区域即为所述未遮挡区域，显见的同时也可以确定所述未遮挡区域的种类。
其中，参见图3，所述步骤S40的具体实施方式例如为，基于所述步骤S30中可以确定未遮挡区域的种类为眼睛、嘴巴或鼻子中的一个或两个，此处以未遮挡区域的种类为眼睛为例具体说明特征提取的具体过程：
首先，将获取所述未遮挡区域的图像信息，得到眼睛特征图像，并且对所述眼睛特征图像进行分块处理得到多个眼睛特征图像块；
然后，提取每一个所述眼睛特征图像块的LTP(Local Ternary Pattern，局部三值模式)特征和HOG(Histogram of Oriented Gradient，方向梯度直方图)特征；其中，LTP 特征的计算函数为：其中，/>p为相应的眼睛特征图像块；而提取HOT特征的过程可以为，计算出所述相应的眼睛特征图像块的每一个像素点的梯度幅值以及梯度方向，计算公式分别为：Gx(x,y)＝ H(x+1,y)-H(x-1,y)，Gy(x,y)＝H(x,y+1)-H(x,y-1)；其中，H表示当前像素点的灰度值，梯度是具有方向的，将其投影分解到X轴与Y轴上，就得到了像素点(x,y) 在水平方向的梯度值Gy(x,y)和在垂直方向的梯度值Gy(x,y)；将整个方向(即所述水平方向和所述垂直方向)的360°平均分割为9个方向，按照就近原则，将所述梯度幅值累加入相应方向的数据中心，最终得到一个九维特征向量，即为所述HOG特征。
与之相应的，所述未遮挡区域的种类为嘴巴或鼻子时，进行特征提取的过程与上述过程相同，此处不再赘述。
其中，再参见图3，所述步骤S50的具体实施方式例如为，将所述步骤S40中得到的所述LTP特征和所述HOG特征进行融合，得到融合特征LTP-HOG；具体的，根据所述未遮挡区域(也即眼睛特征图像所在的区域)的轮廓线与融合信息所占比重的不同，采用自适应的权值融合方法得到所述融合特征LTP-HOG。所述权值融合方法的计算公式为：γi＝(1-ai)α+aiβ；其中，i表示第i个分块例如所述眼睛特征图像块；γi表示第i个分块的融合特征LTP-HOG；α为改进LBP(Local Binary Pattern，局部二值模式) 特征；β为HOG特征；ai为第i个分块的HOG特征权重值；以及ai＝| 第i个分块的块梯度幅度值|/max(所有分块的梯度幅度值)。
其中，参见图4，所述步骤S60的具体实施方式例如为，将步骤S50得到的所述融合特征LTP-HOG通过相应的SVM(Support Vector Machine，支持向量机)分类器进行分类识别，得到最终的识别结果，所述识别结果包括识别和未识别。举例来说，SVM 分类器包括眼睛SVM分类器、鼻子SVM分类器以及嘴巴SVM分类器，与步骤S30、步骤S40和步骤S50相对应的，在步骤S50中对眼睛特征图像的LTP特征和HOG特征进行特征融合得到眼睛融合特征LTP-HOG时，则步骤S60中则选用与之相应的眼睛 SVM分类器进行分类识别，并得到相应的识别结果。当然，鼻子和嘴巴的分类识别过程与之相似，此处不再赘述。
优选的，所述人脸识别方法例如还包括构建分类器，可以使用Adaboost算法以及Haar特征分别对眼睛特征、鼻子特征以及嘴巴特征分别进行分类训练，以获得相应的眼睛SVM分类器、鼻子SVM分类器以及嘴巴SVM分类器。下面以构建眼睛SVM分类器为例对构建分类器的过程进行详细描述，具体如下：
首先，基于与眼睛特征对应的眼睛Haar-like特征遍历训练所述样本人脸库中的每一个样本人脸图像，得到每一个所述样本图像对应眼睛Haar-like特征的特征值。
然后，所有所述样本人脸图像各自的所述特征值按照从小到大的顺序进行排序，得到排序后的样本人脸图像序列；对排序后的每一个所述特征值分别进行权重计算，所述权重计算可以为像素值差异的权重计算和空间的权重计算，该计算过程是双边滤波的计算过程。具体的，对于每一个所述特征值，计算每一个所述特征对应的全部正样本的权重和T+，计算每一个所述特征值对应的全部负样本的权重和T-，计算每一个所述特征对应样本排序前的正样本权重和S+；计算每一个所述特征对应样本排序前的负样本权重和S-；以所述样本人脸库为Yale样本人脸数据库B为例说明所述正样本和所述负样本的含义，截取所述Yale人脸图像数据库B中的每一个样本图像的眼睛部分图像，并分别转化为分辨率为24x24的图像作为正样本，并且随机截取所述Yale人脸图像数据库 B中的每一个样本图像的非眼睛部分图像，同样也分别转化为分辨率为24×24的图像作为负样本，其中，所述正样本的数量与所述负样本的数量相同。
计算分类误差e＝min(S++(T--S-),S-+(T+-S+))。
选取在眼睛Haar-like特征下能够使得分类误差e最小的阈值作为弱分类器的阈值，然后比较不同Haar-like特征下弱分类器的分类误差，选择分类误差最小的Haar-like特征对应的分类器作为最佳弱分类器。
所述弱分类器进行分类识别的准确率不能低于50％，如果低于50％，直接舍弃此弱分类器。对所述弱分类器进行训练并得到最佳弱分类器的过程如下：
首先，确定训练集样本：(x1,y1),(x2,y2),…(xm+n,ym+n)，其中xi∈X,yi∈{-1,+1}，x表示图像样本，y表示正负标签。
然后，将所述样本权值初始化，假定正样本的数量为n，负样本的数量为m，那么所有正样本的权值D1(i)＝1/2n，所有负样本的权值为D1(i)＝1/2m。假定正样本的数量为n，负样本的数量为m，那么所有正样本的权值值D1(i)＝1/2n，所有负样本的权值为值D1(i)＝1/2m。ht的加权错误率为：通过ht的加权错误率计算出最佳弱分类器ht的加权参数：/>
进行第T次迭代：在当前正负样本的权重Dt情况下，按照前面介绍的弱分类器训练方法，对每一个眼睛Haar-like特征训练出一个弱分类器，并选择分类错误最小的作为最佳弱分类器ht。
最后，经过多次训练迭代得到多个所述最佳弱分类器，将几个最佳弱分类器串联即得到一个强分类器，即为所述眼睛SVM分类器。与之相似的，所述鼻子SVM分类器和所述嘴巴SVM分类器的构建过程与该过程相似，此处不再赘述。
【第二实施例】
参见图5，其为本发明第二实施例提供的一种人脸识别装置，所述人脸识别装置100例如包括：人脸图像获取模块10，用于采用三帧差分法从连续的多个帧图像中得到人脸图像；轮廓线生成模块20，用于将所述人脸图像与平均脸图像做差，再采用水平集分割法得到被遮挡区域的轮廓线；定位模块30，用于定位所述轮廓线在所述人脸图像中的位置，以得到未遮挡区域以及与之对应的未遮挡类型；特征提取模块40，用于对所述未遮挡区域的图像信息进行特征提取，得到局部三值模式特征和方向梯度直方图特征；特征融合模块50，用于融合所述局部三值模式特征和所述方向梯度直方图特征得到融合特征；识别模块60，用于采用与所述未遮挡类型对应的分类器对所述融合特征进行识别并得到识别结果。
在一个具体实施方式中，人脸图像获取模块10例如包括：帧图像获取单元，用于从视频流中获取三个帧图像；差分单元，用于将所述三个帧图像依次做差得到两个差分图像；逻辑处理单元，用于将所述两个差分图像按照像素点进行逻辑与运算后再进行阈值处理，得到处理后图像；连通单元，用于对所述处理后图像进行连通性处理得到二值图像；确定单元，用于在所述二值图像中确定所述人脸图像的区域，并获得所述人脸图像。
在一个具体实施方式中，特征提取模块40例如包括：眼睛特征提取单元、鼻子特征提取单元和嘴巴特征提取单元。
其中，所述眼睛特征提取单元例如包括：第一判断子单元，用于判断所述未遮挡类型为眼睛特征未遮挡时，对所述未遮挡区域中的眼睛特征图像进行分块处理，得到多个眼睛特征图像块；第一提取子单元，用于对所述多个眼睛特征图像块进行特征提取，得到眼睛特征图像的局部三值模式特征和方向梯度直方图特征。
其中，所述鼻子特征提取单元例如包括：第二判断子单元，用于判断所述未遮挡类型为鼻子特征未遮挡时，对所述未遮挡区域中的鼻子特征图像进行分块处理，得到多个鼻子特征图像块；第二提取子单元，用于对所述多个鼻子特征图像块进行特征提取，得到鼻子特征图像的局部三值模式特征和方向梯度直方图特征。
其中，所述嘴巴特征提取单元包括：第三判断子单元，用于判断所述未遮挡类型为嘴巴特征未遮挡时，对所述未遮挡区域中的嘴巴特征图像进行分块处理，得到多个嘴巴特征图像块；第三提取子单元，用于对所述多个嘴巴特征图像块进行特征提取，得到嘴巴特征图像的局部三值模式特征和方向梯度直方图特征。
在一个具体实施方式中，特征融合模块50例如包括：眼睛特征融合单元，用于对所述眼睛特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述眼睛特征图像的融合特征；鼻子特征融合单元，用于对所述鼻子特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述鼻子特征图像的融合特征；嘴巴特征融合单元，用于对所述嘴巴特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述嘴巴特征图像的融合特征。
在一个具体实施方式中，识别模块60包括眼睛分类器、鼻子分类器以及嘴巴分类器。
优选的，人脸识别装置100例如还包括构建模块(图中未示出)，所述构建模块用于构建所述眼睛分类器、所述鼻子分类器以及所述嘴巴分类器。
【第三实施例】
参见图6，其为本发明的第三实施例提供的一种人脸识别系统的结构示意图，所述人脸识别系统400例如包括处理器430以及电连接处理器430的存储器410，存储器410上存储有计算机程序411，处理器430加载计算机程序411以实现如第一实施例中所述的人脸识别方法。
【第四实施例】
参见图7，其为本发明的第四实施例提供的一种可读存储介质的结构示意图，可读存储介质500例如为非易失性存储器，其例如为：磁介质(如硬盘、软盘和磁带)，光介质(如CDROM盘和DVD)，磁光介质(如光盘)以及专门构造为用于存储和执行计算机可执行指令的硬件装置(如只读存储器(ROM)、随机存取存储器 (RAM)、闪存等)。可读存储介质500上存储有计算机可执行指令510。存储介质 500可由一个或多个处理器或处理装置来执行计算机可执行指令510，以实施如第一实施例中所述的人脸识别方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种人脸识别方法，其特征在于，包括：
采用三帧差分法从连续的多个帧图像中得到人脸图像；
将所述人脸图像与平均脸图像做差，再采用水平集分割法得到被遮挡区域的轮廓线；
定位所述轮廓线在所述人脸图像中的位置，以得到未遮挡区域以及与之对应的未遮挡类型；
对所述未遮挡区域的图像信息进行特征提取，得到局部三值模式特征和方向梯度直方图特征；
融合所述局部三值模式特征和所述方向梯度直方图特征得到融合特征；
采用与所述未遮挡类型对应的分类器对所述融合特征进行识别并得到识别结果；
所述采用三帧差分法从连续的多个帧图像中得到人脸图像，包括：
从视频流中获取三个帧图像；
将所述三个帧图像依次做差得到两个差分图像；
将所述两个差分图像按照像素点进行逻辑与运算后再进行阈值处理，得到处理后图像；
对所述处理后图像进行连通性处理得到二值图像；
在所述二值图像中确定所述人脸图像的区域，并获得所述人脸图像；
对所述未遮挡区域的图像信息进行特征提取，得到局部三值模式特征和方向梯度直方图特征，包括：
判断所述未遮挡类型为眼睛特征未遮挡时，对所述未遮挡区域中的眼睛特征图像进行分块处理，得到多个眼睛特征图像块；
对所述多个眼睛特征图像块进行特征提取，得到眼睛特征图像的局部三值模式特征和方向梯度直方图特征；
或者，判断所述未遮挡类型为鼻子特征未遮挡时，对所述未遮挡区域中的鼻子特征图像进行分块处理，得到多个鼻子特征图像块；
对所述多个鼻子特征图像块进行特征提取，得到鼻子特征图像的局部三值模式特征和方向梯度直方图特征；
或者，判断所述未遮挡类型为嘴巴特征未遮挡时，对所述未遮挡区域中的嘴巴特征图像进行分块处理，得到多个嘴巴特征图像块；
对所述多个嘴巴特征图像块进行特征提取，得到嘴巴特征图像的局部三值模式特征和方向梯度直方图特征；
所述融合所述局部三值模式特征和所述方向梯度直方图特征得到融合特征，包括：
对所述眼睛特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述眼睛特征图像的融合特征；
或者，对所述鼻子特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述鼻子特征图像的融合特征；
或者，对所述嘴巴特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述嘴巴特征图像的融合特征。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述分类器包括眼睛分类器、鼻子分类器以及嘴巴分类器；所述人脸识别方法还包括：
分别构建所述眼睛分类器、所述鼻子分类器以及所述嘴巴分类器。
3.一种人脸识别装置，其特征在于，包括：
人脸图像获取模块，用于采用三帧差分法从连续的多个帧图像中得到人脸图像；
轮廓线生成模块，用于将所述人脸图像与平均脸图像做差，再采用水平集分割法得到被遮挡区域的轮廓线；
定位模块，用于定位所述轮廓线在所述人脸图像中的位置，以得到未遮挡区域以及与之对应的未遮挡类型；
特征提取模块，用于对所述未遮挡区域的图像信息进行特征提取，得到局部三值模式特征和方向梯度直方图特征；
特征融合模块，用于融合所述局部三值模式特征和所述方向梯度直方图特征得到融合特征；
识别模块，用于采用与所述未遮挡类型对应的分类器对所述融合特征进行识别并得到识别结果;
所述人脸图像获取模块包括：
帧图像获取单元，用于从视频流中获取三个帧图像；
差分单元，用于将所述三个帧图像依次做差得到两个差分图像；
逻辑处理单元，用于将所述两个差分图像按照像素点进行逻辑与运算后再进行阈值处理，得到处理后图像；
连通单元，用于对所述处理后图像进行连通性处理得到二值图像；
确定单元，用于在所述二值图像中确定所述人脸图像的区域，并获得所述人脸图像;
所述特征提取模块包括：眼睛特征提取单元、鼻子特征提取单元和嘴巴特征提取单元；
所述眼睛特征提取单元包括：
第一判断子单元，用于判断所述未遮挡类型为眼睛特征未遮挡时，对所述未遮挡区域中的眼睛特征图像进行分块处理，得到多个眼睛特征图像块；
第一提取子单元，用于对所述多个眼睛特征图像块进行特征提取，得到眼睛特征图像的局部三值模式特征和方向梯度直方图特征；
所述鼻子特征提取单元包括：
第二判断子单元，用于判断所述未遮挡类型为鼻子特征未遮挡时，对所述未遮挡区域中的鼻子特征图像进行分块处理，得到多个鼻子特征图像块；
第二提取子单元，用于对所述多个鼻子特征图像块进行特征提取，得到鼻子特征图像的局部三值模式特征和方向梯度直方图特征；
所述嘴巴特征提取单元包括：
第三判断子单元，用于判断所述未遮挡类型为嘴巴特征未遮挡时，对所述未遮挡区域中的嘴巴特征图像进行分块处理，得到多个嘴巴特征图像块；
第三提取子单元，用于对所述多个嘴巴特征图像块进行特征提取，得到嘴巴特征图像的局部三值模式特征和方向梯度直方图特征；
所述特征融合模块包括：
眼睛特征融合单元，用于对所述眼睛特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述眼睛特征图像的融合特征；
鼻子特征融合单元，用于对所述鼻子特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述鼻子特征图像的融合特征；
嘴巴特征融合单元，用于对所述嘴巴特征图像的所述局部三值模式特征和所述方向梯度直方图特征进行特征融合，得到所述嘴巴特征图像的融合特征。
4.根据权利要求3所述的人脸识别装置，其特征在于，所述分类器包括眼睛分类器、鼻子分类器以及嘴巴分类器；所述人脸识别装置还包括：
构建模块，用于构建所述眼睛分类器、所述鼻子分类器以及所述嘴巴分类器。
5.一种人脸识别系统，其特征在于，包括：处理器和电连接所述处理器的存储器，所述存储器上存储有所述处理器执行的指令，且所述指令使得所述处理器执行操作以进行如权利要求1-2任意一项所述的人脸识别方法。
6.一种可读存储介质，其特征在于，所述可读存储介质为非易失性存储器且存储有程序代码，当所述程序代码被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-2任意一项所述的人脸识别方法。
CN202010686301.XA 2020-07-16 2020-07-16 人脸识别方法、装置及系统、可读存储介质 Active CN111860288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010686301.XA CN111860288B (zh) 2020-07-16 2020-07-16 人脸识别方法、装置及系统、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010686301.XA CN111860288B (zh) 2020-07-16 2020-07-16 人脸识别方法、装置及系统、可读存储介质

Publications (2)

Publication Number Publication Date
CN111860288A CN111860288A (zh) 2020-10-30
CN111860288B true CN111860288B (zh) 2023-12-22

Family

ID=72983618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010686301.XA Active CN111860288B (zh) 2020-07-16 2020-07-16 人脸识别方法、装置及系统、可读存储介质

Country Status (1)

Country Link
CN (1) CN111860288B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221922B (zh) * 2021-05-31 2023-02-03 深圳市商汤科技有限公司 图像处理方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011060038A (ja) * 2009-09-10 2011-03-24 Seiko Epson Corp 画像処理装置
CN103793703A (zh) * 2014-03-05 2014-05-14 北京君正集成电路股份有限公司 一种视频中人脸检测区域的定位方法及装置
CN104268539A (zh) * 2014-10-17 2015-01-07 中国科学技术大学 一种高性能的人脸识别方法及系统
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼（湖南）科技发展有限公司 用于人脸识别的眼镜检测方法及系统
JP2016081212A (ja) * 2014-10-15 2016-05-16 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011060038A (ja) * 2009-09-10 2011-03-24 Seiko Epson Corp 画像処理装置
CN103793703A (zh) * 2014-03-05 2014-05-14 北京君正集成电路股份有限公司 一种视频中人脸检测区域的定位方法及装置
JP2016081212A (ja) * 2014-10-15 2016-05-16 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
CN104268539A (zh) * 2014-10-17 2015-01-07 中国科学技术大学 一种高性能的人脸识别方法及系统
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼（湖南）科技发展有限公司 用于人脸识别的眼镜检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种带遮挡的人脸特征快速提取算法;高健豪;宋春林;;信息技术与信息化(第12期);全文 *
基于异值区域消除的遮挡人脸识别;李冬梅等;《计算机科学》;第42卷(第3期);第289-295页 *

Also Published As

Publication number Publication date
CN111860288A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN110363182B (zh) 基于深度学习的车道线检测方法
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
US8897578B2 (en) Image recognition device, image recognition method, and integrated circuit
CN103902977B (zh) 基于Gabor二值模式的人脸识别方法及装置
Li et al. A spatial clustering method with edge weighting for image segmentation
CN110532965B (zh) 年龄识别方法、存储介质及电子设备
CN111241989A (zh) 图像识别方法及装置、电子设备
JP2012527664A (ja) 画像分類方法、装置、プログラム製品および記憶媒体
JP2022166799A (ja) 深層学習に基づくエッジ識別方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112417955A (zh) 巡检视频流处理方法及装置
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN111353385B (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111860288B (zh) 人脸识别方法、装置及系统、可读存储介质
Pervej et al. Real-time computer vision-based bangla vehicle license plate recognition using contour analysis and prediction algorithm
CN114049531A (zh) 一种基于弱监督人体协同分割的行人再识别方法
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN106943116B (zh) 一种婴幼儿视力自动检测方法
JP4749884B2 (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
Sun et al. Spot segmentation and verification based on improve marker controlled watershed transform
Gawande et al. Scale invariant mask r-cnn for pedestrian detection
Wang et al. An image edge detection algorithm based on multi-feature fusion
Yancey Deep Feature Fusion for Mitosis Counting
CN115424250A (zh) 一种车牌识别方法及装置
CN112183422A (zh) 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant