CN111241870A - 一种终端设备及其脸部图像的识别方法、识别系统 - Google Patents

一种终端设备及其脸部图像的识别方法、识别系统 Download PDF

Info

Publication number
CN111241870A
CN111241870A CN201811435076.1A CN201811435076A CN111241870A CN 111241870 A CN111241870 A CN 111241870A CN 201811435076 A CN201811435076 A CN 201811435076A CN 111241870 A CN111241870 A CN 111241870A
Authority
CN
China
Prior art keywords
face
dimensional
contour model
image
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811435076.1A
Other languages
English (en)
Inventor
胡彦勇
刘布卫
李鑫
杨文传
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dymind Biotechnology Co Ltd
Original Assignee
Shenzhen Dymind Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dymind Biotechnology Co Ltd filed Critical Shenzhen Dymind Biotechnology Co Ltd
Priority to CN201811435076.1A priority Critical patent/CN111241870A/zh
Publication of CN111241870A publication Critical patent/CN111241870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种终端设备及其脸部图像的识别方法、识别系统，其中，该脸部图像的识别方法包括：从脸部图像中提取脸部三维轮廓模型；对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定；从改进后的三维轮廓模型中提取特征信息；将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。通过上述方式，能够使得脸部在部分被遮挡的情况下可以对脸部进行识别，保证了脸部数据的准确性。

Description

一种终端设备及其脸部图像的识别方法、识别系统
技术领域
本申请涉及信息安全技术领域，特别是涉及一种终端设备及其脸部图像的识别方法、识别系统。
背景技术
脸部识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有脸部的图像或视频流，并自动在图像中检测和跟踪脸部，进而对检测到的脸部进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
在脸部识别过程中，需要提取脸部图像中的特征点，然后通过特征点的匹配来进行识别。但是，在一些特殊的场景中并不能完整的获取到脸部图像，导致识别失效。
发明内容
本申请提供一种终端设备及其脸部图像的识别方法、识别系统，能够解决在特殊场景下脸部图像不完整情况下的脸部识别。
本申请采用的一个技术方案是：提供一种脸部图像的识别方法，该识别方法包括：从脸部图像中提取脸部三维轮廓模型；对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定；从改进后的三维轮廓模型中提取特征信息；将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。
本申请采用的另一个技术方案是：提供一种终端设备，该终端设备包括处理器以及与处理器耦接的存储器、采集模组；其中，采集模组用于采集脸部图像；其中，存储器用于存储程序数据，程序数据在被处理器执行时，实现如上述的识别方法。
本申请采用的另一个技术方案是：提供一种脸部图像识别系统，该识别系统包括终端设备和采集装置；其中，采集装置用于采集脸部图像，终端设备包括处理器以及与处理器耦接的存储器；其中，存储器用于存储程序数据，程序数据在被处理器执行时，实现如上述的识别方法。
本申请采用的另一个技术方案是：提供一种终端设备的登录识别方法，该登录识别方法包括：终端设备在上电后，对系统进行初始化；采集脸部图像；利用如上述的脸部图像的识别方法，判断脸部图像是否识别通过；若是，执行开机维护操作。
本申请采用的另一个技术方案是：提供一种计算机存储介质，该计算机存储介质用于存储程序数据，程序数据在被处理器执行时，实现如上述的脸部图像的识别方法。
本申请提供的脸部图像的识别方法包括：从脸部图像中提取脸部三维轮廓模型；对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定；从改进后的三维轮廓模型中提取特征信息；将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。通过上述方式，基于面部的三维轮廓特征，能够对脸部的遮挡区域进行标定，以获取遮挡区域的面部特征，使得脸部在部分被遮挡的情况下可以对脸部进行识别，保证了脸部数据的准确性，该方法可以进一步应用于医疗行业中戴口罩的应用场景，能够通过脸部的识别来实现对医疗设备的操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的脸部图像的识别方法一实施例的流程示意图；
图2是图1中步骤11的流程示意图；
图3是终端设备、第一摄像头和第二摄像头的位置关系示意图；
图4是脸部三维特征模型的调整示意图；
图5是图1中步骤12的流程示意图；
图6是本申请提供的终端设备的登录识别方法一实施例的流程示意图；
图7是本申请提供的终端设备一实施例的结构示意图；
图8是图像采集模组71的结构示意图；
图9是图像处理模组72的结构示意图；
图10是图像识别模组73的结构示意图；
图11是本申请提供的终端设备另一实施例的结构示意图；
图12是本申请提供的脸部图像识别系统一实施例的结构示意图；
图13是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请提供的脸部图像的识别方法一实施例的流程示意图，该方法包括：
步骤11：从脸部图像中提取脸部三维轮廓模型。
其中，该脸部图像可以是彩色图像、红外深度图像、或者RGB-D图像。
彩色图像可以利用彩色摄像头来获取，红外深度图像可以采用专用的红外摄像头来获取。
在RGB-D图像中，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。Depth(D)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。
其中，RGBD图像可以利用一彩色摄像头和深度摄像头同时进行采集，然后将两幅图进行像素对准以形成彩色深度图像。
例如，可以先对脸部图像进行二值化处理以得到肤色的变化。这里可以采用一种快速的肤色区域边界提取算法，即扫描图像一边，确定肤色像素点最多的行与列，再将所得到的行向上、向下移动，所得的列向左、向右移动，最先少于某个肤色像素点数的行与列为边界，生成一个闭合的矩形，即脸部区域。
然后找出目标物体轮廓上的像素，再根据这些像素的某些特征用一定的跟踪准则找出目标物体上的其他像素。
例如，在二值化脸部图像时，设脸部肤色区域为1，背景为0，因在脸部区域内，按照跟踪准则搜索的二值化为1的边界点而产生的轮廓即为脸部轮廓。具体算法如下：
1)获得原图像的首地址，图像的高和宽；
2)开辟一块内存缓冲区，初始化为225；
3)将图像进行滤波和二值化处理，采用一种快速的肤色区域边界提取算法获得脸部区域；
4)在脸部区域内，跟踪边界点，找到一个二值化值为1的边界点，就将内存缓冲区中该点的RGB设为225；
5)按照跟踪准则，重复执行4)，直到回到初始点；
6)将内存缓冲区的内容复制到原图像中。
可选的，在本实施例中，可以通过两个摄像头来采集两幅图像，然后通过拟合确定脸部图像。具体地，在本实施例中，如图2所示，图2是图1中步骤11的流程示意图，该步骤11包括：
步骤111：获取至少两个脸部图像；其中，至少两个脸部图像分别由至少两个摄像头采集得到。
其中，在一实施例中，可以采用两个摄像头，具体为第一摄像头和第二摄像头。第一摄像头和第二摄像头分别设置于终端设备上用于采集脸部图像，可以理解的，第一摄像头和第二摄像头是对称设置的。
其中，第一摄像头和第二摄像头是同类型的摄像头，例如，均为彩色摄像头。
步骤112：基于终端设备的坐标系对至少两个脸部图像进行坐标重建，以建立脸部三维特征模型。
可以理解的，第一摄像头拍摄的第一图像以第一摄像头自身的坐标来建立，而第二摄像头拍摄的第二图像以第二摄像头自身的坐标来建立，但是由于第一摄像头和第二摄像头之间有位置偏移，所以需要对坐标进行重建，保证第一图像和第二图像采用相同的坐标系。
如图3所示，图3是终端设备、第一摄像头和第二摄像头的位置关系示意图。
其中，A表示第一摄像头的传感器位置，B表示第二摄像头的传感器位置，L表示两传感器之间的距离，DE表示两个摄像头的透镜所在的平面，D点表示目标位置与第一摄像头的传感器的连线与透镜的交点，E点表示目标位置与第二摄像头的传感器的连线与透镜的交点。
具体地，可以采用以下的公式来进行坐标系的变换：
Figure BDA0001883602500000051
Figure BDA0001883602500000052
Figure BDA0001883602500000053
其中，(X，Y，Z)表示目标特征点在终端设备建立的坐标系中的三维坐标，L表示两个摄像头的传感器之间的距离，(x1，y1)和(x2，y2)分别表示目标位置与两个摄像头的传感器连线与透镜交点在两个摄像头的坐标系中的平面坐标，(x0，y0)表示在终端设备建立的坐标系中的坐标原点，px表示像素值，f表示焦距。
可以理解的，可以重复上述的步骤对多个特征点的坐标进行重建，得到多个特征点的三维坐标，从而得到脸部三维特征模型。
步骤113：对脸部三维特征模型进行调整，以得到脸部三维轮廓模型。
其中，该过程可以具体包括脸部检测和图像的预处理。
脸部检测：脸部检测在实际中主要用于脸部识别的预处理，即在图像中准确标定出脸部的位置和大小。脸部图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。脸部检测就是把这其中有用的信息挑出来，并利用这些特征实现脸部检测。
主流的脸部检测方法基于以上特征采用Adaboost学习算法，Adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。
脸部检测过程中使用Adaboost算法挑选出一些最能代表脸部的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。
脸部图像预处理：对于脸部的图像预处理是基于脸部检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于脸部图像而言，其预处理过程主要包括脸部图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
可选的，在一实施例中，上述的步骤113可以具体包括：在脸部图像中确定瞳孔的位置；基于两个瞳孔连线以及其中垂线建立垂直坐标系，以得到脸部三维轮廓模型。
如图4所示，图4是脸部三维特征模型的调整示意图。其中左图中的XOY坐标为脸部轮廓的坐标，AB-CP坐标为瞳孔连线以及中垂线确定的坐标。可以从图中看出，由于脸部并不是完全对称的，有一些歪曲，导致XOY坐标的轴线和AB-CP坐标的轴线有一些偏差。
具体地，识别到双眼位置，结合瞳距进行位置调整，对三维特征模型进行标定和比对。左瞳孔中心点和右瞳孔中心点进行连线，并以连线的中间点绘制垂直线，形成十字。
可选的，这里可以采用动态跟踪算法，在脸部图像中识别双眼的位置；然后采用拟合算法，计算两瞳孔之间的距离。
动态跟踪算法：人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化。从原理上看，眼球追踪主要是研究眼球运动信息的获取、建模和模拟。
拟合算法：拟合就是把平面上一系列的点，用一条光滑的曲线连接起来。因为这条曲线有无数种可能，从而有各种拟合方法。拟合的曲线一般可以用函数表示，根据这个函数的不同有不同的拟合名字。常用的拟合方法有如最小二乘曲线拟合法等。
步骤12：对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定。
可以理解的，在一些特殊的应用场景中，并不能获取脸部的全部图像，可能会由于遮挡或其他原因导致脸部图像获取不完整。例如，在医疗领域，工作环境一般都要求无菌环境，工作人员在环境中都有手套和口罩，只露出眼睛。在这种情况下，由于口罩的遮挡，并不能获取完整的脸部图像。
如图5所示，图5是图1中步骤12的流程示意图，步骤13可以具体包括：
步骤121：对三维轮廓模型进行去噪处理。
步骤122：对三维轮廓模型中的遮挡部分进行校正，并对遮挡区域进行标定。
由于检验人员佩戴口罩，鼻子和嘴巴无法获取，所以需要以三维特征模型，通过高斯过滤，形成面部轮廓特征数据；并以轮廓下面的一半作为面部调整的校正算法，并在三维轮廓模型予以标定。
结合图4，由于采用上述的拟合和高斯过滤将多个特征点形成了未遮挡区域的平滑三维轮廓模型，可以进一步的对遮挡部分进行标定。具体地，可以利用面部平滑的特点以及人脸的特征数据对遮挡部分进行标定，例如，一般情况下鼻子往下会更加凸出，参考未遮挡部分的坐标，进一步的推算遮挡部分的坐标，从而逐渐对遮挡部分的各个特征点进行标定。
步骤13：从改进后的三维轮廓模型中提取特征信息。
其中，特征点信息包括：面部特征点、瞳距、面部轮廓特征数据中的至少一种。脸部图像特征提取可使用的特征通常分为视觉特征、像素统计特征、脸部图像变换系数特征、脸部图像代数特征等。脸部特征提取就是针对脸部的某些特征进行的。脸部特征提取，也称脸部表征，它是对脸部进行特征建模的过程。脸部特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
基于知识的表征方法主要是根据脸部器官的形状描述以及他们之间的距离特性来获得有助于脸部分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。脸部由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别脸部的重要特征，这些特征被称为几何特征。基于知识的脸部表征主要包括基于几何特征的方法和模板匹配法。
步骤14：将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。
其中，该标准数据是用户预先录入的人脸图像，该人脸图像可以通过上述类似的算法进行特征点的提取和保存。
提取的脸部图像的特征数据与数据库中存储的标准数据进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。脸部识别就是将待识别的脸部特征与已得到的脸部特征模板进行比较，根据相似程度对脸部的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。
区别于现有技术，本实施例提供的脸部图像的识别方法包括：从脸部图像中提取脸部三维轮廓模型；对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定；从改进后的三维轮廓模型中提取特征信息；将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。通过上述方式，基于面部的三维轮廓特征，能够对脸部的遮挡区域进行标定，以获取遮挡区域的面部特征，使得脸部在部分被遮挡的情况下可以对脸部进行识别，保证了脸部数据的准确性，该方法可以进一步应用于医疗行业中戴口罩的应用场景，能够通过脸部的识别来实现对医疗设备的操作。
参阅图6，图6是本申请提供的终端设备的登录识别方法一实施例的流程示意图，该方法包括：
步骤61：终端设备在上电后，对系统进行初始化。
步骤62：采集脸部图像。
具体地，获取至少两个脸部图像；其中，至少两个脸部图像分别由至少两个摄像头采集得到。
步骤63：从脸部图像中提取脸部三维轮廓模型。
基于终端设备的坐标系对至少两个脸部图像进行坐标重建，以建立脸部三维特征模型。对脸部三维特征模型进行调整，以得到脸部三维轮廓模型。
可以理解的，第一摄像头拍摄的第一图像以第一摄像头自身的坐标来建立，而第二摄像头拍摄的第二图像以第二摄像头自身的坐标来建立，但是由于第一摄像头和第二摄像头之间有位置偏移，所以需要对坐标进行重建，保证第一图像和第二图像采用相同的坐标系。
如图3所示，图3是终端设备、第一摄像头和第二摄像头的位置关系示意图。
其中，A表示第一摄像头的传感器位置，B表示第二摄像头的传感器位置，L表示两传感器之间的距离，DE表示两个摄像头的透镜所在的平面，D点表示目标位置与第一摄像头的传感器的连线与透镜的交点，E点表示目标位置与第二摄像头的传感器的连线与透镜的交点。
具体地，可以采用以下的公式来进行坐标系的变换：
Figure BDA0001883602500000091
Figure BDA0001883602500000092
Figure BDA0001883602500000101
其中，(X，Y，Z)表示目标特征点在终端设备建立的坐标系中的三维坐标，L表示两个摄像头的传感器之间的距离，(x1，y1)和(x2，y2)分别表示目标位置与两个摄像头的传感器连线与透镜交点在两个摄像头的坐标系中的平面坐标，(x0，y0)表示在终端设备建立的坐标系中的坐标原点，px表示像素值，f表示焦距。
可以理解的，可以重复上述的步骤对多个特征点的坐标进行重建，得到多个特征点的三维坐标，从而得到脸部三维特征模型。
可选的，在一实施例中，在脸部图像中确定瞳孔的位置；基于两个瞳孔连线以及其中垂线建立垂直坐标系，以得到脸部三维轮廓模型。
如图4所示，图4是脸部三维特征模型的调整示意图。其中左图中的XOY坐标为脸部轮廓的坐标，AB-CP坐标为瞳孔连线以及中垂线确定的坐标。可以从图中看出，由于脸部并不是完全对称的，有一些歪曲，导致XOY坐标的轴线和AB-CP坐标的轴线有一些偏差。
具体地，识别到双眼位置，结合瞳距进行位置调整，对三维特征模型进行标定和比对。左瞳孔中心点和右瞳孔中心点进行连线，并以连线的中间点绘制垂直线，形成十字。
可选的，这里可以采用动态跟踪算法，在脸部图像中识别双眼的位置；然后采用拟合算法，计算两瞳孔之间的距离。
动态跟踪算法：人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化。从原理上看，眼球追踪主要是研究眼球运动信息的获取、建模和模拟。
拟合算法：拟合就是把平面上一系列的点，用一条光滑的曲线连接起来。因为这条曲线有无数种可能，从而有各种拟合方法。拟合的曲线一般可以用函数表示，根据这个函数的不同有不同的拟合名字。常用的拟合方法有如最小二乘曲线拟合法等。
步骤64：对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定。
步骤65：从改进后的三维轮廓模型中提取特征信息。
步骤66：将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。
步骤67：在脸部识别通过后，执行开机维护操作。
参阅图7，图7是本申请提供的终端设备一实施例的结构示意图，该终端设备70包括图像采集模组71、图像处理模组72以及图像识别模组73。
图像采集模组71用于采集操作员的面部特征，并建立三维特征模型。图像处理器模组72用于对图像进行调整和改进，图像识别模组73用于提取特征点信息以对图像进行识别。
如图8所示，图8是图像采集模组71的结构示意图，图像采集模组71具体包括第一摄像头模组711、第二摄像头模组712、坐标系重建模组713以及三维特征建立模组714。
其中，第一摄像头模组711、第二摄像头模组712用于从不同角度同时采集图像，坐标系重建模组713用于对采集的图像以终端设备的坐标系重新建立，参阅图3，具体如下：
Figure BDA0001883602500000111
Figure BDA0001883602500000112
Figure BDA0001883602500000113
其中，(X，Y，Z)表示目标特征点在终端设备建立的坐标系中的三维坐标，L表示两个摄像头的传感器之间的距离，(x1，y1)和(x2，y2)分别表示目标位置与两个摄像头的传感器连线与透镜交点在两个摄像头的坐标系中的平面坐标，(x0，y0)表示在终端设备建立的坐标系中的坐标原点，px表示像素值，f表示焦距。
如图9所示，图9是图像处理模组72的结构示意图，图像处理模组72具体包括瞳距测定模组721、图像调整模组722、面部轮廓改进模组723。
其中，瞳距测定模组721通过动态跟踪算法，识别眼睛的动态变化，从而识别到双眼位置，通过拟合算法，识别瞳孔并计算出瞳距。图像调整模组722通过图像识别算法，识别到双眼位置，结合瞳距进行位置调整，对三维特征模型进行标定和比对。左瞳孔中心点和右瞳孔中心点进行连线，并以连线的中间点绘制垂直线，形成十字。面部轮廓改进模组723以三维特征模型，通过高斯过滤，形成面部轮廓特征数据；并以轮廓下面的一半作为面部调整的校正算法，并在三维特征模型予以标定。
如图10所示，图10是图像识别模组73的结构示意图，图像识别模组73具体包括特征提取模组731、匹配模组732、权限验证模组733。
其中，特征提取模组731提取模型中的特征点并进行计算，包括面部特征点、瞳距、轮廓特征点等数据，对数据进行拟合处理。匹配模组732从数据存储系统中获取用户的特征数据，通过数值分类法，对特征点的关键程度及可靠性进行分级，同时识别特征的符合度。权限验证模组733通过采集到的特征数据，和存储系统中的数据进行匹配。当匹配度达到要求的阈值，则认定匹配成功；同时获取用户的权限等级，开放不同的业务功能。同时，如果匹配成功，则以当前匹配的数据作为输入，对特征点进行再次计算，以提升识别的精度及准确度。
参阅图11，图11是本申请提供的终端设备另一实施例的结构示意图，该终端设备110包括处理器111以及与处理器111耦接的存储器112、采集模组113。
其中，采集模组113用于采集脸部图像；存储器112用于存储程序数据，程序数据在被处理器111执行时，实现如下的识别方法：
从脸部图像中提取脸部三维轮廓模型；对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定；从改进后的三维轮廓模型中提取特征信息；将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。
可选的，程序数据在被处理器111执行时，还用于实现如下的识别方法：获取至少两个脸部图像；其中，至少两个脸部图像分别由至少两个摄像头采集得到；基于终端设备的坐标系对至少两个脸部图像进行坐标重建，以建立脸部三维特征模型；对脸部三维特征模型进行调整，以得到脸部三维轮廓模型。
可选的，程序数据在被处理器111执行时，还用于实现如下的识别方法：利用以下公式进行坐标重建：
Figure BDA0001883602500000131
Figure BDA0001883602500000132
Figure BDA0001883602500000133
其中，(X，Y，Z)表示目标特征点在终端设备建立的坐标系中的三维坐标，L表示两个摄像头的传感器之间的距离，(x1，y1)和(x2，y2)分别表示目标位置与两个摄像头的传感器连线与透镜交点在两个摄像头的坐标系中的平面坐标，(x0，y0)表示在终端设备建立的坐标系中的坐标原点，px表示像素值，f表示焦距。
可选的，程序数据在被处理器111执行时，还用于实现如下的识别方法：在脸部图像中确定瞳孔的位置；基于两个瞳孔连线以及其中垂线建立垂直坐标系，以得到脸部三维轮廓模型。
可选的，程序数据在被处理器111执行时，还用于实现如下的识别方法：采用动态跟踪算法，在脸部图像中识别双眼的位置；采用拟合算法，计算两瞳孔之间的距离。
可选的，程序数据在被处理器111执行时，还用于实现如下的识别方法：对三维轮廓模型进行去噪处理；对三维轮廓模型中的遮挡部分进行校正，并对遮挡区域进行标定。
参阅图12，图12是本申请提供的脸部图像识别系统一实施例的结构示意图，包括终端设备121和采集装置122。
其中，采集装置122用于采集脸部图像，终端设备121包括处理器121a以及与处理器121a耦接的存储器121b。
其中，存储器121b用于存储程序数据，程序数据在被处理器121a执行时，实现如权下的脸部图像的识别方法：
从脸部图像中提取脸部三维轮廓模型；对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定；从改进后的三维轮廓模型中提取特征信息；将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。
可选的，采集装置122具体包括至少两个摄像头，即第一摄像头122a和第二摄像头122b；其中，至少两个摄像头设置不同的位置，用于同时采集至少两个脸部图像。
不同于上述的实施例，本实施例中的采集装置是外部连接的装置，其可以通过数据接口与终端设备121电连接，或者通过蓝牙、WIFI、NFC等无线传输方式进行数据传输。
参阅图13，图13是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质130用于存储程序数据131。
其中，该程序数据131在被处理器执行时，实现如下的脸部图像的识别方法：
从脸部图像中提取脸部三维轮廓模型；对三维轮廓模型进行改进，以对三维轮廓模型中的遮挡区域进行标定；从改进后的三维轮廓模型中提取特征信息；将特征信息与预存的标准数据进行比对，从而对脸部图像进行识别。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种终端设备的脸部图像的识别方法，其特征在于，包括：
从脸部图像中提取脸部三维轮廓模型；
对所述三维轮廓模型进行改进，以对所述三维轮廓模型中的遮挡区域进行标定；
从改进后的所述三维轮廓模型中提取特征信息；
将所述特征信息与预存的标准数据进行比对，从而对所述脸部图像进行识别。
2.根据权利要求1所述的脸部图像的识别方法，其特征在于，
所述从脸部图像中提取脸部三维轮廓模型的步骤，包括：
获取至少两个脸部图像；其中，所述至少两个脸部图像分别由至少两个摄像头采集得到；
基于所述终端设备的坐标系对所述至少两个脸部图像进行坐标重建，以建立脸部三维特征模型；
对所述脸部三维特征模型进行调整，以得到脸部三维轮廓模型。
3.根据权利要求2所述的脸部图像的识别方法，其特征在于，
所述基于所述终端设备的坐标系对所述至少两个脸部图像进行坐标重建的步骤，包括：
利用以下公式进行坐标重建：
Figure FDA0001883602490000011
Figure FDA0001883602490000012
Figure FDA0001883602490000013
其中，(X，Y，Z)表示目标特征点在所述终端设备建立的坐标系中的三维坐标，L表示所述两个摄像头的传感器之间的距离，(x1，y1)和(x2，y2)分别表示目标位置与所述两个摄像头的传感器连线与透镜交点在所述两个摄像头的坐标系中的平面坐标，(x0，y0)表示在所述终端设备建立的坐标系中的坐标原点，px表示像素值，f表示焦距。
4.根据权利要求2所述的脸部图像的识别方法，其特征在于，
所述对所述脸部三维特征模型进行调整，以得到脸部三维轮廓模型的步骤，包括：
在所述脸部图像中确定瞳孔的位置；
基于两个瞳孔连线以及其中垂线建立垂直坐标系，以得到脸部三维轮廓模型。
5.根据权利要求4所述的脸部图像的识别方法，其特征在于，
所述在所述脸部图像中确定瞳孔的位置的步骤，包括：
采用动态跟踪算法，在所述脸部图像中识别双眼的位置；
采用拟合算法，计算两瞳孔之间的距离。
6.根据权利要求1所述的脸部图像的识别方法，其特征在于，
所述对所述三维轮廓模型进行改进，以对所述三维轮廓模型中的遮挡区域进行标定的步骤，包括：
对所述三维轮廓模型进行去噪处理；
对所述三维轮廓模型中的遮挡部分进行校正，并对所述遮挡区域进行标定。
7.根据权利要求1所述的脸部图像的识别方法，其特征在于，
所述特征点信息包括：面部特征点、瞳距、面部轮廓特征数据中的至少一种。
8.一种终端设备，其特征在于，所述终端设备包括处理器以及与所述处理器耦接的存储器、采集模组；
其中，所述采集模组用于采集脸部图像；
其中，所述存储器用于存储程序数据，所述程序数据在被所述处理器执行时，实现如权利要求1-7任一项所述的识别方法。
9.根据权利要求8所述的终端设备，其特征在于，
所述采集模组包括至少两个摄像头；
其中，所述至少两个摄像头设置不同的位置，用于同时采集至少两个脸部图像。
10.一种脸部图像识别系统，其特征在于，包括终端设备和采集装置；
其中，所述采集装置用于采集脸部图像，所述终端设备包括处理器以及与所述处理器耦接的存储器；
其中，所述存储器用于存储程序数据，所述程序数据在被所述处理器执行时，实现如权利要求1-7任一项所述的识别方法。
11.根据权利要求10所述的脸部图像识别系统，其特征在于，
所述采集装置包括至少两个摄像头；
其中，所述至少两个摄像头设置不同的位置，用于同时采集至少两个脸部图像。
12.一种终端设备的登录识别方法，其特征在于，包括：
终端设备在上电后，对系统进行初始化；
利用如权利要求1-6任一项所述脸部图像的识别方法，判断所述脸部图像是否识别通过；
若是，执行开机维护操作。
13.一种计算机存储介质，其特征在于，
所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，实现如权利要求1-7任一项所述的识别方法。
CN201811435076.1A 2018-11-28 2018-11-28 一种终端设备及其脸部图像的识别方法、识别系统 Pending CN111241870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811435076.1A CN111241870A (zh) 2018-11-28 2018-11-28 一种终端设备及其脸部图像的识别方法、识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811435076.1A CN111241870A (zh) 2018-11-28 2018-11-28 一种终端设备及其脸部图像的识别方法、识别系统

Publications (1)

Publication Number Publication Date
CN111241870A true CN111241870A (zh) 2020-06-05

Family

ID=70875723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811435076.1A Pending CN111241870A (zh) 2018-11-28 2018-11-28 一种终端设备及其脸部图像的识别方法、识别系统

Country Status (1)

Country Link
CN (1) CN111241870A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619410A (zh) * 2022-10-19 2023-01-17 闫雪 自适应金融支付平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272435A (ja) * 2006-03-30 2007-10-18 Univ Of Electro-Communications 顔特徴抽出装置及び顔特徴抽出方法
CN101398886A (zh) * 2008-03-17 2009-04-01 杭州大清智能技术开发有限公司 一种基于双目被动立体视觉的快速三维人脸识别方法
CN104268876A (zh) * 2014-09-26 2015-01-07 大连理工大学 基于分块的摄像机标定方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107480613A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人脸识别方法、装置、移动终端和计算机可读存储介质
CN108319953A (zh) * 2017-07-27 2018-07-24 腾讯科技（深圳）有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272435A (ja) * 2006-03-30 2007-10-18 Univ Of Electro-Communications 顔特徴抽出装置及び顔特徴抽出方法
CN101398886A (zh) * 2008-03-17 2009-04-01 杭州大清智能技术开发有限公司 一种基于双目被动立体视觉的快速三维人脸识别方法
CN104268876A (zh) * 2014-09-26 2015-01-07 大连理工大学 基于分块的摄像机标定方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN108319953A (zh) * 2017-07-27 2018-07-24 腾讯科技（深圳）有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN107480613A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人脸识别方法、装置、移动终端和计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619410A (zh) * 2022-10-19 2023-01-17 闫雪 自适应金融支付平台
CN115619410B (zh) * 2022-10-19 2024-01-26 闫雪 自适应金融支付平台

Similar Documents

Publication Publication Date Title
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN109558764B (zh) 人脸识别方法及装置、计算机设备
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN108108684B (zh) 一种融合视线检测的注意力检测方法
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
CN104933389B (zh) 一种基于指静脉的身份识别方法和装置
CN107403168B (zh) 一种面部识别系统
TWI383325B (zh) 臉部表情辨識
US8755607B2 (en) Method of normalizing a digital image of an iris of an eye
CN104915656B (zh) 一种基于双目视觉测量技术的快速人脸识别方法
KR20200063292A (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
CN111652082B (zh) 人脸活体检测方法和装置
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN110956114A (zh) 人脸活体检测方法、装置、检测系统及存储介质
WO2021000832A1 (zh) 匹配人脸的方法、装置、计算机设备和存储介质
CN110852310A (zh) 三维人脸识别方法、装置、终端设备及计算机可读介质
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN112257641A (zh) 一种人脸识别活体检测方法
CN111291701A (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN114894337B (zh) 一种用于室外人脸识别测温方法及装置
CN109635682B (zh) 一种人脸识别装置和方法
JP4146751B2 (ja) 顔識別装置、顔識別方法及び顔識別プログラム
CN111241505A (zh) 一种终端设备及其登录验证方法、计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination