CN110728196A - 一种人脸识别的方法、装置及终端设备 - Google Patents
一种人脸识别的方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110728196A CN110728196A CN201910882001.6A CN201910882001A CN110728196A CN 110728196 A CN110728196 A CN 110728196A CN 201910882001 A CN201910882001 A CN 201910882001A CN 110728196 A CN110728196 A CN 110728196A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- cloud data
- face
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 abstract description 4
- 210000001331 nose Anatomy 0.000 description 20
- 230000008569 process Effects 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 9
- 210000004709 eyebrow Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例适用于人脸识别技术领域，提供了一种人脸识别的方法、装置及终端设备，所述方法包括：采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；提取所述人体点云数据中的人脸点云数据；根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据；采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。本实施例通过点云数据中的深度信息自动判断待识别的对像是否为活体，无需依靠用户行为就能进行活体判断，提高了人脸识别的效率。
Description
技术领域
本发明属于人脸识别技术领域，特别是涉及一种人脸识别的方法、一种人脸识别的装置、一种终端设备及一种计算机可读存储介质。
背景技术
人脸识别(Face Recognition)是基于人的脸部特征信息进行身份识别的一种生物识别技术。通常所说的人脸识别实际上是通过摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术的总称。人脸识别技术已广泛应用于金融、司法、公安、边检、教育、医疗等众多领域。
现有技术中的人脸识别大多都是基于2D平面图像来进行检测和识别的。但这对于不是本人却举着本人照片来替代自己的脸的情况，并不能很好地完成报警。也就是说，通过2D平面图像来进行检测和识别存在一个很大的漏洞，拿着当事人的照片挡住自己的脸就可以被识别为当事人。为了解决上述问题，就需要验证被拍摄的这个人脸图像是否是一个活人的脸。目前的处理方式往往就是要求被识别的人在镜头前做表情，通过检测被识别人的动作来确认这张脸是否为活体，然后再进行识别。这种方法虽然能够降低通过图像冒充当事人的可能性，但由于需要被识别的人在镜头前做表情，然后再识别，导致整个人脸识别过程较长，效率较低，并不能做到无感识别，用户体验也较差。
发明内容
有鉴于此，本发明实施例提供了一种人脸识别的方法、装置及终端设备，以解决现有技术中由于要求被识别的人在镜头前做表情来进行活体检测而导致的整个人脸识别过程效率较低的问题。
本发明实施例的第一方面提供了一种人脸识别的方法，包括：
采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；
提取所述人体点云数据中的人脸点云数据；
根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据；
采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；
基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。
本发明实施例的第二方面提供了一种人脸识别的装置，包括：
采集模块，用于采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；
提取模块，用于提取所述人体点云数据中的人脸点云数据；
获取模块，用于根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据；
计算模块，用于采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；
识别模块，用于基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述人脸识别的方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述人脸识别的方法的步骤。
与现有技术相比，本发明实施例包括以下优点：
本发明实施例，通过采集当前用户的人体点云数据并提取人体点云数据中的人脸点云数据后，能够根据人脸点云数据中各个数据点的坐标值，获取人脸点云数据中的体素数据，从而可以采用预置的三维空间信息逐层次学习网络模型提取体素数据中的多个特征点，并计算各个特征点之间的距离，进而基于各个特征点之间的距离，可以对当前用户是否为目标用户进行识别。本实施例通过采集3D人脸点云数据，从而能够根据点云数据中的深度信息自动判断待识别的对像是否为活体，无需依靠用户行为就能进行活体判断，解决了现有技术中需要用户在镜头前做表情或其他动作才能辨别人脸是否为活体的问题，降低了通过手举当事人的照片假冒人脸的可能性，提高了人脸识别的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种人脸识别的方法的步骤流程示意图；
图2是本发明一个实施例的另一种人脸识别的方法的步骤流程示意图；
图3是本发明一个实施例的一种人脸识别的装置的示意图；
图4是本发明一个实施例的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本发明。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面通过具体实施例来说明本发明的技术方案。
参照图1，示出了本发明一个实施例的一种人脸识别的方法的步骤流程示意图，具体可以包括如下步骤：
S101、采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；
需要说明的是，本方法可以应用于终端设备中。该终端设备通过采集当前用户的人体点云数据，可以识别出上述点云数据中包括的人脸点云数据是否属于目标用户。
通常，人体点云数据即是指3D人体点云数据。3D人体点云数据是以数据点的形式记录人体结构的一种数据，每一个数据点均包含有三维坐标。例如，可以是x、y、z轴上的坐标值。当然，每一个数据点也还可以包含有灰度等其他信息，本实施例对此不作限定。
在具体实现中，可以通过特定的检测设备或采集设备获取人体各个部位的深度信息。然后，这些设备可以基于得到的深度信息自动输出3D人体点云数据。通常，上述设备可以是深度摄像机、深度照相机、深度传感器或激光雷达等设备。
以深度摄像机为例。深度摄像机通常由红外投影机和红外深度摄像机构成，其中，红外投影机主要用于向外界发射均匀的红外线，并在目标人体上形成红外散斑图像，目标人体反射得到的散斑图像信息由红外深度摄像机接收，最后在形成目标人体的深度信息后，红外深度摄像机通过对形成的深度信息进行分析处理，可以输出目标人体的人体点云数据。
S102、提取所述人体点云数据中的人脸点云数据；
在本发明实施例中，采集得到的人体点云数据可以包括全身点云或半身点云等等。由于进行人脸识别时只需要对用户人脸部分的点云数据进行处理，因此为了减少后续识别的计算量，在采集得到人体点云数据后，可以首先从人体点云数据中提取出人脸点云数据，也就是当前用户的人脸部分的人体点云数据。
通常，人的鼻子基本上处于人脸的居中位置。因此，为了从采集得到的人体点云数据中提取出人脸点云数据，可以根据人体点云数据中各个数据点的坐标值，识别出当前用户的人体点云数据中的人脸鼻尖位置。然后再基于人脸鼻尖位置，从人体点云数据中裁剪出人脸点云数据。
由于人体点云数据是一种立体的三维数据，可以以三维数据中横轴或纵轴上的最大值所对应的位置作为人脸鼻尖位置。
例如，若在坐标轴中，垂直于人脸的方向为x轴方向，则可以三维数据中横轴上的最大值所对应的位置作为人脸鼻尖位置；若垂直于人脸的方向为y轴方向，则可以三维数据中纵轴上的最大值所对应的位置作为人脸鼻尖位置。本实施例对此不作限定。
在确定出人脸鼻尖的位置后，可以以人脸鼻尖位置为原点构建坐标系，通过提取在坐标系的各个方向上预设长度内的多个数据点，获得人脸点云数据。
例如，可以以确定出的人脸鼻尖位置为原点构建三维坐标系，然后从原点出发，分别提取出坐标轴各个方向上一定长度范围内的数据点，进行人体点云数据的“抠脸”，得到人脸点云数据。上述长度可以由本领域技术人员根据经验值确定，本实施例对此不作限定。
当然，根据实际需要，本领域技术人员还可以选择其他方式从采集的人体点云数据中提取出人脸点云数据。例如，可以通过计算人体点云数据中各个部分的稀疏关系，将稀疏关系与人脸点云样本数据的稀疏关系进行比较，从而识别出与人脸点云样本数据的稀疏关系较为相似的部分为人脸部分，本实施例对此不作限定。
S103、根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据；
体素是体积元素(Volume Pixel)的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。体素是数字数据于三维空间分割上的最小单位，可以用于三维成像、科学数据与医学影像等领域。
在本发明实施例中，在确定出人脸位置后，实际上得到的就是一个点云坐标集合。根据这个点云坐标集合，可以找到一个立方体，能够包含整个人脸点云。
在上述立方体内，对各个数据点所在的位置进行标记，所得到的数据即是体素数据。
S104、采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；
在本发明实施例中，预置的三维空间信息逐层次学习网络模型可以是VoxelNet模型。
VoxelNet是一种基于点云的三维空间信息逐层次学习网络，能够将三维点云划分为一定数量的Voxel(体素)，经过点的随机采样以及归一化后，通过对每一个非空Voxel进行局部特征提取，可以实现对物体的识别。
在具体实现中，VoxelNet模型可以从输入的体素数据中自动提取出特征点，这些特征点即是待识别的人脸上的特征点。
为了通过使用这些特征点进行后续的人脸识别，可以首先计算这些特征点之前的距离。
在本发明实施例中，各个特征点之间的距离可以是欧式距离(EuclideanMetric)。欧氏距离也被称作欧几里得度量，是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
当然，根据实际需要，本领域技术人员也可以采用其他手段来计算特征点之间的距离，如曼哈顿距离，马氏距离等等，本实施例对此不作限定。
S105、基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。
在本发明实施例中，目标用户即是预先采集了人脸信息的用户。例如，在用户使用手机等移动终端的人脸识别功能前，需要首先将自己的人脸信息输入至手机中，后续才能通过人脸识别的方式实现手机解锁、支付等功能。
在具体实现中，终端设备在采集目标用户的人脸信息后，可以从人脸信息中提取出多个特征点，并计算各个特征点之间的距离并存储。当接收到人脸识别指令时，可以将实时计算出的当前用户的人脸特征点之间的距离与预先存储的距离进行比较，如果二者相似度较高，则可以识别当前用户为目标用户。
在本发明实施例中，通过采集当前用户的人体点云数据并提取人体点云数据中的人脸点云数据后，能够根据人脸点云数据中各个数据点的坐标值，获取人脸点云数据中的体素数据，从而可以采用预置的三维空间信息逐层次学习网络模型提取体素数据中的多个特征点，并计算各个特征点之间的距离，进而基于各个特征点之间的距离，可以对当前用户是否为目标用户进行识别。本实施例通过采集3D人脸点云数据，从而能够根据点云数据中的深度信息自动判断待识别的对像是否为活体，无需依靠用户行为就能进行活体判断，解决了现有技术中需要用户在镜头前做表情或其他动作才能辨别人脸是否为活体的问题，降低了通过手举当事人的照片假冒人脸的可能性，提高了人脸识别的效率。
参照图2，示出了本发明一个实施例的另一种人脸识别的方法的步骤流程示意图，具体可以包括如下步骤：
S201、采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；
在具体实现中，可以通过深度摄像机、深度照相机、深度传感器或激光雷达等设备采集样本用户的人体点云数据。采集得到的人体点云数据可以包括全身点云或半身点云。当然，无论是全身点云或半深点云，均包括有多个数据点，这些数据点包含有三维坐标系下的坐标值，通过这些数据点所体现出的信息，可以表征具体的人体结构。
在本发明实施例中，为了减少后续识别时的数据处理量，减少识别误差。在采集得到人体点云数据后，还可以对这些人体点云数据作预处理。对人体点云数据的预处理可以包括去噪处理。
通常，采集的人体点云数据都会存在一些噪点，例如一些离群的点，可以通过对人体点云数据进行去噪处理，将这些离群的点过滤掉，去除噪点对后续识别的影响。
S202、采用预置的三维点云网络模型识别所述人体点云数据中各个数据点之间的稀疏关系，所述三维点云网络模型通过对多份人脸点云样本数据进行训练得到；
在本发明实施例中，预置的三维点云网络模型可以是PointNet++模型。
PointNet++模型是基于3D点云设计的深度学习多分类框架模型，可以利用该模型来对3D点云呈现的数据进行物体分类。
在本发明实施例中，在对多份人脸点云样本数据进行训练，并模型的输出结果修改为二分类后，可以得到用于检测点云数据是否为人脸点云的PointNet++模型。
在具体实现中，可以通过将PointNet++模型的全连接层配置为输出结果为两类，并对预先采集的样本集进行训练即可实现对人脸和非人脸的分类。
在本发明实施例中，对于预处理后的人体点云数据，可以采用PointNet++模型识别得到各个数据点之间的稀疏关系，进而提取出人脸点云数据。
S203、计算所述人体点云数据中各个数据点之间的稀疏关系与所述人脸点云样本数据中各个数据点之间的稀疏关系的相似度；
S204、提取所述相似度超过预设阈值部分的多个数据点作为人脸点云数据；
在本发明实施例中，人脸点云样本数据可以是预先采集的多份人脸点云数据，PointNet++模型能够对上述样本数据进行训练，得到具有通用性的用于表征人脸点云中各个数据点的稀疏关系的数据。
在识别出当前用户的人体点云中各个部分的稀疏关系后，可以将当前用户人体点云中各个部分的稀疏关系与样本数据的稀疏关系进行比较，提取出相似度超过一定阈值的部分作为人脸位置所在的区域，该区域内的所有数据点即构成当前用户的人脸点云数据。
S205、分别确定所述人脸点云数据中各个数据点在预设的三维坐标系的x、y、z轴上的坐标值最大值和坐标值最小值；
在本发明实施例中，在确定出人脸位置后，实际上得到的就是一个点云坐标集合。由于点云数据只包含坐标信息，不能直接用于人脸识别，需要将点云数据作体素化处理后，得到体素数据，才能通过体素数据去提取人脸上的特征点，作为模型的输入数据，实现整个识别过程。
体素化(Voxelization)是将物体对象的几何形式表示转换成最接近该物体对象的体素表示形式，产生体素数据集。体素不仅包含物体对象的表面信息，而且能描述该物体对象的内部属性。用于表示物体对象空间信息的体素与表示图像的二维像素比较类似，只不过从二维的点扩展到三维的立方体单元。
在对点云数据作体素化处理时，可以首先根据这个点云坐标集合，可以找到一个立方体，能够包含整个人脸点云。该立方体可以是包含全部数据点的面积最小的正方体。
在具体实现中，由于上述点云坐标集合中包含有各个数据点的三维坐标，也就是各个数据点对应于x、y、z轴上的坐标值，因此，在确定包含全部数据点的面积最小的立方体时，可以首先找到各个数据点在x、y、z轴上的坐标值最大值和坐标值最小值，即xmin、xmax、ymin、ymax、zmin和zmax。
S206、根据所述坐标值最大值和坐标值最小值，生成包含所述人脸点云数据中全部数据点的最小立方体；
通过对上述坐标值最大值和坐标值最小值进行组合，得到立方体的8个顶点，从而可以生成包含整个人脸点云的立方体。
例如，若以(xmin、ymin、zmin)对应的点作为坐标原点，则该立方体的8个顶点在当前坐标系下的的坐标分别为：(xmin、ymin、zmin)、(xmax、ymin、zmin)、(xmax、ymax、zmin)、(xmin、ymax、zmin)、(xmin、ymin、zmax)、(xmax、ymin、zmax)、(xmax、ymax、zmax)和(xmin、ymax、zmax)。
S207、对所述最小立方体中的全部数据点进行标记，获得所述人脸点云数据中的体素数据；
在上述立方体内，通过对各个数据点所在的位置进行标记，所得到的数据即是体素数据。
S208、将所述体素数据映射至特定大小的立体空间，作为所述三维空间信息逐层次学习网络模型的输入数据；
在本发明实施例中，为了方便后续的识别，可以将获取到的体素数据作归一化处理，映射至特定大小的立体空间。例如，200*200*200空间。
在具体实现中，可以根据当前包含全部人脸点云的点的立方体与归一化后的立体空间之间的比例关系来完成映射过程。
需要说明的是，由于归一化要求后的立体空间通常较包含全部人脸点云的点的立方体要小，因此在映射处理过程中，可以通过对当前立方体进行等比例缩小来进行映射。
例如，若当前包含全部人脸点云的点的最小立方体为500*500*500的立方体，而要求的归一化后的立体空间为200*200*200大小的空间，则二者之间的比例关系为5:2，因此，可以将500*500*500的立方体中各个被标记的数据点的坐标值等比例缩小2.5倍，并按照坐标值在200*200*200大小的空间中标记出各个人脸点云的数据点，得到归一化后的体素数据。
然后，归一化后的体素数据可以被输入至预置的VoxelNet模型进行特征点的提取和识别。
S209、采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；
在本发明实施例中，归一化后输入的体素数据即是待识别的人脸。VoxelNet模型从输入的体素数据中提取出的特征点即是待识别的人脸上的特征点。
在进行人脸识别时，可以首先计算各个特征点之间的欧式距离。
S210、基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。
在本发明实施例中，在对当前用户进行人脸识别时，可以首先提取预先输入的目标用户人脸中的多个目标特征点并计算各个目标特征点之间的欧式距离。
预先输入的目标特征点可以是在预先输入的用户的人脸中提取出的特征点。例如，可以是眉毛、眼睛、鼻子等位置的特征点。
然后，可以确定各个特征点与各个目标特征点之间的对应关系，通过计算各个目标特征点之间的欧式距离，可以判断当前用户的各个特征点之间的欧式距离与具有上述对应关系的各个目标特征点之间的欧式距离之间的误差是否小于预设数值；若是，则可以识别当前用户为目标用户，否则，则可以识别当前用户不为目标用户。
例如，当前识别出人脸中的眉毛、眼睛、鼻子等特征点，可以与预先输入的人脸中的眉毛、眼睛、鼻子等目标特征点具有对应关系。即，眉毛与眉毛相对于，眼睛与眼睛相对应，鼻子与鼻子相对应。
在计算特征点及目标特征点各自之间的欧式距离时，可以计算当前识别出的眉毛与眼睛两个特征点之间的欧式距离E11和眼睛与鼻子两个特征点之间的欧式距离E12，然后将上述E11与E12分别与预先输入的目标特征点之间的欧式距离进行比较。即，将E11与预先输入的眉毛与眼睛两个目标特征点之间的欧式距离E01进行比较，将E12与预先输入的眼睛与鼻子两个目标特征点之间的欧式距离E02进行比较。
在具体实现中，可以设定一阈值，在对两张脸中提取的特征点之间的欧式距离进行比较时，若相互之间的误差小于上述阈值，则可以认为两张脸属于同一个人，反之则属于不同的人。
在本发明实施例中，在采集得到当前用户的人体点云数据后，可以采用PointNet++模型从人体点云数据中提取出人脸点云数据，进而获得人脸点云数据中的体素数据并进行归一化处理；归一化后的体素数据可以被输入至VoxelNet模型进行特征点的提取和识别。本实施例在进行人脸识别时，无需依靠用户行为就能进行活体判断，解决了用户通过手举当事人的照片假冒人脸的问题，提高了人脸识别的效率，保证了人脸识别的安全性。
需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参照图3，示出了本发明一个实施例的一种人脸识别的装置的示意图，具体可以包括如下模块：
采集模块301，用于采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；
提取模块302，用于提取所述人体点云数据中的人脸点云数据；
获取模块303，用于根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据；
计算模块304，用于采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；
识别模块305，用于基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。
在本发明实施例中，所述提取模块302具体可以包括如下子模块：
稀疏关系识别子模块，用于采用预置的三维点云网络模型识别所述人体点云数据中各个数据点之间的稀疏关系，所述三维点云网络模型通过对多份人脸点云样本数据进行训练得到；
相似度计算子模块，用于计算所述人体点云数据中各个数据点之间的稀疏关系与所述人脸点云样本数据中各个数据点之间的稀疏关系的相似度；
人脸点云数据提取子模块，用于提取所述相似度超过预设阈值部分的多个数据点作为人脸点云数据。
在本发明实施例中，所述提取模块302还可以包括如下子模块：
人脸鼻尖位置识别子模块，用于根据所述人体点云数据中各个数据点的坐标值，识别所述当前用户的人体点云数据中的人脸鼻尖位置；
人脸点云数据裁剪子模块，用于基于所述人脸鼻尖位置，从所述人体点云数据中裁剪出人脸点云数据。
在本发明实施例中，所述人脸点云数据裁剪子模块具体可以包括如下单元：
人脸点云数据裁剪单元，用于以所述人脸鼻尖位置为原点构建坐标系，通过提取在所述坐标系的各个方向上预设长度内的多个数据点，获得人脸点云数据。
在本发明实施例中，所述获取模块303具体可以包括如下子模块：
坐标值确定子模块，用于分别确定所述人脸点云数据中各个数据点在预设的三维坐标系的x、y、z轴上的坐标值最大值和坐标值最小值；
立方体生成子模块，用于根据所述坐标值最大值和坐标值最小值，生成包含所述人脸点云数据中全部数据点的最小立方体；
体素数据获取子模块，用于对所述最小立方体中的全部数据点进行标记，获得所述人脸点云数据中的体素数据。
在本发明实施例中，所述获取模块303还可以包括如下子模块：
体素数据映射子模块，用于将所述体素数据映射至特定大小的立体空间，作为所述三维空间信息逐层次学习网络模型的输入数据。
在本发明实施例中，所述各个特征点之间的距离为所述各个特征点之间的欧式距离，所述识别模块305具体可以包括如下子模块：
目标特征点提取子模块，用于提取预先输入的目标用户人脸中的多个目标特征点；
欧式距离计算子模块，用于计算各个目标特征点之间的欧式距离；
对应关系确定子模块，用于确定所述各个特征点与所述各个目标特征点之间的对应关系；
欧式距离判断子模块，用于判断所述各个特征点之间的欧式距离与具有所述对应关系的所述各个目标特征点之间的欧式距离之间的误差是否小于预设数值；
识别子模块，用于若是，则识别所述当前用户为所述目标用户；若否，则识别所述当前用户不为所述目标用户。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。
参照图4，示出了本发明一个实施例的一种终端设备的示意图。如图4所示，本实施例的终端设备400包括：处理器410、存储器420以及存储在所述存储器420中并可在所述处理器410上运行的计算机程序421。所述处理器410执行所述计算机程序421时实现上述人脸识别的方法各个实施例中的步骤，例如图1所示的步骤S101至S105。或者，所述处理器410执行所述计算机程序421时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至305的功能。
示例性的，所述计算机程序421可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器420中，并由所述处理器410执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段可以用于描述所述计算机程序421在所述终端设备400中的执行过程。例如，所述计算机程序421可以被分割成采集模块、提取模块、获取模块、计算模块和识别模块，各模块具体功能如下：
采集模块，用于采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；
提取模块，用于提取所述人体点云数据中的人脸点云数据；
获取模块，用于根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据；
计算模块，用于采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；
识别模块，用于基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。
所述终端设备400可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备400可包括，但不仅限于，处理器410、存储器420。本领域技术人员可以理解，图4仅仅是终端设备400的一种示例，并不构成对终端设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备400还可以包括输入输出设备、网络接入设备、总线等。
所述处理器410可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器420可以是所述终端设备400的内部存储单元，例如终端设备400的硬盘或内存。所述存储器420也可以是所述终端设备400的外部存储设备，例如所述终端设备400上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等等。进一步地，所述存储器420还可以既包括所述终端设备400的内部存储单元也包括外部存储设备。所述存储器420用于存储所述计算机程序421以及所述终端设备400所需的其他程序和数据。所述存储器420还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸识别的方法，其特征在于，包括：
采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；
提取所述人体点云数据中的人脸点云数据；
根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据；
采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；
基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。
2.根据权利要求1所述的方法，其特征在于，所述提取所述人体点云数据中的人脸点云数据的步骤包括：
采用预置的三维点云网络模型识别所述人体点云数据中各个数据点之间的稀疏关系，所述三维点云网络模型通过对多份人脸点云样本数据进行训练得到；
计算所述人体点云数据中各个数据点之间的稀疏关系与所述人脸点云样本数据中各个数据点之间的稀疏关系的相似度；
提取所述相似度超过预设阈值部分的多个数据点作为人脸点云数据。
3.根据权利要求1所述的方法，其特征在于，所述提取所述人体点云数据中的人脸点云数据的步骤包括：
根据所述人体点云数据中各个数据点的坐标值，识别所述当前用户的人体点云数据中的人脸鼻尖位置；
基于所述人脸鼻尖位置，从所述人体点云数据中裁剪出人脸点云数据。
4.根据权利要求3所述的方法，其特征在于，所述基于所述人脸鼻尖位置，从所述人体点云数据中裁剪出人脸点云数据的步骤包括：
以所述人脸鼻尖位置为原点构建坐标系，通过提取在所述坐标系的各个方向上预设长度内的多个数据点，获得人脸点云数据。
5.根据权利要求1所述的方法，其特征在于，所述根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据的步骤包括：
分别确定所述人脸点云数据中各个数据点在预设的三维坐标系的x、y、z轴上的坐标值最大值和坐标值最小值；
根据所述坐标值最大值和坐标值最小值，生成包含所述人脸点云数据中全部数据点的最小立方体；
对所述最小立方体中的全部数据点进行标记，获得所述人脸点云数据中的体素数据。
6.根据权利要求5所述的方法，其特征在于，还包括：
将所述体素数据映射至特定大小的立体空间，作为所述三维空间信息逐层次学习网络模型的输入数据。
7.根据权利要求5所述的方法，其特征在于，所述各个特征点之间的距离为所述各个特征点之间的欧式距离，所述基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户的步骤包括：
提取预先输入的目标用户人脸中的多个目标特征点，计算各个目标特征点之间的欧式距离；
确定所述各个特征点与所述各个目标特征点之间的对应关系；
判断所述各个特征点之间的欧式距离与具有所述对应关系的所述各个目标特征点之间的欧式距离之间的误差是否小于预设数值；
若是，则识别所述当前用户为所述目标用户；
若否，则识别所述当前用户不为所述目标用户。
8.一种人脸识别的装置，其特征在于，包括：
采集模块，用于采集当前用户的人体点云数据，所述人体点云数据包括多个数据点，各个数据点分别具有相应的坐标值；
提取模块，用于提取所述人体点云数据中的人脸点云数据；
获取模块，用于根据所述人脸点云数据中各个数据点的坐标值，获取所述人脸点云数据中的体素数据；
计算模块，用于采用预置的三维空间信息逐层次学习网络模型提取所述体素数据中的多个特征点，并计算各个特征点之间的距离；
识别模块，用于基于所述各个特征点之间的距离，识别所述当前用户是否为目标用户。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述人脸识别的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述人脸识别的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910882001.6A CN110728196B (zh) | 2019-09-18 | 2019-09-18 | 一种人脸识别的方法、装置及终端设备 |
| PCT/CN2019/117184 WO2021051539A1 (zh) | 2019-09-18 | 2019-11-11 | 一种人脸识别的方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910882001.6A CN110728196B (zh) | 2019-09-18 | 2019-09-18 | 一种人脸识别的方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110728196A true CN110728196A (zh) | 2020-01-24 |
| CN110728196B CN110728196B (zh) | 2024-04-05 |
Family
ID=69219179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910882001.6A Active CN110728196B (zh) | 2019-09-18 | 2019-09-18 | 一种人脸识别的方法、装置及终端设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110728196B (zh) |
| WO (1) | WO2021051539A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652086A (zh) * | 2020-05-15 | 2020-09-11 | 汉王科技股份有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
| CN112200056A (zh) * | 2020-09-30 | 2021-01-08 | 汉王科技股份有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
| CN113920282A (zh) * | 2021-11-15 | 2022-01-11 | 广州博冠信息科技有限公司 | 图像处理方法和装置、计算机可读存储介质、电子设备 |
| CN114155557A (zh) * | 2021-12-07 | 2022-03-08 | 美的集团(上海)有限公司 | 定位方法、装置、机器人及计算机可读存储介质 |
| US11277258B1 (en) * | 2020-09-11 | 2022-03-15 | Alipay (Hangzhou) Information Technology Co., Ltd. | Privacy protection-based user recognition methods, apparatuses, and devices |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344029B (zh) * | 2021-05-10 | 2024-04-05 | 深圳瀚维智能医疗科技有限公司 | 人体点云提取方法、电子装置和可读存储介质 |
| CN113506227B (zh) * | 2021-07-08 | 2024-07-19 | 江苏省地质测绘院 | 避免车载点云数据纠正点无效采集的方法及系统 |
| CN113657903A (zh) * | 2021-08-16 | 2021-11-16 | 支付宝(杭州)信息技术有限公司 | 一种刷脸支付方法、装置、电子设备和存储介质 |
| CN114140841A (zh) * | 2021-10-30 | 2022-03-04 | 华为技术有限公司 | 点云数据的处理方法、神经网络的训练方法以及相关设备 |
| CN114842543B (zh) * | 2022-06-01 | 2024-05-28 | 华南师范大学 | 三维人脸识别方法、装置、电子设备及存储介质 |
| CN117253138B (zh) * | 2022-06-10 | 2024-10-18 | 中国矿业大学(北京) | 一种基于激光雷达的深度学习位置识别算法 |
| CN117011917A (zh) * | 2023-07-28 | 2023-11-07 | 达州领投信息技术有限公司 | 一种基于面部与语音识别的安全验证方法 |
| CN118521284A (zh) * | 2024-07-23 | 2024-08-20 | 福建又上科技有限公司 | 一种远程智能考勤方法 |
| CN118570865A (zh) * | 2024-07-31 | 2024-08-30 | 江西财经大学 | 基于人工智能的人脸识别分析方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100828412B1 (ko) * | 2006-11-06 | 2008-05-09 | 연세대학교 산학협력단 | 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법 |
| US8526677B1 (en) * | 2012-07-16 | 2013-09-03 | Google Inc. | Stereoscopic camera with haptic feedback for object and location detection |
| CN104091162A (zh) * | 2014-07-17 | 2014-10-08 | 东南大学 | 基于特征点的三维人脸识别方法 |
| CN106127250A (zh) * | 2016-06-24 | 2016-11-16 | 深圳市唯特视科技有限公司 | 一种基于三维点云数据的人脸质量评估方法 |
| WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
| CN108549873A (zh) * | 2018-04-19 | 2018-09-18 | 北京华捷艾米科技有限公司 | 三维人脸识别方法和三维人脸识别系统 |
| CN109670487A (zh) * | 2019-01-30 | 2019-04-23 | 汉王科技股份有限公司 | 一种人脸识别方法、装置及电子设备 |
-
2019
- 2019-09-18 CN CN201910882001.6A patent/CN110728196B/zh active Active
- 2019-11-11 WO PCT/CN2019/117184 patent/WO2021051539A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100828412B1 (ko) * | 2006-11-06 | 2008-05-09 | 연세대학교 산학협력단 | 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법 |
| US8526677B1 (en) * | 2012-07-16 | 2013-09-03 | Google Inc. | Stereoscopic camera with haptic feedback for object and location detection |
| CN104091162A (zh) * | 2014-07-17 | 2014-10-08 | 东南大学 | 基于特征点的三维人脸识别方法 |
| CN106127250A (zh) * | 2016-06-24 | 2016-11-16 | 深圳市唯特视科技有限公司 | 一种基于三维点云数据的人脸质量评估方法 |
| WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
| CN108549873A (zh) * | 2018-04-19 | 2018-09-18 | 北京华捷艾米科技有限公司 | 三维人脸识别方法和三维人脸识别系统 |
| CN109670487A (zh) * | 2019-01-30 | 2019-04-23 | 汉王科技股份有限公司 | 一种人脸识别方法、装置及电子设备 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652086A (zh) * | 2020-05-15 | 2020-09-11 | 汉王科技股份有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
| CN111652086B (zh) * | 2020-05-15 | 2022-12-30 | 汉王科技股份有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
| US11277258B1 (en) * | 2020-09-11 | 2022-03-15 | Alipay (Hangzhou) Information Technology Co., Ltd. | Privacy protection-based user recognition methods, apparatuses, and devices |
| CN112200056A (zh) * | 2020-09-30 | 2021-01-08 | 汉王科技股份有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
| CN113920282A (zh) * | 2021-11-15 | 2022-01-11 | 广州博冠信息科技有限公司 | 图像处理方法和装置、计算机可读存储介质、电子设备 |
| CN114155557A (zh) * | 2021-12-07 | 2022-03-08 | 美的集团(上海)有限公司 | 定位方法、装置、机器人及计算机可读存储介质 |
| CN114155557B (zh) * | 2021-12-07 | 2022-12-23 | 美的集团(上海)有限公司 | 定位方法、装置、机器人及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110728196B (zh) | 2024-04-05 |
| WO2021051539A1 (zh) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728196B (zh) | 一种人脸识别的方法、装置及终端设备 | |
| US9747493B2 (en) | Face pose rectification method and apparatus | |
| CN110675487B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| US20210264144A1 (en) | Human pose analysis system and method | |
| CN109117755B (zh) | 一种人脸活体检测方法、系统和设备 | |
| US11145080B2 (en) | Method and apparatus for three-dimensional object pose estimation, device and storage medium | |
| JP2013012190A (ja) | ガボールフィルターをブロックガボールフィルターとして近似する方法、及び、プロセッサ上で実行されているアプリケーションプログラムによるアクセスのためのデータ構造を格納するメモリ | |
| CN111241989A (zh) | 图像识别方法及装置、电子设备 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| Pang et al. | Training-based object recognition in cluttered 3d point clouds | |
| WO2016045711A1 (en) | A face pose rectification method and apparatus | |
| CN110832542A (zh) | 识别处理设备、识别处理方法和程序 | |
| Yang et al. | Stereo matching using epipolar distance transform | |
| CN111488810A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| Zhao et al. | Region-based saliency estimation for 3D shape analysis and understanding | |
| WO2014006786A1 (ja) | 特徴量抽出装置および特徴量抽出方法 | |
| CN114842466A (zh) | 目标检测方法、计算机程序产品和电子设备 | |
| CN110717406B (zh) | 一种人脸检测的方法、装置及终端设备 | |
| Xu et al. | MultiView-based hand posture recognition method based on point cloud | |
| CN112016495A (zh) | 人脸识别的方法、装置和电子设备 | |
| CN108694347B (zh) | 图像处理方法和装置 | |
| Singla | Technique of Image Registration in Digital Image Processing: a Review | |
| Setyati et al. | Face tracking implementation with pose estimation algorithm in augmented reality technology | |
| Glumova et al. | Investigation of algorithms for generating surfaces of 3D models based on an unstructured point cloud | |
| Vyatkin | Method of face recognition with the use of scalar perturbation functions and a set-theoretic operation of subtraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |