CN110717406A - 一种人脸检测的方法、装置及终端设备 - Google Patents

一种人脸检测的方法、装置及终端设备 Download PDF

Info

Publication number
CN110717406A
CN110717406A CN201910882002.0A CN201910882002A CN110717406A CN 110717406 A CN110717406 A CN 110717406A CN 201910882002 A CN201910882002 A CN 201910882002A CN 110717406 A CN110717406 A CN 110717406A
Authority
CN
China
Prior art keywords
point cloud
cloud data
face
data
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910882002.0A
Other languages
English (en)
Other versions
CN110717406B (zh
Inventor
张国辉
李佼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910882002.0A priority Critical patent/CN110717406B/zh
Priority to PCT/CN2019/117181 priority patent/WO2021051538A1/zh
Publication of CN110717406A publication Critical patent/CN110717406A/zh
Application granted granted Critical
Publication of CN110717406B publication Critical patent/CN110717406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例适用于人脸检测技术领域,提供了一种人脸检测的方法、装置及终端设备,所述方法包括:采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;根据各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置;基于人脸鼻尖位置,从人体点云数据中裁剪出人脸点云数据;通过对多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型;当接收到待检测对象的点云数据时,采用人脸检测模型对待检测对象的点云数据进行检测,识别待检测对象的点云数据中是否包括人脸。本实施例解决了现有技术中3D人脸检测算法容易被破解的问题,提高了人脸检测的安全性。

Description

一种人脸检测的方法、装置及终端设备
技术领域
本发明属于人脸检测技术领域,特别是涉及一种人脸检测的方法、一种人脸检测的装置、一种终端设备及一种计算机可读存储介质。
背景技术
人脸检测(Face Detection)是指对于任意一幅给定的图像,采用一定的策略对其进行搜索以确定其中是否含有人脸,如果是则返回人脸的位置、大小和姿态等信息。随着技术的发展,人脸检测在基于内容的检索、数字视频处理、视频检测等方面有着重要的应用价值。
目前,人脸检测主要包括2D人脸检测和3D人脸检测两种形式。其中,2D人脸检测可以用于对平面图像中出现的人脸进行检测,而3D人脸检测则能够通过3D摄像头立体成像,识别视野内空间每个点位的三维坐标信息。由于机器获取的信息多了,3D人脸检测分析判断的准确性相较于2D人脸检测有了极大的提升。但是,现有技术中的3D人脸检测大多都是基于3D点云在2D图像上的投影来实现的,通过对RGB2D图像的人脸检测来完成对3D点云的人脸检测,该方法比较容易被破解。
例如,在3D结构光摄像头前,用一张包含人脸图像的照片挡住自己的脸进行人脸检测时,在基于RGB2D图像的人脸检测算法中,也认为这张照片是人脸,那么检测出该脸的边界框会被映射到3D点云坐标上,从而可以输出人脸边界框在3D点云中的结果。但是,包含人脸图像的这张照片在3D结构光摄像头拍摄的点云中仅仅是一个平面,没有任何的人脸信息,按照这种检测算法输出的检测结果实际上是错误的。
发明内容
有鉴于此,本发明实施例提供了一种人脸检测的方法、装置及终端设备,以解决现有技术中基于3D点云在2D图像上的投影来实现的3D人脸检测算法容易被破解,安全性较低的问题。
本发明实施例的第一方面提供了一种人脸检测的方法,包括:
采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;
根据所述各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置;
基于所述人脸鼻尖位置,从所述人体点云数据中裁剪出人脸点云数据;
通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型;
当接收到待检测对象的点云数据时,采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸。
本发明实施例的第二方面提供了一种人脸检测的装置,包括:
采集模块,用于采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;
识别模块,用于根据所述各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置;
裁剪模块,用于基于所述人脸鼻尖位置,从所述人体点云数据中裁剪出人脸点云数据;
生成模块,用于通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型;
检测模块,用于在接收到待检测对象的点云数据时,采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述人脸检测的方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述人脸检测的方法的步骤。
与现有技术相比,本发明实施例包括以下优点:
本发明实施例,通过采集多个样本用户的人体点云数据,可以根据各个数据点的坐标值,分别识别出在各个样本用户的人体点云数据中的人脸鼻尖位置,从而基于人脸鼻尖位置,能够进一步地从人体点云数据中裁剪出人脸点云数据作为样本数据用于模型训练,生成人脸检测模型;使得在接收到待检测对象的点云数据时,可以采用上述训练获得的人脸检测模型对待检测对象的点云数据进行检测,以识别出待检测对象的点云数据中是否包括人脸。本实施例通过对现有的开源数据集进行模型训练,可以获得一批仅有人脸信息的3D点云数据集,这些3D点云数据集可以直接被用作后续的人脸检测,无需借助RGB2D图像,解决了现有技术中基于3D点云在2D图像上的投影来实现的3D人脸检测算法容易被破解的问题,提高了人脸检测的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种人脸检测的方法的步骤流程示意图;
图2是本发明一个实施例的另一种人脸检测的方法的步骤流程示意图;
图3是本发明一个实施例的一种人脸检测的装置的示意图;
图4是本发明一个实施例的一种终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本发明。在其他情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
下面通过具体实施例来说明本发明的技术方案。
参照图1,示出了本发明一个实施例的一种人脸检测的方法的步骤流程示意图,具体可以包括如下步骤:
S101、采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;
需要说明的是,本方法可以应用于终端设备中。该终端设备通过采集被检测对象的点云数据,可以识别出上述点云数据中是否包括相应的人脸。
在本发明实施例中,为了实现对被检测对象的点云数据中是否包括人脸进行检测,首先可以通过采集多个样本用户的人体点云数据进行模型训练,构建出相应的人脸检测模型,进而由该人脸检测模型完成后续的检测过程。
通常,人体点云数据即是指3D人体点云数据。3D人体点云数据是以数据点的形式记录人体结构的一种数据,每一个数据点均包含有三维坐标。例如,可以是x、y、z轴上的坐标值。当然,每一个数据点也还可以包含有灰度等其他信息,本实施例对此不作限定。
在具体实现中,可以通过特定的检测设备或采集设备获取人体各个部位的深度信息。然后,这些设备可以基于得到的深度信息自动输出3D人体点云数据。通常,上述设备可以是深度摄像机、深度照相机、深度传感器或激光雷达等设备。
以深度摄像机为例。深度摄像机通常由红外投影机和红外深度摄像机构成,其中,红外投影机主要用于向外界发射均匀的红外线,并在目标对象(如人体或其他物体)上形成红外散斑图像,目标物体反射得到的散斑图像信息由红外深度摄像机接收,最后在形成目标对象的深度信息后,红外深度摄像机通过对形成的深度信息进行分析处理,可以输出目标对象的点云数据。
在本发明实施例中,样本用户的人体点云数据即是为了用于后续进行模型训练而需要预先采集的样本数据,样本数据可以通过深度摄像机等设备对多个不同的用户进行3D拍摄获得。
当然,多个样本用户的人体点云数据也可以直接从一些存储有人体点云数据的数据库中提取获得,本实施例对用作样本数据的人体点云数据的采集方式不作限定。
S102、根据所述各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置;
在本发明实施例中,采集得到的人体点云数据可以包括全身点云或半身点云等等。由于采集这些人体点云数据进行模型训练获得的检测模型的检测对象是确定的,即检测的是点云数据中是否包括人脸。因此,在获得样本用户的全身点云或半身点云数据后,为了减少后续模型训练的数据处理量,可以从这些人体点云数据中裁剪出人脸点云数据。
通常,人的鼻子基本上处于人脸的居中位置。因此,为了从采集得到的人体点云数据中裁剪出人脸点云数据,可以首先识别出各个样本用户的鼻尖在各自的人体点云数据中的大致位置。
S103、基于所述人脸鼻尖位置,从所述人体点云数据中裁剪出人脸点云数据;
在本发明实施例中,在确定人脸鼻尖的位置后,可以以该位置为原点,通过在坐标轴的各个方向上剪裁出一定长度的数据,从而可以得到人脸点云数据。
或者,也可以以人脸鼻尖位置作为球体的中心点,通过在人体点云数据中裁剪出以该中心点为球心,特定数值为半径的球体,将该球体中包含的数据作为人脸点云数据。上述长度和数值均可以由本领域技术人员根据经验值确定,本实施例对此不作限定。
S104、通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型;
在得到各个样本用户的人脸点云数据后,便可以以这些人脸点云数据作为样本数据进行模型训练,获得人脸检测模型。
在本发明实施例中,可以通过将上述各个样本用户的人脸点云数据输入预置的三维点云网络模型进行训练中,获得人脸检测模型。上述三维点云网络模型可以是PointNet++模型。
PointNet++模型是基于3D点云设计的深度学习多分类框架模型,可以利用该模型来对3D点云呈现的数据进行物体分类。
在具体实现中,采用PointNet++模型对作为样本数据的各个样本用户的人脸点云数据进行训练后,生成的人脸检测模型可以获得各个样本用户的人脸点云数据之间的关联信息,这些关联信息可以用于后续的人脸检测。
S105、当接收到待检测对象的点云数据时,采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸。
在本发明实施例中,待检测对象可以待检测的用户或其他物体。待检测对象的点云数据同样可以通过深度摄像机等设备采集得到。
采集得到的待检测对象的点云数据可以被输入至步骤S104中生成的人脸检测模型中,由模型根据训练获得的人脸点云数据之间的关联信息对当前需要检测的点云数据进行识别,从而输出这些点云数据中是否包括人脸的信息。
在具体实现中,人脸检测模型可以通过比较当前待检测的点云数据之间的关联信息与经模型训练获得的人脸点云数据之间的关联信息是否具有相似性,判断待检测的点云数据是否包括人脸点云数据。
在本发明实施例中,通过采集多个样本用户的人体点云数据,可以根据各个数据点的坐标值,分别识别出在各个样本用户的人体点云数据中的人脸鼻尖位置,从而基于人脸鼻尖位置,能够进一步地从人体点云数据中裁剪出人脸点云数据作为样本数据用于模型训练,生成人脸检测模型;使得在接收到待检测对象的点云数据时,可以采用上述训练获得的人脸检测模型对待检测对象的点云数据进行检测,以识别出待检测对象的点云数据中是否包括人脸。本实施例通过对现有的开源数据集进行模型训练,可以获得一批仅有人脸信息的3D点云数据集,这些3D点云数据集可以直接被用作后续的人脸检测,无需借助RGB2D图像,解决了现有技术中基于3D点云在2D图像上的投影来实现的3D人脸检测算法容易被破解的问题,提高了人脸检测的安全性。
参照图2,示出了本发明一个实施例的另一种人脸检测的方法的步骤流程示意图,具体可以包括如下步骤:
S201、采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;
在本发明实施例中,多个样本用户的人体点云数据即是后续用于模型训练的样本数据,通过对样本数据进行模型训练,可以生成相应的人脸检测模型。
在具体实现中,可以通过深度摄像机、深度照相机、深度传感器或激光雷达等设备采集样本用户的人体点云数据。采集得到的人体点云数据可以包括全身点云或半身点云。当然,无论是全身点云或半深点云,均包括有多个数据点,这些数据点包含有三维坐标系下的坐标值,通过这些数据点所体现出的信息,可以表征具体的人体结构。
S202、对所述多个样本用户的人体点云数据进行预处理;
在本发明实施例中,为了减少后续模型训练时的数据处理量,减少训练误差。在采集得到人体点云数据后,还可以对这些人体点云数据作预处理。对人体点云数据的预处理可以包括去噪处理和归一化处理。
通常,采集的人体点云数据都会存在一些噪点,例如一些离群的点,可以通过对多个样本用户的人体点云数据进行去噪处理,将这些离群的点过滤掉,去除噪点对后续识别的影响。
然后,在进行归一化处理时,可以通过对去噪后的各个数据点的坐标值作比例变换,将人体点云数据归一化为具有预设规格的人体点云数据。
通常,不同的人体点云数据的规格大小可能是不同的。例如,某些点云数据覆盖的区域为3*3*3,而另外一些点云数据覆盖的区域为6*6*6,因此,可以对全部的人体点云数据进行归一化处理,得到规格相同的处理后的人体点云数据。
在具体实现中,由于人体点云数据中包括各个数据点的坐标值,因此可以根据各个坐标值生成一个包含全部人体点云数据中全部数据点的立方体,然后通过对各个数据点的坐标值作比例变换的方式,将各个数据点归一化为相同规格的立方体中的数据点。
S203、根据预设的坐标系的原点和方向,识别所述人体点云数据中在所述坐标系的横轴或纵轴上的坐标值最大值对应的数据点位置为人脸鼻尖位置;
在本发明实施例中,在获得样本用户的人体点云数据后,为了减少后续模型训练的数据处理量,可以从这些人体点云数据中裁剪出人脸点云数据,以人脸点云数据作为后续训练的正样本数据。
通常,人的鼻子基本上处于人脸的居中位置。因此,为了从采集得到的人体点云数据中裁剪出人脸点云数据,可以首先识别出各个样本用户的鼻尖在各自的人体点云数据中的大致位置。
由于人体点云数据是一种立体的三维数据,可以在构建出的坐标系中选择横轴或纵轴上的最大值所对应的位置作为人脸鼻尖位置。对于究竟是横轴最大值还是纵轴最大值对应的数据点位置作为人脸鼻尖位置,可以根据该坐标系横轴和纵轴的方向具体确定。
一般而言,人体形状是近似于左右对称的。在采集得到人体点云数据后,可以首先确定出一个平面(第二平面),通过该第二平面可以将人体点云划分为左右两部分,并使得左右两部分的点云数量大致相等。然后,可以根据各个数据点的坐标值,确定出人体点云数据的中心点,并以该中心点作为待构建的坐标系的原点。在确定出坐标系的原点后,可以基于该原点构建出坐标系的横轴和纵轴,使得由上述横轴和纵轴构成的另一平面(第一平面)平行于水平面并且与上述第二平面垂直。这样,坐标系的横轴或纵轴便与第二平面平行。
如果上述坐标系的横轴与第二平面平行,则该坐标系的纵轴垂直与第二平面,此时可以将横轴上的最大值所对应的位置作为人脸鼻尖位置;如果上述坐标系的纵轴与第二平面平行,则该坐标系的横轴垂直与第二平面,此时可以将纵轴上的最大值所对应的位置作为人脸鼻尖位置。需要说明的是,该最大值可以是坐标值绝对值的最大值。
S204、以所述人脸鼻尖位置为原点构建三维坐标系,通过提取在所述三维坐标系的各个方向上预设长度内的多个数据点,获得人脸点云数据;
在本发明实施例中,在确定人脸鼻尖的位置后,可以以该位置为原点,通过在坐标轴的各个方向上剪裁出一定长度的数据,从而可以得到人脸点云数据。
例如,可以以确定出的人脸鼻尖位置为原点构建三维坐标系,然后从原点出发,分别提取出坐标轴各个方向上一定长度范围内的数据点,进行人体点云数据的“抠脸”,得到人脸点云数据。
S205、通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型,所述人脸检测模型存储有训练后获得的所述人脸点云数据中各个数据点之间的稀疏度数据;
在得到各个样本用户的人脸点云数据后,便可以以这些人脸点云数据作为正样本数据进行模型训练,获得人脸检测模型。
在具体实现中,可以首秀将多个样本用户的人脸点云数据输入预置的三维点云网络模型PointNet++中进行模型训练。然后通过将PointNet++模型的全连接层配置为两层,生成二分类的人脸检测模型。
由于PointNet++模型是基于3D点云设计的深度学习多分类框架模型,利用该模型可以实现对3D点云呈现的数据进行物体分类。因此,在本发明实施例中,通过将上述PointNet++模型的输出结果修改为二分类,可以实现对被检测对象是否为人脸进行分类。即,通过PointNet++模型对被检测对象进行识别,相应的输出结果为人脸或不是人脸。
在具体实现中,可以通过将PointNet++模型的全连接层配置为输出结果为两类,并对预先采集的样本集进行训练即可实现对人脸和非人脸的分类。
当然,为了提高模型后续识别的准确性,在将采集得到的人脸点云数据作为正样本数据输入PointNet++模型中进行训练,生成人脸检测模型的过程中,还可以采集一些非人脸点云数据作为负样本数据进行训练。
由于进行模型训练的上述样本集包括有人脸点云数据和非人脸点云数据,PointNet++模型可以通过对样本集进行训练获得人脸点云数据和非人脸点云数据各自之间的稀疏度数据。其中,人脸点云数据的稀疏度数据可以用于表示人脸点云数据中各个数据点所在的位置,以及各个数据点之间的相对位置关系。在后续的识别过程中,可以通过比较待检测的点云数据与人脸点云数据的稀疏度数据之间的相似度,判断出待检测的点云数据是否为人脸点云数据。
S206、当接收到待检测对象的点云数据时,采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸。
在本发明实施例中,由于二分类的PointNet++模型的输出结果只包括两种情况,一种是人脸,另一种不是人脸,因此,在采集到待检测对象的点云数据后,通过将点云数据输入至PointNet++模型中,可以直接识别出该点云数据是否为人脸。
在具体实现中,在采集到待检测对象的点云数据时,可以采用采用上述预先生成的二分类的人脸检测模型获取待检测对象的点云数据中各个数据点之间的稀疏度;通过计算各个数据点之间的稀疏度与人脸检测模型中存储的各个数据点之间的稀疏度数据的相似度,可以识别待检测对象的点云数据中是否包括人脸。
一般地,若上述相似度超过一定阈值,则可以判定待检测对象的点云数据中包括人脸,否则,则不包括人脸。人脸检测模型可以实时地输出相应的检测结果。
在本发明实施例中,通过将深度学习多分类框架模型PointNet++修改为二分类,并对现有的开源数据集进行预处理,可以得到一批仅有人脸信息的3D点云数据集,在采用上述3D点云数据集进行模型训练后,可以直接利用训练后的3D点云数据来进行人脸检测,无需借助RGB2D图像,提高了人脸检测的安全性。
需要说明的是,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
参照图3,示出了本发明一个实施例的一种人脸检测的装置的示意图,具体可以包括如下模块:
采集模块301,用于采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;
识别模块302,用于根据所述各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置;
裁剪模块303,用于基于所述人脸鼻尖位置,从所述人体点云数据中裁剪出人脸点云数据;
生成模块304,用于通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型;
检测模块305,用于在接收到待检测对象的点云数据时,采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸。
在本发明实施例中,所述装置还可以包括如下模块:
去噪模块,用于对所述多个样本用户的人体点云数据进行去噪处理;
归一化模块,用于通过对去噪后的所述各个数据点的坐标值作比例变换,将所述人体点云数据归一化为具有预设规格的目标点云数据。
在本发明实施例中,所述识别模块302具体可以包括如下子模块:
人脸鼻尖位置识别子模块,用于根据预设的坐标系的原点和方向,识别所述人体点云数据中在所述坐标系的横轴或纵轴上的坐标值最大值对应的数据点位置为人脸鼻尖位置;其中,所述坐标系的原点为所述人体点云数据的中心点,所述坐标系的横轴和纵轴构成的第一平面平行于水平面且垂直于第二平面,所述第二平面用于将所述人体点云数据划分为两部分,所述坐标系的横轴或纵轴与所述第二平面平行。
在本发明实施例中,所述裁剪模块303具体可以包括如下子模块:
人脸点云数据提取子模块,用于以所述人脸鼻尖位置为原点构建三维坐标系,通过提取在所述三维坐标系的各个方向上预设长度内的多个数据点,获得人脸点云数据。
在本发明实施例中,所述生成模块304具体可以包括如下子模块:
模型训练子模块,用于将所述多个样本用户的人脸点云数据输入预置的三维点云网络模型中进行模型训练;
模型配置子模块,用于通过将所述三维点云网络模型的全连接层配置为两层,生成二分类的人脸检测模型,所述人脸检测模型存储有训练后获得的所述人脸点云数据中各个数据点之间的稀疏度数据。
在本发明实施例中,所述检测模块305具体可以包括如下子模块:
稀疏度获取子模块,用于采用所述二分类的人脸检测模型获取所述待检测对象的点云数据中各个数据点之间的稀疏度;
相似度计算子模块,用于计算所述各个数据点之间的稀疏度与所述人脸检测模型中存储的各个数据点之间的稀疏度数据的相似度;
人脸检测子模块,用于在所述相似度超过预设阈值时,识别所述待检测对象的点云数据中包括人脸。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述得比较简单,相关之处参见方法实施例部分的说明即可。
参照图4,示出了本发明一个实施例的一种终端设备的示意图。如图4所示,本实施例的终端设备400包括:处理器410、存储器420以及存储在所述存储器420中并可在所述处理器410上运行的计算机程序421。所述处理器410执行所述计算机程序421时实现上述人脸检测的方法各个实施例中的步骤,例如图1所示的步骤S101至S105。或者,所述处理器410执行所述计算机程序421时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块301至305的功能。
示例性的,所述计算机程序421可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器420中,并由所述处理器410执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段可以用于描述所述计算机程序421在所述终端设备400中的执行过程。例如,所述计算机程序421可以被分割成采集模块、识别模块、裁剪模块、生成模块和检测模块,各模块具体功能如下:
采集模块,用于采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;
识别模块,用于根据所述各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置;
裁剪模块,用于基于所述人脸鼻尖位置,从所述人体点云数据中裁剪出人脸点云数据;
生成模块,用于通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型;
检测模块,用于在接收到待检测对象的点云数据时,采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸。
所述终端设备400可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备400可包括,但不仅限于,处理器410、存储器420。本领域技术人员可以理解,图4仅仅是终端设备400的一种示例,并不构成对终端设备400的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备400还可以包括输入输出设备、网络接入设备、总线等。
所述处理器410可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器420可以是所述终端设备400的内部存储单元,例如终端设备400的硬盘或内存。所述存储器420也可以是所述终端设备400的外部存储设备,例如所述终端设备400上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等等。进一步地,所述存储器420还可以既包括所述终端设备400的内部存储单元也包括外部存储设备。所述存储器420用于存储所述计算机程序421以及所述终端设备400所需的其他程序和数据。所述存储器420还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制。尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸检测的方法,其特征在于,包括:
采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;
根据所述各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置;
基于所述人脸鼻尖位置,从所述人体点云数据中裁剪出人脸点云数据;
通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型;
当接收到待检测对象的点云数据时,采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸。
2.根据权利要求1所述的方法,其特征在于,在所述采集多个样本用户的人体点云数据的步骤后,还包括:
对所述多个样本用户的人体点云数据进行去噪处理;
通过对去噪后的所述各个数据点的坐标值作比例变换,将所述人体点云数据归一化为具有预设规格的人体点云数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置的步骤包括:
根据预设的坐标系的原点和方向,识别所述人体点云数据中在所述坐标系的横轴或纵轴上的坐标值最大值对应的数据点位置为人脸鼻尖位置;其中,所述坐标系的原点为所述人体点云数据的中心点,所述坐标系的横轴和纵轴构成的第一平面平行于水平面且垂直于第二平面,所述第二平面用于将所述人体点云数据划分为两部分,所述坐标系的横轴或纵轴与所述第二平面平行。
4.根据权利要求3所述的方法,其特征在于,所述基于所述人脸鼻尖位置,从所述人体点云数据中裁剪出人脸点云数据的步骤包括:
以所述人脸鼻尖位置为原点构建三维坐标系,通过提取在所述三维坐标系的各个方向上预设长度内的多个数据点,获得人脸点云数据。
5.根据权利要求1所述的方法,其特征在于,所述通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型的步骤包括:
将所述多个样本用户的人脸点云数据输入预置的三维点云网络模型中进行模型训练;
通过将所述三维点云网络模型的全连接层配置为两层,生成二分类的人脸检测模型,所述人脸检测模型存储有训练后获得的所述人脸点云数据中各个数据点之间的稀疏度数据。
6.根据权利要求5所述的方法,其特征在于,所述采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸的步骤包括:
采用所述二分类的人脸检测模型获取所述待检测对象的点云数据中各个数据点之间的稀疏度;
计算所述各个数据点之间的稀疏度与所述人脸检测模型中存储的各个数据点之间的稀疏度数据的相似度;
若所述相似度超过预设阈值,则识别所述待检测对象的点云数据中包括人脸。
7.一种人脸检测的装置,其特征在于,包括:
采集模块,用于采集多个样本用户的人体点云数据,所述人体点云数据包括多个数据点,各个数据点分别具有相应的坐标值;
识别模块,用于根据所述各个数据点的坐标值,分别识别各个样本用户的人体点云数据中的人脸鼻尖位置;
裁剪模块,用于基于所述人脸鼻尖位置,从所述人体点云数据中裁剪出人脸点云数据;
生成模块,用于通过对所述多个样本用户的人脸点云数据进行模型训练,生成人脸检测模型;
检测模块,用于在接收到待检测对象的点云数据时,采用所述人脸检测模型对所述待检测对象的点云数据进行检测,识别所述待检测对象的点云数据中是否包括人脸。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
去噪模块,用于对所述多个样本用户的人体点云数据进行去噪处理;
归一化模块,用于通过对去噪后的所述各个数据点的坐标值作比例变换,将所述人体点云数据归一化为具有预设规格的目标点云数据。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述人脸检测的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人脸检测的方法的步骤。
CN201910882002.0A 2019-09-18 2019-09-18 一种人脸检测的方法、装置及终端设备 Active CN110717406B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910882002.0A CN110717406B (zh) 2019-09-18 2019-09-18 一种人脸检测的方法、装置及终端设备
PCT/CN2019/117181 WO2021051538A1 (zh) 2019-09-18 2019-11-11 一种人脸检测的方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910882002.0A CN110717406B (zh) 2019-09-18 2019-09-18 一种人脸检测的方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN110717406A true CN110717406A (zh) 2020-01-21
CN110717406B CN110717406B (zh) 2024-04-09

Family

ID=69210571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882002.0A Active CN110717406B (zh) 2019-09-18 2019-09-18 一种人脸检测的方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN110717406B (zh)
WO (1) WO2021051538A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115206107A (zh) * 2021-04-01 2022-10-18 丰田自动车株式会社 监视装置、监视方法以及监视系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654035A (zh) * 2015-12-21 2016-06-08 湖南拓视觉信息技术有限公司 三维人脸识别方法及应用其的数据处理装置
CN105701448A (zh) * 2015-12-31 2016-06-22 湖南拓视觉信息技术有限公司 三维人脸点云鼻尖检测方法及应用其的数据处理装置
CN105809113A (zh) * 2016-03-01 2016-07-27 湖南拓视觉信息技术有限公司 三维人脸识别方法及应用其的数据处理装置
CN106096555A (zh) * 2016-06-15 2016-11-09 湖南拓视觉信息技术有限公司 三维面部检测的方法和装置
WO2019137131A1 (zh) * 2018-01-10 2019-07-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110175529A (zh) * 2019-04-30 2019-08-27 东南大学 一种基于降噪自编码网络的三维人脸特征点定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654035A (zh) * 2015-12-21 2016-06-08 湖南拓视觉信息技术有限公司 三维人脸识别方法及应用其的数据处理装置
CN105701448A (zh) * 2015-12-31 2016-06-22 湖南拓视觉信息技术有限公司 三维人脸点云鼻尖检测方法及应用其的数据处理装置
CN105809113A (zh) * 2016-03-01 2016-07-27 湖南拓视觉信息技术有限公司 三维人脸识别方法及应用其的数据处理装置
CN106096555A (zh) * 2016-06-15 2016-11-09 湖南拓视觉信息技术有限公司 三维面部检测的方法和装置
WO2019137131A1 (zh) * 2018-01-10 2019-07-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110175529A (zh) * 2019-04-30 2019-08-27 东南大学 一种基于降噪自编码网络的三维人脸特征点定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115206107A (zh) * 2021-04-01 2022-10-18 丰田自动车株式会社 监视装置、监视方法以及监视系统

Also Published As

Publication number Publication date
WO2021051538A1 (zh) 2021-03-25
CN110717406B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN110728196B (zh) 一种人脸识别的方法、装置及终端设备
US9183459B1 (en) Sensor fusion using detector confidence boosting
CN107944020B (zh) 人脸图像查找方法及装置、计算机装置和存储介质
Song et al. Sliding shapes for 3d object detection in depth images
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
WO2015149696A1 (en) Method and system for extracting characteristic of three-dimensional face image
EP2907082B1 (en) Using a probabilistic model for detecting an object in visual data
CN109960742B (zh) 局部信息的搜索方法及装置
CN108875534B (zh) 人脸识别的方法、装置、系统及计算机存储介质
WO2015161776A1 (en) Hand motion identification method and apparatus
CN106709475B (zh) 障碍物识别方法及装置、计算机设备及可读存储介质
WO2015070764A1 (zh) 一种人脸定位的方法与装置
CN109815823B (zh) 数据处理方法及相关产品
Khurana et al. A survey on object recognition and segmentation techniques
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN109145752B (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
Juang et al. Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations
CN114419599A (zh) 障碍物识别方法、装置及电子设备
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
CN110717406B (zh) 一种人脸检测的方法、装置及终端设备
KR101817440B1 (ko) 다중 카메라를 통한 3차원 모델 기반 객체 인식 기법과 시스템
CN112686122A (zh) 人体及影子的检测方法、装置、电子设备、存储介质
Vezzetti et al. Application of geometry to rgb images for facial landmark localisation-a preliminary approach
KR20160148806A (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
CN114494355A (zh) 基于人工智能的轨迹分析方法、装置、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant