CN113792718A - 深度图中人脸区域定位方法、电子设备及存储介质 - Google Patents
深度图中人脸区域定位方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113792718A CN113792718A CN202111365544.4A CN202111365544A CN113792718A CN 113792718 A CN113792718 A CN 113792718A CN 202111365544 A CN202111365544 A CN 202111365544A CN 113792718 A CN113792718 A CN 113792718A
- Authority
- CN
- China
- Prior art keywords
- nose
- point
- determining
- points
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000003708 edge detection Methods 0.000 claims abstract description 11
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 description 56
- 230000001815 facial effect Effects 0.000 description 5
- 210000000697 sensory organ Anatomy 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例涉及人脸检测领域,公开了一种深度图中人脸区域定位方法、电子设备及存储介质。本发明的深度图中人脸区域定位方法,包括:获取目标人脸深度图中深度值最小的像素点作为鼻尖点,在以鼻尖点为中心的预设的检测框中进行边缘检测,确定鼻子轮廓,根据鼻子轮廓确定鼻子区域;根据鼻尖点确定鼻子关键点,根据鼻子关键点确定内眦点,根据内眦点确定眼睛宽度和眼睛区域;经过鼻尖点并朝下颌方向纵向作射线,在射线上检测深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点,根据上嘴唇中心点和下嘴唇中心点确定嘴唇宽度;根据鼻子关键点确定嘴唇长度,通过嘴唇宽度和嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区域定位。
Description
技术领域
本发明实施例涉及人脸检测领域,特别涉及一种深度图中人脸区域定位方法、装置、电子设备及存储介质。
背景技术
深度图是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了景物可见表面的几何形状。目前人脸深度图中人脸区域定位方法主要获取与人脸深度图对应的人脸彩色图,对人脸彩色图进行人脸检测,然后将人脸彩色图的检测结果对应到人脸深度图中,但该方法中获取的人脸彩色图容易受光照等环境影响,人脸彩色图的质量无法保证,且在将人脸彩色图的检测结果对应到人脸深度图的过程中,很容易出现偏差。
发明内容
本发明实施方式的目的在于提供一种深度图中人脸区域定位方法、电子设备及存储介质,旨在通过人脸深度图中各像素点的深度值快速确定鼻子区域、眼睛区域和嘴唇区域。
为解决上述技术问题,本发明的实施方式提供了一种深度图中人脸区域定位方法,包括:获取目标人脸深度图中深度值最小的像素点,将所述深度值最小的像素点作为鼻尖点,在以所述鼻尖点为中心的预设的检测框中进行边缘检测,确定鼻子轮廓,并根据所述鼻子轮廓确定出鼻子区域;在所述鼻子区域内根据所述鼻尖点确定鼻子关键点,根据所述鼻子关键点确定内眦点,并根据所述内眦点确定眼睛宽度,通过所述眼睛宽度确定眼睛区域;经过所述鼻尖点并朝下颌方向纵向作射线,在所述鼻尖点下方的射线上检测深度值较小的两个像素点,将所述深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点,并根据所述上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度;根据所述鼻子关键点确定嘴唇长度,通过所述嘴唇宽度和所述嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区域定位。
本发明的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上述实施方式提及的深度图中人脸区域定位方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述实施方式提及的深度图中人脸区域定位方法。
本发明实施方式提供的深度图中人脸区域定位方法,对目标人脸深度图直接进行处理,通过检测整个人脸深度图中深度值最小的像素点确定鼻尖点,通过鼻尖点和边缘检测确定鼻子区域,后续在鼻子区域内根据鼻尖点确定鼻子关键点,再根据鼻子关键点确定眼睛区域和嘴唇区域。整个方法充分利用人脸深度图中各像素点的深度值就可以完成人脸中眼睛区域、鼻子区域和嘴唇区域的定位,快速简单,既不需要对人脸彩色图进行处理,也无需建立、训练复杂的模型。
另外,本发明实施方式提供的深度图中人脸区域定位方法,在所述鼻子区域内确定鼻子关键点,包括:经过所述鼻尖点纵向作直线,并在所述鼻子区域内计算所述直线两侧的像素点的距离;将所述距离的最大值对应的两个像素点作为所述鼻翼两侧边缘点;经过所述鼻尖点并朝着头顶方向纵向作射线,检测所述射线上深度值最大的像素点,将所述射线上深度值最大的像素点作为鼻根点;其中,所述鼻子关键点包括鼻翼两侧边缘点和所述鼻根点。在鼻子区域内根据鼻尖点可快速确定鼻翼两侧边缘点和鼻根点,由此可快速精准确定目标人脸深度图中的鼻子区域的特征:鼻子轮廓、鼻子高低、鼻翼宽度和鼻子长度。
另外,本发明实施方式提供的深度图中人脸区域定位方法,根据所述鼻子关键点确定内眦点,包括:在以所述鼻根点为中心的预设的检测框内确定深度值较大的两个像素点,并将所述深度值较大的两个像素点作为两个内眦点;或者,经过所述鼻翼两侧边缘点并朝着头顶方向分别作射线,在所述鼻翼两侧边缘点上方的两条射线之间的区域内检测深度值较大的两个像素点,将所述深度值较大的两个像素点作为两个内眦点,其中,所述两条射线之间的区域在鼻翼朝向头顶的方向上逐渐变大。根据鼻子关键点确定内眦点的方法包括两种,一种是根据鼻根点确定,一种是根据鼻翼两侧边缘点确定。可以根据鼻子关键点的内容进行选择,为实际应用提供了多种选择空间。
另外,本发明实施方式提供的深度图中人脸区域定位方法,根据所述鼻子关键点确定嘴唇长度,包括:在所述鼻子区域内经过所述鼻翼两侧边缘点作线段,经过所述线段上的每一个像素点并朝下颌方向纵向作射线;检测每一条射线上深度值较小的两个像素点,并根据所述每一条射线上深度值较小的两个像素点确定嘴唇轮廓,根据所述嘴唇轮廓确定嘴唇长度。通过鼻翼两侧边缘点就可以快速确定嘴唇轮廓,通过嘴唇轮廓即可确定嘴唇长度。整个方法仅需要对射线上的深度值进行检测,简单快速。
另外,本发明实施方式提供的深度图中人脸区域定位方法,完成目标人脸深度图的人脸区域定位之后,还包括:检测所述人脸区域中的每一个像素点与所述鼻尖点的深度差值和距离,其中,所述人脸区是指眼睛区域或嘴唇区域;判断所述人脸区域中每一个像素点的深度差值和距离是否均满足所述人脸区域对应的预设条件;当所述人脸区域中不满足预设条件的像素点的数量大于预设的阈值时,重新确定所述不满足预设条件的像素点所在的人脸区域。完成人脸区域的定位后,通过检测眼睛区域或嘴唇区域中每一个像素点与鼻尖点的深度值和距离判断眼睛区域和嘴唇区域定位是否准确,若不准确,重新确定人脸区域,进一步提高人脸区域定位的准确性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明的实施方式提供的深度图中人脸区域定位方法的流程图一;
图2是本发明的实施方式提供的深度图中人脸区域定位方法的流程图二;
图3是本发明的实施方式的提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
下面对本实施方式的深度图中人脸区域定位方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节,并非实施本方案的必须。
目前对人脸深度图进行眼睛、鼻子和嘴巴等五官区域的定位主要包括两种方式:一种是通过获取与人脸深度图对应的人脸彩色图,对人脸彩色图进行人脸检测获取关键点,将关键点对应到人脸深度图上完成人脸五官区域的定位。另一种是将人脸深度图输入到已经训练好的神经网络模型中,利用深度学习的方法完成人脸五官区域的定位。而第一种方法中人脸彩色图易受环境影响,人脸彩色图的质量不能保证,另一方面,将人脸彩色图上的关键点对应到人脸深度图的过程中很容易出现偏差,造成人脸深度图中五官区域的定位不准确。而第二种方法,虽然对深度图直接进行处理,其准确性较高,但前期神经网络的搭建和训练复杂度较高、时间较长,且训练过程中也要求准备大量的样本深度图,费时费力。
本发明的实施方式涉及一种深度图中人脸区域定位方法,如图1所示,包括。
步骤101,获取目标人脸深度图中深度值最小的像素点,将深度值最小的像素点作为鼻尖点,在以鼻尖点为中心的预设的检测框中进行边缘检测,确定鼻子轮廓,并根据鼻子轮廓确定出鼻子区域。
本实施方式中,深度图是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了景物可见表面的几何形状,那么本领域技术人员可以理解的是,人脸深度图中某一区域像素点的像素值大小和像素值分布状况可以反映人脸的不同区域。而鼻尖作为人脸中最突出的特征,其在整个人脸深度图中就体现为深度值最小的像素点。
另外,在以鼻尖点(即目标人脸深度图中深度值最小的像素点)为中心的预设的检测框中进行边缘检测确定鼻子区域时,所述检测框为正n边形,n为大于3的整数。检测框的形状可以为三角形、矩形等任意形状。检测框的大小可以预先在不同大小的人脸、不同脸型的人脸上进行测试,选取能覆盖整个鼻子的、大小合适的检测框。进一步地,确定出的鼻子区域包含鼻子的轮廓和鼻子的高度,鼻子的高度可以通过鼻尖点的深度值大小进行确定,这可以为后续的人脸识别提供精确且全方位的数值结果。
需要说明的是,由于人脸中的鼻子区域是整个人脸中特征最为突出,且和其他五官区域之间的界限较为明显的一个五官区域,因此通过边缘检测算法可以快速、精确地确定鼻子的轮廓,进而确定出鼻子区域。而眼睛区域、嘴唇区域等由于与临近的皮肤区域边缘界限不是很明显,采用边缘检测算法来确定这些区域的效果就会很差。
此外,具体地边缘检测算法可以采用Laplacian算子、Roberts算子、Sobel算子、Laplacian-Gauss算子等任意一种算子,此处不对边缘检测算法的具体检测算子作限定。另外,除了通过边缘检测算法外还可以采用基于最小二乘法的鼻子轮廓提取方法、阈值分割的图像处理方法等获取鼻子的轮廓。
步骤102,在鼻子区域内根据所述鼻尖点确定鼻子关键点,根据鼻子关键点确定内眦点,并根据内眦点确定眼睛宽度,通过眼睛宽度确定眼睛区域。
在一些实施例中,鼻子关键点至少包括鼻根点和鼻翼两侧边缘点。在鼻子区域内确定鼻子关键点,包括:经过鼻尖点纵向作直线,并在鼻子区域内计算直线两侧的像素点的距离;将距离的最大值对应的两个像素点作为鼻翼两侧边缘点;经过鼻尖点并朝着头顶方向纵向作射线,检测射线上深度值最大的像素点,将射线上深度值最大的像素点作为鼻根点;将鼻翼两侧边缘点和所述鼻根点作为鼻子关键点。
需要说明的是,确定好鼻根点和鼻翼边缘点后,鼻子区域的特征就包括:鼻子轮廓、鼻子高度、鼻翼宽度和鼻子长度。鼻子高度通过鼻尖点的深度值大小确定,鼻翼宽度通过鼻翼两侧边缘点的距离确定,鼻子长度可以根据鼻根点和鼻子两侧边缘点确定。
在一些实施例中,根据鼻子关键点确定内眦点,包括:在以鼻根点为中心的预设的检测框内确定深度值较大的两个像素点,并将深度值较大的两个像素点作为两个内眦点;或者,经过鼻翼两侧边缘点并朝着头顶方向的方向分别作射线,在鼻翼两侧边缘点上方的两条射线之间的区域内检测深度值较大的两个像素点,深度值较大的两个像素点作为两个内眦点,其中,两条射线之间的区域在鼻翼朝向头顶的方向上逐渐变大。
具体地说,经过鼻尖点纵向向上做射线,本领域技术人员可以理解的是,该射线必然经过鼻跟点,而鼻根点为该射线上深度值最大的像素点,以鼻根点为中心的预设的检测框中搜索确定深度值最大的像素点,而深度值最大的像素点即为内眦点。需要说明的是,预设的检测框可以为矩形、三角形、圆形等任意形状,在此不对检测框的形状做具体限定。检测框的大小可以预先根据多个不同脸型的人脸试验确定。
具体地说,比如:以左鼻翼边缘点为起始点,向左倾斜3度并朝着头顶方向作射线,以右鼻翼边缘点为起始点,向右倾斜3度并朝着头顶方向作射线,在两个鼻翼边缘点的上方射线区域内,检测深度值最大的像素点,可以理解的是在该射线区域内深度值最大的像素点为内眦点。需要说明的是,倾斜角度可以为任意数值。
在本实施例中,本领域技术人员可以理解的是,两眼内眦点的距离即为眼睛的宽度,因此,一旦两个内眦点确定即可根据两个内眦点的距离确定眼睛的宽度,进而确定眼睛区域。一般认为左眼和右眼关于鼻子部分是对称分布的。
步骤103,经过鼻尖点并朝下颌方向纵向作射线,在鼻尖点下方的射线上检测深度值较小的两个像素点,将深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点,并根据上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度。
本领域技术人员可以理解的是,在鼻尖点下方的射线上,上嘴唇中心点和下嘴唇中心点为该射线上最为突出的两点,即深度值最小的两点。根据上嘴唇中心点和下嘴唇中心点即可确定嘴唇宽度和嘴唇的位置。需要说明的是,根据人脸形态学可以确定的是一个眼睛的宽度(左眼外眼角到左眼内眼角或右眼内眼角到右眼外眼角)基本与鼻翼的宽度、嘴唇的长度相等,即内眦点、鼻翼边缘点、嘴角边缘点基本在一条直线上。
步骤104,根据鼻子关键点确定嘴唇长度,通过嘴唇宽度和嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区域定位。
在一实施例中,根据鼻子关键点确定嘴唇长度,包括:在鼻子区域内经过鼻翼两侧边缘点作线段,经过线段上的每一个像素点并朝下颌方向纵向作射线;检测每一条射线上深度值较小的两个像素点,并根据每一条射线上深度值较小的两个像素点确定嘴唇轮廓,根据嘴唇轮廓确定嘴唇长度。本领域技术人员可以理解的是,嘴唇轮廓上的每个点都是鼻子下方区域内最为突出的点,即深度值最小的像素点。而确定出嘴唇轮廓后根据轮廓的弧度即可确定嘴唇的长度。
本实施例中,通过确定眼睛区域、鼻子区域、嘴唇区域完成整个人脸的定位,而眼睛区域、鼻子区域、嘴唇区域这些区域的特征最为明显,对于后续人脸识别或活体检测来说,通过这些区域即可实现。
本发明实施方式提供的深度图中人脸区域定位方法,对目标人脸深度图直接进行处理,通过检测整个人脸深度图中深度值最小的像素点确定鼻尖点,通过鼻尖点和边缘检测确定鼻子区域,后续在鼻子区域内根据鼻尖点确定鼻子关键点,再根据鼻子关键点确定眼睛区域和嘴唇区域。整个方法充分利用人脸深度图中各像素点的深度值就可以完成人脸中眼睛区域、鼻子区域和嘴唇区域的定位,快速简单,既不需要对人脸彩色图进行处理,也无需建立、训练复杂的模型。
本发明的实施方式涉及一种深度图中人脸区域定位方法,如图2所示,包括。
步骤201,获取目标人脸深度图中深度值最小的像素点,将深度值最小的像素点作为鼻尖点,在以鼻尖点为中心的预设的检测框中进行边缘检测,确定鼻子轮廓,并根据鼻子轮廓确定出鼻子区域。
步骤202,在鼻子区域内根据所述鼻尖点确定鼻子关键点,根据鼻子关键点确定内眦点,并根据内眦点确定眼睛宽度,通过眼睛宽度确定眼睛区域。
步骤203,经过鼻尖点并朝下颌方向纵向作射线,在鼻尖点下方的射线上检测深度值较小的两个像素点,将深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点,并根据上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度。
步骤204,根据鼻子关键点确定嘴唇长度,通过嘴唇宽度和嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区域定位。
本实施例中,步骤201-步骤204的具体实施细节与步骤101-步骤104基本相同,在此不做赘述。
步骤205,检测人脸区域中的每一个像素点与鼻尖点的深度差值和距离,其中,人脸区是指眼睛区域或嘴唇区域。
本实施例中,在完成人脸眼睛区域、鼻子区域和嘴唇区域的定位后,需要对定位结果进行检测以确定其准确性。对于嘴唇区域,检测嘴唇区域中每一个像素点与鼻尖点之间的深度差值和距离。对于眼睛区域,其包括左眼区域和右眼区域,一般认为左眼区域和右眼区域关于鼻子对称分布,因此,可以只对其中一个眼睛区域进行检测以此来判断两个眼睛区域是否满足预设条件。其中,深度差值即为两个像素点深度值的差。
在一些实施例中,可以从人脸区域的边缘开始向内检测每一个像素点与第一关键点的深度差值和距离。本领域技术人员可以理解的是,从人脸区域(眼睛区域或嘴唇区域)的边缘开始向内检测可以快速地检测出区域内不满足预设条件的像素点,因为一旦边缘区域不满足条件,那么中心区域也很有可能不满足预设条件。
步骤206,判断人脸区域中每一个像素点的深度差值和距离是否均满足所述人脸区域对应的预设条件。
需要说明的是,预设条件可以包括第一预设条件和第二预设条件,不同五官区域预设条件不同。对于眼睛区域,判断眼睛区域中的每一个像素点与鼻尖点之间的深度差值和距离是否均满足第一预设条件。对于嘴唇区域,判断嘴唇区域中每一个像素点与鼻尖点之间的深度差值和距离是否均满足第二预设条件。另外,第一预设条件和第二预设条件可以根据以下步骤确定:预先获取多个样本人脸深度图,其中,多个样本人脸深度图中的人脸脸型不同;对每个样本人脸深度图进行人脸检测,确定每个样本人脸深度图中的多个关键点;根据每个样本人脸深度图中的多个关键点确定眼睛区域和嘴唇区域,其中,眼睛区域和嘴唇区域均包括多个关键点;确定多个样本人脸深度图中深度值最小的像素点,将深度值最小的像素点作为鼻尖点,并计算每个样本人脸深度图的眼睛区域中每一个像素点与鼻尖点的深度差值和距离,根据该深度差值和距离确定第一预设条件。同样地,嘴唇区域以类似的方法确定第二预设条件。比如:确定出嘴唇区域中每一个像素点与鼻尖点的深度差值都在(x1,x2)范围内,距离都在(m1,m2)范围内,则将这两个阈值范围确定为第二预设条件。当然,此处仅为举例说明,实际应用时预设条件可以是任何形式。
步骤207,当人脸区域中不满足预设条件的像素点的数量大于预设的阈值时,重新确定不满足预设条件的像素点所在的人脸区域。
需要说明的是,预设的阈值包括预设的第一阈值和预设的第二阈值,眼睛区域根据第一阈值判断,嘴唇区域根据第二阈值判断,两个阈值可以相同也可以不同。比如,假设眼睛区域的总像素点数量为200个,嘴唇区域的总像素点数量为300个,规定眼睛区域和嘴唇区域不满足预设条件的像素点的数量不能超过总像素点数量的百分之五,则眼睛区域的第一阈值为10,嘴唇区域的第二阈值为15。又比如,规定眼睛区域中不满足预设条件的像素点数量不能超过总像素点数量的百分之六,嘴唇区域不能超过百分之四,则眼睛区域的第一阈值和嘴唇区域的第二阈值均为12。当然,具体阈值的设定可以为任何数值,可以根据对人脸定位的速度和精度的要求进行调整。
在一些实施例中,当人脸区域中不满足预设条件的像素点的数量大于预设的阈值时,重新确定不满足预设条件的像素点所在的人脸区域,包括:当不满足预设条件的像素点的数量大于预设阈值时,获取不满足预设条件的像素点相对于满足预设条件的像素点的方位;将每一个满足预设条件的像素点作为所述预设的检测框的中心,按照方位的相反方位检测检测框内每一个像素点与鼻尖点的深度差值和距离;获取深度差值和所述距离均满足预设条件的像素点;根据所有满足预设条件的像素点的位置重新确定所述人脸区域。
需要说明的是,当眼睛区域中不满足预设条件的像素点数量大于对应的预设阈值时,重新确定眼睛区域,当嘴唇区域中不满足预设条件的像素点数量大于对应的预设阈值时,重新确定嘴唇区域。两者重新确定人脸区域的方法相同。另外,在获取不满足预设条件的像素点相对于满足预设条件的像素点的方位时,是根据不满足预设条件的像素点的整体位置相对于满足预设条件的像素点的整体位置的方位关系。
另外,在按照方位的相反方位检测检测框内每一个像素点与鼻尖点的深度差值和距离时,可以先获取人脸区域内不满足预设条件的像素点中处于人脸区边缘的像素点,将处于人脸区域边缘的像素点作为预设的检测框的中心,按照方位的相反方位检测检测框内每一个像素点与鼻尖点的深度差值和距离。如此,可以更加快速地确定出满足条件的像素点,进而确定人脸区域。
本发明实施方式提供的深度图中人脸区域定位方法,对目标人脸深度图直接进行处理,通过检测整个人脸深度图中深度值最小的像素点确定鼻尖点,通过鼻尖点和边缘检测确定鼻子区域,后续在鼻子区域内根据鼻尖点确定鼻子关键点,再根据鼻子关键点确定眼睛区域和嘴唇区域。整个方法充分利用人脸深度图中各像素点的深度值就可以完成人脸中眼睛区域、鼻子区域和嘴唇区域的定位,快速简单,既不需要对人脸彩色图进行处理,也无需建立、训练复杂的模型。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的实施方式涉及一种电子设备,如图3所示,包括。
至少一个处理器301;以及,与至少一个处理器301通信连接的存储器302;其中,存储器302存储有可被至少一个处理器301执行的指令,指令被至少一个处理器301执行,以使至少一个处理器301能够执行如上述实施方式提及的深度图中人脸区域定位方法。
该电子设备包括:一个或多个处理器301以及存储器302,图3中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接,图3中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器302中。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述深度图中人脸区域定位方法。
存储器302可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中,存储器302可选包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器302中,当被一个或者多个处理器301执行时,执行上述任意方法实施方式中的深度图中人脸区域定位方法。
上述产品可执行本申请实施方式所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施方式中详尽描述的技术细节,可参见本申请实施方式所提供的方法。
本发明的实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (10)
1.一种深度图中人脸区域定位方法,其特征在于,所述方法包括:
获取目标人脸深度图中深度值最小的像素点,将所述深度值最小的像素点作为鼻尖点,在以所述鼻尖点为中心的预设的检测框中进行边缘检测,确定鼻子轮廓,并根据所述鼻子轮廓确定出鼻子区域;
在所述鼻子区域内根据所述鼻尖点确定鼻子关键点,根据所述鼻子关键点确定内眦点,并根据所述内眦点确定眼睛宽度,通过所述眼睛宽度确定眼睛区域;
经过所述鼻尖点并朝下颌方向纵向作射线,在所述鼻尖点下方的射线上检测深度值较小的两个像素点,将所述深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点,并根据所述上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度;
根据所述鼻子关键点确定嘴唇长度,通过所述嘴唇宽度和所述嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区域定位。
2.根据权利要求1所述的深度图中人脸区域定位方法,其特征在于,所述在所述鼻子区域内根据所述鼻尖点确定鼻子关键点,包括:
经过所述鼻尖点纵向作直线,并在所述鼻子区域内计算所述直线两侧的像素点的距离;
将所述距离的最大值对应的两个像素点作为鼻翼两侧边缘点;
经过所述鼻尖点并朝着头顶方向纵向作射线,检测所述射线上深度值最大的像素点,将所述射线上深度值最大的像素点作为鼻根点;
其中,所述鼻子关键点包括所述鼻翼两侧边缘点和所述鼻根点。
3.根据权利要求1或2所述的深度图中人脸区域定位方法,其特征在于,所述鼻子关键点至少包括鼻翼两侧边缘点和鼻根点;
所述根据所述鼻子关键点确定内眦点,包括:
在以所述鼻根点为中心的预设的检测框内确定深度值较大的两个像素点,并将所述深度值较大的两个像素点作为两个内眦点;或者,
经过所述鼻翼两侧边缘点并朝着头顶方向分别作射线,在所述鼻翼两侧边缘点上方的两条射线之间的区域内检测深度值较大的两个像素点,将所述深度值较大的两个像素点作为两个内眦点,其中,所述两条射线之间的区域在鼻翼朝向头顶的方向上逐渐变大。
4.根据权利要求1所述的深度图中人脸区域定位方法,其特征在于,所述鼻子关键点至少包括鼻翼两侧边缘点;
所述根据所述鼻子关键点确定嘴唇长度,包括:
在所述鼻子区域内经过所述鼻翼两侧边缘点作线段,经过所述线段上的每一个像素点并朝下颌方向纵向作射线;
检测每一条射线上深度值较小的两个像素点,并根据所述每一条射线上深度值较小的两个像素点确定嘴唇轮廓,根据所述嘴唇轮廓确定嘴唇长度。
5.根据权利要求1所述的深度图中人脸区域定位方法,其特征在于,所述根据所述鼻子关键点确定嘴唇长度,通过所述嘴唇宽度和所述嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区域定位之后,还包括:
检测所述人脸区域中的每一个像素点与所述鼻尖点的深度差值和距离,其中,所述人脸区是指眼睛区域或嘴唇区域;
判断所述人脸区域中每一个像素点的深度差值和距离是否均满足所述人脸区域对应的预设条件;
当所述人脸区域中不满足预设条件的像素点的数量大于预设的阈值时,重新确定所述不满足预设条件的像素点所在的人脸区域。
6.根据权利要求5所述的深度图中人脸区域定位方法,其特征在于,所述检测所述人脸区域中的每一个像素点与所述鼻尖点的深度差值和距离,包括:
从所述人脸区域的边缘开始向内检测每一个像素点与所述鼻尖点的深度差值和距离。
7.根据权利要求5所述的深度图中人脸区域定位方法,其特征在于,所述当所述人脸区域中不满足预设条件的像素点的数量大于预设的阈值时,重新确定所述不满足预设条件的像素点所在的人脸区域,包括:
当不满足预设条件的像素点的数量大于预设阈值时,获取不满足预设条件的像素点相对于满足预设条件的像素点的方位;
将每一个满足预设条件的像素点作为所述预设的检测框的中心,按照所述方位的相反方位检测所述检测框内每一个像素点与所述鼻尖点的深度差值和距离;
获取所述深度差值和所述距离均满足预设条件的像素点;
根据所有满足预设条件的像素点的位置重新确定所述人脸区域。
8.根据权利要求1所述的深度图中人脸区域定位方法,其特征在于,所述检测框为正n边形,n为大于3的整数。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一所述的深度图中人脸区域定位方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的深度图中人脸区域定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111365544.4A CN113792718B (zh) | 2021-11-18 | 2021-11-18 | 深度图中人脸区域定位方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111365544.4A CN113792718B (zh) | 2021-11-18 | 2021-11-18 | 深度图中人脸区域定位方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113792718A true CN113792718A (zh) | 2021-12-14 |
CN113792718B CN113792718B (zh) | 2022-03-25 |
Family
ID=78877331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111365544.4A Active CN113792718B (zh) | 2021-11-18 | 2021-11-18 | 深度图中人脸区域定位方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113792718B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529989A (zh) * | 2022-02-24 | 2022-05-24 | 盛景智能科技(嘉兴)有限公司 | 抽烟行为识别方法、装置、电子设备和存储介质 |
CN114596289A (zh) * | 2022-03-11 | 2022-06-07 | 北京朗视仪器股份有限公司 | 一种基于软组织轮廓线采样点的口点检测方法 |
CN115797995A (zh) * | 2022-11-18 | 2023-03-14 | 北京的卢铭视科技有限公司 | 人脸活体检测方法、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091162A (zh) * | 2014-07-17 | 2014-10-08 | 东南大学 | 基于特征点的三维人脸识别方法 |
CN104463111A (zh) * | 2014-11-21 | 2015-03-25 | 天津工业大学 | 多尺度特征区域曲率相融合的三维人脸识别方法 |
CN107977636A (zh) * | 2017-12-11 | 2018-05-01 | 北京小米移动软件有限公司 | 人脸检测方法及装置、终端、存储介质 |
CN108596011A (zh) * | 2017-12-29 | 2018-09-28 | 中国电子科技集团公司信息科学研究院 | 一种基于组合深度网络的人脸属性识别方法和装置 |
US20190122376A1 (en) * | 2017-10-20 | 2019-04-25 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and device for image processing |
CN110852310A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 三维人脸识别方法、装置、终端设备及计算机可读介质 |
-
2021
- 2021-11-18 CN CN202111365544.4A patent/CN113792718B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091162A (zh) * | 2014-07-17 | 2014-10-08 | 东南大学 | 基于特征点的三维人脸识别方法 |
CN104463111A (zh) * | 2014-11-21 | 2015-03-25 | 天津工业大学 | 多尺度特征区域曲率相融合的三维人脸识别方法 |
US20190122376A1 (en) * | 2017-10-20 | 2019-04-25 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and device for image processing |
CN107977636A (zh) * | 2017-12-11 | 2018-05-01 | 北京小米移动软件有限公司 | 人脸检测方法及装置、终端、存储介质 |
CN108596011A (zh) * | 2017-12-29 | 2018-09-28 | 中国电子科技集团公司信息科学研究院 | 一种基于组合深度网络的人脸属性识别方法和装置 |
CN110852310A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 三维人脸识别方法、装置、终端设备及计算机可读介质 |
Non-Patent Citations (1)
Title |
---|
ZXUCVER: "面部特征点定位概述及最近研究进展", 《HTTPS://BLOG.CSDN.NET/CHAIPP0607/ARTICLE/DETAILS/78756692》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529989A (zh) * | 2022-02-24 | 2022-05-24 | 盛景智能科技(嘉兴)有限公司 | 抽烟行为识别方法、装置、电子设备和存储介质 |
CN114596289A (zh) * | 2022-03-11 | 2022-06-07 | 北京朗视仪器股份有限公司 | 一种基于软组织轮廓线采样点的口点检测方法 |
CN115797995A (zh) * | 2022-11-18 | 2023-03-14 | 北京的卢铭视科技有限公司 | 人脸活体检测方法、电子设备及存储介质 |
CN115797995B (zh) * | 2022-11-18 | 2023-09-01 | 北京的卢铭视科技有限公司 | 人脸活体检测方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113792718B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113792718B (zh) | 深度图中人脸区域定位方法、电子设备及存储介质 | |
CN108717696B (zh) | 黄斑影像检测方法和设备 | |
KR101267205B1 (ko) | 얼굴특징점 검출 장치 및 프로그램 | |
CN106203358B (zh) | 一种虹膜定位方法和设备 | |
CN110929728B (zh) | 一种图像感兴趣区域划分方法、图像分割方法及装置 | |
CN110473221B (zh) | 一种目标物体自动扫描系统及方法 | |
JP2013075079A (ja) | 医用画像処理装置および方法ならびにプログラム | |
CN110263755B (zh) | 眼底图像识别模型训练方法、眼底图像识别方法和设备 | |
EP4250228A2 (en) | Deformity edge detection | |
CN103778406B (zh) | 对象检测方法及设备 | |
CN108830293B (zh) | 动物体重的识别方法及装置 | |
CN104978012A (zh) | 一种指向交互方法、装置及系统 | |
CN104408462A (zh) | 面部特征点快速定位方法 | |
CN114022554B (zh) | 一种基于yolo的按摩机器人穴位检测与定位方法 | |
CN105046692A (zh) | 结合感兴趣区域和GrowCut算法的3D自动脑胶质瘤分割方法 | |
Galsgaard et al. | Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement | |
US11087159B2 (en) | Object detection device, object detection method and non-transitory computer readable medium | |
JP2017111816A (ja) | 物体分割方法及び装置 | |
CN113034497A (zh) | 一种基于视觉的保温杯焊缝定位检测方法及系统 | |
CN111199198B (zh) | 一种图像目标定位方法、图像目标定位装置及移动机器人 | |
US20030228044A1 (en) | Radiographic marker location | |
CN106934846B (zh) | 一种布料图像处理方法及系统 | |
CN110276333B (zh) | 眼底身份识别模型训练方法、眼底身份识别方法和设备 | |
Khan et al. | Segmentation of single and overlapping leaves by extracting appropriate contours | |
WO2020178881A1 (ja) | 制御方法、学習装置、識別装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230322 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Patentee after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Patentee before: Hefei lushenshi Technology Co.,Ltd. |
|
TR01 | Transfer of patent right |