CN117392734B - 面部数据处理方法、装置、计算机设备和存储介质 - Google Patents
面部数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117392734B CN117392734B CN202311696527.8A CN202311696527A CN117392734B CN 117392734 B CN117392734 B CN 117392734B CN 202311696527 A CN202311696527 A CN 202311696527A CN 117392734 B CN117392734 B CN 117392734B
- Authority
- CN
- China
- Prior art keywords
- facial
- point
- detected
- face
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 29
- 230000001815 facial effect Effects 0.000 claims abstract description 267
- 238000001514 detection method Methods 0.000 claims abstract description 141
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000004590 computer program Methods 0.000 claims abstract description 25
- 210000003205 muscle Anatomy 0.000 claims description 70
- 238000012937 correction Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 16
- 230000032683 aging Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000002441 reversible effect Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 268
- 238000004891 communication Methods 0.000 description 9
- 238000007665 sagging Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000011158 quantitative evaluation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种面部数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取目标对象对应的面部点云数据;从面部点云数据中,提取待检测部位对应的多个参考特征点;基于各个参考特征点建立空间坐标系;空间坐标系中包括定位坐标轴和面部高度坐标轴;基于面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,从各个面部点中确定待检测部位对应的部位特征点;基于部位特征点在定位坐标轴上对应的坐标值,确定目标对象针对待检测部位的检测结果。采用本方法能够提高面部特征检测的效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种面部数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着深度学习技术的广泛应用,出现了基于深度学习的面部特征识别技术。对待检测面部图像进行特征提取,识别待检测面部图像中所对应的面部特征,基于所识别的面部特征,进行面部状态评估。
传统的面部特征识别技术是通过获取大量的面部图像,人工对面部图像进行特征标注,基于标注后的训练样本进行模型训练,得到用于识别面部特征的面部特征识别模型,通过训练面部特征识别模型来进行面部特征识别的过程较为繁琐,存在面部特征检测效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高面部特征检测效率的面部数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
本申请提供了一种面部数据处理方法。所述方法包括:
获取目标对象对应的面部点云数据;
从面部点云数据中,提取待检测部位对应的多个参考特征点;
基于各个参考特征点建立空间坐标系;空间坐标系中包括定位坐标轴和面部高度坐标轴;
基于面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,从各个面部点中确定待检测部位对应的部位特征点;
基于部位特征点在定位坐标轴上对应的坐标值,确定目标对象针对待检测部位的检测结果。
本申请还提供了一种面部数据处理装置。所述装置包括:
点云数据获取模块,用于获取目标对象对应的面部点云数据;
特征点提取模块,用于从面部点云数据中,提取待检测部位对应的多个参考特征点;
坐标系建立模块,用于基于各个参考特征点建立空间坐标系;空间坐标系中包括定位坐标轴和面部高度坐标轴;
部位特征点确定模块,用于基于面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,从各个面部点中确定待检测部位对应的部位特征点;
检测结果确定模块,用于基于部位特征点在定位坐标轴上对应的坐标值,确定目标对象针对待检测部位的检测结果。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述面部数据处理方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述面部数据处理方法的步骤。
一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述面部数据处理方法的步骤。
上述面部数据处理方法、装置、计算机设备、存储介质和计算机程序产品,首先,通过提取面部点云数据中待检测部位对应的多个参考特征点,基于各个参考特征点快速建立用于衡量面部点云数据中各个面部点的面部高度的空间坐标系。进而,比对面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,能够快速准确地在面部点云数据中确定待检测部位对应的部位特征点。接着,获取部位特征点在定位坐标轴上对应的坐标值,部位特征点在定位坐标轴上的坐标值能够准确地表征待检测部位在目标对象面部中所处的位置信息,实现了对待检测部位所对应的面部位置的精确的量化评估。最后,基于部位特征点在定位坐标轴上的坐标值,确定目标对象针对待检测部位的检测结果。这样,通过待检测部位对应的参考特征点建立针对待检测部位的空间坐标系,基于面部点云数据中各个面部点在空间坐标系中的坐标,确定待检测部位对应面部特征点,基于面部特征点对应的坐标确定待检测部位对应的检测结果,实现了对待检测部位所对应的面部位置的量化评估,能够提高面部特征检测的准确性,同时能够降低面部特征检测的复杂度,提高面部特征检测的效率。
附图说明
图1为一个实施例中面部数据处理方法的应用环境图;
图2为一个实施例中面部数据处理方法的流程示意图;
图3为一个实施例中基于面部点云数据进行面部数据处理的示意图;
图4为一个实施例中建立空间坐标系步骤的流程示意图;
图5为一个实施例中左侧苹果肌区域的示意图;
图6为另一个实施例中面部数据处理方法的流程示意图;
图7为一个实施例中建立参考坐标系的流程示意图;
图8为一个实施例中识别苹果肌特征点的流程示意图;
图9为一个实施例中面部数据处理装置的结构框图;
图10为一个实施例中计算机设备的内部结构图;
图11为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的面部数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
终端和服务器均可单独用于执行本申请实施例中提供的面部数据处理方法。终端和服务器也可协同用于执行本申请实施例中提供的面部数据处理方法。
例如,终端获取传感器三维传感器采集的目标对象对应的面部点云数据。终端向服务器发送目标对象对应的面部点云数据。服务器从面部点云数据中,提取待检测部位对应的多个参考特征点。服务器基于各个参考特征点建立空间坐标系,空间坐标系中包括定位坐标轴和面部高度坐标轴。服务器基于面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,从各个面部点中确定待检测部位对应的部位特征点。服务器基于部位特征点在定位坐标轴上对应的坐标值,确定目标对象针对待检测部位的检测结果。
在一个实施例中,如图2所示,提供了一种面部数据处理方法,以该方法应用于计算机设备为例进行说明,计算机设备可以是终端或服务器,由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。面部数据处理方法包括以下步骤:
步骤S202,获取目标对象对应的面部点云数据。
其中,目标对象是指需要进行面部特征检测的对象,例如,可以是具有面部的人、动物或其他物体。面部点云数据是指对目标对象的面部进行三维点云提取得到的有序三维点云,面部点云数据中的各个点即为面部点。
示例性地,通过三维传感器采集目标对象对应的面部点云数据。在实际实现过程中,三维传感器可以同步采集目标对象的面部图像和面部点云数据,面部图像中的像素点与面部点云数据中的面部点之间是一一对应的关系。计算机设备获取三维传感器采集的目标对象对应的面部点云数据。
步骤S204,从面部点云数据中,提取待检测部位对应的多个参考特征点。
其中,待检测部位是指目标对象面部各个部位中需要进行检测的部位。例如,待检测部位可以是苹果肌,检测目标是苹果肌的下垂程度;待检测部位也可以是鼻根,检测目标是鼻根位置;等等。参考特征点是指预设的、面部点云数据中用于建立针对待检测部位的空间坐标系的面部点。
示例性地,计算机设备对面部点云数据进行面部特征点提取,得到面部点云数据中的多个面部特征点。在各个面部特征点中,提取待检测部位对应的预设的、多个面部特征点作为参考特征点。
步骤S206,基于各个参考特征点建立空间坐标系;空间坐标系中包括定位坐标轴和面部高度坐标轴。
其中,定位坐标轴用于指示目标对象对应的待检测部位在面部中所处的位置。面部高度坐标轴用于指示面部点云数据中各个面部点,在基于参考特征点建立的空间坐标系下对应的面部高度,用于确定待检测部位对应的部位特征点。
示例性地,当各个参考特征点位于同一平面上时,计算机设备将包含各个参考特征点的平面确定为面部高度参考平面。当各个参考特征点不全位于同一平面上时,对各个第一面部特征点进行平面拟合,得到面部高度参考平面。面部高度参考平面用于作为一个参考平面,指示面部点云数据中各个面部点在空间坐标系下分别对应的面部高度,面部点与面部高度参考平面之间的距离即为面部点对应的面部高度。
计算机设备基于各个参考特征点中预设的用于确定空间坐标系中纵轴的各个参考特征点,在面部高度平面中确定空间坐标系中的纵轴。具体地,当用于确定空间坐标系中纵轴的各个参考特征点均位于面部高度参考平面内的同一直线上时,基于该直线生成空间直角坐标系中的纵轴。当用于确定空间坐标系中纵轴的各个参考特征点不全位于同一直线上时,对用于确定空间坐标系中纵轴的各个参考特征点进行直线拟合,当该直线位于面部高度参考平面内时,基于该直线生成空间直角坐标系中的纵轴(即y轴),当该直线不位于面部高度参考平面内时,将该直线投影至面部高度参考平面,基于投影在面部高度参考平面上的直线生成空间直角坐标系中的纵轴。根据所确定的纵轴在面部高度参考平面上建立空间坐标系。空间坐标系中的x轴为定位坐标轴,z轴为面部高度坐标轴,面部高度坐标轴指向面外。例如,如图3所示,当待检测部位为左侧苹果肌时,点A、点B、点C为待检测部位对应的多个参考特征点,点A和点B为用于确定空间坐标系中纵轴的各个参考特征点,点A、点B、点C所在的平面为面部高度参考平面,x轴为定位坐标轴,z轴为面部高度坐标轴,z轴从坐标系中的原点A指向面部点云数据的外部。
在一个实施例中,计算机设备可以在用于确定空间坐标系的纵轴的各个参考特征点中,选择任意一个参考特征点作为空间坐标系的原点,也可以根据参考特征点和待检测部位之间的距离,在用于确定空间坐标系的纵轴的各个参考特征点中确定原点,在实际实现过程中,可以在用于确定空间坐标系的纵轴的各个参考特征点中,将与待检测部位之间的距离最远的参考特征点作为原点。
步骤S208,基于面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,从各个面部点中确定待检测部位对应的部位特征点。
其中,部位特征点是指待检测部位在面部点云数据中对应的特征点。
示例性地,计算机设备将面部点云数据中面部点在面部高度坐标轴上对应的坐标值,作为面部点对应的面部高度。比对各个面部点云数据中、位于预设检测范围内的各个面部点分别对应的面部高度,在各个面部点中确定待检测部位对应的部位特征点。例如,当待检测部位为苹果肌时,将预设检测范围内,面部高度最大值对应的面部点确定为待检测部位对应的部位特征点;当待检测部位为鼻根时,将预设检测范围内面部高度最小值对应的面部点确定为待检测部位对应的部位特征点;等等。
步骤S210,基于部位特征点在定位坐标轴上对应的坐标值,确定目标对象针对待检测部位的检测结果。
示例性地,计算机设备基于部位特征点在定位坐标轴上对应的坐标值,分析目标对象的待检测部位在面部点云数据中所处位置,得到待检测部位的检测结果。检测结果能够表征目标对象的待检测部位在目标对象面部中所处位置的变化情况。具体地,可以基于待检测部位对应的第三参考部位的特征点在定位坐标轴上对应的坐标值进行归一化,得到待检测部位对应的检测值。第三参考部位对应的部位属性值是一个稳定的数值,并且第三参考部位对应的部位属性值可以表征对象的面部整体特征。例如,由于同一对象对应的额头宽度的变化较小,并且面部越大的对象对应的额头宽度越大,因此,第三参考部位可以为额头,第三参考部位对应的部位属性值为额头宽度。根据第三参考部位对应的部位属性值对待检测部位在定位坐标轴上的坐标值进行归一化,使得每个对象在不同时间段所检测得到的检测值之间具有可比性,此外,同样能够使得不同对象分别对应的检测值之间具有可比性。进而基于检测值确定目标对象针对待检测部位的检测结果。
在一个实施例中,计算机设备获取目标对象的待检测部位对应的历史检测值。历史检测值是指以往通过本方案提出的面部数据处理方法,确定的目标对象在过去某一时刻对应的检测值。基于待检测部位当前对应的检测值与历史检测值之间的差异,得到目标对象对应的老化分数,例如,可以将待检测部位当前对应的检测值与历史检测值之间的差值作为老化分数。将老化分数作为目标对象针对待检测部位的检测结果。由于面部衰老的表现从面形变化角度主要反映为面部整体下垂,当待检测部位为苹果肌时,面部衰老会导致苹果肌下垂,老化分数与目标对象的衰老程度呈正相关。通过比对目标对象的待检测部位在不同时刻分别对应的检测值,能够实现对目标对象衰老情况的量化评估,保证面部特征检测的准确性。
上述面部数据处理方法中,首先,通过提取面部点云数据中待检测部位对应的多个参考特征点,基于各个参考特征点快速建立用于衡量面部点云数据中各个面部点的面部高度的空间坐标系。进而,比对面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,能够快速准确地在面部点云数据中确定待检测部位对应的部位特征点。接着,获取部位特征点在定位坐标轴上对应的坐标值,部位特征点在定位坐标轴上的坐标值能够准确地表征待检测部位在目标对象面部中所处的位置信息,实现了对待检测部位所对应的面部位置的精确的量化评估。最后,基于部位特征点在定位坐标轴上的坐标值,确定目标对象针对待检测部位的检测结果。这样,通过待检测部位对应的参考特征点建立针对待检测部位的空间坐标系,基于面部点云数据中各个面部点在空间坐标系中的坐标,确定待检测部位对应面部特征点,基于面部特征点对应的坐标确定待检测部位对应的检测结果,实现了对待检测部位所对应的面部位置的量化评估,能够提高面部特征检测的准确性,同时能够降低面部特征检测的复杂度,提高面部特征检测的效率。
在一个实施例中,从面部点云数据中,提取待检测部位对应的多个参考特征点,包括:
对面部点云数据进行面部特征点提取,得到多个面部特征点;面部特征点是指面部点云数据中面部关键部位对应的面部点;将待检测部位对应的参考部位所对应的面部特征点作为待检测部位对应的参考特征点。
其中,面部特征点是指对目标对象对应面部点云数据进行特征点提取,得到的面部关键部位对应的面部点。例如,面部特征点可以是嘴角、外眼角、内眼角、耳根、鼻翼等部位分别对应的面部点。参考部位是指预设的用于确定待检测部位对应的空间坐标系的部位,参考部位可以包括多个部位,基于各个部位共同确定待检测部位对应的空间坐标系。
示例性地,计算机设备从面部点云数据中提取多个面部关键部位分别对应的面部点,得到面部点云数据对应的多个面部特征点。将待检测部位对应的参考部位对应的面部特征点,作为待检测部位对应的参考特征点。例如,如图3所示,当待检测部位为左侧苹果肌时,待检测部位对应的参考部位为左侧眼部和左侧嘴角,将左侧眼部对应的内眼角和外眼角、左侧嘴角分别对应的面部特征点作为待检测部位对应的参考特征点。
上述实施例中,对面部点云数据进行面部特征点提取,得到面部点云数据中各个面部关键部位分别对应的面部特征点。从各个面部特征点中,提取待检测部位对应的预设参考部位所对应的面部特征点作为参考特征点,能够有效缩小参考特征点的提取范围,从而提高面部特征检测的效率。
在一个实施例中,对面部点云数据进行面部特征点提取,得到多个面部特征点,包括:
获取面部点云数据对应的面部图像;对面部图像进行面部特征点提取,得到目标对象在面部图像中对应的多个原始特征点;将各个原始特征点在面部点云数据中分别对应的面部点作为面部特征点。
其中,面部图像是指通过三维传感器采集目标对象对应的面部点云数据时,同步采集得到的面部点云数据对应的面部图像,面部图像可以是RGB图像,面部点云数据对应的面部图像中的像素点和面部点云数据中的面部点是一一对应的关系。原始特征点是指对目标对象对应的面部图像进行特征点提取,得到的面部关键部位在面部图像中对应的像素点,例如,面部特征点可以是嘴角、外眼角、内眼角、耳根、鼻翼等部位分别对应的像素点。
示例性地,在实际实现过程中,三维传感器可以同步采集目标对象的面部图像和面部点云数据,面部图像中的像素点与面部点云数据中的面部点之间是一一对应的关系。计算机设备获取通过三维传感器采集到的目标对象对应的面部点云数据所对应的面部图像。通过面部特征点提取算法,提取二维的面部图像中的面部特征点,得到目标对象在面部图像中对应的多个原始特征点。进而基于二维的面部图像中像素点与面部点云数据中面部点之间的映射关系,确定二维的面部图像中各个原始特征点在面部点云数据中分别对应的面部点,得到面部点云数据对应的各个面部特征点。
上述实施例中,由于三维传感器能够同步采集到目标对象对应的面部图像和面部点云数据,并且面部图像中的像素点与面部点云数据中的面部点之间是一一对应的关系。因此,可以通过对二维的面部图像进行面部特征点提取,进而根据二维的面部图像中像素点与面部点云数据中面部点之间的映射关系,确定面部点云数据中的各个面部特征点。将直接对三维的面部点云数据进行面部特征点提取,转换为对二维的面部图像进行面部特征点提取,能够有效降低面部特征点提取的复杂度,提高面部特征检测的效率。
在一个实施例中,如图4所示,各个参考特征点包括待检测部位的第一参考部位对应的参考特征点和待检测部位的第二参考部位对应的参考特征点,基于各个参考特征点建立空间坐标系,包括:
步骤S402,在第一参考部位对应的各个参考特征点中,确定原点和坐标轴定位点;原点为第一参考部位对应的、与待检测部位关联度最低的参考特征点。
步骤S404,将从原点指向坐标轴定位点的坐标轴作为空间坐标系中的纵轴。
步骤S406,将待检测部位对应的各个参考特征点所在的平面确定为面部高度参考平面。
步骤S408,在面部高度参考平面上确定空间坐标系中的定位坐标轴;第二参考部位对应的参考特征点在定位坐标轴上对应的坐标值为正值。
步骤S410,根据纵轴和定位坐标轴,确定空间坐标系中的面部高度坐标轴。
其中,第一参考部位是指待检测部位对应的预设的、各个参考部位中用于确定空间坐标系中纵轴的部位。当待检测部位对应的检测目标为待检测部位在面部垂直方向上所处的位置时,第一参考部位可以为位于同一面部水平方向上的部位,当待检测部位对应的检测目标为待检测部位在面部水平方向上所处的位置时,第一参考部位可以为位于面部垂直方向上的部位。例如,当待检测部位为左侧苹果肌,检测目标为左侧苹果肌的下垂程度时,检测目标为苹果肌在面部垂直方向上所处的位置,第一参考部位可以是左侧眼部,此时左侧眼部对应的各个参考特征点为位于同一面部水平方向上的左侧内眼角和左侧外眼角;当待检测部位为鼻根,检测目标为鼻根位置时,检测目标为鼻根在面部垂直方向上所处的位置,第一参考部位可以为鼻头,此时第一参考部位对应的各个参考特征点为位于同一面部水平方向上的左侧鼻翼和右侧鼻翼;等等。面部高度参考平面用于面部高度参考平面用于作为一个参考平面,指示面部点云数据中各个面部点在空间坐标系下分别对应的面部高度,面部点与面部高度参考平面之间的距离即为面部点对应的面部高度。第二参考部位是指待检测部位对应的预设的、各个参考部位中用于与第一参考部位共同确定面部高度参考平面的部位。
示例性地,计算机设备在第一参考部位对应的各个参考特征点中,将与待检测部位关联度最低的参考特征点作为原点。参考特征点与待检测部位之间的关联度可以是基于参考特征点与待检测部位之间的位置关系确定的。参考特征点与待检测部位之间的关联度与参考特征点与待测部位之间的距离呈负相关。例如,当待检测部位为左侧苹果肌,第一参考部位对应的各个参考特征点分别为左侧内眼角和左侧外眼角,左侧内眼角距离左侧苹果肌更远,即左侧内眼角与左侧苹果肌之间的关联度最低,因此,将左侧内眼角作为原点,将左侧外眼角作为坐标轴定位点。将与待检测部位关联度最低的参考特征点作为原点,能够使得待检测部位位于纵轴的同一侧(即大于0的一侧或小于0的一侧),后续仅需在待检测部位对应的一侧内确定待检测部位对应的检测范围,这样能够降低面部特征检测的复杂度,从而提高面部特征检测的效率。
计算机设备进而在第一参考部位对应的剩余的参考特征点中确定坐标轴定位点。当第一参考部位仅对应两个参考特征点时,直接将剩余的参考特征点作为坐标轴定位点。当第一参考部位对应多个参考特征点时,可以在剩余的各个参考特征点中随机选取一个参考特征点作为坐标轴定位点。将从原点指向坐标轴定位点的坐标轴作为空间坐标系中的纵轴。将包含待检测部位对应的各个参考特征点的平面确定为面部高度参考平面。进而,根据待检测部位与纵轴之间的位置关系,在面部高度参考平面上确定定位坐标轴,定位坐标轴经过原点,与纵轴呈90°,并且,使得第二参考部位在定位坐标轴上对应的坐标值为正值。例如,如图3所示,点A和点B为第一参考部位对应的参考特征点,点C为第二参考部位对应的参考特征点,在确定了纵轴后,在基于点A、点B和点C确定的面部高度参考平面(即xoy面)上,确定定位坐标轴,由于第二参考部位对应的参考特征点C位于y轴的下方,因此,x轴正方向指向y轴下方。这样,能够使得待检测部位仅位于xoy面中的第一象限内(x>0,y>0),后续仅需在待检测部位所在的象限内确定待检测部位对应的检测范围,这样能够降低面部特征检测的复杂度,从而提高面部特征检测的效率。
计算机设备根据纵轴和定位坐标轴,根据左手坐标系定则或右手坐标系定则确定空间直角坐标系对应的面部高度坐标轴。面部高度坐标轴指向面部点云数据的外部。
上述实施例中,基于第一参考部位和第二参考部位分别对应的参考特征点,建立待检测部位对应的空间坐标系,使得待检测部位仅位于空间坐标系中的第一象限(x>0,y>0,z>0)内,在后续确定待检测部位对应的检测范围时,仅需在第一象限内划定检测范围,能够降低面部特征检测的复杂度,从而提高面部特征检测的效率。
在一个实施例中,基于面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,从各个面部点中确定待检测部位对应的部位特征点,包括:
在面部点云数据包含的多个面部特征点中,确定待检测部位对应的第一参考部位所对应的第一参考特征点以及第二参考部位所对应的第二参考特征点;基于第一参考特征点在定位坐标轴上对应的坐标值,确定第一范围调节参数;基于第一范围调节参数,从原点开始向定位坐标轴的正方向确定起始边界点;基于第二参考部位对应的第二范围调节参数,从第二参考特征点在定位坐标轴上对应的投影点开始,向定位坐标轴的负反向确定终止边界点;基于起始边界点和终止边界点,在面部高度参考平面上确定检测范围;基于面部点云数据在检测范围内的各个面部点在面部高度坐标轴上分别对应的面部高度,确定待检测部位对应的部位特征点。
其中,第一参考特征点是指第一参考部位对应的各个面部特征点中、预设的用于划定第一参考部位在定位坐标轴上所占范围的特征点。第一范围调节参数和第二范围调节参数用于调节定位坐标轴上对应的检测范围。面部高度参考平面上的检测范围是指在面部参考平面中划定的、包含待检测部位对应的部位特征点的范围。例如,如图3所示,当起始边界点M和终止边界点N在定位坐标轴(x轴)上分别对应的坐标值为S1和S2时,检测范围可以是S1<x<S2,y>0。
示例性地,计算机设备在面部点云数据包含多个面部特征点中,提取待检测部位对应的第一参考部位上的多个面部特征点。在第一参考部位上的各个面部特征点中,获取预设的待检测部位对应的第一参考特征点。基于第一参考特征点在定位坐标轴上对应的坐标值得到第一范围调节参数,具体地,可以直接将第一参考特征点在定位坐标轴上的坐标值作为第一范围调节参数,也可以将第一参考特征点在定位坐标轴上的坐标值与第一预设值融合,得到第一范围调节参数,第一预设值可以根据实际需要进行设置。例如,当待检测部位为左侧苹果肌,第一参考部位为左侧眼部,第一参考部位对应的各个参考特征点为左侧内眼角和左侧外眼角时,第一参考部位对应的第一参考特征点可以设置为左眼下眼睑,是由于苹果肌位于眼睛下方,在确定检测范围时可以通过下眼睑在定位坐标轴上对应的坐标值,剔除眼睛在定位坐标轴上所对应的区域,并且可以通过设置第一预设值,适当剔除更多的不包含苹果肌的区域,使得划分得到检测区域更加精确,从而提高面部特征检测的效率;当待检测部位为鼻根时,第一参考部位为鼻头,第一参考部位对应的各个参考特征点为左侧鼻翼和右侧鼻翼,第一参考部位对应的第一参考特征点可以是鼻尖,是由于鼻根位于鼻头上方,在确定检测范围时,可以通过鼻尖在定位坐标轴上的坐标值,剔除鼻头在定位坐标轴上所对应的区域,并且可以通过设置第一预设值,适当剔除更多的不包含鼻根的区域;等等。进而从原点开始向定位坐标轴的正方向确定第一范围调节参数对应的起始边界点,也就是将第一范围调节参数在定位坐标轴上对应的坐标点作为起始边界点,例如,当第一范围调节参数为S1时,将(S1,0)作为起始边界点。
计算机设备获取第二参考部位对应的预设的第二范围调节参数,将第二参考部位对应的参考特征点作为第二参考特征点,将第二参考特征点在定位坐标轴上的投影点向定位坐标轴的负方向平移第二范围调节参数对应的距离,得到终止边界点。进而基于起始边界点和终止边界点分别在定位坐标轴上对应的坐标值,确定待检测部位在定位坐标轴上对应的检测范围。例如,当起始边界点和终止边界点分别在定位坐标轴上对应的坐标值为S1和S2时,待检测部位在定位坐标轴上对应的检测范围为S1<x<S2。进而基于待检测部位在空间坐标系中纵轴上对应的预设检测范围,确定待检测部位在面部高度参考平面上对应的检测范围。例如,如图5所示,当待检测部位为左侧苹果肌时,左侧苹果肌位于左侧内眼角的左下方,因此待检测部位在空间坐标系中纵轴上对应的预设检测范围可以是y>0,当待检测部位在定位坐标轴上对应的检测范围为S1<x<S2时,待检测部位在面部高度参考平面上对应的检测范围为S1<x<S2且y>0。进而比对面部高度参考平面对应的检测范围内的各个面部点分别对应的面部高度,得到待检测部位对应的部位特征点。通过比对检测范围内各个面部点在面部高度坐标轴上对应的面部高度,从而确定待检测部位对应的部位特征点,能够提高提取得到的待检测部位对应的部位特征点的准确性。例如,当待检测部位为苹果肌时,将检测范围内面部高度最大值对应的面部点作为部位特征点;当待检测部位为鼻根时,将检测范围内面部高度最小值对应的面部点作为部位特征点;等等。
上述实施例中,通过提取第一参考部位对应的第一参考特征点,基于第一参考特征点和第二参考特征点在定位坐标轴上分别对应的坐标值,能够确定待检测部位在面部高度参考平面上对应的检测范围,能够有效缩小待检测部位对应的部位特征点的提取范围,同时能够保证检测范围的准确性,从而能够提高面部特征点检测的效率。此外,通过比对检测范围内各个面部点在面部高度坐标轴上对应的面部高度,能够准确地从面部点云数据中提取待检测部位对应的部位特征点,提高面部特征检测的准确性。
在一个实施例中,基于部位特征点在定位坐标轴上对应的坐标值,确定目标对象针对待检测部位的检测结果,包括:
在面部点云数据包含的多个面部特征点中,确定目标对象对应的归一化特征点;基于归一化特征点在空间坐标系中的位置,确定目标对象对应的特征修正值;基于特征修正值,修正部位特征点在定位坐标轴上对应的坐标值,得到待检测部位的检测值;基于检测值确定目标对象针对待检测部位的检测结果。
其中,归一化特征点是指面部点云数据包含的多个面部特征点中,预设的用于对待检测部位在定位坐标轴上对应的坐标值进行归一化的面部特征点。每个对象对应的预设的各个归一化特征点之间的距离是一个稳定的数值,例如,可以将同一只眼对应的两侧眼角分别作为归一化特征点,使得基于各个归一化特征点所确定的特征修正值是稳定的数值,因此,根据基于归一化特征点之间的距离确定的特征修正值,对每个对象的待检测部位在定位坐标轴上对应的坐标值进行修正得到待检测部位对应的检测值,使得每个对象对应的不同时间段所检测得到的检测值之间具有可比性。并且特征修正值能够表征对象的面部整体特征,因此,不同对象可以对应不同的特征修正值,例如,面部越大的对象,对象对应的部位特征点在定位坐标轴上所对应的距离越大,对象对应的各个归一化特征点之间的距离也越大。因此,根据基于归一化特征点之间的距离确定的特征修正值,对待检测部位在定位坐标轴上对应的坐标值进行修正得到待检测部位对应的检测值,使得不同对象分别对应的检测值之间具有可比性。特征修正值用于对部位特征点在定位坐标轴上对应的坐标值进行归一化,得到检测值。
示例性地,目标对象可以对应两个归一化特征点,计算机设备基于目标对象对应的两个归一化特征点在空间坐标系之间的距离,确定特征修正值。进而基于部位特征点在定位坐标轴上对应的坐标值与特征修正值之间的比值,得到待检测部位对应的检测值。基于检测值确定目标对象针对待检测部位的检测结果。具体地,获取目标对象的待检测部位对应的历史检测值。历史检测值是指以往通过本方案提出的面部数据处理方法,确定的目标对象在过去某时刻对应的检测值。基于待检测部位当前对应的检测值与历史检测值之间的差异,得到目标对象对应的老化分数,将老化分数作为目标对象针对待检测部位的检测结果。
上述实施例中,通过目标对象在面部点云数据中对应的归一化特征点,确定目标对象对应的特征修正值,通过特征修正值对部位特征点在定位坐标轴上对应的坐标值进行归一化,得到检测值。这样得到的待检测部位对应的检测值能够更加准确地表征待检测部位在目标对象面部中的相对位置,能够使得每个对象对应的不同时间段所检测得到的检测值之间具有可比性,不同对象分别对应的检测值之间具有可比性,使得检测结果更加准确。
在一个实施例中,目标对象为目标人脸,待检测部位为苹果肌,待检测特征点为苹果肌特征点。
其中,苹果肌特征点为苹果肌在面部点云数据中对应的面部点。
示例性地,计算机设备获取目标人脸对应的面部点云数据,从面部点云数据中提取待检测部位对应的多个参考特征点。苹果肌分为左侧苹果肌和右侧苹果肌,当待检测部位为左侧苹果肌时,待检测部位对应的部位特征点为左侧苹果肌对应的苹果肌特征点,当待检测部位为右侧苹果肌时,待检测部位对应的部位特征点为右侧苹果肌对应的苹果肌特征点。此时,部位特征点在定位坐标轴上对应的坐标值即为苹果肌在目标人脸面部的相对位置,苹果肌特征点在定位坐标轴上的坐标值能够表征目标人脸的苹果肌的下垂程度,通过将当前检测得到的目标人脸的苹果肌特征点在定位坐标轴上对应的坐标值,与以往检测得到的目标人脸的苹果肌特征点所对应的历史坐标值比对,能够分析目标人脸苹果肌下垂是否得到改善,或者是否加重。历史坐标值在过去某一时刻通过本方案提出的面部数据处理方法从目标人脸对应的面部点云数据中提取得到的、目标人脸的苹果肌特征点在定位坐标轴上所对应的坐标值。
上述实施例中,通过本方案提出的面部数据处理方法,可以准确地从面部点云数据中提取目标人脸中苹果肌特征点,进而通过比对不同次检测得到的目标人脸对应的苹果肌特征点在定位坐标轴上分别对应的坐标值,能够实现对目标人脸的苹果肌位置或下垂程度的定量评估。
在一个具体的实施例中,本申请提出的面部数据处理方法可以应用于评估面部苹果肌位置,从而确定仪器对面部状态的改善效果。以检测左侧苹果肌位置为例,如图6所示,面部数据处理方法的流程包括以下步骤:
1、获取面部三维点云和RGB图像
通过三维传感器同步采集目标人脸对应的面部三维点云和RGB图像。三维传感器可以是条纹结构光三维传感器、散斑结构光三维传感器或线激光扫描三维传感器,是由于通过以上三维传感器采集的面部三维点云为有序三维点云,即面部三维点云中的点与同步采集的RGB图像中的像素点是一一对应的关系。计算机设备获取三维传感器同步采集的目标人脸对应的面部三维点云和RGB图片。
2、提取三个参考特征点
计算机设备根据苹果肌位置,即苹果肌是左侧还是右侧,提取三维点云数据中相应侧的内眼角、外眼角和嘴角得到三个参考特征点。具体地,可以直接在三维点云中手动选取,也可以通过面部特征点提取算法,从RGB图像中提取面部特征点,基于RGB图像中的像素点与面部三维点云中的点之间的映射关系,确定面部三维点云中的各个面部特征点。针对左侧苹果肌,提取三维点云数据中的左侧内眼角、左侧外眼角和左侧嘴角分别对应的面部特征点作为参考特征点。
3、参考坐标系建立
如图3、图7所示,建立参考坐标系首先需要选定三个参考特征点,点A为左侧内眼角,点B为左侧外眼角,点C为左侧嘴角。进而以点A为原点,AB为y轴,ABC所在平面为xoy面,根据右手法则建立参考坐标系,z轴指向面外。
4、苹果肌特征位置识别
如图3、图8所示,计算机设备将面部三维点云进行坐标变换,得到面部三维点云中各个点在参考坐标系中对应的坐标。进而对变换后的面部三维点云进行阈值分割(即阈值滤波),筛选y>0,S2>x>S1,z>0部分点云,即得到待评估部分点云(即局部面形点云),即包含苹果肌区域的局部面部三维点云。其中S1是基于左侧下眼睑在y轴上对应的坐标值确定的,S2是基于左侧嘴角在y轴上对应的坐标值确定的。将待评估部分点云中z值最高的点作为左侧苹果肌对应的苹果肌特征点O1。
5、确定苹果肌位置
计算机设备将苹果肌特征点O1投影至xoy面,得到投影点O2,将O2与y轴之间的距离D1,计算点A和点B之间的距离D2,计算D1与D2的比值Di,将苹果肌距离眼睛的位置,归一化为相对眼睛长度的相对值。眼睛宽度对于个人来说是一个稳定的值,Di的数值变化,能够定量反映苹果肌位置在垂直方向上的变化,随着年龄增长,面部逐渐衰老导致苹果肌下垂,Di变化越大,说明苹果肌下垂程度越严重。
上述实施例中,首次定义了一种基于三维点云,对面部苹果肌绝对位置与相对位置进行量化评估的方法。该量化方法使得同一人不同次测量结果之间具有可比性。仅依据待检测部位对应的参考特征点进行程序化操作,得到苹果肌位置相对眼睛的距离。因此,同一人的不同次测量时,因参考特征点不变,位置测量基准不变,从而使得苹果肌的位置在多次测量之间具有可比性。该位置增大表示苹果肌具有下垂迹象。同时,该量化方法使得不同人的苹果肌位置之间具有一定的可比性,将苹果肌相对于眼睛的位置除以眼睛长度,实现了苹果肌位置描述的归一化,因此不同的人,其苹果肌相对位置的描述,可以视为相较自身眼睛大小的比值,从而使得苹果肌的垂直位置在不同人之间同样具有可比性。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的面部数据处理方法的面部数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个面部数据处理装置实施例中的具体限定可以参见上文中对于面部数据处理方法的限定,在此不再赘述。
在一个实施例中,如图9所示,提供了一种面部数据处理装置,包括:点云数据获取模块902、特征点提取模块904、坐标系建立模块906、部位特征点确定模块908和检测结果确定模块910,其中:
点云数据获取模块902,用于获取目标对象对应的面部点云数据。
特征点提取模块904,用于从面部点云数据中,提取待检测部位对应的多个参考特征点。
坐标系建立模块906,用于基于各个参考特征点建立空间坐标系;空间坐标系中包括定位坐标轴和面部高度坐标轴。
部位特征点确定模块908,用于基于面部点云数据中各个面部点在面部高度坐标轴上分别对应的面部高度,从各个面部点中确定待检测部位对应的部位特征点。
检测结果确定模块910,用于基于部位特征点在定位坐标轴上对应的坐标值,确定目标对象针对待检测部位的检测结果。
在一个实施例中,特征点提取模块904还用于:
对面部点云数据进行面部特征点提取,得到多个面部特征点;面部特征点是指面部点云数据中面部关键部位对应的面部点;将待检测部位对应的参考部位所对应的面部特征点作为待检测部位对应的参考特征点。
在一个实施例中,特征点提取模块904还用于:
获取面部点云数据对应的面部图像;对面部图像进行面部特征点提取,得到目标对象在面部图像中对应的多个原始特征点;将各个原始特征点在面部点云数据中分别对应的面部点作为面部特征点。
在一个实施例中,坐标系建立模块906还用于:
在第一参考部位对应的各个参考特征点中,确定原点和坐标轴定位点;原点为第一参考部位对应的、与待检测部位关联度最低的参考特征点;将从原点指向坐标轴定位点的坐标轴作为空间坐标系中的纵轴;将待检测部位对应的各个参考特征点所在的平面确定为面部高度参考平面;在面部高度参考平面上确定空间坐标系中的定位坐标轴;第二参考部位对应的参考特征点在定位坐标轴上对应的坐标值为正值;根据纵轴和定位坐标轴,确定空间坐标系中的面部高度坐标轴。
在一个实施例中,各个参考特征点包括待检测部位的第一参考部位对应的参考特征点和待检测部位的第二参考部位对应的参考特征点,部位特征点确定模块908还用于:
在面部点云数据包含的多个面部特征点中,确定待检测部位对应的第一参考部位所对应的第一参考特征点以及第二参考部位所对应的第二参考特征点;基于第一参考特征点在定位坐标轴上对应的坐标值,确定第一范围调节参数基于第一范围调节参数,从原点开始向定位坐标轴的正方向确定起始边界点;基于第二参考部位对应的第二范围调节参数,从第二参考特征点在定位坐标轴上对应的投影点开始,向定位坐标轴的负反向确定终止边界点;基于起始边界点和终止边界点,在面部高度参考平面上确定检测范围;基于面部点云数据在检测范围内的各个面部点在面部高度坐标轴上分别对应的面部高度,确定待检测部位对应的部位特征点。
在一个实施例中,检测结果确定模块910还用于:
在面部点云数据包含的多个面部特征点中,确定目标对象对应的归一化特征点;基于归一化特征点在空间坐标系中的位置,确定目标对象对应的特征修正值;基于特征修正值,修正部位特征点在定位坐标轴上对应的坐标值,得到待检测部位的检测值;基于检测值确定目标对象针对待检测部位的检测结果。
在一个实施例中,目标对象为目标人脸,待检测部位为苹果肌,待检测特征点为苹果肌特征点。
上述面部数据处理装置,通过待检测部位对应的参考特征点建立针对待检测部位的空间坐标系,基于面部点云数据中各个面部点在空间坐标系中的坐标,确定待检测部位对应面部特征点,基于面部特征点对应的坐标确定待检测部位对应的检测结果,实现了对待检测部位所对应的面部位置的量化评估,能够提高面部特征检测的准确性,同时能够降低面部特征检测的复杂度,提高面部特征检测的效率。
上述面部数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储面部点云数、参考特征点等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面部数据处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种面部数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10、11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种面部数据处理方法,其特征在于,所述方法包括:
获取目标对象对应的面部点云数据;
从所述面部点云数据中,提取待检测部位对应的多个参考特征点;
基于各个参考特征点建立空间坐标系;所述空间坐标系中包括定位坐标轴和面部高度坐标轴;
在所述面部点云数据包含的多个面部特征点中,确定所述待检测部位对应的第一参考部位所对应的第一参考特征点以及第二参考部位所对应的第二参考特征点;
基于所述第一参考特征点在所述定位坐标轴上对应的坐标值,确定第一范围调节参数;
基于所述第一范围调节参数,从原点开始向所述定位坐标轴的正方向确定起始边界点;
基于所述第二参考部位对应的第二范围调节参数,从所述第二参考特征点在所述定位坐标轴上对应的投影点开始,向所述定位坐标轴的负反向确定终止边界点;
基于所述起始边界点和所述终止边界点,在面部高度参考平面上确定检测范围;
基于所述面部点云数据在所述检测范围内的各个面部点在所述面部高度坐标轴上分别对应的面部高度,确定所述待检测部位对应的部位特征点;
基于所述部位特征点在所述定位坐标轴上对应的坐标值,确定所述目标对象针对所述待检测部位的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述从所述面部点云数据中,提取待检测部位对应的多个参考特征点,包括:
对所述面部点云数据进行面部特征点提取,得到多个面部特征点;所述面部特征点是指所述面部点云数据中面部关键部位对应的面部点;
将待检测部位对应的参考部位所对应的面部特征点作为所述待检测部位对应的参考特征点。
3.根据权利要求2所述的方法,其特征在于,所述对所述面部点云数据进行面部特征点提取,得到多个面部特征点,包括:
获取所述面部点云数据对应的面部图像;
对所述面部图像进行面部特征点提取,得到所述目标对象在所述面部图像中对应的多个原始特征点;
将各个原始特征点在所述面部点云数据中分别对应的面部点作为面部特征点。
4.根据权利要求1所述的方法,其特征在于,所述各个参考特征点包括所述待检测部位的第一参考部位对应的参考特征点和所述待检测部位的第二参考部位对应的参考特征点,所述基于各个参考特征点建立空间坐标系,包括:
在所述第一参考部位对应的各个参考特征点中,确定原点和坐标轴定位点;所述原点为所述第一参考部位对应的、与所述待检测部位关联度最低的参考特征点;
将从所述原点指向所述坐标轴定位点的坐标轴作为空间坐标系中的纵轴;
将所述待检测部位对应的各个参考特征点所在的平面确定为面部高度参考平面;
在所述面部高度参考平面上确定所述空间坐标系中的定位坐标轴;所述第二参考部位对应的参考特征点在所述定位坐标轴上对应的坐标值为正值;
根据所述纵轴和所述定位坐标轴,确定所述空间坐标系中的面部高度坐标轴。
5.根据权利要求1所述的方法,其特征在于,所述基于所述部位特征点在所述定位坐标轴上对应的坐标值,确定所述目标对象针对所述待检测部位的检测结果,包括:
在所述面部点云数据包含的多个面部特征点中,确定所述目标对象对应的归一化特征点;
基于所述归一化特征点在所述空间坐标系中的位置,确定所述目标对象对应的特征修正值;
基于所述特征修正值,修正所述部位特征点在所述定位坐标轴上对应的坐标值,得到所述待检测部位的检测值;
基于所述检测值确定所述目标对象针对所述待检测部位的检测结果。
6.根据权利要求5所述的方法,其特征在于,所述基于所述检测值确定所述目标对象针对所述待检测部位的检测结果,包括:
获取所述目标对象的所述待检测部位对应的历史检测值;
基于所述待检测部位当前对应的检测值与所述历史检测值之间的差异,得到所述目标对象对应的老化分数;
将所述老化分数作为所述目标对象针对所述待检测部位的检测结果。
7.根据权利要求1至6任意一项所述的方法,其特征在于,所述目标对象为目标人脸,所述待检测部位为苹果肌,所述部位特征点为苹果肌特征点。
8.一种面部数据处理装置,其特征在于,所述装置包括:
点云数据获取模块,用于获取目标对象对应的面部点云数据;
特征点提取模块,用于从所述面部点云数据中,提取待检测部位对应的多个参考特征点;
坐标系建立模块,用于基于各个参考特征点建立空间坐标系;所述空间坐标系中包括定位坐标轴和面部高度坐标轴;
部位特征点确定模块,用于在所述面部点云数据包含的多个面部特征点中,确定所述待检测部位对应的第一参考部位所对应的第一参考特征点以及第二参考部位所对应的第二参考特征点;基于所述第一参考特征点在所述定位坐标轴上对应的坐标值,确定第一范围调节参数;基于所述第一范围调节参数,从原点开始向所述定位坐标轴的正方向确定起始边界点;基于所述第二参考部位对应的第二范围调节参数,从所述第二参考特征点在所述定位坐标轴上对应的投影点开始,向所述定位坐标轴的负反向确定终止边界点;基于所述起始边界点和所述终止边界点,在面部高度参考平面上确定检测范围;基于所述面部点云数据在所述检测范围内的各个面部点在所述面部高度坐标轴上分别对应的面部高度,确定所述待检测部位对应的部位特征点;
检测结果确定模块,用于基于所述部位特征点在所述定位坐标轴上对应的坐标值,确定所述目标对象针对所述待检测部位的检测结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311696527.8A CN117392734B (zh) | 2023-12-12 | 2023-12-12 | 面部数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311696527.8A CN117392734B (zh) | 2023-12-12 | 2023-12-12 | 面部数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117392734A CN117392734A (zh) | 2024-01-12 |
CN117392734B true CN117392734B (zh) | 2024-05-14 |
Family
ID=89435925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311696527.8A Active CN117392734B (zh) | 2023-12-12 | 2023-12-12 | 面部数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117392734B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
CN110852293A (zh) * | 2019-11-18 | 2020-02-28 | 业成科技(成都)有限公司 | 人脸深度图对齐方法、装置、计算机设备和存储介质 |
CN116091676A (zh) * | 2023-04-13 | 2023-05-09 | 腾讯科技(深圳)有限公司 | 虚拟对象的面部渲染方法及点云特征提取模型的训练方法 |
WO2023084323A1 (zh) * | 2021-11-09 | 2023-05-19 | 商汤国际私人有限公司 | 对象检测方法及装置、电子设备和存储介质 |
CN116681613A (zh) * | 2023-06-06 | 2023-09-01 | 广州方硅信息技术有限公司 | 人脸关键点检测的仿光照增强方法、装置、介质及设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10572720B2 (en) * | 2017-03-01 | 2020-02-25 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data |
CN109598749B (zh) * | 2018-11-30 | 2023-03-10 | 腾讯科技(深圳)有限公司 | 一种三维人脸模型的参数配置方法、装置、设备及介质 |
CN111382592B (zh) * | 2018-12-27 | 2023-09-29 | 杭州海康威视数字技术股份有限公司 | 活体检测方法和设备 |
-
2023
- 2023-12-12 CN CN202311696527.8A patent/CN117392734B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916454A (zh) * | 2010-04-08 | 2010-12-15 | 董洪伟 | 基于网格变形和连续优化的高分辨率人脸重建方法 |
CN110852293A (zh) * | 2019-11-18 | 2020-02-28 | 业成科技(成都)有限公司 | 人脸深度图对齐方法、装置、计算机设备和存储介质 |
WO2023084323A1 (zh) * | 2021-11-09 | 2023-05-19 | 商汤国际私人有限公司 | 对象检测方法及装置、电子设备和存储介质 |
CN116091676A (zh) * | 2023-04-13 | 2023-05-09 | 腾讯科技(深圳)有限公司 | 虚拟对象的面部渲染方法及点云特征提取模型的训练方法 |
CN116681613A (zh) * | 2023-06-06 | 2023-09-01 | 广州方硅信息技术有限公司 | 人脸关键点检测的仿光照增强方法、装置、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117392734A (zh) | 2024-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109325437B (zh) | 图像处理方法、装置和系统 | |
US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
US11238272B2 (en) | Method and apparatus for detecting face image | |
CN109583285B (zh) | 对象识别方法 | |
CN105335722B (zh) | 一种基于深度图像信息的检测系统及方法 | |
US9818023B2 (en) | Enhanced face detection using depth information | |
US11494915B2 (en) | Image processing system, image processing method, and program | |
US20190138791A1 (en) | Key point positioning method, terminal, and computer storage medium | |
US20180232561A1 (en) | Facial image processing method and apparatus, and storage medium | |
CN106372629B (zh) | 一种活体检测方法和装置 | |
US20160162673A1 (en) | Technologies for learning body part geometry for use in biometric authentication | |
CN109584327B (zh) | 人脸老化模拟方法、装置以及设备 | |
CN110807427A (zh) | 一种视线追踪方法、装置、计算机设备和存储介质 | |
CN112017212B (zh) | 人脸关键点跟踪模型的训练、跟踪方法及系统 | |
WO2020223940A1 (zh) | 姿势预测方法、计算机设备和存储介质 | |
CN111832561B (zh) | 基于计算机视觉的字符序列识别方法、装置、设备和介质 | |
CN111401157A (zh) | 一种基于三维特征的人脸识别方法和系统 | |
CN110007764B (zh) | 一种手势骨架识别方法、装置、系统及存储介质 | |
CN110852220B (zh) | 人脸表情的智能识别方法、终端和计算机可读存储介质 | |
CN113435367A (zh) | 社交距离评估方法、装置及存储介质 | |
CN117392734B (zh) | 面部数据处理方法、装置、计算机设备和存储介质 | |
CN111915676A (zh) | 图像生成方法、装置、计算机设备和存储介质 | |
CN115018735B (zh) | 基于霍夫变换校正二维码图像的裂缝宽度识别方法及系统 | |
CN118038303A (zh) | 身份识别图像处理方法、装置、计算机设备和存储介质 | |
CN112613357B (zh) | 人脸测量方法、装置、电子设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |