CN115631516A - 人脸图像处理方法、装置、设备及计算机可读存储介质 - Google Patents
人脸图像处理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115631516A CN115631516A CN202110800842.5A CN202110800842A CN115631516A CN 115631516 A CN115631516 A CN 115631516A CN 202110800842 A CN202110800842 A CN 202110800842A CN 115631516 A CN115631516 A CN 115631516A
- Authority
- CN
- China
- Prior art keywords
- face
- feature point
- forehead
- point
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种人脸图像处理方法、装置、设备及计算机可读存储介质；方法包括：对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合；基于人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点；基于第一额头特征点与第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点；基于第一额头特征点、第二额头特征点与第三额头特征点进行插值拟合，得到额头特征点集合；基于额头特征点集合，对待处理人脸图像进行图像处理，得到图像处理结果。通过本申请，能够提高人脸图像处理的效率与准确度。
Description
技术领域
本申请涉及人工智能技术，尤其涉及一种人脸图像处理方法、装置、设备及计算机可读存储介质。
背景技术
目前，通过基于深度机器学习的人脸特征点模型，可以获取待处理人脸图像中大部分关键部位，如鼻子、脸颊、眼睛等部位轮廓上的特征点。但对于额头区域，由于受到发型、发际线形状等因素的影响，导致人脸特征点模型输出的额头特征点的语义信息不明确，因此目前的神经网络输出的人脸关键点集合中往往不包含额头区域的特征点。为了获取额头区域的特征点，目前主要是通过基于几何模型的建模方法，利用多个多项式进行拼接或者椭圆形状来拟合人脸形状。这种方法不仅计算复杂，而且对各种不同的脸型适配度不高，从而降低了人脸图像处理的效率与准确度。
发明内容
本申请实施例提供一种人脸图像处理方法、装置及计算机可读存储介质，能够提高人脸图像处理的效率与准确度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种人脸图像处理方法，包括：
对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合；
基于所述人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点；所述第一额头特征点表征人脸外部轮廓上的额头最高点；
基于所述第一额头特征点与所述第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点；所述第三特征点与所述第四特征点属于所述人脸关键点集合；
基于所述第一额头特征点、所述第二额头特征点与所述第三额头特征点进行插值拟合，得到额头特征点集合；所述额头特征点集合表征所述待处理人脸对应的额头轮廓；
基于所述额头特征点集合，对所述待处理人脸图像进行图像处理，得到图像处理结果。
本申请实施例提供一种人脸图像处理装置，包括：。
人脸关键点检测模型，用于对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合；
确定模块，用于基于所述人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点；所述第一额头特征点表征人脸外部轮廓上的额头最高点；以及基于所述第一额头特征点与所述第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点；
插值拟合模块，用于基于所述第一额头特征点、所述第二额头特征点与所述第三额头特征点进行插值拟合，得到额头特征点集合；所述额头特征点集合表征所述待处理人脸对应的额头轮廓；
处理模块，用于基于所述额头特征点集合，对所述待处理人脸图像进行图像处理，得到图像处理结果。
上述装置中，所述确定模块，还用于基于所述第一特征点与所述第二特征点之间的距离，在所述第二特征点指向所述第一特征点的向量上确定出所述第一额头特征点。
上述装置中，所述确定模块，还用于将预设距离调节因子分别与所述第一特征点的横坐标和纵坐标相乘，得到第一横向乘积与第一纵向乘积；所述预设调节因子为大于1的数值；计算预设阈值减去所述预设调节因子的差值，并将所述差值分别与所述第二特征点的横坐标和纵坐标相乘，得到第二横向乘积与第二纵向乘积；将第一横向乘积与第二横向乘积之和，作为所述第一额头特征点的横坐标；将第一纵向乘积与第二纵向乘积之和，作为所述第一额头特征点的纵坐标，从而确定出所述第一额头特征点。
上述装置中，所述确定模块，还用于计算所述第二特征点到所述第一特征点之间的第一距离，并计算预设固定距离点到所述第一特征点之间的第二距离；所述预设固定距离点在人脸角度变化的情况下，与所述第一特征点之间的距离变化小于预设变化阈值；所述预设固定距离点属于所述人脸关键点集合；基于所述第一距离与所述第二距离的比值，得到所述预设调节因子。
上述装置中，所述确定模块，还用于计算所述第一特征点指向所述第一额头特征点的第一特征向量与第一长度、所述第一特征点指向所述第三特征点的第二特征向量与第二长度、以及所述第一特征点指向所述第四特征点的第三特征向量与第三长度；计算所述第一特征向量与所述第二特征向量的中间夹角，从而确定第一中间特征向量；计算所述第一长度与所述第二长度的第一平均值；根据所述第一中间特征向量与所述第一平均值，确定出所述第二额头特征点；计算所述第一特征向量与所述第三特征向量的中间夹角，从而确定第二中间特征向量；计算所述第一长度与所述第三长度的第二平均值；根据所述第二中间特征向量与所述第二平均值，确定出所述第三额头特征点。
上述装置中，所述插值拟合模块，还用于根据所述第三特征点、所述第二额头特征点、所述第一额头特征点、所述第三额头特征点与所述第四特征点，得到所述待处理人脸对应的额头曲线约束；基于所述额头曲线约束，在所述第三特征点、所述第二额头特征点、所述第一额头特征点、所述第三额头特征点与所述第四特征点之间进行插值拟合，得到包含所述第一额头特征点、所述第二额头特征点与所述第三额头特征点的所述额头特征点集合。
上述装置中，所述处理模块，还用于根据所述人脸关键点集合与所述额头特征点集合，将所述待处理人脸图像划分为多个真实面部区域；获取所述待处理人脸图像对应的预设特效人脸；所述预设特效人脸为包含预设特效图像的人脸模板；所述预设特效人脸包含对所述人脸模板预先进行相同的特征点计算与划分处理得到的多个预设人脸区域；根据所述多个真实面部区域与多个预设人脸区域的对应关系，得到所述待处理人脸图像中的每个人脸像素在所述预设特效人脸中对应的特效像素；将所述每个人脸像素与其对应的特效像素进行像素融合，得到所述待处理人脸图像与所述预设特效图像相叠加的图像处理结果。
上述装置中，所述处理模块，还用于将所述人脸关键点集合与所述额头特征点集合中的每个特征点作为顶点，利用网格划分算法，进行三角网格划分，得到三角网格构成的所述多个真实面部区域。
上述装置中，所述处理模块，还用于对于所述每个人脸像素，根据所述每个人脸像素所在的目标真实面部区域的顶点位置进行加权计算，得到所述每个人脸像素在所述目标真实面部区域中的相对位置；根据所述多个真实面部区域与多个预设人脸区域的对应关系，确定所述目标真实面部区域对应的目标预设人脸区域；根据所述目标预设人脸区域的顶点位置，确定所述相对位置在所述目标预设人脸区域中对应的像素，作为所述每个人脸像素对应的特效像素。
上述装置中，所述处理模块，还用于通过图形处理模块，对所述每个人脸像素点与其对应的素材像素进行并行融合处理，得到所述图像处理结果。
上述装置中，所述处理模块，还用于对所述每个人脸像素点与其对应的素材像素点进行色度融合，得到中间色度；通过预设融合强度因子，分别对所述每个人脸像素点的色度与所述中间色度进行融合强度调节，得到第一调节结果与第二调节结果；结合所述第一调节结果与所述第二调节结果，得到所述每个人脸像素点对应的图像融合结果，作为所述图像处理结果。
上述装置中，所述处理模块，还用于基于所述额头特征点集合，对所述待处理人脸图像进行人脸分割、人脸对齐、人脸识别、人脸合成中的至少一种处理，得到所述图像处理结果。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的方法。
本申请实施例具有以下有益效果：
本申请实施例可以根据人脸关键点集合中非额头区域的关键点，如表征鼻根、左脸轮廓外侧与右脸轮廓外侧的特征点，初步定位出额头轮廓上的第一额头特征点、第二额头特征点与第三额头特征点；并在此基础上，采用自适应插值方法计算出更多的额头特征点，从而得到更平滑的额头轮廓对应的额头特征点集合。本申请实施例的计算过程更加快速，并且对于各种不同的脸型都能通过自适应插值的方法确定出鲁棒的额头特征点，从而提高了额头特征点识别的效率与准确度，进而提高了基于额头特征点集合进行人脸图像处理的效率与准确度。
附图说明
图1是本申请实施例提供的人脸图像处理系统架构的一个可选的结构示意图；
图2是本申请实施例提供的人脸图像处理装置的一个可选的结构示意图；
图3是本申请实施例提供的人脸图像处理方法的一个可选的流程示意图；
图4是本申请实施例提供的人脸关键点集合的一个可选的效果示意图；
图5是本申请实施例提供的第一额头特征点的一个可选的效果示意图；
图6是本申请实施例提供的第二额头特征点的一个可选的效果示意图；
图7是本申请实施例提供的第三额头特征点的一个可选的效果示意图；
图8是本申请实施例提供的额头特征点集合的一个可选的效果示意图；
图9是本申请实施例提供的人脸图像处理方法的一个可选的流程示意图；
图10是本申请实施例提供的人脸图像处理装置应用于在线美妆功能的一个可选的模块结构示意图；
图11是本申请实施例提供的人脸图像处理方法的一个可选的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2)计算机视觉技术(Computer Vision,CV)：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
人脸关键点检测是人脸识别任务中重要的基础环节，人脸关键点的精确检测对许多现实应用和科研课题有关键作用，例如，人脸姿态识别与矫正、表情识别、嘴型识别等。因此，如何获取高精度人脸关键点，一直以来都是计算机视觉、图像处理等领域的热门研究问题。受到人脸姿态和遮挡等因素的影响，人脸关键点检测的研究也同样富有挑战。
3)机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉等技术，具体通过如下实施例进行说明:
随着视频时代的到来，越来越多的用户会通过短视频和直播的方式进行视频制作和内容表达。在录制或直播视频时，好看的妆容可以有效的修饰脸型，增加面部立体感，提升个人气质以及提升用户对自身形象的自信，并吸引更多观众的关注和热情。然而，一个好看的妆容往往耗费时间长且需要各类彩妆饰品，同时也要求用户有一定的彩妆经验，根据自己的皮肤和五官进行针对性的化妆修饰(包括遮瑕、底妆、定妆、化眉、眼妆、唇妆等)。这对于大量用户群体来说门槛较高。相关技术中的自动妆容技术所采用的方法主要是对待处理图像帧进行人脸识别定位，然后对虚拟妆容的妆容纹理图案进行映射变化，得到变形后的纹理，最后将变形后的纹理和待处理人脸进行融合，从而得到在待处理图像帧的人脸上自动叠加虚拟妆容的效果。相关技术上述过程中的人脸识别定位主要基于以下两种方法：
一、通过人脸解析模型，对人脸进行分割，可以得到人脸的各个部位，从而可以对妆容纹理进行仿射变换，进而获取待处理人脸和妆容纹理的映射关系；
二、通过人脸关键点模型，可以获取待处理人脸的人脸关键点，同时对妆容纹理也进行特征点标记，通过待处理人脸和妆容纹理的特征点的变换关系，也可以获取待处理人脸和妆容纹理的映射关系。
其中，对于方法一，利用人脸分割的方式对人脸进行识别和定位的方法往往很耗时，难以直接应用于视频通话、视频直播等对实时性要求高的场景，而且分割结果在遮挡处容易有比较大的分割误差，从而导致虚拟妆容贴合不自然。并且，通过人脸图像处理准确度较低。
对于方法二，真实人脸中往往存在发型、发际线形状等因素的影响，导致目前相关技术的人脸关键点模型对额头点的语义信息识别不明确，所输出的人脸关键点往往不包含额头区域的特征点，无法应用一些需要施加在额头部位的虚拟妆容，比如武媚娘妆、高光修容、以及一些贴纸特效等等。相关技术中有基于几何模型的建模方法，这些方法假设人脸形状可以通过多个多项式进行拼接或者椭圆形状来拟合，但这种方式计算复杂，增加了网络模型的计算量和处理时间，降低了人脸图像处理的效率，而且不能很好的适配各种脸型，以及各种人脸角度的变化(如抬头、低头、侧脸等)，从而使得额头关键点点位不精确，导致虚拟妆容叠加效果不够贴合，降低了人脸图像处理的准确度。
另外，上述两种方式都是通过少数特征点获取待处理人脸和妆容纹理的仿射变换关系，得到仿射映射的矩阵，并对待处理人脸作一定距离的平移、一定角度的旋转、或一定比例的缩放来得到待处理人脸和妆容纹理的映射关系的。相关技术中由少数特征点得到的映射关系准确度较低，容易导致额头区域贴合效果不自然，同样降低了人脸图像处理的准确度。
本申请实施例提供一种人脸图像处理方法、装置、设备和计算机可读存储介质，能够提高人脸图像处理的效率与准确度，下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明电子设备实施为服务器时的示例性应用。
参见图1，图1是本申请实施例提供的人脸图像处理系统100的一个可选的架构示意图，为实现支撑一个人脸图像处理应用，如在线美妆应用、视频直播美颜应用等等，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
终端400-1用于通过图形界面410-1接收主播用户的操作，并基于主播用户的操作，采集主播用户的人脸图像作为待处理人脸图像。并接收主播用户通过图形界面410-1指定的图像处理方式，如从图形界面410-1显示的虚拟妆容列表中，选择出想要应用在当前的待处理人脸图像的虚拟妆容，将待处理人脸图像与操作指定的虚拟妆容的标识发送给服务器200。
服务器200用于对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合；根据人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点；第一额头特征点表征人脸外部轮廓上的额头最高点；根据第一额头特征点与第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点；第三特征点与第四特征点属于人脸关键点集合；基于第一额头特征点、第二额头特征点与第三额头特征点进行插值拟合，得到额头特征点集合；额头特征点集合表征待处理人脸图像对应的额头轮廓；基于额头特征点集合，结合人脸关键点集合，得到可以标记出待处理人脸图像中各个部位的人脸特征点；服务器200可以第一用户指定的虚拟妆容的标识，从数据库500中获取到预设虚拟妆容的图像，进而根据待处理人脸图像中各个部位的人脸特征点，将预设虚拟妆容与待处理人脸图像相融合，得到待处理人脸图像的美颜妆效，作为图像处理结果，实现对待处理人脸图像的图像处理过程。服务器200进而将图像处理结果即待处理人脸图像的美颜妆效，通过网络300发送至终端400-1与终端400-2，在图形界面410-1与终端400-2的图形界面410-2上同步显示给主播用户和终端400-2的观众用户。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
需要说明的是，当电子设备实施为终端时，可以由终端采集待处理人脸图像，并在其本地执行本申请实施例提供的人脸图像处理方法，得到图像处理结果。
参见图2，图2是本申请实施例提供的服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器250中的人脸图像处理装置255，其可以是程序和插件等形式的软件，包括以下软件模块：人脸关键点检测模型2551、确定模块2552、插值拟合模块2553和处理模块2554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的人脸图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logi c Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Devi ce)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。
将结合本申请实施例提供的服务器的示例性应用和实施，说明本申请实施例提供的人脸图像处理方法。
参见图3，图3是本申请实施例提供的人脸图像处理方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
S101、对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合。
本申请实施例提供的人脸图像处理方法可应用于使用人工智能技术对包含人脸的图像进行图像处理的场景，示例性地，人脸美化，如在线美妆美颜、人脸视频合成、人脸识别等场景。
S101中，人脸图像处理装置获取待处理人脸图像，并对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合。
S101中，人脸关键点检测是对于给定的人脸图像，即待处理人脸图像，从中检测定位出人脸面部的关键部位，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等，并在检测出的关键部位的位置上标记出关键点。示例性地，在检测出眼睛以及鼻子等部位的轮廓线上标注出多个特征点，每个特征点包含在待处理人脸图像中的坐标位置信息以及语义信息。这里，语义信息表征特征点所在的关键部位。
在一些实施例中，人脸图像处理装置可以利用人脸关键点检测模型或人脸特征点模型，从待处理人脸图像中检测出人脸关键点集合。这里，人脸关键点检测模型或人脸特征点模型为基于标记的人脸图像样本数据，通过深度机器学习训练得到的神经网络模型，示例性地，可以是基于人脸检测Dlib库的68点人脸特征点模型，也可以是96点、106点的人脸特征点模型等等，具体的根据实际情况进行选择，本申请实施例不作限定。本申请实施例在图4中示出了106点人脸特征点模型输出的待处理人脸图像上的106个人脸关键点，也即特征点的示意图。
这里，通过图4可以看出，人脸关键点检测得到的人脸关键点集合中不包含额头区域的特征点，需要通过本申请实施例中的方法计算出额头区域的特征点，以得到人脸整体各个部位的关键点，提高人脸图像处理的准确度。
S102、基于人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点；第一额头特征点表征人脸外部轮廓上的额头最高点。
S102中，人脸图像处理装置可以根据人脸关键点集合中每个人脸关键点的语义信息，确定出表征鼻根的第一特征点与表征下颌的第二特征点，根据第一特征点和第二特征点的位置与两者之间的距离，结合正常人脸的结构与面部比例确定出待处理人脸图像中人脸外部轮廓上的额头区域最高点，也即第一额头特征点。
在一些实施例中，当人脸关键点集合包含图4示出的106个人脸关键点时，其中，0-32点标记出了人脸外部轮廓，33-37点标记出了左眉上边轮廓，38-42点标记出了右眉上边轮廓，43-51点标记出了鼻部中线与鼻部下边轮廓，52-57点标记出了左眼轮廓，58-63点标记出了右眼轮廓，等等。其中，每个人脸关键点包含有各自的语义信息，如49点的语义信息为鼻根，0点的语义信息为左脸最外侧，32点的语义信息为右脸最外侧，16点的语义信息为下颌或下颌等等。人脸图像处理装置可以根据每个人脸关键点的语义信息，将49点确定为第一特征点，将16点确定为第二特征点。
这里，不同人脸关键点检测方法或网络模型检测得到的人脸关键点的语义信息可能略有不同，在实际应用时不限于根据人脸关键点语义信息的字面含义来进行确定第一特征点或第二特征点，也可以根据实际的人脸关键点中语义信息的表征含义、或者人脸关键点所包含的、其他能够表征该点为鼻根或下颌位置上的关键点的信息，来确定出第一特征点或第二特征点，具体的根据实际情况进行选择，本申请实施例不作限定。
在一些实施例中，基于正常人脸结构的先验知识，额头最高点可以位于鼻根点和下颌点所在的直线上，在确定出表征鼻根的第一特征点和表征下颌的第二特征点的情况下，人脸图像处理装置可以基于第一特征点与第二特征点之间的距离，结合正常人脸比例，示例性地，如额头最高点到鼻根的距离与鼻根到下颌的距离之间的距离比例，在第二特征点指向第一特征点的向量上，确定出第一额头特征点，也即额头最高点的位置。
在一些实施例中，人脸图像处理装置可以通过公式(1)和公式(2)，计算出第一额头特征点在待处理人脸图像中的横坐标与纵坐标，从而确定出第一额头特征点，如下：
x＝(1-r)×x2+r×x1 (1)
y＝(1-r)×y2+r×y1 (2)
公式(1)和公式(2)中，r为预设距离调节因子，第一特征点的坐标为(x1,y1)，第二特征点的坐标为(x2,y2)。人脸图像处理装置可以将预设距离调节因子分别与第一特征点的横坐标和纵坐标相乘，得到第一横向乘积r×x1与第一纵向乘积r×y1；以及计算预设阈值减去预设调节因子的差值，并将差值分别与第二特征点的横坐标和纵坐标相乘，得到第二横向乘积(1-r)×x2与第二纵向乘积(1-r)×y2；公式(1)与公式(2)示出了预设阈值为1的情况；人脸图像处理装置将第一横向乘积与第二横向乘积之和，作为第一额头特征点的横坐标；将第一纵向乘积与第二纵向乘积之和，作为第一额头特征点的纵坐标，这里，预设调节因子为大于1的数值，用于将第一额头特征点的坐标约束在由第二特征点指向第一特征点的向量上。
在一些实施例中，人脸图像处理装置可以根据图4中表征鼻根的43点与表征下颌的16点，通过上述方法计算出第一额头特征点，标记为109点，如图5所示。
在一些实施例中，人脸图像处理装置也可以基于第一特征点与第二特征点，结合人脸关键点集合中的表征其他关键部位的特征点，如表征眉毛，眼睛等部位的人脸关键点，根据类似的几何计算方式，根据所选取的几个人脸关键点之间的距离、比例或方向等数据，确定出额头最高点的位置作为第一额头特征点，具体的根据实际情况进行选择，本申请实施例不作限定。
在一些实施例中，人脸图像处理装置也可以在由第二特征点指向第一特征点的向量附近预设范围区间，从预设范围区间内确定出第一额头特征点，具体的根据实际情况进行选择，本申请实施例不作限定。
S103、基于第一额头特征点与第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点；第三特征点与第四特征点属于人脸关键点集合。
S103中，人脸图像处理装置可以从人脸关键点集合中，根据各个人脸关键点的语义信息确定出表征左脸轮廓外侧的第三特征点，如图4中的第0点，以及表征右脸轮廓外侧的第四特征点，如图4中的第32点。人脸图像处理装置进而可以基于第一额头特征点与第一特征点，结合第三特征点，确定出位于左脸轮廓外侧与额头最高点之间的第二额头特征点；并且，基于第一额头特征点与第一特征点，结合表征右脸轮廓外侧的第四特征点，确定出位于右脸轮廓外侧与额头最高点之间的第三额头特征点。
在一些实施例中，人脸图像处理装置可以根据第一特征点和第一额头特征点的坐标，计算出由第一特征点指向第一额头特征点的第一特征向量与第一长度，以及，由第一特征点第三特征点的第二特征向量与第二长度。人脸图像处理装置可以计算第一特征向量与第二特征向量的中间夹角，根据中间夹角确定第一中间特征向量；人脸图像处理装置计算第一长度与第二长度的第一平均值。这样，人脸图像处理装置可以根据第一中间特征向量(u3,v3)与第一平均值l3进行计算，得到第二额头特征点的位置坐标，即确定出第二额头特征点。
示例性地，如图6所示，在第一特征点为43点，第一额头特征点为109点，第三特征点为0点的情况下，人脸图像处理装置可以通过计算由43点指向109点的第一特征向量(u1,v1)，与由43点指向0点的第二特征向量(u2,v2)之间的中间夹角，根据中间夹角确定出第一中间特征向量(u3,v3)，其中，(u3,v3)＝(0.5×(u1+u2),0.5×(v1+v2))。人脸图像处理装置计算43点到109点之间的距离作为第一长度l1，计算43点到0点之间的距离作为第二长度l2，计算l1与l2的第一平均值l3，即l3＝0.5×(l1+l2)。进而，人脸图图像处理装置可以根据(u3,v3)与l3，确定出第二额头特征点，标记为111点。
这里，需要说明的是，本申请实施例中计算中间夹角和平均长度的方法是计算根据第一特征点、第二特征点和第一额头特征点来计算第一中间特征向量和第一平均值，进而得到第二额头特征点的一种示例，实际使用中可以根据实际情况进行计算方式的调整，如根据人物形象的面部比例调整角度计算或长度计算的方式等等，具体的根据实际情况进行选择，本申请实施例不作限定。
同样地，人脸图像处理装置可以计算第一特征点指向第四特征点的第三特征向量与第三长度；并计算第一特征向量与第三特征向量的中间夹角，从而确定出第二中间特征向量；计算第一长度与第三长度的第二平均值；根据第二中间特征向量与第二平均值，确定出第三额头特征点。示例性地，如图7所示，第四特征点为32点，人脸图像处理装置可以计算由43点指向109点的第一特征向量，与由43点指向第32点的第三特征向量(u4,v4)之间的中间夹角，从而确定出第二中间特征向量(u5,v5)，并计算43点到109点之间第一长度l1，43点到32点之间第三长度l4，计算l1与l2的第二平均值l5；进而，根据(u5,v5)与l5，确定出第三额头特征点，标记为107点。
需要说明的是，本申请实施例不限定人脸图像处理装置计算第二额头特征点与第三额头特征点的执行顺序，可以是任意的先后顺序或者并行执行，具体的根据实际情况进行选择。
在一些实施例中，人脸图像处理装置也可以根据第一特征点、第一额头特征点与其他人脸关键点，示例性地，图4中左眉上沿轮廓上的36点，右眉上沿轮廓上的39点等等，分别结合第三特征点与第四特征点，根据特征点与特征点之间的单位特征向量与长度来分别确定出第二额头特征点与第三额头特征点。具体的可根据实际选取的人脸关键点进行相应的计算，本申请实施例不作限定。
S104、基于第一额头特征点、第二额头特征点与第三额头特征点进行插值拟合，得到额头特征点集合；额头特征点集合表征待处理人脸对应的额头轮廓。
S104中，在确定出第一额头特征点、第二额头特征点与第三额头特征点的情况下，人脸图像处理装置可以将第一额头特征点、第二额头特征点与第三额头特征点作为对待处理人脸图像中额头区域初步定位的锚点，结合邻近的人脸关键点如第三特征点与第四特征点进行插值计算，来得到更多的额头特征点，进而得到额头特征点集合。
本申请实施例中，插值计算是指在指定特征点间拟合新的特征点，以使得额头区域的曲线更加平滑，并且与其他区域如脸部轮廓的衔接更加平滑。人脸图像处理装置可以根据第三特征点、第二额头特征点、第一额头特征点、第三额头特征点与第四特征点，得到待处理人脸对应的额头曲线约束；这里，额头曲线约束可以是表征额头曲度的曲线函数，人脸图像处理装置可以根据额头曲线约束得到用于拟合出新的特征点的拟合关系式，从而基于额头曲线约束，在第三特征点、第二额头特征点、第一额头特征点、第三额头特征点与第四特征点之间进行插值拟合，得到包含第一额头特征点、第二额头特征点与第三额头特征点的额头特征点集合。
在一些实施例中，插值计算可以采用Catmull-Rom多项式拟合方式，也可以采用经过指定点的其他插值方式，比如bilinear，cube等插值方式，具体的根据实际情况进行选择，本申请实施例不作限定。另外，本申请实施例对指定特征点之间插值的个数也不做限制，可以任意指定大于1的整数。
在一些实施例中，基于图7，人脸图像处理装置可以在0点、111点、109点、107点与32点之间进行插值计算，得到图8中所示的112点、110点、108点、106点的额头特征点，人脸图像处理装置将106点-112点作为额头特征点集合。可以看出，106点-112点标记出了待处理人脸的额头区域的轮廓。
S105、基于额头特征点集合，对待处理人脸图像进行图像处理，得到图像处理结果。
S105中，基于前述步骤得到的额头特征点集合，人脸图像处理装置可以获得待处理人脸图像上包含额头区域的全部关键部位的特征点，从而可以进一步执行准确度更高的图像处理过程，得到图像处理结果。
在一些实施例中，人脸图像处理装置可以基于额头特征点集合，对待处理人脸中的额头区域进行图像处理，如对额头区域进行贴纸、美颜、虚拟妆效生成等图像处理；人脸图像处理装置也可以结合额头特征点集合与人脸关键点集合，对整个人脸区域进行图像处理，如对待处理人脸图像进行人脸分割、人脸对齐、人脸识别、人脸合成中的至少一种处理，得到图像处理结果。
示例性地，人脸图像处理装置可以从包含背景图像的整张图像中，根据额头特征点集合与人脸关键点集合进行人脸分割，得到整个人脸区域，实现人脸抠图等功能应用，进而还可以基于分割得到的整个人脸区域进行更多的图像处理操作，如进行虚拟妆效的叠加，实现美妆美颜功能；或者，更换整个人脸区域以外的背景图像；或者，将整个人脸区域替换为其他图像，实现人脸替换或者人脸遮挡等等功能应用，具体的根据实际情况进行选择，本申请实施例不作限定。
示例性地，人脸图像处理装置可以根据额头特征点集合与人脸关键点集合所标注出的各个关键部位，通过人脸对齐处理，生成待处理人脸图像对应的虚拟形象，如与真实人脸相仿的虚拟人物或卡通形象等，使得虚拟形象呈现出与真实人脸相似的面部特征，实现如游戏或视频中由真人捏脸得到的动画人物或由真人表情驱动的卡通人物表情等等功能应用，具体的根据实际情况进行选择，本申请实施例不作限定。
示例性地，人脸图像处理装置还可以根据额头特征点集合与人脸关键点集合，将从人脸中提取出至少一个关键部位进行图像处理，或者将人物1的一个或多个面部特征与人物2的一个或多个面部特征进行人脸合成，实现如美容行业中为用户呈现的不同人脸部位美容后的效果，或者视频剪辑应用中的人脸特效生成等等。或者，人脸图像处理装置还可以根据额头特征点集合与人脸关键点集合进行人脸识别、表情识别等等图像处理过程，具体的根据实际情况进行选择，本申请实施例不作限定。
可以理解的是，本申请实施例中，根据人脸关键点集合中非额头区域的关键点，如表征鼻根、左脸轮廓外侧与右脸轮廓外侧的特征点，可以初步定位出额头轮廓上的第一额头特征点、第二额头特征点与第三额头特征点；并在此基础上，采用自适应插值方法计算出更多的额头特征点，从而得到更平滑的额头轮廓对应的额头特征点集合。本申请实施例的计算过程更加快速，并且对于各种不同的脸型都能通过自适应插值的方法确定出鲁棒的额头特征点，从而提高了额头特征点识别的效率与准确度，进而提高了基于额头特征点集合进行人脸图像处理的效率与准确度。
在一些实施例中，申请人发现，相对于正常角度采集到的待处理人脸图像，在抬头的情况下所采集到的待处理人脸图像中，表征鼻根的第一特征点如43点和表征下颌的第二特征点如16点之间的距离会变大，并且第一特征点到第一额头特征点如109点之间的距离会变小；在低头的情况下所采集到的待处理人脸图像中，第一特征点和第二特征点之间的距离会变小，第一特征点到第一额头特征点之间的距离会变大。为了使得额头特征点集合能够适应人脸在各种角度下的变化，本申请实施例可以动态地设定预设调节因子，以计算出第一额头特征点，进而得到额头特征点集合。其中，动态设定预设调节因子的过程可以通过执行S001-S002来实现，如下：
S001、计算第二特征点到第一特征点之间的第一距离，并计算预设固定距离点到第一特征点之间的第二距离；预设固定距离点在人脸角度变化的情况下，与第一特征点之间的距离变化小于预设变化阈值；预设固定距离点属于人脸关键点集合。
S002、基于第一距离与第二距离的比值，得到预设调节因子。
本申请实施例中，在人脸角度变化的情况下，人脸关键点集合中的预设固定距离点与第一特征点之间的距离变化小于预设变化阈值。示例性地，通过大量实验发现，在图4示出的人脸关键点集合中，表征鼻尖的49点与第一特征点即表征鼻根的43点之间的距离基本不随人脸的转动发生变化。因此，人脸图像处理装置计算可以将49点作为预设固定距离点，并计算第二特征点到第一特征点之间的第一距离，并计算预设固定距离点到第一特征点之间的第二距离；进而基于第一距离与第二距离的比值，得到预设调节因子。
在一些实施例中，上述计算过程可以通过公式(3)实现，如下：
公式(3)中，(x3,y3)为预设固定距离点的坐标，
为第二特征点到第一特征点之间的第一距离，
为预设固定距离点到第一特征点之间的第二距离，β和γ为预先设置的调节参数，用于使得根据r计算出第一额头特征点可以保持在由第二特征点指向第一特征点的向量上。其中，β可以为大于的值；γ可以为小于1且大于0的值；示例性地，β可以为1.35，γ可以为0.8。
需要说明的是，本申请实施例中不限制用于计算预设调节因子的具体特征点，也可引入其他不随面部转动时发生变化的两点距离，并相应地微调β和γ的数值，来计算预设调节因子。
可以理解的是，通过引入与人脸角度变化无关的预设固定距离点来动态地设定预设调节因子，进而根据预设调节因子计算出第一额头特征点，可以在人脸出现抬头、低头等情况下，计算出精确度较高的第一额头特征点，适应各种人脸角度变化的情况，进而提高了人脸图像处理的准确度。
在一些实施例中，参见图9，图9是本申请实施例提供的方法的一个可选的流程示意图，图3中的S105可以通过执行S1051-S1054来实现，将结合各步骤进行说明。
S1051、根据人脸关键点集合与额头特征点集合，将待处理人脸图像划分为多个真实面部区域。
S1051中，人脸图像处理装置可以根据人脸关键点集合与额头特征点集合中包含的特征点，将对待处理人脸进行网格划分，将待处理人脸图像划分为多个真实面部区域。这里，可以看出，通过网格划分，人脸图像处理装置将待处理人脸图像划分为更为细致的纹理区域，相较于目前根据语义分割得到各个人脸关键部位，在进行仿射变换的方法，本申请实施例中在划分阶段所得到的多个真实面部区域粒度更细，有助于提高基于多个真实面部区域进行人脸图像处理的准确性。
在一些实施例中，人脸图像处理装置可以将人脸关键点集合与额头特征点集合中的每个特征点作为顶点，利用网格划分算法，进行三角网格划分，得到三角网格构成的多个真实面部区域。
在一些实施例中，人脸图像处理装置也可以进行其他形式的网格划分，如四角网格划分等方式，对待处理人脸图像进行划分，具体的根据实际情况进行选择，本申请实施例不做限定。
在一些实施例中，网格划分算法可以是Delaunay三角剖分算法，也可以是Loop算法、Doo-Sabine算法或Catmull-Clark算法等等，具体的根据实际情况进行选择，本申请实施例不做限定。
S1052、获取待处理人脸图像对应的预设特效人脸；预设特效人脸为包含预设特效图像的人脸模板；预设特效人脸包含对人脸模板预先进行相同的特征点计算与划分处理得到的多个预设人脸区域。
S1052中，人脸图像处理装置可以获取用于对待处理人脸图像进行特效处理的预设特效人脸。这里，预设特效人脸为包含预设特效图像的人脸模板；示例性地，人脸模板可以是根据标准人脸生成的模板，预设特效图像可以是虚拟妆容，预设特效人脸可以为在标准人脸的模板上所应用的虚拟妆容。
本申请实施例中，人脸图像处理装置也可以通过S101-S104中相同的过程，对预设特效人脸进行人脸关键点检测，得到预设特效人脸对应特效人脸关键点集合，并基于特效人脸关键点集合计算出预设特效人脸对应的特效额头特征点集合。这里，在进行人脸关键点检测和插值计算时，人脸图像处理装置可以根据与待处理人脸图像相同的特征点数对预设特效人脸进行处理，使得预设特效人脸对应的特效人脸关键点集合与特效额头特征点集合中特征点的总数与待处理人脸图像中的特征点总数一致。进而，人脸图像处理装置可以通过与S1051中相同的网格划分方法，根据特效人脸关键点集合与特效额头特征点集合对预设特效人脸进行网格划分，以使划分得到的预设特效人脸包含多个预设人脸区域与待处理人脸图像对应的多个真实面部区域一一对应。示例性地，多个真实面部区域中由33点、34点、64点组成的三角区域，所对应的预设人脸区域也是由33点、34点、64点组成的三角区域。
在一些实施例中，预设特效图像也可以是其他特效图像，如贴纸、滤镜等等，具体的根据实际情况进行选择，本申请实施例不作限定。
在一些实施例中，人脸图像处理装置可以对预设特征人脸可以进行一次特征点计算与划分处理，并将得到的特征点标注分布与划分的网格区域进行保存，后续可以直接获取保存的预设特征人脸数据与不同的待处理人脸图像进行融合。
S1053、根据多个真实面部区域与多个预设人脸区域的对应关系，得到待处理人脸图像中的每个人脸像素在预设特效人脸中对应的特效像素。
S1053中，由于多个真实面部区域与多个预设人脸区域是一一对应的，对于待处理人脸图像中的每个人脸像素，人脸图像处理装置可以根据多个真实面部区域与多个预设人脸区域的对应关系，将每个人脸像素在对应的预设人脸区域中进行采样，得到每个人脸像素在预设特效人脸中对应的特效像素。
在一些实施例中，每个人脸像素可以根据其所在的真实面部区域的各个顶点坐标，确定每个人脸像素在其所在的真实面部区域中的相对位置。人脸图像处理装置可以根据每个人脸像素所在的目标真实面部区域的顶点位置进行加权计算，得到每个人脸像素在目标真实面部区域中的相对位置；并将每个人脸像素所在的真实面部区域作为目标真实面部区域，根据多个真实面部区域与多个预设人脸区域的对应关系，将目标真实面部区域对应的预设人脸区域作为目标预设人脸区域，也即确定目标真实面部区域对应的目标预设人脸区域；人脸图像处理装置可以根据目标预设人脸区域中各个顶点位置，确定目标真实面部区域中的相对位置在目标预设人脸区域中对应的位置上的像素，作为每个人脸像素对应的特效像素。这样，人脸图像处理装置就得到的每个人脸像素在预设特效人脸中对应的特效像素。
这里，需要说明的是，由于待处理人脸图像的像素分辨率与预设特效人脸的像素分辨率可能不同，因此人脸像素与特效像素的对应不限于一一对应的关系。示例性地，当待处理人脸图像的像素分辨率高于预设特效人脸的像素分辨率时，可能出现至少一个人脸像素在预设特效人脸中对应相同特效像素的情况。本申请实施例不作限定。
S1054、将每个人脸像素与其对应的特效像素进行像素融合，得到待处理人脸图像与预设特效图像相叠加的图像处理结果。
S1054中，人脸图像处理装置在确定出每个人脸像素对应的特效像素的情况下，可以将每个人脸像素与其对应的特效像素进行像素融合，将对应的特效像素叠加在每个人脸像素上，进而得到待处理人脸图像与预设特效图像相叠加的图像处理结果。
在一些实施例中，人脸图像处理装置可以通过正片叠底、正常融合、强光融合等融合方式进行像素融合，本申请实施例不限定具体的融合方式。人脸图像处理装置可以对每个人脸像素与其对应的特效像素的颜色信息，如RGB值，进行色度融合，也可以对每个人脸像素与其对应的特效像素的灰度信息，亮度信息等等进行像素融合，具体的根据实际情况进行选择，本申请实施例不做限定。
可以理解的是，本申请实施例通过网格构建的方式，可以得到更加细致的待处理人脸的拓扑结构，以及特效图像的纹理，如妆容纹理的拓扑结构，进而获取两者的纹理映射关系，相比较于目前的仿射映射等方法，本申请实施例通过细分网格所获取的映射关系更加精准，使得妆容纹理与在各种姿态下的人脸更加的贴合，妆容更加自然，提高了人脸图像处理的准确度。
在一些实施例中，对于上述S1053与S1054，人脸图像处理装置可以通过图形处理模块，如图形处理器(Graphics Processing Unit，GPU)，对于每个人脸像素点，并行地确定出其对应的特效像素，并将每个人脸像素点与其对应的特效像素进行并行地融合处理，得到图像处理结果。
在一些实施例中，人脸图像处理装置可以每个人脸像素与其对应的特效像素的对每个人脸像素点与其对应的特效像素进行色度融合，得到中间色度，如公式(4)所示，如下：
Color3＝Color1×Color2 (4)
公式(4)中，Color1为每个人脸像素的RGB值，Color2为每个人脸像素对应的特效像素的RGB值，Color3为中间色度。
人脸图像处理装置通过预设融合强度因子，分别对每个人脸像素点的色度与中间色度进行融合强度调节，得到第一调节结果与第二调节结果；并结合第一调节结果与第二调节结果，得到每个人脸像素点对应的图像融合结果，作为图像处理结果，如公式(5)所示，如下：
Color4＝(1-α)*Color1×α*Color3 (5)
公式(5)中，α为预设融合强度因子，(1-α)*Color1为第一调节结果，α*Color3为第二调节结果，Color4为一个人脸像素点对应的图像融合结果。人脸图像处理装置通过对每个人脸像素点进行相同过程的并行处理，可以同时得到每个人脸像素点对应的图像融合结果，作为图像处理结果。
可以理解的是，本申请实施例通过图形处理模块，并行地处理妆容纹理和待处理人脸之间的采样和融合，可以大大减少电子设备上的中央处理器的计算量和处理时间，从而提高了人脸图像处理的效率，能够满足用户在视频和直播场景的实时性要求。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例可以应用在视频直播时的在线美妆功能中，用户如视频主播可以通过手机等直播终端上的直播应用，实时地记录直播内容，并通过网络上传至直播应用的后台服务器，由后台服务器发送至观众使用的观众终端上进行直播内容的呈现。在应用于实现在线美妆功能时，本申请实施例提供的人脸图像处理装置可以部署在直播应用的后台服务器中，包含如图10所示的识别模块、自适应插值模块、映射模块和融合模块。人脸图像处理装置可以利用识别模块、自适应插值模块、映射模块和融合模块，通过执行如图11所示的S201-S204的过程，实现在线美妆的应用，如下：
S201、通过识别模块对当前直播视频帧中的待处理人脸进行关键点检测，得到人脸关键点集合。
S201中，当检测到视频主播在直播应用中开启了在线美妆功能时，人脸图像处理装置可以通过识别模块中所包含的106点人脸关键点检测模型，在直播终端上传的视频流中，对当前直播视频帧中的待处理人脸图像进行人脸关键点检测，得到106个标注了不同语义的人脸关键点，即人脸关键点集合。这里，106个人脸关键点中不包含额头区域的特征点。
S202、通过自适应插值模块，根据人脸关键点集合计算出额头特征点集合。
这里，S202的过程与上述S102-S104中的过程描述一致，此处不再赘述。
S203、通过映射模块，得到待处理人脸图像中每个人脸像素与虚拟妆容像素的映射关系。
这里，虚拟妆容像素相当于特效像素，S203的执行过程与S1051-S1053描述一致，此处不再赘述。
S204、通过融合模块，将每个人脸像素与虚拟妆容像素进行融合，得到在待处理人脸图像施加了虚拟妆容的图像处理结果。
这里，S204的执行过程与S1054描述一致，此处不再赘述。
可以理解的是，本申请实施例提供的人脸图像处理方法在应用于通过虚拟妆容进行人脸美颜的场景时，可以通过人脸关键点模型进行自适应插值的方式，拟合额头区域的特征点，获取更鲁棒的额头特征点集合。并且，通过网格构建方式，可以更精准的获取待处理人脸和妆容纹理的映射关系。并且，通过计算图形学渲染方式，在融合模块可以得到更加贴合和自然的融合效果，从而可以实现实时精准的虚拟妆容效果，降低用户的化妆门槛，以及节约在妆容上花费的时间和彩妆材料的成本，为用户提供实时和精准的虚拟妆容，并可以使得虚拟妆容的妆感更加自然服帖，满足用户的美妆需求，提升用户对于平台的满意度和粘性。
下面继续说明本申请实施例提供的人脸图像处理装置255的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的人脸图像处理装置255中的软件模块可以包括：
人脸关键点检测模型2551，用于对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合；
确定模块2552，用于基于所述人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点；所述第一额头特征点表征人脸外部轮廓上的额头最高点；以及基于所述第一额头特征点与所述第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点；所述第三特征点与所述第四特征点属于所述人脸关键点集合；
插值拟合模块2553，用于基于所述第一额头特征点、所述第二额头特征点与所述第三额头特征点进行插值拟合，得到额头特征点集合；所述额头特征点集合表征所述待处理人脸对应的额头轮廓；
处理模块2554，用于基于所述额头特征点集合，对所述待处理人脸图像进行图像处理，得到图像处理结果。
在一些实施例中，所述确定模块2552，还用于基于所述第一特征点与所述第二特征点之间的距离，在所述第二特征点指向所述第一特征点的向量上确定出所述第一额头特征点。
在一些实施例中，所述确定模块2552，还用于将预设距离调节因子分别与所述第一特征点的横坐标和纵坐标相乘，得到第一横向乘积与第一纵向乘积；所述预设调节因子为大于1的数值；计算预设阈值减去所述预设调节因子的差值，并将所述差值分别与所述第二特征点的横坐标和纵坐标相乘，得到第二横向乘积与第二纵向乘积；将第一横向乘积与第二横向乘积之和，作为所述第一额头特征点的横坐标；将第一纵向乘积与第二纵向乘积之和，作为所述第一额头特征点的纵坐标，从而确定出所述第一额头特征点。
在一些实施例中，所述确定模块2552，还用于计算所述第二特征点到所述第一特征点之间的第一距离，并计算预设固定距离点到所述第一特征点之间的第二距离；所述预设固定距离点在人脸角度变化的情况下，与所述第一特征点之间的距离变化小于预设变化阈值；所述预设固定距离点属于所述人脸关键点集合；基于所述第一距离与所述第二距离的比值，得到所述预设调节因子。
在一些实施例中，所述确定模块2552，还用于计算所述第一特征点指向所述第一额头特征点的第一特征向量与第一长度、所述第一特征点指向所述第三特征点的第二特征向量与第二长度、以及所述第一特征点指向所述第四特征点的第三特征向量与第三长度；计算所述第一特征向量与所述第二特征向量的中间夹角，从而确定第一中间特征向量；计算所述第一长度与所述第二长度的第一平均值；根据所述第一中间特征向量与所述第一平均值，确定出所述第二额头特征点；计算所述第一特征向量与所述第三特征向量的中间夹角，从而确定第二中间特征向量；计算所述第一长度与所述第三长度的第二平均值；根据所述第二中间特征向量与所述第二平均值，确定出所述第三额头特征点。
在一些实施例中，所述插值拟合模块2553，还用于根据所述第三特征点、所述第二额头特征点、所述第一额头特征点、所述第三额头特征点与所述第四特征点，得到所述待处理人脸对应的额头曲线约束；基于所述额头曲线约束，在所述第三特征点、所述第二额头特征点、所述第一额头特征点、所述第三额头特征点与所述第四特征点之间进行插值拟合，得到包含所述第一额头特征点、所述第二额头特征点与所述第三额头特征点的所述额头特征点集合。
在一些实施例中，所述处理模块2554，还用于根据所述人脸关键点集合与所述额头特征点集合，将所述待处理人脸图像划分为多个真实面部区域；获取所述待处理人脸图像对应的预设特效人脸；所述预设特效人脸为包含预设特效图像的人脸模板；所述预设特效人脸包含对所述人脸模板预先进行相同的特征点计算与划分处理得到的多个预设人脸区域；根据所述多个真实面部区域与多个预设人脸区域的对应关系，得到所述待处理人脸图像中的每个人脸像素在所述预设特效人脸中对应的特效像素；将所述每个人脸像素与其对应的特效像素进行像素融合，得到所述待处理人脸图像与所述预设特效图像相叠加的图像处理结果。
在一些实施例中，所述处理模块2554，还用于将所述人脸关键点集合与所述额头特征点集合中的每个特征点作为顶点，利用网格划分算法，进行三角网格划分，得到三角网格构成的所述多个真实面部区域。
在一些实施例中，所述处理模块2554，还用于对于所述每个人脸像素，根据所述每个人脸像素所在的目标真实面部区域的顶点位置进行加权计算，得到所述每个人脸像素在所述目标真实面部区域中的相对位置；根据所述多个真实面部区域与多个预设人脸区域的对应关系，确定所述目标真实面部区域对应的目标预设人脸区域；根据所述目标预设人脸区域的顶点位置，确定所述相对位置在所述目标预设人脸区域中对应的像素，作为所述每个人脸像素对应的特效像素。
在一些实施例中，所述处理模块2554，还用于通过图形处理模块，对所述每个人脸像素点与其对应的素材像素进行并行融合处理，得到所述图像处理结果。
在一些实施例中，所述处理模块2554，还用于对所述每个人脸像素点与其对应的素材像素点进行色度融合，得到中间色度；通过预设融合强度因子，分别对所述每个人脸像素点的色度与所述中间色度进行融合强度调节，得到第一调节结果与第二调节结果；结合所述第一调节结果与所述第二调节结果，得到所述每个人脸像素点对应的图像融合结果，作为所述图像处理结果。
在一些实施例中，所述处理模块2554，还用于基于所述额头特征点集合，对所述待处理人脸图像进行人脸分割、人脸对齐、人脸识别、人脸合成中的至少一种处理，得到所述图像处理结果。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3、9、11示出的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HT ML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，本申请实施例可以根据人脸关键点集合中非额头区域的关键点，如表征鼻根、左脸轮廓外侧与右脸轮廓外侧的特征点，初步定位出额头轮廓上的第一额头特征点、第二额头特征点与第三额头特征点；并在此基础上，采用自适应插值方法计算出更多的额头特征点，从而得到更平滑的额头轮廓对应的额头特征点集合。本申请实施例的计算过程更加快速，并且对于各种不同的脸型都能通过自适应插值的方法确定出鲁棒的额头特征点，从而提高了额头特征点识别的效率与准确度，进而提高了基于额头特征点集合进行人脸图像处理的效率与准确度。并且，通过引入与人脸角度变化无关的预设固定距离点来动态地设定预设调节因子，进而根据预设调节因子计算出第一额头特征点，可以在人脸出现抬头、低头等情况下，计算出精确度较高的第一额头特征点，适应各种人脸角度变化的情况，进而提高了人脸图像处理的准确度。并且，通过网格构建的方式，可以得到更加细致的待处理人脸的拓扑结构，以及特效图像的纹理，如妆容纹理的拓扑结构，进而获取两者的纹理映射关系，相比较于目前的仿射映射等方法，本申请实施例通过细分网格所获取的映射关系更加精准，使得妆容纹理与在各种姿态下的人脸更加的贴合，妆容更加自然，提高了人脸图像处理的准确度。并且，通过图形处理模块，并行地处理妆容纹理和待处理人脸之间的采样和融合，可以大大减少电子设备上的中央处理器的计算量和处理时间，从而提高了人脸图像处理的效率，能够满足用户在视频和直播场景的实时性要求。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (15)
1.一种人脸图像处理方法，其特征在于，包括：
对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合；
基于所述人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点；所述第一额头特征点表征人脸外部轮廓上的额头最高点；
基于所述第一额头特征点与所述第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点；所述第三特征点与所述第四特征点属于所述人脸关键点集合；
基于所述第一额头特征点、所述第二额头特征点与所述第三额头特征点进行插值拟合，得到额头特征点集合；所述额头特征点集合表征所述待处理人脸对应的额头轮廓；
基于所述额头特征点集合，对所述待处理人脸图像进行图像处理，得到图像处理结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点，包括：
基于所述第一特征点与所述第二特征点之间的距离，在所述第二特征点指向所述第一特征点的向量上确定出所述第一额头特征点。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征点与所述第二特征点之间的距离，在所述第二特征点指向所述第一特征点的向量上确定出所述第一额头特征点，包括：
将预设距离调节因子分别与所述第一特征点的横坐标和纵坐标相乘，得到第一横向乘积与第一纵向乘积；所述预设调节因子为大于1的数值；
计算预设阈值减去所述预设调节因子的差值，并将所述差值分别与所述第二特征点的横坐标和纵坐标相乘，得到第二横向乘积与第二纵向乘积；
将第一横向乘积与第二横向乘积之和，作为所述第一额头特征点的横坐标；
将第一纵向乘积与第二纵向乘积之和，作为所述第一额头特征点的纵坐标，从而确定出所述第一额头特征点。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
计算所述第二特征点到所述第一特征点之间的第一距离，并计算预设固定距离点到所述第一特征点之间的第二距离；所述预设固定距离点在人脸角度变化的情况下，与所述第一特征点之间的距离变化小于预设变化阈值；所述预设固定距离点属于所述人脸关键点集合；
基于所述第一距离与所述第二距离的比值，得到所述预设调节因子。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一额头特征点与所述第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点，包括：
计算所述第一特征点指向所述第一额头特征点的第一特征向量与第一长度、所述第一特征点指向所述第三特征点的第二特征向量与第二长度、以及所述第一特征点指向所述第四特征点的第三特征向量与第三长度；
计算所述第一特征向量与所述第二特征向量的中间夹角，从而确定第一中间特征向量；
计算所述第一长度与所述第二长度的第一平均值；
根据所述第一中间特征向量与所述第一平均值，确定出所述第二额头特征点；
计算所述第一特征向量与所述第三特征向量的中间夹角，从而确定第二中间特征向量；
计算所述第一长度与所述第三长度的第二平均值；
根据所述第二中间特征向量与所述第二平均值，确定出所述第三额头特征点。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一额头特征点、所述第二额头特征点与所述第三额头特征点进行插值拟合，得到额头特征点集合，包括：
根据所述第三特征点、所述第二额头特征点、所述第一额头特征点、所述第三额头特征点与所述第四特征点，得到所述待处理人脸对应的额头曲线约束；
基于所述额头曲线约束，在所述第三特征点、所述第二额头特征点、所述第一额头特征点、所述第三额头特征点与所述第四特征点之间进行插值拟合，得到包含所述第一额头特征点、所述第二额头特征点与所述第三额头特征点的所述额头特征点集合。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述额头特征点集合，对所述待处理人脸图像进行图像处理，得到图像处理结果，包括：
根据所述人脸关键点集合与所述额头特征点集合，将所述待处理人脸图像划分为多个真实面部区域；
获取所述待处理人脸图像对应的预设特效人脸；所述预设特效人脸为包含预设特效图像的人脸模板；所述预设特效人脸包含对所述人脸模板预先进行相同的特征点计算与划分处理得到的多个预设人脸区域；
根据所述多个真实面部区域与多个预设人脸区域的对应关系，得到所述待处理人脸图像中的每个人脸像素在所述预设特效人脸中对应的特效像素；
将所述每个人脸像素与其对应的特效像素进行像素融合，得到所述待处理人脸图像与所述预设特效图像相叠加的图像处理结果。
8.根据权利要求7所述的方法，其特征在于，所述根据所述人脸关键点集合与所述额头特征点集合，将所述待处理人脸图像划分为多个真实面部区域，包括：
将所述人脸关键点集合与所述额头特征点集合中的每个特征点作为顶点，利用网格划分算法，进行三角网格划分，得到三角网格构成的所述多个真实面部区域。
9.根据权利要求8所述的方法，其特征在于，所述根据所述多个真实面部区域与多个预设人脸区域的对应关系，得到所述待处理人脸图像中的每个人脸像素在所述预设特效人脸中对应的特效像素，包括：
对于所述每个人脸像素，根据所述每个人脸像素所在的目标真实面部区域的顶点位置进行加权计算，得到所述每个人脸像素在所述目标真实面部区域中的相对位置；
根据所述多个真实面部区域与多个预设人脸区域的对应关系，确定所述目标真实面部区域对应的目标预设人脸区域；
根据所述目标预设人脸区域的顶点位置，确定所述相对位置在所述目标预设人脸区域中对应的像素，作为所述每个人脸像素对应的特效像素。
10.根据权利要求7所述的方法，其特征在于，所述将所述每个人脸像素与其对应的特效像素进行像素融合，得到所述待处理人脸图像与所述预设特效图像相叠加的图像处理结果，包括：
通过图形处理模块，对所述每个人脸像素点与其对应的素材像素进行并行融合处理，得到所述图像处理结果。
11.根据权利要求10所述的方法，其特征在于，所述通过图形处理模块，对所述每个人脸像素点与其对应的素材像素进行并行融合处理，得到所述图像处理结果，包括：
对所述每个人脸像素点与其对应的素材像素点进行色度融合，得到中间色度；
通过预设融合强度因子，分别对所述每个人脸像素点的色度与所述中间色度进行融合强度调节，得到第一调节结果与第二调节结果；
结合所述第一调节结果与所述第二调节结果，得到所述每个人脸像素点对应的图像融合结果，作为所述图像处理结果。
12.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述额头特征点集合，对所述待处理人脸图像进行图像处理，包括：
基于所述额头特征点集合，对所述待处理人脸图像进行人脸分割、人脸对齐、人脸识别、人脸合成中的至少一种处理，得到所述图像处理结果。
13.一种人脸图像处理装置，其特征在于，包括：
人脸关键点检测模型，用于对待处理人脸图像进行人脸关键点检测，得到人脸关键点集合；
确定模块，用于基于所述人脸关键点集合中表征鼻根的第一特征点与表征下颌的第二特征点，确定第一额头特征点；所述第一额头特征点表征人脸外部轮廓上的额头最高点；以及基于所述第一额头特征点与所述第一特征点，分别结合表征左脸轮廓外侧的第三特征点与表征右脸轮廓外侧的第四特征点，确定第二额头特征点与第三额头特征点；所述第三特征点与所述第四特征点属于所述人脸关键点集合；
插值拟合模块，用于基于所述第一额头特征点、所述第二额头特征点与所述第三额头特征点进行插值拟合，得到额头特征点集合；所述额头特征点集合表征所述待处理人脸对应的额头轮廓；
处理模块，用于基于所述额头特征点集合，对所述待处理人脸图像进行图像处理，得到图像处理结果。
14.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110800842.5A CN115631516A (zh) | 2021-07-15 | 2021-07-15 | 人脸图像处理方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110800842.5A CN115631516A (zh) | 2021-07-15 | 2021-07-15 | 人脸图像处理方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115631516A true CN115631516A (zh) | 2023-01-20 |
Family
ID=84903562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110800842.5A Pending CN115631516A (zh) | 2021-07-15 | 2021-07-15 | 人脸图像处理方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115631516A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116471429A (zh) * | 2023-06-20 | 2023-07-21 | 上海云梯信息科技有限公司 | 基于行为反馈的图像信息推送方法及实时视频传输系统 |
-
2021
- 2021-07-15 CN CN202110800842.5A patent/CN115631516A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116471429A (zh) * | 2023-06-20 | 2023-07-21 | 上海云梯信息科技有限公司 | 基于行为反馈的图像信息推送方法及实时视频传输系统 |
| CN116471429B (zh) * | 2023-06-20 | 2023-08-25 | 上海云梯信息科技有限公司 | 基于行为反馈的图像信息推送方法及实时视频传输系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US9552668B2 (en) | Generation of a three-dimensional representation of a user | |
| CN110136243A (zh) | 一种三维人脸重建方法及其系统、装置、存储介质 | |
| US11587288B2 (en) | Methods and systems for constructing facial position map | |
| US11562536B2 (en) | Methods and systems for personalized 3D head model deformation | |
| CN108961369A (zh) | 生成3d动画的方法和装置 | |
| CN108876886B (zh) | 图像处理方法、装置和计算机设备 | |
| CN110796593A (zh) | 基于人工智能的图像处理方法、装置、介质及电子设备 | |
| US11417053B1 (en) | Methods and systems for forming personalized 3D head and facial models | |
| US11461970B1 (en) | Methods and systems for extracting color from facial image | |
| CN114821675B (zh) | 对象的处理方法、系统和处理器 | |
| CN113822965A (zh) | 图像渲染处理方法、装置和设备及计算机存储介质 | |
| CN112221145A (zh) | 游戏脸模生成方法及装置、存储介质及电子设备 | |
| WO2024174422A1 (zh) | 模型的生成方法及装置、电子设备、存储介质 | |
| WO2022143645A1 (zh) | 三维人脸重建的方法、装置、设备和存储介质 | |
| CN112699857A (zh) | 基于人脸姿态的活体验证方法、装置及电子设备 | |
| US20200126314A1 (en) | Method and system of automated facial morphing for eyebrow hair and face color detection | |
| CN115631516A (zh) | 人脸图像处理方法、装置、设备及计算机可读存储介质 | |
| CN115546361A (zh) | 三维卡通形象处理方法、装置、计算机设备和存储介质 | |
| CN114820907A (zh) | 人脸图像卡通化处理方法、装置、计算机设备和存储介质 | |
| JP7145359B1 (ja) | 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法 | |
| US20240013500A1 (en) | Method and apparatus for generating expression model, device, and medium | |
| CN117011430A (zh) | 游戏资源处理方法、装置、设备、存储介质和程序产品 | |
| CN114742951A (zh) | 素材生成、图像处理方法、装置、电子设备及存储介质 | |
| CN113822964A (zh) | 图像优化渲染的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40078753 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |