CN113453027A - 直播视频、虚拟上妆的图像处理方法、装置及电子设备 - Google Patents

直播视频、虚拟上妆的图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113453027A
CN113453027A CN202010230462.8A CN202010230462A CN113453027A CN 113453027 A CN113453027 A CN 113453027A CN 202010230462 A CN202010230462 A CN 202010230462A CN 113453027 A CN113453027 A CN 113453027A
Authority
CN
China
Prior art keywords
makeup
feature data
face
image
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010230462.8A
Other languages
English (en)
Other versions
CN113453027B (zh
Inventor
姚迪狄
陶欢欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010230462.8A priority Critical patent/CN113453027B/zh
Publication of CN113453027A publication Critical patent/CN113453027A/zh
Application granted granted Critical
Publication of CN113453027B publication Critical patent/CN113453027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T5/77—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明实施例提供了一种直播视频、虚拟上妆的图像处理方法、装置及电子设备，其中，方法包括：对所述第一面部图像进行人脸特征解析，生成与上妆相关的特定区域的人脸特征数据；根据人脸特征数据，对所述特定区域进行细节增强处理，生成待上妆面部图像；获取妆容特征数据，根据所述妆容特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。本发明实施例通过对人脸图像中与上妆效果相关的局部区域进行了细节增强，然后再结合具体妆容特征数据进行渲染处理，从而使得该局部区域相对其他区域具有更加突出和细致的上妆效果，从而能够让上妆效果更加逼真，并且还能兼顾处理效率。

Description

直播视频、虚拟上妆的图像处理方法、装置及电子设备
技术领域
本申请涉及一种直播视频、虚拟上妆的图像处理方法、装置及电子设备，属于计算机技术领域。
背景技术
在采用AR(Augmented Reality，增强现实)进行实时面部虚拟试妆中，需要在真实的人脸上模拟生成的上妆，并希望尽可能接近真实的妆容。现有技术中，通过二维人脸特征识别算法定位出五官的位置，并生成虚拟妆容与人脸进行融合生成虚拟妆容，在生成虚拟妆容的过程中，整个人脸图像的分辨率是相同。由于需要考虑运行效率问题，整个图像的分辨率并不会很高，而人脸五官等关键区域在整个图像中占比很小，实际的呈现出的分辨率会更低，很难展现出逼真的上妆后的妆容因此，无法获得较好的虚拟试妆效果。
发明内容
本发明实施例提供一种直播视频、虚拟上妆的图像处理方法、装置及电子设备，以使虚拟上妆效果更加逼真。
为了实现上述目的，本发明实施例提供了一种虚拟上妆的图像处理方法，包括：
对第一面部图像进行人脸特征解析，生成与上妆相关的特定区域的人脸特征数据；
根据人脸特征数据-，对所述特定区域进行细节增强处理，生成待上妆面部图像；
获取妆容特征数据，根据所述妆容特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。
本发明实施例提供了一种虚拟上妆的图像处理装置，包括：
人脸特征解析模块，用于对第一面部图像进行人脸特征解析，生成与上妆相关的特定区域的人脸特征数据；
细节增强处理模块，用于根据人脸特征数据，对所述特定区域进行细节增强处理，生成待上妆面部图像；
上妆渲染处理模块，用于获取妆容特征数据，根据所述妆容特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。
本发明实施例提供了一种直播视频的处理方法，包括：
从直播视频帧中进行人脸识别，获取第一面部图像；
对第一面部图像执行上妆处理，并将上妆处理后生成的第二面部图像与直播视频帧进行融合；
播放融合后的直播视频帧。
本发明实施例提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行上述的虚拟上妆的图像处理方法。
本发明实施例提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行上述的直播视频的处理方法。
本发明实施例通过对人脸图像中与上妆效果相关的局部区域进行了细节增强，然后再结合具体妆容特征数据进行渲染处理，从而使得该局部区域相对其他区域具有更加突出和细致的上妆效果，从而能够让上妆效果更加逼真，并且还能兼顾处理效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例的虚拟上妆处理过程的示意框图；
图2为本发明实施例的虚拟上妆的图像处理方法的流程示意图；
图3为本发明实施例的虚拟上妆的图像处理装置的结构示意图；
图4为本发明实施例的电子设备示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
下面通过一些具体实施例来进一步说明本发明的技术方案。
本发明实施例的技术方案在上妆处理的过程中，对人脸的局部区域进行了细节增强处理，这些局部区域都是与上妆效果相关关键区域，例如人脸的五官，不同的上妆类型可能对应不同的关键区域，例如复杂一些上妆类型可能会涉及到五官以及颧骨，而简单的上妆类型，例如只是涂口红，那么就只涉及嘴唇即可。本发明实施例通过对这些局部区域的细节增强，并结合具体妆容特征数据的渲染处理，能够使得该局部区域相对其他区域更加突出细节，从而能够让上妆效果更加逼真，并且还能兼顾处理效率。
如图1所示，其为本发明实施例的虚拟上妆处理过程的示意框图，本发明实施例的主要处理过程可以包括如下三个处理阶段：
1)人脸特征解析
人脸特征解析是基于第一面部图像而进行的。这里所说的第一面部图像可以是来自于较大的图像，通过图像识别的方式，提取的面部图像。
人脸特征解析主要可以包括如下几个方面：
人脸几何结构解析，提取特定区域的几何结构特征数据。通过对人脸的几何结构的解析，能够定位出人脸各个部分的准确位置，例如准确定位出五官的位置、颧骨的位置等，准确的定位有利于后续上妆渲染处理的准确性。此外，几何结构解析能够获得3D的人脸数据，获取到人脸的骨骼结构特征，对于上妆效果较为明显的区域，可以基于3D的几何结构特征数据进行上妆渲染，从而使得最终的上妆效果更佳具有立体感。
人脸皮肤质地解析，提取特定区域的皮肤质地特征数据。每个人的皮肤质地相差可能会很大，人脸皮肤质地解析用来分析人脸的皮肤质地特征，例如皮肤纹理、皮肤基础色、皮肤阴影以及皮肤粗糙度等。同样的妆容对于不同的皮肤质地会呈现不同的上妆效果。
人脸光影效果的解析，主要是对人脸的光照角度和/或皮肤反射状况进行解析，提取特定区域的光影特征数据。
在上述的特征解析主要是针对与上妆相关的特定区域，其中通过初步的人脸几何结构解析，确定出具体的特定区域后，可以再进一步获取特定区域的细节上的3D几何结构特征，以及皮肤质地和光影效果特征等。解析出的特征数据用于进行后续的细节增强和上妆渲染的处理。
2)细节增强处理
细节增强处理是在第一面部图像的基础上，结合人脸解析获得的特征数据而进行的。具体可以通过上采样模型，根据前一阶段采集到的特定区域的人脸特征数据，对所述特定区域进行上采样处理，即超分辨率处理，生成所述特定区域的分辨率高于其他区域的待上妆面部图像。例如，原始通过手机摄像头采集的720P的图像，分辨率比较低，无法看到五官细节，而通过上采样模型，能够使用超分辨率把五官部分的细节放大，形成更多的图像细节，从而为后续的上妆处理做好准备。
通过细节增强处理，一方面，高分辨率能够展现出更多的人脸细节，由于这种细节增强处理并不是对整脸进行的，而是对局部区域进行的，从而能够是的上妆的关键区域与其他区域产生明显反差，从而使得上妆效果更佳突出。另一方面，由于没有对整脸进行增强细节处理，所以不会产生较大的资源开销，兼顾了处理效果，使得用户能够快速地看到上妆后的效果。此外，在细节增强处理阶段，还可以进行一些美颜处理，例如通过美颜处理算法，让皮肤更加光滑、颜色更加自然等。
3)上妆渲染处理
上妆渲染处理是在增强细节后的面部图像，结合妆容特征数据，对增强细节后的面部图像进行渲染处理，从而生成具有上妆效果的面部图像。这里所说的妆容特征数据与模拟上妆的具体化妆品有关的数据，主要可以包括妆容材质特征数据(例如颜色质地等)和妆容光影效果特征数据(在光线下呈现的反射特性等)。以口红为例，妆容特征数据涉及到口红的颜色、口红本身所呈现的纹理、口红对光线的反射效果、口红的粘稠度等，这些都会对最终的上妆效果产生影响。在上妆渲染阶段中，对于上妆效果相关关键区域，都进行了增强细节的处理，在此基础上，能够充分结合妆容特征数据，从而对这些关键区域(上述的特定区域)的上妆渲染效果会非常真实和突出，从而能够呈现出逼真的上妆效果。对于这些关键区域以外的上妆区域，例如，一般化妆会着重在五官区域，而对于下巴或者腮部等，只是涂一些基本的护肤品等，可以不进行上妆渲染处理，或者仅进行基本上妆渲染处理，例如结合化妆品的颜色特征数据，对皮肤的颜色进行变换等，而将上妆渲染的重点放在那些对于上妆效果影响较大的关键区域，从而突出上妆关键区域的细节并与其他区域形成反差效果，使得妆容更加逼真。
此外，在上述的上妆渲染过程中，除了妆容特征数据以外，还可以进一步结合在第一阶段处理获得的人脸特征数据进行上妆渲染处理。例如通过机器学习模型，将妆容特征数据和皮肤质地特征数据相结合，对待上妆面部图像进行渲染处理，从而更加逼真得呈现出上妆效果。
进一步地，在上妆渲染处理的过程中，还可以进一步结合环境光线特征数据进行渲染处理。由于不同的环境光线会让妆容呈现不同光影效果，具体可以在基于妆容材质特征数据和所述人脸特征数据，对面部图像进行渲染完成后，形成中间态面部图像。在此基础上，再根据妆容光影效果特征数据和引入的环境光线，对中间态面部图像进行进一步渲染处理，从而形成最终的上妆后的面部图像。需要说明的是，是否加入模拟环境光线可以作为用户的一个选项，即可以直接输出在增强细节后的面部图像的基础上而生成的上妆图像，也可以输出引入环境光线后的上妆图像。对于环境光线特征数据，在人脸特征解析阶段中，对人脸光影效果的解析时，可以分析出环境光线的状况，此外，环境光线特征数据也可以来自于模拟数据，即模拟各种场景的环境光线，来呈现不同的上妆效果。
通过以上的几方面处理，能够在兼顾处理效果的同时，呈现出更加逼真的上妆效果。
本发明实施例的技术方案可以应用在实时视频直播中，通过电脑或者移动终端上的摄像头采集原始图像，并从中提取出第一面部图像，然后进行上述的上妆图像处理后，再通过客户端进行实时展示，呈现实时的上妆效果。另一方面，用户也可以上传单独的图片，利用本发明实施例的虚拟上妆处理技术，生成上妆后的图像。此外，本发明实施例的技术还可以应用于电商平台的化妆品销售中，用户通过提供自己面部照片或者实时采集的包含面部的图像等，虚拟进行各种化妆品的上妆处理，展示用户上妆后的效果，从而方便用户选购各种化妆品。
上述的上妆处理过程可以在客户端所在的本地设备上执行，也可以在云端的服务器上执行，用户通过客户端将实时视频或者图片上传到云端服务器，云端服务器进行上妆处理后，再返回给客户端进行显示。
实施例一
如图2所示，其为本发明实施例的虚拟上妆的图像处理方法的流程示意图，该方法可以运行在本地设备上，也可以运行在提供图像处理服务的云端服务器或者数据服务平台上，具体地，该方法可以包括：
S101：对第一面部图像进行人脸特征解析，生成与上妆相关的特定区域的人脸特征数据。人脸特征解析是基于第一面部图像而进行的。第一面部图像可以来自于用户通过电脑或者移动终端的摄像头所拍摄的图片或者视频，此外，也可以是用户通过其他方式上传的图片或者视频。其中第一面部图像可以是视频图像或者图片的一部分，具体可以通过面部图像识别的方式，将人脸区域的图像提取出来，用于本发明实施例的图像处理。其中，该步骤中的人脸特征解析可以具体包括如下几个方面中的任意一项或者多项：
1)识别人脸几何结构，提取特定区域的几何结构特征数据。
人脸几何结构可以包括整体的脸形、五官位置、骨骼结构等，通过人脸的几何结构的解析能够定位出人脸各个部分的准确位置，例如准确定位出五官的位置、颧骨的位置等，准确的定位有利于后续上妆渲染处理的准确性。在本发明实施例中，通过人脸几何结构的解析能够获得3D的人脸数据，从而可以让后续的上妆效果也呈现出立体感。
2)识别人脸皮肤质地，提取特定区域的皮肤质地特征数据。
皮肤质地可以包括例如皮肤纹理、皮肤基础色、皮肤阴影以及皮肤粗糙度等。同样的妆容对于不同的皮肤质地会呈现不同的上妆效果，将结合人脸皮肤质地进行上妆处理，能够让上妆效果更佳具有个性化也更佳真实。例如，有的人毛孔比较粗或者唇纹比较明显，这些细节都会影响最终上妆后效果。
3)识别人脸的光照角度和/或皮肤反射状况，提取特定区域的光影特征数据。
图片或者视频中的图像效果会和拍摄的光线状况有关，从而也会形成光影效果。例如，光线以不同的角度照射到人脸后，由于人脸的立体结构，在不同区域会呈现不同的明暗效果，此外，不同人的皮肤对于光线的反射情况也会有所不同，皮肤光滑的反射效果较好，呈现较为亮的皮肤颜色，而对于皮肤较为粗糙的人，皮肤颜色会较暗等。这些细节特征同样会影响到实际的上妆效果。
需要说明的是，上述的人脸特征解析可以仅针对的特定区域进行，从而减少面部特征解析时的开销。此外，对于特定区域的确定，可以通过对原始图像的图像分析来完成，可以在上述的人脸几何结构识别处理中来完成。
S102：根据人脸特征数据，对特定区域进行细节增强处理，生成待上妆面部图像。
具体地，该步骤中的细节增强处理，主要是基于前面步骤中解析出来的例如几何结构特征数据、皮肤质地特征数据、光影特征数据等人脸特征数据，使用上采样模型，对特定区域进行上采样处理，生成特定区域的分辨率高于其他区域的待上妆面部图像。上采样处理可以通过神经网络等深度学习模型，实现超分辨率处理，即从给定的低分辨率图像中恢复高分辨率图像的过程。本步骤中，不需要对整个面部图像进行上采样处理，而只需要对与上妆效果直接相关的特定区域进行上采样处理，从而能够在兼顾图像处理效率的同时提升上妆后所展现的细节效果。
S103：获取妆容特征数据，根据妆容特征数据，对待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。其中，妆容特征数据可以包括上妆的化妆品的颜色、材质等。其中，渲染处理可以对整个面部图像进行上妆渲染处理，由于之前形成的待上妆面部图像中，特定区域和非特定区域的分辨率是不同的，上妆处理后，也必然会形成效果上的差别，也由于分辨率不同，在上妆渲染处理所耗费的资源也是不同的，在特定区域由于分辨率相对较高，渲染处理的像素会更加多一些，从而上妆后的效果也会更加逼真，而其他区域由于分辨率较低，渲染处理涉及的像素也会较少，处理相对较快，并且对于最终上妆效果也影响不大，从而实现了处理效率和上妆效果的兼顾。此外，也可以只对特定区域进行上妆渲染处理，而其他区域保持第一面部图像的状态。
在进行渲染处理时，除了使用妆容特征数据外，还可以结合在步骤S101中获得的人脸特征数据，对待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。即将人脸特征数据和妆容特征数据相结合地用于渲染处理的过程中，从而使得上妆后的效果更佳逼真。
此外，在进行上妆渲染处理的过程中，还可以加入环境光线特征数据，将环境光线的要素纳入到上妆效果中，从而能够让用户看到真实场景下的上妆效果。相应地，妆容特征数据可以包括妆容材质特征数据和后面的妆容光影效果特征数据。妆容材质特征数据可以包括化妆品自身的颜色、材质等，例如口红的颜色、口红本身所呈现的纹理、口红的粘稠度等。妆容光影效果特征数据是指化妆品在不同光线下所呈现的不同反射效果。
具体的，该步骤可以包括：
S1031：根据妆容材质特征数据和人脸特征数据，对待上妆面部图像进行上妆色彩和/或上妆后的皮肤质地的渲染处理，生成中间态面部图像。
S1032：获取环境光线特征数据，根据环境光线特征数据和妆容光影效果特征数据，对中间态面部图像进行光影效果的渲染处理，生成上妆后的第二面部图像。这里的环境光线特征数据可以来自于对原始图像的分析，例如对用户的实时视频或者用户上传的图片进行光线分析，提取环境光线特征数据。另外，也可以是模拟的环境光线数据，即模拟各种场景下的光线效果，比如模拟海边的日照效果或者模拟晚上的灯光效果等，从而能够向用户呈现更多场景下的化妆效果。环境光线的引入可以作为用户的一个选项，即用户可以决定是否加入环境光线的要素，或者加入什么类型的环境光线要素等。
上述的渲染处理可以通过例如卷积神经网络等深度机器学习模型来完成。即将妆容特征数据和细节增强后的待上妆图像或者再加上环境光线特征数据作为模型的输入，经过模型处理后，生成上妆后的面部图像。
对于一般类型的上妆处理，上述的特定区域一般会集中在五官区域，可能是五官的整体，也可能是五官之一，例如口红仅针对嘴唇周围，眼影只针对眼睛周围。而一些综合性的上妆效果，一般会涉及五官，例如一般的日妆和晚装，五官部位是呈现效果比较明显的。一些特殊类型的妆容还可能会在其他地方例如颧骨附近比较呈现比较明显的效果，例如新娘妆等。总之，上述的特定区域可以根据不同的上妆类型而灵活确定，因此，上述方法在进行上妆处理之前还可以包括：获取上妆类型，根据上妆类型确定一个或多个特定区域的处理。
此外，上述的上妆处理可以应用于实时拍摄的场景例如网络直播，相应地，该方法还可以包括：获取实时拍摄的图像，提取视频帧中的人脸图像作为第一面部图像。另外，上述的上妆处理可以应用于对用户上传的图片或者视频进行处理，因此，该方法还可以包括：接收用户上传的图片或视频，提取图片或视频中的人脸图像作为第一面部图像。
本发明实施例通过对人脸图像中与上妆效果相关的局部区域进行了细节增强，然后再结合具体妆容特征数据进行渲染处理，从而使得该局部区域相对其他区域具有更加突出和细致的上妆效果，从而能够让上妆效果更加逼真，并且还能兼顾处理效率。
实施例二
如图3所示，其为本发明实施例的虚拟上妆的图像处理装置的结构示意图。该装置可以应用在本地设备上，也可以部署在提供图像处理服务的云端服务器或者数据服务平台上，该装置可以包括：
人脸特征解析模块11，用于对第一面部图像进行人脸特征解析，生成与上妆相关的特定区域的人脸特征数据。其中，该部分处理可以具体包括：对第一面部图像进行人脸特征解析，生成特定区域的人脸特征数据包括：识别人脸几何结构，提取特定区域的几何结构特征数据；和/或，识别人脸皮肤质地，提取特定区域的皮肤质地特征数据；和/或，识别人脸的光照角度和/或皮肤反射状况，提取特定区域的光影特征数据。相应地，人脸特征数据可以包括几何结构特征数据、皮肤质地特征数据、光影特征数据中的一项或者任意多项。
细节增强处理模块12，用于根据人脸特征数据，对特定区域进行细节增强处理，生成待上妆面部图像。该部分处理可以具体包括：使用上采样模型，根据特定区域的人脸特征数据，对特定区域进行上采样处理，生成特定区域的分辨率高于其他区域的待上妆面部图像。
上妆渲染处理模块13，用于获取妆容特征数据，根据妆容特征数据，对待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。该部分处理可以包括：针对特定区域，根据妆容特征数据和人脸特征数据，对待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。此外，还可以加入环境光线特征数据，将环境光线的要素纳入到上妆效果中，从而能够让用户看到真实场景下的上妆效果。具体的，该步骤可以包括：
根据妆容材质特征数据和人脸特征数据，对待上妆面部图像进行上妆色彩和/或上妆后的皮肤质地的渲染处理，生成中间态面部图像。
获取环境光线特征数据，根据环境光线特征数据和妆容光影效果特征数据，对中间态面部图像进行光影效果的渲染处理，生成上妆后的第二面部图像。
这里的环境光线特征数据可以来自于对原始图像的分析，例如对用户的实时视频或者用户上传的图片进行光线分析，提取环境光线特征数据。另外，也可以是模拟的环境光线数据，即模拟各种场景下的光线效果，从而能够向用户呈现更多场景下的化妆效果。环境光线的引入可以作为用户的一个选项，即用户可以决定是否加入环境光线的要素，或者加入什么类型的环境光线要素等。
对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。
本发明实施例通过对人脸图像中与上妆效果相关的局部区域进行了细节增强，然后再结合具体妆容特征数据进行渲染处理，从而使得该局部区域相对其他区域具有更加突出和细致的上妆效果，从而能够让上妆效果更加逼真，并且还能兼顾处理效率。
实施例三
本实施例提供一种直播视频的处理方法，用以在视频直播中进行虚拟上妆，让直播用户呈现虚拟妆容。该方法包括：
S201：从直播视频帧中进行人脸识别，获取第一面部图像。
S202：对第一面部图像执行上妆处理，并将上妆处理后生成的第二面部图像与直播视频帧进行融合。其中，在该步骤中，可以采用前面实施例中介绍的虚拟上妆的处理技术，对面部图像进行处理。具体可以对特定区域进行细节增强处理，以突出上妆效果。对于特定区域的确定可以根据虚拟化妆的类型而定。在本实施例中，可以进一步结合直播场景来识别当前的上妆位置、上妆工具信息、妆容细节信息等信息，从而决定对哪些区域进行突出显示，从而做到有针对性的细节突出，并且能够节省直播视频处理所占用的资源，提高处理效率，让直播画面更加流畅。具体地，可以对直播中的音频进行解析，获取当前的上妆位置，然后，对所述上妆位置进行细节增强处理。例如，主播正在介绍某款眼影，并同步进行了虚拟上妆处理，在这种情况下，可以通过对音频的解析，识别出主播正在介绍眼部化妆的相关内容，因此，可以直接对眼部区域进行细节增强处理，从突出眼影化妆效果。
此外，为了让观看直播的用户了解上妆有关的信息，还可以对直播中的音频或者图像进行解析，获取上妆工具信息和/或妆容细节信息；在所述融合后的直播视频帧中增加与所述上妆工具信息和/或妆容细节信息对应的名称标记和/或链接标记。仍然以主播介绍眼影为例，通过对主播音频的识别，将正在使用的眼影品牌信息对应的名称标记嵌入到直播视频中或者将购买链接标记嵌入到直播视频中，用户点击后可以查看相应地额网页介绍或者购买链接等。
S203：播放融合后的直播视频帧。
通过本发明实施例的处理方法，能够重点突出的展示上妆效果，并且节省用于上妆处理的视频图像处理资源，进一步通过在直播视频中展示各种相关信息，能够让用户更加方面的在直播过程中进行互动操作。
需要说明的是，上述的方法不仅可以应用于虚拟上妆的场景，还可以应用于其他需要突出细节的场景，例如，希望突出使用某种洗面奶前后的脸部局部皮肤的变化，这对这种情况就可以对局部进行增强细节处理，让观看直播的用户清晰看到皮肤的细节变化。
此外，上述对于人脸图像的各种处理，还可以应用对场景图修改的情形，例如，将场景图中的一些图像(例如物品、建筑等)换成人脸图像或者嵌入人脸图像，并进行各种上妆变换的处理等，为用户提供这种场景展示界面，同时也提供各种操作按键和选项，让用户进行各种人脸替换以及上妆效果的变换等。
实施例四
前面实施例描述了虚拟上妆的流程处理及装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图4所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。
存储器110，用于存储程序。
除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器120，耦合至存储器110，用于执行存储器110中的程序，以执行前述实施例中所描述的虚拟上妆的图像处理方法和直播视频的处理方法的操作步骤。
此外，处理器120也可以包括前述实施例所描述的各种模块以执行虚拟上妆的图像处理，并且存储器110可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。
对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。
进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。
通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。
显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (17)

1.一种虚拟上妆的图像处理方法，包括：
对第一面部图像进行人脸特征解析，生成与上妆相关的特定区域的人脸特征数据；
根据人脸特征数据，对所述特定区域进行细节增强处理，生成待上妆面部图像；
获取妆容特征数据，根据所述妆容特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。
2.根据权利要求1所述的方法，其中，所述人脸特征数据包括几何结构特征数据、皮肤质地特征数据、光影特征数据中的一项或者任意多项，所述对所述第一面部图像进行人脸特征解析，生成特定区域的人脸特征数据包括：
识别人脸几何结构，提取特定区域的几何结构特征数据；
和/或，
识别人脸皮肤质地，提取特定区域的皮肤质地特征数据；
和/或，
识别人脸的光照角度和/或皮肤反射状况，提取特定区域的光影特征数据。
3.根据权利要求1所述的方法，其中，根据人脸特征数据，对所述特定区域进行细节增强处理，生成待上妆面部图像包括：
使用上采样模型，根据所述特定区域的人脸特征数据，对所述特定区域进行上采样处理，生成所述特定区域的分辨率高于其他区域的待上妆面部图像。
4.根据权利要求1所述的方法，其中，根据所述妆容特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的第二面部图像包括：
针对特定区域，根据所述妆容特征数据和所述人脸特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。
5.根据权利要求4所述的方法，其中，所述妆容特征数据包括妆容材质特征数据和妆容光影效果特征数据，所述根据所述妆容特征数据和所述人脸特征数据，对所述待上妆面部图像进行渲染处理包括：
根据所述妆容材质特征数据和所述人脸特征数据，对所述待上妆面部图像进行上妆色彩和/或上妆后的皮肤质地的渲染处理，生成中间态面部图像；
获取环境光线特征数据，根据所述环境光线特征数据和所述妆容光影效果特征数据，对所述中间态面部图像进行光影效果的渲染处理，生成上妆后的第二面部图像。
6.根据权利要求1所述的方法，其中，所述方法还包括：
获取上妆类型，根据所述上妆类型确定一个或多个所述特定区域。
7.根据权利要求1所述的方法，其中所述特定区域为五官区域。
8.根据权利要求1所述的方法，其中，还包括：
获取实时拍摄的图像，提取视频帧中的人脸图像作为所述第一面部图像，
或者接收用户上传的图片或视频，提取所述图片或视频中的人脸图像作为所述第一面部图像。
9.一种直播视频的处理方法，包括：
从直播视频帧中进行人脸识别，获取第一面部图像；
对第一面部图像执行上妆处理，并将上妆处理后生成的第二面部图像与直播视频帧进行融合；
播放融合后的直播视频帧。
10.根据权利要求9所述的方法，其中，还包括：
对直播中的音频进行解析，获取当前的上妆位置；
对所述上妆位置进行细节增强处理。
11.根据权利要求10所述的方法，其中，还包括：
对直播中的音频或者图像进行解析，获取上妆工具信息和/或妆容细节信息；在所述融合后的直播视频帧中增加与所述上妆工具信息和/或妆容细节信息对应的名称标记和/或链接标记。
12.一种虚拟上妆的图像处理装置，包括：
人脸特征解析模块，用于对第一面部图像进行人脸特征解析，生成与上妆相关的特定区域的人脸特征数据；
细节增强处理模块，用于根据人脸特征数据，对所述特定区域进行细节增强处理，生成待上妆面部图像；
上妆渲染处理模块，用于获取妆容特征数据，根据所述妆容特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。
13.根据权利要求12所述的装置，其中，所述人脸特征数据包括几何结构特征数据、皮肤质地特征数据、光影特征数据中的一项或者任意多项，所述对所述第一面部图像进行人脸特征解析，生成特定区域的人脸特征数据包括：
识别人脸几何结构，提取特定区域的几何结构特征数据；
和/或，
识别人脸皮肤质地，提取特定区域的皮肤质地特征数据；
和/或，
识别人脸的光照角度和/或皮肤反射状况，提取特定区域的光影特征数据。
14.根据权利要求12所述的装置，其中，根据人脸特征数据，对所述特定区域进行细节增强处理，生成待上妆面部图像包括：
使用上采样模型，根据所述特定区域的人脸特征数据，对所述特定区域进行上采样处理，生成所述特定区域的分辨率高于其他区域的待上妆面部图像。
15.根据权利要求12所述的装置，其中，根据所述妆容特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的面部图像包括：
针对特定区域，根据所述妆容特征数据和所述人脸特征数据，对所述待上妆面部图像进行渲染处理，生成上妆后的第二面部图像。
16.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1至8任一所述的虚拟上妆的图像处理方法。
17.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行权利要求9至11任一所述的直播视频的处理方法。
CN202010230462.8A 2020-03-27 2020-03-27 直播视频、虚拟上妆的图像处理方法、装置及电子设备 Active CN113453027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010230462.8A CN113453027B (zh) 2020-03-27 2020-03-27 直播视频、虚拟上妆的图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010230462.8A CN113453027B (zh) 2020-03-27 2020-03-27 直播视频、虚拟上妆的图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113453027A true CN113453027A (zh) 2021-09-28
CN113453027B CN113453027B (zh) 2023-06-27

Family

ID=77808077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010230462.8A Active CN113453027B (zh) 2020-03-27 2020-03-27 直播视频、虚拟上妆的图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113453027B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239575A (zh) * 2022-06-06 2022-10-25 荣耀终端有限公司 美颜方法及装置
CN115841432A (zh) * 2023-02-09 2023-03-24 北京达佳互联信息技术有限公司 美颜特效数据确定和模型训练方法、装置、设备和介质
CN116433827A (zh) * 2023-04-07 2023-07-14 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260198A (ja) * 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
CN107220960A (zh) * 2017-05-27 2017-09-29 无限极（中国）有限公司 一种试妆方法、系统及设备
CN107273837A (zh) * 2017-06-07 2017-10-20 广州视源电子科技股份有限公司 虚拟化妆的方法和系统
CN108765268A (zh) * 2018-05-28 2018-11-06 京东方科技集团股份有限公司 一种辅助化妆方法、装置及智能镜

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260198A (ja) * 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
CN107220960A (zh) * 2017-05-27 2017-09-29 无限极（中国）有限公司 一种试妆方法、系统及设备
CN107273837A (zh) * 2017-06-07 2017-10-20 广州视源电子科技股份有限公司 虚拟化妆的方法和系统
CN108765268A (zh) * 2018-05-28 2018-11-06 京东方科技集团股份有限公司 一种辅助化妆方法、装置及智能镜

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239575A (zh) * 2022-06-06 2022-10-25 荣耀终端有限公司 美颜方法及装置
CN115239575B (zh) * 2022-06-06 2023-10-27 荣耀终端有限公司 美颜方法及装置
CN115841432A (zh) * 2023-02-09 2023-03-24 北京达佳互联信息技术有限公司 美颜特效数据确定和模型训练方法、装置、设备和介质
CN115841432B (zh) * 2023-02-09 2023-08-08 北京达佳互联信息技术有限公司 美颜特效数据确定和模型训练方法、装置、设备和介质
CN116433827A (zh) * 2023-04-07 2023-07-14 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置

Also Published As

Publication number Publication date
CN113453027B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US11189104B2 (en) Generating 3D data in a messaging system
US11961189B2 (en) Providing 3D data for messages in a messaging system
CN110503703B (zh) 用于生成图像的方法和装置
CN113287118A (zh) 用于面部再现的系统和方法
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
KR102624635B1 (ko) 메시징 시스템에서의 3d 데이터 생성
US11825065B2 (en) Effects for 3D data in a messaging system
CN113453027B (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
WO2013120851A1 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
CN113099298A (zh) 虚拟形象的改变方法、装置和终端设备
CN114007099A (zh) 一种视频处理方法、装置和用于视频处理的装置
KR20170002097A (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
WO2023197780A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN114821675A (zh) 对象的处理方法、系统和处理器
CN111967397A (zh) 人脸影像处理方法和装置、存储介质和电子设备
US11830129B2 (en) Object relighting using neural networks
JP2011147000A (ja) 携帯端末機
CN115103206B (zh) 视频数据的处理方法、装置、设备、系统及存储介质
CN114779948B (zh) 基于面部识别的动画人物即时交互控制方法、装置及设备
CN111462279B (zh) 图像显示方法、装置、设备及可读存储介质
CN106909369B (zh) 用户界面显示方法和系统
KR102658960B1 (ko) 얼굴 재연을 위한 시스템 및 방법
KR20240050463A (ko) 얼굴 재연을 위한 시스템 및 방법
CN117351123A (zh) 交互式数字人像生成方法、装置、设备及存储介质
CN115907912A (zh) 提供商品虚拟试用信息的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40059951

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant