CN110580677A - 一种数据处理方法、装置和用于数据处理的装置 - Google Patents
一种数据处理方法、装置和用于数据处理的装置 Download PDFInfo
- Publication number
- CN110580677A CN110580677A CN201810590232.5A CN201810590232A CN110580677A CN 110580677 A CN110580677 A CN 110580677A CN 201810590232 A CN201810590232 A CN 201810590232A CN 110580677 A CN110580677 A CN 110580677A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- style
- conversion model
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 233
- 238000000034 method Methods 0.000 claims abstract description 119
- 230000001815 facial effect Effects 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 210000004209 hair Anatomy 0.000 claims description 10
- 239000000463 material Substances 0.000 description 40
- 230000006870 function Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 11
- 230000036544 posture Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 210000000887 face Anatomy 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 210000000744 eyelid Anatomy 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 239000011800 void material Substances 0.000 description 6
- 238000009877 rendering Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 238000013531 bayesian neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000009013 pigment accumulation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种数据处理方法、装置和用于数据处理的装置。其中的方法具体包括：基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；输出所述第二图像。本发明实施例可以实现面部风格的灵活转换，且可以较好地避免不同面部区域之间的面部风格的混淆问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种数据处理方法、装置和用于数据处理的装置。
背景技术
随着网络和计算机技术的发展，脸交换(换脸)逐渐成为用户社交娱乐的新热点，多种具备换脸功能的应用被开发出来，为用户的娱乐生活带来了乐趣。
现有的换脸方法通常为，对目标图像中的脸部区域进行抠图，并将抠图得到的图层放置到素材图像中的脸部区域。
现有的换脸方法，在目标图像和素材图像中脸的面部风格相差不大的情况下可以得到较好的换脸效果；上述面部风格可以包括：色调风格、笔触风格、纹理风格等。
然而，不同拍摄图像通常对应不同的拍摄参数(如光照、视角等)，或者，不同画作图像通常对应的不同颜料或者笔触，这导致不同图像中脸的面部风格不同。以人脸的交换为例，若现有的换脸方法直接将不同图像中的人脸部分进行替换，可能会出现由于人脸与背景颜色不一致而造成色调不搭、人物与背景不协调等问题；也即，目标图像中人脸的面部风格与素材图像中人脸的面部风格不同，导致替换后素材图像中人脸与背景不一致，进而带来一系列的失调问题。
发明内容
本发明实施例提供一种数据处理方法、装置和用于数据处理的装置，可以实现面部风格的灵活转换，且可以较好地避免不同面部区域之间的面部风格的混淆问题。
为了解决上述问题，本发明实施例公开了一种数据处理方法，包括：
基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；
输出所述第二图像。
另一方面，本发明实施例公开了一种数据处理装置，包括：
面部风格转换模块，用于基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；及
输出模块，用于输出所述第二图像。
再一方面，本发明实施例公开了一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；
输出所述第二图像。
又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的数据处理方法。
本发明实施例包括以下优点：
本发明实施例的面部风格模板可以起到参照和目标的作用，可以使第二图像具有与该面部风格模板相同或者相接近的面部风格。由于该转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，因此可以具备任意面部风格的转换能力。
以该转换模型具有色调风格、笔触风格和纹理风格的转换能力为例，本发明实施例可以对第一图像的面部进行颜色调整，而且可以使第一图像进行笔触风格、纹理风格等方面的迁移，因此可以实现面部风格的灵活转换，因此可以满足用户需求。
并且，该转换模型可以为对图像样本和所述面部风格模板对应的面部区域进行学习得到，由于不同面部区域对应的学习过程相互独立，故可以在一定程度上避免转换过程中不同面部区域之间的面部风格的混淆。例如，在不划分面部区域的情况下，容易将嘴唇的面部风格转换到眼睑和鼻子处，进而出现眼睑发红、鼻头发红的问题；而本发明实施例可以较好地避免不同面部区域之间的面部风格的混淆问题。
本发明实施例可以应用于换脸场景，由于本发明实施例得到的第二图像经过了面部风格转换，因此可以提高替换后素材图像中人脸与背景之间的一致性，进而可以提高替换后素材图像的质量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种数据处理方法的应用环境的示意；
图2是本发明的一种数据处理方法实施例一的步骤流程图；
图3是本发明的一种转换模型的学习方法实施例的步骤流程图；
图4是本发明的一种转换模型的学习方法实施例的步骤流程图；
图5是本发明实施例的一种转换模型的学习系统的结构示意图；
图6是本发明的一种数据处理方法实施例一的步骤流程图；
图7是本发明的一种数据处理装置实施例的结构框图；
图8是本发明的一种用于数据处理的装置800的框图；及
图9是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种数据处理方案，该方案可以接收输入的第一图像；利用面部风格模板对应的转换模型，对所述第一图像进行面部风格转换，以得到面部风格转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；输出所述第二图像。
本发明实施例通过面部风格模板对应的转换模型，对第一图像进行面部风格转换，以得到面部风格转换后的第二图像；其中，该面部风格模板可以起到参照和目标的作用，可以使该转换模型的输出(例如第二图像)具有与该面部风格模板相同或者相接近的面部风格。由于该转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，因此可以具备任意面部风格的转换能力。
本发明实施例的面部风格可以包括：色调风格、笔触风格、纹理风格等。其中，色调可以指图像的相对明暗程度，在彩色图像上表现为颜色。笔触风格可以与图像对应的绘画材料或者笔触有关，例如，油画的笔触风格呈现大块颜料堆积的感觉，水墨画的笔触风格呈现颜料散开的感觉。纹理风格可以指图像的纹理所呈现的风格，纹理风格可以包括：油画风格、水墨画风格等。
以该转换模型具有色调风格、笔触风格和纹理风格的转换能力为例，本发明实施例可以对第一图像的面部进行颜色调整，而且可以使第一图像进行笔触风格、纹理风格等方面的迁移，因此可以实现面部风格的灵活转换，因此可以满足用户需求。
并且，该转换模型可以为对图像样本和所述面部风格模板对应的面部区域进行学习得到，由于不同面部区域对应的学习过程相互独立，故可以在一定程度上避免转换过程中不同面部区域之间的面部风格的混淆。例如，在不划分面部区域的情况下，容易将嘴唇的面部风格转换到眼睑和鼻子处，进而出现眼睑发红、鼻头发红的问题；而本发明实施例可以较好地避免不同面部区域之间的面部风格的混淆问题。
本发明实施例提供的数据处理方法可以应用于例如网站和/或APP(应用程序，Application)的应用环境中，以针对第一图像进行任意面部风格的转换，且可以避免转换过程中不同面部区域之间的面部风格的混淆。
本发明实施例提供的数据处理方法可应用于图1所示的应用环境中，如图1所示，客户端100与服务器200位于有线或无线网络中，通过该有线或无线网络，客户端100与服务器200进行数据交互。
根据一种实施例，本发明实施例可以应用于面部风格转换场景。具体地，客户端100可以接收用户上传的第一图像，并向服务器200发送该第一图像。服务器200可以利用面部风格模板对应的转换模型，对该第一图像进行面部风格转换，以得到面部风格转换后的第二，并向客户端100发送该第二图像；而客户端100可以向用户输出该第二图像。
根据另一种实施例，本发明实施例可以应用于换脸场景，换脸场景可用于进行脸的交换或者替换。上述脸可以适用于具备面部特征的对象，例如人、卡通人、动物、卡通动物等，相应地，本发明实施例的脸可以包括：人脸、卡通人脸、动物脸、或者卡通动物脸等。本发明实施例主要以人脸的交换或替换为例对本发明实施例的数据处理方案进行说明，其他脸的交换或替换相互参照即可。
在人脸交换场景下，可以采用目标图像中的第一人脸替换素材图像中的第二人脸。具体地，可以对目标图像中的第一人脸图像进行姿态转换，以得到第一图像，也即，该第一图像可以为姿态转换后的人脸图像。本发明实施例可以对姿态转换后的人脸图像进行面部风格转换，并采用面部风格转换后的第二图像中的人脸替换素材图像中的第二人脸。
可以理解，上述面部风格转换场景和换脸场景只是作为本发明实施例的应用场景的示例，实际上，本发明实施例对于具体的应用场景不加以限制。
可选地，客户端100可以运行在终端上，上述终端具体包括但不限于：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture ExpertsGroup Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving PictureExperts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。
方法实施例一
参照图2，示出了本发明的一种数据处理方法实施例一的步骤流程图，具体可以包括如下步骤：
步骤201、基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到面部风格转换后的第二图像；其中，所述转换模型可以为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；
步骤202、输出所述第二图像。
图2所示实施例的至少一个步骤可由服务器和/或客户端执行，当然本发明实施例对于各个步骤的具体执行主体不加以限制。
步骤201中，可以接收用户输入的第一图像，或者，可以接收其他设备或者其他应用或者其他模块输入的第一图像。可选地，若上述方法应用于换脸场景，则所述第一图像可以为姿态转换后的人脸图像。
步骤201中，转换模型可以为机器学习模型。从广义上讲，机器学习是一种能够赋予机器学习的能力，让它以此完成直接编程无法完成的功能的方法。但从实践的意义上讲，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习方法可以包括：决策树方法、线性回归方法、逻辑回归方法、神经网络方法、k近邻方法等，可以理解，本发明实施例对于具体的机器学习方法不加以限制。
该转换模型可以为对图像样本和所述面部风格模板对应的面部区域进行学习得到，由于不同面部区域对应的学习过程相互独立，故可以在一定程度上避免转换过程中不同面部区域之间的面部风格的混淆。
其中，图像样本为训练样本的一种，用于通过机器学习方法，确定转换模型的参数。图像样本具体可以为包含面部特征的图像，可选地，图像样本可以源自面部数据库，如人脸数据库等，可以理解，本发明实施例对于具体的图像样本及图像样本对应的来源不加以限制。
该面部风格模板可以起到参照和目标的作用，可以使该转换模型的输出(例如第二图像)具有与该面部风格模板相同或者相接近的面部风格。该面部风格模板可以图像的形式存在。图像样本可以起到训练样本的作用。
通常，一个转换模型可以对应一个面部风格模板。该面部风格模板可由本领域技术人员或者用户根据实际应用需求确定，例如，在换脸场景下，该面部风格模板可以为被替换的人脸所在的图像也即素材图像。
在本发明的一种可选实施例中，上述方法还可以包括：利用掩膜方法(mask)，分别对图像样本和所述面部风格模板进行区域划分，以得到对应的面部区域。
用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程，可以称为掩膜方法。用于覆盖的特定图像、图形或物体称为掩膜或模板。图像处理领域中，掩膜可以为二维矩阵数组，或者，可以为多值图像。
具体到本发明实施例，可以采用预先制作的面部区域掩膜与待处理图像(每个图像样本和所述面部风格模板)相乘，得到面部区域对应的图像，面部区域内图像值保持不变，而面部区域外图像值都为0。可以理解，本领域技术人员可以根据实际应用需求，采用所需的掩膜方法，本发明实施例对于具体的掩膜方法不加以限制。
在本发明的一种可选实施例中，所述面部区域可以包括如下区域中的至少一种：
眼睛区域、嘴部区域、发饰区域、耳朵区域、皮肤区域和背景区域。其中，发饰区域可以对应有头发和/或发饰；耳朵区域可以在耳朵未被遮挡的情况下存在。背景区域可以对应背景，背景可以指人脸所在的背景。通常，不同的面部区域对应不同的面部风格，故本发明实施例在学习过程中，以图像样本和所述面部风格模板对应的面部区域为单位进行学习，以使不同面部区域之间的面部风格相互独立，进而可以在一定程度上避免转换过程中不同面部区域之间的面部风格的混淆。
在此对转换模型的学习过程进行介绍。
参照图3，示出了本发明的一种转换模型的学习方法实施例的步骤流程图，具体可以包括如下步骤：
步骤301、依据转换模型的参数，确定所述图像样本对应的估计图像；
步骤302、依据所述估计图像、面部风格模板和所述图像样本，确定所述转换模型的损失；所述损失具体可以包括：面部风格损失和/或内容损失；
步骤303、依据所述转换模型的损失，对所述转换模型的参数进行更新。
可选地，步骤302确定所述转换模型的损失的过程，具体可以包括：
依据所述估计图像中面部区域对应的面部风格特征、以及面部风格模板中面部区域对应的面部风格特征，确定所述转换模型的面部风格损失；和/或
依据所述估计图像中面部区域对应的内容特征、以及所述估计图像所对应图像样本中面部区域对应的内容特征，确定所述转换模型的内容损失
在本发明的一种可选实施例中，可以通过损失函数(loss function)确定转换模型的损失。损失函数是用来估量转换模型的估计值(转换模型的输出)与目标值Y的不一致程度。可选地，损失函数可以是一个非负实值函数，通常使用来表示，损失函数越小，转换模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。损失函数可以包括：二次代价函数、交叉熵代价函数、对数似然函数等。可以理解，本发明实施例对于具体的损失函数不加以限制。
在面部风格方面，目标值Y可以为面部风格模板ys。在实际应用中，可以分别提取估计值和面部风格模板ys的面部风格特征，记为第一面部风格特征和第二面部风格特征，并依据第一面部风格特征和第二面部风格特征确定所述转换模型的面部风格损失。面部风格特征可以包括但不限于：色调风格特征、纹理风格特征、笔触风格特征等。
转换模型的面部风格损失可以作为转换模型的参数的更新的依据，进而可以优化转换模型的参数。
需要说明的是，步骤301至步骤303可以为循环执行的流程。可选地，在执行步骤303之前，可以判断转换模型的损失是否符合预置条件，若是，则不执行步骤303，此种情况下可以结束转换模型的学习，并确定转换模型的参数；否则，执行步骤303，并且，在执行步骤303后，可以跳转至步骤301，由步骤301依据转换模型的更新后参数，确定图像样本的估计图像。
根据一种实施例，本发明实施例可以通过第一预置条件判断是否结束循环。第一预置条件可由本领域技术人员根据实际应用需求确定，例如，该第一预置条件可以为：面部风格损失为第一损失函数的最小值等，可以理解，本发明实施例对于具体的第一预置条件不加以限制。
在损失包括面部风格损失的情况下，由于依据所述转换模型的面部风格损失，对所述转换模型的参数进行更新，故可以降低估计值和面部风格模板ys在面部风格方面的不一致程度，因此可以提高转换模型的面部风格转换精度。
在实际应用中，可以分别提取估计值和图像样本x的内容特征，记为第一内容特征和第二内容特征，并依据第一内容特征和第二内容特征确定所述转换模型的内容损失。可选地，若神经网络为CNN(卷积神经网络，Convolutional Neural Network)，则内容特征为CNN的卷积核提取的特征图(feature map)。可以理解，本发明实施例对于具体的内容特征不加以限制。在损失包括内容损失的情况下，可以降低估计值和图像样本x在内容方面的不一致程度。
根据另一种实施例，本发明实施例可以通过第二预置条件判断是否结束循环。该第二预置条件可由本领域技术人员根据实际应用需求确定，例如，该第二预置条件可以为：内容损失为第二损失函数的最小值等，可以理解，本发明实施例对于具体的第二预置条件不加以限制。
参照图4，示出了本发明的一种转换模型的学习方法实施例的步骤流程图，具体可以包括如下步骤：
步骤401、依据转换模型的参数，确定所述图像样本对应的估计图像；
步骤402、依据所述估计图像中面部区域对应的面部风格特征、以及面部风格模板中面部区域对应的面部风格特征，确定所述转换模型的面部风格损失；
步骤403、依据所述估计图像中面部区域对应的内容特征、以及所述估计图像所对应图像样本中面部区域对应的内容特征，确定所述转换模型的内容损失；
步骤404、依据所述转换模型的面部风格损失和内容损失，对所述转换模型的参数进行更新。
相对于图3所示方法实施例，图4所示方法实施例可以同时依据所述转换模型的面部风格损失和内容损失，对所述转换模型的参数进行更新；不仅可以降低估计值和面部风格模板ys在面部风格方面的不一致程度，而且可以降低估计值和图像样本x在内容方面的不一致程度；因此可以提高转换模型的面部风格转换精度。
需要说明的是，步骤401至步骤404可以为循环执行的流程。可选地，在执行步骤404之前，可以判断转换模型的损失是否符合预置条件，若是，则不执行步骤404，此种情况下可以结束转换模型的学习，并确定转换模型的参数；否则，执行步骤404，并且，在执行步骤404后，可以跳转至步骤401，由步骤401依据转换模型的更新后参数，确定图像样本的估计图像。
本发明实施例可以通过第三预置条件判断是否结束循环。该第三预置条件可由本领域技术人员根据实际应用需求确定，例如，该第二预置条件可以为：面部风格损失为第一损失函数的最小值、以及内容损失为第二损失函数的最小值等，可以理解，本发明实施例对于具体的第三预置条件不加以限制。
在本发明的一种可选实施例中，可以采用神经网络对转换模型进行学习，相应地，图3或者图4中确定所述图像样本对应的估计图像的过程，具体可以包括：依据转换模型的参数，对图像样本进行神经网络的前向传播操作，以得到所述图像样本对应的估计图像。
神经网络具体可以包括：输入层、至少一个中间层和输出层；在前向传播阶段，由输入层获取图像样本，经过中间层的逐层处理，通过输出层输出估计图像。
进一步可选地，所述对所述转换模型的参数进行更新的过程，具体可以包括：
依据所述转换模型的损失，进行所述神经网络的反向传播操作，以得到所述转换模型的更新后参数。
参照图5，示出了本发明实施例的一种转换模型的学习系统的结构示意图，其中可以包括：模型生成模块501和损失模块502；
其中，模型生成模块501用于生成转换模型，其可以确定转换模型的参数；具体地，模型生成模块501的输入可以包括图像样本x，依据转换模型的参数，确定图像样本x对应的估计图像
损失模块502用于确定转换模型的损失；具体地，损失模块502的输入可以包括：估计图像面部风格模板ys和图像样本x，其中，估计图像与图像样本x相对应。
损失模块502可以提取如下特征：
估计图像中面部区域对应的第一面部风格特征、以及面部风格模板ys中面部区域对应的第二面部风格特征；以及
估计图像中面部区域对应的第一内容特征、以及估计图像所对应图像样本x中面部区域对应的第二内容特征；
损失模块502可以依据第一面部风格特征和第二面部风格特征，确定所述转换模型的面部风格损失；以及，依据第一内容特征和第二内容特征，确定所述转换模型的内容损失。
损失模块502可以向模型生成模块501发送面部风格损失和内容损失，图5中，用L表示面部风格损失和内容损失；模型生成模块501可以依据面部风格损失和内容损失，对转换模型的参数进行更新，具体地，可以对转换模型的参数进行更新，以得到最新的参数。可以理解，转换模型的参数的初始值可由本领域技术人员根据实际应用需求设定。
在反向传播阶段，损失模块502将计算得到的面部风格损失和内容损失，通过反向传播逐层传递直到模型生成模块501的第一层，反向传播结束之后更新所有层的参数例如连接权值。
在本发明的一种可选实施例中，损失模块502可以采用神经网络，确定所述转换模型的损失L；神经网络可以包括：输入层、多个中间层和输出层，其中，中间层可用于确定转换模型的损失。
可选地，多个中间层中的每一层分别用于确定转换模型的面部风格损失，这样可以对多个中间层的面部风格损失进行融合(如求和、或者求均值等)，并将融合结果发送给模型生成模块501。
可选地，多个中间层中的任一个中间层用于确定转换模型的内容损失，这样可以将一个中间层得到的内容损失发送给模型生成模块501，以节省运算量。当然，可以将多个中间层得到的内容损失发送给模型生成模块501。
在反向传播阶段，损失模块502将计算得到的面部风格损失和内容损失，通过反向传播逐层传递直到模型生成模块501的第一层，反向传播结束之后更新所有层的参数例如连接权值。
在转换模型的训练阶段，为了使对应面部区域的面部风格进行相应的转换，本发明实施例将图像样本和面部风格模板分成相对应的面部区域，以在对应面部区域内部进行面部风格转换，可以在一定程度上避免转换过程中不同面部区域之间的面部风格的混淆，比如把嘴唇的面部风格转换到眼睑处。
图3和图4所示方法实施例、以及图5所示系统实施例，在确定转换模型的损失的过程中，可以将图像样本和面部风格模板分成相对应的面部区域，使不同面部区域对应的损失确定过程相互独立，提高损失的准确性，进而可以提高转换模型的面部风格转换精度。
在本发明的一种可选实施例中，还可以在对所述图像样本进行训练的过程中，将图像样本分成相对应的面部区域，使不同面部区域对应的训练过程相互独立，可以提高转换模型的面部风格转换精度。
步骤201中，可以将第一图像作为转换模型的输入，由该转换模型输出第二图像；可选地，通过该转换模型的一次前向操作即可得到面部风格转换后的第二图像，该第二图像的面部风格与面部风格模板的面部风格一致(如相同或者相接近)，该第二图像的内容与第一图像的内容一致(如相同或者相接近)。
步骤202中，可以输出所述第二图像。例如，在面部风格转换场景下，可以向用户输出第二图像。又如，在换脸场景下，可以向其他设备或者其他模块输出第二图像，以使该第二图像中的人脸替换素材图像中的人脸；具体地，该第二图像经过了面部风格转换，因此可以提高替换后素材图像中人脸与背景之间的一致性，进而可以提高替换后素材图像的质量。
综上，本发明实施例的数据处理方法，面部风格模板可以起到参照和目标的作用，可以使第二图像具有与该面部风格模板相同或者相接近的面部风格。由于该转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，因此可以具备任意面部风格的转换能力。
以该转换模型具有色调风格、笔触风格和纹理风格的转换能力为例，本发明实施例可以对第一图像的面部进行颜色调整，而且可以使第一图像进行笔触风格、纹理风格等方面的迁移，因此可以实现面部风格的灵活转换，因此可以满足用户需求。
并且，该转换模型可以为对图像样本和所述面部风格模板对应的面部区域进行学习得到，由于不同面部区域对应的学习过程相互独立，故可以在一定程度上避免转换过程中不同面部区域之间的面部风格的混淆。例如，在不划分面部区域的情况下，容易将嘴唇的面部风格转换到眼睑和鼻子处，进而出现眼睑发红、鼻头发红的问题；而本发明实施例可以较好地避免不同面部区域之间的面部风格的混淆问题。
本发明实施例可以应用于换脸场景，由于本发明实施例得到的第二图像经过了面部风格转换，因此可以提高替换后素材图像中人脸与背景之间的一致性，进而可以提高替换后素材图像的质量。
方法实施例二
参照图6，示出了本发明的一种数据处理方法实施例二的步骤流程图，该方法用于采用目标图像中人脸替换素材图像中人脸，该方法具体可以包括如下步骤：
步骤601、确定目标图像中人脸对应的第一三维模型；
步骤602、依据所述第一三维模型，确定所述目标图像中人脸对应的第一纹理图像、以及所述第一纹理图像中的空洞区域；
步骤603、对所述第一纹理图像中的空洞区域进行纹理填充，以得到完整纹理图像；
步骤604、将所述完整纹理图像渲染到所述素材图像的人脸区域，以得到第一图像；
步骤605、基于面部风格模板对应的转换模型，对所述第一图像进行面部风格转换，以得到面部风格转换后的第二图像；其中，所述转换模型可以为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；
步骤606、将所述第二图像融合到所述素材图像中。
在实际中，物体通常以三维几何实体的形式存在。传统的二维平面图像通过明暗对比和透视关系来造成视觉上的空间立体感，无法产生引人入胜的自然立体观感。而三维影像的空间造型与原型接近，不仅具有高度、宽度、深度三维空间几何形体特征，而且具有真实逼真的表面纹理信息，一改平面照片所无法给出的真实感，可给人以亲切、逼真的感觉。
在计算机图形学中，通常用三维模型来对物体建模，三维模型即对应空间实体中的实体，可以通过计算机或者其它视频设备进行显示。显示的三维模型可以是现实世界的实体，也可以是虚构的东西，既可以小到原子，也可以大到很大的尺寸。任何物理自然界存在的东西都可以用三维模型表示。具体到本发明实施例，可以用三维模型表示图像中的人脸。
三维模型对应的特征可以包括：几何特征、纹理、表情等。其中，几何特征通常用多边形来或者体素来表示，以用多边形来表达三维模型的几何部分为例，即用多边形表示或者近似表示物体的曲面。它的基本对象是三维空间中的顶点，将两个顶点连接起来的直线称为边，三个顶点经三条边连接起来成为三角形，三角形是欧氏空间中最简单的多边形。多个三角形可以组成更加复杂的多边形，或者生成多于三个顶点的单个物体。四边形和三角形是多边形表达的三维模型中最常用的形状，在三维模型的表达方面，三角网三维模型因其数据结构简单、容易被所有的图形硬件设备绘图等特点成为三维模型表达的一种流行选择，其中每个三角形就是一个表面，因此也将三角形称为三角面片。
三维模型需要使用纹理进行覆盖，将纹理排列放到三维模型上的过程称作纹理贴图。纹理用于表示物体的表面。纹理图像用于表示物体表面的图案，比如皮肤图片、金属图片、树叶图片、木纹图片等等，以及附着在这些图案上的用于对物体表面的光照效果产生影响的信息。纹理图像可以让模型更加细致并且看起来更加真实。纹理图像可以通过颜色、灰度等视觉特征表征。也即，本发明实施例的三维模型可以不带有纹理，需要通过纹理贴图将纹理覆盖到三维模型之上，以得到带有纹理的三维模型。
在换脸场景下，目标图像中人脸可能会出现面部遮挡情况，例如在目标图像中人脸为侧脸的情况下，侧脸上有一半脸颊可能会被鼻子遮挡；此种情况下，所述第一纹理图像中将会存在空洞区域，若直接使用现有的换脸方法，可能使替换后的人脸出现空洞。
本发明实施例依据目标图像中人脸对应的第一三维模型，确定该目标图像中人脸对应的第一纹理图像中的空洞区域，并对所述第一纹理图像中的空洞区域进行纹理填充，以得到完整纹理图像；其中，完整纹理图像中可以不存在空洞区域，因此，将所述完整纹理图像渲染到素材图像的人脸区域，可以在一定程度上克服替换后的人脸出现空洞的缺陷，也即，可以减少替换后的人脸中出现的空洞；进而可以提高替换后的人脸的图像质量。
第一三维模型可以通过三维形变模型求得。其中，三维形变模型的基本思想是：将人脸空间看作一个线性空间，用事先建立好的三维人脸数据的线性组合的投影逼近二维图像上的人脸。利用三维形变模型求解人脸三维模型可以分为两步：首先，利用人脸库、根据预先采集的三维人脸数据建立人脸空间基底；然后，对于给定的具体人脸，求出该人脸关于这组基底的系数，就可以得到该人脸的具体三维模型，也就是根据人脸空间基底的线性组合拟合出该人脸的三维模型。
在本发明的一种可选实施例中，步骤601确定所述目标图像中人脸对应的第一三维模型，具体可以包括：
确定所述目标图像中人脸对应的第一二维特征点；
将预设三维模型中的三维特征点投影到二维空间后的第二二维特征点与所述第一二维特征点进行拟合，将拟合得到的预设三维模型作为所述目标图像中人脸对应的第一三维模型。
第一二维特征点可以指目标图像中人脸中体现其姿态或者表情的关键点，例如，眉毛、眼角、鼻尖、唇线、脸部轮廓线等部位上的点，可以理解，本发明实施例对于具体的第一二维特征点不加以限制。
预设三维模型可以源自三维模型库，也即，三维模型库中可以记录有多个预设三维模型的数据。在实际应用中，可以计算第一三维模型投影到平面的第一投影矩阵，通过第一投影矩阵确定第二二维特征点。
将第二二维特征点与所述第一二维特征点进行拟合。可用的拟合方法可以包括：高斯牛顿法、最小二乘法等。可选地，可以将投影距离最小的预设三维模型作为所述目标图像中人脸对应的第一三维模型。当然，本发明实施例对于具体的拟合过程不加以限制。
在本发明的一种可选实施例中，第一投影矩阵的初始参数是根据人脸空间基底的特征点预估的，其初始参数包括：相机的位置、图像平面的旋转角度、直射光和环境光的各个分量、图像对比度等等。依据第一二维特征点，根据人脸空间基底和第一投影矩阵的初始参数的反复迭代，拟合出第一三维模型；换言之，根据已有的具有相同顶点数和拓扑结构的预设三维模型的三维特征点，通过最小化第一二维特征点和第二二维特征点之间的距离，求解得到拟合参数，由该拟合参数进一步得到最终的第一三维模型和第一投影矩阵。
步骤602中，可以通过UVS表示纹理。UVs是驻留在多边形网格顶点上的两维纹理坐标点，它们定义了一个二维纹理坐标系统，称为UV纹理空间，这个空间用U和V两个字母定义坐标轴；用于确定如何将一个纹理图像放置在三维的模型表面。
UVs可以提供一种三维模型表面与纹理图像之间的连接关系，UVs负责确定纹理图像上的一个点(像素)应该放置在模型表面的哪一个顶点上，由此可将整个纹理都铺盖到三维模型上。UVs可以使得多边形网格被渲染出纹理。
步骤602中，可以利用三维模型表面与纹理图像之间的连接关系，确定所述目标图像中人脸对应的第一纹理图像。
在本发明实施例中，步骤602确定所述第一纹理图像中的空洞区域的过程，具体可以包括：依据所述第一三维模型上多边形面片的法向量，确定所述第一纹理图像中的空洞区域。法向量是空间解析几何的一个概念，垂直于平面的直线所表示的向量为该平面的法向量。多边形面片的法向量则是垂直于多边形面片所在平面的直线所表示的向量。
本发明实施例可以依据上述法向量的方向，确定所述第一纹理图像中的空洞区域。可选地，法向量的方向为第一方向，则多边形面片为空洞区域；或者，法向量的方向不为第一方向，则多边形面片为非空洞区域。第一方向可由本领域技术人员根据实际应用需求确定，例如，第一方向可以为垂直纸面向里方向等，可以根据右手定则确定上述法向量的方向，本发明实施例对于具体的第一方向、以及依据所述第一三维模型上多边形面片的法向量、确定所述第一纹理图像中的空洞区域的具体过程不加以限制。
可以理解，不同多边形面片对应的空洞区域之间可以连通或者不连通，可以理解，本发明实施例对于第一纹理图像中的具体空洞区域不加以限制。
步骤603中，可以对所述第一纹理图像中的空洞区域进行纹理填充，以得到完整纹理图像；完整纹理图像中可以不存在空洞区域，或者，完整纹理图像中可以存在较少的空洞区域。
步骤603对所述第一纹理图像中的空洞区域进行纹理填充，可以采用如下纹理填充方式：
纹理填充方式1、依据空洞区域的周围像素分布，对所述第一纹理图像中的空洞区域进行纹理填充；或者
纹理填充方式2、依据位置与纹理之间的映射概率，对所述第一纹理图像中的空洞区域进行纹理填充。
纹理填充方式1可以依据空洞区域的周围像素分布，估计空洞区域的像素分布。可选地，可以依据空洞区域的中心或者边界，确定目标区域；并依据目标区域中非空洞区域的像素，估计空洞区域的像素。目标区域可以为圆形、多边形等规则区域，也可以为不规则区域。例如，从空洞区域的中心像素或者边界像素起，向外取预设数量的像素点，以得到目标区域。可选地，可以将依据周围像素的像素值的均值，得到空洞区域的像素值，可以理解，本发明实施例对于具体的估计过程不加以限制。
纹理填充方式2中，位置与纹理之间的映射概率，可以指在一个位置出现一个纹理的概率。在实际应用中，可以采用机器学习方法，确定位置与纹理之间的映射概率。机器学习方法可以包括：贝叶斯方法、或者神经网络方法等。机器学习方法可以设计和分析一些让计算机可以自动“学习”的算法，这些算法可以从训练数据中自动分析获得规律，并利用规律对未知数据进行预测，因此具有较好的鲁棒性，且可以得到较高的精度。
可以理解，本领域技术人员可以根据实际应用需求，采用纹理填充方式1或者纹理填充方式2，本发明实施例对于具体的纹理填充方式不加以限制。
步骤604中，可以将所述完整纹理图像渲染到所述素材图像的人脸区域中。渲染在计算机绘图中是指从三维模型生成图像的过程。本领域技术人员可以利用渲染方法，将上述完整纹理图像应用到素材图像的人脸区域中，以使渲染后素材图像的人脸呈现上述完整纹理图像。
在本发明的一种可选实施例中，步骤204将所述完整纹理图像渲染到所述素材图像的人脸区域中的过程，具体可以包括：
将所述完整纹理图像放至所述素材图像中人脸对应的第二三维模型上，以得到带有完整纹理图像的目标三维模型；
依据所述素材图像中人脸的姿态参数，确定所述目标三维模型对应的二维投影图像；
将所述二维投影图像融合到所述素材图像的人脸区域中。
三维模型需要使用纹理进行覆盖，在本发明实施例的换脸场景中，采用目标图像中人脸对应的完整纹理图像对第二三维模型进行覆盖，以实现换脸。将纹理排列放到三维模型上的过程称作纹理贴图。对第二三维模型进行覆盖的过程也即将所述完整纹理图像放至所述素材图像中人脸对应的第二三维模型上的过程。
在实际应用中，可以对素材图像进行人脸检测，以得到素材图像中人脸，确定所述素材图像中人脸对应的第三二维特征点；将预设三维模型中的三维特征点投影到二维空间后的第二二维特征点与所述第三二维特征点进行拟合，将拟合得到的预设三维模型作为所述素材图像中人脸对应的第二三维模型。第二三维模型的确定过程与第一三维模型的确定过程类似，故在此不作赘述，相互参照即可。
姿态参数可用于表征物体在三维空间内的方位指向。可选地，姿态参数可以包括：(pitch，yaw，roll)三种角度，该三种角度分别表示上下翻转，左右翻转，平面内旋转的角度。当然，本发明实施例对于具体的姿态参数不加以限制。
本发明实施例依据素材图像中人脸的姿态参数，确定所述目标三维模型对应的二维投影图像，可以使二维投影图像符合素材图像中人脸的姿态参数；因此，本发明实施例可以在目标图像中人脸为任意姿态、以及素材图像中人脸为任意姿态的情况下，实现符合用户需求的换脸，例如，在目标图像中人脸为侧脸、以及素材图像中人脸为正脸、或者、在目标图像中人脸为左侧脸、以及素材图像中人脸为右侧脸的情况下，均可以实现符合用户需求的换脸。
二维投影图像对应素材图像中的人脸区域，上述步骤606将所述第二图像融合到所述素材图像中可以指，对素材图像中人脸区域的内容与素材图像中非人脸区域(如发饰区域、脖子区域等)的内容进行融合，可以理解，本发明实施例对于具体的融合过程不加以限制。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
装置实施例
参照图7，示出了本发明的一种数据处理装置实施例的结构框图，具体可以包括：面部风格转换模块701和输出模块702。
其中，面部风格转换模块701，用于基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；及
输出模块702，用于输出所述第二图像。
可选地，所述装置还可以包括：
估计图像确定模块，用于依据转换模型的参数，确定图像样本对应的估计图像；
损失确定模块，用于依据所述估计图像、面部风格模板和所述图像样本，确定所述转换模型的损失；所述损失可以包括：面部风格损失和/或内容损失；
参数更新模块，用于依据所述转换模型的损失，对所述转换模型的参数进行更新。
可选地，所述损失确定模块可以包括：
第一损失确定子模块，用于依据所述估计图像中面部区域对应的面部风格特征、以及面部风格模板中面部区域对应的面部风格特征，确定所述转换模型的面部风格损失；和/或
第二损失确定子模块，用于依据所述估计图像中面部区域对应的内容特征、以及所述估计图像所对应图像样本中面部区域对应的内容特征，确定所述转换模型的内容损失。
可选地，所述估计图像确定模块可以包括：
前向传播子模块，用于依据转换模型的参数，对图像样本进行神经网络的前向传播操作，以得到所述图像样本对应的估计图像；
所述参数更新模块可以包括：
反向传播子模块，用于依据所述转换模型的损失，进行所述神经网络的反向传播操作，以得到所述转换模型的更新后参数。
可选地，所述装置还可以包括：
区域划分模块，用于利用掩膜装置，分别对图像样本和所述面部风格模板进行区域划分，以得到对应的面部区域。
可选地，所述面部区域可以包括如下区域中的至少一种：
眼睛区域、嘴部区域、发饰区域、耳朵区域、皮肤区域和背景区域。
可选地，所述装置应用于换脸场景，所述第一图像为姿态转换后的人脸图像。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供了一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；输出所述第二图像。
图8是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音数据处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频数据处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图9是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图2或图3或图4所示的数据处理方法。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种数据处理方法，所述方法包括：基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；输出所述第二图像。
本发明实施例A1、公开了一种数据处理方法，包括：
基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；
输出所述第二图像。
A2、根据A1所述的方法，所述方法还包括：
依据转换模型的参数，确定图像样本对应的估计图像；
依据所述估计图像、面部风格模板和所述图像样本，确定所述转换模型的损失；所述损失包括：面部风格损失和/或内容损失；
依据所述转换模型的损失，对所述转换模型的参数进行更新。
A3、根据A1所述的方法，所述确定所述转换模型的损失，包括：
依据所述估计图像中面部区域对应的面部风格特征、以及面部风格模板中面部区域对应的面部风格特征，确定所述转换模型的面部风格损失；和/或
依据所述估计图像中面部区域对应的内容特征、以及所述估计图像所对应图像样本中面部区域对应的内容特征，确定所述转换模型的内容损失。
A4、根据A2或A3所述的方法，所述确定所述图像样本对应的估计图像，包括：
依据转换模型的参数，对图像样本进行神经网络的前向传播操作，以得到所述图像样本对应的估计图像；
所述对所述转换模型的参数进行更新，包括：
依据所述转换模型的损失，进行所述神经网络的反向传播操作，以得到所述转换模型的更新后参数。
A5、根据A1至A3中任一所述的方法，所述方法还包括：
利用掩膜方法，分别对图像样本和所述面部风格模板进行区域划分，以得到对应的面部区域。
A6、根据A1至A3中任一所述的方法，所述面部区域包括如下区域中的至少一种：
眼睛区域、嘴部区域、发饰区域、耳朵区域、皮肤区域和背景区域。
A7、根据A1至A3中任一所述的方法，所述方法应用于换脸场景，所述第一图像为姿态转换后的人脸图像。
本发明实施例公开了B8、一种数据处理装置，包括：
面部风格转换模块，用于基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；及
输出模块，用于输出所述第二图像。
B9、根据B8所述的装置，所述装置还包括：
估计图像确定模块，用于依据转换模型的参数，确定图像样本对应的估计图像；
损失确定模块，用于依据所述估计图像、面部风格模板和所述图像样本，确定所述转换模型的损失；所述损失包括：面部风格损失和/或内容损失；
参数更新模块，用于依据所述转换模型的损失，对所述转换模型的参数进行更新。
B10、根据B8所述的装置，所述损失确定模块包括：
第一损失确定子模块，用于依据所述估计图像中面部区域对应的面部风格特征、以及面部风格模板中面部区域对应的面部风格特征，确定所述转换模型的面部风格损失；和/或
第二损失确定子模块，用于依据所述估计图像中面部区域对应的内容特征、以及所述估计图像所对应图像样本中面部区域对应的内容特征，确定所述转换模型的内容损失。
B11、根据B9或B10所述的装置，所述估计图像确定模块包括：
前向传播子模块，用于依据转换模型的参数，对图像样本进行神经网络的前向传播操作，以得到所述图像样本对应的估计图像；
所述参数更新模块包括：
反向传播子模块，用于依据所述转换模型的损失，进行所述神经网络的反向传播操作，以得到所述转换模型的更新后参数。
B12、根据B8至B10中任一所述的装置，所述装置还包括：
区域划分模块，用于利用掩膜装置，分别对图像样本和所述面部风格模板进行区域划分，以得到对应的面部区域。
B13、根据B8至B10中任一所述的装置，所述面部区域包括如下区域中的至少一种：
眼睛区域、嘴部区域、发饰区域、耳朵区域、皮肤区域和背景区域。
B14、根据B8至B10中任一所述的装置，所述装置应用于换脸场景，所述第一图像为姿态转换后的人脸图像。
本发明实施例公开了C15、一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；
输出所述第二图像。
C16、根据C15所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
依据转换模型的参数，确定图像样本对应的估计图像；
依据所述估计图像、面部风格模板和所述图像样本，确定所述转换模型的损失；所述损失包括：面部风格损失和/或内容损失；
依据所述转换模型的损失，对所述转换模型的参数进行更新。
C17、根据C15所述的装置，所述确定所述转换模型的损失，包括：
依据所述估计图像中面部区域对应的面部风格特征、以及面部风格模板中面部区域对应的面部风格特征，确定所述转换模型的面部风格损失；和/或
依据所述估计图像中面部区域对应的内容特征、以及所述估计图像所对应图像样本中面部区域对应的内容特征，确定所述转换模型的内容损失。
C18、根据C16或C17所述的装置，所述确定所述图像样本对应的估计图像，包括：
依据转换模型的参数，对图像样本进行神经网络的前向传播操作，以得到所述图像样本对应的估计图像；
所述对所述转换模型的参数进行更新，包括：
依据所述转换模型的损失，进行所述神经网络的反向传播操作，以得到所述转换模型的更新后参数。
C19、根据C15至C17中任一所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
利用掩膜装置，分别对图像样本和所述面部风格模板进行区域划分，以得到对应的面部区域。
C20、根据C15至C17中任一所述的装置，所述面部区域包括如下区域中的至少一种：
眼睛区域、嘴部区域、发饰区域、耳朵区域、皮肤区域和背景区域。
C21、根据C15至C17中任一所述的装置，所述装置应用于换脸场景，所述第一图像为姿态转换后的人脸图像。
本发明实施例公开了D22、一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如A1至A7中一个或多个所述的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上对本发明所提供的一种数据处理方法、一种数据处理装置和一种用于数据处理的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；
输出所述第二图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
依据转换模型的参数，确定图像样本对应的估计图像；
依据所述估计图像、面部风格模板和所述图像样本，确定所述转换模型的损失；所述损失包括：面部风格损失和/或内容损失；
依据所述转换模型的损失，对所述转换模型的参数进行更新。
3.根据权利要求1所述的方法，其特征在于，所述确定所述转换模型的损失，包括：
依据所述估计图像中面部区域对应的面部风格特征、以及面部风格模板中面部区域对应的面部风格特征，确定所述转换模型的面部风格损失；和/或
依据所述估计图像中面部区域对应的内容特征、以及所述估计图像所对应图像样本中面部区域对应的内容特征，确定所述转换模型的内容损失。
4.根据权利要求2或3所述的方法，其特征在于，所述确定所述图像样本对应的估计图像，包括：
依据转换模型的参数，对图像样本进行神经网络的前向传播操作，以得到所述图像样本对应的估计图像；
所述对所述转换模型的参数进行更新，包括：
依据所述转换模型的损失，进行所述神经网络的反向传播操作，以得到所述转换模型的更新后参数。
5.根据权利要求1至3中任一所述的方法，其特征在于，所述方法还包括：
利用掩膜方法，分别对图像样本和所述面部风格模板进行区域划分，以得到对应的面部区域。
6.根据权利要求1至3中任一所述的方法，其特征在于，所述面部区域包括如下区域中的至少一种：
眼睛区域、嘴部区域、发饰区域、耳朵区域、皮肤区域和背景区域。
7.根据权利要求1至3中任一所述的方法，其特征在于，所述方法应用于换脸场景，所述第一图像为姿态转换后的人脸图像。
8.一种数据处理装置，其特征在于，包括：
面部风格转换模块，用于基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；及
输出模块，用于输出所述第二图像。
9.一种用于数据处理的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
基于面部风格模板对应的转换模型，对接收到的第一图像进行面部风格转换，以得到转换后的第二图像；其中，所述转换模型为对图像样本和所述面部风格模板对应的面部区域进行学习得到，不同面部区域对应的学习过程相互独立；
输出所述第二图像。
10.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至7中一个或多个所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810590232.5A CN110580677B (zh) | 2018-06-08 | 2018-06-08 | 一种数据处理方法、装置和用于数据处理的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810590232.5A CN110580677B (zh) | 2018-06-08 | 2018-06-08 | 一种数据处理方法、装置和用于数据处理的装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110580677A true CN110580677A (zh) | 2019-12-17 |
| CN110580677B CN110580677B (zh) | 2024-06-21 |
Family
ID=68809100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810590232.5A Active CN110580677B (zh) | 2018-06-08 | 2018-06-08 | 一种数据处理方法、装置和用于数据处理的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110580677B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144374A (zh) * | 2019-12-31 | 2020-05-12 | 泰康保险集团股份有限公司 | 人脸表情识别方法及装置、存储介质和电子设备 |
| CN111340865A (zh) * | 2020-02-24 | 2020-06-26 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN112766215A (zh) * | 2021-01-29 | 2021-05-07 | 北京字跳网络技术有限公司 | 人脸融合方法、装置、电子设备及存储介质 |
| WO2022133883A1 (en) * | 2020-12-24 | 2022-06-30 | Nvidia Corporation | Generation of moving three dimensional models using motion transfer |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090087035A1 (en) * | 2007-10-02 | 2009-04-02 | Microsoft Corporation | Cartoon Face Generation |
| CN102682420A (zh) * | 2012-03-31 | 2012-09-19 | 北京百舜华年文化传播有限公司 | 一种真实人物图像转换为卡通风格图像的方法及装置 |
| CN103456010A (zh) * | 2013-09-02 | 2013-12-18 | 电子科技大学 | 一种基于特征点定位的人脸卡通画生成方法 |
| CN105069746A (zh) * | 2015-08-23 | 2015-11-18 | 杭州欣禾圣世科技有限公司 | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 |
| CN106778928A (zh) * | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| CN107171932A (zh) * | 2017-04-27 | 2017-09-15 | 腾讯科技（深圳）有限公司 | 一种图片风格转换方法、装置及系统 |
| CN107277615A (zh) * | 2017-06-30 | 2017-10-20 | 北京奇虎科技有限公司 | 直播风格化处理方法、装置、计算设备及存储介质 |
| CN107277391A (zh) * | 2017-06-30 | 2017-10-20 | 北京奇虎科技有限公司 | 图像转换网络处理方法、服务器、计算设备及存储介质 |
| CN107392842A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 图像风格化处理方法、装置、计算设备及计算机存储介质 |
| CN107403185A (zh) * | 2016-05-20 | 2017-11-28 | 北京大学 | 人像颜色转换方法和人像颜色转换系统 |
| US20170351905A1 (en) * | 2016-06-06 | 2017-12-07 | Samsung Electronics Co., Ltd. | Learning model for salient facial region detection |
| CN107481185A (zh) * | 2017-08-24 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于视频图像优化的风格转换方法 |
-
2018
- 2018-06-08 CN CN201810590232.5A patent/CN110580677B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090087035A1 (en) * | 2007-10-02 | 2009-04-02 | Microsoft Corporation | Cartoon Face Generation |
| CN102682420A (zh) * | 2012-03-31 | 2012-09-19 | 北京百舜华年文化传播有限公司 | 一种真实人物图像转换为卡通风格图像的方法及装置 |
| CN103456010A (zh) * | 2013-09-02 | 2013-12-18 | 电子科技大学 | 一种基于特征点定位的人脸卡通画生成方法 |
| CN105069746A (zh) * | 2015-08-23 | 2015-11-18 | 杭州欣禾圣世科技有限公司 | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 |
| CN107403185A (zh) * | 2016-05-20 | 2017-11-28 | 北京大学 | 人像颜色转换方法和人像颜色转换系统 |
| US20170351905A1 (en) * | 2016-06-06 | 2017-12-07 | Samsung Electronics Co., Ltd. | Learning model for salient facial region detection |
| CN106778928A (zh) * | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| CN107171932A (zh) * | 2017-04-27 | 2017-09-15 | 腾讯科技（深圳）有限公司 | 一种图片风格转换方法、装置及系统 |
| CN107277615A (zh) * | 2017-06-30 | 2017-10-20 | 北京奇虎科技有限公司 | 直播风格化处理方法、装置、计算设备及存储介质 |
| CN107277391A (zh) * | 2017-06-30 | 2017-10-20 | 北京奇虎科技有限公司 | 图像转换网络处理方法、服务器、计算设备及存储介质 |
| CN107392842A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 图像风格化处理方法、装置、计算设备及计算机存储介质 |
| CN107481185A (zh) * | 2017-08-24 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于视频图像优化的风格转换方法 |
Non-Patent Citations (5)
| Title |
|---|
| FATEMEH SHIRI等: "Face Destylization", ARXIV, pages 3 * |
| SI LIU等: "Makeup Like a Superstar: Deep Localized Makeup Transfer Network", ARXIV, 25 April 2016 (2016-04-25), pages 1 - 7 * |
| YUE YANG等: "Semantic portrait color transfer with internet images", MULTIMEDIA TOOLS AND APPLICATIONS, vol. 76, pages 523, XP036161705, DOI: 10.1007/s11042-015-3063-x * |
| YUVAL NIRKIN等: "On Face Segmentation, Face Swapping, and Face Perception", ARXIV, 22 April 2017 (2017-04-22), pages 1 - 14 * |
| 李真熙等: "基于最优传输模型的人脸颜色转换", 中国科技技术大学学报, vol. 48, no. 2, pages 2 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144374A (zh) * | 2019-12-31 | 2020-05-12 | 泰康保险集团股份有限公司 | 人脸表情识别方法及装置、存储介质和电子设备 |
| CN111144374B (zh) * | 2019-12-31 | 2023-10-13 | 泰康保险集团股份有限公司 | 人脸表情识别方法及装置、存储介质和电子设备 |
| CN111340865A (zh) * | 2020-02-24 | 2020-06-26 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN111340865B (zh) * | 2020-02-24 | 2023-04-07 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| WO2022133883A1 (en) * | 2020-12-24 | 2022-06-30 | Nvidia Corporation | Generation of moving three dimensional models using motion transfer |
| GB2608224A (en) * | 2020-12-24 | 2022-12-28 | Nvidia Corp | Generation of moving three dimensional models using motion transfer |
| CN112766215A (zh) * | 2021-01-29 | 2021-05-07 | 北京字跳网络技术有限公司 | 人脸融合方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110580677B (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10572720B2 (en) | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data | |
| US11568589B2 (en) | Photorealistic real-time portrait animation | |
| WO2020192568A1 (zh) | 人脸图像生成方法、装置、设备及存储介质 | |
| CN110163054B (zh) | 一种人脸三维图像生成方法和装置 | |
| CN110580733B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| US20220157014A1 (en) | Method for rendering relighted 3d portrait of person and computing device for the same | |
| US9314692B2 (en) | Method of creating avatar from user submitted image | |
| CN110580677B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| US11836866B2 (en) | Deforming real-world object using an external mesh | |
| US12067804B2 (en) | True size eyewear experience in real time | |
| US11562548B2 (en) | True size eyewear in real time | |
| CN110728621B (zh) | 一种面部图像的换脸方法、装置、电子设备及存储介质 | |
| CN115984447A (zh) | 图像渲染方法、装置、设备和介质 | |
| US12073501B1 (en) | Generating facial expressions using a neural network having layers of constrained outputs | |
| US20230101230A1 (en) | Eyeball positioning for 3d head modeling | |
| CN115937367A (zh) | 虚拟发型的骨骼绑定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220728 Address after: 100084. Room 9, floor 01, cyber building, building 9, building 1, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: 100084. Room 9, floor 01, cyber building, building 9, building 1, Zhongguancun East Road, Haidian District, Beijing Applicant before: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Applicant before: SOGOU (HANGZHOU) INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |