CN111415397A - 一种人脸重构、直播方法、装置、设备及存储介质 - Google Patents
一种人脸重构、直播方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111415397A CN111415397A CN202010202350.1A CN202010202350A CN111415397A CN 111415397 A CN111415397 A CN 111415397A CN 202010202350 A CN202010202350 A CN 202010202350A CN 111415397 A CN111415397 A CN 111415397A
- Authority
- CN
- China
- Prior art keywords
- face
- data
- features
- feature
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000001815 facial effect Effects 0.000 claims abstract description 189
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 69
- 239000013598 vector Substances 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002441 reversible effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 7
- 210000001508 eye Anatomy 0.000 description 18
- 238000012549 training Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000010606 normalization Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000003796 beauty Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 241001396014 Priacanthus arenatus Species 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000542420 Sphyrna tudes Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种人脸重构、直播方法、装置、设备及存储介质，该人脸重构方法包括：从图像数据提取原始人脸数据的特征，作为原始人脸特征；确定参考五官特征，参考五官特征用于表示五官数据在指定的维度下的特征；在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；使用目标人脸特征重构目标人脸数据，以使目标人脸数据具有在该维度下调整之后的五官数据。通过在人脸特征中反映对五官的调整，从而在使用人脸特征进行人脸重构的过程中，实现对五官的调整，可以避免因局部对五官进行变形造成失真的问题。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种人脸重构、直播方法、装置、设备及存储介质。
背景技术
在生活的多个场景中，用户会经常拍照、录像，针对图像数据中人物形象的五官进行调整，例如，调整鼻子的高低、调整眼睛的大小、调整嘴巴的大小，等等。
以直播的场景为例，主播用户在主持节目时，通常对自己的人脸形象进行调整，在认为满意的情况下再向观众用户开放节目。
目前，人物形象的五官进行调整的主要方式是在图像数据对人物形象的五官数据进行拉伸、缩放等变形，再通过模糊处理将变形之后的五官数据与附近的数据进行融合。
但是，局部对五官数据进行变形，改变了人物形象的比例结构，即便进行模糊处理，五官数据与周围的数据依然存在比例结构失调的情况，失真较为明显。
并且，用户可能同时对多种五官进行调整，一方面，每种调整对人物形象的比例结构都产生影响，调整次序的不同，产生的影响也不相同，造成失真的现象更为明显；另一方面，由于每种调整方式均独立开发，开发的成本较高。
发明内容
本发明实施例提供一种人脸重构、直播方法、装置、设备及存储介质，以解决因局部对五官进行变形造成失真、成本较高的问题。
第一方面，本发明实施例提供了一种人脸重构方法，包括：
从图像数据提取原始人脸数据的特征，作为原始人脸特征；
确定参考五官特征，所述参考五官特征用于表示五官数据在指定的维度下的特征；
在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据。
第二方面，本发明实施例还提供了一种直播方法，包括：
接收直播视频数据，所述直播视频数据中具有多帧图像数据，所述图像数据中具有主播用户的原始人脸数据；
接收作用于所述原始人脸数据的美颜操作；
从所述图像数据提取所述原始人脸数据的特征，作为原始人脸特征；
响应于所述美颜操作，确定参考五官特征，所述参考五官特征用于表示在指定的维度下对所述原始人脸数据中的五官数据进行调整；
响应于所述美颜操作，在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据；
在所述主播用户开设的直播间中发布具有所述目标人脸数据的直播视频数据。
第三方面，本发明实施例还提供了一种人脸重构装置，包括：
人脸特征提取模块，用于从图像数据提取原始人脸数据的特征，作为原始人脸特征；
参考五官特征确定模块，用于确定参考五官特征，所述参考五官特征用于表示五官数据在指定的维度下的特征；
目标人脸特征生成模块，用于在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
人脸数据重构模块，用于使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据。
第四方面，本发明实施例还提供了一种直播装置，包括：
直播视频数据接收模块，用于接收直播视频数据，所述直播视频数据中具有多帧图像数据，所述图像数据中具有主播用户的原始人脸数据；
美颜操作接收模块，用于接收作用于所述原始人脸数据的美颜操作；
人脸特征提取模块，用于从所述图像数据提取所述原始人脸数据的特征，作为原始人脸特征；
参考五官特征确定模块，用于响应于所述美颜操作，确定参考五官特征，所述参考五官特征用于表示在指定的维度下对所述原始人脸数据中的五官数据进行调整；
目标人脸特征生成模块，用于响应于所述美颜操作，在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
人脸数据重构模块，用于使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据；
直播视频数据发布模块，用于在所述主播用户开设的直播间中发布具有所述目标人脸数据的直播视频数据。
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的人脸重构方法或者如第二方面所述的直播方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的人脸重构方法或者如第二方面所述的直播方法。
在本实施例中，从图像数据提取原始人脸数据的特征，作为原始人脸特征，确定参考五官特征，参考五官特征用于表示五官数据在指定的维度下的特征，在原始人脸特征的基础上添加参考五官特征，获得目标人脸特征，使用目标人脸特征重构目标人脸数据，以使目标人脸数据具有在该维度下调整之后的五官数据，通过在人脸特征中反映对五官的调整，从而在使用人脸特征进行人脸重构的过程中，实现对五官的调整，可以避免因局部对五官进行变形造成失真的问题，并且，不同的五官可以共同使用一套重构机制，不仅可以解决对因调整次序而加剧失真的问题，而且一次性开发重构机制即可，无需针对每种五官开发一套调整方式，降低成本。
附图说明
图1为本发明实施例一提供的一种人脸重构方法的流程图；
图2为本发明实施例一提供的一种人脸重构的架构示意图；
图3为本发明实施例一提供的一种人脸编码器的结构示意图；
图4为本发明实施例一提供的一种人脸生成器的结构示意图；
图5为本发明实施例一提供的一种训练人脸生成器的架构示意图；
图6是本发明实施例二提供的一种直播方法的流程图；
图7A与图7B是本发明实施例二提供的一种用户界面的示例图；
图8为本发明实施例三提供的一种人脸重构装置的结构示意图；
图9为本发明实施例四提供的一种直播装置的结构示意图；
图10为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种人脸重构方法的流程图，本实施例可适用于使用五官参考特征重构人脸图像的情况，从而实现微调整，该方法可以由人脸重构装置来执行，该人脸重构装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、移动终端(如手机、平板电脑)、可穿戴设备(如智能手表、智能眼镜等)，该方法具体包括如下步骤：
S101、从图像数据提取原始人脸数据的特征，作为原始人脸特征。
在本实施例中，计算机设备的操作系统可以包括Android(安卓)、IOS、Windows等等。
在移动终端、可穿戴设备等用户端的计算机设备中，在这些操作系统中支持运行可进行图像处理的应用，如直播应用、图像编辑应用、相机应用、即时通讯工具、图库应用，等等。
诸如图像编辑应用、即时通讯工具、图库应用等应用，其UI(User Interface，用户界面)可提供导入的控件，用户可通过触控或鼠标等外设操作该导入的控件，选择本地存储的视频数据或图像数据(以缩略图或路径表示)，也可以选择网络存储的视频数据或图像数据(以URL(Uniform Resource Locators，统一资源定位器)表示)。
诸如直播应用、图像编辑应用、相机应用、即时通讯工具等应用，其UI可提供拍照、录像的控件，用户可通过触控或鼠标等外设操作该拍照、录像的控件，通知应用调用摄像头采集视频数据或图像数据。
在服务器、工作站等非用户端的计算机设备中，可以接收终端发送的视频数据或图像数据。
其中，对于视频数据，可以从中抽取具有一帧或多帧具有原始人脸数据的图像数据。
如图2所示，可以对图像数据200进行人脸检测(Landmark)，从而确定人脸数据所处的区域，并从原始图像数据中裁剪(crop)该区域，作为图像数据中的原始人脸数据210，则剩余的部分可以称之为背景数据220。
其中，人脸检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸数据，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等等。
人脸检测通常使用如下方法：
1、利用人工提取特征，如haar特征，使用特征训练分类器，使用分类器进行人脸检测。
2、从通用的目标检测算法中继承人脸检测，例如，利用Faster R-CNN来检测人脸。
3、使用级联结构的卷积神经网络，例如，Cascade CNN(级联卷积神经网络)，MTCNN(Multi-task Cascaded Convolutional Networks，多任务卷积神经网络)。
在具体实现中，这些实现人脸检测的方法可以集成在应用的模块中，应用可直接调用该模块检测图像数据中的人脸关键点，这些实现人脸检测的方法也可以集成在SDK(Software Development Kit，软件开发工具包)，该SDK作为应用的组装数据，应用可请求SDK对图像数据进行人脸检测，SDK检测到图像数据中的人脸关键点，并将人脸关键点返回应用。
需要说明的是，人脸关键点的数量，可以由本领域技术人员根据实际情况设置，对于静态的图像处理，实时性要求较低，可以检测较为稠密的人脸关键点，如1000个，除了能定位人脸重要特征点之外，还能准确的描述出五官的轮廓；对于直播等，实时性要求较高，可以检测较为稀疏的人脸关键点，如68、81、106个，定位人脸上比较明显且重要的特征点(如眼睛关键点、眉毛关键点、鼻子关键点、嘴巴关键点、轮廓关键点等)，以降低处理量、减少处理时间，等等，本发明实施例对此不加以限制。
需要说明的是，如图2所示，对于视频数据(如直播视频数据)，各个图像数据帧之间可能存在抖动，若图像数据200为视频数据(如直播视频数据)中的图像数据帧，则在人脸检测时，可进行帧间平滑251，对齐前后图像数据帧的人脸关键点，在裁剪(crop)原始人脸数据210时，可进行帧间平滑252，对齐前后图像数据帧的人脸关键点。
在本实施例中，如图2所示，可预先设置人脸编码器231，该人脸编码器231可以用于对人脸数据编码，从而获得表征人脸属性的特征，例如，性别、年龄、身份、鼻型、眼型、嘴型、发型、发色、肤色，等等。
对于原始人脸数据210，可以对其调整大小(resize)，获得新的原始人脸数据211，使其适于人脸编码器231处理，即将原始人脸数据211输入至人脸编码器231时，人脸编码器231可提出原始人脸数据211的特征，作为原始人脸特征。
在一种提取特征的方式中，如图3所示，可确定人脸编码器，人脸编码器包括相互连接的卷积层(Convolutional Neural Network，CNN)301与全连接层(Full ConnectedLayer，FC)302。
其中，卷积层301通常为多层相互连接的网络，全连接层302也通常为多层相互连接的网络。
将图像数据中的原始人脸数据x输入卷积层301进行卷积处理，输出中间人脸图像w，以及，将中间人脸图像w输入全连接层进行映射处理，输出原始人脸特征z。
其中，x表示输入的图像数据，z表示输出的特征，共N(N为正整数)个向量，
w是跟z有相同向量的中间特征，由于z为了取样方便通常会在训练阶段通过KL散度(Kullback–Leibler divergence)等方式的LOSS(损失)使其分布接近正态分布normal distribution(μ＝0,σ＝1),导致特征之间(如性别、年龄、长短发等等)在z的分布空间容易耦合在一起，相对而言，w能够在一定程度上解离特征在原来z所在空间的耦合状态,方便后续微整形操作，w与z之间能通过多层训练后的FC做变换。
当然，上述提取特征的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他提取特征的方式，例如，使用多个卷积层提取原始人脸特征，等等，本实施例对此不加以限制。另外，除了上述提取特征的方式外，本领域技术人员还可以根据实际需要采用其它提取特征的方式，本实施例对此也不加以限制。
S102、确定参考五官特征。
其中，参考五官特征用于表示五官数据在指定的维度下的特征。
在具体实现中，对于不同类型的五官数据，其维度也有所不同，例如，对于鼻子而言，维度可以为大小、高低等，对于眼睛而言，维度可以为颜色、大小等。
在本发明的一个实施例中，S102可以包括如下步骤：
S1021、获取第一样本人脸数据、第二样本人脸数据。
其中，第一样本人脸数据的五官数据与第二样本人脸数据的五官数据在指定的维度下存在差异，除了五官数据在该维度下存在差异之外，第一样本人脸数据的其他内容与第二样本人脸数据的其他内容保持一致。
例如，第一样本人脸数据与第二样本人脸数据均为同一个人物形象，第一样本人脸数据中人物形象的眼睛较大，第二样本人脸数据中人物形象的眼睛较小。
在一个示例中，可获取第一样本人脸数据，在指定的维度下，对第一样本人脸数据中的五官数据进行调整，获得第二样本人脸数据。
S1022、从第一样本人脸数据中提取特征，作为第一样本人脸特征。
在本实施例中，针对从第一样本人脸数据，可提取特征，作为第一样本人脸特征，该第一样本人脸特征的向量与原始人脸特征的向量一致。
在具体实现中，可确定人脸生成器，该人脸生成器可用于根据人脸特征重构人脸图像数据。
将第一样本人脸数据输入该人脸生成器中进行反向传播，从而输出人脸特征，作为第一样本人脸特征。
需要说明的是，不同的人脸生成器的结构不一样，对第一样本人脸数据进行反向传播的过程也不一样，本实施例对此不加以限制。
例如，针对图N所示的人脸生成器，在当前的卷积层中，接收第二特征人脸数据，其中，第一特征人脸数据初始为第一样本人脸数据，在当前的卷积层中对第一特征人脸数据进行反向传播，获得第二特征人脸数据。
若当前的卷积层为非首个卷积层，则对第二特征人脸数据进行求导，从第二特征人脸数据分离出新的第一特征人脸数据与向量。
将新的第一特征人脸数据、输入至上一个卷积层。
若当前的卷积层为首个卷积层，则将所有的向量组成第一样本图像数据的第一样本人脸特征。
S1023、从第二样本人脸数据中提取特征，作为第二样本人脸特征。
在本实施例中，针对从第二样本人脸数据，可提取特征，作为第二样本人脸特征，该第二样本人脸特征的向量与原始人脸特征的向量一致。
在具体实现中，可确定人脸生成器，该人脸生成器用于根据人脸特征重构人脸图像数据。
将第二样本人脸数据输入人脸生成器中进行反向传播，从而输出人脸特征，作为第二样本人脸特征。
需要说明的是，不同的人脸生成器的结构不一样，对第二样本人脸数据进行反向传播的过程也不一样，本实施例对此不加以限制。
例如，针对图N所示的人脸生成器，在当前的卷积层中，接收第二特征人脸数据，其中，第一特征人脸数据初始为第二样本人脸数据，在当前的卷积层中对第一特征人脸数据进行反向传播，获得第二特征人脸数据。
若当前的卷积层为非首个卷积层，则对第二特征人脸数据进行求导，从第二特征人脸数据分离出新的第一特征人脸数据与向量。
将新的第一特征人脸数据、输入至上一个卷积层。
若当前的卷积层为首个卷积层，则将所有的向量组成第二样本图像数据的第一样本人脸特征。
S1024、将第一样本人脸特征减去第二样本人脸特征，获得五官数据在该维度下表达的特征，作为参考五官特征。
将第一样本人脸特征与第二样本人脸特征这两组向量进行相减，并经过标准化normalized之后，可得到五官数据在该维度下表达的特征，从而作为参考五官特征。
例如，第一样本人脸数据为表示眼睛较大的N个向量z_bigeyen，第二样本人脸数据为表示眼睛较大的N个向量z_smalleyen，则两组向量相减并normalized之后，可获得五官数据在大小这个维度下的参考五官特征Δz_eye＝{|z_bigeyen-z_smalleyen|}，其中，
在第一样本人脸特征与第二样本人脸特征的数量较多的情况下，可以对参考五官特征进行平均等处理，本实施例对此不加以限制。
需要说明的是，五官数据在各个维度下的参考五官特征可以离线时生成，并存储在数据库中，实时在数据库中提取即可。
S103、在原始人脸特征的基础上添加参考五官特征，获得目标人脸特征。
由于原始人脸特征的向量与参考五官特征的向量属性相同，因此，如图2所示，本实施例通过添加参考五官特征241，可以在原始人脸特征的基础上直接添加参考五官特征，从而在指定的维度下调整原始人脸特征，对五官数据的属性进行调整，形成目标人脸特征。
在具体实现中，可以对参考五官特征配置权重，该权重表示调整的幅度，并且，该权重具有正负值，正负值表示调整的方向，如正值表示变大、负值表示缩小。
在原始人脸特征的基础上加上已配置权重的参考五官特征，获得目标人脸特征：
z′＝z+αΔzA+βΔzB+…
其中，z′表示目标人脸特征，z表示原始人脸特征，ΔzA、ΔzB表示参考五官特征，α、β∈R表示权重。
此外，如图2所示，可确定候选人脸数据的原始人脸特征242，将候选人脸数据的原始人脸特征242部分或全部替换原始人脸数据的原始人脸特征，从而使得重构之后的目标人脸数据具有候选人脸数据的部分或全部属性。
S104、使用目标人脸特征重构目标人脸数据，以使目标人脸数据具有在该维度下调整之后的五官数据。
在本实施例中，如图2所示，可预先设置人脸生成器232，该人脸生成器232可以用于对人脸特征解码，从而重构具备该人脸特征所表征属性的目标人脸数据，其中，目标人脸数据中的五官数据实现在指定维度下的调整。
例如，如果原始人脸数据211的原始人脸特征为z，调整眼睛大小维度的参考五官特征为Δzeye，调整嘴巴弯曲维度的参考五官特征为Δzmouse，对Δzeye设置0.3的权重，对Δzmouse设置-0.5的权重，则目标人脸特征z′为：
z′＝z+0.3Δzeye-0.5Δzmouse
将目标人脸特征z′输入人脸生成器232，则可以重构出眼睛更大、嘴巴弯曲的目标人脸数据212。
对于目标人脸数据212，可以对其调整大小(resize)，获得新的目标人脸数据213，使其大小与原始人脸数据210保持一致，使得目标人脸数据213可贴入背景数据220的区域。
需要说明的是，如图2所示，若图像数据200为视频数据(如直播视频数据)中的图像数据帧，则在调整大小时，可进行人脸检测(Landmark)，从而进行帧间平滑253，对齐前后图像数据帧的人脸关键点。
对于目标人脸数据213，可进行颜色矫正233，并进行帧间平滑254，对齐前后图像数据帧的人脸关键点。
由于重构之后的目标人脸数据213的内容与背景数据220的内容存在差异，因此，可将原始人脸数据210与目标人脸数据213进行人脸融合，生成新的目标人脸数据214，使得目标人脸数据214的内容与背景数据220的内容相同或相似。
将目标人脸数据214贴入背景数据220的区域，则可以生成新的图像数据200＇，图像数据200＇的人脸数据与图像数据200的人脸数据大体保持一致，而图像数据200＇中人脸数据的眼睛更大、嘴巴往上翘，形成不开心的表情。
在本发明的一个实施例中，目标人脸特征具有N个向量，S104可以包括如下步骤：
S1041、确定人脸生成器。
如图4所示，人脸生成器具有N+1个卷积层CNN、N个全连接层FC，卷积层CNN与卷积层CNN之间、以及、卷积层CNN与全连接层FC之间均通过神经元节点Node连接，其中，该卷积层CNN可以单独的网络，也可以为多个相互连接的网络，全连接层可以为单独的网络，也可以为多个相互连接的网络，本实施例对此不加以限制。
在训练人脸生成器时，如图5所示，可准备大量无标注的第三样本人脸数据Y，作为训练人脸生成器的训练集。
确定特征提取器501，特征提取器包括多个相连的全连接层FC，该特征提取器可用于从第三样本人脸数据Y提取第三样本人脸特征{z1,z2,…,zn}。
在特征提取器501之后挂载人脸生成器502，该人脸生成器可用于使用第三样本人脸特征{z1,z2,…,zn}重构第三样本人脸数据Y＇。
根据以随机梯度下降(stochastic gradient descent，SGD)为代表的手动设定学习率的优化方式、以自适应矩估计(Adaptive Moment Estimation，Adam)为代表的自适应设定学习率的优化方式等优化方式对特征提取器与人脸生成器进行训练。
当训练完成时，去除特征提取器501，保留人脸生成器502，在数据库保存人脸生成器502及其模型参数，在实时使用人脸生成器502时，启动人脸生成器502并加载该模型参数。
S1042、在当前的卷积层中，接收第一特征人脸数据。
其中，如图4所示，第一特征人脸数据初始为预设的数值Const，该数值Const可以为任意的值，即第一个卷积层CNN的输入为数值Const，第二个卷积层至第N+1个卷积层的输入均为上一个卷积层CNN与全连接层FC的输出。
S1043、在当前的卷积层中对第一特征人脸数据进行卷积处理，获得第二特征人脸数据。
在卷积层CNN中，对输入的第一特征人脸数据进行卷积处理，即解码处理，可输出第二特征人脸数据(activation map)。
S1044、若当前的卷积层为非末尾的卷积层，则在当前的全连接层中，将与当前的卷积层适配的向量映射为目标向量。
目标人脸特征为一组N维的向量，每个向量均已预先配置相应的全连接层FC，将向量输入该全连接层FC进行处理，从而映射为相应维度的张量(即目标向量)。
如图4所示，对第一个全连接层FC，可配置目标人脸特征中的z1向量，对第二个全连接层FC，可配置目标人脸特征中的z2向量，对第N个全连接层FC，可配置目标人脸特征中的zn向量。
S1044、将第二特征人脸数据与目标向量进行归一化操作，作为新的第一特征人脸数据、输入至下一个卷积层。
对于当前的卷积层CNN输出的第二特征人脸数据与当前的全连接层输出的目标向量，可以进行归一化操作，如instance normalization，从而获得新的第一特征人脸数据、输入至下一个卷积层。
S1045、若当前的卷积层为末尾的卷积层，则输出第二特征人脸数据为目标人脸数据。
对于末尾(即最后一个)卷积层CNN，其第二特征人脸数据可以作为目标人脸数据输出。
在本实施例中，从图像数据提取原始人脸数据的特征，作为原始人脸特征，确定参考五官特征，参考五官特征用于表示五官数据在指定的维度下的特征，在原始人脸特征的基础上添加参考五官特征，获得目标人脸特征，使用目标人脸特征重构目标人脸数据，以使目标人脸数据具有在该维度下调整之后的五官数据，通过在人脸特征中反映对五官的调整，从而在使用人脸特征进行人脸重构的过程中，实现对五官的调整，可以避免因局部对五官进行变形造成失真的问题，并且，不同的五官可以共同使用一套重构机制，不仅可以解决对因调整次序而加剧失真的问题，而且一次性开发重构机制即可，无需针对每种五官开发一套调整方式，降低成本。
此外，人脸编码器、人脸生成器的结构相对应，以此生成人脸特征并重构人脸，可以保证人脸的精确度。
实施例二
图6为本发明实施例二提供的一种直播方法的流程图，本实施例可适用于在直播的过程中使用五官参考特征重构人脸图像的情况，该方法可以由直播装置来执行，该直播装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、移动终端(如手机、平板电脑)、可穿戴设备(如智能手表、智能眼镜等)，该方法具体包括如下步骤：
S601、接收直播视频数据。
若应用于移动终端、可穿戴设备等用户端的计算机设备，则可以在该计算机设备中安装具备直播、图像处理功能的应用，如独立的直播应用、即时通讯工具、短视频应用，等等。
对于这些应用，可以调用计算机设备的摄像头、麦克风，采集视频数据、音频数据，从而合成直播视频数据。
若应用于服务器、工作站等直播平台端的计算机设备中，可以接收终端中具备直播功能的应用发送的直播视频数据。
在具体实现中，直播视频数据中具有多帧图像数据，图像数据中具有主播用户的原始人脸数据。
S602、接收作用于原始人脸数据的美颜操作。
一般情况下，在具有直播功能的应用的用户界面(User Interface，UI)上，提供美颜操作的相关控件，主播用户可以操作该控件，从而触发针对原始人脸数据的美颜操作。
在一个示例中，如图7A所示，在用户界面上提供针对五官的进度条，该进度条表示对相应五官调整的幅度，可为正值或负值，默认值为0，即不对该五官进行调整，如果主播用户滑动该进度条，则表示主播用户对该进度条对应的五官进行调整。
此外，在用户界面上提供针对自然人的进度条，该进度条表示添加相应自然人的属性的幅度，可为正值，默认值为0，即不添加该自然人的属性，如果主播用户滑动该进度条，则表示主播用户添加该自然人的属性。
S603、从图像数据提取原始人脸数据的特征，作为原始人脸特征。
针对直播视频数据中的每帧图像数据，可以分别提取原始人脸数据的特征，作为原始人脸特征。
在具体实现中，S603可以包括如下步骤：
确定人脸编码器，所述人脸编码器包括卷积层与全连接层；
将图像数据中的原始人脸数据输入所述卷积层进行卷积处理，输出中间人脸图像；
将所述中间人脸图像输入所述全连接层进行映射处理，输出原始人脸特征。
需要说明的是，在本实施例中，由于提取原始人脸特征的方式与实施例一的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本实施例在此不加以详述。
S604、响应于美颜操作，确定参考五官特征。
响应主播用户触发的美颜操作，可以确定待调整的五官所对应的参考五官特征，其中，参考五官特征用于表示在指定的维度下对原始人脸数据中的五官数据进行调整。
例如，如图7B所示，主播用户在“眼睛”的进度条向右滑动，意图将眼睛调大，以及，在“嘴巴”的进度条向左滑动，意图将嘴巴向上翘。
此时，可查找可调整眼睛大小的参考五官特征，以及，可调整嘴巴弯曲程度的参考参考五官特征。
在具体实现中，S604包括如下步骤：
获取第一样本人脸数据、第二样本人脸数据，其中，所述第一样本人脸数据的五官数据与所述第二样本人脸数据的五官数据在指定的维度下存在差异；
从所述第一样本人脸数据中提取特征，作为第一样本人脸特征；
从所述第二样本人脸数据中提取特征，作为第二样本人脸特征；
将所述第一样本人脸特征减去所述第二样本人脸特征，获得所述五官数据在所述维度下表达的特征，作为参考五官特征。
其中，获取第一样本人脸数据、第二样本人脸数据，包括：
获取第一样本人脸数据；
在指定的维度下，对所述第一样本人脸数据中的五官数据进行调整，获得第二样本人脸数据。
此外，所述从所述第一样本人脸数据中提取特征，作为第一样本人脸特征，包括：
确定人脸生成器，所述人脸生成器用于根据人脸特征重构人脸图像数据；
将所述第一样本人脸数据输入所述人脸生成器中进行反向传播，从而输出人脸特征，作为第一样本人脸特征；
所述从所述第二样本人脸数据中提取特征，作为第二样本人脸特征，包括：
确定人脸生成器，所述人脸生成器用于根据人脸特征重构人脸图像数据；
将所述第二样本人脸数据输入所述人脸生成器中进行反向传播，从而输出人脸特征，作为第二样本人脸特征。
需要说明的是，在本实施例中，由于确定参考五官特征的方式与实施例一的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本实施例在此不加以详述。
S605、响应于美颜操作，在原始人脸特征的基础上添加参考五官特征，获得目标人脸特征。
响应主播用户触发的美颜操作，可以确定待调整的五官的幅度，在原始人脸特征的基础上按照该幅度添加参考五官特征，获得目标人脸特征。
在具体实现中，S605可以包括如下步骤：
响应于所述美颜操作，对所述参考五官特征配置权重；
在所述原始人脸特征的基础上加上已配置权重的所述参考五官特征，获得目标人脸特征。
在本实施例中，可以将主播用户所调整的幅度，映射为权重，再配置给参考五官特征，添加到原始人脸特征上。
例如，如图7B所示，主播用户在“眼睛”的进度条向右滑动，幅度为0.15，映射至调整眼睛大小维度的参考五官特征Δzeye的权重为0.3，主播用户在“嘴巴”的进度条向左滑动，幅度为-0.25，映射至调整嘴巴弯曲维度的参考五官特征Δzmouse的权重为-0.5，使得目标人脸特征z′为：
z′＝z+0.3Δzeye-0.5Δzmouse
其中，z为原始人脸特征。
此外，响应主播用户触发的美颜操作，可以确定待添加的自然人所对应的原始人脸特征，并且，可以确定待添加的原始人脸特征的程度，在主播用户的原始人脸特征的基础上按照该程度替换原始人脸数据所对应的原始人脸特征。
在具体实现中，S605还可以包括如下步骤：
响应于所述美颜操作，确定候选人脸数据的原始人脸特征；
将所述候选人脸数据的原始人脸特征部分或全部替换所述原始人脸数据的原始人脸特征。
在本实施例中，可以将主播用户所调整的程度，查找与该程度适配的候选人脸数据(如自然人)的原始人脸特征，从而替换原始人脸数据的原始人脸特征。
需要说明的是，在本实施例中，由于确定目标人脸特征的方式与实施例一的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本实施例在此不加以详述。
S606、使用目标人脸特征重构目标人脸数据，以使目标人脸数据具有在该维度下调整之后的五官数据。
针对直播视频数据中的每帧图像数据，可以分别使用目标人脸特征重构目标人脸数据，使得目标人脸数据具有在该维度下调整之后的五官数据，从而形成新的直播视频数据。
在具体实现中，目标人脸特征具有N个向量，则S606可以包括如下步骤：
确定人脸生成器，所述人脸生成器具有N+1个卷积层、N个全连接层；
在当前的卷积层中，接收第一特征人脸数据，其中，所述第一特征人脸数据初始为预设的数值；
在当前的卷积层中对所述第一特征人脸数据进行卷积处理，获得第二特征人脸数据；
若当前的卷积层为非末尾的卷积层，则在当前的全连接层中，将与当前的卷积层适配的向量映射为目标向量；
将所述第二特征人脸数据与所述目标向量进行归一化操作，作为新的第一特征人脸数据、输入至下一个卷积层；
若当前的卷积层为末尾的卷积层，则输出第二特征人脸数据为目标人脸数据。
其中，所述确定人脸生成器，包括：
确定特征提取器，所述特征提取器包括多个相连的全连接层，用于从第三样本人脸数据提取第三样本人脸特征；
在所述特征提取器之后挂载人脸生成器，所述人脸生成器用于使用所述第三样本人脸特征重构所述第三样本人脸数据；
对所述特征提取器与所述人脸生成器进行训练；
当训练完成时，去除所述特征提取器，保留所述人脸生成器。
需要说明的是，在本实施例中，由于重构目标人脸数据的方式与实施例一的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本实施例在此不加以详述。
S607、在主播用户开设的直播间中发布具有目标人脸数据的直播视频数据。
若应用于移动终端、可穿戴设备等用户端的计算机设备，则可以将直播视频数据上传至直播平台，直播平台在该主播用户开设的直播间中发布具有目标人脸数据的直播视频数据，观众用户所登录的客户端可进入该直播间，并播放该直播视频数据。
若应用于服务器、工作站等直播平台端的计算机设备中，则可以直接在该主播用户开设的直播间中发布具有目标人脸数据的直播视频数据，观众用户所登录的客户端可进入该直播间，并播放该直播视频数据。
在本实施例中，接收直播视频数据，直播视频数据中具有多帧图像数据，图像数据中具有主播用户的原始人脸数据，接收作用于原始人脸数据的美颜操作；从图像数据提取原始人脸数据的特征，作为原始人脸特征；响应于美颜操作，确定参考五官特征，参考五官特征用于表示在指定的维度下对原始人脸数据中的五官数据进行调整；响应于美颜操作，在原始人脸特征的基础上添加参考五官特征，获得目标人脸特征；使用目标人脸特征重构目标人脸数据，以使目标人脸数据具有在维度下调整之后的五官数据；在主播用户开设的直播间中发布具有目标人脸数据的直播视频数据。通过在人脸特征中反映对五官的调整，从而在使用人脸特征进行人脸重构的过程中，实现对五官的调整，可以避免因局部对五官进行变形造成失真的问题，并且，不同的五官可以共同使用一套重构机制，不仅可以解决对因调整次序而加剧失真的问题，而且一次性开发重构机制即可，无需针对每种五官开发一套调整方式，降低成本。
此外，人脸编码器、人脸生成器的结构相对应，以此生成人脸特征并重构人脸，可以保证人脸的精确度。
实施例三
图8为本发明实施例三提供的一种人脸重构装置的结构示意图，该装置具体可以包括如下模块：
人脸特征提取模块801，用于从图像数据提取原始人脸数据的特征，作为原始人脸特征；
参考五官特征确定模块802，用于确定参考五官特征，所述参考五官特征用于表示五官数据在指定的维度下的特征；
目标人脸特征生成模块803，用于在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
人脸数据重构模块804，用于使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据。
在本发明的一个实施例中，所述人脸特征提取模块801包括：
人脸编码器确定子模块，用于确定人脸编码器，所述人脸编码器包括卷积层与全连接层；
中间人脸图像计算子模块，用于将图像数据中的原始人脸数据输入所述卷积层进行卷积处理，输出中间人脸图像；
原始人脸特征映射子模块，用于将所述中间人脸图像输入所述全连接层进行映射处理，输出原始人脸特征。
在本发明的一个实施例中，所述参考五官特征确定模块802包括：
样本人脸数据获取子模块，用于获取第一样本人脸数据、第二样本人脸数据，其中，所述第一样本人脸数据的五官数据与所述第二样本人脸数据的五官数据在指定的维度下存在差异；
第一样本人脸特征提取子模块，用于从所述第一样本人脸数据中提取特征，作为第一样本人脸特征；
第二样本人脸特征提取子模块，用于从所述第二样本人脸数据中提取特征，作为第二样本人脸特征；
样本人脸特征相减子模块，用于将所述第一样本人脸特征减去所述第二样本人脸特征，获得所述五官数据在所述维度下表达的特征，作为参考五官特征。
在本发明的一个实施例中，所述样本人脸数据获取子模块包括：
第一样本获取单元，用于获取第一样本人脸数据；
第一样本调整单元，用于在指定的维度下，对所述第一样本人脸数据中的五官数据进行调整，获得第二样本人脸数据。
在本发明的一个实施例中，所述第一样本人脸特征提取子模块包括：
第一生成器确定单元，用于确定人脸生成器，所述人脸生成器用于根据人脸特征重构人脸图像数据；
第一反向传播单元，用于将所述第一样本人脸数据输入所述人脸生成器中进行反向传播，从而输出人脸特征，作为第一样本人脸特征；
所述第二样本人脸特征提取子模块包括：
第二生成器确定单元，用于确定人脸生成器，所述人脸生成器用于根据人脸特征重构人脸图像数据；
第二反向传播单元，用于将所述第二样本人脸数据输入所述人脸生成器中进行反向传播，从而输出人脸特征，作为第二样本人脸特征。
在本发明的一个实施例中，所述参考五官特征确定模块802包括：
权重配置子模块，用于对所述参考五官特征配置权重；
权重添加子模块，用于在所述原始人脸特征的基础上加上已配置权重的所述参考五官特征，获得目标人脸特征。
在本发明的一个实施例中，所述参考五官特征确定模块802还包括：
候选人脸特征确定子模块，用于确定候选人脸数据的原始人脸特征；
候选人脸特征替换子模块，用于将所述候选人脸数据的原始人脸特征部分或全部替换所述原始人脸数据的原始人脸特征。
在本发明的一个实施例中，所述目标人脸特征具有N个向量；
所述人脸数据重构模块804包括：
人脸生成器确定子模块，用于确定人脸生成器，所述人脸生成器具有N+1个卷积层、N个全连接层；
第一特征人脸数据接收子模块，用于在当前的卷积层中，接收第一特征人脸数据，其中，所述第一特征人脸数据初始为预设的数值；
第二特征人脸数据生成子模块，用于在当前的卷积层中对所述第一特征人脸数据进行卷积处理，获得第二特征人脸数据；
目标向量映射子模块，用于若当前的卷积层为非末尾的卷积层，则在当前的全连接层中，将与当前的卷积层适配的向量映射为目标向量；
归一化操作子模块，用于将所述第二特征人脸数据与所述目标向量进行归一化操作，作为新的第一特征人脸数据、输入至下一个卷积层；
目标人脸数据输出子模块，用于若当前的卷积层为末尾的卷积层，则输出第二特征人脸数据为目标人脸数据。
在本发明的一个实施例中，所述人脸生成器确定子模块包括：
特征提取器确定单元，用于确定特征提取器，所述特征提取器包括多个相连的全连接层，用于从第三样本人脸数据提取第三样本人脸特征；
人脸生成器挂在单元，用于在所述特征提取器之后挂载人脸生成器，所述人脸生成器用于使用所述第三样本人脸特征重构所述第三样本人脸数据；
训练单元，用于对所述特征提取器与所述人脸生成器进行训练；
特征提取器去除单元，用于当训练完成时，去除所述特征提取器，保留所述人脸生成器。
本发明实施例所提供的人脸重构装置可执行本发明任意实施例所提供的人脸重构方法，具备执行方法相应的功能模块和有益效果。
实施例四
图9为本发明实施例三提供的一种直播装置的结构示意图，该装置具体可以包括如下模块：
直播视频数据接收模块901，用于接收直播视频数据，所述直播视频数据中具有多帧图像数据，所述图像数据中具有主播用户的原始人脸数据；
美颜操作接收模块902，用于接收作用于所述原始人脸数据的美颜操作；
人脸特征提取模块903，用于从所述图像数据提取所述原始人脸数据的特征，作为原始人脸特征；
参考五官特征确定模块904，用于响应于所述美颜操作，确定参考五官特征，所述参考五官特征用于表示在指定的维度下对所述原始人脸数据中的五官数据进行调整；
目标人脸特征生成模块905，用于响应于所述美颜操作，在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
人脸数据重构模块906，用于使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据；
直播视频数据发布模块907，用于在所述主播用户开设的直播间中发布具有所述目标人脸数据的直播视频数据。
在本发明的一个实施例中，所述人脸特征提取模块903包括：
人脸编码器确定子模块，用于确定人脸编码器，所述人脸编码器包括卷积层与全连接层；
中间人脸图像计算子模块，用于将图像数据中的原始人脸数据输入所述卷积层进行卷积处理，输出中间人脸图像；
原始人脸特征映射子模块，用于将所述中间人脸图像输入所述全连接层进行映射处理，输出原始人脸特征。
在本发明的一个实施例中，所述参考五官特征确定模块904包括：
样本人脸数据获取子模块，用于获取第一样本人脸数据、第二样本人脸数据，其中，所述第一样本人脸数据的五官数据与所述第二样本人脸数据的五官数据在指定的维度下存在差异；
第一样本人脸特征提取子模块，用于从所述第一样本人脸数据中提取特征，作为第一样本人脸特征；
第二样本人脸特征提取子模块，用于从所述第二样本人脸数据中提取特征，作为第二样本人脸特征；
样本人脸特征相减子模块，用于将所述第一样本人脸特征减去所述第二样本人脸特征，获得所述五官数据在所述维度下表达的特征，作为参考五官特征。
在本发明的一个实施例中，所述样本人脸数据获取子模块包括：
第一样本获取单元，用于获取第一样本人脸数据；
第一样本调整单元，用于在指定的维度下，对所述第一样本人脸数据中的五官数据进行调整，获得第二样本人脸数据。
在本发明的一个实施例中，所述第一样本人脸特征提取子模块包括：
第一生成器确定单元，用于确定人脸生成器，所述人脸生成器用于根据人脸特征重构人脸图像数据；
第一反向传播单元，用于将所述第一样本人脸数据输入所述人脸生成器中进行反向传播，从而输出人脸特征，作为第一样本人脸特征；
所述第二样本人脸特征提取子模块包括：
第二生成器确定单元，用于确定人脸生成器，所述人脸生成器用于根据人脸特征重构人脸图像数据；
第二反向传播单元，用于将所述第二样本人脸数据输入所述人脸生成器中进行反向传播，从而输出人脸特征，作为第二样本人脸特征。
在本发明的一个实施例中，所述目标人脸特征生成模块905包括：
权重配置子模块，用于响应于所述美颜操作，对所述参考五官特征配置权重；
权重添加子模块，用于在所述原始人脸特征的基础上加上已配置权重的所述参考五官特征，获得目标人脸特征。
在本发明的一个实施例中，所述目标人脸特征生成模块905还包括：
候选人脸特征确定子模块，用于响应于所述美颜操作，确定候选人脸数据的原始人脸特征；
候选人脸特征替换子模块，用于将所述候选人脸数据的原始人脸特征部分或全部替换所述原始人脸数据的原始人脸特征。
在本发明的一个实施例中，所述目标人脸特征具有N个向量；
所述人脸数据重构模块906包括：
人脸生成器确定子模块，用于确定人脸生成器，所述人脸生成器具有N+1个卷积层、N个全连接层；
第一特征人脸数据接收子模块，用于在当前的卷积层中，接收第一特征人脸数据，其中，所述第一特征人脸数据初始为预设的数值；
第二特征人脸数据生成子模块，用于在当前的卷积层中对所述第一特征人脸数据进行卷积处理，获得第二特征人脸数据；
目标向量映射子模块，用于若当前的卷积层为非末尾的卷积层，则在当前的全连接层中，将与当前的卷积层适配的向量映射为目标向量；
归一化操作子模块，用于将所述第二特征人脸数据与所述目标向量进行归一化操作，作为新的第一特征人脸数据、输入至下一个卷积层；
目标人脸数据输出子模块，用于若当前的卷积层为末尾的卷积层，则输出第二特征人脸数据为目标人脸数据。
在本发明的一个实施例中，所述人脸生成器确定子模块包括：
特征提取器确定单元，用于确定特征提取器，所述特征提取器包括多个相连的全连接层，用于从第三样本人脸数据提取第三样本人脸特征；
人脸生成器挂在单元，用于在所述特征提取器之后挂载人脸生成器，所述人脸生成器用于使用所述第三样本人脸特征重构所述第三样本人脸数据；
训练单元，用于对所述特征提取器与所述人脸生成器进行训练；
特征提取器去除单元，用于当训练完成时，去除所述特征提取器，保留所述人脸生成器。
本发明实施例所提供的直播装置可执行本发明任意实施例所提供的直播方法，具备执行方法相应的功能模块和有益效果。
实施例五
图10为本发明实施例五提供的一种计算机设备的结构示意图。如图10所示，该计算机设备包括处理器1000、存储器1001、通信模块1002、输入装置1003和输出装置1004；计算机设备中处理器1000的数量可以是一个或多个，图10中以一个处理器1000为例；计算机设备中的处理器1000、存储器1001、通信模块1002、输入装置1003和输出装置1004可以通过总线或其他方式连接，图10中以通过总线连接为例。
存储器1001作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的人脸重构方法或直播方法对应的模块(例如，如图8所示的人脸重构装置中的人脸特征提取模块801、参考五官特征确定模块802、目标人脸特征生成模块803和人脸数据重构模块804，或者，如图9所示的直播装置中的直播视频数据接收模块901、美颜操作接收模块902、人脸特征提取模块903、参考五官特征确定模块904、目标人脸特征生成模块905、人脸数据重构模块906和直播视频数据发布模块907)。处理器1000通过运行存储在存储器1001中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的人脸重构方法或直播方法。
存储器1001可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器1001可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1001可进一步包括相对于处理器1000远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块1002，用于与显示屏建立连接，并实现与显示屏的数据交互。
输入装置1003可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。
输出装置1004可以包括扬声器等音频设备。
需要说明的是，输入装置1003和输出装置1004的具体组成可以根据实际情况设定。
处理器1000通过运行存储在存储器1001中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的电子白板的连接节点控制方法。
本实施例提供的计算机设备，可执行本发明任一实施例提供的人脸重构方法或直播方法，具体相应的功能和有益效果。
实施例六
本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种人脸重构方法或直播方法。
其中，该人脸重构方法包括：
从图像数据提取原始人脸数据的特征，作为原始人脸特征；
确定参考五官特征，所述参考五官特征用于表示五官数据在指定的维度下的特征；
在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据。
此外，该直播方法包括：
接收直播视频数据，所述直播视频数据中具有多帧图像数据，所述图像数据中具有主播用户的原始人脸数据；
接收作用于所述原始人脸数据的美颜操作；
从所述图像数据提取所述原始人脸数据的特征，作为原始人脸特征；
响应于所述美颜操作，确定参考五官特征，所述参考五官特征用于表示在指定的维度下对所述原始人脸数据中的五官数据进行调整；
响应于所述美颜操作，在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据；
在所述主播用户开设的直播间中发布具有所述目标人脸数据的直播视频数据。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的人脸重构方法或直播方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述人脸重构装置或直播装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (13)
1.一种人脸重构方法，其特征在于，包括：
从图像数据提取原始人脸数据的特征，作为原始人脸特征；
确定参考五官特征，所述参考五官特征用于表示五官数据在指定的维度下的特征；
在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据。
2.根据权利要求1所述的方法，其特征在于，所述从图像数据提取原始人脸数据的特征，作为原始人脸特征，包括：
确定人脸编码器，所述人脸编码器包括卷积层与全连接层；
将图像数据中的原始人脸数据输入所述卷积层进行卷积处理，输出中间人脸图像；
将所述中间人脸图像输入所述全连接层进行映射处理，输出原始人脸特征。
3.根据权利要求1所述的方法，其特征在于，所述确定参考五官特征，包括：
获取第一样本人脸数据、第二样本人脸数据，其中，所述第一样本人脸数据的五官数据与所述第二样本人脸数据的五官数据在指定的维度下存在差异；
从所述第一样本人脸数据中提取特征，作为第一样本人脸特征；
从所述第二样本人脸数据中提取特征，作为第二样本人脸特征；
将所述第一样本人脸特征减去所述第二样本人脸特征，获得所述五官数据在所述维度下表达的特征，作为参考五官特征。
4.根据权利要求3所述的方法，其特征在于，所述获取第一样本人脸数据、第二样本人脸数据，包括：
获取第一样本人脸数据；
在指定的维度下，对所述第一样本人脸数据中的五官数据进行调整，获得第二样本人脸数据。
5.根据权利要求3所述的方法，其特征在于，
所述从所述第一样本人脸数据中提取特征，作为第一样本人脸特征，包括：
确定人脸生成器，所述人脸生成器用于根据人脸特征重构人脸图像数据；
将所述第一样本人脸数据输入所述人脸生成器中进行反向传播，从而输出人脸特征，作为第一样本人脸特征；
所述从所述第二样本人脸数据中提取特征，作为第二样本人脸特征，包括：
确定人脸生成器，所述人脸生成器用于根据人脸特征重构人脸图像数据；
将所述第二样本人脸数据输入所述人脸生成器中进行反向传播，从而输出人脸特征，作为第二样本人脸特征。
6.根据权利要求1所述的方法，其特征在于，所述在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征，包括：
对所述参考五官特征配置权重；
在所述原始人脸特征的基础上加上已配置权重的所述参考五官特征，获得目标人脸特征。
7.根据权利要求6所述的方法，其特征在于，所述在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征，包括：
确定候选人脸数据的原始人脸特征；
将所述候选人脸数据的原始人脸特征部分或全部替换所述原始人脸数据的原始人脸特征。
8.根据权利要求1-7任一所述的方法，其特征在于，所述目标人脸特征具有N个向量；
所述使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据，包括：
确定人脸生成器，所述人脸生成器具有N+1个卷积层、N个全连接层；
在当前的卷积层中，接收第一特征人脸数据，其中，所述第一特征人脸数据初始为预设的数值；
在当前的卷积层中对所述第一特征人脸数据进行卷积处理，获得第二特征人脸数据；
若当前的卷积层为非末尾的卷积层，则在当前的全连接层中，将与当前的卷积层适配的向量映射为目标向量；
将所述第二特征人脸数据与所述目标向量进行归一化操作，作为新的第一特征人脸数据、输入至下一个卷积层；
若当前的卷积层为末尾的卷积层，则输出第二特征人脸数据为目标人脸数据。
9.一种直播方法，其特征在于，包括：
接收直播视频数据，所述直播视频数据中具有多帧图像数据，所述图像数据中具有主播用户的原始人脸数据；
接收作用于所述原始人脸数据的美颜操作；
从所述图像数据提取所述原始人脸数据的特征，作为原始人脸特征；
响应于所述美颜操作，确定参考五官特征，所述参考五官特征用于表示在指定的维度下对所述原始人脸数据中的五官数据进行调整；
响应于所述美颜操作，在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据；
在所述主播用户开设的直播间中发布具有所述目标人脸数据的直播视频数据。
10.一种人脸重构装置，其特征在于，包括：
人脸特征提取模块，用于从图像数据提取原始人脸数据的特征，作为原始人脸特征；
参考五官特征确定模块，用于确定参考五官特征，所述参考五官特征用于表示五官数据在指定的维度下的特征；
目标人脸特征生成模块，用于在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
人脸数据重构模块，用于使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据。
11.一种直播装置，其特征在于，包括：
直播视频数据接收模块，用于接收直播视频数据，所述直播视频数据中具有多帧图像数据，所述图像数据中具有主播用户的原始人脸数据；
美颜操作接收模块，用于接收作用于所述原始人脸数据的美颜操作；
人脸特征提取模块，用于从所述图像数据提取所述原始人脸数据的特征，作为原始人脸特征；
参考五官特征确定模块，用于响应于所述美颜操作，确定参考五官特征，所述参考五官特征用于表示在指定的维度下对所述原始人脸数据中的五官数据进行调整；
目标人脸特征生成模块，用于响应于所述美颜操作，在所述原始人脸特征的基础上添加所述参考五官特征，获得目标人脸特征；
人脸数据重构模块，用于使用所述目标人脸特征重构目标人脸数据，以使所述目标人脸数据具有在所述维度下调整之后的五官数据；
直播视频数据发布模块，用于在所述主播用户开设的直播间中发布具有所述目标人脸数据的直播视频数据。
12.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的人脸重构方法或者如权利要求9所述的直播方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8中任一所述的人脸重构方法或者如权利要求9所述的直播方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010202350.1A CN111415397B (zh) | 2020-03-20 | 2020-03-20 | 一种人脸重构、直播方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010202350.1A CN111415397B (zh) | 2020-03-20 | 2020-03-20 | 一种人脸重构、直播方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111415397A true CN111415397A (zh) | 2020-07-14 |
| CN111415397B CN111415397B (zh) | 2024-03-08 |
Family
ID=71491315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010202350.1A Active CN111415397B (zh) | 2020-03-20 | 2020-03-20 | 一种人脸重构、直播方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111415397B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633074A (zh) * | 2020-11-30 | 2021-04-09 | 浙江大华汽车技术有限公司 | 行人信息的检测方法和装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170076146A1 (en) * | 2015-09-11 | 2017-03-16 | EyeVerify Inc. | Fusing ocular-vascular with facial and/or sub-facial information for biometric systems |
| CN109087239A (zh) * | 2018-07-25 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置及存储介质 |
| CN109190533A (zh) * | 2018-08-22 | 2019-01-11 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109584151A (zh) * | 2018-11-30 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 人脸美化方法、装置、终端及存储介质 |
-
2020
- 2020-03-20 CN CN202010202350.1A patent/CN111415397B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170076146A1 (en) * | 2015-09-11 | 2017-03-16 | EyeVerify Inc. | Fusing ocular-vascular with facial and/or sub-facial information for biometric systems |
| CN109087239A (zh) * | 2018-07-25 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置及存储介质 |
| CN109190533A (zh) * | 2018-08-22 | 2019-01-11 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109584151A (zh) * | 2018-11-30 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 人脸美化方法、装置、终端及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633074A (zh) * | 2020-11-30 | 2021-04-09 | 浙江大华汽车技术有限公司 | 行人信息的检测方法和装置、存储介质及电子设备 |
| CN112633074B (zh) * | 2020-11-30 | 2024-01-30 | 浙江华锐捷技术有限公司 | 行人信息的检测方法和装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111415397B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110677598B (zh) | 视频生成方法、装置、电子设备和计算机存储介质 | |
| Chen et al. | Hierarchical cross-modal talking face generation with dynamic pixel-wise loss | |
| CN108154518B (zh) | 一种图像处理的方法、装置、存储介质及电子设备 | |
| CN110519636B (zh) | 语音信息播放方法、装置、计算机设备及存储介质 | |
| DE112013001461B4 (de) | Modifizieren des Aussehens eines Teilnehmers während einer Videokonferenz | |
| CN111402399B (zh) | 人脸驱动和直播方法、装置、电子设备及存储介质 | |
| TW202213275A (zh) | 圖像處理方法、處理器、電子設備與電腦可讀存儲介質 | |
| EP3779891A1 (en) | Method and device for training neural network model, and method and device for generating time-lapse photography video | |
| CN111464834B (zh) | 一种视频帧处理方法、装置、计算设备及存储介质 | |
| CN113313085B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN110956691A (zh) | 一种三维人脸重建方法、装置、设备及存储介质 | |
| JP2016085579A (ja) | 対話装置のための画像処理装置及び方法、並びに対話装置 | |
| CN114782864B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| CN113255551A (zh) | 一种人脸编辑器的训练、人脸编辑、直播方法及相关装置 | |
| CN106815803B (zh) | 图片的处理方法及装置 | |
| CN113570689B (zh) | 人像卡通化方法、装置、介质和计算设备 | |
| EP4207195A1 (en) | Speech separation method, electronic device, chip and computer-readable storage medium | |
| CN114638375A (zh) | 视频生成模型训练方法、视频生成方法及装置 | |
| JP2023545052A (ja) | 画像処理モデルの訓練方法及び装置、画像処理方法及び装置、電子機器並びにコンピュータプログラム | |
| CN111415397B (zh) | 一种人脸重构、直播方法、装置、设备及存储介质 | |
| US20230326369A1 (en) | Method and apparatus for generating sign language video, computer device, and storage medium | |
| Chen et al. | Hierarchical cross-modal talking face generationwith dynamic pixel-wise loss | |
| CA3204378A1 (en) | Method of training a neural network configured for converting 2d images into 3d models | |
| CN113886639A (zh) | 数字人视频生成方法、装置、电子设备及存储介质 | |
| CN115866332B (zh) | 一种视频帧插帧模型的处理方法、装置以及处理设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |