CN114241387A - 具有金属质感图像的生成方法以及模型的训练方法 - Google Patents
具有金属质感图像的生成方法以及模型的训练方法 Download PDFInfo
- Publication number
- CN114241387A CN114241387A CN202111580389.8A CN202111580389A CN114241387A CN 114241387 A CN114241387 A CN 114241387A CN 202111580389 A CN202111580389 A CN 202111580389A CN 114241387 A CN114241387 A CN 114241387A
- Authority
- CN
- China
- Prior art keywords
- sample image
- image
- sample
- target
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
本申请提供一种具有金属质感图像的生成方法以及模型的训练方法，该方法包括：获取第一视频；将第一视频输入预先训练好的金属质感图像生成模型中，得到第二视频，第二视频中的各帧图像为具有金属质感的图像；其中，金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到。本申请提供的具有金属质感图像的生成方法以及模型的训练方法用于提高得到第二视频的实时性。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种具有金属质感图像的生成方法以及模型的训练方法。
背景技术
人像金属材质化，是指对人像赋予金属质感，使人像看起来像金属雕塑。
在相关技术中，为了实现人像金属材质化，通常采用基于法相估计的金色渲染方法，基于法相估计的金色渲染方法首先需要先对人像进行法相估计，然后基于估计出来的法相对人像进行金色渲染。
在上述相关技术中，采用基于法相估计的金色渲染方法的算法计算量大，导致对人像进行金色渲染的实时性较差。
发明内容
本申请提供一种具有金属质感图像的生成方法以及模型的训练方法，用以解决对人像进行金色渲染的实时性较差问题。
第一方面，本申请提供一种具有金属质感图像的生成方法，包括：
获取第一视频；
将第一视频输入预先训练好的金属质感图像生成模型中，得到第二视频，第二视频中的各帧图像为具有金属质感的图像；
其中，金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到。
可选地，金属质感图像生成模型基于多个样本图像对训练得到；
多个样本图像对基于多个第二样本图像和多个目标样本图像确定；
多个第二样本图像基于第一样本图像确定；
第一样本图像基于目标样本图像确定。
可选地，第二样本图像为将目标样本图像对应的灰度图输入第二网络模型中得到的；
第二网络模型为基于第三样本图像和目标样本图像对应的灰度图对第一网络模型进行训练得到的；
第三样本图像为基于第一样本图像确定的。
可选地，第三样本图像为基于第一样本图像中的第二人脸关键点和目标样本图像中的第一人脸关键点进行对齐得到的。
可选地，样本图像对基于第四样本图像和目标样本图像得到；
第四样本图像基于第二样本图像和第三样本图像进行融合得到。
可选地，第四样本图像基于人脸五官位置和第一掩膜图像将第二样本图像和对应的第三样本图像进行融合得到；
人脸五官位置和掩膜图像基于对目标样本图像进行人脸分割得到。
可选地，第四样本图像基于人脸五官位置和第二掩膜图像将第二样本图像和对应的第三样本图像进行融合得到；
第二掩膜图像为基于对第一掩膜图像进行形态学操作处理和/或高斯模糊处理得到。
可选地，样本图像对基于第二样本图像和处理后的图像得到；
处理后的图像基于对目标样本图像进行属性信息调整处理得到。
可选地，第二网络模型包括对第一网络模型进行训练过程中得到的多个第三网络模型；
第二样本图像基于将多个第五样本图像进行透明度混合处理得到；
多个第五样本图像基于多个第三网络模型分别对灰度图进行处理得到。
第二方面，本申请提供一种金属质感图像生成模型的训练方法，包括：
确定各目标样本图像对应的第一样本图像，第一样本图像为具有金属质感的图像；
根据各目标样本图像对应的第一样本图像，确定各目标样本图像对应的第二样本图像，第二样本图像中人脸五官的位置与对应的目标样本图像中人脸五官的位置之间的差值小于预设值；
根据各第二样本图像和各目标样本图像，确定多个样本图像对，并根据多个样本图像对，更新初始金属质感图像生成模型的模型参数，以得到金属质感图像生成模型。
可选地，根据第一样本图像，确定目标样本图像对应的第二样本图像，包括：
根据各第一样本图像，确定各第一样本图像对应的第三样本图像，第三样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值，小于第一样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值；
根据各第三样本图像和各目标样本图像对应的灰度图，对第一网络模型进行训练，得到第二网络模型；
通过第二网络模型对目标样本图像对应的灰度图进行处理，得到第二样本图像。
可选地，根据第一样本图像，确定第一样本图像对应的第三样本图像，包括：
分别提取目标样本图像中的多个第一人脸关键点，以及第一样本图像中的多个第二人脸关键点；
将第一样本图像中的第二人脸关键点和目标样本图像中的第一人脸关键点进行对齐，得到第三样本图像。
可选地，根据第二样本图像和目标样本图像，确定样本图像对，包括：
将第二样本图像和第三样本图像进行融合，得到第四样本图像；
根据第四样本图像和目标样本图像，确定样本图像对。
可选地，将第二样本图像和第三样本图像进行融合，得到第四样本图像，包括：
对目标样本图像进行人脸分割，得到人脸五官位置和第一掩膜图像；
根据人脸五官位置和第一掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像。
可选地，根据人脸五官位置和第一掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像，包括：
对第一掩膜图像进行形态学操作处理和/或高斯模糊处理，得到第二掩膜图像；
根据人脸五官位置和第二掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像。
可选地，根据第二样本图像和目标样本图像，确定样本图像对，包括：
对目标样本图像进行属性信息调整处理，得到处理后的图像；
将第二样本图像和处理后的图像，确定为样本图像对。
可选地，第二网络模型包括对第一网络模型进行训练过程中得到的多个第三网络模型；
通过第二网络模型对目标样本图像对应的灰度图进行处理，得到第二样本图像，包括：
通过多个第三网络模型，分别对灰度图进行处理，得到多个第五样本图像；
对多个第五样本图像进行透明度混合处理，得到第二样本图像。
第三方面，本申请提供一种具有金属质感图像的生成装置，包括：处理模块；处理模块用于：
获取第一视频；
将第一视频输入预先训练好的金属质感图像生成模型中，得到第二视频，第二视频中的各帧图像为具有金属质感的图像；
其中，金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到。
可选地，金属质感图像生成模型基于多个样本图像对训练得到；
多个样本图像对基于多个第二样本图像和多个目标样本图像确定；
多个第二样本图像基于第一样本图像确定；
第一样本图像基于目标样本图像确定。
可选地，第二样本图像为将目标样本图像对应的灰度图输入第二网络模型中得到的；
第二网络模型为基于第三样本图像和目标样本图像对应的灰度图对第一网络模型进行训练得到的；
第三样本图像为基于第一样本图像确定的。
可选地，第三样本图像为基于第一样本图像中的第二人脸关键点和目标样本图像中的第一人脸关键点进行对齐得到的。
可选地，样本图像对基于第四样本图像和目标样本图像得到；
第四样本图像基于第二样本图像和第三样本图像进行融合得到。
可选地，第四样本图像基于人脸五官位置和第一掩膜图像将第二样本图像和对应的第三样本图像进行融合得到；
人脸五官位置和掩膜图像基于对目标样本图像进行人脸分割得到。
可选地，第四样本图像基于人脸五官位置和第二掩膜图像将第二样本图像和对应的第三样本图像进行融合得到；
第二掩膜图像为基于对第一掩膜图像进行形态学操作处理和/或高斯模糊处理得到。
可选地，样本图像对基于第二样本图像和处理后的图像得到；
处理后的图像基于对目标样本图像进行属性信息调整处理得到。
可选地，第二网络模型包括对第一网络模型进行训练过程中得到的多个第三网络模型；
第二样本图像基于将多个第五样本图像进行透明度混合处理得到；
多个第五样本图像基于多个第三网络模型分别对灰度图进行处理得到。
第四方面，本申请提供一种金属质感图像生成模型的训练装置，包括：处理模块；处理模块用于：
确定各目标样本图像对应的第一样本图像，第一样本图像为具有金属质感的图像；
根据各目标样本图像对应的第一样本图像，确定各目标样本图像对应的第二样本图像，第二样本图像中人脸五官的位置与对应的目标样本图像中人脸五官的位置之间的差值小于预设值；
根据各第二样本图像和各目标样本图像，确定多个样本图像对，并根据多个样本图像对，更新初始金属质感图像生成模型的模型参数，以得到金属质感图像生成模型。
可选地，处理模块具体用于：
根据各第一样本图像，确定各第一样本图像对应的第三样本图像，第三样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值，小于第一样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值；
根据各第三样本图像和各目标样本图像对应的灰度图，对第一网络模型进行训练，得到第二网络模型；
通过第二网络模型对目标样本图像对应的灰度图进行处理，得到第二样本图像。
可选地，处理模块具体用于：
分别提取目标样本图像中的多个第一人脸关键点，以及第一样本图像中的多个第二人脸关键点；
将第一样本图像中的第二人脸关键点和目标样本图像中的第一人脸关键点进行对齐，得到第三样本图像。
可选地，处理模块具体用于：
将第二样本图像和第三样本图像进行融合，得到第四样本图像；
根据第四样本图像和目标样本图像，确定样本图像对。
可选地，处理模块具体用于：
对目标样本图像进行人脸分割，得到人脸五官位置和第一掩膜图像；
根据人脸五官位置和第一掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像。
可选地，处理模块具体用于：
对第一掩膜图像进行形态学操作处理和/或高斯模糊处理，得到第二掩膜图像；
根据人脸五官位置和第二掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像。
可选地，处理模块具体用于：
对目标样本图像进行属性信息调整处理，得到处理后的图像；
将第二样本图像和处理后的图像，确定为样本图像对。
可选地，第二网络模型包括对第一网络模型进行训练过程中得到的多个第三网络模型；处理模块具体用于：
通过多个第三网络模型，分别对灰度图进行处理，得到多个第五样本图像；
对多个第五样本图像进行透明度混合处理，得到第二样本图像。
第五方面，本申请提供一种具有金属质感图像的生成设备，包括：处理器，以及与处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现如第一方面任一项的方法。
第六方面，本申请提供一种金属质感图像生成模型的训练设备，包括：处理器，以及与处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现如第二方面任一项的方法。
第七方面，本申请提供一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项的方法。
第八方面，本申请提供一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第二方面任一项的方法。
第九方面，本申请提供一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项的方法。
第十方面，本申请提供一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现第二方面任一项的方法。
本申请提供一种具有金属质感图像的生成方法以及模型的训练方法，该方法包括：获取第一视频；将第一视频输入预先训练好的金属质感图像生成模型中，得到第二视频，第二视频中的各帧图像为具有金属质感的图像；其中，金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到。在上述方法中，金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到，因此可以避免基于法相估计的金色渲染方法首先需要先对人像进行法相估计，从而减小数据计算量，因此将第一视频输入预先训练好的金属质感图像生成模型中，可以实时地得到第二视频，从而提高得到第二视频的实时性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请提供的应用场景示意图；
图2为本申请提供的具有金属质感图像的生成方法的流程图；
图3为本申请提供的金属质感图像生成模型的训练方法流程图；
图4为本申请提供的得到第二样本图像的方法流程图；
图5为本申请提供的得到样本图像对的方法流程图；
图6为本申请提供的高精金属质感人模型的示意图；
图7为本申请提供的具有金属质感图像的生成装置的结构示意图；
图8为本申请提供的金属质感图像生成模型的训练装置的结构示意图；
图9为本申请提供的具有金属质感图像的生成设备的硬件示意图；
图10为本申请提供的金属质感图像生成模型的训练设备的硬件示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在相关技术中，采用基于法相估计的金色渲染方法，基于法相估计的金色渲染方法首先需要先对人像进行法相估计，然后基于估计出来的法相对人像进行金色渲染。由于采用基于法相估计的金色渲染方法的算法计算量大，因此导致对人像进行金色渲染染的实时性较差，例如当视频中的人像进行金色渲染时，金色渲染之后的视频较为卡顿。
在本申请中，为了提高对人像进行金色渲染的实时性，发明人想到，设计一种计算量较小的金属质感图像生成模型，将第一视频输入到金属质感图像生成模型之后，可以快速的输出第二视频，第二视频中的各帧第一样本图像为具有金属质感的图像，从而提高对人像进行金色渲染的实时性。
下面结合图1对本申请提供的具有金属质感图像的生成方法的应用场景进行说明。
图1为本申请提供的应用场景示意图。如图1所示，包括：第一视频、第二视频和金属质感图像生成模型。
第一视频中包括多帧图像，例如多帧图像包括图像11、12、13。
第二视频中包括多帧图像，例如多帧图像包括图像21、22、23。
金属质感图像生成模型用于分别对图像11、12、13依次进行处理，并输出图像21、22、23。其中，图像21为图像11对应的具有金属质感的样本图像，图像22为图像12对应的具有金属质感的样本图像，图像23为图像13对应的具有金属质感的样本图像。
接着以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请提供的具有金属质感图像的生成方法的流程图。如图2所示，该方法包括：
S201，获取第一视频。
可选地，具有金属质感图像的生成方法的执行主体可以为金属质感图像的生成设备，也可以为设置在金属质感图像的生成装置中的金属质感图像的生成装置，该金属质感图像的生成装置可以通过软件和/或硬件的结合来实现。
可选地，第一视频可以为电子设备实时采集到的视频，也可以为预先存储在电子设备中的视频。第一视频中包括X帧图像。X为大于或等于2的整数。
S202，将第一视频输入预先训练好的金属质感图像生成模型中，得到第二视频；第二视频中的各帧图像为具有金属质感的图像，金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到。
第二视频中包括的图像的数量等于第一视频中包括的图像的数量。
在图2实施例提供的具有金属质感图像的生成方法中，金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到，因此可以避免基于法相估计的金色渲染方法首先需要先对人像进行法相估计，从而减小数据计算量，因此将第一视频输入预先训练好的金属质感图像生成模型中，可以实时地得到第二视频，从而提高得到第二视频的实时性。
在上述实施例的基础上，下面结合具体实施例对金属质感图像生成模型的训练方法进行说明。
图3为本申请提供的金属质感图像生成模型的训练方法流程图。如图3所示，该方法包括：
S301，确定各目标样本图像对应的第一样本图像，第一样本图像为具有金属质感的图像。
可选地，金属质感图像生成模型的训练方法的执行主体可以为金属质感图像生成模型的训练设备，或者设置在该训练设备中的金属质感图像生成模型的训练装置，该训练装置可以通过软件和/或硬件的结合来实现。
该训练设备例如可以为服务器，可以为上述生成设备。
目标样本图像为彩色图像。例如目标样本图像可以为RGB图像。
在一些实施例中，针对每张目标样本图像，可以通过如下方法确定目标样本图像对应的第一样本图像：分别调整预先渲染的N个三维(3D)高精金属质感人模型的光照、颜色、以及姿态角度，生成多个二维(2D)金属质感图像；采用多个二维(2D)金属质感图像，对初始金属质感添加模型进行训练，得到金属质感添加模型；通过金属质感添加模型，对目标样本图像进行处理，得到目标样本图像对应的第一样本图像。
N为大于或等于2的整数。例如，N可以为6、7、8、10等。
初始金属质感添加可以为敏捷生成对抗网络(Agile Generative adversarialNets，Agile-GAN)模型。
针对目标样本图像对应的第一样本图像，第一样本图像和目标样本图像中人脸图像中的五官形状差距较大，但是第一样本图像的金属质感较好。
S302，根据各目标样本图像对应的第一样本图像，确定各目标样本图像对应的第二样本图像，第二样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值小于预设值。
各目标样本图像具有对应的第二样本图像。
在一些实施例中，针对每张目标样本图像，可以通过如下方式01、02，得到目标样本图像对应的第二样本图像。
方式01，可以采用各目标样本图像对应的第一样本图像和各目标样本图像对应的灰度图像，对第一网络模型进行训练，得到第二网络模型；通过第二网络模型，对目标样本图像进行处理，得到目标样本图像对应的第二样本图像。
方式02，可以采用各目标样本图像对应的第一样本图像和各目标样本图像对应的灰度图像，对第一网络模型进行训练，得到第二网络模型；对目标样本图像进行属性信息调整，得到处理后的图像；通过第二网络模型，对处理后的图像进行处理，得到目标样本图像对应的第二样本图像。
第一网络模型为敏捷生成对抗网络(Cycle Generative adversarial Nets，Cycle-GAN)模型。
可选地，属性信息可以包括亮度(brightness)、对比度(contrast)、色相(hue)、分辨率(resolutiuon)、模糊(bluring)等中的任意至少一种。
S303，根据各第二样本图像和各目标样本图像，确定多个样本图像对，并根据多个样本图像对，更新初始金属质感图像生成模型的模型参数，以得到金属质感图像生成模型。
在一些实施例中，针对每个样本图像对，将目标样本图像和该目标样本图像对应的第二样本图像，确定为样本图像对。
在一些实施例中，针对每个样本图像对，对目标样本图像进行属性信息调整处理，得到处理后的图像；将第二样本图像和处理后的图像，确定为样本图像对。
在本申请中，对目标样本图像进行属性信息调整处理，得到处理后的图像；根据处理后的图像，得到样本图像对，可以提高金属质感图像生成模型的模型适应能力以及鲁棒性。
初始金属质感图像生成模型为Pix2pix模型。
在图3实施例提供的金属质感图像生成模型的训练方法中，通过金属质感添加模型，分别各目标样本图像进行处理，得到各目标样本图像对应的第一样本图像，以确定多个第一样本图像，可以使得第一样本图像具有较好的金属质感。此外，根据第一样本图像，确定目标样本图像对应的多个第二样本图像，各第二样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值小于预设值，可以使得第二样本图像和目标样本图像的人脸五官较为对齐。进一步地，通过根据各第二样本图像和各目标样本图像，确定多个样本图像对，并根据多个样本图像对，更新初始金属质感图像生成模型的模型参数，以得到金属质感图像生成模型，可以提高金属质感图像生成模型的准确性。
在上述实施例的基础上，下面结合图4对得到第二样本图像的方法进行说明。
图4为本申请提供的得到第二样本图像的方法流程图。如图4所示，该方法包括：
S401，根据各第一样本图像，确定各第一样本图像对应的第三样本图像(记为warp_agile_image)。
第三样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值，小于第一样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值。
在一些实施例中，可以通过如下方法得到第三样本图像：分别提取目标样本图像中的多个第一人脸关键点，以及第一样本图像中的多个第二人脸关键点；将第一样本图像中的第二人脸关键点和目标样本图像中的第一人脸关键点进行对齐，得到第三样本图像。
可选地，可以通过如下3种方式提取目标样本图像中的多个第一人脸关键点。
方式11，通过人脸关键点检测算法模型，对目标样本图像进行关键点提取，得到目标样本图像中的多个第一人脸关键点。
方式12，通过人脸关键点检测算法模型，对目标样本图像进行关键点提取，得到多个面部关键点；通过瞳孔关键点检测算法模型，对目标样本图像进行关键点提取，得到多个瞳孔关键点；通过人脸外轮廓关键点检测算法模型，对目标样本图像进行关键点提取，得到多个人脸外轮廓关键点；根据多个面部关键点、多个瞳孔关键点和多个人脸外轮廓关键点，确定多个目标人脸关键点。
可选地，可以将多个面部关键点中鼻子、嘴巴、眼睛和眉毛这四个部位对应的关键点，以及多个瞳孔关键点和多个人脸外轮廓关键点，确定为多个目标人脸关键点。
可选地，也可以将多个面部关键点中鼻子、嘴巴、眼睛、眉毛和脸部轮廓(脸部下半部分轮廓)这五个部分对应的关键点，多个瞳孔关键点、以及多个人脸外轮廓关键点中脸部上半部分轮廓对应的关键点，确定为多个目标人脸关键点。
方式13，通过人脸关键点检测算法模型，对目标样本图像进行关键点提取，得到多个面部关键点；通过瞳孔关键点检测算法模型，对目标样本图像进行关键点提取，得到多个瞳孔关键点；通过嘴部密集关键点检测算法模型，对目标样本图像进行关键点提取，得到多个嘴部关键点；通过人脸外轮廓关键点检测算法模型，对目标样本图像进行关键点提取，得到多个人脸外轮廓关键点；根据多个面部关键点、多个瞳孔关键点、多个嘴部关键点和多个人脸外轮廓关键点，确定为多个目标人脸关键点。
可选地，可以将多个面部关键点中鼻子、眼睛和眉毛这3个部位对应的关键点，以及多个瞳孔关键点、多个嘴部关键点和多个人脸外轮廓关键点，确定为多个目标人脸关键点。
可选地，也可以将多个面部关键点中鼻子、眼睛、眉毛和脸部轮廓(脸部下半部分轮廓)这四个部分对应的关键点，多个瞳孔关键点、多个嘴部关键点、以及多个人脸外轮廓关键点中脸部上半部分轮廓对应的关键点，确定为多个目标人脸关键点。
可选地，也可以采用与方式11、12、或者13相似的方法提取第一样本图像中的多个第二人脸关键点，此处不再赘述。
在一些实施例中，可以通过仿射变换(thin plate spline warping)，将第一样本图像中的第二人脸关键点和目标样本图像中的第一人脸关键点进行对齐，得到第三样本图像。
需要说明的是，第三样本图像中人脸五官的位置与目标样本图像中人脸五官的位置更加对齐，契合度较高。
S402，根据各第三样本图像和各目标样本图像对应的灰度图，对第一网络模型进行训练，得到第二网络模型。
S403，通过第二网络模型，对目标样本图像对应的灰度图进行处理，得到第二样本图像。
在图4实施例提供的得到第二样本图像中，根据各第三样本图像和各目标样本图像对应的灰度图，对第一网络模型进行训练，得到第二网络模型，并通过目标样本图像对应的灰度图进行处理，得到第二样本图像，可以使得第二样本图像较好的保留目标样本图像中的人脸五官。
在一些实施例中，第二网络模型包括对第一网络模型进行训练过程中得到的多个第三网络模型；上述S403具体包括：通过多个第三网络模型，分别对灰度图进行处理，得到多个第五样本图像；对多个第五样本图像进行透明度混合(alpha-blending)处理，得到第二样本图像。
需要说明的是，第二样本图像和目标样本图像的人脸五官较为对齐，但是通常金属质感较差，因此在第二样本图像和目标样本图像的人脸五官较为对齐基础上，通过金属质感较好的第三样本图像，得到样本图像对。
在上述实施例的基础上，下面结合图5对得到样本图像对的方法进行说明，具体的，请参见图5实施例。
图5为本申请提供的得到样本图像对的方法流程图一。如图5所示，该方法包括：
S501，将目标样本图像对应的第二样本图像和第三样本图像进行融合，得到第四样本图像(记为final_target_image)。
在一些实施例中，S501具体包括：对目标样本图像进行人脸分割，得到人脸五官位置和第一掩膜图像；根据人脸五官位置和第一掩膜图像，将第二样本图像(记为cycle_image)和对应的第三样本图像进行融合，得到第四样本图像。
其中，第一掩膜图像为人脸五官对应的掩膜图像。
在本申请中，由于第二样本图像中的人脸五官较好，第三样本图像的金属质感较好，因此可以根据第一掩膜图像和人脸五官位置，从而第二样本图像中获取人脸五官图像，从第二样本图像对应的第三样本图像中获取除上述人脸五官图像之外的其他图像，并将人脸五官图像和其他图像进行组合，得到第四样本图像。
在一些实施例中，根据人脸五官位置和第一掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像，包括：对第一掩膜图像进行形态学操作处理和/或高斯模糊处理，得到第二掩膜图像；根据人脸五官位置和第二掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像。
在本申请中，对第一掩膜图像进行形态学操作处理和/或高斯模糊处理，得到第二掩膜图像；根据人脸五官位置和第二掩膜图像，得到第四样本图像，
在一些实施例中，形态学操作处理包括膨胀和/或腐蚀(Dilation and Erosion)。
S502，根据第四样本图像和目标样本图像，确定样本图像对。
在一些实施例中，可以将第四样本图像和目标样本图像，确定为样本图像对。
在一些实施例中，对目标样本图像进行属性信息调整处理，得到处理后的图像；
将第四样本图像和处理后的图像，确定为样本图像对。
在图5实施例中，将目标样本图像对应的第二样本图像和第三样本图像进行融合，得到第四样本图像，可以提高第四样本图像和目标样本图像的五官相似度、以及第四样本图像中人脸图像的金属质感。
需要说明的是，对本申请涉及的图像进行属性信息调整的过程中，还可以根据该图像对应的目标样本图像的头发掩膜图像，改变该图像中的头发颜色，使得初始金属质感图像生成模型能够在多变的条件下学习到头发的颜色，不再局限于单一黑色来生成图像，提高金属质感图像生成模型适应能力和鲁棒性。
可选地，在对图像进行属性信息调整之后、或者之前，可以还在图像中增加图像噪声，让初始金属质感图像生成模型在极端条件下，学习样本图像对，以进一步地提高金属质感图像生成模型适应能力和鲁棒性。
图6为本申请提供的高精金属质感人模型的示意图。如图6所示，包括：三维高精金属质感人模型61、62、63。
图7为本申请提供的具有金属质感图像的生成装置的结构示意图。如图7所示，具有金属质感图像的生成装置10包括：处理模块101；处理模块101用于：
获取第一视频；
将第一视频输入预先训练好的金属质感图像生成模型中，得到第二视频，第二视频中的各帧图像为具有金属质感的图像；
其中，金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到。
本申请提供的具有金属质感图像的生成装置10可以执行上述具有金属质感图像的生成方法，其实现原理以及有益效果类似，此处不再进行赘述。
可选地，金属质感图像生成模型基于多个样本图像对训练得到；
多个样本图像对基于多个第二样本图像和多个目标样本图像确定；
多个第二样本图像基于第一样本图像确定；
第一样本图像基于目标样本图像确定。
可选地，第二样本图像为将目标样本图像对应的灰度图输入第二网络模型中得到的；
第二网络模型为基于第三样本图像和目标样本图像对应的灰度图对第一网络模型进行训练得到的；
第三样本图像为基于第一样本图像确定的。
可选地，第三样本图像为基于第一样本图像中的第二人脸关键点和目标样本图像中的第一人脸关键点进行对齐得到的。
可选地，样本图像对基于第四样本图像和目标样本图像得到；
第四样本图像基于第二样本图像和第三样本图像进行融合得到。
可选地，第四样本图像基于人脸五官位置和第一掩膜图像将第二样本图像和对应的第三样本图像进行融合得到；
人脸五官位置和掩膜图像基于对目标样本图像进行人脸分割得到。
可选地，第四样本图像基于人脸五官位置和第二掩膜图像将第二样本图像和对应的第三样本图像进行融合得到；
第二掩膜图像为基于对第一掩膜图像进行形态学操作处理和/或高斯模糊处理得到。
可选地，样本图像对基于第二样本图像和处理后的图像得到；
处理后的图像基于对目标样本图像进行属性信息调整处理得到。
可选地，第二网络模型包括对第一网络模型进行训练过程中得到的多个第三网络模型；
第二样本图像基于将多个第五样本图像进行透明度混合处理得到；
多个第五样本图像基于多个第三网络模型分别对灰度图进行处理得到。
本申请提供的具有金属质感图像的生成装置10可以执行上述具有金属质感图像的生成方法，其实现原理以及有益效果类似，此处不再进行赘述。
图8为本申请提供的金属质感图像生成模型的训练装置的结构示意图。如图8所示，金属质感图像生成模型的训练装置20包括：处理模块201；处理模块201用于：
确定各目标样本图像对应的第一样本图像，第一样本图像为具有金属质感的图像；
根据各目标样本图像对应的第一样本图像，确定各目标样本图像对应的第二样本图像，第二样本图像中人脸五官的位置与对应的目标样本图像中人脸五官的位置之间的差值小于预设值；
根据各第二样本图像和各目标样本图像，确定多个样本图像对，并根据多个样本图像对，更新初始金属质感图像生成模型的模型参数，以得到金属质感图像生成模型。
本申请提供的金属质感图像生成模型的训练装置20可以执行上述金属质感图像生成模型的训练方法，其实现原理以及有益效果类似，此处不再进行赘述。
可选地，处理模块具体用于：
根据各第一样本图像，确定各第一样本图像对应的第三样本图像，第三样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值，小于第一样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值；
根据各第三样本图像和各目标样本图像对应的灰度图，对第一网络模型进行训练，得到第二网络模型；
通过第二网络模型对目标样本图像对应的灰度图进行处理，得到第二样本图像。
可选地，处理模块具体用于：
分别提取目标样本图像中的多个第一人脸关键点，以及第一样本图像中的多个第二人脸关键点；
将第一样本图像中的第二人脸关键点和目标样本图像中的第一人脸关键点进行对齐，得到第三样本图像。
可选地，处理模块具体用于：
将第二样本图像和第三样本图像进行融合，得到第四样本图像；
根据第四样本图像和目标样本图像，确定样本图像对。
可选地，处理模块具体用于：
对目标样本图像进行人脸分割，得到人脸五官位置和第一掩膜图像；
根据人脸五官位置和第一掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像。
可选地，处理模块具体用于：
对第一掩膜图像进行形态学操作处理和/或高斯模糊处理，得到第二掩膜图像；
根据人脸五官位置和第二掩膜图像，将第二样本图像和对应的第三样本图像进行融合，得到第四样本图像。
可选地，处理模块具体用于：
对目标样本图像进行属性信息调整处理，得到处理后的图像；
将第二样本图像和处理后的图像，确定为样本图像对。
可选地，第二网络模型包括对第一网络模型进行训练过程中得到的多个第三网络模型；处理模块具体用于：
通过多个第三网络模型，分别对灰度图进行处理，得到多个第五样本图像；
对多个第五样本图像进行透明度混合处理，得到第二样本图像。
本申请提供的金属质感图像生成模型的训练装置20可以执行上述金属质感图像生成模型的训练方法，其实现原理以及有益效果类似，此处不再进行赘述。
图9为本申请提供的具有金属质感图像的生成设备的硬件示意图。如图9所示，具有金属质感图像的生成设备30可以包括：收发器301、存储器302和处理器303。
其中，收发器301可以包括：发射器和/或接收器。发射器还可称为发送器、发射机、发送端口或发送接口等类似描述。接收器还可称为接收器、接收机、接收端口或接收接口等类似描述。
示例性地，收发器301、存储器302、处理器303各部分之间通过总线相互连接。
存储器302用于存储计算机执行指令。
处理器303用于执行存储器302存储的计算机执行指令，使得处理器303执行上述具有金属质感图像的生成方法。
图10为本申请提供的金属质感图像生成模型的训练设备的硬件示意图。如图10所示，金属质感图像生成模型的训练设备40可以包括：收发器401、存储器402和处理器403。
其中，收发器401可以包括：发射器和/或接收器。发射器还可称为发送器、发射机、发送端口或发送接口等类似描述。接收器还可称为接收器、接收机、接收端口或接收接口等类似描述。
示例性地，收发器401、存储器402、处理器403各部分之间通过总线相互连接。
存储器402用于存储计算机执行指令。
处理器403用于执行存储器402存储的计算机执行指令，使得处理器403执行上述金属质感图像生成模型的训练方法。
本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当计算机执行指令被处理器执行时实现上述具有金属质感图像的生成方法。
本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当计算机执行指令被处理器执行时实现上述金属质感图像生成模型的训练方法。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，可实现上述具有金属质感图像的生成方法。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，可实现上述金属质感图像生成模型的训练方法。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储器(存储介质)包括：只读存储器(read-only memory，ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(magnetic tape)、软盘(floppy disk)、光盘(optical disc)及其任意组合。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
在本申请中，术语“包括”及其变形可以指非限制性的包括；术语“或”及其变形可以指“和/或”。本本申请中术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本申请中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (25)
1.一种具有金属质感图像的生成方法，其特征在于，包括：
获取第一视频；
将所述第一视频输入预先训练好的金属质感图像生成模型中，得到第二视频，所述第二视频中的各帧图像为具有金属质感的图像；
其中，所述金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到。
2.根据权利要求1所述的方法，其特征在于，所述金属质感图像生成模型基于多个样本图像对训练得到；
所述多个样本图像对基于多个第二样本图像和多个目标样本图像确定；
所述多个第二样本图像基于所述第一样本图像确定；
所述第一样本图像基于所述目标样本图像确定。
3.根据权利要求2所述的方法，其特征在于，所述第二样本图像为将目标样本图像对应的灰度图输入第二网络模型中得到的；
所述第二网络模型为基于第三样本图像和所述目标样本图像对应的灰度图对第一网络模型进行训练得到的；
所述第三样本图像为基于所述第一样本图像确定的。
4.根据权利要求3所述的方法，其特征在于，所述第三样本图像为基于所述第一样本图像中的第二人脸关键点和所述目标样本图像中的第一人脸关键点进行对齐得到的。
5.根据权利要求3或4所述的方法，其特征在于，所述样本图像对基于第四样本图像和所述目标样本图像得到；
所述第四样本图像基于所述第二样本图像和所述第三样本图像进行融合得到。
6.根据权利要求5所述的方法，其特征在于，所述第四样本图像基于人脸五官位置和第一掩膜图像将所述第二样本图像和对应的所述第三样本图像进行融合得到；
所述人脸五官位置和所述掩膜图像基于对所述目标样本图像进行人脸分割得到。
7.根据权利要求6所述的方法，其特征在于，所述第四样本图像基于所述人脸五官位置和第二掩膜图像将所述第二样本图像和对应的所述第三样本图像进行融合得到；
所述第二掩膜图像为基于对所述第一掩膜图像进行形态学操作处理和/或高斯模糊处理得到。
8.根据权利要求2或3所述的方法，其特征在于，所述样本图像对基于所述第二样本图像和处理后的图像得到；
所述处理后的图像基于对所述目标样本图像进行属性信息调整处理得到。
9.根据权利要求3或4所述的方法，其特征在于，所述第二网络模型包括对所述第一网络模型进行训练过程中得到的多个第三网络模型；
所述第二样本图像基于将多个第五样本图像进行透明度混合处理得到；
所述多个第五样本图像基于所述多个第三网络模型分别对所述灰度图进行处理得到。
10.一种金属质感图像生成模型的训练方法，其特征在于，包括：
确定各目标样本图像对应的第一样本图像，所述第一样本图像为具有金属质感的图像；
根据各目标样本图像对应的第一样本图像，确定各目标样本图像对应的第二样本图像，所述第二样本图像中人脸五官的位置与对应的目标样本图像中人脸五官的位置之间的差值小于预设值；
根据各第二样本图像和各目标样本图像，确定多个样本图像对，并根据所述多个样本图像对，更新初始金属质感图像生成模型的模型参数，以得到金属质感图像生成模型。
11.根据权利要求10所述的方法，其特征在于，根据第一样本图像，确定目标样本图像对应的第二样本图像，包括：
根据各第一样本图像，确定各第一样本图像对应的第三样本图像，所述第三样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值，小于所述第一样本图像中人脸五官的位置与目标样本图像中人脸五官的位置之间的差值；
根据各第三样本图像和各目标样本图像对应的灰度图，对第一网络模型进行训练，得到第二网络模型；
通过所述第二网络模型对所述目标样本图像对应的灰度图进行处理，得到所述第二样本图像。
12.根据权利要求11所述的方法，其特征在于，根据第一样本图像，确定第一样本图像对应的第三样本图像，包括：
分别提取所述目标样本图像中的多个第一人脸关键点，以及所述第一样本图像中的多个第二人脸关键点；
将所述第一样本图像中的第二人脸关键点和所述目标样本图像中的第一人脸关键点进行对齐，得到所述第三样本图像。
13.根据权利要求11或12所述的方法，其特征在于，根据第二样本图像和目标样本图像，确定样本图像对，包括：
将所述第二样本图像和所述第三样本图像进行融合，得到第四样本图像；
根据所述第四样本图像和所述目标样本图像，确定样本图像对。
14.根据权利要求13所述的方法，其特征在于，所述将所述第二样本图像和所述第三样本图像进行融合，得到第四样本图像，包括：
对所述目标样本图像进行人脸分割，得到人脸五官位置和第一掩膜图像；
根据所述人脸五官位置和所述第一掩膜图像，将所述第二样本图像和对应的所述第三样本图像进行融合，得到所述第四样本图像。
15.根据权利要求14所述的方法，其特征在于，所述根据所述人脸五官位置和所述第一掩膜图像，将所述第二样本图像和对应的所述第三样本图像进行融合，得到所述第四样本图像，包括：
对所述第一掩膜图像进行形态学操作处理和/或高斯模糊处理，得到第二掩膜图像；
根据所述人脸五官位置和所述第二掩膜图像，将所述第二样本图像和对应的所述第三样本图像进行融合，得到所述第四样本图像。
16.根据权利要求10或11所述的方法，其特征在于，根据第二样本图像和目标样本图像，确定样本图像对，包括：
对所述目标样本图像进行属性信息调整处理，得到处理后的图像；
将所述第二样本图像和所述处理后的图像，确定为样本图像对。
17.根据权利要求11或12所述的方法，其特征在于，所述第二网络模型包括对所述第一网络模型进行训练过程中得到的多个第三网络模型；
通过所述第二网络模型对所述目标样本图像对应的灰度图进行处理，得到所述第二样本图像，包括：
通过所述多个第三网络模型，分别对所述灰度图进行处理，得到多个第五样本图像；
对所述多个第五样本图像进行透明度混合处理，得到所述第二样本图像。
18.一种具有金属质感图像的生成装置，其特征在于，包括：处理模块；所述处理模块用于：
获取第一视频；
将所述第一视频输入预先训练好的金属质感图像生成模型中，得到第二视频，所述第二视频中的各帧图像为具有金属质感的图像；
其中，所述金属质感图像生成模型基于多个第一样本图像和与各第一样本图像对应的具有金属质感的第二样本图像训练得到。
19.一种金属质感图像生成模型的训练装置，其特征在于，包括：处理模块；所述处理模块用于：
确定各目标样本图像对应的第一样本图像，所述第一样本图像为具有金属质感的图像；
根据各目标样本图像对应的第一样本图像，确定各目标样本图像对应的第二样本图像，所述第二样本图像中人脸五官的位置与对应的目标样本图像中人脸五官的位置之间的差值小于预设值；
根据各第二样本图像和各目标样本图像，确定多个样本图像对，并根据所述多个样本图像对，更新初始金属质感图像生成模型的模型参数，以得到金属质感图像生成模型。
20.一种具有金属质感图像的生成设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-9任一项所述的方法。
21.一种金属质感图像生成模型的训练设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求10-17任一项所述的方法。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-9任一项所述的方法。
23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求10-17任一项所述的方法。
24.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-9任一项所述的方法。
25.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求10-17任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111580389.8A CN114241387A (zh) | 2021-12-22 | 2021-12-22 | 具有金属质感图像的生成方法以及模型的训练方法 |
| PCT/SG2022/050904 WO2023121560A2 (zh) | 2021-12-22 | 2022-12-14 | 具有金属质感图像的生成方法以及模型的训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111580389.8A CN114241387A (zh) | 2021-12-22 | 2021-12-22 | 具有金属质感图像的生成方法以及模型的训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114241387A true CN114241387A (zh) | 2022-03-25 |
Family
ID=80761226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111580389.8A Pending CN114241387A (zh) | 2021-12-22 | 2021-12-22 | 具有金属质感图像的生成方法以及模型的训练方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114241387A (zh) |
| WO (1) | WO2023121560A2 (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014078808A (ja) * | 2012-10-09 | 2014-05-01 | Toshiba Corp | 画像処理装置、画像処理方法 |
| CN110753264B (zh) * | 2019-10-23 | 2022-06-07 | 支付宝(杭州)信息技术有限公司 | 视频生成方法、装置及设备 |
| CN112989904B (zh) * | 2020-09-30 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
-
2021
- 2021-12-22 CN CN202111580389.8A patent/CN114241387A/zh active Pending
-
2022
- 2022-12-14 WO PCT/SG2022/050904 patent/WO2023121560A2/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023121560A3 (zh) | 2023-08-31 |
| WO2023121560A2 (zh) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10685454B2 (en) | Apparatus and method for generating synthetic training data for motion recognition | |
| US10839575B2 (en) | User-guided image completion with image completion neural networks | |
| US11017586B2 (en) | 3D motion effect from a 2D image | |
| JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
| CN111488865B (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| CN110490896B (zh) | 一种视频帧图像处理方法和装置 | |
| CN109462747B (zh) | 基于生成对抗网络的dibr系统空洞填充方法 | |
| CN112889092A (zh) | 有纹理的神经化身 | |
| EP3905194A1 (en) | Pose estimation method and apparatus | |
| CN109844819A (zh) | 用于动态遮挡处置的系统和方法 | |
| CN112529999A (zh) | 一种参数估算模型的训练方法、装置、设备和存储介质 | |
| TWI457853B (zh) | 提供深度資訊之影像處理方法及其影像處理系統 | |
| US20190392632A1 (en) | Method and apparatus for reconstructing three-dimensional model of object | |
| US11727628B2 (en) | Neural opacity point cloud | |
| WO2012096907A1 (en) | Mesh animation | |
| CN112699885A (zh) | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 | |
| CN115131492A (zh) | 目标对象的重光照方法、装置及存储介质和背景替换方法 | |
| CN113723317A (zh) | 3d人脸的重建方法、装置、电子设备和存储介质 | |
| CN117501313A (zh) | 基于深度神经网络的毛发渲染系统 | |
| CN110602476B (zh) | 一种基于深度信息辅助的高斯混合模型的空洞填补方法 | |
| CN116863044A (zh) | 人脸模型的生成方法、装置、电子设备及可读存储介质 | |
| CN114241387A (zh) | 具有金属质感图像的生成方法以及模型的训练方法 | |
| CN115841546A (zh) | 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统 | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
| CN106886791A (zh) | 一种基于条件随机场的二维ct图片中脂肪位置识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |