CN113705295A - 对象姿态迁移方法、装置、设备及存储介质 - Google Patents
对象姿态迁移方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113705295A CN113705295A CN202110262518.2A CN202110262518A CN113705295A CN 113705295 A CN113705295 A CN 113705295A CN 202110262518 A CN202110262518 A CN 202110262518A CN 113705295 A CN113705295 A CN 113705295A
- Authority
- CN
- China
- Prior art keywords
- migration
- texture
- image
- foreground
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005012 migration Effects 0.000 title claims abstract description 344
- 238000013508 migration Methods 0.000 title claims abstract description 344
- 238000000034 method Methods 0.000 title claims abstract description 110
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 22
- 230000007704 transition Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 93
- 238000005516 engineering process Methods 0.000 description 28
- 238000013507 mapping Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种对象姿态迁移方法、装置、设备及计算机可读存储介质，涉及计算机视觉技术领域，所述方法包括：获取源对象的视频帧中用于表征源对象的肢体动作的姿态数据；姿态数据包括表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征；基于骨架特征和模型特征，分别生成目标对象的动态纹理数据和纹理坐标数据；根据动态纹理数据和纹理坐标数据，生成用于显示目标对象的前景迁移图像；前景迁移图像中目标对象的肢体动作与视频帧中源对象的肢体动作相同；基于前景迁移图像，生成迁移视频帧。通过本申请提供的对象姿态迁移方法，能够生成细节丰富的迁移视频帧。
Description
技术领域
本申请涉及机器视觉技术领域，尤其涉及一种对象姿态迁移方法、装置、设备及计算机可读存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。其中，计算机视觉技术(Computer Vision，CV)是人工智能的重要分支。在计算机视觉技术的实际应用过程中，对象姿态迁移技术有着广泛的应用场景，例如虚拟主播或虚拟教师的合成。
对象姿态迁移技术可以在给定源对象图像/视频和目标对象图像/视频的条件下，可以生成与源对象做相同动作的目标对象的图像/视频。但是，在传统的对象姿态迁移技术中，生成的图像/视频细节不够丰富，真实度较低。
发明内容
本申请实施例提供一种对象姿态迁移方法、装置、设备及计算机可读存储介质，能够生成细节丰富的迁移视频帧。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种对象姿态迁移方法，包括：获取源对象的视频帧中用于表征源对象的肢体动作的姿态数据；姿态数据包括表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征；基于骨架特征和模型特征，分别生成目标对象的动态纹理数据和纹理坐标数据；根据动态纹理数据和纹理坐标数据，生成用于显示目标对象的前景迁移图像；前景迁移图像中目标对象的肢体动作与视频帧中源对象的肢体动作相同；基于前景迁移图像，生成迁移视频帧。
在本申请的一些实施例中，所述获取源对象的视频帧中用于表征对象骨架姿态的骨架特征，包括：获取视频帧中源对象的骨架关键点集合；基于骨架关键点集合得到骨架特征。
在本申请的一些实施例中，所述获取源对象的视频帧中用于表征对象模型姿态的模型特征，包括：根据视频帧构建源对象的三维模型；三维模型包括多个模型顶点；根据多个模型顶点构建拉普拉斯矩阵；确定普拉斯矩阵对应的多个特征值和每一特征值对应的特征向量；在多个特征值中确定满足预设要求的N个目标特征值；根据N个目标特征值对应的N个特征向量，确定每一模型顶点的顶点特征；将每一模型顶点的顶点特征投影至二维平面，得到模型特征。
在本申请的一些实施例中，所述纹理坐标数据包括前景迁移图像中每一迁移像素点对应的迁移坐标信息；动态纹理数据包括每一纹理部位对应的迁移纹理图；所述基于骨架特征和模型特征，生成动态纹理数据和纹理坐标数据，包括：根据骨架特征和模型特征，生成每一迁移像素点对应的迁移坐标信息；迁移坐标信息包括迁移像素点处于每一纹理部位的坐标信息和置信度信息；根据骨架特征和模型特征，生成每一纹理部位对应的迁移纹理图；所述根据动态纹理数据和纹理坐标数据，生成前景迁移图像，包括：基于每一纹理部位对应的迁移纹理图，每一前景像素点处于每一纹理部位的坐标信息和置信度信息，生成前景迁移图像。
在本申请的一些实施例中，所述基于前景迁移图像，生成迁移视频帧，包括：根据骨架特征、模型特征对初始背景图进行处理，得到背景迁移图像；融合前景迁移图像和背景迁移图像，得到迁移视频帧。
在本申请的一些实施例中，所述融合前景迁移图像和背景迁移图像，得到迁移视频帧，包括：根据每一迁移像素点处于每一纹理部位的置信度信息，确定迁移视频帧中与每一迁移像素点对应的目标像素点属于背景迁移图像的概率；基于每一目标像素点属于背景迁移图像的概率、前景迁移图像和背景迁移图像，确定迁移视频帧。
在本申请的一些实施例中，所述上述对象姿态迁移方法，由已训练的姿态迁移模型实现；所述姿态迁移模型的训练过程，包括：获取目标对象视频中的原始视频帧；提取原始视频帧中的原始骨架特征和原始模型特征；将原始骨架特征和原始模型特征输入至待训练的姿态迁移模型，得到预测视频帧；其中，姿态预测网络用于根据原始骨架特征和原始模型特征生成预测纹理数据和预测坐标数据，根据预测纹理数据和预测坐标数据，生成前景预测图像，并基于前景预测图像，生成预测视频帧；基于原始视频帧和预测视频帧，对待训练的姿态迁移模型的参数进行调整，以得到已训练的姿态迁移模型。
在本申请的一些实施例中，所述姿态迁移模型包括前景生成网络和背景生成网络；所述将原始骨架特征和原始模型特征输入至待训练的姿态迁移模型，得到预测视频帧，包括：将原始骨架特征和原始模型特征输入至前景生成网络，得到前景预测图像；将原始骨架特征和原始模型特征和初始背景图输入至背景生成网络，得到背景预测图像；融合前景预测图像和背景预测图像，得到预测视频帧。
在本申请的一些实施例中，所述前景生成网络包括纹理图像生成子网络和纹理坐标生成子网络；所述将原始骨架特征和原始模型特征输入至前景生成网络，得到前景预测图像，包括：将原始骨架特征和原始模型特征输入至经过预训练的纹理坐标生成子网络，得到预测坐标数据；所述预测坐标数据包括所述前景预测图像中每一前景预测像素点对应的预测坐标信息；预测坐标信息包括前景预测像素点处于每一纹理部位的坐标信息和置信度信息；将原始骨架特征和原始模型特征输入至纹理图像生成子网络，得到所述预测纹理数据，所述预测纹理数据包括每一纹理部位对应的预测纹理图；基于每一纹理部位对应的预测纹理图，每一前景预测像素点处于每一纹理部位的坐标信息和置信度信息，生成前景预测图像。
在本申请的一些实施例中，所述纹理图像生成子网络包括编码层和解码层；所述将原始骨架特征和原始模型特征输入至纹理图像生成子网络，得到每一纹理部位对应的预测纹理图，包括：将原始模型特征投影至纹理空间，得到输入纹理特征；将输入纹理特征、原始骨架特征和原始模型特征输入至编码层，得到编码特征；将编码特征输入至解码层，得到每一纹理部位的对应的纹理预测图。
在本申请的一些实施例中，所述解码层包括每一纹理部位对应的局部解码器；所述将编码特征输入至解码层，得到每一纹理部位的对应的纹理预测图，包括：将编码特征分别输入至每一纹理部位对应的局部解码器；得到每一纹理部位对应的局部解码器输出的每一纹理部位对应的纹理预测图。
在本申请的一些实施例中，所述融合前景预测图像和背景预测图像，得到预测视频帧，包括：根据每一前景预测像素点处于每一纹理部位的置信度信息，确定预测视频帧中与每一前景预测像素点对应的输出像素点属于背景预测图像的概率；基于每一输出像素点属于背景预测图像的概率、前景预测图像和背景预测图像，确定预测视频帧。
在本申请的一些实施例中，所述方法还包括：获取目标对象视频中的多个待处理视频帧；利用分割网络对多个待处理视频帧进行背景分割，得到多个第一背景帧；利用图像补全算法对多个第一背景帧进行处理，得到多个第二背景帧；对多个第二背景帧进行平均融合处理，得到初始背景图。
在本申请的一些实施例中，所述纹理坐标生成子网络的预训练过程，包括：获取纹理坐标训练集；纹理坐标训练集包括多个样本姿态信息和每一样本姿态信息对应的真实坐标信息；将每一样本姿态信息输入至待训练的纹理坐标生成子网络，得到每一样本姿态信息对应的预测坐标信息；将每一样本姿态信息对应的预测坐标信息和真实坐标信息输入至预设的坐标损失函数，确定坐标损失值；利用坐标损失值对待训练的纹理坐标生成子网络，直至坐标损失值收敛，输出经过预训练的纹理坐标生成子网络。
在本申请的一些实施例中，所述基于原始视频帧和预测视频帧，对待训练的姿态迁移模型的参数进行调整，以得到已训练的姿态迁移模型，包括：基于姿态信息、原始视频帧和预测视频帧计算第一损失函数的值；基于原始视频帧和预测视频帧计算第二损失函数的值；基于第一损失函数的值和第二损失函数的值计算总损失值，并基于总损失值对待训练的姿态迁移模型的参数进行调整，直至达到预设的收敛条件，将达到预设的收敛条件时的待训练的姿态迁移模型作为已训练的姿态迁移模型。
在本申请的一些实施例中，所述方法还包括：获取预测视频帧的相邻预测视频帧；相邻预测视频帧为原始视频帧的上一帧图像的预测图像；将相邻预测视频帧输入至预设的光流预测模型，得到当前帧的光流预测图像；基于光流预测图像和预测视频帧输入计算第三损失函数的值；所述基于第一损失函数的值和第二损失函数的值计算总损失值，包括：基于第一损失函数的值、第二损失函数的值和第三损失函数的值计算总损失值。
本申请实施例提供一种对象姿态迁移装置，所述装置包括：
获取模块，用于获取源对象的视频帧中用于表征源对象的肢体动作的姿态数据；姿态数据包括表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征；
第一生成模块，用于基于骨架特征和模型特征，分别生成目标对象的动态纹理数据和纹理坐标数据；
第二生成模块，用于根据动态纹理数据和纹理坐标数据，生成用于显示目标对象的前景迁移图像；前景迁移图像中目标对象的肢体动作与视频帧中源对象的肢体动作相同；
第三生成模块，用于基于前景迁移图像，生成迁移视频帧。
本申请实施例提供一种对象姿态迁移设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的对象姿态迁移方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的对象姿态迁移方法。
本申请实施例具有以下有益效果：
本申请实施例通过获取视频帧中表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征，可以从骨架维度和对象模型维度准确的获取源对象在当前视频帧中的肢体动作，由于以“从内到外”两个维度提取了源对象肢体动作的特征信息，可以在对象姿态迁移的过程中，提高源对象肢体动作到目标对象肢体动作的准确度，具有较强的鲁棒性；并且，由于基于该骨架特征和模型特征，分别生成动态纹理数据和纹理坐标数据，使得生成的动态纹理数据和纹理坐标数据可以随着肢体动作的不同而进行变化，提升了对象姿态迁移过程中对于纹理细节的还原度，生成的迁移视频帧细节更加丰富，真实度较高。
附图说明
图1是本申请实施例提供的对象姿态迁移系统的一个可选的架构示意图；
图2是本申请实施例提供的对象姿态迁移设备的结构示意图；
图3是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图；
图4是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图；
图5是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图；
图6是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图；
图7A是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图；
图7B是本申请实施例提供的姿态迁移模型的一个可选的架构示意图；
图8A是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图；
图8B是本申请实施例提供的前景生成网络的一个可选的架构示意图；
图9是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图；
图10是本申请实施例提供的姿态迁移过程的一个可选的示意图；
图11是本申请实施例提供的纹理图像生成过程的一个可选的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使在本实施例中描述的本申请实施例能够以除了在在本实施例中图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
(1)图像翻译：将一个物体的图像表征转换为该物体的另一种图像表征，也就是找到一个函数能让A域图像映射到B域内。
(2)屏幕空间：指渲染结果所在的空间，即，在用户直接看到的对象图片上所定义的空间。
(3)纹理空间：指纹理图(texture map)所在的空间，也叫UV空间，是在纹理图上定义的空间。在传统的图形学渲染管线中，纹理空间(纹理图)上的点经过UV映射(UVmapping)之后可以贴在三维模型表面，进而渲染到二维图像上。
参见图1，图1是本申请实施例提供的对象姿态迁移系统100的一个可选的架构示意图，为实现支撑一个对象姿态迁移应用，终端(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。图1还示出了服务器200可以为服务器集群，该服务器集群包括服务器200-1至200-3，同样地，服务器200-1至200-3可以是实体机器，也可以是利用虚拟化技术(如容器技术及虚拟机技术等)构建的虚拟机器，本申请实施例对此不做限定，当然，在本实施例中也可使用单个服务器来进行服务的提供。该对象可以为人体、动物、机器人等具有多种姿态的物体。
本申请属于计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
参见图2，图2是本申请实施例提供的对象姿态迁移设备500的结构示意图，图2所示的对象姿态迁移设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。对象姿态迁移设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在本申请的一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在本申请的一些实施例中，本申请实施例提供的对象姿态迁移装置可以采用软硬件结合的方式实现，作为示例，本申请实施例提供的对象姿态迁移装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的对象姿态迁移方法。
在本申请的一些实施例中，本申请实施例提供的对象姿态迁移装置可以采用软件方式实现，图2示出了存储在存储器550中的对象姿态迁移装置555，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块5551、第一生成模块5552、第二生成模块5553和第三生成模块5554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的对象姿态迁移方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。
将结合本申请实施例提供的终端的示例性应用和实施，在本申请实施例中，将以终端为执行主体说明本申请实施例提供的对象姿态迁移方法。以下以人物作为对象为例，对本申请的对象姿态迁移方法进行说明。
参见图3，图3是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
在步骤301中，获取源人物的视频帧中用于表征源人物的肢体动作的姿态数据；姿态数据包括表征人物骨架姿态的骨架特征和表征人物模型姿态的模型特征。
在本申请的一些实施例中，为了实现对象姿态迁移的任务，即，需要将源人物的动作姿态迁移至目标人物，得到与源人物肢体动作相同的目标人物的图像。因此，在步骤301中，需要提取用于表征该源人物的肢体动作的姿态数据。
其中，该视频帧是从源人物对应的运动视频中提取得到的。该运动视频包含多个用于表征源人物进行连续肢体动作的连续视频帧。在本申请实施例中，可以对该运动视频中每一视频帧进行姿态迁移，也可以抽取部分视频帧进行姿态迁移，也可以只对任意一个视频帧进行姿态迁移，本申请对此不作限定。
在本申请的一些实施例中，该姿态数据包括表征人物骨架姿态的骨架特征和表征人物模型姿态的模型特征。
在本申请的一些实施例中，可以通过以下方式实现获取源人物的视频帧中用于表征人物骨架姿态的骨架特征：获取所述视频帧中所述源人物的骨架关键点集合；基于所述骨架关键点集合得到所述骨架特征。其中，上述步骤可以利用预设的骨架识别模型实现：将该视频帧输入至骨架识别模型，得到所述视频帧对应的骨架特征；所述骨架特征包括但不限于所述源人物的骨架对应的关键点，关键点坐标，关键点顺序和关键点连接关系。其中，该骨架识别模型可以为根据AlphaPose或者Openpose等姿态识别算法建立的模型，例如，该骨架识别模型可以用于检测人体的关节作为关键点，并将多个关键点联系起来得到表征人物骨架姿态的骨架特征。
在本申请的一些实施例中，可以通过以下方式实现获取源人物的视频帧中用于表征人物模型姿态的模型特征：根据所述视频帧构建所述源人物的三维模型；所述三维模型包括多个模型顶点；根据所述多个模型顶点构建拉普拉斯矩阵；确定所述普拉斯矩阵对应的多个特征值和每一所述特征值对应的特征向量；在所述多个特征值中确定满足预设要求的N个目标特征值；根据所述N个目标特征值对应的N个特征向量，确定每一所述模型顶点的顶点特征；将每一所述模型顶点的顶点特征投影至二维平面，得到所述模型特征。
其中，可以按照数值大小对得到的多个特征值进行排序，将数值较小的N个特征值确定为满足预设要求的N个目标特征值。
例如，若该视频帧对应的三维模型包括M个模型顶点，基于该M个模型顶点的顶点坐标可以得到尺寸为M*M的拉普拉斯矩阵，对应地，根据该拉普拉斯矩阵可以得到多个特征值和每一特征值对应的特征向量，该特征向量为M维的向量，按照各个特征值的大小关系，将特征值最小的N个特征值作为目标特征值，并根据N个目标特征值对应的目标特征向量得到M个模型顶点的顶点特征，该顶点特征的维度为N。在将每一模型顶点的顶点特征投影至屏幕空间的过程中，可以采用图形学中光栅化算法将处于三维空间的各模型顶点的顶点特征投影至屏幕空间(二维平面)中，以得到该模型特征。
举例来说，若存在4个顶点，可以得到4*4的拉普拉斯矩阵，根据该拉普拉斯矩阵可以得到特征值P1及该特征值P1对应的特征向量O1(O11，O12，O13，O14)；特征值P2及该特征值P2对应的特征向量O2(O21，O22，O23，O24)；特征值P3及该特征值P3对应的特征向量O3(O31，O32，O33，O34)；特征值P4及该特征值P4对应的特征向量O4(O41，O42，O43，O44)，取最小的3个特征值P1，P2和P3，基于对应的O1，O2和O3可以得到各顶点的顶点特征分别为(O11，O21，O31)，(O21，O22，O32)和(O31，O32，O33)，每一顶点特征的维度为3。
在步骤302中，基于骨架特征和模型特征，分别生成目标人物的动态纹理数据和纹理坐标数据。
在本申请的一些实施例中，步骤302可以包括基于源人物的骨架特征和源人物的模型特征，生成目标人物的动态纹理数据；和，基于源人物的骨架特征和源人物的模型特征，生成目标人物的纹理坐标数据，共两个子任务。两个子任务可以并行执行，也可以按照任意顺序交叉执行。
在本申请的一些实施例中，该目标人物的动态纹理数据用于表征目标人物做出与源人物相同的肢体动作的情况下，对应的动态纹理数据。其中，该动态纹理数据为处于纹理空间的二维平面图，在得到纹理空间中目标人物的动态纹理数据之后，可以将该纹理空间中的动态纹理数据映射至屏幕空间，以得到屏幕空间中的前景迁移图像。该纹理坐标数据包括屏幕空间中前景迁移图像的各个像素点与纹理空间中动态纹理数据的各个像素点的映射关系。
在步骤303中，根据动态纹理数据和纹理坐标数据，生成用于显示目标人物的前景迁移图像；前景迁移图像中目标人物的肢体动作与视频帧中源人物的肢体动作相同。
在本申请的一些实施例中，在得到纹理空间中的动态纹理数据之后，可以按照纹理坐标数据中包含的屏幕空间中前景迁移图像的各个像素点与纹理空间中动态纹理数据的各个像素点的映射关系，将动态纹理数据中的像素点映射到屏幕空间，以在屏幕空间得到该前景迁移图像。其中，该前景迁移图像包括与源人物相同肢体动作的目标人物。
在步骤304中，基于前景迁移图像，生成迁移视频帧。
在本申请的一些实施例中，可以通过以下方式实现上述基于所述前景迁移图像，生成迁移视频帧：获取预设的背景图像，融合该前景迁移图像和该背景图像，生成该迁移视频帧。其中，该预设的背景图像可以是基于用户的配置操作，从预设的多个待选择背景图像中确定的一个背景图像，该背景图像可以是教室背景，街道背景，大自然背景等；该预设的背景图像还可以从包含该目标人物的视频数据中提取得到的。
在本申请的一些实施例中，在融合该前景迁移图像和预设的背景图像以生成该迁移视频帧的过程中，可以根据该姿态数据生成目标人物在所述背景图像中的光影图像，通过融合该光影图像、背景图像和前景迁移图像以得到该迁移视频帧。其中，可以采用图层渲染的方式生成该迁移视频帧。例如，可以将前景迁移图像作为第一图层，将光影图像作为第二图层，将背景图像作为第三图层，按照从第一图层到第三图层作为优先级的高低顺序，将三个图像对应的图像进行融合，得到该迁移视频帧；还可以采用像素填充的方式生成该迁移视频帧。例如，对于迁移视频帧中的每一个像素点，确定每一个像素点属于每一图像的概率，结合该像素点属于每一图像的概率和该像素点在每一图像中对应的像素值，得到目标像素值，利用该目标像素值填充该像素点，以得到该迁移视频帧。
通过本申请实施例对于图3的上述示例性实施可知，本申请实施例通过获取视频帧中表征人物骨架姿态的骨架特征和表征人物模型姿态的模型特征，可以从骨架维度和人物模型维度准确的获取源人物在当前视频帧中的肢体动作，由于以“从内到外”两个维度提取了源人物肢体动作的特征信息，可以在对象姿态迁移的过程中，提高源人物肢体动作到目标人物肢体动作的准确度，具有较强的鲁棒性；并且，由于基于该骨架特征和模型特征，分别生成动态纹理数据和纹理坐标数据，使得生成的动态纹理数据和纹理坐标数据可以随着肢体动作的不同而进行变化，提升了对象姿态迁移过程中对于纹理细节的还原度，生成的迁移视频帧细节更加丰富，真实度较高。
参见图4，图4是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图，基于图3，图3示出的步骤302可更新为步骤401，步骤303可以更新为步骤402，将结合图4示出的步骤进行说明。
在步骤401中，基于骨架特征和模型特征，分别生成目标人物的动态纹理数据和纹理坐标数据；纹理坐标数据包括前景迁移图像中每一迁移像素点对应的迁移坐标信息；动态纹理数据包括每一纹理部位对应的迁移纹理图。
其中，该前景迁移图像中用于表征人物肢体动作的迁移像素点都是人物肢体上的像素点，本申请实施例将人物肢体按照肢体部位划分为多个纹理部位，每一纹理部位对应一个迁移纹理图。该纹理部位可以包括头部、脸部、躯干、手臂、腿部和脚等肢体部位。
在本申请的一些实施例中，可以通过步骤4011实现上述基于骨架特征和模型特征，生成目标人物的纹理坐标数据：
在步骤4011中，根据骨架特征和模型特征，生成每一迁移像素点对应的迁移坐标信息；迁移坐标信息包括迁移像素点处于每一纹理部位的坐标信息和置信度信息。
其中，迁移像素点的迁移坐标信息包括该迁移像素点处于各所述纹理部位的置信度信息，例如，若该迁移像素点对于各纹理部位的置信度均为0，则表示该前景迁移图像中的该迁移像素点不属于目标人物的肢体部位；若该迁移像素点对于躯干部位的置信度为90％，对于手臂部位的置信度为10％，其余纹理部位的置信度均为0，则表示该前景迁移图像中的该迁移像素点可能属于躯干部位或手臂部位，且属于躯干部位的概率较大，这种情况对应的姿态动作可能为人物背对镜头且手臂被躯干遮挡。
其中，迁移像素点的迁移坐标信息还包括该迁移像素点处于各所述纹理部位的坐标信息。基于上述举例，在该迁移像素点对于躯干部位的置信度为90％，对于手臂部位的置信度为10％的情况下，该迁移坐标信息还包括该迁移像素点处于躯干部位对应的迁移纹理图中的相对坐标，及该迁移像素点处于手臂部位对应的迁移纹理图中的相对坐标。该相对坐标用于表征纹理空间中各纹理部位对应的迁移纹理图中的像素点与屏幕空间中前景迁移图像中迁移像素点之间的映射关系。需要说明的是，若该迁移像素点对于一些纹理部位的置信度为0，则不需要获取这些纹理部位对应的坐标信息(相对坐标)。
在本申请的一些实施例中，可以通过步骤4012实现上述基于骨架特征和模型特征，生成目标人物的动态纹理数据：
在步骤4012中，根据骨架特征和模型特征，生成每一纹理部位对应的迁移纹理图。
其中，考虑到人物对象处于不同姿态动作的情况下，人物对象的纹理数据也会随着姿态动作的变化而发生变化，例如，针对手臂部位的迁移纹理图，在骨架特征和模型特征表征该手臂部位处于水平伸直状态时，对应的迁移纹理图处于展开平铺状态；在骨架特征和模型特征表征该手臂部位处于蜷缩状态时，对应的迁移纹理图处于压缩褶皱状态。在步骤4012中，会基于骨架特征和模型特征生成与该源人物肢体动作匹配的各纹理部位的迁移纹理图。
在步骤402中，基于每一纹理部位对应的迁移纹理图，每一前景像素点处于每一纹理部位的坐标信息和置信度信息，生成前景迁移图像。
在本申请的一些实施例中，可以通过以下方式实现上述基于每一所述纹理部位对应的迁移纹理图，每一所述前景像素点处于每一所述纹理部位的坐标信息和置信度信息，生成所述前景迁移图像：针对每一前景像素点，确定该前景像素点处于每一纹理部位的置信度，将置信度最高的纹理部位作为待映射纹理部位，根据该待映射纹理部位对应的坐标信息，在该待映射纹理部位对应的迁移纹理图中确定该坐标信息对应的待迁移像素点，将该待迁移像素点的像素值作为该前景像素点的像素值，依次类推，直至完成每一前景像素点的像素值映射，得到该前景迁移图像。
在本申请的一些实施例中，还可以通过以下方式实现上述基于每一所述纹理部位对应的迁移纹理图，每一所述前景像素点处于每一所述纹理部位的坐标信息和置信度信息，生成所述前景迁移图像：针对每一前景像素点，确定该前景像素点处于每一纹理部位的置信度，并基于该前景像素点处于每一纹理部位的坐标信息和每一纹理部位对应的迁移纹理图，确定该前景像素点在每一纹理部位中的像素值；利用该前景像素点处于每一纹理部位的置信度对该前景像素点在每一部位中的像素值进行加权求和，得到该前景像素点在前景迁移图像中的像素值，依次类推，直至完成每一前景像素点的像素值映射，得到该前景迁移图像。基于上述实施例，若该迁移像素点对于躯干部位的置信度为90％，对于手臂部位的置信度为10％，其余纹理部位的置信度均为0，得到该迁移像素点在躯干部位的像素值为200，在手臂部位的像素值为30，则该迁移像素点在迁移前景图像中的像素值为183。上述举例是以该迁移像素点的灰度通道上的举例，本申请还可以采用相同方法确定该迁移像素点在R(红)、G(绿)、B(蓝)等其他通道上的像素值。
在本申请的一些实施例中，可以通过公式(1-1)生成前景迁移图像：
其中，Ifg表示前景迁移图像，Ti表示第i个部位的纹理图，φ是将纹理图根据UV坐标映射至屏幕空间的映射函数。
通过本申请实施例对于图4的上述示例性实施可知，本申请实施例基于骨架特征和所述模型特征，针对人体的不同纹理部位生成对应的迁移纹理图，如此，不仅可以使生成的迁移纹理图可以随着源人物肢体动作的不同而进行动态变化，还可以针对不同纹理部位生成与该纹理部位更加贴合的动态纹理图，进而丰富了纹理图的细节，还可以提升对象姿态迁移过程的准确度。
参见图5，图5是本申请实施例提供的对象姿态迁移方法的一个可选的流程示意图，基于图3或图4，以图4为例，图4示出的步骤304可通过步骤501和步骤502实现，将结合图5示出的步骤进行说明。
在步骤501中，根据骨架特征、模型特征对初始背景图进行处理，得到背景迁移图像。
在本申请的一些实施例中，根据该骨架特征和该模型特征可以对该初始背景图进行与源人物的肢体动作匹配的光影处理，使得处理后的背景迁移图像中包含对应的光影信息。
在步骤502中，融合前景迁移图像和背景迁移图像，得到迁移视频帧。
在本申请的一些实施例中，可以通过步骤5021和步骤5022实现上述融合所述前景迁移图像和所述背景迁移图像，得到所述迁移视频帧。
在步骤5021中，根据每一迁移像素点处于每一纹理部位的置信度信息，确定迁移视频帧中与每一迁移像素点对应的目标像素点属于背景迁移图像的概率。
其中，针对每一迁移像素点，确定该迁移像素点处于每一所述纹理部位的置信度信息的累加和，该累加和为该迁移像素点属于前景迁移图像的概率，对应地，1减去属于前景迁移图像的概率即可得到该前景像素点属于背景迁移图像的概率。
在步骤5022中，基于每一目标像素点属于背景迁移图像的概率、前景迁移图像和背景迁移图像，确定迁移视频帧。
其中，可以通过以下方式实现上述步骤5022：获取预设的背景概率阈值，在该迁移像素点属于所述背景迁移图像的概率大于或等于所述背景概率阈值的情况下，利用迁移像素点在该背景迁移图像中对应的像素值填充至该迁移像素点在迁移视频帧中的像素点；在该迁移像素点属于所述背景迁移图像的概率小于所述背景概率阈值的情况下，利用迁移像素点在该前景迁移图像中对应的像素值填充至该迁移像素点在迁移视频帧中的像素点。
其中，还可以通过以下公式(1-2)实现上述步骤5022：
Isyn＝Ifg⊙(1-P0)+Ibg⊙P0 公式(1-2)；
其中，Isyn表示迁移视频帧，Ifg表示前景迁移图像，Ibg表示背景迁移图像，P0表示像素点属于背景迁移图像的概率，⊙(element-wise production)表示的是对图像中的像素点做乘法操作。比如，在计算第一个像素点的像素值时，可以将Ifg中第一个像素的像素值和第一个像素属于背景迁移图像的概率相乘。
通过本申请实施例对于图5的上述示例性实施可知，本申请实施例根据骨架特征、模型特征对初始背景图进行处理，可以得到包含光影信息的背景迁移图像，可以提升迁移视频帧的真实度；并且，由于该光影信息是基于骨架特征、模型特征得到的，可以使光影信息更加接近真实场景下的光影状态，因此，可以进一步提升迁移视频帧的真实度；同时，本申请基于每一迁移像素点处于每一纹理部位的置信度信息，确定迁移视频帧中与每一迁移像素点对应的目标像素点属于背景迁移图像的概率，可以在对前景迁移图像和背景迁移图像进行融合的过程中，提升融合的准确度，进而可以提升对象姿态迁移过程中的准确度。
在本申请的一些实施例中，图3中的对象姿态迁移方法可以通过已训练的姿态迁移模型实现，参见图6，图6是本申请实施例提供的姿态迁移模型训练方法的一个可选的流程示意图，将结合图6示出的步骤进行说明。
在步骤601中，获取目标人物视频中的原始视频帧；
在步骤602中，提取原始视频帧中的原始骨架特征和原始模型特征；
在步骤603中，将原始骨架特征和原始模型特征输入至待训练的姿态迁移模型，得到预测视频帧；其中，姿态预测网络用于根据原始骨架特征和原始模型特征生成预测纹理数据和预测坐标数据，根据预测纹理数据和预测坐标数据，生成前景预测图像，并基于前景预测图像，生成预测视频帧；
在步骤604中，基于原始视频帧和预测视频帧，对待训练的姿态迁移模型的参数进行调整，以得到已训练的姿态迁移模型。
通过本申请实施例对于图6的上述示例性实施可知，通过上述实施例训练得到的姿态迁移模型，可以从骨架维度和人物模型维度准确的获取目标人物在当前视频帧中的肢体动作，由于以“从内到外”两个维度提取了目标人物肢体动作的特征信息，可以使输入至姿态迁移模型的姿态信息更加准确，进而可以保证姿态迁移模型在训练过程中可以快速学习不同姿态信息与不同纹理信息之间的转换过程；并且，由于基于该骨架特征和模型特征，分别生成预测纹理数据和预测坐标数据，使得姿态迁移模型可以随着输入的姿态数据的不同，生成不同的预测纹理数据和预测坐标数据，提升了对象姿态迁移过程中对于纹理细节的还原度，生成的预测视频帧细节更加丰富，真实度较高。
参见图7A图7A是本申请实施例提供的姿态迁移模型训练方法的一个可选的流程示意图，基于图6，图6中的步骤603可以更新为步骤701、步骤702和步骤703，将结合图7A示出的步骤进行说明。
在步骤701中，将原始骨架特征和原始模型特征输入至前景生成网络，得到前景预测图像。
在步骤702中，将原始骨架特征和原始模型特征和初始背景图输入至背景生成网络，得到背景预测图像。
在本申请的一些实施例中，可以通过以下方式获取上述初始背景图：获取目标人物视频中的多个待处理视频帧；利用分割网络对多个待处理视频帧进行背景分割，得到多个第一背景帧；利用图像补全算法对多个第一背景帧进行处理，得到多个第二背景帧；对多个第二背景帧进行平均融合处理，得到初始背景图。
其中，可以采用逐帧抽取的方式从目标人物视频中获取多个待处理视频帧，也可以按照预设抽取间隔从该目标人物视频中抽取部分视频帧作为多个待处理视频帧。该分割网络可以为U-net网络，利用U-net网络对获取的多个待处理视频帧进行背景分割，即对各待处理视频帧进行前景(人物)和背景的分割，得到去除前景区域的多个第一背景帧。该图像补全算法可以为deepfill v2算法，利用该算法对多个第一背景帧进行图像补全处理，可以得到多个第二背景帧。最后，针对初始背景图中每一个像素坐标，通过平均该像素坐标在每一第二背景帧的像素值，可以得到该像素坐标中的像素值，进而完成平均融合处理，生成该初始背景图。
在步骤703中，融合前景预测图像和背景预测图像，得到预测视频帧。
请参阅图7B，姿态迁移模型711包括前景生成网络711和背景生成网络712，其中，前景生成网络711用于根据输入的原始骨架特征和原始模型特征生成对应的前景预测图像；背景生成网络712用于根据初始背景图、输入的原始骨架特征和原始模型特征生成对应的背景景预测图像；该姿态迁移模型711还用于将生成的前景预测图像和背景预测图像融合成预测视频帧。
通过本申请实施例对于图7A的上述示例性实施可知，本申请实施例将姿态迁移模型划分为前景生成网络和背景生成网络，可以使前景生成网络专注于学习人体姿态与纹理图像、纹理坐标之间的关系，同时，可以使背景生成网络专注于学习人体姿态对于初始背景图的影响。如此，可以使得生成的前景预测图像和背景预测图像更加真实，由此得到的预测视频帧也更加准确。
参见图8A，图8A是本申请实施例提供的姿态迁移模型训练方法的一个可选的流程示意图，基于图7A，图7A中的步骤701可以通过步骤801至步骤803实现，将结合图8A示出的步骤进行说明。
在步骤801中，将原始骨架特征和原始模型特征输入至经过预训练的纹理坐标生成子网络，得到预测坐标数据；预测坐标数据包括前景预测图像中每一前景预测像素点对应的预测坐标信息；预测坐标信息包括前景预测像素点处于每一纹理部位的坐标信息和置信度信息。
在本申请的一些实施例中，该经过预训练的纹理坐标生成子模型的预训练过程包括：获取纹理坐标训练集；纹理坐标训练集包括多个样本姿态信息和每一样本姿态信息对应的真实坐标信息；将每一样本姿态信息输入至待训练的纹理坐标生成子网络，得到每一样本姿态信息对应的预测坐标信息；将每一样本姿态信息对应的预测坐标信息和真实坐标信息输入至预设的坐标损失函数，确定坐标损失值；利用坐标损失值对待训练的纹理坐标生成子网络，直至坐标损失值收敛，输出经过预训练的纹理坐标生成子网络。
其中，该坐标损失函数可以为公式(2-3)所示：
其中，
是交叉熵损失，P和C是纹理坐标生成子网络的预测结果，
和
是真实值(ground truth)。
在步骤802中，将原始骨架特征和原始模型特征输入至纹理图像生成子网络，得到预测纹理数据，预测纹理数据包括每一纹理部位对应的预测纹理图。
在本申请的一些实施例中，所述纹理图像生成子网络包括编码层和解码层。可以通过步骤8021至步骤8023实现上述将所述姿态信息输入至所述纹理图像生成子网络，得到每一所述纹理部位对应的预测纹理图。
在步骤8021中，将原始模型特征投影至纹理空间，得到输入纹理特征。
在步骤8022中，将输入纹理特征、原始骨架特征和原始模型特征输入至编码层，得到编码特征。
在步骤8023中，将编码特征输入至解码层，得到每一纹理部位的对应的纹理预测图。
在本申请的一些实施例中，该解码层包括每一所述纹理部位对应的局部解码器，可以通过以下方式实现上述步骤8023：将编码特征分别输入至每一纹理部位对应的局部解码器；得到每一纹理部位对应的局部解码器输出的每一纹理部位对应的纹理预测图。
在本申请的一些实施例中，该编码层还可以包括每一所述纹理部位对应的局部编码器，每一纹理部位对应的局部编码器输出该纹理部位对应的编码特征，将每一纹理部位对应的编码特征输入至每一所述纹理部位对应的局部解码器，得到每一纹理部位对应的局部解码器输出的每一纹理部位对应的纹理预测图。
在步骤803中，基于每一纹理部位对应的预测纹理图，每一前景预测像素点处于每一纹理部位的坐标信息和置信度信息，生成前景预测图像。
请参阅图8B，前景生成网络711包括纹理坐标生成子网络7111和纹理图像生成子网络7112，其中，纹理坐标生成子网络7111用于根据输入的原始骨架特征和原始模型特征生成对应的预测坐标数据；纹理图像生成子网络7112用于根据输入的原始骨架特征和原始模型特征生成对应的预测纹理数据；该前景生成网络711还用于根据预测坐标数据和预测纹理数据生成前景预测图像。
在本申请的一些实施例中，基于上述实施例，图7A中的步骤703可以通过以下方式实现：根据每一前景预测像素点处于每一纹理部位的置信度信息，确定预测视频帧中与每一前景预测像素点对应的输出像素点属于背景预测图像的概率；基于每一输出像素点属于背景预测图像的概率、前景预测图像和背景预测图像，确定预测视频帧。
通过本申请实施例对于图8A的上述示例性实施可知，本申请实施例将前景生成网络划分为纹理坐标生成子网络和纹理图像生成子网络，可以使纹理图像生成子网络专注于各个纹理部位的预测纹理图与模型特征、骨架特征之间的关系，进而可以根据输入的模型特征和骨架特征生成各个纹理部位对应的动态的预测纹理图，丰富了纹理图像的细节。同时，还可以使纹理坐标生成子网络专注于学习人体姿态对于纹理空间与屏幕空间之间映射关系的影响，提升了纹理映射过程中的准确度。如此，可以使得生成的前景预测图像更加真实。
参见图9，图9是本申请实施例提供的姿态迁移模型训练方法的一个可选的流程示意图，基于图6，图6中的步骤604可以通过步骤901至步骤903实现，将结合图9示出的步骤进行说明。
在步骤901中，基于姿态信息、原始视频帧和预测视频帧计算第一损失函数的值。
其中，该第一损失函数可以如公式(1-4)所示：
其中，Ipose，Isyn和Ireal分别表示姿态信息，预测视频帧和原始视频帧，D表示判别器，log是自然对数，
表示在训练数据上的期望。通过
可以使得判别器学习区分真/假视频帧的能力，通过
使得姿态迁移模型能够学习生成“欺骗”判别器的能力。
在步骤902中，基于原始视频帧和预测视频帧计算第二损失函数的值。
其中，该第二损失函数可以如公式(1-5)所示：
其中，Ipose，Isyn和Ireal分别表示姿态信息，预测视频帧和原始视频帧，VGG表示采用VGG-19的网络从图像中提取特征，λf和λt为权重参数。||VGG(Isyn)-VGG(Ireal)||1是在特征空间约束生成结果和真实结果尽可能相似，||Isyn-Ireal||2是在图像空间约束生成结果和真实结果相似。λf和λt用于将前后两项调整至同一量级。在一些实施例中，选取λf＝10，λl＝200。
在步骤903中，基于第一损失函数的值和第二损失函数的值计算总损失值，并基于总损失值对待训练的姿态迁移模型的参数进行调整，直至达到预设的收敛条件，将达到预设的收敛条件时的待训练的姿态迁移模型作为已训练的姿态迁移模型。
在本申请的一些实施例中，所述方法还包括：获取预测视频帧的相邻预测视频帧；相邻预测视频帧为原始视频帧的上一帧图像的预测图像；将相邻预测视频帧输入至预设的光流预测模型，得到当前帧的光流预测图像；基于光流预测图像和预测视频帧输入计算第三损失函数的值。
其中，该第三损失函数可以如公式(1-6)所示：
其中，ft(·)是将相邻预测视频帧转换至光流预测图像的函数。D＝H×W是输出图片的维度，I(k)表示k处的像素。ck表示光流置信度：0表示该像素处的光流是不可信的，1代表是可信的。这里光流置信度ck和光流都是在训练数据上预计算好的。
上述基于第一损失函数的值和第二损失函数的值计算总损失值，可以通过以下方式实现：基于第一损失函数的值、第二损失函数的值和第三损失函数的值计算总损失值。
通过本申请实施例对于图9的上述示例性实施可知，本申请实施例通过融合第一损失函数、第二损失函数和第三损失函数的值，对整体的姿态迁移模型的参数进行调整，可以提升模型参数的优化效率。同时，还可以使纹理坐标生成子网络专注于学习人体姿态对于纹理空间与屏幕空间之间映射关系的影响，提升了纹理映射过程中的准确度。如此，可以使得生成的前景预测图像更加真实。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
对象姿态迁移技术有着广泛的应用场景，如人体姿态迁移对于虚拟主播或虚拟教师的合成。具体而言，在给定两组视频(源人物视频和目标人物视频)的条件下，人体姿态迁移的目标是生成与源人物做相同动作的目标人物的运动视频。本申请实施例主要是将图像翻译技术和显式的三维表征通过可微渲染结合起来耦合入视频生成框架中。
在本申请实施例中，通过将纹理图和纹理坐标解耦开，并通过两个不同的模块单独预测，可以更加鲁棒地完成迁移任务；同时，相对于使用静态的纹理图，本申请通过生成器来得到动态纹理，提高了生成结果的细节丰富性；此外，本申请还通过引入时域上的约束来提升生成视频的连贯性。
对于人体姿态迁移领域，存在以下相关技术：(1)通过神经网络将输入图像编码为具有强大表征能力的深度特征，进而解码生成具有丰富细节的结果；如Chan等人的Everybody dance now和Wang等人的Video-to-video synthesis。(2)依赖于静态的纹理表征实现人体迁移，如Shysheya等人的Textured neural avatars；(3)依赖于精确的人体三维模型实现人体迁移，如Liu等人的Neural human video rendering by learningdynamic textures and rendering-to-video translation。
申请人经过研究发现，现有技术中的人体迁移技术存在以下不足：(1)鲁棒性太差，对于与训练样本偏差较大的姿态无法生成合理的结果；(2)采用静态的纹理表示，无法刻画不同姿态下人体图片细节的差异；(3)依赖精细的三维重建设备和多视角的数据，限制了模型的应用场景。而本申请提供的人体姿态迁移方法通过将图像翻译技术和基于可微渲染的三维表征耦合入视频生成框架，较好的兼顾了模型鲁棒性和细节丰富性，同时也避开了重建精细三维模型需要的多视角人体数据。
请参阅图10，本申请实施例将任务图像帧的生成任务分解为前景(人体)生成任务和背景生成任务，其中，前景生成任务的又可解耦为纹理生成和纹理坐标预测两个子任务。
在图10中，需要先从视频帧A1中提取姿态信息A2。然后，UV生成器A31根据该姿态信息A2生成对应的纹理坐标A32；同时，纹理生成器A41根据该姿态信息A2生成对应的动态纹理A42，其中A42可以包括多个人体部位中每一人体部位对应的动态纹理；之后，结合纹理坐标A32和动态纹理A42，可以渲染得到人物前景图A5。由于不同姿态下的背景也会有光影的改变，本申请采用一个单独的背景生成器A6生成预测背景图。最后，通过结合人物前景图A5和背景生成器A6生成预测背景图，可以得到完整的生成视频帧A7。
在本申请的一些实施例中，该前景生成任务的可解耦为纹理生成和纹理坐标预测两个子任务，其中，纹理生成和纹理坐标预测都是以姿态信息作为约束。进一步地，根据视频帧得到的姿态信息同时包含了二维特征(对应上述实施例中的骨架特征)和三维特征(对应上述实施例中的模型特征)：二维特征是通过来连接关键点得到的3个通道的骨架图片，三维特征是将重建的人体模型中每个顶点的6通道的拉普拉斯特征投影到二维平面。因此，该姿态信息是一个9通道的图片。
申请人考虑到直接将屏幕空间的姿态图片翻译到纹理空间的纹理图有一定的难度。因此在本申请实施例中，先将姿态信息中的三维模型的拉普拉斯特征展开到纹理空间，和姿态图片一起送入纹理生成器(对应上述实施例中的纹理图像生成子网络)。如图11所示，三维模型的拉普拉斯特征B11经过展开，得到了纹理空间中的部分纹理图B12。为了消除人体不同部分之间的相互影响，可以将人体分为N个部分，每个部分有一张单独的纹理图。其中，N为大于2的整数，在实际实施的过程中可以设置为24。
在本申请的一些实施例中，通过纹理生成器生成纹理图片的过程可以如图11所示，其中，姿态信息B3和部分纹理图B4一起输入至纹理生成器B4，该纹理生成器可以包括上采样网络，残差网络和下采样网络的图像翻译框架。对于不同的人体部分，可以同时共用一个编码器B41，但不同的人体部分对应不同的解码器B42，即通过不同的解码器B42生成不同人体部位对应的纹理图片B5。这种设计能够使得网络能够更好地专注于当前人体部位的生成，也消除了不同人体部位之间可能存在的相互影响。
在得到纹理图片之后，需要将其从纹理空间渲染至屏幕空间。传统的渲染管线需要依赖显式的三维模型来完成这一步纹理映射，但是精细的三维模型往往很难得到。
因此，本申请实施例通过一个UV生成器(对应上述实施例中的纹理坐标生成子网络)，直接从姿态信息中获取人物前景图中每一个像素点对应纹理图中的UV坐标。进一步地，UV生成器的输出包括两部分：1)人物前景图中每个像素点属于各个人体部位的概率Pi(i＝1，...，N)；2)人物前景图中每个像素点在相应部位纹理图中对应的UV坐标Ci(i＝1，...，N)。
在得到UV生成器的输出Pi和Ci之后，人物前景图可以通过以下公式(2-1)得到：
其中，Ti表示第i个部位的纹理图，φ是将纹理图根据UV坐标映射至屏幕空间的映射函数。
在本申请的一些实施例中，针对背景图的生成过程：虽然生成的视频有着固定的背景，但人体的不同姿态会导致背景出现小的光影变化。因此，本申请首先利用图片补全技术得到静态的初始背景，再通过一个背景生成器(对应上述实施例中的背景生成网络)来刻画这些随姿态改变的光影变化。进一步地，本申请采用U-net网络来逐帧地对人物图片做分割和前景扣除，再利用补全技术deepfill v2来补全剩下的背景帧。通过平均所有补全后的背景帧可以完成初始背景的生成。将初始背景和当前姿态信息一起送入背景生成器，得到最终优化后的背景图。
在本申请的一些实施例中，针对背景图和人物前景图的融合过程：可以通过以下公式(2-2)生成视频帧：
Isyn＝Ifg⊙(1-P0)+Ibg⊙P0 公式(2-2)；
在本申请的一些实施例中，由于直接将生成的视频帧拼接起来会导致生成结果看起来不够真实，常常会不可避免地引入闪烁和抖动。为了解决这一问题，申请人在训练过程中引入时序(temporal)loss(对应上述实施例中的第三损失函数)。具体地，这项约束定义为生成的当前帧和生成的前一帧根据预计算的光流的warp结果的L1 loss，如下公式(2-3)所示：
其中，ft(·)是将t-1时刻视频帧warp至t时刻的函数。D＝H×W是输出图片的维度，I(k)表示k处的像素。ck表示光流置信度：0表示该像素处的光流是不可信的，1代表是可信的。这里光流置信度ck和光流都是在训练数据上预计算好的。
在本申请的一些实施例中，需要先通过最小化下述约束函数，公式(2-4)来预训练UV生成器：
其中，
是交叉熵损失，P和C是UV生成器的预测结果，
和
是真实值(groundtruth)。
在UV生成器预训练之后，整个人体姿态迁移模型共同参与训练。其中，Ipose，Isyn和Ireal分别表示姿态图，生成结果和真实视频帧。总的优化目标包括GAN loss(对应上述实施例中的第一损失函数)，监督loss(对应上述实施例中的第二损失函数)和时序loss(对应上述实施例中的第三损失函数)。其中，GAN loss形式为公式(2-5)所示：
其中，Ipose，Isyn和Ireal分别表示姿态图，生成结果和真实视频帧，D表示判别器，log是自然对数，
表示在训练数据上的期望。通过
可以使得判别器学习区分真/假视频帧的能力，通过
使得姿态迁移模型能够学习生成“欺骗”判别器的能力。
监督loss形式为公式(2-6)所示：
其中，VGG表示采用VGG-19的网络从图像中提取特征，λf和λt为权重参数。||VGG(Isyn)-VGG(Ireal)||1是在特征空间约束生成结果和真实结果尽可能相似，||Isyn-Ireal||2是在图像空间约束生成结果和真实结果相似。λf和λt用于将前后两项调整至同一量级。在一些实施例中，选取λf＝10，λl＝200。
下面继续说明本申请实施例提供的对象姿态迁移装置555的实施为软件模块的示例性结构，在本申请的一些实施例中，如图2所示，存储在存储器550的对象姿态迁移装置555中的软件模块可以包括：
获取模块5551，用于获取源人物的视频帧中用于表征源人物的肢体动作的姿态数据；姿态数据包括表征人物骨架姿态的骨架特征和表征人物模型姿态的模型特征；
第一生成模块5552，用于基于骨架特征和模型特征，分别生成目标人物的动态纹理数据和纹理坐标数据；
第二生成模块5553，用于根据动态纹理数据和纹理坐标数据，生成用于显示目标人物的前景迁移图像；前景迁移图像中目标人物的肢体动作与视频帧中源人物的肢体动作相同；
第三生成模块5554，用于基于前景迁移图像，生成迁移视频帧。
在本申请的一些实施例中，所述获取模块5551还用于：获取视频帧中源人物的骨架关键点集合；基于骨架关键点集合得到骨架特征。
在本申请的一些实施例中，所述获取模块5551还用于：根据视频帧构建源人物的三维模型；三维模型包括多个模型顶点；根据多个模型顶点构建拉普拉斯矩阵；确定普拉斯矩阵对应的多个特征值和每一特征值对应的特征向量；在多个特征值中确定满足预设要求的N个目标特征值；根据N个目标特征值对应的N个特征向量，确定每一模型顶点的顶点特征；将每一模型顶点的顶点特征投影至二维平面，得到模型特征。
在本申请的一些实施例中，所述第一生成模块5552还用于：根据骨架特征和模型特征，生成每一迁移像素点对应的迁移坐标信息；迁移坐标信息包括迁移像素点处于每一纹理部位的坐标信息和置信度信息；根据骨架特征和模型特征，生成每一纹理部位对应的迁移纹理图。
在本申请的一些实施例中，所述第二生成模块5553还用于：基于每一纹理部位对应的迁移纹理图，每一前景像素点处于每一纹理部位的坐标信息和置信度信息，生成前景迁移图像。
在本申请的一些实施例中，所述第三生成模块5554还用于：根据所述骨架特征、所述模型特征对所述初始背景图进行处理，得到背景迁移图像；融合所述前景迁移图像和所述背景迁移图像，得到所述迁移视频帧。
在本申请的一些实施例中，所述第三生成模块5554还用于：根据每一所述迁移像素点处于每一所述纹理部位的置信度信息，确定所述迁移视频帧中与每一所述迁移像素点对应的目标像素点属于所述背景迁移图像的概率；基于每一所述目标像素点属于所述背景迁移图像的概率、所述前景迁移图像和所述背景迁移图像，确定所述迁移视频帧。
在本申请的一些实施例中，对象姿态迁移装置555还包括训练模块，其中；
训练模块，用于获取目标人物视频中的原始视频帧；提取原始视频帧中的原始骨架特征和原始模型特征；将原始骨架特征和原始模型特征输入至待训练的姿态迁移模型，得到预测视频帧；其中，姿态预测网络用于根据原始骨架特征和原始模型特征生成预测纹理数据和预测坐标数据，根据预测纹理数据和预测坐标数据，生成前景预测图像，并基于前景预测图像，生成预测视频帧；基于原始视频帧和预测视频帧，对待训练的姿态迁移模型的参数进行调整，以得到已训练的姿态迁移模型。
在本申请的一些实施例中，所述训练模块还用于：将原始骨架特征和原始模型特征输入至前景生成网络，得到前景预测图像；将原始骨架特征和原始模型特征和初始背景图输入至背景生成网络，得到背景预测图像；融合前景预测图像和背景预测图像，得到预测视频帧。
在本申请的一些实施例中，所述训练模块还用于：将原始骨架特征和原始模型特征输入至经过预训练的纹理坐标生成子网络，得到预测坐标数据；所述预测坐标数据包括前景预测图像中每一前景预测像素点对应的预测坐标信息；预测坐标信息包括前景预测像素点处于每一纹理部位的坐标信息和置信度信息；将原始骨架特征和原始模型特征输入至纹理图像生成子网络，得到预测纹理数据，所述预测纹理数据包括每一纹理部位对应的预测纹理图；基于每一纹理部位对应的预测纹理图，每一前景预测像素点处于每一纹理部位的坐标信息和置信度信息，生成前景预测图像。
在本申请的一些实施例中，所述训练模块还用于：将原始模型特征投影至纹理空间，得到输入纹理特征；将输入纹理特征、原始骨架特征和原始模型特征输入至编码层，得到编码特征；将编码特征输入至解码层，得到每一纹理部位的对应的纹理预测图。
在本申请的一些实施例中，所述训练模块还用于：将编码特征分别输入至每一纹理部位对应的局部解码器；得到每一纹理部位对应的局部解码器输出的每一纹理部位对应的纹理预测图。
在本申请的一些实施例中，所述训练模块还用于：根据每一前景预测像素点处于每一纹理部位的置信度信息，确定预测视频帧中与每一前景预测像素点对应的输出像素点属于背景预测图像的概率；基于每一输出像素点属于背景预测图像的概率、前景预测图像和背景预测图像，确定预测视频帧。
在本申请的一些实施例中，所述训练模块还用于：获取目标人物视频中的多个待处理视频帧；利用分割网络对多个待处理视频帧进行背景分割，得到多个第一背景帧；利用图像补全算法对多个第一背景帧进行处理，得到多个第二背景帧；对多个第二背景帧进行平均融合处理，得到初始背景图。
在本申请的一些实施例中，所述训练模块还用于：获取纹理坐标训练集；纹理坐标训练集包括多个样本姿态信息和每一样本姿态信息对应的真实坐标信息；将每一样本姿态信息输入至待训练的纹理坐标生成子网络，得到每一样本姿态信息对应的预测坐标信息；将每一样本姿态信息对应的预测坐标信息和真实坐标信息输入至预设的坐标损失函数，确定坐标损失值；利用坐标损失值对待训练的纹理坐标生成子网络，直至坐标损失值收敛，输出经过预训练的纹理坐标生成子网络。
在本申请的一些实施例中，所述训练模块还用于：基于姿态信息、原始视频帧和预测视频帧计算第一损失函数的值；基于原始视频帧和预测视频帧计算第二损失函数的值；基于第一损失函数的值和第二损失函数的值计算总损失值，并基于总损失值对待训练的姿态迁移模型的参数进行调整，直至达到预设的收敛条件，将达到预设的收敛条件时的待训练的姿态迁移模型作为已训练的姿态迁移模型。
在本申请的一些实施例中，所述训练模块还用于：获取预测视频帧的相邻预测视频帧；相邻预测视频帧为原始视频帧的上一帧图像的预测图像；将相邻预测视频帧输入至预设的光流预测模型，得到当前帧的光流预测图像；基于光流预测图像和预测视频帧输入计算第三损失函数的值；基于第一损失函数的值、第二损失函数的值和第三损失函数的值计算总损失值。
本公开实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的对象姿态迁移方法。
本公开实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的对象姿态迁移方法，例如，如图3、图4、图5、图6、图7A、图8A或图9示出的方法。
在本申请的一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在本申请的一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例能够实现以下技术效果：
(1)本申请实施例通过获取视频帧中表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征，可以从骨架维度和对象模型维度准确的获取源对象在当前视频帧中的肢体动作，由于以“从内到外”两个维度提取了源对象肢体动作的特征信息，可以在对象姿态迁移的过程中，提高源对象肢体动作到目标对象肢体动作的准确度，具有较强的鲁棒性；并且，由于基于该骨架特征和模型特征，分别生成动态纹理数据和纹理坐标数据，使得生成的动态纹理数据和纹理坐标数据可以随着肢体动作的不同而进行变化，提升了对象姿态迁移过程中对于纹理细节的还原度，生成的迁移视频帧细节更加丰富，真实度较高。
(2)本申请实施例基于骨架特征和所述模型特征，针对对象的不同纹理部位生成对应的迁移纹理图，如此，不仅可以使生成的迁移纹理图可以随着源对象肢体动作的不同而进行动态变化，还可以针对不同纹理部位生成与该纹理部位更加贴合的动态纹理图，进而丰富了纹理图的细节，还可以提升对象姿态迁移过程的准确度。
(3)本申请实施例根据骨架特征、模型特征对初始背景图进行处理，可以得到包含光影信息的背景迁移图像，可以提升迁移视频帧的真实度；并且，由于该光影信息是基于骨架特征、模型特征得到的，可以使光影信息更加接近真实场景下的光影状态，因此，可以进一步提升迁移视频帧的真实度；同时，本申请基于每一迁移像素点处于每一纹理部位的置信度信息，确定迁移视频帧中与每一迁移像素点对应的目标像素点属于背景迁移图像的概率，可以在对前景迁移图像和背景迁移图像进行融合的过程中，提升融合的准确度，进而可以提升对象姿态迁移过程中的准确度。
(4)通过上述实施例训练得到的姿态迁移模型，可以从骨架维度和对象模型维度准确的获取目标对象在当前视频帧中的肢体动作，由于以“从内到外”两个维度提取了目标对象肢体动作的特征信息，可以使输入至姿态迁移模型的姿态信息更加准确，进而可以保证姿态迁移模型在训练过程中可以快速学习不同姿态信息与不同纹理信息之间的转换过程；并且，由于基于该骨架特征和模型特征，分别生成预测纹理数据和预测坐标数据，使得姿态迁移模型可以随着输入的姿态数据的不同，生成不同的预测纹理数据和预测坐标数据，提升了对象姿态迁移过程中对于纹理细节的还原度，生成的预测视频帧细节更加丰富，真实度较高。
(5)本申请实施例将姿态迁移模型划分为前景生成网络和背景生成网络，可以使前景生成网络专注于学习对象姿态与纹理图像、纹理坐标之间的关系，同时，可以使背景生成网络专注于学习对象姿态对于初始背景图的影响。如此，可以使得生成的前景预测图像和背景预测图像更加真实，由此得到的预测视频帧也更加准确。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (15)
1.一种对象姿态迁移方法，其特征在于，包括：
获取源对象的视频帧中用于表征所述源对象的肢体动作的姿态数据；所述姿态数据包括表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征；
基于所述骨架特征和所述模型特征，分别生成目标对象的动态纹理数据和纹理坐标数据；
根据所述动态纹理数据和所述纹理坐标数据，生成用于显示所述目标对象的前景迁移图像；所述前景迁移图像中所述目标对象的肢体动作与所述视频帧中所述源对象的肢体动作相同；
基于所述前景迁移图像，生成迁移视频帧。
2.根据权利要求1所述的方法，其特征在于，所述纹理坐标数据包括所述前景迁移图像中每一迁移像素点对应的迁移坐标信息；所述动态纹理数据包括每一所述纹理部位对应的迁移纹理图；
所述基于所述骨架特征和所述模型特征，生成动态纹理数据和纹理坐标数据，包括：根据所述骨架特征和所述模型特征，生成每一所述迁移像素点对应的迁移坐标信息；所述迁移坐标信息包括所述迁移像素点处于每一所述纹理部位的坐标信息和置信度信息；根据所述骨架特征和所述模型特征，生成每一所述纹理部位对应的迁移纹理图；
所述根据所述动态纹理数据和所述纹理坐标数据，生成前景迁移图像，包括：基于每一所述纹理部位对应的迁移纹理图，每一所述前景像素点处于每一所述纹理部位的坐标信息和置信度信息，生成所述前景迁移图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述前景迁移图像，生成迁移视频帧，包括：
根据所述骨架特征、所述模型特征对初始背景图进行处理，得到背景迁移图像；
融合所述前景迁移图像和所述背景迁移图像，得到所述迁移视频帧。
4.根据权利要求3所述的方法，其特征在于，所述融合所述前景迁移图像和所述背景迁移图像，得到所述迁移视频帧，包括：
根据每一所述迁移像素点处于每一所述纹理部位的置信度信息，确定所述迁移视频帧中与每一所述迁移像素点对应的目标像素点属于所述背景迁移图像的概率；
基于每一所述目标像素点属于所述背景迁移图像的概率、所述前景迁移图像和所述背景迁移图像，确定所述迁移视频帧。
5.根据权利要求1所述的方法，由已训练的姿态迁移模型实现；所述姿态迁移模型的训练过程，包括：
获取所述目标对象视频中的原始视频帧；
提取所述原始视频帧中的原始骨架特征和原始模型特征；
将所述原始骨架特征和所述原始模型特征输入至待训练的姿态迁移模型，得到预测视频帧；其中，所述姿态预测网络用于根据所述原始骨架特征和所述原始模型特征生成预测纹理数据和预测坐标数据，根据所述预测纹理数据和所述预测坐标数据，生成前景预测图像，并基于所述前景预测图像，生成所述预测视频帧；
基于所述原始视频帧和所述预测视频帧，对所述待训练的姿态迁移模型的参数进行调整，以得到已训练的姿态迁移模型。
6.根据权利要求5所述的方法，其特征在于，所述姿态迁移模型包括前景生成网络和背景生成网络；所述将所述原始骨架特征和所述原始模型特征输入至待训练的姿态迁移模型，得到预测视频帧，包括：
将所述原始骨架特征和所述原始模型特征输入至所述前景生成网络，得到所述前景预测图像；
将所述原始骨架特征和所述原始模型特征和初始背景图输入至所述背景生成网络，得到背景预测图像；
融合所述前景预测图像和所述背景预测图像，得到所述预测视频帧。
7.根据权利要求6所述的方法，其特征在于，所述前景生成网络包括纹理图像生成子网络和纹理坐标生成子网络；所述将所述原始骨架特征和所述原始模型特征输入至所述前景生成网络，得到所述前景预测图像，包括：
将所述原始骨架特征和所述原始模型特征输入至经过预训练的纹理坐标生成子网络，得到所述预测坐标数据；所述预测坐标数据包括所述前景预测图像中每一前景预测像素点对应的预测坐标信息；所述预测坐标信息包括所述前景预测像素点处于每一所述纹理部位的坐标信息和置信度信息；
将所述原始骨架特征和所述原始模型特征输入至所述纹理图像生成子网络，得到所述预测纹理数据，所述预测纹理数据包括每一所述纹理部位对应的预测纹理图；
基于每一所述纹理部位对应的预测纹理图，每一所述前景预测像素点处于每一所述纹理部位的坐标信息和置信度信息，生成所述前景预测图像。
8.根据权利要求7所述的方法，其特征在于，所述纹理图像生成子网络包括编码层和解码层；所述将所述原始骨架特征和所述原始模型特征输入至所述纹理图像生成子网络，得到每一所述纹理部位对应的预测纹理图，包括：
将所述原始模型特征投影至纹理空间，得到输入纹理特征；
将所述输入纹理特征、所述原始骨架特征和所述原始模型特征输入至所述编码层，得到编码特征；
将所述编码特征输入至所述解码层，得到每一所述纹理部位的对应的纹理预测图。
9.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取所述目标对象视频中的多个待处理视频帧；
利用分割网络对所述多个待处理视频帧进行背景分割，得到多个第一背景帧；
利用图像补全算法对所述多个第一背景帧进行处理，得到多个第二背景帧；
对所述多个第二背景帧进行平均融合处理，得到所述初始背景图。
10.根据权利要求7所述的方法，其特征在于，所述纹理坐标生成子网络的预训练过程，包括：
获取纹理坐标训练集；所述纹理坐标训练集包括多个样本姿态信息和每一样本姿态信息对应的真实坐标信息；
将每一所述样本姿态信息输入至待训练的纹理坐标生成子网络，得到每一所述样本姿态信息对应的预测坐标信息；
将每一所述样本姿态信息对应的预测坐标信息和真实坐标信息输入至预设的坐标损失函数，确定坐标损失值；利用所述坐标损失值对所述待训练的纹理坐标生成子网络，直至所述坐标损失值收敛，输出所述经过预训练的纹理坐标生成子网络。
11.根据权利要求5所述的方法，其特征在于，所述基于所述原始视频帧和所述预测视频帧，对所述待训练的姿态迁移模型的参数进行调整，以得到已训练的姿态迁移模型，包括：
基于所述姿态信息、所述原始视频帧和所述预测视频帧计算第一损失函数的值；
基于所述原始视频帧和所述预测视频帧计算第二损失函数的值；
基于所述第一损失函数的值和所述第二损失函数的值计算总损失值，并基于所述总损失值对所述待训练的姿态迁移模型的参数进行调整，直至达到预设的收敛条件，将达到预设的收敛条件时的待训练的姿态迁移模型作为已训练的姿态迁移模型。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
获取所述预测视频帧的相邻预测视频帧；所述相邻预测视频帧为所述原始视频帧的上一帧图像的预测图像；将所述相邻预测视频帧输入至预设的光流预测模型，得到当前帧的光流预测图像；基于所述光流预测图像和所述预测视频帧输入计算第三损失函数的值；
所述基于所述第一损失函数的值和第二损失函数的值计算总损失值，包括：
基于所述第一损失函数的值、所述第二损失函数的值和所述第三损失函数的值计算总损失值。
13.一种对象姿态迁移装置，其特征在于，包括：
获取模块，用于获取源对象的视频帧中用于表征所述源对象的肢体动作的姿态数据；所述姿态数据包括表征对象骨架姿态的骨架特征和表征对象模型姿态的模型特征；
第一生成模块，用于基于所述骨架特征和所述模型特征，分别生成目标对象的动态纹理数据和纹理坐标数据；
第二生成模块，用于根据所述动态纹理数据和所述纹理坐标数据，生成用于显示所述目标对象的前景迁移图像；所述前景迁移图像中所述目标对象的肢体动作与所述视频帧中所述源对象的肢体动作相同；
第三生成模块，用于基于所述前景迁移图像，生成迁移视频帧。
14.一种对象姿态迁移设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110262518.2A CN113705295A (zh) | 2021-03-10 | 2021-03-10 | 对象姿态迁移方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110262518.2A CN113705295A (zh) | 2021-03-10 | 2021-03-10 | 对象姿态迁移方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113705295A true CN113705295A (zh) | 2021-11-26 |
Family
ID=78647794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110262518.2A Pending CN113705295A (zh) | 2021-03-10 | 2021-03-10 | 对象姿态迁移方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705295A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399829A (zh) * | 2022-03-25 | 2022-04-26 | 浙江壹体科技有限公司 | 基于生成式对抗网络的姿态迁移方法、电子设备及介质 |
| CN114401446A (zh) * | 2021-12-16 | 2022-04-26 | 广州方硅信息技术有限公司 | 人体姿态迁移方法、装置、系统、电子设备以及存储介质 |
| CN114463992A (zh) * | 2022-02-11 | 2022-05-10 | 超级视线科技有限公司 | 夜间路侧停车管理视频转换方法以及装置 |
| US20240029357A1 (en) * | 2022-07-19 | 2024-01-25 | Himanshu Arora | Apparatus, method, and computer-readable medium for implicit representation of texture on 3d images |
| WO2024169276A1 (zh) * | 2023-02-15 | 2024-08-22 | 腾讯科技（深圳）有限公司 | 轨迹信息处理方法、装置、计算机设备和可读存储介质 |
-
2021
- 2021-03-10 CN CN202110262518.2A patent/CN113705295A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401446A (zh) * | 2021-12-16 | 2022-04-26 | 广州方硅信息技术有限公司 | 人体姿态迁移方法、装置、系统、电子设备以及存储介质 |
| CN114463992A (zh) * | 2022-02-11 | 2022-05-10 | 超级视线科技有限公司 | 夜间路侧停车管理视频转换方法以及装置 |
| CN114463992B (zh) * | 2022-02-11 | 2024-08-20 | 超级视线科技有限公司 | 夜间路侧停车管理视频转换方法以及装置 |
| CN114399829A (zh) * | 2022-03-25 | 2022-04-26 | 浙江壹体科技有限公司 | 基于生成式对抗网络的姿态迁移方法、电子设备及介质 |
| CN114399829B (zh) * | 2022-03-25 | 2022-07-05 | 浙江壹体科技有限公司 | 基于生成式对抗网络的姿态迁移方法、电子设备及介质 |
| US20240029357A1 (en) * | 2022-07-19 | 2024-01-25 | Himanshu Arora | Apparatus, method, and computer-readable medium for implicit representation of texture on 3d images |
| US12056821B2 (en) * | 2022-07-19 | 2024-08-06 | Huawei Technologies Co., Ltd. | Apparatus, method, and computer-readable medium for implicit representation of texture on 3D images |
| WO2024169276A1 (zh) * | 2023-02-15 | 2024-08-22 | 腾讯科技（深圳）有限公司 | 轨迹信息处理方法、装置、计算机设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113705295A (zh) | 对象姿态迁移方法、装置、设备及存储介质 | |
| CN111160164B (zh) | 基于人体骨架和图像融合的动作识别方法 | |
| CN113838176B (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US20230048906A1 (en) | Method for reconstructing three-dimensional model, method for training three-dimensional reconstruction model, and apparatus | |
| JP2024012657A (ja) | クロスリアリティシステムにおけるスケーラブル３次元オブジェクト認識 | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建系统及存储介质 | |
| JP2024522287A (ja) | 三次元人体再構成方法、装置、デバイスおよび記憶媒体 | |
| CN110246209B (zh) | 图像处理方法及装置 | |
| CN112950769A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| Guo et al. | 3D face from X: Learning face shape from diverse sources | |
| CN113628327A (zh) | 一种头部三维重建方法及设备 | |
| US20230126829A1 (en) | Point-based modeling of human clothing | |
| US20240119671A1 (en) | Systems and methods for face asset creation and models from one or more images | |
| CN116740261B (zh) | 图像重建方法和装置、图像重建模型的训练方法和装置 | |
| CN115115805A (zh) | 三维重建模型的训练方法、装置、设备及存储介质 | |
| CN115222917A (zh) | 三维重建模型的训练方法、装置、设备及存储介质 | |
| Li et al. | Image-guided human reconstruction via multi-scale graph transformation networks | |
| CN113822114A (zh) | 一种图像处理方法、相关设备及计算机可读存储介质 | |
| Lu et al. | Parametric shape estimation of human body under wide clothing | |
| CN117274446A (zh) | 一种场景视频处理方法、装置、设备及存储介质 | |
| US20230023455A1 (en) | Display device and display method | |
| CN115497029A (zh) | 视频处理方法、装置及计算机可读存储介质 | |
| Gong | Application and Practice of Artificial Intelligence Technology in Interior Design | |
| Carmona et al. | BlanketGen-A Synthetic Blanket Occlusion Augmentation Pipeline for Motion Capture Datasets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |