CN117880444B - 一种长短时特征引导的人体康复运动视频数据生成方法 - Google Patents
一种长短时特征引导的人体康复运动视频数据生成方法 Download PDFInfo
- Publication number
- CN117880444B CN117880444B CN202410281162.0A CN202410281162A CN117880444B CN 117880444 B CN117880444 B CN 117880444B CN 202410281162 A CN202410281162 A CN 202410281162A CN 117880444 B CN117880444 B CN 117880444B
- Authority
- CN
- China
- Prior art keywords
- video
- attention
- segmented
- module
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000009792 diffusion process Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 239000002131 composite material Substances 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 12
- 150000001875 compounds Chemical class 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本说明书公开了一种长短时特征引导的人体康复运动视频数据生成方法，可以通过视频生成模型中的图像参考网络，提取得到参考图像对应的图像参考特征，以及将第k‑1个分段视频样本输入到视频生成模型中的视频参考网络中，得到视频参考特征。通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、加噪后的分段视频样本、视频参考特征以及图像参考特征，输入到视频生成模型中的稳定扩散网络中，通过稳定扩散网络预测对第k个分段视频样本加入的噪声，得到预测噪声；以最小化预测噪声与生成的噪声之间的差异为优化目标，对视频生成模型进行训练，从而提高了视频生成质量。
Description
技术领域
本说明书涉及神经网络、视频生成技术领域，尤其涉及一种长短时特征引导的人体康复运动视频数据生成方法。
背景技术
当前，在康复视频生成领域中，传统的方法通常采用逐帧渲染的方式，导致视频缺乏时间上的一致性，例如出现康复动作不连贯等不良效果。为了解决这个问题，许多研究工作提出了加入时间注意力机制来直接生成整个康复运动视频。
但是，这种方式依然存在生成康复运动视频时会逐帧生成每个视频帧的问题，从而依然会存在视频缺乏时间上的一致性。
因此，如何提高视频生成的准确性，则是一个亟待解决的问题。
发明内容
本说明书提供一种长短时特征引导的人体康复运动视频数据生成方法，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种长短时特征引导的人体康复运动视频数据生成方法，包括：
获取参考图像、姿态序列以及视频样本；
将所述姿态序列与所述视频样本分别进行分段，得到各分段姿态序列和各分段视频样本，一个分段姿态序列与一个分段视频样本一一对应，相邻的分段视频样本之间存在重叠；
将所述参考图像，分段姿态序列以及分段视频样本输入到待训练的视频生成模型中，以通过所述待训练的视频生成模型中的图像参考网络，提取得到所述参考图像对应的图像参考特征，以及将第k-1个分段视频样本输入到所述视频生成模型中的视频参考网络中，得到所述第k-1个分段视频样本对应的视频参考特征；
通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、所述加噪后的分段视频样本、所述视频参考特征以及所述图像参考特征，输入到所述视频生成模型中的稳定扩散网络中，通过所述稳定扩散网络预测对所述第k个分段视频样本加入的噪声，得到预测噪声；
以最小化所述预测噪声与所述生成的噪声之间的差异为优化目标，对所述视频生成模型进行训练，训练后的视频生成模型用于通过用户给出的参考图像和姿态序列，生成人体康复运动视频。
可选地，所述视频生成模型中还包括图像语义特征提取模型和视频语义特征提取模型；
所述方法还包括：
将所述参考图像输入到所述图像语义特征提取模型中，得到所述参考图像对应的语义特征，将第k-1个分段视频样本输入到所述视频语义特征提取模型中，得到所述第k-1个分段视频样本对应的语义特征。
可选地，所述图像参考网络中包括若干子模块，每个子模块中包括空间注意力模块和复合交叉注意力模块；
通过所述待训练的视频生成模型中的图像参考网络，提取得到所述参考图像对应的图像参考特征，具体包括：
通过变分自编码器对所述参考图像进行编码，得到图像编码；
将所述图像编码输入到所述图像参考网络中，通过第一个子模块的空间注意力模块得到注意力结果，并将所述注意力结果和所述参考图像对应的语义特征输入到所述复合交叉注意力模块，得到交叉注意力结果，将所述交叉注意力结果输入到下一子模块，下一子模块继续通过空间注意力模块得到注意力结果，以及通过复合交叉注意力模块得到交叉注意力结果；
将各子模块对应的注意力结果，作为所述图像参考特征。
可选地，所述视频参考网络中包括若干子模块，每个子模块中包括：空间注意力模块、复合交叉注意力模块和时间注意力模块；
通过所述视频生成模型中的视频参考网络，提取得到第k-1个分段视频样本对应的视频参考特征，具体包括：
通过变分自编码器对第k-1个分段视频样本进行编码，得到视频编码；
将所述视频编码输入到所述视频参考网络中，通过第一个子模块的空间注意力模块得到注意力结果，并将所述注意力结果和所述第k-1个分段视频样本对应的语义特征输入到所述复合交叉注意力模块，得到交叉注意力结果，将所述交叉注意力结果输入到时间注意力模块，得到时间注意力结果，将所述时间注意力结果输入到下一子模块中，下一子模块继续通过空间注意力模块得到注意力结果，通过复合交叉注意力模块得到交叉注意力结果以及通过时间注意力模块得到时间注意力结果；
将各子模块对应的时间注意力结果，作为所述视频参考特征。
可选地，所述稳定扩散网络中包括若干子模块，每个子模块中包括：空间注意力模块、复合交叉注意力模块、门控交叉注意力模块和时间注意力模块；
将第k个分段姿态序列、所述加噪后的分段视频样本、所述视频参考特征以及所述图像参考特征，输入到所述视频生成模型中的稳定扩散网络中，通过所述稳定扩散网络预测对所述第k个分段视频样本加入的噪声，得到预测噪声，具体包括：
对所述第k个分段姿态序列进行编码，得到姿态编码；
将所述姿态编码、所述加噪后的分段视频样本、所述图像参考特征输入到第一个子模块中的空间注意力模块，得到空间注意力结果，并将所述空间注意力结果中属于图像参考特征的部分去除，得到去除后结果，将所述去除后结果、所述参考图像对应的语义特征以及所述第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中，得到交叉注意力结果，将所述交叉注意力结果和所述视频参考特征输入到门控交叉注意力模块，得到门控交叉注意力结果，将所述门控交叉注意力结果输入到时间注意力网络中，得到时间注意力结果，并将所述时间注意力结果输入到下一子模块中；
下一子模块继续通过空间注意力模块得到注意力结果，通过复合交叉注意力模块得到交叉注意力结果，通过门控交叉注意力模块得到门控交叉注意力结果以及通过时间注意力模块得到时间注意力结果；
根据最后一个子模块确定出的时间注意力结果，确定出所述预测噪声。
可选地，所述复合交叉注意力模块中包括交叉注意力模块和门控交叉注意力模块；
将所述去除后结果、所述参考图像对应的语义特征以及所述第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中，得到交叉注意力结果，具体包括：
确定用于表征第1~第k-2个分段视频样本之间融合特征的融合语义特征；
将所述去除后结果、所述融合语义特征以及所述第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中的交叉注意力模块，得到第一注意力结果，所述第一注意力结果中包括用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征，所述用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征用于第k+1个分段视频样本的训练过程；
将所述第一注意力结果与所述参考图像对应的语义特征输入到门控交叉注意力模块，得到第二注意力结果；
将所述第二注意力结果中除属于所述去除后结果之外的部分特征去除，得到交叉注意力结果。
可选地，将所述门控交叉注意力结果输入到时间注意力网络中，得到时间注意力结果，具体包括：
对所述第k-1个分段视频样本在重叠帧之前的部分进行采样，得到采样结果，所述重叠帧为所述第k-1个分段视频样本与所述第k个分段视频样本之间重叠的部分；
将所述采样结果对应的编码按照时间顺序拼接在所述门控交叉注意力结果中第k个分段视频样本对应的特征之前，得到所述门控交叉注意力结果对应的拼接后结果；
将所述拼接后结果输入到时间注意力网络中，确定出输出结果，并将所述输出结果中属于所述采样结果的部分去除得到时间注意力结果。
本说明书提供了一种长短时特征引导的人体康复运动视频数据生成装置，包括：
获取模块，用于获取参考图像、姿态序列以及视频样本；
分段模块，用于将所述姿态序列与所述视频样本分别进行分段，得到各分段姿态序列和各分段视频样本，一个分段姿态序列与一个分段视频样本一一对应，相邻的分段视频样本之间存在重叠；
输入模块，用于将所述参考图像，分段姿态序列以及分段视频样本输入到待训练的视频生成模型中，以通过所述待训练的视频生成模型中的图像参考网络，提取得到所述参考图像对应的图像参考特征，以及将第k-1个分段视频样本输入到所述视频生成模型中的视频参考网络中，得到所述第k-1个分段视频样本对应的视频参考特征；
预测模块，用于通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、所述加噪后的分段视频样本、所述视频参考特征以及所述图像参考特征，输入到所述视频生成模型中的稳定扩散网络中，通过所述稳定扩散网络预测对所述第k个分段视频样本加入的噪声，得到预测噪声；
训练模块，用于以最小化所述预测噪声与所述生成的噪声之间的差异为优化目标，对所述视频生成模型进行训练，训练后的视频生成模型用于通过用户给出的参考图像和姿态序列，生成人体康复运动视频。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述长短时特征引导的人体康复运动视频数据生成方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述长短时特征引导的人体康复运动视频数据生成方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
从上述一种长短时特征引导的人体康复运动视频数据生成方法中可以看出，可以获取参考图像、姿态序列以及视频样本，并将姿态序列与视频样本分别进行分段，得到各分段姿态序列和各分段视频样本，一个分段姿态序列与一个分段视频样本一一对应，相邻的分段视频样本之间存在重叠，而后，可以将参考图像，分段姿态序列以及分段视频样本输入到待训练的视频生成模型中，以通过待训练的视频生成模型中的图像参考网络，提取得到参考图像对应的图像参考特征，以及将第k-1个分段视频样本输入到视频生成模型中的视频参考网络中，得到第k-1个分段视频样本对应的视频参考特征。通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、加噪后的分段视频样本、视频参考特征以及图像参考特征，输入到视频生成模型中的稳定扩散网络中，通过稳定扩散网络预测对第k个分段视频样本加入的噪声，得到预测噪声；以最小化预测噪声与生成的噪声之间的差异为优化目标，对视频生成模型进行训练，训练后的视频生成模型用于通过用户给出的参考图像和姿态序列，生成人体康复运动视频。
从上述内容中可以看出，本发明具备以下优点：
1、本方法与其他仅关注逐帧生成或直接生成整个视频的方法相比，在保持时间一致性的同时，关注了高频纹理的一致性，提高了生成视频的质量。
2. 本方法相较于单纯的自回归方法，本方法通过分段生成视频，实现了更好的时间连续性和高频纹理一致性。
3. 本方法加入了门控交叉注意力融合到与稳定扩散网络对齐的模块中，能够有效地避免不同信息之间因特征空间差异而导致的信息损失，使模型能够更好地利用空间特征和语义信息，更好地处理时间连续性，提高了生成过程的稳定性和准确性。
4. 本发明采用Reference Net（参考网络）结构来提取每一帧当中的高频信息，通过使用这些高频信息，可以有效地提高视频生成的质量和连贯性，同时还可以提高模型的泛化能力，使得模型能够更好地适应不同的数据集和场景。
5. 本发明通过设计重叠帧部分、传递时间信息和采样前一段视频的帧数，并在稳定扩散网络的每个模块中采用时间注意力机制等方法，通过采样前一段视频的帧数并将其编码到潜空间中，可以利用前一段视频的信息作为先验，从而引导当前视频段的生成过程，能够增强视频生成过程中的时间一致 性，并提高视频质量和连贯性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书提供的一种长短时特征引导的人体康复运动视频数据生成方法的流程示意图；
图2为本说明书中一段姿态序列的示意图；
图3为本说明书中提供的一种视频生成模型的结构示意图；
图4为本说明书提供的一种复合交叉注意力模块的结构示意图；
图5为本说明书提供的一种长短时特征引导的人体康复运动视频数据生成装置示意图；
图6为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种长短时特征引导的人体康复运动视频数据生成方法的示意图，具体包括以下步骤：
S100：获取参考图像、姿态序列以及视频样本。
S102：将所述姿态序列与所述视频样本分别进行分段，得到各分段姿态序列和各分段视频样本，一个姿态序列与一个分段视频样本一一对应，相邻的分段视频样本之间存在重叠。
在本说明书中，需要训练得到用于生成人体康复运动视频的视频生成模型，通过该视频生成模型可以生成真实的人体康复运动视频（即，真实的人在做康复运动的视频），该视频生成模型生成的视频的用途存在多种，例如，可以用于与人体康复视频相关的其他用途的神经网络模型（如：生成视频中人体对应的三维模型）的训练样本来源，再例如，可以用于提供给医护人员或患者的康复运动视频的自动生成。
基于此，服务器可以获取参考图像、姿态序列以及视频样本。这里提到的姿态序列可以用于表示出视频样本中的人体在每一时刻的姿态，例如，该姿态序列可以是指一段通过人体骨架表示出人体姿态的视频序列，如图2所示。
图2为本说明书中一段姿态序列的示意图。
这里提到的视频样本为一段包含有真实的人体做康复运动的视频，参考图像可以为包含有视频样本中真实的人体的图像，例如，该参考图像可以为视频样本中的一帧图像。
而后，可以将姿态序列与视频样本分别进行分段，得到各分段姿态序列和各分段视频样本，一个分段姿态序列与一个分段视频样本一一对应，相邻的分段视频样本之间存在重叠。
其中，在针对姿态序列与视频样本分别进行分段。其中，可以设定一个分段姿态序列和分段视频样本有K帧，每两个相邻的分段姿态序列和分段视频样本之间存在s帧重叠（例如，s可以取1/4 K），以得到各分段姿态序列和各分段视频样本，每一段包含的帧数分别是[1:K]，[K-s+1:2K-s]， [2K-2s:3K-2s].....[N-K:N]。
S104：将所述参考图像，分段姿态序列以及分段视频样本输入到待训练的视频生成模型中，以通过所述待训练的视频生成模型中的图像参考网络，提取得到所述参考图像对应的图像参考特征，以及通过所述视频生成模型中的视频参考网络，提取得到第k-1个分段视频样本对应的视频参考特征。
S106：通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、所述加噪后的分段视频样本、所述视频参考特征以及所述图像参考特征，输入到所述视频生成模型中的稳定扩散网络中，通过所述稳定扩散网络预测对所述第k个分段视频样本加入的噪声，得到预测噪声。
S108：以最小化所述预测噪声与所述生成的噪声之间的差异为优化目标，对所述视频生成模型进行训练，训练后的视频生成模型用于通过用户给出的参考图像和姿态序列，生成人体康复运动视频。
在确定出参考图像、分段得到各分段姿态序列和各分段视频样本后，可以将参考图像，各分段姿态序列以及各分段视频样本输入到待训练的视频生成模型中，对待训练的视频生成模型进行训练。
需要说明的是，在对视频生成模型进行训练时，假设一个完整的视频样本有n个分段视频样本，视频生成模型需要进行n次的推理过程，从第二次开始，需要输入第k-1个分段视频样本，以辅助训练生成第k个分段视频样本的过程。
因此，可以通过待训练的视频生成模型中的图像参考网络，提取得到参考图像对应的图像参考特征，以及通过视频生成模型中的视频参考网络，提取得到第k-1个分段视频样本对应的视频参考特征，并通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、加噪后的分段视频样本、视频参考特征以及图像参考特征，输入到视频生成模型中的稳定扩散网络中，通过稳定扩散网络预测对第k个分段视频样本加入的噪声，得到预测噪声，并以最小化预测噪声与生成的噪声之间的差异为优化目标，对视频生成模型进行训练，训练后的视频生成模型用于通过用户给出的参考图像和姿态序列，生成人体康复运动视频。
可以看出，上述内容简要的说明了一个完整的视频样本中一个分段视频样本（第k个分段视频样本）对应的训练过程，由于在训练视频生成模型时，是对视频加入噪声以及再通过视频生成模型预测出加入的噪声的过程，因此，在通过训练完成后的视频生成模型生成真实的视频时，与训练阶段存在一定不同。
需要说明的是，上述提到的对第k个分段视频样本（或对该第k个分段视频样本对应的特征）进行加噪的过程可以是按照多个时间步向分段视频样本加入多个噪声的过程，而稳定扩散网络预测出的也可以是噪声序列。
具体的，可以设定时间步的数量为T，进行T步的加噪操作，每一步加入的高斯噪声,服从，直到分段视频样本（或分段视频样本对应的特征）从原始状态变为纯高斯分布的噪声。具体可以通过下列式子直接得到经过T步加噪后的分段视频样本：
上述公式中的可以是指原始的分段视频样本，/>可以是指经过T步加噪后的分段视频样本。上述公式为稳定扩散模型中常规的用于一次性将多个时间步的噪声加入到原始数据的公式。
其中，在生成视频时，需要随机生成噪声，再将随机生成的噪声、预设的参考图像和预设的姿态序列输入到视频生成模型中，通过视频生成模型输出的噪声对该随机生成的噪声进行去噪，从而得到生成的视频。
需要说明的，视频生成模型中稳定扩散网络输出的是噪声，但是视频生成模型最终需要输出生成的视频，因此，在稳定扩散网络之后可以后接解码器（VAE解码器），将该随机生成的噪声进行去噪之后得到的去噪结果输入到解码器中，得到生成的视频。
在生成视频时，也需要分段生成，其中，可以随机生成噪声、再将上述提到的姿态序列进行分段，得到各分段姿态序列，将第i个分段姿态序列、随机生成的噪声、参考图像和第i-1个生成的分段视频输入到视频生成模型中，输出第i个分段视频，将全部分段视频进行拼接，即可以得到完整的视频（需要说明的是，不管是训练阶段还是通过训练后的模型生成视频的阶段，在第1个分段视频对应的训练过程/生成过程中，不涉及输入前一段分段视频的过程）。
下面对视频生成模型的结构进行详细介绍，如图3所示。
图3为本说明书中提供的一种视频生成模型的结构示意图。
视频生成模型中包含有主要的三个模块为：图像参考网络、稳定扩散网络和视频参考网络，在图像参考网络、稳定扩散网络和视频参考网络之前，存在有用于对参考图像、姿态序列和视频进行编码的网络。
其中，分别存在变分自编码器（VAE编码器）和图像语义特征提取模型（CLIP网络）对参考图像进行特征提取，存在姿态指导器（卷积神经网络）对姿态序列进行特征提取，分别存在变分自编码器和视频语义特征提取模型（CLIP网络）对视频进行特征提取。
通过变分自编码器和语义特征提取模型进行特征提取的区别在于，变分自编码器是较为简单地对图像或视频进行压缩从而得到图像/视频特征的方式，而语义特征提取模型能提取出视频的高频纹理特征以及图像的纹理特征。
其中，可以将参考图像输入到图像语义特征提取模型中，得到参考图像对应的语义特征，并将第k-1个分段视频样本输入到视频语义特征提取模型中，得到第k-1个分段视频样本对应的语义特征。其中，k可以为大于1的正整数。
针对图像参考网络，该图像参考网络中可以包括若干子模块，每个子模块中包括空间注意力模块和复合交叉注意力模块（如图2所示）。
可以通过变分自编码器对参考图像进行编码，得到图像编码，并将图像编码输入到图像参考网络中，通过第一个子模块的空间注意力模块得到注意力结果，将该注意力结果和参考图像对应的语义特征输入到复合交叉注意力模块，得到交叉注意力结果，将交叉注意力结果输入到下一子模块，下一子模块继续通过空间注意力模块得到注意力结果，以及通过复合交叉注意力模块得到交叉注意力结果，将各子模块对应的注意力结果，作为图像参考特征。
需要说明的是，空间注意力模块用于对参考图像的图像编码本身进行空间上的注意力加权，复合交叉注意力模块用于对参考图像的图像编码和语义特征之间进行交叉注意力。该复合交叉注意力模块可以仅由交叉注意力网络构成，也可以由交叉注意力网络和门控交叉注意力网络组成，其中门控交叉注意力网络由交叉注意力网络和门控网络（交叉注意力网络在前，门控网络在后）组成。
针对视频参考网络，该视频参考网络中包括若干子模块，每个子模块中包括：空间注意力模块、复合交叉注意力模块和时间注意力模块。
可以通过变分自编码器对第k-1个分段视频样本进行编码，得到视频编码，而后，可以将视频编码输入到视频参考网络中，通过第一个子模块的空间注意力模块得到注意力结果，并将该注意力结果和第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块，得到交叉注意力结果，将交叉注意力结果输入到时间注意力模块，得到时间注意力结果，将时间注意力结果输入到下一子模块中，下一子模块继续通过空间注意力模块得到注意力结果，通过复合交叉注意力模块得到交叉注意力结果以及通过时间注意力模块得到时间注意力结果，而后，将各子模块对应的时间注意力结果，作为视频参考特征。
上述图像参考网络和视频参考网络起到的作用主要是提供给稳定扩散网络参考图像和需要生成的分段视频之前的分段视频的特征参考，因此，主要用于生成视频的网络为稳定扩散网络（当然，该稳定扩散网络不能直接生成视频，是确定出向视频中加入的噪声，从而在实际需要生成视频时，通过稳定扩散网络对生成的噪声进行去噪，从而得到生成的视频）。
其中，视频参考网络中的复合交叉注意力模块与图像参考网络中的复合交叉注意力模块是一致的，在此不进行重复说明了。
需要说明的是，由于稳定扩散网络中包含了大量注意力网络层，因此，不管是图像参考特征、视频参考特征，还是参考图像对应的语义特征，分段视频样本对应的语义特征均在模型推理过程中融入到了第k个分段姿态序列和加噪后的分段视频样本的特征中，而在特征融合后，图像参考特征、视频参考特征，还是参考图像对应的语义特征，分段视频样本对应的语义特征所属部分特征可以被去除。
针对稳定扩散网络中，该稳定扩散网络中包括若干子模块，每个子模块中包括：空间注意力模块、复合交叉注意力模块、门控交叉注意力模块和时间注意力模块。
需要注意的是，稳定扩散网络、视频参考网络和图像参考网络中的子模块数量是一致的，即，三者子模块是一一对应的，视频参考网络和图像参考网络中每个子模块内部的输出需要提供给稳定扩散网络对应的子模块中，即，图像参考网络的空间注意力模块的输出需要输入到稳定扩散网络对应子模块的空间注意力模块中，视频参考网络的时间注意力模块的输出需要输入到稳定扩散网络对应子模块的门控交叉注意力模块中。
具体的，可以对第k个分段姿态序列进行编码（通过上述提到的姿态指导器对分段姿态序列进行编码），得到姿态编码，而后，可以将姿态编码、加噪后的分段视频样本（该加噪后的分段视频样本也可以是先通过变分自编码器等用于特征提取的网络对分段视频样本进行编码后再进行加噪得到的）、图像参考特征输入到第一个子模块中的空间注意力模块，得到空间注意力结果，并将空间注意力结果中属于图像参考特征的部分去除，得到去除后结果。
而后，可以将该去除后结果、参考图像对应的语义特征以及第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中，得到交叉注意力结果，将该交叉注意力结果和视频参考特征输入到门控交叉注意力，得到门控交叉注意力结果，将该门控交叉注意力结果输入到时间注意力网络中，得到时间注意力结果，并将该时间注意力结果输入到下一子模块中。
下一子模块继续通过空间注意力模块得到注意力结果，通过复合交叉注意力模块得到交叉注意力结果，通过门控交叉注意力模块得到门控交叉注意力结果以及通过时间注意力模块得到时间注意力结果，可以根据最后一个子模块确定出的时间注意力结果，确定出预测噪声。
下面针对复合交叉注意力模块进行详细的说明，与图像参考网络一致，复合交叉注意力模块可以由交叉注意力网络和门控交叉注意力网络组成，其中门控交叉注意力网络由交叉注意力网络和门控网络（交叉注意力网络在前，门控网络在后）构成，如图4所示。
图4为本说明书提供的一种复合交叉注意力模块的结构示意图。
其中，可以确定用于表征第1~第k-2个分段视频样本之间融合特征的融合语义特征，将去除后结果、融合语义特征以及第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中的交叉注意力模块，得到第一注意力结果，第一注意力结果中包括用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征，前述用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征将用于第k+1个分段视频样本的训练过程。
而后，可以将第一注意力结果与参考图像对应的语义特征输入到门控交叉注意力模块，得到第二注意力结果，再将第二注意力结果中除属于去除后结果之外的部分特征去除，得到交叉注意力结果。
从图4中可以看出（为了便于说明，图4中仅绘出了融合语义特征和语义特征的输入输出关系），输入到复合交叉注意力模块中的交叉注意力模块存在有第k-1个分段视频样本对应的语义特征和用于表征第1~第k-2个分段视频样本之间融合特征的融合语义特征，输出结果中包含有用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征。
需要说明的是，用于表征第1~第k-2个分段视频样本之间融合特征的融合语义特征是在视频生成模型针对第k-1个分段视频样本的训练过程中得到的。
具体来说，在针对第1个分段视频样本的训练过程中，不涉及这一过程，在针对第2个分段视频样本的训练过程中只需要输入第1个分段视频样本对应的语义特征。
在针对第3个分段视频样本的训练过程中，复合交叉注意力模块中的交叉注意力模块的输入包括有第1个分段视频样本对应的语义特征和第2个分段视频样本对应的语义特征，通过交叉注意力模块对两者进行融合，可以得到用于表征第1~第2个分段视频样本之间融合特征的融合语义特征。
在针对第4个分段视频样本的训练过程中，复合交叉注意力模块中的交叉注意力模块的输入包括有上述用于表征第1~第2个分段视频样本之间融合特征的融合语义特征，以及第3个分段视频样本对应的语义特征，通过交叉注意力模块对两者进行融合，可以得到用于表征第1~第3个分段视频样本之间融合特征的融合语义特征。从而不断以此类推，上一个分段视频样本训练过程中得到的融合语义特征可以用于下一分段视频样本的训练过程。
还需说明的是，从图3中可以看出，对于第k-1个分段视频序列还存在有需要进行采样的分支，即，可以对第k-1个分段视频样本在重叠帧之前的部分进行采样，得到采样结果，重叠帧为第k-1个分段视频样本与第k个分段视频样本之间重叠的部分，而后，可以将采样结果对应的编码按照时间顺序拼接在门控交叉注意力结果中第k个分段视频样本对应的特征之前，得到门控交叉注意力结果对应的拼接后结果，进而，将拼接后结果输入到时间注意力网络中，确定出输出结果，并将输出结果中属于采样结果的部分去除得到时间注意力结果。
需要说明的是，为了便于描述，将执行本方法的执行主体作为服务器进行描述，本方法的执行主体可以是计算机、控制器、服务器等，在此不进行限定。还需说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
以上为本说明书的一个或多个长短时特征引导的人体康复运动视频数据生成方法，基于同样的思路，本说明书还提供了长短时特征引导的人体康复运动视频数据生成装置，如图5所示。
图5为本说明书提供的一种长短时特征引导的人体康复运动视频数据生成装置示意图，包括：
获取模块501，用于获取参考图像、姿态序列以及视频样本；
分段模块502，用于将所述姿态序列与所述视频样本分别进行分段，得到各分段姿态序列和各分段视频样本，一个分段姿态序列与一个分段视频样本一一对应，相邻的分段视频样本之间存在重叠；
输入模块503，用于将所述参考图像，分段姿态序列以及分段视频样本输入到待训练的视频生成模型中，以通过所述待训练的视频生成模型中的图像参考网络，提取得到所述参考图像对应的图像参考特征，以及将第k-1个分段视频样本输入到所述视频生成模型中的视频参考网络中，得到所述第k-1个分段视频样本对应的视频参考特征；
预测模块504，用于通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、所述加噪后的分段视频样本、所述视频参考特征以及所述图像参考特征，输入到所述视频生成模型中的稳定扩散网络中，通过所述稳定扩散网络预测对所述第k个分段视频样本加入的噪声，得到预测噪声；
训练模块505，用于以最小化所述预测噪声与所述生成的噪声之间的差异为优化目标，对所述视频生成模型进行训练，训练后的视频生成模型用于通过用户给出的参考图像和姿态序列，生成人体康复运动视频。
可选地，所述视频生成模型中还包括图像语义特征提取模型和视频语义特征提取模型；
所述输入模块503还用于，将所述参考图像输入到所述图像语义特征提取模型中，得到所述参考图像对应的语义特征，将第k-1个分段视频样本输入到所述视频语义特征提取模型中，得到所述第k-1个分段视频样本对应的语义特征。
可选地，所述图像参考网络中包括若干子模块，每个子模块中包括空间注意力模块和复合交叉注意力模块；
输入模块503具体用于，通过变分自编码器对所述参考图像进行编码，得到图像编码；将所述图像编码输入到所述图像参考网络中，通过第一个子模块的空间注意力模块得到注意力结果，并将所述注意力结果和所述参考图像对应的语义特征输入到所述复合交叉注意力模块，得到交叉注意力结果，将所述交叉注意力结果输入到下一子模块，下一子模块继续通过空间注意力模块得到注意力结果，以及通过复合交叉注意力模块得到交叉注意力结果；将各子模块对应的注意力结果，作为所述图像参考特征。
可选地，所述视频参考网络中包括若干子模块，每个子模块中包括：空间注意力模块、复合交叉注意力模块和时间注意力模块；
输入模块503具体用于，通过变分自编码器对第k-1个分段视频样本进行编码，得到视频编码；将所述视频编码输入到所述视频参考网络中，通过第一个子模块的空间注意力模块得到注意力结果，并将所述注意力结果和所述第k-1个分段视频样本对应的语义特征输入到所述复合交叉注意力模块，得到交叉注意力结果，将所述交叉注意力结果输入到时间注意力模块，得到时间注意力结果，将所述时间注意力结果输入到下一子模块中，下一子模块继续通过空间注意力模块得到注意力结果，通过复合交叉注意力模块得到交叉注意力结果以及通过时间注意力模块得到时间注意力结果；将各子模块对应的时间注意力结果，作为所述视频参考特征。
可选地，所述稳定扩散网络中包括若干子模块，每个子模块中包括：空间注意力模块、复合交叉注意力模块、门控交叉注意力模块和时间注意力模块；
所述预测模块504具体用于，对所述第k个分段姿态序列进行编码，得到姿态编码；将所述姿态编码、所述加噪后的分段视频样本、所述图像参考特征输入到第一个子模块中的空间注意力模块，得到空间注意力结果，并将所述空间注意力结果中属于图像参考特征的部分去除，得到去除后结果，将所述去除后结果、所述参考图像对应的语义特征以及所述第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中，得到交叉注意力结果，将所述交叉注意力结果和所述视频参考特征输入到门控交叉注意力模块，得到门控交叉注意力结果，将所述门控交叉注意力结果输入到时间注意力网络中，得到时间注意力结果，并将所述时间注意力结果输入到下一子模块中；下一子模块继续通过空间注意力模块得到注意力结果，通过复合交叉注意力模块得到交叉注意力结果，通过门控交叉注意力模块得到门控交叉注意力结果以及通过时间注意力模块得到时间注意力结果；根据最后一个子模块确定出的时间注意力结果，确定出所述预测噪声。
可选地，所述复合交叉注意力模块中包括交叉注意力模块和门控交叉注意力模块；
所述预测模块504具体用于，确定用于表征第1~第k-2个分段视频样本之间融合特征的融合语义特征；将所述去除后结果、所述融合语义特征以及所述第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中的交叉注意力模块，得到第一注意力结果，所述第一注意力结果中包括用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征，所述用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征用于第k+1个分段视频样本的训练过程；将所述第一注意力结果与所述参考图像对应的语义特征输入到门控交叉注意力模块，得到第二注意力结果；将所述第二注意力结果中除属于所述去除后结果之外的部分特征去除，得到交叉注意力结果。
可选地，所述预测模块504具体用于，对所述第k-1个分段视频样本在重叠帧之前的部分进行采样，得到采样结果，所述重叠帧为所述第k-1个分段视频样本与所述第k个分段视频样本之间重叠的部分；将所述采样结果对应的编码按照时间顺序拼接在所述门控交叉注意力结果中第k个分段视频样本对应的特征之前，得到所述门控交叉注意力结果对应的拼接后结果；将所述拼接后结果输入到时间注意力网络中，确定出输出结果，并将所述输出结果中属于所述采样结果的部分去除得到时间注意力结果。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述长短时特征引导的人体康复运动视频数据生成方法。
本说明书还提供了图6所示的电子设备的示意结构图。如图6所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现长短时特征引导的人体康复运动视频数据生成方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种长短时特征引导的人体康复运动视频数据生成方法，其特征在于，包括：
获取参考图像、姿态序列以及视频样本，所述参考图像中包含有所述视频样本中真实的人体图像；
将所述姿态序列与所述视频样本分别进行分段，得到各分段姿态序列和各分段视频样本，一个分段姿态序列与一个分段视频样本一一对应，相邻的分段视频样本之间存在重叠；
将所述参考图像，分段姿态序列以及分段视频样本输入到待训练的视频生成模型中，以通过所述待训练的视频生成模型中的图像参考网络，提取得到所述参考图像对应的图像参考特征，以及将第k-1个分段视频样本输入到所述视频生成模型中的视频参考网络中，得到所述第k-1个分段视频样本对应的视频参考特征；
通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、所述加噪后的分段视频样本、所述视频参考特征以及所述图像参考特征，输入到所述视频生成模型中的稳定扩散网络中，通过所述稳定扩散网络预测对所述第k个分段视频样本加入的噪声，得到预测噪声；
以最小化所述预测噪声与所述生成的噪声之间的差异为优化目标，对所述视频生成模型进行训练，训练后的视频生成模型用于通过用户给出的参考图像和姿态序列，生成人体康复运动视频。
2.如权利要求1所述的方法，其特征在于，所述视频生成模型中还包括图像语义特征提取模型和视频语义特征提取模型；
所述方法还包括：
将所述参考图像输入到所述图像语义特征提取模型中，得到所述参考图像对应的语义特征，将第k-1个分段视频样本输入到所述视频语义特征提取模型中，得到所述第k-1个分段视频样本对应的语义特征。
3.如权利要求2所述的方法，其特征在于，所述图像参考网络中包括若干子模块，每个子模块中包括空间注意力模块和复合交叉注意力模块；
通过所述待训练的视频生成模型中的图像参考网络，提取得到所述参考图像对应的图像参考特征，具体包括：
通过变分自编码器对所述参考图像进行编码，得到图像编码；
将所述图像编码输入到所述图像参考网络中，通过第一个子模块的空间注意力模块得到注意力结果，并将所述注意力结果和所述参考图像对应的语义特征输入到所述复合交叉注意力模块，得到交叉注意力结果，将所述交叉注意力结果输入到下一子模块，下一子模块继续通过空间注意力模块得到注意力结果，以及通过复合交叉注意力模块得到交叉注意力结果；
将各子模块对应的注意力结果，作为所述图像参考特征。
4.如权利要求2所述的方法，其特征在于，所述视频参考网络中包括若干子模块，每个子模块中包括：空间注意力模块、复合交叉注意力模块和时间注意力模块；
通过所述视频生成模型中的视频参考网络，提取得到第k-1个分段视频样本对应的视频参考特征，具体包括：
通过变分自编码器对第k-1个分段视频样本进行编码，得到视频编码；
将所述视频编码输入到所述视频参考网络中，通过第一个子模块的空间注意力模块得到注意力结果，并将所述注意力结果和所述第k-1个分段视频样本对应的语义特征输入到所述复合交叉注意力模块，得到交叉注意力结果，将所述交叉注意力结果输入到时间注意力模块，得到时间注意力结果，将所述时间注意力结果输入到下一子模块中，下一子模块继续通过空间注意力模块得到注意力结果，通过复合交叉注意力模块得到交叉注意力结果以及通过时间注意力模块得到时间注意力结果；
将各子模块对应的时间注意力结果，作为所述视频参考特征。
5.如权利要求2所述的方法，其特征在于，所述稳定扩散网络中包括若干子模块，每个子模块中包括：空间注意力模块、复合交叉注意力模块、门控交叉注意力模块和时间注意力模块；
将第k个分段姿态序列、所述加噪后的分段视频样本、所述视频参考特征以及所述图像参考特征，输入到所述视频生成模型中的稳定扩散网络中，通过所述稳定扩散网络预测对所述第k个分段视频样本加入的噪声，得到预测噪声，具体包括：
对所述第k个分段姿态序列进行编码，得到姿态编码；
将所述姿态编码、所述加噪后的分段视频样本、所述图像参考特征输入到第一个子模块中的空间注意力模块，得到空间注意力结果，并将所述空间注意力结果中属于图像参考特征的部分去除，得到去除后结果，将所述去除后结果、所述参考图像对应的语义特征以及所述第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中，得到交叉注意力结果，将所述交叉注意力结果和所述视频参考特征输入到门控交叉注意力模块，得到门控交叉注意力结果，将所述门控交叉注意力结果输入到时间注意力网络中，得到时间注意力结果，并将所述时间注意力结果输入到下一子模块中；
下一子模块继续通过空间注意力模块得到注意力结果，通过复合交叉注意力模块得到交叉注意力结果，通过门控交叉注意力模块得到门控交叉注意力结果以及通过时间注意力模块得到时间注意力结果；
根据最后一个子模块确定出的时间注意力结果，确定出所述预测噪声。
6.如权利要求5所述的方法，其特征在于，所述复合交叉注意力模块中包括交叉注意力模块和门控交叉注意力模块；
将所述去除后结果、所述参考图像对应的语义特征以及所述第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中，得到交叉注意力结果，具体包括：
确定用于表征第1~第k-2个分段视频样本之间融合特征的融合语义特征；
将所述去除后结果、所述融合语义特征以及所述第k-1个分段视频样本对应的语义特征输入到复合交叉注意力模块中的交叉注意力模块，得到第一注意力结果，所述第一注意力结果中包括用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征，所述用于表征第1~第k-1个分段视频样本之间融合特征的融合语义特征用于第k+1个分段视频样本的训练过程；
将所述第一注意力结果与所述参考图像对应的语义特征输入到门控交叉注意力模块，得到第二注意力结果；
将所述第二注意力结果中除属于所述去除后结果之外的部分特征去除，得到交叉注意力结果。
7.如权利要求5所述的方法，其特征在于，将所述门控交叉注意力结果输入到时间注意力网络中，得到时间注意力结果，具体包括：
对所述第k-1个分段视频样本在重叠帧之前的部分进行采样，得到采样结果，所述重叠帧为所述第k-1个分段视频样本与所述第k个分段视频样本之间重叠的部分；
将所述采样结果对应的编码按照时间顺序拼接在所述门控交叉注意力结果中第k个分段视频样本对应的特征之前，得到所述门控交叉注意力结果对应的拼接后结果；
将所述拼接后结果输入到时间注意力网络中，确定出输出结果，并将所述输出结果中属于所述采样结果的部分去除得到时间注意力结果。
8.一种长短时特征引导的人体康复运动视频数据生成装置，其特征在于，包括：
获取模块，用于获取参考图像、姿态序列以及视频样本，所述参考图像中包含有所述视频样本中真实的人体图像；
分段模块，用于将所述姿态序列与所述视频样本分别进行分段，得到各分段姿态序列和各分段视频样本，一个分段姿态序列与一个分段视频样本一一对应，相邻的分段视频样本之间存在重叠；
输入模块，用于将所述参考图像，分段姿态序列以及分段视频样本输入到待训练的视频生成模型中，以通过所述待训练的视频生成模型中的图像参考网络，提取得到所述参考图像对应的图像参考特征，以及将第k-1个分段视频样本输入到所述视频生成模型中的视频参考网络中，得到所述第k-1个分段视频样本对应的视频参考特征；
预测模块，用于通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、所述加噪后的分段视频样本、所述视频参考特征以及所述图像参考特征，输入到所述视频生成模型中的稳定扩散网络中，通过所述稳定扩散网络预测对所述第k个分段视频样本加入的噪声，得到预测噪声；
训练模块，用于以最小化所述预测噪声与所述生成的噪声之间的差异为优化目标，对所述视频生成模型进行训练，训练后的视频生成模型用于通过用户给出的参考图像和姿态序列，生成人体康复运动视频。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410281162.0A CN117880444B (zh) | 2024-03-12 | 2024-03-12 | 一种长短时特征引导的人体康复运动视频数据生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410281162.0A CN117880444B (zh) | 2024-03-12 | 2024-03-12 | 一种长短时特征引导的人体康复运动视频数据生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117880444A CN117880444A (zh) | 2024-04-12 |
| CN117880444B true CN117880444B (zh) | 2024-05-24 |
Family
ID=90579570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410281162.0A Active CN117880444B (zh) | 2024-03-12 | 2024-03-12 | 一种长短时特征引导的人体康复运动视频数据生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117880444B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007133609A (ja) * | 2005-11-09 | 2007-05-31 | Oki Electric Ind Co Ltd | 映像作成装置及び映像作成方法 |
| CN107506800A (zh) * | 2017-09-21 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于无监督域适应的无标签视频人脸识别方法 |
| JP2018032316A (ja) * | 2016-08-26 | 2018-03-01 | 日本電信電話株式会社 | 映像生成装置、映像生成モデル学習装置、その方法、及びプログラム |
| WO2021190078A1 (zh) * | 2020-03-26 | 2021-09-30 | 华为技术有限公司 | 短视频的生成方法、装置、相关设备及介质 |
| CN116233491A (zh) * | 2023-05-04 | 2023-06-06 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频生成的方法及服务器 |
| CN116392812A (zh) * | 2022-12-02 | 2023-07-07 | 阿里巴巴（中国）有限公司 | 动作生成方法及虚拟人物动画生成方法 |
| US11727618B1 (en) * | 2022-08-25 | 2023-08-15 | xNeurals Inc. | Artificial intelligence-based system and method for generating animated videos from an audio segment |
| CN117409121A (zh) * | 2023-10-17 | 2024-01-16 | 西安电子科技大学 | 基于音频和单幅图像驱动的细粒度情感控制说话人脸视频生成方法、系统、设备及介质 |
| CN117499711A (zh) * | 2023-11-08 | 2024-02-02 | 腾讯科技（深圳）有限公司 | 视频生成模型的训练方法、装置、设备及存储介质 |
| CN117593473A (zh) * | 2024-01-17 | 2024-02-23 | 淘宝（中国）软件有限公司 | 动作图像与视频生成方法、设备与存储介质 |
-
2024
- 2024-03-12 CN CN202410281162.0A patent/CN117880444B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007133609A (ja) * | 2005-11-09 | 2007-05-31 | Oki Electric Ind Co Ltd | 映像作成装置及び映像作成方法 |
| JP2018032316A (ja) * | 2016-08-26 | 2018-03-01 | 日本電信電話株式会社 | 映像生成装置、映像生成モデル学習装置、その方法、及びプログラム |
| CN107506800A (zh) * | 2017-09-21 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于无监督域适应的无标签视频人脸识别方法 |
| WO2021190078A1 (zh) * | 2020-03-26 | 2021-09-30 | 华为技术有限公司 | 短视频的生成方法、装置、相关设备及介质 |
| US11727618B1 (en) * | 2022-08-25 | 2023-08-15 | xNeurals Inc. | Artificial intelligence-based system and method for generating animated videos from an audio segment |
| CN116392812A (zh) * | 2022-12-02 | 2023-07-07 | 阿里巴巴（中国）有限公司 | 动作生成方法及虚拟人物动画生成方法 |
| CN116233491A (zh) * | 2023-05-04 | 2023-06-06 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频生成的方法及服务器 |
| CN117409121A (zh) * | 2023-10-17 | 2024-01-16 | 西安电子科技大学 | 基于音频和单幅图像驱动的细粒度情感控制说话人脸视频生成方法、系统、设备及介质 |
| CN117499711A (zh) * | 2023-11-08 | 2024-02-02 | 腾讯科技（深圳）有限公司 | 视频生成模型的训练方法、装置、设备及存储介质 |
| CN117593473A (zh) * | 2024-01-17 | 2024-02-23 | 淘宝（中国）软件有限公司 | 动作图像与视频生成方法、设备与存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Enabling the Encoder-Empowered GAN-based Video Generators for Long Video Generation;J. Yang and A. G. Bors;《2023 IEEE International Conference on Image Processing (ICIP)》;20230911;全文 * |
| 基于多模态输入的对抗式视频生成方法;于海涛;杨小汕;徐常胜;;计算机研究与发展;20200707(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117880444A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117372631A (zh) | 一种多视角图像生成模型的训练方法、应用方法 | |
| CN116977525B (zh) | 一种图像渲染方法、装置、存储介质及电子设备 | |
| CN116343314B (zh) | 一种表情识别方法、装置、存储介质及电子设备 | |
| CN117392485B (zh) | 图像生成模型训练方法、业务执行方法、装置及介质 | |
| CN117635822A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN117880444B (zh) | 一种长短时特征引导的人体康复运动视频数据生成方法 | |
| CN117409466A (zh) | 一种基于多标签控制的三维动态表情生成方法及装置 | |
| CN116524295A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN117726760B (zh) | 一种用于视频的三维人体重建模型的训练方法及装置 | |
| CN117808976B (zh) | 一种三维模型构建方法、装置、存储介质及电子设备 | |
| CN117726907B (zh) | 一种建模模型的训练方法、三维人体建模的方法以及装置 | |
| CN117911630B (zh) | 一种三维人体建模的方法、装置、存储介质及电子设备 | |
| CN114528923B (zh) | 基于时域上下文的视频目标检测方法、装置、设备及介质 | |
| CN113887326B (zh) | 一种人脸图像处理方法及装置 | |
| CN117893696B (zh) | 一种三维人体数据生成方法、装置、存储介质及电子设备 | |
| CN116309924B (zh) | 一种模型训练的方法、图像展示的方法及装置 | |
| CN116991388B (zh) | 一种深度学习编译器的图优化序列生成方法及装置 | |
| CN117635912A (zh) | 一种感兴趣部位生长预测的方法、装置、介质及设备 | |
| CN112950732B (zh) | 一种图像生成方法、装置、存储介质及电子设备 | |
| CN116229218B (zh) | 一种模型训练、图像配准方法及装置 | |
| CN116188469A (zh) | 一种病灶检测方法、装置、可读存储介质及电子设备 | |
| CN117834793A (zh) | 一种基于静态图像的视频生成方法及装置 | |
| CN116152246B (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN117830564A (zh) | 一种姿态分布指导的三维虚拟人模型重建方法 | |
| CN116245773A (zh) | 一种人脸合成模型训练方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |