CN117056540A - 基于文本生成多媒体对象的方法及装置 - Google Patents

基于文本生成多媒体对象的方法及装置 Download PDF

Info

Publication number
CN117056540A
CN117056540A CN202311305522.8A CN202311305522A CN117056540A CN 117056540 A CN117056540 A CN 117056540A CN 202311305522 A CN202311305522 A CN 202311305522A CN 117056540 A CN117056540 A CN 117056540A
Authority
CN
China
Prior art keywords
feature
iteration
text
downsampling
current iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311305522.8A
Other languages
English (en)
Other versions
CN117056540B (zh
Inventor
于彤
吴韶华
赵冰
王申领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Metabrain Intelligent Technology Co Ltd
Original Assignee
Suzhou Metabrain Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Metabrain Intelligent Technology Co Ltd filed Critical Suzhou Metabrain Intelligent Technology Co Ltd
Priority to CN202311305522.8A priority Critical patent/CN117056540B/zh
Publication of CN117056540A publication Critical patent/CN117056540A/zh
Application granted granted Critical
Publication of CN117056540B publication Critical patent/CN117056540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种基于文本生成多媒体对象的方法及装置，涉及图像处理技术领域，方法包括：获取文本数据，在每次迭代中，将文本数据输入转换模型，提取得到文本数据的文本特征，根据转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，根据转换模型中的滑动窗口多头自注意力模块融合第一融合特征和时间步特征，得到第二融合特征，根据第二融合特征得到目标融合特征，基于目标融合特征获得当前迭代的输出结果，将迭代次数达到预设次数的迭代输出结果作为目标多媒体对象。基于本方法可以获取质量符合要求的多媒体对象，且具有处理效率高的特点。

Description

基于文本生成多媒体对象的方法及装置
技术领域
本申请涉及数据处理技术领域，尤其涉及一种基于文本生成多媒体对象的方法及装置。
背景技术
随着人工智能技术的发展，人工智能的适用场景也越来越多。例如，在图片生成的应用场景中，可以通过人工智能技术，将包括图片描述信息的文本转换为图片。
在相关技术中，可以通过流生成模型、变分自编码器（Variational AutoencoderEncoder，VAE）模型或者通过扩散模型进行文本到图片的转换。
然而，流生成模型具有参数量多的特点，这会导致数据处理的计算量大，处理时间长，基于VAE模型只能生成模糊的图片，而基于扩散模型生成图片的方法，具有采样时间长的问题，且基于扩散模型生成的图片无法体现图片中物体的大小、方位等细节，这会影响图片生成效率和图片质量。即，相关技术中的根据文本生成图片的方法，存在处理效率低和生成的图片质量差的问题。
发明内容
本申请实施例提供一种基于文本生成多媒体对象的方法及装置，以解决在先技术中的基于文本生成多媒体对象的方法，存在处理效率低和生成的图片质量差的问题。
第一方面，本申请实施例提供了一种基于文本生成多媒体对象的方法，包括：
获取文本数据；
在每次迭代中，将所述文本数据输入转换模型，每次迭代包括多次采样，所述多次采样包括依次进行的多次下采样和多次上采样，在每次采样中，提取得到所述文本数据的文本特征，根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，根据所述转换模型中的滑动窗口多头自注意力模块融合所述第一融合特征和所述时间步特征，得到第二融合特征，根据所述第二融合特征得到目标融合特征，并基于所述目标融合特征获得当前迭代的输出结果，所述当前迭代已执行过程产生的特征是和上一次迭代输出的多媒体对象的多媒体特征关联的特征；
在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象，所述目标多媒体对象用于表征所述文本数据描述的多媒体对象。
第二方面，本申请实施例提供了一种基于文本生成多媒体对象的装置，所述装置包括：
第一获取模块，用于获取文本数据；
第二获取模块，用于在每次迭代中，将所述文本数据输入转换模型，每次迭代包括多次采样，所述多次采样包括依次进行的多次下采样和多次上采样，在每次采样中，提取得到所述文本数据的文本特征，根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，根据所述转换模型中的滑动窗口多头自注意力模块融合所述第一融合特征和所述时间步特征，得到第二融合特征，根据所述第二融合特征得到目标融合特征，并基于所述目标融合特征获得当前迭代的输出结果，所述当前迭代已执行过程产生的特征是和上一次迭代多媒体特征关联的特征；
第三获取模块，用于在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象，所述目标多媒体对象用于表征所述文本数据描述的多媒体对象。
第三方面，本申请实施例还提供了一种电子设备，包括处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现所述第一方面的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行所述第一方面的方法。
综上，在本实施例中，根据转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、针对文本数据的文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征。当前迭代已执行过程产生的特征和转换模型上一次迭代输出的多媒体对象的多媒体特征的多媒体特征关联，对应的，第一融合特征是对和上一次迭代输出的多媒体特征关联的特征、文本特征以及时间步特征进行融合得到的。根据转换模型中的滑动窗口多头自注意力模块，对第一融合特征和时间步特征进行融合，得到第二融合特征，根据第二融合特征得到目标融合特征，基于目标融合特征获得当前迭代的输出结果，进而得到目标多媒体对象。基于窗口多头自注意力模块和滑动窗口多头自注意力模块，进行文本特征、与转换模型上一次迭代输出的多媒体对象的多媒体特征的多媒体特征和时间步特征的特征融合，进而实现目标多媒体对象的获取，可以实现文本数据的引导，得到能体现出文本数据所包含的对象描述细节和深层次特征的目标多媒体对象，由此得到的目标多媒体对象的质量好。另外，基于本实施例中通过窗口多头自注意力模块和滑动窗口多头自注意力模块进行特征融合，进而得到目标多媒体对象的方法，涉及的参数量小，提高了数据处理效率。即，本实施例的方法解决了相关技术中文本生成图片的方法，存在处理效率低和生成的图片质量差的问题。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
图1是本申请实施例提供的一种基于文本生成多媒体对象的方法步骤流程图；
图2是本申请实施例提供的另一种基于文本生成多媒体对象的方法步骤流程图；
图3是本申请实施例提供的又一种基于文本生成多媒体对象的方法步骤流程图；
图4是本申请实施例提供的一种转换模型的模型结构示意图；
图5是本申请实施例提供的一种基于文本生成多媒体对象的装置框图；
图6是本发明实施例提供的一种电子设备的框图；
图7是本发明实施例提供的另一种电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
下面结合附图，通过具体的实施例对本申请实施例提供的基于文本生成多媒体对象的方法进行详细地说明。
本申请中出现的部分名词或术语适用于如下解释：
窗口多头自注意力模块（Window Multi-head Self-attention，W-MSA），摆动转换器模型（Swin Transformer）中的窗口多头自注意力模块，用于对当前迭代已执行过程产生的特征、文本特征，以及与当前迭代对应的时间步的时间步特征进行特征融合，得到第一融合特征。
滑动窗口多头自注意力模块（Shift-window Multi-head Self-attention, SW-MSA），Swin Transformer模型中的滑动窗口多头自注意力模块，用于对第一融合特征和时间步特征进行特征融合，得到第二融合特征。
交叉自注意力计算（Cross-attention）模块，用于进行交叉自注意力计算的模块。
图形处理器（Graphics Processing Unit，GPU），用于进行图像处理的微处理器。
生成对抗网络（Generative Adversarial Network，GAN），一种用于生成图片的网络模型。
变分自编码器（Variational Autoencoder Encoder，VAE），一种用于生成图片的网络模型。
卷积神经网络(Convolutional Neural Networks, CNN)模型，用于获取图片特征的网络模型。
多语言训练模型（Cross-lingual Language Model Pretraining-A RobustlyOptimized Bidirectional Encoder Representation from Transformers PretrainingApproach Large，XLM-RoBERTa Large），用于进行文本特征提取的网络模型。
文本到文本转换的编码器（Transfer Text-to-Text Transformer，T5），用于对文本数据进行文本特征提取的网络模型。
预训练神经网络模型（Contrastive Language-Image Pre-Training，CLIP），用于提取文本特征的网络模型。
图1是本申请实施例提供的一种基于文本生成多媒体对象的方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、获取文本数据。
在本步骤中，文本数据为用于引导生成多媒体对象的文本格式的数据，文本数据至少包含了描述要生成的多媒体对象内容的数据。
具体的，文本数据的内容可以根据用户需要生成的多媒体对象的内容确定。进一步的，文本数据的文本长度可以根据用户需求设定，例如，可以设定为：文本长度小于等于512个令牌（token）。文本数据中包括的描述内容可以简略也可以详细。示例地，文本数据的内容可以包括要生成的多媒体对象的场景和内容，也可以包括多媒体对象的风格。
例如，需要生成的多媒体对象为大熊猫的图片，则文本数据可以为“画一幅大熊猫”。再例如，需要生成的多媒体对象为表现烟雨蒙蒙场景的国画图片，文本数据可以为“画一幅国画，表现烟雨蒙蒙的情景。”又例如，需要生成的多媒体对象为梵高风格的牡丹花图片，文本数据可以为“用梵高的风格画一幅牡丹花，花是粉色的，花瓶是黄色的”。
步骤102，在每次迭代中，将文本数据输入转换模型，每次迭代包括多次采样，多次采样包括依次进行的多次下采样和多次上采样，在每次采样中，提取得到文本数据的文本特征，根据转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，根据转换模型中的滑动窗口多头自注意力模块融合第一融合特征和时间步特征，得到第二融合特征，根据第二融合特征得到目标融合特征，并基于目标融合特征获得当前迭代的输出结果，当前迭代已执行过程产生的特征是和上一次迭代输出的多媒体特征关联的特征。
在本步骤中，转换模型是根据文本数据样本，以及针对文本数据样本的多媒体对象样本训练机器学习模型得到的。
示例地，根据文本特征提取模型提取得到文本数据的文本特征。
示例地，窗口多头自注意力模块为Swin Transformer模型中的窗口多头自注意力模块（Window Multi-head Self-attention，W-MSA），滑动窗口多头自注意力模块为SwinTransformer模型中的滑动窗口多头自注意力模块（Shift-window Multi-head Self-attention, SW-MSA）。
在一个实施中，每次迭代均包括多次采样，多次采样均包括依次进行的多次下采样和多次上采样。示例地，每次迭代可以包括依次执行的四次下采样和四次上采样。具体的，每次迭代包括依次执行的第一次下采样、第二次下采样、第三次下采样、第四次下采样，以及第一次上采样、第二次上采样、第三次上采样和第四次上采样。
其中，每次采样均包括特征融合过程。在一个实施例中，每次采样均包括对文本特征、当前迭代已执行过程产生的特征，以及与当前迭代对应的时间步的时间步特征进行特征融合的特征融合过程，以及与采样过程对应的采样处理过程。
对应地，转换模块包括多个依次连接的多个下采样模块和多个上采样模块。其中，每个下采样过程均包括依次执行的特征融合过程和下采样处理过程，每个上采样过程均包括依次执行的上采样处理过程和特征融合过程。
进一步的，特征融合过程包括：根据转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，根据转换模型中的滑动窗口多头自注意力模块融合第一融合特征和时间步特征，得到第二融合特征，根据第二融合特征得到目标融合特征。示例地，对第二融合特征进行交叉注意力处理，得到目标融合特征。
示例地，对当前迭代已执行过程产生的特征、文本特征和当前迭代对应的时间步的时间步特征，进行特征融合和自注意力计算，以得到第一融合特征。示例地，对第一融合特征和当前迭代对应的时间步的时间步特征，进行特征融合和自注意力计算，以得到第二融合特征。示例地，对第二融合特征进行交叉自注意力计算，得到目标融合特征。
在本步骤中，和文本特征以及时间步特征进行融合的当前迭代已执行过程产生的特征，是和上一次迭代输出的多媒体特征关联的特征。示例地，在当前执行过程为当前迭代中的第一次下采样的情况下，当前迭代已执行过程产生的特征为上一次迭代输出的多媒体特征。在当前执行过程为当前迭代中除第一次下采样外的其他采样过程的情况下，当前迭代已执行过程产生的特征，是在针对该采样过程的上一次采样过程中，根据特征融合和采样处理所得到的采样特征。
示例地，在当前迭代为转换模型的第一次迭代中的第一次下采样的情况下，当前迭代已执行过程产生的特征，可以为用于表征多媒体对象特征的随机噪声。
在本步骤中，多媒体对象的种类可以有多种，示例地，可以为图片、视频、语音，或者其他多媒体数据。
步骤103，在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象，目标多媒体对象用于表征文本数据描述的多媒体对象。
示例地，转换模型为根据文本数据样本和多媒体对象样本进行机器学习模型训练得到的，训练得到转换模型的过程所用到的模型迭代的次数，和本步骤中的迭代次数相等。
在本步骤中，目标多媒体对象为用户期望根据步骤101中的文本数据所生成的多媒体对象。
需要说明的是，本实施例中的转换模型可以部署在图形处理器（GraphicsProcessing Unit，GPU）上，也可以部署在其他处理设备上，基于部署的转换模型，可以实现文本数据向目标多媒体对象的转换。
在相关技术中，可以通过GAN模型、VAE模型和流生成模型，实现文本数据到多媒体对象的转换。
但GAN模型需要做对抗学习训练，训练时需要达到纳什均衡，这种均衡有时可以靠梯度下降得到，但有时不可以靠梯度下降得到，因此GAN模型的训练具有不稳定的特点，且其收敛相对困难一些，而且通过GAN产生得到的图片效果逼真，但是图片的多样性往往较差另外，另外，GAN模型也无法处理文本等离散数据。流生成模型具备可逆的编码器，能够精确地模拟出真实的数据分布，但是流生成模型具备参数量多，计算量大的特点，且流生成模型的应用领域仅限于图片生成。VAE模型的训练是在隐空间进行的，而不是直接复制输入的数据，因此生成的样本可能会与输入的数据之间有差距，没有办法复现训练样本的风格和内容，且VAE模型多用于生成模糊的图片，其生成的图片的质量无法满足需求。
相关技术中，还可以通过扩散模型进行图片生成，比如，可以通过降噪扩散概率模型（Denoising Diffusion probabilistic models，DDPM）生成图片。具体的，DDPM模型包括两个马尔科夫链，一个前向的马尔科夫链用于增加噪声，会将一张完整的图片逐渐变成服从高斯分布的纯噪声；一个反向的马尔科夫链用于降噪，这个反向的链的参数是通过神经网络模型训练得到的。
但是，因为DDPM模型中向前和反向的马尔科夫链的关系，导致该模型的采样时间长，进而影响模型的推理速度，影响数据处理效率。
另外，相关技术中还可以通过卷积神经网络(Convolutional Neural Networks,CNN)模型获取图片特征，进而根据图片特征生成图片，但这种模型只能获取图片浅层次的特征，比如物体的形状、大小和颜色等，而对于位置、物体之间的关系这些深层次特征，CNN模型确无法捕捉到。
在相关技术中，还可以通过转换器模型（Transformer）进行图片特征捕捉，但Transformer模型具备计算量大的特点，这会导致数据处理量大、数据处理效率低。
在本实施例中，相对于相关技术中使用CNN模型进行图片特征捕捉的方法，本方法可以通过窗口多头自注意力模块和滑动窗口多头自注意力模块有效捕捉文本数据中描述的细节信息，基于此生成的目标多媒体对象也可以表现出文本数据中描述的细节。例如，在文本数据描述的内容包括多个物体，生成的目标多媒体对象为图片的情况下，基于本实施例方法生成的图片可以表现出多个物体的数量、颜色和相对位置关系等更深层次的细节。且基于本实施例方法涉及的参数量小，减少了数据处理量，减少了转换模型的推理过程中的计算资源的消耗，提高了转换模型的推理速度，提高了数据处理效率。在一个实施例中，基于本实施例的转换模型的参数量为341M，这个参数量小于相关技术中大部分的转换模型的参数量。解决了相关技术中存在生成多媒体对象的质量和效率不符合要求的问题。
综上，在本实施例中，根据转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、针对文本数据的文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征。当前迭代已执行过程产生的特征和转换模型上一次迭代输出的多媒体对象的多媒体特征的多媒体特征关联，对应的，第一融合特征是对和上一次迭代输出的多媒体特征关联的特征、文本特征以及时间步特征进行融合得到的。根据转换模型中的滑动窗口多头自注意力模块，对第一融合特征和时间步特征进行融合，得到第二融合特征，根据第二融合特征得到目标融合特征，基于目标融合特征获得当前迭代的输出结果，进而得到目标多媒体对象。基于窗口多头自注意力模块和滑动窗口多头自注意力模块，进行文本特征、与转换模型上一次迭代输出的多媒体对象的多媒体特征的多媒体特征和时间步特征的特征融合，进而实现目标多媒体对象的获取，可以实现文本数据的引导，得到能体现出文本数据所包含的对象描述细节和深层次特征的目标多媒体对象，由此得到的目标多媒体对象的质量好。另外，基于本实施例中通过窗口多头自注意力模块和滑动窗口多头自注意力模块进行特征融合，进而得到目标多媒体对象的方法，涉及的参数量小，提高了数据处理效率。即，本实施例的方法解决了相关技术中文本生成图片的方法，存在处理效率低和生成的图片质量差的问题。
下面对基于文本生成多媒体对象的方法进行进一步的示例性说明。参照图2，基于文本生成多媒体对象的方法可以包括如下步骤：
步骤201，获取文本数据。
本步骤在步骤101中已作说明，此处不再赘述。
在获取文本数据之后，在每次迭代中，将文本数据输入转换模型，并执行如下步骤：
步骤202，使用多语言预训练模型对文本数据进行编码，得到文本数据的文本特征。
示例地，使用训练过的多语言训练模型XLM-RoBERTa Large模型作为文本编码器，提取文本数据的文本特征。具体的，对于文本编码器输出的文本嵌入，获取多语言训练模型XLM-RoBERTa Large模型第0层、第22层和第23层输出的特征，然后获取这三层输出特征的平均值，将该平均值作为针对文本数据的文本特征。将这三个层输出特征的平均值作为针对文本数据的文本特征，其效果优于直接将最后一层的输出结果作为提取得到的文本特征的效果。
具体的，通过文本编码器将文本数据编码为一系列令牌（token），然后由XLM-RoBERTa Large模型将其处理为文本嵌入。在一个实施例中，转换模型能处理的最大文本长度为512个令牌。
文本编码器可以通过两种方式训练，一种是通过文本数据进行训练的文本编码器，比如文本到文本转换的编码器（Transfer Text-to-Text Transformer，T5），还有一种是通过图温度进行训练的文本编码器，比如匹配图片和文本的预训练神经网络模型（Contrastive Language-Image Pre-Training，CLIP）。其中，T5模型具备对语义的理解能力强的特点，但CLIP模型更适用于根据文本生成图片的应用场景中。比如，CLIP模型可以用相当于T5模型6%的参数量，得到与T5模型近似的处理效果，因此，轻量化的CLIP模型有利于转换模型的部署。
在本实施例中，选择预训练的多语言神经网络模型（Multilingual-CLIP）作为文本编码器，具体的，使用XLM-RoBERTa Large模型对文本数据进行编码，以得到文本特征。可以在使用较少参数量的情况下，达到较好的文本特征提取效果，减少了数据处理过程中的数据量，提高了数据处理效率。
在一个实施例中，步骤202可以包括如下子步骤：
子步骤2021，确定文本数据中预设个数的文字。
在本步骤中，文本数据包括多个文字。示例地，可以通过随机确定的方法，确定文本数据中预设个数的文字。其中，预设个数可以根据用户需求设定，例如，可以将预设个数设定为文本数据中总文字个数的20%，也可以将预设个数设定为其他值。
子步骤2022，对预设个数的文字进行掩码处理，得到掩码处理结果。
示例地，可以对文本数据样本中20%的文字进行掩码处理，得到掩码处理结果。
子步骤2023，根据掩码处理结果获取文本数据的文本特征。
在本步骤中，可以根据XLM-RoBERTa Large模型获取文本数据的文本特征。
在本实施例中，文本数据用于引导目标多媒体对象的生成，通过对预设个数的文字进行掩码处理，得到掩码处理结果，根据掩码处理结果获取文本特征，基于该文本特征引导目标多媒体对象生成，可以获取效果更好的目标多媒体对象。
步骤203，在键向量和值向量的维度上拼接当前迭代已执行过程产生的特征、文本特征，以及时间步特征，得到第一融合特征。
在本步骤中，基于窗口多头自注意力模块，对当前迭代已执行过程产生的特征、文本特征，以及时间步特征进行融合，包括自注意力计算过程。需要说明的是，自注意力计算涉及键向量（Key）、值向量（Value）和查询向量（Query）这三个维度的计算。
在本步骤中，将当前迭代已执行过程产生的特征、文本特征和时间步特征，转换为可拼接的张量，然后在Key维度上进行拼接，并在Value维度上进行拼接，得到第一融合特征。
在本步骤中，在Key和Value的维度上拼接当前迭代已执行过程产生的特征、文本特征，以及时间步特征，由此，可以在每次进行注意力计算时，都能将文本特征、时间步特征和与多媒体特征关联的当前迭代已执行过程产生的特征进行特征融合，从而使与文本特征对应的文本数据发挥更大的作用。
步骤204，在键向量和值向量的维度上拼接第一融合特征和时间步特征，得到第二融合特征。
在本步骤中，基于滑动窗口多头自注意力模块，对第一融合特征和时间步特征进行融合，包括自注意力计算过程。需要说明的是，自注意力计算涉及键向量（Key）、值向量（Value）和查询向量（Query）这三个维度的计算。
在本步骤中，将第一融合特征和时间步特征转换为可拼接的张量，然后在Key维度上进行拼接，并在Value维度上进行拼接，得到第二融合特征。
在本实施例中，在Key和Value的维度上拼接第一融合特征和时间步特征，可以得到更好的融合效果。
步骤205，对第二融合特征进行交叉注意力计算，得到目标融合特征。
在本实施例中，转换模型包括依次连接的多个下采样模块和多个上采样模块，对于除最后一个下采样模块和第一个上采样模块之外的各采样模块，均包括特征融合子模块，特征融合子模块包括相连的W-MSA模块和SW-MSA模块，其中，W-MSA模块用于获取第一融合特征，SW-MSA模块用于获取第二融合特征。其中，SW-MSA模块之后连接有Cross-attention模块，Cross-attention模块用于对第二融合特征进行交叉注意力计算，得到目标融合特征。
对于最后一个下采样模块和第一个上采样模块，其特征融合子模块只包括W-MSA子模块，W-MSA模块之后连接用于对第一融合特征进行交叉注意力计算的Cross-attention模块。需要说明的是，对于最后一个下采样和第一个上采样，特征维度中的图片维度已经等于滑动窗口的大小，在这种情况下，不设置SW-MSA模块，可以简化模型结构。
进一步的，Cross-attention模块的位置和数量都会影响多媒体对象的生成效果。对应的，交叉自注意力计算在整个处理流程中的执行顺序，会影响多媒体对象的生成效果。
在本实施例中，对第二融合特征进行交叉自注意力计算，可以生成效果更好的多媒体对象。
示例地，每次迭代包括依次执行的多次下采样和多次上采样。
步骤206，在当前执行过程为当前迭代中最后一次上采样的情况下，对目标融合特征进行卷积操作，得到卷积处理结果。
在本步骤中，使用U型网络（Unet）模型的卷积层对目标融合特征进行卷积操作，得到卷积处理结果。
步骤207，根据卷积处理结果得到当前迭代的输出结果。
在一个实施例中，根据卷积处理得到的特征的图片维度和最后一次上采样过程得到的上采样特征中的图片维度相同，且隐藏层维度为3。具体的，根据卷积处理得到卷积处理结果的维度为64×64×3维。
步骤208，在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象，目标多媒体对象用于表征文本数据描述的多媒体对象。
本步骤所示的方法，在前述步骤103中已做说明，此处不再赘述。
在一个实施例中，使用Unet模型的卷积层对目标融合特征进行卷积操作，得到卷积处理结果。
需要说明的是，Unet模型具备图片重建的作用，在相关技术中，可基于Unet模型进行医学影像的图片分割，或者基于Unet模型中的CNN模型进行图片特征获取，进而实现根据文本数据生成图片。但这种模型只能获取图片浅层次的特征，比如物体的形状、大小和颜色等，而对于位置、物体之间的关系这些深层次特征，CNN模型确无法捕捉到。
在一个实施例中，使用W-MSA模块、SW-MSA模块和Cross-attention模块组成的Swin Transformer模型替代CNN模型，进而进行特征融合处理和采样处理，并在当前执行过程为当前迭代中最后一次上采样的情况下，对目标融合特征进行卷积操作，得到卷积处理结果，根据卷积处理结果得到当前迭代的输出结果，并在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象。由此得到的目标多媒体对象可以表现文本数据描述的细节，且涉及的处理参数少，数据处理效率高。
综上，在本实施例中，通过窗口多头自注意力模块在Key和Value的维度上拼接当前迭代已执行过程产生的特征、文本特征，以及时间步特征，得到第一融合特征，通过滑动窗口多头自注意力模块在Key和Value的维度上拼接第一融合特征和时间步特征，得到第二融合特征，由此可以获取文本数据中描述的细节特征，且涉及的模型参数量少。基于第二融合特征得到目标融合特征，根据目标融合特征得到当前迭代的输出结果，并在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象。基于本实施例方法涉及的参数量小，减少了数据处理量，减少了转换模型的推理过程中的计算资源的消耗，提高了转换模型的推理速度，提高了数据处理效率，且通过对文本数据的文本特征的多次融合，生成的目标多媒体对象包含了文本数据中的更多细节，提高了目标多媒体对象的质量。
在一个实施例中，当前迭代已执行过程包括已依次执行的多个下采样过程，对应地，在步骤203之前，还包括：
步骤209，获取在依次执行的多个下采样过程中，最后一次下采样过程所得到的下采样特征。
在一个实施例中，每次迭代包括依次执行的四次下采样和四次上采样。在当前迭代已执行过程包括已依次执行的四次下采样过程的情况下，最后一次下采样过程所得到的下采样特征，为第四次下采样过程产生的下采样特征。
步骤210，将最后一次下采样过程得到的下采样特征，作为当前迭代已执行过程产生的特征。
在一个实施例中，每次迭代包括依次执行的四次下采样和四次上采样，在当前迭代已执行过程包括已依次执行的四次下采样过程的情况下，当前执行过程对应的为当前迭代中的第一次上采样过程，针对第一次上采样过程，当前迭代已执行过程产生的特征为第四次下采样过程产生的下采样特征。
在一个实施例中，当前迭代已执行过程包括已依次执行的多个下采样过程，其中，在多个个下采样之前，还包括：
步骤211，获取转换模型上一次迭代输出的多媒体对象的多媒体对象特征。
在本实施例中，根据转换模型获取目标多媒体对象的过程包括多个迭代过程，每个迭代过程输出的特征为多媒体对象的多媒体对象特征。
对应地，在当前执行过程为第一次下采样的情况下，在步骤203之前，还包括：
步骤212，将多媒体特征作为当前迭代已执行过程产生的特征。
在本步骤中，当前执行过程为第一次下采样，将转换模型上一次迭代输出的多媒体对象的多媒体对象特征，作为当前迭代已执行过程产生的特征，以根据窗口多头自注意力模块对多媒体对象特征和文本特征、时间步特征进行特征融合，得到第一融合特征。
在一个实施例中，当前迭代已执行过程包括已依次执行的多个下采样过程和至少一个上采样过程。
对应地，在步骤203之前，还包括：
步骤213，获取在至少一个上采样过程中，最后一次上采样过程所得到的上采样数据。
示例地，每次迭代包括依次执行的四次下采样和四次上采样，当前执行过程包括已执行的四次下采样和一次上采样，则在本步骤中，获取的至少一个上采样过程中的最后一次上采样过程所得到的上采样数据，为第一次上采样得到的上采样特征。
步骤214，将最后一次上采样过程所得到的上采样数据作为当前迭代已执行过程产生的特征。
在本步骤中，将最后一次上采样过程所得到的上采样数据，作为当前迭代已执行过程产生的特征，以根据窗口多头自注意力模块对多媒体对象特征和文本特征、时间步特征进行特征融合，得到第一融合特征。
在一个实施例中，每次迭代包括依次执行的多次下采样和多次上采样，在当前执行过程为下采样的情况下，在步骤205之后，还包括：
步骤215，对目标融合特征进行下采样处理，得到针对当前执行过程的当前下采样特征。
示例地，通过Unet模型中的下采样处理模块（Patch Merging）对目标融合特征进行下采样处理，得到针对当前执行过程的当前下采样特征。
步骤216，基于当前下采样特征获得当前迭代的输出结果；
其中，针对当前执行过程的当前下采样特征的图片特征维度，等于上一次下采样的上一次下采样特征的图片特征维度的一半，且当前下采样特征的隐藏层特征维度，等于上一次下采样特征的隐藏层特征维度的二倍。
在本实施例中，每次迭代包括依次执行的多次下采样和多次上采样，除最后一次下采样和第一次上采样外，每次采样都包括特征融合过程和采样处理过程。其中，第一次下采样和第一次上采样包括特征融合过程。在获取当前下采样特征后，根据当前下采样特征，依次进行当前迭代未执行的多次采样过程，得到当前迭代的输出结果。
在本步骤中，图片特征维度包括图片长度的维度和宽度的维度。
在一个实施例中，在第一次上采样之前，还包括卷积处理过程。在当前执行过程为第一次上采样的情况下，当前下采样特征的特征维度中的图片特征维度等于卷积过程输出的图片维度的一半，且隐藏层特征维度等于卷积过程输出的隐藏层特征维度的一半。
在一个实施例中，最后一次下采样只包括特征融合，不包括下采样处理。
示例地，每次迭代包括依次执行的四次下采样和四次上采样，卷积层输出的上一次迭代输出的多媒体对象的多媒体特征的维度为64×64×128维，第一次下采样得到的下采样特征的维度为32×32×256维，第二次下采样得到的下采样特征的维度为16×16×512维，第三次下采样得到的下采样特征的维度为8×8×1024维，第四次未进行下采样处理，第四次下采样得到的下采样特征仍为为8×8×1024维。
在一个实施例中，每次迭代包括依次执行的多次下采样和多次上采样；
在当前执行过程为上采样的情况下，在步骤205之后，还包括：
步骤217，将目标融合特征作为针对当前执行过程的当前上采样特征；
在本步骤中，获取目标融合特征的过程包括：将上次采样输出得到的采样特征进行上采样处理，然后将上采样处理结果作为当前迭代已执行过程的特征，通过W-MSA模块与文本特征和时间步特征进行融合，得到第一融合特征，通过SW-MSA模块将第一融合特征和时间步特征进行融合，得到第二融合特征，对第二融合特征进行交叉自注意力计算，得到目标融合特征。
其中，在当前执行过程为第一次上采样的情况下，将上次采样输出得到的采样特征进行上采样处理，然后通过W-MSA模块与文本特征和时间步特征进行融合，得到第一融合特征，对第一融合特征进行交叉自注意力计算，得到目标融合特征。
示例地，通过Unet模型中的上采样处理模块（Patch Expanding）对目标融合特征进行上采样处理，得到针对当前执行过程的当前上采样特征。
步骤218，基于当前上采样特征获得当前迭代的输出结果；
其中，针对当前执行过程的当前上采样特征的图片特征维度，等于上一次采样的上一次采样特征的图片特征维度的二倍，且当前上采样特征的隐藏层特征维度，等于上一次采样特征的隐藏层特征维度的一半，上一次采样包括：在当前执行过程之前，且与当前执行过程相邻的下采样或者上采样。
在本实施例中，每次迭代包括依次执行的多次下采样和多次上采样，除最后一次下采样和第一次上采样外，每次采样都包括特征融合过程和采样处理过程。其中，第一次下采样和第一次上采样包括特征融合过程。在获取当前上采样特征后，根据当前上采样特征，依次进行当前迭代未执行的多次上采样过程，得到当前迭代的输出结果。
在本步骤中，图片特征维度包括图片长度的维度和宽度的维度。
在一个实施例中，在最后一次上采样之后，还包括卷积处理过程。在当前执行过程为最后一次上采样的情况下，当前下采样特征的特征维度中的图片特征维度等于卷积过程输出的图片维度。
示例地，每次迭代包括依次执行的四次下采样和四次上采样，第一次上采样的输入结果为第四次上采样的输出结果，第一次上采样输出的为8×8×1024维的特征，第一次上采样处理得到的上采样特征的维度为8×8×1024维，第二次上采样处理得到的上采样特征的维度为16×16×512维，第三次上采样处理得到的上采样特征的维度为32×32×256维，第四次上采样处理得到的上采样特征的维度为64×64×128维，经卷积层处理得到的当前迭代输出的结果的维度为64×64×3维。基于该方法，可以得到至少一张与文本数据描述的内容相关的目标多媒体对象，以目标多媒体对象为图片为例，基于本实施例方法，可以得到分辨率为64×64的图片。
在一个实施例中，每次迭代包括依次执行的多次下采样和多次上采样；
对应地，在当前执行过程为当前迭代中最后一次下采样或者第一次上采样的情况下，在步骤203之后，还包括：
步骤219，对第一融合特征进行交叉自注意力计算，得到目标融合特征。
在一个实施例中，通过Swin Transformer模型中的交叉自注意力（Cross-attention）模块对第一融合特征进行交叉自注意力计算，得到目标融合特征。
在一个实施例中，在步骤204之后，还包括：
步骤220，对第二融合特征进行归一化处理，得到归一化处理特征。
在一个实施例中，通过Unet模型中的归一化处理结构（Layer Normalization,LN）对第二融合特征进行归一化处理，得到归一化处理特征。
步骤221，对归一化处理特征进行交叉注意力计算，得到目标融合特征。
在一个实施例中，通过Swin Transformer模型中的Cross-attention模块对归一化处理特征进行交叉自注意力计算，得到目标融合特征。
在一个实施例中，在步骤201之前，还包括：
步骤222，获取文本数据样本；
在本步骤中，文本数据样本为用于描述多媒体对象样本的内容的文本格式的样本。
步骤223，在每次迭代中，将文本数据样本输入机器学习模型，每次迭代包括多次采样，所述多次采样包括依次执行的多次下采样和多次上采样，在每次采样中，提取得到文本数据样本的文本样本特征，根据窗口多头自注意力模块融合当前迭代已执行过程产生的特征、文本样本特征，以及与当前迭代对应的时间步的时间步特征，得到第三融合特征，根据滑动窗口多头自注意力模块融合第三融合特征和时间步特征，得到第四融合特征，根据第四融合特征得到目标融合特征，并基于目标融合特征获得当前迭代的输出结果，当前迭代已执行过程产生的特征是和上一次迭代输出的多媒体特征关联的特征；
在本步骤中，每次迭代包括多次采样，多次采样包括依次执行的多次下采样和多次上采样，每次采样包括特征融合过程。
对应地，机器学习模型可以包括多个依次连接的下采样模块和多个上采样模块，每个采样模块均包括特征融合模块，特征融合模块可以包括窗口多头自注意力模块和滑动窗口多头自注意力模块。
进一步的，窗口多头自注意力模块用于融合当前迭代已执行过程产生的特征、所述文本样本特征，以及与当前迭代对应的时间步的时间步特征，得到第三融合特征。滑动窗口多头自注意力模块用于融合所述第三融合特征和所述时间步特征，得到第四融合特征，根据所述第四融合特征得到目标融合特征。
在本步骤中，文本数据样本用于引导生成多媒体对象，在转换模型的训练过程中，文本数据会在每一个时间步中发挥其相应的作用。
步骤224，在当前迭代的输出结果满足预设结果要求的情况下，将当前迭代所得到的新的机器学习模型作为转换模型。
示例地，在当前迭代的输出结果和多媒体样本相匹配的情况下，确定当前迭代的输出结果满足预设结果要求。其中，多媒体对象样本为针对文本数据样本的样本，比如，多媒体对象样本为图片，该图片为样本数据样本的内容所描述的图片。
综上，在本实施例中，获取文本数据样本，根据机器学习模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、针对文本数据的文本特征，以及与当前迭代对应的时间步的时间步特征，得到第三融合特征。根据机器学习模型中的滑动窗口多头自注意力模块，对第一融合特征和时间步特征进行融合，得到第四融合特征，根据第四融合特征得到目标融合特征。基于窗口多头自注意力模块和滑动窗口多头自注意力模块，进行文本特征、与转换模型上一次迭代输出的多媒体对象的多媒体特征的多媒体特征和时间步特征的特征融合，进而实现目标多媒体对象的获取，可以实现文本数据的引导，得到能体现出文本数据所包含的对象描述细节和深层次特征的目标多媒体对象，由此得到的目标多媒体对象的质量好。另外，基于本实施例中通过窗口多头自注意力模块和滑动窗口多头自注意力模块进行特征融合，进而得到目标多媒体对象的方法，涉及的参数量小，提高了模型训练过程中的数据处理效率。
在一个实施例中，每次迭代包括依次执行的多次下采样和多次上采样；
对应的，步骤223中基于目标融合特征获得当前迭代的输出结果，包括：
子步骤2231，在当前迭代为最后一次上采样的情况下，对目标融合特征进行卷积操作，得到卷积处理结果。
在一个实施例中，每次迭代包括依次执行的多次下采样和多次上采样。在当前迭代为最后一次下采样的情况下，说明当前迭代中的采样处理已完成。其中，最后一次上采样得到的目标融合特征，为最后一次上采样的采样特征，对目标融合特征进行卷积操作，得到卷积处理结果。
子步骤2232，根据卷积处理结果得到当前迭代的输出结果。
在一个实施例中，卷积处理结果中图片维度与最后一次上采样得到的目标融合特征的图片维度相等，且隐藏层维度为3。示例地，卷积处理结果的特征维度为64×64×3维。
在一个实施例中，步骤223中根据第四融合特征得到目标融合特征，还包括：
子步骤2233，对第四融合特征进行交叉注意力计算，得到目标融合特征。
在一个实施例中，每个迭代过程包括依次连接的多个下采样和多个上采样。每个采样过程包括特征融合过程，除最后一个下采样和第一个上采样之外的每次采样的特征融合过程中，包括使用W-MSA模块进行特征融合，以得到第三融合特征，以及使用SW-MSA模块进行特征融合，得到第四融合特征，SW-MSA模块后连接有Cross-attention模块，通过Cross-attention模块对第四融合特征进行交叉注意力计算，得到目标融合特征。
下面结合上述实施例及可选实施例，提供了一种基于文本生成多媒体对象的方法的实施方式，在本实施方式中，以多媒体对象为图片为例进行示例性说明。
在本实施方式中，通过转换模型将文本生成图片，该过程为文本引导图片生成的过程，具体的，转换模型需要根据任意的文本数据生成响应的图片，对应的，转换模型需要具备文本理解能力和图片生成能力。
需要说明的是，在本申请中，多媒体对象不限于本实施方式中的图片，还可以包括视频、语音等多媒体对象。
参照图3，基于文本生成图片的方法可以包括如下步骤：
步骤S1，获取文本数据。
该步骤在前述步骤101中已作说明，此处不再赘述。
步骤S2，将文本数据输入转换模型，转换模型包括依次连接的第一卷积层、四个下采样模块、四个上采样模块和第二卷积层。
具体的，转换模型的结构示意图如图4所示。参照图4，四个下采样模块包括：第一下采样模块、第二下采样模块、第三下采样模块和第四下采样模块。四个上采样模块包括：第一上采样模块、第二上采样模块、第三上采样模块和第四上采样模块。
进一步的，第一个下采样模块和第二下采样模块包括一个特征融合模块和一个下采样处理模块，特征融合模块包括依次连接的W-MSA模块、SW-MSA模块和Cross-attention模块，特征融合模块和下采样处理模块相连。进一步的，W-MSA模块和SW-MSA模块之后连接有两层的多层感知机（Multi-layer Perception，MLP）和高斯误差线性单元（GaussianError Linear Unit，GeLU），且W-MSA模块和SW-MSA模块之前连接有LN层。
其中，第一下采样模块的输出端和第二下采样模块的输入端相连。
进一步的，第三下采样模块包括9个特征融合模块和一个下采样模块，每个特征融合模块包括依次连接的W-MSA模块、SW-MSA模块和Cross-attention模块，Cross-attention模块，各特征融合模块依次相连，最后一个特征融合模块和下采样处理模块相连。
进一步的，第四下采样模块包括两个特征融合模块和一个下采样模块，第三下采样模块的输出端和第四下采样模块的输入端相连。第四下采样模块中的两个特征融合模块相连，其中，每个特征融合模块包括依次连接的W-MSA模块和Cross-attention模块，各特征融合模块依次相连，最后一个特征融合模块和下采样处理模块相连。
进一步的，第一上采样模块包括一个上采样模块和两个特征融合模块。第一上采样模块的输入端和第四下采样模块的输出端相连，第一上采样模块中上采样处理模块的输出端和第一个特征融合模块相连，第一个特征融合模块和第二个特征融合模块相连，每个特征融合模块包括依次连接的W-MSA模块和Cross-attention模块。
进一步的，第二上采样模块包括一个上采样模块和九个特征融合模块。第一上采样模块的输入端和第一个上采样模块的输出端相连，上采样处理模块的输出端和特征融合模块相连，九个特征融合模块依次相连，其中，每个特征融合模块包括依次连接的W-MSA模块、SW-MSA模块和Cross-attention模块。
进一步的，第四上采样模块和第四上采样模块均包括一个上采样模块和一个特征融合模块。第三上采样模块的输入端和第二上采样模块的输出端相连，第三上采样模块的输出端和第四上采样模块的输入端相连，第四上采样模块的输出端和第二卷积层相连。其中，第三上采样模块和第四上采样模块中，每个特征融合模块包括依次连接的W-MSA模块、SW-MSA模块和Cross-attention模块。
进一步的，转换模型的结构中的上采样部分和下采样部分对称，在转换模型的推理和训练过程中，会先做预设次数的下采样，再做上采样对图片进行还原。其中，每一组对称的结构之间由跳连接（Skip Connection）相连。
进一步的，下采样部分构成了转换模型中的编码器（encoder）部分，上采样部分构成了转换模型中的解码器（decoder）部分，具体的，转换模型结构单元的层数对应为[2，2，18，2，2]。
进一步的，对于W-MSA模块和SW-MSA模块，将Scale-shift结构单元设置于由W-MSA模块和SW-MSA模块构成的Swin Transformer模型的残差块内。相对于相关技术中将Scale-shift结构单元置于Swin Transformer模型的残差块外的方法，这种结构可以提高数据处理精度。在一个实施例中，这种结构使数据处理的精度提高15%。
步骤S3，根据第一卷积层获取64×64×3维的当前迭代已执行过程产生的特征，并对其进行卷积处理，得到64×64×128维的特征。
在本步骤中，对于第一次迭代，当前迭代已执行过程产生的特征为随机噪声，对于除第一次迭代外其他迭代，当前迭代迭代已执行过程产生的特征为上一次迭代输出的多媒体对象的多媒体特征。
步骤S4，根据第一采样模块中的W-MSA模块、SW-MSA模块和Cross-attention模块对64×64×128维的特征、文本数据的文本特征，以及时间步特征进行一次融合处理得到目标融合特征，然后进行下采样，得到32×32×256维的第一次下采样特征。
具体的，根据第一个下采样模块中的W-MSA模块，将文本特征与当前迭代已执行过程产生的特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。根据第一个下采样模块中的SW-MSA模块对第一融合特征和时间步特征进行融合并进行自注意力计算，得到第二融合特征。根据Cross-attention模块对第二融合特征进行交叉自注意力计算，得到目标融合特征。根据第一采样模块中的下采样处理模块对目标融合特征进行下采样，得到32×32×256维的第一次下采样特征。
步骤S5，根据第二采样模块中的W-MSA模块、SW-MSA模块和Cross-attention模块对第一次下采样特征、文本数据的文本特征，以及时间步特征进行一次融合处理得到目标融合特征，然后进行下采样，得到16×16×512维的第二次下采样特征。
具体的，根据第二个下采样模块中的W-MSA模块，将文本特征与第一次下采样特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。根据第一个下采样模块中的SW-MSA模块对第一融合特征和时间步特征进行融合并进行自注意力计算，得到第二融合特征。根据Cross-attention模块对第二融合特征进行交叉自注意力计算，得到目标融合特征。根据第一采样模块中的下采样处理模块对目标融合特征进行下采样，得到16×16×512维的第二次下采样特征。
步骤S6，根据第三采样模块中的W-MSA模块、SW-MSA模块和Cross-attention模块对第二下采样特征、文本数据的文本特征，以及时间步特征进行九次融合处理得到目标融合特征，然后进行下采样，得到8×8×1024维的第三次下采样特征。
具体的，根据第三个下采样模块中的W-MSA模块，将文本特征与第一次下采样特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。根据第一个下采样模块中的SW-MSA模块对第一融合特征和时间步特征进行融合并进行自注意力计算，得到第二融合特征。根据Cross-attention模块对第二融合特征进行交叉自注意力计算，得到目标融合特征，由此完成一次特征融合。将目标融合特征作为下一次特征融合时与文本特征和时间步特征进行融合的特征，基于W-MSA模块、SW-MSA模块和Cross-attention模块完成下一次特征融合。循环将目标融合特征作为下一次特征融合时与文本特征和时间步特征进行融合的特征，基于W-MSA模块和SW-MSA模块完成下一次特征融合的操作，直至在第三次下采样中完成九次特征融合。根据第三采样模块中的下采样处理模块对第九次特征融合得到的目标融合特征进行下采样，得到16×16×512维的第二次下采样特征。
步骤S7，根据第四采样模块中的W-MSA模块和Cross-attention模块对第三次下采样特征、文本数据的文本特征，以及时间步特征进行两次融合处理得到目标融合特征，该目标融合特征即为第四次下采样特征。
具体的，本步骤中的第一次特征融合处理过程中，根据第四个下采样模块中的W-MSA模块，将文本特征与第三次下采样特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。第二特征融合处理过程中，根据第四个下采样模块中的W-MSA模块，将文本特征与第一次特征融合得到的目标融合特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。
步骤S8，根据第一上采样模块中的W-MSA模块和Cross-attention模块对第四次下采样特征、文本数据的文本特征，以及时间步特征进行两次融合处理得到目标融合特征，该目标融合特征即为第一上采样特征。
具体的，本步骤中的第一次特征融合处理过程中，根据第一上采样模块中的W-MSA模块，将文本特征与第三次下采样特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。第二特征融合处理过程中，根据第四个下采样模块中的W-MSA模块，将文本特征与第一次特征融合得到的目标融合特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。
步骤S9，对第一上采样特进行上采样，得到16×16×512维的上采样结果，然后根据W-MSA模块、SW-MSA模块和Cross-attention模块对上采样处理结果、文本数据的文本特征，以及时间步特征进行九次融合处理得到目标融合特征，得到第二次上采样特征。
具体的，本步骤中的第一次特征融合处理过程中，根据第一上采样模块中的W-MSA模块，将文本特征与第三次下采样特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。之后的特征融合处理过程中，根据第四个下采样模块中的W-MSA模块，将文本特征与上一次特征融合得到的目标融合特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。
步骤S10，对第二上采样特进行上采样，得到32×32×256维的上采样结果，然后根据W-MSA模块、SW-MSA模块和Cross-attention模块对上采样处理结果、文本数据的文本特征，以及时间步特征进行九次融合处理得到目标融合特征，得到第三次上采样特征。
具体的，本步骤中的第一次特征融合处理过程中，根据第一上采样模块中的W-MSA模块，将文本特征与第三次下采样特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。第二特征融合处理过程中，根据第四个下采样模块中的W-MSA模块，将文本特征与第一次特征融合得到的目标融合特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。
步骤S11，对第三次上采样特征进行上采样，得到64×64×128维的上采样结果，然后根据W-MSA模块、SW-MSA模块和Cross-attention模块对上采样处理结果、文本数据的文本特征，以及时间步特征进行九次融合处理得到目标融合特征，得到第四次上采样特征。
具体的，本步骤中的第一次特征融合处理过程中，根据第一上采样模块中的W-MSA模块，将文本特征与第三次下采样特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。第二特征融合处理过程中，根据第四个下采样模块中的W-MSA模块，将文本特征与第一次特征融合得到的目标融合特征、与迭代次数对应的时间步的时间步特征进行融合并进行自注意力计算，得到第一融合特征。
步骤S12，根据第二卷积层对第四次上采样特征进行卷积处理，得到64×64×3维的输出结果。
在本步骤中，在当前迭代的迭代次数未达到预设迭代次数的情况下，将64×64×3维的输出结果作为下一次迭代的输入数据。具体的，将64×64×3维的输出结果作为下一次迭代的第一次下采样过程中，通过W-MSA模型与文本特征、时间步特征进行融合的特征，以供下一次迭代的第一次下采样进行特征融合处理。
步骤S13，确定当前迭代的迭代次数是否达到预设迭代次数，是则进入步骤S14，否则返回步骤S3。
在本实施例中，预设迭代次数可以是与获取转换模型的过程中，对转换模型进行训练优化时的迭代次数。
步骤S14，根据64×64×3维的输出结果得到目标图片。
参考图5，其示出了本申请实施例提供的一种基于文本生成多媒体对象的装置，基于文本生成多媒体对象的装置30包括：
第一获取模块301，用于获取文本数据；
第二获取模块302，用于在每次迭代中，将所述文本数据输入转换模型，每次迭代包括多次采样，所述多次采样包括依次执行的多次下采样和多次上采样，在每次采样中，提取得到所述文本数据的文本特征，根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，根据所述转换模型中的滑动窗口多头自注意力模块融合所述第一融合特征和所述时间步特征，得到第二融合特征，根据所述第二融合特征得到目标融合特征，并基于所述目标融合特征获得当前迭代的输出结果，所述当前迭代已执行过程产生的特征是和上一次迭代多媒体特征关联的特征；
第三获取模块303，用于在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象，所述目标多媒体对象用于表征所述文本数据描述的多媒体对象。
可选地，所述每次迭代包括依次执行的多次下采样和多次上采样；
对应地，第二获取模块302可以包括：
第一获取子模块，用于在所述当前执行过程为当前迭代中最后一次上采样的情况下，对所述目标融合特征进行卷积操作，得到卷积处理结果；
第二获取子模块，用于根据所述卷积处理结果得到所述当前迭代的输出结果。
可选地，第二获取模块302，可以包括：
第三获取子模块，用于对所述第二融合特征进行交叉注意力计算，得到所述目标融合特征。
可选地，所述当前迭代已执行过程包括已依次执行的多个下采样过程，基于文本生成多媒体对象的装置30还包括：
第四获取模块，用于在根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征之前，获取在所述依次执行的多个下采样过程中，最后一次下采样过程所得到的下采样特征；
第一确定模块，用于将所述最后一次下采样过程得到的下采样特征，作为所述当前迭代已执行过程产生的特征。
可选地，所述当前迭代已执行过程包括已依次执行的多个下采样过程，基于文本生成多媒体对象的装置30还包括：
第五获取模块，用于在多个下采样之前，获取所述转换模型上一次迭代输出的多媒体对象的多媒体对象特征；
第六获取模块，用于在当前执行过程为第一次下采样的情况下，在根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征之前，将所述多媒体特征作为所述当前迭代已执行过程产生的特征。
可选地，当前迭代已执行过程包括已依次执行的多个下采样过程和至少一个上采样过程，基于文本生成多媒体对象的装置30还均包括：
第七获取模块，用于在根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征之前，获取在所述至少一个上采样过程中，最后一次上采样过程所得到的上采样数据；
第八获取模块，用于将所述最后一次上采样过程所得到的上采样数据作为所述当前迭代已执行过程产生的特征。
可选地，第二获取模块302还包括：
第四获取子模块，用于在键向量和值向量的维度上拼接所述当前迭代已执行过程产生的特征、所述文本特征，以及所述时间步特征，得到所述第一融合特征。
可选地，第二获取模块302，还包括：
第五获取子模块，用于在键向量和值向量的维度上拼接所述第一融合特征和所述时间步特征，得到所述第二融合特征。
可选地，第二获取模块302，还包括：
第六获取子模块，用于使用多语言预训练模型对所述文本数据进行编码，得到所述文本数据的文本特征。
可选地，第六获取子模块，还包括：
第一确定单元，用于确定所述文本数据中预设个数的文字；
第一获取单元，用于对所述预设个数的文字进行掩码处理，得到掩码处理结果；
第一获取单元，用于根据所述掩码处理结果获取所述文本数据的文本特征。
可选地，所述每次迭代包括依次执行的多次下采样和多次上采样。第二获取模块302，还包括：
第七获取子模块，用于在当前执行过程为下采样的情况下，对所述目标融合特征进行下采样处理，得到针对当前执行过程的当前下采样特征；
第八获取子模块，用于基于所述当前下采样特征获得当前迭代的输出结果；其中，所述针对当前执行过程的当前下采样特征的图片特征维度，等于上一次下采样的上一次下采样特征的图片特征维度的一半，且所述当前下采样特征的隐藏层特征维度，等于上一次下采样特征的隐藏层特征维度的二倍。
可选地，所述每次迭代包括依次执行的多次下采样和多次上采样；
第二获取模块302，还包括：
第九获取子模块，用于在当前执行过程为上采样的情况下，将所述目标融合特征作为针对当前执行过程的当前上采样特征；
第十获取子模块，用于基于所述当前上采样特征获得当前迭代的输出结果；其中，所述针对当前执行过程的当前上采样特征的图片特征维度，等于上一次采样的上一次采样特征的图片特征维度的二倍，且所述当前上采样特征的隐藏层特征维度，等于上一次采样特征的隐藏层特征维度的一半，所述上一次采样包括：在所述当前执行过程之前，且与所述当前执行过程相邻的下采样或者上采样。
可选地，每次迭代包括依次执行的多次下采样和多次上采样；
第二获取模块302，还包括：
第十一获取模块，用于在当前执行过程为当前迭代中最后一次下采样或者第一次上采样的情况下，对所述第一融合特征进行交叉自注意力计算，得到所述目标融合特征。
可选地，第二获取模块302，还包括：
第十二获取子模块，用于对第二融合特征进行归一化处理，得到归一化处理特征；
第十三获取子模块，用于对所述归一化处理特征进行交叉注意力计算，得到所述目标融合特征。
可选地，基于文本生成多媒体对象的装置30，还包括：
第五获取模块，用于获取文本数据样本；
第六获取模块，用于在每次迭代中，将所述文本数据样本输入机器学习模型，每次迭代包括多次采样，所述多次采样包括依次进行的多次下采样和多次上采样，在每次采样中，提取得到所述文本数据样本的文本样本特征，根据窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本样本特征，以及与当前迭代对应的时间步的时间步特征，得到第三融合特征，根据滑动窗口多头自注意力模块融合所述第三融合特征和所述时间步特征，得到第四融合特征，根据所述第四融合特征得到目标融合特征，并基于所述目标融合特征获得当前迭代的输出结果，所述当前迭代已执行过程产生的特征是和上一次迭代输出的多媒体特征关联的特征；
第七获取模块，用于在当前迭代的输出结果满足预设结果要求的情况下，将当前迭代所得到的新的机器学习模型作为所述转换模型。
可选地，所述每次迭代包括依次执行的多次下采样和多次上采样；
第六获取模块，还包括：
第十四获取子模块，用于在所述当前迭代为最后一次上采样的情况下，对所述目标融合特征进行卷积操作，得到卷积处理结果；
第十五获取子模块，用于根据所述卷积处理结果得到所述当前迭代的输出结果。
可选地，第六获取模块，还包括：
第十六获取子模块，用于对所述第四融合特征进行交叉注意力计算，得到所述目标融合特征。
图6是根据一示例性实施例示出的一种电子设备400的框图。例如，电子设备400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，电子设备400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出（I/ O）的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制电子设备400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404用于存储各种类型的数据以支持在电子设备400的操作。这些数据的示例包括用于在电子设备400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，多媒体等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件406为电子设备400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为电子设备400生成、管理和分配电力相关联的组件。
多媒体组件408包括在电子设备400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的分界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当电子设备400处于操作模式，如拍摄模式或多媒体模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410用于输出和/或输入音频信号。例如，音频组件410包括一个麦克风（MIC），当电子设备400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/ O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为电子设备400提供各个方面的状态评估。例如，传感器组件414可以检测到电子设备400的打开/关闭状态，组件的相对定位，例如组件为电子设备400的显示器和小键盘，传感器组件414还可以检测电子设备400或电子设备400一个组件的位置改变，用户与电子设备400接触的存在或不存在，电子设备400方位或加速/减速和电子设备400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图片传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416用于便于电子设备400和其他设备之间有线或无线方式的通信。电子设备400可以接入基于通信标准的无线网络，如WiFi，运营商网络（如2G、3G、4G或5G），或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件416还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，电子设备400可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于实现本申请实施例提供的一种基于文本生成多媒体对象的方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由电子设备400的处理器420执行以完成上述方法。例如，非临时性存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
图7是根据一示例性实施例示出的一种电子设备500的框图。例如，电子设备500可以被提供为一服务器。参照图7，电子设备500包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522的执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行本申请实施例提供的一种基于文本生成多媒体对象的方法。
电子设备500还可以包括一个电源组件526被配置为执行电子设备500的电源管理，一个有线或无线网络接口550被配置为将电子设备500连接到网络，和一个输入输出（I/O）接口558。电子设备500可以操作基于存储在存储器532的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现的一种基于文本生成多媒体对象的方法。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
以上对本申请所提供的一种基于文本生成多媒体对象的方法、装置、电子设备及计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种基于文本生成多媒体对象的方法，其特征在于，包括：
获取文本数据；
在每次迭代中，将所述文本数据输入转换模型，每次迭代包括多次采样，所述多次采样包括依次执行的多次下采样和多次上采样，在每次采样中，提取得到所述文本数据的文本特征，根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，根据所述转换模型中的滑动窗口多头自注意力模块融合所述第一融合特征和所述时间步特征，得到第二融合特征，根据所述第二融合特征得到目标融合特征，并基于所述目标融合特征获得当前迭代的输出结果，所述当前迭代已执行过程产生的特征是和上一次迭代输出的多媒体对象的多媒体特征关联的特征；
在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象，所述目标多媒体对象用于表征所述文本数据描述的多媒体对象。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标融合特征获得当前迭代的输出结果，包括：
在当前执行过程为当前迭代中最后一次上采样的情况下，对所述目标融合特征进行卷积操作，得到卷积处理结果；
根据所述卷积处理结果得到所述当前迭代的输出结果。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第二融合特征得到目标融合特征，包括：
对所述第二融合特征进行交叉注意力计算，得到所述目标融合特征。
4.根据权利要求1所述的方法，其特征在于，当前迭代已执行过程包括已依次执行的多个下采样过程，在根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征之前，还包括：
获取在所述依次执行的多个下采样过程中，最后一次下采样过程所得到的下采样特征；
将所述最后一次下采样过程得到的下采样特征，作为当前迭代已执行过程产生的特征。
5.根据权利要求1所述的方法，其特征在于，当前迭代已执行过程包括已依次执行的多个下采样过程，在多个下采样之前，还包括：
获取所述转换模型上一次迭代输出的多媒体对象的多媒体对象特征；
在当前执行过程为第一次下采样的情况下，在根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征之前，还包括：
将所述多媒体特征作为所述当前迭代已执行过程产生的特征。
6.根据权利要求1所述的方法，其特征在于，所述当前迭代已执行过程包括已依次执行的多个下采样过程和至少一个上采样过程，在根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征之前，还包括：
获取在至少一个上采样过程中，最后一次上采样过程所得到的上采样数据；
将所述最后一次上采样过程所得到的上采样数据作为所述当前迭代已执行过程产生的特征。
7.根据权利要求1所述的方法，其特征在于，所述根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，包括：
在键向量和值向量的维度上拼接所述当前迭代已执行过程产生的特征、所述文本特征，以及所述时间步特征，得到所述第一融合特征。
8.根据权利要求1所述的方法，其特征在于，根据所述转换模型中的滑动窗口多头自注意力模块融合所述第一融合特征和所述时间步特征，得到第二融合特征，包括：
在键向量和值向量的维度上拼接所述第一融合特征和所述时间步特征，得到所述第二融合特征。
9.根据权利要求1所述的方法，其特征在于，提取得到所述文本数据的文本特征，包括：
使用多语言预训练模型对所述文本数据进行编码，得到所述文本数据的文本特征。
10.根据权利要求9所述的方法，其特征在于，所述使用多语言预训练模型对所述文本数据进行编码，得到所述文本数据的文本特征，包括：
确定所述文本数据中预设个数的文字；
对所述预设个数的文字进行掩码处理，得到掩码处理结果；
根据所述掩码处理结果获取所述文本数据的文本特征。
11.根据权利要求1所述的方法，其特征在于，在当前执行过程为下采样的情况下，基于所述目标融合特征获得当前迭代的输出结果，包括：
对所述目标融合特征进行下采样处理，得到针对当前执行过程的当前下采样特征；
基于所述当前下采样特征获得当前迭代的输出结果；
其中，所述针对当前执行过程的当前下采样特征的图片特征维度，等于上一次下采样的上一次下采样特征的图片特征维度的一半，且所述当前下采样特征的隐藏层特征维度，等于上一次下采样特征的隐藏层特征维度的二倍。
12.根据权利要求1所述的方法，其特征在于，在当前执行过程为上采样的情况下，基于所述目标融合特征获得当前迭代的输出结果，包括：
将所述目标融合特征作为针对当前执行过程的当前上采样特征；
基于所述当前上采样特征获得当前迭代的输出结果；
其中，所述针对当前执行过程的当前上采样特征的图片特征维度，等于上一次采样的上一次采样特征的图片特征维度的二倍，且所述当前上采样特征的隐藏层特征维度，等于上一次采样特征的隐藏层特征维度的一半，所述上一次采样包括：在所述当前执行过程之前，且与所述当前执行过程相邻的下采样或者上采样。
13.根据权利要求1所述的方法，其特征在于，在当前执行过程为当前迭代中最后一次下采样或者第一次上采样的情况下，
在根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征之后，还包括：
对所述第一融合特征进行交叉自注意力计算，得到所述目标融合特征。
14.根据权利要求1所述的方法，其特征在于，所述根据所述第二融合特征得到目标融合特征，包括：
对第二融合特征进行归一化处理，得到归一化处理特征；
对所述归一化处理特征进行交叉注意力计算，得到所述目标融合特征。
15.根据权利要求1所述的方法，其特征在于，在获取文本数据之前，还包括：
获取文本数据样本；
在每次迭代中，将所述文本数据样本输入机器学习模型，每次迭代包括多次采样，所述多次采样包括依次执行的多次下采样和多次上采样，在每次采样中，提取得到所述文本数据样本的文本样本特征，根据机器学习模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本样本特征，以及与当前迭代对应的时间步的时间步特征，得到第三融合特征，根据机器学习模型中的滑动窗口多头自注意力模块融合所述第三融合特征和所述时间步特征，得到第四融合特征，根据所述第四融合特征得到目标融合特征，并基于所述目标融合特征获得当前迭代的输出结果，所述当前迭代已执行过程产生的特征是和上一次迭代输出的多媒体特征关联的特征；
在当前迭代的输出结果满足预设结果要求的情况下，将当前迭代所得到的新的机器学习模型作为所述转换模型。
16.根据权利要求15所述的方法，其特征在于， 所述基于所述目标融合特征获得当前迭代的输出结果，包括：
在所述当前迭代为最后一次上采样的情况下，对所述目标融合特征进行卷积操作，得到卷积处理结果；
根据所述卷积处理结果得到所述当前迭代的输出结果。
17.根据权利要求15所述的方法，其特征在于，根据所述第四融合特征得到目标融合特征，包括：
对所述第四融合特征进行交叉注意力计算，得到所述目标融合特征。
18.一种基于文本生成多媒体对象的装置，其特征在于，所述装置包括：
第一获取模块，用于获取文本数据；
第二获取模块，用于在每次迭代中，将所述文本数据输入转换模型，每次迭代包括多次采样，所述多次采样包括依次进行的多次下采样和多次上采样，在每次采样中，提取得到所述文本数据的文本特征，根据所述转换模型中的窗口多头自注意力模块融合当前迭代已执行过程产生的特征、所述文本特征，以及与当前迭代对应的时间步的时间步特征，得到第一融合特征，根据所述转换模型中的滑动窗口多头自注意力模块融合所述第一融合特征和所述时间步特征，得到第二融合特征，根据所述第二融合特征得到目标融合特征，并基于所述目标融合特征获得当前迭代的输出结果，所述当前迭代已执行过程产生的特征是和上一次迭代多媒体特征关联的特征；
第三获取模块，用于在迭代次数达到预设次数的情况下，将最后一次迭代的输出结果作为目标多媒体对象，所述目标多媒体对象用于表征所述文本数据描述的多媒体对象。
19.一种电子设备，其特征在于，包括：处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至17中任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至17中任一项所述的方法。
CN202311305522.8A 2023-10-10 2023-10-10 基于文本生成多媒体对象的方法及装置 Active CN117056540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311305522.8A CN117056540B (zh) 2023-10-10 2023-10-10 基于文本生成多媒体对象的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311305522.8A CN117056540B (zh) 2023-10-10 2023-10-10 基于文本生成多媒体对象的方法及装置

Publications (2)

Publication Number Publication Date
CN117056540A true CN117056540A (zh) 2023-11-14
CN117056540B CN117056540B (zh) 2024-02-02

Family

ID=88662955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311305522.8A Active CN117056540B (zh) 2023-10-10 2023-10-10 基于文本生成多媒体对象的方法及装置

Country Status (1)

Country Link
CN (1) CN117056540B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688823A (zh) * 2021-09-09 2021-11-23 平安医疗健康管理股份有限公司 基于特征融合的文本识别方法、装置、设备及存储介质
CN115249062A (zh) * 2022-09-22 2022-10-28 武汉大学 一种文本生成视频的网络模型、方法及装置
CN116311525A (zh) * 2023-03-23 2023-06-23 电子科技大学 一种基于跨模态融合的视频行为识别方法
CN116522944A (zh) * 2023-05-19 2023-08-01 平安科技（深圳）有限公司 基于多头注意力的图片生成方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688823A (zh) * 2021-09-09 2021-11-23 平安医疗健康管理股份有限公司 基于特征融合的文本识别方法、装置、设备及存储介质
CN115249062A (zh) * 2022-09-22 2022-10-28 武汉大学 一种文本生成视频的网络模型、方法及装置
CN116311525A (zh) * 2023-03-23 2023-06-23 电子科技大学 一种基于跨模态融合的视频行为识别方法
CN116522944A (zh) * 2023-05-19 2023-08-01 平安科技（深圳）有限公司 基于多头注意力的图片生成方法、装置、设备及介质

Also Published As

Publication number Publication date
CN117056540B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
US20210383154A1 (en) Image processing method and apparatus, electronic device and storage medium
CN109801644B (zh) 混合声音信号的分离方法、装置、电子设备和可读介质
CN111612070B (zh) 基于场景图的图像描述生成方法及装置
CN107133354B (zh) 图像描述信息的获取方法及装置
CN111382748B (zh) 图像翻译方法、装置及存储介质
CN109255128B (zh) 多层级标签的生成方法、装置和存储介质
CN113673261A (zh) 数据生成方法、装置及可读存储介质
CN111814538B (zh) 目标对象的类别识别方法、装置、电子设备及存储介质
CN110781905A (zh) 一种图像检测方法及装置
CN114186622A (zh) 图像特征提取模型训练方法、图像特征提取方法和装置
CN112735396A (zh) 语音识别纠错方法、装置及存储介质
CN110929616B (zh) 一种人手识别方法、装置、电子设备和存储介质
CN112734627B (zh) 图像风格迁移模型的训练方法、图像风格迁移方法及装置
CN112035651B (zh) 语句补全方法、装置及计算机可读存储介质
CN115039169A (zh) 一种语音指令识别方法、电子设备以及非瞬态计算机可读存储介质
CN117056540B (zh) 基于文本生成多媒体对象的方法及装置
CN112948565A (zh) 人机对话方法、装置、电子设备及存储介质
CN112613447A (zh) 关键点检测方法及装置、电子设备和存储介质
CN112381091A (zh) 视频内容识别方法、装置、电子设备及存储介质
CN117115306A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN115906853A (zh) 实体信息确定方法、装置和设备
CN115394283A (zh) 语音合成方法、装置、电子设备及存储介质
CN113326706A (zh) 一种跨语言检索方法、装置和电子设备
CN112269881A (zh) 多标签文本分类方法、装置及存储介质
CN112860942B (zh) 视频评论的获取方法及、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant