CN117975491A - 用于处理数据的方法、设备和计算机程序产品 - Google Patents

用于处理数据的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN117975491A
CN117975491A CN202211287337.6A CN202211287337A CN117975491A CN 117975491 A CN117975491 A CN 117975491A CN 202211287337 A CN202211287337 A CN 202211287337A CN 117975491 A CN117975491 A CN 117975491A
Authority
CN
China
Prior art keywords
text
feature
image
target
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211287337.6A
Other languages
English (en)
Inventor
王子嘉
刘志松
贾真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dell Products LP
Original Assignee
Dell Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dell Products LP filed Critical Dell Products LP
Priority to CN202211287337.6A priority Critical patent/CN117975491A/zh
Priority to US17/984,400 priority patent/US20240233200A9/en
Publication of CN117975491A publication Critical patent/CN117975491A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例涉及用于处理数据的方法、设备和计算机程序产品。该方法包括基于所获取的文本，确定针对文本中的一组文字的文字特征和针对文本的文本特征。该方法还包括基于文本特征来确定针对文本的初始视觉特征。该方法还包括基于初始视觉特征、文字特征和文本特征，确定针对文本的目标视觉特征。该方法还包括基于目标视觉特征来生成与文本相对应的目标图像。通过该方法，提高了文本与图像之间的转换的准确度，改进了数据处理效率，并且进一步提高了数据压缩效率。

Description

用于处理数据的方法、设备和计算机程序产品
技术领域
本公开的实施例总体涉及数据处理领域，具体地涉及用于处理数据的方法、设备和计算机程序产品。
背景技术
随着技术的发展，对于与图像相关的数据的处理越来越多。例如，在虚拟世界场景中，需要传输的图像数据的量越来越大。如果直接传输这些图像数据，需要很多的计算资源和网络资源。为了减少这些资源的使用，通常会对这些图像数据进行有损压缩或无损压缩。然后将这些压缩的数据传输给其他的设备以进行绘制。然而，在图像数据的处理过程中还存在许多需要解决的问题。
发明内容
本公开的实施例提供了一种用于处理数据的方法、设备和计算机程序产品。
根据本公开的第一方面，提供了一种用于处理数据的方法。该方法包括基于所获取的文本，确定针对文本中的一组文字的文字特征和针对文本的文本特征。该方法还包括基于文本特征来确定针对文本的初始视觉特征。该方法还包括基于初始视觉特征、文字特征和文本特征，确定针对文本的目标视觉特征。该方法还包括基于目标视觉特征来生成与文本相对应的目标图像。
根据本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储器，耦合至至少一个处理器并且具有存储于其上的指令，指令在由至少一个处理器执行时使设备执行动作，所述动作包括：基于所获取的文本，确定针对文本中的一组文字的文字特征和针对文本的文本特征；基于文本特征来确定针对文本的初始视觉特征；基于初始视觉特征、文字特征和文本特征，确定针对文本的目标视觉特征；以及基于目标视觉特征来生成与文本相对应的目标图像。
根据本公开的第三方面，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面中的方法的步骤。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1图示了本公开的实施例的设备和/或方法可以在其中被实施的示例环境的示意图；
图2图示了本公开的实施例的文本到图像模块的结构示意图；
图3图示了根据本公开的实施例的用于处理数据的方法的流程图；
图4图示了根据本公开的实施例的文本到图像模块的结构示意图；
图5图示了根据本公开的实施例的用于训练模型的方法的流程图；
图6图示了根据本公开的实施例的用于训练模型的模块的示意图；
图7图示了适于用来实施本公开内容的实施例的示例设备的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包括，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。
如上所述，对于传输的图像数据需要进行压缩。然而，在对图像数据进行压缩时需要合适的压缩技术。然而，这种压缩技术需要使用较多的计算资源和传输资源。
现在随着神经网络模型的发展，出现了许多可以通过文本来生成图像的方案以及由图像生成文本的方案，来实现数据的压缩和传输。然而，由于这些模型还处于研究阶段，其计算的准确度不高，数据处理效率也不高。
至少为了解决上述和其他潜在问题，本公开的实施例提供了一种处理图像数据的方法。该方法可以通过文本来获得图像，然后还可以基于图像来生成对应的文本。因此，在对图像进行压缩时，可以先由图像获得对应的文本，然后仅传输文本，在接收方通过文本来生成对应的图像。通过该方法，提高了从文本生成图像或从图像生成文本的准确度，改进了数据处理效率，并且进一步提高了数据压缩效率。
下面将进一步结合附图来详细描述本公开的实施例，其中图1示出了本公开的实施例的设备和/或方法可以在其中被实施的示例环境。
如图1所示，示例环境100包括计算设备104，计算设备104可以实现将输入的文本转换为图像或将输入的图像转换为文本。
示例计算设备104包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费电子产品、小型计算机、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。
计算设备104包括文本到图像模块112。文本到图像模块112将计算设备接收的文本102转换为对应的图像106。例如，文本102是“红色的夕阳”，则经过文本到图像模块112的处理，便可得到包括绝色的夕阳的图像106。在一个示例中，文本到图像模块是由神经网络模型实现。在另一个示例中，文本到图像模块中存在文本与图像的映射关系，然后利用该映射关系来获得与文本对应的图像。上述示例仅是用于描述本公开，而非对本公开的具体限定。下面将结合图2进一步描述文本到图像模块112的一个示例。
计算设备104还包括图像到文本模块114。图像到文本模块114用于将获取的图像108转换为文本110，此过程也相当于实现了图像的压缩。在一个示例中，图像到文本模块114是由神经网络模型实现。在另一个示例中，图像到文本模块114中存在图像与文本的映射关系，然后利用该映射关系来获得与图像对应的文本。上述示例仅是用于描述本公开，而非对本公开的具体限定。下面将结合图4进一步描述图像到文本模块114的一个示例
图1示出了计算设备104包括文本到图像模块112和图像到文本模块114，其仅是示例，而非对本公开的具体限定。文本到图像模块112和图像到文本模块114可以分布在不同的设备中。
图1示出了计算设备从其他设备接收文本102和图像108，其仅是示例，而非对本公开的具体限定。计算设备104也可以从其本地存储设备来获取文本102或图像108。
进一步地，计算设备104还可以对文本到图像模块和图像到文本模块进行训练。备选地或附加地，计算设备104可以对文本到图像模块和图像到文本模块进行联合训练。备选地，文本到图像模块112和图像到文本模块114的联合训练可以在任意其他合适的计算设备上进行。
应当理解，仅出于示例性的目的来描述示例环境100中的架构和功能，而不暗示对本公开的范围的任何限制。本公开的实施例还可以被应用到具有不同的结构和/或功能的其他环境中。
通过该方法，提高了从文本生成图像或从图像生成文本的准确度，改进了数据处理效率，并且进一步提高了数据压缩效率。
上面图1描述了本公开的实施例的设备和/或方法可以在其中被实施的示例环境。下面结合图2进一步描述文本到图像模块的一个示例的示意图，其中图2图示了本公开的实施例的文本到图像模块的结构示意图。
如图2所示，文本到图像模块204接收到输入文本202，然后将其转换成与文本对应的图像206。具体地，文本到图像模块204首先通过变换器编码器(Transformer encoder)208将文本转换成针对输入文本202中的一组文字的文字特征210以及针对输入文本的文本特征212。文字特征210包括针对输入文本中的一组文字中每个文字的特征。文本特征212是针对文本的整体内容的特征。
接下来，将文本特征212和随机噪声z～N(0,1)214输入第0视觉特征变换器F0216以获得初始视觉特征。此时，可以将初始视觉特征输入生成器G0222以生成第一图像。然后将获得的初始视觉特征、文字特征210和文本特征212输入第一视觉特征变换器F1218以计算第一视觉特征。然后可以将第一视觉特征输入生成器G1224来得到第二图像，然后将第一视觉特征、文字特征210和文本特征212输入下一个视觉特征变换器，以此类推，直至最后一个视觉特征变换器Fm-1220以生成目标视觉特征。然后将目标视觉特征输入生成器Gm-1226以生成对应的图像206。
通过该方法，可以快速的由文本生成对应的图像，提高了从文本生成图像的准确度，改进了数据处理效率。
上面图2描述了本公开的实施例的文本到图像模块的结构示意图。下面结合图3进一步描述处理数据的示意图，其中图3图示了根据本公开的实施例的用于处理数据的方法的流程图。图3中的方法可在图1中的计算设备104或任意合适的计算设备上执行。
在框302处，计算设备104基于所获取的文本，确定针对文本中的一组文字的文字特征和针对文本的文本特征。在对文本进行处理时，计算设备需要先确定出该文本的文字特征和文本特征。文字特征是由文本中的每个字的特征形成，文本特征是针对整个文本的特征。
在一些实施例中，在确定文字特征和文本特征时，计算设备104首先确定针对一组文字中的每个文字的初始特征。例如，计算设备104先确定文本中的每个文字的嵌入向量，然后将其作为文字的初始特征。然后计算设备104利用每个文字的初始特征以及该文字与输入文本中的一组文字中的其他文字的相关度来重新计算文字特征。在该过程中，该相关度是通过将每个文字的初始特征得到的第一向量与由其他文字的初始特征得到的第二向量进行点积来确定的。接着，计算设备104根据每个文字与其他文字的相关度来将其他文字的特征也结合到该每个文字的特征中以获得该文字特征。计算设备104基于初始特征和文本的整体与一组文字中的每个文字的相关度来确定文本特征。在计算文本特征时需要使用每个文字的初始特征及其与文本整体的相关度来计算文本特征。例如，如图2中所示，计算设备204通过变换器编码器来获得输入文本202中文字特征210和文本特征212。通过该方式，可以快速准确地确定出文本的文字特征和文本特征，提高了获取特征信息的效率。
下面描述获取文字特征210和文本特征212的一个示例。对于输入文本T＝{Tl|l＝0,…,L-1}，其中L为文本字数，Tl表示文本中的第l个文字。如下面式(1)所示经过变换器编码器处理输入文本T后得到文字特征w和文本特征s：
w,s＝Transformer(T) (1)
其中w＝{wl|l＝0,…,L-1}∈RD×L是每个单词的隐藏状态的wl的结合，其中D和L表示向量空间的维度。s∈RD是针对文本整体的最后的隐藏状态。
备选地或附加地，其中确定文字特征和文本特征还包括：对文本特征进行线性变换以获得经调整的文本特征。例如，对于获得的文本特征s，为了使文本特征s与其语义相近的文本特征相区别，可以对文本特征s进行增强。例如，使用下式(2)对使文本特征s进行增强以得到增强的文本特征：
sca＝Fsa(s) (2)
其中Fsa()是增强函数，其可为线性函数。sca∈RD′，其中D′是增强后的维度。
在一些实施例中，计算设备204可以通过基于变换器的双向编码器表示(Bidirectional Encoder Representation from Transformers，BERT)模型来获得输入文本的文字特征和文本特征。上述示例仅是用于描述本公开，而非对本公开的具体限定。
在框304处，计算设备104基于文本特征来确定针对文本的初始视觉特征。在获得了文本特征后，可以先根据文本特征来计算针对输入文本的初始特征。在一个示例中，计算设备104基于文本特征和随机参数来生成初始视觉特征。如图2所示，可以将随机噪声214和文本特征212输入第0个视觉特征变换器F0216以获得初始视觉特征。
在框306处，计算设备104基于初始视觉特征、文字特征和文本特征，确定针对文本的目标视觉特征。在确定了初始视觉特征之后，再将文字特征和文本特征与其进行结合来获得目标视觉特征。
在一些实施例中，计算设备104利用初始视觉特征和文字特征来确定文字上下文特征。然后计算设备104利用初始视觉特征和文本特征来确定文本上下文特征。接下来，计算设备104利用文字上下文特征、文本上下文特征和初始视觉特征来确定参考视觉特征。最后，计算设备利用参考视觉特征来确定目标视觉特征。通过该方式，可以快速准确地确定出目标视觉特征。
备选地或附加地，在计算设备利用参考视觉特征来确定目标视觉特征时，需要基于文字上下文特征、文本上下文特征更新参考视觉特征，然后将该过程重复执行预定次数以将最后的参考视觉特征确定为目标视觉特征：。
例如，{F0,F1,…,Fm-1}表示m个视觉特征生成器，{G0,G1,…,Gm-1}表示m个图像生成器，初始视觉特征f0、后面每个阶段中生成的视觉特征fi和生成的图像Ii由下面的式(3)得到：
f0＝F0(z,sca)
Ii＝Gi(fi),i∈{1,2,…,m-1+
其中z～N(0,1)为随机噪声，是第i个视觉特征生成器Fi的输出，Mi和Ni表示fi的空间的维度，/>为第i个图像生成器输出的图像，qi表示Ii的空间的维度。另外，/>是全局局部协作注意力模型，其包括两个部分文字上下文特征/>和文本上下文特征/>例如/>其中contact()表示连接函数。
通过文字级别的注意力模型来计算文字上下文特征在该过程中，文字特征w由感知层Ui-1转换为视觉特征的底层通用语义空间Ui-1w，然后与视觉特征fi-1相乘来获得注意力分数。最后，如下式(4)所示，通过计算注意力分数与Ui-1w的内积来计算文字上下文特征/>
其中Mi-1，D，和Ni-1表示空间的维度，T表示转置。/>具有与视觉特征fi-1相同的维度，其进一步用于通过与fi-1结合生成第i个视觉特征fi。
通过文本级模型在生成期间实行对生成器的全局约束。与文字级注意力模型相似，增强的文本特征sca首先通过感知层Vi-1转换为视觉特征的底层通用语义空间Vi-1sca。然后，将其与视觉特征fi-1相乘，得到注意力分数。最后，如下面式(5)所示，通过计算注意力分数和Vi-1sca的乘积来获得注意力文本上下文特征
其中表示元素级的相乘，/>其中Mi-1，D′和Ni-1表示空间中的维度。注意力文本上下文特征/>还进一步与fi-1和/>结合以生成第i个视觉特征fi。
在框308处，计算设备104基于目标视觉特征来生成与文本相对应的目标图像。在获得了针对文本的目标视觉特征后，可基于图像生成器来生成目标图像。文本到图像模块的训练过程将在后面结合图5和图6进行描述。通过该方法，可以快速的由文本生成对应的图像，提高了从文本生成图像的准确度，改进了数据处理效率。
进一步地，计算设备104还可以执行从图像生成文本的过程，如图1所示，由图像到文本模块114将图像108生成为文本110。
计算设备104可以获取图像，例如生成的目标图像。然后，计算设备基于目标图像，生成针对目标图像的图像视觉特征。接着计算设备利用图像视觉特征来确定与目标图像相关的文字的特征。最后计算设备104基于与目标图像相关的文字的特征来生成与目标图像相对应的目标文本。通过该方法，可以快速获取到与图像对应的文本，实现对图像的快速压缩。下面结合图4进一步描述由图像到文本模块的示例，其中图4图示了根据本公开的实施例的文本到图像模块的结构示意图。
如图4所示，图像到文本模块404将图像402转换为重建的文本406。图像到文本模块404包括卷积神经网络(Convolutional Neural Network，CNN)编码器408，其将图像402转换为视觉特征。然后输入基于门控循环单元的循环神经网络(Gated RecurrentUnit-Recurrent Neural Networks，GRU-RNN)解码器410来进行处理以生成重建的文本。
例如，由最终的图像生成器生成的图像Im-1被送到CNN编码器和GRU-RNN解码器来生成对应的文本由下式(6)得到：
其中表示用作开始阶段的视觉特征，Mm-1表示空间维度，We表示文字向量矩阵，其将文字特征映射到视觉特征空间，Tt为预测到的文字，T0由x-1得到，pt+1是预测的文字的概率分布。
如上所述，确定初始视觉特征、目标视觉特征和目标图像是由文本到图像模型实现的，生成图像视觉特征、与目标图像相关的文字的特征和目标文本是由图像到文本模型实现的。可以使用样本文本和与样本文本相对应的样本图像来对文本到图像模型和图像到文本模型进行联合训练。例如，文本到图像模型可通过生成对抗网络(GenerativeAdversarial Network,GAN)来实现。图像到文本模型可通地CNN和GRU-RNN模型来实现。其仅是示例，而非对本公开的具体限定。本领域技术人员可采用任意合适的方法和模型来实现。通过该方式，可以提高模型的准确度，并且可以提高模型训练的效率。下面结合图5和图6描述对模型进行联合训练的过程，该过程可在图1的计算设备104及任意合适的计算设备上执行。
在框502处，计算设备104基于样本文本，确定针对样本文本中一组样本文字的样本文字特征和针对样本文本的整体的样本文本特征。例如，如图6所示，样本文本602输入变换器编码器604来获得样本文字特征606和样本文本特征608。变换器编码器604可以是预先训练好的。
返回图5，在框504处，计算设备104基于样本文本特征来确定针对样本文本的初始样本视觉特征。如图6所示，通过将样本文本特征608和随机噪声610输入视觉特征生成器F0612来获得初始样本视觉特征。
在框506处，计算设备104基于所初始样本视觉特征、样本文字特征和样本文本特征确定针对样本文本的目标样本视觉特征。在图6中，初始样本视觉特征分别输入图像生成器G0618和视觉特征生成器F1614。视觉特征生成器F1614还需要再利用样本文字特征606和样本文本特征608来计算样本视觉特征f1。然后将样本视觉特征f1输入图像生成器G1620。依此类推，后面的视觉特征生成器利用前面的视觉特征生成器的输出以及样本文字特征606和样本文本特征608来生成对应的视觉特征，直到最后一个视觉特征生成器Fm-1616。视觉特征生成器Fm-1616生成的视觉特征作为目标样本视觉特征。
返回图5，在框508处，计算设备104基于目标样本视觉特征来生成与样本文本相对应的目标样本图像。如图6所示，视觉特征生成器Fm-1616将生成的视觉特征输入图像生成器Gm-1622来生成图像620。
在框510处，计算设备104基于目标样本图像，生成针对目标样本图像的样本图像视觉特征。如图6所示，通过CNN编码器622来生成与目标样本图像620对应的样本图像视觉特征。
在框512处，计算设备104基于样本图像视觉特征来确定与目标样本图像相关的文字的特征。在框514处，计算设备104基于与目标样本图像相关的文字的特征来生成与目标样本图像相对应的目标样本文本。如图6所示，通过GRU-RNN解码器624来生成与目标样本图像相关的重建的文本626。
在框516处，计算设备基于样本图像、目标样本图像、样本文本和目标样本文本来调整文本到图像模型和图像到文本模型的参数。
在这两个模型的训练过程中，存在两种对抗性损失：视觉真实对抗性损失和文本图像配对语义一致性对抗性损失。在每个训练阶段，生成器G和判别器D交替训练。特别地，第i阶段的生成器Gi通过最小化损失进行训练，如下式(7)所示：
其中s为文本特征，Ii是从第i个阶段的分布p(Ii)中采样的生成图像,是求期望值，第一项是视觉真实对抗性损失，用于区分图像在视觉上是真实的还是假的，而第二项是文本-图像配对语义一致性对抗性损失，用于确定底层图像和句子语义是否一致。
此外，还计算文本语义重建损失来对齐生成的文本和给定的文本。在数学上，这种损失可以由式(8)来得到：
其中pt表示计算出的文字是样本文字的概率。在训练生成器Gi时，来自Lrec的梯度被后向传播到Gi，其网络权重保持固定。最终的目标损失函数LG由式(9)表示：
其中λ是处理对抗性损失和文本语义重建损失重要性的损失权重。
图7示出了可以用来实施本公开的实施例的示例设备700的示意性框图。图1中的计算设备104可以利用设备700来实现。如图所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储页面708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300和500，可由处理单元701执行。例如，在一些实施例中，方法300和500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到RAM703并由CPU 701执行时，可以执行上文描述的方法300和500的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (20)

1.一种处理数据的方法，包括：
基于所获取的文本，确定针对所述文本中的一组文字的文字特征和针对所述文本的文本特征；
基于所述文本特征来确定针对所述文本的初始视觉特征；
基于所述初始视觉特征、所述文字特征和所述文本特征，确定针对所述文本的目标视觉特征；以及
基于所述目标视觉特征来生成与所述文本相对应的目标图像。
2.根据权利要求1所述的方法，其中确定所述文字特征和所述文本特征包括：
确定针对所述一组文字中的每个文字的初始特征；
基于所述初始特征以及所述文字与所述一组文字中的其他文字的相关度来确定所述文字特征；以及
基于所述初始特征和所述文本的整体与所述一组文字中的每个文字的相关度来确定所述文本特征。
3.根据权利要求2所述的方法，其中确定所述文字特征和所述文本特征还包括：
对所述文本特征进行线性变换以获得经调整的所述文本特征。
4.根据权利要求1所述的方法，其中确定所述初始视觉特征包括：
基于所述文本特征和随机参数来生成所述初始视觉特征。
5.根据权利要求1所述的方法，确定所述目标视觉特征包括：
基于所述初始视觉特征和所述文字特征确定文字上下文特征；
基于所述初始视觉特征和所述文本特征来确定文本上下文特征；
基于所述文字上下文特征、所述文本上下文特征和所述初始视觉特征来确定参考视觉特征；以及
基于所述参考视觉特征来确定所述目标视觉特征。
6.根据权利要求5所述的方法，其中基于所述参考视觉特征来确定所述目标视觉特征包括：
通过迭代地执行预定次数的以下操作来将所述参考视觉特征确定为所述目标视觉特征：
基于所述文字上下文特征、所述文本上下文特征更新所述参考视觉特征。
7.根据权利要求1所述的方法，还包括：
基于所述目标图像，生成针对所述目标图像的图像视觉特征；
基于所述图像视觉特征来确定与所述目标图像相关的文字的特征；以及
基于与所述目标图像相关的文字的特征来生成与所述目标图像相对应的目标文本。
8.根据权利要求7所述的方法，其中确定所述初始视觉特征、所述目标视觉特征和所述目标图像是由文本到图像模型实现的，其中生成所述图像视觉特征、与所述目标图像相关的文字的特征和所述目标文本是由图像到文本模型实现的。
9.根据权利要求8所述的方法，还包括：
使用样本文本和与样本文本相对应的样本图像来对所述文本到图像模型和所述图像到文本模型进行联合训练。
10.根据权利要求8所述的方法，其中使用样本文本和与样本文本相对应的样本图像来对所述文本到图像模型和所述图像到文本模型进行联合训练包括：
基于所述样本文本，确定针对所述样本文本中一组样本文字的样本文字特征和针对所述样本文本的整体的样本文本特征；
基于所述样本文本特征来确定针对所述样本文本的初始样本视觉特征；
基于所初始样本视觉特征、所述样本文字特征和所述样本文本特征确定针对所述样本文本的目标样本视觉特征；
基于所述目标样本视觉特征来生成与所述样本文本相对应的目标样本图像；
基于所述目标样本图像，生成针对所述目标样本图像的样本图像视觉特征；
基于所述样本图像视觉特征来确定与所述目标样本图像相关的文字的特征；以及
基于与所述目标样本图像相关的文字的特征来生成与所述目标样本图像相对应的目标样本文本；以及
基于所述样本图像、所述目标样本图像、所述样本文本和所述目标样本文本来调整所述文本到图像模型和所述图像到文本模型的参数。
11.一种电子设备，包括：
至少一个处理器；以及
存储器，耦合至所述至少一个处理器并且具有存储于其上的指令，所述指令在由所述至少一个处理器执行时使所述设备执行动作，所述动作包括：
基于所获取的文本，确定针对所述文本中的一组文字的文字特征和针对所述文本的文本特征；
基于所述文本特征来确定针对所述文本的初始视觉特征；
基于所述初始视觉特征、所述文字特征和所述文本特征，确定针对所述文本的目标视觉特征；以及
基于所述目标视觉特征来生成与所述文本相对应的目标图像。
12.根据权利要求11所述的电子设备，其中确定所述文字特征和所述文本特征包括：
确定针对所述一组文字中的每个文字的初始特征；
基于所述初始特征以及所述文字与所述一组文字中的其他文字的相关度来确定所述文字特征；以及
基于所述初始特征和所述文本的整体与所述一组文字中的每个文字的相关度来确定所述文本特征。
13.根据权利要求12所述的电子设备，其中确定所述文字特征和所述文本特征还包括：
对所述文本特征进行线性变换以获得经调整的所述文本特征。
14.根据权利要求11所述的电子设备，其中确定所述初始视觉特征包括：
基于所述文本特征和随机参数来生成所述初始视觉特征。
15.根据权利要求11所述的电子设备，确定所述目标视觉特征包括：
基于所述初始视觉特征和所述文字特征确定文字上下文特征；
基于所述初始视觉特征和所述文本特征来确定文本上下文特征；
基于所述文字上下文特征、所述文本上下文特征和所述初始视觉特征来确定参考视觉特征；以及
基于所述参考视觉特征来确定所述目标视觉特征。
16.根据权利要求15所述的电子设备，其中基于所述参考视觉特征来确定所述目标视觉特征包括：
通过迭代地执行预定次数的以下操作来将所述参考视觉特征确定为所述目标视觉特征：
基于所述文字上下文特征、所述文本上下文特征更新所述参考视觉特征。
17.根据权利要求11所述的电子设备，所述动作还包括：
基于所述目标图像，生成针对所述目标图像的图像视觉特征；
基于所述图像视觉特征来确定与所述目标图像相关的文字的特征；以及
基于与所述目标图像相关的文字的特征来生成与所述目标图像相对应的目标文本。
18.根据权利要求17所述的电子设备，其中确定所述初始视觉特征、所述目标视觉特征和所述目标图像是由文本到图像模型实现的，其中生成所述图像视觉特征、与所述目标图像相关的文字的特征和所述目标文本是由图像到文本模型实现的。
19.根据权利要求18所述的电子设备，所述动作还包括：
使用样本文本和与样本文本相对应的样本图像来对所述文本到图像模型和所述图像到文本模型进行联合训练。
20.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至10任一项所述的方法的步骤。
CN202211287337.6A 2022-10-20 2022-10-20 用于处理数据的方法、设备和计算机程序产品 Pending CN117975491A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211287337.6A CN117975491A (zh) 2022-10-20 2022-10-20 用于处理数据的方法、设备和计算机程序产品
US17/984,400 US20240233200A9 (en) 2022-10-20 2022-11-10 Method, device, and computer program product for processing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211287337.6A CN117975491A (zh) 2022-10-20 2022-10-20 用于处理数据的方法、设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN117975491A true CN117975491A (zh) 2024-05-03

Family

ID=90863738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211287337.6A Pending CN117975491A (zh) 2022-10-20 2022-10-20 用于处理数据的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US20240233200A9 (zh)
CN (1) CN117975491A (zh)

Also Published As

Publication number Publication date
US20240233200A9 (en) 2024-07-11
US20240135599A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
CN108280112B (zh) 摘要生成方法、装置及计算机设备
KR102359216B1 (ko) 신경망을 이용한 텍스트 시퀀스 처리
US20210065278A1 (en) Asymmetrically hierarchical networks with attentive interactions for interpretable review-based recommendation
CN113590858B (zh) 目标对象的生成方法、装置、电子设备以及存储介质
US11355097B2 (en) Sample-efficient adaptive text-to-speech
CN110309275A (zh) 一种对话生成的方法和装置
US20240078385A1 (en) Method and apparatus for generating text
US11294945B2 (en) Unsupervised text summarization with reinforcement learning
JP2022169743A (ja) 情報抽出方法、装置、電子機器及び記憶媒体
CN111475635B (zh) 语义补全方法、装置和电子设备
US20240338533A1 (en) Method, apparatus and electronic device for information processing
CN117787380A (zh) 模型获取方法、装置、介质及设备
CN117809620A (zh) 语音合成方法、装置、电子设备和存储介质
CN111797220A (zh) 对话生成方法、装置、计算机设备和存储介质
CN117975491A (zh) 用于处理数据的方法、设备和计算机程序产品
CN110442706B (zh) 一种文本摘要生成的方法、系统、设备及存储介质
CN113377986B (zh) 图像检索方法和装置
CN118155270B (zh) 模型训练方法、人脸识别方法及相关设备
JP7528277B2 (ja) データ密度の勾配の推定による条件付き出力生成
CN113268997B (zh) 文本翻译方法、装置、计算机设备和存储介质
CN115098647B (zh) 用于文本表征的特征向量生成方法、装置和电子设备
CN115563933A (zh) 词编码方法、装置、存储介质与电子设备
CN116524046A (zh) 用于处理数据的方法、电子设备和计算机程序产品
CN116993997A (zh) 用于训练编码器和处理数据的方法、电子设备和程序产品
CN118709697A (zh) 文本识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination