CN112862909A - 一种数据处理方法、装置、设备以及存储介质 - Google Patents

一种数据处理方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112862909A
CN112862909A CN202110164420.3A CN202110164420A CN112862909A CN 112862909 A CN112862909 A CN 112862909A CN 202110164420 A CN202110164420 A CN 202110164420A CN 112862909 A CN112862909 A CN 112862909A
Authority
CN
China
Prior art keywords
decoding
coding
feature
layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110164420.3A
Other languages
English (en)
Inventor
胡天舒
洪智滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110164420.3A priority Critical patent/CN112862909A/zh
Publication of CN112862909A publication Critical patent/CN112862909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种数据处理方法、装置、设备以及存储介质，涉及人工智能领域，尤其涉计算机视觉和深度学习领域。实现方案为：采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到至少两个第一编码层输出的第一特征；基于第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及至少两个第一待传输特征在解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至第一待传输特征关联的解码层；采用解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果，提高了不同特征的融合解码结果的准确性。

Description

一种数据处理方法、装置、设备以及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及人工智能领域，具体涉及计算机视觉和深度学习领域。
背景技术
随着人工智能技术的发展，将不同特征进行融合解码的应用越来越广泛，例如，在视频应用中，将人物图像的语音动作关联特征和人物图像的图像特征进行融合解码，可以得到语音驱动人物图像生成的人物图像表达该语音的视频图像。目前，现有技术进行不同特征融合解码时，融合解码的结果无法很好的表达出每种特征，亟需改进。
发明内容
本申请提供了一种数据处理方法、装置、设备以及存储介质。
根据本申请的第一方面，提供了一种数据处理方法，包括：
采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到所述至少两个第一编码层输出的第一特征；
基于所述第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从所述至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及所述至少两个第一待传输特征在所述解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层；其中，所述连接关系包括直接连接关系和跳跃连接关系；
采用所述解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。
根据本申请的第二方面，提供了一种数据处理装置，包括：
第一特征确定模块，用于采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到所述至少两个第一编码层输出的第一特征；
特征传输模块，用于基于所述第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从所述至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及所述至少两个第一待传输特征在所述解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层；其中，所述连接关系包括直接连接关系和跳跃连接关系；
特征解码模块，用于解码采用所述解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。
根据本申请的第三方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的数据处理方法。
根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本申请任一实施例所述的数据处理方法。
根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请任一实施例所述的数据处理方法。
本申请实施例的技术方案，提高了不同特征的融合解码结果的准确性，为不同特征的融合解码提供了一种新思路。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1A是根据本申请实施例提供的一种数据处理方法的流程图；
图1B是根据本申请实施例提供的执行数据处理方法的一种网络架构示意图；
图2A是根据本申请实施例提供的另一种数据处理方法的流程图；
图2B是根据本申请实施例提供的执行数据处理方法的另一种网络架构示意图；
图3A是根据本申请实施例提供的视频生成场景下执行数据处理方法的流程图；
图3B是根据本申请实施例提供的视频生成场景下执行数据处理方法的网络架构示意图；
图4是根据本申请实施例提供的一种数据处理装置的结构示意图；
图5是用来实现本申请实施例的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1A是根据本申请实施例提供的一种数据处理方法的流程图；图1B是根据本申请实施例提供的执行数据处理方法的一种网络架构示意图。本实施例适用于对不同特征进行融合解码处理的情况。该实施例可以由电子设备中配置的数据处理装置来执行，该装置可以采用软件和/或硬件来实现。需要说明的是，本申请实施例用第一特征和第二特征表征不同特征，其中，第一特征和第二特征可以是对同一数据提取的不同的特征，也可以是对不同数据提取的不同特征。另外，本申请实施例的第二特征可以是一种特征，也可以多种不同特征的组合。对此本实施例不对第一特征和第二特征进行具体特征类型的限定，其可以是任意两种不同类型的特征。
如图1A-1B所示，该方法包括：
S101，采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到至少两个第一编码层输出的第一特征。
其中，本申请实施例中的第一数据可以为任意能够进行特征提取的数据，例如，可以包括但不限于：图像数据、语音数据和文本数据等。第一特征可以是从第一数据中提取出的特征，例如，若第一数据为人物图像数据，则该第一特征可以是从人物图像中提取出的人物特征。本申请实施例的第一编码网络可以是对第一数据进行编码提取第一数据的第一特征的神经网络，该第一编码网络中包括至少两个首尾连接的第一编码层，对于每个第一编码层都可以基于输入的数据进行本层的特征编码操作，得到本层对应的第一特征。需要说明的是，第一编码网络中的不同第一编码层输出的第一特征不同(如特征内容和/或特征维度不同)，通常情况下，第一编码网络中，排序靠后的第一编码层提取的第一特征相对于排序靠前的第一编码层提取的第一特征更为抽象。例如，若第一数据为人物图像数据，则排序靠前的第一编码层提取第一特征可能是边、角、点等几何特征，而排序靠后的第一编码层提取的第一特征可能是头部、身体、四肢等语义特征。
可选的，执行本申请实施例的数据处理方法所依据的网络模型的架构如图1B所示，该网络模型1中包括第一编码网络10和解码网络11，其中，第一编码网络10中包括至少多个首尾连接的第一编码层，即第一编码层1至第一编码层3，解码网络11中也包括多个首尾连接的解码层，即解码层1至解码层3，本申请实施例采用第一编码网络10执行本步骤的过程可以是：将第一数据输入到第一编码网络10的第一编码层1，第一编码层1基于第一数据执行本层的编码处理，得到本层输出的第一特征1，并将第一特征1传输至第一编码层2，第一编码层2基于第一特征1执行本层的编码处理，得到本层输出的第一特征2，并将第一特征2传输至第一编码层3，第一编码层3基于第一特征2执行本层的编码处理，得到本层输出的第一特征3。即执行本步骤的操作后，会得到各个第一编码层输出的第一特征，即第一特征1至第一特征3。
S102，基于第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及至少两个第一待传输特征在解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至第一待传输特征关联的解码层。
其中，本申请实施例中，第一编码网络的第一编码层和解码网络的解码层之间的连接关系包括直接连接关系和跳跃连接关系。具体的，若第一编码网络的某一第一编码层输出与解码网络的某一解码层的输入连接，则该第一编码层和该解码层之间就具有连接关系，如果具有连接关系的第一编码层和解码层之间不包含其他网络层，则该第一编码层和解码层属于直接连接关系，否则属于跳跃连接关系。示例性的，如图1B所示，第一编码层3和解码层1具有直接连接关系，第一编码层1和解码层3具有跳跃连接关系，第一编码层2和解码层2也具有跳跃连接关系。可选的，在本申请实施例中，第一编码网络的第一编码层和解码网络的解码层之间的连接关系是在构建包含第一编码网络和解码网络的网络模型时预先设置好的，具体的设置方式在后续实施例进行详细介绍。
可选的，本申请实施例在将第一编码网络得到的第一特征传输至解码网络时，需要先根据各个第一编码层和解码层之间的直接连接关系和跳跃连接关系，从第一编码网络中的各个第一编码层输出的第一特征中选出需要传输给解码网络的第一特征(即第一待传输特征)，具体的，可以将符合直接连接关系和跳跃连接关系的各个第一解码层输出的第一特征作为第一待传输特征。然后再根据该直接连接关系和跳跃连接关系确定出每个第一待传输特征关联的解码层(即解码网络中接收该第一待传输特征的解码层)。具体的，可以是将与各个第一待传输特征对应的第一解码网络具有直接连接关系或跳跃连接关系的解码层作为该第一待传输特征关联的解码层。
具体的，本申请实施例可以是先基于第一编码网络的第一编码层和解码网络的解码层之间的直接连接关系，将第一编码网络尾部的第一编码层输出的第一特征作为一种第一待传输特征，以及将解码网络首部的解码层作为该种第一待传输特征在解码网络中关联的解码层。示例性的，如图1B所示，第一编码网络10尾部的第一编码层3与解码网络11首部的解码层1具有直接连接关系，可以将第一编码层3输出的第一特征3作为基于直接连接关系确定的第一待传输特征，将解码层1作为该第一待传输特征(即第一特征3)关联的解码层。再基于第一编码网络的第一编码层和解码网络的解码层之间的跳跃连接关系，将具有跳跃连接关系的第一编码层输出的第一特征作为另一种第一待传输特征，以及将与该第一编码层跳跃连接的解码层作为该种第一待传输特征在解码网络中关联的解码层。示例性的，如图1B所示，第一编码层1和解码层3具有跳跃连接关系，第一编码层2和解码层2具有跳跃连接关系，所以可以将第一编码层1输出的第一特征1和第一编码层2输出的第一特征2作为基于跳跃连接关系确定的第一待传输特征，并将与第一编码层1具有跳跃连接关系的解码层3作为第一待传输特征中第一特征1关联的解码层；将与第一编码层2具有跳跃连接关系的解码层2作为第一待传输特征中第一特征2关联的解码层。即针对图1B，确定出的第一待传输特征包括：第一特征1、第一特征2和第一特征3，其中，第一特征1关联解码层3，第一特征2关联解码层2，第一特征3关联解码层1。
可选的，本实施例在确定出第一待传输特征及其关联的解码层后，可以将需要融合的另一种特征，即第二特征和每个第一待传输特征作为一组拼接特征传输至第一待传输特征关联的解码层。具体的，可以将每个第一待传输特征分别与第二特征进行拼接，得到一组拼接特征，然后将每组拼接特征传输至该组拼接特征中的第一待传输特征关联的解码层。示例性的，如图1B所示，将第一特征1、第一特征2和第一特征3分别于第二特征进行拼接，得到拼接特征1、拼接特征2和拼接特征3，然后将拼接特征1传输至第一特征1关联的解码层3，将拼接特征2传输至第一特征2关联的解码层2，将拼接特征3传输至第一特征3关联的解码层1。
S103，采用解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。
其中，本申请实施例的上一解码结果是针对解码网络中的各解码层而言的，具体的，可以是解码网络中除首部的解码层以外，其他解码层接收到的其上一解码层执行解码操作输出的解码结果。示例性的，如图1B所示，解码层2对应的上一解码结果为解码层1输出的解码结果1，解码层3对应的上一解码结果为解码层2输出的解码结果2。最终解码结果可以是解码网络尾部的解码层输出的解码结果，如图1B中的解码层3输出的解码结果3。还可以是解码网络中各个解码层输出的所有的解码结果。对此本实施例不进行限定。
可选的，本申请实施例的解码网络是由多个首尾连接的解码层构成，对于每个解码层来说，其可以与第一编码网络中的第一编码层具有连接关系(如直接连接关系和/或跳跃连接关系)，也可以与第一编码网络中的第一编码层之间没有连接关系。对于非首部的解码层而言，若其与第一编码网络中的第一编码层具有连接关系，则该解码层不但可以接收到上一解码层传输的解码结果(即上一解码结果)，还可以通过该连接关系接收到拼接特征，若没有连接关系，则该解码层只能接收到上一解码层传输的解码结果(即上一解码结果)。
具体的，本申请实施例解码网络中的各个解码层基于接收到的数据(拼接特征和/或上一解码结果)执行解码处理操作时，对于解码网络首部的解码层，其接收到的数据只有拼接特征，此时该解码层基于该拼接特征执行本层的解码处理，得到本层的解码结果传输至下一解码层，即该解码结果针对下一解码层而言，属于上一解码结果。对于解码网络中除首部以外的其他解码层，若其与第一编码网络中的第一编码层具有连接关系，则其接收到的数据包括拼接特征和上一解码结果，此时该解码层会基于接收到的拼接特征和上一解码结果执行本层的解码处理得到本层的解码结果传输至下一解码层；该解码层与第一编码网络中的第一编码层都不具有连接关系，则此时该解码层只接收上一解码层传输的上一解码结果，并基于接收的该上一解码结果执行本层的解码处理得到本层的解码结果传输至下一解码层。
示例性的，如图1B所示，解码层1作为解码网络11首部的解码层，由于其与第一编码网络10的第一编码层3具有直接连接关系，所以其可以接收到拼接特征3，此时该解码层1会基于该拼接特征3执行本层的解码处理，得到解码结果1，并将该解码结果1传输至解码层2，解码层2与第一编码网络10中的第一编码层2具有跳跃连接关系，可以接收到拼接特征2和编码层1传输的解码结果1(即上一解码结果)，此时该解码层2会基于该拼接特征2和解码结果1执行本层的解码处理，得到解码结果2，并将该解码结果2传输至解码层3，解码层3与第一编码网络10中的第一编码层1具有跳跃连接关系，可以接收到拼接特征1和编码层2传输的解码结果2(即上一解码结果)，此时该解码层3会基于该拼接特征1和解码结果2执行本层的解码处理，得到解码结果3。若图1B中第一编码层2和解码层2之间不具有跳跃连接关系，则该解码层2只能接收到解码结果1，也就是说此时该解码层2是基于解码结果1(即上一解码结果)执行本层的解码处理，得到解码结果2。
本申请实施例的方案，通过第一编码网络对第一数据进行编码，得到第一编码网络中的各个第一编码层输出的第一特征，根据第一编码网络的第一编码层和解码网络中的解码层之间的连接关系，从各个第一特征中确定出需要传输的第一待传输特征及其关联的编码层，并将各第一待传输特征与第二特征拼接后传输至关联的编码层。采用解码网络中的各个解码层对接收到的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。本申请实施例的方案，在采用解码网络对第二特征和第一编码网络编码的第一特征进行融合解码时，不但在编码层和解码层直接连接时向解码网络中的解码层传输拼接融合后的特征，还在编码层和解码层跳跃连接时向解码网络中的解码层传输拼接融合后的特征，从而加强了待融合的每种特征在解码网络不同解码层级的表达，以增强每种特征对解码网络解码结果的影响，使得解码结果更好的表达出每种特征，为不同特征融合解码提供了一种新思路。
可选的，在本申请实施例中，第一编码网络的第一编码层和解码网络的解码层之间的连接关系可以通过如下方式确定：设置第一编码网络尾部的第一编码层和解码网络首部的解码层之间具有直接连接关系。示例性的，如图1B所示，第一编码网络10尾部的第一解码层3和解码网络11首部的解码层1具有直接连接关系。设置第一编码网络和解码网络中，满足第一编码层输出与解码层输入维度相同的第一编码层和解码层具有跳跃连接关系。具体的，本申请实施例可以是统计第一编码网络中的各第一编码层输出的第一特征的特征维度作为各第一编码层输出维度，以及解码网络中的各解码层输入数据(如上一解码层传输的解码结果，或者第一编码网络尾部的第一编码层传输的第一特征)的维度作为各解码层输入维度，然后针对每个第一编码层，判断解码网络中，是否存在某一解码层输入维度与该第一编码层输出维度相同，若存在，则将该解码层与该第一编码层设置跳跃连接关系。示例性的，如图1B所示，若第一编码层1输出的第一特征1的维度和解码层3接收的解码层2传输的解码结果2的维度相同，则设置第一编码层1和解码层3具有跳跃连接关系。本申请这样设置的好处是，可以是保证跳跃连接关系设置的全面性和准确性，避免输入和输出维度不同，导致跳跃连接传输给解码层的数据无法供解码层使用。可选的，本申请实施例在设置第一编码层和解码层之间的跳跃连接关系时，还可以是在保证解码网络解码结果的前提下，通过大量理论及实验分析从所有满足跳跃连接关系的第一编码层和解码层中，选择一部分设置跳跃连接关系，示例性的，如图1B所示，只选择设置第一编码层2和解码层2具有跳跃连接关系，不设置第一编码层1和解码层3之间的跳跃连接关系。这样设置的好处是，可以根据需求简化网络模型的连接关系，提高模型训练及模型工作的复杂度。
可选的，在本申请实施例中，在将第二特征和每个第一待传输特征作为一组拼接特征传输至该第一待传输特征关联的解码层时，可以是针对每个第一待传输特征，将第一待传输特征和第二特征调整为相同特征维度后进行拼接处理，得到一组拼接特征，并将该拼接特征传输至第一待传输特征关联的解码层。具体的，第一特征和第二特征是不同的特征，其特征维度不一定相同，本申请实施例可以是针对每一个第一待拼接特征，在将其与第二特征进行拼接前，先将第一待传输特征和第二特征的特征维度调整为相同的维度，具体的可以基于特征维度大的一方，对特征维度小的一方进行维度拓展，例如，若第一待传输特征的维度为50×50，第二特征的维度为1×50，则可以依据第一待传输特征的维度，将第二特征的维度纵向复制扩展50次，得到一个50×50的调整后的第二特征维度。再将维度调后具有相同特征维度的第一待传输特征和第二特征进行拼接处理，如将第二特征拼接在第一待传输特征的后面，得到一组拼接特征，进而将该第一拼接特征传输至该第一待传输特征关联的解码层。本申请实施例这样设置的好处是：避免了直接对不同维度的特征进行拼接，可能会出现拼接特征无法被解码网络识别的情况，保证了解码网络后续能够正常对拼接特征进行解码，提高了解码结果的准确性。
图2A是根据本申请实施例提供的另一种数据处理方法的流程图；图2B是根据本申请实施例提供的执行数据处理方法的另一种网络架构示意图。本实施例在上述实施例的基础上，增加了编码第二特征的第二编码网络，并基于此对第一特征和第二特征的融合解码过程进行了进一步的优化。如图2A-2B所示，该方法包括：
S201，采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到至少两个第一编码层输出的第一特征。
S202，采用第二编码网络对第二数据进行编码，得到第二特征。
其中，本申请实施例的第二数据为提取第二特征所需的数据，其可以是图像数据、语音数据和文本数据等。其与第一数据的类型可以相同也可以不同，对此不进行限定。
可选的，如图2B所示，执行本实施例的数据处理方法所依据的网络模型1在图1B的基础上，增加了第二编码网络12，该第二编码网络12与第一编码网络10类似，包括多个首尾连接的第二编码层，即第二编码层1至第二编码层3。本申请实施例采用第二编码网络12执行本步骤的过程可以是：将第二数据输入到第二编码网络12的第二编码层1，第二编码层1基于第二数据执行本层的编码处理，得到本层输出的第二特征1，并将第二特征1传输至第二编码层2，第二编码层2基于第二特征1执行本层的编码处理，得到本层输出的第二特征2，并将第二特征2传输至第二编码层3，第二编码层3基于第二特征2执行本层的编码处理，得到本层输出的第二特征3。即执行本步骤的操作后，会得到各第二编码层输出的第二特征，即第二特征1至第二特征3。
S203，基于第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及至少两个第一待传输特征在解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至第一待传输特征关联的解码层。
其中，所述连接关系包括直接连接关系和跳跃连接关系。
可选的，由于S202的操作得到的第二特征包括第二编码网络中的每个第二编码层输出的第二特征，如图2B中的第二特征1至第二特征3。所以本步骤在执行将第二特征和每个第一待传输特征作为一组拼接特征传输至第一待传输特征关联的解码层的操作时可以是选择第二解码网络尾部的第二解码层(如图2B中的第二解码层3)输出的第二特征(如图2B中的第二特征3)与每个第一待传输特征进行拼接，得到一组拼接特征传输至该第一待传输特征关联的解码层。还可以是基于第二编码网络的第二编码层和第一编码网络的第一编码层之间的关联关系，从第二编码网络的至少两个第二编码层输出的第二特征中确定第二待传输特征，以及第二待传输特征对应的第一待传输特征；并将该第二待传输特征和该第二待传输特征对应的第一待传输特征作为一组拼接特征传输至该第一待传输特征关联的解码层。
具体的，本申请实施例中，第一编码层和第二编码层之间的关联关系可以是研发人员在构建网络模型时基于各个第一编码层的输出结果和各个第二编码层的输出结果拼接后对特征解码结果的影响程度，通过大量理论和实验验证后设置的。如图2B所示的网络模型中，第一编码层1和第二编码层1具有关联关系，第一编码层2和第二编码层2具有关联关系，第一编码层3和第二编码层3具有关联关系。本实施例可以将与第一编码网络中的各第一编码层具有关联关系的第二编码层输出的第二特征作为第二待传输特征，并将该第二编码网络关联的第一编码网络输出的第一特征作为该第二待传输特征对应的第一待传输特征，也就是说，本实施例是将具有关联关系的第一编码层和第二编码层输出的第一特征和第二特征作为一组对应的第一待传输特征和第二待传输特征，并将具有对应关系的第一待传输特征和第二待传输特征作为一组拼接特征传输至该第一待传输特征关联的解码层。示例性的，如图2B所示，第一编码层1和第二编码层1具有关联关系，可以将第二编码层1输出的第二特征1作为第二待传输特征1，且该第二待传输特征1对应第一待传输特征1(即第一编码层1输出的第一特征1)，进而将第二待传输特征1和第一待传输特征1作为一组拼接特征传输至第一编码层1跳跃连接的解码层3，第一编码层2和第二编码层2具有关联关系，可以将第二编码层2输出的第二特征2作为第二待传输特征2，且该第二待传输特征2对应第一待传输特征2(即第一编码层2输出的第一特征2)，进而将第二待传输特征2和第一待传输特征2作为一组拼接特征传输至第一编码层2跳跃连接的解码层2；第一编码层3和第二编码层3具有关联关系，可以将第二编码层3输出的第二特征3作为第二待传输特征3，且该第二待传输特征3对应第一待传输特征3(即第一编码层3输出的第一特征3)，进而将第二待传输特征3和第一待传输特征3作为一组拼接特征传输至第一编码层3直接连接的解码层1。
S204，采用解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。
本申请实施例的技术方案，采用第二编码网络来对第二数据进行编码得到第二特征，提高了第二特征提取的准确性，另外，当第二编码网络包括多个第二编码层时，由于每个第二编码层都会输出一个第二特征，此时本实施例可以是选择第二编码网络尾部的第二编码层输出的第二特征，与每个第一待传输特征作为一组拼接特征传输至第一待传输特征关联的解码层，也可以是基于各个第二编码层和各个第一编码层之间的关联关系，选择具有关联关系的第二编码层和第一编码层输出的第二特征和第一特征作为一组对应的第二待传输特征和第一待传输特征，并将两者作为一组拼接特征传输至关联的解码层，本实例可以根据实际情况进行选择。以提高最终得到的解码结果的准确性。
可选的，在本申请实施例中，若提取第二特征的第二数据包含时序信息，例如，一段时间内的音频片段，则为了更准确的编码出第二数据的第二特征，本实施例的第二编码网络可以设计为时序网络结构，该时序网络结构可以包括但不限于长短期记忆人工神经网络(Long Short-Term Memory，LSTM)、循环神经网络(Recurrent Neural Network,RNN)或transformer网络等。当第二编码网络为时序网络结构时，执行S202得到的第二特征包括至少为至少两个时刻的第二特征。本申请实施例可以是针对每一时刻的第二特征，都执行上述S203-S204的操作，得到每一时刻对应的最终解码结果，将各时刻的最终解码结果按照时序顺序进行组合，得到解码融合后的最终解码结果。本申请实施例这样设置的好处是：在不同特征融合解码的过程中，更好的表征出第二特征的时序特性，提高了融合解码结果的精准性。
可选的，本申请实施例的数据处理方法可用于通过语音片段驱动静态的人物图像，生成人物图像中的人物表述该语音片段时的人物视频的场景。具体的，在应用于该视频生成场景时，上述实施例介绍的第一数据为人物图像；第一特征为该人物图像的人物特征；第二特征为对语音片段编码得到的语音动作关联特征；最终解码结果为语音片段驱动人物图像得到的人物视频。其中，人物图像可以是待驱动的人物图像，例如，可以是人脸图像。人物特征可以是采用本申请实施例的第一编码网络从人物图像中提取出的人物特征，例如，排序靠前的第一编码层提取的人物特征可能是点、角和边等几何特征；排序靠后的第一编码层提取的人物特征可能是人物的五官和肢体的关键点特征、肤色特征、姿态特征等语义特征。语音片段可以是驱动人物图像的音频数据，本申请实施例中驱动人物图像的语音片段的个数为至少一个。对语音片段编码得到的语音动作关联特征可以是从语音片段中提取出来的语音与人物动作形态之间的关联关系。例如，人在表达语音片段的过程中，变化最大的是唇部形态，因此，可以将语音与人脸唇部形态之间的关联关系作为语音动作关联特征，若在表达语音片段的过程中还加入了肢体形态的变化，则还可以将语音与肢体形态之间的关联关系作为语音动作关联特征。
具体的，如图3A-3B所示，在该场景下执行本申请实施例的数据处理方法的过程包括：
S301，采用包含至少两个第一编码层的第一编码网络对人物图像进行编码，得到至少两个第一编码层输出的人物特征。
示例性的，如图3B所示，将人物图像输入到第一编码网络10中，第一编码网络10中的各第一编码层都会基于本层接收的数据(即首部的第一编码层1接收的是人物图像，后续的第一编码层2和第一编码层3接收的是其上一第一编码层输出的人物特征)执行编码处理，得到本层输出的人物特征，即人物特征1至人物特征3。
S302，采用第二编码网络对语音片段进行编码，得到语音动作关联特征。
示例性的，如图3B所示，将语音片段输入到第二编码网络12中，第二编码网络12中的各第二编码层都会基于本层接收的数据(即首部的第二编码层1接收的是语音片段，后续的第二编码层2和第二编码层3接收的是其上一第二编码层输出的语音动作关联特征)执行编码处理，得到本层输出的语音动作关联特征，即语音动作关联特征1至语音动作关联特征3。
可选的，在本申请实施例中，采用第二编码网络对语音片段进行编码之前，为了降低不同频率的语音片段对图像驱动效果的影响，可以先对语音片段先进行频率的转换，具体的，可以是按照训练该第二编码网络时使用的样本语音片段的频率，将此时待提取特征的语音片段的频率转为同样的频率。
S303，基于第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从至少两个第一编码层输出的人物特征中确定至少两个第一待传输特征，以及至少两个第一待传输特征在解码网络中关联的解码层，并将语音动作关联特征和每个第一待传输特征作为一组拼接特征传输至第一待传输特征关联的解码层。
可选的，S302得到的语音动作关联特征是第二编码网络中的每个第二编码层输出的语音动作关联特征，相应的，在执行本步骤的操作时，可以是将第二编码网络尾部的第二编码层输出的语音动作关联特征和每个第一待传输特征作为一组拼接特征传输至第一待传输特征关联的解码层。还可以是基于第一编码网络的第一编码层和第二编码网络的第二编码层之间的关联关系，从第二编码网络的至少两个第二编码层输出的语音动作关联特征中确定第二待传输特征，以及第二待传输特征对应的第一待传输特征；将第二待传输特征及其对应的第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层。
S304，采用解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到语音片段驱动人物图像得到的人物视频。
示例性的，如图3B所示，解码网络11中的解码层1基于接收的拼接特征1进行解码处理，得到人物图像序列1，并将该人物图像序列1传输至解码层2；解码层2基于接收的拼接特征2和解码层1传输的人物图像序列1进行解码处理，得到人物图像序列2，并将该人物图像序列2传输至解码层3；解码层3基于接收的拼接特征3和解码层2传输的人物图像序列2进行解码处理，得到人物图像序列3，将解码层3输出的人物图像序列3按照时序顺序进行组合，得到语音片段驱动人物图像得到的人物视频。需要说明的是，每个解码层输出的人物图像序列均为目标语音片段驱动目标人物图像得到的人物图像序列，只是不同解码层输出的人物图像序列的效果不同，排序靠后的解码层输出的人物图像序列的效果优于排序靠前的解码层，且语音片段时长越长，生成的该人物图像序列中包含的人物图像帧的数量越多。
本申请实施例，在通过语音片段驱动静态的人物图像，生成图像人物表述该语音片段的人物视频的场景下，使用本申请提出的数据处理方法，对语音片段编码的语音动作关联特征和人物图像编码的人物特征进行融合解码，在解码网络与第一编码网络之间加入了大量的跳跃连接，并通过跳跃连接和直接连接向解码网络传输拼接融合后的特征，可以加强语音动作关联特征和人物特征在解码器不同层级的表达，在增强人物视频中人物区域图像质量的同时，还增强了人物视频中语音动作关联特征对人物姿态驱动的准确性，提升语音和人物姿态(如唇形和肢体)生成的关联性和同步性。
图4是根据本申请实施例提供的一种数据处理装置的结构示意图，本实施例适用于对不同特征进行融合解码处理的情况。该装置可实现本申请任意实施例所述的数据处理方法。该装置400具体包括如下：
第一特征确定模块401，用于采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到所述至少两个第一编码层输出的第一特征；
特征传输模块402，用于基于所述第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从所述至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及所述至少两个第一待传输特征在所述解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层；其中，所述连接关系包括直接连接关系和跳跃连接关系；
特征解码模块403，用于解码采用所述解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。
本申请实施例的方案，通过第一编码网络对第一数据进行编码，得到第一编码网络中的各个第一编码层输出的第一特征，根据第一编码网络的第一编码层和解码网络中的解码层之间的连接关系，从各个第一特征确定出需要传输的第一待传输特征及其关联的编码层，并将各第一待传输特征与第二特征拼接后传输至关联的编码层。采用解码网络中的各个解码层对接收到的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。本申请实施例的方案，在采用解码网络对第二特征和第一编码网络编码的第一特征进行融合解码时，不但在编码层和解码层直接连接时向解码网络中的解码层传输拼接融合后的特征，还在编码层和解码层跳跃连接时向解码网络中的解码层传输拼接融合后的特征，从而加强了待融合的每种特征在解码网络不同解码层级的表达，以增强每种特征对解码网络解码结果的影响，使得解码结果更好的表达出每种特征，为不同特征融合解码提供了一种新思路
进一步的，所述特征传输模块402包括连接关系分析单元，所述连接关系分析单元具体用于：
基于所述第一编码网络的第一编码层和解码网络的解码层之间的直接连接关系，将所述第一编码网络尾部的第一编码层输出的第一特征作为一种第一待传输特征，以及将所述解码网络首部的解码层作为该种第一待传输特征在所述解码网络中关联的解码层；
基于所述第一编码网络的第一编码层和解码网络的解码层之间的跳跃连接关系，将具有跳跃连接关系的第一编码层输出的第一特征作为另一种第一待传输特征，以及将与所述第一编码层跳跃连接的解码层作为该种第一待传输特征在所述解码网络中关联的解码层。
进一步的，所述特征传输模块402还包括特征传输单元，所述特征传输单元具体用于：
针对每个第一待传输特征，将所述第一待传输特征和第二特征调整为相同特征维度后进行拼接处理，得到一组拼接特征，并将所述拼接特征传输至所述第一待传输特征关联的解码层。
进一步的，所述数据处理的装置400，还包括：
第二特征确定模块，用于采用第二编码网络对第二数据进行编码，得到第二特征。
进一步的，若所述第二编码网络包括至少两个第二编码层，则所述特征传输模块402的连接关系分析单元还用于：
基于所述第二编码网络的第二编码层和第一编码网络的第一编码层之间的关联关系，从所述第二编码网络的至少两个第二编码层输出的第二特征中确定第二待传输特征，以及所述第二待传输特征对应的第一待传输特征；
所述特征传输模块的特征传输单元具体用于：将所述第二待传输特征和所述第二待传输特征对应的第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层。
进一步的，若所述第二编码网络为时序网络结构，则所述第二特征为至少两个时刻的第二特征。
进一步的，所述第一编码网络尾部的第一编码层和所述解码网络首部的解码层之间具有直接连接关系；
所述第一编码网络和所述解码网络中，满足第一编码层输出与解码层输入维度相同的第一编码层和解码层具有跳跃连接关系。
进一步的，所述第一数据为人物图像；所述第一特征为所述人物图像的人物特征；所述第二特征为对语音片段编码得到的语音动作关联特征；所述最终解码结果为所述语音片段驱动所述人物图像得到的人物视频。
上述产品可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本申请的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (19)

1.一种数据处理方法，包括：
采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到所述至少两个第一编码层输出的第一特征；
基于所述第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从所述至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及所述至少两个第一待传输特征在所述解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层；其中，所述连接关系包括直接连接关系和跳跃连接关系；
采用所述解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。
2.根据权利要求1所述的方法，其中，基于所述第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从所述至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及所述至少两个第一待传输特征在所述解码网络中关联的解码层，包括：
基于所述第一编码网络的第一编码层和解码网络的解码层之间的直接连接关系，将所述第一编码网络尾部的第一编码层输出的第一特征作为一种第一待传输特征，以及将所述解码网络首部的解码层作为该种第一待传输特征在所述解码网络中关联的解码层；
基于所述第一编码网络的第一编码层和解码网络的解码层之间的跳跃连接关系，将具有跳跃连接关系的第一编码层输出的第一特征作为另一种第一待传输特征，以及将与所述第一编码层跳跃连接的解码层作为该种第一待传输特征在所述解码网络中关联的解码层。
3.根据权利要求1所述的方法，其中，将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层，包括：
针对每个第一待传输特征，将所述第一待传输特征和第二特征调整为相同特征维度后进行拼接处理，得到一组拼接特征，并将所述拼接特征传输至所述第一待传输特征关联的解码层。
4.根据权利要求1所述的方法，还包括：
采用第二编码网络对第二数据进行编码，得到第二特征。
5.根据权利要求4所述的方法，其中，若所述第二编码网络包括至少两个第二编码层，则将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层，包括：
基于所述第二编码网络的第二编码层和第一编码网络的第一编码层之间的关联关系，从所述第二编码网络的至少两个第二编码层输出的第二特征中确定第二待传输特征，以及所述第二待传输特征对应的第一待传输特征；
将所述第二待传输特征和所述第二待传输特征对应的第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层。
6.根据权利要求4所述的方法，若所述第二编码网络为时序网络结构，则所述第二特征为至少两个时刻的第二特征。
7.根据权利要求1-6中任一项所述的方法，其中，所述第一编码网络尾部的第一编码层和所述解码网络首部的解码层之间具有直接连接关系；
所述第一编码网络和所述解码网络中，满足第一编码层输出与解码层输入维度相同的第一编码层和解码层具有跳跃连接关系。
8.根据权利要求1-6中任一项所述的方法，其中，所述第一数据为人物图像；所述第一特征为所述人物图像的人物特征；所述第二特征为对语音片段编码得到的语音动作关联特征；所述最终解码结果为所述语音片段驱动所述人物图像得到的人物视频。
9.一种数据处理装置，包括：
第一特征确定模块，用于采用包含至少两个第一编码层的第一编码网络对第一数据进行编码，得到所述至少两个第一编码层输出的第一特征；
特征传输模块，用于基于所述第一编码网络的第一编码层和解码网络的解码层之间的连接关系，从所述至少两个第一编码层输出的第一特征中确定至少两个第一待传输特征，以及所述至少两个第一待传输特征在所述解码网络中关联的解码层，并将第二特征和每个第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层；其中，所述连接关系包括直接连接关系和跳跃连接关系；
特征解码模块，用于解码采用所述解码网络的解码层对接收的拼接特征和/或上一解码结果进行解码处理，得到最终解码结果。
10.根据权利要求9所述的装置，其中，所述特征传输模块包括连接关系分析单元，所述连接关系分析单元具体用于：
基于所述第一编码网络的第一编码层和解码网络的解码层之间的直接连接关系，将所述第一编码网络尾部的第一编码层输出的第一特征作为一种第一待传输特征，以及将所述解码网络首部的解码层作为该种第一待传输特征在所述解码网络中关联的解码层；
基于所述第一编码网络的第一编码层和解码网络的解码层之间的跳跃连接关系，将具有跳跃连接关系的第一编码层输出的第一特征作为另一种第一待传输特征，以及将与所述第一编码层跳跃连接的解码层作为该种第一待传输特征在所述解码网络中关联的解码层。
11.根据权利要求9所述的装置，其中，所述特征传输模块还包括特征传输单元，所述特征传输单元具体用于：
针对每个第一待传输特征，将所述第一待传输特征和第二特征调整为相同特征维度后进行拼接处理，得到一组拼接特征，并将所述拼接特征传输至所述第一待传输特征关联的解码层。
12.根据权利要求9所述的装置，还包括：
第二特征确定模块，用于采用第二编码网络对第二数据进行编码，得到第二特征。
13.根据权利要求12所述的装置，其中，若所述第二编码网络包括至少两个第二编码层，则所述特征传输模块的连接关系分析单元还用于：
基于所述第二编码网络的第二编码层和第一编码网络的第一编码层之间的关联关系，从所述第二编码网络的至少两个第二编码层输出的第二特征中确定第二待传输特征，以及所述第二待传输特征对应的第一待传输特征；
所述特征传输模块的特征传输单元具体用于：将所述第二待传输特征和所述第二待传输特征对应的第一待传输特征作为一组拼接特征传输至所述第一待传输特征关联的解码层。
14.根据权利要求12所述的装置，其中，若所述第二编码网络为时序网络结构，则所述第二特征为至少两个时刻的第二特征。
15.根据权利要求9-14中任一项所述的装置，其中，所述第一编码网络尾部的第一编码层和所述解码网络首部的解码层之间具有直接连接关系；
所述第一编码网络和所述解码网络中，满足第一编码层输出与解码层输入维度相同的第一编码层和解码层具有跳跃连接关系。
16.根据权利要求9-14中任一项所述的装置，其中，所述第一数据为人物图像；所述第一特征为所述人物图像的人物特征；所述第二特征为对语音片段编码得到的语音动作关联特征；所述最终解码结果为所述语音片段驱动所述人物图像得到的人物视频。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的数据处理方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的数据处理方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的数据处理方法。
CN202110164420.3A 2021-02-05 2021-02-05 一种数据处理方法、装置、设备以及存储介质 Pending CN112862909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110164420.3A CN112862909A (zh) 2021-02-05 2021-02-05 一种数据处理方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110164420.3A CN112862909A (zh) 2021-02-05 2021-02-05 一种数据处理方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN112862909A true CN112862909A (zh) 2021-05-28

Family

ID=75988661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110164420.3A Pending CN112862909A (zh) 2021-02-05 2021-02-05 一种数据处理方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112862909A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111382555A (zh) * 2020-03-19 2020-07-07 网易（杭州）网络有限公司 数据处理方法、介质、装置和计算设备
CN111429893A (zh) * 2020-03-12 2020-07-17 南京邮电大学 基于Transitive STARGAN的多对多说话人转换方法
WO2020173329A1 (zh) * 2019-02-26 2020-09-03 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN111754439A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN111768466A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN112101252A (zh) * 2020-09-18 2020-12-18 广州云从洪荒智能科技有限公司 一种基于深度学习的图像处理方法、系统、设备及介质
CN112183507A (zh) * 2020-11-30 2021-01-05 北京沃东天骏信息技术有限公司 图像分割方法、装置、设备、存储介质
US20210019562A1 (en) * 2019-07-18 2021-01-21 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus and storage medium
US20210019560A1 (en) * 2019-07-18 2021-01-21 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and storage medium

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173329A1 (zh) * 2019-02-26 2020-09-03 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
US20210019562A1 (en) * 2019-07-18 2021-01-21 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus and storage medium
US20210019560A1 (en) * 2019-07-18 2021-01-21 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and storage medium
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111429893A (zh) * 2020-03-12 2020-07-17 南京邮电大学 基于Transitive STARGAN的多对多说话人转换方法
CN111382555A (zh) * 2020-03-19 2020-07-07 网易（杭州）网络有限公司 数据处理方法、介质、装置和计算设备
CN111754439A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN111768466A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN112101252A (zh) * 2020-09-18 2020-12-18 广州云从洪荒智能科技有限公司 一种基于深度学习的图像处理方法、系统、设备及介质
CN112183507A (zh) * 2020-11-30 2021-01-05 北京沃东天骏信息技术有限公司 图像分割方法、装置、设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
时文华;张雄伟;邹霞;孙蒙;: "利用深度全卷积编解码网络的单通道语音增强", 信号处理, no. 04, 25 April 2019 (2019-04-25) *
李想;孙韶媛;刘训华;顾立鹏;: "基于ConvLSTM双通道编码网络的夜间无人车场景预测", 红外技术, no. 08, 20 August 2020 (2020-08-20) *

Similar Documents

Publication Publication Date Title
CN112466288B (zh) 语音识别方法、装置、电子设备及存储介质
CN113590858B (zh) 目标对象的生成方法、装置、电子设备以及存储介质
US11836837B2 (en) Video generation method, device and storage medium
EP4148727A1 (en) Speech recognition and codec method and apparatus, electronic device and storage medium
CN113901909B (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN115376211B (zh) 唇形驱动方法、唇形驱动模型的训练方法、装置及设备
CN114715145B (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN113691864A (zh) 视频剪辑方法、装置、电子设备和可读存储介质
US20230245429A1 (en) Method and apparatus for training lane line detection model, electronic device and storage medium
CN113344214B (zh) 数据处理模型的训练方法、装置、电子设备及存储介质
CN114549904A (zh) 视觉处理及模型训练方法、设备、存储介质及程序产品
CN113961289A (zh) 一种数据处理方法、装置、设备以及存储介质
CN113641829A (zh) 图神经网络的训练与知识图谱的补全方法、装置
CN116866661A (zh) 一种视频预渲染方法、装置、设备及存储介质
CN112862909A (zh) 一种数据处理方法、装置、设备以及存储介质
CN113033179B (zh) 知识获取方法、装置、电子设备及可读存储介质
CN113361574A (zh) 数据处理模型的训练方法、装置、电子设备及存储介质
US20220188163A1 (en) Method for processing data, electronic device and storage medium
CN113283305B (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113345472B (zh) 语音端点检测方法、装置、电子设备及存储介质
CN113438428B (zh) 用于视频自动化生成的方法、装置、设备和计算机可读存储介质
CN115830640B (zh) 一种人体姿态识别和模型训练方法、装置、设备和介质
CN116012748A (zh) 视频处理方法、装置、设备、存储介质和程序产品
CN117274430A (zh) 目标图片获取以及模型获取方法、装置、设备及存储介质
CN116860130A (zh) 数据可视化方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination