CN115357710A - 表格描述文本生成模型的训练方法、装置及电子设备 - Google Patents

表格描述文本生成模型的训练方法、装置及电子设备 Download PDF

Info

Publication number
CN115357710A
CN115357710A CN202210995630.1A CN202210995630A CN115357710A CN 115357710 A CN115357710 A CN 115357710A CN 202210995630 A CN202210995630 A CN 202210995630A CN 115357710 A CN115357710 A CN 115357710A
Authority
CN
China
Prior art keywords
public
private
encoder
table data
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210995630.1A
Other languages
English (en)
Other versions
CN115357710B (zh
Inventor
周景博
杜明轩
肖逸雄
窦德景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210995630.1A priority Critical patent/CN115357710B/zh
Publication of CN115357710A publication Critical patent/CN115357710A/zh
Application granted granted Critical
Publication of CN115357710B publication Critical patent/CN115357710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了表格描述文本生成模型的训练方法、装置及电子设备，涉及计算机技术领域，尤其涉深度学习、自然语言处理等人工智能领域。具体为：获取源域的第一表格数据及第一表格数据对应的第一标注文本；将第一表格数据输入源域对应的私有编码器进行编码，得到第一表格数据对应的第一私有特征；将第一表格数据输入初始生成模型中的初始公共编码器进行编码，得到第一表格数据对应的第一公共特征；根据第一私有特征、第一公共特征及第一标注文本，对初始公共编码器和初始生成模型中的初始公共解码器进行训练，得到第一公共编码器和第一公共解码器。该方法通过利用源域的私有特征和公共特征训练得到公共编码器和公共解码器，提高了模型的准确性。

Description

表格描述文本生成模型的训练方法、装置及电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及深度学习、自然语言处理等人工智能领域，具体涉及一种表格描述文本生成模型的训练方法、装置及电子设备。
背景技术
为了帮助读者更好的理解表格中的内容，可利用模型生成表格描述。但是，在实际应用中，大量的有标签数据比较难获得，训练样本的数量不足，可能会导致模型的性能降低，从而无法满足实际的需要。
发明内容
本申请提供了一种表格描述文本生成模型的训练方法、装置及电子设备。具体方案如下：
根据本申请的一方面，提供了一种表格描述文本生成模型的训练方法,包括：
获取源域的第一表格数据及所述第一表格数据对应的第一标注文本；
将所述第一表格数据输入初始生成模型中所述源域对应的私有编码器进行编码，得到所述第一表格数据对应的第一私有特征；
将所述第一表格数据输入所述初始生成模型中的初始公共编码器进行编码，得到所述第一表格数据对应的第一公共特征；
根据所述第一私有特征、所述第一公共特征及所述第一标注文本，对所述初始公共编码器和所述初始生成模型中的初始公共解码器进行训练，得到所述第一公共编码器和所述第一公共解码器。
根据本申请的另一方面，提供了一种表格描述文本的生成方法，包括：
获取目标域的待处理表格数据；
将所述待处理表格数据输入到所述目标域对应的私有编码器，得到所述待处理表格数据对应的私有特征；
将待处理表格数据输入到目标域对应的公共编码器进行编码，得到待处理表格数据对应的公共特征；
利用目标域对应的公共解码器，对私有特征和公共特征进行解码，得到待处理表格数据对应的描述文本。
根据本申请的另一方面，提供了一种表格描述文本生成模型的训练装置，包括：
第一获取模块，用于获取源域的第一表格数据及第一表格数据对应的第一标注文本；
第一编码模块，用于将第一表格数据输入初始生成模型中源域对应的私有编码器进行编码，得到第一表格数据对应的第一私有特征；
第二编码模块，用于将第一表格数据输入初始生成模型中的初始公共编码器进行编码，得到第一表格数据对应的第一公共特征；
第一训练模块，用于根据第一私有特征、第一公共特征及第一标注文本，对初始公共编码器和初始生成模型中的初始公共解码器进行训练，得到第一公共编码器和第一公共解码器。
根据本申请的另一方面，提供了一种表格描述文本的生成装置，包括：
获取模块，用于获取目标域的待处理表格数据；
第一编码模块，用于将待处理表格数据输入到目标域对应的私有编码器，得到待处理表格数据对应的私有特征；
第二编码模块，用于将待处理表格数据输入到目标域对应的公共编码器进行编码，得到待处理表格数据对应的公共特征；
解码模块，用于利用目标域对应的公共解码器，对私有特征和公共特征进行解码，得到待处理表格数据对应的描述文本。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请一实施例提供的表格描述文本生成模型的训练方法的流程示意图；
图2为本申请实施例提供的一种私有编码器的编码方法的示意图；
图3为本申请另一实施例提供的表格描述文本生成模型的训练方法的流程示意图；
图4本申请另一实施例提供的表格描述文本生成模型的训练方法的流程示意图；
图5本申请另一实施例提供的表格描述文本生成模型的训练方法的流程示意图；
图6本申请另一实施例提供的表格描述文本生成模型的训练方法的流程示意图；
图7本申请一实施例提供的表格描述文本的生成方法的流程示意图；
图8为本申请一实施例提供的表格描述文本生成模型的训练装置的结构示意图；
图9为本申请一实施例提供的表格描述文本的生成装置的结构示意图；
图10是用来实现本申请实施例的表格描述文本生成模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的表格描述文本生成模型的训练方法、装置、电子设备和存储介质。
人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。
深度学习是机器学习领域中一个新的研究方向。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
NLP(Natural Language Processing，自然语言处理)是计算机科学领域与人工智能领域中的一个重要方向，NLP研究的内容包括但不限于如下分支领域：文本分类、信息抽取、自动摘要、智能问答、话题推荐、机器翻译、主题词识别、知识库构建、深度文本表示、命名实体识别、文本生成、文本分析(词法、句法、语法等)、语音识别与合成等。
图1为本申请一实施例提供的表格描述文本生成模型的训练方法的流程示意图。
本申请实施例的表格描述文本生成模型的训练方法，可以由本申请实施例的表格描述文本生成模型的训练装置执行，该装置可以配置于电子设备中，通过解耦源域表格数据的私有特征和公共特征，利用源域的私有特征和公共特征训练得到生成模型的公共编码器和公共解码器，解决了训练样本不足的问题，提高了模型的准确性，也即提高了生成的表格描述文本的准确性。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该表格描述文本生成模型的训练方法，包括：
步骤101，获取源域的第一表格数据及第一表格数据对应的第一标注文本。
其中，源域可以是指领域，或者是集合，集合中包括表格数据。
本申请中，可以利用多个源域的表格数据训练表格摘要文本的生成模型。其中，生成模型可以包括源域的私有编码器和私有解码器，一个公共编码器器和一个公共解码器，若有多个源域参与训练生成模型，那么生成模型中包括每个源域对应的私有编码器和私有解码器。
由于涉及到多个源域，所以存在数据格式不统一的问题，为了解决这个问题，本申请中，可以对表格进行预处理，将表格统一转化图结构形式，因此，第一表格数据可以是图结构形式的数据。其中，图结构中可以包含实体及实体与实体之间的关系，若将实体及实体与实体之间的关系看作三元组，那么第一表格数据中可以包含一个或多个三元组。
比如，某表格中有姓名a的数学成绩为90分，那么该表格的图结构中包含a和90分，以及a与90分之间的实体关系是数学成绩，也即包含三元组[a，数学成绩，90分]。
本申请中，第一表格数据对应的第一标注文本可以理解为第一表格数据的标准描述文本。
步骤102，将第一表格数据输入初始生成模型中源域对应的私有编码器进行编码，得到第一表格数据对应的第一私有特征。
本申请中，初始生成模型中源域对应的私有编码器可以基于源域的表格数据预训练得到的。
本申请中，可以将源域的第一表格数据输入到源域对应的私有编码器中进行编码，得到第一表格数据对应的第一私有特征。由此，可以通过预训练得到的源域的私有编码器提取源域表格数据的私有特征，从而将源域表格数据的私有特征与公共特征解耦。
比如，有两个源域分别为A和B，可以将源域A的表格数据输入到源域A的私有编码器中进行编码，得到源域A的表格数据的私有特征，可以将源域B的表格数据输入到源域B的私有编码器中进行编码，得到源域B的表格数据的私有特征。
本申请中，源域对应的私有编码器可以是图注意力网络，可以使用图注意力网络对第一表格数据进行编码，得到第一表格数据的第一私有特征。
本申请中，第一表格数据可以包含一个或多个三元组，三元组中每部分可以看作是一个节点，对于三元组中的每个节点可以采用平均词素的方式进行初始化。比如，某节点“Family Friendly”的向量表示可以通过(E[Family]+E[Friendly])/2进行单词表示的初始化，其中E表示词素的向量表示。
之后，对于三元组中的每个节点，可以根据三元组中其他两个节点的特征表示，通过注意力机制的方式来更新每个节点的特征，并通过注意力机制的方式将更新后的是三个节点的特征表示进行整合，得到三元组的特征表示，并且将三元组的特征表示作为伪节点[TRIPLE]的特征表示，再通过注意力机制整合所有伪节点[TRIPLE]的特征表示，并且将该特征表示传递给了另一个伪结点[ENT]并将该节点的特征表示，作为该表格数据的特征表示，也即该表格数据的私有特征。
也就是说，源域的私有编码器在对第一表格数据进行编码时，对于第一表格数据中的每个三元组，可以通过注意力机制利用三元组中每个节点的邻接节点的特征表示，更新每个节点的特征表示，并通过注意力机制整合三元组中更新后的三个节点的特征表示，得到每个三元组的特征表示，之后通过注意力机制整合所有三元组的特征表示，得到第一表格数据的第一私有特征。
本申请中，可以使用多头注意力网络去完成整个图结构的编码，数学表达式如下公式所示：
Figure BDA0003804859860000031
Figure BDA0003804859860000032
Figure BDA0003804859860000033
其中，
Figure BDA0003804859860000034
表示每个邻接节点与a节点之间的相关性，Na表示a节点的所有邻接节点；m表示注意力机制中的m头，
Figure BDA0003804859860000035
分别表示询问矩阵、主键矩阵和值矩阵；gb表示邻接节点b的初始化特征表示；v表示a节点的所有邻接节点的头部表示之和的串联，可以与a节点的初始化特征表示ga进行组合，这里的组合是指两个矩阵相同位置的元素相加；组合后的v+ga被输入到多层感知机和正则化层中去更新a节点的特征表示，也即LayerMorm(MLP(v+ga))；
Figure BDA0003804859860000041
表示更新后的a节点的特征。
为了便于理解，下面结合图2进行说明，图2为本申请实施例提供的一种私有编码器的编码方法的示意图。
图2中左侧为某表格的图结构形式，该图结构中有两个三元组分别为[a，数学成绩，90分]和[a，语文成绩，95分]，私有编码器对该图结构的编码方式，如图2中右侧所示。
如图2所示，对于节点“a”、“数学成绩”和“90分”中的每个节点结合邻接节点，通过注意力机制，对每个节点的特征表示进行更新，比如，节点“90分”可以结合邻接节点“数学成绩”和“90分”，通过注意力机制的方式更新“90分”的特征表示，并通过注意力机制，将更新后的“a”、“数学成绩”和“90分”的特征表示进行整合，得到三元[a，数学成绩，90分]的特征表示，并将三元组[a，数学成绩，90分]的特征表示传递给对应的伪节点[TRIPLE]，利用该方法也可以得到三元组[a，语文成绩，95分]的特征表示，也将该特征表示传递给对应的伪节点[TRIPLE]，之后通过注意力机制的方式对两个伪节点的特征表示进行整合，将整合后的特征表示传递给伪节点[ENT]并将该节点的特征表示，作为该表格的特征表示，也即得到该表格的第一私有特征。
步骤103，将第一表格数据输入初始生成模型中的初始公共编码器进行编码，得到第一表格数据对应的第一公共特征。
本申请中，将源域的第一表格数据分别输入到初始公共解码器和源域对应的私有编码器中进行编码，得到第一表格数据的第一公共特征和第一私有特征，从而实现源域表格数据的公共特征和私有特征的解耦。
步骤104，根据第一私有特征、第一公共特征及第一标注文本，对初始公共编码器和初始生成模型中的初始公共解码器进行训练，得到第一公共编码器和第一公共解码器。
本申请中，可以将第一私有特征和第一公共特征进行组合并输入到初始公共解码器中进行解码，得到第一描述文本，可以根据第一描述文本与第一标注文本之间的差异，计算损失值，根据损失值对初始公共编码器和初始公共解码器进行训练，得到第一公共编码器和第一公共解码器。
或者，也可以基于第一私有特征和第一公共特征，对初始公共编码器进行训练，得到第一公共编码器，并基于第一描述文本与第一标注文本之间的差异对初始公共解码器进行训练，得到第一公共解码器。
在对初始公共编码器和初始公共解码器进行训练时，可以通过深度学习的方式进行训练，相比于其他机器学习方法，深度学习在大数据集上的表现更好。
本申请实施例中，通过将源域的第一表格数据分别输入到源域的私有编码器和初始生成模型的公共编码器，得到第一表格数据的第一私有特征和第一公共特征，并基于第一私有特征、第一公共特征和第一表格数据的第一标注文本对初始公共编码器和初始公共解码器进行训练，得到第一公共编码器和第一公共解码器，从而通过解耦源域表格数据的私有特征和公共特征，利用源域的私有特征和公共特征训练得到生成模型的公共编码器和公共解码器，解决了训练样本不足的问题，提高了模型的准确性，也即提高了生成的表格描述文本的准确性。
图3为本申请另一实施例提供的表格描述文本生成模型的训练方法的流程示意图。
如图3所示，对初始生成模型中的初始公共编码器和初始公共解码器进行训练之前，该表格描述文本生成模型的训练方法，还包括：
步骤301，将第一表格数据输入源域对应的初始私有编码器进行编码处理，得到第一表格数据对应的中间特征。
本申请中，针对每个源域，可以将源域的第一表格数据输入源域对应的初始私有编码器中进行编码，得到第一表格数据对应的中间特征。
其中，初始私有编码器的编码方法与上述实施例中的私有编码器的编码方法类似，故在此不再赘述。
步骤302，将中间特征输入源域对应的初始私有解码器进行处理，得到第一表格数据对应的重构特征。
本申请中，每个源域具有对应的初始私有编码器和初始私有解码器，可以将第一表格数据对应的中间特征输入初始私有解码器，通过初始私有解码器对中间特征进行重构，得到第一表格数据对应的重构特征。
步骤303，根据重构特征与第一表格数据对应的目标特征之间的差异，对初始私有编码器进行训练，得到源域对应的私有编码器。
本申请中，第一表格数据对应的目标特征是对第一表格数据进行向量初始化得到的，目标特征可以理解为第一表格数据的真实特征。
本申请中，可以计算重构特征与目标特征之间的重构损失值，并根据重构损失值对初始私有编码器和初始私有解码器进行训练，直至满足训练结束条件，得到源域对应的私有编码器。其中，重构损失值可以利用如下公式进行计算：
Figure BDA0003804859860000051
其中，Lrecon表示重构损失值；
Figure BDA0003804859860000052
表示源域的第j个表格数据的目标特征；xj表示源域的第j个表格数据的重构特征。
本申请中，私有编码器训练结束条件可以是重构损失值小于预设阈值，也可以是满足了训练次数等，本申请对此不作限定。
本申请中，通过最小化重构损失值的方式训练私有编码器，可以使得私有编码器输出的特征尽可能多的包含表格内容这一私有特征。
可以理解的是，在训练每个源域对应的私有编码器时，可以采用上述方式训练得到。
本申请实施例中，可以将源域的第一表格数据输入源域对应的初始私有编码器进行编码，得到第一表格数据的中间特征，并将中间特征输入源域对应的初始私有解码器中进行处理，得到第一表格数据的重构特征，根据中间特征与重构特征之间的差异，对初始私有编码器进行训练，得到源域对应的私有编码器，由此，可以基于私有解码器输出的特征对私有编码器进行训练，提高了私有编码器的准确性。
图4本申请另一实施例提供的表格描述文本生成模型的训练方法的流程示意图。
如图4所示，该表格描述文本生成模型的训练方法，包括：
步骤401，获取源域的第一表格数据及第一表格数据对应的第一标注文本。
步骤402，将第一表格数据输入初始生成模型中源域对应的私有编码器进行编码，得到所述第一表格数据对应的第一私有特征。
步骤403，将第一表格数据输入初始生成模型中的初始公共编码器进行编码，得到第一表格数据对应的第一公共特征。
本申请中，步骤401-步骤403与上述实施例中记载的内容类似，故在此不再赘述。
步骤404，根据第一私有特征和第一公共特征，对初始公共编码器进行训练，得到第一公共编码器。
本申请中，可以计算第一私有特征和第一公共特征之间的第一差异损失值，并根据第一差异损失值，对初始公共编码器进行训练，得到第一公共编码器。其中，私有特征与公共特征之间的差异损失值可以采用如下公式计算：
Figure BDA0003804859860000053
其中，
Figure BDA0003804859860000054
表示第i个源域的私有编码器输出的第i个源域的表格数据的私有特征；hpi表示初始公共编码器输出的第i个源域的表格数据的公共特征；Ldifference表示
Figure BDA0003804859860000055
与hpi之间的差异损失值。
由此，本申请中，可以使用F范数的平方计算私有特征与公共特征之间的差异损失值，通过最小化差异损失值使得私有特征与公共特征能够相互正交，使得私有特征与公共特征表示无关，提高了公共编码器的准确性。
可以理解的是，针对每个源域的表格数据，可以采用上述公式计算源域的私有编码器输出的私有特征与公共编码器输出的公共特征之间的差异损失。
本申请中，可以利用多个源域的表格数据训练得到公共编码器。在训练初始公共编码器时，可以针对源域的每个表格数据，计算每个表格数据对应的第一差异损失值，利用每个表格数据对应的第一差异损失值，对初始公共编码器进行训练，或者针对每个源域，可以计算源域中多个表格数据对应的第一差异损失值之和，根据同一源域多个表格数据对应的第一差异损失值之和，对初始公共编码器进行训练。
步骤405，将第一私有特征和第一公共特征进行组合，得到第一组合特征。
本申请中，可以将第一私有特征对应的矩阵与第一公共特征对应的矩阵中相同位置的元素相加，得到第一组合特征。
步骤406，将第一组合特征输入初始公共解码器进行解码，得到第一表格数据对应的第一描述文本。
本申请中，可以将第一组合特征输入初始公共解码器进行解码，初始公共解码器可以基于第一组合特征生成第一个字符，之后初始公共解码器根据第一组合特征和第一个字符生成第二个字符，再基于第一个组合特征和生成的前两个字符生成第三个字符，依次类推，生成最后一个字符，那么按照字符生成的先后顺序将生成的字符进行组合，得到第一描述文本。
本申请中，在时间步t时，生成描述文本y的概率取决于时间步t之前生成的字符以及输入的表格数据xj，整个生成过程可以下面的公式表示：
Figure BDA0003804859860000061
其中，p(y|xj)表示输入表格数据xj时生成描述文本y的概率；|y|表示描述文本的最大长度。
在实际应用中，表格中可能会存在一些专有名词，但是这些专有名词不在字典里，可以直接从表格数据中去复制这些字符。具体公式如下：
Figure BDA0003804859860000062
Figure BDA0003804859860000063
其中，αj的计算是基于整个表格数据来计算的，αj表示在表格数据的特征表示上的复制概率；Gj表示从表格数在第j个头的表示；j′表示除第j个头外的所有头；Gj′表示表格数据在除第j个头外的其他头的表示；PVOC(w)表示下一个生成的单词为w的概率；字符为在oi表示公共解码器在第i个时间步时，最后一层的隐藏状态；p(yi＝w)表示第i个时间步生成字符为w的概率；pgen＝σ(MLP(oi))，pgen小于阈值则从表格数据中获取字符，pgen大于或等于阈值则从字典中获取字符；j:xj＝w表示xj中等于字符w的那部分j。
步骤407，根据第一描述文本和第一标注文本之间的差异，对初始公共解码器进行训练，得到第一公共解码器。
本申请中，可以根据第一描述文本与第一标注文本之间的差异，计算损失值，根据计算的损失值，对初始公共解码器进行训练，得到第一公共解码器。
本申请实施例中，在对初始公共编码器和初始公共解码器进行训练时，可以根据第一私有特征和第一公共特征，对初始公共编码器进行训练，得到第一公共编码器，可以将第一私有特征和第一公共特征进行组合得到的第一组合特征输入初始公共解码器，得到第一描述文本，基于第一描述文本与第一标注文本之间的差异，对初始公共解码器进行训练得到第一公共解码器，由此，可以通过解耦源域的私有特征和公共特征，利用源域的公共特征训练得到公共编码器，解决了训练样本不足的问题。
图5本申请另一实施例提供的表格描述文本生成模型的训练方法的流程示意图。
如图5所示，在得到第一公共编码器和第一公共解码器之后，该表格描述文本生成模型的训练方法，还包括：
步骤501，获取目标域的第二表格数据及第二表格数据对应的第二标注文本。
本申请中，第二表格数据可以是图结构形式，第二标注文本可以看作是第二表格数据的标准描述文本。
本申请中，目标域可以是指除源域外的其他域，目标域可以是指领域或者集合等。比如，共有10个域，其中，9个可以作为源域，剩余1个域可以作为目标域，可以利用9个源域的表格数据训练得到第一公共编码器和第一公共解码器，可以利用目标域的表格数据对第一公共编码器和第一公共解码器进行微调，得到能够提取目标域的表格数据的公共特征的公共编码器，以及能够生成目标域的描述文本的公共解码器。
步骤502，将第二表格数据输入目标域对应的私有编码器进行编码，得到第二表格数据对应的第二私有特征。
本申请中，目标域对应的私有编码器可以是利用目标域的第二表格数据训练得到的，训练方法与上述源域对应的私有编码器的训练方法类似，故在此不再赘述。
本申请中，目标域对应的私有编码器对第二表格数据的编码方法，与上述源域对应的私有编码器对第一表格数据的编码方法类似，故在此不再赘述。
步骤503，将第二表格数据输入第一公共编码器进行编码，得到第二表格数据对应的第二公共特征。
本申请中，可以将第二表格数据分别输入到第一公共编码器和目标域对应的私有编码器进行编码，得到第二表格数据对应的第二公共特征和第二私有特征，从而通过第一公共编码器和目标域对应的私有编码器，将目标域的第二表格数据的私有特征和公共特征进行解耦。
步骤504，根据第二私有特征、第二公共特征及第二标注文本，对第一公共编码器和第一公共解码器进行微调，以获取目标域对应的第二公共编码器和第二公共解码器。
本申请中，利用第二私有特征、第二公共特征及第二标注文本，对第一公共编码器和第一公共解码器进行微调的方法，与上述实施例中记载的利用第一私有特征、第一公共特征及第一标注文本，对初始公共编码器和初始公共解码器进行训练的方法类似，故在此不再赘述。
本申请实施例中，在利用源域的第一表格数据训练得到生成模型的第一公共编码器和第一公共解码器之后，可以将目标域的第二表格输入分别输入到的目标域对应的私有编码器和第一公共编码器中进行编码，得到第二私有特征和第二公共特征，并利用第二私有特征、第二公共特征及第二表格数据对应的第二标注文本，对第一公共编码器和第一公共解码器进行微调，得到目标域对应的第二公共编码器和第二公共解码器。由此，可以利用目标域的表格数据对源域的表格数据训练得到的公共编码器和公共解码器进行微调，使得微调后的公共编码器能够提取目标域表格数据的公共特征，使得微调后的公共解码器能够生成目标域表格数据的描述文本，从而解决了训练样本不足的问题。
图6本申请另一实施例提供的表格描述文本生成模型的训练方法的流程示意图。
如图6所示，在得到第一公共编码器和第一公共解码器之后，该表格描述文本生成模型的训练方法，还包括：
步骤601，获取目标域的第二表格数据及第二表格数据对应的第二标注文本。
步骤602，将第二表格数据输入目标域对应的私有编码器进行编码，得到第二表格数据对应的第二私有特征。
步骤603，将第二表格数据输入第一公共编码器进行编码，得到第二表格数据对应的第二公共特征。
本申请中，步骤601-步骤603与上述实施例记载的内容类似，故在此不再赘述。
步骤604，根据第二私有特征和第二公共特征，对第一公共编码器进行微调，得到第二公共编码器。
本申请中，可以计算第二私有特征和第二公共特征之间的第二差异损失值，并根据第二差异损失值，对第一公共编码器进行微调，得到第二公共编码器。其中，第二差异损失值的计算方法与第一差异损失值的计算方法类似，故在此不再赘述。
本申请中，通过最小化第二差异损失值，使得目标域表格数据的私有特征与公共特征能够相互正交，使得目标域表格数据的私有特征与公共特征表示无关，提高了第二公共编码器的准确性。
步骤605，将第二私有特征和第二公共特征进行组合，得到第二组合特征。
本申请中，可以将第二私有特征对应的矩阵与第二公共特征对应的矩阵中相同位置的元素相加，得到第二组合特征。
步骤606，将第二组合特征输入第一公共解码器进行解码，得到第二表格数据对应的第二描述文本。
本申请中，第一公共解码器生成第二描述文本的方式，与上述实施例中记载的初始公共解码器生成第一描述文本的方式类似，故在此不再赘述。
步骤607，根据第二描述文本和第二标注文本之间的差异，对第一公共解码器进行训练，得到第二公共解码器。
本申请中，可以根据第二描述文本与第二标注文本之间的差异，计算损失值，根据计算的损失值，对第一公共解码器进行微调，得到第二公共解码器。
本申请实施例中，在对第一公共编码器和第一公共解码器进行微调时，可以根据目标域的第二表格数据的第二私有特征和第二公共特征，对第一公共编码器进行微调，得到目标域对应的第二公共编码器，可以将第二私有特征和第二公共特征进行组合得到的第二组合特征输入第一公共解码器，得到第二描述文本，基于第二描述文本与第二标注文本之间的差异，对第一公共解码器进行微调得到目标域对应的第二公共解码器，由此，可以利用目标域表格数据的私有特征和公共特征，对第一公共编码器进行微调，得到能够提取目标域表格数据的公共特征的公共解码器，解决了训练样本不足的问题。
图7本申请一实施例提供的表格描述文本的生成方法的流程示意图。
如图7所示，该表格描述文本的生成方法，还包括：
步骤701，获取目标域的待处理表格数据。
本申请中，对目标域的解释可以参见上述实施例，在此不再赘述。
本申请中，待处理表格数据可以是图结构形式的，可以是对待处理表格进行预处理得到的。
步骤702，将待处理表格数据输入到目标域对应的私有编码器进行编码，得到待处理表格数据对应的私有特征。
本申请中，目标域对应的私有编码器可以是利用目标域的部分表格数据训练得到的，训练方法与上述源域对应的私有编码器的训练方法类似，故在此不再赘述。
本申请中，目标域对应的私有编码器对待处理表格数据的编码方法，与上述源域对应的私有编码器对第一表格数据的编码方法类似，故在此不再赘述。
步骤703，将待处理表格数据输入到目标域对应的公共编码器进行编码，得到待处理表格数据对应的公共特征。
本申请中，目标域对应的公共编码器可以是利用目标域的表格数据，对利用源域的表格数据预训练得到的公共编码器进行微调得到的，具体可以参见上述实施例中记载的利用目标域的第二表格数据，对第一公共编码器进行微调得到目标域对应的第二公共编码器，在此不再赘述。
本申请中，可以将待处理表格分别输入到目标域对应的私有编码器和公共编码器，得到待处理表格对应的私有特征和公共特征，从而将目标域表格数据的私有特征和公共特征解耦。
步骤704，利用目标域对应的公共解码器，对私有特征和公共特征进行解码，得到待处理表格数据对应的描述文本。
本申请中，目标域对应的公共解码器可以是利用目标域的表格数据，对利用源域的表格数据预训练得到的公共解码器进行微调得到的，具体可以参见上述实施例中记载的利用目标域的第二表格数据，对第一公共解码器进行微调得到目标域对应的第二公共解码器，在此不再赘述。
本申请中，可以将待处理表格数据的私有特征和公共特征，输入到目标域对应的公共解码器中进行解码，得到待处理表格对应的描述文本。
比如，可以将目标域对应的私有特征和公共特征进行组合，得到组合特征，将组合特征输入到目标域对应的公共解码器进行解码，得到待处理表格数据对应的描述文本。其中，这里的组合可以是指将私有特征对应的矩阵与公共特征对应的矩阵中相同位置的元素相加。
由此，将私有特征和公共特征进行组合，将组合后的特征输入公共解码器进行解码，可以提高生成的描述文本的准确性。
本申请实施例中，通过将目标域的待处理表格数据分别输入到目标域对应的私有编码器和公共编码器中进行编码，得到待处理表格的私有特征和公共特征，利用目标域对应的公共解码器对私有特征和公共特征进行解码，得到待处理表格数据的描述文本。由此，通过将待处理表格输入的私有特征和公共特征进行解耦，对解耦得到的私有特征和公共特征进行解码，从而可以提高生成的描述文本的准确性。
为了实现上述实施例，本申请实施例还提出一种表格描述文本生成模型的训练装置。图8为本申请一实施例提供的表格描述文本生成模型的训练装置的结构示意图。
如图8所示，该表格描述文本生成模型的训练装置800包括：
第一获取模块810，用于获取源域的第一表格数据及第一表格数据对应的第一标注文本；
第一编码模块820，用于将第一表格数据输入初始生成模型中源域对应的私有编码器进行编码，得到第一表格数据对应的第一私有特征；
第二编码模块830，用于将第一表格数据输入初始生成模型中的初始公共编码器进行编码，得到第一表格数据对应的第一公共特征；
第一训练模块840，用于根据第一私有特征、第一公共特征及第一标注文本，对初始公共编码器和初始生成模型中的初始公共解码器进行训练，得到第一公共编码器和第一公共解码器。
在本申请实施例一种可能的实现方式中，第一编码模块820，还用于将第一表格数据输入源域对应的初始私有编码器进行编码，得到第一表格数据对应的中间特征；
装置还包括：
第一解码模块，用于将中间特征输入源域对应的初始私有解码器进行处理，得到第一表格数据对应的重构特征；
第二训练模块，用于根据重构特征与第一表格数据对应的目标特征之间的差异，对初始私有编码器进行训练，得到源域对应的私有编码器。
在本申请实施例一种可能的实现方式中，第一训练模块840，用于：
根据第一私有特征和第一公共特征，对初始公共编码器进行训练，得到第一公共编码器；
将第一私有特征和第一公共特征进行组合，得到第一组合特征；
将第一组合特征输入初始公共解码器进行解码，得到第一表格数据对应的第一描述文本；
根据第一描述文本和第一标注文本之间的差异，对初始公共解码器进行训练，得到第一公共解码器。
在本申请实施例一种可能的实现方式中，第一训练模块840，用于：
确定第一私有特征与第一公共特征之间的第一差异损失值；
根据第一差异损失值，对初始公共编码器进行训练，得到第一公共编码器。
在本申请实施例一种可能的实现方式中，该装置还可以包括：
第二获取模块，用于获取目标域的第二表格数据及第二表格数据对应的第二标注文本；
第三编码模块，用于将第二表格数据输入目标域对应的私有编码器进行编码，得到第二表格数据对应的第二私有特征；
第四编码模块，用于将第二表格数据输入第一公共编码器进行编码，得到第二表格数据对应的第二公共特征；
第三训练模块，用于根据第二私有特征、第二公共特征及第二标注文本，对第一公共编码器和第一公共解码器进行微调，以获取目标域对应的第二公共编码器和第二公共解码器。
在本申请实施例一种可能的实现方式中，第三训练模块，用于：
根据第二私有特征和第二公共特征，对第一公共编码器进行微调，得到第二公共编码器；
将第二私有特征和第二公共特征进行组合，得到第二组合特征；
将第二组合特征输入第一公共解码器进行解码，得到第二表格数据对应的第二描述文本；
根据第二描述文本和第二标注文本之间的差异，对第一公共解码器进行训练，得到第二公共解码器。
在本申请实施例一种可能的实现方式中，第三训练模块，用于：
确定第二私有特征与第二公共特征之间的第二差异损失值；
根据第二差异损失值，对第一公共编码器进行微调，得到第二公共编码器。
需要说明的是，前述表格描述文本生成模型的训练方法实施例的解释说明，也适用于该实施例的表格描述文本生成模型的训练装置，故在此不再赘述。
本申请实施例中，通过将源域的第一表格数据分别输入到源域的私有编码器和初始生成模型的公共编码器，得到第一表格数据的第一私有特征和第一公共特征，并基于第一私有特征、第一公共特征和第一表格数据的第一标注文本对初始公共编码器和初始公共解码器进行训练，得到第一公共编码器和第一公共解码器，从而通过解耦源域表格数据的私有特征和公共特征，利用源域的私有特征和公共特征训练得到生成模型的公共编码器和公共解码器，解决了训练样本不足的问题，提高了模型的准确性，也即提高了生成的表格描述文本准确性。
为了实现上述实施例，本申请实施例还提出一种表格描述文本的生成装置。图9为本申请一实施例提供的表格描述文本的生成装置的结构示意图。
如图9所示，该表格描述文本的生成装置900包括：
获取模块910，用于获取目标域的待处理表格数据；
第一编码模块920，用于将待处理表格数据输入到目标域对应的私有编码器，得到待处理表格数据对应的私有特征；
第二编码模块930，用于将待处理表格数据输入到目标域对应的公共编码器进行编码，得到待处理表格数据对应的公共特征；
解码模块940，用于利用目标域对应的公共解码器，对私有特征和公共特征进行解码，得到待处理表格数据对应的描述文本。
在本申请实施例一种可能的实现方式中，解码模块940，用于：
将私有特征和公共特征进行组合，得到组合特征；
将组合特征输入公共解码器进行解码，得到待处理表格数据对应的描述文本。
需要说明的是，前述表格描述文本的生成方法实施例的解释说明，也适用于该实施例的表格描述文本的生成置，故在此不再赘述。
本申请实施例中，通过将目标域的待处理表格数据分别输入到目标域对应的私有编码器和公共编码器中进行编码，得到待处理表格的私有特征和公共特征，利用目标域对应的公共解码器对私有特征和公共特征进行解码，得到待处理表格数据的描述文本。由此，通过将待处理表格输入的私有特征和公共特征进行解耦，对解耦得到的私有特征和公共特征进行解码，从而可以提高生成的描述文本的准确性。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本申请的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，设备1000包括计算单元001，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)1002中的计算机程序或者从存储单元1008加载到RAM(Random AccessMemory，随机访问/存取存储器)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元001、ROM 1002以及RAM 1003通过总线1004彼此相连。I/O(Input/Output，输入/输出)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如表格描述文本生成模型的训练方法。例如，在一些实施例中，表格描述文本生成模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的表格描述文本生成模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行表格描述文本生成模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(VirtualPrivate Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
需要说明的是，上述电子设备可以实现本申请上述实施例提出的表格描述文本的生成方法，在此不再赘述。
根据本申请的实施例，本申请还提供了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行本申请上述实施例提出的表格描述文本生成模型的训练方法，或者本申请上述实施例提出的表格描述文本的生成方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (21)

1.一种表格描述文本生成模型的训练方法，包括：
获取源域的第一表格数据及所述第一表格数据对应的第一标注文本；
将所述第一表格数据输入初始生成模型中所述源域对应的私有编码器进行编码，得到所述第一表格数据对应的第一私有特征；
将所述第一表格数据输入所述初始生成模型中的初始公共编码器进行编码，得到所述第一表格数据对应的第一公共特征；
根据所述第一私有特征、所述第一公共特征及所述第一标注文本，对所述初始公共编码器和所述初始生成模型中的初始公共解码器进行训练，得到所述第一公共编码器和所述第一公共解码器。
2.如权利要求1所述的方法，其中，在所述根据所述第一私有特征、所述第一公共特征及所述第一标注文本，对所述初始公共编码器和所述初始生成模型中的初始公共解码器进行训练，得到所述第一公共编码器和所述第一公共解码器之前，还包括：
将所述第一表格数据输入所述源域对应的初始私有编码器进行编码，得到所述第一表格数据对应的中间特征；
将所述中间特征输入所述源域对应的初始私有解码器进行处理，得到所述第一表格数据对应的重构特征；
根据所述重构特征与所述第一表格数据对应的目标特征之间的差异，对所述初始私有编码器进行训练，得到所述源域对应的私有编码器。
3.如权利要求1所述的方法，其中，所述根据所述第一私有特征、所述第一公共特征及所述第一标注文本，对所述初始公共编码器和所述初始生成模型中的初始公共解码器进行训练，得到所述第一公共编码器和所述第一公共解码器，包括：
根据所述第一私有特征和所述第一公共特征，对所述初始公共编码器进行训练，得到所述第一公共编码器；
将所述第一私有特征和所述第一公共特征进行组合，得到所述第一组合特征；
将所述第一组合特征输入所述初始公共解码器进行解码，得到所述第一表格数据对应的第一描述文本；
根据所述第一描述文本和所述第一标注文本之间的差异，对所述初始公共解码器进行训练，得到所述第一公共解码器。
4.如权利要求3所述的方法，其中，所述根据所述第一私有特征和所述第一公共特征，对所述初始公共编码器进行训练，得到所述第一公共编码器，包括：
确定所述第一私有特征与所述第一公共特征之间的第一差异损失值；
根据所述第一差异损失值，对所述初始公共编码器进行训练，得到所述第一公共编码器。
5.如权利要求1所述的方法，其中，在所述根据所述第一私有特征、所述第一公共特征及所述第一标注文本，对所述初始公共编码器和所述初始生成模型中的初始公共解码器进行训练，得到所述第一公共编码器和所述第一公共解码器之后，还包括：
获取目标域的第二表格数据及所述第二表格数据对应的第二标注文本；
将所述第二表格数据输入所述目标域对应的私有编码器进行编码，得到所述第二表格数据对应的第二私有特征；
将所述第二表格数据输入所述第一公共编码器进行编码，得到所述第二表格数据对应的第二公共特征；
根据所述第二私有特征、所述第二公共特征及所述第二标注文本，对所述第一公共编码器和所述第一公共解码器进行微调，以获取所述目标域对应的第二公共编码器和第二公共解码器。
6.如权利要求5所述的方法，其中，所述根据所述第二私有特征、所述第二公共特征及所述第二标注文本，对所述第一公共编码器和所述第一公共解码器进行微调，以获取所述目标域对应的第二公共编码器和第二公共解码器，包括：
根据所述第二私有特征和所述第二公共特征，对所述第一公共编码器进行微调，得到所述第二公共编码器；
将所述第二私有特征和所述第二公共特征进行组合，得到所述第二组合特征；
将所述第二组合特征输入所述第一公共解码器进行解码，得到所述第二表格数据对应的第二描述文本；
根据所述第二描述文本和所述第二标注文本之间的差异，对所述第一公共解码器进行训练，得到所述第二公共解码器。
7.如权利要求6所述的方法，其中，所述根据所述第二私有特征和所述第二公共特征，对所述第一公共编码器进行微调，得到所述第二公共编码器，包括：
确定所述第二私有特征与所述第二公共特征之间的第二差异损失值；
根据所述第二差异损失值，对所述第一公共编码器进行微调，得到所述第二公共编码器。
8.一种表格描述文本的生成方法，包括：
获取目标域的待处理表格数据；
将所述待处理表格数据输入到所述目标域对应的私有编码器，得到所述待处理表格数据对应的私有特征；
将所述待处理表格数据输入到所述目标域对应的公共编码器进行编码，得到所述待处理表格数据对应的公共特征；
利用所述目标域对应的公共解码器，对所述私有特征和所述公共特征进行解码，得到所述待处理表格数据对应的描述文本。
9.如权利要求8所述的方法，其中，所述利用所述目标域对应的公共解码器，对所述私有特征和所述公共特征进行解码，得到所述待处理表格数据对应的描述文本，包括：
将所述私有特征和所述公共特征进行组合，得到组合特征；
将所述组合特征输入所述公共解码器进行解码，得到所述待处理表格数据对应的描述文本。
10.一种表格描述文本生成模型的训练装置，包括：
第一获取模块，用于获取源域的第一表格数据及所述第一表格数据对应的第一标注文本；
第一编码模块，用于将所述第一表格数据输入初始生成模型中所述源域对应的私有编码器进行编码，得到所述第一表格数据对应的第一私有特征；
第二编码模块，用于将所述第一表格数据输入所述初始生成模型中的初始公共编码器进行编码，得到所述第一表格数据对应的第一公共特征；
第一训练模块，用于根据所述第一私有特征、所述第一公共特征及所述第一标注文本，对所述初始公共编码器和所述初始生成模型中的初始公共解码器进行训练，得到所述第一公共编码器和所述第一公共解码器。
11.如权利要求10所述的装置，其中，所述第一编码模块，还用于将所述第一表格数据输入所述源域对应的初始私有编码器进行编码，得到所述第一表格数据对应的中间特征；
所述装置还包括：
第一解码模块，用于将所述中间特征输入所述源域对应的初始私有解码器进行处理，得到所述第一表格数据对应的重构特征；
第二训练模块，用于根据所述重构特征与所述第一表格数据对应的目标特征之间的差异，对所述初始私有编码器进行训练，得到所述源域对应的私有编码器。
12.如权利要求10所述的装置，其中，所述第一训练模块，用于：
根据所述第一私有特征和所述第一公共特征，对所述初始公共编码器进行训练，得到所述第一公共编码器；
将所述第一私有特征和所述第一公共特征进行组合，得到所述第一组合特征；
将所述第一组合特征输入所述初始公共解码器进行解码，得到所述第一表格数据对应的第一描述文本；
根据所述第一描述文本和所述第一标注文本之间的差异，对所述初始公共解码器进行训练，得到所述第一公共解码器。
13.如权利要求12所述的装置，其中，所述第一训练模块，用于：
确定所述第一私有特征与所述第一公共特征之间的第一差异损失值；
根据所述第一差异损失值，对所述初始公共编码器进行训练，得到所述第一公共编码器。
14.如权利要求10所述的装置，还包括：
第二获取模块，用于获取目标域的第二表格数据及所述第二表格数据对应的第二标注文本；
第三编码模块，用于将所述第二表格数据输入所述目标域对应的私有编码器进行编码，得到所述第二表格数据对应的第二私有特征；
第四编码模块，用于将所述第二表格数据输入所述第一公共编码器进行编码，得到所述第二表格数据对应的第二公共特征；
第三训练模块，用于根据所述第二私有特征、所述第二公共特征及所述第二标注文本，对所述第一公共编码器和所述第一公共解码器进行微调，以获取所述目标域对应的第二公共编码器和第二公共解码器。
15.如权利要求14所述的装置，其中，所述第三训练模块，用于：
根据所述第二私有特征和所述第二公共特征，对所述第一公共编码器进行微调，得到所述第二公共编码器；
将所述第二私有特征和所述第二公共特征进行组合，得到所述第二组合特征；
将所述第二组合特征输入所述第一公共解码器进行解码，得到所述第二表格数据对应的第二描述文本；
根据所述第二描述文本和所述第二标注文本之间的差异，对所述第一公共解码器进行训练，得到所述第二公共解码器。
16.如权利要求15所述的装置，其中，所述第三训练模块，用于：
确定所述第二私有特征与所述第二公共特征之间的第二差异损失值；
根据所述第二差异损失值，对所述第一公共编码器进行微调，得到所述第二公共编码器。
17.一种表格描述文本的生成装置，包括：
获取模块，用于获取目标域的待处理表格数据；
第一编码模块，用于将所述待处理表格数据输入到所述目标域对应的私有编码器，得到所述待处理表格数据对应的私有特征；
第二编码模块，用于将所述待处理表格数据输入到所述目标域对应的公共编码器进行编码，得到所述待处理表格数据对应的公共特征；
解码模块，用于利用所述目标域对应的公共解码器，对所述私有特征和所述公共特征进行解码，得到所述待处理表格数据对应的描述文本。
18.如权利要求17所述的装置，其中，所述解码模块，用于：
将所述私有特征和所述公共特征进行组合，得到组合特征；
将所述组合特征输入所述公共解码器进行解码，得到所述待处理表格数据对应的描述文本。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法，或者执行权利要求8-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法，或者执行根据权利要求8-9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述方法的步骤，或者实现权利要求8-9中任一项所述方法的步骤。
CN202210995630.1A 2022-08-18 2022-08-18 表格描述文本生成模型的训练方法、装置及电子设备 Active CN115357710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210995630.1A CN115357710B (zh) 2022-08-18 2022-08-18 表格描述文本生成模型的训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210995630.1A CN115357710B (zh) 2022-08-18 2022-08-18 表格描述文本生成模型的训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN115357710A true CN115357710A (zh) 2022-11-18
CN115357710B CN115357710B (zh) 2023-07-25

Family

ID=84003604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210995630.1A Active CN115357710B (zh) 2022-08-18 2022-08-18 表格描述文本生成模型的训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115357710B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216245A (zh) * 2023-11-09 2023-12-12 华南理工大学 一种基于深度学习的表格摘要生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274764A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 语言生成方法、装置、计算机设备及存储介质
CN112036122A (zh) * 2020-11-06 2020-12-04 北京世纪好未来教育科技有限公司 文本识别方法、电子设备及计算机可读介质
US20210216818A1 (en) * 2018-05-28 2021-07-15 Nippon Telegraph And Telephone Corporation Model learning device, model learning method, and program
CN113486987A (zh) * 2021-08-04 2021-10-08 电子科技大学 基于特征解耦的多源域适应方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210216818A1 (en) * 2018-05-28 2021-07-15 Nippon Telegraph And Telephone Corporation Model learning device, model learning method, and program
CN111274764A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 语言生成方法、装置、计算机设备及存储介质
CN112036122A (zh) * 2020-11-06 2020-12-04 北京世纪好未来教育科技有限公司 文本识别方法、电子设备及计算机可读介质
CN113486987A (zh) * 2021-08-04 2021-10-08 电子科技大学 基于特征解耦的多源域适应方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216245A (zh) * 2023-11-09 2023-12-12 华南理工大学 一种基于深度学习的表格摘要生成方法
CN117216245B (zh) * 2023-11-09 2024-01-26 华南理工大学 一种基于深度学习的表格摘要生成方法

Also Published As

Publication number Publication date
CN115357710B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US20220292269A1 (en) Method and apparatus for acquiring pre-trained model
JP7301922B2 (ja) 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム
JP2022028887A (ja) テキスト誤り訂正処理方法、装置、電子機器及び記憶媒体
JP7335300B2 (ja) 知識事前訓練モデルの訓練方法、装置及び電子機器
JP7346788B2 (ja) 音声認識モデルのトレーニング方法、装置、機器、および記憶媒体
CN115309877B (zh) 对话生成方法、对话模型训练方法及装置
CN113408272A (zh) 摘要生成模型的训练方法、装置、设备和存储介质
EP4170542A2 (en) Method for sample augmentation
CN114912450B (zh) 信息生成方法与装置、训练方法、电子设备和存储介质
CN113743101A (zh) 文本纠错方法、装置、电子设备和计算机存储介质
CN113053367A (zh) 语音识别方法、语音识别的模型训练方法以及装置
CN112580339A (zh) 模型的训练方法、装置、电子设备及存储介质
JP2023025126A (ja) 深層学習モデルのトレーニング方法及び装置、テキストデータ処理方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN112560846B (zh) 纠错语料的生成方法、装置及电子设备
CN115357710B (zh) 表格描述文本生成模型的训练方法、装置及电子设备
CN112507705B (zh) 一种位置编码的生成方法、装置及电子设备
CN108920560B (zh) 生成方法、训练方法、装置、计算机可读介质及电子设备
CN114239559B (zh) 文本纠错和文本纠错模型的生成方法、装置、设备和介质
CN115565186A (zh) 文字识别模型的训练方法、装置、电子设备和存储介质
CN114841175A (zh) 机器翻译方法、装置、设备及存储介质
CN114550692A (zh) 文本处理及其模型的训练方法、装置、设备和存储介质
CN114416941A (zh) 融合知识图谱的对话知识点确定模型的生成方法及装置
CN114282552B (zh) 非自回归翻译模型的训练方法及其装置
CN112560466A (zh) 链接实体关联方法、装置、电子设备和存储介质
KR20200137936A (ko) 한국어 기반 신경망 언어 모델을 위한 어휘 목록 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant