CN115145928A - 模型训练方法及装置、结构化摘要获取方法及装置 - Google Patents

模型训练方法及装置、结构化摘要获取方法及装置 Download PDF

Info

Publication number
CN115145928A
CN115145928A CN202210914555.1A CN202210914555A CN115145928A CN 115145928 A CN115145928 A CN 115145928A CN 202210914555 A CN202210914555 A CN 202210914555A CN 115145928 A CN115145928 A CN 115145928A
Authority
CN
China
Prior art keywords
field
text
structured
training
dialog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210914555.1A
Other languages
English (en)
Other versions
CN115145928B (zh
Inventor
胡森
徐晟�
周梦迪
许腾
王洪彬
万小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210914555.1A priority Critical patent/CN115145928B/zh
Publication of CN115145928A publication Critical patent/CN115145928A/zh
Application granted granted Critical
Publication of CN115145928B publication Critical patent/CN115145928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)

Abstract

本说明书实施例提供了模型训练方法及装置、结构化摘要获取方法及装置。在针对结构化摘要模型的训练方法中，获取包括多轮对话的对话文本；将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至对话文本中，以得到带有字段标记的第一对话文本；按照第一对话文本中的各个字段标记的顺序，将各个字段对应的标签进行拼接，以得到标签文本，其中，标签文本中的相邻两个标签之间使用分隔符来隔离；以及使用第一对话文本和标签文本对结构化摘要模型进行训练。

Description

模型训练方法及装置、结构化摘要获取方法及装置
技术领域
本说明书实施例涉及人工智能技术领域，具体地，涉及模型训练方法及装置、结构化摘要获取方法及装置。
背景技术
视频面访是访问者和被访问者以视频的方式进行面对面的访问和调查，在视频面访过程中，访问者提问，被访问者回答相应的问题即可。鉴于视频面访的便利性，视频面访应用于多个领域中，比如，求职面试、保险理赔等。
基于不同的任务或目的，在视频面访过程中，访问者会提问一些较关心的问题，比如，名称、日期、地址等，然后访问者根据被访问者的回答将相关信息记录在相应的表单中。在传统的记录方式中，需要访问者手动记录，这种记录方式效率低。
随着人工智能的发展，机器学习模型被广泛应用，在视频面访过程中应用机器学习模型可以自动地从对话中提取表单所需要的信息，并将信息填写至对应的字段中。这种基于机器学习模型的记录方式相较于手动记录，提高了记录效率。
发明内容
鉴于上述，本说明书实施例提供了模型训练方法及装置、结构化摘要获取方法及装置。通过本说明书实施例提供的训练方法，将各个字段作为提示输入给结构化摘要模型，以使结构化摘要模型根据提示有针对性地对各个字段进行训练，从而提高针对各个字段的训练效果。此外，将表单中的多个字段同时作为提示输入给结构化摘要模型，以使得结构化摘要模型可以同时对多个字段进行学习，从而提高针对多个字段的训练效率。并且，同时对多个字段进行学习，还可以学习不同字段之间的隐含联系，从而提高针对多个字段的训练效果。
根据本说明书实施例的一个方面，提供了一种用于对结构化摘要模型进行训练的方法，包括：获取包括多轮对话的对话文本；将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至所述对话文本中，以得到带有字段标记的第一对话文本；按照所述第一对话文本中的各个字段标记的顺序，将所述各个字段对应的标签进行拼接，以得到标签文本，其中，所述标签文本中的相邻两个标签之间使用分隔符来隔离；以及使用所述第一对话文本和所述标签文本对所述结构化摘要模型进行训练。
根据本说明书实施例的另一方面，还提供一种用于从对话文本中获取结构化摘要的方法，包括：将待填写表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本，其中，所述第二对话文本中的字段标记的顺序与结构化摘要模型的训练过程中所使用的第一对话文本中的字段标记的顺序相同；将所述第二对话文本输入至经过训练的所述结构化摘要模型中；以及根据所述结构化摘要模型的输出得到针对所述各个字段的字段值，其中，所述结构化摘要模型根据任一所述的模型训练方法训练得到。
根据本说明书实施例的另一方面，还提供一种用于对结构化摘要模型进行训练的装置，包括：对话文本获取单元，获取包括多轮对话的对话文本；第一字段标记添加单元，将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至所述对话文本中，以得到带有字段标记的第一对话文本；标签拼接单元，按照所述第一对话文本中的各个字段标记的顺序，将所述各个字段对应的标签进行拼接，以得到标签文本，其中，所述标签文本中的相邻两个标签之间使用分隔符来隔离；以及模型训练单元，使用所述第一对话文本和所述标签文本对所述结构化摘要模型进行训练。
根据本说明书实施例的另一方面，还提供一种用于从对话文本中获取结构化摘要的装置，包括：第二字段标记添加单元，将待填写表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本，其中，所述第二对话文本中的字段标记的顺序与结构化摘要模型的训练过程中所使用的第一对话文本中的字段标记的顺序相同；对话文本输入单元，将所述第二对话文本输入至经过训练的所述结构化摘要模型中；以及字段值获得单元，根据所述结构化摘要模型的输出得到针对所述各个字段的字段值，其中，所述结构化摘要模型根据上述任一所述的模型训练方法训练得到。
根据本说明书实施例的另一方面，还提供一种电子设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上述任一所述的模型训练方法或者结构化摘要获取方法。
根据本说明书实施例的另一方面，还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的模型训练方法或者结构化摘要获取方法。
根据本说明书实施例的另一方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上任一所述的模型训练方法或者结构化摘要获取方法。
附图说明
通过参照下面的附图，可以实现对于本说明书实施例内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
图1示出了根据本说明书实施例提供的用于对结构化摘要模型进行训练的方法的一个示例的流程图。
图2示出了根据本说明书实施例提供的用于对结构化摘要模型进行训练的方法的另一个示例的流程图。
图3示出了根据本说明书实施例的结构化摘要模型应用的一个示例的流程图。
图4示出了根据本说明书实施例的用于从对话文本中获取结构化摘要的方法的一个示例的流程图。
图5示出了根据本说明书实施例的用于对结构化摘要模型进行训练的装置的一个示例的方框图。
图6示出了根据本说明书实施例的用于从对话文本中获取结构化摘要的装置的一个示例的方框图。
图7示出了根据本说明书实施例的用于实现模型训练方法的电子设备的方框图。
图8示出了根据本说明书实施例的用于实现从对话文本中结构化摘要获取方法的电子设备的方框图。
具体实施方式
以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
视频面访是访问者和被访问者以视频的方式进行面对面的访问和调查，在视频面访过程中，访问者提问，被访问者回答相应的问题即可。鉴于视频面访的便利性，视频面访应用于多个领域中，比如，求职面试、保险理赔等。
基于不同的任务或目的，在视频面访过程中，访问者会提问一些较关心的问题，比如，名称、日期、地址等，然后访问者根据被访问者的回答将相关信息记录在相应的表单中。在传统的记录方式中，需要访问者手动记录，这种记录方式效率低。
随着人工智能的发展，机器学习模型被广泛应用，在视频面访过程中应用机器学习模型可以自动地从对话中提取表单所需要的信息，并将信息填写至对应的字段中。这种基于机器学习模型的记录方式相较于手动记录，提高了记录效率。
然而，目前针对模型的训练，是将所有样本数据一起输入给模型进行训练，或者仅是对样本数据进行简单地划分后分批次输入给模型训练若干轮。这种训练方式无法使得模型对表单中的各个字段进行有针对性地训练，从而训练效果不佳。
鉴于上述，本说明书实施例提供了模型训练方法及装置、结构化摘要获取方法及装置。在针对结构化摘要模型的训练方法中，获取包括多轮对话的对话文本；将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至对话文本中，以得到带有字段标记的第一对话文本；按照第一对话文本中的各个字段标记的顺序，将各个字段对应的标签进行拼接，以得到标签文本，其中，标签文本中的相邻两个标签之间使用分隔符来隔离；以及使用第一对话文本和标签文本对结构化摘要模型进行训练。通过该训练方法，将各个字段作为提示输入给结构化摘要模型，以使结构化摘要模型根据提示有针对性地对各个字段进行训练，从而提高针对各个字段的训练效果。此外，将表单中的多个字段同时作为提示输入给结构化摘要模型，以使得结构化摘要模型可以同时对多个字段进行学习，从而提高针对多个字段的训练效率。并且，同时对多个字段进行学习，还可以学习不同字段之间的隐含联系，从而提高针对多个字段的训练效果。
下面结合附图对本说明书实施例提供的模型训练方法及装置、结构化摘要获取方法及装置进行详细说明。
图1示出了根据本说明书实施例提供的用于对结构化摘要模型进行训练的方法的一个示例100的流程图。
在本说明书实施例中，结构化摘要模型是待训练的模型，经过训练的结构化摘要模型可以从输入的对话文本中获取表单中的各个字段所需的内容，并将所获取的内容生成符合各个字段格式的摘要。在结构化摘要模型的应用过程中，可以将待填写表单以及对话文本作为输入，结构化摘要模型可以输出待填写表单中的各个字段对应的字段值，或者可以输出填写完成的表单。
在本说明书实施例中，经过训练的结构化摘要模型可以应用于表单，即，可以为所应用的表单获取该表单中的各个字段所需填写的字段值，字段值的获取方式可以包括内容提取、抽象等。
每个表单可以包括有多个字段，多个字段的集合可以构成一个表单。每个字段作为一个槽位对应有字段填写类型，每个字段对应的字段填写类型是该字段中需要填写的字段值的类型。在一个示例中，本说明书实施例中的表单可以包括schema等多种类型的表单。下面以schema为例进行说明。
在一个示例中，经过训练的结构化摘要模型可以应用于保险公估的场景。在保险公估的场景中，公估员与投保人以视频的形式进行对话沟通，在公估员与投保人沟通的过程中，所应用的结构化摘要模型可以获取公估员与投保人之间的对话文本，并将对话文本以及待填写的表单作为输入，然后结构化摘要模型可以输出表单中的各个字段对应的字段值。需要说明的是，结构化摘要模型还可以应用于其他的应用场景中，比如，求职面试等。
如图1所示，在110，可以获取包括多轮对话的对话文本。
在本说明书实施例中，所获取的对话文本可以作为训练样本，对话文本可以包括多轮对话，每轮对话包括一问一答。例如，问：请问年纪多大？；答：20岁。此为一轮对话。每轮对话中的一问一答在参与对话的两个不同对象之间进行。例如，对话中的一问一答可以在公估员和投保人之间进行。
所获取的对话文本与结构化摘要模型的应用场景相关联，对话文本中的对话内容包括有相关联的应用场景的内容。在一个示例中，对话文本中的所有内容或者部分内容可以是与应用场景相关的内容。例如，结构化摘要模型应用于保险公估的场景中，则所获取的对话文本中包括保险公估的对话内容，参与对话的双方可以是公估员和投保人。
在本说明书实施例中，所获取的对话文本可以包括针对两个对象之间的对话文本，还可以包括针对多于两个对象的对话文本。
在一个示例中，可以获取多轮对话，将所获取的多轮对话进行拼接，以得到对话文本。
在一个示例中，每轮对话对应有时间，每轮对话对应的时间用于表示该轮对话的生成时间。在该示例中，可以将所获取的多轮对话按照时间顺序进行拼接，以得到对话文本。
在另一个示例中，每轮对话中的每个语句对应有时间，每个语句对应的时间用于表征该语句的生成时间，语句的生成时间可以是该语句被表达出来的时间或者该语句生成文本的时间。在该示例中，可以将所获取的多轮对话按照时间顺序进行拼接，以得到对话文本。
在一个示例中，在得到拼接后的对话文本后，可以从所得到的对话文本中筛选出与表单对应的应用场景相关的对话片段。每个对话片段包括至少一轮对话。
在该示例中，表单对应的应用场景是该表单所应用的场景，表单被用于对应的应用场景中。表单中的各个字段的字段值包括对应的应用场景的相关信息。例如，表单被用于保险公估的应用场景，表单中的各个字段的字段值包括保险公估场景中的相关信息，比如，就诊医院，就诊时间等。
对话文本可以涉及多个应用场景，从而对话文本中可以包括不同应用场景的对话片段。在筛选对话片段的一个示例中，可以确定表单对应的应用场景所涉及的关键词，再根据关键词从对话文本中筛选出包括关键词或者与关键词紧密相关的其他词的对话片段，所筛选出的对话片段可以被确定为与表单对应的应用场景相关的对话片段。
在筛选对话片段的另一个示例中，还可以使用经过训练的文本相关性模型来在对话文本中定位与表单对应的应用场景相关的对话片段。文本相关性模型可以使用与表单对应的应用场景相关的训练样本进行训练，从而可以使得文本相关性模型能够精准地识别出与表单对应的应用场景相关的对话片段。
在筛选出与表单对应的应用场景相关的对话片段后，可以将所筛选的对话片段进行拼接，以得到用于模型训练的对话文本。所得到的对话文本中的对话片段均与表单对应的应用场景相关，从而这些对话片段均可以作为对结构化摘要模型进行训练的训练样本。通过对对话文本的筛选，仅保留与表单对应的应用场景相关的对话片段，减少对话文本作为训练样本的噪声，从而可以提升模型训练效率以及提高模型训练效果。
在120，可以将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至对话文本中，以得到带有字段标记的第一对话文本。
在本说明书实施例中，结构化摘要模型所应用的表单可以是一个或多个。在结构化摘要模型应用于一个表单时，则可以仅将该表单中的各个字段对应的字段标记添加至对话文本中。在结构化摘要模型应用于多个表单时，则将该多个表单中的各个字段对应的字段标记添加至对话文本中。
在本说明书实施例中，每个字段可以设置有一个对应的字段标记，各个字段与字段标记一一对应，字段标记可以表征对应的字段。
将各个字段的字段标记添加至对话文本中，使得对话文本中附带有字段标记。在一个示例中，字段标记可以添加至对话文本中作为后缀，还可以嵌入在对话文本中的各个字符之间。
在另一个示例中，还可以将各个字段的字段标记作为前缀被添加至对话文本中，以得到带有前缀的对话文本。例如，带有前缀的对话样本数据可以表示成：P1 P2 … Pi X，其中，P1、P2、…Pi分别表示各个字段对应的字段标记，X表示对话文本。
在本说明书实施例中，字段标记在第一对话文本中的顺序可以是对应的字段在表单中的顺序，还可以是其他顺序，比如，随机生成的顺序。
通过在对话文本中添加字段标记，对话文本中的字段标记可以作为对应字段的提示信息，用于提示对话文本中对应字段的存在，从而使得结构化摘要模型在训练过程中关注字段标记对应的字段，执行针对各个字段标记对应的各个字段的字段值获取任务。
在130，可以按照第一对话文本中的各个字段标记的顺序，将该各个字段对应的标签进行拼接，以得到标签文本。
在本说明书实施例中，标签文本中的相邻两个标签之间可以使用分隔符来隔离。例如，标签文本可以表示成：V1 S1 V2 S2 … Si-1 Vi，其中，V1、V2、…Vi分别表示各个字段对应的标签，S1、S2、…Si-1分别表示分隔符。在一个示例中，标签文本可以是字符串。
在本说明书实施例中，每个字段对应有一个标签，各个字段对应的标签的拼接顺序与该各个字段对应的字段标记在第一对话文本中的顺序相同。例如，第一对话文本表示成：P1 P2 … Pi X，标签文本表示成：V1 S1 V2 S2 … Si-1 Vi，其中，P1与V1对应，P2与V2对应，Pi与Vi对应，相对应的字段标记和标签是对应于同一个字段的字段标记和标签。
在140，可以使用第一对话文本和标签文本对结构化摘要模型进行训练。
在本说明书实施例中，可以将第一对话文本和标签文本作为训练样本对结构化摘要模型进行训练，第一对话文本和标签文本可以作为结构化摘要模型的输入。
在一个示例中，可以将第一对话文本和标签文本作为两个文本分别输入给结构化摘要模型。在另一个示例中，可以将第一对话文本和标签文本作为一个整体输入给结构化摘要模型。在一个示例中，可以将第一对话文本和标签文本表示成数组形式，第一对话文本和标签文本分别作为数组中的元素。例如，第一对话文本和标签文本所构成的数组形式可以表示成：(P1 P2 … Pi X，V1 S1 V2 S2 … Si-1 Vi)。
结构化摘要模型根据输入的第一对话文本可以得到第一对话文本中的各个字段标记对应的各个字段的字段值，所得到的各个字段值是结构化摘要模型预测得到的。结构化摘要模型所得到的各个字段值可以以字段值文本的形式输出，还可以以经过拆解后的各个字段值的形式输出。
在一个示例中，结构化摘要模型输出的各个字段对应的字段值可以按照字段值文本的形式输出。各个字段值之间可以用分隔符来隔离，各个字段值和分隔符可以构成一个文本，则结构化摘要模型输出包括各个字段值的字段值文本。在所输出的字段值文本中，各个字段值的顺序与标签文本中各个标签的顺序相同，即，在所输出的字段值文本以及标签文本中，序号相同的字段值以及标签对应同一的字段。
在另一个示例中，结构化摘要模型在得到各个字段值与分隔符构成的字段值文本后，可以根据各个分隔符对字段值文本进行拆解，以得到拆解后的各个字段值。然后，将拆解后的各个字段值输出。
在针对结构化摘要模型的一种训练方式中，第一对话文本中的各个字段标记可以对应有用于表征对应字段的特征向量，每个字段标记对应的特征向量固定且不会被调整。此外，标签文本中的各个分隔符对应有用于表征该分隔符的特征向量，每个分隔符对应的特征向量固定且不会被调整。
在每一轮训练中，结构化摘要模型可以根据输入的第一对话文本来得到针对各个字段的字段值。然后，将各个字段值与对应字段的标签进行比较，以计算出损失值。根据损失值可以对结构化摘要模型的参数进行调整。
在针对结构化摘要模型的另一种训练方式中，第一对话文本中的各个字段标记可以对应有用于表征对应字段的特征向量，每个字段标记对应的特征向量可以调整。在模型训练开始之前，可以初始化各个字段标记对应的第一特征向量，各个字段标记对应的第一特征向量可以是根据预设的编码词典为各个字段标记进行随机向量初始化得到的。在结构化摘要模型的训练过程中，各个字段标记对应的第一特征向量可以被调整。此外，在该种训练方式中，各个分隔符对应的特征向量可以固定且不会被调整。
在该种训练方式中，使用第一对话文本和标签文本对结构化摘要模型可以进行多轮训练，直至满足第一训练结束条件。第一训练结束条件可以包括训练轮次达到第一轮次阈值、损失值小于第一损失阈值等中的至少一种条件。
在每轮训练中，可以对结构化摘要模型的参数以及各个字段标记对应的第一特征向量进行调整。具体地，第一对话文本和标签文本输入给结构化摘要模型，结构化摘要模型根据得到的字段值和各个字段对应的标签计算损失，并根据损失对结构化摘要模型的参数以及各个字段标记对应的第一特征向量进行调整。
通过对各个字段标记对应的第一特征向量进行调整，以得到各个字段标记对应的相对最佳的第一特征向量，各个字段标记对应的第一特征向量的表征效果越好，该第一特征向量越接近所表征的字段，从而更清晰地指向所表征对应的字段，进而对结构化摘要模型的提示作用更强。
在针对结构化摘要模型的另一种训练方式中，标签文本中的各个分隔符可以对应有用于表征对应分隔符的特征向量，每个分隔符对应的特征向量可以被调整。在模型训练开始之前，可以初始化各个分隔符对应的第二特征向量，各个分隔符对应的第二特征向量可以是根据预设的编码词典为各个分隔符进行随机向量初始化得到的。在结构化摘要模型的训练过程中，各个分隔符对应的第二特征向量可以被调整。
在每轮训练中，可以对结构化摘要模型的参数、各个字段标记对应的第一特征向量以及各个分隔符对应的第二特征向量进行调整。具体地，第一对话文本和标签文本输入给结构化摘要模型，结构化摘要模型根据得到的字段值和各个字段对应的标签计算损失，并根据损失对结构化摘要模型的参数、各个字段标记对应的第一特征向量以及各个分隔符对应的第二特征向量进行调整。
通过对各个分隔符对应的第二特征向量进行调整，以使得每个分隔符对应的第二特征向量与该分隔符相邻的两个字段值相关联，通过多轮训练以及对第二特征向量的多次调整，能够挖掘出各个字段之间的隐含关系，从而使得各个分割符对应的第二特征向量可以包括与该分隔符相邻的两个字段值之间的隐含关系。
图2示出了根据本说明书实施例提供的用于对结构化摘要模型进行训练的方法的另一个示例200的流程图。
如图2所示，在210，获取对话文本。
在该示例中，210的操作可以参考上述图1中的110的操作说明。
在220，可以按照表单中各个字段的填写难度对各个字段进行分类，以得到不同填写难度的字段类别。其中，字段类别至少包括两类，每个字段类别包括至少一个字段。
在表单中，各个字段所需填写的内容不同，各个字段的字段填写类型也可以不同。各个字段的字段填写类型可以用来确定该字段的内容填写方式，即，各个字段的内容填写方式可以不同。
字段填写类型可以包括分类类型、关键信息抽取类型以及信息抽象类型等。其中，分类类型可以包括二分类类型和多分类类型。每个字段对应一种字段填写类型，属于同一字段填写类型的不同字段对应的查询条件(即，query)可以不同，对应填写的内容也可以不同。
在二分类类型的字段中，字段预设的取值范围仅包括两个选择，从预设的两个选择中选择一个作为该字段的赋值。
在多分类类型的字段中，字段预设的取值范围可以包括两个以上的多个选择，从预设的多个选择中选择一个作为该字段的赋值。
在关键信息抽取类型的字段中，字段的赋值可以从输入模型的对话文本中抽取得到。关键信息抽取类型还可以进一步地划分为三种子类型：直接抽取类型、抽取分类类型以及抽取标化类型。当然，以上三种子类型仅作为一个示例，关键信息抽取类型还可以包括其他的子类型。
在直接抽取类型的字段中，可以从输入模型的对话文本中直接提取该字段对应的查询条件所需的关键信息，并且所提取的关键信息可以直接用于字段作为该字段的赋值。
在抽取分类类型的字段中，在从对话文本中提取到该字段对应的查询条件所需的关键信息后，可以对该关键信息进行分类处理，以确定该关键信息所属的类别。然后，可以将类别作为该字段的赋值。
在抽取标化类型的字段中，在从对话文本中提取到该字段对应的查询条件所需的关键信息后，可以对该关键信息进行标准化处理，以将关键信息转换成符合字段格式的标准化格式信息，并将所得到的标准化格式信息作为该字段的赋值。
在信息抽象类型的字段中，字段的赋值可以根据输入模型的对话文本所表达的意思进行抽象处理得到。通过抽象处理，能够将对话文本中的一个片段或多个片段所表达的意思概括成简短的表达，形成摘要输出。摘要所表达的意思与对话文本中的该一个片段或多个片段所表达的意思相同或相近。所形成的摘要可以作为该字段中的赋值。
在本说明书实施例中，各个字段的待填写内容不同，可以使得各个字段的填写难度不同。在一个示例中，各个字段的填写难度可以根据字段对应的查询条件和/或字段填写类型来确定。
在根据查询条件的填写难度确定方式中，查询条件可以是以查询问题或者短语等形式存在，可以根据查询条件的长短来确定填写难度。即，在查询条件对应的文字较长时，则该查询条件对应的填写难度较高；在查询条件对应的文字较短时，则该查询条件对应的填写难度较低。此外，还可以根据查询条件的句子结构来确定填写难度。即，在查询条件对应的句子结构复杂时，则该查询条件对应的填写难度较高；在查询条件对应的句子结构简单时，则该查询条件对应的填写难度较低。
在根据字段填写类型的填写难度确定方式中，不同的字段填写类型对应的填写难度不同。在字段填写类型所包括的二分类类型、多分类类型、关键信息抽取类型以及信息抽象类型中，对应的填写难度依次递增。其中，关键信息抽取类型对应的抽取操作仅需从对话文本中抽取信息即可，相比于信息抽象类型对应的抽象操作更简单，因此，关键信息抽取类型对应的填写难度更低，而信息抽象类型对应的填写难度更高。
进一步地，在关键信息抽取类型所包括的直接抽取类型、抽取分类类型以及抽取标化类型中，对应的填写难度依次递增。直接抽取类型对应的操作相比于抽取分类类型以及抽取标化类型对应的操作更简单，从而填写难度最低。抽取标化类型对应的操作中的标化操作需要对所抽取的信息进行转换，相比于抽取分类类型对应的操作中的分类操作更复杂，因此，抽取标化类型对应的填写难度更高。
当填写难度根据字段填写类型确定的情况下，在针对各个字段进行填写难度确定时，可以先确定出表单中的各个字段对应的字段填写类型，然后根据已知的各个字段填写类型对应的填写难度来得到表单中的各个字段填写类型对应的填写难度。
当填写难度根据查询条件和字段填写类型确定的情况下，可以先根据字段填写类型确定填写难度，然后在所确定的填写难度的基础上进一步地根据查询条件确定填写难度。
在一个示例中，在针对各个字段进行填写难度确定时，可以先根据字段填写类型来确定表单中的各个字段对应的第一填写难度。然后，针对第一填写难度相同的各个字段，这些字段对应的字段填写类型相同。从而，可以进一步地根据查询条件对第一填写难度相同的各个字段进行填写难度区分，以将该各个字段的填写难度更新为第二填写难度，该各个字段对应的第二填写难度不同。最后，可以将各个字段对应的第一填写难度和第二填写难度进行整合，以得到各个字段的填写难度。
在本说明书实施例中，按照各个字段的填写难度对字段进行分类，可以得到不同填写难度的字段类别，所得到的字段类别至少包括有两类，每个字段类别包括至少一个字段。针对填写难度，可以设置填写难度的粒度，在粒度不同的情况下，对字段的分类也可以不同。
在一个示例中，在粗粒度的情况下，字段填写类型可以包括：分类类型、关键信息抽取类型和信息抽象类型，此时，分类类型、关键信息抽取类型和信息抽象类型对应的填写难度依次递增，分类类型、关键信息抽取类型和信息抽象类型分别对应一种填写难度。从而，可以按照分类类型、关键信息抽取类型和信息抽象类型这三种类型对字段进行分类，所得到的每个字段类别对应一种类型。
在另一个示例中，在细粒度的情况下，字段填写类型可以包括：二分类类型、多分类类型、直接抽取类型、抽取分类类型、抽取标化类型以及信息抽象类型，此时，二分类类型、多分类类型、直接抽取类型、抽取分类类型、抽取标化类型以及信息抽象类型对应的填写难度依次递增，每一种类型对应一种填写难度。从而，可以按照二分类类型、多分类类型、直接抽取类型、抽取分类类型、抽取标化类型以及信息抽象类型这六种类型对字段进行分类，所得到的每个字段类别对应一种类型。
在一个示例中，在按照各个字段的填写难度对字段进行分类时，可以先根据各个字段对应的查询条件和字段填写类型来确定各个字段的填写难度，所得到的各个字段的填写难度可以不同。然后，按照填写难度从易到难的顺序对各个字段进行排序，得到字段序列。接着，可以根据自定义的分类类别数量对字段序列进行划分，以得到多个子序列。其中，每个子序列可以作为一个分类的类别。每个子序列包括至少一个字段，各个子序列包括的字段数量可以相同，也可以不同。针对字段序列的划分方式可以是随机划分，还可以是按照指定规则划分，比如，平均划分，平均划分所得到的各个子序列中包括的字段数量相同。
在一个示例中，每个字段类别可以仅包括一个字段。在该示例中，可以先根据各个字段对应的查询条件和字段填写类型来确定各个字段的填写难度，所得到的各个字段的填写难度可以不同。然后，按照填写难度从易到难的顺序对各个字段进行排序，得到字段序列。字段序列中的每个字段可以作为一个字段类别，该字段序列所呈现的顺序即为各个字段类别对应的填写难度递增的顺序。
在得到字段类别后，可以按照填写难度递增的字段类别顺序，对结构化摘要模型进行训练，直至针对字段类别顺序中的所有字段类别的训练完成。其中，字段类别顺序是各个字段类别按照填写难度递增所构成的顺序。在每个字段类别仅包括一个字段的情况下，字段类别顺序是各个字段按照填写难度递增所构成的顺序。以下通过230-260的操作详细说明结构化摘要模型的训练过程。
在230，可以将作为当前训练目标的目标字段类别以及比目标字段类别对应的填写难度更低的其他字段类别中所包括的各个字段对应的字段标记添加至对话文本中，以得到带有字段标记的第一对话文本。
在该示例中，目标字段类别根据按照填写难度递增的字段类别顺序依次确定，每次确定一个字段类别作为目标字段类别，每次确定的目标字段类别可以作为当前训练目标。
在作为训练目标的每个目标字段类别被确定后，可以将该目标字段类别以及比该目标字段类别对应的填写难度更低的其他字段类别中所包括的各个字段对应的字段标记添加至对话文本中，以得到带有字段标记的第一对话文本。针对不同的目标字段类别，添加至对话文本中的字段标记不同，从而对应得到的第一对话文本不同。
例如，按照填写难度递增的字段顺序依次为：P1、P2、…、Pi，其中，Pi是用于表征字段的字段标记，根据该字段顺序，P1对应的字段首先被确定为第一个目标字段类别，P2对应的字段第二个被确定为目标字段类别，以此类推，直至该字段顺序中的最后一个字段被确定为目标字段类别。在P1作为第一个目标字段类别时，添加至对话文本中的字段标记仅包括P1，从而所得到的第一对话文本中仅包括P1。在P2作为第二个目标字段类别时，添加至对话文本中的字段标记仅包括P2，从而所得到的第一对话文本中仅包括P2。
在240，可以使用所得到的第一对话文本以及对应的标签文本对结构化摘要模型进行训练。
针对每个目标字段类别，使用该目标字段类别对应的第一对话文本以及对应的标签文本对结构化摘要模型进行多次循环地训练，直至满足第二训练结束条件。在每个目标字段类别对应的多次循环的训练结束后，可以继续执行针对下一个目标字段类别的多次循环的训练。其中，第二训练结束条件可以包括循环次数达到第二循环次数阈值、损失值小于第二损失阈值等中的至少一种条件。
在结构化摘要模型的训练过程中，在目标字段类别不是字段类别顺序中的最后一个字段类别、且满足针对目标字段类别的第二训练结束条件时，将字段类别顺序中的下一个字段类别确定为下一轮训练中的目标字段类别，并返回执行230的操作。在目标字段类别是字段类别顺序中的最后一个字段类别、且满足针对目标字段类别的第二训练结束条件时，结束针对结构化摘要模型的训练。
在一个示例中，在250，判断是否满足第二训练结束条件。如果是，执行260的操作；如果否，继续以当前的第一对话文本作为训练样本进行训练，直至满足第二训练结束条件。
在260，判断目标字段类别是否是字段类别顺序中的最后一个字段类别。如果是，则结束训练；如果否，则返回执行230的操作，即，从字段类别顺序中确定下一个字段类别作为下一轮训练中的目标字段类别。
通过上述示例，按照填写难度递增的字段类别顺序逐步地训练结构化摘要模型，相比于所有字段一起训练的方式，提高了结构化摘要模型的训练效果。
图3示出了根据本说明书实施例的结构化摘要模型应用的一个示例300的流程图。
如图3所示，在310，将表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本。
在该示例中，待处理对话文本是待获取字段值的对话文本，表单是结构化摘要模型训练所应用的表单。各个字段对应的字段标记与结构化摘要模型训练中所使用的字段标记相同，从而结构化摘要模型对各个字段标记进行编码所得到的特征向量是经过模型训练得到的该字段标记对应的特征向量。第二对话文本中的字段标记顺序与第一对话文本中的字段标记顺序相同。例如，第一对话文本中的第一个字段标记与第二对话文本中的第一个字段标记对应同一个字段。
在320，可以将带有字段标记的第二对话文本输入至经过训练的结构化摘要模型中。
结构化摘要模型可以基于字段标记的提示，从第二对话文本中获取各个字段对应的字段值。字段值的获取方式可以包括直接提取得到、可以对提取的信息进行标化或者归类处理后得到以及可以是对第二对话文本中的片段进行抽象处理得到，经过抽象处理得到的摘要信息即为对应字段的字段值。
在330，根据结构化摘要模型的输出得到针对各个字段的字段值。
在一个示例中，结构化摘要模型可以输出各个字段对应的字段值所构成的字段值文本。字段值文本中的相邻两个字段值之间可以使用分隔符来隔离，字段值文本中所使用的各个分隔符是结构化摘要模型经过训练所得到的分隔符。字段值文本中的各个字段值的排列顺序与第二对话文本中的各个字段标记对应，并且相对应的字段值与字段标记的排列顺序一致。即，对于相同序号或者相同的排列位置，字段值文本中的字段值与第二对话文本中的字段标记均对应同一个字段。例如，字段值文本中的第一个字段值与第二对话文本中的第一个字段标记对应同一个字段。
在该示例中，在结构化摘要模型输出字段值文本后，可以根据字段值文本中的分隔符以及各个字段值的排列顺序对字段值文本进行拆解，以得到各个字段对应的字段值。
在另一个示例中，结构化摘要模型在经过处理得到字段值文本后，可以对该字段值文本进行拆解，以得到拆解后的各个字段对应的字段值。所得到的各个字段值可以按照表单上各个字段的顺序依次输出，以使得输出的字段值与表单中的字段一一对应。
在得到各个字段的字段值后，可以将各个字段值对应地填入表单中的字段中，以得到填写完成的表单。
在结构化摘要模型的应用过程中，结构化摘要模型从待处理对话文本中获取各个字段的字段值，针对不同类型的字段，经过训练的结构化摘要模型能够精确地获取对应的字段值，从而提高表单填写的准确度。
图4示出了根据本说明书实施例的用于从对话文本中获取结构化摘要的方法的一个示例400的流程图。
如图4所示，在410，将待填写表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本。其中，第二对话文本中的字段标记的顺序与结构化摘要模型的训练过程中所使用的第一对话文本中的字段标记的顺序相同。结构化摘要模型可以根据上述任一所述的训练方法得到。
在420，将第二对话文本输入至经过训练的结构化摘要模型中。
在430，根据结构化摘要模型的输出得到针对各个字段的字段值。其中，所获得的各个字段值是对应的各个字段所需填写的结构化摘要。
需要说明的是，410、420以及430的操作可以参照图3中310、320以及330所述的操作说明。结构化摘要模型的训练可以参照图1-图3所述的训练过程说明。
图5示出了根据本说明书实施例的用于对结构化摘要模型进行训练的装置(以下称为结构化摘要模型训练装置500)的一个示例的方框图。
如图5所示，结构化摘要模型训练装置500包括：对话文本获取单元510、第一字段标记添加单元520、标签拼接单元530和模型训练单元540。
对话文本获取单元510，可以被配置为获取包括多轮对话的对话文本。
在一个示例中，对话文本获取单元510还可以被配置为：将所获取的多轮对话进行拼接，以得到对话文本。
在一个示例中，对话文本获取单元510还可以被配置为：从所得到的对话文本中筛选出与表单对应的应用场景相关的对话片段，每个对话片段包括至少一轮对话；以及将所筛选的对话片段进行拼接，以得到用于模型训练的对话文本。
第一字段标记添加单元520，可以被配置为将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至对话文本中，以得到带有字段标记的第一对话文本。
在一个示例中，各个字段标记作为前缀被添加至所述对话文本中。
标签拼接单元530，可以被配置为按照第一对话文本中的各个字段标记的顺序，将各个字段对应的标签进行拼接，以得到标签文本，其中，标签文本中的相邻两个标签之间使用分隔符来隔离。
模型训练单元540，可以被配置为使用第一对话文本和标签文本对所述结构化摘要模型进行训练。
在一个示例中，第一对话文本中的各个字段标记对应有初始化的第一特征向量，模型训练单元540还可以被配置为：使用第一对话文本和标签文本对所述结构化摘要模型进行多轮训练，直至满足第一训练结束条件，其中，在每轮训练中，结构化摘要模型的参数以及各个字段标记对应的第一特征向量被调整。
在一个示例中，标签文本中的各个分隔符对应有初始化的第二特征向量，在每轮训练中，结构化摘要模型的参数、各个字段标记对应的第一特征向量以及各个分隔符对应的第二特征向量被调整。
在一个示例中，结构化摘要模型训练装置500还包括：字段分类单元，该字段分类单元可以被配置为：按照表单中各个字段的填写难度对各个字段进行分类，以得到不同填写难度的字段类别，字段类别至少包括两类，每个字段类别包括至少一个字段。第一字段标记添加单元520还可以被配置为：将作为当前训练目标的目标字段类别以及比目标字段类别对应的填写难度更低的其他字段类别中所包括的各个字段对应的字段标记添加至对话文本中，以得到带有字段标记的第一对话文本，其中，目标字段类别根据按照填写难度递增的字段类别顺序依次确定。模型训练单元540还可以被配置为：使用所得到的第一对话文本和对应的标签文本对结构化摘要模型进行训练；在目标字段类别不是字段类别顺序中的最后一个字段类别、且满足针对目标字段类别的第二训练结束条件时，将字段类别顺序中的下一个字段类别确定为下一轮训练中的目标字段类别，并触发第一字段标记添加单元520；在目标字段类别是字段类别顺序中的最后一个字段类别、且满足针对目标字段类别的第二训练结束条件时，结束针对结构化摘要模型的训练。
图6示出了根据本说明书实施例的用于从对话文本中获取结构化摘要的装置(以下称为结构化摘要获取装置600)的一个示例的方框图。
如图6所示，结构化摘要获取装置600包括：第二字段标记添加单元610、对话文本输入单元620和字段值获得单元630。
第二字段标记添加单元610，可以被配置为将待填写表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本，其中，第二对话文本中的字段标记的顺序与结构化摘要模型的训练过程中所使用的第一对话文本中的字段标记的顺序相同。其中，结构化摘要模型根据图1-图3中的任一所述的方法训练得到。
对话文本输入单元620，可以被配置为将第二对话文本输入至经过训练的结构化摘要模型中。
字段值获得单元630，可以被配置为根据结构化摘要模型的输出得到针对各个字段的字段值。
在一个示例中，字段值获得单元630还可以被配置为：获取结构化摘要模型输出的各个字段对应的字段值所构成的字段值文本，其中，字段值文本中的相邻两个字段值之间使用分隔符来隔离，字段值文本中的各个字段值的排列顺序与第二对话文本中的各个字段标记的排列顺序对应一致；以及根据字段值文本中的分隔符以及各个字段值的排列顺序对字段值文本进行拆解，以得到各个字段对应的字段值。
以上参照图1到图6，对根据本说明书实施例的模型训练方法及装置、结构化摘要获取方法及装置的实施例进行了描述。
本说明书实施例的模型训练装置、结构化摘要获取装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中，模型训练装置、结构化摘要获取装置例如可以利用电子设备实现。
图7示出了根据本说明书实施例的用于实现模型训练方法的电子设备700的方框图。
如图7所示，电子设备700可以包括至少一个处理器710、存储器(例如，非易失性存储器)720、内存730和通信接口740，并且至少一个处理器710、存储器720、内存730和通信接口740经由总线750连接在一起。至少一个处理器710执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器710：获取包括多轮对话的对话文本；将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至所述对话文本中，以得到带有字段标记的第一对话文本；按照第一对话文本中的各个字段标记的顺序，将各个字段对应的标签进行拼接，以得到标签文本，其中，标签文本中的相邻两个标签之间使用分隔符来隔离；以及使用第一对话文本和标签文本对所述结构化摘要模型进行训练。
应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器710进行本说明书的各个实施例中以上结合图1-6描述的各种操作和功能。
图8示出了根据本说明书实施例的用于实现从对话文本中结构化摘要获取方法的电子设备800的方框图。
如图8所示，电子设备800可以包括至少一个处理器810、存储器(例如，非易失性存储器)820、内存830和通信接口840，并且至少一个处理器810、存储器820、内存830和通信接口840经由总线850连接在一起。至少一个处理器810执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器810：将待填写表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本，其中，第二对话文本中的字段标记的顺序与结构化摘要模型的训练过程中所使用的第一对话文本中的字段标记的顺序相同；将第二对话文本输入至经过训练的结构化摘要模型中；以及根据结构化摘要模型的输出得到针对各个字段的字段值，其中，结构化摘要模型根据提1-图3中的任一所述的方法训练得到。
应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器810进行本说明书的各个实施例中以上结合图1-6描述的各种操作和功能。
根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-6描述的各种操作和功能。
具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB、NET以及Python等，常规程序化编程语言如C语言、Visual Basic 2003、Perl、COBOL2002、PHP以及ABAP，动态编程语言如Python、Ruby和Groovy，或者其他编程语言等。该程序编码可以在用户计算机上运行，或者作为独立的软件包在用户计算机上运行，或者部分在用户计算机上运行另一部分在远程计算机运行，或者全部在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或者在云计算环境中，或者作为服务使用，比如软件即服务(SaaS)。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
以上结合附图详细描述了本说明书的实施例的可选实施方式，但是，本说明书的实施例并不限于上述实施方式中的具体细节，在本说明书的实施例的技术构思范围内，可以对本说明书的实施例的技术方案进行多种简单变型，这些简单变型均属于本说明书的实施例的保护范围。
本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (16)

1.一种用于对结构化摘要模型进行训练的方法，包括：
获取包括多轮对话的对话文本；
将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至所述对话文本中，以得到带有字段标记的第一对话文本；
按照所述第一对话文本中的各个字段标记的顺序，将所述各个字段对应的标签进行拼接，以得到标签文本，其中，所述标签文本中的相邻两个标签之间使用分隔符来隔离；以及
使用所述第一对话文本和所述标签文本对所述结构化摘要模型进行训练。
2.如权利要求1所述的方法，其中，各个字段标记作为前缀被添加至所述对话文本中。
3.如权利要求1所述的方法，其中，所述第一对话文本中的各个字段标记对应有初始化的第一特征向量，
使用所述第一对话文本和所述标签文本对所述结构化摘要模型进行训练包括：
使用所述第一对话文本和所述标签文本对所述结构化摘要模型进行多轮训练，直至满足第一训练结束条件，其中，在每轮训练中，所述结构化摘要模型的参数以及所述各个字段标记对应的第一特征向量被调整。
4.如权利要求3所述的方法，其中，所述标签文本中的各个分隔符对应有初始化的第二特征向量，
在每轮训练中，所述结构化摘要模型的参数、所述各个字段标记对应的第一特征向量以及所述各个分隔符对应的第二特征向量被调整。
5.如权利要求1所述的方法，还包括：
按照所述表单中各个字段的填写难度对所述各个字段进行分类，以得到不同填写难度的字段类别，所述字段类别至少包括两类，每个字段类别包括至少一个字段；
将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至所述对话文本中，以得到带有字段标记的第一对话文本包括：
将作为当前训练目标的目标字段类别以及比所述目标字段类别对应的填写难度更低的其他字段类别中所包括的各个字段对应的字段标记添加至所述对话文本中，以得到带有字段标记的第一对话文本，其中，所述目标字段类别根据按照填写难度递增的字段类别顺序依次确定；
使用所述第一对话文本和所述标签文本对所述结构化摘要模型进行训练包括：
使用所得到的第一对话文本和对应的标签文本对所述结构化摘要模型进行训练；
在所述目标字段类别不是所述字段类别顺序中的最后一个字段类别、且满足针对所述目标字段类别的第二训练结束条件时，将所述字段类别顺序中的下一个字段类别确定为下一轮训练中的目标字段类别，并返回执行将作为当前训练目标的目标字段类别以及比所述目标字段类别对应的填写难度更低的其他字段类别中所包括的各个字段对应的字段标记添加至所述对话文本中，以得到带有字段标记的第一对话文本的步骤；
在所述目标字段类别是所述字段类别顺序中的最后一个字段类别、且满足针对所述目标字段类别的第二训练结束条件时，结束针对所述结构化摘要模型的训练。
6.如权利要求1所述的方法，其中，获取包括多轮对话的对话文本包括：
将所获取的多轮对话进行拼接，以得到对话文本。
7.如权利要求6所述的方法，还包括：
从所得到的对话文本中筛选出与所述表单对应的应用场景相关的对话片段，每个对话片段包括至少一轮对话；以及
将所筛选的对话片段进行拼接，以得到用于模型训练的对话文本。
8.如权利要求1所述的方法，还包括：
将所述表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本，所述第二对话文本中的字段标记顺序与所述第一对话文本中的字段标记顺序相同；
将所述第二对话文本输入至经过训练的结构化摘要模型中；以及
根据所述结构化摘要模型的输出得到针对所述各个字段的字段值。
9.如权利要求8所述的方法，其中，根据所述结构化摘要模型的输出得到针对所述各个字段的字段值包括：
获取所述结构化摘要模型输出的所述各个字段对应的字段值所构成的字段值文本，其中，所述字段值文本中的相邻两个字段值之间使用分隔符来隔离，所述字段值文本中的各个字段值的排列顺序与所述第二对话文本中的各个字段标记的排列顺序对应一致；以及
根据所述字段值文本中的分隔符以及所述各个字段值的排列顺序对所述字段值文本进行拆解，以得到所述各个字段对应的字段值。
10.如权利要求1所述的方法，其中，经过训练的结构化摘要模型应用于保险公估的场景中。
11.一种用于从对话文本中获取结构化摘要的方法，包括：
将待填写表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本，其中，所述第二对话文本中的字段标记的顺序与结构化摘要模型的训练过程中所使用的第一对话文本中的字段标记的顺序相同；
将所述第二对话文本输入至经过训练的所述结构化摘要模型中；以及
根据所述结构化摘要模型的输出得到针对所述各个字段的字段值，
其中，所述结构化摘要模型根据权利要求1-10中的任一所述的方法训练得到。
12.一种用于对结构化摘要模型进行训练的装置，包括：
对话文本获取单元，获取包括多轮对话的对话文本；
第一字段标记添加单元，将结构化摘要模型所应用的表单中的各个字段对应的字段标记添加至所述对话文本中，以得到带有字段标记的第一对话文本；
标签拼接单元，按照所述第一对话文本中的各个字段标记的顺序，将所述各个字段对应的标签进行拼接，以得到标签文本，其中，所述标签文本中的相邻两个标签之间使用分隔符来隔离；以及
模型训练单元，使用所述第一对话文本和所述标签文本对所述结构化摘要模型进行训练。
13.一种用于从对话文本中获取结构化摘要的装置，包括：
第二字段标记添加单元，将待填写表单中的各个字段对应的字段标记添加至待处理对话文本中，以得到带有字段标记的第二对话文本，其中，所述第二对话文本中的字段标记的顺序与结构化摘要模型的训练过程中所使用的第一对话文本中的字段标记的顺序相同；
对话文本输入单元，将所述第二对话文本输入至经过训练的所述结构化摘要模型中；以及
字段值获得单元，根据所述结构化摘要模型的输出得到针对所述各个字段的字段值，
其中，所述结构化摘要模型根据权利要求1-10中的任一所述的方法训练得到。
14.一种电子设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求1-11中任一所述的方法。
15.一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任一所述的方法。
16.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任一所述的方法。
CN202210914555.1A 2022-08-01 2022-08-01 模型训练方法及装置、结构化摘要获取方法及装置 Active CN115145928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210914555.1A CN115145928B (zh) 2022-08-01 2022-08-01 模型训练方法及装置、结构化摘要获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210914555.1A CN115145928B (zh) 2022-08-01 2022-08-01 模型训练方法及装置、结构化摘要获取方法及装置

Publications (2)

Publication Number Publication Date
CN115145928A true CN115145928A (zh) 2022-10-04
CN115145928B CN115145928B (zh) 2024-08-16

Family

ID=83413495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210914555.1A Active CN115145928B (zh) 2022-08-01 2022-08-01 模型训练方法及装置、结构化摘要获取方法及装置

Country Status (1)

Country Link
CN (1) CN115145928B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009501A (zh) * 2023-10-07 2023-11-07 腾讯科技（深圳）有限公司 一种摘要信息生成方法及相关装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766524A (zh) * 2018-12-28 2019-05-17 重庆邮电大学 一种并购重组类公告信息抽取方法及系统
CN110442568A (zh) * 2019-07-30 2019-11-12 北京明略软件系统有限公司 字段标签的获取方法及装置、存储介质、电子装置
WO2021051871A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 文本抽取方法、装置、设备及存储介质
CN112860842A (zh) * 2021-03-05 2021-05-28 联仁健康医疗大数据科技股份有限公司 病历标注方法、装置及存储介质
CN112883180A (zh) * 2021-02-24 2021-06-01 挂号网（杭州）科技有限公司 模型训练方法、装置、电子设备和存储介质
US20210406739A1 (en) * 2020-06-29 2021-12-30 Optum Services (Ireland) Limited Predictive data analysis techniques using bidirectional encodings of structured data fields
US20220035990A1 (en) * 2020-07-29 2022-02-03 Docusign, Inc. Automated document tagging in a digital management platform
CN114153978A (zh) * 2022-02-07 2022-03-08 杭州恒生聚源信息技术有限公司 模型训练方法、信息抽取方法、装置、设备及存储介质
US20220108086A1 (en) * 2020-10-02 2022-04-07 Salesforce.Com, Inc. Coarse-to-fine abstractive dialogue summarization with controllable granularity
CN114297349A (zh) * 2021-12-30 2022-04-08 携程旅游信息技术（上海）有限公司 模型训练方法、对话摘要生成方法、系统、设备及介质
CN114356924A (zh) * 2021-12-31 2022-04-15 胜斗士(上海)科技技术发展有限公司 用于从结构化文档提取数据的方法和设备
CN114372057A (zh) * 2022-01-07 2022-04-19 中国工商银行股份有限公司 信息处理方法、装置、设备及介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766524A (zh) * 2018-12-28 2019-05-17 重庆邮电大学 一种并购重组类公告信息抽取方法及系统
CN110442568A (zh) * 2019-07-30 2019-11-12 北京明略软件系统有限公司 字段标签的获取方法及装置、存储介质、电子装置
WO2021051871A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 文本抽取方法、装置、设备及存储介质
US20210406739A1 (en) * 2020-06-29 2021-12-30 Optum Services (Ireland) Limited Predictive data analysis techniques using bidirectional encodings of structured data fields
US20220035990A1 (en) * 2020-07-29 2022-02-03 Docusign, Inc. Automated document tagging in a digital management platform
US20220108086A1 (en) * 2020-10-02 2022-04-07 Salesforce.Com, Inc. Coarse-to-fine abstractive dialogue summarization with controllable granularity
CN112883180A (zh) * 2021-02-24 2021-06-01 挂号网（杭州）科技有限公司 模型训练方法、装置、电子设备和存储介质
CN112860842A (zh) * 2021-03-05 2021-05-28 联仁健康医疗大数据科技股份有限公司 病历标注方法、装置及存储介质
CN114297349A (zh) * 2021-12-30 2022-04-08 携程旅游信息技术（上海）有限公司 模型训练方法、对话摘要生成方法、系统、设备及介质
CN114356924A (zh) * 2021-12-31 2022-04-15 胜斗士(上海)科技技术发展有限公司 用于从结构化文档提取数据的方法和设备
CN114372057A (zh) * 2022-01-07 2022-04-19 中国工商银行股份有限公司 信息处理方法、装置、设备及介质
CN114153978A (zh) * 2022-02-07 2022-03-08 杭州恒生聚源信息技术有限公司 模型训练方法、信息抽取方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009501A (zh) * 2023-10-07 2023-11-07 腾讯科技（深圳）有限公司 一种摘要信息生成方法及相关装置
CN117009501B (zh) * 2023-10-07 2024-01-30 腾讯科技（深圳）有限公司 一种摘要信息生成方法及相关装置

Also Published As

Publication number Publication date
CN115145928B (zh) 2024-08-16

Similar Documents

Publication Publication Date Title
CN110781276B (zh) 文本抽取方法、装置、设备及存储介质
CN111506722B (zh) 基于深度学习技术的知识图谱问答方法、装置及设备
CN110147726B (zh) 业务质检方法和装置、存储介质及电子装置
CN109992664B (zh) 争议焦点的标注分类方法、装置、计算机设备和存储介质
CN112328762A (zh) 基于文本生成模型的问答语料生成方法和装置
CN107526799A (zh) 一种基于深度学习的知识图谱构建方法
CN110032623B (zh) 用户问句与知识点标题的匹配方法和装置
CN111191275A (zh) 敏感数据识别方法、系统及其装置
CN111428448B (zh) 文本生成方法、装置、计算机设备及可读存储介质
CN109816200A (zh) 任务推送方法、装置、计算机设备和存储介质
CN113469067B (zh) 一种文档解析方法、装置、计算机设备和存储介质
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN114647713A (zh) 基于虚拟对抗的知识图谱问答方法、设备及存储介质
CN113742733A (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN111444718A (zh) 一种保险产品需求文档处理方法、装置及电子设备
CN115145928B (zh) 模型训练方法及装置、结构化摘要获取方法及装置
CN109408175B (zh) 通用高性能深度学习计算引擎中的实时交互方法及系统
CN110362592B (zh) 裁决指引信息推送方法、装置、计算机设备和存储介质
CN116127013A (zh) 一种个人敏感信息知识图谱查询方法和装置
CN114328942A (zh) 关系抽取方法、装置、设备、存储介质和计算机程序产品
CN112380861B (zh) 模型训练方法、装置及意图识别方法、装置
CN118115777A (zh) 零样本图像文本描述自动生成方法、装置、设备和介质
CN109660621A (zh) 一种内容推送方法及服务设备
CN117828079A (zh) 基于大语言模型的知识传承实现方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant