CN113553410B - 长文档处理方法、处理装置、电子设备和存储介质 - Google Patents

长文档处理方法、处理装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113553410B
CN113553410B CN202110732814.4A CN202110732814A CN113553410B CN 113553410 B CN113553410 B CN 113553410B CN 202110732814 A CN202110732814 A CN 202110732814A CN 113553410 B CN113553410 B CN 113553410B
Authority
CN
China
Prior art keywords
paragraph
paragraphs
training
model
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110732814.4A
Other languages
English (en)
Other versions
CN113553410A (zh
Inventor
回艳菲
焦振宇
孙叔琦
常月
李婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110732814.4A priority Critical patent/CN113553410B/zh
Publication of CN113553410A publication Critical patent/CN113553410A/zh
Application granted granted Critical
Publication of CN113553410B publication Critical patent/CN113553410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了一种长文档处理方法、处理装置、电子设备和存储介质，涉及自然语言处理、深度学习等人工智能领域。具体实现方案为：获取长文档和待搜索的目标问题，其中，长文档包括多个段落；从多个段落中确定段落标题与目标问题匹配的第一段落；根据多个段落之间的逻辑关系，从多个段落中确定与第一段落存在设定逻辑关系的第二段落；采用阅读理解模型在第一段落和第二段落中确定与目标问题对应的目标答案。由此，通过该方法基于段落之间的逻辑关系，从长文档中选择部分适当的段落采用阅读理解模型进行处理，以检索得到目标问题所需的目标答案，这样大大提高了召回率，且耗时短，进而提高了从长文档中获取有用信息的处理效率。

Description

长文档处理方法、处理装置、电子设备和存储介质
技术领域
本公开涉及自然语言处理、深度学习等人工智能领域，尤其涉及一种长文档处理方法、处理装置、电子设备和存储介质。
背景技术
人们的日常生活中会经常通过文档如法律条文、公司规定、文学作品等获取自己想要的信息。对于长文档，用户在理解文档内容的时候比较困难，具体体现在文档较长，需要较长的阅读时间。
因此，如何提高从文档中获取有用信息的处理效率是目前亟待解决的问题。
发明内容
本公开提供了一种长文档处理方法、处理装置、电子设备和存储介质。
根据本公开的一方面，提供了一种长文档处理方法，包括：
获取长文档和待搜索的目标问题，其中，所述长文档包括多个段落；
从所述多个段落中确定段落标题与所述目标问题匹配的第一段落；
根据所述多个段落之间的逻辑关系，从所述多个段落中确定与所述第一段落存在设定逻辑关系的第二段落；
采用阅读理解模型在所述第一段落和所述第二段落中确定与所述目标问题对应的目标答案。
根据本公开的另一方面，提供了一种长文档处理装置，包括：
获取模块，用于获取长文档和待搜索的目标问题，其中，所述长文档包括多个段落；
第一确定模块，用于从所述多个段落中确定段落标题与所述目标问题匹配的第一段落；
第二确定模块，用于根据所述多个段落之间的逻辑关系，从所述多个段落中确定与所述第一段落存在设定逻辑关系的第二段落；
第三确定模块，用于采用阅读理解模型在所述第一段落和所述第二段落中确定与所述目标问题对应的目标答案。
根据本公开的另一个方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行上述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例提供的一种长文档处理方法的流程示意图；
图2是根据本公开实施例提供的一种长文档离线处理方法的流程示意图；
图3是根据本公开实施例提供的一种长文档离线处理的过程图；
图4是根据本公开实施例提供的一种长文档在线处理的过程图；
图5是根据本公开实施例提供的一种预训练模型多任务学习的流程示意图；
图6是根据本公开实施例提供的一种预训练模型多任务学习的过程图；
图7是根据本公开生实施例提供的一种编码器工作的流程示意图；
图8是根据本公开实施例提供的一种长文档处理装置的框图；
图9是根据本公开实施例提供的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的长文档处理方法、处理装置、电子设备和存储介质。
在介绍本公开的长文档处理方法之前，先来介绍下相关技术对长文档是如何处理的。
人们的日常生活中会经常通过文档比如法律条文、公司规定、文学作品等获取自己想要的信息。对于一些互联网搜索引擎中未覆盖的文档，人们往往需要自己在文档中寻找有用的信息，但是当文档多达成百上千页时，即使文档中包含一些目录信息，但是对于一些信息的查找也是杯水车薪。
对于较长的文档，用户理解文档内容的时候比较困难，体现在：文档长，阅读成本过高；文档标题信息缺失，通常根据文档的少量标题无法快速获取一些特定的信息；章节直接关系不明确，更加剧了用户理解长文档的困难程度。
比如，用户想要在公司相关文件中找到”商保能不能报销牙齿正畸？哪些牙齿的费用可以报销？”。用户在面对大量的文档时，如果每一篇都进行细致的阅读是很不现实的，一般会先找到商保这一部分的介绍，然后再查找关于牙齿正畸相关的内容、牙齿医疗报销相关的内容，但是面对这些冗长的文字普通人往往很快就会失去耐性。因此，如何能够通过机器帮助用户快速理解一篇文档中的内容。
相关技术中主要存在以下两种方法：
第一种，关键词+匹配方法：利用用户问题中的关键词在文档中查找答案可能存在的位置，然后利用语义匹配找到最可能的答案片段；
第二种，阅读理解方法：利用阅读理解模型在文本段落中找到用户问题对应的答案片段。
但是，上述两种方法具有以下缺点：
召回率低：通常在长文档中，对于一件事物或观点的描述存在于多个段落中，仅通过关键词进行检索会遗漏大量关键的信息；
耗时长：如果采用相关技术中的阅读理解方法，首先需要找到答案可能存在的段落，然后依次判断哪个段落中存在目标答案。
图1是根据本公开实施例提供的一种长文档处理方法的流程示意图。
本公开实施例的长文档处理方法，可由本公开实施例提供的长文档处理装置执行，该装置可配置于电子设备中。
如图1所示，本公开实施例的长文档处理方法，包括以下步骤：
步骤S101，获取长文档和待搜索的目标问题，其中，长文档中包括多个段落。
其中，长文档可以是类似*.docx类型等带有排版格式的长文档，也可以是*.txt类型等不带有排版格式的长文档。
待搜索的目标问题的类型可包括方法类、实体类、定义类、评价类、是非类、原因类、选择类、数字类和普通描述类等，目标问题的类型识别标准可参见下表1的描述。
表1
步骤S102，从多个段落中确定段落标题与目标问题匹配的第一段落。
在得到长文档后，对长文档中每一个段落进行子标题抽取，以得到每一个段落的段落标题，并将目标问题与段落标题进行匹配，以得到与目标问题匹配的至少一个段落，作为第一段落。
步骤S103，根据多个段落之间的逻辑关系，从多个段落中确定与第一段落存在设定逻辑关系的第二段落。
在获取到长文档之后，还需获取长文档中段落之间的逻辑关系，其中，逻辑关系可包括总分、并列、因果、递进/承接、转折等，具体可通过下表2中描述的判断依据获取多个段落之间的逻辑关系：
表2
在获取到待搜索的目标问题之后，可先识别出目标问题的类型，并根据类型确定设定逻辑关系。该设定逻辑关系不是恒定的，而是可以根据目标问题的类型进行确定，例如，当目标问题为方法类时，设定逻辑关系可包括并列关系、递进/承接关系；当目标问题为实体类时，设定逻辑关系可包括因果关系、递进/承接关系；当目标问题为定义类时，设定逻辑关系可包括并列关系、总分关系；当目标问题为评价类时，设定逻辑关系可包括转折关系、并列关系；当目标问题为是非类时，设定逻辑关系可包括总分关系、因果关系、转折关系；当目标问题为原因类时，设定逻辑关系可包括递进/承接关系、并列关系；当目标问题为选择类时，设定逻辑关系可包括并列关系；当目标问题为数字类时，设定逻辑关系可包括递进/承接关系、并列关系；当目标问题为普通描述类时，设定逻辑关系可包括递进/承接关系、因果关系、转折关系。
在获取到长文档中段落之间的逻辑关系和设定逻辑关系之后，确定长文档中与第一段落存在设定逻辑关系的至少一个段落，作为第二段落。
具体在获取到长文档之后，还需要获取长文档中多个段落之间的逻辑关系，并在获取到多个段落之间的逻辑关系之后，从多个段落中确定与第一段落存在设定逻辑关系的第二段落。
步骤S104，采用阅读理解模型在第一段落和第二段落中确定与目标问题对应的目标答案。
在获取到第一段落和第二段落之后，利用阅读理解模型确定具有设定逻辑关系的第一段落和第二段落中是否存在目标答案，若存在目标答案，则返回长文档中的答案片段，以得到对应的目标答案。
由此，本公开实施例的长文档处理方法，先获取包括多个段落的长文档和待所搜的目标问题，并从多个段落中确定段落标题与目标问题匹配的第一段落，根据多个段落之间的逻辑关系，从多个段落中确定与第一段落存在设定关系的第二段落，采用阅读理解模型在第一段落和第二段落中确定与目标问题对应的目标答案。该方法基于段落之间的逻辑关系，从长文档中选择部分适当的段落，再采用阅读理解模型进行处理，以检索得到目标问题所需的目标答案，这样大大提高了召回率且耗时短，进而提高了从长文档中获取有用信息的处理效率。
为了使得用户更快地知道每个段落的主要内容，以及每两个段落之间的逻辑关系，如图2所示，上述的方法还包括：
步骤S201，采用主题模型对长文档中各段落进行主题识别，得到各段落的段落标题。
该步骤是对长文档进行主题识别，具体在得到长文档后，采用主题模型对长文档中的每一个段落进行子标题抽取，以得到每一个段落的段落标题，从而获取每个段落的核心信息，帮助用户更快地知道每一个段落的主要内容。
步骤S202，根据各段落的段落标题在长文档中的排版，确定多个段落之间的层级关系。
该步骤是对长文档进行段落层级的划分，具体可根据抽取出的段落标题在长文档中的排版，确定该段落标题对应段落在整个长文档中的层级(即该段落标题属于几级标题)，进而获取到多个段落之间的层级关系。
举例说明，对于类似*.docx类型等带有排版格式的长文档，由于该类型的长文档自身带有标题信息和层级信息，因此，可以通过解析该类型的长文档直接获取各段落标题对应段落在整个长文档中的层级，进而获取到多个段落之间的层级关系。
对于类似*.txt类型等不带有排版格式的长文档，先通过分类方法确定长文档中段落标题所在行，再通过段落标题、段落标题之间的位置关系、段落标题序号等信息，结合标题语义确定段落标题所在的层级，进而获取到多个段落之间的层级关系。
下面以图3所示的长文档的层级关系图为例进行说明长文档的层级关系，该长文档可至少包括一级标题、二级标题和三级标题，其中，一级标题为标题1-段落1(表示段落1的段落标题为标题1)；二级标题包括标题2-段落2和标题5-段落5；三级标题包括标题3-段落3、标题4-段落4和标题6-段落6。
步骤S203，将属于同一层级和/或相邻层级的两段落确定为待确定逻辑关系的两段落。
继续以图3为例进行说明，待确定逻辑关系的两段落可以为：段落1与段落2、段落1与段落5、段落2与段落3、段落2与段落4、段落2与段落5、段落5与段落6、段落3与段落4、段落4与段落6。
步骤S204，对待确定逻辑关系的两段落进行逻辑关系识别，得到两段落之间的逻辑关系。
在本公开实施例一种可能的实现方式中，在获取到长文档后，先采用预训练模型对各段落进行编码，得到各段落的编码序列，再将待确定逻辑关系的两段落的编码序列输入第一分类模型进行分类，得到两段落之间的逻辑关系。
继续以图3为例进行说明，段落1与段落2之间的逻辑关系为总分、段落1与段落5之间的逻辑关系为总分、段落2与段落3之间的逻辑关系为总分、段落2与段落4之间的逻辑关系为总分、段落2与段落5之间的逻辑关系为并联、段落5与段落6之间的逻辑关系为总分、段落3与段落4之间的逻辑关系为递进、段落4与段落6之间的逻辑关系为因果。
由此，本公开可通过离线方式对长文档进行分析，包括标题抽取和篇章结构分析，篇章结构分析包括段落层级划分和段落关系分类。其中，标题抽取是通过采用主题模型对长文档中各段落进行主题识别，得到各段落的段落标题，以获取每个段落的核心信息，便于用户更快地知道每一个段落的主要内容；段落层级划分是根据各段落的段落标题在长文档中的排版，确定多个段落之间的层级关系，以便于用户更快地知道长文档中各个段落之间的层级关系；段落关系分类是通过将属于同一层级和/或相邻层级的两段落进行逻辑关系识别，得到两段落之间的逻辑关系，以便于用户更快地知道长文档各段落之间的关联。
进一步，本公开通过在线方式在长文档中的段落中确定与所述目标问题对应的目标答案。具体流程参见图4，包括候选段落查找、阅读理解两部分。候选段落查找包括召回候选段落和扩展候选段落，其中，候选段落查找是利用待搜索的目标问题及每个段落的小标题确定目标答案可能存在的段落，确定候选段落(第一段落)，例如，候选段落4；扩展候选段落是根据离线系统中获取到的文档层级关系图(图3)，找到与候选段落4选择因果关系的段落，第二段落，例如，候选段落6。阅读理解是根据多个候选段落，利用阅读理解模型确定候选段落(候选段落4和候选段落6)中是否存在目标答案，若存在则会返回长文档中的答案片段。由此，该方法基于段落之间的逻辑关系，从长文档中选择部分适当的段落，再采用阅读理解模型进行处理，以检索得到目标问题所需的目标答案，这样大大提高了召回率且耗时短，进而提高了从长文档中获取有用信息的处理效率。
为了大大节省训练资源和内存资源，如图5所述，上述的方法，还包括：
步骤S501，将训练文档中各段落和训练问题输入预训练模型进行编码，得到训练文档中各段落的编码序列，以及训练问题的编码序列。
其中，训练文档中包括多个训练段落，可以为类似*.docx类型等带有排版格式的长文档，也可以为*.txt类型等不带有排版格式的长文档。
训练问题包括各种类型的问题，如方法类、实体类、定义类、评价类、是非类、原因类、选择类、数字类和普通描述类等。
步骤S502，将训练文档中任两段落的编码序列输入第一分类模型，得到训练文档中任两段落的预测逻辑关系。
步骤S503，将训练文档中各段落的编码序列输入主题模型，得到训练文档中各段落的预测段落标题。
步骤S504，将训练文档中任两段落的编码序列输入第二分类模型，得到训练文档中任两段落之间的预测层级关系。
步骤S505，将训练文档中任一段落的编码序列和训练问题的编码序列输入阅读理解模型，得到预测答案。
步骤S506，根据预测逻辑关系、预测层级关系、预测段落标题和预测答案分别与对应期望之间的差异，对预训练模型、第一分类模型、主题模型、第二分类模型和阅读理解模型中的至少一个进行模型训练。
需要说明的是，学习文本的向量空间表示，例如单词和句子，是许多自然语言理解任务的基础。本公开结合多任何学习和语言模型预训练的优点，提出了解决长文档理解问题的多任务学习方法。由于多任务学习和语言模型预训练是互补的技术，可以结合起来改进文本表示的学习，以提高各种自然语言处理任务的性能，并且可以节省大量的计算资源。
本公开采用预训练模型作为共享的文本编码层，如图6所示，本编码层在所有任务中共享，而顶层是用于特定任务的输出，结合了不同类型的自然语言处理任务，包括：段落标题抽取、段落层级划分、段落关系分类和阅读理解。
具体是根据训练文档中各段落的预测段落标题与主题模型的损失函数1得到的期望值1之间的差异，对预训练模型、主题模型中的至少一个进行模型训练；根据训练文档中中任两段落之间的预测层级关系与第二分类模型的损失函数2得到的期望值2之间的差异，对预训练模型、第二分类模型中的至少一个进行模型训练；根据训练文档中任两段落的预测逻辑关系与第一分类模型的损失函数3得到的期望值3之间的差异，对预训练模型、第一分类模型中的至少一个进行模型训练；根据预测答案与阅读理解模型的损失函数4得到的期望值4之间的差异，对预训练模型、阅读理解模型中的至少一个进行模型训练。
由此，本公开通过同一个预训练模型为基础，利用多任务学习得到处理多任务的模型，这样简化了模型、大大节省了训练资源和内存资源。
为了提高得到各段落编码序列的准确性，预训练模型可包括第一编码器和第二编码器，如图7所述，上述采用预训练模型对各段落进行编码，得到各段落的编码序列的过程，包括：
步骤S701，将任一段落的字符输入第一编码器进行字符编码，得到第一编码器输出的编码序列，其中，第一编码器输出的编码序列中包括各字符的字符编码。
结合图6，将X：任一个单词序列(任一段落的字符)输入第一编码器，该单词序列(该段落的字符)在第一编码器中被表示为一个嵌入向量序列，每个单词作为一个字符标记(token)。
步骤S702，将第一编码器输出的编码序列输入第二编码器进行语义编码，以得到对应段落的编码序列，其中，各段落的编码序列中包括各字符的语义编码。
继续结合图6，第一编码器在得到嵌入向量序列之后，将编码序列输入第二编码器，第二编码器通过自我注意机制获取每个单词的上下文信息，并生成上下文嵌入序列。
下面继续结合图6分别以第一编码器为lexicon编码器、第二编码器为transformer编码器为例进行说明。
lexicon编码器(I1)：作为输入层，如果输入的X＝{x1，…，xm}是长度为m的标记(token)序列，其中的第一个标记token x1是[CLS]token，即classification(分类)标记。如果输入的X是一个段落，则用一个特殊标记[SEP]分开不同的句子。lexicon编码器将X映射到一个输入嵌入向量序列，每个token作为该嵌入向量序列的一个元素，由相应的单词、段落和位置嵌入求和构建。
transformer编码器(l2)：作为上下文嵌入层，可以使用多层双向transformer编码器，将输入表示向量(l1)映射为上下文嵌入向量序列C∈Rd x m。这是不同任务之间的共享表示。
由此，本公开先通过将任一段落的字符先输入第一编码器进行字符编码，得到第一编码器输出的编码序列，再将第一编码器输出的编码序列输入第二编码器进行语义编码，以得到对应段落的编码序列，即通过语境、语义来更准确地表达出段落的编码序列。
为了提高获取设定逻辑关系的准确率，在获取到目标问题之后，先对目标问题进行问题类型识别，再根据目标问题所属的问题类型，确定设定逻辑关系。
在本公开的一种可以得到目标问题所属的问题类型的可能的实现方式中，在获取到目标问题之后，先获取目标问题的编码序列，再将目标问题的编码序列输入第三分类模型进行分类，以得到目标问题所属的问题类型。
在本公开的另一种可以得到目标问题所属的问题类型的可能的实现方式中，在获取到目标问题之后，对目标问题的检索关键词进行分类，得到目标问题所属的问题类型。
需要说明的是，针对不同的问题类型，设定逻辑关系也会随之改变。用户根据在实际情况下解答不同类型问题时，通常会利用的段落关系去寻找目标答案的经验，总结出了下表3，即不同问题类型，对应不同的设定逻辑关系。
表3
问题类型 设定逻辑关系
方法类 并列关系、递进/承接关系
实体类 因果关系、递进/承接关系
定义类 并列关系、总分关系
评价类 转折关系、并列关系
是非类 总分关系、因果关系、转折关系
原因类 递进/承接关系、并列关系
选择类 并列关系
数字类 递进/承接关系、并列关系
普通描述类 递进/承接关系、因果关系、转折关系
综上所述，本公开的长文档处理方法，先获取包括多个段落的长文档和待搜索的目标问题，从多个段落中确定段落标题与目标问题匹配的第一段落，根据多个段落之间的逻辑关系，从多个段落中确定与第一段落存在设定逻辑关系的第二段落，再采用阅读理解模型在第一段落和第二段落中确定与目标问题对应的目标答案。由此，该方法基于段落之间的逻辑关系，从长文档中选择部分适当的段落，再采用阅读理解模型进行处理，以检索得到目标问题所需的目标答案，这样大大提高了召回率且耗时短，进而提高了从长文档中获取有用信息的处理效率。并且，通过同一个预训练模型为基础，利用多任务学习得到处理多任务的模型，简化了模型、大大节省了训练资源和内存资源。
为了实现上述实施例，本公开实施例还提出了一种长文档处理装置。
图8是根据本公开实施例提供的一种长文档处理装置的结构示意图。
如图8所示，本公开实施例的长文档处理装置800，包括：获取模块810、第一确定模块820、第二确定模块830和第三确定模块840。
其中，获取模块810，用于获取长文档和待搜索的目标问题，其中，长文档包括多个段落；
第一确定模块820，用于从多个段落中确定段落标题与目标问题匹配的第一段落；
第二确定模块830，用于根据多个段落之间的逻辑关系，从多个段落中确定与第一段落存在设定逻辑关系的第二段落；
第三确定模块840，用于采用阅读理解模型在第一段落和第二段落中确定与目标问题对应的目标答案。
在本公开实施例一种可能的实现方式中，上述装置还包括：
主题识别模块，用于采用主题模型对长文档中各段落进行主题识别，得到各段落的段落标题；
第四确定模块，用于根据各段落的段落标题在长文档中的排版，确定多个段落之间的层级关系；
第五确定模块，用于将属于同一层级和/或相邻层级的两段落确定为待确定逻辑关系的两段落；
逻辑关系识别模块，用于对待确定逻辑关系的两段落进行逻辑关系识别，得到两段落之间的逻辑关系。
在本公开实施例一种可能的实现方式中，逻辑关系识别模块，包括：
编码单元，用于采用预训练模型对各段落进行编码，得到各段落的编码序列；
第一分类单元，将待确定逻辑关系的两段落的编码序列输入第一分类模型进行分类，得到两段落之间的逻辑关系。
在本公开实施例一种可能的实现方式中，上述装置还包括：
编码模块，用于将训练文档中各段落和训练问题输入预训练模型进行编码，得到训练文档中各段落的编码序列，以及训练问题的编码序列；
第一分类模块，用于将训练文档中任两段落的编码序列输入第一分类模型，得到训练文档中任两段落的预测逻辑关系；
主题模块，用于将训练文档中各段落的编码序列输入主题模型，得到训练文档中各段落的预测段落标题；
第二分类模块，用于将训练文档中任两段落的编码序列输入第二分类模型，得到训练文档中任两段落之间的预测层级关系；
阅读理解模块，用于将训练文档中任一段落的编码序列和训练问题的第一编码序列输入阅读理解模型，得到预测答案；
模型训练模块，用于根据预测逻辑关系、预测层级关系、预测段落标题和预测答案分别与对应期望之间的差异，对预训练模型、第一分类模型、主题模型、第二分类模型和阅读理解模型中的至少一个进行模型训练。
在本公开实施例一种可能的实现方式中，预训练模型包括第一编码器和第二编码器；
编码单元，包括：
字符编码子单元，用于将任一段落的字符输入第一编码器进行字符编码，得到第一编码器输出的编码序列，其中，第一编码器输出的编码序列中包括各字符的字符编码；
语义编码子单元，用于将第一编码器输出的编码序列输入第二编码器进行语义编码，以得到对应段落的编码序列，其中，各段落的编码序列中包括各字符的语义编码。
在本公开实施例一种可能的实现方式中，上述装置还包括：
问题类型识别模块，用于对目标问题进行问题类型识别；
第六确定模块，用于根据目标问题所属的问题类型，确定设定逻辑关系。
在本公开实施例一种可能的实现方式中，问题类型识别模块，包括：
获取单元，用于获取目标问题的编码序列；
第二分类单元，用于将目标问题的编码序列输入第三分类模型进行分类，得到目标问题所属的问题类型。
需要说明的是，前述长文档处理方法实施例的解释说明，也适用于该实施例的长文档处理装置，故在此不再赘述。
根据本公开实施例的长文档处理装置，通过获取模块获取包括多个段落的长文档和待搜索的目标问题，通过第一确定模块从多个段落中确定段落标题与目标问题匹配的第一段落，通过第二确定模块根据多个段落之间的逻辑关系，从多个段落中确定与第一段落存在设定逻辑关系的第二段落，第三确定模块采用阅读理解模型在第一段落和第二段落中确定与目标问题对应的目标答案。由此，该装置基于段落之间的逻辑关系，从长文档中选择部分适当的段落，再采用阅读理解模型进行处理，以检索得到目标问题所需的目标答案，这样大大提高了召回率且耗时短，进而提高了从长文档中获取有用信息的处理效率。并且，通过同一个预训练模型为基础，利用多任务学习得到处理多任务的模型，简化了模型、大大节省了训练资源和内存资源。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)902中的计算机程序或者从存储单元908加载到RAM(Random AccessMemory，随机访问/存取存储器)903中的计算机程序，来执行各种适当的动作和处理。在RAM903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。I/O(Input/Output，输入/输出)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如长文档处理方法。例如，在一些实施例中，长文档处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的长文档处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行长文档处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种长文档处理方法，包括：
获取长文档和待搜索的目标问题，其中，所述长文档包括多个段落；
从所述多个段落中确定段落标题与所述目标问题匹配的第一段落；
根据所述多个段落之间的逻辑关系，从所述多个段落中确定与所述第一段落存在设定逻辑关系的第二段落；
采用阅读理解模型在所述第一段落和所述第二段落中确定与所述目标问题对应的目标答案；
其中，所述多个段落之间的逻辑关系的识别过程，包括：
采用主题模型对所述长文档中各所述段落进行主题识别，得到各所述段落的段落标题；
根据各所述段落的段落标题在所述长文档中的排版，确定所述多个段落之间的层级关系；
将属于同一层级和/或相邻层级的两段落确定为待确定逻辑关系的两段落；
将任一段落的字符输入预训练模型中的第一编码器进行字符编码，得到所述第一编码器输出的编码序列，其中，所述第一编码器输出的编码序列中包括各字符的字符编码；
将所述第一编码器输出的编码序列输入所述预训练模型中的第二编码器进行语义编码，以得到对应段落的编码序列，其中，各所述段落的编码序列中包括各字符的语义编码；
将所述待确定逻辑关系的两段落的编码序列输入第一分类模型进行分类，得到所述两段落之间的逻辑关系。
2.根据权利要求1所述的方法，其中，所述方法还包括：
将训练文档中各段落和训练问题输入所述预训练模型进行编码，得到所述训练文档中各段落的编码序列，以及所述训练问题的编码序列；
将所述训练文档中任两段落的编码序列输入所述第一分类模型，得到所述训练文档中任两段落的预测逻辑关系；
将所述训练文档中各段落的编码序列输入主题模型，得到所述训练文档中各段落的预测段落标题；
将所述训练文档中任两段落的编码序列输入第二分类模型，得到所述训练文档中任两段落之间的预测层级关系；
将所述训练文档中任一段落的编码序列和所述训练问题的编码序列输入阅读理解模型，得到预测答案；
根据所述预测逻辑关系、预测层级关系、预测段落标题和预测答案分别与对应期望之间的差异，对所述预训练模型、所述第一分类模型、所述主题模型、所述第二分类模型和所述阅读理解模型中的至少一个进行模型训练。
3.根据权利要求1或2所述的方法，所述方法还包括：
对所述目标问题进行问题类型识别；
根据所述目标问题所属的问题类型，确定所述设定逻辑关系。
4.根据权利要求3所述的方法，其中，所述对所述目标问题进行问题类型识别，包括：
获取所述目标问题的编码序列；
将所述目标问题的编码序列输入第三分类模型进行分类，得到所述目标问题所属的问题类型。
5.一种长文档处理装置，包括：
获取模块，用于获取长文档和待搜索的目标问题，其中，所述长文档包括多个段落；
第一确定模块，用于从所述多个段落中确定段落标题与所述目标问题匹配的第一段落；
第二确定模块，用于根据所述多个段落之间的逻辑关系，从所述多个段落中确定与所述第一段落存在设定逻辑关系的第二段落；
第三确定模块，用于采用阅读理解模型在所述第一段落和所述第二段落中确定与所述目标问题对应的目标答案；
其中，所述装置还包括：
主题识别模块，用于采用主题模型对所述长文档中各所述段落进行主题识别，得到各所述段落的段落标题；
第四确定模块，用于根据各所述段落的段落标题在所述长文档中的排版，确定所述多个段落之间的层级关系；
第五确定模块，用于将属于同一层级和/或相邻层级的两段落确定为待确定逻辑关系的两段落；
逻辑关系识别模块，用于将任一段落的字符输入预训练模型中的第一编码器进行字符编码，得到所述第一编码器输出的编码序列，其中，所述第一编码器输出的编码序列中包括各字符的字符编码，并将所述第一编码器输出的编码序列输入所述预训练模型中的第二编码器进行语义编码，以得到对应段落的编码序列，其中，各所述段落的编码序列中包括各字符的语义编码，以及将所述待确定逻辑关系的两段落的编码序列输入第一分类模型进行分类，得到所述两段落之间的逻辑关系。
6.根据权利要求5所述的装置，其中，所述装置还包括：
编码模块，用于将训练文档中各段落和训练问题输入所述预训练模型进行编码，得到所述训练文档中各段落的编码序列，以及所述训练问题的编码序列；
第一分类模块，用于将所述训练文档中任两段落的编码序列输入所述第一分类模型，得到所述训练文档中任两段落的预测逻辑关系；
主题模块，用于将所述训练文档中各段落的编码序列输入主题模型，得到所述训练文档中各段落的预测段落标题；
第二分类模块，用于将所述训练文档中任两段落的编码序列输入第二分类模型，得到所述训练文档中任两段落之间的预测层级关系；
阅读理解模块，用于将所述训练文档中任一段落的编码序列和所述训练问题的第一编码序列输入阅读理解模型，得到预测答案；
模型训练模块，用于根据所述预测逻辑关系、预测层级关系、预测段落标题和预测答案分别与对应期望之间的差异，对所述预训练模型、所述第一分类模型、所述主题模型、所述第二分类模型和所述阅读理解模型中的至少一个进行模型训练。
7.根据权利要求5或6所述的装置，所述装置还包括：
问题类型识别模块，用于对所述目标问题进行问题类型识别；
第六确定模块，用于根据所述目标问题所属的问题类型，确定所述设定逻辑关系。
8.根据权利要求7所述的装置，其中，所述问题类型识别模块，包括：
获取单元，用于获取所述目标问题的编码序列；
第二分类单元，用于将所述目标问题的编码序列输入第三分类模型进行分类，得到所述目标问题所属的问题类型。
9. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。
CN202110732814.4A 2021-06-30 2021-06-30 长文档处理方法、处理装置、电子设备和存储介质 Active CN113553410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732814.4A CN113553410B (zh) 2021-06-30 2021-06-30 长文档处理方法、处理装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732814.4A CN113553410B (zh) 2021-06-30 2021-06-30 长文档处理方法、处理装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113553410A CN113553410A (zh) 2021-10-26
CN113553410B true CN113553410B (zh) 2023-09-22

Family

ID=78131102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732814.4A Active CN113553410B (zh) 2021-06-30 2021-06-30 长文档处理方法、处理装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113553410B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115587175B (zh) * 2022-12-08 2023-03-14 阿里巴巴达摩院(杭州)科技有限公司 人机对话及预训练语言模型训练方法、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344234A (zh) * 2018-09-06 2019-02-15 和美（深圳）信息技术股份有限公司 机器阅读理解方法、装置、计算机设备和存储介质
CN109791549A (zh) * 2016-07-29 2019-05-21 微软技术许可有限责任公司 面向对话的机器用户交互
CN109863487A (zh) * 2016-10-07 2019-06-07 国立研究开发法人情报通信研究机构 非事实型问答系统和方法及用于其的计算机程序
CN112115238A (zh) * 2020-10-29 2020-12-22 电子科技大学 一种基于bert和知识库的问答方法和系统
WO2021082953A1 (zh) * 2019-10-29 2021-05-06 平安科技（深圳）有限公司 机器阅读理解方法、设备、存储介质及装置
CN112818093A (zh) * 2021-01-18 2021-05-18 平安国际智慧城市科技股份有限公司 基于语义匹配的证据文档检索方法、系统及存储介质
CN112988969A (zh) * 2021-03-09 2021-06-18 北京百度网讯科技有限公司 用于文本检索的方法、装置、设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791549A (zh) * 2016-07-29 2019-05-21 微软技术许可有限责任公司 面向对话的机器用户交互
CN109863487A (zh) * 2016-10-07 2019-06-07 国立研究开发法人情报通信研究机构 非事实型问答系统和方法及用于其的计算机程序
CN109344234A (zh) * 2018-09-06 2019-02-15 和美（深圳）信息技术股份有限公司 机器阅读理解方法、装置、计算机设备和存储介质
WO2021082953A1 (zh) * 2019-10-29 2021-05-06 平安科技（深圳）有限公司 机器阅读理解方法、设备、存储介质及装置
CN112115238A (zh) * 2020-10-29 2020-12-22 电子科技大学 一种基于bert和知识库的问答方法和系统
CN112818093A (zh) * 2021-01-18 2021-05-18 平安国际智慧城市科技股份有限公司 基于语义匹配的证据文档检索方法、系统及存储介质
CN112988969A (zh) * 2021-03-09 2021-06-18 北京百度网讯科技有限公司 用于文本检索的方法、装置、设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Natural Language Inference in Context - Investigating Contextual Reasoning over Long Texts;Hanmeng Liu;AAAI Technical Track on Speech and Natural Language Processing II;全文 *
T-Reader:一种基于自注意力机制的多任务深度阅读理解模型;郑玉昆;李丹;范臻;刘奕群;张敏;马少平;;中文信息学报(11);全文 *

Also Published As

Publication number Publication date
CN113553410A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
EP3851975A1 (en) Method and apparatus for generating text topics, and electronic device
CN110276023B (zh) Poi变迁事件发现方法、装置、计算设备和介质
TW202020691A (zh) 特徵詞的確定方法、裝置和伺服器
CN113553412B (zh) 问答处理方法、装置、电子设备和存储介质
CN110083832B (zh) 文章转载关系的识别方法、装置、设备及可读存储介质
CN107577663B (zh) 一种关键短语抽取方法和装置
US20160188569A1 (en) Generating a Table of Contents for Unformatted Text
CN110737774A (zh) 图书知识图谱的构建、图书推荐方法、装置、设备及介质
TW201826145A (zh) 從中文語料庫提取知識的方法和系統
US20230114673A1 (en) Method for recognizing token, electronic device and storage medium
CN112784009A (zh) 一种主题词挖掘方法、装置、电子设备及存储介质
CN114330335A (zh) 关键词抽取方法、装置、设备及存储介质
CN110019820B (zh) 一种病历中主诉与现病史症状时间一致性检测方法
CN113553410B (zh) 长文档处理方法、处理装置、电子设备和存储介质
JP2021501387A (ja) 自然言語処理のための表現を抽出するための方法、コンピュータ・プログラム及びコンピュータ・システム
CN115658903B (zh) 文本分类方法、模型训练方法、相关装置及电子设备
CN115048523B (zh) 文本分类方法、装置、设备以及存储介质
CN112926297B (zh) 处理信息的方法、装置、设备和存储介质
KR20220024251A (ko) 이벤트 라이브러리를 구축하는 방법 및 장치, 전자 기기, 및 컴퓨터 판독가능 매체
CN114417862A (zh) 文本匹配方法、文本匹配模型的训练方法和装置
CN116069914B (zh) 训练数据的生成方法、模型训练方法以及装置
CN115795023B (zh) 文档推荐方法、装置、设备以及存储介质
CN114201607B (zh) 一种信息处理的方法和装置
CN115828915B (zh) 实体消歧方法、装置、电子设备和存储介质
CN117851542A (zh) 信息查询方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant