CN111985238A - 一种答案生成方法及设备 - Google Patents

一种答案生成方法及设备 Download PDF

Info

Publication number
CN111985238A
CN111985238A CN202010620386.1A CN202010620386A CN111985238A CN 111985238 A CN111985238 A CN 111985238A CN 202010620386 A CN202010620386 A CN 202010620386A CN 111985238 A CN111985238 A CN 111985238A
Authority
CN
China
Prior art keywords
entity
standard
text
attribute
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010620386.1A
Other languages
English (en)
Inventor
赵建宇
李让
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202010620386.1A priority Critical patent/CN111985238A/zh
Publication of CN111985238A publication Critical patent/CN111985238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种答案生成方法及设备，所述方法包括：获得输入文本，所述输入文本用于表征用户问题；对所述输入文本进行应答处理，获得与所述输入文本对应的应答文本；通过评价模型对所述应答文本进行准确度评价，如果评价为所述应答文本的准确度满足特定条件，根据所述应答文本确定与所述输入文本对应的输出文本；其中，所述输出文本用于表征与所述用户问题对应的问题答案；所述评价模型由生成对抗网络根据标准实体关系对训练获得，本方法通过评价模型对应答文本进行评价，使输出文本在满足内容上更加准确的情况下，句式上能够更加多样，提高了输出文本的多样性、智能性与针对性。

Description

一种答案生成方法及设备
技术领域
本发明涉及文本处理技术领域，尤其涉及一种答案生成方法及设备。
背景技术
答案生成是一个将源文本映射到目标文本过程。通常应用在智能客服领域和其他领域，可用于将对应用户询问的源文本映射到答案文本，以解答用户的询问。目前常见的答案生成方式是利用神经网络自动生成的方式将源文本编码为一个语义向量，然后对语义向量进行解码，逐词生成得到对应文本。但是，由于神经网络的训练是数据驱动的，生成过程中会被大量其他数据影响导致生成文本的内容不可控，影响生成文本的准确性。
发明内容
本发明实施例提供了一种答案生成方法及设备，具有生成准确性较高的答案的特点。
本发明实施例一方面提供一种答案生成方法，所述方法包括：获得输入文本，所述输入文本用于表征用户问题；对所述输入文本进行应答处理，获得与所述输入文本对应的应答文本；通过评价模型对所述应答文本进行准确度评价，如果评价为所述应答文本的准确度满足特定条件，根据所述应答文本确定与所述输入文本对应的输出文本；其中，所述输出文本用于表征与所述用户问题对应的问题答案；所述评价模型由生成对抗网络根据标准实体关系对训练获得。
在一可实施方式中，所述通过评价模型对所述应答文本进行准确度评价，包括：通过评价模型对所述应答文本进行关系抽取，生成预测实体关系对；对所述预测实体关系和所述标准实体关系对进行重合度比较，获得关系重合度，所述关系重合度用于表征所述应答文本的准确度。
在一可实施方式中，所述通过评价模型对所述应答文本进行关系抽取，生成预测实体关系对，包括：以实体为抽取单位对所述应答文本进行信息抽取，获得至少一个实体名称和与所述实体名称对应的实体属性；通过评价模型对所述实体名称和实体属性进行预测，获得与所述实体名称和实体属性对应的属性关系；根据所述实体名称、实体属性和属性关系生成预测实体关系对。
在一可实施方式中，在通过评价模型对所述应答文本进行准确度评价之前，所述方法还包括：以实体为抽取单位对与所述用户问题对应的标准答案进行信息抽取，获得标准实体名称、标准实体属性和标准属性关系；将所述标准实体名称、标准实体属性和标准属性关系确定为标准实体关系对；通过所述标准实体关系对训练基于生成对抗网络的多类别多标签关系分类器，获得评价模型。
在一可实施方式中，所述将所述标准实体名称、标准实体属性和标准属性关系确定为标准实体关系对，包括：根据与所述标准实体名称具有一致性的标准实体属性和标准属性关系确定标准正样本对；根据与所述标准实体名称不具有一致性的标准实体属性和标准属性关系确定第一标准负样本对；根据与所述标准实体属性不具有一致性的标准实体名称和标准属性关系确定第二标准负样本对；将所述第一标准负样本对、所述第二标准负样本对和所述标准正样本对确定为标准实体关系对。
在一可实施方式中，所述如果所述应答文本的准确度满足特定条件，根据所述应答文本确定与所述输入文本对应的输出文本，包括：判断所述应答文本的准确度是否满足设定阈值；当所述应答文本的准确度满足设定阈值的情况下，将所述应答文本确定为与所述输入文本对应的输出文本。
在一可实施方式中，对所述输入文本进行应答处理，获得与所述输入文本对应的应答文本，包括：通过答案生成模型对输入文本进行答案预测，生成应答文本；其中，所述答案生成模型由生成对抗网络根据标准答案训练获得。
本发明实施例另一方面提供一种答案生成设备，所述设备包括：获得模块，用于获得输入文本，所述输入文本用于表征用户问题；应答模块，用于对所述输入文本进行应答处理，获得与所述输入文本对应的应答文本；评价模块，用于通过评价模型对所述应答文本进行准确度评价，如果评价为所述应答文本的准确度满足特定条件，根据所述应答文本确定与所述输入文本对应的输出文本；其中，所述输出文本用于表征与所述用户问题对应的问题答案；所述评价模型由生成对抗网络根据标准实体关系对训练获得。
在一可实施方式中，所述评价模块，包括：抽取子模块，用于通过评价模型对所述应答文本进行关系抽取，生成预测实体关系对；比较子模块，用于对所述预测实体关系和所述标准实体关系对进行重合度比较，获得关系重合度，所述关系重合度用于表征所述应答文本的准确度。
所述抽取子模块，包括：抽取单元，以实体为抽取单位对所述应答文本进行信息抽取，获得至少一个实体名称和与所述实体名称对应的实体属性；预测单元，通过评价模型对所述实体名称和实体属性进行预测，获得与所述实体名称和实体属性对应的属性关系；根据所述实体名称、实体属性和属性关系生成预测实体关系对；生成单元，用于根据所述实体名称、实体属性和属性关系生成预测实体关系对。
在一可实施方式中，所述设备还包括：抽取模块，用于以实体为抽取单位对与所述用户问题对应的标准答案进行信息抽取，获得标准实体名称、标准实体属性和标准属性关系；确定模块，用于将所述标准实体名称、标准实体属性和标准属性关系确定为标准实体关系对；训练模块，用于通过所述标准实体关系对训练基于生成对抗网络的多类别多标签关系分类器，获得评价模型。
在一可实施方式中，所述确定模块，包括：根据与所述标准实体名称具有一致性的标准实体属性和标准属性关系确定标准正样本对；根据与所述标准实体名称不具有一致性的标准实体属性和标准属性关系确定第一标准负样本对；根据与所述标准实体名称具有随机性的标准实体属性和标准属性关系确定第二标准负样本对；将所述第一标准负样本对、所述第二标准负样本对和所述标准正样本对确定为标准实体关系对。
在一可实施方式中，所述评价模块，包括：判断子模块，用于判断所述应答文本的准确度是否满足设定阈值；确定子模块，用于当所述应答文本的准确度满足设定阈值的情况下，将所述应答文本确定为与所述输入文本对应的输出文本。
在一可实施方式中，所述应答模块，包括：用于通过答案生成模型对输入文本进行答案预测，生成应答文本；其中，所述答案生成模型由生成对抗网络根据标准答案训练获得。
本发明实施例另一方面提供一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行上述任一项所述的答案生成方法。
本发明实施例提供的答案生成方法和设备对用于表征用户问题的输入文本进行应答，以获得应答文本，然后对应答文本进行准确度评价，通过评价模型来评价输入文本和应答文本之间的准确度，并根据评价模型的评价结果对应答文本进行处理，从而获得与输入文本对应性更好的输入文本，本方法通过评价模型对应答文本进行评价，使输出文本在满足内容上更加准确的情况下，句式上能够更加多样，提高了输出文本的多样性、智能性与针对性。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1为本发明实施例一种答案生成方法的实现流程示意图；
图2为本发明实施例一种答案生成方法关系抽取的实现流程示意图；
图3为本发明实施例一种答案生成方法模型训练的实现流程示意图；
图4示出了本发明实施例一种答案生成方法分类器分类的流程示意图；
图5示出了本发明另一实施例一种答案生成方法分类器分类的流程示意图；
图6示出了本发明另一实施例一种答案生成方法生成答案的流程示意图；
图7示出了本发明实施例一种答案生成方法对抗训练的算法流程图；
图8示出了本发明实施例一种答案生成设备的模块示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例一种答案生成方法的实现流程示意图。
参见图1，本发明实施例一方面提供一种答案生成方法，方法包括：操作101，获得输入文本，输入文本用于表征用户问题；操作102，对输入文本进行应答处理，获得与输入文本对应的应答文本；操作103，通过评价模型对应答文本进行准确度评价，如果评价为应答文本的准确度满足特定条件，根据应答文本确定与输入文本对应的输出文本；其中，输出文本用于表征与用户问题对应的问题答案；评价模型由生成对抗网络根据标准实体关系对训练获得。
本发明实施例提供的答案生成方法能够针对用户提出的问题生成具有准确性、针对性和多样性的答案，提升用户体验，其中，输入文本的来源为用户提出的问题，输出文本用于生成与用户问题对应的问题答案。本方法通过对用于表征用户问题的输入文本进行应答，以获得应答文本，然后对应答文本进行准确度评价，通过评价模型来评价输入文本和应答文本之间的准确度，并根据评价模型的评价结果对应答文本进行处理，从而获得与输入文本对应性更好的输入文本，以解决用户问题。本方法通过评价模型能够对应答文本进行调整，使输出文本在句式上更加多样，内容上更加准确，提高了输出文本的多样性、智能性与针对性。
在操作101中，输入文本的来源为用户，本方法不对用户的身份进行限定，根据该方法使用场景的不同，用户可以为消费者，也可以为使用者；用户可以为团体，也可以为个人；用户可以为人类，也可以为机器。例如在一种实施场景下，该答案生成方法应用于智能客服，当使用者有问题需要提出时，设备对用户问题进行采集获得输入文本。本方法还包括。同样可以理解的是，本方法不限制用户问题的输入方式，在一种情况下，用户可以通过语音输入，设备将对应用户问题的语音转换为输入文本；在另一种情况下，设备的显示界面上显示供用户进行输入的文本框，设备通过采集文本框内的文本内容获得输入文本。输入文本用于表征用户问题，本方法所指代的输入文本可以是对用户原始输入内容经过内容预处理后获得，也可以是对用户原始输入内容不经过内容预处理后获得。其中，内容预处理指代对在不改变用户原始输入内容的实质含义的情况下，修改形式内容，如：内容翻译、去除语气词、去除重复词、调整语序等。
在操作102中，应答处理具体可以利用能够生成答案的生成模型对输入文本进行预测，从而获得对应输入文本的应答文本，应答文本用于表征与用户问题对应的问题答案。需要说明的是，根据该方法所应用领域的不同，其所采用的生成模型也可以不同。例如，当该方法应用于电子设备领域的智能客服时，生成模型为用于生成与电子设备相关的答案。在一种实施场景中，常见的答案生成方式是神经网络基于Seq-to-Seq模型的答案自动生成的方法，Seq-to-Seq模型是文本生成任务的常用方式，根据问题将检索到的答案特征转化为一句描述性的自然语言，具体的，该模型将输入文本首先编码为一个语义向量，然后对这个向量进行解码，逐词生成得到对应的应答文本。例如，可以选为RNN模型作为答案生成模型。
在获得应答文本后，本方法还包括操作103，通过评价模型对应答文本进行准确度的评价，从而评价该应答文本是否准确且具有针对性。具体的，应答文本的准确性和针对性可以通过特定条件进行评价，即评价为应答文本的准确度当满足特定条件，即可以评价为应答文本的准确性和针对性符合要求，准确度用于评价应答文本的准确度，特定条件用于评价应答文本的准确度是否符合要求，特定条件具体可以为将准确性标准量化后的设定数值。此时，根据应答文本可以生成与输入文本对应的输出文本，输出文本用于解答用户问题，同理，根据本方法的实际应用场景，在获得输出文本后，设备可以采用语音输出或文本输出的方式将问题答案反馈给用户。生成对抗网络(GAN)包括生成模型和判别模型，评价模型可以为基于Bert(Bidirectional Encoder Representations from Transformers)的分类模型，根据标准实体关系对训练基于Bert的分类模型获得评价模型。其中，标准实体关系通过对多个标准答案进行关系抽取获得，其中，标准答案可以为用户问题所对应的领域内与产品或标准相关联的信息及信息参数等特征，可以理解的是，用于获得标准实体关系的标准答案为多个，多个标准答案用于对应多个用户问题。
例如，在一种实施场景下，该答案生成方法应用于智能客服。当用于智能客服的设备采集到用户问题的情况下，设备获得输入文本，“Moto Z2 Force的屏幕多大”或“what isthe screen size of Moto Z2 Force”或其他表达形式。设备将输入文本输入由Seq-to-Seq答案生成模型中，通过答案生成模型对输入文本进行预测，获得应答文本“屏幕尺寸是5.5英寸”、“It is 5.0 inch screen for Moto Z2 Force”或“The screen is 5.5 inchwith fingerprint unlock for your Moto Z2 Force”或其他表达形式。然后通过评价模型对上述应答文本进行评价，通过评价获得准确度以衡量应答文本是否满足准确性要求。例如，在用于训练生成对抗网络的标准答案中，Moto Z2 Force的屏幕是5.5英寸。通过评价模型，评价应答文本“屏幕尺寸是5.5英寸”满足特定条件；评价应答文本“It is 5.0 inchscreen for Moto Z2 Force”、“The screen is 5.5 inch with fingerprint unlock foryour Moto Z2 Force”不满足特定条件。当评价为满足特定条件的情况下，可以根据应答文本输出与应答文本内容一致的输出文本，当评价为不满足特定条件的情况下，可以通过对应答文本进行调整以输出满足准确性要求的输出文本。
图2为本发明实施例一种答案生成方法关系抽取的实现流程示意图。
参见图2，在本发明实施例中，操作103，通过评价模型对应答文本进行准确度评价，包括：操作1031，通过评价模型对应答文本进行关系抽取，生成预测实体关系对；操作1032，对预测实体关系和标准实体关系对进行重合度比较，获得关系重合度，关系重合度用于表征应答文本的准确度。
在对评价模型进行准确度评价的过程中，评价模型首先对应答文本进行关系抽取，以生成预测实体关系对。其中，关系抽取可以通过将应答文本结构化处理后进行抽取。预测应答关系对为输入文本中的至少一个实体，以及与该实体具有对应关系的实体属性、实体参数等信息，将实体与其对应的实体属性、实体参数等信息进行关联，获得预测实体关系对。
标准实体关系对根据标准答案获得，其包括与预测实体关系对相对应的标准实体名称及标准实体属性、标准实体参数等标准实体信息。可以理解的是，有信息抽取获得的预测实体关系对和标准实体关系对的结构一致，以进行重合度比较。
通过比较预测实体关系对和标准实体关系对的关系重合度，然后对关系重合度进行整合处理，可以确定应答文本与标准答案之间的重合度。需要说明的是，此处的整合处理根据需要包括但不限于对关系重合度进行汇总处理、权重处理等。可以理解的是，关系重合度越高，应答文本越接近标准答案。相较于直接比较应答文本和标准答案，通过预测实体关系对和标准实体关系对的比较，其对应答文本和标准答案中必要实体名称、实体属性、属性关系之间的关系重合度评价更为具有针对性，使评价结果的准确度更高，且应答文本可以采用多种句式进行表达，使应答文本在保证内容准确性的前提下，在句式上更加多样性。
在本发明实施例中，操作1031，通过评价模型对应答文本进行关系抽取，生成预测实体关系对，包括：首先，以实体为抽取单位对应答文本进行信息抽取，获得至少一个实体名称和与实体名称对应的实体属性；然后，通过评价模型对实体名称和实体属性进行预测，获得与实体名称和实体属性对应的属性关系；再后，根据实体名称、实体属性和属性关系生成预测实体关系对。
本方法的关系抽取以实体为抽取单位，将与同一实体对应的实体名称和实体属性进行抽取，并通过将实体名称和实体属性输入评价模型进行预测，获得对应实体名称和实体属性的属性关系。将实体名称、实体属性和属性关系构建预测实体关系对，以用于和标准实体关系对比较。
具体的，预测实体关系对的构建可以为预测实体关系对的“属性关系<实体名称,实体属性>”，例如，当应答文本为“It is 5.5 inch screen for Moto Z2 Force”，关系抽取获得的预测实体关系对为Screen_size<Moto Z2 Force,5.5>，Screen_size<Moto Z2Force,inch>等。可以理解的是，在应答文本生成中，实体名称,实体属性通常都会被提及，但属性关系容易被忽略，因此属性关系需要通过评价模型进行预测，以获得预测实体关系对。评价模型对属性关系的预测可以通过分类器实现。
图3为本发明实施例一种答案生成方法模型训练的实现流程示意图。
参见图3，在本发明实施例中，在操作103，通过评价模型对应答文本进行准确度评价之前，方法还包括：操作301，以实体为抽取单位对与用户问题对应的标准答案进行信息抽取，获得标准实体名称、标准实体属性和标准属性关系；操作302，将标准实体名称、标准实体属性和标准属性关系确定为标准实体关系对；操作303，通过标准实体关系对训练基于生成对抗网络的多类别多标签关系分类器，获得评价模型。
标准实体关系对的生成原理同预测实体关系对。具体的，标准实体关系对可通过对标准答案进行信息抽取获得，例如，首先，将用于训练样本的多个标准答案汇集形成数据集，定义该数据集为标准的答案描述集A，其中A＝{a1,a2,…,an}，答案描述集A中的每个元素ai表示对某个实体的描述。对答案描述集A进行关系抽取，可获得包含标准实体关系对的数据集，该集可定义为D＝R<E,V>，其中，D用于表征包含标准实体关系对的数据集；E用于表征标准实体名称集，即E＝{e1,e2,…,en}，标准实体名称集E中每个元素ei均用于表示一个标准实体名称；R用于表征标准属性关系集，R＝{r1,r2,…,rn}，标准属性关系集R中每个元素ri均用于表示对应某一标准实体名称的某个标准属性关系；V用于表征标准实体属性集，V＝{v1,v2,…,vn}，标准实体属性集V中每个元素vi用于表征对应某一标准实体名称和标准属性关系的某些标准实体属性，需要说明的是，在部分情况下，同一标准实体名称和标准属性关系所对应的标准实体属性存在多个，因此vi∈(d1,d2,…,dn)，其中，di表示每一个标准实体属性的信息。可以理解的是，上述ai、ei、vi、ri、di中的i均表示对应数据集中的第i个词，并不用于表征某个具体数字。需要说明的是，如果实体名称没有对应的属性关系，其关系标注为NONE，例如NONE<Moto Z2 Force,fingerprint>。基于上述方法获得的标准实体关系对如下：Screen_size<Moto Z2 Force,5.5>，Screen_size<Moto Z2 Force,inch>，OS_Version_Factory<MotoZ2Force,7.1.1>。
图4示出了本发明实施例一种答案生成方法分类器分类的流程示意图。
参见图4，通过标准实体关系对训练基于生成对抗网络的多类别多标签关系分类器，具体的，分类器可以选为基于CNN的多类别多标签关系分类器。将标准实体名称和标准实体属性作为输入训练样本，标准属性关系作为输出样本，使分类器能够对经过关系抽取获得的实体名称和实体属性进行预测，获得预测实体关系对。需要补充的是，评价模型包括分类器和评价器，分类器用于对实体名称和实体属性进行分类获得预测实体关系对。评价器用于比较由应答文本抽取获得的预测实体关系对和根据标准答案抽取获得的标准实体关系对的关系重合度。
在本发明实施例中，操作302，将标准实体名称、标准实体属性和标准属性关系确定为标准实体关系对，包括：首先，根据与标准实体名称具有一致性的标准实体属性和标准属性关系确定标准正样本对；然后，根据与标准实体名称不具有一致性的标准实体属性和标准属性关系确定第一标准负样本对；再后，根据与标准实体属性不具有一致性的标准实体名称和标准属性关系确定第二标准负样本对；最后，将第一标准负样本对、第二标准负样本对和标准正样本对确定为标准实体关系对。
图5示出了本发明另一实施例一种答案生成方法分类器分类的流程示意图。
参见图5，分类器通过第一标准负样本对、第二标准负样本对和标准正样本进行训练，在训练过程中，三个样本对应的标签分别是1，0，0，以实现对预测实体关系对的分类。需要说明的是，标准正样本对中，以标准实体名称和对应的标准实体属性作为输入样本，包含标准属性关系的标准实体关系对作为输出样本。第一标准负样本对中，以标准实体名称和不对应标准属性关系的标准实体属性作为输入样本，与标准实体名称对应的包含标准属性关系的标准实体关系对作为输出样本。第二标准负样本中，以标准实体属性和不对应的标准实体名称作为输入样本，对应标准实体属性的包含标准属性关系的标准实体关系对作为输出样本。需要说明的是，第一标准负样本中，例如，当标准答案为：“It is 5.5 inchscreen for Moto Z2 Force”时，其中一标准正样本对可以抽取为Screen_size<Moto Z2Force,inch>时，第一标准负样本对可以抽取为Screen_size<Moto Z2 Force,Moto Z2Force>，第二标准负样本对可以抽取为Screen_size<Moto Z4 Force,inch>。需要补充的是，根据该标准答案，可抽取的关系对还可以为：Screen_size<Moto Z2 Force,5.5>、Model<Moto Z2 Force,Moto Z2 Force>、None<Moto Z2 Force,screen>、None<Moto Z2 Force,It>、None<Moto Z2 Force,is>、None<Moto Z2 Force,for>…以下不做赘述。
进一步的，通过上述样本训练好的分类器对预测实体关系对进行分类的情况下，输入分类器的预测实体关系对同样为基于预测实体关系对生成的正样本、第一负样本和第二负样本，其中，正样本为预测实体关系对中的实体名称和该实体名称所对应的标准实体属性，第一负样本为预测实体关系对中的实体名称和预测实体关系对中所对应的实体属性，第二负样本为其他实体名称和该实体名称所对应的标准实体属性。并将正样本、第一负样本和第二负样本的标签分别设置为1，0，0。
在本发明实施例中，操作103，如果应答文本的准确度满足特定条件，根据应答文本确定与输入文本对应的输出文本，包括：首先，判断应答文本的准确度是否满足设定阈值；然后，当应答文本的准确度满足设定阈值的情况下，将应答文本确定为与输入文本对应的输出文本。
由应答文本抽取获得的预测实体关系对为至少一个，通常为多个，根据标准答案抽取获得的标准实体关系对为多个，将同一属性关系、同一实体名称、同一实体属性中至少一个相同的标准实体关系对和预测实体关系对进行比较，获得比较结果，将比较结果为不重合的数量和比较结果为重合的数量进行比较，当比较结果为重合的数量相较于比较结果为不重合的数量满足设定阈值时，可确定为应答文本满足要求，可根据应答文本确定输出文本并进行输出。其中，根据需要，预设阈值可为2/3、1、2或其他任意设定数值，以下不做赘述。将满足设定阈值的应答文本确定为与输入文本对应的输出文本，同理，不满足设定固执的应答文本需要经过调整以获得与输入文本对应的输出文本。该调整包括但不限于根据输入文本重新应答文本、对应答文本中关系重合度较低的预测实体关系对进行调整等。
在本发明实施例中，操作102，对输入文本进行应答处理，获得与输入文本对应的应答文本，包括：通过答案生成模型对输入文本进行答案预测，生成应答文本；其中，答案生成模型由生成对抗网络根据标准答案训练获得。
图6示出了本发明另一实施例一种答案生成方法生成答案的流程示意图。
参见图6，答案评价模型和答案生成模型采用生成对抗网络训练获得。其中，答案生成模型的训练样本为标准答案。对于一个输入文本和一段对应输入文本的应答文本，答案生成模型以Seq-to-Seq方式将输入文本转化为一段自然语言描述的答案。例如：根据输入文本“what is the screen size of Moto Z2 Force”生成应答文本“It is 5.5 inchscreen for Moto Z2 Force”。
在一种实施场景下，答案生成模型的具体构建流程如下：
为方便叙述，首先，定义一个Table-to-Text数据集Y＝<T,S>。其中T＝{r1,r2,…,rn}，ri表示一个实体信息表，由输入文本结构化获得，其包括实体属性组成的序列集{d1,d2,…,dm}和对应的属性关系{zd1,zd2,…,zdm}，将结构化ri的通过拼接可以得到一段非结构化文本X1:n。S＝{s1,s2,…,sn}表示对应每个ri由自然语言描述的内容，其中
Figure BDA0002562828720000141
M为自然语言描述的内容的长度。将X1:n和
Figure BDA0002562828720000142
用于模型的输入。
还定义一个生成网络生成的答案集A，其中A＝{a1,a2,…,an}，ai＝Y1:N，其中，Y1:M表示输入每个ri对应生成的由自然语言描述的标准答案，N为自然语言描述的标准答案的长度。Y1:N用于模型对应的输出、答案生成模型可以采用常用的Seq-to-Seq模型，其结构是一个encoder-decoder网络。当输入为X1:n和
Figure BDA0002562828720000143
时，答案生成模型以Seq-to-Seq方式将X1:n和
Figure BDA0002562828720000144
转化为一段描述性文本Y1:N。
为方便上述实施方式的理解，以下提供一种具体实施场景进行说明。
图7示出了本发明实施例一种答案生成方法对抗训练的算法流程图。
参见图7，首先，通过生成对抗网络训练答案生成模型和答案评价模型，其中个，答案生成模型以标准答案集作为训练样本，标准答案集中包含多个标准答案。答案生成模型用于根据输入的用户问题确定问题应答。
答案评价模型以标准实体关系对作为训练样本，标准实体关系对从标准答案中进行抽取。答案生成模型对问题应答进行评价，并根据评价结果确定输出答案。
首先，当设备接收到用户的问题时，将问题对应的文本结构化后和文本一起输入答案生成模型，通过答案生成模型预测获得应答文本。
然后，设备对应答文本进行关系抽取，确定实体名称和实体属性，将实体名称和实体属性输入答案评价模型中确定包含实体名称、实体属性和属性关系的预测实体关系对。答案评价模型比较预测实体关系对和标准实体关系对确定两者之间的关系重合度。当关系重合度满足设定阈值时，将对应的应答文本确定为输出答案。当关系重合度不满足设定阈值时，对应答文本进行调整后，重新确定关系重合度，直至关系重合度满足设定阈值，将对应满足设定阈值的应答文本确定为输出答案。
图8示出了本发明实施例一种答案生成设备的模块示意图。
参见图8，本发明实施例另一方面提供一种答案生成设备，设备包括：获得模块801，用于获得输入文本，输入文本用于表征用户问题；应答模块802，用于对输入文本进行应答处理，获得与输入文本对应的应答文本；评价模块803，用于通过评价模型对应答文本进行准确度评价，如果评价为应答文本的准确度满足特定条件，根据应答文本确定与输入文本对应的输出文本；其中，输出文本用于表征与用户问题对应的问题答案；评价模型由生成对抗网络根据标准实体关系对训练获得。
在本发明实施例中，评价模块803，包括：抽取子模块8031，用于通过评价模型对应答文本进行关系抽取，生成预测实体关系对；比较子模块8032，用于对预测实体关系和标准实体关系对进行重合度比较，获得关系重合度，关系重合度用于表征应答文本的准确度。
抽取子模块8031，包括：抽取单元80311，以实体为抽取单位对应答文本进行信息抽取，获得至少一个实体名称和与实体名称对应的实体属性；预测单元80312，通过评价模型对实体名称和实体属性进行预测，获得与实体名称和实体属性对应的属性关系；根据实体名称、实体属性和属性关系生成预测实体关系对；生成单元80313，用于根据实体名称、实体属性和属性关系生成预测实体关系对。
在本发明实施例中，设备还包括：抽取模块804，用于以实体为抽取单位对与用户问题对应的标准答案进行信息抽取，获得标准实体名称、标准实体属性和标准属性关系；确定模块805，用于将标准实体名称、标准实体属性和标准属性关系确定为标准实体关系对；训练模块806，用于通过标准实体关系对训练基于生成对抗网络的多类别多标签关系分类器，获得评价模型。
在本发明实施例中，确定模块805，包括：根据与标准实体名称具有一致性的标准实体属性和标准属性关系确定标准正样本对；根据与标准实体名称不具有一致性的标准实体属性和标准属性关系确定第一标准负样本对；根据与标准实体属性不具有一致性的标准实体名称和标准属性关系确定第二标准负样本对；将第一标准负样本对、第二标准负样本对和标准正样本对确定为标准实体关系对。
在本发明实施例中，评价模块803，包括：判断子模块8033，用于判断应答文本的准确度是否满足设定阈值；确定子模块8034，用于当应答文本的准确度满足设定阈值的情况下，将应答文本确定为与输入文本对应的输出文本。
在本发明实施例中，应答模块806，包括：用于通过答案生成模型对输入文本进行答案预测，生成应答文本；其中，答案生成模型由生成对抗网络根据标准答案训练获得。
本发明实施例另一方面提供一种计算机可读存储介质，存储介质包括一组计算机可执行指令，当指令被执行时用于执行上述任一项的答案生成方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种答案生成方法，其特征在于，所述方法包括：
获得输入文本，所述输入文本用于表征用户问题；
对所述输入文本进行应答处理，获得与所述输入文本对应的应答文本；
通过评价模型对所述应答文本进行准确度评价，如果评价为所述应答文本的准确度满足特定条件，根据所述应答文本确定与所述输入文本对应的输出文本；
其中，所述输出文本用于表征与所述用户问题对应的问题答案；所述评价模型由生成对抗网络根据标准实体关系对训练获得。
2.根据权利要求1所述的方法，其特征在于，所述通过评价模型对所述应答文本进行准确度评价，包括：
通过评价模型对所述应答文本进行关系抽取，生成预测实体关系对；
对所述预测实体关系和所述标准实体关系对进行重合度比较，获得关系重合度，所述关系重合度用于表征所述应答文本的准确度。
3.根据权利要求2所述的方法，其特征在于，所述通过评价模型对所述应答文本进行关系抽取，生成预测实体关系对，包括：
以实体为抽取单位对所述应答文本进行信息抽取，获得至少一个实体名称和与所述实体名称对应的实体属性；
通过评价模型对所述实体名称和实体属性进行预测，获得与所述实体名称和实体属性对应的属性关系；
根据所述实体名称、实体属性和属性关系生成预测实体关系对。
4.根据权利要求2或3所述的方法，其特征在于，在通过评价模型对所述应答文本进行准确度评价之前，所述方法还包括：
以实体为抽取单位对与所述用户问题对应的标准答案进行信息抽取，获得标准实体名称、标准实体属性和标准属性关系；
将所述标准实体名称、标准实体属性和标准属性关系确定为标准实体关系对；
通过所述标准实体关系对训练基于生成对抗网络的多类别多标签关系分类器，获得评价模型。
5.根据权利要求4所述的方法，其特征在于，所述将所述标准实体名称、标准实体属性和标准属性关系确定为标准实体关系对，包括：
根据与所述标准实体名称具有一致性的标准实体属性和标准属性关系确定标准正样本对；
根据与所述标准实体名称不具有一致性的标准实体属性和标准属性关系确定第一标准负样本对；
根据与所述标准实体属性不具有一致性的标准实体名称和标准属性关系确定第二标准负样本对；
将所述第一标准负样本对、所述第二标准负样本对和所述标准正样本对确定为标准实体关系对。
6.根据权利要求1所述的方法，其特征在于，所述如果评价为所述应答文本的准确度满足特定条件，根据所述应答文本确定与所述输入文本对应的输出文本，包括：
判断所述应答文本的准确度是否满足设定阈值；
当所述应答文本的准确度满足设定阈值的情况下，将所述应答文本确定为与所述输入文本对应的输出文本。
7.根据权利要求1所述的方法，其特征在于，对所述输入文本进行应答处理，获得与所述输入文本对应的应答文本，包括：
通过答案生成模型对输入文本进行答案预测，生成应答文本；
其中，所述答案生成模型由生成对抗网络根据标准答案训练获得。
8.一种答案生成设备，其特征在于，所述设备包括：
获得模块，用于获得输入文本，所述输入文本用于表征用户问题；
应答模块，用于对所述输入文本进行应答处理，获得与所述输入文本对应的应答文本；
评价模块，用于通过评价模型对所述应答文本进行准确度评价，如果评价为所述应答文本的准确度满足特定条件，根据所述应答文本确定与所述输入文本对应的输出文本；
其中，所述输出文本用于表征与所述用户问题对应的问题答案；所述评价模型由生成对抗网络根据标准实体关系对训练获得。
9.根据权利要求8所述的设备，其特征在于，所述评价模块，包括：
抽取子模块，用于通过评价模型对所述应答文本进行关系抽取，生成预测实体关系对；
比较子模块，用于对所述预测实体关系和所述标准实体关系对进行重合度比较，获得关系重合度，所述关系重合度用于表征所述应答文本的准确度。
10.根据权利要求9所述的设备，其特征在于，所述抽取子模块，包括：
抽取单元，以实体为抽取单位对所述应答文本进行信息抽取，获得至少一个实体名称和与所述实体名称对应的实体属性；
预测单元，通过评价模型对所述实体名称和实体属性进行预测，获得与所述实体名称和实体属性对应的属性关系；
生成单元，用于根据所述实体名称、实体属性和属性关系生成预测实体关系对。
CN202010620386.1A 2020-06-30 2020-06-30 一种答案生成方法及设备 Pending CN111985238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010620386.1A CN111985238A (zh) 2020-06-30 2020-06-30 一种答案生成方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010620386.1A CN111985238A (zh) 2020-06-30 2020-06-30 一种答案生成方法及设备

Publications (1)

Publication Number Publication Date
CN111985238A true CN111985238A (zh) 2020-11-24

Family

ID=73437708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010620386.1A Pending CN111985238A (zh) 2020-06-30 2020-06-30 一种答案生成方法及设备

Country Status (1)

Country Link
CN (1) CN111985238A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905757A (zh) * 2021-01-27 2021-06-04 北京金山数字娱乐科技有限公司 文本处理方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630917A (zh) * 2015-12-22 2016-06-01 成都小多科技有限公司 智能应答方法及装置
CN106991161A (zh) * 2017-03-31 2017-07-28 北京字节跳动科技有限公司 一种自动生成开放式问题答案的方法
CN107729319A (zh) * 2017-10-18 2018-02-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108846063A (zh) * 2018-06-04 2018-11-20 北京百度网讯科技有限公司 确定问题答案的方法、装置、设备和计算机可读介质
CN108984778A (zh) * 2018-07-25 2018-12-11 南京瓦尔基里网络科技有限公司 一种智能交互自动问答系统以及自我学习方法
CN109670168A (zh) * 2018-11-14 2019-04-23 华南师范大学 基于特征学习的短答案自动评分方法、系统及存储介质
CN110263133A (zh) * 2019-05-07 2019-09-20 平安科技（深圳）有限公司 基于知识图谱的问答方法、电子装置、设备及存储介质
CN110532368A (zh) * 2019-09-04 2019-12-03 深圳前海达闼云端智能科技有限公司 问答方法、电子设备及计算机可读存储介质
CN110929016A (zh) * 2019-12-10 2020-03-27 北京爱医生智慧医疗科技有限公司 一种基于知识图谱的智能问答方法及装置
CN110955765A (zh) * 2019-11-22 2020-04-03 中国南方电网有限责任公司 智能助理的语料构建方法、装置、计算机设备和存储介质
CN111209384A (zh) * 2020-01-08 2020-05-29 腾讯科技（深圳）有限公司 基于人工智能的问答数据处理方法、装置及电子设备
CN111259653A (zh) * 2020-01-15 2020-06-09 重庆邮电大学 基于实体关系消歧的知识图谱问答方法、系统以及终端
CN111324743A (zh) * 2020-02-14 2020-06-23 平安科技（深圳）有限公司 文本关系抽取的方法、装置、计算机设备及存储介质
CN111339277A (zh) * 2020-02-28 2020-06-26 中国工商银行股份有限公司 基于机器学习的问答交互方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630917A (zh) * 2015-12-22 2016-06-01 成都小多科技有限公司 智能应答方法及装置
CN106991161A (zh) * 2017-03-31 2017-07-28 北京字节跳动科技有限公司 一种自动生成开放式问题答案的方法
CN107729319A (zh) * 2017-10-18 2018-02-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108846063A (zh) * 2018-06-04 2018-11-20 北京百度网讯科技有限公司 确定问题答案的方法、装置、设备和计算机可读介质
CN108984778A (zh) * 2018-07-25 2018-12-11 南京瓦尔基里网络科技有限公司 一种智能交互自动问答系统以及自我学习方法
CN109670168A (zh) * 2018-11-14 2019-04-23 华南师范大学 基于特征学习的短答案自动评分方法、系统及存储介质
CN110263133A (zh) * 2019-05-07 2019-09-20 平安科技（深圳）有限公司 基于知识图谱的问答方法、电子装置、设备及存储介质
CN110532368A (zh) * 2019-09-04 2019-12-03 深圳前海达闼云端智能科技有限公司 问答方法、电子设备及计算机可读存储介质
CN110955765A (zh) * 2019-11-22 2020-04-03 中国南方电网有限责任公司 智能助理的语料构建方法、装置、计算机设备和存储介质
CN110929016A (zh) * 2019-12-10 2020-03-27 北京爱医生智慧医疗科技有限公司 一种基于知识图谱的智能问答方法及装置
CN111209384A (zh) * 2020-01-08 2020-05-29 腾讯科技（深圳）有限公司 基于人工智能的问答数据处理方法、装置及电子设备
CN111259653A (zh) * 2020-01-15 2020-06-09 重庆邮电大学 基于实体关系消歧的知识图谱问答方法、系统以及终端
CN111324743A (zh) * 2020-02-14 2020-06-23 平安科技（深圳）有限公司 文本关系抽取的方法、装置、计算机设备及存储介质
CN111339277A (zh) * 2020-02-28 2020-06-26 中国工商银行股份有限公司 基于机器学习的问答交互方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905757A (zh) * 2021-01-27 2021-06-04 北京金山数字娱乐科技有限公司 文本处理方法及装置

Similar Documents

Publication Publication Date Title
CN110705301A (zh) 实体关系抽取方法及装置、存储介质、电子设备
CN110569356A (zh) 基于智能面试交互系统的面试方法、装置和计算机设备
CN117332072B (zh) 对话处理、语音摘要提取以及目标对话模型训练方法
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
CN111159409A (zh) 基于人工智能的文本分类方法、装置、设备、介质
CN115129862A (zh) 语句实体处理方法、装置、计算机设备及存储介质
CN112766349B (zh) 一种基于机器视觉与触觉感知的物体描述生成方法
CN111985238A (zh) 一种答案生成方法及设备
JP6573233B2 (ja) 認識容易性指標算出装置、方法、及びプログラム
JP6802332B1 (ja) 情報処理方法および情報処理装置
CN116401364A (zh) 语言模型的训练方法、电子设备、存储介质及产品
CN116383360A (zh) 一种心理咨询聊天机器人的回答体贴度检测方法及系统
US11232325B2 (en) Data analysis system, method for controlling data analysis system, and recording medium
CN115982351A (zh) 试题评阅方法及相关装置、电子设备、存储介质
CN109960793A (zh) 意见挖掘装置以及智能终端
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置
CN113569091A (zh) 视频数据的处理方法、装置
CN114281928A (zh) 基于文本数据的模型生成方法、装置及设备
CN114328797B (zh) 内容搜索方法、装置、电子设备、存储介质及程序产品
CN112256833B (zh) 一种基于大数据和ai算法的手机问题智能问答方法
CN117171654B (zh) 一种知识萃取方法、装置、设备及可读存储介质
CN109960794A (zh) 判断文本情感的装置以及智能终端
CN118014703A (zh) 基于数字化平台的可视化智能决策系统及方法
CN116051921A (zh) 静态标签识别模型训练方法、静态标签识别方法及装置
CN117688191A (zh) 一种基于血缘关联和数据标识的数据识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination