CN113987141A - 一种基于递归询问的问答系统回答可靠性即时检查方法 - Google Patents

一种基于递归询问的问答系统回答可靠性即时检查方法 Download PDF

Info

Publication number
CN113987141A
CN113987141A CN202111170353.2A CN202111170353A CN113987141A CN 113987141 A CN113987141 A CN 113987141A CN 202111170353 A CN202111170353 A CN 202111170353A CN 113987141 A CN113987141 A CN 113987141A
Authority
CN
China
Prior art keywords
question
answer
sentence
special
answering system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111170353.2A
Other languages
English (en)
Inventor
谢晓园
晋硕
陈崧强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111170353.2A priority Critical patent/CN113987141A/zh
Publication of CN113987141A publication Critical patent/CN113987141A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于递归询问的问答系统回答可靠性即时检查方法。本发明收集用户当前输入的询问和问答系统为其返回的答案并检查询问的问题类型；基于用户询问和返回答案形成一条知识陈述；基于该知识陈述构造一般疑问句式递归询问并检查问答系统对于该一般疑问句式询问的回答是否符合预期要求；基于该知识陈述构造若干特殊疑问句式递归询问依次输入问答系统并检查问答系统对于每个特殊疑问句式询问的回答是否均符合预期要求；总结展示检查结果向用户报告可靠度量情况。若问答系统对于任意递归询问回答不符合预期，说明知识陈述可能出错，即对用户当前输入询问的回答可能出错。该发明可在未知正确回答的情况下即时地检查问答系统回答的可靠性。

Description

一种基于递归询问的问答系统回答可靠性即时检查方法
技术领域
本发明涉及计算机技术领域，具体涉及一种基于递归询问的问答系统回答可靠性即时检查方法。
背景技术
随着近年来自然语言处理、人工智能和深度学习等技术的发展，越来越多的问答系统软件被广泛地应用于人们的日常生活之中，辅助人们从复杂的信息中自动检索相关答案。当使用问答系统时，人们通常向问答系统提出一个问题，问答系统将像人们阅读资料一样自动理解给定的参考文献或从知识库中检索得到的相关材料，分析理解用户输入的问题，从材料中总结相关知识，并随后回答人们输入的问题。由于问答系统能够帮助人们高效地检索所需要的答案从而便利人们的生活与工作，越来越多的问答系统、服务被开发、提供，例如苹果公司发布的Siri语音助手和百度公司发布的DuerOS语音处理系统即提供了自动问答功能。
作为一种基于人工智能和深度学习技术的软件，由于神经网络的不稳定性和黑盒特性，目前的技术尚无法从技术源头保证问答系统软件返回回答的正确性和可靠性。目前，验证问答系统返回答案的方法通常为将软件的返回结果与人们手工检索、分析后预先准备好的标准答案进行对比。然而，预先准备用于评价对比的参考答案费时费力。此外，用户通常使用问答系统对未知答案的问题进行检索，因此并不预先知道目标正确答案，故在日常使用中用户无法通过比对真确结果的方式对使用问答系统过程中所获得的答案的可靠性进行即时的检查。
针对上述情况，一种可行的方案是应用软件测试领域蜕变测试技术，对问答系统在未知正确答案的情况下对其输出进行初步的正确性检查。蜕变测试技术通过检查软件在多个互相有关联的输入上的表现判断软件输出是否有可能出错，例如，当检查对于计算正弦函数sin具体值的程序在输入为1.23°情况下的输出是否正确时，蜕变测试不直接检查程序输出本身是否正确，而是根据设计的蜕变关系，对比程序输出与在输入为1.23°时的输出与(180°-1.23°)、-1.23°等输入下的输出是否满足预期关系，从而初步判断程序输出的可靠性。因此，蜕变测试可在未知标准答案的情况下对问答系统返回的答案进行初步的可靠性检查。
将蜕变测试运用于问答系统回答可靠性的即时检测存在如下具体技术问题：
目前尚无针对问答系统的蜕变关系。目前尚未发现有适用于检查问答系统回答可靠性的蜕变关系，因此需要针对问答系统的输入与输出上的特性，设计适用于问答系统的专用蜕变关系。
目前尚无方法能够基于给定问答系统输入生成相关的多样新输入。问答系统的输入为自然语言文本表示的询问，不同于普通的数字或集合可进行简单的四则、集合运算，对自然语言输入的变化与合成需要更多复杂的工序，例如将问题与答案转化为陈述句，对输入询问的题型进行变化等，均需要复杂的自然语言处理。
目前尚无方法能够衡量问答系统多个输出之间关系。问答系统的输出同样是自然语言文本答案，不同于普通的数字或集合可利用简单的值等价进行评估，对文本输出的评估通常需要从语义等价的角度进行更复杂的计算与度量。
发明内容
有鉴于此，本发明提供了一种为问答系统的回答提供即时的可靠性检查的方法，基于递归询问思想构思合适的新蜕变关系，基于该关系具体实现现有方法尚无法完成的功能，解决现有技术中的方法存在的问题。
本发明提供了一种基于递归询问的问答系统回答可靠性即时检查方法。本方法包括：
步骤1：收集用户当前输入的询问和问答系统为用户当前输入的询问返回的答案，判断用户当前输入的询问的问题类型，基于问答系统为其返回的答案对于一般疑问句或选择疑问句或特殊疑问句形式的询问合成其对应的知识陈述，或对于其他非正式问句提示用户修改输入询问为特殊疑问句、选择疑问句、一般疑问句形式之一并重新运行该方法；
步骤2：基于用户当前输入的询问对应的知识陈述构造一般疑问句作为一般疑问句式递归询问，将该一般疑问句式递归询问输入问答系统并获取对应的新答案，基于语义词向量逐词检查该新答案是否符合预期；
步骤3：基于用户当前输入的询问对应的知识陈述挑选若干可能的特殊疑问句目标答案，使用问题生成模型构造若干新的特殊疑问句，筛选保留符合要求特殊疑问句及其对应目标答案形成特殊疑问句式递归询问集合，将集合中的每一特殊疑问句式递归询问输入问答系统并获取对应该递归询问的新答案构造新答案集合，基于语义词向量逐词检查新答案集合中的每一个答案是否符合预期；
步骤4：总结展示检查结果并向用户报告可靠度量情况。
作为优选，步骤1所述收集用户当前输入的询问和问答系统为用户当前输入的询问返回的答案为：
所述用户当前输入的询问为：qs；
所述问答系统为：QASUT；
所述问答系统为用户当前输入的询问返回的答案为：as；
步骤1所述判断用户当前输入的询问的问题类型为：
记
Figure BDA0003292773290000031
为用户当前输入的询问的问题形式；
通过识别qs中疑问引导词类型的方法判断qs语句是否为特殊疑问句，若qs疑问引导词属于特殊疑问词，则qs为特殊疑问句形式的询问，设置
Figure BDA0003292773290000032
若qs非特殊疑问句形式的询问，通过识别qs语句中选择疑问子句的方法判断qs是否为选择疑问句式，若qs语句包含选择疑问子句，则qs为选择疑问句形式的询问，设置
Figure BDA0003292773290000033
若qs非特殊疑问句形式的询问和选择疑问句形式的询问，通过匹配一般疑问句语法规则的方法判断qs语句是否为选择疑问句，若qs语句满足一般疑问句形式，则qs为一般疑问句形式的询问，设置
Figure BDA0003292773290000034
若qs无法通过上述过程识别类型，则qs为其他非正式问句，设置
Figure BDA0003292773290000035
Figure BDA0003292773290000036
步骤1所述基于问答系统为其返回的答案对于一般疑问句或选择疑问句或特殊疑问句形式的询问合成其对应的知识陈述为：
所述基于问答系统为其返回的答案对于一般疑问句形式的询问合成其对应的知识陈述句为：
当
Figure BDA0003292773290000037
时，使用通用文本语法分析工具匹配用户当前输入的询问中的主语、助动词、谓语动词与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词及剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到qs对应的知识陈述fs。
所述基于问答系统为其返回的答案对于选择疑问句形式的询问合成其对应的知识陈述为：
当
Figure BDA0003292773290000038
时，使用通用文本语法分析工具匹配用户当前输入的询问为qs中的特殊疑问词、主语、谓语动词、选择成分与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词、选择成分与剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到带有选择成分的陈述句q′s；
用所述问答系统为用户当前输入的询问返回的答案as替换q′s中的选择成分，得到用户当前输入的询问对应的知识陈述fs。
所述基于问答系统为其返回的答案对于特殊疑问句形式的询问合成其对应的知识陈述为：
当
Figure BDA0003292773290000041
时，使用通用文本语法分析工具匹配用户当前输入的询问为qs中的特殊疑问词、主语、谓语动词与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词及剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到带有特殊疑问词的陈述句q″s；
基于启发式规则用所述问答系统为用户当前输入的询问返回的答案as替换q″s中的特殊疑问词，得到用户当前输入的询问对应的知识陈述fs。
步骤1所述对于其他非正式问句提示用户修改输入询问为特殊疑问句、选择疑问句、一般疑问句形式之一并重新运行该方法为：
当
Figure BDA0003292773290000042
时，通过界面交互提示修改输入问题为其余三种标准形式并重新运行，并终止程序。
作为优选，步骤2所述基于用户当前输入的询问对应的知识陈述构造一般疑问句作为一般疑问句式递归询问为：
使用通用文本语法分析工具匹配步骤1得到的用户当前输入的询问对应的知识陈述fs中的主语、谓语动词，根据谓语动词的时态和语态通过自然语言时态语态转换工具选取对应的助动词插入谓语动词前，得到带有助动词的陈述句f′s；
将f′s中助动词提前至f′s句首，得到一般疑问句式递归询问nqGEN。
步骤2所述将该一般疑问句式递归询问输入问答系统并获取对应的新答案为：
将所述一般疑问句式递归询问nqGEN输入问答系统，得到问答系统对一般疑问句式递归询问的回答，定义为naGEN。
步骤2所述基于语义词向量逐词检查该新答案是否符合预期为：
对问答系统对一般疑问句式递归询问的回答进行分词和去停顿词处理得到该回答的非停顿词集合：
Figure BDA0003292773290000051
其中，nLENGEN为问答系统对一般疑问句式递归询问的回答的非停顿词个数，
Figure BDA0003292773290000052
i∈[1，nLENGEN]为问答系统对一般疑问句式递归询问的回答的第i个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对问答系统对一般疑问句式递归询问的回答中第i个非停顿词
Figure BDA0003292773290000053
获取语义词向量，记
Figure BDA0003292773290000054
的语义词向量为
Figure BDA0003292773290000055
i∈[1，nLENGEN]；
通过从预训练语义词向量库中提取单词的语义词向量的方法，获取肯定表达语义词向量为wordvecyes；
对于i∈[1，nLENGEN]依次计算
Figure BDA0003292773290000056
与wordvecyes的余弦相似度，取余弦相似度最大值记录为nmaxsimGEN；
设一般疑问句余弦相似度度量阈值为θGEN；
若nmaxsimGEN＞θGEN，则认为naGEN表达肯定含义，naGEN符合预期，设置一般疑问句式递归询问检检查结果nPASSGEN＝TRUE；
否则认为naGEN未表达肯定含义，naGEN不符合预期设置一般疑问句式递归询问检查结果nPASSGEN＝FALSE。
作为优选，步骤3所述基于用户当前输入的询问对应的知识陈述挑选若干可能的特殊疑问句目标答案为：
从步骤1得到的用户当前输入的询问对应的知识陈述fs中使用通用文本语法分析工具抽取名词性短语和形容词性短语，作为可能的特殊疑问句目标答案，构建可能的特殊疑问句目标答案集合为：
Figure BDA0003292773290000057
其中，
Figure BDA0003292773290000058
j∈[1，N]是第j个可能的特殊疑问句目标答案，N为fs中抽取出的可能的特殊疑问句目标答案的个数；
步骤3所述使用问题生成模型构造若干新的特殊疑问句为：
对于用户当前输入的询问对应的知识陈述fs和可能的特殊疑问句目标答案集合
Figure BDA0003292773290000061
使用基于深度学习的问句生成工具依次为每一个可能的特殊疑问句目标答案生成对应的特殊疑问句，构成可能的特殊疑问句集合：
Figure BDA0003292773290000062
其中，
Figure BDA0003292773290000063
j∈[1，N]是
Figure BDA0003292773290000064
中第j个可能的特殊疑问句目标答案
Figure BDA0003292773290000065
Figure BDA0003292773290000066
对应的问句；
步骤3所述筛选保留符合要求特殊疑问句及其对应目标答案形成特殊疑问句式递归询问集合为：
对于j∈[1，N]，依次对可能的特殊疑问句目标答案
Figure BDA00032927732900000629
和对应的可能的特殊疑问句
Figure BDA0003292773290000068
使用通用文本语法分析工具匹配
Figure BDA0003292773290000069
中的特殊疑问词、主语、谓语动词、助动词与剩余成分，按照预设的语法规则调整主语、谓语动词、特殊疑问词、助动词与剩余成分顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，将
Figure BDA00032927732900000610
转化为陈述句语序，得到
Figure BDA00032927732900000611
对应的带有特殊疑问词的陈述句
Figure BDA00032927732900000612
基于启发式变化规则用
Figure BDA00032927732900000613
替换
Figure BDA00032927732900000614
中的特殊疑问词，得到
Figure BDA00032927732900000615
对应的知识陈述
Figure BDA00032927732900000616
计算
Figure BDA00032927732900000617
与用户当前输入的询问对应的知识陈述fs的单词级相似度
Figure BDA00032927732900000618
设特殊疑问句生成单词级相似度度量阈值为
Figure BDA00032927732900000619
若
Figure BDA00032927732900000620
则认为
Figure BDA00032927732900000621
符合要求，加入特殊疑问句式递归询问集合：
Figure BDA00032927732900000622
其中，对k∈[1，M]，
Figure BDA00032927732900000623
为第k个特殊疑问句，
Figure BDA00032927732900000624
为
Figure BDA00032927732900000625
目标答案，M为从步骤1得到的用户当前输入的询问对应的知识陈述fs可生成的符合要求的特殊疑问句式递归询问的数量；
步骤3所述将集合中的每一特殊疑问句式递归询问输入问答系统并获取对应该递归询问的新答案构造新答案集合为：
对于特殊疑问句式递归询问集合
Figure BDA00032927732900000626
中的每一个特殊疑问句
Figure BDA00032927732900000627
，k∈[1，M]，将
Figure BDA00032927732900000628
输入问答系统QASUT，得到问答系统对第k个特殊疑问句的回答
Figure BDA00032927732900000743
所述得到的新答案集合为：
Figure BDA0003292773290000072
其中，
Figure BDA0003292773290000073
为问答系统对第k个特殊疑问句的回答；
步骤3所述基于语义词向量逐词检查新答案集合中的每一个答案是否符合预期为：
对于k∈[1，M]，依次分析第k个新答案
Figure BDA0003292773290000074
及第k个新答案对应的特殊疑问句
Figure BDA0003292773290000075
及第k个新答案对应的目标答案
Figure BDA0003292773290000076
对
Figure BDA0003292773290000077
分词和去停顿词得到第k个新答案非停顿词集合：
Figure BDA0003292773290000078
其中，
Figure BDA0003292773290000079
为
Figure BDA00032927732900000710
的非停顿词个数，
Figure BDA00032927732900000711
为
Figure BDA00032927732900000712
的第p个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对
Figure BDA00032927732900000713
中第p个非停顿词
Figure BDA00032927732900000714
获取语义词向量，记
Figure BDA00032927732900000715
的语义词向量为
Figure BDA00032927732900000716
Figure BDA00032927732900000717
对
Figure BDA00032927732900000718
分词和去停顿词得到第k个新答案对应的目标答案非停顿词集合：
Figure BDA00032927732900000719
其中，
Figure BDA00032927732900000720
为
Figure BDA00032927732900000721
的非停顿词个数，
Figure BDA00032927732900000722
为
Figure BDA00032927732900000723
的第q个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对
Figure BDA00032927732900000724
中第q个非停顿词
Figure BDA00032927732900000725
获取语义词向量，记
Figure BDA00032927732900000726
的语义词向量为
Figure BDA00032927732900000741
Figure BDA00032927732900000728
对于
Figure BDA00032927732900000729
依次计算
Figure BDA00032927732900000730
与
Figure BDA00032927732900000731
Figure BDA00032927732900000732
的余弦相似度，取余弦相似度最大值记录为
Figure BDA00032927732900000733
加入第k个特殊疑问句式递归询问回答余弦相似度最大值集合：
Figure BDA00032927732900000734
其中，
Figure BDA00032927732900000735
为目标答案
Figure BDA00032927732900000736
中第q个非停顿词的语义词向量
Figure BDA00032927732900000742
Figure BDA00032927732900000738
与
Figure BDA00032927732900000739
中所有单词的语义词向量
Figure BDA00032927732900000740
的余弦相似度的最大值；
设特殊疑问句余弦相似度度量阈值为θWH；
计算第k个新答案与目标答案相似度均值：
Figure BDA0003292773290000081
对比
Figure BDA0003292773290000082
与θWH，若
Figure BDA0003292773290000083
则认为
Figure BDA0003292773290000084
表达了
Figure BDA0003292773290000085
的含义，
Figure BDA0003292773290000086
符合预期，设置第k个特殊疑问句式递归询问检查结果
Figure BDA0003292773290000087
Figure BDA0003292773290000088
否则认为
Figure BDA0003292773290000089
未表达
Figure BDA00032927732900000810
的含义，
Figure BDA00032927732900000811
不符合预期，设置第k个特殊疑问句式递归询问检查结果
Figure BDA00032927732900000812
对于k∈[1，M]，所有特殊疑问句式递归询问检查结果
Figure BDA00032927732900000821
构成特殊疑问句式递归询问检查结果集合：
Figure BDA00032927732900000814
其中
Figure BDA00032927732900000815
为第k个特殊疑问句式递归询问
Figure BDA00032927732900000816
k∈[1，M]的检查结果。
作为优选，步骤4所述总结展示检查结果并向用户报告可靠度量情况为：
通过交互界面向用户展示生成的一般疑问句式递归询问nqGEN与问答系统QASUT对nqGEN的回答naGEN，和生成的M个特殊疑问句式递归询问
Figure BDA00032927732900000817
k∈[1，M]与k个问答系统QASUT对
Figure BDA00032927732900000818
的回答
Figure BDA00032927732900000819
统计一般疑问句式递归询问检查结果nPASSGEN与M个特殊疑问句式递归询问检查结果
Figure BDA00032927732900000820
k∈[1，M]取值为FALSE的个数记为cntfail；
若cntfail＞0则提示用户核查报告的生成的一般疑问句式递归询问与特殊疑问句式递归询问及问答系统的相应回复；
否则报告问答系统回答通过检查，回答应当基本可靠。
本发明有益效果为：
本发明以在无需预先获得问答系统参考答案的情况下对系统返回的回答的可靠性进行检查为目的，首先收集用户输入的询问与问答系统的回答，检查输入的询问类型，并结合系统回答构造一条知识陈述句；其次基于该知识陈述句构造一般疑问句式递归询问，使用问答系统获取对应的新答案，并基于语义词向量检查新答案是否符合预期；随后基于该知识陈述句构造若干特殊疑问句式递归询问，使用问答系统获取对应的新答案，并基于语义词向量检查新答案是否符合预期；最后总结展示检查结果并向用户报告可靠度量情况。该方法的思路为：若问答问答系统对于初始询问的回答正确，基于初始询问和系统回答构成的知识陈述为正确事实，基于该事实产生的新询问所获得的答案应当同样符合该事实。若系统对于新询问的回复不符合知识陈述，说明该回答错误，或知识陈述错误即对初始询问回答错误。
本发明提供的方法基于一种新颖的基于递归询问的蜕变关系，即基于用户初始输入的询问与问答系统的初始回答形成知识陈述，并构建若干递归询问，通过检查问答系统对原询问和每个递归询问回答的一致性检查问答系统的回答的可靠性，全过程不需要与原询问的参考答案进行对比，从而解决了现有的基于与参考答案对比的方案费时费力、无法在问答系统使用过程中提供即时检查的问题；设计了一种新颖的基于递归询问的蜕变关系，从而解决了将蜕变测试技术应用于问答系统时无相应的合适关系的难题；设计了可用于三种问句形式及其回答合成知识陈述句并生成两种主流问句形式的自然语言操作步骤与具体实现方案，从而解决了尚无能够基于给定输入询问生成多样新输入的难题；设计了具体的针对于两种主流问句形式的基于语义的回答正确性的度量方法，从而解决了尚无能够基于给定输入询问生成多样新输入的难题。
本发明形成的方法最终可以为用户在问答系统使用过程中等未知输入询问的参考答案的情景下初步核查用户从问答系统获得答案的可靠性，从而达到在无需预先获得问答系统参考答案的情况下对系统返回的回答的可靠性进行检测的目的，实现在未知正确回答的情况下即时地初步核查问答系统回答的可靠性。
附图说明
图1：为本发明方法步骤流程图；
图2：为本发明定义的针对于一般疑问句的陈述句合成方法的一个示例的展示图；
图3：为本发明定义的针对于选择疑问句的陈述句合成方法的示例展示图；
图4：为本发明定义的针对于特殊疑问句的陈述句合成方法的示例展示图；
图5：为本发明定义的一般疑问句生成方法的示例展示图；
图6：为本发明定义的一般疑问句结果正确性度量的示例展示图；
图7：为本发明定义的特殊疑问句生成方法的示例展示图；
图8：为本发明定义的一般疑问句结果正确性度量的示例展示图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
本发明的目的在于在无需预先获得问答系统参考答案的情况下对系统返回回答的可靠性进行检测，以缓解由于缺乏预先获得的参考答案而完全无法对问答系统返回答案的可靠性进行检查，导致用户直接接受错误答案并造成不良影响的情况。本发明基于蜕变测试技术设计了一种新颖的基于递归询问的蜕变关系，并设计了具体的问题生成、答案验证方法对问答系统返回结果进行验证，从而使用户能够在未知正确回答的情况下即时地初步核查问答系统回答的可靠性。
下面结合图1至图8介绍本发明的具体实施方式为：本发明提供了一种基于递归询问的问答系统回答可靠性即时检查方法，请参见图1，包括：
步骤1：收集用户当前输入的询问和问答系统为用户当前输入的询问返回的答案，判断用户当前输入的询问的问题类型，基于问答系统为其返回的答案对于一般疑问句或选择疑问句或特殊疑问句形式的询问合成其对应的知识陈述，或对于其他非正式问句提示用户修改输入询问为特殊疑问句、选择疑问句、一般疑问句形式之一并重新运行该方法；
作为优选，步骤1所述收集用户当前输入的询问和问答系统为用户当前输入的询问返回的答案为：
所述用户当前输入的询问为：qs；
所述问答系统为：QASUT；
所述问答系统为用户当前输入的询问返回的答案为：as；
步骤1所述判断用户当前输入的询问的问题类型为：
记
Figure BDA0003292773290000101
为用户当前输入的询问的问题形式；
通过识别qs中疑问引导词类型的方法判断qs语句是否为特殊疑问句，若qs疑问引导词属于特殊疑问词，则qs为特殊疑问句形式的询问，设置
Figure BDA0003292773290000102
若qs非特殊疑问句形式的询问，通过识别qs语句中选择疑问子句的方法判断qs是否为选择疑问句式，着qs语句包含选择疑问子句，则qs为选择疑问句形式的询问，设置
Figure BDA0003292773290000111
若qs非特殊疑问句形式的询问和选择疑问句形式的询问，通过匹配一般疑问句语法规则的方法判断qs语句是否为选择疑问句，若qs语句满足一般疑问句形式，则qs为一般疑问句形式的询问，设置
Figure BDA0003292773290000112
若qs无法通过上述过程识别类型，则qs为其他非正式问句，设置
Figure BDA0003292773290000113
Figure BDA0003292773290000114
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
对于使用英语作为交互语言的问答系统，通过匹配常见特殊疑问词“what”、“why”、“who”、“how”、“whose”和“where”来判断当前输入的询问为qs是否为特殊疑问句形式的询问；
对于非特殊疑问句形式的询问，通过使用spaCy通用文本语法关系工具分析qs中的依存关系并识别是否含有疑问关联词“or”引导的子句来判断当前输入的询问qs是否为选择疑问句形式的询问；
对于非特殊疑问句形式且非选择疑问句的询问，通过使用spaCy通用文本语法关系工具分析qs中每个单词的词性并判断qs是否具有完整的主谓成分以及合适的词序来判断当前输入的询问qs是否为一般疑问句形式的询问；
对于非特殊疑问句且非选择疑问句且非一般疑问句形式的询问，判定为其他非正式问句。
步骤1所述基于问答系统为其返回的答案对于一般疑问句或选择疑问句或特殊疑问句形式的询问合成其对应的知识陈述为：
所述基于问答系统为其返回的答案对于一般疑问句形式的询问合成其对应的知识陈述为：
当
Figure BDA0003292773290000115
时，使用通用文本语法分析工具匹配用户当前输入的询问中的主语、助动词、谓语动词与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词及剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到qs对应的知识陈述fs。
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
使用spaCy通用文本语法关系工具分析qs中的依存关系与各词词性，确定句中谓语动词与疑问助动词；
若疑问助动词为“do”及其相应不同形式且答系统QASUT为用户当前输入的询问qs返回的答案as为肯定，则去除“do”并按照“do”的语态时态修改谓语动词语态时态，即可得到qs对应的知识陈述fs；
否则，若问答系统QASUT为用户当前输入的询问qs返回的答案as为否定，则将助动词修改为否定形式，即可得到qs对应的知识陈述fs；
附图2展示了一种上述两种具体实施的操作效果，当一般疑问句式询问中词性为AUX的助动词为Was，将其移动到谓语动词filmed前，“Yes”为肯定回答，因此即得到对应的知识陈述句当一般疑问句式询问词性为AUX的助动词为Does，“No”为否定回答，因此否定助动词形成“does not”并移动至谓语动词have前得到结果后得到对应的知识陈述。
所述基于问答系统为其返回的答案对于选择疑问句形式的询问合成其对应的知识陈述句为：
当TYPEqs＝″ALT″时，使用通用文本语法分析工具匹配用户当前输入的询问为qs中的特殊疑问词、主语、谓语动词、选择成分与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词、选择成分与剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到带有选择成分的陈述句q′s；
用所述问答系统为用户当前输入的询问返回的答案as替换q′s中的选择成分，得到用户当前输入的询问对应的知识陈述fs。
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
使用spaCy通用文本语法关系工具分析qs中的依存关系与各词词性，确定句中谓语动词与疑问助动词；
若疑问助动词为“do”及其不同语态时态形式，则去除“do”并按照“do”的语态时态修改助动词，否则将该助动词放置谓语动词前，即可得到qs对应的带有选择成分的陈述句q″s；
根据qs中的依存关系定位到由选择关联词“or”引导的选择子句成分；
将定位到的选择子句替换为问答系统QASUT为用户当前输入的询问qs返回的答案as，即可得到qs对应的知识陈述fs；
附图3展示了一种上述具体实施的操作效果，其中，陈述变化类似针对附图2中的情况，最终将or子句“Scandinavia or Germany”替换为as即“Scandinavia”后得到最终知识陈述“Plague spread in Scandinavia first.”。
所述基于问答系统为其返回的答案对于特殊疑问句形式的询问合成其对应的知识陈述为：
当
Figure BDA0003292773290000131
时，使用通用文本语法分析工具匹配用户当前输入的询问为qs中的特殊疑问词、主语、谓语动词与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词及剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到带有特殊疑问词的陈述句q″s；
基于启发式规则用所述问答系统为用户当前输入的询问返回的答案as替换q″s中的特殊疑问词，得到用户当前输入的询问对应的知识陈述fs。
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
使用spaCy通用文本语法关系工具分析qs中的依存关系与各词词性，确定句中谓语动词与疑问助动词；
若疑问助动词为“do”及其相应不同形式，则去除“do”并按照“do”的语态时态修改助动词，否则将该助动词放置谓语动词前；
按照如附图4左侧所示的启发式规则将疑问词移动到相应位置，即可得到带有特殊疑问词的陈述句q″s；
将q″s中疑问词替换为问答系统QASUT为用户当前输入的询问qs返回的答案as，即可得到qs对应的知识陈述fs；
附图4右侧展示了使用上述具体实施的部分例子。
步骤1所述对于其他非正式问句提示用户修改输入询问为特殊疑问句、选择疑问句、一般疑问句形式之一并重新运行该方法为：
当
Figure BDA0003292773290000141
时，通过界面交互提示修改输入问题为其余三种标准形式并重新运行，并终止程序。
步骤2：基于用户当前输入的询问对应的知识陈述构造一般疑问句作为一般疑问句式递归询问，将该一般疑问句式递归询问输入问答系统并获取对应的新答案，基于语义词向量逐词检查该新答案是否符合预期；
作为优选，步骤2所述基于用户当前输入的询问对应的知识陈述构造一般疑问句作为一般疑问句式递归询问为：
使用通用文本语法分析工具匹配步骤1得到的用户当前输入的询问对应的知识陈述fs中的主语、谓语动词，根据谓语动词的时态和语态通过自然语言时态语态转换工具选取对应的助动词插入谓语动词前，得到带有助动词的陈述句f′s；
将f′s中助动词提前至f′s句首，得到一般疑问句式递归询问nqGEN。
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
使用spaCy通用文本语法关系工具分析fs中的依存关系与各词词性，确定句中谓语动词，若谓语动词前存在助动词can、will、have、be及其各种时态语态变化，则将助动词移至句首，否则根据谓语动词的时态语态，在句首补入助动词“do”符合时态语态的相应形式，即可得到一般疑问句式递归询问nqGEN；
附图5展示了一种上述具体实施的操作效果，当知识陈述fs包含词性为AUX的助动词was时，将助动词was提至句首即得到nqGEN；当知识陈述fs不包含词性为AUX的助动词时，根据词性为VERB(ROOT)的谓语动词spread的时态语态将对应的助动词do的合适形式did插入句首即得到nqGEN。
步骤2所述将该一般疑问句式递归询问输入问答系统并获取对应的新答案为：
将所述一般疑问句式递归询问nqGEN输入问答系统，得到问答系统对一般疑问句式递归询问的回答，定义为naGEN。
步骤2所述基于语义词向量逐词检查该新答案是否符合预期为：
对问答系统对一般疑问句式递归询问的回答进行分词和去停顿词处理得到该回答的非停顿词集合：
Figure BDA0003292773290000142
其中，nLENGEN为问答系统对一般疑问句式递归询问的回答的非停顿词个数，
Figure BDA0003292773290000151
i∈[1，nLENGEN]为问答系统对一般疑问句式递归询问的回答的第i个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对问答系统对一般疑问句式递归询问的回答中第i个非停顿词
Figure BDA0003292773290000152
获取语义词向量，记
Figure BDA0003292773290000153
的语义词向量为
Figure BDA0003292773290000154
i∈[1，nLENGEN]；
通过从预训练语义词向量库中提取单词的语义词向量的方法，获取肯定表达语义词向量为wordvecyes；
对于i∈[1，nLENGEN]依次计算
Figure BDA0003292773290000155
与wordvecyes的余弦相似度，取余弦相似度最大值记录为nmaxsimGEN；
设一般疑问句余弦相似度度量阈值为θGEN；
若nmaxsimGEN＞θGEN，则认为naGEN表达肯定含义，naGEN符合预期，设置一般疑问句式递归询问检查结果nPASSGEN＝TRUE；
否则认为naGEN未表达肯定含义，naGEN不符合预期设置一般疑问句式递归询问检查结果nPASSGEN＝FALSE。
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
使用spaCy通用文本分析工具对naGEN分词和去停顿词得到
Figure BDA0003292773290000156
Figure BDA0003292773290000157
从基于Wikipedia语料预训练的Word2Vec语义词向量结果中获取naGEN中第i个非停顿词
Figure BDA0003292773290000158
语义词向量
Figure BDA0003292773290000159
获取肯定基准单词“yes”的语义词向量作为肯定表达语义词向量wordvecyes；
一般疑问句余弦相似度度量阈值θGEN用于度量naGEN是否表达了肯定的语义。若θGEN过低则会漏报部分未表达肯定的naGEN，若θGEN过高则会误报部分相对可认为正确的naGEN。本领域的技术员可根据实际使用情况优选合适的θGEN，当使用基于Wikipedia语料预训练的Word2Vec语义词向量时，θGEN典型值为0.6；
附图6展示了一种上述度量过程的具体实施例，其中naGEN为“yep it is black”，
Figure BDA00032927732900001510
nmaxsimGEN＝0.6019，因此naGEN被认为符合预期，设置nPASSGEN＝TRUE。
步骤3：基于用户当前输入的询问对应的知识陈述挑选若干可能的特殊疑问句目标答案，使用问题生成模型构造若干新的特殊疑问句，筛选保留符合要求特殊疑问句及其对应目标答案形成特殊疑问句式递归询问集合，将集合中的每一特殊疑问句式递归询问输入问答系统并获取对应该递归询问的新答案构造新答案集合，基于语义词向量逐词检查新答案集合中的每一个答案是否符合预期；
作为优选，步骤3所述基于用户当前输入的询问对应的知识陈述挑选若干可能的特殊疑问句目标答案为：
从步骤1得到的用户当前输入的询问对应的知识陈述fs中使用通用文本语法分析工具抽取名词性短语和形容词性短语，作为可能的特殊疑问句目标答案，构建可能的特殊疑问句目标答案集合为：
Figure BDA0003292773290000161
其中，
Figure BDA0003292773290000162
j∈[1，N]是第j个可能的特殊疑问句目标答案，N为fs中抽取出的可能的特殊疑问句目标答案的个数；
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
使用spaCy通用文本语法关系工具分析fs中的依存关系与各词词性，提取不含代词且不为原问题答案as的形容词词组和名词词组构建可能的特殊疑问句目标答案集合
Figure BDA0003292773290000163
附图7中(a)部分展示了从fs提取出的可能的特殊疑问句目标答案集合
Figure BDA0003292773290000164
Figure BDA0003292773290000165
步骤3所述使用问题生成模型构造若干新的特殊疑问句为：
对于用户当前输入的询问对应的知识陈述fs和可能的特殊疑问句目标答案集合
Figure BDA0003292773290000166
使用基于深度学习的问句生成工具依次为每一个可能的特殊疑问句目标答案生成对应的特殊疑问句，构成可能的特殊疑问句集合：
Figure BDA0003292773290000167
其中，
Figure BDA0003292773290000168
j∈[1，N]是
Figure BDA0003292773290000169
中第j个可能的特殊疑问句目标答案
Figure BDA00032927732900001610
Figure BDA00032927732900001611
对应的问句；
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
使用UniLM等基于深度学习的特殊疑问句问题生成工具，对于可能的特殊疑问句目标答案集合
Figure BDA0003292773290000171
和知识陈述fs，构成可能的特殊疑问句集合
Figure BDA0003292773290000172
附图7中(b)部分展示了一个基于(a)的结果所构成的可能的特殊疑问句集合
Figure BDA0003292773290000173
的例子。
步骤3所述筛选保留符合要求特殊疑问句及其对应目标答案形成特殊疑问句式递归询问集合为：
对于j∈[1，N]，依次对可能的特殊疑问句目标答案
Figure BDA0003292773290000174
和对应的可能的特殊疑问句
Figure BDA0003292773290000175
使用通用文本语法分析工具匹配
Figure BDA0003292773290000176
中的特殊疑问词、主语、谓语动词、助动词与剩余成分，按照预设的语法规则调整主语、谓语动词、特殊疑问词、助动词与剩余成分顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，将
Figure BDA0003292773290000177
转化为陈述句语序，得到
Figure BDA0003292773290000178
对应的带有特殊疑问词的陈述句
Figure BDA0003292773290000179
基于启发式变化规则用
Figure BDA00032927732900001710
替换
Figure BDA00032927732900001711
中的特殊疑问词，得到
Figure BDA00032927732900001727
对应的知识陈述
Figure BDA00032927732900001713
计算
Figure BDA00032927732900001714
与用户当前输入的询问对应的知识陈述fs的单词级相似度
Figure BDA00032927732900001728
设特殊疑问句生成单词级相似度度量阈值为
Figure BDA00032927732900001716
若
Figure BDA00032927732900001717
则认为
Figure BDA00032927732900001718
符合要求，加入特殊疑问句式递归询问集合：
Figure BDA00032927732900001719
其中，对k∈[1，M]，
Figure BDA00032927732900001720
为第k个特殊疑问句，
Figure BDA00032927732900001721
为
Figure BDA00032927732900001722
目标答案，M为从步骤1得到的用户当前输入的询问对应的知识陈述fs可生成的符合要求的特殊疑问句式递归询问的数量；
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
通过步骤1实施例所述方法实现基于预设的特殊疑问句转陈述句变化规则用，根据第j个目标答案
Figure BDA00032927732900001723
和对应的可能的特殊疑问句
Figure BDA00032927732900001724
合成其对应的知识陈述句
Figure BDA00032927732900001725
基于ROUGE-1单词级相似度度量函数
Figure BDA00032927732900001726
Figure BDA0003292773290000181
计算
Figure BDA0003292773290000182
与步骤1得到的用户当前输入的询问对应的知识陈述fs的单词级相似度
Figure BDA0003292773290000183
特殊疑问句生成单词级相似度度量阈值
Figure BDA0003292773290000184
田于度量
Figure BDA0003292773290000185
是否符合要求。若
Figure BDA0003292773290000186
过低则会误将部分错误的问句用作特殊疑问句式递归询问，导致误报错误；若
Figure BDA0003292773290000187
过高则会过滤去部分正确的表达形式多样的合法问题，导致可测试项减少，降低错误发现能力。本领域的技术员可根据实际使用情况优选合适的
Figure BDA0003292773290000188
当使用上述ROUGE-1单词级相似度度量函数时，
Figure BDA0003292773290000189
典型值为0.6；
附图7中(c)部分展示了基于(a)所构成的可能的特殊疑问句集合
Figure BDA00032927732900001810
与(b)部分特殊疑问句集合
Figure BDA00032927732900001811
生成对应陈述句并计算
Figure BDA00032927732900001812
的情况，其中可选问题及答案2与6被去除；最终余下符合要求的两个问题与答案对构成该例子的特殊疑问句式递归询问集合
Figure BDA00032927732900001813
步骤3所述将集合中的每一特殊疑问句式递归询问输入问答系统并获取对应该递归询问的新答案构造新答案集合为：
对于特殊疑问句式递归询问集合
Figure BDA00032927732900001814
中的每一个特殊疑问句
Figure BDA00032927732900001815
，k∈[1，M]，将
Figure BDA00032927732900001833
输入问答系统QASUT，得到问答系统对第k个特殊疑问句的回答
Figure BDA00032927732900001817
所述得到的新答案集合为：
Figure BDA00032927732900001818
其中，
Figure BDA00032927732900001819
为问答系统对第k个特殊疑问句的回答；
步骤3所述基于语义词向量逐词检查新答案集合中的每一个答案是否符合预期为：
对于k∈[1，M]，依次分析第k个新答案
Figure BDA00032927732900001834
及第k个新答案对应的特殊疑问句
Figure BDA00032927732900001835
及第k个新答案对应的目标答案
Figure BDA00032927732900001822
对
Figure BDA00032927732900001823
分词和去停顿词得到第k个新答案非停顿词集合：
Figure BDA00032927732900001824
其中，
Figure BDA00032927732900001825
为
Figure BDA00032927732900001826
的非停顿词个数，
Figure BDA00032927732900001827
为
Figure BDA00032927732900001828
的第p个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对
Figure BDA00032927732900001829
中第p个非停顿词
Figure BDA00032927732900001830
获取语义词向量，记
Figure BDA00032927732900001831
的语义词向量为
Figure BDA00032927732900001832
Figure BDA0003292773290000191
对
Figure BDA0003292773290000192
分词和去停顿词得到第k个新答案对应的目标答案非停顿词集合：
Figure BDA0003292773290000193
其中，
Figure BDA0003292773290000194
为
Figure BDA0003292773290000195
的非停顿词个数，
Figure BDA0003292773290000196
为
Figure BDA0003292773290000197
的第q个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对
Figure BDA0003292773290000198
中第q个非停顿词
Figure BDA0003292773290000199
获取语义词向量，记
Figure BDA00032927732900001910
的语义词向量为
Figure BDA00032927732900001911
Figure BDA00032927732900001912
对于
Figure BDA00032927732900001913
依次计算
Figure BDA00032927732900001914
与
Figure BDA00032927732900001915
Figure BDA00032927732900001916
的余弦相似度，取余弦相似度最大值记录为
Figure BDA00032927732900001917
加入第k个特殊疑问句式递归询问回答余弦相似度最大值集合：
Figure BDA00032927732900001918
其中，
Figure BDA00032927732900001919
为目标答案
Figure BDA00032927732900001920
中第q个非停顿词的语义词向量
Figure BDA00032927732900001921
Figure BDA00032927732900001922
与
Figure BDA00032927732900001923
中所有单词的语义词向量
Figure BDA00032927732900001924
的余弦相似度的最大值；
设特殊疑问句余弦相似度度量阈值为θWH；
计算第k个新答案与目标答案相似度均值：
Figure BDA00032927732900001925
对比
Figure BDA00032927732900001926
与θWH，若
Figure BDA00032927732900001927
则认为
Figure BDA00032927732900001928
表达了
Figure BDA00032927732900001929
的含义，
Figure BDA00032927732900001930
符合预期，设置第k个特殊疑问句式递归询问检查结果
Figure BDA00032927732900001931
Figure BDA00032927732900001932
否则认为
Figure BDA00032927732900001933
未表达
Figure BDA00032927732900001934
的含义，
Figure BDA00032927732900001935
不符合预期，设置第k个特殊疑问句式递归询问检查结果
Figure BDA00032927732900001936
对于k∈[1，M]，所有特殊疑问句式递归询问检查结果
Figure BDA00032927732900001937
构成特殊疑问句式递归询问检查结果集合：
Figure BDA00032927732900001938
其中
Figure BDA00032927732900001939
为第k个特殊疑问句式递归询问
Figure BDA00032927732900001940
k∈[1，M]的检查结果。
在具体的实施过程中，以针对使用英语作为交互语言的问答系统为例，实现上述过程的一种方法为：
使用spaCy通用文本分析工具对
Figure BDA0003292773290000201
分词和去停顿词得到
Figure BDA0003292773290000202
Figure BDA0003292773290000203
从基于Wikipedia语料预训练的Word2Vec语义词向量结果中获取
Figure BDA0003292773290000204
中第p个非停顿词
Figure BDA0003292773290000205
语义词向量
Figure BDA0003292773290000206
使用spaCy通用文本分析工具对
Figure BDA0003292773290000207
分词和去停顿词得到
Figure BDA0003292773290000208
Figure BDA0003292773290000209
从基于Wikipedia语料预训练的Word2Vec语义词向量结果中获取
Figure BDA00032927732900002010
中第q个非停顿词
Figure BDA00032927732900002011
语义词向量
Figure BDA00032927732900002012
特殊疑问句余弦相似度度量阈值θWH度量
Figure BDA00032927732900002013
是否正确且完整地准确表达了
Figure BDA00032927732900002014
的语义。若θWH过低则会漏报部分未准确表达
Figure BDA00032927732900002015
的
Figure BDA00032927732900002016
若θWH过高则会误报部分相对可认为止确的
Figure BDA00032927732900002017
本领域的技术员可根据实际使用情况优选合适的θWH，当使用基于Wikipedia语料预训练的Word2Vec语义词向量时，θWH典型值为0.6；
附图8展示了一种上述度量过程的具体实施例，假定k＝1，其中
Figure BDA00032927732900002018
为“egyptianpresident”，
Figure BDA00032927732900002019
为“the president of egypt”，
Figure BDA00032927732900002020
Figure BDA00032927732900002021
Figure BDA00032927732900002022
因此
Figure BDA00032927732900002023
被认为符合预期，设置
Figure BDA00032927732900002024
步骤4：总结展示检查结果并向用户报告可靠度量情况。
作为优选，步骤4所述总结展示检查结果并向用户报告可靠度量情况为：
通过交互界面向用户展示生成的一般疑问句式递归询问nqGEN与问答系统QASUT对nqGEN的回答naGEN，和生成的M个特殊疑问句式递归询问
Figure BDA00032927732900002025
k∈[1，M]与k个问答系统QASUT对
Figure BDA00032927732900002026
的回答
Figure BDA00032927732900002027
统计一般疑问句式递归询问检查结果nPASSGEN与M个特殊疑问句式递归询问检查结果
Figure BDA00032927732900002028
k∈[1，M]取值为FALSE的个数记为cntfail；
若cntfail＞0则提示用户核查报告的生成的一般疑问句式递归询问与特殊疑问句式递归询问及问答系统的相应回复；
否则报告问答系统回答通过检查，回答应当基本可靠。
本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。本领域的技术人员容易理解，以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (5)

1.一种基于递归询问的问答系统回答可靠性即时检查方法，其特征在于，包括以下步骤：
步骤1：收集用户当前输入的询问和问答系统为用户当前输入的询问返回的答案，判断用户当前输入的询问的问题类型，基于问答系统为其返回的答案对于一般疑问句或选择疑问句或特殊疑问句形式的询问合成其对应的知识陈述，或对于其他非正式问句提示用户修改输入询问为特殊疑问句、选择疑问句、一般疑问句形式之一并重新运行该方法；
步骤2：基于用户当前输入的询问对应的知识陈述构造一般疑问句作为一般疑问句式递归询问，将该一般疑问句式递归询问输入问答系统并获取对应的新答案，基于语义词向量逐词检查该新答案是否符合预期；
步骤3：基于用户当前输入的询问对应的知识陈述挑选若干可能的特殊疑问句目标答案，使用问题生成模型构造若干新的特殊疑问句，筛选保留符合要求特殊疑问句及其对应目标答案形成特殊疑问句式递归询问集合，将集合中的每一特殊疑问句式递归询问输入问答系统并获取对应该递归询问的新答案构造新答案集合，基于语义词向量逐词检查新答案集合中的每一个答案是否符合预期；
步骤4：总结展示检查结果并向用户报告可靠度量情况。
2.根据权利要求1所述的基于递归询问的问答系统回答可靠性即时检查方法，其特征在于：
步骤1所述收集用户当前输入的询问和问答系统为用户当前输入的询问返回的答案为：
所述用户当前输入的询问为：qs；
所述问答系统为：QASUT；
所述问答系统为用户当前输入的询问返回的答案为：as；
步骤1所述判断用户当前输入的询问的问题类型为：
记
Figure FDA0003292773280000011
为用户当前输入的询问的问题形式；
通过识别qs中疑问引导词类型的方法判断qs语句是否为特殊疑问句，若qs疑问引导词属于特殊疑问词，则qs为特殊疑问句形式的询问，设置
Figure FDA0003292773280000012
若qs非特殊疑问句形式的询问，通过识别qs语句中选择疑问子句的方法判断qs是否为选择疑问句式，若qs语句包含选择疑问子句，则qs为选择疑问句形式的询问，设置
Figure FDA0003292773280000021
若qs非特殊疑问句形式的询问和选择疑问句形式的询问，通过匹配一般疑问句语法规则的方法判断qs语句是否为选择疑问句，若qs语句满足一般疑问句形式，则qs为一般疑问句形式的询问，设置
Figure FDA0003292773280000022
若qs无法通过上述过程识别类型，则qs为其他非正式问句，设置
Figure FDA0003292773280000023
Figure FDA0003292773280000024
步骤1所述基于问答系统为其返回的答案对于一般疑问句或选择疑问句或特殊疑问句形式的询问合成其对应的知识陈述为：
所述基于问答系统为其返回的答案对于一般疑问句形式的询问合成其对应的知识陈述句为：
当
Figure FDA0003292773280000025
时，使用通用文本语法分析工具匹配用户当前输入的询问中的主语、助动词、谓语动词与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词及剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到qs对应的知识陈述fs；
所述基于问答系统为其返回的答案对于选择疑问句形式的询问合成其对应的知识陈述为：
当
Figure FDA0003292773280000026
时，使用通用文本语法分析工具匹配用户当前输入的询问为qs中的特殊疑问词、主语、谓语动词、选择成分与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词、选择成分与剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到带有选择成分的陈述句q′s；
用所述问答系统为用户当前输入的询问返回的答案as替换q′s中的选择成分，得到用户当前输入的询问对应的知识陈述fs；
所述基于问答系统为其返回的答案对于特殊疑问句形式的询问合成其对应的知识陈述为：
当
Figure FDA0003292773280000027
时，使用通用文本语法分析工具匹配用户当前输入的询问为qs中的特殊疑问词、主语、谓语动词与剩余成分，按照陈述句语法规则调整主语、助动词、谓语动词及剩余成分结构顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，从而将qs转化为陈述句语序，得到带有特殊疑问词的陈述句q″s；
基于启发式规则用所述问答系统为用户当前输入的询问返回的答案as替换q″s中的特殊疑问词，得到用户当前输入的询问对应的知识陈述fs；
步骤1所述对于其他非正式问句提示用户修改输入询问为特殊疑问句、选择疑问句、一般疑问句形式之一并重新运行该方法为：
当
Figure FDA0003292773280000031
时，通过界面交互提示修改输入问题为其余三种标准形式并重新运行，并终止程序。
3.根据权利要求1所述的基于递归询问的问答系统回答可靠性即时检查方法，其特征在于：
步骤2所述基于用户当前输入的询问对应的知识陈述构造一般疑问句作为一般疑问句式递归询问为：
使用通用文本语法分析工具匹配步骤1得到的用户当前输入的询问对应的知识陈述fs中的主语、谓语动词，根据谓语动词的时态和语态通过自然语言时态语态转换工具选取对应的助动词插入谓语动词前，得到带有助动词的陈述句f′s；
将f′s中助动词提前至f′s句首，得到一般疑问句式递归询问nqGEN；
步骤2所述将该一般疑问句式递归询问输入问答系统并获取对应的新答案为：
将所述一般疑问句式递归询问nqGEN输入问答系统，得到问答系统对一般疑问句式递归询问的回答，定义为naGEN；
步骤2所述基于语义词向量逐词检查该新答案是否符合预期为：
对问答系统对一般疑问句式递归询问的回答进行分词和去停顿词处理得到该回答的非停顿词集合：
Figure FDA0003292773280000032
其中，nLENGEN为问答系统对一般疑问句式递归询问的回答的非停顿词个数，
Figure FDA0003292773280000033
为问答系统对一般疑问句式递归询问的回答的第i个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对问答系统对一般疑问句式递归询问的回答中第i个非停顿词
Figure FDA0003292773280000041
获取语义词向量，记
Figure FDA0003292773280000042
的语义词向量为
Figure FDA0003292773280000043
通过从预训练语义词向量库中提取单词的语义词向量的方法，获取肯定表达语义词向量为wordvecyes；
对于i∈[1，nLENGEN]依次计算
Figure FDA0003292773280000044
与wordvecyes的余弦相似度，取余弦相似度最大值记录为nmaxsimGEN；
设一般疑问句余弦相似度度量阈值为θGEN；
若nmaxsimGEN＞θGEN，则认为naGEN表达肯定含义，naGEN符合预期，设置一般疑问句式递归询问检检查结果nPASSGEN＝TRUE；
否则认为naGEN未表达肯定含义，naGEN不符合预期设置一般疑问句式递归询问检查结果nPASSGEN＝FALSE。
4.根据权利要求1所述的基于递归询问的问答系统回答可靠性即时检查方法，其特征在于：
步骤3所述基于用户当前输入的询问对应的知识陈述挑选若干可能的特殊疑问句目标答案为：
从步骤1得到的用户当前输入的询问对应的知识陈述fs中使用通用文本语法分析工具抽取名词性短语和形容词性短语，作为可能的特殊疑问句目标答案，构建可能的特殊疑问句目标答案集合为：
Figure FDA0003292773280000045
其中，
Figure FDA0003292773280000046
是第j个可能的特殊疑问句目标答案，N为fs中抽取出的可能的特殊疑问句目标答案的个数；
步骤3所述使用问题生成模型构造若干新的特殊疑问句为：
对于用户当前输入的询问对应的知识陈述fs和可能的特殊疑问句目标答案集合
Figure FDA0003292773280000047
使用基于深度学习的问句生成工具依次为每一个可能的特殊疑问句目标答案生成对应的特殊疑问句，构成可能的特殊疑问句集合：
Figure FDA0003292773280000048
其中，
Figure FDA0003292773280000049
是
Figure FDA00032927732800000410
中第j个可能的特殊疑问句目标答案
Figure FDA00032927732800000411
Figure FDA00032927732800000412
对应的问句；
步骤3所述筛选保留符合要求特殊疑问句及其对应目标答案形成特殊疑问句式递归询问集合为：
对于j∈[1，N]，依次对可能的特殊疑问句目标答案
Figure FDA0003292773280000051
和对应的可能的特殊疑问句
Figure FDA0003292773280000052
使用通用文本语法分析工具匹配
Figure FDA0003292773280000053
中的特殊疑问词、主语、谓语动词、助动词与剩余成分，按照预设的语法规则调整主语、谓语动词、特殊疑问词、助动词与剩余成分顺序，按照主语和助动词时态语态使用自然语言时态语态转换工具调整谓语动词时态语态，将
Figure FDA0003292773280000054
转化为陈述句语序，得到
Figure FDA0003292773280000055
对应的带有特殊疑问词的陈述句
Figure FDA0003292773280000056
基于启发式变化规则用
Figure FDA0003292773280000057
替换
Figure FDA0003292773280000058
中的特殊疑问词，得到
Figure FDA0003292773280000059
对应的知识陈述
Figure FDA00032927732800000510
计算
Figure FDA00032927732800000511
与用户当前输入的询问对应的知识陈述fs的单词级相似度
Figure FDA00032927732800000512
设特殊疑问句生成单词级相似度度量阈值为
Figure FDA00032927732800000513
若
Figure FDA00032927732800000514
则认为
Figure FDA00032927732800000515
符合要求，加入特殊疑问句式递归询问集合：
Figure FDA00032927732800000516
其中，对k∈[1，M]，
Figure FDA00032927732800000517
为第k个特殊疑问句，
Figure FDA00032927732800000518
为
Figure FDA00032927732800000519
目标答案，M为从步骤1得到的用户当前输入的询问对应的知识陈述fs可生成的符合要求的特殊疑问句式递归询问的数量；
步骤3所述将集合中的每一特殊疑问句式递归询问输入问答系统并获取对应该递归询问的新答案构造新答案集合为：
对于特殊疑问句式递归询问集合
Figure FDA00032927732800000520
中的每一个特殊疑问句
Figure FDA00032927732800000521
Figure FDA00032927732800000522
将
Figure FDA00032927732800000523
输入问答系统QASUT，得到问答系统对第k个特殊疑问句的回答
Figure FDA00032927732800000524
所述得到的新答案集合为：
Figure FDA00032927732800000525
其中，
Figure FDA00032927732800000526
为问答系统对第k个特殊疑问句的回答；
步骤3所述基于语义词向量逐词检查新答案集合中的每一个答案是否符合预期为：
对于k∈[1，M]，依次分析第k个新答案
Figure FDA0003292773280000061
及第k个新答案对应的特殊疑问句
Figure FDA0003292773280000062
及第k个新答案对应的目标答案
Figure FDA0003292773280000063
对
Figure FDA0003292773280000064
分词和去停顿词得到第k个新答案非停顿词集合：
Figure FDA0003292773280000065
其中，
Figure FDA0003292773280000066
为
Figure FDA0003292773280000067
的非停顿词个数，
Figure FDA0003292773280000068
为
Figure FDA0003292773280000069
的第p个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对
Figure FDA00032927732800000610
中第p个非停顿词
Figure FDA00032927732800000611
获取语义词向量，记
Figure FDA00032927732800000612
的语义词向量为
Figure FDA00032927732800000613
Figure FDA00032927732800000614
对
Figure FDA00032927732800000615
分词和去停顿词得到第k个新答案对应的目标答案非停顿词集合：
Figure FDA00032927732800000616
其中，
Figure FDA00032927732800000617
为
Figure FDA00032927732800000618
的非停顿词个数，
Figure FDA00032927732800000619
为
Figure FDA00032927732800000620
的第q个非停顿词；
通过从预训练语义词向量库中提取单词的语义词向量的方法，对
Figure FDA00032927732800000621
中第q个非停顿词
Figure FDA00032927732800000622
获取语义词向量，记
Figure FDA00032927732800000623
的语义词向量为
Figure FDA00032927732800000624
Figure FDA00032927732800000625
对于
Figure FDA00032927732800000626
依次计算
Figure FDA00032927732800000627
与
Figure FDA00032927732800000628
Figure FDA00032927732800000629
的余弦相似度，取余弦相似度最大值记录为
Figure FDA00032927732800000630
加入第k个特殊疑问句式递归询问回答余弦相似度最大值集合：
Figure FDA00032927732800000631
其中，
Figure FDA00032927732800000632
为目标答案
Figure FDA00032927732800000633
中第q个非停顿词的语义词向量
Figure FDA00032927732800000634
Figure FDA00032927732800000635
与
Figure FDA00032927732800000636
中所有单词的语义词向量
Figure FDA00032927732800000637
的余弦相似度的最大值；
设特殊疑问句余弦相似度度量阈值为θWH；
计算第k个新答案与目标答案相似度均值：
Figure FDA00032927732800000638
对比
Figure FDA00032927732800000639
与θWH，若
Figure FDA00032927732800000640
则认为
Figure FDA00032927732800000641
表达了
Figure FDA00032927732800000642
的含义，
Figure FDA00032927732800000643
符合预期，设置第k个特殊疑问句式递归询问检查结果
Figure FDA00032927732800000644
Figure FDA0003292773280000071
否则认为
Figure FDA0003292773280000072
未表达
Figure FDA0003292773280000073
的含义，
Figure FDA0003292773280000074
不符合预期，设置第k个特殊疑问句式递归询问检查结果
Figure FDA0003292773280000075
对于k∈[1，M]，所有特殊疑问句式递归询问检查结果
Figure FDA0003292773280000076
构成特殊疑问句式递归询问检查结果集合：
Figure FDA0003292773280000077
其中
Figure FDA0003292773280000078
为第k个特殊疑问句式递归询问
Figure FDA0003292773280000079
的检查结果。
5.根据权利要求1所述的基于递归询问的问答系统回答可靠性即时检查方法，其特征在于：
步骤4所述总结展示检查结果并向用户报告可靠度量情况为：
通过交互界面向用户展示生成的一般疑问句式递归询问nqGEN与问答系统QASUT对nqGEN的回答naGEN，和生成的M个特殊疑问句式递归询问
Figure FDA00032927732800000710
与k个问答系统QASUT对
Figure FDA00032927732800000711
的回答
Figure FDA00032927732800000712
统计一般疑问句式递归询问检查结果nPASSGEN与M个特殊疑问句式递归询问检查结果
Figure FDA00032927732800000713
取值为FALSE的个数记为cntfail；
若cntfail＞0则提示用户核查报告的生成的一般疑问句式递归询问与特殊疑问句式递归询问及问答系统的相应回复；
否则报告问答系统回答通过检查，回答应当基本可靠。
CN202111170353.2A 2021-10-08 2021-10-08 一种基于递归询问的问答系统回答可靠性即时检查方法 Pending CN113987141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111170353.2A CN113987141A (zh) 2021-10-08 2021-10-08 一种基于递归询问的问答系统回答可靠性即时检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111170353.2A CN113987141A (zh) 2021-10-08 2021-10-08 一种基于递归询问的问答系统回答可靠性即时检查方法

Publications (1)

Publication Number Publication Date
CN113987141A true CN113987141A (zh) 2022-01-28

Family

ID=79737732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111170353.2A Pending CN113987141A (zh) 2021-10-08 2021-10-08 一种基于递归询问的问答系统回答可靠性即时检查方法

Country Status (1)

Country Link
CN (1) CN113987141A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116936131A (zh) * 2023-09-14 2023-10-24 北京健康有益科技有限公司 基于aigc的母婴营养咨询系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116936131A (zh) * 2023-09-14 2023-10-24 北京健康有益科技有限公司 基于aigc的母婴营养咨询系统及方法

Similar Documents

Publication Publication Date Title
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN110489538B (zh) 基于人工智能的语句应答方法、装置及电子设备
Lei et al. Re-examining the role of schema linking in text-to-SQL
US9959776B1 (en) System and method for automated scoring of texual responses to picture-based items
US10665122B1 (en) Application of semantic vectors in automated scoring of examination responses
JP5043892B2 (ja) エッセイ中の過度の反復語使用の自動評価
US8271281B2 (en) Method for assessing pronunciation abilities
KR102019207B1 (ko) 텍스트 분석을 위한 데이터 품질 평가 장치 및 방법
US11403465B2 (en) Systems and methods for report processing
US9342489B2 (en) Automatic linking of requirements using natural language processing
US10282678B2 (en) Automated similarity comparison of model answers versus question answering system output
US10628749B2 (en) Automatically assessing question answering system performance across possible confidence values
CN110472203A (zh) 一种文章的查重检测方法、装置、设备及存储介质
CN116029306A (zh) 一种限定域文科简答题自动评分方法
Wadud et al. Text coherence analysis based on misspelling oblivious word embeddings and deep neural network
CN113987141A (zh) 一种基于递归询问的问答系统回答可靠性即时检查方法
JP2001056634A (ja) 自動採点システム
CN106294315A (zh) 基于句法特性与统计融合的自然语言谓语动词识别方法
CN112800182A (zh) 试题生成方法及装置
CN113822052A (zh) 一种文本错误检测方法、装置、电子设备及存储介质
CN116451646A (zh) 一种标准草案检测方法、系统、电子设备及存储介质
Abdou et al. Mgad: Multilingual generation of analogy datasets
CN115130480A (zh) 基于辅助翻译软件和双粒度替换的英中翻译软件测试方法
CN110674871B (zh) 面向翻译译文的自动评分方法及自动评分系统
Zue et al. Preliminary evaluation of the voyager spoken language system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination