CN104699741A - 分析自然语言问题来确定缺失信息以便提高回答的准确性 - Google Patents

分析自然语言问题来确定缺失信息以便提高回答的准确性 Download PDF

Info

Publication number
CN104699741A
CN104699741A CN201410682649.6A CN201410682649A CN104699741A CN 104699741 A CN104699741 A CN 104699741A CN 201410682649 A CN201410682649 A CN 201410682649A CN 104699741 A CN104699741 A CN 104699741A
Authority
CN
China
Prior art keywords
candidate
answer
gui
information
input problem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410682649.6A
Other languages
English (en)
Other versions
CN104699741B (zh
Inventor
P·F·哈格
D·A·约翰逊
M·G·梅格里安
J·E·皮特里
S·J·罗尔达
L·R·斯马策
R·J·史蒂文斯
R·L·史迪威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN104699741A publication Critical patent/CN104699741A/zh
Application granted granted Critical
Publication of CN104699741B publication Critical patent/CN104699741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Library & Information Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的实施例涉及分析自然语言问题来确定缺失信息以便提高回答的准确性。提供了一种在数据处理系统中的用于改善对输入问题的回答的机制，该数据处理系统包括处理器和存储器，被配置为实现问答(QA)系统。输入问题被接收，并且针对回答该输入问题所需要的关键信息的已知集合而被解析。响应于一条或多条关键信息无法在输入问题中可识别，经由图形用户界面(GUI)针对该一条或多条关键信息提示提交了输入问题的用户。

Description

分析自然语言问题来确定缺失信息以便提高回答的准确性
技术领域
本申请一般地涉及改进的数据处理装置和方法，并且更具体地涉及用于分析自然语言问题来确定缺失信息以便提高回答的准确性的机制。
背景技术
随着诸如因特网的计算网络的越来越多的使用，人们目前被充斥和淹没在对其可用的、来自各种结构化和非结构化源的信息量中。然而，当用户在搜索关于各种主题的信息期间，尝试将他们发现的、他们认为相关的内容关联起来时，充满了信息差。为了辅助这样的搜索，最近的研究已经指向生成问答(QA)系统，这可能需要输入问题、对其进行分析，并且返回指示对输入问题的最适当回答的结果。QA系统提供用于通过例如电子文档的大的内容源的集合来进行搜索的自动化机制，并且关于输入问题来对其进行分析，以确定对于该问题的回答以及与一个回答对于回答输入问题的有怎样的准确度相关的置信度。
一种这样的QA系统是可从纽约的阿芒克的国际商业机器(IBM)公司提供的WatsonTM系统。WatsonTM系统是高级自然语言处理、信息检索、知识表示和推理和机器学习技术对开放域问体回答领域的应用。WatsonTM系统是建立在用于假设生成、大量证据收集、分析和评分的IBM的DeepQATM技术之上。DeepQATM纳入输入问题，对其进行分析，将问题分解为组成部分，基于分解的问题和回答源的主要搜索的结果来生成一个或多个假设，基于来自证据源中的证据的检索来执行假设和证据评分，执行一个或多个假设的合成，并且基于训练的模型来执行最后的合并和排序，以输出对输入问题的回答以及置信度。
发明内容
在一个说明性实施例中，提供了一种在数据处理系统中的用于改善对输入问题的回答的方法，该数据处理系统包括处理器和存储器，被配置为实现问答(QA)系统。该说明性实施例接收输入问题，并且针对回答该输入问题所需要的关键信息的已知集合来解析该输入问题。该说明性实施例响应于一条或多条关键信息在输入问题中无法是可识别的，来经由图形用户界面(GUI)针对该一条或多条关键信息提示提交了输入问题的用户。
在其他说明性实施例中，提供了一种计算机程序产品，包括具有计算机可读程序的计算机可用或可读介质。该计算机可读程序在计算设备上执行时，使得计算设备执行以上关于方法说明性实施例列出的操作的各种操作和组合。
在另一说明性实施例中，提供了一种系统/装置。该系统/装置可以包括一个或多个处理器以及耦合到一个或多个处理器的存储器。该存储器可以包括指令，当由一个或多个处理器执行时，使得一个或多个处理器执行以上关于方法说明性实施例所列出的操作的各种操作和组合。
在以下本发明的示例性实施例的具体描述中描述了本发明的这些和其他特征和优点，并且对于本领域普通技术人员来说说显而易见的。
附图说明
当结合附图阅读时，通过参考以下说明性实施例的具体描述，将最好地理解本发明及其使用的优选模式以及其他目标和优点，其中：
图1是可以实现说明性实施例的回答系统的各方面的分布式数据处理系统的示意图；
图2是可以实现说明性实施例的各方面的计算设备的示例性框图；
图3图示了根据一个说明性实施例的用于处理输入问题的QA系统管道；
图4是图示根据一个说明性实施例的图形用户界面引擎的示例框图的示例图；以及
图5是概述根据一个说明性实施例的用于生成用于利用问答系统的用户协作的图形用户界面(GUI)的示例性操作的流程图。
具体实施方式
问答(QA)系统，诸如IBM的WatsonTMQA系统，需要大量计算能力来分析自然语言问题，并且从候选发现确定结果。此外，在诸如IBM的WatsonTMQA系统的问答系统中，对于任何知识域、语料库，如果所有已知和相关的数据作为问题的一部分被输入或者作为关于该问题的输入的集合提供，则可以用更确切的回答来响应很多问题。例如，在医疗知识域中，在处理输入之前没有获取的缺失的诊断数据、模糊的注释、关键患者信息等可以使得以低置信度返回回答。当前，除了用“难道你的意思是？”来对问题进行响应以涵盖拼写错误或对所需字段的典型形式验证，不存在用于关于处理非结构化数据的自然语言系统中的问题是否提供所有相关信息的当前手段。出于说明性实施例的目的，术语“问题”是指问题以及与应当可用作输入的给定问题相关联的“数据和信息的集合”。因此，该说明性实施例支持对自然语言问题进行分析以确定缺失信息，以便提高回答的准确性。
通过示例性实施例的机制，当用户将问题输入到问答系统时，自然语言处理确定考虑中的和/或与输入相关联的关键信息是否缺失，或者包括模糊的术语。如果自然语言处理确定了问题中的信息缺失或模糊，则说明性实施例在不提供对问题的回答的情况下，返回对特定缺失信息的请求。然而，如果提供了所有的关键信息，但是将改善回答的其他必要信息缺失或模糊，则说明性实施例用回答但是以较低的置信度来进行响应。即，说明性实施例的QA系统认识到，只有通过具有全部或大部分的必要信息，才可以提供更明确的回答。如果一些基本但不关键的信息缺失或模糊，则说明性实施例提供一个或多个回答，但是还指示缺失或模糊的其他信息，这在被提供或澄清时将改善回答。
更具体地，在QA系统中的问题处理期间，QA系统首先确定所有的关键信息是否已经在问题中或与问题相关联的信息中被直接提供。例如，考虑下述问题：“对具有症状S1、S2和S3的患者进行什么诊断？”。QA系统解析问题，并且关于所需要的关键信息是否提供了所有特定注解。即，关于所呈现的上述问题以及由特定QA系统管理员和/或训练器识别的关键信息，说明性实施例将快速确定缺失的关键信息，诸如患者性别、患者年龄、患者当前历史、患者家族史、当前药物和剂量、血液测试结果等。然而，QA系统还能够向自己学习。即，如果在医生、护士、专家等在患者的电子文件中时询问上述示例性问题，那么QA系统将认识到，正在向当前患者询问该问题，并且解析与该患者相关联的信息来确定关键信息。因此，说明性实施例的QA系统时常能够以直接的方式来识别缺失的信息。即，QA系统可以容易地能够识别特定属性，并且因此，容易识别那些缺失的关键属性。更复杂的短语和条件提供了对什么信息是以及什么不是信息并且因此什么信息缺失的更大的挑战和不太清楚的界限。
此外，如果关键信息被提供，但是该信息在某种程度上是模糊的，则QA系统可以请求澄清。例如，如果当前药物和剂量信息指示“试过多种抗生素”、“服用了一阵”或“Z-pack等”，则这些短语中的每一个都包括模糊的信息。即，术语“多种”、“一会儿”和“其他”是指什么。因此，说明性实施支持对澄清问题的响应，诸如“请说明所服用的抗生素的名字”、“请提供服用的准确剂量”或“请列出所服用的其他药物”。
一旦提供了所有的关键信息，该说明性实施例就分析问题中提供的信息以及与患者相关联的所有信息作为用于确定在问题中的信息与所有已知的疾病、疾患、状况等之间的相似度，这在下文中被统称为疾病。即，QA系统可以进行在所提供的症状S1、S2和S3与所有已知的疾病之间的初始相关，以识别疾病的子集。一旦识别了疾病的该子集，该QA系统就开始以进一步通过消除不在与患者相关联的信息内的所有项来进一步细化疾病的子集。例如，如果疾病的子集包括仅与男性相关联的疾病、仅与女性相关联的疾病以及与男性和女性相关联的疾病，并且患者是女性，则QA系统可以容易地从疾病的子集中消除仅与男性相关联的那些疾病。可以关于年龄、当前历史、家族史、当前药物和剂量、血液测试结果、旅行史等进行其他消除。
在已经基于尽可能多的消除细化了疾病的子集之后，QA系统分析疾病的子集，以确定是否存在与患者相关联的任何其他信息，这将进一步缩小该子集。即，一些疾病可能有额外的注解，在被满足时，尽可能消除或保留疾病。例如，如果疾病具有与对访问Belize相关联的注解，并且与患者相关的信息指示该患者在国外旅行但是没有提供何处的指示，则QA系统将该缺失的信息识别为是对疾病的子集的进一步需要的。又如，如果疾病具有需要对测试T1的肯定结果的注释，并且患者信息指示这样的测试没有被命令或者在患者信息中没有找到这样的测试的结果，则QA系统将该缺失的信息识别为是对疾病的子集的进一步细化所需要的。
一旦通过消除或者通过缺失信息的识别细化了疾病的子集中的剩余疾病，QA系统将置信度分数与剩余疾病中的每一个相关联。即，每种疾病具有必须被满足的特定准则集合，以明确指示这是患者所具有的疾病。如果患者的症状和相关联的信息仅满足用于该疾病的准则的60％，则QA系统使60的置信度分数与该疾病相关联。一旦在该疾病集合中的所有疾病已经被评分，则QA系统用疾病的子集、其相关联的缺失信息和相关联的置信度分数来对该问题进行响。以下是可以对初始问题“对具有症状S1、S2和S3的患者进行什么诊断？”提供的回答的示例。
回答：
患者可能具有疾病D1——50％置信度
满足信息：症状S1和S3。
缺失信息：症状S4，患者在过去2年中是否访问了Belize。
患者可能具有疾病2——37％置信度
满足信息：症状S2。
缺失信息：测试T1为肯定。
当医疗专家输入附加信息以解决缺失的信息时，QA系统将能够细化已经识别的疾病的子集，并且基于新的信息来识别其他疾病。
尽管上述示例涉及医疗领域，但是应当认识到，所述数据缺失和诊断的识别可以适用于许多领域，诸如解决计算机问题的呼叫中心、在识别客户所经历的问题的原因中的自动修复等。此外，当用户将问题输入到系统中时，如果QA系统返回指示缺失信息的回答，则返回的缺失信息查询可以以操作的迭代模式(会话Watson)或“批量”操作模式二者来进行。批量模式可以是，当多个问题被一起提交(例如，隔夜)并且在稍晚时间检查结果时。对于批量模式，返回的结果识别缺失的信息，因此用户可以在必要时提供缺失信息，并且稍后重新提供其具有更多信息的问题。
下文中将参考附图来更具体地描述本发明的说明性实施例的上述方面和优点。应当理解，附图仅意在说明本发明的示例性实施例。本发明可以涵盖在附图中没有明确示出但是根据说明性实施例的描述对于本领域技术人员来说将是显而易见的所描绘的示例性实施例的修改、各方面、实施例。
本领域技术人员应当理解，本发明的各个方面可以被实现为系统、方法或计算机程序产品。因此，本发明的各方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码/指令。
可以采用计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
在一些说明性实施例中，计算机可读介质是非瞬时计算机可读介质。非瞬时计算机可读介质是不是非实体信号或传播波，即纯信号或传播波本身的任何介质。非瞬时计算机可读介质可以利用信号和传播波，但是不是信号或传播波本身。因此，例如，以任何方式利用信号以保持其状态的各种形式的存储器设备以及其他类型的系统、设备或装置在本说明书的范围内可以被视为非瞬时计算机可读介质。
另一方面，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。类似地，计算机可以存储介质是不是计算机可读信号介质的任何计算机可读介质。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、射频(RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言(注意：术语“Java”、“Smalltalk”等在世界的不同管辖区具有商标权，并且这里仅用于在这样的商标权可能存在的程度上用标记适当表示的产品或服务)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为单机软件包部分地在用户的计算机上并且部分地在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本公开。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其他可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。
也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其他可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。
计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程数据处理装置或其他设备上执行可操作步骤序列，以产生计算机实现的处理，使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或框图的框中所规定的功能/动作的处。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
说明性实施例可以在许多不同类型的数据处理环境中被使用。图1-3涉及描述可以以其实现说明性实施例的机制的示例性问题/回答、问题和回答或问答(QA)系统、方法和计算机程序产品。如下文中将更具体讨论的，说明性实施例可以被集成在这些QA机制中，并且可以相对于分析自然语言问题以确定缺失的信息以提高回答的准确性，来增大和扩展这些QA机制的功能。因此，在描述说明性实施例的机制如何被集成和增加在这样的QA系统中之前，首先重要的是理解可以如何实现QA系统中的问题的回答创建。应当理解，图1-3中所描述的QA机制仅仅是示例，并且不意在澄清或暗示关于可以以其实现说明性实施例的QA机制的类型的任何限制。可以在不脱离本发明的精神和范围的情况下，在本发明的各种实施例中实现对图1-3中所示的示例性QA系统的许多修改。
QA机制通过访问数据或信息的语料库中的信息(也被称为内容的语料库)、对其进行分析、并且然后基于该数据的分析来生成回答结果，来进行操作。访问数据的语料库中的信息通常包括：数据库查询，其回答关于什么在结构化数据的集合中的问题；以及搜索，其响应于对非结构化数据的集合(文本、标记语言等)的查询来递送文本链接的集合。常规问题回答系统能够基于数据的语料库和输入问题来生成回答，验证对数据的语料库的问题的集合的回答，使用数据的语料库来校正数字文本中的错误，并且从可能的回答(即候选回答)的池中选择对问题的回答。
诸如文章作者、电子文档创建者、网页作者、文献数据库创建者等的内容创建者可以确定在写入其内容之前的这样的内容中描述的产品、解决方案和服务的使用情况。因此，内容创建者可以知道该内容想要回答由内容寻址的具体主体中的什么问题。在诸如与问题相关联的角色、信息类型、任务等方面对于数据的语料库的每个文档中的问题进行分类可以允许QA系统更快速和有效地识别包含与特定查询相关的内容。该内容还可以回答内容创建者没有考虑可能有利于内容用户的其他问题。问题和回答可以由内容创建者来验证以被包含在用于给定文档的内容中。这些能力有助于提高QA系统的准确性、系统性能、机器学习以及置信度。内容创建者、自动化工具等可以注释或以其他方式生成用于提供可由QA系统使用的信息以识别该问题并且回答内容的属性的元数据。
对这样的内容进行操作，QA系统使用多个集中分析机制来生成对输入问题的回答，该集中分析机制评估内容以识别对输入问题的最适当的回答，即候选回答。说明性实施例利用QA系统已经完成的工作来减少类似于由QA系统已经处理的问题的问题的后续处理的消耗时间和资源成本。
图1描绘了在计算机网络102中的问题/回答创建(QA)系统100的一个说明性实施例的示意图。在US专利申请公开No.2011/0125734中描述了可以结合这里描述的原理使用的问题/回答生成的一个示例，其全部内容通过引用合并于此。QA系统100可以在连接到计算机网络102的一个或多个计算设备104(包括一个或多个处理器和一个或多个存储器，以及可能通常本领域公知的任何其他计算设备元件，包括总线、存储设备、通信接口等)上实现。网络102可以经由一个或多个有线和/或无线数据通信链路来与彼此并且与其他设备或组件通信的多个计算设备104，其中每个通信链路可以包括电线、路由器、交换机、发射机、接收机等中的一个或多个。QA系统100和网络102可以经由其相应的计算设备110-112来支持用于一个或多个QA系统用户的问题/回答(QA)生成功能。QA系统100的其他实施例可以与除了这里描述的组件、系统、子系统和/或设备一起使用。
QA系统100可以被配置为实现从各种源接收输入的QA系统管道108。例如，QA系统100可以从网络102、数据的语料库106、QA系统用户或者其他数据和输入的其他可能源接收输入。在一个实施例中，可以通过网络102来路由对QA系统100的一些或所有输入。网络102上的各种计算设备104可以包括用于内容创建者和QA系统用户的接入点。一些计算设备104可以包括用于存储数据的语料库106的设备(仅出于说明的目的地，在图1中被示出为单独实体)。数据的语料库106的一部分还可以被设置在一个或多个网络附连的存储设备上、一个或多个数据库或图1中没有明确示出的其他计算设备中。在各种实施例中，网络102可以包括本地网络连接以及远程连接，使得该QA系统100可以在例如因特网的包括本地和全局的任何大小的环境中进行操作。
在一个实施例中，内容创建者创建数据的语料库106的文档的内容，以由QA系统100用作数据的语料库的一部分。文档可以包括用于在QA系统中使用的任何文件、文本、文章或源。QA系统用户可以经由网络连接或对网络102的因特网连接来访问QA系统100，并且可以向QA系统100输入可以由数据的语料库106中的内容回答的问题。在一个实施例中，可以使用自然语言来形成问题。QA系统100可以解释该问题，并且提供向例如QA系统用户110的QA系统用户提供包含对该问题的一个或多个回答的响应。在一些实施例中，QA系统100可以以候选回答的排序列表来向用户提供响应。
QA系统100实现QA系统管道108，其包括多个级，用于处理输入问题、数据的语料库106忙并且基于数据的语料库106的处理来生成用于输入问题的回答。以下将参考图3来更详细地描述QA系统管道108。
在一些说明性实施例中，QA系统100可以是可从纽约的阿芒克的国际商业机器(IBM)公司提供的WatsonTMQA系统，这用下述说明性实施例的机制来增强。WatsonTM QA系统可以接收输入问题，然后解析该输入问题以提取问题的主要特征，并且进而用于制定应用于数据的语料库的查询。基于对数据的语料库的查询的应用，通过针对具有用于包含对输入问题的有价值回答的一些可能的数据的语料库的一部分来查找数据的语料库，来生成对输入问题的假定或候选回答的集合。
然后，WatsonTMQA系统使用各种推理算法来对输入问题的语言以及在询问的应用期间的发现的数据的语料库的一部分中的每一个使用的语言执行深度分析。可能应用几百或甚至几千的推理算法，其中的每一个都执行不同的分析，例如比较，并且生成分数。例如，一些推理算法可以考察在输入问题的语言和数据的语料库的发现部分内的术语和同义词的匹配。其他推理算法可以考察语言中的时间或空间特征，而其他可以评估数据的语料库的一部分的源并且评估其真实性。
从各个推理算法中获得的分数指示基于该推理算法的焦点的特定区域而由输入问题推断可能的响应的程度。然后，每个得到的分数针对统计模型被加权。统计模型捕获在WatsonTM QA系统的训练时段期间建立用于具体知识域的两个类似的通道之间的干扰时推理算法执行得有多好。然后，统计模型可以用于总结WatsonTM QA系统有关通过问题推断可能的响应(即候选回答)的证据的置信度水平。该过程可以针对每个候选回答而重复，直至WatsonTMQA系统识别表面显著强于其他的候选回答，并且由此生成对输入问题的最终回答或排序的回答集合。可以例如从公司网站、IBM等获得关于WatsonTMQA系统的更多信息。例如，关于WatsonTMQA系统的信息可以在Yuan等人的“Watson andHealthcare”IBM developer2011和Rob High的“The Era ofCognitive Systems:An Inside Look at IBM Watson and How it Works”,IBM 2012中找到。
图2是可以实现说明性实施例的各方面的示例性数据处理系统的框图。数据处理系统200是诸如图1中的服务器104或客户端110的计算机的示例，其中可以定位实现用于本发明的说明性实施例的过程的计算机可用代码或指令。在一个说明性实施例中，图2表示诸如服务器104的计算设备，其被增强以包括下述说明性实施例的附加机制的QA系统100和QA系统管道108。
在所示的示例中，数据处理系统200采用集线器架构，包括北桥和存储器控制器集线器(NB/MCH)202以及南桥和输入/输出(I/O)控制器集线器(SB/ICH)204。处理单元206、主存储器208和图形处理器210连接到NB/MCH 202。图形处理器210可以通过加速图形端口(AGP)连接到NB/MCH 202。
在所描绘的示例中，本地局域网(LAN)适配器212连接到SB/ICH 204。音频适配器216、键盘和鼠标适配器220、调制解调器222、只读存储器(ROM)224、硬盘驱动器(HDD)226、CD-ROM驱动器230、通用串行总线(USB)端口和其他通信端口232以及PCI/PCIe设备234通过总线238和总线240连接到SB/ICH 204。PCI/PCIe设备可以包括例如用于笔记本电脑的以太网适配器、外接卡和PC卡。PCI使用卡总线控制器，而PCIe不是。ROM 224可以是例如闪速基本输入/输出系统(BIOS)。
HDD 226和CD-ROM驱动器230通过总线240连接到SB/MCH204。HDD 226和CD-ROM驱动器230可以使用例如集成驱动器电子设备(IDE)或串行高级技术附接(SAST)接口。超级I/O(SIO)设备236可以连接到SB/ICH 204。
操作系统在处理单元206上运行。操作系统协调并且提供对图2中的数据处理系统200内的各种组件的控制。作为客户端，操作系统可以是商业上可用的操作系统，诸如面向对象的编程系统，诸如JavaTM编程系统，可以结合操作系统运行，并且从对数据处理系统200置信的JavaTM程序或应用提供对操作系统的调用。
作为服务器，数据处理系统200可以是例如运行高级交互执行()操作系统或操作系统的eServerTM System 计算机系统。数据处理系统200可以是在处理器单元206中包括多个处理器的对称多处理器(SMP)系统。替换地，可以采用单个处理器系统。
用于操作系统、面向对象的编程系统以及应用或程序的指令位于诸如HDD 226的存储设备上，并且可以被加载到主存储器208以由处理单元206来执行。用于本发明的说明性实施例的过程可以由处理器206使用计算机可用程序代码来执行，其可以位于诸如主存储器208、ROM 224的存储器中或者例如一个或多个外围设备226和230中。
诸如图2中所示的总线238或总线240的总线系统可以包括一个或多个总线。当然，总线系统可以使用任何类型的通信结构或架构来实现，其支持在附连到该结构或架构的不同组件或设备之间的数据的传输。诸如图2的调制解调器222或网络适配器212的通信单元可以包括用于传送和接收数据的一个或多个设备。存储器可以是例如主存储器208、ROM 224或高速缓存，如图2中的NB/MCH 202中所发现的。
本领域普通技术人员将理解，图1和图2中描绘的硬件可以根据实现而变化。其他内部硬件或外围设备，诸如闪存、等效的非易失性存储器、磁盘或光盘驱动器等，可以作为图1和图2中描绘的硬件的添加或替代来使用。而且，在不脱离本发明的精神和范围的情况下，说明性实施例的过程可以适用于多处理器数据处理系统，而不是前述SMP系统。
此外，数据处理系统200可以具有多个不同数据处理系统中的任何一个的形式，包括客户端计算设备、服务器计算设备、平板计算机、膝上型计算机、电话或其他通信设备、个人数字助理(PDA)等。在一些说明性实施例中，数据处理系统200可以便携式计算设备，其被配置有闪速存储器以提供例如用于存储操作系统文件和/或用户生成的数据的非易失性存储器。实质上，数据处理系统200可以是没有架构限制的任何已知或以后开发的数据处理系统。
图3图示了根据一个说明性实施例的用于处理输入问题的QA系统管道。图3的QA系统管道可以被实现为例如图1中的QA系统100的QA系统管道108。应当理解，图3中所示的QA系统管道可以被实现为一个或多个软件引擎、组件等，其被配置有用于实现作用于具体级的功能的逻辑。每一级可以使用这样的软件引擎、组件等中的一个或多个来实现。软件引擎、组件等可以在一个或多个数据处理系统或设备的一个或多个处理器上被执行，并且可以利用或操作存储在数据处理系统的一个或多个上的一个或多个数据存储设备么、存储器等中的数据。图3的QA系统管道可以例如在一个或多个级中被增强，以实现下述说明性实施例的改善的机制，可以提供额外级以实现改善的机制，或者来自管道300的独立逻辑可以被提供用于与管道300对接，并且实现说明性实施例的改善的功能和操作。
如图3中所示，在QA系统管道300包括多个级310-380，QA系统通过其来进行操作以分析输入问题，并且生成响应。在初始问题输入级310，QA系统接收存在于资源语言格式中的输入问题。即，用户可以经由用户界面输入用户想要获得其回答的输入问题，例如，“对具有症状S1、S2和S3的患者进行什么诊断？”。响应于接收到输入问题，QA系统管道300的下一级，即问题和主题分析级320，使用自然语言处理(NLP)技术来解析输入问题，以从输入问题中提取主要特征，根据类型，例如名称、日期或剩余的其他定义的主题中的任何一个来对主要特征进行分类。例如，在上述示例性问题中，术语“什么”可以与用于指示寻找的疾病的标识的“疾病”的主题相关联，“患者”可以通过与QA系统管道驻留的设施的关联而被识别为人，“症状”可以被识别为指示澄清性准则的词语，并且“S1、S2和S3”可以指示定义症状的名词或形容词。
然后，可以在关键信息检查阶段325中使用所识别的主要特征，以确定是否已经提供了足够的关键信息或者是否可读可识别以回答问题。关于接收到的问题，关键信息检查阶段325基于由管理员或训练器定义的关键注解的预定义集合来确定关于所需要的关键信息是否提供了所有特定注解。关于医疗语料库，关键注解的集合可以是患者性别、患者年龄、患者当前历史、患者家族史、当前药物和剂量、血液测试结果等。关键信息检查阶段325分析了问题以确定该信息是否被明确提供。然而，如果在接收到的问题中没有明确提供该信息，则关键信息检查阶段325使用其学习功能，来确定该问题是否从患者的电子文件内提供，并且因此，关键信息检查阶段325确认该问题用于当前患者，并且针对与患者相关联的信息来解析数据/信息345的语料库，以确定所有的关键信息是否被表示在与患者相关联的输入信息中。
此外，如果从问题或从与患者相关的其他输入信息识别了关键信息的全部或子集，则关键信息检查阶段325进一步确定所识别的关键信息有些模糊。例如，如果当前药物和剂量信息指示“试过多种抗生素”、“服用了一阵”或“Z-pack等”，则这些短语中的每一个都包括模糊的信息。即，术语“多种”、“一阵”和“其他”是指什么。因此，说明性实施支持对澄清问题的响应，诸如“请说明所服用的抗生素的名字”、“请提供服用的准确剂量”或“请列出所服用的其他药物”。此外，如果其他关键信息缺失，则关键信息检查阶段325用例如“请提供患者年龄”来进行响应。可以经由状态390来向用户呈现关于缺失和/或模糊信息的这些响应，这将在下文中具体描述。
一旦所有的关键信息已经被提供为与问题相关联或者经由所识别的患者信息来提供，然后可以在问题分解级330使用所识别的主要特征，以将问题分解成可以应用于数据/信息的语料库345的一个或多个查询以便于生成一个或多个假设。该查询可以以任何已知或以后开发的查询语言来生成，诸如结构化查询语言(SQL)等。该查询可以被应用于构成数据/信息的语料库345的一个或多个知识域或存储关于电子文本、文档、文章、网站等的信息的数据库。即，这些不同的源本身、源的集合等可以表示语料库345内的不同语料库347。根据具体实现，基于各种准则，可以存在为不同文档集合定义的不同语料库347。例如，可以针对不同的主题、主题类别、信息源等建立不同的语料库。例如，第一语料库可以与医疗保健文档相关联，而第二语料库可以与财务文档相关联。替代地，一个语料库可以是由美国能源署发布的文件，而另一语料库可以是 文件。具有一些相似属性内容的任何集合可以被认为是语料库345中的语料库347。
查询可以应用于存储关于构成例如图1中的数据的语料库106的数据信息的语料库的电子文本、文件、文章、网站等的一个或多个数据库。查询被应用于假设生成级340处的数据/信息的语料库以生成识别用于回答可以被评估的输入问题的可能的假设的结果。即，查询的应用导致了匹配具体查询的准则的数据/信息的语料库的一部分的提取。然后，在假设生成级340期间，可以分析和使用语料库的这些部分以生成用于回答输入问题的假设。这些假设也本文中还被称为用于输入问题的“候选回答”。对于任何输入问题，在该级340，可以生成可能需要被评估的几百个假设或候选回答。
然后，在级350中，QA系统管道300执行对输入问题的语言和每个假设或“候选回答”的语言的深度分析和比较，并且执行证据评分以评估具体假设是对输入问题的正确回答的可能性。如上所述，这可以涉及使用多个推理算法，每一个都执行各个类型的对提供支持或不支持假设的证据的输入问题的语言和/或语料库的内容的分析此外，假设和证据评分级350还确定是否存在可能提高每个候选回答的评分的缺失信息和或模糊的信息。即，如果给定的候选回答满足与接收到的问题相关联的一个或多个注解，但是在数据/信息345的语料库中具有不可识别或不清楚的附加注解，则假设和证据评分级350使该缺失或模糊的信息与给定候选回答相关联。在假设和证据评分级350中的每个推理算法基于其所执行的分析来生成分数，这指示通过查询的应用提取的数据/信息的语料库的各个部分的相关性的度量、缺失或模糊的信息的度量以及相应假设的正确性的度量，即假设中的置信度的度量。
在合成级360，由各种推理算法生成的大量相关分数可以被合成为用于各种假设的置信度分数。该过程可以包括对各种分数应用权重，其中如下所述，已经通过由QA系统采用的和/或动态更新的统计模型的训练来确定权重。可以根据通过QA系统的训练生成的统计模型来处理加权的分数，其识别这些分数可以被组合以生成用于独立假设或候选回答的置信度分数或度量。该置信度分数或度量总结QA系统具有关于输入问题所推断的候选回答的证据的置信度水平，即，候选回答是对输入问题的正确回答。
得到的置信度分数或度量通过最终置信度合并和排序级370来处理，这可以比较置信度分数和度量，使其与预定阈值作比较，或者对置信度分数执行任何其他分析以确定哪些假设/候选回答很可能是对输入问题的回答。可以根据这些比较来对假设/候选回答进行排序，以生成假设/候选回答的排序列表(以下简称为“侯选回答”)。从侯选回答的排序列表，在级380，最终回答和置信度分数或最终候选回答集合和置信度分数可以被生成并且输出到原始输入问题的提交方。该候选回答的集合是经由使用说明性实施例的机制生成的图形用户界面输出的，其向用户提供用于与QA系统进行合作以审核、评估和修改候选回答的列表和与由QA系统评估的这些候选回答相关联的证据的工具。
如图3中所示，根据该说明性实施例，在级380之后或作为级380的一部分，经由使用说明性实施例的机制生成的图形用户界面输出候选回答集合，其向用户提供如下工具，该工具用于与QA系统进行合作，以审核、评估和修改候选回答的列表和与由QA系统评估的这些候选回答相关联的证据。即，如图3所示，在级390处，说明性实施例的图形用户界面引擎不仅接收由QA系统管道300生成的候选回答的最后排序列表，但是还从假设和证据评分级350接收用于候选回答中的每一个的底层证据、缺失和/或模糊的信息，并且使用该信息来生成图形用户界面，其输出候选回答的排序列表以及数据/信息的语料库的选择的部分的输出，其支持和/或从下文中被称为“证据通道”的作为对输入问题的正确回答的候选回答中排除。
在级390处，所生成的图形用户界面(GUI)包括用于接收与证据通道相关的用户输入的逻辑，例如词、短语、句子等，用于在生成额外候选回答和/或修改当前候选回答中使用。即，经由GUI，用户可以响应于证据通道的一部分来生成新的候选回答，并且GUI可以将该信息馈送到QA系统管道300中，诸如在级340或350处，以在评估当前候选回答和/或经由假设和证据评分级350使用各种推理算法来生成新的候选回答，并且生成可以然后用于生成用于新生成的候选回答的置信度分数的相关分数。结果，GUI可以被更新以包括在输出侯选回答的排序列表的GUI的一部分中心生成的候选回答，假定用于新生成的候选回答的置信度分数满足作为对输入回答的适当回答的描述的需要，例如最小置信度分数，或者可以总是输出用户生成的候选回答，不论候选回答是否满足这样的阈值需要。类似地，输出与候选回答相关联的底层证据通道的GUI的一部分可以被自动地更新为包括用于新生成的候选回答及其关联证据通道的条目。
此外，GUI可以包括下述GUI元素：用于调用从用于各种候选回答的相关联的证据通知的列表中移除证据通道的GUI和/或修改与证据通道相关联的相关分数。以该方式，用户实质上取代了由QA系统管道300进行的评估，并且替代地通过下述来强加关评估通道的相关性的用户的主观确定：使其全部消除或者增加/减少与证据通道相关联的相关扥分以指示的证据通道与候选回答的相关性的用户自己的主观评估是对输入问题的正确回答。
此外，GUI可以包括下述GUI元素：用于允许用户在每个证据通道内以“向下钻取(drill down)”，以获得关于证据通道的源的额外信息。该向下钻取逻辑允许用户选择证据通道输出中的链接，其导致向用户呈现关于证据通道的源、证据通道在源文档内所存在的上下文等的信息。因此，例如，如果用户希望向下钻取源文档以执行对证据通道的周围上下文的更具体的分析，来确定证据通道是否与候选回答相关，或者如果可以从证据通道周围的上下文收集其他信息，则GUI的向下钻取逻辑可以用于实现这一点。可能与证据通道的用户的评估相关的其他信息还可以经由向下钻取逻辑来访问，该向下钻取逻辑包括关于将源文档的可靠性视作整体的信息以及用于评估证据通道的真实性和可靠性的其他信息。
如果用户以某个方式消除了证据通道或修改证据通道的相关性分数，则QA系统管道300可以基于对证据通道的改变来自动地调整相关性分数、置信度分数和候选回答的排序列表。以该方式，QA系统管道300可以基于与QA系统的协作来动态地调整其输出，以提供用户对证据通道和/或候选回答本身的相关性、可靠性和正确性的主观确定。
关于候选回答本身，GUI还可以提供下述GUI元素：用于从候选回答的排序列表中消除候选回答并且用于提供新的候选回答的自由形式的条目。用于消除候选回答的GUI元素在被选择时，可以从候选回答的排序列表中移除候选回答，并且可以自动地得到GUI的证据通道部分中的相应条目被移除。以该方式，候选回答作为用于输入问题的回答被完全移除。
关于新的候选回答的自由形式的条目自由形式的条目的新的候选回答，文本条目字段等可以被提供为使用户可以经由键盘键入候选回答、经由语音到文本机制输入或用户可以输入文本字、短语、句子等的任何其他方式输入。新输入的候选回答可以在级340或350处被自动地添加到候选回答的排序的列表并且被馈送到QA系统管道300中，以评估、生成用于数据/信息的语料库的提取部分的相关分数，并且生成用于新生成的候选回答的置信度分数。
上述过程可以在用户认为合适时被重复，直到用户满足了候选回答的排序列表并且与在候选回答的排序列表中的候选回答相关联的相应证据通道的状态。然后，该信息可以与输入问题、输入问题的标识符、基于输入问题生成的查询中的一个或多个查询等等相关联地被存储，以用于稍后的检索和使用。该存储的信息可以用于训练QA系统，例如，训练QA系统的统计模型的操作，修改指派给推理算法的权重等。该信息还可以用于比较在评估相同或类似的输入问题的后续提交时由QA系统生成的结果，以便于知道数据/信息的语料库如何所时间改变和/或这些改变可以如何改变由QA系统生成的得到的候选回答，例如，将存储的候选回答和相应的证据通道与稍后生成的候选回答和相应的证据通道进行比较，并且识别差异。所存储的信息还可以用作各种高速缓存，以提供对类似的输入问题或类似的查询结果的快速检索。还可以基于生成该存储的信息的说明性实施例的机制的操作来进行对所存储的信息的其他用途。
因此，使用被增强为包括说明性实施例的GUI逻辑机制的本领域中公知的其他QA系统中的上述机制或等同机制，开发了可以用于分析自然语言问题以确定缺失信息来提高候选回答以及支持其的相应证据通道的准确性的系统。QA系统可以包括包含下述逻辑的多个引擎或模块，该逻辑用于执行用于处理自然语言的数据问题的各种操作，确定关键问题中的信息是否缺失和/或模糊或者与问题相关联，搜索用于生成对输入问题的候选回答的信息的语料库，对候选回答排序或评分，执行对经评分或排序的候选回答的最终合并以生成对输入问题的单个最终回答。因此，QA系统可以包括下述引擎/模块，该引擎/模块用于执行问题分析、信息的语料库中的文档的内容分、主要搜索、候选回答生成、候选回答评分/排序以及候选回答的最终合并。此外，通过说明性实施例的机制，提供了向用户提供图形用户界面逻辑、引擎、模块等，其向用户提供以先前描述的各种方式与QA系统协作来修改或调整候选回答生成并且使用证据通道来评估候选回答。
如图4中所示，一个说明性实施例的图形用户界面(GUI)经由QA系统接口412与QA系统410对接，并且经由存储接口452与候选回答证据通道存储设备450对接。QA系统410是任何适当的QA系统，诸如上述WatsonTMQA系统，其对输入问题操作，以产生候选回答并评估这些候选回答，目的是提供一个或多个侯选回答作为用户输入问题的实际回答。输入问题可以例如经由GUI引擎430的问题输入引擎434来接收。在说明性实施例中，GUI引擎430可以在服务器计算设备上执行，并且可以由客户端计算设备通过一个或多个数据网络来访问，使得由GUI引擎430生成的GUI被呈现在用于与用户交互的客户端设备上，并且其交互被传送到服务器计算设备以进行处理。替代地，GUI引擎430可以对于由用户操作的相同的计算设备上操作，并且可以经由诸如键盘、鼠标、麦克风等的用户接口设备从用户直接接收输入。
问题输入引擎434为用户提供字段以将输入问题进行录入，然后可以对问题格式化，用于提交给QA系统410。基于经由问题输入引擎434接收的输入问题，QA系统410执行输入问题的解析和分析，关键信息检测，查询生成，查询应用和候选回答生成，候选回答和证据通道评估，识别与每个候选回答相关联的缺失和/或模糊的数据，以及评分等，如先前上述那样。QA系统410对数据/信息420的语料库操作，以生成候选回答(假设)，识别可能提高或降低候选回答的缺失和/或模糊的信息，获取证据通道，并执行前面描述的各种评价。QA系统410操作的结果是一组候选回答，相关的与候选回答相关联的缺失和/或模糊的信息，与候选回答相关联的证据通道，以及对应的相关性和置信度分数，其所有都可以被存储在候选回答证据通道存储系统450中。另外，该信息还可以包括关于语料库420中的源文件的真实性和相关性的其他信息以及该源文件的链接。
GUI引擎430进一步包括控制器432、证据通道引擎436、侯选回答引擎438、动态更新引擎440以及用户接口442。控制器432控制GUI引擎的整体操作430，并且包括下述逻辑，该逻辑用于协调和编排GUI引擎430的其他元件的操作以及具有QA系统410的GUI引擎430与候选回答证据通道存储系统450的对接。侯选回答引擎438包括下述逻辑，该逻辑用于产生和输出GUI的一部分，该GUI的一部分用于表示候选回答以及与由用户经由用户接口442输入或由QA系统410生成的候选回答相关联的相关缺失和/或模糊的信息，其中这样的输入可以是例如如上所述的证据通道的子部分的选择或候选回答的自由形式条目。由候选回答引擎438生成的GUI的侯选回答部分可以包括通过增加/减小的置信度分数组织的候选回答的排序列表以及与候选回答相关联的一个或多个缺失和/或模糊信息(如果有的话)，其中关联的GUI元素提供额外信息或者从候选回答的排名列表中消除一个或多个候选回答。如上所述，在一个或多个示例性实施例中，可以基于用户输入来修改排序，因为用户输入或选择的候选回答可以被包括在候选回答的排序列表中，不论其具体置信度分数如何，但是仍然可以基于其置信度分数而被列出在排名的位置中，即，即使用户输入的候选回答可能不满足用于包括在候选回答的排序列表中的最小需求，也仍然可以被包括在排序的列表中，但是被列出在对应于其相关置信度分数的位置中。
的候选回答引擎438还可以生成与可选定为从侯选回答的经排序的列表来侯选回答的经排序的列表提供了额外的信息或消除候选回答GUI中的侯选回答的条目相关联的GUI元素。该图形用户界面元件，当由用户选择时，如在经由用户接口442接收到的用户输入指示，使相应的候选回答进行更新或删除从侯选回答的经排序的列表。此外，对于证据通道，在GUI的证据通道部分的相应条目可以被自动更新以反映细化到候选回答或移除候选回答。侯选回答的经排序的列表，也可以动态地更新到侯选回答的重新评估基于所述候选回答或从经排序的列表中去除一个侯选回答的细化的排名。
证据通道引擎436包括用于生成列出有助于用于每个独立候选回答的置信度分数的证据通道的GUI输出的一部分的逻辑。即，GUI的证据通道部分可以通过候选回答来组织，该候选回答具有有助于与候选回答相关联地显示的候选回答的置信度分数的时间通道。GUI的证据通道部分中的证据通道的输出使得用户可经由用户接口442和用户自己的用户接口输入设备(例如，键盘、鼠标、麦克风等)选择证据通道的子部分，例如词、短语、句子等，以响应于这样的选择来创建被自动添加到候选回答的排序列表的新的候选回答。
如证据通道引擎436生成的经由GUI的证据部分输出的证据通道的条目可以包括用于由QA系统410执行的评估生成的证据部分的关联的相关性分数和证据部分的表示。此外，该条目可以包括出于实现前述向下钻取功能的目的的对用于证据通道的源文档的关联。向下钻取功能可以通过设置在证据通道引擎436中的逻辑来促进，其响应于经由选择用于证据通道的条目中的链路的用户接口442接收用户输入而被调用。
此外，证据通道引擎436生成具有下述GUI元素的GUI的证据通道部分，该GUI元素用于基于用户输入修改与证据通道相关联的相应的相关性分数。响应于用户经由选择用于移除证据通道的GUI元素的用户接口442来提供用户输入，从GUI输出中消除相应的证据通道，并且针对候选回答的动态重新评估来向QA系统410提交改变。类似地，响应于用户提供用于提供与证据通道相关的额外信息的用户输入，该改变被通信到QA系统410，其可以基于接收到的改变来动态地重新评估侯选回答。
动态更新引擎440包括用于协调经由用户接口442接收到的GUI元素的用户修改和选择的逻辑。这可以涉及协调事件GUI的证据通道部和侯选回答部分的更新以及用于与候选回答相关联的候选回答和/或证据通道的重新评估的QA系统410的修改的提交。经由QA系统410的操作生成的相关证据通道和得到的侯选回答以及经由GUI引擎430提供的用户协作可以被存储在用于稍后检索和使用的候选回答证据通道存储系统450中。
图5是概述根据一个说明性实施例的用于生成用于利用问答系统的用户协作的图形用户界面(GUI)的示例性操作的流程图。如图5所示，操作通过诸如经由图4中的问题输入引擎434从用户或用户的客户端设备接收输入问题来开始(步骤502)。输入问题被提供给QA系统，诸如图4的QA系统410，其执行初始检查是否已经提供了该问题的所有关键信息或者是否是与该问题的接近可读可识别的(步504)。如果在步骤504存在缺失或模糊的关键信息，则QA系统生成一条或多条缺失或模糊的关键信息的标识(步骤506)。图形用户界面的侯选回答部分，诸如图4中的候选回答引擎438，例如生成标识一条或多条缺失或模糊的关键信息的响应(步骤508)。包含一条或多条缺失或模糊的关键信息的标识的GUI被输出到提交原始输入问题的用户或客户端设备(步骤510)。
然后，GUI和QA系统等待提供一条或多条缺失或模糊的关键信息的用户输入(步骤512)。如果在步骤512接收到识别一条或多条缺失或模糊的关键信息的用户输入，则操作返回到步骤504。如果在步骤512没有接收到用户输入，则进行关于是否存在超时条件或结束GUI引擎的操作的用户输入的确定(步骤514)。如果在步骤514不存在超时条件或结束GUI引擎的操作的用户输入，则操作返回到步骤512。如果在步骤514存在超时条件或结束GUI引擎的操作的用户输入，则操作终止。
如果在步骤504没有缺失或模糊的关键信息，则QA系统生成候选回答的列表，缺失或模糊的信息的列表，如果提供的话，该信息将细化候选回答的列表，对应的置信度度量，以及对应的证据通道、相关分数和到每个候选回答的源文档的链接(步骤516)。诸如图4中的候选回答引擎438的图形用户界面的侯选回答部分基于置信度分数、指示每个候选的回答的置信度分数(如果有的话)来例如生成侯选回答的排序列表以及与候选回答中的每一个相关的信息中的一个或多个缺失或模糊的部分(步骤518)。
例如，通过候选回答来组织生成图形用户界面的证据通道部分，诸如图4中的证据通道引擎436(步骤520)。如上所述，该证据通道部分可以包括用于识别还没有满足的一个或多个条件的每个候选回答的独立部分、还没有满足的一个或多个条件、以及与候选回答相关联地提供的证据通道条目，针对该候选回答，证据通道被确定为相关并且证据通道的相关分数作用于其置信度分数。包括候选回答部分、已经满足的一个或多个条件、还没有满足的一个或多个条件以及证据通道部分的GUI被输出到提交原始输入问题的用户或客户端设备(步骤522)。
然后，该GUI和QA系统等待修改GUI的一部分的用户输入(步骤524)，并且响应于接收到修改GUI的一部分的用户输入，可能在将修改转发到QA系统并且接收候选回答的重新评估和与输入问题相关联的证据通道之后，基于额外提供的信息(步骤526)来更新GUI，此后，操作返回到步骤516。如果在步骤524没有接收到修改GUI的一部分的用户输入，则尽管关于是否存在超时条件或结束GUI引擎的操作的用户输入的确定(步骤528)。如果在步骤528没有超时条件或结束GUI引擎的操作的用户输入，则操作返回到步骤524。如果在步骤528存在超时条件或结束GUI引擎的操作的用户输入，则操作终止。
如上所述，应当理解，说明性实施例可以采取完全硬件实施例、完全软件实施例或包含硬件和软件元件的实施例的形式。在一个示例性实施例中，说明性实施例的机制以软件或程序代码来实现，其包括但不限于固件、驻留软件、微代码等。
适用于存储和/或执行程序代码的数据处理系统将包括通过系统总线直接或间接耦合到存储器元件的至少一个处理器。存储器元件可以包括在程序代码的实际执行、大容量存储以及高速缓存存储器的实际执行期间采用的本地存储器，其提供至少一些程序代码的临时存储以减少在执行期间必须从大容量存储检索代码的次数。
输入/输出或I/O设备(包括但不限于键盘、显示器、指示设备等)可以直接或通过中间I/O控制器耦合到系统。网络适配器还可以耦合到系统以使得数据处理系统能够通过中间专用或公共网络而变得耦合到其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡仅仅是几个当前可用类型的网络适配器。
本发明的描述是出于说明和描述的目的而呈现，而不意在以所公开的形式穷举或限制本发明。许多修改和变体对于本领域普通技术人员来说将是显而易见的。实施例被选择和描述为最好地解释本发明的原理、实际应用，并且使得本领域普通技术人员能够理解适用于所预期的具体使用的具有各种修改的各种实施例的发明。

Claims (13)

1.一种在数据处理系统中的用于改善对输入问题的回答的方法，所述数据处理系统包括处理器和存储器，被配置为实现问答系统(QA)，所述方法包括：
在所述数据处理系统中接收所述输入问题；
由所述数据处理系统针对回答所述输入问题所需要的关键信息的已知集合来解析所述输入问题；以及
响应于一条或多条关键信息无法在所述输入问题中可识别，经由图形用户界面(GUI)针对所述一条或多条关键信息提示提交了所述输入问题的用户。
2.根据权利要求1所述的方法，其中关键信息的所述已知集合特定于知识域。
3.根据权利要求1所述的方法，进一步包括：
在针对所述一条或多条关键信息提示提交了所述输入问题的所述用户之前，由所述数据处理系统确定是否关于一个或多个存储的数据文件提交了所述输入问题；
响应于关于一个或多个存储的数据文件提交了所述输入问题，由所述数据处理系统针对一条或多条关键信息来解析所述一个或多个存储的数据文件；以及
响应于一条或多条关键信息无法在所述输入问题和所述一个或多个存储的数据文件中可识别，经由所述图形用户界面(GUI)针对所述一条或多条关键信息提示提交了所述输入问题的所述用户。
4.根据权利要求3所述的方法，进一步包括：
响应于一条或多条关键信息在所述输入问题和所述一个或多个存储的数据文件中可识别，由所述数据处理系统处理所述输入问题以生成用于向信息的语料库应用的至少一个查询；
由所述数据处理系统将所述至少一个查询应用于信息的所述语料库，以生成对所述输入问题的候选回答集合以及信息的所述语料库的对应证据部分选择，其提供支持所述候选回答集合中的至少一个候选回答是针对所述输入问题的正确回答的证据；
针对所述候选回答集合中的每个候选回答，由所述数据处理系统确定是否存在一条或多条缺失或模糊的信息，所述一条或多条缺失或模糊的信息将细化所述候选回答集合中的候选回答的包括或排除；以及
经由所述图形用户界面(GUI)在第一GUI子部分中输出所述候选回答集合，在第二GUI子部分中输出将细化所述候选回答集合中的候选回答的包括或排除的一条或多条缺失或模糊的信息，以及在第三GUI子部分中输出所述证据部分选择，用于由所述用户进行评估。
5.根据权利要求4所述的方法，进一步包括：
经由所述图形用户界面(GUI)来输出一条或多条准则，所述一条或多条准则标识在与所述输入问题相关的候选回答集合中的每个候选回答所满足的条件。
6.根据权利要求4所述的方法，进一步包括：
经由所述图形用户界面(GUI)来接收用户输入，所述用户输入修改所述候选回答集合或所述证据部分中的至少一个，或者提供输入，所述输入提供或澄清所述一条或多条缺失或模糊的信息；
由所述数据处理系统重新处理所述输入问题，以生成用于向信息的所述语料库应用的至少一个查询；
由所述数据处理系统将所述至少一个查询应用于信息的所述语料库，以生成对所述输入问题的更新的候选回答集合以及信息的所述语料库的对应的更新的证据部分选择，其提供支持所述候选回答集合中的至少一个候选回答是针对所述输入问题的正确回答的证据；
针对所述更新的候选回答集合中的每个更新的候选回答，由所述数据处理系统确定是否存在一条或多条缺失或模糊的信息，所述一条或多条缺失或模糊的信息将细化所述更新的候选回答集合中的所述更新的候选回答的包括或排除；以及
经由所述图形用户界面(GUI)在所述第一GUI子部分中输出所述更新的候选回答集合，在所述第二GUI子部分中输出将细化所述更新的候选回答集合中的更新的候选回答的包括或排除的一条或多条缺失或模糊的信息，以及在所述第三GUI子部分中输出所述更新的证据部分选择，用于由所述用户进行评估。
7.根据权利要求4所述的方法，其中所述第一GUI子部分是基于与所述至少一个候选回答相关联的置信度分数以及与所述候选回答相关联的所述一条或多条缺失或模糊的信息来组织的，并且其中所述第一GUI子部分的组织基于提供或澄清所述一条或多条缺失或模糊的信息的用户提供输入而被修改。
8.一种装置，包括：
处理器；以及
存储器，耦合到所述处理器，其中所述存储器包括指令，所述指令在由所述处理器执行时，使得所述处理器：
接收输入问题；
针对回答所述输入问题所需要的关键信息的已知集合来解析所述输入问题；以及
响应于一条或多条关键信息无法在所述输入问题中可识别，经由图形用户界面(GUI)针对所述一条或多条关键信息提示提交了所述输入问题的用户。
9.根据权利要求8所述的装置，其中关键信息的所述已知集合特定于知识域。
10.根据权利要求8所述的装置，其中所述指令进一步使得所述处理器：
在针对所述一条或多条关键信息提示提交了所述输入问题的所述用户之前，确定是否关于一个或多个存储的数据文件提交了所述输入问题；
响应于关于一个或多个存储的数据文件提交了所述输入问题，针对一条或多条关键信息来解析所述一个或多个存储的数据文件；以及
响应于一条或多条关键信息无法在所述输入问题和所述一个或多个存储的数据文件中可识别，经由所述图形用户界面(GUI)针对所述一条或多条关键信息提示提交了所述输入问题的所述用户。
11.根据权利要求10所述的装置，其中所述指令进一步使得所述处理器：
响应于一条或多条关键信息在所述输入问题和所述一个或多个存储的数据文件中可识别，处理所述输入问题以生成用于向信息的语料库应用的至少一个查询；
将所述至少一个查询应用于信息的所述语料库，以生成对所述输入问题的候选回答集合以及信息的所述语料库的对应证据部分选择，其提供支持所述候选回答集合中的至少一个候选回答是针对所述输入问题的正确回答的证据；
针对所述候选回答集合中的每个候选回答，确定是否存在一条或多条缺失或模糊的信息，所述一条或多条缺失或模糊的信息将细化所述候选回答集合中的候选回答的包括或排除；以及
经由所述图形用户界面(GUI)在第一GUI子部分中输出所述候选回答集合，在第二GUI子部分中输出将细化所述候选回答集合中的候选回答的包括或排除的一条或多条缺失或模糊的信息，以及在第三GUI子部分中输出所述证据部分选择，用于由所述用户进行评估。
12.根据权利要求11所述的装置，其中所述指令进一步使得所述处理器：
经由所述图形用户界面(GUI)来输出一条或多条准则，所述一条或多条准则标识在与所述输入问题相关的候选回答集合中的每个候选回答所满足的条件。
13.根据权利要求11所述的装置，其中所述指令进一步使得所述处理器：
经由所述图形用户界面(GUI)来接收用户输入，所述用户输入修改所述候选回答集合或所述证据部分中的至少一个，或者提供输入，所述输入提供或澄清所述一条或多条缺失或模糊的信息；
重新处理所述输入问题，以生成用于向信息的所述语料库应用的至少一个查询；
将所述至少一个查询应用于信息的所述语料库，以生成对所述输入问题的更新的候选回答集合以及信息的所述语料库的对应的更新的证据部分选择，其提供支持所述候选回答集合中的至少一个候选回答是针对所述输入问题的正确回答的证据；
针对所述更新的候选回答集合中的每个更新的候选回答，确定是否存在一条或多条缺失或模糊的信息，所述一条或多条缺失或模糊的信息将细化所述更新的候选回答集合中的所述更新的候选回答的包括或排除；以及
经由所述图形用户界面(GUI)在所述第一GUI子部分中输出所述更新的候选回答集合，在所述第二GUI子部分中输出将细化所述更新的候选回答集合中的更新的候选回答的包括或排除的一条或多条缺失或模糊的信息，以及在所述第三GUI子部分中输出所述更新的证据部分选择，用于由所述用户进行评估。
CN201410682649.6A 2013-12-05 2014-11-24 用于改善对输入问题的回答的方法和装置 Active CN104699741B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/097,655 2013-12-05
US14/097,655 US9965548B2 (en) 2013-12-05 2013-12-05 Analyzing natural language questions to determine missing information in order to improve accuracy of answers

Publications (2)

Publication Number Publication Date
CN104699741A true CN104699741A (zh) 2015-06-10
CN104699741B CN104699741B (zh) 2018-01-12

Family

ID=53271407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410682649.6A Active CN104699741B (zh) 2013-12-05 2014-11-24 用于改善对输入问题的回答的方法和装置

Country Status (2)

Country Link
US (1) US9965548B2 (zh)
CN (1) CN104699741B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562770A (zh) * 2016-07-01 2018-01-09 松下知识产权经营株式会社 信息处理方法以及记录介质
CN107810496A (zh) * 2015-06-30 2018-03-16 微软技术许可有限责任公司 用户文本分析
CN107924711A (zh) * 2015-07-31 2018-04-17 株式会社丰科 健康护理服务器、健康护理服务器控制方法和健康护理程序
CN109074397A (zh) * 2016-05-06 2018-12-21 索尼公司 信息处理系统和信息处理方法
CN109313650A (zh) * 2017-03-16 2019-02-05 微软技术许可有限责任公司 在自动聊天中生成响应
CN109782925A (zh) * 2019-02-20 2019-05-21 联想(北京)有限公司 一种处理方法、装置及电子设备
CN110337645A (zh) * 2017-02-28 2019-10-15 国际商业机器公司 可适配的处理组件
CN111198944A (zh) * 2018-11-19 2020-05-26 国际商业机器公司 模式的自动识别和聚类
CN111566652A (zh) * 2018-01-15 2020-08-21 微软技术许可有限责任公司 用于辅助用户完成任务的上下文感知的推荐
CN112182597A (zh) * 2019-07-01 2021-01-05 国际商业机器公司 电子文档中个人可识别信息的认知迭代最小化

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965548B2 (en) * 2013-12-05 2018-05-08 International Business Machines Corporation Analyzing natural language questions to determine missing information in order to improve accuracy of answers
US10068175B2 (en) * 2014-02-20 2018-09-04 International Business Machines Corporation Question resolution processing in deep question answering systems
US9378273B2 (en) * 2014-03-13 2016-06-28 International Business Machines Corporation System and method for question answering by reformulating word problems
CN103914548B (zh) * 2014-04-10 2018-01-09 北京百度网讯科技有限公司 信息搜索方法和装置
US9667786B1 (en) * 2014-10-07 2017-05-30 Ipsoft, Inc. Distributed coordinated system and process which transforms data into useful information to help a user with resolving issues
US10594866B2 (en) * 2014-11-10 2020-03-17 Unitedhealth Group Incorporated Systems and methods for predictive personalization and intelligent routing
US11301632B2 (en) * 2015-01-23 2022-04-12 Conversica, Inc. Systems and methods for natural language processing and classification
US10311065B2 (en) 2015-12-01 2019-06-04 International Business Machines Corporation Scoring candidate evidence passages for criteria validation using historical evidence data
US11227113B2 (en) * 2016-01-20 2022-01-18 International Business Machines Corporation Precision batch interaction with a question answering system
US10013980B2 (en) 2016-10-04 2018-07-03 Microsoft Technology Licensing, Llc Combined menu-based and natural-language-based communication with chatbots
US10032448B1 (en) 2017-01-06 2018-07-24 International Business Machines Corporation Domain terminology expansion by sensitivity
US10043511B2 (en) * 2017-01-06 2018-08-07 International Business Machines Corporation Domain terminology expansion by relevancy
US10915562B2 (en) * 2017-01-18 2021-02-09 International Business Machines Corporation Natural language processing review and override based on cognitive system analysis
US11495332B2 (en) 2017-12-28 2022-11-08 International Business Machines Corporation Automated prediction and answering of medical professional questions directed to patient based on EMR
US11031109B2 (en) 2017-12-28 2021-06-08 International Business Machines Corporation Contextual EMR based dashboard graphical user interface elements
US20190205012A1 (en) * 2017-12-28 2019-07-04 International Business Machines Corporation Graphical Presentation of Relevant Information From Electronic Medical Records
CN109241254B (zh) * 2018-08-06 2021-02-02 深圳市玖胜云智联科技有限公司 一种应用于机器人的语料采集方法及采集装置
JP7169125B2 (ja) * 2018-08-29 2022-11-10 株式会社日立製作所 質問回答システム、質問回答処理方法、及び質問回答統合システム
US11036774B2 (en) * 2018-10-04 2021-06-15 Robert Bosch Gmbh Knowledge-based question answering system for the DIY domain
CN112035636B (zh) * 2020-08-28 2023-06-02 康键信息技术（深圳）有限公司 医疗问诊系统的问答管理方法、装置、设备及存储介质
US11907500B2 (en) 2022-04-26 2024-02-20 Truist Bank Automated processing and dynamic filtering of content for display

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489089A (zh) * 2002-08-19 2004-04-14 松下电器产业株式会社 文件检索系统和问题回答系统
CN102033934A (zh) * 2010-12-17 2011-04-27 百度在线网络技术（北京）有限公司 一种形成提问的方法、装置和知识问答系统的服务器端
US20120041950A1 (en) * 2010-02-10 2012-02-16 Detlef Koll Providing Computable Guidance to Relevant Evidence in Question-Answering Systems
US20130226846A1 (en) * 2012-02-24 2013-08-29 Ming Li System and Method for Universal Translating From Natural Language Questions to Structured Queries
US20130262501A1 (en) * 2012-03-30 2013-10-03 Nicolas Kuchmann-Beauger Context-aware question answering system
US20130268260A1 (en) * 2012-04-10 2013-10-10 Artificial Solutions Iberia SL System and methods for semiautomatic generation and tuning of natural language interaction applications
US20130297553A1 (en) * 2012-05-04 2013-11-07 Pearl.com LLC Method and apparatus for predicting question answerability in an online consultation system

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711585B1 (en) * 1999-06-15 2004-03-23 Kanisa Inc. System and method for implementing a knowledge management system
US20040117352A1 (en) 2000-04-28 2004-06-17 Global Information Research And Technologies Llc System for answering natural language questions
US7139717B1 (en) 2001-10-15 2006-11-21 At&T Corp. System for dialog management
US20040249796A1 (en) * 2003-06-06 2004-12-09 Microsoft Corporation Query classification
US7693705B1 (en) 2005-02-16 2010-04-06 Patrick William Jamieson Process for improving the quality of documents using semantic analysis
US8832064B2 (en) 2005-11-30 2014-09-09 At&T Intellectual Property Ii, L.P. Answer determination for natural language questioning
US7991724B2 (en) 2006-12-21 2011-08-02 Support Machines Ltd. Method and a computer program product for providing a response to a statement of a user
US20080189623A1 (en) * 2007-02-05 2008-08-07 International Business Machines Corporation Method and system for enhancing communication with instant messenger/chat computer software applications
US7779823B2 (en) * 2007-07-12 2010-08-24 Ford Global Technologies, Llc Cylinder charge temperature control for an internal combustion engine
US7809664B2 (en) * 2007-12-21 2010-10-05 Yahoo! Inc. Automated learning from a question and answering network of humans
US20090210411A1 (en) * 2008-02-15 2009-08-20 Oki Electric Industry Co., Ltd. Information Retrieving System
US8275803B2 (en) 2008-05-14 2012-09-25 International Business Machines Corporation System and method for providing answers to questions
US8024332B2 (en) * 2008-08-04 2011-09-20 Microsoft Corporation Clustering question search results based on topic and focus
KR101524607B1 (ko) * 2008-11-14 2015-06-02 삼성전자주식회사 무선 통신 시스템의 이동 릴레이 셀 선택 장치 및 방법
US8943094B2 (en) 2009-09-22 2015-01-27 Next It Corporation Apparatus, system, and method for natural language processing
KR101284788B1 (ko) * 2009-10-13 2013-07-10 한국전자통신연구원 신뢰도에 기반한 질의응답 장치 및 그 방법
US20110125734A1 (en) 2009-11-23 2011-05-26 International Business Machines Corporation Questions and answers generation
US10276170B2 (en) * 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US20110231353A1 (en) * 2010-03-17 2011-09-22 James Qingdong Wang Artificial intelligence application in human machine interface for advanced information processing and task managing
US9110882B2 (en) * 2010-05-14 2015-08-18 Amazon Technologies, Inc. Extracting structured knowledge from unstructured text
US11068657B2 (en) 2010-06-28 2021-07-20 Skyscanner Limited Natural language question answering system and method based on deep semantics
US20120078062A1 (en) * 2010-09-24 2012-03-29 International Business Machines Corporation Decision-support application and system for medical differential-diagnosis and treatment using a question-answering system
US8943051B2 (en) * 2010-09-24 2015-01-27 International Business Machines Corporation Lexical answer type confidence estimation and application
US20120084112A1 (en) 2010-09-24 2012-04-05 International Business Machines Corporation Providing community for customer questions
WO2012047541A1 (en) 2010-09-28 2012-04-12 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
WO2012047557A1 (en) 2010-09-28 2012-04-12 International Business Machines Corporation Evidence diffusion among candidate answers during question answering
JP2012168614A (ja) * 2011-02-10 2012-09-06 Fujitsu Ltd 情報処理装置
US10032127B2 (en) * 2011-02-18 2018-07-24 Nuance Communications, Inc. Methods and apparatus for determining a clinician's intent to order an item
US9153142B2 (en) * 2011-05-26 2015-10-06 International Business Machines Corporation User interface for an evidence-based, hypothesis-generating decision support system
US8560567B2 (en) * 2011-06-28 2013-10-15 Microsoft Corporation Automatic question and answer detection
US9047567B2 (en) * 2011-07-15 2015-06-02 International Business Machines Corporation Utilizing failures in question and answer system responses to enhance the accuracy of question and answer systems
US8601030B2 (en) 2011-09-09 2013-12-03 International Business Machines Corporation Method for a natural language question-answering system to complement decision-support in a real-time command center
US9257056B2 (en) 2011-10-31 2016-02-09 Google Inc. Proactive user-based content correction and enrichment for geo data
US20130132308A1 (en) * 2011-11-22 2013-05-23 Gregory Jensen Boss Enhanced DeepQA in a Medical Environment
US10621880B2 (en) 2012-09-11 2020-04-14 International Business Machines Corporation Generating secondary questions in an introspective question answering system
US9965548B2 (en) * 2013-12-05 2018-05-08 International Business Machines Corporation Analyzing natural language questions to determine missing information in order to improve accuracy of answers

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489089A (zh) * 2002-08-19 2004-04-14 松下电器产业株式会社 文件检索系统和问题回答系统
US20120041950A1 (en) * 2010-02-10 2012-02-16 Detlef Koll Providing Computable Guidance to Relevant Evidence in Question-Answering Systems
CN102033934A (zh) * 2010-12-17 2011-04-27 百度在线网络技术（北京）有限公司 一种形成提问的方法、装置和知识问答系统的服务器端
US20130226846A1 (en) * 2012-02-24 2013-08-29 Ming Li System and Method for Universal Translating From Natural Language Questions to Structured Queries
US20130262501A1 (en) * 2012-03-30 2013-10-03 Nicolas Kuchmann-Beauger Context-aware question answering system
US20130268260A1 (en) * 2012-04-10 2013-10-10 Artificial Solutions Iberia SL System and methods for semiautomatic generation and tuning of natural language interaction applications
US20130297553A1 (en) * 2012-05-04 2013-11-07 Pearl.com LLC Method and apparatus for predicting question answerability in an online consultation system

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107810496A (zh) * 2015-06-30 2018-03-16 微软技术许可有限责任公司 用户文本分析
CN107924711A (zh) * 2015-07-31 2018-04-17 株式会社丰科 健康护理服务器、健康护理服务器控制方法和健康护理程序
CN109074397A (zh) * 2016-05-06 2018-12-21 索尼公司 信息处理系统和信息处理方法
US11646026B2 (en) 2016-05-06 2023-05-09 Sony Group Corporation Information processing system, and information processing method
CN107562770A (zh) * 2016-07-01 2018-01-09 松下知识产权经营株式会社 信息处理方法以及记录介质
CN110337645A (zh) * 2017-02-28 2019-10-15 国际商业机器公司 可适配的处理组件
CN110337645B (zh) * 2017-02-28 2023-06-06 国际商业机器公司 可适配的处理组件
CN109313650A (zh) * 2017-03-16 2019-02-05 微软技术许可有限责任公司 在自动聊天中生成响应
CN109313650B (zh) * 2017-03-16 2023-05-26 微软技术许可有限责任公司 在自动聊天中生成响应
CN111566652A (zh) * 2018-01-15 2020-08-21 微软技术许可有限责任公司 用于辅助用户完成任务的上下文感知的推荐
CN111566652B (zh) * 2018-01-15 2024-02-27 微软技术许可有限责任公司 用于辅助用户完成任务的上下文感知的推荐
CN111198944A (zh) * 2018-11-19 2020-05-26 国际商业机器公司 模式的自动识别和聚类
CN109782925A (zh) * 2019-02-20 2019-05-21 联想(北京)有限公司 一种处理方法、装置及电子设备
CN109782925B (zh) * 2019-02-20 2021-06-15 联想(北京)有限公司 一种处理方法、装置及电子设备
CN112182597A (zh) * 2019-07-01 2021-01-05 国际商业机器公司 电子文档中个人可识别信息的认知迭代最小化

Also Published As

Publication number Publication date
US20150161241A1 (en) 2015-06-11
CN104699741B (zh) 2018-01-12
US9965548B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
CN104699741A (zh) 分析自然语言问题来确定缺失信息以便提高回答的准确性
US9721205B2 (en) Clarification of submitted questions in a question and answer system
US10795922B2 (en) Authorship enhanced corpus ingestion for natural language processing
US9318027B2 (en) Caching natural language questions and results in a question and answer system
JP6095621B2 (ja) 回答候補間の関係を識別および表示する機構、方法、コンピュータ・プログラム、ならびに装置
CN104516942B (zh) 概念驱动的自动分节标识
Shen et al. CBN: Constructing a clinical Bayesian network based on data from the electronic medical record
US9373075B2 (en) Applying a genetic algorithm to compositional semantics sentiment analysis to improve performance and accelerate domain adaptation
CN111949759A (zh) 病历文本相似度的检索方法、系统及计算机设备
US20160306791A1 (en) Determining User-Friendly Information to Solicit in a Question and Answer System
Faria et al. OAEI 2016 results of AML
WO2014155209A1 (en) User collaboration for answer generation in question and answer system
US20170169355A1 (en) Ground Truth Improvement Via Machine Learned Similar Passage Detection
JP2021515934A (ja) 薬物副作用解析のための方法、コンピュータ・プログラム、および装置
Lauría et al. Combining Bayesian text classification and shrinkage to automate healthcare coding: A data quality analysis
Gonçalves et al. Aligning biomedical metadata with ontologies using clustering and embeddings
CN116775897A (zh) 知识图谱构建和查询方法、装置、电子设备及存储介质
CN116719840A (zh) 一种基于病历后结构化处理的医疗信息推送方法
JP6930183B2 (ja) ２つのコーディング標準を整合させる方法とシステム
CN114664421A (zh) 一种医患匹配方法、装置、电子设备、介质及产品
Feng et al. Extracting meaningful correlations among heterogeneous datasets for medical question answering with domain knowledge
Hu et al. Improving code summarization through automated quality assurance
Bibi et al. Web semantics and ontologies-based framework for software component selection from online repositories
Lin et al. An Automated Analysis Framework for Epidemiological Survey on COVID-19
Zhao et al. Distant supervision for fine-grained biomedical relation extraction from Chinese EMRs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant