CN108701153B - 响应自然语言查询的方法、系统和计算机可读存储介质 - Google Patents

响应自然语言查询的方法、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN108701153B
CN108701153B CN201780013108.6A CN201780013108A CN108701153B CN 108701153 B CN108701153 B CN 108701153B CN 201780013108 A CN201780013108 A CN 201780013108A CN 108701153 B CN108701153 B CN 108701153B
Authority
CN
China
Prior art keywords
report
parameterized
natural language
mapping
reports
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780013108.6A
Other languages
English (en)
Other versions
CN108701153A (zh
Inventor
C·A·海斯
P·J·鲍姆加特纳
A·迈耶斯
J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108701153A publication Critical patent/CN108701153A/zh
Application granted granted Critical
Publication of CN108701153B publication Critical patent/CN108701153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/243Natural language query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • G06F16/24522Translation of natural language queries to structured queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2272Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

一种用于响应于自然语言查询的机制。语言解析应用于自然语言查询以生成一组语言元素。这些语言元素中的一个或多个被映射到参数化报告的参数和/或数据元素,该参数化报告被选择用于基于映射来响应于查询。参数化报告的选择和/或到参数化报告的映射可以使用参数化报告使用的基础数据集的模式,以便执行更精确的映射和选择。然后,使用所选择的参数化报告来构建响应于查询的结构化数据。例如,结构化数据可以包括可视化。以这种方式,可以再次使用先前用于以报告形式生成结构化数据的已经存在的参数化报告以便响应于自然语言查询。

Description

响应自然语言查询的方法、系统和计算机可读存储介质
背景技术
在这个信息时代,存在大量可用数据。将这些大量数据组织成可用信息是一项艰巨的任务。此外,最大限度地利用可用数据以便响应于对该数据的查询是极其困难的。然而,随着这些问题的进展,人类基于人类先前集体经验来进行学习的能力得到加速。这样的进步不仅有助于促进而且加速科学的进步和利用技术本身的有用技巧。
通常,数据被组织成具有与其相关联的某种结构或模式的数据集,并且有时被组织成可以描述模式的含义的元数据。但是,数据集可能非常大。为了将信息提炼成更易于理解的形式,通常会编写参数化报告。参数化报告定义要从数据集中提取哪些信息,如何提取数据值(包括用于控制数据选择的参数),以及如何构建所得到的数据。参数化报告为数据集的一部分数据产生新的结构,以便关注数据集内的信息的特定方面。这样的新的结构化数据还可以包括可视化。
通常,可以存在提供关于底层数据集的不同结构化数据视图的很多参数化报告。如果需要关于数据集的不同视图,则通常构造新的参数化报告。通常,数据集具有可以用于提供关于数据集的特定方面的集中报告的参数化报告集合。
本文中要求保护的主题不限于解决任何缺点或仅在诸如上述那些环境中操作的实施例。而是,提供本背景技术仅用于说明可以实践本文中描述的一些实施例的一个示例性技术领域。
发明内容
本文中描述的至少一些实施例涉及一种用于响应于自然语言查询的机制。语言解析应用于自然语言查询以生成一组语言元素。这些语言元素中的一个或多个被映射到参数化报告的参数,该参数化报告被选择用于基于映射来响应于查询。参数化报告的选择和/或到参数化报告的映射可以使用参数化报告使用的基础数据集的模式,以便执行更精确的映射和选择。然后,使用所选择的参数化报告来构建响应于查询的结构化数据。例如,结构化数据可以包括可视化。以这种方式,可以再次使用先前用于以报告的形式生成结构化数据的已经存在的参数化报告以便响应于自然语言查询。
这通过利用原始参数化报告的编写者的直观解释(intuition)而提高了对自然语言查询的响应的准确性。此外,这些编写者倾向于包括附加的有用信息,并且这样的有用信息还可以被呈现给用户以补充对查询的响应。毕竟,报告的编写者最初应用他们自己的直观解释来决定在报告具有特定参数的情况下哪些信息会有所帮助。因此,可以丰富对自然语言查询的响应。
在一些实施例中,可以极大地增强可用参数化报告的库。这可以通过基于紧密匹配参数化报告导出导出的参数化报告,并且然后使用该导出的参数化报告来响应于查询来执行。导出报告从所选择的参数化报告开始,但是然后执行更改,诸如移除、替换和/或添加针对导出报告的参数和/或数据元素。导出报告还可以通过在不同值上重复所有或一些参数来生成。如果导出报告与所选择的报告足够不同,则可以选择不同的可视化类型来呈现导出报告。
提供本“发明内容”是为了以简化的形式介绍一些概念,这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
为了描述可以获取本发明的上述和其他优点和特征的方式,将通过参考在附图中示出的其具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解,这些附图仅描绘了本发明的典型实施例,并且因此不应当被认为是对其范围的限制,本发明将通过使用附图以附加特征和细节进行描述和解释,在附图中:
图1示出了可以采用本文中描述的原理的示例计算系统;
图2示出了本文中描述的原理可以用于响应于自然语言查询的系统,该系统包括数据集和参数化报告集;
图3示出了根据本文中描述的原理对图2的系统进行操作以便响应于自然语言查询的示例系统;
图4示出了根据本文中描述的原理的用于使用至少一个参数化报告来响应于自然语言查询的方法的流程图;
图5A示出了被映射到所选择的参数化报告的自然语言查询语言元素;
图5B示出了被映射到以移除参数的方式从所选择的参数化报告中导出的参数化报告的自然语言查询语言元素;
图5C示出了被映射到以添加参数的方式从所选择的参数化报告中导出的参数化报告的自然语言查询语言元素;
图5D示出了被映射到以替换参数的方式从所选择的参数化报告中导出的参数化报告的自然语言查询语言元素;
图5E示出了被映射到以重复参数值的方式从所选择的参数化报告中导出的参数化报告的自然语言查询语言元素;以及
图5F示出了被映射到从添加了数据元素的所选择的参数化报告中导出的参数化报告的自然语言查询语言元素。
具体实施方式
本文中描述的至少一些实施例涉及一种用于响应于自然语言查询的机制。语言解析应用于自然语言查询以生成一组语言元素。这些语言元素中的一个或多个被映射到参数化报告的参数,该参数化报告被选择用于基于映射来响应于查询。参数化报告的选择和/或到参数化报告的映射可以使用参数化报告使用的基础数据集的模式,以便执行更精确的映射和选择。然后,使用所选择的参数化报告来构建响应于查询的结构化数据。例如,结构化数据可以包括可视化。以这种方式,可以再次使用先前用于以报告的形式生成结构化数据的已经存在的参数化报告以便响应于自然语言查询。
这通过利用原始参数化报告的编写者的直观解释而提高了对自然语言查询的响应的准确性。此外,这些编写者倾向于包括附加的有用信息,并且这样的有用信息还可以被呈现给用户以补充对查询的响应。毕竟,报告的编写者最初应用他们自己的直观解释来决定在报告具有特定参数的情况下哪些信息会有所帮助。因此,可以丰富对自然语言查询的响应。
在一些实施例中,可以极大地增强可用参数化报告的库。这可以通过基于紧密匹配参数化报告导出导出的参数化报告,并且然后使用该导出的参数化报告来响应于查询来执行。导出报告从所选择的参数化报告开始,但是随后执行更改,诸如移除、替换和/或添加针对导出报告的参数和/或显示的数据元素。导出报告还可以通过在不同值上重复所有或一些参数来生成。如果导出报告与所选择的报告足够不同,则可以选择不同的可视化类型来呈现导出报告。
将参考图1描述对计算系统的一些介绍性讨论。然后,将参考图2至4描述使用现有参数化报告来响应于自然语言查询的技术。总之,然后将参考图5A至5E描述导出的参数化报告的变体。
计算系统现在越来越多地采用各种形式。例如,计算系统可以是手持设备、电器、膝上型计算机、台式计算机、大型机、分布式计算系统、数据中心、或甚至通常不被认为是计算系统的设备,诸如可穿戴设备(例如,眼镜)。在本说明书和权利要求书中,术语“计算系统”被广义地定义为包括任何设备或系统(或其组合),其包括至少一个物理和有形处理器以及能够在其上具有可以由处理器执行的计算机可执行指令的物理和有形存储器。存储器可以采取任何形式并且可以取决于计算系统的性质和形式。计算系统可以分布在网络环境中并且可以包括多个组成计算系统。
如图1所示,在其最基本配置中,计算系统100通常包括至少一个硬件处理单元102和存储器104。存储器104可以是物理系统存储器,其可以是易失性的、非易失性的、或两者的某种组合。术语“存储器”在本文中也可以用于指代非易失性大容量存储装置,诸如物理存储介质。如果计算系统是分布式的,则处理、存储器和/或存储能力也可以是分布式的。
计算系统100上还具有通常被称为“可执行组件”的多个结构。例如,计算系统100的存储器104被示出为包括可执行组件106。术语“可执行组件”是计算领域的普通技术人员很好地理解为可以是软件、硬件或其组合的结构的结构的名称。例如,当以软件实现时,本领域普通技术人员可以理解,可执行组件的结构可以包括可以在计算系统上执行的软件对象、例程、方法,而无论这样的可执行组件是否存在于计算系统的堆中,或者无论可执行组件是否存在于计算机可读存储介质上。
在这样的情况下,本领域普通技术人员将认识到,可执行组件的结构存在于计算机可读介质上,使得当由计算系统的一个或多个处理器(例如,由处理器线程)解释时,计算系统被引起执行功能。这样的结构可以由处理器直接计算机可读(如果可执行组件是二进制的,则就是这种情况)。替代地,结构可以被构造为可解释和/或编译(无论是在单个阶段还是在多个阶段中),以便生成由处理器直接可解释的这样的二进制文件。当使用术语“可执行组件”时,对可执行组件的示例结构的这样的理解完全在计算领域的普通技术人员的理解之内。
术语“可执行组件”也被本领域普通技术人员很好地理解为包括在专门或近似专门用硬件中实现的结构,诸如在现场可编程门阵列(FPGA)、专用集成电路(ASIC)或任何其他专用电路内。因此,术语“可执行组件”是用于计算领域的普通技术人员很好地理解的结构的术语,无论该结构是以软件、硬件还是以组合的方式实现。在本说明书中,也可以使用术语“组件”、“服务”、“引擎”、“模块”、“虚拟机”等。如在本说明书和在这种情况下使用的,这些术语(无论是否用修饰子句修饰)也旨在与术语“可执行组件”同义,并且因此也具有计算领域的普通技术人员很好理解的结构。
在以下描述中,参考由一个或多个计算系统执行的动作来描述实施例。如果这些动作以软件实现,则(执行动作的相关联的计算系统的)一个或多个处理器响应于已经执行构成可执行组件的计算机可执行指令来指导计算系统的操作。例如,这样的计算机可执行指令可以在形成计算机程序产品的一个或多个计算机可读介质上实施。这种操作的示例涉及数据的操纵。
计算机可执行指令(和所操纵的数据)可以存储在计算系统100的存储器104中。计算系统100还可以包含允许计算系统100通过例如网络110与其他计算系统通信的通信信道108。
虽然并非所有计算系统都需要用户界面,但是在一些实施例中,计算系统100包括用于与用户交互的用户界面112。用户界面112可以包括输出机构112A以及输入机构112B。本文中描述的原理不限于精确的输出机构112A或输入机构112B,因为这将取决于设备的性质。然而,输出机构112A可以包括例如扬声器、显示器、触觉输出、全息图等。输入机构112B的示例可以包括例如麦克风、触摸屏、全息图、相机、键盘、其他指针输入的鼠标、任何类型的传感器等。
本文中描述的实施例可以包括或利用包括计算机硬件的专用或通用计算系统,诸如例如,一个或多个处理器和系统存储器,如下面更详细地讨论的。本文中描述的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。承载计算机可执行指令的计算机可读介质是传输介质。因此,作为示例而非限制,本发明的实施例可以包括至少两种截然不同的计算机可读介质:存储介质和传输介质。
计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁存储设备、或可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码装置并且可以由通用或专用计算系统访问的任何其他物理和有形存储介质。
“网络”被定义为能够在计算系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或另一通信连接(硬连线、无线或者硬连线或无线的组合)向计算系统传送或提供信息时,计算系统将连接正确地视为传输介质。传输介质可以包括可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码装置并且可以由通用或专用计算系统访问的网络和/或数据链路。上述的组合也应当被包括在计算机可读介质的范围内。
此外,在到达各种计算系统组件时,计算机可执行指令或数据结构形式的程序代码装置可以自动地从传输介质传输到存储介质(反之亦然)。例如,通过网络或数据链路接收的计算机可执行指令或数据结构可以缓冲在网络接口模块(例如,“NIC”)内的RAM中,并且然后最终被传送到计算系统RAM和/或计算系统处的较不易失性存储介质。因此,应当理解,存储介质可以被包括在也(或甚至主要)利用传输介质的计算系统组件中。
计算机可执行指令包括例如当在处理器处执行时引起通用计算系统、专用计算系统或专用处理设备执行特定功能或功能组的指令和数据。替代地或另外地,计算机可执行指令可以将计算系统配置为执行特定功能或功能组。例如,计算机可执行指令可以是二进制或甚至在处理器直接执行之前经历一些转换(诸如编译)的指令,例如诸如汇编语言等中间格式指令、或甚至源代码。
尽管用结构特征和/或方法动作专用的语言描述了本主题,但是应当理解,所附权利要求书中定义的主题不必限于以上描述的特征或动作。而是,所描述的特征和动作被公开作为实现权利要求的示例形式。
本领域技术人员将理解,本发明可以在具有很多类型的计算系统配置的网络计算环境中实践,包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机、数据中心、可穿戴设备(诸如眼镜)等。本发明还可以在分布式系统环境中实践,在分布式系统环境中,通过网络链接(通过硬连线数据链路、无线数据链路或者通过硬连线和无线数据链路的组合)的本地和远程计算系统都执行任务。在分布式系统环境中,程序模块可以位于本地和远程存储器存储设备两者中。
本领域技术人员还将理解,本发明可以在云计算环境中实践。云计算环境可以是分布式的,但这不是必需的。如果是分布式的,则云计算环境可以在组织内进行国际分布,和/或具有跨多个组织而拥有的组件。在本说明书和以下权利要求中,“云计算”被定义为用于实现对可配置计算资源(例如,网络、服务器、存储、应用和服务)的共享池的按需网络访问的模型。“云计算”的定义不限于在适当部署时可从这样的模型获取的任何其他众多优点。
图2示出了其中可以采用本文中描述的原理的系统200。系统200可以如上面针对图1的计算系统100所描述的那样构造。该系统包括数据集210和参数化报告集220。每个参数化报告使用数据集210以便生成聚焦于数据集210的某些方面的其他结构化数据。参数化报告220中的一个或多个或全部还可以包括用于经由图1的用户界面112的一个或多个输出机构112A来呈现其一些或所有结构化数据的可视化。省略号211表示参数化报告中的任何一个或多个也可以使用另外的一个或多个数据集,参数化报告中的任何一个或多个从另外的一个或多个数据集中导出它们的聚焦的结构化数据。
数据集210具有关联的模式212、以及包括数据元素213的多个数据元素。虽然数据集210可以包括任何数目的数据元素,但是在图2的所示示例中,数据集210被示出为包括数据元素213A至213F。
参数化报告集220可以包括任何数目的参数化报告。在所示的示例中,示出了两个参数化报告221和222。但是,省略号表示参数化报告集可以包括任何数目的参数化报告。实际上,根据本文中描述的一些实施例,通过从现有参数化报告集中导出参数化报告,可以向参数化报告集添加附加参数化报告。
每个参数化报告包括一个或多个数据元素,这些数据元素通过引用直接地或通过计算间接地从数据集中的数据元素中导出。例如,参数化报告221被示出为包括数据元素D1和D2。此外,每个参数化报告可选地包括一个或多个参数。例如,参数化报告221被示出为包括参数A。另外,仅作为示例,参数化报告222被示出为包括三个数据元素D3、D4和D5、以及参数D和E。
每个参数化报告包括关于如何从(多个)数据集中提取数据以及如何构造或重新构造结果数据、以及还有可能如何可视化新结构化数据的定义。通常编写参数化报告以获取针对特定目的在特定时间处相关的数据集的特定视图。在将来需要相同视图的情况下,参数化报告被保存在参数化报告集221中。数据集中的任何相关更改也将反映在参数化报告的焦点视图中呈现的值中。
图3示出了在图2的系统200上操作以便响应于自然语言查询的系统300的各种组件。系统300还可以如上面针对图1的计算系统100所描述的那样构造。系统300包括自然语言处理引擎310、映射组件320、报告选择组件330、结构化组件340。这些引擎和组件中的每个可以如上面针对图1的可执行组件106所描述的那样构造。在一个实施例中,结构化组件340还可以修改所选择的参数化报告,从而生成用于潜在地添加到参数化报告集的导出的参数化报告。因此,结构化组件340可以包括报告修改组件350或与报告修改组件350相关联,报告修改组件350也可以如上面针对可执行组件106所描述的那样构造。
图4示出了用于使用至少一个参数化报告来响应于自然语言查询的方法400的流程图。由于图3的系统300可以在图2的系统200的上下文中执行方法400,现在将频繁参考图2至4来描述图4、和图3的其余结构。
方法400在访问自然语言查询时启动(动作401)。例如,系统300访问对自然语言处理引擎310的自然语言查询301。自然语言查询301可以由人类用户来生成,人类用户例如与作为图3的系统300或与图3的系统300通信的计算系统100的用户界面112的输入机构112B对接。
然后,方法400包括向自然语言查询应用计算机化语言解析(402)从而生成一组一个或多个语言元素(动作403)。例如,自然语言处理引擎310向诸如自然语言查询301等自然语言查询应用语言解析以生成对应的一组语言元素311。作为示例,响应于自然语言查询301,自然语言处理引擎310生成具有关系312的语言元素311A和311B。作为非常具体的示例,自然语言查询可以是“向我展示东部沿海地区的销售”。因此,自然语言处理引擎310可以生成自然语言元素“收入”和“美国东部”,其中第一自然语言元素与第二自然语言元素处于“在其内生成”关系。
然后,方法400包括将一个或多个语言元素映射到参数化报告的多个参数和/或数据元素中的至少一个(动作404)。参考图3,映射组件320将由自然语言处理引擎310生成的至少一些自然语言元素311映射到参数化报告的一个或多个参数和/或数据元素。该映射结果由箭头321表示。例如,假定在图2中,参数化报告221碰巧具有“总收入”数据元素(例如,数据元素D1),并且“地区”参数具有值“国内东部”(例如,参数A)。利用这些参数的模式,映射组件320可以将语言元素“收入”映射到参数化报告221的“总收入”数据元素,并且将语言元素“美国东部”映射到参数化报告221的“国内东部”的“地区”参数。
映射组件320还可以使用数据集模式321来执行该映射,以确定是否应当发生特定语言元素与报告参数和/或数据元素之间的映射,或者确定参数定义是否足够接近以值得匹配。例如,映射组件320可以知道数据集210的模式内的地区和状态数据元素,并且可以知道具有“国内东部”的地区的那些条目对应于缅因州、佛蒙特州、新汉布什尔州、纽约州、罗德岛州、康涅狄格州、宾夕法尼亚州、新泽西州、马里兰州和弗吉尼亚州。虽然这可能不一定符合每个人对“东部沿海”的定义(有些也可能包括卡罗莱纳州、乔治亚州、和甚至佛罗里达州),但是映射组件320可以基于下划线数据集模式的这种知识来确定映射应当作为相当不错的近似。
映射组件320还可以考虑关系312。例如,关系312在示例自然语言查询“在其内生成”中。数据集210的模式212可以具有“总收入”字段与更一般的“关联”关系的“地区字段”之间的关系。然而,映射组件320可以确定该关系是语言元素的原始关系的良好近似。映射还可以基于关于参数的元数据来执行。例如,数据集(诸如数据集210)和/或参数化报告(诸如参数化报告221)可以包括描述一些或全部参数和/或它们之间的关系的一些计算机可解释数据。
返回图4的方法400,基于映射(动作404),选择参数化报告以用于响应于自然语言查询。例如,在图3中,报告选择组件330可以基于映射组件320对参数化报告221所做出的肯定映射结果来选择使用该参数化报告221来响应于自然语言查询。注意,映射组件320还可以将一个或多个语言元素映射到第二参数化报告222。然而,该第二映射可能没有被评分为与到第一参数化报告221的映射一样接近的匹配。因此,报告选择组件330选择第一参数化报告221以用于响应于自然语言查询。该选择由图3中的箭头331表示。报告选择组件330还可以使用数据集模式212和/或语言元素之间的关系312的知识,以便对到每个参数化报告的映射的适当性进行评分。
返回图4,方法400然后使用所选择的报告来生成响应于自然语言查询的结构化数据(动作406)。这通过利用原始参数化报告的编写者的直观解释而提高了对自然语言查询的响应的准确性。此外,这些编写者倾向于包括附加的有用信息,并且这样的有用信息还可以被呈现给用户以补充对查询的响应。毕竟,报告的编写者最初应用他们自己的直观解释来决定在报告具有特定参数的情况下哪些信息会有所帮助。
所选择的报告的这种使用(动作406)可以由结构化组件340执行。所选择的报告的这种使用可以包括简单地让所选择的参数化报告运行(动作407A)以正常操作。例如,映射可能已经足够好,使得简单地运行具有由映射组件导出的参数值的所选择的参数化报告将给予用户对自然语言查询的合适响应。
在较不精确的映射的情况下,结构化组件340实际上可以首先基于所选择的参数化报告来创建导出的参数化报告(动作407B)。例如,在图3中,报告修改组件350可以生成导出的参数化报告。可选地,可以将该导出的参数化报告添加到可用的参数化报告集中。结构化组件340使用导出的参数化报告以便生成响应于请求的结构化数据(动作408)。导出的参数化报告可以由报告修改组件350通过以下方式来创建:制作所选择的参数化报告的副本并且然后编辑定义以移除、修改、添加和/或重复多组一个或多个参数和/或数据元素。
在制定导出的参数化报告的情况下,随着时间的推移以及接收和处理的不同自然语言查询,可以极大地增强可用参数化报告的库。如果导出报告与所选择的报告足够不同,则可以选择不同的可视化类型来呈现导出报告。结构化组件可以知道哪些可视化类型倾向于更适合于不同的参数和数据元素。与所选择的参数化报告相比,导出的参数化报告的参数和/或数据元素的差异可能足以保证使用不同的可视化。
现在将利用实际示例自然语言查询并且利用关于图5A至5E的各种修改的图示来描述示例修改。该示例扩展自前一示例,其中自然语言查询是“向我展示东部沿海地区的销售”,并且具有“在其内生成”关系的对应的解析的语言元素是“收入”和“美国东部”。
图5A示出了语言元素“收入”(语言元素I)到参数化报告221的数据元素D1的映射;以及语言元素“美国东部”(语言元素II)到参数化报告221的参数A的映射。在这种情况下,参数化报告221直接用于生成响应于查询的结构化数据。
然而,代替地,假定自然语言查询是“展示销售”。现在,语言元素“收入”(语言元素I)被映射到参数化报告221的数据元素D1。然而,没有自然语言元素要映射到参数化报告221的参数A。因此,简单地运行参数化报告221将不给出对自然语言查询的适当响应。因此,报告修改组件生成在导出参数化报告521B时移除参数A的导出的参数化报告521B,如图5B所示。然后,可以运行导出的参数化报告521B以生成响应于自然语言查询的结构数据。
现在,代替地,假定自然语言查询是“展示在2015年东部沿海地区的销售”。现在,还存在附加语言元素III“2015”。现在,语言元素“收入”(语言元素I)被映射到参数化报告221的数据元素D1。此外,语言元素“美国东部”(语言元素II)映射到参数化报告221的参数A。然而,没有将值为“2015”的语言元素“年”(语言元素III)映射到的参数化报告的参数(即,参数B)。因此,报告修改组件生成在导出图5C的参数化报告521C时添加参数B的导出的参数化报告。现在,所有三个自然语言元素I、II和III被映射到导出的参数化报告521C的适当的参数或数据元素。然后,可以运行导出的参数化报告521C以生成响应于自然语言查询的结构数据。
现在,代替地,假定自然语言查询是“展示零售销售”。现在,不是语言元素“美国东部”,而是存在语言元素IV“零售”。现在,语言元素“收入”(语言元素I)被映射到参数化报告221的数据元素D1。然而,语言元素IV“零售”不被映射到参数化报告221的参数A。因此,报告修改组件生成在导出图5D的参数化报告521D时用参数C替换参数A的导出的参数化报告。现在,两个自然语言元素I和IV被映射到导出的参数化报告521D的适当的参数或数据元素。然后,可以运行导出的参数化报告521D以生成响应于自然语言查询的结构数据。
现在,代替地,假定自然语言查询是“向我展示每个地区的销售”。现在,不是语言元素“美国东部”,而是存在具有不同值的重复的一系列地区元素(诸如“美国东部、山区、西南、西北、欧洲、东亚、中东、东欧、西欧、北非、西非、南非、澳大利亚、巴西南部、南美洲、其他”等)。现在,语言元素“收入”(语言元素I)被映射到参数化报告221的数据元素D1。语言元素II“每个地区”将被映射到参数化报告221的参数A,然而,它不能,因为它包含多个值的集合。因此,报告修改组件生成移除了参数A并且将其替换为与地区相对应的数据元素D3的导出的参数化报告,从而创建导出的参数化报告521E。然后,可以运行导出的参数化报告521E以生成响应于自然语言查询的结构数据。
现在,代替地,假定自然语言查询是“向我展示东部沿海地区的销售和预算”。现在,语言元素“收入”(语言元素I)被映射到参数化报告221的数据元素D1。此外,语言元素“美国东部”(语言元素II)映射到参数化报告221的参数A。然而,参数化报告中没有将语言元素“预算”(语言元素III)映射到的参数或数据元素。因此,报告修改组件生成在导出图5F的参数化报告521F时添加与来自数据集210的预算数据元素相对应的数据元素D3的导出的参数化报告。现在,三个自然语言元素I、II和III被映射到导出的参数化报告521F的适当的参数或数据元素。然后,可以运行导出的参数化报告521F以生成响应于自然语言查询的结构数据。
因此,本文中描述的原理提供了用于重用参数化报告和/或从现有参数化报告中导出参数化报告的技术机制,以便响应于自然语言查询。这利用了参数化报告的原编写者在从数据集中呈现适当信息时的直观解释和努力。此外,可以使用参数化报告的原始编写者认为可能有帮助的附加信息来修饰响应。此外,通过使用导出的参数化报告,参数化报告不是从头开始绘制的,而是基于现有参数化报告而导出的。这允许对更多种类的自然语言查询进行更适当的响应,并且还允许自然地构建参数化报告库。
在不脱离本发明的精神或基本特征的情况下,本发明可以以其他特定形式实施。所描述的实施例在所有方面都应当被视为仅是说明性的而非限制性的。因此,本发明的范围由所附权利要求而不是前面的描述表示。在权利要求的含义和等同范围内的所有变化都被包含在其范围内。

Claims (18)

1.一种计算系统,包括:
具有多个数据元素的数据集;
多个参数化报告,所述多个参数化报告至少基于所述数据集从结构化数据被构建,所述结构化数据针对所述多个参数化报告中的每个参数化报告具有对应的一组数据元素;
自然语言处理引擎,被配置为将语言解析应用于自然语言查询以生成对应的语言元素;
映射组件,针对所述多个参数化报告中的至少一些参数化报告中的每个相应的报告:
将所述语言元素中的一些语言元素映射到相应的所述参数化报告中的所述数据元素中的至少一些数据元素;以及
向相应的所述参数化报告分配映射评分;
报告选择组件,针对至少一些自然语言查询中的每个自然语言查询并且基于所述映射组件的所述映射评分,选择所述多个参数化报告中的一个或多个参数化报告来响应所述自然语言查询;
报告修改组件,当确定所述多个参数化报告中的选择的所述一个或多个参数化报告不足以完全响应所述自然语言查询时,基于选择的所述参数化报告中的至少一个参数化报告生成导出报告;以及
结构化组件,至少使用所述多个参数化报告中的选择的所述一个或多个参数化报告和响应所述自然语言查询所必需的任何导出报告,来生成结构化数据以响应所述自然语言查询。
2.根据权利要求1所述的系统,针对所述自然语言查询中的至少一些自然语言查询,所述报告选择组件还使用特定数据集的模式来选择所述一个或多个参数化报告以用于响应所述自然语言查询。
3.根据权利要求1所述的系统,所述映射组件还使用特定数据集的模式来执行针对所述自然语言查询中的至少一些自然语言查询的所述映射。
4.根据权利要求1所述的系统,所述映射组件还使用语言元素之间的一个或多个关系来执行针对所述自然语言查询中的至少一些自然语言查询的映射。
5.根据权利要求1所述的系统,所述导出报告从对应的选择的所述参数化报告中移除一个或多个参数和/或数据元素。
6.根据权利要求5所述的系统,所述一个或多个参数和/或数据元素被移除,包括一个或多个特定参数被移除,所述导出报告具有被添加到对应的选择的所述参数化报告以替换从对应的选择的所述参数化报告中已经移除的所述一个或多个特定参数的一个或多个数据元素。
7.根据权利要求1所述的系统,所述导出报告具有被添加到对应的选择的所述参数化报告的一个或多个参数和/或数据元素。
8.根据权利要求1所述的系统,所述导出报告替换对应的选择的所述参数化报告的一个或多个参数和/或数据元素。
9.根据权利要求1所述的系统,对应的选择的所述参数化报告是可视化报告,所述导出报告也是具有与对应的选择的所述参数化报告不同的可视化的可视化报告。
10.根据权利要求1所述的系统,所述多个参数化报告中的至少一些参数化报告是可视化。
11.根据权利要求1所述的系统,由所述映射组件执行的所述映射包括基于所述多个参数化报告中的至少一些参数化报告的描述的参数映射到参数。
12.一种用于响应自然语言查询的方法,所述方法包括:
获得具有多个数据元素的数据集;
获得多个参数化报告,所述多个参数化报告至少基于所述数据集从结构化数据被构建,所述结构化数据针对所述多个参数化报告中的每个参数化报告具有对应的一组数据元素;
访问自然语言查询;
将计算机化的语言分析应用于所述自然语言查询,以生成一组自然语言元素;
针对所述多个参数化报告中的至少一些参数化报告中的每个参数化报告:
将所述自然语言元素中的一些自然语言元素映射到所述参数化报告的所述数据元素中的至少一些数据元素;以及
向所述参数化报告分配映射评分;
基于分配的所述映射评分,选择所述多个参数化报告中的一个参数化报告用于响应所述自然语言查询;
确定所述多个参数化报告中的选择的所述参数化报告不足以完全响应所述自然语言查询;
至少基于所述多个参数化报告中的选择的所述参数化报告生成导出报告;以及
使用所述多个参数化报告中的选择的所述参数化报告,以及响应所述自然语言查询所必需的任何导出报告,来生成响应所述自然语言查询的结构化数据。
13.根据权利要求12所述的方法,还包括除了分配的所述映射评分之外,使用所述数据集的模式来选择用于响应所述自然语言查询的所述参数化报告。
14.根据权利要求12所述的方法,所述映射还包括使用特定数据集的模式来执行所述映射。
15.根据权利要求12所述的方法,所述映射还包括使用语言元素之间的一个或多个关系来执行所述映射。
16.根据权利要求12所述的方法,选择的所述参数化报告是可视化,导出的所述参数化报告是不同的可视化。
17.根据权利要求12所述的方法,选择的所述参数化报告是可视化。
18.一个或多个计算机可读存储介质,其上存储有计算机可执行指令,所述计算机可执行指令被构造为当由计算系统的一个或多个处理器执行时使得所述计算系统被配置为实例化和/或操作以下:
自然语言处理引擎,被配置为将语言解析应用于自然语言查询以生成对应的多组语言元素;
映射组件,针对多个参数化报告中的每个相应的报告执行以下,其中每个参数化报告包括与数据集的一组数据元素相对应的一组数据元素:
将生成的所述语言元素中的一些语言元素映射到相应的所述参数化报告的所述数据元素中的至少一些数据元素;以及
向相应的所述参数化报告分配映射评分;
报告选择组件,基于分配的所述映射评分,选择用于响应所述自然语言查询的参数化报告;
报告修改组件,当确定选择的所述参数化报告不足以完全响应所述自然语言查询时,至少基于选择的所述参数化报告生成导出报告;以及
结构化组件,至少使用选择的所述参数化报告和所述导出报告,生成结构化数据以响应所述自然语言查询。
CN201780013108.6A 2016-02-25 2017-02-17 响应自然语言查询的方法、系统和计算机可读存储介质 Active CN108701153B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/054,012 US10318528B2 (en) 2016-02-25 2016-02-25 Query response using mapping to parameterized report
US15/054,012 2016-02-25
PCT/US2017/018380 WO2017147013A1 (en) 2016-02-25 2017-02-17 Query response using mapping to parameterized report

Publications (2)

Publication Number Publication Date
CN108701153A CN108701153A (zh) 2018-10-23
CN108701153B true CN108701153B (zh) 2022-04-26

Family

ID=58185634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780013108.6A Active CN108701153B (zh) 2016-02-25 2017-02-17 响应自然语言查询的方法、系统和计算机可读存储介质

Country Status (4)

Country Link
US (1) US10318528B2 (zh)
EP (1) EP3420471A1 (zh)
CN (1) CN108701153B (zh)
WO (1) WO2017147013A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681589B (zh) * 2018-05-15 2020-09-04 口碑(上海)信息技术有限公司 基于指标体系的结构化查询语言指令生成方法及装置
US11030255B1 (en) * 2019-04-01 2021-06-08 Tableau Software, LLC Methods and systems for inferring intent and utilizing context for natural language expressions to generate data visualizations in a data visualization interface
US11507607B2 (en) * 2020-07-06 2022-11-22 Verizon Patent And Licensing Inc. Systems and methods for database dynamic query management based on natural language processing techniques

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2456258A1 (en) * 2003-02-12 2004-08-12 Microsoft Corporation Use of data mappings to drive document contents and distribution settings
CN1881208A (zh) * 2005-06-14 2006-12-20 联想(北京)有限公司 动态结构化查询语言语句的构造方法
CN104424258A (zh) * 2013-08-28 2015-03-18 腾讯科技(深圳)有限公司 多维数据查询的方法、查询服务器、列存储服务器及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081774A (en) * 1997-08-22 2000-06-27 Novell, Inc. Natural language information retrieval system and method
US20040019478A1 (en) 2002-07-29 2004-01-29 Electronic Data Systems Corporation Interactive natural language query processing system and method
US7613719B2 (en) 2004-03-18 2009-11-03 Microsoft Corporation Rendering tables with natural language commands
US7720867B2 (en) * 2004-09-08 2010-05-18 Oracle International Corporation Natural language query construction using purpose-driven template
US8756245B2 (en) 2005-07-25 2014-06-17 Iac Search & Media, Inc. Systems and methods for answering user questions
US7873624B2 (en) 2005-10-21 2011-01-18 Microsoft Corporation Question answering over structured content on the web
US20080104542A1 (en) * 2006-10-27 2008-05-01 Information Builders, Inc. Apparatus and Method for Conducting Searches with a Search Engine for Unstructured Data to Retrieve Records Enriched with Structured Data and Generate Reports Based Thereon
US8086593B2 (en) 2007-03-01 2011-12-27 Microsoft Corporation Dynamic filters for relational query processing
US8140504B2 (en) 2008-10-31 2012-03-20 International Business Machines Corporation Report generation system and method
US8095524B2 (en) * 2009-03-18 2012-01-10 International Business Machines Corporation Method and system for integrating personal information search and interaction on web/desktop applications
US8812298B1 (en) 2010-07-28 2014-08-19 Wolfram Alpha Llc Macro replacement of natural language input
US8713049B2 (en) * 2010-09-17 2014-04-29 Oracle International Corporation Support for a parameterized query/view in complex event processing
US8572122B2 (en) * 2011-12-29 2013-10-29 Sap Ag Data schema and language
US9020824B1 (en) 2012-03-09 2015-04-28 Google Inc. Using natural language processing to generate dynamic content
US8935277B2 (en) 2012-03-30 2015-01-13 Sap Se Context-aware question answering system
US8996555B2 (en) 2012-11-26 2015-03-31 Sap Se Question answering framework for structured query languages
CN105144205B (zh) 2013-04-29 2018-05-08 西门子公司 使用多个所选知识库来回答自然语言问题的设备和方法
US10956433B2 (en) 2013-07-15 2021-03-23 Microsoft Technology Licensing, Llc Performing an operation relative to tabular data based upon voice input
US10572473B2 (en) 2013-10-09 2020-02-25 International Business Machines Corporation Optimized data visualization according to natural language query
US10102246B2 (en) * 2014-10-14 2018-10-16 Adobe Systems Incorporated Natural language consumer segmentation
US9626453B2 (en) * 2014-12-23 2017-04-18 Sap Se Analytic solution with a self-learning and context-sensitive semantic layer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2456258A1 (en) * 2003-02-12 2004-08-12 Microsoft Corporation Use of data mappings to drive document contents and distribution settings
CN1881208A (zh) * 2005-06-14 2006-12-20 联想(北京)有限公司 动态结构化查询语言语句的构造方法
CN104424258A (zh) * 2013-08-28 2015-03-18 腾讯科技(深圳)有限公司 多维数据查询的方法、查询服务器、列存储服务器及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于openEHR的原型关系映射方法;王利等;《中国生物医学工程学报》;20140820;433-437页 *

Also Published As

Publication number Publication date
US10318528B2 (en) 2019-06-11
US20170249356A1 (en) 2017-08-31
WO2017147013A1 (en) 2017-08-31
EP3420471A1 (en) 2019-01-02
CN108701153A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
US11429654B2 (en) Exercising artificial intelligence by refining model output
US7424702B1 (en) Data integration techniques for use in enterprise architecture modeling
US11972360B2 (en) Utilizing machine learning models to automatically generate contextual insights and actions based on legal regulations
US10698571B2 (en) Behavior feature use in programming by example
US20130166602A1 (en) Cloud-enabled business object modeling
US20190361599A1 (en) Inscribe: machine learning in digital paper-based interaction
US20180129373A1 (en) Insight objects as portable user application objects
US10248386B2 (en) Generating a software complex using superordinate design input
US20160103822A1 (en) Natural language consumer segmentation
US20200034481A1 (en) Language agnostic data insight handling for user application data
CN108701153B (zh) 响应自然语言查询的方法、系统和计算机可读存储介质
US20140379734A1 (en) Recommendation engine
US20120256926A1 (en) Gesture, text, and shape recognition based data visualization
US20140310306A1 (en) System And Method For Pattern Recognition And User Interaction
US11556802B2 (en) Interfacing with results of artificial intelligent models
KR20240020166A (ko) Esg 보조 툴을 이용하여 정형화된 esg 데이터로 기계학습 모델을 학습하는 방법 및 기계학습 모델로 자동완성된 esg 문서를 생성하는 서비스 서버
US8706751B2 (en) Method for providing a user interface driven by database tables
US11947938B2 (en) Application development platform
WO2019226310A1 (en) Indexing refined output of artificial intelligence models
US20180095644A1 (en) Navigation of data set preparation
Li et al. A Web application framework for end-user-initiative development with a visual tool
CN116304218B (zh) 一种基于图数据库集成多领域平台的实现方法及系统
US11467752B2 (en) Data migration system and data migration method
US20230394220A1 (en) Systems and methods for dynamic generation of digital documents
Kuznetsova Dashboard solutions for building analysis optimization: data analysis of environmental conditions and smart controls performance of building data and comparison of existing dash-boarding possibilities for data analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant