CN116724311A - 使用词同现和情感分析解释视觉分析中的含糊意图修饰语 - Google Patents

使用词同现和情感分析解释视觉分析中的含糊意图修饰语 Download PDF

Info

Publication number
CN116724311A
CN116724311A CN202180088516.4A CN202180088516A CN116724311A CN 116724311 A CN116724311 A CN 116724311A CN 202180088516 A CN202180088516 A CN 202180088516A CN 116724311 A CN116724311 A CN 116724311A
Authority
CN
China
Prior art keywords
data
digital data
data field
field
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180088516.4A
Other languages
English (en)
Inventor
V·R·塞特勒
A·库马尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tableau Software LLC
Original Assignee
Tableau Software LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tableau Software LLC filed Critical Tableau Software LLC
Publication of CN116724311A publication Critical patent/CN116724311A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2425—Iterative querying; Query formulation based on the results of a preceding query
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种生成数据可视化的方法。设备接收第一用户输入以指定指向数据源的自然语言命令。自然语言命令包括第一关键字，该第一关键字是修改自然语言命令中的第二关键字的等级形容词。该设备基于使用同现度量对同现进行量化，从数据源识别数字数据字段，该数字数据字段的字段名称与自然语言话语的预定义存储语料库中的自然语言话语中的第一关键字同现。该设备基于第一关键字的情感极性与数字数据字段的字段名称的相关性而计算数字数据字段的值的数值范围。然后，该设备基于根据数字数据字段的数值范围过滤来自数据源的数据行生成用于数据源的数据可视化。

Description

使用词同现和情感分析解释视觉分析中的含糊意图修饰语
相关申请
本申请是2020年12月30日提交的美国专利申请第17/138,719号的继续申请，标题为“使用词同现和情感分析解释视觉分析中的含糊意图修饰语”，其通过引用整体并入本文。
本申请涉及于2019年10月14日提交的美国专利申请第16/601,413号，标题为“确定自然语言命令中的含糊修饰语的范围”，其通过引用整体并入本文。
技术领域
所公开的实现总体上涉及数据可视化，并且更具体地涉及使得用户能够使用自然语言表达与数据可视化进行交互并分析数据的系统、方法和用户界面。
背景技术
数据可视化应用使用户能够在视觉上理解数据集，包括分布、趋势、离群值和对做出商业决策重要的其他因素。一些数据集非常大或复杂，并且包括许多数据字段。可以使用各种工具来帮助理解和分析数据，包括具有多个数据可视化的仪表板。然而，一些功能可能难以使用或难以在复杂的用户界面中找到。大多数系统响应于查询仅返回非常基本的交互式可视化，而其他系统需要专家建模来创建有效的查询。其他系统需要简单的封闭式问题，然后只能返回单个文本答案或静态可视化。
自然语言已经获得了作为用于创建可视化并与可视化交互的有用模态的好处。自然语言交互技术通过使用户能够将他们的分析目标表达为自然语言话语，提供了即使对于非专家也容易、直观地参与数据的前景。当自然语言交互支持关于用户信息需要的问题时，该自然语言交互是有效的。然而，支持自然语言与视觉分析系统的交互常常具有挑战性。例如，用户倾向于提供语言学上俗称的、不明确的或含糊的话语，而视觉分析系统具有相对于底层数据和分析功能实现这些话语的更复杂的细微差别。用户还期望此类自然语言界面的高精度和检索。在这方面，许多自然语言界面不能准确地确定用户的信息需求。
此外，与数据可视化工具的自然语言交互通常涉及使用含糊且相当主观的话语修饰语，诸如“向我展示正在工作的分区”和“在附近哪里买房好？”解释这些修饰语对于传统的数据可视化工具通常是困难的，因为修饰语缺乏清晰的语义，并且部分地由上下文和个人用户偏好来定义。
发明内容
需要支持与视觉分析系统的自然语言交互的改进的系统和方法。公开文本描述了一种数据可视化应用，其采用一组用于处理自然语言命令中的含糊修饰语以生成有用的数据可视化的技术。数据可视化应用使用界面默认值来生成有用的数据可视化。一些实现采用词同现和情感分析来确定哪些数据字段和过滤器范围与含糊和/或主谓结构相关联。一些实现将源结果示出为可以由用户修复和/或细化的交互式文本。
根据一些实现，在计算设备处执行方法，该计算设备具有显示器、一个或多个处理器，和存储配置用于由一个或多个处理器执行的一个或多个程序的存储器。计算设备接收第一用户输入以指定指向数据源的自然语言命令。自然语言命令包括对关于数据源的信息的请求。计算设备在自然语言命令中标识第一关键字，该第一关键字是修改自然语言命令中的第二关键字的可读形容词。该计算设备还基于使用同现度量对同现进行量化，从数据源识别数字数据字段，该数字数据字段的字段名称与自然语言话语的预定义存储语料库中的自然语言话语中的第一关键字同现。该计算设备基于第一关键字的情感极性与数字数据字段的字段名称的相关性而计算数字数据字段的值的数值范围。该计算设备还基于根据数字数据字段的数值范围对来自数据源的数据行进行过滤，生成并显示数据可视化，该数据可视化包括表示从数据源取得的数据的多个视觉标记。
在一些实现中，计算数字数据字段的数值的数值范围包括计算(i)数字数据字段在从med+MAD到max的范围内中的值的Top N，或(ii)数字数据字段在从min到abs(med–MAD)的范围中的值的Bottom N。元素“med”、“MAD”、“min”和“max”是数字数据字段的中值、中值绝对偏差、最小值和最大值。
在一些实现中，计算数字数据字段的数值的数值范围包括：(i)当第一关键字的语义极性与数字数据字段的字段名称的语义极性正相关时，计算第一数字数据字段的值的Top N；以及(ii)当第一关键字的语义极性与数字数据字段的字段名称的语义极性负相关时，计算数字数据字段的值的Bottom N。
在一些实现中，计算设备基于域特定信息来确定数字数据字段的值的默认范围。
在一些实现中，计算设备显示交互式文本以示出第一关键字的解释的来源。
在一些实现中，计算设备显示一个或多个用户界面小部件以显示、修复和/或细化数值范围。
在一些实现中，计算设备使用一个或多个颜色编码来显示第一关键字的情感极性和数字数据字段的字段名称。
在一些实现中，同现度量测量第一关键字的所有n元语法组合与来自数据源的多个数字数据字段的字段名称之间的同现。
在一些实现中，同现度量针对来自数据源的相应的数字数据字段的每个数据字段名称计算逐点互信息测量(PMI)分数，测量相应的数据字段名称与第一关键字的耦合。
在一些实现中，生成数据可视化包括生成指定数据源、多个视觉变量和来自数据源的多个数据字段的视觉规范。每个视觉变量与多个数据字段中相应的一个或多个数据字段相关联，并且每个数据字段被标识为维度或度量。在一些情况下，第一关键字对应于多个数据字段中的一个或多个第一数据字段，一个或多个视觉变量根据数字数据字段的值的数值范围与一个或多个第一数据字段相关联。
通常，电子设备包括一个或多个处理器、存储器、显示器和存储在存储器中的一个或多个程序。程序配置用于由一个或多个处理器执行，并且配置为执行本文描述的任何方法。
在一些实现中，非暂时性计算机可读存储介质存储配置用于由具有一个或多个处理器、存储器和显示器的计算设备执行的一个或多个程序。一个或多个程序配置为执行本文描述的任何方法。
因此，公开了允许用户通过使用自然语言命令有效地生成和修改在数据可视化应用内显示的数据的方法、系统和图形用户界面。
前面的一般性描述和下面的详细描述都是示例性和解释性的，并且旨在提供对所要求保护的本发明的进一步解释。
附图说明
为了更好地理解上述系统、方法和图形用户界面，以及提供数据可视化分析的附加系统、方法和图形用户界面，应当结合以下附图来参考以下实现的描述，在所有附图中，相同的附图标记指代相应的部分。
图1图示了在一些实现中使用的图形用户界面。
图2A是图示了根据一些实现的计算设备的框图。
图2B是图示了根据一些实现的数据可视化服务器的框图。
图3A-3C提供了根据一些实现的数据可视化的实施例。
图4A是根据一些实现的使用词同现和情感分析解释视觉分析中的含糊意图修饰语的系统的示意图。
图4B示出了根据一些实现的示例图。
图4C图示了根据一些实现的情感极性逻辑，其具有情感及其针对数字数据字段的修饰语和名称的归一化分数。
图5A-5M提供了根据一些实现的数据可视化的实施例。
图6A-6J提供了根据一些实现的数据可视化的进一步实施例。
图7示出了根据一些实现的示例文本响应。
图8A-8K提供了根据一些实现的用于生成数据可视化的方法的流程图。
具体实施方式
现在将参考实现，其实施例在附图中示出。在以下描述中，为了提供对本发明的透彻理解，阐述了许多具体细节。然而，对于本领域的普通技术人员清楚明白的是，可以在不需要这些具体细节的情况下实践本发明。
本说明书中公开的各种方法和设备通过在处理指向数据源的自然语言命令中的含糊(例如，含糊的)修饰语时使用界面默认值来改进数据可视化平台上的自然语言界面的有效性。数据可视化平台响应于自然语言输入自动生成并显示所取得的数据集的数据可视化(或更新的数据可视化)。数据可视化在向用户显示视觉信息时使用数据可视化默认值(例如，预定默认值)。
图1图示了用于数据可视化应用中的交互式数据分析的图形用户界面100。根据一些实现，用户界面100包括数据标签114和分析标签116。当选择数据标签114时，用户界面100显示模式信息区域110，其也被命名为数据窗格。模式信息区域110提供可被选择并用于构建数据可视化的命名数据元素(例如，字段名称)。在一些实现中，字段名称的列表被分成一组维度(例如，类别数据)和一组度量(例如，数值量)。一些实现还包括参数列表。当选择分析选项卡116时，用户界面显示分析功能列表而不是数据元素(未示出)。
图形用户界面100还包括数据可视化区域112。数据可视化区域112包括多个架构区域，诸如列架构区域120和行架构区域122。这些也被命名为列架构120和行架构122。如本文所示，数据可视化区域112还具有用于显示可视图形(本文也命名为数据可视化或“dataviz”)的大空间。因为还没有选择数据元素，所以该空间最初没有可视图形。在一些实现中，数据可视化区域112具有被命名为片的多个层。在一些实现中，数据可视化区域112包括用于数据可视化过滤器的区域126。在一些实现中，过滤器区域126既用于接收用户输入以指定过滤器，又用于显示哪些数据字段已被选择用于过滤器。
在一些实现中，图形用户界面100还包括用于接收自然语言命令的自然语言输入框124(也命名为命令框)。用户可以与命令框交互以提供命令。例如，用户可以通过在自然语言输入框124中键入命令来提供自然语言命令。此外，用户可以通过向麦克风220讲话来提供命令而间接地与命令框交互。
在一些实例中，用户最初将数据元素与列架构120和行架构122相关联(例如，使用从模式信息区域110到列架构120和/或行架构122的拖放操作)。在初始关联之后，用户可以使用自然语言命令(例如，在自然语言输入框124中)来进一步探索显示的数据可视化。在一些情况下，用户使用自然语言输入框124创建初始关联，这导致一个或多个数据元素被放置在列架构120和/或行架构122上。例如，用户可以提供创建数据元素X和数据元素Y之间的关系的命令。响应于接收到该命令，可以用数据元素填充列架构120和行架构122(例如，可以用数据元素X填充列架构120，并且可以用数据元素Y填充行架构122，反之亦然)。
例如，用户可以输入请求与数据源和/或当前显示的数据可视化相关的信息的自然语言命令。在许多情况下，自然语言命令包括形容词，诸如“可负担的”或“高”。当处理自然语言命令时，此类形容词(或“修饰语”)的处理可能是有挑战性的。在处理自然语言命令时提出挑战的形容词的一些属性包括：(i)梯度、(ii)与“非”形容词相对的反义词、(iii)组分、和(iv)主观性。
关于分级形容词(例如，可读形容词)，许多形容词是或可以是分级的，意味着它们可以按比例(例如，从更昂贵到更便宜)来解释。这种解释是上下文特定的，对数据值的分布敏感，并且还可以取决于相对值和/或绝对值。例如，Kyle具有作为BMW的昂贵汽车。然而，Kyle的汽车对于BMW来说并不昂贵，因为它是可用的最便宜的BMW型号。
关于对“非”形容词的反义词，反义词可以被解释为不同于非形容词。例如，标记为“便宜”的项目可以不同于标记为“不昂贵”的项目。例如，15美元的酒瓶可以标记为“不昂贵”或“便宜”，但是可以不包括在酒店的“便宜”部分中。酒店的“便宜”部分可以仅包括低于8美元的酒瓶。
参考具有不同成分的形容词，一些形容词与多个不同属性相关联，并且相关属性可能取决于上下文或不清楚。例如，形容词“便宜”可与价格或质量(或两者)相关联，而形容词如“高”仅与高度相关联。
关于主观性，一些形容词比其他形容词更主观。例如，当已经选择了包含关于专业运动员的信息的数据源时，用户可以请求“向我展示高的男性运动员”。在这种情况下，“高”是主观形容词。5英尺5英寸高的人可能认为是5英尺或更高的人是“高”，但是6英尺高的人可能认为是6英尺6英寸或更高的人是“高”。另外，主观形容词可以基于上下文被不同地解释。例如，大多数职业篮球运动员的身高远超过6英尺，因此通常认为身高为6英尺4英寸的运动员为“高”，而不是“高”的篮球运动员。相反，平均赛马骑师高度约为5英尺6英寸。因此，即使平均男性(在2019中)高5英尺9英寸，高5英尺9英寸的赛马骑师可以被认为是高的，而高5英尺9英寸的职业篮球运动员可能被认为是矮的。
由于可以基于上下文和/或用户意图来解释形容词的许多方式，数据可视化应用可以利用数据源和/或当前显示的数据可视化的各方面来在处理包括此类形容词(例如，修饰语)的自然语言命令时确定上下文和/或用户意图。在一些实现中，数据可视化应用包括用于处理包括含糊或主观修饰语的自然语言命令的界面默认值，使得所生成的数据可视化以符合大多数用户期望的方式显示信息。例如：不偏离正在分析的信息的用户意图或上下文)。
图2A是根据一些实现的可以执行数据可视化应用230或数据可视化web应用以显示图形用户界面100的计算设备200的框图。计算设备200的各种实施例包括台式计算机、笔记本电脑、平板计算机以及具有能够运行数据可视化应用230的显示器和处理器的其他计算设备。计算设备200通常包括一个或多个处理单元(处理器或核)202、一个或多个网络或其他通信界面204、存储器206以及用于互连这些组件的一个或多个通信总线208。在一些实现中，通信总线208包括互连并控制系统组件之间的通信的电路(有时命名为芯片组)。计算设备200包括用户界面210。用户界面210通常包括显示设备212。在一些实现中，计算设备200包括诸如键盘、鼠标和/或其他输入按钮216的输入设备。可替代地或另外地，在一些实现中，显示设备212包括触敏表面214，在这种情况下，显示设备212是触敏显示器。在一些实现中，触敏表面214配置为检测各种挥击手势(例如，垂直和/或水平方向上的连续手势)和/或其他手势(例如，单击/双击)。在具有触敏显示器214的计算设备中，物理键盘是可选的(例如，当需要键盘输入时可以显示软键盘)。用户界面210还包括音频输出设备218，诸如扬声器或连接到扬声器、耳机或头戴式耳机的音频输出连接。此外，一些计算设备200使用麦克风220和语音识别软件来补充或替换键盘。音频输入设备220(例如，麦克风)捕获音频(例如，来自用户的语音)。
存储器206包括高速随机存取存储器，例如DRAM、SRAM、DDR、RAM或其他随机存取固态存储器设备，且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、快闪存储器设备或其他非易失性固态存储设备。在一些实现中，存储器206包括远离处理器202的一个或多个存储设备。存储器206或者存储器206内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实现中，存储器206或存储器206的计算机可读存储介质存储以下程序、模块和数据结构，或其子集或超集：
·操作系统222，其包括用于处理各种基本服务和用于执行硬件相关任务的过程；
·通信模块224，其用于通过一个或多个通信网络接口204(有线或无线)将计算设备200连接到其他计算机和设备，该通信网络接口诸如因特网、其他广域网、局域网、城域网等；
·web浏览器226(或能够显示网页的其他应用)，其使得用户能够通过网络与远程计算机或设备通信；
处理由音频输入设备220捕获的音频的音频输入模块228(边缘、麦克风模块)。捕获的音频可以被发送到远程服务器和/或由在计算设备200上执行的应用(例如，数据可视化应用230)来处理；
·数据可视化应用230，其用于生成数据可视化和相关特征。数据可视化应用230包括用于用户构建可视图形的图形用户界面100(例如，如图1所示)。例如，用户选择一个或多个数据源102(其可以存储在计算设备200上或远程存储)、从数据源选择数据字段，并使用选择的字段来定义视觉图形；以及
·数据可视化应用230所使用的零个或多个数据库或数据源102(例如，第一数据源102-1和第二数据源102-2)。在一些实现中，数据源被存储为电子表格文件、CSV文件、文本文件、JSON文件、XML文件或Fiat文件，或者被存储在关系数据库中。
在一些实现中，数据可视化应用230包括数据可视化生成模块234，其取得用户输入(例如，视觉规范236)，并生成对应的视觉图形。数据可视化应用230然后在图形用户界面100中显示他生成的可视图形。在一些实现中，数据可视化应用230作为独立应用(例如，桌面应用)来执行。在一些实现中，数据可视化应用230在web浏览器226或使用由web服务器提供的网页的另一应用(例如，基于服务器的应用)内执行。
在一些实现中，用户提供的信息(例如，用户输入)被存储为视觉规范236。在一些实现中，视觉规范236包括从用户接收的先前自然语言命令或由用户通过自然语言命令指定的属性。在一些实现中，视觉规范236包括用于在数据可视化中显示信息的界面默认值。
在一些实现中，数据可视化应用230包括用于处理(例如，解释)由计算设备的用户提供的命令的语言处理模块238。在一些实现中，命令是自然语言命令(例如，由音频输入设备220捕获或经由触摸表面214或诸如键盘/鼠标216上的按钮等一个或多个输入按钮来输入)。在一些实现中，语言处理模块238包括子模块，诸如推理模块239。推理模块239用于解决指向数据库或数据源102的未指定的(例如，省略的信息)或有歧义的(例如，含糊的)自然语言命令(例如，表达或话语)。如将进一步详细解释的，推理模块239包括用于推断包括诸如“高”、“不昂贵”和“流行”等含糊的(例如有歧义的)概念的自然语言命令和/或诸如“更安全”、“危险”、“发展”和“挣扎”等含糊修饰语的合理默认值的算法。
在一些实现中，存储器206存储由语言处理模块238确定的度量和/或分数。此外，存储器206可以存储阈值和其他标准，这些阈值和其他标准与由语言处理模块238确定的度量和/或分数进行比较。例如，语言处理模块238可以确定接收到的命令的解析词/短语的相关性度量(下面详细讨论)。然后，语言处理模块238可以将相关性度量与存储在存储器206中的阈值进行比较。
以上标识的可执行模块、应用或过程集合中的每个可以存储在一个或多个先前提到的存储器设备中，并且对应于用于执行上述功能的指令集合。以上标识的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集可以在各种实现中被组合或以其他方式重新排列。在一些实现中，存储器206存储以上标识的模块和数据结构的子集。此外，存储器206可以采用上面没有描述的附加模块或数据结构。
虽然图2A示出了计算设备200，但是图2A更旨在作为可能存在的各种特征的功能描述，而不是作为本文所述实现的结构示意图。在实践中，并且如本领域普通技术人员所认识到的，单独示出的项目可以被组合并且一些项目可以被分离。
图2B是图示了根据体细胞实现的数据可视化服务器250的框图。数据可视化服务器250可以包括一个或多个包括数据源102的数据库，或者可以提供各种可执行应用或模块。服务器250通常包括一个或多个处理单元/核(CPU)252、一个或多个通信网络界面262、存储器264以及用于互连这些组件的一个或多个通信总线254。在一些实现中，服务器250包括用户界面256，其包括显示器258和一个或多个输入设备260，诸如键盘和鼠标。在一些实现中，通信总线254包括互连并控制系统组件之间的通信的电路(有时称为芯片组)。
在一些实现中，存储器264包括高速随机存取存储器，例如DRAM、SRAM、DDR、RAM或其他随机存取固态存储器设备，且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、快闪存储器设备或其他非易失性固态存储设备。在一些实现中，存储器264包括远离CPU 250的一个或多个存储设备。存储器264或者存储器264内的非易失性存储器设备包括非暂时性计算机可读存储介质。
在一些实现中，存储器264或存储器264的计算机可读存储介质存储以下程序、模块和数据结构或其子集：
·操作系统270，其包括用于处理各种基本服务和用于执行硬件相关任务的过程；
·网络通信模块272，其用于将服务器250通过一个或多个通信网络界面262(有线或无线)和一个或多个通信网络，诸如互联网、其他广域网、局域网、城域网等连接到其他计算机；
·web服务器274(例如HTTP服务器)，其接收来自用户的web请求并通过提供响应网页或其他资源来响应；
·数据可视化web应用280，其可以是由用户的计算设备200上的web浏览器下载和执行的web应用(例如，根据需要下载单独的网页)。通常，数据可视化应用web具有与桌面数据可视化应用相同的功能，但是提供了从具有网络连接性的任何位置处的任何设备访问的灵活性，并且不需要安装和维护。在一些实现中，数据可视化网络应用280包括执行某些任务的各种软件模块。在一些实现中，数据可视化web应用包括图形用户界面282，其提供数据可视化web应用280的所有方面的用户界面；以及
·如上所述，对于客户端设备200，存储零个或多个数据源102的数据库。
在一些实现中，数据可视化web应用280包括数据可视化生成模块234和/或语言处理模块238(包括推理模块239)，如以上针对客户端设备200所描述的。在一些实现中，数据可视化web应用280存储用于构建数据可视化的视觉规范236。
虽然图2B示出了数据可视化服务器250，但是图2B更旨在作为可以存在的各种特征的功能描述，而不是作为在本文描述的实现的结构示意图。在实践中，并且如本领域普通技术人员所认识到的，单独示出的项目可以被组合并且一些项目可以被分离。
理解查询中的用户意图已被认为是任何自然语言(NL)交互系统的重要方面。搜索查询通常由被命名为修饰语的关键字和术语组成，修饰语意味着一组不同的搜索意图。虽然来自用户的搜索查询的基本关键字匹配可能引出一组合理的结果，但是解释修饰语提供了对查询中的语义的更好理解。例如，对于查询“帮我寻找帕洛阿尔托附近最好的咖啡店”，修饰语“帕洛阿尔托附近”指定了在加利福尼亚州帕洛阿尔托附近寻找咖啡店的意图(即，定位)，而修饰语“最好的”意味着质量。
用于视觉分析工具的自然语言界面在支持用户与其数据交互的表达方式方面引起了兴趣，并将结果表示出为可视化。用户在探索诸如“哪个国家拥有大量金牌？”或“一天中什么时候会发生更多的鸟击事件？”之类的数据时，在使用自然语言查询时，经常使用含糊的语言。通常使用含糊性作为在与此类系统交互时避免错误的不太精确的手段，或者仅仅因为没有良好耐受的具体方式来表达该概念。
修饰语可以是含糊的或不精确的。此外，不同的用户可能具有含糊修饰语所暗示的不同想法，并且他们的含义通常取决于上下文。含糊的修饰语的范围从包括关于数字量的最高级修饰语(例如，“最高”、“最便宜”、“最昂贵”)的更具体的修饰语到关于数字量的分级修饰语(例如，“便宜”、“低”、“高”、“昂贵”)到通常基于上下文是主观的更含糊的修饰语(例如，“安全”、“最好的”、“健康”)，其中解释通常取决于上下文。
基于来自75个参与者和578个不同自然语言查询的响应的查询启发任务发现用于视觉分析的自然语言中的含糊修饰语的流行。例如，用户更喜欢使用修饰语，诸如最多、最高、更多、最高、最后、最大、最佳、最低、更大、最小、最大、新、最差、长、远、昂贵、高、更大、好和更高。
一些实现解释了简单的含糊修饰语，包括单数/复数超短语和数值分级形容词(例如，基于数据分布的形状)。然而，用户也使用不太具体且通常主观的修饰语，例如“最好的”、“安全”和“更差”的话语。此类修饰语典型地具有含糊的边界，该含糊的边界不允许落在它们的范围内的实体和不落在它们的范围内的实体之间的明显区别。如本文所描述的，一些实现解释自然语言界面的此类含糊和/或主观修饰语，以精确地确定这种概念的扩展，并将意图映射到视觉分析系统中提供的分析功能和数据。
一些实现采用系统来探索用于视觉分析的自然语言界面中的此类主观含糊修饰语的合理解释和默认。在一些实现中，该系统使用一种算法，该算法使用词同现来标识可以与给定修饰语相关联的数值属性。情感分析确定应用于用于解释修饰语的属性的过滤范围。在一些实现中，相似的极性导致将属性的Top N数据值与修饰语相关联，而发散的极性被映射到Bottom N数据值。
图3A提供了根据一些实现的数据可视化的实施例。图3A示出了用于数据可视化应用230的示例图形用户界面100。如上关于图1所述，图形用户界面100包括数据可视化区域112和自然语言输入框124(例如，命令框)。数据可视化区域112显示数据可视化300，并包括显示当前正显示的数据可视化类型(“条形图”)的交互式用户可供性302。在一些实现中，如图所示，交互式可供性302是允许用户指定要在数据可视化区域112中显示的数据可视化类型的下拉框。如图所示，数据可视化300显示来自数据源的信息，该数据源包括关于葡萄酒品种价格的信息。数据可视化300是显示按价格总和分类的葡萄酒品种的条形图，其中最昂贵的是葡萄酒。滚动条304使用户能够看到另外的葡萄酒品种。数据可视化300可以是响应于自然的用户输入而生成的。语言命令(经由自然语言输入框124和/或经由语音命令输入)，和/或用户选择要显示的数据字段的动作。例如，用户可能已经选择了“价格和”306，以便在“具有昂贵价格的”条形图310中“由种类”308绘制，以便生成数据可视化300。可替代地，用户可以提供自然语言命令“昂贵的品种”。响应于用户输入，在数据可视化区域112中生成并显示数据可视化300。在一些实现中，当选择数据源时自动生成数据可视化300。一旦选择了数据源，数据可视化应用230就生成指定所选数据源、多个视觉变量和来自数据源的多个数据字段的视觉规范。每个视觉变量与相应的一个或多个数据字段相关联，并且每个数据字段被标识为维度或度量。视觉变量包括对数据可视化将看起来如何进行编码的信息(例如，数据可视化类型、什么数据点将被显示或表示出为视觉标记、视觉标记的颜色方案，或强调某些视觉标记)。基于视觉规范生成并显示数据可视化。
在某些情况下，用户希望知道来自数据源的更多信息。例如，用户可能要求“昂贵的品种”。在该实施例中，“昂贵”是表示用户可能想要看到成本最高的葡萄酒品种(对于运行实施例)的最高形容词。在一些实现中，响应于自然语言命令，数据可视化应用30识别自然语言命令中的第一关键字(例如，“种类”)和自然语言命令中的一个或多个第二关键字(例如，“昂贵”)，该第二关键字是修改第一关键字的形容词。然后，数据可视化生成视觉规范或修改现有的视觉规范，使得第二关键字对应于多个数据字段中的一个或多个第一数据字段(例如，选择“价格”数据字段)。根据一个或多个第二关键字，一个或多个视觉变量与一个或多个第一数据字段相关联(例如，与过滤或强调/去强调相关联的视觉变量与对应于按年龄的患者数目的数据字段相关联，使得具有最大数目的记录的年龄仓被强调/突出显示或显示)。然后，数据可视化应用230根据(例如，基于)视觉规范生成数据可视化，并在数据可视化区域112中显示该数据可视化。
在一些情况下，数据可视化应用230至少部分地基于附加关键字来确定用户意图。例如，假设用户输入“最昂贵”。虽然“大多数”是根据定义指单个行的最高级副词，但是数据可视化应用230可以确定用户意图可能不是应用过滤器。相反，数据可视化应用230可以确定用户意图是识别成本最高的多个葡萄酒品种。数据可视化可以突出显示成本最高的葡萄酒品种。另外，数据可视化应用230可以至少部分地基于所确定的用户意图来确定数据可视化的数据可视化类型。例如，数据可视化应用230可以确定条形图是适当的数据可视化类型，因为用户已经通过多样性请求了关于记录数量的信息。数据可视化类型可以是以下中的一者：条形图、线图、散点图、饼图、地图或文本表。
在一些实现中，初始数据可视化(例如，数据可视化300)提供数据可视化应用230的上下文以解释自然语言命令和/或确定用户意图。例如，当用户在显示初始数据可视化的同时提供自然语言命令“昂贵的品种”时，数据可视化应用230可以维护初始数据可视化的上下文，并且选择对初始数据可视化300中显示的信息进行突出显示或过滤，并且保持稳健的数据可视化类型和颜色方案，而不是显示新的数据可视化，该新的数据可视化是完全不同的数据可视化类型或者具有完全不同颜色的可视化标记(例如，条)。
图3B示出了根据一些实现的示出使用情感分析和词同现的含糊意图修饰语的解释的实施例。图3B示出了图形用户界面312，其示出了对应于美国地震数据集的数据可视化318。假设用户输入自然语言命令(例如，用户键入或说出)“在哪里不安全？”。一些实现显示交互式文本314。根据一些实现，一些实现还示出了用于用户调整数字数据字段的范围的一个或多个小部件(例如，滑块小部件316)。对于该实施例，系统标识与命名为“量值”322的数据字段共现的含糊修饰语“不安全”320。该系统还识别修饰语“不安全”320和命名为“量值”322的数据字段具有类似的消极情感极性。在所示的实施例中，系统颜色编码消极情感(例如，使用红色)。对于该实施例，修饰语320和命名为“量值”的数据字段的消极情感极性以红色示出。在一些实现中，情感极性是相似的(例如，两者都具有消极情感极性)，所以系统计算Top N过滤器，其根据数据字段的数据值来限制数据源的行。在该实施例中，系统计算6或更高的量值的值，以应用于命名为“量值”的字段。换句话说，系统确定“不安全”和命名为“量值”的数据字段具有相似的消极情感极性，并选择较高的震级范围。一些实现基于过滤器更新数据可视化。在该实施例中，数据可视化318被更新以示出量值为6或更高的地震。在一些实现中，系统利用域特定信息，诸如由WolframAlpha提供的数据。
图3C提供了示出根据一些实施例的使用情感分析和词同现的含糊意图修饰语的解释的另一个实施例。图3C示出了示出数据可视化338的图形用户界面326，其对应于用于国家的健康和财富的数据集。假设用户输入自然语言命令(例如，用户键入或说出)“哪些国家正在挣扎？”328。根据一些实现。根据一些实现，系统标识修饰语“挣扎”330以及修饰语具有消极情感(以红色示出)的事实。该系统还标识与修饰语“挣扎”330一起出现的命名为“人均收入”332和“预期寿命”340的数据字段。系统还确定两个数据字段名称具有积极情感(以蓝色示出)。因此，系统确定修饰语330和数据字段名称332和340具有发散的情感极性，并为相应的数据字段计算和应用Bottom N过滤器。在所示的实施例中，系统基于数据的统计特性计算并应用较低的数值过滤范围，以生成和/或更新数据可视化338(在该实施例中为散布图)。如图3B所示，一些实现示出交互式文本340以示出系统解释的来源，其中可点击部分被展示出为可由用户细化的小部件(例如，小部件334和336)。这样，根据一些实现，该系统支持视觉分析中含糊概念的识别。
一些实现解释不精确的修饰语并确定合理的默认值。一些实现通过基于数据的底层统计特性推断数值范围来处理数值含糊概念，诸如“便宜”和“高”。一些实现基于数据分布的形状生成对诸如“廉价公寓”和“最廉价公寓”的单数和复数超短语和数值分级形容词的可视化响应。一些实现在视觉分析上下文中处理更含糊的主观修饰语，采用词同现和情感分析来确定修饰语与相关数据属性的关联。
图4A提供了根据一些实现的系统400的示意图，该系统在使用词同现和可知觉分析的视觉分析中解释含糊意图修饰语。一些实现使用在自然语言(NL)界面中解释诸如“安全”和“挣扎”的含糊修饰语的系统400用于视觉分析。在一些实现中，系统400采用基于web的架构。在一些实现中，解析器402(例如，ANTLR解析器)使用语法404(例如，上下文无关的语法)来处理输入查询434(例如，“居住的安全的地方”)，以输出经解析的令牌406(例如，令牌“安全”、“地方”和“居住”)。
在一些实现中，词性标注器408基于经解析的令牌406来标识修饰语形容词(例如，修饰语“安全”)及其引用数字数据字段412。示出了词性标注器408的结果410。在一些实现中，结果410具有标签的句法树。对于该实施例，树的根被示出为“根”。标签包括指示名词短语(例如，“安全位置”)的标签NP，其又包括指示形容词(例如，“安全”412)的标签JJ，以及指示多个名词(例如，“位置”)的标签NNS。标签还包括指示动词短语的标签VP，该动词短语又指示标签TO，该标签TO指示辅助词“到”，以及另一标签VP，该标签VP指示具有动词基本标签VB(例如，“居住”)的动词短语。
在一些实现中，模块414使用同现度量来计算(440)修饰语412与数字数据字段的名称之间的语义相关性(有时命名为同现)，由此标识修饰语412的一个或多个同现数字数据字段。一些实现使用所存储的自然语言话语的语料库来标识与修饰同现的名称。例如，根据一些实现，如果数据字段名称与修饰语在所存储的语料库中共现多于预定次数(例如，多于5次)，则选择数据字段名称。一些实现使用同现度量，下面描述其实施例。在一些实现中，数据管理器418提供关于数字数据字段412的信息43(例如，数据字段的名称“地震震级”)和/或执行查询(例如，使用数据访问功能420)以从数据库422取得数据442。
在一些实现中，模块424标识同现修饰语的情感极性444(例如，个体情感分数)和数字数据字段440。
在一些实现中，分析模块426基于情感极性确定数字数据字段的数值范围。在图4A中，在条形图430中示出了不同情感极性的数据字段“震级”的值的数据分布。图4A还示出了另一条形图432，其对应于修饰语(在该实施例中为关键字“安全”)对于不同可感知极性的分布。还参见图4C中的条形图466和468。
在一些实现中，可视化结果436(有时被命名为数据可视化)然后被生成并显示(428)以根据一些象征显示在播放中的小部件和过滤器。
在一些实现中，解析器402、词性标注器408、计算同现的模块414和分析模块426在上述语言处理模块238和/或推理模块239中实现。在一些实现中，数据管理器418被实现为数据库或数据源102的一部分，和/或实现为语言处理模块238的一部分。
用于解释含糊修饰语的示例算法
根据一些实现，下面示出了用于基于识别同现数据字段和它们的值来解释修饰语的示例算法。在以下小节中详细描述每个组件。
算法：含糊修饰语解读
输入：自然语言话语α
输出：生成可视化响应
α是自然语言输入话语。
m是话语α中的含糊修饰语。
词性标注器POS 408识别α中的m。
attrsnum是数据集D中的数字数据字段的集合。
attrscnum是D中的同现数字数据字段的集合。
其中
PMI计算m的同现分数wc和attrsnum中的每个数字字段。
极性计算m的情感极性p和attrscnum中的每个数字字段。
1.调用POS(α)，返回m。
2.针对每个attri∈attrscnum，计算PMI(m，attrsnum)→wc。
3.计算极性(m，attrscnum)→p。
4.基于wc和p生成可视化和/或更新界面。
用于解析含糊修饰语的示例方法
含糊修饰语是等级形容词，其修饰名词并且与按照其语义强度排序的抽象尺度相关联。例如，短语“快车”中的等级形容词“快速”描述了“汽车”属性的速度度量的强度，可交换形容词可以基于它们作为度量函数的解释被广泛地分类为两类。诸如“大”和“便宜”的数值分级形容词被视为分别与尺寸和成本的数值量相关联的度量。相反，复杂的分级形容词如“好”和“健康”倾向于被指定用于所测量的准确特征。
虽然数字等级形容词的解释已经在用于视觉分析的自然语言界面中被探索，但是常规方法不能处理复杂的等级形容词。一些实现在解析过程期间应用通常使用的表演性词性标记器(POS)408来标识自然语言话语中的这些复杂等级形容词及其引用属性。
用于计算修饰语和属性同现得分的示例方法
一些实现随后基于含糊修饰语的语义强度将含糊修饰语映射到标度，使得修饰语可被解释为用于生成可视化响应的一组过滤器。一些实现使用表示复杂修饰语的主观性的语言模型作为将修饰语映射到多维空间中的数值属性的广义度量函数。例如，修饰语“健康”的主观性可以和“体重”、“运动量”和“医院就诊次数”的几个维度一起被解释。这些属性可以独立使用，或者在集合中使用，诸如加权线性组合。
一些实现使用同现度量来计算修饰语和数字数据字段之间的语义相关性。一些实现使用广泛的Google n元语法语料库(例如，具有用于同现的广泛覆盖)。为了最大化同现的机会，一些实现考虑修饰语和数据字段名称的所有n元语法组合之间的同现。例如，数据字段名称“人均收入”的n元语法中的一些是“人均收入”、“每人收入”、“人均”和“收入”。
一些实现使用逐点互信息测量(PMI)，一种量化出现修饰语m和数字数据字段attrnum相对于独立地观察项的概率的紧密程度的信息理论测量。一些实现考虑具有非零PMI分数的任何数字数据字段attrcnum，指示与m同现的存在。在一些实现中，使用以下示出的等式(1)来计算具有数据字段名称n元语法tattr中的一者的修饰语n元语法tm的PMI：
图4B示出了根据一些实现的针对具有数据字段名称n元语法的修饰语绘制PMI值的示例图446。在该实施例中，根据一些实现，Y轴450对应于Google n元语法语料库中的年(x轴448)1900和2006之间的修饰语“挣扎”数据字段名称n元语法、“收入”(行452)、“预期寿命”(行454)和“人口”(行456)中的每个的PMI值。较高的PMI分数指示修饰语和数据字段名称项的较高同现。对于该实施例，该图表指示在1995年之后，命命名为“收入”的数据字段具有与修饰语“挣扎”的最高同现，命名为“人口”的数据字段具有次最高同现，随后是命名为“预期寿命”的数据字段。
用于确定情感极性的示例方法
一旦修饰语在语义上相关联。利用共现的数值属性，一些实现确定与修饰语相关联的合理数值范围。情感极性分析是一种使用正负词典来确定短语极性的语言学技术。采用此类技术的好处中的一者是能够基于其十几种同现而不是用绝对极性预标记短语的上下文来动态地计算短语的情感，这通常是不可缩放的。
图4C图示了根据一些实现的情感极性逻辑，其具有情感及其针对数字数据字段的修饰语和名称的归一化分数。在第一实施例466和第二实施例468中，修饰语“安全”和数据字段“震级”分别具有积极情感和消极情感。这是从与消极情感极性(对于非常消极情感极性用“--”表示，对于消极情感极性用“-”表示)、中性情感极性(对于积极情感极性用“0”表示)和积极情感极性(对于积极情感极性用“+”表示，对于非常积极情感极性用“++”表示)相关联的实例的数目推导出的。基于该推断，以及修饰语和数据字段名称具有不同情感极性的事实，一些实现使用数据字段的Bottom N范围458(在该实施例中为“震级”)。对于该实施例，系统将数据字段“震级”的值的数值范围计算为3和更低。一些实现还使用公知的标度来确定数字数据字段的数值范围。例如，系统基于里氏震级确定震级值。相反，如曲线图460和462所示，修饰语“发展”和数据字段“人均收入”都具有积极的情感，因此根据一些实现，系统计算“人均收入”数据字段的Top N值464。一些实现进一步基于数据的统计特性来计算数字数据字段的数值范围。
一些实现基于处理否定并预测简洁短语的情感的递归神经张量网络，利用情感分类技术来确定个体情感得分。在一些实现中，情感被作为5类情感分类返回：非常消极、中性、积极或非常积极。可以将值归一化到范围从负到正的区间[-1，+1]，以提供总体情感。一些实现随后使用以下组合逻辑，基于修饰语m(sentimentm)的情感极性和共现的数字数据字段attrcnum(sentimentattr_cnum)对的情感极性来确定数字数据字段attrcnum的数值范围：
if(sentimentm是积极的或sentimentm是中性的)and
(sentimentattr_cnum是积极的或sentimentattr_cnum是中性的)then计算Top N(attrcnum)。
else if(sentimentm是积极的或sentimentm是中性的)and
(sentimentattr_cnum是消极的)then
计算Bottom N(attrcnum)。
else if sentimentm是消极的and
(sentimentattr_cnum是积极的或sentimentattr_cnum是中性的)then
计算Bottom N(attrcnum)。
else if sentimentm是消极的and sentimentattr_cnum是消极的then计算Top N(attrcnum)。
end if
一些实现使用情感极性来计算数字数据字段的Top N和Bottom N数值范围。在各种实现中，这些范围以两种方式计算：如果该属性与附加的域特定富集相关联，则系统使用该信息来确定缺省值。例如，对于图4C中顶部所示的实例，系统使用里氏震级来找到较低严重性的量值范围。如果不存在附加知识，如图4C中底部所示的实施例的情况，则系统计算范围[med+MAD，max]中的Top N或范围[min，abs(med-MAD)]中的Bottom N，其中med、MAD、min和max是attrcnum的中值、中值绝对偏差、最小值和最大值。
一些实现选择MAD，因为它是数据扩展的鲁棒度量，并且倾向于较少受到非正常性的影响。一些实现利用播放中的范围过滤器生成可视化响应。
示例用户界面
图5A-5M提供了根据一些实现的数据可视化的实施例，图5A示出了根据一些实现的具有美国地震数据集(例如，来自Wolfram Alpha地震数据)的数据可视化502的图形用户界面500。图5B示出了用户提供“在哪里更安全”的输入。如图5C所示，系统将关键字“安全”识别为修饰语(例如，关键字“哪里”(或地方)的修饰语)，并识别在自然语言话语的预定义语料库中与关键字“安全”共现的数字数据字段(有时命名为属性)“量值”。换句话说，系统将关键字“更安全”解释为数字数据字段“量值”以及数值范围。一些实现提供解释的细节或文本响应506以通知和/或引导用户。接下来参考图5D和图5E，系统还识别出关键字“更安全”具有积极情感508，而术语“量值”指示消极情感510。因此，根据一些实现，系统选择底部范围。接下来如图5F所示，根据一些实现，系统在文本响应506中示出数值范围。在该实施例中，文本响应506示出了“不大于3”的底部范围512(例如，从0到10的数值范围中选择)。如接下来在图5G中所示，一些实现示出了滑块可供性514和/或类似的细化小部件。用户可以滑块可供性514，为相应的数据字段选择特定值(在该实施例中为“量值”)。作为响应，系统更新可视化502以获得数据字段“量值”的值。
接下来参考图5H，假设用户随后输入“危险的地方如何？”516。系统将关键字“危险”识别为修饰语。系统还识别与关键字“危险”共现的数字数据字段“量值”。接下来，如图5I所示，根据一些实现，系统示出指示系统以不小于6的量值解释关键字“危险”的文本响应518。如图5J所示，关键字“危险”和数字数据字段“量值”522都具有消极极性。因此，系统选择最高范围(用于数字数据字段的数值)。对于该实施例，系统为量值数据字段选择不小于6的数值范围524。如图5K所示，在一些实现中，系统生成小部件526(例如，具有滑块可供性能力的小部件)，其允许用户细化数字数据字段“量值”的值。如接下来在图5L中所示，在一些实现中，系统使用公共可用的知识库(有时命名为知识引擎或答案引擎)来进行语义富集。在该实施例中，系统使用Wolfram Alpha来确定镜像数据字段“量值”的默认范围。在该实施例中，系统将“量值”解释为指震级，并确定数字数据字段的默认值0到10(在里氏标度上)。最后，如图5M所示，当用户选择数值范围528时，系统更新数据字段“量值”的那些值的数据可视化502。
图6A-6J提供了根据一些实现的数据可视化的实施例。图6A示出了根据一些实现的图形用户界面600，其显示国家的健康和财富的数据集的数据可视化602。用户通过提供指定“哪些国家正发展？”的输入604来开始与数据可视化602交互。如图6B中的文本响应606所示，系统将关键字“发展”608标识为修饰语，并将其最接近的同现数字数据字段标识为“人均收入”610和“预期寿命”612。该系统还将关键字“发展”和数字数据字段标识为具有积极情感(由类似的颜色代码指示)。基于情感极性之间的正相关，系统选择数字数据字段的Top N值(数值范围)(由数据字段“人均收入”和“预期寿命”的“不小于”范围614和616示出)。如图6C和6D所示，一些实现示出了一个或多个细化小部件，诸如图6C中的滑块可供性618和图6D中的滑块可供性620，以供用户进一步细化数据字段的数值范围。当用户选择数值细化任一数字数据字段的范围时，系统更新数据可视化602。在一些实现中，如图6E中的实施例所示，系统还示出了允许用户添加属性或度量(有时命名为数据字段)的可供性“+”622。当用户选择添加数据字段名称时，系统用命名为“人口”624的下一最高同现数据字段连同数字数据范围626来响应，如图6F所示。
继续该实施例，在图6G所示的实施例中，假设用户键入“挣扎的那些怎么样”628。该系统识别具有消极情感极性(由红色表示)的修饰语“挣扎”630，具有积极情感极性(由蓝色表示)的同现数据字段“人均收入”610，以及也具有积极情感极性(也由蓝色表示)的同现数据字段“预期寿命”612。修饰语和数据字段名称的不同情感极性使系统为各个数据字段选择Bottom N范围632和634(如“不大于”所示)。如图6H所示，系统还示出了用户添加数据字段名称的“+”可供性636。当用户选择“+”可供性636时，系统通过添加数据字段名称“人口”638来响应，该数据字段名称“人口”638是下一个最高同现数据折叠名称(具有关键字“挣扎”)以及数值范围640，如图6I中的下一个所示。在一些实现中，系统还示出了允许用户移除属性或度量(有时命名为数据字段)的可供性“x”642。当用户取消选择或移除属性时，系统通过移除适当的过滤器来自动更新数据可视化602。在图6J所示的实施例中，命名为“预期寿命”的数据字段的过滤器已被移除。
这样，一些实现示出了用于处理通过键盘输入或语音界面接受查询的输入数据字段的图形用户界面。根据一些实现，在执行查询时，应用用于同现数字属性的范围过滤器，示出可视化响应。在一些实现中，系统解释以可视化之上的交互式文本的形式来表达，以帮助用户理解如何解释修饰语的来源。在一些实现中，以不同的颜色(例如，分别为蓝色、红色和黄色)示出了积极的、消极的和中性的情感。在一些实现中，文本包含示出从最高同现的数据字段开始的数据字段的数据范围的小部件。一些实现将系统推测示出为小部件，其中用户可以细化这些默认。在一些实现中，这些细化对于用户会话的持续时间是持久的。在一些实现中，如果使用域特定语义，则提供到源的链接。在一些实现中，给定有限的实际状态并且为了提供更容易的可读性，系统默认地将显示限制为两个小部件；然而，用户具有删除或添加附加小部件的能力，并且界面更新以反映改变。
图7示出了根据一些实现的示例文本响应。根据一些实现，702中的实施例示出了交互式文本响应。根据一些实现，704中的实施例示出了允许用户在修饰语上悬停(例如，移动光标)以查看与修饰语相关联的情感的能力。根据一些实现，706中的实施例示出了供用户与之交互的范围滑块。根据一些实现，708中的实施例示出了用户添加数字数据字段的可供性“+”。710中的实施例示出了在用户选择添加更多数据字段之后对文本响应的更新，以示出附加数据字段，即第三最多出现的数据字段。根据一些实现，712中的实施例示出了去除数据字段作为解释的一部分的可供性“x”。
图8A-8J提供了根据一些实现的用于生成(802)数据可视化的方法800的流程图。该方法在计算设备(例如，计算设备210)处执行(804)，该计算设备具有显示器(例如，显示器212)、一个或多个处理器(例如，处理器202)以及存储(806)配置用于由一个或多个处理器执行的一个或多个程序的存储器(例如，存储器206)。计算设备接收(808)第一用户输入以指定指向数据源的自然语言命令。自然语言命令包括对关于数据源的信息的请求。计算设备在自然语言命令中标识(810)(例如，如上所述，使用词性标记器(POS))第一关键字，该第一关键字是修改自然语言命令中的第二关键字的等级形容词。
该计算设备还基于使用同现度量对同现进行量化，从数据源识别(812)数字数据字段，该数字数据字段的字段名称与自然语言话语的预定义存储语料库中的自然语言话语中的第一关键字同现。接下来参考图8I，在一些实现中，标识数字数据字段包括基于分析自然语言话语中的第一关键字的所有n元语法组合与多个数字数据字段的字段名称之间的同现，从数据源的多个数字数据字段中选择(832)数字数据字段。接下来参考图8J，在一些实现中，标识数字数据字段包括：当第一数字数据字段具有字段名称时，从数据源的多个数字数据字段中选择(834)第一数字数据字段，该字段名称具有指示与第一关键字同现的存在的非零逐点互信息测量(PMI)分数。
接下来参考图8B，计算设备基于第一关键字的情感极性与数字数据字段的字段名称的相关性而计算(814)数字数据字段的值的数值范围。接下来参考图8C，在一些实现中，计算数字数据字段的值的数值范围包括计算(818)(i)范围[med+MAD，max]内的数字数据字段的Top N值，或(ii)范围[min，abs(med-MAD)]内的数字数据字段的Bottom N值，其中med、MAD、min和max分别是数字数据字段的中值、中值绝对偏差、最小值和最大值，接下来参考图8D，在一些实现中，计算数字数据字段所包括的值的数值范围；(i)当第一关键字的语义极性与第一数值数据字段的字段名称的语义极性正相关时(即，第一关键字与第一数值数据字段具有相似的情感极性)，计算(820)第一数值数据字段的Top N值；以及(ii)当第一关键字的语义极性与第一数字数据字段的字段名称的语义极性负相关(即，第一关键字和第一数字数据字段具有不同的显著极性)时，计算(822)第一数字数据字段的Bottom N值。
遵从图8B，该计算设备还基于根据数字数据字段的数值范围对来自数据源的数据行进行过滤，生成并显示(816)数据可视化，该数据可视化包括表示从数据源取得的数据的多个视觉标记。接下来参考图8K，在一些实现中，生成数据可视化包括生成(836)指定数据源、多个视觉变量和来自数据源的多个数据字段的视觉规范。每个视觉变量与多个数据字段中相应的一个或多个数据字段相关联(838)，并且每个数据字段被标识为维度或度量。第一关键字对应于(840)多个数据字段中的一个或多个第一数据字段。根据数字数据字段的数值的数值范围将一个或多个视觉变量与一个或多个第一数据字段相关联(842)。
返回参考图8E，在一些实现中，计算设备还基于域特定信息来确定(824)数字数据字段的值的默认范围。在一些实现中，如果使用域特定语义，则提供到源的链接。接下来参考图8F，在一些实现中，计算设备还显示(826)交互式文本，以示出第一关键字的解释的来源(作为使用数值范围的数值过滤器)。
接下来参考图8G，在一些实现中，计算设备还显示(828)一个或多个用户界面小部件以显示、修复和/或细化数值范围。在一些实现中，小部件允许用户修改数字数据字段的默认值。在一些实现中，小部件示出数字数据字段的值的数值范围。一些实现示出了从最高同现属性开始的属性数据范围。在一些实现中，用户细化持续用户会话的持续时间。在一些实现中，给定有限的实际状态并且为了提供更容易的可读性，默认地将显示限于两个小部件。然而，用户能够删除或添加附加控件和界面更新，以反映变更。
接下来参考图8H，在一些实现中，计算设备还使用一个或多个颜色编码来显示(830)第一关键字的情感极性和数字数据字段的字段名称(例如，分别以蓝色、红色和黄色示出积极、消极和中性情感)。
使用的示例结果
在各种实验中，参与者对该系统是积极的，并确定了许多益处。一些参与者对该系统知晓他们的查询的能力印象深刻(“我键入了可怕(scary)，想看看它会做什么，它居然理解了。”)。没想到系统的文本反馈是有帮助的(“我不确定系统会如何处理，但当我看到回应时就很清楚了”)。参与者意识到能够覆盖或纠正系统响应的功能(“我想稍微调整一下范围，能够更改滑块并同时查看结果更新是很有用的”)。
每个参与者的独特含糊修饰语的数量范围为3至12(μ＝6.7)，总共24个独特复杂修饰语。三种最常见的修饰语是用于地震数据集的“好”、“有”和“是”，以及用于健康和财富的国家数据集的“富足”、“发展”和“差”。所有参与者与文本响应交互以理解系统行为。最常见的交互是更新属性的数据范围(交互的69％)，随后添加新属性(23％)，并从解释结果中删除属性(8％)。与该行为相关的评论包括“对我来说该范围太宽泛，我已对其进行改变。令人愉悦的是，系统记得“我想要将人口添加到成分比例中，并且很容易只点击和行动即可”，和“我对预期寿命不感兴趣，所以我仅仅将它排除”。
附加示例实现
一些实现支持复杂的解释，诸如同一查询中含糊修饰语的组合。例如，一些实现解释道“向我展示做得非常好和差的国家”。一些实现提供了定义分析函数的灵活性，例如将“不安全”与量值为5的最近发生的地震的频率相关联。而且，一些实现解释诸如“哪些国家做得尚可”的查询。一些实现提供与属性的顶部范围相对的中间范围，和/或提供小部件来调整范围。
一些实现处理定制和原位固化。在一些实现中，数据字段名称不是预先用人可读的词和短语来管理的。在数据与特定领域的术语和缩写是混乱的情况下，系统允许用户在其分析流程中定制属性和解释的语义。
一些实现处理系统期望、偏差和故障。自然语言算法已经显示出社会经济偏差，包括性别和种族假设，通常是由于训练数据的性质。它们的使用可以在自然语言系统中保持甚至放大文化定型。一些实现在系统行为中提供透明度和/或使用适当的去偏置方法。
这样，上述技术可用于解释在视觉分析任务期间自然语言查询中普遍存在的含糊且通常主观的修饰语。使用词同现和情感极性，一些实现将这些修饰语映射到更具体的分析函数。一些实现将系统行为的来源展示出为具有可视化的交互式文本响应。该系统的评估表明参与者发现该系统是直观的并且意识到改进系统选择的能力。一些实现在自然语言工具中处理语言的含糊性和复杂性以支持数据探索。
以上标识的可执行模块、应用或过程集合中的每个可以存储在标识的存储器设备中的一者或多者中，并且对应于用于执行上述功能的指令集合。模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集可以在各种实现中被组合或以其他方式重新布置。在一些实现中，存储器206和/或存储器264存储以上标识的模块和数据结构的子集。此外，存储器206和/或存储器264可以存储上面没有描述的附加模块或数据结构。
在在本发明的描述中使用的术语仅用于描述特定实现的目的，而不旨在限制本发明。如在本发明的说明书和所附权利要求中所使用的，单数形式“一种”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。还应当理解，本文所用的术语“和/或”是指并涵盖一个或多个相关所列的项目的任何和所有可能的组合。还将理解，术语“包括”和/或“包含”在本说明书中使用时，指定所陈述的特征、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、步骤、操作、元件、组件和/或其群组的存在或添加。
出于解释的目的，已经参考特定实现描述了上述描述。然而，以上的说明性讨论并不旨在穷举或将本发明限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择和描述实现是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够最好地利用本发明和具有各种修改的各种实现，以适合于预期的特定用途。

Claims (20)

1.一种用于从自然语言表达生成数据可视化的方法，包括：
在具有显示器、一个或多个处理器和存储配置用于由所述一个或多个处理器执行的一个或多个程序的存储器的计算设备处：
接收第一用户输入以指定指向数据源的自然语言命令，所述自然语言命令包括对关于所述数据源的信息的请求；
在所述自然语言命令中识别第一关键字，所述第一关键字是修改所述自然语言命令中的第二关键字的等级形容词；
基于使用同现度量对同现进行量化，从所述数据源识别数字数据字段，所述数字数据字段的字段名称与自然语言话语的预定义存储语料库中的自然语言话语中的所述第一关键字同现；
基于所述第一关键字的情感极性与所述数字数据字段的字段名称的相关性，计算所述数字数据字段的值的数值范围，包括计算(i)所述数字数据字段在范围[med+MAD，max]中的值的Top N或(ii)所述数字数据字段在范围[min，abs(med-MAD)]中的值的Bottom N，其中med、MAD、min和max分别是所述数字数据字段的中值、中值绝对偏差、最小值和最大值；和
基于根据所述数字数据字段的所述数值范围过滤来自所述数据源的数据行，生成和显示数据可视化，所述数据可视化包括表示从所述数据源取得的数据的多个可视标记。
2.根据权利要求1所述的方法，其中计算所述数字数据字段的值的数值范围包括：
根据所述第一关键字的语义极性与所述数字数据字段的字段名称的语义极性正相关的确定，计算所述数字数据字段的值的Top N；和
根据所述第一关键字的语义极性与所述数字数据字段的字段名称的语义极性负相关的确定，计算所述数字数据字段的值的Bottom N。
3.根据权利要求1所述的方法，还包括：
基于域特定信息，确定所述数字数据字段的值的默认范围。
4.根据权利要求1所述的方法，还包括：
显示交互式文本以展示所述第一关键字的解释的来源。
5.根据权利要求1所述的方法，还包括：
显示一个或多个用户界面小部件以展示、修复和/或细化数值范围。
6.根据权利要求1所述的方法，还包括：
使用一个或多个颜色编码显示所述第一关键字的情感极性和所述数字数据字段的字段名称。
7.根据权利要求1所述的方法，其中所述同现度量测量所述第一关键字的所有n元语法组合与来自所述数据源的多个数字数据字段的字段名称之间的同现。
8.根据权利要求1所述的方法，其中所述同现度量针对来自所述数据源的相应的数字数据字段的每个数据字段名称计算逐点互信息测量(PMI)分数，其测量相应的数据字段名称与所述第一关键字的耦合。
9.根据权利要求1所述的方法，其中生成所述数据可视化包括：
生成指定所述数据源、多个视觉变量和来自所述数据源的多个数据字段的视觉规范，其中：
所述视觉变量中的每个与所述多个数据字段中相应的一个或多个数据字段相关联，并且所述数据字段中的每个被标识为维度或量度；以及
所述第一关键字对应于所述多个数据字段中的一个或多个第一数据字段；和
根据所述视觉规范生成和显示所述数据可视化。
10.一种计算设备，包括：
一个或多个处理器；
存储器，其耦合至所述一个或多个处理器；
显示器；和
一个或多个程序，其存储在所述存储器中并且配置用于由所述一个或多个处理器执行，所述一个或多个程序包括用于以下的指令：
接收第一用户输入以指定指向数据源的自然语言命令，所述自然语言命令包括对关于所述数据源的信息的请求；
在所述自然语言命令中识别第一关键字，所述第一关键字是修改所述自然语言命令中的第二关键字的等级形容词；
基于使用同现度量对同现进行量化，从所述数据源识别数字数据字段，所述数字数据字段的字段名称与自然语言话语的预定义存储语料库中的自然语言话语中的第一关键字同现；
基于所述第一关键字的情感极性与所述数字数据字段的字段名称的相关性，计算所述数字数据字段的值的数值范围，包括计算(i)所述数字数据字段在范围[med+MAD，max]中的值的Top N或(ii)所述数字数据字段在范围[min，abs(med-MAD)]中的值的Bottom N，其中med、MAD、min和max分别是所述数字数据字段的中值、中值绝对偏差、最小值和最大值；和
基于根据所述数字数据字段的所述数值范围过滤来自所述数据源的数据行，生成和显示数据可视化，所述数据可视化包括表示从所述数据源取得的数据的多个可视标记。
11.根据权利要求10所述的计算设备，其中计算所述数字数据字段的值的数值范围包括：
根据所述第一关键字的语义极性与所述数字数据字段的字段名称的语义极性正相关的确定，计算所述数字数据字段的值的Top N；和
根据所述第一关键字的语义极性与所述数字数据字段的字段名称的语义极性负相关的确定，计算所述数字数据字段的值的Bottom N。
12.根据权利要求10所述的计算设备，还包括：
显示交互式文本以展示所述第一关键字的解释的来源。
13.根据权利要求10所述的计算设备，还包括：
显示一个或多个用户界面小部件以展示、修复和/或细化数值范围。
14.根据权利要求10所述的计算设备，还包括：
使用一个或多个颜色编码显示所述第一关键字的情感极性和所述数字数据字段的字段名称。
15.根据权利要求10所述的计算设备，其中所述同现度量测量所述第一关键字的所有n元语法组合与来自所述数据源的多个数字数据字段的字段名称之间的同现。
16.根据权利要求10所述的计算设备，其中所述同现度量针对来自所述数据源的相应的数字数据字段的每个数据字段名称计算逐点互信息测量(PMI)分数，其测量所述相应的数据字段名称与所述第一关键字的耦合。
17.根据权利要求10所述的计算设备，其中生成所述数据可视化包括：
生成指定所述数据源、多个视觉变量和来自所述数据源的多个数据字段的视觉规范，其中：
所述视觉变量中的每个与所述多个数据字段中相应的一个或多个数据字段相关联，并且所述数据字段中的每个被标识为维度或量度；以及
所述第一关键字对应于所述多个数据字段中的一个或多个第一数据字段；和
根据所述视觉规范生成和显示所述数据可视化。
18.一种存储一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序配置用于由具有一个或多个处理器、存储器和显示器的计算设备执行，所述一个或多个程序包括用于以下的指令：
接收第一用户输入以指定指向数据源的自然语言命令，所述自然语言命令包括对关于所述数据源的信息的请求；
在所述自然语言命令中识别第一关键字，所述第一关键字是修改所述自然语言命令中的第二关键字的等级形容词；
基于使用同现度量对同现进行量化，从所述数据源识别数字数据字段，所述数字数据字段的字段名称与自然语言话语的预定义存储语料库中的自然语言话语中的第一关键字同现；
基于所述第一关键字的情感极性与所述数字数据字段的字段名称的相关性，计算所述数字数据字段的值的数值范围，包括计算(i)所述数字数据字段在范围[med+MAD，max]中的值的Top N或(ii)所述数字数据字段在范围[min，abs(med-MAD)]中的值的Bottom N，其中med、MAD、min和max分别是所述数字数据字段的中值、中值绝对偏差、最小值和最大值；和
基于根据所述数字数据字段的所述数值范围过滤来自所述数据源的数据行，生成和显示数据可视化，所述数据可视化包括表示从所述数据源取得的数据的多个可视标记。
19.根据权利要求18所述的计算机可读存储介质，其中计算所述数字数据字段的值的数值范围包括：
根据所述第一关键字的语义极性与所述数字数据字段的字段名称的语义极性正相关的确定，计算所述数字数据字段的值的Top N；和
根据所述第一关键字的语义极性与所述数字数据字段的字段名称的语义极性负相关的确定，计算所述数字数据字段的值的Bottom N。
20.根据权利要求18所述的计算机可读存储介质，其中生成所述数据可视化包括：
生成指定所述数据源、多个视觉变量和来自所述数据源的多个数据字段的视觉规范，其中：
所述视觉变量中的每个与所述多个数据字段中相应的一个或多个数据字段相关联，并且所述数据字段中的每个被标识为维度或量度；以及
所述第一关键字对应于所述多个数据字段中的一个或多个第一数据字段；和
根据所述视觉规范生成并显示所述数据可视化。
CN202180088516.4A 2020-12-30 2021-12-30 使用词同现和情感分析解释视觉分析中的含糊意图修饰语 Pending CN116724311A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/138,719 US11314786B1 (en) 2020-12-30 2020-12-30 Interpreting vague intent modifiers in visual analysis using word co-occurrence and sentiment analysis
US17/138,719 2020-12-30
PCT/US2021/065732 WO2022147286A1 (en) 2020-12-30 2021-12-30 Interpreting vague intent modifiers in visual analysis using word co-occurrence and sentiment analysis

Publications (1)

Publication Number Publication Date
CN116724311A true CN116724311A (zh) 2023-09-08

Family

ID=80123137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180088516.4A Pending CN116724311A (zh) 2020-12-30 2021-12-30 使用词同现和情感分析解释视觉分析中的含糊意图修饰语

Country Status (5)

Country Link
US (2) US11314786B1 (zh)
EP (1) EP4272107A1 (zh)
JP (1) JP2024502546A (zh)
CN (1) CN116724311A (zh)
WO (1) WO2022147286A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120158765A1 (en) * 2010-12-15 2012-06-21 Microsoft Corporation User Interface for Interactive Query Reformulation
US10318594B2 (en) * 2017-05-19 2019-06-11 Microsoft Technology Licensing, Llc System and method for enabling related searches for live events in data streams

Also Published As

Publication number Publication date
WO2022147286A1 (en) 2022-07-07
US11822584B2 (en) 2023-11-21
US11314786B1 (en) 2022-04-26
EP4272107A1 (en) 2023-11-08
JP2024502546A (ja) 2024-01-22
US20220253465A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
Narechania et al. NL4DV: A toolkit for generating analytic specifications for data visualization from natural language queries
US11694036B2 (en) Using natural language constructs for data visualizations
CN110121705B (zh) 将语用学原理应用于与可视分析交互的系统和方法
Da The computational case against computational literary studies
Gao et al. Datatone: Managing ambiguity in natural language interfaces for data visualization
US9081411B2 (en) Rapid development of virtual personal assistant applications
US20150286943A1 (en) Decision Making and Planning/Prediction System for Human Intention Resolution
US10896297B1 (en) Identifying intent in visual analytical conversations
CN105408890A (zh) 基于声音输入执行与列表数据有关的操作
US11790897B2 (en) Response generation for conversational computing interface
US11734358B2 (en) Inferring intent and utilizing context for natural language expressions in a data visualization user interface
JP2023526116A (ja) 高速スクリーニングのためのドメイン固有言語インタープリタ及び対話型視覚インターフェース
US12007988B2 (en) Interactive assistance for executing natural language queries to data sets
CN110413767A (zh) 基于自然语言生成呈递内容的系统及方法
CN115392217A (zh) 用于保持修辞流的技术
US20230376185A1 (en) Visual Autocompletion for Geospatial Queries
CN116724311A (zh) 使用词同现和情感分析解释视觉分析中的含糊意图修饰语
CN117795501A (zh) 地理空间查询的视觉自动完成
Small An approach for intention-driven, dialogue-based Web search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination