CN116091076A - 动态仪表板管理 - Google Patents

动态仪表板管理 Download PDF

Info

Publication number
CN116091076A
CN116091076A CN202211379550.XA CN202211379550A CN116091076A CN 116091076 A CN116091076 A CN 116091076A CN 202211379550 A CN202211379550 A CN 202211379550A CN 116091076 A CN116091076 A CN 116091076A
Authority
CN
China
Prior art keywords
dashboard
gesture
dynamic
elements
triples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211379550.XA
Other languages
English (en)
Inventor
S·科普兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Solutions Ltd
Original Assignee
Accenture Global Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/453,676 external-priority patent/US12026525B2/en
Application filed by Accenture Global Solutions Ltd filed Critical Accenture Global Solutions Ltd
Publication of CN116091076A publication Critical patent/CN116091076A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的一些实施例涉及动态仪表板管理。提供了用于动态仪表板管理的方法和系统。实施例包括：通过图形用户界面(“GUI”)显示仪表板；接收操纵动态仪表板的一个或多个元素的用户指令；捕获对一个或多个GUI元素的操纵；根据手势分类和手势本体，将所捕获的操纵解析为一个或多个手势三元组；将手势三元组存储在语义图数据库的企业知识图中；依赖于手势三元组标识仪表板见解；按照仪表板见解更新仪表板。

Description

动态仪表板管理
背景技术
客户关系管理(Customer Relationship Management，“CRM”)是一种管理公司与当前和潜在客户的互动的方法。CRM通常对客户与公司的历史进行数据分析以改善与客户的业务关系，特别是关注于客户保持和销售增长。CRM系统通常从一系列沟通渠道收集数据，包括电话、电子邮件、实时聊天、短信、营销材料、网站和社交媒体。通过CRM方法和用来促进CRM方法的系统，企业可以更多地了解他们的目标受众以及如何最好地满足他们的需求。
企业CRM系统可能非常庞大。这种系统可以包括数据仓库技术，用于聚集交易信息，将该信息与关于CRM产品和服务的信息合并，并且提供关键性能指标。CRM系统有助于管理不稳定的增长和需求，并实施整合销售历史和销售预测的预测模型。CRM系统通过多个网络跟踪和测量营销活动，通过客户点击和销售跟踪客户分析。
通常通过提供对CRM中信息的访问的仪表板来访问CRM系统。这样的仪表板可以包括用于窗口小部件(widget)、应用程序、联系人、文本框、电子邮件等的图形用户界面(Graphical User Interface，GUI)元素，使得用户可以与CRM系统交互。用于CRM系统的典型仪表板不是为个人用户配置或设计的。因此，使用这种仪表板会导致效率低下和效果不佳。
附图说明
图1给出了示出根据本发明实施例的用于动态仪表板管理的示例系统的网络图。
图2给出了根据本发明实施例的用于动态仪表板管理的示例系统的线条图。
图3给出了根据本发明实施例的用于动态仪表板管理的系统的系统图。
图4给出了图的线条图。
图5给出了根据本发明实施例的用于动态仪表板管理的示例装置的功能框图。
图6给出了自动化计算机器的框图，该自动化计算机器包括用作有用于根据本发明实施例的动态仪表板管理的语音使能(speech-enabled)设备的声音服务器的计算机的示例。
图7给出了根据本发明实施例的包括用作三元组(triple)服务器的计算机示例的自动化计算机器的框图。
图8给出了根据本发明实施例的用于动态仪表板管理的示例方法的流程图。
具体实施方式
从图1开始，参照附图描述了动态仪表板管理的示例方法、系统、装置和产品。图1给出了示出根据本发明实施例的用于动态仪表板管理的示例系统的网络图。图1所示的整个示例系统通常通过如下操作来进行动态仪表板管理：通过图形用户界面(“GUI”)显示仪表板；接收操纵动态仪表板的一个或多个元素的用户指令；捕获对一个或多个GUI元素的操纵；根据手势分类(taxonomy)和手势本体(ontology)，将所捕获的操纵解析为一个或多个手势三元组；将手势三元组存储在语义图(semantic graph)数据库的企业知识图(enterprise knowledge graph)中。图1的系统通常还通过依赖于手势三元组标识仪表板见解(insight)，并且按照仪表板见解更新仪表板来操作。以这种方式，图1的示例仪表板通过使用而演变和被定制。
图1的示例包括根据本发明实施例在语音使能设备(107)上运行的语音使能动态仪表板(110)。语音使能设备是被配置为接受和识别来自用户的语音并且向用户表达声音提示和语音响应的自动化计算机器。图1的示例中的语音使能设备包括桌面型计算机(107)、移动电话(110)和膝上型计算机(126)。在这个示例中，每个语音使能设备通过网络(100)耦合到三元组服务器(157)和声音服务器(151)进行数据通信。桌面型计算机(107)、移动电话(110)和膝上型计算机(126)分别通过无线连接(120、116、118)连接。图1的示例中的每个无线连接是为了解释而不是为了限制。图1的设备、应用和其他组件可以以本领域技术人员将想到的有线和有线的多种方式耦合用于数据通信。
在该示例中，数字化语音的单词是来自远程代理(tele-agent)(128)的用于识别的语音或远程代理(128)与客户之间的会话。用于识别的语音可以是整个会话，其中，例如，所有说话的人都在同一个房间中，并且整个会话被语音使能设备上的麦克风收录。通过向语音使能设备(如仅通过耳机上的麦克风)提供仅来及一个人或会话一方的人的会话，可以缩小用于识别的语音范围。通过仅提供响应于来自例如在语音使能设备上执行的VoiceXML对话的提示的语音用于识别，可以进一步减小用于识别的语音范围。随着用于识别的语音范围的减小，整个系统的数据处理负担总体上减小了，尽管至少在一些实施例中，识别整个会话以及跨会话中所有单词流过的会话流仍然是一种选择。
通过自然语言处理语音识别(Natural Language Processing SpeechRecognition，“NLP-SR”)引擎(153)的操作，来自远程代理或来自会话的语音被识别为数字化语音，此处所示的自然语言处理语音识别引擎(153)安置在声音服务器(151)上，但也可适合安装在语音使能设备上。NLP-SR引擎还对语音的单词执行解析，将其数字化为描述逻辑的三元组。
三元组是以逻辑形式表达的三部分语句。根据上下文，不同的术语被用来有效地指代逻辑中语句的相同的三个部分。在一阶逻辑中，这些部分被称为常量、一元谓语和二元谓语。在网页本体语言(Web Ontology Language，“OWL”)中，这些部分是个体、类和属性。在一些描述逻辑中，这些部分被称为个体、概念和角色。
在该示例描述中，三元组的元素被称为主语、谓语和宾语——并表达如下：<主语><谓语><宾语>。三元组有很多种表达式模式。三元组的元素可以表示为统一资源定位符(Uniform Resource Locater，“URL”)、统一资源标识符(Uniform Resource Identifier，“URI”)或国际资源标识符(International Resource Identifier，“IRI”)。三元组可以用N-Quads、Turtle句法、TriG、Javascript对象标记(Javascript Object Notation)或“JSON”来表达，这样的示例不胜枚举。本文使用的表达式——尖括号中的主语-谓语-宾语——是抽象句法的一种形式，虽然它的实质内容对于三元组的表达式是正确的，但它是为人类可读性而不是为机器处理而优化的。使用这种抽象句法，以下是三元组的示例：
<Bob><is a><person>
<Bob><is a friend of><Alice>
<Bob><is born on><the 4th of July 1990>
<Bob><is interested in><the Mona Lisa>
<the Mona Lisa><was created by><Leonardo da Vinci>
<the video‘La JocondeàWashington’><is about><the Mona Lisa>
相同的项可以在多个三元组中引用。在这个示例中，Bob是四个三元组的主语，而Mona Lisa是一个三元组的主语和两个三元组的宾语。这种使相同的项成为一个三元组的主语和另一个三元组的宾语的能力使得三元组之间的连接成为可能，并且连接的三元组形成图。
图1的动态仪表板(110)与企业服务器(820)耦合进行数据通信。在图1的示例企业服务器(820)上运行的是动态仪表板应用程序(800)、客户关系管理(“CRM”)系统(806)、智能助理(808)和语义图数据库(818)。
图1的示例包括语义图数据库(818)，其包括企业知识图(816)。语义图是使用图结构、节点和边来表示和存储数据的存储器的配置。这种配置的一个关键概念是图(或边或关系)，其直接将数据存储中的数据项联系起来。这种图数据库与更传统的储存装置(诸如逻辑表)形成对比，在更传统的储存装置中，数据之间的链接仅仅是间接的元数据，查询使用联接在存储中搜索数据以收集相关数据。从设计上来说，语义图在关系系统或逻辑表中很难建模的数据之间建立了明确的关系。
在图1的示例中，语义图数据库(816)包括语义三元组存储(814)。图1的语义三元组存储(804)包括供智能助理(300)、CRM(806)和动态仪表板应用程序(800)访问的三元组存储。图1的三元组存储(814)包含对任何特定知识领域都不特殊的单词的结构化定义，其中通用语言存储的每个结构化定义用描述逻辑的三元组来实现。三元组存储(814)还包括用于在诸如产品、行业行话、特定行业、地理区域等特定知识领域中识别的单词的结构化定义，其中产品三元组存储的每个结构化定义用描述逻辑的三元组来实现。三元组存储(814)还包括描述逻辑的结构化三元组，该描述逻辑的结构化三元组根据用于根据本发明的实施例的动态仪表板管理的动态仪表板中的图标的操纵来定义手势。
图1的示例中的语义三元组存储(814)包括定义在根据本发明的实施例的动态仪表板管理中有用的各种信息形式的三元组。智能助理可以查询这样的三元组，以依赖于存储的手势三元组来检索见解。这样的见解被用于更新动态仪表板。
如上所述，图1的示例包括CRM(806)。这种CRM是针对远程代理和企业的其他用户的使用而配置的CRM系统。通常，存储在CRM上以及由CRM访问的数据是企业自身所拥有的数据，并且如本领域的技术人员将会想到的，随着时间的推移而被收集以供组织的各种用户使用。在本发明的其他实施例中，CRM可以由呼叫中心的客户端所拥有，并且驻留在CRM中的数据由该客户端所拥有。
图1的示例还包括智能助理(300)。图1的智能助理是语音使能平台，如下面参考图3更详细讨论的，其能够生成见解并且管理语义图数据库。智能助理(300)、CRM(806)和动态仪表板应用程序(800)被连接用于与企业服务器(820)、三元组服务器(157)和声音服务器(151)的数据通信。
动态仪表板应用程序(800)是自动化计算机器的模块，其能够通过图形用户界面(“GUI”)显示仪表板(110)，并且接收(304)操纵动态仪表板(110)的一个或多个元素的用户指令。这种用户指令可以用用户输入设备来实现，诸如键盘和鼠标、触摸屏、手写笔或本领域技术人员会想到的其他用户输入设备。
如上所述，图1的动态仪表板是语音使能的。操纵动态仪表板的一个或多个元素的用户指令也可以是语音使能设备中接收的语音的形式。这种语音可以是为了修改仪表板的形式或功能或者为了使用仪表板的目的而操纵仪表板的一个或多个元素的直接指令。在后一种情况下，对语音进行解析，并且从用户对仪表板的使用中推断出对仪表板的修改。
图1的动态仪表板应用程序(800)还能够捕获对一个或多个GUI元素的操纵。可以通过捕获点击流、鼠标移动、触摸屏上的输入手势、数字化语音、以及如本领域技术人员将想到的用于操纵的其他指令来捕获对元素的操纵。可以解析这样的操纵，并且可以从用户对仪表板的使用中推断出对仪表板的修改。
图1的动态仪表板应用程序(800)还能够根据手势分类和手势本体将所捕获的操纵解析为一个或多个手势三元组，并且将手势三元组存储在语义图数据库(818)的企业知识图(816)中。如上所述，三元组是以逻辑形式表达的三部分语句。根据上下文，不同的术语被用来有效地指代逻辑中语句的相同的三个部分。手势三元组表示对动态仪表板的GUI元素的操纵。这种三元组用于标识见解，然后该见解被用于更新动态仪表板。
图1的动态仪表板应用程序(800)还能够依赖于手势三元组标识仪表板见解。依赖于手势三元组标识仪表板见解可以通过查询企业知识图并且从查询的结果中推断见解来进行。仪表板见解告知动态仪表板应用程序，使得该应用程序可以更新动态仪表板以为用户改进仪表板的形式和功能。
图1的动态仪表板应用程序(800)还能够按照仪表板见解更新(314)仪表板。按照仪表板见解更新(314)仪表板可以包括删除、移动或改变动态仪表板上的一个或多个元素。更新仪表板可能导致仪表板的形式和功能的演变。这样，通过使用，动态仪表板调整为对其用户来说更加高效和有效。
在图1的示例中，根据本发明的实施例的动态仪表板管理中有用的许多组件维护在计算机存储器(159)中。在图1的示例中，计算机存储器(159)包括高速缓存、随机存取存储器(Random Access Memory，“RAM”)、磁盘储存装置等等大多数形式的计算机存储器。如此配置的计算机存储器(159)通常驻留在语音使能设备上，或者如本文所示，驻留在一个或多个三元组服务器(157)、声音服务器或企业服务器(820)上。
为进一步说明，图2给出了根据本发明实施例的用于动态仪表板管理的示例系统的线条图。图2的示例包括语义图数据库(818)，其包括企业知识图(816)。语义图数据库(818)和企业知识图(816)维护专有(proprietary)和非专有信息的数据存储，该专有和非专有信息涉及客户信息、可以在远程代理(128)和客户之间讨论的产品、针对客户所推荐的产品、在呼叫期间针对用户的远程代理标注等等。
图2的企业知识图(816)包括从所捕获的对动态仪表板的一个或多个元素的操纵中解析的手势三元组的存储。这种捕获的操纵可以是用户输入操纵的数据流、用于操纵元素的数字化语音指令的文本、或本领域技术人员将想到的其他捕获的操纵的形式。存储在图2的企业知识图中的手势三元组在标识对更新动态仪表板有用的见解时是有用的。
图2的示例还包括CRM(806)，其具有专有和非专有信息的数据存储，该专有和非专有信息涉及客户信息、远程代理(128)和客户之间可能讨论的产品、针对客户所推荐的产品、在呼叫期间针对用户的远程代理标注，以及本领域技术人员将想到的其他信息。
图2的示例包括智能助理(300)，其是基于人工智能的技术的目标集合，包括将非结构化通信处理为结构化信息的自然和语义语言处理，该目标集合依赖于结构化信息生成用于更新动态仪表板的见解，最终推动远程代理的质量和效率的提高。智能助理(300)管理语义图数据库的企业知识图(816)，该语义图数据库以针对见解生成而优化的三元组的形式容纳结构化数据。
图2的示例包括动态仪表板应用程序(800)。图2的动态仪表板应用程序能够通过图形用户界面(“GUI”)显示仪表板(110)；接收操纵动态仪表板(110)的一个或多个元素的用户指令；捕获对一个或多个GUI元素的操纵；根据手势分类和手势本体，将所捕获的操纵解析为一个或多个手势三元组；将手势三元组存储在语义图数据库(818)的企业知识图(816)中；依赖于手势三元组标识仪表板见解；以及按照仪表板见解更新(314)仪表板。
图2的示例包括动态仪表板应用程序(800)，其包括手势引擎(802)和语音应用程序(804)。图2的手势引擎(802)是能够接收动态仪表板的用户操纵流的自动化计算机器的模块，用户操纵流包括对动态仪表板的图标的操纵、通过动态仪表板的窗口小部件的用户输入、通过用户输入设备和触摸屏的键击、以及本领域技术人员将想到的其他用户操纵。手势引擎记录这样的用户操纵，并且将所捕获的操纵提供给智能助理以解析为手势三元组用于见解生成。
图2的动态仪表板应用程序还包括语音引擎(804)。示例语音引擎包括NLP引擎和自动语音识别(Automated Speech Recognition，ASR)引擎，针对语音识别和文本到语音(Text-To-Speech，“TTS”)以用于生成语音，如下面更详细讨论的。
如上所述，图2的动态仪表板是动态的，因为其形式和功能通过作为用户与仪表板交互的结果产生的更新而演变。在图2的示例中，向远程代理提供通过动态仪表板(110)显示的实时客户和产品信息，以供在与客户会话期间使用。在图2的示例中，语音使能仪表板包括用于显示远程代理的呼叫准备标注(850)的窗口小部件。这种呼叫标注可以由远程代理在与客户会话之前、之中或之后准备或补充。
本发明中的窗口小部件实现为执行一项或多项特定任务的软件应用程序或组件。如图2所示，本公开中描述的每个窗口小部件都具有附随的GUI元素。示例窗口小部件及其相关联的GUI元素是用于解释而非限制。
在图2的示例中，动态仪表板(110)包括用于显示线索详情(lead detail)(852)的窗口小部件，线索详情(852)包括描述客户和客户业务的信息，通常包括客户的姓名和联系信息、由客户所支持的行业、客户开展业务的地点，以及可能包含在关于客户的事实(860)列表中的其他有用信息。图2的动态仪表板(110)还显示连接图像(862)，其向远程代理(128)提供在CRM(806)中跟踪的客户和其他客户或人或组织之间的任何已知连接。
在图2的示例中，动态仪表板(110)包括用于显示日历(882)的窗口小部件和用于CRM见解(864)的窗口小部件，其显示CRM(806)已知或导出的关于客户的见解。在图2的示例中，动态仪表板(110)包括用于显示当前安装在客户的站点和位置中的技术(858)的窗口小部件，这在与客户讨论与该已安装技术兼容的产品时很有用。
在图2的示例中，动态仪表板(110)包括用于显示用例(880)的窗口小部件，该用例描述了在与客户会话期间可能对远程代理有用的产品。通常这样的用例是由呼叫中心的客户端提供的，以更好地告知客户关于客户端销售的产品。类似地，这样的客户端可以提供在与客户的交流中有用的其他附属品(collateral)，并且这样的附属品可以以本领域技术人员将想到的许多形式出现。
在图2的示例中，动态仪表板(110)包括用于向客户显示产品推荐(852)和用于显示可能由远程代理的竞争对手出售的竞争产品(868)的窗口小部件，该竞争对手与客户已经在使用的当前安装的技术相兼容。这些产品推荐对于远程代理(128)在准备与客户会话或在与客户会话期间可能是有用的。这种产品推荐可以由语义图数据库(816)、CRM(806)、智能助理或本领域技术人员将想到的其他来源提供。
在图2的示例中，动态仪表板(110)包括用于显示行业见解的窗口小部件。行业见解可以包括客户的行业中的当前趋势、行业中新的可用的产品、关于行业的当前新闻，以及如本领域技术人员将想到的其他见解。这样的见解可以由语义图数据库(816)、CRM(806)存储和管理，或者从第三方提供，诸如第三方经营行业服务器、社交媒体服务器、引导服务器以及本领域技术人员将想到的许多其他服务器。在图2的示例中，动态仪表板(110)包括用于显示讲话轨迹(talk track)的窗口小部件。该讲话轨迹包括针对与客户的电话呼叫的活动特定介绍，以及可选地，包括针对远程代理的附加讲话要点。在某些情况下，远程代理可能想要定制讲话轨迹，以包括首选方言、风格和其他属性。在图2的示例中，讲话轨迹可由远程代理通过语音或使用键盘来编辑。
在图2的示例中，动态仪表板(110)包括用于显示主题专家建议(874)的窗口小部件。主题专家建议(874)可以被实时提供或由语义图数据库(816)、CRM(806)或本领域技术人员会想到的其他来源维护。主题专家建议可以由内部主题专家或第三方主题专家或以本领域技术人员会想到的其他方式来提供。
在图2的示例中，动态仪表板(110)包括用于代理评分(876)的窗口小部件。代理分数可以表示沿着活动的定义的销售周期的远程代理位置，在呼叫中心或企业中的其他代理中的远程代理排名，以及本领域技术人员将想到的对远程代理评分的其他方式。这样的代理分数可以由语义图数据库(816)、CRM(806)或本领域技术人员将想到的其他组件来开发和维护。
在图2的示例中，动态仪表板(110)包括用于显示远程代理的呼叫目标(878)的窗口小部件。这种呼叫目标通常由CRM(806)或智能助理提供，并且通常与为特定活动定义的销售周期中的远程代理位置相关。
在图2的示例中，动态仪表板(110)包括用于显示动态脚本(854)的窗口小部件，动态脚本(854)通常实时创建，作为远程代理在与客户会话中的指导和帮助。这种脚本可以由CRM(806)、智能助理或其他组件基于当前销售活动、与客户相关的信息、历史销售趋势、远程代理的成功故事以及本领域技术人员将想到的其他因素来创建。
在图2的示例中，动态仪表板(110)包括用于显示晴雨表(barometer)(860)的窗口小部件。晴雨表为图的表示或文本显示，向远程代理提供服务于特定销售活动的远程代理的当前表现的指示。这种晴雨表可以由语义图数据库(816)、CRM(806)或其他组件基于许多因素来创建，这些因素诸如销售活动的目标、服务于销售活动的远程代理或其他远程代理的表现以及本领域技术人员将想到的许多其他因素。
图2的示例中呈现的组件和窗口小部件用于解释，而非限制。如本领域技术人员将想到的，组件和窗口小部件以及它们执行的功能和它们提供的信息可以在本发明的各种实施例中显著变化。根据本发明的各种实施例，所有这样的组件和窗口小部件无论其形式如何都可以用于动态仪表板管理。
图2的动态仪表板的每个组件和窗口小部件都可以被操纵、被使用或与其交互。这种操纵、使用或交互被捕获并解析为手势三元组，并且用于更新仪表板。这样，图2的动态仪表板在形式和功能上演变成为用于用户的更高效和有效的工具。
为进一步说明，图3给出了示出根据本发明实施例的用于动态仪表板管理的系统的系统图。图3的系统包括为数据通信而联网的动态仪表板应用程序(800)、计算机(102)、CRM(806)、语音引擎(153)、智能助理(300)和语义图数据库(818)。
动态仪表板应用程序(800)是自动化计算机器的模块，其被配置为：通过图形用户界面(“GUI”)显示仪表板；接收操纵动态仪表板的一个或多个元素的用户指令；捕获对一个或多个GUI元素的操纵；根据手势分类和手势本体，将所捕获的操纵解析为一个或多个手势三元组；将手势三元组存储在语义图数据库的企业知识图中；依赖于手势三元组标识仪表板见解；以及按照仪表板见解更新仪表板。
图3的智能助理(300)是包括自然和语义语言处理的基于人工智能的技术的目标集合，该目标集合将非结构化通信处理为结构化信息，并依赖于结构化信息和CRM数据生成动态仪表板应用程序可用的见解。
图3的CRM(806)是自动化计算机器，其提供联系管理、销售管理、代理生产力管理和其他旨在改善客户关系并最终提高客户满意度和企业盈利能力的服务。图3的示例CRM管理整个客户生命周期、单个销售周期、活动、推动营销、销售和客户服务等方面的客户关系。
图3的语义图数据库(818)是其能够整合来自许多来源的异构数据，并且在数据集之间建立链接的一种类型的图数据库。该图数据库关注实体之间的关系，并能够从现有信息中推断出新的知识。图3的语义图数据库用于推断或理解信息的含义。图3的语义技术可以自动链接新信息，而无需人工用户干预或数据库被明确地预先构造。
图3的语义图数据库(818)包括数据库管理系统“DBMS”(316)和数据储存装置(320)。图3的DBMS包括企业知识图(816)和查询引擎(314)。图3的企业知识图是存储在数据储存装置(320)中的数据的结构化表示。图3的查询引擎接收结构化查询，并且检索存储的信息作为响应。
回到动态仪表板应用程序(800)，图3的动态仪表板应用程序包括手势引擎(802)和语音引擎(804)。图3的手势引擎被实现为被配置为捕获对动态仪表板的一个或多个GUI元素的操纵的自动化计算机器。这种操纵可以通过使用用户输入设备、触摸屏上的手势、语音或本领域技术人员将想到的其他方式来实现。
图3的系统包括语音引擎(804)。示例语音引擎包括NLP引擎和ASR引擎，用于语音识别和文本到语音(“TTS”)以生成语音。示例语音引擎(153)包括语法(grammar)(104)、词典(106)和特定语言的声学模型(108)，如下面更详细讨论的。
图3的智能助理(300)包括三元组解析器和串行化器(serializer)(306)。图3的三元组解析器将某种格式的文件作为输入，格式诸如为标准RDF/XML格式，其与更广泛的XML标准兼容。三元组解析器将这样的文件作为输入，并且将其转换为该文件中表达的三元组的内部表示。此时，存储在三元组存储中的三元组可用于该存储的所有操作。可以使用三元组串行化器(306)将解析并存储在三元组存储中的三元组串行化出来。
图3的三元组解析器依赖于分类和本体创建三元组。在手势三元组的情况下，图3的三元组解析器依赖于手势分类(304)和手势本体(308)创建三元组。手势分类(304)包括将被存储为三元组的具有定义的语义的单词或单词集。这样的单词可以描述所捕获的用户对动态仪表板的GUI元素的操纵、窗口小部件的使用或对动态仪表板的语音指令。为了将语音解析为语义三元组，三元组解析器可以接收由语音引擎从语音转换的文本，并且标识该文本中与分类相对应的部分，并且使用分类的定义元素来形成三元组。为了将其他手势解析为语义三元组，三元组解析器可以接收描述通过触摸屏、用户输入设备和其他设备进行的用户操纵的文本，并使用分类的定义元素形成三元组。
图3的三元组解析器还依赖于本体来创建三元组，以及在手势三元组的情况下，依赖于手势本体(308)创建三元组。本体是提供可共享和可重用知识表示的形式规范。本体规范包括领域中的概念和属性的描述、概念之间的关系、如何使用关系的约束以及其他概念和属性。
图3的智能助理(300)包括见解生成器(310)。图3的见解生成器(310)查询语义图数据库(818)的查询引擎(314)，并且依赖于查询的结果标识见解。这种见解可以从满足搜索结果的特定标准的预定义见解中选择，或者可以从查询结果本身形成。这种见解可以是仪表板见解，其有用于更新动态仪表板，以使其对于远程代理在准备与客户的会话时或在与客户的会话期间更加高效和有效。仪表板见解的示例可以包括经常使用的窗口小部件、不使用的窗口小部件、图标和GUI元素的位置、使图标和元素变大或变小、用户输入和语音的组合的使用以及本领域技术人员将想到的许多其他见解。根据本发明实施例的见解生成器使用查询语言生成查询。查询语言可以实现为RDF查询语言，诸如SPARQL。
为了进一步解释三元组和图之间的关系，图4给出了图(600)的线条图。图4的示例图以图的形式实现了上述关于Bob和Mona Lisa的示例三元组。在图4的示例中，图边(604、608、612、616、620、624)分别表示节点之间的关系，即表示谓语<is a>、<is a friend of>、<is born on>、<is interested in>、<was created by>、以及<is about>。节点本身表示三元组的主语和宾语，<Bob>、<person>、<Alice>、<the 4th of July 1990>、<the MonaLisa>、<Leonardo da Vinci>、以及<the video‘La JocondeàWashington’>。
在知识表示的系统中，以三元组图表示的知识，包括例如，在Prolog数据库、Lisp数据结构中实现的知识表示，或RDFS、OWL和其他本体语言的面向RDF的本体中实现的知识表示。通过被配置为执行例如Prolog或SPARQL中的语义查询的搜索引擎，针对这样的图实现搜索和推断。Prolog是一种通用逻辑编程语言。SPARQL是对于“SPARQL协议和RDF查询语言”的递归首字母缩写。Prolog支持针对连接三元组的查询，这些三元组在Prolog数据库中表达为语句(statement)和规则。SPARQL支持针对以RDFS、OWL或其他面向RDF的本体表达的本体的查询。关于Prolog、SPARQL、RDF等，这些是解释本发明的示例实施例的技术的示例。因此，这不是本发明的限制。根据本发明的实施例的有用的知识表示可以采取本领域技术人员现在或将来可能想到的许多形式，并且所有这些现在和将来都在本发明的范围内。
描述逻辑是形式知识表示语言家族的成员。一些描述逻辑比命题逻辑表达能力强，但比一阶逻辑表达能力差。与一阶逻辑相比，描述逻辑的推理问题通常是可判定的。因此，对于描述逻辑中的搜索和推断的问题，可以实现有效的决策过程。存在一般的、空间的、时间的、时空的和模糊的描述逻辑，并且每种描述逻辑通过支持不同的数学构造器集而在表达性和推理复杂性之间具有不同的平衡。
搜索查询是沿着语义的规模被安置的。例如，传统的网页搜索被安置在这个规模的零点上，没有语义，没有结构。针对关键词“derivative”的传统网页搜索返回讨论衍生作品的文学概念以及微积分过程的HTML文档。针对关键词“differential”的传统网页搜索返回描述汽车零件和微积分函数的HTML页面。
其他查询沿着规模的中点被安置，具有一些语义，一些结构，不完全完整。这实际上是网页搜索的当前趋势。这样的系统可以称为可执行的，而不是可判定的。从某些角度来看，可判定性不是首要考虑的问题。例如，在许多网页应用程序中，数据集是巨大的，并且它们根本不需要100％正确的模型来分析可能已经被一些本身不完美的启发式程序爬行、抓取并转换成结构的数据。人们使用谷歌是因为它可以在很多时候找到好的答案，即使它不能总是找到完美的答案。在这种杂乱无章的搜索环境中，可证明的正确性不是关键目标。
其他类别的查询被安置于其中结果的正确性是关键，并且可判定性进入的地方。作为数据中心的远程代理的用户通过电话与汽车客户讨论“front differential”，他关心的是不要被要求对微积分结果进行整理来寻找正确的术语。这样的用户需要汽车术语的正确定义，并且用户需要实时(例如，在几秒钟内的)会话的查询结果。
在形式逻辑中，如果存在这样一种方法，即对于可以用系统表达的每个断言，该方法能够判定断言在系统中是否有效，则该系统是可判定的。实际上，针对可判定描述逻辑的查询不会无限循环、崩溃、无法返回答案或返回错误答案。可判定描述逻辑支持清晰、明确和机器可处理的数据模型或本体。不可判定系统不会。可判定描述逻辑支持算法，通过该算法，计算机系统可以确定逻辑中定义的类的等价性。不可判定系统不会。可判定描述逻辑可以用C、C++、SQL、Lisp、RDF/RDFS/OWL等语言实现。在RDF空间中，OWL的细分在可判定性上有所不同。完整的OWL不支持可判定性。OWL DL支持。
为了进一步解释，图5给出了根据本发明实施例的瘦客户端体系结构中的动态仪表板管理的示例装置的功能框图。瘦客户端体系结构是一种客户端-服务器体系结构，其中语音处理和三元组处理的至少一些、也许大部分、也许全部是从客户端转载(off-load)到服务器。瘦客户端的瘦程度各不相同。图5的示例中的语音使能设备是瘦客户端，其中大部分语音处理被转载到声音服务器(151)。语音使能设备(152)接受声音输入(315，176)，但是然后通过基于互联网协议的声音(Voice over Internet Protocol，VOIP)连接(216)将声音输入转移到声音服务器(151)，在声音服务器(151)中执行所有的语音处理。本示例中的语音使能设备确实实现了一些用于三元组处理(323，325)和查询执行(298)的能力，但是这些在瘦客户端中都不是绝对必要的。具有减少的储存容量的设备，例如智能手表或移动电话，可以在没有语义查询引擎(298)和没有三元组存储(323，325)的情况下实现，仅仅将查询传递给三元组服务器(157)，而三元组服务器(157)本身执行所有的三元组储存和所有的查询处理。
在图5的特定示例中，语音使能设备占据瘦客户端体系结构的中间位置。它支持很少的语音处理，但它支持一些三元组处理。该示例中的语音使能设备仅针对RAM(168)中的三元组存储执行三元组处理和查询执行，将大规模储存留给三元组服务器(157)。语义查询引擎根据需要加载三元组存储以响应查询。因此，存在查询失误。当语义查询引擎无法用RAM中的三元组存储满足查询时，它不会得出失败的结论。相反，语义查询引擎将查询传递给三元组服务器，并且如果三元组服务器可以通过使用服务器上的三元组来满足查询，则语义查询引擎将查询结果和满足查询的三元组两者传递回语音使能设备，然后三元组将被存储在语音使能设备上的RAM中，以供将来针对类似查询使用。随着时间的推移，这种体系结构建立在语音使能设备查询存储上，其中包含经常有用的三元组，并减少了通过网络到三元组服务器的昂贵查询行程的需求——同时在客户端侧使用相对较薄的计算资源层。这是完全没有三元组储存的极瘦客户端和下面参考图8描述的胖客户端之间的折衷。
图5的示例装置包括语音使能设备(152)和声音服务器(151)，他们通过数据通信网络(100)由VOIP连接(216)连接用于数据通信。语音使能动态仪表板应用程序(800)在语音使能设备(152)上运行。语音使能应用程序可以被实现为在语音使能浏览器上执行的X+V或SALT文档的集合或序列、在Java虚拟机上执行的Java声音应用程序、或者以本领域技术人员可能想到的其他技术实现的语音使能应用程序。图5的示例语音使能设备还包括声卡(174)，其是I/O适配器的示例，专门设计用于从麦克风(176)接受模拟音频信号并且将音频模拟信号转换成数字形式以供编解码器(183)进一步处理。
VOIP代表“基于互联网协议的声音”，是通过基于IP的数据通信网络路由语音的通用术语。语音数据流通过通用分组交换数据通信网络，而不是传统的专用电路交换声音传输线路。用于通过IP数据通信网络传送声音信号的协议通常被称为“基于IP的声音”或者“VOIP”协议。VOIP业务可以部署在任何IP数据通信网络上，包括缺少与互联网其余部分的连接的数据通信网络，例如在私人建筑物范围的局域通信网或“LAN”上。
许多协议可用于实现VOIP，包括，例如，通过IETF的会话启动协议(SessionInitiation Protocol，“SIP”)和ITU的称为“H.323”的协议实现的VOIP类型。SIP客户端使用TCP和UDP端口5060连接到SIP服务器。SIP本身用于建立和中止对语音传输的呼叫。然后，利用SIP的VOIP使用RTP来传输实际的编码语音。类似地，H.323是来自国际电信联盟标准部门的保护性建议，其定义了在任何分组数据通信网络上提供视听通信会话的协议。
语音使能应用程序通常为用户级、语音使能、客户端侧的计算机程序，其向用户(128)呈现声音界面，提供音频提示和响应(314)，以及接受输入语音进行识别(315)。声音服务器(151)通过接受对话指令、VoiceXML片段等，以及返回语音识别结果，包括表示所识别的语音的文本、用作对话中的变量值的文本、来自语义解释脚本的执行的输出以及声音提示，为语音使能设备提供声音识别服务。声音服务器(151)包括计算机程序，该计算机程序用于为语音使能应用程序中的声音提示和针对用户输入的声音响应提供文本到语音(“TTS”)转换，其中该语音使能应用程序例如是X+V应用程序、SALT应用程序或Java语音应用程序。
图5的示例中的语音使能设备(152)包括语义查询引擎(298)，其是自动化计算机器的模块，从语音使能应用程序(195)接受语义查询(340)，并针对三元组存储(323，325)执行语义查询(340)。语音使能应用程序(195)用来自语音(315)、GUI、键盘、鼠标(180、181)等的用户输入来制定语义查询。语义查询是针对结构化数据设计和实现的查询。语义查询利用逻辑运算符、名称空间、模式匹配、子类化、传递关系、语义规则和上下文全文搜索。语义查询作用于命名图、链接数据或三元组。在本发明的实施例中，三元组通常被链接以形成图。这使得语义查询能够处理信息项之间的实际关系，并且从数据网络中推断答案。
语义查询的示例表达方法是以C、C++、Java、Prolog、Lisp等语言。例如，W3C的语义网页技术栈提供了SPARQL，以类似于SQL的句法来表达语义查询。语义查询用于针对三元组存储、图数据库、语义维基、自然语言和人工智能系统中的结构化数据。如上所述，语义查询作用于结构化数据，并且在当前情况的特定示例中，结构化数据是以符合描述逻辑的方式连接的语义三元组中描述和定义的单词。在本发明的许多实施例中，语义查询是针对根据实现可判定性的描述逻辑构造的数据进行断言的。
在图5的示例装置中，语音使能设备通过通信适配器(167)、无线连接(118)、数据通信网络(100)和有线连接(121)与三元组服务器(157)耦合进行数据通信。三元组服务器(157)为三元组存储(323，325)提供大容量备份。三元组服务器是自动化计算机器的配置，其串行化三元组并且将串行化的三元组存储在关系数据库、表格、文件等中。三元组服务器根据请求从非易失性储存装置中检索这种串行化的三元组，将串行化的三元组解析为三元组存储，并根据请求将这种三元组存储提供给语音使能设备，以在根据本发明的实施例的在配置计算机存储器时利用三元组的系统中使用。
根据本发明实施例的、特别是在瘦客户端体系结构中的动态仪表板管理可通过一个或多个声音服务器实现。声音服务器是提供语音识别和语音合成的计算机，即自动化计算机器。因此，为了进一步解释，图6给出了自动化计算机器的框图，该自动化计算机器包括用作有用于根据本发明实施例的动态仪表板管理的语音使能设备的声音服务器(151)的计算机的示例。图6的声音服务器(151)包括至少一个计算机处理器(156)或“CPU”以及随机存取存储器(168)(“RAM”)，其通过高速存储器总线(166)和总线适配器(158)连接到处理器(156)和声音服务器的其他组件。
存储在RAM(168)中的是声音服务器应用程序(188)，其为能够操作系统中的声音服务器的计算机程序指令模块，根据本发明的一些实施例，该系统被配置用于配置存储器。声音服务器应用程序(188)通过接受针对语音识别的请求并且返回语音识别结果，为多模态设备提供声音识别服务，其中语音识别结果包括表示所识别的语音的文本、用作对话中的变量值的文本、以及作为用于语义解释的脚本的字符串表示的文本。声音服务器应用程序(188)还包括计算机程序指令，该计算机程序用于为语音使能应用程序中的声音提示和针对用户输入的声音响应提供文本到语音(“TTS”)转换，该语音使能应用程序例如是语音使能浏览器、X+V应用程序、SALT应用程序或Java语音应用程序等。
声音服务器应用程序(188)可以实现为网页服务器，以Java、C++、Python、Perl、或任何通过对来自X+V客户端、SALT客户端、Java语音客户端或其他语音使能客户端设备的HTTP请求提供响应来支持X+V、SALT、VoiceXML或其他语音使能语言的其他语言实现。作为另一个示例，声音服务器应用程序(188)可以被实现为运行在Java虚拟机(102)上的Java服务器，并且通过提供对来自运行在语音使能设备上的Java客户端应用程序的HTTP请求的响应来支持Java声音框架。并且，支持本发明实施例的声音服务器应用程序可以以本领域技术人员可能想到的其他方式来实现，并且所有这些方式都在本发明的范围内。
本示例中的声音服务器(151)包括自然语言处理语音识别(“NLP-SR”)引擎(153)。NLP-SR引擎在本文中有时简称为“语音引擎”。语音引擎是完成识别和生成人类语音的工作的功能模块，通常是软件模块，虽然它也可能包括专门的硬件。在这个示例中，语音引擎(153)是包括自然语言处理(“NLP”)引擎(155)的自然语言处理语音引擎。NLP引擎从自动语音识别(“ASR”)引擎接受所识别的语音，将所识别的语音处理成语音部分(主语、谓语、宾语等等)，然后将所识别的、所处理的语音部分转换成语义三元组以包含在三元组存储中。
语音引擎(153)包括用于语音识别的自动语音识别(“ASR”)引擎和用于生成语音的文本到语音转换(“TTS”)引擎。语音引擎还包括语法(104)、词典(106)和特定语言的声学模型(108)。特定语言的声学模型(108)是例如将语音特征向量(Speech Feature Vector，“SFV”)与音素(phoneme)相关联的数据结构、表格或数据库，该音素代表通常存储在词汇表文件中的人类语言中的单词的发音。词典(106)是文本形式的单词与代表每个单词发音的音素的关联；该词典有效地标识了能够被ASR引擎识别的单词。同样存储在RAM(168)中的是文本到语音(“TTS”)引擎(194)，其是计算机程序指令模块，接受文本作为输入并以数字编码语音的形式返回相同的文本，用于提供语音作为对语音使能系统的用户的提示和响应。
语法(104)向ASR引擎(150)传达当前可以被识别的单词和单词序列。为了进一步解释，区分语法的目的和词典的目的。词典将ASR引擎可以识别的所有单词与音素相关联。该语法传达当前适合识别的单词。这两个集合在任何特定时间都可能不相同。
语法可以以ASR引擎支持的多种格式表达，包括，例如，Java语音语法格式(JavaSpeech Grammar Format，“JSGF”)、W3C语音识别语法规范(Speech Recognition GrammarSpecification，“SRGS”)的格式、来自IETF的RFC2234的增强型Backus-Naur格式(Augmented Backus-Naur Format，“ABNF”)，以W3C的随机语言模型(N-Gram)规范中描述的随机语法的形式，以及本领域技术人员可能想到的其他语法格式。语法通常作为对话的元素来操作，例如VoiceXML<menu>或X+V<form>。语法的定义可以在对话中内嵌表达。或者该语法可以在单独的语法文档中外部实现，并通过具有URI的对话来引用。这里是用JSFG表达的语法的示例：
<grammar scope＝“dialog”><！[CDATA[
#JSGF V1.0；
grammar command；
<command>＝[remind me to]call|phone|telephone<name><when>；
<name>＝bob|martha|joe|pete|chris|john|harold；
<when>＝today|this afternoon|tomorrow|next week；
]]>
</grammar>
在该示例中，名为<command>、<name>和<when>的元素是语法的规则。规则是规则名称和通知ASR引擎或声音解释器当前可以识别哪些单词的规则扩展的组合。在这个示例中，扩展包括合取(conjunction)和析取(disjunction)，竖线“|”表示“或”。ASR引擎或声音解释器按顺序处理规则，首先是<command>，然后是<name>，然后是<when>。<command>规则接受识别“call”、“phone”或“telephone”，加上从<name>规则和<when>规则返回的任何内容用于识别，也就是说，与从<name>规则和<when>规则返回的任何内容相结合用于识别。<name>规则接受‘bob’或者‘martha’或者‘joe’或者‘pete’或者‘chris’或者‘john’或者‘harold’，并且<when>规则接受‘today’或‘this afternoon’或‘tomorrow’或‘nextweek’。command语法作为一个整体匹配如下话语，例如：
·“phone bob next week,”
·“telephone martha this afternoon,”
·“remind me to call chris tomorrow,”以及
·“remind me to phone pete today.”
本示例中的声音服务器应用程序(188)被配置为从位于与声音服务器隔着一个网络的远程的语音使能客户端设备接收数字化语音以供用户识别，并且将语音传递至ASR引擎(150)以供识别。ASR引擎(150)是计算机程序指令的模块，在这个示例中也存储在RAM中。在执行自动语音识别时，ASR引擎接收至少一个数字化单词形式的用于识别的语音，并使用数字化单词的频率分量来导出语音特征向量或SFV。例如，SFV可以由数字化语音样本的前十二或十三个傅立叶或频域分量来定义。ASR引擎可以使用SFV从特定语言的声学模型(108)中推断单词的音素。ASR引擎然后使用这些音素在词典(106)中找到该单词。
还存储在RAM中的是VoiceXML解释器(192)，其为处理VoiceXML语法的计算机程序指令模块。到VoiceXML解释器(192)的VoiceXML输入可以源自例如在语音使能设备上远程运行的VoiceXML客户端、源自在语音使能设备上远程运行的X+V客户端、源自在语音使能设备上运行的SALT客户端、源自在多媒体设备上远程运行的Java客户端应用程序等等。在该示例中，VoiceXML解释器(192)解释并且执行代表从远程语音使能设备接收、并且通过声音服务器应用程序(188)提供给VoiceXML解释器(192)的声音对话指令的VoiceXML片段。
瘦客户端体系结构中的语音使能应用程序可以通过与这种语音使能应用程序的跨网络进行的数据通信，向VoiceXML解释器(149)提供声音对话指令、VoiceXML片段、VoiceXML<form>元素等等。声音对话指令包括一个或多个语法、数据输入元素、事件处理器等等，它们建议VoiceXML解释器如何管理来自用户的声音输入以及要呈现给用户的声音提示和响应。VoiceXML解释器通过按照VoiceXML表单解释算法(Form InterpretationAlgorithm，“FIA”)(193)顺序处理对话指令来管理这样的对话。VoiceXML解释器解释由语音使能应用程序提供给VoiceXML解释器的VoiceXML对话。
如上所述，表单解释算法(“FIA”)驱动用户和语音使能应用程序之间的交互。FIA通常负责选择和播放一个或多个语音提示，收集用户输入、或者是填写一个或多个输入项的响应，或者是抛出某个事件，以及解释与新填写的输入项相关的动作。FIA还处理语音使能应用程序初始化、语法激活和去激活、具有匹配话语的进入和离开表单(entering andleaving forms)以及许多其他任务。FIA还维护内部提示计数器，该计数器随着每次试图引起来自用户的响应而增加。也就是说，随着每次提示来自用户的匹配语音响应的尝试失败，内部提示计数器递增。
存储在RAM(168)中的还有操作系统(154)。根据本发明的实施例，在声音服务器中有用的操作系统包括UNIXTM、LinuxTM、Microsoft NTTM、AIXTM、IBM的i5/OSTM以及本领域技术人员将想到的其他操作系统。图5的示例中的操作系统(154)、声音服务器应用程序(188)、VoiceXML解释器(192)、ASR引擎(150)、JVM(102)和TTS引擎(194)被示出为在RAM(168)中，但是这种软件的许多组件通常也存储在非易失性存储器中，例如，在磁盘驱动(170)上。
图6的声音服务器(151)包括总线适配器(158)，其是一种计算机硬件组件，包含用于高速总线、前端总线(162)、视频总线(164)和存储器总线(166)的驱动电子设备，以及用于较慢扩展总线(160)的驱动电子设备。根据本发明的实施例，在声音服务器中有用的总线适配器的示例包括英特尔北桥、英特尔存储控制器集线器、英特尔南桥和英特尔I/O控制器集线器。根据本发明的实施例，在声音服务器中有用的扩展总线的示例包括工业标准体系结构(Industry Standard Architecture，“ISA”)总线和外围组件互连(PeripheralComponent Interconnect，“PCI”)总线。
图6的声音服务器(151)包括通过扩展总线(160)和总线适配器(158)耦合到声音服务器(151)的处理器(156)和其他组件的磁盘驱动适配器(172)。磁盘驱动适配器(172)以磁盘驱动(170)的形式将非易失性数据储存装置连接到声音服务器(151)。在声音服务器中有用的磁盘驱动适配器包括集成驱动电子设备(Integrated Drive Electronics，“IDE”)适配器、小型计算机系统接口(Small Computer System Interface，“SCSI”)适配器以及本领域技术人员将想到的其它适配器。此外，对于声音服务器，非易失性计算机存储器可以实现为光盘驱动、电可擦除可编程只读存储器(所谓的“EEPROM”或“闪存”)、RAM驱动、以及如本领域技术人员将想到的其他驱动。
图6的示例声音服务器包括一个或多个输入/输出(“I/O”)适配器(178)。声音服务器中的I/O适配器通过例如软件驱动程序和计算机硬件实现面向用户的输入/输出，用于控制到诸如计算机显示屏的显示设备的输出，以及来自诸如键盘和鼠标的用户输入设备(181)的用户输入。图5的示例声音服务器包括视频适配器(209)，其是专门设计用于向诸如显示屏或计算机监视器的显示设备(180)进行图的输出的I/O适配器的示例。视频适配器(209)通过高速视频总线(164)、总线适配器(158)和也是高速总线的前端总线(162)连接到处理器(156)。
图6的示例声音服务器(151)包括通信适配器(167)，用于与其他计算机(182)进行数据通信，以及与数据通信网络(100)进行数据通信。这种数据通信可以通过RS-232连接、通过诸如通用串行总线(“USB”)之类的外部总线、通过诸如IP数据通信网络之类的数据通信网络、以及以本领域技术人员将想到的其他方式来串行执行。通信适配器实现硬件级的数据通信，通过该硬件级的数据通信，一个计算机直接或通过数据通信网络向另一计算机发送数据通信。对本发明的实施例有用的通信适配器的示例包括用于有线拨号通信的调制解调器、用于有线数据通信网络通信的以太网(IEEE 802.3)适配器和用于无线数据通信网络通信的802.11适配器。
为进一步说明，图7给出了根据本发明实施例的包括用作用于动态仪表板管理的三元组服务器(157)的计算机示例的自动化计算机器的框图。图7的三元组服务器(157)包括至少一个计算机处理器(156)或“CPU”以及随机存取存储器(168)(“RAM”)，其通过高速存储器总线(166)和总线适配器(158)连接到处理器(156)和三元组服务器的其他组件。处理器通过视频总线(164)连接到视频适配器(209)和计算机显示器(180)。处理器通过扩展总线(160)连接到通信适配器(167)、I/O适配器(178)和磁盘驱动适配器(172)。处理器通过数据通信网络(100)和无线连接(118)连接到语音使能的膝上型计算机(126)。安置在RAM中的是操作系统(154)。
RAM中还安置有三元组服务器应用程序(297)、语义查询引擎(298)、语义三元组存储(814)、三元组解析器/串行化器(294)、三元组转换器(292)和一个或多个三元组文件(290)。三元组服务器应用程序(297)通过网络(100)从诸如膝上型计算机(126)之类的语音使能设备接受语义查询，并且将其传递给语义查询引擎(298)以针对三元组存储(323，325)进行执行。
三元组解析器/串行化器(294)管理三元组存储和各种形式的磁盘储存装置之间的三元组转移。三元组解析器/串行化器(294)接受三元组存储的内容作为输入，并且将其串行化以作为三元组文件(290)、表格、关系数据库记录、电子表格等的输出，以便长期储存在非易失性存储器中，诸如硬盘(170)。三元组解析器/串行化器(294)接受三元组文件(290)作为输入，并且将解析的三元组输出到三元组存储中。在许多实施例中，当三元组解析器/串行化器(294)接受三元组文件(290)作为输入并且将解析的三元组输出到三元组存储时，三元组解析器/串行化器存储输出的三元组存储。
为进一步说明，图8给出了根据本发明实施例的动态仪表板管理的方法的流程图。图8的方法包括通过图形用户界面(“GUI”)显示(702)仪表板(110)。如此显示的仪表板包括窗口小部件、图标、文本和电子邮件客户端、网页访问或其他有用的工具和信息，以帮助远程代理与客户会话。这样的仪表板是可配置的，使得用户与仪表板的交互提供为用户定制仪表板所需的信息，而无需正在进行的用户交互。
图8的方法包括接收(704)操纵动态仪表板(110)的一个或多个元素的用户指令。操纵动态仪表板的一个或多个元素的这种指令可能不是从目的是修改仪表板的用户或远程代理接收的，而是简单地是远程代理使用图8的动态仪表板的结果。备选地，操纵一个或多个元素的指令可以是为了修改仪表板而做出的明确指令。
操纵动态仪表板的一个或多个元素的指令可以包括来自用户的语音指令。这种语音指令可以是移动图标、删除图标、最小化图标、起草文本消息、发送电子邮件、查找联系人的指令，以及如本领域技术人员将想到的其他方式。
操纵动态仪表板的一个或多个元素的指令还可以包括动态仪表板的触摸使能的用户界面上的手势。这样的手势可以包括调用图标和窗口小部件、最小化、移动或删除GUI元素、使用文本和电子邮件、以及如本领域技术人员将想到的其他方式。
操纵动态仪表板的一个或多个元素的指令可以包括通过一个或多个用户输入设备操纵一个或多个元素的指令。这种指令可以包括使用键盘和鼠标来通过移动元素、删除元素、与元素交互来操纵元素、以及本领域技术人员将想到的其他方式来操纵元素。
图8的方法包括捕获(706)对一个或多个GUI元素的操纵。捕获(706)对一个或多个GUI元素的操纵可以通过捕获数字化语音、捕获点击流或用户输入设备流(例如键盘键击、鼠标操纵)、捕获用户手势和本领域技术人员将想到的对GUI元素的其它操纵来实现。
图8的方法包括根据手势分类和手势本体将所捕获的操纵解析(708)为一个或多个手势三元组，并且将手势三元组存储(710)在语义图数据库(818)的企业知识图(816)中。如上所述，手势分类包括具有已定义语义的单词或单词集，它们将被存储为三元组。这样的单词可以描述所捕获的用户对动态仪表板的GUI元素的操纵、窗口小部件的使用或对动态仪表板的语音指令。
为了将语音解析为语义三元组，三元组解析器接收由语音引擎从语音转换的文本，并且标识与分类相对应的文本的部分，以及使用分类的定义元素形成三元组。为了将其他手势解析为语义三元组，三元组解析器接收描述通过触摸屏、用户输入设备和其他设备的用户操纵的文本，并且使用分类的定义元素形成三元组。
三元组解析器还依赖于本体创建三元组，并且在手势三元组的情况下，根据手势本体创建三元组。本体是提供可共享和可重用知识表示的形式规范。本体规范包括领域中的概念和属性的描述、概念之间的关系、如何使用关系的约束以及其他概念和属性。
图8的方法包括依赖于手势三元组标识(712)仪表板见解。仪表板见解是关于如何操纵或使用GUI元素、窗口小部件或动态仪表板的其他组件的见解。这种仪表板见解可以包括图标的位置、图标的删除或移动、对所使用的文本或图标或窗口小部件的大小的操纵、组件的使用频率以及本领域技术人员会想到的许多其他见解。这种仪表板见解可以有用地提供用户经常不使用仪表板的一个或多个元素或工具、经常移动这种元素、重复删除这种元素的信息、以及本领域技术人员会想到的其他信息。
依赖于手势三元组从手势三元组标识仪表板见解还包括查询语义图数据库。查询语义图数据库可以通过创建查询来执行，例如本领域技术人员将会想到的被设计成非法见解的SPRQL查询。这种查询可以依赖于所接收的见解、附加信息以及本领域技术人员将会想到的其他信息来随着时间的推移而被细化和改进。
图8的方法包括按照仪表板见解更新(714)仪表板。按照仪表板见解更新(714)仪表板可以通过修改仪表板的一个或多个元素的呈现、添加GUI元素、删除一个或多个GUI元素、移动GUI元素、改变元素的大小、改变元素的功能性使得通过元素展示更多或更少的特征来实现，以及如本领域技术人员将想到的其他方式来实现。
在一些实施例中，当仪表板被修改时，动态仪表板可以通知用户，以告知用户仪表板在形式或功能上的演变情况。这种通知可以有效地向用户告知仪表板的当前状态。
从上述具体实施方式中可以理解，在不背离本发明的真正精神的情况下，可以对本发明的各种实施例进行修改和变化。本说明书中的具体实施方式只是为了说明问题，不应理解为限制性的意义。本发明的范围仅由所附权利要求的语言所限制。

Claims (20)

1.一种动态仪表板管理的方法，所述方法包括：
通过图形用户界面“GUI”显示仪表板；
接收操纵所述动态仪表板的一个或多个元素的用户指令；
捕获对一个或多个GUI元素的所述操纵；
根据手势分类和手势本体，将所捕获的所述操纵解析为一个或多个手势三元组；
将所述手势三元组存储在语义图数据库的企业知识图中；
依赖于所述手势三元组标识仪表板见解；
按照所述仪表板见解更新所述仪表板。
2.根据权利要求1所述的方法，其中，按照所述仪表板见解更新所述仪表板包括修改所述仪表板的一个或多个元素的呈现。
3.根据权利要求1所述的方法，其中，按照所述仪表板更新所述仪表板还包括：包括删除一个或多个GUI元素。
4.根据权利要求1所述的方法，其中，按照所述仪表板更新所述仪表板还包括：包括修改所述动态仪表板的一个或多个组件的功能性。
5.根据权利要求1所述的方法，其中，操纵所述动态仪表板的一个或多个元素的指令包括来自用户的语音指令。
6.根据权利要求1所述的方法，其中，操纵所述动态仪表板的一个或多个元素的指令包括在所述动态仪表板的触摸使能的用户界面上的手势。
7.根据权利要求1所述的方法，其中，操纵所述动态仪表板的一个或多个元素的指令包括通过一个或多个用户输入设备操纵一个或多个元素的指令。
8.根据权利要求1所述的方法，其中，捕获对所述一个或多个GUI元素的所述操纵还包括：接收用户输入流并且记录所述流。
9.根据权利要求1所述的方法，其中，依赖于所述手势三元组，从所述手势三元组标识仪表板见解还包括：查询所述语义图数据库并且依赖于所述查询的结果推断见解。
10.根据权利要求1所述的方法，还包括：显示针对所述动态仪表板的更新的通知。
11.一种用于动态仪表板管理的系统，所述系统包括自动化计算机器的模块，所述模块被配置用于：
通过图形用户界面“GUI”显示仪表板；
接收操纵所述动态仪表板的一个或多个元素的用户指令；
捕获对一个或多个GUI元素的所述操纵；
根据手势分类和手势本体，将所捕获的所述操纵解析为一个或多个手势三元组；
将所述手势三元组存储在语义图数据库的企业知识图中；
依赖于所述手势三元组标识仪表板见解；
按照所述仪表板见解更新所述仪表板。
12.根据权利要求11所述的系统，其中，按照所述仪表板见解更新所述仪表板包括修改所述仪表板的一个或多个元素的呈现。
13.根据权利要求11所述的系统，其中，按照所述仪表板更新所述仪表板还包括：包括删除一个或多个GUI元素。
14.根据权利要求11所述的系统，其中，按照所述仪表板更新所述仪表板还包括：包括修改所述动态仪表板的一个或多个组件的功能性。
15.根据权利要求11所述的系统，其中，操纵所述动态仪表板的一个或多个元素的指令包括来自用户的语音指令。
16.根据权利要求11所述的系统，其中，操纵所述动态仪表板的一个或多个元素的指令包括在所述动态仪表板的触摸使能的用户界面上的手势。
17.根据权利要求11所述的系统，其中，操纵所述动态仪表板的一个或多个元素的指令包括通过一个或多个用户输入设备操纵一个或多个元素的指令。
18.根据权利要求11所述的系统，其中，捕获对所述一个或多个GUI元素的所述操纵还包括：接收用户输入流并且记录所述流。
19.根据权利要求11所述的系统，其中，依赖于所述手势三元组，从所述手势三元组标识仪表板见解还包括：查询所述语义图数据库并且依赖于所述查询的结果推断见解。
20.根据权利要求11所述的方法，其中，所述系统还被配置用于显示针对所述动态仪表板的更新的通知。
CN202211379550.XA 2021-11-05 2022-11-04 动态仪表板管理 Pending CN116091076A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/453,676 2021-11-05
US17/453,676 US12026525B2 (en) 2021-11-05 Dynamic dashboard administration

Publications (1)

Publication Number Publication Date
CN116091076A true CN116091076A (zh) 2023-05-09

Family

ID=86184336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211379550.XA Pending CN116091076A (zh) 2021-11-05 2022-11-04 动态仪表板管理

Country Status (2)

Country Link
CN (1) CN116091076A (zh)
CA (1) CA3184654A1 (zh)

Also Published As

Publication number Publication date
CA3184654A1 (en) 2023-05-05
US20230141296A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US12001972B2 (en) Semantic inferencing in customer relationship management
US10623572B1 (en) Semantic CRM transcripts from mobile communications sessions
US10951763B2 (en) Semantic artificial intelligence agent
US20190272269A1 (en) Method and system of classification in a natural language user interface
US11468882B2 (en) Semantic call notes
AU2022200232A1 (en) Product presentation for customer relationship management
CN112823332A (zh) 语义行业术语
US11132695B2 (en) Semantic CRM mobile communications sessions
US12026525B2 (en) Dynamic dashboard administration
US20230141296A1 (en) Dynamic dashboad administration
US11816677B2 (en) Call preparation engine for customer relationship management
WO2019103569A1 (ko) 문맥 기반으로 음성 인식의 성능을 향상하기 위한 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체
US20230274322A1 (en) Real-time collateral recommendation
US20230048077A1 (en) Mobile intelligent outside sales assistant
US20230162121A1 (en) Unified, cross-channel, multidimensional insight generation
US20230274295A1 (en) Halfalogue insight generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination