CN111832311A - 聊天机器人能力的自动语义分析和比较 - Google Patents

聊天机器人能力的自动语义分析和比较 Download PDF

Info

Publication number
CN111832311A
CN111832311A CN202010297817.5A CN202010297817A CN111832311A CN 111832311 A CN111832311 A CN 111832311A CN 202010297817 A CN202010297817 A CN 202010297817A CN 111832311 A CN111832311 A CN 111832311A
Authority
CN
China
Prior art keywords
chat robot
computer
chat
domain ontology
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010297817.5A
Other languages
English (en)
Other versions
CN111832311B (zh
Inventor
D·萨哈
R·阿南萨娜拉亚南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN111832311A publication Critical patent/CN111832311A/zh
Application granted granted Critical
Publication of CN111832311B publication Critical patent/CN111832311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

公开了用于聊天机器人能力的自动语义分析和比较的技术。获得与第一聊天机器人相关联的第一聊天机器人规范，该第一聊天机器人规范包括按多个类别布置的第一多个特性。获得与第二聊天机器人相关联的第二聊天机器人规范，该第二聊天机器人规范包括按多个类别布置的第二多个特性。至少部分地基于所述第一多个特性和所述第二多个特性来为所述多个类别中的每个类别识别所述第一多个特性与所述第二多个特性之间的一个或多个差异。生成与识别出的一个或多个差异对应的自然语言表达，并经由图形用户界面将其呈现给用户。

Description

聊天机器人能力的自动语义分析和比较
技术领域
本申请一般地涉及聊天机器人的语义分析和比较。
背景技术
聊天机器人，也称为智能机器人、对话机器人、闲聊机器人、交互式代理、对话接口、对话AI或人工对话实体，是经由听觉或文本方法进行对话以实现期望任务的计算机程序或人工智能程序。聊天机器人常常被设计为令人信服地模拟人类如何像对话伙伴那样表现，例如，通过像正常人类那样提出问题和对回答做出响应。作为示例，聊天机器人可以以各种角色来使用，包括客户服务、社交媒体参与、产品订购、调查或者其中人类通常会提供回答或以其它方式与客户或其他客户端进行交流的其它类似的角色。
发明内容
在本发明的一个实施例中，提供了用于聊天机器人能力的自动语义分析和比较的技术。公开了一种示例性计算机实现的方法，其中获得与第一聊天机器人相关联的第一聊天机器人规范，该第一聊天机器人规范包括布置在多个类别中的第一多个特性。获得与第二聊天机器人相关联的第二聊天机器人规范，该第二聊天机器人规范包括布置在所述多个类别中的第二多个特性。至少部分地基于第一多个特性和第二多个特性来为所述多个类别中的每个类别识别第一多个特性与第二多个特性之间的一个或多个差异。生成与识别出的一个或多个差异对应的自然语言表达，并经由图形用户界面将其呈现给用户。
本发明或其元素的另一个实施例可以以有形地实施计算机可读指令的计算机程序产品的形式来实现，所述计算机可读指令在被实现时使计算机执行多个方法步骤，如本文所述。此外，本发明或其元素的另一个实施例可以以包括存储器和至少一个处理器的系统的形式实现，其中处理器耦合到存储器并且被配置为执行所述方法步骤。此外，本发明或其元素的另一个实施例可以以用于执行本文所述的方法步骤或其元素的装置的形式来实现；所述装置可以包括硬件模块或硬件和软件模块的组合，其中软件模块存储在有形的计算机可读存储介质(或多个这样的介质)中。
通过下面结合附图对示例性实施例的详细描述，本发明的这些和其它目的、特征和优点将变得显而易见。
附图说明
图1是图示根据本发明示例性实施例的系统体系架构的图；
图2是图示根据本发明实施例的与第一聊天机器人相关联的聊天机器人规范的示例的图；
图3是图示根据本发明实施例的与第二聊天机器人相关联的聊天机器人规范的示例的图；
图4是图示根据本发明实施例的领域本体的示例的图；
图5是图示根据本发明实施例的技术的流程图；
图6描绘了根据本发明实施例的云计算环境；以及
图7描绘了根据本发明实施例的抽象模型层。
具体实施方式
当特定任务需要聊天机器人时，用户通常会在聊天机器人规范的储存库中进行搜索，每个规范都有特性和能力的不同集合，以识别哪个聊天机器人将满足任务的要求。例如，用户可以手动比较类似聊天机器人的特性和能力，并选择他们认为最适合该任务的聊天机器人。但是，这种对大量聊天机器人规范的手动分析和比较可能是个漫长且费力的人工过程，该过程仅评估在储存库中找到的聊天机器人规范的完整集合中相对少量的聊天机器人的聊天机器人规范。
本文公开的用于聊天机器人能力的自动语义分析和比较的技术以快速容易的方式帮助用户分析和比较聊天机器人规范，这为用户提供了对每个聊天机器人的能力差异的直观理解并提供了对各种类别的聊天机器人的评分的简单容易的理解。
现在参考图1，图示了用于聊天机器人能力的自动语义分析和比较的系统体系架构100的实施例。在一些实施例中，系统100包括计算设备110和数据储存库150。
计算设备110包括至少一个处理器112、存储器114、至少一个网络接口116、显示器118和输入设备120，并且可以包括在计算设备中通常发现的任何其它特征。在一些实施例中，计算设备110可以包括例如个人计算机、工作站、膝上型计算机、平板电脑、智能设备、智能电话、智能手表，或者可以由用户使用的任何其它类似的计算设备。
处理器112可以包括例如中央处理单元(CPU)、微控制器、现场可编程门阵列(FPGA)或者被配置为执行各种操作的任何其它形式的处理电路。处理器112可以被配置为执行如下所述的指令。这些指令可以存储在例如存储器114中。如本文所使用的，术语“处理器”可以包括单核处理器、多核处理器、位于单个设备中的多个处理器，或者彼此有线或无线通信并分布在设备网络、互联网或云上的多个处理器。因而，如本文所使用的，由“处理器”执行或被配置为由“处理器”执行的功能、特征或指令可以包括由单核处理器执行功能、特征或指令，可以包括由多核处理器的多个核共同或协作地执行功能、特征或指令，或者可以包括由多个处理器共同或协作地执行功能、特征或指令，其中不要求每个处理器或核单独执行每个功能、特征或指令。
存储器114可以包括例如易失性存储器形式的计算机可读介质或计算机可读存储介质，诸如随机存取存储器(RAM)和/或高速缓冲存储器等。存储器114可以包括例如其它可移动/不可移动、易失性/非易失性存储介质。仅作为非限制性示例，存储器114可以包括便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或上述的任意合适组合。
在一些实施例中，如本文所述，包括用于执行本发明的方法的指令或代码的计算机软件可以存储在相关联的存储器114中，并且在准备好被使用时，被部分或全部地加载(例如，加载到RAM中)并由处理器112执行。这样的软件可以包括但不限于固件、常驻软件、微代码等。存储器114可以包括在程序代码的实际执行期间使用的本地存储器、大容量存储装置以及提供至少一些程序代码的临时存储以减少在执行期间必须从大容量存储装置中检索代码的次数的高速缓冲存储器。
在一些实施例中，计算设备110可以包括存储在存储器114中的聊天机器人比较逻辑122，例如计算机软件指令或代码，其被配置为通过自动执行聊天机器人能力的语义分析和比较来辅助用户，这将在下面更详细地描述。在一些实施例中，聊天机器人比较逻辑122可以可替代地被存储在远离计算设备110的地方，例如，存储在服务器或其它系统上。例如，计算设备110可以访问聊天机器人比较逻辑122以帮助用户在语义上分析和比较聊天机器人规范。在一些实施例中，聊天机器人比较逻辑122可以是可由计算设备110激活或执行的应用编程接口(API)，以将聊天机器人能力的自动语义分析和比较卸载到远程处理中心，例如服务器或其它类似的系统。
网络接口116被配置为经由有线或无线连接向数据储存库150或任何其它服务器、组件或计算设备传输数据或信息或从其接收数据或信息。例如，网络接口116可以利用无线技术和通信协议，诸如蓝牙
Figure BDA0002452866180000051
WIFI(例如，802.11a/b/g/n)、蜂窝网络(例如，CDMA、GSM、M2M和3G/4G/4G LTE)、近场通信系统、卫星通信、经由局域网(LAN)使用的那些、经由广域网(WAN)使用的那些、或者与允许计算设备110向包括数据储存库150的组件的数据储存库150传输信息或从其接收信息的任何其它形式的通信一起使用的那些。
显示器118可以包括被配置为向计算设备110的用户显示信息的任何显示设备。例如，在一些实施例中，显示器118可以包括计算机监视器、电视、智能电视或其它类似的显示器。在一些实施例中，显示器118可以集成到计算设备110中或与计算设备110相关联，例如，作为膝上型计算机、智能电话、智能手表或其它智能可穿戴设备的显示器，作为与计算设备110相关联的虚拟现实头戴机，或用于向用户显示信息的任何其它机构。在一些实施例中，显示器118可以包括例如液晶显示器(LCD)、电子纸/电子墨水显示器、有机LED(OLED)显示器或其它类似的显示技术。在一些实施例中，显示器118可以是触敏的，并且还可以用作输入设备120。
输入设备120可以包括例如键盘、鼠标、触敏显示器118、小键盘、麦克风或其它类似的输入设备或可以单独使用或一起使用以向用户提供与计算设备110进行交互的能力的任何其它输入设备。
数据储存库150可以包括例如可以包括与处理器112、存储器114和网络接口116相似的功能的处理器152、存储器154和网络接口156。在一些实施例中，数据储存库150可以例如是被配置为与计算设备110交互或向其提供数据的任何计算设备、服务器、数据库或类似系统或其任意组合。例如，在一些实施例中，数据储存库150可以包括分布式存储系统，该分布式存储系统包括多个服务器、数据库或其它组件。在一些实施例中，存储在数据储存库150中的数据可以可替代地存储在计算设备110的存储器114中，以供计算设备110使用，使得不需要与数据储存库150的连接即可获得数据。
存储器154可以包括例如领域本体158的储存库，该领域本体158包括聊天机器人可以在其中进行操作的各种不同领域的本体。例如，与披萨订购和递送相关联的领域本体158可以包括与披萨订购和递送领域中的聊天机器人的特性和能力相关联的信息，如以下示例中所述。可以在其中使用聊天机器人的其它领域的其它本体也可以存储在领域本体158中。
图2图示了用于示例聊天机器人(例如，聊天机器人1)的聊天机器人规范200的示例。如图2中所示，例如，聊天机器人规范200包括按多个类别布置的多个特性。例如，聊天机器人规范200包括特性的类别，包括实体202、意图204和对话流206。
类别实体202包括以下实体：Pizza_topping 208、Pizza_base 210、Pizza_size212和Time_of_delivery 214。一些或所有实体还包括值。
例如，实体Pizza_topping 208包括奶酪、番茄和蔬菜的值216，实体Pizza_base210包括普通和薄的值218，实体Pizza_size 212包括中等和大号的值220，而实体Time_of_delivery 214包括需要递送的日期和时间的值222。
类别意图204包括一个或多个意图，包括例如Order_pizza 224，其允许用户预订披萨以进行递送。在其它示例中还可以存在其它意图。意图Order_pizza 224包括与订购披萨相关联的值，包括例如用户可以订购披萨226、用户可以指定递送的日期和时间228、以及用户可以利用系统确认订单230。
类别对话流206包括与聊天机器人将用来与客户或其它用户进行交互的对话流相关联的一个或多个对话流值。在这个示例中，对话流值可以包括例如GreetCustomer 232、GetPizzaDetails 234、GetTimeDetails 236和ConfirmOrder 238。
图3图示了用于另一个示例聊天机器人(例如，聊天机器人2)的聊天机器人规范300的示例。如图3中所示，例如，聊天机器人规范300包括按多个类别布置的多个特性。例如，聊天机器人规范300包括特性的类别，包括实体302、意图304和对话流306。
类别实体302包括以下实体：Pizza_toppings 308、Pizza_base 310、Pizza_size312、Pizza_supplier 314、Side_order_type 316和Side_order_size 318。一些或所有实体还包括值。
例如，实体Pizza_topping 308包括奶酪、番茄和蔬菜的值320，实体Pizza_base310包括普通和薄的值322，实体Pizza_size 312包括小、中等和大的值324，实体Pizza_supplier 314包括公司A和公司B的值326，实体Side_order_type 316包括节食适用和常规的值328，而实体Side_order_size 318包括200ml和500ml的值330。
类别意图304包括一个或多个意图，包括例如Order_pizza 332，其允许用户从公司X订购披萨，其中X是用户经由聊天机器人对话识别出的公司(诸如公司A或公司B)的占位符。其它示例中也可以存在其它意图。意图Order_pizza 332包括与订购披萨相关联的值，包括例如客户可以指定披萨的细节334、客户可以指定公司336、客户可以添加饮料副订单338、以及客户可以向代理核实订单340。
类别对话流306包括与聊天机器人将用来与客户或其它用户进行交互的对话流相关联的一个或多个对话流值。在这个示例中，对话流值可以包括例如GreetCustomer 342、GetPizzaDetails 344、GetSupplierDetails 346、CheckSideOrders 348、GetSideOrderDetails 350和ConfirmOrder 352。
如图2和3中所看到的，每个聊天机器人规范可以具有不同的格式并且可以包括不同的类别、特性或其它信息。因此，比较聊天机器人的特性可以是一项困难而艰巨的任务，因为用户必须筛选每个聊天机器人规范中包含的信息并调和每个聊天机器人规范中包含的格式和信息，以确定聊天机器人之间存在什么相似性和差异。
图4图示了来自与聊天机器人规范200和300相关联的领域的领域本体158(例如，本体400)的储存库的示例领域本体的框图。例如，本体400的领域可以是订购披萨，这是由聊天机器人规范200和聊天机器人规范300共享的领域。虽然下面参考用于订购披萨的本体400进行了描述，但是用于任何其它领域的本体可以包括在领域本体158的储存库中。
本体400包括与披萨的订单402相关联的信息和特性。在一些实施例中，本体400包括可以被用于订购披萨的所有特性的完整集合，但是在一些情况下，这些特性可以不同于聊天机器人规范中发现的那些被格式化或定义。在这种情况下，可以使用语义分析将在聊天机器人规范中找到的特性与在作为本体的一部分包括的完整集合中找到的对应特性进行匹配。
本体400在图4中被呈现为包括具有连接指示符“HasA”和“IsA”的节点的树。“HasA”指示符被用于指示节点包括其子节点的内容。例如，订单402具有买方409。“IsA”指示符被用于指示节点本身的内容。例如，项目408是披萨410。
本体400包括订单402。订单402具有多个特性，包括ID 404、日期406、物品408、买方409、递送地址411和供应商413。
ID 404表示订单的标识符。例如，Id 404可以唯一地识别订单，例如，订单#1、订单#2等，或者可以以任何其它方式识别订单。
日期406识别下订单的日期、时间或两者。
物品408识别订单的主题。在这个示例中，物品408可以是披萨410、饮料412或两者。此外，物品408具有递送时间438，该递送时间438具有应当将该物品递送给用户的时间440和日期442。
披萨410具有饼面414、饼底416、尺寸418和外皮420。披萨410的饼面414选自饼面的集合422，诸如例如奶酪、番茄、洋葱、蔬菜或任何其它饼面或其任何组合。披萨410的饼底416选自饼底的集合424，诸如例如普通和薄。披萨410的尺寸418选自尺寸的集合426，诸如例如小、中等和大号。披萨410的外皮420选自外皮的集合428，诸如例如普通和薄。
饮料412具有类型430和尺寸432。饮料412的类型430选自类型的集合434，诸如例如节食适用、常规或任何其它类型的饮料。饮料412的尺寸432选自尺寸的集合436，诸如例如200毫升、500毫升、1升或任何其它尺寸。
买方409识别正在下订单的用户。
递送地址411识别要递送订单的地址。
供应商413识别订单的供应商。例如，订单的供应商413选自供应商的集合444，例如在这个示例中是公司A或公司B。
在说明性实施例中，聊天机器人比较逻辑122从用户获得输入，包括用户选择一个或多个聊天机器人规范用于比较。例如，聊天机器人规范200和300可以由用户例如经由输入设备120来选择。用户可以选择任意数量的聊天机器人规范。在一些实施例中，用户还可以或者可替代地选择用户想要聊天机器人被比较的领域。例如，用户可以选择订购披萨的领域，并且该领域中包括的每个聊天机器人都可以被包括作为比较的一部分。
聊天机器人比较逻辑122还例如经由输入设备120获得与要比较的聊天机器人的领域相关联的领域本体的用户选择作为输入。例如，可以选择领域本体400用于比较聊天机器人规范200与300，或者用于比较订购披萨的领域中包括的聊天机器人的任何聊天机器人规范。聊天机器人比较逻辑122可以从存储在数据储存库的存储器154中的领域本体158的储存库中检索所选择的领域本体400。
在一些实施例中，聊天机器人比较逻辑122可以获得单个聊天机器人规范以及与那个聊天机器人规范的领域相关联的领域本体作为输入，例如，在用户希望将单个聊天机器人规范与整个领域进行比较的情况下。
聊天机器人比较逻辑122至少部分地基于所选择的输入(例如，聊天机器人规范、领域本体等)来生成输出，其根据期望呈现聊天机器人规范彼此之间以及与领域本体的比较。
在一些实施例中，可以首先将每个聊天机器人规范的特性映射到那个聊天机器人的领域的领域本体中的对应特性。例如，可以将在聊天机器人规范中找到的实体映射到在领域本体中找到的对应实体，可以将聊天机器人规范中每个实体的实体值映射到领域本体中的对应实体值，可以将在聊天机器人规范中找到的意图映射到在领域本体中找到的对应意图，并且可以将在聊天机器人规范中找到的对话状态映射到在领域本体中找到的对应对话状态。
例如，在聊天机器人规范200和300都用于订购披萨的领域中的聊天机器人的情况下，这些聊天机器人的特性(如在其相应聊天机器人规范中找到的)可以首先被映射到对应领域本体(例如，本体400)的特性的完整集合中找到的对应特性。在特定特性(例如，Pizza_topping：奶酪)的格式或内容与领域本体的对应特性匹配时，可能不需要为了比较而对所述特性进行修改。
另一方面，在特定特性的格式或内容与领域本体中找到的格式或内容不同的情况下，可以为了比较而修改该特性，例如，使用同义词、辞典、词典或其它类似工具来识别领域本体中的对应特性。如果不是直接以结构化格式指定实体，而是需要从非结构化格式(如日志)中提取实体，那么可以使用NLP工具用于实体提取。如果实体不能直接与本体中的概念匹配，那么可以使用同义词、辞典和词典将其映射到本体特性。在一些实施例中，也可以通过对照在本体中找到的对应实体值检查与所映射实体对应的实体值来核实映射。
作为示例，聊天机器人规范300包括用于Pizza_size 312的实体值324：小、中等和大。本体400包括尺寸的集合426：小、中等和大号。由于本体400中不包括大，因此可以使用进一步的语义分析在本体400内找到针对大的映射。例如，语义分析可以利用同义词、辞典、词典或其它类似的源，以尝试将大映射到本体400中的特性之一。在这种情况下，大(big)是大号(large)的同义词，因此在比较中将大映射到大号。
在一些实施例中，当将意图映射到领域本体时，可以使用语句级比较技术来识别领域本体中的对应意图。在一些实施例中，可以以自然语言格式来表达在聊天机器人规范中找到的意图，例如，“用户可以订购披萨”。在一些实施例中，对于可以用于将意图映射到领域本体的术语，自然语言处理工具可以用于解析意图。
在一些实施例中，例如，可以以迭代的两步过程来执行意图映射。意图中的术语可以被映射到实体空间。例如，对于意图“用户可以订购披萨”和“客户可以指定披萨的细节”，在每种情况下，术语“披萨”都被提取并映射到领域本体中的“披萨”，而其它术语可以不映射到领域本体中的任何对应术语。被映射的实体的实体值被映射到对话中的输入，其中这些构成输入要求。然后，经由对应的状态将输入映射到意图。API调用信息(诸如例如聊天机器人日志或其它类似信息)也可以被用于识别实体信息和实体值。例如，聊天机器人可以被执行一段时间以识别可以被利用的各种特性、实体、意图和对话状态。
在一些实施例中，例如，可以解析在聊天机器人规范的意图或对话状态中找到的文本，以提取可以映射到领域本体的术语。例如，可以解析陈述“用户可以订购披萨”的意图，以提取可以映射到领域本体的术语“披萨”和“订购”。作为另一个示例，可以解析陈述“客户可以预订披萨以进行递送”的意图，以提取术语“披萨”和“预订”。由于术语“预订”不包括在领域本体中，因此同义词可以用于将术语“预订”映射到领域本体中的术语“订购”。
在一些实施例中，当确定每个聊天机器人规范的对话状态之间的差异时，聊天机器人比较逻辑122可以比较输入触发、输出响应和状态改变。例如，当比较两个聊天机器人的对话状态时，可以将对话状态名称假设为标识符，而不是内容，其中代替地基于输入和输出的实际值进行比较。例如，在一些实施例中，对话状态名称的语义分析不需要被用于比较对话状态。代替地，可以以与上面针对意图描述的方式类似的方式从每个对话状态的输入或输出响应中识别实体和动作，并且可以根据领域本体中的对应概念进行匹配。在一些实施例中，当两个聊天机器人规范的对话状态具有至少1个共同输入触发或至少1个共同输出响应时，它们是可比较的。
一旦每个聊天机器人规范的特性已经被映射到领域本体中的对应特性，聊天机器人比较逻辑122就可以使用所述映射在语义上分析每个聊天机器人规范，以识别聊天机器人规范之间的差异或者聊天机器人规范与作为整体的领域本体之间的差异。例如，通过将每个聊天机器人规范映射到在对应领域本体中找到的共同特性集合，即使每个聊天机器人规范可以有其自己独特的格式或结构，也可以将任何数量的聊天机器人规范进行比较。
例如，在一些实施例中，聊天机器人比较逻辑可以生成输出，该输出比较每个聊天机器人规范的特性，如下面的示例表1中所示。
表1：
Figure BDA0002452866180000121
如表1中可以看到的，用于比较的特性是在领域本体中找到的特性，例如，为了比较的目的，使用Pizza_size为大号而不是大，这导致大号披萨尺寸在聊天机器人规范200和300之间是共同的指示，尽管每个规范中使用的术语不同。在一些实施例中，可以例如经由显示器118将表1中所示的比较呈现给用户。
在一些实施例中，聊天机器人比较逻辑122生成比较的自然语言格式，以例如经由显示器118呈现给用户。例如，可以基于模板和识别出的差异或使用已知的自然语言生成技术来生成自然语言格式。下面的表2中示出了聊天机器人1与2之间识别出的差异的自然语言格式的示例。
表2：
Figure BDA0002452866180000131
在一些实施例中，聊天机器人比较逻辑122可以量化聊天机器人规范之间的差异。例如，可以基于任何方式的量化技术来生成每个聊天机器人的评分。
在示例实施例中，现在参考下面的表3，可以相对于聊天机器人规范之间的独特意图、实体和实体值的总数来量化每个聊天机器人的意图、实体和实体值，以相对于意图、实体和实体值中的每一个为每个聊天机器人生成评分。
表3：
Figure BDA0002452866180000141
例如，如在表3中看到的，还参考表1和图2和3，聊天机器人规范200和300在它们之间包括七个独特意图、七个独特实体以及16个独特实体值。在这个示例中，用于聊天机器人1的聊天机器人规范200支持四个意图，并且用于聊天机器人2的聊天机器人规范300支持六个意图。在一个示例量化中，可以量化意图相对于独特意图的总数之比，以生成每个聊天机器人的评分。例如，聊天机器人1支持七分之四(4/7)的意图，评分为0.57，而聊天机器人2支持七分之六(6/7)的意图，评分为0.86。
同样，聊天机器人1的聊天机器人规范200支持4个实体，而聊天机器人2的聊天机器人规范300支持6个实体。在一个示例量化中，可以量化实体相对于独特实体的总数之比，以生成每个聊天机器人的评分。例如，聊天机器人1支持七个实体中的四个(4/7)，评分为0.57，而聊天机器人2支持七个实体中的六个(6/7)，评分为0.86。
聊天机器人1的聊天机器人规范200还支持9个实体值，而聊天机器人2的聊天机器人规范300支持14个实体值。在一个示例量化中，可以量化实体值相对于独特实体值的总数之比，以生成每个聊天机器人的评分。例如，聊天机器人1支持十六个实体值中的九个(9/16)，评分为0.56，而聊天机器人2支持十六个实体值中的十四个(14/16)，评分为0.88。
在这个示例中，聊天机器人2在每个特性的类别中均优于聊天机器人1。在一些实施例中，一个聊天机器人在一些特性类别上可以是优越的，而另一个聊天机器人在其它特性类别上可以是优越的。
在一些实施例中，如表3中的示例所示，特性的量化可以例如经由显示器118呈现给用户。在一些实施例中，对于每个特性类别具有优越评分的聊天机器人可以被突出显示或具有指示其具有较高评分的某其它指示。例如，在一些实施例中，在每个特性类别中具有最高评分的聊天机器人的评分可以令其评分被突出显示、加粗或设置有其具有最高评分的某其它指示。
在一些实施例中，每个意图、实体或实体值可以具有表示其在领域中的相对重要性的相应权重。在上面呈现的表3的示例中，假设每个意图、实体和实体值的权重等于一，例如，不使用权重。在替代示例中，聊天机器人规范200中的实体Time_of_delivery可以比聊天机器人规范300的Side_order_type和Side_order_size实体更重要。在这种情况下，例如，实体Time_of_delivery可具有权重3，而Side_order_type和Side_order_size实体中的每个可具有权重0.5。在这样的示例中，假设所有其它意图、实体和实体值的权重为1，那么得到的评分可以如以下的表4中所示。
表4：
Figure BDA0002452866180000151
如上面的表4中所看到的，例如，聊天机器人1的实体值现在从四增加到六，因为Time_of_delivery实体现在计三分而不是一分。同样，由于Side_order_type和Side_order_size实体中的每一个现在只计半分而不是一分，因此聊天机器人2的实体值现在从六减少到五。在这个示例中，独特实体的总数保持不变，为七。得到的聊天机器人1的评分现在为0.86(6/7)，而聊天机器人2的评分已降至0.71(5/7)。如表4中所看到的，聊天机器人1的评分现在被突出显示为优越评分。
在一些实施例中，用于确定评分的独特实体的总数的值可以替代地至少部分地基于每个实体的权重。例如，如果Time_of_delivery实体的权重为三，并且Side_order_type和Side_order_size实体的权重均为二分之一，那么独特实体的总数可以为八(共同实体为三；Time_of_delivery为三；Side_order_type和Side_order_size实体中的每一个为二分之一，并且Pizza_supplier实体为一)。在这个示例中，基于独特实体的加权的总数，聊天机器人1的最终实体评分可以替代地为0.75，而聊天机器人2的最终实体评分可以替代地为0.63。
在一些实施例中，可以可替代地基于在与聊天机器人的领域对应的领域本体(在这个示例中，是领域本体400)中找到的特性的完整集合来确定独特意图、实体和实体值的数量。在这种示例中，得到的评分可以如下面的表5中所示。
表5：
Figure BDA0002452866180000161
如上面的表5中所看到的，例如，独特意图的总数增加到8，独特实体的总数增加到8，并且独特实体值的总数增加到20，这反映了领域本体400中每个类别的特性的总数。在这个示例中，聊天机器人1的意图评分现在为0.50(4/8)，而聊天机器人2的意图评分为0.75(6/8)，聊天机器人1的实体评分现在为0.50(4/8)，而聊天机器人2的实体评分为0.75(6/8)，聊天机器人1的实体值评分为0.45(9/20)，而聊天机器人2的实体值评分为0.70(14/20)。这些评分反映了聊天机器人规范200和300中的每个与作为整体的领域本体400之间的差异，在每个类别中具有优越评分的聊天机器人与领域本体400更紧密地匹配。
在一些实施例中，用户可以选择单个聊天机器人规范以与相关领域本体进行比较。例如，用户可以选择聊天机器人1的聊天机器人规范200以与领域本体400进行比较。这种比较可以包括相对于在领域本体400中找到的特性的完整集合对于每个类别在聊天机器人规范200中找到的特性的量化。下面的表6提供了这种比较的示例。
表6：
度量 聊天机器人1 领域本体 评分
意图 4 8 聊天机器人1:0.50
实体 4 8 聊天机器人1:0.50
实体值 9 20 聊天机器人1:0.45
如上面的表6中所看到的，例如，在领域本体400中找到的意图的总完整集合为8，在领域本体400中找到的实体的完整集合为8，而在领域本体400中找到的实体值的完整集合为20。在这个示例中，聊天机器人1相对于领域本体的意图评分为0.50(4/8)，聊天机器人1相对于领域本体的实体评分为0.50(4/8)，并且聊天机器人1相对于领域本体的实体值评分为0.45(9/20)。用户可以使用这些评分来确定聊天机器人的能力与领域本体中可用的能力的完整集合有多接近。
现在参考图5，现在将描述根据说明性实施例的由聊天机器人比较逻辑122实现的方法。
在502处，聊天机器人比较逻辑122获得用于第一聊天机器人的第一聊天机器人规范，例如，聊天机器人规范200。例如，用户可以例如经由输入设备120选择用于比较的第一聊天机器人规范。
在504处，聊天机器人比较逻辑122获得用于第二聊天机器人的第二聊天机器人规范，例如，聊天机器人规范300。例如，用户可以例如经由输入设备120选择用于比较的第一聊天机器人规范。
在506处，聊天机器人比较逻辑122获得与和第一和第二聊天机器人规范相关联的领域对应的领域本体，例如，领域本体400。例如，用户可以例如经由输入设备120选择如上所述的领域本体。
在508处，聊天机器人比较逻辑122识别第一聊天机器人规范与第二聊天机器人规范之间的差异。例如，聊天机器人比较逻辑122可以将每个聊天机器人规范的特性映射到在领域本体中找到的对应特性，并且可以如上所述确定聊天机器人规范之间的差异。
在510处，聊天机器人比较逻辑122如上所述生成与识别出的差异对应的自然语言表达。
在512处，聊天机器人比较逻辑122例如经由显示器118向用户呈现所述差异的自然语言表达。
在一些实施例中，返回参考步骤508，聊天机器人比较逻辑122还可以或者可替代地基于在514处识别出的差异为每个聊天机器人规范生成评分。例如，评分可以基于每个聊天机器人规范的每个类别的特性相对于在聊天机器人规范的组合中找到的每个类别的多个独特特性的数量、相对于在领域本体中找到的特性的完整集合中每个类别的多个特性的比较或以上述任何其它方式。
在516处，聊天机器人比较逻辑122例如经由显示器118向用户呈现评分。在一些实施例中，聊天机器人比较逻辑122可以突出显示或以其它方式指示对于特性的每个类别哪个聊天机器人规范具有优越评分。
如本文所述，图5中描绘的技术还可以包括提供一种系统，其中该系统包括不同的软件模块，每个不同的软件模块都在有形的计算机可读可记录存储介质上实施。例如，所有模块(或其任何子集)可以在同一介质上，或者每个模块可以在不同介质上。模块可以包括图中所示和/或本文描述的任何或全部组件。在本发明的实施例中，模块可以例如在硬件处理器上运行。然后可以使用如上所述的在硬件处理器上执行的系统的不同软件模块来执行方法步骤。另外，计算机程序产品可以包括有形的计算机可读可记录存储介质，其具有适于被执行以执行本文所述的至少一个方法步骤的代码，包括为系统提供不同的软件模块。
此外，可以经由计算机程序产品来实现图5中描绘的技术，该计算机程序产品可以包括存储在数据处理系统中的计算机可读存储介质中的计算机可用程序代码，并且其中计算机可用程序代码通过网络从远程数据处理系统被下载。而且，在本发明的实施例中，计算机程序产品可以包括计算机可用程序代码，该计算机可用程序代码存储在服务器数据处理系统中的计算机可读存储介质中，并且其中计算机可用程序代码通过网络下载到远程数据处理系统，以与远程系统一起在计算机可读存储介质中使用。
本发明的实施例或其元素可以以包括存储器和至少一个处理器的装置的形式实现，其中处理器耦合到存储器并且被配置为执行示例性方法步骤。
本发明可以是处于任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明实施例的计算机可读程序指令的计算机可读存储介质。
计算机可读存储介质可以是有形设备，该有形设备可以保留和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任意合适组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码的设备(诸如打孔卡或凹槽中凸起的结构，上面记录了指令)，以及前述的任意合适组合。如本文所使用的，计算机可读存储介质本身不应当被解释为是瞬时信号，诸如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，通过光缆的光脉冲)，或通过电线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令、指令集体系架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路系统的配置数据，或者以一种或多种编程语言的任意组合编写的或者源代码或者目标代码，包括面向对象的编程语言(诸如Smalltalk、C++等)，以及过程编程语言(诸如“C”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户计算机上、部分在用户计算机上、作为独立软件包执行、部分在用户计算机上并且部分在远程计算机上或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机建立连接(用于例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路系统、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路系统可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路系统，以便执行本发明的实施例。
本文参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的实施例。将理解的是，流程图图示和/或框图的每个方框以及流程图图示和/或框图中的方框的组合可以通过计算机可读程序指令来实现。
可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得经由计算机的处理器或其它可编程数据处理执行的指令创建用于实现流程图和/或框图方框中指定的功能/动作的手段。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其它设备以特定方式起作用，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图方框中指定的功能/动作的各方面的指令。
也可以将计算机可读程序指令加载到计算机、其它可编程数据处理装置或其它设备上，以使一系列操作步骤在计算机、其它可编程装置或其它设备上执行，以产生计算机实现的处理，使得在计算机、其它可编程装置或其它设备上执行的指令实现流程图和/或框图方框中指定的功能/动作。
附图中的流程图和框图图示了根据本发明各个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。就这一点而言，流程图或框图中的每个方框可以表示指令的模块、片段或部分，其包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令。在一些替代实现中，方框中指出的功能可以不按图中指出的次序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个方框，或者有时可以以相反的次序执行这些方框。还应该注意的是，框图和/或流程图的每个方框以及框图和/或流程图的方框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于硬件的专用系统来实现。
应当注意的是，本文描述的任何方法都可以包括提供系统的附加步骤，该系统包括在计算机可读存储介质上实施的不同软件模块；模块可以包括例如在本文详述的任何或全部组件。然后可以使用如上所述的在硬件处理器上执行的系统的不同软件模块和/或子模块来执行方法步骤。另外，计算机程序产品可以包括计算机可读存储介质，其具有适于执行本文描述的至少一个方法步骤的代码，包括为系统提供不同的软件模块。
在任何情况下，都应当理解的是，本文所示的组件可以以各种形式的硬件、软件或其组合来实现，例如，专用集成电路(ASIC)、功能电路系统、具有相关联的存储器的适当编程的数字计算机等。给定本文提供的本发明的教导，相关领域的普通技术人员将能够预期本发明的组件的其它实现。
首先应当理解，尽管本公开包括关于云计算的详细描述，但其中记载的技术方案的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。
云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征包括：
按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。
广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。
资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。
迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。
可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。
服务模型如下：
软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。
平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。
基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。
部署模型如下：
私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
云计算环境是面向服务的，特性集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。
现在参考图6，其中显示了示例性的云计算环境50。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理(PDA)或移动电话54A，台式电脑54B、笔记本电脑54C和/或汽车计算机系统54N。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解，图6显示的各类计算设备54A-N仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。
现在参考图7，其中显示了云计算环境50(图6)提供的一组功能抽象层。首先应当理解，图3所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图7所示，提供下列层和对应功能：
硬件和软件层60包括硬件和软件组件。硬件组件的例子包括：主机61；基于RISC(精简指令集计算机)体系结构的服务器62；服务器63；刀片服务器64；存储设备65；网络和网络组件66。软件组件的例子包括：网络应用服务器软件67以及数据库软件68。
虚拟层70提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器71、虚拟存储72、虚拟网络73(包括虚拟私有网络)、虚拟应用和操作系统74，以及虚拟客户端75。
在一个示例中，管理层80可以提供下述功能：资源供应功能81：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能82：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能83：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(SLA)计划和履行功能85：为根据SLA预测的对云计算资源未来需求提供预先安排和供应。
工作负载层90提供云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航91；软件开发及生命周期管理92；虚拟教室的教学提供93；数据分析处理94；交易处理95；以及聊天机器人比较逻辑96。
本文所使用的术语仅出于描述特定实施例的目的，而无意于限制本发明。如本文所使用的，单数形式“一”、“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。还将理解的是，当在本说明书中使用术语“包括”和/或“包含”时，其指定了所述特征、步骤、操作、元件和/或组件的存在，但并不排除另一个特征、步骤、操作、元素、组件和/或其组的存在或添加。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种计算机实现的方法，该方法包括以下步骤：
获得与第一聊天机器人相关联的第一聊天机器人规范，该第一聊天机器人规范包括按多个类别布置的第一多个特性；
获得与第二聊天机器人相关联的第二聊天机器人规范，该第二聊天机器人规范包括按多个类别布置的第二多个特性；
至少部分地基于所述第一多个特性和所述第二多个特性来为所述多个类别中的每个类别识别所述第一多个特性与所述第二多个特性之间的一个或多个差异；
生成与识别出的一个或多个差异对应的自然语言表达；以及
经由图形用户界面向用户呈现所生成的自然语言表达；
其中所述步骤由至少一个计算设备执行。
2.如权利要求1所述的计算机实现的方法，其中所述多个类别包括意图、实体、实体值和对话状态。
3.如权利要求1所述的计算机实现的方法，包括：
对于每个类别对照该类别的特性来量化识别出的差异。
4.如权利要求3所述的计算机实现的方法，
其中对于每个类别量化识别出的差异包括针对每个类别确定第一聊天机器人和第二聊天机器人中的每一个的评分；以及
经由所述图形用户界面向所述用户呈现针对每个类别的第一聊天机器人和第二聊天机器人中的每一个的所述评分。
5.如权利要求4所述的计算机实现的方法，其中针对给定类别所述确定第一聊天机器人和第二聊天机器人中的每一个的评分包括：
确定给定类别中的独特特性的总数；
至少部分地基于与第一聊天机器人相关联的所述第一多个特性中的特性的数量与特性总数之比来确定第一聊天机器人的第一评分；以及
至少部分地基于与第二聊天机器人相关联的所述第二多个特性中的特性的数量与特性总数之比来确定第二聊天机器人的第二评分。
6.如权利要求4所述的计算机实现的方法，其中所述经由图形用户界面向用户呈现针对每个类别第一聊天机器人和第二聊天机器人中的每一个的评分包括呈现第一聊天机器人和第二聊天机器人中的哪一个在每个所述类别中具有较高评分的指示。
7.如权利要求1所述的计算机实现的方法，包括：
获得与第一聊天机器人和第二聊天机器人的领域对应的领域本体，其中所述第一多个特性和第二多个特性被映射到所述领域本体中的特性。
8.如权利要求7所述的计算机实现的方法，包括：
基于所述映射，确定所述第一多个特性与所述领域本体中的特性之间的差异；
基于所述映射，确定所述第二多个特性与所述领域本体中的特性之间的差异；
至少部分地基于(i)针对每个类别确定的所述第一多个特性与所述领域本体中的特性之间的差异，以及(ii)针对每个类别确定的所述第二多个特性与所述领域本体中的特性之间的差异，针对每个类别相对于所述领域本体对第一聊天机器人和第二聊天机器人中的每一个进行评分；以及
经由所述图形用户界面向所述用户呈现相对于所述领域本体的第一聊天机器人和第二聊天机器人中的每一个的评分。
9.一种计算机程序产品，包括计算机可读存储介质，该计算机可读存储介质具有在其上实施的程序指令，所述程序指令能够由计算设备运行以使所述计算设备执行根据权利要求1-8中的任一方法的操作。
10.一种系统，包括：
存储器；以及
至少一个处理器，其操作地耦合到所述存储器并且被配置用于执行根据权利要求1-8中的任一方法的操作。
11.一种计算机系统，包括执行根据权利要求1-8中的任一方法的步骤的模块。
12.一种计算机实现的方法，该方法包括以下步骤：
获得与聊天机器人相关联的聊天机器人规范，该聊天机器人规范包括按多个类别布置的多个特性；
获得与所述聊天机器人的领域相关联的领域本体，该领域本体包括按所述多个类别布置的多个特性，所述领域本体的所述多个特性包括所述聊天机器人规范的所述多个特性；
至少部分地基于所述聊天机器人规范的所述多个特性和所述领域本体的所述多个特性，为所述多个类别中的每个类别识别所述聊天机器人规范与所述领域本体之间的一个或多个差异；
至少部分地基于识别出的所述聊天机器人规范与所述领域本体之间的一个或多个差异，针对每个类别生成所述聊天机器人规范的评分；
生成与识别出的一个或多个差异对应的自然语言表达；以及
经由图形用户界面向用户呈现所生成的自然语言表达和所述评分；
其中所述步骤由至少一个计算设备执行。
13.一种系统，包括：
存储器，具有计算机可读指令；和
一个或多个处理器，用于执行所述计算机可读指令，所述计算机可读指令控制所述一个或多个处理器以执行根据权利要求12的方法的操作。
14.一种计算机程序产品，包括计算机可读存储介质，该计算机可读存储介质具有在其上实施的程序指令，所述程序指令能够由处理器运行以使所述处理器执行根据权利要求12的方法的操作。
15.一种计算机系统，包括执行根据权利要求12的方法的步骤的模块。
CN202010297817.5A 2019-04-18 2020-04-16 聊天机器人能力的自动语义分析和比较 Active CN111832311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/388,031 US11163960B2 (en) 2019-04-18 2019-04-18 Automatic semantic analysis and comparison of chatbot capabilities
US16/388,031 2019-04-18

Publications (2)

Publication Number Publication Date
CN111832311A true CN111832311A (zh) 2020-10-27
CN111832311B CN111832311B (zh) 2024-10-22

Family

ID=72832563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010297817.5A Active CN111832311B (zh) 2019-04-18 2020-04-16 聊天机器人能力的自动语义分析和比较

Country Status (2)

Country Link
US (1) US11163960B2 (zh)
CN (1) CN111832311B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11729121B2 (en) * 2021-04-29 2023-08-15 Bank Of America Corporation Executing a network of chatbots using a combination approach
US11824818B2 (en) * 2021-04-29 2023-11-21 Bank Of America Corporation Building and training a network of chatbots

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979397A (zh) * 2016-06-27 2016-09-28 乐视控股（北京）有限公司 一种跨设备群聊的方法及系统
CN106796665A (zh) * 2014-07-24 2017-05-31 X开发有限责任公司 生成用于机器人系统的指令以执行任务的方法和系统
CN107870977A (zh) * 2016-09-27 2018-04-03 谷歌公司 基于用户状态形成聊天机器人输出
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
US20180287968A1 (en) * 2017-04-03 2018-10-04 Microsoft Technology Licensing, Llc Conversation Bot Discovery and Response Fusion
US20190065465A1 (en) * 2017-08-31 2019-02-28 Entit Software Llc Chatbot version comparison
US20190073197A1 (en) * 2017-09-01 2019-03-07 Nationwide Mutual Insurance Company Chatbot development and deployment platform

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP5301310B2 (ja) 2009-02-17 2013-09-25 株式会社日立製作所 異常検知方法及び異常検知システム
US8843834B2 (en) 2009-08-28 2014-09-23 Apple Inc. Method and apparatus for initiating and managing chat sessions
US8762375B2 (en) * 2010-04-15 2014-06-24 Palo Alto Research Center Incorporated Method for calculating entity similarities
US8688690B2 (en) * 2010-04-15 2014-04-01 Palo Alto Research Center Incorporated Method for calculating semantic similarities between messages and conversations based on enhanced entity extraction
JP2012137934A (ja) 2010-12-27 2012-07-19 Hitachi Ltd 異常検知・診断方法、異常検知・診断システム、及び異常検知・診断プログラム並びに企業資産管理・設備資産管理システム
US8983826B2 (en) * 2011-06-30 2015-03-17 Palo Alto Research Center Incorporated Method and system for extracting shadow entities from emails
US9075713B2 (en) 2012-05-24 2015-07-07 Mitsubishi Electric Research Laboratories, Inc. Method for detecting anomalies in multivariate time series data
US11128579B2 (en) * 2016-09-29 2021-09-21 Admithub Pbc Systems and processes for operating and training a text-based chatbot
EP3407548B1 (en) * 2017-05-22 2021-08-25 Sage Global Services Limited Chatbot system
EP3639158A4 (en) * 2017-06-15 2020-11-18 Microsoft Technology Licensing, LLC METHOD AND DEVICE FOR INTELLIGENT AUTOMATED CHAT
EP3619619A4 (en) * 2017-06-29 2020-11-18 Microsoft Technology Licensing, LLC GENERATION OF RESPONSES IN AN AUTOMATED ONLINE CONVERSATION SERVICE
KR20190004495A (ko) * 2017-07-04 2019-01-14 삼성에스디에스 주식회사 챗봇을 이용한 태스크 처리 방법, 장치 및 시스템
US11394667B2 (en) * 2017-10-03 2022-07-19 Rupert Labs, Inc. Chatbot skills systems and methods
US20190103111A1 (en) * 2017-10-03 2019-04-04 Rupert Labs Inc. ( DBA Passage AI) Natural Language Processing Systems and Methods
JP7095254B2 (ja) * 2017-10-10 2022-07-05 トヨタ自動車株式会社 対話システムおよびドメイン決定方法
US10742572B2 (en) * 2017-11-09 2020-08-11 International Business Machines Corporation Chatbot orchestration
KR101999780B1 (ko) * 2017-12-11 2019-09-27 주식회사 카카오 가상 챗봇을 이용하여 인스턴트 메시징 서비스를 제공하는 서버, 단말 및 방법
US10997258B2 (en) * 2018-02-28 2021-05-04 Fujitsu Limited Bot networks
EP3766066B1 (en) * 2018-04-19 2024-02-21 Microsoft Technology Licensing, LLC Generating response in conversation
US10305826B1 (en) * 2018-05-03 2019-05-28 Progressive Casualty Insurance Company Intelligent conversational systems
US10909970B2 (en) * 2018-09-19 2021-02-02 Adobe Inc. Utilizing a dynamic memory network to track digital dialog states and generate responses
US11521114B2 (en) * 2019-04-18 2022-12-06 Microsoft Technology Licensing, Llc Visualization of training dialogs for a conversational bot

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796665A (zh) * 2014-07-24 2017-05-31 X开发有限责任公司 生成用于机器人系统的指令以执行任务的方法和系统
CN105979397A (zh) * 2016-06-27 2016-09-28 乐视控股（北京）有限公司 一种跨设备群聊的方法及系统
CN107870977A (zh) * 2016-09-27 2018-04-03 谷歌公司 基于用户状态形成聊天机器人输出
US20180287968A1 (en) * 2017-04-03 2018-10-04 Microsoft Technology Licensing, Llc Conversation Bot Discovery and Response Fusion
US20190065465A1 (en) * 2017-08-31 2019-02-28 Entit Software Llc Chatbot version comparison
US20190073197A1 (en) * 2017-09-01 2019-03-07 Nationwide Mutual Insurance Company Chatbot development and deployment platform
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法

Also Published As

Publication number Publication date
US11163960B2 (en) 2021-11-02
CN111832311B (zh) 2024-10-22
US20200334332A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
US20190149617A1 (en) Migration of applications to a computing environment
US11574233B2 (en) Suggestion and completion of deep learning models from a catalog
US9177554B2 (en) Time-based sentiment analysis for product and service features
US10977443B2 (en) Class balancing for intent authoring using search
US10621497B2 (en) Iterative and targeted feature selection
US20190138647A1 (en) Designing conversational systems driven by a semantic network with a library of templated query operators
US11455337B2 (en) Preventing biased queries by using a dictionary of cause and effect terms
US10777191B2 (en) Visually exploring and prioritizing discordant conversations with conversational bots
US20200302350A1 (en) Natural language processing based business domain modeling
US9313284B2 (en) Smart posting with data analytics and semantic analysis to improve a message posted to a social media service
US20190272303A1 (en) Network search mapping and execution
CN111832311B (zh) 聊天机器人能力的自动语义分析和比较
US10691764B2 (en) Search engine optimization techniques
US10803246B2 (en) Decomposing composite product reviews
US10776411B2 (en) Systematic browsing of automated conversation exchange program knowledge bases
US11416686B2 (en) Natural language processing based on user context
US11144705B2 (en) Cognitive multiple-level highlight contrasting for entities
US10430609B2 (en) Low privacy risk and high clarity social media support system
US11138273B2 (en) Onboarding services
US11971886B2 (en) Active learning for natural language question answering
US12050575B2 (en) Mapping of heterogeneous data as matching fields
US11651013B2 (en) Context-based text searching
US20220358152A1 (en) Model performance through text-to-text transformation via distant supervision from target and auxiliary tasks
US20210166282A1 (en) Personalized Dynamic Sub-Topic Category Rating from Review Data
US12028295B2 (en) Generating a chatbot utilizing a data source

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant