CN107112013B - 用于创建可定制对话系统引擎的平台 - Google Patents

用于创建可定制对话系统引擎的平台 Download PDF

Info

Publication number
CN107112013B
CN107112013B CN201580056559.9A CN201580056559A CN107112013B CN 107112013 B CN107112013 B CN 107112013B CN 201580056559 A CN201580056559 A CN 201580056559A CN 107112013 B CN107112013 B CN 107112013B
Authority
CN
China
Prior art keywords
dialog system
dialog
developer
server
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580056559.9A
Other languages
English (en)
Other versions
CN107112013A (zh
Inventor
伊利亚·格尔芬宾
阿尔乔姆·贡恰鲁克
帕维尔·西罗廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202011000321.3A priority Critical patent/CN112270925B/zh
Publication of CN107112013A publication Critical patent/CN107112013A/zh
Application granted granted Critical
Publication of CN107112013B publication Critical patent/CN107112013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/247Thesauruses; Synonyms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/253Grammatical analysis; Style critique
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/268Morphological analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936Speech interaction details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/0012Details of application programming interfaces [API] for telephone networks; Arrangements which combine a telephonic communication equipment and a computer, i.e. computer telephony integration [CPI] arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/35Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/355Interactive dialogue design tools, features or methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42136Administration or customisation of services
    • H04M3/4217Managing service interactions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/527Centralised call answering arrangements not requiring operator intervention

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用于创建定制对话系统引擎的系统和方法。该系统包括安装在第一服务器或用户设备上的对话系统接口以及部署在第二服务器上的平台。该平台被配置成接收与开发者简档相关联的对话系统实体和意图以及将该对话系统实体与对话系统意图相关联,以形成与对话系统接口相关联的定制对话系统引擎。web平台接收来自对话系统接口的用户请求,基于识别激活所述定制对话系统引擎,以及检索对话系统实体和意图。通过应用对话系统实体和意图处理用户请求,以生成对用户请求的响应。将该响应发送至对话系统接口。

Description

用于创建可定制对话系统引擎的平台
技术领域
本公开总体上涉及对话系统。更具体地说,本公开涉及用于创建针对对话系统接口的定制对话系统引擎的方法和平台。该平台使开发者或工程师能够创建操作为用于对话系统接口的后端服务的定制对话系统引擎,该对话系统接口能够是软件应用、移动应用、网站或web服务的主要部分。
背景技术
传统的对话系统普遍被使用在信息技术产业中,尤其是以用于无线电话和平板计算机的移动应用形式被使用。通常地,对话系统涉及具有用于访问、处理、管理和递送信息的人为中心接口的基于计算机的代理。对话系统还被称作为聊天信息系统、口述对话系统、交谈代理、聊天机器人(chatter robots)、聊天机器人(chatterbots)、聊天机器人(chatter robots)、聊天代理、数字个人助理、自动在线助理等。全部这些术语是在本公开的范围内并且为了简便起见,被称作为“对话系统”。
通常,对话系统与其的用户以自然语言交互,以模拟智能对话并且向用户提供个性化的辅助。例如,用户可以以诸如“Where is the nearest hotel?(最近的酒店在哪?)”或“What is the weather like in Alexandria?(亚历山大的天气怎么样?)”的传统查询的形式向对话系统生成请求,并且以音频和/或可显示消息的形式接收来自对话系统的对应回答。用户还可以向请求执行某个功能的对话系统提供语音命令(voice command),所述某个功能包括例如生成电子邮件、打电话、检索具体信息、获取数据、导航、请求通知或提醒等。这些和其它功能使得对话系统非常流行,因为它们尤其是对于诸如智能电话、蜂窝电话、平板计算机、游戏控制台等的便携式电子设备的持有人具有很大帮助。
虽然对对话系统的需求正在不断发展,但是创建对话系统并不是一件容易的任务。每个对话系统具有对话系统引擎,该对话系统引擎负责接收用户语音输入并且然后将它们转换成文本输入、解释文本输入、生成对文本输入的对应响应、以及向用户递送响应。因为对话系统采用了人工智能,所以解释输入并且寻找合适的响应可能是复杂的且并非无关紧要的。因此,许多开发者和工程师能够努力开发能够处理宽泛范围的用户请求的良好运行的对话系统。对于以创建对话系统并将对话系统整合成新的软件或硬件产品的软件或工程公司还能够是非常昂贵的。
发明内容
本发明内容被提供用于以简单的形式引入概念的选择,该简单的形式将会在以下具体实施例中进一步描述。本发明内容不旨在识别所要求保护主题的关键特征或必要特征,也不旨在被用作为帮助确定所要求保护的主题的范围。
根据本公开的一个示例实施例,提供一种用于创建针对对话系统接口的定制对话系统引擎的方法。该方法能够包括由包括至少一个处理器和存储处理器可执行代码的存储器的第一服务器,使开发者能够创建开发者简档。该方法可以进一步包括由第一服务器接收与开发者简档相关联的一个或多个对话系统实体和与开发者简档相关联的一个或多个对话系统意图。可以由第一服务器将一个或多个对话系统实体与一个或多个对话系统意图相关联,以形成定制对话系统引擎。定制对话系统引擎可以与对话系统接口相关联。该方法可以继续进行由第一服务器或第二服务器接收来自对话系统接口的用户请求。对话系统接口可以被安装在用户设备或第三服务器上。可以基于与用户请求一起发送的识别,由第一服务器和第二服务器识别对话系统接口。基于对话系统接口的识别,可以激活定制对话系统引擎,以及可以由第一服务器或第二服务器检索一个或多个对话系统实体和一个或多个对话系统意图。进一步地,通过应用一个或多个对话系统实体和一个或多个对话系统意图,由第一服务器或第二服务器处理用户请求。基于该处理,对用户请求的响应可以由第一服务器或第二服务器生成并且将其发送至对话系统接口。
此外,可以显示所生成的响应或者将所生成的响应向用户播放。
从结合以下附图的说明中将会显而易见本公开和方面的其它示例实施例。
附图说明
实施例通过示例而不是限制的方式在附图的图中进行图示,其中,相同的引用标号指示相同的元素并且其中:
图1根据一些实施例图示在能够实现用于创建针对对话系统接口的定制对话系统引擎的系统和方法内的环境。
图2是根据示例实施例示出用于使用平台创建定制对话系统引擎和用于操作该平台的方法的过程流程图。
图3根据示例实施例示出示例性对话系统引擎的高级架构。
图4是图示适用于实现用于创建客户对话系统引擎的方法的示例用户设备的高级框图。
图5示出根据示例实施例的用于创建新对话系统实体的平台接口的示例图形用户接口(GUI)。
图6示出根据示例实施例的用于创建新对话系统意图的平台接口的示例GUI。
图7示出根据示例实施例的用于提供用于通过对话系统处理请求的日志的平台接口的示例GUI。
具体实施方式
在以下描述中,阐述了若干个具体细节,以便提供对所提出的概念的透彻理解。所提出的概念可以在没有这些具体细节的一些或全部的情况下进行实践。在其它实例中,众所周知的过程操作没有进行详细描述,以避免不必要地混淆所描述的概念。虽然将一些概念与具体实施例结合进行描述,但是将会理解的是这些实施例并不旨在作为限制。
本技术提供一种使能够以容易的方式创建用作针对定制对话系统接口的后端服务的定制对话系统引擎的平台。对话系统接口至少能够部分实现为各种软件应用、移动应用、中间件应用、固件应用、网站、web服务等的部分。换言之,对话系统接口是在客户端侧上并且提供一种至少被配置为获取用户输入并且向用户递送对话系统输出的计算机-人接口。另一方面,对话系统引擎通过处理用户输入和生成对所述输入的对应响应来支持对话系统接口。因此,对话系统引擎和对话系统接口在与彼此交互时形成对话系统。一种可以涉及运行在客户端设备上或从客户端设备访问的对话系统接口作为“前端”用户接口,同时支持这种对话系统接口的操作的对话系统引擎能够被称作为“后端”服务。
根据本公开的各种实施例,平台允许开发者和工程师创建将会支持前端对话系统接口的定制对话系统引擎。例如,如果软件开发者想要将对话系统功能整合在移动应用内作为附加特征,则开发者能够使用平台创建和部署定制对话系统引擎并且将其与移动应用链接。反过来,移动应用将会仅具有对话系统接口。在这个示例中,当用户与移动应用交互时,能够由用户激活对话系统接口。用户能够以语音输入或文本输入的形式对对话系统接口进行查询。在接收用户的查询之后,在对使用平台先前创建的所链接的定制对话系统引擎无需太多处理的情况下,对话系统接口能够传递用户的查询。定制对话系统引擎处理所接收的用户查询、解释其、并且基于预定规则和设置生成对查询的响应。然后,将响应递送至用于进一步对用户的视觉或音频表示的对话系统接口。
通常地,对话系统接口能够被整合或是运行在诸如个人计算机(PC)或蜂窝电话的客户端设备上的宽范围的软件应用的主要部分,或者能够被整合在服务器上使得对话系统变成网站或web服务的部分。对话系统引擎能够被实现在服务器上,使得它们的功能能够通过互联网、蜂窝网络或任何其它通信设备访问对话系统接口。
图1示出适用于实践本技术的示例系统环境100的高级框图。如能够在图1上看到的,这里提供了用于创建和维持定制对话系统引擎的平台110。为此,平台110包括用于创建定制对话系统引擎的平台接口112和用于维持和运行定制对话系统引擎120的后端服务114。在一些实施例中,平台110是web平台。
平台接口112可以包括嵌入至网页中并且可由开发者经由互联网访问的GUI。然而,在一些其它的实施例中,平台接口112可以被实现为诸如可下载软件应用或任何其它软件的软件应用、中间件或运行在诸如计算机的电子设备上的固件或可通过诸如计算机的电子设备访问的固件。在图1中示出的示例中,平台接口112被实现为作为将会在以下描述的web可访问GUI。为了简便起见,这个公开被限制于这样的实施例,其中平台接口112是基于服务器的解决方案,使得其经由互联网是可访问的。不管具体实施方式如何,平台接口112使开发者能够通过数个GUI工具创建一个或多个定制对话系统引擎120。
仍然参照图1,后端服务114负责例如通过或利用平台接口112的帮助维持和运行被创建的定制对话系统引擎120。后端服务114可以操作为通过使它们的对话系统接口能够与维持在平台110的后端服务114处的定制对话系统引擎120交互,将功能提供至定制对话系统的web服务。
如上简要所述,对话系统接口130能够被提供在客户端侧140上。对话系统接口130可以是简单的如使用户能够进行查询的GUI,然后将查询递送至用于通过对应对话系统引擎120处理的后端服务114,并且使能够接收对通过对话系统引擎120生成的查询的响应。对话系统接口130可以被实现为独立软件应用,或者其能够是软件应用、web服务、网站等的主要部分。
仍参照图1,客户端侧140可以涉及,但不限于,用户设备、终端、计算设备(例如,膝上型计算机、平板计算机、台式计算机)、蜂窝电话、智能电话、个人数字助理(PDA)、游戏控制台、远程控制、多媒体系统、智能电视设备、机顶盒、信息娱乐系统、车载计算设备、信息亭、机器人等。在这些实施例中,一个或多个对话系统接口130可以被实现为安装在这样的设备上的软件、中间件或固件。
在附加的实施例中,客户端侧140可以指诸如服务器、托管服务、web服务、网站、云服务等的联网的或在线的解决方案。例如,对话系统接口130能够是提供在使终端用户能够进行查询并且获得对其的响应的一个或多个的网页上的小工具(widget)或GUI。例如,这个部分是适用于当开发者想要将对话系统整合成他的网站以提供提升的用户服务的这些实例。
如图1中能够看见的,经由通信网络150执行对话系统接口130和对应的定制对话系统引擎120之间的交互。通信网络150可以包括互联网、内联网、蜂窝网、LAN、WAM、基于IEEE802.11的网络等中的一个或多个。
图1还示出经由一个或多个web服务器提供的各种第三方web资源/服务160。这些第三方web资源/服务160能够将各种类型的信息提供至定制对话系统引擎120或对话系统接口130,作为对用户请求的响应的部分。例如,web资源/服务160可以指电子邮件服务、天气服务、导航服务等。因此,如果用户进行“What is the weather like today?(今天的天气怎么样?)”的查询,则这样的信息可以通过来自一个或多个第三方web资源/服务160的对话系统引擎120自动地获得并且然后被整合成将被递送至终端用户的对话系统响应。
现将会参照图1和其它附图描述创建和操作定制对话系统引擎120的过程。具体地,平台接口112提供了具有使开发者/工程师能够创建和自定义作为针对定制对话系统引擎的基础的一个或多个“对话系统元素”的数个工具的一个或多个GUI。
根据各种实施例,对话系统元素至少包括“实体”和“意图”。每个“实体”可以指具有相同或相似特性的数个对象。换言之,实体是限定一个类的对象的关键字的列表。在一个示例中,实体可以指关键字和其同义字的集合。在另一个示例中,实体可以指关键字和其定义的集合。在另外一个示例中,实体可以指列表(例如,城市的列表、名称的列表、标题的列表、品牌的列表、街道名称的列表等)。
在一些实施例中,能够自动地扩展与实体相关联的对象的列表。例如,机器学习技术能够被使用为建议一个或多个新对象与实体相关联。能够使用大量文本和/或词汇表训练机器学习算法。通过示例的方式而不是限制的方式,定制对话系统引擎120的开发者能够利用诸如例如纽约和洛杉矶的值限定实体@城市。如果定制对话系统引擎的用户发出或录入字“华盛顿D.C”,则实体@城市能够自动地扩展至纽约、洛杉矶和华盛顿D.C,因为机器学习算法可以确定“华盛顿D.C”与列于实体@城市中的对象相关。在一些实施例中,用户能够被要求成确认所建议的对象与一个或多个实体相关。
在进一步的实施例中,实体能够包括其它实体的列表。例如,开发者能够限定实体@车作为实体的列表(@制造、@模型),其中@制造和@模型的值利用能够相关联的@制造和@模块可以被设定为任何对象。例如,实体@车能够包括作为{制造:“本田”;模型:“雅阁(Accord)”}、{制造“福特”;模块“嘉年华(Fiesta)”}等的组合对象。
此外,每个“意图”能够包括对话系统交互方案,该对话系统交互方案提供用户请求和对话系统响应之间的特定关系。在一些实施例中,意图能够被确定为明确地包括对实体的一个或多个引用的模式。示例模式是“what is the weather in@city:city(@城市:城市的天气怎么样)”,其中“@城市:城市”是用于实体@城市的引用和在实体@城市内的参数城市。在某些附加的实施例中,为了确定意图,而不提供含有用于“实体”的明确引用的模式,开发者仅仅能够提供示例请求(短语)以例示意图和实体。在这些实施例中,平台110自动地确定使用机器学习技术,在示例请求中隐含了哪些“实体”和“意图”。
基于模式和/或示例,请求平台110可以创建对应的动作。该动作能够包括名称和一个或多个参数。例如,可以以以下的方式录入请求:“weather forecast for LosAngeles(洛杉矶的天气预报)”。机器学习技术能够确定具有名称“天气”和参数名称:数据类型的城市@城市的动作。
因此,开发者能够使用平台接口112以生成多个实体和多个意图,二者是针对于特定应用或工业。这些多个实体和多个意图形成对话系统引擎120并且响应于终端用户输入的宽范围,使能够它们形成某些动作或生成某些输出。在某些实施例中,意图能够包括通用结构:意图的名称(仅针对用户引用)、模式和/或示例请求的列表、动作的名称、与动作相关联的参数和与动作相关联的履行。该履行可以包括文本(在屏幕上的突出显示的文本)、或用于向web服务呼叫的代码、做出对数据库的请求等。在一些实施例中,平台112能够提供用于开发者的动作并且允许开发者将直接与动作相关联的定制履行写入至定制对话系统引擎120内。在某些实施例中,开发者可以在客户端140上接收动作(动作的名称和参数)并且写入定制履行。例如,定制履行可以包括对网站或数据库的请求以检索信息(天气预报、交通信息、导航等),以执行对话系统接口正在其上运行的设备的一些操作等。
在一些实施方式中,对话系统元素可以包括一个或多个场境。这些场境能够包括含有在针对特定终端用户的会话期间用于意图的标签、关键词、或提示(clue)的一个或多个参数。这些场境可以包括标签的先决条件和布尔式(Boolean)表达。能够基于输入场境触发意图。例如,当满足某个先决条件或先决条件的布尔式表达是真时,能够触发意图。当基于用户的请求执行意图时,输出场境被设置成终端用户会话。在各种实施例中,输出场境能够在包括若干用户请求的用户会话内被指派确定寿命。在一些实施例中,输出场境的寿命能够被测量为在用户的会话期间做出的数个请求。在用户会话内,存在当前场境状态和事后执行(post-execution)场境状态,所述当前场境状态响应于下一个用户请求存在在执行意图之前,所述事后执行场境状态被设置在执行意图之后。事后执行场境状态基于用户请求和执行意图的结果能够包括一个或多个新添加的场境。旧场境中的一些能够基于执行意图的结果或由于其的期满从事后执行状态删除。
在进一步的实施例中,能够将一个或多个属性或参数指派给场境。属性能够在意图的执行期间被识别并且在与意图相关联的动作中被使用。从场境检索的值能够形成动作的参数。在意图的执行之后,属性能够进一步被放在输出场境中。
图2是根据示例实施例示出用于使用平台110创建定制对话系统引擎和用于操作平台110的方法200的过程流程图。可以由处理逻辑执行方法200,所述处理逻辑包括硬件(例如,决策逻辑、专用逻辑、可编程逻辑和微代码)、软件(诸如,在通用计算机系统或专用机器上运行的软件)或二者的组合。在一个示例实施例中,处理逻辑指平台110的一个或多个组件。值得注意的是,方法200的以下引用的步骤可以以和描述和示出在图2中不同的顺序来实现。另外,方法200可以具有未示出在本文中的附加的步骤,但是根据本公开,这些附加的步骤对于本领域内的技术人员来说能够是显而易见的。方法200还可以具有比如下所述并且示出在图2中的步骤更少的步骤。
本方法200从使开发者(或工程师)能够向平台110登记的操作202处开始并且由第一服务器创建开发者简档,所述第一服务器包括至少一个处理器和存储处理器可执行代码的存储器。为此,开发者与平台接口112交互。开发者简档可以实际上链接(关联)开发者的定制对话系统引擎120和部署在客户端侧的一个或多个对话系统接口130。链接可以包括规定的应用程序代码(API)、用于交互的规则、目的地地址等。在某些实施例中,能够有多个开发者访问开发者简档。在操作202处,方法可以允许开发者创建一个或多个对话系统。每个对话系统能够与访问标识符(ID)相关联。访问ID能够被用于经由认证从客户端侧140访问对话系统。在各种实施例中,访问ID可以包括令牌、(数字)键等。
在操作204处,平台110从开发者接收一个或多个对话系统实体并且将它们存储在数据库处。在一些实施例中,没有接收实体但是由开发者使用平台接口112的web工具创建实体。对话系统实体可以包括关键字和关键字的至少一个同义字、关键字和关键字的至少一个限定、限定一个类的对象的关键字的列表等。
在操作206处,平台110从开发者接收一个或多个对话系统意图并且将它们存储在数据库处。在一些实施例中,没有接收对话系统意图但是由开发者使用平台接口112的工具创建对话系统意图。如上所述,意图形成对话系统元素(定制逻辑使对话系统引擎能够生成定做用于特定需求的响应)。对话系统意图可以包括对话系统交互方案、限定在用户请求和对话系统响应之间的关系的规则、特定动作和一个或多个对话系统实体之间的关系的规则等。在一些实施例中,开发者能够明确地限定一个或多个对话系统实体以将其使用在一个或多个对话系统意图中。附加地或替选地,开发者能够提供示例请求(短语)。基于示例请求,平台110可以建议一个或多个对话系统实体。为了建议实体,平台110可以首先在操作204处在由开发者提供的实体列表中搜索适当的实体。在一些实施例中,平台110可以建议经由机器学习技术的新对话系统实体。开发者能够被允许批准、修改或改变所建议的新对话系统实体的参数。
应该注意的是实体的限定不是静态的。在进一步的操作期间,平台110可以动态地重新限定由开发者限定的实体。能够基于用户简档、偏好、用户请求等重新限定(增大)实体。在进一步的过程中,通过平台110使用重新限定的实体。
在操作208处,平台110将一个或多个对话系统意图与一个或多个对话系统动作相关联,以创建(形成)定制对话系统引擎120。定制对话系统引擎120与开发者的一个或多个对话系统接口130相关联。通过与对话系统实体相关联的名称和别名集合限定动作中的每个。
操作202至208例示用于定制对话系统引擎120的建立过程,同时操作210至218例示定制对话系统引擎120的操作。具体地,一旦创建定制对话系统引擎120的全部对话系统元素,它们就被维持为后端服务并且使任何所关联的对话系统接口130能够根据预定设置向用户提供对话系统的全部功能。
具体地,在操作210处,平台110从未识别的对话系统接口接收用户请求。用户请求能够是语音输入或是文本输入。在一些实施例中,例如,对话系统接口能够通过识别所口述的字并且将语音输入转换成文本输入来预处理用户输入。然而,在其它实施例中,没有通过对话系统接口执行预处理。
在操作212处,平台110执行用户请求并且识别对话系统接口。用户请求能够伴随有标识符,同时能够将用户请求从对话系统接口发送至平台110。
在操作214处,基于在操作212处的识别的结果,平台110激活与所识别对话系统接口130相关联的定制对话系统引擎120。在相同的操作214处,平台110还可以基于在操作212处的识别的结果检索或识别一个或多个对话系统元素(即,一个或多个实体以及一个或多个的意图)。在操作214处,平台110可以识别与用户请求和特定请求会话相关联的场境(一个或多个标签、键、提示和其的逻辑表达)。
在操作216处,定制对话系统引擎120使用所提及的如在操作214处检索的对话系统元素(即,一个或多个实体以及一个或多个意图)处理用户请求。能够基于场境触发一个或多个意图。能够基于用户请求预设、确定场境,并且在触发一个或多个意图之后进一步改变场境。场境能够是针对特定用户和该用户的特定会话。参照图3进一步描述对话系统处理的一些示例。
在操作218处,定制对话系统引擎120生成响应并且将其发送至与定制对话系统引擎120相关联的对话系统接口130。响应可以包括特定数据,例如文本消息和/或一个或多个动作。每个动作能够包括动作的名称和利用一个或多个意图和一个或多个实体的使用识别的参数集。对话系统接口130然后可以根据预定的设置向终端用户显示或播放文本消息。对话系统接口130还能够基于一个或多个动作使用动作名称和参数集并且根据与动作相关联的定制履行执行一个或多个操作。在一些实施例中,定制对话系统引擎120能够处理定制履行并且向对话系统接口130发送结果。
图3根据示例实施例示出示例性对话系统引擎120的高级架构300。应该注意的是对话系统引擎120的每个模块或相关联的架构包括硬件组件、软件组件或其的组合。对话系统引擎120可以嵌入或安装在用户设备或服务器中,或者可以被呈现为云计算模块和/或分布式计算模块。
在所示的实施例中,对话系统引擎120包括自动语音识别器(ASR)310,该自动语音识别器(ASR)被配置成接收和处理进入至参数矢量序列中的基于话音的用户输入。ASR 310进一步将参数矢量序列转换成所识别的输入(即,具有一个或多个字、短语、或句子的文本输入)。ASR 310包括诸如基于模式的话音识别器、自由听写识别器、基于地址薄的识别器、动态创建识别器等的一个或多个话音识别器。
进一步的,对话系统引擎120包括用于理解口述语言输入的自然语言处理(NLP)模块320。具体地,NLP模块320可以拆解和解析所识别的输入以产生发音,其然后利用例如形态分析、词性标注(part-of-speech tagging)、浅层解析、神经网络、机器学习分类器、模式开采(pattern-mined)分类器等进行分析。NLP模块320可以然后向有意义的表示映射所识别的输入或者其的部分。
对话系统120进一步包括对话管理器330,该对话管理器330协同全部组件的活动、控制对话流、以及与外部应用、设备、服务或资源通信。对话管理器330可以扮演许多角色,这些角色包括谈话分析、知识数据库查询和基于谈话场境的系统动作预测。在一些实施例中,对话管理器330可以接触可以具有特定任务域的知识的一个或多个任务管理器(未示出)。在一些实施例中,对话管理器330可以与各种计算、逻辑、或存储资源340进行通信,其可以包括例如内容存储、规则数据库、推荐数据库、推送通知数据库、电子地址薄、电子邮件或文本代理(text agent)、对话历史数据库、全异(disparate)知识数据库、映射数据库、兴趣点数据库、地理位置确定器、时钟、无线网络检测器、搜素引擎、社交网络网站、博客网站、新馈送服务等等。在一些实施例中,计算或存储资源340包括上述的一个或多个web资源/服务160。
在操作期间,例如在对话会话内,对话管理器330可以根据输入或输出场境控制对话流。输入场境表示用于意图执行的先决条件中的一些。特定意图将会仅在确定输入场境被呈现在用户请求中或作为执行先前意图的结果的条件下而触发。如果能够基于相同场境触发若干意图,则将要执行意图的决定能够是基于与场境相关的意图的权重、场境的新旧和如在偏好中指定的其它参数。较新的场境能够具有较高的优先级。输出场境能够根据意图的匹配和执行进行设定。
在各种实施例中,对话管理器330能够通过对对话系统的用户请求。如图1和图2所描述的,对话系统能够包括由开发者设计的定制对话系统。同时,在一些实施例中,能够将用户请求并行地发送至任务域。任务域是可以处理请求并且提供回答的预建立对话系统。在一些实施例中,如果定制对话系统未能对用户请求提供回答,则对话管理器330用从任务域接收的回答继续进行。
对话管理器330可以采用多个全异的方法以响应于所识别的输入而生成输出。一些方法包括使用统计分析、机器学习算法(例如,神经网络)、启发式分析等。对话管理器330是对话系统引擎120的中心组件中的一个。对话管理器330的主要角色是用于基于从NLP的结果(例如,对话动作、用户目标、和谈话历史)所观察到的证据和推断的对话状态来选择正确的系统动作。此外,当用户输入具有由噪声或非预期的输入导致的ASR或NLP错误时,对话管理器330能够处理错误。
对话系统引擎120可以进一步包括用于将由对话管理器330选择的动作以适用于提供至用户的形式转换成输出的输出渲染器350。例如,输出渲染器350可以采用文本至话音引擎或可以接触预先记录的音频数据库以生成与对话管理器330的输出相对应的音频消息。在某些实施例中,输出渲染器350可以呈现用于进一步显示在用户设备的显示器屏幕上的对话管理器330的输出或使得该输出呈现为文本消息、图像或视频消息。
在其它实施例中,输出渲染器350向客户端侧140上的对话系统接口130提供所选择的动作(动作的名称和参数集)。开发者可以配置对话系统接口130以处理所选择的动作并且执行一个或多个的所需操作,像将请求发送至web服务、数据库操作、显示文本消息、播放用户设备上的音频或视频、生成文本、通过文本至话音系统将其处理等。在一些实施例中,开发者可以配置定制对话系统引擎120以根据与动作相关联的履行处理动作并且向对话系统接口130提供结果。
本技术的另一个重要方面是可以使用各种各样的技术实现本文中公开的实施例的技术。例如,可以在执行在计算机系统上的软件中或者在利用微处理器的组合或其它专门设计的专用集成电路(ASIC)可编程逻辑设备、或其的各种组合中的任一的硬件中实现本文中描述的方法。具体地,可以通过驻留在诸如磁盘驱动器或计算机可读介质的易失性或非易失性存储介质上的一系列的计算机可执行指令实现本文中描述的方法。应该注意的是能够通过计算机(例如,台式计算机、平板计算机、膝上型计算机)、游戏控制台、掌上游戏设备、蜂窝电话、智能电话、智能电视系统等实现本文中公开的方法。
图4是图示适用于实现本文中描述的方法的示例用户设备400的高级框图。值得提及的是用户设备的全部组件可以包括逻辑元件、硬件组件、软件(固件)组件、虚拟组件或其的组合。用户设备400可以包括诸如通用计算机、台式计算机、服务器、计算机网络、网络服务、云计算服务等的各种类型的设备和系统的一个或多个的主要部分。进一步的,可以使用任何适合的有线、无线、无线电、电气或光学标准操作地耦合图4中示出的全部模块。如上所述,用户设备400可以指智能电话、无线电话、诸如平板计算机或台式计算机的计算机、娱乐信息系统、车载计算设备等。
如图4所示,用户设备400包括以下硬件组件:一个或多个处理器402、存储器404、一个或多个存储设备406、一个或多个输入模块408、一个或多个输出模块410、网络接口412、和光学地理(geo)位置确定器414。用户设备400还包括以下软件或虚拟组件:操作系统420、一个或多个软件应用430和对话系统接口130,它们能够是独立软件应用或将它们整合成一个或多个软件应用430。对话系统接口130提供用于访问和管理如本文中讨论的信息的人为中心接口。
在一些实施例中,处理器402被配置为实现功能和/或处理用于在用户设备400内执行的指令。例如,处理器402可以处理存储在存储器404中的指令和/或执行存储在存储设备406上的指令。这样的指令可以包括操作系统402和对话系统接口130的组件。用户设备400还可以包括未示出在图4中的一个或多个附加的组件,诸如外壳、电源、通信总线等。省略这些元素,以便没有给本实施例的描述增加负担。
根据一个示例实施例,存储器404被配置为在操作期间在用户设备400内存储信息。在一些示例实施例中,存储器404可以指非易失性计算机可读存储介质或计算机可读存储设备。在一些示例中,存储器404是暂时性存储器,意旨存储器404的主要用途可以不是长期存储。存储器404还可以指易失性存储器,意旨当存储器404没有正在接收功率时,存储器404不维持所存储的内容。易失性存储器的示例包括在现有技术中已知的随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和易失性存储器的其它形式。在一些示例中,存储器404被使用为存储用于由处理器402执行的程序指令。在一个示例实施例中,通过在用户设备400上执行的软件(例如,操作系统420)或对话系统接口130使用存储器404,以在程序执行期间暂时地存储信息。一个或多个存储设备406还能够包括一个或多个易失性或非易失性计算机可读存储介质和/或计算机可读存储设备。在一些实施例中,存储设备406可以被配置为存储比存储器404更大量的信息。存储设备406可以进一步被配置为信息的长期存储。在一些示例中,存储设备406包括非易失性存储元件。这样的非易失性存储元件的示例包括现有技术已知的磁性硬盘、光盘、固态盘、闪存存储器、电可编程存储器(EPROM)或电可擦可编程存储器(EEPROM)的形式、和非易失性存储器的其它形式。
仍然参照图4,用户设备400包括一个或多个输入模块408。输入模块408被配置成接收用户输入。输入模块408的示例包括能够检测来自用户或其它源的话音、音频或触觉动作形式的输入,以及将该输入中继至用户设备400或其的组合的麦克风、键盘、按键、鼠标、轨迹球、触摸屏、触摸板或任何其它设备。
在一些示例实施例中,输出模块410被配置为通过视觉的或听觉信道向用户提供输出。输出模块410可以包括能够生成对用户是可懂的输出的视频图形适配器卡、液晶显示器(LCD)监视器、发光二极管(LED)监视器、声卡、扬声器、或任何其它设备。
在某些示例实施例中,用户设备400包括网络接口412。网络接口412能够被利用成经由诸如一个或多个有线、无线或光学网络(包括例如,互联网、内联网、LAN、WAN、蜂窝电话网络(例如,全球移动通信网络(GSM)、分组交换通信网络、电路交换通信网络)、蓝牙无线电和基于IEEE 802.11无线电频率网络等)的一个或多个通信网络与外部设备、服务器、网络系统进行通信。网络接口412可以是网络接口卡,诸如能够发送和接收信息的以太网卡、光收发机、无线频率收发机或任何其它类型的设备。这样的网络接口的其它示例可以包括移动计算设备中的蓝牙
Figure BDA0001272489890000171
3G、4G和
Figure BDA0001272489890000172
无线电以及通用串行总线(USB)。
用户设备400可以进一步包括用于确定用户设备的当前地理位置的地理位置确定器414。该地理位置确定器414可以利用用于确定地理位置的数个不同的方法,包括:例如,接收并处理全球定位系统(GPS)的信号、GLONASS卫星导航系统、或伽利略卫星导航系统;利用无线电塔(基站)之间的无线电信号的多点定位;利用与互联网协议(IP)地址相关联的地理定位方法、媒体访问控制(MAC)地址、射频识别(RFID)或其它技术。
操作系统420可以控制用户设备400的一个或多个功能或其的组件。例如,操作系统420可以与对话系统接口130交互,并且可以进一步促进应用430与处理器402、存储器404、存储设备406、输入模块408和输出模块410中的一个或多个之间的一个或多个的交互。如图4所示,操作系统420可以与对话系统接口130以及其的组件交互或是耦合至对话系统接口130以及其的组件。在一些实施例中,对话系统接口130能够被包括在操作系统420内。显著地,用户设备400和其组件(诸如对话系统接口130)还可以与一个或多个远程存储或计算资源交互,所述计算资源包括例如web资源、网站、社交网站、博客网站、新馈送、电子邮件服务、web日程表、事件数据库、票聚合器、映射数据库、兴趣点数据库等。
示出在图1中的平台110可以具有如图4示出并且上述已经描述的相似或相同的架构。为了简单起见,在这个公开中没有重复平台110的硬件实施方式,但是对于本领域技术人员应该理解的是平台110可以运行在具有至少包括一个或多个处理器、至少一个存储器和网络接口的架构的服务器或任何适合的计算设备上。
图5示出用于创建作为上述的新对话系统实体的平台接口112的示例GUI 500。当开发者希望创建定制对话系统引擎120时,他可以使用诸如GUI 500的平台接口112的web工具来限定对话系统实体和意图。使用GUI 500,开发者能够录入用于关键字的参考值502以及录入用于在GUI 500所提供的对应字段中的所提供的参考值的同义字504。对话系统实体可以包括关键字(或参考值)和关键字的同义字,关键字和关键字的限定、限定一个类的对象的关键字的列表等。关键字或具有关键字的同义字和/或限定的参考值组成对话系统实体。
在一些实施例中,每个实体能够具有标题。例如,一个实体能够被标题为“城市”并且含有诸如阿林顿、亚历山大、波士顿等的城市的列表。在其他实施例中,实体能够被标题为关键字并且其能够含有这个关键字的同义字和/或限定。在一个示例中,称作“音乐”的实体可以包括歌曲、歌手、歌唱、音乐家等的条目。在另一个示例中,称作“艺术家”的实体可以包括乐队、音乐合唱或音乐艺术家的列表。在另一个示例中,称作“披头士(Beatles)”的实体可以包括可能的同义词的列表,所述同义词诸如“The Beatles”、“Beatles”、“披头士四人组(Fab Four)”、“波士顿传奇”、“约翰.列侬”等。在另外一个示例中,这里能够是称作“艺术家”的实体,其可以包括各种艺术家的姓名、艺术家姓名的同义字、乐队名称等。
图6示出用于创建作为上述的新对话系统意图的平台接口112的示例GUI 600。对话系统意图可以限定用户请求和对话系统响应之间的关系并且可以基于特定动作和实体之间的关系与规则关联。通常地,每个意图能够被表示为以下计算机可读程序“
Figure BDA0001272489890000191
[Entity]"or"
Figure BDA0001272489890000192
[Entities]([动作]@[实体]”或“[动作]@[实体])”。使用GUI 600,开发者可以添加用户表达602(例如,“
Figure BDA0001272489890000193
city(天气@城市)”)以例示意图和实体。基于用户表达602,平台110使用机器学习技术自动地确定示例请求中隐含了什么实体和意图并且创建对应规则。例如,开发者可以简单地提供诸如“针对洛杉矶的天气预报”的示例请求。平台110可以将“洛杉矶”与现有实体(系统或用户限定的)匹配并且自动地生成对应“[动作]@[实体]”。附加地或替选地,开发者可以提供其中明确地呈现一个或多个实体的示例请求,诸如“What is the weather in@say.geo-city:geo-city-us(@say.geo-city:geo-city-us的天气怎么样)”。在图6的示例中,“天气”和与动作606相关联的参数是“geo-city-us(地理-城市-我们)”和“geo-city(地理-城市)”。开发者能够进一步修改动作606并且提供对动作606的履行608。
所创建的规则意旨特定动作应该由客户端侧140参照实体或若干实体执行。例如,一个意图可以被表示为“looking up forecast for$geo-city-us(查找用于$geo-city-us的天气预报)”。在这个示例中,意图命令对话系统引擎120查找洛杉矶的预报。
在一些实施例中,GUI 600提供用于机器学习的控件610。触发机器学习能够允许处理从硬性/严格匹配的范围变化到宽模糊范围的匹配的模糊性或机器学习匹配。
在一些实施例中,平台接口112可以提供用于提供请求的日志和处理与特定对话系统终端用户或终端用户的组相关联的意图的GUI。图7示出用于提供特定用户的请求的日志的示例GUI 700。
在各种实施例中,平台接口112可以为开发者提供用于执行定制对话系统的统计分析的工具。所得的统计量可以包括数个会话、数个请求、数个经分类请求(用于触发至少一个意图)、数个未分类请求(用于没有触发意图)、精度、召回、用于请求的F评分(F-score)等。在一些实施例中,将未分类请求划分在基于机器学习聚类的组中。
在进一步的实施例中,平台接口112可以提供用于将实体整理在开发者或机器学习技术未分类的请求中的工具,以针对所述请求修改或生成新的实体、意图、动作和履行。平台接口112可以包括用于通过一个或多个定制对话系统再分类请求的工具。
因此,已经描述用于创建定制对话系统引擎的方法。虽然已经参考具体示例实施例描述实施例,但显而易见的是在不偏离本应用的宽泛精神和范围的情况下,能够对这些示例实施例进行各种修改和改变。因此,应将说明书和附图理解为是说明性而非限制性的。

Claims (19)

1.一种用于创建可定制对话系统引擎的方法,包括:
由包括至少一个处理器和存储处理器可执行代码的存储器的第一服务器使开发者能够创建开发者简档;
由所述第一服务器接收一个或多个开发者示例请求,其中,所述开发者示例请求中的每一个与一个或多个短语相关联;
由所述第一服务器使用机器学习技术从所述一个或多个开发者示例请求中确定一个或多个对话系统实体,其中,所述一个或多个对话系统实体与所述开发者简档相关联;
由所述第一服务器使用机器学习技术从所述一个或多个开发者示例请求中确定一个或多个对话系统意图,其中,所述一个或多个对话系统意图与所述开发者简档相关联;
由所述第一服务器将所述一个或多个对话系统实体与所述一个或多个对话系统意图相关联,以形成定制对话系统引擎;
由所述第一服务器使用所述开发者简档将所述定制对话系统引擎与对话系统接口链接,其中,所述对话系统接口被设置在客户端用户设备或者web服务器上;
由所述第一服务器或第二服务器接收来自所述对话系统接口的用户请求,其中所述对话系统接口被安装在用户设备或第三方服务器上;
由所述第一服务器或所述第二服务器基于所述用户请求识别所述对话系统接口;
基于所述对话系统接口的所述识别,由所述第一服务器或所述第二服务器激活所述定制对话系统引擎并且检索所述一个或多个对话系统实体和所述一个或多个对话系统意图;
由所述第一服务器或所述第二服务器通过应用所述一个或多个对话系统实体和所述一个或多个对话系统意图来处理所述用户请求;以及
由所述第一服务器或所述第二服务器基于所述处理和发送对所述对话系统接口的响应来生成对所述用户请求的响应。
2.根据权利要求1所述的方法,其中,所述一个或多个对话系统实体包括以下中的一个或多个:关键字和所述关键字的至少一个同义字、关键字和所述关键字的至少一个限定、以及限定一个类的对象的关键字的列表。
3.根据权利要求1所述的方法,其中,所述一个或多个对话系统意图包括以下中的一个或多个:对话系统交互方案、限定在用户请求和对话系统响应之间的关系的规则、以及特定动作和所述一个或多个对话系统实体之间的关系的规则。
4.根据权利要求1所述的方法,进一步包括通过平台接口的web工具基于开发者输入来创建所述一个或多个对话系统实体和所述一个或多个对话系统意图。
5.根据权利要求1所述的方法,其中,所述识别是基于所述对话系统接口的标识符,所述标识符伴随所述用户请求。
6.根据权利要求1所述的方法,进一步包括显示所述对所述用户请求的响应。
7.根据权利要求1所述的方法,进一步包括播放所述对所述用户请求的响应。
8.根据权利要求1所述的方法,进一步包括:
预处理所述用户请求以识别一个或多个口述字,其中所述用户请求包括语音输入;以及
将所述语音输入转换成文本输入。
9.一种用于创建可定制对话系统引擎的系统,包括至少一个处理器和存储处理器可执行代码的存储器,其中,当所述处理器可执行代码由所述至少一个处理器执行时,所述处理器可执行代码使所述至少一个处理器:
使开发者能够创建开发者简档;
由第一服务器接收一个或多个开发者示例请求,其中,所述开发者示例请求中的每一个与一个或多个短语相关联;
使用机器学习技术从所述一个或多个开发者示例请求中确定一个或多个对话系统实体,其中,所述一个或多个对话系统实体与所述开发者简档相关联,以及
使用机器学习技术从所述一个或多个开发者示例请求中确定一个或多个对话系统意图,其中,所述一个或多个对话系统意图与所述开发者简档相关联;
将所述一个或多个对话系统实体与所述一个或多个对话系统意图相关联,以形成定制对话系统引擎;
使用所述开发者简档将所述定制对话系统引擎与对话系统接口链接,其中,所述对话系统接口被设置在客户端用户设备或者web服务器上;
接收来自所述对话系统接口的用户请求;
基于所述用户请求识别所述对话系统接口;
基于所述对话系统接口的所述识别,激活所述定制对话系统引擎并且检索所述一个或多个对话系统实体和所述一个或多个对话系统意图;
通过将所述一个或多个对话系统实体和所述一个或多个对话系统意图应用至所述用户请求来处理所述用户请求;以及
基于所述处理和发送对所述对话系统接口的响应来生成对所述用户请求的响应。
10.根据权利要求9所述的系统,其中,所述用户请求伴随有所述对话系统接口的用于所述识别的标识符。
11.根据权利要求9所述的系统,其中,所述处理器可执行代码进一步被配置成使所述至少一个处理器显示所述对所述用户请求的响应。
12.根据权利要求9所述的系统,其中,所述处理器可执行代码进一步被配置成使所述至少一个处理器播放所述对所述用户请求的响应。
13.根据权利要求9所述的系统,其中,所述定制对话系统引擎包括自动话音识别器ASR、自然语言处理NLP、对话管理器、和输出渲染器。
14.根据权利要求13所述的系统,其中,所述ASR被配置成:
接收基于话音的用户输入;以及
将所述基于话音的用户输入处理成参数矢量序列。
15.根据权利要求13所述的系统,其中,所述ASR包括以下中的一个或多个:基于模式的话音识别器、自由听写识别器、基于地址薄的识别器、和动态创建的识别器。
16.根据权利要求13所述的系统,其中,所述NLP被配置成:
拆解从所述ASR接收的所识别的输入;
解析所识别的输入以产生发音;
利用以下中的一个或多个分析所述发音:形态分析、词性标注、浅层解析;以及
将所识别的输入或所识别的输入的一个或多个部分映射至意义表示。
17.根据权利要求13所述的系统,其中,所述对话管理器被配置成:
与外部资源通信;
使用以下中的一个或多个来处理所识别的输入:谈话分析、知识数据库查询、和基于谈话场境的系统动作预测;以及
基于所述NLP的所述处理和分析来选择动作。
18.根据权利要求13所述的系统,其中,所述输出渲染器被配置成:
将通过所述对话管理器选择的动作转换成输出,其中所述输出包括操作、文本消息、图像、和视频消息。
19.一种其上存储有指令的非易失性处理器可读介质,所述指令在由一个或多个处理器执行时使得所述一个或多个处理器实现方法,所述方法包括:
使开发者能够创建开发者简档;
接收一个或多个开发者示例请求,其中,所述开发者示例请求与一个或多个短语相关联;
使用机器学习技术从所述一个或多个开发者示例请求中确定一个或多个对话系统实体,其中,所述一个或多个对话系统实体与所述开发者简档相关联;
使用机器学习技术从所述一个或多个开发者示例请求中确定一个或多个对话系统意图,其中,所述一个或多个对话系统意图与所述开发者简档相关联;
将所述一个或多个对话系统实体与所述一个或多个对话系统意图相关联,以形成定制对话系统引擎;
使用所述开发者简档将所述定制对话系统引擎与对话系统接口链接,其中,所述对话系统接口被设置在客户端用户设备或者web服务器上;
接收来自对话系统接口的用户请求,其中所述对话系统接口安装在用户设备或第三服务器上;
基于所述用户请求来识别所述对话系统接口;
基于所述对话系统接口的所述识别,激活所述定制对话系统引擎并且检索所述一个或多个对话系统实体和所述一个或多个对话系统意图;
通过应用所述一个或多个对话系统实体和所述一个或多个对话系统意图来处理所述用户请求;以及
基于所述处理和发送对所述对话系统接口的响应来生成对所述用户请求的响应。
CN201580056559.9A 2014-09-14 2015-09-11 用于创建可定制对话系统引擎的平台 Active CN107112013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011000321.3A CN112270925B (zh) 2014-09-14 2015-09-11 用于创建可定制对话系统引擎的平台

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462050149P 2014-09-14 2014-09-14
US62/050,149 2014-09-14
PCT/US2015/049626 WO2016040769A1 (en) 2014-09-14 2015-09-11 Platform for creating customizable dialog system engines

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011000321.3A Division CN112270925B (zh) 2014-09-14 2015-09-11 用于创建可定制对话系统引擎的平台

Publications (2)

Publication Number Publication Date
CN107112013A CN107112013A (zh) 2017-08-29
CN107112013B true CN107112013B (zh) 2020-10-23

Family

ID=55360034

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580056559.9A Active CN107112013B (zh) 2014-09-14 2015-09-11 用于创建可定制对话系统引擎的平台
CN202011000321.3A Active CN112270925B (zh) 2014-09-14 2015-09-11 用于创建可定制对话系统引擎的平台

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011000321.3A Active CN112270925B (zh) 2014-09-14 2015-09-11 用于创建可定制对话系统引擎的平台

Country Status (5)

Country Link
US (2) US9275641B1 (zh)
EP (1) EP3195307B1 (zh)
CN (2) CN107112013B (zh)
SG (1) SG11201702029PA (zh)
WO (1) WO2016040769A1 (zh)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US10474961B2 (en) 2013-06-20 2019-11-12 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on prompting for additional user input
US9633317B2 (en) 2013-06-20 2017-04-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on a natural language intent interpreter
US9594542B2 (en) 2013-06-20 2017-03-14 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on training by third-party developers
US10083009B2 (en) 2013-06-20 2018-09-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system planning
US10324704B2 (en) * 2015-05-27 2019-06-18 Google Llc Online marketplace of plugins for enhancing dialog systems
DE112016002381T5 (de) 2015-05-27 2018-03-22 Google LLC (n.d.Ges.d. Staates Delaware) Verbessern von Funktionalitäten von virtuellen Assistenten und Dialogsystemen über einen Plug-In-Marktplatz
US11250217B1 (en) * 2015-07-14 2022-02-15 Soundhound, Inc. Conditional responses to application commands in a client-server system
RU2018113724A (ru) * 2015-10-21 2019-11-21 ГУГЛ ЭлЭлСи Сбор параметров и автоматическая генерация диалога в диалоговых системах
US10949748B2 (en) 2016-05-13 2021-03-16 Microsoft Technology Licensing, Llc Deep learning of bots through examples and experience
WO2017208135A1 (en) 2016-05-29 2017-12-07 Wix.Com Ltd. Creation and update of hierarchical websites based on collected business knowledge
US10162817B2 (en) 2016-06-14 2018-12-25 Microsoft Technology Licensing, Llc Computer messaging bot creation
US10360906B2 (en) * 2016-06-14 2019-07-23 Microsoft Technology Licensing, Llc Computer proxy messaging bot
US20180052664A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for developing, training, and deploying effective intelligent virtual agent
US10573299B2 (en) * 2016-08-19 2020-02-25 Panasonic Avionics Corporation Digital assistant and associated methods for a transportation vehicle
US10467345B2 (en) 2016-08-30 2019-11-05 Microsoft Technology Licensing, Llc Framework for language understanding systems that maximizes reuse through chained resolvers
US10853747B2 (en) 2016-10-03 2020-12-01 Google Llc Selection of computational agent for task performance
US11663535B2 (en) 2016-10-03 2023-05-30 Google Llc Multi computational agent performance of tasks
US10311856B2 (en) 2016-10-03 2019-06-04 Google Llc Synthesized voice selection for computational agents
US10552742B2 (en) 2016-10-14 2020-02-04 Google Llc Proactive virtual assistant
WO2018085760A1 (en) 2016-11-04 2018-05-11 Semantic Machines, Inc. Data collection for a new conversational dialogue system
CN109891410B (zh) * 2016-11-04 2023-06-23 微软技术许可有限责任公司 用于新的会话对话系统的数据收集
US11373100B2 (en) 2016-11-29 2022-06-28 Microsoft Technology Licensing, Llc Using various artificial intelligence entities as advertising media
WO2018148441A1 (en) 2017-02-08 2018-08-16 Semantic Machines, Inc. Natural language content generator
WO2018156978A1 (en) * 2017-02-23 2018-08-30 Semantic Machines, Inc. Expandable dialogue system
US11069340B2 (en) 2017-02-23 2021-07-20 Microsoft Technology Licensing, Llc Flexible and expandable dialogue system
CN116991971A (zh) * 2017-02-23 2023-11-03 微软技术许可有限责任公司 可扩展对话系统
US10762892B2 (en) 2017-02-23 2020-09-01 Semantic Machines, Inc. Rapid deployment of dialogue system
US11231943B2 (en) 2017-03-24 2022-01-25 Google Llc Smart setup of assistant services
US10574517B2 (en) * 2017-04-24 2020-02-25 International Business Machines Corporation Adding voice commands to invoke web services
US11170285B2 (en) 2017-05-05 2021-11-09 Google Llc Virtual assistant configured to recommended actions in furtherance of an existing conversation
CN107680588B (zh) * 2017-05-10 2020-10-20 平安科技(深圳)有限公司 智能语音导航方法、装置及存储介质
US11436265B2 (en) * 2017-06-13 2022-09-06 Microsoft Technology Licensing, Llc System for presenting tailored content based on user sensibilities
CN108288468B (zh) * 2017-06-29 2019-07-19 腾讯科技(深圳)有限公司 语音识别方法及装置
US11132499B2 (en) 2017-08-28 2021-09-28 Microsoft Technology Licensing, Llc Robust expandable dialogue system
US10431219B2 (en) * 2017-10-03 2019-10-01 Google Llc User-programmable automated assistant
US10621984B2 (en) * 2017-10-04 2020-04-14 Google Llc User-configured and customized interactive dialog application
US11113608B2 (en) 2017-10-30 2021-09-07 Accenture Global Solutions Limited Hybrid bot framework for enterprises
US11217230B2 (en) * 2017-11-15 2022-01-04 Sony Corporation Information processing device and information processing method for determining presence or absence of a response to speech of a user on a basis of a learning result corresponding to a use situation of the user
US10497004B2 (en) * 2017-12-08 2019-12-03 Asapp, Inc. Automating communications using an intent classifier
CN108109689B (zh) * 2017-12-29 2023-09-29 李向坤 诊疗会话方法及装置、存储介质、电子设备
US11170006B2 (en) * 2018-01-03 2021-11-09 Facebook, Inc. Machine-learning model for ranking diverse content
CN110110051A (zh) * 2018-01-31 2019-08-09 阿里巴巴集团控股有限公司 一种对话配置方法和服务器
US10789957B1 (en) * 2018-02-02 2020-09-29 Spring Communications Company L.P. Home assistant wireless communication service subscriber self-service
US10714084B2 (en) * 2018-02-09 2020-07-14 Accenture Global Solutions Limited Artificial intelligence based service implementation
WO2019216875A1 (en) * 2018-05-07 2019-11-14 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US11144278B2 (en) * 2018-05-07 2021-10-12 Google Llc Verifying operational statuses of agents interfacing with digital assistant applications
EP3596599A1 (en) * 2018-05-07 2020-01-22 Google LLC Activation of remote devices in a networked system
US10572232B2 (en) 2018-05-17 2020-02-25 International Business Machines Corporation Automatically converting a textual data prompt embedded within a graphical user interface (GUI) to a widget
US10776582B2 (en) * 2018-06-06 2020-09-15 International Business Machines Corporation Supporting combinations of intents in a conversation
CN109002477B (zh) * 2018-06-19 2022-04-12 深圳市元征科技股份有限公司 信息处理方法、装置、终端及介质
CN108818531A (zh) * 2018-06-25 2018-11-16 珠海格力智能装备有限公司 机器人的控制方法和装置
US11347966B2 (en) * 2018-07-20 2022-05-31 Samsung Electronics Co., Ltd. Electronic apparatus and learning method of electronic apparatus
US10915588B2 (en) * 2018-08-02 2021-02-09 International Business Machines Corporation Implicit dialog approach operating a conversational access interface to web content
KR20200017292A (ko) 2018-08-08 2020-02-18 삼성전자주식회사 음성 인식 방법 및 그 방법을 지원하는 전자 장치
US11501763B2 (en) * 2018-10-22 2022-11-15 Oracle International Corporation Machine learning tool for navigating a dialogue flow
US10740371B1 (en) 2018-12-14 2020-08-11 Clinc, Inc. Systems and methods for intelligently configuring and deploying a machine learning-based dialogue system
KR102545666B1 (ko) 2018-12-18 2023-06-21 삼성전자주식회사 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치
KR20200107057A (ko) 2019-03-06 2020-09-16 삼성전자주식회사 음성 인식 모델에서 사용되는 언어를 확장시키는 방법 및 음성 인식 모델을 포함하는 전자 장치
US10978069B1 (en) * 2019-03-18 2021-04-13 Amazon Technologies, Inc. Word selection for natural language interface
US10997373B2 (en) 2019-04-09 2021-05-04 Walmart Apollo, Llc Document-based response generation system
US11715467B2 (en) 2019-04-17 2023-08-01 Tempus Labs, Inc. Collaborative artificial intelligence method and system
US11521114B2 (en) 2019-04-18 2022-12-06 Microsoft Technology Licensing, Llc Visualization of training dialogs for a conversational bot
US11475883B1 (en) * 2019-05-29 2022-10-18 Amazon Technologies, Inc. Natural language dialog scoring
US11238241B1 (en) 2019-05-29 2022-02-01 Amazon Technologies, Inc. Natural language dialog scoring
US11232784B1 (en) * 2019-05-29 2022-01-25 Amazon Technologies, Inc. Natural language dialog scoring
US11526801B2 (en) 2019-05-30 2022-12-13 International Business Machines Corporation Conversational search in content management systems
CN110377722A (zh) * 2019-07-29 2019-10-25 中国工商银行股份有限公司 响应方法及装置、电子设备和可读存储介质
US11158308B1 (en) * 2019-11-27 2021-10-26 Amazon Technologies, Inc. Configuring natural language system
CN111128154B (zh) * 2019-12-03 2022-06-03 杭州蓦然认知科技有限公司 一种聚合形成交互引擎簇的方法及装置
CN111046256B (zh) * 2019-12-03 2024-02-06 上海二六三通信有限公司 一种基于交互引擎簇进行语音交互的方法及装置
CN111124347B (zh) * 2019-12-03 2023-05-26 杭州蓦然认知科技有限公司 一种聚合形成交互引擎簇的方法、装置
CN110990710B (zh) * 2019-12-24 2023-07-04 北京百度网讯科技有限公司 资源推荐方法及装置
CN111145745B (zh) * 2019-12-27 2022-07-01 思必驰科技股份有限公司 对话流程定制方法及装置
CN113223512B (zh) * 2020-02-04 2024-02-06 上海泛汐信息技术有限责任公司 一种自动化运维系统语音构建方法
CN111696558A (zh) * 2020-06-24 2020-09-22 深圳壹账通智能科技有限公司 智能外呼方法、装置、计算机设备及存储介质
CN112003991A (zh) * 2020-09-02 2020-11-27 深圳壹账通智能科技有限公司 一种外呼方法及相关设备
US11533279B2 (en) 2021-03-30 2022-12-20 International Business Machines Corporation Method for electronic messaging using image based noisy content
US11683283B2 (en) 2021-03-30 2023-06-20 International Business Machines Corporation Method for electronic messaging
JP6954549B1 (ja) * 2021-06-15 2021-10-27 ソプラ株式会社 エンティティとインテントとコーパスの自動生成装置及びプログラム
US11677692B2 (en) 2021-09-15 2023-06-13 International Business Machines Corporation Conversational systems content related to external events
WO2023212145A1 (en) * 2022-04-28 2023-11-02 Theai, Inc. Controlling generative language models for artificial intelligence characters

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1273661A (zh) * 1997-05-06 2000-11-15 语音工程国际公司 用于开发交互式语音应用程序的系统和方法
CN1325513A (zh) * 1998-09-09 2001-12-05 发明机器公司 具有知识生成能力的文档语义分析/选择
EP1349145A2 (en) * 2002-03-29 2003-10-01 Samsung Electronics Co., Ltd. System and method for providing information using spoken dialogue interface
WO2004023332A1 (en) * 2002-09-06 2004-03-18 Telstra Corporation Limited A development system for a dialog system
CN1720520A (zh) * 2002-12-02 2006-01-11 索尼株式会社 对话控制设备和方法,以及机器人设备
JP2006039484A (ja) * 2004-07-30 2006-02-09 Nippon Telegr & Teleph Corp <Ntt> 対話理解結果の信頼度算出処理方法
US7143042B1 (en) * 1999-10-04 2006-11-28 Nuance Communications Tool for graphically defining dialog flows and for establishing operational links between speech applications and hypermedia content in an interactive voice response environment
CN101246687A (zh) * 2008-03-20 2008-08-20 北京航空航天大学 一种智能语音交互系统及交互方法
WO2009075912A1 (en) * 2007-12-11 2009-06-18 Voicebox Technologies, Inc. Providing a natural language voice user interface in an integrated voice navigation services environment
CN102986259A (zh) * 2010-06-28 2013-03-20 高通股份有限公司 用于定制数据优化的系统和方法
WO2013155619A1 (en) * 2012-04-20 2013-10-24 Sam Pasupalak Conversational agent

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL140805A0 (en) * 1998-10-02 2002-02-10 Ibm Structure skeletons for efficient voice navigation through generic hierarchical objects
US6418440B1 (en) * 1999-06-15 2002-07-09 Lucent Technologies, Inc. System and method for performing automated dynamic dialogue generation
US6665640B1 (en) * 1999-11-12 2003-12-16 Phoenix Solutions, Inc. Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries
US7962326B2 (en) * 2000-04-20 2011-06-14 Invention Machine Corporation Semantic answering system and method
US7016847B1 (en) * 2000-12-08 2006-03-21 Ben Franklin Patent Holdings L.L.C. Open architecture for a voice user interface
US20020133347A1 (en) * 2000-12-29 2002-09-19 Eberhard Schoneburg Method and apparatus for natural language dialog interface
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
AU2002950336A0 (en) * 2002-07-24 2002-09-12 Telstra New Wave Pty Ltd System and process for developing a voice application
US8065151B1 (en) * 2002-12-18 2011-11-22 At&T Intellectual Property Ii, L.P. System and method of automatically building dialog services by exploiting the content and structure of websites
US7480619B1 (en) * 2003-03-04 2009-01-20 The Board Of Trustees Of The Leland Stanford Junior University Integration manager and natural interaction processor
US7421393B1 (en) * 2004-03-01 2008-09-02 At&T Corp. System for developing a dialog manager using modular spoken-dialog components
US20050228668A1 (en) * 2004-03-31 2005-10-13 Wilson James M System and method for automatic generation of dialog run time systems
US7720674B2 (en) * 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
US7877257B2 (en) * 2004-09-27 2011-01-25 Robert Bosch Corporation Method and system to parameterize dialog systems for the purpose of branding
US7490042B2 (en) * 2005-03-29 2009-02-10 International Business Machines Corporation Methods and apparatus for adapting output speech in accordance with context of communication
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US9726392B2 (en) * 2006-06-29 2017-08-08 Honeywell International Inc. Generic user interface system
JP4322907B2 (ja) * 2006-09-29 2009-09-02 株式会社東芝 対話装置、対話方法及びコンピュータプログラム
US7987446B2 (en) * 2007-04-24 2011-07-26 International Business Machines Corporation Method for automating variables in end-user programming system
US20090055163A1 (en) * 2007-08-20 2009-02-26 Sandeep Jindal Dynamic Mixed-Initiative Dialog Generation in Speech Recognition
US8694537B2 (en) * 2010-07-29 2014-04-08 Soundhound, Inc. Systems and methods for enabling natural language processing
CA2741212C (en) * 2011-05-27 2020-12-08 Ibm Canada Limited - Ibm Canada Limitee Automated self-service user support based on ontology analysis
CA2747153A1 (en) * 2011-07-19 2013-01-19 Suleman Kaheer Natural language processing dialog system for obtaining goods, services or information
US20130073568A1 (en) * 2011-09-21 2013-03-21 Vladimir Federov Ranking structured objects and actions on a social networking system
US8793593B2 (en) * 2011-09-21 2014-07-29 Facebook, Inc. Integrating structured objects and actions generated on external systems into a social networking system
US8849721B2 (en) * 2011-09-21 2014-09-30 Facebook, Inc. Structured objects and actions on a social networking system
US9032290B2 (en) * 2011-09-21 2015-05-12 Facebook, Inc. Tool for creating structured objects and actions on a social networking system
US8909515B2 (en) * 2011-09-21 2014-12-09 Facebook, Inc. Dynamic sentence formation from structured objects and actions in a social networking system
US9326088B2 (en) * 2011-10-21 2016-04-26 GM Global Technology Operations LLC Mobile voice platform architecture with remote service interfaces
US20140236570A1 (en) * 2013-02-18 2014-08-21 Microsoft Corporation Exploiting the semantic web for unsupervised spoken language understanding
AU2014233517B2 (en) * 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
CN105190607B (zh) * 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
US9053423B2 (en) * 2013-03-25 2015-06-09 Xerox Corporation Assisted update of knowledge base for problem solving
US10073840B2 (en) * 2013-12-20 2018-09-11 Microsoft Technology Licensing, Llc Unsupervised relation detection model training
US10217059B2 (en) * 2014-02-04 2019-02-26 Maluuba Inc. Method and system for generating natural language training data
US10191999B2 (en) * 2014-04-30 2019-01-29 Microsoft Technology Licensing, Llc Transferring information across language understanding model domains
US9997157B2 (en) * 2014-05-16 2018-06-12 Microsoft Technology Licensing, Llc Knowledge source personalization to improve language models
US20150370787A1 (en) * 2014-06-18 2015-12-24 Microsoft Corporation Session Context Modeling For Conversational Understanding Systems

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1273661A (zh) * 1997-05-06 2000-11-15 语音工程国际公司 用于开发交互式语音应用程序的系统和方法
CN1325513A (zh) * 1998-09-09 2001-12-05 发明机器公司 具有知识生成能力的文档语义分析/选择
US7143042B1 (en) * 1999-10-04 2006-11-28 Nuance Communications Tool for graphically defining dialog flows and for establishing operational links between speech applications and hypermedia content in an interactive voice response environment
EP1349145A2 (en) * 2002-03-29 2003-10-01 Samsung Electronics Co., Ltd. System and method for providing information using spoken dialogue interface
WO2004023332A1 (en) * 2002-09-06 2004-03-18 Telstra Corporation Limited A development system for a dialog system
CN1720520A (zh) * 2002-12-02 2006-01-11 索尼株式会社 对话控制设备和方法,以及机器人设备
JP2006039484A (ja) * 2004-07-30 2006-02-09 Nippon Telegr & Teleph Corp <Ntt> 対話理解結果の信頼度算出処理方法
WO2009075912A1 (en) * 2007-12-11 2009-06-18 Voicebox Technologies, Inc. Providing a natural language voice user interface in an integrated voice navigation services environment
CN101939740A (zh) * 2007-12-11 2011-01-05 声钰科技 在集成语言导航服务环境中提供自然语言语音用户界面
CN101246687A (zh) * 2008-03-20 2008-08-20 北京航空航天大学 一种智能语音交互系统及交互方法
CN102986259A (zh) * 2010-06-28 2013-03-20 高通股份有限公司 用于定制数据优化的系统和方法
WO2013155619A1 (en) * 2012-04-20 2013-10-24 Sam Pasupalak Conversational agent

Also Published As

Publication number Publication date
CN112270925A (zh) 2021-01-26
US10546067B2 (en) 2020-01-28
SG11201702029PA (en) 2017-04-27
CN107112013A (zh) 2017-08-29
CN112270925B (zh) 2024-05-10
EP3195307A4 (en) 2018-05-23
US20170185582A1 (en) 2017-06-29
EP3195307A1 (en) 2017-07-26
EP3195307B1 (en) 2020-01-29
US9275641B1 (en) 2016-03-01
WO2016040769A1 (en) 2016-03-17
US20160078866A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
CN107112013B (zh) 用于创建可定制对话系统引擎的平台
US11232265B2 (en) Context-based natural language processing
US11983638B2 (en) Example-driven machine learning scheme for dialog system engines
US10733983B2 (en) Parameter collection and automatic dialog generation in dialog systems
US20220221959A1 (en) Annotations in software applications for invoking dialog system functions
US11321116B2 (en) Systems and methods for integrating third party services with a digital assistant
JP2019503526A5 (zh)
US20160098994A1 (en) Cross-platform dialog system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant