CN111046150A - 人机交互处理系统及其方法、存储介质、电子设备 - Google Patents

人机交互处理系统及其方法、存储介质、电子设备 Download PDF

Info

Publication number
CN111046150A
CN111046150A CN201811194884.3A CN201811194884A CN111046150A CN 111046150 A CN111046150 A CN 111046150A CN 201811194884 A CN201811194884 A CN 201811194884A CN 111046150 A CN111046150 A CN 111046150A
Authority
CN
China
Prior art keywords
interactive
interaction
task
input
further configured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811194884.3A
Other languages
English (en)
Other versions
CN111046150B (zh
Inventor
周尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202310706597.0A priority Critical patent/CN116737900A/zh
Priority to CN201811194884.3A priority patent/CN111046150B/zh
Priority to TW108128699A priority patent/TW202016693A/zh
Priority to US16/601,262 priority patent/US11386893B2/en
Priority to PCT/US2019/056125 priority patent/WO2020081453A1/en
Publication of CN111046150A publication Critical patent/CN111046150A/zh
Application granted granted Critical
Publication of CN111046150B publication Critical patent/CN111046150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种人机交互处理系统及其方法、存储介质、电子设备,系统包括:交互业务装置以及交互引擎,所述交互业务装置用于描述交互场景中的交互任务,所述交互引擎上配置有交互控制单元以及交互组织单元,所述交互控制单元根据所述交互任务对当前交互输入进行交互流程的控制,所述交互组织单元用于根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入。本申请实现了复杂对话流程的自定义,使对话流程的控制变得更加灵活,可以满足不同的对话场景需求,以及允许用户灵活的跳转话题。

Description

人机交互处理系统及其方法、存储介质、电子设备
技术领域
本申请实施例涉及人机交互技术领域,尤其涉及一种人机交互处理系统及其方法、存储介质、电子设备。
背景技术
近年来,随着语音识别和自然语言理解技术的不断发展,智能交互已被广泛应用于不同的领域,如聊天机器人、智能音箱、智能客服等。
当前现有技术中比较常见的交互管理方法有以下几种:
1、Key-pharse(关键词匹配):捕捉最后一句用户输入并根据其中的关键词或关键短语来进行交互回应,这种方案的缺点是不够灵活,仅仅凭借最后一句用户输入及其关键字无法应对所有交互场景。
2、Finite-state machine(有限状态机):用有限状态机穷举覆盖各种交互流程,这种方案的缺点:对复杂任务难以处理,不允许用户跳转话题。
3、Slot-filling(填槽):对用户输入进行解析得到关键信息即槽位信息,交互管理不断询问并收集必要的槽位信息,直到满足条件可以执行任务,但是,这种方案适合槽位信息及任务种类少的场景,使用范围有限,无法处理咨询、导购等槽位信息较多的任务。
综上,亟待提供一种技术方案,用于解决或者缓解现有技术的上述问题。
发明内容
有鉴于此,本申请实施例所解决的技术问题之一在于提供一种人机交互处理系统及其方法、存储介质、电子设备,用以克服或者缓解现有技术中的上述技术缺陷。
本申请实施例提供了一种人机交互处理系统,其包括:交互业务装置以及交互引擎,所述交互业务装置用于描述交互场景中的交互任务,所述交互引擎上配置有交互控制单元以及交互组织单元,所述交互控制单元根据所述交互任务对当前交互输入进行交互流程的控制,所述交互组织单元用于根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入。
本申请实施例提供了一种人机交互处理方法,其包括:
描述交互场景中的交互任务,以及根据所述交互任务对所述交互场景中的当前交互输入进行交互流程控制;
根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入。
本申请实施例提供了一种存储介质,其上存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现本申请实施例的人机交互处理方法。
本申请实施例提供了一种电子设备,其包括处理器以及存储介质,所述存储介质上存储有计算机可执行指令,所述计算机可执行指令被处理器执行时本申请实施例的人机交互处理方法。
本申请实施例中,由于可以通过交互业务装置描述不同应用场景中的交互任务,从而可实现复杂对话流程的自定义。进一步通过交互控制单元根据所述交互任务对当前交互输入进行交互流程的控制,使对话流程的控制变得更加灵活,可以满足不同的对话场景需求。再进一步通过所述交互组织单元根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入从而允许用户灵活的跳转话题。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1为本申请实施例一中电子终端的结构示意图;
图2为本申请实施例二中人机交互处理系统的结构示意图;
图3为本申请实施例三人机交互人机交互处理系统的结构示意图;
图4为本申请实施例四中人机交互处理系统的结构示意图;
图5为本申请实施例五中一种人机交互处理方法的流程示意图。
具体实施方式
实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
本发明实施例所提供的方法及装置可应用于如图1所示实施例一中的电子终端中。
于本发明实施例中,电子终端100优选为移动终端设备,例如可以包括智能手机、平板电脑、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII,动态影像专家压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayerIV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机、穿戴式移动终端等等。
如图1所示,电子终端包括存储器101(或又称之为存储介质)、存储控制器102,一个或多个(图中仅示出一个)处理器103、外设接口104、射频模块105、音频模块106、显示屏幕107、传感器108如加速度传感器、距离传感器等。这些组件通过一条或多条通讯总线/信号线116相互通讯。
存储器101可用于存储软件程序以及模块,如本申请实施例中的人机交互方法及装置对应的程序指令/模块,处理器103通过运行存储在存储器101内的软件程序以及模块,从而执行各种功能应用以及数据处理。
存储器101可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。处理器103以及其他可能的组件对存储器101的访问可在存储控制器102的控制下进行。
外设接口104将各种输入/输入装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
射频模块105用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。
音频模块106向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示屏幕107在电子终端与用户之间同时提供一个输出及输入界面。具体地,显示屏幕107向用户显示内容输出,这些输出的内容可包括文字、图形、视频及其任意组合。
传感器108中的距离传感器用于感应电子终端与人体距离,例如在通话过程中,当电子终端的屏幕贴近用户脸部时,就会自动感应出电子终端与人体距离是多少,当小于某个值时,就会熄灭屏幕,不再接收用户触摸屏幕事件,从而防止通话过程中的误操作。该距离传感器还可以用于实现悬浮等控制。
传感器108中的加速度传感器是能感受加速度并转换成可用输出信号的传感器。
可以理解,图1所示的结构仅为示意,电子终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
于本申请实施例中,电子终端中安装有客户端,该客户端可以是浏览器也可以是第三方应用软件,与服务器(Server)端相对应,为用户提供服务,例如电子阅读服务,用于播放本地或在线的各种可视化文本文件。
于本申请实施例中,显示界面可以包括电子终端中的客户端的显示界面,包括实际显示内文的界面,以及用于显示当前所显示内文的浏览进度的进度标签。显示界面的大小与客户端对显示界面的设置有关,如果客户端设置的显示界面可以是全屏模式,那么显示界面的大小与电子终端显示屏(如显示屏幕107)的显示区域大小可以相同,如果客户端设置的显示界面小于电子终端的显示屏,那么显示界面的大小就是实际所设置的显示界面的大小。
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了使本领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
本申请实施例下述实施例提供了一种人机交互处理系统,其包括:交互业务装置以及交互引擎,所述交互业务装置用于描述交互场景中的交互任务,所述交互引擎上配置有交互控制单元以及交互组织单元,所述交互控制单元根据所述交互任务对当前交互输入进行交互流程的控制,所述交互组织单元用于根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入。
图2为本申请实施例二中人机交互处理系统的结构示意图;如图2所示,其包括交互业务装置101以及交互引擎102,其中,所述交互引擎102上配置有交互控制单元112以及交互组织单元122,所述交互控制单元112根据所述交互任务对当前交互输入进行交互流程的控制,所述交互组织单元122用于根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入。所述交互业务装置101进一步用于根据交互任务的分层模型描述交互场景中的交互任务。所述交互业务装置101进一步用于根据交互任务的交互子任务划分建立分层模型以及根据交互任务的分层模型描述交互场景中的交互任务。
在一具体场景中,所述交互业务装置101具体可以包括:模型建立单元111以及描述单元121,所述模型建立单元111用于根据交互任务的交互子任务划分建立分层模型,所述描述单元121用于根据交互任务的分层模型描述交互场景中的交互任务。在具体应用场景中,所述分层模型为交互任务树,所述交互任务树上的一个子树对应一个所述交互子任务。
本实施例中,所述交互控制单元112用于根据所述交互任务的上下文信息对当前交互输入进行流程控制。
进一步地,所述交互控制单元112进一步用于根据所述交互任务的上下文信息中的槽位信息对当前交互输入进行流程控制。
再进一步地,所述交互控制单元112进一步用于对任务执行控制项进行出入栈操作以对交互任务的上下文信息中的槽位信息进行处理以对当前交互输入进行流程控制。
具体地,在一具体应用场景中,所述交互控制单元112为交互执行栈,在当前交互输入执行完毕之后,对应地,所述交互业务装置101用于沿着所述交互执行栈栈顶到栈底的方向执行任务控制项,同时将触发的任务控制项沿着栈顶到栈底压入到所述交互执行栈中。
再进一步地,所述交互控制单元112进一步用于对任务执行控制项进行出入栈操作以对交互任务的上下文信息中的槽位信息进行处理以对当前交互输入进行流程控制。
当将上述图2的技术方案应用于智能机器人对话产品上时,所述人机交互处理系统可以通过对话管理平台或者对话管理器(DialogManager,简称DM)来实现,当前交互输入又称之为当前的用户输入,交互业务装置101又可以称之为对话业务装置,交互引擎102又可以称之为对话引擎,为适应对话业务装置用于根据预先收集的不同对话场景下的剧本描述交互场景中的对话任务,剧本中记录有预先收集的用户输入与可能的答复之间的对应关系,对话任务的上下文信息中不同用户输入之间的逻辑关系等。具体地,这种对应关系以及逻辑关系具体通过任务树进行体现,对话任务被切分成多个对话子任务,每个对话子任务对应任务树上的一个子树。对于每个对话子任务配置有任务执行控制项比如代理组件(又称之为agent),该Agent定义了执行对应的对话子任务需要执行的关键行为,比如回应动作、向用户发起询问行为、向外部发起服务调用动作等等,以与用户进行人机对话。比如,用户输入如果为:我想寄快递,则在对应的agent中配置向用户发起询问的行为,在对话过程中产生询问行为的语句:请问要使用哪家快递公司。比如,用户输入如果为:请帮我查询单号为123456的快递,则在对应的agent中配置回应用户行为以及调用外部第三方快递查询的行为,在对话过程中产生询问回应的语句:快递单号为123456的物流状态如下:卖家已发货,在杭州转运。
需要说明的是,本实施例中,任务执行控制项定义的关键行为仅仅是举例,对于本领域普通技术人员来说,可以根据具体使用场景的需求进行按需设置。
由于可以通过对话任务划分为多个对话子任务,每个对话子任务又对应到对话树上的一个子树,对于每个子树又配置了任务执行控制项目,比如对话树包括快递子树以及天气子树,快递子树配置了回应用户行为、询问用户行为以及调用第三方应用行为。所述交互控制单元112用于根据所述对话任务的上下文信息对当前交互输入进行流程控制,具体地根据所述交互任务的上下文信息中的槽位信息(关键词)的变化对当前交互输入进行上述行为的触发,并交互业务装置101将对应子树的agent按照对话的先后顺序沿着栈顶到栈底压入到对话执行栈中,在对话过程中,根据槽位信息的变化,对话任务栈将对应的agent执行出栈操作并由所述交互组织单元122(如对话议程表)确定在当前交互输入对应的交互场景中期望的下一个交互输入,从而实现了对话过程中有效地跟踪和管理对话焦点,比如保持、切换、回溯等,最终实现对话的流程控制。
图3为本申请实施例三人机交互人机交互处理系统的结构示意图;如图3所示,其包括交互业务装置101以及交互引擎102,其中,所述交互业务装置101进一步用于为所述交互任务树的节点配置任务执行控制项以根据任务执行控制项执行所述节点对应的交互子任务。
在一具体场景中,所述交互业务装置101可以包括:配置单元131以及执行单元141,所述配置单元131用于为所述交互任务树的节点配置任务执行控制项,所述执行单元141用于根据任务执行控制项执行所述节点对应的交互子任务。具体地,所述任务执行控制项中定义有其要控制的交互子任务所对应的交互变量,所述交互变量用于控制所述节点对应的交互子任务的执行。所述交互变量还用于管理与其对应的槽位信息以控制所述节点对应的交互子任务的执行。
在一具体场景中,所述任务执行控制项用于向用户发起回应动作、向用户发起询问行为、向外部发起服务调用动作中的一种或多种的组合,以根据任务执行控制项执行所述节点对应的交互子任务。
在一具体场景中,若所述任务执行控制项用于向用户发起回应动作,则所述交互业务装置101进一步用于对所述回应动作、所述交互子任务的槽位信息中的至少一种进行结构化处理,以执行所述节点对应的交互子任务。
本实施例中,若所述任务执行控制项用于向用户发起询问行为,则所述交互业务装置101进一步用于在关联的交互变量没有与槽位信息绑定时触发询问行为,以执行所述节点对应的交互子任务,从而实现用户对话主题的切换和转移。
本实施例中,若所述任务执行控制项发起向外部发起服务调用动作,则所述交互业务装置101进一步通过输入输出协议将从外部服务调用的结果赋予对应交互变量。
本实施例中,仍以上述图2类似的应用场景为例,与上述实施例不同的是,为每一个槽位信息赋予一个对话变量,通过对话变量对槽位信息进行管理。比如,在快递公司这个子树中,定义了“快递公司”这一槽位信息对应对话变量“Company”,该对话变量比如对应“发快递”这一子树,再比如,“快递单号”这一槽位信息对应对话变量“Code”,该对话变量对应“快递查询”这一子树。根据交互任务的上下文信息中的槽位信息对应的对话变量来搭建上述对话议程表,从而记录了在当前对话场景中所有可能的用户输入,从而可以是现下一个对话输入的确定。进一步地,当上述对话任务栈中有agent的变化比如入栈或者出栈时,对应地,对该对话议程表中的兑换变量进行更新,从而灵活的支持对话主题的跳转和回溯。
图4为本申请实施例四中人机交互处理系统的结构示意图;如图4所示,其包括交互业务装置101以及交互引擎102,与上述实施例不同的是,本实施例中,人机交互处理系统还可以包括:自然语言解析单元103以及自然语言生成单元104。因此,本实施例中,如果应用于上述图2或者图3的人机对话应用场景,该人机交互处理系统也可以称之为人机对话系统,当有用户输入时,通过该人机对话系统生成针对该用户输入的答复。
本实施例中,自然语言解析单元(Natural Language Understanding,简称NLU)103用于对当前交互输入进行自然语言解析确定所述槽位信息。
本实施例中,所述交互组织单元122进一步用于根据所述交互任务树的节点被划分为多个级别,一个级别的交互组织单元122对应所述交互任务树的一个节点。当交互组织单元122为对话议程表时,按照对话任务数的子树从根节点出发枝节点的方向形成多层结构,每一层对应子树的节点,比如对话议程表中company这一层对应对话任务树中子树express send这一节点。
本实施例中,自然语言生成单元104(Natural Language Generation,简称NLG)用于生成针对所述当前交互输入的自然语言答复。
具体地,在所述交互业务装置101进行所述结构化处理时,由自然语言生成单元根据结构化处理的结果生成自然语言,以执行所述节点对应的交互子任务。结构化处理比如是根据特定国家语言习惯的风格。
具体地,所述交互业务装置101触发询问行为时,由自然语言生成单元根据触发询问行为生成自然语言向用户发起询问,以执行所述节点对应的交互子任务。
图5为本申请实施例五中一种人机交互处理方法的流程示意图;如图5所示,其包括:
501.描述交互场景中的交互任务,以及根据所述交互任务对所述交互场景中的当前交互输入进行交互流程控制;
本实施例中,具体地,根据预先收集的剧本描述交互任务。
502.根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入。
有关上述步骤501/502的示例性说明可参见上述图2-图4有关实施例的记载。
本申请实施还提供一种存储介质,其上存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现上述任一实施例中所述的方法。
本申请实施还提供一种电子设备,其包括处理器以及存储介质,所述存储介质上存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现上述任一实施例中所述的方法。在具体实施例时,电子设备可以是前端的移动终端,也可以是后台的服务器。
本申请的上述实施例中,由于可以通过交互业务装置描述不同应用场景中的交互任务,从而可实现复杂对话流程的自定义。进一步通过交互控制单元根据所述交互任务对当前交互输入进行交互流程的控制,使对话流程的控制变得更加灵活,可以满足不同的对话场景需求。再进一步通过所述交互组织单元根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入从而允许用户灵活的跳转话题。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如,机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等,该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请实施例的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
本领域的技术人员应明白,本申请实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图和或方框图来描述的。应理解可由计算机程序指令实现流程图和或方框图中的每一流程和或方框、以及流程图和或方框图中的流程和或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的步骤。

Claims (24)

1.一种人机交互处理系统,其特征在于,包括:交互业务装置以及交互引擎,所述交互业务装置用于描述交互场景中的交互任务,所述交互引擎上配置有交互控制单元以及交互组织单元,所述交互控制单元根据所述交互任务对当前交互输入进行交互流程的控制,所述交互组织单元用于根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入。
2.根据权利要求1所述的系统,其特征在于,所述交互业务装置进一步用于根据交互任务的分层模型描述交互场景中的交互任务。
3.根据权利要求2所述的系统,其特征在于,所述交互业务装置进一步用于根据交互任务的交互子任务划分建立分层模型,以及根据交互任务的分层模型描述交互场景中的交互任务。
4.根据权利要求3所述的系统,其特征在于,所述分层模型为交互任务树,所述交互任务树上的一个子树对应一个所述交互子任务。
5.根据权利要求4所述的系统,其特征在于,所述交互业务装置进一步用于为所述交互任务树的节点配置任务执行控制项,以根据任务执行控制项执行所述节点对应的交互子任务。
6.根据权利要求5所述的系统,其特征在于,所述任务执行控制项中定义有其要控制的交互子任务所对应的交互变量,所述交互变量用于控制所述节点对应的交互子任务的执行。
7.根据权利要求6所述的系统,其特征在于,所述交互变量还用于管理与其对应的槽位信息以控制所述节点对应的交互子任务的执行。
8.根据权利要求7所述的系统,其特征在于,还包括:自然语言解析单元,用于对当前交互输入进行自然语言解析以确定所述槽位信息。
9.根据权利要求5所述的系统,其特征在于,所述任务执行控制项用于向用户发起回应动作、向用户发起询问行为、向外部发起服务调用动作中的一种或多种的组合,以根据任务执行控制项执行所述节点对应的交互子任务。
10.根据权利要求9所述的系统,其特征在于,若所述任务执行控制项用于向用户发起回应动作,则所述交互业务装置进一步用于对所述回应动作、所述交互子任务的槽位信息中的至少一种进行结构化处理,以执行所述节点对应的交互子任务。
11.根据权利要求10所述的系统,其特征在于,所述交互业务装置进行所述结构化处理后,由自然语言生成单元根据所述结构化处理的结果生成自然语言,以执行所述节点对应的交互子任务。
12.根据权利要求9所述的系统,其特征在于,若所述任务执行控制项用于向用户发起询问行为,则所述交互业务装置进一步用于在关联的交互变量没有与槽位信息绑定时触发询问行为,以执行所述节点对应的交互子任务。
13.根据权利要求12所述的系统,其特征在于,所述交互业务装置触发询问行为时,由自然语言生成单元根据触发的询问行为生成自然语言向用户发起询问,以执行所述节点对应的交互子任务。
14.根据权利要求9所述的系统,其特征在于,若所述任务执行控制项发起向外部发起服务调用动作,则所述交互业务装置进一步通过输入输出协议将从外部服务调用的结果赋予对应交互变量。
15.根据权利要求1所述的系统,其特征在于,所述交互控制单元进一步用于根据所述交互任务的上下文信息对当前交互输入进行流程控制。
16.根据权利要求15所述的系统,其特征在于,所述交互控制单元进一步用于根据所述交互任务的上下文信息中的槽位信息对当前交互输入进行流程控制。
17.根据权利要求16所述的系统,其特征在于,所述交互控制单元进一步用于对任务执行控制项进行出入栈操作以对交互任务的上下文信息中的槽位信息进行处理,以对当前交互输入进行流程控制。
18.根据权利要求17所述的系统,其特征在于,所述交互控制单元为交互执行栈,在当前交互输入执行完毕之后,所述交互业务装置进一步用于沿着所述交互执行栈的栈顶到栈底的方向执行任务控制项,同时将触发的任务控制项沿着所述栈顶到栈底压入到所述交互执行栈中。
19.根据权利要求1所述的系统,其特征在于,所述交互组织单元进一步用于根据所述交互流程的控制从收集的所有期望交互输入中匹配期望的下一个交互输入。
20.根据权利要求3所述的系统,其特征在于,所述交互组织单元进一步用于根据所述交互任务树的节点被划分为多个级别,每一级别的交互组织单元对应所述交互任务树的一个节点。
21.根据权利要求1-20任一项所述的系统,其特征在于,还包括:自然语言生成单元,用于生成针对所述当前交互输入的自然语言答复。
22.一种人机交互处理方法,其特征在于,包括:
描述交互场景中的交互任务,以及根据所述交互任务对所述交互场景中的当前交互输入进行交互流程控制;
根据所述交互流程的控制确定在当前交互输入对应的交互场景中期望的下一个交互输入。
23.一种存储介质,其特征在于,其上存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现权利要求22所述的方法。
24.一种电子设备,其特征在于,包括处理器以及存储介质,所述存储介质上存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现权利要求22所述的方法。
CN201811194884.3A 2018-10-15 2018-10-15 人机交互处理系统及其方法、存储介质、电子设备 Active CN111046150B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202310706597.0A CN116737900A (zh) 2018-10-15 2018-10-15 人机交互处理系统及其方法、存储介质、电子设备
CN201811194884.3A CN111046150B (zh) 2018-10-15 2018-10-15 人机交互处理系统及其方法、存储介质、电子设备
TW108128699A TW202016693A (zh) 2018-10-15 2019-08-13 人機交互處理系統及其方法、儲存媒體、電子設備
US16/601,262 US11386893B2 (en) 2018-10-15 2019-10-14 Human-computer interaction processing system, method, storage medium, and electronic device
PCT/US2019/056125 WO2020081453A1 (en) 2018-10-15 2019-10-14 Human-computer interaction processing system, method, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811194884.3A CN111046150B (zh) 2018-10-15 2018-10-15 人机交互处理系统及其方法、存储介质、电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310706597.0A Division CN116737900A (zh) 2018-10-15 2018-10-15 人机交互处理系统及其方法、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN111046150A true CN111046150A (zh) 2020-04-21
CN111046150B CN111046150B (zh) 2023-04-25

Family

ID=70159432

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811194884.3A Active CN111046150B (zh) 2018-10-15 2018-10-15 人机交互处理系统及其方法、存储介质、电子设备
CN202310706597.0A Pending CN116737900A (zh) 2018-10-15 2018-10-15 人机交互处理系统及其方法、存储介质、电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310706597.0A Pending CN116737900A (zh) 2018-10-15 2018-10-15 人机交互处理系统及其方法、存储介质、电子设备

Country Status (4)

Country Link
US (1) US11386893B2 (zh)
CN (2) CN111046150B (zh)
TW (1) TW202016693A (zh)
WO (1) WO2020081453A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612482A (zh) * 2020-05-22 2020-09-01 云知声智能科技股份有限公司 对话管理方法、装置和设备
CN112164401A (zh) * 2020-09-18 2021-01-01 广州小鹏汽车科技有限公司 语音交互方法、服务器和计算机可读存储介质
CN113407321A (zh) * 2021-06-18 2021-09-17 斑马网络技术有限公司 基于计算图的任务型会话管理框架、设备及存储介质

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112148416B (zh) * 2020-09-30 2023-10-20 上海联影医疗科技股份有限公司 信息交互方法、装置、设备及存储介质
CN113515423B (zh) * 2021-04-21 2023-05-23 香港理工大学深圳研究院 基于执行轨迹信息的安卓应用行为表征构造方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040083092A1 (en) * 2002-09-12 2004-04-29 Valles Luis Calixto Apparatus and methods for developing conversational applications
US8346563B1 (en) * 2012-04-10 2013-01-01 Artificial Solutions Ltd. System and methods for delivering advanced natural language interaction applications
US20150142704A1 (en) * 2013-11-20 2015-05-21 Justin London Adaptive Virtual Intelligent Agent
US20160042735A1 (en) * 2014-08-11 2016-02-11 Nuance Communications, Inc. Dialog Flow Management In Hierarchical Task Dialogs
US20170316777A1 (en) * 2016-04-29 2017-11-02 Conduent Business Services, Llc Reactive learning for efficient dialog tree expansion
CN107665708A (zh) * 2016-07-29 2018-02-06 科大讯飞股份有限公司 智能语音交互方法及系统
US20180233143A1 (en) * 2017-02-13 2018-08-16 Kabushiki Kaisha Toshiba Dialogue system, a dialogue method and a method of adapting a dialogue system
CN108597509A (zh) * 2018-03-30 2018-09-28 百度在线网络技术(北京)有限公司 智能语音交互实现方法、装置、计算机设备及存储介质
CN108614689A (zh) * 2017-01-09 2018-10-02 阿里巴巴集团控股有限公司 场景服务的生成方法、装置和终端设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546382B2 (en) * 2002-05-28 2009-06-09 International Business Machines Corporation Methods and systems for authoring of mixed-initiative multi-modal interactions and related browsing mechanisms
US8812323B2 (en) * 2007-10-11 2014-08-19 Agency For Science, Technology And Research Dialogue system and a method for executing a fully mixed initiative dialogue (FMID) interaction between a human and a machine
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
CN103092432B (zh) 2011-11-08 2016-08-03 深圳市中科睿成智能科技有限公司 人机交互操作指令的触发控制方法和系统及激光发射装置
US20130297318A1 (en) 2012-05-02 2013-11-07 Qualcomm Incorporated Speech recognition systems and methods
US20140012574A1 (en) 2012-06-21 2014-01-09 Maluuba Inc. Interactive timeline for presenting and organizing tasks
US20130346085A1 (en) 2012-06-23 2013-12-26 Zoltan Stekkelpak Mouth click sound based computer-human interaction method, system and apparatus
US20140173440A1 (en) 2012-12-13 2014-06-19 Imimtek, Inc. Systems and methods for natural interaction with operating systems and application graphical user interfaces using gestural and vocal input
US9460715B2 (en) 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics
US9292254B2 (en) 2013-05-15 2016-03-22 Maluuba Inc. Interactive user interface for an intelligent assistant
US10030878B2 (en) 2013-08-21 2018-07-24 Honeywell International Inc. User interaction with building controller device using a remote server and a duplex connection
US10048748B2 (en) 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
US9698999B2 (en) 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US9489171B2 (en) 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US9582246B2 (en) 2014-03-04 2017-02-28 Microsoft Technology Licensing, Llc Voice-command suggestions based on computer context
US20160365101A1 (en) 2015-06-15 2016-12-15 Motorola Mobility Llc Enabling Event Driven Voice Interaction with a Device
US9653075B1 (en) 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US10424302B2 (en) * 2017-10-12 2019-09-24 Google Llc Turn-based reinforcement learning for dialog management

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040083092A1 (en) * 2002-09-12 2004-04-29 Valles Luis Calixto Apparatus and methods for developing conversational applications
US8346563B1 (en) * 2012-04-10 2013-01-01 Artificial Solutions Ltd. System and methods for delivering advanced natural language interaction applications
US20150142704A1 (en) * 2013-11-20 2015-05-21 Justin London Adaptive Virtual Intelligent Agent
US20160042735A1 (en) * 2014-08-11 2016-02-11 Nuance Communications, Inc. Dialog Flow Management In Hierarchical Task Dialogs
US20170316777A1 (en) * 2016-04-29 2017-11-02 Conduent Business Services, Llc Reactive learning for efficient dialog tree expansion
CN107665708A (zh) * 2016-07-29 2018-02-06 科大讯飞股份有限公司 智能语音交互方法及系统
CN108614689A (zh) * 2017-01-09 2018-10-02 阿里巴巴集团控股有限公司 场景服务的生成方法、装置和终端设备
US20180233143A1 (en) * 2017-02-13 2018-08-16 Kabushiki Kaisha Toshiba Dialogue system, a dialogue method and a method of adapting a dialogue system
CN108597509A (zh) * 2018-03-30 2018-09-28 百度在线网络技术(北京)有限公司 智能语音交互实现方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612482A (zh) * 2020-05-22 2020-09-01 云知声智能科技股份有限公司 对话管理方法、装置和设备
CN112164401A (zh) * 2020-09-18 2021-01-01 广州小鹏汽车科技有限公司 语音交互方法、服务器和计算机可读存储介质
CN113407321A (zh) * 2021-06-18 2021-09-17 斑马网络技术有限公司 基于计算图的任务型会话管理框架、设备及存储介质

Also Published As

Publication number Publication date
WO2020081453A1 (en) 2020-04-23
CN111046150B (zh) 2023-04-25
TW202016693A (zh) 2020-05-01
US20200118566A1 (en) 2020-04-16
US11386893B2 (en) 2022-07-12
CN116737900A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111046150A (zh) 人机交互处理系统及其方法、存储介质、电子设备
CN108491147A (zh) 一种基于虚拟人物的人机交互方法及移动终端
CN109564530A (zh) 提供具有可选择的可遍历的状态机的个人辅助模块
KR20210134675A (ko) 사용자 시연을 통하여 명령들을 학습하고 실행 가능하게 하기 위한 방법 및 시스템
CN108984258A (zh) 应用分屏显示方法、装置、存储介质和电子设备
CN105740263B (zh) 页面显示方法和装置
CN109408136A (zh) 信息处理方法、装置、存储介质及电子设备
WO2017156983A1 (zh) 一种列表的调用方法及装置
CN108549568A (zh) 应用入口处理方法、装置、存储介质及电子设备
CN107258072A (zh) 聊天软件的对话内容管理方法和系统及记录介质
CN109032732B (zh) 通知显示方法、装置、存储介质及电子设备
CN108427588A (zh) 一种显示会话界面的方法、装置及设备
CN114205447B (zh) 电子设备的快捷设置方法、装置、存储介质及电子设备
CN102402455A (zh) 调用动态链接库的方法和装置
CN112766498B (zh) 模型训练方法及装置
CN110347458A (zh) 一种按钮控件展示方法、装置、存储介质及交互智能平板
WO2022056172A1 (en) Interactive communication system with natural language adaptive components
CN112764600B (zh) 资源处理方法、装置、存储介质及计算机设备
WO2021068247A1 (zh) 神经网络调度方法、装置、计算机设备及可读存储介质
JP2021056989A (ja) 音声スキル推薦方法、装置、機器及び記憶媒体
CN111352360A (zh) 机器人的控制方法、装置、机器人及计算机存储介质
CN115047999A (zh) 界面切换方法、装置、电子设备、存储介质及程序产品
CN115185625A (zh) 基于可配置卡片的自推荐式界面更新方法及其相关设备
CN109299223B (zh) 用于查询指令的方法及装置
CN113144606A (zh) 虚拟对象的技能触发方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant