CN107831903B - 多人参与的人机交互方法及装置 - Google Patents

多人参与的人机交互方法及装置 Download PDF

Info

Publication number
CN107831903B
CN107831903B CN201711195912.9A CN201711195912A CN107831903B CN 107831903 B CN107831903 B CN 107831903B CN 201711195912 A CN201711195912 A CN 201711195912A CN 107831903 B CN107831903 B CN 107831903B
Authority
CN
China
Prior art keywords
interactive
user
priority
current
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711195912.9A
Other languages
English (en)
Other versions
CN107831903A (zh
Inventor
周维
陈志刚
王智国
胡国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201711195912.9A priority Critical patent/CN107831903B/zh
Publication of CN107831903A publication Critical patent/CN107831903A/zh
Priority to PCT/CN2018/096706 priority patent/WO2019100738A1/zh
Application granted granted Critical
Publication of CN107831903B publication Critical patent/CN107831903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

本发明公开了一种多人参与的人机交互方法及装置,该方法包括:接收用户当前交互指令;对所述当前交互指令进行分析,得到用户交互意图;确定交互响应的优先度;根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应。利用本发明,可以提高多人参与的人机交互响应的准确性及智能化程度,提升用户体验。

Description

多人参与的人机交互方法及装置
技术领域
本发明涉及人机交互领域,具体涉及一种多人参与的人机交互方法及装置。
背景技术
随着人工智能技术的不断进步,人机交互也取得了长足的发展,各种人机交互机器人大肆兴起,随之人们对自然、拟人的人机交互方式的追求也愈发强烈。现有的人机交互系统大多还只能处理较为简单的一对一交互,其大致工作流程为:接收用户的交互指令,对所述交互指令进行分析,得到用户的交互意图,根据用户的交互意图做出相应的响应。即使有一些支持多人参与交互的设备,也只是在用户A交互过程中,如果用户B加入,则中断与用户A的交互,然后再与用户B进行交互。而对于多人参与的较为复杂的交互场景,其结果要么是逐一响应、要么是任意打断,难以达到拟人的效果,如对交互对象、交互顺序等的智能响应,因此时常会给对用户请求做出错误的响应,降低用户体验。
发明内容
本发明实施例提供一种多人参与的人机交互方法及装置,以解决现有人机交互方案存在的因交互响应策略简单粗暴导致的交互体验差、无法达到拟人智能交互的问题。
为此,本发明提供如下技术方案:
一种多人参与的人机交互方法,所述方法包括:
接收用户当前交互指令;
对所述当前交互指令进行分析,得到用户交互意图;
确定交互响应的优先度;
根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应。
优选地,所述交互指令为以下任意一种或多种形式的信息:语音、动作、按键。
优选地,在所述交互指令包含语音信息时,所述对所述当前交互指令进行分析,得到用户交互意图包括:
对当前语音信息进行语音识别,得到识别结果;
根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图。
优选地,所述对所述当前交互指令进行分析,得到用户交互意图还包括:
根据预先构建的关联判断模型,确定与所述当前交互指令相关联的历史数据;
所述根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图包括:
根据所述识别结果以及与所述当前交互指令相关联的历史数据信息进行语义理解,得到用户交互意图。
优选地,所述方法还包括:
确定当前交互指令对应的用户信息,并标识所述历史数据对应的用户ID;
所述根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图包括:
根据所述识别结果、当前交互指令对应的用户ID对应的历史数据及其它用户ID对应的历史数据进行语义理解,得到用户交互意图。
优选地,所述确定交互响应的优先度包括:
根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb
根据所述交互优先度特征确定交互响应的优先度。
优选地,所述确定交互响应的优先度包括:
根据所述用户信息确定用户优先度特征Su
根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb
根据所述用户优先度特征Su确定交互响应的优先度,或者根据所述用户优先度特征Su和所述交互优先度特征确定交互响应的优先度。
优选地,所述根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应包括:
如果所述交互响应的优先度大于设定阈值,则中断对其它交互指令进行的响应,并对当前交互指令进行响应;
在对当前交互指令进行响应完成后,重新执行中断的任务。
优选地,所述根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应包括:
根据所述交互响应的优先度及预先构建的策略模型,确定响应策略;
根据所述响应策略对当前交互指令进行响应。
一种多人参与的人机交互装置,所述装置包括:
交互信息接收模块,用于接收用户当前交互指令;
指令解析模块,用于对所述当前交互指令进行分析,得到用户交互意图;
优先度分析模块,用于确定交互响应的优先度;
响应模块,用于根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应。
优选地,在所述交互指令包含语音信息时,所述指令解析模块包括:
语音识别单元,用于对当前语音信息进行语音识别,得到识别结果;
语义理解单元,用于根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图。
优选地,所述指令解析模块还包括:
关联判断单元,用于根据预先构建的关联判断模型,确定与所述当前交互指令相关联的历史数据;
所述语义理解单元根据所述识别结果以及与所述当前交互指令相关联的历史数据信息进行语义理解,得到用户交互意图。
优选地,所述装置还包括:
用户信息获取模块,用于确定当前交互指令对应的用户信息;
所述语音识别单元,还用于根据所述用户信息获取模块确定的用户信息标识所述历史数据对应的用户ID;
所述语义理解单元根据所述识别结果、当前交互指令对应的用户ID对应的历史数据及其它用户ID对应的历史数据进行语义理解,得到用户交互意图。
优选地,所述优先度分析模块具体用于根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb;根据所述交互优先度特征确定交互响应的优先度。
优选地,所述优先度分析模块包括:
用户分析单元,用于根据所述用户信息确定用户优先度特征Su
指令分析单元,用于根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb
优先度确定单元,用于根据所述用户优先度特征Su确定交互响应的优先度,或者根据所述用户优先度特征Su和所述交互优先度特征确定交互响应的优先度。
优选地,所述响应模块还用于判断所述交互响应的优先度是否大于设定阈值,如果是,则中断对其它交互指令进行的响应,并对当前交互指令进行响应;在对当前交互指令进行响应完成后,重新执行中断的任务。
优选地,所述响应模块具体用于根据所述交互响应的优先度及预先构建的策略模型,确定响应策略,并根据所述响应策略对当前交互指令进行响应。
本发明实施例提供的多人参与的人机交互方法及装置,在接收到用户当前交互指令后,对该交互指令进行分析,得到用户交互意图,然后确定交互响应的优先度,根据所述交互响应的优先度及用户交互意图,对用户交互进行响应,从而不仅可以保证响应的准确性,而且由于考虑了不同交互响应的优先度,因此可以使用户得到更好的体验,提高了人机交互的智能化及拟人化程度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本发明实施例多人参与的人机交互方法的一种流程图;
图2是本发明实施例多人参与的人机交互装置的一种结构示意图;
图3是本发明实施例中指令解析模块的一种结构示意图;
图4是本发明实施例本发明实施例多人参与的人机交互装置的另一种结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案,下面结合附图和实施方式对本发明实施例作进一步的详细说明。
如图1所示,是本发明实施例多人参与的人机交互方法的一种流程图,包括以下步骤:
步骤101,接收用户当前交互指令。
所述交互指令可以是语音、动作比如手势或其他肢体动作、按键等其中的一种或多种形式的交互指令。
步骤102,对所述当前交互指令进行分析,得到用户交互意图。
对交互指令的分析,主要是指对指令信息的识别和理解,对于动作类的交互指令,需要识别相应动作,找到该动作对应的用户交互意图,这些对应关系是预先设定好的,机器只需对该动作进行识别;同样,对于按键交互指令,不同按键对应的用户交互意图也是预先设定好的。
下面主要以语音交互指令为例进行说明。
对于语音交互指令,需要对其进行语音识别及语义理解。其中,语音识别可以采用现有常见的语音识别技术实现。
对于语义理解,考虑到多人参与的交互,时常存在交叉式的交互,容易出现用户意图理解错误的情况。如表1所示,在示例A中,用户u1请求“那儿的天气怎么样”与上一轮用户u2的交互无关,而与自己的交互历史相关;而在示例B中,用户u1是在用户u2交互的基础上进行的交互,需要从用户u2的历史中继承电影名称。
表1
Figure BDA0001481942850000061
为此,在本发明实施例中,在对语音交互指令进行语义理解时,可以借助于多条历史交互数据,对当前交互指令进行语义理解。即在对当前交互指令进行语义理解时,根据当前交互指令的识别结果以及存储的历史数据进行语义理解,得到用户交互意图。当然也可以只根据当前交互指令的识别结果对其进行语认理解,得到用户交互意图。
需要说明的是,语义理解可采用现有主流的基于神经网络模型的语义理解技术,模型的输入为当前指令向量信息和所述多条历史数据的向量信息,模型的输出为语义理解结果,如业务、关键词。所述当前指令向量信息可以根据当前指令的识别结果得到,比如,对所述识别结果进行分词,得到各词的词向量,将这些词向量的和作为当前指令向量信息。
进一步地,在本发明另一实施例中,还可以根据预先构建的关联判断模型,确定存储的历史数据中与所述当前交互指令相关联的历史数据,然后,根据当前交互指令的识别结果以及与所述当前交互指令相关联的历史数据信息进行语义理解,得到用户交互意图。与所述当前交互指令相关联的历史数据信息可以是与所述当前交互指令相关联的历史数据的向量,或者是与所述当前交互指令相关联的历史数据对应的语义理解结果,如业务(订火车票)、关键词(出发地、目的地、时间等),对此本发明实施例不做限定。
所述关联判断模型可以采用神经网络模型(如DNN、RNN等),其构建过程同于一般神经网络,大致为:收集大量的训练数据并进行标注,获取每对训练数据(即历史数据和当前交互数据)的向量信息,确定模型的拓扑结构(输入为历史数据和当前数据的向量信息,输出为关联判断结果),采用常见模型训练算法(如BP算法)进行关联判断模型的训练。
进一步地,在本发明另一实施例中,还可以考虑用户身份信息,即确定当前交互指令对应的用户信息,并标识各历史数据对应的用户ID。为了便于后续对历史数据的提取,可以将不同用户的交互历史数据独立存储,当然,也可以将不同用户的交互历史数据一起存储,并添加每条历史数据对应的用户ID即可。
相应地,在上述根据预先构建的关联判断模型,确定与所述当前交互指令相关联的历史数据时,可同时考虑时间上的前多轮历史数据和对应所述用户的前多轮历史数据,以防止如果轮数M取得较小,而参与交互的人数较多情况下,未对当前交互用户的历史数据进行利用,影响用户意图判断的准确性。
当然,在考虑用户身份信息的情况下,也可以不用进行上述关联判断,直接根据所述识别结果、以及当前交互指令对应的用户ID对应的历史数据及其它用户ID对应的历史数据进行语义理解,得到用户交互意图。在这种情况下,由于同时考虑了当前交互指令对应用户的历史数据和其它用户的历史数据,因此也能够得到准确的用户交互意图。
需要说明的是,确定当前交互指令对应的用户信息具体可以采用多种方式,比如,通过对当前交互指令进行声纹识别,确定当前交互指令对应的用户信息;或者,在接收用户当前交互指令时,获取用户其它生物信息(比如人脸图像、虹膜图像等),根据所述生物信息确定当前交互指令对应的用户信息。
步骤103,确定交互响应的优先度。
由于本发明方案针对的是多人参与的人机交互应用场景,为了使该交互更智能化、拟人化,在本发明实施例中,进一步考虑针对当前交互指令的交互响应的优先度,根据所述优先度决定响应策略,按照相应的响应策略对用户交互进行响应。比如,按照交互响应优先度从大到小的顺序进行响应,而非依照收到交互指令的时间先后顺序进行响应。
所述交互响应的优先度可以由根据用户交互意图决定,也可以根据用户信息确定,当然还可以根据用户交互意图和用户信息来综合确定,其中,根据用户交互意图可以得到交互优先度特征,根据用户信息可以得到用户优先度特征。下面分别对这三种情况加以说明。
1)根据用户交互意图确定交互响应的优先度
根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb。在实现应用中,可以根据这三种特征中的任意一种或多种特征确定所述交互响应的优先度。其中:
请求的紧迫度Se:是指交互指令中表达出的急迫感,主要通过关键词匹配判断语句中是否出现“赶快”,“马上”,“快点”等表达时间紧急相关的词,如有取值为1(表达紧迫),否则取值为0。
业务时效性St:不同的业务具有不同的时效性,时效性越高的业务优先级越高。以电视播放为例,新闻、赛事直播优先级高于视频点播。业务时效性取值在0-1之间,各业务的时效性可通过在语义理解过程中确定业务类型后,从预先配置的各业务类型对应的时效性中获取。
对当前业务的干扰性Cdisturb:是指对当前正在执行业务的干扰性,干扰越小的响应优先级越高。例如正在播放电影时,要播放音乐就必须停止播放电影,属强干扰;如果是查询天气,则可以在局部小窗口或滚动条进行展示,属弱干扰;如果是增设一个闹钟,可认为无干扰。对于同一请求,可以有多种响应方式(例如查询天气可以大屏展示,可以语音播放,也可以滚动条显示),系统根据当前状态选择干扰性较小的响应方式。比如,可以定义干扰系数来衡量干扰性,其计算公式如下:
Figure BDA0001481942850000091
其中Oa∈{0,1}表示音频播报占用与否,0≤Os≤1表示画面占用比例,p∈[0,1]为权重分配系数,针对不同的产品对音频和画面的占用情况分配不同的权重,如果没有显示屏,则p为1。to&tleft分别为响应该交互指令将耗费的时间和当前正在执行的任务的剩余时间。由此可以看到,音频和画面占用越少,干扰系数越小,占用时间越长、当前任务剩余时间越少、干扰系数越大。需要说明的是,如果当前系统空闲时,音频和画面占用都将为0,可以直接响应。
在实际应用中,可以根据上述三种特征中的任意一种或多种确定交互响应的优先度。
(2)根据用户信息确定交互响应的优先度
具体地,可以首先根据用户信息确定用户优先度特征Su,根据用户优先度特征Su确定交互响应的优先度。比如,可以根据用户信息确定用户的级别,对不同级别的用户设定不同的用户优先度特征,例如电视应用中,通过声纹和图像可以区分不同的个体,同时分成老人、成人和小孩三类优先等级的用户,优先度可以设置为老人>成人>小孩,这能防止爱淘气的小孩打扰大人的观影;用户级别的设定可以由系统预先设定,也可以向用户提供设定接口,由用户根据实际应用中的需要在现场设定。
(3)根据用户交互意图及用户信息确定交互响应的优先度
具体可以根据上述用户优先度特征Su以及上述三种交互优先度特征中的一种或多种确定交互响应的优先度。
需要说明的是,如果只根据用户信息确定交互响应的优先度,则上述步骤103也可以在步骤101之前进行,对此本实施例不做限定。
步骤104,根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应。
具体地,可以根据所述交互响应的优先度确定响应策略,根据所述响应策略对当前交互指令进行响应。
比如,预先构建策略模型,所述策略模型可以采用神经网络模型,如DNN、CNN等,所述策略模型的输入可以是各优先度特征,所述策略模型的输出为响应策略,如切断、等待当前交互结束等。
再比如,按照所述交互响应的优先度从大到小的顺序对所述用户交互意图对应的交互指令进行响应。
所述交互响应的优先度的计算可以根据上述各优先度特征进行线性加权,计算公式例如可以采用下述公式:
Figure BDA0001481942850000101
其中,α、β、γ和θ均为优先级权重,可根据实际应用情况进行取值,其中α+β+γ=1。
进一步地,还可以设定响应优先度的判断阈值,如果计算得到的交互响应的优先度大于设定的阈值,则中断对其它交互指令进行的响应,并对所述当前交互指令进行响应;在对所述当前交互指令进行响应完成后,再重新执行中断的任务。
需要说明的是,在实际应用中,响应策略具有很强的灵活性,具体的策略可根据不同的产品和应用场合进行配置,对此本发明实施例不做限定。
本发明实施例提供的多人参与的人机交互方法,在接收到用户当前交互指令后,对该交互指令进行分析,得到用户交互意图,然后确定交互响应的优先度,根据所述交互响应的优先度及用户交互意图,对用户交互进行响应,从而不仅可以保证响应的准确性,而且由于考虑了不同交互响应的优先等级,因此可以使用户得到更好的体验,提高了人机交互的智能化及拟人化程度。
相应地,本发明实施例还提供一种多人参与的人机交互装置,如图2所示,是该装置的一种结构示意图。
在该实施例中,所述装置包括:
交互信息接收模块201,用于接收用户当前交互指令;
指令解析模块202,用于对所述当前交互指令进行分析,得到用户交互意图;
优先度分析模块203,用于确定交互响应的优先度;
响应模块204,用于根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应。
根据产品及应用不同,所述交互指令可以有多种不同形式,比如语音、动作、按键等形式,相应地,所述交互信息接收模块201可以包括以下任意一种或多种:
麦克风,用于接收语音形式的交互指令;
传感器,用于接收肢体动作形式的交互指令;
触摸屏,用于接收动作形式的交互指令;
按键,用于接收按键形式的交互指令。
当然,所述交互信息接收模块201还可以是其它形式的物理实体,对此本发明实施例不做限定。
下面以交互指令包含语音信息的情况进行说明。
相应地,所述指令解析模块202的一种具体结构包括:语音识别单元和语义理解单元,其中:
所述语音识别单元用于对当前语音信息进行语音识别,得到识别结果,并将所述识别结果存储为一条历史数据;语音识别可以采用现有技术;
所述语义理解单元用于根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图,具体可采用现有主流的基于神经网络模型的语义理解技术,对此不再详细描述。
所述指令解析模块202的另一种具体结构如图3所示,包括:语音识别单元221、语义理解单元222、以及分别与语音识别单元221和语义理解单元222相连的关联判断单元223。其中:
所述语音识别单元221用于对当前语音信息进行语音识别,得到识别结果,并将所述识别结果存储为一条历史数据;
所述关联判断单元223用于根据预先构建的关联判断模型,确定与所述当前交互指令相关联的历史数据;
所述语义理解单元222用于根据所述识别结果以及与所述当前交互指令相关联的历史数据信息进行语义理解,得到用户交互意图。与当前交互指令相关联的历史数据信息具体可以是与当前交互指令相关联的历史数据的向量,或者是与所述当前交互指令相关联的历史数据对应的语义理解结果。语义理解具体可采用现有主流的基于神经网络模型的语义理解技术,对此不再详细描述。
所述关联判断模型可以采用神经网络模型(如DNN、RNN等),可由相应的关联判断模型构建模块来构建,其构建过程同于一般神经网络,大致为:收集大量的训练数据并进行标注,获取每对训练数据(即历史数据和当前交互数据)的向量信息,确定模型的拓扑结构(输入为历史数据和当前数据的向量信息,输出为关联判断结果),采用常见模型训练算法(如BP算法)进行关联判断模型的训练。所述关联判断模型构建模块可以作为本发明装置的一部分,也可以独立于本发明装置,对此本发明实施例不做限定。
如图4所示,是本发明实施例多人参与的人机交互装置的另一种结构示意图。
与图2所示实施例不同的是,在该实施例中,所述装置还包括:用户信息获取模块205,用于确定当前交互指令对应的用户信息。
相应地,在该实施例中,所述指令解析模块202包括:语音识别单元221和语义理解单元222。其中:
所述语音识别单元221不仅对当前语音信息进行语音识别,得到识别结果,还要根据所述用户信息获取模块205确定的用户信息标识所述历史数据对应的用户ID;
所述语义理解单元222根据所述识别结果、当前交互指令对应的用户ID对应的历史数据(比如前多轮历史数据或者前一定时间段内的历史数据)及其它用户ID对应的历史数据进行语义理解,得到用户交互意图。
所述用户信息获取模块205具体可通过多种方式得到用户信息,比如通过对当前交互指令进行声纹识别,确定当前交互指令对应的用户信息;或者在所述交互信息接收模块201接收用户当前交互指令时,获取用户的其它生物信息,并根据所述生物信息确定当前交互指令对应的用户信息。
在上述本发明装置各实施例中,所述优先度分析模块203具体可以根据用户交互意图和/或用户信息确定交互响应的优先度。
比如,在一个具体实施例中,所述优先度分析模块203具体用于根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb;根据所述交互优先度特征确定交互响应的优先度。
再比如,所述优先度分析模块203的另一个具体实施例可以包括以下各单元:
用户分析单元,用于根据所述用户信息确定用户优先度特征Su
指令分析单元,用于根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb
优选度确定单元,用于根据所述用户优先度特征Su确定交互响应的优先度,或者根据所述用户优先度特征Su和所述交互优先度特征确定交互响应的优先度。
在上述本发明装置各实施例中,所述响应模块204具体可以根据所述优先度分析模块203得到的交互响应的优先度确定响应策略,比如基于预先构建的策略模型确定响应策略,根据所述响应策略对当前交互指令进行响应。所述策略模型可以采用神经网络模型,如DNN、CNN等,具体可由相应的策略模型构建模块来构建。所述策略模型构建模块可以作为本发明装置的一部分,也可以独立于本发明装置,对此本发明实施例不做限定。
在上述本发明装置各实施例中,所述响应模块204还可以按照所述交互响应的优先度从大到小的顺序对对用户交互进行响应,比如,按照响应的优先度从大到小的顺序将所述用户交互意图对应的交互指令插入到任务队列,依次对所述任务队列中的交互指令进行响应。
进一步地,所述响应模块204还用于判断所述交互响应的优先度是否大于设定阈值,如果是,则中断对其它交互指令进行的响应,并对当前交互指令进行响应;在对当前交互指令进行响应完成后,重新执行中断的任务。
本发明实施例提供的多人参与的人机交互装置,在接收到用户当前交互指令后,对该交互指令进行分析,得到用户交互意图,然后确定交互响应的优先度,根据所述交互响应的优先度及用户交互意图,对用户交互进行响应,从而不仅可以保证响应的准确性,而且由于考虑了不同交互响应的优先等级,因此可以使用户得到更好的体验,提高了人机交互的智能化及拟人化程度。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本发明实施例进行了详细介绍,本文中应用了具体实施方式对本发明进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及装置;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (19)

1.一种多人参与的人机交互方法,其特征在于,所述方法包括:
接收用户当前交互指令;
对所述当前交互指令进行分析,得到用户交互意图;
根据所述当前交互指令对应的用户交互意图,确定交互响应的优先度;
根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应;
其中,所述根据所述当前交互指令对应的用户交互意图,确定交互响应的优先度包括:
根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb
根据所述交互优先度特征确定交互响应的优先度。
2.根据权利要求1所述的方法,其特征在于,所述交互指令为以下任意一种或多种形式的信息:语音、动作、按键。
3.根据权利要求1所述的方法,其特征在于,在所述交互指令包含语音信息时,所述对所述当前交互指令进行分析,得到用户交互意图包括:
对当前语音信息进行语音识别,得到识别结果;
根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图,其中,所述历史数据为历史交互数据。
4.根据权利要求3所述的方法,其特征在于,所述对所述当前交互指令进行分析,得到用户交互意图还包括:
根据预先构建的关联判断模型,确定与所述当前交互指令相关联的历史数据;
所述根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图包括:
根据所述识别结果以及与所述当前交互指令相关联的历史数据信息进行语义理解,得到用户交互意图。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
确定当前交互指令对应的用户信息,并标识所述历史数据对应的用户ID;
所述根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图包括:
根据所述识别结果、当前交互指令对应的用户ID对应的历史数据及其它用户ID对应的历史数据进行语义理解,得到用户交互意图;或者
根据所述识别结果、当前交互指令对应的用户ID对应的历史数据及在时间上位于所述当前交互指令之前的历史数据进行语义理解,得到用户交互意图。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据当前交互指令对应的用户信息确定用户优先度特征Su
所述根据所述交互优先度特征确定交互响应的优先度,包括:
根据所述用户优先度特征Su和所述交互优先度特征确定交互响应的优先度。
7.根据权利要求6所述的方法,其特征在于,所述根据所述用户优先度特征Su和所述交互优先度特征确定交互响应的优先度包括:
对所述用户优先度特征Su、交互请求的紧迫度Se以及业务时效性St进行加权求和,并将所述和与加权后的所述对当前业务的干扰性Cdisturb之间的比值作为交互响应的优先度。
8.根据权利要求1所述的方法,其特征在于,所述根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应包括:
如果所述交互响应的优先度大于设定阈值,则中断对其它交互指令进行的响应,并对当前交互指令进行响应;
在对当前交互指令进行响应完成后,重新执行中断的任务。
9.根据权利要求1所述的方法,其特征在于,所述根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应包括:
根据所述交互响应的优先度及预先构建的策略模型,确定响应策略;
根据所述响应策略对当前交互指令进行响应。
10.根据权利要求1所述的方法,其特征在于,所述根据所述用户交互意图确定交互优先度特征包括以下至少一个步骤:
判断所述当前交互指令中是否存在表示紧急的关键词,来确定交互请求的紧迫度Se
确定所述用户交互意图所属的业务类型,并从预先配置的各业务类型对应的时效性中选择与所述确定的业务类型匹配的时效性,以得到所述业务时效性St
为所述用户交互意图选择对当前业务的干扰性最小的响应方式,并将所述选择的响应方式对当前业务的干扰性作为所述对当前业务的干扰性Cdisturb
11.一种多人参与的人机交互装置,其特征在于,所述装置包括:
交互信息接收模块,用于接收用户当前交互指令;
指令解析模块,用于对所述当前交互指令进行分析,得到用户交互意图;
优先度分析模块,用于根据所述当前交互指令对应的用户交互意图,确定交互响应的优先度;
响应模块,用于根据所述交互响应的优先度及所述用户交互意图,对用户交互进行响应;
其中,所述优先度分析模块,具体用于根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb;根据所述交互优先度特征确定交互响应的优先度。
12.根据权利要求11所述的装置,其特征在于,在所述交互指令包含语音信息时,所述指令解析模块包括:
语音识别单元,用于对当前语音信息进行语音识别,得到识别结果;
语义理解单元,用于根据所述识别结果以及存储的历史数据进行语义理解,得到用户交互意图,其中,所述历史数据为历史交互数据。
13.根据权利要求12所述的装置,其特征在于,所述指令解析模块还包括:
关联判断单元,用于根据预先构建的关联判断模型,确定与所述当前交互指令相关联的历史数据;
所述语义理解单元根据所述识别结果以及与所述当前交互指令相关联的历史数据信息进行语义理解,得到用户交互意图。
14.根据权利要求12所述的装置,其特征在于,所述装置还包括:
用户信息获取模块,用于确定当前交互指令对应的用户信息;
所述语音识别单元,还用于根据所述用户信息获取模块确定的用户信息标识所述历史数据对应的用户ID;
所述语义理解单元根据所述识别结果、当前交互指令对应的用户ID对应的历史数据及其它用户ID对应的历史数据进行语义理解,得到用户交互意图;或者,根据所述识别结果、当前交互指令对应的用户ID对应的历史数据及在时间上位于所述当前交互指令之前的历史数据进行语义理解,得到用户交互意图。
15.根据权利要求11所述的装置,其特征在于,所述优先度分析模块包括:
用户分析单元,用于根据当前交互指令对应的用户信息确定用户优先度特征Su
指令分析单元,用于根据所述用户交互意图确定交互优先度特征,所述交互优先度特征包括以下任意一项或多项:交互请求的紧迫度Se、业务时效性St、对当前业务的干扰性Cdisturb
优先度确定单元,用于根据所述用户优先度特征Su和所述交互优先度特征确定交互响应的优先度。
16.根据权利要求15所述的装置,其特征在于,所述优先度确定单元具体用于对所述用户优先度特征Su、交互请求的紧迫度Se以及业务时效性St进行加权求和,并将所述和与加权后的所述对当前业务的干扰性Cdisturb之间的比值作为交互响应的优先度。
17.根据权利要求11所述的装置,其特征在于,所述响应模块还用于判断所述交互响应的优先度是否大于设定阈值,如果是,则中断对其它交互指令进行的响应,并对当前交互指令进行响应;在对当前交互指令进行响应完成后,重新执行中断的任务。
18.根据权利要求11所述的装置,其特征在于,所述响应模块具体用于根据所述交互响应的优先度及预先构建的策略模型,确定响应策略,并根据所述响应策略对当前交互指令进行响应。
19.根据权利要求11所述的装置,其特征在于,所述优先度分析模块包括指令分析单元,所述指令分析单元用于执行以下至少一个步骤:
判断所述当前交互指令中是否存在表示紧急的关键词,来确定交互请求的紧迫度Se
确定所述用户交互意图所属的业务类型,并从预先配置的各业务类型对应的时效性中选择与所述确定的业务类型匹配的时效性,以得到所述业务时效性St
为所述用户交互意图选择对当前业务的干扰性最小的响应方式,并将所述选择的响应方式对当前业务的干扰性作为所述对当前业务的干扰性Cdisturb
CN201711195912.9A 2017-11-24 2017-11-24 多人参与的人机交互方法及装置 Active CN107831903B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711195912.9A CN107831903B (zh) 2017-11-24 2017-11-24 多人参与的人机交互方法及装置
PCT/CN2018/096706 WO2019100738A1 (zh) 2017-11-24 2018-07-23 多人参与的人机交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711195912.9A CN107831903B (zh) 2017-11-24 2017-11-24 多人参与的人机交互方法及装置

Publications (2)

Publication Number Publication Date
CN107831903A CN107831903A (zh) 2018-03-23
CN107831903B true CN107831903B (zh) 2021-02-02

Family

ID=61645537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711195912.9A Active CN107831903B (zh) 2017-11-24 2017-11-24 多人参与的人机交互方法及装置

Country Status (2)

Country Link
CN (1) CN107831903B (zh)
WO (1) WO2019100738A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107831903B (zh) * 2017-11-24 2021-02-02 科大讯飞股份有限公司 多人参与的人机交互方法及装置
CN108536297A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 用于多人的人机交互应用程序的实现方法和装置
CN108847225B (zh) * 2018-06-04 2021-01-12 上海智蕙林医疗科技有限公司 一种机场多人语音服务的机器人及其方法
CN110619870B (zh) * 2018-06-04 2022-05-06 佛山市顺德区美的电热电器制造有限公司 一种人机对话方法、装置、家用电器和计算机存储介质
CN108920172B (zh) * 2018-06-12 2021-12-14 思必驰科技股份有限公司 用于语音对话平台的程序发布和调用方法及系统
CN110689393B (zh) * 2018-07-06 2022-08-02 阿里巴巴集团控股有限公司 人机交互方法、设备、系统及存储介质
CN109408209A (zh) * 2018-09-27 2019-03-01 北京云迹科技有限公司 任务执行方法和装置
CN109710941A (zh) * 2018-12-29 2019-05-03 上海点融信息科技有限责任公司 基于人工智能的用户意图识别方法和装置
CN111724797A (zh) * 2019-03-22 2020-09-29 比亚迪股份有限公司 基于图像和声纹识别的语音控制方法、系统和车辆
US11580970B2 (en) * 2019-04-05 2023-02-14 Samsung Electronics Co., Ltd. System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
CN110297544B (zh) * 2019-06-28 2021-08-17 联想(北京)有限公司 输入信息响应方法及装置、计算机系统和可读存储介质
CN111443801B (zh) * 2020-03-25 2023-10-13 北京百度网讯科技有限公司 人机交互方法、装置、设备及存储介质
CN114281182A (zh) * 2020-09-17 2022-04-05 华为技术有限公司 人机交互方法、装置和系统
CN112788004B (zh) * 2020-12-29 2023-05-09 上海掌门科技有限公司 一种通过虚拟会议机器人执行指令的方法、设备与计算机可读介质
CN112650489A (zh) * 2020-12-31 2021-04-13 北京猎户星空科技有限公司 业务控制方法、装置、计算机设备以及存储介质
CN113111066A (zh) * 2021-04-20 2021-07-13 长沙市到家悠享网络科技有限公司 一种数据库操作工单自动上线方法、装置、系统和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572133A (zh) * 2015-02-06 2015-04-29 莉莉丝科技(上海)有限公司 一种用于执行计算任务中多用户的操作的方法与设备
CN105912128A (zh) * 2016-04-29 2016-08-31 北京光年无限科技有限公司 面向智能机器人的多模态交互数据处理方法及装置
CN106375546A (zh) * 2015-07-20 2017-02-01 Lg电子株式会社 移动终端及其控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685454A (zh) * 2008-09-28 2010-03-31 华为技术有限公司 人机交互方法及系统
US8818556B2 (en) * 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction
CN102938030B (zh) * 2012-09-29 2015-11-18 周万荣 一种应用的使用权限设置及控制限定区域的方法和终端
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
CN107408027B (zh) * 2015-03-31 2020-07-28 索尼公司 信息处理设备、控制方法及程序
CN106445654B (zh) * 2016-08-31 2019-06-11 北京康力优蓝机器人科技有限公司 确定响应控制命令优先顺序的方法及装置
CN106569613A (zh) * 2016-11-14 2017-04-19 中国电子科技集团公司第二十八研究所 一种多模态人机交互系统及其控制方法
CN107169034B (zh) * 2017-04-19 2020-08-04 畅捷通信息技术股份有限公司 一种多轮人机交互的方法及系统
CN107831903B (zh) * 2017-11-24 2021-02-02 科大讯飞股份有限公司 多人参与的人机交互方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572133A (zh) * 2015-02-06 2015-04-29 莉莉丝科技(上海)有限公司 一种用于执行计算任务中多用户的操作的方法与设备
CN106375546A (zh) * 2015-07-20 2017-02-01 Lg电子株式会社 移动终端及其控制方法
CN105912128A (zh) * 2016-04-29 2016-08-31 北京光年无限科技有限公司 面向智能机器人的多模态交互数据处理方法及装置

Also Published As

Publication number Publication date
WO2019100738A1 (zh) 2019-05-31
CN107831903A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN107831903B (zh) 多人参与的人机交互方法及装置
CN112075075B (zh) 用于促进远程会议的方法和计算机化智能助理
US11019308B2 (en) Speaker anticipation
CN108075892B (zh) 一种语音处理的方法、装置和设备
JP6023685B2 (ja) 感情情報表示制御装置、その方法及びプログラム
US20150189233A1 (en) Facilitating user interaction in a video conference
CN110874716A (zh) 面试测评方法、装置、电子设备及存储介质
KR20210008521A (ko) 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트-특정 핫 워드
US20190379742A1 (en) Session-based information exchange
CN103365936A (zh) 视频推荐系统及其方法
CN111683263A (zh) 直播指导方法、装置、设备及计算机可读存储介质
CN112651334B (zh) 机器人视频交互方法和系统
CN111144344A (zh) 人物年龄的确定方法、装置、设备及存储介质
US20200357504A1 (en) Information processing apparatus, information processing method, and recording medium
CN114257824A (zh) 直播显示方法、装置、存储介质及计算机设备
CN111506183A (zh) 一种智能终端及用户交互方法
JP6023684B2 (ja) 感情情報表示制御装置、その方法及びプログラム
CN116301381A (zh) 一种交互方法及相关设备和系统
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
CN113068060A (zh) 视频账号匹配方法和装置、及电子设备
JP5930946B2 (ja) 対話状態推定装置、対話状態推定方法、およびプログラム
CN113111197A (zh) 多媒体内容的推荐方法、装置、设备及存储介质
JP5850886B2 (ja) 情報処理装置及び方法
JP2016213631A (ja) 理解状態推定装置及びプログラム
CN116896654B (zh) 一种视频处理方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant