CN109648573A - 一种机器人会话切换方法、装置及计算设备 - Google Patents
一种机器人会话切换方法、装置及计算设备 Download PDFInfo
- Publication number
- CN109648573A CN109648573A CN201811562114.XA CN201811562114A CN109648573A CN 109648573 A CN109648573 A CN 109648573A CN 201811562114 A CN201811562114 A CN 201811562114A CN 109648573 A CN109648573 A CN 109648573A
- Authority
- CN
- China
- Prior art keywords
- people
- session
- current sessions
- switching
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Abstract
本发明涉及智能机器人技术领域,尤其公开了一种机器人会话的方法、装置、计算设备及计算机存储介质,其中,方法包括:采集位于所述机器人前方的环境图像;从所述环境图像中确定候选会话人;判断是否满足切换当前会话人的切换条件;若满足,则从所述候选会话人中选择目标会话人;将所选择的目标会话人确定为当前会话人。由此可见,利用本发明方案可以实现机器人主动切换会话人。
Description
技术领域
本发明实施例涉及智能机器人技术领域,特别是涉及一种机器人会话切换方法、装置及计算设备。
背景技术
随着互联网及深度学习技术的发展,机器人技术取得了很大进步,由原来的独立机器人个体,发展到现在的云端机器人。云端机器人是指机器人本体只负责数据的采集,数据预处理及数据传输,复杂的计算和判断工作通过数据传输至云端处理器执行。
机器人会话是指采集用户的音频信息,并且分析用户的音频信息的语意,并且根据语意向用户返回作答信息,实现用户与机器人对话。
本发明的发明人在实现本发明的过程中,发现:当前机器人会话方式不能主动切换会话人,主动开启开会话。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种机器人会话切换的方法、装置及计算设备。
为解决上述技术问题,本发明实施例采用的一个技术方案是:提供一种机器人会话切换的方法,包括:采集位于所述机器人前方的环境图像;从所述环境图像中确定候选会话人;判断是否满足切换当前会话人的切换条件;若满足,则从所述候选会话人中选择目标会话人;将所选择的目标会话人确定为当前会话人。
可选的,所述判断是否满足切换当前会话人的切换条件包括:判断是否存在当前会话人;若否,则确定满足切换当前会话人的切换条件;若是,则判断所述当前会话人是否处于会话状态;若处于会话状态,则确定不满足切换当前会话人的切换条件;若不处于会话状态,则确定满足切换当前会话人的切换条件。
可选的,所述判断所述当前会话人是否处于会话状态包括:判断所述当前会话人是否包含在所述候选会话人中;若包含,则确定所述当前会话人处于会话状态;若不包含,则判断是否存在所述当前会话人返回的结束会话的结束命令;若存在,则确定所述当前会话人不处于会话状态;若不存在,判断所述当前会话人是否均不包含在最近连续采集到的环境图像对应的候选会话人中,其中,所述最近连续环境图像为先前采集到的并且与所述环境图像存在连续关系的预设数量的图像;若所述当前会话人均不包含在最近连续采集到的环境图像对应的候选会话人中,则确定所述当前会话人不处于会话状态;若所述当前会话人包含在任意一个最近连续采集到的环境图像对应的候选会话人中,确定所述当前会话人处于会话状态。
可选的,所述从所述候选会话人中选择目标会话人包括:从所述环境图像中提取各候选会话人的会话参数,其中,所述会话参数包括从所述环境图像中提取到的唇语、人脸尺寸及位置参数;根据各所述候选会话人的会话参数,分别计算各所述候选会话人的会话得分;将所述会话得分最高的候选会话人作为目标会话人。
可选的,所述方法还包括:提取所述当前会话人的人脸图像;识别在预设信息库中是否存在所述人脸图像相匹配的用户;若存在,则从所述预设信息库中提取所述用户对应的背景信息;将所述人脸图像和背景信息推送至人工座席辅助终端。
本发明实施例采用的另一技术方案是:提供一种机器人会话切换装置,包括:采集模块:用于采集位于所述机器人前方的环境图像;第一确定模块:用于从所述环境图像中确定候选会话人;判断模块:用于判断是否满足切换当前会话人的切换条件;选择模块:用于满足切换当前会话人的切换条件时,从所述候选会话人中选择目标会话人;第二确定模块:用于将所选择的的目标会话人确定为当前会话人。
可选的,所述判断模块包括:第一判断单元:用于判断是否存在当前会话人;第一确定单元:用于当不存在当前会话人时,确定满足切换当前会话人的切换条件;第二判断单元:用于当存在当前会话人时,判断所述当前会话人是否处于会话状态;第二确定单元:用于当所述当前会话人处于会话状态时,确定不满足切换当前会话人的切换条件;第三确定单元:用于当所述当前会话人不处于会话状态时,确定满足切换当前会话人的切换条件。
可选的,所述第二判断单元用于当存在当前会话人时,判断所述当前会话人是否处于会话状态,包括:判断所述当前会话人是否包含在所述候选会话人中;若包含,则确定所述当前会话人处于会话状态;若不包含,则判断是否存在所述当前会话人返回的结束会话的结束命令;若存在,则确定所述当前会话人不处于会话状态。若不存在,判断所述当前会话人是否均不包含在最近连续采集到的环境图像对应的候选会话人中,其中,所述最近连续环境图像为先前采集到的并且与所述环境图像存在连续关系的预设数量的图像;若所述当前会话人均不包含在最近连续采集到的环境图像对应的候选会话人中,则确定所述当前会话人不处于会话状态;若所述当前会话人包含在任意一个最近连续采集到的环境图像对应的候选会话人中,确定所述当前会话人处于会话状态。
可选的,所述选择模块包括:提取单元:用于从所述环境图像中提取各候选会话人的会话参数,其中,所述会话参数包括从所述环境图像中提取到的唇语、人脸尺寸及位置参数;计算单元:用于根据各所述候选会话人的会话参数,分别计算各所述候选会话人的会话得分;选择单元:用于将所述会话得分最高的候选会话人作为目标会话人。
可选的,所述装置还包括:第一提取模块:用于提取所述当前会话人的人脸图像;识别模块:用于识别在预设信息库中是否存在所述人脸图像相匹配的用户;第二提取模块:用于当在预设信息库中存在所述人脸图像相匹配的用户时,从所述预设信息库中提取所述用户对应的背景信息;推送模块:用于将所述人脸图像和背景信息推送至人工座席辅助终端。
本发明实施例采用的再一技术方案是:提供一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行所述的一种机器人会话切换的方法对应的操作。
本发明实施例采用的又一技术方案是:提供一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行所述的一种机器人会话切换的方法对应的操作。
本发明实施例的有益效果是:区别于现有技术的情况,本发明实施例通过采集机器人前方的环境图像,确定是否切换当前会话人,并可以从候选会话人中选择目标会话人;由此可见,利用本发明实施例,可以实现机器人主动切换会话人。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施例。
附图说明
通过阅读下文优选实施例的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施例的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例的一种机器人会话切换的方法流程图;
图2A是本发明实施例的一种机器人会话切换的方法中切换当前会话人的切换条件判断流程图;
图2B是本发明实施例中判断当前会话人是否处于会话状态的流程图;
图2C是本发明实施例中从所述候选会话人中选择目标会话人流程图;
图3是本发明一种机器人会话切换的方法另一实施例的流程图;
图4是本发明一种机器人会话切换装置的功能框图;
图5是本发明一种计算设备的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了本发明一种机器人会话切换的方法实施例的流程图。如图1所示,该方法包括以下步骤:
步骤S1:采集位于所述机器人前方的环境图像。
在本步骤中,用户与机器人进行对话时,通常会站在机器人的前方,而所述机器人前方的环境图像是指机器人前方的图像,因此,当有用户与机器人对话时,则可以采集到该用户的人脸图像。
步骤S2:从所述环境图像中确定候选会话人。
在本步骤中,当所述机器人前方的环境图像中出现多个人脸时,距离所述机器人位置较远的人脸会模糊或者人脸尺寸比较小,而位置较远的用户通常不是与机器人进行对话的用户,其可能是经过的路人,或者,站立在附近的群众等等,因此,在本实施例中,在从所述环境图像中确定候选会话人之前,还可以将模糊不清的人脸和人脸尺寸小于阈值的人脸剔除,所述候选会话人是所述环境图像中剔除模糊不清或者人脸尺寸小于阈值的人脸之后剩余的人脸。
步骤S3:判断是否满足切换当前会话人的切换条件,若满足,执行步骤S4,若不满足,执行步骤S5。
步骤S4:从所述候选会话人中选择目标会话人。
步骤S5:继续与所述当前会话人的会话。
在本步骤中,当不满足切换当前会话人的切换条件时,则说明存在所述当前会话人正在与机器人会话,继续与所述当前会话人的会话。
步骤S6:将所选择的目标会话人确定为当前会话人。
在本步骤中,当满足切换当前会话人的切换条件时,将所述当前会话人切换为所选择的目标会话人,并且机器人主动与所述目标会话人开启会话,所述主动开启会话包括机器人获取所述目标会话人的人脸图像,显示在会话屏幕上,并获取所述人脸图像对应的人物姓名,主动对所述目标会话人发出语音,如,目标会话人姓名为张三,机器人在将当前会话人切换为张三后,在会话屏幕上显示张三的人脸图像,并发出“张三,您好,请问有什么可以帮助您”的语音提示,从而开启会话。可以理解的是,所述会话屏幕上显示的人脸图像可以是预先存储在预设信息库中的图像,也可以是机器人的摄像头实时采集到的目标会话人的人脸图像。
图2A示出了本发明实施例中切换当前会话人的切换条件判断的流程图,如图2A所示,所述判断是否满足切换当前会话人的切换条件包括以下步骤:
步骤S31:判断是否存在当前会话人,若否,执行步骤S32,若是,执行步骤S33。
当前会话人是机器人记录的当前正在对话的对象,在机器人中存储有当前会话人存在的状态,如,当存在当前会话人时,将存在当前会话人的状态记录为1,当不存在当前会话人时,将存在当前会话人的状态记录为0。
步骤S32:确定满足切换当前会话人的切换条件。
步骤S33:判断所述当前会话人是否处于会话状态,若是,执行步骤S34,若否,执行步骤S35。
步骤S34:确定不满足切换当前会话人的切换条件。
步骤S35:确定满足切换当前会话人的切换条件。
图2B示出了本发明实施例中判断当前会话人是否处于会话状态的流程图,如图2B所示,所述判断所述当前会话人是否处于会话状态包括以下步骤:
步骤S331:判断所述当前会话人是否包含在所述候选会话人中,若是,执行步骤S332,若否,执行步骤S333。
在本步骤中,将所述当前会话人的人脸图像与所述环境图像中的人脸图像做对比,若对比成功,则认为所述当前会话人包含在所述候选会话人中。
步骤S332:确定所述当前会话人处于会话状态。
在本步骤中,当所述当前会话人的人脸图像与所述环境图像中的人脸图像对比成功时,认为所述当前会话人正在与机器人会话。
步骤S333:判断是否存在所述当前会话人返回的结束会话的结束命令,若是,执行步骤S334,若否,执行步骤S335。
在本步骤中,当所述当前会话人结束与机器人的会话时,向所述机器人返回会话结束命令,所述会话结束命令是由所述当前会话人发起的语音命令,如,“再见”、“下次见”。
在一些实施例中,机器人设置有结束会话按钮,当所述当前会话人完成与机器人会话,想要结束会话时,点击结束会话按钮,即可实现结束当前会话。
步骤S334:确定所述当前会话人不处于会话状态。
步骤S335:判断所述当前会话人是否均不包含在最近连续采集到的环境图像对应的候选会话人中,若是,执行步骤S336,若否,执行步骤S337。
在本步骤中,当所述当前会话人没有包含在所述候选会话人中,且机器人没有收到会话结束命令时,所述当前会话人有可能处于会话状态,例如,当前会话人低头或回头,造成没有采集到当前会话人人脸,为了减少机器人判断误差,判断当前采集到的环境图像的上N帧图像对应的候选会话人中是否包含所述当前会话人,所述N为预设的大于0的常数,如,N设置为5,则判断所述当前会话人是否均不包含在最近连续采集到的前5帧环境图像对应的候选会话人中。当连续N帧图像都没有采集到当前会话人的人脸,则可以认为发前会话人已经离开了,当前会话人没有处于会话状态。
步骤S336:确定所述当前会话人不处于会话状态。
步骤S337:确定所述当前会话人处于会话状态。
在一些实施例中,当所述最近采集到的环境图像中包含所述当前会话人时,将所述最近采集到的环境中对应的当前会话人的人脸替代人脸信息库中的人脸,方便下次做人脸对比时对比。
需要说明的是,摄像头前的环境会随人的动作而变化,人可能会发生转头或表情变化,考虑到摄像头采集环境图像的频率,以及人发生动作变化时可能会持续一段时间,当采集下一帧环境图像时,人的动作或表情有很大可能性还停留在当前帧采集的环境图像对应的动作或表情,所以,最近采集到的环境图像中对应的当前会话人的人脸与下一帧即将采集到的环境图像中对应的当前会话人的人脸相似性最高,因此,将最近采集到的所述当前会话人的人脸图像替代所述人脸信息库中的人脸图像,以使机器人更加方便快捷的进行人脸图像的对比。
图2C示出了本发明实施例中从所述候选会话人中选择目标会话人流程图,如图2C所示,所述从所述候选会话人中选择目标会话人包括以下步骤:
步骤S41:从所述环境图像中提取各候选会话人的会话参数。
在本步骤中,所述会话参数包括从所述环境图像中提取到的唇语、人脸尺寸及位置参数,其中,所述唇语用来表示所述各候选会话人是否在说话,在计算唇语参数时,在一些实施例中,可以将说话的候选会话人对应的唇语参数的数值记为1,没有说话的候选会话人对应的唇语参数的数值记为0。
所述人脸尺寸用来表示所述各候选会话人与机器人的距离,在一些实施例中,在计算人脸尺寸参数时,将所述环境图像中的人脸对应的像素区域除以所述环境图像的像素区域,得到所述环境图像中的人脸在整个环境图像中的比例,将所述比例作为人脸尺寸参数。
所述位置参数用来表示所述各候选会话人与机器人中心线的距离,在一些实施例中,在计算位置参数时,首先判断所述候选会话人位于所述机器人中心线左边还是所述机器人中心线右边,若所述候选会话人位于所述机器人中心线左边,则将所述环境图像左边缘作为起始点,若所述候选会话人位于所述机器人中心线右边,则将所述环境图像右边缘作为起始点,将所述起始点到所述机器人中心线的距离作为分母,将候选会话人距离起始点的距离作为分子,得到所述环境图像中的候选会话人位置参数。
步骤S42:根据各所述候选会话人的会话参数,分别计算各所述候选会话人的会话得分。
对于根据会话参数,计算会话得分的计算公式为:唇语权重*唇语参数+人脸尺寸权重*人脸尺寸参数+位置权重*位置参数。
而不同会话参数反应候选会话人是否处于会话状态的准确性是不相同的,因此,在计算候选会话人的会话得分时,还可以给所述候选会话人的会话参数预设有不同的权重,根据所述权重将所述会话参数加权计算,得到不同候选会话人的会话得分。例如:在进行会话时,所述候选会话人的会话参数中,唇语更能够反映所述候选会话人是否处于会话状态,因此,在进行权重设计时,唇语在会话参数中所占的权重最高,例如:,唇语权重设置为0.7,人脸尺寸及位置参数的权重分别设置为0.2和0.1,其中一个候选会话人正在说话,其人脸尺寸参数为20%,位置参数为2/3,则该候选会话人得分为:0.7*1+0.2*20%+0.1*2/3≈0.8。
步骤S43:将所述会话得分最高的候选会话人作为目标会话人。
在本发明实施例中,通过判断当前会话人是否满足会话人的切换条件,决定是否切换当前会话人,并通过设置会话参数从候选会话人中选择目标会话人,以便在满足会话人的切换条件时,将当前会话人切换为目标会话人,实现机器人主动切换当前会话人。
图3示出了本发明一种机器人会话切换的方法另一实施例的流程图。与上一实施例相比,本发明实施例还包括以下步骤:
步骤S7:提取所述当前会话人的人脸图像。
步骤S8:识别在预设信息库中是否存在所述人脸图像相匹配的用户,若存在,执行步骤S9,若不存在,则执行步骤S11。
在本步骤中,将所述当前会话人的人脸图像与预设信息库中的人脸图像进行匹配,所述预设信息库预存储了大量使用机器人的用户人脸及其对应的背景信息,所述用户人脸与所述对应的背景信息是一一对应的。
步骤S9:从所述预设信息库中提取所述用户对应的背景信息。
背景信息是指用户的个人信息,例如:姓名、职业、职位等等。
步骤S10:将所述人脸图像和背景信息推送至人工座席辅助终端。
人工座席辅助终端是工作人员辅助机器人的终端设备。人工座席辅助终端在接收到所述机器人发送的人脸图像和背景信息之后,可以显示背景信息和人脸图像,以方便工作人员了解当前会话人,以及当所述机器人无法完成所述当前会话人的问题时,工作人员可以准确辅助机器人作答。
步骤S11:将所述人脸图像图像推送至人工座席辅助终端。
在本步骤中,当机器人无法完成与当前会话人的问题时,工作人员可以辅助机器人作答。
在本发明实施例中,通过人工座席辅助终端,实现人工辅助会话,解决了机器人无法解决当前会话人的问题时,人工辅助解决,提高了机器人工作的效率。
图4示出了本发明一种机器人会话切换装置的功能框图,如图4所示,所述装置包括:采集模块401、第一确定模块402、判断模块403、选择模块404及第二确定模块405,其中,采集模块401,用于采集位于所述机器人前方的环境图像;第一确定模块402,用于从所述环境图像中确定候选会话人;判断模块403,用于判断是否满足切换当前会话人的切换条件;选择模块404,用于满足切换当前会话人的切换条件时,从所述候选会话人中选择目标会话人;第二确定模块405,用于将所选择的的目标会话人确定为当前会话人。
其中,判断模块403包括:第一判断单元4031、第一确定单元4032、第二判断单元4033、第二确定单元4034及第三确定单元4035,其中,第一判断单元4031,用于判断是否存在当前会话人;第一确定单元4032,用于当不存在当前会话人时,确定满足切换当前会话人的切换条件;第二判断单元4033,用于当存在当前会话人时,判断所述当前会话人是否处于会话状态;第二确定单元4034,用于当所述当前会话人处于会话状态时,确定不满足切换当前会话人的切换条件;第三确定单元4035,用于当所述当前会话人不处于会话状态时,确定满足切换当前会话人的切换条件。
其中,所述第二判断单元4033用于当存在当前会话人时,判断所述当前会话人是否处于会话状态,包括:判断所述当前会话人是否包含在所述候选会话人中;若包含,则确定所述当前会话人处于会话状态;若不包含,则判断是否存在所述当前会话人返回的结束会话的结束命令;若存在,则确定所述当前会话人不处于会话状态;若不存在,判断所述当前会话人是否均不包含在最近连续采集到的环境图像对应的候选会话人中,其中,所述最近连续环境图像为先前采集到的并且与所述环境图像存在连续关系的预设数量的图像;若所述当前会话人均不包含在最近连续采集到的环境图像对应的候选会话人中,则确定所述当前会话人不处于会话状态;若所述当前会话人包含在任意一个最近连续采集到的环境图像对应的候选会话人中,确定所述当前会话人处于会话状态。
其中,所述选择模块404包括:提取单元4041、计算单元4042及选择单元4043,其中,提取单元4041,用于从所述环境图像中提取各候选会话人的会话参数,其中,所述会话参数包括从所述环境图像中提取到的唇语、人脸尺寸及位置参数;计算单元4042,用于根据各所述候选会话人的会话参数,分别计算各所述候选会话人的会话得分;选择单元4043,用于将所述会话得分最高的候选会话人作为目标会话人。
在本发明实施例中,所述装置还包括:第一提取模块406、识别模块407、第二提取模块408、及推送模块409,其中,第一提取模块406,用于提取所述当前会话人的人脸图像;识别模块407,用于识别在预设信息库中是否存在所述人脸图像相匹配的用户;第二提取模块408,用于当在预设信息库中存在所述人脸图像相匹配的用户时,从所述预设信息库中提取所述用户对应的背景信息;推送模块409,用于将所述人脸图像和背景信息推送至人工座席辅助终端。
本发明实施例通过判断模块判断当前会话人是否满足会话人的切换条件,并通过选择模块从候选会话人中选择目标会话人,以便在满足会话人的切换条件时,将当前会话人切换为目标会话人;此外,通过推送模块将当前会话人对应在预设信息库中的人脸图像和背景信息推送到人工座席辅助终端,实现人工辅助会话;通过本发明实施例,可以实现机器人主动切换当前会话人,并通过人工辅助解决机器人会话,提高了机器人工作的效率。
本申请实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的一种机器人会话切换的方法。
图5为本发明计算设备实施例的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示,该计算设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502,用于执行程序510,具体可以执行上述一种机器人会话切换的方法实施例中的相关步骤。
具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作:采集位于所述机器人前方的环境图像;从所述环境图像中确定候选会话人;判断是否满足切换当前会话人的切换条件;若满足,则从所述候选会话人中选择目标会话人;将所选择的目标会话人确定为当前会话人。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:判断是否存在当前会话人;若否,则确定满足切换当前会话人的切换条件;若是,则判断所述当前会话人是否处于会话状态;若处于会话状态,则确定不满足切换当前会话人的切换条件;若不处于会话状态,则确定满足切换当前会话人的切换条件。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:判断所述当前会话人是否包含在所述候选会话人中;若包含,则确定所述当前会话人处于会话状态;若不包含,则判断是否存在所述当前会话人返回的结束会话的结束命令;若存在,则确定所述当前会话人不处于会话状态。若不存在,判断所述当前会话人是否均不包含在最近连续采集到的环境图像对应的候选会话人中,其中,所述最近连续环境图像为先前采集到的并且与所述环境图像存在连续关系的预设数量的图像;若所述当前会话人均不包含在最近连续采集到的环境图像对应的候选会话人中,则确定所述当前会话人不处于会话状态;若所述当前会话人包含在任意一个最近连续采集到的环境图像对应的候选会话人中,确定所述当前会话人处于会话状态。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:从所述环境图像中提取各候选会话人的会话参数,其中,所述会话参数包括从所述环境图像中提取到的唇语、人脸尺寸及位置参数;根据各所述候选会话人的会话参数,分别计算各所述候选会话人的会话得分;将所述会话得分最高的候选会话人作为目标会话人。
在一种可选的方式中,程序510具体可以进一步用于使得处理器502执行以下操作:提取所述当前会话人的人脸图像;识别在预设信息库中是否存在所述人脸图像相匹配的用户;若存在,则从所述预设信息库中提取所述用户对应的背景信息;将所述人脸图像和背景信息推送至人工座席辅助终端。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施例。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施例的权利要求书由此明确地并入该具体实施例,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种机器人会话切换装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (12)
1.一种机器人会话切换的方法,其特征在于,包括:
采集位于所述机器人前方的环境图像;
从所述环境图像中确定候选会话人;
判断是否满足切换当前会话人的切换条件;
若满足,则从所述候选会话人中选择目标会话人;
将所选择的目标会话人确定为当前会话人。
2.根据权利要求1所述的方法,其特征在于,
所述判断是否满足切换当前会话人的切换条件包括:
判断是否存在当前会话人;
若否,则确定满足切换当前会话人的切换条件;
若是,则判断所述当前会话人是否处于会话状态;
若处于会话状态,则确定不满足切换当前会话人的切换条件;
若不处于会话状态,则确定满足切换当前会话人的切换条件。
3.根据权利要求2所述的方法,其特征在于,所述判断所述当前会话人是否处于会话状态包括:
判断所述当前会话人是否包含在所述候选会话人中;
若包含,则确定所述当前会话人处于会话状态;
若不包含,则判断是否存在所述当前会话人返回的结束会话的结束命令;
若存在,则确定所述当前会话人不处于会话状态;
若不存在,判断所述当前会话人是否均不包含在最近连续采集到的环境图像对应的候选会话人中,其中,所述最近连续环境图像为先前采集到的并且与所述环境图像存在连续关系的预设数量的图像;
若所述当前会话人均不包含在最近连续采集到的环境图像对应的候选会话人中,则确定所述当前会话人不处于会话状态;
若所述当前会话人包含在任意一个最近连续采集到的环境图像对应的候选会话人中,确定所述当前会话人处于会话状态。
4.根据权利要求1所述的方法,其特征在于,
所述从所述候选会话人中选择目标会话人包括:
从所述环境图像中提取各候选会话人的会话参数,其中,所述会话参数包括从所述环境图像中提取到的唇语、人脸尺寸及位置参数;
根据各所述候选会话人的会话参数,分别计算各所述候选会话人的会话得分;
将所述会话得分最高的候选会话人作为目标会话人。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述方法还包括:
提取所述当前会话人的人脸图像;
识别在预设信息库中是否存在所述人脸图像相匹配的用户;
若存在,则从所述预设信息库中提取所述用户对应的背景信息;
将所述人脸图像和背景信息推送至人工座席辅助终端。
6.一种机器人会话切换装置,其特征在于,包括:
采集模块:用于采集位于所述机器人前方的环境图像;
第一确定模块:用于从所述环境图像中确定候选会话人;
判断模块:用于判断是否满足切换当前会话人的切换条件;
选择模块:用于满足切换当前会话人的切换条件时,从所述候选会话人中选择目标会话人;
第二确定模块:用于将所选择的的目标会话人确定为当前会话人。
7.根据权利要求6所述的装置,其特征在于,所述判断模块包括:
第一判断单元:用于判断是否存在当前会话人;
第一确定单元:用于当不存在当前会话人时,确定满足切换当前会话人的切换条件;
第二判断单元:用于当存在当前会话人时,判断所述当前会话人是否处于会话状态;
第二确定单元:用于当所述当前会话人处于会话状态时,确定不满足切换当前会话人的切换条件;
第三确定单元:用于当所述当前会话人不处于会话状态时,确定满足切换当前会话人的切换条件。
8.根据权利要求7所述的装置,其特征在于,所述第二判断单元用于当存在当前会话人时,判断所述当前会话人是否处于会话状态,包括:
判断所述当前会话人是否包含在所述候选会话人中;
若包含,则确定所述当前会话人处于会话状态;
若不包含,则判断是否存在所述当前会话人返回的结束会话的结束命令;
若存在,则确定所述当前会话人不处于会话状态;
若不存在,判断所述当前会话人是否均不包含在最近连续采集到的环境图像对应的候选会话人中,其中,所述最近连续环境图像为先前采集到的并且与所述环境图像存在连续关系的预设数量的图像;
若所述当前会话人均不包含在最近连续采集到的环境图像对应的候选会话人中,则确定所述当前会话人不处于会话状态;
若所述当前会话人包含在任意一个最近连续采集到的环境图像对应的候选会话人中,确定所述当前会话人处于会话状态。
9.根据权利要求6所述的装置,其特征在于,所述选择模块包括:
提取单元:用于从所述环境图像中提取各候选会话人的会话参数,其中,所述会话参数包括从所述环境图像中提取到的唇语、人脸尺寸及位置参数;
计算单元:用于根据各所述候选会话人的会话参数,分别计算各所述候选会话人的会话得分;
选择单元:用于将所述会话得分最高的候选会话人作为目标会话人。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第一提取模块:用于提取所述当前会话人的人脸图像;
识别模块:用于识别在预设信息库中是否存在所述人脸图像相匹配的用户;
第二提取模块:用于当在预设信息库中存在所述人脸图像相匹配的用户时,从所述预设信息库中提取所述用户对应的背景信息;
推送模块:用于将所述人脸图像和背景信息推送至人工座席辅助终端。
11.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的一种机器人会话切换的方法对应的操作。
12.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-5中任一项所述的一种机器人会话切换的方法对应的操作。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811562114.XA CN109648573B (zh) | 2018-12-20 | 2018-12-20 | 一种机器人会话切换方法、装置及计算设备 |
PCT/CN2019/116087 WO2020125252A1 (zh) | 2018-12-20 | 2019-11-06 | 机器人会话切换方法、装置及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811562114.XA CN109648573B (zh) | 2018-12-20 | 2018-12-20 | 一种机器人会话切换方法、装置及计算设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109648573A true CN109648573A (zh) | 2019-04-19 |
CN109648573B CN109648573B (zh) | 2020-11-10 |
Family
ID=66115305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811562114.XA Active CN109648573B (zh) | 2018-12-20 | 2018-12-20 | 一种机器人会话切换方法、装置及计算设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109648573B (zh) |
WO (1) | WO2020125252A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020125252A1 (zh) * | 2018-12-20 | 2020-06-25 | 达闼科技(北京)有限公司 | 机器人会话切换方法、装置及计算设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60151715A (ja) * | 1984-01-18 | 1985-08-09 | Seiko Epson Corp | ロボツトの座標変換方法 |
CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
CN107679504A (zh) * | 2017-10-13 | 2018-02-09 | 北京奇虎科技有限公司 | 基于摄像头场景的人脸识别方法、装置、设备及存储介质 |
CN108818531A (zh) * | 2018-06-25 | 2018-11-16 | 珠海格力智能装备有限公司 | 机器人的控制方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221101A (ja) * | 2010-04-05 | 2011-11-04 | Ai:Kk | コミュニケーション装置 |
CN107160409A (zh) * | 2017-06-22 | 2017-09-15 | 星际(重庆)智能装备技术研究院有限公司 | 一种基于人脸识别和语音控制的智能迎宾机器人 |
CN108172225A (zh) * | 2017-12-27 | 2018-06-15 | 浪潮金融信息技术有限公司 | 语音交互方法及机器人、计算机可读存储介质、终端 |
CN109648573B (zh) * | 2018-12-20 | 2020-11-10 | 达闼科技(北京)有限公司 | 一种机器人会话切换方法、装置及计算设备 |
-
2018
- 2018-12-20 CN CN201811562114.XA patent/CN109648573B/zh active Active
-
2019
- 2019-11-06 WO PCT/CN2019/116087 patent/WO2020125252A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60151715A (ja) * | 1984-01-18 | 1985-08-09 | Seiko Epson Corp | ロボツトの座標変換方法 |
CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
CN107679504A (zh) * | 2017-10-13 | 2018-02-09 | 北京奇虎科技有限公司 | 基于摄像头场景的人脸识别方法、装置、设备及存储介质 |
CN108818531A (zh) * | 2018-06-25 | 2018-11-16 | 珠海格力智能装备有限公司 | 机器人的控制方法和装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020125252A1 (zh) * | 2018-12-20 | 2020-06-25 | 达闼科技(北京)有限公司 | 机器人会话切换方法、装置及计算设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109648573B (zh) | 2020-11-10 |
WO2020125252A1 (zh) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390704B (zh) | 图像处理方法、装置、终端设备及存储介质 | |
KR20210123399A (ko) | 인공 지능에 기초한 애니메이션 이미지 구동 방법, 및 관련 디바이스 | |
CN111459454B (zh) | 交互对象的驱动方法、装置、设备以及存储介质 | |
CN110472023A (zh) | 客服切换方法、装置、计算机设备和存储介质 | |
CN111541908A (zh) | 交互方法、装置、设备以及存储介质 | |
CN111833418A (zh) | 动画交互方法、装置、设备以及存储介质 | |
CN109543549A (zh) | 用于多人姿态估计的图像数据处理方法及装置、移动端设备、服务器 | |
WO2014176983A1 (zh) | 显示图像的方法、装置、移动终端及计算机存储介质 | |
CN111460785B (zh) | 交互对象的驱动方法、装置、设备以及存储介质 | |
CN111179929B (zh) | 一种语音处理方法及装置 | |
CN111459452B (zh) | 交互对象的驱动方法、装置、设备以及存储介质 | |
CN108681390A (zh) | 信息交互方法和装置、存储介质及电子装置 | |
CN106127828A (zh) | 一种增强现实的处理方法、装置及移动终端 | |
CN109876440A (zh) | 对象展示方法和装置、存储介质及电子装置 | |
CN114332318A (zh) | 一种虚拟形象生成方法及其相关设备 | |
CN110457214A (zh) | 应用测试方法及装置、电子设备 | |
CN110794964A (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
CN109343695A (zh) | 基于虚拟人行为标准的交互方法及系统 | |
CN114387643A (zh) | 机器人控制方法、系统、计算机设备及存储介质 | |
CN107610149A (zh) | 图像分割结果边缘优化处理方法、装置及计算设备 | |
CN111383642A (zh) | 基于神经网络的语音应答方法、存储介质以终端设备 | |
CN114904268A (zh) | 一种虚拟形象的调整方法、装置、电子设备及存储介质 | |
CN113703585A (zh) | 交互方法、装置、电子设备及存储介质 | |
CN112190921A (zh) | 一种游戏交互方法及装置 | |
CN112632349A (zh) | 展区指示方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |