具体实施方式
为了使本发明的技术方案及优点更加清楚明白,以下结合附图对本发明的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本发明的一部分实施例,而不是所有实施例的穷举。并且在不冲突的情况下,本说明中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到:
当前,机器人本体通过各种交互方式和传感器,实现和客户的交互,以及和周边环境的感知,具备一定程度的智能,可以处理大部分不太复杂的场景(例如:谷歌的无人驾驶汽车,大部分情况都能自动驾驶,可能占99%),基本能满足使用需求。
但是,在一些及其特殊的场景下(例如:谷歌的无人汽车,在信号灯故障,有警察或者行人手势指挥交通时,这种场景可能只占1%),机器人本体无法处理。
当前机器人方案的缺陷在于机器人本体在某些情况下,依靠机器人本地的能力已经无法处理。
针对上述不足,本发明实施例提出了一种云机器人系统、机器人和机器人云平台,在机器人本体无法处理时,引入云端机器人和/或第三方人工坐席来远程介入,通过第三方人工坐席与云端机器人共同参与控制决策,以解决现有技术中机器人本体能力不足时导致无法为用户提供服务的技术问题。
为了便于本申请的实施,下面结合具体实施例对本申请所提出的云机器人系统、机器人和机器人云平台进行说明。
图1示出了本申请实施例一中云机器人系统的结构示意图一,如图所示,所述云机器人系统可以包括机器人本体101和机器人云平台102,所述机器人本体包括采集模块1011、第一判断模块1012和发送模块1013,所述机器人云平台包括确定模块1021、云端机器人模块1022和人工坐席模块1023,其中,
所述采集模块1011,用于采集环境信息;
所述第一判断模块1012,用于判断所述环境信息的复杂度是否超过所述机器人本体的处理范围;
所述发送模块1013,用于在所述环境信息的复杂度超过所述机器人本体的处理范围时,将所述环境信息发送至所述机器人云平台;
所述确定模块1021,用于确定所述云端机器人模块和/或所述人工坐席模块来处理所述环境信息;
所述被确定的云端机器人模块1022和/或人工坐席模块1023,用于处理所述环境信息并发送指令至所述机器人本体101。
具体实施中,所述机器人本体可以为移动的机器人结构(如家政服务机器人、医疗机器人、导盲机器人等),也可以为导盲头盔、导盲拐杖等结构。
所述机器人本体中的采集模块可以用于采集环境信息,所述环境信息可以为周边环境的声音、用户输入的语音、周边环境的图像或视频等信息。所述机器人本体中的发送模块可以利用无线或者有线的方式将采集模块采集到的信息(如声音、语音、图像或视频等)经网络传输至机器人云平台,由机器人云平台进行处理。
所述机器人云平台可以包括云端机器人模块和人工坐席模块,在具体实施时,所述云端机器人模块和人工坐席模块均可以具备对终端侧机器人本体采集的环境信息进行分析、处理,并生成指令反馈给终端侧机器人本体的能力。具体由所述云端机器人模块来处理,还是由所述人工坐席模块来处理,还是由所述云端机器人模块和所述人工坐席模块共同处理,可以由所述确定模块来确定。
最终,由所述确定模块确定的模块(所述云端机器人模块和/或所述人工坐席模块)处理所述环境信息并发送指令至所述机器人本体。
本申请实施例中,可以在现有的云机器人实现方案中引入第三方人工坐席模块,由所述机器人云平台确定由所述云端机器人模块来处理环境信息,还是由所述人工坐席模块来处理环境信息,还是由所述云端机器人模块和所述人工坐席模块共同处理环境信息,通过所述机器人云平台的远程操控来确保对用户的服务质量。
由于本申请实施例所提供的云机器人系统,在现有的人工智能机器人实现方案中增加了第三方人工坐席模块的介入,可以由机器人本体先对处理环境信息的复杂度进行预判,如果机器人本体无法处理所述环境信息再由机器人云平台处理,终端侧机器人本体将采集到的环境信息发送至机器人云平台之后,机器人云平台可以先确定是由所述云端机器人模块来处理所述环境信息,还是由所述人工坐席模块来处理所述环境信息,或是由所述云端机器人模块和所述人工坐席模块共同处理所述环境信息,最终由被确定的云端机器人模块和/或人工坐席模块处理所述环境信息并发送指令给所述终端侧的机器人本体,通过机器人云平台远程操控以确保对用户的服务质量,提升了用户体验。
实施中,所述环境信息中可以包括用户的选择信息,所述确定模块具体可以用于根据所述用户的选择信息确定将所述环境信息发送至所述机器人云平台的云端机器人模块和/或人工坐席模块。
具体实施时,用户可以在终端侧根据自己的需要自行选择由所述云端机器人模块操控机器人本体、由所述人工坐席模块操控机器人本体、或是由所述云端机器人模块和所述人工坐席模块共同操作。用户的选择信息可以为选择由所述云端机器人模块操控机器人本体、可以为选择由所述人工坐席模块操控机器人本体、还可以为选择由所述云端机器人模块和所述人工坐席模块操控机器人本体。
本申请实施例中,可以将用户的选择信息与其他声音、语音、图像或视频等信息一并传输至机器人云平台,所述机器人云平台的确定模块可以根据用户的选择确定将所述环境信息发送至所述机器人云平台的云端机器人模块还是人工坐席模块。
本申请实施例可以由用户主动选择由谁来操控机器人,可能有些用户觉得计算机处理方式没有人工方式更加习惯、方便,则可以选择人工坐席模式交互,可能另外一些用户觉得人工方式不如计算机处理方式响应更快、简洁,则可以选择云端机器人模式交互等。总之,本申请实施例可以允许用户具有主动选择权,以满足用户的使用习惯,进一步提升了用户体验。
实施中,所述采集模块具体可以用于通过切换按钮采集用户的选择信息。
具体实施时,机器人本体的采集模块可以通过切换按钮的方式来采集用户的选择信息,用户可以根据自己的需要进行按钮切换等操作。
其中,切换按钮可以为一体结构,由两端的按下/弹起来决定选项,也可以为分开结构,以导盲头盔为例,可以一个按钮设置在头盔的左耳部分、另一个按钮设置在头盔的右耳部位。另外,所述切换按钮可以为一端按下、另一端自动弹起的方式,也可以为一个按钮的按下或弹起的方式。本申请对切换按钮的具体结构和具体实现方式不作限制,只要可以实现确定云端机器人模块或人工坐席模块处理即可。
本申请实施例通过切换按钮的方式来采集用户的选择信息,相比语音方式更加简便、容易实现,不需要进行语音识别等操作即可快速确定用户的选择,在一定程度上提高了处理速度、节约了成本。
图2示出了本申请实施例一中云机器人系统的结构示意图二,如图所示,所述机器人云平台可以进一步包括:
第二判断模块1024,用于判断所述环境信息的复杂度是否超过所述云端机器人模块的处理范围,或者所述云端机器人模块是否出现故障;
所述确定模块具体可以用于当所述环境信息的复杂度超过所述云端机器人模块的处理范围,或者,所述云端机器人模块出现故障时,确定所述人工坐席模块来处理所述环境信息;当所述环境信息的复杂度在所述云端机器人模块的处理范围内时,确定所述云端机器人模块来处理所述环境信息。
本申请实施例中,所述机器人云平台可以在接收到机器人本体发送的环境信息后,判断所述云端机器人模块是否可以处理,根据所述云端机器人是否可以处理来确定将所述环境信息发送给所述云端机器人模块还是所述人工坐席模块,选择的权利可以在所述机器人云平台侧。
具体实施时,如果所述环境信息的复杂度已经超出了所述云端机器人模块的处理范围,为了更好的服务用户,可以确定所述人工坐席模块来处理所述环境信息。
本申请实施例中,如果所述环境信息的复杂度在所述云端机器人模块的处理范围内,为了减少人力成本,可以优先选择由所述云端机器人模块来处理所述环境信息。
本申请实施例中,考虑到即使所述环境信息的复杂度在所述云端机器人模块的处理范围内,但如果所述云端机器人模块出现系统故障,也无法为用户提供服务,此时,所述确定模块即可直接确定由所述人工坐席模块来处理所述环境信息,确保对用户的服务质量。
具体实施时,如果在所述检测模块检测到所述云端机器人模块一切正常,则可以确定所述云端机器人模块来处理所述环境信息。如果所述环境信息的复杂度超过了所述云端机器人的处理范围,也可以确定由所述人工坐席模块来处理;当所述云端机器人模块运行正常且所述环境信息的复杂度在所述云端机器人模块的处理范围内时,可以确定所述云端机器人模块来处理所述环境信息,具体实现可以根据需要进行设置。
具体实施中,所述环境信息中可以包括用户的选择信息也可以不包括用户的选择信息,当所述环境信息中包括所述用户的选择信息且用户的选择信息与所述机器人云平台确定的结果不一致时,可以给机器人本体(可以理解为终端侧或用户)发送提示信息,通知用户其选择的模块无法提供服务或者不是最优的。
本申请实施例通过判断所述环境信息的复杂度来确定由所述云端机器人模块还是所述人工坐席模块来处理所述环境信息,可以智能判断所述云端机器人模块是否可以处理,从而可以选择最适合处理所述环境信息的模块来处理所述环境信息。
实施中,所述第二判断模块具体可以包括:
计算单元,用于计算对所述环境信息进行语音识别、人脸识别、图像识别和/或障碍规避的置信度;
比较单元,用于将所述置信度与预设第一阈值进行比较;
确定单元,用于根据比较结果确定所述环境信息的复杂度是否超过所述云端机器人模块的处理范围。
本申请实施例中在判断环境信息的复杂度是否在云端机器人的处理范围内时可以通过置信度这个指标来判别,假设需要对环境信息进行语音识别、人脸识别、图像识别(包括:物体、文字、手势等)、或障碍规避等操作,预设阈值为95%,那么,具体判断过程可以为:
1)语音识别,当语音识别的置信度≥95%时,判断复杂度在可处理范围内,确定所述云端机器人来处理所述环境信息;
2)人脸识别,当人脸识别的置信度≥95%时,判断复杂度在可处理范围内,确定所述云端机器人来处理所述环境信息;
3)图像识别,当图像识别的置信度≥95%时,判断复杂度在可处理范围内,确定所述云端机器人来处理所述环境信息;
4)障碍规避,当规避障碍物的置信度≥95%时,判断复杂度在可处理范围内,确定所述云端机器人来处理所述环境信息。
具体实施时,不同操作的置信度预设阈值可以不同。所述语音识别、人脸识别、图像识别、障碍规避等操作均可以采用现有实现方式,对这些操作计算置信度也可以采用现有的置信度计算公式,本领域技术人员进行相应的开发设计即可实现,本申请在此不做赘述。
本申请实施例可以利用统计学中的置信度概念作为参考,来判断所述环境信息的复杂度是否在机器可处理范围内。
实施中,所述确定模块可以进一步用于在确定所述人工坐席模块来处理所述环境信息之后,如果所述云端机器人模块处理所述环境信息的算法的置信度超过预设第二阈值,确定所述云端机器人模块和所述人工坐席模块处理所述环境信息,所述云端机器人模块用于发送指令至所述机器人本体;如果所述云端机器人模块处理所述环境信息的算法的置信度超过预设第二阈值并持续预设时间,确定所述云端机器人模块处理所述环境信息并发送指令至所述机器人本体。
具体实施时,在确定所述人工坐席模块处理所述环境信息之后,如果所述云端机器人模块恢复正常、所述云端机器人模块处理环境信息的算法的置信度提高并超过了预设第二阈值,则可以确定所述云端机器人模块和所述人工坐席模块共同介入、处理所述环境信息,由所述云端机器人模块发送指令至所述机器人本体。
如果所述云端机器人模块处理所述环境信息的算法的置信度超过了预设第二阈值,并且持续了一定时间(假设预设时间为1分钟),则可以确定所述云端机器人模块处理所述环境信息并发送指令至所述机器人本体。
通过上述过程,在所述云端机器人模块能够处理所述环境信息之后,所述人工坐席模块可以慢慢退出、不再介入,以缓解人工压力。
实施中,所述确定模块可以进一步用于在确定所述云端机器人模块处理所述环境信息并发送指令至机器人本体之后,如果所述机器人本体处理所述环境信息的算法的置信度超过预设第三阈值,确定所述机器人本体处理所述环境信息。
具体实施时,在所述云端机器人模块远程操控机器人本体时,如果发现所述机器人本体处理所述环境信息的算法的置信度逐渐提高,在所述置信度提高至超过预设第三阈值时,可以确定由所述机器人本体自身来处理所述环境信息,无需机器人云平台远程操控,降低了网络传输压力的同时,在一定程度上提高了响应速度,用户体验更佳。
实施中,所述机器人本体与所述机器人云平台可以通过专用通信网络进行数据传输。
对于传统的互联网服务,网络通过作为管道对消息进行传输,传输的质量和速度大多取决于电信运营商的网络质量和传输速度。现有的云机器人实现方案中,消息的传输在网络繁忙、传输质量差时无法保障消息传输的实时性,而且在传输过程中容易被黑客所攻击、入侵,在消息的准确性、实时性等方面严重影响对用户的服务。
图3示出了本申请实施例一中云机器人系统的架构示意图,如图所示,所述云机器人系统可以包括终端侧和云平台两部分,终端侧包括机器人本体,机器人云平台包括云端机器人模块和人工坐席模块,其中:
终端侧的机器人本体与机器人云平台的云端机器人模块或人工坐席模块可以通过专用通信网络进行交互。
本申请实施例通过高速专用的传输网络来支撑实时交互,终端侧机器人本体可以利用无线或有线的方式经安全高速通信网络与机器人云平台进行交互,为传输的消息进行了安全保护和加速传输,确保了消息的实时性和准确性,提高了对用户的服务质量。
图4示出了本申请实施例一中处理状态变化示意图,如图所示,所述机器人本体、云端机器人模块和人工坐席模块之间的状态变化可以如下:
首先,启动机器人本体;
启动机器人本体之后,可以由机器人本体决策;
在所述机器人本体无法处理时,可以转为云端机器人介入,由云端机器人负责决策;
如果用户要求人工介入,也可以直接转为云端机器人和人工坐席介入,由人工坐席负责决策;
如果所述机器人本体算法置信度提高、达到预设阈值,可以再转回由机器人本体决策;
如果云端机器人无法处理,可以转为由云端机器人和人工坐席介入,由人工坐席决策;
在所述云端机器人的算法置信度提高、达到预设阈值,可以再转回由机器人本体决策;
在机器人本体算法的置信度提高、达到预设阈值时,或者用户要求由机器人本体处理,可以由人工坐席决策转为机器人本体决策。
在明了运用的环境后,在终端侧、网络侧分别可以按如下方式实施。在说明过程中,将分别从终端机器人与网络侧机器人云平台的实施进行说明,但这并不意味着二者必须配合实施,实际上,当终端机器人与网络机器人云平台分开实施时,其也各自解决终端侧、网络侧的问题,只是二者结合使用时,会获得更好的技术效果。
实施例二、
基于同一发明构思,本申请实施例还提出了一种机器人,下面进行说明。
图5示出了本申请实施例二中机器人的结构示意图一,如图所示,所述机器人可以包括:
采集模块501,用于采集环境信息;
第一判断模块502,用于判断所述环境信息的复杂度是否超过所述机器人本体的处理范围;
发送模块503,用于在所述环境信息的复杂度超过所述机器人本体的处理范围时,将所述环境信息发送至所述机器人云平台;
接收模块504,用于接收机器人云平台的云端机器人模块或人工坐席模块发送的指令。
本申请实施例中所述机器人可以为导航机器人、导盲机器人、或者家政服务机器人等,机器人的形状/结构可以为可移动的独立结构(如:清洁圆盘状、“人”的形状等)、也可以为导盲拐杖、导盲头盔等结构。
所述采集模块采集的环境信息可以为周边环境的声音、图像、视频等信息,也可以为用户发出的语音信息等。所述发送模块将所述采集到的环境信息发送至机器人云平台,由机器人云平台进行下一步处理。
所述接收模块既可以接收所述机器人云平台的云端机器人模块发送的指令,也可以接收所述机器人云平台的人工坐席模块发送的指令,弥补了现有技术中只能接收云端机器人模块发送的指令,以至于当云端机器人模块繁忙或故障时无法接收到指令、进而无法为用户提供较好的服务的缺陷。
所述第一判断模块判断所述环境信息的复杂度是否超过所述机器人本体的处理范围具体可以为:计算对所述环境信息进行语音识别、人脸识别、图像识别、障碍规避等的置信度,将所述置信度与预设的阈值进行比较,根据比较结果确定所述环境信息的复杂度是否超过所述机器人本体的处理范围。
采用本申请实施例所提供的机器人,既可以受所述机器人云平台的云端机器人模块远程操控,也可以受所述机器人云平台的人工坐席模块远程操控,确保了对用户的服务质量。
由于本申请实施例所提供的机器人,在采集到环境信息之后首先进行复杂度预判,如果判断所述环境信息的复杂度超过所述机器人本体的处理范围,则将所述采集到的环境信息发送至机器人云平台,接收所述机器人云平台的云端机器人模块、或者所述人工坐席模块发送的指令,即,在机器人本体无法处理环境信息时由机器人云平台远程控制机器人本体,并且所述机器人云平台包括云端机器人和人工坐席两种控制方式,解决了现有技术中如果云端机器人模块繁忙或故障导致无法为用户提供服务或提供服务质量较差的技术问题,确保为用户提供较好的服务,提升了用户体验。
实施中,所述采集模块具体可以用于采集包括用户的选择信息的环境信息,所述选择信息为选择云端机器人模块和/或人工坐席模块来处理所述环境信息。
具体实施中,采集的环境信息可以包括用户的选择信息,用户的选择信息可以为选择云端机器人模块来处理所述环境信息,或者选择人工坐席模块来处理所述环境信息,或者选择云端机器人模块和所述人工坐席模块共同处理所述环境信息。
本申请实施例中可以由用户选择来确定由云端平台的哪个模块处理所述环境信息,从而让用户选择符合自己使用习惯的服务方式,进一步提高了用户体验。
图6示出了本申请实施例二中机器人的结构示意图二,如图所示,所述机器人可以进一步包括:
处理模块505,用于在所述机器人本体处理所述环境信息的算法的置信度超过预设第三阈值时,处理所述环境信息。
具体实施时,如果所述机器人本体无法处理所述环境信息,可以由机器人云平台确定由云端机器人模块、人工坐席模块来处理所述环境信息,当所述机器人本体处理所述环境信息的算法的置信度提高、超过预设的第三阈值时,可以由机器人本体自行处理所述环境信息,无需机器人云平台远程操控。
实施中,所述机器人可以进一步包括:
切换按钮,用于采集用户的选择信息。
本申请实施例中可以通过在机器人上设置切换按钮,用户通过按钮选择自己所要接受服务的方式,具体实施时用户也可以通过语音方式来选择,切换按钮方式相比语音方式更加简便、且容易实现。
实施中,所述发送模块具体可以用于将所述环境信息经专用通信网络发送至机器人云平台;所述接收模块具体可以用于经所述专用通信网络接收被确定的所述机器人云平台的云端机器人模块或人工坐席模块发送的指令。
具体实施中,所述机器人的发送模块可以通过专用通信网络将所述环境信息发送至机器人云平台,所述机器人的接收模块可以通过所述专用通信网络接收所述机器人云平台的云端机器人模块或人工坐席模块发送的指令。即,所述机器人可以通过所述专用通信网络与所述机器人云平台进行数据交互。
由于专用通信网络可以为专门用于机器人与机器人云平台交互的通信链路,其信息传输速度、安全性均比现有的移动通信网络高,可以确保用户的信息安全,由于信息传输速度提高了,相应的用户等待时间大大降低,从而提高了服务质量。
实施例三、
基于同一发明构思,本申请实施例还提出了一种机器人云平台,下面进行说明。
图7示出了本申请实施例三中机器人云平台的结构示意图一,如图所示,所述机器人云平台可以包括:信息接收模块701、确定模块702、云端机器人模块703和人工坐席模块704,其中,
所述信息接收模块,用于接收机器人本体发送的环境信息;
所述确定模块,用于确定所述云端机器人模块和/或所述人工坐席模块来处理所述环境信息;
所述被确定的云端机器人模块和/或人工坐席模块,用于处理所述环境信息并发送指令至所述机器人本体。
具体实施中,所述云端机器人模块和人工坐席模块均可以具备对终端侧机器人本体采集的环境信息进行分析、处理,并生成指令反馈给终端侧机器人本体的能力。具体由所述云端机器人模块来处理,还是由所述人工坐席模块来处理,还是由所述云端机器人模块和所述人工坐席模块共同处理,可以由所述确定模块来确定。最终,由所述确定模块确定的模块(所述云端机器人模块和/或所述人工坐席模块)处理所述环境信息并发送指令至所述机器人本体。
本申请实施例中,可以在现有的云机器人实现方案中引入第三方人工坐席模块,由所述机器人云平台确定由所述云端机器人模块来远程操控机器人本体,还是由所述人工坐席模块来远程操控机器人本体,利用云端机器人模块和/或人工坐席模块来远程操控以确保对用户的服务质量。
由于本申请实施例所提供的机器人云平台,在接收到终端侧机器人本体发送的环境信息之后,可以先确定是由所述云端机器人模块来处理所述环境信息还是由所述人工坐席模块来处理所述环境信息、或是由所述云端机器人模块和所述人工坐席模块共同处理所述环境信息,然后再由被确定的云端机器人模块和/或人工坐席模块处理所述环境信息并发送指令至所述终端侧的机器人本体,通过引入人工坐席,以两种方式来远程操控终端侧机器人本体,确保了终端侧机器人本体对用户的服务质量,进而提升用户体验。
实施中,所述环境信息中可以包括用户的选择信息,所述确定模块具体可以用于根据所述用户的选择信息确定所述云端机器人模块和/或所述人工坐席模块来处理所述环境信息。
具体实施时,用户可以在终端侧根据自己的需要自行选择由所述云端机器人模块操控机器人本体、由所述人工坐席模块操控机器人本体,还是由云端机器人模块和人工坐席模块共同操控机器人本体。用户的选择信息可以为选择由所述云端机器人模块操控机器人本体,或者可以为由所述人工坐席模块操控机器人本体等。
本申请实施例中,机器人云平台可以一并接收用户的选择信息与其他声音、语音、图像或视频等信息,所述机器人云平台的确定模块可以根据用户的选择信息确定将所述环境信息发送至所述机器人云平台的云端机器人模块和/或人工坐席模块。
本申请实施例可以接收用户的选择信息,由用户主动选择由谁来操控机器人,通过让用户具有主动选择权,从而可以满足用户的使用习惯,进一步提升了用户体验。
图8示出了本申请实施例三中机器人云平台的结构示意图二,如图所示,所述机器人云平台可以进一步包括:
第二判断模块705,用于判断所述环境信息的复杂度是否超过所述云端机器人模块的处理范围,或者所述云端机器人模块是否出现故障;
所述确定模块具体可以用于当所述环境信息的复杂度超过所述云端机器人模块的处理范围,或者,所述云端机器人模块出现故障时,确定所述人工坐席模块来处理所述环境信息;当所述环境信息的复杂度在所述云端机器人模块的处理范围内时,确定所述云端机器人模块来处理所述环境信息。
本申请实施例中,所述机器人云平台可以在接收到机器人本体发送的环境信息后,判断所述云端机器人模块是否可以处理,根据所述云端机器人是否可以处理来确定将所述环境信息发送给所述云端机器人模块还是所述人工坐席模块,选择的权利可以在所述机器人云平台侧。
具体实施中,所述环境信息中可以包括用户的选择信息也可以不包括用户的选择信息,当所述环境信息中包括所述用户的选择信息且用户的选择信息与所述机器人云平台确定的结果不一致时,可以给机器人本体(可以理解为终端侧或用户)发送提示信息。
具体实施时,如果所述环境信息的复杂度已经超出了所述云端机器人模块的处理范围,为了更好的服务用户,可以确定所述人工坐席模块来处理所述环境信息。如果所述环境信息的复杂度在所述云端机器人模块的处理范围内,为了减少人力成本,可以优先选择由所述云端机器人模块来处理所述环境信息。
本申请实施例中,还考虑到即使所述环境信息的复杂度在所述云端机器人模块的处理范围内,但如果所述云端机器人模块出现系统故障,也无法为用户提供服务,此时,所述确定模块即可直接确定由所述人工坐席模块来处理所述环境信息,确保对用户的服务质量。
本申请实施例通过判断所述环境信息的复杂度来确定由所述云端机器人模块还是所述人工坐席模块来处理所述环境信息,可以智能判断所述云端机器人模块是否可以处理,从而可以选择最适合处理所述环境信息的模块来处理所述环境信息。
实施中,所述第二判断模块具体可以包括:
计算单元,用于计算对所述环境信息进行语音识别、人脸识别、图像识别和/或障碍规避的置信度;
比较单元,用于将所述置信度与预设第一阈值进行比较;
确定单元,用于根据比较结果确定所述环境信息的复杂度是否超过所述云端机器人模块的处理范围。
实施中,所述确定模块可以进一步用于在确定所述人工坐席模块来处理所述环境信息之后,如果所述云端机器人模块处理所述环境信息的算法的置信度超过预设第二阈值,确定所述云端机器人模块和所述人工坐席模块处理所述环境信息,所述云端机器人模块用于发送指令至所述机器人本体;如果所述云端机器人模块处理所述环境信息的算法的置信度超过预设第二阈值并持续预设时间,确定所述云端机器人模块处理所述环境信息并发送指令至所述机器人本体。
具体实施时,可能由于用户指定、云端机器人模块故障、云端机器人模块的处理能力不足等原因,由人工坐席模块来处理所述环境信息;在处理过程中,如果发现所述云端机器人模块处理所述环境信息的算法的置信度提高、且超过预设第二阈值,那么可以确定由所述云端机器人模块和所述人工坐席模块共同处理所述环境信息,由所述云端机器人模块发送指令至所述机器人本体;
如果所述云端机器人模块处理所述环境信息的算法的置信度超过预设第二阈值并持续了一定时间,此时可以认为所述云端机器人模块已经稳定、可以处理所述环境信息,故可以确定由所述云端机器人模块来处理所述环境信息并发送指令至所述机器人本体,所述人工坐席模块不再介入。
通过上述过程,随着云端机器人模块的处理能力的增强,人工坐席模块可以逐渐退出、慢慢地不再介入,在确定为用户提供稳定、可靠的处理能力的同时,逐渐脱离人工干预、缓解人工压力。
实施中,所述确定模块可以进一步用于在确定所述云端机器人模块处理所述环境信息并发送指令至机器人本体之后,如果所述机器人本体处理所述环境信息的算法的置信度超过预设第三阈值,确定所述机器人本体处理所述环境信息。
具体实施时,在所述云端机器人模块处理所述环境信息的过程中,如果发现所述机器人本体处理所述环境信息的算法的置信度逐渐提高、并超过预设第三阈值,则可以确定所述机器人本体处理所述环境信息,无需机器人云平台远程操控。
具体实施时,也可以在述机器人本体处理所述环境信息的算法的置信度超过预设第三阈值并持续一定时间后,再由所述机器人本体处理所述环境信息。
实施中,所述信息接收模块具体可以用于接收机器人本体通过专用通信网络发送的环境信息;所述被确定的云端机器人模块或人工坐席模块具体可以用于处理所述环境信息并通过专用通信网络发送指令至所述机器人本体。
本申请实施例通过高速专用的传输网络来支撑实时交互,终端侧机器人本体可以利用无线或有线的方式经安全高速通信网络与机器人云平台进行交互,为传输的消息进行了安全保护和加速传输,确保了消息的实时性和准确性,提高了对用户的服务质量。
为了描述的方便,以上所述装置的各部分以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
实施例四、
本申请所提供的技术方案可以应用于智能导盲场景,下面以导盲机器人为例,对本申请进行说明。
假设所述导盲机器人的结构为头盔结构,盲人可以将所述导盲头盔佩戴于头部。
所述导盲头盔的正前方可以有摄像头,用于采集周边环境的图像、视频等信息;所述导盲头盔的右耳部位设置有切换按钮,所述切换按钮可以包括两端(一端按下代表选择云端机器人模块、另一端按下代表选择人工坐席模块),一端按下、另一端自动弹起。默认情况下,所述导盲头盔可以默认选择云端机器人模块。
当盲人佩戴所述导盲头盔在路上行走时,所述导盲头盔可以实时采集前方图像或视频信息、以及所述盲人的当前位置信息等,导盲头盔可以首先判断自身是否可以处理所采集到的信息并指导盲人行进:
如果导盲头盔可以处理所采集到的信息并指导盲人行进,则可以自行处理并指导盲人行进;
如果所述采集到的信息已经超出了导盲头盔能够处理的范围,导盲头盔无法处理该信息或给出指导,那么,所述导盲头盔可以将所述图像或视频信息、盲人的位置信息等环境信息经专用通信网络传输至机器人云平台。
所述机器人云平台可以首先判断所述盲人是否选择了人工坐席介入,如果所述盲人没有选择人工坐席介入,所述机器人云平台可以判断所述云端机器人模块是否运行正常:
如果检测到所述云端机器人故障,则将采集到的信息发送至人工坐席模块处理;
如果所述云端机器人运行一切正常,再进一步判断所述云端机器人是否可以处理所述采集到的信息,如果所述云端机器人工作繁忙、或者所述采集到的信息的复杂度较高,则可以将采集到的信息发送至人工坐席模块处理;否则,可以由所述云端机器人模块处理。
所述云端机器人模块可以进行图像识别、根据盲人的当前位置及预设的目标位置为盲人规划下一步的指令,所述指令可以为“继续前行”、“向左转”等语音指令。
由于本申请实施例中所述云端机器人模块通过专用通信网络将所述语音指令发送至所述导盲头盔,传输速度较快,可以避免现有技术中通过移动通信网络传输实时性较差导致严重影响对盲人引导的情况。
如果采集到的信息复杂度较高(例如:繁杂的场景画面)、或者云端机器人工作繁忙导致处理效率较低、甚至出现故障,所述机器人云平台可以立即切换至人工坐席处理,以确保对盲人用户的引导。
另外,盲人在行走过程中,也可以根据自己的个人意愿,手动拨动所述切换按钮2,切换至人工坐席介入,所述机器人云平台在接收到切换指令后也可以立即切换至人工坐席模式,以满足盲人用户的需要。
所述人工坐席模块可以接收第三方服务者(例如:客服等工作人员)通过键盘、话筒等输入设备输入的导盲指令,并将所述导盲指令发送至所述导盲头盔,实现对盲人用户的引导。
所述导盲头盔上还可以包括麦克风/话筒装置,方便盲人用户直接发出语音来发出指令,例如:盲人可以直接说出“我想去望京地铁站,怎么走?”。
所述云端机器人模块在接收到所述语音信息后,进行语音识别、语义理解、图像识别或者障碍规避等处理后,可以结合盲人的当前位置生成语音指令,发送至所述导盲头盔,由所述导盲头盔播放所述语音指令以引导盲人;
在所述云端机器人模块无法处理时,可以由人工服务,服务人员在接收到所述语音信息后,可以结合盲人的当前位置快速的给予响应。具体实施中,服务人员可以通过键盘/触摸屏等输入响应的指令,也可以直接说话、通过语音方式输入响应的指令。
在人工服务的过程中,如果所述云端机器人模块的处理能力发生改变,可以为用户提供服务时,可以由人工坐席和云端机器人共同介入;在所述云端机器人模块的处理能力在能够为用户提供服务的情况下维持了2分钟时,所述人工坐席可以不再介入、只由云端机器人介入,在这个过程中,人工坐席慢慢退出。
在云端机器人服务的过程中,如果终端侧机器人本体的处理能力发生改变,可以为用户提供服务时,可以由机器人本体自行处理,也可以在机器人本体能力在能够为用户提供服务的情况下维持2分钟之后,再由机器人本体自行处理。
实施例五、
本申请所提供的技术方案还可以应用于家政服务领域,下面以家政服务机器人为例进行说明。
假设所述家政服务机器人的外形和人的形状相似,所述家政服务机器人可以移动。
用户在家中休息时,可以通过语音方式向所述家政服务机器人发出指令,例如:用户说话内容为“请帮忙拖地”。
所述家政服务机器人接收到所述用户发送的语音信息后,可以判断自身是否可以识别所述语音信息,由于所述语音信息较为简单且为常规服务内容,故所述家政服务机器人可以利用自身处理芯片识别所述语音信息,并在识别之后控制相应的执行单元执行所述拖地操作。
当用户想要做饭时,可以通过语音方式向所述家政服务机器人发出指令,例如:用户说话内容为“请用电饭煲蒸米饭”。
尽管所述用户的语音信息较为简单、所述家政服务机器人可以识别该语音,但执行该操作需要找到电饭煲、大米、以及将大米放入电饭煲、加水等操作,所述家政服务机器人无法给出响应,此时,可以将所述语音信息和当前采集到的图像等信息发送至云端机器人模块,由所述云端机器人模块对所述语音信息进行语音识别、语义理解等处理,然后发出动作指令至所述家政服务机器人,所述动作指令可以包括方向指令、行走指令、指示所述家政服务机器人放入大米等控制指令。
其中,所述指令可以为二进制的指令,也可以为合成的语音指令。
所述家政服务机器人可以根据所述云端机器人模块发送的指令,执行相应的操作。
由于本申请实施例中所述家政服务机器人与所述云端机器人模块通过专用通信网络传输数据,传输指令的速度较快,可以快速为用户提供拖地服务,使得用户的感受较好。
假设所述机器人云平台经过判断、确定所述用户的语音指令过于复杂、导致所述云端机器人模块无法处理,则可以由所述人工坐席模块介入。
在具体实施时,假设所述机器人云平台确定所述云端机器人模块可以处理所述用户的语音指令,但所述用户认为所述家政服务机器人的服务效率较差,所述用户也可以要求切换至人工模式。具体的,可以通过按键或语音方式指示切换,所述用户的选择信息会被发送至所述机器人云平台,所述机器人云平台可以根据用户的选择信息进行相应的切换。
所述人工坐席模块可以选择一位空闲的服务人员,将所述用户的语音指令发送至所述服务人员。所述服务人员可以根据所述家政服务机器人采集到的图像或视频信息寻找所述用户厨房中的大米和电饭煲的摆放位置,并指示机器人进行相应的操作步骤。
假设云端机器人具备将大米放入电饭煲等简单操作的处理能力,待利用人工服务找到大米和电饭煲的摆放位置之后,可以由所述云端机器人做出决策和发送指令等,期间可以由所述人工监控所述云端机器人的决策和指令是否正确等,待持续一定时间后,所述人工服务即可慢慢脱离、不再介入,仅由云端机器人处理、远程控制。
假设所述家政服务机器人具备按下电源键等简单操作的处理能力,待所述云端机器人指示将大米和水放入电饭煲之后,可以由所述家政服务机器人控制相应的执行单元来按下电源键,所述云端机器人不再介入。
本申请实施例可以在家政服务机器人本地无法处理时,引入机器人云平台,利用更为智慧的云端机器人和人工坐席来协助解决,并根据云端机器人、家政服务机器人本地的处理能力的情况,慢慢由人工转为云端机器人、再转为家政服务机器人本地处理。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。