CN104360633A - 一种面向服务机器人的人机交互系统 - Google Patents

Abstract

本发明公开了一种面向服务机器人人机交互系统。该系统能够安装于通用的移动平台，包括但并不限于如平板电脑等智能终端。其特征是将家庭服务机器人系统划分为“执行与感知层-信息中心层-应用资源层”三层云架构，并通过定义每个设备的“消息文件”、“话题类型”来将每个设备封装为服务供应商，并在信息中心层维护设备列表、话题队列、消息队列等资源列表，从而将机器人等设备作为云服务提供给用户。同时又可利用云端资源如语音云、图像云来实现语音识别等多种高友好度的人机交互方式。该系统还可提供给用户由真实数据驱动的三维可视化仿真环境，既允许用户进行仿真演示，也可连接真实系统对机器人和其他设备进行控制。

Description

一种面向服务机器人的人机交互系统

技术领域

本发明涉及一种面向服务机器人人机交互系统。尤其是在家庭服务领域应用的人机交互系统

背景技术

工业机器人技术已经日趋成熟并已大量应用到了制造业。随着机器人技术的发展，家庭服务机器人正在进入高速发展的起步期。在“机器人进入家庭”的进程中，如何改善工业机器人那种单一的机器臂、冰冷的金属材质带给人心理上的不适应性是机器人走进家庭的过程中必须解决的问题。除了从外形设计和性能改善两方面改善机器人给人的印象外，良好的人机交互系统也是家服机器人得到推广和应用的重要条件。

传统的人机交互设备都是通过按钮、开关等识别用户意图，人机交互不够友好，而如果要开发如语音识别、基于图像等的手势识别等高友好度的人机交互方式，开发者需要维护庞大的语音库、图像库，并进行识别算法等的开发工作，人机交互设备的软硬件成本和时间周期都将大大提高。同时，由于这些人机交互设备是都是针对特定机器人——如PUMA、新松机器人——专门设计，因此，一旦人机交互设备制作完成，就只能执行特定种类的人机交互任务，当需要扩展新的功能时往往需要重新设计人机交互设备，扩展性差。最后，由于传统的人机交互设备都是针对特定机器人设计，不同种类机器人往往需要不同的人机交互设备，通用性差。

而基于Android、iOS平台的通用移动设备为构建通用便携、高友好度的机器人人机交互系统提供了一个有效手段。首先，智能移动终端内置了各种光照、温度等各种传感器，为开发者提供了多种多样的人机交互接口。同时，智能移动终端的图形界面与Multi-Touch触屏等交互技术可实现灵活便捷、自然高效的机器人多模态人机交互。另一方面，智能移动终端通用便捷，携带方便，可方便地接入无线网络，完成与机器人本体的交互并从服务器端及传感器端下载信息。

发明内容

有鉴于此，本发明的目的是解决现有人机交互设备的软硬件成本高，通用性差等问题，开发出一套能够安装在通用平台上的，具备良好通用性和扩展性，人机交互手段友好度高的基于Android平台的面向服务机器人的人机交互系统。

本发明提供的面向服务机器人的人机交互系统，是基于云架构进行设计的，该系统能够安装于通用的移动平台和智能终端(包括但不限于如平板电脑、手机等智能终端)。如图1所示，该系统一方面“将家庭中传感器、机器人、智能终端等设备封装为服务的提供者和请求者”，将机器人自身资源配置为云服务提供给用户。另一方面又能够基于云架构来获取云端资源，利用语音云、图像云等云端资源方便地实现如语音识别、手势识别等高友好度的人机交互方式。

上述所述的云架构是基于RaaS(Robot as a Service)思想，将家庭服务机器人系统划分为“执行与感知层-信息中心层-应用资源层”的三层云架构，一方面能将自身资源配置成云服务供用户调用，另一方面也能利用云端资源为机器人服务。其中，“执行与感知层”通过为传感器、机器人等设备设计其“消息文件”，由该“消息文件”定义该设备提供的服务的数据结构。同时，定义该设备的“话题类型”，定义该设备所能提供的服务的类型、服务ID、对应的消息文件等并在信息中心层注册，从而将家服系统中的传感器或机器人等设备封装为统一的服务接口，作为云服务提供给用户。“信息中心层”向下管理“执行与感知层”的设备和服务资源，为其提供云存储与云计算支持。向上为“应用资源层”提供服务接口，提供机器人和其他设备的各项服务，包括但并不限于如资源管理与调度、存储、计算等功能服务。在“信息中心层”维护着“执行与感知层”所能提供的“设备队列”、“话题队列”、“消息队列”等多张资源链表，管理家庭中的设备和服务等资源。人机交互设备的终端位于“应用资源层”，如图2所示，“应用资源层”主要具有三个功能：一是向“信息中心层”发起服务请求调用服务。用户通过该层接入家服系统，享受“执行与感知层”提供的各项云服务。服务的请求者可以是处于家庭中的智能终端，也可以是远程浏览器终端用户等。二是构建云端社区，形成资源共享平台。如在家庭A中的机器人设计了自动巡航的服务，而原先未开发该功能的家庭B的机器人可通过云端社区获得该项能力。三是获取大云端如语音云、图像云等资源，为机器人服务，能够利用云端资源来实现多种高友好度的人机交互方式。包括但不限于如利用语音云进行语音识别、利用图像云进行物体识别及人脸识别等。家服系统不仅可以将自身功能配置为云服务供云端用户使用，更可以利用云端丰富资源，扩展机器人能力，为机器人服务。

在上述所示的三层云架构的支持下，该系统提供给用户由真实数据驱动的三维仿真环境。该三维仿真环境的建模采用分层思想，如图3所示，首先由OpenGL ES绘制出基本形状类包，可绘制包括圆、求、矩形、立方体、圆锥等基本形状。在该类包的支持绘制第二层，即家庭环境和机器人模型的基本构成要素，如桌子、角柱、装饰体、机器人关节、转动轴等。接下来绘制第三层，由第二层的类包支持，可绘制家庭环境和机器人的基本组成单元，如里墙、外墙、地板、天花板、机器人本体、机器人左右手臂、机器人头部等，最后由第四层完成家庭环境和机器人模型的搭建，其最终显示效果如图4所示。

在上述所示的三维仿真环境，机器人位姿、手臂各关节值、摄像头位置等信息由上述所示的三层云架构的“信息中心层”提供。在“信息中心层”的真实数据驱动下，既允许用户对虚拟机器人和其他设备进行仿真演示，也可实际连接系统对机器人和其他设备进行实际控制。包括但并不限于如机器人手臂、移动底盘、家中摄像头等设备。同时，该系统既提供给用户导航盘式的控制，又允许用户直接输入对机器人各关节值、云台相机PTZ值、机器人位姿等设定值，同时可根据需要选择显示或隐藏该功能。

在上述的三维仿真环境下，本发明还提供一种由屏幕坐标系到三维世界坐标系转化的算法。其特征是建立固结于智能终端的屏幕坐标系，通过摄像机的位置和投影矩阵求解该坐标系在世界坐标系中的变换矩阵。从而根据用户点击位置在屏幕坐标系中的值反解出该点在世界坐标中的位置。进而由视点坐标和该点坐标可得一条射线方程。通过求解该射线与三维环境中物体的交点而确定用户点击的位置或坐标。

根据上述所声明的坐标转化算法，可通过求解用户点击屏幕位置与视点形成的射线方程与三维世界坐标系物体的交点，从而提供一种用户体验度很高的触控点击的交互方式，允许用户直接控制家中设备。如，通过求取该射线与地板的交点，确定用户点击的位置坐标，从而允许用户通过触控点击的方式对移动机器人设定巡视路径，并以直线及如图4中圆锥与圆球的组合体形状实时表示出巡视路线和中间路径点，允许用户对路径点进行增加、删除、更改坐标值等动态管理。

本发明的优点和有益效果：

第一，本发明中采用三层云架构体系，将家庭中的设备封装为服务的提供者和请求者，从而屏蔽掉了设备底层的差异，使得不同的设备可由统一的方式进行调用，从而提高了人机交互系统的通用性。

第二，由于本发明的人机交互系统能够安装在通用的智能移动终端，不需要专门针对某一类型机器人设计硬件，从而降低了人机交互设备的开发成本和开发周期。

第三，当家庭添加新的设备或机器人增加新的功能时，只需按照标准协议将新增加的设备或功能封装为相应的服务，而人机交互终端只需添加响应的功能模块即可，从而使得该人机交互设备具备良好的扩展性。

第四，由于本发明所声明的人机交互系统是基于云架构而设计，因此本系统能够利用云端丰富的资源，如语音云、图像云等，方便快速地开发出如语音识别、收拾识别等高友好度的人机交互方式。而不用像传统的人机交互设备一样开发类似的功能需要维护庞大的语音库，从而减少了开发成本和开发的时间周期。

第五，本发明提供的人机交互系统在云架构的支持下，能够提供三维仿真环境，既允许用户对虚拟机器人和其他设备进行仿真演示，也可实际连接系统对机器人和其他设备进行实际控制。同时，本发明还提供一种由屏幕坐标系到三维世界坐标系转化的算法以及根据算法所声明的三维物体间的碰撞检测算法允许用户通过触控点击方式对设备进行控制，提高了用户体验度。

附图说明

图1是本发明提出的基于RaaS的家庭服务机器人系统三层云架构体系。

图2是本发明提供的给予三层云架构体系的人机交互系统的架构。

图3是三维仿真环境和机器人模型的分层建模思想。

图4是三维仿真环境的界面效果图。

图5是服务的请求与响应的过程。

图6是屏幕视口平面坐标系A在世界坐标系O中的位置示意图。

图4中展示了用户可以进行巡航路径点设定和管理的界面。巡航路径表示方法如图中箭头1和箭头2所示表示。而用户可通过箭头3所示区域管理巡航路径点。

具体实施方式

实施例

基于前述云架构，本文基于RaaS模式，将机器人、传感器、智能终端等设备看做服务的请求者和提供者，并将家服机器人系统划分为“应用资源层/信息中心层/执行与感知层”三层：“执行与感知层”为服务的提供者，该层将机器人移动平台、机器人手臂及各传感器封装为各项服务，响应用户请求；“信息中心层”为系统核心，在该层构建云服务器，实现对系统各项服务和资源的管理与调度，为“执行与感知层”提供云计算和云存储支持，并将“执行与感知层”设备作为云服务提供给用户；“应用资源层”为服务的请求者，家服中任务由该层发起，通过“信息中心层”请求“执行与感知层”的各项服务。同时，在该层建立更大范围的云端社区，将大云端与小云端相结合，由小云端将机器人等设备配置为云服务供用户使用，而大云端可获取更大范围的云社区支持来为机器人服务，从而优化系统结构，实现资源的按需请求、按需分配。

本例中，“执行与感知层”的机器人及其他传感设备，均抽象为服务的提供者，称之为“服务供应商”。服务供应商提供的服务可分为两种类型：“读”服务与“写”服务。“读”服务是指服务的请求者——称之为“服务消费者”——只请求设备数据，而不对设备发出控制指令，即不修改设备数据；“写”服务是指允许服务消费者对设备发出控制指令，修改设备数据。

服务供应商以“话题(Topic)”的形式发布自己的服务，表明自己的服务类型。每个话题有其对应的“消息(Message)”。话题的本质是服务ID(参见表3的话题队列)，而消息的本质是数据结构。以机器人移动平台为例，机器人移动平台的消息定义如表1所示。

表1机器人移动平台的消息定义

Tab.1 The drfine of Robot-Mobile-Platform’s Message

“信息中心层”负责管理“执行与感知层”的设备和服务资源。本文在“信息中心层”构建了资源管理服务器，维护包括设备列表、话题队列、消息队列等多张资源链表，管理家庭中的设备、服务等资源。

设备列表如表2所示，当设备添加到系统中时，会在设备列表中为设备分配设备编号和设备ID。同时，依据该设备所能提供的服务类型，在话题队列和消息队列中添加相应话题及消息。话题队列如表3所示，消息队列如表4所示。

如图5所示，当设备激活时，会在“信息中心层”的家庭信息中心进行“话题”注册，告知信息中心该设备可提供服务，同时会定义设备的“消息”。当服务消费者请求“读”服务时，消费者会订阅该话题的消息，获取其数据。当服务消费者请求“写”服务——即向设备发出控制指令时，消费者会向该设备的话题发布一个新的消息，由该设备完成相应动作。

表2设备编号表

Tab.2 Device Number

表3话题队列

Tab.3 The queue of Topics

表4消息队列

Tab.4 The queue of Messages

如图2所示，当用户希望发起人机交互请求时，人机交互设备终端通过科大讯飞公司提供的语音云服务识别用户的语音输入或通过触控点击的方式获取用户意图，然后将用户意图解析为若干个带有先后顺序的服务请求，该服务请求发送到信息中心，由信息中心层调度执行与感知层的设备响应该用户请求，完成人机交互的过程。

本例中，由屏幕坐标系到三维世界坐标系转化的方法的一个推导实例如下：

设三维仿真环境中视点坐标为O′:(x₀,y₀,z₀)，摄像机的朝向可由摄像机的方位角yAngle和俯仰角xAngle来表征。由此，摄像机的朝向可由视点坐标为O′:(x₀,y₀,z₀)和如下图所示的单位圆上的点A:(c_x,c_y,c_z)构成的射线表示。则可知屏幕所显示的视口平面为经过A:(c_x,c_y,c_z)与单位圆相切的平面。如图6建立屏幕坐标系Ax_Ay_Az_A。下面推导坐标系A相对于世界坐标系O的变换矩阵。

步骤一：首先求解坐标系A在坐标系O′(坐标系O′为三个坐标轴均与世界坐标系相平行，而原点位于视点坐标O′的坐标系)中的变换矩阵

由图中可得，坐标轴x_A在坐标系O′中的投影向量为

$\left[\begin{array}{c}\cos \left(\mathrm{yAngle}\right)\\ -\sin \left(\mathrm{yAngle}\right)\\ 0\end{array}\right]$

坐标轴y_A在坐标系O′中的投影向量为

$\left[\begin{array}{c}-\sin \left(\mathrm{xAngle}\right)\sin \left(\mathrm{yAngle}\right)\\ -\sin \left(\mathrm{xAngle}\right)\cos \left(\mathrm{yAngle}\right)\\ \cos \left(\mathrm{xAngle}\right)\end{array}\right]$

坐标轴z_A在坐标系O′中的投影向量为

$\left[\begin{array}{c}-\cos \left(\mathrm{xAngle}\right)\sin \left(\mathrm{yAngle}\right)\\ -\cos \left(\mathrm{xAngle}\right)\cos \left(\mathrm{yAngle}\right)\\ -\sin \left(\mathrm{xAngle}\right)\end{array}\right]$

而A点在坐标系O′中的坐标可表示为：

$\left\{\begin{array}{c}{c}_x=\cos \left(\mathrm{xAngle}\right)\sin \left(\mathrm{yAngle}\right)\\ c_y=\cos \left(\mathrm{xAngle}\right)\cos \left(\mathrm{yAngle}\right)\\ c_z=\sin \left(\mathrm{xAngle}\right)\end{array}\right.$

故，可求得坐标系A在坐标系O′中的变换矩阵

${}_A^{O^{,}}T=\left[\begin{array}{cccc}\cos \left(\mathrm{yAngle}\right)& -\sin \left(\mathrm{xAngle}\right)\sin \left(\mathrm{yAngle}\right)& -\cos \left(\mathrm{xAngle}\right)\sin \left(\mathrm{yAngle}\right)& \cos \left(\mathrm{xAngle}\right)\sin \left(\mathrm{yAngle}\right)\\ -\sin \left(\mathrm{yAngle}\right)& -\sin \left(\mathrm{xAngle}\right)\cos \left(\mathrm{yAngle}\right)& -\cos \left(\mathrm{xAngle}\right)\cos \left(\mathrm{yAngle}\right)& \cos \left(\mathrm{xAngle}\right)\cos \left(\mathrm{yAngle}\right)\\ 0& \cos \left(\mathrm{xAngle}\right)& -\sin \left(\mathrm{xAngle}\right)& \sin \left(\mathrm{xAngle}\right)\\ 0& 0& 0& 1\end{array}\right]$

步骤二：求取坐标系O′在世界坐标系O中的变换矩阵

由于坐标系O′相对世界坐标系O只有平移变换，故：

${}_{O^{\text{'}}}^{O}T=\left[\begin{array}{cccc}1& 0& 0& x\\ 0& 1& 0& y\\ 0& 0& 1& z\\ 0& 0& 0& 1\end{array}\right]$

步骤三：求取坐标系A在世界坐标系O中的变换矩阵

$T_A^O={}_{O^{\text{'}}}^{O}T{}_A^{O^{\text{'}}}T$

步骤四：求取用户点击点对应的屏幕坐标在坐标系A中的表示。

由图6所示视口平面与世界坐标系的关系，可得到由Android系统得到的屏幕坐标(xRatio,yRatio)在坐标系A中的坐标为：

$P_A=\left[\begin{array}{c}2(\mathrm{xRatio}-0.5)\\ 2(0.5-\mathrm{yRatio})\frac{1}{\mathrm{ratio}}\\ 0\end{array}\right]$

故该点对应视口平面的点在世界坐标系O中的坐标为：

$P_O=T_A^O\left[\begin{array}{c}P_A\\ 1\end{array}\right]=\left[\begin{array}{c}P_x^O\\ P_y^O\\ P_z^O\\ 1\end{array}\right]$

步骤五：因此，由该点和视点坐标O′:(x₀,y₀,z₀)可得到直线方程：

$\left\{\begin{array}{c}x=(P_x^O-x_0)t+x_0\\ y=(P_y^O-y_0)t+y_0\\ z=(P_z^O-z_0)t+z_0\end{array}\right.$

步骤六：通过求解该直线方程与三维物体的交点，可获取用户点击的是哪个物体。从而完成对相应物体的操作。如设定巡航路径点中，求取该直线方程与地板方程x＝0的交点可获得用户希望设定的路径点的坐标，从而生成巡航路径。

Claims (9)

1.一种面向服务机器人的人机交互系统，该系统能够安装于通用的移动平台和智能终端，其特征在于该系统，基于RaaS(Robot as a Service)思想，将家庭服务机器人系统划分为“执行与感知层‐信息中心层‐应用资源层”三层云架构，一方面能将自身资源配置成云服务供用户调用，另一方面也能利用云端资源为机器人服务。

2.根据权利要求1所述的面向服务机器人的人机交互系统，其特征在于所述的云架构体系中的“执行与感知层”，为传感器或机器人设备设计“消息文件”，该“消息文件”定义了该设备提供的服务的数据结构，同时，定义该设备的“话题类型”，定义该设备所能提供的服务的类型、服务ID、对应的消息文件并在信息中心层注册，将传感器或机器人设备作为云服务提供给用户。

3.根据权利要求1所述的面向服务机器人的人机交互系统，其特征在于所述的云架构体系中的“信息中心层”，用于维护“执行与感知层”所能提供的“设备队列”、“话题队列”、“消息队列”多张资源链表，管理家庭中的设备和服务资源。

4.根据权利要求1所述的面向服务机器人的人机交互系统，其特征在于所述的云架构体系中的“应用资源层”，一方面能够通过向“信息中心层”发起服务请求调用服务，另一方面，构建云端社区，形成资源共享平台，以及能够利用云端资源来实现多种高友好度的人机交互方式。

5.根据权利要求1所述的面向服务机器人的人机交互系统，其特征在于所述的云架构体系在“信息中心层”的真实数据驱动下，该系统能够提供给用户由真实数据驱动的三维仿真环境，并允许直接通过触控屏幕的方式对虚拟的三维物体进行操作。

6.根据权利要求5所述的面向服务机器人的人机交互系统，其特征在于所述的由真实数据驱动的三维仿真环境，该系统在“信息中心层”的支持下，既允许用户对虚拟机器人和其他设备进行仿真演示，也能够实际连接系统对机器人和其他设备进行实际控制。

7.根据权利要求6所述的面向服务机器人的人机交互系统，其特征在于所述的三维仿真环境既提供给用户导航盘式的控制，又允许用户直接输入对机器人各关节值、云台相机PTZ值、机器人位姿设定值，同时根据需要选择显示或隐藏该功能。

8.根据权利要求6所述的面向服务机器人的人机交互系统，其特征在于所述的三维仿真环境还包括一种由屏幕坐标系到三维世界坐标系转化的方法；具体是建立固结于智能终端的屏幕坐标系，通过摄像机的位置和投影矩阵求解该坐标系在世界坐标系中的变换矩阵，从而根据用户点击位置在屏幕坐标系中的值反解出该点在世界坐标中的位置，进而由视点坐标和该点坐标得到一条射线方程，通过求解该射线与三维环境中物体的交点而确定用户点击的位置或坐标。

9.根据权利要求8所述的面向服务机器人的人机交互系统，其特征在于所述的坐标转化方法，能够通过求解用户点击屏幕位置对应的在三维世界坐标系中xOy平面对应的坐标，从而允许用户通过触控点击的方式对移动机器人设定巡视路径，并以直线及圆锥与圆球的组合体形状实时表示出巡视路线和中间路径点，允许用户对路径点进行增加、删除、更改坐标值动态管理。