CN107932510A - 基于动作采集的nao机器人系统 - Google Patents

Abstract

本发明公开了一种基于动作采集的NAO机器人系统，包括：NAO机器人，动作采集器和转换器；其中，NAO机器人用于模拟和重现人体动作；动作采集器用于采集与人体动作相关的图像；转换器将动作采集器所采集的图像数据转换为控制NAO机器人舵机角度的控制指令，实时发送至NAO机器人，也可存储为文件；NAO机器人根据转换器发送来的控制指令设定舵机角度，模拟采集器所采集图像中的人体动作；也可通过语音接口调用指令文件，重现采集器所采集的人体动作。本发明的有益之处在于提供一种使得非专业人员能够快速便捷地控制和自定义机器人动作的系统。

Description

基于动作采集的NAO机器人系统

技术领域

本发明涉及一种机器人系统，具体涉及一种基于动作采集的NAO机器人系统。

背景技术

随着机器人技术的不断成熟，它的普及应用正逐步从工业领域扩展到服务业、军事等更多的领域。在这些新的应用领域中，对机器人功能的个性定制化需求变得十分迫切。现有的人与机器人的交互方式中，使用者只能通过语音等接口控制机器人完成事先定义好的动作，自定义动作只能由专业人员通过专门的开发软件来设计。这对NAO机器人系统的普及和应用，尤其是在生活领域的应用带来难度。

如图1所示的NAO机器人100包括：头部11，躯干12，上肢13，下肢14；头部11，躯干12，上肢13，下肢14构成一个类似人体的结构。具体而言，NAO机器人100还包括：触摸传感器101，扬声器102，红外线模块103，头部关节104，胸部按钮105，髋关节106，机械手107，踝关节108，碰撞器109，麦克风110，摄像头120，麦克风121，肩关节122，肘关节129，电池124，腕关节125，触摸传感器126，膝关节127和压力传感器128。

如图1所示的NAO机器人的组成、结构及功能为本领域的一般技术人员所知晓，在此不加赘述。

发明内容

一种基于动作采集的NAO机器人系统，包括：NAO机器人，动作采集器和转换器；其中，NAO机器人用于模拟人体的动作；动作采集器用于采集与人体动作相关的图像；转换器能将动作采集器所采集的图像数据转换为控制NAO机器人舵机角度的控制指令；NAO机器人根据转换器的控制指令模拟采集器所采集图像中的人体动作。

进一步地，动作采集器和转换器集成至NAO机器人。

进一步地，动作采集器与转换器构成一个整体，并与NAO机器人构成无线通讯连接。

进一步地，动作采集器与NAO机器人构成一个整体，并与转换器构成无线通讯连接。

进一步地，转换器与NAO机器人构成一个整体，并与采集器构成无线通讯连接。

进一步地，采集器为移动通讯终端。

进一步地，基于动作采集的NAO机器人系统还包括：监视器；监视器用于监视NAO机器人的动作。

进一步地，基于动作采集的NAO机器人系统还包括：显示器；显示器用于显示NAO机器人的动作。

进一步地，基于动作采集的NAO机器人系统还包括：云端服务器；云端服务器用于存储采集器所采集的数据或转换器所生成的数据；云端服务器与采集器和转换器构成无线数据连接。

进一步地，采集器动态地向转换器传输数据，转换器动态地向NAO机器人传输指令。

本发明的有益之处在于：提供一种使得非专业人员能够快速便捷地控制和自定义机器人的系统。

附图说明

图1是NAO机器人的结构示意图；

图2是本发明的基于动作采集的NAO机器人系统的一个优选实例的结构示意框图；

图3是本发明的基于动作采集的NAO机器人系统的另一个优选实例的结构示意框图；

图4是本发明的基于动作采集的NAO机器人系统的另一个优选实例的结构示意框图；

图5是本发明的基于动作采集的NAO机器人系统的另一个优选实例的结构示意框图；

图6是本发明的基于动作采集的NAO机器人系统的另一个优选实例的结构示意框图；

图7是本发明的基于动作采集的NAO机器人系统的另一个优选实例的结构示意框图；

图8是本发明的基于动作采集的NAO机器人系统的另一个优选实例的结构示意框图。

图9是Kinect传感器坐标系的示意图；

图10是人体照片处理后变换为普通坐标系中的向量的示意图；

图11是对图10中的角度进行计算的示意图。

具体实施方式

如图2所示，基于动作采集的NAO机器人系统包括如图1所示的NAO机器人，动作采集器和转换器。

其中，NAO机器人用于模拟人体的动作。比如模仿人的舞蹈动作或劳动动作。

动作采集器用于采集与人体相关的图像，比如可见光图像或者红外图像。作为一种可选方案，动作采集器可以采用Kinect体感传感器。

具体而言，Kinect传感器是一种3D摄像机。

Kinect传感器的硬件组成有：

1)麦克风阵列：声音从4个麦克风采集，同时过滤背景噪声，可定位声源。

2)红外投影机：主动投射近红外光谱，照射到粗糙物体、或是穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点(称为散斑)，进而能被红外摄像头读取。

3)红外摄像头：分析红外光谱，创建可视范围内的人体、物体的深度图像。

4)仰角控制马达：可编程控制仰角的马达，用于获取最佳视角。

5)USB线缆：支持USB 2.0接口，用于传输彩色视频流、深度流、音频流等。必须使用外部电源，传感器才能充分发挥其功能。(Kinect的功率达到了12W，而普通USB一般是2.5W。)

6)彩色摄像头：用于拍摄视角范围内的彩色视频图像。

Kinect传感器有两个摄像头，一个是普通的RBG摄像头，红外发射器发射红外线，另外一个红外线接收器通过接收红外线获得被照射物体的信息从而可以看成第二个摄像头用来接收深度图像。依据Kinect的这一特性，就可以记录空间中不在同一平面上的图像的数据。此外，Kinect还有捕捉人体骨骼节点的特殊功能，并将各个节点的数据纪律下来。可以通过深度图像摄像头捕获人体骨骼节点的空间位置信息，从而实现空间人体各个骨骼节点数据的记录，通过Kinect传感器可以采集人体的空间位置数据。然后，对于NAO机器人而言，其运动是以各个部分的关节的舵机控制能相对转动两部分的相对角度实现的。因此Kinect传感器并不能直接控制NAO机器人或者生成能控制NAO机器人的控制指令。

本发明采用如下的方案，实现将Kinect传感器所采集的数据转换为能控制NAO机器人的指令。

如图9所示，Kinect传感器的坐标系与常规数学坐标系稍有不同，为左手坐标系。

由此可知，要使用向量，首先就要将Kinect传感器的坐标系映射到数学坐标系(右手坐标系)上，由向量的可平移性质及方向性，可以推导出Kinect传感器坐标系中任意两个不重合的坐标点A(x₁,y₁,z₁)，B(x₂,y₂,z₂)经过变换，可转化到数学坐标系中，对其组成的向量可以认为是从坐标轴零点引出，转化公式如下：

根据上述性质，可以将人体关节角度计算简化为对空间向量夹角的计算。

由于所选用机器人的关节处舵机存在诸多限制，对于大臂保持静止，小臂与大臂垂直的旋转动作，需要借助于肩膀上的舵机进行联合调节。这就要求不能简单的只计算两空间向量的夹角。

为此提出了一种渐进算法，即求空间平面xOz与肩膀、肘关节、手所组成平面的夹角，并以其夹角完成对肩膀舵机的调速工作。

如图10所示是实际人体左臂动作的计算过程，对人体动作照片处理，经过变换后转化为普通坐标系中的向量。

如图11所示，对于肘关节角度的计算，可以直接使用空间向量和的夹角得出，计算过程如下：

对于大臂的上下摆动角度，可以将向量投影到xOz平面上，并求其与y坐标轴的夹角得出，计算过程及公式类似于肘关节角度的计算过程。

对于协助小臂转动的肩膀舵机的角度计算，为了求取空间平面夹角，需要首先求取两平面的法向量，再根据法向量计算出两平面夹角，如图11所示。计算过程如下：

上述式子的含义是：式一、式二分别计算出向量和向量分别对应肘关节指向肩膀和肘关节指向手腕的两条向量；式三通过叉乘计算出肩膀、肘、手所构成空间平面的法向量式四代表空间平面xOz的法向量；式五求取法向量与法向量的夹角，从而完成对协助小臂转动的肩膀舵机的角度计算。

按照这样的算法，即可以将Kinect传感器采集到的图像数据，转换为控制舵机的角度数据，然后以每一帧的方式控制NAO机器人动作。

在采用Kinect传感器时，基于动作采集的NAO机器人的控制方法包括：

采集红外图像；

根据红外图像获取人体骨骼的向量数据；

根据人体骨骼的向量数据获取人体骨骼的角度数据；

根据人体骨骼的角度数据获得NAO机器人的舵机转动角度数据。

更具体而言，该方法包括：

采集红外图像；

每过60ms截取一帧红外图像；

根据所截取红外图像获取人体骨骼的向量数据；

根据获得人体骨骼的向量数据获取人体骨骼的角度数据；

将人体骨骼的角度数据经过LabVIEW程序转化为NAO机器人的舵机转动角度数据。

采用舵机转动的角度数据控制NAO机器人的舵机。

作为具体实施的方式，可以采用Aldebaran公司的NAO机器人和Microsoft公司生产的Kinect传感器，设计基于Kinect传感器的NAO机器人动作控制模块。

将Kinect传感器通过USB接口连接到PC,NAO机器人通过WiFi或网线方式与PC建立网络连接。编写的基于LabVIEW开发工具包Kinesthesia Toolkit for Microsoft Kinect的动作控制模块程序以每60ms一次的转换频率将Kinect捕获的骨骼数据转换成舵机转动角度数据，并将角度数据储存为一个关键帧，通过NAO SDK for NI LabVIEW向NAO机器人发送关键帧的数据报文，NAO机器人自身的基于Linux的NAOqi操作系统解读报文的关键帧信息并调用NAOqiAPI setangel函数，这样就是实现了通过调用API的方式控制NAO机器人相应舵机转动角度的目的，也就可以实现NAO机器人与人体的动作同步。

该方案具有以下技术特点：

1.采用了Kinect来对NAO机器人进行控制，Kinect作为控制信息采集的源端，NAO作为控制信息的终端。

2.采用NAO机器人通过WiFi或网线方式与PC建立网络连接方式，Kinect通过USB与PC建立连接方式。

3.采用LabVIEW写成动作控制模块程序，LabVIEW程序起到了将Kinect与NAO机器人接口搭建的作用，本申请设计labVIEW程序分为三个板块，分别是将空间位置数据转换成角度数据的板块、NAO机器人动作的初始化板块与接受角度数据建立新动作的板块。

4.采用60ms一次的转换频率将Kinect捕获的骨骼数据转换成舵机转动角度数据，并将角度数据储存为一个关键帧，并向NAO机器人发送关键帧的数据报文。

5.采用NAO机器人自身的基于Linux的NAOqi操作系统解读报文的关键帧信息并调用NAOqiAPI setangel函数，这样就是实现了通过调用API的方式控制NAO机器人相应舵机转动角度的目的，也就可以实现动作控制的效果。

当然，也可以采用一般采集图像的摄像机作为采集器，采用视觉识别技术采集人体的动作然后采用类似的原理来控制NAO机器人的动作。

另外，可以采用非视觉的方式采集的人体的动作，比如采用无线行为识别技术(wireless-based activity recognition)以及用于识别手势的WiSee。

无线行为识别技术依托信号处理技术的进步,使用泛在的窄带无线信号完成行为识别。信号发射机产生的无线信号在空间传播的过程中，遇到障碍物会被阻挡，发生反射、散射或者衍射。因此在接收端接收到的信号，是经由直射、反射、散射、衍射等多条路径传播，形成的多径叠加信号。当环境中的障碍物移动，会对信号传输路径产生影响。

也就是说，多径叠加信号受其传播物理空间的影响,携带反映环境特征的信息；提取环境中特定行为产生的叠加无线信号的特征模式；通过识别和解释这些模式，就能够实现行为识别。

以上所进行算法或运行的程序可由转换器执行，作为一种具体方案，转化器可以是PC，即个人计算机。当然，转换器也可以是其他具有计算和数据处理功能的数据处理装置，比如智能手机或平板电脑。

如图2所示，可以将动作采集器和转换器集成至NAO机器人，使采集器和转换器作为NAO机器人的一部分。这样一来，用户不需购买或配置额外设备即可以实现以上的功能。采集器可以设置在NAO机器人的头部，转换器设置在NAO机器人的躯干，它们之间构成电性连接并构成数据传输。这样用户可以面向NAO机器人做出一套动作然后NAO机器人可以重复用户的动作。

需要说明的是，采集器动态地向转换器传输数据，转换器动态地向NAO机器人传输指令。这样NAO机器人几乎可以同步用户的动作。另外，用户也可以通过语音接口主动调用已经存储好的指令，从而使NAO机器人执行动作。

如图3所示，可以将动作采集器与NAO机器人进行集成，而单独设置转换器为单独装置。比如将动作采集器设置在NAO机器人的头部或者躯干中，而使具有无线通讯功能的数据处理装置作为转换器，比如采用能接入无线网络的PC、智能手机或平板电脑。这样方案能够降低NAO机器人的成本，而是用户使用自有的PC、智能手机或平板电脑来实现转换器的功能。

如图4所示，可以将动作采集器与转换器集成为一个整体装置，使NAO机器人与这个整体装置构成无线通讯。可以使用动作采集器作为一个额外的附件，该附件可以可拆卸地连接至诸如PC、智能手机或平板电脑等智能终端，从而构成可以实现动作采集器和转换器功能的整体。

这样NAO机器人与单独整体装置分开售卖，同时NAO机器人和动作采集器、转换器构成的整体可以分置在不同的地方使用户可以远程控制NAO机器人，如果采用实时地传输控制指令，那么用户可以远程地使NAO机器人重复用户的动作从而使NAO机器人可以代替用户去执行一些任务，比如执行一些家庭看护和家务等。比如用户可以在公司控制家中的NAO机器人去执行一些简单任务。

如图5所示，可以使动作采集器与NAO机器人构成可插拔的连接，然后使动作采集器与额外的转换器构成无线通讯连接。如图4和图5所示的方案可知，动作采集器的具体形式比如红外摄像头插件，既可以连接到NAO机器人又可以连接到作为转换器的PC、智能手机或平板电脑。

如图6所示，NAO机器人、动作采集器和转换器可以分别设置为单独的个体，它们之间构成无线通讯连接。这样好处在于不同的NAO机器人用户可以共用动作采集器和转换器。

如图7所示，作为进一步地扩展方案，基于动作采集的NAO机器人系统还包括监视器，监视器用于监视NAO机器人的动作，比如采用集成在NAO机器人头部的摄像头去监控NAO机器人手臂及手部的动作，或者采用额外的摄像头去监控NAO机器人的整体动作，监视器用于向用户反馈NAO机器人的动作，在用户与NAO机器人分处两地时，可以通过监视器获得NAO机器人的动作状态。

作为扩方案，基于动作采集的NAO机器人系统还包括显示器，显示器能向用户显示NAO机器人的动作情况。

监视器监视NAO机器人的动作，通过显示器向用户构成反馈，用户在远离NAO机器人的另一地点，可以通过动作采集器和转换器向NAO机器人传送进一步的指令，从而实现基于NAO机器人已经做出的动作构成闭环控制，从而实现实时控制而根据实际情况修正NAO机器人的动作。从而使本发明的NAO机器人系统可以实现近乎实时控制的功能。

需要说明的是，基于动作采集的NAO机器人系统中的各个组成部分即可以采用有线的数据交互，也可以采用无线的数据交换，数据交互即可以是基于局域网的也可以是基于互联网的。采用无线通讯的方式，可以是WiFi，蓝牙，Zigbee，NFC以及其他常见的无线通讯协议。

另外，作为扩展方案，基于动作采集的NAO机器人系统还包括：云端服务器，该云端服务器用于存储采集器的数据或转换器所生成的数据。用户可以将控制NAO机器人的控制数据以及一些其他与系统相关的数据。这样一来，单个用户的控制数据可以共享给其他用户，这样一个用户的数据就可以大批量复制给不同的用户，不同的用户之间也可以构成数据的交流。如前所介绍，动作指令文件既可以存储在云端服务器，也可存储在本地，便于使用者通过常规的语音接口来反复调用。使用者亦可通过通过语音接口提供的语音识别功能调用云端服务器所存储的动作指令文件。

以上的方案并不仅限于NAO机器人，也适于其他人形或其他拟人形的机器人系统，本发明的技术实质可以广泛地应用于家用和工业机器人。

作为进一步地，本发明的技术方案中，采集的对象可以不仅仅是人，也可以是其他可以被采集的相类似的对象，比如一个机器人可以直接采集同一类型机器热的动作，即直接录制另一个机器人的动作然后进行动作的重复。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于动作采集的NAO机器人系统，包括：NAO机器人和动作采集器，其特征在于：

所述基于动作采集的NAO机器人系统还包括：转换器；

其中，所述NAO机器人用于模拟人体的动作；所述动作采集器用于采集与人体动作相关的图像；所述转换器能将所述动作采集器所采集的图像数据转换为控制所述NAO机器人舵机角度的控制指令；所述NAO机器人根据所述转换器的控制指令模拟所述采集器所采集图像中的人体动作。

2.根据权利要求1所述的基于动作采集的NAO机器人系统，其特征在于：

所述动作采集器和所述转换器集成至所述NAO机器人。

3.根据权利要求1所述的基于动作采集的NAO机器人系统，其特征在于：

所述动作采集器与所述转换器构成一个整体，并与所述NAO机器人构成无线通讯连接。

4.根据权利要求1所述的基于动作采集的NAO机器人系统，其特征在于：

所述动作采集器与所述NAO机器人构成一个整体，并与转换器构成无线通讯连接。

5.根据权利要求1所述的基于动作采集的NAO机器人系统，其特征在于：

所述转换器与所述NAO机器人构成一个整体，并与所述采集器构成无线通讯连接。

6.根据权利要求1所述的基于动作采集的NAO机器人系统，其特征在于：

所述采集器为移动通讯终端。

7.根据权利要求1所述的基于动作采集的NAO机器人系统，其特征在于：

所述基于动作采集的NAO机器人系统还包括：监视器；所述监视器用于监视所述NAO机器人的动作。

8.根据权利要求7所述的基于动作采集的NAO机器人系统，其特征在于：

所述基于动作采集的NAO机器人系统还包括：显示器；所述显示器用于显示所述NAO机器人的动作。

9.根据权利要求8所述的基于动作采集的NAO机器人系统，其特征在于：

所述基于动作采集的NAO机器人系统还包括：云端服务器；所述云端服务器用于存储所述采集器所采集的数据或所述转换器所生成的数据；所述云端服务器与所述采集器和所述转换器构成无线数据连接。

10.根据权利要求1所述的基于动作采集的NAO机器人系统，其特征在于：

所述采集器动态地向所述转换器传输数据，所述转换器动态地向所述NAO机器人传输指令。