CN107053214B - 一种基于体感控制的机器人对战装置及控制方法 - Google Patents

Abstract

本发明公开了一种基于体感控制的机器人对战装置及控制方法，装置包括战车机器人、用于识别玩家动作并采集动作信息的Kinect装置以及接收Kinect装置采集的动作信息并依据该动作信息对战车机器人进行控制的控制装置；所述Kinect装置包括Kinect感应器、用于动作识别的摄像头、深度传感器以及PC端，所述Kinect感应器、摄像头以及深度传感器均与PC端连接，所述控制装置包括WIFI模块，所述Kinect装置通过WIFI模块与控制装置通信；所述控制装置设置在战车机器人内。本发明的装置，使用电脑‑人机交互模块获取玩家动作信号，对原始玩家动作进行采集和提取，从而实现对战车机器人的控制。

Description

一种基于体感控制的机器人对战装置及控制方法

技术领域

本发明涉及人机交互自动控制的研究领域，特别涉及一种基于体感控制的机器人对战装置及控制方法。

背景技术

目前市场上大部分的对战游戏主要软件游戏，或者是手柄遥控的对战游戏。软件游戏的操作方式主要是通过键盘和鼠标等外设进行操作；而手柄遥控则是通过遥控器。这些种类的对战游戏，玩家只是通过敲击按键进行击打，没有真实的战斗体验，且长时间游戏容易劳累身体，产生厌倦感。

Kinec t是一种3D体感摄影机，同时具有即使动态捕捉、影像识别、麦克风输入、语音识变等功能。微软公司推出的Kinect装置在人体跟踪以及姿态评估方面有着出色的表现，同时微软公司还推出了Kinect for Windows SDK开发工具包，配合此工具包可以利用Kinect的体感技术，获取人体深度信息，通过识别人体动作和手势，来理解操作者的意图，从而利用计算机对机器人进行有效的操作。

使用Kinect设备的体感控制系统来操控机器人对战，增加了游戏操作的多样性和游戏的娱乐性，同时这种操作方式更符合未来机器人发展的趋势之一。其体现了人机交互的理念，使玩家真正体验到“战斗”的快感。该体感控制的战车机器人对战装置，允许两个玩家可以分别选择控制机器人部分、或者控制车子部分，双人配合进行对战游戏。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于体感控制的机器人对战装置及控制方法，通过Kinect装置可以实现对战车机器人的控制。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种基于体感控制的机器人对战装置及控制方法，包括战车机器人，还包括用于识别玩家动作并采集动作信息的Kinect装置以及接收Kinect装置采集的动作信息并依据该动作信息对战车机器人进行控制的控制装置；所述Kinect装置包括Kinect感应器、用于动作识别的Kinect体感摄像头、深度传感器以及PC端，所述Kinect感应器、Kinect体感摄像头以及深度传感器均与PC端连接，所述控制装置包括WIFI模块，所述Kinect装置通过WIFI模块与控制装置通信；所述控制装置设置在战车机器人内。

作为优选的技术方案，所述控制装置包括单片机、电源模块、通讯模块、电机驱动模块以及功能按键模块，所述电源模块、通讯模块、电机驱动模块以及功能按键模块均与单片机连接。

作为优选的技术方案，所述战车机械人包括电机和舵机，所述单片机设定两个用于控制电机的I/O口，通过改变两个I/O口的高低电平以及方波占空比来控制一个电机的正转、反转以及转速；所述单片机上还设有一个用于控制舵机的I/O口，在舵机的工作周期内，通过改变该I/O口高低电平占空比来控制舵机从0°～180°的转动。

作为优选的技术方案，所述电源模块采用7.4V充电电池及稳压芯片对控制装置进行供电。

作为优选的技术方案，所述战车机器人上设有多个微动开关和多颗LED灯，所述多个微动开关和多颗LED灯均与控制装置连接，当微动开关被击打一次时，LED灯熄灭一颗，当LED灯全部熄灭时，则WIFI模块断开Kinect装置与控制装置的连接。

本发明还提供了一种基于体感控制的机器人对战装置的控制方法，包括下述步骤：

1)将Kinect装置与主机服务器计算机相连，使之能采集到Kinect体感前的玩家身体动作，并用Kinect装置实时采集玩家的动作信息；

2)开启战车机器人的电源，使战车机器人身上的客户端单片机与主机服务器计算机PC机建立起连接；

3)PC机则通过Kinect体感摄像头读取到的玩家各关节的位置信息进行分析处理，获得有效的关节角度或者姿势意图，解析动作信息，读取控制战车机器人所需的控制信息；

4)PC机通过无线WIFI模块与客户端单片机建立的连接，发送控制信息给单片机；

5)单片机接收PC机实时采集到控制信息，通过特定的算法对控制信息进行解析，之后单片机根据得到的信息驱动电机驱动电路以及舵机驱动电路，通过改变电机驱动输入的PWM波占空比改变电机的转速，通过改变舵机输入的PWM波占空比改变舵机的转动角度，实现对战车机器人的操控。

作为优选的技术方案，步骤3)具体为：

Kinect装置开始识别并捕捉Kinect体感摄像头前方1～3米范围内的玩家骨骼，并采集玩家身体动作，Kinect装置可以映射出Kinect体感摄像头范围内的3D情景图，并给出三维空间坐标；Kinect装置通过空间定位获得玩家有效的关节角度或者识别姿势意图，解析动作信息，读取控制战车机器人所需的控制信息；其中读取的信息包括：控制机器人的玩家的双手共六个关节的角度、腰部转动方向以及上半身倾斜角度；控制小车的玩家的双手的相对位置，具体为双手手掌之间的连线与水平线之间的角度；前者采集到的信息控制机器人的动作，后者采集到的信息则控制小车的前进、后退、转弯以及车速。

作为优选的技术方案，步骤4)具体为：

当单片机在完成初始化并通过WIFI模块建立单片机与PC机的连接后，此时单片机则处于等待接收PC机的控制数据的状态；

当数据通过WIFI模块发送给单片机，单片机将接收到的信息进行解析，提取出所需要的舵机与电机的控制信息，具体包括9个舵机的角度控制信息和2个电机的控制信息；单片机通过改变输出口的PWM占空比，来改变每个舵机转动的角度，通过舵机不同角度的不同组合，呈现出战车机器人不同的动作，所以只要给每个舵机输入特定的角度，就能让机器人做出预期动作；单片机不停更新Kinect装置所采集到的玩家动作信息，在更新延迟不大的情况下，就能达到战车机器人动作和玩家同步的效果；同时通过电机驱动模块，控制改变电机的转速以及转向，当两个驱动轮的转速存在转速差时，就能使小车实现转弯功能，转速差越大，转弯幅度越大，改变电机转向，就能实现前进后退功能。

9、根据权利要求6所述基于体感控制的机器人对战装置的控制方法，其特征在于，在战车机器人上安装了5盏LED灯作为战车机器人的生命条，当装置进入正常工作状态时，微动开关处于可感应状态，同时5颗LED灯全亮，当其中任一个微动开关感应到触碰时，就会熄灭一颗LED灯，当5颗led灯全灭时，客户端单片机就会断开与服务器计算机的连接，数据无法传输，玩家也就无法操作战车机器人。

10、根据权利要求6所述基于体感控制的机器人对战装置的控制方法，其特征在于，所述战车机器人装置是采用7.4V充电电池及稳压芯片对各模块及元器件进行供电。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明Kinect装置通过WIFI模块实现与控制装置的连接，当Kinect装置将采集到玩家的动作进行解析，得到所需的动作关节信息后，再通过无线通讯模块将信号发至控制装置中的单片机；单片机根据接收自通讯模块的信号，并进行数据处理后，控制舵机和电机的转动以控制战车机器人的动作。

2、本发明使用电脑-人机交互模块获取玩家动作信号，对原始玩家动作进行采集和信息提取后，从而实现对战车机器人的控制。

3、本发明Kinect的体感控制改变乐以往游戏的单一操作，使人机交互的理念更加彻底地展现出来，使玩家真正投入到“战斗”之中。两个玩家可以分别选择控制机器人部分、或者控制车子部分，双人配合进行对战游戏。控制机器人的玩家可以做出上半身动作，使机器人模仿；控制车子部分的玩家可以通过模拟开车姿势来控制车的前进、后退以及转弯等，实现机器人的移动功能。两个玩家之间相互配合，一起战斗。

附图说明

图1是本发明基于体感控制的机器人对战装置的电路结构框图；

图2(a)是本发明Arduino mega 2560最小系统电路原理图；

图2(b)是本发明电机驱动模块电路原理图；

图2(c)是本发明5V、3V稳压模块电路原理图；

图2(d)是本发明WIFI模块以及各电路接口所对应的芯片引脚的电路原理图；

图3是本发明基于体感控制的机器人对战装置单片机的工作流程图；

图4是本发明机器人对战装置控制方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1、图2(a)-图2(d)所示，本实施例一种基于体感控制的机器人对战装置，包括战车机器人、用于识别玩家动作并采集动作信息的Kinect装置以及接收Kinect装置采集的动作信息并依据该动作信息对战车机器人进行控制的控制装置；所述Kinect装置包括Kinect感应器、用于动作识别的摄像头、深度传感器以及PC端，所述Kinect感应器、摄像头以及深度传感器均与PC端连接，所述控制装置包括WIFI模块，所述Kinect装置通过WIFI模块与控制装置通信；所述控制装置设置在战车机器人内。

所述Kinect感应器采用Kinect Xbox one，所述深度传感器嵌入在Kinect感应器内部。

所述WIFI模块采用ESP8266WIFI模块，实现上位机(电脑、PC机)与下位机(单片机)之间数据的无线传输。

所述控制装置包括单片机、电源模块、通讯模块、电机驱动模块以及功能按键模块，所述电源模块、通讯模块、电机驱动模块以及功能按键模块均与单片机连接。

所述战车机械人包括电机和舵机，所述单片机设定两个用于控制电机的I/O口，通过改变两个I/O口的高低电平以及方波占空比来控制一个电机的正转、反转以及转速；所述单片机上还设有一个用于控制舵机的I/O口，在舵机的工作周期内，通过改变该I/O口高低电平占空比来控制舵机从0°～180°的转动。

所述单片机采用Arduino mega 2560单片机，以Arduino mega 2560单片机作为主控芯片实现对电脑实时采集到并传来的动作数据进行解析。

所述电机驱动模块采用L298P，通过L298P驱动电机进相应的动作。

所述电源模块采用7.4V充电电池及稳压芯片对控制装置进行供电，可以给控制装置提供稳定的电压，保证机器人对战装置可以持续工作。

所述战车机器人上设有多个微动开关和多颗LED灯，所述多个微动开关和多颗LED灯均与控制装置连接，当微动开关被击打一次时，LED灯熄灭一颗，当LED灯全部熄灭时，则WIFI模块断开Kinect装置与控制装置的连接。

所述的对战机器人的工作电压在7.4VDC～8.6VDC；Kinect装置的工作电压为220V。

所述的AT系列单片机控制单元由ATMEL公司产生的MEGA2560单片机及其外围电路构成。

本实施例的机器人对战装置的工作过程如下：

参见图3并结合图2，当ATmega2560单片机在完成初始化后，单片机上的ESP8255WIFI模块通过初始化设置将会建立单片机与Kinect装置连接的PC机的联系，此时WIFI模块作为客户端，PC机作为服务器；无线通讯建立完成后，Kinect装置将开始识别玩家的动作，并采集有效信息，通过一定处理后，将数据通过WIFI模块发送给单片机。单片机将接收到的信息进行解析，提取出所需要的舵机与电机的控制信息，解析以及信息提取的过程采用常规的手段。同时，设定两个输出I/O口，通过改变两个I/O口的高低电平以及方波占空比来控制一个电机的正转、反转以及转速。设定一个输出I/O口，在舵机的工作周期内，改变高低电平占空比来控制舵机从0°～180°的转动。Kinect装置采集的电机信息可包含正反转与转速；采集的舵机信息可包含机器人每个关机的舵机角度。单片机将处理后的信息输出在驱动电路后，即可控制战车的移动和机器人的动作。此外，在机器人身体部位安装了若干个微动开关，当微动开关被击打到时，战车上的5颗LED灯则会灭掉一颗。当灯全部熄灭时，则WIFI模块将会断开与PC机的联系，机器人将无法接收到信息，而玩家也无法通过Kinect装置控制战车机器人。

如图4所示，本实施例基于体感控制的机器人对战装置的控制方法，包括下述步骤：

接通Kinect装置电源，将Kinect装置与主机服务器计算机相连，完成Kinect装置的初始化，同时打开战车机器人的电源开关，初始化单片机，使客户端单片机与PC机建立连接。

完成连接之后，Kinect装置就开始识别并捕捉体感摄像头前方大约1～3米范围内的玩家骨骼，并采集玩家身体动作。PC机则通过Kinect体感摄像头读取到的玩家各个骨骼关节的位置信息进行分析处理。Kinect装置可以映射出摄像头范围内的3D情景图，并给出三维空间坐标。Kinect装置通过空间定位就可以获得玩家有效的关节角度或者识别姿势意图，解析动作信息，读取控制战车机器人所需的控制信息。其中读取的信息包括：控制机器人的玩家的双手共六个关节的角度、腰部转动方向以及上半身倾斜角度；控制小车的玩家的双手的相对位置，具体为双手手掌之间的连线与水平线之间的角度。前者采集到的信息控制机器人的动作，后者采集到的信息则控制小车的前进、后退、转弯以及车速。

解析动作信息解析动作是将获取的位置信息，通过下述的方法，比如相对位置的比较、角度的测量比较、时间参量的设定等，来判断玩家的动作意图。

根据自己所需要采集的动作特点来设定特定的动作模型，若检测到的动作特点符合设定的动作模型，则触发相应的执行程序。如：

1.检测手举起：取肩部到头部的高度作为一个单位，若手掌位置高于头部一个或以上的单位，则视为玩家双手举起。

2.检测手臂平举：取身体平面作为一个坐标参考系，若手臂骨骼与竖直轴所成的角度为90°±10°时，则视为玩家手臂平举。

3.检测出拳动作：设定一个时间参量。取肩部长度作为一个长度单位，若在此时间内，手掌与肩部的距离从一个单位增加到大于或等于两个长度单位，则视为玩家有出拳动作。

本实施例总，其他动作也按照动作特点建立动作模型。

采集到所需要的控制信息后，PC机通过WIFI模块与客户端单片机建立起的连接发送已打包封装好的控制信息给单片机。

当单片机在完成初始化并通过WIFI模块建立单片机与服务器计算机的连接后，此时单片机则处于等待接收服务器计算机的控制数据的状态。当数据通过WIFI模块发送给单片机。单片机将接收到的信息进行解析，提取出所需要的舵机与电机的控制信息。具体包括9个舵机的角度控制信息和2个电机的控制信息。单片机通过改变输出口的PWM占空比，来改变每个舵机转动的角度。每个舵机不同角度的不同组合，就可以呈现出机器人不同的动作。所以只要给每个舵机输入特定的角度，就能让机器人做出预期动作。单片机不停更新Kinect装置所采集到的玩家动作信息，在更新延迟不大的情况下，就能达到机器人动作和玩家同步的效果。另外，通过电机驱动模块，可以改变电机的转速以及转向。当两个驱动轮的转速存在转速差时，就能使小车实现转弯功能。转速差越大，转弯幅度越大，改变电机转向，就能实现前进后退功能。

上述单片机将接收到的信息进行解析，提取出所需要的舵机与电机的控制信息具体为：

(1)PC端将数据打包，发送给单片机，具体的打包方式为：数据判别符+技能判定数据+舵机和电机控制信息+校检位。

(2)数据判别符作为数据组包头，提醒单片机接收信息；技能判定数据也为两位的16进制的数据，包含不能的技能种类，若技能被触发，则跳过剩下的数据而直接执行技能程序；若为非技能指令，则解析舵机和电机控制信息，将所需要的9个舵机角度和2个电机的控制信息分别转化为两位的16进制，并按一定的顺序排列；校检位则是将除数据判别符外的16进制数据累加求和后取256的余数，将余数作为校检位。

(3)单片机接收到一段有效信息后，将除校检位的数据累加求和后取256的余数，与数据中的校检位比较，若校检位不正确，则不解析此信息，接收下一条信息；若校检位正确，则提取技能数据或者舵机与电机的控制数据，进行逆向解码后化为10进制的控制信息，进而控制电路。

此外，在机器人的身体部位安装了若干微动开关，此微动开关作为机器人被击打时的触碰点。小车后部有5颗LED灯，作为机器人的生命值。当装置进入正常工作状态时，微动开关处于可感应状态，同时5颗LED灯全亮。当其中任一个微动开关感应到触碰时，就会熄灭一颗led灯。当5颗LED灯全灭时，客户端单片机就会断开与PC机的连接，数据无法传输，玩家也就无法通过Kinect体感控制战车机器人了。

触发动作指令时，玩家只需要做出相应技能的设定动作。当计算机成功识别出此动作位技能动作时，就会发送特定的技能指令给单片机，单片机就会执行相应的程序命令，使机器人做出事先设定的技能动作。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于体感控制的机器人对战装置，包括战车机器人，战车机器人包括机器人部分和小车部分，其特征在于，还包括用于识别玩家动作并采集动作信息的Kinect装置以及接收Kinect装置采集的动作信息并依据该动作信息对战车机器人进行控制的控制装置；所述Kinect装置包括Kinect感应器、用于动作识别的Kinect体感摄像头、深度传感器以及PC端，所述Kinect感应器、Kinect体感摄像头以及深度传感器均与PC端连接，所述控制装置包括WIFI模块，所述Kinect装置通过WIFI模块与控制装置通信；所述控制装置设置在战车机器人内；

所述控制装置包括单片机、电源模块、通讯模块、电机驱动模块以及功能按键模块，所述电源模块、通讯模块、电机驱动模块以及功能按键模块均与单片机连接；

所述战车机器人包括电机和舵机，所述单片机设定两个用于控制电机的I/O口，通过改变两个I/O口的高低电平以及方波占空比来控制一个电机的正转、反转以及转速；所述单片机上还设有一个用于控制舵机的I/O口，在舵机的工作周期内，通过改变该I/O口高低电平占空比来控制舵机从0°~180°的转动；

Kinect装置识别并捕捉体感摄像头前方1~3米范围内的玩家骨骼，并采集玩家身体动作，PC机则通过Kinect体感摄像头对读取到的玩家各个骨骼关节的位置信息进行分析处理，Kinect装置映射出摄像头范围内的3D情景图，并给出三维空间坐标，Kinect装置通过空间定位获得玩家有效的关节角度或者识别姿势意图，解析动作信息，读取控制战车机器人所需的控制信息；其中读取的信息包括：控制机器人的玩家的双手共六个关节的角度、腰部转动方向以及上半身倾斜角度；控制小车的玩家的双手的相对位置，具体为双手手掌之间的连线与水平线之间的角度；前者采集到的信息用于控制机器人的动作，后者采集到的信息则用于控制小车的前进、后退、转弯以及车速。

2.根据权利要求1所述基于体感控制的机器人对战装置，其特征在于，所述电源模块采用7.4V充电电池及稳压芯片对控制装置进行供电。

3.根据权利要求1所述基于体感控制的机器人对战装置，其特征在于，所述战车机器人上设有多个微动开关和多颗LED灯，所述多个微动开关和多颗LED灯均与控制装置连接，当微动开关被击打一次时，LED灯熄灭一颗，当LED灯全部熄灭时，则WIFI模块断开Kinect装置与控制装置的连接。

4.根据权利要求1-3中任一项基于体感控制的机器人对战装置的控制方法，其特征在于，包括下述步骤：

1)将Kinect装置与主机服务器计算机相连，使之能采集到Kinect体感前的玩家身体动作，并用Kinect装置实时采集玩家的动作信息；

2)开启战车机器人的电源，使战车机器人身上的客户端单片机与主机服务器计算机PC机建立起连接；

3)PC机则通过Kinect体感摄像头读取到的玩家各关节的位置信息进行分析处理，获得有效的关节角度或者姿势意图，解析动作信息，读取控制战车机器人所需的控制信息；

4)PC机通过无线WIFI模块与客户端单片机建立连接，发送控制信息给单片机；具体为：

当单片机在完成初始化并通过WIFI模块建立单片机与PC机的连接后，此时单片机则处于等待接收PC机的控制数据的状态；

当数据通过WIFI模块发送给单片机，单片机将接收到的信息进行解析，提取出所需要的舵机与电机的控制信息，具体包括9个舵机的角度控制信息和2个电机的控制信息；单片机通过改变输出口的PWM占空比，来改变每个舵机转动的角度，通过舵机不同角度的不同组合，呈现出战车机器人不同的动作，所以只要给每个舵机输入特定的角度，就能让机器人做出预期动作；单片机不停更新Kinect装置所采集到的玩家动作信息，在更新延迟不大的情况下，就能达到战车机器人动作和玩家同步的效果；同时通过电机驱动模块，控制改变电机的转速以及转向，当两个驱动轮的转速存在转速差时，就能使小车实现转弯功能，转速差越大，转弯幅度越大，改变电机转向，就能实现前进后退功能；

5)单片机接收PC机实时采集到控制信息，通过特定的算法对控制信息进行解析，之后单片机根据得到的信息驱动电机驱动电路以及舵机驱动电路，通过改变电机驱动输入的PWM波占空比改变电机的转速，通过改变舵机输入的PWM波占空比改变舵机的转动角度，实现对战车机器人的操控。

5.根据权利要求4所述基于体感控制的机器人对战装置的控制方法，其特征在于，步骤3）具体为：

Kinect装置识别并捕捉体感摄像头前方1~3米范围内的玩家骨骼，并采集玩家身体动作，PC机则通过Kinect体感摄像头对读取到的玩家各个骨骼关节的位置信息进行分析处理，Kinect装置映射出摄像头范围内的3D情景图，并给出三维空间坐标，Kinect装置通过空间定位获得玩家有效的关节角度或者识别姿势意图，解析动作信息，读取控制战车机器人所需的控制信息；其中读取的信息包括：控制机器人的玩家的双手共六个关节的角度、腰部转动方向以及上半身倾斜角度；控制小车的玩家的双手的相对位置，具体为双手手掌之间的连线与水平线之间的角度；前者采集到的信息用于控制机器人的动作，后者采集到的信息则用于控制小车的前进、后退、转弯以及车速。

6.根据权利要求4所述基于体感控制的机器人对战装置的控制方法，其特征在于，在战车机器人上安装了5盏LED灯作为战车机器人的生命条，当装置进入正常工作状态时，微动开关处于可感应状态，同时5颗LED灯全亮，当其中任一个微动开关感应到触碰时，就会熄灭一颗LED灯，当5颗led灯全灭时，客户端单片机就会断开与服务器计算机的连接，数据无法传输，玩家也就无法操作战车机器人。

7.根据权利要求4所述基于体感控制的机器人对战装置的控制方法，其特征在于，所述战车机器人对战装置是采用7.4V充电电池及稳压芯片对各模块及元器件进行供电。