CN107214679A - 基于体感传感器的机械臂人机交互系统 - Google Patents

Abstract

本发明涉及一种基于体感传感器的机械臂人机交互系统，首先利用kinect传感器获取图像景深数据，通过骨骼追踪技术处理景深数据以匹配人体的各个部分进而建立人体手臂关节的3D坐标。再由上位机软件将处理好的结果转换成控制指令通过无线通讯发送给机械臂的控制器，完成体感交互。本系统通过将手势识别与机械臂控制系统进行集成，实现了机械臂与人体手势手臂的互动，具有良好的应用价值。

Description

基于体感传感器的机械臂人机交互系统

技术领域

本发明属于智能机械臂技术领域，具体涉及一种基于体感控制的机械臂人机交互系统。

背景技术

机械臂是工业自动化领域中一种高效可靠的自动化装置，也是是人体工程学和机器人领域的热点研究方向之一，这些年来伴随着工业自动化领域的技术革新，机械臂逐渐发展起来，并得到了较快的发展。机械臂广泛地应用在锻压、冲压、锻造、焊接、装配、机加、喷漆、热处理等各种不适宜人介入的工序。尤其是在笨重、高温、有毒、危险、放射性、多粉尘等恶劣的劳动环境中，机械臂以其显著的优势而受到广泛的应用。而且高性能的仿真机械臂在医疗、救援、工业和教学等方面起着无可替代的作用。

机械臂首先是从美国开始研制的，美国于1947年开发了遥控机械臂，1948年又开发了机械式的主从机械臂。目前，机械臂大部分还属于第一代，主要依靠人工进行控制；改进的方向主要是降低成本和提高精度。第二代机械臂正在加紧研制。它设有微型电子计算控制系统，具有视觉、触觉能力，甚至听、想的能力。研究安装各种传感器，把感觉到的信息反馈，使机械手具有感觉机能第三代机械臂则能独立完成工作中过程中的任务。它与电子计算机和电视设备保持联系，并逐步发展成为柔性制造系统FMS和柔性制造单元FMC中的重要一环节。从三代机械臂的发展过程来看，机械臂越来越高精度，多功能，且向着集成化，系统化，智能化的方向发展。

总之，机械臂在提高劳动生产率，改善劳动条件，减轻工人劳动强度和实现工业生产自动化中占据了重要的位置。无论是在国内还是国外，都十分重视它的应用与发展。然而目前的大型仿真机械臂使用的传感器结构复杂造价昂贵，而民用的机械臂又大多通过设定的指令或者操纵杆或者摄像头进行控制，精度低切灵活性差。

发明内容

针对现有机械臂控制方式的不足，本发明要解决的技术问题是，提出一个全新的体感控制系统，能够基于无线通信技术，通过数据采集器，无线传输模块以及各种传感器等实时的操纵机械臂，完成体感控制，实现机械臂与人体手势手臂的互动，提高机械臂的控制精度和灵活性。

为解决上述技术问题，本发明采用如下技术方案：

一种基于体感传感器的机械臂人机交互系统，其特征在于：主要由主机和从机两部分组成；主机进行人体动作信息采集，然后进行图像处理，识别出人体动作，并负责把人体动作信息数据通过串口传送给从机；从机为一个机械手臂，至少包括控制系统和机械结构两个主要部分，机械结构部分由多自由度的手臂和手臂根部能够全方位旋转的底盘构成，手臂不同自由度关节对应不同电机；从机对人体动作信息进行实时处理，控制机械臂根据人体动作完成相应的动作。

进一步的，所述主机至少由PC机、体感传感器、串口传输模块连接组成，所述体感传感器配备有RGB图像传感器和COMS红外传感器，用于获取三维深度数据。

进一步的，所述体感传感器为kinect体感传感器，主机的PC机通过Kinect传感器的API接口获取到Kinect收集到的数据流信息。

进一步的，控制系统主要包括ARM微处理器，串口传输模块，电机驱动模块，ARM微处理器通过电机驱动模块驱动机械手臂各电机；

进一步的，ARM微处理器根据命令输出不同占空比的PWM方波到机械手臂上的电机，模拟人体动作。

进一步的，首先利用kinect体感传感器获取人体图像景深数据，通过骨骼追踪技术处理景深数据以匹配人体的各个部分进而建立人体手臂关节的3D坐标；再由主机将得到的包括人体骨骼数据以及3D坐标在内的人体动作信息显示在PC机屏幕上，并通过PC机将人体动作信息数据转换成字符串控制指令通过无线传输模块发送到控制系统，完成体感交互。

进一步的，所述骨骼追踪技术步骤为：将RGB图像传感器和COMS红外传感器整合在一起，通过对获取到的彩色图像和红外景深图像进行图像技术处理，包括边缘检测、噪声阈值处理、对人体目标特征点进行分类，最终将人体从背景环境中区分出来，生成人体骨骼系统，识别人体动作信息。

进一步的，本系统可以扩展服务器模块，将PC端数据发送到服务器上，对机械臂实施远程操控。

综上所述，本发明以Kinect体感传感器作为图像采集工具，集合机械臂控制技术，实现了人体动作对机械手臂的控制，使机械臂更加智能化。系统由主机和从机两个部分组成，主机用于人体动作信息采集，然后进行图像处理，识别出人体动作，并负责把人体动作信息数据通过串口传送给从机。ARM微处理器根据命令输出不同占空比的PWM方波到机械手臂上的电机，模拟人体动作。本系统通过将手势识别与机械臂控制系统进行集成，实现了机械臂与人体手势手臂的互动，具有良好的应用价值。

在图像处理方面，本发明将RGB图像传感器和COMS红外传感器整合在一起，通过对获取到的彩色图像和红外景深图像进行图像技术处理，包括边缘检测、噪声阈值处理、对人体目标特征点的分类等，最终将人体从背景环境中区分出来，最后将人体图像输入到Kinect自带的Exemplar系统，系统通过内置模型与图像信息进行匹配生成人体骨骼系统生成人体骨骼系统，大大提高数据来源的准确性和精度。

本系统可用于生化实验室及液体检查站，可代替人手完成一些危险有毒性或封闭无菌的生物化学实验。电源供应可采用多种供电形式，其中太阳能电池板和蓄电池组合，既节省能源又可保证全天候正常运行。

附图说明

附图1为本发明基于体感传感器的机械臂人机交互系统控制原理图。

具体实施方式

根据本发明实施的基于Kinect体感传感器的机械臂人机交互系统如图1所示。

主要包括如下模块：

控制系统（即机械手臂控制系统）1：

功能：可以根据接收到的指令，作出相应的控制，包括启动/关闭电动机；

连接：控制系统1与PC机5和电机驱动模块6相连接；

数据采集模块（Kinect体感传感器）2：

功能：Kinect传感器作为本系统的数据采集模块2，为系统的后续工作采集必要的深度数据，并将采集到的数据传输至图像处理模块；

连接：数据采集模块2与CMOS红外传感器8、RGB图像传感器9和图像处理模块3和相连接。

图像处理模块3：

功能：将受到的彩色图像数据和深度图像数据加工处理，获得骨骼数据，并通过串口传输模块发送给PC机；

连接：图像处理模块3与PC机5和数据采集模块2相连接；

电源模块4：

功能：用于向所述控制系统、数据采集器和各传感器提供电力供应。

连接：电源模块4分别与PC机5、控制系统1和数据采集模块2、图像处理模块3和COMS红外传感器8相连接；

PC机 5：

功能：根据骨骼数据绘制人体骨骼图像，获取各关节点位的3D坐标并将控制命令发送至控制系统

连接：PC机5分别与电源模块4、图像处理模块3以及控制系统1相连接；

电机驱动模块6：

功能：根据控制系统的命令，对机械臂做出相应的驱动，模拟人体手臂的动作；

连接：电机驱动模块6与控制系统1相连接；

信息显示模块7：

功能：将骨骼图像和关节坐标信息显示在PC屏幕上；

连接：信息显示模块7与PC机5相连接；

CMOS红外传感器8：

功能：获取人体红外深度图像信息；

RGB图像传感器9：

功能：获取人体彩色图像信息；

三维立体仿真模块10：

功能：设置于PC机5中的上位机软件，对机械臂进行实物建模仿真分析，并对控制系统1的数据命令进行仿真分析调试，以期在调试阶段更少的设计实物交互，减少调试风险和难度；

无线传输模块11：

功能：将PC机的数据指令传输给控制系统；

连接：无线传输模块11与PC机5和控制系统1相连接。

图像数据信息采集工作过程：

数据采集模块 2 通过其上的传感器端口与CMOS红外传感器 8 、RGB图像传感器 9 相连接，用于接受CMOS红外传感器 8 、RGB图像传感器 9 获得的数据。

电源模块 4 分别与数据采集模块 2 、COMS红外传感器 8 、RGB图像传感器 9 、图像处理模块 3 、PC机 5 、控制系统 1 和相连接。用于向数据采集模块 2 、COMS红外传感器 8 、RGB图像传感器 9 、图像处理模块 3 、PC机 5 、控制系统 1 提供电力供应。

PC机 5 分别与图像处理模块 3 和无线传输模块 11 相连接。主要负责图像数据信息的显示，仿真。并通过无线传输模块将数据命令发送至控制系统 1 。

无线传输模块 11 分别与PC机 5 和控制系统 1 相连接，主要负责数据通讯，包括PC机端数据命令的发送，以及控制端数据命令的接收。

控制系统 1 分别与无线传输模块 11 和电机驱动模块 6 相连接。主要负责解释PC机 5 发送过来的指令字符串，并生成相应的PWM方波，控制相关的机械电机驱动机械手臂完成模拟动作。

操作流程：

操作人员站在数据采集模块（Kinect体感传感器）2前方大约1.5-2.5m处，利用Kinect传感器上的RGB图像传感器9和红外传感器8进行彩色图像和红外图像深度数据的采集，通过Kinect传感器的API接口（软件意义上的接口，并不是物理意义上的接口），程序员可以获取到Kinect收集到的数据流信息，从而获得检测到的人体景深图像数据，对这些数据进行图像处理，通过PC机5将得到的人体骨骼数据以及3D坐标显示在电脑屏幕上，并将数据转换成字符串控制指令通过无线传输模块发送到控制系统1，控制系统1中的ARM微处理器根据指令生成相应的控制方波并发送到驱动电机。控制电机转动，操作人员挥动手臂，机械手能相应的做出模拟动作。

Claims (8)

1.一种基于体感传感器的机械臂人机交互系统，其特征在于：主要由主机和从机两部分组成；主机进行人体动作信息采集，然后进行图像处理，识别出人体动作，并负责把人体动作信息数据通过串口传送给从机；从机为一个机械手臂，至少包括控制系统和机械结构两个主要部分，机械结构部分由多自由度的手臂和手臂根部能够全方位旋转的底盘构成，手臂不同自由度关节对应不同电机；从机对人体动作信息进行实时处理，控制机械臂根据人体动作完成相应的动作。

2.根据权利要求1所述的基于体感传感器的机械臂人机交互系统，其特征在于：所述主机至少由PC机、体感传感器、串口传输模块连接组成，所述体感传感器配备有RGB图像传感器和COMS红外传感器，用于获取三维深度数据。

3.根据权利要求1所述的基于体感传感器的机械臂人机交互系统，其特征在于：所述体感传感器为kinect体感传感器，主机的PC机通过Kinect传感器的API接口获取到Kinect收集到的数据流信息。

4.根据权利要求1所述的基于体感传感器的机械臂人机交互系统，其特征在于：控制系统主要包括ARM微处理器，串口传输模块，电机驱动模块，ARM微处理器通过电机驱动模块驱动机械手臂各电机。

5.根据权利要求4所述的基于体感传感器的机械臂人机交互系统，其特征在于：ARM微处理器根据命令输出不同占空比的PWM方波到机械手臂上的电机，模拟人体动作。

6.根据权利要求1所述的基于体感传感器的机械臂人机交互系统，其特征在于：首先利用kinect体感传感器获取人体图像景深数据，通过骨骼追踪技术处理景深数据以匹配人体的各个部分进而建立人体手臂关节的3D坐标；再由主机将得到的包括人体骨骼数据以及3D坐标在内的人体动作信息显示在PC机屏幕上，并通过PC机将人体动作信息数据转换成字符串控制指令通过无线传输模块发送到控制系统，完成体感交互。

7.根据权利要求6所述的基于体感传感器的机械臂人机交互系统，其特征在于：所述骨骼追踪技术步骤为：将RGB图像传感器和COMS红外传感器整合在一起，通过对获取到的彩色图像和红外景深图像进行图像技术处理，包括边缘检测、噪声阈值处理、对人体目标特征点进行分类，最终将人体从背景环境中区分出来，生成人体骨骼系统，识别人体动作信息。

8.根据权利要求1所述的基于体感传感器的机械臂人机交互系统，其特征在于：本系统可以扩展服务器模块，将PC端数据发送到服务器上，对机械臂实施远程操控。