CN108363415A - 一种应用于水下机器人的视觉远程控制随动系统及方法 - Google Patents

Abstract

本发明公开了一种应用于水下机器人的视觉远程控制随动系统及方法，该设备由用户控制系统、摄像头随动系统和信号传输系统三大部分组成。当操作者佩戴嵌入头部姿态感应模块的VR眼镜时，头部姿态感应模块采集用户头部运动姿态，并将姿态信息发送至步进电机控制板，进而产生控制信号，驱动云台带动摄像头转动，从而实现了摄像头视角与用户视角的一致性。最终，用户可根据实时图像操作水下机器人完成一系列操作。本专利操作简单、稳定性强、具有广泛的实用性，尤其是对人员无法进入的危险区域能够进行有效的探测，并最终为决策者提供有利依据。

Description

一种应用于水下机器人的视觉远程控制随动系统及方法

技术领域

本发明涉及水下机器人领域，特别是涉及到利用头部转动的角度数据控制云台转动的技术，它融合了水下机器人控制技术、通信技术以及嵌入式系统。

背景技术

纵观人类的发展史，从中国古代的郑和下西洋到如今的大型海上作业平台，人类一直都在致力于海上世界的探索和开发。尤其是近代以来科学技术的高速迅猛发展，海底工业革命一直在悄然进行着，这其中最为功不可没的就是水下机器人。目前水下机器人技术在渔业养殖、水库检查、潜水科考、海岸工程以及安防监控发挥着不可替代的作用。但是水下机器人中搭载摄像头设备的控制方式还是只能通过转动旋钮发出控制命令，这种控制方式不够机动灵活，控制繁琐，精度较低等众多缺陷。本发明相对于现有的水下机器人技术，结合了视觉和随动控制技术，具有响应快、操作简单、实用性强等优点。

发明内容：

针对现有水下机器人摄像设备大多依靠机械控制，缺少灵活性和实时的“现场”操控性，本发明针对现有技术的不足之处，提供一种应用于水下机器人的视觉远程控制随动系统及方法。

本发明所述系统包括用户控制系统、摄像头随动系统和信号传输系统，其特征在于：

所述用户控制系统包括VR眼镜、头部姿态感应模块和上位机；头部姿态感应模块上由嵌入式单片机STM32ZET6和GY-87传感器组成，通过USB转RS232串口线与上位机相连接；上位机是采用QT开发的人机交互界面，上位机与VR眼镜通过HDMI线连接，将图像信息投影至VR眼镜；

所述摄像头随动系统包括两自由度云台、主控模块和摄像头；主控模块利用嵌入式处理器运行嵌入式Linux操作系统，主控模块对图像信号进行采集并利用TCP/IP通信协议发送视频信号以及接收用户控制信号；主控模块与两自由度云台进行连接并对其进行控制；

所述信号传输系统为半有缆设计，包括线缆、浮标和无线转接装置；浮标漂浮在水面与线缆相连且可拖动，浮标通过WIFI连接至用户上位机；传输摄像头采集的图像信息和用户发送的控制信号；

进一步的，所述的GY-87传感器内部集成了三轴陀螺仪、三轴数字加速度计、三轴磁阻传感器检测板以及数字压力传感器，性能稳定可靠。

进一步的，嵌入式单片机通过I2C通信模块读取传感器原始数据，采用动力学解算和卡尔曼滤波，进而数据融合以及姿态解算，得到准确的角度值。采用USB转RS232串口线向上位机发送经过姿态解算后角度大小；姿态解算后会得到航向角、俯仰角和横滚角的大小，实际应用中只需要航向角和俯仰角就可以准确描述用户头部姿态。

进一步的，所述两自由度云台用来模拟人们抬头和摇头两个方向的运动。

进一步的，所述的摄像头为免驱双目摄像头。

进一步的，所述的主控模块将接收到的头部姿态信息通过USB转RS232串口线发送至步进电机控制板，步进电机控制板对姿态信息进行整合计算出完整的角度大小进而产生控制信号，通过驱动器使步进电机转动相应的角度；所述的步进电机控制板产生控制信号包括步进电机的脉冲信号、方向信号。方向信号控制电机转动的方向，脉冲信号控制电机转动的角度。

进一步的，所述的半有缆设计是将无线通信模块内置于浮标内，将视频信号无线传输至用户端，将控制信号通过线缆传输至主控模块，浮标可漂浮在水面受水下机器人拖动。

一种应用于水下机器人的视觉远程控制随动系统的控制方法，包括以下步骤：

步骤1，搭载在水下机器人密封舱室前端的摄像头采集前方的图像信息，并经过主控模块，通过线缆传递至无线转发装置，然后将图像信息通过WIFI发送至上位机；

步骤2，在上位机接受到图像信息后，将图像呈现在操作者所佩戴的VR眼镜上；

步骤3，初始化后用户接受到的都是水下机器人正前方的图像信息，用户可根据自身视觉需要进行头部转动；用户佩戴的姿态感应模块会检测出头部转动的姿态信息，通过上位机将姿态信息通过信号传输系统发送至主控模块，此时步进电机控制板会根据主控模块通过USB转RS232串口线发送的姿态信息产生控制信号，控制步进电机转动，进而驱动云台带动摄像头做相应角度的转动，实现摄像头与用户之间的“零距离”随动；

步骤4，上位机实时接收主控模块采集的图像信息，操作者就可以实时通过头部运动调整摄像头位置，观看到自己想要看到的任意位置的画面。

本发明的有益效果如下：

1、操作简单、实用性强，极大程度上降低了用户控制云台的难度。能够提高操作人员的工作效率，降低失误率。

2、用户通过佩戴VR眼镜，会更加身临其境，更加便于操作人员进行定位摄像，降低了操作复杂性、机械性。

附图说明

图1是本发明系统的使用参考图。

图2是本发明系统的结构框图。

图3是本发明方法的程序流程图。

图4是水下机器人的控制方案。

图5是本发明提供的水下机器人控制方案。

具体实施方式

下面结合图1至图5对本发明的具体实施方式做进一步描述：

本发明要解决的是水下机器人摄像装置不能随动的问题，增强视觉临场感和降低操作复杂性。

如图1所示。在水下机器人1上方漂浮受拖动的浮标2，浮标2内装有无线转接装置。水下机器人1与无线转接装置之间通过线缆3连接，上位机4与无线转接装置通过WIFI通信。操作人员5通过佩戴头部姿态感应模块10产生控制信号，该控制信号通过上位机4经浮标2内的无线转接装置通过线缆3传输至水下机器人1。VR眼镜6用于显示水下图像，增强操作人员的视觉临场感。

如图2所示。本发明系统由三部分组成，分别是用户控制系统7,、信号传输系统8以及摄像头随动系统9。用户控制系统7包括VR眼镜6、头部姿态感应模块10和上位机4。

头部姿态感应模块10上由嵌入式单片机STM32和GY-87传感器组成。在用户进行操作时，该模块会检测出用户抬头、摇头两个方向的角度值，通过USB转RS232串口线发送至上位机4，再通过信号传输系统8转发至主控模块13。该嵌入式单片机STM32基于ARM内核，集成度高，外围电路简单，配合标准库文件，用户可以开发稳定性高的产品。GY-87传感器内置了三轴陀螺仪、三轴数字加速度计、三轴磁阻传感器检测板以及数字压力传感器。

VR眼镜6对摄像头15采集的图像信息进行显示。本实例中采用的摄像头15为双目摄像头，来模拟人类两眼摄像。人们之所以能够看到立体的景物，是因为我们的双眼可以各自独立看东西，左右两眼有间距，大脑对两眼的图像融合，产生出有空间感的立体视觉效果在大脑中。

摄像头随动系统9包括两自由度云台14、主控模块13和摄像头15。摄像头15安装于云台上，通过驱动云台带动摄像头15转动，实现对不同方位的摄像。主控模块13利用嵌入式处理器运行嵌入式Linux操作系统，该模块对图像信号进行采集、利用TCP/IP通信协议发送视频信号以及接收用户的控制信号同时还向步进电机控制板发送头部姿态信息。

步进电机控制板对接受到头部姿态信息进行整合，产生步进电机所需的脉冲信号、方向信号。其中脉冲信号控制步进电机转动的角度、方向信号用于控制步进电机转动的方向。

步进电机共两个，一个用于驱动云台左右转动，模拟用户头部水平转动。另一个用于驱动云台垂直转动，模拟用户头部俯仰运动。摄像头15安装于云台上，步进电机驱动云台转动，从而实现了用户视角与摄像头视角的一致性。

信号传输系统8为本发明提供的半有缆设计，包括线缆3、浮标2和内置于浮标的无线转接装置。与线缆3相连的浮标2可以拖动并漂浮在水面，通过WIFI连接至用户上位机4，用于传输水下机器人采集的视频信号和用户发出的控制信号。

目前主流的水下机器人的姿态控制所采用的控制器属于经典的PID控制技术。如图4所示，被控对象是水下机器人，执行机构是电机，设计了位置型PID控制器，保证水下机器人的准确、平稳运行。其中P为比例、I为积分、D为微分，其输入e(t)与输出U(t)的关系为：

在不需要掌握水下机器人的系统模型下，对比例(P)、积分(I)、微分(D)三个参数进行调整可以得到较为满意的效果，但是容易出现饱和现象、控制效率较低、抗扰性能差等问题。

当水下机器人在航行的过程中，扰动信号主要来源于波浪。将扰动补偿至前向通道的做法只能针对特定扰动及时起到抑制作用，但是必须依赖于系统和扰动的数学模型来设计控制器，在实际应用中扰动是随机的而且水下机器人的系统模型又不易得到，所以控制效果较差。

本发明提供的控制策略如图5所示，采用自抗扰控制技术，在扰动明显影响水下机器人运动前，主动从水下机器人的输入/输出信号中提取扰动信息，然后尽快将扰动补偿掉，从而大大降低扰动对输出量的影响。

如图3所示，本发明方法如下：

步骤1，搭载在水下机器人密封舱室前端的摄像头采集前方的图像信息，并经过主控模块，通过线缆传递至无线转发装置，然后将图像信息发送至上位机；

步骤2，在上位机接受到图像信息后，将图像呈现在操作者所佩戴的VR眼镜上；

步骤3，初始化后用户接受到的都是水下机器人正前方的图像信息，用户可根据自身视觉需要进行头部转动；用户佩戴的姿态感应模块会检测出头部转动的姿态信息，通过上位机将姿态信息通过信号传输系统发送至主控模块，此时步进电机控制板会根据主控模块通过USB转RS232串口线发送的姿态信息产生控制信号，控制步进电机转动，进而驱动云台带动摄像头做相应角度的转动，实现摄像头与用户之间的“零距离”随动；

步骤4，上位机实时接收主控模块采集的图像信息，操作者就可以实时通过头部运动调整摄像头位置，观看到自己想要看到的任意位置的画面。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种应用于水下机器人的视觉远程控制随动系统，包括用户控制系统、摄像头随动系统和信号传输系统，其特征在于：

所述用户控制系统包括VR眼镜、头部姿态感应模块和上位机；头部姿态感应模块上由嵌入式单片机STM32ZET6和GY-87传感器组成，通过USB转RS232串口线与上位机相连接；上位机是采用QT开发的人机交互界面，上位机与VR眼镜通过HDMI线进行连接；

所述摄像头随动系统包括两自由度云台、主控模块和摄像头；主控模块利用嵌入式处理器运行嵌入式Linux操作系统，主控模块对图像信号进行采集并利用TCP/IP通信协议发送视频信号以及接收用户控制信号；主控模块与两自由度云台进行连接并对其进行控制；

所述信号传输系统为半有缆设计，包括线缆、浮标和无线转接装置；浮标漂浮在水面与线缆相连且可拖动，浮标通过WIFI连接至用户上位机；摄像头搭载在水下机器人密封舱室前端并采集前方的图像信息，采集的图像信息经过主控模块再通过线缆传递至无线转发装置，然后将图像信息发送至上位机。

2.根据权利要求1所述的一种应用于水下机器人的视觉远程控制随动系统，其特征在于：所述的GY-87传感器内部集成了三轴陀螺仪、三轴数字加速度计、三轴磁阻传感器以及数字压力传感器。

3.根据权利要求1所述的一种应用于水下机器人的视觉远程控制随动系统，其特征在于：嵌入式单片机通过I2C通信模块和USB转RS232串口线来读取原始传感器数据和向上位机发送经过姿态解算后角度数据；姿态解算后会得到航向角、俯仰角和横滚角的大小，实际应用中只需要航向角和俯仰角就可以准确描述用户头部姿态。

4.根据权利要求1所述的一种应用于水下机器人的视觉远程控制随动系统，其特征在于：所述两自由度云台用来模拟人们抬头和摇头两个方向的运动。

5.根据权利要求1所述的一种应用于水下机器人的视觉远程控制随动系统及方法，其特征在于：所述的摄像头为免驱双目摄像头。

6.根据权利要求1所述的一种应用于水下机器人的视觉远程控制随动系统，其特征在于：所述的主控模块将接收到的头部姿态信息通过USB转RS232串口线发送至步进电机控制板，步进电机控制板对姿态信息进行整合计算出完整的角度大小进而产生控制信号，通过驱动器使步进电机转动相应的角度；所述的步进电机控制板产生控制信号包括步进电机的脉冲信号、方向信号。

7.根据权利要求1所述的一种应用于水下机器人的视觉远程控制随动系统，其特征在于：所述的半有缆设计是将无线通信模块内置于浮标内，将视频信号无线传输至用户端，将控制信号通过线缆传输至主控模块，浮标可漂浮在水面受水下机器人拖动。

8.基于权利要求1所述的一种应用于水下机器人的视觉远程控制方法，其特征在于，所述包括以下步骤：

步骤1，搭载在水下机器人密封舱室前端的摄像头采集前方的图像信息，并经过主控模块，通过线缆传递至无线转发装置，然后将图像信息发送至上位机；

步骤2，在上位机接受到图像信息后，将图像呈现在操作者所佩戴的VR眼镜上；

步骤3，初始化后用户接受到的都是水下机器人正前方的图像信息，用户可根据自身视觉需要进行头部转动；用户佩戴的姿态感应模块会检测出头部转动的姿态信息，通过上位机将姿态信息通过信号传输系统发送至主控模块，此时步进电机控制板会根据主控模块通过USB转RS232串口线发送的姿态信息产生控制信号，控制步进电机转动，进而驱动云台带动摄像头做相应角度的转动，实现摄像头与用户之间的“零距离”随动；

步骤4，上位机实时接收主控模块采集的图像信息，操作者就可以实时通过头部运动调整摄像头位置，观看到自己想要看到的任意位置的画面。