CN107968915B - 水下机器人摄像机云台实时控制系统及其方法 - Google Patents

Abstract

本发明公开了一种水下机器人摄像机云台实时控制系统及其方法。其中，该控制系统包括跟踪头部运动的VR装置、摄像机云台和远程控制平台；所述摄像机云台安装于水下机器人机体上，且用于接收远程控制平台所发送的控制指令来实现摄像机云台的左右转动和俯仰转动；摄像机云台上还固定有图像采集装置，其用于在摄像机云台转动的同时采集水下作业现场视频图像并上传至远程控制平台；所述远程控制平台，用于将接收到的水下作业现场视频图像发送至跟踪头部运动的VR装置中，同时将跟踪头部运动的VR装置的实时头部位姿信息转换为相应控制指令来实时调整摄像机云台的角度和水下摄像机变焦镜头的焦距。

Description

水下机器人摄像机云台实时控制系统及其方法

技术领域

本发明属于水下机器人控制领域，尤其涉及一种水下机器人摄像机云台实时控制系统及其方法。

背景技术

深海作业型缆控无人水下机器人(ROV)是目前应用最为广泛的水下机器人，它通过与水面母船相连的脐带电缆接受能源供给和操控指令，可实现远程安全控制，具有良好的机动性和静止悬浮能力。依据不同的作业需求，ROV可选配各种观测设备(摄像机、照相机、照明灯等)和作业设备(机械臂、切割器、清洗器等)。

目前，很多体型较大的ROV都装配了水下作业机械臂。在作业过程中，机械臂操作员需要通过观看水下摄像机拍摄的作业现场视频图像来完成对机械臂的操作。但水下摄像机拍摄的角度范围有限，且水下机器人在悬停作业时会受到海洋洋流的影响，不可避免地导致机体出现倾斜旋转，而安装在水下机器人机体上的摄像机云台也会随之产生视角偏离，影响机械臂操作员的作业观察。因此，操作员除了需要操作机械臂执行作业动作外，还需要实时调整摄像机云台的拍摄角度(水下机器人的航行控制另配备机器人操作员负责)，这一任务通常是由机械臂操作员在远程控制平台上使用鼠标或操作杆手动控制完成。

机械臂自由度的增加使操作越来越繁琐，为降低操作难度，某些多自由度机械臂采用了主从控制方式。主从控制方式是设计一款与作业机械臂(从臂)具有相同构型并能提供关节力反馈的小型机械臂(主臂)，使主臂和从臂之间构成主从关系，即由机械臂操作员在机械臂控制平台上通过观看水下摄像机拍摄的作业现场视频图像远程操作主臂，从臂根据主臂的关节位姿跟随运动，并将从臂各关节承受的力矩反馈到主臂相应关节，使机械臂操作员具有临场力觉，便于完成复杂的作业任务。但如果水下机器人装配两只机械臂(如美国的“Jason号”ROV、中国的“海马号”ROV等型号)，机械臂操作员的双手需要同时操作两只主臂，此时无法对摄像机云台进行控制调整，水下摄像机产生视角偏离，影响操作员的作业观察，这会对水下机器人的海底作业产生较大影响。

发明内容

为了解决现有技术的不足，本发明的第一目的是提供一种水下机器人摄像机云台实时控制系统，其利用跟踪头部运动的VR装置，通过测量机械臂操作员的头部位姿信息实现对水下机器人摄像机云台的实时控制(两轴转动和水下摄像机变焦)，构成跟踪头部运动的VR装置—摄像机云台随动系统，解放了操作员的双手以完成对两只机械臂主臂的操纵，实现了良好的人机交互。同时，跟踪头部运动的VR装置提供近眼观察方式，通过第一视角的视频图像给操作员身临其境的感觉，产生浸入感，可大幅提高其操作水下机器人机械臂的作业效率。

本发明的一种水下机器人摄像机云台实时控制系统，包括跟踪头部运动的VR装置、摄像机云台和远程控制平台；

所述摄像机云台安装于水下机器人机体上，且用于接收远程控制平台所发送的控制指令来实现摄像机云台的左右转动和俯仰转动；摄像机云台上还固定有图像采集装置，其用于在摄像机云台转动的同时采集水下作业现场视频图像并上传至远程控制平台；

所述远程控制平台，用于将接收到的水下作业现场视频图像发送至跟踪头部运动的VR装置中，同时将跟踪头部运动的VR装置的实时头部位姿信息转换为相应控制指令来实时调整摄像机云台的角度和水下摄像机变焦镜头的焦距。

其中，跟踪头部运动的VR装置包括头部位姿跟踪器，头部位姿跟踪器包括陀螺仪、加速度计和磁力计这些惯性传感器。这些惯性传感器用来测定操作员头部所指向的角度与运动方向。

头部所指向的角度通过测量操作员头部与颈部坐标系轴的夹角获得，具体为头部的左右转动角度、俯仰角度和左右倾斜角度；运动方向通过测量操作员头部与其颈部坐标系原点的相对运动增量获得，具体为头部向左右两侧倾斜的移动加速度。

进一步的，所述远程控制平台设有位置归零按钮，其用于重置颈部坐标系的原点和方向。

作业开始时，操作员通过位置归零按钮可以依据自身习惯确定颈部坐标系的原点和方向。位姿跟踪器内部的各种惯性传感器随时间的递推会积累一定的测量误差，通过位置归零按钮可以进行及时校正，重置颈部坐标系的原点和方向。

进一步的，所述摄像机云台在左右转动预设角度范围内同步跟随操作员头部绕颈部坐标系垂直轴作左右两侧转动，超过左右转动预设角度范围，则摄像机云台保持左右角度不变，直到操作员头部的左右转动角度重新回到左右转动预设角度范围内，摄像机云台恢复同步跟随左右转动。

进一步的，所述摄像机云台在俯仰转动预设角度范围内同步跟随操作员头部绕颈部坐标系水平轴作上下俯仰转动，超过俯仰转动预设角度范围，则摄像机云台保持俯仰角度不变，直到操作员头部的俯仰转动角度重新回到俯仰转动预设角度范围内，摄像机云台恢复同步跟随俯仰转动。

进一步的，图像采集装置包括水下摄像机和照明设备，其中水下摄像机的镜头采用可变焦距的变焦镜头。

进一步的，可变焦距的变焦镜头与焦距变化控制开关相连，所述焦距变化控制开关与远程控制平台相连。

这样由远程控制平台发送的控制指令控制镜头作变焦调节，以改变水下摄像机对目标的放大倍数和视场角。

进一步的，变焦镜头的焦距变化控制以操作员头部左右倾斜运动作为指示动作，即操作员头部向左倾斜角度超过预设角度并伴有向左侧的加速度时，焦距变大；操作员头部向右倾斜角度超过预设角度并伴有向右侧的加速度时，焦距变小。

本发明的第二目的是提供一种水下机器人摄像机云台实时控制系统的控制方法。

本发明的水下机器人摄像机云台实时控制系统的控制方法，包括：

摄像机云台上的图像采集装置在摄像机云台转动的同时采集水下作业现场视频图像并上传至远程控制平台；

远程控制平台将接收到的水下作业现场视频图像发送至跟踪头部运动的VR装置中，同时将跟踪头部运动的VR装置的实时头部位姿信息转换为相应控制指令并传送至摄像机云台；

摄像机云台接收远程控制平台所发送的控制指令来实现摄像机云台的左右转动和俯仰转动。

进一步的，该方法还包括：

利用远程控制平台上的位置归零按钮重置颈部坐标系的原点和方向。

进一步的，该方法还包括：

远程控制平台通过控制焦距变化控制开关的旋转角度来控制变焦镜头的焦距大小。

与现有技术相比，本发明的有益效果是：

(1)减轻工作量；

本发明通过测量机械臂操作员的头部位姿信息，使摄像机云台的转动角度与操作员头部转动角度保持一致，解放操作员的双手以完成对两只机械臂主臂的操作，减轻了操作员的工作量，并实现了良好的人机交互。

(2)实现简单，控制精确；

本发明通过安装在头部位姿跟踪器内部的各种惯性传感器来测量机械臂操作员的头部位姿信息，构成跟踪头部运动的VR装置—摄像机云台随动系统，相对于使用鼠标或操作杆的常规控制方法，实现起来更简单便捷，操作员不需要任何培训即可完成相关操作，摄像机云台控制的精确度和实时性也有所提高。

(3)提高作业效率；

跟踪头部运动的VR装置提供近眼观察方式，通过第一视角的视频图像给操作员身临其境的感觉，产生浸入感，可大幅提高其操作水下机器人机械臂的作业效率。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明的一种水下机器人摄像机云台实时控制系统结构示意图。

图2是本发明的一种水下机器人摄像机云台实时控制系统的控制原理图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

图1是本发明的一种水下机器人摄像机云台实时控制系统结构示意图。

如图1所示，本发明的一种水下机器人摄像机云台实时控制系统，包括跟踪头部运动的VR装置、摄像机云台和远程控制平台；

所述摄像机云台安装于水下机器人机体上，且用于接收远程控制平台所发送的控制指令来实现摄像机云台的左右转动和俯仰转动；摄像机云台上还固定有图像采集装置，其用于在摄像机云台转动的同时采集水下作业现场视频图像并上传至远程控制平台；

所述远程控制平台，用于将接收到的水下作业现场视频图像发送至跟踪头部运动的VR装置中，同时将跟踪头部运动的VR装置的实时头部位姿信息转换为相应控制指令来实时调整摄像机云台的角度和水下摄像机变焦镜头的焦距。

其中，跟踪头部运动的VR装置包括头部位姿跟踪器，头部位姿跟踪器包括陀螺仪、加速度计和磁力计这些惯性传感器。这些惯性传感器用来测定操作员头部所指向的角度与运动方向。

头部所指向的角度通过测量操作员头部与颈部坐标系轴的夹角获得，具体为头部的左右转动角度、俯仰角度和左右倾斜角度；运动方向通过测量操作员头部与其颈部坐标系原点的相对运动增量获得，具体为头部向左右两侧倾斜的移动加速度。

在具体实施例中，跟踪头部运动的VR装置可采用VR眼镜与头部运动跟踪器集成来实现。其中，VR眼镜是一种虚拟现实头戴显示设备，是借助计算机图形学及最新传感器技术创造的新型人机交互手段。本发明的VR眼镜需要具有头部位姿跟踪能力，实现头部位姿跟踪的技术方法有很多种，如采用惯性、电磁、光学、超声波或机械等装置来实现。

需要说明的是，头部位姿跟踪也可采用惯性导航装置来实现，利用通过惯性原理来测定被跟踪者头部的运动角度和加速度。

VR眼镜与头部运动跟踪器集成构成VR集成眼镜。

VR集成眼镜与远程控制平台之间通过通讯电缆相连。VR集成眼镜通过通讯电缆既能实时显示水下摄像机拍摄的作业现场视频图像并接受电源供给，又可将头部位姿跟踪器测量的操作员头部位姿信息发送至远程控制平台，用来控制摄像机云台执行相应调整动作，构成VR集成眼镜—摄像机云台随动系统，实现摄像机云台对于操作员头部位姿的实时跟踪。

此外，远程控制平台通过通讯电缆将水下摄像机拍摄的视频图像发送至VR集成眼镜的显示镜片上，并向VR集成眼镜提供电源供应，同时通过通讯电缆从VR集成眼镜外部加装的位姿跟踪器实时测量头部位姿信息，并转换为相应控制信号发送至摄像机云台，使位于水下作业现场的水下机器人摄像机云台执行相应调整动作(两轴转动、水下摄像机变焦)，免去机械臂操作员对于摄像机云台的手动控制。

在具体实施中，所述远程控制平台设有位置归零按钮，其用于重置颈部坐标系的原点和方向。

作业开始时，操作员通过位置归零按钮可以依据自身习惯确定颈部坐标系的原点和方向。位姿跟踪器内部的各种惯性传感器随时间的递推会积累一定的测量误差，通过位置归零按钮可以进行及时校正，重置颈部坐标系的原点和方向。

在具体实施中，摄像机云台的左右转动是闭环控制。所述摄像机云台在左右转动预设角度范围(例如：左右各50°以内)内同步跟随操作员头部绕颈部坐标系垂直轴作左右两侧转动，超过左右转动预设角度范围，则摄像机云台保持左右角度不变，直到操作员头部的左右转动角度重新回到左右转动预设角度范围内，摄像机云台恢复同步跟随左右转动。

在具体实施中，摄像机云台的俯仰转动也是闭环控制。所述摄像机云台在俯仰转动预设角度范围(例如：俯仰各30°以内)内同步跟随操作员头部绕颈部坐标系水平轴作上下俯仰转动，超过俯仰转动预设角度范围，则摄像机云台保持俯仰角度不变，直到操作员头部的俯仰转动角度重新回到俯仰转动预设角度范围内，摄像机云台恢复同步跟随俯仰转动。

在具体实施中，图像采集装置包括水下摄像机和照明设备。

其中，照明设备可采用LED灯来实现。

水下摄像机和照明设备两者均随伴随摄像机云台同步转动，以实现对作业现场视频图像的拍摄。水下摄像机拍摄的作业现场视频图像，通过脐带电缆发送至远程控制平台，经图像处理后发送至VR集成眼镜的显示镜片上供机械臂操作员观看。

在具体实施中，水下摄像机的镜头采用可变焦距的变焦镜头。

其中，可变焦距的变焦镜头与焦距变化控制开关相连，所述焦距变化控制开关与远程控制平台相连。

这样由远程控制平台发送的控制指令控制镜头作变焦调节，以改变水下摄像机对目标的放大倍数和视场角。

为避免与摄像机云台转动相对应的操作员头部运动产生混淆，变焦镜头的焦距变化控制以操作员头部左右倾斜运动作为指示动作，即操作员头部向左倾斜角度超过预设角度(例如：左倾15°)并伴有向左侧的加速度时，焦距变大；操作员头部向右倾斜角度超过预设角度(例如：右倾15°)并伴有向右侧的加速度时，焦距变小。如此设定可避免摄像机云台控制指令的错误识别和云台误动。

本发明的水下机器人摄像机云台实时控制系统所产生的效果如下：

本发明通过测量机械臂操作员的头部位姿信息，使摄像机云台的转动角度与操作员头部转动角度保持一致，解放操作员的双手以完成对两只机械臂主臂的操作，减轻了操作员的工作量，并实现了良好的人机交互。

本发明通过安装在头部位姿跟踪器内部的各种惯性传感器来测量机械臂操作员的头部位姿信息，构成跟踪头部运动的VR装置—摄像机云台随动系统，相对于使用鼠标或操作杆的常规控制方法，实现起来更简单便捷，操作员不需要任何培训即可完成相关操作，摄像机云台控制的精确度和实时性也有所提高。

本发明的跟踪头部运动的VR装置提供近眼观察方式，通过第一视角的视频图像给操作员身临其境的感觉，产生浸入感，可大幅提高其操作水下机器人机械臂的作业效率。

如图2所示，本发明的水下机器人摄像机云台实时控制系统的控制原理为：

摄像机云台上的图像采集装置在摄像机云台转动的同时采集水下作业现场视频图像并上传至远程控制平台；

远程控制平台将接收到的水下作业现场视频图像发送至跟踪头部运动的VR装置中，同时将跟踪头部运动的VR装置的实时头部位姿信息转换为相应控制指令并传送至摄像机云台；

摄像机云台接收远程控制平台所发送的控制指令来实现摄像机云台的左右转动和俯仰转动。

而且，本发明利用远程控制平台上的位置归零按钮重置颈部坐标系的原点和方向。

远程控制平台通过控制焦距变化控制开关的旋转角度来控制变焦镜头的焦距大小。

具体地，本发明的水下机器人摄像机云台实时控制系统的控制方法具体实现步骤如下：

(1)机械臂操作员佩戴VR集成眼镜，并依据自身习惯通过位置归零按钮确定颈部坐标系的原点和方向；

(2)机械臂操作员通过VR集成眼镜的显示镜片观看水下摄像机拍摄的作业现场视频图像，并根据作业要求操纵机械臂主臂，使从臂执行相应作业动作。同时，操作员根据观察需求作出相应的头部运动(左右转动、俯仰转动、左右倾斜)，VR集成眼镜外部加装的头部位姿跟踪器(陀螺仪、加速度计、磁力计)会实时测量操作员的头部位姿信息，并将测量信息通过通讯电缆发送至远程控制平台；

(3)远程控制平台将头部位姿信息进行数据处理后转化为摄像机云台控制指令并发送至水下机器人的机载控制器，以实现对摄像机云台的实时控制(两轴转动、摄像机变焦)。同时，将水下摄像机拍摄的作业现场视频图像通过脐带电缆发送至远程控制平台，经图像处理后发送至VR集成眼镜的显示镜片上供机械臂操作员观看；

(4)作业过程中，当机械臂操作员感觉头部位姿跟踪器测量的头部位姿信息出现较大积累误差时，可通过重复步骤(1)进行及时校正，重置颈部坐标系的原点和方向。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种水下机器人摄像机云台实时控制系统，其特征在于，包括跟踪头部运动的VR装置、摄像机云台和远程控制平台；

所述摄像机云台安装于水下机器人机体上，且用于接收远程控制平台所发送的控制指令来实现摄像机云台的左右转动和俯仰转动；摄像机云台上还固定有图像采集装置，其用于在摄像机云台转动的同时采集水下作业现场视频图像并上传至远程控制平台；

所述远程控制平台，用于将接收到的水下作业现场视频图像发送至跟踪头部运动的VR装置中，同时将跟踪头部运动的VR装置的实时头部位姿信息转换为相应控制指令来实时调整摄像机云台的角度和水下摄像机变焦镜头的焦距；

所述跟踪头部运动的VR装置包括头部位姿跟踪器，所述头部位姿跟踪器包括陀螺仪、加速度计和磁力计；

所述远程控制平台设有位置归零按钮，其用于重置颈部坐标系的原点和方向；

所述摄像机云台在左右转动预设角度范围内同步跟随操作员头部绕颈部坐标系垂直轴作左右两侧转动，超过左右转动预设角度范围，则摄像机云台保持左右角度不变，直到操作员头部的左右转动角度重新回到左右转动预设角度范围内，摄像机云台恢复同步跟随左右转动；

图像采集装置包括水下摄像机和照明设备，其中水下摄像机的镜头采用可变焦距的变焦镜头；可变焦距的变焦镜头与焦距变化控制开关相连，所述焦距变化控制开关与远程控制平台相连；变焦镜头的焦距变化控制以操作员头部左右倾斜运动作为指示动作，即操作员头部向左倾斜角度超过预设角度并伴有向左侧的加速度时，焦距变大。

2.如权利要求1所述的水下机器人摄像机云台实时控制系统，其特征在于，所述摄像机云台在俯仰转动预设角度范围内同步跟随操作员头部绕颈部坐标系水平轴作上下俯仰转动，超过俯仰转动预设角度范围，则摄像机云台保持俯仰角度不变，直到操作员头部的俯仰转动角度重新回到俯仰转动预设角度范围内，摄像机云台恢复同步跟随俯仰转动。

3.如权利要求1所述的水下机器人摄像机云台实时控制系统，其特征在于，操作员头部向右倾斜角度超过预设角度并伴有向右侧的加速度时，焦距变小。

4.一种如权利要求1所述的水下机器人摄像机云台实时控制系统的控制方法，其特征在于，包括：

摄像机云台上的图像采集装置在摄像机云台转动的同时采集水下作业现场视频图像并上传至远程控制平台；

远程控制平台将接收到的水下作业现场视频图像发送至跟踪头部运动的VR装置中，同时将跟踪头部运动的VR装置的实时头部位姿信息转换为相应控制指令并传送至摄像机云台；

摄像机云台接收远程控制平台所发送的控制指令来实现摄像机云台的左右转动和俯仰转动。

5.如权利要求4所述的水下机器人摄像机云台实时控制系统的控制方法，其特征在于，该方法还包括：

利用远程控制平台上的位置归零按钮重置颈部坐标系的原点和方向。

6.如权利要求5所述的水下机器人摄像机云台实时控制系统的控制方法，其特征在于，该方法还包括：

远程控制平台通过控制焦距变化控制开关的旋转角度来控制变焦镜头的焦距大小。

Images