CN109176534B - 一种机器人多摄像机实时融合系统及方法 - Google Patents

Abstract

本发明公开了一种机器人多摄像机实时融合系统及方法，包括：器人高空作业平台、通信模块和地面操控模块；机器人高空作业平台通过通信模块与地面操控模块通信；机器人高空作业平台包括高空作业平台本体以及固定在其上的摄像机组，所述摄像机组与地面操控模块内的VR头显进行通信；所述VR头显根据摄像机组采集到的配网带电作业机器人作业信息及作业环境信息，实时融合作业场景、操作场景图像，形成整个3D虚拟场景；同时，所述VR头显通过识别地面操控模块内的操作姿态信息，实现机械臂的运动控制。

Description

一种机器人多摄像机实时融合系统及方法

技术领域

本发明涉及高压带电作业机器人领域，尤其一种机器人多摄像机实时融合系统及方法。

背景技术

配网带电作业机器人主要用于完成剥皮、带电断接引流线、异物清除、更换跌落保险、修枝、更换横担、更换变压器等作业任务，为了提高带电作业的自动化水平和安全性，减轻操作人员的劳动强度和强电磁场对操作人员的人身威胁，从80年代起，日本、西班牙、美国、加拿大、法国等国家先后开展了对带电作业机器人的研究。国内对于机器人多摄像机VR实时融合系统研究的机构较少，主要停留在理论研究阶段。

现有技术公开了一种基于虚拟现实的带电作业机器人遥操作方法，由于配网环境复杂且不规则，很难实现虚拟模型与现实的同步，存在精准度或远程视频同步问题，且电机机械臂取电困难且存在作业平台超重，使得绝缘升降机构颤动大。

由此可见，现有研究技术中高压带电作业机器人仍存在较大的技术缺失，此种现状已经严重制约着带电作业机器人在电网中的实际应用与推广。

发明内容

为解决现有技术存在的不足，本发明公开了一种机器人多摄像机实时融合系统，该机器人系统采用多摄像机目标检测VR实时融合技术，基于双向力反馈的主从液压机械臂代替人工完成配电线路断接引线、清除异物、设备检修等作业任务。

为实现上述目的，本发明的具体方案如下：

在一个或多个实施方式中公开的一种机器人多摄像机实时融合系统，包括：机器人高空作业平台、通信模块和地面操控模块；机器人高空作业平台通过通信模块与地面操控模块通信；

所述机器人高空作业平台包括高空作业平台本体以及固定在其上的摄像机组，所述摄像机组与地面操控模块内的VR头显进行通信；所述VR头显根据摄像机组采集到的配网带电作业机器人作业信息及作业环境信息，实时融合作业场景、操作场景图像，形成整个3D虚拟场景；同时，所述VR头显通过识别地面操控模块内的操作姿态信息，实现机械臂的运动控制。

进一步地，所述摄像机组包括：全景摄像机和多角度摄像机；所述全景摄像机和多角度摄像机配合使用，对配网带电作业机器人及作业环境进行全方位实时监控。

进一步地，所述摄像机组与自由伸缩单元连接，所述自由伸缩单元固定在高空作业平台本体上。

进一步地，所述机器人高空作业平台还包括：作业机械臂、绝缘支撑和绝缘冗余伸缩单元；所述作业机械臂与绝缘支撑固定连接，所述绝缘支撑与绝缘冗余伸缩单元连接；所述绝缘冗余伸缩单元固定在高空作业平台本体上。

进一步地，所述绝缘冗余伸缩单元包括：伺服阀、伸缩油缸和伸缩管套；通过伺服阀控制伸缩油缸伸缩，伸缩油缸一端与伸缩管套连接，伸缩管套固定在高空作业平台本体上。

进一步地，所述机器人高空作业平台还包括：机器人用可更换工具箱，所述机器人用可更换工具箱包括：智能剥皮器、智能扳手、智能断线钳以及遮蔽罩中的至少一种；所述机器人用可更换工具箱中的工具通过通信系统与地面操控模块进行通信。

进一步地，所述通信系统采用无线通信通道，实现地面操控模块与作业机械臂以及摄像机组与VR头显之间的通信。

进一步地，所述地面操控模块包括:可移动地面操控室，所述可移动地面操控室内分别设置机械臂力反馈式操作主手、VR头显以及可折叠伸缩得绝缘升降臂遥控器；

在一个或多个实施方式中公开的一种机器人多摄像机实时融合方法，包括：

获取摄像机组中各摄像机采集的图像；

进行图像的校准；

根据相机的位置信息和角度信息对图像进行坐标变换，获得坐标变换后的图像；

根据径向畸变产生的机理，对视频图像进行校正；

对图像进行投影变换；

特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点；采用角点检测算法，不具有缩放变换不变性；

进行图像的配准和融合；

在一个或多个实施方式中公开的一种配网带电作业机器人，包括上述的机器人多摄像机实时融合系统。

本发明的有益效果：

1.本发明多摄像机与VR实时融合交互系统将带电作业机器人和周围环境作为一个整体来看待，形成一个整体的交互环境，这种多摄像机与VR实时融合技术，相对于传统意义上的带电作业机器人人机交互界面在技术上有了很大的进步。

2.本发明实现全景视频直播。通过多摄像机采用无缝拼接技术实现VR实时融合，使操作者具有身临其境的感受，优化用户体验，促进带电作业机器人推广应用。

3.本发明采用主从式液压机械臂，具有自重轻、持重大，同时在作业机械臂驱动方式上采用移动绝缘升降机构液压接口，减少电液能转换环节。可以保证机器人高空作业平台重量轻，使得绝缘升降机构颤动幅度大幅减小。

本发明的有益效果：

1.本发明多摄像机与VR实时融合交互系统是把带电作业机器人和周围环境作为一个整体来看待的，采用相关的硬件设施与软件形成一个整体的交互环境，这种多摄像机与VR实时融合技术，相对于传统意义上的带电作业机器人人机交互界面在技术上有了很大的进步。

2.本发明实现全景视频直播。通过多摄像机采用无缝拼接技术实现VR实时融合，使操作者具有身临其境的感受，优化用户体验，促进带电作业机器人推广应用。

3.本发明采用主从式液压机械臂，具有自重轻、持重大，同时在作业机械臂驱动方式上采用移动绝缘升降机构液压接口，减少电液能转换环节。可以保证机器人高空作业平台重量轻，使得绝缘升降机构颤动幅度大幅减小。

附图说明

图1是本发明机器人履带式移动绝缘升降平台整体结构图；

图2是本发明车载地面操控室整体结构图；

图3是本发明多摄像机VR电气结构图；

图4是本发明多摄像机VR实时融合流程图；

其中，1.液压机械臂，2.绝缘冗余伸缩单元，4.工具箱，5.全景摄像机，6.多角度摄像机，8.机器人高空作业平台，9.地面操控模块，10.控制箱，11.VR头显，12.操作主手。

具体实施方式：

下面结合附图对本发明进行详细说明：

如图1所示，本发明的一种机器人多摄像机VR实时融合系统，包括机器人高空作业平台8、通信模块及地面操控模块9。

机器人高空作业平台8包括：机器人高空作业平台8本体、双液压机械臂1、绝缘冗余伸缩单元2、可更换工具4和摄像机组等；

液压机械臂1与绝缘冗余伸缩单元2组合使用，扩展作业范围，使机械臂可以进入狭小环境作业；可更换工具4内部放置智能剥皮器、智能扳手、智能断线钳、遮蔽罩等各种工具及遮蔽用具；可更换工具4包括智能剥皮器、智能扳手、智能断线钳和破螺母工具等，采用工具模块化、标准化、系列化的综合设计，具有统一的机械接口和电气接口，适合机械臂夹持。实现配电带电断接引线、更换绝缘子、更换跌落保险、清除异物等带电作业任务。

绝缘冗余伸缩单元2包括伺服阀、伸缩油缸、伸缩管套等组成。通过伺服阀控制伸缩油缸伸缩，油缸一端与伸缩管套连接，伸缩管套固定在机器人平台支架上。6自由度液压机械臂1安装在绝缘冗余伸缩自由度末端，扩展机械臂的活动范围，增加操作灵活性。

作业机械臂采用液压驱动，6自由度，具有自重轻、持重大，同时在作业机械臂驱动方式上采用移动绝缘升降机构液压接口，减少电液能转换环节。

摄像机组包括：全景摄像机5、多角度摄像机6配合使用对作业机械臂、专用工具轨迹跟踪及定位，实现对平行排列、三角排列、垂直排列三种线型作业。视频图像通过专用无线通道进行传输，保证对地绝缘和传输实时性。全景摄像机5采用4目全景摄像机5，可以获取360度的环境信息，负责对配网带电作业机器人及作业环境进行全方位监控。多角度摄像机6主要包括：俯视摄像机、仰视摄像机和工具监控摄像机等。

通信模块，采用专用无线通信通道，使机器人高空作业平台8与地面操控模块9之间没有任何电气连接及保证通信实时性。主要实现操作主手12与液压机械臂1之间、摄像机组与VR头显11之间的通信。

地面操控模块9如图2所示，包括：机械臂力反馈式操作主手12、VR头显11、折叠加伸缩绝缘升降臂遥控器及控制器。VR头显11融合作业场景、操作场景图像，形成整个3D实时融合场景。操作人员头戴VR头显11，既能通过VR头显11来观察带电作业细节，又能识别操作人员双手的姿态信息，并将该姿态信息发送给机械臂，实现机械臂的运动控制。地面操控模块9设有履带式移动地盘，能够平稳跨越障碍物。

图3中，摄像头目标检测与VR合成主要由作业平台和操作场景两部分组成，机器人高空作业平台8安装4个固定摄像机：自带云台(全景摄像机5、局部摄像机)。操作场景VR头显11安装2个摄像机，可以无死角检测操作场景。多路图像无线传输，将作业场景图像发送给VR头显11。

控制箱10包括控制主机和操作主机，在作业场景中控制主机获取到全景视频画面和局部特写视频画面进行处理，并通过无线接收模块传输给操作主机，在操作场景中控制主机通过无线接收模块、VR头显11摄像机获取到操作员左右手视频画面以及远端视频画面。将多路视频进行融合和转发，并将视频推送到显示终端。

VR头显融合作业场景、操作场景图像，形成整个3D虚拟场景。操作人员头戴VR头显，既能通过VR头显来观察带电作业细节，又能识别操作人员双手的姿态信息，并将该姿态信息发送给机械臂，实现机械臂的运动控制。

图4中，多摄像机VR实时融合流程包括摄像机的采集、摄像机标定、图像坐标变换、图像畸变校正、图像投影变换、匹配点选取与标定、图像拼接融合、本地播放。

(1)摄像机的采集包括全景摄像机5、俯视摄像机、仰视摄像机、工具监控摄像机的图像采集。

(2)由于安装设计，以及摄相机之间的差异，会造成视频图像之间有缩放(镜头焦距不一致造成)、倾斜(垂直旋转)、方位角差异(水平旋转)，因此物理的差异需要预先校准，得到一致性好的图像，便于后续图像拼接。

(3)摄像机以不同的位置排列和不同的倾角拍摄，根据相机的位置信息和角度信息来获得坐标变换后的图像。

(4)为了提高摄像机拼接的精度，在进行图像拼接的时候必须考虑成像镜头的畸变。根据径向畸变产生的机理，对视频图像进行校正。

(5)由于每幅图像是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性。所以需要先对图像进行投影变换，再进行拼接。

(6)特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点。采用角点检测算法，不具有缩放变换不变性。

(7)图像拼接的关键两步是：配准和融合。配准的目的是根据几何运动模型，将图像注册到同一个坐标系中；融合则是将配准后的图像合成为一张大的拼接图像。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种机器人多摄像机实时融合系统，其特征在于，包括：机器人高空作业平台、通信模块和地面操控模块；机器人高空作业平台通过通信模块与地面操控模块通信；

所述机器人高空作业平台包括高空作业平台本体以及固定在其上的摄像机组，摄像机组包括：全景摄像机和多角度摄像机，全景摄像机获取360度的环境信息，多角度摄像机包括：俯视摄像机、仰视摄像机和工具监控摄像机；

全景摄像机和多角度摄像机配合使用，对配网带电作业机器人及作业环境进行全方位实时监控，实现对平行排列、三角排列、垂直排列三种线型作业；

所述摄像机组与地面操控模块内的VR头显进行通信；所述VR头显根据摄像机组采集到的配网带电作业机器人作业信息及作业环境信息，实时融合作业场景、操作场景图像，形成整个3D虚拟场景；同时，所述VR头显通过识别地面操控模块内的操作姿态信息，实现机械臂的运动控制；

摄像机组通过无缝拼接实现VR实时融合，形成整个3D虚拟场景，图像拼接的过程：配准和融合，配准的目的是根据几何运动模型，将图像注册到同一个坐标系中；融合是将配准后的图像合成为一张大的拼接图像。

2.如权利要求1所述的一种机器人多摄像机实时融合系统，其特征在于，所述摄像机组与自由伸缩单元连接，所述自由伸缩单元固定在高空作业平台本体上。

3.如权利要求1所述的一种机器人多摄像机实时融合系统，其特征在于，所述机器人高空作业平台还包括：作业机械臂、绝缘支撑和绝缘冗余伸缩单元；所述作业机械臂与绝缘支撑固定连接，所述绝缘支撑与绝缘冗余伸缩单元连接；所述绝缘冗余伸缩单元固定在高空作业平台本体上。

4.如权利要求3所述的一种机器人多摄像机实时融合系统，其特征在于，所述绝缘冗余伸缩单元包括：伺服阀、伸缩油缸和伸缩管套；通过伺服阀控制伸缩油缸伸缩，伸缩油缸一端与伸缩管套连接，伸缩管套固定在高空作业平台本体上。

5.如权利要求3所述的一种机器人多摄像机实时融合系统，其特征在于，所述机器人高空作业平台还包括：机器人用可更换工具箱，所述机器人用可更换工具箱包括：智能剥皮器、智能扳手、智能断线钳以及遮蔽罩中的至少一种；所述机器人用可更换工具箱中的工具通过通信系统与地面操控模块进行通信。

6.如权利要求1所述的一种机器人多摄像机实时融合系统，其特征在于，所述通信系统采用无线通信通道，实现地面操控模块与作业机械臂以及摄像机组与VR头显之间的通信。

7.如权利要求1所述的一种机器人多摄像机实时融合系统，其特征在于，所述地面操控模块包括:可移动地面操控室，所述可移动地面操控室内分别设置机械臂力反馈式操作主手、VR头显以及可折叠伸缩的绝缘升降臂遥控器。

8.一种如权利要求1所述机器人多摄像机实时融合系统的方法，其特征在于，包括：

获取摄像机组中各摄像机采集的图像；

进行图像的校准；

根据相机的位置信息和角度信息对图像进行坐标变换，获得坐标变换后的图像；

根据径向畸变产生的机理，对视频图像进行校正；

对图像进行投影变换；

进行图像的配准和融合。

9.一种配网带电作业机器人，其特征是，包括权利要求1-7任一项所述的机器人多摄像机实时融合系统。

Images