CN108820138A - 一种基于视觉引导的海上登靠系统自动对接方法 - Google Patents

Abstract

本发明公开了一种一种基于视觉引导的海上登靠系统自动对接方法，属于海上平台登靠技术领域。本发明针对运维船受海浪影响，无法定位，同时操作人员受视线的限制，无法准确将登靠舷梯放置在海上平台的问题，利用视觉进行引导，不断检测和修正海上平台的位置和接近距离，采用自动对接的控制方法将舷梯末端安全、平稳、准确放置到海上平台。本发明为海浪主动补偿登靠系统自动补偿提供提供新的解决方案，弥补了人工操控过程中海浪对船体干扰的偶然性，提高了登靠系统的自动对接能力，为海上风机平台、石油平台的安全运维提供了保证。

Description

一种基于视觉引导的海上登靠系统自动对接方法

技术领域

本发明涉及海上平台登靠技术领域，具体涉及一种基于视觉引导的海上登靠系统自动对接方法。

背景技术

海上风电场要面对风浪流等多重载荷的考验，环境条件更复杂，技术开发难度更大，面临许多新的挑战。目前，潮间带、潮下带滩涂风电场及近海风电场，这些水深不超过50米的海上风电场，常用的是固定式基础结构形式，风机轮毂高度80m～110m。风机平台经常需要维修和维护，然而海上风浪原因，人员从船上到平台上具有很大的危险性，非常需要海上补偿平台将人员和设备安全从船上运送到风机平台上。

由于我国海洋制造装备起步较晚，发展比较落后，制造技术难度较大，而且国外可以生产该补偿设备的公司并不多。主要有美国的Varco公司和Dynacon公司、挪威的Hydralift公司、德国的博世力士乐公司、荷兰的IHC公司。

国内初步研究波浪补偿技术的为华东石油学院的方华灿，他从七十年代开始对波浪补偿运用各种方式进行研究，主要包括海洋依船体为载体波浪补偿、钻井平台的钻柱对地面的动力学强度分析、大钩和钢丝绳等附属件的强度分析、海上游车以及附属载体上的波浪补偿结构设计和技术原理分析等，取得了一定的技术成果。济南大学的马汝建对波浪补偿结构进行动力学分析和补偿结构优化，利用频谱与数学分析的方法，计算出波浪补偿系统的动态响应特性和动态响应曲线，推算出大钩和钻井装置的动态载荷的计算公式，并对装置的疲劳强度和寿命进行理论性计算。我国的广东工业大学和中南大学在上述研究的基础上，提出了主动、被动波浪补偿系统，而且对上述系统进行仿真和试验研究。主动补偿是靠液压缸的活塞运动抵消波浪升沉，该装置控制精度较高，但是消耗能量较大。半主动补偿是靠平台随着波浪上升压缩蓄能器存储能量抵消波浪升沉，该装置控制精度不高，能源消耗量较小。

中国石油大学的张彦廷在位移补偿上做了研究，主要把位移的动态变化作为控制信号，利用泵和阀联合控制的方式，该系统主要是液压缸的无杆腔承受外负载力，控制部分主要是对无杆腔的液体压力进行控制。该系统运用了液压泵和蓄能器联合作用与补偿液压缸，两液压补偿缸承并联形式，蓄能器在平台上升时储存的能量主要对补偿缸的无杆腔进行供油而液压泵主要是对补偿缸的有杆腔进行供油。

发明内容

本发明提供一种基于视觉引导的海上登靠系统自动对接方法，该方法利用安装在平台前端的摄像头进行视觉引导，不断检测和修正海上平台的位置和接近距离，采用自动对接的控制方法将舷梯末端安全、平稳、准确放置到海上平台。

一种基于视觉引导的海上登靠系统自动对接方法，其特征在于，该方法利用安装在平台前端的摄像头进行视觉引导，不断检测和修正海上平台的位置和接近距离，采用自动对接的控制方法将舷梯末端安全、平稳、准确放置到海上平台，其实现步骤如下：

步骤1：启动登靠系统电源，将六自由度并联平台到中机位，同时操控登靠系统的上平台三自由度舷梯从船体甲板的停机状态移动到朝向风机平台的初始位置；

步骤2：开启登靠系统的六自由度并联平台的姿态自动补偿，补偿海浪对船体姿态的影响；

所述的登靠系统的六自由度并联平台的姿态自动补偿方法，其特征是：

并联平台旋转变换矩阵为:

并联平台位姿变换矩阵为:

假设目标点相对于静平台初始点的位姿矩阵为T_s，则

假设，

姿态解算，则有：

其中:γ、α、β表示测量环节测量获得的姿态角度值；

步骤3：操控登靠系统的上平台三自由度舷梯接近风机平台登靠位，观察舷梯末端摄像头传送的图像，直到风机平台登靠点目标图像清楚；

步骤4：获得图像，并对图像进行视觉增强和去雾等图像预处理，为后期图像处理提供高质量的图像；

步骤5：初始化参量载入视觉识别模型，并启动识别代码，实现对风机平台上塔架及其悬挂的标志物进行识别；

步骤6：启动对目标位的跟踪和定位，实现目标的锁定；

步骤7：计算参考系下的坐标，输出控制坐标位。

所述的登靠系统，其特征是：

登靠系统主要由混联机构、检测系统、运动控制系统和电气系统组成；混联机构由上平台三自由度舷梯和六自由度并联平台组成，是海浪主动补偿系统的执行机构，执行元件采用液压缸和液压马达，完成对海浪的运动补偿；检测系统用于检测船体的位置和姿态变化参数，以及混联机构的状态参数，为控制系统提供控制信息反馈；运动控制系统是根据检测系统检测的参数，通过模型解算和运动控制计算，为混联机构提供实时控制量，平稳安全控制执行机构；电气系统为整体机构提供稳定能源电力、人机信息对接和系统参数实时监控等工作；

混联机构由上平台三自由度舷梯和六自由度并联平台组成；上平台三自由度舷梯由具有伸缩功能的廊桥、俯仰机构、回转机构和操作平台组成；六自由度并联平台由六台铰支座与六台伺服油缸构成；上平台三自由度舷梯与六自由度并联平台之间通过铰支座组成；

上平台三自由度舷梯是一种串联机构形式，自下而上依次为回转机构、俯仰机构和伸缩功能的廊桥；上平台三自由度舷梯主要用于舷梯与风机平台的对接，能够补偿较大海浪和海平面在不同季节情况下六自由度并联平台无法补偿的空间位移和航向角度；回转机构具有360°全方位旋转角度，补偿廊桥在航向角度上偏差，以液压马达作为执行元件；俯仰机构能够补偿廊桥在俯仰角度上的偏差，采用双液压缸作为执行元件；伸缩功能的廊桥能补偿空间位移上的偏差，采用直流无刷电机加双向缆绳方式控制廊桥的伸缩；

六自由度并联平台主要执行机构为六台伺服油缸，在计算机控制下，六台伺服油缸协调同步的运动，驱动平台实现海浪主动补偿，并实时的进行故障检测与安全保护，实时的进行运动参数的测试与传输；六台伺服油缸的缸杆端与上铰支座铰接，上铰支座与运动平台下表面固连，伺服油缸缸底与下铰支座铰接，下铰支座与下平台上表面固连；下平台通过地脚螺栓与甲板固连，为运动补偿提供安全可靠的支撑。

所述的基于视觉引导的登靠系统自动对接方法，其特征是：

首先注意场景中的目标物体、锁定目标物体、估计大概位置，这个过程主要是视觉识别和视觉估计；然后伸展手臂靠近目标物体，这个过程并不需要大量的视觉信息，只需要少量的视觉反馈信息进行比较和矫正，同时还有本体感知信息反馈；最后，在靠近目标物体后主要通过视觉反馈信息的引导，从而伸手进行精确对准，并完成后续的抓取过程；通过视觉识别技术寻找几何形状和颜色等特征信息，从而在视觉场景中选取一个或者多个感兴趣的目标物体，当锁定目标物体后在整个手眼协调过程中对目标物体进行实时视觉跟踪，并对目标物体的大小、深度等信息进行预估；当目标物体被锁定后，由前馈视觉控制登靠系统快速接近目标物体，在这个过程中根据间断的视觉反馈和本体感知反馈信息对轨迹进行细微的矫正；当登靠系统本体和目标物体都一可见并满足预先设定的视差条件的时候，即低值选择器LS判定为低值时，就利用视觉反馈控制来实现目标接近和精确对准。

本发明与现有技术相比，具有以下优点：

(1)本发明弥补了人工操控过程中海浪对船体干扰的偶然性，提高了登靠系统的自动对接能力，降低了登靠系统与登记平台对接的风险度，在行业内属于首次应用。

(2)本发明有效提高了登靠系统对接效率，克服多自由度机构由于安装误差、运动误差和强风对机构产生小变形等因素产生的末端精度的影响，实现登靠系统与风机平台之间的无缝接触。

(3)本发明通用性好，可广泛应用于各类登靠系统中，提升登靠系统的自动化水平。

附图说明

图1为基于视觉引导的登靠系统自动对接整体流程图；

图2为引导对目标锁定流图；

图3为登靠系统整体结构图；

图4为登靠系统运动学建模图；

图5为基于视觉引导的登靠系统控制系统图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明提供一种基于视觉引导的海上登靠系统自动对接方法，该方法利用视觉进行引导，不断检测和修正海上平台的位置和接近距离，采用自动对接的控制方法将舷梯末端安全、平稳、准确放置到海上平台。

实施例1：

一种基于视觉引导的海上登靠系统自动对接方法，该方法利用安装在平台前端的摄像头进行视觉引导，不断检测和修正海上平台的位置和接近距离，采用自动对接的控制方法将舷梯末端安全、平稳、准确放置到海上平台。

其整体步骤如下：

步骤1：启动登靠系统电源，将六自由度并联平台到中机位，同时操控登靠系统的上平台三自由度舷梯从船体甲板的停机状态移动到朝向风机平台的初始位置。

步骤2：开启登靠系统的六自由度并联平台的姿态自动补偿，补偿海浪对船体姿态的影响。

步骤3：操控登靠系统的上平台三自由度舷梯接近风机平台登靠位，观察舷梯末端摄像头传送的图像，直到风机平台登靠点目标图像清楚。

步骤4：根据图像上的目标点，自动引导登靠系统末端到风机平台上登靠点。

视觉引导步骤如下：

步骤1：获得图像，并对图像进行视觉增强和去雾等图像预处理，为后期图像处理提供高质量的图像。

步骤2：初始化参量载入视觉识别模型，并启动识别代码，实现对风机平台上塔架及其悬挂的标志物进行识别。

步骤3：启动对目标位的跟踪和定位，实现目标的锁定。

步骤4：计算参考系下的坐标，输出控制坐标位。

所述的登靠系统，其特征是：

登靠系统主要由混联机构、检测系统、运动控制系统和电气系统组成。混联机构由上平台三自由度舷梯和六自由度并联平台组成，是海浪主动补偿系统的执行机构，执行元件采用液压缸和液压马达，完成对海浪的运动补偿。检测系统用于检测船体的位置和姿态变化参数，以及混联机构的状态参数，为控制系统提供控制信息反馈。运动控制系统是根据检测系统检测的参数，通过模型解算和运动控制计算，为混联机构提供实时控制量，平稳安全控制执行机构。电气系统为整体机构提供稳定能源电力、人机信息对接和系统参数实时监控等工作。

混联机构由上平台三自由度舷梯和六自由度并联平台组成。上平台三自由度舷梯由具有伸缩功能的廊桥、俯仰机构、回转机构和操作平台组成。六自由度并联平台由六台铰支座与六台伺服油缸构成。上平台三自由度舷梯与六自由度并联平台之间通过铰支座组成。

上平台三自由度舷梯是一种串联机构形式，自下而上依次为回转机构、俯仰机构和伸缩功能的廊桥。上平台三自由度舷梯主要用于舷梯与风机平台的对接，能够补偿较大海浪和海平面在不同季节情况下六自由度并联平台无法补偿的空间位移和航向角度。回转机构具有360°全方位旋转角度，补偿廊桥在航向角度上偏差，以液压马达作为执行元件；俯仰机构能够补偿廊桥在俯仰角度上的偏差，采用双液压缸作为执行元件；伸缩功能的廊桥能补偿空间位移上的偏差，采用直流无刷电机加双向缆绳方式控制廊桥的伸缩。

六自由度并联平台主要执行机构为六台伺服油缸，在计算机控制下，六台伺服油缸协调同步的运动，驱动平台实现海浪主动补偿，并实时的进行故障检测与安全保护，实时的进行运动参数的测试与传输。六台伺服油缸的缸杆端与上铰支座铰接，上铰支座与运动平台下表面固连，伺服油缸缸底与下铰支座铰接，下铰支座与下平台上表面固连。下平台通过地脚螺栓与甲板固连，为运动补偿提供安全可靠的支撑。

所述的登靠系统的六自由度并联平台的姿态自动补偿方法，其特征是：

并联平台旋转变换矩阵为:

并联平台位姿变换矩阵为:

假设目标点相对于静平台初始点的位姿矩阵为T_s，则

假设，

姿态解算，则：

其中:γ、α、β表示测量环节测量获得的姿态角度值。

所述的基于视觉引导的登靠系统自动对接方法，其特征是：

首先注意场景中的目标物体、锁定目标物体、估计大概位置，这个过程主要是视觉识别和视觉估计；然后伸展手臂靠近目标物体，这个过程并不需要大量的视觉信息，只需要少量的视觉反馈信息进行比较和矫正，同时还有本体感知信息反馈；最后，在靠近目标物体后主要通过视觉反馈信息的引导，从而伸手进行精确对准，并完成后续的抓取过程。从神经科学和神经生物学的研究成果可以知道，人类只需要少量的视觉信息就可以完成抓取过程，其中既有视觉前馈控制也有视觉反馈控制，在抓取的前面过程更多的是基于内部模型和经验学习的前馈控制，而在随后的精确对准阶段更多的是视觉反馈控制起作用。

实施例2：

结合图1，其步骤如下：

步骤1：启动登靠系统电源，将六自由度并联平台到中机位，同时操控登靠系统的上平台三自由度舷梯从船体甲板的停机状态移动到朝向风机平台的初始位置。

步骤2：开启登靠系统的六自由度并联平台的姿态自动补偿，补偿海浪对船体姿态的影响。

步骤3：操控登靠系统的上平台三自由度舷梯接近风机平台登靠位，观察舷梯末端摄像头传送的图像，直到风机平台登靠点目标图像清楚。

步骤4：锁定图像上的目标点，自动引导登靠系统末端到风机平台上登靠点。

实施例3：

结合图2，登靠系统结构如下：

登靠系统主要由混联机构、检测系统、运动控制系统和电气系统组成。混联机构由上平台三自由度舷梯和六自由度并联平台组成，是海浪主动补偿系统的执行机构，执行元件采用液压缸和液压马达，完成对海浪的运动补偿。检测系统用于检测船体的位置和姿态变化参数，以及混联机构的状态参数，为控制系统提供控制信息反馈。运动控制系统是根据检测系统检测的参数，通过模型解算和运动控制计算，为混联机构提供实时控制量，平稳安全控制执行机构。电气系统为整体机构提供稳定能源电力、人机信息对接和系统参数实时监控等工作。

混联机构由上平台三自由度舷梯和六自由度并联平台组成。上平台三自由度舷梯由具有伸缩功能的廊桥、俯仰机构、回转机构和操作平台组成。六自由度并联平台由六台铰支座与六台伺服油缸构成。上平台三自由度舷梯与六自由度并联平台之间通过铰支座组成。

上平台三自由度舷梯是一种串联机构形式，自下而上依次为回转机构、俯仰机构和伸缩功能的廊桥。上平台三自由度舷梯主要用于舷梯与风机平台的对接，能够补偿较大海浪和海平面在不同季节情况下六自由度并联平台无法补偿的空间位移和航向角度。回转机构具有360°全方位旋转角度，补偿廊桥在航向角度上偏差，以液压马达作为执行元件；俯仰机构能够补偿廊桥在俯仰角度上的偏差，采用双液压缸作为执行元件；伸缩功能的廊桥能补偿空间位移上的偏差，采用直流无刷电机加双向缆绳方式控制廊桥的伸缩。

六自由度并联平台主要执行机构为六台伺服油缸，在计算机控制下，六台伺服油缸协调同步的运动，驱动平台实现海浪主动补偿，并实时的进行故障检测与安全保护，实时的进行运动参数的测试与传输。六台伺服油缸的缸杆端与上铰支座铰接，上铰支座与运动平台下表面固连，伺服油缸缸底与下铰支座铰接，下铰支座与下平台上表面固连。下平台通过地脚螺栓与甲板固连，为运动补偿提供安全可靠的支撑。

实施例4：

结合图3登靠系统的运动学建模图，六自由度并联平台的姿态补偿解算过程如下：

并联平台齐次变换矩阵为

假设目标点相对于静平台初始点的位姿矩阵为T_s，则

假设：

姿态解算，则：

其中:γ、α、β表示测量环节测量获得的姿态角度值。

实施例4：

结合图4，基于视觉引导的登靠系统控制过程如下：

首先注意场景中的目标物体、锁定目标物体、估计大概位置，这个过程主要是视觉识别和视觉估计；然后伸展手臂靠近目标物体，这个过程并不需要大量的视觉信息，只需要少量的视觉反馈信息进行比较和矫正，同时还有本体感知信息反馈；最后，在靠近目标物体后主要通过视觉反馈信息的引导，从而伸手进行精确对准，并完成后续的抓取过程。从神经科学和神经生物学的研究成果可以知道，人类只需要少量的视觉信息就可以完成抓取过程，其中既有视觉前馈控制也有视觉反馈控制，在抓取的前面过程更多的是基于内部模型和经验学习的前馈控制，而在随后的精确对准阶段更多的是视觉反馈控制起作用。

生物由视觉引导的运动控制从本质上来说是综合视觉信息和本体感知来完成2D视觉到3D运动的映射过程。本发明模仿生物的这种运动控制机制，构建集基于视觉的本体感知、视觉识别、视觉前馈控制和视觉反馈控制为一体的登靠系统完成这个视觉-运动映射过程。如图4所示，首先通过视觉识别技术寻找几何形状和颜色等特征信息，从而在视觉场景中选取一个或者多个感兴趣的目标物体，当锁定目标物体后在整个手眼协调过程中对目标物体进行实时视觉跟踪，并对目标物体的大小、深度等信息进行预估，此部分即模仿生物视觉中的腹侧通路；当目标物体被锁定后，由前馈视觉控制登靠系统快速接近目标物体，在这个过程中根据间断的视觉反馈和本体感知反馈信息对轨迹进行细微的矫正；当登靠系统本体和目标物体都一可见并满足预先设定的视差条件的时候，即低值选择器LS判定为低值时，就利用视觉反馈控制来实现目标接近和精确对准。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于视觉引导的海上登靠系统自动对接方法，其特征在于，该方法利用安装在平台前端的摄像头进行视觉引导，不断检测和修正海上平台的位置和接近距离，采用基于视觉引导的登靠系统自动对接方法将舷梯末端安全、平稳、准确放置到海上平台，其实现步骤如下：

步骤1：启动登靠系统电源，将六自由度并联平台到中机位，同时操控登靠系统的上平台三自由度舷梯从船体甲板的停机状态移动到朝向风机平台的初始位置；

步骤2：开启登靠系统的六自由度并联平台的姿态自动补偿，补偿海浪对船体姿态的影响；

所述的登靠系统的六自由度并联平台的姿态自动补偿方法，其特征是：

并联平台旋转变换矩阵为:

并联平台位姿变换矩阵为:

假设目标点相对于静平台初始点的位姿矩阵为T_s，则

假设，

姿态解算，则有：

其中:γ、α、β表示测量环节测量获得的姿态角度值；

步骤3：操控登靠系统的上平台三自由度舷梯接近风机平台登靠位，观察舷梯末端摄像头传送的图像，直到风机平台登靠点目标图像清楚；

步骤4：获得图像，并对图像进行视觉增强和去雾等图像预处理，为后期图像处理提供高质量的图像；

步骤5：初始化参量载入视觉识别模型，并启动识别代码，实现对风机平台上塔架及其悬挂的标志物进行识别；

步骤6：启动对目标位的跟踪和定位，实现目标的锁定；

步骤7：计算参考系下的坐标，输出控制坐标位。

2.根据权利要求1所述的一种基于视觉引导的海上登靠系统自动对接方法，所述的登靠系统，其特征在于：

登靠系统主要由混联机构、检测系统、运动控制系统和电气系统组成；混联机构由上平台三自由度舷梯和六自由度并联平台组成，是海浪主动补偿系统的执行机构，执行元件采用液压缸和液压马达，完成对海浪的运动补偿；检测系统用于检测船体的位置和姿态变化参数，以及混联机构的状态参数，为控制系统提供控制信息反馈；运动控制系统是根据检测系统检测的参数，通过模型解算和运动控制计算，为混联机构提供实时控制量，平稳安全控制执行机构；电气系统为整体机构提供稳定能源电力、人机信息对接和系统参数实时监控等工作；

混联机构由上平台三自由度舷梯和六自由度并联平台组成；上平台三自由度舷梯由具有伸缩功能的廊桥、俯仰机构、回转机构和操作平台组成；六自由度并联平台由六台铰支座与六台伺服油缸构成；上平台三自由度舷梯与六自由度并联平台之间通过铰支座组成；

上平台三自由度舷梯是一种串联机构形式，自下而上依次为回转机构、俯仰机构和伸缩功能的廊桥；上平台三自由度舷梯主要用于舷梯与风机平台的对接，能够补偿较大海浪和海平面在不同季节情况下六自由度并联平台无法补偿的空间位移和航向角度；回转机构具有360°全方位旋转角度，补偿廊桥在航向角度上偏差，以液压马达作为执行元件；俯仰机构能够补偿廊桥在俯仰角度上的偏差，采用双液压缸作为执行元件；伸缩功能的廊桥能补偿空间位移上的偏差，采用直流无刷电机加双向缆绳方式控制廊桥的伸缩；

六自由度并联平台主要执行机构为六台伺服油缸，在计算机控制下，六台伺服油缸协调同步的运动，驱动平台实现海浪主动补偿，并实时的进行故障检测与安全保护，实时的进行运动参数的测试与传输；六台伺服油缸的缸杆端与上铰支座铰接，上铰支座与运动平台下表面固连，伺服油缸缸底与下铰支座铰接，下铰支座与下平台上表面固连；下平台通过地脚螺栓与甲板固连，为运动补偿提供安全可靠的支撑。

3.根据权利要求1所述的一种基于视觉引导的海上登靠系统自动对接方法，所述的基于视觉引导的登靠系统自动对接方法，其特征在于：

首先注意场景中的目标物体、锁定目标物体、估计大概位置，这个过程主要是视觉识别和视觉估计；然后伸展手臂靠近目标物体，这个过程并不需要大量的视觉信息，只需要少量的视觉反馈信息进行比较和矫正，同时还有本体感知信息反馈；最后，在靠近目标物体后主要通过视觉反馈信息的引导，从而伸手进行精确对准，并完成后续的抓取过程；通过视觉识别技术寻找几何形状和颜色等特征信息，从而在视觉场景中选取一个或者多个感兴趣的目标物体，当锁定目标物体后在整个手眼协调过程中对目标物体进行实时视觉跟踪，并对目标物体的大小、深度等信息进行预估；当目标物体被锁定后，由前馈视觉控制登靠系统快速接近目标物体，在这个过程中根据间断的视觉反馈和本体感知反馈信息对轨迹进行细微的矫正；当登靠系统本体和目标物体都一可见并满足预先设定的视差条件的时候，即低值选择器LS判定为低值时，就利用视觉反馈控制来实现目标接近和精确对准。