CN109298630A - 一种无人船用低成本光电吊舱的光学辅助稳像技术 - Google Patents

Abstract

本发明公开了一种无人船用低成本光电吊舱的光学辅助稳像技术，属于智能船舶技术领域。尤其是涉及一种无人船利用光学图像中的显著特征实现对光电吊舱的反馈控制，从而有效提高低成本光电吊舱的稳像性能的技术。针对低成本光电吊舱常常出现的平衡点漂移、稳定精度差的问题，本发明实现了光电吊舱姿态角的附加反馈控制回路，首先，利用光电吊舱中的光学成像设备采集图像，通过检测光学图像中的显著特征计算光电吊舱的角度偏差；然后，将角度偏差作为反馈控制的输入，使光电吊舱姿态角稳定在期望值。本发明能够有效提高低成本光电吊舱的稳像性能。

Description

一种无人船用低成本光电吊舱的光学辅助稳像技术

技术领域

本发明属于智能船舶技术领域，具体涉及一种无人船用低成本光电吊舱的光学辅助稳像技术。

背景技术

近年来，随着无人船技术的出现和日趋发展完善，未来的海上交通方式和海洋观测手段面临着重大的变革，将对我国海洋科学研究、国民经济发展和社会进步产生重要而深远的影响。针对实际海洋环境中的应用需求，无人船可配置航海雷达、激光雷达、光学成像设备、声呐等各种类型传感器，用于获取周围一定范围内的环境、目标、障碍物等信息，自主完成目标认知、环境建模、危险规避、路径规划、自主决策等智能行为，能够执行海上货物运输、事故人员搜救、水文气象监测、海洋生态研究等各类任务。

与其它类型传感器相比，光学成像设备具有采集频率高、分辨能力强等优点，其成像原理与生物视觉系统十分相似，因此获取的图像或视频能够真实地反映环境和目标的外观形态，有利于操作人员对无人船周围情况进行实时监测。然而，无人船在实际海洋环境中航行时会受到海况的影响，常常会出现剧烈颠簸或大幅度摇荡，从而造成光学成像设备采集的图像或视频也出现剧烈的抖动或大幅度运动，对无人船的自主认知行为和操作人员的实时监测形成非常不利的影响。光电吊舱的应用能够较好地解决这种问题，它集成了光学成像设备和伺服稳定机构，伺服稳定机构能够对各空间方向上的角速度和线速度进行补偿，使光学成像设备能够保持稳定的位置和姿态，显著改善获取的图像或视频的稳定性。

显然，光电吊舱的稳定性能主要取决于伺服稳定机构，而伺服稳定机构的性能又主要取决于速度传感器的精度和补偿控制算法，在补偿控制算法日趋成熟的情况下，速度传感器的精度成为了决定光电吊舱稳定性能的关键。目前，光电吊舱的速度传感器主要采用光纤陀螺仪、微机械陀螺仪等，其中光纤陀螺仪的精度较高，但造价比较昂贵，而微机械陀螺仪构造简单，成本低廉，但精度较差。由于光学成像设备的成本越来越低，速度传感器占据了光电吊舱的大部分成本，因此目前低成本光电吊舱几乎都使用了微机械陀螺仪，但同时也存在平衡点漂移、稳定精度差的缺点。

无人船的研制和设计需要综合考虑需求、成本、功耗、体积、重量等各种因素，低成本光电吊舱是其中一种经常采用的可选传感器，但其平衡点漂移、稳定精度差等缺点导致无人船在航行过程中，时常需要操作人员调整光电吊舱的姿态，增加了对无人船的操作频率，降低了其自主性水平，使无人船无法脱离操作人员的干预而完全独立运行，尤其是在较恶劣的海况下，无人船处于剧烈颠簸或大幅度摇荡状态时，操作人员通过远程干预使光电吊舱保持稳定是不可能实现的任务。

针对这种问题，本发明提供了一种无人船用低成本光电吊舱的光学辅助稳像技术，利用光电吊舱中的光学成像设备采集图像，通过检测光学图像中的显著特征计算光电吊舱的角度偏差，并作为PID(比例-积分-微分)控制器的输入对光电吊舱的姿态角进行反馈控制，从而使光电吊舱的姿态角稳定在期望值，有效提高低成本光电吊舱的稳像性能。

[1]金铭.基于DSP光电吊舱控制系统设计[D].沈阳航空航天大学,2017

[2]叶涛.基于FPGA的无人机光电吊舱控制系统设计与实现[D].中北大学,2016

[3]徐贤玉.船载光电平台伺服稳像方法设计及实现[D].南京理工大学,2014

[4]雷琼莹，金伟其，郭宏，等.基于MEMS陀螺仪及压电微摆镜的光机电联合稳像技术[J].红外技术,2018,40(04):332-337

[5]赵薇.基于高精度舰载光电稳定跟踪伺服系统的复用技术研究[D].哈尔滨工程大学,2017

[6]赖宏焕.船载稳像系统的设计与实现[D].浙江工业大学,2016

[7]王洪.航空光电平台图像稳定技术研究[D].中国科学院研究生院(长春光学精密机械与物理研究所),2012

[8]张龙浩，徐梁，杜明昊，赵胜斌，沈腾.一种两轴四框光电吊舱自动陀螺漂移补偿的实现方法[P].中国发明专利，CN106441366A，2017-02-22

[9]林春生，屈立辉，陈潇，周宝藏.一种机载双光合一的光电吊舱及其控制方法[P].中国发明专利，CN106184792A，2016-12-07

[10]马贺平，王坚，季晟.一种机载光电吊舱的稳定平台[P].中国发明专利，CN105947227A，2016-09-21

[11]季东，陈冬，王华培，张海波.一种两轴四框架光电吊舱的伺服控制方法及系统[P].中国发明专利，CN104635746A，2015-05-20

发明内容

本发明的目的在于提供无人船利用光学图像中的显著特征实现对光电吊舱的反馈控制，从而有效提高低成本光电吊舱的稳像性能的一种无人船用低成本光电吊舱的光学辅助稳像技术。

本发明的目的通过如下技术方案来实现：

针对低成本光电吊舱常常出现的平衡点漂移、稳定精度差的问题，利用光电吊舱中的光学成像设备采集图像，通过检测光学图像中的显著特征计算光电吊舱的角度偏差，将角度偏差作为PID控制器的输入，建立光电吊舱姿态角的附加反馈控制回路，从而使光电吊舱的姿态角稳定在期望值，有效提高低成本光电吊舱的稳像性能。

能够采用光学辅助稳像技术的无人船用低成本光电吊舱的组成结构包括：

水平伺服稳定机构，包括水平陀螺仪、水平伺服控制模块、水平驱动机构和水平角编码器；俯仰伺服稳定机构，包括俯仰陀螺仪、俯仰伺服控制模块、俯仰驱动机构和俯仰角编码器；光学成像设备，主要用于采集光学图像、视频等，将光学信息转换为可存储、传输和处理的数字信息；数据和指令通信模块，主要收集并输出各传感器数据，输入并分发控制指令。

一种无人船用低成本光电吊舱的光学辅助稳像技术，包括以下步骤：

(1)标定光电吊舱中光学成像设备，得到其内部成像参数；

(2)光电吊舱采集无人船表面的光学图像，检测图像中的尺度不变特征变换和加速稳健特征的特征点，建立这些特征点与光电吊舱水平角对应关系的特征库；

(3)光学成像设备采集一帧光学图像；

(4)检测光学图像中无人船表面的尺度不变特征变换和加速稳健特征的特征点作为水平特征，与特征库进行匹配确定水平角，同时检测光学图像中水面区域界线，根据该界线在图像中的位置计算出俯仰角；

(5)参考光电吊舱姿态角的期望值，计算水平角偏差和俯仰角偏差；

(6)分别对水平角和俯仰角进行比例-积分-微分控制，使光电吊舱姿态角达到期望值附近的稳定状态；

(7)根据控制指令判断是否结束辅助稳像，若否转至步骤(3)，若是则本流程运行结束。

步骤(2)所述的特征库，可表示为集合：

其中：

(x_i,y_i)表示索引号为i的特征点在光学图像中的横坐标为x_i，纵坐标为y_i；

f_i表示索引号为i的特征点的SIFT或SURF特征向量；

α_i表示索引号为i的特征点对应的光电吊舱水平角；

表示自然数集合。

步骤(4)所述的与特征库进行特征向量的匹配，将完成匹配的特征点表示为集合：

其中：

j是完成匹配的特征点的索引号；

光电吊舱水平角的计算方法表示为：

其中：

x_O表示光轴中心在图像中的横坐标，通过光学成像设备的标定得到；

|x_j-x_O|^-1表示x_j-x_O的绝对值取倒数；

同时需要检测光学图像I中水面区域界线，采用直线或线段检测算法得到该界线的方程：

其中：

x和y分别表示界线方程的横坐标变量和纵坐标变量；

和分别表示界线方程的斜率和截距；

光电吊舱俯仰角的计算方法表示为：

其中：

y_O表示光轴中心在图像中的纵坐标，通过光学成像设备的标定得到；

β_I表示光学成像设备在垂直面内的视场角，可通过标定得到；

h_I表示光学图像I的高度。

本发明在技术方面的有益效果在于：

(1)本发明中，通过光学成像设备的标定和建立特征库，能够根据检测到的显著特征计算精确的姿态角，避免了光电吊舱中的角编码器由于机械装配、长期磨损等问题产生的累积误差；

(2)本发明中，光电吊舱姿态角的偏差作为PID控制器的输入，分别对水平角和俯仰角进行PID控制，能够使姿态角快速达到期望值附近的稳定状态，具有结构简单可靠、响应速度快等优点；

(3)本发明中，将光学图像中的显著特征检测与PID控制器结合，建立光电吊舱姿态角的附加反馈控制回路，能够在无人船航行过程中使光电吊舱姿态角长时间稳定在期望值附近，有效提高低成本光电吊舱的稳像性能。

附图说明

图1为无人船用低成本光电吊舱组成结构示意图；

图2为低成本光电吊舱的光学辅助稳像流程图；

图3为光电吊舱姿态角的PID控制示意图；

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

本发明的目的是提供一种无人船用低成本光电吊舱的光学辅助稳像技术，针对低成本光电吊舱常常出现的平衡点漂移、稳定精度差的问题，利用光电吊舱中的光学成像设备采集图像，分别检测光学图像中的水平特征和俯仰特征，通过水平特征与特征库的匹配，以及俯仰特征在图像中的位置，计算光电吊舱姿态角的偏差，并作为PID控制器的输入，建立光电吊舱姿态角的附加反馈控制回路，从而使光电吊舱的姿态角稳定在期望值，有效提高低成本光电吊舱的稳像性能。

结合图1，能够采用光学辅助稳像技术的无人船用低成本光电吊舱的组成结构包括：

(1)水平伺服稳定机构，包括水平陀螺仪、水平伺服控制模块、水平驱动机构和水平角编码器，其中水平陀螺仪主要用于测量光电吊舱在水平面内的角速度，水平伺服控制模块内部集成了水平角速度补偿控制算法，用于控制水平驱动机构使光电吊舱以相反角速度运动，从而使光电吊舱保持水平角稳定，水平角编码器主要用于测量光电吊舱姿态的水平角；

(2)俯仰伺服稳定机构，包括俯仰陀螺仪、俯仰伺服控制模块、俯仰驱动机构和俯仰角编码器，其中俯仰陀螺仪主要用于测量光电吊舱在垂直面内的角速度，俯仰伺服控制模块内部集成了俯仰角速度补偿控制算法，用于控制俯仰驱动机构使光电吊舱以相反角速度运动，从而使光电吊舱保持俯仰角稳定，俯仰角编码器主要用于测量光电吊舱姿态的俯仰角；

(3)光学成像设备，主要用于采集光学图像、视频等，将光学信息转换为可存储、传输和处理的数字信息；

(4)数据和指令通信模块，主要收集并输出光学成像设备采集的图像或视频、陀螺仪测得的角速度和编码器测得的姿态角，输入并分发光电吊舱姿态角的设定值、光学成像设备的工作参数等。

结合图2，实现本发明目的的具体实施步骤如下：

第一步，采用张正友标定法对光电吊舱中的光学成像设备进行标定，得到其视场角、焦距、光轴中心、畸变率等内部成像参数；

第二步，光电吊舱采集无人船表面的光学图像，检测图像中的SIFT和SURF特征点，每个特征点的特征向量都是唯一不可重复的，各特征点与无人船表面位置存在一一对应关系，而每个无人船表面位置都对应唯一的光电吊舱水平角数值，因此通过实际标定和测量可以建立SIFT、SURF特征点与光电吊舱水平角对应关系的特征库，可表示为集合：

其中：

(x_i,y_i)表示索引号为i的特征点在光学图像中的横坐标为x_i，纵坐标为y_i；

f_i表示索引号为i的特征点的SIFT或SURF特征向量；

α_i表示索引号为i的特征点对应的光电吊舱水平角；

表示自然数集合；

第三步，光学成像设备采集一帧光学图像I；

第四步，检测光学图像I中无人船表面的SIFT和SURF特征点，采用最近邻算法与特征库进行特征向量的匹配，将完成匹配的特征点表示为集合：

其中：

j是完成匹配的特征点的索引号；

光电吊舱水平角的计算方法表示为：

其中：

x_O表示光轴中心在图像中的横坐标，通过光学成像设备的标定得到；

|x_j-x_O|^-1表示x_j-x_O的绝对值取倒数；

同时需要检测光学图像I中水面区域界线，通常表现为水天线或者水岸线，可以采用直线或线段检测算法得到该界线的方程：

其中：

x和y分别表示界线方程的横坐标变量和纵坐标变量；

和分别表示界线方程的斜率和截距；

光电吊舱俯仰角的计算方法表示为：

其中：

y_O表示光轴中心在图像中的纵坐标，通过光学成像设备的标定得到；

β_I表示光学成像设备在垂直面内的视场角，可通过标定得到；

h_I表示光学图像I的高度；

第五步，参考光电吊舱姿态角的期望值，计算出水平角偏差Δα和俯仰角偏差Δβ；

第六步，将水平角偏差Δα和俯仰角偏差Δβ分别作为水平角PID控制器和俯仰角PID控制器的输入，向光电吊舱以指令形式输出控制量(如图3所示)，使光电吊舱姿态角达到期望值附近的稳定状态；

第七步，根据控制指令判断是否结束辅助稳像，若否转至第三步，若是则本流程运行结束。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种无人船用低成本光电吊舱的光学辅助稳像技术，其特征在于，包括以下步骤：

(1)标定光电吊舱中光学成像设备，得到其内部成像参数；

(2)光电吊舱采集无人船表面的光学图像，检测图像中的尺度不变特征变换和加速稳健特征的特征点，建立这些特征点与光电吊舱水平角对应关系的特征库；

(3)光学成像设备采集一帧光学图像；

(4)检测光学图像中无人船表面的尺度不变特征变换和加速稳健特征的特征点作为水平特征，与特征库进行匹配确定水平角，同时检测光学图像中水面区域界线，根据该界线在图像中的位置计算出俯仰角；

(5)参考光电吊舱姿态角的期望值，计算水平角偏差和俯仰角偏差；

(6)分别对水平角和俯仰角进行比例-积分-微分控制，使光电吊舱姿态角达到期望值附近的稳定状态；

(7)根据控制指令判断是否结束辅助稳像，若否转至步骤(3)，若是则本流程运行结束。

2.根据权利要求1所述的一种无人船用低成本光电吊舱的光学辅助稳像技术，其特征在于，步骤(2)所述的特征库，可表示为集合：

其中：

(x_i,y_i)表示索引号为i的特征点在光学图像中的横坐标为x_i，纵坐标为y_i；

f_i表示索引号为i的特征点的SIFT或SURF特征向量；

α_i表示索引号为i的特征点对应的光电吊舱水平角；

表示自然数集合。

3.根据权利要求1所述的一种无人船用低成本光电吊舱的光学辅助稳像技术，其特征在于，步骤(4)所述的与特征库进行特征向量的匹配，将完成匹配的特征点表示为集合：

其中：

j是完成匹配的特征点的索引号；

光电吊舱水平角的计算方法表示为：

其中：

x_O表示光轴中心在图像中的横坐标，通过光学成像设备的标定得到；

|x_j-x_O|^-1表示x_j-x_O的绝对值取倒数；

同时需要检测光学图像I中水面区域界线，采用直线或线段检测算法得到该界线的方程：

其中：

x和y分别表示界线方程的横坐标变量和纵坐标变量；

和分别表示界线方程的斜率和截距；

光电吊舱俯仰角的计算方法表示为：

其中：

y_O表示光轴中心在图像中的纵坐标，通过光学成像设备的标定得到；

β_I表示光学成像设备在垂直面内的视场角，可通过标定得到；

h_I表示光学图像I的高度。