CN105744229A - 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法 - Google Patents

Abstract

一种基于红外全景环视融合的无人艇自动锚泊系统，包括无人艇中央集控系统和岸基控制系统。采用四个安装在无人艇四周的红外与可见光双通道监控摄像机获取无人艇四周的景物信息，并利用均匀搜索风模型融合可见光和红外图像，最终将四个方向的融合结果拼接在一起，构成平铺展开的红外全景图像。最后，无人艇中央集控系统将无人艇位置、运动轨迹信息、融合全景图像及障碍物信息，传递给岸基控制系统。由操作人员判断无人艇锚泊地点、校正无人艇运动轨迹。本发明能够实现基于光强信息的广阔红外及可见光视角监控，为监控无人艇周围环境提供了方便，同时弥补了无人艇在夜间锚泊的局限性。

Description

基于红外全景环视融合的无人艇自动锚泊系统及其工作方法

技术领域

本发明涉及自动控制领域，尤其涉及一种基于红外全景环视融合的无人艇自动锚泊系统及基于均匀搜索风模型的红外/可见光融合方法。

背景技术

随着经济和社会的发展，无人艇技术运用在军事产业的诸多方面，然而视觉信息是实现环境感知与监控、系统智能的主要技术手段，与传统视觉环境感知系统视场较小不同，全景视觉能够实现水平方向360度，垂直方向240度范围内的大视场监控，其广阔的视角为监控周围环境提供了方便，同时可见光传感器与红外线传感器的双重结合，弥补了无人艇在时间上的局限性。

因此，实有必要提供一种基于红外全景环视融合的无人艇自动锚泊系统及基于均匀搜索风模型的红外/可见光融合方法

发明内容

为了解决上述问题，本发明的一个方面提供一种基于红外全景环视融合的无人艇自动锚泊系统，包括无人艇中央集控系统和岸基控制系统；所述无人艇中央集控系统由光强传感模块、表面流速传感器、无线信号收发器、红外与可见光双通道监控摄像机、图像融合及拼接处理模块、避障模块、锚泊模块、存储模块、电源及GPS模块组成；所述的岸基控制系统由无线信号收发器、显示模块、报警模块组成。

进一步地，所述光强传感模块安装于无人艇艇身的前、后、左、右，通过计算四个方向感知的光强数据，采用加权方法，融合不同位置的光强传感模块的状态信息，获得无人艇环视融合信号。

进一步地，采用四个安装在无人艇四周的红外与可见光双通道监控摄像机获取无人艇四周的景物信息，并利用均匀搜索风模型融合可见光和红外图像，最终将四个方向的融合结果拼接在一起，构成平铺展开的红外全景图像。

进一步地，基于红外全景环视融合的无人艇自动锚泊系统的工作方法包括：所述光强传感器模块通过计算四个方向感知的光强数据，采用加权策略，比较不同时刻、不同位置光强传感模块的状态信息，获得无人艇环视融合信号。所述图像融合及拼接处理模块根据光强传感器信息，判断是否启动红外监控功能。若启动红外监控功能则调用图像融合及拼接处理模块，利用均匀搜索风模型融合可见光和红外图像，最终将四个方向的融合结果拼接在一起，构成平铺展开的红外全景图像。若不需要启动红外监控功能，则只调用拼接处理模块，将无人艇周围的可见光图像进行拼接处理，获得可见光全景图像。

进一步地，所述避障模块是无人艇集控系统通过提取融合全景图像的HOG-CHT组合特征特征，基于障碍物数据库，分析障碍物类型。若有则将信息反馈至岸基控制系统，供操作人员修改锚泊指令。若没有，则继续航行，直到到达指定地点，实现锚泊。

与现有技术相比，本申请具有以下有益效果：本发明基于红外全景环视融合的无人艇自动锚泊系统能够实现基于光强信息的广阔红外及可见光视角监控，为监控周围环境提供了方便，同时弥补了无人艇在夜间锚泊的局限性。

附图说明

图1是本发明基于红外全景环视融合的无人艇自动锚泊系统；

图2是本发明基于全景环视融合的无人艇自动锚泊方法；

图3是本发明HOG-CHT特征的提取过程。

具体实施方式

一种基于红外全景环视融合的无人艇自动锚泊系统，包括无人艇中央集控系统和岸基控制系统。

所述无人艇中央集控系统由至少四个红外及可见光双通道摄像机、光强传感模块、表面流速传感器、无线信号收发器、图像融合及拼接处理模块、避障模块、锚泊模块、存储模块、电源及GPS模块组成。无人艇中央集控系统根据GPS模块根据捕获到的卫星信号，根据定位解算法计算并存储用户所在地理位置的经纬度、深度及无人艇的运动轨迹；同时表面流速传感器获取的海洋流速、流向信息，采用混沌最小二乘支持向量机(Chaos-LSSVM)算法预测下一时刻无人艇的运动方向。

所述光强传感器模块通过计算四个方向感知的光强数据，采用加权策略，比较不同时刻、不同位置光强传感模块的状态信息，获得无人艇环视融合信号。

所述红外及可见光双通道摄像机针对白天、夜晚等不同照明情况下对无人艇四周环境进行图像采集；根据安装于无人艇四周的光强传感模块获取环境光强融合信息，判断是否启动红外摄像功能。当光强融合信息低于预定阈值时，红外摄像功能开始工作。此时，图像融合及拼接处理模块开始运作。

假定L_i(n)为各方向获取的光强信息，其中n代表时刻，i代表四个方向的光强传感模块。则基于光强的无人艇环视融合信号Light(n)为

$Light\left(n\right)=\frac{\sqrt{\underset{i=1}{\overset{4}{\Σ}}{\left(\max L_i\right(n)-\stackrel{\‾}{L_i\left(n\right)})}^2}}{\underset{i=1}{\overset{4}{\Σ}}\max L_i\left(n\right)}---\left(1\right)$

其中，maxL_i(n)为某一时刻，某个方向的光强最大值。n的取值大于等于5。Light(n)的预设阈值为0.037。

所述图像融合及拼接处理模块利用均匀搜索风模型融合可见光和红外图像，最终将四个方向的融合结果拼接在一起，构成平铺展开的红外全景图像。若不需要启动红外监控功能，则只调用拼接处理模块，将无人艇周围的可见光图像进行拼接处理，获得可见光全景图像。基于均匀搜索风模型的红外与可见光图像融合方法如下：首先，采用各类小波变换(例如NSCT)对红外与可见光图像进行分解。分解层数为2层。对于低频子带采用取平均值策略，获得低频融合子带。其次，采用下式获得高频融合子带，加权系数w采用均匀搜索风模型进行优化，核相关性定义如下：

F(A,B)＝wA+(1-w)B(2)

其中，A,B为高频子带块，F(A,B)为为高频子带块的相关系数。初始化加权系数所需的群体规模，定义最大迭代次数、摩擦系数α、风速度矢量u、重力加速度矢量g；然后，随机产生当前状态的初始空气质点群体，并随机分配起始速度和位置；再计算当前迭代中加权系数所产生融合图像的熵即适应度值，并将加权系数按照适应度值重新排列；按照优化的速度和位置更新方程实现加权系数优化：

u_new＝(1-α)u_cur+c[rw_cur+(1-r)w_opt]-gw_cur

w_new＝w_cur+(u_new*c)(3)

其中，w_cur代表质点当前位置即加权系数的当前值，w_new为位置的更新值即加权系数的单次更新值，w_opt为最优位置即最佳加权系数。u_new为速度的更新值，u_cur为速度的当前值。r为符合均匀分布的随机数，其范围在[0,1]；c为学习系数，范围在[1，5]。

最后，对融合后的高低频子带进行逆变换，就可得到融合后的图像。

所述图像拼接处理模块工作方法如下：

首先，所述图像拼接处理模块采用球面坐标定位法，用扫描线逼近法求取鱼眼图像半径、中心点，当所拍摄得到的图像不是标准圆，要通过转换，使图像成为标准圆，并且，用扫描线逼近法在上、下、左、右四个方向上求得边缘切线，该四条边缘切线组成圆形有效区域的外切正方形，求得圆形区域的圆心坐标和半径；对校正后的可见光图像或红外/可见光融合图像进行鸟瞰俯视变换，利用棋盘标定法，因棋盘网格在俯视成像时，网格成方形，在侧视成像时，呈梯形，通过求得梯形到方形的透视变换矩阵，对整幅图像进行透视变换，从而得到鸟瞰俯视图；最后校正后的鸟瞰俯视图像进行视频图像拼接处理，依次实现特征提取、特征匹配、删除误匹配、映射关系求取、拼接图像、拼接缝隙消除。

无人艇中央集控系统同时将无人艇位置、运动轨迹信息及全景图像，传递给岸基控制系统。当所岸基控制系统接收到这些信息后，由操作人员判断是否需要锚泊。若需要锚泊，则调用所述锚泊模块，设定锚泊目标点的经纬度，并根据无人艇位置和运动轨迹信息，实时校正无人艇运动方向。

所述避障模块是无人艇集控系统通过提取全景图像的HOG-CHT组合特征，比对障碍物数据库，判断无人艇的前进方向是否存在障碍物。若有则将障碍物信息反馈至岸基控制系统，供操作人员修改锚泊指令。若没有，则继续航行，直到到达指定地点，实现锚泊。

HOG-CHT组合特征特征提取采用LBP特征的稀疏化方案。首先，引入0-1变换的概念。由0到1或由1到0都认为是一次0-1变换。这样，中心像素点p_c的0-1变换次数u的计算可用下式表示：

$u=|s(p_c-p_7)-s(p_c-p_0)|+\underset{n=0}{\overset{6}{\mathrm{\Σ}}}|s(p_c-p_n)-s(p_c-p_{n+1})|---\left(4\right)$

式中，s(p_c-p_i)表示当前像素点p_c与第i邻域点p_i之间的符号差分值。此时，就可以根据像素点的0-1变换次数来统一化CHT值，如下式所示：

${\mathrm{CHT}}_{N,R}^u=\left\{\begin{array}{cc}\underset{n=1}{\overset{N-1}{\Σ}}s(p_c-p_n)& u\≤2\\ N+1& u>2\end{array}\right.---\left(5\right)$

式中，N为邻域像素点数量通过统计上述稀疏化的CHT值的直方图，便可以得到相应的特征。为了融合HOG和CHT特征，对Block块中的CHT直方图进行L2-norm归一化处理。CHT特征段是在16×16像素尺度的无重叠图像块上提取的，其特征矢量的维度为：8×4×(8+2)＝320。HOG-CHT组合特征的矢量维度为：3780+320＝4100。该维度数只是在HOG特征的基础上稍有增加，在远小于多尺度HOG和原始的CHT特征的条件下，大大地提高了系统的检测性能。后续可采用支持向量机(SVM)、增强算法(Adaboost)和级联分类器从预设的障碍物数据库中比对特征，识别障碍物类型。

无人艇中央集控系统将无人艇位置、运动轨迹信息、全景图像及障碍物类型，传递给岸基控制系统。当所述岸基控制系统接收到这些信息后，由操作人员实时校正无人艇运动方向。

Claims (6)

1.一种基于红外全景环视融合的无人艇自动锚泊系统，其特征在于：包括无人艇中央集控系统和岸基控制系统；所述无人艇中央集控系统包括光强传感模块、表面流速传感器、无线信号收发器、红外与可见光双通道监控摄像机、图像融合及拼接处理模块、避障模块、锚泊模块、存储模块、电源及GPS模块；所述的岸基控制系统包括无线信号收发器、显示模块、报警模块。

2.根据权利要求1所述的基于红外全景环视融合的无人艇自动锚泊系统，其特征在于：所述光强传感模块安装于无人艇艇身的前、后、左、右，通过计算四个方向感知的光强数据，采用加权方法，融合不同位置的光强传感模块的状态信息，获得无人艇环视融合信号。

3.根据权利要求1所述的基于红外全景环视融合的无人艇自动锚泊系统，其特征在于采用四个安装在无人艇四周的红外与可见光双通道监控摄像机获取无人艇四周的景物信息，并利用均匀搜索风模型融合可见光和红外图像，最终将四个方向的融合结果拼接在一起，构成平铺展开的红外全景图像。

4.根据权利要求3所述的基于红外全景环视融合的无人艇自动锚泊系统的工作方法，其特征在于：所述工作方法包括：

所述光强传感器模块通过计算四个方向感知的光强数据，采用加权策略，比较不同时刻、不同位置光强传感模块的状态信息，获得无人艇环视融合信号；所述图像融合及拼接处理模块根据光强传感器信息，判断是否启动红外监控功能；若启动红外监控功能则调用图像融合及拼接处理模块，利用均匀搜索风模型融合可见光和红外图像，最终将四个方向的融合结果拼接在一起，构成平铺展开的红外全景图像；若不需要启动红外监控功能，则只调用拼接处理模块，将无人艇周围的可见光图像进行拼接处理，获得可见光全景图像；

所述避障模块是无人艇集控系统通过提取融合全景图像的HOG-CHT组合特征特征，基于障碍物数据库，分析障碍物类型；若有则将信息反馈至岸基控制系统，供操作人员修改锚泊指令；若没有，则继续航行，直到到达指定地点，实现锚泊；

所述无人艇中央集控系统将无人艇位置、运动轨迹信息、全景图像及障碍物类型，传递给岸基控制系统；当所述岸基控制系统接收到这些信息后，由操作人员实时校正无人艇运动方向。

5.根据权利要求4所述的基于红外全景环视融合的无人艇自动锚泊系统的工作方法，其特征在于：基于加权策略的光强信息融合方法；该方法工作过程如下：

假定L_i(n)为各方向获取的光强信息，其中n代表时刻，i代表四个方向的光强传感模块；则基于光强的无人艇环视融合信号Light(n)为

$Light\left(n\right)=\frac{\sqrt{\underset{i=1}{\overset{4}{\Σ}}{\left(\max L_i\left(n\right)-\stackrel{\‾}{L_i\left(n\right)}\right)}^2}}{\underset{i=1}{\overset{4}{\Σ}}\max L_i\left(n\right)}$

其中，maxL_i(n)为某一时刻，某个方向的光强最大值；n的取值大于等于5。

6.根据权利要求5所述的基于红外全景环视融合的无人艇自动锚泊系统的工作方法，其特征在于：基于红外全景环视融合的无人艇自动锚泊系统的工作方法还包括基于均匀搜索风模型的红外与可见光图像融合方法，其工作过程如下：基于均匀搜索风模型的红外与可见光图像融合方法如下：首先，采用各类小波变换对红外与可见光图像进行分解；分解层数为2层；对于低频子带采用取平均值策略，获得低频融合子带；其次，采用下式获得高频融合子带，加权系数w采用均匀搜索风模型进行优化：

F(A,B)＝wA+(1-w)B

其中，A,B分别为红外与可见光图像的高频子带，F(A,B)为为高频子带块的相关系数；初始化加权系数所需的群体规模，定义最大迭代次数、摩擦系数α、风速度矢量u、重力加速度矢量g；然后，随机产生当前状态的初始空气质点群体，并随机分配起始速度和位置；再计算当前迭代中加权系数所产生融合图像的熵即适应度值，并将加权系数按照适应度值重新排列；按照优化的速度和位置更新方程实现加权系数优化：

u_new＝(1-α)u_cur+c[rw_cur+(1-r)w_opt]-gw_cur

w_new＝w_cur+(u_new*c)

其中，w_cur代表质点当前位置即加权系数的当前值，w_new为位置的更新值即加权系数的单次更新值，w_opt为最优位置即最佳加权系数；u_new为速度的更新值，u_cur为速度的当前值；r为符合均匀分布的随机数，其范围在[0,1]；c为学习系数，范围在[1，5]；

最后，达到最大迭代次数或迭代停止条件，停止优化、完成融合。