CN105741234A - 基于三维全景环视的无人艇自动锚泊视觉辅助系统 - Google Patents

Abstract

一种基于三维全景环视的无人艇自动锚泊视觉辅助系统，其特征在于：所述基于三维全景环视的无人艇自动锚泊视觉辅助系统包括无人艇视频图像全景环视系统及自动锚泊避碰系统；所述无人艇视频图像全景环视系统包括实时采集无人艇环境视频信息的至少四个安装于无人艇上的摄像机、实时采集摄像机视频信息的采集卡、与视频采集卡连接的DSP中央控制模块、安装在无人艇四个方向上用于无人艇避碰的毫米波测距雷达，所述的无人艇视频图像全景环视系统包括视频校正模块和基于非局部Tetrolet变换的多视频融合拼接模块。通过本发明三维全景环视的无人艇自动锚泊视觉辅助系统能够实现广阔的视角监控，为监控周围环境提供了方便。

Description

基于三维全景环视的无人艇自动锚泊视觉辅助系统

技术领域

本发明涉及自动控制领域，尤其涉及一种基于三维全景环视的无人艇自动锚泊视觉辅助系统。

背景技术

随着经济和社会的发展，无人艇技术运用在军事产业的诸多方面，然而视觉信息是实现环境感知与监控、系统智能的主要技术手段，与传统视觉环境感知系统视场较小不同，全景视觉能够实现水平方向360度，垂直方向240度范围内的大视场监控，其广阔的视角为监控周围环境提供了方便。同时，集成二维地图等空间位置信息的视频系统解决方案正逐步走向成熟。与传统的单纯获取监控目标的实时音频、视频信息的视频监控系统相比，继承了三维空间信息的三维视频监控系统在增强用户空间意识、辅助用户应急决策等方面将发挥更大的作用。

因此，实有必要提供一种基于三维全景环视的无人艇自动锚泊视觉辅助系统。

发明内容

为了解决上述问题，本发明的一个方面提供一种基于三维全景环视的无人艇自动锚泊视觉辅助系统，所述基于三维全景环视的无人艇自动锚泊视觉辅助系统包括无人艇视频图像全景环视系统、自动锚泊避碰系统；所述无人艇视频图像全景环视系统包括实时采集无人艇周围环境视频信息的至少四个安装于无人艇上的摄像机、实时采集摄像机视频信息的采集卡、与视频采集卡连接的DSP控制器、安装在无人艇四个方向上用于无人艇避碰的毫米波测距雷达，所述的无人艇视频图像全景环视系统包括视频校正模块和基于非局部Tetrolet变换的多视频融合拼接模块。

进一步地，所述摄像机为鱼眼摄像机。

进一步地，所述预设参数为基于能量关联度的无人艇避碰区域范围及风模型的初始参数。

进一步地，预先在DSP控制器中设定无人艇避碰区域，通过采集安装在无人艇前、后、左、右四个方向上的毫米波测距雷达信息，基于能量关联度判断无人艇是否可进行安全锚泊；若在无人艇避碰区域内，毫米波测距雷达未侦测到障碍物，则基于三维全景环视的无人艇自动锚泊视觉辅助系统启动标定模式；四路鱼眼摄像机采集无人艇周围视频信息，并将视频信息提供给DSP控制器；DSP控制器收到视频信息后，首先根据各海天线夹角进行图像校正，并采用非局部Tetrolet变换、区域加权原则及风模型，获得四路视频图像的融合拼接结果，生成映射表格，并存入Flash闪卡内，DSP控制器从Flash闪存中读出存储的全景图像映射表，并根据映射关系，将从DDR取出对应像素点重新排列，构成虚拟全景视图，为无人艇自动锚泊系统服务。

进一步地，所述DSP控制器通过查询映射表，完成从四路鱼眼摄像机采集到的视频图像到全景环视图像的转换，并对转换过程中缺失的像素采用双线性插值法进行补齐，最后视频传输给无人艇自动锚泊系统。

进一步地，基于三维全景环视的无人艇自动锚泊视觉辅助系统的工作方法包括视频图像校正方法和基于非局部Tetrolet变换的多视频融合拼接模块，所述视频图像校正和融合拼接方法包括以下步骤：

将实时获取的四路鱼眼摄像机某一帧视频图像缩小至16*16大小，进行二值化并提取四幅图像海天线的位置。其次，依据无人艇前视图像中的海天线建立坐标系，将四幅海天线叠加，计算各海天线与前视海天线间的夹角，对三路路摄像机视频图像进行旋转校正。

对旋转后的四路视频图像进行Harris角点检测，然后利用SIFT算法匹配特征点，生成特征描述子，最后根据生成的描述子重构出配准图像。接着基于amoebas形态距离确定相似图像块的主要搜索方向，构造相似图像块群组，并采用Tetrolet变换的拼板选取条件，构建相似图像块拼板集合，并以熵为代价函数，确定最终分解层数，最终实现四路视频图像的非局部Tetrolet分解。

低频子带图像采用区域加权平均融合，同时基于风模型优化加权系数，融合四路图像的高频子带图像，并通过Tetrolet逆变换得到融合后且已平铺展开的三维全景环视图像。

进一步地，所述基于非局部Tetrolet的视频图像分解变换包括以下步骤：构造amoebas形态距离；确定主要搜索方向，构造相似图像块群组；获取Tetrolet变换拼板，并以熵为代价函数，确定最终分解层数。

进一步地，基于风模型的高频子带图像融合方法包括以下步骤：对高频子带区域进行分块，计算对应块之间的相关性。基于相关性定义加权系数，并采用高频子带加权的方式融合图像。加权系数采用风模型进行优化；初始化加权系数所需的群体规模，定义最大迭代次数、摩擦系数、风速度矢量、重力加速度矢量。随机产生当前状态的初始空气质点群体，并随机分配起始速度和位置；计算当前迭代中加权系数所产生融合图像的空间频率值即适应度值，并将加权系数按照适应度值重新排列；按照优化的速度和位置更新方程实现加权系数优化；达到最大迭代次数或迭代停止条件，则停止优化、完成融合。

与现有技术相比，本申请具有以下有益效果：本申请三维全景环视的无人艇自动锚泊视觉辅助系统能够实现广阔的视角监控，为监控周围环境提供了方便。

附图说明

图1为本申请无人艇自动锚泊视觉辅助系统结构图；

图2为本申请无人艇自动锚泊视觉辅助工作流程图；

图3本申请实施例中海天线夹角获取示意图；

图4是本申请实施例中的amoebas形态距离示意图；

图5是本发明实施例中的风模型高频子带融合流程图。

具体实施方式

本申请实施例中的技术方案为总体思路如下：

本申请为一种基于三维全景环视的无人艇自动锚泊视觉辅助系统，所述基于三维全景环视的无人艇自动锚泊视觉辅助系统包括无人艇视频图像全景环视系统及自动锚泊避碰系统。如图1所示，所述无人艇视频图像全景环视系统包括实时采集无人艇周围环境视频信息的至少四个安装于无人艇10上的摄像机1、实时采集摄像机1视频信息的采集卡、与视频采集卡连接的DSP控制器、安装在无人艇10的四个方向上用于无人艇避碰的毫米波测距雷达2，所述摄像机1为鱼眼摄像机，所述无人艇视频图像全景环视系统还包括图像校正模块和基于非局部Tetrolet变换的多视频融合拼接模块。

为了更好的理解上述技术方案，下面将结合图2至图5以及具体的实施方式进行详细的说明。

(1)毫米波雷达测距

采集四个毫米波测距雷达2信号。定义单个毫米波雷达距离量为L_i(n)，其中，i代表毫米波雷达位置，取值范围为[0，4]，n代表当前时刻。经过测量后选择当前时刻前五个数据(含当前数据)，计算距离离散频谱可由下式表示：

$F_i\left(n\right)=\underset{k\∈\[N-5,N\]}{\mathrm{\Σ}}{L}_i\left(k\right)e^{-j\frac{2\mathrm{\π}}{N}kn}$

然后利用下面公式计算相邻两时刻的频谱能量关联度：

$E_i=\frac{\left(F_i\right(n)-F_i(n-1\left)\right)}{\sqrt{{\left(F_i\right(n\left)\right)}^2+{\left(F_i\right(n-1\left)\right)}^2}}$

如果能量关联度大于预先设定的避碰范围，则认为不适合自动锚泊。

(2)将实时获取的四路鱼眼摄像机某一帧视频图像缩小至16×16大小，进行二值化并提取四幅图像海天线的位置。即将视频图像灰度化，灰度范围为[0，255]，然后基于图像块区域，依据清晰度设定动态阈值，最后在二值化。清晰度测量公式SML为

$SML\left(f\right(x,y\left)\right)=\underset{w=-W}{\overset{W}{\mathrm{\Σ}}}\underset{H}{\overset{H}{\mathrm{\Σ}}}\[ML\left(f\right(x+w,j+h\left)\right)\]$

ML(f(x,y))＝|2f(x,y)-f(x-1,y)-f(x+1,y)|+|2f(x,y)-f(x,y-1)-f(x,y-1)|

式子中f(x,y)为图像灰度值，参数W,H为图像块大小。w,h为移动步长。

依据上面公式同时计算整个图像的清晰度，依据区域清晰度与整体清晰度的百分比来设定块内的动态阈值。最终进行二值化，并采用递归边界跟踪方法确定海天线。

(3)依据无人艇10前视图像中的海天线建立坐标系，将海天线叠加，计算各海天线与前视海天线间的夹角，对三路路摄像机1的视频图像进行旋转校正。

(4)对旋转后的四路视频图像进行Harris角点检测，然后利用SIFT算法匹配特征点，生成特征描述子，最后根据生成的描述子重构出配准图像。

(5)基于非局部Tetrolet对配准后的图像进行分解，即基于amoebas形态距离确定相似图像块的主要搜索方向，构造相似图像块群组。

以参考像素点x₁为中心，设定amoebas形态距离的计算区域为5×5方形区域。S为3×3图像块，代表像素灰度值或亮度值。

ii.根据图3箭头方向，计算8个方向的amoebas形态距离，即，

$d_t=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}C(x_i,x_{i+1}),t=0,1,2...7,$

其中， $C(x_1,x_2)=\underset{r\∈S}{\mathrm{\Σ}}g\left(r\right)\left|\right|I\[x_1-r\]-I\[x_2-r\]\left|\right|$ 为像素x₁,x₂之间的块匹配距离，用以衡量相邻像素点间的结构相似性。

$C(x_2,x_3)=\frac{1}{2}\left(\right|I\left(x_2\right)-I\left(x_3\right)\left|\right)\×\left|\right|x_2-x_3\left|\right|,$ 其中|I(x₂)-I(x₃)|为像素灰度差或亮度差；||x₂-x₃||为像素点x₂,x₃间的空间距离。

g(r)为核函数，是衡量特征方向信息,描述结构相似性准确与否的关键，初始设定为标准高斯核函数，I代表像素灰度值或亮度值，|I(x₂)-I(x₃)|为像素灰度差或亮度差，||x₂-x₃||为像素点x₂、x₃间的空间距离，g(r)为核函数，是衡量特征方向信息，描述结构相似性准确与否的关键，初始设定为标准高斯核函数，S为3×3图像块。r为窗口移动步长。

iii.将d₀...d₇排序，选取amoebas形态距离较小的3个方向作为相似图像块主要的搜索方向(d越小，相邻结构特征越相似)。

iv.以参考像素点x₁为中心，在搜索区域为21×21的方形范围内，基于结构相似度对相似图像块进行分组、匹配。本申请中采用的结构相似度考虑了噪声对图像结构特征的影响，并将其定义如下：

$SSIM(Z_{x_R},Z_x)=\frac{(2{\mathrm{\μ}}_{Z_{x_R}}{\mathrm{\μ}}_{Z_x}+c_1)(2{\mathrm{\σ}}_{Z_{x_R}{Z}_x}+c_2)}{({\mathrm{\μ}}_{Z_{x_R}}^2+{\mathrm{\μ}}_{Z_x}^2+c_1)({\mathrm{\σ}}_{Z_{x_R}}^2+{\mathrm{\σ}}_{Z_x}^2-\sqrt{2}{\mathrm{\σ}}_{estimate}^2+c_2)},$

其中，Z_x为参考图像块和相邻图像块，

为两图像块灰度均值，

分别为两图像块的方差，协方差及噪声方差的估计值。

为防止结构相似度无解，加入常数c₁,c₂，其值在0.1～0.5间选择。本申请中选定c₁＝c₂＝0.5。

并采用Tetrolet变换的拼板选取条件，构建相似图像块拼板集合，并以熵为代价函数，确定最终分解层数，最终实现四路视频图像的非局部Tetrolet分解。

(6)低频子带图像采用区域加权平均获得低频融合子带。

(7)对高频子带区域进行分块，计算对应块之间的相关性。基于相关性定义加权系数，并采用高频子带加权的方式融合图像，相关性定义如下：

$corr(A,B)=\frac{\frac{\stackrel{\‾}{A}}{\stackrel{\‾}{B}}\·\underset{x,y}{\mathrm{\Σ}}\left(A\right(x,y)-\stackrel{\‾}{A})\left(B\right(x,y)-\stackrel{\‾}{B})}{\sqrt{\underset{x,y}{\mathrm{\Σ}}{\left(A\right(x,y)-\stackrel{\‾}{A})}^2}\·\sqrt{\underset{x,y}{\mathrm{\Σ}}{\left(B\right(x,y)-\stackrel{\‾}{B})}^2}}$

其中A,B为高频子带块，(x,y)为对应位置，corr(A,B)为 $\stackrel{\‾}{A},\stackrel{\‾}{B}$ 的相关系数。为高频子带块A,B的系数平均值。融合后的高频子带为：

G_fuse＝w·A+(1-w)·B

其中，G_fuse为融合后的高频子带块，

w为加权系数，定义为

$w=0.5+0.25*\sqrt{corr(A,B)}$

(8)加权系数采用风模型进行优化；

初始化加权系数所需的群体规模，定义最大迭代次数、摩擦系数α、风速度矢量u、重力加速度矢量g。随机产生当前状态的初始空气质点群体，并随机分配起始速度和位置；计算当前迭代中加权系数所产生融合图像的空间频率值即适应度值。并将加权系数按照适应度值重新排列；按照优化的速度和位置更新方程实现加权系数优化；达到最大迭代次数或迭代停止条件，则停止优化、完成融合。速度方程和位置更新方程如下所示：

$u_{new}=(1-\mathrm{\α})u_{cur}-{\mathrm{gx}}_{cur}+\[0.2\×\left|\frac{1}{i}\right|(x_{opt}-x_{cur})\]$

x_new＝x_cur+(u_new*1)

其中，x_cur代表质点当前位置即加权系数的当前值，x_new为位置的更新值即加权系数的单次更新值，x_opt为最优位置即最佳加权系数。u_new为速度的更新值，u_cur为速度的当前值。i为常数。

Claims (8)

1.一种基于三维全景环视的无人艇自动锚泊视觉辅助系统，其特征在于，所述基于三维全景环视的无人艇自动锚泊视觉辅助系统包括无人艇视频图像全景环视系统及自动锚泊避碰系统；所述无人艇视频图像全景环视系统包括实时采集无人艇周围环境视频信息的至少四个安装于无人艇上的摄像机、实时采集摄像机视频信息的采集卡、与视频采集卡连接的DSP控制器、安装在无人艇四个方向上用于无人艇避碰的毫米波测距雷达，所述的无人艇视频图像全景环视系统还包括视频校正模块和基于非局部Tetrolet变换的多视频融合拼接模块。

2.根据权利要求1所述的基于三维全景环视的无人艇自动锚泊视觉辅助系统，其特征在于，所述摄像机为鱼眼摄像机。

3.根据权利要求1所述的基于三维全景环视的无人艇自动锚泊视觉辅助系统，其特征在于，所述自动锚泊避碰系统采用四个安装在无人艇前、后、左、右的毫米波测距雷达，测距范围为1公里。

4.一种基于三维全景环视的无人艇自动锚泊视觉辅助系统的工作方法，其特征在于，所述基于三维全景环视的无人艇自动锚泊视觉辅助系统的工作方法包括以下步骤：

预先在DSP控制器中设定无人艇避碰区域；

通过采集安装在无人艇前、后、左、右四个方向上的毫米波测距雷达信息，基于能量关联度判断无人艇是否可进行安全锚泊；

若在无人艇避碰区域内，毫米波测距雷达未侦测到障碍物，则基于三维全景环视的无人艇自动锚泊视觉辅助系统启动，四路鱼眼摄像机采集无人艇周围视频信息，并将视频信息提供给DSP控制器；DSP控制器收到视频信息后，首先根据各图像的海天线夹角进行图像校正，并采用非局部Tetrolet变换、区域加权原则及风模型，获得四路视频图像的高低频子带融合结果，生成映射表格，并存入Flash闪卡内；

DSP控制器从Flash闪存中读出存储的全景图像映射表，并根据映射关系，将从DDR取出对应像素点重新平铺排列，构成虚拟全景视图，为无人艇自动锚泊系统服务。

5.根据权利要求5所述的基于三维全景环视的无人艇自动锚泊视觉辅助系统的工作方法，其特征在于，DSP控制器通过查询映射表，完成从四路鱼眼摄像机采集到的视频图像到全景环视图像的转换，并对转换过程中缺失的像素采用双线性插值法进行补齐，最后传输给无人艇自动锚泊系统。

6.根据权利要求5所述的基于三维全景环视的无人艇自动锚泊视觉辅助系统的工作方法，其特征在于，基于三维全景环视的无人艇自动锚泊视觉辅助系统的工作方法包括视频图像校正方法和基于非局部Tetrolet变换的多视频融合拼接模块，所述视频图像校正和拼接方法包括以下步骤：

首先，将实时获取的四路鱼眼摄像机某一帧视频图像缩小至16*16大小，进行二值化并提取四幅图像海天线的位置，再依据无人艇前视图像中的海天线建立坐标系，将四幅海天线叠加，计算各海天线与前视海天线间的夹角，对三路摄像机视频图像进行旋转校正；

然后，对旋转后的四路视频图像进行Harris角点检测，然后利用SIFT算法匹配特征点，生成特征描述子，最后根据生成的描述子重构出配准图像，接着基于amoebas形态距离确定相似图像块的主要搜索方向，构造相似图像块群组，并采用Tetrolet变换的拼板选取条件，构建相似图像块拼板集合，并以熵为代价函数，确定最终分解层数，最终实现四路视频图像的非局部Tetrolet分解；

最后，低频子带图像采用区域加权平均融合，同时基于风模型优化加权系数，融合四路图像的高频子带图像，并通过Tetrolet逆变换得到融合后且已平铺展开的三维全景环视图像。

7.根据权利要求7所述的基于三维全景环视的无人艇自动锚泊视觉辅助系统的工作方法，其特征在于，所述基于非局部Tetrolet的视频图像分解变换包括以下步骤：

一、构造amoebas形态距离，构造amoebas形态距离的方法为：

先以参考像素点x₁为中心，设定amoebas形态距离的计算区域为5×5方形区域；

然后，计算8个方向的amoebas形态距离，即，

$d_t=\underset{i=1}{\overset{3}{\Σ}}C(x_i,x_{i+1}),t=0,1,2...7,$

其中， $C(x_1,x_2)=\underset{r\∈S}{\Σ}g\left(r\right)\left|\right|I\[x_1-r\]-I\[x_2-r\]\left|\right|$ 为像素x₁,x₂之间的块匹配距离，用以衡量相邻像素点间的结构相似性， $C(x_2,x_3)=\frac{1}{2}\left(\right|I\left(x_2\right)-I\left(x_3\right)\left|\right)\×\left|\right|x_2-x_3\left|\right|,$ 其中，I代表像素灰度值或亮度值，|I(x₂)-I(x₃)|为像素灰度差或亮度差，||x₂-x₃||为像素点x₂、x₃间的空间距离，g(r)为核函数，是衡量特征方向信息，描述结构相似性准确与否的关键，初始设定为标准高斯核函数，S为3×3图像块；r为窗口移动步长。

二、确定主要搜索方向，构造相似图像块群组，所述构造相似图像块群组方法为：

将d₀...d₇排序，选取amoebas形态距离较小的3个方向作为相似图像块主要的搜索方向，d越小，相邻结构特征越相似，以参考像素点x₁为中心，在搜索区域为21×21的方形范围内，基于结构相似度对相似图像块进行分组、匹配，结构相似度考虑噪声对图像结构特征的影响，定义如下：

$SSIM(Z_{x_R},Z_x)=\frac{(2{\mathrm{\μ}}_{Z_{x_R}}{\mathrm{\μ}}_{Z_x}+c_1)(2{\mathrm{\σ}}_{Z_{x_R}{Z}_x}+c_2)}{({\mathrm{\μ}}_{Z_{x_R}}^2+{\mathrm{\μ}}_{Z_x}^2+c_1)({\mathrm{\σ}}_{Z_{x_R}}^2+{\mathrm{\σ}}_{Z_x}^2-\sqrt{2}{\mathrm{\σ}}_{estimate}^2+c_2)}$

其中，Z_x为参考图像块和相邻图像块，为两图像块灰度均值,分别为两图像块的方差，协方差及噪声方差的估计值；为防止结构相似度无解，加入常数c₁、c₂，c₁＝c₂＝0.5；

最后，获取Tetrolet变换拼板，并以熵为代价函数，确定最终分解层数。

8.根据权利要求7所述的基于三维全景环视的无人艇自动锚泊视觉辅助系统的工作方法，其特征在于，所述基于风模型优化加权系数的高频子带图像融合方法包括以下步骤：

首先，对高频子带区域进行分块，计算对应块之间的相关性；基于相关性定义加权系数，并采用高频子带加权的方式融合图像，加权系数采用风模型进行优化，相关性定义如下：

$\mathrm{corr}(A,B)=\frac{\frac{\stackrel{\‾}{A}}{\stackrel{\‾}{B}}\·\underset{x,y}{\mathrm{\Σ}}(A(x,y)-\stackrel{\‾}{A})(B(x,y)-\stackrel{\‾}{B})}{\sqrt{\underset{x,y}{\mathrm{\Σ}}{(A(x,y)-\stackrel{\‾}{A})}^2}\·\sqrt{\underset{x,y}{\mathrm{\Σ}}{(B(x,y)-\stackrel{\‾}{B})}^2}}$

其中，A,B为高频子带块，(x,y)为对应位置，corr(A,B)为的相关系数；

再初始化加权系数所需的群体规模，定义最大迭代次数、摩擦系数α、风速度矢量u、重力加速度矢量g；为高频子带块A,B的系数平均值；

然后，随机产生当前状态的初始空气质点群体，并随机分配起始速度和位置；

再计算当前迭代中加权系数所产生融合图像的空间频率值即适应度值，并将加权系数按照适应度值重新排列；

按照优化的速度和位置更新方程实现加权系数优化：

$u_{new}=(1-\mathrm{\α})u_{cur}-{\mathrm{gx}}_{cur}+\[0.2\×\left|\frac{1}{i}\right|(x_{opt}-x_{cur})\]$

x_new＝x_cur+(u_new*1)

其中，x_cur代表质点当前位置即加权系数的当前值，x_new为位置的更新值即加权系数的单次更新值，x_opt为最优位置即最佳加权系数；u_new为速度的更新值，u_cur为速度的当前值；i为常数，x范围在[0.4，0.9]；

最后，达到最大迭代次数或迭代停止条件，停止优化、完成融合。