CN103295221B - 模拟复眼视觉机制和偏振成像的水面目标运动检测方法 - Google Patents

Abstract

本发明公开一种模拟复眼视觉机制和偏振成像的水面目标运动检测方法，分为偏振图像采集计算、仿生目标检测及仿生运动目标匹配三个步骤。采用仿蜻蜓复眼视觉机制的仿生学方法实现对水面目标的检测及跟踪，在计算的过程中将场景及目标信息转换为以脉冲序列形式表征的“压缩传感”特征。随后的目标检测及目标匹配跟踪均基于该脉冲序列进行，利用脉冲的响应时序及脉冲序列模式对场景中的多目标进行检测、匹配及跟踪，最终实现对目标运动的检测并对其运动矢量的估计。本发明能够稳定、可靠地用于复杂水面光学环境下的水面目标运动检测，且运算效率较高。

Description

模拟复眼视觉机制和偏振成像的水面目标运动检测方法

技术领域

本发明涉及一种模拟复眼视觉机制和偏振成像的水面目标运动检测方法，尤其涉及一种水面目标运动成像量测方法，属于计算机视觉技术领域。

背景技术

针对海洋、湖泊、河流等水面目标光学成像检测及运动参数估计在许多领域取得了广泛应用。目前用于水面目标检测的光学成像研究多集中于光强或光谱信息。但由于多变的自然、气候条件以及目标多变的光学属性，并不能认为基于该光学成像方法的水面目标检测是普适的、最优的。因而有些研究逐渐转向其他的光学特性，其中最为典型的是光学偏振性。自从1992年研究者首次将光学偏振特性引入到油面检测中并证明光学偏振性有利于提高水面目标检测准确度后，光学偏振性差异逐渐被视为一种新的水面目标检测方法。

由于极为复杂的水面光学环境，即使采用较为完善的前端水面光学信息采集单元，所获取的信息仍然极不稳定，包含有大量的噪声。因此要最终完成检测工作，系统还必须依赖于后端检测算法的支持。目前用于水面目标检测的算法主要有基于背景建模及非背景建模的方法。其中，基于背景建模的目标检测方法检测率较高，且具有较高的抗噪声能力，因此其鲁棒性较为出色。但是背景模型计算的高复杂性及自然背景的多变性严重影响该方法的推广性。

相比较，非背景建模的目标检测算法不需要繁琐的建模过程，仅仅根据水面图像本身所反映出的信息进行目标检测，有时会获得更大的成功，但由于没有背景模型的支持，因而背景信息同目标信息见的区分是该方法的关键。针对这一关键点，本发明通过对亲水昆虫-蜻蜓的最新研究成果利用仿生技术方案加以解决。

发明内容

发明目的：本发明一种模拟复眼视觉机制和偏振成像的水面目标运动检测方法，通过提出光学偏振同步成像方法，进而模拟复眼视觉机制的目标检测方法及两者结合的创新策略，保持蜻蜓复眼对观测目标偏振的光学敏感性，转化其在复杂水面光学环境下检测和追踪目标的优势。

技术方案：一种模拟复眼视觉机制和偏振成像的水面目标运动检测方法，首先通过在图像传感器前加装光谱滤光片及偏振滤波片组成特定光谱段的偏振成像系统，在水面目标检测，采集偏振度图像；

考虑到偏振度图像的融合，根据三通路偏振成像技术采用三组偏振水面成像系统，并利用偏振图像配准技术及Stokes模型进行计算，形成融合偏振度图像，增强水面目标与水面背景间的光学信息对比；

随后，采用仿生技术，以重叠捆绑的多个局部窗口(3×3或5×5)构建虚拟的小眼群(n×局部窗口尺寸，n代表局部窗口的个数)，通过小眼群滑动扫描式地模拟复眼结构中若干只小眼对融合偏振度图像进行重叠采样，读取偏振度信息；形成单一的脉冲响应，以此实现图像信息的读入。

随后，利用仿蜻蜓视觉中的大场景(LF)、小场景(SF)系统对水面场景压缩传感和表征，利用仿池细胞的优化调度LF、SF信道，将虚拟小眼群所获偏振度信息模拟转换生成脉冲序列，突显纹理和边缘等特征，形成水面运动目标的敏感性特征，作为对水面场景中不同目标运动检测的依据；仿蜻蜓视觉中的大场景、小场景系统对水面场景的压缩传感和表征，部分模拟LF系统和SF系统两个独立并行通道对偏振度信息均具有不同的时空整合特性，其中LF对大尺度的变化较为敏感，SF对小尺度的变化敏感。进而通过仿池细胞的生理机制优化调度LF及SF信道，突显纹理和边缘等特征，形成目标敏感特征，以脉冲序列的形式表征，作为对场景中不同目标运动检测的依据。

最后，基于脉冲序列特征进行仿生目标匹配以实现运动矢量估计。根据连续脉冲序列的点火及时点火序差异对水面场景中多类目标进行检测并分类；多帧视频图像目标脉冲的合并及匹配，进而生成目标运动矢量估计。

根据三通路偏振成像技术采用三组偏振水面成像系统，并利用偏振图像配准技术及Stokes模型进行计算，形成融合偏振度图像，其中，三通路偏振成像技术即三通路同时水面偏振成像，所述三组偏振水面成像系统由于受到偏振镀膜工艺水平的限制，采用三组CMOS图像传感器，CMOS图像传感器表贴0°、45°及90°方向偏振片及光谱滤光片。能够实现红外偏振成像，增强水流示踪物与水面背景间的光学对比。

利用偏振图像配准技术及Stokes模型进行计算，形成融合偏振度图像，具体是指：采用基于Harris角点的特征点匹配算法，将同一时刻所拍摄的水面三角度偏振图像进行像素级的配准。在此基础上，利用Stokes方程计算图像中每个像素点所对应的偏振度信息，得到一帧偏振度图像；能够反映场景中目标同背景间的偏振度信息差异。

所述根据连续脉冲序列的点火及时点火序差异对水面场景中多类目标进行检测并分类是在连续脉冲序列特征的基础上，分析脉冲的响应及响应时序。认为：脉冲响应区域对应着目标区域，而响应时序对应着目标类别，以此实现对场景多目标的检测并同时对其进行分类。

所述多帧视频图像目标脉冲序列的匹配，将当前帧所产生的脉冲序列同下一帧的脉冲序列进行合并，在不同帧的脉冲序列特征中，同一时序脉冲所对应的相同目标，以此作为目标匹配的基础，实现基于脉冲序列特征的目标匹配，进而根据图像像素位置的差异估计目标的运动矢量，完成目标运动检测。

特定谱段的偏振图像采集采用三通道偏振图像成像系统，以集成DSP为核心的成像系统中完成偏振图像预处理及偏振图像融合处理等计算复杂度较低的运算，仅上传偏振度图像。高级目标检测及跟踪在上位机上完成。

随后，仿“池细胞”的调度下“大场景LF”、“小场景SF”的系统流程及髓质细胞的响应模型，建立闭环，反馈式信息处理模型，压缩场景信息，以精简的脉冲序列特征进行表征。最后，根据脉冲序列中，每组脉冲响应的点火及时序差异，实现对场景中目标的检测和分类。

有益效果：模拟复眼视觉机制和偏振成像的水面目标运动检测方法，分为偏振图像采集计算、仿生目标检测及仿生运动目标匹配三个步骤。采用仿蜻蜓复眼视觉机制的仿生学方法实现对水面目标的检测及跟踪，在计算的过程中将场景及目标信息转换为以脉冲序列形式表征的“压缩传感”特征。随后的目标检测及目标匹配跟踪均基于该脉冲序列进行，利用脉冲的响应时序及脉冲序列模式对场景中的多目标进行检测、匹配及跟踪，最终实现对目标运动的检测并对其运动矢量的估计。

本发明采用上述技术方案，具有以下有益效果：

1、抗干扰能力强。特定谱段的偏振成像及偏振图像融合，在不进行背景建模并不借助任何先验知识的前提下，可有效抑制场景中复杂的水面、水下及大气光学噪声、增强目标与背景间的亮度对比，从而提高水流示踪物运动矢量估计的准确性。此外，这种偏振信息还有利于提取水面场景光学的不变性特征，对场景中的动态变化，如光照变化具有抑制能力。对于残余噪声，在图像处理阶段利用其在脉冲响应特性上的特殊性，有效区别噪声信息和有用信息，进一步实现噪声滤波。

2、目标运动检测精度高。目标检测方法中，采用仿蜻蜓复眼视觉的仿生技术，所提取的脉冲信息能够突显纹理和边缘等特征，对目标的敏感度较高，相比较普通的目标检测方法，该方法更适用于多目标时空分布不均，且受环境干扰影响更大的水面场景。在运动检测中，基于多帧的脉冲序列以脉冲的响应时序为依据，来实现目标的匹配，相比较基于统计决策等方法，该方法的匹配准确性更高，匹配速度更快。

3、算法复杂度显著下降。在基于仿生的水面目标运动检测方法运算的过程中，复杂的、高维的场景、目标信息均压缩为一维的脉冲序列，而不丢失关键信息。在检测、匹配的过程中，只需要对一维脉冲序列的模式如、幅度、频率、时序等进行分析计算便可实现目标检测及匹配的。相比较一般目标检测跟踪方法对高维、复杂信息的处理，算法的复杂度显著下降，运算效率显著提高。满足系统对实时性的要求。

鉴于以上特点，本方法能够稳定、可靠地用于复杂水面光学环境下的水面目标运动检测。

附图说明

图1是本发明实施例的方法流程图；

图2是本发明实施例中仿蜻蜓复眼视觉目标运动检测算法流程图；

图3是本发明实施例中Harris角点特征描述子生成过程图；

图4是本发明实施例中最近邻算法原理示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1-2所示，模拟复眼视觉机制和偏振成像的水面目标运动检测方法，三组偏振水面成像系统实现三通路特定谱段的偏振光学成像，并以图像处理专用DSP芯片作为处理器；中央处理单元(上位机)为通用PC机或加固型终端设备。按照信息获取和处理的过程，偏振成像系统的工作流程可分为偏振图像采集、偏振图像配准、和偏振图像融合四个步骤。特定谱段的偏振图像采集可由在镜头前或感光元件前(根据成像设备要求及生产工艺确定)加装滤波片。三组偏振水面成像系统采用三组CMOS图像传感器，CMOS图像传感器表贴0°、45°及90°方向偏振片及光谱滤光片。能够实现红外偏振成像，增强水流示踪物与水面背景间的光学对比。

偏振图像采集后，通过三条信息通路，将同时三幅图像输入DSP芯片中。在DSP芯片中已预加载图像配准程序，本发明采用改进的Harris算子进行图像配准。

应用Harris算法进行图像配准过程可以分为以下几步：

(1)计算图像中每个像素点在水平和垂直方向上的梯度f_x和f_y，以及两者乘积，得到M：

$M=\left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$

(2)对图像进行高斯滤波，得到滤波后的M，离散二维零均值高斯函数为：

$\mathrm{Gauss}=\exp (-\frac{x^2+y^2}{{2\mathrm{\σ}}^2})$

其中(x，y)为图像像素点的坐标，σ为高斯函数的方差系数。

(3)计算图像上每个像素点的兴趣值R：

R＝[f_x ²×f_y ²-(f_xf_y)²]-k[f_x ²+f_y ²]²

其中，k典型的取值范围为0.04~0.06。

(4)选取局部极值点。Harris检测算法中，特征点就是局部范围内的极大兴趣值对应的像素点；

(5)选取适当的阈值T(本发明的典型选择为T=400~700)，选取一定数量的角点(本发明的典型选择为150~200角点数)。

基于Harris角点的图像配准分为以下步骤：

首先为提取出的角点构造一个方向，取特征点邻域内各像素点梯度方向最大像素点的方向作为Harris角点点的方向，这里我们取邻域大小为3×3。Harris特征描述子的具体过程如下：

(1)根据构造的Harris特征点方向为特征点建立坐标系；

(2)对图像进行滤波生成尺度空间，得到不同尺度的图像，取Harris特征点16×16像素邻域，再将此领域分为4个相同的子区域，计算每个子区域的梯度方向，均匀分为8个方向；

(3)对这8个方向梯度进行排序，得到一个128维的特征向量，即为Harris特征描述向量。

以8×8像素特征点邻域为例说明Harris特征描述子的生成过程，如图3所示：

通过上述步骤，可以得到Harris角点的描述子通过计算左右图像特征点描述向量的相似性判断两点是否为匹配点。采用最近邻NN(NearestNeighbor)搜索算法，通过穷尽搜索对Harris角点进行匹配操作，这里最近邻点是指与样本特征点具有最短欧氏距离(Euclideandistance)的特征点，次近邻点是指具有比最近邻距离稍长的欧氏距离的特征点，并将两个特征点的欧氏距离的比值d作为相似性度量，这个比值又称为NNDR(NearestNeighborDistanceRatio，最近邻距离比)，如图4所示：

其中，点p为空间任一点，点q为它的最近邻点，r为它的次近邻点，最近邻和次近邻欧氏距离的比值为：

$d=\frac{D_{\mathrm{nearest}}}{D_{\mathrm{hypo}-\mathrm{nearest}}}$

其中，D_nearest为最近邻欧氏距离，D_hypo-nearest为次近邻欧氏距离。

NN算法在Harris特征匹配中的匹配步骤为：

(1)分别在标准图像和待匹配图像中提取各自的Harris特征点；

(2)依次取标准图像中的特征点，搜索特征点在另外一幅图像中的最近邻点与次近邻点，计算两者的比值；

(3)比较两者比值与设定阈值的大小，如果比值小于设定的阈值，则表示这个特征点与待匹配图像中的特征点为同名点，匹配成功。否则重新搜索。

将匹配准确的偏振度图像输入到偏振度信息计算融合运算模块，通过Stokes方程计算偏振度信息。根据Stokes方程及

α＝0°,45°,90°方向上的目标灰度图像可以求解得相应像素参数A，B，进而可得偏振度δ＝A/B。最终将偏振度信息归一化后可表征为灰度特征图。

利用以重叠捆绑的五个局部窗口(3×3或5×5)构建虚拟的小眼群，小眼群滑动扫描式地模拟复眼结构中若干只小眼对偏振度图像进行重叠采样，读取偏振度信息。在偏振度图像中偏振度强度以归一化的像素强度值代表。电生理学研究，小眼群输入输出间的系统函数可以描述为高斯函数。本发明不考虑视域内的响应的动态变化，可以将其简化成阶跃函数，即

$r\left(x\right)=E(\mathrm{\&Delta;I}\left(x\right)-\mathrm{thre})=\left\{\begin{array}{cc}1& I\left(x\right)-\mathrm{thre}\&GreaterEqual;0\\ 0& I\left(x\right)-\mathrm{thre}<0\end{array}\right.$

其中x为图像中像素位置，I(x)为该点的强度，thre为响应阈值，E(·)为阶跃函数。通过以上描述，可以表达出小眼系统中的输入，输出及系统响应函数。

至此，偏振度图像信息转换为单一的脉冲放电特征。随后，利用仿“大场景LF”、“小场景SF”系统对场景的压缩传感和表征，利用仿“池细胞”的优化“调度”，突显纹理和边缘等特征，形成运动目标的敏感性脉冲序列特征。依次工程化模拟蜻蜓视觉分流、非线性自适应抑制、池细胞调度处理流程两种视觉机制。

蜻蜓小眼所获取的信息按照复眼的拓扑结构分流输入到LF及SF神经元中，其神经元的拓扑结构同小眼的拓扑结构一致，因此能够完整保留小眼输入所对应的空间信息。其中LF神经元对较大范围内的目标均较为敏感；而SF则对于较小局部范围内特征变化敏感，并通过局部的中心侧抑制机理实现检测目标尺寸的动态可调，同时通过快速极化和慢速去极化的自适应处理机制能够有效抑制局部区域的背景纹理特征。对于出现频率低、变化幅度大的突变信号进行增强；而对于出现频率高、变化幅度低的纹理信号则进行自适应抑制。以水平方向为例(垂直方向同理)，对于输入信号on(i,j)，非线性自适应机理模拟为：

d/dΔs{on(i,j)}＝(on(m,n)-on(i,j))/ζ，其中on(i,j)为第(i,j)像元在on通道的特征强度，Δs为on(i,j)与on(m,n)像元之间的欧氏距离。ζ是响应衰减(增强)系数，若(i,j)位置上信号强度低于其周围领域信号的强度on(m,n)，则ζ＝10，

实现对比度的慢速衰减；反之ζ＝0.1，实现对比度的快速增加。

LF及SF的响应信息输入到池细胞中，在池细胞的调度下实现交互

对LF输入及反馈机制： $U_{i,j}^{\mathrm{LF}}\left[n\right]=e^{-{\mathrm{\&alpha;}}_F}{U}_{i,j}^{\mathrm{LF}}[n-1]+V_F\underset{k,l}{\mathrm{\&Sigma;}}{w}_{i,j,k,l}{Y}_{i,j}[n-1]+L_{i,j}$

对SF的输入及反馈机制： $U_{i,j}^{\mathrm{SF}}\left[n\right]=e^{-{\mathrm{\&alpha;}}_L}{U}_{i,j}^{\mathrm{SF}}[n-1]+V_L\underset{k,l}{\mathrm{\&Sigma;}}{w}_{i,j,k,l}{Y}_{i,j}[n-1]$

其中，为LF神经元(i,j)的在时序为n时的输入对应于该时刻on(i,j)输入到LF所激发的响应，为LF神经元(i,j)的在时序为n时的输入对应于该时刻on(i,j)输入到SF所激发的响应，L_i,j为小眼输入，α为衰减系数，w为整合权重，V_F，V_L为输入的增益。则最终对该神经元的整合输入为：

$M_{i,j}\left[n\right]=U_{i,j}^{\mathrm{LF}}\left[n\right](1+\mathrm{\&beta;}{U}_{i,j}^{\mathrm{SF}}[n\left]\right)$

其中，β为池细胞调度下LF神经元同SF神经元间的连接强度。

至此，偏振度图像信息转换为脉冲序列特征。其中脉冲放电区域代表目标区域，脉冲的时序区分目标的类别，实现了多目标的检测和分类。最后，基于该脉冲序列，模仿中央髓质神经元的信息处理模式，在多帧图像所表征的脉冲序列中，认为不同脉冲序列中同一时序所对应的检测目标为同一目标，从而简单的实现了目标的匹配。根据匹配目标间的像素差异，估计运动矢量，实现对目标运动的检测。

至此完成一次水面目标的运动检测。

Claims (4)

1.一种模拟复眼视觉机制和偏振成像的水面目标运动检测方法，其特征在于：

首先通过在图像传感器前加装光谱滤光片及偏振滤波片组成特定光谱段的偏振成像系统，在水面目标检测，采集偏振度图像；

根据三通路偏振成像技术采用三组偏振水面成像系统，并利用偏振图像配准技术及Stokes模型进行计算，形成融合偏振度图像，增强水面目标与水面背景间的光学信息对比；

随后，采用仿生技术，以重叠捆绑的多个局部窗口构建虚拟的小眼群，通过小眼群滑动扫描式地模拟复眼结构中若干只小眼对融合偏振度图像进行重叠采样，读取偏振度信息；

随后，利用仿蜻蜓视觉中的大场景、小场景系统对水面场景压缩传感和表征，利用仿池细胞调度LF、SF信道，将虚拟小眼群所获偏振度信息模拟转换生成脉冲序列，形成水面运动目标的敏感性特征，作为对水面场景中不同目标运动检测的依据；

最后，基于脉冲序列特征进行仿生目标匹配以实现运动矢量估计；

利用水面偏振图像配准技术及Stokes模型进行计算，形成融合水面偏振度图像，具体是指：采用基于Harris角点的特征点匹配算法，将同一时刻所拍摄的水面三角度偏振图像进行像素级的配准；在此基础上，利用Stokes方程计算图像中每个像素点所对应的偏振度信息，得到一帧偏振度图像；

采用改进的Harris算子进行图像配准；

应用Harris算法进行图像配准过程可以分为以下几步：

(1)计算图像中每个像素点在水平和垂直方向上的梯度f_x和f_y，以及两者乘积，得到M：

$M=\left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$

(2)对图像进行高斯滤波，得到滤波后的M，离散二维零均值高斯函数为：

$Gauss=\exp \left(-\frac{(x^2+y^2)}{2{\mathrm{\&sigma;}}^2}\right)$

其中(x，y)为图像像素点的坐标，σ为高斯函数的方差系数；

(3)计算图像上每个像素点的兴趣值R：

R＝[f_x ²×f_y ²-(f_xf_y)²]-k[f_x ²+f_y ²]²

其中，k典型的取值范围为0.04～0.06；

(4)选取局部极值点；Harris检测算法中，特征点就是局部范围内的极大兴趣值对应的像素点；

(5)选取适当的阈值T，选择为T＝400～700，选择150～200角点数；

基于Harris角点的图像配准分为以下步骤：

首先为提取出的角点构造一个方向，取特征点邻域内各像素点梯度方向最大像素点的方向作为Harris角点点的方向，这里我们取邻域大小为3×3；Harris特征描述子的具体过程如下：

(1)根据构造的Harris特征点方向为特征点建立坐标系；

(2)对图像进行滤波生成尺度空间，得到不同尺度的图像，取Harris特征点16×16像素邻域，再将此领域分为4个相同的子区域，计算每个子区域的梯度方向，均匀分为8个方向；

(3)对这8个方向梯度进行排序，得到一个128维的特征向量，即为Harris特征描述向量；

通过上述步骤，可以得到Harris角点的描述子通过计算左右图像特征点描述向量的相似性判断两点是否为匹配点。

2.如权利要求1所述的模拟复眼视觉机制和偏振成像的水面目标运动检测方法，其特征在于：所述三组偏振水面成像系统采用三组CMOS图像传感器，在CMOS图像传感器表贴0°、45°及90°方向偏振片及光谱滤光片。

3.如权利要求1所述的模拟复眼视觉机制和偏振成像的水面目标运动检测方法，其特征在于：所述基于脉冲序列特征进行仿生目标匹配以实现运动矢量估计，即根据连续脉冲序列的点火及时点火序差异对水面场景中多类目标进行检测并分类；多帧视频图像目标脉冲的合并及匹配，进而生成目标运动矢量估计；所述根据连续脉冲序列的点火及时点火序差异对水面场景中多类目标进行检测并分类是在连续脉冲序列特征的基础上，分析脉冲的响应及响应时序；脉冲响应区域对应着目标区域，而响应时序对应着目标类别，以此实现对场景多目标的检测并同时对其进行分类。

4.如权利要求3所述的模拟复眼视觉机制和偏振成像的水面目标运动检测方法，其特征在于：所述多帧视频图像目标脉冲序列的匹配，将当前帧所产生的脉冲序列同下一帧的脉冲序列进行合并，在不同帧的脉冲序列特征中，同一时序脉冲所对应的相同目标，实现基于脉冲序列特征的目标匹配，进而根据图像像素位置的差异估计目标的运动矢量，完成目标运动检测。