CN109961012A - 一种水下目标跟踪识别方法 - Google Patents

Abstract

本发明公开一种水下目标跟踪识别方法，包括以下步骤：S1对水下某个不明目标物持续跟踪，并在跟踪过程中拍摄该不明目标物的图像；S2将所述图像进行图像预处理；S3将图像预处理后的所述图像阈值分割成像元图像；S4基于颜色特征、形状特征、纹理特征中的一种或多种对所述像元图像进行图像特征提取以获取到相应特征；S5将所述特征根据预定的目标物规则进行图像分类并识别出目标物。本发明的有益效果：通过对不明目标物持续跟踪拍摄，可避免目标物因被遮挡或被光线流场干扰导致出现未能检测识别的情况，识别效果更好。

Description

一种水下目标跟踪识别方法

技术领域

本发明涉及图像识别技术领域，具体来说，涉及一种水下目标跟踪识别方法。

背景技术

仿生机器鱼用于完成水下探测任务，其可在水下环境中通过双目识别摄像头拍摄目标物图像并实现目标物的图像识别。

水环境中的图像识别，相比于大气环境，具有更大的困难。这主要是由于水环境的特殊性导致的，水环境中照明是充满变数，水中光线是不均匀的，水中颗粒物混淆传统的噪声模型，

因此，在水下环境中，在对不明目标物进行识别时，经常因为不明目标物被遮挡或被光线流场干扰导致出现未能检测识别的情况。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种水下目标跟踪识别方法，可解决目标物因被遮挡或被光线流场干扰导致出现未能检测识别的情况。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种水下目标跟踪识别方法，包括以下步骤：

S1对水下某个不明目标物持续跟踪，并在跟踪过程中拍摄该不明目标物的图像；

S2将所述图像进行图像预处理；

S3将图像预处理后的所述图像阈值分割成像元图像；

S4基于颜色特征、形状特征、纹理特征中的一种或多种对所述像元图像进行图像特征提取以获取到相应特征；

S5将所述特征根据预定的目标物规则进行图像分类并识别出目标物。

进一步地，在S1中，采用KCF的目标跟踪算法对所述不明目标物进行跟踪。

进一步地，在S2中，采用双边滤波算法来对所述图像进行图像预处理，以达到保持边缘、降噪平滑的效果。

进一步地，所述双边滤波算法的表达式为：

with the normalization

式中，c(ξ，x)、s(f(ξ)，f(x))均为权重函数，ξ为邻域像素点，x中心像素点。

进一步地，所述权重函数为高斯函数，其表达式为：

where

d(ξ，x)＝d(ξ-x)＝||ξ-x||

式中，||ξ-x||为两个值ξ,x之间的欧式距离。

进一步地，在S3中，先采用otsu最佳阈值分割法对所述图像进行图像阈值化，再通过自适应阈值二值化算法对所述图像进行二值化操作。

进一步地，在S4中，所述颜色特征通过主色调直方图或颜色矩来进行描述，所述纹理特征通过圆形LBP来描述。

进一步地，在S4中，所述形状特征在提取时先通过canny边缘检测，检测出所述不明目标物的边缘轮廓，再用findContours将边缘序列化，再通过多边形逼近提取出所述不明目标物的外轮廓。

进一步地，在S5中，将所述特征放入SVM分类器中进行图像分类。

本发明的有益效果：通过对不明目标物持续跟踪拍摄，可避免目标物因被遮挡或被光线流场干扰导致出现未能检测识别的情况，识别效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的水下目标跟踪识别方法的原理框图；

图2是根据本发明实施例所述的图像边缘的示意图；

图3是根据图2所述的右侧边缘像素点权重的积的分布图；

图4是根据图2所述的像素点进行双边滤波后的示意图；

图5是根据本发明实施例所述的RGB色彩空间的示意图

图6是根据本发明实施例所述的KCF目标跟踪算法流程的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1-5所示，根据本发明实施例所述的一种水下目标跟踪识别方法，包括以下步骤：

S1对水下某个不明目标物持续跟踪，并在跟踪过程中拍摄该不明目标物的图像；

S2将所述图像进行图像预处理；

S3将图像预处理后的所述图像阈值分割成像元图像；

S4基于颜色特征、形状特征、纹理特征中的一种或多种对所述像元图像进行图像特征提取以获取到相应特征；

S5将所述特征根据预定的目标物规则进行图像分类并识别出目标物。

在本发明的一个具体实施例中，在S1中，采用KCF的目标跟踪算法对所述不明目标物进行跟踪。

在本发明的一个具体实施例中，在S2中，采用双边滤波算法来对所述图像进行图像预处理，以达到保持边缘、降噪平滑的效果。

在本发明的一个具体实施例中，所述双边滤波算法的表达式为：

with the normalization

式中，c(ξ，x)、s(f(ξ)，f(x))均为权重函数，ξ为邻域像素点，x中心像素点。

在本发明的一个具体实施例中，所述权重函数为高斯函数，其表达式为：

where

d(ξ，x)＝d(ξ-x)＝||ξ-x||

式中，||ξ-x||为两个值ξ,x之间的欧式距离。

在本发明的一个具体实施例中，在S3中，先采用otsu最佳阈值分割法对所述图像进行图像阈值化，再通过自适应阈值二值化算法对所述图像进行二值化操作。

在本发明的一个具体实施例中，在S4中，所述颜色特征通过主色调直方图或颜色矩来进行描述，所述纹理特征通过圆形LBP来描述。

在本发明的一个具体实施例中，在S4中，所述形状特征在提取时先通过canny边缘检测，检测出所述不明目标物的边缘轮廓，再用findContours将边缘序列化，再通过多边形逼近提取出所述不明目标物的外轮廓。

在本发明的一个具体实施例中，在S5中，将所述特征放入SVM分类器中进行图像分类。

为了方便理解本发明的上述技术方案，以下通过具体使用方式对本发明的上述技术方案进行详细说明。

本发明通过对水下某个不明目标物持续跟踪拍摄，并将拍摄的图像进行识别，直至目标物被识别出，从而避免了目标物因一时被遮挡或一时被光线流场干扰导致出现未能检测识别的情况。

图像处理和识别的原理为先人为设定目标物的形状，颜色，纹理等规则，在将拍摄到的图像依次进行图像预处理、图像分割和图像特征提取后，根据所设定规则进行图像分类和识别。

水下双目识别摄像头拍摄到不明目标物图像后，因为水下图像噪声很多，需要先进行图像处理再进行图像识别。

图像处理包括图像预处理和图像分割两部分。

图像预处理采用双边滤波算法来达到保持边缘、降噪平滑的效果。双边滤波算法和其他滤波算法原理一样，双边滤波算法也是采用加权平均的算法，其用周边像素亮度值的加权平均代表某个像素的强度，所用的加权平均基于高斯分布。最重要的是，双边滤波的权重不仅考虑了像素的欧氏距离(如普通的高斯低通滤波，只考虑了位置对中心像素的影响)，还考虑了像素范围域中的辐射差异(例如卷积核中像素与中心像素之间相似程度、颜色强度，深度距离等)，在计算中心像素的时候同时考虑这两个权重。它的一般表达式为

with the normalization

式中，权重c(ξ，x)和邻域像素点ξ与中心像素点x之间的几何距离相关，权重s(f(ξ)，f(x))和邻域像素点ξ与中心像素点x之间的色彩距离相关。随着ξ与之x间几何距离和色彩距离的变化，像素点ξ的权重c(ξ，x)和s(f(ξ)，f(x))随之变化。这样的一个滤波器是一个智能的可自动调节权重的滤波器。至于如何自动调节，就取决于权重函数c(ξ，x)和s(f(ξ)，f(x))的具体表达式。

双边滤波算法中两个权重函数均为高斯函数，即：

where

d(ξ，x)＝d(ξ-x)＝||ξ-x||

其中，||ξ-x||为两个值ξ,x之间的欧式距离。

采用高斯函数之后，当邻域像素点ξ与中心像素点x的欧式距离||ξ-x||比较大，或是两个像素值相差比较大时，该像素点的权重就比较小，导致该像素点对滤波后的像素点的影响较小。更进一步，每个滤波后像素点的值，受与他色彩相近并且距离较近的像素点的影响较大，而受其他临域像素点ξ的影响较小，这样保护了图像中原像素点的色彩，滤掉了少数存在的“噪声点”，起到了平滑的作用，同时又保护了边缘。

图2为图像中的一个边缘，图中用高度代表该像素点的像素值。

图3为求得图2中右侧边缘上的一个像素点的权重c(ξ，x)s(f(ξ)，f(x))(图中用高度代表权重的大小)，可以看到，颜色越相近s(f(ξ)，f(x))值越大，距离越近c(ξ，x)值越大，那么最终两个权重的积就如图中分布。

图4对图2中的每一个像素点都进行双边滤波，结果如图4所示，可以看到滤波的结果即保护了边缘，同时平滑了图像。

图像分割采用otsu最佳阈值分割法和自适应阈值二值化方法。

(1)otsu最佳阈值分割法在类间方差最大的情况下是最佳的，即统计鉴别分析中所用的度量。otsu最佳阈值分割法有一个重要的特性，就是它完全以在一幅图像的直方图上执行计算为基础，而直方图是很容易得到的一维阵列。。

otsu最佳阈值分割法的具体步骤如下：

a、计算输入图像的直方图，并归一化。

b、计算累积均值mu，以及全局灰度均值。

c、计算被分到类1的概率q1，和被分到类2的概率q2。

d、用公式计算类间方差，sigma＝q1*q2*(mu1-mu2)*(mu1-mu2)

e、循环寻找类间方差最大值，并记下此时的阈值，即为最佳阈值。

f、利用最佳阈值进行图像阈值化

(2)自适应阈值二值化

STEP1：求出图像的灰度的最大值g_max和最小值g_min，然后，初始阈值T₀设置为：T_k＝(g_max+g_min)/2，k是迭代次数，此时k＝0。

STEP2：根据阈值T_k，将目标图像分割成背景和前景两部分，其中大于T_k的灰度区域称为前景，小于T_k的灰度区域称为背景，然后分别计算出前景和背景的平均灰度值g₁和g₂，g₁＝∑g₁(x，y)/∑，g₂＝∑g₂(x，y)/∑。

STEP3：计算新的阈值T_k+1＝(g1+g2)/2

STEP4：如果|T_k+1-T_k|＜10或者k＞50，结束迭代，否则，k＝k+1，转入STEP2。

STEP5，根据阈值T_k，对图像进行二值化操作。

图像识别包括图像特征提取和图像分类两部分。

图像特征提取分为，颜色特征提取、形状特征提取、纹理特征提取，这些特征事先预定，如选择识别红色球体。

颜色特征提取时，为消除极端光照对颜色的影响，这里将RGB颜色空间转换成HSV颜色空间，HSV是一种将RGB色彩空间中的点在倒圆锥体中的表示方法。HSV即色相(Hue)、饱和度(Saturation)、明度(Value)，又称HSB(B即Brightness)。色相是色彩的基本属性，就是平常说的颜色的名称，如红色、黄色等。饱和度(S)是指色彩的纯度，越高色彩越纯，低则逐渐变灰，取0-100％的数值。明度(V)，取0-max(计算机中HSV取值范围和存储的长度有关)。HSV颜色空间可以用一个圆锥空间模型来描述。圆锥的顶点处，V＝0，H和S无定义，代表黑色。圆锥的顶面中心处V＝max，S＝0，H无定义，代表白色。示意图如图5所示。

转换公式如下：

v＝max

p＝v×(1-s)

q＝v×(1-f×s)

t＝v×(1-(1-f)×s)

对于每个颜色向量(r，g，b)，

颜色特征可颜色直方图或颜色矩来描述。

颜色直方图用以反映图像颜色的组成分布，即各种颜色出现的概率，利用颜色空间三个分量的剥离得到颜色直方图，之后通过观察实验数据发现将图像进行旋转变换、缩放变换、模糊变换后图像的颜色直方图改变不大，即图像直方图对图像的物理变换是不敏感的。因此常提取颜色特征并用颜色直方图应用于衡量和比较两幅图像的全局差。另外，如果图像可以分为多个区域，并且前景与背景颜色分布具有明显差异，则颜色直方图呈现双峰形。

颜色直方图也有其缺点：由于颜色直方图是全局颜色统计的结果，因此丢失了像素点间的位置特征。可能有几幅图像具有相同或相近的颜色直方图，但其图像像素位置分布完全不同。因此，图像与颜色直方图得多对一关系使得颜色直方图在识别前景物体上不能获得很好的效果。

考虑到颜色直方图的以上问题，主色调直方图便产生了。所谓主色调直方图基于假设少数几个像素的值能够表示图像中的绝大部分像素，即出现频率最高的几个像素被选为主色，仅用主色构成的主色调直方图描述一幅图像。这样的描述子并不会降低通过颜色特征进行匹配的效果，因为从某种角度将，频度出现很小的像素点可以被视为噪声。

颜色矩利用线性代数中矩的概念，将图像中的颜色分布用其矩表示。利用颜色一阶矩(平均值Average)、颜色二阶矩(方差Variance)和颜色三阶矩(偏斜度Skewness)来描述颜色分布。与颜色直方图不同，利用颜色矩进行图像描述无需量化图像特征。由于每个像素具有颜色空间的三个颜色通道，因此图像的颜色矩有9个分量来描述。

形状特征在提取时，先通过canny边缘检测，检测出边缘轮廓，再用findContours将边缘序列化，多边形逼近提出外轮廓，再用形状匹配matchShapes匹配预定的目标物规则中的目标形状，以实现识别。

Canny边缘检测算子是一种多级检测算法，分三步：

a.高斯模糊。这一步很简单，类似于LoG算子(Laplacian of Gaussian)作高斯模糊一样，主要作用就是去除噪声。因为噪声也集中于高频信号，很容易被识别为伪边缘。应用高斯模糊去除噪声，降低伪边缘的识别。但是由于图像边缘信息也是高频信号，高斯模糊的半径选择很重要，过大的半径很容易让一些弱边缘检测不到。

b.计算梯度幅值和方向。图像的边缘可以指向不同方向，因此经典Canny算法用了四个梯度算子来分别计算水平，垂直和对角线方向的梯度。但是通常都不用四个梯度算子来分别计算四个方向。常用的边缘差分算子(如Rober，Prewitt，Sobel)计算水平和垂直方向的差分Gx和Gy。这样就可以如下计算梯度模和方向：

θ＝atan2(G_y，G_x)

梯度角度θ范围从弧度-π到π，然后把它近似到四个方向，分别代表水平，垂直和两个对角线方向(0°,45°,90°,135°)。可以以±iπ/8(i＝1,3,5,7)分割，落在每个区域的梯度角给一个特定值，代表四个方向之一。

这里选择Sobel算子计算梯度。Sobel算法很简单，到处都可以找到，就不列出代码来了。相对于其他边缘算子，Sobel算子得出来的边缘粗大明亮。

c.非最大值抑制。非最大值抑制是一种边缘细化方法。通常得出来的梯度边缘不止一个像素宽，而是多个像素宽。因此这样的梯度图还是很“模糊”。而形状特征提取要求，边缘只有一个精确的点宽度。非最大值抑制能帮助保留局部最大梯度而抑制所有其他梯度值。这意味着只保留了梯度变化中最锐利的位置。算法如下：

1)比较当前点的梯度强度和正负梯度方向点的梯度强度。

2)如果当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值。否则抑制，即设为0。比如当前点的方向指向正上方90°方向，那它需要和垂直方向，它的正上方和正下方的像素比较。

d.双阀值。一般的边缘检测算法用一个阀值来滤除噪声或颜色变化引起的小的梯度值，而保留大的梯度值。Canny算法应用双阀值，即一个高阀值和一个低阀值来区分边缘像素。如果边缘像素点梯度值大于高阀值，则被认为是强边缘点。如果边缘梯度值小于高阀值，大于低阀值，则标记为弱边缘点。小于低阀值的点则被抑制掉。

e.滞后边界跟踪。至此，强边缘点可以认为是真的边缘。弱边缘点则可能是真的边缘，也可能是噪声或颜色变化引起的。为得到精确的结果，后者引起的弱边缘点应该去掉。通常认为真实边缘引起的弱边缘点和强边缘点是连通的，而又噪声引起的弱边缘点则不会。所谓的滞后边界跟踪算法检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，那么这个弱边缘点被认为是真是边缘保留下来。滞后边界跟踪算法搜索所有连通的弱边缘，如果一条连通的弱边缘的任何一个点和强边缘点连通，则保留这条弱边缘，否则抑制这条弱边缘。搜索时可以用广度优先或者深度优先算法，这里采用深度优先算法。一次连通一条边缘的深度优先算法如下：

STEP1：准备一个栈s，一个队列q，设联通指示变量connected为假。从图像的第一个点开始，进入STEP2。

STEP2：如果这个点是弱边界点并且没有被标记，把它标记，并把它作为第一个元素放入栈s中，同时把它放入记录连通曲线的队列q，进入STEP3。如果这个点不是弱边界或者已经被标记过，到图像的下一个点，重复STEP2。

STEP3：从栈s中取出一个元素，查找它的8像素领域。如果一个领域像素是弱边界并且没有被标记过，把这个领域像素标记，并加入栈s中，同时加入队列q。同时查找领域对应的强边界图，如果有一个像素是强边界，表示这条弱边界曲线和强边界联通，设置connected为真。重复STEP3直到栈中没有元素了。如果connected为假，则依次从队列q中取出每个元素，清空标记。如果connected为真，保留标记。

STEP4：清空队列q，设置connected为假，移动到图像的下一个点，到STEP2。

纹理特征采用圆形LBP来描述，圆形LBP具有水下纹理特性稳定的优点。经典LBP是用正方形8-领域来描述图像的纹理特征，其缺点是难以满足不同尺寸和频率的需求。这里，采用将3×3的正方形窗口领域扩展到任意圆形领域。由于圆形LBP采样点在圆形边界上，那么必然会导致部分计算出来的采样点坐标不是整数，因此这里就需要对得到的坐标像素点值进行处理，常用的处理方法是最近邻插值或双线性插值。

图像分类过程中，基于实时处理的需求考虑，这里采用准确率与速度兼顾的SVM分类器，SVM分类器可选择多项式核的C类支持向量机进行多分类，允许用异常值惩罚因子C进行不完全分类。栅格选参Gamma coef degree调整参数训练特征，再根据实时计算的特征放入SVM分类器中分类。

水下目标跟踪主要是在目标检测识别的基础上，跟踪选定目标，解决目标遮挡或光线流场干扰未能检测识别情况，在目标跟踪时，传统camshift容易造成目标扩散，这里选用KCF的目标跟踪算法。

KCF目标跟踪算法是一种鉴别式跟踪方法，这类方法一般都是在跟踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。

KCF目标跟踪算法优势如下：

a.使用目标周围区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，并成功的利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积，即元素的点乘，大大降低了运算量，提高了运算速度，使算法满足实时性要求。

b.将线性空间的脊回归通过核函数映射到非线性空间，在非线性空间通过求解一个对偶问题和某些常见的约束，同样的可以使用循环矩阵傅里叶空间对角化简化计算。

c.给出了一种将多通道数据融入该算法的途径。

KCF目标跟踪算法流程如图6所示。

针对特定水下跟踪需要的手工特征提取(即上述的图像特征提取)会比传统的SIFT提取HMM分类在速度和质量上占有优势。与KCF算法的融合后更是加速了跟踪算法的速度以及稳定性。

综上，借助于本发明的上述技术方案，通过对不明目标物持续跟踪拍摄，可避免目标物因被遮挡或被光线流场干扰导致出现未能检测识别的情况，识别效果更好。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种水下目标跟踪识别方法，其特征在于，包括以下步骤：

S1对水下某个不明目标物持续跟踪，并在跟踪过程中拍摄该不明目标物的图像；

S2将所述图像进行图像预处理；

S3将图像预处理后的所述图像阈值分割成像元图像；

S4基于颜色特征、形状特征、纹理特征中的一种或多种对所述像元图像进行图像特征提取以获取到相应特征；

S5将所述特征根据预定的目标物规则进行图像分类并识别出目标物。

2.根据权利要求1所述的水下目标跟踪识别方法，其特征在于，在S1中，采用KCF的目标跟踪算法对所述不明目标物进行跟踪。

3.根据权利要求1所述的水下目标跟踪识别方法，其特征在于，在S2中，采用双边滤波算法来对所述图像进行图像预处理，以达到保持边缘、降噪平滑的效果。

4.根据权利要求3所述的水下目标跟踪识别方法，其特征在于，所述双边滤波算法的表达式为：

with the normalization

式中，c(ξ，x)、s(f(ξ)，f(x))均为权重函数，ξ为邻域像素点，x中心像素点。

5.根据权利要求4所述的水下目标跟踪识别方法，其特征在于，所述权重函数为高斯函数，其表达式为：

where

d(ξ，x)＝d(ξ-x)||ξ-x||

式中，||ξ-x||为两个值ξ，x之间的欧式距离。

6.根据权利要求1所述的水下目标跟踪识别方法，其特征在于，在S3中，先采用otsu最佳阈值分割法对所述图像进行图像阈值化，再通过自适应阈值二值化算法对所述图像进行二值化操作。

7.根据权利要求1所述的水下目标跟踪识别方法，其特征在于，在S4中，所述颜色特征通过主色调直方图或颜色矩来进行描述，所述纹理特征通过圆形LBP来描述。

8.根据权利要求1所述的水下目标跟踪识别方法，其特征在于，在S4中，所述形状特征在提取时先通过canny边缘检测，检测出所述不明目标物的边缘轮廓，再用findContours将边缘序列化，再通过多边形逼近提取出所述不明目标物的外轮廓。

9.根据权利要求1所述的水下目标跟踪识别方法，其特征在于，在S5中，将所述特征放入SVM分类器中进行图像分类。