CN104298996A - 一种应用于仿生机器鱼的水下主动视觉跟踪方法 - Google Patents

Abstract

本发明涉及一种应用于仿生机器鱼的水下主动视觉跟踪方法，包括基于嵌入式视觉系统的自主目标识别与目标定位的步骤如下：步骤S1：数字摄像头采集数字水下图像；步骤S2：基于颜色特征、形状特征、轮廓特征其中的一种对水下图像进行目标识别，获取颜色特征、形状特征、轮廓特征其中的一种的水下目标区域；步骤S3：对颜色特征、形状特征、轮廓特征其中的一种的水下目标区域，采用加权颜色直方图对目标进行特征描述，并根据目标特征描述实现对水下目标定位。本发明不需要对图像预处理，计算量较小，实时性好，定位较精确，适用于系统资源有限、环境相对简单的场景；还适用于不同环境下的主动视觉跟踪，特别是仿生机器鱼上的嵌入式视觉应用。

Description

一种应用于仿生机器鱼的水下主动视觉跟踪方法

技术领域

本发明涉及嵌入式视觉信息处理领域，特别是应用到仿生机器鱼的水下主动视觉跟踪方法。 

背景技术

基于单目视觉的主动目标跟踪，包括目标识别与定位技术，是计算机视觉领域基础性的问题。水环境中主动视觉跟踪，相比于大气环境，具有更大的困难。这主要是由于水环境的特殊性导致的，水环境中照明是充满变数，水中光线是不均匀的，水中颗粒物混淆传统的噪声模型，水下设备与地面监控之间的通信存在限制等等。 

嵌入式系统，由于其系统资源有限，要求目标识别与定位算法有更低的复杂度、更快的运行速度。基于以上这些复杂的考量，基于嵌入式视觉的水下主动目标跟踪，通常是对人工目标或者对增加标示的自然目标的跟踪。但是，目前基于嵌入式视觉的水下主动目标跟踪中，目标形状设置不尽理想，算法复杂度较高，环境适应性有待提高，难以达到快速、准确识别与定位的要求。 

发明内容

(一)要解决的技术问题 

为了增强仿生机器鱼自主目标识别与定位系统在水下环境中的适应能力，提高定位的精度，本发明的目的是提供一种基于嵌入式视觉的应用于仿生机器鱼的水下主动视觉跟踪方法。 

(二)技术方案 

本发明提供一种应用于仿生机器鱼的水下主动视觉跟踪方法，包括基于嵌入式视觉系统的自主目标识别与目标定位的步骤如下： 

步骤S1：数字摄像头采集数字水下图像； 

步骤S2：基于颜色特征、形状特征、轮廓特征其中的一种对水下图像进行目标识别，获取颜色特征、形状特征、轮廓特征其中的一种的水下目标区域； 

步骤S3：对颜色特征、形状特征、轮廓特征其中的一种的水下目标区域，采用加权颜色直方图对目标进行特征描述，并根据目标特征描述实现对水下目标定位。 

(三)有益效果 

本发明方法中目标物相对简单，形状规则，适用于不同环境下的主动视觉跟踪，特别是仿生机器鱼上的嵌入式视觉应用。具体来说，首先，主动视觉跟踪自主识别目标，在不同条件下的目标识别包括基于颜色的快速目标识别、基于形状的精确目标识别以及基于轮廓的扩展目标识别；其次，本发明的主动视觉定位方法是基于加权直方图描述进行目标定位。本发明的主动视觉跟踪方法，不需要对图像进行预处理，计算量较小，实时性好，定位较精确，特别适用于系统资源有限、环境相对简单的场景。 

附图说明

图1a是本发明构建的应用于仿生机器鱼的嵌入式视觉硬件系统架构。 

图1b是本发明构建的应用于仿生机器鱼的嵌入式视觉跟踪的算法流程图。 

图2a是本发明中人工设定的色块。 

图2b是对人工设定的色块进行基于颜色的目标识别结果。 

图3中的(a)是本发明中复杂环境下人工设定的矩形色块。 

图3中的(b)是LSD算法检测到的线段二值化后的结果。 

图3中的(c)是形状拟合后确定的候选目标。 

图3中的(d)是抑制伪目标后确定的感兴趣目标区域。 

图4中的(a)是本发明中数字摄像头采集到的一帧目标图像。 

图4中的(b)是采用颜色直方图建立目标模型，对图4(a)图像反投影得到的灰度图像。 

图4中的(c)是采用加权颜色直方图建立目标模型，对图4(a)图像反投影得到的灰度图像。 

图4中的(d)是采用背景加权的颜色直方图建立目标模型，对图4(a)图像反投影得到的灰度图像。 

图5是本发明中数字摄像头正立拍摄的镜像图像实例。 

图6a是对图5中图像的镜像区域统计出的光强分布。 

图6b是对图5中图像的目标区域统计出的光强分布。 

图7a是本发明中一种圆环镜像干扰图像，目标和镜像是处于分离状态。 

图7b是本发明中一种圆环镜像干扰图像，目标和镜像是处于相连状态。 

图8是本发明中对图7b中图像进行镜像抑制时，轮廓点在凹点连线上下的特征分布。 

图9a是本发明针对图7a处理得到的镜像抑制结果，图中矩形线条框区域为使用CAMSHIFT预测的目标区域，白色框为搜索到的目标轮廓。 

图9b是本发明针对图7b处理得到的镜像抑制结果，白色轮廓为含有镜像提取的轮廓，外围黑色轮廓为白色轮廓的凸包围，A点和B点即为轮廓的凹点，从凹点开始在其连线的上半部分顺着轮廓将镜像轮廓滤除，从凹点开始连线的上半部分区域即为识别出来的镜像轮廓。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于所述值。 

本发明构建了一种是适用于嵌入式系统主动视觉的硬件电路架构，提供丰富的资源完成水下视觉的任务需求。所构建的硬件架构如图1a所示包括图像采集单元、超声传感器和陀螺仪等、DM3730主控芯片、STM32F407舵机控制单元、无线传输模块、上位机监控单元。图像采集单元输出的数字图像格式是YCbCr4:2:2；超声传感器和陀螺仪等输出一系列环境信息与仿生机器鱼姿态信息(本发明中没有用到，为后续功能增强设计)；DM3730芯片输入图像数据、环境信息与仿生机器鱼自身姿态 信息，输出目标位置信息、监控数据或者压缩图像信息；STM32F407舵机控制单元输入目标位置信息，输出用于舵机控制的脉冲宽度调制信号PWM；无线传输模块接收监控数据或者压缩图像，输出到上位机监控数据或者监控图像；TI的Davince系列芯片DM3730为硬件控制电路的核心。DM3730在片上融合了高达1GHz ARM Cortex^TM A8和800MHz TMS320C64x+^TM DSP。DSP以其强大的数据处理能力用于图像处理，获取目标信息；ARM中加载Linux系统，用于管理整体资源，处理传感器信息与运动控制以及用于上位机的通信与监控。ARM和DSP之间的通信是基于Codec Engine，它是连接应用层(ARM端)与信号处理层(DSP)的软件模块，实现共用系统资源。无线传输模块采用无线射频模块RF200(TTL电平，418～455MHz)与上位机进行命令通信；上位机监控单元采用高吞吐量、低功耗的WiFi模块(IEEE802.11标准，2.4GHz)，用于上位机的视频监控。由于本发明面向仿生机器鱼的视觉应用，故而在硬件架构中增加机器鱼驱动部分。机器鱼的游动由PWM信号驱动舵机实现，PWM信号在STM32F407芯片上产生，是依照CPG模型计算出。需要说明的是，虽然本发明以仿生机器鱼的视觉应用为蓝本，但是构建的嵌入式硬件架构，对于搭建面向其他应用的嵌入式平台具有指导意义。 

以上述硬件电路为基础，本发明提出了一种快速、高效的水下主动视觉跟踪方法，具体包括针对不同人工目标的自主识别与连续定位。本发明方法的流程图如图1b所示。自主的目标识别，由于识别目标特征的不同，又包括基于颜色的目标识别、基于形状的目标识别以及基于轮廓的目标识别。具体来说，本发明提供的应用于仿生机器鱼的水下主动视觉跟踪方法，包括步骤如下： 

步骤S1：数字摄像头采集数字水下图像； 

步骤S2：基于颜色特征、形状特征、轮廓特征其中的一种对水下图像进行目标识别，获取颜色特征、形状特征、轮廓特征其中的一种的水下目标区域； 

步骤S3：对颜色特征、形状特征、轮廓特征其中的一种的水下目标区域，采用加权颜色直方图对目标进行特征描述，并根据目标特征描述实现对水下目标定位。 

一、基于颜色的水下目标快速识别 

基于颜色的目标识别，适用于简单环境下。这里简单环境指的是光照充分，背景干扰较小，成像较清晰的情况。 

所述基于颜色特征对水下目标识别的步骤如下：步骤S2A：人工设定色块，该色块颜色选择红色，如图2a所示。摄像头采集的图像数据格式是YCbCr 4：2：2，对采集到图像的通道Cb、通道Cr分别选取自适应颜色阈值，因为Y通道受光照影响大而舍弃。首先，对单一的Cb或Cr通道，进行一维自适应Otsu阈值计算。假设某通道的图像像素分为L级[1，2，..，L]，p_i代表了第i级像素的概率。 

$\left\{\begin{array}{c}{\mathrm{\ω}}_0=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{p}_i=\mathrm{\ω}\left(k\right)\\ {\mathrm{\ω}}_1=\underset{i=k+1}{\overset{L}{\mathrm{\Σ}}}{p}_i=1-\mathrm{\ω}\left(k\right)\end{array}\right.$

以及 

$\left\{\begin{array}{c}{\mathrm{\μ}}_0=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{ip}}_i/{\mathrm{\ω}}_0=\mathrm{\μ}\left(k\right)/\mathrm{\ω}\left(k\right)\\ {\mathrm{\μ}}_1=\underset{i=k+1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{ip}}_i/{\mathrm{\ω}}_1=\frac{\mathrm{\μ}-\mathrm{\μ}\left(k\right)}{1-\mathrm{\ω}\left(k\right)}\end{array}\right.$

其中，ω₀与ω₁分别为背景与目标的像素概率；μ₀和μ₁分别是背景与目标的像素均值；μ是整个图像的像素均值；k＝1,2,...,L；ω(k)、μ(k)分别表示背景像素概率与背景像素累加概率。 

显然，又有 

$\left\{\begin{array}{c}\mathrm{\μ}={\mathrm{\ω}}_0{\mathrm{\μ}}_0+{\mathrm{\ω}}_1{\mathrm{\μ}}_1\\ {\mathrm{\ω}}_0+{\mathrm{\ω}}_1=1\end{array}\right.$

以Otsu方法确定自适应阈值，就是选择合适ω₀满足最小均方误差σ，即保证σ＝ω₀(μ-μ₀)²+ω₁(μ-μ₁)²最小。 

最终推导可得： 

$\mathrm{\σ}={\mathrm{\ω}}_0{(\mathrm{\μ}-{\mathrm{\μ}}_0)}^2+{\mathrm{\ω}}_1{(\mathrm{\μ}-{\mathrm{\μ}}_1)}^2=\frac{{({\mathrm{\ω}}_0\mathrm{\μ}-\mathrm{\μ}\left(k\right))}^2}{{\mathrm{\ω}}_0(1-{\mathrm{\ω}}_0)}$

根据以上，可以得到Cr、Cb通道的自适应颜色阈值Cr_thres与Cb_thres。 

步骤S2B：逐行逐列扫描水下图像，根据红色像素判定准则统计红色像素个数。确定红色像素的判定准则根据下列公式： 

$\left\{\begin{array}{c}\tilde{C}r>\mathrm{Cr}\_\mathrm{thres}\\ \tilde{C}r-\tilde{C}b>\mathrm{Cr}\_\mathrm{thres}-\mathrm{Cb}\_\mathrm{thres}\\ \tilde{C}r/\tilde{C}b>\mathrm{Cr}\_\mathrm{thres}/\mathrm{Cb}\_\mathrm{thres}\end{array}\right.$

其中，分别代表某一像素的红色分量值与蓝色分量值；Cr_thres、Cb_thres分别表示通道Cr、Cb的自适应颜色阈值。 

步骤S2C：当某行/列的红色像素个数超过给定自适应颜色阈值时就认为是色块区域，并且对长宽各增加一个裕量来确定ROI(region of intrest，感兴趣区域)则识别出感兴趣的水下目标区域。 

图2b中，描述了应用自适应的颜色阈值方法确定的感兴趣目标区域。该方法简单直接，实时性好，不需要人工干预设定阈值，具有良好的环境自适应性。 

二、基于形状的水下图像进行目标精确识别 

当鱼体距离目标较远时，由于光线在水中的衰减，颜色退化非常迅速所以基于颜色的目标识别变得很不可靠。而目标物的形状信息不因光线的衰减有较大变化。此时，这种较为复杂的环境下，基于形状的目标识别具有鲁棒性好、准确性高的特点。本发明中基于形状的水下目标识别方法如下： 

步骤S2a：人工设定矩形色块；数字摄像头采集图像，对采集后的图像灰度化；采用LSD算法对灰度图像检测出线段。水下矩形色块，在图像视野中呈现出平行四边形，并且有两条边是水平的。因此在LSD算法识别出线段集合后，需要做的就是拟合平行四边形，组后筛选出目标物。线段集合设为Ρ＝{p_i|p_i＝(x_i1,y_i1,x_i2,y_i2)}，其中p_i是线段，(x_i1,y_i1)、(x_i2,y_i2)是线段的两个端点坐标，提取的线段数为i＝1,2,…,m，m是提取的线段个数。 

步骤S2b：对线段数据规整，然后排序。规整是保证对于线段p_i＝(x_i1,y_i1,x_i2,y_i2)，满足 

$\left\{\begin{array}{c}{x}_{i1}\≤x_{i2}\\ y_{i1}\≤y_{i2}\end{array}\right.$

然后，按照线段端点y_i1的大小对线段排序。在线段端点y_i1值相近的线段中，保证水平线段排序优先。 

步骤S2c：对规整排序后线段进行平行四边形拟合； 

所述平行四边形拟合的步骤是依次从线段序列中取出线段p_i，在判定为水平线段后，找到与线段p_i的端点y_i1值相近的线段中的平行线段p_j、p_k。当平行线段p_j、p_k中有端点与线段p_i中端点距离小于多次仿真实验统计的距离阈值，且平行线段p_j、p_k长度相同时，则平行线段p_j、p_k与线段p_i构成平行四边形。其中，i,j,k＝1,2,...,m；i≠j≠k，m为提取的线段个数。 

步骤S2d：根据拟合后平行四边形的位置关系与颜色信息，抑制并剔除伪目标区域，识别出具有感兴趣水下目标的区域。 

在候选平行四边形中，根据矩形范围内Cr均值大小剔除非目标平行四边形；根据位置关系，剔除镜面效应的影响。 

图3中(a)、(b)、(c)、(d)所示，本发明方法在较复杂环境下利用形状进行目标识别的结构。图3中(b)表示LSD算法提取的线段，图3中(c)白色框用来表示候选四边形。可以看出，在颜色信息不能有效识别目标时，所提出算法能够很好的锁定目标物。首先，LSD算法提取的线段准确有效，并且冗余信息很少，为形状拟合提供了便利；其次，拟合算法、消除镜面效应的策略简单高效，很好的满足了机器鱼主动视觉的要求。 

三、基于轮廓的对水下图像进行目标识别 

此外，为提高本发明的应用范围，提出了对圆环的水下识别。结合矩形目标物，可以扩展为一般形状目标的识别。 

基于轮廓特征对水下图像进行目标识别的步骤包括：首先，数字摄像头采集目标图像；然后，二值化目标图像，二值化过程包括灰度化与高斯平滑滤波；最后，对二值化的图像利用轮廓提取法来找到感兴趣轮廓边缘点特征的水下目标区域。轮廓提取法的基本方法是，通过8邻点法来实现，如果一个目标点周围8个点都为黑色，则判定为背景点，否则则为轮廓点。提取到轮廓点之后，投影出中心点，并以周长最大的轮廓为感兴趣的目标区域。 

四、基于加权颜色直方图描述的水下目标定位 

步骤S41：采用加权直方图描述水下目标模型 

对于水下目标区域大小为m×n个像素点(x_i,y_j)，_{i＝1,2…m；j＝1,2…n}，统计(Cb,Cr)的联合直方图分布这里，对通道Cb、Cr分别量化到16个颜色级别上，可以极大的减小计算复杂度。 

$q(\tilde{C}b,\tilde{C}r)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\δ}(\mathrm{\μ}(x_i,y_i)-\tilde{C}b,\mathrm{\ν}(x_i,y_i)-\tilde{C}r)$

其中对通道Cb、Cr分别量化到16个颜色级别即Cb,Cr＝1,2,…16；μ(xi,y_j)、υ(xi,y_j)分别代表像素点(xi,yi)处Cb、Cr的值；δ(·)是Kronecker函数。 

目标区域中，含有非目标像素的影响，这样会干扰联合直方图的准确性，增加目标模型的误差。为了减少这种影响，引入加权直方图来描述目标模型，以增加中心目标的权重，减弱四周非目标的权重。 

$q(\tilde{C}b,\tilde{C}r)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\κ}\left(\stackrel{\→}{{\mathrm{\γ}}_i}\right)\mathrm{\δ}(\mathrm{\μ}(x_i,y_i)-\tilde{C}b,\mathrm{\ν}(x_i,y_i)-\tilde{C}r)$

其中，是目标加权因子，是位置向量，并且满足： 

$\mathrm{\κ}\left(\stackrel{\→}{\mathrm{\γ}}\right)=\left\{\begin{array}{cc}1-{\left|\right|\stackrel{\→}{\mathrm{\γ}}\left|\right|}^2& \mathrm{if}\left|\right|\stackrel{\→}{\mathrm{\γ}}\left|\right|\≤1\\ 0& \mathrm{if}\left|\right|\stackrel{\→}{\mathrm{\γ}}\left|\right|>1\end{array}\right.$

同时，考虑到背景特征(颜色直方图)中包含目标模型中的像素信息，这对于目标定位是极大的干扰。为了减小这种影响，对背景特征同样引入加权，计算比例加权颜色直方图。在目标区域外围，另外选择更大的一块区域作为背景区域(背景区域面积是目标区域的3倍)。假定是背景区域的联合直方图分布，是其中的最小非零值，得到背景加权因子： 

$\mathrm{\ω}(\tilde{C}b,\tilde{C}r)=\min (\frac{\stackrel{*}{O}}{O(\tilde{C}b,\tilde{C}r)},1)$

这样，联合直方图分布可以描述水下目标模型如下: 

$q(\tilde{C}b,\tilde{C}r)=\mathrm{\ω}(\tilde{C}b,\tilde{C}r)\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\κ}\left(\stackrel{\→}{{\mathrm{\γ}}_i}\right)\mathrm{\δ}(\mathrm{\μ}(x_i,y_i)-\tilde{C}b,\mathrm{\ν}(x_i,y_i)-\tilde{C}r)$

归一化到[0,255]，最终的表示如下式所示。 

$q(\tilde{C}b,\tilde{C}r)=\min (255,\frac{255*q(\tilde{C}b,\tilde{C}r)}{\max \left(q\right)})$

其中，max(q)指的是目标模型中的最大值。 

图4中(a)、(b)、(c)、(d)描述了本发明中基于背景加权的直方图描述目标模型的结果。可以看出，本发明的方法具有很好的鲁棒性，能够精确表述目标，为基于嵌入式视觉的定位提供基础。 

步骤S42：采用CAMSHIFT对水下目标进行粗定位，确定候选目标区域； 

CAMSHIFT算法，是数据驱动型的算法，是对Mean Shift算法的改进，非常适合实时性要求较高的跟踪。算法以目标模型的描述(联合颜色概率分布)为基础，获取图像的颜色直方图的反投影；然后，在每一帧中应用Mean Shift算法确定目标位置，接着对连续帧进行相应操作。 

步骤S43：对矩形特征目标物或圆环特征目标物的镜面效应进行抑制实现水下目标的准确定位，得到目标的精确区域。 

A矩形目标物的镜面效应抑制 

对于水中的物体，由于光线受水折射衰减的影响，通常情况下，物体越接近水面的地方，光线会越强，图5是一幅数字摄像头正立拍摄的图像，可以看到目标物的上半部分的光强要比下半部分强，那么其镜像必然上部分光线弱，下半部分光线强，因而本发明提供了一个辨别镜像的方法，通过判断目标物上下光强的分布来找出镜像，从而将其从反向图中去掉，以消除其对目标搜索的干扰。 

本发明正是基于以上思路提出一种基于光强统计的方式，得到目标物体光强分布，对目标光强从上向下进行抽样统计，得到其抽样分布，最终通过最小二乘拟合得到光强数据分布的斜率，通过斜率与阈值进行比较从而判断其是否为镜像。 

本发明中数字摄像头输出的数据格式是YCbCr4:2:2，其中通道Y是亮度信息，其会跟随光强的大小进行变化，光强越强，通道Y相对也会越大，因而采用通道Y来代表光强，通过对它的统计以实现对光强的统计，对矩形目标物的镜面效应进行抑制的具体步骤如下： 

步骤S43A：利用得到的目标的精确区域在图像原始存储的通道Y中 隔行抽样，对每个抽到的行进行隔列求和得出抽得行的光强和。 

步骤S43B：对抽样得到的行光强和进行最小二乘拟合得到斜率，将斜率与给定的斜率阈值进行比较，判断候选目标区域是否为镜像；其中，斜率阈值是多次仿真实验得到的统计值。 

步骤S43C：如果判断出候选目标区域是镜像区域，则在反向投影图中将第二步得到的精确区域放大一个因子，再将得到的镜像区域的像素值全部置成0，设置搜索窗口为该镜像区域以外的窗口，再运用CAMSHIFT算法重新搜索，用以得到目标；如果判断不是镜像区域则认为是目标，等待下一帧图像到来继续跟踪。 

本发明以图5的图像为例进行处理，对镜像区域统计出的光强分布如图6a，对目标区域统计出的光强分布如图6b，纵坐标是抽样行统计的通道Y数据和，横坐标是抽样行离水面的相对距离，图中可以看到目标的光强信息离水面越近越大，离水面越远越小，整体上按离水面的距离是呈下降趋势，而镜像恰恰相反，图中在出现的不规则点如图6a中的最后几个点以及图6b起初的一个点，这些是由于目标和镜像边界的不均匀所产生的干扰，但是不影响整体的光强趋势。对图6a、图6b中的点进行最小二乘拟合，考虑的干扰的存在以及不同水下环境的光强不同，通过合理设置阈值即可区分出镜像和目标，从而消除镜像干扰。 

B圆环目标的镜面效应抑制 

目标物为圆环时，由于有效目标的面积有限，光强信息不明显，本发明又提出了针对于圆环目标的镜像抑制方法。 

如图7a和图7b描述了两种常见的圆环的镜面效应图像，对于如图7a中的镜像干扰，由于目标和镜像是处于分离状态，因而通过先验知识，寻找周长最大的轮廓即可以将周长不是最大的轮廓滤除，实现目标与镜像分离的镜像抑制，具体过程如下： 

1)对采集到的图像，利用MEANSHIFT获得目标的参考重心位置。 

2)对于特征匹配的轮廓计算得到轮廓重心，当轮廓重心与目标的参考重心距离超过给定距离阈值时，将其滤除。其中，距离阈值由多次仿真实验统计得到。 

3)对符合上述条件的轮廓进行周长检测，找出轮廓周长最大的轮廓 即为目标。 

对于图7b中的镜像干扰，目标与镜像相连，其相比图7a处理起来的要复杂很多，对于目标与镜像相连的镜像抑制，对于粗定位确定的候选目标区域，本发明提出一种基于凹点的镜像滤除方法，从图7b中可以看到由于圆本身的凸特性，在目标和镜像的连接处存在凹点，从而导致整个轮廓是非凸的，因而对于该情形可以采取如下的方法进行镜像干扰的滤除。采用基于凹点的镜像抑制的具体步骤如下： 

对于精确确定的目标区域，使用与图7a中镜像抑制的方法滤除相关干扰。 

步骤S43a：对于粗定位确定的候选目标区域，根据目标重心与轮廓周长信息滤除干扰； 

步骤S43b：对符合目标特征的轮廓区域，使用Freeman轮廓编码判断目标特征的轮廓是否为凸缺陷，如果目标特征的轮廓为凸缺陷，则不存在相连镜像；如果目标特征的轮廓不为凸缺陷，进行下一步； 

步骤S43c：对于轮廓区域，计算轮廓的多边形凸包，利用多边形凸包计算出轮廓的凸缺陷； 

步骤S43d：找出凸缺陷的离对应凸包最远的点之间的距离，然后利用给定距离阈值找到凹点。给定距离阈值是指凸缺陷的离对应凸包最远的点之间的距离阈值，由多次仿真实验统计得到。 

步骤S43e：由于机器鱼的位姿是处于正立的，数字摄像头放置的位姿是处于正立的，因而采集的图像中位于凹点连线以上区域部分即为镜像部分，顺着轮廓将轮廓上处于凹点连线上半部分的区域从轮廓中剔除，剔除时采用直线方程法，在图像坐标系中处于两个凹点连线上方的轮廓点其对应的特征如图8，利用该特性即可以滤除该镜像。 

如图9a中所示，其是针对图7a的情形处理得到的结果，图中矩形线条框区域为使用CAMSHIFT预测的目标区域，白色框为搜索到的目标轮廓，可以看到镜像干扰被很好的滤除了。针对图7b的情况，如图9b中所示白色轮廓为含有镜像提取的轮廓，外围黑色轮廓为白色轮廓的凸包围，A点和B点即为轮廓的凹点，从凹点开始在其连线的上半部分顺着轮廓将镜像轮廓滤除，从凹点开始连线的上半部分区域即为识别出来的镜像轮廓， 将其剔除，可以看到通过此方法，上述镜像问题得到了很好的解决。 

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (13)

1.一种应用于仿生机器鱼的水下主动视觉跟踪方法，其特征在于，包括基于嵌入式视觉系统的自主目标识别与目标定位的步骤如下：

步骤S1：数字摄像头采集数字水下图像；

步骤S2：基于颜色特征、形状特征、轮廓特征其中的一种对水下图像进行目标识别，获取颜色特征、形状特征、轮廓特征其中的一种的水下目标区域；

步骤S3：对颜色特征、形状特征、轮廓特征其中的一种的水下目标区域，采用加权颜色直方图对目标进行特征描述，并根据目标特征描述实现对水下目标定位。

2.根据权利要求1所述的方法，其特征在于，所述基于颜色特征对水下目标识别的步骤如下：

步骤S2A：采集的水下图像格式为YCbCr4:2:2，对采集到图像的通道Cb、通道Cr分别选取自适应颜色阈值，其中通道Y的像素因为受光照影响较大而舍弃；

步骤S2B：逐行逐列扫描水下图像，根据红色像素判定准则统计红色像素个数；

步骤S2C：当连续行/列的红色像素个数超过给定自适应颜色阈值，则识别出感兴趣的水下目标区域。

3.根据权利要求2所述的方法，其特征在于：所述红色像素的判定准则如下表示：

$\left\{\begin{array}{c}\tilde{C}r>\mathrm{Cr}\_\mathrm{thres}\\ \tilde{C}r-\tilde{C}b>\mathrm{Cr}\_\mathrm{thres}-\mathrm{Cb}\_\mathrm{thres}\\ \tilde{C}r/\tilde{C}b>\mathrm{Cr}\_\mathrm{thres}/\mathrm{Cb}\_\mathrm{thres}\end{array}\right.,$

其中，分别代表某一像素的红色分量值与蓝色分量值；Cr_thres、Cb_thres分别表示通道Cr、Cb的自适应颜色阈值。

4.根据权利要求1所述方法，其特征在于，所述基于形状特征对水下图像进行目标识别的步骤如下：

步骤S2a：人工设置矩形色块，对采集图像做灰度化处理；采用LSD算法对灰度图像提取线段；

步骤S2b：对提取的线段数据规整并排序；

步骤S2c：对规整排序后线段进行平行四边形拟合；

步骤S2d：根据拟合后平行四边形的位置关系与颜色信息，抑制并剔除伪目标区域，识别出具有感兴趣水下目标的区域。

5.根据权利要求4所述的方法，其特征在于：所述线段的集合P设为Ρ＝{p_i|p_i＝(x_i1,y_i1,x_i2,y_i2)}，其中p_i是线段，(x_i1,y_i1)、(x_i2,y_i2)是线段的两个端点坐标，提取的线段数为i＝1,2,…,m，m是提取的线段个数。

6.根据权利要求5所述的方法，其特征在于，所述对提取的线段数据规整满足下式：

$\left\{\begin{array}{c}{x}_{i1}\≤x_{i2}\\ y_{i1}\≤y_{i2}\end{array}\right.;$

按照线段端点y_i1的大小对线段排序，在线段端点y_i1值相近的线段中，保证水平线段排序优先。

7.根据权利要求5所述的方法，其特征在于，所述平行四边形拟合的步骤是依次从线段序列中取出线段p_i，在判定为水平线段后，找到与线段p_i的端点y_i1值相近的线段中的平行线段p_j、p_k；当平行线段p_j、p_k中有端点与线段p_i中的端点距离小于距离阈值，且平行线段p_j、p_k长度相同时，则平行线段p_j、p_k与线段p_i构成平行四边形；其中，i,j,k＝1,2,...,m；i≠j≠k，m为提取的线段个数。

8.根据权利要求1所述方法，其特征在于，所述基于轮廓特征对水下图像进行目标识别的步骤包括：将采集的图像灰度化，二值化灰度图像，对二值化的图像利用轮廓提取法识别出感兴趣轮廓边缘点特征的水下目标区域，所述二值化过程包括灰度化与高斯平滑滤波。

9.根据权利要求1所述的方法，其特征在于，所述水下目标区域m×n个像素点(x_i,y_j)_{i＝1,2…m；j＝1,2…n}，像素点(x_i,y_j)处通道Cb、通道Cr的值表示为μ(x_i,y_j)、υ(x_i,y_j)，并且通道Cb、Cr被量化为16个颜色量级。

10.根据权利要求1所述方法，其特征在于，所述根据目标特征描述实现对水下目标定位的步骤如下：

步骤S41：采用加权直方图描述水下目标模型；

步骤S42：采用CAMSHIFT算法对水下目标进行粗定位，确定候选目标区域；

步骤S43：对矩形特征目标物或圆环特征目标物的镜面效应进行抑制，实现水下目标的准确定位，得到目标的精确区域。

11.如权利要求10所述的方法，其特征在于，所述描述水下目标模型表示如下：

$q(\tilde{C}b,\tilde{C}r)=\mathrm{\ω}(\tilde{C}b,\tilde{C}r)\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\κ}\left(\stackrel{\→}{{\mathrm{\γ}}_i}\right)\mathrm{\δ}(\mathrm{\μ}(x_i,y_i)-\tilde{C}b,\mathrm{\ν}(x_i,y_i)-\tilde{C}r)$

其中，对通道Cb、Cr分别量化到16个颜色级别即 是背景加权因子，是目标加权因子，δ(·)是Kronecker函数；μ(x_i,y_j)、υ(x_i,y_j)为像素点(x_i,y_j)处通道Cb、通道Cr的值；目标加权因子满足：

$\mathrm{\κ}\left(\stackrel{\→}{\mathrm{\γ}}\right)=\left\{\begin{array}{cc}1-{\left|\right|\stackrel{\→}{\mathrm{\γ}}\left|\right|}^2& \mathrm{if}\left|\right|\stackrel{\→}{\mathrm{\γ}}\left|\right|\≤1\\ 0& \mathrm{if}\left|\right|\stackrel{\→}{\mathrm{\γ}}\left|\right|>1\end{array}\right.,$

并且是位置向量；

背景加权因子满足： 是背景区域的联合直方图分布，是其中的最小非零值。

12.如权利要求10所述的方法，其特征在于，所述对矩形目标物的镜面效应进行抑制的具体步骤如下：

步骤S43A：对采集图像的通道Y隔行抽样，对每一个抽到的行进行隔列求和，得到行的光强和；

步骤S43B：对抽样得到的行光强和进行最小二乘拟合得到斜率，将斜率与给定的斜率阈值进行比较，判断候选目标区域是否为镜像；

步骤S43C：如果判断出候选目标区域是镜像区域，则在反向投影图中将得到的区域放大一个因子，再将得到的镜像区域的像素值全部置成0，设置搜索窗口为该镜像区域以外的窗口，再运用CAMSHIFT算法重新搜索，用以得到目标；如果判断候选目标区域不是镜像区域则认为是目标，等待下一帧图像到来继续跟踪。

13.如权利要求10所述的方法，其特征在于，所述对圆环目标物的镜面效应进行抑制，将镜像与目标的连接情况不同分为两种情况:目标与镜像分离的镜像抑制和目标与镜像相连的镜像抑制，其中:

(1)对于目标与镜像分离的镜像抑制，对于粗定位确定的候选目标区域，结合目标重心位置与周长信息即可完成目标与镜像分离的镜像抑制；

(2)对于目标与镜像相连的镜像抑制，对于粗定位确定的候选目标区域，采用基于凹点的镜像抑制的具体步骤如下：

步骤S43a：对于粗定位确定的候选目标区域，根据目标重心与轮廓周长信息滤除干扰；

步骤S43b：对符合目标特征的轮廓区域，使用Freeman轮廓编码判断目标特征的轮廓是否为凸缺陷；如果目标特征的轮廓为凸缺陷，则不存在相连镜像，如果目标特征的轮廓不为凸缺陷，则进行下一步；

步骤S43c：计算目标特征的轮廓的多边形凸包，利用多边形凸包计算出目标特征的轮廓凸缺陷；

步骤S43d：找出凸缺陷离对应凸包最远的点之间的距离，然后利用给定凸缺陷的离对应凸包最远点的距离阈值找到凹点；

步骤S43e：由于数字摄像头放置的位姿是处于正立的，因而采集的图像中位于凹点连线以上区域部分即为镜像部分，顺着轮廓将轮廓上处于凹点连线上半部分的区域从轮廓中剔除。