CN113052872B - 一种基于声呐图像的水下运动目标跟踪方法 - Google Patents
一种基于声呐图像的水下运动目标跟踪方法 Download PDFInfo
- Publication number
- CN113052872B CN113052872B CN202110271736.2A CN202110271736A CN113052872B CN 113052872 B CN113052872 B CN 113052872B CN 202110271736 A CN202110271736 A CN 202110271736A CN 113052872 B CN113052872 B CN 113052872B
- Authority
- CN
- China
- Prior art keywords
- target
- model
- tracking
- image
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 239000000203 mixture Substances 0.000 claims abstract description 21
- 230000000877 morphologic effect Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 102400000832 Antiplasmin-cleaving enzyme FAP, soluble form Human genes 0.000 claims description 4
- 101800000492 Antiplasmin-cleaving enzyme FAP, soluble form Proteins 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000007774 longterm Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于声呐图像的水下运动目标跟踪方法。首先基于高斯混合模型及最邻近算法对声呐图像背景进行建模,结合形态学方法分离图像的前景和背景,获取刚进入视野范围内运动目标初始位置,根据初始位置初始化基于级联匹配的跟踪器,该跟踪器以ECO‑HC算法为基础,在确认目标跟丢的情况下基于高斯混合模型对长期存在于视野范围内的目标进行重定位,结合水下运动目标的运动模型及外观模型对目标重定位结果和跟踪结果进行级联匹配,解决了一般情况下目标跟丢后无法再跟上的问题,有利于跟踪准确率的提高,实现长期稳定的水下运动目标跟踪。
Description
技术领域
本发明涉及声呐图像处理和水下运动目标跟踪领域,特别涉及一种基于声呐图像的水下运动目标跟踪方法。
背景技术
海洋领域的探索一直是各国的研究重点和难点,海洋覆盖了地球绝大部分地区,内含丰富的生物与矿产资源,有很多未知等待发掘。随着成像声呐技术的蓬勃发展,声呐图像分辨率得到大幅度提升,基于声呐图像的后处理技术也逐渐得到了广泛应用。其中,基于声呐图像的目标跟踪在海洋军事、海洋环境监测、海产养殖等方面都起着至关重要的作用。
大多数基于声呐图像的目标跟踪算法,都是扫描整张声呐图像检测正在移动的运动目标,结合卡尔曼滤波或粒子滤波实现跟踪,属于基于检测的跟踪方式,而基于相关滤波的跟踪方法是一种无需检测的跟踪方式,只需要提供运动目标的初始位置,而后提取目标特征,训练滤波器模板,实现实时自动跟踪,不同于基于检测的方法,此类方法不需要扫描整张图寻找目标,只需要在上一帧目标位置附近进行搜索,在效率上有着极大的优越性。
目标出现在视野范围内的初始位置提取与目标提取一样,都是要将图像的前景和背景进行区分,从而确定目标位置。常用的目标提取的方法可根据是否使用帧间信息进行区分,只使用当前帧信息的方法有背景差分法、最大类间方差法(OTSU)、基于形态学的目标提取方法,它们都是根据目标与背景的灰度值差异来进行目标提取;使用帧间信息的常用方法为帧间差分法,即将当前帧减去上一帧从而获取目标位置,此方法拥有比基于单帧图像方法更多的信息,有利于声呐图像的提取,但是它们都存在一个共同的问题,声呐图像中存在着大量噪声,且不断变化,会对目标提取造成巨大干扰。并且由于水下声呐图像存在的分辨率低、前景和背景区分度低等问题,基于声呐图像的目标跟踪会存在跟丢的情况,而一般的跟踪算法一旦跟丢便无法再找回目标的正确位置。在水下运动目标跟踪过程中,需要能检测到目标是否跟丢,并实现对跟丢目标的再跟踪,以实现长期稳定的水下运动目标跟踪。
针对以上问题,本发明提出了一种基于声呐图像的水下运动目标跟踪方法。该方法基于高斯混合模型和最邻近算法进行目标提取,能够实时更新背景模型,及时捕捉环境变化,并且引入了形态学方法减轻了噪声的影响,然后基于相关滤波算法实现水下运动目标跟踪,采用目标重定位和级联匹配的方法实现对跟丢目标的再跟踪,大大提升了水下运动目标跟踪性能。
发明内容
本发明的目的是提供一种基于声呐图像的水下运动目标跟踪方法,以解决上述问题,实现对水下运动目标的长期稳定跟踪。
为达到上述目的,本发明采用如下技术方案:
一种基于声呐图像的水下运动目标跟踪方法,包括以下步骤:
S1:读取水下声呐图像序列,获取运动目标出现前的水下背景图像序列;
S2:根据水下背景图像序列,基于高斯混合模型对水下声呐图像背景进行建模,得到水下声呐图像背景模型,并结合最邻近算法对背景模型进行动态更新;
S3:基于建立的声呐图像背景模型获取刚进入视野范围的水下运动目标区域,根据真实运动目标与声学阴影的像素差异排除图像中声学阴影区域,利用形态学方法去除图像中噪点,然后构建最小外接矩形,获取基于声呐图像的水下运动目标初始位置及大小;
S4:根据水下运动目标位置及大小,融合目标的颜色特征和形状特征作为样本特征,训练滤波器并与下一帧中搜索范围内的融合特征样本进行卷积,响应最大的即为下一帧目标跟踪结果;
S5:当跟踪结果连续多帧无变化且其不位于声呐图像边界时,则目标已跟丢,此时基于高斯混合模型与最邻近算法进行目标重定位;
S6:为水下运动目标建立相对应的运动模型和外观模型,结合匈牙利算法对目标重定位结果与历史帧的跟踪结果进行级联匹配,若跟踪结果能匹配上定位结果,则转至步骤S4继续进行跟踪,否则,结束跟踪。
与现有技术相比,本发明的优点在于,将基于高斯混合模型和最邻近算法的目标提取方法与ECO-HC目标跟踪算法相结合,实现基于声呐图像的水下运动目标自主跟踪。同时,考虑到声呐图像分辨率低、前景和背景难以区分等特征,提出在目标跟丢后进行目标重定位,利用级联匹配进行目标重定位结果和跟踪结果的数据关联,实现对跟丢目标的再跟踪,可极大提升水下运动目标跟踪性能。
附图说明
图1是本发明所提出的基于声呐图像的水下运动目标跟踪方法流程图;
图2是本发明使用的基于高斯混合模型和最邻近算法构建目标最小外接矩形流程图;
图3是本发明使用的以高斯分布形式获取训练样本数据标签值的示意图;
图4是本发明应用在真实声呐图像数据集的连续帧跟踪结果。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
本发明是一种基于声呐图像的水下运动目标跟踪方法,根据获取的水下声呐图像序列,实现对水下运动目标长期而稳定的自主跟踪,如图1所示,主要包括如下步骤:
S1:读取水下声呐图像序列,获取运动目标出现前的水下背景图像序列;
S2:根据水下背景图像序列,基于高斯混合模型对水下声呐图像背景进行建模,得到水下声呐图像背景模型,并结合最邻近算法对背景模型进行动态更新,具体步骤如下:
S2.1:使用运动目标出现前的水下背景图像序列来训练高斯混合模型,表示为:
θm=(μm,Σm),
式中,P(x|θ)表示高斯混合模型,x表示目标出现前的水下背景图像,θ表示高斯混合模型的参数,M表示单高斯模型的个数,φ(x|θm)为第m个单高斯模型的概率密度函数,θm表示第m个单高斯模型的参数,μm为第m个单高斯模型的均值,Σm为第m个单高斯模型的协方差,πm是运动目标出现前的水下背景图像样本数据属于第m个单高斯模型的概率。
具体步骤如下:
S2.1.1:针对每一张样本图像,为每一个像素建立拥有M个单高斯模型的高斯混合模型,第一帧时初始化每个单高斯模型的参数μm、Σm、πm。
S2.1.2:对于非第一帧的水下背景图像序列,根据当前参数计算样本图像中的像素点j属于第m个单高斯模型的可能性:
式中,xj表示样本图像中的第j个像素点,γjm表示归一化后的样本图像中的像素点j属于第m个单高斯模型的可能性;φ(xj|θm)表示像素点j对应于第m个单高斯模型的概率密度函数;
S2.1.3:根据γjm计算下一轮迭代的模型参数:
式中,N表示样本图像中的像素点数量,Σm表示第m个单高斯模型的标准差,上角标T表示转置;
S2.1.4:重复计算步骤S2.1.2和S2.1.3直到下一轮迭代的参数值与当前参数值相减小于一定阈值。
S2.2:基于建立的水下声呐图像背景模型,结合最邻近算法对背景模型进行动态更新,获取能随环境变化实时更新的背景模型。
具体步骤如下:
S2.2.1:每τ个时间段更新一次样本数据,将时间t的训练样本数据集表示为Xτ={x(t),...,x(t-τ)},其中,Xτ表示样本数据集,x(t)表示时间t对应的样本数据;
基于更新训练样本数据集的高斯混合模型分布为:
S2.2.2:当在时间t给定给一个新样本x(t),模型参数的迭代公式为:
其中,α∈(0,1)为旧样本数据对模型更新影响的参数,随时间呈指数形式递减;为新样本关系参数,与新样本中像素点最近的单高斯模型设置为1,其他的置0;样本数据中像素点与单高斯模型是否接近由最邻近法确定,若它们之间的马氏距离小于一定阈值,则定义为“接近”。如果计算后新样本中像素点没有“接近”的单高斯模型,那么就为其新增一个单高斯模型,此模型的参数设置为:πM+1=α,μM+1=x(t),σM+1=σ0,σ0为新样本数据的标准差;如果拥有的单高斯模型个数达到最大值,就抛弃πm值最小的单高斯模型。
S3:基于建立的声呐图像背景模型获取刚进入视野范围的水下运动目标区域,如图2所示,根据真实运动目标与声学阴影的像素差异排除图像中声学阴影区域,利用形态学方法去除图像中噪点,然后构建最小外接矩形获取基于声呐图像的水下运动目标初始位置及大小,具体步骤如下:
S3.1:基于建立的声呐图像背景模型,标记不符合背景模型的图像区域作为运动目标区域,得到标记好的图像;
S3.2:遍历标记好的图像,将图像中像素值小于250的运动目标区域为对应运动目标的声学阴影,排除所有帧中像素值小于250的区域;
S3.3:利用开运算的方法去除错误标记的图像噪点,先对图像做腐蚀运算,再对图像做膨胀运算,消除图像中区域小的物体,并在细缝处分离物体;
S3.4:采用8邻接连通域标记方式标记图像中的连通域,将像素点个数超过一定阈值的连通域作为水下运动目标区域,并构建最小外接矩形作为跟踪的初始化框。
在本实施例中,如图2所示,采用8邻接连通域标记方式标记图像中的连通域的方式为:遍历所有像素点,首先判断该像素点周围是否有8邻接像素,若是,则将此像素点标记为当前连通域最大标号+1,若否,则将此像素点标记为与其相连的连通域中的最小标号。
S4:根据水下运动目标位置及大小,融合目标的颜色特征和形状特征作为样本特征,训练滤波器并与下一帧中搜索范围内的融合特征样本进行卷积,响应最大的即为下一帧目标跟踪结果,具体步骤如下:
S4.1:当某一帧检测到第一次出现在图像边界的矩形框时,以此矩形框的位置和大小作为水下运动目标的位置和大小,初始化跟踪;
S4.2:提取目标区域附近一定搜索范围内图片样本的颜色特征和形状特征,并进行融合作为训练数据,本实施例中,将CN特征作为颜色特征,FHOG特征作为形状特征;然后,以目标位置为中心,通过移位的方式在一定搜索范围内构建训练样本数据,结合高斯分布确定训练样本数据的标签值z,如图3所示;
S4.3:以平方差的形式构建损失函数,加入正则化项防止过拟合,使用共轭梯度求解基于训练数据的滤波器;
S4.4:使用训练好的滤波器与下一帧图片样本的融合特征进行卷积,响应最大的即为下一帧运动目标位置;
S4.5:基于每一帧滤波器与图片样本卷积得到的响应图,当响应图的相关能量均峰值(APCE)超过一定阈值时,则进行滤波器的更新,即执行步骤S4.2及S4.3,APCE值的求取公式如下:
式中,Smax、Smin、Sw,h分别表示响应图中的最大值、最小值以及第w行第h列的响应图值;
S4.6:在每一帧声呐图像中执行步骤S4.4及S4.5,直到跟踪结果持续多帧未发生变化,若此时跟踪结果位于图像边界,则说明运动目标已离开视野范围,结束跟踪,否则,说明跟丢目标,执行步骤S5。
S5:当跟踪结果连续多帧无变化且其不位于声呐图像边界时,则目标已跟丢,此时基于高斯混合模型与最邻近算法进行目标重定位,具体步骤如下:
S5.1:确认目标已跟丢时初始化目标重定位,重新执行步骤S3.1-S3.4,获取当前帧视野范围内正在运动目标的最小外接矩形框;
S5.2:对获取的多个矩形框进行初步筛选,区分刚进入视野范围内的目标和已经在视野范围内存在很久的目标,将在视野范围内存在很久的目标作为目标重定位结果,具体步骤如下:
S5.2.1:依次判断每一个矩形框是否位于图像边界,若是,则进入步骤S5.2.2,若否,则将其作为目标重定位结果,重复该步骤,直至遍历获取到的所有矩形框;
S5.2.2:判断位于图像边界的矩形框属于刚进入视野的情况还是即将离开视野的情况,判断方式为:对比前几帧边界处目标框与边界构成的区域面积是否逐渐减小,若是,则该矩形框属于即将离开视野的情况,将其作为目标重定位结果;否则属于刚进入视野的情况,返回步骤S4进行初始化跟踪。
S6:为水下运动目标建立相对应的运动模型和外观模型,结合匈牙利算法对目标重定位结果与历史帧的跟踪结果进行级联匹配,若跟踪结果能匹配上定位结果则转至步骤S5继续进行跟踪,否则,结束跟踪。具体步骤如下:
S6.1:基于水下运动目标的运动模型和外观模型构建成本矩阵,成本矩阵求取公式为:
ci,j=λd1(i,j)+(1-λ)d2(i,j)
式中,d1(i,j)表示跟踪结果与重定位结果基于运动模型的成本矩阵,d2(i,j)表示跟踪结果与重定位结果基于外观模型的成本矩阵,λ表示不同模型权重;ci,j表示第i个跟踪结果对应于第j个重定位结果的成本;
具体步骤如下:
S6.1.1:使用马氏距离来计算目标运动模型的成本矩阵,如下:
式中,dj表示第j个重定位结果,yi表示第i个跟踪结果,Σ表示样本协方差矩阵。
S6.1.2:以目标的融合特征为基础建立外观模型,根据重定位结果与跟踪结果融合特征之间的最小余弦距离来计算基于外观模型的成本矩阵,如下:
式中,rj表示第j个重定位结果的融合特征,在历史跟踪过程中,会收集很多融合特征样本,假设每个目标的跟踪结果中有k个融合特征,表示第i个目标跟踪结果的第k个融合特征,Ri表示第i个目标跟踪结果的融合特征样本集;
S6.1.3:使用加权和的方式结合基于运动模型的成本矩阵和基于外观模型的成本矩阵,构建最终用于级联匹配的成本矩阵。
S6.2:基于成本矩阵,利用匈牙利匹配算法实现跟踪结果与目标重定位结果之间多对多的级联匹配,若跟踪结果能匹配上定位结果则转至步骤S4.2继续进行跟踪,否则,结束跟踪。具体步骤如下:
S6.2.1:对成本矩阵做行变换或列变换,减去各行或各列的最小元素,若某行或某列中存在0,则无需进行行变换或列变换;
S6.2.2:依次搜索成本矩阵中的行和列,找出存在0元素的行或列并进行标记,将对应的目标定位结果与跟踪结果进行初步匹配;
S6.2.3:根据初步匹配结果,利用增广路径进行匹配对的扩充,获取目标重定位结果与跟踪结果的最大匹配对;
S6.2.4:若跟踪结果能匹配上定位结果,则转至步骤S4.2继续进行跟踪,否则,结束跟踪。
将此发明方法应用于真实图像数据集,其连续帧跟踪结果如图4所示,图中总共存在两个鱼类跟踪目标,每个目标均被两个矩形框框出,这两个矩形框分别为目标所在真实位置大小和跟踪结果,可以看出,本发明方法能够稳定跟踪上声呐图像上的鱼类目标。
以上对本发明提供的基于声呐图像的水下运动目标跟踪方法的原理及实施方式进行了详细阐述,以上实例的说明只是用于帮助理解本发明的方法及核心思想,本发明并不仅限于上述举例,在不脱离本发明实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (9)
1.一种基于声呐图像的水下运动目标跟踪方法,其特征在于,包括以下步骤:
S1:读取水下声呐图像序列,获取运动目标出现前的水下背景图像序列;
S2:根据水下背景图像序列,基于高斯混合模型对水下声呐图像背景进行建模,得到水下声呐图像背景模型,并结合最邻近算法对背景模型进行动态更新;所述的步骤2具体为:
S2.1:使用运动目标出现前的水下背景图像序列来训练高斯混合模型,表示为:
θm=(μm,Σm),
式中,P(x|θ)表示高斯混合模型,x表示目标出现前的水下背景图像,θ表示高斯混合模型的参数,M表示单高斯模型的个数,φ(x|θm)为第m个单高斯模型的概率密度函数,θm表示第m个单高斯模型的参数,μm为第m个单高斯模型的均值,Σm为第m个单高斯模型的协方差,πm是运动目标出现前的水下背景图像样本数据属于第m个单高斯模型的概率;
所述的步骤S2.1包括:
S2.1.1:针对每一张样本图像,为每一个像素建立拥有M个单高斯模型的高斯混合模型,第一帧时初始化每个单高斯模型的参数μm、Σm、πm;
S2.1.2:对于非第一帧的水下背景图像序列,根据当前参数计算样本图像中的像素点j属于第m个单高斯模型的可能性:
式中,xj表示样本图像中的第j个像素点,γjm表示归一化后的样本图像中的像素点j属于第m个单高斯模型的可能性;φ(xj|θm)表示像素点j对应于第m个单高斯模型的概率密度函数;
S2.1.3:根据γjm计算下一轮迭代的模型参数:
式中,N表示样本图像中的像素点数量,Σm表示第m个单高斯模型的标准差,上角标T表示转置;
S2.1.4:重复计算步骤S2.1.2和S2.1.3直到下一轮迭代的参数值与当前参数值相减小于一定阈值;
S2.2:基于建立的水下声呐图像背景模型,结合最邻近算法对背景模型进行动态更新,获取能随环境变化实时更新的背景模型;
所述的动态更新过程为:
S2.2.1:每τ个时间段更新一次样本数据,将时间t的训练样本数据集表示为Xτ={x(t),...,x(t-τ)},其中,Xτ表示样本数据集,x(t)表示时间t对应的样本数据;
基于更新训练样本数据集的高斯混合模型分布为:
S2.2.2:当在时间t给定给一个新样本x(t),模型参数的迭代公式为:
S3:基于建立的声呐图像背景模型获取刚进入视野范围的水下运动目标区域,根据真实运动目标与声学阴影的像素差异排除图像中声学阴影区域,利用形态学方法去除图像中噪点,然后构建最小外接矩形,获取基于声呐图像的水下运动目标初始位置及大小;
S4:根据水下运动目标位置及大小,融合目标的颜色特征和形状特征作为样本特征,训练滤波器并与下一帧中搜索范围内的融合特征样本进行卷积,响应最大的即为下一帧目标跟踪结果;
S5:当跟踪结果连续多帧无变化且其不位于声呐图像边界时,则目标已跟丢,此时基于高斯混合模型与最邻近算法进行目标重定位;
S6:为水下运动目标建立相对应的运动模型和外观模型,结合匈牙利算法对目标重定位结果与历史帧的跟踪结果进行级联匹配,若跟踪结果能匹配上定位结果,则转至步骤S4继续进行跟踪,否则,结束跟踪。
2.根据权利要求1所述的一种基于声呐图像的水下运动目标跟踪方法,其特征在于,在步骤S 2.2.2中,样本数据中像素点与单高斯模型是否接近由最邻近法确定,若它们之间的马氏距离小于一定阈值,则为接近;如果计算后新样本中像素点没有接近的单高斯模型,那么就为其新增一个单高斯模型,此模型的参数设置为:πM+1=α,μM+1=x(t),σM+1=σ0,σ0为新样本数据的标准差;如果拥有的单高斯模型个数达到最大值,就抛弃πm值最小的单高斯模型。
3.根据权利要求1所述的一种基于声呐图像的水下运动目标跟踪方法,其特征在于,所述的步骤3具体为:
S3.1:基于建立的声呐图像背景模型,标记不符合背景模型的图像区域作为运动目标区域,得到标记好的图像;
S3.2:遍历标记好的图像,将图像中像素值小于250的运动目标区域为对应运动目标的声学阴影,排除所有帧中像素值小于250的区域;
S3.3:利用开运算的方法去除错误标记的图像噪点,先对图像做腐蚀运算,再对图像做膨胀运算,消除图像中区域小的物体,并在细缝处分离物体;
S3.4:采用8邻接连通域标记方式标记图像中的连通域,将像素点个数超过一定阈值的连通域作为水下运动目标区域,并构建最小外接矩形作为跟踪的初始化框。
4.根据权利要求1所述的一种基于声呐图像的水下运动目标跟踪方法,其特征在于,所述的步骤4具体为:
S4.1:当某一帧检测到第一次出现在图像边界的矩形框时,以此矩形框的位置和大小作为水下运动目标的位置和大小,初始化跟踪;
S4.2:提取目标区域附近一定搜索范围内图片样本的颜色特征和形状特征,并进行融合作为训练数据;然后,以目标位置为中心,通过移位的方式在一定搜索范围内构建训练样本数据,结合高斯分布确定训练样本数据的标签值;
S4.3:以平方差的形式构建损失函数,加入正则化项防止过拟合,使用共轭梯度求解基于训练数据的滤波器;
S4.4:使用训练好的滤波器与下一帧图片样本的融合特征进行卷积,响应最大的即为下一帧运动目标位置;
S4.5:基于每一帧滤波器与图片样本卷积得到的响应图,当响应图的相关能量均峰值(APCE)超过一定阈值时,则进行滤波器的更新,即执行步骤S4.2及S4.3,APCE值的求取公式如下:
式中,Smax、Smin、Sw,h分别表示响应图中的最大值、最小值以及第w行第h列的响应图值;
S4.6:在每一帧声呐图像中执行步骤S4.4及S4.5,直到跟踪结果持续多帧未发生变化,若此时跟踪结果位于图像边界,则说明运动目标已离开视野范围,结束跟踪,否则,说明跟丢目标,执行步骤S5。
5.根据权利要求3所述的一种基于声呐图像的水下运动目标跟踪方法,其特征在于,所述的步骤5具体为:
S5.1:确认目标已跟丢时初始化目标重定位,重新执行步骤S3.1-S3.4,获取当前帧视野范围内正在运动目标的最小外接矩形框;
S5.2:对获取的多个矩形框进行初步筛选,区分刚进入视野范围内的目标和已经在视野范围内存在很久的目标,将在视野范围内存在很久的目标作为目标重定位结果。
6.根据权利要求5所述的一种基于声呐图像的水下运动目标跟踪方法,其特征在于,所述的步骤5.2具体为:
S5.2.1:依次判断每一个矩形框是否位于图像边界,若是,则进入步骤S5.2.2,若否,则将其作为目标重定位结果,重复该步骤,直至遍历获取到的所有矩形框;
S5.2.2:判断位于图像边界的矩形框属于刚进入视野的情况还是即将离开视野的情况,判断方式为:对比前几帧边界处目标框与边界构成的区域面积是否逐渐减小,若是,则该矩形框属于即将离开视野的情况,将其作为目标重定位结果;否则属于刚进入视野的情况,返回步骤S4进行初始化跟踪。
7.根据权利要求4所述的一种基于声呐图像的水下运动目标跟踪方法,其特征在于,所述的步骤6具体为:
S6.1:基于水下运动目标的运动模型和外观模型构建成本矩阵,成本矩阵求取公式为:
ci,j=λd1(i,j)+(1-λ)d2(i,j)
式中,d1(i,j)表示跟踪结果与重定位结果基于运动模型的成本矩阵,d2(i,j)表示跟踪结果与重定位结果基于外观模型的成本矩阵,λ表示不同模型权重;ci,j表示第i个跟踪结果对应于第j个重定位结果的成本;
S6.2:基于成本矩阵,利用匈牙利匹配算法实现跟踪结果与目标重定位结果之间多对多的级联匹配,若跟踪结果能匹配上定位结果则转至步骤S4.2继续进行跟踪,否则,结束跟踪。
8.根据权利要求7所述的一种基于声呐图像的水下运动目标跟踪方法,其特征在于,所述的步骤6.1具体为:
S6.1.1:使用马氏距离来计算目标运动模型的成本矩阵,如下:
式中,dj表示第j个重定位结果,yi表示第i个跟踪结果,Σ表示样本协方差矩阵;
S6.1.2:以目标的融合特征为基础建立外观模型,根据重定位结果与跟踪结果融合特征之间的最小余弦距离来计算基于外观模型的成本矩阵,如下:
式中,rj表示第j个重定位结果的融合特征,在历史跟踪过程中,会收集很多融合特征样本,假设每个目标的跟踪结果中有k个融合特征,表示第i个目标跟踪结果的第k个融合特征,Ri表示第i个目标跟踪结果的融合特征样本集;
S6.1.3:使用加权和的方式结合基于运动模型的成本矩阵和基于外观模型的成本矩阵,构建最终用于级联匹配的成本矩阵。
9.根据权利要求7所述的一种基于声呐图像的水下运动目标跟踪方法,其特征在于,所述的步骤6.2具体为:
S6.2.1:对成本矩阵做行变换或列变换,减去各行或各列的最小元素,若某行或某列中存在0,则无需进行行变换或列变换;
S6.2.2:依次搜索成本矩阵中的行和列,找出存在0元素的行或列并进行标记,将对应的目标定位结果与跟踪结果进行初步匹配;
S6.2.3:根据初步匹配结果,利用增广路径进行匹配对的扩充,获取目标重定位结果与跟踪结果的最大匹配对;
S6.2.4:若跟踪结果能匹配上定位结果,则转至步骤S4继续进行跟踪,否则,结束跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271736.2A CN113052872B (zh) | 2021-03-12 | 2021-03-12 | 一种基于声呐图像的水下运动目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271736.2A CN113052872B (zh) | 2021-03-12 | 2021-03-12 | 一种基于声呐图像的水下运动目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113052872A CN113052872A (zh) | 2021-06-29 |
CN113052872B true CN113052872B (zh) | 2022-06-10 |
Family
ID=76512381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110271736.2A Active CN113052872B (zh) | 2021-03-12 | 2021-03-12 | 一种基于声呐图像的水下运动目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052872B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808168A (zh) * | 2021-09-18 | 2021-12-17 | 上海电机学院 | 一种基于图像处理和卡尔曼滤波的水下管线定位跟踪方法 |
CN113822233B (zh) * | 2021-11-22 | 2022-03-22 | 青岛杰瑞工控技术有限公司 | 一种深海养殖异常鱼类跟踪方法及系统 |
CN114663434B (zh) * | 2022-05-25 | 2022-08-23 | 国家海洋局北海海洋技术保障中心 | 一种侧扫声呐影像的阴影判别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6239740B1 (en) * | 1991-04-15 | 2001-05-29 | The United States Of America As Represented By The Secretary Of The Navy | Efficient data association with multivariate Gaussian distributed states |
CN105427342A (zh) * | 2015-11-17 | 2016-03-23 | 中国电子科技集团公司第三研究所 | 一种水下小目标声呐图像目标检测跟踪方法和系统 |
CN105548994A (zh) * | 2015-12-08 | 2016-05-04 | 天津工业大学 | 一种基于压缩感知的水下多亮点目标的检测方法 |
CN111968153A (zh) * | 2020-07-16 | 2020-11-20 | 新疆大学 | 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统 |
CN112132855A (zh) * | 2020-09-22 | 2020-12-25 | 山东工商学院 | 基于前景分割引导的自适应高斯函数的目标跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184759A (zh) * | 2020-09-18 | 2021-01-05 | 深圳市国鑫恒运信息安全有限公司 | 一种基于视频的运动目标检测与跟踪方法及系统 |
-
2021
- 2021-03-12 CN CN202110271736.2A patent/CN113052872B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6239740B1 (en) * | 1991-04-15 | 2001-05-29 | The United States Of America As Represented By The Secretary Of The Navy | Efficient data association with multivariate Gaussian distributed states |
CN105427342A (zh) * | 2015-11-17 | 2016-03-23 | 中国电子科技集团公司第三研究所 | 一种水下小目标声呐图像目标检测跟踪方法和系统 |
CN105548994A (zh) * | 2015-12-08 | 2016-05-04 | 天津工业大学 | 一种基于压缩感知的水下多亮点目标的检测方法 |
CN111968153A (zh) * | 2020-07-16 | 2020-11-20 | 新疆大学 | 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统 |
CN112132855A (zh) * | 2020-09-22 | 2020-12-25 | 山东工商学院 | 基于前景分割引导的自适应高斯函数的目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
《Underwater Sonar Visual Tracking with Obstacle Solving Method》;Wenge Li et al;;《Proceedings of the 39th Chinese Control Conference》;20200729;第3044-3049页; * |
《基于水下传感器网络的目标跟踪技术研究现状与展望》;刘妹琴 等;;《自动化学报》;20210228;第47卷(第2期);第236-251页; * |
Also Published As
Publication number | Publication date |
---|---|
CN113052872A (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113052872B (zh) | 一种基于声呐图像的水下运动目标跟踪方法 | |
Li et al. | A deep learning method for change detection in synthetic aperture radar images | |
CN108053419B (zh) | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 | |
CN107145874B (zh) | 复杂背景sar图像中的舰船目标检测与鉴别方法 | |
CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
Li et al. | SAR image change detection using PCANet guided by saliency detection | |
CN108805904B (zh) | 一种基于卫星序列图像的运动舰船检测与跟踪方法 | |
CN108981672A (zh) | 基于单目机器人与测距传感器结合的舱门实时定位方法 | |
Huang et al. | Development and validation of a deep learning algorithm for the recognition of plant disease | |
CN106815323B (zh) | 一种基于显著性检测的跨域视觉检索方法 | |
CN108764027A (zh) | 一种基于改进的rbd显著性计算的海面目标检测方法 | |
CN105182350A (zh) | 一种应用特征跟踪的多波束声呐目标探测方法 | |
CN109308713B (zh) | 一种基于前视声纳的改进核相关滤波水下目标跟踪方法 | |
CN111208479B (zh) | 一种降低深度网络检测中虚警概率的方法 | |
CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
CN111640138A (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
CN111080674A (zh) | 一种基于混合高斯模型的多目标isar关键点提取方法 | |
CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
CN105913425A (zh) | 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法 | |
Liu et al. | A multi-scale feature pyramid SAR ship detection network with robust background interference | |
CN108986139B (zh) | 一种用于目标跟踪的带有重要性图的特征整合方法 | |
CN114926826A (zh) | 场景文本检测系统 | |
CN114882204A (zh) | 船名自动识别方法 | |
CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |