一种基于灰度纹理特征的超声图像运动目标跟踪方法
技术领域
本发明属于图像处理领域,涉及一种基于互相关估计与灰度纹理特征的模板匹配算法,以及在线跟踪中的匹配模板的更新方法。
背景技术
近年来,医学影像逐渐成为医生诊断与治疗的重要辅助手段,其中超声图像由于其实时性与安全性正发挥着越来越大的作用。由于呼吸作用及其他不确定因素,在超声图像成像后对病灶或特定器官的跟踪显得很有必要,目前应用较广泛的运动估计算法有meanshift算法、最小绝对误差和(Sum ofAbsolute Differences,SAD)、互相关匹配法等等。
超声动态图像的特征区域跟踪技术是图像序列运动估计的一种,运动估计是数字视频处理与计算机视觉领域中一个非常活跃的分支,在民用与军用的许多方面都有着广泛的应用。目前的运动估计算法中,有些针对刚体运动目标,有些针对非刚体运动目标,而在大多数应用中,运动目标都可能出现旋转、变形和遮挡等复杂情况,在传统算法中,这些因素都有可能导致跟踪失败。
模板匹配法即首先选取好目标区域作为模板,通过某种方法预测目标在下一时刻可能出现的位置并进行匹配,匹配方式可以是互相关或者帧间模板求差值等。但这种方法常常带来误差的累积,随着时间的增长误差越来越大甚至出现跟踪失败。Meanshift算法利用目标函数的梯度信息来估计目标的位置,并具有线性收敛特点。在跟踪过程中,该方法通过计算当前窗口直方图分布,通过相似性度量来判断局部极大值,使搜索窗口沿着密度增加最快的方向移动。这种算法在某些特定图像效果很好,但速度较慢,无法满足超声图像的实时性要求。
灰度共生矩阵及灰度纹理特征是研究图像纹理特征的一个有效手段,并广泛应用于生物医学、目标识别以及遥感图像等领域,它通过灰度的空间相关特性来描述纹理特征,很好的利用了图像的纹理信息。互相关估计算法速度较快,考虑到实时性,引入互相关估计进行初步估计运动状态可以加快匹配速度。呼吸作用引起的超声图像中的目标运动及形变有周期性,利用这一点可以在线更新模板以达到不断校正误差的目的。
发明内容
本发明的目的在于克服现有传统算法精度不足的缺点,提出一种基于互相关估计与灰度纹理信息相结合的图像运动估计算法,充分利用已有超声图像的纹理信息训练神经网络,使用已训练的神经网络在线校正模板,改进现有的运动跟踪方法,提高运动目标跟踪的精确度。
本发明的目的是通过以下技术方案实现的:
一种基于灰度纹理特征的超声图像运动目标跟踪方法,包括如下步骤:
步骤一、对包括训练集与运动估计序列图像在内的所有图像进行预处理:
超声图像具有强烈的斑点噪声,且整体灰度值较为集中,在不影响图像纹理信息的基础上,采取均值滤波器对图像进行滤波,采用直方图均衡方法均衡灰度,提高对比度。
步骤二、抽取训练集图片模板,划分网格并提取灰度纹理信息作为特征,建立训练数据:
(1)训练集中包括H张图片中的目标坐标,在第一幅图中人工指定模板大小,以每个训练集中的目标坐标为中心,按照模板大小在周围取出模板训练集正例;
(2)在每张图片的目标坐标周围偏移3-10像素值位置处取出反例坐标,按模板大小取出反例模板训练集;
(3)对每个模板均进行如下操作:划分成a×b个网格,每个小网格都提取出对比度(contrast)、能量(angular second moment,ASM)、相关性(correlation)、熵(entropy)四个特征,将每个模板提取出的4×a×b个特征作为一组数据,把各个模板的数据合在一起,做归一化处理,构成训练集。
步骤三、建立反向传播神经网络结构,利用步骤二得到的训练集训练BP前馈神经网络,建立特征与结果(是否是目标)的联系。
本步骤中,BP前馈神经网络的输入为步骤二中所有特征,网络包含两层隐藏层,采用Sigmod型激活函数,输出为0(反例)或1(正例),神经网络如图2所示。
步骤四、开始跟踪运动估计序列图像目标,从第一帧起,提取目标区域,对下一帧的搜索区域进行互相关匹配,得到预选坐标并提取灰度纹理特征,输入步骤三训练后的BP前馈神经网络,得到目标最佳位置。
本步骤中,当得到第n(n>1)帧的目标坐标后,以坐标为中心,按照选定的模板大小得到第n帧的模板wn,在第n+1帧中以此坐标为中心划出比模板边长长1.5~2倍的待匹配区域Tn+1,wn与Tn+1作归一化互相关,得到wn在Tn+1中各个位置的匹配值,匹配值从大到小前5%的位置作为预选坐标。以预选坐标为中心取出模板,按步骤二的方法划分网格、提取灰度纹理特征、进行归一化,得到特征向量。
本步骤中,将特征向量输入神经网络后,第二隐藏层与输出层之间不通过激活函数,而是直接取得权重向量与第二隐藏层输出向量的乘积。所有待选位置的特征值均做此操作,乘积最大的输入即为最佳目标坐标,以后每一帧均如此。
本发明与传统目标跟踪算法相比,具有如下优点:
(1)本发明采用灰度纹理信息作为训练特征,利用了超声图像纹理信息丰富的特点。同时对匹配模板划分成网格而不用整体,避免了模板漂移导致的部分区域匹配度较高而部分区域较低的情况。
(2)本发明并未完全摒弃互相关匹配,而是利用了其速度快的优点进行跟踪预估。同时取出匹配度较好的坐标进行精细处理,这样既提高了跟踪速度,保证实时性,又避免了互相关匹配中邻近坐标区分度不大的缺点。
(3)本发明设计了一种新的模板更新流程,利用神经网络训练已有数据,在跟踪中将待选模板输入网络寻得最佳模板,在线更新并校正,避免了传统方法中目标坐标漂移的不足,大大提高了跟踪精度。
(4)本发明充分利用超声图像纹理信息,实现在线坐标精确甄选,定位精度高,实时性好,将其应用于基于超声图像伺服控制的医疗机械臂中,具有临床应用意义。
附图说明
图1为本发明的模板匹配流程图;
图2为神经网络的结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
本发明提供了一种基于灰度纹理特征的超声图像运动目标跟踪方法,实现本方法的前提是存在医学专家标定的跟踪目标图集。首先将图像序列进行预处理,滤掉超声的斑点噪声,并尽可能减小有用信息的损失;从训练数据中取手工标定的坐标数据,划出感兴趣区域(region ofinterest,ROI)并划分网格,抽取灰度特征形成矩阵作为训练集正例,划出周边大小一致的区域并做同样操作作为反例,训练反向传播(Back Propagation,BP)神经网络;从第二帧开始,通过互相关法找到下一帧预选位置模板,抽取灰度纹理特征信息,通过训练的神经网络在线更新匹配模板;算法按此规则循环,至最后一帧图像处理完成后结束。如图1所示,具体实施步骤如下:
执行步骤一:对包括训练集与运动估计序列图像在内的所有图像进行预处理。
考虑到超声图像斑点噪声多及整体偏暗的特点,采用均值滤波器滤波,并对图像进行直方图均衡。
均值滤波器:采用m×m的滤波器模板,滤波器模板中心坐标为(x,y),滤波后图像坐标(x,y)的灰度值为:
式中,f代表图像,zi(i=1,2,...,m2)代表滤波器模板覆盖下的图像像素灰度值,其中m为滤波器模板的大小,以像素为单位计数。
灰度直方图均衡:为了使灰度映射到一个合适的区间,有公式:
其中,变量r为待处理图像的灰度,设r的取值范围为[0,L-1],r=0表示黑色,r=L-1表示白色,L为像素灰度值。令pr(r)表示随机变量r的概率密度函数。s为r经过此公式变换后的映射,表示变换后的灰度,v为积分的假变量。不同的灰度值r就被映射到了一个更均衡的灰度s。
执行步骤二:划出训练模板集并抽取灰度纹理信息。
共有H张图片而目标已被手工标定。首先人工指定模板大小,设为M×N,其中M与N分别表示模板的宽与长,以像素为单位计数。在第一幅图中,令目标坐标即为模板中心,取出第一幅图的正例模板(上标1代表正例),在每张图片上均做此操作,得到在每张图片的坐标周围3-10像素区域均取出5张模板作为反例,共5×N张反例模板对每个训练模板wtrain均划分成a×b个网格,即每个网格边长为(M/a)×(N/b),此处a与b取3~5之间为宜。
对每个(M/a)×(N/b)大小的小网格,每个网格均是一个矩阵,生成灰度共生矩阵G,灰度共生矩阵为方阵,大小为k×k,再从每个灰度共生矩阵中提取出对比度(contrast)、能量(angular second moment,ASM)、相关性(correlation)、熵(entropy)四个特征,公式为:
Correlation中,各项的含义为:
其中i,j分别代表横坐标与纵坐标,G(i,j)即灰度共生矩阵G的(i,j)处的值。
这样每个模板都提取出4×a×b个特征作为一组数据,求完所有数据之后,对每个特征都做归一化处理,此时记下4×a×b个特征每个特征的最大值MAX与最小值MIN。
执行步骤三:训练BP前馈神经网络。
神经网络如图2所示,输入层为步骤二中所有特征,每个模板4×a×b个特征,则共有4×a×b个输入节点,设立两层隐藏层,激活函数为Sigmod型,即S型函数。输出为0(反例)或1(正例)。
将步骤二中得到的训练集输入网络进行训练,进行迭代改善各层的权重使输出误差控制在0.1%以内,得到了训练好的BP神经网络。
执行步骤四:开始跟踪目标。
手工标定第一帧的目标坐标后,按步骤二中取得的模板大小M×N,得到第一帧的模板w1。在下一帧中,以第一帧的坐标为中心,A×B大小划出待匹配区域T2,其中A=(1.5~2)M,B=(1.5~2)N。w1与T2作归一化互相关。公式如下:
其中,矩阵w与矩阵T作归一化互相关,R为归一化矩阵,R中的值即为w在T中不同位置时的匹配相关性大小,R的大小为(A-M+1)×(B-N+1)。
得到矩阵R后,找到R中匹配值匹配值从大到小前5%的坐标作为待选择坐标。以这些坐标为中心,按M×N取出模板。按步骤二的方法划分出网格、生成灰度共生矩阵,提取灰度纹理特征,并按步骤二中的归一化最大值MAX和最小值MIN进行归一化,得到特征向量。
将特征向量输入神经网络。经过步骤三的训练,第二隐藏层与输出层之间连接权值为ω=[ω1,ω2,ω3,ω4],第二隐藏层输出为x=[x1,x2,x3,x4],不通过输出层的激活函数,而是直接取得权重向量与第二隐藏层输出向量的乘积ωxT。所有待选位置模板所取得的特征值均做此操作,乘积最大的输入即对应为最佳目标坐标。这样就得到了第二帧的目标坐标,以后每一帧均如此,即可快速准确地跟踪目标。
本发明充分利用超声图像纹理信息,运用互相关估计计算预选坐标,考虑了实时性,利用灰度纹理特征训练神经网络,并且训练过程全部离线进行。在线的将预选的坐标进行精确地甄选,划分网格避免了模板偏移引起的误差,大大的提高了匹配精度,克服了传统跟踪方法中坐标漂移、实时性差等不足。本发明的目标定位跟踪精度能够满足实际应用中对医用机械臂的伺服控制,具有实际应用意义。