CN107169998B - 一种基于肝脏超声造影图像的实时跟踪及定量分析方法 - Google Patents

Abstract

本发明属于计算机视觉、数字图像处理技术领域，具体涉及一种基于肝脏超声造影图像的实时跟踪及定量分析方法。本发明主要包括：(1)从肝脏序列图像的初始帧中选取感兴趣区域，采用光流法和粒子滤波法相结合的方法确定候选区域；(2)利用深度神经网络提取候选样本的特征，获得跟踪结果；(3)通过相似度匹配判定当前跟踪结果的准确性；(4)量化观察点区域的造影参数，排除图像中的波动式干扰，采用三次样条插值法拟合时间强度曲线，使医生的视觉和鉴别诊断更加直观。相比于现有技术，本发明利用组织形变具有周期的特性，通过全局和局部区域结合的方法，使其在跟踪效果和速度上具有显著优势。

Description

一种基于肝脏超声造影图像的实时跟踪及定量分析方法

技术领域

本发明属于计算机视觉、数字图像处理技术领域，具体涉及一种基于肝脏超声造影图像的实时跟踪及定量分析方法。

背景技术

目前，造影成像逐渐成为医学诊断的重要手段。而造影图像序列中感兴趣区域观察点的跟踪及量化分析，可以辅助临床医生对肝脏疾病进行科学的判断和决策，节约医生的诊断时间，减少主观判断带来的影响。

随着造影成像技术和跟踪方法的发展，对感兴趣区域的客观量化分析也逐渐发展起来，现实中造影参数的定性量化是对选取的感兴趣区域观察点进行跟踪分析，其中时间强度曲线(TIC)不仅可以提供直观的视觉量化，而且通过分析计算还可以得到定量参数，如曲线下面积、峰值强度、达峰强度、增强时间、增强密度等等，进一步辅助医生更客观的进行分析。但是在超声造影诊断中，由于跟踪技术的不足和肝脏组织形变、甚至导致观察点消失的问题，给造影图像的跟踪和定量分析带来一定的难度和挑战性，其中主要存在以下两点不足：

一是目标跟踪技术的不足，传统的跟踪方法对目标变形、旋转变化、遮挡等适应性强的特点得到重视和研究，但是在描述目标的特征选择上比较单一。赵悦等人利用超声图像的纹理信息训练神经网络，改进传统的运动跟踪方法，提高目标跟踪的精确度，但是复杂背景下的感兴趣区域跟踪，尤其是非刚性的运动序列图像，存在着遮挡、变形、漂移等不可控因素，导致跟踪效果不佳，甚至跟踪失败。

二是外界不可控因素的限制，如探头的不断移动和人体的呼吸，以致组织运动发生形变、感兴趣区域消失，进而造成参数量化指标抖动剧烈、峰值极低，使得拟合的参数曲线视觉效果不利于医务工作者的定量分析和病情诊断。王本刚等人通过彩色编码当前感兴趣区域，获取参数分析曲线及造影速度曲线，但是并未考虑目标区域消失的现象，所以现有的定量分析技术并未充分考虑到上述情况，不利于定性计算出平滑且稳定的时间强度曲线。

综合上述，由于肝脏组织的形变和造影图像的复杂性，肝脏超声造影图像的实时多目标跟踪及定量分析仍面临着挑战。

发明内容

鉴于现有技术的不足，本发明提供一个肝脏造影图像感兴趣区域跟踪及定量分析的方法，针对造影图像中关键区域跟踪过程中组织形变导致观察点漂移甚至消失的问题，采用深度学习模型和传统算法相结合的方法跟踪感兴趣区域，再使用插值法准确的定量分析时间强度曲线。

本发明的技术方案是：

一种基于肝脏超声造影图像的实时跟踪及定量分析方法，其特征在于，包括以下步骤：

S1、根据获得的造影序列图像，选择目标区域进行跟踪；

S2、提取选择的目标区域的特征，通过判别分类器获取跟踪结果；

S3、判断当前跟踪结果的准确性，丢弃准确度低的图像，获得有效的量化参数稳定的时间强度曲线。

进一步的，所述步骤S1的具体方法为：

S11、根据获得的造影序列图像，输入连续的图像帧；

S12、在初始帧中手动选择目标作为待跟踪区域，首先采用方向梯度直方图进行特征提取；

S13、计算第K-1帧中待跟踪区域的光流分量：

在第K-1帧中待跟踪区域附近随机地抽取N个粒子，计算各粒子区域的光流分量；

S14、获得当前帧的光流场：

根据目标运动在序列图像邻帧之间的连续性和流动性，计算光流向量场，即对第K-1帧中图像的特征点(ux，uy)，求出其在当前帧图像中的位置偏移，即图像在点u处的运动速度，也就是像素点的光流；

S15、计算每个粒子的权重：

利用直方图相似性度量计算粒子区域与目标区域的相似度，将归一化后的值作为粒子权重；

S16、根据获得的权重对粒子区域重新分布：

更新粒子，权值大的地方多放置粒子，其他区域少放置粒子；

S17、根据放置的粒子，确定目标候选区域。

进一步的，所述步骤S2的具体方法为：

S21、获取候选样本：

当新的一帧即当前帧到达时，根据步骤S17中产生的若干个候选目标的矩形区域，以这些区域作为候选样本；

S22、对候选样本预处理：

采取尺度归一化的方式对获取的候选样本区域进行预处理，即将图片缩放到统一的尺寸大小；

S23、利用深度神经网络提取多个候选区域的特征，通过判别分类器获取跟踪结果：

S231、特征预训练：

选择卷积神经网络作为学习模型，使用稀疏自动编码机的方法，采集大量的图片进行无监督的特征训练，通过预训练网络过程来获得卷积神经网络使用的滤波器参数，使得后续能提取候选样本区域的边缘特征；

S232、选择网络结构：

选择有5个卷积层和3个全连接层的网络结构，将候选目标矩形框作为网络的输入端，进行特征提取计算，最后经过全连接层后，输出特征向量；

S233、通过判别分类器获取跟踪结果：

采用支持向量机SVM对候选区域进行分类，将步骤S232中提取得到的特征向量作为判别分类器的输入，得到的概率P定义为跟踪目标的置信度，选择最高的置信度P_max作为当前帧目标跟踪的最终结果。

进一步的，所述步骤S3的具体方法为：

S31、通过相似度匹配判定当前跟踪结果的准确性：

S311、获得第一帧图像的直方图特征和当前帧结果的直方图特征；

S312、根据直方图特征，用巴氏系数算法求出这两个图像的相似度d，其计算公式如下所示：

其中，F1和F2分别代表肝脏造影序列图像的第1帧和第2～n帧，I为图像像素灰度值的概率分布，d表示巴氏系数∈[0,1]，为0表示F1，F2分布完全一致，1表示完全不同；

S313、定义阈值θ，将巴氏系数值d与设定的阈值θ进行比较：

当d<θ时，表示当前跟踪效果较好，得到的相似度最大，直接输出目标正确的位置；反之，即d>θ时，表示当前跟踪的效果较差，丢弃该帧图像，然后循环下一帧继续跟踪；

S32、采用三次样条插值法拟合时间强度曲线：

S321、根据步骤S313中获得的跟踪效果好的图像，计算其造影图像的灰度值，将灰度值转换成造影强度；

S322、将当前所有帧的造影强度按照每一帧的时间顺序显示出来，形成原始时间强度曲线；

S323、采用三次样条插值函数平滑处理，以消除周期性波动干扰带来的参数误差，得到平滑稳定的时间强度曲线；

S324、计算造影特征量化参数，包括曲线下面积Area，峰值强度PI，增强时间TE，增强密度DE。

本发明的有益效果是：本发明设计了一种基于肝脏超声造影图像的实时多目标跟踪及定量分析方法，通过该方法，可以达到较好的实时跟踪效果，获得平滑且稳定的时间强度曲线，量化分析病变特征，进而给医生提供客观准确的参考价值，具有临床应用意义。

附图说明

图1为本发明方法的总体流程图；

图2为粒子滤波和光流法相结合的跟踪流程图；

图3为基于深度学习框架的跟踪流程图；

图4为拟合及量化时间强度曲线流程图。

具体实施方式

下面结合附图，详细描述本发明的技术方案：

如图1所示是本发明的总体方案流程图，主要包括以下三个步骤：

步骤1、采用全局光流法和粒子滤波法，建立目标搜索策略，对候选区域进行跟踪计算，流程见附图2；

步骤2、利用深度神经网络提取多个候选区域的特征，获取跟踪结果，确定跟踪区域，流程见附图3；

步骤3、根据跟踪结果，量化观察点区域的造影参数，拟合出稳定的时间强度曲线，流程见附图4。

步骤1、建立目标搜索策略

采用全局光流法和粒子滤波法，建立目标搜索策略，对候选区域进行跟踪计算。首先通过粒子滤波算法实现对观察点区域的跟踪，其中采用全局微分光流法计算光流向量场，通过计算粒子区域与目标区域的相似度作为粒子权重，在靠近目标区域的地方多放置粒子，远离目标区域的地方少放置粒子，从而对候选区进行跟踪。

因此，流程如附图2所示。其中，关键步骤主要包括：

1)初始化阶段；

在跟踪感兴趣区域之前，需要在初始帧图像中手动选择感兴趣观察点，作为待跟踪区域。首先初始区域采用方向梯度直方图HOG特征算子计算出该目标特征。HOG特征提取算法具体为：

A.采用Gamma校正法对输入的造影图像进行颜色空间归一化，调节图像的对比度，抑制噪声的干扰，这里采用Gamma平方根方法进行校正；

B.对经过归一化后的图像，计算图像每个像素的梯度(包括大小和方向)，分别在其水平和垂直方向进行计算，梯度算子为：水平方向[-1 0 1]，垂直方向[-1 0 1]^T；

C.将图像划分为若干个小细胞单元cell，初步设置为3*3的9个像素为一个cell，统计每个cell的梯度直方图，将所有的梯度方向划分为9个，即每个cell有9维的特征向量；

D.将多个cell组合成大的块block，在块内归一化梯度直方图，最后形成特征向量。初步选取2*2的cell组成一个block，在上一步骤中每个cell含有9维特征向量，因此每个block由4*9共36维特征向量。

上述步骤之后，已经得到指定跟踪目标的轮廓等边缘特征，后面帧序列中通过目标搜索策略确定跟踪对象。

2)基于光流场的目标搜索；

在上一帧即k-1帧目标附近随机地抽取N个粒子，计算各粒子区域的微分光流量，根据目标运动在序列图像邻帧之间的连续性和流动性，得到第k帧的光流场，对上一帧图像的特征点(u_x，u_y)，求出其在当前帧图像中的位置偏移，即图像在点u处的运动速度，也就是像素点的光流；

3)权重评价阶段；

利用直方图相似性度量对预测粒子进行评价，计算当前k帧图像粒子区域与初始目标区域的相似度，将归一化后的值作为粒子权重，越接近于跟踪目标的粒子，其权重越大，采用的直方图相交法公式如下：

其中，M和N分别是含有n个bin的第k帧图像和初始图像的直方图，分量分别为M(i),N(i)，其中i＝1,2,……,n。

4)重采样阶段；

A.根据权重，更新粒子，权值大的地方多放置粒子，其他区域少放置粒子。由于待跟踪区域随着全局光流场的流动性，由权重更新粒子区域，以此增加待跟踪区域的准确性；

B.根据放置的粒子，确定目标候选区域R。

将确定的候选目标区域R，即[R₁,R₂,……,R_n]作为下一步深度神经网络模型的候选样本。

步骤2、基于深度神经网络的特征提取。

利用深度网络模型提取图像块特征，这里采用卷积神经网络CNN，提取上一步中候选样本的代表性特征，该方法框架包括：选取候选样本、样本预处理、特征预训练、学习模型和网络结构的选择、判别性分类器等部分。流程如附图3所示。具体过程描述如下：

1)候选样本；

当新的一帧即第k帧到达时，将上一步产生的若干个候选目标的矩形区域R，以这些区域作为样本，作为当前卷积神经网络的输入。

2)样本预处理；

采取尺度归一化的方式对步骤1确定的候选样本区域进行预处理，将图片缩放到统一的尺寸大小。

3)特征预训练；

由于少量的初始信息不能训练出很多的模型参数，因此这一步利用辅助的数据集，使用稀疏自动编码机的方法，采集大量的图片进行无监督的特征训练，通过预训练网络过程来获得卷积网络时使用的滤波器参数，使得后续能提取候选样本区域的边缘特征。

4)学习模型和网络结构的选择；

选择卷积神经网络CNN作为学习模型，CNN的基本结构包括特征提取层和特征映射层，其中特征提取层即卷积层，其使用的滤波器参数在步骤2中的(3)已通过预训练调整获得，因此能提取一定程度的边缘特征，背景所在的冗余信息也会得到一定程度的减少。

由于考虑到算法的执行速度要达到实时性的要求，保证提取特征的同时，需达到应用的需求，所以没有采用特别多层和复杂的结构，初步设计的网络结构有5个卷积层和3个全连接层，同时利用RELU等多种防止过拟合的技术。

将步骤1产生的若干个候选目标矩形框[R₁,R₂,……,R_n]作为网络的输入端，通过卷积神经网络的特征提取，最后经过全连接层后，输出特征向量，作为下一步判别器的输入。

5)判别性分类器；

为了对上述步骤中的光流法和粒子滤波采样的候选区R进行分类评价，用于判别新的输入是否为目标，采用支持向量机SVM对候选区域进行分类，将上一步提取得到的边缘轮廓等代表性的特征向量作为判别分类器的输入，得到的概率P定义为跟踪目标的置信度，选择最高的置信度P_max作为当前帧目标跟踪的最终结果。

步骤3、量化分析待跟踪区域的造影参数。

由于探头的移动、组织形变带来的计算误差会体现在时间强度曲线上，进而使得计算出来的时间强度曲线变化剧烈。因此需要对异常帧数据进行处理，如观察点消失导致跟踪失败，则视为异常帧，直接丢弃该帧图像，从而获得稳定的曲线和有效的量化参数。如附图4所示，具体过程描述如下：

步骤3.1、通过相似度匹配判定当前跟踪结果的准确性。

构建判定标准来评估当前帧跟踪结果与第一帧感兴趣区域之间的特征相似度，将输出得到的抽象特征，采用直方图相似度匹配中的巴氏距离方法进行判定。主要包括：

1)获得第一帧图像的直方图特征和当前帧结果的直方图特征；

2)根据直方图特征，用巴氏系数算法求出这两个图像的相似度d，其计算公式如下所示；

其中，F1和F2分别代表肝脏造影序列图像的第1帧和第2～n帧。I为图像像素灰度值的概率分布，d表示巴氏系数∈[0,1]，为0表示F1，F2分布完全一致，1表示完全不同。

3)定义阈值θ，将巴氏系数值d与设定的阈值θ进行比较；

当d<θ时，表示当前跟踪效果较好，得到的相似度最大，直接输出目标正确的位置。反之，即d>θ时，表示当前跟踪的效果较差，丢弃该帧图像，然后循环下一帧再利用深度学习和传统算法相结合的方法继续跟踪。

步骤3.2、采用三次样条插值法拟合时间强度曲线。

由于观察点区域造成跟踪不到或者跟踪失败的情况，造成拟合的时间强度曲线抖动剧烈、峰值极低，不利于临床医生直观的诊断。因此，在匹配判定后丢弃异常帧的情况下，使用有限且有效的点得到一条平滑的时间强度曲线。鉴于高次插值不收敛又不稳定的特点，低次插值既具有收敛性又具有稳定性，但是低次插值的光滑性较差，不满足实际应用。因此，采用三次样条函数对造影参数进行量化。

1)计算造影图像关键区域内的信号强度：

在上述步骤中，若判定出得到的跟踪效果较差，则丢弃该帧的造影图像；否则，计算其造影图像的灰度值，将灰度值转换成造影强度。

2)建立原始时间强度曲线(TIC)：

将当前所有帧的造影强度按照每一帧的时间顺序显示出来，形成原始时间强度曲线。

3)三次样条插值法拟合：

采用三次样条插值函数平滑处理，以消除周期性波动干扰带来的参数误差，得到平滑稳定的时间强度曲线。

4)计算造影特征量化参数：曲线下面积Area，峰值强度PI，增强时间TE，增强密度DE。

Claims (1)

1.一种基于肝脏超声造影图像的实时跟踪及定量分析方法，其特征在于，包括以下步骤：

S1、根据获得的造影序列图像，选择目标区域进行跟踪；具体方法为：

S11、根据获得的造影序列图像，输入连续的图像帧；

S12、在初始帧中手动选择目标区域作为待跟踪区域；

S13、计算第K-1帧中待跟踪区域的光流分量：

在第K-1帧中待跟踪区域附近随机地抽取N个粒子，计算各粒子区域的光流分量；

S14、获得当前帧的光流场：

根据目标运动在序列图像邻帧之间的连续性和流动性，计算光流向量场，即对第K-1帧中图像的特征点(ux，uy)，求出其在当前帧图像中的位置偏移，即图像在点u处的运动速度，也就是像素点的光流；

S15、计算每个粒子的权重：

利用直方图相似性度量计算粒子区域与目标区域的相似度，将归一化后的值作为粒子权重；

S16、根据获得的权重对粒子区域重新分布：

更新粒子，权值大的地方多放置粒子，其他区域少放置粒子；

S17、根据放置的粒子，确定目标候选区域；

S2、提取选择的目标区域的特征，通过判别分类器获取跟踪结果；具体方法为：

S21、获取候选样本：

当新的一帧即当前帧到达时，根据步骤S17中产生的若干个候选目标的矩形区域，以这些区域作为候选样本；

S22、对候选样本预处理：

采取尺度归一化的方式对获取的候选样本区域进行预处理，即将图片缩放到统一的尺寸大小；

S23、利用深度神经网络提取多个候选区域的特征，通过判别分类器获取跟踪结果：

S231、特征预训练：

选择卷积神经网络作为学习模型，使用稀疏自动编码机的方法，采集大量的图片进行无监督的特征训练，通过预训练网络过程来获得卷积神经网络使用的滤波器参数，使得后续能提取候选样本区域的边缘特征；

S232、选择网络结构：

选择有5个卷积层和3个全连接层的网络结构，将候选目标矩形框作为网络的输入端，进行特征提取计算，最后经过全连接层后，输出特征向量；

S233、通过判别分类器获取跟踪结果：

采用支持向量机SVM对候选区域进行分类，将步骤S232中提取得到的特征向量作为判别分类器的输入，得到的概率P定义为跟踪目标的置信度，选择最高的置信度P_max作为当前帧目标跟踪的最终结果；

S3、判断当前跟踪结果的准确性，丢弃准确度低的图像，获得有效的量化参数稳定的时间强度曲线；具体方法为：

S31、通过相似度匹配判定当前跟踪结果的准确性：

S311、获得第一帧图像的直方图特征和当前帧结果的直方图特征；

S312、根据直方图特征，用巴氏系数算法求出这两个图像的相似度d，其计算公式如下所示：

其中，F1和F2分别代表肝脏造影序列图像的第1帧和第2～n帧，I为图像像素灰度值的概率分布，d表示巴氏系数∈[0,1]，为0表示F1，F2分布完全一致，1表示完全不同；

S313、定义阈值θ，将巴氏系数值d与设定的阈值θ进行比较：

当d<θ时，表示当前跟踪效果较好，得到的相似度最大，直接输出目标正确的位置；反之，即d>θ时，表示当前跟踪的效果较差，丢弃该帧图像，然后循环下一帧继续跟踪；

S32、采用三次样条插值法拟合时间强度曲线：

S321、根据步骤S313中获得的跟踪效果好的图像，计算其造影图像的灰度值，将灰度值转换成造影强度；

S322、将当前所有帧的造影强度按照每一帧的时间顺序显示出来，形成原始时间强度曲线；

S323、采用三次样条插值函数平滑处理，以消除周期性波动干扰带来的参数误差，得到平滑稳定的时间强度曲线；

S324、计算造影特征量化参数，包括曲线下面积Area，峰值强度PI，增强时间TE，增强密度DE。