CN113362280B - 一种基于医学造影的动态目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于医学造影的动态目标跟踪方法，包括：获取医学影像视频，在参考帧医学影像或第一帧医学影像中手动初始化多个组织器官目标和钡餐目标；使用离散点跟踪法和改进的帧间差分法跟踪医学影像视频中的钡餐目标；使用KCF+DSST的多目标跟踪法跟踪医学影像视频中的组织器官目标；将钡餐目标的跟踪结果和组织器官目标的跟踪结果相互修正。与现有技术相比，本发明对于流动的钡餐，提出了离散点跟踪和改进的帧间差分法；对于形变较小的组织器官的位置标定，提出了KCF+DSST的相关滤波方法和对应的多目标跟踪；钡餐目标和组织器官目标的跟踪结果互相修正，可以进一步优化跟踪准确度，跟踪效果较好。

Description

一种基于医学造影的动态目标跟踪方法

技术领域

本发明涉及计算机视觉领域，尤其是涉及一种基于医学造影的动态目标跟踪方法。

背景技术

在计算机视觉的研究领域中，运动目标检测和跟踪一直是科学工作者研究的重点，医学造影视频序列上的运动目标跟踪，就是确定目标在每一帧的位置和形态。目前，医学影像中目标跟踪的研究主要是基于医学图像分割的结果之上的，如基于阈值、区域和边缘的分割方法，现有研究也提出了许多用于医学图像处理和分析的对象跟踪方法，如基于点的跟踪，基于轮廓的跟踪和基于内核的跟踪技术等，这些技术被广泛使用于当今医学图像中的运动跟踪。

一种跟踪方法是在医学造影视频序列上，选择一帧作为参考图像，在参考图像中目标轮廓是已知的，在其他图像中，需要通过目标跟踪、轮廓匹配等方法找到目标。目标的跟踪是针对医学影像视频序列的处理过程，由于目标是在连续运动，可以把若干帧中运动特性一致的点归为运动目标特征点，其余为背景，再根据这些特征点来跟踪运动目标。

也有基于模板匹配的目标跟踪方法，选择合适的模型后能成功检测和标定目标，但是如果没有特定的修改适配，那么跟踪仅仅在短时间内且没有剧烈形变的情况下是可靠的，然而，在大多数应用中，由于视点的变化、变形或遮挡，目标外观在长时间内会发生结构上的显着变化，基于运动跟踪的方法可以处理此类外观更改，但是，累积的运动误差和快速的视觉变化使模型偏离了跟踪目标。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于医学造影的动态目标跟踪方法，对于流动的钡餐，提出了离散点跟踪和改进的帧间差分法；对于形变较小的组织器官的位置标定，提出了KCF+DSST的相关滤波方法和对应的多目标跟踪；钡餐目标和组织器官目标的跟踪结果互相修正，可以进一步优化跟踪准确度，跟踪效果较好。

本发明的目的可以通过以下技术方案来实现：

一种基于医学造影的动态目标跟踪方法，目标跟踪场景为钡餐在口腔和咽喉的运动轨迹和组织器官的运动情况，包括：

获取医学影像视频，在参考帧医学影像或第一帧医学影像中手动初始化多个组织器官目标和钡餐目标；使用离散点跟踪法和改进的帧间差分法跟踪医学影像视频中的钡餐目标；使用KCF+DSST的多目标跟踪法跟踪医学影像视频中的组织器官目标；将钡餐目标的跟踪结果和组织器官目标的跟踪结果相互修正。

进一步的，所述动态目标跟踪方法在手动初始化多个组织器官目标和钡餐目标后，还包括对每一帧医学影像进行图像预处理，包括：

图像旋转，找到每一帧医学影像中的脊柱，以每一帧医学影像中的脊柱作为基准旋转医学影像；一方面病人吞咽钡餐过程中身体可能会前后摇摆，使得钡餐和组织器官都会发生运动，影响医生的判断，可以通过图像旋转调整钡餐和组织器官的运动；另一方面，以脊柱为基准旋转图像可以更好地判断钡餐相对于各个组织器官的运动情况；

在完成图像旋转后，识别并保留重点关注区域，去除其他不相干区域，如医学影像中重点关注的是钡餐在口腔和咽喉部位的运动轨迹，去除病人的身体等部位，减少后续的计算量；

对比度拉伸，将组织器官目标和钡餐目标所在的局部区域作为待拉伸区域，去除待拉伸区域的离群像素点后进行对比度拉伸；对组织器官目标和钡餐目标所在的局部区域进行对比度拉伸，可以避免外围像素对目标区域的干扰；去除离群像素点可以避免单个极高或极低的离群像素点影响对比度拉伸结果。

更进一步的，去除待拉伸区域的离群像素点后确定对比度拉伸的最高像素值N_max和最低像素值N_min，对待拉伸区域的每一个像素点进行拉伸：

其中，P_in表示像素点的初始灰度值，P_out表示像素点进行对比度拉伸后的灰度值，O_max和O_min表示医学影像中的像素点所能达到的最高像素值和所能达到的最低像素值。

更进一步的，使用预设置极值法或截止分数法去除待拉伸区域的离群像素点，预设置极值法具体为预先设置最高像素值N_max和最低像素值N_min的大小；截止分数法具体为预先设置最高截止分数和最低截止分数，计算待拉伸区域的灰度直方图后，找到灰度直方图中幅值低于最高截止分数的灰度值作为最高像素值N_max，找到灰度直方图中幅值高于最低截止分数的灰度值作为最低像素值N_min。

进一步的，使用离散点跟踪法和改进的帧间差分法跟踪医学影像视频中的钡餐目标具体为：

在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的目标区域，使用流域分割算法对目标区域进行流域分割，得到钡餐区域，使用离散点跟踪法改变矩形框的大小和位置，找到后续每一帧医学影像在矩形框内的钡餐区域；

在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的感兴趣区域，使用改进的帧间差分法找到后续每一帧医学影像中钡餐目标所在的感兴趣区域；

结合钡餐目标所在的感兴趣区域和矩形框内的钡餐区域确定钡餐目标的位置。更进一步的，使用离散点跟踪法跟踪医学影像视频中的钡餐目标包括以下步骤：

A1：在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的目标区域，使用流域分割算法对目标区域进行流域分割，得到钡餐区域，计算钡餐区域的平均灰度值，在钡餐区域内选择多个离散点，离散点是随机选择的，离散点占钡餐区域的比例是预先设置的，记录离散点的坐标信息，钡餐的运动方向和运动距离使用预设置的参数值；

A2：获取下一帧医学影像为当前帧医学影像，基于钡餐的运动方向和运动距离增加矩形框的大小，按照预设置的分割等级使用流域分割算法对矩形框选中的区域进行流域分割，得到多个分割区域；

A3：在多个分割区域中找到当前帧的钡餐区域，钡餐区域是基于分割区域内离散点的比例、分割区域内离散点的数量以及分割区域的平均灰度值与上一帧医学影像中钡餐区域的平均灰度值之间的差值确定的；

A4：计算当前帧中钡餐区域的平均灰度值，在钡餐区域内选择多个离散点，记录离散点的坐标信息，基于当前帧医学影像和上一帧医学影像中钡餐区域的中心点的变化得到钡餐的运动方向和距离，重复步骤A2。

更进一步的，步骤A3中，在多个分割区域中找到当前帧的钡餐区域具体为：

A31：分别计算各个分割区域的Eva得分：

其中，θ₀、θ₁、θ₂、θ₃是预设置的系数，∑P_r表示离散点总数，∑f_p(seg_i)表示第i个分割区域中的离散点总数，∑seg_i表示第i个分割区域中的像素点总数，gray(seg_i)表示第i个分割区域的平均灰度值，g_avg表示上一帧医学影像中钡餐区域的平均灰度值；

A32：将Eva得分在预设置的区间[E₀,E₁]中的分割区域保存为钡餐区域，如果所有分割区域的Eva得分均不在预设置的区间[E₀,E₁]中，则执行步骤A33；

A33：判断各个分割区域的面积占矩形框的比例是否大于预设置的临界值，如果存在大于临界值的分割区域，则降低分割等级，重新使用流域分割算法对矩形框选中的区域进行流域分割，得到多个分割区域，重复步骤A31，否则，执行步骤A34；

A34：降低分割等级，如果分割等级大于预设置的分割等级阈值，则对分割区域使用流域分割算法再次分割，得到的新的分割区域，重复步骤A31，否则，分割等级过低，无法获取有效信息，使用阈值分割法对分割区域进行处理，进行开闭运算后得到新的分割区域，重复步骤A31。

更进一步的，流域分割算法包括以下步骤：

获取待分割的医学影像，使用边缘检测功能显影梯度图像；在梯度图像中使用形态重构标记前景对象；计算前景标记，将前景标记叠加在医学影像上，使用边缘重建清洁前景标记的边缘；计算背景标记；使用传统的流域分割算法对最新的医学影像进行分割。

更进一步的，使用改进的帧间差分法跟踪医学影像视频中的钡餐目标包括以下步骤：

B1：在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的感兴趣区域；

B2：获取下一帧医学影像为当前帧医学影像，在当前帧医学影像截取与上一帧的矩形框位置大小相同的区域，将该区域与上一帧医学影像中的感兴趣区域进行差值，得到差值矩阵d_frame，根据预设置的二值化阈值T_diff对差值矩阵进行二值化处理，将差值矩阵中大于T_diff的元素设为1，其余元素设为0；

B3：抽取差值矩阵中元素值为1的点，得到初始区域seg，建立初始区域矩阵d_seg，将初始区域seg中的点投影到当前帧医学影像中，将初始区域seg中的一类点在初始区域矩阵d_seg中取1，将初始区域seg中的二类点在初始区域矩阵d_seg中取0，一类点在当前帧医学影像中所对应的像素点的灰度值大于预设置的灰度阈值，二类点在当前帧医学影像中所对应的像素点的灰度值不大于预设置的灰度阈值；

B4：将上一帧医学影像的感兴趣区域seg_p与差值矩阵d_frame相加后减去初始区域矩阵d_seg，得到当前帧医学影像的感兴趣区域seg_c。

进一步的，使用KCF+DSST的多目标跟踪法跟踪医学影像视频中的组织器官目标具体为使用KCF作为位置滤波器，使用DSST作为尺度滤波器，包括以下步骤：

C1：在参考帧医学影像或第一帧医学影像中手动使用矩形框标定各个组织器官目标的跟踪区域，为各个组织器官目标分别建立KCF+DSST跟踪器，每个KCF+DSST跟踪器用于跟踪其对应的组织器官目标；

C2：获取下一帧医学影像为当前帧医学影像，使用DSST尺度滤波器，以参考帧医学影像至当前帧医学影像中的目标尺度为样本，更新当前帧医学影像的目标尺度；

C3：在当前帧医学影像的目标尺度下，使用KCF检测当前帧医学影像中的组织器官目标的位置，更新当前帧医学影像的组织器官目标位置。

与现有技术相比，本发明具有以下有益效果：

(1)对于流动的钡餐，提出了离散点跟踪和改进的帧间差分法；对于形变较小的组织器官的位置标定，提出了KCF+DSST的相关滤波方法和对应的多目标跟踪，跟踪效果较好。

(2)初始的医学影像视频数据存在清晰度较低和特征不明显的问题，通过加入图像预处理这个阶段，包括图像旋转和对比度增强，对初始的医学影像进行了一定筛选和增强，通过图像旋转更易确定钡餐相对于各个组织器官的运动情况，跟踪效果更直观，通过对比度拉伸使得灰度相近的区域跨度增加，便于钡餐和组织器官的判定与分割。

(3)钡餐区域与组织器官的差距较小，容易出现分割过度，导致分割过度，目标被分割成多个区域，本申请中首先将原始图像的梯度作为预处理进行计算，然后应用分水岭变换，噪声相对于其相邻的区域具有完全不同的值，显示出较高的梯度值，从而消除了噪声或量化误差引起的局部最小值影响。

附图说明

图1为本发明的流程示意图；

图2为实施例中医学影像进行图像旋转的示意图；

图3为实施例中对钡餐目标所在的目标区域进行分割得到的钡餐区域；

图4为实施例中改进的帧间差分法的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件。

实施例1：

一种基于医学造影的动态目标跟踪方法，目标跟踪场景为钡餐在口腔和咽喉的运动轨迹和组织器官的运动情况，如图1所示，包括：获取医学影像视频，在参考帧医学影像或第一帧医学影像中手动初始化多个组织器官目标和钡餐目标；使用离散点跟踪法和改进的帧间差分法跟踪医学影像视频中的钡餐目标；使用KCF+DSST的多目标跟踪法跟踪医学影像视频中的组织器官目标；将钡餐目标的跟踪结果和组织器官目标的跟踪结果相互修正。

为了便于后续处理，动态目标跟踪方法在手动初始化多个组织器官目标和钡餐目标后，还包括对每一帧医学影像进行图像预处理，图像预处理包括图像旋转和对比度拉伸。

图像旋转：找到每一帧医学影像中的脊柱，以每一帧医学影像中的脊柱作为基准旋转医学影像。一方面病人吞咽钡餐过程中身体可能会前后摇摆，使得钡餐和组织器官都会发生运动，影响医生的判断，可以通过图像旋转调整钡餐和组织器官的运动；另一方面，以脊柱为基准旋转图像可以更好地判断钡餐相对于各个组织器官的运动情况。

图像旋转即以某一点O为旋转中心，将图像中的所有点均绕O旋转一定的角度θ。先考虑最简单的情况，旋转中心O为坐标系中心(0，0)，图像上有一像素点P₀(x₀，y₀)，P₀离旋转中心O的距离为r，P₀与坐标轴x轴的夹角为α，P₀绕O顺时针旋转θ角后对应的点为P(x，y)。则有：

x₀＝r·cosα，x＝r·cos(α-θ)＝x₀cosθ+y₀sinθ；

y₀＝r·sinα，y＝r·sin(α-θ)＝y₀cosθ-x₀sinθ；

写成矩阵形式为：

其中1是配平项，方便后面的矩阵乘法。

下面将其推广到一般情况，旋转中心为O(x_c，y_c)，图像上有一像素点P₀(x₀，y₀)，P₀绕O顺时针旋转θ角后对应的点为P(x，y)。

解决方法为先将坐标系原点(0，0)移动到点O(x_c，y_c)，这就变成了和上面一样的绕原点旋转θ，旋转完后再将坐标系原点(0，0)移回原处。

首先将坐标系原点平移到点O(x_c，y_c)，沿x轴移动a，沿y轴移动b，则变换矩阵为：

然后绕点O旋转θ，变换矩阵为：

最后再将坐标系平移回来，变换矩阵为：

那么，P＝CBAP₀，变换矩阵为C·B·A。

图像旋转效果如图2所示，在完成图像旋转后，识别并保留重点关注区域，去除其他不相干区域，如医学影像中重点关注的是钡餐在口腔和咽喉部位的运动轨迹，去除病人的身体等部位，减少后续的计算量。

对比度拉伸：将组织器官目标和钡餐目标所在的局部区域作为待拉伸区域，去除待拉伸区域的离群像素点后进行对比度拉伸；对组织器官目标和钡餐目标所在的局部区域进行对比度拉伸，可以避免外围像素对目标区域的干扰；去除离群像素点可以避免单个极高或极低的离群像素点影响对比度拉伸结果。

对比度拉伸(也被称为归一化)是一种简单易用的图像增强方法，属于线性点运算的一种，将线性缩放函数应用于图像像素值，实现过程是接受一个灰度图像作为输入，并生成另一个灰度图像作为输出。本实施例中医学影像是灰度图，想要准确的将钡餐与组织器官分离开来，一定程度的对比度拉伸可以带来很大的帮助。

在医学影像中，全局对比度拉伸无法获得令人满意的结果，因为像素的局部差异较小，而灰度相差较大的像素往往不规则地散布在各个角落上，具有相似灰度级别的图像往往会聚集在一起。因此，全局对比度拉伸不能将目标与所在区域的背景分离出来，对比度增强非常有限。相较于对整张图像进行全局对比度拉伸，本申请使用的局部拉伸能够降低干扰，避免目标区域外的像素对目标区域的像素缩放造成影响，而且可以更加精确的确定拉伸的上下限，使得查看非常浅的区域的黑暗细节更加容易，同时计算过程相对得到了简化。

现有的对比度拉伸是直接找到待拉伸区域内灰度值最高的像素点和灰度值最低的像素点，使用这两个灰度值作为对比度拉伸的最高像素值N_max和最低像素值N_min。但是，这样容易受到单个灰度值极大极小的像素点的影响，导致得到的对比度拉伸结果不具代表性。

本申请使用预设置极值法或截止分数法去除待拉伸区域的离群像素点，可以避免异常的极大极小灰度值的影响。预设置极值法具体为预先设置最高像素值N_max和最低像素值N_min的大小；截止分数法具体为预先设置最高截止分数和最低截止分数，计算待拉伸区域的灰度直方图后，找到灰度直方图中幅值低于最高截止分数的灰度值作为最高像素值N_max，找到灰度直方图中幅值高于最低截止分数的灰度值作为最低像素值N_min。

去除待拉伸区域的离群像素点后确定对比度拉伸的最高像素值N_max和最低像素值N_min，对待拉伸区域的每一个像素点进行拉伸：

其中，P_in表示像素点的初始灰度值，P_out表示像素点进行对比度拉伸后的灰度值，O_max和O_min表示医学影像中的像素点所能达到的最高像素值和所能达到的最低像素值，如8位灰度图像所能达到的最高像素值是255，所能达到的最低像素值是0。

对于钡餐目标的跟踪，本申请使用离散点跟踪法和改进的帧间差分法跟踪医学影像视频中的钡餐目标，对于组织器官的跟踪，本申请使用KCF+DSST的多目标跟踪法跟踪医学影像视频中的组织器官目标；将钡餐目标的跟踪结果和组织器官目标的跟踪结果相互修正。

由于钡餐有流动的特性，没有固定的外观特征，尺度和颜色深度会一直发生变化，利用稳定的颜色或边界特征来检测和跟踪钡餐有一定的难度，为此本申请提出了一种离散点跟踪的方法，主要思想为随机取得钡餐区域内的若干点作为离散点，在下一帧中扩充目标区域，并对扩充区域进行流域分割；接着求出各个分割区域的灰度平均值，以分割区域中的离散点占全部离散点的比例和分割区域中的离散点占分割区域的所有像素点的比例作为评估手段，来判定分割区域是否是钡餐区域或钡餐区域的一部分；找到钡餐区域后，记录当前帧和前一帧的钡餐区域移动距离和移动方向，在后续的医学影像中，根据移动距离和移动方向相应的扩充区域。下面是具体的算法。

A1：在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的目标区域，使用流域分割算法对目标区域进行流域分割，得到钡餐区域，计算钡餐区域的平均灰度值，在钡餐区域内选择多个离散点，离散点是随机选择的，离散点占钡餐区域的比例是预先设置的，记录离散点的坐标信息，钡餐的运动方向和运动距离使用预设置的参数值；

如图3所示，框选钡餐目标所在的目标区域，使用流域分割算法对目标区域进行流域分割，得到钡餐区域，记为S_p，在内找到多个随机的离散点P_r：

P_r＝random(γ_p，S_p)

γ_p是离散点占钡餐区域像素点的比例，本实施例中预设置为0.1。

A2：获取下一帧医学影像为当前帧医学影像，基于钡餐的运动方向和运动距离增加矩形框的大小，按照预设置的分割等级使用流域分割算法对矩形框选中的区域进行流域分割，得到多个分割区域；本实施例中将矩形框原地扩充1.2倍，预设置的分割等级为4；

A3：在多个分割区域中找到当前帧的钡餐区域，钡餐区域是基于分割区域内离散点的比例、分割区域内离散点的数量以及分割区域的平均灰度值与上一帧医学影像中钡餐区域的平均灰度值之间的差值确定的；

在多个分割区域中找到当前帧的钡餐区域具体为：

A31：分别计算各个分割区域的Eva得分：

其中，θ₀、θ₁、θ₂、θ₃是预设置的系数，∑P_r表示离散点总数，∑f_p(seg_i)表示第i个分割区域中的离散点总数，∑seg_i表示第i个分割区域中的像素点总数，gray(seg_i)表示第i个分割区域的平均灰度值，g_avg表示上一帧医学影像中钡餐区域的平均灰度值；

A32：将Eva得分在预设置的区间[E₀,E₁]中的分割区域保存为钡餐区域，如果所有分割区域的Eva得分均不在预设置的区间[E₀,E₁]中，则执行步骤A33；

A33：判断各个分割区域的面积占矩形框的比例是否大于预设置的临界值，如果存在大于临界值的分割区域，则降低分割等级，重新使用流域分割算法对矩形框选中的区域进行流域分割，得到多个分割区域，重复步骤A31，否则，执行步骤A34；

A34：降低分割等级，如果分割等级大于预设置的分割等级阈值，则对分割区域使用流域分割算法再次分割，得到的新的分割区域，重复步骤A31，否则，分割等级过低，无法获取有效信息，使用阈值分割法对分割区域进行处理，进行开闭运算后得到新的分割区域，重复步骤A31。

使用阈值分割法对分割区域进行处理具体为：判断分割区域的平均灰度是否在预设置的[g₀,g₁]内，如果在，则将该分割区域的像素点都设为1，否则，设为0；之后进行开闭运算，分割区域会连通，成为新的分割区域。

A4：计算当前帧中钡餐区域的平均灰度值，在钡餐区域内选择多个离散点，记录离散点的坐标信息，基于当前帧医学影像和上一帧医学影像中钡餐区域的中心点的变化得到钡餐的运动方向和距离，重复步骤A2。

流域分割算法的基本思想是将图像中的灰度变换等同于地理上的地形变换，使用分水岭概念对灰度图像进行分割，能够将图像分割为不同的形状和大小。分割等级较高时，得到的区域交大，目标整体较完整，但是会出现不容易将目标和背景很好的分离开来的情况；分割等级较低时，目标分离的更清晰，边界更准确，但是会存在目标被分割成多个区域的情况。因此需要动态的调整分割等级。

此外，本申请中，钡餐区域与组织器官的差距较小，容易出现分割过度，主要是因为噪声和量化误差，由于吞咽过程中微小组织器官的影响，使得需要很低的分割等级来分离目标，导致分割过度，目标被分割成多个区域。本申请中为了消除噪声或量化误差引起的局部最小值影响，首先将原始图像的梯度作为预处理进行计算，然后应用分水岭变换。噪声相对于其相邻的区域具有完全不同的值，因此它显示出较高的梯度值，包括以下步骤：

获取待分割的医学影像，使用边缘检测功能显影梯度图像；在梯度图像中使用形态重构标记前景对象；计算前景标记，将前景标记叠加在医学影像上，使用边缘重建清洁前景标记的边缘；计算背景标记；使用传统的流域分割算法对最新的医学影像进行分割。

离散点跟踪的方法，在钡餐目标没有快速位移的时候，跟踪效果较好，但是一旦钡餐目标发生了剧烈的位置移动，就容易丢失目标。为了解决这个问题，基于经典的帧间差分法，本申请提出了改进的帧间差分法。

帧间差分法是一种通过对视频图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法，当视频序列中出现目标的位置变化时，相邻两帧图像之间会出现较为明显的差别，两帧中的像素做减法，得到像素差值，对其取绝对值，判断其是否小于设定的阈值，认为像素差值较大的区域是前景，即要追踪的目标，像素差值较小的区域是背景。其数学公式描述如下：

R(x,y)为相隔两帧图像之间的差分图像，n(t)和n(t-1)分别为t和t-1时刻的图像，m为二值化时选取的阈值，R(x,y)＝1表示当前像素属于前景，R(x,y)＝0表示当前像素属于背景。

经典帧间差分法的优点在于实现较为容易，速度快延迟低，不受光线变化的影响。同样缺点也较为明显，那就是结果不够准确，对分割的阈值较为敏感，目标内部容易出现空洞，而且也会有双影的情况出现，这是算法本身所带来的缺陷。

本申请使用改进的帧间差分法跟踪医学影像视频中的钡餐目标，如图4所示，包括以下步骤：

B1：在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的感兴趣区域；

B2：获取下一帧医学影像为当前帧医学影像，在当前帧医学影像截取与上一帧的矩形框位置大小相同的区域，将该区域与上一帧医学影像中的感兴趣区域进行差值，得到差值矩阵d_frame，根据预设置的二值化阈值T_diff对差值矩阵进行二值化处理，将差值矩阵中大于T_diff的元素设为1，其余元素设为0；

B3：抽取差值矩阵中元素值为1的点，得到初始区域seg，建立初始区域矩阵d_seg，将初始区域seg中的点投影到当前帧医学影像中，将初始区域seg中的一类点在初始区域矩阵d_seg中取1，将初始区域seg中的二类点在初始区域矩阵d_seg中取0，一类点在当前帧医学影像中所对应的像素点的灰度值大于预设置的灰度阈值，二类点在当前帧医学影像中所对应的像素点的灰度值不大于预设置的灰度阈值；

B4：将上一帧医学影像的感兴趣区域seg_p与差值矩阵d_frame相加后减去初始区域矩阵d_seg，得到当前帧医学影像的感兴趣区域seg_c。

本申请先对医学图像进行预处理，通过图像旋转更易确定钡餐相对于各个组织器官的运动情况，跟踪效果更直观，通过对比度拉伸使得灰度相近的区域跨度增加，便于钡餐和组织器官的判定与分割。接着使用改进的帧间差分法找到后续每一帧医学影像中钡餐目标所在的感兴趣区域，结合离散点跟踪法找到的钡餐区域，确定钡餐目标的位置。

对于组织器官的跟踪，包括多个目标，如下巴和脊柱上端，对于每个组织器官，分别使用一个跟踪器进行目标跟踪，不考虑组织器官之间的实时关系，只关注单个组织器官的独立运动关系，多个组织器官之间的关联关系可以在跟踪结束后单独计算。

病人在进行吞咽时，可能会有医生辅助的情况发生，对病人会有一定的遮挡；病人吞咽时会前后摆动，头部可能会脱离采集区域，反映到图像上就是病人不完整的吞咽过程，使得准确不间断的追踪病人的吞咽过程更加困难。医学影像采集到的多为病人的侧面吞咽过程，组织器官的大小几乎不发生变化，可以使用KCF核相关滤波来处理组织器官的跟踪过程，遮挡和消失的问题可以通过DSST来解决，在发生遮挡和消失的时候，可以理解为目标的尺度发生了变化，这时加入一个尺度滤波器，用来检测遮挡和消失的情况。所以本申请使用了两个滤波器，一个是位置滤波器，一个是尺度滤波器。

使用KCF+DSST的多目标跟踪法跟踪医学影像视频中的组织器官目标具体为使用KCF作为位置滤波器，使用DSST作为尺度滤波器，包括以下步骤：

C1：在参考帧医学影像或第一帧医学影像中手动使用矩形框标定各个组织器官目标的跟踪区域，为各个组织器官目标分别建立KCF+DSST跟踪器，每个KCF+DSST跟踪器用于跟踪其对应的组织器官目标；

C2：获取下一帧医学影像为当前帧医学影像，使用DSST尺度滤波器，以参考帧医学影像至当前帧医学影像中的目标尺度为样本，更新当前帧医学影像的目标尺度；

C3：在当前帧医学影像的目标尺度下，使用KCF检测当前帧医学影像中的组织器官目标的位置，更新当前帧医学影像的组织器官目标位置。

初始的医学影像视频数据，存在清晰度较低和特征不明显的问题，本申请通过加入图像预处理这个阶段，对初始的医学影像进行了一定筛选和增强，包括图像旋转和对比度增强。

对于流动的钡餐和形变较小的组织器官，分别提出了两种跟踪方法。对于流动的钡餐，提出了离散点跟踪和改进的帧间差分法；对于组织器官的位置标定，提出了KCF+DSST的相关滤波方法和对应的多目标跟踪，跟踪效果较好。钡餐目标和组织器官目标的跟踪结果互相修正，可以进一步优化跟踪准确度，初步建立了吞咽过程中的目标跟踪模型。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于医学造影的动态目标跟踪方法，其特征在于，包括：

获取医学影像视频，在参考帧医学影像或第一帧医学影像中手动初始化多个组织器官目标和钡餐目标；使用离散点跟踪法和改进的帧间差分法跟踪医学影像视频中的钡餐目标；使用KCF+DSST的多目标跟踪法跟踪医学影像视频中的组织器官目标；将钡餐目标的跟踪结果和组织器官目标的跟踪结果相互修正；

使用离散点跟踪法和改进的帧间差分法跟踪医学影像视频中的钡餐目标具体为：

在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的目标区域，使用流域分割算法对目标区域进行流域分割，得到钡餐区域，使用离散点跟踪法改变矩形框的大小和位置，找到后续每一帧医学影像在矩形框内的钡餐区域；

在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的感兴趣区域，使用改进的帧间差分法找到后续每一帧医学影像中钡餐目标所在的感兴趣区域；

结合钡餐目标所在的感兴趣区域和矩形框内的钡餐区域确定钡餐目标的位置；

其中，使用离散点跟踪法跟踪医学影像视频中的钡餐目标包括以下步骤：

A1：在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的目标区域，使用流域分割算法对目标区域进行流域分割，得到钡餐区域，计算钡餐区域的平均灰度值，在钡餐区域内选择多个离散点，记录离散点的坐标信息，钡餐的运动方向和运动距离使用预设置的参数值；

A2：获取下一帧医学影像为当前帧医学影像，基于钡餐的运动方向和运动距离增加矩形框的大小，按照预设置的分割等级使用流域分割算法对矩形框选中的区域进行流域分割，得到多个分割区域；

A3：在多个分割区域中找到当前帧的钡餐区域，钡餐区域是基于分割区域内离散点的比例、分割区域内离散点的数量以及分割区域的平均灰度值与上一帧医学影像中钡餐区域的平均灰度值之间的差值确定的；

A4：计算当前帧中钡餐区域的平均灰度值，在钡餐区域内选择多个离散点，记录离散点的坐标信息，基于当前帧医学影像和上一帧医学影像中钡餐区域的中心点的变化得到钡餐的运动方向和距离，重复步骤A2。

2.根据权利要求1所述的一种基于医学造影的动态目标跟踪方法，其特征在于，所述动态目标跟踪方法在手动初始化多个组织器官目标和钡餐目标后，还包括对每一帧医学影像进行图像预处理，包括：

图像旋转，找到每一帧医学影像中的脊柱，以每一帧医学影像中的脊柱作为基准旋转医学影像；

对比度拉伸，将组织器官目标和钡餐目标所在的局部区域作为待拉伸区域，去除待拉伸区域的离群像素点后进行对比度拉伸。

3.根据权利要求2所述的一种基于医学造影的动态目标跟踪方法，其特征在于，去除待拉伸区域的离群像素点后确定对比度拉伸的最高像素值N_max和最低像素值N_min，对待拉伸区域的每一个像素点进行拉伸：

其中，P_in表示像素点的初始灰度值，P_out表示像素点进行对比度拉伸后的灰度值，O_max和O_min表示医学影像中的像素点所能达到的最高像素值和所能达到的最低像素值。

4.根据权利要求3所述的一种基于医学造影的动态目标跟踪方法，其特征在于，使用预设置极值法或截止分数法去除待拉伸区域的离群像素点，预设置极值法具体为预先设置最高像素值N_max和最低像素值N_min的大小；截止分数法具体为预先设置最高截止分数和最低截止分数，计算待拉伸区域的灰度直方图后，找到灰度直方图中幅值低于最高截止分数的灰度值作为最高像素值N_max，找到灰度直方图中幅值高于最低截止分数的灰度值作为最低像素值N_min。

5.根据权利要求1所述的一种基于医学造影的动态目标跟踪方法，其特征在于，步骤A3中，在多个分割区域中找到当前帧的钡餐区域具体为：

A31：分别计算各个分割区域的Eva得分：

其中，θ₀、θ₁、θ₂、θ₃是预设置的系数，∑P_r表示离散点总数，∑f_p(seg_i)表示第i个分割区域中的离散点总数，∑seg_i表示第i个分割区域中的像素点总数，gray(seg_i)表示第i个分割区域的平均灰度值，g_avg表示上一帧医学影像中钡餐区域的平均灰度值；

A32：将Eva得分在预设置的区间[E₀,E₁]中的分割区域保存为钡餐区域，如果所有分割区域的Eva得分均不在预设置的区间[E₀,E₁]中，则执行步骤A33；

A33：判断各个分割区域的面积占矩形框的比例是否大于预设置的临界值，如果存在大于临界值的分割区域，则降低分割等级，重新使用流域分割算法对矩形框选中的区域进行流域分割，得到多个分割区域，重复步骤A31，否则，执行步骤A34；

A34：降低分割等级，如果分割等级大于预设置的分割等级阈值，则对分割区域使用流域分割算法再次分割，得到的新的分割区域，重复步骤A31，否则，使用阈值分割法对分割区域进行处理，进行开闭运算后得到新的分割区域，重复步骤A31。

6.根据权利要求1所述的一种基于医学造影的动态目标跟踪方法，其特征在于，流域分割算法包括以下步骤：

获取待分割的医学影像，使用边缘检测功能显影梯度图像；在梯度图像中使用形态重构标记前景对象；计算前景标记，将前景标记叠加在医学影像上，使用边缘重建清洁前景标记的边缘；计算背景标记；使用传统的流域分割算法对最新的医学影像进行分割。

7.根据权利要求1所述的一种基于医学造影的动态目标跟踪方法，其特征在于，使用改进的帧间差分法跟踪医学影像视频中的钡餐目标包括以下步骤：

B1：在参考帧医学影像或第一帧医学影像中手动使用矩形框勾选钡餐目标所在的感兴趣区域；

B2：获取下一帧医学影像为当前帧医学影像，在当前帧医学影像截取与上一帧的矩形框位置大小相同的区域，将该区域与上一帧医学影像中的感兴趣区域进行差值，得到差值矩阵d_frame，根据预设置的二值化阈值T_diff对差值矩阵进行二值化处理，将差值矩阵中大于T_diff的元素设为1，其余元素设为0；

B3：抽取差值矩阵中元素值为1的点，得到初始区域seg，建立初始区域矩阵d_seg，将初始区域seg中的点投影到当前帧医学影像中，将初始区域seg中的一类点在初始区域矩阵d_seg中取1，将初始区域seg中的二类点在初始区域矩阵d_seg中取0，一类点在当前帧医学影像中所对应的像素点的灰度值大于预设置的灰度阈值，二类点在当前帧医学影像中所对应的像素点的灰度值不大于预设置的灰度阈值；

B4：将上一帧医学影像的感兴趣区域seg_p与差值矩阵d_frame相加后减去初始区域矩阵d_seg，得到当前帧医学影像的感兴趣区域seg_c。

8.根据权利要求1所述的一种基于医学造影的动态目标跟踪方法，其特征在于，使用KCF+DSST的多目标跟踪法跟踪医学影像视频中的组织器官目标具体为使用KCF作为位置滤波器，使用DSST作为尺度滤波器，包括以下步骤：

C1：在参考帧医学影像或第一帧医学影像中手动使用矩形框标定各个组织器官目标的跟踪区域，为各个组织器官目标分别建立KCF+DSST跟踪器，每个KCF+DSST跟踪器用于跟踪其对应的组织器官目标；

C2：获取下一帧医学影像为当前帧医学影像，使用DSST尺度滤波器，以参考帧医学影像至当前帧医学影像中的目标尺度为样本，更新当前帧医学影像的目标尺度；

C3：在当前帧医学影像的目标尺度下，使用KCF检测当前帧医学影像中的组织器官目标的位置，更新当前帧医学影像的组织器官目标位置。

Images