CN115601604B - 一种基于长短时记忆网络的多任务微泡轨迹追踪方法 - Google Patents

Abstract

本发明涉及基于超声微泡轨迹追踪进行血管医学成像领域，尤其涉及一种基于长短时记忆网络的多任务微泡轨迹追踪方法。本发明首先结合血管血流运动学特征，仿真符合微泡在血流中运动的轨迹数据；其次设计基于长短时记忆网络的多任务轨迹追踪方法并行完成肾脏超声微泡轨迹的分类绑定和回归任务；最后为应对基于长短时记忆网络的多任务模型从训练场景迁移到新场景推理轨迹产生的偏差问题，使用自质量评估优化算法微调模型，适配新场景。与传统的方法相比，（1）该方法缓解了对医学超声微泡数据的依赖度；（2）与传统串行处理方法相比该方法耗时更短，效率更高；（3）利用少量新场景数据，结合SQE评估算法即可调优模型，满足新场景下的推理需求。

Description

一种基于长短时记忆网络的多任务微泡轨迹追踪方法

技术领域

本发明涉及基于超声微泡轨迹追踪进行血管医学成像领域，尤其涉及一种基于长短时记忆网络的多任务微泡轨迹追踪方法。

背景技术

慢性肾病是全球的公共健康问题之一，是一组疾病的临床统称。据2020年世界顶级医学期刊《柳叶刀》报告，截止2017年全球慢性肾脏病平均患病率为9.1%，较1990年增加29%，慢性肾脏病患者总人数达6.975亿。

目前肾病诊断方法中，血清学及尿液实验室指标是一种反映肾功能改变的方式，但该方法敏感度低、精度不足；经皮肾穿刺活检检测是目前最准确的标准，但有创、价格昂贵，伴随多种并发症，患者接受度较差，无法随时监测肾功能，难以复用；磁共振成像、CT成像能以无创方式检测微血管情况，达到预测和监测病况，但这类设备成像系统体积庞大，不适用便携连续成像；超声成像具有安全性、非侵入性、便携性、可负担性和易用性等优点，目前已有多普勒超声成像和超声造影检查来诊断慢性肾脏病况，然而这两种技术都不能提供足够高的空间分辨率来评估血管，尤其是皮质中的微血管，这主要是因为超声成像的空间分辨率被限制在所用声波波长的一半左右。超声定位显微成像（Ultrasound LocalizationMicroscopy，ULM）是超声成像技术的改进，它可以探测到超出声波衍射极限的血管的高分辨率图像。传统方法利用ULM完成微泡追踪的步骤为：(1)处理采集到的超声序列数据为亮度模式图像，使用亮度模式图像定位微泡中心位置；(2)从当前帧之前的连续亮度模式图像中得到已有微泡序列，利用匈牙利算法完成已有微泡序列和当前帧新检测微泡的两两分类绑定；(3)利用线性卡尔曼滤波算法优化延展已绑定了的已有微泡序列和新检测微泡，得到用于下一帧微泡追踪的更新微泡序列，重复以上步骤，完成微泡追踪。总结可以发现传统方法处理流程为串行思路，会导致计算效率不足，同时线性卡尔曼滤波也无法满足弯曲血管的场景需求。

深度学习的广泛使用，尤其循环神经网络变种长短时记忆（Long Short-TermMemory，LSTM）网络展示了对时序数据的强大处理能力，由于微泡轨迹为典型的时序数据，所以可利用LSTM网络来优化ULM传统方法微泡追踪的准确度和计算效率。但需指出的是，目前神经网络大都需要足量的训练数据，想要利用神经网络实现微泡轨迹追踪，则必须先解决超声训练数据量的问题。仿真数据训练好模型，迁移到新场景预测轨迹可能会预测偏差，因此还需要在只有少量新场景数据的前提下对模型合理微调，提升模型泛化能力。

发明内容

本发明针对现有超声微泡轨迹追踪的难点，提出了一种基于长短时记忆网络的多任务微泡轨迹追踪方法，可并行完成肾脏血管超声微泡轨迹的分类绑定和回归任务；同时基于血管血流非线性运动特征，仿真出了足量符合微泡在血流中运动特征的轨迹数据；针对训练得到的长短时记忆多任务模型，迁移微调阶段采用自质量评估（Self QualityEvaluation，SQE）优化算法，应对长短时记忆多任务模型从训练场景迁移到新场景推理轨迹预测偏差问题，提升模型泛化能力。本发明能加快微泡轨迹追踪时间效率，优化传统串行流程计算效率低和非线性追踪准确度不足的问题；基于非线性运动得到的仿真数据，缓解了对医学微泡轨迹数据的依赖；结合SQE评估算法，使用少量新场景数据即可完成模型微调，提升了模型泛化能力。

为了实现上述内容，本发明采用如下技术方案：

一种基于长短时记忆网络的多任务微泡轨迹追踪方法，后续将长短时记忆多任务简写为LSTM-MT（Long Short-Term Memory Multi-Task），方法包括以下步骤：

步骤1：根据想要模拟的血管类型，确定仿真数据模拟场景，基于非线性运动公式得到微泡正确轨迹。依据得到的微泡正确轨迹，设计线性直线运动仿真生成对应正确轨迹的用于LSTM-MT网络分类训练的微泡错误轨迹；

步骤2：将步骤1仿真得到的微泡正确轨迹和微泡错误轨迹切分处理长度为5的轨迹段，轨迹段包含微泡序列和候选微泡两部分，微泡序列由4个连续正确微泡组成，需指出正确轨迹段的候选微泡由微泡序列最后1个微泡非线性运动得到，错误轨迹段的候选微泡由微泡序列最后1个微泡线性直线运动得到。根据步骤1设计思路，得到的正确轨迹段和错误轨迹段数量比例维持为1：1；

步骤3：将步骤2中得到的轨迹段前4个正确微泡组成的微泡序列输入LSTM-MT网络的LSTM端，依赖LSTM对序列数据的学习能力，提取时序特征；轨迹段第一部分微泡序列的最后1个微泡和候选微泡构成的微泡输入网络的全连接层端，训练并保存得到的LSTM-MT模型；

步骤4：处理新场景轨迹，使用步骤2相同操作，切分得到由微泡序列和1个候选微泡组成的轨迹段。基于步骤3得到的LSTM-MT模型推理新场景轨迹段，使用SQE算法评估经过模型预测后得到的待评估轨迹段，依据评估分数微调模型适配新场景，得到调优LSTM-MT模型。

进一步地，步骤1具体包括：

步骤11：设定临床超声图片尺寸为800像素，单个超声图像像素尺寸为0.0192mm，依据两个尺寸相乘结果，限定微泡轨迹的初始点物理位置在[0mm，15mm]范围内；

步骤12：依据血管血流运动学特征，设定大血管内的微泡初始速度范围为[1mm/s，5mm/s]，初始相位角范围为[0Π，1Π]，初始角速度范围为±[5Π/s，10Π/s]；设定微血管内微泡的初始速度范围为[1mm/s，4mm/s]，初始相位角范围为[0Π，1Π]，初始角速度范围为[-10Π/s，10Π/s]；

步骤13：根据需要仿真的血管种类，选择步骤12对应场景，得到符合要求的轨迹随机初始点，基于非线性运动模型迭代仿真微泡正确轨迹，

其中非线性运动模型公式如下：

其中，每个微泡均使用5个特征维度进行表示， x _n表示第 n个微泡的横轴物理坐标， z _n表示第 n个微泡的纵轴物理坐标， v _n表示第 n个微泡的瞬时速度，表示第 n个微泡的运动相位角， ω _n表示第 n个微泡的运动角速度， sin表示数学正弦函数， cos表示数学余弦函数，非线性运动公式表示基于第 n个微泡非线性迭代得到第 n+1个微泡， x _n+1表示基于第 n个微泡的横轴物理坐标非线性运动迭代得到的第 n+1个微泡的横轴物理坐标， z _n+1表示基于第 n个微泡的纵轴物理坐标非线性运动迭代得到的第 n+1个微泡的纵轴物理坐标，表示第 n+1个微泡的运动相位角，由第 n个微泡的运动相位角加上角度变化值得到， v _n+1表示第 n+1个微泡的瞬时速度， ω _n+1表示第 n+1个微泡的运动角速度，因为采集时间间隔很短且血管血流速度短时间内会相对恒定，所以维持速瞬时速度和运动角速度不变， Δt表示超声探头采集两帧超声图像的时间间隔，按照超声探头标准扫描频率50Hz进行换算，设定 Δt=0.2秒，为了充分模拟临床超声检测到的血管轨迹长度存在波动的情况，设定仿真轨迹长度在5到12之间（包含长度5和长度12），每种长度对应数量8000条用于训练；

步骤14：基于步骤13得到的微泡正确轨迹，从轨迹第4个正确微泡开始，至到正确轨迹最后1个点，设计线性直线运动来仿真产生一一对应正确轨迹点的用于LSTM-MT网络分类训练的微泡错误轨迹。其中线性直线运动公式如下：

其中，每个微泡均使用5个特征维度进行表示， x _n表示第 n个微泡的横轴物理坐标， z _n表示第 n个微泡的纵轴物理坐标， v _n表示第 n个微泡的瞬时速度，表示第 n个微泡的运动相位角， ω _n表示第 n个微泡的运动角速度，线性直线运动公式表示基于第 n个微泡线性直线运动迭代得到第 n+1个微泡， x _n+1表示基于第 n个微泡的横轴物理坐标线性直线运动迭代得到的第 n+1个微泡的横轴物理坐标， z _n+1表示基于第 n个微泡的纵轴物理坐标线性直线运动迭代得到的第 n+1个微泡的纵轴物理坐标，表示第 n+1个微泡的运动相位角，此处直线运动公式设计在迭代过程中故意忽略角度因素影响，所以运动相位角维持不变， v _n+1表示第 n+1个微泡的瞬时速度， ω _n+1表示第 n+1个微泡的运动角速度，因为采集时间间隔很短且血管血流速度短时间内会相对恒定，所以维持速瞬时速度和运动角速度不变， Δt表示超声探头采集两帧超声图像的时间间隔，按照超声探头标准扫描频率50Hz进行换算，设定 Δt=0.2秒，为保证网络分类训练正负比例为1：1，设定一条微泡正确轨迹会伴生一条微泡错误轨迹，即每一条正确轨迹都对应有一条错误轨迹，微泡正确轨迹所有点都由非线性运动迭代得到，微泡错误轨迹前4个微泡和伴生微泡正确轨迹一致，从第5个微泡开始，微泡错误轨迹第 t（5≤ t≤12）微泡都由微泡正确轨迹第 t-1个微泡线性直线运动得到，重复操作形成和对应微泡正确轨迹长度相同的微泡错误轨迹。

进一步地，步骤2具体包括：

步骤21：设定步骤14中得到轨迹长度范围为[5，12]，每种长度对应数量为8000条，微泡正确轨迹切分为长度为5的正确轨迹段，对于长度为 L（5≤ L≤12）的微泡正确轨迹，设定 k表示此微泡正确轨迹中的一个微泡， k取值满足1≤ k≤ L - 4，则按长度为5可将轨迹切分为（ k， k+1， k+2， k+3， k+4）相同形式的若干条正确轨迹段，每条正确轨迹段划分为微泡序列和正确候选微泡两部分，微泡序列由前4个连续正确微泡组成，由步骤13阐述可知正确轨迹段的正确候选微泡为微泡序列最后1个微泡非线性运动得到；

步骤22：类似步骤21将微泡错误轨迹切分为长度为5的错误轨迹段，对于长度为 L（5≤ L≤12）的伴生微泡错误轨迹，设定 k表示属于此微泡错误轨迹中的一个微泡， k取值满足1≤ k≤ L - 4，首先保证按照长度为4从微泡错误轨迹伴生的微泡正确轨迹中取出（ k， k+1， k+2， k+3）正确点组成的微泡序列，再从微泡错误轨迹中取出第 k+4个微泡作为错误候选微泡，拼接微泡序列和错误微泡候选点作为错误轨迹段，由步骤14阐述可知错误轨迹段的错误候选微泡为微泡序列最后1个微泡线性直线运动得到。两种轨迹段第一部分的正确微泡序列都保证了后续网络能提取有效时序信息，第二部分候选点部分则用于保证网络分类训练正负比例平衡为1：1，将正确轨迹段和错误轨迹段均归一化，打乱轨迹段间的次序，按照6：3：1划分训练集，验证集及测试集。

进一步地，步骤3具体包括：

步骤31：LSTM-MT网络接受两部分作为输入，分别为微泡序列和微泡候选组合，基于步骤22得到的长度为5的轨迹段，将轨迹段前4个正确微泡组成的微泡序列输入网络LSTM端，利用LSTM的学习能力，提取时序特征；轨迹段第一部分微泡序列的最后1个微泡和候选微泡构成微泡对，作为全连接层端的输入，微泡对在浅层全连接层端提取到初步分类特征，再和LSTM端提取到的序列特征进行拼接，拼接后的特征用于深层全连接层提取分类特征；

步骤32：将步骤31的LSTM-MT模型的两个输出结果分别计算损失。回归结果表示LSTM基于输入微泡序列预测的第5个微泡的位置。分类输出结果表示候选微泡是否和微泡序列绑定的分类概率，

针对回归预测采用胡伯（Huber）损失函数计算损失，回归损失函数如下：

其中， L _reg为回归损失值， μ为真实微泡位置， v为模型预测微泡位置， x代表横轴方向， z代表纵轴方向，当 i取值为 x时， H( μ _x - v _x)表示预测横轴位置和真实横轴位置差值的胡伯损失值，当 i取值为 z时， H( μ _z -  v _z)表示预测纵轴位置和真实纵轴位置差值的胡伯损失值，σ表示实验超参数，设定为1，设定 r表示 μ _i -  v _i，按照 r的绝对值和σ的大小关系胡伯函数会进行不同损失计算，之后将横纵轴损失值进行累加得到 L _reg；

分类预测采用交叉熵（Cross Entropy）损失函数计算损失：

其中， L _cls为分类损失值， u表示微泡序列和候选微泡真实分类概率，𝜌表示模型预测微泡序列和候选微泡分类概率， log为数学对数符号，分类损失公式表示模型预测概率𝜌在真实概率 u下的交叉熵损失，当 i取值为0时， u ₀表示微泡序列和候选微泡不绑定的真实概率，𝜌₀表示模型预测微泡序列和候选微泡不绑定的概率，当 i取值为1时， u ₁表示微泡序列和候选微泡绑定的真实概率，𝜌₁表示模型预测微泡序列和侯选微泡绑定的概率，将两种情况的计算值累加得到 L _cls；

步骤33：将步骤32分类损失和回归损失采用加权相加构成联合多任务损失函数，联合多任务损失函数如下：

其中， L _joint为联合损失值， μ为真实微泡位置， v为模型预测微泡位置， u表示微泡序列和候选微泡真实分类概率，𝜌表示模型预测微泡序列和候选微泡分类概率， L _reg和 L _cls两种损失权重比例为9：1，训练网络，根据损失下降情况，结合回归预测结果评估推理效果，保存LSTM-MT模型。

进一步地，步骤4具体包括：

步骤41：处理长度5到12的各500条左右数量的少量新场景轨迹，使用步骤21切分轨迹成长度为5的轨迹段，轨迹段包含微泡序列和1个候选微泡，使用步骤33得到的模型推理新场景轨迹段数据；

步骤42：评估模型推理的分类结果，如果分类概率过低，则微泡序列和候选微泡不能绑定，采用模型回归预测结果视作微泡序列的轨迹延展点；如果分类概率足够高，则微泡序列和候选微泡绑定，候选微泡可视作微泡序列的轨迹延展点，将微泡序列和轨迹延展点拼接为待评估轨迹段，累计得到的 n条待评估轨迹段；

步骤43：将步骤42得到的 n条待评估轨迹段使用SQE自评估算法评估，SQE评估公式如下：

其中， n为输入的轨迹段总数量， L为输入轨迹段的整体平均长度， k ₁和 k ₂为实验参数，设定为 k ₁=1和 k ₂=2，用于平衡 L和 fp+ dif+ sim的权重值，其中，

fp：所有轨迹中小于长度阈值或大于标准差阈值的低质量轨迹段，标记轨迹段，记作错误 fp进行累加，长度阈值设定为4，标准差阈值设定为0.58；

dif：对于非标记轨迹段，使用二类高斯混合模型拟合轨迹段内点之间的特征距离，根据拟合模型计算均值差，判断是否属于低质量轨迹段，如果类内（单条轨迹段的点与点之间）均值差超过类内均差值阈值，则认为该轨迹段包含不止一个目标，记作差别错误 dif进行累加，类内均值差阈值设定为1.14；

sim：同上使用二类高斯混合模型拟合任意两条非标记轨迹段之间特征距离，如果类间（两条轨迹之间）均值差超过类间均值差阈值，则认为两条轨迹段匹配了相同的目标，记作相似错误 sim进行累加，类间均值差阈值设定为1.22；

需指出涉及到的长度阈值，标准差阈值，类内均值差阈值，类间均值差阈值均基于步骤41得到的新场景轨迹统计分析进行设定，统计分析新场景轨迹内部点之间的均值、方差，轨迹间特征距离等，即可选取适合代表新场景轨迹统计学特征的阈值，相关阈值的具体数值可在调优过程中按需微调，以达到对LSTM-MT模型施加不同程度的约束，二类高斯混合模型由两个子高斯分布组成，通过数据拟合后可计算出两个子高斯分布之间的统计学差异；

步骤44：将得到的SQE分数用作损失，进一步微调步骤33保存的LSTM-MT模型，自评估约束模型适应新场景，得到调优LSTM-MT模型。

与现有技术相比本发明的优点在于：训练得到的LSTM-MT模型可并行实现轨迹的分类和回归，实际应用中，只需将上轮推理得到的轨迹延展点加入当前轮微泡序列，结合新检测到的候选微泡，即可迭代完成微泡轨迹追踪，对比传统串行处理方法，耗时更短，效率更高；仿真符合血管血流非线性运动特征的微泡轨迹，缓解了对医学超声微泡数据的依赖；已学习到血管非线性运动学特征的LSTM-MT模型，只需使用少量新场景轨迹数据，综合轨迹段数量、轨迹段质量、类内特征距离及类间特征距离等统计学信息，结合SQE优化算法，就能进一步约束模型满足新场景下的推理需求。

附图说明

图1为本发明的流程图

图2为本发明的微泡仿真运动模型图

图3为本发明的LSTM-MT模型图

图4为本发明的网络训练策略图

图5为本发明的自评估流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图并列举实施例，对本发明做进一步详细说明。如图1所示，在本实施例中公开了一种基于长短时记忆网络的多任务微泡轨迹追踪方法，所述的方法按照以下步骤执行：

步骤1：根据想要模拟的是血管类型，确定需要仿真的场景，基于非线性运动公式计算得到一定数量的微泡正确轨迹，轨迹的长度为5到12之间。依据得到的微泡正确轨迹，设计线性直线运动来仿真产生一一对应微泡正确轨迹的用于网络分类训练的微泡错误轨迹。

步骤1具体包括：

步骤11：设定临床超声图片尺寸为800像素，单个超声图像像素尺寸为0.0192mm，依据两个尺寸相乘结果，限定微泡轨迹的初始点坐标在[0mm，15mm]范围内；

步骤12：依据血管血流运动学特征，设定大血管血流速度初始速度范围[1mm/s，5mm/s]，初始相位角范围[0Π，1Π]，初始角速度范围±[5Π/s，10Π/s]；设定微血管血流初始速度范围[1mm/s，4mm/s]，初始相位角范围[0Π，1Π]，初始角速度范围[-10Π/s，10Π/s]；

步骤13：根据需要仿真的血管种类，选择步骤12对应场景，基于非线性运动模型迭代产生微泡正确轨迹，如图2所示，其中，非线性运动模型公式如下：

其中，每个微泡均使用5个特征维度进行表示， x _n表示第 n个微泡的横轴物理坐标， z _n表示第 n个微泡的纵轴物理坐标， v _n表示第 n个微泡的瞬时速度，表示第 n个微泡的运动相位角， ω _n表示第 n个微泡的运动角速度， sin表示数学正弦符号， cos表示数学余弦函数，非线性运动公式表示基于第 n个微泡非线性运动迭代得到第 n+1个微泡， x _n+1表示基于第 n个微泡的横轴物理坐标非线性运动迭代得到的第 n+1个微泡的横轴物理坐标， z _n+1表示基于第 n个微泡的纵轴物理坐标非线性运动迭代得到的第 n+1个微泡的纵轴物理坐标，表示第 n+1个微泡的运动相位角，由第 n个微泡运动相位角加上角度变化得到， v _n+1表示第 n+1个微泡的瞬时速度， ω _n+1表示第 n+1个微泡的运动角速度，因为采集时间间隔很短且血管血流速度短时间内会相对恒定，所以维持速瞬时速度和运动角速度不变， Δt表示超声探头采集两帧超声图像的时间间隔，按照超声探头标准扫描频率50Hz进行换算，设定 Δt=0.2秒，为了充分模拟临床超声检测到的血管轨迹长度存在波动的情况，设定仿真轨迹长度在5到12之间（包含长度5和长度12），每种长度对应数量8000条用于训练；

步骤14：基于步骤13得到的微泡正确轨迹，从第4个微泡开始，设计线性直线运动来仿真产生一一对应微泡正确轨迹的用于网络分类训练的微泡错误轨迹，其中线性直线迭代公式如下：

其中，每个微泡均使用5个特征维度进行表示， x _n表示第 n个微泡的横轴物理坐标， z _n表示第 n个微泡的纵轴物理坐标， v _n表示第 n个微泡的瞬时速度，表示第 n个微泡的运动相位角， ω _n表示第 n个微泡的运动角速度，线性直线运动公式表示基于第 n个微泡线性直线运动迭代得到第 n+1个微泡， x _n+1表示基于第 n个微泡横轴物理坐标线性直线运动迭代得到的第 n+1个微泡的横轴物理坐标， z _n+1表示基于第 n个微泡纵轴物理坐标线性直线运动迭代得到的第 n+1个微泡的纵轴物理坐标，表示第 n+1个微泡的运动相位角，此处直线运动公式设计在迭代过程中故意忽略角度因素影响，所以运动相位角维持不变， v _n+1表示第 n+1个微泡的瞬时速度， ω _n+1表示第 n+1个微泡的运动角速度，因为采集时间间隔很短且血管血流速度短时间内会相对恒定，所以维持速瞬时速度和运动角速度不变， Δt表示超声探头采集两帧超声图像的时间间隔，按照超声探头标准扫描频率50Hz进行换算，设定 Δt=0.2秒，为保证网络分类训练正负比例为1：1，设定一条微泡正确轨迹会伴生一条微泡错误轨迹，即每一条正确轨迹都对应有一条错误轨迹，微泡正确轨迹所有点都由非线性运动迭代得到，微泡错误轨迹前4个微泡和伴生微泡正确轨迹一致，从第5个微泡开始，微泡错误轨迹第 t（5≤ t≤12）微泡都由微泡正确轨迹第 t-1个微泡线性直线运动得到，重复操作形成和微泡正确轨迹长度相同的微泡错误轨迹。

步骤2：将步骤1仿真得到的轨迹切成包含4个连续正确微泡的微泡序列和1个候选微泡组成的轨迹段，将得到的轨迹段按照6：3：1的比例拆分为训练集，验证集和测试集。

步骤2具体包括：

步骤21：对于步骤14长度为 L（5 ≤L≤12）的微泡正确轨迹，设定 k表示此微泡正确轨迹中的一个微泡， k取值满足1≤ k≤ L - 4，则按长度为5可将轨迹切分为（ k， k+1， k+2， k+3， k+4）相同形式的若干条正确轨迹段，每条正确轨迹段划分为微泡序列和正确候选微泡两部分，微泡序列由前4个连续正确微泡组成，由步骤13阐述可知正确轨迹段的正确候选微泡为微泡序列最后1个微泡非线性运动得到；

步骤22：将微泡错误轨迹切分为长度为5的错误轨迹段，对于长度为 L（5 ≤L≤12）的微泡错误轨迹，设定 k表示属于此微泡错误轨迹中的一个微泡， k取值满足1≤ k≤ L - 4，首先保证按照长度为4从微泡错误轨迹伴生的微泡正确轨迹中取出（ k， k+1， k+2， k+3）正确点组成的微泡序列，再从微泡错误轨迹中取出第 k+4个微泡作为错误候选微泡，拼接微泡序列和错误微泡候选点为错误轨迹段，由步骤14阐述可知错误轨迹段的错误候选微泡为微泡序列最后1个微泡线性直线运动得到。轨迹段第一部分的正确微泡序列保证了后续网络能提取有效时序信息，第二部分候选点部分则用于保证网络分类训练正负比例平衡为1：1；

步骤23：将步骤21和步骤22得到的轨迹段均归一化，保证数值均在0到1之间，加快网络训练速度，打乱轨迹段次序后按照6：3：1比例划分训练集，验证集及测试集。

步骤3：步骤2得到的归一化后长度为5的轨迹段，如图3所示，训练集轨迹段的前4个连续正确微泡组成的微泡序列输入LSTM-MT网络的LSTM端，轨迹段第一部分微泡序列的最后1个微泡和候选微泡构成的微泡对输入LSTM-MT网络的全连接层端。训练网络根据损失函数输出值，使用验证集查看网络训练情况，结合测试集对模型进行推理评估，根据评估效果反向传播调节网络的参数，直到追踪效果达到要求，保存LSTM-MT模型。

步骤3具体包括：

步骤31：如图4所示，按照网络训练策略图，每层网络层的参数由阿拉伯数字表示，除去LSTM关键字，有关激活函数均通过英文字母展示，设定训练批次大小为2000条轨迹段，LSTM-MT网络接受两部分作为输入，分别为微泡序列和微泡候选点组合。基于步骤23得到的长度为5的轨迹段，将轨迹段前4个正确微泡组成的微泡序列输入网络LSTM端，利用LSTM的学习能力，提取时序特征；轨迹段第一部分微泡序列的最后1个微泡和候选微泡构成微泡对，作为全连接层端的输入，微泡对在浅层全连接层端提取到初步分类特征，再和LSTM端提取到的序列特征进行拼接，拼接后的特征用于深层全连接层提取分类特征；

步骤32：LSTM-MT网络包含两个输入，两个输出结果，步骤31已对两个输入完成阐述。针对两个输出结果分别计算损失。其中一个输出为回归结果，表示模型基于连续4个正确微泡组成的微泡序列预测的第5个微泡的位置。另一个输出为分类结果，表示微泡序列是否和候选微泡绑定的分类概率；

针对回归预测采用胡伯（Huber）损失函数计算损失，回归损失函数如下：

其中， L _reg为回归损失值， μ为真实微泡位置， v为模型预测微泡位置， x代表横轴方向， z代表纵轴方向，当 i取值为 x时， H( μ _x - v _x)表示预测横轴位置和真实横轴位置差值的胡伯损失值，当 i取值为 z时， H( μ _z-  v _z)表示预测纵轴位置和真实纵轴位置差值的胡伯损失值，σ表示实验超参数，设定为1，设定 r表示 μ _i -  v _i，按照 r的绝对值和σ的大小关系胡伯函数会进行不同损失计算，之后将横纵轴损失值进行累加得到 L _reg；

针对分类预测采用交叉熵（Cross Entropy）损失函数计算损失：

其中， L _cls为分类损失值， u表示微泡序列和候选微泡真实分类概率，𝜌表示模型预测微泡序列和候选微泡分类概率， log为数学对数符号，分类损失公式表示模型预测概率𝜌在真实概率 u下的交叉熵损失，当 i取值为0时， u ₀表示微泡序列和候选微泡不绑定的真实概率，𝜌₀表示模型预测微泡序列和候选微泡不绑定的概率，当 i取值为1时， u ₁表示微泡序列和候选微泡绑定的真实概率，𝜌₁表示模型预测微泡序列和侯选微泡绑定的概率，将两个 i值的计算值累加得到 L _cls；

步骤33：步骤32得到的回归损失和分类损失，采用加权相加构成联合多任务损失函数，联合多任务损失函数如下：

其中， L _joint为联合损失值， μ为真实微泡位置， v为模型预测微泡位置， u表示微泡序列和候选微泡真实分类概率，𝜌表示模型预测微泡序列和候选微泡分类概率， L _reg和 L _cls两种损失权重比例为9：1，训练长短时记忆多任务网络，根据损失下降情况，结合回归预测结果评估推理效果，保存LSTM-MT模型。

步骤4：按照步骤21处理新场景下的轨迹，切分得到轨迹段。基于步骤3得到的LSTM-MT模型进行推理，使用SQE自评估算法对一批轨迹预测结果进行评估。依据评估分数，微调模型适配新场景，得到调优LSTM-MT模型。

步骤4具体包括：

步骤41：处理长度5到12的各500条左右数量的少量新场景轨迹，使用步骤21切分得到由微泡序列和1个候选微泡组成的轨迹段，使用步骤33得到的模型推理新场景轨迹段；

步骤42：评估步骤41模型的分类结果。如果分类概率过低，则微泡序列和候选点不能绑定，采用模型预测结果视作微泡序列的轨迹延展点；如果分类概率足够高，则微泡序列和候选点绑定，候选微泡可视作微泡序列的轨迹延展点；将网络输入的微泡序列和步骤41得到的轨迹延展点拼接为待评估轨迹段，累计得到的 n条待评估轨迹段；

步骤43：如图5所示，将步骤42得到的 n条待评估轨迹段使用SQE自评估算法评估，SQE评估公式如下：

其中， n为输入的轨迹段总数量， L为输入轨迹段的整体平均长度， k ₁和 k ₂为实验参数，设定为 k ₁=1和 k ₂=2，用于平衡 L和 fp+ dif+ sim的权重值，其中，

fp：所有轨迹中小于长度阈值或大于标准差阈值的低质量轨迹段，标记轨迹段，记作错误 fp进行累加，长度阈值设定为4，标准差阈值设定为0.58；

dif：对于非标记轨迹段，使用二类高斯混合模型拟合轨迹段内点之间的特征距离，根据拟合模型计算均值差，判断是否属于低质量轨迹段，如果类内（单条轨迹的点与点之间）均值差超过类内均值差阈值，则认为该轨迹段包含不止一个目标，记作差别错误 dif进行累加，类间均值差阈值设定为1.14；

sim：同上使用二类高斯混合模型拟合任意两条非标记轨迹段之间的特征距离，如果类间（两条轨迹之间）均值差超过类间均值差阈值，则认为两条轨迹段匹配了相同的目标，记作相似错误 sim进行累加，类间均值差阈值设定为1.22；

需指出涉及到的长度阈值，标准差阈值，类内均值差阈值，类间均值差阈值，均使用步骤41得到的轨迹统计分析得出，统计分析新场景轨迹内部点之间的均值、方差，轨迹间特征距离等，即可选取适合代表新场景轨迹统计学特征的阈值，相关阈值的具体数值可在调优过程中按需微调，以达到对LSTM-MT模型施加不同程度的约束，二类高斯混合模型由两个子高斯分布组成，通过数据拟合后可计算出两个子高斯分布之间的统计学差异；

步骤44：将得到的SQE分数用作损失，进一步微调步骤33得到的LSTM-MT模型，自评估约束得到适应新场景的调优模型。

以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应该理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于长短时记忆网络的多任务微泡轨迹追踪方法，其特征在于，包括以下步骤：

步骤1：根据血管类型确定仿真数据模拟场景，基于非线性运动公式得到微泡正确轨迹，依据得到的微泡正确轨迹，设计线性直线运动仿真生成对应微泡正确轨迹的用于网络分类训练的微泡错误轨迹；

步骤2：将步骤1仿真得到的微泡正确轨迹和微泡错误轨迹都切分处理为长度为5的轨迹段，轨迹段第一部分为4个连续正确微泡组成的微泡序列，第二部分为1个候选微泡；

步骤3：基于长短时记忆网络对序列数据的学习能力，设计长短时记忆多任务(LongShort-Term Memory Multi-Task，LSTM-MT)网络，该网络能同时完成回归和分类预测，将步骤2中得到的轨迹段4个连续正确微泡组成的微泡序列部分输入LSTM-MT网络的LSTM端，将轨迹段第一部分微泡序列的最后1个微泡和候选微泡构成的微泡对一并输入LSTM-MT网络的全连接层端，训练并评估得到LSTM-MT模型；

步骤4：基于步骤2将新场景轨迹同样切分处理为多个轨迹段，使用步骤3得到的模型推理轨迹段，依据模型推理分类结果确定轨迹段第一部分微泡序列的轨迹延展点，将输入网络的微泡序列和轨迹延展点拼接为待评估轨迹段，累计n条待评估轨迹段，使用自质量评估(Self Quality Evaluation，SQE)算法评估，依据评估分数调优模型适配新场景，最终得到调优LSTM-MT模型；

其特征在于，所述的基于长短时记忆网络对序列数据的学习能力，设计长短时记忆多任务(Long Short-Term Memory Multi-Task，LSTM-MT)网络，该网络能同时完成回归和分类预测，将轨迹段前4个连续正确微泡组成的微泡序列部分输入LSTM-MT网络的LSTM端，利用LSTM学习能力，提取时序特征，轨迹段最后两个微泡输入LSTM-MT网络全连接层端，训练得到模型；网络模型包含两个输出，分别为回归输出和分类输出，其中，回归输出结果表示LSTM-MT模型基于微泡序列预测的第5个微泡位置信息，分类输出结果表示微泡序列和候选微泡绑定的分类概率，分别计算两种输出结果的损失值；

针对回归预测采用胡伯(Huber)损失函数计算损失，回归损失函数如下：

L_reg(μ，v)＝∑_i∈{x，z}H(μ_i-v_i)

其中，L_reg为回归损失值，μ为真实微泡位置，v为模型预测微泡位置，x代表横轴方向，z代表纵轴方向，σ表示实验超参数，设定为1，设定r表示μ_i-v_i，依据差值r的绝对值和σ的大小关系，胡伯损失函数进行不同损失计算；

针对分类预测采用交叉熵(Cross Entropy)损失函数计算损失：

L_cls(u，ρ)＝-∑_i∈{0,1}u_ilog(ρ_i)

其中，L_cls为分类损失值，u表示微泡序列和候选微泡真实分类概率，ρ表示模型预测微泡序列和候选微泡分类概率，log为数学对数符号，分类损失公式表示模型预测概率ρ在真实概率u下的交叉熵损失，u₀表示微泡序列和候选微泡不绑定的真实概率，ρ₀表示模型预测微泡序列和候选微泡不绑定的概率，u₁表示微泡序列和候选微泡绑定的真实概率，ρ₁表示模型预测微泡序列和侯选微泡绑定的概率；

加权相加回归损失和分类损失构成联合多任务损失函数，联合多任务损失函数如下：

L_joint＝0.9*L_reg(μ，v)+0.1*L_cls(u，ρ)

其中，L_joint为联合损失值，μ为真实微泡位置，v为模型预测微泡位置，u表示微泡序列和候选微泡真实分类概率，ρ表示模型预测微泡序列和候选微泡分类概率，L_reg和L_cls两种损失权重比例为9：1，训练LSTM-MT网络，根据损失下降情况，结合回归预测结果评估推理效果，保存训练后的模型；

所述长短时记忆多任务网络结构作用为，正确微泡组成的微泡序列部分输入LSTM-MT网络的第一输入端，第一输入端前两层由一层全连接层和一层LSTM层组成，采用LSTM提取时序特征，时序特征通过第一输出端得到LSTM-MT网络的回归预测，第一输出端由两层全连接层组成；正确微泡组成的微泡序列部分的最后一个微泡和候选微泡拼接后输入LSTM-MT网络的第二输入端得到分类特征，第二输入端前两层由两层全连接层组成，时序特征拼接分类特征后，通过第二输出端得到LSTM-MT网络的分类预测，第二输出端由两层全连接层组成。

2.根据权利要求1所述的一种基于长短时记忆网络的多任务微泡轨迹追踪方法，其特征在于，所述根据血管类型确定仿真数据模拟场景，其中，统一设定血管中微泡的初始横纵位置范围[0mm，15mm]，依据血管血流运动学特征，设定大血管内的微泡初始速度范围为[1mm/s，5mm/s]，初始相位角范围为[0π，1π]，初始角速度范围为±[5π/s，10π/s]，设定微血管内微泡的初始速度范围为[1mm/s，4mm/s]，初始相位角范围为[0π，1π]，初始角速度范围为[-10π/s，10π/s]。

3.根据权利要求1所述的一种基于长短时记忆网络的多任务微泡轨迹追踪方法，其特征在于，所述的基于非线性运动公式得到微泡正确轨迹，非线性运动公式如下：

其中，每个微泡均使用5个特征维度进行表示，x_n表示第n个微泡的横轴物理坐标，z_n表示第n个微泡的纵轴物理坐标，v_n表示第n个微泡的瞬时速度，

表示第n个微泡的运动相位角，ω_n表示第n个微泡的运动角速度，sin表示数学正弦函数，cos表示数学余弦函数，Δt表示超声探头采集两帧超声图像的时间间隔，按照超声探头标准扫描频率50Hz进行换算，设定Δt＝0.2秒，非线性运动公式表示基于第n个微泡非线性运动迭代得到第n+1个微泡。

4.根据权利要求1所述的一种基于长短时记忆网络的多任务微泡轨迹追踪方法，其特征在于，所述依据得到的微泡正确轨迹，设计线性直线运动仿真生成对应微泡正确轨迹的用于网络分类训练的微泡错误轨迹，线性直线运动公式如下：

其中，每个微泡均使用5个特征维度进行表示，x_n表示第n个微泡的横轴物理坐标，z_n表示第n个微泡的纵轴物理坐标，v_n表示第n个微泡的瞬时速度，

表示第n个微泡的运动相位角，ω_n表示第n个微泡的运动角速度，Δt表示超声探头采集两帧超声图像的时间间隔，按照超声探头标准扫描频率50Hz进行换算，设定Δt＝0.2秒，线性直线运动公式表示基于第n个微泡线性直线运动迭代得到第n+1个微泡，为保证网络分类训练正负比例为1：1，设定一条微泡正确轨迹会伴生一条微泡错误轨迹，即每一条正确轨迹都对应有一条错误轨迹。

5.根据权利要求1所述的一种基于长短时记忆网络的多任务微泡轨迹追踪方法，其特征在于，所述的将步骤1仿真得到的微泡正确轨迹和微泡错误轨迹都切分处理为长度为5的轨迹段，轨迹段第一部分为4个连续正确微泡组成的微泡序列，第二部分为1个候选微泡，对于长度为L的微泡正确轨迹，其中5≤L≤12，设定k表示此微泡正确轨迹中的一个微泡，k取值满足1≤k≤L-4，则按长度为5可将微泡正确轨迹切分为(k，k+1，k+2，k+3，k+4)相同形式的若干条正确轨迹段，对于长度为L的伴生微泡错误轨迹，其中5≤L≤12，设定k表示属于此微泡错误轨迹中的一个微泡，k取值满足1≤k≤L-4，首先保证按照长度为4从微泡错误轨迹伴生的微泡正确轨迹中取出(k，k+1，k+2，k+3)正确微泡组成的微泡序列，再从微泡错误轨迹中取出第k+4个微泡作为错误微泡候选，拼接微泡序列和错误微泡候选为错误轨迹段。

6.根据权利要求1所述的一种基于长短时记忆网络的多任务微泡轨迹追踪方法，其特征在于，所述将输入网络的微泡序列和轨迹延展点拼接为待评估轨迹段，累计n条待评估轨迹段，使用自质量评估(Self Quality Evaluation，SQE)算法评估，具体包括：

根据模型推理分类输出，如果分类概率过低，则微泡序列和候选微泡不能绑定，采用模型回归预测结果视作微泡序列的轨迹延展点，如果分类概率够高，则微泡序列和候选微泡绑定，候选微泡可视作微泡序列的轨迹延展点，拼接新场景输入网络的微泡序列和轨迹延展点作为待评估轨迹段，累计n条待评估轨迹段，使用SQE算法进行评估，具体公式如下：

其中，n为输入的待评估轨迹段总数量，L为待评估轨迹段的整体平均长度，k₁和k₂为实验参数，设定为k₁＝1和k₂＝2，用于平衡L和fp+dif+sim的权重值，其中，

fp：所有轨迹中小于长度阈值或大于标准差阈值的低质量轨迹段，标记轨迹段，记作错误fp进行累加，长度阈值设定为4，标准差阈值为0.58；

dif：对于非标记轨迹段，使用二类高斯混合模型拟合轨迹段点之间的特征距离，根据拟合模型计算均值差，如果类内均值差超过类内均差值阈值，其中类内表示单条轨迹段的点与点之间，则认为该轨迹段包含不止一个目标，记作差别错误dif进行累加，类内均值差阈值设定为1.14；

sim：对于非标记轨迹段，使用二类高斯混合模型拟合处理每两条非标记轨迹段之间特征距离，如果类间均值差超过类间均值差阈值，其中类间表示两条轨迹段之间，则认为两条轨迹段匹配了相同的目标，记作相似错误sim进行累加，类间均值差阈值设定为1.22；

二类高斯混合模型由两个子高斯分布组成，通过数据拟合后可计算出两个子高斯分布之间的统计学差异，使用得到的评估分数微调模型，自评估约束得到适应新场景的调优LSTM-MT模型。

Images