CN112085716B - 一种基于时阈聚焦图网络的nafld超声视频分类方法 - Google Patents

Abstract

本发明公开了一种基于时阈聚焦图网络的NAFLD超声视频分类方法，该方法通过结合时阈聚焦图网络和损失函数，对输入的肝脏超声视频分类，从而判断是否患有NAFLD。其中，时阈聚焦图网络由三个子网络组成，分别是特征提取网络、局部连接时阈图网络和全局连接时阈图网络；损失函数由二进制交叉熵损失和区间聚焦损失两部分组成。本发明能够解决现有NAFLD诊断中存在的耗时、专业要求高、误判的问题，提供一种可靠、高效的NAFLD自动诊断方法。

Description

一种基于时阈聚焦图网络的NAFLD超声视频分类方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于时阈聚焦图网络的NAFLD超声视频分类方法。

背景技术

超声视频凭借其无创性和低成本的优势被广泛应用于非酒精性脂肪性肝病(NAFLD)的诊断，然而，大多数的现有NAFLD诊断方法聚焦于关键帧中的NAFLD诊断而非直接对视频进行诊断，导致面临以下几个问题：(1)耗时性与专业性要求：现有方法要求医生浏览整个视频去人工提取关键帧，这在临床诊断的过程中带来了极大的不便性；(2)对于某些包含噪声或特征较弱的帧较为敏感：由于在图像层次的分类过程中，每一帧的分类与其它帧都是相互独立的，因此，对于一些包含噪声或特征较弱的帧，很容易发生误判；(3)中间误差：基于关键帧的方法一般分为两步，第一步提取关键帧，第二步根据关键帧进行诊断，在这种情况下，第一步产生的主观误差会累积进而影响后续的诊断步骤。

发明内容

为解决上述问题，本发明提供了一种基于时阈聚焦图网络的NAFLD超声视频分类方法。

本发明采用以下技术方案：

一种基于时阈聚焦图网络的NAFLD超声视频分类方法，包括以下步骤：

S1、将一段肝脏超声视频输入时阈聚焦图网络，所述时阈聚焦图网络由三个子网络组成，分别是特征提取网络、局部连接时阈图网络和全局连接时阈图网络，所述特征提取网络对每一帧进行编码，得到整个视频的特征向量序列F；

S2、局部连接时阈图网络构建稀疏图并判定每一帧属于NAFLD的分类概率p；

S3、全局连接时阈图网络构建稠密图并判定每一帧对最终视频分类的重要性程度a；

S4、结合步骤S2所述的分类概率p和步骤S3所述的重要性程度a，计算最终视频整体的分类概率

从而判断是否患有NAFLD；

S5、计算损失函数，优化分类结果，所述损失函数由二进制交叉熵损失和区间聚焦损失两部分组成。

进一步地，步骤S1具体为：给定一段肝脏超声视频V＝{I_t|t＝1,2,...T}，其中，I_t表示视频中的第t帧，T表示视频长度，经过特征提取网络对每一帧进行编码，得到整个视频的特征向量序列F＝{F_t|t＝1,2,...T}，其中F_t表示视频中第t帧对应的特征向量。

进一步地，所述步骤S2中的所述局部连接时阈图网络基于所述特征提取网络获得的特征向量序列F＝{F_t|t＝1,2,...T}，构建稀疏图G_cls＝(V_cls,E_cls,F_t)，其中，V和E分别表示结点与边的集合，特别地，稀疏图的邻接矩阵定义如下：

其中，元素

表示第i帧与第j帧之间的关联性，即边的权重，帧之间的距离越近，关联性越高，反之越低，r表示连接所连接的帧之间的最长距离，仅距离小于r的帧之间存在相连的边，对上述的邻接矩阵进行归一化处理如下：

其中，I∈R^T×T是一个单位矩阵，用于建立自连接，而

代表对应的度矩阵，再经过两个图卷积层与激活函数之后，最终得到概率分布如下：

其中，

和

是可训练的参数矩阵，σ表示sigmoid函数。

进一步地，所述步骤S3中的所述全局连接时阈图图网络基于所述特征提取网络获得的特征向量序列F＝{F_t|t＝1,2,...T}，构建稠密图G_att＝(V_att,E_att,F_t)，其中，V和E分别表示结点与边的集合，特别地，稠密图的邻接矩阵定义如下：

其中，元素

表示第i帧与第j帧之间的关联性，即边的权重，帧之间的距离越近，关联性越高，反之越低，r表示连接所连接的帧之间的最长距离，仅距离小于r的帧之间存在相连的边，对上述的邻接矩阵进行归一化处理如下：

其中，I∈R^T×T是一个单位矩阵，用于建立自连接，而

代表对应的度矩阵，再经过两个图卷积层与激活函数之后，最终得到概率分布如下：

其中，

和

是可训练的参数矩阵，σ表示sigmoid函数。

进一步地，所述步骤S4中最终视频整体的分类概率可表示如下：

进一步地，所述步骤5中的损失函数的数学表达式如下：L＝L_BCE+λ₁×L_IFL,其中，L_BCE表示二进制交叉熵损失，L_IFL表示区间聚焦损失，λ₁是控制二进制交叉熵损失和区间聚焦损失之间相对重要性的比例因子。

进一步地，所述λ₁设为1。

进一步地，所述二进制交叉熵损失的计算如下：

其中，

和y分别表示各个视频的预测概率与真实值，N表示训练集中的视频数。

进一步地，所述区间聚焦损失计算如下：

L_IFL＝L_sparsity+λ₂L_continuity

其中，λ₂是控制稀疏性和连续性之间相对重要性的比例因子，用于微调稀疏性与连续性的不同影响；具体的，

进一步地，所述λ₂设为5。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明的NAFLD超声视频诊断方法是直接对超声视频进行诊断分类，无需提取关键帧，省去了传统的人工提取关键帧所需消耗的大量时间，该方法通过建立局部连接时阈图网络与全连接时阈图网络分别用于分类与注意力相关特征的提取，充分利用了视频数据的上下文信息辅助NAFLD的诊断，大大提高了诊断的效率；同时又进一步引入区间聚焦损失约束注意力的分布情况，提高了注意力的可靠性；为NAFLD的自动诊断提供了一种高效、准确的方法。

附图说明

图1为本发明NAFLD超声视频诊断方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，一种基于时阈聚焦图网络的NAFLD超声视频分类方法，包括以下步骤：

S1、将一段肝脏超声视频输入时阈聚焦图网络，所述时阈聚焦图网络由三个子网络组成，分别是特征提取网络、局部连接时阈图网络和全局连接时阈图网络，所述特征提取网络对每一帧进行编码，得到整个视频的特征向量序列F；

S2、局部连接时阈图网络构建稀疏图并判定每一帧属于NAFLD的分类概率p；

在这里，局部连接时阈图网络构建了一张稀疏图用于判定每一帧属于NAFLD的概率，为最终的视频终端提供了图像层级的细粒度参考。详细地，LTGN将整个视频视为一张图，其中，每一帧的特征向量对应于图中的结点。帧与帧之间根据时间上的位置相互连接，通过消息传递机制捕获上下文信息进行分类。LTGN中仅使用了局部连接，即只有在时间位置上较为接近的帧之间才存在边，其主要原因是对于某一关键帧的诊断，启发性信息仅存在于附近的其它关键帧上，而与远距离的无用帧无关。构建好图之后，LTGN使用两个图卷积层整合每一帧邻域内的信息，以此将上下文信息融合进当前帧的特征表示中，提高了特征的表达性。最后，由激活层使用sigmoid函数对输出进行归一化，得到每一帧属于NAFLD的概率。

S3、全局连接时阈图网络构建稠密图并判定每一帧对最终视频分类的重要性程度a；

在这里，全局连接时阈图网络构建了一张稠密图用于判定每一帧对最终视频分类的重要程度。与LTGN类似，FTGN将整个视频视为一张图，其中每一帧对应的特征向量视为图中的结点。不同的是，FTGN采取了全连接的策略，即任意两帧之间均存在连接的边。其主要原因是对于某一帧的重要程度判断，即使是在距离较远的无用帧中也存在相关的纹理结构信息提示关键帧的位置。然后，同样由两层的图卷积层对邻居结点的信息进行整合，最终由sigmoid函数对输出进行标准化。

S4、结合步骤S2所述的分类概率p和步骤S3所述的重要性程度a，计算最终视频整体的分类概率

从而判断是否患有NAFLD；

S5、计算损失函数，优化分类结果，所述损失函数由二进制交叉熵损失和区间聚焦损失两部分组成。

所述步骤5中的损失函数的数学表达式如下：L＝L_BCE+λ₁×L_IFL,其中，L_BCE表示二进制交叉熵损失，L_IFL表示区间聚焦损失，λ₁是控制二进制交叉熵损失和区间聚焦损失之间相对重要性的比例因子，这里将λ₁设为1。

所述二进制交叉熵损失的计算如下：

其中，

和y分别表示各个视频的预测概率与真实值，N表示训练集中的视频数，区间聚焦损失计算如下：

L_IFL＝L_sparsity+λ₂L_continuity

其中，λ₂是控制稀疏性和连续性之间相对重要性的比例因子，用于微调稀疏性与连续性的不同影响，这里λ₂设为5；具体的，

上述二进制交叉熵损失用于衡量最终的预测值与真实值之间的差异，联合优化时阈聚焦图网络的各个模块；而时阈聚焦损失则用于约束注意力分布的稀疏性与连续性，主要优化注意力模块，增强注意力的可靠性。

本实施例的时域聚焦图网络使用的数据集由来自148个受试者的肝脏超声视频组成，其中74段视频来自NAFLD患者，另外74段视频属于正常样本。为了避免冗余与计算成本，我们对每个视频以5帧为间隔进行稀疏采样。然后，我们在原始分辨率为800*600的图像上于中心区域裁剪512*512大小的部分，以排除边缘的无关信息，随后再放缩至224*224。

通过上述对模型的训练与测试，本实施例的方法获得了86.49％的准确率，86.49％的特异性和86.49％的敏感性，证明了本实施例方法的有效性与优越性。

此外，我们还将本实施例与现有的基于关键帧的NAFLD诊断方法CNN+SVM和CNN进行比较，得到如下表1的结果：

表1时域聚焦图网络与其他网络的比较

从上表可以看出，相较于表现最好的基于关键帧的NAFLD诊断方法CNN，本实施例的方法在准确率、特异性、敏感性和AUC值上分别提升了3.38％，5.48％，1.35％和2.79％，提升效果十分显著，说明了视频数据中的上下文信息对于NAFLD的重要促进作用，更体现了本实施例的方法作为无需人为提取关键帧的全自动方法，表现出的性能与效率上的巨大优越性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：包括以下步骤：

S1、将一段肝脏超声视频输入时阈聚焦图网络，所述时阈聚焦图网络由三个子网络组成，分别是特征提取网络、局部连接时阈图网络和全局连接时阈图网络，所述特征提取网络对每一帧进行编码，得到整个视频的特征向量序列F；

S2、局部连接时阈图网络构建稀疏图并判定每一帧属于NAFLD的分类概率p；

S3、全局连接时阈图网络构建稠密图并判定每一帧对最终视频分类的重要性程度a；

S4、结合步骤S2所述的分类概率p和步骤S3所述的重要性程度a，计算最终视频整体的分类概率

所述步骤S4中最终视频整体的分类概率可表示如下：

S5、计算损失函数，优化分类结果，所述损失函数由二进制交叉熵损失和区间聚焦损失两部分组成。

2.如权利要求1所述的一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：步骤S1具体为：给定一段肝脏超声视频V＝{I_t|t＝1,2,...T}，其中，I_t表示视频中的第t帧，T表示视频长度，经过特征提取网络对每一帧进行编码，得到整个视频的特征向量序列F＝{F_t|t＝1,2,...T}，其中F_t表示视频中第t帧对应的特征向量。

3.如权利要求2所述的一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：所述步骤S2中的所述局部连接时阈图网络基于所述特征提取网络获得的特征向量序列F＝{F_t|t＝1,2,...T}，构建稀疏图G_cls＝(V_cls,E_cls,F_t)，其中，V和E分别表示结点的集合与边的集合，稀疏图的邻接矩阵定义如下：

其中，元素

表示第i帧与第j帧之间的关联性，即边的权重，帧之间的距离越近，关联性越高，反之越低，r表示连接所连接的帧之间的最长距离，仅距离小于r的帧之间存在相连的边，对上述的邻接矩阵进行归一化处理如下：

其中，I∈R^T×T是一个单位矩阵，用于建立自连接，而

代表对应的度矩阵，再经过两个图卷积层与激活函数之后，最终得到概率分布如下：

其中，

和

是可训练的参数矩阵，σ表示sigmoid函数。

4.如权利要求3所述的一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：所述步骤S3中的所述全局连接时阈图网络基于所述特征提取网络获得的特征向量序列F＝{F_t|t＝1,2,...T}，构建稠密图G_att＝(V_att,E_att,F_t)，其中，V和E分别表示结点的集合与边的集合，稠密图的邻接矩阵定义如下：

其中，元素

表示第i帧与第j帧之间的关联性，即边的权重，帧之间的距离越近，关联性越高，反之越低，r表示连接所连接的帧之间的最长距离，仅距离小于r的帧之间存在相连的边，对上述的邻接矩阵进行归一化处理如下：

其中，I∈R^T×T是一个单位矩阵，用于建立自连接，而

代表对应的度矩阵，再经过两个图卷积层与激活函数之后，最终得到概率分布如下：

其中，

和

是可训练的参数矩阵，σ表示sigmoid函数。

5.如权利要求4所述的一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：所述步骤5中的损失函数的数学表达式如下：L＝L_BCE+λ₁×L_IFL,其中，L_BCE表示二进制交叉熵损失，L_IFL表示区间聚焦损失，λ₁是控制二进制交叉熵损失和区间聚焦损失之间相对重要性的比例因子。

6.如权利要求5所述的一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：所述λ₁设为1。

7.如权利要求1或6所述的一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：所述二进制交叉熵损失的计算如下：

其中，

和y分别表示各个视频的预测概率与真实值，N表示训练集中的视频数。

8.如权利要求1或6所述的一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：所述区间聚焦损失计算如下：

L_IFL＝L_sparsity+λ₂L_continuity

其中，λ₂是控制稀疏性和连续性之间相对重要性的比例因子，用于微调稀疏性与连续性的不同影响；具体的，

9.如权利要求8所述的一种基于时阈聚焦图网络的NAFLD超声视频分类方法，其特征在于：所述λ₂设为5。

Images