CN115578589B - 一种无监督超声心动图切面识别方法 - Google Patents

Abstract

本发明公开了一种无监督超声心动图切面识别方法，方法包括以下步骤：获取超声心动图不同切面图像作为数据集；对数据集每一批次图像随机变换获取两倍图像；每对图像编码为特征向量，特征向量经过全连接网络后的投影向量用于计算对比损失；利用每对向量与同批次其他向量计算相似度，利用softmax函数计算两个图像相似的概率；利用少部分有标签图像微调编码器的参数达到更高性能，将超声心动图切面图像输入到训练好的模型中得到分类结果和置信度。本发明无监督对比学习的方法不需要或者仅需要极少量人工参与，同时拥有与有监督网络类似的性能，大大减少超声心动图切面识别的工作量。

Description

一种无监督超声心动图切面识别方法

技术领域

本发明属于检测技术领域，尤其涉及一种无监督超声心动图切面识别方法。

背景技术

作为人类健康的一个重要威胁，随着人们生活习惯改变，心脏类疾病的发病率正在朝年轻化发展。这种疾病早期症状不明显，因此，对心脏类疾病早期诊断和治疗非常重要。近年来，人工智能技术飞速发展，计算机视觉在医学影像领域大放异彩，成为一种辅助诊断的重要工具。

超声心动图可以提供大量有用的信息，包括心脏的大小和形状，功能。在临床诊断过程中，医生需要针对特定部位切面进行参数测量，且目前主流的人工智能模型需要大量标注信息，这类标注工作费时费力，占据了大量宝贵的时间。

发明内容

有鉴于此，针对目前人工技术识别超声心动图切面的缺陷，本发明提出了一种无监督超声心动图切面识别方法。

本发明公开的一种无监督超声心动图切面识别方法，包括以下步骤：

S110：获取超声心动图切面数据，所述切面数据包括不同切面图像和部分标注标签信息，将所有切面图像随机打乱并划分为训练集、验证集和测试集；

S120：利用数据增强方法将S110中的图像随机数据扩增采样，降低网络对目标位置和色彩的敏感度，得到全局到局部视图或相邻视图，所述数据增强方法包括：随机区域裁剪、颜色失真和高斯模糊；

S130：利用LGViT作为主干特征提取网络对每批次图像编码，得到编码后的特征向量，利用全连接网络辅助训练，得到投影向量用于计算对比损失；

S140：利用余弦相似度量化两个图像的相似能力，计算每对向量与同批次其他向量余弦相似度，使用softmax函数计算两个图像相似的概率，该批次中所有剩余图像均作为负对，利用对数的负值计算归一化温度标度的交叉熵损耗以及图像位置互换的损耗并取平均值，不断迭代优化网络；

S150：利用少部分有标签图像微调编码器的参数，所述编码器随着训练轮次提高，使得相似图像在空间中有更近的位置；将超声心动图切面图像输入到训练好的模型中得到分类结果和置信度。

进一步的，所述主干特征提取网络LGViT包括下采样模块和局部-全局建模模块；原始图像经过下采样模块后，每个局部-全局建模模块重复n次组成LGViT，最后输出编码向量；

所述局部-全局建模模块，利用Transformer将卷积中的局部建模模块替换为全局建模模块，从不同角度学习全局特征表示。首先利用n*n卷积学习输入特征的局部空间信息，利用1*1卷积将特征映射到高维空间；然后，将上述输出特征按patch展开，利用Transformer编码不同patch之间的关系，编码后的特征X_G还原为展开前的大小，利用逐点卷积投影到低维空间与输入特征堆叠；最后利用n*n卷积融合特征层之间的局部和全局特征；

所述多分支卷积组合模块，跨通道将4组不同大小卷积核卷积层输出的特征层堆叠，拓展网络的宽度和网络对不同尺度特征的感受野；

所述卷积分解模块包括小卷积和非对称卷积，将所述多分支卷积中大卷积核n*n卷积层经过1*1卷积后分解为1*n卷积和n*1卷积，构成IV3 block；

所述下采样模块，利用3*3卷积和最大池化将输入图片由229*229*3下采样为35*35*256，作为IV3 block的输入层。

进一步的，利用余弦相似度量化两个图像的相似能力，计算每一批扩增图像之间的余弦相似度，并利用可调温度参数τ缩放输入并扩大余弦相似度的范围：

其中Zi，Zj分别为两幅图像的投影向量。

进一步的，利用softmax函数,计算某一对图像与其余图像对相似的概率,该批次其余图像作为不相似图像采样：

其中similarity(a，b)和similarity(a，c)分别代表图像a、b之间和图像a、c之间的余弦相似度；

对所述归一化温度标度的交叉熵损耗计算一对图像和图像位置互换的损耗：

对所述损耗计算平均值，并优化损失：

其中i，j分别为一对图像，k为位置互换图像，N为批次大小，l为损耗，λ||w||₁为L1正则化项。

进一步的，所述编码器输出特征图加上辅助分类器，利用部分带有标签的超声心动图进行训练微调编码器参数，用于识别其他未标注的心脏切面。

进一步的，切面类别包括：主动脉弓切面、剑下双房心切面、心尖两腔心切面、心尖三腔心切面、心尖四腔心切面、心尖五腔心切面、左室长轴切面、左室长轴右室流入道切面、右室流出道切面、左室短轴切面、主动脉瓣短轴切面和剑下四腔心切面。

本发明的有益效果如下：

本发明利用归一化温度标度的交叉熵损耗，不断拉近来同一张图像的两个增强图像的潜在距离，不断拉远来自不同图像的潜在距离；本发明提供的LGViT利用自注意力模块获取全局和局部的空间信息，拥有全局的感受野。本发明的检测准确率超越了VGG、ResNet家族、Inception家族等主流有监督分类模型，通过对比学习的方式自动识别图像潜在的泛化特征，不需要大量标注的图像学习不同类别切面特征，仅需要极少量标注切面图像就可以通过网络迁移，自动识别图像对比潜在的相似特征来区分不同切面，实现高性能超声心动图切面识别任务，为目前的网络识别切面类别减少大量重复的标注工作量，拥有与有监督网络类似的性能，为医生诊断提供精确的辅助。

附图说明

图1本发明的无监督超声心动图切面识别的网络结构图；

图2本发明的无监督超声心动图切面识别方法流程图；

图3为使用LGViT作为编码器的网络结构图；

图4为LGViT block的结构图；

图5为IV3 block的结构图；

图6为使用不同编码器的识别准确率曲线图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

本发明实施例采用下述技术方案：

S110：获取超声心动图切面数据，所述切面数据包括不同切面图像和部分标注标签信息，切面类别包括主动脉弓切面、剑下双房心切面、心尖两腔心切面、心尖三腔心切面、心尖四腔心切面、心尖五腔心切面、左室长轴切面、左室长轴右室流入道切面、右室流出道切面、左室短轴切面、主动脉瓣短轴切面和剑下四腔心切面等12种切面类型，将所有切面图像随机打乱并划分为训练集、验证集和测试集；

S120：数据增强方法包括：随机区域裁剪(翻转和缩放)、颜色失真和高斯模糊等，得到全局到局部视图或相邻视图。利用所述方法将S110中的图像随机数据扩增采样，降低网络对目标位置和色彩的敏感度。

S130：优选的，利用LGViT作为主干特征提取网络对每批次图像编码，得到编码后的特征向量，利用全连接网络辅助训练，得到投影向量用于计算对比损失；编码器输出特征图加上辅助分类器，利用部分带有标签的超声心动图进行训练微调编码器参数，用于识别其他未标注的心脏切面。

主干特征提取网络LGViT包括多分支卷积组合模块、卷积分解模块和局部-全局建模模块；多分支卷积组合模块IV3在原始图像经过下采样后每个module重复n次组成IV3，最后输出编码向量，本发明使用LGViT作为编码器，它由下采样模块、IV3和LGViT block构成；

多分支卷积组合模块IV3，跨通道将4组不同大小卷积核卷积层输出的特征层堆叠，拓展网络的宽度和网络对不同尺度特征的感受野；

所述卷积分解模块包括小卷积和非对称卷积，将所述多分支卷积中大卷积核n*n卷积层经过1*1卷积后分解为1*n卷积和n*1卷积，构成所述IV3block；

所述下采样模块，利用3*3卷积和最大池化将输入图片由229*229*3下采样为35*35*256，作为LGViT的下采样层；

所述LGViT block，利用Transformer将卷积中的局部建模模块替换为全局建模模块，从不同角度学习全局特征表示。首先利用n*n卷积学习输入特征的局部空间信息，利用1*1卷积将特征映射到高维空间；然后，将上述输出特征按patch展开，利用Transformer编码不同patch之间的关系：

X_G(f)＝Transformer(X_Unfolder(f))

编码后的特征X_G还原为展开前的大小，利用逐点卷积投影到低维空间与输入特征堆叠；最后利用n*n卷积融合特征层之间的局部和全局特征；

S140：利用余弦相似度量化两个图像的相似能力，利用所述方法计算每对向量与同批次其他向量余弦相似度，softmax函数计算两个图像相似的概率，该批次中所有剩余图像均作为负对，利用所述对数的负值计算归一化温度标度的交叉熵损耗以及图像位置互换的损耗并取平均值，不断迭代优化网络；

利用余弦相似度量化两个图像的相似能力，计算每一批扩增图像之间的余弦相似度，并利用可调温度参数τ缩放输入并扩大余弦相似度的范围：

其中Zi，Zj分别为两幅图像。

利用softmax函数,计算某一对图像与其余图像对相似的概率,该批次其余图像作为不相似图像采样：

其中similarity(a，b)和similarity(a，c)分别代表图像a、b之间和图像a、c之间的余弦相似度；

对所述归一化温度标度的交叉熵损耗计算一对图像和图像位置互换的损耗：

对所述损耗计算平均值，并优化损失：

其中i，j分别为一对图像，k为位置互换图像，N为批次大小，l为损耗，λ||w||₁为L1正则化项，L1正则化产生稀疏权值矩阵，用于特征选择，选择出关键的少数特征，加快模型的训练过程。

S150：利用少部分有标签图像微调编码器的参数达到更高性能，所述编码器的性能随着训练轮次提高，相似的图像在空间中有更近的位置。超声心动图切面图像输入到训练好的模型中得到分类结果和置信度。

作为一种优选，在无监督超声心动图切面分类模型中，无监督深度学习模型包括数据获取模块、图像编码模块和对比损失模块；

其中，在数据获取模块中，将原始超声图像进行数据增强，其中包括随机区域裁剪、颜色失真和高斯模糊等，增强后的成对229*229*3图像加载到数据加载器中获取每批次图像；

在图像编码模块中，将增强后的每对图像经过LGViT网络编码输出特征层，获得全局和局部的特征表示；IV3利用4个不同的卷积核尺寸分支，可以有效地识别不同尺度的特征；大量使用1*1卷积，有效提高了网络计算资源的利用率，相比于其他网络，在计算量不变的情况下，这种多分支结构提高了网络的宽度和深度，能够捕获更多尺度特征。

其中，输入图像229*229*3经过下采样模块降维为35*35*192，减少网络参数量，得到的特征图依次经过IV3和LGViT block获得更高语义信息，依次经过3层block，每层block的数量分别为3、5、2，最后输出8*8*1280的特征向量；

在对比损失模块中，利用归一化温度标度的交叉熵损耗将非相似图像图像距离最大化计算对比损失。

一种无监督超声心动图切面识别方法，用于识别未标注的切面图像。

本发明提供的网络模型和方法可以轻易应用于其下游任务，包括但不限于心动图切面检测、分割等任务，本实施例对此不作限制。

本发明利用ResNet18、ResNet50、EfficientNet和本发明提供的LGViT等网络模型设计编码器，并进行广泛的实验，结果如附图6所示，使用ResNet18、ResNet50和EfficientNet并使用全连接网络的有监督分类器的识别准确率分别为64.8％、74.6％、75.6％和89.3％。结果表明，本发明通过对切面数据集自监督对比学习，实现最大化同一图像的不同变换视图之间的一致性以及最小化不同图像的变换视图之间的一致性来学习通用表示，相比直接使用线性分类器的有监督方法，本发明实现下游任务更优异的性能。

此外，主流VGG、ResNet家族、Inceptuin家族等有监督分类模型利用带有大量人工标注标签的数据集进行训练，不但花费成本高昂的人工标注成本，而且泛化能力差，这类有监督的学习过度关注物体的局部区域，丢失了很多非标注区域的重要信息，不利于迁移到下游任务中。本公开是一种通过区分不同实例进行无监督对比学习的方法，在训练时将当前实例的特征与其他实例拉远，同时拉近当前实例不同变换(比如裁剪和平移)的特征表示。通过对比学习的方式自动识别图像潜在的泛化特征，不需要大量标注的图像，仅需要极少量标注切面图像就可以通过网络迁移实现高性能超声心动图切面识别任务。

本发明的有益效果如下：

本发明不需要大量标注图像学习不同类别切面特征，而是自动识别图像对比潜在的相似特征来区分不同切面；为目前的网络识别切面类别减少大量重复的标注工作量，拥有与有监督网络类似的性能，为医生诊断提供精确的辅助。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种无监督超声心动图切面识别方法，其特征在于，包括以下步骤：

S110：获取超声心动图切面数据，所述切面数据包括不同切面图像和部分标注标签信息，将所有切面图像随机打乱并划分为训练集、验证集和测试集；

S120：利用数据增强方法将S110中的图像随机数据扩增采样，降低网络对目标位置和色彩的敏感度，得到全局到局部视图或相邻视图，所述数据增强方法包括：随机区域裁剪、颜色失真和高斯模糊；

S130：利用LGViT作为主干特征提取网络对每批次图像编码，得到编码后的特征向量，利用全连接网络辅助训练，得到投影向量用于计算对比损失；

S140：利用余弦相似度量化两个图像的相似能力，计算每对向量与同批次其他向量余弦相似度，使用softmax函数计算两个图像相似的概率，该批次中所有剩余图像均作为负对，利用对数的负值计算归一化温度标度的交叉熵损耗以及图像位置互换的损耗并取平均值，不断迭代优化网络；

S150：利用少部分有标签图像微调编码器的参数，所述编码器随着训练轮次提高，使得相似图像在空间中有更近的位置；将超声心动图切面图像输入到训练好的模型中得到分类结果和置信度；

所述主干特征提取网络LGViT包括下采样模块、局部-全局建模模块和多分支卷积组合模块；原始图像经过下采样模块后，每个局部-全局建模模块重复n次组成LGViT网络，最后输出编码向量；

所述局部-全局建模模块，利用Transformer将卷积中的局部建模模块替换为全局建模模块，从不同角度学习全局特征表示：首先利用n*n卷积学习输入特征的局部空间信息，利用1*1卷积将特征映射到高维空间；利用Transformer编码不同patch之间的关系，编码后的特征还原为展开前的大小，利用逐点卷积投影到低维空间与输入特征堆叠；最后利用n*n卷积融合特征层之间的局部和全局特征；

所述多分支卷积组合模块，跨通道将4组不同大小卷积核卷积层输出的特征层堆叠，利用卷积分解模块减少参数量，拓展网络的宽度和网络对不同尺度特征的感受野；

所述卷积分解模块包括小卷积和非对称卷积，将所述多分支卷积中大卷积核n*n卷积层经过1*1卷积后分解为1*n卷积和n*1卷积，构成IV3block；

所述下采样模块，利用3*3卷积和最大池化将输入图片由229*229*3下采样为35*35*256，作为IV3block的输入层；

利用softmax函数,计算某一对图像与其余图像对相似的概率,该批次其余图像作为不相似图像采样，

对所述归一化温度标度的交叉熵损耗计算一对图像和图像位置互换的损耗：

对所述损耗计算平均值，并优化损失：

其中i，j分别为一对图像，k为位置互换图像，N为批次大小，l为损耗，λ||w||₁为L1正则化项。

2.根据权利要求1所述的无监督超声心动图切面识别方法，其特征在于，利用余弦相似度量化两个图像的相似能力，计算每一批扩增图像之间的余弦相似度，并利用可调温度参数τ缩放输入并扩大余弦相似度的范围：

其中Zi，Zj分别为两幅图像。

3.根据权利要求1所述的无监督超声心动图切面识别方法，其特征在于，所述编码器输出特征图加上辅助分类器，利用部分带有标签的超声心动图进行训练微调编码器参数，用于识别其他未标注的心脏切面。

4.根据权利要求1所述的无监督超声心动图切面识别方法，其特征在于，切面类别包括：主动脉弓切面、剑下双房心切面、心尖两腔心切面、心尖三腔心切面、心尖四腔心切面、心尖五腔心切面、左室长轴切面、左室长轴右室流入道切面、右室流出道切面、左室短轴切面、主动脉瓣短轴切面和剑下四腔心切面。