CN116452899A - 一种基于深度学习的超声心动图标准切面识别及评分方法 - Google Patents
一种基于深度学习的超声心动图标准切面识别及评分方法 Download PDFInfo
- Publication number
- CN116452899A CN116452899A CN202310732388.3A CN202310732388A CN116452899A CN 116452899 A CN116452899 A CN 116452899A CN 202310732388 A CN202310732388 A CN 202310732388A CN 116452899 A CN116452899 A CN 116452899A
- Authority
- CN
- China
- Prior art keywords
- standard
- scoring
- image
- echocardiographic
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000013077 scoring method Methods 0.000 title claims abstract description 16
- 238000002592 echocardiography Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 230000000747 cardiac effect Effects 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003908 quality control method Methods 0.000 abstract description 8
- 238000011156 evaluation Methods 0.000 abstract description 6
- 238000002604 ultrasonography Methods 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract 1
- 238000007689 inspection Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000013155 cardiography Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的超声心动图标准切面识别及评分方法，属于图像识别技术领域，包括以下步骤，建立标准图像切面分类数据集，构建超声心动图标准切面识别模型，并建立超声心动图标准切面自动分类识别神经网络；根据标准图像切面分类数据集，建立超声心动图标准切面图像质量评分标注数据集，构建超声心动图标准切面图像质量评分模型，并建立超声心动图标准切面图像质量自动评分神经网络；通过超声心动图标准切面自动分类识别神经网络以及超声心动图标准切面图像质量自动评分神经网络，得到超声心动图标准切面的图像分类以及已分类图像的质量评分，解决了当前超声医学质控过程中图像切面识别和图像质量评分主要依赖人工评价的问题。
Description
技术领域
本发明属于图像识别技术领域，具体涉及一种基于深度学习的超声心动图标准切面识别及评分方法。
背景技术
超声心动图标准切面图像留存的完整性及超声心动图图像质量的评价，是超声心动图质量控制的重要环节。传统的超声心动图标准切面留存完整性和图像质量的评判，主要依赖人工手段进行识别统计。这种传统方式存在以下主要问题：（1）人工识图、质量评价与统计相当耗时，并且容易出现错误；（2）人工识图、质量评价与统计无法用于实时诊断过程，存图遗漏问题无法及时弥补。
随着深度学习在图像领域方面的应用，通过大量数据的学习训练，可以建立图像自动识别及图像质量自动评分方法。但是由于超声心动图标准切面图像众多，并且图像特征易受心动周期的变化而影响，因此常规的深度学习模型无法满足超声心动图标准切面实时自动识别及图像质量自动评分需求。
发明内容
本发明提供了一种基于深度学习的超声心动图标准切面识别及评分方法，解决了当前超声医学质控过程中图像切面识别和图像质量评分主要依赖人工评价的问题。
为了解决上述技术问题，本发明的技术方案为：基于深度学习的超声心动图标准切面识别及评分方法，包括以下步骤：
S1、根据超声心动图标准切面数据，对图像进行分类标注，建立标准图像切面分类数据集；
S2、构建超声心动图标准切面识别模型；
S3、利用标准图像切面分类数据集对超声心动图标准切面识别模型进行训练，得到超声心动图标准切面自动分类识别神经网络；
S4、根据标准图像切面分类数据集，对每个图像进行评分标注，建立超声心动图标准切面图像质量评分标注数据集；
S5、构建超声心动图标准切面图像质量评分模型；
S6、利用超声心动图标准切面图像质量评分标注数据集对超声心动图标准切面图像质量评分模型进行训练，得到超声心动图标准切面图像质量自动评分神经网络；
S7、将超声心动图检查过程中实时图像发送至超声心动图标准切面自动分类识别神经网络，进行图像分类，将已分类的图像发送至超声心动图标准切面图像质量自动评分神经网络，得到超声心动图标准切面图像质量的评分。
本发明的有益效果是：利用标准图像切面分类数据集，对传统分类识别网络进行改进，引入轻量级骨干网络，提高图像识别算法的实时性，便于超声心动图检查过程中对标准图像切面进行精确识别，减少延迟性误差。通过对图像数据的精细化评分标注，建立超声心动图标准切面图像质量评分标注数据集，实现对超声心动图标准切面图像质量评分模型的建立，与传统的图像质量分级分类相比，更加精确，解决了当前超声医学质控过程中图像切面识别和图像质量评分主要依赖人工评价的问题。
进一步地，所述S2包括以下步骤：
S21、选择高效网络EfficientNetV2作为主干网络，根据主干网络提取特征，得到不同尺度的四层特征；
S22、将提取的四层特征通过特征金字塔网络FPN进行融合，得到融合后的特征；
S23、将融合后的特征输入至弱监督特征选择器WSS中，得到筛选后的特征；
S24、选择图卷积特征融合器GCNC，对筛选后的特征进行特征融合，得到图卷积特征融合器GCNC的输出特征，完成对超声心动图标准切面识别模型的构建。
上述进一步方案的有益效果为：本发明中使用特征金字塔网络FPN，获取EfficientNetV2主干网络前向传播过程中生成的不同尺度的特征，将上层特征与下层特征融合，确保在有高解析度特征的同时有高语义特征，最终达到更准确的识别效果。而选择图卷积特征融合器GCNC作为筛选后的特征融合器，这种方法的优点是可以更有效地整合每个点的特征，而不会破坏骨干模型输出的结果。
进一步地，所述S21中主干网络的交叉熵损失函数为：
其中，表示预测样本的总数量，/>表示预测样本的类别数量，/>表示预测样本/>是否属于预测样本的类别/>，/>表示预测样本/>属于预测样本的类别/>的概率，/>表示对/>取对数。
上述进一步方案的有益效果为：交叉熵损失函数是用来衡量模型预测结果与真实标签之间的差异。在训练过程中，不断优化超声心动图标准切面识别模型的参数，使得交叉熵损失函数的值尽可能小，从而使得超声心动图标准切面识别模型预测结果更加接近真实标签，提高了超声心动图标准切面识别模型的识别准确率。
进一步地，所述S22中融合后的特征表示为：
其中，表示融合后的特征，/>，/>表示/>是集合/>中的元素，/>表示第/>层的特征图，/>表示第/>层特征图的通道数，/>表示第/>层特征图的高度，表示第/>层特征图的宽度，/>。
进一步地，所述S23中所述筛选后的特征表示为：
其中，表示筛选后的特征，/>，/>表示目标类别的数量，/>表示第/>层特征图的高度，/>表示第/>层特征图的宽度，/>。
进一步地，所述S5包括以下步骤：
S51、使用具有多维注意力机制的视觉Transformer网络ViT作为特征提取的主干网络；
S52、选择视觉Transformer网络ViT网络中的后四层特征图，并将后四层特征图进行连接；
S53、将已连接的特征图输入转置注意力机制模块TAB中，计算不同通道之间的权重；
S54、将已连接的特征图通过多尺度Transformer模块SSTB，计算不同投影块之间的分数；
S55、将S53得到的权重输入至权重分支，预测每个投影块的对应权重，并将S54得到的分数输入至评分分支，预测每个投影块的对应得分；
S56、将权重分支与评分分支通过Hadamard积进行计算，完成对超声心动图标准切面图像质量评分模型的构建。
上述进一步方案的有益效果为：选择视觉Transformer网络ViT网络中的后四层特征图并将它们连接在一起，这样能够获取最终的特征表示，以便进一步的处理。转置注意力机制模块TAB使用了一种名为跨通道注意力机制的算法，它能够通过计算通道间的交叉协方差来生成一个注意图该注意图能够捕捉到不同通道之间的联系，从而提高模型的准确率。
进一步地，所述S53中转置注意力机制模块TAB计算公式为：
其中，表示最终的注意力表示，/>表示线性投影矩阵，/>表示转置注意力机制模块TAB的输入和输出特征，/>表示查询向量，/>表示键向量，/>表示值向量，/>表示/>，/>和/>的空间维度，/>表示注意力表示。
综上所述，本发明能够实现图像切面实时识别以及实时识别时的图像质量实时评分全自动化，能够满足超声心动图检查对图像质量控制的实时需求，可以及时指导医生采集高质量的标准切面图像，有助于提高医生诊断水平。
附图说明
图1为本发明基于深度学习的超声心动图标准切面识别及评分方法的流程图。
图2为本发明超声心动图标准切面识别模型的示意图。
图3为本发明图卷积特征融合器GCNC的示意图。
图4为本发明超声心动图标准切面图像质量评分模型中的视觉Transformer网络ViT示意图。
图5为本发明超声心动图标准切面自动识别的混淆矩阵示意图。
图6为本发明心尖四腔心图像质量评价的误差分布直方图。
具体实施方式
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
实施例
如图1所示，本发明提供了一种基于深度学习的超声心动图标准切面识别及评分方法，包括以下步骤：
S1、根据超声心动图标准切面数据，对图像进行分类标注，建立标准图像切面分类数据集；
S2、构建超声心动图标准切面识别模型；
S3、利用标准图像切面分类数据集对超声心动图标准切面识别模型进行训练，得到超声心动图标准切面自动分类识别神经网络；
S4、根据标准图像切面分类数据集，对每个图像进行评分标注，建立超声心动图标准切面图像质量评分标注数据集；
S5、构建超声心动图标准切面图像质量评分模型；
S6、利用超声心动图标准切面图像质量评分标注数据集对超声心动图标准切面图像质量评分模型进行训练，得到超声心动图标准切面图像质量自动评分神经网络；
S7、将超声心动图检查过程中实时图像发送至超声心动图标准切面自动分类识别神经网络，进行图像分类，将已分类的图像发送至超声心动图标准切面图像质量自动评分神经网络，得到超声心动图标准切面图像质量的评分。
本实施例中，首先根据成人超声心动图检查指南，结合超声心动图检查图像留存完整性评价需求，收集大量的超声心动图标准切面数据，包含多种仪器设备的图像，按照50余种超声心动图检查图像类别，对图像进行分类标注，将图像的长边缩放到384像素，同时保持图像的纵横比，然后将图像填充为384×384像素，建立标准图像切面分类数据集，确保每个切面数据量不少于1万。
在标准图像切面分类数据集上使用随机翻转、高斯模糊和调整锐度等数据增强技术来扩充数据。使用SGD优化器，初始化最大学习率为，并采用余弦衰减作为衰减策略，衰减权重设置为/>。然后构建超声心动图标准切面识别模型，利用标准图像切面分类数据集对超声心动图标准切面识别模型进行训练，在训练期间，每个实验的最大批次均设置为50，并使用交叉熵损失函数作为Loss函数，得到超声心动图标准切面自动分类识别神经网络。
按照成人超声心动图检查指南和超声心动图检查动态图像实时质量控制需求，针对多个有实时图像质量控制需求的切面分别按照图像清晰度、结构完整性、位置、深度、增益等方面建立图像质量评分标准，并将标准图像切面分类数据集中的每一帧图像质量按照1-5分五个等级进行分类，再按照5分对应100分，4分对应80-99分，3分对应60-79分，2分对应30-59分，1分对应0-29分，对每帧图像进行0-100分制分值标注，建立起超声心动图标准切面图像质量评分标注数据集。然后构建超声心动图标准切面图像质量评分模型，利用超声心动图标准切面图像质量评分标注数据集对超声心动图标准切面图像质量评分模型进行训练，得到超声心动图标准切面图像质量自动评分神经网络。最后，将超声心动图检查过程中实时图像发送至超声心动图标准切面自动分类识别神经网络，进行图像分类，并将已分类的图像发送至超声心动图标准切面图像质量自动评分神经网络，得到超声心动图标准切面图像质量的评分。
所述S2包括以下步骤：
S21、选择高效网络EfficientNetV2作为主干网络，根据主干网络提取特征，得到不同尺度的四层特征；
S22、将提取的四层特征通过特征金字塔网络FPN进行融合，得到融合后的特征；
S23、将融合后的特征输入至弱监督特征选择器WSS中，得到筛选后的特征；
S24、选择图卷积特征融合器GCNC，对筛选后的特征进行特征融合，得到图卷积特征融合器GCNC的输出特征，完成对超声心动图标准切面识别模型的构建。
如图2所示，在本实施例中，为了实现特征融合，将图片输入至EfficientNetV2主干网络中，得到不同尺度的四层特征，分别为第四层特征、第五层特征、第六层特征以及第七层特征。然后在EfficientNetV2主干网络的基础上加入特征金字塔网络FPN，其中特征金字塔网络FPN获取EfficientNetV2主干网络前向传播过程中生成的不同尺度的四层特征，将这四层特征通过特征金字塔网络FPN中的卷积块进行融合，得到融合后的特征，确保在有高解析度特征的同时有高语义特征，最终达到更准确的识别效果。
卷积块后面的符号表示上下层特征之间的融合操作。在特征金字塔网络FPN中，自下而上，从第七层特征开始到第四层特征，每层特征都通过卷积块修正通道数并进行上采样操作后，与上一层特征融合，获取融合后的特征再送入弱监督特征选择器WSS中。而对位于最底层含有高语义信息的第七层特征，将其与第六层特征融合的同时，还将其直接送入到一个弱监督特征选择器WSS中。
同时，为了实现特征的筛选，将通过特征金字塔网络FPN进行融合后的特征输入到弱监督特征选择器WSS中，自动选择出对预测结果影响较大的特征部分，得到筛选后的特征。弱监督特征选择器WSS将融合后的每个特征通过一个全连接层来预测类别，通过softmax函数后得到的预测结果最高概率大于预设阈值时，这个融合后的特征被认为是对预测结果有帮助的特征，这些特征被保留并用于后续的图融合。反之，特征点被认为对图像分类的帮助较小，将不被保留到后续融合过程。为了完成最后的特征融合，如图2，选择图卷积特征融合器GCNC对筛选后的特征进行特征融合，得到图卷积特征融合器GCNC的输出特征，并通过输出特征得到最终的输出类别。
如图3所示，图卷积特征融合器GCNC将所有经过弱监督特征选择器WSS筛选后的特征点视为一个图结构，其中不同节点代表不同空间位置和尺度的特征，节点遍布在第一层、第二层到第M层中。图卷积特征融合器GCNC学习不同特征之间的关系，将第一层、第二层到第M层中各个筛选后的特征进行融合，通过池化层进行再次融合，最后对再次融合后的特征进行平均，并通过线性分类器。
所述S21中主干网络的交叉熵损失函数为：
其中，表示预测样本的总数量，/>表示预测样本的类别数量，/>表示预测样本/>是否属于预测样本的类别/>，/>表示预测样本/>属于预测样本的类别/>的概率，/>表示对/>取对数。
本实施例中，的取值为0或1，当预测样本/>属于预测样本的类别/>时，/>的取值为1，当预测样本/>不属于预测样本的类别/>时，/>的取值为0。
所述S22中融合后的特征表示为：
其中，表示融合后的特征，/>，/>表示/>是集合/>中的元素，/>表示第/>层的特征图，/>表示第/>层特征图的通道数，/>表示第/>层特征图的高度，表示第/>层特征图的宽度，/>。
所述S23中所述筛选后的特征表示为：
其中，表示筛选后的特征，/>，/>表示目标类别的数量，/>表示第/>层特征图的高度，/>表示第/>层特征图的宽度，/>。
所述S5包括以下步骤：
S51、使用具有多维注意力机制的视觉Transformer网络ViT作为特征提取的主干网络；
S52、选择视觉Transformer网络ViT网络中的后四层特征图，并将后四层特征图进行连接；
S53、将已连接的特征图输入转置注意力机制模块TAB中，计算不同通道之间的权重；
S54、将已连接的特征图通过多尺度Transformer模块SSTB，计算不同投影块之间的分数；
S55、将S53得到的权重输入至权重分支，预测每个投影块的对应权重，并将S54得到的分数输入至评分分支，预测每个投影块的对应得分；
S56、将权重分支与评分分支通过Hadamard积进行计算，完成对超声心动图标准切面图像质量评分模型的构建。
所述S53中转置注意力机制模块TAB计算公式为：
其中，表示最终的注意力表示，/>表示线性投影矩阵，/>表示转置注意力机制模块TAB的输入和输出特征，/>表示查询向量，/>表示键向量，/>表示值向量，/>表示/>，/>和/>的空间维度，/>表示注意力表示。
如图4所示，首先将输入图像分成大小为P×P的小块，并被压缩成Q个长度为D的向量，其中D是嵌入向量的维度。每个小块都通过一个图像线性投影映射到嵌入向量空间中。利用位置编码为图像块加入位置信息，起始位置编码的编号为0，图像块位置编码的编号依次为1、2、3、4、5、6、7、8以及9，而图4中1后的空白框、2后的空白框、3后的空白框、4后的空白框、5后的空白框、6后的空白框、7后的空白框、8后的空白框以及9后的空白框均表示图像块经由图像块线性投影后的图像块编码，其中*表示一个可学习的分类特征。
然后将位置编码传入具有多维注意力机制的视觉Transformer网络ViT中。通过视觉Transformer网络ViT得到的特征图F1、F2、F3、F4、F5、F6、F7、F8以及F9，在得到的特征图中选择了后四层特征图，即特征图F6、F7、F8以及F9，并将后四层特征图F6、F7、F8以及F9进行特征连接，输出后四层特征图。
在转置注意力机制模块TAB中，将输入序列分别映射为查询向量、键向量以及值向量，计算查询向量与键向量之间的相似度，并使用相似度加权求和的方式获取加权值。这个加权值被用于对值向量进行加权求和，以产生最终的注意力表示。其中，查询向量用于描述要关注的内容，键向量用于描述输入序列的特征，而值向量则存储了与查询向量以及键向量相关的信息。
将视觉Transformer网络ViT后四层特征图输入至转置注意力机制模块TAB中，在这个模块中将后四层特征图进行变形，并计算通道间的交叉协方差Conv，可以获取来自视觉Transformer网络ViT的后四层特征图中包含的不同通道的信息，并根据不同通道的信息对质量得分的重要性重新标记不同通道之间的权重。为了加强图像中不同投影块之间的特征联系，使用多尺度Transformer模块SSTB，计算不同投影块之间的分数。多尺度Transformer模块SSTB和转置注意力机制模块TAB同时增强了不同区域图像之间的全局和局部特征联系。
同时，在多尺度Transformer模块SSTB和转置注意力机制模块TAB后，使用了一种双分支结构，其中包含了评分分支和权重分支。这两个分支由两个独立的全连接层实现。其中，权重分支内部包括依次连接的线性层、线性整流激活函数、线性层以及S型激活函数，评分分支内部包括依次连接的线性层、线性整流激活函数、线性层以及线性整流激活函数。最终的图像质量分数是由这两个分支的Hadamard积得到的，一张超声心动图标准切面图像的质量分数取决于每个投影块对应的权重与得分。
在本实施例中，如图5所示，为本发明超声心动图标准切面自动识别的混淆矩阵示意图，其中，横坐标表示预测视图，纵坐标表示真实视图。本实施例选择6种主要切面及部分其他切面。可以看见超声心动图标准切面自动识别的预测准确度最低为96.4%，最高为100.0%，综合计算，得到超声心动图标准切面自动识别的预测准确度为99.43%。由此可见本发明能够在超声心动图检查过程中对标准图像切面进行实时精确识别。
在本实施例中，如图6所示，为本发明心尖四腔心图像质量评价的误差分布直方图，其中，横坐标表示误差分数，纵坐标表示图像数量。图6展示了误差值的主要分布范围，其中误差小于3分的图像数量占总测试图像的63.17%，误差小于5分占总测试图像的75.79%，误差小于10分占总测试图像的88.47%，误差小于15分占总测试图像的94.52%，同时结合误差分布直方图可知，本发明所提出的方法的误差分布主要集中在0-10分之间。
由图5和图6可知，本发明能够满足超声心动图检查对图像的自动识别，以及对识别的图像进行质量评分的需求，解决了当前超声医学质控过程中图像切面识别和图像质量评分主要依赖人工评价的问题。
Claims (7)
1.一种基于深度学习的超声心动图标准切面识别及评分方法，其特征在于，包括以下步骤：
S1、根据超声心动图标准切面数据，对图像进行分类标注，建立标准图像切面分类数据集；
S2、构建超声心动图标准切面识别模型；
S3、利用标准图像切面分类数据集对超声心动图标准切面识别模型进行训练，得到超声心动图标准切面自动分类识别神经网络；
S4、根据标准图像切面分类数据集，对每个图像进行评分标注，建立超声心动图标准切面图像质量评分标注数据集；
S5、构建超声心动图标准切面图像质量评分模型；
S6、利用超声心动图标准切面图像质量评分标注数据集对超声心动图标准切面图像质量评分模型进行训练，得到超声心动图标准切面图像质量自动评分神经网络；
S7、将超声心动图检查过程中实时图像发送至超声心动图标准切面自动分类识别神经网络，进行图像分类，将已分类的图像发送至超声心动图标准切面图像质量自动评分神经网络，得到超声心动图标准切面图像质量的评分。
2.根据权利要求1所述的基于深度学习的超声心动图标准切面识别及评分方法，其特征在于，所述S2包括以下步骤：
S21、选择高效网络EfficientNetV2作为主干网络，根据主干网络提取特征，得到不同尺度的四层特征；
S22、将提取的四层特征通过特征金字塔网络FPN进行融合，得到融合后的特征；
S23、将融合后的特征输入至弱监督特征选择器WSS中，得到筛选后的特征；
S24、选择图卷积特征融合器GCNC，对筛选后的特征进行特征融合，得到图卷积特征融合器GCNC的输出特征，完成对超声心动图标准切面识别模型的构建。
3.根据权利要求2所述的基于深度学习的超声心动图标准切面识别及评分方法，其特征在于，所述S21中主干网络的交叉熵损失函数为：
其中，表示预测样本的总数量，/>表示预测样本的类别数量，/>表示预测样本/>是否属于预测样本的类别/>，/>表示预测样本/>属于预测样本的类别/>的概率，/>表示对/>取对数。
4.根据权利要求2所述的基于深度学习的超声心动图标准切面识别及评分方法，其特征在于，所述S22中融合后的特征表示为：
其中，表示融合后的特征，/>，/>表示/>是集合/>中的元素，表示第/>层的特征图，/>表示第/>层特征图的通道数，/>表示第/>层特征图的高度，/>表示第/>层特征图的宽度，/>。
5.根据权利要求2所述的基于深度学习的超声心动图标准切面识别及评分方法，其特征在于，所述S23中所述筛选后的特征表示为：
其中，表示筛选后的特征，/>，/>表示目标类别的数量，/>表示第/>层特征图的高度，/>表示第/>层特征图的宽度，/>。
6.根据权利要求1所述的基于深度学习的超声心动图标准切面识别及评分方法，其特征在于，所述S5包括以下步骤：
S51、使用具有多维注意力机制的视觉Transformer网络ViT作为特征提取的主干网络；
S52、选择视觉Transformer网络ViT网络中的后四层特征图，并将后四层特征图进行连接；
S53、将已连接的特征图输入转置注意力机制模块TAB中，计算不同通道之间的权重；
S54、将已连接的特征图通过多尺度Transformer模块SSTB，计算不同投影块之间的分数；
S55、将S53得到的权重输入至权重分支，预测每个投影块的对应权重，并将S54得到的分数输入至评分分支，预测每个投影块的对应得分；
S56、将权重分支与评分分支通过Hadamard积进行计算，完成对超声心动图标准切面图像质量评分模型的构建。
7.根据权利要求6所述的基于深度学习的超声心动图标准切面识别及评分方法，其特征在于，所述S53中转置注意力机制模块TAB计算公式为：
其中，表示最终的注意力表示，/>表示线性投影矩阵，/>表示转置注意力机制模块TAB的输入和输出特征，/>表示查询向量，/>表示键向量，/>表示值向量，/>表示/>，/>和/>的空间维度，/>表示注意力表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732388.3A CN116452899A (zh) | 2023-06-20 | 2023-06-20 | 一种基于深度学习的超声心动图标准切面识别及评分方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732388.3A CN116452899A (zh) | 2023-06-20 | 2023-06-20 | 一种基于深度学习的超声心动图标准切面识别及评分方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116452899A true CN116452899A (zh) | 2023-07-18 |
Family
ID=87124199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310732388.3A Pending CN116452899A (zh) | 2023-06-20 | 2023-06-20 | 一种基于深度学习的超声心动图标准切面识别及评分方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452899A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078669A (zh) * | 2023-10-13 | 2023-11-17 | 脉得智能科技(无锡)有限公司 | 计算机可读存储介质、超声图像质量评估装置及电子设备 |
| CN117994249A (zh) * | 2024-04-02 | 2024-05-07 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的心脏瓣膜反流严重程度超声评估方法 |
| CN117994249B (zh) * | 2024-04-02 | 2024-06-11 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的心脏瓣膜反流严重程度超声评估方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583249A (zh) * | 2020-05-12 | 2020-08-25 | 上海深至信息科技有限公司 | 一种医学图像的质量监控系统及方法 |
| CN112070119A (zh) * | 2020-08-11 | 2020-12-11 | 长沙大端信息科技有限公司 | 超声切面图像质量控制方法、装置和计算机设备 |
| CN114049500A (zh) * | 2021-11-22 | 2022-02-15 | 北京美照算算智能科技有限公司 | 基于元学习重加权网络伪标签训练的图像评价方法及系统 |
| WO2022099705A1 (zh) * | 2020-11-16 | 2022-05-19 | 深圳迈瑞生物医疗电子股份有限公司 | 早孕期胎儿的超声成像方法和超声成像系统 |
| CN115345858A (zh) * | 2022-08-17 | 2022-11-15 | 广州市康源图像智能研究院 | 一种超声心动图质量评价方法、系统及终端设备 |
| CN115578589A (zh) * | 2022-10-12 | 2023-01-06 | 江苏瑞康成医疗科技有限公司 | 一种无监督超声心动图切面识别方法 |
| CN116029953A (zh) * | 2022-12-28 | 2023-04-28 | 南京航空航天大学 | 一种基于自监督学习和Transformer的无参考图像质量评价方法 |
| CN116153172A (zh) * | 2021-11-23 | 2023-05-23 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声标准切面的扫查效果评估方法及超声成像设备 |
| CN116188424A (zh) * | 2023-02-23 | 2023-05-30 | 北京邮电大学 | 一种人工智能辅助超声诊断脾肝脏创伤模型建立的方法 |
-
2023
- 2023-06-20 CN CN202310732388.3A patent/CN116452899A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583249A (zh) * | 2020-05-12 | 2020-08-25 | 上海深至信息科技有限公司 | 一种医学图像的质量监控系统及方法 |
| CN112070119A (zh) * | 2020-08-11 | 2020-12-11 | 长沙大端信息科技有限公司 | 超声切面图像质量控制方法、装置和计算机设备 |
| WO2022099705A1 (zh) * | 2020-11-16 | 2022-05-19 | 深圳迈瑞生物医疗电子股份有限公司 | 早孕期胎儿的超声成像方法和超声成像系统 |
| CN114049500A (zh) * | 2021-11-22 | 2022-02-15 | 北京美照算算智能科技有限公司 | 基于元学习重加权网络伪标签训练的图像评价方法及系统 |
| CN116153172A (zh) * | 2021-11-23 | 2023-05-23 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声标准切面的扫查效果评估方法及超声成像设备 |
| CN115345858A (zh) * | 2022-08-17 | 2022-11-15 | 广州市康源图像智能研究院 | 一种超声心动图质量评价方法、系统及终端设备 |
| CN115578589A (zh) * | 2022-10-12 | 2023-01-06 | 江苏瑞康成医疗科技有限公司 | 一种无监督超声心动图切面识别方法 |
| CN116029953A (zh) * | 2022-12-28 | 2023-04-28 | 南京航空航天大学 | 一种基于自监督学习和Transformer的无参考图像质量评价方法 |
| CN116188424A (zh) * | 2023-02-23 | 2023-05-30 | 北京邮电大学 | 一种人工智能辅助超声诊断脾肝脏创伤模型建立的方法 |
Non-Patent Citations (3)
| Title |
|---|
| PO-YUNG CHOU等: "A Novel Plug-in Module for Fine-Grained Visual Classification", 《ARXIV:2202.03822》, pages 1 - 10 * |
| SIDI YANG等: "MANIQA: Multi-dimension Attention Network for No-Reference Image Quality Assessment", 《CVPR 2022》, pages 1191 - 1200 * |
| 沈文茜等: "机器学习在超声心动图中的应用进展", 《心血管病学进展》, vol. 42, no. 01, pages 43 - 46 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078669A (zh) * | 2023-10-13 | 2023-11-17 | 脉得智能科技(无锡)有限公司 | 计算机可读存储介质、超声图像质量评估装置及电子设备 |
| CN117994249A (zh) * | 2024-04-02 | 2024-05-07 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的心脏瓣膜反流严重程度超声评估方法 |
| CN117994249B (zh) * | 2024-04-02 | 2024-06-11 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的心脏瓣膜反流严重程度超声评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259930B (zh) | 自适应注意力指导机制的一般性目标检测方法 | |
| CN113034478B (zh) | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 | |
| CN107766894B (zh) | 基于注意力机制和深度学习的遥感图像自然语言生成方法 | |
| US20230186056A1 (en) | Grabbing detection method based on rp-resnet | |
| EP3690714A1 (en) | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same | |
| CN109241913A (zh) | 结合显著性检测和深度学习的船只检测方法及系统 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN112734764A (zh) | 一种基于对抗网络的无监督医学图像分割方法 | |
| CN112861970B (zh) | 一种基于特征融合的细粒度图像分类方法 | |
| CN112989942A (zh) | 一种基于交通监控视频的目标实例分割方法 | |
| CN116452899A (zh) | 一种基于深度学习的超声心动图标准切面识别及评分方法 | |
| CN110738132A (zh) | 一种具备判别性感知能力的目标检测质量盲评价方法 | |
| CN115131561A (zh) | 基于多尺度特征提取与融合的钾盐浮选泡沫图像分割方法 | |
| CN114663426A (zh) | 一种基于关键骨区定位的骨龄评估方法 | |
| CN111968124A (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 | |
| CN112149664A (zh) | 一种优化分类与定位任务的目标检测方法 | |
| CN115147418A (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN112085742B (zh) | 一种基于上下文注意力的nafld超声视频诊断方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN115880477A (zh) | 一种基于深度卷积神经网络的苹果检测定位方法与系统 | |
| CN114596433A (zh) | 一种绝缘子识别方法 | |
| CN110223295B (zh) | 基于深度神经网络色彩感知的显著性预测方法及装置 | |
| CN113537240A (zh) | 一种基于雷达序列图像的形变区智能提取方法及系统 | |
| CN116129123B (zh) | 基于不确定度校准和区域分解的端到端染色体分割方法 | |
| CN116740688B (zh) | 一种药品识别方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |