CN114863111A - 交互融合Transformer的超声图像量化方法 - Google Patents

交互融合Transformer的超声图像量化方法 Download PDF

Info

Publication number
CN114863111A
CN114863111A CN202210586184.9A CN202210586184A CN114863111A CN 114863111 A CN114863111 A CN 114863111A CN 202210586184 A CN202210586184 A CN 202210586184A CN 114863111 A CN114863111 A CN 114863111A
Authority
CN
China
Prior art keywords
attention
network
image
fusion
decoding module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210586184.9A
Other languages
English (en)
Inventor
汪天富
赵程
雷柏英
夏焙
向卓
陈敏思
陈伟玲
唐子鉴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210586184.9A priority Critical patent/CN114863111A/zh
Publication of CN114863111A publication Critical patent/CN114863111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了交互融合Transformer的超声图像量化方法，所述方法包括：将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块(包括卷积神经网络、用于提取空间特征和通道特征的双注意力降维Transformer网络和双向交互融合单元)，基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。本发明通过双注意力降维Transformer网络提取空间特征和通道特征增强全局上下文信息的学习能力，卷积神经网络和Transformer网络分支之间交互学习，实现局部特征与全局上下文信息之间的双向融合。

Description

交互融合Transformer的超声图像量化方法
技术领域
本发明涉及人工智能技术领域，尤其涉及的是交互融合Transformer的超声图像量化方法。
背景技术
先天性心脏病是导致新生儿和婴幼儿死亡最主要的原因，其发病率为8‰～1％，位居出生缺陷的首位。通过成像设备判断疾病的类型无疑是控制和治疗疾病发展的前提。超声心动图的采集过程凭借其无创性、便携性、低成本、对婴幼儿配合程度要求不高等属性成为了评估心脏健康与否的首选设备。在临床上实现对各类超声心动图解剖结构的分割对医生了解各种容积、直径等指标至关重要。此过程往往需要医生手动勾画解剖结构并进行相关生物学参数的测量来确定，耗时费力，且观察者之间差异性较大。因此迫切的需要设计一种有效、稳健、鲁棒性强的自动分割与测量的量化方法来减轻医生的工作量及观测间差异性，提高临床辅助筛查的有效性。
但是目前的图像量化分析方法因为分割精度差或者忽略局部细节信息导致量化分析结果不准确。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种交互融合Transformer的超声图像量化方法，旨在解决现有技术中图像量化分析方法因为分割精度差或者忽略局部细节信息导致量化分析结果不准确的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种交互融合Transformer的超声图像量化方法，其中，所述方法包括：
采集真实图像；
将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；
基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
在一种实现方式中，所述将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码包括：
将所述真实图像进行序列化，得到图像序列；
将所述图像序列输入至所述U型编码/解码模块中的双注意力降维Transformer网络，将所述真实图像输入至所述U型编码/解码模块中的卷积神经网络；
针对每个U型编码/解码模块，基于所述双向交互融合单元，将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果，并将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络中，直至所有U型编码/解码模块均被使用，输出目标融合特征；
将所述目标融合特征输入至双注意力降维Transformer网络，得到图像分割预测掩码。
在一种实现方式中，所述双向交互融合单元包括分组特征学习单元和通道压缩激励单元，所述将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果包括：
将每个所述U型编码/解码模块中的卷积神经网络输出的第二特征输入至分组特征学习单元，得到第三特征，并将所述第三特征与每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征进行融合，得到第一融合结果；
将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征输入至所述通道压缩激励单元，得到第四特征，并将所述第四特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到第二融合结果。
在一种实现方式中，所述将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络，直至所有U型编码/解码模块均被使用，输出目标融合特征包括：
将所述第一融合结果输入至下一级U型编码/解码模块中的双注意力降维Transformer网络，并将所述第二融合结果输入至下一级U型编码/解码模块中的卷积神经网络，直至所有U型编码/解码模块均被使用，输出目标融合特征。
在一种实现方式中，所述双注意力降维Transformer网络包括多头降维双注意模块和前馈网络模块。
在一种实现方式中，所述多头降维双注意模块包括空间自注意模块、归一化层和通道自注意残差链接模块。
在一种实现方式中，所述图像分割模型的训练过程包括：
获取初始训练数据，并将所述初始训练数据进行扩充，得到目标训练数据；
根据所述目标训练数据，确定与所述目标训练数据对应的标签；
将所述目标训练数据输入至初始图像分割模型，得到模型输出数据，并根据所述模型输出数据和所述标签，对所述初始图像分割模型进行训练，当所述训练满足预设条件时，得到图像分割模型。
在一种实现方式中，所述基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果包括：
基于关键点定位方式，对所述图像分割预测掩码进行定位，得到若干定位点；
对若干所述定位点进行计算，得到与所述真实图像中若干部分区域一一对应的若干内径；
将所有内径作为量化分析结果。
第二方面，本发明实施例还提供一种交互融合Transformer的超声图像量化装置，其中，所述装置包括：
采集模块，用于采集真实图像；
分割模块，用于将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；
定位和量化分析模块，用于基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的交互融合Transformer的超声图像量化方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的交互融合Transformer的超声图像量化方法。
本发明的有益效果：本发明实施例首先采集真实图像；然后将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；最后基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果；可见，本发明实施例中通过双注意力降维Transformer网络提取空间特征和通道特征增强全局上下文信息的学习能力，卷积神经网络和Transformer网络分支之间交互学习，实现局部特征与全局上下文信息之间的双向融合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的交互融合Transformer的超声图像量化方法流程示意图。
图2为本发明实施例提供的一种实现方式的交互融合Transformer网络结构框架图。
图3为本发明实施例提供的一种实现方式的分组特征学习单元的结构图。
图4为本发明实施例提供的一种实现方式的DPT的结构设计图。
图5为本发明实施例提供的一种实现方式的双自注意力模块的结构图。
图6为本发明实施例提供的交互融合Transformer的超声图像量化装置的原理框图。
图7为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了交互融合Transformer的超声图像量化方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中，目前通过量化分析实现临床辅助筛查的关键在于能否实现解剖结构的精确分割。在分割算法的早期工作中以像素分类、可变形方法、形状先验模型等为主，该类方法从像素强度、形状先验等角度出发在CT、MRI图像中获得了好的分割效果。然而超声心动图存在边界模糊、散斑噪声、解剖结构形状差异大等固有限制。仅根据能量、形状先验等信息不足以精确的勾画解剖结构边界信息。其次此类传统方法通常需要人工设计针对性的特征提取方案，计算量大可适用范围低，分割效果有限。
相反深度学习算法凭借其强大的特征学习能力可以实现复杂特征的自主学习，完成端到端的分割任务。自2015年UNet算法被首次引入医学图像分割任务之后，此类U型卷积神经网络及其变体被不断的应用到各类疾病的分割任务中并实现了好的分割精度。然而此类方法在网络的设计中忽略了全局上下文信息的表达，而这对于结构的精确分割至关重要。
基于提取全局上下文信息的考虑，部分学者关注到了在自然语言处理中大放异彩的transformer模型，该模型可以学习输入块之间的大范围依赖性，实现全局上下文信息的提取。尽管使用Transformer模型可以实现对数据的全局上下文信息的考量，然而该类方法对局部细节信息的考量不足。为了有效地利用局部与全局信息，结合CNN与Transformer的算法不断涌现，并在医学图像分割领域得以应用，例如UNet Transformer、TransUnet、Multi-Compound Transformer等。然而该类方法大多通过考虑替换卷积层或者堆叠两者提取的特征来实现局部与全局信息的连接，难以最大限度的释放两种模型的学习能力。
为了解决现有技术的问题，本实施例提供了一种交互融合Transformer的超声图像量化方法，通过双注意力降维Transformer网络提取空间特征和通道特征增强全局上下文信息的学习能力，卷积神经网络和Transformer网络分支之间交互学习，实现局部特征与全局上下文信息之间的双向融合，具体实施时，首先采集真实图像；然后将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；最后基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
示例性方法
本实施例提供交互融合Transformer的超声图像量化方法，该方法可以应用于人工智能的智能终端。具体如图1所示，所述方法包括：
步骤S100、采集真实图像；
在本实施例中，真实图像为两类不同切面的超声心动图数据(小儿胸骨旁心底短轴图及小儿四腔室超声心动图)，如胸骨旁心底短轴图，真实图像可以通过采集而得到。
得到真实图像后，就可以执行如图1所示的如下步骤：S200、将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；
具体地，图像分割模型事先已训练好，图像分割模型通过构建卷积分支与Transformer分支之间的交互学习用于婴幼儿超声心动图的量化分析。在本实施例中，所述图像分割模型包括7个U型编码/解码模块,实际中使用个数不做限制，其中，各个U型编码/解码模块为具有相似结构的不同特征学习阶段。7个U型编码/解码模块依次先后级联连接，每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，这样，卷积神经网络的输出特征与双注意力降维Transformer网络输出的特征通过双向交互融合单元实现两个特征之间的交互学习，实现局部特征与全局上下文信息之间的双向融合。所述双注意力降维Transformer网络通过双注意力金字塔降维模块，实现空间与通道上的大范围依赖关系建模。此外，由于所述双注意力降维Transformer网络提取了空间特征和通道特征，实现大范围依赖关系建立，增强全局上下文信息的学习能力。
在一种实现方式中，步骤S200包括如下步骤：
S201、将所述真实图像进行序列化，得到图像序列；
S202、将所述图像序列输入至所述U型编码/解码模块中的双注意力降维Transformer网络，将所述真实图像输入至所述U型编码/解码模块中的卷积神经网络；
S203、针对每个U型编码/解码模块，基于所述双向交互融合单元，将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果，并将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络中，直至所有U型编码/解码模块均被使用，输出目标融合特征；
S204、将所述目标融合特征输入至双注意力降维Transformer网络，得到图像分割预测掩码。
具体地，将所述真实图像进行序列化，得到图像序列，将所述图像序列作为双注意力降维Transformer网络的初始输入，将所述真实图像作为卷积神经网络的输入，如图2所示，第一行为双注意力降维Transformer网络(DPT分支)。第二行为双向交互融合单元。第三行为卷积神经网络(CNN分支)。Xi为第i层DPT块的输出特征。Yi为第i层CNN块的输出特征。针对每个所述U型编码/解码模块，基于所述双向交互融合单元，将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果，并将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络中，直至所有U型编码/解码模块均被使用，输出目标融合特征，也即在本实施例中，经过7个U型编码/解码模块后，最终会输出目标融合特征，将所述目标融合特征输入双注意力降维Transformer网络，也即选择最后一层融合了局部信息的双注意力降维Transformer网络输出作为最终的分割预测映射，经过Softmax函数生成最终的图像分割预测掩码。值得注意的是最后一层的双注意力降维Transformer网络不是U型编码/解码模块中的双注意力降维Transformer网络，是另外设置的一个，但是结构相同。对每一层提取的特征执行双向交互融合单元操作，通过设置两个对立方向的融合路线，实现局部特征与全局特征的融合。
在步骤S203中，所述双向交互融合单元包括分组特征学习单元和通道压缩激励单元，所述将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果包括如下步骤：将每个所述U型编码/解码模块中的卷积神经网络输出的第二特征输入至分组特征学习单元，得到第三特征，并将所述第三特征与每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征进行融合，得到第一融合结果；将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征输入至所述通道压缩激励单元，得到第四特征，并将所述第四特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到第二融合结果。
具体地，为了有效地结合双分支网络每一阶段提取到的全局与局部特征，采用双向交互融合单元以实现不同特征的交互融合。该单元包含两个方向的特征增强模块，分别为用于局部特征到全局特征融合的分组特征学习单元，以及相反方向的通道压缩激励单元，如图2所示。分组特征学习单元(GFL)，如图3所示，SPA为空间注意模块。CHA为通道注意模块。Yi为CNN分支第i层的特征。Pt为初始分组特征。d为扩展率。
Figure BDA0003666035600000111
为增强组特征。
Figure BDA0003666035600000112
为经过分组特征学习单元处理之后得到的第i层增强特征。首先，我们对第i层的初始局部特征Yi按照通道数进行t次分组得到相互独立的子特征Pt。然后对每一个子特征Pt执行空间金字塔池化操作，该操作根据不同的(扩张率)空洞率将Pt划分为包含不同感受野的4个分支
Figure BDA0003666035600000113
(n为分支数)，用于捕获多尺度信息。随后对每一分支执行SPA块来显式的建模特征通道之间的相互依赖关系。并在此基础上执行空间注意力模块，训练网络聚焦于目标区域的特征，增强细节信息的表达，抑制不相关区域的信息，得到
Figure BDA0003666035600000114
详见图4。最后通过级联操作将原始特征与不同分支特征进行融合，并使用1×1的卷积降低通道维数得到
Figure BDA0003666035600000115
对每一个子特征得到的
Figure BDA0003666035600000116
进行聚合，并通过通道混淆算子获得
Figure BDA0003666035600000117
实现各个子特征沿通道方向的信息交流。
通道压缩激励单元：此单元通过对输入特征Xi执行全局平均池化操作实现上下文信息的建模。随后根据两个全连接层融合各个通道的特征映射信息，实现跨通道信息的交互。并通过Sigmoid函数生成权重映射，将其与输入特征Xi逐通道相乘得到增强后的全局特征
Figure BDA0003666035600000118
并将其与Yi相加，作为下一层CNN的输入。
对于第一个U型编码/解码模块和最后一个U型编码/解码模块而言，将第一个U型编码/解码模块和最后一个U型编码/解码模块中的双向交互融合单元中的通道压缩激励单元置0；也就是说，第一个U型编码/解码模块和最后一个U型编码/解码模块中的双向交互融合单元是单向桥梁融合单元。对于中间的5个U型编码/解码模块，将当前级U型编码/解码模块中的卷积神经网络输出的第二特征Yi输入至分组特征学习单元，得到第三特征，并将所述第三特征与当前级U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征Fi进行融合，得到当前级的第一融合结果，为后一级输入做准备；将当前级的U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征Fi输入至所述通道压缩激励单元，得到第四特征，并将所述第四特征与当前级的U型编码/解码模块中的卷积神经网络输出的第二特征Yi进行融合，得到当前级的第二融合结果，为后一级输入做准备。
在步骤S203中，所述将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络，直至所有U型编码/解码模块均被使用，输出目标融合特征包括如下步骤：将所述第一融合结果输入至下一级U型编码/解码模块中的双注意力降维Transformer网络，并将所述第二融合结果输入至下一级U型编码/解码模块中的卷积神经网络，直至所有U型编码/解码模块均被使用，输出目标融合特征。
具体地，将当前级的第一融合结果输入至下一级U型编码/解码模块中的双注意力降维Transformer网络，并将当前级的第二融合结果输入至下一级U型编码/解码模块中的卷积神经网络，直至5个U型编码/解码模块均被使用，输出目标融合特征。
在一种实现方式中，所述双注意力降维Transformer网络包括多头降维双注意模块和前馈网络模块。
具体地，根据不同级U型编码/解码模块中的双注意力降维Transformer网络(也即不同阶段的Transformer层)可以实现多尺度的全局上下文信息提取。该双注意力降维Transformer网络以四个Transforme编码/解码块为骨架，通过跳跃连接实现隐藏层信息的传递。由于本发明要实现多尺度的结构设计，因此每个Transforme编码/解码块的构造需要考虑特征尺寸的改变。类似与CNN的网络设计模式，可将每个编码块或解码块视为具有相似结构的不同特征学习阶段。因此本研究在此通过描述单个编码块的结构来设计DPT分支的构造。如图4所示，Fi为第i层输入输入特征的序列化数据。Xi为第i层经Transformer块处理的输出特征。
本发明所使用的Transforme编码/解码块包括嵌入层和多头降维双注意力块(DPT层)组成，如图4所示，其中，Fi为第i层输入特征的序列化数据。Xi为第i层经Transformer块处理的输出特征。具体描述如下：
块嵌入：假设第i层的输入特征为Xi-1，
Figure BDA0003666035600000131
第i层的块尺寸为Pi。我们首先将输入特征划分到Ni个块。通过线性投影之后可以将2维的嵌入特征块转换为1维的嵌入图像序列，序列形状为Ni×Ci，其中i＝1，2，3，4。
在一种实现方式中，所述多头降维双注意模块包括空间自注意模块、归一化层和通道自注意残差链接模块。
具体地，多头降维双注意力块：为了充分的利用远程上下文信息，本发明在原始空间自注意力模块的基础上串联了一个通道自注意力模块，如图5所示，其中，SR(·)为空间尺寸缩减函数。Hi、Wi和Ci为第i层输入数据的长度、宽度、通道数。r为降维率。
具体实现如下：
Step1：假设将第i层经过块嵌入处理的特征序列Fi作为原始空间自注意力模块的输入。经过空间自注意模块，实现全局空间特征的学习，捕获空间维度上的大范围依赖关系。然后使用残差链接聚合全局上下文特征到原始特征中得到S。
Figure BDA0003666035600000132
Figure BDA0003666035600000133
其中,SR(·)为空间尺寸降低函数，
Figure BDA0003666035600000141
Figure BDA0003666035600000142
为三个可学习的参数矩阵，T为转置符号。
Figure BDA0003666035600000143
Mi表示在第i层多头自注意力块中包含Mi个独立的自注意层，即头数。Norm(·)为层归一化函数，Reshape(Fi,r)为第i层特征序列的空间降维算子，r为降维率。假设输入特征
Figure BDA0003666035600000144
则经空间降维之后输出特征
Figure BDA0003666035600000145
Figure BDA0003666035600000146
Figure BDA0003666035600000147
为线性投影，用于实现输入特征通道数的改变，
Figure BDA0003666035600000148
Figure BDA0003666035600000149
Step2：将空间自注意残差链接得到的特征S进行层归一化处理得到L，然后将其作为通道自注意残差链接模块的输入。利用类似与Step1的自注意力机制来捕获任意两个通道映射之间的通道依赖关系，得到整个自注意力块的输出G。根据矩阵相乘原理，此处需要对q、k进行降维处理，如图5所示。
L＝Norm(S) (3)
Figure BDA00036660356000001410
其中,
Figure BDA00036660356000001411
为三个可学习的参数矩阵，
Figure BDA00036660356000001412
多头降维双自注意力模块(MDA)：MDA通过将相同的q，k，v向量(查询、健、值向量)投影到原始高维空间的不同子空间中然后进行双自注意力计算，随后将每个子空间的输出进行级联得到最终的全局信息，其具体表示如下：
Figure BDA00036660356000001413
其中
Figure BDA00036660356000001414
为一个可学习的线性投影矩阵。
基于上述工作，DPT层的最终输出为Xi：
Xi＝FFN(Fi+MDA(Fi))+(Fi+MDA(Fi)) (6)
其中，FFN()为前馈网络，它包含两个线性变换以及一个ReLU激活函数。
在一种实现方式中，所述图像分割模型的训练过程包括如下步骤：获取初始训练数据，并将所述初始训练数据进行扩充，得到目标训练数据；根据所述目标训练数据，确定与所述目标训练数据对应的标签；将所述目标训练数据输入至初始图像分割模型，得到模型输出数据，并根据所述模型输出数据和所述标签，对所述初始图像分割模型进行训练，当所述训练满足预设条件时，得到图像分割模型。
具体地，初始训练数据在两类不同切面的超声心动图数据(小儿胸骨旁心底短轴图及小儿四腔室超声心动图)中得到，用于分割效果验证，并对小儿胸骨旁心底短轴图的解剖结构内径进行测量。两类数据集均采自于深圳市儿童医院，其中四腔室图像数据集共包含127例四腔室视频序列，其中100例用于训练数据，27例用于测试数据。通过视频序列到图像的转换，共包含3654张训练数据集，831张测试数据集。胸骨旁心底短轴图数据集共采集了50例胸骨旁心底短轴图视频序列，其中40例作为训练数据，10例作为测试数据，经视频序列转换后共包含1273张训练数据，350张测试数据。由于此数据集数据量较小不足以很好的训练网络模型，容易出现过拟合现象。因此本研究通过改变图像的亮度、对比度、旋转角度等方式对初始训练数据(小儿数据集)进行增强，将目标训练数据(扩充数据量)至8911张。其次，我们选择3-4名超声科医生对不同数据集中的左心房、左心室、主动脉瓣环、右室流出道等结构进行勾画制作用于分割的标签，确保分割数据集的质量。
实验环境：该实验在Intel(R)Xeon(R)CPU E5-2620 v4@2.10GHz，GPU NVIDIATitan Xp，RAM为64G上通过配置pytorch框架实现，在进行训练和测试之前我们将所有图像的大小统一调整为256*256。网络训练中选择小批量随机梯度下降方法作为优化方法，训练50个epoch，预设条件为训练50个epoch，初始学习率为1e-3，动量为0.99。
方法评价指标：本发明的实验分为分割和量化两个子任务，因此有两类不同的评价指标分别对两个任务的性能进行评判。
分割任务采用Dice系数(Dice)、Jaccard相似系数(Jaccard)、敏感度(Sensitivity)、精度(Precision)指标进行评判。其计算方法如下所示：
Figure BDA0003666035600000161
Figure BDA0003666035600000162
Figure BDA0003666035600000163
Figure BDA0003666035600000164
TP,FP,FN分别为真阳、假阳和假阴的像素点数量。
量化任务的评价指标则是由平均绝对误差(MAE)，均方根误差(RMSE)组成。其计算方法如下：
Figure BDA0003666035600000165
Figure BDA0003666035600000166
X,Y为两组不同的数据。
得到所述图像分割预测掩码后，就可以执行如图1所示的如下步骤：S300、基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
在本实施例中，基于预设的定位方法，实现三尖瓣瓣跟与肺动脉瓣跟的定位，以此确定内径的长度与方向，实现解剖结构的量化分析。
步骤S300包括如下步骤：
S301、基于关键点定位方式，对所述图像分割预测掩码进行定位，得到若干定位点；
S302、对若干所述定位点进行计算，得到与所述真实图像中若干部分区域一一对应的若干内径；
S303、将所有内径作为量化分析结果。
在本实施例中，预设的定位方法为关键点定位方式，以小儿的胸骨旁心底短轴图作为训练数据集，拟通过双向融合Transformer实现右室流出道、主动脉瓣环的分割，并通过关键点定位方法实现主动脉内径、右室流出道内径及肺动脉内径的测量，具体方法如下：
Step 1：定位AO区域的最高点a，然后在RVOT区域找到离AO最近的点b。
Step 2：在RVOT区域的b点右侧，某一坐标点对应的y轴最大值点为d点，x轴最大值点为e点。
Step 3：在RVOT区域的b点左侧，某一坐标点对应的y轴最大值点为f点。点f与点b确定一条线段，在fb的下方区域距离fb最远的点为g点。
Step 4：在AO区域定位与g、d最近的点m、o作为计算主动脉内径的基点。
Step 5：最后将垂直于mo的中点的直线，并与AO的边界相交的点定位为p、u点。
Step 6：将垂直于mo的中点的直线，并与RVOT区域边界相交的点定位为v、z。
肺动脉内径：de之间的距离。
主动脉内径：线段pu之间的距离为AO的内径长度。
右室流出道内径：线段vz为右室流出道内径，根据距离公式计算内径长度。
超声心动图的解剖结构分割与测量是实现先心病量化分析的关键步骤。然而超声心动图存在边界模糊、散斑噪声、解剖结构形状差异大等固有限制增加了量化分析的难度。现今的方法通过构造CNN算法来解决此挑战，然而该类算法缺乏对全局上下文信息及大范围依赖关系的考虑。因此为了提高小儿超声心动图的量化分析的性能，本发明提出一个交互融合Transformer网络，通过构建卷积分支与Transformer分支之间的交互学习，实现局部特征与全局上下文信息之间的双向融合。本发明首先通过设置双注意力金字塔降维Transformer分支从空间和通道的角度去实现大范围依赖关系建立，增强全局上下文信息的学习能力。其次，通过设置一个双向交互融合单元用于实现局部特征与全局特征之间的交互融合，最大化的保留局部与全局特征，精细化分割结果。最后模拟临床参数测量方法通过关键点定位实现解剖结构参数的测量。本发明实施例选择婴幼儿胸骨旁主动脉根部短轴图作为实验数据，实现右室流出道与主动脉瓣环的分割及对应内径的测量，验证了算法具有作为临床辅助工具的潜力。
示例性设备
如图6中所示，本发明实施例提供一种交互融合Transformer的超声图像量化装置，该装置包括采集模块401、分割模块402和定位和量化分析模块403，其中：
采集模块401，用于采集真实图像；
分割模块402，用于将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；
定位和量化分析模块403，用于基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图7所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种交互融合Transformer的超声图像量化方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图7中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
采集真实图像；
将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；
基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了交互融合Transformer的超声图像量化方法，所述方法包括：将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块(包括卷积神经网络、用于提取空间特征和通道特征的双注意力降维Transformer网络和双向交互融合单元)，基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。本发明通过双注意力降维Transformer网络提取空间特征和通道特征增强全局上下文信息的学习能力，卷积神经网络和Transformer网络分支之间交互学习，实现局部特征与全局上下文信息之间的双向融合。
基于上述实施例，本发明公开了一种交互融合Transformer的超声图像量化方法方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种交互融合Transformer的超声图像量化方法，其特征在于，所述方法包括：
采集真实图像；
将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码；其中，所述图像分割模型包括若干U型编码/解码模块，若干所述U型编码/解码模块依次级联并跳跃连接并跳跃连接；每个所述U型编码/解码模块包括一个卷积神经网络、双注意力降维Transformer网络和双向交互融合单元，所述双注意力降维Transformer网络用于提取空间特征和通道特征；
基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果。
2.根据权利要求1所述的交互融合Transformer的超声图像量化方法，其特征在于，所述将所述真实图像输入至已训练的图像分割模型，通过所述图像量化分析模型输出图像分割预测掩码包括：
将所述真实图像进行序列化，得到图像序列；
将所述图像序列输入至所述U型编码/解码模块中的双注意力降维Transformer网络，将所述真实图像输入至所述U型编码/解码模块中的卷积神经网络；
针对每个U型编码/解码模块，基于所述双向交互融合单元，将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果，并将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络中，直至所有U型编码/解码模块均被使用，输出目标融合特征；
将所述目标融合特征输入至双注意力降维Transformer网络，得到图像分割预测掩码。
3.根据权利要求2所述的交互融合Transformer的超声图像量化方法，其特征在于，所述双向交互融合单元包括分组特征学习单元和通道压缩激励单元，所述将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到融合结果包括：
将每个所述U型编码/解码模块中的卷积神经网络输出的第二特征输入至分组特征学习单元，得到第三特征，并将所述第三特征与每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征进行融合，得到第一融合结果；
将每个所述U型编码/解码模块中的双注意力降维Transformer网络输出的第一特征输入至所述通道压缩激励单元，得到第四特征，并将所述第四特征与每个所述U型编码/解码模块中的卷积神经网络输出的第二特征进行融合，得到第二融合结果。
4.根据权利要求3所述的交互融合Transformer的超声图像量化方法，其特征在于，所述将所述融合结果分别输入至下一级U型编码/解码模块中的双注意力降维Transformer网络和U型编码/解码模块中的卷积神经网络，直至所有U型编码/解码模块均被使用，输出目标融合特征包括：
将所述第一融合结果输入至下一级U型编码/解码模块中的双注意力降维Transformer网络，并将所述第二融合结果输入至下一级U型编码/解码模块中的卷积神经网络，直至所有U型编码/解码模块均被使用，输出目标融合特征。
5.根据权利要求2所述的交互融合Transformer的超声图像量化方法，其特征在于，所述双注意力降维Transformer网络包括多头降维双注意模块和前馈网络模块。
6.根据权利要求5所述的交互融合Transformer的超声图像量化方法，其特征在于，所述多头降维双注意模块包括空间自注意模块、归一化层和通道自注意残差链接模块。
7.根据权利要求1所述的交互融合Transformer的超声图像量化方法，其特征在于，所述图像分割模型的训练过程包括：
获取初始训练数据，并将所述初始训练数据进行扩充，得到目标训练数据；
根据所述目标训练数据，确定与所述目标训练数据对应的标签；
将所述目标训练数据输入至初始图像分割模型，得到模型输出数据，并根据所述模型输出数据和所述标签，对所述初始图像分割模型进行训练，当所述训练满足预设条件时，得到图像分割模型。
8.根据权利要求1所述的交互融合Transformer的超声图像量化方法，其特征在于，所述基于预设的定位方法，对所述图像分割预测掩码进行定位和量化分析，得到量化分析结果包括：
基于关键点定位方式，对所述图像分割预测掩码进行定位，得到若干定位点；
对若干所述定位点进行计算，得到与所述真实图像中若干部分区域一一对应的若干内径；
将所有内径作为量化分析结果。
9.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-8中任意一项所述的方法。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-8中任意一项所述的方法。
CN202210586184.9A 2022-05-27 2022-05-27 交互融合Transformer的超声图像量化方法 Pending CN114863111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210586184.9A CN114863111A (zh) 2022-05-27 2022-05-27 交互融合Transformer的超声图像量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210586184.9A CN114863111A (zh) 2022-05-27 2022-05-27 交互融合Transformer的超声图像量化方法

Publications (1)

Publication Number Publication Date
CN114863111A true CN114863111A (zh) 2022-08-05

Family

ID=82640541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210586184.9A Pending CN114863111A (zh) 2022-05-27 2022-05-27 交互融合Transformer的超声图像量化方法

Country Status (1)

Country Link
CN (1) CN114863111A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392360A (zh) * 2022-08-11 2022-11-25 哈尔滨工业大学 基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法
CN115861762A (zh) * 2023-02-27 2023-03-28 中国海洋大学 一种即插即用无限形变融合特征提取的方法及其应用
CN116188431A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于CNN与Transformer的髋关节分割方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392360A (zh) * 2022-08-11 2022-11-25 哈尔滨工业大学 基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法
CN115392360B (zh) * 2022-08-11 2023-04-07 哈尔滨工业大学 基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法
CN116188431A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于CNN与Transformer的髋关节分割方法及装置
CN116188431B (zh) * 2023-02-21 2024-02-09 北京长木谷医疗科技股份有限公司 基于CNN与Transformer的髋关节分割方法及装置
CN115861762A (zh) * 2023-02-27 2023-03-28 中国海洋大学 一种即插即用无限形变融合特征提取的方法及其应用
CN115861762B (zh) * 2023-02-27 2023-05-09 中国海洋大学 一种即插即用无限形变融合特征提取的方法及其应用

Similar Documents

Publication Publication Date Title
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
Suganyadevi et al. A review on deep learning in medical image analysis
CN114863111A (zh) 交互融合Transformer的超声图像量化方法
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
WO2016192612A1 (zh) 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
Han et al. Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
US20210406687A1 (en) Method for predicting attribute of target object based on machine learning and related device
CN116364227A (zh) 基于记忆能力学习的医学影像报告自动生成方法
CN116579975A (zh) 一种卷积神经网络的脑龄预测方法及系统
KR102639558B1 (ko) 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법
Wong et al. The synergy of cybernetical intelligence with medical image analysis for deep medicine: a methodological perspective
Yu et al. 3D Medical Image Segmentation based on multi-scale MPU-Net
CN112164447B (zh) 图像处理方法、装置、设备及存储介质
CN112348811A (zh) 深度学习图像的配准方法、装置、电子设备及存储介质
CN116452592B (zh) 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN116402987A (zh) 基于扩散模型及3DTransformer的三维分割方法、系统、设备及介质
WO2023108418A1 (zh) 脑图谱构建及神经环路检测的方法和相关产品
CN116188396A (zh) 一种图像分割方法、装置、设备及介质
CN117616467A (zh) 训练并使用深度学习算法来基于降维表示比较医学图像的方法
US20220122266A1 (en) Correcting segmentation of medical images using a statistical analysis of historic corrections
CN115151951A (zh) 通过分析配准确定图像相似性
CN112489012A (zh) 一种用于ct图像识别的神经网络架构方法
Kordev et al. Design and implementation of differentiated analytics workflow for imaging diagnostics on the intelligent integrated digital platform InSilicoKDD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination