CN111368899B - 一种基于递归聚合深度学习分割超声心动图的方法和系统 - Google Patents
一种基于递归聚合深度学习分割超声心动图的方法和系统 Download PDFInfo
- Publication number
- CN111368899B CN111368899B CN202010129987.2A CN202010129987A CN111368899B CN 111368899 B CN111368899 B CN 111368899B CN 202010129987 A CN202010129987 A CN 202010129987A CN 111368899 B CN111368899 B CN 111368899B
- Authority
- CN
- China
- Prior art keywords
- frame data
- unit
- fusion
- echocardiogram
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 230000002776 aggregation Effects 0.000 title abstract description 16
- 238000004220 aggregation Methods 0.000 title abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 80
- 230000011218 segmentation Effects 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000002592 echocardiography Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 34
- 210000005240 left ventricle Anatomy 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 101100537629 Caenorhabditis elegans top-2 gene Proteins 0.000 description 1
- 101100261000 Caenorhabditis elegans top-3 gene Proteins 0.000 description 1
- 101150107801 Top2a gene Proteins 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提出了一种基于递归聚合深度学习分割超声心动图的方法和系统，包括如下步骤：提取超声心动图的t帧数据并发送至特征特征提取模块；特征提取模块将接收到的超声心动图的t帧数据进行特征提取；提取后，将特征发送给融合模块，融合模块进行处理，形成掩模和处理结果。本发明的特征提取模块采用扩张卷积块单元其感受野更大、参数更少、计算量更小；融合模块设有分割单元和分类单元且分割单元提供时间和空间信息来指导分类单元，而分类单元实时将结果发送至分割单元，分割单元与分类单元实时进行数据交换互为指导；得出高质量的掩模和正确率高的处理数据。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其是涉及一种基于递归聚合深度学习分割超声心动图的方法和系统。
背景技术
超声心动图是指应用超声测距原理脉冲超声波透过胸壁、软组织测量其下各心壁、心室及瓣膜等结构的周期性活动,在显示器上显示为各结构相应的活动和时间之间的关系曲线,用记录仪记录这些曲线,即为超声心动图。
超声心动图可以用来评估室壁运动、舒张末期和收缩末期，如在临床决策中心脏病专家检查的左心室超声心动图：顶部-2室视图(A2C)、顶部-3室视图(A3C)和顶部-4室视图(A4C)等。左心室的大部分临床指标(如面积、体积和射血分数等)大多都是在超声心动图中测量出来的，而超声心动图的分割通常是这种定量分析的第一步。
对于超声心动图的分割需要仔细的回顾和大量的研究，非常繁琐、费时。超声心动图采集设备大多为不同供应商或不同医生采集的，这样采集的超声心动图的图像属性差异很大；现有方法试图利用与光学流结合的可变形模型将第一帧直到最后一帧的图片，一帧一帧的放置在预先训练好的卷积神经网络中进行标记、分割。这样操作的主要缺点是计算繁琐、数据兼容性弱等限制了现有方法的性能并导致得到分割的正确率低。
发明内容
针对现有技术的不足，本发明提出一种基于递归聚合深度学习分割超声心动图的方法和系统，解决现有技术对超声心动图分割的计算繁琐、数据兼容性弱而导致的正确率低的问题。
本发明的技术方案是这样实现的：第一方面，一种基于递归聚合深度学习分割超声心动图的方法，包括如下步骤：
提取超声心动图的t帧数据并发送至特征提取模块；
特征提取模块将接收到的超声心动图的t帧数据进行特征提取；
提取后，将特征发送给融合模块，融合模块进行处理，形成掩模和处理数据。
可选的，特征提取模块将接收到的超声心动图进行特征提取步骤包括：
特征提取模块将接收到的超声心动图的t帧数据发送给扩张卷积块单元；扩张卷积块单元接收到超声心动图的t帧数据后发送至膨胀卷积层子单元；
膨胀卷积层子单元接收到超声心动图的t帧数据后发送至密集块；
密集块接收到超声心动图的t帧数据后，提取超声心动图的t帧数据的深层次特征，并将提取后的特征发送至融合模块。
可选的，提取后，将特征发送给融合模块，融合模块进行处理，形成掩模和处理数据步骤包括：
提取后，将第t帧数据对应的特征发送给融合模块的分割单元和分类单元；
分割单元接收到第t帧数据对应的特征，将特征输入到ConvLSTM模型进行时间和空间的特征融合，融合后，将t-1帧数据对应的融合结果通过通信单元发送至分类单元；同时将t-1帧数据对应的融合结果与t帧数据对应的特征发送至ConvLSTM模型进行时间和空间的特征融合，融合后形成掩模；
分类单元接收到第t帧数据对应的特征，将特征进行卷积和池化，生成第一处理数据；将第一处理数据通过通信单元发送至分割单元，再将t-1帧数据对应的融合结果和t帧数据对应的特征进行卷积和池化，生成第T处理数据；
可选的，通信单元通过聚合损失的方式进行通信，聚合损失包括分割损失和分类损失；分割损失是二元交叉熵损失和dice损失的结合；分类损失是绝对交叉熵损失。
第二方面，一种基于递归聚合深度学习分割超声心动图的系统，包括特征提取模块和融合模块，其中
特征提取模块，用于提取超声心动图的特征；
融合模块，用于将特征进行处理，形成掩模和处理数据。
可选的，特征提取模块包括扩张卷积块单元；扩张卷积块单元内包含由若干密集连接网络组成的膨胀卷积层子单元；密集连接网络由若干密集块组成。
扩张卷积块单元，用于将接收到的超声心动图的t帧数据并发送至膨胀卷积层子单元；
膨胀卷积层子单元，用于接收到超声心动图的t帧数据并发送至密集块；
密集块，用于组成密集连接网络和接收超声心动图的t帧数据，提取超声心动图的t帧数据的深层次特征，并将提取后的特征发送至融合模块。
可选的，扩张卷积块单元有5个。
可选的，融合模块包括分割单元、分类单元和通信单元，其中
分割单元，用于接收到第t帧数据对应的特征，将提取特征输入到ConvLSTM模型进行时间和空间的特征融合，融合后，将t-1帧数据对应的融合结果通过通信单元发送至分类单元；同时将t-1帧数据对应的融合结果与t帧数据对应的特征发送至ConvLSTM模型进行时间和空间的特征融合，融合后形成掩模；
分类单元，用于接收到第t帧数据对应的特征，将特征进行卷积和池化，生成第一处理数据；将第一处理数据通过通信单元发送至分割单元，再将t-1帧数据对应的融合结果和t帧数据对应的特征进行卷积和池化，生成第T处理数据；
通信单元，用于将分割单元的融合结果发送至分类单元和将分类单元的第T处理数据发送至分割单元。
可选的，通信单元通过聚合损失的方式进行通信，聚合损失包括分割损失和分类损失；分割损失是二元交叉熵损失和dice损失的结合；分类损失是绝对交叉熵损失。
与现有技术相比，本发明具有以下优点：相较于传统可变形模型的方式相比，本发明的特征提取模块采用扩张卷积块单元相较于现有技术的普通卷积单元而言；扩张卷积块单元的感受野更大、参数更少、计算量更小；扩张卷积块单元的感受野更大解决了由于不同供应商或不同医生采集的数据兼容性弱问题；参数更少、计算量更小避免计算繁琐的问题；同时融合模块设有分割单元和分类单元，分割单元和分类单元是同时处理t帧数据的一整个序列信息，而不是一帧一帧的处理；且分割单元提供时间和空间信息来指导分类单元，而分类单元实时将结果发送至分割单元。分割单元与分类单元实时进行数据交换互为指导；得出高质量的掩模和正确率高的处理数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于递归聚合深度学习分割超声心动图的方法的流程图；
图2为本发明一种基于递归聚合深度学习分割超声心动图的系统组成示意图；
图中：
1、超声心动图；2、特征提取模块；21、扩张卷积块单元；211、膨胀卷积层子单元；2111、密集块；3、融合模块；31、分割单元；32分类单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施方式的一种基于递归聚合深度学习分割超声心动图1的方法的流程图。
本发明实施方式公开了一种基于递归聚合深度学习分割超声心动图1方法，包括如下步骤：
步骤1：提取超声心动图1的t帧数据并发送至特征提取模块2；
步骤2：特征提取模块2将接收到的超声心动图1的t帧数据进行特征提取；
步骤21：特征提取模块2将接收到的超声心动图1的t帧数据发送给扩张卷积块单元21；扩张卷积块单元21接收到超声心动图1的t帧数据后发送至膨胀卷积层子单元211；
步骤22：膨胀卷积层子单元211接收到超声心动图1的t帧数据后发送至密集块2111；
步骤23：密集块2111接收到超声心动图1的t帧数据后，提取超声心动图1的t帧数据的深层次特征，并将提取后的特征发送至融合模块3。
具体的，特征提取模块2将接收到的超声心动图1的t帧数据发送给扩张卷积块单元21，其中扩张卷积块单元21包含5个卷积块，用于提取多层次、多尺度特征。在一具体的实施例中，多层次特征提供了左心室(LV)的全局几何特征，而多尺度特征可以帮助增强细小区域，进一步细化LV的边界。有助于缩小采用不同的供应商提供的测量设备和不同医生观测出来的数据的差距，增强对图像条件和解剖结构化的鲁棒性。1个卷积块包含L个密集连接的膨胀卷积层子单元211，膨胀卷积层子单元211可以扩展感受野，同时保持特征映射的分辨率，通过卷积和池化来改变特征映射的信道和分辨率，提高特征提取的准确性。从第1个卷积块的第L层膨胀卷积层子单元211到第2个卷积块的第1层膨胀卷积层子单元211的前馈信息传播可以用公式表示为：
yl＝D(C(y1,y2,...,yl-1)) (1)
其中，yl就是第L层的输出，C表示与前一层输出的关联，D是三个连接运算的复合函数：批次归一化(BN)、整流线性单元(ReLU)和扩张卷积。5个卷积块生成多层次、多尺度的特征，5个卷积块为序列中的t帧生成多级和多尺度特征ft＝{ft,1,ft,2,ft,3,ft,4,ft,5}。其中，一张图片为30帧，则t＝{1,30}。因此扩张卷积块单元21在多层次、多尺度的空间中具有优越的特征提取能力和左心室(LV)区域检测能力，为获得全部的左心室(LV)的几何特征起到了很大作用，并且建立统一的语义特征。
步骤3：提取后，将特征发送给融合模块3，融合模块3进行处理，形成掩模和处理数据。
步骤31：提取后，将第1帧数据对应的特征发送给融合模块3的分割单元31和分类单元32；
步骤32：分割单元31接收到第t帧数据对应的特征，将特征输入到ConvLSTM模型进行时间和空间的特征融合，融合后，将t-1帧数据对应的融合结果通过通信单元发送至分类单元32；同时将t-1帧数据对应的融合结果与t帧数据对应的特征发送至ConvLSTM模型进行时间和空间的特征融合，融合后形成掩模；
步骤33：分类单元32接收到第t帧数据对应的特征，将特征进行卷积和池化，生成第一处理数据；将第一处理数据通过通信单元发送至分割单元31，再将t-1帧数据对应的融合结果和t帧数据对应的特征进行卷积和池化，生成第T处理数据；其中，第T处理数据为特定视图。
具体的，一个病例的超声图像为30帧，则t＝{1,30}；30帧则为一个序列。对于一个序列的具体分割而言，获得左心室(LV)随时间变化的特征对时间稳定性至关重要，基于LSTM的研究表明，LSTM具有很强的学习顺序信息的能力。因此选用层次化的ConvLSTMS来开发时空建模。通过在时域中添加递归以在序列中生成t帧的预测值St，ConvLSTMS将左心室(LV)信息第1帧传递到第t帧，并允许在连续帧之间进行自然匹配。
同时，在空间域中增加了多层次和多尺度特征融合的递归，有助于高效地集成多层次和多尺度特征。
在第t帧的第k层ConvLSTM的输出yt,k,取决于以下变量：
(1)来自于特征特征提取模块2的第t帧和第k级尺度特征ft,k；
(2)在同一帧t上，第(k-1)级ConvLSTM的输出yt,k-1；
(3)第t-1帧，第k级ConvLSTM的输出yt-1,k；
(4)来自同一帧t的第k级ConvLSTM之前的隐藏状态表示为ht,k-1，它是空间隐藏状态；
(5)t-1帧的第k级ConvLSTM的隐藏状态表示ht-1,k，它是时间的隐藏状态。可以用下面的公式来表示：
hstate＝[ht,k-1|ht-1,k] (3)
yt,k＝ConvLSTMk(xinput,hstate) (4)
其中，B是双线性上采样，在每个时间步骤中，ConvLSTM都接受上一个的ConvLSTM和帧中的隐藏状态和编码的时空特征，从特征特征提取模块2中提取出相应的特征，然后将编码后的时空特征输出到下一个ConvLSTM和框架中。最后，预测St是由每个帧的最后一个ConvLSTM生成的。
具体的，为了进一步缩小多视图上的间隙并细化多视图分割结果，我们引入了一种对多视图超声动图序列同时进行多视图分割和分类的双边界聚合机制。来自最后一个卷积块的特征被传入分类分支中，然后，通过逐次卷积和池化，从分割分支中进行多层次、多尺度时空特征的深度聚类，最后，分类结果由全连接层产生。
分割单元31生成掩模，而分类单元32区分特定视图，分割单元31和分类单元32通过深度聚合而相互促进的；分割单元31提供时空信息来指导分类单元32，分类单元32提供多视点鉴别正则化去细化分割单元31结果并进一步缩小视图之间的间隙。这种双单元聚合机制使一种基于递归聚合的超声心动图1分割系统能够适应解剖结构的复杂变化。
具体的，通信单元通过聚合损失的方式进行通信，聚合损失包括分割损失和分类损失；分割损失是二元交叉熵损失和dice损失的结合；分类损失是绝对交叉熵损失。其中，聚合损失函数可以表示为：
Laggregation＝λs·Lsegmentation+λc·Lclassification (7)
其中，G和P分别代表的是分割的真实值和预测值，g和p则是分类的真实和预测值，i指的是视图的类型，此外，λs和λc是相应的平衡系数。
实施例二
如图2所示，图2为本发明实施方式的一种基于递归聚合深度学习分割超声心动图1系统组成示意图；
本实施例中提供的一种基于递归聚合深度学习分割超声心动图1系统，包括特征提取模块2和融合模块3，其中
特征提取模块2，用于提取超声心动图1的特征；
融合模块3，用于将特征进行处理，形成掩模和处理数据。
进一步，特征提取模块2包括扩张卷积块单元21；扩张卷积块单元21内包含由若干密集连接网络组成的膨胀卷积层子单元211；
扩张卷积块单元21，用于将接收到的超声心动图1的t帧数据并发送至膨胀卷积层子单元211；其中，扩张卷积块单元21有5个。具体的，根据超声心动图1的像素点确定，像素点越高，对应的扩张卷积块越多。
膨胀卷积层子单元211，用于接收到超声心动图1的t帧数据并发送至密集块2111；其中，一个卷积块包含L个密集连接网络组成的膨胀卷积层子单元211。
密集块2111，用于接受超声心动图1的t帧数据，提取超声心动图1的t帧数据的深层次特征，并将提取后的特征发送至融合模块3。其中，密集连接网络中有多个密集块2111组成。
进一步，融合模块3包括分割单元31、分类单元32和通信单元，其中
分割单元31，用于接收到第t帧数据对应的特征，将提取特征输入到ConvLSTM模型进行时间和空间的特征融合，融合后，将t-1帧数据对应的融合结果通过通信单元发送至分类单元32；同时将t-1帧数据对应的融合结果与t帧数据对应的特征发送至ConvLSTM模型进行时间和空间的特征融合，融合后形成掩模；
分类单元32，用于接收到第t帧数据对应的特征，将特征进行卷积和池化，生成第一处理数据；将第一处理数据通过通信单元发送至分割单元31，再将t-1帧数据对应的融合结果和t帧数据对应的特征进行卷积和池化，生成第T处理数据；
通信单元，用于将分割单元31的融合结果发送至分类单元32和将分类单元32的第T处理数据发送至分割单元31。
综上所述，本发明相较于传统可变形模型的方式相比，本发明的特征提取模块2采用扩张卷积块单元21相较于现有技术的普通卷积单元而言；扩张卷积块单元21的感受野更大、参数更少、计算量更小；扩张卷积块单元21的感受野更大解决了由于不同供应商或不同医生采集的数据兼容性弱问题；参数更少、计算量更小避免计算繁琐的问题；同时融合模块3设有分割单元31和分类单元32，分割单元31和分类单元32是同时处理t帧数据的一整个序列信息，而不是一帧一帧的处理；且分割单元31提供时间和空间信息来指导分类单元32，而分类单元32实时将结果发送至分割单元31。分割单元31与分类单元32实时进行数据交换互为指导；得出高质量的掩模和正确率高的处理数据。
Claims (7)
1.一种基于递归聚合深度学习分割超声心动图的方法，其特征在于，包括如下步骤：
提取超声心动图的t帧数据并发送至特征提取模块；
所述特征提取模块将接收到的超声心动图的t帧数据进行特征提取；
提取后，将所述特征发送给融合模块，所述融合模块进行处理，形成掩模和处理数据；
所述提取后，将所述特征发送给融合模块，所述融合模块进行处理，形成掩模和处理数据步骤包括：
将提取的第t帧数据特征发送给融合模块的分割单元和分类单元；
所述分割单元接收到第t帧数据对应的所述特征，将所述特征输入到ConvLSTM模型进行时间和空间的特征融合，融合后，将t-1帧数据对应的融合结果通过通信单元发送至所述分类单元；同时将t-1帧数据对应的融合结果与t帧数据对应的所述特征发送至ConvLSTM模型进行时间和空间的特征融合，融合后形成掩模；
所述分类单元接收到第t帧数据对应的所述特征，将所述特征进行卷积和池化，生成第一处理数据；将所述第一处理数据通过通信单元发送至所述分割单元，再将t-1帧数据对应的融合结果和t帧数据对应的所述特征进行卷积和池化，生成第T处理数据。
2.如权利要求1的所述的一种基于递归聚合深度学习分割超声心动图的方法，其特征在于，所述特征提取模块将接收到的超声心动图进行特征提取步骤包括：
所述特征提取模块将接收到的超声心动图的t帧数据发送给扩张卷积块单元；所述扩张卷积块单元接收到所述超声心动图的t帧数据后发送至膨胀卷积层子单元；
所述膨胀卷积层子单元接收到所述超声心动图的t帧数据后发送至密集块；
所述密集块接收到所述超声心动图的t帧数据后，提取所述超声心动图的t帧数据的深层次特征，并将提取后的特征发送至所述融合模块。
3.如权利要求1的所述的一种基于递归聚合深度学习分割超声心动图的方法，其特征在于，所述通信单元通过聚合损失的方式进行通信，所述聚合损失包括分割损失和分类损失；所述分割损失是二元交叉熵损失和dice损失的结合；所述分类损失是绝对交叉熵损失。
4.一种基于递归聚合深度学习分割超声心动图的系统，其特征在于，包括特征提取模块和融合模块，其中
特征提取模块，用于提取所述超声心动图的特征；
融合模块，用于将所述特征进行处理，形成掩模和处理数据；
所述融合模块包括分割单元、分类单元和通信单元，其中
分割单元，用于接收到第t帧数据对应的所述特征，将所述提取特征输入到ConvLSTM模型进行时间和空间的特征融合，融合后，将t-1帧数据对应的融合结果通过通信单元发送至所述分类单元；同时将t-1帧数据对应的融合结果与t帧数据对应的所述特征发送至ConvLSTM模型进行时间和空间的特征融合，融合后形成掩模；
分类单元，用于接收到第t帧数据对应的所述特征，将所述特征进行卷积和池化，生成第一处理数据；将所述第一处理数据通过通信单元发送至所述分割单元，再将t-1帧数据对应的融合结果和t帧数据对应的所述特征进行卷积和池化，生成第T处理数据；
通信单元，用于将所述分割单元的融合结果发送至所述分类单元和将所述分类单元的第T处理数据发送至所述分割单元。
5.如权利要求4所述的一种基于递归聚合深度学习分割超声心动图的系统，其特征在于，所述特征提取模块包括扩张卷积块单元；所述扩张卷积块单元内包含由若干密集连接网络组成的膨胀卷积层子单元；所述密集连接网络由若干密集块组成；
扩张卷积块单元，用于将接收到的所述超声心动图的t帧数据并发送至所述膨胀卷积层子单元；
膨胀卷积层子单元，用于接收到所述超声心动图的t帧数据并发送至所述密集块；
密集块，用于组成密集连接网络和接收所述超声心动图的t帧数据，提取所述超声心动图的t帧数据的深层次特征，并将提取后的特征发送至所述融合模块。
6.如权利要求5所述的一种基于递归聚合深度学习分割超声心动图的系统，其特征在于，所述扩张卷积块单元有5个。
7.如权利要求4所述的一种基于递归聚合深度学习分割超声心动图的系统，其特征在于，所述通信单元通过聚合损失的方式进行通信，所述聚合损失包括分割损失和分类损失；所述分割损失是二元交叉熵损失和dice损失的结合；所述分类损失是绝对交叉熵损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010129987.2A CN111368899B (zh) | 2020-02-28 | 2020-02-28 | 一种基于递归聚合深度学习分割超声心动图的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010129987.2A CN111368899B (zh) | 2020-02-28 | 2020-02-28 | 一种基于递归聚合深度学习分割超声心动图的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111368899A CN111368899A (zh) | 2020-07-03 |
| CN111368899B true CN111368899B (zh) | 2023-07-25 |
Family
ID=71211014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010129987.2A Active CN111368899B (zh) | 2020-02-28 | 2020-02-28 | 一种基于递归聚合深度学习分割超声心动图的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111368899B (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10531807B2 (en) * | 2017-12-20 | 2020-01-14 | International Business Machines Corporation | Automated extraction of echocardiograph measurements from medical images |
| CN108268870B (zh) * | 2018-01-29 | 2020-10-09 | 重庆师范大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| CN109598722B (zh) * | 2018-12-10 | 2020-12-08 | 杭州帝视科技有限公司 | 基于递归神经网络的图像分析方法 |
| CN109685067B (zh) * | 2018-12-26 | 2022-05-03 | 江西理工大学 | 一种基于区域和深度残差网络的图像语义分割方法 |
| CN109886273B (zh) * | 2019-02-26 | 2022-12-16 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
| CN109978785B (zh) * | 2019-03-22 | 2020-11-13 | 中南民族大学 | 多级递归特征融合的图像超分辨率重构系统及其方法 |
| CN110163876B (zh) * | 2019-05-24 | 2021-08-17 | 山东师范大学 | 基于多特征融合的左心室分割方法、系统、设备及介质 |
-
2020
- 2020-02-28 CN CN202010129987.2A patent/CN111368899B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111368899A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022041307A1 (zh) | 一种构建半监督图像分割框架的方法及系统 | |
| US20200303062A1 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
| CN108062753B (zh) | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 | |
| CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| WO2020224406A1 (zh) | 图像分类方法、计算机可读存储介质和计算机设备 | |
| CN109242844B (zh) | 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 | |
| CN113240691B (zh) | 一种基于u型网络的医学图像分割方法 | |
| US20190125298A1 (en) | Echocardiographic image analysis | |
| US11367001B2 (en) | Neural network image analysis | |
| WO2022205500A1 (zh) | 一种非刚性多模医学图像的配准模型建立方法及其应用 | |
| WO2023005634A1 (zh) | 一种基于ct图像的肺结节良恶性诊断方法及装置 | |
| CN113077891A (zh) | 基于算法、区块链和医学影像的大数据疾病诊断系统 | |
| CN110853064A (zh) | 一种基于最小模糊散度的图像协同分割方法 | |
| CN114842238A (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| Sirjani et al. | Automatic cardiac evaluations using a deep video object segmentation network | |
| CN117036386A (zh) | 一种使用扩散模型生成数据的颈椎mri图像自监督分割方法 | |
| CN111368899B (zh) | 一种基于递归聚合深度学习分割超声心动图的方法和系统 | |
| Kulkarni et al. | Fully automatic segmentation of LV from echocardiography images and calculation of ejection fraction using deep learning | |
| CN111904470A (zh) | 医学超声诊查过程的动态可解释推理辅助诊断方法 | |
| CN115908270A (zh) | Ct图像新冠肺炎区域分割方法及成像方法 | |
| CN113808105B (zh) | 一种基于超声扫查的病灶检测方法 | |
| CN112998756B (zh) | 一种基于超声图像结合深度学习的心脏血流向量成像方法 | |
| CN114373146A (zh) | 基于骨骼信息和时空特征的参会动作识别方法 | |
| CN116895077A (zh) | 一种基于动态超声心动图的心脏相位识别方法 | |
| Shetty et al. | Adaptive data augmentation training based attention regularized densenet for diagnosis of thoracic diseases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |