CN109598722A - 基于递归神经网络的图像分析方法 - Google Patents

基于递归神经网络的图像分析方法 Download PDF

Info

Publication number
CN109598722A
CN109598722A CN201811503605.7A CN201811503605A CN109598722A CN 109598722 A CN109598722 A CN 109598722A CN 201811503605 A CN201811503605 A CN 201811503605A CN 109598722 A CN109598722 A CN 109598722A
Authority
CN
China
Prior art keywords
dimensional
axial
layer
neural network
recurrent neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811503605.7A
Other languages
English (en)
Other versions
CN109598722B (zh
Inventor
杨光
董豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.
HANGZHOU DISHI TECHNOLOGY Co.,Ltd.
Original Assignee
Hangzhou Dishi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dishi Technology Co Ltd filed Critical Hangzhou Dishi Technology Co Ltd
Priority to CN201811503605.7A priority Critical patent/CN109598722B/zh
Publication of CN109598722A publication Critical patent/CN109598722A/zh
Application granted granted Critical
Publication of CN109598722B publication Critical patent/CN109598722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于递归神经网络的图像分析方法，包括：基于原始三维图像，构建第一多个二维轴向切片图；通过对多个二维轴向切片图进行卷积运算获得高分辨率特征图，并将特征图堆叠成三维特征图，再将三维特征图切割成轴向、矢状和冠状视图；通过顺序学习网络处理轴向视图，生成轴向顺序学习特征图；通过扩张残余网络处理矢状视图，生成矢状学习特征图；通过扩张残余网络处理冠状视图，生成冠状学习特征图；基于矢状学习特征图创建第一三维体，并切割成第二多个二维轴向切片；基于冠状学习特征图创建第二三维体，并切割成第三多个二维轴向切片；将轴向顺序学习特征图、第二多个二维轴向切片及第三多个二维轴向切片级联形成级联特征映射；将卷积运算应用于所述级联特征映射以获得融合的多视图特征；以及将融合的多视图特征与高分辨率特征图结合，进行图像分割。

Description

基于递归神经网络的图像分析方法
技术领域
本发明涉及图像处理技术领域。具体而言，本发明涉及基于递归神经网络的心脏核磁共振图像分析方法。
背景技术
延时钆增强心脏核磁共振成像(LGE-CMRI)已被用于获取房颤(AF)患者的数据，以检测薄壁左心房(LA)中的原生和消融后治疗疤痕形成。该技术基于钆造影剂在健康和疤痕组织之间不同代谢速度和钆造影剂的动力学。延时钆增强心脏核磁共振成像图像中的超增强区域反映了疤痕组织性状，而健康的心房心肌则“无效”。延时钆增强心脏核磁共振成像可以帮助对患者进行分级诊疗，指导消融治疗方案和预测治疗成功的概率。心房疤痕组织的可视化和量化需要左心房解剖结构的分割，包括附着的肺静脉(PV)和心房疤痕的分割。
使用延时钆增强心脏核磁共振成像图像解决这两个分割任务是非常具有挑战性的，其中来自健康组织的信号的归零降低了左心房边界的可见性。此外，在房颤患者群体中，扫描期间延长的扫描时间，不规则的呼吸模式和心率变异性可导致较差的图像质量，这可能进一步使两个分割任务复杂化。因此，先前的研究已经将左心房和肺静脉解剖结构从额外的亮血数据采集中分割出来，然后将分割的左心房和肺静脉解剖结构记录到延时钆增强心脏核磁共振成像采集中，用于可视化和描绘心房疤痕。这种方法因两次采集和随后的配准误差之间的运动(体积，呼吸或心脏)而变得复杂。
最近基于深度学习的方法已被广泛用于解决医学图像分割。已经提出基于卷积神经网络(CNN)的方法来从亮血图像中分割左心房和肺静脉，但尚未应用于延时钆增强心脏核磁共振成像图像。对于大多数先前的研究，左心房和肺静脉已经实现手动分割，尽管这是耗时的、主观的并且缺乏可重复性的。基于分割后的左心房和肺静脉，以及派生的左心房，通常使用基于无监督学习的方法描绘心房疤痕(例如阈值化和聚类)。
发明内容
在本发明的实施例中，提出一种新型的全自动多视图多任务(MVTT)递归注意力模型，用于直接从延时钆增强心脏核磁共振成像图像分割左心房和肺静脉解剖结构和心房疤痕，从而避免需要额外的数据采集用于解剖学分割并随后注册。本发明的实施例公开的全自动多视图多任务方法包括顺序学习和扩展深度残差学习，以分割左心房和近端肺静脉，而心房疤痕可以通过创新的注意力模型同时描绘。
根据本发明的一个方面，提供一种基于递归神经网络的图像分析方法，包括：
基于原始三维图像，构建第一多个二维轴向切片图；
通过对多个二维轴向切片图进行卷积运算获得高分辨率特征图，并将特征图堆叠成三维特征图，再将三维特征图切割成轴向、矢状和冠状视图；
通过顺序学习网络处理轴向视图，生成轴向顺序学习特征图；
通过扩张残余网络处理矢状视图，生成矢状学习特征图；
通过扩张残余网络处理冠状视图，生成冠状学习特征图；
基于矢状学习特征图创建第一三维体，并切割成第二多个二维轴向切片；
基于冠状学习特征图创建第二三维体，并切割成第三多个二维轴向切片；
将轴向顺序学习特征图、第二多个二维轴向切片及第三多个二维轴向切片级联形成级联特征映射；
将卷积运算应用于所述级联特征映射以获得融合的多视图特征；以及
将融合的多视图特征与高分辨率特征图结合，进行图像分割。
在本发明的一个实施例中，所述原始三维图像是延时钆增强心脏核磁共振成像LGE-CMRI数据。
在本发明的一个实施例中，所述顺序学习网络包括编码器、解码器以及嵌入的卷积长短期存储器ConvLSTM层。
在本发明的一个实施例中，在编码器路径中包括多个卷积层，每个卷积层之后是修正线性单元ReLU层和局部响应归一化LRN层，以对特征映射进行归一化，所述编码器路径还包括三个最大池化层，用于减少特征图的尺寸。
在本发明的一个实施例中，在解码器路径中，通过双线性插值实现三个上采样层以恢复原始图像大小，并且解码器还包含卷积和局部响应归一化层。
在本发明的一个实施例中，所述扩张残余网络包括四个基于剩余架构的扩张卷积层、修正线性单元层和局部响应归一化层。
在本发明的一个实施例中，所述进行图像分割包括使用三个卷积层执行左心房/肺静脉分割，其中两个卷积层包含24个大小为3×3的内核，每个内核后面跟着一个修正线性单元层和一个局部响应归一化层，在最后一个卷积层，使用3×3卷积将每个像素映射到所需的段，并使用S型激活函数。
在本发明的一个实施例中，基于递归神经网络的图像分析方法还包括：通过扩张注意力网络处理轴向视图，生成注意力特征图；以及
基于生成的注意力特征图，在末端通过三个卷积层进行心房疤痕描绘。
在本发明的一个实施例中，在扩张注意力网络中，注意力由掩模分支提供，掩模分支根据融合的多视图特征自适应地改变。
在本发明的一个实施例中，所述掩模分支包括四个卷积层，前三个卷积层中的每个卷积层后面是修正线性单元层和局部响应归一化层，第四个卷积层连接至S型层，所述S型层将输出标准化为每个通道和空间位置的[0,1]范围，以获得注意力掩模。
本发明提出了递归神经网络解决多任务的方法，而现有技术都是基于单任务的，或者是级联单任务(solve one-by-one)，本发明的方法是同步解决多任务，以延时钆增强心脏核磁共振成像图像为例：本发明的方法同时分割了左心房、肺静脉、心房疤痕。
本发明使用的递归神经网络方法大大的减少了患者的身体负担和经济负担。也大大提高了检测的效率。并且本发明的方法可以直接从延时钆增强心脏核磁共振成像图像中得到结果，无需附加心脏解剖组织的成像，大大节省了扫描时间和成本。
本发明的递归神经网络方法结合了顺序学习和扩张残差学习来提取多视图特征。
本发明的递归神经网络方法同时还包括了多层级注意力模型可以准确地描绘心房疤痕，可以实现同时分割左心房和肺静脉解剖结构。本发明的方法首次提出了多层级多尺度注意力模型。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的一个实施例的基于递归神经网络的心脏核磁共振图像分析方法的流程图。
图2示出根据本发明的一个实施例的顺序学习网络200的架构图。
图3示出根据本发明的一个实施例的注意力模型将在不同尺度下由低分辨率图像到高分辨率图像进行心房疤痕的识别。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
在本发明提出一种新型的全自动多视图多任务(MVTT)递归注意力模型，用于直接从延时钆增强心脏核磁共振成像图像分割左心房和肺静脉解剖结构和心房疤痕，从而避免需要额外的数据采集用于解剖学分割并随后注册。本发明的实施例公开的全自动多视图多任务方法包括顺序学习和扩展深度残差学习，以分割左心房和近端肺静脉，而心房疤痕可以通过创新的注意力模型同时描绘。
我们的全自动多视图多任务递归注意力模型的工作流程如图1所示，可同时完成左心房、肺静脉解剖结构和心房疤痕的分割。
图1示出根据本发明的一个实施例的基于递归神经网络的心脏核磁共振图像分析方法的流程图。基于多视图的方法来描绘左心房和肺静脉模拟放射科医师的检查程序，放射科医师通过逐步扫描2D轴向切片来查看图像，以获得轴向视图中的相关信息(具有更好的空间分辨率)同时也使用矢状和冠状视图的补充信息(空间分辨率较低)。图1所示的方法通过顺序学习模拟从轴视图中提取的信息，并且对于矢状和冠状视图，设计了扩张的残差学习。
首先，在步骤110，基于原始三维图像，构建多个二维轴向切片图。输入的原始三维图像可以是延时钆增强心脏核磁共振成像(LGE-CMRI)数据。例如，基于该数据进行重建可生成具有60-68个2D轴向切片的体积，空间分辨率为(0.7-0.75)×(0.7-0.75)×2mm3。本领域的技术人员应该理解，本发明的保护范围不限于此，在本发明的其他实施例中，可对其他类型的三维数据进行重建，并且可根据实际需要设置切片的尺寸和个数。
接下来，在步骤121，通过对多个二维轴向切片图进行卷积运算获得高分辨率特征图，并将特征图堆叠成三维特征图。例如，使用具有12个内核的3×3卷积层来提取高分辨率特征。然后将获得的特征图堆叠到3D图上，再将它们分别切割成轴向、矢状和冠状视图，用于执行多视图学习。
在步骤131，通过顺序学习网络处理轴向视图，生成轴向顺序学习特征图。
在本发明的具体实施例中，如图2所示，顺序学习网络200可包括编码器210、解码器220以及嵌入的卷积长短期存储器ConvLSTM层。编码器路径和解码器路径分别包括六个卷积层。在编码器路径中，每个卷积层之后是修正线性单元(ReLU)层和局部响应归一化(LRN)层，以对特征映射进行归一化。此外，三个最大池化层用于减少特征图的尺寸。在解码器路径中，通过双线性插值实现三个上采样层以恢复原始图像大小，并且解码器还包含卷积和局部响应归一化层。每个卷积层包含12个内核，大小为3×3像素。此外，卷积长短期存储器(ConvLSTM)层被嵌入到编码器-解码器网络中以考虑片间相关性。卷积长短期存储器是一种特殊的递归神经网络架构，可以在数学上定义为：
其中*代表卷积算子，表示Hadamard乘积，W术语表示权重矩阵，b术语表示偏向量，σ表示S型函数，修正线性单元代替tanh。卷积长短期存储器使用三个门，包括输入门it，遗忘门ft和输出门ot，存储器单元ct表示状态信息的累加器，而ht表示隐藏状态。
在步骤132，通过扩张残余网络处理矢状视图，生成矢状学习特征图。
在步骤133，通过扩张残余网络处理冠状视图，生成冠状学习特征图。
在步骤132和步骤133中，为了从矢状视图和冠状视图中获得互补信息，使用扩张的残余网络。在该网络中，采用扩张卷积并移除最大池化层以避免在池化操作期间丢失有用信息。该网络由四个基于剩余架构的3×3扩张卷积层组成，每个层有12个内核，后面是修正线性单元层和局部响应归一化层。通过使用扩张卷积，保留了特征图的大小。
接下来，在步骤141，创建第一三维体，以存储矢状学习特征图，并切割成多个二维轴向切片图。
在步骤142，创建第二三维体，以存储冠状学习特征图，并切割成多个二维轴向切片图。
在步骤150，将步骤131生成的轴向顺序学习特征图与步骤141和142生成的多个二维轴向切片图级联形成级联特征映射。
在步骤160，将卷积运算应用于这些级联特征映射以获得融合的多视图特征。
在步骤171，将融合的多视图特征与步骤121生成的高分辨率特征图结合，然后进行图像分割，例如左心房/肺静脉和心房疤痕定位。具体而言，使用三个卷积层执行左心房/肺静脉分割。其中两个卷积层包含24个大小为3×3的内核，每个内核后面跟着一个修正线性单元层和一个局部响应归一化层。在最后一个卷积层，使用3×3卷积将每个像素映射到所需的段，并使用S型激活函数。
由于心房疤痕的区域相对较小且离散，因此，在图1所示的方法中，使用注意机制来解决心房疤痕的描绘，迫使模型专注于心房疤痕的位置，并增强这些位置的心房疤痕的表现。此外，传统的汇集操作很容易丢失这些小型心房疤痕区域的信息。因此，在图1所示的方法中，增加了一种新的扩散注意网络，将前馈注意结构与扩张卷积相结合，以保存心房疤痕的新信息。在步骤122，通过扩张注意力网络处理轴向视图，生成注意力特征图。
在扩张注意力网络中，注意力由掩模分支提供，掩模分支根据融合的多视图特征自适应地改变。掩模分支有四个卷积层，前三个层中的每个层后面是修正线性单元层和局部响应归一化层，第四个卷积层连接至S型层，所述S型层将输出标准化为每个通道和空间位置的[0,1]范围，以获得注意力掩模。该S型层可以定义如下：
其中i在所有空间位置上取值，c在所有通道上取值。
因为软注意掩模可能潜在地影响多视图学习的性能，所以还应用残余架构来减轻这种影响。注意力模型的输出O可以表示为：
O(xi，c)＝(1+AM(xi，c))·F(xi，c) (7)
其中i在所有空间位置上取值，c在所有通道上取值，AM(xi；c)是范围从[0,1]的注意掩码，F(xi；c)表示融合的多视图特征，·表示点积。
在本发明的一个实施例中，可以使用多层级的注意力模型，如图3所示，即将原图首先预处理成多尺度图像，然后在每一层图像上应用上述注意力模型，如此由低分辨率到高分辨率迭代，可以保证注意力模型可以更加有利的分析出不同尺度下的心房疤痕，并且提高识别效率。
在步骤172，基于生成的注意力图，在末端连接三个卷积层以执行心房疤痕描绘，类似于步骤171的左心房和肺静脉的分割。
本发明提出了递归神经网络解决多任务的方法，而现有技术都是基于单任务的，或者是级联单任务(solve one-by-one)，本发明的方法是同步解决多任务，以延时钆增强心脏核磁共振成像图像为例：本发明的方法同时分割了左心房、肺静脉、心房疤痕。
本发明使用的递归神经网络方法大大的减少了患者的身体负担和经济负担。也大大提高了检测的效率。并且本发明的方法可以直接从延时钆增强心脏核磁共振成像图像中得到结果，无需附加心脏解剖组织的成像，大大节省了扫描时间和成本。
本发明的递归神经网络方法结合了顺序学习和扩张残差学习来提取多视图特征。
本发明的递归神经网络方法同时还包括了多层级注意力模型可以准确地描绘心房疤痕，可以实现同时分割左心房和肺静脉解剖结构。本发明的方法首次提出了多层级多尺度注意力模型。
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (10)

1.一种基于递归神经网络的图像分析方法，包括：
基于原始三维图像，构建第一多个二维轴向切片图；
通过对多个二维轴向切片图进行卷积运算获得高分辨率特征图，并将特征图堆叠成三维特征图，再将三维特征图切割成轴向、矢状和冠状视图；
通过顺序学习网络处理轴向视图，生成轴向顺序学习特征图；
通过扩张残余网络处理矢状视图，生成矢状学习特征图；
通过扩张残余网络处理冠状视图，生成冠状学习特征图；
基于矢状学习特征图创建第一三维体，并切割成第二多个二维轴向切片；
基于冠状学习特征图创建第二三维体，并切割成第三多个二维轴向切片；
将轴向顺序学习特征图、第二多个二维轴向切片及第三多个二维轴向切片级联形成级联特征映射；
将卷积运算应用于所述级联特征映射以获得融合的多视图特征；以及
将融合的多视图特征与高分辨率特征图结合，进行图像分割。
2.如权利要求1所述的基于递归神经网络的图像分析方法，其特征在于，所述原始三维图像是延时钆增强心脏核磁共振成像LGE-CMRI数据。
3.如权利要求1所述的基于递归神经网络的图像分析方法，其特征在于，所述顺序学习网络包括编码器、解码器以及嵌入的卷积长短期存储器ConvLSTM层。
4.如权利要求3所述的基于递归神经网络的图像分析方法，其特征在于，在编码器路径中包括多个卷积层，每个卷积层之后是修正线性单元ReLU层和局部响应归一化LRN层，以对特征映射进行归一化，所述编码器路径还包括三个最大池化层，用于减少特征图的尺寸。
5.如权利要求3所述的基于递归神经网络的图像分析方法，其特征在于，在解码器路径中，通过双线性插值实现三个上采样层以恢复原始图像大小，并且解码器还包含卷积和局部响应归一化层。
6.如权利要求1所述的基于递归神经网络的图像分析方法，其特征在于，所述扩张残余网络包括四个基于剩余架构的扩张卷积层、修正线性单元层和局部响应归一化层。
7.如权利要求1所述的基于递归神经网络的图像分析方法，其特征在于，所述进行图像分割包括使用三个卷积层执行左心房/肺静脉分割，其中两个卷积层包含24个大小为3×3的内核，每个内核后面跟着一个修正线性单元层和一个局部响应归一化层，在最后一个卷积层，使用3×3卷积将每个像素映射到所需的段，并使用S型激活函数。
8.如权利要求1所述的基于递归神经网络的图像分析方法，其特征在于，还包括：通过扩张注意力网络处理轴向视图，生成注意力特征图；以及
基于生成的注意力特征图，在末端通过三个卷积层进行心房疤痕描绘。
9.如权利要求8所述的基于递归神经网络的图像分析方法，其特征在于，在扩张注意力网络中，注意力由掩模分支提供，掩模分支根据融合的多视图特征自适应地改变。
10.如权利要求9所述的基于递归神经网络的图像分析方法，其特征在于，所述掩模分支包括四个卷积层，前三个卷积层中的每个卷积层后面是修正线性单元层和局部响应归一化层，第四个卷积层连接至S型层，所述S型层将输出标准化为每个通道和空间位置的[0,1]范围，以获得注意力掩模。
CN201811503605.7A 2018-12-10 2018-12-10 基于递归神经网络的图像分析方法 Active CN109598722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811503605.7A CN109598722B (zh) 2018-12-10 2018-12-10 基于递归神经网络的图像分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811503605.7A CN109598722B (zh) 2018-12-10 2018-12-10 基于递归神经网络的图像分析方法

Publications (2)

Publication Number Publication Date
CN109598722A true CN109598722A (zh) 2019-04-09
CN109598722B CN109598722B (zh) 2020-12-08

Family

ID=65962221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811503605.7A Active CN109598722B (zh) 2018-12-10 2018-12-10 基于递归神经网络的图像分析方法

Country Status (1)

Country Link
CN (1) CN109598722B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967514A (zh) * 2016-10-20 2018-04-27 宏达国际电子股份有限公司 卷积网络装置及其影像强化装置与方法
CN110084796A (zh) * 2019-04-24 2019-08-02 徐州云联医疗科技有限公司 一种复杂纹理ct图像的分析方法
CN110458221A (zh) * 2019-08-05 2019-11-15 南开大学 基于在线注意力累积的挖掘目标物体区域的方法
CN110458833A (zh) * 2019-08-15 2019-11-15 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110570416A (zh) * 2019-09-12 2019-12-13 杭州海睿博研科技有限公司 多模态心脏图像的可视化和3d打印的方法
CN110575161A (zh) * 2019-08-27 2019-12-17 复旦大学 基于心脏标测激动序列图的房颤分析预测方法
CN111325766A (zh) * 2020-02-20 2020-06-23 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111340794A (zh) * 2020-03-09 2020-06-26 中山大学 冠状动脉狭窄的量化方法及装置
CN111368899A (zh) * 2020-02-28 2020-07-03 中国人民解放军南部战区总医院 一种基于递归聚合深度学习分割超声心动图的方法和系统
CN111462146A (zh) * 2020-04-16 2020-07-28 成都信息工程大学 一种基于时空智能体的医学图像多模态配准方法
CN111599448A (zh) * 2020-06-12 2020-08-28 杭州海睿博研科技有限公司 特定冠状动脉钙化分析的多视图形状约束系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105478976A (zh) * 2016-01-26 2016-04-13 清华大学 基于动态系统辨识的端接微束等离子焊接成形控制方法
CN106875445A (zh) * 2017-02-15 2017-06-20 深圳市中科微光医疗器械技术有限公司 基于oct影像的支架检测与评估的深度学习方法及系统
CN107358241A (zh) * 2017-06-30 2017-11-17 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US20180108139A1 (en) * 2016-10-19 2018-04-19 U.S. Department Of Veterans Affairs System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks
CN108846820A (zh) * 2018-07-10 2018-11-20 深圳市唯特视科技有限公司 一种基于尺度递归网络的深度图像去模糊方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105478976A (zh) * 2016-01-26 2016-04-13 清华大学 基于动态系统辨识的端接微束等离子焊接成形控制方法
US20180108139A1 (en) * 2016-10-19 2018-04-19 U.S. Department Of Veterans Affairs System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks
CN106875445A (zh) * 2017-02-15 2017-06-20 深圳市中科微光医疗器械技术有限公司 基于oct影像的支架检测与评估的深度学习方法及系统
CN107358241A (zh) * 2017-06-30 2017-11-17 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108846820A (zh) * 2018-07-10 2018-11-20 深圳市唯特视科技有限公司 一种基于尺度递归网络的深度图像去模糊方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967514A (zh) * 2016-10-20 2018-04-27 宏达国际电子股份有限公司 卷积网络装置及其影像强化装置与方法
CN110084796A (zh) * 2019-04-24 2019-08-02 徐州云联医疗科技有限公司 一种复杂纹理ct图像的分析方法
CN110084796B (zh) * 2019-04-24 2023-07-14 徐州市肿瘤医院 一种复杂纹理ct图像的分析方法
CN110458221B (zh) * 2019-08-05 2021-03-16 南开大学 基于在线注意力累积的挖掘目标物体区域的方法
CN110458221A (zh) * 2019-08-05 2019-11-15 南开大学 基于在线注意力累积的挖掘目标物体区域的方法
CN110458833A (zh) * 2019-08-15 2019-11-15 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110575161A (zh) * 2019-08-27 2019-12-17 复旦大学 基于心脏标测激动序列图的房颤分析预测方法
CN110575161B (zh) * 2019-08-27 2021-12-28 复旦大学 基于心脏标测激动序列图的房颤分析预测方法
CN110570416A (zh) * 2019-09-12 2019-12-13 杭州海睿博研科技有限公司 多模态心脏图像的可视化和3d打印的方法
WO2021164280A1 (zh) * 2020-02-20 2021-08-26 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111325766A (zh) * 2020-02-20 2020-06-23 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111325766B (zh) * 2020-02-20 2023-08-25 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111368899A (zh) * 2020-02-28 2020-07-03 中国人民解放军南部战区总医院 一种基于递归聚合深度学习分割超声心动图的方法和系统
CN111340794B (zh) * 2020-03-09 2023-07-04 中山大学 冠状动脉狭窄的量化方法及装置
CN111340794A (zh) * 2020-03-09 2020-06-26 中山大学 冠状动脉狭窄的量化方法及装置
CN111462146A (zh) * 2020-04-16 2020-07-28 成都信息工程大学 一种基于时空智能体的医学图像多模态配准方法
CN111599448A (zh) * 2020-06-12 2020-08-28 杭州海睿博研科技有限公司 特定冠状动脉钙化分析的多视图形状约束系统和方法
CN111599448B (zh) * 2020-06-12 2022-06-10 杭州海睿博研科技有限公司 特定冠状动脉钙化分析的多视图形状约束系统和方法

Also Published As

Publication number Publication date
CN109598722B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN109598722A (zh) 基于递归神经网络的图像分析方法
US11806189B2 (en) Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
Xiao et al. Transformers in medical image segmentation: A review
CN109615636B (zh) Ct影像的肺叶段分割中的血管树构造方法、装置
CN102715906B (zh) 从c臂血管造影术的单扫描估算3d心脏运动的方法和系统
CN109166130A (zh) 一种图像处理方法及图像处理装置
CN110475505A (zh) 利用全卷积网络的自动分割
CN107492071A (zh) 医学图像处理方法及设备
CN109754403A (zh) 一种ct图像内的肿瘤自动分割方法及系统
CN108603922A (zh) 自动心脏体积分割
Harouni et al. Universal multi-modal deep network for classification and segmentation of medical images
CN106991694A (zh) 基于显著区域面积匹配的心脏ct与超声图像配准方法
CN110751651B (zh) 基于多尺度迁移学习的mri胰腺图像分割方法
Wang et al. MMNet: A multi-scale deep learning network for the left ventricular segmentation of cardiac MRI images
CN109727197A (zh) 一种医学图像超分辨率重建方法
CN115239716B (zh) 一种基于形状先验U-Net的医学图像分割方法
Liu et al. Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency
Yang et al. Transferring from ex-vivo to in-vivo: Instrument localization in 3d cardiac ultrasound using pyramid-unet with hybrid loss
CN109741254A (zh) 字典训练及图像超分辨重建方法、系统、设备及存储介质
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN114663445A (zh) 一种基于多尺度边缘感知的三维心脏图像分割方法
CN111105475A (zh) 一种基于正交角度x光的骨骼三维重建方法
Zhang et al. Conditional convolution generative adversarial network for Bi-ventricle segmentation in cardiac MR images
Tran et al. Deep learning-based inpainting for chest X-ray image
CN110570416B (zh) 多模态心脏图像的可视化和3d打印的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200714

Address after: Room 1001-1008, 15 Block 57, Baiyang Street Science Park Road, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant after: HANGZHOU DISHI TECHNOLOGY Co.,Ltd.

Applicant after: DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.

Address before: Room 1001-1008, 15 Block 57, Baiyang Street Science Park Road, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant before: HANGZHOU DISHI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant