CN111462146A - 一种基于时空智能体的医学图像多模态配准方法 - Google Patents

一种基于时空智能体的医学图像多模态配准方法 Download PDF

Info

Publication number
CN111462146A
CN111462146A CN202010302248.9A CN202010302248A CN111462146A CN 111462146 A CN111462146 A CN 111462146A CN 202010302248 A CN202010302248 A CN 202010302248A CN 111462146 A CN111462146 A CN 111462146A
Authority
CN
China
Prior art keywords
image
registration
neural network
images
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010302248.9A
Other languages
English (en)
Inventor
胡靖�
罗梓巍
姚明青
吴锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010302248.9A priority Critical patent/CN111462146A/zh
Publication of CN111462146A publication Critical patent/CN111462146A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种时空智能体的医学图像多模态配准方法，将不同模态的动态图像和固态图像输入到构建好的神经网络中，通过神经网络中的卷积神经网络模块提取图像的高层抽象特征，然后卷积长短时记忆网络模块自动提取高层抽象特征中序列间的时序和空间信息，经过神经网络后输出当前状态值和策略动作的概率分布，时空智能体对动态图像实施概率最大的动作，在当前状态值达到阈值前，循环进行配准，直到循环结束；最后对配准图像进行蒙特卡洛采样得到最终配准结果。本发明的卷积长短时记忆模型通过卷积来捕获图像内部的空间关系和时序信息，配准精度更高。

Description

一种基于时空智能体的医学图像多模态配准方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于时空智能体的医学图像多模态配准方法。
背景技术
多模医学图像处理是当前图像处理中的研究热点，对于临床诊断和治疗都有着重要的意义。不同模态的图像提供了患者的不同信息，解剖图像(如CT、MRI)提供了人体解剖形态结构的信息，功能图像(如SPECT、PET)提供了人体内放射性浓度分布的功能信息，这些不同信息需要通过合成得到信息更为全面的融合图像。而要得到有用的融合图像，不同模态的图像需经配准处理。
医学图像配准是通过寻找某种空间变换，使两幅图像的对应点达到空间位置和解剖结构上的完全一致。要求配准的结构能使两幅图像上所有的解剖点，或至少是所有临床诊断意义区域的点都达到匹配。医学图像的融合是指将至少两幅来自不同成像设备或不同时刻获取的已配准图像，采用某种算法，把各个图像的优点或互补性有机结合起来，获得信息量更丰富的新图像的技术。图像配准是图像融合的第一步，也是实现图像融合的先决条件。只有实现了待融合图像的配准，才能实现相应组织之间的融合，如果对应组织的配准有较大偏差，那么融合图像也是不准确的。
医学图像配准方法有很多种，基本上可分为基于图像外部特征的配准、基于图像内部特征的配准和基于像素灰度的配准。
基于图像外部特征的配准方法是依靠放置在患者身体上的可以显像的人工标记物来确定配准参数。缺点是必须在图像成像阶段使用标记物，因而无法实现图像回溯性配准研究。
相对于基于外部特征配准，基于内部特征的配准具有无创性和可回溯性的优势，图像内部特征可以是已知的标记点对，也可以是可分割的结构线或面。
基于像素灰度的图像配准方法是将每幅图像的灰度值视作一个一维离散随机变量，将图像灰度分布视作随机变量的样本值，直接对图像的灰度操作，不需要预处理和图像分割来提取图像特征。配准过程仅依赖于原始图像信息，不需要人工干预，无需特征点提取或进行曲线或曲面的分割，可靠性较强；对图像灰度不均匀、几何失真及数据缺失等不敏感，算法本身不依赖于成像设备；可用于多模医学图像融合，最大缺点是计算量大且耗时长。
传统的图像配准都是手动设计的，对多模态图像配准的适应性差。手动设计通常是先提取出图像中人工指定的一些特征，如图像梯度、几何形状、边缘、特征点和灰度值等，然后寻找固态图像和动态图像在这些特征间的关系，最后需要针对不同的特征关系设置对应的方法进行配准。
目前深度学习常用的方法是使用卷积神经网络直接估计配准变换矩阵的参数。此类方法需要设置一个相似度测量函数用于描述配准的好坏，通过使用估计的变换矩阵对动态图像进行变换，再通过最大化动态图像和固态图像间的相似度来优化网络参数。相似度测量函数的选择对配准结果的影响往往非常巨大，该函数的设计在当前是一个热门的研究领域。基于深度学习的方法对数据的质量和数量都有很高的要求，但医学图像的配准数据集很难寻找且通常是小数据集。
因此，如何在小数据集的基础上提高医学图像的配准效果成为需要医学图像领域需要解决的难题。
发明内容
针对现有技术之不足，一种基于时空智能体的医学图像多模态配准方法，所述方法包括：
步骤1：准备不同模态的待配准图像，所述待配准图像包括固态图像和动态图像；
步骤2：将所述待配准图像输入到构建好的神经网络中进行特征提取，所述神经网络包括卷积神经网络模块和卷积长短时记忆网络模块；
步骤3：所述待配准图像经过所述神经网络后输出当前状态值和策略活动的概率分布；
步骤4：根据所述策略动作的概率分布，时空智能体根据概率最大的动作对所述动态图像进行动作；
步骤5：环境根据时空智能体实施的动作返回一个奖励值，并将动作后的所述动态图像和固态图像再输入到所述神经网络中，循环步骤2至步骤5；
步骤6：当所述当前状态值达到设定的阈值，停止循环；
步骤7：对当前配准图像进行蒙特卡洛采样并输出最终配准结果。
根据一种具体的实施方式，所述卷积神经网络模块包括：所述卷积网络模块由8-10层卷积层构成，其中每层卷积层后紧接着一个指数线性单元，然后使用归一化层对数据进行规范化处理，输出512个大小为7×7的第一特征图，所述卷积神经网络用于自动提取并压缩所述固态图像和所述动态图像的高层抽象特征，并将所述第一特征图输入卷积长短时网络记忆模块；
所述卷积长短时记忆网络模块由一个单层的卷积长短时记忆网络层、一个全局均值池化层和两个全连接层组成，其中所述卷积长短时记忆网络层使用了512个隐藏单元，输出512个7×7的第二特征图，接着使用全局均值池化层对所述第一特征图进行池化，再使用两个全连接层输出一个长度为8的向量表示动作分布以及一个单独的值作为当前状态值，所述卷积长短时记忆网络模块用于在所述抽象特征的序列间捕获时序和空间信息。
根据一种具体的实施方式，所述状态值通过将一组固态图像和动态图像输入到所述神经网络后使用一个全连接层得到；
所述策略动作的概率分布通过将一组固态图像和动态图像输入到所述神经网络后，再经过一个全连接层输出所有的动作个数，再使用softmax函数得到所有动作的概率分布。
根据一种具体的实施方式，对所述动态图像进行的动作指对动态图像坐标进行仿射变换，所述变换包括旋转、平移和缩放，从而使所述动态图像与所述固态图像配准。
根据一种具体的实施方式，将所述待配准图像输入到所述神经网络之前，对待配准图像进行预处理，所述预处理操作为将固态图像和动态图像放缩或修剪到同样大小尺寸，再堆叠在一起送入构建好的神经网络。
根据一种具体的实施方式，对当前配准图像进行蒙特卡洛采样的具体步骤为：
从当前状态开始，所述智能体同时探索多条配准路径，即所述智能体对当前状态反复配准15次至20次，最后采用反复配准的一个均值作为最终的配准结果。
与现有技术相比，本发明的有益效果在于：
1、本发明是端到端的配准技术，可以自动的提取图像的抽象特征进行配准而无需人工设计特征，配准效率高、效果好。
2、采用基于A3C的异步强化学习避免了一般深度学习方法中需要大量数据集的问题，智能体逐步的进行学习和配准，对不同数据集和图像间不同变换程度的适应性更强，泛化能力更优秀。
3、本发明引入的时空智能体，使用了卷积长短时记忆网络模块自动提取高层抽象特征中的序列间的时序和空间信息，充分的利用了图像间的时序信息和空间信息进行自动配准，使得学习更佳快速，配准效果更加精确。
4、在配准过程中使用蒙特卡洛采样提升最终配准结果。
附图说明
图1是本发明方法的流程示意图；
图2是本发明技术方案的效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
下面结合附图进行详细说明。
本发明的时空智能体是指：一种利用卷积长短时记忆模型同时捕获图像间的时序关系和空间信息以加速学习、并提升图像配准效果的强化学习智能体。
本发明的环境是指：固态图像、动态图像和标准的配准图像构成。
标准的配准图像来源于：华西医院提供了来自99个病人的CT和MR三维扫描图。在使用Elastix进行预配准后，从每个三维图像中截取出6个二维截面，最终得到594对二维的CT和MR图像作为数据集。其中划分出474对图像作为训练集，剩下的120对图像作为测试集。本发明中将MR图像作为固态图像，而对应的CT图像则作为标准的配准图像。标准的配准图像的作用是与最终的配准结果进行对比。
本发明提出的多模态图像配准算法，基于强化学习理论，特别是A3C算法，提出一种时空智能体的方法，包括一种自定义的奖励函数，加入卷积长短时记忆模型，充分利用图像的时空信息，并采用蒙特卡洛采样方法进行图像配准的一种方法。
奖励函数的作用在于每次智能体做出一个配准动作，环境都会给智能体一个奖励，奖励的意义是用于反馈该步动作配准的好坏程度，而智能体基于该奖励会不断的改进和提升配准效果，使得整个配准过程累积的奖励值最大，即配准效果越来越。
本发明使用的自定义的奖励函数的原理是：该奖励函数先计算得到图像的特征点，再由标准的配准图像中的特征点与配准后的浮动图像的对应特征点的欧氏距离作为奖励值。该奖励函数可以很好的反应图像配准的好坏程度。
本发明使用高斯差分(DoG)极值点作为特征点，该高斯差分极值点的计算步骤为：
1、构建多尺度高斯金字塔模型，即在不同大小的图像中对图像使用不同尺度的高斯模糊。
2、在金字塔的相邻两层图像中寻找空间上的极大值或极小值点作为关键点。
3、去除对比度低的点和不稳定的边缘点，将剩下的点作为最终的特征点。
卷积长短时记忆模型是在传统循环神经网络基础上的一种改进，它将传统循环网络中的点积运算替换为了更符合图像处理的卷积运算，使得该结构在捕获时序信息的同时，使用卷积操作来捕获图像内部的空间关系。而这种时空信息的结合有助于更精确的配准。
蒙特卡洛是一种采样方法，它对同一个状态复制多份并同时进行多个动作以得到多个配准结果，再对这些结果取均值作为最终的配准结果，实验表明使用蒙特卡洛采样后的结果要更加精确。
图1为本发明的方法流程图，现结合图1对本发明技术方案进行详细的阐述。
步骤1：准备不同模态的待配准图像，所述待配准图像包括固态图像和动态图像。将所述待配准图像输入到所述神经网络之前，对待配准图像进行预处理，所述预处理操作为将固态图像和动态图像放缩或修剪到同样大小尺寸，再堆叠在一起送入构建好的神经网络。
其中，固态图像和动态图像来源于MRI、CT、SPECT、PET。固态图像和动态图像是来自不同成像设备的图像，或同一成像设备不同时刻的图像。例如：固态图像是MRI图像，动态图像是CT图像；固态图像是PET图像，动态图像是MRI图像。
在实际应用中，根据实际要求选择需要的图像，固态图像和动态图像通常反映不同且互补的信息，以便配准后可以为治疗或分析提供更全面的信息。
步骤2：将所述待配准图像输入到构建好的神经网络中，所述神经网络包括卷积神经网络模块和卷积长短时记忆网络模块；
所述卷积网络模块由8-10层卷积层构成，其中每层卷积层后紧接着一个指数线性单元(ELU)，然后使用归一化层(Layer Normalization)对待配准图像数据进行规范化处理，输出512个大小为7×7的第一特征图，所述卷积神经网络用于自动提取并压缩所述固态图像和所述动态图像的高层抽象特征，并将所述第一特征图输入卷积长短时网络记忆模块；
所述卷积神经网络用于自动提取并压缩所述固态图像和所述动态图像的高层抽象特征，并将高层抽象特征输入卷积长短时网络记忆模块；
所述卷积长短时记忆网络模块由一个单层的卷积长短时记忆网络层、一个全局均值池化层和两个全连接层组成。其中卷积长短时记忆网络循环结构使用了512个隐藏单元，输出512个7×7的第二特征图，与前面卷积神经网络输出的特征图相比，长短时记忆网络输出的特征图包含了更丰富的时间序列信息。接着使用全局均值池化对该特征图进行池化，再使用两个全连接输出一个长度为8的向量表示动作分布以及一个单独的值作为当前状态值。所述卷积长短时记忆网络模块用于在所述抽象特征的序列间捕获时序和空间信息。
通过自动提取抽象特征和捕获时序和空间信息，很好的提升了图像配准的效果，并加速了智能体学习的速度。
步骤3：所述待配准图像经过所述神经网络后输出当前状态值和策略活动的概率分布；
所述状态值通过将一组固态图像和动态图像输入到所述神经网络后使用一个全连接层得到；状态值用于智能体对当前配准状态的一个估计值，表示智能体对当前固态图像和动态图像的配准好坏程度的一个判断。
所述策略动作的概率分布通过将一组固态图像和动态图像输入到所述神经网络后，再经过一个全连接层输出所有的动作个数，再使用softmax函数得到所有动作的概率分布。
概率分布表示当前状态下智能体对所有可能的动作对应的概率估计，策略动作为当前状态下智能体要选择进行的动作，动作表示培训所需要的旋转、平移、缩放等操作。
步骤4：根据所述策略动作的概率分布，将概率最大的动作作为下一次的动作，智能体根据概率最大的动作对所述动态图像进行动作。
对所述动态图像进行的动作指对动态图像坐标进行仿射变换，所述变换包括旋转、平移和缩放，从而使动态图像与固态图像配准。
步骤5：环境根据智能体实施的动作返回一个奖励值，并将动作后的所述动态图像和固态图像输入到所述神经网络中，循环步骤2至步骤5；
步骤6：当所述当前状态值达到设定的阈值，停止循环；
该阈值通常设置为训练时当环境中动态图像已经与固态图像配准好时所返回的一个常数值，本发明中该值凭经验设置为10
步骤7：对当前配准图像进行蒙特卡洛采样并输出最终配准结果。
对当前配准图像进行蒙特卡洛采样的具体步骤为：从当前状态开始，同时探索多条配准路径，即智能体对当前状态反复配准多次,根据具体情况,同时探索,15次至20次.，且设置每次配准的深度为10步，最后采用多次配准的一个均值作为最终的配准结果。
图2是本发明技术方案的效果对比图。
如图2所示，(a)列表示固态图像，(b)列表示动态图像，(c)列表示标准的配准图像，(e)列为实用监督学习方法配准的图像，(f)列表示使用AIRNet网络配准的图像，(g)列为使用强化学习DQN方法加LSTM结构方法配准的图像，(h)列为使用强化学习的A3C方法加LSTM结构配准的图像，(i)列为本申请所提出方法得到的结果。
如图2所示，从直观上看，本发明方法得到的配准图像与现有其他配准图像相比，本发明配准得到的图像更加接近标准的配准图像，细节结构更加清晰，配准性能更好。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (6)

1.一种基于时空智能体的医学图像多模态配准方法，其特征在于，所述方法包括：
步骤1：准备不同模态的待配准图像，所述待配准图像包括固态图像和动态图像；
步骤2：将所述待配准图像输入到构建好的神经网络中进行特征提取，所述神经网络包括卷积神经网络模块和卷积长短时记忆网络模块；
步骤3：所述待配准图像经过所述神经网络后输出当前状态值和策略活动的概率分布；
步骤4：根据所述策略动作的概率分布，时空智能体根据概率最大的动作对所述动态图像进行动作；
步骤5：环境根据时空智能体实施的动作返回一个奖励值，并将动作后的所述动态图像和固态图像再输入到所述神经网络中，循环步骤2至步骤5；
步骤6：当所述当前状态值达到设定的阈值，停止循环；
步骤7：对当前配准图像进行蒙特卡洛采样并输出最终配准结果。
2.如权利要求1所述的医学图像多模态配准方法，其特征在于，所述方法包括：
所述卷积神经网络模块包括：所述卷积网络模块由8-10层卷积层构成，其中每层卷积层后紧接着一个指数线性单元，然后使用归一化层对数据进行规范化处理，输出512个大小为7×7的第一特征图，所述卷积神经网络用于自动提取并压缩所述固态图像和所述动态图像的高层抽象特征，并将所述第一特征图输入卷积长短时网络记忆模块；
所述卷积长短时记忆网络模块由一个单层的卷积长短时记忆网络层、一个全局均值池化层和两个全连接层组成，其中所述卷积长短时记忆网络层使用了512个隐藏单元，输出512个7×7的第二特征图，接着使用全局均值池化层对所述第一特征图进行池化，再使用两个全连接层输出一个长度为8的向量表示动作分布以及一个单独的值作为当前状态值，所述卷积长短时记忆网络模块用于在所述抽象特征的序列间捕获时序和空间信息。
3.如权利要求2所述的医学图像多模态配准方法，其特征在于，
所述状态值通过将一组固态图像和动态图像输入到所述神经网络后使用一个全连接层得到；
所述策略动作的概率分布通过将一组固态图像和动态图像输入到所述神经网络后，再经过一个全连接层输出所有的动作个数，再使用softmax函数得到所有动作的概率分布。
4.如权利要求3所述的医学图像多模态配准方法，其特征在于，对所述动态图像进行的动作指对动态图像坐标进行仿射变换，所述变换包括旋转、平移和缩放，从而使所述动态图像与所述固态图像配准。
5.如权利要求4所述的医学图像多模态配准方法，其特征在于，将所述待配准图像输入到所述神经网络之前，对待配准图像进行预处理，所述预处理操作为将固态图像和动态图像放缩或修剪到同样大小尺寸，再堆叠在一起送入构建好的神经网络。
6.如权利要求5所述的医学图像多模态配准方法，其特征在于，对当前配准图像进行蒙特卡洛采样的具体步骤为：
从当前状态开始，所述智能体同时探索多条配准路径，即所述智能体对当前状态反复配准15次至20次，最后采用反复配准的一个均值作为最终的配准结果。
CN202010302248.9A 2020-04-16 2020-04-16 一种基于时空智能体的医学图像多模态配准方法 Withdrawn CN111462146A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010302248.9A CN111462146A (zh) 2020-04-16 2020-04-16 一种基于时空智能体的医学图像多模态配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010302248.9A CN111462146A (zh) 2020-04-16 2020-04-16 一种基于时空智能体的医学图像多模态配准方法

Publications (1)

Publication Number Publication Date
CN111462146A true CN111462146A (zh) 2020-07-28

Family

ID=71680285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010302248.9A Withdrawn CN111462146A (zh) 2020-04-16 2020-04-16 一种基于时空智能体的医学图像多模态配准方法

Country Status (1)

Country Link
CN (1) CN111462146A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370161A (zh) * 2020-10-12 2021-02-19 珠海横乐医学科技有限公司 基于超声图像特征平面检测的手术导航方法及介质
CN112598028A (zh) * 2020-12-10 2021-04-02 上海鹰瞳医疗科技有限公司 眼底图像配准模型训练方法、眼底图像配准方法和装置
CN113643339A (zh) * 2021-08-13 2021-11-12 上海应用技术大学 基于强化学习的近红外和可见光遥感图像配准方法
CN114170134A (zh) * 2021-11-03 2022-03-11 杭州脉流科技有限公司 基于颅内dsa影像的狭窄评估方法及装置
KR102595646B1 (ko) * 2023-03-16 2023-10-30 (주)해우기술 심층신경망과 몬테카를로 드롭아웃을 이용한 고막 질병 예측 모델 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN109598722A (zh) * 2018-12-10 2019-04-09 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN110009669A (zh) * 2019-03-22 2019-07-12 电子科技大学 一种基于深度强化学习的3d/2d医学图像配准方法
CN110211165A (zh) * 2019-06-10 2019-09-06 成都信息工程大学 一种基于异步深度强化学习的图像多模态配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN109598722A (zh) * 2018-12-10 2019-04-09 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN110009669A (zh) * 2019-03-22 2019-07-12 电子科技大学 一种基于深度强化学习的3d/2d医学图像配准方法
CN110211165A (zh) * 2019-06-10 2019-09-06 成都信息工程大学 一种基于异步深度强化学习的图像多模态配准方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370161A (zh) * 2020-10-12 2021-02-19 珠海横乐医学科技有限公司 基于超声图像特征平面检测的手术导航方法及介质
CN112598028A (zh) * 2020-12-10 2021-04-02 上海鹰瞳医疗科技有限公司 眼底图像配准模型训练方法、眼底图像配准方法和装置
CN112598028B (zh) * 2020-12-10 2022-06-07 上海鹰瞳医疗科技有限公司 眼底图像配准模型训练方法、眼底图像配准方法和装置
CN113643339A (zh) * 2021-08-13 2021-11-12 上海应用技术大学 基于强化学习的近红外和可见光遥感图像配准方法
CN113643339B (zh) * 2021-08-13 2024-02-02 上海应用技术大学 基于强化学习的近红外和可见光遥感图像配准方法
CN114170134A (zh) * 2021-11-03 2022-03-11 杭州脉流科技有限公司 基于颅内dsa影像的狭窄评估方法及装置
KR102595646B1 (ko) * 2023-03-16 2023-10-30 (주)해우기술 심층신경망과 몬테카를로 드롭아웃을 이용한 고막 질병 예측 모델 시스템

Similar Documents

Publication Publication Date Title
CN107784647B (zh) 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN111462146A (zh) 一种基于时空智能体的医学图像多模态配准方法
Li et al. Dilated-inception net: multi-scale feature aggregation for cardiac right ventricle segmentation
Zhao et al. A novel U-Net approach to segment the cardiac chamber in magnetic resonance images with ghost artifacts
Ammar et al. Automatic cardiac cine MRI segmentation and heart disease classification
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN109685768B (zh) 基于肺部ct序列的肺结节自动检测方法及系统
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN111862136A (zh) 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN111242959A (zh) 基于卷积神经网络的多模态医学图像的目标区域提取方法
Wang et al. MMNet: A multi-scale deep learning network for the left ventricular segmentation of cardiac MRI images
Wang et al. Nested dilation network (NDN) for multi-task medical image segmentation
Chen et al. Skin lesion segmentation using recurrent attentional convolutional networks
Ammari et al. A review of approaches investigated for right ventricular segmentation using short‐axis cardiac MRI
Rehman et al. Liver lesion segmentation using deep learning models
Yuan et al. ResD-Unet research and application for pulmonary artery segmentation
Liu et al. MESTrans: Multi-scale embedding spatial transformer for medical image segmentation
He et al. Automatic left ventricle segmentation from cardiac magnetic resonance images using a capsule network
Jafari et al. LMISA: A lightweight multi-modality image segmentation network via domain adaptation using gradient magnitude and shape constraint
Furuzuki et al. A detection method for liver cancer region based on faster R-CNN
CN111986216B (zh) 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法
CN116128876B (zh) 一种基于异构域的医学图像分类方法和系统
Zhu et al. 3D pyramid pooling network for abdominal MRI series classification
Samudrala et al. Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200728