CN109285200A - 一种基于人工智能的多模态医学影像的转换方法 - Google Patents

一种基于人工智能的多模态医学影像的转换方法 Download PDF

Info

Publication number
CN109285200A
CN109285200A CN201810964611.6A CN201810964611A CN109285200A CN 109285200 A CN109285200 A CN 109285200A CN 201810964611 A CN201810964611 A CN 201810964611A CN 109285200 A CN109285200 A CN 109285200A
Authority
CN
China
Prior art keywords
image
medical image
mode
layer
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810964611.6A
Other languages
English (en)
Other versions
CN109285200B (zh
Inventor
李贵
张海平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lianye Intelligent Technology Co ltd
Original Assignee
Shanghai Lianye Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lianye Intelligent Technology Co ltd filed Critical Shanghai Lianye Intelligent Technology Co ltd
Priority to CN201810964611.6A priority Critical patent/CN109285200B/zh
Publication of CN109285200A publication Critical patent/CN109285200A/zh
Application granted granted Critical
Publication of CN109285200B publication Critical patent/CN109285200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Epidemiology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于医学图像技术领域，涉及一种基于人工智能的不同模态医学影像的转换方法、设备和存储介质。该方法包括如下步骤：准备训练数据集；训练神经网络模型；把预处理后的第一模态医学图像输入到训练好的深度卷积神经网络模型中进行前向计算并输出第二模态的医学影像。通过本发明提供的基于神经网络的不同模态医学影像的转换方法，采用来自相同成像设备和相同患者的影像，使得深度学习的效率提高；在准备训练数据集的过程中，采用三维重建、配准和分割的方式，保证了第一模态影像与第二模态影像的对应图像高度匹配；另外，本发明对训练图像划分为若干图像块，降低了整张输入训练图片对硬件设备的要求。

Description

一种基于人工智能的多模态医学影像的转换方法
技术领域
本发明属于医学图像技术领域，涉及一种基于人工智能的不同模态医学影像的转换方法、设备和存储介质。
背景技术
在医学领域，使用多种混合成像方式有助于对目标区域(例如肿瘤或损伤处)进行定位或测量，例如使用计算机断层摄影扫描仪(CT)和磁共振仪(MR)能够分别用于人体内的内部结构(例如，骨、脊柱等)和软组织结构(例如，脑、脉管系统、关节等)的成像。而正电子发射断层成像(PET)或单光子发射计算机断层成像(SPECT)则分别用于创建指示身体的组织内的代谢活动和生化过程的功能图像。然而，同时拍摄多种模态的相片却并非易事，一、并非所有的医院都采购有多模态一体成像设备；且部分多模态成像设备尚未开发或应用于临床；二、在已经采集了某种成像模态的情况下，如果增加其他模态的成像，可能增加患者的经济负担。
CN107209945A《使用机器学习的用于医学成像的转化的系统和方法》中利用机器学习的方法生成感兴趣区域的医学图像；然而该方法可能很难实现，一方面：因为本发明在进行机器学习训练的过程中，没有对目标器官进行标记，无法实现对不同器官或组成的识别；另一方面：数据库中的各训练图像不能达到用作机器学习输入图像的标准，该发明中采用的训练数据来自于追溯到数年的图像的医院逐系统数据库、来自国家收集的图像的存储库、来自保险公司的图像的集合等；而即使是同种训练图像(例如都是CT图像)也是由不同的医学成像设备采集，由于机器本身的差别较大，基本无法实现后续的训练。
对于同一种成像模态，如果采用不同的成像设备产生的训练集，器官组织名称等需要进行标准化，另外，两种模态间的采集顺序可能不一致而需要对训练图像进行勾画或分割；这都会导致训练数据集处理繁琐，影响机器学习的精度和速度。
发明内容
本发明的目的在于为克服上述现有技术的缺陷而提供一种基于人工智能的不同模态医学影像的转换方法、设备和存储介质。
为实现上述目的，本发明采用以下技术方案：
一种基于人工智能的不同模态医学影像的转换方法，适于在计算设备中执行，包括如下步骤：
(1)准备训练数据集；
(1a)输入训练数据，所述的训练数据包含若干组具有相同感兴趣区域的第一模态以及与第一模态对应的第二模态的医学影像；
(1b)将训练数据进行预处理；
(1c)判断每组数据影像中不同模态的各层影像是否互相匹配；
若每组数据影像中不同模态的各层影像互相匹配，则将对应各层训练图片分别划分成多个2D图像块(patch)；
若每组数据影像中不同模态的各层影像没有完全相互匹配，则将每组数据中第一模态的影像进行三维重建、配准后再进行切分，获得包含m层第一模态影像的集合使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；或者对第二模态影像进行三维重建、配准后再切分，使第二模态医学影像中每层切片影像与同组中对应的第一模态医学影像匹配；或者对第一、第二模态影像分别进行三维重建、配准和切分，使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；并将各对应切片层训练图片分别划分成多个3D图像块(patch)；
(2)训练神经网络；
(2a)用准备好的图像块训练集训练神经网路模型
训练过程中分割每个图像块中不同模态的医学影像中感兴趣区域的对应位置，通过神经网路模型前向计算出输出图像，并且与真实掩莫图像进行相似度比较，进一步通过反向传播调节神经网络的参数；
(2b)当验证数据集的图像相似度LOSS值小于等于设定阈值时，模型停止迭代，保存模型，得到训练好的深度卷积神经网络模型。
(3)把预处理后的第一模态医学图像输入到训练好的深度卷积神经网络模型中进行前向计算并输出第二模态的医学影像。
本发明实施例中进一步优选地，步骤(1)中，所述的预处理包括通过阈值处理以消除医学影像中金属伪影的影响、和/或对医学影像进行插值处理以统一医学影像不同平面的分辨率。
所述的医学影像为：核磁影像、CT影像、PET影像或超声波影像、
训练数据中，每组第一模态影像与第二模态影像来自相同的患者；且同种模态的医学影像采用同一台设备采集。
所述的划分为随机划分或规则划分；
所述的随机划分为任意选取医学影像固定大小的不同区域的图像块作为神经网络的训练图片；不同的图像块之间可能有部分重合。
所述的规则划分为：将训练图像按照设定的尺寸和步长依次划分为不同的图像块。
所述的神经网络为全卷积神经网络，包含输入层，下采样卷积层，上采样卷积层，输出层。
所述的全卷积神经网络中，每个下采样层成包含卷积层，激活函数，batch正则化，池化层；每个上采样层包含转置卷积层，激活函数，batch正则化。
所述的全卷积神经网络中卷积层采用Xavier函数、He_normal函数、Random_normal函数、Glorot_normal函数或truncated_normal函数初始化权重，选用RELU函数作为激活函数。
所述的训练包括前向传播和反向传播，一次前向传播和反向传播为一次迭代。
本发明还提供了一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于上述基于人工智能的不同模态医学影像的转换方法的指令。
本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述基于人工智能的不同模态医学影像的转换方法。
本发明具有以下有益效果：
通过本发明提供的基于人工智能的不同模态医学影像的转换方法，采用来自相同成像设备和相同患者的影像，使得深度学习的效率提高；在准备训练数据集的过程中，采用三维重建、配准和分割的方式，保证了第一模态影像与第二模态影像的对应图像高度匹配；另外本发明对训练图像划分为若干图像块，降低了整张输入训练图片对硬件设备的要求。因为训练数据使用同一病人不同模态的相同感兴趣区域的切片，因此在神经网络学习的过程中无需对训练图像进行分割或勾画，大大提高学习的效率。
附图说明
图1为本发明一个示例实施例中基于人工智能的不同模态医学影像的转换方法流程图。
具体实施方式
以下结合附图和实施例进一步说明本发明。
如图1所示的一种基于人工智能的不同模态医学影像的转换方法，适于在计算设备中执行，包括如下步骤：
步骤210，准备训练数据集；
步骤211，输入训练数据，其中训练数据包含若干组具有相同感兴趣区域的第一模态以及与第一模态对应的第二模态的医学影像；
其中本实施例中的医学影像为：核磁影像、CT影像、PET影像或超声波影像；第一模态影像与第二模态影像的种类不同。
步骤212，将训练数据进行预处理；
本实施例中优选地，预处理包括通过阈值处理以消除医学影像中金属伪影的影响、和/或对医学影像进行插值处理以统一医学影像不同平面的分辨率。
步骤213，判断每组数据影像中不同模态的各层影像是否互相匹配。本实施例中优选地，匹配是指每组医学影像中，不同模态的各层切片中的器官、组织相同，且拍摄角度相同或近似相同。
如果是，则进行步骤214，将对应各层训练图片分别划分成多个2D图像块。
如果否，则进行步骤215，对第一模态或/和第二模态的影响进行三维重建，然后切分，使每组训练图像中两个模态对应各层图片匹配；其中本实施中优选的，有三种重建切分方式：
方式一：将每组数据中第一模态的影像进行三维重建、配准后再进行切分，获得包含m层第一模态影像的集合使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；
方式二：将每组数据中第二模态影像进行三维重建、配准后再切分，使第二模态医学影像中每层切片影像与同组中对应的第一模态医学影像匹配；
方式三：将每组数据中第一、第二模态影像分别进行三维重建、配准和切分，使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；
然后进行步骤216，将各对应切片层训练图片分别划分成多个3D图像块；
本实施例中优选地，每组第一模态影像与第二模态影像来自相同的患者；且各组间同种模态的医学影像采用同一台设备采集；从而避免因设备差异造成的训练数据误差。在一个示例实施例中，通过本发明提供的基于人工智能的不同模态医学影像的转换方法将CT影像转换为核磁影像，用作训练数据的同一组中第一模态的CT影像与第二模态的MR影像来自同一个患者，每组中分别包含若干张具有相同感兴趣区域的第一模态与第二模态影像。
因为一张CT或核磁影像等医学影像中包含的数据信息较大，所以如果直接将整张影像输入到神经网络中，造成神经网络一次学习的参数过多，对计算机硬件条件要求较高。因此本实施例中将训练图像进行划分，即裁切成若干图像块后再输入神经网络中进行学习。在本发明一个示例性实施例中，划分方法为随机划分或规则划分；随机划分为任意选取医学影像固定大小的不同区域的图像块作为神经网络的训练输入图片；规则划分为：将训练图像按照设定的尺寸和步长依次划分为不同的图像块。
步骤220，训练神经网络；
在本发明一个优选的实施例中，神经网络为全卷积神经网络，包含输入层，下采样卷积层，上采样卷积层，输出层；进一步优选地，全卷积神经网络中，每个下采样层成包含卷积层，激活函数，batch正则化，池化层；每个上采样层包含转置卷积层，激活函数，batch正则化。
本实施例中可选地，全卷积神经网络中，卷积层采用Xavier函数、He_normal函数、Random_normal函数、Glorot_normal函数或truncated_normal函数初始化权重；选用RELU函数作为激活函数。
步骤221，用准备好的图像块训练集训练神经网路模型
训练过程中分割每个图像块中不同模态的医学影像中感兴趣区域的对应位置，通过神经网路模型前向计算出输出图像，并且与真实掩莫图像进行相似度比较，进一步通过反向传播调节神经网络的参数；换言之，上述训练过程包括前向传播和反向传播，一次前向传播和反向传播为一次迭代。
步骤222，当验证数据集的LOSS值小于等于设定阈值时，模型停止迭代，保存模型，得到训练好的深度卷积神经网络模型。
步骤230，把预处理后的第一模态医学图像输入到训练好的深度卷积神经网络模型中做前向计算并输出第二模态的医学影像。
本发明还提供一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于上述实施例中基于人工智能的不同模态医学影像的转换方法的指令，其中该方法包括如下步骤：
(1)准备训练数据集；
(1a)输入训练数据，所述的训练数据包含若干组具有相同感兴趣区域的第一模态以及与第一模态对应的第二模态的医学影像；
(1b)将训练数据进行预处理；
(1c)判断每组数据影像中不同模态的各层影像是否互相匹配；
若每组数据影像中不同模态的各层影像互相匹配，则将对应各层训练图片分别划分成多个2D图像块；
若每组数据影像中不同模态的各层影像没有完全相互匹配，则将每组数据中第一模态的影像进行三维重建、配准后再进行切分，获得包含m层第一模态影像的集合使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；或者对第二模态影像进行三维重建、配准后再切分，使第二模态医学影像中每层切片影像与同组中对应的第一模态医学影像匹配；或者对第一、第二模态影像分别进行三维重建、配准和切分，使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；并将各对应切片层训练图片分别划分成多个3D图像块；
(2)训练神经网络；
(2a)用准备好的图像块训练集训练神经网路模型
训练过程中分割每个图像块中不同模态的医学影像中感兴趣区域的对应位置，通过神经网路模型前向计算出输出图像，并且与真实掩莫图像进行相似度比较，进一步通过反向传播调节神经网络的参数；
(2b)当验证数据集的LOSS值小于等于设定阈值时，模型停止迭代，保存模型，得到训练好的深度卷积神经网络模型。
(3)把预处理后的第一模态医学图像输入到训练好的深度卷积神经网络模型中做前向计算并输出第二模态的医学影像。
本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述实施例中基于人工智能的不同模态医学影像的转换方法，该方法包括如下步骤：
(1)准备训练数据集；
(1a)输入训练数据，所述的训练数据包含若干组具有相同感兴趣区域的第一模态以及与第一模态对应的第二模态的医学影像；
(1b)将训练数据进行预处理；
(1c)判断每组数据影像中不同模态的各层影像是否互相匹配；
若每组数据影像中不同模态的各层影像互相匹配，则将对应各层训练图片分别划分成多个2D图像块；
若每组数据影像中不同模态的各层影像没有完全相互匹配，则将每组数据中第一模态的影像进行三维重建、配准后再进行切分，获得包含m层第一模态影像的集合A＝{〖A〗_1,…〖A〗_m}_(n＝1)^m，使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像B＝{〖B〗_1,…〖B〗_m}_(n＝1)^m匹配；或者对第二模态影像进行三维重建、配准后再切分，使第二模态医学影像中每层切片影像与同组中对应的第一模态医学影像匹配；或者对第一、第二模态影像分别进行三维重建、配准和切分，使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；并将各对应切片层训练图片分别划分成多个3D图像块；
(2)训练神经网络；
(2a)用准备好的图像块训练集训练神经网路模型
训练过程中标记分割每个图像块中不同模态的医学影像中感兴趣区域的对应位置，通过神经网路模型前向计算出输出图像，并且与真实掩莫图像进行相似度比较，进一步通过反向传播调节神经网络的参数对比训练图像与真实图像的相似度，进一步通过反向传播调节神经网络的参数；
(2b)当验证数据集的loss LOSS值小于等于设定阈值时，模型停止迭代，保存模型，得到训练好的深度卷积神经网络模型。
(3)把预处理后的第一模态医学图像输入到训练好的深度卷积神经网络模型中进行前向计算并输出中变换为第二模态的医学影像。
应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
本领域的技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的不同模态医学影像的转换方法，适于在计算设备中执行，其特征在于：包括如下步骤：
(1)准备训练数据集；
(1a)输入训练数据，所述的训练数据包含若干组具有相同感兴趣区域的第一模态以及与第一模态对应的第二模态的医学影像；
(1b)将训练数据进行预处理；
(1c)判断每组数据影像中不同模态的各层影像是否互相匹配；
若每组数据影像中不同模态的各层影像互相匹配，则将对应各层训练图片分别划分成多个2D图像块；
若每组数据影像中不同模态的各层影像没有完全相互匹配，则将每组数据中第一模态的影像进行三维重建、配准后再进行切分，获得包含m层第一模态影像的集合使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；或者对第二模态影像进行三维重建、配准后再切分，使第二模态医学影像中每层切片影像与同组中对应的第一模态医学影像匹配；或者对第一、第二模态影像分别进行三维重建、配准和切分，使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；并将各对应切片层训练图片分别划分成多个3D图像块；
(2)训练神经网络；
(2a)用准备好的图像块训练集训练神经网路模型
训练过程中分割每个图像块中不同模态的医学影像中感兴趣区域的对应位置，通过神经网路模型前向计算出输出图像，并且与真实掩莫图像进行相似度比较，进一步通过反向传播调节神经网络的参数；
(2b)当验证数据集的LOSS值小于等于设定阈值时，模型停止迭代，保存模型，得到训练好的深度卷积神经网络模型；
(3)把预处理后的第一模态医学图像输入到训练好的深度卷积神经网络模型中进行前向计算并输出第二模态的医学影像。
2.根据权利要求1所述的基于人工智能的不同模态医学影像的转换方法，其特征在于：步骤(1b)中，所述的预处理包括通过阈值处理以消除医学影像中金属伪影的影响、和/或对医学影像进行插值处理以统一医学影像不同平面的分辨率。
3.根据权利要求1所述的基于人工智能的不同模态医学影像的转换方法，其特征在于：所述的医学影像为：核磁影像、CT影像、PET影像或超声波影像。
4.根据权利要求1所述的基于人工智能的不同模态医学影像的转换方法，其特征在于：训练数据中，每组第一模态影像与第二模态影像来自相同的患者；且同种模态的医学影像采用同一台设备采集。
5.根据权利要求1所述的基于人工智能的不同模态医学影像的转换方法，其特征在于：所述的划分为随机划分或规则划分；
所述的随机划分为任意选取医学影像固定大小的不同区域的图像块作为神经网络的训练输入图片；
所述的规则划分为：将训练图像按照设定的尺寸和步长依次划分为不同的图像块。
6.根据权利要求1所述的基于人工智能的不同模态医学影像的转换方法，其特征在于：所述的神经网络为全卷积神经网络，包含输入层，下采样卷积层，上采样卷积层，输出层。
7.根据权利要求6所述的基于人工智能的不同模态医学影像的转换方法，其特征在于：所述的全卷积神经网络中，每个下采样层成包含卷积层，激活函数，batch正则化，池化层；每个上采样层包含转置卷积层，激活函数，batch正则化。
8.根据权利要求7所述的基于人工智能的不同模态医学影像的转换方法，其特征在于：所述的全卷积神经网络中，卷积层采用Xavier函数、He_normal函数、Random_normal函数、Glorot_normal函数或truncated_normal函数初始化权重，选用RELU函数作为激活函数。
9.一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于上述权利要求1-8中任一所述的基于人工智能的不同模态医学影像的转换方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述权利要求1-8中任一所述的基于人工智能的不同模态医学影像的转换方法。
CN201810964611.6A 2018-08-23 2018-08-23 一种基于人工智能的多模态医学影像的转换方法 Active CN109285200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810964611.6A CN109285200B (zh) 2018-08-23 2018-08-23 一种基于人工智能的多模态医学影像的转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810964611.6A CN109285200B (zh) 2018-08-23 2018-08-23 一种基于人工智能的多模态医学影像的转换方法

Publications (2)

Publication Number Publication Date
CN109285200A true CN109285200A (zh) 2019-01-29
CN109285200B CN109285200B (zh) 2023-03-14

Family

ID=65182956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810964611.6A Active CN109285200B (zh) 2018-08-23 2018-08-23 一种基于人工智能的多模态医学影像的转换方法

Country Status (1)

Country Link
CN (1) CN109285200B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409503A (zh) * 2018-09-27 2019-03-01 深圳市铱硙医疗科技有限公司 神经网络的训练方法、图像转换方法、装置、设备及介质
CN109918951A (zh) * 2019-03-12 2019-06-21 中国科学院信息工程研究所 一种基于层间融合的人工智能处理器侧信道防御系统
CN109961491A (zh) * 2019-04-12 2019-07-02 上海联影医疗科技有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
CN110321946A (zh) * 2019-06-27 2019-10-11 郑州大学第一附属医院 一种基于深度学习的多模态医学影像识别方法及装置
CN111145147A (zh) * 2019-12-14 2020-05-12 中国科学院深圳先进技术研究院 多模态医学图像的分割方法及终端设备
CN111784788A (zh) * 2020-06-04 2020-10-16 深圳深透医疗科技有限公司 一种基于深度学习的pet快速成像方法和系统
CN112306343A (zh) * 2020-10-15 2021-02-02 复旦大学附属中山医院 多模医学影像悬浮窗的设置方法、终端及存储介质
CN112862727A (zh) * 2021-03-16 2021-05-28 上海壁仞智能科技有限公司 一种跨模态图像转换方法及装置
CN113205566A (zh) * 2021-04-23 2021-08-03 复旦大学 基于深度学习的腹部三维医学影像转换生成方法
CN113689369A (zh) * 2021-07-06 2021-11-23 清华大学 一种基于深度学习的医学分割多阶段融合方法及装置
CN113850710A (zh) * 2021-08-16 2021-12-28 中山大学 一种跨模态医学影像精准转换方法
WO2022077858A1 (zh) * 2020-10-15 2022-04-21 复旦大学附属中山医院 基于深度学习体征结构的全模态医学影像序列分组方法
WO2023060735A1 (zh) * 2021-10-11 2023-04-20 中国科学院深圳先进技术研究院 图像生成模型训练及图像生成方法、装置、设备和介质
CN113850710B (zh) * 2021-08-16 2024-05-24 中山大学 一种跨模态医学影像精准转换方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENG-BIN JIN 等: "Deep CT to MR Synthesis using Paired and Unpaired Data", 《HTTPS：//WWW.ARXIV.COM》 *
JELMER M. WOLTERINK: "Deep MR to CT Synthesis using Unpaired Data", 《HTTPS://WWW.ARXIV.COM》 *
王媛媛等: "基于卷积神经网络的PET/CT多模态图像识别研究", 《电视技术》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409503A (zh) * 2018-09-27 2019-03-01 深圳市铱硙医疗科技有限公司 神经网络的训练方法、图像转换方法、装置、设备及介质
CN109409503B (zh) * 2018-09-27 2020-07-24 深圳市铱硙医疗科技有限公司 神经网络的训练方法、图像转换方法、装置、设备及介质
CN109918951A (zh) * 2019-03-12 2019-06-21 中国科学院信息工程研究所 一种基于层间融合的人工智能处理器侧信道防御系统
CN109961491A (zh) * 2019-04-12 2019-07-02 上海联影医疗科技有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
CN109961491B (zh) * 2019-04-12 2023-05-26 上海联影医疗科技股份有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
CN110321946A (zh) * 2019-06-27 2019-10-11 郑州大学第一附属医院 一种基于深度学习的多模态医学影像识别方法及装置
CN111145147A (zh) * 2019-12-14 2020-05-12 中国科学院深圳先进技术研究院 多模态医学图像的分割方法及终端设备
CN111145147B (zh) * 2019-12-14 2023-08-22 中国科学院深圳先进技术研究院 多模态医学图像的分割方法及终端设备
CN111784788A (zh) * 2020-06-04 2020-10-16 深圳深透医疗科技有限公司 一种基于深度学习的pet快速成像方法和系统
WO2022077858A1 (zh) * 2020-10-15 2022-04-21 复旦大学附属中山医院 基于深度学习体征结构的全模态医学影像序列分组方法
CN112306343A (zh) * 2020-10-15 2021-02-02 复旦大学附属中山医院 多模医学影像悬浮窗的设置方法、终端及存储介质
CN112862727A (zh) * 2021-03-16 2021-05-28 上海壁仞智能科技有限公司 一种跨模态图像转换方法及装置
CN113205566A (zh) * 2021-04-23 2021-08-03 复旦大学 基于深度学习的腹部三维医学影像转换生成方法
CN113689369A (zh) * 2021-07-06 2021-11-23 清华大学 一种基于深度学习的医学分割多阶段融合方法及装置
CN113689369B (zh) * 2021-07-06 2022-12-02 清华大学 一种基于深度学习的医学分割多阶段融合方法及装置
CN113850710A (zh) * 2021-08-16 2021-12-28 中山大学 一种跨模态医学影像精准转换方法
CN113850710B (zh) * 2021-08-16 2024-05-24 中山大学 一种跨模态医学影像精准转换方法
WO2023060735A1 (zh) * 2021-10-11 2023-04-20 中国科学院深圳先进技术研究院 图像生成模型训练及图像生成方法、装置、设备和介质

Also Published As

Publication number Publication date
CN109285200B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN109285200A (zh) 一种基于人工智能的多模态医学影像的转换方法
Han et al. GAN-based synthetic brain MR image generation
Chen et al. Fully automated multiorgan segmentation in abdominal magnetic resonance imaging with deep neural networks
US11100647B2 (en) 3-D convolutional neural networks for organ segmentation in medical images for radiotherapy planning
US9965873B2 (en) Systems and methods for data and model-driven image reconstruction and enhancement
Zhang et al. Multi-needle detection in 3D ultrasound images using unsupervised order-graph regularized sparse dictionary learning
CN107123095A (zh) 一种pet图像重建方法、成像系统
CN103679801A (zh) 一种基于多视角x光片的心血管三维重建方法
CN108460813A (zh) 一种靶区勾画方法和装置
CN110415252A (zh) 一种基于cnn的眼周器官分割方法、设备和存储介质
Liu et al. MAGAN: mask attention generative adversarial network for liver tumor CT image synthesis
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
Sun et al. Building a patient-specific model using transfer learning for four-dimensional cone beam computed tomography augmentation
CN105976339A (zh) 一种基于高斯模型自动去除ct图像中床板的方法及装置
Danilov et al. Boosting segmentation accuracy of the deep learning models based on the synthetic data generation
Patel et al. Improved automatic bone segmentation using large-scale simulated ultrasound data to segment real ultrasound bone surface data
Song et al. Super-resolution PET using a very deep convolutional neural network
CN116958094A (zh) 一种动态增强磁共振影像特征生成病理图像特征的方法
Fan et al. MI-Net: A deep network for non-linear ultrasound computed tomography reconstruction
WO2022163513A1 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
CN113052840B (zh) 一种基于低信噪比pet图像的处理方法
CN115841457A (zh) 一种融合多视图信息的三维医学图像分割方法
Chaudhary et al. Deep learning-based approach for segmentation of glioma sub-regions in MRI
CN110322426A (zh) 基于可变人体模型的肿瘤靶区勾画方法、设备和存储介质
Torrents-Barrena et al. Fetal MRI synthesis via balanced auto-encoder based generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant