CN114387317B - Ct图像和mri三维图像的配准方法、装置 - Google Patents

Ct图像和mri三维图像的配准方法、装置 Download PDF

Info

Publication number
CN114387317B
CN114387317B CN202210290221.1A CN202210290221A CN114387317B CN 114387317 B CN114387317 B CN 114387317B CN 202210290221 A CN202210290221 A CN 202210290221A CN 114387317 B CN114387317 B CN 114387317B
Authority
CN
China
Prior art keywords
image
mri
mode
modality
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210290221.1A
Other languages
English (en)
Other versions
CN114387317A (zh
Inventor
张昊任
沈亚奇
史纪鹏
董梦醒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
True Health Guangdong Hengqin Medical Technology Co ltd
Original Assignee
Truehealth Beijing Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truehealth Beijing Medical Technology Co Ltd filed Critical Truehealth Beijing Medical Technology Co Ltd
Priority to CN202210290221.1A priority Critical patent/CN114387317B/zh
Publication of CN114387317A publication Critical patent/CN114387317A/zh
Application granted granted Critical
Publication of CN114387317B publication Critical patent/CN114387317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本公开提供一种CT图像和MRI三维图像的配准方法、装置，其中方法包括：获取原始采集得到的CT图像和MRI三维图像并进行预处理操作，得到CT处理图像
Figure 913189DEST_PATH_IMAGE001
和MRI处理图像
Figure DEST_PATH_IMAGE002
；利用预训练得到的模态转换生成器对所述CT处理图像
Figure 95909DEST_PATH_IMAGE001
和MRI处理图像
Figure 875646DEST_PATH_IMAGE002
进行模态转换，得到CT模态转换图像和MRI模态转换图像；利用预训练得到的单模态配准网络对所述CT处理图像
Figure 270855DEST_PATH_IMAGE001
和MRI处理图像
Figure 350807DEST_PATH_IMAGE002
进行预测，得到单模态配准置信度；利用预训练得到的多模态配准网络，对所述CT处理图像
Figure 173269DEST_PATH_IMAGE001
、MRI处理图像
Figure 440302DEST_PATH_IMAGE002
、CT模态转换图像、MRI模态转换图像和所述单模态配准置信度进行配准，以实现所述CT图像和MRI三维图像的自动配准。

Description

CT图像和MRI三维图像的配准方法、装置
技术领域
本公开涉及数字化医疗技术领域，具体涉及一种CT图像和MRI三维图像的配准方法、装置。
背景技术
医学图像配准是医学图像处理的重要步骤。传统的医学图像配准方法包括迭代最近点法、高斯混合模型法、全等四点集法等，这些方法普遍存在迭代优化过程计算复杂，易陷入局部最优导致配准失败的问题。近年来，随着深度学习在图像处理领域得到广泛应用，此类传统配准方法逐渐被深度学习方法取代。
深度学习方法使用卷积神经网络学习输入图像特征，在图像处理领域有广泛应用。其中，Voxelmorph、ALIGNet等方法可用于解决三维医学图像配准问题。但目前深度学习方法普遍需要大量已有医学图像数据用于网络训练，考虑到医学图像数据难以获得，且图像间非刚性配准形变结果难以手工进行标注，因此有监督深度学习配准方法通常难以实际应用。而无监督学习配准方法则需要根据待配准图像间外观差异计算相似度损失函数，当待配准图像模态不同外观差异明显时，现有方法难以对其相似度进行度量。
因而，此类方法难以应用于电子计算机断层扫描（CT）和核磁共振（MRI）跨模态图像配准问题。
发明内容
本公开提供了一种CT图像和MRI三维图像的配准方法、装置。
根据本公开实施例的第一方面，提供一种CT图像和MRI三维图像的配准方法，包括：
获取原始采集得到的CT图像和MRI三维图像并进行预处理操作，得到CT处理图像和MRI处理图像；
利用预训练得到的模态转换生成器对所述CT处理图像和MRI处理图像进行模态转换，得到CT模态转换图像和MRI模态转换图像；
利用预训练得到的单模态配准网络对所述CT处理图像和MRI处理图像进行预测，得到单模态配准置信度；
利用预训练得到的多模态配准网络，对所述CT处理图像、MRI处理图像、CT模态转换图像、MRI模态转换图像和所述单模态配准置信度进行配准，以实现所述CT图像和MRI三维图像的自动配准。
根据本公开实施例的第二方面，提供一种CT图像和MRI三维图像的配准装置，包括：
预处理模块，用于获取原始采集得到的CT图像和MRI三维图像并进行预处理操作， 得到CT处理图像
Figure 423687DEST_PATH_IMAGE001
和MRI处理图像
Figure 340828DEST_PATH_IMAGE002
；
模态转换模块，用于利用预训练得到的模态转换生成器对所述CT处理图像
Figure 120565DEST_PATH_IMAGE001
和 MRI处理图像
Figure 46932DEST_PATH_IMAGE002
进行模态转换，得到CT模态转换图像和MRI模态转换图像；
置信度模块，用于利用预训练得到的单模态配准网络对所述CT处理图像
Figure 861305DEST_PATH_IMAGE001
和MRI 处理图像
Figure 683767DEST_PATH_IMAGE002
进行预测，得到单模态配准置信度；
配准模块，用于利用预训练得到的多模态配准网络，对所述CT处理图像
Figure 950800DEST_PATH_IMAGE001
、MRI处 理图像
Figure 415280DEST_PATH_IMAGE002
、CT模态转换图像、MRI模态转换图像和所述单模态配准置信度进行配准，以实 现所述CT图像和MRI三维图像的自动配准。
根据本公开实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中任一项所述的CT图像和MRI三维图像的配准方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面中任一所述的CT图像和MRI三维图像的配准方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现第一方面中任一所述的CT图像和MRI三维图像的配准方法。
本公开实施例中，可利用训练完毕的多模态配准网络对待配准CT图像和MRI三维医学图像进行自动配准，相比于现有的配准方法，可克服图像模态差异带来的相似度度量困难，精准高效地完成配准任务，无需额外手工标注操作，有较高的实用价值。
本公开提供的CT图像和MRI三维图像的配准方法通过设计模态转换网络消除了CT和MRI三维医学图像间模态差异，使其经配准形变后相似度可以度量，从而可进行无监督配准；通过设计单模态配准网络并进行置信度预测，克服了模态转换图像在不同区域可信度不一的问题，筛选可靠模态用于配准以提高配准精度；设计了多模态配准网络对消除外观差异后CT和MRI图像进行配准，通过随机薄板样条插值完成数据增广以克服数据量少、易过拟合的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种CT图像和MRI三维图像的配准方法流程图；
图2是根据一示例性实施例示出的一种CT图像和MRI三维图像的配准装置示意图；
图3是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的具体方式并不代表与本公开相一致的所有方案。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本公开提供的获取客流数据的方法更加清楚，下面结合附图和具体实施例对本公开提供的方案执行过程进行详细描述。
参见图1，图1是本公开提供的实施例示出的一种CT图像和MRI三维图像的配准方法流程图。如图1所示，该流程包括步骤101-104。
步骤101，获取原始采集得到的CT图像和MRI三维图像并进行预处理操作，得到CT 处理图像
Figure 84159DEST_PATH_IMAGE001
和MRI处理图像
Figure 77522DEST_PATH_IMAGE002
。
本步骤可以获取同一目标对象的同一器官组织的CT图像和MRI三维图像，例如获取同一病灶的40张CT图像和40张MRI三维图像，并对获取的三维图像进行裁剪、缩放等预处理操作。
在本公开实施例中，步骤101获取的三维图像是由医学图像采集设备采集到的原始图像，所以需要进行预处理操作，从而将图像统一至相同大小、层间距和分辨率。示例性的，可以将原始采集到的CT图像和MRI三维图像裁剪出160*160*48像素大小的三维图像，图像中各切片分辨率为1.5mm*1.5mm，切片间距1.5mm。预处理操作后的这些图像可被用于训练配准网络等机器学习模型。
步骤102，利用预训练得到的模态转换生成器对所述CT处理图像和MRI处理图像
Figure 97431DEST_PATH_IMAGE002
进行模态转换，得到CT模态转换图像和MRI模态转换图像。
在一些可选实施例中，在步骤102之前还包括：
利用所述CT处理图像
Figure 834443DEST_PATH_IMAGE001
和MRI处理图像
Figure 357828DEST_PATH_IMAGE002
对模态转换网络进行训练，得到所述 模态转换生成器；其中，所述模态转换网络包括生成器
Figure 787672DEST_PATH_IMAGE003
、生成器
Figure 560456DEST_PATH_IMAGE004
、判别器
Figure 835580DEST_PATH_IMAGE005
和判别器
Figure 479051DEST_PATH_IMAGE006
，并且，
所述生成器
Figure 814217DEST_PATH_IMAGE003
的输入为CT处理图像
Figure 808718DEST_PATH_IMAGE001
，输出为模态转换后的CT模态转换图 像；
所述生成器
Figure 887532DEST_PATH_IMAGE004
的输入为MRI处理图像
Figure 385510DEST_PATH_IMAGE002
，输出为模态转换后的MRI模态转换 图像；
所述判别器
Figure 173468DEST_PATH_IMAGE005
和所述判别器
Figure 124107DEST_PATH_IMAGE006
的输入为任意模态图像，输出为是否属于CT模 态或MRI模态。
在一些可选实施例中，所述生成器
Figure 6612DEST_PATH_IMAGE003
或所述生成器
Figure 359096DEST_PATH_IMAGE004
为包括两个下采 样层和两个上采样层的U-Net网络；所述判别器
Figure 567224DEST_PATH_IMAGE005
和所述判别器
Figure 5158DEST_PATH_IMAGE006
为包括四个卷积层和 一个全连接层的网络结构；
所述利用所述CT处理图像
Figure 425775DEST_PATH_IMAGE001
和MRI处理图像
Figure 898345DEST_PATH_IMAGE002
对模态转换网络进行训练，得到 所述模态转换生成器，包括：
将一组所述CT处理图像和MRI处理图像
Figure 542953DEST_PATH_IMAGE007
作为输入，由所述生成器
Figure 468184DEST_PATH_IMAGE003
和生成器
Figure 692492DEST_PATH_IMAGE004
分别对所述CT处理图像
Figure 19568DEST_PATH_IMAGE001
和MRI处理图像
Figure 303918DEST_PATH_IMAGE002
进行模态转换，得到模态转 换后的CT模态转换图像
Figure 716445DEST_PATH_IMAGE008
和模态转换后的MRI模态转换图像
Figure 744444DEST_PATH_IMAGE009
；
基于所述判别器
Figure 191606DEST_PATH_IMAGE005
和判别器
Figure 381279DEST_PATH_IMAGE006
，判断所述CT模态转换图像
Figure 281102DEST_PATH_IMAGE010
和所述MRI 模态转换图像
Figure 112792DEST_PATH_IMAGE011
是否属于CT模态或MRI模态，得到生成对抗损失；
基于所述生成器
Figure 414460DEST_PATH_IMAGE003
和生成器
Figure 775034DEST_PATH_IMAGE004
，将所述CT模态转换图像
Figure 162153DEST_PATH_IMAGE010
和所 述MRI模态转换图像
Figure 813845DEST_PATH_IMAGE011
转换至原CT模态和MRI模态，并与所述CT处理图像
Figure 704441DEST_PATH_IMAGE001
和MRI处 理图像
Figure 501496DEST_PATH_IMAGE002
进行比较，得到循环一致损失；
根据所述生成对抗损失和所述循环一致损失，反向更新所述生成器
Figure 110332DEST_PATH_IMAGE003
、生成 器
Figure 549403DEST_PATH_IMAGE004
、判别器
Figure 560085DEST_PATH_IMAGE005
和判别器
Figure 528041DEST_PATH_IMAGE006
的网络参数；
将训练完毕的所述生成器
Figure 624173DEST_PATH_IMAGE003
和所述生成器
Figure 601356DEST_PATH_IMAGE004
，作为所述模态转换生成 器。
训练完毕后，训练完毕的模态转换生成器可用于将CT处理图像或MRI处理图像转换至MRI模态或CT模态。例如，可对CT处理图像或MRI处理图像的每一二维切片，使用训练完毕的模态转换生成器对其进行模态转换，将生成的二维切片首尾相连得到模态转换生成的三维图像。模态转换后生成的图像改变了原图像的外观模态，同时保留了原图像的结构特征。
在一些可选实施例中，所述生成对抗损失
Figure 466544DEST_PATH_IMAGE012
为
Figure 605401DEST_PATH_IMAGE013
Figure 719987DEST_PATH_IMAGE014
Figure 969703DEST_PATH_IMAGE015
其中，
Figure 954977DEST_PATH_IMAGE016
为将CT处理图像
Figure 264735DEST_PATH_IMAGE001
转换至MRI模态的模态转换网络的生成对抗损 失；
Figure 601039DEST_PATH_IMAGE017
为将MRI处理图像
Figure 654445DEST_PATH_IMAGE002
转换至CT模态的模态转换网络的生成对抗损失；
所述循环一致损失
Figure 494225DEST_PATH_IMAGE018
为
Figure 974885DEST_PATH_IMAGE019
Figure 532906DEST_PATH_IMAGE020
Figure 390003DEST_PATH_IMAGE021
其中，
Figure 84290DEST_PATH_IMAGE022
为将所述CT模态转换图像转换至原CT模态的循环一致损失；
Figure 1430DEST_PATH_IMAGE023
为将所述MRI模态转换图像转换至原MRI模态的循环一致损失。
步骤103，利用预训练得到的单模态配准网络对所述CT处理图像
Figure 46747DEST_PATH_IMAGE001
和MRI处理图 像
Figure 441956DEST_PATH_IMAGE002
进行预测，得到单模态配准置信度。
在一些可选实施例中，在步骤103之前还包括：
利用所述CT处理图像
Figure 990749DEST_PATH_IMAGE001
、所述MRI处理图像
Figure 360681DEST_PATH_IMAGE002
、所述CT模态转换图像和所述MRI 模态转换图像，对所述单模态配准网络进行训练，得到训练完毕的所述单模态配准网络；其 中，所述单模态配准网络包括第一单模态配准子网络
Figure 627715DEST_PATH_IMAGE024
和第二单模态配准子网络
Figure 826615DEST_PATH_IMAGE025
；
利用所述第一单模态配准子网络
Figure 229914DEST_PATH_IMAGE024
和所述第二单模态配准子网络
Figure 754437DEST_PATH_IMAGE025
，分别对每组所述CT处理图像和MRI处理图像
Figure 508766DEST_PATH_IMAGE007
进行配准，得到三维非刚 性形变场；
将所述三维非刚性形变场与目标体素的误差，作为所述单模态配准置信度。
在一些可选实施例中，所述第一单模态配准子网络
Figure 245778DEST_PATH_IMAGE024
或第二单模态配准子 网络
Figure 34742DEST_PATH_IMAGE025
为包括四个下采样层、四个上采样层和三个三维卷积层的3DU-Net网络结构；
所述利用所述CT处理图像
Figure 464587DEST_PATH_IMAGE001
、所述MRI处理图像
Figure 440633DEST_PATH_IMAGE002
、所述CT模态转换图像和所 述MRI模态转换图像，对所述单模态配准网络进行训练，得到训练完毕的所述单模态配准网 络，包括：
所述第一单模态配准子网络
Figure 981336DEST_PATH_IMAGE024
的输入为所述CT处理图像和模态转换后的 所述MRI模态转换图像
Figure 155965DEST_PATH_IMAGE026
，所述第一单模态配准子网络
Figure 491131DEST_PATH_IMAGE024
的输出为 所述CT处理图像和模态转换后的所述MRI模态转换图像之间的三维非刚性形变场；
所述第二单模态配准子网络
Figure 220053DEST_PATH_IMAGE025
的输入为模态转换后的所述CT模态转换图 像和所述MRI处理图像
Figure 298867DEST_PATH_IMAGE027
，所述第二单模态配准子网络
Figure 62424DEST_PATH_IMAGE025
的输出为 所述CT模态转换图像和所述MRI处理图像之间的三维非刚性形变场。
在一些可选实施例中，所述第一单模态配准子网络
Figure 568492DEST_PATH_IMAGE024
或第二单模态配准子 网络
Figure 784710DEST_PATH_IMAGE025
以经形变后输入图像间均方误差及正则项作为网络损失函数，该损失函数 为：
Figure 932794DEST_PATH_IMAGE028
式中，
Figure 285278DEST_PATH_IMAGE029
和
Figure 227826DEST_PATH_IMAGE030
分别为输入单模态配准网络的待配准图像，
Figure 665761DEST_PATH_IMAGE031
为单模态配准网络 预测的三维非刚性形变场，
Figure 99760DEST_PATH_IMAGE032
为网络损失函数。在训练过程中，使用该损失函数反向传播更 新单模态配准网络
Figure 572329DEST_PATH_IMAGE024
和
Figure 420200DEST_PATH_IMAGE025
参数。
训练完毕后，得到训练完毕的单模态配准网络
Figure 876589DEST_PATH_IMAGE024
和
Figure 100897DEST_PATH_IMAGE025
。
本步骤中，对CT处理图像和MRI处理图像中每组图像
Figure 427973DEST_PATH_IMAGE007
，使用单模态配准 网络
Figure 712324DEST_PATH_IMAGE024
和
Figure 390430DEST_PATH_IMAGE025
分别进行配准，预测三维非刚性形变场。针对CT处理图像和MRI处 理图像每个体素，为选取精度较高适于进行配准的模态，计算其使用单模态配准网络
Figure 152849DEST_PATH_IMAGE024
和
Figure 334432DEST_PATH_IMAGE025
得到配准结果形变场形变后与目标体素间误差作为其使用单模态配 准网络配准的置信度。
步骤104，利用预训练得到的多模态配准网络，对所述CT处理图像
Figure 789684DEST_PATH_IMAGE001
、MRI处理图 像
Figure 955086DEST_PATH_IMAGE002
、CT模态转换图像、MRI模态转换图像和所述单模态配准置信度进行配准，以实现所 述CT图像和MRI三维图像的自动配准。
在一些可选实施例中，在步骤104之前还包括：
将一组所述CT处理图像和MRI处理图像
Figure 521197DEST_PATH_IMAGE007
、所述CT模态转换图像和MRI模 态转换图像
Figure 557286DEST_PATH_IMAGE033
、及所述单模态配准置信度作为所述多模态配准 网络的输入，输出预测的CT处理图像和MRI处理图像间的三维非刚性形变场，并以经形变后 待配准图像间均方误差、正则项及自监督损失作为网络损失函数：
利用所述网络损失函数反向传播更新所述多模态配准网络的网络参数，得到训练完毕的所述多模态配准网络。
在一些可选实施例中，可使用单模态配准置信度训练多模态配准网络，得到训练完毕的多模态配准网络，具体步骤如下：
步骤1）使用薄板样条插值方法生成随机三维形变场以实现数据增广。
在本实施例中，为对步骤101得到的CT图像和MRI三维医学图像的数据集进行扩充，生成更多图像数据以避免网络训练过拟合，可使用薄板样条插值方法生成随机三维形变场，将该形变场应用于CT图像和MRI三维医学图像的数据集以实现数据增广。
具体地，在由待配准图像体素坐标构成的格点网格中均匀选取
Figure 714598DEST_PATH_IMAGE034
个格点作 为控制点，对该27个控制点应用随机位移，根据控制点位移后新的坐标使用薄板样条插值 方法生成新的格点网格
Figure 101717DEST_PATH_IMAGE035
作为随机三维形变场，将该形变场
Figure 205939DEST_PATH_IMAGE035
应用于步骤101得到的CT处 理图像和MRI处理图像的数据集以增广数据。
步骤2）训练多模态配准网络。
在本实施例中，可训练多模态配准网络以预测输入的CT图像和MRI三维医学图像间非刚性三维形变场。多模态配准网络使用包含四个下采样层和四个上采样层3DU-Net网络结构，并额外添加了三个三维卷积层。
在训练时，多模态配准网络以步骤101得到的CT处理图像和MRI处理图像中一组图像、使用训练完毕的模态转换生成器生成的模态转换图像、以及单模态配准置信度作为输入，输出预测的CT图像和MRI图像间三维非刚性形变场，并以经形变后待配准图像间均方误差、正则项及自监督损失作为网络损失函数：
Figure 362114DEST_PATH_IMAGE036
式中，
Figure 424748DEST_PATH_IMAGE037
为多模态配准网络预测的
Figure 33584DEST_PATH_IMAGE038
间三维非刚性形变场，
Figure 207076DEST_PATH_IMAGE039
为步骤1）生成 的随机三维形变场，
Figure 217757DEST_PATH_IMAGE040
为多模态配准网络预测的经随机三维形变场扰动后待配准图像间 三维非刚性形变场，
Figure 202025DEST_PATH_IMAGE041
为网络超参数，
Figure 298157DEST_PATH_IMAGE042
为网络损失函数。在训练过程中，使用该损失函数反 向传播更新多模态配准网络参数。
训练完毕后，得到训练完毕的多模态配准网络。
本公开实施例中，可利用训练完毕的多模态配准网络对待配准CT图像和MRI三维医学图像进行自动配准，相比于现有的配准方法，可克服图像模态差异带来的相似度度量困难，精准高效地完成配准任务，无需额外手工标注操作，有较高的实用价值。
本公开提供的CT图像和MRI三维图像的配准方法通过设计模态转换网络消除了CT和MRI三维医学图像间模态差异，使其经配准形变后相似度可以度量，从而可进行无监督配准；通过设计单模态配准网络并进行置信度预测，克服了模态转换图像在不同区域可信度不一的问题，筛选可靠模态用于配准以提高配准精度；设计了多模态配准网络对消除外观差异后CT和MRI图像进行配准，通过随机薄板样条插值完成数据增广以克服数据量少、易过拟合的问题。
图2所示，本公开提供了一种CT图像和MRI三维图像的配准装置，该装置可以执行本公开任一实施例的CT图像和MRI三维图像的配准方法。该装置可以包括预处理模块201、模态转换模块202、置信度模块203和配准模块204。其中：
预处理模块201，用于获取原始采集得到的CT图像和MRI三维图像并进行预处理操 作，得到CT处理图像
Figure 744182DEST_PATH_IMAGE001
和MRI处理图像
Figure 140528DEST_PATH_IMAGE002
；
模态转换模块202，用于利用预训练得到的模态转换生成器对所述CT处理图像
Figure 279385DEST_PATH_IMAGE001
和MRI处理图像
Figure 862814DEST_PATH_IMAGE002
进行模态转换，得到CT模态转换图像和MRI模态转换图像；
置信度模块203，用于利用预训练得到的单模态配准网络对所述CT处理图像
Figure 112529DEST_PATH_IMAGE001
和 MRI处理图像
Figure 628961DEST_PATH_IMAGE002
进行预测，得到单模态配准置信度；
配准模块204，用于利用预训练得到的多模态配准网络，对所述CT处理图像
Figure 938720DEST_PATH_IMAGE001
、 MRI处理图像
Figure 9444DEST_PATH_IMAGE002
、CT模态转换图像、MRI模态转换图像和所述单模态配准置信度进行配准， 以实现所述CT图像和MRI三维图像的自动配准。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开至少一个实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时能够实现本公开任一实施例的CT图像和MRI三维图像的配准方法。
图3示出了本公开实施例所提供的一种更为具体的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时能够实现本公开任一实施例的CT图像和MRI三维图像的配准方法。
其中，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等，本公开并不对此进行限制。
在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的CT图像和MRI三维图像的配准方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (8)

1.一种CT图像和MRI三维图像的配准方法，其特征在于，包括：
获取原始采集得到的CT图像和MRI三维图像并进行预处理操作，得到CT处理图像
Figure DEST_PATH_IMAGE001
和 MRI处理图像
Figure 601896DEST_PATH_IMAGE002
；
利用所述CT处理图像
Figure 989015DEST_PATH_IMAGE001
和MRI处理图像
Figure 703025DEST_PATH_IMAGE002
对模态转换网络进行训练，得到所述模态 转换生成器，其中所述模态转换网络包括生成器
Figure DEST_PATH_IMAGE003
、生成器
Figure 328041DEST_PATH_IMAGE004
、判别器
Figure DEST_PATH_IMAGE005
和判 别器
Figure 859517DEST_PATH_IMAGE006
，所述生成器
Figure 327407DEST_PATH_IMAGE003
的输入为CT处理图像
Figure 235320DEST_PATH_IMAGE001
，输出为模态转换后的CT模态转换图 像，所述生成器
Figure 980422DEST_PATH_IMAGE004
的输入为MRI处理图像
Figure 948378DEST_PATH_IMAGE002
，输出为模态转换后的MRI模态转换图像， 所述判别器
Figure 778931DEST_PATH_IMAGE005
和所述判别器
Figure 344997DEST_PATH_IMAGE006
的输入为任意模态图像，输出为是否属于CT模态或MRI模 态；
所述生成器
Figure 210185DEST_PATH_IMAGE003
或所述生成器
Figure 349042DEST_PATH_IMAGE004
为包括两个下采样层和两个上采样层的U- Net网络；所述判别器
Figure 666891DEST_PATH_IMAGE005
和所述判别器
Figure 651027DEST_PATH_IMAGE006
为包括四个卷积层和一个全连接层的网络结 构；
所述利用所述CT处理图像
Figure 495355DEST_PATH_IMAGE001
和MRI处理图像
Figure 539535DEST_PATH_IMAGE002
对模态转换网络进行训练，得到所述 模态转换生成器，包括：
将一组所述CT处理图像和MRI处理图像
Figure DEST_PATH_IMAGE007
作为输入，由所述生成器
Figure 344680DEST_PATH_IMAGE003
和生 成器
Figure 132507DEST_PATH_IMAGE004
分别对所述CT处理图像
Figure 582074DEST_PATH_IMAGE001
和MRI处理图像
Figure 797155DEST_PATH_IMAGE002
进行模态转换，得到模态转换后 的CT模态转换图像
Figure 89596DEST_PATH_IMAGE008
和模态转换后的MRI模态转换图像
Figure DEST_PATH_IMAGE009
；
基于所述判别器
Figure 415535DEST_PATH_IMAGE005
和判别器
Figure 968876DEST_PATH_IMAGE006
，判断所述CT模态转换图像
Figure 354858DEST_PATH_IMAGE010
和所述MRI模态 转换图像
Figure DEST_PATH_IMAGE011
是否属于CT模态或MRI模态，得到生成对抗损失；
基于所述生成器
Figure 134595DEST_PATH_IMAGE003
和生成器
Figure 264225DEST_PATH_IMAGE004
，将所述CT模态转换图像
Figure 921340DEST_PATH_IMAGE010
和所述MRI 模态转换图像
Figure 9382DEST_PATH_IMAGE011
转换至原CT模态和MRI模态，并与所述CT处理图像
Figure 10836DEST_PATH_IMAGE001
和MRI处理图像
Figure 678578DEST_PATH_IMAGE002
进行比较，得到循环一致损失；
根据所述生成对抗损失和所述循环一致损失，反向更新所述生成器
Figure 81877DEST_PATH_IMAGE003
、生成器
Figure 199875DEST_PATH_IMAGE004
、判别器
Figure 688625DEST_PATH_IMAGE005
和判别器
Figure 160058DEST_PATH_IMAGE006
的网络参数；
将训练完毕的所述生成器
Figure 683443DEST_PATH_IMAGE003
和所述生成器
Figure 582129DEST_PATH_IMAGE004
，作为所述模态转换生成器；
利用预训练得到的模态转换生成器对所述CT处理图像
Figure 433541DEST_PATH_IMAGE001
和MRI处理图像
Figure 708665DEST_PATH_IMAGE002
进行模态 转换，得到CT模态转换图像和MRI模态转换图像；
利用预训练得到的单模态配准网络对所述CT处理图像
Figure 86557DEST_PATH_IMAGE001
和MRI处理图像
Figure 421723DEST_PATH_IMAGE002
进行预 测，得到单模态配准置信度；
利用预训练得到的多模态配准网络，对所述CT处理图像
Figure 619486DEST_PATH_IMAGE001
、MRI处理图像
Figure 822934DEST_PATH_IMAGE002
、CT模态 转换图像、MRI模态转换图像和所述单模态配准置信度进行配准，以实现所述CT图像和MRI 三维图像的自动配准。
2.根据权利要求1所述的方法，其特征在于，所述生成对抗损失
Figure 55333DEST_PATH_IMAGE012
为
Figure 561400DEST_PATH_IMAGE014
Figure 512039DEST_PATH_IMAGE016
Figure 128965DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE019
为将CT处理图像
Figure 589771DEST_PATH_IMAGE001
转换至MRI模态的模态转换网络的生成对抗损失；
Figure 1161DEST_PATH_IMAGE020
为将MRI处理图像转换至CT模态的模态转换网络的生成对抗损失；
所述循环一致损失
Figure DEST_PATH_IMAGE021
为
Figure DEST_PATH_IMAGE023
Figure DEST_PATH_IMAGE025
Figure DEST_PATH_IMAGE027
其中，
Figure 501412DEST_PATH_IMAGE028
为将所述CT模态转换图像转换至原CT模态的循环一致损失；
Figure DEST_PATH_IMAGE029
为将所述MRI模态转换图像转换至原MRI模态的循环一致损失。
3.根据权利要求1所述的方法，其特征在于，在所述利用预训练得到的单模态配准网络 对所述CT处理图像
Figure 656450DEST_PATH_IMAGE001
和MRI处理图像
Figure 473227DEST_PATH_IMAGE002
进行预测，得到单模态配准置信度之前，还包括：
利用所述CT处理图像
Figure 321098DEST_PATH_IMAGE001
、所述MRI处理图像
Figure 246328DEST_PATH_IMAGE002
、所述CT模态转换图像和所述MRI模态 转换图像，对所述单模态配准网络进行训练，得到训练完毕的所述单模态配准网络；其中， 所述单模态配准网络包括第一单模态配准子网络
Figure 205057DEST_PATH_IMAGE030
和第二单模态配准子网络
Figure DEST_PATH_IMAGE031
；
利用所述第一单模态配准子网络
Figure 125609DEST_PATH_IMAGE030
和所述第二单模态配准子网络
Figure 144380DEST_PATH_IMAGE031
，分 别对每组所述CT处理图像和MRI处理图像
Figure 291328DEST_PATH_IMAGE007
进行配准，得到三维非刚性形变场；
将所述三维非刚性形变场与目标体素的误差，作为所述单模态配准置信度。
4.根据权利要求3所述的方法，其特征在于，所述第一单模态配准子网络
Figure 53747DEST_PATH_IMAGE030
或第 二单模态配准子网络
Figure 969751DEST_PATH_IMAGE031
为包括四个下采样层、四个上采样层和三个三维卷积层的 3DU-Net网络结构；
所述利用所述CT处理图像
Figure 533325DEST_PATH_IMAGE001
、所述MRI处理图像
Figure 167569DEST_PATH_IMAGE002
、所述CT模态转换图像和所述MRI 模态转换图像，对所述单模态配准网络进行训练，得到训练完毕的所述单模态配准网络，包 括：
所述第一单模态配准子网络
Figure 468100DEST_PATH_IMAGE030
的输入为所述CT处理图像和模态转换后的所述 MRI模态转换图像
Figure 238610DEST_PATH_IMAGE032
，所述第一单模态配准子网络
Figure 723818DEST_PATH_IMAGE030
的输出为所述 CT处理图像和模态转换后的所述MRI模态转换图像之间的三维非刚性形变场；
所述第二单模态配准子网络
Figure 579778DEST_PATH_IMAGE031
的输入为模态转换后的所述CT模态转换图像和 所述MRI处理图像
Figure DEST_PATH_IMAGE033
，所述第二单模态配准子网络
Figure 684001DEST_PATH_IMAGE031
的输出为所述 CT模态转换图像和所述MRI处理图像之间的三维非刚性形变场。
5.根据权利要求1所述的方法，其特征在于，在所述利用预训练得到的多模态配准网 络，对所述CT处理图像
Figure 574596DEST_PATH_IMAGE001
、MRI处理图像
Figure 981438DEST_PATH_IMAGE002
、CT模态转换图像、MRI模态转换图像和所述单 模态配准置信度进行配准之前，还包括：
将一组所述CT处理图像和MRI处理图像
Figure 324695DEST_PATH_IMAGE007
、所述CT模态转换图像和MRI模态转换 图像
Figure 232608DEST_PATH_IMAGE034
、及所述单模态配准置信度作为所述多模态配准网络的 输入，输出预测的CT处理图像和MRI处理图像间的三维非刚性形变场，并以经形变后待配准 图像间均方误差、正则项及自监督损失作为网络损失函数：
利用所述网络损失函数反向传播更新所述多模态配准网络的网络参数，得到训练完毕的所述多模态配准网络。
6.一种CT图像和MRI三维图像的配准装置，其特征在于，包括：
预处理模块，用于获取原始采集得到的CT图像和MRI三维图像并进行预处理操作，得到 CT处理图像
Figure 571185DEST_PATH_IMAGE001
和MRI处理图像
Figure 273562DEST_PATH_IMAGE002
；
训练模块，用于利用所述CT处理图像
Figure 104115DEST_PATH_IMAGE001
和MRI处理图像
Figure 550140DEST_PATH_IMAGE002
对模态转换网络进行训练， 得到所述模态转换生成器，其中所述模态转换网络包括生成器
Figure 789229DEST_PATH_IMAGE003
、生成器
Figure 662507DEST_PATH_IMAGE004
、判 别器
Figure 980356DEST_PATH_IMAGE005
和判别器
Figure 230072DEST_PATH_IMAGE006
，所述生成器
Figure 949766DEST_PATH_IMAGE003
的输入为CT处理图像
Figure 118579DEST_PATH_IMAGE001
，输出为模态转换后的 CT模态转换图像，所述生成器
Figure 658145DEST_PATH_IMAGE004
的输入为MRI处理图像
Figure 445972DEST_PATH_IMAGE002
，输出为模态转换后的MRI 模态转换图像，所述判别器
Figure 285752DEST_PATH_IMAGE005
和所述判别器
Figure 500833DEST_PATH_IMAGE006
的输入为任意模态图像，输出为是否属于 CT模态或MRI模态；
所述生成器
Figure 668640DEST_PATH_IMAGE003
或所述生成器
Figure 994579DEST_PATH_IMAGE004
为包括两个下采样层和两个上采样层的U- Net网络；所述判别器
Figure 688866DEST_PATH_IMAGE005
和所述判别器
Figure 74848DEST_PATH_IMAGE006
为包括四个卷积层和一个全连接层的网络结 构；
所述利用所述CT处理图像
Figure 713640DEST_PATH_IMAGE001
和MRI处理图像
Figure 108849DEST_PATH_IMAGE002
对模态转换网络进行训练，得到所述 模态转换生成器，包括：
将一组所述CT处理图像和MRI处理图像
Figure 657642DEST_PATH_IMAGE007
作为输入，由所述生成器
Figure 214525DEST_PATH_IMAGE003
和生 成器
Figure 215979DEST_PATH_IMAGE004
分别对所述CT处理图像
Figure 523201DEST_PATH_IMAGE001
和MRI处理图像
Figure 926501DEST_PATH_IMAGE002
进行模态转换，得到模态转换后 的CT模态转换图像
Figure 919865DEST_PATH_IMAGE008
和模态转换后的MRI模态转换图像
Figure 408615DEST_PATH_IMAGE009
；
基于所述判别器
Figure 145627DEST_PATH_IMAGE005
和判别器
Figure 528067DEST_PATH_IMAGE006
，判断所述CT模态转换图像
Figure 426752DEST_PATH_IMAGE010
和所述MRI模态 转换图像
Figure 402799DEST_PATH_IMAGE011
是否属于CT模态或MRI模态，得到生成对抗损失；
基于所述生成器
Figure 677922DEST_PATH_IMAGE003
和生成器
Figure 665601DEST_PATH_IMAGE004
，将所述CT模态转换图像
Figure 767DEST_PATH_IMAGE010
和所述MRI 模态转换图像
Figure 464110DEST_PATH_IMAGE011
转换至原CT模态和MRI模态，并与所述CT处理图像
Figure 542924DEST_PATH_IMAGE001
和MRI处理图像
Figure 509743DEST_PATH_IMAGE002
进行比较，得到循环一致损失；
根据所述生成对抗损失和所述循环一致损失，反向更新所述生成器
Figure 140445DEST_PATH_IMAGE003
、生成器
Figure 825504DEST_PATH_IMAGE004
、判别器
Figure 442430DEST_PATH_IMAGE005
和判别器
Figure 529335DEST_PATH_IMAGE006
的网络参数；
将训练完毕的所述生成器
Figure 471883DEST_PATH_IMAGE003
和所述生成器
Figure 18140DEST_PATH_IMAGE004
，作为所述模态转换生成器；
模态转换模块，用于利用预训练得到的模态转换生成器对所述CT处理图像
Figure 438757DEST_PATH_IMAGE001
和MRI处 理图像
Figure 380168DEST_PATH_IMAGE002
进行模态转换，得到CT模态转换图像和MRI模态转换图像；
置信度模块，用于利用预训练得到的单模态配准网络对所述CT处理图像
Figure 493617DEST_PATH_IMAGE001
和MRI处理 图像进行预测，得到单模态配准置信度；
配准模块，用于利用预训练得到的多模态配准网络，对所述CT处理图像
Figure 153269DEST_PATH_IMAGE001
、MRI处理图 像
Figure 236631DEST_PATH_IMAGE002
、CT模态转换图像、MRI模态转换图像和所述单模态配准置信度进行配准，以实现所 述CT图像和MRI三维图像的自动配准。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-5中任一项所述的方法。
CN202210290221.1A 2022-03-24 2022-03-24 Ct图像和mri三维图像的配准方法、装置 Active CN114387317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210290221.1A CN114387317B (zh) 2022-03-24 2022-03-24 Ct图像和mri三维图像的配准方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210290221.1A CN114387317B (zh) 2022-03-24 2022-03-24 Ct图像和mri三维图像的配准方法、装置

Publications (2)

Publication Number Publication Date
CN114387317A CN114387317A (zh) 2022-04-22
CN114387317B true CN114387317B (zh) 2022-06-17

Family

ID=81205770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210290221.1A Active CN114387317B (zh) 2022-03-24 2022-03-24 Ct图像和mri三维图像的配准方法、装置

Country Status (1)

Country Link
CN (1) CN114387317B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862662A (zh) * 2022-04-25 2022-08-05 北京天智航医疗科技股份有限公司 肘关节旋转轴心识别模型的训练方法、识别方法及装置
CN115393527A (zh) * 2022-09-14 2022-11-25 北京富益辰医疗科技有限公司 基于多模影像与交互设备的解剖导航构建方法及装置
CN116071401B (zh) * 2023-01-28 2023-08-01 中日友好医院(中日友好临床医学研究所) 基于深度学习的虚拟ct图像的生成方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769791B2 (en) * 2017-10-13 2020-09-08 Beijing Keya Medical Technology Co., Ltd. Systems and methods for cross-modality image segmentation
CN111862174B (zh) * 2020-07-08 2023-10-03 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112801863A (zh) * 2021-02-25 2021-05-14 浙江工业大学 基于图像转换和域泛化的无监督多模态医学图像配准方法
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113506334B (zh) * 2021-06-07 2023-12-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统

Also Published As

Publication number Publication date
CN114387317A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN114387317B (zh) Ct图像和mri三维图像的配准方法、装置
CN110475505B (zh) 利用全卷积网络的自动分割
JP6993334B2 (ja) 自動化された心臓ボリュームセグメンテーション
US20210249142A1 (en) Simulating abnormalities in medical images with generative adversarial networks
KR101599219B1 (ko) 3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
US20210233244A1 (en) System and method for image segmentation using a joint deep learning model
JP6885517B1 (ja) 診断支援装置及びモデル生成装置
CN112435341B (zh) 三维重建网络的训练方法及装置、三维重建方法及装置
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN112767504A (zh) 用于图像重建的系统和方法
CN111179366A (zh) 基于解剖结构差异先验的低剂量图像重建方法和系统
WO2020234349A1 (en) Sampling latent variables to generate multiple segmentations of an image
CN111612756A (zh) 冠状动脉特异性钙化检测方法及装置
CN113870215A (zh) 中线提取方法及装置
CN108701360A (zh) 图像处理系统和方法
CN115330669A (zh) 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN112258564B (zh) 生成融合特征集合的方法及装置
CN116958217B (zh) 一种mri与ct多模态3d自动配准方法及装置
CN114638745B (zh) 一种基于多借鉴信息的医学影像智能转换方法
CN117745880B (zh) 多维非线性变换的医学图像填充方法、装置、设备及介质
CN111008976B (zh) Pet图像的筛选方法和装置
US20220108124A1 (en) Information processing system, information processing apparatus, information processing method, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40070867

Country of ref document: HK

CP03 Change of name, title or address

Address after: Room 806, Research Headquarters Building, Guangdong Macao Cooperative Traditional Chinese Medicine Technology Industrial Park, No. 1 Doukou Road, Hengqin New District, Zhuhai City, Guangdong Province, 519031

Patentee after: True Health (Guangdong Hengqin) Medical Technology Co.,Ltd.

Address before: 100192 Room 308, floor 3, building 2, Tiandi Linfeng, No. 1, yongtaizhuang North Road, Haidian District, Beijing

Patentee before: ZHENJIANKANG (BEIJING) MEDICAL TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address