CN115830016B - 医学图像配准模型训练方法及设备 - Google Patents
医学图像配准模型训练方法及设备 Download PDFInfo
- Publication number
- CN115830016B CN115830016B CN202310086964.1A CN202310086964A CN115830016B CN 115830016 B CN115830016 B CN 115830016B CN 202310086964 A CN202310086964 A CN 202310086964A CN 115830016 B CN115830016 B CN 115830016B
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- training
- data
- deformation field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供一种医学图像配准模型训练方法及设备,所述方法包括:利用预训练数据对配准网络进行预训练,在预训练中所述配准网络被配置为根据输入的配对合成图像输出形变场,根据输出的形变场与预训练数据中的形变场数据计算损失并优化所述配准网络的参数;利用所述训练数据对预训练后的所述配准网络进行训练,在训练中所述配准网络被配置为以所述第一模态医学图像作为固定图像,以所述第二模态医学图像作为浮动图像,输出形变场数据;利用所述形变场数据对所述第二模态医学图像进行调整,得到配准图像。
Description
技术领域
本发明涉及医学图像处理领域,具体涉及一种医学图像配准模型训练方法及设备。
背景技术
随着现代计算机技术的高速发展,数字化诊疗在医学领域发挥着越来越重要的作用。为了非侵入式地观察患者身体内部实际情况,各式各样的医学影像成像技术在临床中开始被广泛使用。不同模态的医学影像,具有不同的成像特点,如计算机断层扫描(Computed Tomography,CT)影像可以用来诊断肌肉和骨组织有关失常,不同时期的核磁共振成像(Magnetic Resonance Imaging,MRI)影像能提供软组织有关的信息。直接观察相应影像进行诊断要求医生具备相关专业知识以及丰富的经验。
配准任务专注于估计图像对之间的空间对应关系,是医学成像的重要组成部分,涉及跨时相和模态获取的数据。CT 与 MRI 图像间外观差异较大,CT 图像对患者骨骼、器官轮廓等显示较为清晰,对血管等部位的显示较模糊,而 MRI图像则侧重显示患者的软组织等信息。即使是同样的解剖结构,不同的模态也会产生截然不同的外观。在临床场景中,医生通常需要一系列的对比来提供补充信息。图像配准对于将不同采集的信息结合起来至关重要。受到患者呼吸、伪影等影响,不同模态获取的图像可能会发生不同的形变,在同一患者的配准任务中,器官和病灶的形状轮廓往往具有重要的意义,为此在刚性配准之外,需要执行非线性配准,以达到更精确的融合效果。
神经网络模型可以用于执行图像配准任务,为此需要获取大量的跨模态医学图像作为样本对模型进行训练。现实中可以获取到同一组织结构的不同模态的图像,比如肝脏的CT和MRI图像,但是往往缺乏这两种图像之间的形变关系。因此对于图像配准任务来说,通常采用无监督学习方法来训练神经网络模型。由于跨模态医学图像间的较大外观差异,现有的无监督学习方法难以直接对图像间相似度进行度量,因而难以进行模型训练,或者训练出的模型性能较差。
发明内容
有鉴于此,本发明提供一种医学图像配准模型训练方法,包括:
获取预训练数据,包括基于随机噪声得到的配对合成图像对及其形变场数据,其中所述配对合成图像具有形变关联性,所述形变场数据用于表达所述形变关联性;
利用所述预训练数据对配准网络进行预训练,在预训练中所述配准网络被配置为根据输入的所述配对合成图像输出形变场,根据输出的形变场与预训练数据中的形变场数据计算损失并优化所述配准网络的参数;
获取训练数据,包括第一模态医学图像CT、第二模态医学图像MRI,以及所述第一模态医学图像中感兴趣目标的标注数据;
利用所述训练数据对预训练后的所述配准网络进行训练,在训练中所述配准网络被配置为以所述第一模态医学图像作为固定图像,以所述第二模态医学图像作为浮动图像,输出形变场数据;
利用所述形变场数据对所述第二模态医学图像进行调整,得到配准图像,根据所述配准图像和输出的形变场数据计算第一损失,利用经过训练的感兴趣目标分割网络对所述配准图像中的感兴趣目标进行分割,并根据分割结果和所述标注数据计算第二损失,根据所述第一损失和所述第二损失计算总损失,并根据所述总损失优化所述配准网络的参数。
可选地,获取预训练数据具体包括:获取三维的平滑噪声图像,对所述平滑噪声图像进行处理得到随机变形噪声图像;基于所述随机变形噪声图像生成随机标注映射数据,用于表达所述随机变形噪声图像中的连通区域;利用形变场数据对所述随机标注映射数据进行处理,得到浮动映射数据;基于所述随机标注映射数据生成第一合成图像,基于所述浮动映射数据生成第二合成图像,从而得到配对合成图像。
可选地,采用如下方式得到第一合成图像及第二合成图像:从两个连续分布中分别采样得到第一参数和第二参数,用于确定正态分布的均值和方差;在所述正态分布中提取数值作为所述连通区域中体素的灰度值,得到灰度图像;对所述灰度图像进行用于模拟医学图像特征的卷积、偏移、锐化处理,得到合成图像。
可选地,预训练中,根据输出的形变场与预训练数据中的形变场数据计算损失具体包括:利用预训练过程中输出的形变场对所述第二合成图像进行处理,得到形变图像;计算所述形变图像与所述第一合成图像的相似性损失,以及计算输出的形变场与预训练数据中形变场数据的正则损失;利用所述相似性损失和所述正则损失计算总损失。
可选地,所述第一损失包括所述配准图像与所述第一模态医学图像的相似性损失和根据输出的形变场数据的二阶梯度计算的抗折叠损失。
可选地,计算所述相似性损失具体包括:分别将所述配准图像和所述第一模态图像转换为同一模态表征;计算两个所述模态表的征差值平方和作为相似性度量,得到相似性损失。
可选地,计算所述抗折叠损失具体包括取所述形变场数据中的体素数量;基于所述体素数量、所述形变场数据及图像坐标系下的三维位置信息计算抗折叠损失。
可选地,按照如下方式计算所述总损失:
,
其中为总损失,为所述相似性损失,为所述抗折叠损失,为所述第二损失,和为超参数。
可选地,所述第一模态医学图像为CT图像,所述第二模态医学图像为MRI图像;或者,所述第一模态医学图像为MRI图像,所述第二模态医学图像为CT图像。
相应地,本发明提供一种医学图像模态转换模型训练设备,包括:处理器以及与所述处理器连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器执行上述医学图像配准模型训练方法。
本发明实施例提供的医学图像配准模型训练方法及设备将配准模型的训练分为两部分,即预训练和训练。在预训练中,本方案不使用医学图像,而是通过采样生成任意强度和形状的合成图像,并通过给定形变场来获得成对的合成图像,将给定的形变场作为标签,让配准网络预测形变场,使预训练成为自监督训练过程,进而使得预训练后的配准网络能够准确地预测两个输入图像之间的形变关系,由于在每次迭代中接收到任意强度和形状作为输入,消除对特定医学图像中的内容分布的依赖,进而实现对比不变性和鲁棒性;在训练过程中,使用两种模态的医学图像作为样本,并使用作为固定图像中的感兴趣目标作为辅助标签,经过预训练的配准网络在面对医学图像时可以输出具有一定准确性的形变场,利用该形变场对浮动图像进行形变,得到具有一定准确性的配准图像,同时引入感兴趣目标损失,结合配准图像与固定图像的相似性损失进一步优化配准网络的参数,由此可以得到具有更高性能的配准网络。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的医学图像配准模型训练方法的流程图;
图2为本发明实施例中的预训练过程示意图;
图3为利用本发明实施例提供的配准网络进行医学图像配准的结果。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种医学图像配准模型训练方法,该方法可以由计算机或服务器等电子设备执行,所训练的医学图像模态转换模型的用途是将第一模态的医学图像转换为第二模态的医学图像。第一模态是CT图像、第二模态是MRI图像,或者第一模态是MRI图像、第二模态是CT图像。
首先构建一个配准网络,在一个实施例中,以3D U-Net网络结构为基础,具体包括四个下采样层和四个上采样层,并额外添加了三个三维卷积层;还需要预先一个图像分割模型(感兴趣目标分割网络),具体可以是2D U-Net网络结果,其用于在图像中分割感兴趣区域,具体是采用CT图像及感兴趣区域的标注数据作为训练数据,使图像分割模型输出对CT图像中的感兴趣区域的分割结果,然后通过输出的分割结果与标注数据来计算损失和优化参数;或者采用MRI图像及感兴趣区域的标注数据作为训练数据进行训练。图像分割模型的损失计算和参数优化方案可以采用现有技术。
感兴趣区域可以是图像中的人体组织,在本实施例中是皮肤表面和身体区域。经过训练的感兴趣目标分割网络可以针对输入的CT图像或者MRI图像进行处理,输出对皮肤表面和身体区域的分割结果。
本实施例提供的学图像模态转换模型训练方法是针对上述配准网络进行训练的过程,此过程被分为两部分,分别为预训练过程和训练过程,如图1所示包括如下内容的操作:
S1,获取预训练数据,包括基于随机噪声得到的配对合成图像对及其形变场数据,其中配对合成图像具有形变关联性,形变场数据用于表达形变关联性;
S2,利用预训练数据对配准网络进行预训练,在预训练中配准网络被配置为根据输入的配对合成图像输出形变场,根据输出的形变场与训练数据中的形变场数据计算损失并优化配准网络的参数。
步骤S1-S2为预训练过程,在预训练中本方案不需要使用医学图像,只需要生成具有空间形变关联性的成对噪声图像,让配准网络学习二者之间的形变关系。需要说明的是,由于本实施例使用的是三维的配准网络,所以预训练数据中的合成图像是指三维图像,类似于CT或MRI,三维图像具体是指由多张空间上连续的二维图像组成的图像序列,相应地,形变场也是一种三维数据。生成成对噪声图像的方式有多种,比如可以先用随机噪声数据合成一个图像,再给定形变场数据,通过对该图像进行形变得到另一个合成图像,当然也可以使用更复杂的方案来提高预训练的效果,具体将在后续实施例中进行介绍。
由于预训练中形变场是已知的,所以能够通过比对配准网络输出的形变场和已知的形变场来计算损失,以此来优化网络参数,预训练过程可以被视为采用了自监督学习方式。
本领域技术人员应当理解,预训练中需要使用大量的预训练数据,步骤S1-S2将被迭代执行,直至达到设定的收敛条件为止。经过预训练之后,配准网络输出的形变场应趋近给定的形变场(预训练数据中的形变场)。预训练完成后,进入步骤S3-S5进行正式训练。
S3,获取训练数据,包括第一模态医学图像、第二模态医学图像,以及第一模态医学图像中感兴趣目标的标注数据。作为举例,以CT图像第一模态医学图像,以MRI图像作为第二模态医学图像,CT图像中的感兴趣目标为人体皮肤和身体区域,CT图像和MRI图像均为三维图像。
关于正式训练中的训练数据,在具体实施例中需要获取至少50组CT和50组MRI三维医学图像作为原始图像数据集,本申请所谓一组三维图像是指空间上连续的多个图像。这些CT和MRI图像是同一组织器官数据,例如是肝脏图像。
在一个实施例中,可以对原始图像以脊柱为中心进行手动裁剪,并进行窗宽窗位裁剪、缩放、归一化等操作对数据预处理,得到预处理完成的多模态数据集。对由医学图像采集设备采集到的原始CT和MRI三维医学图像,为将其统一至相同大小、层间距和分辨率,通过预处理操作对其进行统一手动裁剪缩放。具体地,由原始CT和MRI三维医学图像裁剪出384*384*256大小的三维图像,图像中各切片分辨率为1.0mm*1.0mm,切片间距1.0mm。
在优选实施例中,为了提高训练效率,对训练数据进行预配准。具体可以是以CT图像作为固定图像,对相应的MRI图像进行变换,使其解决CT图像;也可以是以MRI图像作为固定图像,对相应的CT图像进行变换,使其解决MRI图像。预配准采用仿射变换,将初始变换设置为几何中心,以图像互信息作为相似性度量,选用线性插值方法,优化变化尺度并构建4:2:1的三层多分辨率金字塔,梯度下降优化器参数配置为学习率1.0,迭代次数200次,直至验证收敛。需要说明的是,预配准为非必须操作,实际应用时可以不采用上述优选实施例。
经过处理后的多模态数据集按照9比1比例随机分割分别获得训练集和测试集。
S4,利用训练数据对预训练后的配准网络进行训练,在训练中配准网络被配置为以第一模态医学图像作为固定图像,以第二模态医学图像作为浮动图像,输出形变场数据。如果CT为固定图像,MRI为浮动图像,则输出的形变场是用于调整MRI图像的形变场。由于配准网络经历过预训练,虽然此时输入的医学图像与预训练中的噪声图像有很大区别,但配准网络也可以针对输入的CT和MRI图像输出形变场,但准确性有待提高。
S5,利用形变场数据对第二模态医学图像进行调整,得到配准图像,根据配准图像和输出的形变场数据计算第一损失,利用经过训练的感兴趣目标分割网络对配准图像中的感兴趣目标进行分割,并根据分割结果和标注数据计算第二损失,根据第一损失和第二损失计算总损失,并根据总损失优化配准网络的参数。
关于第一损失,与预训练不同的是,训练数据中没有给定的形变场,所以不可能通过比对形变场来计算损失,而是可以利用输出的形变场对MRI图像进行处理,得到配准图像,如果配准图像越接近CT图像,则说明输出的形变场越准确,基于此原理可以计算出相应的损失。
本方案还使用了第二损失,将从配准图像中提取的人体皮肤和身体区域的形状,与CT中的人体皮肤和身体区域的形状进行比对,二者越相似则说明配准图像越接近CT图像,也就表面输出的形变场越准确,基于此原理可以计算出相应的损失。在本实施例中,配准图像、医学图像均为三维图像,而感兴趣目标分割网络是用于处理二维图像的网络,具体是针对三维图像中的每一个二维切片中的感兴趣目标进行提取。
通过上述两部分损失进行求和,或者加权求和等,可以计算出总损失,通过反向传播更新配准网络参数,在训练过程中感兴趣目标分割网络的参数被锁定。步骤S3-S5也将被迭代执行,直至达到设定的收敛条件为止。
本发明实施例提供的医学图像配准模型训练方法及设备将配准模型的训练分为两部分,即预训练和训练。在预训练中,本方案不使用医学图像,而是通过采样生成任意强度和形状的合成图像,并通过给定形变场来获得成对的合成图像,将给定的形变场作为标签,让配准网络预测形变场,使预训练成为自监督训练过程,进而使得预训练后的配准网络能够准确地预测两个输入图像之间的形变关系,由于在每次迭代中接收到任意强度和形状作为输入,消除对特定医学图像中的内容分布的依赖,进而实现对比不变性和鲁棒性;在训练过程中,使用两种模态的医学图像作为样本,并使用作为固定图像中的感兴趣目标作为辅助标签,经过预训练的配准网络在面对医学图像时可以输出具有一定准确性的形变场,利用该形变场对浮动图像进行形变,得到具有一定准确性的配准图像,同时引入感兴趣目标损失,结合配准图像与固定图像的相似性损失进一步优化配准网络的参数,由此可以得到具有更高性能的配准网络。
图3展示了两组配准结果,利用本发明实施例提供的方法训练后的配准网络,对输入的CT图像和MRI图像进行处理,输出形变场,再利用形变场对MRI进行形变,得到配准图像,配准结果较为准确。
在可选实施例中,上述步骤S1具体包括:
S11,获取三维的平滑噪声图像,对平滑噪声图像进行处理得到随机变形噪声图像。首先在低分辨率下从标准分布中采样生成个三维平滑噪声图像,随后将其上采样至与待配准图像(CT图像和MRI图像)相同尺寸。通过若干随机形变场作用于,得到随机形变后的噪声图像。
S12,基于随机变形噪声图像生成随机标注映射数据,用于表达随机变形噪声图像中的连通区域。创建相同尺寸的解剖结构标注映射,对于中的每一个体素,赋值为个三维平滑噪声图像中,对应体素强度最高图像的下标,计算式表达为:
,
其中表示中的第k个体素的值。
在该单热编码的标注映射中,每一体素的取值在1到之间,邻近体素倾向于具有相同的取值,由此得到若干随机分布的同值连通域,类似于分割任务中的标注。
S13,利用形变场数据对随机标注映射数据进行处理,得到浮动映射数据;对经过步骤S12得到的随机标注映射,通过随机的位移形成浮动映射,具体可以是通过随机可微形变场及最近邻插值产生浮动映射。然后在两个映射的基础上合成灰度图像。
S14,基于随机标注映射数据生成第一合成图像,基于浮动映射数据生成第二合成图像,从而得到配对合成图像。通过给定的映射数据生成图像的方式有多种,在具体实施例中采用如下方式:
映射数据所表达的连通区域可以有多个,如前所述连通区域内是同值的,为了要得到具有不同灰度值的图像,则需要针对每一个连通区域分别赋予灰度值。
针对一个映射数据,从两个连续分布中分别采样得到第一参数和第二参数,作为正态分布的均值和方差。具体地,连续分布和,其中、、、均为超参,从中采样一个值,从中采样一个值,进而确定一个正态分布,为平均值,为标准差;
在正态分布中提取数值作为连通区域中体素的灰度值,得到灰度图像。对于第个连通区域中的每一个体素,从正态分布中采样进行赋值。对于不同的连通区域,分别按照这种方式独立地构成正态分布和赋值,完成后即可得到灰度图像,其中各个连通区域内不再是同值的。
由于配准网络的最终用途是处理医学图像,所以在此还可以对合成的灰度图像做一些处理,使其具有医学图像的特点,进而使得后续训练过程中能够得到更准确地处理医学图像,具体是对灰度图像进行用于模拟医学图像特征的卷积、偏移、锐化处理,得到合成图像。
使用各向异性高斯核对灰度图像进行卷积以模拟医学图像中的部分容积效应,进一步通过空间变化强度偏置场对图像进行偏移,由此来模拟医学图像中的亮度差异(偏置场),并通过最小最大值归一化和全局取幂进行图像锐化以获得最终合成图像。
上述方式适用于生成第一合成图像和第二合成图像,对于第一合成图像而言给定的是随机标注映射数据,对于第二合成图像而言给定的是浮动映射数据。
图2示出了配准网络预训练的示意图,其中p1表示上述平滑噪声图像,p2表示上述随机变形噪声图像,s1表示上述随机标注映射数据,s2表示上述浮动映射数据,I1表示上述第一合成图像,I2表示上述第二合成图像。以I1和I2作为配准网络的输入,步骤S13中所述形变场数据作为预训练数据中给定的形变场,配准网络输出形变场数据,利用输出的形变场数据对I2进行处理得到形变图像I3,通过比对输出形变场数据与给定的形变场即可计算损失。
本实施例避免了配准网络对于大量含解剖标注数据的依赖性,同时提高网络对形状的敏感和配准精度。在预训练步骤中不需要获得训练数据,而是通过采样生成任意强度和形状的合成数据以实现对比不变性和鲁棒性。在给定随机种子z(给定的形变场数据)的情况下,本实施例使用函数生成两个成对的三维标注映射(随机标注映射数据和浮动映射数据)。然后定义另一个函数,它基于映射和随机种子合成两个三维体数据{, }(第一合成图像和第二合成图像)。使模型在每次迭代中接收到任意强度和形状作为输入,消除对特定医学图像分布的依赖。其次,因为首先合成标签映射,本实施例使用相似损失来衡量独立于图像强度的标签重叠度,从而避免了在迭代配准中的损失函数对于解剖标注的依赖。
进一步地,上述S2具体包括:
S21,利用预训练过程中输出的形变场对第二合成图像进行处理,得到形变图像;
S22,计算形变图像与第一合成图像的相似性损失,以及计算输出的形变场与预训练数据中形变场数据的正则损失。
关于相似性损失,随机标注映射数据s1相当于第一合成图像I1中的一些区域的分割标注,利用形变场对s1处理得到的结果即为针对形变图像中相应区域的分割标注,浮动映射数据s2相当于第二合成图像I2中相应区域的分割标注,基于这些分割标注可以计算重叠区域的软Dice损失。
正则损失(regularization loss)是用于限制形变场,不让其产生不合理的形变的损失。在训练过程中,通过最大化图像的相似性测度,网络一般产生的都是一些不连续的变形场,通常要对预测的变形场施加一个空间平滑性的约束,即对变形场的空间梯度进行惩罚,比如计算变形场梯度的L2范数的平方,此过程称为空间正则化。
S23,利用相似性损失和所述正则损失计算总损失。总损失可以是二者之和或者加权求和等等。在步骤S21中得到的形变图像与第一合成图像越接近,说明输出的形变场越准确。
在可选实施例中,上述步骤S5中的第一损失进一步包括两部分,分别为配准图像与第一模态医学图像的相似性损失,以及根据输出的形变场数据的二阶梯度计算的抗折叠损失。
训练中的总损失由三部分组成,分别为相似性损失、抗折叠损失和上述第二损失(可以称为感兴趣区域遮罩覆盖损失),优选的计算方式为:
,
其中为总损失,为相似性损失,为抗折叠损失,为第二损失,和为超参数。
感兴趣区域遮罩覆盖损失可以参考现有的图像分割网络的损失计算方法。
进一步地,关于相似性损失,可使用模态独立邻域描述子(MIND)将不同模态的图像转换到同一模态下的表征,再以该表征结果的差值平方和作为相似性度量,得到相似性损失。使用MIND计算相似性损失的过程是将CT和配准后的MRI都转换成同一种规定的模态(可以称之为MIND模态),然后针对两幅MIND模态图像计算相似性损失。
关于抗折叠损失,形变场的折叠程度可以通过计算配准后的图像中雅可比行列式非正体素的比例进行量化验证
计算配准后的图像中雅可比行列式非正体素的比例进行量化验证。通过计算变形场的二阶梯度,对变形场中的折叠进行惩罚:
,
其中为抗折叠损失,是形变场的体素数(即形变图像的体素数),是配准网络输出的三维形变场,、、是在图像坐标系下的三个维度(轴冠矢)下的坐标。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种医学图像配准模型训练方法,其特征在于,包括:
获取预训练数据,包括基于随机噪声得到的配对合成图像对及其形变场数据,其中所述配对合成图像具有形变关联性,所述形变场数据用于表达所述形变关联性;
利用所述预训练数据对配准网络进行预训练,在预训练中所述配准网络被配置为根据输入的所述配对合成图像输出形变场,根据输出的形变场与预训练数据中的形变场数据计算损失并优化所述配准网络的参数;
获取训练数据,包括第一模态医学图像CT、第二模态医学图像MRI,以及所述第一模态医学图像中感兴趣目标的标注数据;
利用所述训练数据对预训练后的所述配准网络进行训练,在训练中所述配准网络被配置为以所述第一模态医学图像作为固定图像,以所述第二模态医学图像作为浮动图像,输出形变场数据;
利用所述形变场数据对所述第二模态医学图像进行调整,得到配准图像,根据所述配准图像和输出的形变场数据计算第一损失,利用经过训练的感兴趣目标分割网络对所述配准图像中的感兴趣目标进行分割,并根据分割结果和所述标注数据计算第二损失,根据所述第一损失和所述第二损失计算总损失,并根据所述总损失优化所述配准网络的参数。
2.根据权利要求1所述的方法,其特征在于,获取预训练数据具体包括:
获取三维的平滑噪声图像,对所述平滑噪声图像进行处理得到随机变形噪声图像;
基于所述随机变形噪声图像生成随机标注映射数据,用于表达所述随机变形噪声图像中的连通区域;
利用形变场数据对所述随机标注映射数据进行处理,得到浮动映射数据;
基于所述随机标注映射数据生成第一合成图像,基于所述浮动映射数据生成第二合成图像,从而得到配对合成图像。
3.根据权利要求2所述的方法,其特征在于,采用如下方式得到第一合成图像及第二合成图像:
从两个连续分布中分别采样得到第一参数和第二参数,用于确定正态分布的均值和方差;
在所述正态分布中提取数值作为所述连通区域中体素的灰度值,得到灰度图像;
对所述灰度图像进行用于模拟医学图像特征的卷积、偏移、锐化处理,得到合成图像。
4.根据权利要求2所述的方法,其特征在于,预训练中,根据输出的形变场与预训练数据中的形变场数据计算损失具体包括:
利用预训练过程中输出的形变场对所述第二合成图像进行处理,得到形变图像;
计算所述形变图像与所述第一合成图像的相似性损失,以及计算输出的形变场与预训练数据中形变场数据的正则损失;
利用所述相似性损失和所述正则损失计算总损失。
5.根据权利要求1所述的方法,其特征在于,所述第一损失包括所述配准图像与所述第一模态医学图像的相似性损失和根据输出的形变场数据的二阶梯度计算的抗折叠损失。
6.根据权利要求5所述的方法,其特征在于,计算所述相似性损失具体包括:
分别将所述配准图像和所述第一模态医学图像转换为同一模态表征;
计算两个所述模态表征的差值平方和作为相似性度量,得到相似性损失 。
7.根据权利要求5所述的方法,其特征在于,计算所述抗折叠损失具体包括:
获取所述形变场数据中的体素数量;
基于所述体素数量、所述形变场数据的二阶梯度计算抗折叠损失。
8.根据权利要求5所述的方法,其特征在于,按照如下方式计算所述总损失:
,
其中为总损失,为所述相似性损失,为所述抗折叠损失,为所述第二损失,和为超参数。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述第一模态医学图像为CT图像,所述第二模态医学图像为MRI图像;或者,所述第一模态医学图像为MRI图像,所述第二模态医学图像为CT图像。
10.一种医学图像模态转换模型训练设备,其特征在于,包括:处理器以及与所述处理器连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器执行如权利要求1-9中任意一项所述的医学图像配准模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310086964.1A CN115830016B (zh) | 2023-02-09 | 2023-02-09 | 医学图像配准模型训练方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310086964.1A CN115830016B (zh) | 2023-02-09 | 2023-02-09 | 医学图像配准模型训练方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115830016A CN115830016A (zh) | 2023-03-21 |
CN115830016B true CN115830016B (zh) | 2023-04-14 |
Family
ID=85520909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310086964.1A Active CN115830016B (zh) | 2023-02-09 | 2023-02-09 | 医学图像配准模型训练方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115830016B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229218B (zh) * | 2023-05-09 | 2023-08-04 | 之江实验室 | 一种模型训练、图像配准方法及装置 |
CN117197203B (zh) * | 2023-09-08 | 2024-02-20 | 北京医智影科技有限公司 | 一种形变配准模型训练、剂量叠加方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862175A (zh) * | 2020-07-13 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种基于循环正则训练的跨模态医学图像配准方法及装置 |
CN111862174A (zh) * | 2020-07-08 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
CN113450397A (zh) * | 2021-06-25 | 2021-09-28 | 广州柏视医疗科技有限公司 | 基于深度学习的图像形变配准方法 |
CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11158069B2 (en) * | 2018-12-11 | 2021-10-26 | Siemens Healthcare Gmbh | Unsupervised deformable registration for multi-modal images |
-
2023
- 2023-02-09 CN CN202310086964.1A patent/CN115830016B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862174A (zh) * | 2020-07-08 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
CN111862175A (zh) * | 2020-07-13 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种基于循环正则训练的跨模态医学图像配准方法及装置 |
CN113450397A (zh) * | 2021-06-25 | 2021-09-28 | 广州柏视医疗科技有限公司 | 基于深度学习的图像形变配准方法 |
CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
Non-Patent Citations (1)
Title |
---|
董国亚 ; 宋立明 ; 李雅芬 ; 李文 ; 谢耀钦 ; .基于深度学习的跨模态医学图像转换.中国医学物理学杂志.2020,(第10期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN115830016A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599528B (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
US9561004B2 (en) | Automated 3-D orthopedic assessments | |
Claes et al. | Computerized craniofacial reconstruction: conceptual framework and review | |
Li et al. | Establishing a normative atlas of the human lung: intersubject warping and registration of volumetric CT images | |
CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
JP2022544229A (ja) | オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション | |
US10405834B2 (en) | Surface modeling of a segmented echogenic structure for detection and measurement of anatomical anomalies | |
Frangi | Three-dimensional model-based analysis of vascular and cardiac images | |
Claes et al. | Bayesian estimation of optimal craniofacial reconstructions | |
CN112885453A (zh) | 用于标识后续医学图像中的病理变化的方法和系统 | |
Kuklisova-Murgasova et al. | Registration of 3D fetal neurosonography and MRI | |
US9129392B2 (en) | Automatic quantification of mitral valve dynamics with real-time 3D ultrasound | |
WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
CN116580068B (zh) | 一种基于点云配准的多模态医学配准方法 | |
CN102903117A (zh) | 一种基于共形几何代数的三维图像配准方法及装置 | |
Hameeteman et al. | Carotid wall volume quantification from magnetic resonance images using deformable model fitting and learning-based correction of systematic errors | |
Huang et al. | Adoption of snake variable model-based method in segmentation and quantitative calculation of cardiac ultrasound medical images | |
Dong et al. | Hole-filling based on content loss indexed 3D partial convolution network for freehand ultrasound reconstruction | |
Olveres et al. | Left ventricle Hermite-based segmentation | |
CN109741439A (zh) | 一种二维mri胎儿图像的三维重建方法 | |
Garcia et al. | Multimodal breast parenchymal patterns correlation using a patient-specific biomechanical model | |
Li et al. | 3D intersubject warping and registration of pulmonary CT images for a human lung model | |
Erdt et al. | Computer aided segmentation of kidneys using locally shape constrained deformable models on CT images | |
Mani | Deep learning models for semantic multi-modal medical image segmentation | |
Feng et al. | A multi-resolution statistical deformable model (MISTO) for soft-tissue organ reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room 806, Research Headquarters Building, Guangdong Macao Cooperative Traditional Chinese Medicine Technology Industrial Park, No. 1 Doukou Road, Hengqin New District, Zhuhai City, Guangdong Province, 519031 Patentee after: True Health (Guangdong Hengqin) Medical Technology Co.,Ltd. Address before: 100192 Room 308, floor 3, building 2, Tiandi Linfeng, No. 1, yongtaizhuang North Road, Haidian District, Beijing Patentee before: ZHENJIANKANG (BEIJING) MEDICAL TECHNOLOGY Co.,Ltd. |
|
CP03 | Change of name, title or address |