CN112102294B - 生成对抗网络的训练方法及装置、图像配准方法及装置 - Google Patents

生成对抗网络的训练方法及装置、图像配准方法及装置 Download PDF

Info

Publication number
CN112102294B
CN112102294B CN202010975996.3A CN202010975996A CN112102294B CN 112102294 B CN112102294 B CN 112102294B CN 202010975996 A CN202010975996 A CN 202010975996A CN 112102294 B CN112102294 B CN 112102294B
Authority
CN
China
Prior art keywords
network
image
sample
generating
floating image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010975996.3A
Other languages
English (en)
Other versions
CN112102294A (zh
Inventor
李玉才
王瑜
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202010975996.3A priority Critical patent/CN112102294B/zh
Publication of CN112102294A publication Critical patent/CN112102294A/zh
Application granted granted Critical
Publication of CN112102294B publication Critical patent/CN112102294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本发明提供了一种生成对抗网络的训练方法及装置、图像配准方法及装置。该生成对抗网络的训练方法包括：利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数；基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，得到训练后的生成对抗网络，能够提高图像配准的效率。

Description

生成对抗网络的训练方法及装置、图像配准方法及装置
技术领域
本发明涉及图像配准技术领域，具体涉及一种生成对抗网络的训练方法及装置、图像配准方法及装置。
背景技术
近年来，图像配准在计算机视觉、医学图像处理、材料力学、遥感等领域应用广泛。例如，由于医学图像来自不同的采集设备、不同的扫描时间、不同的拍摄角度、不同的研究对象等，因此，往往需要进行图像配准以使得同一解剖结构在不同的医学图像中对应于空间中的同一位置，进而辅助医生分析病情、定位病灶等。
但是，传统的图像配准方法通常配准效率较慢。
发明内容
有鉴于此，本发明实施例提供了一种生成对抗网络的训练方法及装置、图像配准方法及装置，能够提高图像配准的效率。
根据本发明实施例的第一方面，提供一种生成对抗网络的训练方法，生成对抗网络包括生成网络和判别网络，其中，训练方法包括：利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数；基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，得到训练后的生成对抗网络，其中变换参数标签是基于对样本浮动图像和样本参考图像的标注得到的。
在本发明的一个实施例中，上述利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数，包括：利用生成网络分别对样本浮动图像和样本参考图像进行特征提取，得到第一特征向量和第二特征向量；将第一特征向量和第二特征向量进行拼接后输入全连接层，获得预测变换参数。
在本发明的一个实施例中，上述基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，包括：根据预测变换参数和变换参数标签的差异，更新生成网络的参数。
在本发明的一个实施例中，上述基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，包括：利用预测变换参数对样本浮动图像进行空间变换，得到第一浮动图像；利用变换参数标签对样本浮动图像进行空间变换，得到第二浮动图像；利用第一浮动图像和第二浮动图像训练判别网络。
在本发明的一个实施例中，上述利用生成网络对样本浮动图像和样本参考图像进行配准，包括：利用生成网络对样本浮动图像和样本参考图像进行单模态配准、多模态配准、二维-二维配准、三维-三维配准或二维-三维配准。
根据本发明实施例的第二方面，提供一种图像配准方法，包括：获取待配准的浮动图像和参考图像；利用如上述任一所述的生成对抗网络的训练方法训练得到的生成对抗网络中的生成网络生成浮动图像配准至参考图像的变换参数；基于变换参数对浮动图像进行配准。
根据本发明实施例的第三方面，提供一种生成对抗网络的训练装置，包括：生成模块，用于利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数；训练模块，用于基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，得到训练后的生成对抗网络，其中变换参数标签是基于对样本浮动图像和样本参考图像的标注得到的。
根据本发明实施例的第四方面，提供一种图像配准装置，包括：获取模块，用于获取待配准的浮动图像和参考图像；生成模块，用于利用如上述任一所述的生成对抗网络的训练方法训练得到的生成对抗网络中的生成网络生成浮动图像配准至参考图像的变换参数；配准模块，用于基于变换参数对浮动图像进行配准。
根据本发明实施例的第五方面，提供一种计算机可读存储介质，其特征在于，存储介质存储有计算机程序，计算机程序用于执行上述任一所述的方法。
根据本发明实施例的第六方面，提供一种电子设备，其特征在于，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于执行上述任一所述的方法。
根据本发明实施例提供的技术方案，通过利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数；基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，得到训练后的生成对抗网络，能够提高图像配准的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一实施例提供的图像配准方法的处理方式示意图。
图2所示为本发明一实施例提供的生成对抗网络的训练方法的流程示意图。
图3所示为本发明一实施例提供的生成网络的结构示意图。
图4所示为本发明一实施例提供的判别网络的结构示意图。
图5所示为本发明另一实施例提供的生成对抗网络的训练方法的流程示意图。
图6所示为本发明一实施例提供的图像配准方法的流程示意图。
图7所示为本发明一实施例提供的生成对抗网络的装置的框图。
图8所示为本发明一实施例提供的图像配准装置的框图。
图9所示为本发明一实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于本申请实施例涉及生成对抗网络和图像配准方面的应用，为了便于理解，下面先对本申请实施例可能涉及的相关术语及相关概念进行简单介绍。
(1)生成对抗网络
生成对抗网络是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。生成对抗网络由一个生成网络与一个判别网络组成。生成网络从潜在空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。
(2)图像配准
图像配准是一种根据图像内容将两幅或多幅图像进行对齐的处理方法。对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像(浮动图像，moving image)映射到另一幅图像(参考图像，fixed image)上，使得两幅图像中的对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。
(3)刚性变换
刚性变换是指在图像配准过程中，只涉及对图像的平移、旋转与缩放处理，不涉及对图像的形变处理。
(4)单模态配准
对数据来源相同的两幅图像进行配准，例如，对计算机断层扫描(CT)图像和CT图像进行配准，或者对核磁共振(MRI)图像和MRI图像进行配准。
(5)多模态配准
对数据图像来源不同的两幅图像进行配准，例如，对CT图像与MRI图像进行配准。
在现有的图像配准方法中，如图1所示，参考图像和浮动图像为配准流程的两个输入图像，参考图像和浮动图像分别对应参考变换矩阵参数(Fixed Transform)和浮动变换矩阵参数(Moving Transform)。其中，Fix Transform是预先给定的，在配准过程中不会更新；Moving Transform会在每一轮优化迭代中更新。参考图像采样器(FixedInterpolator)和浮动图像采样器(MovingInterpolator)分别使用Fixed Transform和Moving Transform对参考图像和浮动图像进行采样，然后选取特定的度量指标(metric)对比采样后的两幅图像的相似度，将对比结果送入优化器(Optimizer)中进行对MovingTransform进行优化，然后进行下一轮迭代，直到两幅图像的相似度达到预设的要求。然而，现有图像配准方法在图像配准时，需要多次迭代，根据图像相似度不断优化MovingTransform，配准效率较低。
有鉴于此，本发明通过一种生成对抗网络的训练方法训练得到生成网络；将参考图像和浮动图像输入训练后的生成网络，该生成网络能够直接生成浮动图像配准至参考图像的变换参数，也即，不需要多次迭代，只需要一次计算即可得到变换参数，加快了配准速度，提高了配准效率。另外，通过生成对抗网络中的生成网络和判别网络的相互对抗，能够提高生成网络输出变换参数的准确性。
图2所示为本发明一实施例提供的生成对抗网络的训练方法的流程示意图。生成对抗网络包括生成网络和判别网络。该方法可以由计算机设备(例如，服务器)执行。如图2所示，该方法包括如下内容。
S110：利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数。
应当理解，样本浮动图像可以为二维(2D)图像，也可以为三维(3D)图像；样本参考图像可以为2D图像，也可以为3D图像，本发明对此不作具体限定。也就是说，利用生成网络可以对样本浮动图像和样本参考图像进行2D-2D配准、3D-3D配准或2D-3D配准。
另外，样本浮动图像和样本参考图像可以是相同类型的图像，例如，都是CT图像，或者都是MRI图像；也可以是不同类型的图像，例如，一个是CT图像，一个是MRI图像，本发明对此不作限定。也就是说，利用生成网络可以对样本浮动图像和样本参考图像进行单模态配准或多模态配准。
具体地，将样本浮动图像和样本参考图像输入生成网络，即可获得将样本浮动图像进行空间变换以配准至样本参考图像的预测变换参数。例如，预测变换参数可以为预测变换矩阵Test。
需要说明的是，空间变换可以是将样本浮动图像进行平移、旋转、缩放等刚性变换操作。
复杂的变换都可以分解为在各个坐标轴上的变换的组合。例如，对3D样本浮动图像进行刚性变换，可以分解为在x，y，z轴上进行平移、旋转与缩放。
例如，样本浮动图像在x轴上进行旋转，变换过程可以表示为：
样本浮动图像在y轴上进行旋转，变换过程可以表示为：
样本浮动图像在z轴上进行旋转，变换过程可以表示为：
其中，为空间变换前的坐标，/>为空间变换后的坐标。
需要说明的是，变换矩阵的最后一行作为偏置是固定不变的，只需要确定前三行一共12个参数。
S120：基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，得到训练后的生成对抗网络，其中变换参数标签是基于对样本浮动图像和样本参考图像的标注得到的。
例如，以CT图像数据作为样本参考图像，以MRI图像数据作为样本浮动图像，通过手工标注的方式分别在CT图像与MRI图像上标注用于配准的关键点(landmark)，根据landmark计算出图像配准的变换矩阵Tgt，然后将该变换矩阵Tgt作为模型训练的变换参数标签(Ground Truth)。标注后的样本参考图像和样本浮动图像作为训练数据对生成对抗网络进行训练。
对判别网络和生成网络进行交替对抗训练可以为：基于预测变换参数和变换参数标签对生成网络进行训练，更新生成网络的参数，得到训练好的生成网络；进一步地，基于变换参数标签和训练好的生成网络输出的预测变换参数对判别网络进行训练，更新判别网络的参数，得到训练好的判别网络。以此类推，两个网络相互对抗、不断调整参数，最终目的是使生成网络生成的预测变换参数接近变换参数标签。
根据本发明实施例提供的技术方案，通过利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数；基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，得到训练后的生成对抗网络，能够提高图像配准的效率。
在本发明的另一个实施例中，上述利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数，包括：利用生成网络分别对样本浮动图像和样本参考图像进行特征提取，得到第一特征向量和第二特征向量；将第一特征向量和第二特征向量进行拼接后输入全连接层，获得预测变换参数。
例如，生成网络输入的样本参考图像(If)和样本浮动图像(Im)均为3D图像，生成网络的结构可以如图3所示。生成网络包括两个3D编码器(encoder)，其中，每个3D encoder由多个3D卷积层、池化层和激活函数组成，3D encoder的作用是从输入的图像中提取有用的特征信息作为配准的依据，例如，外形轮廓特征、材质结构特征等，本发明对特征的类型不作具体限定。
If和Im分别输入其中一个3Dencoder进行特征提取；将3Dencoder输出的结果通过展开(flatten)层分别展开为一维，即，分别得到第一特征向量和第二特征向量；在通道(channel)上将第一特征向量和第二特征向量拼接到一起，然后经过多个全连接层，最后输出1x12的结果，即预测变换参数Test。
需要说明的是，If和Im的3D Encoder在结构上可以是完全相同的，并且共享参数，这样做的好处是可以压缩模型大小，并且让两个3D Encoder都具有从If和Im的输入中提取特征的能力。
应当理解，当If和Im均为2D图像时，生成网络中可以分别采用2D Encoder进行特征提取，从而实现2D图像与2D图像的配准。
当If为2D图像，Im为3D图像时，生成网络中可以分别采用2D Encoder和3D Encoder对If和Im进行特征提取，从而实现，2D图像与3D图像的配准。应当理解，也可以是If为3D图像和Im均为2D图像，本发明对此不作具体限定。
根据本发明实施例提供的技术方案，利用生成网络分别对样本浮动图像和样本参考图像进行特征提取，得到第一特征向量和第二特征向量；将第一特征向量和第二特征向量进行拼接后输入全连接层，获得预测变换参数，可以利用生成网络对样本浮动图像和样本参考图像进行像素级别的刚性变换配准，提升了配准结果的精确度；另外，将样本浮动图像和样本参考图像输入生成网络，可直接获得预测变换参数，提高了配准效率。
在本发明的另一个实施例中，上述基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，包括：根据预测变换参数和变换参数标签的差异，更新生成网络的参数。
具体地，可以使用均方误差损失函数作为生成网络的损失函数：
其中，N为训练的样本数，为第i项数据的变换参数标签(Ground Truth)的第j项；/>为第i项数据的预测变换参数的第j项。
具体地，将上述均方误差损失函数计算得到的损失值反向迭代，对生成网络的参数进行更新。
在本发明的另一个实施例中，上述基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，包括：利用预测变换参数对样本浮动图像进行空间变换，得到第一浮动图像；利用变换参数标签对样本浮动图像进行空间变换，得到第二浮动图像；利用第一浮动图像和第二浮动图像训练判别网络。
具体地，将第一浮动图像(即经过Test变换后的浮动图像)和第二浮动图像(即经过Tgt变换后的浮动图像)分别作为判别网络的输入图像，判别网络用于判断输入图像是第一浮动图像还是第二浮动图像。当生成网络生成的Test越接近Tgt时，判别网络就越难判断。
例如，第一浮动图像或第二浮动图像为3D图像，判别网络的结构可以如图4所示。将第一浮动图像或第二浮动图像输入判别网络；采用3D Encoder对输入图像进行特征提取；通过展开(flatten)层将3D Encoder的输出展开为一维，然后输入多个全连接层，经过sigmoid激活函数，可输出0～1之间的分数，该分数表示输入图像为第二浮动图像(即经过Tgt变换后的浮动图像)的概率。
例如，判别网络的输入图像为第二浮动图像，判别网络期望输出的分数为1(即，目标分数为1)，而判别网络实际输出的预测分数为0.7，则根据预测分数与目标分数之间的差异，可以更新判别网络的参数。
当输出分数低于0.5时，可以认为输入图像是第一浮动图像；当输出分数大于0.5时，则可以认为输入图像是第二浮动图像。
通过生成网络和判别网络相互对抗，最后的博弈结果，在理想的状态下，生成网络生成尽可能接近变换参数标签Tgt的预测变换参数Test，而判别网络难以判定输入图像究竟是经过变换参数标签Tgt变换后的第二浮动图像，还是经过预测变换参数Test变换后的第一浮动图像。此时，则认为得到了一个优异的生成网络，可以用来生成浮动图像配准至参考图像的变换参数。
相较于现有的图像配准方法中的配准结果相似度的度量指标无法通用的问题，例如，在单模态配准中，度量指标常采用“平方距离和(sum of square distance)”、“平方距离平均(mean square distance)”，这些度量指标无法在多模态配准中使用；在多模态配准中，度量指标常采用“互相关系数(cross correlation)”和“互信息(mutualinformation)”，本发明实施例提供的技术方案不需要使用度量指标，可以通过判别网络自动学习如何判断配准结果的相似度，简化了配准流程，同时提高了模型的适用性。
在本发明的另一个实施例中，在对生成对抗网络进行训练之前，还包括：对样本浮动图像做随机的平移、旋转、缩放等操作。
根据本发明实施例提供的技术方案，在样本参考图像和样本浮动图像的基础上，对样本浮动图像做随机的平移、旋转、缩放等操作，这些操作对标注的landmark不会产生影响，可以进一步扩大训练数据集。
在本发明的另一个实施例中，在对生成对抗网络进行训练之前，还包括：对样本参考图像和样本浮动图像进行预处理操作。
具体地，可以对样本参考图像和样本浮动图像进行加窗操作，以将样本参考图像和样本浮动图像调整至适合的窗宽窗位。
另外，为了提升模型效果，可以统一样本参考图像和样本浮动图像的体素物理空间大小。具体地，可以通过线性插值的方法，将样本参考图像和样本浮动图像的体素大小调整到1mm×1mm×1mm。应当理解，上述描述仅为示例性描述，本发明对此不作具体限定。
在本发明的另一个实施例中，上述训练方法还包括：对样本参考图像和样本浮动图像进行增强处理。
具体地，可以对样本参考图像和样本浮动图像进行随机的亮度调整，添加噪声，图像内容遮盖等操作。利用增强后的图像对生成对抗网络进行训练，能够增加模型的鲁棒性。
图5所示为本发明一实施例提供的生成对抗网络的训练方法的流程示意图。图5所示实施例为图2所示实施例的具体例子。该方法可以由计算机设备(例如，服务器)执行。如图5所示，该方法包括如下内容。
S210：获取样本浮动图像(3D的MRI图像)、样本参考图像(3D的CT图像)和变换参数标签。
具体地，通过手工标注的方式分别在CT图像与MRI图像上标注用于配准的关键点(landmark)，根据landmark计算出图像配准的变换矩阵Tgt(即，变换参数标签)。
S220：对MRI图像进行随机的平移、旋转，缩放等操作，以扩大训练数据集。
S230：对MRI图像和CT图像进行预处理操作。
具体地，可以对MRI图像和CT图像进行加窗操作，以将MRI图像和CT图像调整至适合的窗宽窗位。
另外，为了提升模型效果，可以统一MRI图像和CT图像的体素物理空间大小。具体地，可以通过线性插值的方法，将MRI图像和CT图像的体素大小调整到1mm×1mm×1mm。
S240：对MRI图像和CT图像进行增强处理。
具体地，可以对MRI图像和CT图像进行随机的亮度调整，添加噪声，图像内容遮盖等操作。
S250：将经过上述处理的MRI图像和CT图像输入生成网络，得到生成网络输出的预测变换参数Test。
具体地，生成网络的结构如图3所示。
S260：根据预测变换参数Test和变换参数标签Tgt的差异，更新生成网络的参数。
S270：利用预测变换参数Test对MRI图像进行空间变换，得到经Test转换后的MRI图像。
S280：利用变换参数标签Tgt对MRI图像进行空间变换，得到经Tgt转换后的MRI图像。
S290：经Test转换后的MRI图像或经Tgt转换后的MRI图像作为判别网络的输入图像，判别网络输出输入图像为经Tgt转换后的MRI图像的预测概率。
具体地，判别网络的结构如图4所示。
S2100：根据预测概率和目标概率的差异，更新判别网络的参数。
以次类推，对生成网络和判别网络进行交替对抗训练，得到训练后的生成对抗网络。其中，训练后的生成对抗网络中的生成网络可用于生成浮动图像配准至参考图像的变换参数，以对图像进行配准。
根据本发明实施例提供的技术方案，利用上述生成对抗网络的训练方法训练得到的生成网络，只需要一次计算，即可得到浮动图像配准至参考图像的变换参数，提高了配准效率；另外，上述生成网络能够实现像素级别的配准，提升了配准结果的精确度；此外，相较于现有的图像配准方法，判别网络能够自动学习如何判断配准结果的相似度，不需要手动设计配准结果相似度的度量指标，简化了配准流程。
图6所示为本发明一实施例提供的图像配准方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图6所示，该方法包括如下内容。
S310：获取待配准的浮动图像和参考图像。
S320：利用如上述任一实施例提供的生成对抗网络的训练方法训练得到的生成对抗网络中的生成网络生成浮动图像配准至参考图像的变换参数。
S330：基于变换参数对浮动图像进行配准。
根据本发明实施例提供的技术方案，通过获取待配准的浮动图像和参考图像；利用如上述任一实施例提供的生成对抗网络的训练方法训练得到的生成对抗网络中的生成网络生成浮动图像配准至参考图像的变换参数；基于变换参数对浮动图像进行配准，只需要进行一次计算即可获得变换参数，大大提高了配准效率。
在本发明的另一个实施例中，上述图像配准方法还包括：对浮动图像和参考图像进行预处理操作。
具体地，可以统一参考图像和浮动图像的体素物理空间大小；对参考图像和浮动图像进行加窗操作，以将样本参考图像和样本浮动图像调整至适合的窗宽窗位；通过线性插值的方法，将样本参考图像和样本浮动图像的体素大小调整到1mm×1mm×1mm，等等。本发明对此不作具体限定。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图7所示为本发明一实施例提供的生成对抗网络的训练装置的框图。如图7所示，该生成对抗网络的训练装置700包括：
生成模块710，用于利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数。
训练模块720，用于基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，得到训练后的生成对抗网络，其中变换参数标签是基于对样本浮动图像和样本参考图像的标注得到的。
根据本发明实施例提供的技术方案，通过利用生成网络对样本浮动图像和样本参考图像进行配准，生成样本浮动图像配准至样本参考图像的预测变换参数；基于预测变换参数和变换参数标签，对判别网络和生成网络进行交替对抗训练，得到训练后的生成对抗网络，能够提高图像配准的效率。
在本发明的另一个实施例中，上述生成模块710还用于利用生成网络分别对样本浮动图像和样本参考图像进行特征提取，得到第一特征向量和第二特征向量；将第一特征向量和第二特征向量进行拼接后输入全连接层，获得预测变换参数。
在本发明的另一个实施例中，上述训练模块720还用于根据预测变换参数和变换参数标签的差异，更新生成网络的参数。
在本发明的另一个实施例中，上述训练模块720还用于利用预测变换参数对样本浮动图像进行空间变换，得到第一浮动图像；利用变换参数标签对样本浮动图像进行空间变换，得到第二浮动图像；利用第一浮动图像和第二浮动图像训练判别网络。
在本发明的另一个实施例中，上述生成模块710还用于利用生成网络对样本浮动图像和样本参考图像进行单模态配准、多模态配准、二维-二维配准、三维-三维配准或二维-三维配准。
装置700各个模块的功能和作用的实现过程具体详见上述图2的实施例中对应步骤的实现过程，在此不再赘述。
图8所示为本发明一实施例提供的图像配准装置的框图。如图8所示，该图像配准装置800包括：
获取模块810，用于获取待配准的浮动图像和参考图像。
生成模块820，用于利用如上述任一实施例提供的生成对抗网络的训练方法训练得到的生成对抗网络中的生成网络生成浮动图像配准至参考图像的变换参数。
配准模块830，用于基于变换参数对浮动图像进行配准。
根据本发明实施例提供的技术方案，通过获取待配准的浮动图像和参考图像；利用如上述任一实施例提供的生成对抗网络的训练方法训练得到的生成对抗网络中的生成网络生成浮动图像配准至参考图像的变换参数；基于变换参数对浮动图像进行配准，只需要进行一次计算即可获得变换参数，大大提高了配准效率。
在本发明的另一个实施例中，上述图像配准装置800还包括预处理模块840，用于对浮动图像和参考图像进行预处理操作。
上述装置800中各个模块的功能和作用的实现过程具体详见上述图6的实施例中对应步骤的实现过程，在此不再赘述。
图9所示为本发明一实施例提供的电子设备900的框图。
参照图9，电子设备900包括处理组件910，其进一步包括一个或多个处理器，以及由存储器920所代表的存储器资源，用于存储可由处理组件910的执行的指令，例如应用程序。存储器920中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件910被配置为执行指令，以执行上述生成对抗网络的训练方法和图像配准方法。
电子设备900还可以包括一个电源组件被配置为执行电子设备900的电源管理，一个有线或无线网络接口被配置为将电子设备900连接到网络，和一个输入输出(I/O)接口。电子设备900可以操作基于存储在存储器920的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备900的处理器执行时，使得上述电子设备900能够执行一种生成对抗网络的训练方法和图像配准方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种生成对抗网络的训练方法，其特征在于，所述生成对抗网络包括生成网络和判别网络，其中，所述训练方法包括：
利用所述生成网络对样本浮动图像和样本参考图像进行配准，生成所述样本浮动图像配准至所述样本参考图像的预测变换参数；
基于所述预测变换参数和变换参数标签，对所述判别网络和所述生成网络进行交替对抗训练，得到训练后的所述生成对抗网络，其中所述变换参数标签是基于对所述样本浮动图像和所述样本参考图像的标注得到的；
其中，所述基于所述预测变换参数和变换参数标签，对所述判别网络和所述生成网络进行交替对抗训练，得到训练后的所述生成对抗网络，包括：利用所述预测变换参数对所述样本浮动图像进行空间变换，得到第一浮动图像；利用所述变换参数标签对所述样本浮动图像进行空间变换，得到第二浮动图像；利用所述第一浮动图像和所述第二浮动图像训练所述判别网络。
2.根据权利要求1所述的方法，其特征在于，所述利用所述生成网络对样本浮动图像和样本参考图像进行配准，生成所述样本浮动图像配准至所述样本参考图像的预测变换参数，包括：
利用所述生成网络分别对所述样本浮动图像和所述样本参考图像进行特征提取，得到第一特征向量和第二特征向量；
将所述第一特征向量和所述第二特征向量进行拼接后输入全连接层，获得所述预测变换参数。
3.根据权利要求1所述的方法，其特征在于，所述基于所述预测变换参数和变换参数标签，对所述判别网络和所述生成网络进行交替对抗训练，还包括：
根据所述预测变换参数和所述变换参数标签的差异，更新所述生成网络的参数。
4.根据权利要求1至3中的任一项所述的方法，其特征在于，所述利用所述生成网络对样本浮动图像和样本参考图像进行配准，包括：
利用所述生成网络对所述样本浮动图像和所述样本参考图像进行单模态配准、多模态配准、二维-二维配准、三维-三维配准或二维-三维配准。
5.一种图像配准方法，其特征在于，包括：
获取待配准的浮动图像和参考图像；
利用如权利要求1-4中任一项所述的生成对抗网络的训练方法训练得到的生成对抗网络中的生成网络生成所述浮动图像配准至所述参考图像的变换参数；
基于所述变换参数对所述浮动图像进行配准。
6.一种生成对抗网络的训练装置，其特征在于，包括：
生成模块，用于利用生成网络对样本浮动图像和样本参考图像进行配准，生成所述样本浮动图像配准至所述样本参考图像的预测变换参数；
训练模块，用于基于所述预测变换参数和变换参数标签，对判别网络和所述生成网络进行交替对抗训练，得到训练后的所述生成对抗网络，其中所述变换参数标签是基于对所述样本浮动图像和所述样本参考图像的标注得到的；
其中，所述基于所述预测变换参数和变换参数标签，对所述判别网络和所述生成网络进行交替对抗训练，得到训练后的所述生成对抗网络，包括：利用所述预测变换参数对所述样本浮动图像进行空间变换，得到第一浮动图像；利用所述变换参数标签对所述样本浮动图像进行空间变换，得到第二浮动图像；利用所述第一浮动图像和所述第二浮动图像训练所述判别网络。
7.一种图像配准装置，其特征在于，包括：
获取模块，用于获取待配准的浮动图像和参考图像；
生成模块，用于利用如权利要求1-4中任一项所述的生成对抗网络的训练方法训练得到的生成对抗网络中的生成网络生成所述浮动图像配准至所述参考图像的变换参数；
配准模块，用于基于所述变换参数对所述浮动图像进行配准。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至5中任一项所述的方法。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至5中任一项所述的方法。
CN202010975996.3A 2020-09-16 2020-09-16 生成对抗网络的训练方法及装置、图像配准方法及装置 Active CN112102294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010975996.3A CN112102294B (zh) 2020-09-16 2020-09-16 生成对抗网络的训练方法及装置、图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010975996.3A CN112102294B (zh) 2020-09-16 2020-09-16 生成对抗网络的训练方法及装置、图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN112102294A CN112102294A (zh) 2020-12-18
CN112102294B true CN112102294B (zh) 2024-03-01

Family

ID=73759370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010975996.3A Active CN112102294B (zh) 2020-09-16 2020-09-16 生成对抗网络的训练方法及装置、图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN112102294B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096169B (zh) * 2021-03-31 2022-05-20 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113360485A (zh) * 2021-05-14 2021-09-07 天津大学 一种基于生成对抗网络的工程数据增强算法
CN113706450A (zh) * 2021-05-18 2021-11-26 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及可读存储介质
CN114359360B (zh) * 2022-03-17 2022-06-10 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
CN116071401B (zh) * 2023-01-28 2023-08-01 中日友好医院(中日友好临床医学研究所) 基于深度学习的虚拟ct图像的生成方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598745A (zh) * 2018-12-25 2019-04-09 上海联影智能医疗科技有限公司 图像配准方法、装置和计算机设备
CN109685116A (zh) * 2018-11-30 2019-04-26 腾讯科技（深圳）有限公司 图像描述信息生成方法和装置及电子装置
CN109903299A (zh) * 2019-04-02 2019-06-18 中国矿业大学 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110427799A (zh) * 2019-06-12 2019-11-08 中国地质大学（武汉） 基于生成对抗网络的人手深度图像数据增强方法
CN110837787A (zh) * 2019-10-31 2020-02-25 河海大学 一种三方生成对抗网络的多光谱遥感图像检测方法及系统
CN110866909A (zh) * 2019-11-13 2020-03-06 上海联影智能医疗科技有限公司 图像生成网络的训练方法、图像预测方法和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
US10719742B2 (en) * 2018-02-15 2020-07-21 Adobe Inc. Image composites using a generative adversarial neural network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685116A (zh) * 2018-11-30 2019-04-26 腾讯科技（深圳）有限公司 图像描述信息生成方法和装置及电子装置
CN109598745A (zh) * 2018-12-25 2019-04-09 上海联影智能医疗科技有限公司 图像配准方法、装置和计算机设备
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN109903299A (zh) * 2019-04-02 2019-06-18 中国矿业大学 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110427799A (zh) * 2019-06-12 2019-11-08 中国地质大学（武汉） 基于生成对抗网络的人手深度图像数据增强方法
CN110837787A (zh) * 2019-10-31 2020-02-25 河海大学 一种三方生成对抗网络的多光谱遥感图像检测方法及系统
CN110866909A (zh) * 2019-11-13 2020-03-06 上海联影智能医疗科技有限公司 图像生成网络的训练方法、图像预测方法和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于分步生成模型的视网膜眼底图像合成;康莉;江静婉;黄建军;黄德渠;张体江;;中国体视学与图像分析;20191225(第04期);全文 *

Also Published As

Publication number Publication date
CN112102294A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112102294B (zh) 生成对抗网络的训练方法及装置、图像配准方法及装置
US11244435B2 (en) Method and apparatus for generating vehicle damage information
Maiseli et al. Recent developments and trends in point set registration methods
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
US20220114750A1 (en) Map constructing method, positioning method and wireless communication terminal
Sahillioğlu et al. Minimum-distortion isometric shape correspondence using EM algorithm
Hashemi et al. Template matching advances and applications in image analysis
CN111095426A (zh) 使用深度神经网络的计算机辅助诊断
US20080101676A1 (en) System and Method For Segmenting Chambers Of A Heart In A Three Dimensional Image
US20050249434A1 (en) Fast parametric non-rigid image registration based on feature correspondences
JP2019076699A (ja) 偽陽性低減での小結節検出
Etezadifar et al. A new sample consensus based on sparse coding for improved matching of SIFT features on remote sensing images
US20220392201A1 (en) Image feature matching method and related apparatus, device and storage medium
WO2011109710A1 (en) Hierarchical atlas-based segmentation
Wang et al. Visual tracking via sparse and local linear coding
Deng et al. Efficient 3D face recognition using local covariance descriptor and Riemannian kernel sparse coding
Tang et al. Retinal image registration based on robust non-rigid point matching method
CN113516693B (zh) 一种快速通用的图像配准方法
JP5500245B2 (ja) トレーニング方法及び装置並びに画像における対象の姿勢視角を推定する方法及び装置
Mansoor et al. Marginal shape deep learning: applications to pediatric lung field segmentation
Dan et al. Multifeature energy optimization framework and parameter adjustment-based nonrigid point set registration
CN114781393B (zh) 图像描述生成方法和装置、电子设备及存储介质
Geng et al. SANet: A novel segmented attention mechanism and multi-level information fusion network for 6D object pose estimation
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
Schultz et al. Bayesian inference for uncertainty quantification in point-based deformable image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant