CN106373109B - 一种医学图像模态合成的方法 - Google Patents
一种医学图像模态合成的方法 Download PDFInfo
- Publication number
- CN106373109B CN106373109B CN201610797914.4A CN201610797914A CN106373109B CN 106373109 B CN106373109 B CN 106373109B CN 201610797914 A CN201610797914 A CN 201610797914A CN 106373109 B CN106373109 B CN 106373109B
- Authority
- CN
- China
- Prior art keywords
- image
- neural networks
- convolutional neural
- convolution
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010189 synthetic method Methods 0.000 title claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 21
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 60
- 230000004913 activation Effects 0.000 claims description 26
- 230000017105 transposition Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 4
- 238000012886 linear function Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000001550 time effect Effects 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims description 2
- 210000004218 nerve net Anatomy 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 238000013507 mapping Methods 0.000 description 11
- 210000003484 anatomy Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 241001653634 Russula vesca Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种医学图像模态合成的方法，源模态图像空间分辨率归一化处理，使图像的分辨率归一化到同样大小，源模态图像灰度值标准化或者归一化处理，对第一步处理后的源模态图像灰度值归一化到均值为0，标准偏差为1，将处理后的源模态图像为输入，由卷积神经网络进行预测，将卷积神经网络预测输出进行线性变换生成目标模态图像；以此达到进行线性变换的目的，最终生成目标模态图像。通过学习得到的卷积神经网络模型快速有效地实现医学图像的模态合成，通过对卷积神经网络模型的训练自动完成不同尺度、多种层次图像特征的学习和优化，不需要进行耗时的图像配准过程，可快速准确地完成模态合成。
Description
技术领域
本发明涉及数字图像处理技术领域，具体为一种医学图像模态合成的方法。
背景技术
通过计算机模拟另一种成像设备的成像方法合成、虚拟重建相应的图像，这一过程称为模态合成，如由X线计算机断层扫描图像数据重构超声图像、由磁共振成像设备获取的图像数据预测合成对应的CT图像等。本发明的目的在于提供一种有效的模态合成方法，快速有效地实现医学图像的模态合成。模态合成所产生的结果可用于简化多模态医学图像配准问题、PET/MRI成像系统中的衰减校正、放疗中辐射剂量分布计算等。
普通的数字图像处理方法在建立物理模型的时难以应用于现有大多数成像设备和常规成像方式下获取的图像数据，普适性有限、应用范围窄，对于图像分割的方法只能得到相当粗糙的合成图像，而图谱的方法适用部位有限，模态合成图像的精度受到限制，不能保证所有个体图像与图谱很好地对应，并且图谱配准非常耗时，建立回归预测模型只能提取较小区域的图像特征，难以很好逼近不同模态医学图像之间复杂的映射关系。
发明内容
本发明的目的在于提供一种医学图像模态合成的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种医学图像模态合成的方法,包括以下步骤：
第一步，源模态图像空间分辨率归一化处理，将所有的源模态图像在空间上经过降采样的方法进行缩小或经过插值的方法进行放大，使图像的分辨率归一化到同样大小；
第二步，源模态图像灰度值标准化或者归一化处理，对第一步处理后的源模态图像灰度值归一化到均值为0，标准偏差为1；
第三步，将处理后的源模态图像为输入，由卷积神经网络进行预测，以第二步处理后的源模态图像数据中的二维数据、三维体数据或者相邻的若干层图像为输入，预测源模态对应的目标模态图像，其中所采用的卷积神经网络构架具有多个卷积层、池化层、并置层和上采样层；
第四步，将卷积神经网络预测输出进行线性变换生成目标模态图像。
优选的，卷积神经网络各层的输入和输出称为特征图，特征图具有多个通道，通道数目取决于对应卷积层中卷积核的数目，设第l层卷积层有nl个卷积核，第l层卷积层输出的特征图记为Fl，特征图Fl的第i个通道记为Fi l，其中i＝1,2,3,...,nl，卷积网络的输入记为具有一个或多个通道；
数学上，卷积神经网络中第l层卷积层输出特征图Fl与输入Fl-1之间的关系描述为：
上式中，*表示二维卷积操作，σ(.)表示输入矩阵中元素的非线性激活函数，为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核，为第l层卷积层中用于计算输出特征图第i个通道的偏置项，L表示卷积网络中的卷积层数目，非线性激活函数σ(.)为Sigmoid函数、双曲线正切函数或者ReLU函数；
当非线性激活函数σ(.)为Sigmoid函数时：
σ(x)＝1/(1+e-x)；
其中e为自然底数；
当非线性激活函数σ(.)为双曲线正切函数时：
σ(x)＝(ex-e-x)/(ex+e-x)；
其中e为自然底数；
当非线性激活函数σ(.)为ReLU函数时：
第L层卷积层激活函数为线性函数，输出为预测的目标模态图像：
优选的，卷积神经网络的池化层只改变特征图的大小，不改变图像的通道数，池化的方式为最大池化、平均池化或者加权平均池化，；
在二维图像的情况下，假设最大池化的作用区域为w×h的图像区域，其中w、h分别为特征图的长宽，则此次作用的区域输出的结果为：
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；
类似地，在二维图像下，区域为w×h的图像区域的平均池化的结果是：
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；
同样，在二维图像下，区域为w×h的图像区域的加权平均池化的结果是：
y(i+1)/2,(j+1)/2＝∑1≤i≤w,1≤j≤h(wij·xij)；
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值，wij为xij的权重，且有：
优选的，卷积神经网络的并置层是将多通道的特征图叠加在一起，设两组输入的特征图的大小分别为w×h×c×m和w×h×c×n，其中w、h分别为特征图的长宽，c为输入特征图的通道数，m和n为输出特征图的通道数，经过并置层得到的输出为大小为w×h×c×(m+n)的特征图。
优选的，卷积神经网络的上采样层通过卷积核的卷积转置实现，上采样的倍数通过卷积核的移动步长来决定；
卷积转置是一维信号x经过卷积f’获得输出的信号y，其中，f’是由f转置而来的，f是前向神经网络的卷积核，f’每次卷积的移动步长s和裁减的数目大小c决定了输出信号的长度，卷积转置用公式表示如下：
其中，
Sh和Sw分别是垂直方向和竖直方向的上采样倍数，Ch和Cw分别是垂直方向和竖直方向的裁减数目，a和b分别为卷积核在输入x上的卷积范围内的横坐标减1和纵坐标减1，yij为输出图像上坐标点为(i,j)的像素点的卷积转置结果，fuv的下标u和v分别为卷积核f的行和列，mod表示的是求余，表示的是向下求整。
优选的，卷积神经网络训练用的图像样本数据，采集大量同一对象的源模态与目标模态的图像数据，通过多模态图像配准方法将不同模态的图像在空间上进行对齐后，作为训练样本，训练卷积神经网络通过自动或人工分割方法，确定有效成像区域，将无关区域的权重值置为0，并将重要的组织结构区域的权重值设为较大的值。
优选的，卷积神经网络训练的目标函数和优化算法，训练卷积神经网络预测模型的目标函数为预测的目标模态图像与实际目标模态图像之间的均方误差、加权的均方误差、平均绝对误差或者加权的鲁棒损失函数，加权所用的权重依据有效成像区域或者人工标注结果进行设置，卷积神经网络的训练可采用误差反向传播和随机梯度下降算法最小化目标函数完成。
优选的，提升模态合成的精度通过级联方式以一卷积神经网络预测的目标模态图像和源模态图像共同作为输入，训练另一卷积神经网络预测目标模态图像。
优选的，训练卷积神经网络为卷积神经网络各卷积层中的卷积核和偏置项的优化。
与现有技术相比，本发明的有益效果是：该医学图像模态合成的卷积神经网络方法，采用卷积神经网络自动学习反映不同模态图像之间映射关系的图像特征，建立不同模态图像之间的映射关系，通过学习得到的卷积神经网络模型快速有效地实现医学图像的模态合成，本发明不需要对图像特征提取方式进行特别的设计，通过对卷积神经网络模型的训练自动完成不同尺度、多种层次图像特征的学习和优化，本发明中，学习得到的卷积神经网络建立了不同模态图像之间的映射关系，不需要进行耗时的图像配准过程，可快速准确地完成模态合成，针对不同任务，对不同解剖结构和部位设置不同权重值，使得在重要部位上的预测精度较高。
附图说明
图1为本发明模态合成的基本流程图；
图2为本发明卷积神经网络基本构架示意图；
图3为本发明具体实施例的卷积神经网络构架示意图；
图4为本发明具体实施例的演示流程图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不限于此。
实施例1。
一种医学图像模态合成的方法,包括以下步骤：
第一步，源模态图像空间分辨率归一化处理，将所有的源模态图像在空间上经过降采样的方法进行缩小或经过插值的方法进行放大，使图像的分辨率归一化到同样大小；
第二步，源模态图像灰度值标准化或者归一化处理，对第一步处理后的源模态图像灰度值归一化到均值为0，标准偏差为1；
第三步，将处理后的源模态图像为输入，由卷积神经网络进行预测，以第二步处理后的源模态图像数据中的二维数据、三维体数据或者相邻的若干层图像为输入，预测源模态对应的目标模态图像，其中所采用的卷积神经网络构架具有多个卷积层、池化层、并置层和上采样层；
第四步，将卷积神经网络预测输出进行线性变换生成目标模态图像。
卷积神经网络各层的输入和输出称为特征图，特征图具有多个通道，通道数目取决于对应卷积层中卷积核的数目，设第l层卷积层有nl个卷积核，第l层卷积层输出的特征图记为Fl，特征图Fl的第i个通道记为Fi l，其中i＝1,2,3,...,nl，卷积网络的输入记为具有一个或多个通道；
数学上，卷积神经网络中第l层卷积层输出特征图Fl与输入Fl-1之间的关系描述为：
上式中，*表示二维卷积操作，σ(.)表示输入矩阵中元素的非线性激活函数，为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核，为第l层卷积层中用于计算输出特征图第i个通道的偏置项，L表示卷积网络中的卷积层数目，非线性激活函数σ(.)为Sigmoid函数、双曲线正切函数或者ReLU函数；
当非线性激活函数σ(.)为Sigmoid函数时：
σ(x)＝1/(1+e-x)；
其中e为自然底数；
当非线性激活函数σ(.)为双曲线正切函数时：
σ(x)＝(ex-e-x)/(ex+e-x)；
其中e为自然底数；
当非线性激活函数σ(.)为ReLU函数时：
第L层卷积层激活函数为线性函数，输出为预测的目标模态图像：
卷积神经网络的池化层只改变特征图的大小，不改变图像的通道数，池化的方式为最大池化、平均池化或者加权平均池化，；
在二维图像的情况下，假设最大池化的作用区域为w×h的图像区域，其中w、h分别为特征图的长宽，则此次作用的区域输出的结果为：
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；
类似地，在二维图像下，区域为w×h的图像区域的平均池化的结果是：
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；
同样，在二维图像下，区域为w×h的图像区域的加权平均池化的结果是：
y(i+1)/2,(j+1)/2＝∑1≤i≤w,1≤j≤h(wij·xij)；
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值，wij为xij的权重，且有：
卷积神经网络的并置层是将多通道的特征图叠加在一起，设两组输入的特征图的大小分别为w×h×c×m和w×h×c×n，其中w、h分别为特征图的长宽，c为输入特征图的通道数，m和n为输出特征图的通道数，经过并置层得到的输出为大小为w×h×c×(m+n)的特征图。
卷积神经网络的上采样层通过卷积核的卷积转置实现，上采样的倍数通过卷积核的移动步长来决定；
卷积转置是一维信号x经过卷积f’获得输出的信号y，其中，f’是由f转置而来的，f是前向神经网络的卷积核，f’每次卷积的移动步长s和裁减的数目大小c决定了输出信号的长度，卷积转置用公式表示如下：
其中，
Sh和Sw分别是垂直方向和竖直方向的上采样倍数，Ch和Cw分别是垂直方向和竖直方向的裁减数目，a和b分别为卷积核在输入x上的卷积范围内的横坐标减1和纵坐标减1，yij为输出图像上坐标点为(i,j)的像素点的卷积转置结果，fuv的下标u和v分别为卷积核f的行和列，mod表示的是求余，表示的是向下求整。
卷积神经网络训练用的图像样本数据，采集大量同一对象的源模态与目标模态的图像数据，通过多模态图像配准方法将不同模态的图像在空间上进行对齐后，作为训练样本，训练卷积神经网络通过自动或人工分割方法，确定有效成像区域，将无关区域的权重值置为0，并将重要的组织结构区域的权重值设为较大的值。
卷积神经网络训练的目标函数和优化算法，训练卷积神经网络预测模型的目标函数为预测的目标模态图像与实际目标模态图像之间的均方误差、加权的均方误差、平均绝对误差或者加权的鲁棒损失函数，加权所用的权重依据有效成像区域或者人工标注结果进行设置，卷积神经网络的训练可采用误差反向传播和随机梯度下降算法最小化目标函数完成。
提升模态合成的精度通过级联方式以一卷积神经网络预测的目标模态图像和源模态图像共同作为输入，训练另一卷积神经网络预测目标模态图像。
训练卷积神经网络为卷积神经网络各卷积层中的卷积核和偏置项的优化。
与现有技术相比，该医学图像模态合成的卷积神经网络方法，采用卷积神经网络自动学习反映不同模态图像之间映射关系的图像特征，建立不同模态图像之间的映射关系，通过学习得到的卷积神经网络模型快速有效地实现医学图像的模态合成，本发明不需要对图像特征提取方式进行特别的设计，通过对卷积神经网络模型的训练自动完成不同尺度、多种层次图像特征的学习和优化，本发明中，学习得到的卷积神经网络建立了不同模态图像之间的映射关系，不需要进行耗时的图像配准过程，可快速准确地完成模态合成，针对不同任务，对不同解剖结构和部位设置不同权重值，使得在重要部位上的预测精度较高。
实施例2。
请参阅图1-2，本实施例提供的一种技术方案：已知某种源模态的图像数据，采用本发明预测其对应的一目标模态的图像合成，包括以下基本步骤：
(1)源模态图像空间分辨率归一化处理,将所有的源模态图像在空间上经过降采样的方法进行缩小或经过插值的方法进行放大，使图像的分辨率归一化到同样大小，该实施例中使用N3算法对源模态图像(MR图像)进行去偏移场处理；再以某个病人的目标模态的图像(CT图像)为模板，将其它所有的源模态图像(MR图像)和目标模态的图像(CT图像)用flirt算法进行图像配准；并将输入图像像素大小归一化为512×512，本发明依据现有成像设备的所产生的图像，预测其他模态的图像，不需要对已有成像设备进行改造或者升级；
(2)源模态图像灰度值标准化或者归一化处理，对(1)处理后的源模态图像灰度值归一化到均值为0，标准偏差为1；
(3)将处理后的源模态图像为输入，由卷积神经网络进行预测，以(2)处理后的源模态图像数据中的二维数据、三维体数据或者相邻的若干层图像为输入，预测源模态对应的目标模态图像，其中所采用的卷积神经网络具有多个卷积层、池化层、并置层和上采样层。卷积神经网络各层的输入和输出称为特征图，特征图具有多个通道，通道数目取决于对应卷积层中卷积核的数目，设第l层卷积层有nl个卷积核，第l层输出的特征图记为Fl，特征图Fl的第i个通道记为Fi l(i＝1,2,3,...,nl)，卷积网络的输入记为具有一个或多个通道；
数学上，卷积神经网络中第l层卷积层输出特征图Fl与输入Fl-1之间的关系描述为：
上式中，*表示二维卷积操作，σ(.)表示输入矩阵中元素的非线性激活函数，为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核，为第l层卷积层中用于计算输出特征图第i个通道的偏置项，L表示卷积网络中的卷积层数目，非线性激活函数σ(.)可以为Sigmoid函数、双曲线正切函数或者ReLU(Rectified Linear Units)函数等。
当非线性激活函数σ(.)为Sigmoid函数时：
σ(x)＝1/(1+e-x)；
其中e为自然底数；
当非线性激活函数σ(.)为双曲线正切函数时：
σ(x)＝(ex-e-x)/(ex+e-x)；
其中e为自然底数；
当非线性激活函数σ(.)为ReLU函数时：
第L层卷积层激活函数为线性函数，输出为预测的目标模态图像：
该实施例中的的卷积网络包含图像尺度为512×512的卷积层外，还有依次通过池化降采样尺度为256×256、128×128、64×64、32×32大小的卷积层，除了网络的第一个卷积层的卷积核大小是7×7、填充数目为3、卷积核数目为32，最后一个卷积核的大小是5×5、填充数目为2、卷积核数目为1，其它的卷积层的卷积核的大小都是3×3、填充数目为1、卷积核数目为32；除了最后一个卷积层，其它的卷积层后面都跟着一个激活函数为ReLU函数的非线性层。
卷积神经网络的池化层只改变特征图的大小，不改变图像的通道数，池化的方式可以是最大池化、平均池化或者加权平均池化。池化后的输出特征图的大小取决于池化时，池化区域的移动步长，这个步长可以根据实际情况任意设定，一般设为2，二维图像的情况下，该实施例中的每个池化层都是用平均池化，且步长都为2，池化的区域是2×2的像素大小，假设最大池化的作用区域为w×h(w、h分别为特征图的长宽)的图像区域，则此次作用的区域输出的结果为：
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值。
类似地，在二维图像下，区域为w×h的图像区域的平均池化的结果是：
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；
同样，在二维图像下，区域为w×h的图像区域的加权平均池化的结果是：
y(i+1)/2,(j+1)/2＝∑1≤i≤w,1≤j≤h(wij·xij)；
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值，wij为xij的权重，且有：
在三维图像情况下的池化结果是与二维图像情况下的类似的，处理的时候，只是作用的范围多了一维；
卷积神经网络的并置层只是将多通道的特征图简单地叠加在一起，因此只在输出特征图的通道数目上有变化，设两组输入的特征图的大小分别为w×h×c×m、w×h×c×n(其中w、h分别为特征图的长宽，c为输入特征图的通道数，m和n为输出特征图的通道数)，那么经过并置层得到的输出为大小为w×h×c×(m+n)的特征图，该实施例中的并置层是将上采样得来的图像与本尺度层面上卷积得来的图像进行简单的叠加；
卷积神经网络的上采样层通过卷积核的卷积转置实现，上采样的倍数通过卷积核的移动步长来决定，根据需要任意设定，另外，边缘填充的数目的大小也是根据需要任意设定，该实施例中的上采样层的核移动步长为2，长宽的填充大小都为1。
卷积转置说明的是一维信号x经过卷积f’获得输出的信号y,其中，f’是由f(f是前向神经网络的卷积核)转置而来的，f’每次卷积的移动步长s和裁减的数目大小c决定了输出信号的长度，卷积转置用公式表示如下：
其中，
Sh和Sw分别是垂直方向和竖直方向的上采样倍数，Ch和Cw分别是垂直方向和竖直方向的裁减数目，a和b分别为卷积核在输入x上的卷积范围内的横坐标减1和纵坐标减1，yij为输出图像上坐标点为(i,j)的像素点的卷积转置结果，fuv的下标u和v分别为卷积核f的行和列，mod表示的是求余，表示的是向下求整；
卷积神经网络训练用的图像样本数据，采集大量同一对象的源模态与目标模态的图像数据，通过多模态图像配准方法将不同模态的图像在空间上进行对齐后，作为训练样本，通过自动或人工分割方法，确定有效成像区域，将无关区域的权重值置为0，并将重要的组织结构区域的权重值设为较大的值；
卷积神经网络训练的目标函数和优化算法，训练卷积神经网络预测模型的目标函数可为预测的目标模态图像与实际目标模态图像之间的均方误差、加权的均方误差、平均绝对误差或者加权的鲁棒损失函数，加权所用的权重依据有效成像区域或者人工标注结果进行设置，卷积神经网络的训练可采用误差反向传播和随机梯度下降算法最小化目标函数完成，本发明不需要对图像特征提取方式进行特别的设计，通过对卷积神经网络模型的训练自动学习模态合成所需的图像特征；
(4)将卷积神经网络预测输出进行线性变换生成目标模态图像，因为(2)对图像的灰度值进行了归一化的处理，所以本步骤的线性变换相当于(2)的对图像的灰度值进行归一化处理的逆变换,以此达到进行线性变换的目的，最终生成目标模态图像，如果(2)的灰度值归一化是通过将最原始的源模态图像减去训练集的所有源模态样本图像的所有像素点的灰度值的均值，再除以训练集的所有源模态样本图像的所有像素点的灰度值的标准偏差来进行图像灰度值归一化的，那么(4)的线性变换换过程就是将卷积神经网络输出的预测结果乘以训练集的所有目标模态样本图像的所有像素点的灰度值的标准偏差，再加上训练集的所有目标模态样本图像的所有像素点的灰度值的均值，本发明可针对不同任务，对不同解剖结构和部位设置不同权重值，使得在重要部位上的预测精度较高，更为快速、准确地实现模态合成。
需要说明的是，在具体实现中，图2中所示卷积神经网络中的尺度级数可以适当增加和减少，各尺度上所用卷积层的层数也可以适当增加和减少。
需要说明的是，在具体实现中，可通过级联(cascade)方式对本发明的基本应用方式进行扩展，以进一步提升模态合成的精度：以一卷积神经网络预测的目标模态图像和源模态图像共同作为输入，训练另一卷积神经网络预测目标模态图像。
需要说明的是，在一些扩展应用中，可针对不同部位、不同解剖位置训练卷积神经网络模型，实现不同形式的针对不同部位的模态合成。
需要说明的是，在一些扩展应用中，可训练多个不同的卷积神经网络模型实现同一模态合成任务，并将多个卷积神经网络的预测输出经过平均或加权平均作为最终的预测输出。
该医学图像模态合成的卷积神经网络方法，采用卷积神经网络自动学习反映不同模态图像之间映射关系的图像特征，建立不同模态图像之间的映射关系，通过学习得到的卷积神经网络模型快速有效地实现医学图像的模态合成，本发明不需要对图像特征提取方式进行特别的设计，通过对卷积神经网络模型的训练自动完成不同尺度、多种层次图像特征的学习和优化。本发明中，学习得到的卷积神经网络建立了不同模态图像之间的映射关系，不需要进行耗时的图像配准过程，可快速准确地完成模态合成，针对不同任务，对不同解剖结构和部位设置不同权重值，使得在重要部位上的预测精度较高。
实施例3。
一种医学图像模态合成的卷积神经网络方法，其它与实施例1或2相同，具体采用如下特征进行：
如图4所示，卷积神经网络预测输出为与源模态图像(MR图像)相对应的目标模态的图像(CT图像)；先用N3算法对源模态图像(MR图像)进行去偏移场处理；再以某个病人的目标模态的图像(CT图像)为模板，将其它所有的源模态图像(MR图像)和目标模态的图像(CT图像)用flirt算法进行图像配准；并将输入图像像素大小归一化为512×512。
该卷积网络包含图像尺度为512×512的卷积层外，还有依次通过池化降采样为尺度为256×256、128×128、64×64、32×32大小的卷积层，除了网络的第一个卷积层的卷积核大小是7×7、填充数目为3、卷积核数目为32，最后一个卷积核的大小是5×5、填充数目为2、卷积核数目为1，其它的卷积层的卷积核的大小都是3×3、填充数目为1、卷积核数目为32；除了最后一个卷积层，其它的卷积层后面都跟着一个激活函数为ReLU函数的非线性层；每个池化层都是用平均池化，且步长都为2，池化的区域是2×2的像素大小；上采样层的核移动步长为2，长宽的填充大小都为1；并置层是将上采样得来的图像与本尺度层面上卷积得来的图像进行简单的叠加；具体的网络结构如图3。
图4是本实施例的处理过程示意图，可以得出：本发明中，学习得到的卷积神经网络建立了不同模态图像之间的映射关系，不需要进行耗时的图像配准过程，可快速准确地完成模态合成，针对不同任务，对不同解剖结构和部位设置不同权重值，使得在重要部位上的预测精度较高。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种医学图像模态合成的方法,其特征在于，包括以下步骤：
第一步，源模态图像空间分辨率归一化处理，将所有的源模态图像在空间上经过降采样的方法进行缩小或经过插值的方法进行放大，使图像的分辨率归一化到同样大小；
第二步，源模态图像灰度值标准化或者归一化处理，对第一步处理后的源模态图像灰度值归一化到均值为0，标准偏差为1；
第三步，将处理后的源模态图像为输入，由卷积神经网络进行预测，以第二步处理后的源模态图像数据中的二维数据、三维体数据或者相邻的若干层图像为输入，预测源模态对应的目标模态图像，其中所采用的卷积神经网络构架具有多个卷积层、池化层、并置层和上采样层；
第四步，将卷积神经网络预测输出进行线性变换生成目标模态图像。
2.根据权利要求1所述的一种医学图像模态合成的方法，其特征在于：卷积神经网络各层的输入和输出称为特征图，特征图具有多个通道，通道数目取决于对应卷积层中卷积核的数目，设第l层卷积层有nl个卷积核，第l层卷积层输出的特征图记为Fl，特征图Fl的第i个通道记为Fi l，其中i＝1,2,3,...,nl，卷积网络的输入记为具有一个或多个通道；
数学上，卷积神经网络中第l层卷积层输出特征图Fl与输入Fl-1之间的关系描述为：
上式中，*表示二维卷积操作，σ(.)表示输入矩阵中元素的非线性激活函数，为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核，为第l层卷积层中用于计算输出特征图第i个通道的偏置项，L表示卷积网络中的卷积层数目，非线性激活函数σ(.)为Sigmoid函数、双曲线正切函数或者ReLU函数；
当非线性激活函数σ(.)为Sigmoid函数时：
σ(x)＝1/(1+e-x)；
其中e为自然底数；
当非线性激活函数σ(.)为双曲线正切函数时：
σ(x)＝(ex-e-x)/(ex+e-x)；
其中e为自然底数；
当非线性激活函数σ(.)为ReLU函数时：
第L层卷积层激活函数为线性函数，输出为预测的目标模态图像：
3.根据权利要求2所述的一种医学图像模态合成的方法，其特征在于：卷积神经网络的池化层只改变特征图的大小，不改变图像的通道数，池化的方式为最大池化、平均池化或者加权平均池化，；
在二维图像的情况下，假设最大池化的作用区域为w×h的图像区域，其中w、h分别为特征图的长宽，则此次作用的区域输出的结果为：
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；
类似地，在二维图像下，区域为w×h的图像区域的平均池化的结果是：
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；
同样，在二维图像下，区域为w×h的图像区域的加权平均池化的结果是：
y(i+1)/2,(j+1)/2＝∑1≤i≤w,1≤j≤h(wij·xij)；
其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值，wij为xij的权重，且有：
4.根据权利要求3所述的一种医学图像模态合成的方法，其特征在于：卷积神经网络的并置层是将多通道的特征图叠加在一起，设两组输入的特征图的大小分别为w×h×c×m和w×h×c×n，其中w、h分别为特征图的长宽，c为输入特征图的通道数，m和n为输出特征图的通道数，经过并置层得到的输出为大小为w×h×c×(m+n)的特征图。
5.根据权利要求4所述的一种医学图像模态合成的方法，其特征在于：卷积神经网络的上采样层通过卷积核的卷积转置实现，上采样的倍数通过卷积核的移动步长来决定；
卷积转置是一维信号x经过卷积f’获得输出的信号y，其中，f’是由f转置而来的，f是前向神经网络的卷积核，f’每次卷积的移动步长s和裁减的数目大小c决定了输出信号的长度，卷积转置用公式表示如下：
其中，
m(k,S)＝(k-1)mod S,
Sh和Sw分别是垂直方向和竖直方向的上采样倍数，Ch和Cw分别是垂直方向和竖直方向的裁减数目，a和b分别为卷积核在输入x上的卷积范围内的横坐标减1和纵坐标减1，yij为输出图像上坐标点为(i,j)的像素点的卷积转置结果，fuv的下标u和v分别为卷积核f的行和列，mod表示的是求余，表示的是向下求整。
6.根据权利要求1所述的一种医学图像模态合成的方法，其特征在于：卷积神经网络训练用的图像样本数据，采集大量同一对象的源模态与目标模态的图像数据，通过多模态图像配准方法将不同模态的图像在空间上进行对齐后，作为训练样本，训练卷积神经网络通过自动或人工分割方法，确定有效成像区域，将无关区域的权重值置为0，并将重要的组织结构区域的权重值设为较大的值。
7.根据权利要求1所述的一种医学图像模态合成的方法，其特征在于：卷积神经网络训练的目标函数和优化算法，训练卷积神经网络预测模型的目标函数为预测的目标模态图像与实际目标模态图像之间的均方误差、加权的均方误差、平均绝对误差或者加权的鲁棒损失函数，加权所用的权重依据有效成像区域或者人工标注结果进行设置，卷积神经网络的训练采用误差反向传播和随机梯度下降算法最小化目标函数完成。
8.根据权利要求1所述的一种医学图像模态合成的方法，其特征在于：提升模态合成的精度通过级联方式以一卷积神经网络预测的目标模态图像和源模态图像共同作为输入，训练另一卷积神经网络预测目标模态图像。
9.根据权利要求7所述的一种医学图像模态合成的方法，其特征在于：训练卷积神经网络为卷积神经网络各卷积层中的卷积核和偏置项的优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610797914.4A CN106373109B (zh) | 2016-08-31 | 2016-08-31 | 一种医学图像模态合成的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610797914.4A CN106373109B (zh) | 2016-08-31 | 2016-08-31 | 一种医学图像模态合成的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106373109A CN106373109A (zh) | 2017-02-01 |
| CN106373109B true CN106373109B (zh) | 2018-10-26 |
Family
ID=57898902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610797914.4A Active CN106373109B (zh) | 2016-08-31 | 2016-08-31 | 一种医学图像模态合成的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106373109B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288041A (zh) * | 2020-12-15 | 2021-01-29 | 之江实验室 | 一种多模态深度神经网络的特征融合方法 |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194933A (zh) * | 2017-04-24 | 2017-09-22 | 天津大学 | 结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置 |
| US10733744B2 (en) * | 2017-05-11 | 2020-08-04 | Kla-Tencor Corp. | Learning based approach for aligning images acquired with different modalities |
| US10977843B2 (en) | 2017-06-28 | 2021-04-13 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for determining parameters for medical image processing |
| CN107260159A (zh) * | 2017-06-28 | 2017-10-20 | 浙江理工大学 | 一种基于卷积神经网络的心脏电功能成像方法 |
| CN107292847B (zh) * | 2017-06-28 | 2022-03-25 | 上海联影医疗科技股份有限公司 | 一种数据降噪方法及系统 |
| CN107730507A (zh) * | 2017-08-23 | 2018-02-23 | 成都信息工程大学 | 一种基于深度学习的病变区域自动分割方法 |
| CN107481297B (zh) * | 2017-08-31 | 2021-06-15 | 南方医科大学 | 一种基于卷积神经网络的ct图像重建方法 |
| CN107742308B (zh) * | 2017-09-27 | 2020-08-11 | 四川大学 | 基于映射适应卷积的单应不变图像模拟方法 |
| US10796221B2 (en) * | 2017-10-19 | 2020-10-06 | General Electric Company | Deep learning architecture for automated image feature extraction |
| CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
| DE102017126158A1 (de) | 2017-11-08 | 2019-05-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Ultraschall-Bilderzeugungssystem |
| CN110555821B (zh) | 2018-01-26 | 2022-04-05 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置和存储介质 |
| US11100632B2 (en) * | 2018-04-13 | 2021-08-24 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
| CN109166107A (zh) * | 2018-04-28 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种医学图像分割方法及装置、电子设备和存储介质 |
| CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
| CN109165666A (zh) * | 2018-07-05 | 2019-01-08 | 南京旷云科技有限公司 | 多标签图像分类方法、装置、设备及存储介质 |
| EP3830793A4 (en) * | 2018-07-30 | 2022-05-11 | Memorial Sloan Kettering Cancer Center | MULTIMODE, MULTI-RESOLUTION DEEP LEARNING NETWORKS FOR SEGMENTATION, OUTCOME PREDICTION, AND MONITORING LONGITUDINAL RESPONSES TO IMMUNOTHERAPY AND RADIATION THERAPY |
| CN109146810A (zh) * | 2018-08-08 | 2019-01-04 | 国网浙江省电力有限公司信息通信分公司 | 一种基于端到端深度学习的图像去雾方法 |
| CN109272486B (zh) * | 2018-08-14 | 2022-07-08 | 中国科学院深圳先进技术研究院 | Mr图像预测模型的训练方法、装置、设备及存储介质 |
| CN109285200B (zh) * | 2018-08-23 | 2023-03-14 | 上海连叶智能科技有限公司 | 一种基于人工智能的多模态医学影像的转换方法 |
| CN109544553B (zh) * | 2018-09-27 | 2023-06-02 | 天津大学 | 以空间水平和垂直方向为通道方向的神经网络上采样方法 |
| US11475991B2 (en) | 2018-09-28 | 2022-10-18 | Varian Medical Systems International Ag | Methods and systems for adaptive radiotherapy treatment planning using deep learning engines |
| US20200104695A1 (en) * | 2018-09-28 | 2020-04-02 | Varian Medical Systems International Ag | Methods and systems for radiotherapy treatment planning using deep learning engines |
| CN109492668B (zh) * | 2018-10-10 | 2021-08-03 | 华中科技大学 | 基于多通道卷积神经网络的mri不同期多模图像表征方法 |
| CN110009598B (zh) * | 2018-11-26 | 2023-09-05 | 腾讯科技（深圳）有限公司 | 用于图像分割的方法和图像分割设备 |
| CN109598732B (zh) * | 2018-12-11 | 2022-06-14 | 厦门大学 | 一种基于三维空间加权的医学图像分割方法 |
| CN109712175B (zh) * | 2018-12-19 | 2022-09-23 | 浙江大学常州工业技术研究院 | Ct图片的配准方法 |
| US10832392B2 (en) * | 2018-12-19 | 2020-11-10 | Siemens Healthcare Gmbh | Method, learning apparatus, and medical imaging apparatus for registration of images |
| CN109859230B (zh) * | 2018-12-26 | 2020-09-11 | 北京理工大学 | 一种用于多孔介质显微ct图像的分割方法 |
| CN111383742A (zh) * | 2018-12-27 | 2020-07-07 | 深圳先进技术研究院 | 一种医学成像模型的建立方法、装置、设备及存储介质 |
| CN109754447B (zh) * | 2018-12-28 | 2021-06-22 | 上海联影智能医疗科技有限公司 | 图像生成方法、装置、设备和存储介质 |
| CN110148114A (zh) * | 2019-04-02 | 2019-08-20 | 成都真实维度科技有限公司 | 一种基于2d断层扫描图数据集的深度学习模型训练方法 |
| CN110111371B (zh) * | 2019-04-16 | 2023-04-18 | 昆明理工大学 | 一种基于卷积神经网络的斑点图图像配准方法 |
| CN110111395B (zh) * | 2019-04-24 | 2023-08-29 | 上海理工大学 | 一种基于mri图像合成pet-mri图像的方法 |
| CN110176012B (zh) * | 2019-05-28 | 2022-12-13 | 腾讯科技（深圳）有限公司 | 图像中的目标分割方法、池化方法、装置及存储介质 |
| CN110276289B (zh) * | 2019-06-17 | 2021-09-07 | 厦门美图之家科技有限公司 | 生成匹配模型的方法和人脸特征点追踪方法 |
| CN110503626B (zh) * | 2019-07-09 | 2021-11-23 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
| CN111242959B (zh) * | 2020-01-15 | 2023-06-16 | 中国科学院苏州生物医学工程技术研究所 | 基于卷积神经网络的多模态医学图像的目标区域提取方法 |
| CN112150564A (zh) * | 2020-08-21 | 2020-12-29 | 哈尔滨理工大学 | 基于深度卷积神经网络医学图像融合算法 |
| CN112508776B (zh) * | 2020-12-11 | 2024-02-27 | 网易（杭州）网络有限公司 | 动作迁移方法、装置和电子设备 |
| CN115205163B (zh) * | 2022-09-15 | 2022-12-09 | 深圳前海量子云码科技有限公司 | 一种标识图像的处理方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104851099A (zh) * | 2015-05-21 | 2015-08-19 | 周口师范学院 | 一种基于表示学习的图像融合方法 |
-
2016
- 2016-08-31 CN CN201610797914.4A patent/CN106373109B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104851099A (zh) * | 2015-05-21 | 2015-08-19 | 周口师范学院 | 一种基于表示学习的图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| Image Style Transfer Using Convolutional Neural Networks;Leon A. Gatys et al;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20160630;全文 * |
| Prediction of CT Substitutes from MR Images Based on Local Diffeomorphic Mapping for Brain PET Attenuation Correction;Yao Wu et al;《Journal of Nuclear Medicine》;20160526;全文 * |
| 多模态医学图像配准与融合关键算法研究;王雷;《中国博士学位论文全文数据库》;20141231(第05期);全文 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288041A (zh) * | 2020-12-15 | 2021-01-29 | 之江实验室 | 一种多模态深度神经网络的特征融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106373109A (zh) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106373109B (zh) | 一种医学图像模态合成的方法 | |
| Wang et al. | A deep learning based medical image segmentation technique in Internet-of-Medical-Things domain | |
| Lei et al. | 4D-CT deformable image registration using multiscale unsupervised deep learning | |
| Zhou et al. | Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method | |
| Bernardo et al. | Markov chain Monte Carlo-based approaches for inference in computationally intensive inverse problems | |
| Guan et al. | Thigh fracture detection using deep learning method based on new dilated convolutional feature pyramid network | |
| US20200258235A1 (en) | Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models | |
| CN102136142B (zh) | 基于自适应三角形网格的非刚性医学图像配准方法 | |
| CN107610195A (zh) | 图像转换的系统和方法 | |
| Bermejo et al. | Coral reef optimization with substrate layers for medical image registration | |
| CN107636659A (zh) | 使用深度神经网络检测医学图像中的地标的方法和系统 | |
| CN107038692A (zh) | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 | |
| CN106897986A (zh) | 一种基于多尺度分析的可见光图像与远红外图像融合方法 | |
| CN104573742A (zh) | 医学图像分类方法和系统 | |
| CN107909588A (zh) | 基于三维全卷积神经网络的mri皮质下分区系统 | |
| CN107346556A (zh) | 一种基于块字典学习和稀疏表达的pet图像重建方法 | |
| CN106683127A (zh) | 一种基于surf算法的多模态医学图像配准方法 | |
| Li et al. | Blind CT image quality assessment via deep learning strategy: initial study | |
| Gsaxner et al. | PET-train: Automatic ground truth generation from PET acquisitions for urinary bladder segmentation in CT images using deep learning | |
| CN107146263B (zh) | 一种基于张量字典约束的动态pet图像重建方法 | |
| Min et al. | Automatic radiotherapy delineation quality assurance on prostate MRI with deep learning in a multicentre clinical trial | |
| Yerukalareddy et al. | Brain tumor classification based on mr images using GAN as a pre-trained model | |
| Tripathi et al. | Segmentation of brain tumour in MR images using modified deep learning network | |
| CN109448850A (zh) | 一种身体质量指数预测方法、装置、电子设备及存储介质 | |
| Ribeiro et al. | A modified differential evolution algorithm for the reconstruction of electrical impedance tomography images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |