CN109492668A - 基于多通道卷积神经网络的mri不同期多模图像表征方法 - Google Patents

基于多通道卷积神经网络的mri不同期多模图像表征方法 Download PDF

Info

Publication number
CN109492668A
CN109492668A CN201811177810.9A CN201811177810A CN109492668A CN 109492668 A CN109492668 A CN 109492668A CN 201811177810 A CN201811177810 A CN 201811177810A CN 109492668 A CN109492668 A CN 109492668A
Authority
CN
China
Prior art keywords
image
layer
channel
mri
same period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811177810.9A
Other languages
English (en)
Other versions
CN109492668B (zh
Inventor
侯文广
陈子轩
徐泽楷
易玮玮
邹应诚
桂秋玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201811177810.9A priority Critical patent/CN109492668B/zh
Publication of CN109492668A publication Critical patent/CN109492668A/zh
Application granted granted Critical
Publication of CN109492668B publication Critical patent/CN109492668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Abstract

本发明公开了一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，包括以下步骤：(1)采集一系列已配准的MRI不同期图像；(2)对这些图像进行标准化处理；(3)构建多通道卷积神经网络，并对其进行训练；(4)将待表征的某一期MRI图像经标准化处理后输入到多通道卷积神经网络中，从而输出得到表征结果。本发明将卷积神经网络引入到图像表征中，通过网络自主学习不同模态间的相似特征，由此可解决现有表征方法相似度低、鲁棒性差的技术问题，输出的表征图像既忠实于原始输入图像又使得多通道输出的不同期表征图像尽可能相似，同时满足了很多应用实时性的要求。

Description

基于多通道卷积神经网络的MRI不同期多模图像表征方法
技术领域
本发明属于医学图像表征领域，更具体地，涉及一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，该方法尤其是种实时表征方法。
背景技术
MRI具有无辐射、软组织结构显示清晰、多序列成像、多种类型成像等特点广泛的应用于人们的日常生活中，然而，由于不同期MRI图像在灰度范围、对比度以及纹理方面的明显差异，使得配准工作较为困难。为了解决这一困难，多模图像表征应运而生，目的是为了缩小不同模态图像间的差异性。图像表征作为医学图像配准的重要组成部分，已广泛应用于刚性与非刚性配准中。
现阶段医学图像表征方法主要包括Sobel、熵图、拉普拉斯图、Zernike矩等方法，但由于MRI多模图像亮度、对比度以及纹理等方面的差异，且上述方法均在原始图像上操作，无法借鉴其他模态图像的信息。因此，得到的表征图依旧会存在较大的差异，只适用于一些纹理较为简单的图像，鲁棒性和使用普及性较差。另外，如手术导引、放射治疗等多模问题，涉及到实时性，传统图像表征方法也无法实现。为了有效克服传统图像表征存在的问题，本发明提供了一种新颖有效的表征方法，尤其可用于实时表征。
发明内容
针对现有图像表征技术的以上缺陷或改进需求，本发明的目的在于提供一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，其中通过对该表征方法的整体流程处理设计，尤其是关键标准化处理、卷积神经网络训练等进行改进，将卷积神经网络引入到图像表征中，通过网络自主学习不同模态间的相似特征，由此可解决现有表征方法相似度低、鲁棒性差的技术问题，输出的表征图像既忠实于原始输入图像又使得多通道输出的不同期表征图像尽可能相似，同时满足了很多应用实时性的要求。并且，本发明还对表征方法中所采用的多通道卷积神经网络其结构等进行优选控制，可有效减少图像信息的丢失。
为实现上述目的，按照本发明的一个方面，提供了一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，包括以下步骤：
(1)采集一系列已配准的MRI不同期图像；
(2)根据所述步骤(1)得到的各个图像的具体模态信息以及它们的灰度直方图对这些图像进行标准化处理，得到这些一系列已配准的MRI不同期图像的标准化图像，这些标准化图像中属于同一种模态的标准化图像它们的灰度直方图具有相同的最小灰度值、相同的最大灰度值以及相同的峰位置灰度值；
(3)构建初始多通道卷积神经网络，该初始多通道卷积神经网络中的每一通道对应于一种固定模态的MRI图像；然后，以所述步骤(2)得到的所述标准化图像作为训练数据，将这些标准化图像输入到与图像模态对应的所述初始多通道卷积神经网络的通道中，对该初始多通道卷积神经网络中的通道分别进行训练，得到训练后的多通道卷积神经网络；
(4)测试表征步骤：将待表征的某一期MRI图像进行标准化处理得到标准化的待表征图像，该标准化的待表征图像其灰度直方图与所述步骤(2)得到的所述标准化图像中属于同一模态的标准化图像的灰度直方图具有相同的最小灰度值、相同的最大灰度值以及相同的峰位置灰度值；然后，将该标准化的待表征图像输入至所述步骤(3)得到的所述训练后的多通道卷积神经网络与该待表征图像模态相对应的通道中，从而得到该通道输出的表征结果。
作为本发明的进一步优选，所述步骤(1)中，所述一系列已配准的MRI不同期图像具体同时包含PD期图像、T1期图像和T2期图像这三类不同期图像，所述一系列已配准的MRI不同期图像中的每幅图像尺寸大小优选相同；
相应的，所述步骤(3)中，所述初始多通道卷积神经网络具体为三通道初始卷积神经网络，这三个通道分别对应与PD期图像、T1期图像和T2期图像这三类不同期图像。
作为本发明的进一步优选，所述步骤(2)中，根据所述步骤(1)得到的各个图像的具体模态信息以及它们的灰度直方图对这些图像进行标准化处理，具体包括以下步骤：
(2-1)将属于同一模态的图像划分成一个小组，针对同一小组内的每张图像，记其灰度直方图中的感兴趣区域的最小灰度值为pc1，感兴趣区域的最大灰度值为pc2，灰度直方图中两个峰位置处的灰度值由小到大分别记为μc1和μc2；然后，基于该小组的全部图像分别计算平均值 则分别设定为该模态的直方图标准标志位；对每个小组重复进行操作，从而得到各个模态的直方图标准标志位；
(2-2)针对所述步骤(1)得到的任意一张图像，记其灰度直方图中的整体最小灰度值为s1，整体最大灰度值为s2，感兴趣区域的最小灰度值记为pc1，感兴趣区域的最大灰度值记为pc2，峰位置灰度值记为μc1和μc2，并根据其具体模态信息得到该模态的直方图标准标志位标准化处理该图像，使s1、s2、pc1、pc2、μc1、μc2这6个节点经标准化处理后分别线性映射至m1、m2、其中，m1为预先设定的标准整体最小灰度值，m2为预先设定的标准整体最大灰度值；并且，s1、s2、pc1、pc2、μc1、μc2这6个节点中任意两个相邻节点之间区域的灰度值在该标准化处理中也是同步利用线性映射完成标准化处理的；对所述步骤(1)得到的各个图像进行标准化处理，即可得到一系列标准化图像；
优选的，所述步骤(2-1)中，所述感兴趣区域的最小灰度值pc1＝s1+(s2-s1)×5％，感兴趣区域的最大灰度值pc2＝s1+(s2-s1)×95％；其中，s1、s2分别为对应图像其灰度直方图中的整体最小灰度值以及整体最大灰度值；
优选的，所述步骤(2-1)中，当某一图像的其灰度直方图只有一个峰时，记μc1＝μc2；
优选的，所述步骤(2-2)中，m1被预先设定为0，m2被预先设定为255。
作为本发明的进一步优选，所述步骤(3)中，所述初始多通道卷积神经网络中各个通道具有相同的网络结构，且训练过程中该通道的参数独立优化，不受其他通道影响。
作为本发明的进一步优选，所述步骤(3)中，所述初始多通道卷积神经网络中任意一个通道对应的卷积神经网络均包含卷积层、反卷积层、池化层、升采样层、激励层这五种结构层，且不包含全连接层；
任意一个通道对应的卷积神经网络具体由不同类型的48层组成，第1层是输入层，第48层是输出层，第h层的输出作为第h+1层的输入；其中，第2、4层为卷积层，包括64个滤波器，第7、9、36层为卷积层，包括128个滤波器，第11、13层为卷积层，包括256个滤波器，第16、18、24层为卷积层，包括512个滤波器，第20、22层为卷积层，包括1024个滤波器；第26、28层为反卷积层，包括512个滤波器，第32、34层为反卷积层，包括256个滤波器，第38、40层为反卷积层，包括128个滤波器，第44、46层为反卷积层，包括64个滤波器；第6、15层为池化层；第30、42层为升采样层；第25、31、37、43层为复制裁剪合并层；第3、5、8、10、12、14、17、19、21、23、27、29、33、35、39、41、45、47层为激励层；
优选的，激励层均采用ReLU，池化层均使用最大值池化，反卷积层均使用双线性插值。
作为本发明的进一步优选，所述步骤(3)中，所述初始多通道卷积神经网络为无监督学习的网络，记输入的三幅图像分别为I1、I2和I3，对应的输出图像分别为O1、O2和O3，I1、I2和I3具有相同的尺寸，O1、O2和O3也具有相同的尺寸，则损失函数LOSS定义为：
其中，和表示将三幅输入图像裁剪到与输出图像相同尺寸所得图像；为相关系数的计算；α为预先设置的用来平衡图像间的相似程度和图像包含信息量关系的参数，优选预先设置为0.8。
作为本发明的进一步优选，所述步骤(3)中，训练所采用的解决方案优选为随机梯度下降法，共训练15个回合，学习率优选设置为0.01且每迭代5个回合学习率下降为原学习率的1/10。
总体而言，通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：
(1)由于本方法利用深度学习，模拟了人类对于不同模态图像的认知，同时参考了不同模态之间的信息，因此可以达到更好的表征结果。
(2)本方法在实验阶段，只需要进行单次前向计算，计算量小，可以达到实时的表征结果。
(3)本发明优选定义了具有特定表达式的损失函数，由于输入的三幅图像具有相同的尺寸并且每一通道具有相同的网络结构，因此输出的三幅图像具有相同的尺寸，因此损失函数LOSS可以定义为：
并且，尤其通过预先设置的参数α，可以平衡图像间的相似程度和图像包含信息量的关系，在尽可能保留图像信息的前提下使得不同模态下的图像表征结果更为接近。并且，卷积神经网络其训练过程优选所遵循的输出的表征图像忠实于原始输入图像并且多通道输出的不同期表征图像尽可能相似的原则，具体也是通过LOSS函数来体现的。
(4)由于该网络是全卷积网络，因此不受输入图像尺寸的限制，可以实现任意尺寸的图像表征。本发明优选采用具有特定结构的多通道卷积神经网络，其包含卷积层、反卷积层、池化层、升采样层、激励层这五种结构层，且不包含全连接层，可以实现全卷积网络，减少图像信息的丢失。本发明中，卷积神经网络单通道优选由不同类型的48层组成，第1层是输入层，第48层是输出层，第h层的输出作为第h+1层的输入(h为满足1≤h≤47的整数)；其中，第2、4层为卷积层，包括64个滤波器，第7、9、36层为卷积层，包括128个滤波器，第11、13层为卷积层，包括256个滤波器，第16、18、24层为卷积层，包括512个滤波器，第20、22层为卷积层，包括1024个滤波器；第26、28层为反卷积层，包括512个滤波器，第32、34层为反卷积层，包括256个滤波器，第38、40层为反卷积层，包括128个滤波器，第44、46层为反卷积层，包括64个滤波器；第6、15层为池化层；第30、42层为升采样层；第25、31、37、43层为复制裁剪合并层；第3、5、8、10、12、14、17、19、21、23、27、29、33、35、39、41、45、47层为激励层。通过这48层特定结构的卷积神经网络，能够进一步减少图像信息的丢失。
另外，本发明所使用的多通道卷积神经网络中，各个通道具有相同的网络结构，且训练过程中该通道的参数独立优化，不受其他通道影响，能够使多种模态的图像变得非常接近的情况下最大程度上保留了原图像的信息(例如，若参数是共享的，则会导致表征出的结果都基本上只是轮廓，损失了较多的原图像的信息)。
并且，对于本发明中训练用的已配准图像数据以及待表征的图像，本发明利用标准化处理使得相同期的图像具有相似的灰度直方图，通过改变实验数据的灰度分布，实现了固定模态下不同数据间的直方图一致性，有利于后续实验的进行。
综上，本发明将深度学习引入到图像表征中，利用卷积神经网络自主学习不同期MRI图像的特征，不仅可以得到更为相似的表征结果，同时可以满足实时应用。
附图说明
图1为本发明多模图像表征流程图。
图2为获取直方图标准标志位原理图。
图3为MRI标准化映射示意图。
图4为PD、T1和T2三种模态原始图。
图5为单个通道卷积神经网络结构图。
图6为多模表征网络结构图。
图7为作为对比的基于Sobel的PD、T1和T2三种模态表征图。
图8为作为对比的基于Zernike的PD、T1和T2三种模态表征图。
图9为基于本方法的PD、T1和T2三种模态表征图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明中基于多通道卷积神经网络的MRI不同期多模图像实时表征方法，如图1所示，所述方法包括以下步骤：
(1)采集一系列已配准的MRI不同期图像作为训练数据；
优选地，所述训练数据包含三种不同时期的数据，即PD、T1和T2三种模态。如图4所述，三种数据尺寸大小相同并且均已配准且将图像缩放到图4所示的200*200的输入尺寸。
(2)对步骤(1)中获得的数据进行MRI标准化处理，目的是使得相同期的图像具有相似的灰度直方图；
优选地，所述MRI标准化处理方法，按照如下方法进行：
(2-1)得到不同模态下直方图标准标志位：针对某一模态的MRI图像，获取一系列该模态图像并计算每一张图像的灰度直方图。如图2所述，图像灰度范围为[s1，s2]，其中图像感兴趣区域范围的最小、最大值分别为pc1,pc2，优选地，pc1和pc2位于整体直方图前5％和最后5％处(如直方图分布范围为[0,255]，则pc1和pc2分别为13和242，四舍五入取整数)。直方图两个峰值为μc1和μc2(当然，也可能只存在单一峰的情况，此时可视作μc1＝μc2)，因此，我们可以得到该模态下一系列的pc1、pc2、μc1和μc2，则该模态下设定的直方图标准标志位分别为pc1、pc2、μc1和μc2各个的统计平均值，即，和每种模态对应不同的标准标志位。
(2-2)试验阶段将训练数据按照对应模态映射到直方图标准标志位：如(2-1)所述，给定一张测试数据，我们可以得到其灰度最小值s1、灰度最大值s2、图像感兴趣区域范围的最小pc1、最大值pc2、直方图的两个峰值μc1和μc2。根据其自身模态得到对应的直方图标准标志位，如图3所示，按照线性映射的原则进行如下映射，将[s1，pc1]映射到[0,p1]，[pc1，μc1]映射到[p1，μ1]，[μc1，μc2]映射到[μ1，μ2]，[μc2，pc2]映射到[μ2，p2]，[pc2，s2]映射到[p2，255]，当然，映射到的整体灰度范围除了[0，255]外，也可以根据实际需要预先设定为其他区间范围。不同的图像均按照以上规则进行映射，最终可以得到标准化后的训练图像。
(3)设计一种多通道卷积神经网络，每一通道对应一种固定模态的MRI图像，输入三种不同模态的图像到对应通道中，遵循输出的表征图像忠实于原始输入图像并且多通道输出的不同期表征图像尽可能相似的原则训练网络；
优选地，所述神经网络仅包含卷积层、反卷积层、池化层、升采样层、激励层五种结构层，不包含全连接层，该神经网络结构如图5所示，为全卷积神经网络，输入图像尺寸可以为200*200，输出图像可以为184*184。如图6所示，该网络包含三个不同的通道，分别对应MRI三种不同的模态，网络结构完全相同，例如网络结构均优选为图5所示，但是各通道设置的参数值可以不同，更好的适应了不同模态的特征提取。
正如图5所示，卷积神经网络单通道具体由不同类型的48层组成，第1层是输入层，第48层是输出层，第h层的输出作为第h+1层的输入；其中，第2、4层为卷积层，包括64个滤波器，第7、9、36层为卷积层，包括128个滤波器，第11、13层为卷积层，包括256个滤波器，第16、18、24层为卷积层，包括512个滤波器，第20、22层为卷积层，包括1024个滤波器；第26、28层为反卷积层，包括512个滤波器，第32、34层为反卷积层，包括256个滤波器，第38、40层为反卷积层，包括128个滤波器，第44、46层为反卷积层，包括64个滤波器；第6、15层为池化层；第30、42层为升采样层；第25、31、37、43层为复制裁剪合并层；第3、5、8、10、12、14、17、19、21、23、27、29、33、35、39、41、45、47层为激励层。激励层均采用ReLU，池化层均使用最大值池化，反卷积层均使用双线性插值，当然，激励、池化、升采样也可以采用不同方法。
优选地，所述神经网络损失函数的定义遵循以下原则：三幅输出的表征图尽可能的相似，并且每条通道输出的表征图要忠实于原始的输入图像。因此，我们将图6中的损失函数LOSS定义为：
其中，I1、I2和I3分别表示输入图像，O1、O2和O3分别表示输出图像，|·|表示绝对值运算；和表示将输入图像裁剪到与输出图像相同尺寸后得到的图像；表示相关性的计算；α为预先设置的用来平衡图像间的相似程度和图像包含信息量的关系的参数，α可设置为0.8。以为例，其代表通道1输入图像经裁剪后所得图像与通道1输出图像两者计算得到的相关系数，具体表述为其中为和O1的协方差，为的方差，Var[O1]为O1的方差。
将步骤(2-2)中获得的训练数据输入步骤(3)中设计的神经网络模型，设置训练解决方案参数并初始化网络参数，迭代更新权重，得到所述多模图像表征神经网络。
优选地，所述神经网络解决方案优选为随机梯度下降法，学习率优选设置为0.01且每迭代5个回合学习率下降为原学习率的1/10。为了方便观察训练过程中的网络变化，设置每回合显示一次loss值并测试一次，每5个回合保存一次网络参数。总回合次数可以预先设定，例如可以为15个总回合(所谓回合是指把当前训练数据全部训练一遍叫一个回合，每一个回合中可以有很多迭代次数)。得到的损失值是呈波动状，但是整体是下降的。
(4)测试阶段，将待表征的某一期MRI图像进行标准化处理并将其输入与之对应的通道中，得到其输出的表征结果，如图9所示，三种模态的图像变得非常接近并且一定程度上保留了原图像的信息，实现了多模图像表征的目的，且每张图像测试时间仅为30ms，达到了实时的目的。
为了进一步明确本发明的技术效果，本发明还利用现有技术中的Sobel图像表征方法得到了PD、T1和T2三种模态表征图(即图7，Sobel图像表征方法的具体步骤及细节参数设置可参考现有技术文献：Maini R,Aggarwal H.Study and comparison of variousimage edge detection techniques.International Journal of Image Processing,2009；31:1–11.)，利用现有技术中的Zernike图像表征方法得到了PD、T1和T2三种模态表征图(即图8，Zernike图像表征方法的具体步骤及细节参数设置可参考现有技术文献：A.Khotanzad and Y.H.Hong,"Invariant image recognition by Zernike moments,"inIEEE Transactions on Pattern Analysis and Machine Intelligence,vol.12,no.5,pp.489-497,May 1990.)；不难发现，通过本发明表征方法得到的PD、T1和T2三种模态表征图图9，与图7、图8相比，本发明方法表征后的结果更为接近。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，包括以下步骤：
(1)采集一系列已配准的MRI不同期图像；
(2)根据所述步骤(1)得到的各个图像的具体模态信息以及它们的灰度直方图对这些图像进行标准化处理，得到这些一系列已配准的MRI不同期图像的标准化图像，这些标准化图像中属于同一种模态的标准化图像它们的灰度直方图具有相同的最小灰度值、相同的最大灰度值以及相同的峰位置灰度值；
(3)构建初始多通道卷积神经网络，该初始多通道卷积神经网络中的每一通道对应于一种固定模态的MRI图像；然后，以所述步骤(2)得到的所述标准化图像作为训练数据，将这些标准化图像输入到与图像模态对应的所述初始多通道卷积神经网络的通道中，对该初始多通道卷积神经网络中的通道分别进行训练，得到训练后的多通道卷积神经网络；
(4)测试表征步骤：将待表征的某一期MRI图像进行标准化处理得到标准化的待表征图像，该标准化的待表征图像其灰度直方图与所述步骤(2)得到的所述标准化图像中属于同一模态的标准化图像的灰度直方图具有相同的最小灰度值、相同的最大灰度值以及相同的峰位置灰度值；然后，将该标准化的待表征图像输入至所述步骤(3)得到的所述训练后的多通道卷积神经网络与该待表征图像模态相对应的通道中，从而得到该通道输出的表征结果。
2.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(1)中，所述一系列已配准的MRI不同期图像具体同时包含PD期图像、T1期图像和T2期图像这三类不同期图像，所述一系列已配准的MRI不同期图像中的每幅图像尺寸大小优选相同；
相应的，所述步骤(3)中，所述初始多通道卷积神经网络具体为三通道初始卷积神经网络，这三个通道分别对应与PD期图像、T1期图像和T2期图像这三类不同期图像。
3.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(2)中，根据所述步骤(1)得到的各个图像的具体模态信息以及它们的灰度直方图对这些图像进行标准化处理，具体包括以下步骤：
(2-1)将属于同一模态的图像划分成一个小组，针对同一小组内的每张图像，记其灰度直方图中的感兴趣区域的最小灰度值为pc1，感兴趣区域的最大灰度值为pc2，灰度直方图中两个峰位置处的灰度值由小到大分别记为μc1和μc2；然后，基于该小组的全部图像分别计算平均值 则分别设定为该模态的直方图标准标志位；对每个小组重复进行操作，从而得到各个模态的直方图标准标志位；
(2-2)针对所述步骤(1)得到的任意一张图像，记其灰度直方图中的整体最小灰度值为s1，整体最大灰度值为s2，感兴趣区域的最小灰度值记为pc1，感兴趣区域的最大灰度值记为pc2，峰位置灰度值记为μc1和μc2，并根据其具体模态信息得到该模态的直方图标准标志位标准化处理该图像，使s1、s2、pc1、pc2、μc1、μc2这6个节点经标准化处理后分别线性映射至m1、m2、其中，m1为预先设定的标准整体最小灰度值，m2为预先设定的标准整体最大灰度值；并且，s1、s2、pc1、pc2、μc1、μc2这6个节点中任意两个相邻节点之间区域的灰度值在该标准化处理中也是同步利用线性映射完成标准化处理的；对所述步骤(1)得到的各个图像进行标准化处理，即可得到一系列标准化图像；
优选的，所述步骤(2-1)中，所述感兴趣区域的最小灰度值pc1＝s1+(s2-s1)×5％，感兴趣区域的最大灰度值pc2＝s1+(s2-s1)×95％；其中，s1、s2分别为对应图像其灰度直方图中的整体最小灰度值以及整体最大灰度值；
优选的，所述步骤(2-1)中，当某一图像的其灰度直方图只有一个峰时，记μc1＝μc2；
优选的，所述步骤(2-2)中，m1被预先设定为0，m2被预先设定为255。
4.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(3)中，所述初始多通道卷积神经网络中各个通道具有相同的网络结构，且训练过程中该通道的参数独立优化，不受其他通道影响。
5.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(3)中，所述初始多通道卷积神经网络中任意一个通道对应的卷积神经网络均包含卷积层、反卷积层、池化层、升采样层、激励层这五种结构层，且不包含全连接层；
任意一个通道对应的卷积神经网络具体由不同类型的48层组成，第1层是输入层，第48层是输出层，第h层的输出作为第h+1层的输入；其中，第2、4层为卷积层，包括64个滤波器，第7、9、36层为卷积层，包括128个滤波器，第11、13层为卷积层，包括256个滤波器，第16、18、24层为卷积层，包括512个滤波器，第20、22层为卷积层，包括1024个滤波器；第26、28层为反卷积层，包括512个滤波器，第32、34层为反卷积层，包括256个滤波器，第38、40层为反卷积层，包括128个滤波器，第44、46层为反卷积层，包括64个滤波器；第6、15层为池化层；第30、42层为升采样层；第25、31、37、43层为复制裁剪合并层；第3、5、8、10、12、14、17、19、21、23、27、29、33、35、39、41、45、47层为激励层；
优选的，激励层均采用ReLU，池化层均使用最大值池化，反卷积层均使用双线性插值。
6.如权利要求2所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(3)中，所述初始多通道卷积神经网络为无监督学习的网络，记输入的三幅图像分别为I1、I2和I3，对应的输出图像分别为O1、O2和O3，I1、I2和I3具有相同的尺寸，O1、O2和O3也具有相同的尺寸，则损失函数LOSS定义为：
其中，和表示将三幅输入图像裁剪到与输出图像相同尺寸所得图像；为相关系数的计算；α为预先设置的用来平衡图像间的相似程度和图像包含信息量关系的参数，优选预先设置为0.8。
7.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(3)中，训练所采用的解决方案优选为随机梯度下降法，共训练15个回合，学习率优选设置为0.01且每迭代5个回合学习率下降为原学习率的1/10。
CN201811177810.9A 2018-10-10 2018-10-10 基于多通道卷积神经网络的mri不同期多模图像表征方法 Active CN109492668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811177810.9A CN109492668B (zh) 2018-10-10 2018-10-10 基于多通道卷积神经网络的mri不同期多模图像表征方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811177810.9A CN109492668B (zh) 2018-10-10 2018-10-10 基于多通道卷积神经网络的mri不同期多模图像表征方法

Publications (2)

Publication Number Publication Date
CN109492668A true CN109492668A (zh) 2019-03-19
CN109492668B CN109492668B (zh) 2021-08-03

Family

ID=65690213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811177810.9A Active CN109492668B (zh) 2018-10-10 2018-10-10 基于多通道卷积神经网络的mri不同期多模图像表征方法

Country Status (1)

Country Link
CN (1) CN109492668B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033848A (zh) * 2019-04-16 2019-07-19 厦门大学 一种基于无监督学习的三维医学影像z轴插值方法
CN110096994A (zh) * 2019-04-28 2019-08-06 西安电子科技大学 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
CN111340151A (zh) * 2020-05-25 2020-06-26 南京信息工程大学 一种用于辅助车辆自动驾驶的天气现象识别系统和方法
CN111754503A (zh) * 2020-07-01 2020-10-09 武汉楚精灵医疗科技有限公司 基于两通道卷积神经网络的肠镜退镜超速占比监测方法
CN112634208A (zh) * 2020-12-09 2021-04-09 浙江求是数理医学研究院 基于深度学习的超声影像混合训练方法
CN115393678A (zh) * 2022-08-01 2022-11-25 北京理工大学 一种基于图像式中间态的多模态数据融合决策方法
CN116912235A (zh) * 2023-09-08 2023-10-20 金乡县金禧园食品有限公司 基于计算机视觉的脱水蒜状态智能检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060235296A1 (en) * 2003-02-13 2006-10-19 Bracco Imaging S.P.A. Contrast enhanced x-ray phase imaging
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060235296A1 (en) * 2003-02-13 2006-10-19 Bracco Imaging S.P.A. Contrast enhanced x-ray phase imaging
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATRICK VIRTUE等: "《Better than real: Complex-valued neural nets for MRI fingerprinting》", 《 2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033848A (zh) * 2019-04-16 2019-07-19 厦门大学 一种基于无监督学习的三维医学影像z轴插值方法
CN110096994A (zh) * 2019-04-28 2019-08-06 西安电子科技大学 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
CN111340151A (zh) * 2020-05-25 2020-06-26 南京信息工程大学 一种用于辅助车辆自动驾驶的天气现象识别系统和方法
CN111340151B (zh) * 2020-05-25 2020-08-25 南京信息工程大学 一种用于辅助车辆自动驾驶的天气现象识别系统和方法
CN111754503A (zh) * 2020-07-01 2020-10-09 武汉楚精灵医疗科技有限公司 基于两通道卷积神经网络的肠镜退镜超速占比监测方法
CN111754503B (zh) * 2020-07-01 2023-12-08 武汉楚精灵医疗科技有限公司 基于两通道卷积神经网络的肠镜退镜超速占比监测方法
CN112634208A (zh) * 2020-12-09 2021-04-09 浙江求是数理医学研究院 基于深度学习的超声影像混合训练方法
CN112634208B (zh) * 2020-12-09 2022-07-05 浙江求是数理医学研究院 基于深度学习的超声影像混合训练方法
CN115393678A (zh) * 2022-08-01 2022-11-25 北京理工大学 一种基于图像式中间态的多模态数据融合决策方法
CN115393678B (zh) * 2022-08-01 2024-04-02 北京理工大学 一种基于图像式中间态的多模态数据融合决策方法
CN116912235A (zh) * 2023-09-08 2023-10-20 金乡县金禧园食品有限公司 基于计算机视觉的脱水蒜状态智能检测方法
CN116912235B (zh) * 2023-09-08 2023-11-24 金乡县金禧园食品有限公司 基于计算机视觉的脱水蒜状态智能检测方法

Also Published As

Publication number Publication date
CN109492668B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN109492668A (zh) 基于多通道卷积神经网络的mri不同期多模图像表征方法
CN107220980B (zh) 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN108304826A (zh) 基于卷积神经网络的人脸表情识别方法
CN112070772A (zh) 基于UNet++和ResNet的血液白细胞图像分割方法
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN104091341B (zh) 一种基于显著性检测的图像模糊检测方法
CN109785300A (zh) 一种癌症医学图像数据处理方法、系统、装置和存储介质
CN107316307A (zh) 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN106777953A (zh) 医学影像数据的分析方法及系统
CN108682017A (zh) 基于Node2Vec算法的超像素图像边缘检测方法
CN106296695A (zh) 基于显著性的自适应阈值自然目标图像分割抽取算法
CN111127360B (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
CN111476849B (zh) 对象颜色识别方法、装置、电子设备以及存储介质
CN107292346B (zh) 一种基于局部子空间学习的mr图像海马体分割算法
CN111080579A (zh) 基于深度学习实现图像分割和分类的骨龄评估方法
CN109902561A (zh) 一种应用于机器人的人脸识别方法和装置、机器人
CN110334566A (zh) 一种基于三维全卷积神经网络的oct内外指纹提取方法
CN108986107B (zh) 基于光谱分析和骨架涂鸦的序列化可视人体切片图像自动分割方法
CN104408697B (zh) 基于遗传算法和正则先验模型的图像超分辨重建方法
Ninh et al. Skin lesion segmentation based on modification of SegNet neural networks
CN105956570A (zh) 基于唇部特征和深度学习的笑脸识别方法
Li et al. Speckle noise removal based on structural convolutional neural networks with feature fusion for medical image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant