CN110188792A - 前列腺mri三维图像的图像特征获取方法 - Google Patents

Abstract

本发明涉及一种前列腺MRI三维图像的图像特征获取方法。本发明通过对前列腺T2WI图像进行自动器官分割，得到相应的前列腺器官区域，并基于分割结果映射到配准后的ADC与DWI图像上，得到多参数前列腺器官区域作为判别模型的输入，结合多参数MRI图像与深度学习算法来获得图像特征。本发明以大量前列腺影像数据为基础，建立前列腺器官自动分割模型，减少了无关背景信息对判别模型的干扰，并使用深度学习的方法融合多参数MRI图像的特征，实现高精度前列腺癌的特征提取，为提升前列腺癌的诊断效率与准确率提供依据。

Description

前列腺MRI三维图像的图像特征获取方法

技术领域

本发明涉及一种前列腺MRI三维图像的图像特征获取方法，获取的图像特征可用于辅助诊断前列腺癌，属于医学图像计算机辅助诊断技术领域。

背景技术

前列腺癌是男性中常见的恶性肿瘤，是全球范围内男性第二位常见的癌症，在中国男性中前列腺癌的发病率也与日俱增。核磁共振成像(MRI)检查以非侵入检查、扫描图像多样化、病灶信号突出的优势成为医院诊断前列腺癌的重要方法，MRI成像包括T2WI(T2加权成像)、DWI(弥散加权成像)、ADC(表面扩散系数)等序列辅助放射科医生进行诊断。其中T2WI图像提供了较为清晰的组织对比，DWI与ADC图像提供了组织中水分子扩散受限程度，在DWI图像中b值为扩散敏感系数，是DWI中一个重要的参数。这三个序列的图像均能在一定程度反应前列腺癌病灶特征，对前列腺癌判别有着重要的意义。

近年来MRI影像数量伴随着前列腺癌病发率的增加而不断累积，并且MRI图像通常具有序列多且结构复杂的特点，影像科医生在诊断过程中不仅要勾画前列腺与其它组织的边缘界限，还要根据前列腺器官的表征进行恶性肿瘤判别，此过程是困难且耗时的，往往会因受到经验与时间的限制导致医生判别水平不一和诊断周期增加。深度学习(DL)近年来在计算机视觉领域得到了广泛的应用，尤其在图像分割与分类判别领域取得了优于传统方法的效果，深度学习结合医学影像为前列腺器官分割与前列腺癌判别提供了可能。

目前有些针对前列腺癌判别的方法，一些是使用深度学习的方法将整张影像图像作为模型的输入，但是在MRI扫描过程中会包含前列腺器官周围一些无关组织，这种方法会因周围器官有差异而非前列腺区域有差异导致误判；另一些方法只利用到了T2WI图像，忽略了其它序列如ADC与DWI图像水分子扩散受限程度的特征，该特征对判别前列腺恶性肿瘤有着重要价值；还有一些方法虽然使用前列腺器官区域作为判别模型的输入，但每次诊断均需要医生手动标注前列腺器官区域，不能根据原始MRI图像自动分割，增加了诊断的成本与周期。

发明内容

本发明的目的是提供一种获取前列腺MRI三维图像的图像特征的方法，以辅助医生诊断前列腺癌，减少医生工作负荷，提高诊断准确率。

为了达到上述目的，本发明的技术方案是提供了一种前列腺MRI三维图像的图像特征获取方法，其特征在于，包括以下步骤：

步骤1、获取前列腺MRI影像数据集，前列腺MRI影像数据集包含T2WI、ADC、DWI三个扫描序列，将ADC扫描序列与DWI扫描序列配准到T2WI扫描序列上保证三个序列的每个像素点对应相同的器官掩膜区域，通过将T2WI图像上标注区域映射到配准后的ADC图像与DWI图像后形成训练数据集，T2WI图像上标注区域为前列腺器官的范围，由人工标注得到；

步骤2、使用深度学习的方法结合医生在T2WI图像标注的前列腺器官区域进行训练，得到前列腺自动分割模型，模型结构包括下采样、上采样及生成掩膜图像：

(1)下采样过程：下采样过程将输入的T2WI图像经过若干卷积模块后，实现图像维度降低的同时提取图像的高层特征，生成n个表示高层特征信息的特征图；

(2)上采样过程：上采样过程将下采样过程生成的n个表示高层特征信息的特征图进行卷积、RELU激活函数与反池化，使特征图尺寸增加；

(3)生成掩膜图像：经过上采样与下采样不断迭代优化，在迭代过程中以相似性损失函数进行优化，生成与原始T2WI图像大小相同的二进制掩膜图像，达到输入任何前列腺T2WI图像后自动分割前列腺器官区域的目的；

步骤3、基于步骤2建立的前列腺自动分割模型，自动提取每个样本T2WI图像的前列腺器官区域作为感兴趣区域ROI，将提取产生的二进制掩膜图像映射到配准后的ADC图像和DWI图像上，提取这三个序列图像的前列腺器官区域，形成新的T2WI、ADC、DWI多参数图像；

步骤4、构建深度卷积结构，深度卷积结构通过对步骤3得到的T2WI、ADC、DWI多参数图像的组合，使不同的序列图像按类型纵向堆积，再进行三维卷积提取特征，卷积的过程贯穿三个序列的相同位置，经过三维卷积和池化后，特征图像的个数在增加的同时图像的原始尺寸伴随减少，在此过程不断进行反向梯度下降迭代优化，使用交叉熵损失函数作为模型优化方法，最后提取得到多参数输入图像相同部位的图像特征，生成的高层特征含有不同序列图像的所有特征，从而产生能够对前列腺癌进行判别分析的足够全面的特征信息。

优选地，步骤1中，在进行配准前，通过降噪、插值、归一化方法对T2WI、ADC、DWI三个序列进行预处理。

优选地，步骤2中，下采样过程的每个卷积模块包括卷积、RELU激活函数与池化，卷积的计算公式如下：

式中，Hⁿ表示第n次卷积后的特征图；K_x、K_y分别表示卷积核K的长和宽；w_ij表示卷积核中每个参数对应的权重；bⁿ表示第n次卷积的偏置；f(·)表示RELU激活函数；H^n-1(i，j)表示第n-1次卷积后的特征图；

池化选择平均池化，池化后特征图在x与y轴的尺寸缩小为1/M_x与1/M_y，计算公式如下：

式中，H′表示池化之后的特征图；M_x、M_y分别表示每次池化的长度与宽度；H(i，j)表示池化前的特征图。

优选地，步骤2中，上采样过程的反池化使用的是双线性插值的方式扩大尺寸。

优选地，步骤4中，三维卷积的计算公式为：

式中，Hⁿ表示第n次卷积后的特征图；K_x、K_y、K_z分别表示三维卷积核K长、宽和高；w_ijm表示三维卷积核中每个参数对应的权重；bⁿ表示第n次卷积的偏置；f(·)表示RELU激活函数；H^n-1(i，j，m)表示第n-1次卷积的后的特征图。

本发明以大量前列腺影像数据为基础，建立前列腺器官自动分割模型，减少了无关背景信息对判别模型的干扰，并使用深度学习的方法融合多参数MRI图像的特征，实现高精度前列腺癌的特征提取，为提升前列腺癌的诊断效率与准确率提供依据。

附图说明

图1为本实施例基于深度学习的多参数MRI前列腺癌自动判别方法总体结构框架图；

图2为本实施例基于深度学习的多参数MRI前列腺癌自动判别方法的图像预处理模块流程图；

图3为本实施例基于深度学习的多参数MRI前列腺癌自动判别方法的前列腺器官自动分割流程图；

图4为本实施例基于深度学习的多参数MRI前列腺癌自动判别方法的前列腺癌自动判别模型流程图；

图5为本实施例基于深度学习的多参数MRI前列腺癌自动判别方法的深度卷积结构图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本实施例中，将本发明提供的一种前列腺MRI三维图像的图像特征获取方法应用到前列腺癌自动判别中包括以下步骤：

1.获取影像并预处理，流程如图2所示，主要包括以下步骤：

101)数据采集：采集包含癌变与正常样本的前列腺MRI影像数据集，包含T2WI、ADC、DWI三个扫描序列，所有数据均通过脱敏处理去除患者个人信息。

102)数据标注：因为T2WI图像前列腺区域与周围组织之间的区别最为明显，所以请权威影像科医生在所有样本的T2WI图像上人工标注前列腺器官的范围，并且为癌变和正常的样本分别标注癌和非癌的标签，以此作为模型训练的金标准。

103)数据预处理：标准化，通过降噪、插值、归一化方法对T2WI、ADC、DWI三个序列进行预处理；配准，使用配准技术将ADC与DWI配准到T2WI上保证三个序列的每个像素点对应相同的器官掩膜区域，T2WI前列腺器官区域的标注由步骤102)得到，通过将标注区域映射到配准后的ADC与DWI图像后形成训练数据集。

104)样本扩充：数据样本不平衡处理，使用过采样技术保持癌变与正常样本数据总量一致；样本增强，为防止深度学习过程中出现过拟合，采用随机图像增强技术，在保证空间平移不变形的基础上，随机的对输入图像进行旋转、平移、镜像、扭曲操作。

2.前列腺器官自动分割：为减少前列腺器官区域周围无关组织对前列腺癌判别模型的影响，精确定位前列腺器官区域即感兴趣区域(ROI)，使用深度学习的方法结合医生在T2WI图像标注的前列腺器官区域进行训练，得到前列腺自动分割模型，模型结构包括下采样和上采样两个过程，结构如图3所示。

201)下采样过程：下采样将输入的T2WI图像经过若干卷积模块后，实现图像维度降低的同时提取图像的结构、纹理、像素差异等高层特征，下采样每个卷积模块包括卷积、RELU激活函数与池化，卷积的计算公式如下：

式中，Hⁿ表示第n次卷积后的特征图；K_x、K_y分别表示卷积核K的长和宽；w_ij表示卷积核中每个参数对应的权重；bⁿ表示第n次卷积的偏置；H^n-1(i，j)表示第n-1次卷积后的特征图；f(·)表示RELU激活函数，计算公式如下：

f(x)＝max(x，0) (2)

池化过程选择平均池化，池化后特征图在x与y轴的尺寸缩小为1/M_x与1/M_y，计算公式如下：

式中，H′表示为池化之后的特征图；M_x、M_y分别表示每次池化的长度与宽度；H(i，j)表示为池化前的特征图。

下采样后可以生成n个表示高层特征信息的特征图。

202)上采样过程：上采样过程将原始图像下采样生成的高层特征图进行卷积、RELU激活函数与反池化，使特征图尺寸增加。从高层特征图逐步还原图像且增加图像尺寸直至与原始图像尺寸一致，并且经过权重梯度下降优化后每个像素进行二分类无限接近医生标注的金标准。卷积与RELU激活函数与步骤1)相同，反池化使用的是双线性插值的方式扩大尺寸，如果需要扩大一倍的尺寸，则在水平和垂直两个方向增加一倍的像素，即每行任意两个像素之间需要插入一个新的值，每行之间需要有新的插入值构成新的一行，因为要在长宽两个方向同事增加尺寸，所以插值的操作也需要在每列之间同时进行。

203)生成掩膜图像：经过上采样与下采样不断迭代优化，在迭代过程中以相似性损失函数进行优化，生成与原始T2WI图像大小相同的二进制掩膜图像，可以达到输入任何前列腺T2WI图像后自动分割前列腺器官区域的目的。

3.前列腺癌自动判别：T2WI、ADC、DWI能够分别表现前列腺恶性肿瘤的不同特征，如：前列腺器官区域产生恶性结节并发生侵蚀形变与病灶部位信号异常。基于自动分割的前列腺器官区域，利用多参数MRI影像结合深度学习算法可以实现前列腺癌的自动判别，前列腺癌自动判别模型结构如图4示。

301)提取多参数前列腺影像ROI：基于前列腺器官自动分割模型，自动提取每个样本T2WI图像的前列腺器官区域作为ROI，将提取产生的掩膜图像映射到配准后的ADC和DWI图像上，提取这三个序列图像的前列腺器官区域作为判别模型的输入。选择b值范围1000～2000s/mm²之间的DWI图像，对应b值的DWI图像经过如下公式计算得到：

S_b＝S₀*exp(-b*ADC) (4)

式中，b为实数，S_b表示对应的DWI图像，S₀表示当b值为0s/mm²时对应的DWI图像，ADC为表面扩散系数图像。

302)构建深度卷积结构：构建深度神经网络层级结构，以卷积的方法组合低层特征信息使之抽象为高层表达其属性或类别的特征。通过对步骤301)得到的T2WI、ADC、DWI多参数图像的组合，使不同的序列图像按类型纵向堆积，三维卷积的过程可以贯穿三个序列的相同位置，提取多参数输入图像相同部位的图像特征，生成的高层特征就含有不同序列图像的所有特征，能够产生足够全面的特征信息对前列腺癌进行判别分析，深度卷积结构如图5所示。

上述步骤中，利用三维卷积提取特征包括以下步骤：

根据MRI图像信息的特性，即每个患者扫描的不同序列图像都是三维图像。前列腺癌判别模型的卷积方法为三维卷积，三维卷积与二维卷积的差异是可以最大程度的保留层级之间的关联信息，癌症的病灶往往是连续出现在不同层级之间形成恶性结节或异常信号，三维卷积对于不同序列图像特征的融合或层级之间特征的关联有着至关重要的意义，三维卷积计算方法如下：

式中，Hⁿ表示第n次卷积后的特征图；K_x、K_y、K_z分别表示三维卷积核K长、宽和高；w_ijm表示三维卷积核中每个参数对应的权重；bⁿ表示第n次卷积的偏置；H^n-1(i，j，m)表示第n-1次卷积的后的特征图；f(·)表示RELU激活函数，在经过激活函数后以池化的方法减小图像的尺寸。经过三维卷积和池化后，特征图像的个数在增加的同时图像的原始尺寸伴随减少，最后能够输出1*n维的特征向量，在此过程不断进行反向梯度下降迭代优化，使用交叉熵损失函数作为模型优化方法。

303)建立判别分类器：上述步骤302)根据每个样本MRI三维图像可以得到该样本的特征向量，每个特征值表征多参数MRI三维图像的融合特征。对前列腺癌的判别是二分类的过程，定义正常样本标签为0、癌变样本标签为1，将特征向量输入到分类器中即可根据多参数MRI图像对单样本进行前列腺癌的自动判别。

本发明通过对前列腺T2WI图像进行自动器官分割，得到相应的前列腺器官区域，并基于分割结果映射到配准后的ADC与DWI图像上，得到多参数前列腺器官区域作为判别模型的输入，结合多参数MRI图像与深度学习算法提出前列腺癌自动判别模型，不仅能够对是否为前列腺癌进行定性判别，而且可以自动分割器官区域辅助医生核查。

Claims (5)

1.一种前列腺MRI三维图像的图像特征获取方法，其特征在于，包括以下步骤：

步骤1、获取前列腺MRI影像数据集，前列腺MRI影像数据集包含T2WI、ADC、DWI三个扫描序列，将ADC扫描序列与DWI扫描序列配准到T2WI扫描序列上保证三个序列的每个像素点对应相同的器官掩膜区域，通过将T2WI图像上标注区域映射到配准后的ADC图像与DWI图像后形成训练数据集，T2WI图像上标注区域为前列腺器官的范围，由人工标注得到；

步骤2、使用深度学习的方法结合医生在T2WI图像标注的前列腺器官区域进行训练，得到前列腺自动分割模型，模型结构包括下采样、上采样及生成掩膜图像：

(1)下采样过程：下采样过程将输入的T2WI图像经过若干卷积模块后，实现图像维度降低的同时提取图像的高层特征，生成n个表示高层特征信息的特征图；

(2)上采样过程：上采样过程将下采样过程生成的n个表示高层特征信息的特征图进行卷积、RELU激活函数与反池化，使特征图尺寸增加；

(3)生成掩膜图像：经过上采样与下采样不断迭代优化，在迭代过程中以相似性损失函数进行优化，生成与原始T2WI图像大小相同的二进制掩膜图像，达到输入任何前列腺T2WI图像后自动分割前列腺器官区域的目的；

步骤3、基于步骤2建立的前列腺自动分割模型，自动提取每个样本T2WI图像的前列腺器官区域作为感兴趣区域ROI，将提取产生的二进制掩膜图像映射到配准后的ADC图像和DWI图像上，提取这三个序列图像的前列腺器官区域，形成新的T2WI、ADC、DWI多参数图像；

步骤4、构建深度卷积结构，深度卷积结构通过对上一步得到的T2WI、ADC、DWI多参数图像的组合，使不同的序列图像按类型纵向堆积，再进行三维卷积提取特征，卷积的过程贯穿三个序列的相同位置，经过三维卷积和池化后，特征图像的个数在增加的同时图像的原始尺寸伴随减少，在此过程不断进行反向梯度下降迭代优化，使用交叉熵损失函数作为模型优化方法，最后提取得到多参数输入图像相同部位的图像特征，生成的高层特征含有不同序列图像的所有特征，从而产生能够对前列腺癌进行判别分析的足够全面的特征信息。

2.如权利要求1所述的一种前列腺MRI三维图像的图像特征获取方法，其特征在于，步骤1中，在进行配准前，通过降噪、插值、归一化方法对T2WI、ADC、DWI三个序列进行预处理。

3.如权利要求1所述的一种前列腺MRI三维图像的图像特征获取方法，其特征在于，步骤2中，下采样过程的每个卷积模块包括卷积、RELU激活函数与池化，卷积的计算公式如下：

式中，Hⁿ表示第n次卷积后的特征图；K_x、K_y分别表示卷积核K的长和宽；w_ij表示卷积核中每个参数对应的权重；bⁿ表示第n次卷积的偏置；f(·)表示RELU激活函数；H^n-1(i，j)表示第n-1次卷积后的特征图；

池化选择平均池化，池化后特征图在x与y轴的尺寸缩小为1/M_x与1/M_y，计算公式如下：

式中，H′表示池化之后的特征图；M_x、M_y分别表示每次池化的长度与宽度；H(i，j)表示池化前的特征图。

4.如权利要求1所述的一种前列腺MRI三维图像的图像特征获取方法，其特征在于，步骤2中，上采样过程的反池化使用的是双线性插值的方式扩大尺寸。

5.如权利要求1所述的一种前列腺MRI三维图像的图像特征获取方法，其特征在于，步骤4中，三维卷积的计算公式为：

式中，Hⁿ表示第n次卷积后的特征图；K_x、K_y、K_z分别表示三维卷积核K长、宽和高；w_ijm表示三维卷积核中每个参数对应的权重；bⁿ表示第n次卷积的偏置；f(·)表示RELU激活函数；H^{n -1}(i，j，m)表示第n-1次卷积的后的特征图。