CN107492071A - 医学图像处理方法及设备 - Google Patents

Abstract

本发明提供一种医学图像处理方法及医学图像处理设备，包括：利用基于深度学习的分割算法对医学图像进行分割以得到标注了关注区域的归一化图像；将所述归一化图像的像素矩阵与所述医学图像的像素矩阵相乘以得到重建前图像；利用基于深度学习的超分辨率算法对所述重建前图像进行超分辨率重建以得到重建后图像。本发明的方法或设备能够得到高质量的医学图像以供医生做出更准确的诊断，此外计算负荷小，能够快速得到重建后图像。

Description

医学图像处理方法及设备

技术领域

本发明涉及图像处理领域，具体涉及一种医学图像处理方法及设备。

背景技术

现代医学技术日益发展，其中很大一部分得力于医学影像技术的日渐成熟。医学影像技术包括CT(Computed Tomography)技术、MRI(Magnetic Resonance Imaging)技术、超声技术等，这些技术使得医生足以充分了解患者内部病理结构，从而制定精确治疗方案，具有重大的诊断意义。医学图像在形成过程中由于受到成像环境、成像系统影响不可避免产生降质，在智能手机和家庭便携医疗设备的普及下，对低质量医学图像的处理在医学图像领域具有广阔的应用前景和重要的理论研究意义。

发明内容

本发明的目的在于一种具有增强的分辨率的医学图像处理方法及设备，其能够得到高质量的医学图像以供医生做出更准确的诊断。

本发明一个方案提供了一种医学图像处理方法，包括：利用基于深度学习的分割算法对医学图像进行分割以得到标注了关注区域的归一化图像；将所述归一化图像的像素矩阵与所述医学图像的像素矩阵相乘以得到重建前图像；利用基于深度学习的超分辨率算法对所述重建前图像进行超分辨率重建以得到重建后图像。

优选地，该方法进一步包括在对所述医学图像进行所述分割之前，对所述医学图像进行标准化处理。

优选地，所述标准化处理包括色彩标准化和/或光照标准化处理。

优选地，该方法进一步包括提取所述重建后图像中的关注区域并将其显示出来。

优选地，该方法进一步包括：将所述重建后图像用于构建医学图像识别模型；或者将所述重建后图像输入到医学图像识别模型中，以识别所述重建后图像中的关注区域的类别和/或名称。

本发明另一个方案提供了一种医学图像处理设备，包括存储器和处理器，所述存储器配置为存储计算指令，所述处理器通过执行所述计算指令以对医学图像进行以下处理：利用基于深度学习的分割算法对医学图像进行分割以得到标注了关注区域的归一化图像；将所述归一化图像的像素矩阵与所述医学图像的像素矩阵相乘以得到重建前图像；利用基于深度学习的超分辨率算法对所述重建前图像进行超分辨率重建以得到重建后图像。

优选地，在对所述医学图像进行所述分割之前，所述处理器还执行对所述医学图像进行标准化处理的计算指令。

优选地，所述标准化处理的计算指令包括色彩标准化的计算指令和/或光照标准化处理的计算指令。

优选地，所述处理器还执行提取所述重建后图像医学图像中的关注区域的计算指令。

优选地，该医学图像处理设备还包括：显示器，其配置为将所述重建后图像中的关注区域显示出来。

利用本发明方案的医学图像处理方法和/或医学图像处理设备，先利用基于深度学习的分割算法对医学图像进行分割得到标注了关注区域的归一化图像，然后对该归一化图像处理得到重建前图像，接下来利用基于深度学习的超分辨率算法对所述重建前图像进行超分辨率重建，所得到的重建后图像包含关注区域的高质量医学图像。该高质量的医学图像能够用于医生直接诊断，对于医学影像技术所得到的医学图像(原图)分辨率较低容易造成医生误判的情况，经本发明方案处理的医学图像具有高质量，能够提高医生诊断的正确率。并且重建后的高质量医学图像可以用于训练生成高精度的医学图像识别模型。此外，也可以将重建后的高质量医学图像输入到医学图像识别模型中，从而能够自动识别医学图像的类别和名称。

因此，本发明的方案具有很强的实用性。

此外，由于本发明方案所得到的重建后图像仅包含关注区域的高质量医学图像，而对非关注区域不进行高分辨率重建处理，因此减小了计算负荷，能够快速得到重建后图像。

附图说明

图1为本发明实施例的一种医学图像处理方法的流程图。

图2示例性地示出了医学图像经基于深度学习的图像分割算法处理后得到的归一化图像。

图3为待进行超分辨率重建处理的重建前图像。

图4为本发明一优选实施例的医学图像处理方法的流程图。

图5示出对医学图像的标准化处理。

图6示出本发明实施例的一种医学图像处理设备。

具体实施方式

此处参考附图描述本公开的各种方案以及特征。

应理解的是，可以对此处公开的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

本文所称的医学图像一般地包括：计算机断层扫描CT，内窥镜图像，核磁共振成像MRT等。

参照图1，将描述本发明实施例的一种医学图像处理方法。该方法包括以下步骤：

步骤S101，利用基于深度学习的分割算法对医学图像进行分割以得到标注了关注区域的归一化图像。

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。传统图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。医学图像分割是图像分割的一个重要领域，它在图像中自动分割出感兴趣的区域方面扮演着及其重要的角色。对于医学图像而言，人们往往只关注图像的特定领域，因此图像分割在医学图像中具有很重要的意义，例如看骨折，只需要将骨头所表示的特征图像(一般是一定灰度值的一块区域)从背景(如肌肉，另一种灰度值)分割出来，而其它的肌肉等则不显示(为黑色)。由于人体的器官组织是可发生形变的，而且影像上相邻灰度差别也很小，这些因素加大了图像分割的难度。因此，将感兴趣的区域准确的分割出来，需要对特征提取提出更高的要求。深度学习因其具有多隐层，能够自动学习有用的特征的特性，在特征的提取以及最终的分割结果在实际应用中效果很好。因此，在该步骤中，利用基于深度学习的分割算法对医学图像进行分割，以保障分割质量。

在这一步骤中，将采用基于深度学习的图像分割技术(例如传统的基于CNN的分割算法、基于FCN的分割算法)。深度学习以一种具有多隐层的模型，用底层的输出作为高层的输入。从下到上是一个无监督学习的过程，它能够自动学习有用的特征，并将低级的特征表示为高级特征；从上到下是有监督的学习过程，通过带标签的数据对整个网络的参数进行优化、调整，使整个网络具有更好的特征学习能力。这种特征的学习和表示结构，对图像的形变、平移有很强的鲁棒性。这样刚好解决了医学图像特征不容易学习的难题，再结合传统的分类算法，将不同区域分割出来，标记出感兴趣的区域，最终完成图像的分割。

传统的基于CNN的分割方法：为了对一个像素分类，使用该像素周围的一个图像块作为CNN的输入，用于训练与预测，这种方法主要有几个缺点：1)存储开销大，例如，对每个像素使用15*15的图像块，然后不断滑动窗口，将图像块输入到CNN中进行类别判断，因此，需要的存储空间随滑动窗口的次数和大小急剧上升；2)效率低下，相邻像素块基本上是重复的，针对每个像素块逐个计算卷积，这种计算有很大程度上的重复；3)像素块的大小限制了感受区域的大小，通常像素块的大小比整幅图像的大小小很多，只能提取一些局部特征，从而导致分类性能受到限制。本实施例采用了FCN(全卷积网络)算法，该全卷积网络试图从抽象的特征中恢复出每个像素所属的类别，即从图像级别的分类进一步延伸到像素级别的分类。FCN主要原理在于用卷积操作替代了CNN中滑动窗口的操作，且用卷积层替代了CNN中在ReLU层后连接的全连接层，因此对输入的图像没有尺寸上的要求。具体说来，FCN对输入图像的每一个像素在输出上都有对应的判断标注，标明这个像素最可能是属于一个什么物体/类别，也就是每个像素所属的类，从而得到一个端到端的方法来实现图像分割，从医学图像中自动分割出需要关注的区域，从而忽略不需要的区域的干扰。

例如，实现基于FCN的分割算法可参考非专利文献“U-Net:ConvolutionalNetworks for Biomedical Image Segmentation”(“U-Net：用于生物图像分割的卷积网络”，以下简称U-Net)，在该文献中，修改并扩展了FCN的架构以使得其能够在非常少的训练图像的情况下使用并产生更精确的分割。FCN的主要思想是通过连续的层补充常规的收缩网络，其中通过上采样操作替代池化操作。因此，这些层增加了输出的分辨率。为了定位，来自收缩路径的高分辨率特征与经上采样的输出组合。连续的卷积层能够学习以基于该信息集合更精确的输出。而U-Net的架构中包括一个收缩路径和一个扩张路径。收缩路径遵循卷积网络的典型架构。其包括重复应用两个3x3卷积，接着是修正的线性单元(ReLU)和2x2最大池化操作以用于下采样。在每个下采样步骤对特征通道的数量加倍。在扩张路径中的每一步骤包括特征图的上采样，接着是2x2卷积，其使得特征通道的数量减半，以及两个3x3卷积，然后是ReLU。该网络总计具有23个卷积层。

图2示例性地示出了医学图像经基于深度学习的图像分割算法处理后得到的归一化图像。图中，黑色部分为非关注区域，其值均设为0，白色部分的像素点的值为1，即所有像素点做0-1归一化。

接下来，在步骤S102中，将归一化图像的像素矩阵与医学图像的像素矩阵相乘以得到重建前图像。所得到的重建前图像如图3所示。由此，在接下来的超分辨率重建步骤S103中，不需要再对医学图像的非关注区域进行处理，减轻的计算负荷。

步骤S103，利用基于深度学习的超分辨率算法对重建前图像进行超分辨率重建以得到重建后图像。

空间分辨率是关于图像质量的一种体现。高空间分辨率图像因其具有较高像素密度，图像质量高的特点，可提供关于成像场景更为丰富的细节信息。图像的超分辨率(Super-Resolution,SR)技术就是基于一幅或多幅关于成像场景的低分辨率图像生成关于该场景的高空间分辨率图像的过程，已经成为计算机视觉和图像处理领域的一个活跃的研究方向。对于超分辨率问题的分类，相关超分辨率重构算法可大概氛围分为三大类：基于插值的方法、基于重构的方法、基于学习的方法。深度学习技术最近显示出爆炸性的普及，已经有一些研究使用深度学习技术实现图像超分辨率。基于图像超分辨率的卷积神经网络，网络可以直接学习低分辨率和高分辨率图像之间的端对端映射，在优化之前几乎没有预/后处理。在医学方面，医院所用彩超、CT技术、核磁共振等都是通过成像来实现的，将深度学习技术应用在医学影像中，将低分辨率图像作为输入，并输出高分辨率图像，可以克服影像分辨率差所带来的影响，得到更高质量的图像，可帮助医生进行解读，做出准确的诊断，也有助于进一步的算法模型改进。

因此，在该步骤中，利用了基于深度学习的超分辨率算法对重建前图像进行超分辨率重建。

目前基于深度学习的超分辨率方法包括SRCNN，DRCN,ESPCN，VESPCN和SRGAN等。以SRCNN为例，方法大致为先进行特征提取，再将低分辨率空间通过非线性映射层映射到高分辨率空间，最后聚合出高分辨率图像，从而实现了直接用学习的方式完成从低分辨率图像到高分辨率图像的端到端映射，并减少了算法前后的优化工作。具体描述如下：

预处理：

对于单个低分辨率医学图像，使用双三次插值将其升级到所需的大小。将插值图像表示为Y。

目标(以损失函数最小来学习该目标，损失函数稍后描述)：

学习一个映射F，从Y恢复到尽可能类似于高分辨率图像X的图像F(Y)。

操作：

1)小块提取和表示：从图像Y提取小块，并将每个小块表示为高维向量，小块可以是部分重叠的。

2)非线性映射：将每个高维向量非线性地映射到另一高维向量，并将所得到的另一高维向量表示为高分辨率小块。

3)重建：聚集高分辨率小块以产生最终的高分辨率图像。

损失函数：

给定一组高分辨率图像{Xi}及其对应的低分辨率图像{Yi}，使用均方错误(MSE)作为损失函数:

其中n是训练样本的数量。

通过上述步骤S103中描述的基于深度学习的超分辨率算法，获得了经超分辨率重建后的医学图像。

此外，还可以使用上述的SRGAN算法来对重建前图像进行超分辨率重建。例如，可以参考Christian Ledig等发表的非专利文献“Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network”(“利用生成的对抗网络进行的图像真实的单个图像超分辨率”)，其将对抗网络应用到图像分割中，由于使用对抗训练，降低了过度拟合。

下面，如图4所示，提供了本发明一优选实施例的医学图像处理方法。该方法包括如下步骤：

S401，对医学图像进行标准化处理。

由于医学图像获取设备、获取技术及成像环境的不同，其大小、光照等有着显著区别。因此，在这一步骤中，将对同一类医学图像进行标准化处理，包括色彩标准化(colornormalization)、光照标准化(luminance normalization)等，从而一定程度上削减医学图像因外界原因而造成的差异性。从而，在之后的处理中，所得到的高分辨率的医学图像能够更好地应用于医学图像识别模型。根据不同类型的医学图像，需要设定不同的标准化参数。图5示出了对医学图像的标准化处理。左侧是处理前的图片，后侧是处理后的图片。

S402，利用基于深度学习的分割算法对医学图像进行分割以得到标注了关注区域的归一化图像。

S403，将归一化图像的像素矩阵与医学图像的像素矩阵相乘以得到重建前图像。

S404，利用基于深度学习的超分辨率算法对重建前图像进行超分辨率重建以得到重建后图像。

步骤S402～404的具体实现可参照上一实施例中步骤S101～S103的具体实现。由于该实施例对低质量医学图像进行色彩、亮度处理，一定程度上削减了医学图像因外界原因而造成的差异性，不仅可以帮助医生更好的进行诊断，也有助于图像识别模型的进一步优化。

接下来，在步骤S405中，提取重建后图像中的关注区域并将其显示出来。由于该重建后图像中的关注区域已经经过超分辨率重建处理，因此关注区域的分辨率高，可以直接提供给医生进行诊断。此外，非关注区域并未进行超分辨率重建处理，减轻了计算负荷，缩短了处理时间。替代地，也可以直接将步骤S404得到的重建后图片直接给医生诊断，从而省略步骤S405。

在步骤S406中，将步骤S404得到的重建后图像用于构建医学图像识别模型。由于对于医学图像按不同类别进行了不同的标准化处理，因此，能够确保构建出的鲁棒的医学图像识别模型。构建医学图像识别模型的具体方法可以包括但不限于支持向量机(SVM)、贝叶斯分类器、或者是颜色直方图和k近邻分类器等。

然后，在步骤S407中，将步骤S404得到的重建后图像输入到医学图像识别模型中，从而能够识别关注区域的类别和/或名称。

该医学图像识别模型是已经训练好的模型，如上文的医学图像识别模型或者是其他医学图像识别模型，从而能够对输入至其中的重建后图像自动检测或分类并输出检测或分类结果。如此，医生能够参考该医学图像识别模型给出的重建后图像的分类或名称。

上述步骤的顺序并不是固定的，在此仅为给出的示例。例如，如图所示，步骤405、406和407可以是并行执行，或者也可以顺序执行，或者可以择一或择二执行。

在下面的实施例中，将描述本发明实施例的一种医学图像处理设备。如图6所示，医学图像处理设备600包括存储器601和处理器602，存储器601存储计算指令，图像数据可以包括原始的待处理医学图像数据、处理中的各步骤所得到的图像数据、处理完成后得到的图像数据。图像数据可以存储在存储器601中，也可以通信传输到存储器601。计算指令可供处理器602读取并执行，用以实现本发明的医学图像处理方法的各个步骤。存储器601可以是任何类型的适当的存储器设备，诸如动态随机存取存储器设备(DRAM)、同步动态随机存取存储器设备(SDRAM)、双数据速率动态随机存取存储器设备(DDR SDRAM)和/或其他易失性存储器设备。

处理器602例如为可编程逻辑器件或通用处理器，通过执行计算指令以对医学图像进行以下处理：

利用基于深度学习的分割算法对医学图像进行分割以得到标注了关注区域的归一化图像；

将归一化图像的像素矩阵与医学图像的像素矩阵相乘以得到重建前图像；

利用基于深度学习的超分辨率算法对重建前图像进行超分辨率重建以得到重建后图像。

在一个优选实施例中，处理器602在执行对医学图像进行分割的指令之前，还执行对医学图像进行标准化处理的计算指令。标准化处理的计算指令包括色彩标准化的计算指令和/或光照标准化处理的计算指令。

此外，处理器602还可以执行提取重建后图像医学图像中的关注区域的计算指令。

医学图像处理设备600还可以包括显示器603，其用于将重建后图像中的关注区域显示出来。此外，显示器603还可以显示将重建后图像中的关注区域输入到医学图像识别模型中以识别关注区域的分类或名称。

医学图像处理设备600可以为单独的设备，如计算机设备，其能够通过与CT、MRI、超声成像设备等医学成像设备通信地耦合，来读取医学成像设备的图像数据，或者经由外部存储设备获取待处理的图像数据。医学图像处理设备600还可以是集成在医学成像设备上的一个模块。关于本发明实施例的医学图像处理设备的未详尽描述之处，请参考本发明实施例的医学图像处理方法。

尽管图中仅示出了一个关注区域，但本发明的方法和设备可以检测并获得多个关注区域，在显示器上显示，并且对每一个关注区域的类别和/或名称进行检测。

综上，本发明实施例提出了一种基于深度学习的低质量医学图像处理方法和能够实现上述方法的设备。为了克服医学图像获取设备、获取技术和成像环境所带来的影响，该方法/设备结合深度学习技术，对医学图像进行分割和高分辨率重建处理，得到高质量的病理图像。所得结果一方面可以帮助医生更好的进行图像解读，另一方面可用于医学图像自动识别模型的训练，从而提高识别精度。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种医学图像处理方法，包括：

利用基于深度学习的分割算法对医学图像进行分割以得到标注了关注区域的归一化图像；

将所述归一化图像的像素矩阵与所述医学图像的像素矩阵相乘以得到重建前图像；

利用基于深度学习的超分辨率算法对所述重建前图像进行超分辨率重建以得到重建后图像。

2.如权利要求1所述的医学图像处理方法，进一步包括

在对所述医学图像进行所述分割之前，对所述医学图像进行标准化处理。

3.如权利要求2所述的医学图像处理方法，其中

所述标准化处理包括色彩标准化和/或光照标准化处理。

4.如权利要求1所述的医学图像处理方法，进一步包括

提取所述重建后图像中的关注区域并将其显示出来。

5.如权利要求1～4中任一项所述的医学图像处理方法，进一步包括

将所述重建后图像用于构建医学图像识别模型；或者

将所述重建后图像输入到医学图像识别模型中，以识别所述重建后图像中的关注区域的类别和/或名称。

6.一种医学图像处理设备，包括存储器和处理器，所述存储器配置为存储计算指令，所述处理器通过执行所述计算指令以对医学图像进行以下处理：

利用基于深度学习的分割算法对医学图像进行分割以得到标注了关注区域的归一化图像；

将所述归一化图像的像素矩阵与所述医学图像的像素矩阵相乘以得到重建前图像；

利用基于深度学习的超分辨率算法对所述重建前图像进行超分辨率重建以得到重建后图像。

7.如权利要求6所述的医学图像处理设备，其中在对所述医学图像进行所述分割之前，所述处理器还执行对所述医学图像进行标准化处理的计算指令。

8.如权利要求7所述的医学图像处理设备，其中所述标准化处理的计算指令包括色彩标准化的计算指令和/或光照标准化处理的计算指令。

9.如权利要求6所述的医学图像处理设备，其中所述处理器还执行提取所述重建后图像医学图像中的关注区域的计算指令。

10.如权利要求6-9中任一项所述的医学图像处理设备，还包括：

显示器，其配置为将所述重建后图像中的关注区域显示出来。