CN113674838A - 医学图像处理装置、医学图像处理方法和记录介质 - Google Patents

Abstract

本发明提供医学图像处理装置、方法和记录介质，根据已有的医学图像的数据集，生成新的医学图像的数据集。医用图像处理装置具备：关键信息点生成机构，从已有的医学图像的数据集的图像提取表示该已有的医学图像的特征的特征点并使其位移以生成关键信息点；变形场生成机构，针对关键信息点，生成表示因特征点的位移而在关键信息点的周围产生的变形的变形场；以及数据集生成机构，基于所生成的变形场和关键信息点进行使已有的医学图像变形的处理，以生成新的医学图像的数据集。

Description

医学图像处理装置、医学图像处理方法和记录介质

技术领域

本发明涉及一种医学图像处理装置和医学图像处理方法，更具体地，涉及在医学图像领域中用于图像的数据增强的医学图像处理装置和医学图像处理方法。

背景技术

深度学习技术越来越多地被应用于图像、例如是医学图像的获取和处理。在基于深度学习技术的图像获取和处理中，训练深度学习模型时如何获取大量的图像数据集是关键性的课题。

发明内容

现有技术中的问题

现有技术中，为应对基于深度学习的图像处理中的数据集的不足，例如采用了基于标准的图像变换(image transformation)的数据增强(data augmentation)技术，针对已有图像标签(image label)来扩大数据集。这里的标准的图像变换例如包括旋转、高斯噪声、抖动、缩放、高斯模糊、修剪(仿射变换)等。

另外，近年来也提出了利用生成式对抗网络(GAN)进行图像模拟或合成来生成新数据集，从而对数据增强进行辅助的方法。

但是，标准的图像变换并不能丰富图像标签(image label)，也就是说，例如在医学图像领域，仅通过标准的图像变换只能在原有标签(例如疾病/病变/健康/疑似)基础上产生更多的相同标签的图像，但并不能生成新的标签类型的图像。而且，通过标准的图像变换所能产生的数据集的量也是有限的。另一方面，将GAN用于图像模拟与合成时，只能从原有标签来模拟或者合成非正常图像，虽然可以通过调整已有标签获得一定的多变性，但GAN技术本身仍然无法产生新的标签。另外，GAN中的生成器和判别器的机制需要大量的已有数据来训练模型，在已有数据较少的医学图像领域其应用存在局限性。

用于解决技术问题的手段

本发明为解决上述现有技术的问题而提出，其目的在于提供一种用于医学图像处理装置和医学图像处理方法，可以产生用于深度学习模型等的新的医学图像的数据集和新的标签，且并不需要大量的已有数据。

根据本发明的一个方面，提供了一种医学图像处理装置，根据已有的医学图像的数据集，生成新的医学图像的数据集，其特征在于，具备：关键信息点生成机构，从上述已有的医学图像的数据集的图像提取表示该已有的医学图像的特征的特征点并使其位移以生成关键信息点；变形场生成机构，针对上述关键信息点，生成表示因上述特征点的位移而在上述关键信息点的周围产生的变形的变形场；以及数据集生成机构，基于所生成的上述变形场和上述关键信息点进行使上述已有的医学图像变形的处理，以生成上述新的医学图像的数据集。

另外，根据本发明的另一方面，提供了一种医学图像处理方法，根据已有的医学图像的数据集，生成新的医学图像的数据集，其特征在于，包括如下步骤：关键信息点生成步骤，从上述已有的医学图像的数据集的图像提取表示该已有的医学图像的特征的特征点并使其位移以生成关键信息点；变形场生成步骤，针对上述关键信息点，生成表示因上述特征点的位移而在上述关键信息点的周围产生的变形的变形场；以及数据集生成步骤，基于所生成的上述变形场和上述关键信息点进行使上述已有的医学图像变形的处理，以生成上述新的医学图像的数据集。

另外，根据本发明的又一方面，提供了一种记录介质，存储有用于医学图像处理的计算机程序，该计算机程序根据已有的医学图像的数据集，生成新的医学图像的数据集，其特征在于，该计算机程序使计算机执行如下步骤：关键信息点生成步骤，从上述已有的医学图像的数据集的图像提取表示该已有的医学图像的特征的特征点并使其位移以生成关键信息点；变形场生成步骤，针对上述关键信息点，生成表示因上述特征点的位移而在上述关键信息点的周围产生的变形的变形场；以及数据集生成步骤，基于所生成的上述变形场和上述关键信息点进行使上述已有的医学图像变形的处理，以生成上述新的医学图像的数据集。

根据本发明，可以产生用于深度学习模型等的新的医学图像的数据集和新的标签，且并不需要大量的已有数据。

附图说明

图1是表示根据本发明第一实施方式的医学图像处理装置的结构框图；

图2是说明根据本发明第一实施方式的用于图像的数据增强的医学图像处理的流程图；

图3是说明根据本发明第一实施方式的脊柱侧弯医学图像处理中生成关键信息点的两种方法的示意图，其中图3A表示自动生成关键信息点的情况，图3B表示手动生成关键信息点的情况；

图4是说明根据本发明第一实施方式的脊柱侧弯医学图像处理中生成变形场以及利用变形场生成新的数据集的具体情况的示意图；

图5A是用于说明专利文献1的线性内插位移场的原理的图；

图5B是说明本发明的应用于关键信息点的多点变形场的原理的示意图；

图6是用于说明通过不同的参数σ获得不同特征的变形场的原理的图；

图7是用于说明本发明中获取变形场最佳参数的原理的图；

图8是说明根据本发明第一实施方式的脊柱侧弯医学图像处理中将所生成的变形场和关键信息点应用于已有数据集的图像以生成新数据集的具体情况的示意图；

图9是说明根据本发明第二实施方式的用于图像的数据增强的医学图像处理的流程图；

图10是说明根据本发明第二实施方式的用于定位MSP平面的五个关键信息点的图。

具体实施方式

本发明涉及一种用于图像的数据增强的医学图像处理装置，该医学图像处理装置能够通过独立的计算机等具有CPU(central process unit：中央处理器)的设备执行具有图像处理装置的各个功能的软件来实现，也可以作为能够执行医学图像处理装置的各个功能的电路而以硬件的方式实现。并且，本发明的医学图像处理装置也可以作为磁共振成像装置(MRI)等医学图像采集装置中的一部分而预先安装在以上的医学图像采集装置中。

以下，参照附图说明本发明的优选实施方式。

此外，在不同实施方式中，对于相同的部件使用相同的附图标记，并适当省略重复的说明。

<第一实施方式>

图1是表示根据本发明的第一实施方式的医学图像处理装置的结构框图。如图1所示，本发明的医学图像处理装置100用于根据已有的医学图像的数据集，生成新的医学图像的数据集。医学图像处理装置100具备：关键信息点生成机构10，从已有的医学图像的数据集的图像提取表示该已有的医学图像特征的特征点并使其位移以生成关键信息点；变形场生成机构20，针对关键信息点，生成表示因特征点的位移而在关键信息点的周围产生的变形的变形场；以及数据集生成机构30，基于所生成的变形场和关键信息点进行使已有数据集的图像变形的处理，以生成新的医学图像的数据集。

例如，本发明的已有的医学图像的数据集的图像是关于疾病的正常医学图像，新的医学图像的数据集的图像是关于该疾病的异常医学图像，生成的新的医学图像的数据集具有与已有的医学图像的数据集的标签不同的标签。从而根据本发明可以根据已有的医学图像的数据集产生用于深度学习模型等的新的医学图像的数据集和新的标签，且并不需要大量的已有数据。

以下结合图2和图3详细说明医学图像处理装置100所进行的医学图像处理。

图2是说明根据本发明的第一实施方式的用于图像的数据增强的医学图像处理的流程图。

如图2所示，第一实施方式的医学图像处理包括如下步骤：S100获取步骤，关键信息点生成机构10获取已有的医学图像的数据集。该获取的已有的医学图像的数据集可以是表示与某疾病相关的正常的组织器官的医学图像。S101关键信息点生成步骤，关键信息点生成机构10从所获取的已有的医学图像的数据集的图像提取表示该已有的医学图像特征的特征点并使其位移以生成关键信息点。这里所谓的关键信息点(Landmark)是指根据疾病的特征而位移了的(偏离了正常位置的)与疾病相关的解剖学上的特征点，例如可以是医学图像中的位置或者图像的一部分。S102变形场生成步骤，变形场生成机构20针对在S101中由关键信息点生成机构10生成的关键信息点，生成表示因特征点的位移而在关键信息点的周围产生的变形的变形场，关于变形场的详细内容以及步骤S102中如何生成变形场的细节将在下文中描述。S103数据集生成步骤，数据集生成机构30基于所生成的变形场和关键信息点进行使已有的医学图像变形的处理，以生成新的医学图像的数据集。

由于新的医学图像的数据集的图像是根据变形场生成的，与变形场相对应，因此只要变形场能反映特定的疾病引起的人体组织的变形的特点，所生成的新的医学图像的数据集的图像就是与该疾病的真实医学图像相似的所需要的疾病图像，而且通过引入变形场，所生成的疾病图像具备与已有的医学图像的数据集的正常图像不同的新的标签。由此，本发明可以产生用于深度学习模型等的新的医学图像的数据集和新的标签，且并不需要大量的已有数据。

以下以脊柱侧弯医学图像的图像处理为例，对本发明的第一实施方式进行说明。

脊柱侧弯在例如青春期人群中的发病率大概是2～4％。对于涉及脊柱侧弯的医学图像，患者的椎骨与椎间盘识别在实践中是一个非常有挑战性的任务，深度神经网络已被越来越多地用于解决如此复杂的图像识别的问题，以期实现可与人类医师媲美的识别精度。但是，另一方面，脊柱侧弯本身发病率并不高，因此与正常图像相比，可获取的已有的疾病图像的数据量非常有限。

例如，关键信息点生成机构10获取已有的正常脊柱的图像，提取表示该已有正常脊柱图像的特征的特征点并使其位移而生成关键信息点，变形场生成机构20针对关键信息点生成反映了脊柱侧弯引起的人体脊柱及其周围组织的变形的特点的变形场，数据集生成机构30基于所生成的变形场和关键信息点进行使已有的正常脊柱图像变形的处理，即可生成与真实的脊柱侧弯的医学图像相似的、且具备新的标签的医学图像，从而可以产生用于脊柱侧弯深度学习模型等的新的医学图像的数据集和新的标签，而并不需要大量的已有数据。

以下详细说明本发明在应用于脊柱侧弯医学图像处理时的具体情况。

图3是说明根据本发明第一实施方式的脊柱侧弯医学图像处理中生成关键信息点的步骤S101的两种方法的示意图。

如图3所示，根据本发明的医学图像处理方法，在已有数据集中生成关键信息点的方法至少包括通过正常图像和疾病图像之间的对准而自动提取特征点并使其位移从而生成关键信息点(图3A)、以及通过用户手动操作而提取特征点并通过对准使其移动从而生成关键信息点(图3B)这两种方法。

具体来说，如图3A所示，以人体脊柱的10节椎骨(图中的T1～T10，在其他附图中有时省略标注)为例，本发明可以通过对正常脊柱图像和已知的脊柱侧弯图像之间的自动对准，确定出T1～T10中的T2～T8的位置和角度发生了改变。进而，根据椎骨的形状和解剖学特点，将位置和角度发生了改变的T2～T8中最能反映上述改变的特征的点(这里是T2～T8的椎骨两侧的端点)作为特征点而提取，并使各个特征点产生与疾病(这里是脊柱侧弯)相对应的位移而生成关键信息点。

如图3B所示，本发明还可以仅根据正常脊柱图像，通过用户(如医师等)例如在人机界面上用鼠标对图像进行点击、拖拽操作等手动操作，生成符合疾病(这里是脊柱侧弯)特点的与疾病相对应的脊柱侧弯图像，提取特征点，进而通过对准使特征点位移而生成关键信息点。具体来说，对图中左侧的正常脊柱图像，用户首先在T1～T10中的T2、T8、T5创建部分特征点，这里的部分特征点可以是用户根据经验和疾病的特点判断的，例如是脊柱侧弯最易发生的脊柱部分的端点、中间点等，可根据具体的组织和所关注的疾病的实际情况变化。接着，用户通过在人机界面中用鼠标等针对上述部分特征点进行拖拽操作等使其移动而生成具有所需要的脊柱弯曲形态的脊柱侧弯图像。进而，和图3A中同样，通过对正常脊柱图像和用户手动生成的脊柱侧弯图像之间的对准，确定出T1～T10中的T2～T8的位置和角度发生了改变，从而将胸椎T2～T8的椎骨两侧的点作为特征点而提取，并使其产生图中的位移而生成关键信息点。

以下对变形场以及在步骤S102中如何生成变形场进行详细说明。

图4是说明根据本发明第一实施方式的脊柱侧弯医学图像处理中生成变形场以及利用变形场生成新的数据集的步骤S102和S103的具体情况的示意图。

图4左侧是已有数据集的正常脊柱图像，中间是S101中由关键信息点生成机构10生成的关键信息点以及针对这些关键信息点生成的变形场，右侧是将两者结合而生成的新数据集的脊柱侧弯图像。图4示出了椎骨T1～T10中的T2～T9的位置和角度发生了改变，并且为了图示清楚，将代表椎骨的矩形T2～T9的位移绘制为比脊椎实际的变形更大。

首先说明本发明将变形场应用于疾病图像生成的原理。

若生物体的一部分因疾病发生了位移(例如脊柱侧弯病人的脊柱偏离正常位置而发生了平移和旋转)，则疾病部分周围的组织也会随之发生相应的变形。在医学图像的深度学习中，如何使生成的用于训练的图像更接近真实疾病图像的变形成为关键性的课题。生物体的因疾病而发生了位移的疾病部分附近的真实医学图像具有如下特点，即：疾病部分位移时，周围组织将随之变形，该变形是非线性的，距位移点的距离越远变形越小，而超过一定距离后的变形则为零。本发明的发明人发现，这样的变形与点变形场(point warpingfield)的特点一致，因此本发明采用点变形场来对关键信息点周围的组织因关键信息点的位移而产生的变形建模。

单一的点变形场已被应用于对图像进行例如拉伸处理时的图像变形。已有研究(例如参见US8165425B2，以下称为专利文献1)将图像拉伸处理时拉伸点的位移与周围像素的变形建模为点变形场中的线性内插位移场(linear interpolated displacementfield)。

图5A是说明专利文献1的线性内插位移场的原理的图。如图所示，图像被分割为例如5*5＝25的多个块，当用户通过人机界面在图像上点击一个点(图中右下角的块，以下称为拖拽点)，拖动鼠标并在另一位置(以下称为释放点)释放鼠标时，连接释放点和拖拽点的向量是用户想要对图像局部施加的参考位移。以拖拽点为圆心半径为R的圆内的所有体素都将受到参考位移的影响，由此包含拖拽点的整个图像将发生图中右侧的拉伸变形。即，半径R以内的所有节点随拖拽点的移动而发生位移，位移的方向与参考位移的方向d平行，而位移幅度与d的模数成比例，并且遵循滚降函数(roll-off function)。该滚降函数是距拖拽点的距离x的函数，其函数值随着距离x变大而变小，且在距离x超过半径R之后为零。

本发明的发明人发现，若将医学图像中的特征点视作上述拖拽点，将特征点由于疾病而发生的偏离正常位置的位移视作上述拖拽动作引起的参考位移，则同样可以利用变形场对由特征点的位移而导致的关键信息点周围组织的变形建模。

在本发明中关键信息点(特征点)有多个，例如在脊柱侧弯中至少每个椎骨有左右两个关键信息点，且脊柱侧弯发生的是多节椎骨的旋转和移动，就是说本发明需要对多个关键信息点发生位移导致周围组织的变形进行建模。图5B是说明本发明的应用于多个关键信息点的多点变形场的原理的示意图。需要注意的是该图中为简便起见只示出了关键信息点和关键信息点位移前的情况，省略了相应产生的拉伸变形。如图所示，在关键信息点为多个(图5B中右侧)时，一些点将受到多个点变形场的影响，此时利用多个关键信息点(图中示出了2个)各自的点变形场的叠加即可获得多个点变形场引起的变形。

根据以上的原理，本发明采用变形场(deformation field)来建立疾病周围的变形部分的数学模型，通过将变形场和关键信息点应用于正常医学图像来得到疾病医学图像。

即，变形场生成机构20，针对由关键信息点生成机构10生成的关键信息点生成表示因特征点的位移而在关键信息点的周围产生的变形的变形场，数据集生成机构30基于由变形场生成机构20所生成的变形场和由关键信息点生成机构10生成的关键信息点进行使图4中左侧的正常脊柱图像变形的处理，从而生成图4中最右侧的表示脊柱侧弯图像的新的数据集。

以下详细说明生成变形场的具体情况。

如上所述，本发明采用滚降函数(roll-off function)作为变形场的数学模型。该滚降函数是距位移点(关键信息点)的距离x的函数，且函数值随着距离x变大而变小，在距离x超过规定数值R之后为零。

在确定了滚降函数作为变形场的数学模型后，如何选择合适的滚降函数的参数(变形场参数)成为关键。为此，本发明提出了在选择变形场的参数时针对滚降函数应用表示图像间的相似程度的图像相似度度量，求取遍历参数下的图像相似度度量的最大值来获得滚降函数的最佳参数，从而能以合理的运算量获得与真实疾病图像足够接近的图像。

符合上述特点的滚降函数的种类有很多，下面以高斯函数为例说明本发明的变形场参数的具体选择过程。

多元高斯分布概率密度函数(PDF)的方程式如下：

其中p是概率密度函数，p的三个参数中：

x＝是d维的列向量；

μ＝是d维x的均值列向量；

Σ是d×d维的x的协方差矩阵。

当考虑简化、正态、各向同性的二维高斯函数时，如图6所示，高斯分布的二维图形即呈现出了变形场的特征。

此时高斯函数的两个参数μ和Σ将变为：

其中σ是x的方差。

于是，如图6所示，选择不同的σ即可获得不同的变形场。以σ＝1为标准状态时，σ更大(例如为2)，则变形的范围变得更大，但变形的幅度变小，相反σ更小时(例如为0.6)则变形范围变小而幅度更大。利用简化、正态、各向同性的二维高斯函数，通过一个参数σ即可获得符合变形场特征的不同的变形效果，因此选择最佳的σ即可获得最佳变形场，进而获得与真实疾病图像最为接近的疾病图像。

高斯函数仅是本发明的滚降函数的一个例子，本发明当然不限于高斯函数，例如采用辛普森分布函数也可以获得同样的效果。

图7进一步示出本发明中如何获取变形场的最佳参数σ的原理。

为了获取最佳参数σ，本发明引入了图像相似度度量和参数遍历，对滚降函数应用图像相似度度量，求取遍历参数下的图像相似度度量的最大值来获得滚降函数的最佳参数。即，利用如下公式，求取在σ从σ1遍历至σ2的区间图像相似度度量能取最大值时的σ。

其中Ir是真实的疾病图像；

I’(σ)是通过变形场获得的疾病图像；

S(Ir,I’(σ))是表示Ir和I’(σ)之间的图像相似度度量的函数；

argmax表示取最大值的函数。

图7中，I是本发明中的已有正常医学图像；σ代表变形场；I’(σ)是通过将变形场应用于已有正常医学图像而获得的疾病图像；Ir是真实的疾病图像。本发明通过求取在σ从σ1遍历至σ2的区间，Ir和I’(σ)之间的图像相似度度量取得最大值S_max时的σ，从而获取了最佳的参数σ。

本发明中的上述图像相似度度量函数S可以利用本领域公知的任何图像相似度度量，例如：归一化互相关(Normalized Cross Correlation)、图像的熵(Entropy)、互信息(Mutual information)、梯度相关(Gradient Correlation)、图案强度(PatternIntensity)、梯度差分(Gradient Difference)等。

图像相似度度量函数当然还可以通过视觉打分来实现。向用户(例如医师)显示不同变形场参数下所生成的疾病图像，由用户分别对产生的图像进行打分，以选择出对应的最佳参数。

所选择的最佳参数σ可以是一个值，也可以是多个值。事实上，例如脊柱侧弯根据脊柱弯曲角度的不同可以分为轻微(10～25°)、中等(26～40°)、严重(40°以上)等不同的疾病程度，由于多点变形场中各个点变形场相互之间的影响，不同疾病程度下的组织变形也是不一样的，因此可以通过多个最适合的变形场参数来分别对应不同的疾病程度，根据疾病的程度不同选择多个σ值中的一个。具体来说，根据预先获得的疾病特点，通过关键信息点的分布判断出疾病的程度，进而根据疾病的程度从多个最佳参数中选择对应的最佳参数σ。在以高斯函数作为变形场的函数时，如上所述，由于以σ＝1为标准状态时，在σ更大(例如为2)时变形的范围更大但变形的幅度变小，相反σ更小时(例如为0.6)则变形范围变小但幅度更大，因此以脊柱侧弯为例，若中等程度的脊柱侧弯对应于标准的最优参数σ，则更小的最优参数σ适于严重的脊柱侧弯，更大的最优参数σ适用于轻微的脊柱侧弯。

σ的多个值例如可以这样获得，求取出一个最佳σ作为中等程度的脊柱侧弯的参数后，分别用σ+规定值和σ-规定值来获得离散的多个值或者连续的值的范围。

这样，通过σ的多值化可以获得与疾病程度对应的更接近真实图像的疾病图像，也可以产生更多的标签。

以上是对变形场以及在步骤S102中如何生成变形场的详细说明。

在获得了变形场之后，如图8所示，在S103数据集生成步骤中，将所生成的关键信息点和变形场应用于多个已有数据集的图像，对正常图像执行多点变形，生成新的数据集的疾病图像。

根据第一实施方式，通过关键信息点以及针对关键信息点的变形场来对例如脊柱侧弯中的脊柱及其周围组织的变形建模，并且通过图像相似度度量和遍历参数选择最佳的变形场参数，因此，仅根据正常的医学图像，通过合理的运算量即可生成与真实疾病图像非常接近的大量的疾病图像，获得更多的图像标签。

另外通过对应疾病的程度选择不同的最佳变形场参数，可以生成与疾病程度对应的且更接近真实疾病图像的图像。

<第二实施方式>

以下结合图9～图10，以人脑矢状面偏差图像的生成为例说明本发明的第二实施方式。

人脑矢状面(Mid-Sagittal Plane,MSP)的可靠识别对于大脑图像的对准、对称分析和分组学习是非常关键的。临床上，所期望的MSP的定位估计的误差需要控制在1弧度左右，如此小的MSP偏差的检测是非常具有挑战性的任务。

导致MSP偏差的疾病情形有脑肿瘤、脑部感染、代谢紊乱、脑外伤、围产期脑损伤等。这些情形的发生率均不高，因此用于训练的不同情形下的MSP偏差图像的获得是非常困难的。

通过本发明的第二实施方式，根据已有的正常MSP图像及在该已有的正常MSP图像上的关键信息点，生成反映了MSP偏差引起的人脑组织变形的特点的变形场，基于所生成的变形场和关键信息点进行使已有的正常MSP图像变形的处理，即可以生成与真实的MSP偏差的医学图像相似的、且具备不同的新的标签的医学图像，从而可以产生用于MSP偏差深度学习模型等的大量的疾病图像和新的标签，且不需要大量的已有数据。

图9是根据本发明第二实施方式的用于MSP偏差图像的数据增强的图像处理的流程。

如图9所示，第二实施方式的图像处理方法包括如下步骤：S200获取步骤，获取医学图像的已有数据集。该获取的已有数据集例如是表示正常的大脑的3D医学图像。S201关键信息点生成步骤，在所获取的已有数据集的大脑图像中提取三维空间中的特征点并使其位移而生成三维关键信息点。这里所谓的关键信息点(Landmark)是指脑解剖学上的特征点。S202变形场生成步骤，根据在S201中生成的关键信息点生成用于进行本发明的MSP偏差图像的数据增强的图像处理的3D变形场。S203数据集生成步骤，根据所生成的关键信息点和变形场，进行使已有数据集的大脑图像变形的处理，以生成新的数据集。

S200和第一实施方式中图2中的步骤S100相比，除了获取的对象不同之外其余均相同，在此省略详细说明。

S201的关键信息点生成步骤和第一实施方式中图2中的步骤S101相似，区别点在于S201中如图10所示提取用于定位MSP平面的3D空间中的五个特征点。

图10中的五个特征点说明如下：

ACC：前扣带回；

PCC：后扣带回；

CG：筛骨鸡冠(crista galli)

STEM：脑干

OB：后枕骨

由于导致MSP偏差的上述疾病情形中的大部分在解剖学上会表现为上述五个特征点中的至少某个发生位移，因此利用上述五个特征点位移后的关键信息点即可对MSP偏差的疾病图像进行标注。

与第一实施方式中图2中的步骤S101中关键信息点的生成是在二维平面内进行不同的是，S201的关键信息点生成是在三维空间进行的。除此之外与S101相同，因此省略S201的详细说明。

S202的变形场生成步骤也同样，和第一实施方式中图2中的步骤S102的区别在于变形场是三维的。即，第二实施方式中采用例如三维高斯函数来对MSP平面的三维变形进行建模。

此时当考虑正态、各向同性的三维高斯函数时，高斯函数的两个参数μ和Σ将变为：

与第一实施方式同样，为了获得合适的参数σ，引入图像相似度度量和参数遍历。即，利用如下公式，求取在σ从σ1遍历至σ2的区间图像相似度度量函数能取最大值时的σ。

式2-3和式1-3相同，就是说，第二实施方式的最佳参数的选择与第一实施方式相同，因此省略其详细说明。

根据第二实施方式，本发明的已有数据集和所产生的新数据集均是3D图像的数据集，此时，关键信息点生成机构提取三维空间中的特征点并使其位移而生成三维的关键信息点，用于变形场建模的函数(例如上述高斯函数)是三维函数，变形场生成机构针对三维的关键信息点生成三维的变形场。

根据第二实施方式，除了能取得第一实施方式的效果之外，还可以使本发明用于三维医学图像的数据增强的处理。

<其他变形例>

本发明并不限于以上说明的实施方式，还可以进行多种变形。

例如，在以上实施方式中，在关键信息点生成步骤中可以一次生成多组的关键信息点(每组可以分别包含多个关键信息点)，此时，用户可以预先设置关键信息点的移动范围和步长，通过与上述实施方式同样的操作生成第一组关键信息点并使其移动后，利用移动的范围和步长自动生成多组关键信息点并进行相应的位移。进而，利用所生成的多组关键信息点，通过与上述实施方式同样的操作，可以一次生成多组疾病图像，这样本发明可以生成更多的疾病图像的数据集。

此外，在以上实施方式中，以脊柱侧弯和脑MSP平面偏差为例进行了说明，但本发明还能够用于对其他器官和疾病的医学图像进行图像增强，能够依据解剖学和医学特点来进行相应的关键信息点和变形场的生成。

本发明的图像处理装置也可以作为能够实现各个实施方式中所说明的功能的电路安装在医用设备中，也可以作为能够使计算机执行的程序，储存于磁盘(软盘、硬盘等)、光盘(CD－ROM、DVD、BD等)、光磁盘(MO)、半导体存储器等存储介质而发布。

而且，基于从存储介质安装于计算机的程序的指示在计算机上运转的OS(操作系统)、数据库管理软件、网络软件等的MW(中间件)等也可以执行用于实现上述实施方式的各处理的一部分。

以上说明了本发明的几个实施方式，但这些实施方式是作为例子而提出的，并不是想限定发明范围。这些新的实施方式可以以其他各种各样的方式实施，可以在不脱离发明主旨的范围内进行各种各样的省略、置换和变更。这些实施方式或其变形包含在发明范围或主旨内，并且也包含在权利要求范围中记载的发明及其均等的范围内。

Claims (15)

1.一种医学图像处理装置，根据已有的医学图像的数据集，生成新的医学图像的数据集，其特征在于，具备：

关键信息点生成机构，从上述已有的医学图像的数据集的图像提取表示该已有的医学图像的特征的特征点并使其位移以生成关键信息点；

变形场生成机构，针对上述关键信息点，生成表示因上述特征点的位移而在上述关键信息点的周围产生的变形的变形场；以及

数据集生成机构，基于所生成的上述变形场和上述关键信息点进行使上述已有的医学图像变形的处理，以生成上述新的医学图像的数据集。

2.如权利要求1所述的医学图像处理装置，其特征在于，

上述变形场生成机构，通过对上述变形场的数学模型应用表示图像间的相似程度的图像相似度度量生成上述变形场。

3.如权利要求2所述的医学图像处理装置，其特征在于，

上述数学模型是基于滚降函数的数学模型，该滚降函数是距上述关键信息点的距离x的函数，且函数值随距离x变大而变小，在距离x超过规定数值R之后为零，

上述变形场生成机构，通过对上述滚降函数应用图像相似度度量，求取能获得上述图像相似度度量的最大值的参数作为上述滚降函数的最佳参数，由此生成上述变形场。

4.如权利要求3所述的医学图像处理装置，其特征在于，

上述滚降函数是正态的各向同性的高斯分布概率密度函数。

5.如权利要求3所述的医学图像处理装置，其特征在于，

上述最佳参数为多个，

该多个最佳参数分别对应于疾病的程度。

6.如权利要求1～5中任一项所述的医学图像处理装置，其特征在于，

上述关键信息点生成机构，通过正常图像和已有的疾病图像之间的图像对准，自动提取上述特征点并使其位移以生成上述关键信息点。

7.如权利要求1～5中任一项所述的图像处理装置，其特征在于，

上述关键信息点生成机构，通过用户手动操作提取上述特征点，并通过正常图像和已有的疾病图像之间的图像对准使其位移以生成上述关键信息点。

8.如权利要求1～7中任一项所述的医学图像处理装置，其特征在于，

上述关键信息点生成机构提取多个特征点并使其分别位移以生成多个关键信息点，

上述变形场生成机构针对上述多个关键信息点分别生成上述变形场，

上述数据集生成机构将所生成的多个上述变形场叠加后进行使上述已有的医学图像变形的处理，以生成上述新的医学图像的数据集。

9.如权利要求4～8中任一项所述的医学图像处理装置，其特征在于，

上述已有的医学图像的数据集和上述新的医学图像的数据集是3D图像的数据集，

上述高斯分布概率密度函数是三维高斯分布概率密度函数，

上述变形场生成机构针对上述关键信息点生成3D的变形场。

10.如权利要求1～9中任一项所述的医学图像处理装置，其特征在于，

上述关键信息点生成机构生成多组的上述关键信息点，

上述数据集生成机构，基于所生成的多组的上述关键信息点和上述变形场进行使上述已有的医学图像变形的处理，以生成多组的上述新的医学图像的数据集。

11.如权利要求1～10中任一项所述的医学图像处理装置，其特征在于，

上述关键信息点是医学图像中的位置或医学图像的一部分。

12.如权利要求1～11中任一项所述的医学图像处理装置，其特征在于，

上述数据集生成机构，生成具有与上述已有的医学图像的数据集的标签不同的标签的上述新的医学图像的数据集，上述标签表示上述医学图像的属性。

13.如权利要求1～12中任一项所述的医学图像处理装置，其特征在于，

上述已有的医学图像的数据集的图像是关于疾病的正常医学图像，上述新的医学图像的数据集的图像是关于上述疾病的异常医学图像。

14.一种医学图像处理方法，根据已有的医学图像的数据集，生成新的医学图像的数据集，其特征在于，包括如下步骤：

关键信息点生成步骤，从上述已有的医学图像的数据集的图像提取表示该已有的医学图像的特征的特征点并使其位移以生成关键信息点；

变形场生成步骤，针对上述关键信息点，生成表示因上述特征点的位移而在上述关键信息点的周围产生的变形的变形场；以及

数据集生成步骤，基于所生成的上述变形场和上述关键信息点进行使上述已有的医学图像变形的处理，以生成上述新的医学图像的数据集。

15.一种记录介质，存储有用于医学图像处理的计算机程序，该计算机程序根据已有的医学图像的数据集，生成新的医学图像的数据集，其特征在于，该计算机程序使计算机执行如下步骤：

关键信息点生成步骤，从上述已有的医学图像的数据集的图像提取表示该已有的医学图像的特征的特征点并使其位移以生成关键信息点；

变形场生成步骤，针对上述关键信息点，生成表示因上述特征点的位移而在上述关键信息点的周围产生的变形的变形场；以及

数据集生成步骤，基于所生成的上述变形场和上述关键信息点进行使上述已有的医学图像变形的处理，以生成上述新的医学图像的数据集。

Images