CN106651930A - 一种多层次流形学习医学图像颜色感知方法 - Google Patents

Abstract

本发明公开了一种多层次流形学习医学图像颜色感知方法，以解决现有技术中存在计算量过大，颜色匹配不佳等问题。根据黑白医学图像，获得多个方向的梯度特征图像；根据底层所有像素之间的相似性，选择各个区域的代表点，建立由底至顶的层次结构并传递多个层次之间代表点的相似性；对最顶层的代表点用流形学习进行维度约简并尽量保持代表点之间的几何结构，得到高维代表点像素的3维坐标；对代表点的3维坐标进行插值，返回得到所有像素点的3维坐标；根据给定部分像素颜色信息，传递颜色信息，得到所有像素点的颜色感知。采用本发明的技术方案，既快速实现医学图像的颜色感知、突出图像区域结构，同时避免色彩不匹配等问题。

Description

一种多层次流形学习医学图像颜色感知方法

技术领域

本发明涉及图像处理领域，尤其涉及一种多层次流形学习医学图像颜色感知方法。

背景技术

现有的医学影像数据，大部分都是以灰度图像呈现。即使现有的彩色医学图像，也需要病患付出昂贵的经济代价。然而，人眼对彩色变化的敏感程度是远远高于灰度变化程度的，单纯的黑白图像由于失去颜色信息而缺少画面表现力。比较于灰度图像，彩色图像拥有更强的表现力和更生动的可视化效果。如果以计算机高速运算为依托，予以灰度医学图像颜色感知，不仅可以改善医学图像的视觉效果，提高分辨能力还可以突出医学图像特征，显示出隐藏的病变部分。可以在某些场景下提供更多更丰富的临床信息。

根据医学图像的原始数据特征和数据结构进行颜色感知，不同于传统的“手工着色”或者颜色迁移方法。该方法依赖于计算机的高效运算不仅可以大大提高医学图像颜色感知的效率；同时不需要参考颜色模板，仅仅根据图像本身的数据结构，可以有效避免出现颜色不匹配或者颜色不合适的情况。进而，简便而高效的颜色感知技术在医学和工业都存在重大应用。

发明内容

本发明的主要目的是提供一种多层次流形学习医学图像颜色感知方法，用以解决现有技术中效率低下、区域结构不明显和色彩不匹配的问题。

为了实现上述目的本发明采用如下技术方案：一种多层次流形学习医学图像颜色感知方法，包括以下步骤：

1）根据黑白医学图像，利用sobel算子获得0°、45°、90°和135°四个方向的梯度特征图像。

2）对步骤1）中所述梯度特征图像，根据底层所有像素之间的相似性选择该层中各区域的代表点，并将该代表点作为下一层的候选点，进入下一层的代表点选择，以此类推构建由底至顶的多层次结构，该多层次结构用相似矩阵表示，并在各层间传递代表点的相似性。

3）对顶层代表点用经典流形学习方法进行降维处理，并保留代表点之间的几何结构，得到顶层代表点的3维坐标。

4）对顶层代表点的3维坐标进行插值计算返回到底层的所有像素点，得到所有像素点的3维坐标。

5）根据步骤4）中所述所有像素点的3维坐标通过旋转映射到RGB颜色空间，得到有颜色感知的医学图像。

上述黑白医学图像包括由核磁共振(MRI)、计算机断层扫描(CT)、正电子发射计算机断层显像(PET)和单光子放射计算机断层显像(SPECT)获得的医学图像。

以上方案中sobel算子为：

，，，分别表示水平梯度模板、45°梯度模板、垂直梯度模板以及135°梯度模板。

将，，和作为核分别与黑白医学图像中的每一个像素做卷积运算，得到四个方向的梯度特征图像。

步骤2）所述多层次结构的构建过程为：

a）采用高斯核函数计算底层所有像素之间的相似性；

b）任意两个像素之间的相似性和其中一个像素与其余所有像素的最大相似性的比值大于预设阈值，，认定这两个像素是强连接的；

c）选择代表点时，代表点与非代表点之间满足所述强连接；

d）选择出来的代表点作为下一层的候选点，计算所有候选点之间的相似性，选择代表点，以此构建多层次结构，直到选择出的代表点的平均聚合程度大于预设阈值，在此过程中，利用跨层次插值矩阵传递代表点之间的相似性。

上述方案中，所述跨层次插值矩阵的构造原则为：对每一层选择出的代表点，如果任意两个代表点之间的相似性在下一层存在，只需要保留它们之间的相似性；如果两个代表点之间的相似性在下一层不存在，这两个代表点之间的相似性由它们之间所有可达路径的平均值决定。平均聚合程度是相似矩阵正则化后前三个最大特征值之和与该层代表点个数的比值。

在上述方案中，所述对顶层代表点的3维坐标进行插值计算过程中利用的是跨层次插值矩阵。

具体地，所述对顶层代表点用经典流形学习方法进行降维处理流程如下：

a)计算顶层所有代表点之间相互的距离；

b)将代表点之间的距离平方双中心化；

c)将双中心化后的距离奇异值分解，得到分解后最大的3个特征值以及与该3个特征值对应的特征向量，则代表点的3维坐标表示为：。

具体地，步骤5）所述得到有颜色感知的医学图像的具体过程为：首先给定3个不同像素的RGB颜色空间信息，找到旋转尺度，使得3个像素的颜色信息以及与他们对应的3维坐标之间尽可能的接近，其余所有像素的3维坐标向这个旋转尺度旋转，即得到所有像素点的颜色感知。

具体地，所述将代表点之间的距离双中心化的计算方法是：将代表点之间的距离左乘和右乘一个中心化矩阵，，其中表示单位阵，表示一个全1的行向量，表示代表点的个数。

具体地，所述旋转尺度计的算方法是：首先奇异值分解给定颜色空间信息和对应坐标的协方差，其中为将协方差进行奇异值分解得到的左右特征向量，且满足，为对角阵，表示单位阵，表示协方差，当协方差矩阵的行列式大于等于0时，对角阵为单位阵，即所有像素3维坐标与已知颜色信息旋转方向相同；否则，对角阵为，即3维坐标向相反的方向旋转。

综上，本发明采用以上技术方案可以具有以下的创新和优势：

本发明提出的一种多层次流形学习医学图像颜色感知方法，计算效率高，方法稳定性强。

本发明提出的一种多层次流形学习医学图像颜色感知方法，流程清晰，分工明确，独立性强。所得结果颜色鲜艳，图像区域结构明显。

本发明提出的一种多层次流形学习医学图像颜色感知方法，人工参与少，尊重原始数据的流形结构，有助于提高颜色感知效率以及避免引入错误的人为信息。

附图说明

图1为本发明具体实施方式的流程图；

图2为本发明具体实施方式的选择代表点过程示意图。

具体实施方式

本发明提出的一种多层次流形学习医学图像颜色感知方法是基于提高颜色感知效率、突出图像区域结构以及解决色彩不匹配等问题提出的。通过比较底层所有像素点之间的相似性，选择最具有区域代表性的像素点作为代表点建立多层次结构；对代表点用流形学习方法降维并尽可能保持代表点之间的几何结构；将代表点通过插值返回得到所有像素点的3维坐标；最后采用颜色传递方法完成图像的颜色感知使得相似的像素在感知上有相似的颜色。颜色传递的通常过程是对一些像素点提供颜色线索，其余像素根据这些已知颜色信息像素的相似性进行颜色传递，扩大颜色的色域和体积，使得整幅图像有颜色信息。

结合图1和图2，下面详细说明本发明的技术方案。

步骤一、获取多方向的梯度特征图像

由医学设备采集来的黑白图像数据，获得4个方向、、、的梯度，这里采用sobel算子计算：

使用sobel算子时，把检测模板作为核与图像中的每一个像素做卷积运算，得到多方向梯度特征图像。

步骤二、图像预处理

为了减小不必要的计算，将黑白图像数据以及4个方向的梯度图像去除背景点，只留下目标区域。并利用高斯核函数求解底层像素与之间的相似性，具体公式为：

其中和表示像素 与 的K近邻集合，为核函数参数。

步骤三、构建自底到顶多层次结构

本步骤是为了减小计算量，突出医学图像的区域结构

1、本发明的在相似区域选择代表点，主要依据像素点之间的强连接性。而像素之间满足强连接性是由以下公式决定：。其中表示两个像素与之间通过高斯函数计算的相似性；为0到1之间一个小数，表示最大相似性的比例系数；即任意两个像素强连接满足条件是两个像素之间的相似性要大于等于其中一个像素与其他所有像素相似性最大值一个比例。如果任意两个像素满足强连接性，其中一个像素作为这一层的代表点，另一个像素作为相似像素直接被忽略。

2、根据每一层选择出来的代表点，计算跨层次插值矩阵。跨层次插值矩阵的本质是针对那些未被选中的点，计算的方法是对每一层选择出的代表点，如果任意两个代表点之间的相似性在下一层存在，只需要保留它们之间的相似性；如果两个代表点之间的相似性在下一层不存在，这两个代表点之间的相似性由它们之间所有可达路径的平均值决定。

3、本发明的各层代表点相似性的传递，根据构建的跨层次插值矩阵，即可得到各层之间的相似性，其中表示选择出的代表点之间的相似性，表示该层的跨层次插值矩阵，表示上一层所有的代表点之间的相似性。

4、本发明中，当代表点的平均聚合程度大于阈值T，就停止构建层次结构。平均聚合程度的度量方法是相似矩阵正则化后前三个最大特征值之和与该层代表点个数的比值。

步骤四、顶层代表点维数约简

本发明中，像素的维度是大于感知的维度，考虑到像素之间的流形结构以及后续的颜色感知，对顶层代表点用经典流形学习方法MDS[1]降维，降维后尽可能保留像素之间的距离以及几何结构。降维的主要流程如下：

a)计算顶层所有代表点之间相互的距离；

b)将代表点之间的距离平方双中心化；

c)将双中心化后的距离奇异值分解，得到分解后最大的3个特征值以及对应的特征向量，代表点3维表示为：。

使用MDS计算代表点之间相互距离时，通过逐层传递所有代表点之间相似性，只需要反向对数求解代表点之间的相似性即可近似得到代表点之间的距离，即，其中表示顶层代表点之间的相似性。

步骤五、返回所有像素点低维坐标

得到顶层代表点的低维坐标后，通过同样的跨层次插值矩阵，顶层代表点插值返回到底层的所有像素点，得到底层所有像素点的低维坐标。这样可以大大地减少计算时间，降低计算量。

步骤六、颜色感知

本发明的颜色感知是通过将所有像素的维度降到可以感知到的维度内时，所有像素的低维坐标通过旋转映射到RGB颜色空间，扩大颜色的色域和体积，得到有颜色感知的医学图像。首先需要给定三个不同像素的RGB颜色空间信息，找到旋转尺度使得颜色信息和对用像素的低维坐标之间的相关性最大。其余像素的低维坐标向这个旋转尺度旋转，使得相似的像素之间有着相似的颜色，不同的像素之间有不相似的颜色。

旋转尺度的计算方法是为使部分像素给定的RGB颜色空间信息尽可能接近对应的低维坐标，首先奇异值分解给定颜色信息和对应坐标的协方差，其中为将协方差进行奇异值分解得到的左右特征向量，且满足，为对角阵。当协方差矩阵的行列式大于等于0时，对角阵为单位阵，即所有像素3为坐标与已知颜色信息旋转方向相同；否则，对角阵为，即3维坐标向相反的方向旋转。

显然，以上所述为本发明的较佳实例，并不用于限定本发明的保护范围。凡在本发明的原则之内，任何熟悉本领域的技术人员作出的修改、同等替换和改进，都应视为包含在本发明的保护范围内。

[1] J.B. Kruskal, Multidimensional scaling by optimizing goodness offit to a nonmetric hypothesis, Psychometrika. 29 (1) (1964): 1-27。

Claims (10)

1.一种多层次流形学习医学图像颜色感知方法，包括以下步骤：

1）根据黑白医学图像，利用sobel算子获得0°、45°、90°和135°四个方向的梯度特征图像；

2）对步骤1）中所述梯度特征图像，根据底层所有像素之间的相似性选择该层中各区域的代表点，并将该代表点作为下一层的候选点，进入下一层的代表点选择，以此类推构建由底至顶的多层次结构，该多层次结构用相似矩阵表示，并在各层间传递代表点的相似性；

3）对顶层代表点用经典流形学习方法进行降维处理，并保留代表点之间的几何结构，得到顶层代表点的3维坐标；

4）对顶层代表点的3维坐标进行插值计算返回到底层的所有像素点，得到所有像素点的3维坐标；

5）根据步骤4）中所述所有像素点的3维坐标通过旋转映射到RGB颜色空间，得到有颜色感知的医学图像。

2.根据权利要求1所述一种多层次流形学习医学图像颜色感知方法，其特征在于：所述黑白医学图像包括由核磁共振(MRI)、计算机断层扫描(CT)、正电子发射计算机断层显像(PET)和单光子放射计算机断层显像(SPECT)获得的医学图像。

3.根据权利要求1所述一种多层次流形学习医学图像颜色感知方法，其特征在于：所述sobel算子为：

、、、分别表示水平梯度模板、45°梯度模板、垂直梯度模板以及135°梯度模板；

将，，和作为核分别与黑白医学图像中的每一个像素做卷积运算，得到四个方向的梯度特征图像。

4.根据权利要求1所述一种多层次流形学习医学图像颜色感知方法，其特征在于：步骤2）所述多层次结构的构建过程为：

采用高斯核函数计算底层所有像素之间的相似性；

任意两个像素之间的相似性和其中一个像素与其余所有像素的最大相似性的比值大于预设阈值，，认定这两个像素是强连接的；

c)选择代表点时，代表点与非代表点之间满足所述强连接；

d)选择出来的代表点作为下一层的候选点，计算所有候选点之间的相似性，选择代表点，以此构建多层次结构，直到选择出的代表点的平均聚合程度大于预设阈值，在此过程中，利用跨层次插值矩阵传递代表点之间的相似性。

5.根据权利要4所述一种多层次流形学习医学图像颜色感知方法，其特征在于：所述跨层次插值矩阵的构造原则为：对每一层选择出的代表点，如果任意两个代表点之间的相似性在下一层存在，只需要保留它们之间的相似性；如果两个代表点之间的相似性在下一层不存在，这两个代表点之间的相似性由它们之间所有可达路径的平均值决定。

6.根据权利要求4所述一种多层次流形学习医学图像颜色感知方法，其特征在于：所述平均聚合程度是相似矩阵正则化后前三个最大特征值之和与该层代表点个数的比值。

7.根据权利要求4或5所述一种多层次流形学习医学图像颜色感知方法，其特征在于：所述对顶层代表点的3维坐标进行插值计算过程中利用的是跨层次插值矩阵。

8.根据权利要求1所述一种多层次流形学习医学图像颜色感知方法，其特征在于：所述对顶层代表点用经典流形学习方法进行降维处理流程如下：

a)计算顶层所有代表点之间相互的距离；

b)将代表点之间的距离平方双中心化；

c)将双中心化后的距离奇异值分解，得到分解后最大的3个特征值以及与该3个特征值对应的特征向量，则代表点的3维坐标表示为：。

9.根据权利要求1所述一种多层次流形学习医学图像颜色感知方法，其特征在于：步骤5）所述得到有颜色感知的医学图像的具体过程为：首先给定3个不同像素的RGB颜色空间信息，找到旋转尺度，使得3个像素的颜色信息以及与他们对应的3维坐标之间尽可能的接近，其余所有像素的3维坐标向这个旋转尺度旋转，即得到所有像素点的颜色感知。

10.根据权利要求9所述一种多层次流形学习医学图像颜色感知方法，其特征在于：所述旋转尺度计的算方法是：首先奇异值分解给定颜色空间信息和对应坐标的协方差，其中为将协方差进行奇异值分解得到的左右特征向量，且满足，为对角阵，表示单位阵，表示协方差，当协方差矩阵的行列式大于等于0时，对角阵为单位阵，即所有像素3维坐标与已知颜色信息旋转方向相同；否则，对角阵为，即3维坐标向相反的方向旋转。