CN103065315B - 一种多图谱融合方法、系统及医疗设备 - Google Patents

Abstract

本发明适用于多图谱融合系统，提供了一种多图谱融合方法、系统及医疗设备，所述方法包括：对多组图谱图像和目标图像进行配准；将配准的多组图谱图像和目标图像对应的划分成子块区域；计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数；根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；将每一子块区域的融合结果进行整合，得到目标图像的融合图像。本发明由于充分考虑了配准效果好的图谱局部信息，可以达到更加精确，快速的分割效果。

Description

一种多图谱融合方法、系统及医疗设备

技术领域

本发明属于医学图像处理技术领域，尤其涉及一种多图谱融合方法、系统及医疗设备。

背景技术

图谱融合的最重要目的就是为已经分割好的一系列图谱提供一个有效、可靠、准确的方法融合到结果图像中，多图谱融合是图像分割的一种重要方法。

随着计算机处理能力的不断提高，图谱融合技术不断发展，图谱融合方法也不断更新，例如，根据当前流行的AdaBoost算法提出用一系列的“弱分类器”组合成“强分类器”的方法，提出了利用分类器对图谱进行分类的融合算法；基于机器学习中EM算法，提出了STAPLE融合算法，能同时估计输入分割图谱性能与估计分割结果；使用加权融合的方法，对输入的标识图分配不同的权重，实现融合；基于形状平均（Shape-BasedAveraging）的融合算法，结合了形状信息和欧氏距离图，也达到了不错的融合效果；基于灰度相关性图谱选择的STAPLE算法，利用了灰度的信息选择最优的图谱进行融合。

然而，现有图谱融合算法大多是基于总体的全局配准图像，而局部配准较好的图像未被充分考虑，使得局部配准效果好的图谱没有起到作用。

发明内容

本发明实施例的目的在于提供一种多图谱融合方法，旨在解决现有图谱融合算法大多是基于总体的全局配准图像，而局部配准较好的图像未被充分考虑，使得局部配准效果好的图谱没有起到作用的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

本发明实施例是这样实现的，一种多图谱融合方法，所述方法包括：

对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像；

将配准的多组图谱图像和目标图像对应的划分成子块区域；

计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数；

根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；

将每一子块区域的融合结果进行整合，得到目标图像的融合图像

本发明实施例还提供了一种多图谱融合系统，所述系统包括：

配准单元，用于对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像；

划分单元，用于将配准的多组图谱图像和目标图像对应的划分成子块区域；

计算单元，用于计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

选取单元，用于在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数；

融合单元，用于根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；

整合单元，用于将每一子块区域的融合结果进行整合，得到目标图像的融合图像。其特征在于，所述医疗设备包括上述多图谱融合系统。

本发明实施例与现有技术相比，有益效果在于：通过对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像，将配准的多组图谱图像和目标图像对应的划分成子块区域，计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度，在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合，将每一子块区域的融合结果进行整合，得到目标图像的融合图像。由于充分考虑了配准效果好的图谱局部信息，可以达到更加精确，快速的分割效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的多图谱融合方法的实现的流程图；

图2a、图2b是本发明实施例一提供的局部相似度计算过程示意图；

图3a-图3d是本发明实施例一提供的融合实验图像示意图；

图4是本发明实施例二提供的多图谱融合系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种多图谱融合方法，所述方法包括：

对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像；

将配准的多组图谱图像和目标图像对应的划分成子块区域；

计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数；

根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；

将每一子块区域的融合结果进行整合，得到目标图像的融合图像

本发明实施例还提供了一种多图谱融合系统，所述系统包括：

配准单元，用于对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像；

划分单元，用于将配准的多组图谱图像和目标图像对应的划分成子块区域；

计算单元，用于计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

选取单元，用于在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数；

融合单元，用于根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；

整合单元，用于将每一子块区域的融合结果进行整合，得到目标图像的融合图像。其特征在于，所述医疗设备包括上述多图谱融合系统。

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的多图谱融合方法的实现的流程图，详述如下：

在S101中，对多组图谱图像和目标图像进行配准，所述图谱图像包括图谱标识图像和图谱灰度图像，所述图谱标识图像为手动分割的金标准图像。

本实施例中，图谱图像和目标图像往往存在着噪声，模糊等，为了得到好的融合效果，可以预先对图谱图像和待分割的目标图像进行预处理，例如去噪，增强等预处理方法。

本实施例中，具体可以通过放射配准和B样条配准方法，将图谱图像配准到待分割的目标图像上，根据配准变换得到一系列配准后分割好的标识图。

在S102中，将配准的多组图谱图像和目标图像对应的划分成子块区域；

本实施例中，在所述配准的多组图谱图像和目标图像中，以预设像素个数为间隔移动滑动窗口，可以得到每组图谱图像和目标图像相对应的一系列patch子块区域，例如，可以一个像素为间隔移动所述滑动窗口，将所述多组图谱图像和目标图像对应的划分成子块区域，具体滑动窗口的滑动间隔可以根据时间的处理精度进行设置，在此不用以限制本发明。

其中，滑动窗口的大小可以根据待划分的尺寸制定。

在S103中，计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度。

优选的，S103具体为：基于局部标准化互相关信息（NormalizedCorrelationCoefficient,NCC），采用积分图法，计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度，即图谱图像和目标图像的局部相似度，请参阅图2a和图2b示出了本发明实施例一提供的局部相似度计算过程示意图，其中，图2a为每一图谱灰度图像中的子块区域，图2b为目标图像对应的子块区域，具体计算可以按如下公式进行：

式中，Y_i是目标灰度图像区域υ中每个像素点的值；

G_i是已配准好灰度图像区域υ中每个像素点的值；

是目标灰度图像区域υ中像素点的均值；

是已配准好灰度图像区域υ中像素点的均值；

σ_Y是目标灰度图像区域υ中像素点的均方差；

σ_G是已配准好灰度图像区域υ中像素点的均方差；

N表示区域υ中像素个数。

在S104中，在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数，且所述X的值小于图谱图像的组数；

本实施例中，将目标灰度图像的每一子块区域与每组图谱图像中的图谱灰度图像中对应的子块区域计算局部相关度，则可以获得多个相关度值，将多个相关度值进行排序，获取相关度位于前X位的图谱灰度图像。

在S105中，根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；

其中，对目标灰度图像的每一子块区域进行融合的过程为，假设以对当前目标灰度图像的子块区域M进行融合为例进行说明，在所述X个标识图像中，分别获取每一个标识图像中的子块区域M，根据获取的X个标识图像中的子块区域M，对当前目标灰度图像的子块区域M进行融合。

优选的，S105具体为：根据所述位于前X位的图谱灰度图像对应的图谱标识图像，采用性能同时估计算法（SimultaneousTruthAndPerformanceLevelEstimation，STAPLE），对目标灰度图像的每一子块区域进行融合，其中，STAPLE算法是根据机器学习中EM算法提出的融合算法，具体可以参照EM算法公式进行计算。

在S106中，将每一子块区域的融合结果进行整合，得到目标图像的融合图像。

以下通过仿真实验对本发明实施例的效果进行说明：本仿真实验采用了Dice相似度系数作为评估准则来评估算法的性能，按如下公式进行：

$\mathrm{DSC}-\frac{2|A\∩B|}{\left|A\right|+\left|B\right|}$

式中，A代表对待分割目标图像融合结果，B代表对待目标图像人工手动分割结果。

本实验采用含有33组海马脑部的图谱图像作为测试数据，所述图谱图像包括灰度图像和标识图像，所述标识图像为手工分割金标准标志图，根据所述测试数据分别进行了基于局部相似度的图谱融合方法和原始STAPLE融合方法，对局部相似度的图谱融合方法需要参数选取，选取Patch子块区域尺寸（t）为3,5,7,9,11,13,15,17；选取相关性排序结果的图谱数（x）为3,5,7,9,11,13,15,17。所以，一共可以有64种参数组合对每幅图谱进行实验，请参阅图3a-至图3d为本发明实施例一提供的融合实验图像示意图，其中，图3a为待分割目标图像，图3b为金标准图像，图3c为采用STAPLE算法融合结果，图3d为基于局部相似度的图谱融合方法结果图。

通过选取Dice值最好的的参数组合融合结果与原始STAPLE融合结果对比，如表1，对于t=7，x=17和t=9，x=15两组参数局部相似度的图谱融合方法的均值±均方差是0.874±0.001和0.873±0.001，而原始STAPLE是0.855±0.004，通过配对t检验，p<0.05可证明局部相似度的图谱融合方法具有统计性意义。综合以上可得出选取合适的参数时局部相似度的图谱融合方法可以很大的提高融合的效果。

表1实验评估指标

本发明实施例中，对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像，将配准的多组图谱图像和目标图像对应的划分成子块区域，计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度，在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合，将每一子块区域的融合结果进行整合，得到目标图像的融合图像。由于充分考虑了配准效果好的图谱局部信息，可以达到更加精确，快速的分割效果。

实施例二

图4示出了本发明实施例二提供的多图谱融合系统的结构图，为了便于说明，仅示出了与本发明实施例相关的部分，该系统可以是内置于医疗设备中的软件单元、硬件单元或者软硬结合单元。

所述多图谱融合系统包括：

配准单元41，用于对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像；

划分单元42，用于将配准的多组图谱图像和目标图像对应的划分成子块区域；

计算单元43，用于计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

选取单元44，用于在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数；

融合单元45，用于根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；

整合单元46，用于将每一子块区域的融合结果进行整合，得到目标图像的融合图像。

可选的，所述配准单元41，具体用于在所述配准的多组图谱图像和目标图像中，以预设像素个数为间隔移动滑动窗口，将所述多组图谱图像和目标图像对应的划分成子块区域。

可选的，所述计算单元43，用于基于局部标准化互相关信息，采用积分图法，计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度。

可选的，所述融合单元45，具体用于根据所述位于前X位的图谱灰度图像对应的图谱标识图像，采用STAPLE算法，对目标灰度图像的每一子块区域进行融合。

进一步的，所述系统还包括：预处理单元，用于对所述多组图谱图像和目标图像进行预处理。

本发明实施例提供的多图谱融合系统可以使用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多图谱融合方法，其特征在于，所述方法包括：

对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像；

将配准的多组图谱图像和目标图像对应的划分成子块区域；

计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数；

根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；

将每一子块区域的融合结果进行整合，得到目标图像的融合图像；

所述计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度具体为：

基于局部标准化互相关信息，采用积分图法，计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

具体计算可以按如下公式进行：

$NCC=\frac{1}{N-1}\underset{i\&Element;\mathrm{\&theta;}}{\&Sigma;}\frac{(Y_i-\stackrel{\&OverBar;}{Y})(G_i-\stackrel{\&OverBar;}{G})}{{\mathrm{\&sigma;}}_Y{\mathrm{\&sigma;}}_G}$

式中，Y_i是目标灰度图像区域中每个像素点的值；

G_i是已配准好灰度图像区域中每个像素点的值；

是目标灰度图像区域中像素点的均值；

是已配准好灰度图像区域中像素点的均值；

σ_Y是目标灰度图像区域中像素点的均方差；

σ_G是已配准好灰度图像区域中像素点的均方差；

N表示区域中像素个数。

2.如权利要求1所述的方法，其特征在于，所述将配准的多组图谱图像和目标图像对应的划分成子块区域具体为：

在所述配准的多组图谱图像和目标图像中，以预设像素个数为间隔移动滑动窗口，将所述多组图谱图像和目标图像对应的划分成子块区域。

3.如权利要求1所述的方法，其特征在于，所述根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合具体为：

根据所述位于前X位的图谱灰度图像对应的图谱标识图像，采用STAPLE算法，对目标灰度图像的每一子块区域进行融合。

4.如权利要求1所述的方法，其特征在于，所述对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像之前，所述方法还包括：

对所述多组图谱图像和目标图像进行预处理。

5.一种多图谱融合系统，其特征在于，所述系统包括：

配准单元，用于对多组图谱图像和目标图像进行配准，所述图谱图像包括标识图像和灰度图像；

划分单元，用于将配准的多组图谱图像和目标图像对应的划分成子块区域；

计算单元，用于计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

选取单元，用于在每一子块区域对应的局部相关度结果中，选取相关度值位于前X位的图谱灰度图像，其中，所述X为正整数；

融合单元，用于根据所述位于前X位的图谱灰度图像对应的图谱标识图像，对目标灰度图像的每一子块区域进行融合；

整合单元，用于将每一子块区域的融合结果进行整合，得到目标图像的融合图像；

所述计算单元，用于基于局部标准化互相关信息，采用积分图法，计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度；

具体计算可以按如下公式进行：

$NCC=\frac{1}{N-1}\underset{i\&Element;\mathrm{\&theta;}}{\&Sigma;}\frac{(Y_i-\stackrel{\&OverBar;}{Y})(G_i-\stackrel{\&OverBar;}{G})}{{\mathrm{\&sigma;}}_Y{\mathrm{\&sigma;}}_G}$

式中，Y_i是目标灰度图像区域中每个像素点的值；

G_i是已配准好灰度图像区域中每个像素点的值；

是目标灰度图像区域中像素点的均值；

是已配准好灰度图像区域中像素点的均值；

σ_Y是目标灰度图像区域中像素点的均方差；

σ_G是已配准好灰度图像区域中像素点的均方差；

N表示区域中像素个数。

6.如权利要求5所述的系统，其特征在于，所述配准单元，具体用于在所述配准的多组图谱图像和目标图像中，以预设像素个数为间隔移动滑动窗口，将所述多组图谱图像和目标图像对应的划分成子块区域。

7.如权利要求5所述的系统，其特征在于，所述计算单元，用于基于局部标准化互相关信息，采用积分图法，计算目标灰度图像的每一子块区域与每幅图谱灰度图像中对应的子块区域的局部相关度。

8.如权利要求5所述的系统，其特征在于，所述融合单元，具体用于根据所述位于前X位的图谱灰度图像对应的图谱标识图像，采用STAPLE算法，对目标灰度图像的每一子块区域进行融合。

9.一种医疗设备，其特征在于，所述医疗设备包括权利要求5至8任一权利要求所述的多图谱融合系统。