CN109712176A - 一种多序列图像的标注方法及系统 - Google Patents

Abstract

本发明公开了一种多序列图像的标注方法及系统。所述方法包括：将待配准序列图像和参考序列图像进行配准，得到配准后序列图像以及图像之间的映射关系；对所述待配准序列图像和所述参考序列图像以及所述配准后序列图像中的任意一幅或多幅图像进行标注，所述标注按照所述映射关系进行变换，显示到其余未标注的图像上。本发明结合多序列图像配准技术使得用户在标注多序列图像中的任意一幅或多幅图像时，标注能在其余未标注的图像同步显示出来，避免了采用人工标注多序列图像过程中需要校准的问题，提高了标注多序列图像的标注位置准确度。

Description

一种多序列图像的标注方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种多序列图像的标注方法及系统。

背景技术

多序列图像通常指显示同样内容的不同序列的图像，单一序列因信息单独往往不能满足各种需求，目前医学上普遍采用核磁共振成像技术(MRI)检测心脑血管疾病，与普通的多序列图像相同，MRI多序列图像所呈现的影像是同一病人在同一位置的信息，只是成像参数不同、成像时间前后稍有不同，因此不同序列图像上所显示的信息在图像上的位置会略有偏移。在进行疾病检测时为了直观地表现出异常位置，医生需要对MRI图像上进行标注，比如将动脉斑块的准确边界位置人工圈起来，如果对多序列影像分别标注，由于信息显示在多序列图像上的位置差异，可能会前后标注不一致，而且只在一个序列上进行标注，也可能标注不完全，因此不同的斑块成份需要结合多个序列影像对比查看，使标注过程复杂繁琐。

发明内容

为了解决现有技术的问题，本发明的目的在于提供一种能够实现在多序列图像上同步显示标注信息的方法，为此本发明提供了一种多序列图像的标注方法及系统。所述技术方案如下：

一方面，提供了一种多序列图像的标注方法，所述方法包括：

将待配准序列图像和参考序列图像进行配准，得到配准后序列图像以及图像之间的映射关系；

对所述待配准序列图像和所述参考序列图像以及所述配准后序列图像中的任意一幅或多幅图像进行标注，所述标注按照所述映射关系进行变换，显示到其余未标注的图像上。

进一步地，所述将待配准序列图像和参考序列图像进行配准包括如下步骤：

确定配准方法以及所述参考序列图像；

将所述待配准序列图像利用所述配准方法与所述参考序列图像进行配准；

优化配准过程中得到的序列图像；

获取最终的所述配准后序列图像以及所述映射关系。

进一步地，所述配准方法包括互信息配准法；所述优化配准过程中得到的序列图像的方法包括梯度下降法。

进一步地，所述标注按照所述映射关系进行变换包括：

获取所述标注的类型以及位置信息；

将所述位置信息通过所述映射关系进行计算，得到变化后标注的位置信息。

进一步地，所述位置信息包括所述标注的端点的坐标，和/或端点坐标之间的相对位置关系。

进一步地，所述映射关系包括：表示所述待配准序列图像与所述参考序列图像变化关系的矩阵；表示所述配准后序列图像与所述待配准序列图像变化关系的矩阵；表示所述待配准序列图像之间变化关系的矩阵。

另一方面，本发明提供了一种多序列图像的标注系统，所述系统包括：

配准模块，用于将待配准序列图像和参考序列图像进行配准，得到配准后序列图像以及图像之间的映射关系；

标注模块，用于在参考序列图像和待配准序列图像以及配准后序列图像中的任意一幅或多幅图像上标注。

进一步地，所述配准模块包括：

配准方法选定模块，用于选择配准方法，设置并优化配准参数以及确定所述参考序列图像；

处理模块，用于将所述待配准序列图像利用所述配准方法与所述参考序列图像进行配准；

优化模块，用于优化所述配准过程中得到的序列图像；

输出模块，用于存储和显示最终的所述配准后序列图像以及所述映射关系。

进一步地，所述配准方法选定模块包括：

互信息测度计算模块，用于计算图像间的相似程度；

所述优化模块包括：梯度下降法计算模块，用于以梯度下降法优化配准过程中得到的序列图像。

进一步地，所述标注模块包括：

标注采集模块，用于获取所述标注的形状以及位置信息；

位置信息计算模块，用于将所述位置信息通过所述映射关系进行计算，得到变化后标注的位置信息。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明结合多序列图像配准技术使得用户在标注多序列图像中的任意一幅或多幅图像时，标注能在其余未标注的图像同步显示出来，避免了采用人工标注多序列图像过程中需要校准的问题，提高了标注多序列图像的标注位置准确度；

2、本发明应用到医学中磁共振多序列图像的标注时，能够缩短医生标注异常位置的时间，缩短标注步骤，节省人工，有利于快速检测出病灶；

3、随人工智能技术的发展，急需大量数据的标准数据库的建立，使用本发明可以快速准确地建立大量的训练数据，供科研及工程人员使用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1提供的一种多序列图像的配准方法流程图；

图2是本发明实施例2提供的一种多序列图像的标注系统结构示意图；

图3是本发明实施例2提供的采集的磁共振图像；

图4是本发明实施例2提供的配准后的磁共振部分图像；

图5是本发明实施例2提供的刚开始标注时的图像；

图6是本发明实施例2提供的标注后的同步显示图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种多序列图像的标注方法，包括以下步骤：

确定配准方法以及参考序列图像；

将所述待配准序列图像利用所述配准方法与所述参考序列图像进行配准；

优化配准过程中得到的序列图像；

获取配准后序列图像以及图像之间的映射关系；

对所述待配准序列图像和所述参考序列图像以及所述配准后序列图像中的任意一幅或多幅图像进行标注，所述标注按照所述映射关系进行变换，显示到其余未标注的图像上。

上述标注方法中结合图像配准技术，在图像配准后得到的每幅图像之间的映射关系的基础上对图像上的标注进行变化，使其能够同步显示在其余未标注的图像中的任意一幅或多幅图像上。

其中，所述标注按照所述映射关系进行变换包括：

获取所述标注的类型以及位置信息；

将所述位置信息通过所述映射关系进行计算，得到变化后标注的位置信息。

所述标注的形状类型包括使用符号标注或色彩标注等，例如将需要标注的位置圈出、在需要标注的位置旁标点、点等等，本实施例不作限制。

所述位置信息包括所述标注的端点的坐标，和/或端点坐标之间的相对位置关系。例如点A的坐标记录为(横坐标，纵坐标)，如(8,10)表示横坐标为8纵坐标为10确定的点。如果将坐标轴内的各个点的位置编号，则端点坐标之间的相对位置关系可以记录为(起点位置,终点位置)，例如线段(8,10)表示线段由位置8到位置10，或者线段可以记录为(起点位置，线段长度)，如线段(8,2)，表示位置8开始、长度为2的线段。位置关系的表述方法还有很多，本实施例不作限制。

上述图像之间的映射关系优选表示为矩阵，包括：表示所述待配准序列图像和参考序列图像变化关系的矩阵；表示所述配准后序列图像与待配准序列图像变化关系的矩阵；表示待配准序列图像之间变化关系的矩阵。

其中，所述表示待配准序列图像之间变化关系的矩阵由所述配准后序列图像与待配准序列图像变化关系的矩阵计算得到。即，先通过参考序列图像A与待配准序列图像B得到待配准序列图像B与配准后序列图像B’的变化关系，和待配准序列图像C与配准后序列图像C’的变化关系，然后通过计算得到待配准序列图像B和C的变化关系。

相应地，当在待配准序列图像上标注，并需要在配准后序列图像和参考序列图像上同步显示标注时，需要将标注的位置信息与表示所述配准后序列图像与待配准序列图像变化关系的矩阵以及表示所述待配准序列图像和参考序列图像变化关系的矩阵分别进行计算，得到变化后标注的位置信息。当在参考序列图像上标注，并需要在配准后序列图像上同步显示标注时，由于参考序列图像与配准后序列图像上的位置是对齐的，因此标注能够在配准后序列图像上同步显示。当在配准后序列图像上标注，并需要在配准后未标注的序列图像上以及参考序列图像同步显示标注时，由于配准后序列图像之间的位置是对齐的，因此标注能够在其它未标注的配准后序列图像上显示。由此，本发明可以实现在其中任意一个或多个图像上进行标注，均能在其余未标注的图像中的一个或多个显示出来。上述位置信息包括所述标注的端点的坐标，端点的选取可根据标注的类型确定。

上述将待配准序列图像和参考序列图像进行配准的方法中，图像的配准方法可以是点法、曲线法、表面法、矩和主轴法、互信息配准法以及图谱法中的任意一种，本实施例优选为互信息配准法。互信息配准法利用互信息的测度衡量配准后序列图像与参考序列图像的相似程度。互信息表示两个变量间的相互依赖程度，可用两变量的联合概率分布和边缘概率分布表示。比如，两个随机变量A和B，边缘概率分布分别为p_A(a)和p_B(b)，联合概率分布为p_AB(a,b)，则其互信息为：

也可以以熵的形式表示：I(A,B)＝H(A)+H(B)-H(A,B)

其中H(A)为A的熵：H(A)＝-∑p_A(a)logp_A(a)

两个变量间的互信息越大，则其相似程度越高。因此，在互信息值前面加个负号，作为损失函数loss＝-I(A,B)，图像配准过程中可以通过最小化损失函数loss，以将待配准图像(待配准图像又称为浮动图像)匹配到参考图像上。最小化的过程可以采用梯度下降优化的方法。图像间的互信息计算可以利用像素灰度值的局部直方图进行计算。

如图2所示，基于上述一种多序列图像的标注方法本发明还公开一种多序列图像的标注系统，包括：

配准模块，用于将待配准序列图像和参考序列图像进行配准，得到配准后序列图像以及图像之间的映射关系。

标注模块，用于在参考序列图像和待配准序列图像以及配准后序列图像中的任意一幅或多幅图像上标注。

上述图像之间的映射关系优选为矩阵，包括：表示所述待配准序列图像和参考序列图像变化关系的矩阵；表示所述配准后序列图像与待配准序列图像变化关系的矩阵；表示待配准序列图像之间变化关系的矩阵。

其中，配准模块包括：配准方法选定模块、处理模块、优化模块和输出模块。

配准方法选定模块，用于选择配准方法，设置并优化配准参数以及确定所述参考序列图像。配准方法可以是点法、曲线法、表面法、矩和主轴法、互信息配准法以及图谱法中的任意一种，本实施例优选为互信息配准法。与此对应的配准方法选定模块包括：互信息测度计算模块，计算图像间的相似程度。优化模块，包括梯度下降法计算模块，用于以梯度下降法优化配准后序列图像。

处理模块，用于将所述待配准序列图像利用所述配准方法与所述参考序列图像进行配准。

其中，标注模块包括：

标注采集模块，用于获取所述标注的形状类型以及位置信息；

位置信息计算模块，用于将所述位置信息通过所述映射关系进行计算，得到变化后标注的位置信息。

实施例2

本实施例以医学领域中的磁共振影像为例展示本发明的方法以及系统的应用过程。

如图3(a)至图3(d)所示，在MRI颈动脉斑块检测中，采集到患者的四个序列影像依次为TOF序列图像、T1W序列图像、T2W序列图像以及MP_Rage序列图像。从影像中可以看出该患者在右侧颈动脉处(图中箭头所指处)存在狭窄、斑块的情况，在利用图像处理技术进行斑块的准确测量或者对成份(内出血、脂质、钙化等)进行准确分割前，首先需要将这些图像匹配到同一坐标系下，即进行图像配准。本实施例以TOF序列图像为参考图像，将T1W序列按照梯度下降方法最小化损失函数loss配准到TOF序列，并同样地，将T2W序列配准到TOF序列、MP_Rage序列配准到TOF序列。上述序列图像对齐后除了进行标注外也可以作为四通道信息输入到深度学习的神经网络中进行训练检测，或者提取多维度特征进行机器学习分类检测。

图像配准后会得到各图像之间的映射关系，所述图像之间的映射关系优选为矩阵，包括：表示所述待配准序列图像和参考序列图像变化关系的矩阵；表示所述配准后序列图像与待配准序列图像变化关系的矩阵；表示待配准序列图像之间变化关系的矩阵。当需要在磁共振影响上标出异常位置时，将斑块的准确位置人工标出，可以先在其中一个序列图像上标注，标注会经过所述映射关系变换同步显示到用户需要的其它序列图像上，当映射关系优选为矩阵时，所述变换为矩阵之间的计算。具体过程如下：

将T1W、T2W、MP_Rage三个序列图像依次配准到TOF序列图像，参考TOF序列图像及其它序列图像配准后的图像如图4(a)至图4(d)所示。需要说明的是，配准为整幅图像的配准，这里为展示方便，只显示颈动脉部位的一小块区域。

如图5(b)所示，在配准后的T1W序列图像上标注斑块位置。

如图6(a)至图6(d)所示，该标注会同步显示在其它配准后的序列图像上。

需要进一步说明的是，除了在图像上标注外，通过本实施例在任意一幅图像上作出的修改也能按照用户需求显示到其它各图像上。

实现上述磁共振图像标注方法的为一种多序列图像的标注系统，所述系统包括：

配准模块，用于将待配准序列图像和参考序列图像进行配准，得到配准后序列图像以及图像之间的映射关系。

标注模块，用于在参考序列图像和待配准序列图像以及配准后序列图像中的任意一幅或多幅图像上标注。

所述配准模块包括：

配准方法选定模块，用于选择配准方法，设置并优化配准参数以及确定所述参考序列图像；

处理模块，用于将所述待配准序列图像利用所述配准方法与所述参考序列图像进行配准；

优化模块，用于优化所述配准过程中得到的序列图像；

输出模块，用于存储和显示最终的所述配准后序列图像以及所述映射关系。

所述配准方法选定模块包括：

互信息测度模块，用于计算图像间的相似程度；

所述优化模块包括：

梯度下降法计算模块，用于以梯度下降法优化配准后序列图像。

所述标注模块包括：

标注采集模块，用于获取所述标注的类型以及位置信息；

位置信息计算模块，用于将所述位置信息与所述映射关系进行计算，得到变化后标注的位置信息。

综上，本发明提供了一种多序列图像的标注方法及系统能够实现各序列图像之间标注和修改的同步显示，解决了现有技术中存在的由于信息显示在多序列图像上的位置差异导致的各序列图像之间标注位置不一致以及标注不完全的问题。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多序列图像的标注方法，其特征在于，包括以下步骤：

将待配准序列图像和参考序列图像进行配准，得到配准后序列图像以及图像之间的映射关系；

对所述待配准序列图像和所述参考序列图像以及所述配准后序列图像中的任意一幅或多幅图像进行标注，所述标注按照所述映射关系进行变换，显示到其余未标注的图像上。

2.如权利要求1所述的一种多序列图像的标注方法，其特征在于，所述将待配准序列图像和参考序列图像进行配准包括如下步骤：

确定配准方法以及所述参考序列图像；

将所述待配准序列图像利用所述配准方法与所述参考序列图像进行配准；

优化配准过程中得到的序列图像；

获取最终的所述配准后序列图像以及所述映射关系。

3.如权利要求2所述的一种多序列图像的标注方法，其特征在于，所述配准方法包括互信息配准法；所述优化配准过程中得到的序列图像的方法包括梯度下降法。

4.如权利要求1所述的一种多序列图像的标注方法，其特征在于，所述标注按照所述映射关系进行变换包括：

获取所述标注的类型以及位置信息；

将所述位置信息通过所述映射关系进行计算，得到变化后标注的位置信息。

5.如权利要求4所述的一种多序列图像的标注方法，其特征在于，所述位置信息包括所述标注的端点的坐标，和/或端点坐标之间的相对位置关系。

6.如权利要求1～5中任意一项所述的一种多序列图像的标注方法，其特征在于，所述映射关系包括：表示所述待配准序列图像与所述参考序列图像变化关系的矩阵；表示所述配准后序列图像与所述待配准序列图像变化关系的矩阵；表示所述待配准序列图像之间变化关系的矩阵。

7.基于权利要求1～6所述方法建立的一种多序列图像的标注系统，其特征在于，包括：

配准模块，用于将待配准序列图像和参考序列图像进行配准，得到配准后序列图像以及图像之间的映射关系；

标注模块，用于在参考序列图像和待配准序列图像以及配准后序列图像中的任意一幅或多幅图像上标注。

8.如权利要求7所述的一种多序列图像的标注系统，其特征在于，所述配准模块包括：

配准方法选定模块，用于选择配准方法，设置并优化配准参数以及确定所述参考序列图像；

处理模块，用于将所述待配准序列图像利用所述配准方法与所述参考序列图像进行配准；

优化模块，用于优化所述配准过程中得到的序列图像；

输出模块，用于存储和显示最终的所述配准后序列图像以及所述映射关系。

9.如权利要求8所述的一种多序列图像的标注系统，其特征在于，所述配准方法选定模块包括：互信息测度计算模块，用于计算图像间的相似程度；

所述优化模块包括：梯度下降法计算模块，用于以梯度下降法优化配准过程中得到的序列图像。

10.如权利要求7所述的一种多序列图像的标注系统，其特征在于，所述标注模块包括：

标注采集模块，用于获取所述标注的形状以及位置信息；

位置信息计算模块，用于将所述位置信息通过所述映射关系进行计算，得到变化后标注的位置信息。