CN106529188B - 应用于手术导航的图像处理方法 - Google Patents

Abstract

本发明公开一种应用于手术导航的图像处理方法，包括以下步骤：获取被试图像；若获取的被试图像包括CT图像和/或MR图像的多模态图像，则进行多模态图像配准；将被试图像体素进行分割和标记；分别提取背景、血管、神经、骨骼、病灶以及病灶所在的脏器的特征，并进行特征向量预处理；对图像分割后的病灶区域，计算特征参数；通过特征参数计算确定手术导航路径的终点以及人工交互方式确定手术导航路径的起点区域做路径优化。本发明通过多模态图像配准和分析，实现手术导航中自动、准确地分割病灶、计算病灶的参数、输出优化路径以配合可视化操作。

Description

应用于手术导航的图像处理方法

技术领域

本发明涉及医疗图像处理技术领域，更具体地说，本发明涉及一种应用于手术导航的图像处理方法。

背景技术

传统的手术导航系统，特别是基于CT图像的手术导航系统，由于CT图像无法对一些组织密度和周围正常组织相近的病灶进行清晰地成像，导致病灶组织的对比度较低，使得临床医生无法准确判定病灶的位置、大小和形态，进而导致现有的手术导航系统无法有效地实施手术导航。并且，现有的手术导航系统不具备多模态图像配准和分析功能，手术导航系统无法自动、准确地分割病灶并计算病灶的参数，限制了手术导航系统的应用范围。

发明内容

针对上述技术中存在的不足之处，本发明提供一种应用于手术导航的图像处理方法，通过多模态图像配准和分析，实现手术导航中自动、准确地分割病灶、计算病灶的参数、输出优化路径以配合可视化操作。

为了实现根据本发明的这些目的和其它优点，本发明通过以下技术方案实现：

本发明提供一种应用于手术导航的图像处理方法，包括：

获取被试图像；

图像配准：若获取的被试图像包括CT图像和/或MR图像的多模态图像，则进行多模态图像配准；

图像分割：将获取所述被试图像体素按背景、血管、神经、骨骼、病灶以及病灶所在的脏器分割，并依次标记为L_b、L_v、L_n、L_s、L_f和L_t；

特征提取和处理：分别提取所述背景、所述血管、所述神经、所述骨骼、所述病灶以及所述病灶所在的脏器的特征，并进行特征向量预处理；

感兴趣区域分析：对图像分割后的所述病灶区域，计算基本特征、几何特征、形状特征、表面形状、纹理、统计学特征、拓扑特征以及所述特征提取步骤中涉及的特征的参数；

路径规划：通过所述参数计算确定手术导航路径的终点以及人工交互方式确定手术导航路径的起点区域做路径优化，输出优化路径。

优选的是，所述多模态图像配准，包括以下步骤：

以当前CT图像为参考图像、以当前MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像MR图像的第一变形场。

优选的是，所述特征提取，包括以下步骤：

选取所述被试图像体素大小为R的邻域范围；

计算所述邻域范围R内体素的直方图特征集合；

计算所述邻域范围R内体素的灰度共生矩阵特征集合；

计算所述邻域范围R内体素的灰度运行长度矩阵特征集合；

计算所述邻域范围R内体素的灰度区域大小矩阵集合。

优选的是，所述特征向量预处理，包括以下步骤：

使用搜索方法对特征进行筛选；

将提取的所有特征组成高维特征向量；

将所述高维特征向量做白化和归一化处理；

对所述归一化处理后的特征向量做降维处理。

优选的是，所述输出优化路径，包括以下步骤：

在所述手术导航终点与所述手术导航路径的起点区域形成的圆锥角范围内，由所述手术导航终点向所述手术导航路径的起点区域均匀地生成若干条射线；

在所述若干条射线的集合中，避开血管、神经、骨骼和脏器，依路径长度最短选择出所述优化路径。

优选的是，所述获取被试图像之前，还包括步骤：

建立图像数据库，并对所述图像数据库中的图像进行图像配准。

优选的是，若获取的被试图像在所述图像数据库中已进行配准，则对当前模态的被试图像进行多时间序列配准和关联，包括以下步骤：

以先前时间点CT图像为参考图像、先前时间点MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第二变形场；将所述第二变形场与所述第一变形场复合形成第三变形场；或，

以当前CT图像为参考图像、先前时间点CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第四变形场；将所述第四变形场与所述第一变形场复合形成第五变形场；或，

将所述第二变形场与所述第四变形场复合形成第六变形场；或，

以当前MR图像为参考图像、先前时间点MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第七变形场；以当前MR图像为参考图像、以当前CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第八变形场；将所述第七变形场与所述第八变形场复合形成第九变形场；或，

以先前时间点MR图像为参考图像、先前时间点CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第十变形场；将所述第十变形场与所述第七变形场复合形成第十一变形场。

优选的是，所述获取被试图像之后，还包括步骤：

将获取的所述被试图像存入所述图像数据库，以更新所述图像数据库。

优选的是，所述建立图像数据库与所述获取被试图像之间，还包括步骤：建立分类器，由所述分类器输出每一个体素的分类标签和置信度。

优选的是，所述图像分割之后，还包括步骤：在线更新所述分类标签和置信度，以更新所述分类器。

本发明至少包括以下有益效果：

1)本发明提供的应用于手术导航的图像处理方法，通过多模态图像配准和分析，以实现手术导航中自动、准确地分割病灶、计算病灶的参数、输出优化路径以配合可视化操作；

2)根据树状结构，依次按照模态形式和时间点建立图像存储目录，形成图像数据库；并在特征提取与感兴趣区域分析之间建立分类器，为后续的多模态图像配准和分析提供参考，提高手术导航中路径规划的准确性。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明所述的应用于手术导航的图像处理方法的流程示意图；

图2为本发明所述的特征提取的流程示意图；

图3为本发明所述的特征向量预处理的流程示意图；

图4为本发明所述的建立分类器的流程示意图；

图5为本发明所述的多模态图像配准的示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

实施例1

如图1所示，本发明提供一种应用于手术导航的图像处理方法，

S10，获取被试图像；

S20，图像配准：若获取的被试图像包括CT图像和/或MR图像的多模态图像，则进行多模态图像配准；

S30，图像分割：将获取被试图像体素按背景、血管、神经、骨骼、病灶以及病灶所在的脏器分割，并依次标记为L_b、L_v、L_n、L_s、L_f和L_t；

S40，特征提取和处理：分别提取背景、血管、神经、骨骼、病灶以及病灶所在的脏器的特征，并进行特征向量预处理；

S50，感兴趣区域分析：对图像分割后的病灶区域，计算基本特征、几何特征、形状特征、表面形状、纹理、统计学特征、拓扑特征以及特征提取步骤中涉及的特征的参数；

S60，路径规划：通过感兴趣区域分析的参数计算确定手术导航路径的终点以及人工交互方式确定手术导航路径的起点区域做路径优化，输出优化路径。

上述实施方式中，获取被试图像，指的是，手术前，医生从PACS系统获取病人的多模态图像的DICOM文件。因为MR图像对软组织具有很高的动态对比度，很多CT图像无法清晰显示的病灶、但在MR图像中都清晰可见，因此，图像配准时，对获取的被试图像是否是包括CT图像和/或MR图像的多模态图像进行判断，以进行多模态图像配准。将获取的被试图像体素按背景、血管、神经、骨骼、病灶以及病灶所在的脏器分割、依次标记，以及对病灶区域的特征计算，均是为后续路径规划中精确确定手术导航路径终点做准备。手术导航路径的终点的确定，可以通过自动计算病灶的几何中心作为手术导航路径的终点；也可以根据病灶的几何形状，计算外接圆的圆心，将其圆心作为手术导航路径的终点。人工交互方式指的是医生以病灶为中心、根据观察手动确定一个手术导航路径的起点区域。手术导航路径的终点和起点区域确定后，做路径优化，输出优化路径，以配合手术导航中可视化的操作。

上述实施方式中，基本特征指的是体积、密度、最大灰度值、最小灰度值。几何特征指的是，最大直径、最大直径和它的最大垂直直径的积。形状特征指的是，密实度系数、真圆度系数、离心率、坚固性；表面形状指的是：形状指数、横穿肿瘤边界的密度变化、分叶、圆形度；纹理指的是，灰度级共生矩阵、空间相关性、体积长度、法律能量和边缘频率、伽柏能量、小波和高斯的拉普拉斯算法、基于模型的分型维度特征。统计学特征指的是，平均值、标准差、偏度、肿瘤密度的峰值、直方图中第2.5个百分位的HU、直方图中第25个百分位的HU、直方图中第50个百分位的HU、直方图中第75个百分位的HU、直方图中第97.5个百分位的HU。拓扑特征指的是，曲率线和方向场。

作为本发明的一种优选实施方式，多模态图像配准，如图5所示，包括以下步骤：

以当前CT图像为参考图像、以当前MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像MR图像的第一变形场T1。

通过刚性或弹性配准，成功将当前MR图像映射到当前CT图像，配准后的图像对一些组织密度和周围正常组织相近的病灶具有清晰地成像，病灶组织的对比度提高，便于临床医生准确地判定病灶的位置、大小和形态，使得现有的手术导航系统有效地实施手术导航。

作为本发明的一种优选实施方式，特征提取，如图2所示，包括以下步骤：

S41，选取多模态图像体素大小为R的邻域范围；

S42，计算邻域范围R内体素的直方图特征集合；

S43，计算邻域范围R内体素的灰度共生矩阵特征集合；

S44，计算邻域范围R内体素的灰度运行长度矩阵特征集合；

S45，计算邻域范围R内体素的灰度区域大小矩阵集合。

该实施方式中，直方图特征集合包括：最小平方算法拟合的高斯曲线平均值和标准差、偏度、峰值、均匀度、熵、灰度可变性、尺寸区域可变性、直方图中第2.5个百分位的HU、直方图中第25个百分位的HU、直方图中第50个百分位的HU、直方图中第75个百分位的HU、直方图中第97.5个百分位的HU。灰度共生矩阵特征集合包括：自相关、聚类趋势、对比度、相关性、差分熵、相异性、差异性、角度二阶矩、熵、逆差矩归一化、逆差归一化、方差逆、最大似然性、和平均、和熵、和方差。灰度运行长度矩阵特征集合包括：灰度不均匀性、高灰度级运行重点、低灰度级运行重点、长期运行重点、长期运行高灰度级重点、长期运行低灰度级重点、运行长度不均匀性、运行率、短期运行重点、短期运行高灰度级重点、长期运行低灰度级重点。灰度区域大小矩阵集合包括：高亮度重点、高亮度大面积重点、高亮度小面积重点、亮度变化、大面积重点低亮度重点、低亮度大面积重点、低亮度小面积重点、小面积重点、尺寸区域变化、区域百分比。

作为上述实施方式的进一步优选，特征向量预处理，如图3所示，包括以下步骤：

S46，使用搜索方法对特征进行筛选；

S47，将提取的所有特征组成高维特征向量；

S48，将高维特征向量做白化和归一化处理；

S49，对归一化处理后的特征向量做降维处理。

上述实施方式中，搜索方法可以是完全搜索，即广度优先搜索、分支界限搜索、定向搜索、最优优先搜索；也可以是启发式搜索，如序列前向搜索、序列后向搜索、双向搜索、序列浮动搜索、决策树；也可以是随机搜索，如模拟退火算法、遗传算法。降维处理的方法为非负矩阵分解、LLE、isomap、PCA以及ICA中的一种。

作为本发明的一种优选的实施方式，输出优化路径，包括以下步骤：

在手术导航终点与手术导航路径的起点区域形成的圆锥角范围内，由手术导航终点向手术导航路径的起点区域均匀地生成若干条射线；

在若干条射线的集合中，避开血管、神经、骨骼和脏器，依路径长度最短选择出优化路径。

作为本发明的一种优选实施方式，手术导航的可视化功能，主要包括图像横断位、矢状位和冠状位浏览、缩放、窗宽窗位调节，三维体渲染、三维面渲染、三正交面绘制。若当前显示的多模态图像已经经过了配准，则多模态图像可联动显示。

本发明实施例提供的应用于手术导航的图像处理方法，从PACS系统获取病人的被试图像后，判断该被试图像是否为包括CT图像和/或MR图像的多模态图像，若是，则进行多模态图像配准；再对获取的被试图像体素进行分割和分类标记，对分割和分类标记后的被试图像体素进行特征提取和处理，并着重计算病灶区域的特征参数，以确定手术导航路径的终点，配合人工交互方式确定手术导航路径的起点区域，做路径优化，输出优化路径。通过多模态图像配准和分析，以实现手术导航中自动、准确地分割病灶、计算病灶的参数、输出优化路径以配合可视化操作。

实施例2

在实施例1的基础上，本实施例提供一种优选的实施方式，获取被试图像之前，还包括步骤：

S70，建立图像数据库，并对图像数据库中的图像进行图像配准。

该实施方式中，图像数据库的建立方式，可以依据树状结构，依次按照模态形式和时间点来建立图像存储目录。按照模态形式和时间点来管理存储目录：同一被试的图像数据存放在同一目录中；若该被试存在多种不同模态的图像，则在该被试的目录中新建多个子目录，以分别存放不同模态的图像；若该被试的某一种模态的图像存在多个不同时间点的图像，则在该模态的目录下新建多个子目录，不同时间点的图像存放于不同子目录中；不同被试数据存放在不同目录中；所有被试数据都将被自动识别和管理。作为进一步的优选，获取被试图像之后，还包括步骤：S80，将获取的被试图像存入图像数据库，以更新图像数据库，即新获取的被试图像的数据将被自动按照特定格式与图像数据库中相关的原始图像数据存放在一起。例如，手术导航前，医生从PACS系统获取病人的被试图像的DICOM文件，从多模态图像的DICOM文件中检查者姓名、模态以及检查部位出发，在图像数据库中检索；若获取的病人的被试图像在图像数据库中存在相同检查部位的DICOM文件，则将当前病人被试图像的DICOM文件和图像数据库中现有的DICOM文件进行关联；并将当前获取的病人被试图像的DICOM文件依据树状结构、依次按照模态形式和时间点存放入对应的目录中。则手术导航前，医生获取被试图像的渠道，来自于病人当前CT图像和/或MR图像，或图像数据库中该病人的先前时间点CT图像和/或MR图像；图像配准，可能来自于病人当前CT图像和/或MR图像，或图像数据库中该病人的先前时间点CT图像和/或MR图像的图像配准，或图像数据库中其他人同病种同病灶的先前时间点CT图像和/或MR图像的配准。

作为上述实施方式的优选，若获取的被试图像在图像数据库中已进行配准，则对当前模态的被试图像进行多时间序列配准和关联，如图5所示，包括以下步骤：

以先前时间点CT图像为参考图像、先前时间点MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第二变形场T2；将第二变形场T2与第一变形场T1复合形成第三变形场T3，即T2·T1＝T3；或，

以当前CT图像为参考图像、先前时间点CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第四变形场T4；将第四变形场T4与第一变形场T1复合形成第五变形场T5，即T4·T1＝T5；或，

将第二变形场T2与第四变形场T4复合形成第六变形场T6，即T2·T4＝T6；或，

以当前MR图像为参考图像、先前时间点MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第七变形场T7；以当前MR图像为参考图像、以当前CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第八变形场T8；将第七变形场T7与第八变形场T8复合形成第九变形场T9，即T7·T8＝T9；或，

以先前时间点MR图像为参考图像、先前时间点CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第十变形场T10；将第十变形场T10与第七变形场T7复合形成第十一变形场T11，即T10·T7＝T11。

上述实施方式中，给出了多模态图像配准、同模态图像配准、同时间点图像配准以及不同时间点图像配准的多种可能性示例。配准后，所有DICOM文件和配准后的变形场保存在原始DICOM文件目录中。多模态图像配准、同模态图像配准、同时间点图像配准以及不同时间点图像配准，配准后的图像对一些组织密度和周围正常组织相近的病灶的成像清晰度较高，且不同时间序列的图像配准，包括同一病人同一病灶的不同时间序列图像配准、不同病人同一病灶的不同时间序列图像的配准。若获取的被试图像先前时间点已进行了测试配准，则从当前被试图像的检查者姓名、模态以及检查部位等信息出发，在图像数据库中检索，并对当前模态的被试图像进行按照图像时间点的顺序实行多时间序列配准，即将不同模态、不同时间点的图像进行配准，并对这些图像进行图像关联与配准，有利于提高后续手术导航的路径规划的精确性，也在手术导航中为医生对病灶的位置或形态判断提供参考和对比。

作为进一步地优选，建立图像数据库与获取被试图像之间，还包括步骤：S90，建立分类器，由所述分类器输出每一个体素的分类标签和置信度。作为一种具体实施例，建立分类器，如图4所示，包括以下步骤：

S91，设定训练样本集为S，S中的体素类型包含背景、血管、神经、骨骼、脏器和病灶，标签分别对应为L_b、L_v、L_n、L_s、L_f和L_t；n为训练的最大循环次数；

S92，初始化样本权重为1/n，即为训练样本的初始概率分布；

S93，第一次迭代；

S94，训练样本的概率分布相当下，训练弱分类器；

S95，经n次循环后，得到n个弱分类器，按更新的权重叠加，最终得到的强分类器。

上述实施方式中，训练弱分类器包括：计算弱分类器的错误率；选取合适阈值，使得误差最小；更新样本权重。作为更进一步地优选，图像分割之后，还包括步骤：S100，在线更新分类标签和置信度，以更新分类器。即将标记L_b、L_v、L_n、L_s、L_f和L_t分别更新以更新分类器。特征提取后，通过分类器对被试图像中的体素进行分类，并及时在线更新分类器，以提高后续感兴趣区域分析中特征参数计算的正确性。

本发明实施方式提供的应用于手术导航的图像处理方法，获取被试图像的同时，将获取的被试图像在图像数据库中搜索以判断是否进行图像配准；配准后，提取不同感兴趣区域的高维特征向量，然后使用机器学习的方式，特别是使用了增量学习的方法，在线更新现有的分类器；随后使用分类器对待处理图像的体素进行标记，从而分割出不同的组织，实现了病灶、血管、骨骼等组织的精准分割；使用分割结果计算不同感兴趣区域的相互位置关系，并进一步计算病灶的位置、大小和形态等参数，从而自动计算出最优的手术导航路径，并实现多时间序列图像的联动显示。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (9)

1.一种应用于手术导航的图像处理方法，其特征在于，其包括以下步骤：

获取被试图像；

图像配准：若获取的被试图像包括CT图像和/或MR图像的多模态图像，则进行多模态图像配准；

图像分割：将获取所述被试图像体素按背景、血管、神经、骨骼、病灶以及病灶所在的脏器分割，并依次标记为Lb、Lv、Ln、Ls、Lf和Lt；

特征提取和处理：分别提取所述背景、所述血管、所述神经、所述骨骼、所述病灶以及所述病灶所在的脏器的特征，并进行特征向量预处理；

感兴趣区域分析：对图像分割后的所述病灶区域，计算基本特征、几何特征、形状特征、表面形状、纹理、统计学特征、拓扑特征以及所述特征提取步骤中涉及的特征的参数；

路径规划：通过所述参数计算确定手术导航路径的终点以及人工交互方式确定手术导航路径的起点区域做路径优化，输出优化路径；

所述特征提取，包括以下步骤：

选取所述被试图像体素大小为R的邻域范围；

计算所述邻域范围R内体素的直方图特征集合；

计算所述邻域范围R内体素的灰度共生矩阵特征集合；

计算所述邻域范围R内体素的灰度运行长度矩阵特征集合；

计算所述邻域范围R内体素的灰度区域大小矩阵集合。

2.如权利要求1所述的应用于手术导航的图像处理方法，其特征在于，所述多模态图像配准，包括以下步骤：

以当前CT图像为参考图像、以当前MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像MR图像的第一变形场。

3.如权利要求1所述的应用于手术导航的图像处理方法，其特征在于，所述特征向量预处理，包括以下步骤：

使用搜索方法对特征进行筛选；

将提取的所有特征组成高维特征向量；

将所述高维特征向量做白化和归一化处理；

对所述归一化处理后的特征向量做降维处理。

4.如权利要求1所述的应用于手术导航的图像处理方法，其特征在于，所述输出优化路径，包括以下步骤：

在所述手术导航终点与所述手术导航路径的起点区域形成的圆锥角范围内，由所述手术导航终点向所述手术导航路径的起点区域均匀地生成若干条射线；

在所述若干条射线的集合中，避开血管、神经、骨骼和脏器，依路径长度最短选择出所述优化路径。

5.如权利要求2所述的应用于手术导航的图像处理方法，其特征在于，所述获取被试图像之前，还包括步骤：

建立图像数据库，并对所述图像数据库中的图像进行图像配准。

6.如权利要求5所述的应用于手术导航的图像处理方法，其特征在于，若获取的被试图像在图像数据库中已进行配准，则对当前模态的被试图像进行多时间序列配准和关联，包括以下步骤：

以先前时间点CT图像为参考图像、先前时间点MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第二变形场；将所述第二变形场与所述第一变形场复合形成第三变形场；或，

以当前CT图像为参考图像、先前时间点CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第四变形场；将所述第四变形场与所述第一变形场复合形成第五变形场；或，

将所述第二变形场与所述第四变形场复合形成第六变形场；或，

以当前MR图像为参考图像、先前时间点MR图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第七变形场；以当前MR图像为参考图像、当前CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第八变形场；将所述第七变形场与所述第八变形场复合形成第九变形场；或，

以先前时间点MR图像为参考图像、先前时间点CT图像为浮动图像进行刚性或弹性配准，保存配准后的图像以及浮动图像的第十变形场；将所述第十变形场与所述第七变形场复合形成第十一变形场。

7.如权利要求5所述的应用于手术导航的图像处理方法，其特征在于，所述获取被试图像之后，还包括步骤：

将获取的所述被试图像存入所述图像数据库，以更新所述图像数据库。

8.如权利要求5所述的应用于手术导航的图像处理方法，其特征在于，所述建立图像数据库与所述获取被试图像之间，还包括步骤：建立分类器，由所述分类器输出每一个体素的分类标签和置信度。

9.如权利要求8所述的应用于手术导航的图像处理方法，其特征在于，所述图像分割之后，还包括步骤：在线更新所述分类标签和置信度，以更新所述分类器。