CN107230206B - 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法 - Google Patents

一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法 Download PDF

Info

Publication number
CN107230206B
CN107230206B CN201710406314.5A CN201710406314A CN107230206B CN 107230206 B CN107230206 B CN 107230206B CN 201710406314 A CN201710406314 A CN 201710406314A CN 107230206 B CN107230206 B CN 107230206B
Authority
CN
China
Prior art keywords
image
region
lung
nodule
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710406314.5A
Other languages
English (en)
Other versions
CN107230206A (zh
Inventor
强彦
崔强
杨晓兰
强薇
赵涓涓
王�华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201710406314.5A priority Critical patent/CN107230206B/zh
Publication of CN107230206A publication Critical patent/CN107230206A/zh
Application granted granted Critical
Publication of CN107230206B publication Critical patent/CN107230206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Abstract

本发明公开了一种基于多模态数据的超体素序列肺部图像的3D肺结节分割方法，包括以下步骤：步骤A，通过超像素分割和自生成神经森林聚类提取得到序列肺实质图像；步骤B，采用基于互信息的PET/CT多模态数据配准序列肺实质图像；步骤C，采用多尺度可变圆形模板匹配算法标记并提取精确序列肺结节区域；步骤D，使用超体素3D区域增长算法对序列肺结节图像进行三维重建，得到最终的肺结节的三维形态。使用超体素3D区域增长算法形成肺结节的三维重建区域，可以反映出肺部病灶与周围组织的动态关系，而且便于从直观上了解肺结节形状、大小、外观等形态和与周围胸膜或血管的牵拉情况。

Description

一种基于多模态数据的超体素序列肺部图像的3D肺结节分割 方法
技术领域
本发明属于医学图像处理领域，涉及肺结节的分割与三维重建，具体涉及了基于医学PET和CT影像的多模态数据，对肺结节的超体素三维分割与重建的方法。
背景技术
三维重建可以反映出肺部病灶与周围组织的动态关系，而且便于从直观上了解肺结 节形状、大小、外观等形态和与周围胸膜或血管的牵拉情况，有助于医师直观的了解病情并引导复杂解剖区域手术的进行，以提高手术质量和降低手术危险，值得临床进一步 推广使用。目前的医学成像的临床应用产生的多为二维图像，二维断层图象只是表达某 一截面的信息，仅由二维图象，人们很难建立起三维空间的立体结构。为提高医疗诊断 和治疗规划的准确性与科学性，由二维断层图象序转换成为具有直观立体效果的图象， 展现人体器官的三维结构与形态，从而提供若干用传统手段无法获得的解剖结构信息， 并为进一步模拟操作提供视觉交互手段。医学图象三维重建与可视化技术就是在这一背 景下提出的，这一技术一经提出，就得到大量研究与广泛应用。目前，随着三维重建技 术的日渐成熟，其在临床诊疗的应用日趋广泛，而基于肺部病灶三维影像的分割技术尚 未达到相对成熟的解决方案。针对以上问题，本文提出了一种基于多模态数据的超体素 序列肺部图像的3D肺结节分割方法，充分的结合了PET/CT数据中所提供的肺部病灶 自身的信息，大幅度减少了时间复杂度。
发明内容
本发明针对现有技术的不足提供一种基于多模态数据的超体素序列肺部图像的3D 肺结节分割方法，既能充分结合多模态PET/CT数据中所提供的肺部病灶自身的信息，又能有效分割与重建多种类型的肺结节，便于从直观上了解肺结节形状、大小、外观等 形态和与周围胸膜或血管的牵拉情况，有助于医师直观的了解病情并引导复杂解剖区域 手术的进行，以提高手术质量和降低手术危险。
本发明采用的技术方案为：
一种基于多模态数据的超体素序列肺部图像的3D肺结节分割方法，包括以下步骤：
步骤A，使用超像素序列图像分割算法得到ROI序列图像的超像素样本，接着采用自生成神经森林算法对超像素样本进行聚类，最后根据聚类后的超像素集的灰度特征和位置特征识别结节肺实质区域，为之后在此肺实质图像的基础上精确提取、分割、三维 重建肺结节做准备；
步骤B，采用基于互信息的医学图像配准方法配准PET/CT多模态数据的肺实质区域；当两幅图像达到配准位置时，其互信息达到最大值，在A中得到的肺实质图像的基 础上进行多模态数据的配准，以消除心脏等活跃区域对最终结果的影响；
步骤C，采用多尺度可变圆形模板匹配算法确定配准之后的图像中肺结节的位置和 边缘信息，得到较为精确的肺结节区域；
步骤D，采用超体素3D区域增长方法，以超体素为基本单位，结合PET图像中的 SUV特征，利用肺结节序列图像的序列特征，自动选取种子点并在其6邻接区域中根据 提出的相似度函数进行超体素区域增长，最终实现肺结节序列图像的快速分割与重建。
所述的方法，所述步骤B的具体过程如下：
B1、利用线性插值的方法将PET图像插值成与CT图像同样大小；
因为PET图像的大小是128×128像素的，而CT图像的大小是512×512像素的，所以使用线性插值的方法将PET图插值为512×512，两种模态的图像数大小相同后再将 PET图像与CT图像做配准；
B2、利用互信息配准方法配准PET/CT多模态数据；
对于两个随机变量A、B。它们的熵别是H(A)、H(B)、H(A、B)，概率分布分别为 PA(a)和PB(b)，联合概率分布为PAB(a,b)，则它们的互信息MI(A,B)为：
Figure BDA0001311013090000031
对于待配准的两幅医学图像，可以认为它们是关于图像灰度的两个随机变量集浮动 图像A和参考图像B，a和b是两幅图像中相关的体素灰度值，a和b通过坐标变换相 联系。它们的边缘概率分布和联合概率分布PA(a)、PB(b)和PAB(a,b)即为在图像中具有灰 度a,b的概率，可以分别通过归一化各自的灰度直方图和联合灰度直方图而得到。当两 幅图像达到配准位置时，其互信息MI(A,B)达到最大值。
根据B所述的方法，直接在步骤A得到的序列肺实质图像的基础上进行配准，以 消除心脏等活跃区域对实验结果的影响。
所述的方法，所述步骤C具体过程如下：
C1、采用大的圆形模板用来确定结节位置信息；
根据模版匹配算法的思想，使用一种在PET图像中搜寻可疑结节区域的模版匹配方 法，由于肺结节为肺组织包绕的局限性圆形或卵圆形的结果，其形态为类圆形。因此选择模版为圆形模版。初始采用大的圆形模板用来确定结节位置信息，在大模版中，由于 最小结节在模版中会占约1/40，最大的结节在模版中会占约1/4的位置。
C2、采用小模板来确定结节边缘信息。
在大模板确定了肺结节基本的位置信息的基础上采用小模板来确定肺结节的边缘 信息，通过可变的圆形模板得到准确的肺结节区域。
所述的方法，当肺实质内某区域的SUV均值在2.5以上时，可以判定该区域是结节区域。为了保证最小的结节也会被发现，通过计算肺部PET图像正常组织的SUV值， 将初始的模板中SUV的判断阈值设为1.5以保证模板的灵敏度。SUV的计算公式如公 式(2)：
Figure BDA0001311013090000032
其中tissue concentrasion为病灶的放射性浓度，injected dose是注射剂量，body weight 是患者的体重。在人体中，不同器官会有不同的代谢水平。通常心脏、大脑、血管、肾 脏会有较高的代谢水平。在同一器官内肿瘤一般会有较高的代谢，这一特征是用于肿瘤 的诊断的基础。
所述的方法，初始模板半径T1＝30mm，因为孤立性肺结节为直径小于3cm的肿块。计算更小半径的模版Ti+1进行继续判断，公式如下(3)所示：
Figure BDA0001311013090000041
所述的方法，多尺度圆形模板匹配方法，其具体步骤如下：
第1步，设置初始模板的半径T1＝30mm，阈值S＝1.5；
第2步，选用半径为T1的圆形模板，从输入图像的原点开始匹配；
第3步，计算圆形模板内的SUVmean，若大于2.5则转到第6步，否则转到第4步；
第4步，若模板内SUVmean>S&&<2.5，则计算Ti+1，生成具有新的半径的较小 模板，转到第3步；
第5步，重复步骤3-4直到Ti＝Tmin，结束本次模板匹配；
第6步，标记该区域为肺结节区域，将模板移动Timm，转到第3步；
第7步，重复步骤2-6直到所有序列PET图像匹配完成。
所述的方法，可变圆形模版匹配之后可以得到肺结节区域，之后与步骤A中得到的肺实质区域做比对，得到超像素分割的序列肺结节区域，由此可以得到准确的肺结节轮廓，与CT原图做与运算得到最终准确的肺结节区域。
所述的方法，所述步骤D具体步骤如下：
D1、将超像素概念推广到超体素；
超像素是一系列有相似特征(颜色、亮度、纹理等)的相邻像素点组成的集合，一幅图像就是由一定数目的集合构成的，集合内的像素的特征具有一致性，这些小区域能 够保留原始图像的边界信息，而且具有多个像素的统计信息，因此相比于单个像素，超 像素含有丰富的特征信息，能够大大降低后续图像的处理复杂度，显著提高图像的分割 速度。由超像素的概念推广到三维图像上，超体素是一系列具有相似特征的空间中相邻 的体素点组成的集合，并且集合中的体素的特征具有一致性，这些超体素可以保留原始 图像的边界信息，而且具有多个体素的统计信息，包含了丰富的特征信息。
D2、超像素分割简单线性迭代聚类(SLIC)算法；
通过使用Lab色彩空间中的L,a,b三维颜色信息和像素点的坐标以及图像序列号组 成的一个5维特征向量[l,a,b,x,y]T来表达图像中的每个像素点，通过计算两个像素的特征向量之间的距离来衡量像素之间的相似性，通过此聚类算法将图像中的具有相似特征的像素点聚成一类，就形成了一个超像素。
在SLIC算法中，假设原图有N个像素，需要将其分为K个超像素，则分割后每块 超像素大致有N/K个像素，每块超像素的边长大致为
Figure BDA0001311013090000051
每隔S个像素取一 个聚类中心，以这个聚类中心的周围2S×2S为其搜索空间，搜寻相似像素点。
在SLIC算法中，每张图像中的两个像素点之间的相似度Ds可以通过计算像素与聚类中心之间的颜色特征距离Dlab和空间位置特征距离Dxy,再根据权值叠加公式来计算得到，如公式(4)(5)(6)所示。
Figure BDA0001311013090000052
Figure BDA0001311013090000053
Figure BDA0001311013090000054
公式中：
i的是第i个超像素的聚类中心，j表示搜索区域内某一像素点；
α是距离相似度的调节参数，值越大，在衡量两个像素相似性时，两个像素之间 的空间位置特征距离权重就越大。
D3、超体素3D区域增长规则；
将二维上超像素的概念推广到三维超体素上，我们采用Lab色彩空间中的L,a,b三维颜色信息和超像素的质心坐标(x,y)及每张CT图像对应的序号z，以及在PET图中当 前坐标下的SUV值w组成的一个7维特征向量[l,a,b,x,y,z w]T来表达分割好的每一个 超体素。假设原始序列图有M个体素，需要将其分为L个超体素，则分割后每块超体 素大致有M/L个体素，每隔S个体素取一个聚类中心，以这个聚类中心的周围2S×2S×2S 为其搜索空间，搜寻相似体素点。序列图像中的两个体素点之间的相似度Ds可以通过 计算体素与聚类中心之间的颜色特征距离Dlab、空间位置特征距离Dxyz和标准摄取值差 异Dw，再根据权值叠加公式来计算得到，如公式(7)(8)(9)(10)所示。
Figure BDA0001311013090000061
Figure BDA0001311013090000062
Dw＝|suvj-suvi| (9)
Figure BDA0001311013090000063
公式中：
i表示第i个超体素的聚类中心，j表示搜索区域内某一体素点；
α是距离相似度的调节参数，值越大，在衡量两个体素相似性时，两个像素之间的空间位置特征距离权重就越大；
β是SUV值的相似度调节参数，值越大，在衡量两个体素相似性时，两个像素之间的SUV值的差异权重就越大。
D4，超体素3D区域增长；
超体素可以保留原始图像的边界信息，而且具有多个体素的统计信息，所以含有丰 富的特征信息，同时还能够大大降低后续图像的处理复杂度，显著提高图像的分割速度。 所以本文提出一种以超体素为基本单位的3D区域增长方法，该方法以超体素为基本单位，结合PET图像中的SUV特征，自动选取种子点并在其6邻接区域中根据D3提出 的相似度函数进行3D超体素区域增长，可以在大幅度减少时间复杂度的同时，提高分 割精度。
选取PET图中SUV值最高的点作为种子点，得到其二维质心坐标(x,y)，同时得到其序列号z，将其坐标(x,y,z)作为种子点进行自动超体素3D区域增长，增长规则即D2 中公式(7)-(10)，结合超体素之间的颜色信息，位置距离信息和标准摄取值之间的差异信 息，根据相应的调节参数计算两个超体素之间的相似度，将具有相似性质的超体素合并 到种子区域并作为新的种子区域，不断在其6邻接区域内搜寻超体素并合并相似超体素 直到种子区域集合大小不再变化为止，结束增长。将种子区域内的所有超体素输出显示。
所述的方法，所述超体素3D区域增长方法具体步骤如下：
第1步，选取PET图中SUV值最高的点，得到其质心坐标(x,y)及序列号z；
第2步，以(x,y,z)为超体素增长的种子点，将其标记为种子区域；
第3步，在种子区域的6邻接区域内根据生长规则搜寻超体素；
第4步，将与种子点具有相似性质的超体素合并到种子区域中作为新的种子区域；
第5步，重复步骤3-4直到种子区域集合大小不再变化；
第6步，显示所有种子区域的体素集合。
与现有技术相比，本发明的有益效果为：
1、本发明的方法基于多模态数据和超体素进行肺结节的三维分割与重建，有助于医师直观的了解病情并引导复杂解剖区域手术的进行，以提高手术质量和降低手术危 险。
2、通过使用本发明的技术，能够从直观上了解肺结节形状、大小、外观等形态和与周围胸膜或血管的牵拉情况，有助于医师对肺部疾病的判断。
3、通过本发明分割重建出的肺结节三维图像，这些图像所显示的病灶特征和与周围组织的动态关系等可以为医师对肺部疾病的分析提供参考，起到辅助诊断的作用。
附图说明
图1是本发明对肺结节的分割与重建算法的流程图。
图2是使用超像素分割和自生成神经森林聚类方法得到的序列肺实质结果图。
图3是对肺实质图像进行基于互信息的PET/CT图像配准结果图。
图4是多尺度可变圆形模板匹配算法原理示意图。
图5是多尺度可变圆形模版匹配算法得到肺结节区域的结果图。
图6是本发明的步骤流程图。
图7是2D与3D区域增长下的邻接区域图，a，2d像素数据，左为4邻域，右为8 邻域，b，3d像素数据，左为6邻域，右为26邻域。
图8是本发明对孤立性肺结节的分割结果。
图9是本发明对孤立性肺结节3D超体素区域增长重建结果。
图10是本发明对胸膜牵拉型肺结节的分割结果。
图11是本发明对胸膜牵拉型肺结节3D超体素区域增长重建结果。
图12是本发明对血管粘连型肺结节的分割结果；所选的实验集在肺顶和肺底没有发现肺结节，所以在列(b)，列(e)和列(f)中，第一行、第五行没有实验结果图。
图13是本发明对血管粘连型肺结节3D超体素区域增长重建结果。
图14是本发明对对空洞型肺结节的分割结果；所选的实验集在肺顶和肺底没有发现肺结节，所以在列(b)，列(e)和列(f)中，第一行、第五行没有实验结果图。。
图15是本发明对空洞型肺结节3D超体素区域增长重建结果。
图16是本发明与传统基于体素的3D区域增长算法的重建结果对比图。
具体实施方式
以下结合具体实施例，对本发明进行详细说明。
参照图1，主要流程包括：超像素分割序列肺实质、互信息配准多模态PET/CT序 列肺实质数据、可变圆形模板匹配序列肺结节区域、超体素3D区域增长等步骤，本发 明方法的具体实施方式如下：
A，超像素分割序列肺实质：使用超像素序列图像分割算法得到ROI序列图像的超像素样本，接着采用自生成神经森林算法对超像素样本进行聚类，最后根据聚类后的超 像素集的灰度特征和位置特征识别结节肺实质区域，为之后在此肺实质图像的基础上精 确提取、分割、三维重建肺结节做准备；
A1、对于输入的肺部序列CT图像，提取其肺部序列ROI图像；
A2、使用超像素序列图像分割算法得到ROI序列图像的超像素样本；
A3、采用自生成神经森林算法对超像素样本进行聚类；
A4、根据聚类后的超像素集的灰度特征和位置特征识别结节肺实质区域。
参考图2，图2第一行为CT原图，图2第二行为超像素分割和自生成神经森林聚 类肺实质结果图，图2第三行为最终的肺实质结果图。
B，基于互信息的医学图像配准方法配准PET/CT多模态数据的肺实质区域；当两幅图像达到配准位置时，其互信息达到最大值，在步骤A中得到的肺实质图像的基础上 进行多模态数据的配准，以消除心脏等活跃区域对最终结果的影响；
B1、利用线性插值的方法将PET图像插值成与CT图像同样大小；
使用线性插值的方法将PET图插值为512×512，两种模态的图像数大小相同后再将PET图像与CT图像做配准；
B2、利用互信息配准方法配准PET/CT多模态数据；
对于两个随机变量A、B。它们的熵别是H(A)、H(B)、H(A、B)，概率分布分别为 PA(a)和PB(b)，联合概率分布为PAB(a,b)，则它们的互信息MI(A,B)为：
Figure BDA0001311013090000091
对于待配准的两幅医学图像，可以认为它们是关于图像灰度的两个随机变量集浮动 图像A和参考图像B，a和b是两幅图像中相关的体素灰度值，a和b通过坐标变换相 联系。它们的边缘概率分布和联合概率分布PA(a)、PB(b)和PAB(a,b)即为在图像中具有灰 度a,b的概率，可以分别通过归一化各自的灰度直方图和联合灰度直方图而得到。当两 幅图像达到配准位置时，其互信息MI(A,B)达到最大值。
参考图3为对肺实质图像进行基于互信息的PET/CT图像配准结果图。图3列(a)是从肺顶到肺底的5张CT原图，列(b)是列(a)所对应的肺实质分割结果图，列(c)是列(a) 所对应的PET图像进行差值后的结果图，列(d)是在CT原图(a)上进行互信息配准的结 果图，列(e)是在肺实质(b)上进行互信息配准的结果图。
C，可变圆形模板匹配序列肺结节区域：采用多尺度可变圆形模板匹配算法确定配准之后的图像中肺结节的位置和边缘信息，得到较为精确的肺结节区域；
参考图4为多尺度可变圆形模板匹配算法的原理图，将圆形模板分为大模板和小模 板分别进行模版匹配，以得到最终的肺结节区域。
C1、采用大的圆形模板用来确定结节位置信息；
把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或 多幅图像在空间上对准,或根据已知模式到另一幅图中寻找相应模式的处理方法就叫做 模板匹配。根据模版匹配算法的思想，提出一种在PET图像中搜寻可疑结节区域的模版匹配方法，由于肺结节为肺组织包绕的局限性圆形或卵圆形的结果。其形态为类圆形。 因此选择模版为圆形模版。初始采用大的圆形模板用来确定结节位置信息，在大模版中， 由于最小结节在模版中会占约1/40，最大的结节在模版中会占约1/4的位置。
C2、采用小模板来确定结节边缘信息。
在大模板确定了肺结节基本的位置信息的基础上采用小模板来确定肺结节的边缘 信息，通过可变的圆形模板得到准确的肺结节区域。
当肺实质内某区域的SUV均值在2.5以上时，可以判定该区域是结节区域。为了保证最小的结节也会被发现，通过计算肺部PET图像正常组织的SUV值，将初始的模板 中SUV的判断阈值设为1.5以保证模板的灵敏度。SUV值全称为标准摄取值(standard uptakevalue,SUV)，是PET在肿瘤诊断中常用的半定量指标，是指局部组织摄取的显像 剂的放射性活度与全身平均注射活度。目前SUV已被广泛用于肿瘤良恶性鉴别及疗效 评价，预后预测。SUV的计算公式如公式(2)：
Figure BDA0001311013090000101
其中tissue concentrasion为病灶的放射性浓度，injected dose是注射剂量，body weight 是患者的体重。在人体中，不同器官会有不同的代谢水平。通常心脏、大脑、血管、肾 脏会有较高的代谢水平。在同一器官内肿瘤一般会有较高的代谢，这一特征是用于肿瘤 的诊断的基础。
初始模板半径T1＝30mm，因为孤立性肺结节为直径小于3cm的肿块。计算更小半径的模版Ti+1进行继续判断，公式如下(3)所示：
Figure BDA0001311013090000102
多尺度可变圆形模板匹配方法，其具体步骤如下：
第1步，设置初始模板的半径T1＝30mm，阈值S＝1.5；
第2步，选用半径为T1的圆形模板，从输入图像的原点开始匹配；
第3步，计算圆形模板内的SUVmean，若大于2.5则转到第6步，否则转到第4步；
第4步，若模板内SUVmean>S&&<2.5，则计算Ti+1，生成具有新的半径的较小 模板，转到第3步；
第5步，重复步骤3-4直到Ti＝Tmin，结束本次模板匹配；
第6步，标记该区域为肺结节区域，将模板移动Timm，转到第3步；
第7步，重复步骤2-6直到所有序列PET图像匹配完成。
参考图5，多尺度可变圆形模版匹配算法得到肺结节区域的结果图。
参照图6，多尺度可变圆形模版匹配之后可以得到肺结节区域，之后与步骤A中所述的得到的肺实质区域做比对，得到超像素分割的序列肺结节区域，由此可以得到准确 的肺结节轮廓，与CT原图做与运算得到最终准确的肺结节区域。
D、超体素3D区域增长：采用超体素3D区域增长方法，以超体素为基本单位，结 合PET图像中的SUV特征，利用肺结节序列图像的序列特征，自动选取种子点并在其 6邻接区域中根据提出的相似度函数进行超体素区域增长，最终实现肺结节序列图像的 快速分割与重建。
参考图7，对应于2D图像区域生长中种子点是4或8个相邻接点，3D中的种子点 一般有6或26个相邻接点，关键取决于是否包括对角线上的相邻接点。
D1、将超像素概念推广到超体素；
超像素是一系列有相似特征(颜色、亮度、纹理等)的相邻像素点组成的集合，一幅图像就是由一定数目的集合构成的，集合内的像素的特征具有一致性，这些小区域能 够保留原始图像的边界信息，而且具有多个像素的统计信息，因此相比于单个像素，超 像素含有丰富的特征信息，能够大大降低后续图像的处理复杂度，显著提高图像的分割 速度。由超像素的概念推广到三维图像上，超体素是一系列具有相似特征的空间中相邻 的体素点组成的集合，并且集合中的体素的特征具有一致性，这些超体素可以保留原始 图像的边界信息，而且具有多个体素的统计信息，包含了丰富的特征信息。
D2、超像素分割简单线性迭代聚类(SLIC)算法；
通过使用Lab色彩空间中的L,a,b三维颜色信息和像素点的坐标以及图像序列号组 成的一个5维特征向量[l,a,b,x,y]T来表达图像中的每个像素点，通过计算两个像素的特征向量之间的距离来衡量像素之间的相似性，通过此聚类算法将图像中的具有相似特征的像素点聚成一类，就形成了一个超像素。
在SLIC算法中，假设原图有N个像素，需要将其分为K个超像素，则分割后每块 超像素大致有N/K个像素，每块超像素的边长大致为
Figure BDA0001311013090000121
每隔S个像素取一 个聚类中心，以这个聚类中心的周围2S×2S为其搜索空间，搜寻相似像素点。
在SLIC算法中，每张图像中的两个像素点之间的相似度Ds可以通过计算像素与聚类中心之间的颜色特征距离Dlab和空间位置特征距离Dxy,再根据权值叠加公式来计算得到，如公式(4)(5)(6)所示。
Figure BDA0001311013090000122
Figure BDA0001311013090000123
Figure BDA0001311013090000124
公式中：
i表示第i个超像素的聚类中心，j表示搜索区域内某一像素点；
α是距离相似度的调节参数，值越大，在衡量两个像素相似性时，两个像素之间 的空间位置特征距离权重就越大。
D3、超体素3D区域增长规则；
将二维上超像素的概念推广到三维超体素上，我们采用Lab色彩空间中的L,a,b三维颜色信息和超像素的质心坐标(x,y)及每张CT图像对应的序号z，以及在PET图中当 前坐标下的SUV值w组成的一个7维特征向量[l,a,b,x,y,z w]T来表达分割好的每一个 超体素。假设原始序列图有M个体素，需要将其分为L个超体素，则分割后每块超体 素大致有M/L个体素，每隔S个体素取一个聚类中心，以这个聚类中心的周围2S×2S×2S 为其搜索空间，搜寻相似体素点。序列图像中的两个体素点之间的相似度Ds可以通过 计算体素与聚类中心之间的颜色特征距离Dlab、空间位置特征距离Dxyz和标准摄取值差 异Dw，再根据权值叠加公式来计算得到，如公式(7)(8)(9)(10)所示。
Figure BDA0001311013090000131
Figure BDA0001311013090000132
Dw＝|suvj-suvi| (9)
Figure BDA0001311013090000133
公式中：
i的是第i个超体素的聚类中心，j表示搜索区域内某一体素点；
α是距离相似度的调节参数，值越大，在衡量两个体素相似性时，两个像素之间的空间位置特征距离权重就越大；
β是SUV值的相似度调节参数，值越大，在衡量两个体素相似性时，两个像素之间的SUV值的差异权重就越大。
D4，超体素3D区域增长；
超体素可以保留原始图像的边界信息，而且具有多个体素的统计信息，所以含有丰 富的特征信息，同时还能够大大降低后续图像的处理复杂度，显著提高图像的分割速度。 所以本文提出一种以超体素为基本单位的3D区域增长方法，该方法以超体素为基本单位，结合PET图像中的SUV特征，自动选取种子点并在其6邻接区域中根据D3提出 的相似度函数进行3D超体素区域增长，可以在大幅度减少时间复杂度的同时，提高分 割精度。
选取PET图中SUV值最高的点作为种子点，得到其二维质心坐标(x,y)，同时得到其序列号z，将其坐标(x,y,z)作为种子点进行自动超体素3D区域增长，增长规则即D2 中公式(4)-(7)，结合超体素之间的颜色信息，位置距离信息和标准摄取值之间的差异信 息，根据相应的调节参数计算两个超体素之间的相似度，将具有相似性质的超体素合并 到种子区域并作为新的种子区域，不断在其6邻接区域内搜寻超体素并合并相似超体素 直到种子区域集合大小不再变化为止，结束增长。将种子区域内的所有超体素输出显示。
所述超体素3D区域增长方法具体步骤如下：
第1步，选取PET图中SUV值最高的点，得到其质心坐标(x,y)及序列号z；
第2步，以(x,y,z)为超体素增长的种子点，将其标记为种子区域；
第3步，在种子区域的6邻接区域内根据生长规则搜寻超体素；
第4步，将与种子点具有相似性质的超体素合并到种子区域中作为新的种子区域；
第5步，重复步骤3-4直到种子区域集合大小不再变化；
第6步，显示所有种子区域的体素集合。
参考图8、10、12、14分别为本发明对孤立性肺结节、胸膜牵拉型肺结节、血管粘 连型肺结节和空洞型肺结节的分割结果图。其中每张图列(a)是从肺顶到肺底的5张CT 原图，列(b)是医师对肺结节的手工分割标准，列(c)是步骤A分割肺实质得到的效果， 列(d)是使用互信息配准PET/CT并在肺实质上显示的效果(步骤B)，列(e)是将(c)列与 (d)列的融合之后的超像素分割的序列肺结节的效果，列(f)是最终的对四类肺结节分割效 果；图12和图14中，由于序列图像数目较多，我们挑选了从肺顶到肺底总共5张肺部 CT图像用来展示图像分割的过程和结果，其中肺顶肺底各一张，中间包含肺结节的图 像3张，因为所选的实验集在肺顶和肺底没有发现肺结节，所以在列(b)，列(e)和列(f) 中，第一行跟、五行没有实验结果图。
参考图9、11、13、15分别为本发明对孤立性肺结节、胸膜牵拉型肺结节、血管粘 连型肺结节和空洞型肺结节的超体素3D区域增长结果图，其中展示了四类不同类型的 肺结节的多角度的增长结果并显示了胸膜牵拉型肺结节和血管粘连型肺结节与周围组 织的关系。
参考图16对比了本发明与传统的基于体素的3D区域增长的结果，从中可以很直观地发现本发明的三维重建效果更好。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于多模态数据的超体素序列肺部图像的3D肺结节分割方法，其特征在于，具体步骤如下：
A，使用超像素序列图像分割算法得到ROI序列图像的超像素样本，接着采用自生成神经森林算法对超像素样本进行聚类，最后根据聚类后的超像素集的灰度特征和位置特征识别结节肺实质区域，为之后在此肺实质图像的基础上精确提取、分割、三维重建肺结节做准备；
B，采用基于互信息的医学图像配准方法配准PET/CT多模态数据的肺实质区域；当两幅图像达到配准位置时，其互信息达到最大值，在步骤A中得到的肺实质图像的基础上进行多模态数据的配准，以消除包括心脏在内的活跃区域对最终结果的影响；
C，采用多尺度可变圆形模板匹配算法确定配准之后的图像中肺结节的位置和边缘信息，得到较为精确的肺结节区域；
D，采用超体素3D区域增长方法，以超体素为基本单位，结合PET图像中的SUV特征，利用肺结节序列图像的序列特征，自动选取种子点并在其6邻接区域中根据提出的相似度函数进行超体素区域增长，最终实现肺结节序列图像的快速分割与重建。
2.根据权利要求1所述的方法，其特征在于，所述步骤A具体过程如下：
A1、对于输入的肺部序列CT图像，提取其肺部序列ROI图像；
A2、使用超像素序列图像分割算法得到ROI序列图像的超像素样本；
A3、采用自生成神经森林算法对超像素样本进行聚类；
A4、根据聚类后的超像素集的灰度特征和位置特征识别结节肺实质区域。
3.根据权利要求1所述的方法，其特征在于，所述步骤B具体过程如下：
B1、利用线性插值的方法将PET图像插值成与CT图像同样大小；
使用线性插值的方法将PET图插值为512×512，两种模态的图像数大小相同后再将PET图像与CT图像做配准；
B2、利用互信息配准方法配准PET/CT多模态数据；
对于两个随机变量A、B；它们的熵别是H(A)、H(B)、H(A、B)，概率分布分别为PA(a)和PB(b)，联合概率分布为PAB(a,b)，则它们的互信息MI(A,B)为：
Figure FDA0002127684390000021
对于待配准的两幅医学图像，认为它们是关于图像灰度的两个随机变量集浮动图像A和参考图像B，a和b是两幅图像中相关的体素灰度值，a和b通过坐标变换相联系；它们的边缘概率分布分别为PA(a)、PB(b)，联合概率分布为PAB(a,b)，分别通过归一化各自的灰度直方图和联合灰度直方图而得到；当两幅图像达到配准位置时，其互信息MI(A,B)达到最大值。
4.根据权利要求1所述的方法，其特征在于，所述步骤C具体过程如下：
C1、采用大的圆形模板用来确定结节位置信息；
根据模版匹配算法的思想，提出一种在PET图像中搜寻可疑结节区域的模版匹配方法，由于肺结节为肺组织包绕的局限性圆形或卵圆形的结果；其形态为类圆形；因此选择模版为圆形模版；初始采用大的圆形模板用来确定结节位置信息，在大模版中，最小结节在模版中会占1/40，最大的结节在模版中会占1/4的位置；
C2、采用小模板来确定结节边缘信息；
在大模板确定了肺结节基本的位置信息的基础上采用小模板来确定肺结节的边缘信息，通过可变的圆形模板得到准确的肺结节区域。
5.根据权利要求4所述的方法，其特征在于，当肺实质内某区域的SUV均值在2.5以上时，判定该区域是结节区域；为了保证最小的结节也会被发现，通过计算肺部PET图像正常组织的SUV值，将初始的模板中SUV的判断阈值设为1.5以保证模板的灵敏度；SUV的计算公式如公式(2)：
Figure FDA0002127684390000022
其中tissue concentrasion为病灶的放射性浓度，injected dose是注射剂量，bodyweight是患者的体重。
6.根据权利要求4所述的方法，其特征在于，初始模板半径T1＝30mm，因为孤立性肺结节为直径小于3cm的肿块；计算更小半径的模版Ti+1进行继续判断，公式如下(3)所示：
Figure FDA0002127684390000031
7.根据权利要求4所述的方法，其特征在于，多尺度圆形模板匹配方法，其具体步骤如下：
第1步，设置初始模板的半径T1＝30mm，阈值S＝1.5；
第2步，选用半径为T1的圆形模板，从输入图像的原点开始匹配；
第3步，计算圆形模板内的SUVmean，若大于2.5则转到第6步，否则转到第4步；
第4步，若模板内SUVmean>S&&<2.5，则计算Ti+1，生成具有新的半径的较小模板，转到第3步；
第5步，重复步骤3-4直到Ti＝Tmin，结束本次模板匹配；
第6步，标记该区域为肺结节区域，将模板移动Timm，转到第3步；
第7步，重复步骤2-6直到所有序列PET图像匹配完成。
8.根据权利要求4所述的方法，其特征在于，可变圆形模版匹配之后得到肺结节区域，之后与步骤A中得到的肺实质区域做比对，得到超像素分割的序列肺结节区域，由此得到准确的肺结节轮廓，与CT原图做与运算得到最终准确的肺结节区域。
9.根据权利要求1所述方法，其特征在于，所述步骤D具体步骤如下：
D1、将超像素概念推广到超体素；
由超像素的概念推广到三维图像上，超体素是一系列具有相似特征的空间中相邻的体素点组成的集合，并且集合中的体素的特征具有一致性，这些超体素可以保留原始图像的边界信息，而且具有多个体素的统计信息，包含了丰富的特征信息；
D2、超像素分割简单线性迭代聚类(SLIC)算法；
通过使用Lab色彩空间中的L,a,b三维颜色信息和像素点的坐标以及图像序列号组成的一个5维特征向量[l,a,b,x,y]T来表达图像中的每个像素点，通过计算两个像素的特征向量之间的距离来衡量像素之间的相似性，通过此聚类算法将图像中的具有相似特征的像素点聚成一类，就形成了一个超像素；
在SLIC算法中，假设原图有N个像素，需要将其分为K个超像素，则分割后每块超像素大致有N/K个像素，每块超像素的边长大致为
Figure FDA0002127684390000041
每隔S个像素取一个聚类中心，以这个聚类中心的周围2S×2S为其搜索空间，搜寻相似像素点；
在SLIC算法中，每张图像中的两个像素点之间的相似度Ds通过计算像素与聚类中心之间的颜色特征距离Dlab和空间位置特征距离Dxy,再根据权值叠加公式来计算得到，如公式(4)(5)(6)所示；
Figure FDA0002127684390000042
Figure FDA0002127684390000043
Figure FDA0002127684390000044
公式中：
i表示第i个超像素的聚类中心，j表示搜索区域内某一像素点；
α是距离相似度的调节参数，值越大，在衡量两个像素相似性时，两个像素之间的空间位置特征距离权重就越大；
D3、超体素3D区域增长规则；
将二维上超像素的概念推广到三维超体素上，采用Lab色彩空间中的L,a,b三维颜色信息和超像素的质心坐标(x,y)及每张CT图像对应的序号z，以及在PET图中当前坐标下的SUV值w组成的一个7维特征向量[l,a,b,x,y,z,w]T来表达分割好的每一个超体素；假设原始序列图有M个体素，需要将其分为L个超体素，则分割后每块超体素大致有M/L个体素，每隔S个体素取一个聚类中心，以这个聚类中心的周围2S×2S×2S为其搜索空间，搜寻相似体素点；序列图像中的两个体素点之间的相似度Ds通过计算体素与聚类中心之间的颜色特征距离Dlab、空间位置特征距离Dxyz和标准摄取值差异Dw，再根据权值叠加公式来计算得到，如公式(7)(8)(9)(10)所示；
Figure FDA0002127684390000051
Figure FDA0002127684390000052
Dw＝|suvj-suvi| (9)
Figure FDA0002127684390000053
公式中：
i的是第i个超体素的聚类中心，j表示搜索区域内某一体素点；
α是距离相似度的调节参数，值越大，在衡量两个体素相似性时，两个像素之间的空间位置特征距离权重就越大；
β是SUV值的相似度调节参数，值越大，在衡量两个体素相似性时，两个像素之间的SUV值的差异权重就越大；
D4，超体素3D区域增长；
提出一种以超体素为基本单位的3D区域增长方法，该方法以超体素为基本单位，结合PET图像中的SUV特征，自动选取种子点并在其6邻接区域中根据D3提出的相似度函数进行3D超体素区域增长，在大幅度减少时间复杂度的同时，提高分割精度；
选取PET图中SUV值最高的点作为种子点，得到其二维质心坐标(x,y)，同时得到其序列号z，将其坐标(x,y,z)作为种子点进行自动超体素3D区域增长，增长规则即D2中公式(7)-(10)，结合超体素之间的颜色信息，位置距离信息和标准摄取值之间的差异信息，根据相应的调节参数计算两个超体素之间的相似度，将具有相似性质的超体素合并到种子区域并作为新的种子区域，不断在其6邻接区域内搜寻超体素并合并相似超体素直到种子区域集合大小不再变化为止，结束增长；将种子区域内的所有超体素输出显示；
所述超体素3D区域增长方法具体步骤如下：
第1步，选取PET图中SUV值最高的点，得到其质心坐标(x,y)及序列号z；
第2步，以(x,y,z)为超体素增长的种子点，将其标记为种子区域；
第3步，在种子区域的6邻接区域内根据生长规则搜寻超体素；
第4步，将与种子点具有相似性质的超体素合并到种子区域中作为新的种子区域；
第5步，重复步骤3-4直到种子区域集合大小不再变化；
第6步，显示所有种子区域的体素集合。
CN201710406314.5A 2017-06-02 2017-06-02 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法 Active CN107230206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710406314.5A CN107230206B (zh) 2017-06-02 2017-06-02 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710406314.5A CN107230206B (zh) 2017-06-02 2017-06-02 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法

Publications (2)

Publication Number Publication Date
CN107230206A CN107230206A (zh) 2017-10-03
CN107230206B true CN107230206B (zh) 2020-03-13

Family

ID=59934299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710406314.5A Active CN107230206B (zh) 2017-06-02 2017-06-02 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法

Country Status (1)

Country Link
CN (1) CN107230206B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644427B (zh) * 2017-09-08 2021-06-25 康达洲际医疗器械有限公司 一种基于msew-ca结合灰度直方图的多模态图像分割方法
CN108257134B (zh) * 2017-12-21 2022-08-23 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
CN110163834B (zh) * 2018-05-14 2023-08-25 腾讯科技（深圳）有限公司 对象识别方法和装置及存储介质
CN108765399B (zh) * 2018-05-23 2022-01-28 平安科技（深圳）有限公司 病变部位识别装置、计算机装置及可读存储介质
CN110638477B (zh) * 2018-06-26 2023-08-11 佳能医疗系统株式会社 医用图像诊断装置以及对位方法
CN109215064B (zh) * 2018-08-03 2021-06-08 华南理工大学 一种基于超像素向导的医学图像配准方法
CN109410170B (zh) * 2018-09-14 2022-09-02 东软医疗系统股份有限公司 图像数据处理方法、装置及设备
CN109598726A (zh) * 2018-10-26 2019-04-09 哈尔滨理工大学 一种基于slic的自适应图像目标区域分割方法
CN109544528B (zh) * 2018-11-19 2021-02-12 上海馨孚科技有限公司 一种肺小结节图像识别方法及装置
CN109872351A (zh) * 2019-03-18 2019-06-11 山东浪潮云信息技术有限公司 一种医学图像配准与三维重建系统及方法
CN109949320B (zh) * 2019-03-20 2020-12-11 哈尔滨工业大学 基于熵与互信息的高光谱图像超像元分割方法
CN112184613A (zh) * 2019-07-05 2021-01-05 深圳市前海安测信息技术有限公司 基于人工智能的磁共振肺部影像识别装置及方法
CN110533667B (zh) * 2019-07-29 2022-12-02 西安电子科技大学 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法
CN110706241B (zh) * 2019-09-30 2023-07-04 沈阳智核医疗科技有限公司 一种三维病灶区域提取方法和装置
CN110838114B (zh) * 2019-11-11 2022-07-22 苏州锐一仪器科技有限公司 肺结节检测方法、装置及计算机存储介质
CN111815776A (zh) * 2020-02-04 2020-10-23 山东水利技师学院 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法
CN111340756B (zh) * 2020-02-13 2023-11-28 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质
CN111358484B (zh) * 2020-03-23 2021-12-24 广州医科大学附属第一医院（广州呼吸中心） 核医学肺灌注显像定量分析方法、分析设备及存储介质
CN111862001B (zh) * 2020-06-28 2023-11-28 微医云(杭州)控股有限公司 Ct影像的半自动标注方法及装置、电子设备、存储介质
CN112435261B (zh) * 2020-11-16 2023-06-16 辽宁师范大学 基于超体素的多模态mri脑肿瘤分割方法
CN116416166B (zh) * 2023-06-12 2023-08-04 贵州省人民医院 一种肝活检数据分析方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"3D shape analysis for early diagnosis of malignant lung nodules";Ayman El-Baz等;《Med Image Comput Comput Assist Interv》;20111231;第772-783页 *
"A Segmentation Method for Lung Parenchyma Image Sequences Based on Superpixels and a Self-Generating Neural Forest";Xiaolei Liao等;《PLoS One》;20160817;第11卷(第8期);全文 *
"Solitary Pulmonary Nodule Segmentation Based on the Rolling Ball Method";Juanjuan Zhao等;《Journal of Computational and Theoretical Nanoscience》;20151231;第12卷(第8期);第1977-1983页 *
"基于PET/CT的孤立性肺结节的自动分割方法";强彦等;《清华大学学报（自然科学版）》;20130215;第53卷(第2期);第200-204页 *
"基于互信息的肺部PET-CT图像非刚性配准";赵涓涓等;《清华大学学报（自然科学版）》;20130815;第53卷(第8期);第1091-1097页 *
"基于分层模版种子点的分水岭分割孤立性肺结节的方法";赵涓涓等;《清华大学学报（自然科学版）》;20140715;第54卷(第7期);第910-916页 *

Also Published As

Publication number Publication date
CN107230206A (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
CN107230206B (zh) 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
Li et al. Brain tumor detection based on multimodal information fusion and convolutional neural network
CN107622492B (zh) 肺裂分割方法及系统
Ye et al. Multi-depth fusion network for whole-heart CT image segmentation
US9378580B2 (en) Systems and methods for image-based object modeling using multiple image acquisitions or reconstructions
Zhang et al. Review of breast cancer pathologigcal image processing
US9514530B2 (en) Systems and methods for image-based object modeling using multiple image acquisitions or reconstructions
CN105279759B (zh) 结合上下信息窄带约束的腹腔主动脉瘤外轮廓分割方法
CN107808156A (zh) 感兴趣区域提取方法
CN107563998B (zh) 医学图像中心脏图像处理方法
CN110738701B (zh) 一种肿瘤三维定位系统
CN106447645A (zh) 增强ct图像中冠脉钙化检测及量化装置和方法
Liu et al. Automatic whole heart segmentation using a two-stage u-net framework and an adaptive threshold window
CN107945169B (zh) 一种冠状动脉影像分析方法
CN105912874A (zh) 基于dicom医学图像构建的肝脏三维数据库系统
CN103310458A (zh) 结合凸包匹配和多尺度分级策略的医学图像弹性配准方法
WO2022105623A1 (zh) 一种基于迁移学习的颅内血管病灶识别方法
CN108961278B (zh) 基于影像数据的腹壁肌肉分割的方法及其系统
Liu et al. Multimodal MRI brain tumor image segmentation using sparse subspace clustering algorithm
CN109498046A (zh) 基于核素图像与ct冠脉造影融合的心肌梗死定量评估方法
WO2003046817A1 (en) Detection and analysis of lesions in contact with a structural boundary
CN115830016B (zh) 医学图像配准模型训练方法及设备
CN112767407A (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN110458859A (zh) 一种基于多序列mri的多发性骨髓瘤病灶的分割系统
Hao et al. Magnetic resonance image segmentation based on multi-scale convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant