CN107730542A - 锥束计算机断层扫描图像对应与配准方法 - Google Patents

锥束计算机断层扫描图像对应与配准方法 Download PDF

Info

Publication number
CN107730542A
CN107730542A CN201710755960.2A CN201710755960A CN107730542A CN 107730542 A CN107730542 A CN 107730542A CN 201710755960 A CN201710755960 A CN 201710755960A CN 107730542 A CN107730542 A CN 107730542A
Authority
CN
China
Prior art keywords
super voxel
image
forest
super
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710755960.2A
Other languages
English (en)
Other versions
CN107730542B (zh
Inventor
裴玉茹
易芸皑
郭玉珂
许天民
查红彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201710755960.2A priority Critical patent/CN107730542B/zh
Publication of CN107730542A publication Critical patent/CN107730542A/zh
Application granted granted Critical
Publication of CN107730542B publication Critical patent/CN107730542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公布了一种锥束计算机断层扫描图像对应与配准方法,基于混合测度森林,利用非监督聚类森林生成锥束CT图像之间的超体素之间的稠密对应;再利用基于森林的测度估计锥束CT图像之间的超体素之间的稠密对应与锥束CT图像的配准。训练混合测度森林包括:提取超体素特征;训练初始聚类森林,估计超体素之间的相似度;估计弱标注;基于初始聚类森林迭代增强基于森林的测度;估计柔性一致度;在线测试将超体素特征输入到训练好的混合测度森林,估计超体素之间的相似度与对应,并估计柔性一致度;获取锥束CT图像之间的变形参数并实现配准。本发明可以快速建立三维锥束计算机断层扫描图像对应与配准。

Description

锥束计算机断层扫描图像对应与配准方法
技术领域
本发明涉及口腔临床医学和计算机视觉技术领域,具体涉及锥束计算机断层扫描图像对应与配准方法。
背景技术
锥束计算机断层扫描(锥束CT)图像在口腔正畸临床中广泛使用,用于评价治疗以及度量组织结构的生长发育。高效与可靠的锥束CT图像配准以及图像之间体素的稠密对应是计算机辅助的术中干预与在线的图像属性迁移诸如特征点定位与分割标签迁移的关键。在医学图像处理领域,对三维图像配准已经进行多年的研究。尽管多年的研究对图像配准有了极大的推动,但是高效的锥束CT图像配准以及体素的稠密对应仍具有挑战性。考虑到锥束CT中通常包含上亿个体素,使用一般的图像测度例如互信息与规范相关,并利用大规模的非线性优化通常难以实现在线快速的图像配准。此外当图像配准的初始化较差时,配准易于陷入局部最小。对于诸如计算机辅助的术中干预等在线的交互应用,高效可靠的锥束CT之间的体素稠密对应以及图像配准仍有待解决。
基于缩减采样的技术被用于加速图像配准与体素对应,尽管利用重要性采样加速了相似性测度的梯度计算,但其仍然依赖迭代优化技术并耗时数分钟。而且,在采样过程中,离散样本的采样方式多变并且不能覆盖所有的三维图像。有监督的分类与回归森林具有高效的训练与在线测试能力,并被用于三维医学图像中的体素对应,但是基于森林所获取的对应需要在后处理中利用正则化优化获取一致对应,这也是一个耗时的过程。此外,对于有监督的学习模型,例如分类与回归森林需要大量的训练数据。对三维图像进行标注费时耗力并易于受到个体标注的主观影响。基于超体素分解定义的伪标注可以缓解标注代价,但是,伪标注仅仅来自一个三维图像,难于在有限的标注数据实现具有较好泛化能力强的分类器。
发明内容
为了克服上述现有技术的不足,本发明提供一种锥束计算机断层扫描图像对应与配准方法,基于提出的混合测度森林算法,估计锥束CT图像之间的超体素之间的稠密对应。利用本发明提供的方法,可以快速建立三维锥束计算机断层扫描图像对应与配准,进行计算机辅助的术中干预与在线的特征点定位与分割标签迁移。
本发明的核心是:提出混合测度森林算法,生成锥束CT图像之间超体素之间的稠密对应。其中以迭代森林增强技术获取最优的基于森林的测度,并利用该测度估计锥束CT图像超体素之间的相似度。为了区分并评价非监督聚类森林对锥束CT图像中的超体素划分与相似度估计,利用从聚类随机森林获取的弱标注定义体素以及类别的置信分数,并基于置信分数区分未得到良好聚类的超体素以及相关的超体素类别。在迭代森林增强过程中,基于置信分数定义超体素与对应类别的惩罚权重,定义在节点分裂中的基于弱标注的关于分类器的加权信息增益。同时优先考虑在先前迭代中未获得良好聚类的样本,定义在节点分裂中关于聚类的加权信息增益。结合节点分裂过程中的分类与聚类信息增益,进行混合的信息增益估计,并基于该混合信息增益估计节点分裂的最优参数。在每步迭代中更新的混合测度森林会进一步消除先前迭代中未获得良好聚类的超体素,并更新锥束CT图像之间超体素的相似度矩阵以及超体素之间的稠密对应。为了进一步估计由混合测度森林返回的超体素候选匹配的空间一致性,基于超体素的置信分数定义候选匹配的柔性一致标签。利用回归森林进行一致性评价。在线测试阶段,利用混合测度森林估计由测试图像中分解的超体素之间的稠密对应,进而利用候选匹配的柔性一致标签对稠密对应进行正则化处理。混合测度森林基于非监督学习方法,不需要任何先验的标注信息,通过自学习数据分布以及图像之间一致匹配,在迭代过程中不断增强混合测度森林,并利用基于森林的测度估计锥束CT图像之间超体素的稠密对应与锥束CT图像配准。
本发明提供的技术方案是:
一种锥束计算机断层扫描图像对应与配准方法,基于混合测度森林算法,利用非监督聚类森林生成锥束CT图像之间的超体素之间的稠密对应;利用基于森林的测度,估计锥束CT图像之间的超体素之间的稠密对应与锥束CT图像的配准;包括如下步骤:
1)超体素特征提取:从锥束CT图像中分解超体素,提取超体素特征;
在训练锥束CT图像超体素的混合测度森林中,使用三种类型的超体素特征:灰度特征、空间上下文特征、测地坐标特征。
灰度特征表示为其中,b为超体素中包含体素的灰度直方图;为超体素的近邻超体素的灰度直方图的均值。
基于超体素与包含该超体素的上下文立方体中的超体素之间的灰度特征差异定义上下文特征。定义上下文特征fc为fc={χ2(fa(s),fa(s+Δk))|s+Δk∈P},即当前超体素灰度特征fa(s)与上下文超体素灰度特征fa(s+Δk)之间的卡方距离;P为随机采样模式,由一组预先采样的偏移向量Δk组成,其中每个向量结合当前超体素的坐标均可确定上下文立方体中的一个超体素;
定义超体素的测地坐标特征fg为当前超体素s与背景超体素sg之间的最短测地距离fg(s)=min d(s,sg|G);其中,G为在锥束CT图像分解的超体素之间构造的图模型,该图模型的节点为超体素,相邻超体素之间以边连接,并基于相邻超体素的灰度差异定义边上的权重为exp(-ρ||fa(si)-fa(sj)||),其中归一化的系数ρ=1/max||fa(si)-fa(sj)||。
2)训练初始聚类森林,利用非监督的聚类森林估计得到超体素之间的相似度;
给定一组包含M个锥束CT图像的图像集V={Vi|i=0,...,M}与对应锥束CT图像分解的超体素集S={si|i=1,...,N},其中包含N个超体素,利用非监督的聚类森林估计超体素之间的相似度;
21)在非监督聚类森林训练中,利用数据分布不确定性的超椭球体积度量节点分裂的信息增益,表示为式1:
其中,tr为节点分裂后的左子节点l、右子节点r中的超体素数据的协方差矩阵的迹,可有效地避免高维数据协方差矩阵的秩不足问题;系数
22)对于包含nT棵树的森林,基于聚类森林的相似度定义为式2:
a(si,sj)=1/nT∑ak(si,sj) (式2)
其中,a(si,sj)表示基于聚类森林的测度返回的超体素si与sj的相似度;ak(si,sj)表示基于聚类森林中的第k棵树返回的超体素si与sj的相似度;对于第k棵树,对应的相似度ak(si,sj)=[ι(si)=ι(sj)],其中[·]是指示函数;当超体素si与sj被分配到相同的叶子节点ι,即ι(si)=ι(sj),则认为超体素si与sj相似;否则不相似;
3)进行估计得到超体素的弱标注;
31)利用基于聚类随机森林的相似度,获取锥束CT图像Vr与Vt之间超体素的稠密对应;
32)在图像Vr与Vt之定义映射函数φ(si)=sj,其中sj=arg max a(si,sj),si∈Vr,sj∈Vt
33)利用该映射函数,将包含ns个超体素参照图像Vr的超体素索引集合Yr={yi|yi∈{1,...,ns}}迁移到锥束CT图像Vt,其中,当φ(si)=sj,y(si)=y(sj),即在锥束CT图像Vt中寻找与参照锥束CT图像中超体素si对应的超体素sj,并将参照锥束CT图像中超体素si对应的超体索引赋予sj作为图像Vt的弱标注;
利用从聚类随机森林获取的弱标注定义超体素以及类别的置信分数,并基于置信分数区分未得到良好聚类的超体素以及相关的超体素类别;
根据超体素的弱标注对应的索引迁移,在给定的锥束CT图像集中选择具有最一致的索引迁移的图像作为参照图像,使得锥束CT数据集利用该参照图像获取的对应超体素之间的相似度和最大;即其中,表示聚类森林返回的超体素的相似度;为避免由于随机选择参照图像造成有偏的索引迁移;
4)训练混合测度森林,所述混合测度森林是基于初始聚类森林,使用迭代的方式增强基于森林的测度;在训练过程中,优先考虑在上一次迭代中未能获得良好聚类的超体素;利用步骤3)得到的超体素索引的弱标注,在节点分裂中通过关于分类的加权信息增益与关于聚类的加权信息增益,寻找最优的节点分裂参数;
41)针对锥束CT图像V(k)与Vr,定义超体素类别yi关于第k棵树的置信分数τ(k)为式3:
其中,Q(k)与Qr为关于锥束CT图像V(k)与Vr的ns×ns′的距离矩阵,矩阵中元素对应锥束CT图像V(k)与参照锥束CT图像Vr中标签为Y与Ys的超体素之间的归一化的欧式距离;Ys是标签集合Y的一个子集,其元素的个数为ns′;δ是Heaviside函数;η是预先定义的不一致常数;矩阵Q的第i行是具有标签yi的超体素与标签为Ys的超体素之间的空间距离;
42)当图像V(k)中具有标签yi的体素与标签为Ys的体素之间的空间距离关系与参考图像Vr一致时,标签yi被认为是关于图像V(k)可靠的标签;
43)利用在所有图像上的置信度定义标签yi的置信度γi为式4:
其中,δ是Heaviside函数;为图像V(k)上关于类别yi的置信度;
44)利用标签v的置信度,定义基于弱标注所确定的离散概率分布对应的加权信息增益为式5:
其中,为当前节点数据属于第i类的概率;γi为第i类标签的置信分数;ak为基于集合元素的个数定义系数,
45)利用置信分数区分在先前迭代中聚类较差的样本,并在节点分裂中估计数据分布不确定性时给予惩罚权重;定义超体素的惩罚权重v(s)为式6:
其中,y(s)是超体素s所对应的超体素类别标签,为对于锥束CT图像V(k)的类别标签y(s)的置信分数;K是惩罚阈值常数;聚类相关的信息增益Iu定义为式7:
其中,是超体素数据集的加权平均;v是超体素的惩罚权重;基于集合元素的个数定义系数
46)估计由弱标注确定的离散概率分布的惩罚权重分类信息增益Ic以及数据分布不确定性的聚类信息增益Iu;混合测度森林在节点分裂时的信息增益I定义为式8:
其中,利用根节点分裂时分类信息增益与聚类的信息增益进行归一化;当更新混合测度森林后,弱标注与惩罚权重也相应地进行更新;使得在迭代过程中混合测度森林节点分裂的信息增益将优先考虑未能得到良好聚类的样本与类别,不断增强基于森林的测度用于估计锥束CT图像之间的对应;
通过上述步骤,得到训练好的混合测度森林;进一步估计柔性一致度。
5)估计柔性一致度,再利用柔性一致度估计在图像上下文约束下的由混合测度森林所确定超体素对应的一致性;
51)基于训练好的混合测度森林,通过式9获取锥束CT图像对超体素之间的对应集C:
其中,φ为图像之间超体素的映射函数;该对应基于混合测度森林测度;其中每一组对应均独立,缺乏每组对应与集合C中其它对应之间的关系;
52)利用回归森林进行柔性一致度估计,再利用柔性一致度估计在图像上下文约束下的由混合测度森林所确定超体素对应的一致性;
将集合C中匹配对标记为z=(si,sj),对应的特征为特征fz的第一项是超体素si与sj特征之间的差异;第二项是对应点对(si,sj)在超体素特征空间中的位置;
基于超体素的置信度引入柔性一致度其中y是超体素si与sj的类别标签;是超体素类别y关于锥束CT图像的置信分数;在对应特征fz与柔性一致度u(z)之间基于回归森林建立回归。
通过上述步骤,得到训练好的混合测度森林。
在线测试阶段,从锥束CT图像中分解超体素,提取超体素特征,并将超体素特征输入到训练好的混合测度森林,估计超体素之间的相似度与超体素之间的对应,并估计对应的超体素的柔性一致度。较高的柔性一致度分数u意味点对中的两个超体素具有图像与图像中的可靠标签,进而z=(si,sj)与集合C中其余对应一致。本发明具体实施中,柔性一致度u取值为0.1,保留大于0.1的对应。柔性一致度分数较低的超体素对应将被去除,并以该超体素近邻超体素在另一个锥束CT图像中所对应超体素确定新的对应。在获取锥束CT图像之间超体素对应后,即可方便地获取锥束CT图像之间的变形参数例如图像位移场并实现配准。
与现有技术相比,本发明的有益效果是:
本发明提供一种锥束计算机断层扫描图像对应与配准方法,基于混合测度森林,利用非监督聚类森林生成锥束CT图像之间的超体素之间的稠密对应;再利用基于森林的测度估计锥束CT图像之间的超体素之间的稠密对应与锥束CT图像的配准。利用本发明提供的方法,可以快速建立三维锥束计算机断层扫描图像对应与配准,进行计算机辅助的术中干预与在线的特征点定位与分割标签迁移。
附图说明
图1为本发明方法的流程框图。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
本发明提供一种锥束计算机断层扫描图像对应与配准方法,基于混合测度森林算法,利用非监督聚类森林生成锥束CT图像之间的超体素之间的稠密对应;利用基于森林的测度,估计锥束CT图像之间的超体素之间的稠密对应与锥束CT图像的配准。本发明基于迭代优化的混合测度森林估计锥束CT图像之间超体素的稠密对应与图像配准,并依据该对应获取自动的图像属性迁移。图1为本发明方法的流程框图,以下实施过程具体针对口腔正畸临床采集的锥束CT图像,利用混合测度森林估计超体素对应以及锥束CT图像配准,具体实施步骤包括:
步骤1:特征提取;
由锥束CT图像分解后得到超体素,再提取超体素特征。在训练锥束CT图像超体素的混合测度森林中,使用三种类型的超体素特征:灰度特征、空间上下文特征、测地坐标特征。基于超体素中包含体素的灰度直方图b定义灰度特征,同时为了抑制局部噪声,引入超体素的一圈近邻超体素的灰度直方图的均值灰度特征表示为基于超体素与包含该超体素的上下文立方体中的超体素之间的灰度特征差异定义上下文特征。在超体素上下文立方体中定义随机采样模式P,该模式由一组预先采样的偏移向量Δk组成,其中每个向量结合当前超体素的坐标都可以确定上下文立方体中的一个超体素。上下文特征fc定义为当前超体素灰度特征fa(s)与上下文超体素灰度特征fa(s+Δk)之间的卡方距离,fc={χ2(fa(s),fa(s+Δk))|s+Δk∈P)。超体素的测地坐标fg定义为当前超体素s与背景超体素sg之间的最短测地距离。在锥束CT图像分解的超体素之间构造图模型,该图模型的节点为超体素,相邻超体素之间以边连接,并基于相邻超体素的灰度差异定义边上的权重exp(-ρ||fa(si)-fa(sj)||),其中归一化的系数ρ=1/max||fa(si)-fa(sj)||。测地坐标为fg(s)=mind(s,sg|G)。
步骤二:训练初始聚类森林
给定一组包含M个锥束CT图像的图像集V={Vi|i=0,...,M}与对应锥束CT图像分解的超体素集S={si|i=1,...,N},其中包含N个超体素。利用非监督的聚类森林估计超体素之间的相似度。在非监督聚类森林训练中,利用数据分布不确定性的超椭球体积度量节点分裂的信息增益,表示为式1:
Iu由节点分裂后的左子节点、右子节点(分别以下标l与r表示)中的超体素数据的协方差矩阵的迹(tr)定义。基于协方差矩阵的迹的信息增益计算可以有效地避免高维数据协方差矩阵的秩不足问题。基于集合元素的个数定义系数如果超体素si与sj被分配到相同的叶子节点ι,即ι(si)=ι(sj),则认为超体素si与sj相似,否则不相似。对于第k棵树,对应的相似度ak(si,sj)=[ι(si)=ι(si),其中[]是指示函数。对于包含nT棵树的森林,基于聚类森林的测度定义为式2:
a(si,sj)=1/nT∑ak(si,sj) (式2)
其中,a(si,sj)表示基于聚类森林的测度返回的超体素si与sj的相似度;ak(si,sj)表示基于聚类森林中的第k棵树返回的超体素si与sj的相似度。
步骤三:估计弱标注
利用基于聚类随机森林的测度,可获取锥束CT图像Vr与Vt之间超体素的稠密对应,进而在图像Vr与Vt之定义映射函数φ(si)=sj,其中sj=arg max a(si,sj),si∈Vr,sj∈Vt。利用该映射函数,可以将包含ns个超体素参照图像Vr的超体素索引集合Yr={yi|yi∈{1,...,ns}}迁移到锥束CT图像Vt,其中当φ(si)=sj,y(si)=y(sj),即在锥束CT图像Vt中寻找与参照锥束CT图像中超体素si对应的超体素sj,并将参照锥束CT图像中超体素si对应的超体索引赋予sj作为图像Vt的弱标注。为了避免由于随机选择参照图像造成有偏的索引迁移,在给定的锥束CT图像集中选择具有最一致的索引迁移的图像作为参照图像,使得锥束CT数据集利用该参照图像获取的对应超体素之间的相似度和最大,即其中表示基于聚类森林的测度返回的超体素的相似度。
步骤四:训练混合测度森林
混合测度森林基于初始聚类森林,使用迭代的方式增强基于森林的测度。在训练过程中,优先考虑在上一次迭代中未能获得良好聚类的超体素。利用超体素索引的弱标注,在节点分裂中结合关于分类的加权信息增益与关于聚类的加权信息增益,寻找最优的节点分裂参数。为了区分上一步迭代中未能得到良好聚类的超体素,定义超体素类别yi关于第k棵树的置信分数τ(k)为式3:
其中,Q(k)与Qr为关于锥束CT图像V(k)与Vr的ns×ns′的距离矩阵,矩阵中元素对应锥束CT图像V(k)与参照锥束CT图像Vr中标签为Y与Ys的超体素之间的归一化的欧式距离。Ys是标签集合Y的一个子集,其元素的个数为ns′。δ是Heaviside函数。η是预先定义的不一致常数。矩阵Q的第i行是具有标签yi的超体素与标签为Ys的超体素之间的空间距离。当图像V(k)中具有标签yi的体素与标签为Ys的体素之间的空间距离关系与参考图像Vr一致时,标签yi被认为是关于图像V(k)可靠的标签。利用在所有图像上的置信度定义标签yi的置信度γi
其中,δ是Heaviside函数。为图像V(k)上关于类别yi的置信度。
利用标签y的置信度,基于弱标注所确定的离散概率分布对应的加权信息增益定义为式5:
其中,为当前节点数据属于第i类的概率。γi为第i类标签的置信分数。ak为基于集合元素的个数定义系数,
利用置信分数区分在先前迭代中聚类较差的样本,并在节点分裂中估计数据分布不确定性时给予惩罚权重。超体素的惩罚权重v(s)定义为式6:
其中,y(s)是超体素s所对应的超体素类别标签,为对于锥束CT图像V(k)的类别标签y(s)的置信分数。K是惩罚阈值常数,聚类相关的信息增益Iu定义为式7:
其中,是超体素数据集的加权平均。v是超体素的惩罚权重。
在训练混合测度森林中,估计由弱标注确定的离散概率分布的惩罚权重分类信息增益Ic以及数据分布不确定性的聚类信息增益Iu。混合测度森林在节点分裂时的信息增益I定义为式8:
其中,利用根节点分裂时分类信息增益与聚类的信息增益进行归一化。当更新混合测度森林后,弱标注与惩罚权重也相应地进行更新。在迭代过程中混合测度森林节点分裂的信息增益将优先考虑未能得到良好聚类的样本与类别,不断增强基于森林的测度用于估计锥束CT图像之间的对应。
步骤五:估计柔性一致度
通过式9,基于混合测度森林可以获取锥束CT图像对超体素之间的对应集C:
其中,φ为图像之间超体素的映射函数。该对应(映射函数φ)基于混合测度森林测度。但是其中的每一组对应都是独立的,即缺乏每组对应与集合C中其它对应之间的关系。系统引入柔性一致度估计在图像上下文约束下的由混合测度森林所确定超体素对应的一致性,并利用回归森林进行柔性一致度估计。将集合C中匹配对标记为z=(si,sj)。其对应的特征为特征fz的第一项是超体素si与sj特征之间的差异。第二项是对应点对(si,sj)在超体素特征空间中的位置。基于超体素的置信度引入柔性标注其中y是超体素si与sj的类别标签。是超体素类别y关于锥束CT图像的置信分数。在对应特征fz与柔性一致度u(z)之间基于回归森林建立回归。较高的柔性一致性分数u意味点对中的两个超体素具有图像与图像中的可靠标签,进而对应z=(si,sj)与集合C中其余对应一致。在线测试阶段,柔性一致性分数较低的超体素对应将被去除,并以该超体素近邻超体素在另一个锥束CT图像中所对应超体素确定新的对应。在获取锥束CT图像之间超体素对应后,即可方便获取锥束CT图像之间的变形参数例如图像位移场并实现配准。
为了验证基于混合测度森林获取锥束CT图像超体素稠密对应,实验测试基于锥束CT图像之间超体素对应的结构分割标签迁移,分别测试了上颌骨、下颌骨分割标签的迁移,其对应DICE相似度系数都在90%以上,具有较好的一致对应。
利用本发明的方法,以完全无监督的方式获取了锥束CT图像之间的超体素稠密对应与图像配准。迭代优化的混合测度森林可以处理先前迭代中未获取良好聚类的超体素,并依靠柔性一致估计获取锥束CT图像之间超体素对应以及图像配准。
需要注意的是,以上实施方式仅用于说明本发明,而并非对本发明的限制,本领域的技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种锥束计算机断层扫描图像对应与配准方法,基于混合测度森林,生成锥束CT图像之间的超体素之间的稠密对应与锥束CT图像的配准;包括:
(一)训练锥束CT图像超体素的混合测度森林;
1)从锥束CT图像中分解超体素,提取超体素特征;所述超体素特征包括灰度特征、空间上下文特征和测地坐标特征;
2)训练初始聚类森林,估计得到超体素之间的相似度;
给定一组包含M个锥束CT图像的图像集V={Vi|i=0,...,M}与对应锥束CT图像分解的超体素集S={si|i=1,...,N},其中包含N个超体素,利用非监督的聚类森林估计得到超体素之间的相似度;
3)利用超体素之间的相似度,进行估计得到超体素的弱标注;在给定的锥束CT图像集中选择具有最一致的超体素索引的弱标注迁移的图像作为参照图像,使得锥束CT图像数据集利用该参照图像获取的对应超体素之间的相似度和最大;利用从聚类随机森林获取的弱标注定义超体素及类别的置信分数,并基于置信分数区分未得到良好聚类的超体素及超体素类别;
4)训练混合测度森林,所述混合测度森林是基于初始聚类森林,使用迭代的方式增强基于森林的测度;在训练过程中,优先考虑在上一次迭代中未能获得良好聚类的超体素;利用步骤3)得到的超体素索引的弱标注,在节点分裂中通过关于分类的加权信息增益与关于聚类的加权信息增益,寻找获得最优的节点分裂参数,并不断更新混合测度森林,使得在迭代过程中混合测度森林节点分裂的信息增益将优先考虑未能得到良好聚类的样本与类别,不断增强基于森林的测度用于估计锥束CT图像之间的对应;最终得到训练好的混合测度森林;
5)基于训练好的混合测度森林,估计柔性一致度;再利用柔性一致度估计在图像上下文约束下的由混合测度森林所确定超体素对应的一致性;
(二)在线测试阶段;
从锥束CT图像中分解超体素,提取超体素特征;
将超体素特征输入到训练好的混合测度森林,估计超体素之间的相似度与超体素之间的对应,并估计对应的超体素的柔性一致度;
去除柔性一致度较低的超体素对应,并以该超体素近邻超体素在另一个锥束CT图像中所对应超体素确定新的对应,由此获取锥束CT图像之间超体素对应;
在获取锥束CT图像之间超体素对应后,即可获取锥束CT图像之间的变形参数并实现配准。
2.如权利要求1所述锥束计算机断层扫描图像对应与配准方法,其特征是,超体素特征中,超体素的灰度特征表示为其中,b为超体素中包含体素的灰度直方图;为超体素的近邻超体素的灰度直方图的均值;
超体素的上下文特征fc定义为fc={χ2(fa(s),fa(s+Δk))|s+Δk∈P},即当前超体素灰度特征fa(s)与上下文立方体中的超体素灰度特征fa(s+Δk)之间的卡方距离;P为随机采样模式,由一组预先采样的偏移向量Δk组成,其中每个向量结合当前超体素的坐标均可确定上下文立方体中的一个超体素;
超体素的测地坐标特征fg定义为当前超体素s与背景超体素sg之间的最短测地距离fg(s)=min d(s,sg|G);其中,G为在锥束CT图像分解的超体素之间构造的图模型,该图模型的节点为超体素,相邻超体素之间以边连接,并基于相邻超体素的灰度差异定义边上的权重为exp(-ρ||fa(si)-fa(sj)||),其中归一化的系数ρ=1/max||fa(si)-fa(sj)||。
3.如权利要求1所述锥束计算机断层扫描图像对应与配准方法,其特征是,步骤2)训练初始聚类森林,利用非监督的聚类森林估计得到超体素之间的相似度;包括步骤21)-22):
21)在非监督聚类森林训练中,利用数据分布不确定性的超椭球体积度量节点分裂的信息增益,表示为式1:
其中,tr为节点分裂后的左子节点l、右子节点r中的超体素数据的协方差矩阵的迹;系数
22)对于包含nT棵树的森林,基于聚类森林的相似度定义为式2:
a(si,sj)=1/nT∑ak(si,sj) (式2)
其中,a(si,sj)表示基于聚类森林的测度返回的超体素si与sj的相似度;ak(si,sj)表示基于聚类森林中的第k棵树返回的超体素si与sj的相似度;对于第k棵树,对应的相似度ak(si,sj)=[ι(si)=ι(sj)],其中[·]是指示函数;当超体素si与sj被分配到相同的叶子节点ι,即ι(si)=ι(sj),则认为超体素si与sj相似;否则不相似。
4.如权利要求1所述锥束计算机断层扫描图像对应与配准方法,其特征是,步骤3)利用超体素之间的相似度,进行估计得到弱标注;包括步骤31)~33):
31)利用基于聚类随机森林的相似度,获取锥束CT图像Vr与Vt之间超体素的稠密对应;
32)在图像Vr与Vt之定义映射函数φ(si)=sj,其中sj=arg max a(si,sj),si∈Vr,sj∈Vt
33)利用该映射函数,将包含ns个超体素参照图像Vr的超体素索引集合Yr={yi|yi∈{1,...,ns}}迁移到锥束CT图像Vt,其中,当φ(si)=sj,y(si)=y(sj),即在锥束CT图像Vt中寻找与参照锥束CT图像中超体素si对应的超体素sj,并将参照锥束CT图像中超体素si对应的超体索引赋予sj,作为图像Vt的弱标注。
5.如权利要求1所述锥束计算机断层扫描图像对应与配准方法,其特征是,步骤4)训练混合测度森林,具体执行如下操作:
41)针对锥束CT图像V(k)与Vr,定义超体素类别yi关于第k棵树的置信分数τ(k)为式3:
其中,Q(k)与Qr为关于锥束CT图像V(k)与Vr的ns×ns′的距离矩阵,矩阵中元素对应锥束CT图像V(k)与参照锥束CT图像Vr中标签为Y与Ys的超体素之间的归一化的欧式距离;Ys是标签集合Y的一个子集,其元素的个数为ns′;δ是Heaviside函数;η是预先定义的不一致常数;矩阵Q的第i行是具有标签yi的超体素与标签为Ys的超体素之间的空间距离;
42)当图像V(k)中具有标签yi的体素与标签为Ys的体素之间的空间距离关系与参考图像Vr一致时,将标签yi作为关于图像V(k)可靠的标签;
43)利用在所有图像上的置信度定义标签yi的置信度γi为式4:
其中,δ是Heaviside函数;为图像V(k)上关于类别yi的置信度;
44)利用标签y的置信度,定义基于弱标注所确定的离散概率分布对应的加权信息增益为式5:
其中,为当前节点数据属于第i类的概率;γi为第i类标签的置信分数;αk为基于集合元素的个数定义系数,
45)利用置信分数区分在先前迭代中聚类较差的样本,并在节点分裂中估计数据分布不确定性时给予惩罚权重;定义超体素的惩罚权重ν(s)为式6:
其中,y(s)是超体素s所对应的超体素类别标签,为对于锥束CT图像V(k)的类别标签y(s)的置信分数;K是惩罚阈值常数;聚类相关的信息增益Iu定义为式7:
其中,是超体素数据集的加权平均;ν是超体素的惩罚权重;基于集合元素的个数定义系数
46)估计由弱标注确定的离散概率分布的惩罚权重分类信息增益Ic及数据分布不确定性的聚类信息增益Iu;混合测度森林在节点分裂时的信息增益I定义为式8:
其中,利用根节点分裂时分类信息增益与聚类的信息增益进行归一化;当更新混合测度森林后,弱标注与惩罚权重也相应地进行更新;使得在迭代过程中混合测度森林节点分裂的信息增益将优先考虑未能得到良好聚类的样本与类别,不断增强基于森林的测度用于估计锥束CT图像之间的对应。
6.如权利要求1所述锥束计算机断层扫描图像对应与配准方法,其特征是,步骤5)估计柔性一致度具体包括如下步骤:
51)基于训练好的混合测度森林,通过式9获取锥束CT图像对超体素之间的对应集C:
其中,φ为图像之间超体素的映射函数;该对应基于混合测度森林测度;其中每一组对应均独立,缺乏每组对应与集合C中其它对应之间的关系;
52)利用回归森林进行柔性一致度估计,再利用柔性一致度估计在图像上下文约束下的由混合测度森林所确定超体素对应的一致性;
将集合C中匹配对标记为z=(si,sj),对应的特征为特征fz的第一项是超体素si与sj特征之间的差异;第二项是对应点对(si,sj)在超体素特征空间中的位置;
定义基于超体素的置信度的柔性一致度为其中,y是超体素si与sj的类别标签;是超体素类别y关于锥束CT图像的置信分数;
设置柔性一致度阈值,大于阈值的柔性一致度表示点对中的两个超体素具有图像与图像中的可靠标签,进而z=(si,sj)与集合C中其余对应一致。
7.如权利要求1所述锥束计算机断层扫描图像对应与配准方法,其特征是,柔性一致度阈值设置为0.1。
CN201710755960.2A 2017-08-29 2017-08-29 锥束计算机断层扫描图像对应与配准方法 Active CN107730542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710755960.2A CN107730542B (zh) 2017-08-29 2017-08-29 锥束计算机断层扫描图像对应与配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710755960.2A CN107730542B (zh) 2017-08-29 2017-08-29 锥束计算机断层扫描图像对应与配准方法

Publications (2)

Publication Number Publication Date
CN107730542A true CN107730542A (zh) 2018-02-23
CN107730542B CN107730542B (zh) 2020-01-21

Family

ID=61205530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710755960.2A Active CN107730542B (zh) 2017-08-29 2017-08-29 锥束计算机断层扫描图像对应与配准方法

Country Status (1)

Country Link
CN (1) CN107730542B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510507A (zh) * 2018-03-27 2018-09-07 哈尔滨理工大学 一种融合加权随机森林的3d椎骨ct图像主动轮廓分割方法
CN109544530A (zh) * 2018-11-19 2019-03-29 南京邮电大学 X射线头影测量图像结构特征点自动定位方法及系统
CN109697734A (zh) * 2018-12-25 2019-04-30 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN109993709A (zh) * 2019-03-18 2019-07-09 绍兴文理学院 一种基于深度学习的图像配准误差校正方法
CN110544274A (zh) * 2019-07-18 2019-12-06 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN110638477A (zh) * 2018-06-26 2020-01-03 佳能医疗系统株式会社 医用图像诊断装置以及对位方法
CN112164075A (zh) * 2020-09-23 2021-01-01 广东工业大学 一种针对上颌窦膜形态变化的分割方法
CN112581513A (zh) * 2019-09-29 2021-03-30 北京大学 锥束计算机断层扫描图像特征提取与对应方法
CN112734814A (zh) * 2019-10-28 2021-04-30 北京大学 三维颅面锥形束ct图像配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FAHDI KANAVATI等: "Supervoxel Classication Forests for Estimating Pairwise Image Correspondences", 《PATTERN RECOGNITION》 *
XIN ZHEN等: "CT to Cone-beam CT Deformable Registration With Simultaneous Intensity Correction", 《PHYSICS IN MEDICINE&BIOLOGY》 *
YURU PEI等: "Superimposition of Cone-Beam Computed Tomography Images by Joint Embedding", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
YURU PEI等: "VOXEL-WISE CORRESPONDENCE OF CONE-BEAM COMPUTED TOMOGRAPHY IMAGES BY CASCADED RANDOMIZED FOREST", 《2017 IEEE 14TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING(ISBI 2017)》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510507A (zh) * 2018-03-27 2018-09-07 哈尔滨理工大学 一种融合加权随机森林的3d椎骨ct图像主动轮廓分割方法
CN110638477A (zh) * 2018-06-26 2020-01-03 佳能医疗系统株式会社 医用图像诊断装置以及对位方法
CN110638477B (zh) * 2018-06-26 2023-08-11 佳能医疗系统株式会社 医用图像诊断装置以及对位方法
CN109544530A (zh) * 2018-11-19 2019-03-29 南京邮电大学 X射线头影测量图像结构特征点自动定位方法及系统
CN109544530B (zh) * 2018-11-19 2022-08-16 南京邮电大学 X射线头影测量图像结构特征点自动定位方法及系统
CN109697734A (zh) * 2018-12-25 2019-04-30 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN109993709A (zh) * 2019-03-18 2019-07-09 绍兴文理学院 一种基于深度学习的图像配准误差校正方法
CN109993709B (zh) * 2019-03-18 2021-01-12 绍兴文理学院 一种基于深度学习的图像配准误差校正方法
CN110544274B (zh) * 2019-07-18 2022-03-29 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN110544274A (zh) * 2019-07-18 2019-12-06 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN112581513A (zh) * 2019-09-29 2021-03-30 北京大学 锥束计算机断层扫描图像特征提取与对应方法
CN112581513B (zh) * 2019-09-29 2022-10-21 北京大学 锥束计算机断层扫描图像特征提取与对应方法
CN112734814A (zh) * 2019-10-28 2021-04-30 北京大学 三维颅面锥形束ct图像配准方法
CN112734814B (zh) * 2019-10-28 2023-10-20 北京大学 三维颅面锥形束ct图像配准方法
CN112164075B (zh) * 2020-09-23 2023-08-01 广东工业大学 一种针对上颌窦膜形态变化的分割方法
CN112164075A (zh) * 2020-09-23 2021-01-01 广东工业大学 一种针对上颌窦膜形态变化的分割方法

Also Published As

Publication number Publication date
CN107730542B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN107730542A (zh) 锥束计算机断层扫描图像对应与配准方法
CN105957066B (zh) 基于自动上下文模型的ct图像肝脏分割方法及系统
CN112150478B (zh) 一种构建半监督图像分割框架的方法及系统
KR102154470B1 (ko) 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법
CN107122809A (zh) 基于图像自编码的神经网络特征学习方法
CN109360208A (zh) 一种基于单程多任务卷积神经网络的医学图像分割方法
Mountney et al. Soft tissue tracking for minimally invasive surgery: Learning local deformation online
CN108416347A (zh) 基于边界先验和迭代优化的显著目标检测算法
CN105474262A (zh) 用于图像引导治疗计划的结构形状的自动描绘的方法和装置
Wu et al. A supervoxel classification based method for multi-organ segmentation from abdominal ct images
CN106651884B (zh) 基于素描结构的平均场变分贝叶斯sar图像分割方法
CN107203988A (zh) 一种由二维x光图像重建三维体图像的方法及其应用
Wu et al. AAR-RT–a system for auto-contouring organs at risk on CT images for radiation therapy planning: principles, design, and large-scale evaluation on head-and-neck and thoracic cancer cases
CN109887009A (zh) 一种点云局部匹配方法
CN110348478B (zh) 一种基于形状分类与组合的室外点云场景中树木提取方法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Nazir et al. Living donor-recipient pair matching for liver transplant via ternary tree representation with cascade incremental learning
Zhang et al. Learning from multiple annotators for medical image segmentation
Xu et al. Clinical target volume segmentation for stomach cancer by stochastic width deep neural network
Mehta et al. Segmenting the kidney on ct scans via crowdsourcing
CN103400385B (zh) 稀疏动态集成选择的胃部ct图像疑似淋巴结提取方法
CN103377369B (zh) 生成用于个体识别的心血管测量的方法和系统
CN107452001A (zh) 一种基于改进fcm算法的遥感图像序列分割方法
Cruz-Aceves et al. Multiple active contours guided by differential evolution for medical image segmentation
CN107133348A (zh) 大规模图片集中基于语义一致性的近似搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant