CN106062782A - 针对基于图集的配准的无监督的训练 - Google Patents

针对基于图集的配准的无监督的训练 Download PDF

Info

Publication number
CN106062782A
CN106062782A CN201580010740.6A CN201580010740A CN106062782A CN 106062782 A CN106062782 A CN 106062782A CN 201580010740 A CN201580010740 A CN 201580010740A CN 106062782 A CN106062782 A CN 106062782A
Authority
CN
China
Prior art keywords
image
atlas
class
tissue class
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580010740.6A
Other languages
English (en)
Other versions
CN106062782B (zh
Inventor
A·R·弗兰茨
N·沙德瓦尔特
H·舒尔茨
D·贝斯特罗夫
T·维克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN106062782A publication Critical patent/CN106062782A/zh
Application granted granted Critical
Publication of CN106062782B publication Critical patent/CN106062782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种方法包括从数据储存库中的训练图像的集合获得单幅训练图像。所述方法还包括基于所获得的单幅训练图像来生成初始组织类图集。所述初始组织类图集包括对应于两个或更多个不同的组织类的两个或更多个不同的组织类图像。所述方法还包括将所述训练图像的集合的剩余的训练图像配准到所述初始组织类图集。所述方法还包括生成针对经配准的图像中的每个的质量度量。所述方法还包括利用预定评价准则来评价经配准的图像中的每个的所述质量度量。所述方法还包括识别来自所述训练图像的集合的满足所述预定评价准则的图像的子集。所述方法还包括基于所述训练图像的集合的所识别的子集来生成后续组织类图集。

Description

针对基于图集的配准的无监督的训练
技术领域
以下总体涉及图像处理并且更具体而言涉及用于基于图集的配准的训练,并且结合计算机断层摄影(CT)具体应用进行描述。然而,以下还适用于其他成像模态。
背景技术
未知图像到人类解剖结构的相关常常是诸如针对自动器官分割的许多医学图像处理应用中的第一任务。为了解决该问题,大部分方法需要关于某种地面实况的大量的用户输入。在文献中,用于解剖结构检测和器官定位各种方法被使用。虽然个体器官的检测是高度特异性的并且必须针对新器官进行重新训练,但是到解剖图集的配准可以被用于检测视场并且同时估计若干器官的位置。
多图集方法能够经由全部独立地配准到未知图像的参考图像的数据库来处理各种图像。这些方法使得能够进行可变形配准和经由标签融合技术对靶结构的分割。然而,这些方法遭受长计算时间和对图集中的范例图像的选择的强依赖性的问题。单实例平均图像的通用性在最近的方法中已经通过减少组织类的灰度值得以改进。
另一方法使用关于联合的分割和配准的基于种类标签的互信息。然而,该方法需要全部图像域上的集成,其是低效的。另一方法根据骨盆和腹部图像创建组织类图集。然而,这些图集特定于解剖结构并且要求所有训练图像到图集空间中的给定配准以进行训练。另一方法训练针对根据紧器官边界框的器官边界框检测的回归森林,所述已经定义必须在训练数据集中定义。
一般而言,以上和/或其他已知方法要求大量的地面实况信息,例如地面实况器官分割、界标、确认的参考配准或至少一致的命名或DICOM标签。而且,许多图集训练方法要求输入图像以某种方式类似,例如具有类似的视场、类似协议或对比度或示出重叠的解剖区域。而且,图集训练流程一般地要求大量的训练数据选择和准备。
本文中描述的各方面解决以上提到的问题和其他问题。
发明内容
以下描述了一种唯一地基于CT图像的可变集合来训练基于图集的配准的完全无监督的方法(即,在没有任何配准、器官定位地面实况等的情况下)。所述完全无监督的方法一般地包括基于来自训练图像的集合的单个图像来创建初始组织类图集。剩余的训练图像被配准到所述初始组织类图集。评价每个图像的配准,并且识别来自配准的满足预定准则的图像。所识别的图像被用于创建下一个组织类图集,并且针对至少一个迭代重复以下过程:对所述训练图像进行配准;对所述配准进行评价;并且创建再另一组织类图集;在没有另外的图像满足所述准则时停止。最终组织类图集可以被用于基于图集的配准和/或要求图像的配准的其他应用(例如,用于器官检测、语义导航等)。所述基于图集的配准还可以在以下意义上被用于大数据分析:如果包含预定义区域,则其可以被用于识别包含特定解剖结构的数据或者切去来自图像的数据库的图集空间中的预定义区域。而且,所述图集训练流程自身可以被用于通过检查关于所述图像群体中的变化和相似性的经训练的图集来分析图像的大的数据集。
在一个方面中,一种方法包括从数据储存库中的训练图像的集合获得单幅训练图像。所述方法还包括基于所获得的单幅训练图像来生成初始组织类图集。所述初始组织类图集包括对应于两个或更多个不同的组织类的两个或更多个不同的组织类图像。所述方法还包括将所述训练图像的集合的剩余的训练图像配准到所述初始组织类图集。所述方法还包括生成针对经配准的图像中的每幅的质量度量。所述方法还包括利用预定评价准则来评价经配准的图像中的每幅的质量度量。所述方法还包括识别来自所述训练图像的集合的满足所述预定评价准则的图像的子集。所述方法还包括基于所述训练图像的集合的所识别的子集来生成后续组织类图集。
在另一方面中,一种计算系统包括存储用于基于图集的配准模块的无监督训练的指令的存储器。所述计算系统还包括运行所述指令的处理器,所述指令使得所述处理器基于针对基于图集的配准模块的无监督训练的所述指令来训练基于图集的配准。
在另一方面中,一种计算机可读存储介质编码有计算机可读指令。所述计算机可读指令在由处理器运行时使得所述处理器:使用训练图像的集合和预定停止准则基于无监督迭代训练来对基于图集的配准进行训练,并且基于所述训练来生成组织类图集。
附图说明
本发明可以采取各种部件和各部件的布置以及各种步骤和各步骤的安排的形式。附图仅出于图示优选的实施例的目的并且不应被解释为对本发明的限制。
图1示意性地图示了结合图像储存库的范例成像系统和具有用于基于图集的配准模块的无监督训练的计算系统;
图2示意性地图示了用于基于图集的配准模块的无监督训练的范例;
图3图示了具有在示出不同的身体区域的训练中使用的图像的范例边界框的范例空气(AIR)类图集图像;
图4图示了范例肺(LUNG)类图集图像;
图5图示了范例组织(TISSUE)类图集图像;
图6图示了范例骨骼(BONE)类图集图像;并且
图7图示了根据本文中的公开的范例方法。
具体实施方式
初始地参考图1,图示了诸如计算机断层摄影(CT)扫描器的成像系统100。成像系统100包括大体固定机架102和旋转机架104,旋转机架104由固定机架102可旋转地支撑并且关于z轴围绕检查区域106旋转。
辐射源108(例如X射线管)由旋转机架104可旋转地支持、与旋转机架104一起旋转并且发射穿过检查区域106的辐射。探测器阵列112相对于辐射源108在检查区域106的对面对向一角弧。探测器阵列112探测穿过检查区域106的辐射并且生成指示其的投影数据。
重建器114重建投影数据,生成指示检查区域106的体积图像数据。对象支撑体116支撑检查区域106中的对象。操作者控制台118包括诸如监视器的人类可读输出设备和诸如键盘、鼠标等的输入设备。驻留在控制器118上的软件允许操作者对系统100进行操作。
所得图像数据连同来自其他患者和/或相同和/或不同的模态成像系统的图像数据被存档在图像储存库120(例如图片存档及通信系统或PACS、电子病历或EMR、放射信息系统或RIS、医院信息系统或HIS)和/或其他数据储存库中。图像储存库120可以存储由不同的成像模态生成的、来自不同的成像设施的、利用不同的成像协议采集的、针对不同患者的、覆盖身体的不同的解剖区域等的图像。
计算系统122包括至少一个处理器124(例如,微处理器、中央处理单元等)、计算机可读存储介质(“存储器”)126,其不包括暂态介质并且包括物理存储器和/或其他非暂态介质。存储器126存储一个或多个计算机可读指令,针如用于基于图集的配准模块128和数据130的无监督训练。模块128的指令在由处理器124运行时使得处理器124基于训练图像的集合来执行针对基于图集的配准的无监督训练。数据130包括被用于针对基于图集的配准的无监督训练的默认和/或其他参数。
无监督训练可以被用于从以这些分片中的任何一个开始的小图像分片无监督地并且迭代地建造解剖图集。其仅要求不同的医学图像池,例如从骨盆到头部,没有任何类型的对齐或注释。然而,必须覆盖目标图集解剖结构的每个部分,例如,对于躯干图集而言,必须包含具有某种交叠的来自骨盆、腹部、胸部、和头部的图像。模块128的指令将例如互相关性用作自动地确定成功的配准的质量度量,其使得能够进行无监督学习过程中的对图集的无监督和迭代细化。对于具有不同的视场和因此不同的解剖内容的图像而言,使采样一般化到未看见的图像中的组织类的动态检测。在训练期间,图集域自身延伸来覆盖全身的小部分或全身。该方法是无监督的,因为除了图像集之外,其不需要输入。
图2示意性地图示了用于基于图集的配准模块128的无监督训练的范例。
针对基于图集的配准模块128的无监督训练包括图像选择器202,图像选择器202从图像储存库120选择图像。在一个实例中,图像选择器202从训练图像的集合任意地选择图像。在另一实例中,图像选择器202选择包括诸如感兴趣器官的预定解剖组织的图像。在另一实例中,图像选择器202选择包括最大数目的预定解剖子感兴趣区域的集合(例如,骨盆、腹部、胸部、颈部、头部等)的图像。在另一实例中,图像选择器202基于用户偏好和/或用户输入来选择图像。在又一实例中,图像选择器202基于其他准则来选择图像。
针对基于图集的配准模块128的无监督训练还包括图集生成器204。图集生成器204基于所选择的单个图像和组织类定义206,生成组织类图集(即,组织图集图像的集合)。组织类定义206可以是默认的、用户定义的和/或其他组织类定义,并且被存储在图1的计算系统122的存储器126的数据130中和/或其他地方。关于CT的组织类定义的非限制性范例包括在亨氏单位(HU)的CT值的直方图中变化的的多个组织类。
例如,一个非限制性范围集包括:空气[-1000,-920]、肺[-940,-180]、组织[-200,250]和骨骼[200,1500]。本文中还预期其他范围和/或组织类。图3图示了范例空气类图集,并且来自不同的身体区域(骨盆、腹部、胸部、头颈部)的训练图像的边界框被叠加在空气类图像上。图4图示了范例肺类图集图像。图5图示了范例组织类图集图像。图6图示了范例骨骼类图集图像。以上范例组织类范围仅具有小的交叠,使得属于特定组织类的图像灰度值的概率几乎是零(0)或一(1)。在交叠区域中,概率可以是线性和/或以其他方式内插的。然而,组织类还可以是某种特征响应(如对Haar特征的响应),并且不必与临床区分的组织类型有关,即不必是词语的原始意义上的组织。
组织类图集表示每个图像体素x属于每个组织类t的概率q(x|t)。该概率图集表示图像池中给定的各种性质。例如,腹部和胸部之间的区域吸气图像中将包含肺体素并且呼气图像中将包含组织(TISSUE)体素。概率图集具有针对这两个组织类的正概率并且因此能够同时表示两个相互排斥的图像。更特别地,概率图集是图像池的而非单独的图像实例的预测器。
针对基于图集的配准模块128的无监督训练还包括配准部件208。配准部件208采用链接到图集和评价器210的配准方法。这样的配准方法的非限制性范例是将图像储存库120中的剩余的图像中的一个或多个与组织类图集配准的概率方法。在一个非限制性范例中,针对配准,具有域Ωp的每个图像被分解为不同的组织类。然后,在图像的概率密度函数(pdf)p(x|t)与利用转换f转换的图集的概率密度函数(pdf)q(x|t,f)之间评价熵准则,对所有组织类t进行求和,如公式1中所示:
公式1:
- Σ t ∫ X ∈ Ω p p ( x | t ) log q ( x | t , f )
其中,针对f的转换模型是相似性(即旋转、均匀缩放和平移)。例如,可以利用受控制的随机搜索来优化转换参数。
在Vik等人“A new method for robust organ positioning in CT images”,9thIEEE International Symposium on Biomedical Imaging,第338-341页(2012年)中描述了公式1的导数。以下部分地描述了该导数。对于导数而言,u∈R是图像灰度值,f=fθ:R3→R3是通过参数化的空间转换(对于相似性转换而言,D=7(平移、旋转和各向同性缩放)),P,Q:T→[0,1]指定组织类t∈T(p与图像有关,Q与图集有关)的概率,并且p,q:是连续空间变量x的pdf(p与图像有关,q与图集有关)。
给定灰度值u,设P(t|u)是CT(例如T={空气,组织,肺,骨骼})中的组织类的概率。对于给定图像而言,固定位置x处的灰度值是已知的,使得P(t|u)可以被用于确定P(t|x)。根据贝叶斯公式,可以导出,如果利用空间均匀分布p(x)绘制样本(x,t),则P(t|x)与p(x|t)成正比。在对图像均匀地采样时是这种情况,因此我们可以实际上计算P(t|x)来估计如在公式1中使用的p(x|t)。在其发生的情况下,可以针对所有公式中的q(x|t)做出相同近似。在空间位置x与组织类t之间存在强依存性。通过将图像的pdf,p(x|t),与转换的图集的pdf,q(x|t,f),相比较确定未知的转换fθ,这致使公式1。
这使图集q形变,使得很好地预测图像p中的组织位置。该方法具有对诸如不同的视场的不同的图像信息和不同的相对组织内容鲁棒的优点:由于对数函数的奇点,公式1具有以下性质:如果p(x|t)>0,那么θ被选择为使得也q(x|t,f)>0。因此,在一个实例中,图集覆盖比任何图像更大的视场。当在相同域上对pdf p和q进行标准化时,公式1是交叉熵。这仅是在图像和图集(例如,全身或相同视场)中覆盖相同解剖结构时的情况。
在一个实例中,使用随机采样对公式1进行高效的近似。近似可以基于蒙特卡罗和/或来自根据期望重写公式1的项的其他采样和结果,这致使公式2:
公式2:
E p ( x | t ) { l o g q ( x | t , f ) } ≈ Σ i = 1 n t log q ( x i | , t , f )
其中,nt是采样点的数量,并且根据p(x|t)绘制每个xi。采样可以基于图像pdf,其中,概率多数是0或1,并且然后与转换的图集相比较以用于解释。采样点利用f-1转被换到图集域。然后,的评价是快速的。对数函数的奇点对任何匹配进行惩罚,其中,图像采样点不能由图集解释。
在一个实例中,动态地确定公式2中的每组织类t的采样点数目nt。例如,采样点数目nt可以基于图集中的组织类出现与要配准的图像中的组织类出现之间的比例来选择。这样,组织类的重要性适应于成像的解剖区域(例如,在骨盆图像中),仅将选择很少的肺采样点,然而对于胸部图像而言,许多肺采样点对于提供好的匹配是至关重要的。
针对基于图集的配准模块128的无监督训练还包括评价器210。评价器210基于评价算法212,对每个图像的配准进行评价。在该范例中,评价算法212基于组织类图像的加权的平均互相关,确定配准的质量。在公式3中示出了这样的算法的范例:
公式3:
1 Σ t n t Σ t n t ∫ x ∈ Ω p ∩ f ( Ω q ) ( p ( x | t ) - p ‾ ) ( q ( x | t , f ) - q ‾ ) ∫ x ∈ Ω p ∩ f ( Ω q ) ( p ( x | t ) - p ‾ ) 2 · ∫ x ∈ Ω p ∩ f ( Ω q ) ( q ( x | t , f ) - q ‾ ) 2 ,
利用被用于匹配的每组织类t的采样点数目nt加权,其中f(Ωq)表示配准的图集域(Ωq),并且表示的p(x|t)和q(x|t,f)在积分域(Ωp∩f((Ωq)上的平均值。
针对基于图集的配准模块128的无监督训练还包括逻辑214。逻辑214将加权的平均互相关与预定准则216进行比较。例如,在一个实例中,预定准则在从0.20至0.60的范围内,例如0.35、0.40、0.55等。如果互相关性大于预定准则216,那么配准被分类为成功的。否则,配准被分类为不成功的。所有成功配准的图像由图集生成器204使用来建造后续的组织类图集。
一般而言,迭代将所有训练图像映射到当前组织类图集和从所有成功地匹配的训练图像构建出下一个图集的该过程,直到例如没有额外训练图像被成功配准,基于评价准则212,到达最大数目或迭代,和/或满足其他停止准则。使图像选择器202选择覆盖大视场的初始训练图像可以简化训练过程。在初始图像小于最终图集域的情况下,在从当前图集域当中突出的越来越多图像被成功配准时,视场可以随着每次迭代自动地增长。
图集存储器218存储最终组织类图集。最终组织图集可以同时地表示相互排斥的解剖变型(手臂上/下、膀胱满/空、吸气/呼气)。训练是无监督地执行的,因为其不要求用户输入,并且图集自身延伸以覆盖存在于训练图像中的所有解剖结构。可以利用不太准确并且非常稀少的地面实况来实现器官定位。而且,由于定位过程是以基于图集的配准为基础的,因而用户可以定义图集域中的新结构或边界框并且使用所述方法来检测图像中的这些。为此,用户可以绘制图集中或者训练图像之一中的感兴趣区域的边界框。然后,将该边界框传送到训练图像中的每一个来估计感兴趣结构的位置。
因此,本文所描述的方法不仅对于结构初始化和视场检测而且对于非常宽的数据分析和大数据方法是足够的。这使能数据集中的语义导航,例如针对临床工作流中的若干器官的自动视图生成。为了使方法一般化,可以探索更复杂的转换空间,例如第二器官特异性局部配准步骤。这可以利用自动地检测器官切除术或者患者性别的技术扩展。
而且,利用相同的无监督训练方法,可以建造聚焦在感兴趣结构上的局部图集。感兴趣结构的边界框可以在图集中定义并且与配准方法一起被使用来将其定位在所有训练图像中。所有训练图像中的边界框可以与将迭代地改善的一个范例局部图集上的全部图像相同的过程配准直到也收敛。以此方式,可以实现仅匹配感兴趣区域的局部配准。这可以被用于经改进的器官定位。
除了上文之外,本文所描述的方法覆盖基于CT图像的组织类的无监督图集训练应用,但是使用基于CT图像上的配准方案的不同的组织类定义或成功率阈值,只要其具有本发明的两个关键性质:基于除CT图像和近似配准方案外,对未看见的图像的性质(特别地但是不仅视场)的动态适配和对匹配的成功或失败的自动检测,只要其具有如上文所描述的本发明的两个关键特性和/或其他应用。
图7图示了根据本文中的本公开的范例方法。
应当理解,动作的排序不是限制性的。因此,在本文中预期其他排序。另外,可以省略一个或多个动作和/或可以包括一个或多个额外的动作。
在702处,选择来自覆盖身体的面片或子部分的训练图像的集合的单幅训练图像。
在704处,单幅训练图像被用于重建初始组织类图集。
在706处,剩余的训练图像被配准到当前组织类图集上。这可以例如如本文中所描述地结合公式1或2来实现。
在708处,确定匹配的质量度量。如本文所描述的,这可以通过利用,被用于匹配的每组织类t的采样点数目nt加权的,组织类图像的加权的平均互相关来实现,如结合公式3在本文中所描述的。
在710处,基于质量度量,识别成功地配准的图像。如本文所描述的,这可以包括将质量度量与预定阈值进行比较。
在712处,确定是否满足预定停止准则(例如,额外的训练图像被成功地配准、最大迭代次数等)。
如果不满足停止准则,那么在714处,基于所识别的图像(即,成功的匹配)来生成下一组织类图集,并且重复步骤706至步骤712。如果满足停止准则,那么在716处,当前组织类图集被输出为最终组织类图集。
以上方法可以通过编码或嵌入在计算机可读存储介质上的计算机可读指令的方式来实现,其在由(一个或多个)计算机处理器运行时令(一个或多个)处理器执行所描述的动作。额外地或备选地,通过信号、载波或其他暂态介质承载计算机可读指令中的至少一个。
已参考优选的实施例描述了本发明。他人在阅读并且理解前述详细说明之后可以进行修改和变型。本发明旨在被理解为包括所有这样的修改和变型,只要其落入权利要求或其等价方案的范围之内。

Claims (20)

1.一种方法,包括:
从数据储存库中的训练图像的集合获得单幅训练图像;
基于所获得的单幅训练图像,生成初始组织类图集,其中,所述初始组织类图集包括对应于两个或更多个不同的组织类的两个或更多个不同的组织类图像;
将训练图像的所述集合的剩余的训练图像配准到所述初始组织类图集;
生成针对经配准的图像中的每个的质量度量;
利用预定评价准则来评价所述经配准的图像中的每个的所述质量度量;
识别来自训练图像的所述集合的满足所述评价准则的图像的子集;并且
基于训练图像的所述集合的所识别的子集来生成后续组织类图集。
2.根据权利要求1所述的方法,还包括:
将训练图像的所述集合的所述剩余的训练图像配准到所述后续组织类图集;
生成针对所述经配准图像的质量度量;
利用预定准则来评价每个经配准的图像的所述质量度量;
识别训练图像的所述集合中满足所述评价准则的第二子集;并且
基于训练图像的所述集合的所识别的子集来生成第二后续初始组织类。
3.根据权利要求1至2中的任一项所述的方法,还包括:
动态地确定图像中的有限数目的采样点,用于将所述图像与所述初始组织类图集、所述后续组织类图集或第二后续组织类图集中的一个或多个进行配准;并且
利用所述有限数目的采样点来将所述图像与所述初始组织类图集、所述后续组织类图集或所述第二后续组织类图集中的所述一个或多个进行配准。
4.根据权利要求3所述的方法,还包括:
基于所述初始组织类图集、所述后续组织类图集或所述第二后续组织类图集中的所述一个或多个中的组织类出现与要被配准到所述初始组织类图集、所述后续组织类图集或所述第二后续组织类图集中的所述一个或多个的所述图像中的组织类出现之间的比率来确定所述有限数目的采样点。
5.根据权利要求4所述的方法,其中,所述有限数目的采样点包括响应于所述图像包括对应于所述初始组织类图集的组织类的第一水平的采样点的第一集合和响应于所述图像包括所述组织类的第二水平的采样点的第二集合,所述第一水平大于所述第二水平,并且采样点的所述第一集合大于采样点的所述第二集合。
6.根据权利要求3至5中的任一项所述的方法,还包括:
通过计算所述两个或更多个组织类图像的加权的平均互相关来生成所述质量度量。
7.根据权利要求6所述的方法,还包括:
基于所述有限数目的采样点来对所述两个或更多个组织类图像的所述平均互相关进行加权。
8.根据权利要求1所述的方法,还包括:
通过计算所述组织类图像的加权的平均互相关来生成所述质量度量。
9.根据权利要求1至8中的任一项所述的方法,还包括:
通过将所述剩余的训练图像分解为组织类图像来将所述训练图像的集合的所述剩余的训练图像配准到所述初始组织类图集,评价图像的第一概率密度函数与利用预定转换来转换的所述初始组织类图集的第二概率密度函数之间的熵准则,并且对所有组织类进行求和。
10.根据权利要求9所述的方法,还包括:
利用图像空间中的蒙特卡罗采样来对每组织类进行接近积分。
11.根据权利要求1至10中的任一项所述的方法,其中,所述初始组织类图集是概率组织类图集。
12.根据权利要求1至11中的任一项所述的方法,其中,所述单幅训练图像具有第一视场并且所述后续组织类图集具有第二视场,并且所述第二视场大于所述第一视场。
13.根据权利要求1至12中的任一项所述的方法,其中,训练图像的所述集合的至少两幅图像覆盖人体的不同的区域。
14.根据权利要求1至13中的任一项所述的方法,其中,所述两个或更多个不同的组织类来自包括以下项的组:空气、肺、软组织和骨骼。
15.一种计算系统(122),包括:
存储器(126),其存储用于基于图集的配准模块(128)的无监督训练的指令;以及
处理器(124),其运行所述指令,使得所述处理器基于用于基于图集的配准模块的无监督训练的所述指令来训练基于图集的配准。
16.根据权利要求15所述的计算系统,所述处理器响应于运行所述指令:
从数据储存库中的训练图像的集合获得单幅训练图像;
基于所获得的单幅训练图像来生成初始组织类图集,其中,所述初始组织类图集包括对应于两个或更多个不同的组织类类型的两个或更多个不同的组织类图像;
将训练图像的所述集合的剩余的训练图像配准到所述初始组织类图集;
生成针对经配准的图像中的每个的质量度量;
将所述经配准的图像中的每个的所述质量度量与预定阈值进行比较;
识别来自训练图像的所述集合的满足所述预定阈值的图像的子集;并且
基于训练图像的所述集合的所识别的子集来生成后续组织类图集。
17.根据权利要求16所述的计算系统,所述处理器响应于运行所述指令:
将训练图像的所述集合的所述剩余的训练图像配准到所述后续组织类图集;
生成针对经配准图像的质量度量;
将每个经配准的图像的所述质量度量与所述预定阈值进行比较;
识别所述训练图像的集合中满足所述预定阈值的第二子集;并且
基于所述训练图像的集合的所识别的子集来生成第二后续组织类图集。
18.根据权利要求15至17中的任一项所述的计算系统,所述处理器响应于运行所述指令:
基于所述初始组织类图集、所述后续组织类图集或所述第二后续组织类图集中的所述一个或多个中的组织类出现与要被配准到所述初始组织类图集、所述后续组织类图集或所述第二后续组织类图集中的所述一个或多个的图像中的组织类出现之间的比率,动态地确定所述图像中的有限数目的采样点,用于所述图像与所述初始组织类图集、所述后续组织类图集或所述第二后续组织类图集的配准;并且
使用所述有限数目的采样点将所述图像与所述初始组织类图集、所述后续组织类图集或所述第二后续组织类图集中的所述一个或多个配准。
19.根据权利要求18所述的计算系统,所述处理器响应于运行所述指令:
通过计算所述两个或更多个组织类图像的加权的平均互相关来生成所述质量度量;并且
基于所述有限数目的采样点来对所述两个或更多个组织类图像的所述平均互相关进行加权。
20.一种编码有计算机可读指令的计算机可读存储介质,所述计算机可读指令在由处理器运行时使所述处理器:
使用训练图像的集合和预定停止准则来基于无监督的迭代训练对基于图集的配准进行训练;并且
基于所述训练来生成最终组织类图集。
CN201580010740.6A 2014-02-27 2015-02-17 针对基于图集的配准的无监督的训练 Active CN106062782B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461945292P 2014-02-27 2014-02-27
US61/945,292 2014-02-27
PCT/IB2015/051154 WO2015128775A1 (en) 2014-02-27 2015-02-17 Unsupervised training for an atlas-based registration

Publications (2)

Publication Number Publication Date
CN106062782A true CN106062782A (zh) 2016-10-26
CN106062782B CN106062782B (zh) 2020-03-06

Family

ID=52815044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580010740.6A Active CN106062782B (zh) 2014-02-27 2015-02-17 针对基于图集的配准的无监督的训练

Country Status (4)

Country Link
US (1) US10083510B2 (zh)
EP (1) EP3111373B1 (zh)
CN (1) CN106062782B (zh)
WO (1) WO2015128775A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074500A (zh) * 2016-01-21 2018-12-21 医科达有限公司 用于分割同一患者的医学图像的系统和方法
US11710241B2 (en) 2018-02-14 2023-07-25 Elekta, Inc. Atlas-based segmentation using deep-learning

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536274B (en) * 2015-03-12 2019-10-16 Mirada Medical Ltd Method and apparatus for assessing image registration
US11188146B2 (en) * 2015-10-17 2021-11-30 Arivis Ag Direct volume rendering in virtual and/or augmented reality
US10169873B2 (en) 2017-03-23 2019-01-01 International Business Machines Corporation Weakly supervised probabilistic atlas generation through multi-atlas label fusion
US10832423B1 (en) 2018-01-08 2020-11-10 Brainlab Ag Optimizing an atlas
EP3821377A4 (en) * 2018-08-24 2022-04-20 Arterys Inc. REGISTRATION BASED ON DEEP LEARNING
US10824915B2 (en) * 2018-12-04 2020-11-03 Capital One Services, Llc Artificial intelligence system for inspecting image reliability
CN116402416B (zh) * 2023-04-11 2023-10-20 北京思维实创科技有限公司 指标数据驱动的企业组织冗余度与重要性评价方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101772784A (zh) * 2007-08-03 2010-07-07 皇家飞利浦电子股份有限公司 解剖结构约束的图像配准
WO2012139205A1 (en) * 2011-04-13 2012-10-18 Hamid Reza Tizhoosh Method and system for binary and quasi-binary atlas-based auto-contouring of volume sets in medical images
CN103268605A (zh) * 2013-05-15 2013-08-28 北京理工大学 基于高阶统计形变模型的脑图谱与脑图像配准方法
CN103345740A (zh) * 2013-06-13 2013-10-09 沈阳航空航天大学 基于多投影图像配准的肺结节检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324842B2 (en) 2002-01-22 2008-01-29 Cortechs Labs, Inc. Atlas and methods for segmentation and alignment of anatomical data
US7590440B2 (en) 2005-11-14 2009-09-15 General Electric Company System and method for anatomy labeling on a PACS
US8600131B2 (en) * 2008-07-07 2013-12-03 The Johns Hopkins University Advanced cost functions for image registration for automated image analysis: multi-channel, hypertemplate and atlas with built-in variability
US8160357B2 (en) 2010-07-30 2012-04-17 Kabushiki Kaisha Toshiba Image segmentation
US9524552B2 (en) 2011-08-03 2016-12-20 The Regents Of The University Of California 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos
EP2742482B1 (en) * 2011-08-09 2018-01-17 Boston Scientific Neuromodulation Corporation System and method for weighted atlas generation
US20140341449A1 (en) * 2011-09-23 2014-11-20 Hamid Reza TIZHOOSH Computer system and method for atlas-based consensual and consistent contouring of medical images
US9129372B2 (en) 2012-07-30 2015-09-08 General Electric Company Methods and systems for determining a transformation function to automatically register different modality medical images
US9349186B2 (en) * 2013-02-11 2016-05-24 General Electric Company Systems and methods for image segmentation using target image intensity
EP2819093B1 (en) * 2013-06-24 2016-05-11 RaySearch Laboratories AB Method and system for atlas-based segmentation
US9818200B2 (en) * 2013-11-14 2017-11-14 Toshiba Medical Systems Corporation Apparatus and method for multi-atlas based segmentation of medical image data
DK3277178T3 (da) * 2015-03-31 2020-04-27 Cortechs Labs Inc Kovariat-modulatlas

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101772784A (zh) * 2007-08-03 2010-07-07 皇家飞利浦电子股份有限公司 解剖结构约束的图像配准
WO2012139205A1 (en) * 2011-04-13 2012-10-18 Hamid Reza Tizhoosh Method and system for binary and quasi-binary atlas-based auto-contouring of volume sets in medical images
CN103268605A (zh) * 2013-05-15 2013-08-28 北京理工大学 基于高阶统计形变模型的脑图谱与脑图像配准方法
CN103345740A (zh) * 2013-06-13 2013-10-09 沈阳航空航天大学 基于多投影图像配准的肺结节检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAILI CHUI等: "unsupervised learning of an atlas from unlabeled point-sets", 《IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074500A (zh) * 2016-01-21 2018-12-21 医科达有限公司 用于分割同一患者的医学图像的系统和方法
CN109074500B (zh) * 2016-01-21 2020-05-08 医科达有限公司 用于分割同一患者的医学图像的系统和方法
US10867385B2 (en) 2016-01-21 2020-12-15 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US11386557B2 (en) 2016-01-21 2022-07-12 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US11710241B2 (en) 2018-02-14 2023-07-25 Elekta, Inc. Atlas-based segmentation using deep-learning

Also Published As

Publication number Publication date
EP3111373A1 (en) 2017-01-04
EP3111373B1 (en) 2020-04-08
CN106062782B (zh) 2020-03-06
US20160358336A1 (en) 2016-12-08
WO2015128775A1 (en) 2015-09-03
US10083510B2 (en) 2018-09-25

Similar Documents

Publication Publication Date Title
Mazurowski et al. Deep learning in radiology: An overview of the concepts and a survey of the state of the art with focus on MRI
US10366491B2 (en) Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
Nazir et al. Survey of explainable artificial intelligence techniques for biomedical imaging with deep neural networks
CN106062782A (zh) 针对基于图集的配准的无监督的训练
NL2019410B1 (en) Computer-aided diagnostics using deep neural networks
Ghesu et al. Contrastive self-supervised learning from 100 million medical images with optional supervision
Yousef et al. A holistic overview of deep learning approach in medical imaging
Tang et al. High-resolution 3D abdominal segmentation with random patch network fusion
Wels et al. General purpose radiomics for multi-modal clinical research
US8811697B2 (en) Data transmission in remote computer assisted detection
US7756313B2 (en) System and method for computer aided detection via asymmetric cascade of sparse linear classifiers
CN105765629A (zh) 病变的早期治疗反应评估
EP3879453A1 (en) Method and system for detecting landmarks in medical images
EP4030385A1 (en) Devices and process for synthesizing images from a source nature to a target nature
EP4002387A1 (en) Cad device and method for analysing medical images
CN107072613A (zh) 基于纵向特征对感兴趣组织的健康状态的分类
CN106462661A (zh) 用于自动选择针对医学研究的悬挂协议的系统和相关方法
EP3107031A1 (en) Method, apparatus and system for spine labeling
Bi et al. Multiple instance learning of pulmonary embolism detection with geodesic distance along vascular structure
Shang et al. A new solution model for cardiac medical image segmentation
Rai et al. A comprehensive analysis of recent advancements in cancer detection using machine learning and deep learning models for improved diagnostics
Kotecha et al. 3D visualization cloud based model to detect and classify the polyps according to their sizes for CT colonography
EP2863360B1 (en) Multimodality image segmentation of volumetric data sets
Zhou et al. Landmark detection and multiorgan segmentation: representations and supervised approaches
Gálvez et al. Computing rational border curves of melanoma and other skin lesions from medical images with bat algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant