CN110570426A - 使用深度学习的图像联合配准和分割 - Google Patents

使用深度学习的图像联合配准和分割 Download PDF

Info

Publication number
CN110570426A
CN110570426A CN201910483665.5A CN201910483665A CN110570426A CN 110570426 A CN110570426 A CN 110570426A CN 201910483665 A CN201910483665 A CN 201910483665A CN 110570426 A CN110570426 A CN 110570426A
Authority
CN
China
Prior art keywords
image
images
segmentation
time
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910483665.5A
Other languages
English (en)
Other versions
CN110570426B (zh
Inventor
R·加尔纳威
戈宗元
D·玛哈帕特拉
S·瑟戴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN110570426A publication Critical patent/CN110570426A/zh
Application granted granted Critical
Publication of CN110570426B publication Critical patent/CN110570426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及使用深度学习的图像联合配准和分割。一种用于配准和分割图像的系统包括图像扫描仪，该图像扫描仪被配置为获取包括第一时间的第一图像和在第一时间之后的第二时间的第二图像的图像对。联合配准和分割服务器从图像扫描仪接收图像对并使用单个深度学习框架同时对图像对执行联合配准和分割。计算机视觉处理器接收联合配准和分割服务器的输出，并且根据该输出表征状况从第一时间到第二时间已经如何进展。用户终端向用户呈现该表征。

Description

使用深度学习的图像联合配准和分割
技术领域
本发明涉及图像配准和分割，更具体而言，涉及使用深度学习的图像联合配准和分割。
背景技术
能够跟踪疾病的进展是提供医疗保健的重要工具。在一段时间内拍摄的诸如MRI和CT扫描之类的医学图像可以用于显示疾病的进展。但是，由于与能够配准和分割已经随时间获得的医学图像集合相关联的问题，难以自动跟踪和解释进展。
图像配准是将若干图像解释为共同坐标系的过程。例如，在一段时间内已经获取医学图像集合的情况下，每个图像将不太可能在图像帧内的相同相对位置中显示相同的解剖体(anatomy)。因此，可以使用配准将每个图像置于共同的参考系中，使得图像可以用于显示疾病如何进展。
图像分割是解释图像以识别一个或多个片段的边界的过程。例如，分割可以用于识别图像内的各种标志物和解剖结构。
图像分割结果在执行图像配准时可能是有用的，因为各种标志物和解剖结构一旦被识别，就可以用于帮助确立分割图像应该如何适配到公共坐标集中。因此，通常在图像配准之前执行图像分割。
发明内容
一种用于配准和分割图像的系统包括图像扫描仪，该图像扫描仪被配置为获取包括第一时间的第一图像和在第一时间之后的第二时间的第二图像的图像对。联合配准和分割服务器从图像扫描仪接收图像对并使用单个深度学习框架同时对图像对执行联合配准和分割。计算机视觉处理器接收联合配准和分割服务器的输出，并且根据该输出表征(characterize)状况从第一时间到第二时间已经如何进展。用户终端向用户呈现该表征。
一种用于配准和分割图像的方法包括获取包括第一时间的第一图像和在第一时间之后的第二时间的第二图像的图像对。同时，使用单个深度学习框架对图像对执行联合配准和分割。根据图像对的联合配准和分割的结果来表征状况已经从第一时间到第二时间进展的方式。
一种用于配准和分割图像的计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有随其体现的程序指令。程序指令可由计算机执行，以使计算机通过计算机使用单个深度学习框架对图像对同时执行联合配准和分割，图像对包括第一时间的第一图像和在第一时间之后的第二时间的第二图像，并且由计算机根据图像对的联合配准和分割的结果表征状况从第一时间到第二时间已经如何进展。
附图说明
当通过参考以下结合附图的详细描述更好地理解本发明及其附带方面中的许多附带方面时，将更容易地获得对本发明及其附带方面中的许多附带方面的更完整的认识，在附图中：
图1是示出根据本发明的示例性实施例的用于执行联合配准和分割的系统的示意图；
图2是示出根据本发明的示例性实施例的用于执行联合配准和分割的方法的流程图；
图3A和图3B是示出根据本发明的示例性实施例的生成器网络的图；以及
图4示出了能够实现根据本公开的实施例的方法和装置的计算机系统的示例。
具体实施方式
在描述附图中所示的本发明的示例性实施例时，为了清楚起见采用了特定的术语。但是，本发明并不旨在限于图示或任何特定术语，并且应该理解的是，每个元素包括所有等价物。
如以上所讨论的，执行图像分割可以促进图像配准的后续执行，因此，通常在执行图像配准之前执行图像分割。但是，本发明的示例性实施例认识到执行图像配准还可以促进图像分割的执行，因为一旦图像被适当地对准到共同的参考系，就可以大致知道各种标志物和解剖结构应当位于何处。
因此，本发明的示例性实施例不是按顺序执行图像配准和图像分割，而是作为单个优化问题的一部分同时执行自动图像配准和图像分割，因此图像配准的执行可以促进图像分割，同时图像分割的执行促进图像配准。这种方法在本文中被称为联合配准和分割(JRS)。
图1是示出根据本发明的示例性实施例的用于执行联合配准和分割的系统的示意图。图像扫描仪11可以用于获取一段时间内的图像集合12。虽然本发明的示例性实施例在本文中可以主要针对医学图像进行描述，但是应该理解的是，本文描述的系统和方法可以应用于其它类型的图像，因此，虽然图像扫描仪11可以是诸如CT扫描仪或MRI之类的医学图像扫描仪，但是图像扫描仪11可以替代地是相机设备或其它图像传感器，诸如可以被布置在卫星内用于出于评估气候变化的目的而拍摄地球上的地点的图像。
图像扫描仪11可以在多次患者就诊时和/或以天、周、年等的预定间隔获取图像集合12。此后，可以将图像集合12提供给联合配准和分割服务器13，联合配准和分割服务器13可以以下面详细描述的方式执行JRS。该处理的结果可以是已经配准并分割的图像集合12'。然后，配准和分割的图像集合12'可以被提供给计算机视觉处理器14，计算机视觉处理器14可以分析配准和分割的图像集合12'，以便表征时间事件，该时间事件被理解为状况(condition)已经相对于时间改变的方式。例如，时间事件可以是肿瘤的生长，其可以用于进行诊断。替代地，时间事件可以是森林覆盖、冰川融化或一些其它缓慢变化的环境事件。
此后，时间事件的表征(characterization)可以显示在显示终端15上或以其它方式提供给显示终端15，以便可以由操作人员观察结果。
联合配准和分割服务器13可以利用神经网络来执行JRS。可以通过训练数据16预先训练该神经网络。训练数据16可以包括已经在相同图像集合上用配准结果和分割结果两者进行标注的一个或多个图像集合。图像集合中的图像可以跨越一段时间。可以用配准结果和分割结果两者来标注训练数据16的每个图像。因此，可以训练神经网络以作为单个优化问题的一部分同时执行配准和分割，如下面将详细描述的。
图2是示出根据本发明的示例性实施例的用于执行联合配准和分割的方法的流程图。首先，可以标注训练数据(步骤S201)。训练数据可以包括随时间拍摄的一个或多个图像序列，并且训练数据的每个图像帧可以既被配准又被分割。例如，训练数据可以包括显示肿瘤的进展的医学图像集合。配准可以将每个图像对应于共同的参考系，而分割描绘了各种解剖标志物和肿瘤的边界。然后，该训练数据可以用于构建神经网络(步骤S202)或使用各种计算机学习技术以其它方式来训练分类器。神经网络的构建可以是使用深度学习(DL)工具构建人工智能(AI)环境的一个示例，并且在本公开的精神内可以使用其它这样的示例。在任一情况下，神经网络或其它DL方法可以经历训练阶段，在训练阶段中训练数据用于开发模型或分类器，该模型或分类器用于使用训练图像数据输出配准图像和分割掩模。
可以随时间获取图像集合。这可以包括获取第一时间的主体/对象的第一图像(步骤S203)，获取晚于第一时间的第二时间的相同主体/对象的第二图像(步骤S204)，并且然后继续以期望的时间间隔获取主体/对象的图像，直到在第n时间拍摄的主体/对象的第n个图像(步骤S205)。
然后可以将所获取的图像集合发送到联合配准和分割服务器，联合配准和分割服务器可以使用构建的神经网络或其它DL模型/分类器对该图像集合执行联合配准和分割(步骤S206)。
在执行JRS时，可以定义成本函数以用于基于强度信息和分割信息来配准图像对。生成对抗网络(GAN)可以用于配准图像对。GAN可以采用训练数据作为输入，训练数据可以包括包含参考图像和浮动图像的图像对。然后，通过适当地变换浮动图像，可以将浮动图像配准到参考图像或以其它方式与参考图像对准。可以手动或使用基于深度学习(DL)的分割方法来生成参考图像的分割掩模。然后，通过使用参考图像、浮动图像和分割掩模，配准网络的GAN输出配准图像，该配准图像是浮动图像的变换版本。同时，网络还可以输出变换图像的分割掩模。
在执行JRS时，图像集合可以包括可以用作参考图像的第一图像和可以用作浮动图像的第二图像。然后，JRS的输出将是变换图像、变形场和分割掩模。然后，第三图像可以是新的浮动图像，第二图像可以用作参考图像，并且可以针对每个图像对重复该过程。替代地，第一图像可以用作每个图像帧的参考图像。
可以包括变换图像、变形场和分割掩模的JRS的结果然后可以由计算机视觉处理器分析，以表征随时间从图像到图像变化的性质(步骤S207)。这可以包括例如执行计算机辅助诊断，诸如以自动识别肿瘤和对肿瘤进行分期。这可以替代地包括确定森林生长或衰退的速率或量化冰川变化。
如前所述，根据本发明的示例性实施例，可以训练生成对抗网络(GAN)以通过将浮动图像和参考图像的分割映射相似性与特征映射组合来将浮动图像配准到参考图像。来自GAN卷积层的中间分割映射可以在训练阶段中使用并且在测试时生成最终分割掩模。因此，JRS可以用于提供与单独处理配准和分割的解决方案相比改进的配准和分割性能。
根据本发明的示例性实施例的JRS体系架构可以采用三个输入图像：(1)参考图像(IRef)；(2)要配准到IRef的浮动图像(IFlt)；以及(3)IRef seg，指示要分割的器官的IRef的分割掩模。输出是：(1)ITrans，配准图像(IFlt的变换版本)；以及(2)ITrans seg，ITrans的分割掩模。GAN可以具有两个组件：生成输出的生成器网络，以及将生成的输出与训练数据进行比较的鉴别器网络。在测试期间，仅使用生成器网络。
GAN是在对抗设置中训练的生成模型。生成器G输出期望的图像类型，而鉴别器D输出生成的图像匹配训练数据分布的概率。为了生成训练数据，图像首先在左、右、上或下方向上以+/-[25,40]像素的位移范围进行平移。平移的图像在范围+/-[20,180]°内以5°的相等步长旋转不同的角度。最后，使用B-样条以在+/-[1,15]的范围内的像素位移对旋转的图像进行局部弹性变形。对应的分割掩模经历相同的变换以确保原始掩模和变换掩模之间的Dice度量(DM)具有0.80的最大值。原始图像是IRef并且变换图像是IFlt。应用合成变形允许：(1)准确量化配准误差；以及(2)确定ITrans和IRef之间的相似性。生成器G是前馈CNN，其参数θG由下式给出：
其中损失函数lJRS组合内容损失和对抗性损失，并且
内容损失是：
这里，MSE表示IRef和ITrans之间的强度均方误差。SSIM表示基于边缘分布的结构相似性指数度量(SSIM)并且量化不同图像之间的标志物对应关系。SSIM∈[0，1]，其中更高的值指示更大的相似性。这里，VGG是使用Relu 4—预训练的VGG16网络的1层—的所有512个特征映射的两个图像之间的L2距离。由于成本函数考虑了捕获不同尺度信息的多个特征映射，因此VGG损失提高了稳健性。这里，J表示分割掩模之间的Jaccard损失并且等于1-JI，其中JI是Jaccard系数并且被定义为：
由于JRS的目标是使得配准和分割相互影响，因此JI确保配准图像通过分割掩模重叠来结合IRef和ITrans之间的分割信息。这里，ITrans Seg是在运行时获得的，并且随着每次训练更新而变化。
图3A和图3B是示出根据本发明的示例性实施例的生成器网络的图。如从图3A中可以看出，残余块拥有具有3×3个过滤器和64个特征映射的两个卷积层，然后是批量归一化和ReLU激活。G还输出分割掩模，该分割掩模被反馈用于训练。如从图3B可以看出，鉴别器D具有八个卷积层，其中内核从64到512以2为倍数增加。使用了Leaky ReLU并且当特征的数量加倍时，跨步长卷积降低图像维度。所得到的512个特征映射随后是两个密集层和最终的sigmoid激活。D评估ITrans和Iref之间强度分布的相似性。
CycGAN可以学习图像集合X＝IFlt和Y＝Iref之间的映射函数G：Y→X和F:Y→X。对抗性鉴别器DX区分图像x和配准图像F(y)，并且DY区分y和G(x)。G将IFlt配准到IRef，并且F将IRef配准到IFlt。除了内容损失(公式2)之外，我们还有：(1)与ITrans到IFlt的分布相匹配的对抗性损失；以及(2)循环一致性损失以确保变换G、F不相互矛盾。对抗性损失函数确保ITrans具有与IFlt类似的强度分布，并且由下式给出：
LcycGAN(G、DY)＝Ey∈pdata(y)[log DY-(y)]+Ex∈pdata(x)[log(1-DY(G(x)))]，
(3)
为了简明而保留标注X、Y。还存在LcycGAN(F，DX)，即，F和DX的对应的对抗性损失。
循环一致性损失确保对于每个x∈X，逆变形应使x返回到原始图像，即，x→G(x)→F(G(x))≈x。类似的约束还可以应用于映射F和y。这可以通过使用下式来实现：
Lcyc(G，F)＝Ex||F(G(x))-x||1+Ey||G(F(y))-y||1. (4)
其中完整目标函数是：
这里，λ＝10控制两个目标的贡献。最佳参数由下式给出：
通过连接(concatenate)不同卷积层的特征映射来获得分割掩模，这些不同卷积层的特征映射用作强调图像的信息部分的激活映射。(使用学习的权重的)加权组合给出最终激活映射，最终激活映射被阈值化以给出分割掩模。诸如UNet之类的方法可以修改FCN体系架构以在上采样和下采样路径的相应层之间添加跳过连接以获得最终分割。由于G中既不采用最大池化也不采用下采样，因此所有输出激活映射都具有相同的维度并且被直接组合以获得分割掩模。
图4示出了根据本发明的一些实施例的系统的另一个示例。作为概述，本发明的一些实施例可以以软件应用的形式实现，该软件应用运行在一个或多个计算机系统(例如，计算机系统的“云”)上，例如，运行在(一个或多个)大型机、(一个或多个)个人计算机(PC)、(一个或多个)手持式计算机、(一个或多个)客户端、(一个或多个)服务器、(一个或多个)对等设备等上。软件应用可以被实现为存储在计算机可读存储介质(在下面更详细地讨论)上的计算机可读/可执行指令，该计算机可读存储介质可由计算机系统在本地访问和/或可经由到网络(例如，局域网或互联网)的硬连线或无线连接远程访问。
现在参考图4，计算机系统(通常被称为系统1000)可以包括例如处理器(例如，中央处理单元(CPU)1001)、存储器1004(诸如随机存取存储器(RAM))、打印机接口1010、显示单元1011、可操作地耦接到局域网(LAN)接口1006(其可以进一步耦接到LAN)的LAN数据传输控制器1005、可以提供与公共交换电话网(PSTN)的通信的网络控制器1003、一个或多个输入设备1009(例如，键盘、鼠标等)以及用于可操作地连接各种子系统/组件的总线1002。如图所示，系统1000还可以经由链路1007连接到非易失性数据存储库，例如，硬盘1008。
在一些实施例中，软件应用存储在存储器1004中，软件应用当由CPU 1001执行时，使得系统执行根据本发明的一些实施例的计算机实现的方法，例如，参考图2描述的方法的一个或多个特征。
在任何可能的技术细节结合层面，本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本文描述的示例性实施例是说明性的，并且在不脱离本发明的精神或所附权利要求的范围的情况下可以引入许多变型。例如，在本发明和所附权利要求的范围内，不同示例性实施例的元件和/或特征可以彼此组合和/或彼此替换。

Claims (22)

1.一种用于配准和分割图像的系统，包括：
图像扫描仪，被配置为获取包括第一时间的第一图像和在第一时间之后的第二时间的第二图像的图像对；
联合配准和分割服务器，被配置为从所述图像扫描仪接收所述图像对，以及使用单个深度学习框架同时对所述图像对执行联合配准和分割；
计算机视觉处理器，被配置为接收所述联合配准和分割服务器的输出，并且根据所述输出表征状况从第一时间到第二时间已经如何进展；以及
用户终端，被配置为向用户呈现所述表征。
2.如权利要求1所述的系统，其中所述图像扫描仪是计算机断层摄影CT扫描仪、磁共振成像仪MRI、相机或基于卫星的成像仪。
3.如权利要求1所述的系统，其中第一时间和第二时间不在同一天，并且第一图像和第二图像在不同的成像阶段中获取。
4.如权利要求1所述的系统，其中所述联合配准和分割服务器被配置为使用在获取第一图像和第二图像之前已经使用训练数据进行训练的神经网络对所述图像对执行联合配准和分割。
5.如权利要求4所述的系统，其中所述神经网络包括生成对抗网络GAN，所述生成对抗网络能够使用第一图像和第二图像中的一个图像作为浮动图像，并且使用第一图像和第二图像中的另一个图像作为参考图像。
6.如权利要求1所述的系统，其中所述联合配准和分割服务器的所述输出包括分割掩模和配准图像。
7.如权利要求1所述的系统，其中所述计算机视觉处理器被配置为执行计算机辅助诊断。
8.如权利要求1所述的系统，其中所述用户终端包括用于向所述用户显示所述表征的显示设备。
9.一种用于配准和分割图像的方法，包括：
获取包括第一时间的第一图像和在第一时间之后的第二时间的第二图像的图像对；
使用单个深度学习框架同时对所述图像对执行联合配准和分割；以及
根据所述图像对的联合配准和分割的结果来表征状况从第一时间到第二时间已经如何进展。
10.如权利要求9所述的方法，其中第一图像和第二图像是计算机断层摄影CT图像、磁共振成像仪MRI图像、相机图像或卫星图像。
11.如权利要求9所述的方法，其中第一时间和第二时间不在同一天，并且第一图像和第二图像在不同的成像阶段中获取。
12.如权利要求9所述的方法，其中，使用在获取第一图像和第二图像之前已经使用训练数据进行训练的神经网络对所述图像对执行所述联合配准和分割。
13.如权利要求12所述的方法，其中所述神经网络包括生成对抗网络GAN，所述生成对抗网络能够使用第一图像和第二图像中的一个图像作为浮动图像，并且使用第一图像和第二图像中的另一个图像作为参考图像。
14.如权利要求9所述的方法，其中所述图像对的联合配准和分割的结果包括分割掩模和配准图像。
15.如权利要求9所述的方法，其中状况从第一时间到第二时间已经如何进展的所述表征是计算机辅助诊断的一部分。
16.一种用于配准和分割图像的计算机程序产品，所述计算机程序产品包括具有随其体现的程序指令的计算机可读存储介质，所述程序指令能够由计算机执行以使所述计算机：
由所述计算机使用单个深度学习框架对图像对同时执行联合配准和分割，所述图像对包括第一时间的第一图像和在第一时间之后的第二时间的第二图像；以及
由所述计算机根据所述图像对的联合配准和分割的结果来表征状况从第一时间到第二时间已经如何进展。
17.如权利要求16所述的计算机程序产品，其中第一图像和第二图像是计算机断层摄影CT图像、磁共振成像仪MRI图像、相机图像或卫星图像。
18.如权利要求16所述的计算机程序产品，其中，使用在获取第一图像和第二图像之前已经使用训练数据进行训练的神经网络对所述图像对执行所述联合配准和分割。
19.如权利要求18所述的计算机程序产品，其中所述神经网络包括生成对抗网络GAN，所述生成对抗网络能够使用第一图像和第二图像中的一个图像作为浮动图像，并且使用第一图像和第二图像中的另一个图像作为参考图像。
20.如权利要求16所述的计算机程序产品，其中所述图像对的联合配准和分割的结果包括分割掩模和配准图像。
21.一种用于配准和分割图像的系统，包括用于执行根据权利要求9至15中任一项所述的方法的步骤的部件。
22.一种用于配准和分割图像的系统，包括：
一个或多个处理单元，
其上存储有计算机程序代码的一个或多个存储器单元，所述一个或多个存储器单元耦接到所述一个或多个处理单元，所述计算机程序代码当被加载到存储器时，执行根据权利要求9到15中任一项所述的方法的步骤。
CN201910483665.5A 2018-06-06 2019-06-05 使用深度学习的图像联合配准和分割 Active CN110570426B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/001,566 2018-06-06
US16/001,566 US10726555B2 (en) 2018-06-06 2018-06-06 Joint registration and segmentation of images using deep learning

Publications (2)

Publication Number Publication Date
CN110570426A true CN110570426A (zh) 2019-12-13
CN110570426B CN110570426B (zh) 2023-04-25

Family

ID=68765264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910483665.5A Active CN110570426B (zh) 2018-06-06 2019-06-05 使用深度学习的图像联合配准和分割

Country Status (2)

Country Link
US (1) US10726555B2 (zh)
CN (1) CN110570426B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN113298831A (zh) * 2021-06-30 2021-08-24 上海联影医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN117132752A (zh) * 2023-10-24 2023-11-28 硕橙（厦门）科技有限公司 基于多维度加权的沙尘图像增强方法、装置、设备及介质
US11880988B2 (en) 2020-06-11 2024-01-23 GE Precision Healthcare LLC Image registration method and model training method thereof

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377282B (zh) * 2019-06-26 2021-08-17 扬州大学 基于生成对抗和卷积神经网络的UI生成Web代码的方法
CN113096166B (zh) * 2019-12-17 2023-08-18 上海美杰医疗科技有限公司 一种医学影像配准的方法和装置
CN111192268B (zh) * 2019-12-31 2024-03-22 广州开云影像科技有限公司 医学图像分割模型构建方法与cbct图像骨分割方法
CN111340813B (zh) * 2020-02-25 2023-09-01 北京字节跳动网络技术有限公司 图像实例分割方法、装置、电子设备及存储介质
CN112767463B (zh) * 2021-01-12 2024-02-06 深圳大学 一种对抗配准方法、装置、计算机设备及存储介质
WO2022163513A1 (ja) * 2021-01-27 2022-08-04 富士フイルム株式会社 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
CN114511599B (zh) * 2022-01-20 2022-09-20 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
EP4239576A1 (en) 2022-03-04 2023-09-06 Esaote S.p.A. Method and system for registering images acquired with different modalities for generating fusion images from registered images acquired with different modalities
WO2024050552A1 (en) * 2022-09-03 2024-03-07 San Diego State University Research Foundation Image processing methods and systems for detecting change in infrastructure assets

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080063301A1 (en) * 2006-09-12 2008-03-13 Luca Bogoni Joint Segmentation and Registration
CN104408734A (zh) * 2014-12-11 2015-03-11 山东师范大学 联合图像分割与形变配准技术的自适应目标区域转换方法
CN106780485A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于超像素分割和特征学习的sar图像变化检测方法
US20170358075A1 (en) * 2016-06-09 2017-12-14 International Business Machines Corporation Sequential learning technique for medical image segmentation
CN108009543A (zh) * 2017-11-29 2018-05-08 深圳市华尊科技股份有限公司 一种车牌识别方法及装置
CN108030502A (zh) * 2017-07-12 2018-05-15 深圳联影医疗科技有限公司 用于空气校正的系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69332042T2 (de) 1992-12-18 2003-01-02 Koninkl Philips Electronics Nv Ortungszurückstellung von relativ elastisch verformten räumlichen Bildern durch übereinstimmende Flächen
US6611615B1 (en) 1999-06-25 2003-08-26 University Of Iowa Research Foundation Method and apparatus for generating consistent image registration
US6438401B1 (en) * 2000-04-28 2002-08-20 Alpha Intervention Technology, Inc. Indentification and quantification of needle displacement departures from treatment plan
US20060056701A1 (en) 2004-03-02 2006-03-16 Gozde Unal Joint segmentation and registration of images for object detection
US8064664B2 (en) 2006-10-18 2011-11-22 Eigen, Inc. Alignment method for registering medical images
GB0818561D0 (en) 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US8810684B2 (en) 2010-04-09 2014-08-19 Apple Inc. Tagging images in a mobile communications device using a contacts list
US9179890B2 (en) * 2011-07-14 2015-11-10 Siemens Aktiengesellschaft Model-based positioning for intracardiac echocardiography volume stitching
JP5863330B2 (ja) * 2011-08-22 2016-02-16 国立大学法人旭川医科大学 画像処理装置、画像処理方法、およびプログラム
US8777854B2 (en) * 2011-09-06 2014-07-15 General Electric Company Method and system for ultrasound based automated detection, quantification and tracking of pathologies
CN104160424B (zh) * 2012-03-08 2017-09-19 皇家飞利浦有限公司 用于改进多模态图像融合中的配准准确度的智能标志选择
JP6217085B2 (ja) * 2013-01-23 2017-10-25 株式会社ニデック 眼科撮影装置
US9406142B2 (en) * 2013-10-08 2016-08-02 The Trustees Of The University Of Pennsylvania Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling
CA2982526C (en) * 2015-04-13 2020-04-14 Case Western Reserve University Dual energy x-ray coronary calcium grading
CN108603922A (zh) 2015-11-29 2018-09-28 阿特瑞斯公司 自动心脏体积分割
CN109313627A (zh) 2016-03-17 2019-02-05 映佳控制公司 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统
US10667778B2 (en) * 2016-09-14 2020-06-02 University Of Louisville Research Foundation, Inc. Accurate detection and assessment of radiation induced lung injury based on a computational model and computed tomography imaging
CN106846380B (zh) 2016-12-26 2019-09-03 北京理工大学 一种医学图像配准方法及设备
CN108734087B (zh) * 2018-03-29 2022-04-29 京东方科技集团股份有限公司 物体自动识别方法以及系统、购物设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080063301A1 (en) * 2006-09-12 2008-03-13 Luca Bogoni Joint Segmentation and Registration
CN104408734A (zh) * 2014-12-11 2015-03-11 山东师范大学 联合图像分割与形变配准技术的自适应目标区域转换方法
US20170358075A1 (en) * 2016-06-09 2017-12-14 International Business Machines Corporation Sequential learning technique for medical image segmentation
CN106780485A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于超像素分割和特征学习的sar图像变化检测方法
CN108030502A (zh) * 2017-07-12 2018-05-15 深圳联影医疗科技有限公司 用于空气校正的系统和方法
CN108009543A (zh) * 2017-11-29 2018-05-08 深圳市华尊科技股份有限公司 一种车牌识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PIOTR SWIERCZYNSKI 等: "A level-set approach to joint image seg...ion to CT lung imaging", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880988B2 (en) 2020-06-11 2024-01-23 GE Precision Healthcare LLC Image registration method and model training method thereof
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN113298831A (zh) * 2021-06-30 2021-08-24 上海联影医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN113298831B (zh) * 2021-06-30 2022-03-29 上海联影医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN117132752A (zh) * 2023-10-24 2023-11-28 硕橙（厦门）科技有限公司 基于多维度加权的沙尘图像增强方法、装置、设备及介质
CN117132752B (zh) * 2023-10-24 2024-02-02 硕橙（厦门）科技有限公司 基于多维度加权的沙尘图像增强方法、装置、设备及介质

Also Published As

Publication number Publication date
US10726555B2 (en) 2020-07-28
US20190378274A1 (en) 2019-12-12
CN110570426B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN110570426B (zh) 使用深度学习的图像联合配准和分割
US11288813B2 (en) Systems and methods for anatomic structure segmentation in image analysis
JP6884853B2 (ja) ニューラルネットワーク法を用いた画像セグメンテーション
JP6932182B2 (ja) 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
US20160210749A1 (en) Method and system for cross-domain synthesis of medical images using contextual deep network
TW202215303A (zh) 使用基於自我注意之神經網路處理影像
EP3961561A1 (en) Method for designing a module for image segmentation
US20210012504A1 (en) Encoder Regularization of a Segmentation Model
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
CN114972729A (zh) 用于医学图像分析的标注高效学习的方法和系统
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
US20230401737A1 (en) Method for training depth estimation model, training apparatus, and electronic device applying the method
US20220292673A1 (en) On-Site training of a machine-learning algorithm for generating synthetic imaging data
CN115546270A (zh) 多尺度特征融合的图像配准方法、模型训练方法及设备
CN115115900A (zh) 图像重建模型的训练方法、装置、设备、介质及程序产品
CN114723746B (zh) 基于知识蒸馏的病灶区域深度组学特征提取方法及装置
CN115691770A (zh) 基于条件分数的跨模态医学影像补全方法、装置及设备
CN117011169A (zh) 医学图像生成方法、装置、电子设备及存储介质
CN115880249A (zh) 基于图像的对象分割方法、装置、设备和介质
CN116977364A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN116452801A (zh) 一种多模态图像分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant