CN110047056B - 用深度图像到图像网络和对抗网络的跨域图像分析和合成 - Google Patents

用深度图像到图像网络和对抗网络的跨域图像分析和合成 Download PDF

Info

Publication number
CN110047056B
CN110047056B CN201910040136.8A CN201910040136A CN110047056B CN 110047056 B CN110047056 B CN 110047056B CN 201910040136 A CN201910040136 A CN 201910040136A CN 110047056 B CN110047056 B CN 110047056B
Authority
CN
China
Prior art keywords
domain
image
training
encoder
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910040136.8A
Other languages
English (en)
Other versions
CN110047056A (zh
Inventor
周少华
苗舜
廖芮
A.塔伊苏佐卢
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN110047056A publication Critical patent/CN110047056A/zh
Application granted granted Critical
Publication of CN110047056B publication Critical patent/CN110047056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

公开了使用深度图像到图像网络和对抗网络的用于跨域医学图像分析和跨域医学图像合成的方法和装置。在用于跨域医学图像分析的方法中，接收患者的来自第一域的医学图像。将医学图像输入到跨域深度图像到图像网络（DI2IN）的第一编码器，所述DI2IN包括用于第一域的第一编码器、用于第二域的第二编码器、和解码器。第一编码器将医学图像转换为特征图，并且解码器从特征图生成输出图像，所述输出图像提供医学图像分析任务的结果。至少部分地基于第一编码器从来自第一域的训练图像生成的特征图与第二编码器从来自第二域的训练图像生成的特征图的相似性来一起训练第一编码器和第二编码器，并训练解码器以从第一编码器或第二编码器生成的特征图生成输出图像。

Description

用深度图像到图像网络和对抗网络的跨域图像分析和合成
背景技术
本发明涉及跨域医学图像分析和医学图像的跨域合成，并且更具体地，涉及使用深度学习网络的跨域医学图像分析和跨域医学图像合成。
诸如计算机断层扫描（CT）、扩散张量成像（DT1）、T1加权磁共振成像（MRI）、T2加权MRI、超声、X射线、正电子发射断层扫描（PET）等众多成像模态可以用于患者的医学图像分析。这些成像模态中的每个捕获潜在解剖的不同特性并且任何两个模态之间的关系是高度非线性的。这些不同成像技术为医师提供用于作出准确诊断的多变工具和信息。然而，传感器异质性为开发有效的自动图像分析平台造成挑战。特别地，在一个模态上良好工作的算法可能在从不同类型的扫描仪收集的数据上表现得无用。
在很多实际医学图像分析问题中，经常遇到这样的情形，在该情形中归因于模态异质性或域变化，可用于训练（例如可用于基于机器学习的解剖学对象检测）的医学图像数据具有与测试期间给定的医学图像数据不同的分布或表示。归因于跨模态的图像特性中的变化，利用来自一个模态的数据所训练的医学图像分析算法在被应用到来自不同模态的医学图像数据时可能无法良好工作。解决该问题的一种方式是从每个成像模态收集大量训练数据。然而，由于收集医学图像经常是耗时且昂贵的，因此该解决方案是不切实际的。
跨模态合成从给定源模态图像生成在期望目标模态中的医学图像，在没有实际采集的情况下合成医学图像的能力具有诸如图谱构造、虚拟增强、多模态配准和分割之类的很多潜在应用。已经提出了用于跨模态合成的各种方案，但是这类方案通常针对特定应用或基于各种启发法而定制。
发明内容
本发明提供用于自动化的基于计算机的跨域医学图像分析和医学图像的跨域合成的方法和系统。
在本发明的一个实施例中，一种用于在患者的医学图像上自动执行基于跨域的医学图像分析的方法包括：接收患者的来自第一域的医学图像；将患者的医学图像输入到跨域深度图像到图像网络的第一编码器，所述跨域深度图像到图像网络包括用于第一域的第一编码器、用于第二域的第二编码器以及解码器；以及由将来自第一域的输入医学图像转换为特征图的第一编码器和从第一编码器生成的特征图生成输出图像的解码器，使用跨域深度图像到图像网络自动生成输出图像，所述输出图像提供输入医学图像上的目标医学图像分析任务的结果。至少部分地基于由第一编码器从来自第一域的训练输入图像生成的特征图和由第二编码器从来自第二域的训练输入图像生成的特征图的相似性，来一起训练用于第一域的第一编码器与用于第二域的第二编码器。训练解码器以从第一编码器生成的特征图和第二编码器生成的特征图生成输出图像。
在本发明的另一个实施例中，一种用于训练用于跨域双边医学图像合成的深度神经网络的方法，包括：接收第一域的第一组训练图像和在第二域中的第二组训练图像；以及基于第一域的第一组训练图像和第二域的第二组训练图像训练双边生成性对抗网络，所述双边生成性对抗网络包括：第一生成器网络，其用于从第一域的输入医学图像生成第二域的合成医学图像；第二生成器网络，其用于从第二域的输入医学图像生成第一域的合成医学图像；第一鉴别器网络，其用于在第一域的真实训练图像和第二生成器网络从第二域的训练图像生成的第一域的合成医学图像之间进行区分；以及第二鉴别器网络，其用于在第二域的真实训练图像和第一生成器网络从第一域的训练图像生成的第二域的合成医学图像之间进行区分。双边生成性对抗网络的训练奖励第一域的训练图像和第二生成器网络从第一生成器网络从第一域的训练图像生成的第二域的合成图像生成的第一域的合成图像之间的一致性，以及第二域的训练图像和第一生成器网络从第二生成器网络从第二域的训练图像生成的第一域的合成图像生成的第二域的合成图像之间的一致性。
通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员而言将是清楚的。
附图说明
图1图示了根据本发明的实施例的用于医学图像分析的深度图像到图像网络（DI2IN）；
图2图示了用于图像生成的生成性对抗网络；
图3图示了使用跨域深度图像到图像网络的用于自动跨域医学图像分析的方法；
图4图示了根据本发明的实施例的具有对抗网络的跨域DI2IN；
图5图示了根据本发明的实施例的用于训练跨域DI2IN和对抗网络的方法；
图6图示了根据本发明的实施例的用于跨域医学图像合成的生成性对抗网络（GAN）；
图7图示了根据本发明的实施例的用于跨域双边医学图像合成的方法；
图8图示了根据本发明的实施例的用于训练用于跨域医学图像合成的深度神经网络的双边GAN；
图9图示了根据本发明的实施例的用于训练用于跨域双边医学图像合成的深度神经网络的方法；
图10图示了根据本发明的实施例的使用几何结构保持生成性对抗网络的用于跨域医学图像合成的方法；以及
图11是能够实现本发明的计算机的高级框图。
具体实施方式
本发明涉及用于基于自动化计算机的跨域医学图像分析和跨域医学图像合成的方法和系统。本文描述本发明的实施例以给出跨域医学图像分析和跨域医学图像合成方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示构成。本文通常在标识和操控对象方面来描述对象的数字表示。这类操控是在计算机系统的存储器或其他电路/硬件中完成的虚拟操控。因此，要理解，可以在计算机系统内使用存储在计算机系统内的数据来执行本发明的实施例。
可以使用诸如超声、计算机断层扫描（CT）和磁共振成像（MRI）图像采集设备之类的不同类型的成像设备来获取医学图像。因此，这类医学图像的分析可以从利用来自多个域的共享知识受益。例如，考虑来自医学图像的经分割目标解剖学结构的医学图像分析任务。出现在针对同一患者的CT和MRI图像中的例如肝脏之类的同一解剖学结构共享相同的形态，虽然其外观不同。设计两个独立的分割管道（一个用于CT并且另一个用于MRI）是次优的。本发明的实施例提供用于跨域图像分析的基于机器学习的方法。在本发明的有利实施例中，深度图像到图像网络和对抗网络用于一起训练深度神经网络，以针对来自不同域的医学图像执行医学图像分析任务，使得来自一个域的知识可以改进另一个域中的医学图像分析任务的性能。当一个域（例如，源域）具有相当大量的带注释数据组并且另一个域（例如，目标域）具有有限量的带注释图像或者极端地没有带注释图像时，本文描述的方法的实际益处出现。在这类情况下，跨域图像分析可以导致在目标域中的更有效的医学图像分析。
如本文所使用的，来自不同“域”的医学图像指代来自不同医学成像模态（诸如CT、MRI、超声等）的医学图像以及跨图像域的医学图像（诸如具有不同协议（例如，T1和T2）的MR图像、对比CT图像和非对比CT图像、以低kV捕获的CT图像和以高kV捕获的CT图像、或低和高分辨率医学图像）。即，“第一域”和“第二域”可以是完全不同的医学成像模态或相同整体成像模态内的不同图像域或协议。
可以在完全卷积的深度图像到图像网络（DI2IN）学习框架内制定模型估计任务族。在DI2IN中，输入是图像（或多个图像），并且输出也是表示目标医学图像分析任务的结果的相同网格大小的图像。可以应用该框架以执行很多医学图像分析任务。例如，对于界标检测，可以使用在目标界标周围的具有高斯斑点的图像来表示界标。对于图像分割，掩模图像已经处于图像表示格式。如通过引用在其整体上并入本文的名称为“Deep Image-to-Image Network Learning for Medical Image Analysis”的美国专利No.9,760,807中所描述的，可以在DI2IN框架中制定诸如检测、分割、配准、去噪和跨模态合成之类的各种医学图像分析任务。
图1图示了根据本发明的实施例的用于医学图像分析的深度图像到图像网络（DI2IN）100。如图1中示出的，DI2IN 100输入输入图像I并输出输出图像J。DI2IN 100包括将输入图像I从低级描绘为高级表示的编码网络（或编码器）F 102以及解码网络（或解码器）G 104，解码网络G 104将高级表示转换回像素级语义表示以生成输出图像J。这可以表达为：
DI2IN 100的编码器F 102具有将输入图像I编码成代码（特征图）的一系列层，所述代码的大小大幅小于输入图像I的大小。DI2IN 100的解码器G 104具有一系列层，所述一系列层然后将把代码解码为输出图像J。在编码器F 102中生成的所有中间信息与解码器G104共享，使得在编码过程中没有信息丢失。
生成性对抗网络（GAN）是用于图像生成的新范式。图2图示了用于图像生成的生成性对抗网络。如在图2中示出的，GAN包括以深度网络形式的两个模块——用于图像生成的生成器（或G网络）G α 200和用于在真实图像和合成图像之间进行区分的鉴别器（或D网络）D β 202。生成器G α 200从某个输入z生成合成图像。鉴别器D β 202输入由生成器G α 200生成的合成图像/>和真实图像I并将这些图像中的每个分类为真实或伪造（合成）。在训练期间，生成器G α 200和鉴别器D β 202一起参与以下最小最大游戏：
其中α和β分别是生成器G α 200和鉴别器D β 202的参数（权重）。只要游戏在进行直到它们达到平衡，生成器G α 200和鉴别器D β 202在学习更好的网络参数的意义上就动态演进；即，合成图像通过鉴别器D β 202来看变得与真实图像不可区分（或尽可能接近于不可区分）。在这类情况下，生成器基本上生成真实图像。GAN框架实现合成真实图像方面的快速发展，但是还未被应用于模型估计。
在有利实施例中，集成深度图像到图像网络和对抗网络学习框架以训练用于跨域医学图像分析的跨域深度图像到图像网络（DI2IN）。图3图示了使用跨域深度图像到图像网络的用于自动跨域医学图像分析的方法。图3的方法包括训练阶段（步骤300）和推断阶段（步骤302-312）。离线执行训练阶段（步骤300）来训练用于特定医学图像分析任务的跨域DI2IN。推断阶段（步骤302-312）使用从训练阶段得到的经训练跨域DI2IN来在新接收的医学图像上执行医学图像分析任务。一旦在训练阶段中训练了用于特定医学图像分析任务的跨域DI2IN，就可以针对每个新接收的（一个或多个）医学图像重复推断阶段，以使用经训练跨域DI2IN来在每个新接收的（一个或多个）输入医学图像上执行医学图像分析任务。
在步骤300处，在训练阶段中，针对医学图像分析任务训练跨域深度图像到图像网络（DI2IN）和对抗网络。图4图示了根据本发明的实施例的具有对抗网络的跨域DI2IN。训练图4的跨域DI2IN 400以针对医学图像的两个域（A和B）执行目标医学图像分析任务。域A和B可以是医学图像的任何两个域，诸如不同的医学成像模态（例如，CT和MRI）或相同医学成像模态内的不同图像域（例如，T1加权MRI和T2加权MRI）。目标医学图像分析任务可以是诸如界标检测、解剖学对象分割等任何医学图像分析任务。例如，在可能的实现中，可以训练跨域DI2IN 400以在CT和MRI图像两者中执行器官（例如，肝脏）的分割。
假设对于两个感兴趣域A和B，两个域是独立的。在该情况下，分别由和/>给定用于域A和B的独立DI2IN。独立DI2IN中的编码器和解码器两者是单独的功能。根据本发明的有利实施例，由于针对两个域执行相同医学图像分析任务，因此我们施加跨域DI2IN 400针对两个域使用相同解码器功能（网络）的约束。如图4中示出的，跨域DI2IN 400包括用于第一域（域A）的第一编码器F A 402、用于第二域（域B）的第二编码器F B 404、以及解码器G 406。第一编码器F A 402将来自域A的输入图像I A 转换为提供I A 的高级表示的特征图。第二编码器F B 404将来自域B的输入图像I B 转换为提供I B 的高级表示的特征图。解码器G 406从由第一编码器F A 402从I A 生成的特征图生成输出图像J A ，并从由第二编码器F B 404从I B 生成的特征图生成输出图像J B 。跨域DI2IN 400的训练旨在最小化以下误差成本：
其中是计算地面真值（ground truth）输出图像和估计输出图像之间的误差的成本函数。在示例性实现中，成本函数C可以计算估计输出图像和地面真值输出图像之间的像素方面（或用于3D图像的体素方面）误差/距离。例如，可以使用回归或逻辑函数来实现成本函数C。在通过引用在其整体上并入本文的名称为“Deep Image-to-Image NetworkLearning for Medical Image Analysis”的美国专利No.9,760,807中描述了可以用于计算地面真值和估计输出图像之间的误差的成本函数的附加示例。
此外，如图4中示出的，将跨域DI2IN 400的编码器F A 402和F B 404以及解码器G 406与鉴别器（或D网络）D 408一起训练为对抗网络。鉴别器D 408是深度神经网络，所述深度神经网络在由第一编码器F A 402从来自域A的输入图像I A 生成的特征图和由第二编码器F B 404从来自域B的输入图像I B 生成的特征图之间进行区分。鉴别器D 408输入由第一编码器F A 402和第二编码器F B 404生成的特征图，并将每个特征图分类为来自域A（正）的特征或来自域B（负）的特征。在示例性实现中，鉴别器D 408可以针对每个特征图计算概率分数并基于概率分数将特征图分类为正（来自域A）或负（来自域B），所述概率分数对应于特征图来自域A的概率。对抗网络充当深度监督信号，并且通过添加以下最小最大游戏作为整体误差成本函数的部分来实现：
在训练期间，在该对抗网络中实现平衡，由两个域的编码器F A 402和F B 404从各组训练样本输出的特征图共享同一分布，使得它们对于鉴别器D 408而言变得不可区分。
图5图示了根据本发明的实施例的用于训练跨域DI2IN和对抗网络的方法。图5的方法可以用于训练图4的跨域DI2IN 400和对抗网络，以便实现图3的步骤300。在步骤502处，接收来自第一域A和第二域B的训练样本。特别地，来自域A的第一组M个训练对和来自域B的第二组N个训练对/>。对于每个域，每个训练对包括来自该域的训练输入图像I和对应的地面真值输出图像J，所述地面真值输出图像J为对应训练输入图像I提供目标医学图像分析任务的结果。在很多情况下，来自一个域的一组训练对将远大于来自另一个域的一组训练对（例如，M≫N）。在这类情况下，跨域DI2IN 400和对抗网络的训练是有益的，这是因为从训练用于具有较大组训练对的域的编码器学习的知识被自动集成到用于具有较小组训练对的另一域的编码器的训练中。
DI2IN框架可以用于制定很多不同医学图像分析问题。为了使用DI2IN框架来执行特定医学图像分析任务，必须限定提供该医学图像分析任务的结果的输出图像。对于界标检测的医学图像分析任务，（每个域中的）每个输出图像可以是具有围绕每个界标的高斯样斑点的图像。对于解剖学对象（例如，器官）检测，（每个域中的）每个输出图像可以是二元掩模，所述二元掩模具有在围绕目标解剖学对象的边界框内等于1并在所有其他像素位置处等于零的像素（或体素）。对于图像分割，（每个域中的）每个输出图像可以是掩模图像，所述掩模图像的值在分割对象边界内部为1并在分割对象边界外部为0。对于图像去噪，（每个域中的）每个输出图像是去噪图像。在通过引用在其整体上并入本文的名称为“Deep Image-to-Image Network Learning for Medical Image Analysis”的美国专利No.9,760,807中描述了针对输出图像的附加制定方式，所述输出图像可以用于为各种医学图像分析任务提供结果。
来自每个域的训练输入图像是使用对应于该域的医学成像模态而获取的医学图像，所述医学成像模态诸如计算机断层扫描（CT）、磁共振（MR）、DynaCT、超声、X射线、正电子发射断层扫描（PET）等。可以通过从医学图像数据库加载多个先前存储的医学图像来接收针对每个域的训练输入图像。在一些实施例中，对应于来自域的训练输入图像的输出图像可以是存储在数据库中的现有图像。在该情况下，通过加载对应于每个训练输入图像的先前存储的地面真值输出图像来接收地面真值输出图像。在其他实施例中，可以通过将目标医学图像分析任务的手动注释或现有结果转换为针对目标医学图像分析任务限定的输出图像，而从来自域的所接收训练输入图像自动地或半自动地生成地面真值输出图像。
图5的方法的步骤504-512迭代地更新鉴别器D 408、解码器G 406、第一编码器F A 402和第二编码器F B 404的参数（权重）以优化最小最大目标函数。可以使用随机化权重、来自针对其他医学图像分析任务训练的其他DI2IN和/或鉴别器网络的权重、或任何其他缺省初始值来初始化鉴别器D 408、解码器G 406、第一编码器F A 402和第二编码器F B 404的参数（权重）。在有利实施例中，给定来自域A的M个训练对和来自域B的N个训练对，训练中的任务是学习产出以下目标/成本函数的最优解的针对F A 402、F B 404、G 406和D 408的网络参数（权重），在所述目标/成本函数中由样本平均值取代期望值：
在等式（5）的成本函数中，第一项是与针对域A的地面真值输出图像和预测输出图像之间的误差相关的成本，所述预测输出图像由第一编码器F A 402和解码器G 406从来自域A的训练输入图像生成。第二项是是与针对域B的地面真值输出图像和预测输出图像之间的误差相关的成本，所述预测输出图像由第二编码器F B 404和解码器G 406从来自域B的训练输入图像生成。第三项是与鉴别器D 408对由第一编码器F A 402从来自域A的训练输入图像生成的特征图的分类相关的成本。第四项是与鉴别器D 408对由第二编码器F B 404从来自域B的训练输入图像生成的特征图的分类相关的成本。通过迭代步骤504-510来实现等式（5）的目标函数的优化。
在步骤504处，在第一编码器F A 402和第二编码器F B 404的参数固定的情况下，学习鉴别器D 408的参数以解决以下最大化任务：
在该步骤中，通过调整鉴别器D 408的参数来学习鉴别器D 408的参数，以在针对域A和B的相应训练组上最大化/增大鉴别器D 408对第一编码器F A 402从来自域A的训练输入图像生成的特征图的正分类以及鉴别器D 408对第二编码器F B 404从来自域B的训练输入图像生成的特征图的负分类。由于如上文描述的深度神经网络用于对鉴别器D 408建模，所以可以使用基于小批训练对实现的反向传播步骤来执行该最小化任务。
在步骤506处，在第一编码器F A 402和第二编码器F B 404的参数固定的情况下，学习解码器G 406的参数以解决以下最小化任务：
在该步骤中，通过调整解码器G 406的参数来学习解码器G 406的参数，以在针对域A和B的相应训练组上最小化/减小针对域A的地面真值输出图像与第一编码器F A 402和解码器G 406从来自域A的训练输入图像生成的预测输出图像之间的误差、以及针对域B的地面真值输出图像与由第二编码器F B 404和解码器G 406从来自域B的训练输入图像生成的预测输出图像之间的误差。由于解码器G 406是深度神经网络，所以可以使用基于小批训练对实现的反向传播步骤来执行该最小化任务。在可能的实现中，可以并行执行步骤504和506。
在步骤508处，在解码器G 406和鉴别器D 408的参数固定的情况下，学习第一编码器F A 402的参数以解决以下最小化任务：
在该步骤中，通过调整第一编码器F A 402的参数来学习第一编码器F A 402的参数，以在针对域A的训练组上最小化/减小针对域A的地面真值输出图像与由第一编码器F A 402和解码器G 406从来自域A的训练输入图像生成的预测输出图像之间的误差，并最小化/减小鉴别器D 408对第一编码器F A 402从来自域A的训练输入图像生成的特征图的正分类。该最小化问题的第二项迫使第一编码器F A 402学习将导致第一编码器F A 402针对域A生成的特征图的分布更接近于第二编码器F B 404生成的特征图的分布的参数，以便减小鉴别器D408在正分类第一编码器F A 402生成的特征图方面的准确度。因此，来自域B的知识被集成到用于域A的第一编码器F A 402的训练中。由于第一编码器F A 402是深度神经网络，所以可以使用基于小批训练对实现的反向传播步骤来执行该最小化任务。
在步骤510处，在解码器G 406和鉴别器D 408的参数固定的情况下，学习第二编码器F B 404的参数以解决以下最小化任务：
实际上发现，最大化而不是最小化/>在学习的早期导致更好的梯度信号，但两个目标函数产出相同的固定点。因此，在有利实现中，可以在步骤510中使用以下最小化问题来学习第二编码器F B 404的参数：
在该步骤中，通过调整第二编码器F B 404的参数来学习第二编码器F B 404的参数，以在针对域B的训练组上最小化/减小针对域B的地面真值输出图像与由第二编码器F B 404和解码器G 406从来自域B的训练输入图像生成的预测输出图像之间的误差，并最大化/增大鉴别器D 408对第二编码器F B 404从来自域B的训练输入图像生成的特征图的正分类(或最小化/减小负分类)。该最小化问题的第二项迫使第二编码器F B 404学习将导致第二编码器F B 404针对域B生成的特征图的分布更接近于第一编码器F A 402生成的特征图的分布的参数，以便减小鉴别器D 408在负分类第二编码器F B 404生成的特征图方面的准确度。因此，来自域A的知识被集成到用于域B的第二编码器F B 404的训练中。由于第二编码器F B 404是深度神经网络，所以可以使用基于小批训练对实现的反向传播步骤来执行该最小化任务。在可能的实现中，可以并行执行步骤508和510。
在步骤512处，确定是否已经达到停止条件。如果尚未达到停止条件，则所述方法返回到步骤504并执行步骤504-510的另一迭代。如果已经达到停止条件，则所述方法前进到步骤514。在有利实现中，停止条件是F A 402、F B 404、G 406和D 408的网络参数（权重）的收敛。在该情况下，重复步骤504、506、508和510直到F A 402、F B 404、G 406和D 408的权重收敛。当已经达到迭代的预定最大次数时也可以满足停止条件。
在步骤514处，一旦达到停止条件，训练就结束。包括用于域A的第一编码器F A 402、用于域B的第二编码器F B 404以及解码器G 406的经训练的跨域DI2IN 400被存储在计算机系统的存储器或存储装置中并然后在推断阶段中被使用以生成输出图像，所述输出图像为输入到跨域DI2IN 400的新接收医学图像提供目标医学图像分析任务的结果。
返回到图3，在推断阶段中，在步骤302处，接收患者的来自域A或域B的医学图像。医学图像可以是使用诸如CT、MR、DynaCT、超声、PET等任何类型的医学成像模态获取的2D或3D医学图像。可以直接从用于获取输入医学图像的图像采集设备（诸如CT扫描仪、MR扫描仪等）接收医学图像。可替换地，可以通过从计算机系统的存储装置或存储器加载先前获取的医学图像或接收已经从远程计算机系统传输的医学图像来接收医学图像。
在步骤304处，确定所接收的医学图像来自域A还是域B。如果所接收的医学图像来自域A，则所述方法前进到步骤306。如果所接收的医学图像来自域B，则所述方法前进到步骤308。
在步骤306处，如果所接收的医学图像来自域A，则将所接收的医学图像输入到经训练的跨域DI2IN 400的第一编码器F A 402，并且第一编码器F A 402将所接收的医学图像转换为特征图。然后所述方法前进到步骤310。
在步骤308处，如果所接收的医学图像来自域B，则将所接收的医学图像输入到经训练的跨域DI2IN 400的第二编码器F B 404，并且第二编码器F B 404将所接收的医学图像转换为特征图。然后所述方法前进到步骤310。
在步骤310处，解码器G 406从针对所接收的医学图像生成（在步骤306或步骤308处）的特征图生成输出图像，所述输出图像为所接收的医学图像提供目标医学图像分析任务的结果。训练解码器G 406以从第一编码器F A 402（从来自域A的医学图像）生成的特征图和第二编码器F B 404（从来自域B的医学图像）生成的特征图来生成输出图像。因此，如果所接收医学图像来自域A，则通过调用由共享解码网络（解码器）G 406跟随的用于域A的编码网络（编码器）F A 402来将输出图像生成为。如果所接收医学图像来自域B，则通过调用由共享解码网络（解码器）G 406跟随的用于域B的编码网络（编码器）F B 404来将输出图像生成为/>。
在步骤312处，输出所生成的输出图像，其为所接收的医学图像提供目标医学图像分析任务的结果。例如，可以通过在计算机系统的显示设备上显示所生成的输出图像来输出所生成的输出图像。还可以通过将所生成的输出图像存储在计算机系统的存储器或存储装置上或者通过将所生成的输出图像传输到远程计算机系统来输出所生成的输出图像。
跨域医学图像合成是具有许多应用的重要医学图像分析任务。例如，对于具有对训练机器学习算法而言不充足的训练数据的医学成像模态，合成图像可以用作增强训练图像。对于多模型图像配准，从另一个模态的图像生成的一个模态的合成图像可以充当两个模态之间的桥梁，并且可以用于限定针对多模型图像配准的相似性度量。此外，跨域医学图像合成可以用于从获取自低端图像采集设备的医学图像渲染合成图像，所述合成图像表现得如同它是从高端图像采集设备获取的。
本发明的实施例提供用于基于深度学习的医学图像跨域合成的方法。本发明的实施例训练用于跨域医学图像合成的深度神经网络，所述深度神经网络可以用于从源域中的可用图像合成目标域中的医学图像而不用必须执行目标域中的图像采集。本发明的实施例可以用于合成目标域医学图像，以便针对解剖学对象检测、分割、追踪和分类创建用于训练基于机器学习的分类器的大的目标域医学图像训练组，而不用必须在大量主体上执行附加图像采集。此外，本发明的实施例可以用于合成用于其他应用的目标域医学图像，诸如以针对虚拟域创建可视化工具、执行跨模态配准、上采样图像数据的分辨率、或者用于图像分割。如本文所使用的，跨域合成指代跨医学成像模态的医学图像合成，诸如从MR图像合成CT图像，以及跨图像域的图像合成（诸如具有不同协议（例如， T1和T2）的MR图像、对比CT图像和非对比CT图像，以低kV捕获的CT图像和以高kV捕获的CT图像、或任何类型的低分辨率医学图像到对应的高分辨率医学图像）。即，“源域”和“目标域”可以是完全不同的医学成像模态或相同整体成像模态内的不同图像域或协议。
假设给定大小的输入图像I，我们旨在合成相同大小的输出图像J。应指出，我们使用2D作为工作示例，但是容易将这扩展到3D或甚至更高维度。在传统的基于补片（patch）的方法中，对于输入图像I中具有强度/>的每个像素x，剪裁以像素为中心的图像补片/>并学习输出输出图像J中的强度/>的非线性映射函数/>。可以使用很多机器学习方法，包括k-最近邻、支持向量回归、随机回归森林、增强回归等。最近，已经使用诸如卷积神经网络（CNN）的神经网络来学习用于基于补片的图像合成的这类映射函数。使用CNN的益处在于其强大的分层特征表示和高效计算。
深度DI2IN是CNN的通用变型，其具有不止图像合成的用于医学图像分析任务的应用，所述应用包括界标检测、图像分割、图像配准等。在可能的实现中，深度图像到图像网络（DI2IN）（诸如上文描述的图1的DI2IN 100）可以用于跨域医学图像合成。在该情况下，输入图像I是来自源域的医学图像并且输出图像J是目标域中的医学图像。
在上文描述并在图2中图示了生成性对抗网络（GAN）。可以将GAN扩展到跨域医学图像合成，在所述跨域医学图像合成中，从源域A中的输入医学图像I生成目标域B中的合成医学图像J。图6图示了根据本发明的实施例的用于跨域医学图像合成的生成性对抗网络（GAN）。如图6中示出的，GAN包括生成器网络G 600和鉴别器网络610。将源域中的输入图像I 602输入到生成器G 600。生成器G 600是从输入图像I 602生成目标域中的合成输出图像J'604的深度神经网络。在示例性实现中，可以使用DI2IN（诸如图1的DI2IN 100）来实现生成器G。将目标域中的合成输出图像J'604和真实图像J 606输入到鉴别器D 610。鉴别器D 610是在目标域中的合成输出图像J'604和真实图像J 606之间进行区分的另一个深度神经网络。特别地，鉴别器D 610将每个图像分类为真实（正）或合成（负）。在训练期间，生成器G 600和鉴别器D 610一起参与以下最小最大游戏：
通过迭代地调整鉴别器D 610和生成器G 600的参数（权重）来端到端地训练网络，以优化等式（1）中的最小最大目标函数。在等式（1）中，第一项是与鉴别器D 610对真实样本J 606的分类相关的成本，并且第二项是与鉴别器D 610对合成样本J'604的分类相关的成本。鉴别器D 610最大化函数（即，尽其最大努力在真实和合成样本之间进行区分），并且生成器G 600最小化函数（即，合成真实样子的样本以欺骗鉴别器）。生成器G 600和鉴别器D610在学习更好的网络参数的意义上动态地演进直到它们达到平衡，即，合成样本J'604通过鉴别器D 610来看变得与真实样本J 606不可区分（或尽可能接近不可区分）。应指出，使用图6的GAN的医学图像合成是单边的，这是因为它是从源域A到目标域B的。为了反转源域和目标域并执行从域B到域A的医学图像合成，以及需要独立的合成管道。
图7图示了根据本发明的实施例的用于跨域双边医学图像合成的方法。图7的方法包括训练阶段（步骤700）和推断阶段（步骤702-706）。执行训练阶段（步骤700）以一起训练用于跨域双边医学图像合成的第一和第二深度神经网络。推断阶段（步骤702-706）使用从训练阶段得到的至少一个经训练深度神经网络来执行医学图像合成。一旦在训练阶段中训练了用于跨域双边医学图像合成的第一和第二深度神经网络，就可以针对新接收的医学图像重复推断阶段，以从第一域中的所接收医学图像生成第二域中的合成医学图像并从第二域中的所接收医学图像生成第一域中的合成医学图像。
在步骤700处，在训练阶段中，使用双边GAN和一致性来训练用于双边医学图像合成的第一和第二深度神经网络。图8图示了根据本发明的实施例的用于训练用于跨域医学图像合成的深度神经网络的双边GAN 800。如图8中示出的，双边GAN 800包括用于从第一域（例如，域A）的输入图像生成第二域（例如，域B）的合成图像的第一生成器网络G 1 802，和用于从第二域的输入图像生成第一域的合成图像的第二生成器网络G 2 804。G 1 802和G 2 804是用于医学图像合成的第一和第二深度神经网络。例如，可以使用相应的DI2IN来实现G 1 802和G 2 804。G 1 802执行从域A到域B的医学图像合成，并且G 2 804执行从域B到域A的医学图像合成。在双边GAN 800 中一起训练G 1 802和G 2 804，从而导致用于双边医学图像合成的第一和第二深度神经网络。双边GAN 800还包括第一鉴别器网络D 1 806和第二鉴别器网络D 2 808，第一鉴别器网络D 1 806用于在第一域中的真实训练图像和第二生成器G 2 804从第二域中的输入训练图像生成的第一域中的合成图像之间进行区分，第二鉴别器网络D 2 808用于在第二域中的真实图像和第一生成器G 1 802从第一域中的输入训练图像生成的第二域中的合成图像之间进行区分。
第一生成器G 1 802从第一域的输入训练图像I生成第二域的合成图像J'。第二生成器G 2 804从第二域的输入训练图像J生成第一域的合成图像I'。第一生成器G 1 802还从第二生成器G 2 804从第二域的输入训练图像J生成的第一域的合成图像I'来生成第二域的合成图像J''。第二生成器G 2 804还从第一生成器G 1 802从第一域的输入训练图像I生成的第二域的合成图像J'来生成第一域的合成图像I''。第一鉴别器D 1 806输入第一域的真实训练图像I和G 2 804从第二域的训练图像J生成的第一域的合成图像I'，并通过针对每个图像计算概率/分类分数来将真实训练图像I和合成图像I'分类为真实（正）或合成（负）。第二鉴别器D 2 808输入第二域的真实训练图像J和G 1 802从第一域的训练图像I生成的第二域的合成图像J'，并通过针对每个图像计算概率/分类分数来将真实训练图像J和合成图像J'分类为真实（正）或合成（负）。
根据有利实施例，图8的双边GAN 800通过向训练添加试图确保以下一致性成立的约束来在两个方向上一起训练图像合成管道：并且/>。即，从合成自图像I的图像J'合成的图像I''应当与原始图像I一致，并且从合成自图像J的图像I'合成的图像J''应当与原始图像J一致。如图8中示出的，第一成本函数C 1 810将第一域中的训练图像I和第一域中的合成图像I''进行比较，并且第二成本函数C 2 812将第二域中的训练图像J和第二域中的合成图像J''进行比较。在有利实现中，第一成本函数C 1 810计算第一域中的每个训练图像I和从合成自该训练图像I的合成图像J'合成的相应合成图像I''之间的像素方面（或体素方面）误差。由于合成图像I''可以被追溯回原始图像I，所以可以使用像素方面的成本函数来直接比较它们，以测量图像之间的一致性。在有利实现中，第二成本函数C 2 812计算第二域中的每个训练图像J和从合成自该训练图像J的合成图像I'合成的相应合成图像J''之间的像素方面（或体素方面）误差。由于合成图像J''可以被追溯回原始图像J，所以可以使用像素方面的成本函数来直接比较它们，以测量图像之间的一致性。
图8的双边GAN 800的训练旨在优化以下目标函数，所述目标函数包括两个最小最大游戏：
（12）
与成本函数C 1 810和C 2 812相关的项在训练期间奖励I和I''之间以及J和J''之间的一致性。具有一致性约束的图8的双边GAN 800的使用允许利用第一和第二域中的独立训练图像组来执行训练。即，对于训练用于跨域双边图像合成的深度学习网络，不要求两个域中的来自同一患者的成对训练数据。
图9图示了根据本发明的实施例的用于训练用于跨域双边医学图像合成的深度神经网络的方法。图9的方法可以用于训练图8的双边GAN 800，以便实现图7的步骤700。在步骤902处，接收来自第一域A和第二域B的训练图像。具体地，来自域A的第一组M个训练图像和来自域B的第二组N个训练图像/>。域A的第一组训练图像I m 和域B的第二组训练图像J n 可以是独立的图像组，并且不需要具有来自相同患者的在域A和B中的对应训练图像。来自每个域的训练图像是使用对应于域的医学成像模态获取的医学图像，所述医学成像模态诸如计算机断层扫描（CT）、磁共振（MR）、DynaCT、超声、X射线、正电子发射断层扫描（PET）等。可以通过从医学图像数据库加载多个先前存储的医学图像来接收针对每个域的训练图像。
图9的方法的步骤904-912迭代地更新第一生成器G 1 802、第二生成器G 2 804、第一鉴别器D 1 806和第二鉴别器D 2 808的参数（权重）以优化最小最大目标函数。可以使用随机化权重、来自针对其他医学图像合成任务或其他医学图像分析任务训练的其他DI2IN和/或鉴别器网络的权重、或任何其他缺省初始值来初始化第一生成器G 1 802、第二生成器G 2 804、第一鉴别器D 1 806和第二鉴别器D 2 808的参数（权重）。在有利实施例中，给定来自域A的M个训练图像和来自域B的N个训练图像/>，训练中的任务是学习针对第一生成器G 1 802、第二生成器G 2 804、第一鉴别器D 1 806和第二鉴别器D 2 808的产出以下目标函数的最优解的网络参数（权重），在所述目标函数中由样本平均值取代期望值：/>
（13）
通过迭代步骤904-910来实现等式（13）的目标函数的优化。
在步骤904处，在第二生成器G 2 804的参数固定的情况下，学习第一鉴别器D 1 806的参数以解决以下最大化任务：
在该步骤中，通过调整第一鉴别器D 1 806的参数来学习第一鉴别器D 1 806的参数，以在针对域A和B的相应训练组上最大化/增大第一鉴别器D 1 806对域A的真实训练图像I m 的正分类以及第一鉴别器D 1 806对第二生成器G 2 804从域B的训练图像J n 生成的合成图像的负分类。由于深度神经网络用于对第一鉴别器D 1 806建模，所以可以使用基于两小批训练图像（一批来自域A并且另一批来自域B）实现的反向传播步骤来执行该最大化任务。
在步骤906处，在第一生成器G1 802的参数固定的情况下，学习第二鉴别器D 2 808的参数以解决以下最大化任务：
在该步骤中，通过调整第二鉴别器D 2 808的参数来学习第二鉴别器D 2 808的参数，以在针对域B和A的相应训练组上最大化/增大第二鉴别器D 2 808对域B的真实训练图像J n 的正分类以及第二鉴别器D 2 808对第一生成器G 1 802从域A的训练图像I m 生成的合成图像的负分类。由于深度神经网络用于对第二鉴别器D 2 808建模，所以可以使用基于两小批训练图像（一批来自域A并且另一批来自域B）实现的反向传播步骤来执行该最大化任务。在可能的实现中，可以并行执行步骤904和906。
在步骤908处，在第二生成器G 2 804、第一鉴别器D 1 806和第二鉴别器D 2 808的参数固定的情况下，学习第一生成器G 1 802的参数以解决以下最小化任务：
在该步骤中，通过调整第一生成器G 1 802的参数来学习第一生成器G 1 802的参数，以在域A的训练组上最小化/减小域A的训练图像I m 和第二生成器G 2 804从第一生成器G 1 802从域A的训练图像I m 生成的域B的合成图像J'生成的合成输出图像之间的误差，在域B的训练组上最小化/减小域B的训练图像J n 和第一生成器G 1 802从第二生成器G 2 804从域B的训练图像J n 生成的域A的合成图像I'生成的合成输出图像/>之间的误差，并且在域A的训练组上最小化/减小第二鉴别器D 2 808对第一生成器G 1 802从域A的训练图像I m 生成的合成图像/>的负分类(或最大化/增大正分类)。由于第一生成器G 1 802是深度神经网络，所以可以使用基于两小批训练图像（一批来自域A并且另一批来自域B）实现的反向传播步骤来执行该最小化任务。
在步骤910处，在第一生成器G 1 802、第一鉴别器D 1 806和第二鉴别器D 2 808的参数固定的情况下，学习第二生成器G 2 804的参数以解决以下最小化任务：
在该步骤中，通过调整第二生成器G 2 804的参数来学习第二生成器G 2 804的参数，以在域A的训练组上最小化/减小域A的训练图像I m 和第二生成器G 2 804从第一生成器G 1 802从域A的训练图像I m 生成的域B的合成图像J'生成的合成输出图像之间的误差，在域B的训练组上最小化/减小域B的训练图像J n 和第一生成器G 1 802从第二生成器G 2 804从域B的训练图像J n 生成的域A的合成图像I'生成的合成输出图像/>之间的误差，并且在域B的训练组上最小化/减小第一鉴别器D 1 806对第二生成器G 2 804从域B的训练图像J n 生成的合成图像/>的负分类(或最大化/增大正分类)。由于第二生成器G 2 804是深度神经网络，所以可以使用基于两小批训练图像（一批来自域A并且另一批来自域B）实现的反向传播步骤来执行该最小化任务。
在步骤908和910中，实际上发现，最大化（最小化/>）而不是最小化在学习的早期导致更好的梯度信号，但两个目标函数产出相同的固定点。
在步骤912处，确定是否已经达到停止条件。如果尚未达到停止条件，则所述方法返回到步骤904并执行步骤904-910的另一迭代。如果已经达到停止条件，则所述方法前进到步骤914。在有利实现中，停止条件是第一生成器G 1 802、第二生成器G 2 804、第一鉴别器D 1 806和第二鉴别器D 2 808的网络参数（权重）的收敛。在该情况下，重复步骤904、906、908和910直到第一生成器G 1 802、第二生成器G 2 804、第一鉴别器D 1 806和第二鉴别器D 2 808的权重收敛。当已经达到迭代的预定最大次数时也可以满足停止条件。
在步骤914处，一旦达到停止条件，训练就结束。经训练的第一生成器G 1 802和经训练的第二生成器G 2 804被存储在计算机系统的存储器或存储装置中并然后在推断阶段中被使用以执行跨域双边医学图像合成。特别地，经训练的第一生成器G 1 802用于从域A的输入医学图像生成域B的合成医学图像，并且经训练的第二生成器G 2 用于从域B的输入医学图像生成域A的合成医学图像。
返回到图7，在推断阶段中，在步骤702处，接收患者的来自域A或域B的医学图像。医学图像可以是使用诸如CT、MR、DynaCT、超声、PET等任何类型的医学成像模态获取的2D或3D医学图像。可以直接从用于获取输入医学图像的图像采集设备（诸如CT扫描仪、MR扫描仪等）来接收医学图像。可替换地，可以通过从计算机系统的存储装置或存储器加载先前获取的医学图像或接收已经从远程计算机系统传输的医学图像来接收医学图像。
在步骤704处，使用第一或第二经训练的深度神经网络从所接收的医学图像生成合成医学图像。第一和第二经训练的深度神经网络分别是经训练的第一生成器G 1 802和经训练的第二生成器G 2 804。如果所接收的医学图像来自域A，则经训练的第一生成器G 1 802用于从所接收的医学图像生成域B的合成医学图像。如果所接收的医学图像来自域B，则经训练的第二生成器G 2 804用于从所接收的医学图像生成域A的合成医学图像。
在步骤706处，输出合成医学图像。例如，可以通过在计算机系统的显示设备上显示合成医学图像来输出合成医学图像。还可以通过将合成医学图像存储在计算机系统的存储器或存储装置上或者通过将合成医学图像传输到远程计算机系统来输出合成医学图像。
如在图6中图示并在上文描述的，可以将GAN框架扩展到跨域医学图像合成。然而，GAN框架可能受到两个域中的可用训练数据组之间的差别的限制。为了理解这类限制，可以将CT到MR图像合成用作示例。可用的CT图像数量通常远大于可用的MR图像的数量。此外，从其获取CT扫描的患者可以在与从其获取MR扫描的患者不同的人口子群中。这可能导致来自两个域的训练图像中的统计上显著的偏移，并且可能引起GAN框架中的鉴别器基于属性之间的差异来在两个域之间进行区分，所述属性诸如在从其获取针对不同域的训练样本的人口子群中的解剖学属性。
在本发明的有利实施例中，在训练GAN框架中解决两个域中的训练样本之间的偏移。在本发明的该实施例中，在GAN的训练中补偿两个域中的训练样本之间的解剖学几何结构中的偏移。要理解，本文描述的训练框架也可以扩展到处置其他属性中的偏移。
图10图示了根据本发明的实施例的使用几何结构保持生成性对抗网络的用于跨域医学图像合成的方法。图10的方法包括训练阶段（步骤1000）和推断阶段（步骤1002-1006）。执行训练阶段（步骤1000）以训练几何结构保持GAN。推断阶段（步骤1002-1006）使用经训练的几何结构保持GAN的生成器网络执行医学图像合成，以从源域中的输入医学图像生成目标域中的合成医学图像。一旦在训练阶段中训练了几何结构保持GAN，就可以针对新接收的医学图像重复推断阶段，以从源域中的每个所接收医学图像生成目标域中的合成医学图像。
在步骤1000处，在训练阶段中，训练几何结构保持GAN以用于跨域医学图像合成。GAN包括：生成器，其是用于从源域中的输入医学图像生成目标域中的合成医学图像的深度神经网络；以及鉴别器，其是用于在由生成器生成的目标域中的合成医学图像和目标域中的真实医学图像之间进行区分的另一个深度神经网络。在图6中图示了用于跨域医学图像合成的GAN框架。在有利实施中，可以使用深度图像到图像网络（DI2IN）（诸如图1中图示的DI2IN）来实现几何结构保持GAN的生成器。
让我们假设在某个因子中存在分布偏移，即源和目标训练示例中的分布/>和/>是不同的，即源和目标训练域中的训练示例展现出不同的属性。 在该情况下，针对GAN的最小最大目标函数可以表达为：
（18）
给定两组独立训练示例——用于源域的和用于目标域的/>，在训练期间可以由样本平均值取代等式（18）中的期望值，并且最小最大目标函数可以表达为：
在有利实施例中，引入条件性GAN框架以补偿源和目标训练示例之间的解剖学几何结构中的偏移：
应指出，在等式（20）中的第二项中，，还取决于源域中的样本几何结构，所述第二项是基于鉴别器对目标域的训练示例的分类的误差项。样本几何结构/>是源域训练图像中的目标解剖学结构的几何结构，并且样本几何结构/>是目标域训练图像/>中的目标解剖学结构的几何结构。为了评估/>的值，使用/>和/>之间的（例如，使用薄板样条（TPS）模型）计算几何变换/>，并且使用变换/>来生成经变换的目标域图像/>。然后使用经变换的目标域/>来评估鉴别器，使得/>。这在训练期间严格保持解剖学几何结构。在训练期间，学习针对生成器和鉴别器的网络参数以优化最小最大目标函数：
通过迭代以下两个交替步骤来实现几何结构保持GAN的生成器和鉴别器的训练：
-步骤1-在生成器G的参数固定的情况下，学习鉴别器D的学习参数以解决以下最大化任务：
由于深度神经网络用于对鉴别器D建模，所以可以使用基于两小批训练图像（一批来自源域并且另一批来自目标域）实现的反向传播步骤来执行该最大化任务；
-步骤2-在鉴别器D的参数固定的情况下，学习生成器G的参数以解决以下最小化任务：
实际上发现，最大化（最小化/>）而不是最小化/>在训练早期导致更好的梯度信号，但两个目标函数产出相同的固定点。由于使用深度神经网络（诸如DI2IN）来对鉴别器G建模，所以可以使用基于两小批训练图像（一批来自源域并且另一批来自目标域）实现的反向传播步骤来执行该最大化任务。
返回到图10，在推断阶段中，在步骤1002处，接收患者的在源域中的医学图像。医学图像可以是使用诸如CT、MR、DynaCT、超声、PET等任何类型的医学成像模态获取的2D或3D医学图像。可以直接从用于获取输入医学图像的图像采集设备（诸如CT扫描仪、MR扫描仪等）来接收医学图像。可替换地，可以通过从计算机系统的存储装置或存储器加载先前获取的医学图像或接收已经从远程计算机系统传输的医学图像来接收医学图像。
在步骤1004处，使用经训练的几何结构保持GAN的生成器网络G从所接收的医学图像生成目标域中的合成医学图像。
在步骤1006处，输出目标域中的合成医学图像。例如，可以通过在计算机系统的显示设备上显示合成医学图像来输出合成医学图像。还可以通过将合成医学图像存储在计算机系统的存储器或存储装置上或者通过将合成医学图像传输到远程计算机系统来输出合成医学图像。
可以在计算机上使用熟知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件来实现上文描述的用于跨域医学图像分析、跨域医学图像合成、训练用于跨域医学图像分析的深度神经网络以及训练用于跨域医学图像合成的深度神经网络的方法。在图11中图示了这类计算机的高级框图。计算机1102包含处理器1104，处理器1104通过执行限定计算机1102的整体操作的计算机程序指令来控制这类操作。计算机程序指令可以存储在存储设备1112（例如，磁盘）中，并且在期望执行计算机程序指令时被加载到存储器1110中。因此，图3、5、7、9和10的方法步骤可以由存储在存储器1110和/或存储设备1112中的计算机程序指令限定并由执行计算机程序指令的处理器1104控制。诸如MRI扫描仪之类的图像采集设备1120可以连接到计算机1102以将图像数据输入到计算机1102。将图像采集设备1120和计算机1102实现为一个设备是可能的。图像采集设备1120和计算机1102通过网络无线通信也是可能的。在可能的实施例中，计算机1102可以相对于图像采集设备1120远程定位，并且本文描述的方法步骤可以作为服务器或基于云的服务的部分被执行。在该情况下，所述方法步骤可以在单个计算机上被执行或分布在多个联网计算机之间。计算机1102还包括用于经由网络与其他设备通信的一个或多个网络接口1106。计算机1102还包括使用户能够与计算机1102交互的其他输入/输出设备808（例如，显示器、键盘、鼠标、扬声器、按钮等）。这类输入/输出设备1108可以与一组计算机程序结合使用作为注释工具来注释从图像采集设备1120接收的图像/体积。本领域技术人员将认识到，实际计算机的实现也可以包含其他组件，并且图11是出于说明性目的的这类计算机的一些组件的高级表示。
前述具体实施方式要被理解为在每个方面都是说明性和示例性的而非限制性的，并且本文公开的本发明的范围并非要从具体实施方式中确定，而是从根据专利法允许的全部宽度所解释的权利要求中确定。要理解，本文示出和描述的实施例仅是本发明的原理的说明，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种其他特征组合。

Claims (21)

1.一种用于在患者的医学图像上自动执行基于跨域的医学图像分析的方法，包括：
接收患者的来自第一域的医学图像；
将所述患者的所述医学图像输入到跨域深度图像到图像网络的第一编码器，所述跨域深度图像到图像网络包括用于所述第一域的所述第一编码器、用于第二域的第二编码器和解码器；以及
由将来自所述第一域的所输入医学图像转换为特征图的所述第一编码器和从所述第一编码器生成的特征图生成输出图像的解码器，使用所述跨域深度图像到图像网络自动生成所述输出图像，所述输出图像提供所输入医学图像上的目标医学图像分析任务的结果，其中至少部分地基于由所述第一编码器从来自所述第一域的训练输入图像生成的特征图和由所述第二编码器从来自所述第二域的训练输入图像生成的特征图的相似性，来一起训练用于所述第一域的所述第一编码器与用于所述第二域的所述第二编码器，并且训练所述解码器以从所述第一编码器生成的特征图和所述第二编码器生成的特征图来生成输出图像。
2.根据权利要求1所述的方法，其中所述跨域深度图像到图像网络的用于所述第一域的所述第一编码器、用于所述第二域的所述第二编码器以及所述解码器在对抗网络中与鉴别器网络一起被训练，所述鉴别器网络用于在所述第一编码器从来自所述第一域的训练输入图像生成的特征图和所述第二编码器从来自所述第二域的训练输入图像生成的特征图之间进行区分。
3.根据权利要求2所述的方法，其中训练所述第一编码器和所述第二编码器，使得由所述第一编码器从来自所述第一域的训练输入图像生成的特征图具有与由所述第二编码器从来自所述第二域的训练输入图像生成的特征图相似的分布，使得由所述第一编码器和所述第二编码器生成的特征图变得对于所述鉴别器网络不可区分。
4.根据权利要求2所述的方法，其中用于所述第一域的所述第一编码器、用于所述第二域的所述第二编码器、所述解码器和所述鉴别器网络被一起训练以迭代地学习针对所述第一编码器、所述第二编码器、所述解码器和所述鉴别器网络的参数来优化最小最大目标函数，所述最小最大目标函数包括与来自所述第一域的地面真值输出图像与使用所述第一编码器和所述解码器从来自所述第一域的训练输入图像预测的输出图像之间的误差相关的第一项、与来自所述第二域的地面真值输出图像与使用所述第二编码器和所述解码器从来自所述第二域的训练输入图像预测的输出图像之间的误差相关的第二项、与所述鉴别器网络对所述第一编码器从来自所述第一域的训练输入图像生成的特征图的分类相关的第三项、以及与所述鉴别器网络对所述第二编码器从来自所述第二域的训练输入图像生成的特征图的分类相关的第四项。
5.根据权利要求2所述的方法，还包括：
在接收所述患者的所述医学图像之前的训练阶段中，基于来自所述第一域的包括多个训练输入图像的第一组训练样本和对应的地面真值输出图像以及来自所述第二域的包括多个训练输入图像的第二组训练样本和对应的地面真值输出图像，来训练所述第一编码器、所述第二编码器、所述解码器和所述鉴别器网络。
6.根据权利要求5所述的方法，其中在接收所述患者的所述医学图像之前的训练阶段中，基于来自所述第一域的包括多个训练输入图像的第一组训练样本和对应的地面真值输出图像以及来自所述第二域的包括多个训练输入图像的第二组训练样本和对应的地面真值输出图像来训练所述第一编码器、所述第二编码器、所述解码器和所述鉴别器网络包括：
在多次迭代内迭代训练操作(a)-(d)：
(a)在所述第一编码器和所述第二编码器的参数固定的情况下，学习所述鉴别器网络的参数以在所述第一组训练样本上最大化所述鉴别器对所述第一编码器从来自所述第一域的训练输入图像生成的特征图的正分类，并在所述第二组训练样本上最大化所述鉴别器对所述第二编码器从来自所述第二域的训练输入图像生成的特征图的负分类；
(b)在所述第一编码器和所述第二编码器的参数固定的情况下，学习所述解码器的参数，学习所述解码器的参数在所述第一组训练样本上最小化来自所述第一域的地面真值输出图像与使用所述第一编码器和所述解码器从来自所述第一域的训练输入图像预测的输出图像之间的误差，并在所述第二组训练样本上最小化来自所述第二域的地面真值输出图像与使用所述第二编码器和所述解码器从来自所述第二域的训练输入图像预测的输出图像之间的误差；
(c)在所述解码器和所述鉴别器网络的参数固定的情况下，学习所述第一编码器的参数以在所述第一组训练样本上最小化来自所述第一域的地面真值输出图像与使用所述第一编码器和所述解码器从来自所述第一域的训练输入图像预测的输出图像之间的误差，和所述鉴别器对所述第一编码器从来自所述第一域的训练输入图像生成的特征图的正分类；以及
(d)在所述解码器和所述鉴别器网络的参数固定的情况下，学习所述第二编码器的参数以在所述第二组训练样本上最小化来自所述第二域的地面真值输出图像与使用所述第二编码器和所述解码器从来自所述第二域的训练输入图像预测的输出图像之间的误差，并最大化所述鉴别器对所述第二编码器从来自所述第二域的训练输入图像生成的特征图的正分类。
7.根据权利要求6所述的方法，其中在所述多次迭代中的每次迭代中，并行执行训练操作(a)和(b)，并且并行执行训练操作(c)和(d)。
8.根据权利要求1所述的方法，还包括：
接收来自所述第二域的第二医学图像；
将所述第二医学图像输入到所述跨域深度图像到图像网络的所述第二编码器；以及
由将来自所述第二域的所输入第二医学图像转换为特征图的所述第二编码器和从所述第二编码器生成的特征图生成第二输出图像的所述解码器，使用所述跨域深度图像到图像网络自动生成所述第二输出图像，所述第二输出图像提供所述第二医学图像上的所述目标医学图像分析任务的结果。
9.一种用于在患者的医学图像上自动执行基于跨域的医学图像分析的装置，包括：
处理器；以及
存储计算机程序指令的存储器，所述指令当由所述处理器执行时引起所述处理器执行操作，所述操作包括：
接收患者的来自第一域的医学图像；
将所述患者的所述医学图像输入到跨域深度图像到图像网络的第一编码器，所述跨域深度图像到图像网络包括用于所述第一域的所述第一编码器、用于第二域的第二编码器和解码器；以及
由将来自所述第一域的所输入医学图像转换为特征图的所述第一编码器和从所述第一编码器生成的特征图生成输出图像的所述解码器，使用所述跨域深度图像到图像网络自动生成所述输出图像，所述输出图像提供所输入医学图像上的目标医学图像分析任务的结果，其中至少部分地基于由所述第一编码器从来自所述第一域的训练输入图像生成的特征图和由所述第二编码器从来自所述第二域的训练输入图像生成的特征图的相似性，来一起训练用于所述第一域的所述第一编码器与用于所述第二域的所述第二编码器，并且训练所述解码器以从所述第一编码器生成的特征图和所述第二编码器生成的特征图来生成输出图像。
10.根据权利要求9所述的装置，其中所述跨域深度图像到图像网络的用于所述第一域的所述第一编码器、用于所述第二域的所述第二编码器以及所述解码器在对抗网络中与鉴别器网络一起被训练，所述鉴别器网络用于在所述第一编码器从来自所述第一域的训练输入图像生成的特征图和所述第二编码器从来自所述第二域的训练输入图像生成的特征图之间进行区分。
11.根据权利要求10所述的装置，其中训练所述第一编码器和所述第二编码器，使得由所述第一编码器从来自所述第一域的训练输入图像生成的特征图具有与由所述第二编码器从来自所述第二域的训练输入图像生成的特征图相似的分布，使得由所述第一编码器和所述第二编码器生成的特征图变得对于所述鉴别器网络不可区分。
12.根据权利要求10所述的装置，其中所述操作还包括：
通过在多次迭代内迭代训练操作(a)-(d)，基于来自所述第一域的包括多个训练输入图像的第一组训练样本和对应的地面真值输出图像以及来自所述第二域的包括多个训练输入图像的第二组训练样本和对应的地面真值输出图像，来训练所述第一编码器、所述第二编码器、所述解码器和所述鉴别器网络：
(a)在所述第一编码器和所述第二编码器的参数固定的情况下，学习所述鉴别器网络的参数以在所述第一组训练样本上最大化所述鉴别器对所述第一编码器从来自所述第一域的训练输入图像生成的特征图的正分类，并在所述第二组训练样本上最大化所述鉴别器对所述第二编码器从来自所述第二域的训练输入图像生成的特征图的负分类；
(b)在所述第一编码器和所述第二编码器的参数固定的情况下，学习所述解码器的参数，学习所述解码器的参数在所述第一组训练样本上最小化来自所述第一域的地面真值输出图像与使用所述第一编码器和所述解码器从来自所述第一域的训练输入图像预测的输出图像之间的误差，并在所述第二组训练样本上最小化来自所述第二域的地面真值输出图像与使用所述第二编码器和所述解码器从来自所述第二域的训练输入图像预测的输出图像之间的误差；
(c)在所述解码器和所述鉴别器网络的参数固定的情况下，学习所述第一编码器的参数以在所述第一组训练样本上最小化来自所述第一域的地面真值输出图像与使用所述第一编码器和所述解码器从来自所述第一域的训练输入图像预测的输出图像之间的误差，和所述鉴别器对所述第一编码器从来自所述第一域的训练输入图像生成的特征图的正分类；以及
(d)在所述解码器和所述鉴别器网络的参数固定的情况下，学习所述第二编码器的参数以在所述第二组训练样本上最小化来自所述第二域的地面真值输出图像与使用所述第二编码器和所述解码器从来自所述第二域的训练输入图像预测的输出图像之间的误差，并最大化所述鉴别器对所述第二编码器从来自所述第二域的训练输入图像生成的特征图的正分类。
13.根据权利要求9所述的装置，其中所述操作还包括：
接收来自所述第二域的第二医学图像；
将所述第二医学图像输入到所述跨域深度图像到图像网络的所述第二编码器；以及
由将来自所述第二域的所输入第二医学图像转换为特征图的所述第二编码器和从所述第二编码器生成的特征图生成第二输出图像的所述解码器，使用所述跨域深度图像到图像网络自动生成所述第二输出图像，所述第二输出图像提供所述第二医学图像上的所述目标医学图像分析任务的结果。
14.一种用于训练用于跨域双边医学图像合成的深度神经网络的方法，包括：
接收第一域的第一组训练图像和在第二域中的第二组训练图像；以及
基于所述第一域的所述第一组训练图像和所述第二域的所述第二组训练图像训练双边生成性对抗网络，所述双边生成性对抗网络包括：
第一生成器网络，其用于从所述第一域的输入医学图像生成所述第二域的合成医学图像；
第二生成器网络，其用于从所述第二域的输入医学图像生成所述第一域的合成医学图像；
第一鉴别器网络，其用于在所述第一域的真实训练图像和所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成医学图像之间进行区分；以及
第二鉴别器网络，其用于在所述第二域的真实训练图像和所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成医学图像之间进行区分；
其中所述双边生成性对抗网络的所述训练奖励所述第一域的训练图像和所述第二生成器网络从所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成图像生成的所述第一域的合成图像之间的一致性，以及所述第二域的训练图像和所述第一生成器网络从所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成图像生成的所述第二域的合成图像之间的一致性。
15.根据权利要求14所述的方法，其中所述第一生成器网络是第一深度图像到图像网络，并且所述第二生成器网络是第二深度图像到图像网络。
16.根据权利要求14所述的方法，其中训练所述双边生成性对抗网络包括：
训练所述第一生成器网络、所述第二生成器网络、所述第一鉴别器网络和所述第二鉴别器网络，以学习优化最小最大目标函数的针对所述第一生成器网络、所述第二生成器网络、所述第一鉴别器网络和所述第二鉴别器网络的网络参数，所述最小最大目标函数具有基于所述第一鉴别器网络对所述第一域的真实训练图像和由所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成医学图像的分类的成本项、基于所述第二鉴别器网络对所述第二域的真实训练图像和由所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成医学图像的分类的成本项、基于所述第一域的训练图像与所述第二生成器网络从所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成图像生成的所述第一域的合成图像之间的一致性的第一一致性成本项、以及基于所述第二域的训练图像与所述第一生成器网络从所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成图像生成的所述第二域的合成图像之间的一致性的第二一致性成本项。
17.根据权利要求16所述的方法，其中使用第一成本函数来计算所述第一一致性成本项，并且使用第二成本函数来计算所述第二一致性成本项，所述第一成本函数计算所述第一域的每个训练图像与所述第二生成器网络从所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成图像生成的所述第一域的相应合成图像之间的像素方面误差，所述第二成本函数计算所述第二域的每个训练图像与所述第一生成器网络从所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成图像生成的所述第二域的相应合成图像之间的像素方面误差。
18.根据权利要求14所述的方法，其中训练所述双边生成性对抗网络包括：
在多次迭代内重复以下训练操作：
(a)在所述第二生成器网络的参数固定的情况下，学习所述第一鉴别器网络的参数，以在所述第一组训练图像上最大化所述第一鉴别器网络对所述第一域的真实训练图像的正分类，并在所述第二组训练图像上最大化所述第一鉴别器网络对所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成医学图像的负分类；
(b)在所述第一生成器网络的参数固定的情况下，学习所述第二鉴别器网络的参数，以在所述第二组训练图像上最大化所述第二鉴别器网络对所述第二域的真实训练图像的正分类，并在所述第一组训练图像上最大化所述第二鉴别器网络对所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成医学图像的负分类；
(c)在所述第二生成器网络、所述第一鉴别器网络和所述第二鉴别器网络的参数固定的情况下，学习所述第一生成器网络的参数，以在所述第一组训练图像上最小化所述第一域的训练图像与所述第二生成器网络从所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成图像生成的所述第一域的合成图像之间的误差，在所述第二组训练图像上最小化所述第二域的训练图像与所述第一生成器网络从所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成图像生成的所述第二域的合成图像之间的误差，并在所述第一组训练图像上最小化所述第二鉴别器网络对所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成医学图像的负分类；以及
(d)在所述第一生成器网络、所述第一鉴别器网络和所述第二鉴别器网络的参数固定的情况下，学习所述第二生成器网络的参数，以在所述第一组训练图像上最小化所述第一域的训练图像与所述第二生成器网络从所述第一生成器网络从所述第一域的训练图像生成的所述第二域的合成图像生成的所述第一域的合成图像之间的误差，在所述第二组训练图像上最小化所述第二域的训练图像与所述第一生成器网络从所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成图像生成的所述第二域的合成图像之间的误差，并在所述第二组训练图像上最小化所述第一鉴别器网络对所述第二生成器网络从所述第二域的训练图像生成的所述第一域的合成医学图像的负分类。
19.根据权利要求18所述的方法，其中在所述多次迭代中的每次迭代中，并行执行训练操作(a)和(b)。
20.根据权利要求14所述的方法，还包括：
在所述双边生成性对抗网络的所述训练之后，接收所述第一域的医学图像；以及
使用经训练的第一生成器网络从所述第一域的所接收医学图像生成所述第二域的合成医学图像。
21.根据权利要求20所述的方法，还包括：
在所述双边生成性对抗网络的所述训练之后，接收所述第二域的医学图像；以及
使用所述第二生成器网络从所述第二域的所接收医学图像生成所述第一域的合成医学图像。
CN201910040136.8A 2018-01-16 2019-01-16 用深度图像到图像网络和对抗网络的跨域图像分析和合成 Active CN110047056B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/872408 2018-01-16
US15/872,408 US10482600B2 (en) 2018-01-16 2018-01-16 Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks

Publications (2)

Publication Number Publication Date
CN110047056A CN110047056A (zh) 2019-07-23
CN110047056B true CN110047056B (zh) 2023-10-13

Family

ID=65036597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910040136.8A Active CN110047056B (zh) 2018-01-16 2019-01-16 用深度图像到图像网络和对抗网络的跨域图像分析和合成

Country Status (3)

Country Link
US (1) US10482600B2 (zh)
EP (1) EP3511942B1 (zh)
CN (1) CN110047056B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107786867A (zh) 2016-08-26 2018-03-09 原相科技股份有限公司 基于深度学习架构的图像辨识方法及系统
US10726573B2 (en) * 2016-08-26 2020-07-28 Pixart Imaging Inc. Object detection method and system based on machine learning
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
AU2018346938B2 (en) * 2017-10-09 2024-04-04 The Board Of Trustees Of The Leland Stanford Junior University Contrast dose reduction for medical imaging using deep learning
US10956635B1 (en) * 2019-12-04 2021-03-23 David Byron Douglas Radiologist-assisted machine learning with interactive, volume subtending 3D cursor
US11238197B1 (en) * 2018-04-03 2022-02-01 David Byron Douglas Generating a 3D dataset containing a simulated surgical device
US10719961B2 (en) * 2018-05-04 2020-07-21 General Electric Company Systems and methods for improved PET imaging
WO2019241659A1 (en) * 2018-06-15 2019-12-19 Subtle Medical, Inc. Systems and methods for magnetic resonance imaging standardization using deep learning
US11222210B2 (en) * 2018-11-13 2022-01-11 Nec Corporation Attention and warping based domain adaptation for videos
US11087170B2 (en) * 2018-12-03 2021-08-10 Advanced Micro Devices, Inc. Deliberate conditional poison training for generative models
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks
US11195277B2 (en) * 2019-04-25 2021-12-07 GE Precision Healthcare LLC Systems and methods for generating normative imaging data for medical image processing using deep learning
US10902571B2 (en) * 2019-05-20 2021-01-26 Disney Enterprises, Inc. Automated image synthesis using a comb neural network architecture
US10909349B1 (en) * 2019-06-24 2021-02-02 Amazon Technologies, Inc. Generation of synthetic image data using three-dimensional models
JP7203978B2 (ja) * 2019-07-25 2023-01-13 富士フイルム株式会社 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル
US11158055B2 (en) * 2019-07-26 2021-10-26 Adobe Inc. Utilizing a neural network having a two-stream encoder architecture to generate composite digital images
CN110580695B (zh) * 2019-08-07 2022-06-21 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN110544275B (zh) * 2019-08-19 2022-04-26 中山大学 生成配准的带病灶分割标签的多模态mri的方法、系统及介质
CN110544239B (zh) * 2019-08-19 2021-12-17 中山大学 基于条件生成对抗网络的多模态mri转换方法、系统及介质
CN112434780B (zh) * 2019-08-26 2023-05-30 上海高德威智能交通系统有限公司 目标对象识别网络模型及其训练方法、目标对象识别方法
US11023783B2 (en) * 2019-09-11 2021-06-01 International Business Machines Corporation Network architecture search with global optimization
US10943353B1 (en) 2019-09-11 2021-03-09 International Business Machines Corporation Handling untrainable conditions in a network architecture search
CN110705407B (zh) * 2019-09-20 2022-11-15 五邑大学 基于多任务迁移的人脸美丽预测方法及装置
US11195056B2 (en) * 2019-09-25 2021-12-07 Fotonation Limited System improvement for deep neural networks
CN110796080B (zh) * 2019-10-29 2023-06-16 重庆大学 一种基于生成对抗网络的多姿态行人图像合成算法
CN110827232B (zh) * 2019-11-14 2022-07-15 四川大学 基于形态特征gan的跨模态mri合成方法
US11710046B2 (en) * 2019-11-29 2023-07-25 42Maru Inc. Method and apparatus for generating Q and A model by using adversarial learning
CN111179207B (zh) * 2019-12-05 2022-04-08 浙江工业大学 一种基于并联生成网络的跨模态医学图像合成方法
CN111199193B (zh) * 2019-12-23 2022-03-18 平安国际智慧城市科技股份有限公司 基于数字切片的图片分类方法、装置和计算机设备
WO2021146890A1 (en) * 2020-01-21 2021-07-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for object detection in image using detection model
CN111340819B (zh) * 2020-02-10 2023-09-12 腾讯科技（深圳）有限公司 图像分割方法、装置和存储介质
WO2021182798A1 (en) * 2020-03-07 2021-09-16 Samsung Electronics Co., Ltd. Method and electronic device for performing ai based zoom of image
CN111476783B (zh) * 2020-04-13 2022-11-15 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及存储介质
CN111583101B (zh) * 2020-05-13 2023-06-27 杭州云梯科技有限公司 基于深度学习的图像防盗系统和方法
CN112001838B (zh) * 2020-07-23 2022-09-20 浙江大学 基于自交叉编码器的跨域图像转换方法、装置、计算机设备和存储介质
CN112001839B (zh) * 2020-07-23 2022-09-13 浙江大学 基于语义特征变换的跨域图像转换方法、计算机设备和存储介质
CN112037299B (zh) * 2020-08-20 2024-04-19 上海壁仞智能科技有限公司 一种影像重建的方法及装置、电子设备和存储介质
CN111815631B (zh) * 2020-09-02 2020-12-11 北京易真学思教育科技有限公司 模型生成方法、装置、设备和可读存储介质
US20220076829A1 (en) * 2020-09-10 2022-03-10 Delineo Diagnostics, Inc. Method and apparatus for analyzing medical image data in a latent space representation
CN112232268B (zh) * 2020-10-29 2023-10-20 中山大学 一种结合深度学习和对抗特征解耦的跨域动作识别方法
EP3992980A1 (en) * 2020-10-29 2022-05-04 Koninklijke Philips N.V. Medical image post-processing
WO2022120661A1 (zh) * 2020-12-09 2022-06-16 深圳先进技术研究院 一种用于多任务医学图像合成的先验指导型网络
WO2022179896A2 (en) * 2021-02-26 2022-09-01 Bayer Aktiengesellschaft Actor-critic approach for generating synthetic images
CN112949707B (zh) * 2021-02-26 2024-02-09 西安电子科技大学 一种基于多尺度语义信息监督的跨模态人脸图像生成方法
WO2022204341A1 (en) * 2021-03-24 2022-09-29 Carnegie Mellon University System and method for training machine-learning models with probabilistic confidence labels
CN113100936A (zh) * 2021-04-20 2021-07-13 四川大学华西医院 一种法洛四联症手术补片的优化方法
CN113436128B (zh) * 2021-07-23 2022-12-06 山东财经大学 一种双鉴别器多模态mr图像融合方法、系统及终端
TWI825461B (zh) * 2021-08-05 2023-12-11 群聯電子股份有限公司 訓練非對稱生成對抗網路產生影像的方法及使用此方法的電子裝置
CN113343643B (zh) * 2021-08-09 2021-11-02 浙江浙能技术研究院有限公司 一种基于有监督的多模型编码映射推荐方法
CN113343642B (zh) * 2021-08-09 2021-11-02 浙江浙能技术研究院有限公司 基于有监督序列生成网络的集团级kks编码自动映射方法
US11861762B2 (en) * 2021-08-12 2024-01-02 Adobe Inc. Generating synthesized digital images utilizing class-specific machine-learning models
CN113627538B (zh) * 2021-08-12 2024-03-01 群联电子股份有限公司 训练非对称生成对抗网络产生图像的方法及电子装置
US11769227B2 (en) 2021-08-12 2023-09-26 Adobe Inc. Generating synthesized digital images utilizing a multi-resolution generator neural network
CN113744175B (zh) * 2021-09-16 2024-01-19 中国人民解放军火箭军工程大学 一种基于双向约束生成对抗网络的图像生成方法及系统
CN116051609B (zh) * 2023-01-18 2023-08-18 东北林业大学 一种基于带限变形傅里叶网络的无监督医学图像配准方法
CN117237901A (zh) * 2023-11-15 2023-12-15 深圳市城市交通规划设计研究中心股份有限公司 一种跨域自适应的自动驾驶场景数据生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588446A (zh) * 2008-05-19 2009-11-25 索尼株式会社 图像合成设备、图像拾取设备、图像合成方法和程序
CN104050651A (zh) * 2014-06-19 2014-09-17 青岛海信电器股份有限公司 一种场景图像的处理方法及装置
CN104318214A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种基于结构化词典域转移的交叉视角人脸识别方法
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
CN107123151A (zh) * 2017-04-28 2017-09-01 深圳市唯特视科技有限公司 一种基于变分自动编码器和生成对抗网络的图像转化方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326447A (ja) * 2003-04-24 2004-11-18 Sony Corp 画像合成装置及び方法
ATE549700T1 (de) 2005-01-24 2012-03-15 Inst Rech Sur Les Cancers De L App Digestif Ircad Verfahren und system zur simulation oder digitalen synthese echographischer bilder
EP1844439B1 (fr) 2005-01-24 2012-01-18 Institut de Recherche sur les Cancers de l'Appareil Digestif IRCAD Procede et systeme de simulation ou de synthese numerique d'images echographiques
US7583857B2 (en) * 2005-08-24 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for salient region feature based 3D multi modality registration of medical images
JP2008036284A (ja) 2006-08-09 2008-02-21 Toshiba Corp 医用画像合成方法及びその装置
JP5707087B2 (ja) 2010-10-14 2015-04-22 株式会社東芝 医用画像診断装置
KR20130015146A (ko) 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
JP5921132B2 (ja) 2011-10-17 2016-05-24 株式会社東芝 医用画像処理システム
US9235799B2 (en) 2011-11-26 2016-01-12 Microsoft Technology Licensing, Llc Discriminative pretraining of deep neural networks
US8700552B2 (en) 2011-11-28 2014-04-15 Microsoft Corporation Exploiting sparseness in training deep neural networks
CN103476329A (zh) 2012-01-26 2013-12-25 奥林巴斯医疗株式会社 医疗信息记录装置
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9542626B2 (en) 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9730643B2 (en) 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9700219B2 (en) 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9668699B2 (en) 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US9483728B2 (en) 2013-12-06 2016-11-01 International Business Machines Corporation Systems and methods for combining stochastic average gradient and hessian-free optimization for sequence training of deep neural networks
US9601109B2 (en) 2013-12-06 2017-03-21 International Business Machines Corporation Systems and methods for accelerating hessian-free optimization for deep neural networks by implicit preconditioning and sampling
US9373059B1 (en) 2014-05-05 2016-06-21 Atomwise Inc. Systems and methods for applying a convolutional network to spatial data
CN106471526B (zh) 2014-08-29 2019-03-08 谷歌有限责任公司 用于处理图像的方法和系统
US9922272B2 (en) 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
US9665802B2 (en) 2014-11-13 2017-05-30 Nec Corporation Object-centric fine-grained image classification
US9892361B2 (en) 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
US9633306B2 (en) 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
US10460251B2 (en) * 2015-06-19 2019-10-29 Preferred Networks Inc. Cross-domain time series data conversion apparatus, methods, and systems
US10354199B2 (en) * 2015-12-07 2019-07-16 Xerox Corporation Transductive adaptation of classifiers without source data
US9760807B2 (en) 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
CN109690554B (zh) * 2016-07-21 2023-12-05 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
US10366491B2 (en) * 2017-03-08 2019-07-30 Siemens Healthcare Gmbh Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
US10188361B2 (en) * 2017-03-27 2019-01-29 Siemens Healthcare Gmbh System for synthetic display of multi-modality data
US11257259B2 (en) * 2017-08-15 2022-02-22 Siemens Healthcare Gmbh Topogram prediction from surface data in medical imaging
US10709394B2 (en) * 2018-01-15 2020-07-14 Siemens Healthcare Gmbh Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588446A (zh) * 2008-05-19 2009-11-25 索尼株式会社 图像合成设备、图像拾取设备、图像合成方法和程序
CN104050651A (zh) * 2014-06-19 2014-09-17 青岛海信电器股份有限公司 一种场景图像的处理方法及装置
CN104318214A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种基于结构化词典域转移的交叉视角人脸识别方法
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
CN107123151A (zh) * 2017-04-28 2017-09-01 深圳市唯特视科技有限公司 一种基于变分自动编码器和生成对抗网络的图像转化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Automatic Liver Segmentation Using an;DONG YANG ET AL;《C201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA》;20170725;全文 *
基于条件生成对抗网络的手绘图像检索;刘玉杰等;《计算机辅助设计与图形学学报》;20171215(第12期);全文 *
基于生成对抗网络的乳腺癌病理图像可疑区域标记;刘海东等;《科研信息化技术与应用》;20171120(第06期);全文 *

Also Published As

Publication number Publication date
EP3511942B1 (en) 2023-11-01
US20190220977A1 (en) 2019-07-18
CN110047056A (zh) 2019-07-23
EP3511942A3 (en) 2019-10-16
EP3511942A2 (en) 2019-07-17
US10482600B2 (en) 2019-11-19
EP3511942C0 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
CN110047056B (zh) 用深度图像到图像网络和对抗网络的跨域图像分析和合成
EP3399501B1 (en) Multi-scale deep reinforcement machine learning for n-dimensional segmentation in medical imaging
US10636141B2 (en) Adversarial and dual inverse deep learning networks for medical image analysis
US11593943B2 (en) RECIST assessment of tumour progression
CN107545309B (zh) 使用深度生成机器学习模型的图像质量评分
US9892361B2 (en) Method and system for cross-domain synthesis of medical images using contextual deep network
JP7325954B2 (ja) 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム
CN108197629B (zh) 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法
Hu et al. Reinforcement learning in medical image analysis: Concepts, applications, challenges, and future directions
US11810301B2 (en) System and method for image segmentation using a joint deep learning model
US9299145B2 (en) Image segmentation techniques
CN113763314A (zh) 使用深度降低卷积神经网络进行图像分割和分类的系统和方法
Al Khalil et al. On the usability of synthetic data for improving the robustness of deep learning-based segmentation of cardiac magnetic resonance images
CN107688815A (zh) 医学图像的分析方法和分析系统以及存储介质
Yang et al. AlignShift: bridging the gap of imaging thickness in 3D anisotropic volumes
CN113112559A (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN116583880A (zh) 用于训练图像数据生成的多模态图像处理技术及其用于开发单模态图像推断模型的用途
Biswas et al. Data augmentation for improved brain tumor segmentation
Chatterjee et al. A survey on techniques used in medical imaging processing
CN112825619A (zh) 使用数字重建放射影像训练机器学习算法
Shereena et al. Medical Ultrasound Image Segmentation Using U-Net Architecture
WO2023017438A1 (en) System and method for medical image translation
Bhogade et al. Generative Adversarial Approach for Medical Image Synthesis with Context Aware Deep Convolutional Networks
Manko et al. 2D and 3D segmentation of organs using artificial intelligence
Kamarajan et al. Advancing healthcare with LDCT image denoising through self-regularization and UDA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant