CN112116546A - 类别感知的对抗肺结节合成 - Google Patents
类别感知的对抗肺结节合成 Download PDFInfo
- Publication number
- CN112116546A CN112116546A CN202010564293.1A CN202010564293A CN112116546A CN 112116546 A CN112116546 A CN 112116546A CN 202010564293 A CN202010564293 A CN 202010564293A CN 112116546 A CN112116546 A CN 112116546A
- Authority
- CN
- China
- Prior art keywords
- medical image
- image patch
- synthetic
- nodule
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 10
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 10
- 230000002685 pulmonary effect Effects 0.000 title description 5
- 230000003042 antagnostic effect Effects 0.000 title description 2
- 239000002131 composite material Substances 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 41
- 206010054107 Nodule Diseases 0.000 claims description 40
- 230000003211 malignant effect Effects 0.000 claims description 35
- 238000010801 machine learning Methods 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 3
- 206010056342 Pulmonary mass Diseases 0.000 description 21
- 230000015654 memory Effects 0.000 description 17
- 238000002591 computed tomography Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 230000036210 malignancy Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Pulmonology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了类别感知的对抗肺结节合成。提供了用于生成结节的合成医学图像块的系统和方法。接收初始医学图像块和与要合成的结节相关联的类别标签。初始医学图像块具有掩盖部分和未掩盖部分。使用经训练的生成对抗网络生成合成医学图像块。合成医学图像块包含初始医学图像块的未掩盖部分和替换初始医学图像块的掩盖部分的合成结节。合成结节是根据类别标签合成的。输出合成医学图像块。
Description
技术领域
本发明一般地涉及类别感知的对抗肺结节合成，并且更具体地涉及使用生成对抗网络（GAN）根据用户定义的类别标签来合成描绘良性或恶性结节的肺结节图像块。
背景技术
肺结节是早期肺癌的决定性指标。在当前的临床实践中，通过识别计算机断层扫描（CT）图像中的结节来执行肺癌筛查。然而，绝大多数结节被确定为良性的。
已经证明深度卷积神经网络（CNN）对于诸如例如图像分割、对象检测和分类的与图像相关的任务执行得很好。已经提出深度CNN用于肺结节检测和分类。然而，这种基于深度CNN的肺结节检测和分类方法的性能受到可用训练数据的数量和多样性的约束。由于绝大多数的现实世界的训练数据属于良性结节，因此在训练数据中通常没有充分表示恶性模块的癌性样例。此外，各个结节的复杂性在于它们的不同外观和生理环境两者，其难以利用这样有限的训练数据来捕获。大型放射图像数据集的收集和注释也是耗时且昂贵的任务，并且所得到的数据集可能仍缺少来自各种结节形态和大小的表示。
在一种常规方法中，提出了生成对抗网络（GAN）来合成医学图像块中的病变以增强训练数据。然而，这种网络被设计为生成仅基于周围环境和随机噪声所适应的对象，并且缺乏生成具有可操纵性质（诸如良性或恶性）的对象的能力，所述可操纵性质对于医学成像中的许多机器学习应用而言是重要的。
发明内容
根据一个或多个实施例，提供了用于生成结节的合成医学图像块的系统和方法。接收初始医学图像块和与要合成的结节相关联的类别标签。初始医学图像块具有掩盖部分和未掩盖部分。使用经训练的生成对抗网络生成合成医学图像块。合成医学图像块包含初始医学图像块的未掩盖部分和替换初始医学图像块的掩盖部分的合成结节。合成结节是根据类别标签而合成的。输出合成医学图像块。
在一个实施例中，类别标签将合成结节定义为合成恶性结节或合成良性结节中之一。因此，合成医学图像块包含初始医学图像块的未掩盖部分以及根据类别标签生成的、替换初始医学图像块的掩盖部分的合成恶性结节或合成良性结节中之一。
在一个实施例中，初始医学图像块最初描绘现有结节。初始医学图像块的掩盖部分掩盖现有结节。
在一个实施例中，通过使用生成对抗网络的粗略生成器从初始医学图像块生成粗略医学图像块并且使用生成对抗网络的细化生成器从所生成的粗略医学图像块生成合成医学图像块，来生成合成医学图像块。可以利用基于合成的训练医学图像块与真实医学图像块之间的比较的对抗损失以及利用基于合成的训练医学图像块的分类的类别感知损失来训练细化生成器。
在一个实施例中，基于合成医学图像块来训练用于对输入医学图像块中的目标结节进行分类的机器学习网络（例如，深度卷积神经网络）。因此，可以接收描绘目标结节的输入医学图像块，可以使用经训练的机器学习网络将目标结节分类为恶性或良性中之一，并且可以输出目标结节的分类。
通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员将是明显的。
附图说明
图1示出了示出恶性肺结节的患者的示例性计算机断层扫描医学图像；
图2示出根据一个或多个实施例的用于生成结节的合成医学图像块的方法；
图3A示出根据一个或多个实施例的示例性初始医学图像块；
图3B示出根据一个或多个实施例的示例性合成医学图像块；
图4示出根据一个或多个实施例的、用于使用机器学习网络对目标结节进行分类的方法，该机器学习网络是使用合成医学图像块进行训练的；
图5示出根据一个或多个实施例的、被训练用于生成合成医学图像块的生成对抗网络的网络架构；
图6示出根据本发明的实施例的、真实初始医学图像块和从其合成的合成医学图像块的比较；
图7示出根据本发明的实施例的、真实初始医学图像块和根据不同噪声掩模合成的合成医学图像块的比较；
图8是比较根据本发明的实施例训练的不同3D卷积神经网络架构的结果的表；以及
图9示出计算机的高层级框图。
具体实施方式
本发明一般地涉及类别感知的对抗肺结节合成。本文描述了本发明的实施例以给出对用于类别感知的对抗肺结节合成的方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。在本文中通常在识别和操纵对象的方面描述对象的数字表示。这种操纵是在计算机系统的存储器或其他电路系统/硬件中实现的虚拟操纵。因此，要理解的是，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
进一步，应当理解的是，虽然可以关于生成肺结节的合成医学图像块而讨论本文所讨论的实施例，但是本发明不限于此。本发明的实施例可以应用于生成任何类型的合成图像以及描绘任何感兴趣的对象。
图1示出了示出肺结节102的患者的示例性计算机断层扫描（CT）医学图像100。图像100中的肺结节102是恶性肺结节。图像100可以是用于训练机器学习网络以执行图像分析任务、诸如例如将结节分类为良性或恶性的训练数据集的一部分。在患者的CT医学图像中识别出的绝大多数肺结节被确定为良性。因此，在典型的训练数据集中，没有充分表示恶性肺结节的图像。
本发明的实施例提供生成结节的合成医学图像块，以例如增强用于训练机器学习网络的训练数据集中的真实图像。这种合成医学图像块可以解决由于可获得的相对大量的良性肺结节图像和可获得的相对少量的恶性肺结节图像引起的训练数据集的不平衡。本发明的实施例通过合成患者的3D肺部CT图像的掩盖部分中的肺结节而将医学图像块合成制定（formulate）为修复（in-painting）问题。可以根据用户定义的可操纵性质（诸如例如恶性或良性）生成合成肺结节。本发明的实施例根据两组件框架来合成肺结节图像：1）用以通过并入上下文信息来执行从粗到细的修复的两个生成器；以及 2）用以施行所生成的块的局部质量和全局一致性的局部鉴别器和全局鉴别器、以及用以将合成肺结节约束到可操纵性质的辅助域分类器。这样的结节的合成医学图像块可以增强用于训练机器学习网络以进行肺结节分类（或任何其他图像分析任务）的训练数据集中的真实图像。
图2示出根据一个或多个实施例的用于生成结节的合成医学图像块的方法200。方法200的步骤可以由诸如例如图9的计算机902的计算装置执行。
在步骤202处，接收初始医学图像块和与要合成的结节相关联的类别标签。在一个实施例中，初始医学图像块是3D计算机断层扫描（CT）医学图像块，然而初始医学图像块可以具有任何合适的模态，诸如例如DynaCT、x射线、磁共振成像（MRI）、超声（US）、单光子发射计算机断层扫描（SPECT）、正电子发射断层扫描（PET）等，并且可以是二维的或三维的。
可以使用任何合适的方法从医学图像中提取初始医学图像块。在一个实施例中，（例如，由用户手动或自动）在医学图像上注释现有结节，并且以注释的现有结节为中心从医学图像中提取初始医学图像块。在另一实施例中，可以在医学图像上的随机确定的位置或用户选择的位置处提取初始医学图像块。初始医学图像块可以具有任何合适的（例如，预定的）尺寸。例如，初始医学图像块可以是从3D CT医学图像中提取的64x64x32体素块（或从2D CT医学图像中提取的64x64像素块）。在另一示例中，初始医学图像块是整个医学图像。
初始医学图像块可以包含掩模通道，用以提供初始医学图像块的掩盖部分和未掩盖部分。在一个实施例中，用 3D球形掩模（或者在初始医学图像块为2D的情况下，2D圆形掩模）替换初始医学图像块中最初描绘的现有结节，使得掩盖部分覆盖现有结节。应当理解的是，掩模可以具有任何合适的形状和尺寸。例如，3D球形掩模的直径可以等于初始医学图像块中最初描绘的现有结节的注释直径。在另一实施例中，可以将掩模放置在初始医学图像块的随机位置或用户选择的位置处。在一个实施例中，掩模是随机噪声掩模，诸如例如高斯噪声掩模。
在图3A中示出根据一个或多个实施例的示例性初始医学图像块300。初始医学图像块300是具有掩盖部分302和未掩盖部分304的2D CT医学图像块。未掩盖部分304被定义为初始医学图像块300的、在掩盖部分302之外的所有部分。
与要合成的结节相关联的类别标签定义与要合成的结节相关联的任何性质。在一个实施例中，类别标签将要合成的结节定义为恶性结节或良性结节中之一。可以通过类别标签定义与要合成的结节相关联的任何其他性质。例如，类别标签可以将要合成的结节定义为固体、部分固体、毛玻璃不透明和钙化。类别标签可以按任何合适的格式。在一个示例中，对于良性结节类别标签可以被定义为0，并且对于恶性结节类别标签可以被定义为1。
在步骤204处，使用经训练的生成对抗网络（GAN）生成合成医学图像块。可以附加地或替代地采用任何其他合适的机器学习网络。合成医学图像块包括初始医学图像块的未掩盖部分和替换初始医学图像块的掩盖部分的合成结节。掩盖部分（例如，随机噪声掩模）引起合成结节的变化形状和纹理。合成结节是根据类别标签而合成的。例如，在一个实施例中，在类别标签将结节定义为良性的情况下，合成结节是合成良性结节，并且在类别标签将结节定义为恶性的情况下，合成结节是合成恶性结节。
在图3B中示出根据一个或多个实施例的示例性合成医学图像块310。合成医学图像块310包括初始医学图像块300的未掩盖部分304和替换初始医学图像块300的掩盖部分302（图3B中未示出）的合成结节部分306。合成结节部分306根据类别标签被合成为合成医学图像块310中的恶性模块。在一些实施例中，可以通过生成合成结节部分306并且再生成未掩盖部分304来生成全新的合成医学图像块310，而在其他实施例中，通过仅生成合成结节部分306、同时从初始医学图像块300拷贝未掩盖部分304的成像数据，来生成合成医学图像块310。
在一个实施例中，经训练的GAN包括由粗略生成器G1和细化生成器G2形成的堆叠图像修复生成器G。因此，初始医学图像块和类别标签被馈送到粗略生成器G1以生成粗略医学图像块，所述粗略医学图像块被馈送到细化生成器G2以生成合成医学图像块。粗略生成器G1被设计成与细化生成器G2相比更易于优化。利用合成的训练医学图像块和初始训练医学图像块之间的重构损失Lrecon对粗略生成器G1和细化生成器G2两者进行训练或优化。还使用局部鉴别器网络Dlocal和全局鉴别器网络Dglobal、利用对抗方法来训练细化生成器G2，局部鉴别器网络Dlocal和全局鉴别器网络Dglobal各自并入有辅助域分类器Dcls用以训练生成器G以根据类别标签来生成结节。下面关于图5进一步描述根据一个实施例的GAN。
在步骤206处，输出合成医学图像块。例如，能够通过在计算机系统（图9的计算机902）的显示装置上显示合成医学图像块、将合成医学图像块存储在计算机系统（图9的计算机902）的存储器或存储装置上、或者通过将合成医学图像块传输到远程计算机系统，来输出合成医学图像块。在一个实施例中，将合成医学图像块输出到数据库作为用于训练机器学习模型的训练数据集的一部分。
应当理解的是，方法200可以针对任何数量的初始医学图像块重复以生成多个合成医学图像块。多个合成医学图像块可以用于例如增强真实医学图像块的训练数据集。例如，多个合成医学图像块可以用于平衡具有相对大量的良性医学图像块和相对少量的恶性医学图像块的真实医学图像块的训练数据集。
在一个实施例中，合成医学图像块可以用作用以训练机器学习网络以用于对肺结节进行分类（或者用于执行任何其他图像分析任务，诸如例如图像分割或对象检测）的训练数据集的一部分。机器学习网络可以是任何合适的机器学习网络。在一个实施例中，机器学习网络是为自然视频分类而预先训练的深度3D卷积神经网络（CNN）。可以在离线或训练阶段期间对机器学习网络进行训练以执行图像分析任务（例如，对肺结节进行分类），并且于在线或测试阶段期间应用机器学习网络以执行图像分析任务。如本领域中已知的，可以使用合成医学图像块来训练机器学习网络。可以在测试阶段期间根据图4所示出的用于对目标结节进行分类的方法400来应用机器学习网络。
在图4的步骤402处，接收描绘目标结节的输入医学图像块。输入医学图像块可以具有任何合适的模态，但是在一个实施例中是3D CT医学图像块。可以从输入医学图像中提取输入医学图像块。例如，可以（例如，由用户手动或自动）在输入医学图像上注释目标结节，并且以注释的目标结节为中心从输入医学图像中提取输入医学图像块。输入医学图像块可以具有任何合适的尺寸。
在步骤404处，使用基于合成医学图像块训练的经训练的机器学习网络对目标结节进行分类。目标结节可以被分类为恶性或良性中之一。在一个实施例中，经训练的机器学习网络是为自然视频分类而预先训练的深度3D CNN，然而可以采用任何合适的机器学习网络。在一个实施例中，根据图2的方法200的步骤生成合成医学图像块。
在步骤406处，输出目标结节的分类。例如，能够通过在计算机系统（图9的计算机902）的显示装置上显示目标结节的分类、将目标结节的分类存储在计算机系统（图9的计算机902）的存储器或存储装置上、或者通过将目标结节的分类传输到远程计算机系统，来输出目标结节的分类。
图5示出根据一个或多个实施例的用于生成合成医学图像块的GAN 500的网络架构。在一个实施例中，图5的GAN 500是在图2的步骤204处应用的经训练后GAN。
GAN 500包括由粗略生成器G1 506和细化生成器G2 510形成的堆叠图像修复生成器G。在GAN 500的在线或测试阶段期间，粗略生成器G1 506接收初始医学图像块502和类别标签504作为输入。初始医学图像块502具有掩盖部分520（例如，掩盖在初始医学图像块502中最初描绘的现有结节）和未掩盖部分522。类别标签504定义与要合成的结节相关联的性质，诸如例如恶性或良性。粗略生成器G1 506根据类别标签504生成粗略医学图像块508。粗略医学图像块508包括初始医学图像块502的未掩盖部分522和替换初始医学图像块502的掩盖部分520的粗略合成结节。粗略医学图像块508被馈送到细化生成器G2 510，以细化粗略医学图像块508的粗略合成结节的细节以生成合成医学图像块512。合成医学图像块512包括初始医学图像502的未掩盖部分522和替换初始医学图像块502的掩盖部分520的细化合成结节。
粗略生成器G1 506和细化生成器G2 510由具有许多卷积层和扩张卷积层的编码器-解码器CNN形成。然而，如图5所示出的，细化生成器G2 510还包括上下文注意力层（或模型），其考虑了来自周围区域的特征以用于修复合成医学图像块512中的合成结节的边界。上下文注意力层通过测量前景纹理和背景纹理的特征的归一化内积（余弦相似度）来匹配前景纹理和背景纹理。对相似度进行加权以确定每个周围体素的注意力分数。通过对注意力分数执行去卷积来获得关于背景体素的注意力图，以用于利用经注意力滤波的背景特征重构前景区域。上下文注意力层是可微的并且是完全卷积的。
在离线或训练阶段期间，利用合成的训练医学图像块与初始训练医学图像块之间的重构损失Lrecon对GAN 500的粗略生成器G1 506和细化生成器G2 510两者进行训练或优化。针对粗略生成器G1 506和细化生成器G2 510两者的重构损失Lrecon被表达为等式（1）。
其中，Lmasked和Lglobal分别是跨掩盖区域和整个块的归一化L1损失。通过优化Lrecon，训练堆叠生成器G以基于组织环境、掩模和类别标签504重构原始块中的结节。
除了Lrecon之外，还通过由局部鉴别器网络516和全局鉴别器网络514提供的对抗损失过程来训练细化生成器G2 510。局部鉴别器网络516包括对抗损失鉴别器Dlocal，并且全局鉴别器网络514包括对抗损失鉴别器Dglobal。鉴别器Dlocal和Dglobal输入由细化生成器510生成的合成的训练医学图像块和真实医学图像块518，并且将一个图像分类为真，而将另一图像分类为伪（合成）。局部对抗损失鉴别器Dlocal仅应用于掩盖部分，以改善合成结节的外观。全局对抗损失鉴别器Dglobal应用于整个块，以用于全局一致性。
局部对抗损失鉴别器Dlocal和全局对抗损失鉴别器Dglobal两者将均被表示为D*。鉴别器D*包括许多卷积层和完全卷积层，如图5所示出的那样。使用条件Wasserstein GAN目标并且施行梯度惩罚以训练局部鉴别器和全局鉴别器D*，堆叠生成器G和鉴别器D*被表达为等式（2）的目标。
其中，x是从真实医学图像块518采样的，G（xmasked, z, c）是堆叠生成器G的输出，并且
是在真实块和合成的训练块之间均匀采样的。类别标签c被复制成与输入训练块x相同的大小，并且与x串接作为另一输入通道。
除了鉴别器D*之外，如辅助域分类器Dcls被添加在每个鉴别器网络514和516的顶部上，以确保堆叠生成器G根据目标类别c生成结节。在该训练目标中，每个Dcls试图将合成的训练医学图像块分类为域类别c'（0 =伪，1 =良性，并且2 =恶性）。标签0用于防止生成器形式复制易于分类但不太多样化的结节。利用等式（3）的类别感知的损失目标对Dcls进行优化。
其中，
表示在域类别c'上的概率分布。
尽管对D*和Dcls两者进行优化以区分伪块和真实块，然而以经验为主地，发现在没有Ladv的情况下学习系统难以收敛。在实践中，可以在很好地训练堆叠生成器G以修复逼真的结节之后添加Lcls。在该对抗学习问题中，堆叠生成器G尝试修复能够被分类为目标域c的块，以及愚弄D*以在真实块的分布时误判它们。鉴别器D*和Dcls仅在训练阶段期间使用，并且不在在线或测试阶段期间使用（例如，用于所生成的合成医学图像块512）。
整个类别感知的结节合成学习的目标可以概括为等式（4）和（5）。
在包括具有注释病变的诊断和肺癌筛查胸部CT扫描的肺部图像数据库联盟（LIDC-IDRI）数据集上评估本文所描述的实施例。LIDC-IDRI数据集由1010个患者和1308个胸部CT成像研究形成。LIDC-IDRI数据集中的结节由四位放射科医生注释。每个放射科医生评价每个结节的恶性可能性，并且给出从1（极不可能）到5（高度可疑）的分数。高分数（即≥4）的结节被定义为恶性，而其余为良性。以1x1x2 mm（即64x64x32体素）的分辨率从LIDC-IDRI数据集中提取块。将块随机分为训练集、验证集和测试集。
经训练的生成器用于根据从真实训练恶性块中随机采样的恶性块合成463个描绘恶性块的块，因为在LIDC-IDRI数据集中恶性结节相对较少。将合成块与原始训练块组合以训练3D分类CNN。
图6示出根据本发明的实施例的真实初始医学图像块和从其合成的合成医学图像块的比较600。通过将类别标签更改为良性或恶性来对合成医学图像块进行合成。如果是相同的真实块，本文所描述的实施例能够生成具有不同恶性的结节的合成医学图像块。如图6所示出的，合成的良性结节趋于具有较小的大小以及清晰限定的边界。
图7示出根据本发明的实施例的真实初始医学图像块与根据不同噪声掩模合成的合成医学图像块的比较700。如图7所示出的，不同的噪声掩模（标记为噪声1和噪声2）可以产生具有不同的形态和纹理的合成结节。
为了评估使用合成块对肺结节进行分类的有效性，以不同的能力对四种3D CNN架构进行训练：ResNet-50、ResNet-101、ResNet-152和ResNext-101。利用在运动视频数据集上预先训练的权重对所有网络进行初始化。使用交叉熵损失训练CNN分类器。利用考虑了训练样本类别分布的权重来评估未加权（原始）和加权交叉熵损失（原始+加权损失）之间的差异。使用包括随机裁剪和缩放的传统数据增强方法训练所有网络。测试精度（ACC）、灵敏度（SEN）、特异性（SPE）和ROC曲线下面积（AUC）呈现在图8的表800中。基于关于验证集的最高AUC来选择模型。利用合成块（原始+合成），3D ResNet-152跨所有实验均实现了最高的精度、特异性和AUC分数。尽管在不平衡的数据集中典型地使用加权损失，然而加权损失没有显示与未加权损失或增强数据集中的任一者相比更好的AUC。AUC分数的平均值的增大也表明使用合成结节块有助于改善结节恶性分类性能。
本文所描述的系统、设备和方法可以使用数字电路或者使用利用公知的计算机处理器、存储器单元、存储装置、计算机软件和其他组件的一个或多个计算机来实现。典型地，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包含或耦合至一个或多个大容量存储装置、诸如一个或多个磁盘、内部硬盘和可移除盘、磁光盘、光盘等。
本文所描述的系统、设备和方法可以使用以客户端-服务器关系操作的计算机来实现。典型地，在这种系统中，客户端计算机与服务器计算机远程地定位，并且经由网络进行交互。客户端-服务器关系可以由在相应的客户端计算机和服务器计算机上运行的计算机程序定义和控制。
本文所描述的系统、设备和方法可以在基于网络的云计算系统内实现。在这种基于网络的云计算系统中，连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机进行通信。例如，客户端计算机可以经由驻留在客户端计算机上并在客户端计算机上运行的网络浏览器应用与服务器进行通信。客户端计算机可以经由网络将数据存储在服务器上并且访问数据。客户端计算机可以经由网络将对数据的请求或对在线服务请求传输到服务器。服务器可以执行请求的服务，并且将数据提供给（多个）客户端计算机。服务器还可以传输如下数据：该数据被适配以使客户端计算机执行指定功能，例如执行计算、在屏幕上显示指定数据等等。例如，服务器可以传输如下请求：该请求被适配以使客户端计算机执行本文所描述的方法和工作流的步骤或功能中的一个或多个，包含图2和图4的步骤或功能中的一个或多个。本文所描述的方法和工作流的某些步骤或功能，包含图2和图4的步骤或功能中的一个或多个，可以由基于网络的云计算系统中的另一处理器或服务器执行。本文所描述的方法和工作流的某些步骤或功能，包含图2和图4的步骤中的一个或多个，可以由基于网络的云计算系统中的客户端计算机执行。本文所描述的方法和工作流的步骤或功能，包含图2和图4的步骤中的一个或多个，可以由基于网络的云计算系统中的客户端计算机和/或服务器以任何组合来执行。
本文所描述的系统、设备和方法可以使用有形地具体化在信息载体中、例如在非暂时性机器可读存储装置中以用于由可编程处理器执行的计算机程序产品来实现；并且本文所描述的方法和工作流步骤，包含图2和图4的步骤或功能中的一个或多个，可以使用可由这种处理器执行的一个或多个计算机程序来实现。计算机程序是能够在计算机中直接或间接使用以执行某个活动或带来某种结果的计算机程序指令的集合。计算机程序能够以任何形式 的编程语言（包括编译或解释语言）来编写，并且它能够以任何形式（包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元）部署。
在图9中描绘了可以用于实现本文所描述的系统、设备和方法的示例计算机902的高层级框图。计算机902包含可操作地耦合至数据存储装置912和存储器910的处理器904。处理器904通过执行定义这种操作的计算机程序指令来控制计算机902的整体操作。可以将计算机程序指令存储在数据存储装置912或其他计算机可读介质中，并且在期望执行计算机程序指令时将计算机程序指令加载到存储器910中。因此，图2和图4的方法和工作流步骤或功能能够由存储在存储器910和/或数据存储装置912中的计算机程序指令定义，并且通过处理器904执行该计算机程序指令来控制。例如，计算机程序指令能够被实现为由本领域技术人员编程以执行图2和图4的方法和工作流步骤或功能的计算机可执行代码。因此，通过执行计算机程序指令，处理器904执行图2和图4的方法和工作流步骤或功能。计算机902还可以包含一个或多个网络接口906，以用于经由网络与其他装置进行通信。计算机902还可以包含使得用户能够与计算机902进行交互的一个或多个输入/输出装置908（例如显示器、键盘、鼠标、扬声器、按钮等）。
处理器904可以包含通用微处理器和专用微处理器两者，并且可以是计算机902的唯一处理器或多个处理器中之一。例如，处理器904可以包含一个或多个中央处理单元（CPU）。处理器904、数据存储装置912和/或存储器910可以包含一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）、由一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）补充或者并入在一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）中。
数据存储装置912和存储器910各自包含有形非暂时性计算机可读存储介质。数据存储装置912和存储器910可以各自包含高速随机存取存储器，诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双倍数据速率同步动态随机存取存储器（DDR RAM）或其他随机存取固态存储器装置，并且数据存储装置912和存储器910可以包含非易失性存储器，诸如一个或多个磁盘存储装置（诸如内部硬盘和可移除盘）、磁光盘存储装置、光盘存储装置、闪存装置、半导体存储器装置（诸如可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM））、光盘只读存储器（CD-ROM）、数字多功能盘只读存储器（DVD- ROM）盘或其他非易失性固态存储装置。
输入/输出装置908可以包含外围装置，诸如打印机、扫描仪、显示屏等。例如，输入/输出装置908可以包含诸如用于向用户显示信息的阴极射线管（CRT）或液晶显示器（LCD）监视器的显示装置、键盘以及诸如用户通过其能够向计算机902提供输入的鼠标或追踪球的指向装置。
图像获取装置914能够连接到计算机902，以将图像数据（例如，医学图像）输入到计算机902。将图像获取装置914和计算机902实现为一个装置是可能的。图像获取装置914和计算机902通过网络无线通信也是可能的。在一个可能的实施例中，计算机902能够相对于图像获取装置914远程地定位。
本文讨论的系统和设备中的任何或所有可以使用一个或多个计算机（诸如计算机902）来实现。
本领域技术人员将认识到，实际计算机或计算机系统的实现方式可以具有其他结构，并且也可以含有其他组件，并且图9是用于说明目的这种计算机的组件中的一些的高层级表示。
前述具体实施方式在各个方面要理解为是说明性和示例性的，而非限制性的，并且本文公开的本发明的范围不是由具体实施方式确定的，而是从如根据专利法允许的最大宽度所解释的权利要求确定的。要理解的是，本文示出和描述的实施例仅说明本发明的原理，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。
Claims (20)
1.一种用于生成结节的合成医学图像块的方法，包括：
接收1）具有掩盖部分和未掩盖部分的初始医学图像块，以及2）与要合成的结节相关联的类别标签；
使用经训练的生成对抗网络生成合成医学图像块，所述合成医学图像块包括所述初始医学图像块的未掩盖部分和替换所述初始医学图像块的掩盖部分的合成结节，所述合成结节是根据所述类别标签而合成的；以及
输出所述合成医学图像块。
2.根据权利要求1所述的方法，其中，所述类别标签将所述合成结节定义为是合成恶性结节或合成良性结节中之一，并且使用经训练的生成对抗网络生成合成医学图像块包括：
生成所述合成医学图像块，所述合成医学图像块包括：所述初始医学图像块的未掩盖部分；以及根据所述类别标签的、替换所述初始医学图像块的掩盖部分的合成恶性结节或合成良性结节中之一。
3.根据权利要求1所述的方法，其中，所述初始医学图像块最初描绘现有结节，并且所述初始医学图像块的掩盖部分掩盖所述现有结节。
4.根据权利要求1所述的方法，其中，使用经训练的生成对抗网络生成合成医学图像块包括：
使用所述生成对抗网络的粗略生成器从所述初始医学图像块生成粗略医学图像块；以及
使用所述生成对抗网络的细化生成器从所生成的所述粗略医学图像块生成所述合成医学图像块。
5.根据权利要求4所述的方法，还包括：
利用基于合成的训练医学图像块和真实医学图像块之间的比较的对抗损失来训练所述细化生成器。
6.根据权利要求5所述的方法，还包括：
利用基于所述合成的训练医学图像块的分类的类别感知损失来训练所述细化生成器。
7.根据权利要求1所述的方法，还包括：
基于所述合成医学图像块训练机器学习网络，以用于对输入医学图像块中的目标结节进行分类。
8.根据权利要求1所述的方法，还包括：
接收描绘目标结节的输入医学图像块；
使用基于所述合成医学图像块训练的经训练的机器学习网络将所述目标结节分类为恶性或良性中之一；以及
输出所述目标结节的分类。
9.根据权利要求8所述的方法，其中，所述经训练的机器学习网络是经训练的深度卷积神经网络。
10.一种设备，包括：
用于接收1）具有掩盖部分和未掩盖部分的初始医学图像块，以及2）与要合成的结节相关联的类别标签的构件；
用于使用经训练的生成对抗网络生成合成医学图像块的构件，所述合成医学图像块包括所述初始医学图像块的未掩盖部分和替换所述初始医学图像块的掩盖部分的合成结节，所述合成结节是根据所述类别标签而合成的；以及
用于输出所述合成医学图像块的构件。
11.根据权利要求10所述的设备，其中，所述类别标签将所述合成结节定义为是合成恶性结节或合成良性结节中之一，并且所述用于使用经训练的生成对抗网络生成合成医学图像块的构件包括：
用于生成所述合成医学图像块的构件，所述合成医学图像块包括：所述初始医学图像块的未掩盖部分；以及根据所述类别标签的、替换所述初始医学图像块的掩盖部分的合成恶性结节或合成良性结节中之一。
12.根据权利要求10所述的设备，其中，所述初始医学图像块最初描绘现有结节，并且所述初始医学图像块的掩盖部分掩盖所述现有结节。
13.根据权利要求10所述的设备，其中，所述用于使用经训练的生成对抗网络生成合成医学图像块的构件包括：
用于使用所述生成对抗网络的粗略生成器从所述初始医学图像块生成粗略医学图像块的构件；以及
用于使用所述生成对抗网络的细化生成器从所生成的所述粗略医学图像块生成所述合成医学图像块的构件。
14.根据权利要求13所述的设备，还包括：
用于利用基于合成的训练医学图像块和真实医学图像块之间的比较的对抗损失来训练所述细化生成器的构件。
15.根据权利要求14所述的设备，还包括：
用于利用基于所述合成的训练医学图像块的分类的类别感知损失来训练所述细化生成器的构件。
16.一种存储计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令在由处理器执行时使所述处理器执行包括以下各项的操作：
接收1）具有掩盖部分和未掩盖部分的初始医学图像块，以及2）与要合成的结节相关联的类别标签；
使用经训练的生成对抗网络生成合成医学图像块，所述合成医学图像块包括所述初始医学图像块的未掩盖部分和替换所述初始医学图像块的掩盖部分的合成结节，所述合成结节是根据所述类别标签而合成的；以及
输出所述合成医学图像块。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述类别标签将所述合成结节定义为是合成恶性结节或合成良性结节中之一，并且使用经训练的生成对抗网络生成合成医学图像块包括：
根据所述类别标签生成所述合成医学图像块，所述合成医学图像块包括：所述初始医学图像块的未掩盖部分；以及替换所述初始医学图像块的掩盖部分的所述合成恶性结节或所述合成良性结节中之一。
18.根据权利要求16所述的非暂时性计算机可读介质，所述操作还包括：
基于所述合成医学图像块训练机器学习网络，以用于对输入医学图像块中的目标结节进行分类。
19.根据权利要求16所述的非暂时性计算机可读介质，所述操作还包括：
接收描绘目标结节的输入医学图像块；
使用基于所述合成医学图像块训练的经训练的机器学习网络将所述目标结节分类为恶性或良性中之一；以及
输出所述目标结节的分类。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述经训练的机器学习网络是经训练的深度卷积神经网络。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/445,435 US11049223B2 (en) | 2019-06-19 | 2019-06-19 | Class-aware adversarial pulmonary nodule synthesis |
| US16/445435 | 2019-06-19 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112116546A true CN112116546A (zh) | 2020-12-22 |
Family
ID=71105389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010564293.1A Pending CN112116546A (zh) | 2019-06-19 | 2020-06-19 | 类别感知的对抗肺结节合成 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11049223B2 (zh) |
| EP (1) | EP3754610A1 (zh) |
| CN (1) | CN112116546A (zh) |
| DE (1) | DE202020005498U1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112494063A (zh) * | 2021-02-08 | 2021-03-16 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11806175B2 (en) * | 2019-09-12 | 2023-11-07 | Rensselaer Polytechnic Institute | Few-view CT image reconstruction system |
| CN113034424A (zh) * | 2019-12-24 | 2021-06-25 | 中强光电股份有限公司 | 模型训练方法与电子装置 |
| US11210774B2 (en) * | 2020-03-31 | 2021-12-28 | Disney Enterprises, Inc. | Automated pixel error detection using an inpainting neural network |
| US11593961B2 (en) * | 2020-12-14 | 2023-02-28 | International Business Machines Corporation | Difference-guided video analysis |
| CN113077427B (zh) * | 2021-03-29 | 2023-04-25 | 北京深睿博联科技有限责任公司 | 一种类别预测模型的生成方法及装置 |
| CN113256521B (zh) * | 2021-05-20 | 2021-12-21 | 广东南方电信规划咨询设计院有限公司 | 一种数据缺失的错误隐藏方法及装置 |
| CN113469954B (zh) * | 2021-06-15 | 2024-04-09 | 北京深睿博联科技有限责任公司 | 一种肺结节良恶性评价方法及装置 |
| CN116631043B (zh) * | 2023-07-25 | 2023-09-22 | 南京信息工程大学 | 自然对抗补丁生成方法、目标检测模型的训练方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN108171700A (zh) * | 2018-01-12 | 2018-06-15 | 西安电子科技大学 | 基于对抗网络的医学图像肺结节检测方法 |
| CN109308495A (zh) * | 2018-07-05 | 2019-02-05 | 北京昆仑医云科技有限公司 | 从患者的医学图像自动预测生理状况的装置和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8045770B2 (en) * | 2003-03-24 | 2011-10-25 | Cornell Research Foundation, Inc. | System and method for three-dimensional image rendering and analysis |
| US10580131B2 (en) * | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
-
2019
- 2019-06-19 US US16/445,435 patent/US11049223B2/en active Active
-
2020
- 2020-06-17 DE DE202020005498.4U patent/DE202020005498U1/de active Active
- 2020-06-17 EP EP20180533.0A patent/EP3754610A1/en not_active Withdrawn
- 2020-06-19 CN CN202010564293.1A patent/CN112116546A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN108171700A (zh) * | 2018-01-12 | 2018-06-15 | 西安电子科技大学 | 基于对抗网络的医学图像肺结节检测方法 |
| CN109308495A (zh) * | 2018-07-05 | 2019-02-05 | 北京昆仑医云科技有限公司 | 从患者的医学图像自动预测生理状况的装置和系统 |
Non-Patent Citations (2)
| Title |
|---|
| JIE YANG ET AL: "CLASS-AWARE ADVERSARIAL LUNG NODULE SYNTHESIS IN CT IMAGES", 《ARXIV:1812.11204V1》, pages 1 - 5 * |
| KENSHO HARA ET AL: "Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet?", 《ARXIV:1711.09577V2》, pages 1 - 10 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112494063A (zh) * | 2021-02-08 | 2021-03-16 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
| CN112494063B (zh) * | 2021-02-08 | 2021-06-01 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE202020005498U1 (de) | 2021-07-12 |
| EP3754610A1 (en) | 2020-12-23 |
| US20200402215A1 (en) | 2020-12-24 |
| US11049223B2 (en) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11049223B2 (en) | Class-aware adversarial pulmonary nodule synthesis | |
| Frid-Adar et al. | Synthetic data augmentation using GAN for improved liver lesion classification | |
| Bai et al. | Applying deep learning in digital breast tomosynthesis for automatic breast cancer detection: A review | |
| US11024027B2 (en) | Manipulable object synthesis in 3D medical images with structured image decomposition | |
| US11132792B2 (en) | Cross domain medical image segmentation | |
| Onishi et al. | Automated pulmonary nodule classification in computed tomography images using a deep convolutional neural network trained by generative adversarial networks | |
| CN109003267B (zh) | 从3d图像自动检测目标对象的计算机实现方法和系统 | |
| Le et al. | Overview of machine learning: part 2: deep learning for medical image analysis | |
| Gong et al. | Generative adversarial networks in medical image processing | |
| Toda et al. | Synthetic CT image generation of shape-controlled lung cancer using semi-conditional InfoGAN and its applicability for type classification | |
| Wang et al. | Combination of generative adversarial network and convolutional neural network for automatic subcentimeter pulmonary adenocarcinoma classification | |
| US11854158B2 (en) | Medical image enhancement | |
| WO2022072181A2 (en) | Multimodality image processing techniques for training image data generation and usage thereof for developing mono-modality image inferencing models | |
| Selim et al. | STAN-CT: Standardizing CT image using generative adversarial networks | |
| Liang et al. | Residual convolutional neural networks with global and local pathways for classification of focal liver lesions | |
| Shen et al. | Image synthesis with disentangled attributes for chest X-ray nodule augmentation and detection | |
| CN116071383A (zh) | 一种基于超高场磁共振影像重建的海马亚区分割方法及系统 | |
| Bu et al. | 3D conditional generative adversarial network‐based synthetic medical image augmentation for lung nodule detection | |
| Mridha et al. | A comprehensive survey on the progress, process, and challenges of lung cancer detection and classification | |
| WO2020085336A1 (ja) | 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 | |
| Ferreira et al. | GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy | |
| Boyanapalli et al. | Ovarian cancer detection in computed tomography images using ensembled deep optimized learning classifier | |
| Zhou et al. | Wrist ultrasound segmentation by deep learning | |
| Ashok et al. | Automatic segmentation of organs-at-Risk in thoracic computed tomography images using ensembled U-net InceptionV3 model | |
| CN111739614B (zh) | 医学图像增强 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |