CN108460809A - 用于前列腺癌检测和分类的深度卷积编码器-解码器 - Google Patents
用于前列腺癌检测和分类的深度卷积编码器-解码器 Download PDFInfo
- Publication number
- CN108460809A CN108460809A CN201810153940.2A CN201810153940A CN108460809A CN 108460809 A CN108460809 A CN 108460809A CN 201810153940 A CN201810153940 A CN 201810153940A CN 108460809 A CN108460809 A CN 108460809A
- Authority
- CN
- China
- Prior art keywords
- image
- patient
- mri
- prostate
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010060862 Prostate cancer Diseases 0.000 title claims abstract description 17
- 208000000236 Prostatic Neoplasms Diseases 0.000 title abstract description 11
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 93
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 61
- 230000004044 response Effects 0.000 claims abstract description 58
- 208000023958 prostate neoplasm Diseases 0.000 claims abstract description 50
- 238000010586 diagram Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 29
- 210000002307 prostate Anatomy 0.000 claims description 30
- 201000011510 cancer Diseases 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000009792 diffusion process Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000505 pernicious effect Effects 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 6
- 235000008434 ginseng Nutrition 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 2
- 230000003902 lesion Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 230000003211 malignant effect Effects 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 206010004385 Benign neoplasm of prostate Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 229910052688 Gadolinium Inorganic materials 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000002458 carcinoid tumor Diseases 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 201000001916 Hypochondriasis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008499 blood brain barrier function Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000001218 blood-brain barrier Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000008728 vascular permeability Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
- G06T2207/10096—Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
用于前列腺癌检测和分类的深度卷积编码器‑解码器。公开了一种用于在多参数磁共振成像（MRI）中的自动化前列腺肿瘤检测和分类的方法和装置。接收包括多个不同类型的MRI图像的患者的多参数MRI图像集合。使用训练的多通道图像到图像卷积编码器‑解码器来执行在患者的多参数MRI图像集合中的前列腺肿瘤的同时检测和分类，所述训练的多通道图像到图像卷积编码器‑解码器输入患者的多参数MRI图像集合的多个MRI图像并且包括对应于多个不同肿瘤类别的多个输出通道。对于每个输出通道，训练的图像到图像卷积编码器‑解码器生成相应的响应图，所述响应图提供在患者的多参数MRI图像集合中的相应的肿瘤类别的前列腺肿瘤的检测的位置。
Description
本申请要求2017年2月22日提交的美国临时申请No. 62/461,970的权益，通过引用将其公开内容并入本文中。
背景技术
本发明涉及在医学图像中的前列腺肿瘤的自动化检测和分类，并且更特别地，涉及使用深度学习网络在多参数磁共振（MR）图像中的前列腺肿瘤的自动化检测和分类。
前列腺癌是美国男性中最频繁被诊断的癌，其中在2016年中的181000个新案例导致多于26000个死亡。早期诊断通常导致长期存活，但是依赖于通常由经直肠超声（transrectal ultrasound）（TRUS）成像引导的侵入性多核活检（invasive multicorebiopsy）。近期，多参数磁共振成像（MRI）已经展示了用于在非侵入性前列腺癌检测中使用的有前途的结果，因为在mpMRI和组织学数据之间已经建立了强相关性。无论盲前列腺活检还是引导的前列腺活检，对患者而言都是侵入性的和痛苦的，而获取多参数MRI图像集合基本上是较少侵入性的。如果使用多参数MRI可以做出相同水平的临床决定，那么可以避免此类侵入性活检中的一些或所有，并且可以以使用多参数MRI的非侵入性“虚拟活检”替代此类侵入性活检中的一些或所有。
在多参数磁共振（MR）图像中的检验需要两个具体任务。第一，必须检测潜在的癌症区，以及第二，必须将这些可疑区域分类为良性的或否则可动作的（actionable）（建议活检）。人工读由多达八个图像通道组成的多参数MR图像可能是乏味的任务。此外，甚至由专家放射科医师检测，也难以检测在多参数MR图像中表达的癌性病变的细微的和共同的标记（signature）。因此，一种用于在多参数MR图像中的前列腺肿瘤/病变的自动化检测和分类的方法是期望的。
发明内容
本发明提供了一种用于在多参数磁共振（MR）图像中的前列腺肿瘤的自动化的基于计算机的检测和分类的方法和系统。本发明的实施例使用深度图像到图像网络来执行在患者的多参数MR图像中的前列腺肿瘤的同时检测和分类。将多参数MR图像直接输入到训练的深度图像到图像网络，并且不需要特征提取预处理步骤。
在本发明的一个实施例中，接收患者的多参数MRI图像集合，其中多参数MRI图像集合包括患者的多个不同类型的MRI图像。使用训练的多通道图像到图像卷积编码器-解码器来执行在患者的多参数MRI图像集合中的前列腺肿瘤的同时检测和分类，其中训练的多通道图像到图像卷积编码器-解码器包括用于输入患者的多参数MRI图像集合的多个MRI图像的多个输入通道以及对应于多个不同肿瘤类别的多个输出通道，并且对于每个输出通道，训练的多通道图像到图像卷积编码器-解码器生成相应的响应图（response map），所述响应图提供在患者的多参数MRI图像集合中的相应的肿瘤类别的前列腺肿瘤的检测的位置。
通过参考以下具体实施方式和附图，本发明的这些优势和其他优势对本领域普通技术人员来说将是清楚的。
附图说明
图1图示了根据本发明的实施例的一种用于在多参数磁共振（MR）图像中的前列腺肿瘤的自动化的基于计算机的检测和分类的方法；
图2图示了根据本发明的各种实施例的用于实现图像到图像卷积编码器-解码器的示例性网络架构；
图3图示了对于地面实情（ground truth）良性和恶性前列腺肿瘤位置的高斯响应的示例；
图4图示了针对使用变化数量的输入mpMRI图像的不同模型的前列腺肿瘤检测和分类的示例性性能结果；
图5图示了使用四个输入mpMRI图像的集合的模型1的示例性接收机操作特性（ROC）曲线；
图6图示了使用跳连接（skip connection）和通过高斯噪声添加的训练数据扩充（augmentation）的模型1的示例性ROC曲线；
图7图示了使用具有跳连接和修改的激活函数的不同模型的前列腺肿瘤检测和分类的示例性性能结果；以及
图8是能够实现本发明的计算机的高级别框图。
具体实施方式
本发明涉及一种用于在多参数磁共振（MR）图像中的前列腺肿瘤自动化的基于计算机的检测和分类的方法和系统。在本文中描述了本发明的实施例以给出对用于前列腺肿瘤的自动化检测和分类的方法的视觉理解（visual understanding）。数字图像常常由一个或多个对象（或形状）的数字表示组成。在本文中常常在标识和操纵对象的方面中描述对象的数字表示。此类操纵是在计算机系统的存储器或其他电路/硬件中实现的虚拟操纵。因此，将要理解，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
已经提出了各种技术以提供使用多参数MR图像的前列腺癌的检测和分类的自动化技术方案。此类技术尝试量化在多参数MR图像中的对比度（contrast）改变并且使用它们以便检测和分类可疑病变。此类先前提出的技术采用单独的处理以执行前列腺中的可疑病变的检测/定位和此类病变作为良性或癌性的分类。先前提出的技术中的大多数基于手工的（hand-crafted）可量化的图像特征，所述可量化的图像特征被假设为对检测和分类任务是重要的。本发明的实施例使用深度图像到图像网络执行在患者的多参数MR图像中的前列腺肿瘤/病变的自动化检测和分类。根据本发明的有利的方面，将多参数MR图像直接输入到训练的深度图像到图像网络，并且不需要特征提取预处理步骤。此外，本发明的实施例执行在多参数MR图像中的肿瘤的同时检测和分类。因此，本发明的实施例相对于用于自动化前列腺癌检测和分类的先前提出的技术提供了在准确性和处理速度中的改进。
本发明的实施例将前列腺癌检测和分类问题表达（formulate）为多级别分段问题。在有利的实施例中，分段被认为是响应图，其在肿瘤位置处达到峰值（peak）并且在肿瘤位置的附近遵循高斯分布。多个响应通道是生成以考虑诸如良性和恶性病变两者之类的病变/肿瘤的多个不同分类的图通道。术语“病变”和“肿瘤”在本文中可互换地使用。本发明的实施例提供了超过用于前列腺癌检测和分类的现有的技术的许多优势。例如，通过高斯标准偏差的使用内在地考虑标记的病变的空间不确定性。此外，不存在对确定斑块大小的具体的需求，所述斑块大小定义询问（interrogate）围绕病变的哪个邻近区（neighborhood），如在基于图像斑块的移动窗方法中那样。可以使用深度编码器-解码器架构来实现前列腺中的病变的检测和分类。例如，深度编码器-解码器架构可以类似于SegNet编码器-解码器架构。然而，代替预期的分段输出，在输出响应图中的局部最大值（maxima）预测了前列腺中的肿瘤的检测的位置。此外，在有利的实施例中，深度编码器-解码器架构可以具有多通道输出，所述多通道输出评估对应于不同肿瘤分类（例如，良性和恶性）的不同输出通道的响应图以同时表征/分类检测的肿瘤。因此，深度编码器-解码器架构可以同时在一系列多参数输入图像中执行多个肿瘤和多个类别的肿瘤的检测和分类。取决于具有地面实情肿瘤边界的训练样本的可用性，还可以扩展在本文中描述的用于前列腺肿瘤检测和分类的方法以执行肿瘤分段以及检测和分类。
图1图示了根据本发明的实施例的一种用于在多参数磁共振（MR）图像中的前列腺肿瘤的自动化的基于计算机的检测和分类的方法。参考图1，在步骤102处，接收患者的前列腺的多参数MRI图像集合。前列腺的多参数MRI（mpMRI）图像集合指的是使用各种不同MRI获取/图像生成技术获取的患者的前列腺的多个MRI图像/图。使用不同成像技术获取的不同图像通道提供了在患者的前列腺区中的位置处的不同信息。在不同图像通道中的相应的像素/体素（voxel）位置指的是在前列腺区中的相同位置，并且每个像素/体素位置具有包括每个图像通道的相应的图像值的图像值的矢量。在有利的实施例中，患者的前列腺的mpMRI图像集合是3D MRI图像的集合。然而，可以使用2D mpMRI图像或4D （3D+t） mpMRI图像来类似地实现图1的方法。可以直接从用于获取mpMRI图像的MRI扫描器接收在患者的前列腺的mpMRI图像集合中的图像中的任何或所有图像。替代地，可以通过从计算机的存储设备或存储器加载/取回先前获取的图像或从远程计算机系统经由电子传输接收先前获取的图像来接收在患者的前列腺的mpMRI图像集合中的图像中的任何或所有图像。
在有利的实施例中，mpMRI图像集合包括提供前列腺和带状（zonal）结构的概览的T2加权脉冲序列（T2加权MRI图像）。mpMRI图像集合还可以包括功能成像，诸如描绘归因于微观组织结构的水分子扩散变化的一个或多个扩散加权成像（DWI）图像。DWI使用不同梯度（或b值）来生成图像的集合，其导致了不同的重建信号强度。mpMRI图像集合还可以包括表观扩散系数（apparent diffusion coefficient）（ADC）图，可以从DWI图像集合生成所述表观扩散系数（ADC）图。使用至少两个b值的信号强度改变来导出ADC图，并且所述ADC图提供展示水分子扩散的程度的量化图。附加地，可以将动态对比增强（DCE）MRI包括在mpMRI图像集合的总体获取中。在DCE MRI中，在基于钆（gadolinium）的对比剂（contrast agent）的快速静脉内注射期间，获取一系列临时快T1加权MRI图像。前列腺癌组织常常诱导某级别的血管生成（angiogenesis），其之后是与正常前列腺组织相比的增加的血管磁导率（vascularpermeability）。可以从DCE MRI图像集合生成K-Trans图，并且可以在mpMRI图像集合中包括所述K-Trans图。K-Trans是提供组织磁导率的指标的测量。在示例性实现中，可以使用在Tofts等的“Measurements of the Blood-Brain Barrier Permeability and LeakageSpace Using Dynamic MR Imaging. 1. Fundamental Concepts”、Magnetic Resonance in Medicine，17（2）：357-67，1991中描述的公知的Tofts模型来评估K-Trans图。
在步骤104处，预处理mpMRI图像集合以执行运动补偿和感兴趣的区提取。在mpMRI图像集合中的前列腺肿瘤的检测和分类之前，可以对mpMRI图像集合执行运动补偿以补偿各种MRI获取（例如，T2加权、DWI、DCE）之间的任何运动（例如，患者移动）。在有利的实现中，以级联（cascade）方式使用3D弹性配准（elastic registration）来执行运动补偿。为了增加鲁棒性，在DWI图像集合中的T2加权MRI图像和相应的低b值图像之间执行成对配准，导致计算的变形场（computed deformation field）。然后将计算的变形场应用于补偿ADC参数图中的运动。还可以将计算的变形场应用于补偿诸如高b值DWI图像之类的DWI图像集合的其他图像中的运动。类似地，在T2加权MR图像和表示DCE MRI图像集合的之后的对比增强图像之间执行成对配准，并且将得到的计算的变形场应用于执行K-Trans图中的运动补偿。
在可能的实施例中，在其中用于获取mpMRI图像集合的MRI扫描覆盖比只是前列腺区大的区域的情况中，可以在mpMRI图像集合中提取包围前列腺的感兴趣的区（ROI）。可以将预定大小ROI遮蔽（mask）应用于mpMRI图像集合中的3D图像的每个片以确保每个图像中的仅前列腺和周围区域被考虑用于前列腺检测和分类。在示例性实现中，可以将 ROI遮蔽应用于每个片。在运动补偿和ROI提取之后，然后可以将mpMRI图像集合中的图像重新格式化为具有预定大小的T2加权图像网格，所述预定大小对应于用于执行前列腺肿瘤检测和分类的训练的图像到图像卷积编码器-解码器中的输入通道的大小。在示例性实现中，可以将所有的图像重新格式化为具有的大小的T2加权图像网格，其对应于每个2D片中的大体上像素。
在步骤106处，使用训练的多通道图像到图像卷积编码器-解码器同时执行mpMRI图像集合中的前列腺肿瘤的检测和分类。训练的图像到图像卷积编码器-解码器包括多个输入通道，每个对应于mpMRI图像集合中的图像的相应的类型。训练的图像到图像卷积编码器-解码器被训练以输出响应图，其中响应表示患者的前列腺中的局部病变。训练的图像到图像卷积编码器-解码器具有多个输出通道并且所述输出通道中的每一个表示不同的肿瘤类别。因此，训练的图像到图像卷积编码器-解码器针对多个肿瘤类别中的每个输出相应的响应图。针对每个肿瘤类别的响应图输出提供了分类为该肿瘤类别的前列腺肿瘤/病变的检测的位置。以该方式，训练的图像到图像卷积编码器-解码器执行前列腺肿瘤的同时检测和分类。根据有利的实现，训练的图像到图像卷积编码器-解码器被训练以针对输出通道（肿瘤类别）中的每个输出相应的响应图，其具有以相应的肿瘤类别的每个检测的肿瘤/病变位置为中心的高斯核。即，针对给定的输出通道的响应图输出是具有在每个检测的肿瘤位置处达到峰值并且在每个检测的肿瘤位置的附近遵循高斯分布的强度的图像。这导致了遮蔽图像（mask image），在该图像中仅具有非零强度值的像素或体素是在每个检测的肿瘤位置周围的高斯定义圆（在2D中）或球（在3D中）内的那些。在训练中可以设置高斯分布的标准偏差。
在有利的实施例中，训练的图像到图像卷积编码器-解码器具有分别对应于良性和恶性前列腺肿瘤的两个输出通道。在该情况中，训练的图像到图像卷积编码器-解码器输入mpMRI图像并且输出示出被分类为良性的前列腺肿瘤的检测的位置的第一响应图和示出被分类为恶性的前列腺肿瘤或检测的位置的第二响应图。特别地，第一响应图示出了具有以每个检测的位置为中心的高斯强度分布的被分类为良性的肿瘤的检测的位置，并且第二响应图示出了具有以每个检测的位置为中心的高斯强度分布的被分类为恶性的肿瘤的检测的位置。良性和恶性标签/分类可以对应于某Gleason分数。在该情况中，恶性和良性类别标签实际上可以在临床上分别表示相关的肿瘤（Gleason分数 > 6）和非相关的（Gleason分数 ≤ 6）。在其他可能的实施例中，还可以包括附加的输出通道以表示其他可能的肿瘤分类。在有利的实施例中，训练的图像到图像卷积编码器-解码器可以具有四个输入通道并且针对患者的输入mpMRI图像集合可以包括T2加权MR图像、ADC图、高b值DWI图像和K-Trans图。在其他可能的实施例中，可以将mpMRI图像的不同集合或这些mpMRI图像的子集输入到训练的图像到图像卷积编码器-解码器。
图2图示了根据本发明的各种实施例的用于实现图像到图像卷积编码器-解码器的示例性网络架构。在本文中描述了被称为“模型0”、“模型1”和“模型2”的三个图像到图像卷积编码器-解码器网络。这些图像到图像卷积编码器-解码器网络（模型0、1和2）在参数和层的数量方面中具有增加的复杂性。如图2中示出的那样，卷积编码器-解码器架构200被用于模型0和模型1。然而，与模型0 （16966个参数）相比，利用用于模型1的更大数量的参数（191764个参数）来实现卷积编码器-解码器架构200。在卷积编码器-解码器架构200中，层201、203、205、207、209、211、213和214是卷积层，层202、204和206是最大池化（max-pooling）层，并且层208、210和212是上采样层。卷积编码器-解码器架构220被用于模型2，其具有78358个参数。在卷积编码器-解码器架构220中，层221、223、225、227、229、231、233、235、237和238是卷积层，层222、224、226和228是最大池化层，并且层230、232、234和236是上采样层。使用卷积编码器-解码器架构220实现的模型2当与使用卷积编码器-解码器架构200实现的模型0和1比较时包括在其编码器网络中的额外的卷积层和最大池化层以及在其解码器网络中的额外的上采样层和卷积层。
在图2中示出的架构200和220两者中，紧接在每个卷积层下面的数字（例如，针对层201的“4”）指示针对卷积层的输出通道的数量（即，由卷积层生成的特征图的数量）。在架构200中，当提供两个数字用于卷积层的输出通道的数量（例如，针对层203的“8/32”）时，第一数字指示用于在模型0中的该卷积层的输出通道的数量，并且第二数字指示用于在模型1中的该卷积层的输出通道的数量。如图2中示出的那样，每个架构200和220的编码器和解码器网络中的每个卷积层使用3*3过滤器来执行卷积。在图2中示出的架构200和220两者中，邻近于每个卷积层的上边缘和前边缘的数字（例如，针对层201的“256”）指示在该卷积层处的特征图的大小。对于模型0、模型1和模型2，在训练期间在每个卷积层之后使用批量（batch）规格化。还将元素方面（element-wise）激活函数应用于每个卷积层之后的特征图。在示例性实施例中，修正线性（ReLU）被用于每个卷积层的激活函数。在其他可能的实施例中，替代ReLU，可以将泄露（Leaky）ReLU（）或非常泄露ReLU（）用于每个卷积层的激活函数。如在图2中分别由架构200和220的输出层214和238示出的那样，每个模型（模型0、模型1和模型2）的输出包括表示恶性和良性肿瘤类别的两个输出通道。在图2的实施例中，每个模型（模型0、模型1和模型2）输入对应于T2加权MRI图像、ADC图、高b值DWI图像和K-trans图的输入图像的四个通道。在其他可能的实施例中，可以变化输入图像。在可能的实现中，可以向模型0、模型1和/或模型2添加跳连接。
在离线训练阶段中训练图像到图像卷积编码器-解码器（模型0、模型1或模型2）以基于具有已知地面实情肿瘤/病变位置和分类的训练数据来执行同时前列腺肿瘤检测和分类。训练数据有利地包括大量的具有注释的肿瘤/病变中心位置和相应的肿瘤分类的训练mpMRI图像集合。在有利的实施例中，使用恶性/临床相关（Gleason分数 > 6）和良性/非相关（Gleason分数 ≤ 6）的两个类别标签来对训练mpMRI图像集合中的肿瘤分类。在示例性实现中，每个训练mpMRI图像集合可以包括T2加权MR图像、ADC图、高b值DWI图像和K-Trans图。预处理每个训练mpMRI图像集合以执行运动补偿，如以上在步骤104中描述的那样。附加地，对每个训练mpMRI图像集合的每个片使用每个训练mpMRI图像集合的预定大小（例如，）ROI遮蔽以确保仅前列腺和周围区域被考虑用于训练。在内部（intra）患者配准（运动补偿）和ROI提取之后，可以将训练mpMRI图像集合中的所有的图像重新格式化为预定大小的T2加权图像网格。在示例性实现中，将所有的训练图像重新格式化为具有的大小的T2加权图像网格，其对应于2D片中的大体上像素。基于注释的地面实情肿瘤位置和分类，针对每个训练mpMRI图像集合创建分别对应于良性和恶性肿瘤标签的两个地面实情响应图。对于给定的训练mpMRI图像集合，通过生成以包含地面实情肿瘤中心位置的2D片中的给定类别的每个地面实情肿瘤中心位置为中心的高斯分布（例如，具有10mm的）来创建用于给定肿瘤类别（例如，恶性或良性）的地面实情响应图。针对每个地面实情中心位置的高斯分布还以基于像素间距调整的标准偏差通过平面在3D中传播。图3图示了对于地面实情良性和恶性前列腺肿瘤位置的高斯响应的示例。如图3中示出的那样，来自T2加权MRI图像的样本片300、302、304、306、308、310与分别对应于良性肿瘤的地面实情位置的高斯响应301、303、305、307、309和311耦合/以分别对应于良性肿瘤的地面实情位置的高斯响应301、303、305、307、309和311覆盖来自T2加权MRI图像的样本片300、302、304、306、308、310。来自T2加权MR图像的样本片320、322、324、326、328和330与分别对应于恶性肿瘤的地面实情位置的高斯响应321、323、325、327、329和331耦合/以分别对应于恶性肿瘤的地面实情位置的高斯响应321、323、325、327、329和331覆盖来自T2加权MR图像的样本片320、322、324、326、328和330。在有利的实施例中，选择具有良性或恶性肿瘤标签的仅训练mpMRI图像的片来用作用于训练图像到图像卷积编码器-解码器的训练样本。可以使用反向（back）传播和梯度下降来训练图像到图像卷积编码器-解码器以学习最小化损耗函数（loss function）的权重，所述损耗函数测量地面实情响应图和由图像到图像卷积编码器-解码器在所有肿瘤类别和所有训练样本上生成的预测响应图之间的差异/误差。在可能的实现中，可以通过将高斯噪声添加到训练数据来扩充训练数据以便增加训练中的鲁棒性。
一旦训练了图像到图像卷积编码器-解码器，就可以将训练的图像到图像卷积编码器-解码器存储在计算机系统的存储器或存储设备上，并且所述训练的图像到图像卷积编码器-解码器可以被用来在患者的新接收的/输入的mpMRI图像中执行前列腺肿瘤的同时检测和分类。在有利的实施例中，可以训练图像到图像卷积编码器-解码器以输入来自多个mpMRI图像（例如，T2加权、ADC、高b值DWI和K-Trans）中的每个的2D片并且生成/输出对应于肿瘤类别（例如，良性和恶性）中的每个的输入片的相应的2D响应图。在该情况中，可以将接收的患者的3D mpMRI图像集合逐片地输入到训练的图像到图像卷积编码器-解码器（其中图像的每个输入集合包括来自mpMRI图像中的每个的相应的片），并且训练的图像到图像卷积编码器-解码器可以针对每个输入片执行前列腺肿瘤的同时检测和分类，并且生成对应于每个输入片的2D良性和恶性肿瘤响应图。在另一个可能的实施例中，可以训练图像到图像卷积编码器-解码器以输入多个3D mpMRI图像并且针对肿瘤类别中的每个直接地生成/输出相应的3D响应图。在该情况中，可以将患者的3D mpMRI图像的集合输入到训练的图像到图像卷积编码器-解码器，并且所述训练的图像到图像卷积编码器-解码器可以在3DmpMRI图像中执行同时前列腺肿瘤检测和分类并且生成相应的3D良性肿瘤响应图和相应的3D恶性肿瘤响应图。
返回到图1，在步骤108处，输出前列腺肿瘤检测和分类结果。可以通过在计算机系统的显示设备上显示前列腺肿瘤检测和分类结果来输出前列腺肿瘤检测和分类结果。例如，可以在显示设备上显示良性肿瘤响应图和恶性肿瘤响应图。在可能的实施例中，可以通过将生成的良性肿瘤响应图和恶性肿瘤响应图覆盖在诸如T2加权MRI图像之类的结构MRI图像上来输出前列腺肿瘤检测和分类结果。例如，可以将针对良性和恶性肿瘤生成的2D响应图覆盖在患者的T2加权MRI图像的相应的片上并且在显示设备上显示针对良性和恶性肿瘤生成的该2D响应图。在可能的实施例中，可以使用不同的颜色将生成的良性肿瘤响应图和生成的恶性肿瘤响应图覆盖在T2加权MRI图像的片上来表示检测的良性和恶性肿瘤，以便提供每个检测的肿瘤的分类的容易地可区分的指示。在可能的实现中，可以将针对良性和恶性肿瘤生成的3D响应图覆盖在患者的3D T2加权MR图像上，并且将针对良性和恶性肿瘤生成的该3D响应图显示为3D可视化。还可以将生成的良性和恶性响应图覆盖在患者的mpMRI图像集合中的其他图像上，诸如患者的ADC图、K-Trans图、高b值DWI图像或任何其他医学图像。
本发明人进行各种实验以测试和评估在本文中描述的自动化前列腺肿瘤检测和分类方法。从具有前列腺癌的可疑性的患者收集的数据被用来训练图像到图像卷积编码器-解码器。在没有直肠内线圈（endo-rectal coil）的情况下使用3 Tesla（3T）MRI扫描器来对所有患者成像。处理了总体202个多参数MRI数据集合。对于注释，中心病变位置和相应的分类是已知的。预处理了mpMRI图像集合以执行运动补偿，并且在每个片上使用了 ROI遮蔽来确保仅前列腺和周围区域被考虑。然后将所有图像重新格式化为具有的大小的T2加权图像网格，其大体上对应于像素2D片。通过在相应的2D片中的每个肿瘤中心点处创建具有10mm的的高斯分布来针对每个数据集合创建了对应于良性和恶性肿瘤标签的地面实情图。高斯分布以基于像素间距调整的标准偏差传播通过平面。仅具有良性或恶性肿瘤标签的片被选择用于处理。该集合包括全部202个多参数MRI体积中的总共824个片。
在本文中描述的三个不同的图像到图像卷积编码器-解码器网络（模型0、模型1和模型2）被训练并且被用来执行前列腺癌检测和分类。除了所述三个网络，本发明人还评估了对可用的输入数据的修改、不同的激活函数（ReLU、泄露ReLU和非常泄露（Very Leaky）ReLU）、将跳连接添加到图像到图像卷积编码器-解码器网络以及通过高斯噪声添加的训练数据扩充。使用Theano训练了网络。为了评估采样可变性，本发明人用针对训练和测试随机选择的数据的不同集合执行了五次自举的（bootstrap）5折交叉验证（5-fold crossvalidation）。使用该方法，本发明人能够得到性能的范围并且可以计算（computer）采样独立平均性能。为了评估性能，使用用于检测/分类运行中的每个的曲线以下的面积（AUC）。此外，基于针对训练完全省去患者并且不具有来自在训练和测试两者中出现的患者数据集合的片来执行验证。
本发明人测试了使用变化数量的多参数输入通道的不同的图像到图像卷积编码器-解码器网络（模型0、模型1和模型2）的性能。图4图示了针对使用变化数量的输入mpMRI图像的不同模型的前列腺肿瘤检测和分类的示例性性能结果。模型0（M0）、模型1（M1）和模型2（M2）中的每个被用来执行使用四个输入mpMRI图像（T2加权、ADC图、高b值DWI和K-Trans图）的集合、三个输入mpMRI图像（T2加权、ADC图和高b值DWI）的集合、两个输入mpMRI图像（T2加权和ADC图）的第二和单个输入ADC图的多个前列腺肿瘤检测和分类运行。如在图4中示出的那样，图400示出了使用输入图像模态（modality）的不同集合的不同模型（M0、M1、M2）的AUC结果的绘图，并且表410示出了具有不同输入图像模态的不同模型（M0、M1、M2）的平均AUC结果。根据在图4中示出的结果，清楚的是所有模态（即，四个输入图像的集合）的聚合产生了跨所有的模型的最好结果。虽然所有四个输入图像模态的使用给出了打赌（bet）性能结果，但是可能期望实现获取长度（较小数量的参数）和性能之间的折中。可能的折中可以是消除DCE扫描（以及得到的K-Trans图像），其包括相关联的对比要求，并且仍然提供临床可接受的阴性预测（Negative Predictive）（通过在ROC曲线上选择好的操作点）。根据在图4中示出的结果，还清楚的是模型1产生了具有最小可变性的最好平均AUC，而模型0具有在测试的所有折之中的更佳的单个AUC分数。
图5图示了使用四个输入mpMRI图像的集合的模型1的示例性接收机操作特性（ROC）曲线500。如图5示出的那样，根据ROC曲线500计算的AUC是88%。图6图示了使用跳连接和通过高斯噪声添加的训练数据扩充的模型1的示例性ROC曲线600。通过高斯噪声添加的训练数据扩充没有导致一致的改进。当将跳连接应用于模型上时，达到了90%的最大AUC，如在图6中的ROC曲线600上示出的那样。
图7图示了使用具有跳连接和修改的激活函数的不同模型（M0、M1和M2）的前列腺肿瘤检测和分类的示例性性能结果。输入图像通道的数量被固定在四，并且使用具有添加的跳连接的网络/模型（M0、M1和M2）中的每个执行了多个运行（run）pf自动化前列腺肿瘤检测和分类，其中泄露ReLU（）被用作替代ReLU的激活函数，并且其中非常泄露ReLU（）被用作替代ReLU的激活函数。如在图7中示出的那样，图700示出了针对使用跳连接、泄露ReLU和非常泄露ReLU的不同模型（M0、M1、M2）的AUC结果的绘图，并且表710示出了针对具有跳连接、泄露ReLU和非常泄露ReLU的不同模型（M0、M1、M2）的平均AUC结果。使用泄露ReLU和非常泄露ReLU导致了与ReLU相比的减弱的性能。然而，添加跳连接导致针对具有83.3%的平均AUC和跨折的减少的可变性的最复杂模型（M2）的改进的性能。
总体而言，实验结果示出了在本文中描述的方法相对于用于自动化前列腺肿瘤检测和分类的现有方法具有竞争性并且提供了胜过用于自动化前列腺肿瘤检测和分类的现有方法的优势。此外，作为使用来训练图像到图像卷积编码器-解码器的数据的量，预期该方法的结果将继续满意（approve）。
可以使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他部件在计算机上实现用于在多参数MRI图像中的自动化前列腺肿瘤/病变检测和分类的以上描述的方法。在图8中图示了此类计算机的高级别框图。计算机802包含处理器804，所述处理器804通过执行定义此类操作的计算机程序指令来控制计算机802的总体操作。可以将计算机程序指令存储在存储设备812（例如，磁盘）中并且当期望计算机程序指令的执行时将计算机程序指令加载到存储器810中。因此，可以由存储在存储器810和/或存储设备812中的计算机程序指令来定义图1的方法的步骤，并且由执行计算机程序指令的处理器804来控制图1的方法的步骤。诸如MRI扫描器之类的图像获取设备820可以被连接到计算机802以输入图像数据到计算机802。将图像获取设备820和计算机802实现为一个设备是可能的。图像获取设备820和计算机802通过网络无线地通信也是可能的。在可能的实施例中，计算机802可以相对于图像获取设备820被远程地定位并且可以将在本文中描述的方法步骤作为服务器或基于云的服务的部分来执行。在该情况中，可以在单个计算机上执行方法步骤或将方法步骤分布在多个联网的计算机之间。计算机802还包括用于经由网络与其他设备通信的一个或多个网络接口806。计算机802还包括使能与计算机802的用户交互的其他输入/输出设备808（例如，显示器、键盘、鼠标、扬声器、按钮等）。可以结合计算机程序的集合来使用此类输入/输出设备6808作为注释工具以注释从图像获取设备820接收的图像/体积。本领域技术人员将认识到，实际计算机的实现也可以包含其他部件，并且图8是用于说明性目的的此类计算机的部件中的一些的高级别表示。
要将前述具体实施方式理解为在每个方面中都是说明性的和示例性的但不是限制性的，并且在本文中公开的本发明的范围不是根据具体实施方式来确定的，而是根据如根据由专利法允许的全部广度解释的权利要求书来确定的。要理解，在本文中示出和描述的实施例仅是对本发明的原理的说明并且在不脱离本发明的范围和精神的情况下本领域技术人员可以实现各种修改。在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种其他特征组合。
Claims (20)
1. 一种用于在患者的多参数磁共振成像（MRI）图像中的自动化前列腺肿瘤检测和分类的方法，包括：
接收患者的多参数MRI图像集合，其中所述多参数MRI图像集合包括所述患者的多个不同类型的MRI图像；以及
使用训练的多通道图像到图像卷积编码器-解码器来执行在所述患者的所述多参数MRI图像集合中的前列腺肿瘤的同时检测和分类，其中训练的多通道图像到图像卷积编码器-解码器包括多个输入通道以输入所述患者的所述多参数MRI图像集合的多个MRI图像以及对应于多个不同肿瘤类别的多个输出通道，并且对于每个输出通道，所述训练的多通道图像到图像卷积编码器-解码器生成相应的响应图，所述响应图提供在所述患者的所述多参数MRI图像集合中的相应的肿瘤类别的前列腺肿瘤的检测的位置。
2.如权利要求1所述的方法，其中对于由所述训练的多通道图像到图像卷积编码器-解码器针对每个输出通道生成的所述相应的响应图是具有在所述相应的肿瘤类别的前列腺肿瘤的每个检测的位置处达到峰值的强度值并且在所述相应的肿瘤类别的前列腺肿瘤的每个检测的位置的附近遵循高斯分布的图像。
3.如权利要求2所述的方法，其中所述多个不同的肿瘤类别包括良性肿瘤类别和恶性肿瘤，并且所述训练的多通道图像到图像卷积编码器-解码器生成提供在所述患者的所述多参数MRI图像集合中的良性前列腺肿瘤的检测的位置的第一响应图以及提供在所述患者的所述多参数MRI图像集合中的恶性前列腺肿瘤的检测的位置的第二响应图。
4.如权利要求3所述的方法，其中基于多个训练多参数MRI图像集合和用于针对所述多个训练多参数MRI图像集合中的每个生成的良性和恶性肿瘤的地面实情响应图来训练所述训练的多通道图像到图像卷积编码器-解码器。
5.如权利要求1所述的方法，进一步包括：
在使用所述训练的多通道图像到图像卷积编码器-解码器执行在所述患者的所述多参数MRI图像集合中的所述前列腺肿瘤的所述同时检测和分类之前，对所述患者的所述多参数MRI图像集合中的多个不同类型的MRI图像执行运动补偿。
6.如权利要求5所述的方法，进一步包括：
提取在所述患者的所述多参数MRI图像集合中的所述多个不同类型的MRI图像的多个片中的每个上的对应于前列腺和周围区域的感兴趣的区（ROI）。
7.如权利要求1所述的方法，其中所述患者的所述多参数MRI图像集合包括T2加权MRI图像、从扩散加权成像（DWI）扫描导出的表观扩散系数（ADC）图、高b值DWI图像和从动态对比增强（DCE）MRI扫描生成的K-Trans图，并且所述训练的多通道图像到图像卷积编码器-解码器包括用于输入所述T2加权MRI图像、所述ADC图、所述高b值DWI图像和所述K-Trans图中的每个的相应的输入通道。
8.如权利要求1所述的方法，其中所述患者的所述多参数MRI图像集合包括T2加权MRI图像、从扩散加权成像（DWI）扫描导出的表观扩散系数（ADC）图和高b值DWI图像，并且所述训练的多通道图像到图像卷积编码器-解码器包括用于输入所述T2加权MRI图像、所述ADC图和所述高b值DWI图像中的每个的相应的输入通道。
9. 一种用于在患者的多参数磁共振成像（MRI）图像中的自动化前列腺肿瘤检测和分类的设备，包括：
用于接收患者的多参数MRI图像集合的装置，其中所述多参数MRI图像集合包括所述患者的多个不同类型的MRI图像；以及
用于使用训练的多通道图像到图像卷积编码器-解码器来执行在所述患者的所述多参数MRI图像集合中的前列腺肿瘤的同时检测和分类的装置，其中所述训练的多通道图像到图像卷积编码器-解码器包括用于输入所述患者的所述多参数MRI图像集合的多个MRI图像的多个输入通道以及对应于多个不同肿瘤类别的多个输出通道，并且对于每个输出通道，所述训练的多通道图像到图像卷积编码器-解码器生成相应的响应图，所述响应图提供在所述患者的所述多参数MRI图像集合中的相应的肿瘤类别的前列腺肿瘤的检测的位置。
10.如权利要求9所述的设备，其中对于由所述训练的多通道图像到图像卷积编码器-解码器针对每个输出通道生成的所述相应的响应图是具有在所述相应的肿瘤类别的前列腺肿瘤的每个检测的位置处达到峰值的强度值并且在所述相应的肿瘤类别的前列腺肿瘤的每个检测的位置的附近遵循高斯分布的图像。
11.如权利要求10所述的设备，其中所述多个不同的肿瘤类别包括良性肿瘤类别和恶性肿瘤，并且所述训练的多通道图像到图像卷积编码器-解码器生成提供在所述患者的所述多参数MRI图像集合中的良性前列腺肿瘤的检测的位置的第一响应图以及提供在所述患者的所述多参数MRI图像集合中的恶性前列腺肿瘤的检测的位置的第二响应图。
12.如权利要求9所述的设备，进一步包括：
用于在使用所述训练的多通道图像到图像卷积编码器-解码器执行在所述患者的所述多参数MRI图像集合中的所述前列腺肿瘤的所述同时检测和分类之前对所述患者的所述多参数MRI图像集合中的多个不同类型的MRI图像执行运动补偿的装置。
13.如权利要求9所述的设备，其中所述患者的所述多参数MRI图像集合包括T2加权MRI图像、从扩散加权成像（DWI）扫描导出的表观扩散系数（ADC）图、高b值DWI图像和从动态对比增强（DCE）MRI扫描生成的K-Trans图，并且所述训练的多通道图像到图像卷积编码器-解码器包括用于输入所述T2加权MRI图像、所述ADC图、所述高b值DWI图像和所述K-Trans图中的每个的相应的输入通道。
14. 一种非暂态计算机可读介质，其存储用于在患者的多参数磁共振成像（MRI）图像中的自动化前列腺肿瘤检测和分类的计算机程序指令，当由处理器执行时所述计算机程序指令使得所述处理器执行操作，所述操作包括：
接收患者的多参数MRI图像集合，其中所述多参数MRI图像集合包括所述患者的多个不同类型的MRI图像；以及
使用训练的多通道图像到图像卷积编码器-解码器来执行在所述患者的所述多参数MRI图像集合中的前列腺肿瘤的同时检测和分类，其中所述训练的多通道图像到图像卷积编码器-解码器包括用于输入所述患者的所述多参数MRI图像集合的多个MRI图像的多个输入通道以及对应于多个不同肿瘤类别的多个输出通道，并且对于每个输出通道，所述训练的多通道图像到图像卷积编码器-解码器生成相应的响应图，所述响应图提供在所述患者的所述多参数MRI图像集合中的相应的肿瘤类别的前列腺肿瘤的检测的位置。
15.如权利要求14所述的非暂态计算机可读介质，其中对于由所述训练的多通道图像到图像卷积编码器-解码器针对每个输出通道生成的所述相应的响应图是具有在所述相应的肿瘤类别的前列腺肿瘤的每个检测的位置处达到峰值的强度值并且在所述相应的肿瘤类别的前列腺肿瘤的每个检测的位置的附近遵循高斯分布的图像。
16.如权利要求15所述的非暂态计算机可读介质，其中所述多个不同的肿瘤类别包括良性肿瘤类别和恶性肿瘤，并且所述训练的多通道图像到图像卷积编码器-解码器生成提供在所述患者的所述多参数MRI图像集合中的良性前列腺肿瘤的检测的位置的第一响应图以及提供在所述患者的所述多参数MRI图像集合中的恶性前列腺肿瘤的检测的位置的第二响应图。
17.如权利要求16所述的非暂态计算机可读介质，其中基于多个训练多参数MRI图像集合和用于针对所述多个训练多参数MRI图像集合中的每个生成的良性和恶性肿瘤的地面实情响应图来训练所述训练的多通道图像到图像卷积编码器-解码器。
18.如权利要求14所述的非暂态计算机可读介质，其中所述操作进一步包括：
在使用所述训练的多通道图像到图像卷积编码器-解码器执行在所述患者的所述多参数MRI图像集合中的所述前列腺肿瘤的所述同时检测和分类之前，对所述患者的所述多参数MRI图像集合中的所述多个不同类型的MRI图像执行运动补偿。
19.如权利要求14所述的非暂态计算机可读介质，其中所述患者的所述多参数MRI图像集合包括T2加权MRI图像、从扩散加权成像（DWI）扫描导出的表观扩散系数（ADC）图、高b值DWI图像和从动态对比增强（DCE）MRI扫描生成的K-Trans图，并且所述训练的多通道图像到图像卷积编码器-解码器包括用于输入所述T2加权MRI图像、所述ADC图、所述高b值DWI图像和所述K-Trans图中的每个的相应的输入通道。
20.如权利要求20所述的非暂态计算机可读介质，其中所述患者的所述多参数MRI图像集合包括T2加权MRI图像、从扩散加权成像（DWI）扫描导出的表观扩散系数（ADC）图和高b值DWI图像，并且所述训练的多通道图像到图像卷积编码器-解码器包括用于输入所述T2加权MRI图像、所述ADC图和所述高b值DWI图像中的每个的相应的输入通道。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762461970P | 2017-02-22 | 2017-02-22 | |
| US62/461970 | 2017-02-22 | ||
| US15/831,819 US10489908B2 (en) | 2017-02-22 | 2017-12-05 | Deep convolutional encoder-decoder for prostate cancer detection and classification |
| US15/831819 | 2017-12-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108460809A true CN108460809A (zh) | 2018-08-28 |
| CN108460809B CN108460809B (zh) | 2023-01-13 |
Family
ID=61249530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810153940.2A Active CN108460809B (zh) | 2017-02-22 | 2018-02-22 | 用于前列腺癌检测和分类的深度卷积编码器-解码器 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10489908B2 (zh) |
| EP (1) | EP3367331B1 (zh) |
| CN (1) | CN108460809B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559358A (zh) * | 2018-10-22 | 2019-04-02 | 天津大学 | 一种基于卷积自编码的图像样本升采样方法 |
| CN110009669A (zh) * | 2019-03-22 | 2019-07-12 | 电子科技大学 | 一种基于深度强化学习的3d/2d医学图像配准方法 |
| CN110188792A (zh) * | 2019-04-18 | 2019-08-30 | 万达信息股份有限公司 | 前列腺mri三维图像的图像特征获取方法 |
| CN110244249A (zh) * | 2019-03-28 | 2019-09-17 | 上海联影医疗科技有限公司 | 磁共振扫描方法、装置、医学扫描设备和存储介质 |
| CN110321962A (zh) * | 2019-07-09 | 2019-10-11 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
| CN110916665A (zh) * | 2019-12-11 | 2020-03-27 | 大连医科大学附属第一医院 | 一种基于前列腺癌和前列腺增生的磁共振扩散加权图像影像组学特征处理方法 |
| CN110971837A (zh) * | 2018-09-30 | 2020-04-07 | Tcl集团股份有限公司 | 基于ConvNets的暗光图像处理方法及终端设备 |
| CN111028223A (zh) * | 2019-12-11 | 2020-04-17 | 大连医科大学附属第一医院 | 一种微卫星不稳定肠癌能谱ct碘水图影像组学特征处理方法 |
| CN111145140A (zh) * | 2018-11-02 | 2020-05-12 | 西门子医疗有限公司 | 使用深度学习确定肺结节的恶性程度 |
| WO2020098360A1 (en) * | 2018-11-15 | 2020-05-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for processing images using cross-stage skip connections |
| CN111428848A (zh) * | 2019-09-05 | 2020-07-17 | 中国海洋大学 | 基于自编码器和3阶图卷积的分子智能设计方法 |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10115194B2 (en) * | 2015-04-06 | 2018-10-30 | IDx, LLC | Systems and methods for feature detection in retinal images |
| US11341631B2 (en) * | 2017-08-09 | 2022-05-24 | Shenzhen Keya Medical Technology Corporation | System and method for automatically detecting a physiological condition from a medical image of a patient |
| JP6821614B2 (ja) * | 2018-02-16 | 2021-01-27 | 日本電信電話株式会社 | モデル学習装置、モデル学習方法、プログラム |
| KR102162895B1 (ko) * | 2018-06-04 | 2020-10-07 | 주식회사 딥바이오 | 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법 |
| US11403750B2 (en) * | 2018-06-13 | 2022-08-02 | Siemens Healthcare Gmbh | Localization and classification of abnormalities in medical images |
| US11011265B2 (en) * | 2018-06-28 | 2021-05-18 | Case Western Reserve University | Predicting prostate cancer risk of progression with multiparametric magnetic resonance imaging using machine learning and peritumoral radiomics |
| US20200279643A1 (en) * | 2018-07-18 | 2020-09-03 | Boston Scientific Scimed Inc. | Deep learning for medical device selection |
| JP2022502209A (ja) | 2018-10-11 | 2022-01-11 | ジェイエルケー インコーポレイテッド | がん領域に対するディープラーニングモデル学習装置及び方法 |
| KR101996475B1 (ko) * | 2018-10-11 | 2019-10-01 | (주)제이엘케이인스펙션 | 암 영역 검출의 유효성 평가 장치 |
| CN110363802B (zh) * | 2018-10-26 | 2022-12-06 | 西安电子科技大学 | 基于自动分割和骨盆对齐的前列腺图像配准系统及方法 |
| KR102375258B1 (ko) * | 2018-11-15 | 2022-03-17 | 사회복지법인 삼성생명공익재단 | 병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램 |
| US11166645B2 (en) * | 2018-12-18 | 2021-11-09 | Biosense Webster (Israel) Ltd. | Visualizing lesions formed by thermal ablation in a magnetic resonance imaging (MRI) scan |
| TWI681406B (zh) * | 2018-12-20 | 2020-01-01 | 中國醫藥大學附設醫院 | 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品 |
| WO2020124208A1 (en) * | 2018-12-21 | 2020-06-25 | Nova Scotia Health Authority | Systems and methods for generating cancer prediction maps from multiparametric magnetic resonance images using deep learning |
| CA3074064A1 (en) | 2019-03-01 | 2020-09-01 | The Regents Of The University Of California | Systems, methods, and media for automatically segmenting and diagnosing prostate lesions using multi-parametric magnetic resonance imaging data |
| WO2020181098A1 (en) * | 2019-03-05 | 2020-09-10 | Memorial Sloan Kettering Cancer Center | Systems and methods for image classification using visual dictionaries |
| CN110209816B (zh) * | 2019-05-24 | 2021-06-08 | 中国科学院自动化研究所 | 基于对抗模仿学习的事件识别及分类方法、系统、装置 |
| KR102254970B1 (ko) * | 2019-08-07 | 2021-05-21 | 가톨릭대학교 산학협력단 | 전립선암 강조영상 생성 방법 및 장치 |
| CN112545479B (zh) * | 2019-09-26 | 2022-08-16 | 北京赛迈特锐医疗科技有限公司 | 在mpMRI上分割前列腺和精囊分带解剖的系统及方法 |
| US11308611B2 (en) | 2019-10-09 | 2022-04-19 | Siemens Healthcare Gmbh | Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging |
| IT201900020200A1 (it) * | 2019-10-31 | 2021-05-01 | Deeptrace Tech S R L | Metodo per la generazione di modelli per classificare automaticamente in almeno una classe di interesse immagini medicali o veterinarie derivate da immagini originarie |
| CN110782474B (zh) * | 2019-11-04 | 2022-11-15 | 中国人民解放军总医院 | 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 |
| CN111028206A (zh) * | 2019-11-21 | 2020-04-17 | 万达信息股份有限公司 | 一种基于深度学习前列腺癌自动检测和分类系统 |
| US11684333B2 (en) * | 2020-01-03 | 2023-06-27 | National Taiwan University | Medical image analyzing system and method thereof |
| EP3889894A1 (en) * | 2020-04-01 | 2021-10-06 | Siemens Healthcare GmbH | Improved abnormality detection in medical imaging data |
| CN111754530B (zh) * | 2020-07-02 | 2023-11-28 | 广东技术师范大学 | 一种前列腺超声图像分割分类方法 |
| US20220067433A1 (en) * | 2020-08-26 | 2022-03-03 | International Business Machines Corporation | Domain adaptation |
| CN112116025A (zh) * | 2020-09-28 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 用户分类模型的训练方法、装置、电子设备及存储介质 |
| WO2022251451A1 (en) * | 2021-05-27 | 2022-12-01 | The Research Foundation For The State University Of New York | Methods, systems, and program products for manipulating magnetic resonance imaging (mri) images |
| CN113436191B (zh) * | 2021-08-26 | 2021-11-30 | 深圳科亚医疗科技有限公司 | 一种病理图像的分类方法、分类系统及可读介质 |
| CN114037714B (zh) * | 2021-11-02 | 2024-05-24 | 大连理工大学人工智能大连研究院 | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 |
| CN114240839B (zh) * | 2021-11-17 | 2023-04-07 | 东莞市人民医院 | 基于深度学习的膀胱肿瘤肌层侵犯预测方法及相关装置 |
| US11961618B2 (en) | 2021-11-17 | 2024-04-16 | City University Of Hong Kong | Task interaction network for prostate cancer diagnosis |
| EP4325431B1 (en) | 2022-08-15 | 2024-11-06 | Bayer AG | Prostate cancer local staging |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010115885A1 (en) * | 2009-04-03 | 2010-10-14 | Oslo Universitetssykehus Hf | Predictive classifier score for cancer patient outcome |
| US7929739B2 (en) * | 2006-04-17 | 2011-04-19 | Fujifilm Corporation | Image processing method, apparatus, and program |
| US20110255761A1 (en) * | 2007-06-26 | 2011-10-20 | University Of Rochester | Method and system for detecting lung tumors and nodules |
| US20150051484A1 (en) * | 2013-08-14 | 2015-02-19 | Siemens Aktiengesellschaft | Histological Differentiation Grade Prediction of Hepatocellular Carcinoma in Computed Tomography Images |
| CN104408734A (zh) * | 2014-12-11 | 2015-03-11 | 山东师范大学 | 联合图像分割与形变配准技术的自适应目标区域转换方法 |
| CN106296699A (zh) * | 2016-08-16 | 2017-01-04 | 电子科技大学 | 基于深度神经网络和多模态mri图像的脑肿瘤分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009058915A1 (en) * | 2007-10-29 | 2009-05-07 | The Trustees Of The University Of Pennsylvania | Computer assisted diagnosis (cad) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (mrs) and imaging (mri) |
| US10667718B2 (en) | 2015-03-26 | 2020-06-02 | Case Western Reserve University | Quantitative prostate cancer imaging with magnetic resonance fingerprinting (MRF) |
| US10215830B2 (en) * | 2015-12-16 | 2019-02-26 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Automated cancer detection using MRI |
-
2017
- 2017-12-05 US US15/831,819 patent/US10489908B2/en not_active Expired - Fee Related
-
2018
- 2018-02-20 EP EP18157515.0A patent/EP3367331B1/en active Active
- 2018-02-22 CN CN201810153940.2A patent/CN108460809B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7929739B2 (en) * | 2006-04-17 | 2011-04-19 | Fujifilm Corporation | Image processing method, apparatus, and program |
| US20110255761A1 (en) * | 2007-06-26 | 2011-10-20 | University Of Rochester | Method and system for detecting lung tumors and nodules |
| WO2010115885A1 (en) * | 2009-04-03 | 2010-10-14 | Oslo Universitetssykehus Hf | Predictive classifier score for cancer patient outcome |
| US20150051484A1 (en) * | 2013-08-14 | 2015-02-19 | Siemens Aktiengesellschaft | Histological Differentiation Grade Prediction of Hepatocellular Carcinoma in Computed Tomography Images |
| CN104408734A (zh) * | 2014-12-11 | 2015-03-11 | 山东师范大学 | 联合图像分割与形变配准技术的自适应目标区域转换方法 |
| CN106296699A (zh) * | 2016-08-16 | 2017-01-04 | 电子科技大学 | 基于深度神经网络和多模态mri图像的脑肿瘤分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| TOM BROSCH等: "Deep Convolutional Encoder Networks for Multiple Sclerosis Lesion Segmentation", 《18TH INTERVENTION CONFERENCE》 * |
| VIJAY BADRINARAYANAN等: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACGINE INTELLIGENCE》 * |
| YULIAN ZHU等: "MRI Based Prostate Cancer Detection with High-level Representation and Hierarchical Classification", 《MEDICAL PHYSICS》 * |
| 陆惠玲等: "基于特征级融合神经网络的磁共振成像前列腺肿瘤 CAD 模型", 《计算机应用》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110971837A (zh) * | 2018-09-30 | 2020-04-07 | Tcl集团股份有限公司 | 基于ConvNets的暗光图像处理方法及终端设备 |
| CN109559358B (zh) * | 2018-10-22 | 2023-07-04 | 天津大学 | 一种基于卷积自编码的图像样本升采样方法 |
| CN109559358A (zh) * | 2018-10-22 | 2019-04-02 | 天津大学 | 一种基于卷积自编码的图像样本升采样方法 |
| CN111145140B (zh) * | 2018-11-02 | 2023-11-07 | 西门子医疗有限公司 | 使用深度学习确定肺结节的恶性程度 |
| CN111145140A (zh) * | 2018-11-02 | 2020-05-12 | 西门子医疗有限公司 | 使用深度学习确定肺结节的恶性程度 |
| WO2020098360A1 (en) * | 2018-11-15 | 2020-05-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for processing images using cross-stage skip connections |
| CN110009669B (zh) * | 2019-03-22 | 2021-12-10 | 电子科技大学 | 一种基于深度强化学习的3d/2d医学图像配准方法 |
| CN110009669A (zh) * | 2019-03-22 | 2019-07-12 | 电子科技大学 | 一种基于深度强化学习的3d/2d医学图像配准方法 |
| CN110244249A (zh) * | 2019-03-28 | 2019-09-17 | 上海联影医疗科技有限公司 | 磁共振扫描方法、装置、医学扫描设备和存储介质 |
| CN110244249B (zh) * | 2019-03-28 | 2022-08-23 | 上海联影医疗科技股份有限公司 | 磁共振扫描方法、装置、医学扫描设备和存储介质 |
| CN110188792B (zh) * | 2019-04-18 | 2023-09-08 | 万达信息股份有限公司 | 前列腺mri三维图像的图像特征获取方法 |
| CN110188792A (zh) * | 2019-04-18 | 2019-08-30 | 万达信息股份有限公司 | 前列腺mri三维图像的图像特征获取方法 |
| CN110321962A (zh) * | 2019-07-09 | 2019-10-11 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
| CN110321962B (zh) * | 2019-07-09 | 2021-10-08 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
| CN111428848B (zh) * | 2019-09-05 | 2024-02-13 | 中国海洋大学 | 基于自编码器和3阶图卷积的分子智能设计方法 |
| CN111428848A (zh) * | 2019-09-05 | 2020-07-17 | 中国海洋大学 | 基于自编码器和3阶图卷积的分子智能设计方法 |
| CN110916665A (zh) * | 2019-12-11 | 2020-03-27 | 大连医科大学附属第一医院 | 一种基于前列腺癌和前列腺增生的磁共振扩散加权图像影像组学特征处理方法 |
| CN111028223B (zh) * | 2019-12-11 | 2023-11-07 | 大连医科大学附属第一医院 | 一种微卫星不稳定肠癌能谱ct碘水图影像组学特征处理方法 |
| CN110916665B (zh) * | 2019-12-11 | 2023-07-07 | 大连医科大学附属第一医院 | 一种磁共振扩散加权图像影像组学特征处理方法 |
| CN111028223A (zh) * | 2019-12-11 | 2020-04-17 | 大连医科大学附属第一医院 | 一种微卫星不稳定肠癌能谱ct碘水图影像组学特征处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3367331A1 (en) | 2018-08-29 |
| US20180240233A1 (en) | 2018-08-23 |
| EP3367331B1 (en) | 2019-10-09 |
| CN108460809B (zh) | 2023-01-13 |
| US10489908B2 (en) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460809A (zh) | 用于前列腺癌检测和分类的深度卷积编码器-解码器 | |
| US11967072B2 (en) | Three-dimensional object segmentation of medical images localized with object detection | |
| CN110910405B (zh) | 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| CN104424647A (zh) | 用于对医学图像进行配准的方法和设备 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| Turco et al. | Interpretable machine learning for characterization of focal liver lesions by contrast-enhanced ultrasound | |
| WO2020089416A1 (en) | Identifying an interventional device in medical images | |
| Qian et al. | ProCDet: A new method for prostate cancer detection based on MR images | |
| WO2020056196A1 (en) | Fully automated personalized body composition profile | |
| Jin et al. | Automatic cervical cancer segmentation in multimodal magnetic resonance imaging using an EfficientNet encoder in UNet++ architecture | |
| CN116862930B (zh) | 适用于多模态的脑血管分割方法、装置、设备和存储介质 | |
| Lei et al. | Generative adversarial network for image synthesis | |
| Al-Qazzaz | Deep learning-based brain tumour image segmentation and its extension to stroke lesion segmentation | |
| Li et al. | Clinical study of diffusion-weighted imaging in the diagnosis of liver focal lesion | |
| CN113925487B (zh) | 利用磁共振成像的脑微出血检测装置及方法 | |
| Rajive Gandhi et al. | A contrast adaptive histogram equalization with neural learning quantization (CAHE-NLQ) for blood clot detection in brain | |
| Liu et al. | Mutually communicated model based on multi‐parametric MRI for automated segmentation and classification of prostate cancer | |
| Chen et al. | Hybrid Attention Fusion Segmentation Network for Diffuse Large B-cell Lymphoma in PET-CT | |
| Dai et al. | B-mode ultrasound to elastography synthesis using multiscale learning | |
| Jia et al. | Multi-parametric MRIs based assessment of hepatocellular carcinoma differentiation with multi-scale ResNet | |
| Zheng et al. | Dual-attention deep fusion network for multi-modal medical image segmentation | |
| Zhu et al. | multiPI-TransBTS: A Multi-Path Learning Framework for Brain Tumor Image Segmentation Based on Multi-Physical Information | |
| Kumar et al. | Simulating cross‐modal medical images using multi‐task adversarial learning of a deep convolutional neural network | |
| Eichner | Interactive co-registration for multi-modal cancer imaging data based on segmentation masks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240905 Address after: German Phu F Haim Patentee after: Siemens Medical AG Country or region after: Germany Address before: Erlangen, Germany Patentee before: SIEMENS HEALTHCARE GmbH Country or region before: Germany |
|
| TR01 | Transfer of patent right |