CN115797484A - 用于医学图像的基于学习的域变换 - Google Patents

用于医学图像的基于学习的域变换 Download PDF

Info

Publication number
CN115797484A
CN115797484A CN202211099132.5A CN202211099132A CN115797484A CN 115797484 A CN115797484 A CN 115797484A CN 202211099132 A CN202211099132 A CN 202211099132A CN 115797484 A CN115797484 A CN 115797484A
Authority
CN
China
Prior art keywords
medical
image
training
machine learning
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211099132.5A
Other languages
English (en)
Inventor
S·阿布罗尔
B·达斯
V·辛格哈尔
艾米·德乌比格
桑迪普·杜塔
D·格波德
B·辛蒂尼
R·布切尔
P·考夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Zuerich
GE Precision Healthcare LLC
Original Assignee
Universitaet Zuerich
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Zuerich, GE Precision Healthcare LLC filed Critical Universitaet Zuerich
Publication of CN115797484A publication Critical patent/CN115797484A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了促进用于医学图像的基于学习的域变换的系统/技术。在各种实施方案中,系统可以访问医学图像。在各个方面,该医学图像可以根据第一医学扫描域示出解剖结构。在各种情况下,该系统可以经由执行机器学习模型来基于该医学图像生成预测图像。在各个方面,该预测图像可以根据不同于该第一医学扫描域的第二医学扫描域示出该解剖结构。在一些情况下,该第一和第二医学扫描域可以是计算机断层显像(CT)扫描模态的第一和第二能级。在其他情况下,该第一和第二医学扫描域可以是该CT扫描模态的第一和第二对比期。

Description

用于医学图像的基于学习的域变换
技术领域
本公开整体涉及医学图像,并且更具体地涉及用于医学图像的基于学习的域变换。
背景技术
医学成像设备可以捕获患者解剖结构的医学图像,以用于诊断和/或预后的目的。存在各种医学扫描域,医学成像设备可以在其中和/或通过其捕获医学图像。不同的医学扫描域可以针对不同的目的和/或在不同的背景下实施。尽管在一些情况下可以期望在特定医学扫描域中捕获医学图像,但是有时可能出现该特定医学扫描域不可用并且仅能在不同的医学扫描域中捕获医学图像的情况。遗憾的是,没有任何系统和/或技术可以解决这个问题。
因此,可以解决这些技术问题中的一个或多个技术问题的系统和/或技术可能是所期望的。
发明内容
以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素,也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念,作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中,描述了促进用于医学图像的基于学习的域变换的设备、系统、计算机实现的方法、装置和/或计算机程序产品。
根据一个或多个实施方案,提供了一种系统。该系统可以包括可存储计算机可执行部件的计算机可读存储器。该系统还可包括处理器,该处理器能够可操作地耦接至计算机可读存储器并且能够执行存储在计算机可读存储器中的计算机可执行部件。在各种实施方案中,该计算机可执行部件可包括接收器部件。在各种情况下,该接收器部件可以访问医学图像。在各种情况下,该医学图像可以根据第一医学扫描域示出解剖结构。在各个方面,该计算机可执行部件还可包括变换部件。在各种情况下,该变换部件可以经由执行机器学习模型来基于该医学图像生成预测图像。在各种情况下,该预测图像可以根据不同于该第一医学扫描域的第二医学扫描域示出该解剖结构。
根据一个或多个实施方案,上述系统可被实现为计算机实现的方法和/或计算机程序产品。
附图说明
图1示出了根据本文所述的一个或多个实施方案的示例性、非限制性系统的框图,该系统促进用于医学图像的基于学习的域变换。
图2示出了根据本文所述的一个或多个实施方案的包括机器学习模型的示例性、非限制性系统的框图,该系统促进用于医学图像的基于学习的域变换。
图3示出了根据本文所述的一个或多个实施方案的示出如本文所述的机器学习模型可以如何变换医学图像的域的示例性、非限制性框图。
图4示出了根据本文所述的一个或多个实施方案的包括分割模型的示例性、非限制性系统的框图,该系统促进用于医学图像的基于学习的域变换。
图5示出了根据本文所述的一个或多个实施方案的示出如本文所述的分割模型和机器学习模型可以如何变换医学图像的域的示例性、非限制性框图。
图6示出了根据本文所述的一个或多个实施方案的包括降噪部件的示例性、非限制性系统的框图,该系统促进用于医学图像的基于学习的域变换。
图7示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法的流程图,该方法促进用于医学图像的基于学习的域变换。
图8示出了根据本文所述的一个或多个实施方案的包括训练部件的示例性、非限制性系统的框图,该系统促进用于医学图像的基于学习的域变换。
图9示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法的流程图,该方法促进域变换机器学习模型的训练。
图10示出了根据本文所述的一个或多个实施方案的包括执行部件的示例性、非限制性系统的框图,该系统促进用于医学图像的基于学习的域变换。
图11示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法的流程图,该方法促进用于医学图像的基于学习的域变换。
图12示出了可在其中促进本文所述的一个或多个实施方案的示例性、非限制性操作环境的框图。
图13示出了可操作为执行本文所述的各种具体实施的示例性联网环境。
具体实施方式
以下具体实施方式仅仅是示例性,并非旨在限制实施方案和/或实施方案的应用或使用。此外,并不意图受前述“背景技术”或“发明内容”部分或者“具体实施方式”部分中提出的任何明示或暗示信息的约束。
现在参考附图描述一个或多个实施方案,其中相同的附图标号始终用于表示相同的元件。在以下描述中,出于解释的目的,阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而,很明显,在各种情况下,可以在没有这些具体细节的情况下实践一个或多个实施方案。
医学成像设备(例如,计算机断层显像(CT)扫描仪、磁共振成像(MRI)扫描仪、X射线扫描仪、超声扫描仪、正电子发射断层显像(PET)扫描仪)可以捕获和/或生成患者解剖结构的医学图像(例如,CT图像、MRI图像、X射线图像、超声图像、PET图像),以用于诊断和/或预后的目的。
存在各种医学扫描域,医学成像设备可以在其中和/或通过其捕获/生成医学图像。如本领域普通技术人员将理解的,医学扫描域可以是医学成像设备的任何合适的可配置设置、可配置控制和/或可配置参数,它们可以影响和/或以其他方式影响医学图像在采集/生成后在视觉上的外观。作为一个非限制性示例,医学扫描域可以是医学成像设备用来捕获/生成医学图像的特定电能水平(例如,以峰值千伏(kVp)测量,以千电子伏(keV)测量,和/或以毫安(mA)测量)。如本领域普通技术人员将理解的,如果经由低电能水平捕获/生成,则医学图像可以表现出各种视觉特征(例如,特定的Hounsfield单位(HU)强度分布),并且如果经由高电能水平捕获/生成,则医学图像可以表现出不同的视觉特征。作为另一个示例,医学扫描域可以是医学成像设备用来捕获/生成医学图像的特定对比期(例如,非对比期、动脉早期、动脉晚期、肝期、肾源期、静脉期、延迟期)。如上所述,如果使用给定对比期捕获/生成,则医学图像可以表现出各种视觉特征,并且如果使用不同对比期捕获/生成,则医学图像可以表现出不同的视觉特征。
不同的医学扫描域可以针对不同的目的和/或在不同的背景下实施。例如,存在可以自动分析医学图像以便为患者生成诊断和/或预后的各种计算机化诊断技术(例如,肿瘤检测算法、钙评分算法、阻塞检测算法)。特定的计算机化诊断技术可以通过假设医学图像是经由特定的医学扫描域捕获/生成的来发挥功能。因此,如果所假设的医学扫描域与医学成像设备用来捕获/生成医学图像的实际医学扫描域不匹配,则特定计算机化诊断技术可能产生不准确的诊断/预后结果。
尽管在一些情况下可以期望经由某个医学扫描域捕获/生成医学图像,但是有时可能出现某个特定医学扫描域不可用并且仅能在不同的医学扫描域中捕获医学图像的情况。例如,考虑Agatston评分,其为一种用于促进CT图像钙评分的特定自动化技术。在各个方面,可以期望将Agatston评分应用于患者的CT图像,从而可以为患者生成钙评分。需注意,Agatston评分是针对在120kVp处捕获/生成的CT图像定义的。因此,如果患者的CT图像在除120kVp之外的一些能量水平处捕获/生成,则Agatston评分无法可靠地应用于CT图像。然而,120kVp在当前临床实践中可被认为是一个相当高的剂量,并且在120kVp的能量水平处捕获/生成CT图像可以使患者暴露于更高水平的辐射中,这可增加患者患癌的风险。在这种情况下,在较低能量水平(例如,70kVp)处捕获/生成CT图像最有利于患者的即时健康,但是这种CT图像可能表现出更高的噪声水平、更低的视觉质量和/或其他细节损失,进而可能无法通过Agatston评分进行准确分析。此非限制性示例有助于示出在当前临床实践中,一些考虑因素(例如,期望应用于医学图像的计算机化诊断技术的潜在假设)可能倾向于利用一个医学扫描域(例如,120kVp),而其他对立的考虑因素(例如,希望不使患者暴露于更高的辐射水平)可能倾向于利用不同的医学扫描域(例如,70kVp)。
遗憾的是,没有任何系统和/或技术可以解决这个问题。为了继续上述示例,当实施现有技术时,要么在120kVp处捕获/生成患者的CT图像,在这种情况下,患者暴露于危险辐射水平,要么在较低的能级处捕获/生成患者的CT图像,在这种情况下,Agatston评分无法准确地应用于CT图像。换句话说,现有技术无法在允许通过Agatston评分准确地分析所得CT图像的情况下防止患者暴露于更高的辐射水平。
因此,可以解决这些技术问题中的一个或多个技术问题的系统和/或技术可能是所期望的。
本主题创新的各种实施方案可以解决这些技术问题中的一个或多个技术问题。本文所述的一个或多个实施方案包括可以促进用于医学图像的基于学习的域变换的系统、计算机实现的方法、装置和/或计算机程序产品。如上所述,通常可能出现优选和/或期望捕获/生成医学图像的是特定医学扫描结构域的情况,但尽管有这种偏好和/或期望,也可能出现只有不同的医学扫描域可用的情况。作为此技术问题的解决方案,本主题创新的各种实施方案的发明人设计用于医学图像的基于学习的域变换。在各个方面,用于医学图像的基于学习的域变换可以涉及训练机器学习模型以接收经由第一医学扫描域捕获/生成的医学图像作为输入,并根据第二医学扫描域产生该医学图像的一个版本作为输出。换句话说,机器学习模型可以被配置成预测医学图像在最初已经经由第二医学扫描域捕获/生成的情况下会有的样子。因此,假设医学图像经由第二医学扫描域捕获/生成的计算机化诊断技术可以应用于由机器学习模型产生的预测输出,尽管医学图像实际上是通过第一医学扫描域捕获/生成的。
在各种情况下,本主题创新的实施方案可被认为是可以促进用于医学图像的基于学习的域变换的计算机化工具。在各种情况下,本文所述的计算机化工具可以包括接收器部件和/或变换部件。
在各种实施方案中,可以存在根据第一医学扫描域示出患者解剖结构的医学图像。在各个方面,解剖结构可以是患者的任何合适的身体部位和/或其部分,诸如脑、眼、肺、心脏、肾、肠、静脉、动脉、骨、胸和/或腹。在各种情况下,医学图像可以是任何合适类型的医学图像,诸如CT图像、MRI图像、X射线图像、超声图像和/或PET图像。此外,在各种情况下,医学图像可以具有任何合适的格式和/或维数。为了便于解释,本公开将主要将医学图像作为二维像素阵列进行描述。然而,本领域普通技术人员将理解,当医学图像为三维体素阵列时,本文所述的各种实施方案同样适用(例如,三维体素阵列的横截面切片本身可以是二维像素阵列)。
在各种情况下,第一医学扫描域根据需要可以是任何合适的医学扫描域,诸如第一电能水平和/或第一对比期。在各个方面,可以期望将计算机化诊断技术应用于医学图像,其中该计算机化诊断技术假定医学图像经由不同于第一医学扫描域的第二医学扫描域捕获/生成。例如,如果第一医学扫描域是第一电能水平,则第二医学扫描域可以是不同于第一电能水平的第二电能水平。又如,如果第一医学扫描域是第一对比期,则第二医学扫描域可以是不同于第一对比期的第二对比期。在各种情况下,本文所述的计算机化工具可以被配置成将第一医学扫描域平移和/或变换为第二医学扫描域,从而可以应用期望的计算机化诊断技术。
在各种实施方案中,计算机化工具的接收器部件可以电子地接收和/或以其他方式电子地访问医学图像。在各个方面,接收器部件可以从接收器部件电子地访问的任何合适的数据结构(例如,图形数据结构、关系数据结构、混合数据结构)检索医学图像,无论该数据结构是集中的和/或分散的,以及/或者无论该数据结构是接收器部件远程和/或本地的。例如,在一些情况下,接收器部件可以从捕获和/或生成医学图像的医学成像设备(例如,CT扫描仪、MRI扫描仪、X射线扫描仪、超声扫描仪、PET扫描仪)检索医学图像。在任何情况下,接收器部件可以获得和/或访问医学图像,使得计算机化工具的其他部件可以与医学图像电子地交互(例如,读取、写入、操纵)。
在各种实施方案中,计算机化工具的变换部件可以经由执行和/或推断机器学习模型来基于该医学图像电子地生成预测图像。在各个方面,机器学习模型可以被配置成使得预测图像根据第二医学扫描域而非第一医学扫描域示出解剖结构。换句话说,医学图像可以实际上是经由第一医学扫描域产生的,并且机器学习模型可以被配置成预测和/或推断医学图像在其已经相反地根据第二医学扫描域捕获/生成的情况下会有的样子。
在各种情况下,机器学习模型可以表现出任何合适的人工智能架构。作为一个非限制性示例,机器学习模型可以表现出深度学习回归架构。也就是说,机器学习模型可以具有任何合适数量的神经网络层,可以在各个层中具有任何合适数量的神经元(例如,不同的层可以具有不同数量的神经元),可以在各个神经元中具有任何合适类型的激活函数(例如,softmax、s形、双曲线正切、修正线性单元),和/或可以具有任何合适的神经元连接模式(例如,前向连接、跳跃连接、递归连接、循环连接)。在任何情况下,机器学习模型可以表现出任何合适的人工智能架构,使得机器学习模型可以接收在第一医学扫描域中捕获/生成的医学图像作为输入,并且可以产生呈现医学图像在第二医学扫描域中会有的样子的预测图像作为输出。
在各种替代实施方案中,计算机化工具还可包括分割部件。在各个方面,在医学图像上执行机器学习模型之前,分割部件可以经由执行和/或推断预训练的分割模型来电子地识别医学图像中的感兴趣区域。在各种情况下,感兴趣区域可以是医学图像的从诊断和/或预后的角度被认为是和/或被视为感兴趣的任何合适的部分(例如,医学图像的任何合适的像素/体素子集)。例如,感兴趣区域可被认为是医学图像的期望在其上应用计算机化诊断技术的特定部分。例如,在一些情况下,感兴趣区域可以包括在医学图像中示出的解剖结构,并且可以排除医学图像的背景部分。又如,在一些情况下,感兴趣区域可以包括解剖结构的特定部分,并且可以排除解剖结构的其余部分和医学图像的背景部分两者。在任何情况下,一旦分割部件识别出了感兴趣区域,分割部件就可以电子地裁切掉医学图像的不在感兴趣区域内的任何部分。如本领域普通技术人员将理解的,预训练的分割模型可以根据需要表现出任何合适的架构(例如,可以是深度学习分割模型),并且可以经由任何合适的学习范例(例如,监督训练、无监督训练、加强学习)来训练。
尽管分割部件可以被配置成识别感兴趣区域并裁切掉医学图像的不在感兴趣区域内的部分,但本领域普通技术人员将理解,这仅仅是一个非限制性示例。在各种情况下,分割部件可以相反地被配置成识别医学图像中的一个或多个不感兴趣区域并裁切掉该一个或多个不感兴趣区域。在任何情况下,分割部件可以产生医学图像的经裁切的版本,该经裁切的版本包括一个或多个感兴趣区域并且排除一个或多个不感兴趣区域和/或一个或多个背景区域。
在各个方面,在分割部件已经裁切掉医学图像的不在感兴趣区域内的任何部分之后,变换部件可以在经裁切的医学图像上执行机器学习模型,从而使机器学习模型输出经裁切的预测图像。因为经裁切的医学图像可以仅根据第一医学扫描域示出感兴趣区域,所以经裁切的预测图像可以相应地仅根据第二医学扫描域示出感兴趣区域。在各个方面,通过将机器学习模型配置为接收经裁切的医学图像(例如,其含有比完整的医学图像更少的像素/体素)作为输入,并产生经裁切的预测图像(例如,其含有比完整的预测图像更少的像素/体素)作为输出,机器学习模型可被认为聚焦于感兴趣区域的变换,而不会因医学图像的背景部分的变换停滞和/或遭受干扰。在各种情况下,这可以允许机器学习模型实现比原本可能的性能准确度水平更高的性能准确度。
在各种替代实施方案中,计算机化工具还可包括降噪部件。在各个方面,在医学图像上执行预训练的分割模型之前,降噪部件可以电子地评估医学图像的噪声水平。如果降噪部件确定噪声水平未超出任何合适的阈值,则降噪部件可以避免采取进一步的行动。另一方面,如果降噪部件确定噪声水平超出任何合适的阈值,则降噪部件可以电子地将一种或多种降噪技术应用于医学图像。在各种情况下,可以实施任何合适的降噪技术。例如,在一些情况下,降噪部件可以将降噪滤波器应用于医学图像,从而降低医学图像的噪声水平。在其他情况下,降噪部件可以在医学图像上执行预训练的降噪模型,该降噪模型可以被配置成输出医学图像的降噪版本。如本领域普通技术人员将理解的,预训练的降噪模型可以根据需要表现出任何合适的人工智能架构(例如,可以是深度学习模型),并且可以经由任何合适的学习范例(例如,监督训练、无监督训练、加强学习)来训练。
在各个方面,在降噪部件已经将一种或多种降噪技术应用于医学图像之后,分割部件可以裁切掉经降噪的医学图像的背景部分,并且变换部件可以在经降噪和裁切的医学图像上执行机器学习模型,从而产生经降噪和裁切的预测图像。本领域普通技术人员将理解,在一些情况下,可以根据需要切换降噪和分割的应用顺序。也就是说,在各个方面,分割部件可以被配置成裁切掉医学图像的任何背景部分,降噪部件可以被配置成将一种或多种降噪技术应用于经裁切的医学图像,并且变换部件可以被配置成在经裁切和降噪的医学图像上执行机器学习模型。在任何情况下,当实施降噪部件时,可以进一步改进机器学习模型的性能(例如,机器学习模型可不因医学图像中的过多噪声遭受干扰)。
在各种实施方案中,计算机化工具还可包括执行部件。在各个方面,在变换部件已经在医学图像(例如,如上所述,其可以被裁切和/或降噪)上执行机器学习模型以便产生预测图像之后,执行部件可以电子地将计算机化诊断技术应用于预测图像。因此,执行部件可以为患者产生一个或多个诊断和/或预后结果,并且执行部件可以根据需要电子地将此类结果传输到任何合适的计算设备。
为了使机器学习模型促进第一医学扫描域到第二医学扫描域的准确变换,机器学习模型首先需要训练。因此,在各种实施方案中,计算机化工具还可包括训练部件。在各个方面,在执行和/或推断机器学习模型之前,接收器部件可以电子地访问训练数据集,并且训练部件可以根据该训练数据集电子地训练机器学习模型。
更具体地,训练数据集可以包括训练图像集和分别对应于该训练图像集的注释图像集。也就是说,该训练图像集中的每个训练图像可分别对应于该注释图像集中的唯一注释图像。考虑对应于特定注释图像的特定训练图像。在各个方面,特定训练图像可以根据第一医学扫描域示出一个或多个解剖结构。相比之下,特定注释图像可以根据第二医学扫描域示出相同的一个或多个解剖结构。此外,在各种情况下,特定训练图像可以与特定注释图像配准和/或对准。在各个方面,可以任何合适的方式促进这种配准和/或对准。例如,在一些情况下,特定训练图像可以通过模拟、通过扫描物理体模和/或通过双能扫描与特定注释图像共配准。又如,在一些情况下,特定注释图像可以是固定的,并且特定训练图像可以被迭代地扰动(例如,迭代地逆时针和/或顺时针旋转、迭代地向上和/或向下移动、迭代地向左和/或向右移动),直到在特定训练图像与特定注释图像之间实现像素到像素(或体素到体素)配准。再如,在其他情况下,特定训练图像可以是固定的,并且特定注释图像可以被迭代地扰动(例如,迭代地逆时针和/或顺时针旋转、迭代地向上和/或向下移动、迭代地向左和/或向右移动),直到在特定训练图像与特定注释图像之间实现像素到像素(或体素到体素)配准。再如,在一些情况下,可以在特定训练图像和/或特定注释图像上执行预训练的配准模型(例如,深度学习模型),以便确保配准/对准。在任何情况下,特定训练图像和特定注释图像可以被配准和/或对准,使得在特定训练图像中示出的一个或多个解剖结构具有与特定注释图像中示出的一个或多个解剖结构相同的相应坐标。
在分割部件和降噪部件未实施的实施方案中,训练部件可以如下根据训练数据集训练机器学习模型。在各种情况下,机器学习模型的内部参数(例如,权重、偏差)可以随机初始化。在各种情况下,训练部件可以从训练数据集中选择训练图像。在各个方面,训练部件可以将所选训练图像与其相应的注释图像配准/对准,如果这种配准/对准尚未得到促进的话。在各种情况下,训练部件可以将所选训练图像作为输入馈送到机器学习模型。这可以使机器学习模型生成预测图像作为输出,其中该预测图像呈现所选训练图像在其为经由第二医学扫描域而非第一医学扫描域捕获/生成的情况下会有的样子。如果机器学习模型迄今为止没有和/或几乎没有接收训练,则预测图像可能相当不准确。在各种情况下,训练部件可以计算预测图像与对应注释图像之间的误差/损失。因此,训练部件可以基于计算出的误差/损失经由反向传播更新机器学习模型的内部参数。
在各种情况下,训练部件可以针对训练数据集中的每个训练图像重复此程序,从而使机器学习模型的内部参数被迭代地优化以将第一医学扫描域变换为第二医学扫描域。如本领域普通技术人员将理解的,可以实施任何合适的训练批次大小和/或训练时期。
在分割部件实施并且降噪部件未实施的实施方案中,训练部件可以如下根据训练数据集训练机器学习模型。在各种情况下,机器学习模型的内部参数(例如,权重、偏差)可以随机初始化。在各种情况下,训练部件可以从训练数据集中选择训练图像。在各个方面,训练部件可以将所选训练图像与其相应的注释图像配准/对准,如果这种配准/对准尚未得到促进的话。在各种情况下,分割部件可以经由执行分割模型来识别所选训练图像中的感兴趣区域,并且可以识别对应注释图像中的相同感兴趣区域。因此,分割部件可以裁切掉所选训练图像的不在感兴趣区域内的任何部分。类似地,分割部件可以裁切掉对应注释图像的不在感兴趣区域内的任何部分。在各个方面,训练部件可以将经裁切的所选训练图像作为输入馈送到机器学习模型。这可以使机器学习模型生成经裁切的预测图像作为输出,其中该经裁切的预测图像呈现该经裁切的预测图像在其为经由第二医学扫描域而非第一医学扫描域捕获/生成的情况下会有的样子。如果机器学习模型迄今为止没有和/或几乎没有接收训练,则经裁切的预测图像可能相当不准确。在各种情况下,训练部件可以计算经裁切的预测图像与经裁切的对应注释图像之间的误差/损失。因此,训练部件可以基于计算出的误差/损失经由反向传播更新机器学习模型的内部参数。
如上所述,训练部件可以针对训练数据集中的每个训练图像重复此程序,从而使机器学习模型的内部参数被迭代地优化以将第一医学扫描域变换为第二医学扫描域。还如上所述,当基于训练图像的经裁切的版本和注释图像的经裁切的版本训练机器学习模型时,机器学习模型可被认为能够聚焦于感兴趣区域,而不会因背景部分遭受干扰。这种聚焦可以使机器学习模型更快速地被训练和/或实现更高程度的性能准确度。同样,可以实施任何合适的训练批次大小和/或训练时期。
在分割部件和降噪部件均实施的实施方案中,训练部件可以如下根据训练数据集训练机器学习模型。在各种情况下,机器学习模型的内部参数(例如,权重、偏差)可以随机初始化。在各种情况下,训练部件可以从训练数据集中选择训练图像。在各个方面,训练部件可以将所选训练图像与其相应的注释图像配准/对准,如果这种配准/对准尚未得到促进的话。在各种情况下,降噪部件可以评估所选训练图像和对应注释图像的噪声水平。基于该评估,降噪部件可以根据需要将一种或多种降噪技术应用于所选训练图像和对应注释图像两者。在各种情况下,分割部件可以经由执行分割模型来识别经降噪的所选训练图像中的兴趣区域,并且可以识别经降噪的对应注释图像中的相同感兴趣区域。因此,分割部件可以裁切掉经降噪的所选训练图像的不在感兴趣区域内的任何部分。类似地,分割部件可以裁切掉经降噪的对应注释图像的不在感兴趣区域内的任何部分。在各个方面,训练部件可以将经降噪和裁切的所选训练图像作为输入馈送到机器学习模型。这可以使机器学习模型生成经降噪和裁切的预测图像作为输出,其中该经降噪和裁切的预测图像呈现该经降噪和裁切的预测图像在其为经由第二医学扫描域而非第一医学扫描域捕获/生成的情况下会有的样子。如果机器学习模型迄今为止没有和/或几乎没有接收训练,则经降噪和裁切的预测图像可能相当不准确。在各种情况下,训练部件可以计算经降噪和裁切的预测图像与经降噪和裁切的对应注释图像之间的误差/损失。因此,训练部件可以基于计算出的误差/损失经由反向传播更新机器学习模型的内部参数。
如上所述,训练部件可以针对训练数据集中的每个训练图像重复此程序,从而使机器学习模型的内部参数被迭代地优化以将第一医学扫描域变换为第二医学扫描域。还如上所述,当基于训练图像的经降噪和裁切的版本和注释图像的经降噪和裁切版的本训练机器学习模型时,机器学习模型可被认为能够聚焦于感兴趣区域,而不会因背景部分遭受干扰。同样,可以实施任何合适的训练批次大小和/或训练时期。
本领域普通技术人员将理解,当降噪部件与分割部件共同实施时,降噪部件可以在分割部件图像裁切所选训练图像和/或对应注释图像(如上所述)之前和/或在分割部件裁切此类图像之后将一种或多种降噪技术应用于此类图像。也就是说,可以根据需要以任何合适的方式切换降噪和分割的应用顺序。
此外,本领域普通技术人员将理解,在各种实施方案中,训练部件可以实施任何合适的损失、误差和/或目标函数,以促进机器学习模型的训练。在一些情况下,损失、误差和/或目标函数可以基于机器学习模型的操作背景进行定制和/或其他操作。例如,可以基于期望应用于机器学习模型的输出的特定计算机化诊断技术将任何合适的约束添加到和/或以其他方式并入到损失、误差和/或目标函数中。作为一个非限制性示例,假设期望将Agatston评分应用于由机器学习模型在推断期间输出的预测图像。在此类情况下,因为Agatston评分是一种钙评分技术,因此可以期望机器学习模型在示出的钙化区域的医学扫描域移动时具有高度准确性。因此,可以在损失、误差和/或目标函数中将更高的权重分配给此类钙化区域,并且可以将更低的权重分配给非钙化区域,使得机器学习模型的训练偏向于在钙化区域获得较高的准确性。此外,由于Agatston评分的工作原理是将不同的像素/体素分为四个不同的钙化类别,因此可以期望确保机器学习模型将像素/体素变换为符合目标医学扫描域的强度而不改变此类像素/体素的Agatston类别。因此,损失、误差和/或目标函数可以包括当机器学习模型在训练期间导致Agatston类别改变时应用的罚分,以便使机器学习模型偏向于不会导致此类类别改变。本领域普通技术人员将理解,这些仅仅是损失、误差和/或目标函数可以基于将应用于机器学习模型的推断输出的期望诊断技术来定制和/或操纵的方式的非限制性示例。
在各个方面,本文所述的计算机化工具可以电子地接收已经经由输入医学扫描域捕获/生成的医学图像,并且可以电子地在该医学图像上执行机器学习模型,其中该机器学习模型被配置成将该输入医学扫描域平移和/或变换为目标医学扫描域。因此,仍然可以实施仅可应用于经由目标医学扫描域捕获/生成的医学图像的诊断技术。
本主题创新的各种实施方案可以用于使用硬件和/或软件来解决本质上具有高度技术性的问题(例如,以促进用于医学图像的基于学习的域变换),这些问题不是抽象的并且不能作为人类的一组心理行为来执行。此外,执行的过程中的一些过程可以由专用计算机(例如,域变换机器学习模型、预训练的分割模型、预训练的配准模型)执行,以便执行与用于医学图像的基于学习的域变换相关的定义的任务。例如,此类定义的任务可以包括:由操作地耦接至处理器的设备访问医学图像,其中该医学图像根据第一医学扫描域示出解剖结构;以及由该设备并且经由执行机器学习模型来基于该医学图像生成预测图像,其中该预测图像根据不同于该第一医学扫描域的第二医学扫描域示出该解剖结构。此类定义的任务不由人类手动执行。实际上,无论是人脑还是有笔有纸的人都不能电子地接收已经经由给定的医学扫描结构域捕获/生成的医学图像,并且不能电子地在该医学图像上执行机器学习模型以生成预测图像,其中该预测图像可被认为呈现该医学图像在其已经经由不同的医学扫描域捕获/生成的情况下会有的样子。相反,本主题创新的各种实施方案与计算机技术有着内在的、不可分割的联系,不能在计算机环境之外实施(例如,机器学习模型是计算机可执行硬件和/或计算机可执行软件的具体而有形的组合;因此,在医学图像上执行域变换机器学习模型以便移动和/或变换医学图像的医学扫描域的计算机化工具本身是无法在没有计算机的情况下以任何合理的方式实际实施的固有计算机化设备。
此外,本主题创新的各种实施方案可以将本文所述的与医学成像领域相关的各种教导内容集成到实际应用中。如上所述,存在可以在各种不同的背景中实施的各种不同的医学扫描域(例如,高电能与低电能、动脉对比期与延迟对比期)。具体地,通常情况是期望将诊断技术应用于医学图像,并且此类诊断技术假定医学图像经由某个医学扫描域捕获/生成。然而,某个医学扫描域不可用的原因可能有很多(例如,使用高电能和/或高辐射可对患者的健康造成危险)。在这种情况下,医学图像将必须经由一些其他医学扫描域捕获/生成。当使用其他医学扫描域时,现有技术无法准确和/或可靠地将期望的诊断技术应用于医学图像。与此形成鲜明对比的是,本主题创新的各种实施方案可以解决这个问题。具体地,本文所述的计算机化工具可以在医学图像上执行机器学习模型,并且该机器学习模型的输出可以是和/或呈现医学图像在已经通过某一医学扫描域而非其他医学扫描域捕获/生成的情况下会有的样子。因此,期望的诊断技术可以准确和/或可靠地应用于预测图像。换句话说,本文所述的计算机化工具可以将输入的医学图像从一个医学扫描域变换到另一个医学扫描域,使得仅可与该另一医学扫描域结合使用的诊断技术可以应用于该医学图像。因此,本文所述的计算机化工具可被认为是医学成像领域中具体而有形的技术改进,因此显然构成了计算机的有用且实际的应用。
此外,本主题创新的各种实施方案可基于所公开的教导内容来控制真实世界的有形设备。例如,本主题创新的各种实施方案可以电子地在真实世界的医学图像上执行真实世界的域变换机器学习模型,以便生成呈现真实世界的医学图像在不同医学扫描域中会有的样子的真实世界的预测图像。此外,在一些情况下,计算机化工具可以实际地在真实世界的预测图像上执行一个或多个真实世界的诊断技术(例如,Agatston评分),以便产生为真实世界的医疗患者产生真实世界的诊断/预后结果。
应当理解,本文的附图和描述提供了本主题创新的非限制性示例,并且不一定按比例绘制。
图1示出了根据本文所述的一个或多个实施方案的示例性、非限制性系统100的框图,该系统可以促进用于医学图像的基于学习的域变换。如图所示,基于学习的域变换系统102可以经由任何合适的有线和/或无线电子连接与医学图像104电子地集成。
在各种实施方案中,医学图像104可以示出患者(例如,人、动物和/或其他)的解剖结构。在各个方面,解剖结构可以是患者的任何合适的身体部位和/或其部分。例如,解剖结构可以是头、颈、胸、腹、臂、腿、手、脚、脑、眼、耳道、舌、食道、气管、心脏、肺、胃、肠、静脉、动脉、骨和/或其任何其他合适的身体部位和/或部分。在各种情况下,医学图像104可以是由任何合适的医学扫描模态捕获/生成的任何合适类型的医学图像。作为一个非限制性示例,医学图像104可以是由CT扫描仪捕获/生成的CT图像。作为另一个示例,医学图像104可以是由MRI扫描仪捕获/生成的MRI图像。作为再一个示例,医学图像104可以是由X射线扫描仪捕获/生成的X射线图像。作为又一个示例,医学图像104可以是由超声扫描仪捕获/生成的超声图像。作为又一个示例,医学图像104可以是由PET扫描仪捕获/生成的PET图像。
在各种情况下,医学图像104可以具有任何合适的维数。例如,在一些情况下,医学图像104可以是二维像素阵列,其中每个像素表现出Hounsfield单位(HU)强度值。又如,在其他情况下,医学图像104可以是三维体素阵列,其中每个体素表现出HU强度值。为了便于解释,本文公开主要将医学图像104作为二维像素阵列进行描述。然而,本领域普通技术人员将理解,本文的教导内容同样适用于三维体素阵列。实际上,三维体素阵列的二维切片(例如,轴向切片、冠状切片、矢状切片)本身可被认为是二维像素阵列。
在各个方面,医学图像104可以根据第一医学扫描域106示出解剖结构。在各种情况下,第一医学扫描域106可以是捕获/生成医学图像104的医学扫描模态的任何合适的可配置设置、可配置控制和/或可配置参数,其中该可配置设置、可配置控制和/或可配置参数可以影响和/或以其他方式影响医学图像104在捕获/生成后在视觉上的外观。作为一个非限制性示例,第一医学扫描域106可以是医学扫描模态捕获/生成医学图像104所用的电能水平。因此,经由低电能水平(例如,70kVp)捕获/生成医学图像104可以使医学图像104使用给定HU强度分布来示出解剖结构,而经由高电能水平(例如,120kVp)捕获/生成医学图像104可以使医学图像104使用不同的HU强度分布来示出解剖结构。作为另一个非限制性示例,第一医学扫描域106可以是医学扫描模态捕获/生成医学图像104所用的对比期。因此,经由第一对比期(例如,非对比期、动脉早期、动脉晚期、肝期、肾源期、静脉期和/或延迟期中的一者)捕获/生成医学图像104可以使医学图像104使用给定HU强度分布来示出解剖结构,而经由不同的对比期(例如,不同的非对比期、动脉早期、动脉晚期、肝期、肾源期、静脉期和/或延迟期中的一者)来捕获/生成医学图像104可以使医学图像104使用不同的HU强度分布来示出解剖结构。本领域普通技术人员将理解,在一些情况下,第一医学扫描域106可以是电能水平和对比期两者(例如,可以在给定电能水平和给定对比期两者下捕获/生成单个CT图像)。在此类情况下,第一医学扫描域106可被认为是和/或称为能量-对比对。
因此,在各个方面,第一医学扫描域106可以是由医学扫描模态捕获/生成医学图像104所利用的第一电能水平和/或第一对比期。
在各种情况下,可以期望将计算机化诊断技术应用于医学图像104。在各种情况下,计算机化诊断技术可以是被配置成识别医学图像104中的一个或多个病理的任何合适的模型和/或算法。作为一个非限制性示例,计算机化诊断技术可以是肿瘤检测算法。作为另一个示例,计算机化诊断技术可以是遮挡检测算法。作为再一个示例,计算机化诊断技术可以是钙化评分算法,诸如Agatston评分。在任何情况下,计算机化诊断技术可以假设医学图像104由不同于第一医学扫描域106的第二医学扫描域捕获/生成的假设和/或以其他方式依赖于该假设。例如,如果第一医学扫描域106是第一电能水平,则第二医学扫描域可以是不同的电能水平。又如,如果第一医学扫描域106是第一对比期,则第二医学扫描域可以是不同对比期。再如,如果第一医学扫描域106是第一能量-对比对,则第二医学扫描域可以是不同的能量-对比对。因为第一医学扫描域106与由计算机化诊断技术假设的医学扫描域不匹配,所以计算机化诊断技术可能无法可靠地和/或准确地应用于医学图像104。在各种情况下,基于学习的域变换系统102可以解决这个问题。
在各种实施方案中,基于学习的域变换系统102可以包括处理器108(例如,计算机处理单元、微处理器)和可操作地和/或操作地和/或可通信地连接/耦接至处理器108的计算机可读存储器110。计算机可读存储器110可以存储计算机可执行指令,该计算机可执行指令在由处理器108执行时可以使处理器108和/或基于学习的域变换系统102的其他部件(例如,接收器部件112、变换部件114)执行一个或多个动作。在各种实施方案中,计算机可读存储器110可以存储计算机可执行部件(例如,接收器部件112、变换部件114),并且处理器108可以执行计算机可执行部件。
在各种实施方案中,基于学习的域变换系统102可以包括接收器部件112。在各个方面,接收器部件112可以电子地接收和/或以其他方式电子地访问医学图像104。在各种情况下,接收器部件112可以电子地从任何合适的数据结构、数据库和/或计算设备(未示出)检索医学图像104,该医学图像可以由接收器部件112电子地访问。例如,接收器部件112可以电子地从捕获/生成医学图像104的医学扫描模态(例如,CT扫描仪、MRI扫描仪、X射线扫描仪、超声扫描仪、PET扫描仪)检索医学图像104。在任何情况下,接收器部件112可以电子地获得和/或访问医学图像104,使得基于学习的域变换系统102的其他部件可以与医学图像104电子地交互。
在各种实施方案中,基于学习的域变换系统102可以包括变换部件114。在各个方面,变换部件114可以电子地存储、维护、控制和/或以其他方式访问机器学习模型。在各种情况下,机器学习模型可以被配置成将医学图像104的第一医学扫描域106变换、平移、移动和/或以其他方式转化为第二医学扫描域。更具体地,机器学习模型可以被配置成接收医学图像104作为输入并产生预测图像作为输出,其中该预测图像示出与医学图像104相同的解剖结构,但是其中该预测图像根据第二医学扫描域而非根据第一医学扫描域106表现出HU强度分布。换句话说,预测图像可被认为呈现医学图像104在其已经根据第二医学扫描域而非第一医学扫描域106捕获/生成的情况下会有的样子。因此,可以将仅可准确地应用于经由第二医学扫描域捕获/生成的医学图像的计算机化诊断技术准确地应用于预测图像。如此,可以通过计算机化诊断技术分析由医学图像104呈现的医学相关信息,尽管医学图像104是经由与计算机化诊断技术的潜在假设不一致的医学扫描域捕获/生成的。这当然构成了具体而有形的技术改进。
尽管图1中未示出,但在各种实施方案中,基于学习的域变换系统102可以包括执行部件。在各个方面,执行部件可以电子地将计算机化诊断技术应用于由变换部件114的机器学习模型输出的预测图像,从而产生一个或多个诊断/预后结果。在各种情况下,执行部件可以电子地将此类诊断/预后结果传输到任何合适的计算设备。
尽管图1中未明确示出,但基于学习的域变换系统102可以包括分割部件。在各个方面,分割部件可以电子地存储、维护、控制和/或以其他方式访问预训练的分割模型。在各种情况下,预训练的分割模型可以被配置成接收医学图像104作为输入并识别在医学图像104内示出的感兴趣区域作为输出。在一些情况下,感兴趣区域可以是解剖结构。在其他情况下,感兴趣区域可以是解剖结构的特定子部分。在任何情况下,预训练的分割模型可以被配置成识别和/或掩蔽感兴趣区域,并且分割部件可以电子地裁切掉医学图像104的不构成感兴趣区域的任何像素/体素。如此,可以消除和/或删除医学图像104的背景部分,使得仅感兴趣区域保留在医学图像104中。在此类实施方案中,机器学习模型可以被配置成接收医学图像104的经裁切的版本作为输入,并且由机器学习模型输出的预测图像可以具有与医学图像104的经裁切的版本相同的尺寸(例如,相同的像素/体素数量和/或布置)。在各种情况下,通过将机器学习模型配置成在医学图像104的经裁切的版本上操作,机器学习模型可被认为聚焦于感兴趣区域的医学扫描域的移动,而不会因医学图像104的不重要的背景部分遭受干扰。换句话说,在一些情况下,机器学习模型可以在被配置成接收医学图像104的经裁切的版本作为输入时实现更高的性能准确度。
尽管图1中未明确示出,但基于学习的域变换系统102还可包括降噪部件。在各个方面,降噪部件可以电子地估计和/或测量由医学图像104表现出的视觉噪声水平。如果视觉噪声水平未超出任何合适的阈值,则降噪部件可以避免采取进一步的行动。在这种情况下,分割部件可以裁切医学图像104,使得其仅示出感兴趣区域,并且变换部件114可以在医学图像104的经裁切的版本上执行机器学习模型。另一方面,如果视觉噪声水平超出任何合适的阈值,则降噪部件可以电子地将任何合适的降噪技术(例如,降噪滤波器、深度学习降噪模型)应用于医学图像104,以便减少和/或消除医学图像104的视觉噪声。在这样降噪之后,分割部件可以裁切医学图像104的经降噪的版本,使得其仅示出感兴趣区域,并且变换部件114可以在医学图像104的经裁切和降噪的版本上执行机器学习模型。如本领域普通技术人员将理解的,对医学图像104进行降噪的应用可以允许机器学习模型实现更高程度的性能准确度。如本领域普通技术人员将进一步理解的,在一些情况下,降噪部件可以在由分割部件裁切之前将降噪技术应用于医学图像104,并且在其他情况下,分割部件可以在由降噪部件应用降噪技术之前裁切医学图像104。
尽管图1中未明确示出,但基于学习的域变换系统102可以包括训练部件。在各个方面,接收器部件112可以电子地接收和/或访问训练数据集,并且训练部件可以根据训练数据集电子地训练机器学习模型以准确地将第一医学扫描域106移动、转化和/或变换为第二医学扫描域。更具体地,训练数据集可以包括训练图像集和分别对应的注释图像集,该训练图像集中的每个训练图像经由第一医学扫描域106捕获/生成,并且该注释图像集中的每个注释图像经由第二医学扫描域捕获/生成。考虑该训练图像集中的给定训练图像,其中该给定训练图像根据第一医学扫描域106示出一个或多个解剖结构。在这种情况下,在该注释图像集中可以存在对应于该给定训练图像的给定注释图像,其中该给定注释图像示出与该给定训练图像相同的一个或多个解剖结构,但是其中该给定注释图像根据第二医学扫描域而非第一医学扫描域106示出该一个或多个解剖结构。换句话说,该给定注释图像可被认为呈现该给定训练图像在其已经经由第二扫描域捕获/生成的情况下实际会有的样子。在各个方面,训练部件可以将给定训练图像(根据需要由或不由分割组件裁切和/或由或不由降噪部件降噪)输入到机器学习模型。这可以使机器学习模型生成预测输出图像,其中该预测输出图像呈现机器学习模型对于给定训练图像在根据第二医学扫描域捕获/生成的情况下会有的样子的估计。在各种情况下,训练部件可以计算预测输出图像与给定注释图像之间的误差/损失,并且训练部件可以基于该误差/损失来更新(例如,经由反向传播)机器学习模型的内部参数。在各种情况下,训练部件可以针对训练图像集中的每个训练图像重复该程序,最终结果是机器学习模型的内部参数得到优化。换句话说,这种训练可以使机器学习模型学习如何准确地将第一医学扫描域106变换和/或转化为第二医学扫描域。本领域普通技术人员将理解,可以根据需要实施任何合适的批次尺寸、任何合适数量的时期和/或任何合适的误差/损失函数。
图2示出了根据本文所述的一个或多个实施方案的包括机器学习模型的示例性、非限制性系统200的框图,该系统可以促进用于医学图像的基于学习的域变换。如图所示,在一些情况下,系统200可以包括与系统100相同的部件,并且还可包括机器学习模型202和预测图像204。
在各种实施方案中,变换部件114可以电子地存储、电子地维护、电子地操作和/或以其他方式电子地访问机器学习模型202。在各个方面,机器学习模型202可以表现出任何合适的人工智能架构。作为一个非限制性示例,机器学习模型202可以是深度学习回归模型,其包括任何合适数量的神经网络层,其在各个层中包括任何合适数量的神经元(例如,不同的层可以具有不同数量的神经元),其在各个神经元中包括任何合适的激活函数(例如,softmax、s形、双曲线切线、修正线性单元),和/或其包括任何合适的互神经元连接模式(例如,前向连接、跳跃连接、递归连接)。在任何情况下,变换部件114可以电子地在医学图像104上执行机器学习模型202,从而产生预测图像204。换句话说,机器学习模型202可以被配置成接收医学图像104作为输入并产生预测图像204作为输出。例如,如果机器学习模型202是深度学习回归模型,则医学图像104可以通过机器学习模型202的输入层、一个或多个隐藏层和输出层完成前向传播,由输出层生成的结果是预测图像204。
如上所述,医学图像104可以根据第一医学扫描域106示出患者的解剖结构。在各个方面,预测图像204可以示出该患者的同一解剖结构,但是预测图像204可以根据第二医学扫描域206这样做,其中第二医学扫描域206不同第一医学扫描域106。例如,如果第一医学扫描域106是特定的电能水平(例如,70kVp),则第二医学扫描域206可以是不同的电能水平(例如,120kVp)。又如,如果第一医学扫描域106是特定对比期(例如,非对比期、动脉早期、动脉晚期、肝期、肾源期、静脉期和/或延迟期中的一者),则第二医学扫描域206可以是不同的对比期(例如,不同的非对比期、动脉早期、动脉晚期、肝期、肾源期、静脉期和/或延迟期中的一者)。再如,如果第一医学扫描域106是特定能量-对比对(例如,在动脉晚期对比期期间在70kVp处捕获/生成的CT图像),则第二医学扫描域206可以是不同的能量-对比对(例如,显示为在非对比期期间在120kVp处捕获/生成的CT图像)。
换句话说,医学图像104可以表现出在视觉上类似于患者的解剖结构并且与第一医学扫描域106一致和/或以其他方式由该第一医学扫描域确定的HU强度分布,而预测图像204可以表现出在视觉上类似于同一患者的同一解剖结构但相反地与第二医学扫描域206一致和/或以其他方式由该第二医学扫描域确定的HU强度分布。再换句话说,预测图像204可被认为示出和/或以其他方式呈现医学图像104在医学图像104已经经由第二医学扫描域206而非第一医学扫描域106捕获/生成的情况下在视觉上会有的外观和/或样子。
本领域普通技术人员将理解,在各个方面,预测图像204可以具有与医学图像104相同的格式。例如,如果医学图像104是经由第一医学扫描域106捕获/生成的CT图像,则预测图像204同样可以显示为CT图像,但是是经由第二医学扫描域206而非第一医学扫描域106捕获/生成的CT图像。又如,如果医学图像104是经由第一医学扫描域106捕获/生成的X射线图像,则预测图像204同样可以显示为X射线图像,但是是经由第二医学扫描域206而非第一医学扫描域106捕获/生成的X射线图像。再如,如果医学图像104是经由第一医学扫描域106捕获/生成的MRI图像,则预测图像204同样可以显示为MRI图像,但是是经由第二医学扫描域206而非第一医学扫描域106捕获/生成的MRI图像。还如,如果医学图像104是经由第一医学扫描域106捕获/生成的超声图像,则预测图像204同样可以显示为超声图像,但是是经由第二医学扫描域206而非第一医学扫描域106捕获/生成的超声图像。还如,如果医学图像104是经由第一医学扫描域106捕获/生成的PET图像,则预测图像204同样可以显示为PET图像,但是是经由第二医学扫描域206而非第一医学扫描域106捕获/生成的PET图像。
本领域普通技术人员将进一步理解,在各个方面,预测图像204可以具有与医学图像104相同的维数。例如,如果医学图像104是二维像素阵列,则预测图像204同样可以是二维像素阵列(例如,预测图像204可以具有与医学图像104相同的像素数量和/或布置)。又如,如果医学图像104是三维体素阵列,则预测图像204同样可以是三维体素阵列(例如,预测图像204可以具有与医学图像104相同的体素数量和/或布置)。
图3示出了根据本文所述的一个或多个实施方案的示出机器学习模型202可以如何变换医学图像104的域的示例性、非限制性框图300。
在图3所示的非限制性示例中,医学图像104可以是示出患者胸腔和心脏的轴向CT图像,该图像在70kVp的电能水平处捕获/生成。也就是说,在该非限制性示例中,第一医学扫描域106可以是70kVp的电能水平。本领域普通技术人员将认识到,如图3所示,医学图像104的HU强度分布的样子和/或外观与70kVp的电能水平一致。
在各个方面,可以期望估算和/或估计医学图像104在其已经相反地在120kVp处捕获/生成的情况下会有的样子。因此,机器学习模型202可以被配置和/或训练(如下文相对于图8-图9更详细地描述)成将在70kVp处拍摄的CT扫描图像变换和/或转化成在120kVp处拍摄的CT扫描图像。因此,在各种情况下,变换部件114可以将医学图像104馈送到机器学习模型202作为输入,并且机器学习模型202可以产生预测图像204作为输出。如图3所示,预测图像204可以直观地示出与医学图像104相同的患者胸腔和心脏的轴向视图,但是预测的图像204可以看起来和/或显示为在120kVp的电能水平而非70kVp的电能水平处捕获/生成的。也就是说,在该非限制性示例中,第二医学扫描域206可以是120kVp的电能水平。换句话说,图3中所示的预测图像204可以被认为呈现示出患者胸腔和心脏的医学图像104在医学图像104最初已经在120kVp处捕获/生成的情况下会有的样子。本领域普通技术人员将认识到,如图3所示,预测图像204的HU强度分布的样子和/或外观与120kVp的电能水平一致。
在当前临床实践中,在70kVp处捕获/生成的CT图像可被认为是低功率和/或低剂量CT扫描,而在120kVp处捕获/生成的CT图像可被认为是高功率和/或高剂量CT扫描。将患者暴露于低功率和/或低剂量CT扫描,从患者健康的角度来看可能是更安全的(例如,更少地暴露于致癌的辐射),但是从诊断/预后的角度来看可能不是最佳的(例如,低功率和/或低剂量CT扫描可以表现出视觉质量下降;优选/期望的诊断技术无法可靠地应用于低功率和/或低剂量CT扫描)。另一方面,将患者暴露于高功率和/或高剂量CT扫描,从诊断/预后的角度来看可能是期望的(例如,高功率和/或高剂量CT扫描可以表现出视觉质量提高;优选/期望的诊断技术可以可靠地应用于高功率和/或高剂量CT扫描),但是从患者健康的角度来看可能不是最佳的(例如,更多地暴露于致癌的辐射)。临床实践中的现有技术无法解决这种冲突。
另一方面,主题创新的各种实施方案可以解决这个问题。具体地,可以从患者捕获/生成低功率/低剂量CT扫描(例如,医学图像104),并且可以将该低功率/低剂量CT扫描作为输入馈送到机器学习模型202。这可以使机器学习模型202产生图像(例如,预测图像204)作为输出,该图像估计和/或呈现该低功率/低剂量CT扫描在其最初已经相反地捕获/生成为高功率/高剂量CT扫描的情况下会有的样子。如此,患者不会暴露于过高量的辐射,但最终仍会获得估计和/或估算患者的高功率/高剂量CT扫描的图像,以用于诊断和/或预后的目的。这当然清楚地构成了医学成像领域中的具体而有形的技术改进。
本领域普通技术人员将理解,图3示出了仅一个非限制性示例,其中机器学习模型202被配置和/或训练成将CT图像从70kVp的电能水平变换和/或转化为120kVp的电能水平。在各种其他实施方案中,机器学习模型202可被配置和/或训练成将CT图像从任何电能水平变换和/或转化为任何其他电能水平。在再一些其他实施方案中,机器学习模型202可被配置和/或训练成将CT图像从任何对比期变换和/或转化为任何其他对比期。在又一些其他实施方案中,机器学习模型202可以被配置和/或训练成将CT图像从任何能量-对比对变换和/或转化为任何其他能量-对比对。也就是说,本领域普通技术人员将理解,机器学习模型202可以根据需要被配置和/或训练成将CT图像从任何合适的CT扫描域变换和/或转化为任何其他合适的CT扫描域。此外,在各个方面,本领域普通技术人员将理解,机器学习模型202可以被配置成在任何其他合适类型的医学图像(例如,MRI、X射线、PET、超声)上操作,而不仅仅是CT图像。
图4示出了根据本文所述的一个或多个实施方案的包括分割模型的示例性、非限制性系统400的框图,该系统可以促进用于医学图像的基于学习的域变换。如图所示,在一些情况下,系统400可以包括与系统200相同的部件,并且还可包括分割部件402。
在各种实施方案中,分割部件402可以电子地存储、电子地维护、电子地操作和/或以其他方式电子地访问分割模型404。在各种情况下,分割部件402可以电子地在医学图像104上执行分割模型404,这可以使分割模型404识别在医学图像104内示出的感兴趣区域406。在各种情况下,感兴趣区域406可以是医学图像104的被视为和/或被认为是对诊断/预后具有重要的医学意义任何合适的部分(例如,任何合适的像素/体素子集)。例如,感兴趣区域406可以包括在医学图像104中示出的解剖结构,并且可以排除医学图像104的背景部分。又如,感兴趣区域406可以包括在医学图像104中示出的解剖结构的一部分,并且可以排除解剖结构的其余部分和医学图像104的背景部分。在各个方面,分割模型404可以表现出任何合适的人工智能架构。例如,分割模型404可以是深度学习分割模型(例如,包括任何合适数量的层、各个层中的任何合适数量的神经元、任何合适的激活功能和/或任何合适的连接模式)。此外,在各种情况下,分割模型404可以经由任何合适的训练范例(例如,监督学习、无监督学习、加强学习)被训练成识别感兴趣区域406。
在各个方面,一旦分割模型404识别出了医学图像104内的感兴趣区域406,分割部件402就可以电子地裁切医学图像104,使得医学图像104现在仅含有感兴趣区域406并且不再含有背景部分和/或不感兴趣区域。换句话说,分割部件402可以消除和/或删除医学图像104的不构成感兴趣区域406的任何像素/体素,并且分割部件402可以避免消除/删除医学图像104的构成感兴趣区域406的任何像素/体素。在任何情况下,分割部件402可以使医学图像104仅和/或基本上仅示出感兴趣区域406。因此,变换部件114可以在感兴趣区域406上(例如,在医学图像104的经裁切的版本上)执行机器学习模型202,从而产生预测图像204。本领域普通技术人员将理解,在此类情况下,预测图像204可以具有与感兴趣区域406相同的维数(例如,可以具有与医学图像104的经裁切的版本相同的像素/体素数量和/或布置)。
图5示出了根据本文所述的一个或多个实施方案的示出如本文所述的分割模型404和机器学习模型202可以如何变换医学图像104的域的示例性、非限制性框图500。
如图5的非限制性示例中所示,医学图像104可以是示出患者胸腔和心脏的轴向CT图像,该图像在70kVp的电能水平处捕获/生成。也就是说,图5的医学图像104可以与图3的医学图像104相同。在各个方面,分割部件402可以在医学图像104上执行分割模型404,从而使分割模型404识别医学图像104内的感兴趣区域406。此外,分割部件402可以裁切掉医学图像104的背景部分,使得仅感兴趣区域406保留在医学图像104的经裁切的版本中。如图5所示,在该非限制性示例中,感兴趣区域406可以包括在医学图像104中示出的心脏,并且可以排除在医学图像104中的围绕心脏示出的周围的胸腔(例如,肋骨和椎骨)。
需注意,在这一点上,感兴趣区域406(例如,医学图像104的经裁切的版本)仍然可以表现出对应于70kVp的电能水平的HU强度分布。因此,在各种实方案中,变换部件114可以在感兴趣区域406上(例如,在医学图像104的经裁切的版本上)执行机器学习模型202,从而使机器学习模型202输出预测图像204。如图所示,在各种情况下,预测图像204可以示出与感兴趣区域406(例如,与医学图像104的经裁切的版本)相同的心脏的视图,但是预测图像204可以看起来和/或显示为在120kVp而非70kVp的电能水平处捕获/生成的。本领域普通技术人员将理解,在此类情况下,预测图像204可以具有与感兴趣区域406(例如,与医学图像104的经裁切的版本)而非完整的医学图像104相同的维数。此外,本领域普通技术人员将理解,通过将机器学习模型202配置成在感兴趣区域406上(例如,在医学图像104的经裁切的版本上)而非在整个医学图像104上操作/执行,机器学习模型202可以避免因医学图像104的背景部分减慢和/或遭受干扰。也就是说,当实施由分割部件402进行的裁切时,机器学习模型202可以实现更好的性能。
图6示出了根据本文所述的一个或多个实施方案的包括降噪部件的示例性、非限制性系统600的框图,该系统可以促进用于医学图像的基于学习的域变换。如图所示,在一些情况下,系统600可以包括与系统400相同的部件,并且还可包括降噪部件602。
在各种实施方案中,在执行机器学习模型202之前,降噪部件602可以电子地将一种或多种降噪技术应用于医学图像104。更具体地,在各个方面,降噪部件602可以电子地测量和/或以其他方式电子地确定由医学图像104表现出的噪声水平。如果噪声水平小于任何合适的阈值,则降噪部件602可以避免采取进一步的行动。在这种情况下,分割部件402可以识别医学图像104中的感兴趣区域406,并且可以相应地裁切医学图像104,并且变换部件114可以在感兴趣区域406上(例如,在医学图像104的经裁切的版本上)执行机器学习模型202。另一方面,如果噪声水平大于任何合适的阈值,则降噪部件602可以将一种或多种降噪技术应用于医学图像104,从而降低医学图像104的噪声水平。在这种情况下,分割部件402可以识别医学图像104的经降噪的版本中的感兴趣区域406,并且可以相应地裁切医学图像104的经降噪的版本,并且变换部件114可以在感兴趣区域406上(例如,在医学图像104的经降噪和裁切的版本上)执行机器学习模型202。
本领域普通技术人员将理解,降噪部件602可以根据需要实施任何合适的降噪技术(例如,降噪滤波器、深度学习降噪模型)。本领域普通技术人员将进一步理解,在一些实施方案中,降噪部件602可以在分割部件402裁切医学图像104之后应用一种或多种降噪技术。也就是说,降噪部件602可以评估医学图像104的经裁切的版本的噪声水平,并且相应地将一种或多种降噪技术应用于医学图像104的经裁切的版本。在任何情况下,降噪部件602可以确保在执行机器学习模型202之前,医学图像104(例如,医学图像104的经裁切的版本)不表现出过多的噪声。这可以允许机器学习模型202在执行时实现更高的性能准确度。
图7示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法700的流程图,该方法可以促进用于医学图像的基于学习的域变换。在各种情况下,基于学习的域变换系统102可以促进计算机实现的方法700。
在各种实施方案中,动作702可以包括由操作地耦接至处理器的设备(例如,112)接收具有对应于第一医学扫描域(例如,106)的强度分布的医学图像(例如,104)。例如,第一医学扫描域可以是低电能水平和/或特定对比期(例如,动脉对比期)。
在各个方面,动作704可以包括由设备(例如,602)确定医学图像的噪声水平是否超出阈值。如果是,则计算机实现的方法700可行进到动作706。如果否,则计算机实现的方法700可行进到动作708。
在各种情况下,动作706可以包括由设备(例如,602)将降噪技术应用于医学图像。这可以确保医学图像不会表现出过多的噪声,否则可能会混淆下游的分析。
在各种情况下,动作708可以包括由设备(例如,402)在医学图像上执行分割模型(例如,404),从而识别医学图像内的感兴趣区域(例如,406)。
在各个方面,动作710可以包括由设备(例如,402)裁切掉医学图像的在感兴趣区域之外的部分。这可以确保医学图像不再包括不重要的部分,否则可能会混淆下游的分析。
在各种情况下,动作712可以包括由设备(例如,114)在医学图像上执行域变换模型(例如,202),从而产生具有对应于第二医学扫描域(例如,206)的强度分布的预测图像(例如,204)。例如,如果第一医学扫描域是低电能水平(例如,70kVp),则第二医学扫描域可以是高电能水平(例如,120kVp)。又如,如果第一医学扫描域是特定对比期(例如,动脉期),则第二医学扫描域可以是不同的对比期(例如,肝期)。
在各个方面,图1-图7和相关文本可被认为描述机器学习模型202如何在推断期间发挥功能。然而,在机器学习模型202可以被部署和/或推断之前,机器学习模型202应进行训练。这种训练相对于图8-图9进行描述。
图8示出了根据本文所述的一个或多个实施方案的包括训练部件的示例性、非限制性系统800的框图,该系统可以促进用于医学图像的基于学习的域变换。如图所示,在一些情况下,系统800可以包括与系统600相同的部件,并且还可包括训练部件802和训练数据集804。
在各种实施方案中,接收器部件112可以电子地从任何合适的数据库、数据结构和/或计算设备(未示出)接收、检索和/或访问训练数据集804。在各个方面,训练部件802可以利用训练数据集804来训练机器学习模型202,以准确地将第一医学扫描域106变换/转化为第二医学扫描域206,如下文更充分地描述。
在各种情况下,训练数据集804可以包括训练图像集806和注释图像集808。在各个方面,训练图像集806可以包括任何合适数量的训练图像。例如,训练图像集806可以包括n个训练图像(n为任何合适的正整数)(例如,训练图像1至训练图像n)。在各种情况下,注释图像集808可以分别对应于训练图像集806。也就是说,如果训练图像集806具有n个训练图像,则注释图像集808可以具有n个注释图像(例如,注释图像1至注释图像n)。换句话说,每个训练图像可以存在一个独特的注释图像。例如,在各种情况下,训练图像集806可以包括训练图像1,并且注释图像集808同样可以包括对应于训练图像1的注释图像1。此外,训练图像集806可以包括训练图像n,并且注释图像集808同样可以包括对应于训练图像n的注释图像n。在各种情况下,训练图像806中的每个训练图像都可以具有与医学图像104相同的格式和/或维数。此外,训练图像806中的每个训练图像都可以根据第一医学扫描域106捕获/生成。与此形成鲜明对比的是,注释图像集808中的每个注释图像都可以是已经根据第二医学扫描域206捕获/生成的。
更具体地,考虑训练图像1和注释图像1。在各个方面,训练图像1可以根据第一医学扫描域106示出一个或多个特定解剖结构。在各种情况下,注释图像1可以示出与训练图像1相同的一个或多个特定解剖结构,但是注释图像1可以根据第二医学扫描域206这样做。换句话说,训练图像1可以是经由第一医学扫描域106捕获/生成的医学扫描,并且注释图像1可以是已知的地面真实图像,该地面真实图像呈现训练图像1在已经经由第二医学扫描域206捕获/生成的情况下应有的样子和/或在视觉上应有的外观。类似地,考虑训练图像n和注释图像n。在各个方面,训练图像n可以根据第一医学扫描域106示出某一个或多个解剖结构。在各种情况下,注释图像n可以示出与训练图像n相同的某一个或多个特定解剖结构,但是注释图像n可以根据第二医学扫描域206这样做。换句话说,训练图像n可以是经由第一医学扫描域106捕获/生成的医学扫描,并且注释图像n可以是已知的地面真实图像,该地面真实图像呈现训练图像n在已经经由第二医学扫描域206捕获/生成的情况下应有的样子和/或在视觉上应有的外观。
在各个方面,训练图像集806中的每个训练图像可以分别与注释图像集808中的对应注释图像的配准/对准。也就是说,训练图像1可以像素到像素(和/或体素到体素)的方式与注释图像1配准和/或对准,并且训练图像n可以像素到像素(和/或体素到体素)的方式与注释图像n配准和/或对准。在一些情况下,可以在捕获/生成训练数据集804时(例如,经由双能扫描模态)促进这种配准/对准。在其他情况下,训练部件802可以促进这种配准/对准。例如,训练部件802可以迭代地扰动(例如,旋转和/或平移)训练图像1和/或注释图像1,直到在训练图像1与注释图像1之间实现逐像素(逐体素)对准。类似地,训练部件802可以迭代地扰动(例如,旋转和/或平移)训练图像n和/或注释图像n,直到在训练图像n与注释图像n之间实现逐像素(逐体素)对准。又如,训练部件802可以实施预训练的配准/对准模型(例如,深度学习模型)以促进这种配准/对准。
在分割部件402和降噪部件602未实施的实施方案中,训练部件802可以如下训练机器学习模型202。机器学习模型202的内部参数(例如,权重、偏差)可以任何合适的方式初始化(例如,随机初始化)。在各种情况下,训练部件802可以从训练图像集806中选择训练图像,并且训练部件802还可以从注释图像集808中选择对应于所选训练图像的注释图像(例如,注释图像1对应于训练图像1)。在各种情况下,变换部件114可以将所选训练图像馈送到机器学习模型202。所选训练图像可以通过机器学习模型202完成前向传播,这可以使机器学习模型202基于所选训练图像输出预测图像(例如,该预测图像可以具有与所选训练图像相同的像素/体素数量和/或布置)。在各个方面,预测图像可被认为呈现机器学习模型202如何认定所选训练图像在其已经经由第二医学扫描域206捕获/生成的情况下会有的样子。另一方面,所选注释图像可以呈现所选训练图像在经由第二医学扫描域206捕获/生成时实际已知的样子。因此,训练部件802可以计算预测图像与所选注释图像之间的误差/损失。在各种情况下,可以实施任何合适的误差/损失函数(例如,可以根据需要利用任何合适的权重和/或约束)。因此,训练部件802可以基于计算出的误差/损失经由反向传播更新机器学习模型202的内部参数。在各种情况下,训练部件802可以针对训练图像集806中的每个训练图像重复该程序,最终结果是机器学习模型202的内部参数得到优化。如本领域普通技术人员将理解的,训练部件802可以实施任何其他合适的训练批次大小和/或任何合适数量的训练期。
在分割部件402实施但降噪部件602未实施的实施方案中,训练部件802可以如下训练机器学习模型202。机器学习模型202的内部参数可以任何合适的方式初始化。在各种情况下,训练部件802可以从训练图像集806中选择训练图像,并且训练部件802还可以从注释图像集808中选择对应于所选训练图像的注释图像。在各种情况下,分割部件402可以在所选训练图像和/或所选注释图像上执行分割模型404。这可以使分割模型404识别所选训练图像中的感兴趣区域,并识别所选注释图像中的相同感兴趣区域。因此,分割部件402可以裁切掉所选训练图像中的任何不在感兴趣区域内的像素/体素。同样,分割部件402可以裁切掉所选注释图像中的任何不在感兴趣区域内的像素/体素。在各个方面,变换部件114可以将所选训练图像的经裁切的版本馈送到机器学习模型202。所选训练图像的经裁切的版本可以通过机器学习模型202完成前向传播,这可以使机器学习模型202基于所选训练图像的经裁切的版本输出预测图像(例如,该预测图像可以具有与所选训练图像的经裁切的版本相同的像素/体素数量和/或布置)。在各个方面,预测图像可被认为呈现机器学习模型202如何认定所选训练图像的经裁切的版本在其已经经由第二医学扫描域206捕获/生成的情况下会有的样子。另一方面,所选注释图像的经裁切的版本可以呈现所选训练图像的经裁切的版本在经由第二医学扫描域206捕获/生成时实际已知的样子。因此,训练部件802可以计算预测图像与所选注释图像的经裁切的版本之间的误差/损失。在各种情况下,可以实施任何合适的误差/损失函数。因此,训练部件802可以基于计算出的误差/损失经由反向传播更新机器学习模型202的内部参数。在各种情况下,训练部件802可以针对训练图像集806中的每个训练图像重复该程序,最终结果是机器学习模型202的内部参数得到优化。如本领域普通技术人员将理解的,训练部件802可以实施任何其他合适的训练批次大小和/或任何合适数量的训练期。
在分割部件402和降噪部件602实施的实施方案中,训练部件802可以如下训练机器学习模型202。机器学习模型202的内部参数可以任何合适的方式初始化。在各种情况下,训练部件802可以从训练图像集806中选择训练图像,并且训练部件802还可以从注释图像集808中选择对应于所选训练图像的注释图像。在各种情况下,如果所选训练图像的噪声水平超出任何合适的边缘,则降噪部件602可以将降噪技术应用于所选训练图像。类似地,如果所选注释图像的噪声水平超出任何合适的边缘,则降噪部件602可以将降噪技术应用于所选注释图像。在各种情况下,分割部件402可以在所选训练图像的经降噪的版本和/或所选注释图像的经降噪的版本上执行分割模型404。这可以使分割模型404识别所选训练图像的经降噪的版本中的感兴趣区域,并识别所选注释图像的经降噪的版本中的相同感兴趣区域。因此,分割部件402可以裁切掉所选训练图像的经降噪的版本中的任何不在感兴趣区域内的像素/体素。同样,分割部件402可以裁切掉所选注释图像的经降噪的版本中的任何不在感兴趣区域内的像素/体素。在各个方面,变换部件114可以将所选训练图像的经裁切和降噪的版本馈送到机器学习模型202。所选训练图像的经裁切和降噪的版本可以通过机器学习模型202完成前向传播,这可以使机器学习模型202基于所选训练图像的经裁切和降噪的版本输出预测图像(例如,该预测图像可以具有与所选训练图像的经裁切和降噪的版本相同的像素/体素数量和/或布置)。在各个方面,预测图像可被认为呈现机器学习模型202如何认定所选训练图像的经裁切和降噪的版本在其已经经由第二医学扫描域206捕获/生成的情况下会有的样子。另一方面,所选注释图像的经裁切和降噪的版本可以呈现所选训练图像的经裁切和降噪的版本在经由第二医学扫描域206捕获/生成时实际已知的样子。因此,训练部件802可以计算预测图像与所选注释图像的经裁切和降噪的版本之间的误差/损失。在各种情况下,可以实施任何合适的误差/损失函数。因此,训练部件802可以基于计算出的误差/损失经由反向传播更新机器学习模型202的内部参数。在各种情况下,训练部件802可以针对训练图像集806中的每个训练图像重复该程序,最终结果是机器学习模型202的内部参数得到优化。如本领域普通技术人员将理解的,训练部件802可以实施任何其他合适的训练批次大小和/或任何合适数量的训练期。
图9示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法900的流程图,该方法可以促进域变换机器学习模型的训练。在各种情况下,基于学习的域变换系统102可以促进计算机实现的方法900。
在各种实施方案中,动作902可以包括由操作地耦接至处理器的设备(例如,112)访问待训练的机器学习模型(例如,202)。
在各个方面,动作904可以包括由设备(例如,112)接收第一医学扫描域(例如,106)中的训练图像集(例如,806)和第二医学扫描域(例如,206)中的分别对应的注释图像集(例如,808)。
在各种情况下,动作906可以包括由设备(例如,802)确定集合中的所有训练图像是否已经用于训练机器学习模型。如果是,则计算机实现的方法900可以进行到动作920,其中计算机实现的方法900可以结束。如果否,则计算机实现的方法900可行进到动作908。
在各种情况下,动作908可以包括由设备(例如,802)选择尚未用于训练机器学习模型的训练图像。
在各个方面,动作910可以包括由设备(例如,802)将所选训练图像与对应的注释图像配准和/或对准。
在各种情况下,动作912可以包括由设备(例如,402)并且经由执行分割模型(例如,404)来识别所选训练图像中的感兴趣区域和对应注释图像中的感兴趣区域。
在各种情况下,动作914可以包括由设备(例如,402)裁切掉所选训练图像的在感兴趣区域之外的部分和对应注释图像的在感兴趣区域之外的部分。如本领域普通技术人员将理解的,所选训练图像的经裁切的版本和对应注释图像的经裁切的版本可以具有相同的像素/体素数量和/或布置。
在各个方面,动作916可以包括由设备(例如114)将所选训练图像(例如,所选训练图像的经裁切的版本)馈送到机器学习模型,从而产生预测图像。在各种情况下,预测图像可以呈现所选训练图像在第二医学扫描域中会有的样子。
在各种情况下,动作918可以包括由设备(例如,802)基于预测图像与对应注释图像(例如,对应注释图像的经裁切的版本)之间的误差来更新机器学习模型的内部参数。在各种情况下,计算机实现的方法900可行进到动作906。
如图所示,动作906-动作918可以迭代直到所有训练图像都已经用于训练机器学习模型,或以其他方式直到实现任何其他合适的训练终止标准(例如,最大数量的时期、最小量的误差)。
图10示出了根据本文所述的一个或多个实施方案的包括执行部件的示例性、非限制性系统1000的框图,该系统可以促进用于医学图像的基于学习的域变换。如图所示,在一些情况下,系统1000可以包括与系统800相同的部件,并且还可包括执行部件1002。
如上所述,可以期望将计算机化诊断技术(例如,Agatston评分)应用于医学图像104。但是,这种应用可能不是最佳的,因为计算机化诊断技术只能准确/可靠地应用于经由第二医学扫描域206捕获/生成的医学图像。因此,在各种实施方案中,一旦变换部件114已经产生预测图像204,执行部件1002就可以电子地在预测图像204上应用和/或执行计算机化诊断技术。需注意,预测图像204可以含有与医学图像104相同的医学相关实质性信息(例如,可以示出与医学图像104相同的解剖结构),但是预测图像204可以显示为经由第二医学扫描域206而非第一医学扫描域106捕获/生成的。因此,计算机化诊断技术可以可靠地和/或准确地应用于预测图像204,从而为患者产生有医学意义的结果。在各种情况下,执行部件1002可以电子地将此类结果传输到任何合适的计算设备。
图11示出了根据本文所述的一个或多个实施方案的示例性、非限制性计算机实现的方法1100的流程图,该方法可以促进用于医学图像的基于学习的域变换。在各种情况下,基于学习的域变换系统102可以促进计算机实现的方法1100。
在各种实施方案中,动作1102可以包括由操作地耦接至处理器的设备(例如,112)访问医学图像(例如,104)。在各种情况下,该医学图像可以根据第一医学扫描域(例如,106)示出解剖结构。
在各个方面,动作1104可以包括由设备(例如,114)并且经由执行机器学习模型(例如,202)来基于医学图像生成预测图像(例如,204)。在各种情况下,该预测图像可以根据不同于第一医学扫描域的第二医学扫描域(例如,206)示出解剖结构。
尽管图11中未明确示出,但第一医学扫描域可以是计算机断层显像(CT)扫描模态的第一能量水平,并且第二医学扫描域可以是CT扫描模态的不同于第一能量水平的第二能量水平。
尽管图11中未明确示出,但第一医学扫描域可以是计算机断层显像(CT)扫描模态的第一对比期,并且第二医学扫描域可以是CT扫描模态的不同于第一对比期的第二对比期。
尽管图11中未明确示出,但计算机实现的方法1100还可包括:由设备(例如,402)并且经由执行分割模型(例如,404)来识别医学图像中的兴趣区域(例如,406),其中生成预测图像基于在感兴趣区域上执行机器学习模型,并且其中机器学习模型不在医学图像的其余部分上执行。
尽管图11中未明确示出,但计算机实现的方法1100还可包括:由设备(例如,602)在执行机器学习模型之前,将一种或多种降噪技术应用于医学图像。
尽管图11中未明确示出,但计算机实现的方法1100还可包括:由设备(例如,802)在训练医学图像(例如,训练图像1)上训练机器学习模型,其中该训练医学图像根据第一医学扫描域示出一个或多个解剖结构,并且其中该训练医学图像对应于根据第二医学扫描域示出一个或多个解剖结构的目标注释图像(例如,注释图像1)。在各种情况下,计算机实现的方法1100还可包括:在训练之前,由设备(例如,802)将训练医学图像与目标注释图像配准。
本文所述的各种实施方案包含计算机化工具,该计算机化工具可以访问已经经由第一医学扫描域生成/捕获的医学图像,并且可以将医学图像变换和/或转化到不同的医学扫描域。如上所述,医学扫描域可以是医学成像设备/模态的任何合适的可配置设置、可配置控制和/或可配置参数,其中改变/调整该设置、控制和/或参数可以影响医学图像在捕获/生成后在视觉上的样子。作为一个非限制性示例,医学扫描域可以是电能水平(例如,在70kVp处捕获CT图像可被认为是一个医学扫描域,同时在120kVp处捕获CT图像可被认为是另一个医学扫描域)。作为另一个非限制性示例,医学扫描域可以是对比期(例如,在动脉早期捕获CT图像可被认为是一个医学扫描域,同时在肾源期捕获CT图像可被认为是另一医学扫描域)。因此,当实施本主题创新的各种实施方案时,医学图像可以在一个医学扫描域中捕获/生成,并且可以被变换到另一个医学扫描域。当域是电能水平时,这可能特别有用。例如,可在低电能水平(例如,70kVp)处捕获CT图像,使得患者不会暴露于过多的辐射。然后,可以将CT图像实质性地变换和/或转化到高电能水平(例如,120kVp),使得仅可应用于高剂量CT图像的诊断技术(例如,Agatston评分)可用于分析CT图像。因此,本文所述的各种实施方案当然构成医学成像领域中的具体而有形的技术改进。
本领域普通技术人员将认识到,本文所述的教导内容可以应用于各种医学背景(例如,将CT图像从低电能水平变换到高电能水平可用于钙评分和/或放射学);将CT图像从一个对比期变换到另一个对比期可用于组织分类、多期病变表征和/或虚拟非对比期图像的创建)。
本领域的普通技术人员将会理解,本文的公开内容描述了本发明的各种实施方案的非限制性示例。为了便于描述和/或解释,当讨论本发明的各种实施方案时,本文公开内容的各个部分利用术语“每个”。本领域的普通技术人员将会理解,术语“每个”的此类用途为非限制性示例。换句话讲,当本文公开内容提供应用于一些特定计算机化对象和/或部件的“每个”特定计算机化对象和/或部件的描述时,应当理解,这是本发明的各种实施方案的非限制性示例,并且还应当理解,在本发明的各种其他实施方案中,可以是此类描述适用于少于该特定计算机化对象的“每个”特定计算机化对象的情况。
为了有利于本主题创新的各种实施方案的上述机器学习方面中的一些机器学习方面,考虑对人工智能的以下讨论。本文的本创新的各种实施方案可以采用人工智能(AI)来促进本创新的一个或多个特征的自动化。这些部件可以采用各种基于AI的方案来执行本文所公开的各种实施方案/示例。为了提供或有助于本创新的众多确定(例如,确定、探知、推断、计算、预测、预后、估计、导出、预报、检测、计算),本创新的部件可以检查其被授予访问权限的数据的整体或子集,并且可以提供关于或确定来自经由事件和/或数据捕获的一组观察结果的系统和/或环境的状态的推理。例如,可以使用确定来识别特定背景或动作,或者可以生成状态的概率分布。这些确定可以是概率性的;即,对感兴趣状态的概率分布的计算基于对数据和事件的考虑。确定还可以指用于从一组事件和/或数据组成更高级别事件的技术。
这种确定可以导致从一组观察的事件和/或存储的事件数据构造新的事件或动作,无论事件是否在时间上紧密相关,以及无论事件和数据来自一个还是多个事件和数据源。本文所公开的部件可以结合执行与要求保护的主题相关的自动和/或确定的动作采用各种分类(显式训练的(例如,经由训练数据)以及隐式训练的(例如,经由观察行为、偏好、历史信息、接收外在信息等))方案和/或系统(例如,支持向量机、神经网络、专家系统、贝叶斯信度网络、模糊逻辑、数据融合引擎等)。因此,分类方案和/或系统可以用于自动学习和执行多种功能、动作和/或确定。
分类器可以将输入属性向量z=(z1,z2,z3,z4,zn)映射到输入属于一个类别的置信度,如通过f(z)=置信度(类别)。这种分类可以采用基于概率和/或统计的分析(例如,分析实用程序和费用考虑的因素)来确定要自动执行的动作。支持向量机(SVM)可以是可以使用的分类器的示例。SVM通过在可能输入的空间中找到超表面来操作,其中超表面尝试将触发标准与非触发事件分开。直观地,这使得分类对于测试接近但不同于训练数据的数据是正确的。其他有向和无向模型分类方法包括例如朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型,并且可以采用提供不同独立模式的概率分类模型中的任一种。本文所用的分类还包括用于开发优先级模型的统计回归。
为了为本文所述的各种实施方案提供附加上下文,图12和以下讨论旨在提供可在中实现本文所述的实施方案的各种实施方案的合适计算环境1200的简要一般描述。虽然上文已在可在一个或多个计算机上运行的计算机可执行指令的一般上下文中描述了实施方案,但本领域的技术人员将认识到,这些实施方案也可与其他程序模块结合和/或作为硬件和软件的组合来实现。
通常,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外,本领域的技术人员将会理解,本发明的方法可以用其他计算机系统配置来实践,包括单处理器或多处理器计算机系统、小型计算机、大型计算机、物联网(IoT)设备、分布式计算系统,以及个人计算机、手持计算设备、基于微处理器的或可编程的消费电子产品等,它们中的每一个可操作地耦接至一个或多个相关联的设备。
本文实施方案的所例示的实施方案还可以在分布式计算环境中实践,在该环境中,由通过通信网络链接的远程处理设备执行特定任务。在分布式计算环境中,程序模块可以位于本地和远程存储器存储设备中。
计算设备通常包括各种介质,该各种介质可以包括计算机可读存储介质、机器可读存储介质和/或通信介质,其中在本文中这两个术语的使用彼此不同,如下所述。计算机可读存储介质或机器可读存储介质可以是可由计算机访问的任何可用存储介质,并且包括易失性和非易失性介质、可移动和不可移动介质。以举例的方式而非限制,计算机可读存储介质或机器可读存储介质可以结合用于存储信息诸如计算机可读或机器可读指令、程序模块、结构化数据或非结构化数据的任何方法或技术来实现。
计算机可读存储介质可包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器或其他存储器技术、光盘只读存储器(CDROM)、数字通用盘(DVD)、蓝光盘(BD)或其他光盘存储装置、磁带盒、磁带、磁盘存储器或其他磁存储设备、固态驱动器或其他固态存储设备或可用于存储所需信息的其他有形和/或非暂态介质。就这一点而言,本文中应用于存储装置、存储器或计算机可读介质的术语“有形”或“非暂态”应理解为仅排除传播暂态信号本身作为修饰语,并且不放弃不仅是传播暂态信号本身的所有标准存储装置、存储器或计算机可读介质的权利。
计算机可读存储介质可以由一个或多个本地或远程计算设备访问,例如,通过访问请求、查询或其他数据检索协议,以实现关于由介质存储的信息的各种操作。
通信介质通常在数据信号中包含计算机可读指令、数据结构、程序模块或其他结构化或非结构化数据,该数据信号可以是诸如调制数据信号,例如载波或其他传输机制,并包括任何信息传递或传输介质。术语“调制数据信号”或“信号”是指设置或改变其一个或多个特征以在一个或多个信号中编码信息的信号。以举例的方式而非限制,通信介质包括有线介质,诸如有线网络或直接有线连接,以及无线介质,诸如声学、RF、红外和其他无线介质。
再次参考图12,用于实现本文所述方面的各种实施方案的示例性环境1200包括计算机1202,计算机1202包括处理单元1204、系统存储器1206和系统总线1208。系统总线1208将包括但不限于系统存储器1206的系统部件耦合到处理单元1204。处理单元1204可以是各种可商购获得的处理器中的任何一种处理器。双微处理器和其他多处理器架构也可用作处理单元1204。
系统总线1208可以是可使用多种可商购获得的总线架构中的任一种总线架构进一步互连到存储器总线(具有或不具有存储器控制器)、外围总线和局部总线的若干类型的总线结构中的任一种总线结构。系统存储器1206包括ROM 1210和RAM 1212。基本输入/输出系统(BIOS)可存储在非易失性存储器诸如ROM、可擦除可编程只读存储器(EPROM)、EEPROM中,其中BIOS包含基本例程,该基本例程有助于诸如在启动期间在计算机1202内的元件之间传输信息。RAM 1212还可包括高速RAM,诸如用于高速缓存数据的静态RAM。
计算机1202还包括内部硬盘驱动器(HDD)1214(例如,EIDE、SATA)、一个或多个外部存储设备1216(例如,磁软盘驱动器(FDD)1216、记忆棒或闪存驱动器阅读器、存储卡读卡器等)和驱动器1220,例如诸如固态驱动器、光盘驱动器,其可以从磁盘1222(诸如CD-ROM盘、DVD、BD等)读取或写入。另选地,在涉及固态驱动器的情况下,除非分开,否则将不包括磁盘1222。虽然内部HDD 1214被示出为位于计算机1202内,但内部HDD 1214也可被配置为在合适的基础结构(未示出)中用于外部使用。另外,虽然在环境1200中未示出,但固态驱动器(SSD)可作为HDD 1214的补充或替代使用。HDD 1214、外部存储设备1216和驱动器1220可分别通过HDD接口1224、外部存储接口1226和驱动器接口1228连接到系统总线1208。用于外部驱动具体实施的接口1224可包括通用串行总线(USB)和电气与电子工程师协会(IEEE)1394接口技术中的至少一者或两者。其他外部驱动连接技术在本文所述的实施方案的设想内。
驱动器及其相关联的计算机可读存储介质提供数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机1202,驱动器和存储介质以合适的数字格式容纳任何数据的存储。尽管上文对计算机可读存储介质的描述涉及相应类型的存储设备,但本领域的技术人员应当理解,计算机可读的其他类型的存储介质(无论是目前存在的还是将来开发的)都也可用于示例性操作环境中,并且此外,任何此类存储介质可包含用于执行本文所述的方法的计算机可执行指令。
多个程序模块可存储在驱动器和RAM 1212中,包括操作系统1230、一个或多个应用程序1232、其他程序模块1234和程序数据1236。操作系统、应用程序、模块和/或数据的全部或部分也可被高速缓存在RAM 1212中。本文所述的系统和方法可利用各种可商购获得的操作系统或操作系统的组合来实现。
计算机1202可任选地包括仿真技术。例如,超级管理程序(未示出)或其他中介可仿真用于操作系统1230的硬件环境,并且仿真的硬件可任选地不同于图12所示的硬件。在此类实施方案中,操作系统1230可包括在计算机1202处托管的多个虚拟机(VM)中的一个VM。此外,操作系统1230可为应用程序1232提供运行时环境,诸如Java运行时环境或.NET框架。运行时环境是允许应用程序1232在包括运行时环境的任何操作系统上运行的相符执行环境。类似地,操作系统1230可以支持容器,并且应用程序1232可以采用容器的形式,其是轻质的、独立的、可执行的软件包,该软件包包括例如用于应用程序的代码、运行时、系统工具、系统库和设置。
此外,计算机1202可利用安全模块诸如可信处理模块(TPM)来启用。例如,在TPM的情况下,引导部件在下一次引导部件中散列化,并且在加载下一个引导部件之前等待结果与安全值的匹配。该过程可发生在计算机1202的代码执行栈中的任何层,例如应用于应用程序执行层级或操作系统(OS)内核层级,从而实现任何代码执行层级的安全性。
用户可通过一个或多个有线/无线输入设备(例如,键盘1238、触摸屏1240和指向设备诸如鼠标1242)将命令和信息输入到计算机1202中。其他输入设备(未示出)可包括麦克风、红外(IR)遥控器、射频(RF)遥控器或其他遥控器、操纵杆、虚拟现实控制器和/或虚拟现实头戴式耳机、游戏板、触笔、图像输入设备(例如相机)、手势传感器输入设备、视觉移动传感器输入设备、情绪或面部检测设备、生物识别输入设备(例如指纹或虹膜扫描仪)等。这些和其他输入设备通常通过输入设备接口1244连接到处理单元1204,该输入设备接口可耦接至系统总线1208,但这些和其他输入设备可通过其他接口连接,诸如并行端口、IEEE1394串行端口、游戏端口、USB端口、IR接口、
Figure BDA0003837374920000391
接口等。
监视器1246或其他类型的显示设备也可经由接口(诸如视频适配器1248)连接到系统总线1208。除了监视器1246之外,计算机通常包括其他外围输出设备(未示出),诸如扬声器、打印机等。
计算机1202可使用经由有线和/或无线通信到一个或多个远程计算机(诸如,远程计算机1250)的逻辑连接而在联网环境中操作。远程计算机1250可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他公共网络节点,并且通常包括相对于计算机1202所述的许多或所有元件,但为了简洁起见,仅示出了存储器/存储设备1252。所描绘的逻辑连接包括到局域网(LAN)1254和/或更大网络(例如,广域网(WAN)1256)的有线/无线连接。此类LAN和WAN联网环境常见于办公室和公司中,并且有利于企业范围内的计算机网络,诸如内联网,所有这些网络均可连接到全球通信网络,例如互联网。
当在LAN联网环境中使用时,计算机1202可通过有线和/或无线通信网络接口或适配器1258连接到本地网络1254。适配器1258可促进与LAN1254的有线或无线通信,该LAN还可包括设置在其上的无线接入点(AP),用于在无线模式下与适配器1258通信。
当在WAN联网环境中使用时,计算机1202可包括调制解调器1260或可经由用于通过WAN 1256建立通信的其他装置(诸如通过互联网)连接到WAN 1256上的通信服务器。调制解调器1260(其可为内部或外部的以及有线或无线设备)可经由输入设备接口1244连接到系统总线1208。在联网环境中,相对于计算机1202或其部分示出的程序模块可存储在远程存储器/存储设备1252中。应当理解,所示的网络连接是示例,并且可使用在计算机之间建立通信链路的其他装置。
当在LAN或WAN联网环境中使用时,除了如上所述的外部存储设备1216之外或作为其替代,计算机1202可访问云存储系统或其他基于网络的存储系统,诸如但不限于提供信息存储或处理的一个或多个方面的网络虚拟机。一般来讲,计算机1202与云存储系统之间的连接可例如分别通过适配器1258或调制解调器1260通过LAN 1254或WAN 1256建立。在将计算机1202连接到相关联的云存储系统时,外部存储接口1226可在适配器1258和/或调制解调器1260的帮助下管理由云存储系统提供的存储,如同其他类型的外部存储装置那样。例如,外部存储接口1226可以被配置成提供对云存储源的访问,如同这些源物理地连接到计算机1202一样。
计算机1202可操作为与以无线通信方式可操作地设置的任何无线设备或实体通信,例如打印机、扫描仪、台式计算机和/或便携式计算机、便携式数据助理、通信卫星、与无线可检测标签(例如,自助服务机、书报亭、商店货架等)相关联的任何设备件或位置。这可包括无线保真(Wi-Fi)和
Figure BDA0003837374920000401
无线技术。因此,通信可以是与常规网络一样的预定义结构,或者仅仅是至少两个设备之间的自组织通信。
图13是所公开的主题可以与其交互的样本计算环境1300的示意性框图。样本计算环境1300包括一个或多个客户端1310。客户端1310可以是硬件和/或软件(例如,线程、进程、计算设备)。样本计算环境1300还包括一个或多个服务器1330。服务器1330还可以是硬件和/或软件(例如,线程、进程、计算设备)。例如,服务器1330可以容纳线程以通过采用本文所述的一个或多个实施方案来执行变换。客户端1310和服务器1330之间的一种可能的通信可以是适合于在两个或更多个计算机进程之间传输的数据分组的形式。样本计算环境1300包括可用于促进客户端1310和服务器1330之间的通信的通信框架1350。客户端1310可操作地连接到一个或多个客户端数据存储库1320,该客户端数据存储库可用于存储客户端1310本地的信息。类似地,服务器1330可操作地连接到一个或多个服务器数据存储库1340,该服务器数据存储库可用于存储服务器1330本地的信息。
本发明可以是在集成的任何可能技术细节水平上的系统、方法、装置和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令以用于致使处理器执行本发明的方面的计算机可读存储介质(或多个介质)。计算机可读存储介质可以是有形设备,该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述的任何适当组合。计算机可读存储介质的更具体示例的不完全列表还可包括以下各项:便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构),以及上述项的任何适当组合。如本文所用,计算机可读存储介质不应被理解为是暂态信号本身,诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,穿过光纤电缆的光脉冲)或通过电线传输的电信号。
本文中描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备,或者经由网络(例如,互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每一计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令,并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。用于执行本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据或以一种或多种编程语言(包括面向对象的编程语言,诸如Smalltalk、C++等)和过程编程语言(诸如“C”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行,部分在用户计算机上执行,作为独立软件包执行,部分在用户计算机上并且部分在远程计算机上执行,或完全在远程计算机或服务器上执行。在后一种场景中,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或者可以与外部计算机建立连接(例如,通过使用互联网服务提供商的互联网)。在一些实施方案中,包括例如可编程逻辑电路、现场可编程门阵列(FPGA)、或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路,以便执行本发明的方面。
本文参考根据本发明实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。应当理解,流程图图示和/或框图的每个框,以及流程图图示和/或框图中的框的组合可由计算机可读程序指令来实现。可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器,使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中,其可以引导计算机、可编程数据处理装置、和/或其它设备以特定方式起作用,使得具有存储在其中的指令的计算机可读存储介质包括制品,该制品包括实施在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。也可将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上,以致使一系列操作动作在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程,使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能具体实施的架构、功能性和操作。在这方面,流程图或框图中的每一框可以表示指令的模块、片段或部分,其包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代实施中,框中所指出的功能可不按图中所指出的次序发生。例如,实际上可基本上同时执行连续示出的两个框,或者有时可能以相反顺序执行这些框,具体取决于所涉及的功能性。还将指出,框图和/或流程图图示的每一框以及框图和/或流程图图示中的框的组合可由执行指定功能或动作或者实施专用硬件和计算机指令的组合的基于专用硬件的系统来实施。
尽管上面已经在一个和/或多个计算机上运行的计算机程序产品的计算机可执行指令的一般上下文中描述了本主题,但本领域技术人员将认识到,本公开内容也可以或可以与其他程序模块结合来实现。一般来说,程序模块包括执行特定任务和/或实施特定抽象数据类型的例程、程序、部件、数据结构等。此外,本领域技术人员将了解,可用其它计算机系统配置来实践本发明的计算机实现的方法,所述计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如PDA、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面还可在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。然而,本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中,程序模块可以位于本地和远程存储器存储设备中。
如本申请中所用,术语“部件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机相关的实体。本文中公开的实体可以是硬件、硬件与软件的组合、软件或执行中的软件。例如,部件可以是但不限于是在处理器上运行的程序、处理器、对象、可执行文件、执行线程、程序和/或计算机。借助于说明,在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可以驻留在程序和/或执行线程内,并且部件可位于一台计算机上和/或分布在两台或更多台计算机之间。在另一个示例中,相应部件可以根据其上存储有各种数据结构的各种计算机可读媒体来执行。部件可以经由本地和/或远程程序进行通信,诸如根据具有一个或多个数据分组的信号(例如来自一个部件的数据,所述部件经由信号与本地系统、分布式系统和/或网络(诸如与其它系统的互联网)中的另一部件交互)。作为另一个示例,部件可以是具有由电气或电子电路系统所操作的机械零件提供的特定功能的装置,所述电气或电子电路系统由处理器所执行的软件或固件应用程序操作。在这种情况下,处理器可以在装置的内部或外部,并且可以执行软件或固件应用程序的至少一部分。作为又另一示例,部件可以是通过电子部件而非机械零件来提供特定功能的装置,其中电子部件可包括处理器或用以执行至少部分地赋予电子部件功能性的软件或固件的其他装置。在一方面,部件可例如在云计算系统内经由虚拟机来仿真电子部件。
另外,术语“或”旨在意指包括性的“或”而不是排他性的“或”。也就是说,除非另有指定或从上下文中清楚,否则“X采用A或B”旨在意指任何自然的包括性置换。也就是说,如果X采用A;X采用B;或者X采用A和B两者,则在任何前述情况下都满足“X采用A或B”。此外,除非另有指定或从上下文中清楚是针对单数形式,否则本说明书和附图中使用的冠词“一(a)”和“一(an)”一般应解释为意指“一个或多个”。如本文中所用,利用术语“示例”和/或“示例性”来表示用作示例、实例或说明。为了避免疑问,本文中所公开的主题不受这类示例的限制。另外,本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或有利,也不意指排除本领域普通技术人员已知的等效示例性结构和技术。
如在本说明书中采用的,术语“处理器”可以基本上指任何计算处理单元或设备,包括但不限于单核处理器;具有软件多线程执行能力的单处理器;多核处理器;具有软件多线程执行能力的多核处理器;具有硬件多线程技术的多核处理器;并行平台;以及具有分布式共享存储器的并行平台。另外,处理器可指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑设备(CPLD)、分立栅极或晶体管逻辑、分立硬件部件或其被设计成执行本文中所描述的功能的任何组合。另外,处理器可以利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实施为计算处理单元的组合。在本公开中,术语诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”以及与部件的操作和功能相关的基本上任何其它信息存储部件用以指代“存储器部件”、体现在“存储器”中的实体或包括存储器的部件。应了解,本文中所描述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器,或者可包括易失性存储器和非易失性存储器两者。借助于说明而非限制,非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪存存储器或非易失性随机访问存储器(RAM)(例如铁电RAM(FeRAM))。举例来说,易失性存储器可包括可充当外部高速缓存存储器的RAM。借助于说明而非限制,RAM能以多种形式提供,诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM(RDRAM)。另外,本文中的系统或计算机实现的方法的所公开存储器部件旨在包括但不限于包括这些和任何其它合适类型的存储器。
上文已描述的内容仅包括系统和计算机实现的方法的示例。当然,无法为了描述本公开的目的而描述部件或计算机实现的方法的每种可想到的组合,但本领域的普通技术人员可以认识到,本公开的许多其它组合和置换是可能的。此外,关于在具体实施方式、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度,此类术语旨在以类似于术语“包括”的方式为包括性的,如“包括”在权利要求中被用作过渡词时那样解释。
已经出于说明的目的给出了各种实施方案的描述,但这些描述并不旨在是穷举的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下,许多修改和变型对于本领域的普通技术人员而言将是显而易见的。选择本文使用的术语是以最好地解释实施方案的原理、优于市场上发现的技术的实际应用或技术改进,或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。

Claims (16)

1.一种系统,所述系统包括:
处理器,所述处理器执行存储在计算机可读存储器中的计算机可执行部件,所述计算机可执行部件包括:
接收器部件,所述接收器部件访问医学图像,其中所述医学图像根据第一医学扫描域示出解剖结构;和
变换部件,所述变换部件经由执行机器学习模型来基于所述医学图像生成预测图像,其中所述预测图像根据不同于所述第一医学扫描域的第二医学扫描域示出所述解剖结构。
2.根据权利要求1所述的系统,其中所述第一医学扫描域是计算机断层显像(CT)扫描模态的第一能量水平,并且其中所述第二医学扫描域是所述CT扫描模态的不同于所述第一能量水平的第二能量水平。
3.根据权利要求1所述的系统,其中所述第一医学扫描域是计算机断层显像(CT)扫描模态的第一对比期,并且其中所述第二医学扫描域是所述CT扫描模态的不同于所述第一对比期的第二对比期。
4.根据权利要求1所述的系统,其中所述计算机可执行部件还包括:
分割部件,所述分割部件经由执行分割模型来识别所述医学图像中的感兴趣区域,其中所述变换部件通过在所述感兴趣区域上执行所述机器学习模型来生成所述预测图像,并且其中所述变换部件在所述医学图像的其余部分上不执行所述机器学习模型。
5.根据权利要求1所述的系统,其中所述计算机可执行部件还包括:
降噪部件,所述降噪部件在执行所述机器学习模型之前,将一种或多种降噪技术应用于所述医学图像。
6.根据权利要求1所述的系统,其中所述机器学习模型包括深度学习回归模型。
7.根据权利要求1所述的系统,其中所述计算机可执行部件还包括:
训练部件,所述训练部件在训练医学图像上训练所述机器学习模型,其中所述训练医学图像根据所述第一医学扫描域示出一个或多个解剖结构,并且其中所述训练医学图像对应于根据所述第二医学扫描域示出所述一个或多个解剖结构的目标注释图像。
8.根据权利要求7所述的系统,其中所述训练部件在训练所述机器学习模型之前,将所述训练医学图像与所述目标注释图像配准。
9.一种计算机实现的方法,所述方法包括:
由操作地耦接至处理器的设备访问医学图像,其中所述医学图像根据第一医学扫描域示出解剖结构;以及
由所述设备并且经由执行机器学习模型来基于所述医学图像生成预测图像,其中所述预测图像根据不同于所述第一医学扫描域的第二医学扫描域示出所述解剖结构。
10.根据权利要求9所述的计算机实现的方法,其中所述第一医学扫描域是计算机断层显像(CT)扫描模态的第一能量水平,并且其中所述第二医学扫描域是所述CT扫描模态的不同于所述第一能量水平的第二能量水平。
11.根据权利要求9所述的计算机实现的方法,其中所述第一医学扫描域是计算机断层显像(CT)扫描模态的第一对比期,并且其中所述第二医学扫描域是所述CT扫描模态的不同于所述第一对比期的第二对比期。
12.根据权利要求9所述的计算机实现的方法,所述方法还包括:
由所述设备并且经由执行分割模型来识别所述医学图像中的感兴趣区域,其中所述生成所述预测图像基于在所述感兴趣区域上执行所述机器学习模型,并且其中所述机器学习模型不在所述医学图像的其余部分上执行。
13.根据权利要求9所述的计算机实现的方法,所述方法还包括:
由所述设备在执行所述机器学习模型之前,将一种或多种降噪技术应用于所述医学图像。
14.根据权利要求9所述的计算机实现的方法,其中所述机器学习模型是深度学习回归模型。
15.根据权利要求9所述的计算机实现的方法,所述方法还包括:
由所述设备在训练医学图像上训练所述机器学习模型,其中所述训练医学图像根据所述第一医学扫描域示出一个或多个解剖结构,并且其中所述训练医学图像对应于根据所述第二医学扫描域示出所述一个或多个解剖结构的目标注释图像。
16.根据权利要求15所述的计算机实现的方法,所述方法还包括:
由所述设备在所述训练之前,将所述训练医学图像与所述目标注释图像配准。
CN202211099132.5A 2021-09-09 2022-09-07 用于医学图像的基于学习的域变换 Pending CN115797484A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/470,076 US20230071535A1 (en) 2021-09-09 2021-09-09 Learning-based domain transformation for medical images
US17/470,076 2021-09-09

Publications (1)

Publication Number Publication Date
CN115797484A true CN115797484A (zh) 2023-03-14

Family

ID=83151375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211099132.5A Pending CN115797484A (zh) 2021-09-09 2022-09-07 用于医学图像的基于学习的域变换

Country Status (3)

Country Link
US (1) US20230071535A1 (zh)
EP (1) EP4148679A1 (zh)
CN (1) CN115797484A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892361B2 (en) * 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
US10726546B2 (en) * 2018-04-26 2020-07-28 Siemens Healthcare Gmbh Tissue-to-flow image generation in medical imaging
CN111182219B (zh) * 2020-01-08 2023-04-07 腾讯科技(深圳)有限公司 一种图像处理方法、装置、服务器及存储介质
US20220084173A1 (en) * 2020-09-17 2022-03-17 Arizona Board of Regents on behalf on Arizona State University Systems, methods, and apparatuses for implementing fixed-point image-to-image translation using improved generative adversarial networks (gans)

Also Published As

Publication number Publication date
US20230071535A1 (en) 2023-03-09
EP4148679A1 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
JP7053541B2 (ja) 患者固有の深層学習画像ノイズ除去方法およびシステム
US10762398B2 (en) Modality-agnostic method for medical image representation
US20230018833A1 (en) Generating multimodal training data cohorts tailored to specific clinical machine learning (ml) model inferencing tasks
US10762629B1 (en) Segmenting medical images
Zhou et al. One-stage shape instantiation from a single 2D image to 3D point cloud
US20230013779A1 (en) Self-supervised deblurring
US12097055B2 (en) Optimal scan pattern for medical imaging device
US11992348B2 (en) Machine learning model to adjust C-arm cone-beam computed tomography device trajectories
Oeding et al. A practical guide to the development and deployment of deep learning models for the orthopedic surgeon: part II
La Rosa A deep learning approach to bone segmentation in CT scans
US11948677B2 (en) Hybrid unsupervised and supervised image segmentation model
Kugelman et al. A review of generative adversarial network applications in optical coherence tomography image analysis
US20240104718A1 (en) Machine learning image analysis based on explicit equipment parameters
US20230359927A1 (en) Dynamic user-interface comparison between machine learning output and training data
US11983798B2 (en) AI-based region-of-interest masks for improved data reconstruction
US20230260142A1 (en) Multi-modal image registration via modality-neutral machine learning transformation
EP4148679A1 (en) Learning-based domain transformation for medical images
CN113614788A (zh) 计算机辅助读取和分析的深度强化学习
US20210335481A1 (en) Augmented inspector interface with targeted, context-driven algorithms
CN117651951A (zh) 人工智能实现的偏好学习
US20240203039A1 (en) Interpretable task-specific dimensionality reduction
US12100170B2 (en) Multi-layer image registration
US20230394296A1 (en) Neural network inferencing efficiency with fewer parameters
US20240221912A1 (en) Task-specific image style transfer
US20230177747A1 (en) Machine learning generation of low-noise and high structural conspicuity images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination