CN114119725A - 脑部ct图像中的中线移位的自动估计 - Google Patents

脑部ct图像中的中线移位的自动估计 Download PDF

Info

Publication number
CN114119725A
CN114119725A CN202111020015.0A CN202111020015A CN114119725A CN 114119725 A CN114119725 A CN 114119725A CN 202111020015 A CN202111020015 A CN 202111020015A CN 114119725 A CN114119725 A CN 114119725A
Authority
CN
China
Prior art keywords
landmark
slice
anatomical object
medical image
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111020015.0A
Other languages
English (en)
Inventor
N·阮
刘永珍
P·赛卡尔迪
E·吉布森
A·彻库里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN114119725A publication Critical patent/CN114119725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了用于量化患者的解剖对象的移位的系统和方法。接收患者的解剖对象的3D医学图像。使用第一机器学习网络来确定3D医学图像中的解剖对象上的界标的初始位置。从3D医学图像中提取描绘了所述界标的初始位置的2D切片。使用第二机器学习网络来细化2D切片中的所述界标的初始位置。基于2D切片中的所述界标的细化位置来量化解剖对象的移位。输出解剖对象的所量化的移位。

Description

脑部CT图像中的中线移位的自动估计
本申请要求2020年9月1日提交的美国临时申请No.63/073,075的权益，其公开内容通过引用整体地并入本文中。
技术领域
本发明总体上涉及脑部CT（计算机断层摄影）图像中的中线移位（midline shift）的自动估计，并且特别地涉及使用机器学习对脑部CT图像中的中线移位进行自动估计。
背景技术
中线移位是脑部越过其中心线的移位或位移。中线移位通常与由于例如外伤、中风或肿瘤引起的脑部损伤相关联。中线移位可以用于确定脑血肿与脑梗塞的严重性。在当前的临床实践中，通常对中线移位进行量化以评估脑血肿或脑梗塞的严重性。通常，超过5毫米的中线移位需要紧急手术。小于5毫米的更加适中的中线移位也可能需要治疗。然而，由于组织变形中的可变性（这是由于潜在的病理学和患者解剖结构所致），对中线移位的准确检测和量化是具有挑战性的。
发明内容
根据一个或多个实施例，提供了用于量化患者的解剖对象的移位的系统和方法。接收患者的解剖对象的3D医学图像。使用第一机器学习网络来确定所述3D医学图像中的解剖对象上的界标的初始位置。从所述3D医学图像中提取描绘了界标的初始位置的2D切片。使用第二机器学习网络来细化（refine）2D切片中的界标的初始位置。基于2D切片中的界标的细化位置来量化解剖对象的移位。输出解剖对象的所量化的移位。
在一个实施例中，患者的解剖对象包括患者的脑部，并且基于2D切片中的界标的细化位置来量化脑部的中线移位。界标可以包括脑部的前镰（anterior falx）、后镰（posterior falx）和透明中隔（septum pallicidum）。可以通过计算从透明中隔至前镰与后镰之间形成的线的垂直距离来量化中线移位。可以在脑部的室间孔（foramen of Monro）的轴向平面处提取2D切片。
在一个实施例中，使用机器学习分类网络从多个3D候选医学图像中将所述3D医学图像标识为描绘了解剖对象的移位。所述3D医学图像可以包括CT（计算机断层摄影）医学图像。
在一个实施例中，通过生成标识了界标的初始位置的一个或多个3D界标热图来确定所述3D医学图像中的解剖对象上的界标的初始位置，并且通过生成标识了界标的细化位置的一个或多个2D界标热图来确定2D切片中的界标的细化位置。
通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员来说将是明显的。
附图说明
图1示出了根据一个或多个实施例的用于量化患者的解剖对象的移位的方法；
图2示出了根据一个或多个实施例的被示出为覆盖在3D医学图像上的地面真值3D界标热图与所预测的3D界标热图之间的说明性比较；
图3示出了根据一个或多个实施例的针对2D切片的地面真值2D界标热图与所预测的2D界标热图的说明性比较；
图4示出了根据一个或多个实施例的用于训练机器学习网络以用于量化患者的解剖对象的移位的工作流程；
图5示出了可以用于实现一个或多个实施例的示例性人工神经网络；
图6示出了可以用于实现一个或多个实施例的卷积神经网络；以及
图7示出了可以用于实现一个或多个实施例的计算机的高级框图。
具体实施方式
本发明总体上涉及用于自动估计脑部CT（计算机断层摄影）图像中的中线移位的方法和系统。本文中描述了本发明的实施例，以给出对这种方法和系统的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。对象的数字表示在本文中通常是在标识和操纵对象方面来描述的。这种操纵是在计算机系统的存储器或其他电路/硬件中实现的虚拟操纵。因此，要理解的是，本发明的实施例可以使用存储在计算机系统内的数据在该计算机系统内执行。此外，本文中对图像像素的引用可以等同地指代图像的体素，并且反之亦然。
本文中描述的实施例提供了对患者脑部的中线移位的自动估计。中线移位在临床上被定义为脑部越过其中心线的移位或位移。中线移位可以被检测和量化为从位于脑部的实际中心线上的中线结构到表示脑部的理想中心线的线的垂直距离。在室间孔的轴向平面处，脑部的透明中隔位于脑部的实际中心线上，并且因此中线移位可以被计算为从透明中隔至前镰与后镰之间形成的线的垂直距离。有利地，本文中描述的实施例提供了中线移位估计的改进的准确度和效率，并且使得能够支持对脑部损伤进行及时临床诊断。
图1示出了根据一个或多个实施例的用于量化患者的解剖对象的移位的方法100。方法100的步骤可以由一个或多个合适的计算装置（诸如例如，图7的计算机702）来执行。
在步骤102处，接收患者的解剖对象的3D（三维）医学图像。在一个实施例中，患者的解剖对象是患者的脑部。然而，解剖对象可以是患者的任何器官、骨骼、病变、或任何其他解剖对象。
在一个实施例中，3D医学图像是CT图像（例如，非对比（non-contrast）CT图像）。然而，3D医学图像可以属于任何其他合适的模态，诸如例如MRI（磁共振成像）、x射线、或任何其他医学成像模态或医学成像模态的组合。3D医学图像由多个2D（二维）横截面切片组成。可以在获取3D医学图像时直接从图像获取装置（诸如例如，CT扫描仪）接收3D医学图像，或者可以通过从计算机系统的存储装置或存储器加载先前获取的3D医学图像、或接收已经从远程计算机系统传输的3D医学图像来接收3D医学图像。
在一个实施例中，例如在预处理阶段期间，使用机器学习分类网络从多个3D候选医学图像中将该3D医学图像标识为描绘了解剖对象中的移位（例如，脑部的中线移位）。分类网络被训练成区分多个3D候选医学图像中的描绘了和未描绘解剖对象中的移位的图像。分类网络可以是任何合适的基于机器学习的网络，诸如例如深度神经网络。分类网络是在先前的离线或训练阶段期间被训练的，如下面关于图4进一步详细描述的。一旦被训练，经训练的分类网络就可以在在线或测试阶段期间被应用，以从多个3D候选医学图像中将该3D医学图像标识为描绘了解剖对象中的移位。
在步骤104处，使用第一机器学习网络在3D医学图像中确定解剖对象上的界标的初始位置。在其中解剖对象是患者的脑部的一个实施例中，界标可以包括脑部的前镰、后镰和透明中隔。
第一机器学习网络接收3D医学图像作为输入，并且生成一个或多个3D界标热图作为输出。3D界标热图提供了界标的初始位置的逐体素标识，使得例如体素强度值1对应于界标的初始位置，而体素强度值0不对应于界标的初始位置。一个或多个3D界标热图中的每一个标识相应的界标。例如，一个或多个3D界标热图可以包括标识了前镰的第一3D界标热图、标识了后镰的第二3D界标热图、以及标识了透明中隔的第三3D界标热图。
第一机器学习网络可以是任何合适的基于机器学习的网络，诸如例如深度神经网络。第一机器学习网络是在先前的离线或训练阶段期间被训练的，如下面关于图4进一步详细描述的。一旦被训练，经训练的第一机器学习网络就可以在在线或测试阶段期间（例如，在图1的步骤104处）被应用，以确定3D医学图像中的界标的初始位置。
图2示出了根据一个或多个实施例的被示出为覆盖在3D医学图像上的地面真值3D界标热图202与所预测的3D界标热图204之间的说明性比较。所预测的3D界标热图204是在图1的步骤104处由第一机器学习网络生成的3D界标热图的示例。如图2中所示，地面真值3D界标热图202标识了包括脑部的前镰206、透明中隔208和后镰210的界标的地面真值初始位置，并且所预测的3D界标热图204标识了包括脑部的前镰212、透明中隔214和后镰216的界标的所预测的初始位置。
在图1的步骤106处，从3D医学图像中提取描绘了界标的初始位置的2D切片。通过如下方式从3D医学图像中提取2D切片：计算3D医学图像中的室间孔的点坐标，并且从3D医学图像中提取与该点坐标相对应的2D切片。因此，2D切片是3D医学图像在患者脑部的室间孔的轴向平面处的切片。示例性2D切片在图3中被示出为2D切片302，这将在下面进一步详细描述。
在图1的步骤108处，使用第二机器学习网络来细化2D切片中的界标的初始位置。细化界标的初始位置是为了确定2D切片中的界标的更精确位置。
第二机器学习网络接收2D切片作为输入，并且生成一个或多个2D界标热图作为输出。2D界标热图提供了界标的细化位置的逐像素标识，使得例如像素强度值1对应于界标的细化位置，而像素强度值0不对应于界标的细化位置。一个或多个2D界标热图中的每一个标识相应的界标。例如，一个或多个2D界标热图可以包括标识了前镰的第一2D界标热图、标识了后镰的第二2D界标热图、以及标识了透明中隔的第三2D界标热图。
第二机器学习网络可以是任何合适的基于机器学习的网络，诸如例如深度神经网络。第二机器学习网络是在先前的离线或训练阶段期间被训练的，如下面关于图4进一步详细描述的。一旦被训练，经训练的第二机器学习网络就可以在在线或测试阶段期间（例如，在图1的步骤108处）被应用，以确定2D切片中的界标的细化位置。
图3示出了根据一个或多个实施例的针对2D切片302的地面真值2D界标热图304与所预测的2D界标热图306的说明性比较。所预测的2D界标热图306被示出为覆盖在2D切片302上。所预测的2D界标热图306是在图1的步骤108处由第二机器学习网络生成的2D界标热图的示例。如图3中所示，地面真值2D界标热图304标识了包括脑部的前镰308、透明中隔310和后镰312的界标的地面真值细化位置，并且所预测的2D界标热图306标识了包括脑部的前镰314、透明中隔316和后镰318的界标的所预测的细化位置。
在图1的步骤110处，基于2D切片中的界标的细化位置来量化解剖对象的移位。在其中解剖对象是患者的脑部的一个实施例中，解剖对象的移位包括脑部的中线移位。在与该2D切片相对应的室间孔的轴向平面处，透明中隔沿着脑部的实际中心线而定位。前镰与后镰之间的线表示脑部的理想中心线。因此，可以通过计算从透明中隔至前镰与后镰之间形成的线的垂直距离——如基于该2D切片中的界标的细化位置所定位的——来量化中线移位。例如，如图3中的所预测的2D界标热图306中所示，中线移位被表示为线322的长度，该长度表示从透明中隔316至前镰314与后镰318之间的线320的垂直距离。
在一个实施例中，在步骤108处没有确定界标中的一个或多个的细化位置的情况下，在步骤110处，可以利用在步骤104处确定的界标中的一个或多个的初始位置来量化解剖对象的移位。例如，如果在步骤108处没有确定透明中隔的细化位置，则在步骤104处确定的透明中隔的初始位置被用于在步骤110处量化解剖对象的移位。
在图1的步骤112处，输出解剖对象的所量化的移位。例如，可以通过在计算机系统的显示装置上显示解剖对象的所量化的移位、在计算机系统的存储器或存储装置上存储解剖对象的所量化的移位、或者通过将解剖对象的所量化的移位传输到远程计算机系统来输出解剖对象的所量化的移位。在一个实施例中，可以输出解剖对象的所量化的移位以用于临床决策制定。例如，解剖对象的所量化的移位可以被输出到临床决策支持系统，以用于基于所量化的移位来自动为患者推荐治疗或动作过程。
有利地，本文中描述的实施例通过如下方式提供了对解剖对象的移位的量化：使用第一机器学习网络来确定3D医学图像中的界标的初始位置，并且使用第二机器学习网络来细化从3D医学图像中提取的2D切片中的界标的初始位置。确定3D医学图像和2D切片中的界标的位置使得能够从周围脑部组织中高效提取有用的图像特征。第一机器学习网络预测3D医学图像中的一般感兴趣区域，该区域包括界标的目标位置和室间孔的轴向位置处的2D切片。第二机器学习网络预测2D切片上的界标的细化位置。一般来说，3D机器学习网络需要大量的训练数据，并且因此训练这种3D网络以获得期望性能通常是有挑战性的。根据本文中描述的实施例，减小了训练数据的所需大小。
图4示出了根据一个或多个实施例的用于训练机器学习网络以用于量化患者的解剖对象的移位的工作流程400。如图4中所示，执行工作流程400以用于训练分类网络402、第一机器学习网络404和第二机器学习网络406。在一个示例中，分类网络402是被应用以从多个3D候选医学图像中标识在图1的步骤102处接收到的3D医学图像的分类网络，第一机器学习网络404是被应用以在图1的步骤104处确定3D医学图像中的界标的初始位置的第一机器学习网络，并且第二机器学习网络406是被应用以在图1的步骤108处细化2D切片中的界标的初始位置的第二机器学习网络。
在先前的训练或离线阶段期间执行工作流程400，以训练这些机器学习网络来执行各种医学成像分析任务。分类网络402、第一机器学习网络404和第二机器学习网络406被独立地训练。一旦被训练，经训练的机器学习网络就在在线或测试阶段期间（例如，在图1的方法100处）被应用。分类网络402、第一机器学习网络404和第二机器学习网络406可以使用任何合适的机器学习网络来实现。在一个示例中，分类网络402、第一机器学习网络404和/或第二机器学习网络406是深度学习神经网络。
分类网络402是利用具有相关联的地面真值标签408的训练图像来训练的，以将训练图像分类为描绘了解剖对象的移位（例如，脑部的中线移位）。地面真值标签可以是手动注释的标签，该标签指示训练图像是否描绘了解剖对象的移位。
第一机器学习网络404是利用3D训练医学图像410和对应的地面真值界标注释412来训练的。3D训练医学图像410是被分类网络402分类为描绘了解剖对象的移位的训练图像。地面真值界标注释412是通过将2D高斯平滑核应用于界标（例如，脑部的前镰、后镰和透明中隔）而创建的3D训练界标热图。为了增加轴向信息密度，通过堆叠多个2D热图来生成3D训练界标热图。3D训练界标热图中的界标的中心表示界标的地面真值位置。在一个示例中，可以堆叠11个2D热图以形成3D训练界标热图，然而，例如取决于CT获取协议，可以利用任何其他合适数量的2D热图来生成3D训练界标热图。
第二机器学习网络406是利用2D训练切片414和地面真值界标注释416来训练的。2D训练切片414是从第一机器学习网络404在脑部的室间孔的轴向平面处生成的3D界标热图中提取的2D切片。地面真值界标注释416是通过将3D高斯平滑核应用于界标而创建的2D训练界标热图。
本文中描述的实施例是关于所要求保护的系统以及关于所要求保护的方法来描述的。本文中的特征、优点或替代实施例可以被指派给其他要求保护的对象，并且反之亦然。换句话说，可以利用在方法的上下文中描述或要求保护的特征来改进针对系统的权利要求。在这种情况下，该方法的功能特征由提供系统的目标单元来体现。
此外，本文中描述的某些实施例是关于利用经训练的基于机器学习的网络（或模型）的方法和系统、以及关于用于训练基于机器学习的网络的方法和系统来描述的。本文中的特征、优点或替代实施例可以被指派给其他要求保护的对象，并且反之亦然。换句话说，可以利用在用于利用经训练的基于机器学习的网络的方法和系统的上下文中描述或要求保护的特征来改进用于训练基于机器学习的网络的方法和系统的权利要求，并且反之亦然。
特别地，在本文中描述的实施例中应用的经训练的基于机器学习的网络可以由用于训练基于机器学习的网络的方法和系统来适配。此外，经训练的基于机器学习的网络的输入数据可以包括训练输入数据的有利特征和实施例，并且反之亦然。此外，经训练的基于机器学习的网络的输出数据可以包括输出训练数据的有利特征和实施例，并且反之亦然。
一般来说，经训练的基于机器学习的网络模仿了人类将其与其他人类心智相关联的认知功能。特别地，通过基于训练数据的训练，经训练的基于机器学习的网络能够适应新的环境并且检测和推断出模式。
一般来说，可以借助于训练来适配基于机器学习的网络的参数。特别地，可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表示学习（替代术语是“特征学习”）。特别地，可以通过若干个训练步骤来迭代地适配经训练的基于机器学习的网络的参数。
特别地，经训练的基于机器学习的网络可以包括神经网络、支持向量机、决策树、和/或贝叶斯网络，和/或经训练的基于机器学习的网络可以基于k-均值聚类、Q-学习、遗传算法和/或关联规则。特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成对抗网络。
图5示出了根据一个或多个实施例的人工神经网络500的实施例。“人工神经网络”的替代术语是“神经网络”、“人工神经网”或“神经网”。可以使用人工神经网络500来实现本文中描述的机器学习网络，诸如例如在图1的方法100中利用的分类网络、第一机器学习网络和第二机器学习网络、以及图4的工作流程400中的分类网络402、第一机器学习网络404和第二机器学习网络406。
人工神经网络500包括节点502-522和边532、534……536，其中每个边532、534……536是从第一节点502-522到第二节点502-522的有向连接。一般来说，第一节点502-522和第二节点502-522是不同的节点502-522，第一节点502-522和第二节点502-522也可能是相同的。例如，在图5中，边532是从节点502到节点506的有向连接，并且边534是从节点504到节点506的有向连接。从第一节点502-522到第二节点502-522的边532、534……536还被表示为针对第二节点502-522的“传入边”以及被表示为针对第一节点502-522的“传出边”。
在该实施例中，人工神经网络500的节点502-522可以被布置在层524-530中，其中这些层可以包括由节点502-522之间的边532、534……536引入的固有次序。特别地，边532、534……536可以仅存在于节点的相邻层之间。在图5中所示的实施例中，存在仅包括节点502和504而没有传入边的输入层524、仅包括节点522而没有传出边的输出层530、以及在输入层524与输出层530之间的隐藏层526、528。一般来说，可以任意地选择隐藏层526、528的数量。输入层524内的节点502和504的数量通常与神经网络500的输入值的数量相关，并且输出层530内的节点522的数量通常与神经网络500的输出值的数量相关。
特别地，可以将（实数）数字作为值指派给神经网络500的每个节点502-522。在这里，x(n) i表示第n层524-530的第i个节点502-522的值。输入层524的节点502-522的值等同于神经网络500的输入值，输出层530的节点522的值等同于神经网络500的输出值。此外，每个边532、534……536可以包括作为实数的权重，特别地，该权重是区间[-1,1]内或区间[0,1]内的实数。在这里，w(m,n) i,j表示第m层524-530的第i个节点502-522与第n层524-530的第j个节点502-522之间的边的权重。此外，缩写w(n) i,j是针对权重w(n,n+1) i,j来定义的。
特别地，为了计算神经网络500的输出值，使输入值传播通过该神经网络。特别地，可以基于第n层524-530的节点502-522的值通过下式来计算第（n+1）层524-530的节点502-522的值：
Figure 81417DEST_PATH_IMAGE002
。
在本文中，函数f是传递函数（另一个术语是“激活函数”）。已知的传递函数是阶跃函数、sigmoid函数（例如，逻辑函数、广义逻辑函数、双曲正切函数、反正切函数、误差函数、平滑阶梯函数）或整流函数（rectifier function）。传递函数主要用于归一化目的。
特别地，这些值通过该神经网络逐层传播，其中输入层524的值由神经网络500的输入给出，其中第一隐藏层526的值可以基于该神经网络的输入层524的值来计算，其中第二隐藏层528的值可以基于第一隐藏层526的值来计算等等。
为了设置针对这些边的值w(m,n) i,j，必须使用训练数据来训练神经网络500。特别地，训练数据包括训练输入数据和训练输出数据（表示为ti）。对于训练步骤而言，将神经网络500应用于训练输入数据以生成所计算的输出数据。特别地，训练数据和所计算的输出数据包括一定数量的值，所述数量等于输出层的节点数量。
特别地，所计算的输出数据与训练数据之间的比较被用于递归地适配神经网络500内的权重（反向传播算法）。特别地，根据下式来改变权重：
Figure 264137DEST_PATH_IMAGE004
其中γ是学习速率，并且如果第（n+1）层不是输出层，则可以基于δ(n+1) j将数字δ(n) j递归地计算为：
Figure 309453DEST_PATH_IMAGE006
并且如果第（n+1）层是输出层530，则可以将数字δ(n) j递归地计算为：
Figure 111187DEST_PATH_IMAGE008
其中f'是激活函数的一阶导数，并且y(n+1) j是输出层530的第j个节点的比较训练值。
图6示出了根据一个或多个实施例的卷积神经网络600。可以使用卷积神经网络600来实现本文中描述的机器学习网络，诸如例如在图1的方法100中利用的分类网络、第一机器学习网络和第二机器学习网络、以及图4的工作流程400中的分类网络402、第一机器学习网络404和第二机器学习网络406。
在图6中所示的实施例中，卷积神经网络600包括输入层602、卷积层604、池化层606、全连接层608和输出层610。替代地，卷积神经网络600可以包括若干个卷积层604、若干个池化层606和若干个全连接层608、以及其他类型的层。可以任意地选择层的次序，通常全连接层608被用作输出层610之前的最后的层。
特别地，在卷积神经网络600内，可以认为一个层602-610的节点612-620被布置为d维矩阵或d维图像。特别地，在二维情况下，在第n层602-610中用i和j索引的节点612-620的值可以被表示为x(n) [i,j]。然而，一个层602-610的节点612-620的布置对在卷积神经网络600内执行的计算本身没有影响，这是因为这些计算仅仅由边的结构和权重来给出。
特别地，卷积层604由基于某个数量的核而形成卷积操作的传入边的结构和权重来表征。特别地，选择传入边的结构和权重，使得卷积层604的节点614的值x(n) k被计算为基于前一层602的节点612的值x(n-1)的卷积x(n) k = Kk*x(n-1)，其中卷积*在二维情况下被定义为：
Figure 191139DEST_PATH_IMAGE010
。
在这里，第k个核Kk是d维矩阵（在该实施例中是二维矩阵），该d维矩阵与节点612-618的数量相比通常较小（例如，3×3矩阵或5×5矩阵）。特别地，这暗示着传入边的权重不是独立的，而是被选择成使得它们产生了所述卷积等式。特别地，对于作为3×3矩阵的核而言，仅存在9个独立权重（核矩阵的每个条目对应于一个独立权重），而与相应层602-610中的节点612-620的数量无关。特别地，对于卷积层604而言，该卷积层中的节点614的数量等同于前一层602中的节点612的数量乘以核的数量。
如果前一层602的节点612被布置为d维矩阵，则使用多个核可以被解释为添加了另外的维度（被表示为“深度”维度），使得卷积层604的节点614被布置为（d+1）维矩阵。如果前一层602的节点612已经被布置为包括深度维度的（d+1）维矩阵，则使用多个核可以被解释为沿着深度维度进行扩展，使得卷积层604的节点614也被布置为（d+1）维矩阵，其中关于深度维度的（d+1）维矩阵的大小是在前一层602中的大小的核数量倍。
使用卷积层604的优点在于：可以通过在相邻层的节点之间强制执行局部连接性模式（local connectivity pattern）、特别是通过将每个节点仅连接到前一层的节点的小区域，来利用输入数据的空间局部相关性。
在图6中所示的实施例中，输入层602包括被布置为二维6×6矩阵的36个节点612。卷积层604包括被布置为两个二维6×6矩阵的72个节点614，这两个矩阵中的每一个是输入层的值与核进行卷积的结果。等同地，可以将卷积层604的节点614解释为被布置为三维的6×6×2矩阵，其中最后一个维度是深度维度。
池化层606可以由基于非线性池化函数f而形成池化操作的传入边的结构和权重以及其节点616的激活函数来表征。例如，在二维情况下，池化层606的节点616的值x(n)可以基于前一层604的节点614的值x(n-1)而被计算为：
Figure 173788DEST_PATH_IMAGE012
。
换句话说，通过使用池化层606，可以通过在该池化层中用单个节点616来替换前一层604中的数量d1·d2的相邻节点614，从而减少节点614、616的数量，该单个节点616是根据所述数量的相邻节点的值来计算的。特别地，池化函数f可以是最大值函数、平均值或L2-范数。特别地，对于池化层606而言，传入边的权重是固定的，并且不通过训练来修改。
使用池化层606的优点在于：减少了节点614、616的数量和参数的数量。这引起了网络中的计算量减少，并且引起了对过拟合的控制。
在图6中所示的实施例中，池化层606是最大池化，该最大池化用仅一个节点来替换四个相邻节点，该值是这四个相邻节点的值中的最大值。最大池化被应用于先前层的每个d维矩阵；在该实施例中，最大池化被应用于两个二维矩阵中的每一个，从而将节点的数量从72个减少到18个。
全连接层608由以下事实来表征：先前层606的节点616与全连接层608的节点618之间的大部分边、特别是所有边都存在，并且其中每一个边的权重可以被单独地调整。
在该实施例中，全连接层608的前一层606的节点616既被显示为二维矩阵，又被附加地显示为不相关的节点（它们被指示为一行节点，其中减少了节点数量以获得更好的展示性（presentability））。在该实施例中，全连接层608中的节点618的数量等于前一层606中的节点616的数量。替代地，节点616、618的数量可以不同。
此外，在该实施例中，输出层610的节点620的值通过将Softmax函数应用到前一层608的节点618的值上来确定。通过应用Softmax函数，输出层610的所有节点620的值的总和是1，并且输出层的所有节点620的所有值是0到1之间的实数。
卷积神经网络600还可以包括ReLU（整流线性单元）层、或具有非线性传递函数的激活层。特别地，ReLU层中包含的节点的数量和节点的结构等同于前一层中包含的节点的数量和节点的结构。特别地，ReLU层中的每个节点的值通过将整流函数应用于前一层的对应节点的值来计算。
可以使用求和（残差/密集神经网络）、逐元素乘法（注意力（attention））或其他可微分运算符将不同卷积神经网络块的输入和输出连接起来。因此，如果整个流水线是可微分的，则卷积神经网络架构可以是嵌套的，而不是顺序的。
特别地，可以基于反向传播算法来训练卷积神经网络600。为了防止过拟合，可以使用正则化方法，例如节点612-620的丢弃（dropout）、随机池化、人工数据的使用、基于L1或L2范数的权重衰减、或最大范数约束。可以对不同的损失函数进行组合以用于训练相同的神经网络，以反映联合训练目标。可以从优化中排除神经网络参数的子集，以保留在其他数据集上预训练的权重。
本文中描述的系统、设备和方法可以使用数字电路来实现，或者使用一个或多个使用公知的计算机处理器、存储器单元、存储装置、计算机软件和其他组件的计算机来实现。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或可以耦合到一个或多个大容量存储装置，诸如一个或多个磁盘、内部硬盘和可移除磁盘、磁光盘、光盘等。
本文中描述的系统、设备和方法可以使用以客户端-服务器关系操作的计算机来实现。通常，在这种系统中，客户端计算机被定位成远离服务器计算机，并且经由网络进行交互。客户端-服务器关系可以由在相应客户端和服务器计算机上运行的计算机程序来定义和控制。
本文中描述的系统、设备和方法可以在基于网络的云计算系统内实现。在这种基于网络的云计算系统中，连接到网络的服务器或另一个处理器经由网络与一个或多个客户端计算机进行通信。客户端计算机可以经由例如在客户端计算机上驻留和操作的网络浏览器应用与服务器进行通信。客户端计算机可以将数据存储在服务器上，并且经由网络来访问该数据。客户端计算机可以经由网络将对数据的请求或对在线服务的请求传输到服务器。服务器可以执行所请求的服务，并且将数据提供给（一个或多个）客户端计算机。服务器还可以传输被适配成使客户端计算机执行指定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。例如，服务器可以传输被适配成使客户端计算机执行本文中描述的方法和工作流程的一个或多个步骤或功能（包括图1或4的一个或多个步骤或功能）的请求。本文中描述的方法和工作流程的某些步骤或功能（包括图1或4的一个或多个步骤或功能）可以由服务器或者由基于网络的云计算系统中的另一个处理器来执行。本文中描述的方法和工作流程的某些步骤或功能（包括图1或4的一个或多个步骤）可以由基于网络的云计算系统中的客户端计算机来执行。本文中描述的方法和工作流程的步骤或功能（包括图1或4的一个或多个步骤）可以由服务器和/或由基于网络的云计算系统中的客户端计算机以任何组合来执行。
本文中描述的系统、设备和方法可以使用有形地体现在信息载体中（例如，体现在非暂时性机器可读存储装置中）以供可编程处理器执行的计算机程序产品来实现；并且本文中描述的方法和工作流程步骤（包括图1或4的一个或多个步骤或功能）可以使用可由这种处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令，可以在计算机中直接或间接使用这些指令来执行某个活动或带来某个结果。计算机程序能够以任何形式的编程语言（包括编译或解译的语言）来编写，并且它能够以任何形式来部署，包括作为独立程序或作为模块、组件、子例程、或适合用于计算环境中的其他单元。
图7中描绘了可以被用来实现本文中描述的系统、设备和方法的示例计算机702的高级框图。计算机702包括可操作地耦合到数据存储装置712和存储器710的处理器704。处理器704通过执行定义了计算机702的总体操作的计算机程序指令来控制这种操作。计算机程序指令可以存储在数据存储装置712、或其他计算机可读介质中，并且在期望执行计算机程序指令时被加载到存储器710中。因此，图1或4的方法和工作流程步骤或功能可以由存储在存储器710和/或数据存储装置712中的计算机程序指令来定义，并且可以由执行计算机程序指令的处理器704来控制。例如，计算机程序指令可以被实现为由本领域技术人员编程以执行图1或4的方法和工作流程步骤或功能的计算机可执行代码。因此，通过执行计算机程序指令，处理器704执行图1或4的方法和工作流程步骤或功能。计算机702还可以包括一个或多个网络接口706以用于经由网络与其他装置进行通信。计算机702还可以包括使得用户能够与计算机702进行交互的一个或多个输入/输出装置708（例如，显示器、键盘、鼠标、扬声器、按钮等）。
处理器704可以包括通用微处理器和专用微处理器两者，并且可以是计算机702的唯一处理器或者多个处理器之一。例如，处理器704可以包括一个或多个中央处理单元（CPU）。处理器704、数据存储装置712和/或存储器710可以包括一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）、由其补充或者被并入其中。
数据存储装置712和存储器710均包括有形的非暂时性计算机可读存储介质。数据存储装置712和存储器710可以均包括高速随机存取存储器，诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双倍数据速率同步动态随机存取存储器（DDR RAM）、或其他随机存取固态存储器装置，并且可以包括非易失性存储器，诸如一个或多个磁盘存储装置（诸如，内部硬盘和可移除磁盘）、磁光盘存储装置、光盘存储装置、闪速存储器装置、半导体存储器装置，诸如可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、致密盘只读存储器（CD-ROM）、数字多功能盘只读存储器（DVD-ROM）盘或其他非易失性固态存储装置。
输入/输出装置708可以包括外围设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出装置708可以包括用于向用户显示信息的显示装置（诸如，阴极射线管（CRT）或液晶显示器（LCD）监视器）、键盘以及诸如鼠标或轨迹球之类的指点装置，用户可以通过该指点装置向计算机702提供输入。
图像获取装置714可以连接到计算机702，以将图像数据（例如，医学图像）输入到计算机702。将图像获取装置714和计算机702实现为一个装置是可能的。图像获取装置714和计算机702通过网络进行无线通信也是可能的。在可能的实施例中，计算机702可以相对于图像获取装置714远程地定位。
可以使用一个或多个计算机（诸如，计算机702）来实现本文中讨论的任何或所有系统和设备。
本领域技术人员将认识到，实际计算机或计算机系统的实现方式可以具有其他结构，并且也可以包含其他组件，并且出于说明性目的，图7是这种计算机中的一些组件的高级表示。
前述具体实施方式应在每个方面被理解为是说明性和示例性的，而不是限制性的，并且本文中公开的本发明的范围不是从该具体实施方式确定的，而是从根据专利法允许的全部范围（full breadth）所解释的权利要求来确定的。要理解的是，本文中所示出和描述的实施例仅仅说明了本发明的原理，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (20)

1.一种计算机实现方法，包括：
接收患者的解剖对象的3D医学图像；
使用第一机器学习网络来确定所述3D医学图像中的解剖对象上的界标的初始位置；
从所述3D医学图像中提取描绘了所述界标的初始位置的2D切片；
使用第二机器学习网络来细化2D切片中的所述界标的初始位置；
基于2D切片中的所述界标的细化位置来量化解剖对象的移位；以及
输出解剖对象的所量化的移位。
2.根据权利要求1所述的计算机实现方法，其中所述患者的解剖对象包括所述患者的脑部，并且基于2D切片中的所述界标的细化位置来量化解剖对象的移位包括：
基于2D切片中的所述界标的细化位置来量化脑部的中线移位。
3.根据权利要求2所述的计算机实现方法，其中所述界标包括脑部的前镰、后镰和透明中隔。
4.根据权利要求3所述的计算机实现方法，其中基于2D切片中的所述界标的细化位置来量化脑部的中线移位包括：
计算从透明中隔至前镰与后镰之间形成的线的垂直距离。
5.根据权利要求3所述的计算机实现方法，其中从所述3D医学图像中提取描绘了所述界标的初始位置的2D切片包括：
在脑部的室间孔的轴向平面处提取2D切片。
6.根据权利要求1所述的计算机实现方法，进一步包括：
使用机器学习分类网络从多个3D候选医学图像中将所述3D医学图像标识为描绘了解剖对象的移位。
7.根据权利要求1所述的计算机实现方法，其中使用第一机器学习网络来确定所述3D医学图像中的解剖对象上的界标的初始位置包括：
生成标识了所述界标的初始位置的一个或多个3D界标热图。
8.根据权利要求1所述的计算机实现方法，其中使用第二机器学习网络来细化2D切片中的所述界标的初始位置包括：
生成标识了所述界标的细化位置的一个或多个2D界标热图。
9.根据权利要求1所述的计算机实现方法，其中所述3D医学图像包括CT（计算机断层摄影）医学图像。
10.一种设备，包括：
用于接收患者的解剖对象的3D医学图像的装置；
用于使用第一机器学习网络来确定所述3D医学图像中的解剖对象上的界标的初始位置的装置；
用于从所述3D医学图像中提取描绘了所述界标的初始位置的2D切片的装置；
用于使用第二机器学习网络来细化2D切片中的所述界标的初始位置的装置；
用于基于2D切片中的所述界标的细化位置来量化解剖对象的移位的装置；以及
用于输出解剖对象的所量化的移位的装置。
11.根据权利要求10所述的设备，其中所述患者的解剖对象包括所述患者的脑部，并且用于基于2D切片中的所述界标的细化位置来量化解剖对象的移位的装置包括：
用于基于2D切片中的所述界标的细化位置来量化脑部的中线移位的装置。
12.根据权利要求11所述的设备，其中所述界标包括脑部的前镰、后镰和透明中隔。
13.根据权利要求12所述的设备，其中用于基于2D切片中的所述界标的细化位置来量化脑部的中线移位的装置包括：
用于计算从透明中隔至前镰与后镰之间形成的线的垂直距离的装置。
14.根据权利要求12所述的设备，其中用于从所述3D医学图像中提取描绘了所述界标的初始位置的2D切片的装置包括：
用于在脑部的室间孔的轴向平面处提取2D切片的装置。
15.一种存储计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令在被处理器执行时使得所述处理器执行操作，所述操作包括：
接收患者的解剖对象的3D医学图像；
使用第一机器学习网络来确定所述3D医学图像中的解剖对象上的界标的初始位置；
从所述3D医学图像中提取描绘了所述界标的初始位置的2D切片；
使用第二机器学习网络来细化2D切片中的所述界标的初始位置；
基于2D切片中的所述界标的细化位置来量化解剖对象的移位；以及
输出解剖对象的所量化的移位。
16.根据权利要求15所述的非暂时性计算机可读介质，其中所述患者的解剖对象包括所述患者的脑部，并且基于2D切片中的所述界标的细化位置来量化解剖对象的移位包括：
基于2D切片中的所述界标的细化位置来量化脑部的中线移位。
17.根据权利要求15所述的非暂时性计算机可读介质，所述操作进一步包括：
使用机器学习分类网络从多个3D候选医学图像中将所述3D医学图像标识为描绘了解剖对象的移位。
18.根据权利要求15所述的非暂时性计算机可读介质，其中使用第一机器学习网络来确定所述3D医学图像中的解剖对象上的界标的初始位置包括：
生成标识了所述界标的初始位置的一个或多个3D界标热图。
19.根据权利要求15所述的非暂时性计算机可读介质，其中使用第二机器学习网络来细化2D切片中的所述界标的初始位置包括：
生成标识了所述界标的细化位置的一个或多个2D界标热图。
20.根据权利要求15所述的非暂时性计算机可读介质，其中所述3D医学图像包括CT（计算机断层摄影）医学图像。
CN202111020015.0A 2020-09-01 2021-09-01 脑部ct图像中的中线移位的自动估计 Pending CN114119725A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063073075P 2020-09-01 2020-09-01
US63/073075 2020-09-01
US17/303932 2021-06-10
US17/303,932 US11861828B2 (en) 2020-09-01 2021-06-10 Automated estimation of midline shift in brain ct images

Publications (1)

Publication Number Publication Date
CN114119725A true CN114119725A (zh) 2022-03-01

Family

ID=77595411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111020015.0A Pending CN114119725A (zh) 2020-09-01 2021-09-01 脑部ct图像中的中线移位的自动估计

Country Status (3)

Country Link
US (1) US11861828B2 (zh)
EP (1) EP3961560A1 (zh)
CN (1) CN114119725A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US11200664B2 (en) * 2015-12-18 2021-12-14 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
WO2018098141A1 (en) * 2016-11-22 2018-05-31 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images
US11195610B2 (en) * 2017-11-22 2021-12-07 Takuya Shimomura Priority alerts based on medical information
US11776128B2 (en) * 2020-12-11 2023-10-03 Siemens Healthcare Gmbh Automatic detection of lesions in medical images using 2D and 3D deep learning networks

Also Published As

Publication number Publication date
EP3961560A1 (en) 2022-03-02
US20220067929A1 (en) 2022-03-03
US11861828B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
US11308613B2 (en) Synthesis of contrast enhanced medical images
US11776128B2 (en) Automatic detection of lesions in medical images using 2D and 3D deep learning networks
US11861835B2 (en) Automatic hemorrhage expansion detection from head CT images
EP4246457A1 (en) Multi-view matching across coronary angiogram images
EP4160529A1 (en) Probabilistic tree tracing and large vessel occlusion detection in medical imaging
EP4266251A1 (en) Representation learning for organs at risk and gross tumor volumes for treatment response predicition
EP4160616A1 (en) Multimodal analysis of imaging and clinical data for personalized therapy
EP4057296A1 (en) Machine learning for automatic detection of intracranial hemorrhages with uncertainty measures from ct images
US20230237647A1 (en) Ai driven longitudinal liver focal lesion analysis
US12106549B2 (en) Self-supervised learning for artificial intelligence-based systems for medical imaging analysis
US11908047B2 (en) Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems
US11861828B2 (en) Automated estimation of midline shift in brain ct images
US20230060113A1 (en) Editing presegmented images and volumes using deep learning
EP4227899A1 (en) Acute intracranial hemorrhage segmentation on brain images for volume quantification and individual detection
US20230316544A1 (en) Semi-supervised tracking in medical images with cycle tracking
US20240177343A1 (en) Lesion tracking in 4d longitudinal imaging studies
US20240320832A1 (en) Ai based lesion segmentation and detection for medical images
EP4404207A1 (en) Automatic personalization of ai systems for medical imaging analysis
EP4432166A1 (en) Invariance preserving knowledge distillation of foundational models for medical imaging analysis
EP4375927A1 (en) Lesion tracking in 4d longitudinal imaging studies
US11615529B2 (en) Automatic, dynamic, and adaptive slice planning for cardiac MRI acquisition
US20230252623A1 (en) Quality assurance workflows for low-field mri prostate diagnostic systems
EP4220553A1 (en) Coronary lumen and reference wall segmentation for automatic assessment of coronary artery disease
US20240331138A1 (en) Regression-based approach for measurement of rotator cuff tears in shoulder mri images
EP4375948A1 (en) Cross-domain segmentation with uncertainty-guided curriculum learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240902

Address after: German Phu F Haim

Applicant after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen

Applicant before: Siemens Healthineers AG

Country or region before: Germany