CN117333692A - 用于标识体积医学图像中的器官的类型的方法 - Google Patents

用于标识体积医学图像中的器官的类型的方法 Download PDF

Info

Publication number
CN117333692A
CN117333692A CN202310799243.5A CN202310799243A CN117333692A CN 117333692 A CN117333692 A CN 117333692A CN 202310799243 A CN202310799243 A CN 202310799243A CN 117333692 A CN117333692 A CN 117333692A
Authority
CN
China
Prior art keywords
medical image
organ
volumetric medical
voxels
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310799243.5A
Other languages
English (en)
Inventor
H·耶热巴坎
A·杰雷布科
品川嘉久
G·埃莫西约瓦拉德兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN117333692A publication Critical patent/CN117333692A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种用于标识体积医学图像(305)中的器官(309)的类型的方法、设备和系统。在一个方面中，所述方法包括：a)接收体积医学图像(305)，所述体积医学图像(305)包括至少一个器官(309)或其部分；b)接收所述体积医学图像(305)内的单一感兴趣点(310)；c)从所述体积医学图像(305)对体素(306、308)进行采样，其中至少一个体素(307)在两个所采样的体素(306、308)之间被跳过；以及d)通过将经训练的分类器应用于所采样的体素(306、308)来标识所述单一感兴趣点(310)处的器官(309)的类型。

Description

用于标识体积医学图像中的器官的类型的方法
技术领域
本发明涉及用于标识体积医学图像中的器官的类型的计算机实现方法、设备、系统、计算机程序产品和计算机可读介质。
背景技术
分割(segmentation)是医学成像中的核心问题之一。它已经被用于标识器官边界，显示可视化或体积计算。一个突出的用例是在查找位置方面的器官标识。然而，出于此目的对所有器官进行完全分割是计算密集的，因为3D图像可能包含多达数十亿个体素。此外，在大多数情况下，感兴趣位置中的器官标识不需要完全器官分割。
界标(landmarking)是用以标识器官位置信息的另一个方法。然而，由于粗略级别的表示，界标没有给出所选位置的内部外部信息。
最近对细粒度(fine granular)器官分割的研究使计算时间负担减少到几秒钟。令人遗憾的是，这些分割方法仍然需要附加的硬件才能够运行，这在许多设置中是不实用的。
在放射学读取环节(radiology reading session)之前预先计算分割掩膜(mask)是可能的。该过程增加了关于数据库设计、认证和通信协议的复杂性。
Zhang，Fan、Yu Wang和Hua Yang的“Efficient Context-Aware Network forAbdominal Multi-organ Segmentation.”arXiv preprint arXiv：2109.10601(2021)、以及Yan，Zhennan等人的“Bodypart recognition using multi-stage deep learning.”International conference on information processing in medicalimaging.Springer，Cham，2015描述了现有技术。
发明内容
因此，本发明的目的是提供一种使得能够实现改进的器官标识的方法、设备和系统。
根据第一方面，提供了一种用于标识体积医学图像中的器官的类型的计算机实现方法。所述方法包括：
a)接收体积医学图像，所述体积医学图像包括至少一个器官或其部分；
b)接收所述体积医学图像内的单一感兴趣点(single point of interest)；
c)从所述体积医学图像对体素进行采样，其中至少一个体素在两个所采样的体素之间被跳过；以及
d)通过将经训练的分类器应用于所采样的体素来标识所述单一感兴趣点处的器官的类型。
有利地，至少一个体素在两个所采样的体素之间被跳过。这具有的效果是：减少了需要由经训练的分类器处理以标识器官类型的数据的量，从而减少了计算时间和计算资源。即使由经训练的分类器处理的数据的量减少了，本发明人发现仍然可以使用本方法来可靠地标识器官的类型。对于此的一个原因是：与其中较小子体积的每个体素都被采样的情况相比，所采样的体素(本文中也称为“描述符”)对应于较大的视场，因此还考虑了邻域(neighborhood)信息。
器官应理解为接合(j oin)在结构单元中以服务于共同功能的组织的集合。器官可以是人类器官。器官可以是以下各项中的任何一个，例如：肠、骨骼(skeleton)、肾脏、胆囊、肝脏、肌肉、动脉、心脏、喉、咽、脑、淋巴结、肺、脾、骨髓、胃、静脉、胰腺和膀胱。
体积医学图像可以由医学成像单元捕获以及从医学成像单元接收，医学成像单元可以包括例如但不限于磁共振成像设备、计算机断层摄影设备、X射线成像设备、超声成像设备等。体积医学图像可以是三维(3D)的和/或与体积相关。体积医学图像可以由多个切片构成，该切片即2D(二维)医学图像。2D医学图像可以由上述医学成像单元捕获以及从上述医学成像单元接收。2D医学图像然后可以被组装(assemble)以形成体积医学图像。
目前，体素表示三维空间中的值，而像素表示二维空间中的值。像素或体素可以具有或者可以不具有它们的位置，即，用它们的值明确编码的它们的坐标。取而代之，像素或体素的位置基于其相对于其他像素或体素的位置来推断(即，被定位在构成单个2D或3D(体积)图像的数据结构中)。体素可以被布置在3D网格上，像素可以被布置在2D网格上。2D医学图像可以例如是以像素阵列的形式。体积医学图像可以包括体素阵列。构成体积医学图像的多个2D医学图像的像素目前也被称为体素。像素或体素可以表示作为三维位置的函数的强度、吸收或其他参数，并且例如可以通过对上述医学成像单元中的一个或多个所获得的测量信号的合适处理来获得。
体积医学图像内的单一感兴趣点可以对应于一个(恰好一个)像素或体素或者所述像素或体素在三维空间中的位置。可以针对不同的单一感兴趣点重复方法步骤a)至d)，例如以标识体积医学图像内的不同器官。
体素的采样可以通过从数据文件、数据库、存储器(例如，暂时性存储器)或包括体素的阵列中进行读取来完成。体素的采样可以顺序地或并行地完成(例如，当多个体素被同时读取时)。至少一个体素在两个所采样的体素之间被跳过。也就是说，当以其三维关系来观察体积医学图像的所有体素时，两个所采样的体素之间的至少一个体素不被采样。例如，体积医学图像可以包括被布置在同一行或列中的第一、第二和第三体素。在这种情况下，仅第一和第三体素被采样，第二体素不被采样。可以提供的是，首先，第一体素被采样，并且然后第三体素被采样。替代地，第一和第三体素被并行地采样。所采样的体素可以被保存在存储器中。
经训练的分类器被应用于所采样的体素。特别地，所采样的体素从存储器被读取，并且然后由经训练的分类器来处理。经训练的分类器例如是经训练的神经网络。
在一个实施例中，机器人、扫描仪(例如，CT或MR扫描仪)或其他设备或机器取决于器官的所标识的类型(或如下所讨论的特定于器官的异常)而被控制。例如，机器人可以被配置用于对患者的身体进行操作。特别地，可以取决于所标识的器官来控制机器人(例如，其操作器械，诸如手术刀)或扫描仪的移动。
根据一实施例，步骤c)包括以稀疏和/或随机方式对体素进行采样。
“稀疏”应理解为：当考虑到构成体积医学图像的体素的总数时，只有很少的体素被用于稀疏采样中。特别地，“稀疏”是说：体积医学图像的体素总数的少于50％或少于20％或甚至少于10％在步骤c)中被采样。
“随机”是说：所采样的体素不遵循规则的模式(除了至少一个体素在两个所采样的体素之间被跳过之外)。尽管如此，在步骤c)中使用的(随机)模式对于不同的单一感兴趣点可以是相同的。在一些实施例中，可以使用随机数生成器或伪随机数生成器来选择在步骤c)中被采样的体素。
在一实施例中，步骤c)包括以每单位长度、面积或体积的采样率对体素进行采样，所述采样率随着相应体素距单一感兴趣点的距离而降低。
由此，获得了视场，所述视场仍然聚焦于单一感兴趣点，但是同时也考虑了与感兴趣点相距一定距离的信息。
步骤c)可以使用采样模型来完成。采样模型包含关于体积医学图像中的要采样的体素的位置的信息，从而提供描述符。例如，采样模型可以是算法或者利用算法。
根据一实施例，采样率以非线性速率而降低，特别是以指数、对数或幂函数的速率而降低。
本发明人发现，使用如上所描述的采样率显著地减少了计算时间，而同时又可靠地标识器官的类型。
根据另外的实施例，所采样的体素少于体积医学图像中的体素总数的1％，优选地少于0.1％，并且更优选地少于0.01％。
在一实施例中，经训练的分类器是神经网络，特别是多层感知器、卷积神经网络、孪生(Siamese)网络或三元组(triplet)网络。
分类(使用经训练的分类器)与分割(后者通常也使用神经网络来执行)之间的区别在于：在分类中，针对单一感兴趣点(例如，针对特定体素)输出单个标签(例如，器官的类型)，而在分割中，针对输入数据的每个体素确定标签。因此，针对分类和分割的训练和应用是显著不同的。
简单的神经网络分类器可以用于使用感兴趣位置处的描述符对器官标签进行分类。该神经网络分类器不是平移不变性模型(translation invariant model)，因为描述符将随着改变的位置而改变。
在一个示例中，神经网络可以是单层逻辑回归。该计算将是描述符值的线性组合的softmax，其被公式化为：
其中lorgan是器官标签，Wl是不同器官的权重向量，并且x是描述符。
在其他示例中，多层神经网络可以用于对非线性关系进行建模。例如，这可以通过在输入描述符上添加至少一个隐藏层并且如先前示例中那样添加softmax分类器层来完成。
在另外的实施例中，所接收的包括单一感兴趣点的体积医学图像或其部分在图形用户接口上被显示，其中器官的所标识的类型的语义描述被生成并且在单一感兴趣点处或在其附近被显示。
以这种方式，用户可以快速地了解哪种类型的器官位于单一感兴趣点处。
根据一实施例，单一感兴趣点是由用户选择的。
例如，可以使用图形用户接口以及用以与图形用户接口交互以选择单一感兴趣点的输入设备(诸如指针设备)来选择单一感兴趣点。在另一个实施例中，可以使用键盘、数据文件等输入单一感兴趣点。
根据另外的实施例，单一感兴趣点是通过在图形用户接口上所显示的体积医学图像或其部分上暂停由用户操作的光标来选择的。
由于目前的分类(步骤d))是快的，例如花费少于10ms(这可能比用作图形用户接口的一部分的屏幕刷新率更快)，因此每当光标被暂停达短时间段时，可以显示与单一感兴趣点相关联的器官的类型，例如其语义描述。这里的“暂停”意味着操作者不移动光标。这允许用户(例如，医生)对体积医学图像进行快速且高效的分析。
根据另外的实施例，当用户关于体积医学图像或其部分进行测量时，器官的所标识的类型连同所进行的测量一起被保存在数据库中。
通常，用户将关于体积医学图像或其部分进行测量。例如，医生可以测量器官的大小或器官内的病变或肿瘤的大小。例如，该测量可以使用图形用户接口来执行。通过具有与特定器官相关联的测量，对其的未来参考被简化并且更高效。
根据另外的实施例，所述方法进一步包括：
接收用于标识特定于器官的异常的多个未经训练的分类器；
取决于所标识的器官从所述多个分类器中选择一个或多个未
经训练的分类器；以及
使用体积医学图像来训练所选择的一个或多个未经训练的分类器。
存在被配置用于标识体积医学图像中的器官类型的分类器(即，例如神经网络)。还存在用于标识特定于器官的异常的分类器(即，例如神经网络)。这些特定于器官的异常包括例如结节、病变和肿瘤。由于这些特定于器官的异常在其形状、纹理、密度等方面显著不同，因此优选的是，分别针对每种类型的器官训练这种分类器。因此，用于这种特定于器官的分类器的训练数据需要被归类(sort)，使得例如肺结节分类器利用示出了肺的体积医学图像来训练，肝脏病变分类器利用示出了肝脏的体积医学图来训练，等等。本方法可以有效地用于给相应的分类器供应合适的体积医学图像。
根据另外的实施例，所述方法进一步包括针对体积医学图像内的N-1个单一感兴趣点中的每一个执行和/或重复步骤a)至d)，其中N≤体积医学图像的体素的总数。
有时，需要确定针对体积医学图像中的许多单一感兴趣点的器官的类型。为此，本方法可以针对不同的单一感兴趣点被执行或重复多次。“N”是正数、实数并且是整数。这里，“执行”与“重复”之间的区别在于：执行可以并行地或以其他方式完成，而重复需要顺序方法。通常，N个感兴趣点将对应于被应用到体积医学图像的粗糙网格上的节点。换句话说，N个单一感兴趣点对应于如下网格：所述网格的网格间距超过体积医学图像中包含的体素的间距。优选地，所述网格具有规则的间距。然而，在其中N等于体素总数的极端情况下，可能获得与分割方法相比类似的结果。然而，利用本方法，所有单一感兴趣点都是彼此独立地被评估的。
优选地，步骤a)至d)在一个或多个处理单元上并行地执行。由此，可以进一步减少处理时间。
根据第二方面，提供了一种用于训练上述分类器(上面的步骤d))的计算机实现方法。所述方法包括：
a)接收体积医学图像，所述体积医学图像包括至少一个器官或其部分；并且接收所述至少一个器官的类型；
b)接收所述体积医学图像内的单一感兴趣点；
c)从所述体积医学图像对体素进行采样，其中至少一个体素在两个所采样的体素之间被跳过；
d)通过将未经训练的分类器应用于所采样的体素来标识所述单一感兴趣点处的器官的类型；
e)将器官的所标识的类型与器官的所接收的类型进行比较；以及
f)取决于步骤e)的比较来修改所述分类器，以获得经训练的分类器。
所述至少一个器官的所接收的类型可以在步骤a)之前被存储在数据库中。所述至少一个器官的类型可以在步骤a)之前通过人类研究在步骤a)处接收到的体积医学图像来确定，或者以其他方式来确定。根据步骤f)修改所述分类器可以包括：改变未经训练的或部分经训练的分类器的神经网络中的权重。
根据第三方面，提供了一种用于标识体积医学图像中的器官的类型的设备。所述设备包括：
一个或多个处理单元；
第一接收单元，其被配置成接收由医学成像单元捕获的一个
或多个体积医学图像；
第二接收单元，其被配置成接收所述一个或多个体积医学图像内的单一感兴趣点；以及
耦合到所述一个或多个处理单元的存储器，所述存储器包括被配置成执行如上面描述的方法步骤的模块。
相应的单元(例如处理单元或者第一或第二接收单元)可以以硬件和/或软件来实现。如果所述单元以硬件来实现，则它可以体现为设备，例如体现为计算机或处理器或系统(例如计算机系统)的一部分。如果所述单元以软件来实现，则它可以体现为计算机程序、函数、例程、程序代码或可执行对象。
根据第四方面，提供了一种用于标识体积医学图像中的器官的类型的系统。所述系统包括：
一个或多个服务器；以及
耦合到所述一个或多个服务器的医学成像单元；
所述一个或多个服务器包括指令，所述指令在被执行时使得所述一个或多个服务器执行如上面描述的所要求保护的方法步骤。
根据第五方面，一种包括机器可读指令的计算机程序产品，所述机器可读指令在由一个或多个处理单元执行时使得所述一个或多个处理单元执行如上面描述的方法步骤。
诸如计算机程序部件之类的计算机程序产品可以体现为存储卡、USB棒、CD-ROM、DVD或者可以从网络中的服务器下载的文件。例如，这种文件可以通过从无线通信网络传递包括所述计算机程序产品的文件来提供。
根据第六方面，一种计算机可读介质，其上保存有计算机程序的程序代码段，所述程序代码段可加载到系统中和/或可在系统中执行，以当所述程序代码段在所述系统中执行时，使得所述系统执行如上面描述的方法步骤。
关于第一方面描述的特征、优点和实施例同等地适用于第二和随后的方面，并且反之亦然。
“一”应理解为不限制于单个元件。相反，如果没有另行明确声明，则可以提供一个或多个元件。此外，步骤a)、步骤b)等中的“a”、“b”等不是定义特定的次序。相反，在技术人员认为合适时，这些步骤可以互换。
本发明的另外的可能实现方式或替代解决方案也涵盖了上面或下面关于实施例所描述的特征的组合——本文中没有明确提到这些组合。本领域技术人员还可以将个体或孤立的方面和特征添加到本发明的最基本形式。
附图说明
结合附图，本发明的另外实施例、特征和优点将根据随后的描述和从属权利要求而变得明显，在附图中：
图1图示了体现用于标识体积医学图像中的器官类型的系统的客户端-服务器架构的框图；
图2图示了体现用于标识体积医学图像中的器官类型的设备的数据处理系统的框图；
图3图示了用于标识体积医学图像中的器官类型的计算机实现方法的实施例的流程图；
图3A示出了体积医学图像的示例，其中一些体素被扫描，其他体素被跳过；
图4图示了根据一实施例的切片，该切片来自体积医学图像并且包括位置信息采样模型的部分；
图5示出了在图4的采样模型的定义中使用的不同三维网格；
图6示出了当将图4的采样模型应用于也在图4中示出的体积医学图像的切片时的采样强度值(描述符)；
图7示出了根据一实施例的图形用户接口；
图8示出了包括测量的图形用户接口；
图9示出了用以存储发现(findings)的数据库的实施例；
图10在示意图中示出了根据一实施例的在联邦学习(federated learning)方法中使用的不同分类器；
图11示出了根据一实施例的用于训练特定于器官的分类器的方法的流程图；
图12示出了粗略的肝脏分割的实施例；以及
图13示出了如本文中所使用的用于训练分类器的计算机实现方法的流程图。
具体实施方式
在下文中，详细描述了用于实行本发明的实施例。参考附图描述了各种实施例，其中相同的参考数字始终用于指代相同的元件。在以下描述中，出于解释的目的，阐述了众多具体细节，以便提供对一个或多个实施例的透彻理解。可能显然的是，这种实施例可以在没有这些具体细节的情况下实践。
图1提供了体现用于标识体积医学图像中的器官类型的系统的客户端-服务器架构的框图的图示。客户端-服务器架构100包括服务器101和多个客户端设备107A-N。客户端设备107A-N中的每一个经由网络105连接到服务器101，网络105例如是局域网(LAN)、广域网(WAN)、WiFi等。在一个实施例中，服务器101被部署在云计算环境中。如本文中所使用的，“云计算环境”指代包括可配置的计算物理和逻辑资源(例如网络、服务器、存储、应用、服务等)以及分布在网络105(例如互联网)上的数据的处理环境。云计算环境提供对可配置计算物理和逻辑资源的共享池的按需网络访问。服务器101可以包括医学数据库102，该医学数据库102包括由健康护理服务提供者维护的与多个患者相关的医学图像。在一实施例中，医学数据库102包括由MR扫描仪和/或由CT扫描仪捕获的体积医学图像。服务器101可以包括模块103，模块103被配置成执行标识体积医学图像中的器官的类型，特别地如下文中所描述的。
客户端设备107A-N是由用户使用的用户设备，例如诸如放射科医师、病理学家、内科医生等医学人员。在一实施例中，用户设备107A-N可以被用户用来接收与患者相关联的体积或2D医学图像。该数据可以由用户经由用户设备107A-N上的终端用户web应用的图形用户接口来访问。在另一个实施例中，请求可以被发送到服务器101，以经由网络105来访问与患者相关联的医学图像。
成像单元108可以通过网络105连接到服务器101。单元108可以是能够获取多个体积医学图像的医学成像单元108。医学成像单元108可以是例如扫描仪单元，诸如磁共振成像单元、计算机断层摄影成像单元、X射线荧光透视成像单元、超声成像单元等。
图2是数据处理系统101的框图，其中实施例可以被实现为例如用于标识体积医学图像中的器官类型的系统101，该系统101被配置成执行如本文中描述的过程。要领会的是，服务器101是图2中的该系统的示例性实现方式。在图2中，所述数据处理系统101包括处理单元201、存储器202、存储单元203、输入单元204、输出单元206、总线205和网络接口104。
如本文中使用的处理单元201意指任何类型的计算电路，诸如但不限于微处理器、微控制器、复杂指令集计算微处理器、精简指令集计算微处理器、超长指令字微处理器、显式并行指令计算微处理器、图形处理器、数字信号处理器或任何其他类型的处理电路。处理单元101还可以包括嵌入式控制器，诸如通用或可编程逻辑器件或阵列、专用集成电路、单芯片计算机等等。
存储器202可以是易失性存储器和非易失性存储器。存储器202可以被耦合用于与所述处理单元201通信。处理单元201可以执行存储在存储器202中的指令和/或代码。多种计算机可读存储介质可以被存储在所述存储器202中，并且可以从所述存储器202访问。存储器202可以包括用于存储数据和机器可读指令的任何合适的元件，诸如只读存储器、随机存取存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、硬盘驱动器、用于处理压缩盘、数字视频盘、磁盘、磁带盒、存储卡等等的可移除介质驱动器。在本实施例中，存储器201包括以机器可读指令的形式存储在任何上述存储介质上的模块103，并且可以与处理单元201通信并由处理单元201执行。当由处理单元201执行时，模块103使得处理单元201标识体积医学图像中的器官的类型。由处理单元201执行以实现上述功能的方法步骤在以下附图中详细地阐明。
存储单元203可以是存储医学数据库102的非暂时性存储介质。输入单元204可以包括能够提供输入信号(诸如鼠标输入信号或相机输入信号)的输入部件，诸如小键盘、触敏显示器、相机(诸如接收基于手势的输入的相机)、端口等。总线205充当处理器201、存储器202、存储单元203、输入单元204、输出单元206和网络接口104之间的互连。例如，可以经由网络接口104或输入单元204将体积医学图像读取到医学数据库102中。
本领域普通技术人员将领会，图1中描绘的所述硬件可以针对特定实现方式而变化。例如，除了所描绘的硬件之外或者代替于所描绘的硬件，还可以使用其他外围设备，诸如光盘驱动器等等、局域网(LAN)/广域网(WAN)/无线(例如，Wi-Fi)适配器、图形适配器、盘控制器、输入/输出(I/O)适配器。所述所描绘的示例仅仅是出于解释的目的而提供的，并且不意味着暗示关于本公开的架构限制。
根据本公开的实施例的数据处理系统101可以包括采用图形用户接口(GUI)的操作系统。所述操作系统准许在图形用户接口中同时呈现多个显示窗口，其中每个显示窗口提供至不同应用或者至同一应用的不同实例的接口。所述图形用户接口中的光标可以由用户通过定点设备来操纵。可以改变光标的位置和/或生成诸如点击鼠标按钮之类的事件来致动期望的响应。
如果被适当修改，可以采用各种商业操作系统之一，诸如Microsoft WindowsTM的版本，其是位于华盛顿州雷蒙德市的微软公司的产品。所述操作系统是根据如所描述的本公开被修改或创建的。所公开的实施例提供了用于处理医学图像的系统和方法。
图3图示了用于标识体积医学图像中的器官的类型的方法的实施例的流程图。
在步骤305中，接收体积医学图像305(见下面的图3A)。体积医学图像305例如通过网络接口104或输入单元203在数据处理系统101中被接收。
如图3A所示的体积医学图像305由体素306、307、308的三维阵列组成。该阵列在图3A中被图示为在透视图中看到的长方体(cuboid)。长方体包括在所有三个维度x、y、z上延伸的体素306、307、308的行和列。为了使图3A更加可读，示出了长方体内的体素306、307、308中的仅一些。
代替于三维阵列，本文中解释的方法还可以使用多个切片(像素的二维阵列)，这些切片合在一起描述了(三维)体积。事实上，可以使用包括诸如强度之类的值并且描述了三维空间的任何其他数据结构。任何这种值在本文中被称为“体素”。该值可以与描述其相对于其他值的三维关系的信息组合，或者三维关系可以从该数据结构或任何其他源被推断出。
体积医学图像305包括至少一个器官309或其部分。在图3A的示例中，器官309(例如，肺或肾脏)的一部分由体积医学图像305中的散列化(hashed)体素308来表示。
在步骤302中，接收体积医学图像内的单一感兴趣点310。如稍后将更详细地解释的，单一感兴趣点310可以由用户例如通过图形用户接口使用诸如鼠标之类的指针设备来选择。单一感兴趣点310可以例如通过网络接口104或输入单元204(见图2)来接收。
单一感兴趣点310是体积医学图像中的点，对于该点，期望标识对应于所述点的器官309的类型。所述单一感兴趣点310可以通过以x、y、z的坐标来描述，并且可以对应于长方体中的具体体素。例如，如果使用鼠标来选择单一感兴趣点310，即鼠标光标的坐标，那么一旦完成了对单一感兴趣点310的选择，例如通过在该图像上点击或暂停光标，所述坐标x、y、z例如经由输入单元204被传输到数据处理系统101。
在步骤303中，从体积医学图像305对体素306、308进行采样。为此，例如，模块103(见图2)从数据库102中包含的体积医学图像305读取体素306、308。至少一个体素307在两个所采样的体素306、308之间被跳过。在图3A中，所采样的体素用勾号(tick)指定，而被跳过或未被采样的体素用叉号(cross)指定。在图3A的实施例中，在由相邻体素306、307、308定义的体素行中，仅每隔一个(every second)的体素306、308被采样。体素306、308可以被顺序地或并行地采样。
为了定义哪些体素被采样以及哪些不被采样，模块103可以包括对应的采样模型，该采样模型可以是算法或另一类型的代码。替代地，该采样模型可以由用户经由输入单元204来定义或者经由网络接口104来供应。
在步骤303的实施例中，体素306、308以稀疏方式被采样。也就是说，在体积医学图像305中被采样的体素的数量少于体积医学图像中包含的体素的总数。特别地，为了被认为是稀疏的，样本体素的数量可以少于体素总数的50％、少于20％或少于10％。在一个实施例中，所采样的体素306、308少于体积医学图像305中的体素总数的1％，优选地少于0.1％，并且更优选地少于0.01％。
此外，体素可以以随机方式被采样(除了至少一个体素在两个所采样的体素之间被跳过之外)。例如，可以使用随机数生成器或伪随机数生成器来标识体积医学图像305中的要被采样的体素306、307、308以及不被采样的其他体素。例如，这种随机数生成器或伪随机数生成器可以是采样模型的一部分，或者可以用于提供如上所描述的采样模型。
特别地，本发明人发现，如果在步骤303中以每单位长度、面积或体积的采样率对体素306、308进行采样，则是有益的，该采样率随着距单一感兴趣点310的距离311而降低。所发现的是，当采样率以非线性速率、特别是以指数、对数或幂函数的速率降低时，结果改进得更多。
在这点上，参考图4和5，图4和5示出了从体积医学图像305取得的2D切片401中的稀疏采样模型400的示例(出于附图的可读性的原因，用参考数字400a、400b、400c标记了采样模型400的仅一些点)。采样模型400被设计成以每单位体积的采样率来提供稀疏采样，该采样率随着x、y和z方向上的距离而降低。由于图4示出了2D图像，因此对应于与图4中所示图像的平面垂直的深度的y方向未被图示，而是对应于针对图4中的x和z方向所示的采样率。
图5图示了例如在图4的采样模型400的定义中使用的不同网格间距的三个3D网格。立方体(或长方体)被指定为501、502和503。立方体501、502、503彼此嵌套，其中最小的立方体501例如在其中心处包含单一感兴趣点310。每个立方体分别包含网格。立方体501包含网格504，立方体502包含网格505，并且立方体503包含网格506。网格504、505、506可以具有规则的间距，该间距在其内定义了立方体或长方体。出于说明的目的，网格504、505、506仅以2D(即，在纸张的平面中)示出并且仅部分地示出。网格间距被定义为相应网格的两个相邻节点之间的距离。任何节点被定义为三条网格线的交点。如针对网格506更详细示出的，两个节点507、508相距距离D6。类似地，网格504的网格间距由距离D4定义，并且网格505的网格间距由距离D5定义。
在本发明人所做的实验中，D4被选择为8mm，D5被选择为20mm，并且D6被选择为80mm。所考虑的节点507、508仅仅是每个立方体(或长方体)的体积减去嵌套在所述立方体内部的最大立方体(或长方体)的体积内的那些节点。例如，对于立方体503，节点507、508被认为在立方体503的体积内部，而它们不位于立方体502的体积内。
节点507、508定义了采样模型400，并且因此定义了在体积医学图像305中被采样的体素306、308(见图3A)。因此，当利用采样模型400对体积医学图像305进行采样时，1，195个体素被采样(即，例如，从数据库102读取的它们的强度值)，而体积医学图像中的体素总数为25,000,000。因此，体素总数的少于0.1％被采样。图6中示出了在图4的切片中被采样的体素，这些体素在图像中被放在一起。
当转到图3时，示出了步骤304，其中通过将经训练的分类器应用于所采样的体素306、308，在单一感兴趣点310处标识器官309的类型。经训练的分类器是神经网络，特别是多层感知器、卷积神经网络、孪生(Siamese)网络或三元组(triplet)网络。
图4和5图示了本发明人所设计的方法的有效性。
初始地，出于比较的目的，可以使用分割来找到体积医学图像305的每个体素的标签(器官的类型)，图4示出了该体积医学图像305的2D切片。特别地，可以使用U-Net分割算法。U-Net是一种卷积神经网络，它是在弗赖堡大学的计算机科学系开发的，用于生物医学图像分割。分割通常花费10s[秒]，如Hatamizadeh，Ali等人的“UNETR：Transformers for3D Medical Image Segmentation.”，arXiv：2103.10504v3(2021)中所描述。
另一方面，使用具有描述符(使用采样模型400导出的)的经训练的分类器，在单一感兴趣点310处找到标签(即器官类型)仅花费10ms，这是本发明人在实验中确定的。本实验中所使用的经训练的分类器是ResNet(残差神经网络)分类器。ResNet使用具有数百个层的非常深的前馈神经网络。
当本发明人以经典方式来应用ResNet分类器时，即通过对体积医学图像305中的体素总数进行采样，并且求解单一感兴趣点410处的标签(器官类型)，数据处理花费大约1秒。
图7在一实施例中示出了例如显示在客户端设备107A-N之一上的图形用户接700的一部分。在图7中，图形用户接700示出了体积医学图像305的切片，该切片显示了在器官309的一部分上暂停的鼠标光标701。通过使光标701在体积医学图像305上暂停达预定量的时间，用户选择体积医学图像305中的单一感兴趣点310。因此，单一感兴趣点310的对应坐标被传输到例如模块103(见图2)，并且模块103通过执行步骤301至304来确定单一感兴趣点310对应于哪种类型的器官。
在该示例中，所找到的是，器官309是肺。因此，模块103或另一件软件和/或硬件生成语义描述，例如“肺”，该语义描述然后在单一感兴趣点310处或在其附近被显示(如在图7的示例中那样)。
在图8中，用户使用图形用户接700对器官309进行测量800，该器官309已经例如使用方法步骤301至304针对单一感兴趣点310被标识为“左肾脏”。例如，进行诸如肿瘤的大小、器官309的大小等的测量800。模块103或任何其他软件和/或硬件可以被配置成将测量800(在当前情况下是由距离线指示的长度，例如40mm)连同标签(在与测量800相关联的单一感兴趣点310处找到的器官类型)一起存储在图9中所示的数据库900中。数据库900也可以被存储在存储器203(见图2)中。在数据库900中，多个测量800连同对应的单一感兴趣点310的语义标签702和坐标901(x、y、z)被存储。信息800、702、901可以被存储在阵列902中。多个阵列902可以被存储在数据库900中。
图10图示了图3中所解释的方法向联邦学习的应用。数据库102存储多个体积医学图像305。在一个实施例中，模块103使用每个图像305中的预定义的单一感兴趣点以及预定义的分类器400来标识每个图像305中所示的器官309的类型。取决于所标识的器官类型，模块103将被发现示出了肺的图像305提供给肺结节分类器1001。被发现示出了肝脏的图像305′被提供给肝脏病变分类器1002。被发现示出了肾脏的图像305″被提供给肾脏病变分类器1003。
特别地，用于联邦学习的方法可以如图11中所示的那样来实现。
初始地，例如由模块103接收未经训练的分类器1001至1003(步骤1101)。未经训练的分类器1001至1003被配置成：当经训练时，标识特定于器官的异常。例如，肺结节分类器1001在经训练时被配置成检测肺中的结节。类似地，病变分类器1002在经训练时被配置成检测病变和肝脏等等。
在步骤1102中，模块103从未经训练的分类器1001至1003中选择那些对应于体积医学图像305中的在步骤304(见图3)中标识的具体器官的分类器。
在步骤1103中，使用示出了对应器官的体积医学图像305来训练未经训练的分类器1001至1003。
为了训练，针对每个体积医学图像305，特定于器官的异常必须是已知的。这种信息优选地也被存储在数据库102中，并且在训练步骤1102期间使用。
有利地，在图10和11的方法中，步骤304的分类器可以用作门控机构(gatingmechanism)，以将传入数据(特别是体积医学图像305)引导至正确的特定于器官的分类器1001至1003。因此，不需要完全分割来有效地训练分类器1001至1003。该门控机构可以用于训练分类器1001至1003，但是也可以在应用阶段处使用。此外，图3的方法可以被应用于相同体积医学图像305中的多个单一感兴趣点310。在其中多个器官在相同体积医学图像305中被标识的情况下，这种体积医学图像可以被分成或划分成不同的子图像，每个子图像示出一个器官309。然后可以使用这些子图像来训练特定于器官的分类器1001至1003：当在子图像中被标识的器官对应于分类器1001至1003所特定的器官时，相应的分类器1001至1003在该图像上被训练。
在应用阶段处，例如由模块103在步骤304之后的过程步骤中基于所标识的器官来选择经训练的特定于器官的分类器1001至1003，然后将该经训练的特定于器官的分类器1001至1002应用于体积医学图像305或子图像。因此，上面描述的方法不仅适用于标识器官的类型，而且也适用于标识器官内的特定异常。
图12示出了其中针对体积医学图像305内的N个单一感兴趣点执行步骤301至304(见图3)的实施例。例如，选择粗略网格，诸如图5中的网格506(在该示例中，网格504和505不存在，但是网格506填充了立方体503的整个体积)。每个节点507、508被选择作为相应的单一感兴趣点310。然后，例如，使用相同的采样模型400(然而，可能会移动该采样模型，使得当被应用于体积医学图像305时，单一感兴趣点310保持在采样模型400的中心处)，对体素306、308进行采样。作为结果，在相应的步骤304处标识每个感兴趣点507、508处的器官309的类型。可以连续地或者针对每个节点507、508并行地执行步骤301至304。网格间距(即，距离D6(见图5))被选择为大于体积医学图像305中的两个相邻体素305、306、307的间距。作为结果，获得了如图12中所示的粗略级别的分割。尽管如此，没有使用这种分割神经网络，而是应用了分类器来获得该粗略级别的分割。在图12的示例中，距离D6(见图5)等于1cm(分辨率)。在没有任何额外预处理步骤的情况下，获得如图12中所示的分割在CPU硬件上仅花费了0.41s。
图13示出了用于训练在步骤304(见图4)中使用的分类器的方法的实施例。
在步骤1201中，接收体积医学图像305、连同标识了体积医学图像305中所示的至少一个器官309的类型的标识符(标签)。标识符可以对应于图7和8中所提及的语义标签702，或者可以具有任何其他合适的形式。标识符可以通过在步骤1201之前将完全分割应用于体积医学图像305来获得，从而针对图像305中的每个体素提供标识符。
在步骤1202中，接收体积医学图像305内的单一感兴趣点310。出于训练的目的，例如，单一感兴趣点可以被预先确定或随机生成。
在步骤1203中，从体积医学图像305对体素进行采样，其中至少一个体素307在两个所采样的体素306、308之间被跳过。
在步骤1204中，通过将未经训练的分类器应用于所采样的体素306、308来标识单一感兴趣点310处的器官309的类型。
关于图3的方法给出的特征、优点和解释同等地适用于步骤1201至1204。特别地，可以使用如上所描述的采样模型400来执行步骤1203中的采样，从而加快训练过程，并且同时使其可靠。
在步骤1205中，将器官309的所标识的类型与器官的所接收的类型进行比较。
在步骤1206中，取决于该比较，修改分类器。例如，在分类器中调整(adapt)权重，以提供经训练的分类器。可以针对不同的体积医学图像305重复步骤1201至1206，直到分类器已经被完全训练。可以使用图1和2中描述的设备101或系统100来执行步骤1201至1206。特别地，可以使用模块103或任何其他硬件和/或软件来执行步骤1201至1206。
前述示例仅仅是出于解释的目的而提供的，并且决不应被解释为对本文中公开的本发明的限制。虽然已经参考各种实施例描述了本发明，但是要理解的是，已经在本文中使用的词语是描述和说明性的词语，而不是限制性的词语。此外，尽管在本文中已经参考特定的部件、材料和实施例描述了本发明，但是本发明并不意图被限制于本文中公开的细节，相反，本发明扩展到所有功能上等同的结构、方法和用途，诸如在所附权利要求的范围内。受益于本说明书的教导，本领域技术人员可以对其进行众多修改，并且改变可以在不脱离本发明的其各方面的范围和精神的情况下被做出。
参考符号
100 系统
101 计算机实现的设备
102 医学数据库
103 模块
104 网络接口
105 网络
107A-107N 客户端设备
108 医学成像单元
201 处理单元
202 存储器
203 存储单元
204 输入单元
205 总线
206 输出单元
301-304 方法步骤
305 体积医学图像
305′ 体积医学图像
305″ 体积医学图像
306-308 体素
309 器官
310 单一感兴趣点
311 距离
x、y、z 空间中的正交方向
400 采样模型
400a-400c 点
401 切片
501-503 立方体
504-506 网格
507、508 节点
D4、D5、D6 距离
700 HMI
701 光标
702 标签
800 测量线
900 数据库
901 坐标
902 阵列
1001-1003 分类器
1101-1103 方法步骤
1201-1206 方法步骤

Claims (15)

1.一种用于标识体积医学图像(305)中的器官(309)的类型的计算机实现方法，所述方法包括：
a)接收体积医学图像(305)，所述体积医学图像(305)包括至少一个器官(309)或其部分；
b)接收所述体积医学图像(305)内的单一感兴趣点(310)；
c)从所述体积医学图像(305)对体素(306、308)进行采样，其中至少一个体素(307)在两个所采样的体素(306、308)之间被跳过；以及
d)通过将经训练的分类器应用于所采样的体素(306、308)来标识所述单一感兴趣点(310)处的器官(309)的类型。
2.根据权利要求1所述的方法，
其中步骤c)包括以稀疏和/或随机方式对所述体素(306、308)进行采样。
3.根据权利要求1或2所述的方法，
其中步骤c)包括以每单位长度、面积或体积的采样率对所述体素(306、308)进行采样，所述采样率随着相应体素(306、308)距所述单一感兴趣点(310)的距离(311)而降低。
4.根据权利要求3所述的方法，
其中所述采样率以非线性速率而降低，特别是以指数、对数或幂函数的速率而降低。
5.根据权利要求1至4中的一项所述的方法，
其中所采样的体素(306、308)少于所述体积医学图像(305)中的体素(306、307、308)的总数的1％，优选地少于0.1％，并且更优选地少于0.01％。
6.根据权利要求1至5中的一项所述的方法，
其中所述经训练的分类器是神经网络，特别是多层感知器、卷积神经网络、孪生网络或三元组网络。
7.根据权利要求1至6中的一项所述的方法，
其中包括所述单一感兴趣点(310)的所述体积医学图像(305)或其部分在图形用户接口(700)上被显示，其中器官(390)的所标识的类型的语义描述(702)被生成并且在所述单一感兴趣点(310)处或在其附近被显示。
8.根据权利要求1至7中的一项所述的方法，其中：
所述单一感兴趣点(310)是由用户选择的；和/或
所述单一感兴趣点(310)是通过在图形用户接口(700)上所显示的所述体积医学图像(305)或其部分上暂停由用户操作的光标(701)来选择的；和/或
当用户关于所述体积医学图像(305)或其部分进行测量(800)时，器官(309)的所标识的类型连同所进行的测量(800)一起被保存在数据库(900)中。
9.根据权利要求1至8中的一项所述的方法，包括：
接收用于标识特定于器官的异常的多个未经训练的分类器(1001-1003)；
取决于所标识的器官(309)从所述多个分类器中选择一个或多个未经训练的分类器(1001-1003)；以及
使用所述体积医学图像(305)来训练所选择的一个或多个未经训练的分类器(1001-1003)。
10.根据权利要求1至9中的一项所述的方法，
包括针对所述体积医学图像(305)内的N-1个单一感兴趣点(310)中的每一个执行和/或重复步骤a)至d)，其中N≤所述体积医学图像(305)的体素(306、307、308)的总数。
其中优选地，步骤a)至d)在一个或多个处理单元(201)上并行地执行；和/或
其中优选地，N个单一感兴趣点(310)对应于网格(506)，所述网格(506)的网格间距(D6)超过所述体积医学图像(305)中包含的体素(306、307、308)的间距。
11.一种用于训练权利要求1至10中的一项所述的分类器的计算机实现方法，所述方法包括：
a)接收体积医学图像(305)，所述体积医学图像包括至少一个器官(309)或其部分；并且接收所述至少一个器官(309)的类型；
b)接收所述体积医学图像(305)内的单一感兴趣点(310)；
c)从所述体积医学图像(305)对体素(306、308)进行采样，其中至少一个体素(307)在两个所采样的体素(306、308)之间被跳过；
d)通过将未经训练的分类器应用于所采样的体素(306、308)来标识所述单一感兴趣点(310)处的器官(309)的类型；
e)将器官(309)的所标识的类型与所述至少一个器官的所接收的类型进行比较；以及
f)取决于步骤e)的比较来修改所述分类器，以获得经训练的分类器。
12.一种用于标识体积医学图像(305)中的器官(309)的类型的设备(101)，所述设备(101)包括：
一个或多个处理单元(201)；
第一接收单元(104、204)，其被配置成接收由医学成像单元(108)捕获的一个或多个体积医学图像(305)；
第二接收单元(104、204)，其被配置成接收所述一个或多个体积医学图像(305)内的单一感兴趣点(310)；以及
耦合到所述一个或多个处理单元(201)的存储器(202)，所述存储器(202)包括被配置成执行如权利要求1至11中任一项所述的方法步骤的模块(103)。
13.一种用于标识体积医学图像(305)中的器官(309)的类型的系统(100)，所述系统(100)包括：
一个或多个服务器(101)；以及
耦合到所述一个或多个服务器(101)的医学成像单元(108)；
所述一个或多个服务器(101)包括指令，所述指令在被执行时使得所述一个或多个服务器(101)执行如权利要求1至11中任一项所述的方法步骤。
14.一种包括机器可读指令的计算机程序产品，所述机器可读指令在由一个或多个处理单元(201)执行时使得所述一个或多个处理单元(201)执行根据权利要求1至11所述的方法步骤。
15.一种计算机可读介质，其上保存有计算机程序的程序代码段，所述程序代码段可加载到系统(100)中和/或可在系统(100)中执行，以当所述程序代码段在所述系统(100)中执行时，使得所述系统(100)执行根据权利要求1至11中任一项所述的方法步骤。
CN202310799243.5A 2022-06-30 2023-06-30 用于标识体积医学图像中的器官的类型的方法 Pending CN117333692A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22182378.4 2022-06-30
EP22182378.4A EP4300433A1 (en) 2022-06-30 2022-06-30 Method for identifying a type of organ in a volumetric medical image

Publications (1)

Publication Number Publication Date
CN117333692A true CN117333692A (zh) 2024-01-02

Family

ID=82493934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310799243.5A Pending CN117333692A (zh) 2022-06-30 2023-06-30 用于标识体积医学图像中的器官的类型的方法

Country Status (4)

Country Link
US (1) US20240005493A1 (zh)
EP (1) EP4300433A1 (zh)
JP (1) JP2024006985A (zh)
CN (1) CN117333692A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110007954A1 (en) * 2009-07-07 2011-01-13 Siemens Corporation Method and System for Database-Guided Lesion Detection and Assessment
WO2016182551A1 (en) * 2015-05-11 2016-11-17 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks
US11842498B2 (en) * 2019-12-16 2023-12-12 Siemens Healthineers International Ag Systems and methods for automatic segmentation in medical imaging with multiple anatomical structure segmentation models

Also Published As

Publication number Publication date
US20240005493A1 (en) 2024-01-04
JP2024006985A (ja) 2024-01-17
EP4300433A1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
US10417788B2 (en) Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
US9892361B2 (en) Method and system for cross-domain synthesis of medical images using contextual deep network
EP3355273B1 (en) Coarse orientation detection in image data
CN109753866A (zh) 机器学习中具有密集特征金字塔网络架构的医学图像对象检测
EP4141790A1 (en) Method, device and system for automated segmentation of prostate in medical images for tumor detection
Laghari et al. How to collect and interpret medical pictures captured in highly challenging environments that range from nanoscale to hyperspectral imaging
Pradhan et al. Machine learning model for multi-view visualization of medical images
US20240005650A1 (en) Representation learning
Singh et al. Attention-guided residual W-Net for supervised cardiac magnetic resonance imaging segmentation
WO2021116011A1 (en) Medical image segmentation and atlas image selection
EP4300433A1 (en) Method for identifying a type of organ in a volumetric medical image
CN116420165A (zh) 通过具有和不具有形状先验的分割结果来检测解剖异常
EP4300414A1 (en) Transferring marker locations from a reference image to a follow-up medical image
Aboussaleh et al. 3DUV-NetR+: A 3D hybrid Semantic Architecture using Transformers for Brain Tumor Segmentation with MultiModal MR Images
Ramesh et al. Hybrid U-Net and ADAM Algorithm for 3DCT Liver Segmentation
US20220254012A1 (en) Methods, devices, and systems for determining presence of appendicitis
Srivastava et al. Segmentation of Liver in CT images using 3D-Res-UNet
US20240087304A1 (en) System for medical data analysis
비젠 et al. Brain MRI segmentation and Alzheimer’s disease classification using CNN
Kovalev et al. A comparative study of three deep learning-based methods for segmentation of lung lesions associated with COVID-19 in 3D CT images
Zanjani Deep Learning Techniques for Multi-Dimensional Medical Image Analysis
Baker et al. Predicting Lung Cancer Incidence from CT Imagery
Xue Sensorless ultrasound probe 6DoF pose estimation through the use of CNNs on image data
Asna Unet 3+ For Brain Tumor Segmentation: A Study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination