CN113888520A - 用于生成牛眼图的系统和方法 - Google Patents

用于生成牛眼图的系统和方法 Download PDF

Info

Publication number
CN113888520A
CN113888520A CN202111207143.6A CN202111207143A CN113888520A CN 113888520 A CN113888520 A CN 113888520A CN 202111207143 A CN202111207143 A CN 202111207143A CN 113888520 A CN113888520 A CN 113888520A
Authority
CN
China
Prior art keywords
slice
slice images
slice image
myocardium
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111207143.6A
Other languages
English (en)
Inventor
郭溢沫
陈潇
孙善辉
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN113888520A publication Critical patent/CN113888520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

可以基于心脏磁共振成像(CMRI)生成牛眼图以便于诊断和治疗心脏病。本文描述了与牛眼图生成相关联的系统、方法和装置。可以获得多个心肌节段，以便基于在心脏的短轴和长轴磁共振(MR)切片图像中检测到的界标点并通过根据在CMRI期间生成切片图像的次序顺序安排短轴MR切片图像来构建牛眼图。可以利用短轴MR切片图像在长轴MR切片图像上的投影位置以及投影位置到长轴MR切片图像的界标点的相应距离来确定短轴MR切片图像的顺序次序。可以使用人工神经网络在短轴和/或长轴MR切片图像中识别心肌和/或界标点。

Description

用于生成牛眼图的系统和方法
技术领域
本申请涉及磁共振成像领域。
背景技术
心脏磁共振成像(CMRI)是用于非侵入性心脏诊断的标准成像模式。使用CMRI，可以在不同扫描或检查过程期间的多个心动周期期间采集人体心脏的高分辨率和多切片图像解剖图像。然后，可以综合和呈现CMRI数据，以使人类心脏的区域可视化，并提供心脏状况的直观概观，心脏状况包括例如心肌质量、心肌应变力、壁厚等。用于呈现CMRI数据的示例技术是通过构建其中心肌被分成多个标准节段的牛眼图，并确定诸如各个节段的心肌应变力的定量和/或定性信息。然后，可以通过参考牛眼图中的心肌的标准节段以及与各个节段相关联的定量和/或定性信息来执行诊断和/或治疗。由于牛眼图在临床决策中起重要作用，因此非常期望确保基于CMRI成像准确地确定本文所述的标准心肌节段，并且构建牛眼图以真实地反映人类心脏的解剖结构。
发明内容
本文描述了与基于CMRI成像生成牛眼图相关联的系统、方法和装置。本文所述的一种牛眼图生成设备可以包括一个或多个处理器，其被配置为基于沿着人类心脏的短轴进行的第一心脏磁共振成像(CMRI)扫描来获得多个第一磁共振(MR)切片图像，并且基于沿着人类心脏的长轴进行的第二CMRI扫描来获得第二MR切片图像。一个或多个处理器还可以被配置为确定与人类心脏相关联的一个或多个第一界标点和与人类心脏相关联的第二界标点，并且利用第一界标点和第二界标点来促进牛眼图的生成。比如，一个或多个第一界标点可指示人类心脏的左心室(LV)的中心和/或LV与人类心脏的右心室(RV)相交之处，第二界标点可指示心肌的心尖，并且一个或多个处理器可被配置为确定(例如，使用与CMRI扫描相关联的元数据)第一MR切片图像在第二MR切片图像上的相应投影位置。基于这些投影位置到第二界标点的相应距离，一个或多个处理器可以例如根据第一MR切片图像的原始扫描顺序来顺序地安排第一MR切片图像。一个或多个处理器然后可以基于顺序安排的第一MR切片图像和一个或多个第一界标点来确定要被包括在牛眼图中的多个心肌节段，并且使用多个心肌节段来生成牛眼图。
在实施例中，牛眼图生成设备的一个或多个处理器可以被配置为使用人工神经网络来分割第一MR切片图像中的至少一个切片图像以识别LV、RV和心肌。牛眼图生成设备的一个或多个处理器还可以被配置为使用人工神经网络来确定第一界标点和/或第二界标点。在实施例中，可以基于第一MR切片图像的投影位置到心肌的心尖的相应距离从心底切片图像到心尖切片图像顺序地安排第一MR切片图像，其中，心底切片图像可以对应于距心尖具有最长距离的投影位置，而心尖切片图像可以对应于距心尖具有最短距离的投影位置。在实施例中，牛眼图生成设备的一个或多个处理器还可以被配置为基于第一MR切片图像的投影位置到心肌的心尖的相应距离来确定第一CMRI扫描的方向。
附图说明
从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。
图1A和图1B是例示了心肌的示例多节段牛眼图和获得牛眼图的节段的示例方式的图。
图2是例示了分割心脏图像并确定可以包括在牛眼图中的多个心肌节段的示例的图。
图3是例示了分割心脏图像以识别图像中的心肌的示例的框图。
图4是例示了确定分割掩膜中的多个界标点并基于界标点获得多个心肌节段的示例的图。
图5是例示了基于对应的长轴MR图像的顺序次序安排短轴MR切片图像的示例的图。
图6是例示了本文所述的牛眼图生成设备的示例操作的流程图。
图7是例示了用于训练神经网络的示例过程的流程图，该过程可以由本文所述的牛眼图生成设备来实施。
图8是例示了本文所述的牛眼图生成设备的示例部件的框图。
具体实施方式
在附图的各图中，通过示例而非限制性的方式例示了本公开。
图1A例示了人类心脏的示例牛眼图100，并且图1B例示了将心肌分成牛眼图100中包括的节段的方式。如图所示，牛眼图100可以包括十七个节段。十七个节段中的十六个节段可以各自属于心肌的心底部分、心肌的中间(或中部)部分或心肌的心尖部分。例如，心底部分可以包括分别标记为1-6的六个节段，中间部分也可以包括分别标记为7-12的六个节段，并且心尖部分可以包括分别标记为13-16的四个节段。另外，牛眼图100还可以包括可以对应于诸如心肌心尖的心脏心尖的第17节段。
牛眼图100可以基于在心动周期的不同阶段期间生成的心脏的图像来生成，这些阶段包括例如舒张末期(ED)阶段和/或收缩末期(ES)阶段。图2例示了可以由本文所述的牛眼图生成设备采用以基于心脏的图像来构建牛眼图(例如，牛眼图100)的示例技术。图像可以从心脏的一个或多个磁共振成像(MRI)扫描中获得，并且可以包括源自MRI扫描的多个磁共振(MR)切片图像。比如，MR切片图像可以包括多个第一切片图像，这些第一切片图像源自沿着人类心脏的短轴进行的第一MRI扫描。MR切片图像还可以包括多个第二MR切片图像，其源自沿着人类心脏的长轴进行的第二MRI扫描。当在本文中描述时，心脏的长轴可以是使心脏的心底和心脏的心尖对齐的轴线，并且心脏的长轴可以是垂直于心脏的短轴的轴线。
如图2所示，牛眼图生成设备可以获得多个第一MR切片图像，这些第一MR切片图像可以包括沿着心脏短轴拍摄的MR切片图像202。MR切片图像202可以包括在一段时间(例如，一个或多个心动周期)内拍摄的心脏的多个MRI图像(例如，以影片的形式)。MR切片图像202中的各个MRI图像可以包括左心室(LV)、右心室(RV)、心肌、左心房和/或右心房的全部或部分的视觉表示。根据这些图像和其中包含的心脏的视觉表示，牛眼图生成设备可以识别(例如，分割)LV 204、RV 206和/或心肌206，并且进一步将心肌206划分成多个节段，这些节段然后可以用于构建图1所示的牛眼图。例如，MR切片图像202可以包括心肌206的心底部分的视觉表示，并且牛眼图生成设备可以被配置为根据MR切片图像202中包括的图像分割心肌206，并且还将心肌206分成与图1中的牛眼图的节段1-6相对应的六个节段208(例如，在图2中由不同深浅的颜色表示)。同样，牛眼图生成设备还可以被配置为基于表示心肌206的中间部分和心尖部分的MR切片图像来分割和划分心肌206的这些部分(例如，分别分割成六个节段和四个节段)。
牛眼图生成设备可以包括被训练成执行本文所述的分割任务的人工神经网络。图3示出了示例分割神经网络302，该示例分割神经网络可以由牛眼图生成设备实施，以从人类心脏的图像306分割心肌304(例如，以在图像306中描绘心肌304)。如本文所述，图像306可以是包括在MR切片图像(例如，由CMRI产生)中的心脏的MRI图像。图像306可以包括具有相应特征(例如，变化的亮度、对比度、强度、梯度等)的多个像素。分割神经网络302可以是卷积神经网络(CNN)，诸如深度卷积神经网络，该卷积神经网络已经被训练，以例如经由分割图或分割掩模将图像306的一个或多个部分(例如，一个或多个像素)识别为属于心肌304并且指示心肌(例如，心肌的位置和/或边界)。分割神经网络302可以包括一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层。各个卷积层可以包括被配置为识别图像306中的特定特征(例如，关键点)或图案的多个核或过滤器。核或过滤器可以与可以经由训练过程学习的相应权重相关联。在一个卷积层的输出(例如，以特征图的形式)被提供为下一卷积层的输入之前，各个卷积层的卷积运算之后可以是批归一化和/或激活(例如，使用修正线性单元(ReLU)函数)。由卷积层生成的特征图可以通过分割神经网络302的一个或多个池化层(例如，使用2×2窗口和步幅2)被下采样，例如，以减少在图像306中识别的特征的冗余和/或尺寸(例如，以系数2)。
随后，下采样后的特征可以由分割神经网络302例如经由一系列转置卷积运算(例如，使用步幅为2的3×3转置卷积核)来上采样，以恢复与所识别的特征相关联的细节。可以基于这些操作导出一个或多个密集特征图，这些特征图可以指示图像306的各个区域或像素的视觉特征。基于这些视觉特征，图像306的区域或像素的子集可以被分类(例如，经由分割神经网络302的全连接层)为属于心肌304，并且可以生成分割掩模308以指示分类和/或分割。分割神经网络302可以从可以包括人类心脏的大量MRI图像的训练数据集学习心肌的视觉特征，并且可以基于与损失函数相关联的梯度下降来采集分割神经网络302的参数(例如，本文所述的权重)，该损失函数表示由神经网络估计的分割与用于分割的金标准(例如，心肌的注释区域)之间的差异。下面将更详细地描述分割神经网络302的训练。可以被训练为执行分割任务的神经网络的示例可以在2020年6月18日提交的标题为“Systems andMethods for Image Segmentation”的共同转让的美国专利申请号16/905,115和2020年9月8日提交的标题为“Hierarchical Systems and Methods for Image Segmentation,”的美国专利申请号17/014,594中找到，据此以引证的方式将上述申请的公开内容全文并入。
尽管图3中未示出，但是分割神经网络302也可以被训练为基于图像306分割(例如，与心肌的分割同时)人类心脏的其他部分，诸如LV和RV。替代地或另外地，本文所述的牛眼图生成设备可实施被配置为分割心脏的那些其他部分(例如LV或RV)的附加神经网络。这些附加神经网络可以具有与分割神经网络302类似的结构，但是可以被训练(例如，使用与分割神经网络302不同的训练数据集)为具体地识别心脏的其他部分。
本文所述的牛眼图生成设备还可以被配置为基于多个第一MR切片图像来确定与人类心脏相关联的一个或多个第一界标点，并且基于多个第二MR切片图像来确定与人类心脏相关联的一个或多个第二界标点，并且使用第一界标点和第二界标点来促进牛眼图的生成。图4示出了利用界标点402a、402b和402c来划分心肌以获得牛眼图的节段的示例。在该示例中，界标点402a和402b可表示RV与LV相交的点(例如，在前部和下部LV心肌处)，并且界标点402c可表示LV的中心。界标点402a和402b可以将心肌406分成两部分404和406，其中，部分404可以比部分406短。由此可见，为了获得用于牛眼图的心肌的心底部分和中间部分的节段，牛眼图生成设备可以被配置为将较短部分404分成(例如，相等地)两个节段并且将较长部分406分成四个节段(例如，对应于图2所示的节段1-6和节段7-12)。为了获得用于牛眼图的心肌的心尖部分的节段，牛眼图生成设备可以被配置为将较短部分404视为一个心肌节段并且将较长部分406分成(例如，相等地)三个节段(例如，对应于图1所示的节段13-16)。
牛眼图生成设备可以被配置为进一步利用界标点402c来执行心肌的划分。比如，牛眼图生成设备可以被配置为绘制界标点402c与界标点402a和402b二者之一之间的线408(例如，虚线)，并且围绕心肌以相等的角度步长旋转线408以获得用于牛眼图的节段。如果心肌要被分成六个节段(例如，对于心底部分和中间部分)，则这种角度步长可以是例如60度，并且如果心肌要被分成四个节段(例如，对于心尖部分)，则这种角度步长可以是90度。
在示例实施方式中，牛眼图生成设备可以被配置为使用界标检测神经网络来识别本文所述的一个或多个界标点(例如，诸如界标点402a和402b)。界标检测神经网络可以包括诸如深度卷积神经网络的卷积神经网络。网络可以包括一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层。各个卷积层可以包括被配置为识别输入图像中的特定特征(例如，关键点)或图案的多个核或过滤器。核或过滤器可以与可以经由训练过程学习的相应权重相关联。在卷积层的输出(例如，以特征图的形式)被提供给下一卷积层并且用于从输入图像提取更高级别或更高阶的特征之前，经由各个卷积层执行的卷积运算之后可以是批归一化和/或激活(例如，使用修正线性单元(ReLU)函数)。由卷积层生成的特征图可以通过界标检测神经网络的一个或多个池化层(例如，使用2×2窗口和步幅2)被下采样，例如，以减少在输入图像中识别的特征的冗余和/或尺寸(例如，以系数2)。随后，下采样后的特征可以由网络例如经由一系列转置卷积运算(例如，使用步幅为2的3×3转置卷积核)来上采样，以恢复与所识别的特征相关联的细节。可以基于这些操作导出一个或多个密集特征图，以指示输入图像的各个区域或像素的视觉特征。基于这些视觉特征，界标检测神经网络可以识别输入图像中与感兴趣界标点对应的区域或像素(例如，基于匹配视觉特征)，并相应地确定界标点的相应位置。界标检测神经网络可以从可以包括人类心脏的大量MRI图像的训练数据集学习界标点的视觉特征，并且可以基于与损失函数相关联的梯度下降来采集网络的参数(例如，本文所述的权重)，该损失函数表示由网络估计的界标位置与用于位置的金标准(例如，界标点的注释位置)之间的差异。界标检测神经网络的训练将在下面更详细地描述。
在示例实施方式中，牛眼图生成设备可以被配置为基于已经针对人类心脏的一部分生成的分割掩模或分割图来识别本文所述的一个或多个界标点。比如，牛眼图生成设备可以使用分割神经网络(例如，诸如本文所述的分割神经网络302)来获得LV的分割掩模，并且基于已被识别为LV的一部分的像素来确定LV的中心(例如，界标点402c)。例如，牛眼图生成设备可以基于位于心内膜边界或心外膜边界上的像素的坐标的平均值(例如，加权平均值)来确定LV的中心。
为了基于CMRI扫描生成牛眼图，牛眼图生成设备可能需要(例如，根据在扫描期间生成MR切片图像的顺序或与在扫描期间生成MR切片图像的顺序相反)顺序地确定CMRI扫描的方向(例如，取向)和/或组织从其获得的MR切片图像(例如，本文所述的短轴MR切片图像)。然而，在一些情况下，CMRI扫描的方向可能不为牛眼图生成设备所知，和/或MR切片图像可能不是顺序组织的(例如，根据MR切片图像的扫描顺序或与MR切片图像的扫描顺序相反)。因此，响应于基于CMRI扫描获得多个MR切片图像(例如，短轴MR切片图像)，牛眼图生成设备可以被配置为例如以符合MR切片图像的扫描顺序的顺序来顺序地安排(例如，重新安排)MR切片图像。牛眼图生成设备还可以被配置为基于重新安排的MR切片图像来确定CMRI扫描的方向(例如，取向)。牛眼图生成设备可以通过以下方式来完成这些任务：确定短轴MR切片图像在长轴MR切片图像上的相应投影位置，并且基于投影位置到长轴MR切片图像上的界标点的相应距离的顺序次序对短轴切片图像进行排序。
图5例示了基于短轴MR切片图像在长轴MR切片图像504和/或界标点506上的投影位置502来安排多个短轴MR切片图像和/或确定CMRI扫描的方向(例如，取向)的示例。如本文所述，可以在CMRI扫描期间根据特定扫描顺序(例如，从心底到心尖或反之)生成多个短轴MR切片图像。然而，当被提供给本文所述的牛眼图生成设备时，短轴MR切片图像可能变得紊乱并且可能不再处于顺序次序(例如，与原始扫描顺序一致)。为了将短轴MR切片图像放回至顺序次序(例如，与其原始扫描顺序一致)，牛眼图生成设备可确定短轴MR切片图像(例如，短轴MR切片图像的相应图像平面)与心脏的长轴MR切片图像相交的位置502，并利用位置502到界标点506的距离来确定短轴MR切片图像的顺序次序。
牛眼图生成设备可以从牛眼图生成设备所获得的多个长轴MR切片图像中选择长轴MR切片图像504(例如，中间切片图像)，并且基于元数据(例如，诸如DICOM报头信息的报头信息)来确定相应图像平面，元数据与短轴和/或长轴MR切片图像相关联，相应图像平面与短轴MR切片图像和长轴MR切片图像504相对应。元数据可以由牛眼图生成设备例如与短轴和/或长轴MR切片图像一起获得，或者与短轴和/或长轴MR切片图像分开获得。响应于获得元数据，牛眼图生成设备可以从元数据提取信息，该信息与切片图像/图像取向、切片图像/图像位置、切片图像/图像像素分辨率等有关。牛眼图生成设备然后可以使用所提取的信息来确定针对短轴MR切片图像和长轴MR切片图像的相应平面方程。这些方程中的每一个可包括垂直于对应切片图像/图像平面的范数向量和切片图像/图像平面上的采样点(例如，范数向量和采样点可限定切片图像/图像平面)。由此可见，使用与短轴MR切片图像和长轴MR切片图像504相关联的相应范数向量和采样点，牛眼图生成设备可以确定短轴MR切片图像在长轴切片图像504上的投影位置502(例如，投影位置可以对应于短轴MR切片图像和长轴MR切片图像504的相交线)。牛眼图生成设备然后可以确定这些投影位置502距界标点506的相应距离，并且基于这些距离来安排(例如，排序)短轴MR切片图像。例如，给定短轴MR切片图像S1、S4、S3和S2，牛眼图生成设备可以基于与短轴切片图像和/或长轴切片图像504相关联的元数据信息来确定S1、S4、S3和S2可以分别在位置L1、L4、L3和L2处投影到长轴切片图像504上，并且这些位置距界标点506的距离分别是D1、D4、D3和D2。牛眼图生成设备还可以确定距界标点506的距离的值按降序为D1、D2、D3和D4。由此可见，牛眼图生成设备可以确定短轴MR切片图像的顺序次序(例如，与其原始扫描顺序一致)应当是S1、S2、S3和S4，其中，S1可以对应于更靠近心肌的心底部分的切片图像(例如，心底切片图像)，并且S4可以表示更靠近心肌的心尖部分的切片图像(例如，心尖切片图像)。
牛眼图生成设备还能够基于短轴MR切片图像在长轴MR切片图像504上的投影位置502来确定CMRI扫描的方向(例如，取向)。在实施例中，如果第一短轴MR切片图像在长轴MR切片图像504上具有比最后一个短轴MR切片图像距界标点506更大距离的投影位置，则牛眼图生成设备可以确定扫描方向是从心底到心尖。在实施例中，牛眼图生成设备可以基于平均距离来确定扫描方向。例如，如果切片图像1-5的投影位置距界标点506的平均距离大于切片图像6-10的投影位置距界标点506的平均距离，则牛眼图生成设备可以决定扫描是从心底到心尖，反之亦然。
牛眼图生成设备可以基于从CMRI扫描获得的长轴MR切片图像来确定界标点506和/或一个或多个其他长轴界标点(例如，指示二尖瓣环水平的点)。界标点506可以是例如心肌的心尖。牛眼图生成设备可以被配置为使用本文所述的界标检测神经网络或使用单独的神经网络来确定界标点506(例如，心尖)和/或其他长轴界标点，以具体地识别长轴界标点，该单独的神经网络具有与界标检测神经网络类似的结构但已经被不同地训练(例如，利用不同的训练数据集和/或金标准)。例如，牛眼图生成设备可以被配置为使用卷积神经网络来确定长轴界标点，该卷积神经网络诸如深度卷积神经网络，包括一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层。使用这些层，卷积神经网络可以从长轴切片图像或图像提取视觉特征，并且识别与神经网络已经从训练中学习的一个或多个长轴界标点的特征匹配的区域或像素。
图6例示了可以由本文所述的牛眼图生成设备执行的示例操作。操作可以在602开始，并且牛眼图生成设备可以基于针对患者执行的CMRI扫描在604获得短轴MR切片图像和长轴MR切片图像。在606，牛眼图生成设备可以分割(例如，使用本文所述的分割神经网络)短轴MR切片图像所包括的图像，以识别图像中的心肌、左心室和/或右心室。在608，牛眼图生成设备可以基于短轴MR切片图像和/或分割来确定(例如，使用界标检测神经网络)第一界标点，诸如图4所示的界标点402a-402c。牛眼图生成设备还可以基于长轴MR切片图像来确定诸如图5所示的心尖506的第二界标点。在610，牛眼图生成设备可以基于例如与CMRI扫描相关联的元数据信息来确定短轴MR切片图像在一个长轴MR切片图像上的相应投影位置。如本文所述，这些投影位置可以顺序地远离在长轴切片图像上的所识别的界标点(例如，心肌的心尖)。因此，牛眼图生成设备可以在612基于长轴切片图像上的投影位置距所识别的界标点的相应距离来顺序地安排短轴MR切片图像。在614，牛眼图生成设备可以基于在608识别的第一界标点将短轴MR切片图像中描绘的心肌划分为节段，例如，如图4例示。然后，在牛眼图生成设备在618结束操作之前，牛眼图生成设备可以基于心肌节段和顺序排序的短轴MR切片图像来生成牛眼图(例如，十六节段或十七节段牛眼图)。
本文中已经以特定顺序描绘和描述了示例操作。然而，应当注意，这些操作可以以不同的顺序、同时和/或与本文未呈现或描述的其它操作一起执行。进一步地，应当注意，不是牛眼图生成设备能够执行的所有操作都在本文中描绘和描述，并且不是所有例示的操作都需要由牛眼图生成设备执行。
可以训练本文所述的神经网络(例如，分割神经网络、界标检测神经网络等)以优化它们的参数(例如，与神经网络的层相关联的权重)，以用于执行本文所述的各种识别、预测或估计任务。训练可以使用人类心脏的多个图像和/或被设计为引导神经网络通过学习和/或优化过程的相应损失函数来进行。图7例示了用于训练本文所述的神经网络(例如，本文所述的分割神经网络和/或界标检测神经网络)的示例过程700。过程700可以在702开始，并且在704，神经网络可以初始化其操作参数，诸如与神经网络的一个或多个过滤器或核相关联的权重。参数例如可以基于来自具有类似架构的另一神经网络的一个或多个概率分布或参数值的样本来初始化。在706，神经网络可以接收人类心脏的训练图像，通过神经网络的各个层处理图像，并使用当前分配的参数对目标结果(例如，心肌、LV或RV的分割掩模、界标点的分类等)进行预测。在708，神经网络可以基于损失函数和与损失函数相关联的梯度下降(例如，随机梯度下降)来确定要对当前分配的参数进行的调节。例如，损失函数可以基于预测与和预测相关联的金标准(例如，心肌或界标点的注释)之间的均方误差(MSE)、Dice比、交叉熵等来实施。在710，神经网络可以例如经由反向传播过程来对当前分配的参数进行调节。在712，神经网络可以确定是否满足一个或多个训练终止准则。例如，如果神经网络已经完成预定次数的训练迭代，如果预测值与金标准值之间的差低于预定阈值，或者如果损失函数的值在两次训练迭代之间的变化低于预定阈值，则神经网络可以确定训练终止准则被满足。如果在712确定不满足训练终止准则，则神经网络可以返回到706。如果在712确定满足训练终止准则，则神经网络可以在714结束训练过程700。
本文所述的牛眼图生成设备可以使用一个或多个处理器、一个或多个储存装置和/或其他合适的辅助装置(诸如显示装置、通信装置、输入/输出装置等)来实施。图8是例示了本文所述的示例牛眼图生成设备800的框图。如图所示，牛眼图生成设备800可以包括处理器802，该处理器可以是中央处理单元(CPU)、图形处理单元(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。牛眼图生成设备800还可以包括通信电路804、存储器806、大容量储存装置808、输入装置810和/或通信链路812(例如，通信总线)，图8所示的一个或多个部件可以通过该通信链路交换信息。通信电路804可以被配置为利用一个或多个通信协议(例如，TCP/IP)和一个或多个通信网络来发送和接收信息，这些通信网络包括局域网(LAN)、广域网(WAN)、因特网、无线数据网络(例如，Wi-Fi、3G、4G/LTE或5G网络)。存储器806可以包括被配置为存储机器可读指令的存储介质，当机器可读指令被实行时，使得处理器802执行本文所述的一个或多个功能。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。大容量储存装置808可以包括一个或多个磁盘，诸如一个或多个内置硬盘、一个或多个可移动盘、一个或多个磁光盘、一个或多个CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于处理器802的操作。输入装置810可以包括键盘、鼠标、语音控制输入装置、触敏输入装置(例如，触摸屏)等，用于接收牛眼图生成设备800的用户输入。
应当注意，牛眼图生成设备800可以作为独立装置操作或者可以与其他计算装置连接(例如，联网或成群)，以执行本文所述的功能。并且即使在图8中仅示出了各个部件的一个实例，本领域技术人员将理解，牛眼图生成设备800可以包括图中示出的一个或多个部件的多个实例。此外，尽管本文参考各种类型的神经网络、各种类型的层、和/或由某些类型的神经网络或层执行的各种任务来描述示例，但是这些参考仅出于例示性目的而作出，并且不旨在限制本公开的范围。并且尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。
应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。

Claims (10)

1.一种被配置为生成牛眼图的设备，包括：
一个或多个处理器，其被配置为：
基于沿着心脏的短轴进行的所述心脏的第一CMRI扫描来获得多个第一MR切片图像；
基于沿着所述心脏的长轴进行的所述心脏的第二CMRI扫描来获得第二MR切片图像；
基于所述第一MR切片图像确定与所述心脏相关联的一个或多个第一界标点；
基于所述第二MR切片图像确定与所述心脏相关联的第二界标点；
确定所述第一MR切片图像在所述第二MR切片图像上的相应投影位置；
基于所述第一MR切片图像在所述第二MR切片图像上的所述投影位置到所述第二界标点的相应距离来顺序地安排所述第一MR切片图像；
基于所述顺序安排的第一MR切片图像和所述一个或多个第一界标点来确定多个心肌节段；并且
基于所述多个心肌节段来生成所述牛眼图。
2.根据权利要求1所述的设备，其中，所述一个或多个第一界标点指示LV与RV相交之处，或，所述一个或多个第一界标点还指示所述LV的中心。
3.根据权利要求2所述的设备，其中，所述一个或多个处理器被配置为：基于所述LV与所述RV相交之处确定心肌的第一部分和所述心肌的第二部分，并基于所述LV的所述中心和所述LV与所述RV相交之处将所述心肌的所述第一部分分成第一组一个或多个相等节段，并将所述心肌的所述第二部分分成第二组一个或多个相等节段。
4.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为：分割所述第一MR切片图像中的至少一个第一MR切片图像，以识别所述第一MR切片图像中的所述至少一个第一MR切片图像中的LV、RV和心肌，并且基于所述分割来确定所述一个或多个第一界标点。
5.根据权利要求4所述的设备，其中，所述一个或多个处理器被配置为：使用人工神经网络分割所述第一MR切片图像中的所述至少一个第一MR切片图像，以识别所述LV、所述RV和所述心肌。
6.根据权利要求1所述的设备，其中，所述第二界标点指示心肌的心尖。
7.根据权利要求6所述的设备，其中，所述一个或多个处理器被配置为：基于所述第一MR切片图像在所述第二MR切片图像上的所述相应投影位置将所述第一MR切片图像从心底切片图像安排到心尖切片图像，所述心底切片图像对应于所述第二MR切片图像上具有距心尖最长距离的位置，所述心尖切片图像对应于所述第二MR切片图像上具有距所述心尖最短距离的位置。
8.根据权利要求6所述的设备，其中，所述一个或多个处理器还被配置为：基于所述第一MR切片图像在所述第二MR切片图像上的所述相应投影位置来确定所述第一CMRI扫描顺序。
9.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为：获得与所述第一MR切片图像和所述第二MR切片图像相关联的元数据，并且基于所述元数据来确定所述第一MR切片图像在所述第二MR切片图像上的所述相应投影位置。
10.一种用于生成牛眼图的方法，包括：
基于沿着人类心脏的短轴进行的所述人类心脏的第一CMRI扫描来获得多个第一MR切片图像；
基于沿着所述人类心脏的长轴进行的所述人类心脏的第二CMRI扫描来获得第二MR切片图像；
基于所述第一MR切片图像确定与所述人类心脏相关联的一个或多个第一界标点；
基于所述第二MR切片图像确定与所述人类心脏相关联的第二界标点；
确定所述第一MR切片图像在所述第二MR切片图像上的相应投影位置；
基于所述第一MR切片图像在所述第二MR切片图像上的所述投影位置到所述第二界标点的相应距离来顺序地安排所述第一MR切片图像；
基于所述顺序安排的第一MR切片图像和所述一个或多个第一界标点来确定多个心肌节段；以及
基于所述多个心肌节段来生成所述牛眼图。
CN202111207143.6A 2020-10-21 2021-10-15 用于生成牛眼图的系统和方法 Pending CN113888520A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/076,641 US11521323B2 (en) 2020-10-21 2020-10-21 Systems and methods for generating bullseye plots
US17/076,641 2020-10-21

Publications (1)

Publication Number Publication Date
CN113888520A true CN113888520A (zh) 2022-01-04

Family

ID=79003167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111207143.6A Pending CN113888520A (zh) 2020-10-21 2021-10-15 用于生成牛眼图的系统和方法

Country Status (2)

Country Link
US (1) US11521323B2 (zh)
CN (1) CN113888520A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272374A (zh) * 2022-08-01 2022-11-01 北京安德医智科技有限公司 心脏磁共振影像的心室分割方法和装置
WO2023178110A1 (en) * 2022-03-14 2023-09-21 The Regents Of The University Of California System and method for automatic segmentation and registration of the cardiac myocardium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218849B2 (en) * 2008-09-04 2012-07-10 Siemens Corporation Method and system for automatic landmark detection using discriminative joint context
US8712133B2 (en) * 2010-09-29 2014-04-29 Siemens Aktiengesellschaft Cardiac chamber volume computation from contours and base plane in cardiac MR Cine images
US9196049B2 (en) * 2011-03-09 2015-11-24 Siemens Aktiengesellschaft Method and system for regression-based 4D mitral valve segmentation from 2D+t magnetic resonance imaging slices
JP6462286B2 (ja) * 2013-12-02 2019-01-30 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置
US10959618B2 (en) * 2014-05-12 2021-03-30 The Johns Hopkins University Imaging toolbox for guiding cardiac resynchronization therapy implantation from patient-specific imaging and body surface potential mapping data
US9972069B2 (en) * 2014-10-06 2018-05-15 Technion Research & Development Foundation Limited System and method for measurement of myocardial mechanical function
WO2020041503A1 (en) * 2018-08-24 2020-02-27 Arterys Inc. Deep learning-based coregistration
US10909681B2 (en) * 2019-01-03 2021-02-02 The Regents Of The University Of California Automated selection of an optimal image from a series of images
US11232859B2 (en) * 2019-11-07 2022-01-25 Siemens Healthcare Gmbh Artificial intelligence for basal and apical slice identification in cardiac MRI short axis acquisitions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178110A1 (en) * 2022-03-14 2023-09-21 The Regents Of The University Of California System and method for automatic segmentation and registration of the cardiac myocardium
CN115272374A (zh) * 2022-08-01 2022-11-01 北京安德医智科技有限公司 心脏磁共振影像的心室分割方法和装置

Also Published As

Publication number Publication date
US20220122259A1 (en) 2022-04-21
US11521323B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
US11024025B2 (en) Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
Duan et al. Automatic 3D bi-ventricular segmentation of cardiac images by a shape-refined multi-task deep learning approach
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
Wang et al. A two-stage 3D Unet framework for multi-class segmentation on full resolution image
Biffi et al. Explainable anatomical shape analysis through deep hierarchical generative models
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN112819076A (zh) 基于深度迁移学习的医学图像分类模型的训练方法及装置
CN115578404B (zh) 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
WO2006083588A1 (en) System and method for segmenting the left ventricle in a cardiac image
CN113888520A (zh) 用于生成牛眼图的系统和方法
Yang et al. A deep learning segmentation approach in free‐breathing real‐time cardiac magnetic resonance imaging
CN111127504A (zh) 心房间隔闭塞患者心脏医学影像分割方法及系统
JP2023517058A (ja) 画像処理に基づく腫瘍の自動検出
US11334995B2 (en) Hierarchical systems and methods for image segmentation
Lu et al. Cardiac chamber segmentation using deep learning on magnetic resonance images from patients before and after atrial septal occlusion surgery
WO2022086910A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri
Cai et al. Accurate weakly supervised deep lesion segmentation on CT scans: Self-paced 3D mask generation from RECIST
Than et al. Preliminary study on patch sizes in vision transformers (vit) for covid-19 and diseased lungs classification
CN113449791B (zh) 基于深度学习的肺炎图像分类方法及系统
Rezaei et al. Multi-task generative adversarial network for handling imbalanced clinical data
CN112686932B (zh) 用于医学影像的图像配准方法及图像处理方法、介质
Seo et al. Cardiac MRI image segmentation for left ventricle and right ventricle using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination