CN110797112B - 利用深度神经网络的自动图形处方的系统和方法 - Google Patents

利用深度神经网络的自动图形处方的系统和方法 Download PDF

Info

Publication number
CN110797112B
CN110797112B CN201910630786.8A CN201910630786A CN110797112B CN 110797112 B CN110797112 B CN 110797112B CN 201910630786 A CN201910630786 A CN 201910630786A CN 110797112 B CN110797112 B CN 110797112B
Authority
CN
China
Prior art keywords
neural network
trained
locator
prescription
locator image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910630786.8A
Other languages
English (en)
Other versions
CN110797112A (zh
Inventor
桂大为
扎卡里·斯莱文斯
萨兰德拉·马坎达亚
帕特里克·夸特曼
申皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN110797112A publication Critical patent/CN110797112A/zh
Application granted granted Critical
Publication of CN110797112B publication Critical patent/CN110797112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/543—Control of the operation of the MR system, e.g. setting of acquisition parameters prior to or during MR data acquisition, dynamic shimming, use of one or more scout images for scan plane prescription
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明题为“利用深度神经网络的自动图形处方的系统和方法”。提供了具有深度学习系统的自动图形处方的方法和系统。在一个实施方案中，一种用于医疗成像系统的方法包括：通过医疗成像系统获取受检者的定位器图像；通过训练的神经网络系统，使用定位器图像生成图形处方；并且通过医疗成像系统根据图形处方执行受检者的扫描。以这种方式，利用来自医疗成像系统的操作者的最小输入可以精确地扫描受检者的期望的感兴趣区域。

Description

利用深度神经网络的自动图形处方的系统和方法
技术领域
本文公开的主题的实施方案涉及医学成像，诸如磁共振成像(MRI)，并且更具体地，涉及利用深度神经网络自动生成用于医学成像的图形处方。
背景技术
医疗成像系统通常用于获得受检者(例如患者)的内部生理信息。例如，医疗成像系统可用于获得受检者的骨骼结构、大脑、心脏、肺部和各种其他特征的图像。医疗成像系统可以包括磁共振成像(MRI)系统、计算机断层摄影(CT)系统、x射线系统、超声系统和各种其他成像模态。
在对受检者进行诊断扫描之前，可以对受检者进行低分辨率或低剂量扫描(通常被称为侦察扫描或定位器扫描)，以获得受检者的内部解剖结构的侦察图像或定位器图像。医疗成像系统的操作者可以根据侦察图像或定位器图像来规划受检者的诊断扫描，以确保受检者的全强度诊断扫描根据需要正确地对受检者成像。
发明内容
在一个实施方案中，一种用于医疗成像系统的方法包括：通过医疗成像系统获取受检者的定位器图像；通过训练的神经网络系统，使用定位器图像生成图形处方；并且通过医疗成像系统根据图形处方执行受检者的扫描。以这种方式，利用来自医疗成像系统的操作者的最小输入可以精确地扫描受检者的期望的感兴趣区域。
应当理解，提供上面的简要描述以便以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题范围由具体实施方式后的权利要求唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述，将会更好地理解本发明，其中：
图1是根据一个示例性实施方案的MRI系统的框图；
图2示出了示出根据一个示例性实施方案的用于自动图形处方的深度学习架构的高水平框图；
图3A示出了示出根据一个示例性实施方案的用于对解剖结构进行分类、识别关键帧并且生成图形处方的深度学习架构的示例层的示意图；
图3B示出了示出根据另一个示例性实施方案的用于对解剖结构进行分类、识别关键帧并且生成图形处方的深度学习架构的示例层的示意图；
图4示出了图示根据一个示例性实施方案的用于基于二维定位器图像生成图形处方的深度学习架构的示例层的示意图；
图5示出了根据一个示例性实施方案的用于自动生成图形处方的方法的高水平流程图；
图6示出了根据一个示例性实施方案的根据解剖结构成功分类的多个定位器图像；
图7示出了根据一个示例性实施方案的成功分类为关键帧或非关键帧的多个定位器图像；并且
图8示出了根据一个示例性实施方案的具有自动生成的图形处方的多个定位器图像。
具体实施方式
以下描述涉及成像系统的自动图形处方的各种实施方案。特别地，提供了利用深度神经网络系统自动生成图形处方的系统和方法，用于使用成像系统对受检者成像，诸如图1中所示的MRI系统。深度神经网络系统，诸如图2中描绘的系统，包括各种卷积神经网络，诸如特征表示网络、解剖结构分类网络、关键帧标识符网络和图形处方网络。神经网络(在本文中有时也简称为网络)可以利用每个其他网络的学习来提高每个网络的准确度，如图3A、3B和图4中的神经网络架构所示。一种使用自动生成的图形处方的方法，诸如图5中描述的方法，包括预处理定位器图像，从定位器图像中提取特征，对定位器图像中的解剖结构进行分类，识别定位器图像的关键帧，自动生成图形处方，并且根据图形处方扫描受检者。另外，自动生成的图形处方可以用于受检者的后续扫描，从而简化工作流程并且产生不同扫描会话之间一致的图像。
尽管本文中关于MRI系统描述了用于自动图形处方的方法，但是应当理解，该方法可以用其他成像模态来实现。
此外，在下文中对方法的讨论中使用大脑作为示例性解剖结构，但是应当理解，本文描述的系统和方法适用于任何适当的解剖结构。例如，本文中描述的深度学习系统可以用于产生脊柱、腹部、膝盖、心脏和其他解剖结构的图形处方。
图1示出了磁共振成像(MRI)装置10，该磁共振成像装置包括静磁场磁体单元12、梯度线圈单元13、RF线圈单元14、RF体线圈单元15、发送/接收(T/R)开关20、RF驱动器单元22、梯度线圈驱动器单元23、数据获取单元24、控制器单元25、病床26、数据处理单元31、操作控制台单元32和显示单元33。MRI装置10将电磁脉冲信号发送到放置在成像空间18中的受检者16，在成像空间中形成静磁场以执行从受检者16获得磁共振(MR)信号的扫描，从而基于通过扫描由此获得的MR信号重建受检者16的切片的图像。
静磁场磁铁单元12通常包括例如安装在环形真空容器内的环形超导磁铁。磁铁限定了围绕受检者16的圆柱形空间，并产生恒定的主静磁场B0。
MRI装置10还包括梯度线圈单元13，该梯度线圈单元在成像空间18中产生梯度磁场，以便为RF线圈单元14接收的MR信号提供三维位置信息。梯度线圈单元13包括三个梯度线圈系统，每个梯度线圈系统产生梯度磁场，该梯度磁场倾斜到彼此垂直的三个空间轴之一，根据成像条件在频率编码方向、相位编码方向和切片选择方向中的每一个中生成梯度场。更具体地，梯度线圈单元13在受检者16的切片选择方向上应用梯度场，以选择切片；RF线圈单元14将RF脉冲发送到受检者16的选定切片并激励它。梯度线圈单元13还在受检者16的相位编码方向上应用梯度场，以对来自由RF脉冲激励的切片的MR信号进行相位编码。然后，梯度线圈单元13在受检者16的频率编码方向上施加梯度场，以对来自由RF脉冲激励的切片的MR信号进行频率编码。
RF线圈单元14例如被设置为包围受检者16的待成像区域。在由静磁场磁铁单元12形成静磁场B0的静磁场空间或成像空间18中，RF线圈单元14基于来自控制器单元25的控制信号将作为电磁波的RF脉冲发送到受检者16，从而产生高频磁场B1。这激发了待成像的受检者16切片中的质子自旋。RF线圈单元14接收当在受检者16的待成像的切片中如此激发的质子自旋返回到与初始磁化矢量对准时产生的电磁波作为MR信号。RF线圈单元14可以使用相同的RF线圈发送和接收RF脉冲。
RF体线圈单元15例如被设置为包围成像空间18，并且产生与由成像空间18内的静磁场磁体单元12产生的主磁场B0正交的RF磁场脉冲B1以激发核。与可以容易地与MR装置10断开并且用另一个RF线圈单元替换的RF线圈单元14相比，RF体线圈单元15固定地附接并连接到MRI装置10。此外，尽管诸如包括RF线圈单元14的那些局部线圈可以发送信号或仅从受检者16的局部区域接收信号，RF体线圈单元15通常具有较大的覆盖区域，并且可用于向受检者16的整个身体发送或接收信号。使用仅接收局部线圈和发射体线圈提供均匀的RF激发和良好的图像均匀性，代价是在受检者16中沉积高RF功率。对于发射-接收局部线圈，局部线圈向感兴趣区域提供RF激发并接收MR信号，从而减小沉积在受检者16中的RF功率。应当理解，RF线圈单元14和/或RF体线圈单元15的特定用途取决于成像应用。
当在接收模式下操作时，T/R开关20可以选择性地将RF体线圈单元15电连接到数据获取单元24，并且当在发送模式下操作时，T/R开关可以选择性地电连接到RF驱动器单元22。类似地，当RF线圈单元14以接收模式操作时，T/R开关20可以选择性地将RF线圈单元14电连接到数据获取单元24，并且当以发送模式操作时，T/R开关可以选择性地将RF线圈单元电连接到RF驱动器单元22。当RF线圈单元14和RF体线圈单元15都用于单次扫描时，例如，如果RF线圈单元14被配置为接收MR信号并且RF体线圈单元15被配置为发送RF信号，则T/R开关20可以将来自RF驱动器单元22的控制信号引导到RF体线圈单元15，同时将接收的MR信号从RF线圈单元14引导到数据获取单元24。RF体线圈单元15的线圈可以被配置为以仅发送模式、仅接收模式或发送-接收模式操作。局部RF线圈单元14的线圈可以被配置为以发送-接收模式或仅接收模式操作。
RF驱动器单元22包括栅极调制器(未示出)、RF功率放大器(未示出)和RF振荡器(未示出)，用于驱动RF线圈单元14并在成像空间18中形成高频磁场。RF驱动器单元22基于来自控制器单元25的控制信号并使用栅极调制器将从RF振荡器接收的RF信号调制成具有预定包络的预定定时的信号。由栅极调制器调制的RF信号由RF功率放大器放大，然后输出到RF线圈单元14。
梯度线圈驱动器单元23基于来自控制器单元25的控制信号驱动梯度线圈单元13，从而在成像空间18中产生梯度磁场。梯度线圈驱动器单元23包括与梯度线圈单元13中包括的三个梯度线圈系统对应的三个驱动器电路系统(未示出)。
数据获取单元24包括前置放大器(未示出)、相位检测器(未示出)和模拟/数字转换器(未示出)，用于获取由RF线圈单元14接收的MR信号。在数据获取单元24中，相位检测器相位使用来自RF驱动器单元22的RF振荡器的输出作为参考信号来检测从RF线圈单元14接收并由前置放大器放大的MR信号，并将相位检测的模拟MR信号输出到模拟/数字转换器，以转换成数字信号。由此获得的数字信号被输出到数据处理单元31。
MRI装置10包括用于在其上放置受检者16的工作台26。通过基于来自控制器单元25的控制信号移动工作台26，可以使受检者16在成像空间18的内部和外部移动。
在一些实施方案中，控制器单元25包括计算机和记录有要由计算机执行的程序的记录介质。程序当由计算机执行时使设备的各个部分执行与预定扫描相对应的操作。记录介质可包括例如ROM、软盘、硬盘、光盘、磁光盘、CD-ROM或非易失性存储卡。控制器单元25连接到操作控制台单元32并且处理输入到操作控制台单元32的操作信号，并且还通过向它们输出控制信号来控制工作台26、RF驱动器单元22、梯度线圈驱动器单元23和数据获取单元24。控制器单元25还基于从操作控制台单元32接收的操作信号来控制数据处理单元31和显示单元33以获得期望的图像。
操作控制台单元32包括用户输入设备，诸如键盘和鼠标。操作员使用操作控制台单元32，例如，输入这些数据作为成像协议，并设置要执行成像序列的区域。关于成像协议和成像序列执行区域的数据被输出到控制器单元25。
数据处理单元31包括计算机和记录介质，在该记录介质上执行计算机记录程序，以执行预定数据处理。数据处理单元31连接到控制器单元25，并基于从控制器单元25接收的控制信号执行数据处理。数据处理单元31还连接到数据获取单元24，并通过对从数据获取单元24输出的MR信号应用各种成像处理操作来生成光谱数据。
显示单元33包括显示设备，并基于从控制器单元25接收的控制信号在显示设备的显示屏幕上显示图像。显示单元33显示例如关于操作者从操作控制台单元32输入操作数据的输入项目的图像。显示单元33还显示由数据处理单元31生成的受检者16的切片图像。
MRI装置10可以配置有深度学习系统，用于自动生成图形处方。作为说明性示例，图2示出了示出根据实施方案的用于自动图形处方的深度学习架构200的高水平框图。关于图1的系统和部件描述了深度学习架构200，但是应当理解，深度学习架构200可以在不脱离本公开的范围的情况下用其他系统和部件来实现。例如，深度学习架构200可以在非暂时性存储器中实现，并且可以由MRI装置10的一个或多个处理器(诸如数据处理单元31)执行。在一些实施方案中，深度学习架构200可以在连接到MRI装置10的边缘设备上实现。在一些实施方案中，深度学习架构200可以在与MRI装置10通信的云中实现。在一些实施方案中，深度学习架构的部分在不同设备上实现，诸如MRI装置10、边缘设备、云等的任何适当组合。
参考图2，定位器图像205可以作为二维定位器或三维定位器体积被获取。在一些实施方案中，控制MRI装置10以获取一组三平面、低分辨率、大视场二维定位器图像205。在一些实施方案中，控制MRI装置10以获取三维定位器图像体积。三维定位器图像体积可以形成定位器图像205或者被重新格式化或投影到多平面二维空间中以形成定位器图像205。定位器图像205可以包括，例如，标准SSFSE/GRE定位器、三维低分辨率体积或具有取决于解剖结构或临床需要的T2/T1/PD对比的其他二维定位器。此外，矢状T2FSE扫描可用于识别多平面多角度轴向定位器扫描。
在一些实施方案中，可以进一步预处理定位器图像205。例如，由于原始定位器图像可能来自具有不同阴影图案的不同系统，并且具有导致不同对比度的不同脉冲序列，因此对深度学习架构执行专用预处理以从所获取的定位器图像中提取固有特征。因此，预处理定位器图像205可以包括在定位器图像205上执行对比度归一化。全局对比度归一化通过从每个图像中减去平均值来防止图像具有不同的对比度，然后重新缩放它以使其像素上的标准偏差等于某个常数。由于全局对比度归一化有时无法突出显示期望突出的图像特征，诸如边缘和角落，因此可以使用全局对比度归一化和局部对比度归一化。预处理还可以包括数据重采样。例如，由于多切片二维和三维定位器都包含体数据，因此在不同方向上的重采样提供了额外的输入作为神经网络架构的训练数据集以增加训练大小，从而改善训练结果。
如图所示，深度学习架构200包括特征表示网络210、解剖结构分类网络222、关键帧标识符网络224和图形处方网络226。如下所述，网络210、222、224和226可以共享多个层以利用针对不同任务的学习权重。
定位器图像205被输入到特征表示网络210，其被配置为从定位器图像205中提取特征。特征表示网络210可以包括卷积神经网络，其包括多个卷积层或任何其他适当类型的神经网络。
特征表示网络210的输出被输入到解剖结构分类网络222，解剖结构分类网络又输出解剖结构和平面分类232。为此，解剖结构分类网络222可以包括前馈全连接神经网络，前馈全连接神经网络包括多个全连接层。应当理解，解剖结构分类网络222可以包括任何适当类型的分类算法，包括但不限于支持向量机(SVM)。由解剖结构分类网络222输出的解剖结构和平面分类232包括解剖结构的分类和定位器图像205的平面。例如，如果定位器图像205的定位器图像包括大脑的矢状视图，则由解剖结构分类网络222输出的用于定位器图像的解剖结构和平面分类232包括大脑和矢状的分类。
此外，应当理解，特征表示网络210可以至少最初结合解剖结构分类网络222进行训练。例如，训练数据集(包括在不同平面中的不同解剖结构的大量多个定位器图像205，与指示解剖结构和平面的多个定位器图像205中的每一个的标签一起)可以被输入到特征表示网络210和解剖结构分类网络222以训练网络，在这样的示例中，可以被认为是包括多个卷积层，然后是多个全连接层的单个网络。因此，如本领域中已知的，可以使用反向传播以这种方式训练网络，以调整和学习权重，使得解剖结构分类网络222准确地对输入到特征表示网络210的定位器图像205的解剖结构和平面进行分类。
特征表示网络210的至少一个子集层的输出被输入到关键帧标识符网络224，该关键帧标识符网络又输出定位器图像205的关键帧234。也就是说，不是仅将特征表示网络210的最终卷积层的输出输入到关键帧标识符网络224中，特征表示网络210的多个卷积层的输出可以直接从特征表示网络210输出并输入到关键帧标识符网络。关键帧可以包括定位器图像205的图像或帧，这些图像或帧包括对应于或指示用于对解剖结构成像的标准参考平面的一个或多个解剖结构界标。作为说明性和非限制性示例，如果定位器图像205描绘了受检者的大脑，所识别的关键帧234可包括定位器图像205的图像，这些图像包括前连合-后连合(AC-PC)线，这些前连合-后连合线包括连接大脑的两个不同解剖结构的线，即大脑的前连合(AC)和后连合(PC)。所识别的关键帧可以附加地或替代地包括定位器图像205的帧或图像，这些帧或图像包括穿过眼睛的外眼角和外耳道的中心的眼眶(OM)线。例如，AC-PC线和OM线通常用于定义标准轴向成像平面。为此，可以利用包括大量定位器图像的训练数据集来训练关键帧标识符网络224，其中多个定位器图像中的每一个被标记为关键帧或非关键帧。另外，在一些示例中，可以在训练数据集中标记训练数据集的定位器图像的特定解剖界标。因此，通过将训练数据集输入到特征表示网络210和关键帧标识符网络224中，可以使用与训练数据集的反向传播来训练关键帧标识符网络224。
类似于关键帧标识符网络224，特征表示网络210的卷积层的至少一个子集层的输出被输入到图形处方网络226，图形处方网络又输出图形处方236。图形处方236可以包括图形处方标记，诸如点、线、框或覆盖在定位器图像205的关键帧234上的其他形状，以指示期望的感兴趣区域，以及指示所需感兴趣区域的视野、间隔、厚度、位置和方向。以这种方式，图形处方236自动地规定体积取向和体积覆盖范围，以确保在完整诊断扫描期间准确地成像所需的感兴趣区域。
图3A示出了示出根据一个示例性实施方案的用于对解剖结构进行分类、识别关键帧并且生成图形处方的深度学习架构300的示例层的示意图。特别地，深度学习架构300描绘了上文关于图2描述的深度学习架构200的某些部件的示例配置的更详细视图，包括特征表示网络210、解剖结构分类网络222、关键帧标识符网络224和图形处方网络226。
如图所示，特征表示网络210包括第一卷积层311、第二卷积层312、第三卷积层313、第四卷积层314和第五卷积层315。第一卷积层311接收定位器图像205(例如，获取的定位器图像或处理的定位器图像)作为输入，并将卷积结果输出到第二卷积层312。第二卷积层312对来自第一卷积层311的卷积结果进行卷积，并将卷积结果输出到第三卷积层313。第三卷积层313对从第二卷积层接收的卷积结果进行卷积，并将卷积结果输出到第四卷积层314。第四卷积层314对从第三卷积层313接收的卷积结果进行卷积，并将卷积结果输出到第五卷积层315。第五卷积层315对从第四卷积层314接收的卷积结果进行卷积，并将卷积结果输出到解剖结构分类网络320。
应当理解，尽管未示出，但是特征表示网络210可以包括在卷积层311、312、313、314和315中的一个或多个之间的一个或多个汇集层，用于汇集或子采样卷积层的输出，从而减少卷积层之间的维数。例如，最大汇集层(未示出)可以位于第一卷积层311和第二卷积层312之间。还应当理解，任何适当类型的神经网络和任何适当数量的层可以用于特征表示网络210。
仍然参考图3A，解剖结构分类网络320包括前馈全连接神经网络，前馈全连接神经网络包括第一层321、第二层322、第三层323和输出层324。第一层321、第二层322和第三层323可以包括全连接层而不是卷积层，而输出层324输出上文描述的解剖结构和平面分类232。应当理解，任何适当类型的神经网络和任何适当数量的层可以用于解剖结构分类网络320。
此外，如图所示，特征表示网络210的至少一个子集层的输出(例如，第一卷积层311、第三卷积层313、第五卷积层315)被引导到超网络330，用于关键帧识别和图形处方生成。例如，如图所示，特征表示网络210的第一卷积层311的输出被输入到超网络330的第一卷积层331，特征表示网络210的第三卷积层313的输出被输入到超网络330的第二卷积层333，并且特征表示网络210的第五卷积层315的输出被输入到超网络330的第三卷积层335。以这种方式，由特征表示网络210生成的特征表示的不同水平的抽象被用作超网络330的输入。在一些实施方案中，特征表示网络210的所有层的输出被引导到超网络330。
超网络330的第一卷积层331、第二卷积层333和第三卷积层335的输出被输入到共享卷积层337，从而融合卷积层331、333和335的卷积。然后，共享卷积层337的卷积输出被输入到全连接层339。
全连接层339的输出被提供给用于关键帧识别的全连接层340和用于图形处方生成的全连接层350。因此，全连接层340的输出342包括关键帧的标识，而全连接层350的输出352包括图形处方。
全连接层340与超网络330组合构成超关键帧分类神经网络。类似地，全连接层350与超网络330组合构成超图形处方生成神经网络。如图所示，超关键帧识别神经网络和超图形处方生成神经网络共享多个层，具体地，形成超网络330的所描绘的层。以这种方式，利用每个超网络的训练来提高其他网络的准确性。
图3B示出了示出根据另一个示例性实施方案的用于对解剖结构进行分类、识别关键帧并且生成图形处方的深度学习架构300的示例层的示意图。深度学习架构300'的部件与图3A的深度学习架构300的对应部件相同或相似，不同之处在于图3A的解剖结构分类网络320由图3B中的全连接层320'代替以用于解剖结构和平面分类之外。与全连接层340和350一样，全连接层320'接收全连接层339的输出。全连接层320'与超网络330组合包括构成超解剖结构分类神经网络。因此，全连接层320'的输出324'包括解剖结构和平面分类。
应当理解，任何适当类型的神经网络和任何适当数量的层可以用于超网络330。
图4示出了图示根据一个示例性实施方案的用于基于二维定位器图像生成图形处方的深度学习架构400的示例层的示意图。如上所述，二维定位器图像可以是从三维定位器体积获取或重新格式化(例如，投影)的二维定位器。深度学习架构400包括多个超网络，这些超网络包括用于生成轴向视图的图形处方的第一超网络410、用于生成矢状视图的图形处方的第二超网络430以及用于生成冠状视图的图形处方的第三超网络450。因此，超网络410、430和450的组合包括图形处方网络226。因此，组合输出470对应于图形处方236。
特征表示网络210的至少一个子集层的输出(例如，第一卷积层311、第三卷积层313、第五卷积层315)分别被输入到第一超网络410的第一卷积层411、第二卷积层413和第三卷积层415，以产生轴向图形处方。然后，第一卷积层411、第二卷积层413和第三卷积层415的输出被融合或输入到第一超网络410的共享卷积层416。共享卷积层416的输出被输入到全连接层417。全连接层417的输出被输入到用于轴向尺寸处方的全连接层418、用于轴向位置处方的全连接层419以及用于轴向取向处方的全连接层420。全连接层418、419和420因此分别输出轴向尺寸处方421、轴向位置处方422和轴向取向处方423。
类似地，特征表示网络210的至少一个子集层的输出分别输入到第二超网络430的第一卷积层431、第二卷积层433、第三卷积层435用于生成矢状图形处方。然后，第一卷积层431、第二卷积层433和第三卷积层435的输出被融合或输入到第二超网络430的共享卷积层436。共享卷积层436的输出被输入到全连接层437。然后全连接层437的输出被输入到用于矢状尺寸处方的全连接层438、用于矢状位置处方的全连接层439以及用于矢状取向处方的全连接层440。因此，全连接层438、439和440分别输出矢状尺寸处方441、矢状位置处方442和矢状取向处方443。
特征表示网络210的至少一个子集层的输出分别输入到第二超网络450的第一卷积层451、第二卷积层453、第三卷积层455用于生成矢状图形处方。然后，第一卷积层451、第二卷积层453和第三卷积层455的输出被输入到第三超网络450的共享卷积层456。然后，共享卷积层457的输出被输入到第三超网络450的全连接层457。然后全连接层457的输出被输入到用于冠状位置处方的全连接层458、用于冠状位置处方的全连接层459以及用于冠状取向处方的全连接层460。因此，第三超网络450的全连接层458、459和460分别输出冠状位置处方461、冠状位置处方462和冠状取向处方463。
最后，如图所示，第一超网络410、第二超网络430和第三超网络450的输出可以被组合以形成用于轴向、矢状和冠状视图的一组图形处方470。因此，图形处方470包括用于轴向视图的尺寸处方421、用于矢状视图的尺寸处方441和用于冠状视图的尺寸处方461。图形处方470还包括用于轴向视图的位置处方422、用于矢状视图的位置处方442以及用于冠状视图的位置处方462。图形处方470还包括用于轴向视图的取向处方423、用于矢状视图的取向处方443以及用于冠状视图的取向处方463。
应当理解，在一些示例中，超网络410、430和450可以不生成维度、位置和方向处方。作为说明性和非限制性示例，超网络410、430和450可以仅生成位置处方422、442和462。在这样的示例中，超网络410、430和450可以不包括全连接层418、420、438、440、458和460。
在使用三维定位器图像而不变换为二维的一些实施方案中，图形处方神经网络350可以包括用于使用三维定位器图像生成三维体积的图形处方的一个超神经网络。
图5示出了根据实施方案的用于自动生成图形处方的示例方法500的高水平流程图。特别地，方法500涉及通过将定位器图像应用于深度神经网络系统(诸如图2-4中描绘的深度神经网络系统)来自动生成图形处方。图1-4的系统和部件描述了方法500，但是应当认识到，方法500可以在不脱离本公开的范围的情况下用其他系统和部件来实现。方法500可以在MRI装置10或者MRI装置10、连接到MRI装置10的边缘设备、与MRI装置10通信的云等的任何适当组合中实现。
方法500在505处开始。在505处，获取受检者的定位器图像或侦察图像。定位器图像可以是二维或三维的。定位器图像可以包括标准SSFSE/GRE定位器、三维低分辨率体积或具有T2/T1/PD对比度的其他二维定位器，这取决于解剖结构或临床需要。矢状T2FSE扫描可用于识别多平面多角度轴向扫描。
在510处，预处理定位器图像。由于原始定位器图像可能来自具有不同阴影图案的不同系统，并且具有导致不同对比度的不同脉冲序列，因此可以预处理定位器图像以归一化定位器图像。为此，可以通过从每个图像中减去平均值，然后重新缩放减去的图像，使得图像的像素上的标准偏差等于所选择的常数，来执行全局对比度归一化以防止图像具有变化的对比度量。在一些情况下，可以应用全局对比度归一化和局部对比度归一化，以确保边缘和角落被有效地归一化。在一些实施方案中，可以省略操作510。
此外，在一些示例中，可以以不同的方向对定位器图像数据进行重新采样和/或重新格式化，以向特征表示网络提供附加输入。此外，在定位器图像是三维的实施方案中，可以将三维图像投影到多平面二维空间中。
在515处，通过使用训练的深度神经网络(例如，特征表示网络210)从定位器图像提取特征。具体地，将获取的或预处理的定位器图像输入到特征表示网络210中。特征表示网络在多个卷积层上卷积定位器图像以自动提取定位器图像的特征。
继续到520，通过使用训练的神经网络(例如，解剖结构分类网络222)对定位器图像的解剖结构进行分类。例如，特征表示网络210的最终卷积层315的输出被输入到解剖结构分类神经网络320，如图3A所示。作为另一示例，特征表示网络210的多个卷积层(诸如卷积层311、313和315)的输出被输入到由超网络330和全连接层320'形成的超解剖结构分类网络，如图3B所示。
继续到525，确定520处的分类解剖结构是否是期望的解剖结构。例如，期望针对受检者扫描特定解剖结构(例如，大脑、肩、膝等)。如果分类的解剖结构不是期望的解剖结构(即，525处的“否”)，则定位器图像要么不包括期望的解剖结构，要么定位器图像不具有足够的图像质量以用于对图像中的解剖结构进行积极分类。因此，方法500返回，以便可以在505处再次获取定位器图像。
然而，再次参考525，如果分类的解剖结构是期望的解剖结构(即，525处的“是”)，则因此在505处获取的定位器图像中存在期望的解剖结构。方法500继续到530。在530处，通过使用训练的神经网络(例如，关键帧标识符网络224)在定位器图像中识别关键帧。例如，来自特征表示网络210的卷积层311、313和315的输出被输入到由超网络330和全连接层350形成的超关键帧识别网络，如图3A和3B所示。超关键帧识别网络然后输出在定位器图像中识别的关键帧。
在535处，确定一个或多个关键帧是否包括在定位器图像中。如果关键帧不包括在定位器图像中(即，在535处为“否”)，则方法500返回，使得可以在505处获取另外的定位器图像。然而，如果在定位器图像中包括一个或多个关键帧(即，在535处为“是”)，则方法500继续到540。在540处，通过使用训练的神经网络(例如，图形处方网络226)生成图形处方。例如，来自特征表示网络210的卷积层311、313和315的卷积结果被输入到一个或多个超网络，用于自动生成图形处方。在使用二维定位器图像的一些实施方案中，多个超网络(例如，超网络410、430和450)用于多个参考平面(例如，轴向、矢状和冠状)。在使用三维定位器图像而不转换为二维的一些实施方案中，一个超神经网络用于生成三维体积的图形处方。
继续到545，根据图形处方和关键帧调整扫描协议。在一些实施方案中，成像系统的操作者可以首先通过操作员控制台单元32确认经由显示单元33显示的关键帧和图形处方准确地规定了所需感兴趣区域的覆盖范围和方向。在这样的示例中，操作员可以根据图形处方手动调整扫描协议。在一些实施方案中，根据图形处方自动调整扫描协议，因为如果神经网络系统的准确度足以确保期望的感兴趣区域将以足够的覆盖正确成像，则操作员干预可能是不必要的。在任一情况下，在550处，根据调整的扫描协议执行扫描。然后方法500返回。
为了说明上文描述的系统和方法的功效，图6示出了通过诸如解剖结构分类网络222或解剖结构分类网络320的解剖结构分类神经网络根据解剖结构和参考计划成功分类的多个定位器图像600。在利用根据十七类(轴向头部、轴向颈部、轴向胸部、轴向腹部、轴向乳房、矢状头部、矢状颈部、矢状乳房、矢状肩部、矢状腹部、冠状头部、冠状颈部、冠状乳房、冠状腹部、冠状肩部和边缘切片)标记的24,380个定位器图像训练解剖结构分类网络后，解剖结构分类网络根据解剖结构和参考平面成功地对定位器图像进行分类，当使用4,876个定位器图像进行测试时具有98.8％的准确度。多个定位器图像600包括在测试期间使用的成功分类的定位器图像的样本，并且图6描绘由训练的解剖结构分类网络生成的相应的解剖结构和参考平面分类。
此外，如上所述，如果定位器图像描绘了受检者的大脑，则由关键帧标识符神经网络识别的关键帧可以包括定位器图像的图像，这些图像包括前连合-后连合(AC-PC)线，前连合-后连合线包括连接大脑的两个不同解剖结构(即大脑的前连合(AC)和后连合(PC))的线。作为说明性示例，图7描绘了由关键帧标识符网络(诸如上文关于图2、图3A和图3B描述的关键帧标识符网络224)分类的多个定位器图像700。多个定位器图像700包括：定位器图像710，其中关键帧标识符网络被分类为不包括AC-PC线；以及定位器图像720，其中关键帧标识符网络被分类为包括AC-PC线。如图所示，关键帧标识符网络准确地区分不包括AC-PC线的定位器图像710与包括AC-PC线的定位器图像720。具体地，在用3,000个矢状头定位器图像(包括标记为包括AC-PC线的关键帧的376个图像)训练关键帧标识符网络之后，关键帧标识符网络成功地识别包括AC-PC线的关键帧，准确度97.1％。
图8示出了具有由图形处方网络(诸如上文关于图2和4描述的图形处方网络226)自动生成的图形处方的多个定位器图像800。对图形处方网络进行了训练，每个轴有1,000张图像，并在200张图像上进行测试。图形处方包括定位器图像的关键帧，在关键帧中可视地或图形地标识界标。例如，定位器图像810包括头部的轴向视图，其中AC-PC线812叠加在定位器图像810上。类似地，定位器图像820包括头部的矢状视图，其中AC-PC线822叠加在定位器图像820上。定位器图像830包括头部的冠状视图，其中AC-PC线832叠加在定位器图像830上。图形处方还可以包括用于调整扫描的取向处方，包括但不限于第一方向上的平移移位、在第二方向上的平移移位以及相对于定位器图像中描绘的参考平面的旋转。
因此，用于自动化图形处方的深度学习框架包括三级神经网络，该三级神经网络可以被训练以从定位器图像学习表示，包括用于识别解剖信息的超解剖网络、用于识别具有关键解剖结构信息的关键图像或帧的超关键帧网络以及超图形处方网络，该超图形处方网络包括用于预测轴向、矢状和冠状定位器图像的平面内图形处方信息的三个网络。所有神经网络都采用从第一层和中间层到最后层的融合结构，以学习低水平和高水平拓扑信息。
本公开的技术效果包括自动生成用于对期望的感兴趣区域进行成像的图形处方。本公开的另一技术效果包括自动识别定位器图像内的关键帧、解剖界标和参考平面。本公开的又一技术效果包括根据由深度神经网络系统生成的图形处方自动扫描受检者。
如本文所用，以单数形式叙述且以词语“一”或“一个”开头的元件或步骤应被理解为不排除多个所述元件或步骤，除非明确地说明这种排除。此外，对本发明的“一个实施方案”的引用并非旨在被解释为排除也包含所叙述的特征的其他实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”一个元件或具有特定属性的多个元件的实施方案可包括不具有该属性的其他这类元件。术语“包括”和“在……中”用作相应术语“包含”和“其中”的通俗语言等同物。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求的字面语言没有区别的结构元素，或者如果它们包括与权利要求的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求的范围内。

Claims (20)

1.一种用于医疗成像系统的方法，包括：
通过所述医疗成像系统获取受检者的定位器图像；
通过训练的特征表示神经网络提取所述定位器图像的特征；
通过训练的图形处方神经网络，使用所述特征表示神经网络的输出，生成图形处方；
通过训练的解剖结构分类神经网络对所述定位器图像的解剖结构进行分类；
通过训练的关键帧识别神经网络在所述定位器图像中识别关键帧；其中，所述解剖结构分类神经网络和关键帧识别神经网络用于并行接收所述特征表示神经网络的输出；
确定一个或多个关键帧是否包括在所述定位器图像中；
确定所述分类的解剖结构是否是期望的解剖结构；
如果所述分类的解剖结构不是期望的解剖结构，或者所述定位器图像中不包括关键帧，获取另外的定位器图像；
如果所述分类的解剖结构是期望的解剖结构并且所述定位器图像中包括关键帧，通过训练的神经网络系统，使用所述定位器图像生成图形处方，其中，所述训练的神经网络系统并行接收来自所述特征表示神经网络的输出；以及
通过所述医疗成像系统根据所述图形处方执行所述受检者的扫描。
2.根据权利要求1所述的方法，其中，所述训练的神经网络系统包括所述训练的特征表示神经网络和所述训练的图形处方神经网络。
3.根据权利要求2所述的方法，其中，所述训练的神经网络系统还包括所述训练的解剖结构分类神经网络。
4.根据权利要求2所述的方法，其中，所述训练的神经网络系统还包括所述训练的关键帧识别神经网络。
5.根据权利要求2所述的方法，其中，所述训练的特征表示神经网络包括卷积神经网络。
6.根据权利要求2所述的方法，其中，所述训练的图形处方神经网络包括用于使用二维定位器图像生成轴向、矢状和冠状平面的图形处方的单独的超神经网络。
7.根据权利要求2所述的方法，其中，所述训练的图形处方神经网络包括用于使用三维定位器图像生成三维体积的图形处方的一个超神经网络。
8.根据权利要求1所述的方法，还包括预处理所述定位器图像以归一化所述定位器图像之间的对比度。
9.根据权利要求1所述的方法，其中，所述定位器图像包括三维定位器图像体积，并且所述方法还包括将所述三维定位器图像体积投影到多平面二维定位器图像中。
10.根据权利要求1所述的方法，其中，所述图形处方指示所述受检者的期望的感兴趣区域的体积覆盖范围和体积取向，并且其中根据图形处方执行受检者的扫描包括根据由所述图形处方指示的体积覆盖范围和体积取向扫描所述受检者的期望的感兴趣区域。
11.一种用于成像系统的方法，包括：
通过训练的解剖结构分类神经网络对来自受检者的定位器图像的解剖结构进行分类；
通过训练的关键帧识别神经网络在所述定位器图像中确定关键帧；其中，所述解剖结构分类神经网络和关键帧识别神经网络用于并行接收来自于特征表示神经网络的输出，所述特征表示神经网络用于接收所述定位器图像；
确定所述分类的解剖结构是否是期望的解剖结构；
响应于确定所述分类的解剖结构是所述期望的解剖结构，确定所述定位器图像是否包括所述关键帧；以及
响应于所述分类的解剖结构不是所述期望的解剖结构或者响应于所述定位器图像不包括所述关键帧，通过训练的图形处方神经网络生成用于对所述受检者成像的图形处方，其中，所述训练的图形处方神经网络用于并行接收所述特征提取神经网络的输出。
12.根据权利要求11所述的方法，其中，所述训练的解剖结构神经网络和所述训练的关键帧识别神经网络共享多个卷积层。
13.根据权利要求11所述的方法，其中，所述定位器图像是磁共振(MR)定位器，并且所述图形处方用于MR扫描。
14.根据权利要求11所述的方法，其中，所述定位器图像是二维的，并且所述训练的图形处方神经网络包括用于使用所述二维定位器图像生成轴向、矢状和冠状平面的图形处方的单独的超神经网络。
15.根据权利要求11所述的方法，其中，所述定位器图像是三维的，并且所述训练的图形处方神经网络包括用于使用所述三维定位器图像生成三维体积的图形处方的一个超神经网络。
16.一种医疗成像系统，包括：
医疗扫描装置，所述医疗扫描装置用于扫描受检者；
存储器，所述存储器存储训练的神经网络系统；和
处理器，所述处理器通信地耦接到所述医疗扫描装置和所述存储器并且被配置为：
控制所述医疗扫描装置获取所述受检者的定位器图像；
使训练的神经网络系统对所述定位器图像的解剖结构进行分类；
使所述训练的神经网络系统在所述定位器图像中确定关键帧，其中，所述训练的神经网络系统用于并行接收来自于特征表示神经网络的输出，所述特征表示神经网络用于接收所述定位器图像；
确定所述分类的解剖结构是否是期望的解剖结构；
响应于所述分类的解剖结构是所述期望的解剖结构，确定所述定位器图像是否包括所述关键帧；
响应于所述分类的解剖结构不是所述期望的解剖结构或者响应于所述定位器图像不包括所述关键帧，获取另外的定位器图像；以及，
响应于所述分类的解剖结构是所述期望的解剖结构并且所述定位器图像包括所述关键帧，利用所述训练的神经网络系统，使用所述定位器图像生成图形处方，所述图形处方指示所述受检者的期望的感兴趣区域的体积覆盖范围和取向，其中，所述训练的神经网络系统用于并行接收来自于所述特征表示神经网络的输出。
17.根据权利要求16所述的医疗成像系统，其中，所述训练的神经网络系统被配置为自动对解剖结构进行分类并识别所述定位器图像内的关键帧。
18.根据权利要求17所述的医疗成像系统，其中，所述训练的神经网络系统包括多个全连接层，所述多个全连接层用于分别生成所述图形处方、识别所述关键帧并且识别所述解剖结构，其中，所述多个全连接层中的每一个从共同的多个卷积层接收输入，所述卷积层从所述定位器图像中提取特征。
19.根据权利要求16所述的医疗成像系统，其中，所述处理器进一步被配置为根据所述图形处方调整扫描协议。
20.根据权利要求19所述的医疗成像系统，其中，所述处理器进一步被配置为控制所述医疗扫描装置根据所述调整的扫描协议扫描所述受检者。
CN201910630786.8A 2018-08-01 2019-07-12 利用深度神经网络的自动图形处方的系统和方法 Active CN110797112B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/052,427 2018-08-01
US16/052,427 US11486950B2 (en) 2018-08-01 2018-08-01 Systems and methods for automated graphical prescription with deep neural networks

Publications (2)

Publication Number Publication Date
CN110797112A CN110797112A (zh) 2020-02-14
CN110797112B true CN110797112B (zh) 2024-01-05

Family

ID=67438968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910630786.8A Active CN110797112B (zh) 2018-08-01 2019-07-12 利用深度神经网络的自动图形处方的系统和方法

Country Status (3)

Country Link
US (1) US11486950B2 (zh)
EP (1) EP3605548A1 (zh)
CN (1) CN110797112B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12020822B2 (en) * 2018-08-26 2024-06-25 Siemens Healthineers International Ag Imaging waypoints for radiation treatment
US20210161422A1 (en) * 2019-11-29 2021-06-03 Shanghai United Imaging Intelligence Co., Ltd. Automatic imaging plane planning and following for mri using artificial intelligence
DE102020213690B4 (de) 2020-10-30 2022-01-20 Siemens Healthcare Gmbh Verfahren zum Einstellen einer Form einer Kopfunterlage, Verfahren zum Bereitstellen von Bildgebungsdaten und System mit einer Kopfunterlage
CN113743591B (zh) * 2021-09-14 2023-12-26 北京邮电大学 一种自动化剪枝卷积神经网络的方法及其系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203630A (zh) * 2008-11-05 2011-09-28 皇家飞利浦电子股份有限公司 Mr扫描的自动顺序规划
CN104040719A (zh) * 2011-11-11 2014-09-10 冷泉港实验室 一种药物筛选方法及其用途
CN106408610A (zh) * 2015-04-16 2017-02-15 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和系统
CN106779073A (zh) * 2016-12-27 2017-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
CN106971410A (zh) * 2017-03-27 2017-07-21 华南理工大学 一种基于深度学习的白质纤维束重建方法
EP3255586A1 (en) * 2016-06-06 2017-12-13 Fujitsu Limited Method, program, and apparatus for comparing data graphs
CN107788948A (zh) * 2016-09-02 2018-03-13 卡西欧计算机株式会社 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
WO2018048575A1 (en) * 2016-09-07 2018-03-15 Elekta, Inc. System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions
CN108062505A (zh) * 2016-11-09 2018-05-22 微软技术许可有限责任公司 基于神经网络的动作检测
CN108230291A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 物体识别系统训练方法、物体识别方法、装置和电子设备
WO2018136805A1 (en) * 2017-01-19 2018-07-26 New York University System, method and computer-accessible medium for ultrasound analysis

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6725077B1 (en) 2000-12-29 2004-04-20 Ge Medical Systems Global Technology Company, Llc Apparatus and method for just-in-time localization image acquisition
US7450983B2 (en) 2003-03-18 2008-11-11 University Of Cincinnati Automated brain MRI and CT prescriptions in Talairach space
US7783090B2 (en) 2003-11-19 2010-08-24 Agency For Science, Technology And Research Automatic identification of the anterior and posterior commissure landmarks
US8199168B2 (en) 2005-11-15 2012-06-12 General Electric Company System and method for 3D graphical prescription of a medical imaging volume
WO2008024082A2 (en) 2006-08-24 2008-02-28 Agency For Science, Technology And Research Localization of brain landmarks such as the anterior and posterior commissures based on geometrical fitting
US8270698B2 (en) 2008-09-24 2012-09-18 Merge Healthcare Incorporated Anterior commissure and posterior commissure segmentation system and method
US8363918B2 (en) * 2008-11-12 2013-01-29 Siemens Aktiengesellschaft Method and system for anatomic landmark detection using constrained marginal space learning and geometric inference
US8101068B2 (en) 2009-03-02 2012-01-24 Harris Corporation Constant specific gravity heat minimization
US8811699B2 (en) 2010-09-22 2014-08-19 Siemens Aktiengesellschaft Detection of landmarks and key-frames in cardiac perfusion MRI using a joint spatial-temporal context model
US10395764B2 (en) * 2015-01-06 2019-08-27 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
US10049301B2 (en) * 2016-08-01 2018-08-14 Siemens Healthcare Gmbh Medical scanner teaches itself to optimize clinical protocols and image acquisition
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US10529088B2 (en) * 2016-12-02 2020-01-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US10845444B2 (en) * 2017-01-17 2020-11-24 The General Hospital Corporation System and method for magnetic resonance fingerprinting using neural networks trained with sparsely sampled dictionaries
US11176484B1 (en) * 2017-09-05 2021-11-16 Amazon Technologies, Inc. Artificial intelligence system for modeling emotions elicited by videos

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203630A (zh) * 2008-11-05 2011-09-28 皇家飞利浦电子股份有限公司 Mr扫描的自动顺序规划
CN104040719A (zh) * 2011-11-11 2014-09-10 冷泉港实验室 一种药物筛选方法及其用途
CN106408610A (zh) * 2015-04-16 2017-02-15 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和系统
EP3255586A1 (en) * 2016-06-06 2017-12-13 Fujitsu Limited Method, program, and apparatus for comparing data graphs
CN107788948A (zh) * 2016-09-02 2018-03-13 卡西欧计算机株式会社 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
WO2018048575A1 (en) * 2016-09-07 2018-03-15 Elekta, Inc. System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions
CN108062505A (zh) * 2016-11-09 2018-05-22 微软技术许可有限责任公司 基于神经网络的动作检测
CN106779073A (zh) * 2016-12-27 2017-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
WO2018136805A1 (en) * 2017-01-19 2018-07-26 New York University System, method and computer-accessible medium for ultrasound analysis
CN106971410A (zh) * 2017-03-27 2017-07-21 华南理工大学 一种基于深度学习的白质纤维束重建方法
CN108230291A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 物体识别系统训练方法、物体识别方法、装置和电子设备

Also Published As

Publication number Publication date
CN110797112A (zh) 2020-02-14
US20200041596A1 (en) 2020-02-06
EP3605548A1 (en) 2020-02-05
US11486950B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
CN110797112B (zh) 利用深度神经网络的自动图形处方的系统和方法
CN112596013B (zh) 用于从校准图像生成定位器扫描设置的系统和方法
US12029543B2 (en) Medical image diagnostic apparatus and medical image display apparatus for MRI or X-ray CT volume image correlations
EP2347274B1 (en) Automated sequential planning of mr scans
CN110807755B (zh) 使用定位器图像进行平面选择
JP7246864B2 (ja) 画像処理装置、磁気共鳴イメージング装置及び画像処理プログラム
US8781552B2 (en) Localization of aorta and left atrium from magnetic resonance imaging
CA2926958C (en) Flow analysis in 4d mr image data
CN111150396B (zh) 用于全身成像的方法和系统
US20210177295A1 (en) Systems and methods for generating diagnostic scan parameters from calibration images
CN106456046A (zh) 经改进的多时相动态对比增强磁共振成像的方法
US10109049B2 (en) Method of scan geometry planning for determining wall thickness of an anatomic detail using magnetic resonance imaging
EP3798661B1 (en) Mri method to determine a susceptibility distribution of an examination subject
CN115137342A (zh) 基于深度学习的图像采集医学系统和方法
Neves Silva et al. Fully automated planning for anatomical fetal brain MRI on 0.55 T
CN106030655B (zh) 脑的磁共振图像中的铰接结构配准
Positano et al. Automatic characterization of myocardial perfusion in contrast enhanced MRI
US20230306601A1 (en) Systems and methods for segmenting objects in medical images
US20240005480A1 (en) Methods and systems for automated saturation band placement
US12048521B2 (en) System and method for improved metal detection in magnetic resonance imaging
JP5405016B2 (ja) 医用画像診断支援システム
Nowozin et al. Liver perfusion using level set methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant