CN110648358B - 用于3d医学图像中的对象定位的形状参数的自适应非线性优化 - Google Patents

用于3d医学图像中的对象定位的形状参数的自适应非线性优化 Download PDF

Info

Publication number
CN110648358B
CN110648358B CN201910491911.1A CN201910491911A CN110648358B CN 110648358 B CN110648358 B CN 110648358B CN 201910491911 A CN201910491911 A CN 201910491911A CN 110648358 B CN110648358 B CN 110648358B
Authority
CN
China
Prior art keywords
target object
image
parameters
actions
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910491911.1A
Other languages
English (en)
Other versions
CN110648358A (zh
Inventor
M.I.C.埃彻维里
B.乔治斯库
S.格尔比奇
D.科马尼丘
B.L.奥德里
T.雷
S.考施克
B.盖格
M.S.纳达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN110648358A publication Critical patent/CN110648358A/zh
Application granted granted Critical
Publication of CN110648358B publication Critical patent/CN110648358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及用于3D医学图像中的对象定位的形状参数的自适应非线性优化。提供了用于在医学图像中定位目标对象的系统和方法。将医学图像离散化为具有不同分辨率的多个图像。对于所述多个图像中的每个相应图像执行用于修改相应图像中的目标对象的参数的动作序列，其中从第一个图像至最后一个图像分辨率逐渐增大。目标对象的参数包括目标对象的非线性参数。通过人工智能代理来确定动作序列，所述人工智能代理针对相应图像的分辨率进行训练以优化回报函数。基于在最后一个图像中的目标对象的修改后的参数来在医学图像中定位目标对象。

Description

用于3D医学图像中的对象定位的形状参数的自适应非线性 优化
相关申请的交叉引用
本申请主张对提交于2018年6月7日的美国临时申请号62/681,865的权益，其公开内容通过引用以其整体并入本文。
技术领域
本发明一般涉及3D医学图像中的对象定位，并且更具体地涉及使用基于强化学习的方法的用于3D医学图像中的对象定位的形状参数的自适应非线性优化。
背景技术
解剖结构的定位是指确定医学图像中的包含解剖结构的区域的任务。在医学图像中定位解剖结构是对于后续医学图像分析任务的重要先决条件，所述分析任务如医学图像配准、体积器官分割、病变量化和异常检测。然而，由于输入数据的可变性——这种可变性可能是由于不同的解剖结构尺寸、图像定向、视场、切片和患者所处位置而产生的，在医学图像中定位解剖结构是具有挑战性的。
用于在医学图像中定位解剖结构的常规方法都具有缺点。例如，用于对象定位的基于图表集的配准方法需要复杂的非刚性配准，并且不可缩放至大的三维体积。基于回归的对象定位方法通过将定位用公式表达为多元回归问题来学习从体素到参数的非线性映射。然而，这种基于回归的方法难以训练，尤其是在数据集在视场中具有大的变化的情况下，这限制了此类方法在三维医学成像中的适用性。基于分类的方法通常通过在大的假设集中离散化参数空间并通过训练后的分类器进行测试来执行对象定位，然而此类基于分类的方法在参数搜索空间中强加了依赖性，这可能导致次优的解决方案并且难以推广。基于基于区域的卷积神经网络（R-CNN）的医学图像分析技术需要非常大的带注释的数据集来进行训练，并且难以推广以用于各种临床病例。
最近提出了深度强化学习用于医学图像中的界标检测。在题为“IntelligentMulti-Scale Medical Image Landmark Detection（智能多尺度医学图像界标检测）”的美国专利号9,792,531中，描述了一种使用深度强化学习浏览（navigate）通过线性参数空间的三个目标参数维度(x,y,z)以实现医学图像中的界标检测的人工智能代理（agent），该专利通过引用整体并入本文。然而，该代理仅限于在三个参数维度中浏览，而不能根据非线性参数（如例如，旋转、剪切和尺度（scale））来参数化目标对象。因此，这种代理不适用于许多图像分析应用。
发明内容
根据一个或多个实施例，提供了用于在医学图像中定位目标对象的系统和方法。将医学图像离散化为具有不同分辨率的多个图像。对于所述多个图像中的每个相应图像执行用于修改相应图像中的目标对象的参数的动作序列，其中从第一个图像至最后一个图像分辨率逐渐增大。目标对象的参数包括目标对象的非线性参数。通过人工智能代理来确定动作序列，所述人工智能代理针对相应图像的分辨率进行训练以优化回报函数。基于在最后一个图像中的目标对象的修改后的参数来在医学图像中定位目标对象。
根据一个实施例，目标对象的参数包括定义九维空间的平移、旋转和缩放参数。
根据一个实施例，使用深度强化学习来训练AI代理。
根据一个实施例，动作序列包括不改变目标对象的参数的停止动作。
根据一个实施例，动作序列包括不改变目标对象的参数的停止动作。可以通过重复执行优化回报函数的用于修改相应图像中的当前状态的目标对象的参数的动作直到满足停止条件为止来执行动作序列，回报函数由针对相应图像的分辨率进行训练的AI代理来学习。停止条件包括以下中的一个：AI代理确定的停止动作、预定步数、和连续的互补动作。相应图像中的目标对象的修改后的参数可以用作这多个图像中的下一图像中的目标对象的初始参数。目标对象可以是解剖学界标。
通过参考以下详细描述和附图，本发明的这些和其他优点将对本领域技术人员显而易见。
附图说明
图1示出了根据一个或多个实施例的用于在医学图像中定位目标对象的例示性系统；
图2示出了根据一个或多个实施例的用于在医学图像中定位目标对象的高级框架；
图3示出了根据一个或多个实施例的用于在医学图像中定位目标对象的方法；
图4示出了根据一个或多个实施例的用于确定目标对象的参数以用于在医学图像中定位目标对象的方法；
图5示出了根据一个或多个实施例的用于训练人工智能代理以用于在医学图像中定位目标对象的方法；
图6示出了对比本发明的实施例与传统方法的表格；
图7示出了对比本发明的实施例与传统方法的一系列图像；以及
图8示出了计算机的高级框图。
具体实施方式
本发明一般涉及用于3D医学图像中的对象定位的非线性自适应学习的优化方法和系统。在本文中描述本发明的实施例以给出对这样的方法和系统的视觉理解。数字图像经常包括一个或多个对象（或形状）的数字表示。在本文中经常在标识和操纵对象的方面描述对象的数字表示。这样的操纵是在存储器或计算机系统的其他电路/硬件中完成的虚拟操纵。因此，要理解的是，本发明的实施例可以由计算机系统使用存储在该计算机系统内的数据来执行。
应当理解的是，虽然可能关于医学图像中的解剖学对象的定位讨论本文讨论的实施例，但是本发明不限于此。本发明的实施例可以应用于在任何图像中定位任何对象。
图1示出了根据一个或多个实施例的被配置用于在医学图像中定位解剖学对象的系统100。系统100包括工作站102，其可以用于辅助临床医生（例如，医生、医学专业人员或任何其他用户）对患者106（或任何其他主体）执行医学评估。可以使用任何合适的计算设备来实现工作站102，如例如图8的计算机802。
在一个实施例中，工作站102可以辅助临床医生基于从一个或多个医学成像系统104接收的医学图像来执行对患者106的医学评估。在有利实施例中，从医学成像系统104接收的医学图像是三维（3D）医学图像。然而，应当理解的是，从医学成像系统104接收的医学图像可以是任何合适的模态或域的任何类型的图像。例如，从医学成像系统104接收的医学图像可以是例如二维（2D）或3D计算机断层扫描（CT）、x射线、磁共振成像（MRI）、超声（US）、单光子发射计算机断层扫描（SPECT）、正电子发射断层扫描（PET）或任何其他合适的模态或模态的组合。医学图像可以直接从医学成像系统104接收，或者可以通过加载使用医学成像系统104获取的患者的先前存储的医学图像来接收。
工作站102分析从医学成像系统104接收的医学图像，以辅助临床医生执行对患者106的医学评估。如例如图像配准、器官分割、病变量化和异常检测的许多医学图像分析任务都需要定位解剖学对象。
本发明的实施例提供了基于深度强化学习的人工智能（AI）代理，对该AI代理进行训练以通过学习最大化回报函数的搜索策略来在医学图像中定位目标对象。训练后的AI代理浏览通过医学图像的非线性多维参数空间以定位目标对象。在一个有利实施例中，训练后的AI代理浏览医学图像的九维参数空间以自动估计目标对象的九个参数：定义目标对象的中心位置的笛卡尔坐标(x,y,z)，定义目标对象的定向的偏航角、俯仰角和翻滚角，以及定义目标对象的尺度的宽度、深度和高度。所估计的目标对象的参数定义了解剖学边界框，从而提供目标对象在医学图像中的定位。
图2示出了根据一个实施例的用于在医学图像中定位目标对象的高级框架200。目标对象被建模为D个独立参数的集合，其中D是维数。可获得的参数值形成医学图像的D维参数空间，其中一个实例被唯一地表示为坐标点/>。定位的目标是要在医学图像中定位目标对象，或者等价地，要找到医学图像的D维参数空间中的表示目标对象位置的目标对象参数/>。
D维参数空间被离散化为每个维度中的规则间隔，从而给出AI代理可达到的位置的集合。该问题被建模为由对象元组来定义的马尔可夫决策过程（MDP），其中，S是可能状态s的集合，A是AI代理的可能动作a的集合，p是转移概率分布（即，AI代理在当前状态s下执行动作a后到达下一状态的概率），R是标量回报函数，并且γ是折现函数。部署训练后的AI代理来浏览D维参数空间，目标是到达目标对象的参数/>，其表示目标对象的位置。训练后的AI代理通过执行动作序列来主动学习应对不确定的环境（即，医学图像）。
对参数空间进行采样引入了准确性与效率之间的权衡。较大的步长会导致更快的收敛，但较小的步长允许以更高的精度逼近目标对象的位置。框架200采用多尺度渐进优化方法，其中AI代理在一系列参数空间中演化，在视场和控制方面分辨率不断增大。
在框架200中，将医学图像离散化（例如，下采样）为具有不同尺度级别或分辨率的多个离散图像，包括：具有低分辨率的图像202、具有中等分辨率的图像204以及具有高分辨率的图像206。尽管图像在图2中被示为具有三种不同分辨率的三个图像，但是应当理解的是，可以采用具有不同分辨率的任何数量的图像。针对图像202、204和206的每个分辨率训练单独的AI代理。每个AI代理分别由卷积和完全连接的层208、210和212表示。对于这多个图像中的每一个，还将D维参数空间离散化为恒定尺度单元的网格，其中确定AI代理对参数的控制的精度。
相应的AI代理以分辨率逐渐增大的有层次的方式浏览通过图像202、204和206的参数空间来估计参数——从具有低分辨率（即，最低分辨率）的图像202开始，前进到具有中等分辨率（即，次高（next highest）分辨率）的图像204，并且进一步前进到具有高分辨率（即，最高分辨率）的图像206。从具有低分辨率的图像202开始，（针对低分辨率训练的）AI代理被初始化有表示目标对象在D维中的位置的初始参数集/>。初始参数集/>例如可以是在训练期间根据训练集上的平均值确定的。
AI代理执行用于修改参数的动作序列以优化（例如，最大化）该AI代理所学习的回报函数。从AI代理的层208输出来自图像202的修改后的参数214，该修改后的参数214被浏览图像204的参数空间的AI代理用作目标对象的初始参数。相应地，（针对中等分辨率训练的）AI代理执行用于修改参数214的动作序列以优化（例如，最大化）该AI代理所学习的回报函数。从AI代理的层210输出来自图像204的修改后的参数216，该修改后的参数216被浏览图像206的参数空间的AI代理用作目标对象的初始参数。（针对高分辨率训练的）AI代理执行用于修改参数216的动作序列以优化（例如，最大化）该AI代理所学习的回报函数。从AI代理的层212输出来自图像206的修改后的参数218作为目标对象的最终参数值。在一个实施例中，该最终参数值以线性和非线性参数项来定义：位置（即，(x,y,z)笛卡尔坐标）、定向（即，偏航角、俯仰角和翻滚角）以及尺度（宽度、深度和高度），以表示目标对象的定位。
图3示出了根据一个或多个实施例的用于在医学图像中定位目标对象的方法300。方法300利用在先前的训练阶段期间训练的多个训练后的AI代理。后文中会结合图5更详细地描述AI代理的训练。在一个实施例中，方法300由图1的工作站102执行。
在步骤302处，将医学图像离散化（例如，表示）为具有不同分辨率的多个图像。医学图像包括要定位的目标对象。目标对象可以是要定位的任何感兴趣对象，如例如解剖学界标或结构。在一个实施例中，医学图像是3D CT医学图像，然而应当理解的是，医学图像可以是任何合适的模态或域。医学图像可以直接从医学成像系统接收，如例如图1的医学成像系统104。替换地，可以通过从计算机系统的存储或存储器加载先前获取的医学图像或者通过接收从远程计算机系统传输的医学图像来接收医学图像。
在一个实施例中，通过将医学图像下采样为具有不同分辨率的多个图像来离散化医学图像。例如，可以将医学图像下采样为分别具有增大的图像分辨率的多个图像。
在步骤304处，对于这多个图像中的每个相应图像执行用于修改相应图像中的目标对象的参数的动作序列，其中从第一个图像（例如，具有最低分辨率的图像）至最后一个图像（例如，具有最高分辨率的图像）分辨率逐渐增大。目标对象的参数可以包括线性和/或非线性参数。例如，在一个实施例中，目标对象的参数包括定义九维空间的平移、旋转和缩放参数。动作序列包括由AI代理确定的分立动作，所述AI代理被针对相应图像的分辨率进行训练以优化（例如，最大化）回报函数。动作序列还可以包括不改变目标对象的参数的停止动作。后文中会结合图4更详细地描述步骤304。
在步骤306处，基于最后一个图像中的目标对象的修改后的参数来在医学图像中定位目标对象。例如，目标对象的定位可以是由目标对象的修改后的参数定义的解剖学边界框的位置。
在步骤308处，输出在医学图像中定位目标对象的结果。在一个实施例中，可以通过在计算机系统的显示设备上显示目标对象的定位结果、将目标对象的定位结果存储在计算机系统的存储器或存储上、或者通过将目标对象的定位结果传输到远程计算机系统来输出目标对象的定位结果。
图4示出了根据一个或多个实施例的用于确定目标对象的参数以用于在医学图像中定位目标对象的方法400。在一个实施例中，方法400可以在图3的步骤304处执行。
在步骤402处，从具有不同分辨率的多个图像中选择具有最低分辨率（即，最粗分辨率）的图像。
在步骤404处，执行动作a，其用于在所选图像中针对当前状态s t 修改目标对象的参数，该动作a优化了由针对所选图像的分辨率进行训练的相应AI代理所学习的回报函数r。最初由初始参数集定义目标对象。在先前的训练阶段期间，针对每个所选图像的分辨率单独训练每个相应的AI代理。后文中会结合图5进一步描述AI代理的训练。
从AI代理可用的多个动作中确定动作a。存在(2D + 1)个AI代理可用的动作：2D个移动动作和一个用来终止搜索的停止动作，其中D是维数。在一个实施例中，存在D = 9个维度，使得AI代理可用的多个移动动作包括（在正负两个方向上的）以下移动：在目标对象的位置的(x,y,z)笛卡尔坐标中的移动；在目标对象定向的偏航角、俯仰角和翻滚角中的移动，以及目标对象尺度的宽度、深度和高度中的移动。目标对象在参数空间中的移动被表示为沿着基底向量中的一个的单位长度的步长，其中/>表示在第d个坐标中为1且在其他坐标中为0的向量。
时间步长t处的当前状态s t 表示AI代理可见的（所选图像的）3D环境的当前可见区域。当前状态s t 是步长t处的当前参数所定义的当前边界框加上用来提供额外背景的固定体素余量的区域。AI代理接收当前状态s t 作为固定尺寸的体素网格。在每个时间步长处对当前状态s t 重新采样。
AI代理学习回报函数r作为策略方针，其目标是优化（例如，最大化）在一个片段上的累积回报。基于距离的回报r t 定义如下：
其中定义了参数空间中的两个对象x与x'之间的距离度量。每次选择从当前状态s t 的动作a t 时，回报都会给代理提供评估反馈。当AI代理更接近目标对象的地面真值目标形状时，回报为正，否则回报为负。如果一个移动动作导致非法状态s t+1，则AI代理接收到负回报-1。如果其中一个参数超出了预定义的允许搜索范围，则状态为非法状态。如果代理决定停止，则距离目标越近，获得的回报就越大，同样，距离目标越远，获得的回报就越少。针对选择移动动作，回报被界定于[-1;1]之间，并且针对停止动作，回报被界定于[-3;3]之间。距离度量可以是任何合适的距离度量。在一些实施例中，距离度量可以是/>范数家族、交除并（intersection over union）或平均角到角距离。
在步骤406处，确定是否满足停止条件。停止条件可以是步骤404处的动作是停止动作、执行了两个连续的互补动作（例如，增大宽度和减小宽度）、满足了预定的最大步数或迭代数、或任何其他合适的停止条件。
如果在步骤406处不满足停止条件，则方法400返回到步骤404，并且AI代理通过修改所选图像中的目标对象的参数来执行另一动作。在第一步或第一迭代处，执行动作a以修改初始参数集。在每个后续步骤处，执行动作a以修改在前一步骤处修改过的参数。对所选图像迭代地重复步骤404，直到满足停止条件（步骤406）为止，从而执行用于修改所选图像中的目标对象的参数的动作序列。
如果在步骤406处满足了停止条件，则在步骤408处确定在具有不同分辨率的这多个图像中是否存在具有比所选图像更高分辨率的任何图像。如果存在具有比所选图像更高分辨率的图像，则在步骤410处从具有不同分辨率的多个图像中选择具有次高分辨率的图像。然后，方法400使用具有次高分辨率的图像作为所选图像返回步骤404，以确定用于修改具有次高分辨率的图像中的目标对象的参数的动作。针对所选图像确定的目标对象的修改后的参数被用作针对下一个所选图像（即，具有次高分辨率的图像）的目标对象的初始参数。
对于每个所选图像（即，具有不同分辨率的多个图像中的每个图像）迭代地重复步骤404和406，直到满足停止条件（步骤406）为止，以基于针对所选图像的分辨率训练的相应AI代理来确定用于修改所选图像中的目标对象的参数的动作序列。以这种方式，从具有最低分辨率（即，最粗糙的分辨率）的图像开始到具有最高分辨率（即，最精细的分辨率）的图像为止，对于具有不同分辨率的多个图像中的每个图像有层次地执行变换解剖学边界框的动作序列，所述解剖学边界框是由目标对象的被修改参数定义的。这种多尺度渐进式控制策略提供了更高的计算效率。
在步骤412处，输出（根据具有最高分辨率的图像确定的）目标对象的最终的修改后的参数。例如，可以通过显示根据目标对象的修改后的参数定义的解剖学边界框、将修改后的参数存储在计算机系统的存储器或存储上、或者通过将修改后的参数传输到远程计算机系统来输出目标对象框的修改后的参数。
图5示出了根据一个或多个实施例的用于训练AI代理修改目标对象的参数以在医学图像中定位目标对象的方法500。可以重复执行方法500的步骤以训练多个AI代理，每个AI代理对应于不同的分辨率。执行方法500以在训练阶段期间训练一个或多个AI代理。一旦经过训练，就可以在在线阶段或推理阶段期间（如例如，图3的方法300或图4的方法400期间）应用这一个或多个训练后的AI代理。
在训练期间，AI代理学习指示针对给定状态要采取哪个动作的方针。AI代理逐渐学习如何适配其当前方针，直到找到最优方针，该最优方针返回根据给定的起始状态s 0优化累积的折现回报R的动作序列。由于缺乏关于状态变换和回报概率分布（无模型设置）的先验知识并且由于输入数据的高维度（连续的体积图像），因此使用深度强化学习（例如，Q-学习）结合神经网络函数逼近器来训练AI代理。使用深度Q网络估计最佳的动作值函数。使用Q-学习来通过最小化一系列损失函数/>来更新网络，所述损失函数/>表达/>距其目标y i 有多远：/>。为了有效地训练DQN，结合了经验重放、ε贪婪探索和损失裁剪的概念。训练期间的动作被约束至正方向（即，导致正回报的动作），以加速AI代理发现正回报轨迹。
在步骤502处，接收训练图像集。该集合中的训练图像具有对应于AI代理要针对其进行训练的分辨率的分辨率。对训练图像加注释以标识目标对象的位置。
在步骤504处，在每个训练图像的一部分内评估表示定义目标对象的定位的解剖学边界框的状态空间。
在步骤506处，通过对每个训练图像应用预定义的动作集中的动作来变换状态空间。在一个实施例中，预定义的动作集包括在边界框的位置的(x,y,z)笛卡尔坐标中的移动动作；在边界框定向的偏航角、俯仰角和翻滚角中的移动动作；以及边界框尺度的宽度、深度和高度中的移动动作；以及不改变边界框的停止动作。
在步骤508处，确定状态空间的每次变换的回报值。回报值是基于当前状态空间到目标对象的距离。
在步骤510处，基于回报值、预定义的动作集、状态空间和训练图像集通过最大化累积回报值来优化AI代理的行为。藉此，AI代理学习了确定用来定位目标对象的最有利的动作序列。
本发明的实施例已经试验证实。获取头部区域的MRI扫描以从覆盖大脑的侦察器或定位器图像定位标准框。这是一项具有挑战性的任务，需要能够抵抗定位器扫描定向、对象视图和大脑解剖结构的变化的稳健性。在某些情况下，某些大脑或骨骼结构可能由于自然发育或病理问题而缺失或移位。
数据集由头部区域的530个带注释的MRI扫描组成。500个扫描用于训练，30个扫描用于测试。由不同的专家对30个测试案例加注释两次，以计算评估者间的变异性。选择具有病理问题（脑组织中的肿瘤或流体肿胀）、头部的平面旋转、头枕的厚垫或颅骨的裁切不正的顶部的另外15个具有挑战性的测试案例，以评估所公开实施例的稳健性。
图像的尺度空间被离散化为4个级别：16mm（L 1）、8mm（L 2）、4mm（L 3）和2mm（L 4）。将图像或输入分辨率（1.6 x 1.5625 x 1.5625）各向同性地下采样到16、8、4和2mm。体素强度被裁剪至第3到第97百分位数之间，并将其归一化至[0;1]的范围。
基于大脑区域中存在的解剖结构来对地面真值框加注释。通过定位大脑中矢状平面（MSP）、分离两个大脑半球并穿过鸡冠部、嘻维厄斯水管（Sylvian Aqueduct）和延髓来确定框的定向。MSP内的旋转对准是基于两个解剖学点：区分胼胝体（CC）膝与CC嘴的弯曲以及CC压部上的最下点。在给定此定向的情况下，该框的下缘被定义为与C1椎骨拱点的中心相交。其他框端点定义了大脑的封闭边界框。
遵循注释协议，定义正交基(i,j,k)，其中i是MSP的法向，并且j定义MSP内的旋转。框的定向由三个角度控制：分别控制MSP的偏航角和俯仰角的α 1和α 2，以及控制围绕i的平面内翻滚角的β 1。中心位置被参数化为其笛卡尔坐标。尺度被参数化为框的宽度w、深度d和高度h。
在实验期间，第一个框被设置为以最粗糙的尺度覆盖整个图像，并且随后遵循AI代理的决策来对其进行细化。图6示出了表600，其对比了根据本发明的实施例的本发明方法、人类表现（评估者间变异性）和传统的基于界标的方法。
基于界标的方法检测在定义了框之后仔细选择的14个界标。因此，用随机样本共识（RANSAC）稳健拟合来初始化中矢状平面。最后，用梯度下降算法来拟合框，以最小化相对于检测到的界标的角度和位置误差。将14个界标中的8个界标与角度α 1和α 2相关联，从而实现针对这些测量的良好结果。另一方面，由于与β 1相关联的界标较少，该角度对异常值不稳健。
本发明的方法针对每个测量在观察者间可变性（人类表现）范围内表现良好。由于对框参数执行直接优化，本发明的方法不依赖于对特定点的先前检测。回想起来，较精细的尺度级别被设定为2mm，这意味着本发明的方法实现了1-2个体素精度的平均准确度。在15个困难的测试案例中未观察到重大故障，显示出对各种图像采集、患者定向、脑解剖和极端临床病例的稳健性。
在推理阶段期间，本发明的方法在GeForce GTX图形处理单元上平均运行0.6秒。该处理时间包括4个尺度级别的浏览。如果期望近乎实时的性能，则搜索可以以最低限度的准确度损失停在4mm分辨率处，从而将平均运行时间减少到小于0.15秒。
图7示出了图像序列700和710，其对比了根据本发明的实施例确定的当前边界框（以虚线示出）与地面真值（以实线示出）。序列700和710中的每个图像描绘了使用具有不断增大的分辨率的图像来细化的边界框。
为了实现该实验，每个尺度级别L i （分辨率为24-i mm）下的步长被固定如下：
；
；
度；以及
度。
和/>分别为平均框宽度和深度，单位为mm。AI代理可以以1个体素精度控制框位置和尺寸，并通过使框端点旋转半个体素精度来控制框定向。
输入体素网格的尺寸s对于被设置为253个体素，并且对于L 3被设置为503个体素，以便在当前空间采样密度下包含整个框。为了计算效率，对于L 4，仅框的中心正交平面被扭曲为三个90x90x5的输入体素网格。
对于回报，将动作聚类为三组（平移、旋转和缩放）。使用范数作为距离度量：
。
对于粗尺度，如果中心位置在图像边界之外、或者如果框尺寸大于图像尺寸的1.5倍、或者如果框(i,j)向量与图像(x,y)轴之间的角度分别大于(30°,60°)，则状态不合法。对于其他尺度，搜索范围被约束为参考地面真值框周围的±10个步长。
针对每个尺度等级独立地训练模型、/>、/>和/>。网络由三个3D卷积层（32个内核，步幅2，批量归一化和ReLU）组成，后面是三个完全连接的层（256、128、19个单元，ReLU）。对于16、8和4mm，卷积内核和步幅大小是各向同性的。对于2mm，三个平面输入由具有平面内核和步幅大小的三个平行的卷积层分支来处理。所得到的特征图在通过完全连接的块之前串接在一起。
训练模型达100期，一个期持续1500个代理步长。期的长度从1500线性衰减到15。ε在前100期期间从1.0线性退（anneal）到0.1，然后固定为0.1。重放存储器可以存储10000个变换。训练在5000个随机步长之后开始，每10个代理步长一个训练步长。DDQN损失项中使用的目标网络每5000步长更新一次。使用RMS-prop（RMS为均方根）优化器，其中，/>并且/>。小批次尺寸对于L 1和L 2尺度级别被设置为256，对于L 3被设置为128，并且对于L 4被设置为64。所有实验均是在PyTorch平台上执行的。
可以使用数字电路或者使用一个或多个计算机来实现本文描述的系统、装置和方法，其中所述一个或多个计算机使用众所周知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或被耦合至一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等等。
可以在使用以客户端-服务器关系来进行操作的计算机情况下实现本文描述的系统、装置和方法。通常，在这样的系统中，客户端计算机位于远离服务器计算机处并且经由网络来进行交互。该客户端-服务器关系可以由在相应客户端和服务器计算机上运行的计算机程序来定义和控制。
可以在基于网络的云计算系统内实现本文描述的系统、装置和方法。在这样的基于网络的云计算系统中，连接至网络的服务器或另一处理器经由网络来与一个或多个客户端计算机通信。客户端计算机可以经由例如驻留在客户端计算机上或在其上操作的网络浏览器应用来与服务器通信。客户端计算机可以经由网络将数据存储在服务器上或访问数据。客户端计算机可以经由网络将对数据的请求或对在线服务的请求传送至服务器。该服务器可以执行所请求的服务并且将数据提供给（一个或多个）客户端计算机。该服务器也可以传送如下数据，其被适配用于促使客户端计算机执行指定功能，例如执行计算、将指定数据显示在屏幕上等等。例如，该服务器可以传送如下请求，其被适配用于促使客户端计算机执行本文描述的方法和工作流的其中一个或多个步骤或功能，包括图3-5的其中一个或多个步骤。可以由服务器或由在基于网络的云计算系统中的另一处理器来执行本文描述的方法和工作流的确定的步骤，包括图3-5的其中一个或多个步骤。可以由在基于网络的云计算系统中的客户端计算机来执行本文描述的方法和工作流的某些步骤或功能，包括图3-5的其中一个或多个步骤。可以由服务器和/或由在基于网络的云计算系统中的客户端计算机以任何组合的方式来执行本文描述的方法和工作流的步骤或功能，包括图3-5的其中一个或多个步骤中 。
可以使用如下计算机程序产品来实现本文描述的系统、装置和方法，其中该计算机程序产品以信息载体，例如以非暂时性机器可读存储设备，来被有形地体现以便由可编程处理器来执行；并且可以使用能由这样的处理器所执行的一个或多个计算机程序来实现本文描述的方法和工作流步骤，包括图3-5的其中一个或多个步骤或功能。计算机程序是如下计算机程序指令的集合，其可以在计算机中被直接或间接地使用，以用于执行确定的活动或引起确定的结果。可以以任何形式的编程语言，包括编译语言或解释语言，来编写计算机程序，并且可以以任何形式来部署该计算机程序，包括作为独立程序或作为适合于在计算环境中使用的模块、组件、子例行程序或其他单元。
图8中描绘了可以用来实现本文描述的系统、装置和方法的示例计算机802的高级框图。计算机802包括可操作耦合至数据存储设备812和存储器810的处理器804。处理器804通过执行对这样的操作进行定义的计算机程序指令来控制计算机802的整体操作。可以将该计算机程序指令存储在数据存储设备812或其他计算机可读介质中，并且当期望执行计算机程序指令时将该计算机程序指令加载到存储器810中。因此，图3-5的方法和工作流步骤可以由存储在存储器810和/或数据存储设备812中的计算机程序指令来定义并且由执行计算机程序指令的处理器804来控制。例如，该计算机程序指令可以被实现为，由本领域中的技术人员所编程的、用于执行图3-5的方法和工作流步骤或功能的计算机可执行代码。相应地，通过执行计算机程序指令，处理器804执行图3-5的方法和工作流步骤。计算机804还可以包括用于经由网络与其他设备进行通信的一个或多个网络接口806。计算机802还可以包括使得用户能够与计算机802交互的一个或多个输入/输出设备808（例如显示器、键盘、鼠标、扬声器、按钮等等）。
处理器804可以包括通用和专用微处理器二者，并且可以是计算机802的唯一处理器或多个处理器之一。处理器804可以包括例如一个或多个中央处理单元（CPU）。处理器804、数据存储设备812和/或存储器810可以：包括一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）；通过一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）来补充；或被合并在一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）中。
数据存储设备812和存储器810每个都包括有形的非暂时性计算机可读存储介质。数据存储设备812和存储器810每个都可以包括高速随机存取存储器，诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双数据率同步动态随机存取存储器（DDR RAM）或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如：一个或多个磁盘存储设备，诸如内部硬盘和可移动盘；磁光盘存储设备；光盘存储设备；闪速存储器设备；半导体存储器设备，诸如可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、压缩盘只读存储器（CD-ROM）、数字多功能盘只读存储器（DVD-ROM）盘，或者可以包括其他非易失性固态存储设备。
输入/输出设备808可以包括外围设备，诸如打印机、扫描仪、显示屏等等。例如，输入/输出设备808可以包括：用于向用户显示信息的显示设备，诸如阴极射线管（CRT）或液晶显示（LCD）监视器、键盘；和用户可以通过其来向计算机802提供输入的指点设备，诸如鼠标或轨迹球。
可以使用一个或多个计算机（诸如计算机802）来实现本文讨论的任何或所有系统和装置，包括图1的工作站102的元件。
本领域技术人员将会认识到：实际计算机或计算机系统的实现方案可以具有其他结构并且还可以包含其他组件，并且图8是对用于例示性目的的这种计算机的其中一些组件的高级表示。
前面的详细描述应被理解为，在每个方面而言都是说明性和示例性的而不是限制性的，并且本文公开的本发明的范围不应由该详细描述来确定，而是应由如根据专利法所许可的完全宽度所解释的权利要求来确定。应理解为，本文示出和描述的实施例仅仅例示了本发明的原理并且可以在不偏离本发明的范围和精神的情况下由本领域技术人员实现各种各样的修改方案。本领域技术人员可以在不偏离本发明的范围和精神的情况下实现各种各样其他的特征组合。

Claims (20)

1.一种用于在医学图像中定位目标对象的方法，包括：
将所述医学图像离散化为具有不同分辨率的多个图像；
对于所述多个图像中的每个相应图像执行用于修改所述相应图像中的目标对象的参数的动作序列，其中从第一个图像至最后一个图像分辨率逐渐增大，所述目标对象的参数包括与所述目标对象的定位相关的非线性参数，其中所述动作序列包括由人工智能(AI)代理确定的分立动作，所述AI代理被针对所述相应图像的分辨率进行训练以优化回报函数；以及
基于在最后一个图像中的目标对象的修改后的参数来在所述医学图像中定位所述目标对象。
2.根据权利要求1所述的方法，其中，所述目标对象的参数包括定义九维空间的平移、旋转和缩放参数。
3.根据权利要求1所述的方法，其中，所述AI代理是使用深度强化学习训练的。
4.根据权利要求1所述的方法，其中，所述动作序列包括不改变所述目标对象的参数的停止动作。
5.根据权利要求1所述的方法，其中，所述相应图像中的所述目标对象的修改后的参数被用作在所述多个图像中的下一图像中的所述目标对象的初始参数。
6.根据权利要求1所述的方法，其中，执行用于修改所述相应图像中的目标对象的参数的动作序列包括：
重复执行优化所述回报函数的用于修改所述相应图像中的当前状态的目标对象的参数的动作直到满足停止条件为止，所述回报函数由针对所述相应图像的分辨率进行训练的AI代理来学习。
7.根据权利要求6所述的方法，其中，所述停止条件包括以下中的一个：所述AI代理确定的停止动作、预定步数、和连续的互补动作。
8.根据权利要求1所述的方法，其中，所述目标对象是解剖学界标。
9.一种用于在医学图像中定位目标对象的装置，包括：
用于将所述医学图像离散化为具有不同分辨率的多个图像的部件；
用于对于所述多个图像中的每个相应图像执行用于修改所述相应图像中的目标对象的参数的动作序列的部件，其中从第一个图像至最后一个图像分辨率逐渐增大，所述目标对象的参数包括与所述目标对象的定位相关的非线性参数，其中所述动作序列包括由人工智能(AI)代理确定的分立动作，所述AI代理被针对所述相应图像的分辨率进行训练以优化回报函数；以及
用于基于在最后一个图像中的目标对象的修改后的参数来在所述医学图像中定位所述目标对象的部件。
10.根据权利要求9所述的装置，其中，所述目标对象的参数包括定义九维空间的平移、旋转和缩放参数。
11.根据权利要求9所述的装置，其中，所述AI代理是使用深度强化学习训练的。
12.根据权利要求9所述的装置，其中，所述相应图像中的所述目标对象的修改后的参数被用作在所述多个图像中的下一图像中的所述目标对象的初始参数。
13.根据权利要求9所述的装置，其中，所述用于执行用于修改所述相应图像中的目标对象的参数的动作序列的部件包括：
用于重复执行优化所述回报函数的用于修改所述相应图像中的当前状态的目标对象的参数的动作直到满足停止条件为止的部件，所述回报函数由针对所述相应图像的分辨率进行训练的AI代理来学习。
14.根据权利要求13所述的装置，其中，所述停止条件包括以下中的一个：所述AI代理确定的停止动作、预定步数、和连续的互补动作。
15.一种存储了用于在医学图像中定位目标对象的计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令在被处理器执行时使得所述处理器实行包括以下的操作：
将所述医学图像离散化为具有不同分辨率的多个图像；
对于所述多个图像中的每个相应图像执行用于修改所述相应图像中的目标对象的参数的动作序列，其中从第一个图像至最后一个图像分辨率逐渐增大，所述目标对象的参数包括与所述目标对象的定位相关的非线性参数，其中所述动作序列包括由人工智能(AI)代理确定的分立动作，所述AI代理被针对所述相应图像的分辨率进行训练以优化回报函数；以及
基于在最后一个图像中的目标对象的修改后的参数来在所述医学图像中定位所述目标对象。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述目标对象的参数包括定义九维空间的平移、旋转和缩放参数。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述AI代理是使用深度强化学习训练的。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，所述动作序列包括不改变所述目标对象的参数的停止动作。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述相应图像中的所述目标对象的修改后的参数被用作在所述多个图像中的下一图像中的所述目标对象的初始参数。
20.根据权利要求15所述的非暂时性计算机可读介质，其中，所述目标对象是解剖学界标。
CN201910491911.1A 2018-06-07 2019-06-06 用于3d医学图像中的对象定位的形状参数的自适应非线性优化 Active CN110648358B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862681865P 2018-06-07 2018-06-07
US62/681865 2018-06-07
US16/270,918 US10846875B2 (en) 2018-06-07 2019-02-08 Adaptive nonlinear optimization of shape parameters for object localization in 3D medical images
US16/270918 2019-02-08

Publications (2)

Publication Number Publication Date
CN110648358A CN110648358A (zh) 2020-01-03
CN110648358B true CN110648358B (zh) 2023-10-31

Family

ID=66810670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910491911.1A Active CN110648358B (zh) 2018-06-07 2019-06-06 用于3d医学图像中的对象定位的形状参数的自适应非线性优化

Country Status (3)

Country Link
US (1) US10846875B2 (zh)
EP (1) EP3579189B1 (zh)
CN (1) CN110648358B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230294B (zh) * 2017-06-14 2020-09-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
WO2021087334A1 (en) * 2019-11-01 2021-05-06 Vannevar Labs, Inc. Neural network-based optical character recognition
CN113410861B (zh) * 2020-03-17 2023-01-20 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 一种适用于多端柔性直流系统的下垂控制参数优化方法
CN111647506B (zh) * 2020-05-18 2023-11-03 深圳市真迈生物科技有限公司 定位方法、定位装置和测序系统
CN113516328B (zh) * 2020-07-13 2022-09-02 阿里巴巴集团控股有限公司 数据处理方法、服务提供方法、装置、设备和存储介质
CN112370161B (zh) * 2020-10-12 2022-07-26 珠海横乐医学科技有限公司 基于超声图像特征平面检测的手术导航方法及介质
CN115249245B (zh) * 2022-09-22 2022-12-23 深圳华声医疗技术股份有限公司 超声成像参数优化方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408610A (zh) * 2015-04-16 2017-02-15 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和系统
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN107464231A (zh) * 2016-06-03 2017-12-12 西门子保健有限责任公司 用于确定医学成像的最佳操作参数的系统和方法
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916919B2 (en) * 2006-09-28 2011-03-29 Siemens Medical Solutions Usa, Inc. System and method for segmenting chambers of a heart in a three dimensional image
US8494245B2 (en) * 2010-03-09 2013-07-23 Siemens Aktiengesellschaft System and method for guiding transcatheter aortic valve implantations based on interventional C-Arm CT imaging
US9262671B2 (en) * 2013-03-15 2016-02-16 Nito Inc. Systems, methods, and software for detecting an object in an image
CN103235949B (zh) * 2013-04-12 2016-02-10 北京大学 图像兴趣点检测方法和装置
US9569736B1 (en) 2015-09-16 2017-02-14 Siemens Healthcare Gmbh Intelligent medical image landmark detection
US9792531B2 (en) 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
WO2018009405A1 (en) * 2016-07-08 2018-01-11 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
WO2018052586A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
US10417556B1 (en) * 2017-12-07 2019-09-17 HatchB Labs, Inc. Simulation-based controls optimization using time series data forecast

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408610A (zh) * 2015-04-16 2017-02-15 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和系统
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN107464231A (zh) * 2016-06-03 2017-12-12 西门子保健有限责任公司 用于确定医学成像的最佳操作参数的系统和方法
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络改进的图像自动分割方法;温佩芝等;《计算机应用研究》;20170901(第09期);全文 *
基于小波变换和混合遗传算法的医学图像配准;梁君婷等;《应用光学》;20100715(第04期);全文 *

Also Published As

Publication number Publication date
EP3579189B1 (en) 2022-11-09
EP3579189A1 (en) 2019-12-11
US20190378291A1 (en) 2019-12-12
CN110648358A (zh) 2020-01-03
US10846875B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
CN110648358B (zh) 用于3d医学图像中的对象定位的形状参数的自适应非线性优化
US11288808B2 (en) System and method for n-dimensional image segmentation using convolutional neural networks
EP3504680B1 (en) Systems and methods for image segmentation using convolutional neural network
EP3117771B1 (en) Direct computation of image-derived biomarkers
JP6993334B2 (ja) 自動化された心臓ボリュームセグメンテーション
EP3504681B1 (en) Image segmentation using neural network method
US11010630B2 (en) Systems and methods for detecting landmark pairs in images
US9561004B2 (en) Automated 3-D orthopedic assessments
JP2022191354A (ja) 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
US8116542B2 (en) Determining hazard of an aneurysm by change determination
US9427173B2 (en) Determining mechanical force on aneurysms from a fluid dynamic model driven by vessel blood flow information
KR101835873B1 (ko) 의료 이미지들의 분할 불확실성의 계산 및 시각화를 위한 시스템들 및 방법들
Wang et al. A review of deformation models in medical image registration
CN110546685B (zh) 图像分割和分割预测
US20210287363A1 (en) Method and system for detecting landmarks in medical images
JP2021504830A (ja) 画像内のオブジェクトをセグメント化するためのセグメンテーションシステム
EP1910995A2 (en) Deformable model for segmenting patient contours versus support structures in medical images
Ghesu et al. Automatically detecting anatomy: Robust multiscale anatomy alignment for magnetic resonance imaging
Metaxas et al. Segmentation and blood flow simulations of patient-specific heart data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant