CN117222368A - 循环系统评估 - Google Patents

循环系统评估 Download PDF

Info

Publication number
CN117222368A
CN117222368A CN202280031642.0A CN202280031642A CN117222368A CN 117222368 A CN117222368 A CN 117222368A CN 202280031642 A CN202280031642 A CN 202280031642A CN 117222368 A CN117222368 A CN 117222368A
Authority
CN
China
Prior art keywords
region
interest
training
subject
ultrasound image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280031642.0A
Other languages
English (en)
Inventor
A·奥利维尔
D·普拉布
P·G·拉夫特尔
O·绍姆蓬
C·D·F·雷诺
A·贡萨尔维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN117222368A publication Critical patent/CN117222368A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供了用于评估对象的循环系统中的感兴趣区的方法和系统。所述方法包括：获得(210)所述感兴趣区的超声图像帧的时间序列；获得(220、320)一个或多个经训练的模型；将超声图像帧的时间序列输入(250、350)到所述一个或多个经训练的模型中；并且使用所述一个或多个经训练的模型来分析(260、360)超声图像帧的时间序列，以产生表征所述感兴趣区的状况的输出数据，其中，所述输出数据表征所述感兴趣区的动脉粥样硬化或钙化的程度，并且其中，所述感兴趣区是主动脉瓣。还提供了一种用于训练一个或多个模型的相关联的训练方法。

Description

循环系统评估
技术领域
本发明涉及使用超声图像帧来评估对象的循环系统的一部分的状况。特别地，其可以用于评估对象的心血管系统的一部分-诸如其主动脉瓣-的状况。
背景技术
对循环系统状况的严重性进行分级的基本方法是众所周知的。传统上，风险评估由临床医师执行以确定对象的健康状况，以及对象处于循环系统(例如，心血管)疾病风险中的可能性。这些风险评估分析了诸如性别、年龄、吸烟状况、胆固醇水平、糖尿病状态和家族史的风险因素。
此外，进行对对象的循环系统的成像，以确定关于对象的循环系统的一部分的状况的另外的信息。例如，对象可以接收超声心动图，使用诸如心血管系统的各部分的尺寸以及通过心血管系统的血流的速度和/或平均梯度的数据，可以从其中识别和分级心血管状况。可能必须定期对对象执行成像和风险评估，以便在长时间段内充分监测循环系统的一部分的状况。
在相当大数量的情况下，风险评估和成像评估可能分歧，使得对象的评估在每种方法中不同地分级。因此，可能不清楚临床医师应该推荐什么。例如，风险评估可能建议存在对象的升高健康风险，并且因此临床医师可以推荐对象经历医学流程。然而，成像评估可能建议对象的循环系统部分的状况不与风险评估建议的一样严重；因此，临床医师可以推荐医学流程对于对象是不必要的。关于对象的循环系统的一部分的分级的不确定性可能导致容易出错的风险分层或误诊。
为了帮助临床医师对对象的状况进行分级，已经提出了超声心动图图像的自动化分析。从超声心动图扫描中取得二维(2D)图像帧。该2D图像帧变为针对经训练的模型(诸如人工神经网络)的输入。在训练阶段中，模型被训练为通过获得若干2D训练图像帧并为每个2D训练图像帧生成对应的真实情况数据来评估对象的状况。随后，在推理阶段中，经训练的模型能够输出表征对象的状况的数据(即，当2D图像帧被输入到经训练的模型中时)。目的在于，所得的输出数据提供对循环系统的一部分的状况的客观评估，以在对对象的状况进行分级时帮助临床医师。然而，错误的风险水平可能仍然适用于对象，或者对象仍然可能被误诊。
发明内容
提供一种更准确地评估循环系统的一部分的状况的方法将是期望的。评估所述对象的状况可以更广泛地包括确定所述感兴趣区中的问题的严重性和/或确定针对所述对象的适合的动作过程。还将期望的是，所述方法可以在很长一段时间内对对象定期实施，使得可以对对象的状况提供定期更新。
发明人已经认识到，重要信息包含在所述循环系统的时间动力学内。通过在一持续时间内分析对象的状况，可以通过经训练的模型产生表征对象的状况的更准确的输出数据。通过设计能够利用该时间信息的方法和系统，在诊断对象或向对象分配风险水平时犯错会更少。
本发明由权利要求定义。根据本发明的一方面，提供了一种用于评估对象的循环系统中的感兴趣区的计算机实施的方法，所述方法包括：
获得所述感兴趣区的超声图像帧的时间序列；
获得一个或多个经训练的模型；
将超声图像帧的时间序列输入到所述一个或多个经训练的模型中；并且
使用所述一个或多个经训练的模型来分析超声图像帧的时间序列，以产生表征所述感兴趣区的状况的输出数据，
其中，所述输出数据表征所述感兴趣区的动脉粥样硬化或钙化的程度，并且其中，所述感兴趣区是主动脉瓣。
所述时间序列中的超声图像帧可以由一个或多个经训练的模型一起(即，联合)分析，以产生所述输出数据。特别地，可以在所述方法的一次迭代中使用所述一个或多个经训练的模型来分析针对给定对象的时间序列的超声图像帧。例如，这将与在重复、独立的分析迭代中单独分析单独超声图像帧的过程形成对比。
所述方法评估所述对象的心血管系统内的感兴趣区，并且更特别地，评估所述对象的心脏内的感兴趣区。
所获得的超声图像帧可以包括来自对所述对象执行的超声心动图的帧或由其组成。例如，对所述对象执行的超声心动图可以是经胸或经食道的。
所述方法还可以包括在图形用户接口上显示所述输出数据。在图形用户接口上显示输出数据可以帮助更好地将所述输出数据传达给临床医师。此外，作为所述图形用户接口的结果，所述对象可以更容易地访问所述输出数据。
所述对象可以是患者-例如，正在术前或术后评估的患者。备选地，所述对象可以是健康个体-例如，具有常规健康检查或者作为筛查计划的一部分被检查的人。
还提供了一种用于提供对象的循环系统中的感兴趣区的评估的系统，所述系统包括处理器，所述处理器被配置为：
获得所述感兴趣区的超声图像帧的时间序列；
获得一个或多个经训练的模型；
将超声图像帧的时间序列输入到所述一个或多个经训练的模型中；并且
使用所述一个或多个经训练的模型来分析超声图像帧的时间序列，以产生表征所述感兴趣区的状况的输出数据，
其中，所述输出数据表征所述感兴趣区的动脉粥样硬化或钙化的程度，并且其中，所述感兴趣区是主动脉瓣。
所述系统还可以包括以下各项中的两项或更多项中的任一项或任何组合：
-超声系统，其被配置为生成所述对象的所述感兴趣区的时间序列；
-输入，其被配置为接收所述时间序列；
-输出，其被配置为输出由所述处理器产生的输出数据；
-存储器，其被配置为存储计算机程序指令；以及
-显示器，其被配置为显示所述输出数据。
所述输出数据可以包括数字评分。在一个示例中，所述数字评分可以定义所述感兴趣区的钙化的严重性：例如，高数值评分可以指代感兴趣区中的大体积钙化区域，而低数值评分可以指代所述感兴趣区内的小体积钙化区域。备选地，表征所述感兴趣区的动脉粥样硬化或钙化程度的输出数据可以是分割图像或图像的分割时间序列。例如，(一个或多个)分割图像可以识别所述感兴趣区中的一个或多个钙化区域。
根据另一方面，提供了一种训练用于评估对象的循环系统中的感兴趣区的模型的计算机实施的方法，所述方法包括：
针对多个训练对象中的每个，获得该训练对象中的感兴趣区的超声图像帧的一个或多个时间训练序列；
针对所述多个训练对象中的每个，获得表征针对该训练对象的感兴趣区的状况的真实情况数据；并且
基于所获得的时间训练序列和对应的真实情况数据来训练所述模型，使得所述模型被训练为基于任何给定对象中的感兴趣区的超声图像帧的时间序列来产生表征该对象中的感兴趣区的状况的输出数据，
其中，所述输出数据表征所述感兴趣区的动脉粥样硬化或钙化的程度，并且其中，所述感兴趣区是主动脉瓣。
还提供了一种用于训练用于评估对象的循环系统中的感兴趣区的模型的系统，所述系统包括处理器，所述处理器被配置为：
针对多个训练对象中的每个，获得该训练对象中的感兴趣区的超声图像帧的一个或多个时间训练序列；
针对所述多个训练对象中的每个，获得表征针对该训练对象的感兴趣区的状况的真实情况数据；并且
基于所获得的时间训练序列和对应的真实情况数据来训练所述模型，使得所述模型被训练为基于任何给定对象中的感兴趣区的超声图像帧的时间序列来产生表征该对象中的感兴趣区的状况的输出数据，
其中，所述输出数据表征所述感兴趣区的动脉粥样硬化或钙化的程度，并且其中，所述感兴趣区是主动脉瓣。
所述系统还可以包括输入部，所述输入部被配置为接收针对多个训练对象中的每个的一个或多个时间训练序列和对应的真实情况数据。所述系统还可以包括输出部，所述输出部被配置为一旦所述模型已经经历了足够量的训练则输出经训练的模型。“足够”量的训练可以由模型在作为经训练的模型输出之前必须能够实现的性能目标来确定。所述性能目标可以与由输入到所述模型中的时间训练序列的模型产生的输出数据的准确度有关。由所述模型产生的所述输出数据的准确度可以与对应于输入到所述模型中的时间训练序列的真实情况数据相比较。
针对所述多个训练对象或所述对象的超声图像帧中的每个可以是三维的。
3D超声图像帧可以来自从所述多个训练对象和/或所述对象获取的3D超声心动图。3D超声心动图可以由临床医师旋转、操纵或从不同的视角察看。与来自2D超声心动图的2D超声图像帧相反，所述3D超声图像帧能够在三个空间维度上示出所述感兴趣区，所述2D超声图像帧限于两个空间维度。通过形成三维(3D)超声图像帧的时间序列，所述时间序列能够在三个空间维度和一个时间维度上示出所述感兴趣区。体积绘制可以被用于在三维中显示所述超声图像帧，其中，不同的颜色图可以被用于向所述超声图像帧提供深度。备选地，如果血液-组织边界是已知的，则表面绘制可以被用于通过生成实体表面模型在三维中显示所述超声图像帧。
在其他实施例中，针对所述多个训练对象和/或对象的超声图像帧可以包括2D图像或由2D图像组成。2D超声图像帧可以捕获所述感兴趣区的截面视图。在所述2D图像中捕获的感兴趣区的截面视图可以是长轴或短轴，可以是胸骨旁的或可以是心尖的。
此外，发明人已经认识到所述循环系统的时间动力学是周期性的。从对所述循环系统成像可以获得的大多数(如果不是全部的话)的重要信息在一个周期性事件内捕获；例如，所述心动周期的重复性意指大部分(或全部)重要信息在一次心跳内捕获。发明人已经识别，能够在至少一个周期性事件内评估所述循环系统的部分的状况的方法和系统将是有益的，以便准确地评估所述感兴趣区。
所获得的时间序列或所获得的时间训练序列中的每个可以具有大于或等于与所述循环系统相关联的周期性事件的一个周期的持续时间。
此处，术语所述时间序列或时间训练序列的“持续时间”是指捕获所述超声图像帧的时间长度。所述持续时间可以直接以时间为单位来测量，或者以所述周期的倍数来测量。一个周期性事件的持续时间等于一个周期。所述周期性事件可以是所述对象的心跳。超声图像帧的所述时间序列和/或所述时间训练序列可以具有小于所述感兴趣区中的周期性事件的两个周期的持续时间，任选地小于1.5个周期，并且任选地小于1.2个周期。限制所述时间序列的持续时间和/或所述时间训练序列的持续时间可以避免记录、存储和/或处理重复数据的需要，所述重复数据可能起因于在跨越同一周期性事件的多个周期的持续时间上评估感兴趣区。
获得超声图像帧的每个时间序列的步骤可以包括在超声心动图期间捕获所述帧，或者获得超声心动图期间捕获的超声图像帧序列。超声心动图可以被用于获得所述时间序列和/或所述时间训练序列。所述超声心动图可以由所述操作者用于识别所获得的时间序列和所获得的时间训练序列是否具有至少一个周期的持续时间。
在一些实施例中，超声图像帧的所述时间序列和/或所述时间训练序列中的每个时间训练序列可以具有大于或等于与所述循环系统相关联的相同周期性事件的两个或两个以上周期的持续时间。大于或等于两个或两个以上周期的持续时间的时间序列可以有用于识别针对所述对象的同一周期性事件的不同周期之间的输出数据中的差异或共同特征。
所获得的时间序列或所获得的时间训练序列中的每个时间训练序列可以对准，使得其在与所述循环系统相关联的周期性事件的相同预定点处开始。
例如，当所述周期性事件是心跳时，帧的时间序列和每个时间训练序列可以在所述心跳中的预定点处开始，诸如心电图(ECG)中的P、Q、R、S或T波。还可以对准所获得的时间序列和所获得的时间训练序列中的每个时间训练序列，使得所述时间序列和时间训练序列可以在所述周期性事件的相同预定开始点处开始并且可以在所述周期性事件的相同的预定结束点处结束。例如，当所述周期性事件是心跳时，帧的时间序列和每个时间训练序列可以在心电图中以P波开始并以R波结束，每个序列具有大于一个周期的持续时间。备选地，所述周期性事件的预定开始点和预定结束点可以是相同的，使得每个序列具有等于一个周期的持续时间。
所述方法可以包括对所获得的时间训练序列进行预处理以将它们对准，如上文所定义的。所述方法可以包括对所获得的时间序列进行预处理以将它对准，如上文所定义的。优选地，所述时间序列和每个时间训练序列全部以相同的方式对准。即，它们全部在所述周期性事件中的相同的(一个或多个)点处开始(以及任选地结束)。
如果时间训练序列以这种方式对准，则训练所述模型可能更容易。通过使用对准的时间训练序列，与多个未对准的时间训练序列相比，由于减少了每个时间训练序列之间的变化，因此可以需要更少的时间训练序列来训练模型。
备选地，所获得的时间序列和时间训练序列可以在周期性事件的不同点处开始；例如，一个时间训练序列可以在R波处开始和结束，而不同的时间训练序列可以在P波处开始和结束。更一般地，所述时间序列和每个时间训练序列可以在周期性事件的任意点处开始和/或结束。通过使用尚未对准的时间训练序列来训练模型以评估感兴趣区，可以从所述周期性事件的任何点开始为时间序列产生表征所述感兴趣区的输出数据。如果所述时间训练序列未对准，则可能需要更大数量的时间训练序列来训练所述模型。
对准的时间序列或对准的时间训练序列中的每个时间训练序列可以具有大于或等于与所述循环系统相关联的周期性事件的一个周期的持续时间。
每个获得的时间序列或所获得的时间训练序列中的每个时间训练序列可以具有相同数量的超声图像帧。
即，所述时间序列可以具有多个超声图像帧N。每个时间训练序列可以具有相同数量的超声图像帧N。时间序列和/或时间训练序列的长度被定义为所述时间序列和/或时间训练序列中的超声图像帧的数量。在以上示例中，每个时间序列和每个时间训练序列具有长度N。
所述时间序列和/或所述时间训练序列可以具有固定的帧速率，其中，在所述时间序列和/或所述时间训练序列中包含的每个超声图像帧之间经过固定的持续时间。对于具有固定帧速率的时间序列和时间训练序列，如果所述时间序列和时间训练序列具有相同的长度，则它们也将具有相等的持续时间。
所获得的时间序列和所获得的时间训练序列可以各自具有作为与所述循环系统相关联的相应周期性事件的周期的固定比例的持续时间。
例如，每个序列可以具有是(例如)所述相应周期性事件的周期的1.2倍的持续时间。
所获得的时间序列和所获得的时间训练序列可以具有可变数量的图像帧，或者换句话说，具有可变长度。如果所述时间序列和时间训练序列具有固定的帧速率，则这可能发生，因为所述周期性事件的周期对于每个对象可能不同。
所获得的时间序列和/或所获得的时间训练序列中的每个时间训练序列可以具有大于或等于与所述循环系统相关联的周期性事件的一个周期的持续时间。
所获得的时间序列和所获得的时间训练序列中的每个时间训练序列可以对准，使得所述时间序列和/或时间训练序列在与所述循环系统相关联的周期性事件的相同预定点处开始。
所述模型或每个模型可以包括时空全卷积神经网络。
使用完全卷积神经网络可以允许经训练的模型经由端到端学习产生表征任何给定对象中的感兴趣区的状况的输出数据。通过“端到端”学习，它意指模型学习从所述输入数据(即，超声图像帧的时间序列)直接推断所述输出数据(表征所述感兴趣区的状况)，而不需要单独的中间步骤。例如，在一些实施例中，不要求单独的特征提取步骤(其中，在将所述输入数据输入到用于分类或其他推理的第二单独模型中之前减少所述输入数据的维度)。
所述模型或每个模型可以包括串联工作的卷积神经网络和递归神经网络。
此处，“串联工作”意指所述神经网络中的一个的输入直接或间接基于另一个神经网络的输出。特别地，时间序列或时间训练序列可以被输入到2D或3D卷积神经网络中。所述2D或3D卷积神经网络的输出可以变为所述递归神经网络的输入，所述递归神经网络随后产生表征所述感兴趣区的状况的输出数据。
当训练模型时，来自所述一个或多个时间训练序列之一的每个超声图像帧可以输入到所述卷积神经网络中。所述卷积神经网络可以为所述时间训练序列中的每个超声图像帧输出特征向量。在这种情况下，取决于所述时间训练序列中的超声声音图像帧的数量，为所述时间训练序列产生的特征向量的数量将变化。所提取的特征向量然后可以顺序地输入到递归神经网络中。所述递归神经网络然后可以产生所述输出数据。所述递归神经网络可以是例如长短期记忆(LSTM)网络。在推理阶段中使用相同的卷积神经网络和递归神经网络(即，当提供所述循环系统的感兴趣区的评估时)，可以将来自所述时间序列的每个超声图像帧输入到经训练的模型中以产生输出数据。
所述递归神经网络可能能够从可变长度的序列进行推理(至少当利用可变长度的训练序列进行训练时)。当使用固定帧速率和其持续时间取决于所述周期性事件的周期的序列时，该特性可能是有用的。备选地或者额外地，当使用可变帧速率(具有固定或非固定持续时间的序列)时，它可能是有用的。
当所述模型包括递归神经网络时，训练所述模型可以包括基于所获得的时间训练序列来生成额外时间训练序列。所述额外时间训练序列中的至少一些可以通过对所获得的时间训练序列的时间重新采样来生成-例如，通过时间上的抽取和/或插值。这是增加所述训练数据的另一示例。
一个或多个第一模型可以被训练以产生针对第一组对象的输出数据，并且一个或多个第二模型可以被训练以产生针对第二组不同对象的输出数据。
作为示例，所述对象可以基于其性别被分为第一组对象和第二组对象。在该示例中，可以使用从男性训练对象获得的时间训练序列来训练一个或多个第一模型。因此，这些一个或多个第一经训练的模型将产生男性对象的输出数据。同样地，可以使用从女性训练对象获得的时间训练序列来训练一个或多个第二模型，使得所述一个或多个第二经训练的模型被训练以产生女性对象的输出数据。所述对象可以基于某些人口统计数据(诸如年龄、身体质量指数、体育活动水平、饮食或吸烟状况)被分为其他对象集合。可能存在多于两组不同的对象；例如，可能存在一个或多个第三模型，其被训练以产生针对第三组对象的输出数据。
发明人还已经认识到，如果方法和系统可以预测在医学流程发生之后发生某些事件的可能性(例如，如果所述对象的风险水平足够高用于推荐医学流程)，则这将是期望的。这些可能性的非限制性示例可以包括医学流程后全因死亡率的预测，或者要求进一步医学流程的预测可能性。这样的流程结果预测可以形成对所述对象的状况的评估的一部分。产生描述所述对象的状况的更详细的输出数据可以帮助所述临床医师对所述对象的状况进行更准确和全面的评估。
所述输出数据可以包括以下各项中的两项或更多项中的任一项或任何组合：
描述所述感兴趣区中的问题的严重性的评分的预测；
-所述对象的预测存活可能性；
-流程成功的预测；
流程后的持续成功的预测；
对象在流程后需要起搏器的预测可能性；以及
对至少一个所获得的超声图像帧的分割，其指示对象中的感兴趣区的至少一个区域。
由一个经训练的模型产生的输出数据可能仅包括上文列出的一个输出数据项。多个经训练的模型可以各自产生上文列出的一个不同的输出数据项。备选地，一个经训练的模型可以产生上文列出的多个输出数据项。
如果所述感兴趣区的条件差，则在所述感兴趣区中可能存在问题。例如，所述问题可能是所述感兴趣区中的钙化。
此处，术语“流程成功”意指所述医学流程已经成功，使得所述感兴趣区的状况由于所述医学流程而改进。
此处，术语“流程后”意指“已经在对对象执行医学流程后的时间处”(已经执行所述医学流程以便改进所述对象的感兴趣区的状况)。产生预测流程结果的输出数据可以有助于引导临床医师决定是否应该进行所述医学流程，或者可以帮助所述临床医师决定在所述流程之后是否需要额外处置。
术语“流程后的持续成功”意指一旦实现“流程成功”，所述感兴趣区的状况由于所述医学流程而保持改进。如果流程后的持续成功的预测很低，则所述临床医师可以建议所述对象所述医学流程不太可能有长期益处。
如果所述方法产生表征所述主动脉瓣的钙化程度的输出数据，则所述医学流程可以包括经导管主动脉瓣置换(TAVR)或由其组成。
至少一个获得的超声图像帧的分割可以经由阈值化从显著性图生成，以指示所述感兴趣区的至少一个区域。所述显著性图可以使用反向传播算法生成，任选地使用引导反向传播算法，或者任选地使用引导Grad-CAM反向传播算法。也可以使用用于显著性图生成的其他适合的算法。与所述至少一个超声图像帧相比较，至少一个超声波图像帧的分割可以向所述对象或所述临床医师更好地指示所述对象中的感兴趣区的至少一个区域。所述分割可以包括识别所述至少一个区域的分割图。
可以通过将所述至少一个超声图像帧输入到所述一个或多个经训练的模型中来生成对所述至少一个获得的超声图像帧的分割。基于一个或多个超声图像训练帧和对应的真实情况数据(所述超声图像训练帧的分割训练图像)，所述一个或多个经训练的模型可能已经被训练以产生所述至少一个超声图像帧的分割图像(指示所述对象中的至少一个感兴趣区域)作为输出数据。适合于图像分割的经训练的模型的示例包括U-Net，一种设计为分割2D图像的卷积神经网络，以及3D U-Net，一种设计为分割3D图像的卷积神经网络。
所述输出数据可以包括以下各项中的两项或更多项中的任一项或任何组合：
-描述所述钙化的严重性的AVC评分的预测；
-TAVR成功的预测可能性；
-TAVR后的持续成功的预测；
-对象在TAVR后需要起搏器的预测可能性；
-对至少一个所获得的超声图像帧的分割，其指示对象中的感兴趣区的至少一个钙化区域；
-瓣周漏的预测可能性；以及
-对全因死亡率的预测。
主动脉瓣钙化(AVC)评分可以由二值分类输出表示：如果钙化量低，则感兴趣区可以被分类为正常，并且如果钙化量高，则感兴趣区可以被分类为升高。
备选地，所述AVC评分可以定义超出二值分类输出的不确定性程度。钙化的严重性的非二值描述可能有助于对接近正常分类与升高分类之间的分类边界的对象进行归类。例如，如果钙化量接近正常分类与升高分类之间的边界，则感兴趣区可以被分类为“稍微升高”。
AVC评分可以包括预测Agaston评分或由其组成。通过能够预测传统上仅可从CT扫描中导出的度量，诸如Agaston评分，也称为CT主动脉瓣钙评分，可以通过众所周知且常用度量来表征所述感兴趣区的状况，而不要求CT扫描。这可以使本方法更适合于随着时间对对象进行定期监测。常规超声心动图可能具有对所述对象比同样频繁的CT扫描更低的风险，因为CT扫描涉及利用X射线辐射所述对象。为了产生预测的Agaston评分作为输出数据，所述方法可以包括获得时间训练序列和对应的真实情况数据(针对所述多个训练对象中的每个的对应Agaston评分)。这可以包括从针对每个训练对象的感兴趣区获取的CT扫描中确定对应于时间训练序列中的每个的Agaston评分。
全因死亡率的预测基于超声图像帧的时间序列的内容来估计所述对象在预定时间段内死亡的可能性(不管死亡原因)。
“TAVR后的持续成功的预测”是一项输出数据，其预测TAVR成功改进所述对象的主动脉瓣的状况的可能性，以及在将来所述主动脉瓣的状况不显著恶化到要求额外医学流程来改进所述主动脉瓣的状况的可能性。诸如瓣周漏的预测可能性、对象在TAVR后永久需要起搏器的预测可能性以及流程成功的预测的标记可以被用于产生TAVR后的持续成功的预测。
所述输出数据可以包括一个或多个数值评分，诸如可以由回归型经训练的模型产生。备选地或者额外地，所述输出数据可以包括到多个类别之一中的分类(其可以是互斥的)，诸如可以由分类类型经训练的模型产生。因此，例如，预测的AVC评分可以包括由回归模型生成的数字评分，或者可以包括由分类模型生成的分类(诸如“正常”、“稍微升高”或“升高”)。当所述输出数据包括数值时，可以在后处理步骤中通过将所述数值与一个或多个阈值水平进行比较来生成分类。
还提供了一种包括计算机程序代码的计算机程序，所述计算机程序代码被配置为如果所述计算机程序由至少一个物理计算设备运行，则使所述至少一个物理计算设备执行根据权利要求1-14中的任一项所述的方法的所有步骤。所述计算机程序可以存储在计算机可读存储介质(任选地非暂态计算机可读存储介质)上。
附图说明
现在将参考附图通过示例的方式描述本发明，其中：
图1是用于提供对对象的循环系统中的感兴趣区的评估的系统的示意性框图；
图2A是图示用于评估对象的循环系统中的感兴趣区的方法的流程图；
图2B是图示用于评估对象的循环系统中的感兴趣区的方法的流程图，其中，该方法还包括对准时间序列；
图3是图形用户接口上的显示器的示例，其示出了由用于评估感兴趣区的方法产生的输出数据；
图4A是图示用于评估感兴趣区的方法的示例的流程图，其中，多个经训练的模型产生针对对象的输出数据；
图4B是图示如何将不同的阈值应用于输出数据的决策树；
图5是用于训练用于评估对象的循环系统中的感兴趣区的模型的系统的示意性框图；
图6A是图示训练用于评估对象的循环系统中的感兴趣区的模型的方法的流程图；
图6B是图示训练用于评估对象的循环系统中的感兴趣区的模型的方法的流程图，其中，该方法还包括对准时间训练序列；并且
图6C是示出在产生经训练的模型之前训练模型的方法中做出的决策的决策树。
应当注意，这些图是图解的并且不按比例绘制。出于在附图中清楚和方便的缘故，这些附图的各部分的相对尺寸和比例已经在大小方面夸大或减小。
具体实施方式
现在将详细参考本发明的实施例，其示例在附图中图示。所描述的实施例不应被解释为限于本节中给出的描述；实施例可以具有不同的形式。本发明的装置、系统和方法的这些和其他特征、方面和优点将从以下描述、权利要求书和附图变得更好理解。还应当理解，相同的附图标记贯穿附图被用于指示相同或相似的部分。
图1图示了用于提供对被评估的对象的循环系统中的感兴趣区的评估的系统100。对象可能是作为常规健康检查的一部分经历评估的健康个体，或者可能是正在进行术前或术后评估的患者。该示例中的系统包括用于生成对象的感兴趣区的超声图像帧的时间序列的超声系统110、计算机140和显示器180。计算机140包括处理器144，处理器144被配置为获得时间序列和一个或多个经训练的模型，将时间序列输入到一个或多个经训练的模型中，并且使用一个或多个经训练的模型来分析时间序列以产生表征感兴趣区的状况的输出数据。计算机140还包括被配置为接收时间序列的输入部142、被配置为存储计算机程序指令的存储器146、以及被配置为输出由处理器144产生的输出数据的输出部148。显示器180被配置为显示产生的输出数据。
根据本示例，系统100被配置为提供对对象的主动脉瓣的评估。即，本示例中的“感兴趣区”是主动脉瓣。处理器144被配置为使用一个或多个经训练的模型来分析时间序列，以产生表征主动脉瓣的钙化程度的输出数据。
主动脉瓣钙化(AVC)可以使得主动脉瓣的开口变窄。如果AVC严重，则这可能导致通过主动脉瓣的减少的血流(主动脉瓣狭窄)。通过表征对象的主动脉瓣的钙化程度，临床医师能够将风险水平分配给对象。根据其风险水平对多个对象进行分层优化用于对象的护理质量，优先为最需要它的人(较高风险水平的对象)提供更大资源。例如，经导管主动脉瓣置换(TAVR)流程通常用于修复非运行的主动脉瓣，特别地无法正确打开的瓣膜，使得从左心室到主动脉恢复血流。TAVR流程可能适合于具有高风险水平的对象。通过表征对象的主动脉瓣的钙化程度，该系统可以向临床医师通知对象的风险水平，并且帮助临床医师确定对象是否要求TAVR或类似的医学流程，对象是否将由于TAVR而遭受过度并发症，和/或对象是否将要求特定的术后护理。
图2A是图示根据第一示例的用于评估对象的循环系统中的感兴趣区的方法200的流程图。在本示例中，如上文所解释的，感兴趣区是对象的主动脉瓣。在步骤210中，处理器144经由输入部142从超声系统110获得主动脉瓣的超声图像帧的时间序列。在该示例中，超声图像帧的时间序列由使用超声系统110拍摄的对象的超声心动图的2D图像帧组成。
时间序列具有大于或等于与循环系统相关联的周期性事件的一个周期的持续时间(定义为捕获超声图像帧的时间持续时间)。在该示例中，周期性事件是对象的心跳，使得时间序列具有跨越至少一个心跳的持续时间。这可以通过使用心电图(ECG)监测对象的心跳，根据ECG确定心率并且在超声系统处捕获时间序列来实现，使得时间序列的持续时间被选择为等于(或稍微大于)心跳的周期。
假设时间序列具有恒定的预定帧速率(其可以由超声系统110的能力确定)。由于不同对象的心率容易不同，这意指时间序列通常将包含可变数量的帧-即，它将是可变长度的序列。
在步骤220中，处理器144从存储器146获得一个或多个经训练的模型。一个或多个经训练的模型是人工神经网络，其已被训练为基于在步骤210中获得的时间序列来评估对象的主动脉瓣的状况。更特别地，在该示例中，经训练的模型中的每个包括串联工作的卷积神经网络(CNN)和递归神经网络(RNN)。通过“串联工作”，它意指神经网络中的一个的输入直接或间接基于另一个神经网络的输出。特别地，时间序列被输入到卷积神经网络。卷积神经网络的输出提供递归神经网络提供输入，该递归神经网络随后产生表征主动脉瓣的钙化程度的输出数据。这样的模型对于分析可变长度的时间序列可以是有用的。
在本示例中，时间序列的每个个体超声图像帧被分别输入到卷积神经网络中，该卷积神经网络充当特征提取器，从而产生特征向量作为每个超声图像帧的输出。所提取的特征向量然后顺序地输入到递归神经网络中，该递归神经网络产生输出数据。由于特征向量顺序地输入到递归神经网络中，因此时间序列或时间训练序列中的每个时间训练序列的长度不必是固定的。在本示例中使用的递归神经网络是长短期记忆(LSTM)网络。当使用具有固定帧速率的序列时，该类型的模型可能是有用的，该序列的持续时间取决于周期性事件的周期。注意，不需要对不同对象的时间序列进行任何特定的对准。在本示例中，假设时间序列可以在心动周期中的任意点处开始和结束-即心跳的任意点或相位-假若序列的持续时间持续至少一次心跳。
用作特征提取器的卷积神经网络可以是许多类型之一。可以使用用于特征提取的现有网络，诸如VGG16、VGG19或GoogLeNet(例如，在ImageNet数据集上预训练)。备选地，可以特别训练定制的特征提取神经网络，以用于从超声图像帧中提取特征。
根据本示例，模型不是经由端到端学习来训练的。即，用于特征提取的卷积神经网络与产生输出数据的递归神经网络分开训练。(然而，应当理解，在其他示例中，可以应用端到端学习，其中，卷积神经网络和递归神经网络一起训练。)
在步骤250中，处理器144将在步骤210中获得的时间序列输入到在步骤220中获得的一个或多个经训练的模型中。处理器使用一个或多个经训练的模型分析时间序列，以产生表征主动脉瓣的钙化程度的输出数据(步骤260)。
通过分析时间序列(使用一个或多个经训练的模型)产生的输出数据向临床医师提供关于主动脉瓣的钙化程度的信息。输出数据可以包括以下各项之一或其任何组合：描述AVC严重性的AVC评分、对象要求TAVR流程的预测可能性、TAVR流程成功的预测可能性、TAVR流程对于TAVR的预期寿命成功的预测、对象在TAVR后需要起搏器的预测可能性、瓣周漏的预测可能性、以及对至少一个所获得的超声图像帧的分割，其指示主动脉瓣中的至少一个钙化区域。用于产生分割的一个适合的神经网络是U-Net。在本示例中，可以分别处理和分割每个超声图像帧。
以这种方式，方法200不仅能够产生量化主动脉瓣的状况和钙化程度的输出数据，而且能够产生预测TAVR流程结果的输出数据。因此，当评估对象的主动脉瓣时，临床医师能够使用由方法200产生的输出数据来向对象分配更准确的风险水平，部分地通过考虑预测的TAVR流程结果。
在步骤280中，处理器144显示在显示器180上产生的输出数据。这将输出数据传递给临床医师，并且还可以帮助临床医师将信息传达给对象。
图2B是图示根据第二示例的用于评估对象的主动脉瓣的状况的方法300的流程图。方法300以许多方式类似于图2A的方法200。步骤210对两种方法是通用的-处理器144获得对象的主动脉瓣的超声图像帧的时间序列。通常，时间序列具有可变长度，并且可以在心动周期中的任意点处开始和结束。然而，再次假设时间序列的持续时间大于或等于心跳的周期。
在步骤330中，处理器144对准时间序列，使得它在对象的心跳的预定点处开始。这可以使用图像处理技术来识别心跳的期望点来完成，或者它可以基于额外侧面信息，诸如识别心跳的不同部分的ECG数据。在本示例中，处理器144对准时间序列，使得它确切包含一个心跳，在心跳的预定点处开始和结束，并且具有预定数量的图像帧。为了这样做，处理器144在时间维度上移位和缩放超声图像帧，以实现期望的对准。(例如，时间维度上的缩放可以包括时间上的抽取或时间上的插值。)该步骤的结果是“对准的”时间序列，其具有固定的长度(即，它包含固定数量的帧)，并且其在心跳的一致预定点处开始和结束。预定点可以通过参考ECG的部分来定义-例如，预定点可以对应于ECG的P、Q、R、S或T波。
在步骤320中，处理器144从存储器146获得一个或多个经训练的模型。本示例中的经训练的模型与图2A的方法200中使用的模型不同。此处，在步骤330中产生的对准的时间序列以统一格式向一个或多个经训练的模型提供输入数据。这可以允许模型类型的选择中的更大的灵活性。它还可以减少经训练的模型的负担，以适于表示心动周期的可变阶段中的心跳的输入数据和可变长度的输入数据。
在该示例中，经训练的模型中的每个是时空全卷积神经网络。时空网络能够分析图像帧内的空间模式以及它们之间的时间相关性。使用这样的网络的基本思想是，运动、流动和动力学携带关于手头序列性质的信息。
在步骤350中，处理器144将在步骤330中产生的对准的时间序列输入到在步骤320中获得的一个或多个经训练的模型中。处理器使用一个或多个经训练的模型分析对准时间序列，以产生表征主动脉瓣的钙化程度的输出数据(步骤360)。在步骤280中，与方法200中一样，处理器144显示在显示器180上产生的输出数据。
图3示出了显示在显示器180上的图形用户接口380的示例。该图形用户接口380可以被用于示出以类似图2A或2B的方法的方法产生的输出数据。在图3的示例中，输出数据连同超声图像帧的时间序列一起呈现。时间序列的个体缩略图帧382、383沿着屏幕的底部示出。一个帧383已经由临床医师选择，并且在缩略图帧382、383上方示出了该帧的放大版本384。提供播放控制386，以允许临床医师在时间序列中导航-例如，播放、暂停、快进或倒带。
在图形用户接口380的右上角，单选按钮388允许临床医师改变时间序列的视图。例如，临床医师可以选择是在两个空间维度还是在三个空间维度中显示时间序列。此外，如果在两个空间维度上检查主动脉瓣的状况，则临床医师可以选择如何查看对象的主动脉瓣。例如，临床医师可以选择“2D PLAX”来显示主动脉瓣的胸骨旁长轴视图，或者可以选择“2D PSAX”来显示主动脉瓣的胸骨间短轴视图。
在图形用户接口380的右侧，标记“钙化评估”的框390显示由处理器144根据图2A或图2B的方法产生的输出数据。在该示例中，假设输出数据包括Agaston评分和流程成功的预测。处理器通过分析超声帧的时间序列来产生Agaston评分-例如，使用回归型机器学习模型。处理器将Agaston评分与阈值进行比较，并显示评分是“升高”(如图3所示)还是“正常”的指示391。还显示了评估中的任选置信度参数(“0.8”)。如果执行TAVR流程，则流程成功的预测被呈现为并发症的预测风险的指示392。在图3所示的示例中，系统已经将对象评估为具有瓣周漏的75％机会。
在另一示例中，代替于使用回归型机器学习模型来明确地产生数值Agaston评分，处理器可以使用分类型机器学习模型来直接预测分层风险水平。例如，方法可以使用被训练为分类预测的Agatston评分是“升高”还是“正常”的模型。当然，分类不需要是二值的-可以使用更详细的分类/分层，诸如例如“升高”、“稍微升高”或“正常”。
在其他示例中，如上文所提到的，方法的输出数据可以包括一个或多个超声图像帧的分割，其指示主动脉瓣的至少一个钙化区域。在这种情况下，分割可以显示在图形用户接口380上，以及或者代替于超声图像帧382、383、384本身。
图4A图示了其中使用多个经训练的模型432、434、436分析时间序列410以产生多个输出442、444、446的示例。每个经训练的模型包括神经网络。第一经训练的模型432分析时间序列410以产生第一输出442；第二经训练的模型434分析时间序列410以产生第二输出444；并且第三经训练的模型436分析时间序列410以产生第三输出446。在一个示例中，第一输出442可以包括AVC评分；第二输出可以包括瓣周漏的预测可能性；第三输出可以包括对象在TAVR过程之后将存活预定时间段的预测可能性(例如，全因死亡率的预测)。在步骤452中，处理器144将第一预定阈值应用于第一输出442。同样地，在步骤454和456中，处理器将第二和第三预定阈值分别应用于第二输出444和第三输出446。这些阈值可用于根据二值分类对风险水平进行分层-例如，将每个输出评估为表示“高”或“低”风险。在其他示例中，可以对每个输出应用超过一个阈值，以便产生风险的非二值分类。
在一些示例中，多个不同的经训练的模型可以被用于分析不同对象组的时间序列。例如，可以针对男性对象训练一个模型，并且可以针对女性对象训练另一个模型。这两个经训练的模型都可以被训练以产生相同的输出数据-例如，AVC评分。这可以允许分析定制到不同对象组的特性。例如，主动脉瓣的平均大小可能对于一组对象比另一组对象大。应当理解，根据对象的性别训练不同模型的示例是非限制性的。除了性别之外的人口统计属性也可能是有用的。例如，可能为具有特定风险因素的对象训练不同的模型，诸如吸烟者、具有高身体质量指数的对象等。
作为对不同对象组训练不同模型的替代或者补充，可以对不同对象组应用不同的阈值。图4B图示了在步骤452中应用的两个不同阈值的示例。在该示例中，对象的性别对分配给对象的风险水平有效应。取决于对象的性别，对对象应用不同的阈值。如图4B所示，在步骤452a中，如果对象是男性，则将阈值εm应用于第一输出442，并且在步骤452b中，如果对象是女性，则将阈值εf应用于第一输出442。如果输出442是AVC评分，则阈值εm和εf可以分别区分针对男性和女性对象的升高和正常钙化。通过示例的方式，阈值可以在对象是男性的情况下比在对象是女性的情况下更高-即，εm可以大于εf。该阈值差异，取决于对象的性别，允许基于对象的特性更准确地确定对象的风险水平。该示例再次是非限制性的；除了对象的性别之外，可能存在具有不同相关联的阈值的人口统计学，以便获得针对对象的准确的风险水平。
现在将参考图5和图6A-6C描述上文所描述的方法中使用的模型的训练。
图5图示了用于训练用于评估对象的主动脉瓣的模型的系统500。特别地，该示例中的系统500用于训练模型以评估主动脉瓣的钙化程度。系统500包括超声系统510，超声系统510被配置为生成多个训练对象的主动脉瓣的超声图像帧的一个或多个时间训练序列。(每个训练对象可以生成一个或多个时间训练序列。)系统500还包括CT扫描器520和计算机540。CT扫描器520被配置为捕获CT扫描数据以用于生成用于训练过程的真实情况数据。计算机540包括输入部542、处理器544和存储器546。处理器544被配置为获得一个或多个时间训练序列，获得对应的真实情况数据，并且训练模型。输入部542被配置为接收一个或多个时间训练序列、对应的真实情况数据和CT扫描数据。存储器546被配置为存储计算机程序指令。系统还可以包括被配置为输出经训练的模型的输出部。
图6A图示了使用系统500训练用于评估主动脉瓣的钙化程度的模型的计算机实施的方法600。训练方法使用从多个训练对象获得的训练数据。训练数据包括时间训练序列和对应的真实情况数据。在步骤610中，处理器544经由输入部542从超声系统510获得时间训练序列。在步骤620中，处理器544获得对应的真实情况数据。
该示例中的超声图像帧的时间训练序列来自由超声系统510对每个训练对象拍摄的2D超声心动图。每个时间训练序列在两个空间维度和一个时间维度上示出主动脉瓣。在本示例中，训练方法将被用于训练适合于在图2A的方法中使用的模型。因此，时间训练序列与将被输入到图2A中的推理方法200的时间序列具有相同的种类。时间训练序列包括各种长度，并且包括在相应训练对象的心跳中的任意点处开始和结束的序列。
在一些示例中，时间训练序列中的每个可以包括给定训练对象的不同超声心动图。然而，由于对大量的训练数据的需要，以及获得具有相关联的真实情况的真实超声心动图数据的成本和/或困难，利用从原始超声心动图导出的额外时间训练序列来增强训练数据可能是有利的。例如，对于给定的原始超声心动图，可以通过以不同方式在时间上移位和/或缩放超声心动图来人工生成多个不同的时间训练序列。这可以有助于增加训练数据的多样性，这继而可以帮助模型学习处理推理方法的输入数据中的更大可变性。
在步骤620中获得的真实情况数据包括针对训练对象中的每个的AVC评分。在本示例中，将假定AVC评分是Agaston评分。因此，通过专家(临床医师)对同一训练对象的CT扫描数据的分析来产生真实情况。在一些其他示例中，可以借助于另一经训练的机器学习算法对CT扫描数据进行自动化分析来产生真实情况数据。应当理解，真实情况数据对应于模型要被训练以产生的输出数据。因此，如果模型要被训练以产生其他输出，诸如流程结果的预测，那么真实情况数据可以是在生成时间训练序列之后对训练对象执行的流程的实际结果。备选地，真实情况数据可以包括对流程结果的专家(临床医师)预测。如果输出数据包括对至少一个超声图像帧的分割，则真实情况数据可以包括指示每个训练对象的主动脉瓣的至少一个钙化区域的真实情况分割。
在步骤660中，处理器544基于时间训练序列和对应的真实情况数据来训练模型。模型从而被训练为产生表征对象的主动脉瓣的钙化程度的输出数据。如上文所解释的，参考图2A，模型包括神经网络-特别地与RNN串联的CNN(特别地，LSTM)。CNN可以是如上文所解释的通用特征提取网络，或者是为超声图像数据集设计的专门训练的特征提取器。RRN可以被训练以基于由CCN提取的特征来分析主动脉瓣钙化。用于训练神经网络的方法(诸如反向传播算法)将是本领域技术人员众所周知的。对需要训练的每个模型重复训练-例如，将使用适当的真实情况数据对图4A中的模型432、434、436中的每个重复训练过程，以训练相应的模型，从而产生期望的输出数据。输出在步骤660中产生的经训练的模型以用于图2A的方法。
图6B图示了用于训练模型的另一计算机实施的方法700。方法700被用于训练适合于在图2B的方法中使用的模型。步骤610与图6A的方法600相同。在该步骤中，处理器544从超声系统510获得时间训练序列。步骤620也与方法600中的步骤相同。在该步骤中，处理器544获得对应于在步骤610中获得的时间训练序列的真实情况数据。
该示例的方法700与方法600的不同之处在于训练不同类型的模型。这些是在图2B的推理方法300中使用的模型。如先前所解释的，模型中的每个包括时空全卷积神经网络。这些模型被设计为接受已经对准的时间序列作为输入(由此每个时间序列具有预定的均匀长度，并且每个时间序列在心跳的定义点处开始和结束)。为了训练这些模型，首先需要对时间训练序列进行预处理以产生对准的时间训练序列。对准过程基本上与图2B中的步骤330的过程相同，如上文所描述的-处理器544对时间训练序列中的每个进行移位、抽取或插值，以实现期望的共同对准。在该步骤之后，帧的每个时间训练序列可以在心跳中的预定点处开始和结束，诸如P、Q、R、S或T波。
这实质上减少了训练数据中的可变性量。继而，这可以允许使用较小数量的训练数据来训练模型，因为模型不需要学习处理这样广泛的可变性。
在步骤760中，处理器544基于在步骤730中产生的对准的时间训练序列和在步骤620中获得的真实情况数据来训练每个模型。用于图2B和图6B的方法中的模型的时空全卷积神经网络使用端到端训练进行训练。即，模型学习从输入数据(即，超声图像帧的时间序列)直接推断输出数据(表征主动脉瓣的钙化程度)，而不需要中间步骤，诸如在图2A和图7A的方法中由CNN执行的单独特征提取步骤。输出在步骤760中产生的经训练的模型以用于图2B的方法。
注意，尽管一方面图2A和6A的示例以及另一方面图2B和图6B已经描述为单独的示例，但是它们可以组合是可能的。例如，可以提供一种推理方法，该推理方法是方法200和300的混合。在这样的混合方法中，模型中的一些可以基于时空全卷积神经网络，而其他可以基于串联的CNN和RNN的架构。
还要注意，在一些情况下，时间序列(和时间训练序列)可能已经以对准的形式可用。这可以避免在图2B和图6B的方法中对于预处理步骤330、730对准每个序列的需要。它还可以帮助减少将模型训练到给定的期望准确度水平所要求的训练数据量(例如，在上文参考图2A和图6A描述的情况下)。例如，超声系统110和510可以从心跳中的预定触发点(诸如P波)开始，自动产生具有设定数量的图像帧的对准形式的时间序列。
图6C是更详细地图示可以如何使用从个体对象获得的时间训练序列执行训练过程的决策流树。在步骤805中，处理器544获得针对给定训练对象的训练数据。训练数据包括来自对象的一个或多个超声心动图的一个或多个时间训练序列，以及至少一个真实情况数据项，诸如针对该对象的实际评估AVC评分(其可以基于CT扫描数据而获得，与超声心动图分离)。
在步骤825中，处理器检查时间训练序列是否要求对准。如果训练序列以未对准的形式(具有任意长度、持续时间以及开始和结束点)提供，并且待训练的模型要求固定长度的时间序列(在心跳的预定点处开始和结束)，则情况将是这样。如果要求对准，则方法转到步骤730，其中,对准一个或多个时间训练序列。如果不要求对准(或者因为模型不要求对准，或者因为时间训练序列已经排齐)，那么方法直接转到步骤860，以用于训练模型。步骤860可以包括针对一个或多个时间训练序列中的每个的反向传播算法的一次迭代。
在步骤860之后，方法转到步骤870。此处，处理器544检查由模型在其当前训练状态下产生的输出数据是否足够准确。如果是，则计算机540输出经训练的模型(步骤880)。如果否，则要求训练的进一步迭代。方法返回到步骤805，其中，处理器获得针对另一训练对象的训练数据，并且对该新训练数据重复增量训练过程。方法以这种方式进行，对不同训练对象的训练数据进行迭代，直到达到输出数据的期望准确度水平。
根据本公开的一些示例的方法和系统可以使用经训练的模型来从超声心动图数据预测AVC评分，诸如Agaston评分。可以使用通过获得训练对象的CT扫描生成的真实情况数据来训练模型。真实情况Agaston评分可以从CT扫描数据中导出。以这种方式，可以训练模型以产生预测任何给定对象的Agaston评分的输出数据，而该对象不需要经历CT扫描。这可以使根据本公开的方法和系统更适合于随着时间定期监测对象的状况。常规超声心动图可能比常规CT扫描更低风险，因为CT扫描涉及用X射线辐射对象。
应当注意，上文所提到的实施例说明而不是限制本发明，并且本领域的技术人员将能够在不脱离权利要求书的范围的情况下设计许多备选实施例。
超声图像帧可以是三维的，由此超声图像帧的时间序列在三个空间维度和一个时间维度上表示感兴趣区。
在非根据权利要求1的示例中，循环系统中的感兴趣区不需要是主动脉瓣。它可以是循环系统内的任何区。在权利要求1范围之外的一些示例中，感兴趣区可以是心脏的二尖瓣。可以评估二尖瓣的状况，以确定是否(以及在多大程度上)发生二尖瓣反流。根据这样的示例的方法可以有于计划二尖瓣夹流程或经导管二尖瓣置换(TMVR)流程。
时间序列(和时间训练序列)可以从对心脏外的循环系统中的感兴趣区进行成像的超声系统获得。同样，感兴趣区的状况可以基于除感兴趣区的钙化程度之外的度量来确定。
在一些实施例中，时间序列和一个或多个时间训练序列可以由固定的持续时间来定义。如果周期性事件是对象的心跳，则可以通过使用ECG测量周期性事件的持续时间来确定该固定持续时间。时间序列和一个或多个时间训练序列可以具有作为周期性事件的周期的固定比例的持续时间。例如，每个序列可以具有是相应周期性事件的周期的1.2倍的持续时间。备选地，每个序列可以具有确切是相应周期性事件的一个周期的持续时间。在一个实例中，时间序列(或时间训练序列)的持续时间可以从P波跨越到下一个P波。
在上文所描述的示例中，假设从超声心动图获得的时间序列具有固定、均匀的帧速率(至少在对准过程中涉及的任何时间缩放之前)。在其他示例中，不同的帧速率可以用于不同的序列。
如果时间序列包括3D超声图像帧，那么可以使用3D U-Net执行3D体积分割。当然，分割也可以通过除U-Net或3D U-Net之外的经训练的模型来执行。在一些实施例中，可以经由阈值化从显著性图生成分割，以指示感兴趣区的至少一个区域。可以使用引导式反向传播算法来生成显著性图。备选地，显著性图可以经由任何其他适合的算法生成，诸如引导式CAM反向传播算法。在一些实施例中，分割可以是空间的-个体地对图像帧进行操作；在一些实施例中，分割可以是时空的，共同地对图像帧的序列进行操作。
如上文所解释的，AVC评分可以是预测的Agaston评分，其是用于确定主动脉瓣的钙化程度的已知度量。Agaston评分(其可以包括数字评分)反映了在时间序列中看到的钙化沉积物的总面积和这些沉积物的密度。0的Agatston评分建议不存在时间序列中检测到的钙沉积，并且这样一来，对象不太可能遭受心脏病。更特别地，对于上文给出的示例，对象不太可能遭受主动脉瓣狭窄或要求TAVR流程。较高的Agaston评分建议在时间序列中检测到的钙沉积对对象提出了一些风险。大于大约1200或1300(对于女性)或大于大约2000(对于男性)的Agatston评分可能建议对象具有严重的主动脉狭窄。这将暗示形成心脏病的升高风险作为钙沉积的结果，并且可能要求TAVR流程。应当理解，可以使用其他阈值以代替或者补充上文所提到的阈值。关于AVC分级的另外的信息可以例如在Simard等人(“Sex-Related Discordance Between Aortic Valve Calcification andHemodynamicSeverity of Aortic Stenosis”，Circulation Research.2017；120:681–691)和Clavel等人(“The Complex Nature of Discordant Severe Calcified AorticValve Disease Grading”，JACC第62卷，第24号，2013:2329–38)中找到。
图4A中所示的示例是非限制性示例，其中，一个时间序列被输入到三个经训练的模型中，并且每个经训练的模型输出一个输出数据项。在其他示例中，单个经训练的模型可以产生一个以上的输出数据项。在一些示例中，单个经训练的模型可以产生所有所要求的输出数据。例如，可以对单个经训练的模型进行训练，以产生AVC评分和瓣周漏的预测可能性。
可以考虑对象的人口统计学，而不是对象的性别，以便通过对每个人口统计学应用不同的阈值来获得针对对象的准确风险水平。例如，对于处于不同身体质量指数类别的对象、具有不同身体活动水平的对象、具有不同饮食的对象或具有不同吸烟状况的对象，可能存在不同的阈值。例如，如果两个对象仅在吸烟状态上不同，那么具有更广泛的吸烟史的对象可能处于心脏病的更大风险中，并且因此可能具有比具有较小吸烟史的对象更低的用于确定其风险水平的阈值。
代替于仅依赖于对对象的不同人口统计应用不同的阈值，方法200可以包括针对对象的特定人口统计训练一个或多个模型。作为示例，对象可以被划分为第一组对象和不同的第二组对象。基于性别、年龄组、身体质量指数类别(例如健康、超重、肥胖)、体育活动水平、饮食或吸烟状态，这可以分为不同组的对象。一个或多个第一模型可以被训练以产生针对第一组对象的输出数据并且一个或多个第二模型可以被训练以产生针对第二组对象的输出数据。对象可以被分成更大数量的对象组。一个或多个第三模型可以被训练为产生针对第三组对象的输出数据。
在一些实施例中，可以经由端到端学习来训练模型。在其他实施例中，可以引入特征提取的单独步骤。在该额外步骤中，在将输入数据(时间训练序列或时间序列)输入到第二单独模型中以用于分类或其他推理之前，减少输入数据的维度。
存储器146、546可以存储一个或多个计算机程序(或软件或代码)和/或数据。计算机程序可以包括用于供处理器144、544执行的操作系统，以便计算机140、540运行。存储在存储器146、546中的计算机程序可以包括根据本发明的实施例的计算机程序，或者当由处理器144、544执行时使处理器144、544执行根据本发明的实施例的方法的计算机程序。代替于或者补充其存储在存储器146、546中之外，这些计算机程序可以存储在另一计算机可读存储介质上。
处理器144、544可以是适合于执行一个或多个计算机可读程序指令的任何数据处理单元，诸如属于存储在存储器146、546中的计算机程序的指令。作为一个或多个计算机可读程序指令的执行的一部分，处理器144、544可以将数据存储到计算机可读存储介质和/或存储器146、546和/或从其读取数据。处理器144、544可以包括单个数据处理单元或多个数据处理单元，其并行操作或彼此协作操作。作为一个或多个计算机可读程序指令的执行的一部分，处理器144、544可以将数据存储到计算机可读存储介质和/或存储器146、546和/或从其读取数据。

Claims (13)

1.一种用于评估对象的循环系统中的感兴趣区的计算机实施的方法(200、300)，所述方法包括：
获得(210)所述感兴趣区的超声图像帧的时间序列；
获得(220、320)一个或多个经训练的模型；
将超声图像帧的所述时间序列输入(250、350)到所述一个或多个经训练的模型中；并且
使用所述一个或多个经训练的模型来分析(260、360)超声图像帧的所述时间序列，以产生表征所述感兴趣区的状况的输出数据，
其中，所述输出数据表征所述感兴趣区的动脉粥样硬化或钙化的程度，并且其中，所述感兴趣区是主动脉瓣。
2.一种训练用于评估对象的循环系统中的感兴趣区的模型的计算机实施的方法(600、700)，所述方法包括：
针对多个训练对象中的每个，获得(610、710)该训练对象中的所述感兴趣区的超声图像帧的一个或多个时间训练序列；
针对所述多个训练对象中的每个，获得(620、730)表征针对该训练对象的所述感兴趣区的状况的真实情况数据；并且
基于所获得的时间训练序列和对应的真实情况数据来训练(660、760)所述模型，使得所述模型被训练为基于任何给定对象中的所述感兴趣区的超声图像帧的时间序列来产生表征该对象中的所述感兴趣区的所述状况的输出数据，
其中，所述输出数据表征所述感兴趣区的动脉粥样硬化或钙化的程度，并且其中，所述感兴趣区是主动脉瓣。
3.根据前述权利要求中的任一项所述的方法，其中，针对所述多个训练对象或所述对象的所述超声图像帧中的每个超声图像帧是三维的。
4.根据前述权利要求中的任一项所述的方法，其中，所获得的时间序列或所获得的时间训练序列中的每个时间训练序列具有大于或等于与所述循环系统相关联的周期性事件的一个周期的持续时间。
5.根据权利要求1至3中的任一项所述的方法，其中，所获得的时间序列或所获得的时间训练序列中的每个时间训练序列被对准，使得所述时间序列或所述时间训练序列中的每个时间训练序列在与所述循环系统相关联的周期性事件的相同预定点处开始。
6.根据前述权利要求中的任一项所述的方法，其中，每个所获得的时间序列或所获得的时间训练序列中的每个时间训练序列具有相同数量的超声图像帧。
7.根据权利要求1至3、5和6中的任一项所述的方法，其中，所获得的时间序列和所获得的时间训练序列各自具有作为与所述循环系统相关联的相应周期性事件的周期的固定比例的持续时间。
8.根据前述权利要求中的任一项所述的方法，其中，所述模型或每个模型包括时空全卷积神经网络。
9.根据权利要求1至7中的任一项所述的方法，其中，所述模型或每个模型包括串联工作的卷积神经网络和递归神经网络。
10.根据前述权利要求中的任一项所述的方法，其中，一个或多个第一模型被训练为产生针对第一组对象的输出数据，并且一个或多个第二模型被训练为产生针对不同的第二组对象的输出数据。
11.根据前述权利要求中的任一项所述的方法，其中，所述输出数据包括以下各项中的两项或更多项中的任一项或任何组合：
-对描述所述感兴趣区中的问题的严重性的评分的预测；
-所述对象的预测存活可能性；
-对流程成功的预测；
-对流程后的持续成功的预测；
-对象在流程后需要起搏器的预测可能性；以及
-对至少一个所获得的超声图像帧的分割，所述分割指示对象中的所述感兴趣区的至少一个区域。
12.根据权利要求11所述的方法，其中，所述输出数据包括以下各项中的两项或更多项中的任一项或任何组合：
-对描述所述钙化的严重性的AVC评分的预测；
-TAVR成功的预测可能性；
-对TAVR后的持续成功的预测；
-对象在TAVR后需要起搏器的预测可能性；
-对至少一个所获得的超声图像帧的分割，所述分割指示对象中的所述感兴趣区的至少一个钙化区域；
-瓣周漏的预测可能性；以及
-对全因死亡率的预测。
13.一种包括计算机程序代码的计算机程序，所述计算机程序代码被配置为：如果所述计算机程序由至少一个物理计算设备运行，则使所述至少一个物理计算设备执行根据权利要求1-12中的任一项所述的方法的所有步骤。
CN202280031642.0A 2021-04-29 2022-04-15 循环系统评估 Pending CN117222368A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21290024.5A EP4084013A1 (en) 2021-04-29 2021-04-29 Circulatory system assessment
EP21290024.5 2021-04-29
PCT/EP2022/060161 WO2022228919A1 (en) 2021-04-29 2022-04-15 Circulatory system assessment

Publications (1)

Publication Number Publication Date
CN117222368A true CN117222368A (zh) 2023-12-12

Family

ID=76011870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280031642.0A Pending CN117222368A (zh) 2021-04-29 2022-04-15 循环系统评估

Country Status (3)

Country Link
EP (2) EP4084013A1 (zh)
CN (1) CN117222368A (zh)
WO (1) WO2022228919A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110914865B (zh) * 2017-05-18 2023-08-11 皇家飞利浦有限公司 时间心脏图像的卷积深度学习分析

Also Published As

Publication number Publication date
WO2022228919A1 (en) 2022-11-03
EP4084013A1 (en) 2022-11-02
EP4329628A1 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
Leclerc et al. Deep learning for segmentation using an open large-scale dataset in 2D echocardiography
US10984905B2 (en) Artificial intelligence for physiological quantification in medical imaging
US20210151187A1 (en) Data-Driven Estimation of Predictive Digital Twin Models from Medical Data
Gilbert et al. Generating synthetic labeled data from existing anatomical models: an example with echocardiography segmentation
CN1914617A (zh) 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
US20200388037A1 (en) Image analysis for scoring motion of a heart wall
Chen et al. Artificial intelligence in echocardiography for anesthesiologists
EP3724892B1 (en) Diagnostic modelling method and apparatus
US20220093270A1 (en) Few-Shot Learning and Machine-Learned Model for Disease Classification
Zhang et al. A computer vision pipeline for automated determination of cardiac structure and function and detection of disease by two-dimensional echocardiography
Wehbe et al. Deep learning for cardiovascular imaging: A review
Sfakianakis et al. GUDU: Geometrically-constrained Ultrasound Data augmentation in U-Net for echocardiography semantic segmentation
US11995823B2 (en) Technique for quantifying a cardiac function from CMR images
Corinzia et al. Neural collaborative filtering for unsupervised mitral valve segmentation in echocardiography
da Cruz et al. Enabling autonomous medical image data annotation: A human-in-the-loop reinforcement learning approach
Ling et al. Extraction of volumetric indices from echocardiography: which deep learning solution for clinical use?
US20240127432A1 (en) Image sequence analysis
EP4084013A1 (en) Circulatory system assessment
Almadani et al. Deep Video Action Recognition Models for Assessing Cardiac Function from Echocardiograms
CN112446499A (zh) 改进用于自动量化冠状动脉疾病的机器学习模型的性能
Hassan et al. 3DCNN Model for Left Ventricular Ejection Fraction Evaluation in Echocardiography
US20230259820A1 (en) Smart selection to prioritize data collection and annotation based on clinical metrics
US20230196557A1 (en) Late Gadolinium Enhancement Analysis for Magnetic Resonance Imaging
US20230363736A1 (en) Systems and methods for electromechanical wave imaging with machine learning for automated activation map generation
Azarmehr Automated Echocardiographic Image Interpretation Using Artificial Intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination