CN111511287B - 从医学图像自动提取超声心动图测量结果 - Google Patents

从医学图像自动提取超声心动图测量结果 Download PDF

Info

Publication number
CN111511287B
CN111511287B CN201880079409.3A CN201880079409A CN111511287B CN 111511287 B CN111511287 B CN 111511287B CN 201880079409 A CN201880079409 A CN 201880079409A CN 111511287 B CN111511287 B CN 111511287B
Authority
CN
China
Prior art keywords
echocardiographic
medical
medical images
extracted
echocardiographic measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880079409.3A
Other languages
English (en)
Other versions
CN111511287A (zh
Inventor
T·瑟亚达-马哈姆德
A·鲁
E·德格汗马尔瓦斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maredif Usa
Original Assignee
Maredif Usa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maredif Usa filed Critical Maredif Usa
Publication of CN111511287A publication Critical patent/CN111511287A/zh
Application granted granted Critical
Publication of CN111511287B publication Critical patent/CN111511287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Cardiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Primary Health Care (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)

Abstract

提供了用于实现自动超声心动图测量结果提取系统的机制。所述自动超声心动图测量结果提取系统接收包括一个或多个医学图像的医学成像数据，并将所述一个或多个医学图像输入到深度学习网络中。所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值。所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器。

Description

从医学图像自动提取超声心动图测量结果
技术领域
本申请一般涉及改进的数据处理装置和方法，并且更具体地涉及用于执行从医学图像自动提取超声心动图测量结果的机制。
背景技术
背景技术超声心动图(有时也称为诊断心脏超声)是一种被广泛接受的医学测试，其使用高频声波(超声)来生成患者心脏的图像。超声心动图使用声波来创建心脏的腔室、瓣膜、壁和附接到心脏的血管(主动脉、动脉、静脉)的图像。在超声心动图期间，称为换能器的探头在患者胸部上通过，并用于产生从心脏结构弹回并“回波”回到探头的声波。将检测到的“回波”转换成可以在计算机显示器上观看的数字图像。
超声心动图用于识别患者的各种不同的心脏状况，以及提供关于心脏的结构和功能的医务人员信息。例如，使用超声心动图，医学专业人员能够识别：(1)心脏的大小和形状；(2)心脏壁的尺寸、厚度和运动；(3)心脏的运动；(4)心脏的泵送强度；(5)心脏瓣膜是否正常工作；(6)血液是否通过心脏瓣膜向后渗漏(反流)；(7)心脏瓣膜是否太窄(狭窄)；(8)是否在心脏瓣膜周围生长有肿瘤或感染物；(9)心脏的外衬(心包膜)的问题；(10)进入和离开心脏的大血管的问题；(11)心脏的腔室中的血凝块；和(12)心室之间的异常孔。
发明内容
提供本概述以便以简化形式介绍将在此在详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键因素或必要特征，也不旨在用于限制所要求保护的主题的范围。
在一个说明性的实施方案中，提供了一种在数据处理系统中的方法，所述数据处理系统包括至少一个处理器和至少一个存储器，所述至少一个存储器包括由所述至少一个处理器执行以使所述至少一个处理器实施自动超声心动图测量结果提取系统的指令。所述方法包括通过在所述数据处理系统上执行的所述自动超声心动图测量结果提取系统接收包括一个或多个医学图像的医学成像数据。所述方法还包括通过所述自动超声心动图测量结果提取系统将所述一个或多个医学图像输入到深度学习网络中。此外，该方法包括由所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值。另外，所述方法包括通过所述深度学习网络将所提取的超声心动图测量向量输出输出到医学图像查看器。
在其他说明性实施例中，提供了一种计算机程序产品，其包括具有计算机可读程序的计算机可用或可读介质。当在计算设备上执行所述计算机可读程序时，所述计算机可读程序使得所述计算设备执行上面关于方法说明性实施例概述的操作中的各种操作和操作的组合。
在又一说明性实施例中，提供了一种系统/装置。该系统/装置可以包括一个或多个处理器和耦合到该一个或多个处理器的存储器。所述存储器可以包括指令，当由一个或多个处理器执行所述指令时，所述指令使一个或多个处理器执行上面关于方法说明性实施例概述的操作中的各种操作和操作的组合。
本发明的这些和其它特征和优点将在以下本发明的示例性实施例的详细描述中描述，或者鉴于以下本发明的示例性实施例的详细描述，本发明的这些和其它特征和优点将对于本领域的普通技术人员变得显而易见。
附图说明
当结合附图阅读时，通过参考以下对说明性实施例的详细描述，将最好地理解本发明及其优选使用模式和进一步的目的和优点，在附图中：
图1A是根据一个说明性实施例的自动超声心动图测量结果提取系统的主要操作部件的示例图；
图1B和1C是根据一个说明性实施例的用于从医学图像自动提取超声心动图测量结果的卷积神经网络(CNN)和对应数据流的实施例的示例图；
图2示出了根据一个说明性实施例的认知系统的一个说明性实施例的示意图，所述认知系统与自动超声心动图测量结果提取系统联合操作；
图3是其中实现说明性实施例的各方面的示例数据处理系统的框图；以及
图4是根据一个说明性实施例的概述用于执行医学图像的常态分类的示例操作的流程图。
具体实施方式
如上所述，超声心动图，即心脏的超声研究，是一种用于测量关于多种因素的心脏健康的常用工具。利用超声心动图，在各种心期拍摄不同模式(例如，A模式，其中单个换能器扫描穿过身体的线，回波被绘制为深度的函数，或者B模式，其显示组织的二维横截面的声阻抗)和医学图像的视点。在针对心脏状况对患者进行评估和治疗时，临床医生和其他医务人员通常需要确定心脏的解剖结构的测量结果，例如，心室的大小、心脏的壁厚、关于主动脉、肺静脉、瓣膜等的测量结果。这种测量结果通常指示不同类型的心脏医学状况。例如，测量室间隔和后壁厚度可以用于诊断肥大。作为另一个例子，左心室(LV)舒张直径、LV舒张直径/BSA或LV舒张直径/高度可用来利用测量结果的临床指南将病人的病例分类成正常、轻度异常、中度异常或严重异常。然而，生成这样的测量结果是手动过程，其需要受过训练的超声声谱仪操作员手动测量和记录每个患者的心脏测量结果，并且将这些测量结果编辑到医学报告文档中。手动过程是耗时的、资源密集的、易受人为错误的影响，并且由于这种人为错误可能导致不完整的测量结果集合。
因此，可以自身从超声心动图医学图像生成心脏解剖结构的完整测量结果集的自动化机制在提供决策支持服务方面将是非常有益的。在特定配置的计算设备中实现的这种自动化机制加速了生成超声心动图医学报告文档的过程并加快了工作流程。从保健提供者的角度来看，这种类型的自动化机制可以消除使人类超声医师手动测量和记录心脏解剖结构的测量结果的必要性，这提高了超声心动图工作流程和流水线的效率，从而导致更好的患者治疗以及医务人员更多的补偿和保健提供者的价值。
说明性实施例提供了用于从超声心动图图像自动提取心脏解剖结构的测量结果的机制。说明性实施例的自动化机制可以执行这样的测量结果提取，而不必执行图像分割，即不必执行将医学图像分割成与不同组织类别、器官、病理或其他生物相关结构相对应的不同有意义段的过程。因为图像分割可能是耗时的过程，所以从超声心动图图像的评估中移除分割过程的能力加速了生成与超声心动图图像集相关联的心脏医学报告文档的过程，并加快了整个工作流程。此外，分割在医疗记录中不容易获得，因此，为了生成高性能分割单元，需要由人类专家产生大量的分割，这通常是不可行的。然而，在说明性实施例中，图像和相应的测量结果用于训练，这两者在患者记录中都是容易获得的。因此，利用不需要图像分割的说明性实施例的机制，使得大规模训练成为可能。
利用说明性实施例的机制，提供了自动化测量结果提取引擎，其对输入到自动化测量结果提取引擎的一个或多个图像进行操作，并且提供医学图像中存在的解剖结构的测量结果的对应集合作为输出。自动化测量结果提取引擎可以采用经训练的机器学习或深度学习网络(以下称为“经训练的网络”)，诸如神经网络、支持向量机、随机森林或多层感知器(MLP)，其在不执行图像分割的情况下生成测量结果。经训练的网络基于对哪些测量结果是通过应用于网络的训练过程从哪些类型的图像获得的学习来估计测量结果。
在一个说明性实施例中，多层卷积神经网络(CNN)模型用于同时使用多个视图级联医学图像(例如，超声心动图图像)的特征向量，以生成医学图像中存在的解剖结构的测量结果。生成测量结果阵列使得CNN的训练更准确，因为相关的测量结果有助于提高准确性，并且CNN学习多个测量结果之间的相关性。这种学习表明，存在某些观点，即，进行某些测量并且这些测量结果中的一些具有相关性。
这些测量结果可以用于使用临床知识的诊断，例如，以指南等的形式，其可以由认知系统应用。在一些情况下，测量结果可以用于增强作为测量结果的源的医学图像，诸如通过输入医学图像上的注释或投影。这允许人类声谱仪操作员在需要时修改测量结果以校正它们，其中，在CNN的训练阶段期间或甚至在部署之后，使用所得到的反馈来执行CNN的附加训练，使得可以执行CNN的动态进行中的训练。
由于训练的网络或训练的CNN知道哪些图像提供哪些类型的测量结果，除了或替代上述诊断决策支持和上述医学图像增强之外，自动化测量结果提取引擎可执行附加操作以便告知技术人员和其他医务人员关于完成患者的超声心动图医学成像研究所需的图像类型，并且还可通知技术人员超声心动图医学成像研究何时完成，即特定研究所需的所有必要的测量结果已从所捕获的图像获得。结果，在获得不需要的医学图像时，人和设备资源的额外支出被最小化。此外，结果，生成其中缺少测量结果的不完整的超声心动图医学报告的概率被最小化。
在开始更详细地讨论示例性实施例的各个方面之前，首先应当理解，在整个说明书中，术语“机制”将用于指执行各种操作、功能等的本发明的元件。如在此使用的术语“机制”可以是以装置、过程或计算机程序产品的形式实现说明性实施例的功能或方面。在过程的情况下，该过程由一个或多个设备、装置、计算机、数据处理系统等来实现。在计算机程序产品的情况下，由包含在计算机程序产品中或计算机程序产品上的计算机代码或指令表示的逻辑由一个或多个硬件设备执行，以便实现与特定“机制”相关联的功能或执行与特定"机制"相关联的操作。因此，本文所述的机制可以实现为专用硬件、在通用硬件上执行的软件、存储在介质上使得指令可由专用或通用硬件容易地执行的软件指令、用于执行功能的过程或方法、或以上的任何组合。
本说明书和权利要求书可以关于说明性实施例的特定特征和元件使用术语“一个”、“至少一个”和“一个或多个”。应当理解，这些术语和短语旨在表明在特定的说明性实施例中存在至少一个特定特征或元件，但是也可以存在多于一个。也就是说，这些术语/短语不旨在将说明书或权利要求限制为存在单个特征/元件或要求存在多个这样的特征/元件。相反，这些术语/短语仅要求至少单个特征/元件，其中多个这样的特征/元件的可能性在说明书和权利要求的范围内。
此外，应当理解，如果在此关于描述本发明的实施例和特征而使用，术语“引擎”的使用不旨在限制用于实现和/或执行可归因于引擎和/或由引擎执行的动作、步骤、过程等的任何特定实施方式。引擎可以是但不限于执行指定功能的软件、硬件和/或固件或其任意组合，包括但不限于通用和/或专用处理器与加载或存储在机器可读存储器中并由处理器执行的适当软件的任意组合。此外，除非另有说明，与特定引擎相关联的任何名称是为了便于参考的目的，而不是旨在限制于特定的实施方式。另外，归于引擎的任何功能性可由多个引擎同等地执行，并入相同或不同类型的另一引擎的功能性中和/或与其组合，或分布在各种配置的一个或多个引擎上。
此外，应当理解，以下描述使用说明性实施例的各种元件的多个各种示例来进一步说明说明性实施例的示例实现方式，并且帮助理解说明性实施例的机制。这些示例旨在是非限制性的，并且不是用于实现说明性实施例的机制的各种可能性的穷举。鉴于本说明书，对于本领域的普通技术人员来说，显然，在不脱离本发明的精神和范围的情况下，除了本文提供的示例之外，或者作为其替代，可以利用这些各种元件的许多其它替代实现。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为瞬时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Java、Smalltalk、C++等，以及传统过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
图1A示出了根据一个说明性实施方案的自动超声心动图测量结果提取系统的主要操作部件的实例图。图1B和1C是根据一个说明性实施例的根据示例实施例的CNN的层的详细布置的示例图，所述示例实施例可以用于实现例如图1A中的CNN160，以及用于从诸如超声心动图图像的医学图像提取超声心动图测量结果的对应工作流程。图1B是根据一个说明性实施例的通过卷积神经网络(CNN)的数据流用于从医学图像中自动提取超声心动图测量结果的示例图，其中像素具有相似的像素间距，而图1C是根据说明性实施例的通过CNN的数据流用于从医学图像中自动提取超声心动图测量结果的示例图，其中每个图像具有其自己的像素间距。在根据一个说明性实施例的正常分类器的示例操作的以下描述中，将结合图1A-1C来解决。
如图1A-1C所示，在一个说明性的实施方案中，从具有从超声心动图设备110获得的各种不同视点的超声心动图图像提取超声心动图测量结果。应当理解，可以使用各种类型的超声心动图设备110，并且可以以不同的模式提供超声心动图图像，例如A模式、B模式、多普勒、M模式等。超声心动图设备110使用相关模式捕获图像，并且可以从多个不同的视点捕获患者解剖结构的多个图像例如胸部，并且在超声心动图图像的情况下特别是心脏，以编辑患者的医学成像研究115，其可以存储在自动超声心动图测量结果提取系统100的医学图像存储器140中。医学成像研究115可以与患者的标识符和/或患者的电子病历(EMR)相关联地存储为医学图像存储系统140中的一个或多个数据结构，例如，每个所捕获的医学图像、医学成像研究等的单独数据结构。
如图1A所示，在自动超声心动图测量结果提取系统100内的第一操作阶段期间，在从医学成像设备110接收医学图像研究数据115之后，模式识别组件120(其可以被实现为机器学习或深度学习系统，例如神经网络或其他机器学习/深度学习系统)被用于为研究数据115中的每个医学图像识别医学图像的特定模式和视点。例如，医学成像研究在单个研究中可以具有大约80到100个医学图像，每个医学图像被自动分类到其对应的模式和视点中。即，以超声心动图为例，可以用不同的模式(B模式、多普勒、M模式等)和在不同的视点(胸骨旁长轴或2、3、4、5室视图等)采集这种超声心动图图像。因此，在操作的第一阶段，模式识别部件120分析医学图像研究数据115中的医学图像中的每一个以将医学图像分类为不同模式。模式识别组件120的机器/深度学习系统可以使用具有不同模式的各种标记或注释的医学图像来训练，使得模式识别组件能够接收医学图像、分析医学图像的特性、以及将医学图像分类到不同模式。在一个说明性实施例中，模式识别组件110可以被训练，并且可以使用医学数字成像和通信(DICOM)标签分析和图像处理来操作，以用于对输入医学图像进行模式分类。应当理解，模式识别组件不需要是机器/深度学习解决方案，而是DICOM标签和图像处理的组合可用于对图像模式进行分类，而无需执行机器/深度学习。
视点分类组件130，其同样可以被实现为机器学习或深度学习系统，可以用于将图像分类为不同的视点。可以再次使用由专家在训练阶段利用特定视点信息注释或标记的医学图像来训练机器/深度学习视点分类部件130(或视点分类器)，使得经训练的视点分类部件130能够基于医学图像的特性与执行训练的那些特征的相似性，针对其视点对各种模式的新医学图像进行分类。
当患者的医学成像研究正在进行时，由超声心动图设备110捕获的医学图像研究数据115的医学图像，在已经由模式识别部件120和观察点分类部件130根据其模式和观察点进行分类之后，可以动态地存储在医学图像存储系统140中，并且响应于来自用户(例如超声心动图设备110的超声检查医师或其他技术人员或操作者)的请求可以对所捕获的图像的集合动态地执行说明性实施方案的自动超声心动图测量结果提取系统150的操作。或者，在对一个或多个患者进行一个或多个医学成像研究之后，自动超声心动图测量结果提取系统150的操作可以对医学图像存储系统140中存储的医学图像进行操作。
在一个说明性实施例中，基于模式识别组件120对模式的分类，可以从存储在医学图像存储设备140中的针对特定患者的医学图像中选择感兴趣模式的医学图像，以用于训练/测试或运行时执行。例如，在一个说明性的实施例中，选择B型超声心动图图像，因为这些图像是当前在现代实践中最频繁用于测量的图像类型，但是在不背离本发明的精神和范围的情况下可以使用任何其它模式。选择B模式超声心动图图像，其可以具有由视点分类组件130识别的各种不同视点。虽然在一个说明性的实施例中，超声心动图测量结果提取部件150可以在B模式超声心动图图像上操作，但是说明性的实施例不限于此，并且在不脱离说明性的实施例的精神和范围的情况下，可以用任何模式或模式的组合来实现说明性的实施例的机制。在一些实施例中，可以针对不同的模式实现超声心动图测量结果提取组件150的单独实例，例如，一个实例用于B模式医学图像，一个实例用于M模式医学图像，一个实例用于多普勒模式医学图像。
自动超声心动图测量结果提取部件150包括卷积神经网络(CNN)160，其例如通过训练逻辑180被训练以学习哪些视点(或“视图”)相对更好地用于特定类型的测量，其中如本文所使用的术语“测量结果(measurements)”是指根据医学图像中的物理解剖结构的表示对这些物理解剖结构的物理特性(例如，长度、宽度、直径、厚度等)的测量。通过将CNN160训练为回归模型，CNN160学习测量结果的抽象。即，深度学习卷积神经网络随着其变得更深而学习图像的更高抽象。一个示例是第一层学习边，但是更高层学习形状，诸如圆或矩形，而更高层学习更高抽象，诸如复杂形状，诸如脸。对于说明性实施例，CNN160被训练成学习作为输出层中的输入层的抽象的测量结果。这里，第一层再次学习基本边等，并且随着CNN160变得更深，这些层学习更高级别的抽象，诸如测量结果。
应当理解，一旦CNN160被训练，超声心动图测量提取组件150的训练逻辑180就不需要被包括在超声心动图测量提取组件150中，其被部署在用户位置或用于处理从医学图像提取超声心动图测量的运行时请求。这就是图1A中用虚线示出训练逻辑180的原因。因此，一旦完成了超声心动图测量结果提取组件150的开发的训练阶段，就仅利用经训练的CNN160和重新调节逻辑170来处理新的医学图像和从这样的医学图像提取的超声心动图测量结果。
应当注意，诸如超声心动图图像的医学图像具有像素间隔(图像上两个像素之间的物理距离)，这在例如由照相机获取的一般图像中是不存在的。像素间隔允许进行物理测量。例如，使用超声心动图图像，可以测量7mm的心室壁厚度，然而，对于传统的数字照相机，如果拍摄车轮的照片，则可以以多个像素测量照相机的直径，但是将无法将其转换为车轮直径的物理测量，例如cm或mm，因为照相机图像的两个像素之间的距离不代表那两个对应点之间的物理真实距离。
由于医学图像中的像素之间具有物理距离，因此从这些医学图像获得的测量处于物理空间中，例如以厘米为单位。通常，CNN，并且因此CNN160，对这样的医学图像中的像素间距是盲的。因此，从医学图像存储器140获得的医学图像生成的测量结果，例如超声心动图图像，被重新缩放到像素空间，即测量以图像像素的数目进行，而不是在测量单位为例如厘米的物理空间中进行。由于每个图像像素间隔是已知的，因此从像素到物理尺寸的转换成为可能。通常，来自不同视图的医学图像具有不同的像素间距。因此，相同的测量结果可以转化为每个视图的像素空间中的不同数量的像素。
例如，考虑7mm的心室间壁厚的情况。可以有来自不同视点的两个图像，或者甚至是相同视点但具有不同成像深度的两个图像，例如具有1mm和0.5mm的像素间隔。在这种情况下，IV壁在这两个图像中分别表现为7像素和14像素宽的壁。由于已知图像的像素间距是什么，因此已知具有1mm像素间距的图像上的7像素宽的壁具有与具有0.5像素间距的另一图像上的14像素宽的壁相同的厚度。然而，如上所述，机器学习/深度学习网络对于像素间隔是盲的。当训练网络时，例如，提供图像作为输入，并且生成测量结果作为输出。现在在这个示例情况下，如果这两个图像都作为输入提供，并且训练期望7作为输出，则对于网络而言，这将是非常混乱的。然而，如果网络被给予第一图像作为输入并期望7作为输出，并且网络被给予第二图像作为输入并期望14作为输出，则更容易正确地训练网络。
在关于示例实施例的图1B和图1C中更详细地示出的CNN160实现多视图多输出回归模型。在一个说明性实施例中，从医学图像存储140中选择的相同模式(例如，B模式)但具有不同视点(例如，A2C视图、A4C视图、LAX视图等)的医学图像142在大约相同的时间被输入到CNN160。来自超声心动图报告的测量结果被级联成向量作为用于训练的输出。在第一说明性实施例中，如图1B所示，所有输入图像被重新采样，使得所有输入图像具有相似的像素间隔，例如等于像素间隔的最小值。然后，使用该公共像素间隔将来自报告的物理测量转换为像素的数量。如果存在多个测量结果，则它们都被级联成测量向量。在第二说明性实施例中，如图1C所示，输入图像保持其原始像素间距，然而，使用每个图像的像素间距将来自报告的每个物理测量多次变换成多个像素。这些被连接成向量。其它测量结果类似地被添加到这些矢量。
如图1B中所示，作为一个实例实施例，CNN160包括多个卷积层166的多个卷积模块161-165，接着是多个密集连接(完全连接)层167。每个卷积模块161-165包含多组具有激活、批量规范化的卷积层和退出层。在图1B和图1C的图形描绘中，这些图中相对较小的块表示来自前一块的数据被向下取样，例如通过最大池化层。从图中可以看出，CNN160首先独立地使用一些独立的卷积层例如包括卷积模块161-163的卷积层来分析每个医学图像视图142。然后，CNN160通过经由卷积模块164的级联(concatenation)和处理来组合信息，并且最后与完全连接的层167组合。
因此，具有不同视图的每个输入图像142后面分别跟随有多个卷积模块161-163，用于提取低层特征，例如边缘，拐角等，当CNN处理图像更深时，提取更高层特征，例如形状等。在提取特征之后，输出被级联在一起164并被输入到附加卷积模块165。全连接层167取得由附加卷积模块165处理的级联输出，并生成包括多个测量结果中的每个的值的测量向量输出168。在所描述的示例中，测量向量输出168包括对左心室(LV)直径、左心室(LV)容积、室间隔(IVS)宽度、P波(PW)宽度等的测量结果。因此，给定具有多个不同视图的多个图像，CNN160可被训练以提供更准确的测量结果。这样，CNN160自己学习选择最佳图像或图像的组合以产生最准确的测量结果。
CNN160的训练可以以多种不同的方式来完成。在一个说明性实施例中，如上所述并且如图1B中的示例实施例所示，对具有其不同视点的输入训练图像142的集合的全部进行采样，使得它们全部具有相同的像素间隔。给定相同像素间距的图像的重新取样可以用许多不同方式实现，例如，如果可在旧像素间距与新像素间距之间建立此关系，那么对每第n个像素进行采样，或例如通过对原始图像的两个像素之间的值进行内插。在不脱离本发明的精神和范围的情况下，可以使用任何适当的重采样方法。
在一些说明性实施例中，来自报告的测量结果可以全部由重新缩放逻辑170使用像素间隔转换成像素的数量。结果，CNN160被训练为具有相同像素间隔的多个输入，并且将为每个测量结果产生一个输出。CNN160的训练可包括卷积层的权重的初始随机或伪随机设定。此后，将给定输入的输出与基础事实(来自报告的测量结果)进行比较，以识别CNN160生成的输出中的错误。此后，以反向传播方式使用此误差的梯度来更新卷积层的权重以便训练CNN160。
由CNN160生成的每个测量结果的输出可以使用公共像素间隔和重新缩放逻辑170被变换到物理空间中，并且可以由训练逻辑180与针对存在于训练图像中的解剖结构的基础事实或已知测量结果进行比较，所述基础事实或已知测量结果诸如可以从与训练图像相关联的注释、标签或其他元数据获得，例如从由临床医生在常规临床工作流程期间生成的文本报告获得的测量结果。当生成训练图像数据集时，这样的基础事实或已知测量结果可以由人类主题专家(SME)手动指定。在一些情况下，可以提供训练图像的小的初始标记或注释集合，并且可以通过自动化机制来扩展，诸如在共同拥有和审查之中的美国专利申请号15/850007和15/850116(P201705805US01和P201705806US01)等中描述的基于GANS的技术。
在另一个说明性实施例中，例如图1C所示，训练输入图像142没有被采样为具有共同的像素间隔。因此，来自每个视点的每个图像i将具有其自己的像素间隔Pi。代替例如通过先前描述的实施例的采样来标准化输入图像像素间距，来自由临床医生在评估超声心动图检查之后产生的报告(例如超声心动图报告)的每个测量结果使用每个图像自身的像素间距Pi被重复地变换到像素间距。即，作为常规临床实践，临床医生研究检查，从图像进行测量，并将它们写入报告中，该报告被记录到电子医疗记录(EMR)中。用于训练CNN160的测量结果可以从这些报告中提取，并且使用每个图像自身的像素间隔pi被变换到像素空间。因此，如果有M个视点并且在报告中有N个测量结果，则输出向量168将具有M×N的大小。由CNN160产生并且存在于输出向量168中的每个测量结果使用对应的图像像素间隔再次被变换到物理空间并且与来自报告的基础事实进行比较，从而基于所识别的误差和反向传播来训练CNN160，以学习测量结果和潜在地具有不同视点的图像相关。
一旦被训练，CNN160就可以被应用到新的医学图像，例如新的超声心动图图像，使得CNN160可以从特定模式的一组选择的医学图像中自动确定最佳视图，但是具有不同的视点，以用于生成特定的测量结果。CNN160生成输出测量向量168，其提供对存在于医学图像的输入集中的解剖结构的各种测量结果的估计。这些测量结果可以在由重新缩放逻辑170生成的物理空间中，该重新缩放逻辑能够如上所述从像素空间转换到物理空间。即，在训练CNN160之后，不同视图或视点的图像被馈送到CNN160，其将产生测量向量，该测量向量包含被变换到针对输入图像中的每个的多个像素的至少一个测量结果。然后使用每个图像像素间隔将这些测量结果变换为物理单位。
CNN160输出的物理测量结果可以由自动超声心动图测量结果提取系统100提供给认知系统190，其本身可以提供医学图像查看器应用195、医学图像研究报告生成器197和/或其他认知操作功能，以提供决策支持服务或以其他方式生成帮助医务人员治疗患者的输出，例如治疗推荐操作、执行用于介入规划的操作，例如执行经导管主动脉瓣置换(TAVR)的介入规划或用于解决患者的心脏状况的其他程序等。例如，认知系统190可以摄取表示不同测量的正常/异常范围的临床指南文档、描述与每个异常测量相关联的各种疾病的医学知识的临床指南文档等，并且可以基于从这些临床指南文档摄取的知识来评估由CNN160生成的测量结果。可以基于向医务人员建议他们可能想要在治疗相应患者时采取的下一步骤的评估来提供“下一步”建议。因此，该信息可以被保存在临床知识数据库中，并且用于“下一步”建议，例如当医务人员正在检查患者的信息、遇到患者等时。
例如，认知系统190可以采用流水线或其他认知逻辑来将规则、医学知识和分析等应用于由自动超声心动图测量结果提取系统100输出的测量结果，其中这些规则、医学知识等可以在由认知系统190摄取的一个或多个语料库的电子文档、由人类主体专家指定的预定义规则集等中提供。例如，规则可以规定，如果LV直径小于一定的厘米数，则应当为患者考虑某些治疗建议。通过证据分析，例如基于患者电子病历(EMR)数据等，可以考虑其他因素，并且可以生成特定治疗的分数，以便确定对患者的治疗推荐。
在一些说明性实施例中，认知系统190可以通过对患者的医学图像进行分类并至少部分地基于由说明性实施例的机制生成的测量结果对患者的医学状况的严重性进行排名来执行分诊支持操作。以这种方式，认知系统190的医学图像查看器应用可以由认知系统190自动控制，以基于如由说明性实施例的机制指示的获得的测量结果，根据患者的医学图像的相对排名，单独地或与患者状况的其他认知评估(例如，患者电子医疗记录(EMR)数据的评估、由认知系统190与之接口的其他计算系统记录的患者的其他生命体征等)一起输出患者的医学图像，如由说明性实施例的机制指示的。
此外，基于哪些医学图像显示异常的识别，如可以从由本发明的机制生成的测量识别的，可以基于认知系统190的控制经由医学成像查看器195输出针对个体特定患者的对应的最显著或相关医学图像。例如，可以有80个从患者的超声心动图显象研究中产生的医学图像，每个都可以通过说明性实施例的CNN160评估，以从学习的最佳视点图像中识别特定测量的相应测量结果。这些测量结果可以与诸如可以存在于预定义规则、由认知系统190摄取的医学知识源、医学指南等中的准则进行比较，以识别在哪里可能存在异常。可以识别导致异常检测的测量结果的对应图像，即，针对特定测量结果的学习的最佳图像，并且可以经由医学成像查看器195呈现以供医务人员查看。可以经由医学图像查看器195以比未被确定为用于提供测量结果的最佳图像的其他医学图像更高的等级或顺序向医务人员显示医学图像。
除了基于自动提取的超声心动图测量结果通过医学图像查看器195查看更能代表解剖结构异常的医学图像之外，医学图像查看器应用195还可以用相应的自动提取的测量结果注释或标记医学图像。这样，当医务人员观察医学图像时，可以使测量结果可由医务人员访问。此外，认知系统190还可以经由生成器197提供自动医学图像研究报告生成。医学图像研究报告生成器197可以生成其自己的医学图像研究报告，或者可以通过增强对应的数据结构以包括自动提取的超声心动图测量结果来增强现有的医学图像研究报告。
因此，说明性实施例提供了多输入网络，其利用与患者相关联的多视点医学成像研究的多个不同医学图像来学习医学图像视点的类型与对应的超声心动图测量结果之间的关联。说明性实施例学习哪些医学图像视点提供超声心动图测量结果的最准确估计，然后利用这些估计生成这些测量结果的估计以用于患者的医学成像研究的未来处理。执行该过程而不必执行医学图像的分割，这提高了整个系统的性能。此外，示例性实施例的机制减轻了单独图像的图像质量问题，并从互补视点，例如长轴相对于短轴，2室相对于4室提取信息。
说明性实施例还可以提供多输出网络，其利用不同测量之间的相关性，例如，左心室直径与左心室体积相关，这对于训练是有利的。例如，在超声心动图中可能存在许多彼此相关的测量，例如，可以在4个腔室以及2个腔室视图中测量左心室长度。由于两种测量是对相同解剖结构的测量，因此它们不能显著不同。在左心室的直径和体积之间存在类似的相关性。如果一个变大，则通常另一个也变大。这些相关性充当CNN训练的正则化矩阵并改善结果。因此，当训练说明性实施例的CNN时，CNN的错误评估可以进一步包括评估测量结果之间的这样的相关性以确定如何修改CNN的操作以减少由CNN生成的损失函数或错误，例如，如果这样的相关性没有被由CNN生成的输出维持，则卷积层的权重的特定修改可以被相应地调整以维持这样的相关性。
从以上可以清楚地看出，可以在许多不同类型的数据处理环境中利用说明性实施例。为了提供用于描述说明性实施例的特定元件和功能的上下文，以下提供图2和图3作为其中可以实现说明性实施例的各方面的示例环境。应当理解，图2和图3仅是示例，而不是要断言或暗示关于其中可实现本发明的各方面或实施例的环境的任何限制。在不脱离本发明的精神和范围的情况下，可以对所描述的环境进行许多修改。
图2和图3旨在描述用于健康护理应用的示例认知系统，其实现用于查看医学图像并获得关于特定患者的医学图像的信息的医学图像查看器应用230。认知系统还可提供其它认知功能，包括治疗建议、患者电子病历(EMR)分析和与医学成像数据的关联、干预计划和调度操作、患者分类操作、以及各种其它类型的决策支持功能，包括认知分析和将基于计算机的人工智能或认知逻辑应用于关于患者的大量数据，其中至少一部分涉及常态分类器的常态评分机制。在一些说明性实施例中，认知系统可以实现请求处理流水线，例如问答(QA)流水线(也称为问题/回答流水线或问题和回答流水线)，例如请求处理方法，以及请求处理计算机程序产品，利用该请求处理计算机程序产品实现说明性实施例的机制。这些请求可作为结构或非结构化请求消息、自然语言问题或用于请求要由健康护理认知系统执行的操作的任何其它适当格式来提供。
作为概述，认知系统是专用计算机系统，或计算机系统组，其配置有硬件和/或软件逻辑(与其上执行软件的硬件逻辑组合)以仿效人类认知功能。这些认知系统将类人的特征应用于传达和操纵思想，当与数字计算的固有强度结合时，可以解决具有高准确度和大规模弹性的问题。认知系统执行一个或多个计算机实现的认知操作，该认知操作近似于人类思维过程，并且使得人和机器能够以更自然的方式交互，以便扩展和放大人类专业知识和认知。认知系统包括人工智能逻辑，例如基于自然语言处理(NLP)的逻辑、医学图像分析逻辑等，以及机器学习逻辑，其可以被提供为专用硬件、在硬件上执行的软件、或专用硬件和在硬件上执行的软件的任何组合。认知系统的逻辑实现认知操作，其示例包括但不限于问题回答、语料库中的内容的不同部分内的相关概念的标识、诸如因特网网页搜索的智能搜索算法(例如，医学诊断和治疗推荐)、医学图像分析逻辑、以及使用专门配置的计算机制来模拟人的思考过程的其他类型的逻辑。IBM WatsonTM是可以利用说明性实施例的机制或者可以在其中实现说明性实施例的机制的一个这种认知系统的示例。
图2示出了根据一个说明性实施例的认知系统200的一个说明性实施例的示意图，该认知系统在计算机网络202中实现医学图像查看器/报告生成器应用230，并且其结合常态分类器(诸如图1A中的常态分类器100)来操作。认知系统200可以进一步包括各种其他类型的认知操作逻辑，用于根据如上所述的自动超声心动图测量结果提取系统100的操作，基于对接收到的医学图像数据的分析和从具有各种视点的医学成像研究的医学图像中自动提取超声心动图测量结果来执行认知操作。例如，认知系统200可以包括分类认知逻辑232、干预计划逻辑234、治疗推荐逻辑236或其他认知操作逻辑，如鉴于本说明书对于本领域普通技术人员将变得显而易见的。
认知系统200在连接到计算机网络202的一个或多个计算设备204A-204D(包括一个或多个处理器和一个或多个存储器，以及潜在地，本领域中通常已知的任何其他计算设备元件，包括总线、存储设备、通信接口等)上实现。仅为了说明的目的，图2描述了认知系统200仅在计算设备204A上实现，但是如上所述，认知系统200可以分布在多个计算设备上，诸如多个计算设备204A-204D。网络202包括可以作为服务器计算设备操作的多个计算设备204A-204D，以及可以作为客户端计算设备操作的210-212。它们通过一个或多个有线和/或无线数据通信链路相互通信并与其他设备或组件通信，其中每个通信链路包括一个或多个电线、路由器、交换机、发射机、接收机等。
在一些说明性实施例中，认知系统200和网络202经由一个或多个认知系统用户各自的计算设备210和212来为他们实现问题处理和回答生成(QA)功能。在其他实施例中，认知系统200和网络202可以提供其他类型的认知操作，包括但不限于请求处理和认知响应生成，其可以根据期望的实现方式采取许多不同的形式，例如，认知信息检索、用户的训练/指令、诸如医学成像数据的认知评估等。认知系统200的其他实施例可以与除了本文所描述的那些之外的组件、系统、子系统和/或设备一起使用。
在一些说明性实施例中，客户端计算设备210和212可以用作用于登录或以其他方式访问认知系统200的机制，以便查看患者的医学成像研究并且执行其他认知操作，以便帮助医学专业人员对患者进行决策和/或治疗。例如，超声医师或其他医学成像主题专家(SME)可以利用客户端计算设备210来访问由认知系统200和医学图像查看器/报告生成器应用230提供的服务和功能，以查看存储在语料库240中的针对一个或多个患者的一个或多个医学成像研究的医学图像和/或详述由自动超声心动图测量提取系统100从医学图像自动提取的超声心动图测量的相应报告。客户端计算设备210的用户可以查看医学图像并且执行用于注释医学图像、向患者电子病历(EMR)添加笔记的操作，以及可以基于人类经由认知系统200对医学图像的查看通过人机交互执行的多种其他操作中的任何操作。
如上所述，在一些说明性实施例中，认知系统200可以被配置为实现从各种源接收输入的请求处理流水线。请求可以以自然语言问题、对信息的自然语言请求、对执行认知操作的自然语言请求等的形式提出。例如，认知系统200从网络202、电子文档的一个或多个语料库206、认知系统用户和/或其他数据和其他可能的输入源接收输入。在一个实施例中，认知系统200的输入中的一些或全部通过网络202路由。网络202上的各种计算设备204A-204D包括内容创建者和认知系统用户的接入点。计算设备204A-204D中的一些包括用于存储一个或多个数据语料库206(仅出于说明的目的，在图2中被示为单独的实体)的数据库的设备。所述一个或多个数据语料库206的部分也可以在一个或多个其他网络附接的存储设备上、在一个或多个数据库中、或在图2中未明确示出的其他计算设备上提供，在各种实施例中，网络202包括本地网络连接和远程连接，使得认知系统200可以在任何大小的环境中操作，包括本地和全球，例如，因特网。
认知系统200的请求处理流水线可包括用于基于从所述一个或多个数据语料库206和/或240获得的信息来处理输入问题/请求的多个阶段。流水线基于对输入问题/请求和所述一个或多个数据语料库206、240的处理来生成对输入问题或请求的回答/响应。在一些说明性实施例中，认知系统200可以是从纽约Armonk的国际商业机器公司获得的IBMWatsonTM认知系统，其被增加了这里描述的说明性实施例的机制。关于IBM WatsonTM认知系统的流水线的更多信息可以从例如IBM公司网站，IBM Redbook以及Yuan等人的“Watsonand Healthcare”，IBM DeveloperWorks，2011和“The Era of Confnitive System:AnInside Look at IBM Watson and How it Works”，Rob High，IBM Redbooks，2012。
服务器204A-C和/或客户计算设备210-212中的一个或多个可以与诸如超声心动图设备之类的医学成像设备250相关联，其用于捕获患者的医学图像数据，如本领域所公知的。所捕获的医学图像可以被提供给存储系统，例如所述一个或多个电子数据语料库的一部分，例如语料库206和/或240。医学图像数据可以具有由设备和/或与设备相关联的计算系统生成的相关联的元数据，以提供医学图像的特性的进一步的标识符，例如，DICOM标签、指定模式的元数据、视点等。
在一些说明性实施例中，用户可以是耦合到计算设备的超声心动图设备250的操作员，所述计算设备例如在所描述的例子中的客户端设备212，其经由网络202和相应的服务器204A将医学图像作为医学成像研究的一部分提供给存储器，例如语料库240。认知系统200可评估正在执行的医学成像研究，基于医学成像研究的类型识别哪些测量将从医学图像中提取，并且通过CNN160执行的关于医学图像视点与对应的超声心动图测量的关联的学习，可确定哪些医学图像需要作为医学成像研究的一部分被捕获。当超声心动图设备250正在执行医学成像研究时，可以监视这些医学图像的捕获以及从医学成像研究中提取的相应测量的提取。认知系统200可以基于所学习的医学图像视点与对应的超声心动图测量结果的关联来确定哪些测量结果已经能够和已经不能被自动超声心动图测量结果提取系统100提取。此外，认知系统200可确定仍然需要捕获哪些医学图像例如哪些视点，以便提供缺失的测量结果。另外，一旦所有测量结果已经能够由自动超声心动图测量结果提取系统100提取，认知系统200可以进一步确定不需要进一步的医学图像捕获。
认知系统200可以经由计算设备212向人类声谱仪操作者提供这些各种确定的指示。因此，当超声专业人员正在进行患者的医学成像研究时，向超声专业人员提供关于仍然需要捕获哪些医学图像视点、能够提取哪些测量结果以及何时已经完成医学成像研究的反馈。
如图2所示，认知系统200可以与自动超声心动图测量结果提取系统100联合操作，该系统包括以先前关于图1A-1B描述的方式操作的部件120-180。例如，可以使用与训练医学图像数据集中的原始图像配对的图谱来训练实现机器学习和/或深度学习机制的各种组件120-180，所述机器学习和/或深度学习机制诸如神经网络、支持向量机、随机森林系统、多层感知器(MLP)等，所述训练医学图像数据集可以在语料库240中提供。这些图册可包括已标记或已注释的医学图像，如可能已由人类主题专家标记或注释的，其中这些标记或注释可包括与这些医学图像内存在的解剖结构相关联的超声心动图测量。在一些实施例中，可以使用自动化机制来扩展这些训练医学图像数据集，例如先前在上面引用的审查之中的和共同受让的美国专利申请的基于GANS的自动化机制。
如先前关于图1A和1B所述，自动超声心动图测量结果提取系统100可输出超声心动图测量，其表示解剖结构的物理特征的物理测量，例如心室的尺寸、主动脉的尺寸、静脉的尺寸和人类心脏的其他结构。这些测量被提供给认知系统200，其可以实现各种认知系统逻辑230-236以查看医学图像和基于所提取的测量结果生成的对应注释或标签，生成指定所提取的测量结果的对应医学成像报告，基于测量结果执行分诊操作，执行介入规划，和/或生成治疗建议。医学图像查看器应用230和/或其他认知操作功能逻辑232-236可以实现用于执行其相应操作的一个或多个认知系统请求处理流水线。在一些情况下，每个单元230-236可以是单独的请求处理流水线，其与其它处理流水线并行或顺序地操作以执行相应的认知操作。
医学图像查看器应用230提供用于呈现医学图像的逻辑，使得用户可以基于自动提取的超声心动图测量结果来查看医学图像和对应的注释或标记，经由图形用户界面操纵视图等。医学图像查看器应用230可包括用于向用户呈现医学图像信息的各种类型的图形用户界面元件，其中的一些可包括由自动超声心动图测量结果提取系统100从医学成像研究的医学图像中自动提取的超声心动图测量结果。基于识别哪些医学图像显示影响或由本发明的机制提取的超声心动图测量结果表示的异常，如上所述，可以经由医学成像查看器应用程序230输出针对个体特定患者的对应的最显著或相关的医学图像。
在一些说明性实施例中，医学图像查看器应用230可以利用附加的强调和/或注释特征来增强医学图像的渲染，以识别医学图像中医学人员可能希望引起他们注意的部分，例如，突出异常区域等。即，除了通过医学图像查看器应用230对医学图像进行更能代表解剖结构中异常的正常/异常分类和查看之外，形状特征偏差(与正常形状的形状特征相比)可以被转变成由认知系统200的医学成像查看器应用呈现的医学图像中的强度表示。
基于由说明性实施例的机制提供的信息，经由医学图像查看器应用，可以以不同的颜色、阴影、用显著的注释或标记等来呈现医学图像的那些部分，使得医务人员清楚地示出医学图像内异常的位置，所述医学图像的那些部分具有与使用说明性实施例的机制从医学图像提取的超声心动图测量结果所识别的正常形状的较高偏差。如由说明性实施例从自动提取的超声心动图测量结果确定的各种异常水平可以以用于将医务人员的注意力引导到医学图像的该部分的医学图像的强调类型来表示，例如不同颜色、突出显示、注释或标签中的文本或数值的大小、闪烁或其他视觉强调技术、添加到医学图像的图形元素，诸如符号或图片等。
在一些说明性实施例中，认知系统200可以包括分诊认知逻辑232，其通过对患者的医学图像进行分类并至少部分地基于由自动超声心动图测量结果提取系统100提取的自动提取的超声心动图测量结果来对患者的医学状况的严重性进行分级，从而执行分诊支持操作。以这种方式，医学图像查看器应用230可由认知系统200的分类认知逻辑232自动控制，以根据由说明性实施例提取的自动提取的超声心动图测量结果所指示的患者医学图像的正常性的相对分级，单独地或与患者状况的其他认知评估一起输出患者的医学图像，所述其他认知评估例如患者电子病历(EMR)数据的评估、由其他计算系统204A-C或与认知系统200接口的客户端设备210-212记录的患者的其他生命体征等。
在一些说明性实施例中，治疗推荐逻辑236可由认知系统200实施，其可利用由自动超声心动图测量结果提取系统100自动提取的超声心动图测量，连同患者信息的其他认知处理，例如可在由一个或多个语料库206和/或240提供的一个或多个患者电子医疗记录(EMR)中提供的患者信息，以确定要推荐给医务人员用于治疗患者的治疗。治疗推荐逻辑236可以将以电子形式在一个或多个语料库206和/或240中的各种医学信息源中编码的医学知识应用于患者信息和/或由自动超声心动图测量结果提取系统100自动提取的超声心动图测量结果，以确定各种候选治疗的适用性。可以基于证据数据来评估候选治疗以生成针对各种候选治疗的置信度分数，并且可以基于候选治疗的基于置信度分数的排名来生成最终推荐治疗。在一些实施方案中，由自动超声心动图测量结果提取系统100自动提取的超声心动图测量结果可用作计算各种候选治疗的置信度得分的一部分，例如，作为额外的评分变量、作为加权因子等。
在一些说明性实施例中，由自动超声心动图测量结果提取系统100自动提取的超声心动图测量结果可由认知系统200的干预计划逻辑234使用，以执行用于计划流程和服务的干预计划操作，以基于患者医疗状况的严重性的相对排名来治疗患者。例如，自动提取的超声心动图测量结果可以由认知系统200用于相对地对患者进行排名，诸如以上关于分类认知逻辑232所讨论的。介入规划逻辑234可以识别患者医学状况的相对严重性，并且执行与其他机构系统交互的操作，诸如用于调度医务人员以处置患者的调度系统、调度对用于执行所需流程的机构的访问、调度医务人员以执行医学流程、调度要用于执行这样的医学流程的医学设备等。这可以在涉及调度或以其他方式执行干预计划操作的其他人类用户的帮助下自动和/或半自动地完成。例如，潜在地与分类认知逻辑232和治疗推荐逻辑236交互的干预计划逻辑234可以向人员发送对要调度的特定医疗程序的请求，或者可以进一步前进并确定需要什么设施、设备和人员来执行医疗程序并发送对这些特定设施、设备和人员的特定请求，其中后续调度由人员人为地完成。
应当理解，这些仅是可以基于由自动超声心动图测量结果提取系统100自动提取的超声心动图测量结果来执行的认知操作的示例。在不脱离本发明的精神和范围的情况下，可以使用除了图2所示的那些认知操作之外或者作为其替代而执行的其它类型的认知操作。
如上所述，说明性实施例的机制源于计算机技术领域，并且使用存在于这样的计算或数据处理系统中的逻辑来实现。这些计算或数据处理系统通过硬件、软件或硬件和软件的组合被具体配置成实现上述各种操作。这样，图3被提供作为其中可以实现本发明的各方面的一种类型的数据处理系统的示例。许多其它类型的数据处理系统可以同样地被配置为具体实现说明性实施例的机制。
图3是其中实现了说明性实施例的各方面的示例数据处理系统的框图。数据处理系统800是计算机的示例，例如图2中的服务器204A-204D或客户机210-212，实现本发明的说明性实施例的过程的计算机可用代码或指令位于其中。在一个说明性实施例中，图3表示服务器计算设备，诸如服务器204A，其实现认知系统200和医学图像查看器应用230，其中服务器204A还被具体配置并执行硬件和/或软件逻辑以实现图1A和图2的常态分类器100。
在所描述的例子中，数据处理系统300采用集线器体系结构，包括北桥和存储器控制器集线器(NB/MCH)302以及南桥和输入/输出(I/O)控制器集线器(SB/ICH)304。处理单元306、主存储器308和图形处理器310连接到NB/MCH 302。图形处理器310通过加速图形端口(AGP)连接到NB/MCH 302。
在所描述的例子中，局域网(LAN)适配器312连接到SB/ICH 304。音频适配器316、键盘和鼠标适配器320、调制解调器322、只读存储器(ROM)324、硬盘驱动器(HDD)326、CD-ROM驱动器330、通用串行总线(USB)端口和其它通信端口332、以及PCI/PCIe设备334通过总线338和总线340连接到SB/ICH 304。PCI/PCIe设备可以包括例如以太网适配器、附加卡和用于笔记本计算机的PC卡。PCI使用卡总线控制器，而PCIe不使用。ROM 324可以是例如闪速基本输入/输出系统(BIOS)。
HDD 326和CD-ROM驱动器330通过总线340连接到SB/ICH 304。HDD326和CD-ROM驱动器330可以使用例如集成驱动电子设备(IDE)或串行高级技术附件(SATA)接口。超级I/O(SIO)设备336连接到SB/ICH304。
操作系统在处理单元306上运行。操作系统协调并提供对图3中的数据处理系统300内的各种组件的控制。作为客户机，操作系统是商业上可获得的操作系统，例如 Windows/>面向对象的编程系统，例如JavaTM编程系统，可以与操作系统一起运行，并且提供从在数据处理系统300上执行的JavaTM程序或应用程序到操作系统的调用。
作为服务器，数据处理系统300可以是例如运行高级交互执行(AdvancedInteractive Executive)操作系统或/>操作系统的/> eServerTMSystem/>计算机系统。数据处理系统300可以是在处理单元306中包括多个处理器的对称多处理器(symmetric multiprocessor)(SMP)系统。或者，可以采用单处理器系统。
用于操作系统、面向对象的编程系统以及应用或程序的指令位于诸如HDD326的存储设备上，并且被加载到主存储器308中以供处理单元306执行。本发明的说明性实施例的过程由处理单元306使用计算机可用程序代码来执行，该计算机可用程序代码位于诸如主存储器308、ROM 324之类的存储器中，或者位于例如一个或多个外围设备326和330中。
诸如图3所示的总线338或总线340之类的总线系统包括一个或多个总线。当然，总线系统可以使用任何类型的通信结构或体系结构来实现，所述通信结构或体系结构提供在附接到该结构或体系结构的不同组件或设备之间的数据传输。诸如图3的调制解调器322或网络适配器312的通信单元包括用于发送和接收数据的一个或多个设备。存储器可以是例如主存储器308、ROM 324或诸如在图3中的NB/MCH 302中找到的高速缓存。
本领域的普通技术人员将理解，图2和3中描述的硬件可以根据实现而变化。除了图2和3中描述的硬件之外，或者作为其替代，还可以使用其它内部硬件或外围设备，例如闪存、等效的非易失性存储器或光盘驱动器等，此外，在不脱离本发明的精神和范围的情况下，除了前面提到的SMP系统之外，还可以将示例性实施例的处理应用于多处理器数据处理系统。
此外，数据处理系统300可以采取多种不同数据处理系统中的任何一种的形式，包括客户端计算设备、服务器计算设备、平板计算机、膝上型计算机、电话或其他通信设备、个人数字助理(PDA)等。在一些说明性示例中，数据处理系统300可以是便携式计算设备，其配置有闪存以提供用于存储例如操作系统文件和/或用户生成的数据的非易失性存储器。本质上，数据处理系统300可以是任何已知的或以后开发的数据处理系统，而没有架构限制。
图4是概述根据一个说明性实施例的用于执行医学图像的常态分类的示例操作的流程图。图4中概述的操作可以由自动超声心动图测量结果提取系统实现，例如以上关于图1A-图2描述的超声心动图测量结果提取系统100。图4中概述的操作是为了从具有各种不同视点的医学成像研究的医学图像中提取超声心动图测量结果。该操作假设各种机器学习和/或深度学习机制已经以先前描述的方式被训练。此外，虽然在图4中未示出，但所提取的超声心动图测量结果可用作由医学图像查看器应用执行医学图像渲染、医学成像研究报告生成的基础，和/或可用作执行各种认知操作的基础。
如图4所示，操作开始于接收多个医学图像作为医学成像研究的一部分，以提取超声心动图测量结果(步骤410)。确定所接收的医学图像的模式(步骤420)并且对医学图像的视点进行分类(步骤430)。基于选择的模式和视点选择医学图像的子集，其中医学图像的子集可以具有各种不同的视点(步骤440)。将所选择的相同模式但具有不同视点的医学图像输入到训练的卷积神经网络(步骤450)，其对医学图像数据进行操作以基于所学习的医学图像视点和相应的超声心动图测量结果的关联从医学图像提取超声心动图测量结果(步骤460)。然后将提取的超声心动图测量结果输出到认知系统和/或医学图像查看器，以报告提取的超声心动图测量结果和/或一个或多个认知操作的执行(步骤470)。然后操作终止。
如上所述，应当理解，说明性实施例可以采取完全硬件实施例、完全软件实施例或包含硬件元件和软件元件两者的实施例的形式。在一个示例实施例中，以软件或程序代码来实现说明性实施例的机制，所述软件或程序代码包括但不限于固件、驻留软件、微代码等。
适于存储和/或执行程序代码的数据处理系统将包括至少一个处理器，该处理器通过诸如系统总线的通信总线直接或间接地耦合到存储器元件。存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、大容量存储装置和高速缓冲存储器，高速缓冲存储器提供至少一些程序代码的临时存储以便减少在执行期间必须从大容量存储装置检索代码的次数。存储器可以是各种类型，包括但不限于ROM、PROM、EPROM、EEPROM、DRAM、SRAM、闪存、固态存储器等。
输入/输出或I/O设备(包括但不限于键盘、显示器、指示设备等)可以直接或通过居间的有线或无线I/O接口和/或控制器等耦合到系统。I/O设备可以采取除了常规键盘、显示器、指示设备等之外的许多不同形式，例如通过有线或无线连接耦合的通信设备，包括但不限于智能电话、平板计算机、触摸屏设备、语音识别设备等。任何已知的或以后开发的I/O设备都旨在处于说明性实施例的范围内。
网络适配器也可以耦合到系统，以使数据处理系统能够通过中间专用或公共网络耦合到其它数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡只是用于有线通信的网络适配器的当前可用类型中的几种。还可以利用基于无线通信的网络适配器，包括但不限于802.11a/b/g/n无线通信适配器、蓝牙无线适配器等。任何已知的或以后开发的网络适配器都旨在落入本发明的精神和范围内。
本发明的描述是为了说明和描述的目的而呈现的，并且不旨在是穷尽的或将本发明限制于所公开的形式。在不背离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择和描述实施例是为了最好地解释本发明的原理、实际应用，并且使本领域的其他普通技术人员能够理解本发明的具有各种修改的各种实施例，这些修改适合于所设想的特定用途。选择本文所使用的术语以最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或使本领域的其他普通技术人员能够理解本文所公开的实施例。

Claims (18)

1.一种方法，在包括至少一个处理器和至少一个存储器的数据处理系统中，所述至少一个存储器包括由所述至少一个处理器执行以使所述至少一个处理器实施自动超声心动图测量结果提取系统的指令，所述方法包括：
由在所述数据处理系统上执行的所述自动超声心动图测量结果提取系统接收包括一个或多个医学图像的医学成像数据；
通过所述自动超声心动图测量结果提取系统将所述一个或多个医学图像输入到深度学习网络中；
由所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值；以及
由所述深度学习网络将所提取的超声心动图测量向量输出输出到医学图像查看器，包括：
通过所述自动超声心动图测量结果提取系统，针对需要从所述一个或多个医学图像中提取的每种类型的超声心动图测量结果，识别提供用于生成所述类型的超声心动图测量结果的最佳视点的对应医学图像视点；以及
由所述自动超声心动图测量结果提取系统针对每种类型的超声心动图测量结果确定所述一个或多个医学图像是否包括具有与最佳视点相对应的视点的至少一个医学图像。
2.如权利要求1所述的方法，其中所述一个或多个医学图像包括患者的一个或多个B模式超声心动图图像。
3.如权利要求1所述的方法，其中自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出是在不对所述一个或多个医学图像执行图像分割的情况下执行的。
4.根据权利要求1所述的方法，其中所述深度学习网络包括多层卷积神经网络。
5.如权利要求1所述的方法，其中所述一个或多个医学图像包括多个医学图像，其中所述多个医学图像中的至少两个医学图像具有不同的视点，并且其中自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出包括级联所述多个医学图像的特征向量。
6.根据权利要求1所述的方法，其中由所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器还包括：
通过所述自动超声心动图测量结果提取系统注释所述一个或多个医学图像以包括超声心动图测量结果的所述一个或多个值；以及
经由所述医学图像查看器显示所述经注释的一个或多个医学图像。
7.如权利要求1所述的方法，其中由所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器还包括，对于每种类型的超声心动图测量结果：
响应于所述一个或多个医学图像不包括具有对应于所述最佳视点的至少一个医学图像，向用户输出患者的至少一个额外的医学图像将被捕获的通知以及为所述类型的超声心动图测量结果指定所述最佳视点。
8.根据权利要求1所述的方法，其中由所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器还包括：
通过所述自动超声心动图测量结果提取系统确定需要从所述一个或多个医学图像中提取的每种类型的超声心动图测量结果是否已从所述一个或多个医学图像中提取；以及
通过所述自动超声心动图测量结果提取系统向用户输出已完成医学图像的捕获的通知。
9.根据权利要求1所述的方法，还包括：
基于带注释的训练图像数据集来训练所述深度学习网络，以从医学图像提取超声心动图测量结果。
10.一种计算机可读存储介质，具有存储于其中的计算机可读程序，其中所述计算机可读程序当在数据处理系统上执行时，使所述数据处理系统实施自动超声心动图测量结果提取系统，所述自动超声心动图测量结果提取系统操作以：
接收包括一个或多个医学图像的医学成像数据；
将所述一个或多个医学图像输入到深度学习网络中；
由所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值；以及
由所述深度学习网络将所述提取的超声心动图测量向量输出输出到医学图像查看器，包括：
通过所述自动超声心动图测量结果提取系统，针对需要从所述一个或多个医学图像中提取的每种类型的超声心动图测量结果，识别提供用于生成所述类型的超声心动图测量结果的最佳视点的对应医学图像视点；以及
由所述自动超声心动图测量结果提取系统针对每种类型的超声心动图测量结果确定所述一个或多个医学图像是否包括具有与最佳视点相对应的视点的至少一个医学图像。
11.如权利要求10所述的计算机可读存储介质，其中所述一个或多个医学图像包括患者的一个或多个B模式超声心动图图像。
12.如权利要求10所述的计算机可读存储介质，其中所述计算机可读程序还使所述自动超声心动图测量结果提取系统自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，而无需对所述一个或多个医学图像执行图像分割。
13.根据权利要求10所述的计算机可读存储介质，其中，所述深度学习网络包括多层卷积神经网络中的至少一个。
14.如权利要求10所述的计算机可读存储介质，其中所述一个或多个医学图像包括多个医学图像，其中所述多个医学图像中的至少两个医学图像具有不同的视点，并且其中所述计算机可读程序还使所述自动超声心动图测量结果提取系统至少通过级联所述多个医学图像的特征向量来自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出。
15.如权利要求10所述的计算机可读存储介质，其中所述计算机可读程序还使所述自动超声心动图测量结果提取系统通过所述深度学习网络还至少通过以下步骤将所述提取的超声心动图测量向量输出输出到医学图像查看器：
通过所述自动超声心动图测量结果提取系统注释所述一个或多个医学图像以包括超声心动图测量结果的所述一个或多个值；以及
经由所述医学图像查看器显示所述经注释的一个或多个医学图像。
16.如权利要求10所述的计算机可读存储介质，其中所述计算机可读程序还使所述自动超声心动图测量结果提取系统通过所述深度学习网络针对每种类型的超声心动图测量结果至少进行以下步骤将所述提取的超声心动图测量向量输出输出到医学图像查看器：
响应于所述一个或多个医学图像不包括具有对应于所述最佳视点的至少一个医学图像，向用户输出患者的至少一个额外的医学图像将被捕获的通知以及为所述类型的超声心动图测量结果指定所述最佳视点。
17.如权利要求10所述的计算机可读存储介质，其中所述计算机可读程序还使所述自动超声心动图测量结果提取系统通过所述深度学习网络至少进行以下步骤将所述提取的超声心动图测量向量输出输出到医学图像查看器：
通过所述自动超声心动图测量结果提取系统确定需要从所述一个或多个医学图像中提取的每种类型的超声心动图测量结果是否已从所述一个或多个医学图像中提取；以及
通过所述自动超声心动图测量结果提取系统向用户输出已完成医学图像的捕获的通知。
18.一种装置，包括：
处理器；以及
耦合到所述处理器的存储器，其中所述存储器包括指令，所述指令在由所述处理器执行时使所述处理器实施自动超声心动图测量结果提取系统，所述自动超声心动图测量提取结果系统操作以：
接收包括一个或多个医学图像的医学成像数据；
将所述一个或多个医学图像输入到深度学习网络中；
由所述深度学习网络自动处理所述一个或多个医学图像以生成提取的超声心动图测量向量输出，所述提取的超声心动图测量向量输出包括从所述一个或多个医学图像提取的超声心动图测量结果的一个或多个值；以及
由所述深度学习网络将所提取的超声心动图测量向量输出输出到医学图像查看器，包括：
通过所述自动超声心动图测量结果提取系统，针对需要从所述一个或多个医学图像中提取的每种类型的超声心动图测量结果，识别提供用于生成所述类型的超声心动图测量结果的最佳视点的对应医学图像视点；以及
由所述自动超声心动图测量结果提取系统针对每种类型的超声心动图测量结果确定所述一个或多个医学图像是否包括具有与最佳视点相对应的视点的至少一个医学图像。
CN201880079409.3A 2017-12-20 2018-12-12 从医学图像自动提取超声心动图测量结果 Active CN111511287B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/848,077 2017-12-20
US15/848,077 US10531807B2 (en) 2017-12-20 2017-12-20 Automated extraction of echocardiograph measurements from medical images
PCT/IB2018/059901 WO2019123110A1 (en) 2017-12-20 2018-12-12 Automated extraction of echocardiograph measurements from medical images

Publications (2)

Publication Number Publication Date
CN111511287A CN111511287A (zh) 2020-08-07
CN111511287B true CN111511287B (zh) 2023-08-04

Family

ID=66813686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880079409.3A Active CN111511287B (zh) 2017-12-20 2018-12-12 从医学图像自动提取超声心动图测量结果

Country Status (6)

Country Link
US (3) US10531807B2 (zh)
JP (1) JP7261236B2 (zh)
CN (1) CN111511287B (zh)
DE (1) DE112018006488T5 (zh)
GB (1) GB2583643B (zh)
WO (1) WO2019123110A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145910A (zh) * 2017-05-08 2017-09-08 京东方科技集团股份有限公司 医学影像的表现生成系统、其训练方法及表现生成方法
US10531807B2 (en) 2017-12-20 2020-01-14 International Business Machines Corporation Automated extraction of echocardiograph measurements from medical images
US11534136B2 (en) * 2018-02-26 2022-12-27 Siemens Medical Solutions Usa, Inc. Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
US10685172B2 (en) * 2018-05-24 2020-06-16 International Business Machines Corporation Generating a textual description of an image using domain-independent anomaly analysis
US11616816B2 (en) * 2018-12-28 2023-03-28 Speedchain, Inc. Distributed ledger based document image extracting and processing within an enterprise system
US10910100B2 (en) * 2019-03-14 2021-02-02 Fuji Xerox Co., Ltd. System and method for generating descriptions of abnormalities in medical images
CN110298831A (zh) * 2019-06-25 2019-10-01 暨南大学 一种基于分块深度学习的医学图像处理系统及其方法
EP3839964A1 (en) * 2019-12-19 2021-06-23 Koninklijke Philips N.V. Making measurements in images
CN110739050B (zh) * 2019-12-20 2020-07-28 深圳大学 一种左心室全参数及置信度的量化方法
CN111368899B (zh) * 2020-02-28 2023-07-25 中国人民解放军南部战区总医院 一种基于递归聚合深度学习分割超声心动图的方法和系统
CN111523593B (zh) * 2020-04-22 2023-07-21 北京康夫子健康技术有限公司 用于分析医学影像的方法和装置
JP7152724B2 (ja) * 2020-08-21 2022-10-13 雅文 中山 機械学習装置、プログラム、及び検査結果推定装置
US20220059221A1 (en) * 2020-08-24 2022-02-24 Nvidia Corporation Machine-learning techniques for oxygen therapy prediction using medical imaging data and clinical metadata
JP2022070037A (ja) * 2020-10-26 2022-05-12 キヤノン株式会社 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム
CN113762388A (zh) * 2021-09-08 2021-12-07 山东大学 一种基于深度学习的超声心动图视图识别方法及系统
WO2023192972A1 (en) * 2022-03-31 2023-10-05 Dasisimulations Llc Artificial intelligence-based systems and methods for automatic measurements for pre-procedural planning

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103732134A (zh) * 2010-12-29 2014-04-16 迪亚卡帝奥有限公司 自动左心室功能评价
CN105868524A (zh) * 2015-02-06 2016-08-17 国际商业机器公司 用于医学图像集的自动基准真值生成
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法
CN107169526A (zh) * 2012-11-09 2017-09-15 加州理工学院 自动特征分析、比较和异常检测的方法
WO2017181288A1 (en) * 2016-04-21 2017-10-26 The University Of British Columbia Echocardiographic image analysis
WO2017198878A1 (de) * 2016-05-20 2017-11-23 Universität des Saarlandes Automatisierte empfehlung zur gabe von echokontrastmittel mittels machine-learning-algorithmen
WO2017205836A1 (en) * 2016-05-26 2017-11-30 Icahn School Of Medicine At Mount Sinai Systems and methods for categorization

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8308646B2 (en) * 2005-04-18 2012-11-13 Mayo Foundation For Medical Education And Research Trainable diagnostic system and method of use
US8983160B2 (en) * 2009-03-31 2015-03-17 Hitachi Medical Corporation Medical image diagnostic apparatus and volume calculating method
US10271817B2 (en) * 2014-06-23 2019-04-30 Siemens Medical Solutions Usa, Inc. Valve regurgitant detection for echocardiography
JP6591195B2 (ja) * 2015-05-15 2019-10-16 キヤノンメディカルシステムズ株式会社 超音波診断装置及び制御プログラム
CN107169528B (zh) * 2017-06-06 2020-01-07 成都芯云微电子有限公司 一种基于机器学习的集成电路图像的通孔识别装置
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
US10470677B2 (en) * 2017-10-11 2019-11-12 Bay Labs, Inc. Artificially intelligent ejection fraction determination
US10531807B2 (en) 2017-12-20 2020-01-14 International Business Machines Corporation Automated extraction of echocardiograph measurements from medical images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103732134A (zh) * 2010-12-29 2014-04-16 迪亚卡帝奥有限公司 自动左心室功能评价
CN107169526A (zh) * 2012-11-09 2017-09-15 加州理工学院 自动特征分析、比较和异常检测的方法
CN105868524A (zh) * 2015-02-06 2016-08-17 国际商业机器公司 用于医学图像集的自动基准真值生成
WO2017181288A1 (en) * 2016-04-21 2017-10-26 The University Of British Columbia Echocardiographic image analysis
CA3021697A1 (en) * 2016-04-21 2017-10-26 The University Of British Columbia Echocardiographic image analysis
WO2017198878A1 (de) * 2016-05-20 2017-11-23 Universität des Saarlandes Automatisierte empfehlung zur gabe von echokontrastmittel mittels machine-learning-algorithmen
WO2017205836A1 (en) * 2016-05-26 2017-11-30 Icahn School Of Medicine At Mount Sinai Systems and methods for categorization
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法

Also Published As

Publication number Publication date
CN111511287A (zh) 2020-08-07
US20210204856A1 (en) 2021-07-08
US10531807B2 (en) 2020-01-14
DE112018006488T5 (de) 2020-10-29
JP2021509301A (ja) 2021-03-25
US20190183366A1 (en) 2019-06-20
GB202010761D0 (en) 2020-08-26
US20200113463A1 (en) 2020-04-16
WO2019123110A1 (en) 2019-06-27
US11813113B2 (en) 2023-11-14
JP7261236B2 (ja) 2023-04-19
US10987013B2 (en) 2021-04-27
GB2583643B (en) 2022-10-12
GB2583643A (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN111511287B (zh) 从医学图像自动提取超声心动图测量结果
US10930386B2 (en) Automated normality scoring of echocardiograms
US11694297B2 (en) Determining appropriate medical image processing pipeline based on machine learning
US10902588B2 (en) Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
US10929708B2 (en) Deep learning network for salient region identification in images
US10327712B2 (en) Prediction of diseases based on analysis of medical exam and/or test workflow
US10984024B2 (en) Automatic processing of ambiguously labeled data
US20190392944A1 (en) Method and workstations for a diagnostic support system
US20210259664A1 (en) Artificial intelligence (ai) recognition of echocardiogram images to enhance a mobile ultrasound device
US20240127436A1 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US10650923B2 (en) Automatic creation of imaging story boards from medical imaging studies
Beddiar et al. Automatic captioning for medical imaging (MIC): a rapid review of literature
de Siqueira et al. Artificial intelligence applied to support medical decisions for the automatic analysis of echocardiogram images: A systematic review
US11080326B2 (en) Intelligently organizing displays of medical imaging content for rapid browsing and report creation
Azad et al. Foundational models in medical imaging: A comprehensive survey and future vision
EP4061230B1 (en) Systems and methods for obtaining medical ultrasound images
US10910098B2 (en) Automatic summarization of medical imaging studies
US11538576B2 (en) Illustrative medical imaging for functional prognosis estimation
US20210264238A1 (en) Artificial intelligence (ai)-based guidance for an ultrasound device to improve capture of echo image views
Moradizeyveh et al. When Eye-Tracking Meets Machine Learning: A Systematic Review on Applications in Medical Image Analysis
CN116249474A (zh) 内部和外部接近扫描
Kumar et al. Mining Echocardiography Workflows for Disease Discriminative Patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230523

Address after: Michigan, USA

Applicant after: Maredif USA

Address before: USA New York

Applicant before: International Business Machines Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant