CN111885964A - 识别超声图像的特性的系统和方法 - Google Patents

识别超声图像的特性的系统和方法 Download PDF

Info

Publication number
CN111885964A
CN111885964A CN201980017547.3A CN201980017547A CN111885964A CN 111885964 A CN111885964 A CN 111885964A CN 201980017547 A CN201980017547 A CN 201980017547A CN 111885964 A CN111885964 A CN 111885964A
Authority
CN
China
Prior art keywords
ultrasound
ultrasound images
steering
steering signal
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980017547.3A
Other languages
English (en)
Inventor
B·G·格布雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111885964A publication Critical patent/CN111885964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于识别一幅或多幅超声图像的特性的方法，其中，每幅图像是由使用超声成像过程的超声探头而成像的对象的图像。所述方法包括获得指示在所述成像过程期间对所述超声探头的操纵的操纵信号。获得所述操纵信号的部分，所述操纵信号的部分指示在一时间段期间对所述探头的操纵。所获得的部分与所述一幅或多幅超声图像相关联。然后，基于所述操纵信号的所获得的部分和一幅或多幅图像本身两者，使用神经网络系统对所述一幅或多幅超声图像的特性进行分类。这样的分类包括在所述操纵信号的所获得的部分上应用一个或多个卷积核，以生成表示所述操纵信号的所获得的部分的卷积输出，并且对所述卷积输出进行分类以指示与所获得的部分相关联的所述一幅或多幅超声图像的特性。

Description

识别超声图像的特性的系统和方法
技术领域
本发明涉及超声图像处理的领域，并且具体涉及超声图像内的自动特征表征的领域。
背景技术
超声成像正在越来越多地被用在各种不同的应用中。重要的是向用户提供关于被扫描对象的足够信息，以便准确地评估对象的状况。当所关注的对象是经受医学超声扫描的患者时，尤其是这种情况。
一些超声成像系统包括用于获得对象的一幅或多幅超声图像的超声探头。超声探头通常适于由超声成像系统的用户或临床医师来把持。
超声探头可以包括用于发射超声波并且接收回波信息的CMUT换能器阵列。处理所接收到的回波信息以生成一幅或多幅超声图像。换能器阵列可以备选地包括由诸如PZT或PVDF的材料形成的压电换能器。换能器阵列可以包括换能器的二维阵列，该换能器的二维阵列能够在2D平面中或者在三维中进行扫描以进行3D成像。在另一示例中，换能器阵列可以是1D阵列。
越来越需要识别超声图像的特性。这些特性尤其可以包括超声图像中存在的特征或超声图像的质量。需要高质量超声图像以允许对超声图像中的异常的准确检测或者对特征的准确测量。通常，通过对所捕获的超声图像执行图像处理方法来检测超声图像的特性。
US 2016/048737 A1描述了一种用于超声医学图像的自适应计算机辅助诊断(CAD)的装置，该装置包括图像分析算法选择器，其被配置为基于探头的速度或者由探头获得的当前图像帧的分辨率来选择图像分析算法，并且图像分析器被配置为使用所选择的图像分析算法来检测当前图像帧中的感兴趣区域(ROI)并且对其进行分类。
US 2016/155227 A1还涉及一种基于对用户的诊断意图进行确定的CAD装置。所述CAD装置包括：ROI检测器，其被配置为从来自探头的图像输入中检测ROI；以及探头运动确定器，其被配置为响应于所述ROI检测器检测到所述ROI而确定所述探头的运动。该CAD装置还包括：诊断意图确定器，其被配置为基于所确定的探头的运动来确定用户的诊断意图；以及诊断意图处理器，其被配置为基于所确定的用户的诊断意图来执行诊断流程。
发明内容
本发明由权利要求来限定。
根据本发明的一方面的示例，提供了一种识别一幅或多幅超声图像的特性的计算机实施的方法，其中，每幅超声图像是由超声探头使用超声成像过程而成像的对象的超声图像，所述方法包括：
获得指示在所述超声成像过程期间对所述超声探头的操纵的操纵信号；
获得操纵信号的部分，所获得的部分指示在一时间段期间对所述超声探头的操纵，其中，所获得的部分与一幅或多幅超声图像相关联；并且
使用神经网络系统，基于所述一幅或多幅超声图像和所述操纵信号的所获得的部分两者，对一幅或多幅相关联的超声图像的特性进行分类。对所述一幅或多幅相关联的超声图像的特性进行分类的步骤包括：对所述操纵信号的所获得的部分应用一个或多个卷积核，以生成表示所述操纵信号的所获得的部分的卷积输出；并且对所述卷积输出进行分类以指示与所获得的部分相关联的所述一幅或多幅超声图像的特性。
因此，提出了一种通过分析或分类所述超声图像和捕获所述超声图像的所述超声探头的操纵信号两者来识别超声图像的特性的方法。操纵信号的部分与一幅或多幅超声图像相关联，所述部分表示在与至少一幅超声图像的捕获相关联的时间段期间对所述超声探头的操纵(例如，空间移动)。操纵信号的部分被分类以帮助识别(一幅或多幅)相关联的超声图像的特性。以这种方式，能够处理操纵信号以辅助识别所述超声图像的特性。
本发明提出：超声探头被操纵的方式影响或者指示超声图像的特性。因此，操纵信号的特性(指示对超声探头的操纵)可以帮助定义由所述超声探头收集到的超声图像的特性。关于超声图像的信息可以通过处理或分析操纵信号来识别。具体地，所述卷积核可以捕获表示所获得的部分的卷积输出，诸如局部时间模式，其然后可以被有利地用于识别与所获得的部分相关联的所述一幅或多幅超声图像的特性。通过分类所述操纵信号的提取项，并且尤其是其卷积输出，以及相关联的超声图像，能够识别与该提取项相关联的一幅或多幅超声图像的特性。
亦即，根据本发明，所述神经网络系统将所述一幅或多幅超声图像和所述操纵信号的所获得的部分两者都作为输入，并且对其进行处理以对所述一幅或多幅相关联的超声图像的特性进行分类。由所述神经网络系统执行的所述处理包括：生成表示所述操纵信号的所获得的部分的卷积输出，其随后将与所述一幅或多幅超声图像和/或其部分一起，以及可能还与由所述神经网络系统的中间处理阶段生成的表示所述一幅或多幅超声图像和/或其部分的输出一起，被用在所述神经网络系统中，以对所述一幅或多幅相关联的超声图像的特性进行分类。
在优选实施例中，对所述一幅或多幅相关联的超声图像的特性进行分类的步骤包括：
使用被包括在所述神经网络系统中的第一神经网络来生成表示所述操纵信号的所获得的部分的所述卷积输出，并且对所述卷积输出进行分类以指示对所述超声探头的操纵模式；并且
使用被包括在所述神经网络系统中的第二神经网络，基于所述一幅或多幅超声图像和所述操纵模式对所述一幅或多幅相关联的超声图像的特性进行分类。
举例来说，可能已知的是：当进行对超声探头的不同的移动时，捕获对象的不同特征(例如，感兴趣区域，诸如器官)。通过将与超声图像相关联的、作为操纵信号的时间提取项的操纵信号的部分分类为与特定移动相似或相同，可以改善对对象的特征的检测。
因此，所提出的发明允许识别超声图像的特性，其中，使用所述操纵信号，结合所述超声图像，可以提供比单独在所述超声图像中发现的信息额外的或者更准确的信息。因此，所提出的概念允许对超声图像的自动并且更准确的表征。
在实施例中，对所述一幅或多幅相关联的超声图像的特性进行分类的步骤包括：
a)对所获得的所述操纵信号的部分是否与以下各项中的一项相关联进行分类：
高质量超声图像；
所述对象的预定视图的超声图像；以及
在相关联的一幅或多幅超声图像中所述对象的一个或多个预定感兴趣区域的存在；并且
b)借助于将对所获得的部分的分类分配为所述一幅或多幅相关联的超声图像的特性，来识别所述一幅或多幅相关联的超声图像的特性。亦即，对所述一幅或多幅相关联的超声图像的特性的所述识别包括：将对所获得的部分的所述分类分配为所述一幅或多幅相关联的超声图像的特性。
如先前所解释的，操纵信号可以帮助定义或指示在所述操纵信号的生成期间所捕获的超声图像的特性。已经发现上述特性(超声图像的质量、所述超声图像的视点以及超声图像中的所述对象的特定特征的存在)在操纵信号中的特别可识别的。
因此，所述方法可以从所述超声图像和所述操纵信号中识别超声图像是否描绘了期望的感兴趣区或区域，或者其是否具有合理的质量。
识别在所述一幅或多幅超声图像中是否找到预定感兴趣区域或者所述超声图像是否具有允许对图像的经改进的标记、注释或分割的预定视图。一些超声引导标准要求出于筛查或分析的目的而获得对象(例如，胎儿)的特定视图。对所述对象的视图的自动检测允许更精确和更轻松地满足这样的标准。
识别超声图像是否具有高质量允许对低质量图像(其通常对于分析对象无用)的自动处理，由此降低了内存存储需求并且降低了超声系统的用户的负担。
在另外的实施例中，对所述一幅或多幅相关联的超声图像的特性进行分类的步骤包括：
将所述操纵信号分割成多个部分，每个部分与相同的一幅或多幅超声图像相关联；
将一个或多个卷积核应用于所述操纵信号的每个获得的部分，以生成每个时间段的卷积输出；并且
使用长短期记忆(long short-term memory)处理每个时间段的所述卷积输出，以对每个获得的部分进行分类。
所述卷积核可以捕获表示所获得的部分的卷积输出，诸如局部时间模式。然后，可以处理每个局部时间模式以建立在图像采集时间窗口期间所述探头的移动的长期时间模式。例如，这可以通过长短期记忆架构来完成。
在实施例中：
获得操纵信号的步骤包括：获得多个操纵信号，每个操纵信号指示在所述超声成像过程期间对所述超声探头的操纵；
获得所述操纵信号的部分的步骤包括：通过从每个操纵信号获得时间上相关联的部分来获得多个时间上相关联的部分，其中，所述多个时间上相关联的部分与相同的一幅或多幅超声图像相关联；并且
对所述一幅或多幅相关联的超声图像的特性进行分类的步骤包括：对多个时间上相关联的部分进行分类，以指示所述一幅或多幅相关联的超声图像的特性。
在另外的实施例中，对所述多个时间上相关联的部分进行分类的步骤包括：
获得表示所述多个时间上相关联的部分的二维数据结构；
将卷积核应用于所述二维数据结构以生成所述二维数据结构的卷积输出；并且
对所述卷积输出进行分类以指示所述一幅或多幅相关联的超声图像的特性。
通过将卷积核应用于所述操纵信号的所获得的部分的所述二维数据结构，能够使用卷积神经网络来处理所述操纵信号。以这种方式，可以识别所述操纵信号中的所述局部时间模式，并且将其与所述超声图像结合使用以对所述超声图像的特性进行分类。
在又一实施例中：
获得所述操纵信号的部分的步骤包括：获得所述操纵信号的两个或更多个时间上相关联的部分，其中，所述多个时间上相关联的部分中的每个时间上相关联的部分与相同的一幅或多幅超声图像相关联；并且
对所述一幅或多幅相关联的超声图像的特性进行分类的步骤包括：
a)获得多个二维数据结构，每个二维数据结构表示不同的多个时间上相关联的部分；
b)将卷积核应用于每个二维数据结构以生成相应的多个卷积输出；并且
c)使用长短期记忆来处理所述多个卷积输出，以对两个或更多个时间上相关联的部分进行分类，并且由此指示所述一幅或多幅相关联的超声图像的特性。
以这种方式，能够使用所述长短期记忆获得形成所述卷积神经网络的局部时间模式以及在较长时间跨度上的模式。通过考虑这两种模式，可以建立对探头的操纵的更准确的描述，由此提高特性分类的准确性。
在一种布置中，所述操纵指示以下各项中的一项或多项：
所述超声探头相对于所述对象的位置；
所述超声探头相对于所述对象的角度；
所述超声探头相对于所述对象的取向；
由所述超声波探头施加在所述对象上的压力；
所述超声探头相对于所述对象的加速度；
所述超声探头的移动的方向；以及
所述超声波探头的移动的模式。
通过考虑这些因素中的一个或多个因素，能够在收集所述一幅或多幅超声图像时获取所述超声探头的运动的更准确的轮廓(profile)，由此提高特性识别的准确性。
在一些实施例中，上文所描述的计算机实施的方法还可以包括分割所述超声图像。
以这种方式，能够基于对所述操纵信号的分类以及由所述探头收集到的所述一幅或多幅超声图像来识别所述超声图像内的特征，诸如器官或骨骼结构。
在另外的实施例中，上文所描述的计算机实施的方法还可以包括：在每幅选择的超声图像上覆盖相应的分割的感兴趣区域。
以这种方式，可以在所述超声图像上增强所识别的感兴趣区域，由此允许所述超声系统的用户更容易地查看和研究所述区域。
根据本发明的一方面的示例，提供了一种计算机程序，所述计算机程序包括用于在所述程序在计算机上运行时实施如上文所描述的计算机实施的方法的代码模块。
根据本发明的一方面的示例，提供了一种超声图像处理系统，其适于识别超声图像的特性，其中，所述超声图像是由超声探头使用超声成像过程而成像的对象的超声图像，所述超声图像处理系统适用于：
获得指示在所述超声成像过程期间对所述超声探头的操纵(例如，空间移动)的操纵信号；
获得所述操纵信号的部分，所获得的部分指示在一时间段期间对所述超声探头的操纵，其中，所获得的部分与一幅或多幅超声图像相关联；并且
使用神经网络系统，基于所述一幅或多幅超声图像和所述操纵信号的所获得的部分两者，对所述一幅或多幅相关联的超声图像的特性进行分类。
具体地，所述超声图像处理系统适于通过以下操作对所述一幅或多幅相关联的超声图像的特性进行分类：
在所述操纵信号的所获得的部分上应用一个或多个卷积核，以生成表示所述操纵信号的所获得的部分的卷积输出；并且
对所述卷积输出进行分类，以指示与所获得的部分相关联的所述一幅或多幅超声图像的特性。
在另外的实施例中，所述超声图像处理系统适于通过以下操作对所述一幅或多幅相关联的超声图像的特性进行分类：
将所述操纵信号分割成多个部分，每个部分与相同的一幅或多幅超声图像相关联；
将一个或多个卷积核应用于所述操纵信号的每个获得的部分，以生成每个时间段的卷积输出；并且
使用长短期记忆来处理每个时间段的所述卷积输出，以对每个获得的部分进行分类。
在另一实施例中，所述超声图像处理系统适于：
获得多个操纵信号，每个操纵信号指示在所述超声成像过程期间对所述超声探头的操纵；
通过从每个操纵信号获得时间上相关联的部分来获得多个时间上相关联的部分，其中，所述多个时间上相关联的部分与相同的一幅或多幅超声图像相关联；并且
对所述多个时间上相关联的部分进行分类以指示所述一幅或多幅相关联的超声图像的特性。
优选地，所述超声图像处理系统适于通过以下操作对所述多个时间上相关联的部分进行分类：
获得表示所述多个时间上相关联的部分的二维数据结构；
将卷积核(310)应用于所述二维数据结构以生成所述二维数据结构的卷积输出；并且
对所述卷积输出进行分类以指示所述一幅或多幅相关联的超声图像的特性。
根据本发明的一方面的示例，提供了一种超声成像系统，其包括：
超声探头，其适于使用超声成像过程对对象进行成像，由此生成所述对象的一幅或多幅超声图像；
探头操纵传感器，其适于监测在所述超声成像过程期间对所述超声探头的操纵(例如，空间操纵)，并且生成指示所述操纵(例如，空间移动)的操纵信号；以及
如上文所描述的超声图像处理系统。
附图说明
现在将参考附图详细描述本发明的示例，在附图中：
图1示出了用于解释一般性操作的超声诊断成像系统；
图2示出了本发明的方法；
图3示出了在图2中所示的方法中所使用的卷积神经网络-长短期记忆的方法；并且
图4示出了在图2中所示的方法中所使用的另外的神经网络的方法。
具体实施方式
本发明提供了一种用于识别一幅或多幅超声图像的特性的方法，其中，每幅图像是由超声探头使用超声成像过程而成像的对象的图像。所述方法包括：获得指示在所述成像过程期间对所述超声探头的操纵的操纵信号。获得所述操纵信号的部分，所述部分指示在一时间段期间对所述探头的操纵。所获得的部分与一幅或多幅超声图像相关联。然后，基于所述操纵信号的所获得的部分和一幅或多幅图像本身两者，使用神经网络系统对所述一幅或多幅超声图像的特性进行分类。这样的分类包括在所述操纵信号的所获得的部分上应用一个或多个卷积核，以生成表示所述操纵信号的所获得的部分的卷积输出，并且对所述卷积输出进行分类以指示与所获得的部分相关联的一幅或多幅超声图像的特性。
首先，将参考图1来描述示例性超声诊断成像系统的一般性操作，并且重点在于所述系统的信号处理功能，因为本发明涉及对由换能器阵列测量的信号的处理。
所述系统包括阵列换能器探头10，所述阵列换能器探头具有用于发射超声波和接收回波信息的CMUT换能器阵列100。换能器阵列100可以备选地包括由诸如PZT或PVDF的材料形成的压电换能器。换能器阵列100是换能器110的二维阵列，其能够在2D平面中或者在三维中进行扫描以用于3D成像。在另一示例中，所述换能器阵列可以是1D阵列。
换能器阵列100被耦合到探头中的微波束形成器12，所述探头控制由CMUT阵列单元或压电元件对信号的接收。如在美国专利5,997,479(Savord等人)、6,013,032(Savord)和6,623,432(Powers等人)中所描述的，微波束形成器能够对由换能器的子阵列(或“组”或“拼片”)接收的信号进行至少部分波束形成。
注意，所述微波束形成器是完全任选的。下文的示例假定没有模拟波束形成。
微波束形成器12通过探头线缆被耦合到发射/接收(T/R)开关16，当不使用微波束形成器并且由主系统的波束形成器直接操作所述换能器阵列时，所述T/R开关在发射与接收之间切换并且保护主波束形成器20免受高能量发射信号。来自换能器阵列10的超声波束的发射由通过T/R开关16被耦合到所述微波束形成器的换能器控制器18和主发射波束形成器(未示出)来引导，所述主发射波束形成器从用户对用户界面或控制面板38的操作中接收输入。
由换能器控制器18控制的功能之一是波束被转向和聚焦的方向。波束可以从(垂直于)换能器阵列笔直向前转向，或者以不同的角度转向，以获得更宽的视场。换能器控制器18能够被耦合以控制针对CMUT阵列的DC偏置控件45。DC偏置控件45设置被施加到CMUT单元的(一个或多个)DC偏置电压。
在接收通道中，部分波束形成的信号是由微波束形成器12产生的，并且被耦合到主接收波束形成器20，在主接收波束形成器20中，来自换能器的个体拼片的部分波束形成的信号被组合成完全波束形成的信号。例如，主波束形成器20可以具有128个通道，所述通道中的每个通道从数十个或数百个CMUT换能器单元或压电元件的拼片接收部分波束形成的信号。以这种方式，由换能器阵列的数千个换能器接收到的信号能够有效地贡献于单个波束形成的信号。
所述波束形成的接收信号被耦合到信号处理器22。信号处理器22能够以各种方式来处理所接收到的回波信号，诸如带通滤波、抽样、I和Q分量分离以及谐波信号分离，其用于分离线性信号和非线性信号，以便使得能够识别从组织和微泡返回的非线性(基频的较高谐波)回波信号。所述信号处理器还可以执行额外的信号增强功能，诸如减少斑点、信号复合和噪声消除。所述信号处理器中的带通滤波器能够是跟踪滤波器，其中，随着从不断增加的深度接收回波信号，其通带从较高的频段滑向较低的频段，由此拒绝来自更大的深度的较高频率的噪声，其中，这些频率缺乏解剖信息。
用于发送和用于接收的波束形成器以不同的硬件实施并且能够具有不同的功能。当然，接收器波束形成器被设计为考虑了发射波束形成器的特性。为了简化，在图1中仅示出了接收器波束形成器12、20。在整个系统中，还存在发射链，其具有发射微波束形成器和主发射波束形成器。
微波束形成器12的功能是提供对信号的初始组合，以便减少模拟信号路径的数量。这通常在模拟域中执行。
最终的波束形成是在主波束形成器20中完成的，并且通常是在数字化之后。
发射和接收通道使用具有固定频带的相同换能器阵列10'。然而，发射脉冲占用的带宽能够根据已经使用的发射波束形成而变化。所述接收通道能够捕获整个换能器带宽(这是经典方案)，或者通过使用带通处理，其仅能够提取包含有用信息(例如，主谐波的谐波)的带宽。
经处理的信号被耦合到B模式(即，亮度模式或2D成像模式)处理器26和多普勒处理器28。B模式处理器26采用对接收到的超声信号的幅度的检测来对身体中的结构进行成像，诸如身体中的器官和血管的组织。身体的结构的B模式图像可以以谐波图像模式或基本图像模式或者如在美国专利6,283,919(Roundhill等人)和美国专利6,458,083(Jago等人)中所描述的这两者的组合来形成。多普勒处理器28处理来自组织移动和血流的时间上不同的信号，以用于检测诸如图像场中的血细胞流的物质的运动。多普勒处理器28通常包括壁滤波器，所述壁滤波器的参数可以被设置为通过和/或拒绝从身体中的选定类型的材料返回的回波。
由B模式和多普勒处理器产生的结构和运动信号被耦合到扫描转换器32和多平面重新格式化器44。扫描转换器32以空间关系布置所述回波信号，从中以期望的图像格式接收所述回波信号。例如，所述扫描转换器可以将所述回波信号布置为二维(2D)扇形格式或者金字塔形的三维(3D)图像。所述扫描转换器能够利用以其多普勒估计速度在图像场中各点的运动相对应的颜色来叠加B模式结构图像，以产生彩色多普勒图像，所述彩色多普勒图像描绘图像场中组织和血流的运动。如在美国专利6,443,896(Detmer)中所描述的，所述多平面重新格式器将从身体的体积区域中的公共平面中的点接收的回波转换成该平面的超声图像。体积绘制器42将3D数据集的回波信号转换为投影的3D图像，如从给定参考点所看到的，如在美国专利6,530,885(Entrekin等人)中所描述的。
2D或3D图像从扫描转换器32、多平面重新格式化器44和体积绘制器42被耦合到图像处理器30，以用于进一步增强、缓存和临时存储以用于在图像显示器40上显示。除了被用于成像之外，由多普勒处理器28产生的血流值以及由B模式处理器26产生的组织结构信息被耦合到量化处理器34。所述量化处理器产生诸如血流的体积率的不同流动条件的量度以及诸如器官的大小和胎龄的结构测量。所述量化处理器可以从用户控制面板38接收输入，诸如图像的解剖结构中要进行测量的点。来自所述量化处理器的输出数据被耦合到图形处理器36，以用于在显示器40上与图像一起再现测量图形和值，以及用于从显示设备40进行音频输出。图形处理器36还能够生成用于与超声图像一起显示的图形覆盖层。这些图形覆盖层能够包含标准识别信息，诸如患者姓名、图像的日期和时间、成像参数等。为此目的，所述图形处理器从用户界面38接收输入，诸如患者姓名。所述用户界面还被耦合到发射控制器18，以控制来自换能器阵列10’的超声信号的生成，并且因此控制由换能器阵列和超声系统产生的图像。控制器18的发送控制功能仅仅是所执行的功能之一。控制器18还考虑了操纵模式(由用户给出)以及接收器模数转换器中的对应的所需的发射器配置和带通配置。控制器18能够是具有固定状态的状态机。
所述用户界面还被耦合到多平面重新格式化器44，以用于选择和控制多个多平面重新格式化(MPR)图像的平面，其可以被用于在MPR图像的图像场中执行量化的测量。
控制器18还可以适于执行下文参考图2至图4所描述的方法的任何部分。备选地，这些方法可以由单独的控制器或者由多个控制器来执行。
图2示出了本发明的一般方法200。在第一步中，超声探头10(图1中所示的)采集一幅或多幅超声图像210作为第一输入。除了超声图像之外，在记录所述一幅或多幅超声图像时所述探头的移动也以操纵信号220的形式被记录。
操纵信号220可以是由位于探头内的多个传感器捕获的信号的集合，所述传感器诸如是：加速度计、陀螺仪和磁力计。所述操纵信号被提供给组合卷积神经网络-长短期记忆(CNN-LSTM)处理阶段230，其操作在下文参考图3进行描述。该处理阶段的输出是以下项的概要：跨与所采集一幅或多幅超声图像210相关联的时间的探头操纵模式，所述图像被馈送到另外的神经网络240中。
该另外的神经网络240(其例如可以是诸如U-Net架构的深度卷积网络)接收来自CNN-LSTM处理阶段230的操纵模式和一幅或多幅超声图像210两者。使用所述超声探头的操纵模式和相关联的超声图像两者，所述另外的神经网络对所述超声图像执行图像分割以产生具有一个或多个分类特征260的分割的超声图像250。该系统的神经网络230和240可以包括卷积神经网络和递归神经网络两者，其适于组合图像和操纵信号数据模态。
换言之，除了超声图像信号之外，超声探头操纵和/或取向信号还被用于图像分割和/或图像特征分类。使用探头操纵传感器信号来额外地调节通常用于图像分割的神经网络架构，诸如U-Net和编码器-解码器网络。所述系统可以适于根据所述超声系统的应用来产生以期望的帧速率输出的分割的图像250。除了产生分割的超声图像之外，另外的神经网络240还可以适于基于所述一幅或多幅超声图像和所述探头操纵信号来生成生物特征测量。
图3示出了用于处理探头操纵信号的示例性CNN-LSTM架构300。
所述超声探头在图像采集期间的取向和操作影响超声图像的质量和解释。例如，可能在不改变监测器位置的情况下旋转超声探头，这可以在对器官或胎儿的取向的解读时造成混乱。超声医师通常使用探头上的取向标记并且将其与超声系统的显示器40上的标记进行比较，以确定图像的正确取向。为了对超声图像的自动分割，所述超声系统还需要确定超声图像的取向，以便其能够更容易地识别在屏幕上的给定位置中期望哪些特征(诸如器官)。
这样，探头操纵是产生高质量超声图像的重要考虑因素。存在探头操纵的若干种已知的定义，诸如：滑动；摇动；扫掠；摆动；压力/挤压；旋转；倾斜；以及对齐。能够训练CNN-LSTM网络以识别这些运动，并且使其组合与特定探头取向上的特定特征(诸如胎儿的器官)相关联。
图3示出了探头操纵信号(t1，t2，…，tN)的集合，每个探头操纵信号表示给定时间窗口期间对探头的操纵。在时间窗口内的所述探头操纵信号被称为所述探头操纵信号的部分。时间窗口的长度以及因此所述信号部分的大小取决于超声系统的所需的帧速率而变化。
所述操纵信号部分中的每个操纵信号部分通过CNN的方式由一维卷积核310来处理。所述卷积核捕获所述探头操纵信号部分内的局部时间模式320。然而，这些局部时间模式可能不足以表示在超声图像的采集期间对探头的完全操纵。因此，可能需要长期时间模式来完全地描述所述超声探头的运动。
然后，可以将局部时间模式320提供给LSTM 330，LSTM 330建立所述探头操纵信号部分的长期时间模式。以这种方式，所述LSTM可以以比所述操纵信号部分的时间跨度更长的时间跨度来检测探头操纵信号中的模式。CNN和LSTM一起捕获了短期模式和长期模式，其准确地表示超声医师的探头操纵操作。将所述LSTM的输出340整形并且作为特征图馈送到U-Net架构240，以在一幅或多幅超声图像210的分割中使用。
举例来说，可能存在9个传感器信号，包括：3个加速度计信号；3个陀螺仪信号；以及3个磁力计信号。在这种情况下，9个探头信号构成来自九个通道的时间序列数据。以矩阵形式，所述时间序列数据的格式为C×N，其中，C为输入通道的数量，并且N为时间序列数据的长度，即：样本的总数量。为了准备用于通过CNN和LSTM的方式进行模式识别的时间序列数据，所述时间序列数据被分成一系列重叠的操纵信号部分，每个部分的长度为M，其中，重叠大小可以达到M/2。形状为C×M的每个操纵信号部分都利用一维卷积和池化(也被称为下采样)层进行了处理。
进一步以该示例为例，诸如加速度计、陀螺仪和/或磁力计的超声探头操纵传感器能够以每秒60个样本的速率来提供操纵信号。以1秒作为操纵信号部分的大小，将一维卷积和池化层应用于这些1秒的段。应当注意的是，这些段彼此重叠了30个样本或半秒。下文的表1和表2分别示出了用于使用CNN和LSTM来处理这些1秒的段的示例网络架构的详细信息。
层 Conv1 Pool1 Conv2 Pool2 Conv3 Pool3
大小 5 2 3 2 3 4
步幅 2 2 1 2 1 4
滤波器 64 - 128 - 256 -
输入形状 60x9 28x64 14x64 12x128 6x256 4x256
输出形状 28x64 14x64 12x64 6x128 4x256 256
表1：包含三个一维卷积层(Conv1、Conv2和Conv3)和三个池化层(Pool1、Pool2和 Pool3)的CNN模型
该模型处理一秒的操纵信号部分，所述操纵信号部分采用60×9数据矩阵的形式。在卷积层(例如Conv1)中，滤波器用于在滤波器矩阵中的值(被称为权重)与输入数据的值之间执行逐元素相乘。滤波器的大小控制输入数据的哪些值要进行该逐元素相乘。在Conv1的情况下，所述滤波器是一维的，并且长度为5。然后，将各种相乘的结果求和并且通过逐元素非线性函数，诸如整流线性单位(ReLU)和S形(这些被称为激活函数)，以产生输出矩阵的第一数据点。然后，所述滤波器跨所述输入数据矩阵移动给定的量(被称为步幅)，并且重复逐元素相乘，由此生成所述输出矩阵的第二数据点。重复该过程，直到所述滤波器已经处理了输入数据矩阵中的每个可能位置。
该示例因此针对输入矩阵的每行在输出矩阵中得到28个数据点。
举例来说，所述操纵传感器可以每秒产生60个样本，并且每个样本具有9个数字。在1秒的部分中，将生成60×9的数据矩阵，并且该数据将通过具有64个滤波器的Conv1运行，以创建形状为28×64的数据。然后，该数据被馈送到网络的后续层。
由于时间可能会运行非常长的时间，并且不能够长时间有效地处理数据，因此仅分析了样本的部分。在这种情况下，将1秒样本用于识别局部模式，并且针对具有长期依赖性的模式，使用更长的时间段，诸如10秒。决策频率也可以根据应用来选择。例如，可以使用数据的最后10秒每秒做出决定。
所述池化层用于对卷积层的输出进行下采样，由此降低了操作CNN所需的处理能力。另外，所述池化层用于减少当训练所述神经网络时的过拟合的问题。
该CNN模型的最终输出是针对每个操纵信号部分的256点一维向量。这些256个向量中的若干个向量的序列形成了被馈送给LSTM 330的本地时间模式320。
层 LSTM LSTM 完全连接
滤波器 64 64 65536＝(256*256)
输入形状 (任意,256) <sub>(</sub>任意,64) 64
输出形状 (任意,64) 64 (256,256,1)
表2：包括两个LSTM层和一个密集层的LSTM网络模型
LSTM是一种类型的递归神经网络，其能够学习长期依赖性并且识别长期模式。下文参考上文所描述的一个特定示例概述了递归神经网络功能的一般方式。
在该示例中，256个向量的序列能够一起形成具有长期依赖性的模式。对于探头操纵，所述长期模式能够跨10秒。对于10秒的探头操纵，将存在20个段(假设有1秒长的段和半秒的重叠)。这意味着对LSTM子网的输入是20×256矩阵(表示10秒的探头操纵)。
然后，所述LSTM子网将20×256数据矩阵作为输入。其具有两个LSTM层，每个LSTM层具有64个滤波器。第一LSTM层采用20×256矩阵并且处理每个段向量，并且产生大小为64的输出向量。所述处理是逐段顺序地实施的。
当处理每个段向量时，所述LSTM还使用其来自先前段向量的输出的副本(当然，对于第一段，需要定义起始条件，诸如将先前的输出设置为零)。在先前段处的输出用作LSTM的存储器，并且当为当前输入产生输出时被使用。
在序列的结束处，第一LSTM层的输出是20×64数据矩阵。现在，20×64输出是对第二LSTM层的输入，其执行与第一LSTM层相同的功能，除了两个不同之处：(i)所述输入现在是20×64数据矩阵，而不是20×256数据矩阵；并且(ii)仅保留最后一个段的输出，因为最后一个输出向量是序列中的所有段的组合结果(递归地实现)。
在第二LSTM层和最终LSTM层之后，存在密集层，其连接权重确保了能够将最终LSTM的64向量输出重塑为看起来像图像信号(在此示例中为256×256×1)。该输出具有特征图的形状，并且被馈送到U-Net架构的最后卷积层，如在图4中所示的(下文所描述的)。
最后的卷积层是决策所在的位置，并且通过将经处理的探头信息放入在最后的卷积层中，所述探头信息能够尽可能直接地影响网络的决策制定过程。
图4示出了用于处理一幅或多幅超声图像210和CNN-LSTM架构300的输出两者的扩展的U-Net架构400。标准U-Net架构(其在医学图像分割的领域中是已知的)通常摄取图像并且产生具有相同分辨率的分割的输出图像。
所述U-Net架构是一种形式的卷积神经网络，并且功能在操作410的第一部分中与上文所描述的CNN模型在很大程度上相似。该第一部分涉及将所述一幅或多幅超声图像通过一系列卷积和池化层，其中，所述输入数据矩阵包括图像的像素值。
所述U-Net架构还包括一系列的上采样层420，其中，较早的层输出(被示为白框)在被传递到后续层之前与上采样的层相连接。在最后的上采样层之后并且在最后的卷积层之前，来自CNN-LSTM 340的输出将被重塑为特征图，并且在深度上与最终的上采样层的特征图进行级联。下文在表3中使用形状为(256,256,1)的示例输入图像示出了U-Net架构的详细示例，其中，conv2d_N表示第N卷积层，并且average_pooling2d_N表示第N池化层。另外，concatenate_N表示将较早的层输出与上采样的层组合在一起的第N串联层。在执行图像分割或分类之前，将U-Net的最后输入层与CNN-LSTM输出相组合。备选地，可以在工作流程中更早地将CNN-LSTM输出引入U-Net网络。原则上，也能够放置另一CNN-LSTM层，其输出被连接到U-Net架构的早期阶段。
Figure BDA0002668843340000181
表3：针对形状为(256,256,1)的输入图像的U-Net神经网络架构
因此，能够以各种方式组合来自探头操纵和来自US图像的信息的融合：在最后的层(如在上文的示例中)或者在较早的层。可以使用专门用于早期和晚期融合的相应子网在早期和晚期层两者处进行融合。
表3所呈现的架构当然仅仅是为了完整起见而呈现的示例，而并不旨在进行限制。
然后，所述系统可以基于U-Net架构400的最终层430的输出来执行三项功能之一。这些功能是：标准视图检测、图像分割和生物特征测量。
在标准视图检测的情况下，所述系统可以被用于自动地检测临床超声图像中通常采集的标准图像视图。例如，英国的胎儿异常筛查程序要求保存12幅标准视图。所述系统可以自然地基于一幅或多幅超声图像和探头操纵信号来检测标准扫描平面。所述标准视图通常对应于图像视图，在所述图像视图中，在超声医师使用探头操纵的预定义协议已经将探头正确地放置之后，将探头保持静止一时间段。超声医师的探头操纵信号提供关于哪些图像是标准图像或良好视图的有价值的信息。
在图像分割的情况下，能够从检测到的标准或所需的超声视图中分割出对象的解剖结构。例如，当所述超声系统被用于扫描胎儿时，头部、手、腹部、腿和其他类似的器官结构能够被识别并且这样标记。所述分割可以被用于增强所述图像并且对胎儿进行着色以使其具有更容易识别的外观。所述分割还可以用于自动乳腺癌检测和分类或超声神经分割。
在生物特征测量的情况下，可以使用系统的分段输出自动地进行生物特征测量，并且然后可以将其用于检测异常并监测例如胎儿的生长。还能够训练神经网络以从所述系统产生这些测量值以及分段输出。针对分段和回归(生物测量)的网络架构的联合训练迫使所述网络产生相互支持的分段和回归。
可以根据一组预先标注了解剖结构的超声图像(并且如果可用的话，还包括生物测量)来训练所述系统。
通过研究附图、公开内容和随附的权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开的实施例的其他变型。在权利要求中，单词“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。在互不相同的从属权利要求中记载某些措施的事实并不表示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应当被解释为限制范围。

Claims (15)

1.一种识别一幅或多幅超声图像(210)的特性(260)的计算机实施的方法，其中，每幅超声图像是由超声探头(10)使用超声成像过程而成像的对象的超声图像，所述方法包括：
获得指示在所述超声成像过程期间对所述超声探头的操纵的操纵信号(220)；
获得所述操纵信号(tn)的部分，所获得的部分指示在一时间段期间对所述超声探头的所述操纵，其中，所获得的部分与一幅或多幅超声图像相关联；并且
使用神经网络系统(200)，基于所述一幅或多幅超声图像和所述操纵信号的所获得的部分这两者对一幅或多幅相关联的超声图像的特性进行分类，
其中，对所述一幅或多幅相关联的超声图像的所述特性进行分类包括：在所述操纵信号的所获得的部分上应用一个或多个卷积核(310)，以生成表示所述操纵信号的所获得的部分的卷积输出；并且对所述卷积输出(320)进行分类以指示与所获得的部分相关联的所述一幅或多幅超声图像的所述特性。
2.根据权利要求1所述的计算机实施的方法，其中，对所述一幅或多幅相关联的超声图像的所述特性进行分类的步骤包括：
a)对所述操纵信号的所获得的部分是否与以下各项中的一项相关联进行分类：
高质量超声图像；
所述对象的预定视图的超声图像；以及
在相关联的一幅或多幅超声图像中所述对象的一个或多个预定感兴趣区域的存在；并且
b)借助于将对所获得的部分的所述分类分配为所述一幅或多幅相关联的超声图像的所述特性来识别所述一幅或多幅相关联的超声图像的所述特性。
3.根据权利要求1或2所述的计算机实施的方法，其中，对所述一幅或多幅相关联的超声图像的所述特性进行分类的步骤包括：
将所述操纵信号分割成多个部分，每个部分与相同的一幅或多幅超声图像相关联；
将一个或多个卷积核(310)应用于所述操纵信号的每个获得的部分，以生成每个时间段的卷积输出；并且
使用长短期记忆来处理每个时间段的所述卷积输出，以对每个获得的部分进行分类。
4.根据任一前述权利要求所述的计算机实施的方法，其中：
获得操纵信号的步骤包括：获得多个操纵信号，每个操纵信号指示在所述超声成像过程期间对所述超声探头的操纵；
获得所述操纵信号的部分的步骤包括：通过从每个操纵信号获得时间上相关联的部分来获得多个时间上相关联的部分，其中，所述多个时间上相关联的部分与相同的一幅或多幅超声图像相关联；并且
对所述一幅或多幅相关联的超声图像的所述特性进行分类的步骤包括：对所述多个时间上相关联的部分进行分类，以指示所述一幅或多幅相关联的超声图像的特性。
5.根据权利要求4所述的计算机实施的方法，其中，对所述多个时间上相关联的部分进行分类包括：
获得表示所述多个时间上相关联的部分的二维数据结构；
将卷积核(310)应用于所述二维数据结构以生成所述二维数据结构的卷积输出；并且
对所述卷积输出进行分类以指示所述一幅或多幅相关联的超声图像的特性。
6.根据权利要求5所述的计算机实施的方法，其中：
获得所述操纵信号的部分的步骤包括：获得所述操纵信号的两个或更多个时间上相关联的部分，其中，所述多个时间上相关联的部分中的每个时间上相关联的部分与相同的一幅或多幅超声图像相关联；并且
对所述一幅或多幅相关联的超声图像的所述特性进行分类的步骤包括：
a)获得多个二维数据结构，每个数据结构表示不同的多个时间上相关联的部分；
b)将卷积核(310)应用于每个二维数据结构以生成相应的多个卷积输出；并且
c)使用长短期记忆(330)来处理所述多个卷积输出(320)，以对所述两个或更多个时间上相关联的部分进行分类，并且由此指示所述一幅或多幅相关联的超声图像的特性。
7.根据任一前述权利要求所述的计算机实施的方法，其中，所述操纵信号(220)指示以下各项中的一项或多项：
所述超声探头相对于所述对象的位置；
所述超声探头相对于所述对象的角度；
所述超声探头相对于所述对象的取向；
由所述超声波探头施加在所述对象上的压力；
所述超声探头相对于所述对象的加速度；
所述超声探头的移动的方向；以及
所述超声波探头的移动的模式。
8.根据任一前述权利要求所述的计算机实施的方法，还包括分割所述超声图像。
9.根据权利要求8所述的计算机实施的方法，还包括在每幅选择的超声图像上覆盖相应的分割的感兴趣区域。
10.一种包括代码模块的计算机程序，当所述程序在计算机上被运行时，所述代码模块用于实施根据权利要求1至9中的任一项所述的计算机实施的方法。
11.一种适于识别一幅或多幅超声图像(210)的特性(260)的超声图像处理系统，其中，所述超声图像是由超声探头(10)使用超声成像过程而成像的对象的超声图像，所述超声图像处理系统适于：
获得指示在所述超声成像过程期间对所述超声探头的操纵的操纵信号(220)；
获得所述操纵信号(tn)的部分，所获得的部分指示在一时间段期间对所述超声探头的操纵，其中，所获得的部分与一幅或多幅超声图像相关联；并且
使用神经网络系统(200)，基于所述一幅或多幅超声图像和所述操纵信号的所获得的部分这两者对一幅或多幅相关联的超声图像的特性进行分类，
其中，所述超声图像处理系统适于通过以下操作对所述一幅或多幅相关联的超声图像的所述特性进行分类：通过在所述操纵信号的所获得的部分上应用一个或多个卷积核(310)以生成表示所述操纵信号的所获得的部分的卷积输出，并且对所述卷积输出(320)进行分类以指示与所获得的部分相关联的所述一幅或多幅超声图像的所述特性。
12.根据权利要求11所述的超声图像处理系统，其中，所述超声图像处理系统适于通过以下操作对所述一幅或多幅相关联的超声图像的所述特性进行分类：
将所述操纵信号分割成多个部分，每个部分与相同的一幅或多幅超声图像相关联；
将一个或多个卷积核(310)应用于所述操纵信号的每个获得的部分，以生成每个时间段的卷积输出；并且
使用长短期记忆(330)来处理每个时间段的所述卷积输出(320)以对每个获得的部分进行分类。
13.根据权利要求11或12所述的超声图像处理系统，其中，所述超声图像处理系统还适于：
获得多个操纵信号，每个操纵信号指示在所述超声成像过程期间对所述超声探头的操纵；
通过从每个操纵信号获得时间上相关联的部分来获得多个时间上相关联的部分，其中，所述多个时间上相关联的部分与相同的一幅或多幅超声图像相关联；并且
对所述多个时间上相关联的部分进行分类以指示所述一幅或多幅相关联的超声图像的特性。
14.根据权利要求13所述的超声图像处理系统，其中，所述超声图像处理系统适于通过以下操作对所述多个时间上相关联的部分进行分类：
获得表示所述多个时间上相关联的部分的二维数据结构；
将卷积核(310)应用于所述二维数据结构以生成所述二维数据结构的卷积输出；并且
对所述卷积输出进行分类以指示所述一幅或多幅相关联的超声图像的特性。
15.一种超声成像系统，包括：
超声探头(10)，其适于使用超声成像过程对对象进行成像，以由此生成所述对象的一幅或多幅超声图像；
探头操纵传感器，其适于监测在所述超声成像过程期间对所述超声探头的操纵并且生成指示所述操纵的操纵信号；以及
根据权利要求11至14中的任一项所述的超声图像处理系统。
CN201980017547.3A 2018-03-08 2019-03-04 识别超声图像的特性的系统和方法 Pending CN111885964A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18160635.1A EP3536245A1 (en) 2018-03-08 2018-03-08 A system and method of identifying characteristics of ultrasound images
EP18160635.1 2018-03-08
PCT/EP2019/055256 WO2019170573A1 (en) 2018-03-08 2019-03-04 A system and method of identifying characteristics of ultrasound images

Publications (1)

Publication Number Publication Date
CN111885964A true CN111885964A (zh) 2020-11-03

Family

ID=61599017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017547.3A Pending CN111885964A (zh) 2018-03-08 2019-03-04 识别超声图像的特性的系统和方法

Country Status (5)

Country Link
US (1) US11490877B2 (zh)
EP (2) EP3536245A1 (zh)
JP (1) JP6935020B2 (zh)
CN (1) CN111885964A (zh)
WO (1) WO2019170573A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11638569B2 (en) 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
WO2020036968A1 (en) * 2018-08-13 2020-02-20 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time localization of needles in ultrasound images
CN110491502B (zh) * 2019-03-08 2021-03-16 腾讯科技（深圳）有限公司 显微镜视频流处理方法、系统、计算机设备和存储介质
CN110459324B (zh) * 2019-06-27 2023-05-23 平安科技（深圳）有限公司 基于长短期记忆模型的疾病预测方法、装置和计算机设备
US20210056357A1 (en) * 2019-08-19 2021-02-25 Board Of Trustees Of Michigan State University Systems and methods for implementing flexible, input-adaptive deep learning neural networks
CN111223092A (zh) * 2020-02-28 2020-06-02 长沙大端信息科技有限公司 胎儿超声切面图像自动质控系统及检测方法
CN111326256B (zh) * 2020-02-28 2023-12-29 李胜利 胎儿超声标准切面图像智能识别自我训练学习系统及考试方法
US11532084B2 (en) 2020-05-11 2022-12-20 EchoNous, Inc. Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification
US11523801B2 (en) * 2020-05-11 2022-12-13 EchoNous, Inc. Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
US11819363B2 (en) * 2020-09-01 2023-11-21 GE Precision Healthcare LLC Systems and methods to improve resolution of ultrasound images with a neural network
US11636593B2 (en) 2020-11-06 2023-04-25 EchoNous, Inc. Robust segmentation through high-level image understanding
US20230125779A1 (en) * 2021-10-25 2023-04-27 EchoNous, Inc. Automatic depth selection for ultrasound imaging
CN117272118B (zh) * 2023-11-17 2024-02-13 成都天奥集团有限公司 一种t/r组件健康状态预测方法、系统、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006271A1 (en) * 2002-07-03 2004-01-08 Polina Golland Methods and systems for construction of ultrasound images
WO2006138185A2 (en) * 2005-06-13 2006-12-28 Spentech, Inc. Medical doppler ultrasound system for locating and tracking blood flow
CN103565473A (zh) * 2012-07-27 2014-02-12 三星电子株式会社 图像处理模块和图像处理方法
EP2827172A1 (en) * 2013-07-19 2015-01-21 Samsung Electronics Co., Ltd Ultrasonic imaging apparatus and control method thereof
US20150256761A1 (en) * 2014-03-10 2015-09-10 Canon Kabushiki Kaisha Object information acquiring apparatus and signal processing method
US20160048737A1 (en) * 2014-08-14 2016-02-18 Samsung Electronics Co., Ltd. Apparatus and method for adaptive computer-aided diagnosis
CN105530871A (zh) * 2013-09-11 2016-04-27 波士顿科学国际有限公司 使用血管内超声成像系统选择和显示图像的系统和方法
US20160155227A1 (en) * 2014-11-28 2016-06-02 Samsung Electronics Co., Ltd. Computer-aided diagnostic apparatus and method based on diagnostic intention of user
WO2017211774A1 (en) * 2016-06-06 2017-12-14 Koninklijke Philips N.V. Medical ultrasound image processing device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6283919B1 (en) 1996-11-26 2001-09-04 Atl Ultrasound Ultrasonic diagnostic imaging with blended tissue harmonic signals
US6458083B1 (en) 1996-11-26 2002-10-01 Koninklijke Philips Electronics N.V. Ultrasonic harmonic imaging with adaptive image formation
US6013032A (en) 1998-03-13 2000-01-11 Hewlett-Packard Company Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array
US5997479A (en) 1998-05-28 1999-12-07 Hewlett-Packard Company Phased array acoustic systems with intra-group processors
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US6468216B1 (en) 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
US9918701B2 (en) 2014-09-03 2018-03-20 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects
WO2017151757A1 (en) 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation
AU2017230722B2 (en) * 2016-03-09 2022-08-11 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
US20180055483A1 (en) * 2016-08-26 2018-03-01 yoR Labs, Inc. Methods and Systems for Ultrasound Controls
EP3424434A1 (en) * 2017-07-07 2019-01-09 Koninklijke Philips N.V. Method and device for processing ultrasound signal data
EP3826544B1 (en) * 2018-07-26 2024-06-05 Koninklijke Philips N.V. Ultrasound system with an artificial neural network for guided liver imaging
US11064977B2 (en) * 2019-01-04 2021-07-20 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Preset free imaging for ultrasound device
US11532084B2 (en) * 2020-05-11 2022-12-20 EchoNous, Inc. Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006271A1 (en) * 2002-07-03 2004-01-08 Polina Golland Methods and systems for construction of ultrasound images
WO2006138185A2 (en) * 2005-06-13 2006-12-28 Spentech, Inc. Medical doppler ultrasound system for locating and tracking blood flow
CN103565473A (zh) * 2012-07-27 2014-02-12 三星电子株式会社 图像处理模块和图像处理方法
EP2827172A1 (en) * 2013-07-19 2015-01-21 Samsung Electronics Co., Ltd Ultrasonic imaging apparatus and control method thereof
CN105530871A (zh) * 2013-09-11 2016-04-27 波士顿科学国际有限公司 使用血管内超声成像系统选择和显示图像的系统和方法
US20150256761A1 (en) * 2014-03-10 2015-09-10 Canon Kabushiki Kaisha Object information acquiring apparatus and signal processing method
US20160048737A1 (en) * 2014-08-14 2016-02-18 Samsung Electronics Co., Ltd. Apparatus and method for adaptive computer-aided diagnosis
US20160155227A1 (en) * 2014-11-28 2016-06-02 Samsung Electronics Co., Ltd. Computer-aided diagnostic apparatus and method based on diagnostic intention of user
WO2017211774A1 (en) * 2016-06-06 2017-12-14 Koninklijke Philips N.V. Medical ultrasound image processing device

Also Published As

Publication number Publication date
WO2019170573A1 (en) 2019-09-12
US20210068791A1 (en) 2021-03-11
EP3761881A1 (en) 2021-01-13
JP6935020B2 (ja) 2021-09-15
EP3536245A1 (en) 2019-09-11
EP3761881B1 (en) 2021-10-06
US11490877B2 (en) 2022-11-08
JP2021516105A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
EP3761881B1 (en) A system and method of identifying characteristics of ultrasound images
JP6839328B2 (ja) 胎児超音波画像処理
JP7240405B2 (ja) 超音波画像から解剖学的測定値を取得するための装置及び方法
CN101896123A (zh) 具有使用响应于所采集图像数据的反馈的微调及定位控制的机器人超声系统
US20200015777A1 (en) Fetal ultrasound imaging
CN112654304A (zh) 利用超声成像的脂肪层识别
CN112867444B (zh) 用于引导对超声图像的采集的系统和方法
CN112839590A (zh) 用于确定补充超声视图的方法和系统
EP3506832B1 (en) Ultrasound diagnosis apparatus
CN112672695A (zh) 用于执行胎儿重量估计的方法和系统
CN110799852A (zh) 超声成像方法和系统
EP4006832A1 (en) Predicting a likelihood that an individual has one or more lesions
CN115996673A (zh) 用于根据超声数据来识别脉管的系统和方法
CN112672696A (zh) 用于跟踪超声图像中的工具的系统和方法
CN114846510A (zh) 根据多个不同地扰动的基于模型的解剖图像分割的节点变化来生成分割置信度图

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination