CN114760929A - 用于获得医学超声图像的系统和方法 - Google Patents

用于获得医学超声图像的系统和方法 Download PDF

Info

Publication number
CN114760929A
CN114760929A CN202080080668.5A CN202080080668A CN114760929A CN 114760929 A CN114760929 A CN 114760929A CN 202080080668 A CN202080080668 A CN 202080080668A CN 114760929 A CN114760929 A CN 114760929A
Authority
CN
China
Prior art keywords
image
processor
ultrasound
images
indication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080080668.5A
Other languages
English (en)
Inventor
S·巴拉特
C·埃里克
谢华
G·C-H·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114760929A publication Critical patent/CN114760929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种用于获得对象的医学超声图像的系统包括：探头，其包括超声换能器，所述超声换能器用于捕获超声图像；存储器，其包括指令数据，所述指令数据表示一组指令；以及处理器，其被配置为与所述存储器通信并运行所述一组指令。所述一组指令在由所述处理器运行时使所述处理器：接收由所述探头获取的超声图像；提供所述图像作为针对经训练的模型的输入；从所述模型接收关于所述图像是否包括与医学诊断过程相关的图像的指示；并且基于接收到的指示来确定是否要给所述图像加上书签。

Description

用于获得医学超声图像的系统和方法
技术领域
本文中的公开内容涉及超声成像。特别地，但非排他性地，本文中的公开内容涉及用于记录超声图像的系统和方法。
背景技术
超声成像用于一定范围的医学应用，例如，乳房组织检查和胎儿监测。医学超声成像涉及移动包括超声换能器的探头，该探头在皮肤上产生高频声波。该高频声波穿过组织并从内部表面(例如，组织边界)反射回来。检测反射波并使用该反射波来建立感兴趣的内部结构的图像。
超声成像能够用于创建二维或三维图像。在典型的工作流程中，用户(例如，超声医师、放射科医生、临床医生或其他医学专家)可以使用二维成像来定位感兴趣的解剖特征。一旦在二维中定位出该特征，用户就可以激活三维模式以获取三维图像。
本文中的实施例的目的是改进这种方法。
发明内容
在典型的工作流程中，超声医师可以对对象进行超声检查。超声医师给他们认为相关的图像和视频(例如，观察到病理状况的图像或针对解剖测量的标准视图)加上书签/保存这些图像和视频。该系统可以保存这种加上书签的图像以供更有经验的放射科医生审查，该更有经验的放射科医生然后将完成医学诊断过程(例如，诊断特定疾病或进行特定测量)。因此，放射科医生在稍后审查图像时依靠超声医师的采集结果。如果超声医师犯错而没有保存(一幅或多幅)相关图像(例如，小肿瘤)，则可能导致不能完成诊断或产生假阴性诊断。如果放射科医生认为有必要，则可能必须召回对象并重新扫描对象。这会使效率低下，浪费时间和资源，并且导致更高的医学费用。因此，希望改进这种方法。
因此，根据本文中的第一方面，存在一种用于获得对象的医学超声图像的系统。所述系统包括：探头，其包括超声换能器，所述超声换能器用于捕获超声图像；存储器，其包括指令数据，所述指令数据表示一组指令；以及处理器，其被配置为与所述存储器通信并运行所述一组指令。所述一组指令在由所述处理器运行时使所述处理器：接收由所述探头获取的超声图像；提供所述图像作为针对经训练的模型的输入；从所述模型接收关于所述图像是否包括与医学诊断过程相关的图像的指示；并且基于接收到的指示来确定是否要给所述图像加上书签。
因此，根据这种方法，可以使用模型来确定每个超声图像帧的相关性，从而更好地确保所有与医学诊断过程相关的图像帧都被加上书签并被保存。以这种方式，超声医师可能遗漏的相关图像较少，从而改善了放射科医生可用于患者诊断的数据集，进而改善了患者护理。此外，如果诊断的准确度提高并且需要召回患者以进行重复检查的情况较少，则这将有助于提高生产率。
根据第二方面，存在一种用于获得医学超声图像的方法。所述方法包括：接收超声图像；提供所述图像作为针对经训练的模型的输入；从所述模型接收关于所述图像是否包括与医学诊断过程相关的图像的指示；并且基于接收到的指示来确定是否要给所述图像加上书签。
根据第三方面，存在一种训练机器学习模型以预测图像是否包括与医学诊断过程相关的图像的方法。所述方法包括：向所述机器学习模型提供训练数据，所述训练数据包括：i)示例超声图像；以及ii)对应的真实情况标签；其中，所述真实情况标签指示所述图像是否包括与所述医学诊断过程相关的图像。所述方法还包括基于所述训练数据来训练所述机器学习模型以预测新的尚未看到的图像是否包括与所述医学诊断过程相关的图像。
根据第四方面，存在一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有体现在其中的计算机可读代码，所述计算机可读代码被配置为使得在由合适的计算机或处理器运行时使所述计算机或处理器执行第二方面或第三方面的方法。
附图说明
为了更好地理解并更清楚地示出如何将本文中的实施例付诸实践，现在将仅通过示例的方式参考附图，在附图中：
图1图示了根据本文中的一些实施例的示例系统；
图2图示了根据本文中的一些实施例的示例方法；
图3图示了根据本文中的一些实施例的示例方法；
图4图示了根据本文中的一些实施例的示例方法；
图5a、图5b和图5c图示了根据本文中的一些实施例的示例显示；
图6图示了根据本文中的一些实施例的示例系统；并且
图7图示了根据本文中的一些实施例的示例方法。
具体实施方式
由于在超声检查中获得的超声数据的量和细节，通常并不希望保存在检查中获得的所有图像，或者保存在检查中获得的所有图像是不切实际的。因此，超声医师通常在检查中对特定图像加上书签(例如，用于保存的标志)。然后保存加上书签的图像并使放射科医生在后来的日期可以获得这种图像以进行审查。如上所述，本文中的公开内容的目标是提供改进的工作流程来获得对象的医学超声图像，以便确保所有与医学诊断过程或流程相关的图像都被捕获到并且因此放射科医生可以获得这些图像以进行审查。这可以有助于改善对患者的诊断并提高医院的生产率。
图1图示了根据本文中的一些实施例的用于记录超声图像的系统(例如，装置)100。系统100用于记录(例如采集或获取)超声图像。系统100可以包括医学设备(例如，超声系统)或者是医学设备的部分。
参考图1，系统100包括处理器102，处理器102控制系统100的操作并且能够实施本文所述的方法。处理器102能够包括被配置或编程为以本文所述的方式控制系统100的一个或多个处理器、处理单元、多核处理器或模块。在特定的实施方式中，处理器102能够包括多个软件模块和/或硬件模块，这些软件模块和/或硬件模块中的每个都被配置为执行或用于执行本文所述的方法的个体步骤或多个步骤。
在一些实施例中，如图1所示，系统100还可以包括存储器104，存储器104被配置为存储程序代码，该程序代码能够由处理器102运行以执行本文所述的方法。额外地或额外地，一个或多个存储器104可以在系统100外部(即，与系统100分开或者远离系统100)。例如，一个或多个存储器104可以是另一设备的部分。存储器106能够用于存储由系统100的处理器102采集或做出的或来自在系统100外部的任何接口、存储器或设备的图像、信息、数据、信号和测量结果。
在一些实施例中，如图1所示，系统100还可以包括用于捕获超声图像的换能器108。替代地或额外地，系统100可以(例如经由有线连接或无线连接)接收使用在系统100外部的超声换能器获取的超声图像的数据流。
换能器可以包括多个换能器元件。这种换能器元件可以被布置为形成换能器元件的阵列。换能器可以被包括在诸如能够由用户(例如，超声医师、放射科医生或其他临床医生)握持的手持式探头之类的探头中并且在患者的皮肤上移动。技术人员将熟悉超声成像的原理，但是简而言之，超声换能器包括既能够用于生成声波又能够用于检测/接收声波的压电晶体。超声换能器产生的超声波传入患者的身体并且从下面的组织结构反射回来。反射波(例如，回波)被换能器检测到并被计算机编译(处理)以产生下面的解剖结构的超声图像(也被称为声波图)。
在一些实施例中，换能器可以包括可以询问体积空间的矩阵换能器。
在一些实施例中，如图1所示，系统100也可以包括至少一个用户接口，例如，用户显示器106。处理器102可以被配置为控制用户显示器106以显示或绘制例如接收到的数据流或超声图像的部分和/或针对用户的警报。用户显示器106可以包括(例如平板电脑或智能手机上的)触摸屏或应用、显示屏、图形用户接口(GUI)或其他视觉绘制部件。
替代地或额外地，至少一个用户显示器106可以在系统100外部(即，与系统100分开或者远离系统100)外部。例如，至少一个用户显示器106可以是另一设备的部分。在这种实施例中，处理器102可以被配置为(例如经由无线连接或有线连接)向在系统100外部的用户显示器106发送指令，以便触发(例如引起或启动)外部用户显示器显示针对用户的警报以指示感兴趣特征在用户的视场内。
将意识到，图1仅示出了图示本公开内容的这一方面所要求的部件，而在实际的实施方式中，系统100还可以包括与所示部件不同的额外部件。例如，系统100可以包括用于将系统100连接到主电源的电池或其他单元。在一些实施例中，如图1所示，系统100还可以包括通信接口(或电路)108，通信接口(或电路)108用于使得系统100能够例如通过有线网络或无线网络与在系统100内部或外部的任何接口、存储器和设备进行通信。
简而言之，处理器102被配置为：接收由探头中的换能器108获取的超声图像，提供该图像作为针对经训练的模型的输入，从该模型中接收关于该图像是否包括与医学诊断过程相关的图像的指示，并且基于接收到的指示来确定是否要给该图像加上书签。
如将在下文中详细描述的，本文中的实施例使用模型(例如，深度学习模型(例如，神经网络))来确定哪些超声图像或视图与正在进行的医学检查相关。然后可以保存该模型认为相关的(除了由用户/超声医师标记为相关的任何图像以外的)图像。通过自动保存用户可能已经遗漏的相关图像，增强了手动保存的超声图像集合。在训练阶段，这种深度学习系统能够从在由技术高超的超声医师/临床医生采集并标示为相关或不相关的乳房图像数据上的训练来学习图像“相关性”。也如将在下文中所讨论的，可以将探头位置作为任选的输入参数而添加到模型以进一步增强图像分类过程。本文所述的一些实施例还向用户提供显示相关图像及其在身体中的位置的方法，以例如提高用户在后续的检查中找到可疑的组织部分的能力。以这种方式训练和使用模型提供了改进的工作流程以确保改进的图像捕获和改善的后续诊断和患者护理。
更详细地，在本文中，引用对象来指代对其进行超声成像的患者或其他人。引用的用户可以包括诸如临床医生、医生、超声医师、医学专业人员或任何其他进行超声检查的用户之类的人。
通常，当进行超声检查时，它是出于特定目的而进行的，在本文中被称为(特定的)医学诊断过程。医学诊断过程的示例包括：寻找异常的乳房组织或乳房病变的乳房检查，对对象的肢体(手、手指、脚趾等)之一的脉管检查或甲状腺超声检查。在一些示例中，可以根据医学指南来执行医学诊断过程，例如，医学诊断过程可以包括胎儿检查，其中，应当根据针对胎儿检查的医学指南来对胎儿的特定部分进行成像。然而，技术人员将意识到这些仅仅是示例，并且本文描述的实施例可以应用于范围广泛的超声医学诊断过程。
在本文中，术语相关性用于描述图像是否与正在进行的医学诊断过程相关。相关可以描述超声医师是否会将图像分类为有用、有帮助、有必要、有需要或以其他方式涉及正在进行的医学诊断过程。例如，如果图像示出异常的组织(例如，病变)，则图像可以与医学诊断过程相关以确定患者是否患有癌症。相反，如果图像证明整个解剖特征并无异常，则图像也可以与癌症诊断相关。因此，从这个意义上讲，如果临床医生使用图像来做出诊断或以其他方式执行医学诊断过程，则可以认为图像是相关的。
经训练的模型可以包括可以获取超声图像作为输入并提供关于图像是否与医学诊断过程相关(例如，用户/临床医生是否会使用图像来执行医学诊断过程)的分类或预测的任何模型。
例如，该模型可以包括使用机器学习过程(例如，深度学习过程)训练的模型。在一些实施例中，经训练的模型可以包括经训练的神经网络或深度神经网络。适当的神经网络的示例包括但不限于卷积网络(例如，经训练的F-net或经训练的U-net)。
技术人员将熟悉神经网络，但是简而言之，神经网络是一种有监督的机器学习模型，它能够被训练为针对给定的输入数据预测期望的输出。通过提供包括示例输入数据和期望的对应的“正确”或真实情况结果的训练数据来训练神经网络。神经网络包括多层神经元，每个神经元表示应用于输入数据的数学运算。神经网络中的每一层的输出被馈入下一层以产生输出。针对每条训练数据，调节与神经元相关联的权重，直到找到最优加权为止，该最优加权产生反映出对应的真实情况的训练示例的预测。
在经训练的模型包括神经网络的实施例中，神经网络可以包括适合用于根据相关性对图像进行分类的卷积神经网络(如U-net或F-net)。经训练的模型可以获取超声图像作为输入并且提供关于该图像是否包括与正在执行的医学诊断过程相关的图像的预测作为输出。该指示可以包括二元分类(“相关”或“不相关”)、分级分类(例如，尺度)、相关的可能性或百分比可能性，或关于图像是否相关(或不相关)的任何其他指示。
在一些实施例中，可以使用孪生神经网络。简而言之，孪生网络是当同时在两个单独的输入上工作时利用相同权重的卷积神经网络(CNN)。通常，他们输出两个输入之间的相似度得分。例如，本文中的孪生网络可以用于区分用户已经捕获或加上书签的图像与应被添加到自动保存列表的图像，以便避免冗余信息(冗余图像捕获)。
在一些实施例中，经训练的模型已经被训练为基于包括以下各项的训练数据来提供关于该图像是否包括与医学诊断过程相关的图像：i)示例超声图像，以及ii)对应的关于每幅示例超声图像是否包括与医学诊断过程相关的图像的真实情况指示。
在图2中图示了这种情况，图2示出了包括经注释的超声图像的训练数据202，所述经注释的超声图像被提供给深度学习神经网络模型204作为输入。注释包括关于每幅示例超声图像是否包括与医学诊断过程相关的图像的真实情况指示。经注释的超声图像被提供给深度学习神经网络204，使用训练数据将深度学习神经网络204训练为基于经注释的超声图像202来预测图像是否包括相关(例如与医学诊断过程相关的)图像206。
通常，可以从范围广泛的可用超声系统收集训练数据(例如，超声图像帧)，并且由专家超声医师和临床医生用临床注释标记这些训练数据。被分类为“相关”的图像可以是深度学习网络的输入，该深度学习网络被训练为学习“相关”图像的特征。为了提高训练准确度，可以收集在典型的临床扫描时期中专家超声医师不会保存的额外图像(例如“不相关”图像的示例)。在所有图像上(不仅仅在保存的相关图像上)训练的优点在于，系统不仅学习了哪些图像是需要保存的“相关”图像，而且还学习了哪些图像是不需要保存的图像。以这种方式，网络能够更好地预测超声医师遗漏的图像和超声医师保存的图像这两者。此外，通过在由一个以上的超声医师编译(注释)的训练数据集上训练模型，可以使用许多不同超声医师的专业知识来训练该模型。因此，该模型可以有效地组合在确定图像是否相关时为训练数据集做出贡献的所有超声医师的专业知识，这与单个超声医师手动分类图像的情况相比可以是有利的。
一旦训练了模型，就可以在推断中使用深度学习神经网络来预测新的(例如尚未看到的)图像是否与医学诊断过程相关。在推断(实况扫描)期间，网络能够在后台运行。如果超声医师没有给可疑图像加上书签，则系统因此能够自动捕获该图像。系统可以给被分类为相关的图像加上书签并将其显示给用户。可以例如根据图像是由用户加上书签还是由系统(由于相关性分类)加上书签来分组显示图像，如图2中的窗格208所示。
返回图1，在一些实施例中，还使处理器102确定与当图像被捕获时的探头的位置相关联的、对象的身体上的位置。
可以以各种方式确定该位置。例如，换能器108可以与电磁(EM)传感器集成在一起，能够在例如由与患者检查台融合在一起的检查台顶部的场生成器生成的EM场内跟踪该EM传感器。可以校准所记录的位置，例如参考特定特征来校准所记录的位置。例如，在乳房检查中，超声医师可以通过向系统指示乳头的位置来校准所记录的位置。这种EM跟踪特征允许将B模式图像与探头位置进行耦合以提供检查的视觉映射。
然而，将意识到，这是个示例，并且可以以其他方式确定探头(换能器)在身体上的位置，其他方式包括但不限于探头中的运动检测器或者使用光学跟踪来确定探头位置的检测器(以与针对EM传感器所描述的方式相似的方式进行校准)。
在一些实施例中，一组指令在由处理器运行时还使处理器提供所确定的身体上的位置作为针对经训练的模型的另外的输入。换句话说，在一些实施例中，经训练的模型还被训练为基于所确定的位置来提供关于该图像是否包括与医学诊断过程相关的图像的指示。正因如此，可以基于以下两个因素(例如，输入)来判定“相关性”：(i)图像，以及(ii)探头位置。
例如，如果系统判定某个图像是相关的，则可以给该图像加上书签并保存其位置。随后，用户可以在该区周围继续操纵探头，从而寻找更多“相关”图像来加上书签。用户然后达到与最初被加上书签的探头位置正交的探头位置。即使根据图像特征本身来看该图像的“相关性”在边界线上(例如，不是明显相关)，模型仍可以确定该图像是相关的(并且因此应被加上书签)，因为探头位置指示该图像应当表示通过感兴趣目标(例如，肿瘤)的另一切片。
在图3中图示了这种情况，图3示出了包括超声图像302和对应的探头位置304的训练数据，超声图像302和对应的探头位置304被提供为针对深度学习神经网络模型306的输入。深度学习神经网络306被训练为基于超声图像302和探头位置304来预测关于该图像是否包括(例如与医学诊断过程相关的)相关图像308的指示。
在这种方法中(其中将探头位置以及B模式超声图像输入到深度神经网络)，深度学习网络能够跨(在短时间内和在空间中)相邻帧判定哪个帧是最相关的并且智能选择要自动捕获哪个帧以避免向超声医师提供冗余信息。可以利用图像以及临床注释和探头定位作为标签来训练深度学习网络。这种训练方法利用了在一堆超声图像中包含的有意义的信息，并且例如在给定的五个帧的序列中，深度学习网络能够挑选(一幅或多幅)最相关的图像帧来保存。在一些实施例中，网络可以输出针对每个图像帧的得分，该得分对要捕获的最佳图像帧进行了分类。能够通过帧的显著特征和姿态信息来学习跨图像帧的相似度。
可以进一步设想到，3D深度学习网络能够根据对例如乳房的扫频来迅速重建3D体积，并且选择可疑的平面以自动捕获相关的帧。该训练选项对在乳房检查中使用的3D深度学习网络会很有用，其中可以捕获乳房的整个体积。
由于每个帧都被标示有其相对探头位置，因此深度学习网络还可以被训练为：a)重建在给定的探头位置下的整个体积，并且b)确定哪些平面是相关的并给缝合体积内的相关的帧加上书签。
在图4中图示了这种情况，其中，深度学习神经网络406获取多幅超声图像402和对应的探头位置404作为输入，并且输出重建的3D体积408，其中，通过3D体积的每个切片都会根据相关性410进行标示。在推断中，可以使用诸如图形412之类的图形向用户突出显示/示出相关的帧的位置。
技术人员将熟悉使用训练数据来训练神经网络的方法(例如，梯度下降等)，并且将意识到训练数据可以包括在各种各样的网络条件下获得的数百行或数千行训练数据。
通常，应当注意，如果训练数据集和验证数据集包括来自包括超声医师想要保存的不同诊断发现的各种各样的检查集合的图像以及来自具有不同组织属性的大患者群体的图像，则训练数据集和验证数据集可以得到改进。如果训练数据是根据由不同的专家用户执行和注释的超声检查来获得的，则训练数据也可以得到改进。这可以更好地捕获用户间变化性，并且如上所述使得模型有效地组合许多超声医师在许多不同的组织类型上的专业知识。
一旦训练了模型，就可以在推断中使用深度学习神经网络来预测新的(例如尚未看到的)图像是否是相关的。该系统可以给被分类为相关的图像加上书签，并且例如根据该图像是由用户加上书签还是由系统(由于相关性类型)加上书签来将该图像显示给用户，如图3中的窗格310和图4中的窗格412所示。
因此，总而言之，可以仅根据图像来确定相关性。在这种示例中，可以并行存储探头位置，以便于用户对加上书签的图像的解读。替代地，可以根据图像和探头位置来确定相关性。
技术人员将进一步意识到，除了本文提供的示例以外或者替代本文提供的示例，还可以向模型提供其他输入。
此外，该模型可以被训练为具有其他输出通道。例如，在一些实施例中，该模型还可以向用户输出关于用户可能想要进行扫描的另外的位置的建议。例如，在乳房检查中，超声医师可以决定是否要扫描腋窝淋巴结(更靠近腋窝)，以便检查是否存在转移。该系统也能够被训练为执行这种任务，在这种任务中，基于被认为“相关的”并在较早的实施例中捕获的图像，该系统能够建议用户扫描腋窝淋巴结。
将意识到，替代地，该系统可以基于从该模型接收的(一个或多个)指示来向用户提供另外的位置以供用户进行另外的扫描。
一旦针对腋窝淋巴结扫描适当定位了探头，就能够也在这里保存“相关的”图像(并单独注释)。
此外，将意识到，虽然本文中的示例描述了对神经网络的使用，但是也可以使用可以获取上述输入并输出关于图像是否与医学诊断过程相关的指示的任何模型。示例包括但不限于随机森林模型。
一旦如上所述处理器接收到由探头获取的超声图像(假定图像作为针对经训练的模型的输入)并从模型接收到关于图像是否包括与医学诊断过程相关的图像的指示，就会使处理器基于接收到的指示来确定是否要给图像加上书签。
在一些实施例中，还使处理器确定该图像是否已被用户选择作为要被加上书签的图像(手动加上书签)。如果该图像尚未被用户选择作为要被加上书签的图像并且从经训练的模型接收的指示表明该图像与医学诊断过程相关，那么处理器可以确定给该图像加上书签。换句话说，如果该模型确定该图像是相关的，但是用户(超声医师)没有选择给该图像加上书签，那么该系统可以独立于超声医师而确定给该图像加上书签。
可以根据是用户给图像加上书签还是系统(例如由于模型将图像分类为相关)给图像加上书签来记录被加上书签的图像。系统在将图像显示给用户时可以使用这种标记。
例如，处理器可以向显示器发送指令以将图像显示给用户，并且还向用户指示：i)该图像已被用户选择作为要被加上书签的图像，还是ii)该图像已被系统基于从经训练的模型接收的指示而加上书签。
可以根据图像是被手动加上书签的还是由系统加上书签的来对图像进行分组，并且将图像显示在不同的窗格中，如在上文中所描述的和由图2中的附图标记208和图3中的附图标记310和图4中的附图标记412所图示的那样。
此外，可以根据图像在身体上的位置来对图像进行分组和/或显示。图5a中图示了一个示例，该示例示出了置于已经获取的超声图像的位置上面的乳腺52的示意性表示。可以根据图像是由用户或超声医师54加上书签的还是由系统56加上书签的来对每个指示的超声图像进行颜色编码。
现在转到其他实施例，还可以使处理器确定与当图像被捕获时的探头的位置相关联的对象的身体上的位置并向显示器发送指令以向用户显示所确定的身体上的位置的指示。可以对由模型分类为相关的每幅图像执行这种操作。
在图5b所示的示例中，医学诊断过程包括乳房检查，并且身体部分包括乳房。在这个实施例中，使处理器显示乳房502的示意性表示。在该检查期间，可以借助于线或痕迹501来指示探头的位置(和/或探头的先前位置)。如果提供了额外的输出通道，该额外的输出通道提供对乳房上的可以执行成像的另一位置的建议，则可以例如通过箭头503来指示这种建议，箭头503提供对探头应当移动的方向的指示。如上所述，可以在组412中呈现不同的帧。
更详细地，可以使处理器向显示器发送指令以显示身体部分的表示并将所确定的身体上的位置的指示叠加在身体部分的表示上。例如，可以显示身体部分的动画片或其他示意性表示。相关图像的位置可以被表示为销点、项目符号、点、叉或表示在身体部分的表示上位置的任何其他手段。
在图5c所示的示例中，医学诊断过程包括乳房检查，并且身体部分包括乳房。因此，使处理器显示乳房502的示意性表示。置于乳房表示上面的是指示由模型确定为与乳房检查的医学诊断过程相关的图像帧的位置的图标。
可以在后续的(例如随访)超声扫描中使用这种图形，以帮助超声医师更容易地定位相关图像位置。例如，可以使处理器接收(例如来自后续扫描的)后续的超声图像的实时序列，并且向显示器发送指令以与当图像被捕获时的探头的位置相比较地显示当后续的超声图像的实时序列中的每幅超声图像被捕获时的探头的位置的指示。这可以帮助超声医师更快地定位相关的图像平面，从而使成像过程更加高效。
在图5c所示的实施例中，相对于用线506表示的乳房表示的位置图示了当前的探头位置。可以在身体部分的表示旁边示出探头当前捕获的图像(例如，实况图像508)。在一些实施例中，如上所述的模型被进一步训练为例如具有另外的输出通道以指示图像中病变的位置。例如，你只看一次(YOLO)神经网络可以适合用于实时病变检测。关于YOLO网络的更多详细信息可在以下网址中获得：https://arxiv.org/abs/1506.02640。检测到的病变可以被封装在框510(例如，着色框)中并且/或者被标示有指示确定结果的确定度的得分。以这种方式，可以在乳房检查中更快且更可靠地确定病变。
现在转向其他实施例，通常，可以使处理器在从模型接收的指示表明该图像包括与医学诊断过程相关的图像的情况下向探头发送指令以使探头改变到不同的成像模式。例如，如果确定了相关图像，则系统可以向超声医师建议由系统以额外的超声模式(例如，微流成像、彩色流动和/或剪切波弹性成像等)捕获并(自动加上书签)的特定解剖结构的图像。例如，如果在给定的图像上怀疑有肿瘤，则激活彩色模式将通过研究肿瘤脉管系统而提供用于肿瘤诊断的补充信息。在这种实施例中，针对该模型的训练数据还可以包括与是否应当改变成像模型以及应当改变到哪种模式相对应的真实情况字段，以训练模型以建议成像模式。
在组合了上述元件中的一些元件的一个实施例中，一旦训练了系统100，就能够在诊所中的推断模式中使用系统100。在该实施例中，系统可以被馈送有实况(例如实时)超声图像和对应的探头位置。系统也可以获得关于用户手动保存了哪些图像的信息。使用模型来输出针对每幅超声图像的二元变量(“相关”或“不相关”，外加探头姿态(何时以及是否可用)。如果认为图像“不相关”，则不会采取任何措施。否则，在该实施例中，系统将检查用户是否已经手动保存了该图像。如果是，则不采取任何措施。如果不是，则系统会自动保存该图像。在超声医师随后给相同的图像加上书签的情况下可以将该自动保存的图像保留在缓冲器中(以避免重复)。如果在阈值时间间隔内超声医师没有发生加上书签的动作，则系统会将该帧添加并保存到自动保存列表中。可以通过姿态回归和图像冗余验证来对已经由超声医师捕获的那些图像进行检查。维护手动保存图像和列表和自动保存的图像的列表并随后将其单独(例如在分组的图像框中)显示给用户。
在该实施例中，系统100不断监视和更新手动保存的图像和自动保存的图像。如果系统自动保存了图像，则超声医师可以返回到同一位置并在后续的视觉检查之后将等效图像手动保存在同一位置处。在这种情况下，如果确认重复，则可以相应地更新手动保存的图像列表，并且可以删除原始的自动保存的图像。替代地，当捕获到额外的图像(包括其在扫描区中的位置)时，可以通知超声医师。这可以防止保存重复的图像并防止将重复的图像呈现给放射技师以进行后续审查。
可以将图像匹配方法(例如，相关性，差异之和等)与探头位置信息结合使用以确认图像是否是重复的。
因此，公开了针对超声系统的改进的工作流程的各种系统。在临床用途中，本文所述的系统通常可以增强当前的临床工作流程并通过以下方式提高诊断信心。(1)在给定的扫描期间跟踪超声医师的动作，包括但不限于：实况超声图像和在超声扫描期间的对应的探头位置；手动保存US的图像；以及与手动保存的图像相对应的探头位置。(2)如果在扫描时期用户先前尚未手动保存系统认为相关的图像，则自动保存该图像。(3)显示选项可以使得后续的图像审查者(例如，放射科医生)能够选择首先审查由超声医师存档的图像，然后再审查自动保存的图像。(4)本文所述的系统可以维护“手动保存的”部分和“自动保存的”部分中的图像的互补列表以避免冗余。(5)本文中的系统还可以向超声医师建议自动保存利用额外的超声模式(例如，微流成像、彩色流动和/或剪切波弹性成像)捕获的特定解剖结构的图像。
另外，本文中的实施例还可以用于训练目的，因为可以预期：与训练有素的超声医师相比，新手用户的“没有捕获的”图像列表将会更长。因此，本文中的系统可以提高超声检查效率，从而在首次正确诊断中提供更多客观数据并减少流程的时间。
现在转到图6，图6示出了根据本文所述的原理构建的超声系统600的示例实施例。图6中示出的一个或多个部件可以被包括在系统内，该系统被配置为接收使用超声换能器获取的二维图像的数据流，根据数据流来确定感兴趣特征在换能器的视场内，触发要被发送给用户的警报以指示感兴趣特征在换能器的视场内，并且向换能器发送指令以触发换能器在预定时间间隔之后捕获三维超声图像。
可以例如经由计算机可执行指令将处理器102的上述功能中的任一功能编程到系统600的处理器中。系统600还可以被编程为执行如下所述的方法700。在一些示例中，可以通过图6所示的处理部件(包括例如图像处理器636)中的一个或多个处理部件来实施和/或控制处理器102的功能或方法700。
在图6的超声成像系统中，超声探头612包括换能器阵列614，换能器阵列614用于将超声波发射到身体的区域中并接收响应于发射波的回波信息。换能器阵列614可以是包括多个被配置为独立激活的换能器元件的矩阵阵列。在其他实施例中，换能器阵列614可以包括一维线性阵列。换能器阵列614被耦合到探头612中的微波束形成器616，微波束形成器616可以控制由阵列中的换能器元件进行的信号发射和接收。在所示示例中，微波束形成器616通过探头线缆被耦合到发射/接收(T/R)开关618，T/R开关618在发射与接收之间切换并保护主波束形成器622免受高能发射信号的影响。在一些实施例中，T/R开关618和系统中的其他元件能够被包括在换能器探头中，而不是被包括在单独的超声系统基座中。
在本文中的一些实施例中，超声探头612还可以包括运动检测器以如上所述检测探头的运动。
在微波束形成器616的控制下从换能器阵列616发射超声波束的发射过程可以由被耦合到T/R开关618和波束形成器622的发射控制器620来指导，发射控制器620例如从用户接口或控制面板624的用户操作接收输入。由发射控制器620控制的功能之一是使波束转向的方向。波束可以从换能器阵列垂直向前(正交于换能器阵列)转向，也可以以不同的角度转向以获得更宽的视场。由微波束形成器616产生的部分波束形成的信号被耦合到主波束形成器622，在主波束形成器622中，来自换能器元件的个体拼片的部分波束形成的信号被组合成完全波束形成的信号。
波束形成的信号被耦合到信号处理器626。信号处理器626可以以各种方式处理接收到的回波信号，例如，带通滤波、抽取、I和Q分量分离以及谐波信号分离。数据处理器可以使用由信号处理器626采用的不同处理技术生成的数据来识别内部结构，例如，乳房中的病变、肋骨或新生儿的解剖特征及其参数。
信号处理器626还可以执行额外的信号增强，例如，散斑抑制、信号复合和噪声消除。经处理的信号可以被耦合到B模式处理器628，B模式处理器628例如能够采用幅度检测来对身体中的结构(包括肋骨、心脏和/或胸膜界面)进行成像。由B模式处理器产生的信号被耦合到扫描转换器630和多平面重新格式化器632。扫描转换器630以期望的图像格式将回波信号布置在它们被接收时所处的空间关系中。例如，扫描转换器630可以将回波信号布置成二维(2D)扇形格式。如在美国专利US 6443896(Detmer)中所描述的，多平面重新格式化器632能够将从身体的体积区域中的公共平面中的点接收的回波转换成该平面的超声图像。例如，如在美国专利US 6530885(Entrekin等人)中所描述的，体积绘制器636将3D数据集的回波信号转换成像从给定的参考点观看的那样的投影的3D图像。
将2D或3D图像从扫描转换器630、多平面重新格式化器632和体积绘制器634耦合到图像处理器636以供进一步增强、缓冲和临时存储，从而用于显示在图像显示器638上。
图形处理器640能够生成用于与超声图像一起显示的图形叠加物。这些图形叠加物能够包含例如身体部分的表示和/或与当图像被捕获时的探头的位置相比较的当后续的超声图像的实时序列中的每幅超声图像被捕获时的探头的位置的指示，如关于图5所描述的那样。
图形叠加物还可以包含其他信息，例如，标准识别信息(例如，患者姓名)、图像的日期和时间、成像参数等。图形叠加物还可以包括一个或多个信号，这一个或多个信号指示已经获得了目标图像帧和/或系统600正在识别目标图像帧的过程中。图形处理器可以从用户接口624接收输入(例如，键入的患者姓名)。用户接口624还可以接收促使调节由系统600使用的设置和/或参数的输入。用户接口也能够被耦合到多平面重新格式化器632，以用于选择和控制对多平面重新格式化(MPR)图像的显示。
技术人员将意识到，图6所示的实施例仅是个示例并且超声系统600也可以包括与图6所示的部件不同的额外部件(例如，电源或电池)。
现在转到图7，在一些实施例中，存在一种用于获得医学超声图像的方法700。该方法包括：接收702超声图像；提供704该图像作为针对经训练的模型的输入；从该模型接收706关于该图像是否包括与医学诊断过程相关的图像的指示；并且基于接收到的指示来确定708是否要给该图像加上书签。
上文关于系统100描述了接收超声图像的步骤、提供该图像作为针对经训练的模型的输入的步骤、从该模型接收关于该图像是否包括与医学诊断过程相关的图像的指示的步骤，以及基于接收到的指示来确定是否要给该图像加上书签的步骤，并且将意识到其中的细节以等同地应用于方法700。
在一些实施例中，还存在一种训练机器学习模型以预测图像是否包括与医学诊断过程相关的图像的方法。该方法可以针对方法700额外地或单独地执行。所述方法包括：向机器学习模型提供训练数据，所述训练数据包括：i)示例超声图像；以及ii)对应的真实情况标签；其中，所述真实情况标签指示所述图像是否包括与所述医学诊断过程相关的图像；并且所述方法还包括：基于所述训练数据来训练所述机器学习模型以预测新的尚未看到的图像是否包括与所述医学诊断过程相关的图像。
上文关于系统100详细描述了以这种方式进行的模型训练，并且将意识到其中的细节以等同地应用于该方法的实施例。
在另一实施例中，存在一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有体现在其中的计算机可读代码，所述计算机可读代码被配置为使得在由合适的计算机或处理器运行时使所述计算机或处理器执行本文描述的一种或多种方法。
因此，将意识到，本公开内容也适用于适于将实施例付诸实践的计算机程序，尤其是载波上或载波中的计算机程序。程序可以是源代码、目标代码、代码中间源以及例如为部分编译形式的目标代码的形式，或者是适合用于在根据本文描述的实施例的方法的实施方式中使用的任何其他形式。
也应当认识到，这样的程序可以具有许多不同的架构设计。例如，实施该方法或系统的功能的程序代码可以被细分成一个或多个子例程。将功能分布在这些子例程之中的许多不同方式对本领域技术人员来说将是明显的。子例程可以被一起存储在一个可执行文件中，以形成自含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解读器指令(例如，Java解读器指令)。替代地，子例程中的一个或多个或全部可以被存储在至少一个外部库文件中，并且例如在运行时间时被静态地或动态地与主程序链接。主程序包含对子例程中的至少一个子例程的至少一次调用。子例程也可以包括对彼此的功能调用。
计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括数据存储装置，例如，ROM(例如，CD ROM或半导体ROM)，或者磁性记录介质(例如，硬盘)。此外，载体还可以是可传输载体，例如，电学信号或光学信号，它们可以经由电缆或光缆或通过无线电或其他手段来传送。当程序被实施在这样的信号中时，载体可以包括这样的线缆或其他设备或器件。替代地，载体可以为程序被嵌入其中的集成电路，所述集成电路适于执行相关的方法，或者适于在对相关的方法的执行中使用。
本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/被分布在合适的介质上，例如与其他硬件一起或者作为其他硬件的部分而供应的光学存储介质或固态介质，但是也可以被以其他形式进行分布，例如经由互联网或其他有线或无线的电信系统进行分布。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种用于获得对象的医学超声图像的系统，所述系统包括：
探头，其包括超声换能器，所述超声换能器用于捕获超声图像；
存储器，其包括指令数据，所述指令数据表示一组指令；以及
处理器，其被配置为与所述存储器通信并运行所述一组指令，其中，所述一组指令在由所述处理器运行时使所述处理器：
接收由所述探头获取的超声图像；
提供所述图像作为针对经训练的模型的输入；
从所述模型接收关于所述图像是否包括与医学诊断过程相关的图像的指示；并且
基于接收到的指示来确定是否要给所述图像加上书签。
2.根据权利要求1所述的系统，其中，还使所述处理器：
确定所述图像是否已被用户选择作为要被加上书签的图像；并且其中，还使所述处理器：
在所述图像尚未被所述用户选择作为要被加上书签的图像并且从所述经训练的模型接收的指示表明所述图像与所述医学诊断过程相关的情况下，确定要给所述图像加上书签。
3.根据权利要求2所述的系统，其中，还使所述处理器：
向显示器发送指令以将所述图像显示给所述用户；并且
向所述显示器发送指令以向所述用户指示是以下情况中的哪种情况：i)所述图像已被用户选择作为要被加上书签的图像，或者ii)所述图像已被所述系统基于从所述经训练的模型接收的指示而加上书签。
4.根据权利要求1所述的系统，其中，还使所述处理器：
确定与当所述图像被捕获时的所述探头的位置相关联的、所述对象的身体上的位置。
5.根据权利要求4所述的系统，其中，还使所述处理器：
向显示器发送指令以显示所确定的所述身体上的位置的指示。
6.根据权利要求5所述的系统，其中，还使所述处理器：
向所述显示器发送指令以显示身体部分的表示并将所确定的所述身体上的位置的指示叠加在所述身体部分的所述表示上。
7.根据权利要求5或6所述的系统，其中，还使所述处理器：
接收后续的超声图像的实时序列；并且
向所述显示器发送指令以与当所述图像被捕获时的所述探头的位置相比较地显示当在所述后续的超声图像的实时序列中的每幅超声图像被捕获时的所述探头的位置的指示。
8.根据权利要求4至7中的任一项所述的系统，其中，所述一组指令在由所述处理器运行时还使所述处理器：
提供所确定的所述身体上的位置作为针对所述经训练的模型的另外的输入；并且
其中，所述经训练的模型还被训练为基于所确定的位置来提供所述图像是否包括与所述医学诊断过程相关的图像的指示。
9.根据前述权利要求中的任一项所述的系统，所述经训练的模型已经被训练为基于包括以下各项的训练数据来提供所述图像是否包括与所述医学诊断过程相关的图像的指示：i)示例超声图像；以及ii)对应的关于每幅示例超声图像是否包括与所述医学诊断过程相关的图像的真实情况指示。
10.根据前述权利要求中的任一项所述的系统，其中，所述一组指令在由所述处理器运行时还使所述处理器：
在从所述模型接收的指示表明所述图像包括与所述医学诊断过程相关的图像的情况下向所述探头发送指令以使所述探头改变到不同的成像模式。
11.根据前述权利要求中的任一项所述的系统，其中，所述一组指令在由所述处理器运行时还使所述处理器：
基于从所述模型接收的指示向所述用户建议另外的位置以供所述用户执行另外的扫描。
12.根据前述权利要求中的任一项所述的系统，其中，所述医学诊断过程包括用于确定乳房组织异常的乳房检查。
13.一种用于获得医学超声图像的方法，所述方法包括：
接收超声图像；
提供所述图像作为针对经训练的模型的输入；
从所述模型接收关于所述图像是否包括与医学诊断过程相关的图像的指示；并且
基于接收到的指示来确定是否要给所述图像加上书签。
14.一种训练机器学习模型以预测图像是否包括与医学诊断过程相关的图像的方法，所述方法包括：
向所述机器学习模型提供训练数据，所述训练数据包括：i)示例超声图像；以及ii)对应的真实情况标签；其中，所述真实情况标签指示所述图像是否包括与所述医学诊断过程相关的图像；并且
基于所述训练数据来训练所述机器学习模型以预测新的尚未看到的图像是否包括与所述医学诊断过程相关的图像。
15.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有体现在其中的计算机可读代码，所述计算机可读代码被配置为使得在由合适的计算机或处理器运行时使所述计算机或处理器执行根据权利要求13或14所述的方法。
CN202080080668.5A 2019-11-21 2020-11-13 用于获得医学超声图像的系统和方法 Pending CN114760929A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962938491P 2019-11-21 2019-11-21
US62/938,491 2019-11-21
PCT/EP2020/081988 WO2021099214A1 (en) 2019-11-21 2020-11-13 Systems and methods for obtaining medical ultrasound images

Publications (1)

Publication Number Publication Date
CN114760929A true CN114760929A (zh) 2022-07-15

Family

ID=73452183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080668.5A Pending CN114760929A (zh) 2019-11-21 2020-11-13 用于获得医学超声图像的系统和方法

Country Status (5)

Country Link
US (1) US20230355211A1 (zh)
EP (1) EP4061230B1 (zh)
JP (1) JP2023503818A (zh)
CN (1) CN114760929A (zh)
WO (1) WO2021099214A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117651526A (zh) * 2021-06-28 2024-03-05 皇家飞利浦有限公司 用于注释医学图像的系统、方法和装置
CN113662573B (zh) * 2021-09-10 2023-06-30 上海联影医疗科技股份有限公司 乳腺病灶定位方法、装置、计算机设备和存储介质
CN117711581A (zh) * 2024-02-05 2024-03-15 深圳皓影医疗科技有限公司 一种自动添加书签的方法、系统、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US9113781B2 (en) * 2013-02-07 2015-08-25 Siemens Aktiengesellschaft Method and system for on-site learning of landmark detection models for end user-specific diagnostic medical image reading
US9536054B1 (en) * 2016-01-07 2017-01-03 ClearView Diagnostics Inc. Method and means of CAD system personalization to provide a confidence level indicator for CAD system recommendations
AU2017230722B2 (en) * 2016-03-09 2022-08-11 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network

Also Published As

Publication number Publication date
US20230355211A1 (en) 2023-11-09
EP4061230B1 (en) 2024-05-15
JP2023503818A (ja) 2023-02-01
EP4061230A1 (en) 2022-09-28
WO2021099214A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US11094138B2 (en) Systems for linking features in medical images to anatomical models and methods of operation thereof
US11264135B2 (en) Machine-aided workflow in ultrasound imaging
JP7330207B2 (ja) 適応的超音波スキャニング
EP4061230B1 (en) Systems and methods for obtaining medical ultrasound images
US11564663B2 (en) Ultrasound imaging apparatus and control method thereof
JP2018529475A (ja) 医療画像のアノテーションのための装置、方法、及びシステム
CN107198542A (zh) 用于检查模式超声成像的警报辅助
KR20160080864A (ko) 초음파 영상 장치 및 그에 따른 초음파 영상 처리 방법
US20210174476A1 (en) Method and system for providing blur filtering to emphasize focal regions or depths in ultrasound image data
US20210052255A1 (en) Ultrasound guidance dynamic mode switching
CN109069110A (zh) 具有简化的3d成像控制的超声成像系统
US20230137369A1 (en) Aiding a user to perform a medical ultrasound examination
CN109152564A (zh) 自动血池识别系统及其操作方法
WO2022112540A1 (en) Predicting a likelihood that an individual has one or more lesions
US20210280298A1 (en) Methods and systems for detecting abnormalities in medical images
EP4270411A1 (en) Analysing an ultrasound image feed
JP7488789B2 (ja) 超音波診断装置及び診断支援方法
JP2014128618A (ja) 医用画像処理装置、超音波診断装置及び医用画像取込方法
WO2023208877A1 (en) Analysing an ultrasound image feed
US11944501B2 (en) Systems and methods for automatic measurements of medical images
US20220160334A1 (en) Method and system for enhanced visualization of a pleural line by automatically detecting and marking the pleural line in images of a lung ultrasound scan
US11413019B2 (en) Method and apparatus for displaying ultrasound image of target object
Nagarajan et al. Foetal ultrasonographic Sparse representation evaluation of spectral trust maps
WO2024047143A1 (en) Ultrasound exam tracking
CN116249474A (zh) 内部和外部接近扫描

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination