CN112040876A - 自适应超声扫描 - Google Patents

自适应超声扫描 Download PDF

Info

Publication number
CN112040876A
CN112040876A CN201980027163.XA CN201980027163A CN112040876A CN 112040876 A CN112040876 A CN 112040876A CN 201980027163 A CN201980027163 A CN 201980027163A CN 112040876 A CN112040876 A CN 112040876A
Authority
CN
China
Prior art keywords
ultrasound
neural network
anatomical
measurements
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980027163.XA
Other languages
English (en)
Inventor
E·M·坎菲尔德
M·阮
谢华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112040876A publication Critical patent/CN112040876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开描述了被配置为基于在对象的产前扫描期间识别的解剖特征和状况来生成自适应扫描协议的成像系统。系统可以包括超声换能器,所述超声换能器被配置为采集响应于朝向目标区域发射的超声脉冲的回波信号。与所述换能器耦合的处理器能够根据所述回波来生成图像帧并且将所述图像帧提供到第一神经网络。所述第一神经网络可以被配置为识别所述图像帧中的解剖特征。可以将所述解剖特征的指示提供到第二神经网络。所述第二神经网络然后可以部分地基于所识别的特征来确定要被获得的解剖测量。所述处理器可以还被配置为使要被获得的所述解剖测量的指示符被显示在用户接口上。

Description

自适应超声扫描
技术领域
本公开涉及用于使用神经网络来识别超声图像中的解剖特征的超声系统和方法。具体实施方式包含被配置为基于通过神经网络识别的解剖特征和状况来生成自适应扫描协议的系统。
背景技术
超声检查被广泛用于评估产前生长和发育。超声扫描在整个怀孕期间被执行以评价发育能力、解剖结构、年龄和分娩前状态。对于高危怀孕,可能需要每周或双周扫描。典型的评估可以包含经常以特定顺序对预先指定的一系列解剖特征进行成像,以收集指示胎龄和健康的测量。例如,股骨长、腹围和头围经常被测量。
甚至例程扫描也需要收集对用户(尤其是几乎没有经验的那些用户)来说可能是压倒性的大量图像和测量。必要测量的长列表也可以在不同的怀孕阶段是不同的,进一步增加采集准确测量的困难。被设计为提供有序扫描协议的现有工作流解决方案是不灵活的,并且经常需要用户以特定顺序测量特定特征。被配置为(尤其是对于初学者用户)降低与执行产前超声扫描相关联的困难的新技术因此是期望的。
发明内容
本公开描述了用于执行各种解剖对象的超声评估的系统和方法。虽然本文中的范例具体解决了胎儿的产前评估,但是本领域技术人员应当理解,仅出于说明性目的而关于胎儿评价描述了所公开的系统和方法,并且能够在一系列时间点处对患者内的各种各样的对象(包括但不限于例如心脏和肺部)执行解剖评价。在一些实施例中,所述系统可以被配置为例如通过识别特定解剖特征、解剖特征或结构的移动(例如,胎儿移动)和所述解剖特征或结构的定位并且响应于这样的确定而遵照已制定的医学指南自适应地引导用户通过超声扫描(诸如胎儿扫描)来改善产前超声扫描或与其他临床应用(例如,心脏、肝脏、乳房等)相关联的超声扫描协议的准确性、效率和自动化。一些实施例包含通过神经网络执行的标准视图分类,所述神经网络被唯一地配置为当采集组织、器官或身体结构的超声图像时实时地对组织、器官或身体结构的解剖特征进行分类。
一些特定实施例可以包括被配置为检测胎儿活动或移动和当前胎儿位置的计算模块。由神经网络和活动/定位模块做出的确定中的每个能够被馈送到第二神经网络中,所述第二神经网络被配置为基于所接收的输入来推荐要被采集的下一胎儿测量和/或要被成像的解剖特征。在一些实施例中,系统还可以被配置为检测胎儿异常,并且响应于检测到这样的异常,推荐额外的测量以进一步询问异常。系统还能够包括被配置为显示所需测量的工作列表和/或胎儿的成像视图的用户接口。所述用户接口能够被配置为指示哪些图像和测量已经被完成以及哪些图像和测量仍然需要以自动化方式或响应于用户输入而被采集。根据本发明的原理的系统可以通过便于在产前超声扫描期间所需的用户决策制定和解剖解读来提高产前评价的效率。
根据一些范例,一种超声成像系统可以包括:超声换能器,其被配置为采集响应于朝向目标区域发射的超声脉冲的回波信号;以及一个或多个处理器,其与所述超声换能器通信。所述处理器可以被配置为:根据所述超声回波来生成至少一个图像帧,并且将所述图像帧提供到第一神经网络,所述第一神经网络被配置为识别所述图像帧中的对象的解剖特征。所述处理器还可以被配置为将所述解剖特征的指示提供到第二神经网络,所述第二神经网络被配置为根据所需测量的列表部分地基于由所述第一神经网络识别的所述解剖特征来确定要被获得的解剖测量。所述处理器还能够使要被获得的所述解剖测量的指示符被显示在与所述处理器通信的用户接口上。
在一些范例中,所述处理器可以还被配置为生成用于基于要被获得的所述解剖测量来调整所述超声换能器的指令。在一些实施例中,所述处理器能够还被配置为识别所述对象的移动和所述对象的当前位置。在一些范例中,所述处理器可以还被配置为将所述对象的所述移动和当前位置的指示提供到所述第二神经网络,所述第二神经网络被配置为部分地基于所述对象的所述移动和当前位置来确定要被获得的所述解剖测量。在一些实施例中,所述处理器可以被配置为通过将根据所述超声回波生成的相继图像帧的线的子集互相关来识别所述对象的移动。在一些范例中,所述处理器可以被配置为通过从所述图像帧提取解剖特征并且将所提取的解剖特征输入到递归神经网络中来识别所述对象的当前位置。在一些实施例中,所述第二神经网络可以被配置为实施推荐系统,所述推荐系统被配置为将由所述第一神经网络识别的所述解剖特征与用于获得要被获得的所述解剖测量的动作相关联。在一些范例中,所述第一神经网络能够与被配置为接收训练输入和已知输出的阵列的训练算法操作性地相关联,其中,所述训练输入包括包含对象的解剖特征的超声图像帧,并且所述已知输出包括基于所述解剖特征的视图分类。在一些范例中,所述用户接口能够被配置为显示所需测量的所述列表。在一些实施例中,所述用户接口可以被配置为部分地基于已经被用户获得的测量来更新所需测量的所述列表。在一些范例中,要被获得的所述解剖测量可以包括能通过实施所述超声换能器的最小可能调整获得的测量。在一些实施例中,要被获得的所述解剖测量可以包括在准确性阈值处或之上能获得的测量。
根据一些范例,一种超声成像的方法可以包含:采集响应于由被操作性地耦合到超声系统的换能器发射到目标区域中的超声脉冲的回波信号,根据所述超声回波来生成至少一个图像帧,并且将所述图像帧提供到第一神经网络,所述第一神经网络被配置为识别所述图像帧中的对象的解剖特征。在一些范例中,所述方法还可以包含将所述解剖特征的指示提供到第二神经网络。所述第二神经网络能够被配置为根据所需测量的列表部分地基于由所述第一神经网络识别的所述解剖特征来确定要被获得的解剖测量。所述方法可以还包含使要被获得的所述解剖测量的指示符被显示在与所述处理器通信的用户接口上。
在一些实施例中,所述方法可以还包含生成用于基于要被获得的所述解剖测量来调整所述超声换能器的指令。在一些范例中,所述方法还可以包含识别所述对象的移动和所述对象的当前位置。在一些实施例中,所述方法还包含将所述对象的所述移动和当前位置的指示提供到确定要被获得的所述解剖测量的所述第二神经网络。识别所述对象的所述移动可以包含将根据所述超声回波生成的相继图像帧的线的子集互相关。识别所述对象的所述当前位置可以包含从所述图像帧提取解剖特征并且将所提取的解剖特征输入到递归神经网络中。在一些实施例中,所述方法还包含部分地基于已经被用户获得的测量来显示并更新所需测量的所述列表。
本公开描述了用于执行胎儿的产前评估的系统和方法。实施例包括被配置为通过识别特定解剖特征、胎儿移动或定位并且响应于这样的确定而遵照已制定的医学指南自适应地引导用户通过胎儿扫描来改善产前超声扫描的准确性、效率和自动化的系统。实施例包含由神经网络执行的胎儿视图分类,所述神经网络被唯一地配置为当胎儿的超声图像被采集时实时对胎儿的解剖特征进行分类。实施例还可以包括被配置为检测胎儿活动或移动和当前胎儿位置的计算模块。由神经网络和活动/定位模块做出的确定中的每个能够被馈送到第二神经网络中,所述第二神经网络被配置为基于所接收的输入来推荐要被采集的下一胎儿测量和/或要被成像的解剖特征。在一些实施例中,系统还可以被配置为检测胎儿异常,并且响应于检测到这样的异常,推荐额外的测量以进一步询问异常。系统还能够包括被配置为显示所需测量的工作列表和/或胎儿的成像视图的用户接口。所述用户接口能够被配置为指示哪些图像和测量已经被完成以及哪些图像和测量仍然需要以自动化方式或响应于用户输入而被采集。本文中描述的系统能够通过便于在产前超声扫描期间所需的用户决策制定和解剖解读来提高产前评价的效率。
根据一些范例,一种超声成像系统可以包括:超声换能器,其被配置为采集响应于朝向目标区域发射的超声脉冲的回波信号;以及一个或多个处理器,其与所述超声换能器通信。所述处理器可以被配置为:根据所述超声回波来生成至少一个图像帧,并且将第一神经网络应用于所述图像帧,所述第一神经网络被配置为识别所述图像帧中的胎儿的解剖特征。所述处理器可以还被配置为将第二神经网络应用于通过由所述第一神经网络识别的所述解剖特征,所述第二神经网络被配置为根据所需测量的列表部分地基于由所述第一神经网络识别的所述解剖特征来确定要被获得的解剖测量。所述处理器可以还被配置为使要被获得的所述解剖测量的指示符被显示在与所述处理器通信的用户接口上。
在一些范例中,所述处理器还被配置为生成用于基于要被获得的所述解剖测量来调整所述超声换能器的指令。在一些实施例中,所述处理器还被配置为识别所述胎儿的移动和所述胎儿的当前位置。在一些范例中,所述处理器还被配置为将所述第二神经网络应用于所述胎儿的所述移动和当前位置,使得所述第二神经网络被配置为部分地基于所述胎儿的所述移动和当前位置来确定要被获得的所述解剖测量。在一些实施例中,所述处理器被配置为通过将根据所述超声回波生成的相继图像帧的线的子集互相关来识别所述胎儿的移动。在一些范例中,所述处理器被配置为通过从所述图像帧提取解剖特征并且将所提取的解剖特征输入到递归神经网络中来识别所述胎儿的当前位置。在一些实施例中,所述第二神经网络被配置为实施推荐系统,所述推荐系统被配置为将由所述第一神经网络识别的所述解剖特征与用于获得要被获得的所述解剖测量的动作相关联。在一些范例中,所述第一神经网络与被配置为接收训练输入和已知输出的阵列的训练算法操作性地相关联,其中,所述训练输入包括包含胎儿的解剖特征的超声图像帧,并且所述已知输出包括基于所述解剖特征的视图分类。在一些实施例中,所述用户接口被配置为显示所需测量的所述列表。在一些实施例中,所述用户接口被配置为部分地基于已经被用户获得的测量来更新所需测量的所述列表。在一些实施例中,要被获得的所述解剖测量包括能通过实施所述超声换能器的最小可能调整获得的测量。在一些实施例中,要被获得的所述解剖测量包括在准确性阈值处或之上能获得的测量。
根据一些范例,一种超声成像的方法可以包含:采集响应于由被操作性地耦合到超声系统的换能器发射到目标区域中的超声脉冲的回波信号,根据所述超声回波来生成至少一个图像帧,并且将第一神经网络应用于所述图像帧,所述第一神经网络被配置为识别所述图像帧中的胎儿的解剖特征。一种方法还可以包含将第二神经网络应用于由第一神经网络识别的所述解剖特征,所述第二神经网络被配置为根据所需测量的列表部分地基于由所述第一神经网络识别的所述解剖特征来确定要被获得的解剖测量。所述方法还可以包含使要被获得的所述解剖测量的指示符被显示在与所述处理器通信的用户接口上。
在一些实施例中,所述方法可以还包含生成用于基于要被获得的所述解剖测量来调整所述超声换能器的指令。在一些范例中,所述方法还包含识别所述胎儿的移动和所述胎儿的当前位置。在一些实施例中,所述方法还包含将所述第二神经网络应用于所述胎儿的所述移动和当前位置的指示,以确定要被获得的所述解剖测量。在一些范例中,识别所述胎儿的移动包括将根据所述超声回波生成的相继图像帧的线的子集互相关。在一些实施例中,识别所述胎儿的所述当前位置包括从所述图像帧提取解剖特征并且将所提取的解剖特征输入到递归神经网络中。在一些范例中,所述方法可以还包含部分地基于已经被用户获得的测量来显示并更新所需测量的所述列表。
本文中描述的方法中的任一个或步骤可以被实施在非瞬态计算机可读介质中,所述非瞬态计算机可读介质包括可执行指令,所述可执行指令当被运行时可以使医学成像系统的处理器执行本文中体现的方法或步骤。
附图说明
图1是根据本发明的原理的超声系统的方框图。
图2是根据本发明的原理实施的系统部件的操作布置的方框图。
图3是根据本发明的原理的被配置为对胎儿图像进行分类的神经网络的方框图。
图4是被配置为生成自适应扫描协议中的建议的下一测量的推荐系统的方框图。
图5是根据本发明的原理的被配置为引导用户通过自适应扫描协议的范例用户接口。
图6是根据本发明的原理的另一超声系统的方框图。
图7是根据本公开的原理执行的超声成像的方法的流程图。
具体实施方式
某些实施例的以下描述在本质上仅仅是示范性的,而决不旨在限制本发明或其应用或使用。在本系统和方法的实施例的以下详细描述中,参考附图,附图形成本说明书的一部分,并且附图通过图示的方式来示出可以在其中实践所描述的系统和方法的具体实施例的方式。以充分的细节描述这些实施例以使得本领域技术人员能够实践当前公开的系统和方法,并且应当理解,可以利用其他实施例,并且可以做出结构和逻辑改变而不偏离本系统的精神和范围。此外,出于清楚的目的,当某些特征对于本领域技术人员而言是显而易见的时,将不再讨论对这些特征的详细描述,以便不使对本系统的描述变得模糊不清。以下详细描述因此并非出于限制性的意义,并且本系统的范围仅仅是由权利要求来限定的。
根据本公开的超声系统可以实施一个或多个神经网络,例如至少一个深度神经网络(DNN)、卷积神经网络(CNN)等,其唯一地与数据采集硬件和用户接口同步。范例系统可以利用神经网络来识别经由超声成像检测到的发育胎儿的各种特征(例如,股骨),并且基于检测到的特征对当前图像视图进行分类。系统还可以利用神经网络来生成并更新适应于所识别的各种解剖特征、以及胎儿的当前位置和其任何移动的产前评价协议。在各种范例中,(一个或多个)神经网络可以使用各种各样的目前已知或以后开发的机器学习技术中的任一种来训练,以获得被配置为分析超声图像帧形式的输入数据并且识别某些特征(包括一个或多个产前解剖特征的存在和在一些实施例中尺寸)的神经网络(例如,节点的机器训练的算法或基于硬件的系统)。本文中实施的神经网络还可以被配置为分析所识别的解剖特征、解剖测量、二元移动分类和/或胎儿位置确定形式的输入数据,并且基于这种输入,确定自适应扫描协议中的下一步骤。神经网络可以提供优于传统形式的计算机编程算法的优点,因为它们能够被一般化并且被训练为通过分析数据集样本而非通过依赖于专用计算机代码来识别数据集特征。通过将适当的输入和数据呈现给神经网络训练算法,根据本公开的超声系统的(一个或多个)神经网络能够被训练为识别多个解剖特征和/或部分地基于所识别的解剖特征来引导用户通过胎儿的超声扫描。由本文中的系统执行的移动检测能够进一步告知通过神经网络阐明的自适应扫描协议,使得胎儿移动也能够影响具体扫描。
根据本发明的原理的超声系统可以包括或被操作性地耦合到超声换能器,所述超声换能器被配置为朝向介质(例如,人体或其特定部分)发射超声脉冲,并且生成响应于超声脉冲的回波信号。超声系统可以包括波束形成器和显示器,所述波束形成器被配置为执行发射和/或接收波束形成,在一些范例中,所述显示器被配置为显示由超声成像系统生成的超声图像。超声成像系统可以包括一个或多个处理器和至少一个神经网络,所述至少一个神经网络可以被实施在硬件和/或软件部件中。神经网络能够被机器训练为识别一个或多个身体特征(诸如各种骨骼、器官和/或腔室),并且输出其存在和/或不存在的指示、以及经由超声成像获得的这样的特征的任何测量。
根据本公开使用的神经网络可以是基于硬件的(例如,神经元通过物理部件来表示)或基于软件的(例如,神经元和通路被实施在软件应用中),并且能够使用各种各样的拓扑和学习算法用于训练神经网络来产生期望的输出。例如,基于软件的神经网络可以使用被配置为运行指令的处理器(例如,单或多核CPU、单个GPU或GPU集群、或被布置用于并行处理的处理器)来实施,所述指令可以被存储在计算机可读介质中,并且所述指令当被运行时使处理器执行用于识别超声图像内的胎儿的各种解剖特征并且在一些范例中输出这样的特征的存在或不存在的指示的机器训练的算法。超声系统可以包括显示或图形处理器,所述显示或图形处理器可操作为在用于显示在超声系统的用户接口上的显示窗口中布置超声图像和/或额外的图形信息,其可以包括要被成像和/或测量的特征的工作列表、注释、组织信息、患者信息、指示符和其他图形部件。在一些实施例中,超声图像和组织信息(包括关于产前解剖特征的存在、不存在和/或身份的信息)可以被提供给存储设备和/或存储器设备,诸如影像归档和通信系统(PACS),以用于报告目的、发育进展跟踪或未来的机器训练(例如,以继续增强神经网络的性能)。在一些范例中,在扫描期间获得的超声图像可以选择性地或自动地例如经过通信网络被发送到被训练为解读图像中体现的信息的专家(例如,产科医生-妇科医生、超声专家、医师或其他临床医生),由此允许用户在各种位置中执行胎儿监测和/或诊断所必要的超声扫描。操作超声成像系统的用户和专家可以在超声扫描期间位于分开的位置中,使得超声图像和/或从其收集的信息的传输可以在地理距离内发生。
图1示出了根据本公开的原理的范例超声系统100。超声系统100可以包括超声数据采集单元110。超声数据采集单元110能够包括超声探头,所述超声探头包括被配置为将超声脉冲114发射到对象的区域116(例如,腹部)中并且接收响应于所发射的脉冲的超声回波118的超声传感器阵列112。区域116可以包括正发育的胎儿(如图所示)或各种各样的其他解剖对象(诸如心脏或腹部)。如进一步示出的,超声数据采集单元110能够包括波束形成器120和信号处理器122,信号处理器能够被配置为生成根据在阵列112处接收的超声回波118来生成一连串离散的超声图像帧124。所述系统还能够包括被配置为实施第一神经网络128的数据处理器126,例如,计算模块或电路。第一神经网络128能够被配置为:直接从信号处理器122或经由数据处理器126接收图像帧124,确定每个帧内的至少一个解剖特征的存在、不存在和/或身份,并且基于这种确定对图像视图(例如,当前图像视图)进行分类。数据处理器126还可以被配置为实施第二神经网络130,第二神经网络能够被配置为接收并处理由第一神经网络128生成的视图分类输出。除了由第一神经网络128生成的视图/帧分类之外,由第二神经网络130接收的特定输出能够包括胎儿移动的指示、相对胎儿位置信息和/或存储的所需的解剖特征和要在胎儿扫描期间获得的其特定测量的列表。这些输出能够从一个或多个处理模块被输入到第二神经网络130,一个或多个处理模块可以被包括在数据处理器126内(图2)。在一些范例中,系统100还包括与数据处理器和用户接口134耦合的显示处理器132。显示处理器132能够将神经网络128、130链接到用户接口134,使得神经网络输出能够被显示在用户接口上或修改被显示在用户接口上的信息。在各种实施例中,用户接口134可以接收直接来自第二神经网络130或在经由数据处理器132的额外处理之后的输出。在一些范例中,显示处理器132可以被配置为:根据直接或间接从数据采集单元110接收的图像帧124来生成超声图像136,并且生成能够包括被更新以反映所获得的图像和/或测量和还未获得的图像和/或测量的工作列表的自适应扫描协议138。在一些范例中,扫描协议138可以传达当前图像帧124内的解剖特征的存在,并且在一些实施例中,这种特征的图像是否足以准确地测量该特征或是否需要该特征的额外图像。用户接口134能够被配置为当超声扫描正被执行时实时显示区域116的超声图像136以及自适应扫描协议138。用户接口134还可以被配置为在超声扫描之前、期间或之后的任何时间接收用户输入140。例如,用户接口134可以是交互性的,接收指示解剖特征已经被评价的确认的用户输入140,并且响应于输入而调整显示。如进一步示出的,扫描协议138也可以被输入到用户接口134中。图1中示出的系统100的配置可以改变。例如,系统100能够是便携式的或固定的。各种便携式设备(例如,笔记本电脑、平板电脑、智能手机等)可以用来实施系统100的一个或多个功能。在包含这样的设备的范例中,超声传感器阵列112可以是例如能经由USB接口连接的。在一些范例中,图1中示出的各种部件可以被组合。例如,第一神经网络128和第二神经网络130可以被合并成单个神经网络。根据这样的实施例,由第一神经网络128生成的输出仍然可以被输入到第二神经网络130中,但是这两个网络例如可以构成更大的分层网络的子部件。
超声数据采集单元110能够被配置为从一个或多个感兴趣区域116采集超声数据,感兴趣区域可以包括胎儿和其特征。超声传感器阵列112可以包括被配置为发射和接收超声能量的至少一个换能器阵列。超声传感器阵列112的设置能够被预先设置用于执行胎儿的产前扫描,并且在实施例中,能够在具体扫描期间响应于胎儿的移动或一个或多个特征的检测而能够容易地调整。各种各样的换能器阵列可以被使用,例如,线性阵列、凸面阵列或相控阵列。在不同的实施例中,被包括在传感器阵列112中的换能器元件的数量和布置可以改变。例如,超声传感器阵列112可以包括分别对应于线性阵列和矩阵阵列探头的换能器元件的1D或2D阵列。2D矩阵阵列可以被配置为在仰角和方位角两者维度上电子地扫描(经由相控阵列波束形成)用于2D或3D成像。除了B模式成像之外,在本文中根据本公开实施的成像模态还能够包括例如剪切波和/或多普勒。
各种各样的用户可以操纵并操作超声数据采集单元110来执行本文中描述的方法。在一些范例中,用户可能是不能高效地识别在给定扫描中采集的胎儿的每个解剖特征的无经验的初学者超声操作者。现有系统的用户通常可能需要以预先指定的顺序遵循已制定的协议,例如评价胎儿头部/脑部,然后股骨,以及然后胎儿面部结构。虽然有经验的用户可能偏离通过这样的协议制定的评价的序列,但是偏离可能需要用户维持完整和不完整任务的精神列表。本文中的系统通过采用与深度学习耦合的成像系统和被配置为提供响应于在扫描期间采集的图像数据和正被评估的胎儿的移动和当前位置的自适应扫描协议的直观用户接口来克服这种问题。参考图1,系统100使得用户能够通过识别所采集的超声图像帧124内的解剖特征并且向用户提供用于采集用于在工作列表中指定的下一所需的解剖特征的图像数据的指令而执行有效的产前评价,所述工作列表可以被更新并且被显示在用户接口134上。因为系统100响应于在当前图像视图中检测到的解剖特征和胎儿的任何当前移动和/或位置,所以能够促进用户以关于数据采集单元110的位置和角度取向适应于胎儿的身体状态的方式获得某些特征的图像以及在一些范例中这样的特征的所需测量。在机械调整机构142(例如,机器人臂)用来控制数据采集单元110的位置和/或取向的范例中,用于采集图像数据的指令可以被传递到控制器144,控制器被配置为使调整机构自动进行必要的调整而无需用户输入。控制器144可以被配置为调整数据采集单元110的位置、取向和/或操作设置作为利用数据处理器126的自动反馈循环的一部分。在一些范例中,控制器144能够接收关于超声传感器阵列112的当前位置和阵列需要移动或转动的方向(其可以至少部分地基于从第一神经网络128和/或第二神经网络130接收的信息)的信息、以及关于当前胎儿位置的信息(图2)。控制器144能够被配备有一个或多个安全特征,例如,被配置为防止调整机构142将过多力施加于胎儿区域116的力传感器。在一些范例中,控制器144被配置为例如经由用户接口134接收关于捕获下一所需的测量和/或图像所必要的换能器阵列112的位置的用户输入140。通过识别解剖特征并且提供用于前进通过产前扫描的精确指令,本文中公开的系统可以导致更准确且更高效的产前评价。
数据采集单元110还可以包括被耦合到超声传感器阵列112的波束形成器120,例如,波束形成器包括微波束形成器或微波束形成器与主波束形成器的组合。波束形成器120可以控制超声能量的发射,例如通过将超声脉冲形成为聚焦波束。波束形成器120还可以被配置为控制超声信号的接收,使得可辨别的图像数据可以在其他系统部件的帮助下被产生并处理。在不同的超声探头种类中,波束形成器120的作用可以改变。在一些实施例中,波束形成器120可以包括两个独立的波束形成器:被配置为接收并处理用于发射到对象内的超声能量的脉冲序列的发射波束形成器、和被配置为对所接收的超声回波信号进行放大、延迟和/或求和的单独的接收波束形成器。在一些实施例中,波束形成器120可以包括被耦合到主波束形成器的微波束形成器,所述微波束形成器对多组传感器元件进行操作以便进行发射和接收波束形成两者,所述主波束形成器对分别用于发射和接收波束形成两者的组输入和输出进行操作。
信号处理器122可以与传感器阵列112和/或波束形成器120通信地、操作性地和/或物理地耦合。在图1中示出的范例中,信号处理器122被包括作为数据采集单元110的集成部分,但是在其他范例中,信号处理器122可以是单独的部件。在一些范例中,信号处理器可以与传感器阵列112一起被容纳,或它可以通过(例如,经由有线或无线连接)被通信地耦合到传感器阵列而物理地分开。信号处理器122可以被配置为接收体现在传感器阵列112处接收的超声回波118的未滤波的且无组织的超声数据。根据这种数据,信号处理器122可以在用户扫描胎儿区域116时连续地生成多个超声图像帧124。
数据处理器126能够被配置为执行多种功能。如上面提到的,数据处理器126能够被配置为实施神经网络128,神经网络能够被配置为将图像分类成截然不同的类别,例如“全视图”、“头部”、“腹部”、“胸部”或“四肢”。子类别能够包括例如“胃部”、“肠”、“脐带”、“肾脏”、“膀胱”、“腿部”、“臂部”、“手部”、“股骨”、“脊柱”、“心脏”、“肺部”、“胃部”、“肠”、“脐带”、“肾脏”或“膀胱”。通过神经网络128确定的分类结构能够适应于当前感兴趣超声区域和/或产前评价协议内的完成的测量。例如,如果感兴趣区域大并且包括解剖特征的多个子类别(诸如肾脏、肝脏和脐带),则神经网络128可以将当前图像分类为“腹部”以及建议的特征和/或要在腹部区域内获得的其测量的指示。
由神经网络128生成的输出能够被输入到第二神经网络130中,在一些范例中,第二神经网络包括被配置为接收多个输入类型的卷积神经网络(CNN)。例如,到第二神经网络130的输入能够包括从第一神经网络128接收器官/视图分类、以及运动检测的二元分类、近似的胎儿位置数据、和/或要根据存储的扫描协议获得的测量的列表。根据这些输入,第二神经网络130能够确定并输出要根据产前评价协议的所需测量获得的建议的下一测量。
系统100还可以包括与数据处理器126和用户接口134耦合的显示处理器132。在各种实施例中,显示处理器132能够被配置为根据图像帧124和包括所需胎儿测量的列表的自适应扫描协议138来生成超声图像136,所需胎儿测量中的每个可以伴随有示出每个测量是否已经被获得的状态指示符。用户接口134可以被配置为当超声扫描正被执行时实时显示并更新自适应扫描协议138。在一些范例中,用户接口134可以还被配置为显示用于以获得下一推荐测量所必要的方式调整数据采集单元110的指令139。在用户接口134处接收的用户输入140能够呈以具体测量已经被获得的手动确认的形式。在一些实施例中,用户输入140可以包括同意或不同意下一推荐测量。以这种方式,用户可以推翻推荐测量。在一些范例中,用户输入140能够包括用于实施对于成像和/或测量特定解剖特征(例如,双顶径、枕额径、头围、腹围长、股骨长、羊水指数等)所必要的具体操作参数的指令。操作参数能够包括焦点深度、脉冲频率、扫描线数、扫描线密度或其他设置。
图2是能够通过数据处理器126来实施的计算模块和神经网络的范例布置的方框图。如图所示,第一神经网络128能够被配置为将由数据采集单元采集并且被输入到网络中的每个个体图像帧124i中的解剖特征和/或视图进行分类。神经网络128生成体现被包括在每个图像帧124i中的(一个或多个)特定子区域和/或解剖特征的分类输出129。运动检测模块146能够被配置为将被包括在相继图像帧124中的线互相关,以检测胎儿组织和/或体液(例如,血流)的移动,生成二元运动输出147。位置近似模块148能够被配置为基于例如正被评估的胎儿的概览视图124ii来确定胎儿的当前位置,并且输出位置指示149。存储的所需解剖特征和其特定测量的列表150也能够被输入到第二神经网络130中,该网络可以涉及确定要推荐给用户的下一最佳测量。神经网络128、130和模块146、148能够被同时地或连续地实施。
运动检测模块146能够被配置为通过实施一个或多个算法(诸如2D互相关算法)来将相继图像帧124互相关。为了减少计算负荷和处理时间,模块146可以在图像帧124的子部分(例如,图像线的子集)上而非全面地对每个图像帧执行互相关操作。由模块146执行的运动检测能够通过消除由于胎儿的运动而必然或可能失败或不准确的胎儿测量来改善总体计算效率。例如,当显著的运动正在发生时,血流和/或心脏评价不应当被执行,与运动检测模块146串接操作的第二神经网络130能够被配置为检测显著的运动正在发生。在一些范例中,运动检测模块146可以单独地或配合一个或多个额外处理器确定与对解剖特征进行分类和/或测量相关联的置信度水平。高置信度水平能够指示通过第一神经网络128确定的视图分类可能是正确的。在一些实施例中,置信度水平可以在第一神经网络128的实施之前被确定,使得低置信度水平指示通过第一神经网络128确定的图像分类将不可能是正确的。根据这样的范例,低置信度水平可以阻止第一神经网络128的实施。在网络被阻止的情况下,用户可以推翻低置信度水平以继续第二神经网络130的图像分类和/或实施。低置信度水平可以由胎儿移动引起。尽管有与对表现出几乎恒定移动的胎儿进行成像相关联的偶尔不可避免的困难,但是手动推翻能力对继续产前扫描可以是必要的。
位置近似模块148能够被配置为相对于数据采集单元110的位置将系统100取向到胎儿的当前位置。例如,考虑到由筛查感兴趣区域116的用户采集的概览视图124ii,胎儿位置和个体胎儿身体部分的相对位置能够被识别。识别胎儿位置可以通过检测一个或多个解剖特征和/或这样的特征之前的空间关系来实现。在一些范例中,识别胎儿位置可以经由卷积特征提取来实现。提取的特征可以被输入到递归神经网络中,例如,所述递归神经网络能够被训练为基于所识别的特征来确定胎儿位置和/或取向。通过位置近似模块148检测的胎儿部分位置能够被馈送到第二神经网络中,以通知下一最佳胎儿测量的确定。例如,如果胎儿正在侧身躺着,则评价相对大的胎儿身体部分(诸如头围或腹围)而非更小特征(诸如鼻子、嘴唇和生殖器)可以是更容易的和/或更高效的。成像和/或获得更大解剖特征的测量可能需要用户在扫描开始时沿一致的取向(例如,横向地从左向右)扫掠超声换能器。
在一些实施例中,存储的所需解剖特征的列表150能够从美国医学超声学会获得,但是已制定的协议也能够从其他实体(例如,加拿大妇产科医生协会)获得。在一些范例中,列表150能够被定制为适合特定用户或机构的需要。第二神经网络130能够使用测量的最综合列表来训练,以增加系统100的鲁棒性。特定用户不感兴趣的解剖特征/测量能够简单地从在特定扫描期间参考的列表150中移除,使得它们不会在扫描期间被系统推荐。
第二神经网络130能够被配置为提供用于能够或应当被获得的下一测量的建议。网络130能够实施推荐系统,诸如图4中示出的推荐系统。下一测量能够基于一个或多个因素来推荐。例如,下一推荐测量可以是能通过实施对用来获得超声图像的超声换能器的最小或最微小调整获得的测量。调整能够包括操作参数,例如,超声换能器的焦点深度、或位置和/或取向。通过以这种方式推荐测量,用户可以通过最小化获得相继测量所需的成像调整的程度来快速地且高效地前进通过扫描。额外地或备选地,下一推荐测量能够是在准确性阈值处或之上能获得的测量。准确性阈值可以建立对于对胎儿的解剖特征进行成像和/或测量来说可接受的图像质量的最小水平。例如,在一些范例中,如果胎儿移动已经被检测到,则本文中的系统不会推荐血流测量,因为这样的测量将是不可靠的,降至用于测量血流的可接受准确性阈值之下。在一些实施例中,阈值可以基于已制定的指南来定义。
图3是根据本发明的原理的被配置为对胎儿图像进行分类的神经网络128的方框图。在所示出的实施例中,神经网络128是卷积神经网络(CNN)。图3中示出的被定制用于检测图像数据中的解剖特征的存在和类型的网络架构仅表示神经层和子层以及其之间的连接性的布置的一个范例,其可以根据本发明的范例来实施。例如,对于被配置为识别更多解剖特征的神经网络,层154的数量可以更大。在各种范例中,图3中示出的网络架构能够通过调整权重和稠密层来修改,以输出具有等于不同解剖特征的数量的长度的多标签分类器。如在上面解释并且在图3中再次示出的,神经网络128能够被训练为接收超声图像帧124形式的输入,超声图像帧可以均包含一个或多个胎儿的零个、一个或多个解剖特征。
在一些实施例中,神经网络128能够使用转移学习来建立。在特定范例中,现有的神经网络模型(例如,Inception v4)能够被修改为根据本公开来执行胎儿视图分类。根据这样的范例,网络128能够利用在产前超声扫描获得的超声图像的大的临床数据库来训练,所述图像集体地包括各种各样的解剖特征。最终层156可以被配置为确定存在于图像内的特定特征,并且在实施例中,基于所识别的(一个或多个)特征对图像视图进行分类。神经网络128然后能够生成传达所识别的特征和/或视图分类的存在、不存在和/或身份的输出。由于这种原因,最终层156可以被称为“输出层”。在一些范例中,神经网络128能够被配置为确定异常是否存在于图像帧中。异常检测可以包含将解剖特征的测量与相同解剖特征的常见测量的存储的范围进行比较,所述存储的范围基于图像的大样本尺寸。观察到的落在测量的常见范围之外的测量能够被标记为潜在异常。
神经网络128可以被至少部分地实施在计算机可读介质中,所述计算机可读介质包括可执行指令,所述可执行指令当被处理器(例如,数据处理器126)运行时可以使处理器执行机器训练的算法以基于所采集的体现于其中的回波信号来确定图像帧中包含的解剖特征的存在、不存在和/或类型。为了训练神经网络128,包括输入阵列和输出分类的多个实例的训练集可以被呈现给神经网络128的(一个或多个)训练算法(例如,AlexNet训练算法,如Krizhevsky,A.,Sutskever,I.和Hinton,G.E.的“ImageNet Classification with DeepConvolutional Neural Networks”(NIPS 2012)或其后续描述的)。
与神经网络128相关联的神经网络训练算法能够被呈现有数千或数百万的训练数据集,以便将神经网络训练为基于所识别的特征的存在来识别解剖特征并表征当前图像视图。在各种范例中,用来训练神经网络128的超声图像的数量可以在大约50,000至200,000或更多的范围内变动。如果更高数量的不同解剖特征要被识别,则用来训练网络的图像的数量可以被增加。对于不同的解剖特征,训练图像的数量可以不同,并且可以取决于某些特征的出现的变化性。例如,某些特征可以在产前发育的某些阶段处比其他特征更一致地出现。训练网络128来识别具有中到高变化性的特征可能需要更多训练图像。在一些实施例中,训练可以被监督。例如,可以包括至少一个解剖特征或视图分类的神经网络128的最终输出可以在超声图像解读中被专家确认或拒绝。
图4是通过第二神经网络130实施的推荐系统158的方框图。在所示出的范例中,推荐系统158包括被配置为提供用于要根据自适应协议获得的下一图像和/或测量的用户建议。如图所示,测量列表、器官、视图分类、胎儿位置和/或其组合形式的输入160能够被传递到行为者162,例如,超声检查师、OBGYN或其他终端用户,其然后可以基于所接收的输入160来推荐某一动作164,例如,下一测量和获得该测量所必要的任何超声探头调整。随着时间,推荐系统158能够学习以将某些输入与特定推荐动作相关联,使得该系统能够响应于在扫描期间接收的输入数据而自动推荐要被采取的某些动作。例如,响应于获得当前图像视图描绘腹部的输入160,系统158能够被配置为推荐胃部被成像和/或接下来测量,紧接着肠和/或脐带。以这种方式,下一推荐图像和/或测量至少部分地基于当前视场,使得用户能够以可以偏离要被评价的解剖特征的顺序的预先指定的列表的直观有效的方式前进通过扫描。推荐系统158能够随着时间基于由用户提供的反馈被训练。例如,当用户同意或确认由该系统推荐的动作时,由推荐系统158响应于输入而推荐的动作能够被加强。同样地,当用户不同意或拒绝由该系统推荐的动作时,由推荐系统158推荐的动作能够被取消,由此教导该系统在未来不响应于相同或类似的输入而推荐所拒绝的动作。
图5是根据本发明的原理的被配置为引导用户通过自适应扫描协议的范例用户接口500。如图所示,实况超声图像502可以与当前视图描述504、运动指示符506和建议的下一测量指示符508同时被显示。此外,解剖特征的工作列表510能够被显示。在一些范例中,测量512和计算514的列表也可以被显示。还示出了当前超声成像参数516。在实施例中,被显示在用户接口500上的项目的选择和布置能够改变。
用户接口500能够显示通过本文中描述的系统确定的图像分类和建议的动作的结果。用户接口500还能够被配置为更新所需测量的工作列表510。在一些范例中,被显示在用户接口500上的一个或多个指示符能够被颜色编码,以通知用户并且以便进程跟踪。例如,完成的测量能够在工作列表510中被绿色编码,而下一推荐测量能够被红色编码,并且当前测量被蓝色编码。在一些实施例中,与当前图像视图分类和/或建议的下一测量相关联的置信度水平也可以例如被显示为当前视图描述504的组分。
在所示出的快照中,胎儿的“全视图”被显示在超声图像502中。根据运动指示符506的“运动检测到”的状态,胎儿的至少一些移动正在发生。基于当前视图、胎儿正在移动的事实和先前获得的图像/测量,根据指示符508,测量头部和/或腹部区域被推荐为下一最佳步骤。
在额外的范例中,用户接口500可以还被配置为根据由本文中的系统生成的自适应协议来引导或帮助用户通过产前扫描。引导能够由第二神经网络130以用于以获得下一推荐图像和/或测量所必要的方式调整超声换能器的一个或多个指令518的形式生成。例如,如果胎儿的头部最近已经被测量,则下一推荐测量可以是腹部区域。为了遵守这种推荐,用户接口500可以显示用于以使得腹部区域的图像能够被获得的方式调整超声换能器的指令518。指令可以包括方向性命令(例如,“横向地移动超声探头”)和/或基于技术的命令(例如,“更慢地移动超声探头”;“减慢”;“停止”;或“继续”)。在一些实施例中,所述指令可以包括一个或多个图像采集参数的修改。例如,用户接口500可以提供改变换能器的成像平面、焦点深度和/或脉冲频率的指令518。在检测到异常的情况下,用户接口500可以提供保持换能器稳定在一个位置处由此允许进一步分析的指令。在成像角度中的稍微调整也可以被推荐以更彻底地表征检测到的异常。
图6是根据本发明的原理的另一超声系统600的方框图。图6中示出的一个或多个部件可以被包括在被配置为生成用于产前评价的自适应扫描协议的系统内。例如,上面描述的信号处理器122的功能中的任一个可以通过图6中示出的处理部件中的一个或多个来实施和/或控制,所述处理部件包括例如信号处理器626、B模式处理器628、扫描转换器630、多平面重新格式化器632、体积绘制器634和/或图像处理器636。
在图6的超声成像系统中,超声探头612包括换能器阵列614,换能器阵列用于将超声波发射到包含胎儿的区域中并且接收响应于所发射的波的回波信息。在各种实施例中,换能器阵列614可以是矩阵阵列或一维线性阵列。换能器阵列可以被耦合到探头612中的微波束形成器616,微波束形成器可以控制通过阵列中的换能器元件对信号的发射和接收。在所示出的范例中,微波束形成器616通过探头电缆被耦合到发射/接收(T/R)开关618,该开关在发射与接收之间切换并且保护主波束形成器622免受高能量发射信号影响。在一些实施例中,T/R开关618和系统中的其他元件能够被包括在换能器探头中而非在单独的超声系统部件中。在微波束形成器616的控制下从换能器阵列614对超声波束的发射可以由被耦合到T/R开关618和波束形成器622的发射控制器620进行引导,发射控制器接收例如来自用户接口或控制面板624的用户操作的输入。可以由发射控制器620控制的功能是波束被转向的方向。波束可以从换能器阵列向前笔直地(正交于换能器阵列)或以用于更宽视场的不同角度被转向。由微波束形成器616产生的部分波束形成的信号被耦合到主波束形成器622,其中,来自换能器元件的个体贴片的部分波束形成的信号被组合成完全波束形成的信号。
波束形成的信号可以被传递到信号处理器626。信号处理器626可以以各种方式处理接收到的回波信号,诸如带通滤波、抽取、I和Q分量分离和/或谐波信号分离。信号处理器626也可以经由散斑减少、信号复合和/或噪声取消来执行额外的信号增强。在一些范例中,通过由被信号处理器626采用的不同处理技术生成的数据可以被数据处理器和/或至少一个神经网络用来识别一个或多个解剖特征和/或图像视图,并且推荐要被获得的下一图像和/或测量。经处理的信号可以被耦合到B模式处理器628,其可以采用幅度检测用于对身体中的结构进行成像。由B模式处理器628产生的信号可以被耦合到扫描转换器630和多平面重新格式化器632。扫描转换器630可以以它们以期望的图像格式被接收的空间关系布置回波信号。例如,扫描转换器630可以将回波信号布置成二维(2D)扇形格式。多平面重新格式化器632可以将从身体的体积区域中的共同平面中的点接收的回波转换成该平面的超声图像,如在美国专利No.6,443,896(Detmer)中描述的。在一些范例中,体积绘制器634可以将3D数据集的回波信号转换成如从给定参考点观察到的投影的3D图像,例如,如在美国专利No.6,530,885(Entrekin等人)中描述的。2D或3D图像可以从扫描转换器630、多平面重新格式化器632和体积绘制器634被传递到图像处理器636用于进一步增强、缓冲和/或暂时存储以便显示在图像显示器637上。在其显示之前,神经网络638可以被实施为基于在其中识别的解剖特征来对每幅图像进行分类。在实施例中,神经网络638可以被实施在各种处理阶段处,例如在由图像处理器636、体积绘制器634、多平面重新格式化器632和/或扫描转换器630执行的处理之前。在一些范例中,多于一个神经网络可以被实施,使得图6中示出的神经网络638表示两个或更多个神经通信地耦合的网络。图形处理器640能够生成用于与超声图像一起显示的图形叠加。这些图形叠加可以包含例如标准识别信息(诸如患者姓名、图像的日期和时间、成像参数等)、以及还有由神经网络638生成的各种输出(诸如根据存储的工作列表传达在当前图像中体现的一个或多个解剖特征的存在、不存在和/或身份和/或各种解剖特征是否已经被观察和/或测量和/或哪些解剖特征还未被观察和/或测量的一个或多个指示符)。图形叠加还可以包括用于以获得产前评价所需的图像和/或测量所必要的方式引导系统600的用户通过自适应超声扫描的视觉指令,例如,文本和/或符号。在一些范例中,图形处理器可以接收来自用户接口624的输入,诸如键入的患者姓名或从该接口显示或发出的指令已经被系统600的用户承认和/或实施的确认。用户接口624还可以接收关于特定成像模态和被包括在这样的模态中的操作参数的选择的输入、促进对由系统600使用的设置和/或的参数的调整的输入、请求用于执行超声扫描的额外指令或辅助的输入、和/或请求一幅或多幅超声图像被保存和/或被传输到远程接收器的输入。用户接口也可以被耦合到多平面重新格式化器632用于选择和控制多个多平面重新格式化(MPR)图像的显示。
图7是根据本公开的原理执行的超声成像的方法的流程图。范例方法700示出了可以以任何顺序被本文中描述的系统和/或装置用于确定要在自适应扫描协议期间获得的下一测量的步骤,所述自适应扫描协议可以由遵守由系统生成的指令的初学者用户和/或机器人超声装置来执行。方法700可以由超声成像系统(诸如系统100或其他系统(包括例如移动系统,诸如皇家飞利浦有限公司(“飞利浦”)的LUMIFY))执行。额外的范例系统可以包括也由飞利浦生产的SPARQ和/或EPIQ。
在所示出的实施例中,方法700在方框702处通过“采集响应于由被操作性地耦合到超声系统的换能器发射到目标区域中的超声脉冲的回波信号”开始。
在方框704处,该方法包含“根据超声回波来生成至少一个图像帧”。
在方框706处,该方法包含“将图像帧提供到第一神经网络,第一神经网络被配置为识别图像帧中的对象的解剖特征”。
在方框708处,该方法包含“将解剖特征的指示提供到第二神经网络,第二神经网络被配置为根据所需测量的列表部分地基于由第一神经网络识别的解剖特征来确定要被获得的解剖测量”。
在方框710处,该方法包含“使与要被获得的解剖测量的指示符被显示在与处理器通信的用户接口上”。
在使用诸如基于计算机的系统或可编程逻辑的可编程器件来实现部件、系统和/或方法的各种实施例中,应当意识到,上述系统和方法可以使用诸如“C”、“C++”、“FORTRAN”、“Pascal”,“VHDL”等的各种已知或以后开发的编程语言来实现。相应地,可以准备各种存储介质,诸如磁性计算机磁盘、光盘、电子存储器等,其可以包含可以引导诸如计算机的设备以实现上述系统和/或方法的信息。一旦适当的设备能够访问存储介质上包含的信息和程序,存储介质就可以向设备提供信息和程序,从而使设备能够执行本文描述的系统和/或方法的功能。例如,如果向计算机提供包含适当材料(例如源文件、目标文件、可执行文件等)的计算机磁盘,则计算机可以接收该信息,适当地配置其自身并执行在上面的图表和流程图中概述的各种系统和方法的功能以实现各种功能。也就是说,计算机可以从磁盘接收涉及上述系统和/或方法的不同元件的信息的各个部分,实现个体系统和/或方法并协调以上所描述的个体系统和/或方法的功能。
鉴于本公开,要注意的是,本文描述的各种方法和设备可以以硬件、软件和固件来实现。此外,各种方法和参数仅通过范例而不是以任何限制意义被包括。鉴于本公开,本领域普通技术人员可以实现本教导以确定它们自己的技术和实现这些技术需要的设备,同时保持在本发明的范围内。本文中描述的处理器中的一个或多个的功能性可以被并入到更少数量或单个处理单元(例如,CPU)内,并且可以使用被编程为响应于可执行指令而执行本文中描述的功能的专用集成电路(ASIC)或通用处理电路来实现。
尽管本系统可以已经具体参考超声成像系统进行描述,但是也设想到,本系统可以被扩展到其他医学成像系统,其中,一幅或多幅图像以系统化方式来获得。因此,本系统可以用于获得和/或记录与肾脏、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾脏、心脏、动脉和血管系统有关(但不限于此)的图像信息,以及与超声引导的介入有关的其他成像应用。此外,本系统还可以包括可以与常规成像系统一起使用的一个或多个程序,使得它们可以提供本系统的特征和优点。在研究本公开后,本公开的某些额外优点和特征对本领域技术人员而言可以是显而易见的,或者可以由采用本公开的新颖系统和方法的人员体验。本系统和方法的另一优点可以是常规医学图像系统可以被容易地升级以并入本系统、设备和方法的特征和优点。
当然,应认识到,本文描述的范例、实施例或过程中的任一个可以与一个或多个其他范例、实施例和/或过程组合或分离,和/或根据本系统、设备和方法在分离的设备或设备部分之中被执行。
最后,上述讨论仅仅旨在说明本系统,并且不应被理解为将随附权利要求限制到任何特定实施例或实施例的组。因此,虽然已经参考示范性实施例特别详细地描述了本系统,但是也应认识到,本领域普通技术人员可以设想出许多修改和备选实施例,而不偏离如在随附权利要求中所阐述的本系统的更广泛的且意图的精神和范围。因此,说明书和附图应被认为是说明性的,而不是要限制随附权利要求书的范围。

Claims (20)

1.一种超声成像系统,包括:
超声换能器,其被配置为采集响应于朝向目标区域发射的超声脉冲的回波信号;以及
一个或多个处理器,其与所述超声换能器通信并且被配置为:
根据所述超声回波来生成至少一个图像帧;
将所述图像帧提供到第一神经网络,所述第一神经网络被配置为识别所述图像帧中的对象的解剖特征;
将所述解剖特征的指示提供到第二神经网络,所述第二神经网络被配置为根据所需测量的列表部分地基于由所述第一神经网络识别的所述解剖特征来确定要被获得的解剖测量;并且
使要被获得的所述解剖测量的指示符被显示在与所述处理器通信的用户接口上。
2.根据权利要求1所述的超声成像系统,其中,所述处理器还被配置为生成用于基于要被获得的所述解剖测量来调整所述超声换能器的指令。
3.根据权利要求1所述的超声成像系统,其中,所述处理器还被配置为识别所述对象的移动和所述对象的当前位置。
4.根据权利要求3所述的超声成像系统,其中,所述处理器还被配置为将所述对象的所述移动和当前位置的指示提供到所述第二神经网络,所述第二神经网络被配置为部分地基于所述对象的所述移动和当前位置来确定要被获得的所述解剖测量。
5.根据权利要求3所述的超声成像系统,其中,所述处理器被配置为通过将根据所述超声回波生成的相继图像帧的线的子集互相关来识别所述对象的移动。
6.根据权利要求3所述的超声成像系统,其中,所述处理器被配置为通过从所述图像帧提取解剖特征并且将所提取的解剖特征输入到递归神经网络中来识别所述对象的当前位置。
7.根据权利要求1所述的超声成像系统,其中,所述第二神经网络被配置为实施推荐系统,所述推荐系统被配置为将由所述第一神经网络识别的所述解剖特征与用于获得要被获得的所述解剖测量的动作相关联。
8.根据权利要求1所述的超声成像系统,其中,所述第一神经网络与被配置为接收训练输入和已知输出的阵列的训练算法操作性地相关联,其中,所述训练输入包括包含对象的解剖特征的超声图像帧,并且所述已知输出包括基于所述解剖特征的视图分类。
9.根据权利要求1所述的超声成像系统,其中,所述用户接口被配置为显示所需测量的所述列表。
10.根据权利要求9所述的超声成像系统,其中,所述用户接口被配置为部分地基于已经被用户获得的测量来更新所需测量的所述列表。
11.根据权利要求1所述的超声成像系统,其中,要被获得的所述解剖测量包括能通过实施所述超声换能器的最小可能调整获得的测量。
12.根据权利要求1所述的超声成像系统,其中,要被获得的所述解剖测量包括在准确性阈值处或之上能获得的测量。
13.一种超声成像的方法,所述方法包括:
采集响应于由被操作性地耦合到超声系统的换能器发射到目标区域中的超声脉冲的回波信号;
根据所述超声回波来生成至少一个图像帧;
将所述图像帧提供到第一神经网络,所述第一神经网络被配置为识别所述图像帧中的对象的解剖特征;
将所述解剖特征的指示提供到第二神经网络,所述第二神经网络被配置为根据所需测量的列表部分地基于由所述第一神经网络识别的所述解剖特征来确定要被获得的解剖测量;以及
使要被获得的所述解剖测量的指示符被显示在与所述处理器通信的用户接口上。
14.根据权利要求13所述的方法,还包括生成用于基于要被获得的所述解剖测量来调整所述超声换能器的指令。
15.根据权利要求13所述的方法,还包括识别所述对象的移动和所述对象的当前位置。
16.根据权利要求15所述的方法,还包括将所述对象的所述移动和当前位置的指示提供到确定要被获得的所述解剖测量的所述第二神经网络。
17.根据权利要求15所述的方法,其中,识别所述对象的所述移动包括将根据所述超声回波生成的相继图像帧的线的子集互相关。
18.根据权利要求15所述的方法,其中,识别所述对象的所述当前位置包括从所述图像帧提取解剖特征并且将所提取的解剖特征输入到递归神经网络中。
19.根据权利要求13所述的方法,还包括部分地基于已经被用户获得的测量来显示并更新所需测量的所述列表。
20.一种非瞬态计算机可读介质,包括可执行指令,所述可执行指令当被运行时使医学成像系统的处理器执行根据权利要求13-19中的任一项所述的方法。
CN201980027163.XA 2018-04-20 2019-04-11 自适应超声扫描 Pending CN112040876A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862660332P 2018-04-20 2018-04-20
US62/660332 2018-04-20
PCT/EP2019/059208 WO2019201726A1 (en) 2018-04-20 2019-04-11 Adaptive ultrasound scanning

Publications (1)

Publication Number Publication Date
CN112040876A true CN112040876A (zh) 2020-12-04

Family

ID=66240088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980027163.XA Pending CN112040876A (zh) 2018-04-20 2019-04-11 自适应超声扫描

Country Status (5)

Country Link
US (2) US11850038B2 (zh)
EP (1) EP3781039B1 (zh)
JP (1) JP7330207B2 (zh)
CN (1) CN112040876A (zh)
WO (1) WO2019201726A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113647976A (zh) * 2021-08-17 2021-11-16 逸超科技(北京)有限公司 回波数据封装方法、装置、设备及可读存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3075334C (en) * 2017-09-07 2021-08-31 Piur Imaging Gmbh Apparatus and method for determining motion of an ultrasound probe
CN113194837A (zh) * 2018-12-17 2021-07-30 皇家飞利浦有限公司 用于帧索引和图像复查的系统和方法
US11064977B2 (en) * 2019-01-04 2021-07-20 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Preset free imaging for ultrasound device
US11844654B2 (en) * 2019-08-19 2023-12-19 Caption Health, Inc. Mid-procedure view change for ultrasound diagnostics
EP3838163A1 (en) * 2019-12-17 2021-06-23 Koninklijke Philips N.V. Method and system for improved ultrasound plane acquisition
EP3868303A1 (en) * 2020-02-18 2021-08-25 Koninklijke Philips N.V. Ultrasound guidance method and system
US20230137369A1 (en) * 2020-04-16 2023-05-04 Koninklijke Philips N.V. Aiding a user to perform a medical ultrasound examination
US11532084B2 (en) 2020-05-11 2022-12-20 EchoNous, Inc. Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification
US11523801B2 (en) 2020-05-11 2022-12-13 EchoNous, Inc. Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
EP3964136A1 (en) * 2020-09-02 2022-03-09 Diagnoly System and method for guiding a user in ultrasound assessment of a fetal organ
JP2022044887A (ja) * 2020-09-08 2022-03-18 キヤノンメディカルシステムズ株式会社 超音波診断装置およびプログラム
US11636593B2 (en) 2020-11-06 2023-04-25 EchoNous, Inc. Robust segmentation through high-level image understanding
US20230125779A1 (en) * 2021-10-25 2023-04-27 EchoNous, Inc. Automatic depth selection for ultrasound imaging
US20230148991A1 (en) * 2021-11-18 2023-05-18 EchoNous, Inc. Automatically detecting and quantifying anatomical structures in an ultrasound image using a customized shape prior

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090093717A1 (en) * 2007-10-04 2009-04-09 Siemens Corporate Research, Inc. Automated Fetal Measurement From Three-Dimensional Ultrasound Data
US20090270732A1 (en) * 2008-04-25 2009-10-29 Toshiba Medical Systems Corporation Ultrasound imaging apparatus and method for processing ultrasound image
CN102458259A (zh) * 2009-06-09 2012-05-16 皇家飞利浦电子股份有限公司 利用超声识别移动的解剖结构的方法和装置
US20160038122A1 (en) * 2014-08-05 2016-02-11 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus
CN106097427A (zh) * 2015-03-12 2016-11-09 美国西门子医疗解决公司 子容积的连续定向的增强超声成像
DE102015218531A1 (de) * 2015-09-28 2017-03-30 Robert Bosch Gmbh Verfahren zum Positionieren eines Handgeräts auf einer Körperoberfläche, Steuergerät, Handgerät und Messsystem
US20170360412A1 (en) * 2016-06-20 2017-12-21 Alex Rothberg Automated image analysis for diagnosing a medical condition

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553620A (en) * 1995-05-02 1996-09-10 Acuson Corporation Interactive goal-directed ultrasound measurement system
US6149594A (en) * 1999-05-05 2000-11-21 Agilent Technologies, Inc. Automatic ultrasound measurement system and method
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US7453382B2 (en) 2007-01-10 2008-11-18 Infineon Technologies Ag Method and apparatus for A/D conversion
US20100217123A1 (en) 2009-02-23 2010-08-26 Aharon Eran Methods and systems of managing ultrasonographic diagnosis
US20160000401A1 (en) 2014-07-07 2016-01-07 General Electric Company Method and systems for adjusting an imaging protocol
US20160081659A1 (en) 2014-09-24 2016-03-24 General Electric Company Method and system for selecting an examination workflow
KR102356719B1 (ko) * 2014-12-01 2022-01-27 삼성메디슨 주식회사 초음파 영상 장치 및 그 동작 방법
US10709416B2 (en) 2015-06-30 2020-07-14 Wisconsin Alumni Research Foundation Obstetrical imaging at the point of care for untrained or minimally trained operators
US9924927B2 (en) * 2016-02-22 2018-03-27 Arizona Board Of Regents On Behalf Of Arizona State University Method and apparatus for video interpretation of carotid intima-media thickness
US20170273663A1 (en) 2016-03-24 2017-09-28 Elwha Llc Image processing for an ultrasonic fetal imaging device
US20180042578A1 (en) * 2016-08-12 2018-02-15 Carestream Health, Inc. Automated ultrasound image measurement system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090093717A1 (en) * 2007-10-04 2009-04-09 Siemens Corporate Research, Inc. Automated Fetal Measurement From Three-Dimensional Ultrasound Data
US20090270732A1 (en) * 2008-04-25 2009-10-29 Toshiba Medical Systems Corporation Ultrasound imaging apparatus and method for processing ultrasound image
CN102458259A (zh) * 2009-06-09 2012-05-16 皇家飞利浦电子股份有限公司 利用超声识别移动的解剖结构的方法和装置
US20160038122A1 (en) * 2014-08-05 2016-02-11 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus
CN106097427A (zh) * 2015-03-12 2016-11-09 美国西门子医疗解决公司 子容积的连续定向的增强超声成像
DE102015218531A1 (de) * 2015-09-28 2017-03-30 Robert Bosch Gmbh Verfahren zum Positionieren eines Handgeräts auf einer Körperoberfläche, Steuergerät, Handgerät und Messsystem
US20170360412A1 (en) * 2016-06-20 2017-12-21 Alex Rothberg Automated image analysis for diagnosing a medical condition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JANG, J: "《automatic estimation of fetal abdominal circumference from ultrasound images》", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, pages 1512 - 1520 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113647976A (zh) * 2021-08-17 2021-11-16 逸超科技(北京)有限公司 回波数据封装方法、装置、设备及可读存储介质
CN113647976B (zh) * 2021-08-17 2023-08-15 逸超科技(武汉)有限公司 回波数据封装方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
EP3781039B1 (en) 2023-11-22
US11850038B2 (en) 2023-12-26
JP2021520939A (ja) 2021-08-26
US20210137416A1 (en) 2021-05-13
WO2019201726A1 (en) 2019-10-24
JP7330207B2 (ja) 2023-08-21
EP3781039A1 (en) 2021-02-24
US20240074675A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
US20240074675A1 (en) Adaptive ultrasound scanning
JP7168664B2 (ja) 画像アーチファクトを検出するインテリジェント超音波システム
US11766235B2 (en) Intelligent ultrasound-based fertility monitoring
EP3776353B1 (en) Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient
US11488298B2 (en) System and methods for ultrasound image quality determination
JP7237147B2 (ja) バイオメトリック測定及び品質評価
US11883229B2 (en) Methods and systems for detecting abnormal flow in doppler ultrasound imaging
US11564663B2 (en) Ultrasound imaging apparatus and control method thereof
US20220233171A1 (en) Systems and methods for controlling volume rate
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
US20140153358A1 (en) Medical imaging system and method for providing imaging assitance
US20210077062A1 (en) Device and method for obtaining anatomical measurements from an ultrasound image
US11941806B2 (en) Methods and systems for automatic assessment of fractional limb volume and fat lean mass from fetal ultrasound scans
WO2024047143A1 (en) Ultrasound exam tracking
WO2024041917A1 (en) Automated neural network selection for ultrasound

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination