CN114845642A - 用于超声成像的智能测量辅助以及相关联的设备、系统和方法 - Google Patents

用于超声成像的智能测量辅助以及相关联的设备、系统和方法 Download PDF

Info

Publication number
CN114845642A
CN114845642A CN202080089399.9A CN202080089399A CN114845642A CN 114845642 A CN114845642 A CN 114845642A CN 202080089399 A CN202080089399 A CN 202080089399A CN 114845642 A CN114845642 A CN 114845642A
Authority
CN
China
Prior art keywords
image
measurement
images
measurement data
processor circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080089399.9A
Other languages
English (en)
Inventor
F·C·梅拉尔
S·巴拉特
G·A·托波雷克
M·A·巴利茨
R·斯里尼瓦萨奈杜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114845642A publication Critical patent/CN114845642A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37269—Ultrasonic, ultrasound, sonar

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Pregnancy & Childbirth (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

提供了超声图像设备、系统和方法。一种超声成像系统包括处理器电路，所述处理器电路与超声换能器阵列通信，所述处理器电路被配置为从所述超声换能器阵列接收包括解剖特征的患者的解剖结构的三维(3D)体积的一组图像；获得所述一组图像中的第一图像中的所述解剖特征的第一测量数据；通过将所述第一测量数据从所述第一图像传播到所述一组图像中的一幅或多幅图像来生成针对所述一幅或多幅图像中的所述解剖特征的第二测量数据；并且将针对所述解剖特征的所述第二测量数据输出到与所述处理器电路通信的显示器。

Description

用于超声成像的智能测量辅助以及相关联的设备、系统和 方法
技术领域
本公开总体涉及超声成像，并且具体涉及提供来自超声图像的解剖特征的自动化测量。
背景技术
超声成像系统广泛用于医学成像。例如，医学超声系统可以包括耦合到处理系统和一个或多个显示设备的超声换能器探头。超声换能器探头可以包括将声波发射到患者身体中并记录从患者身体内的内部解剖学结构反射的声波的超声换能器元件的阵列，所述内部解剖学结构可以包括组织、血管和内部器官。声波的发射和/或反射声波或回波响应的接收可以由相同超声换能器元件组或不同超声换能器元件组执行。处理系统可以将波束形成、信号处理和/或成像处理应用于接收到的回波响应，以创建患者的内部解剖学结构的图像。图像可以以亮度模式(B模式)图像的形式呈现给临床医师，其中，图像的每个像素由对应于回波强度的亮度水平或强度水平表示。
超声成像可以用于诊断检查、介入和/或处置。此外，超声成像可以用作用于测量解剖特征的量化工具。例如，在产科检查期间，超声成像可以用于捕获由孕妇携带的胎儿的图像，并且临床医师可以基于来自超声图像的胎儿头部或胎儿的其他部分的测量来评价胎儿生长。备选地，在心脏检查期间，超声成像可以用于捕获患者心脏的图像，并且临床医师可以根据超声图像执行定量心脏测量。
为了根据超声图像执行测量，临床医师可以将测量点(例如，卡尺)放置在图像内的感兴趣区上。处理系统可以配备有可以基于测量点来确定感兴趣区的测量结果的软件。测量点可以操作为要进行测量的端点。各种超声测量工具可用于当今的超声换能器，诸如图像中的点相对于换能器表面的深度、感兴趣区域(ROI)中的两个点之间的距离、基于放置在ROI的周边上的点的圆的直径、基于放置在ROI的周边上的点的椭圆体的长轴和/或短轴测量结果。然而，所有这些测量结果都是从2D图像测量的三维(3D)解剖学结构的一维或二维(1D/2D)表示。这样一来，测量结果本身和从其导出的图像来自实际解剖学结构的更低维度表示。超声医师意识到这种限制，并且因此可以使用图像中的额外的特征来确保成像平面是要测量的3D解剖结构的代表性横截面。因此，测量可以根据超声医师而变化，并且定位最佳测量平面的过程能够是耗时的。
发明内容
依然存在对于用于提供有效且准确的基于超声图像的解剖特征测量结果的改进的系统和技术的临床需要。本公开的实施例提供了用于根据超声图像进行自动化解剖特征测量的技术。在所公开的实施例中，超声成像系统可以利用所跟踪的超声探头来采集感兴趣解剖特征(例如，胎儿头部或心脏腔室)周围的一组图像帧。超声探头可以装配有惯性测量跟踪器(例如，包括加速度计、陀螺仪和/或传感器)，其可以在图像采集期间提供超声探头的位置和/或运动信息。此外，超声探头可以包括可以由外部电磁(EM)跟踪和/或光学跟踪系统跟踪的标记。可以基于所采集的图像和探头的所跟踪的位置和/或运动信息来重建包围感兴趣解剖特征的三维(3D)体积。3D体积可以包围用于测量感兴趣解剖特征的最佳测量平面。临床医师可以将测量标记(例如，卡尺)放置在图像的第一图像上以用于目标测量(例如，胎儿头部的最大长度或直径或心脏腔室宽度)。系统可以通过利用预测网络(例如，深度学习网络)基于重建3D体积将测量标记从第一图像传播到其他采集图像来向临床医师提供测量辅助。此外，预测网络可以被训练为根据重建3D体积创建多平面重建(MPR)，并将测量标记从第一图像传播到所有MPR。因此，预测网络可以提供用于获得感兴趣特征的最佳测量结果的交叉平面(例如，MPR)。此外，预测网络可以被训练为从图像分割感兴趣解剖特征，并基于分割的特征执行测量。预测网络可以基于从所有图像获得的测量结果、测量结果的统计和/或测量结果的置信度来输出最终测量。
在一个实施例中，一种超声成像系统包括与超声换能器阵列通信的处理器电路，所述处理器电路被配置为：从所述超声换能器阵列接收包括解剖特征的患者的解剖结构的三维(3D)体积的一组图像；获得所述一组图像中的第一图像中的所述解剖特征的第一测量数据；通过将所述第一测量数据从所述第一图像传播到所述一组图像中的一幅或多幅图像来生成针对所述一幅或多幅图像中的所述解剖特征的第二测量数据；并且将针对所述解剖特征的所述第二测量数据输出到与所述处理器电路通信的显示器。
在一些方面中，所述系统还可以包括其中被配置为获得所述第一测量数据的所述处理器电路被配置为：从与所述处理器电路通信的用户接口接收包括跨所述第一图像上的所述解剖特征的至少两个测量标记的所述第一测量数据。在一些方面中，所述系统还可以包括其中所述一组图像与跨包括所述解剖特征的所述患者的解剖结构的所述3D体积的多个成像平面相关联。在一些方面中，所述系统还可以包括其中被配置为生成所述第二测量数据的所述处理器电路被配置为：基于所述超声换能器阵列相对于所述多个成像平面的位置数据将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。在一些方面中，所述系统还可以包括其中被配置为生成所述第二测量数据的所述处理器电路被配置为：基于所述超声换能器阵列的所述位置数据来确定针对所述第一图像和所述一幅或多幅图像的3D空间数据；并且基于所述3D空间数据将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。在一些方面中，所述系统还可以包括探头，其包括所述超声换能器阵列和惯性测量跟踪器，其中，所述处理器电路被配置为：从所述惯性测量跟踪器接收与所述超声换能器阵列和所述多个成像平面相关联的惯性测量数据，并且其中，被配置为确定所述3D空间数据的所述处理器电路被配置为：基于所述惯性测量数据和惯性测量数据到图像变换来确定所述超声换能器阵列相对于所述多个成像平面的所述位置数据。在一些方面中，所述系统还可以包括其中所述处理器电路被配置为：基于所述第一测量数据和所述第二测量数据来生成针对所述解剖特征的第三测量数据，其中，所述第三测量数据与所述多个成像平面中的第一成像平面或所述3D体积内不同于所述多个成像平面的第二成像平面中的至少一个平面相关联；并且将所述第三测量数据输出到所述显示器。在一些方面中，所述系统还可以包括其中所述第二成像平面与所述第一成像平面相交。在一些方面中，所述系统还可以包括其中所述第三测量数据包括以下各项中的至少一项：所述第二测量数据、跨所述解剖特征的两个测量标记之间的距离、所述第一测量数据的置信度度量、所述第二测量数据的置信度度量、所述第一测量数据和所述第二测量数据的平均值、所述第一测量数据和所述第二测量数据的方差或者所述第一测量数据和所述第二测量数据的标准偏差。在一些方面中，所述系统还可以包括用户接口，其与所述处理器电路通信并且被配置为提供与所述第三测量数据相关联的选择。在一些方面中，所述系统还可以包括其中被配置为生成针对所述一幅或多幅图像中的所述解剖特征的所述第二测量数据的所述处理器电路被配置为：基于图像分割将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。在一些方面中，所述系统还可以包括其中被配置为生成所述一幅或多幅图像中的所述解剖特征的所述第二测量数据的所述处理器电路被配置为使用针对图像分割或特征测量中的至少一个训练的预测网络将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。在一些方面中，所述系统还可以包括其中所述预测网络是在针对所述特征测量结果的一组图像-测量结果对上训练的，并且其中，所述一组图像-测量结果对中的每个图像-测量结果对包括3D解剖体积的图像的序列中的图像和针对所述图像的所述3D解剖体积的特征的测量结果。在一些方面中，所述系统还可以包括其中所述预测网络是在针对所述图像分割的一组图像-分割对上训练的，其中，所述一组图像-分割对中的每个图像-分割对包括3D解剖体积的图像的序列中的图像和针对所述图像的所述3D解剖体积的特征的分割。在一些方面中，所述系统还可以包括其中所述解剖特征包括胎儿头部，并且其中，所述第一测量数据和所述第二测量数据与所述胎儿头部的周长或所述胎儿头部的长度中的至少一项相关联。在一些方面中，所述系统还可以包括其中所述解剖特征包括左心室，并且其中，所述第一测量数据和所述第二测量数据与所述左心室的宽度、高度、面积或体积中的至少一项相关联。
在一个实施例中，一种超声成像方法，包括：在与超声换能器阵列通信的处理器电路处接收包括解剖特征的患者的解剖结构的三维(3D)体积的一组图像；获得所述一组图像中的第一图像中的所述解剖特征的第一测量数据；在所述处理器电路处通过将所述第一测量数据从所述第一图像传播到所述一组图像中的一幅或多幅图像来生成针对所述一幅或多幅图像中的所述解剖特征的第二测量数据；并且将针对所述解剖特征的所述第二测量数据输出到与所述处理器电路通信的显示器。
在一些方面中，所述方法还可以包括其中获得所述第一测量数据包括从与所述处理器电路通信的用户接口接收包括跨所述解剖特征的至少两个测量标记的所述第一测量数据。在一些方面中，所述方法还可以包括其中所述一组图像与跨包括所述解剖特征的所述患者的解剖结构的所述3D体积的多个成像平面相关联；并且生成所述第二测量数据包括基于所述超声换能器阵列相对于所述多个成像平面的位置数据来确定针对所述第一图像和所述一幅或多幅图像的3D空间数据；并且基于所述3D空间数据将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。在一些方面中，所述方法还可以包括从与所述处理器电路通信的惯性测量跟踪器接收与所述超声换能器阵列相关联的惯性测量数据，并且基于所述惯性测量数据和惯性测量结果到图像变换来确定所述超声换能器阵列相对于所述第一图像和所述一幅或多幅图像的位置数据。
根据以下详细描述，本公开的额外的方面、特征和优点将变得显而易见。
附图说明
将参考附图描述本公开的说明性实施例，其中：
图1是根据本公开的方面的超声成像系统的示意图。
图2是根据本公开的方面的自动化的基于超声图像的测量方案的示意图。
图3是根据本公开的方面的自动化的基于超声图像的测量方案的示意图。
图4是根据本公开的方面的自动化的基于超声图像的测量方案的示意图。
图5是根据本公开的方面的自动化的基于深度学习、超声图像的测量方案的示意图。
图6是根据本公开的方面的用于基于超声图像的测量的深度学习网络配置的示意图。
图7是根据本公开的方面的基于超声图像的测量的深度学习网络训练方案的示意图。
图8是根据本公开的方面的自动化的基于深度学习、超声图像的测量方案的示意图。
图9是根据本公开的方面的用于自动化的基于超声图像的测量系统的用户接口的示意图。
图10是根据本公开的实施例的处理器电路的示意图。
图11是根据本公开的方面的基于深度学习、超声图像的测量方法的流程图。
具体实施方式
为了促进对本公开原理的理解的目的，现在将参考附图中图示的实施例，并且将使用特定语言来描述其。然而应理解，不旨在限制本公开的范围。如本公开涉及领域的技术人员通常会想到的，对所描述的设备、系统和方法的任何改变和进一步的修改以及对本公开的原理的任何进一步应用被充分地预期并包括在本公开内。特别地，完全预期，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。然而，为了简洁起见，将不单独描述这些组合的许多迭代。
图1是根据本公开的方面的超声成像系统100的示意图。系统100用于扫描患者身体的区域或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110包括换能器阵列112、波束形成器114、处理器电路116和通信接口118。主机130包括显示器132、处理器电路134以及通信接口136。
在示例性实施例中，探头110是包括被配置用于由用户手持操作的壳体的外部超声成像设备。换能器阵列112可以被配置成在用户抓握探头110的壳体时获得超声数据，使得换能器阵列112被定位成邻近患者的皮肤和/或与患者的皮肤接触。探头110被配置为在探头110被定位于患者身体外部时获得患者身体内的解剖结构的超声数据。在一些实施例中，探头110能够是适于胎儿检查的外部超声探头。在一些其他实施例中，探头110可以是适于心脏检查经胸(TTE)探头或经食管(TEE)超声探头。
换能器阵列112朝向患者的解剖对象105发射超声信号并且接收从对象105反射回换能器阵列112的回波信号。超声换能器阵列112可以包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些实例中，换能器阵列112包括单个声学元件。在一些实例中，换能器阵列112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列。例如，换能器阵列112可以包括在1个声学元件和10000个声学元件之间，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件、1000个声学元件、3000个声学元件、8000个声学元件的值和/或更大和更小两者的其他值。在一些实例中，换能器阵列112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列，诸如线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如1.5D阵列)或二维(2D)阵列。可以一致或独立地控制和激活的声学元件的阵列(例如，一个或多个行、一个或多个列和/或一个或多个取向)。换能器阵列112可以被配置为获得患者解剖结构的一维图像、二维图像和/或三维图像。在一些实施例中，换能器阵列112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。
对象105可以包括适合于超声成像检查的任何解剖结构，诸如患者和/或怀孕母亲内的胎儿的血管、神经纤维、气道、二尖瓣小叶、心脏结构、腹部组织结构、肾脏和/或肝脏。在一些实施例中，对象105可以包括患者的心脏、肺和/或皮肤的至少部分。本公开可以在任何数量的解剖位置和组织类型的背景下实施，包括但不限于器官，包括肝脏、心脏、肾脏、胆囊、胰腺、肺；管道；肠；神经系统结构，包括脑、硬膜囊、脊髓和外周神经；泌尿道；以及血管、血液、心脏的腔室或其他部分、怀孕母亲的子宫和/或身体的其他系统内的瓣膜。在一些实施例中，对象105可以包括恶性肿瘤，诸如肿瘤、囊肿、病变、出血或人体解剖结构的任何部分内的血池。解剖结构可以是血管，如患者的血管系统的动脉或静脉，所述血管系统包括心脏血管、外周血管、神经血管、肾脏血管和/或身体内部的任何其他适当的内腔。除了自然结构，本公开可以在人造结构(诸如但不限于心脏瓣膜、支架、分流器、过滤器、植入物和其他设备)的背景下实施。
波束形成器114耦合到换能器阵列112。例如，波束形成器114控制换能器阵列112以用于超声信号的发送和超声回波信号的接收。波束形成器114基于接收到的超声回波信号的响应将图像信号提供给处理器电路116。波束形成器114可以包括波束形成的多个阶段。波束形成可以减少用于耦合到处理器电路116的信号线的数量。在一些实施例中，与波束形成器114结合的换能器阵列112可以被称为超声成像部件。
处理器电路116耦合到波束形成器114。处理器电路116可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一个硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理器电路134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理器电路116被配置为处理波束形成图像信号。例如，处理器电路116可以执行滤波和/或正交解调以调节图像信号。处理器电路116和/或134可以被配置为控制阵列112以获得与对象105相关联的超声数据。
通信接口118耦合到处理器电路116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发机和/或用于发送和/或接收通信信号的电路。通信接口118可以包括硬件部件和/或软件部件，其实施适于通过通信链路120将信号传输到主机130的特定通信协议。通信接口118可以被称为通信设备或通信接口模块。
通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，诸如通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，诸如超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。
在主机130处，通信接口136可以接收图像信号。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如工作站、个人计算机(PC)、膝上型计算机、平板电脑或移动电话。
处理器电路134耦合到通信接口136。处理器电路134可以被实施为软件部件和硬件部件的组合。处理器电路134可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理器电路134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理器电路134可以被配置为根据从探头110接收的图像信号生成图像数据。处理器电路134可以将高级信号处理和/或图像处理技术应用于图像信号。在一些实施例中，处理器电路134可以根据图像数据形成三维(3D)体积图像。在一些实施例中，处理器电路134可以对图像数据执行实时处理以提供对象105的超声图像的流视频。
显示器132耦合到处理器电路134。显示器132可以是监测器或任何适当的显示器。显示器132被配置为显示对象105和/或医学设备108的超声图像、图像视频和/或任何成像信息。
系统100可以用于帮助超声医师根据所采集的超声图像执行测量。在一些方面，系统100可以捕获对象105的超声图像的序列。临床医师能够对确定对象105的某个解剖特征的测量结果感兴趣。在示例中，超声医师可以执行包括患者的心脏结构的对象105的2D经胸心脏超声扫描，并且执行心脏结构的定量结构和/或功能测量。例如，超声医师可以使用诸如盘的双平面方法的技术来执行心脏收缩和心脏舒张期间的线性测量和/或LV体积测量，以估计扫描期间的功能参数(例如，射血分数(EF))。类似地，超声医师可以在扫描期间执行右心室(RV)结构测量以评估RV功能。例如，在近侧和远侧方向上测量右心室流出道(RVOT)。此外，可以在超声心动图扫描期间做出结构尺寸测量结果，诸如心室相等性(涉及左心房与右心房的相对尺寸)、主动脉根直径、下腔静脉直径。为了获得准确的测量结果，重要的是避免缩短。缩短指的是2D超声平面不切割通过心脏结构的顶点的情况。缩短能够产生错误的测量结果。在另一示例中，超声医师可以执行胎儿成像以获得胎儿头围的测量结果，其是指示胎儿生长的关键测量结果。因此，胎儿头围的准确和精确的测量结果是重要的。为了获得胎儿头围的准确和精确的测量结果，测量要在轴向横截面平面中执行，该轴向横截面平面是垂直于婴儿的脚-头轴通过婴儿的头部的平面。此外，测量要在使测量结果最大化的水平下执行。在任意成像平面上进行的胎儿头围测量能够是误导性的。为了确保捕获正确或最佳的测量成像平面，超声医师可以寻求图像中的指示正确成像平面的颅骨特征的存在。尽管超声医师可以寻求额外的解剖特征以确保在正确的测量平面处进行测量，但是扫描时间能够很长，并且所得到的测量能够是用户相关的。
根据本公开的实施例，系统100还被配置为通过使用所跟踪的超声探头以采集最佳测量平面处和/或周围的超声图像(2D超声图像)并使用跟踪信息以产生包围测量平面的3D体积来提供自动化的基于超声图像的测量结果。在一些方面中，探头110可以包括惯性测量跟踪器117。惯性测量跟踪器117可以包括加速度计、陀螺仪和/或传感器，以在扫描对象105时采集和跟踪探头110的运动。系统100可以额外地包括可以基于电磁(EM)跟踪和/或光学跟踪的外部跟踪系统，并且探头110可以包括可以由外部跟踪系统跟踪以提供探头110的位置和/或信息的标记。处理器电路134可以基于跟踪信息和所采集的图像来创建对象105的3D体积或在3D空间中定义对象105的3D空间数据集。3D空间信息可以在人工智能(AI)或基于深度倾斜的代理的帮助下允许更准确的测量。
在一些方面中，处理器电路134可以实施一个或多个基于深度学习的预测网络，所述预测网络被训练为识别超声图像上的感兴趣区域以用于测量，将用户识别的测量位置从一幅图像传播到相邻图像，创建多平面重建(MPR)以用于交叉平面测量，和/或从图像分割感兴趣解剖结构以用于进行自动化测量。本文中更详细地描述了用于根据超声图像提供自动化测量结果的机制。
在一些方面中，系统100能够用于收集超声图像以形成用于深度学习网络训练的训练数据集。例如，主机130可以包括存储器138，其可以是任何适当的存储设备，诸如高速缓存存储器(例如，处理器电路134的高速缓存存储器)、随机存取存储器(RAM)、磁阻式RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、固态存储器设备、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器、或不同类型的存储器的组合。存储器138能够被配置为存储图像数据集140来训练该系列预测或深度学习网络以用于提供自动化的基于超声图像的测量结果。在本文更详细地描述用于训练预测或深度学习网络的机制。
图2-6共同地图示了用于根据超声图像进行自动化测量的机制。图2是根据本公开的方面的自动化的基于超声图像的测量方案200的示意图。图3是根据本公开的方面的自动化的基于超声图像的测量方案300的示意图。图4是根据本公开的方面的自动化的基于超声图像的测量方案400的示意图。图5是根据本公开的方面的自动化的基于深度学习、超声图像的测量方案500的示意图。图6是根据本公开的方面的用于基于超声图像的测量的深度学习网络配置600的示意图。方案200、300、400和500可以由系统100实施。
参考图2，方案200包括惯性测量跟踪器220、图像帧采集部件230、体积重建部件240、测量标记放置部件250、测量标记传播部件260和测量结果确定部件270。惯性测量跟踪器220、图像帧采集部件230、体积重建部件240、测量标记放置部件250、测量标记传播部件260和测量结果确定部件270可以通过硬件(例如，包括处理电路、逻辑和/或门)和/或软件的组合来实施。在一些实例中，体积重建部件240、测量标记放置部件250、测量标记传播部件260和/或测量结果确定部件270可以由处理器电路134实施。
在高水平下，方案200使用与探头110类似的跟踪超声探头210来围绕测量平面采集患者的解剖结构(例如，对象105)的一组图像202，其中，可以进行对患者的解剖结构内的感兴趣特征的测量。在这方面，超声医师或用户可以在要进行测量的感兴趣区周围扫掠探头210。图像帧采集部件230在如由虚线箭头201所示的那样扫掠探头210时采集图像202。图像202被示出为f(0)、f(1)、…、f(N-2)和f(N-1)。在一些实例中，探头210可以是被配置为采集2D超声图像202的1D超声探头，并且扫掠可以包括在患者的解剖结构的3D体积中的感兴趣区周围物理地扫掠探头210。在一些其他实例中，探头210可以是能够执行3D成像的2D超声探头，并且扫掠可以包括电子地操纵超声波束以在3D体积内的各种2D成像平面处采集2D图像202。图像帧采集部件230可以被配置为以特定帧速率采集图像202。图像帧采集部件230可以将该组图像202提供给体积重建部件240。
惯性测量跟踪器220类似于惯性测量跟踪器117(例如，包括加速器、陀螺仪和/或传感器)，并且可以位于探头210内。惯性测量跟踪器220被配置为在采集该组图像202时跟踪探头210的运动。惯性测量跟踪器220被配置为在采集图像202时记录探头210的位置信息222，使得每幅图像202的成像平面的位置或坐标对于后续处理是已知的。例如，在时刻T1处，探头210可以在第一成像平面处采集图像202f(0)。在下一时刻T2处，探头210可以在第二成像平面处采集图像202f(1)。位置信息222可以包括在时刻T1和时刻T2之间应用于探头210或波束转向的平移和/或旋转，使得探头210可以到达第二成像平面。位置信息222被提供给体积重建部件240以进行体积重建。
在一些方面中，惯性测量跟踪器220可以在具有三个加速度轴和三个旋转速度轴的空间中提供六个自由度(6DOF)。尽管三轴加速度和三轴陀螺仪信息可能足以确定超声探头210相对于参考坐标系的运动，但是由其他惯性测量跟踪系统提供的额外信息(诸如电磁(EM)场读数和/或光场读数)可以改进整体测量精度。在这方面，超声探头210可以装配有可以经由基于EM的跟踪和/或光学跟踪来跟踪的标记。
惯性测量跟踪器220可以在惯性测量跟踪器220(相对于惯性测量跟踪器220的轴)的局部坐标系中提供加速度、平移和/或旋转测量结果。然而，这些测量结果能够是有噪声的并且可以具有特定的测量偏差。可以应用各种技术来计算探头210在全局坐标系(例如，特定参考系)中的姿态信息，以提供更准确的位置信息。在这方面，探头210可以附接有传感器，并且传感器信息可以与加速度、平移和/或旋转测量数据集成以提供更准确的位置信息。例如，来自传感器的读数可以用于相对于3D空间中的图像坐标系校准惯性测量跟踪器220的局部坐标系，如下文更详细描述的。在一些其他实例中，方案200可以将特定滤波操作和/或融合算法应用于位置信息以减少噪声和/或偏差，从而改进测量的准确性。在一些实例中，除了惯性测量跟踪器220之外，可以使用基于图像的跟踪来估计探头210的位置和/或运动(例如，平移和/或旋转)。例如，基于图像的跟踪可以包括基于深度学习的算法，其基于提取的解剖特征对6DOF姿态进行回归。备选地，基于图像的跟踪可以包括常规图像处理算法，诸如基于配准的算法和/或散斑跟踪算法。通常，方案200可以采用从惯性测量跟踪器220获得的位置信息222结合由任何其他合适的跟踪系统测量的位置信息来确定探头210相对于全局坐标系的位置。
在采集期间，系统可以连续地将图像202缓冲在存储器(例如，存储器138)中，直到用户冻结或停止采集。体积重建部件240被配置为确定每幅图像202在3D空间中的3D姿态信息。换句话说，体积重建部件240可以确定两幅采集图像202之间的相对位置。在这方面，体积重建部件240可以通过将传感器或惯性测量跟踪器220的姿态与变换矩阵相乘来确定3D图像姿态，如下所示：
I(x,y,z,t)＝MT×S(x,y,z,t)， (1)
其中，I(x,y,z,t)表示图像202的3D姿态，S(x,y,z,t)表示传感器或惯性测量跟踪器220的3D姿态，MT表示变换矩阵，(x,y,z)是在3D空间中相对于特定参考系的变换的旋转分量的单位向量，并且t表示平移。体积重建部件240可以基于位置信息222(例如使用融合算法)来计算传感器或惯性测量跟踪器220的姿态。可以通过校准流程获得变换矩阵MT，其中，通过实际测量结果和/或计算机辅助设计(CAD)图像相对于彼此测量传感器位置/取向和图像取向。
在一些方面中，可以在成像之前的设置阶段期间或在制造阶段期间对每个探头210执行校准。变换矩阵MT将探头210上的换能器(例如，换能器阵列112)的坐标系变换为图像202的坐标系(由惯性测量跟踪器220定义)。例如，可以根据换能器取向来测量图像取向。校准可以确定变换矩阵MT的平移和/或旋转，使得变换矩阵MT的应用可以将惯性测量跟踪器220姿态转换为图像姿态。在获得每幅图像202的3D图像姿态之后，图像202中的所有点(例如，像素)相对于其他图像202的坐标是已知的，并且该组图像202中的所有点的3D放置是已知的。
作为示例，每幅图像202可以包括256个像素，每个由通过(x，y)齐次坐标定义的点处的强度值表示，该(x，y)齐次坐标可以使用第一变换矩阵变换到换能器空间。第一变换矩阵是包括2×2个旋转(在矩阵的条目(1，1)、(1，2)、(2，1)、(2，2)处)和2个平移(在矩阵的最后一列处)的3×3矩阵。2×2个旋转对应于图像的平面内旋转分量(即，围绕垂直于图像的z轴)。可以使用第一变换矩阵和参考点来描述图像202上的任何向量，该参考点可以在图像开始的探头210的端部处。图像参考点和传感器坐标系也通过已知的(或可测量的)第二变换矩阵(例如，MT)彼此相关。由于图像参考点和传感器坐标系在三维空间中，因此第二变换矩阵是4×4矩阵，具有3×3个旋转和3个平移。当探头210从一个成像平面(例如，在时刻T1处的f(0)的成像平面)移动到下一个成像平面(例如，在时刻T2处的f(1)的成像平面)时，运动由来自传感器读数(例如，位置信息222)的第三变换矩阵(例如，4×4矩阵)表示，其对应于传感器(或惯性测量跟踪器220)移动了多少和传感器在哪个方向上移动。第三变换矩阵可以与第二变换矩阵相乘，以获得在该运动期间由图像参考点(探头的端部)移动的移动量。随后，可以将第二变换矩阵和第三变换矩阵的乘积与第一变换矩阵相乘，以获得特定像素位置经历的运动。类似地，第一图像202(例如，f(0))中的点P1和第二图像202(例如，f(1))中的点P2可以使用同一组变换矩阵彼此相关。因此，体积重建部件240产生3D体积或3D空间数据集242，其包括3D空间中的x-y-z坐标和每幅图像202中的每个像素的对应强度值。
在一些其他实例中，体积重建部件240可以使用深度学习网络(例如，CNN)来构建3D体积(例如，3D空间数据集242)，该深度学习网络对图像相对于在其上训练网络的特定解剖学结构的局部坐标系的姿态进行回归。在另一些其他实例中，可以基于散斑统计和散斑去相关使用图像采集帧速率和射束聚焦/转向配置来确定两幅图像202之间的相对距离(例如，z坐标值)，而无需跟踪测量和/或变换。该方法可能需要由换能器制造商对基于图像的跟踪的一些初始校准，诸如散斑校准曲线。
图像帧采集部件230还可以将图像202提供给测量标记放置部件250。测量标记放置部件250可以将测量标记或卡尺(在图3中被示出为310a和310b)放置在图像202(例如，图像f(0))上，其中，可以进行测量。图像202f(0)被示出为202_f(0)。测量标记放置部件250可以输出包括图像202_f(0)和与测量标记相关联的信息的第一测量数据252。在一些实例中，可以经由用户输入来接收标记的放置。换句话说，执行扫描的超声医师可以确定可以放置标记以用于测量的位置。在一些其他实例中，标记的放置可以由针对测量点识别训练的深度学习网络生成。
作为示例，在胎儿检查期间采集图像202，其中，图像202可以包括母亲子宫内的胎儿头部的视图。测量标记可以放置在图像上以用于胎儿头部测量，如下面在图3中所讨论的。
参考图3，测量标记放置部件250可以对图像202f(0)进行操作。图像202包括胎儿头部320以及放置在胎儿头部320的周边上的标记310a和310b的视图，使得标记310a和310b之间的距离322可以表示胎儿头部320的直径。测量标记310a和310b可以是如图所示的测量点的形式。在一些其他实例中，测量标记310a和310b可以是线、十字和/或任何其他合适的形式、符号和/或形状的形式。如上面所讨论的，标记310a和310b的放置可以由超声医师执行，并且因此测量标记放置部件可以简单地从超声医师接收标记310a和310b的位置。
返回到图2，在将测量标记310a和310b放置在图像202_f(0)上之后，测量标记传播部件260被配置为将测量标记310a和310b从图像202_f(0)传播到存储在缓冲存储器中的其他相邻图像202。
参考图3，测量标记传播部件260将为图像202_f(0)选择的测量标记310a和310b传播到该组中的其他图像202(例如，f(1)、f(2)、...、f(N-1))。在这方面，测量标记传播部件260可以首先将相邻图像202(例如，图像f(1))与放置标记的图像202_f(0)配准，紧接着将测量标记310a和310b转移到相邻图像202_f(1)。图像配准可以是指一幅图像与另一图像的空间对准，如下面在图4和5中更详细地讨论的。测量标记310a和310b的传播可以继续，其中，图像202_(f1)的传播测量结果可以用作原始测量结果并传播到下一图像202(例如，该组中的图像f(2))上，等等。可以按顺序在该组图像202中执行传播，直到标记310a和310b被转移到该组中的所有图像202。图像202_f(1)上的传播测量标记被示出为312a和312b。
在一些实例中，传播可以跳过该组中的一幅或多幅图像202。通常，可以执行传播以将测量标记从图像202f(i)传播到该组中的相邻图像202f(i+L)，其中，L可以是1、2、3或4。尽管传播可以被配置为通过改变L来跳过该组中的一幅或多幅图像202，但是随着L增加，两幅图像202_f(i)和202f(i+L)可能变得更不相似，并且因此配准可能变得较不准确。因此，优选的是在彼此紧邻的图像202之间执行配准。
参考图4，方案400可以由测量标记传播部件260实施。图4提供了配准过程的更详细视图。方案400包括配准和传播部件410，其可以包括被配置为执行图像配准和测量标记传播的硬件和/或软件。在一些方面中，配准和传播部件410可以使用基于模型、基于互信息、基于相似性的配准技术来将图像202_f(0)和图像202_f(1)相对于彼此进行配准。一些示例相似性测量结果可以包括平方差之和(SSD)或绝对差之和(SAD)测量结果。配准和传播部件410可以将图像202_f(1)的图像特征对准到图像202_f(0)的图像特征。尽管图像202_f(1)和图像202_f(0)可以彼此平行，但是图像202_f(1)和图像202_f(0)可能彼此不对准。因此，图像202_f(1)上的传播标记312a可能不在与图像202_f(0)上的标记310a相同的像素位置(例如，像素(x，y)坐标)处。在配准之后，配准和传播部件410将测量标记310a和310b从图像202_f(0)传播到图像202_f(1)。
在一些方面中，为了将测量标记310a和310b从图像202_f(0)传播到图像202_f(1)，配准和传播部件410可以将测量点(例如，测量标记310a和310b的位置)从图像202_f(0)复制到图像202_f(1)。配准和传播部件410还可以将复制的标记位置调节到最佳位置。例如，测量标记310a和310b在图像202_f(0)上的初始放置可以基于局部最大化或最小化特定成本函数。在一些实例中，成本函数可以基于图像亮度。因此，复制到图像202_f(1)的测量点或标记位置可能需要在复制的测量点或标记位置附近重新评价，例如，以优化成本函数。复制的测量点或标记位置的重新评价或优化可以作为学习任务来进行处理，以确定图像202_f(1)上的测量点的最可能位置，这可以经由如图5所示的深度学习技术来实施。
为了简化图示的目的，图4在虚线框中仅图示了标记310a从图像202_f(0)到图像202_f(1)的传播(如标记312a所示)。然而，可以针对标记310b示出类似的传播。如可以观察到的，如果图像202_f(0)要直接叠加在图像202_f(1)的顶部而不配准，则标记310a从图像202_f(1)上的标记312a偏移。输出402示出了在配准之后的图像202_f(0)和图像202_f(1)，其中，测量标记310a和312a在空间上对准并且被示出为406a。
参考图5，方案500可以由测量标记传播部件260实施。方案500包括被训练为执行图像配准和测量标记传播的深度学习网络510。如图所示，深度学习网络510可以应用于图像202_f(1)和图像202_f(0)以及测量标记310a和310b。深度学习网络510生成包括具有从图像202_f(0)上的标记310a和310b传播的传播标记的图像202_f(1)的输出502。为了简化图示的目的，图5仅图示了传播标记312a。然而，可以针对标记310b示出类似的传播。
在一些实例中，深度学习网络510可以包括两个CNN，即用于配准的第一CNN 512和用于测量标记传播的第二CNN 514。第一CNN被训练为在给定固定图像(例如，图像202_f(0))和运动图像(例如，图像202_f(1))的情况下对配准过程的平移和旋转分量进行回归。第二CNN被训练为在给定输入超声图像的情况下对测量点坐标进行回归。在一些其他实例中，深度学习网络510可以包括测量CNN而无配准CNN。可以在应用深度学习网络510之前在图像202_f(0)与202_f(1)之间执行配准。在另一些其他情况下，深度学习网络510可以包括被训练为执行图像配准和测量标记传播的单个CNN。下面分别在图6和7中更详细地描述了深度学习网络510的配置和训练。
参考图6，配置600可以由深度学习网络510实施。配置600包括深度学习网络610，所述深度学习网络包含一个或多个CNN 612。为了简化图示和讨论，图6图示了一个CNN612。然而，实施例可以被缩放以包括任何合适数量的CNN 612(例如，约2、3或更多个)。在测量标记传播的背景下描述配置600。然而，可以通过训练深度学习网络610以用于测量标记放置和/或图像配准来将配置600应用于测量标记放置和/或图像配准，如下面更详细描述的。
CNN 612可以包括由一组K个全连接层630跟随的一组N个卷积层620，其中，N和K可以是任何正整数。卷积层620被示出为620(1)至620(N)。全连接层630被示出为630(1)至630(k)。每个卷积层620可以包括被配置为从包括图像202_f(L)和图像202_f(i)的输入602提取特征的一组滤波器622。图像202_f(L)可以包括感兴趣解剖特征以及测量标记的视图。例如，图像202_f(L)可以对应于具有由用户放置在胎儿头部320周边上以用于胎儿头部直径测量的测量标记310a和310b的图像202_f(0)。图像202_f(i)可以对应于该组中除图像202_f(L)之外的图像202。值N和K以及滤波器622的大小可以根据实施例而改变。在一些实例中，卷积层620(1)至620(N)和全连接层630(1)至630(K-1)可以利用泄漏整流非线性(ReLU)激活函数和/或批量归一化。全连接层630可以是非线性的，并且可以将高维输出逐渐缩小到预测结果604的维度。
输入图像202_f(L)和202_f(i)可以连续穿过每个层620、630以进行特征提取、分析和/或分类。每个层620、630可以包括被应用于输入图像202_f(L)和202_f(i)或先前层620或630的输出的加权(例如，卷积层620中的滤波器622的滤波器系数和全连接层630的非线性加权)。在一些实例中，输入图像202_f(L)和202_f(i)可以逐图像地输入到深度学习网络610。在一些其他实例中，图像202_f(L)和202_f(i)可以作为3D体积数据集输入到深度学习网络610。
CNN 612可以基于输入图像202_f(L)和202_f(i)输出预测结果604。预测结果604可以包括各种类型的数据，这取决于深度学习网络610的训练，如下文更详细地讨论的。在一些示例中，预测结果604可以包括图像202_f(i)，每幅具有从图像202_f(L)上的测量标记传播的传播测量标记(例如，标记312a和312b)。额外地或备选地，可以基于对应的传播标记对图像202_f(i)进行测量和/或基于用户放置的测量标记对图像202_f(L)进行测量，并且预测结果604可以包括测量结果的统计量度，诸如均值、中值、方差或标准偏差。额外地或备选地，预测结果604可以包括基于测量结果的方差计算的置信度度量或置信度评分。通常，深度学习网络610可以被训练为在预测结果604中输出图像202与传播测量标记、统计度量和/或置信度度量的任何合适的组合。
返回到图2，在将测量标记310a和310b传播到该组图像202中的其余图像202(例如，f(1)至f(N-1))上之后，测量结果确定部件270被配置为基于由测量标记传播部件260提供的输出262(例如，具有传播测量标记的图像202)来确定最终测量结果272。
返回到图3，测量结果确定部件270基于利用测量标记传播的图像202确定胎儿头部320的直径的测量结果272。图3提供了用于测量结果确定的多幅图像202的侧视图。图像202被示出为虚线，并且测量标记被示出为胎儿头部320的周边上的实心圆。针对图像202f(0)示出了初始选择的测量标记310a和310b。还针对图像202f(1)示出了传播测量标记312和312b。测量结果确定部件270可以基于所有图像202上的测量标记来确定用于测量胎儿头部320的直径或最大长度的最佳测量平面。
在一些实例中，最佳测量平面可以在图像202之一(例如，图像202f(1))的成像平面上。在一些其他实例中，最佳测量平面可以不在用于采集图像202的成像平面中的任何上。例如，最佳测量平面可以在所采集的成像平面中的两个之间(例如，在图像202f(0)和图像202f(1)的成像平面之间)。备选地，测量结果确定部件270可以确定用于获得胎儿头部320的直径的最佳测量结果的交叉平面340。交叉平面340可以与所采集的成像平面中的一个或多个相交。如图所示，交叉平面340与图像202f(2)的成像平面相交。最终测量272可以对应于交叉平面340中的胎儿头部320的周边上的两个点之间的距离。
在一些方面中，深度学习网络510或610可以被训练为从3D体积(例如，3D空间数据242)创建多平面重建(MPR)，并且将来自初始图像202f(0)的测量标记传播到所有MPR中，如下文更详细地论述的。这使得深度学习网络510或610能够在不是图像202的图像平面的平面(例如，交叉平面340)上做出最佳测量结果(例如，最终测量结果272)。这样的测量结果272将已经被用户错过，因为其不在成像平面(由虚线指示)上。在一些实例中，深度学习网络510或610可以包括2D卷积层(例如，卷积层620)，并且可以应用于2D图像202，如图6所示。在一些其他实例中，深度学习网络510或610可以包括3D卷积层(例如，卷积层620)，并且可以应用于3D体积。
图7是根据本公开的方面的用于基于超声图像的测量的深度学习网络训练方案700的示意图。方案700可以由系统100实施。为了训练深度学习网络610以用于基于超声图像的测量，可以创建训练数据集(例如，图像数据集140)。训练数据集可以包括图像-测量结果对。对于每个图像-测量结果对，训练数据集可以将解剖结构(例如，胎儿头部320)的超声图像702与包括由专家放置在超声图像上以用于特定测量(例如，胎儿头部320的直径)的测量标记的标准数据(ground truth)相关联。超声图像702可以是由探头(诸如探头110或210)采集的体模、活患者和/或尸体的图像。深度学习网络610可以例如使用前向传播应用于数据集中的每幅图像702，以获得针对输入图像的输出或评分。卷积层620中的滤波器622的系数和全连接层630中的加权可以例如通过使用反向传播来调节，以最小化预测误差(例如，标准数据与预测结果704之间的差异)。预测结果704可以包括测量标记710a和710b在图像702上的预测放置。在一些实例中，卷积层620中的滤波器622的系数和全连接层630中的加权可以每个输入图像-测量结果对进行调节。在一些其他实例中，可以使用批量训练过程来调节卷积层620中的滤波器622的系数和全连接层630中的加权。例如，在调节卷积层620中的滤波器622的系数和全连接层630中的加权之前，针对图像-测量结果对的子集累积预测误差。
在一些方面中，训练数据集可以覆盖大的群体。例如，对于胎儿成像，训练数据集可以包括不同年龄、不同大小、不同体重和/或罕见异常的胎儿的超声图像，使得深度学习网络610可以学习针对各种状况的胎儿预测胎儿头部320测量结果。
在一些方面中，可以基于由专家放置的测量标记从图像702中识别感兴趣区域(ROI)，并且可以在包括ROI的图像片块上训练深度学习网络610。例如，包括胎儿头部320(例如ROI)的图像702的部分703被用作深度学习网络610的输入以用于训练。
在一些方面中，深度学习网络610可以提供测量标记位置处的概率分布图，并且用户测量结果(例如，用户选择的标记位置)作为概率分布传播。概率分布可以是高斯分布，其中，概率分布的峰对应于配准的测量点(例如，传播的测量标记)。可以基于用户选择的测量标记位置的概率分布来重塑预测的测量标记的概率分布。重塑的概率分布的峰可以提供更准确的标记位置。在这方面，预测可以公式化为贝叶斯推断问题，如下所示：
p(x|y)＝p(y|x)p(x)， (2)
其中，p(x|y)表示在给定新图像y的情况下的测量标记位置x的条件概率分布，p(y|x)表示如由深度学习网络610基于观察到的图像y预测的图像y与标记位置x之间的条件概率，并且p(x)表示x的先验分布(即，由于配准准确性和用户不确定性，用户放置的测量点以在其周围的特定方差传播到新图像平面上)。如果概率分布p(y|x)和p(x)如等式(2)所示相乘，则分布p(x|y)的峰值位置可以为图像y上的测量标记提供最佳位置。概率函数是2D函数(诸如高斯函数)，并且因此可以基于最终概率函数(例如，p(y))的最大值的x、y位置来确定标记位置。
在一些方面中，可以使用不同的初始条件和/或不同的收敛条件来训练深度学习网络610。不同的训练实例可以产生不同的预测结果704。方案700可以计算来自不同训练实例的预测结果704的统计量度(例如，均值、中值、方差、标准偏差)。来自不同训练实例的预测结果704可以具有高斯样概率分布。方案700可以基于概率分布的峰来更新测量标记位置以提供最佳标记位置。
在一些方面中，深度学习网络610可以被训练为提供用户选择的测量标记位置和/或预测或传播的测量标记的统计度量和/或置信度度量。在这方面，可以使用包括图像-度量对的训练数据集(例如，训练数据集140)来训练深度学习网络610，每个图像-度量对包括超声图像(例如，图像202)以及指示由专家放置的测量标记和对应的统计度量或置信度度量的标准数据。可以使用上面论述的类似的每帧更新训练或批量训练来训练深度学习网络610。
在一些方面中，深度学习网络610可以被训练为提供最终测量结果(例如，图3所示的交叉平面340上的测量结果272)。在这方面，深度学习网络610可以使用包括图像-测量结果对的训练数据集(例如，训练数据集140)来训练，每个图像-测量结果对包括3D体积中的一组超声图像(例如，图像202)以及指示如由专家确定的3D体积中的最佳测量平面(例如，交叉平面340)和测量平面上的对应测量结果(例如，测量结果272)的标准数据。可以使用上面论述的类似的每帧更新训练或批量训练来训练深度学习网络610。
尽管在胎儿成像的背景下描述了方案200-600，但是类似的机制可以在心脏成像中用于心脏测量。心脏测量的一些示例可以包括心脏腔室(例如，左心室、右心室、左心房、右心房、主动脉、下腔静脉)的长度、宽度、大小和/或体积。当深度学习网络510或610用于传播用于心脏测量的测量标记(例如，标记310a、310b、312a和/或312b)时，使用包括图像-测量结果对的训练数据集来训练深度学习网络510或610，每个图像-测量结果对包括心脏结构的超声图像和对应的测量结果。通常，每个深度学习网络可以被训练用于测量特定类型的解剖学结构(例如，胎儿头围、心脏腔室直径、股骨长度、腹围)，因为深度学习网络可以使用从图像提取的周围解剖特征来预测显著的测量点，并且训练数据集可以覆盖大的群体(例如，不同的年龄、体重、大小和/或医学条件)。深度学习网络可以被训练为提供任何合适形式的测量结果，例如，包括长度、宽度、面积、体积、大小、半径、直径、周长和/或任何合适类型的几何测量结果。
此外，尽管在用于测量解剖学结构的基于图像的学习和预测的背景下描述了方案500-600，其中，深度学习网络510和/或610的输入是图像，但是深度学习网络510和/或610可以替代地被训练为对3D空间数据集进行操作。参考图6所示的示例，深度学习网络610可以接收输入3D空间数据集，该输入3D空间数据集包括针对每幅图像202f(L)和f(i)上的每个像素的3D空间中的数据点。被指代为D的每个数据点由3D空间中的x-y-z坐标和相关联的强度值定义，其可以由d(x，y，z，强度水平)表示。此外，3D空间数据集可以包括图像202_f(L)的初始选择的测量标记(例如，标记310a和310b)的(x，y，z)坐标。
图8是根据本公开的方面的自动化的基于深度学习、超声图像的测量方案800的示意图。方案800可以由系统100实施。方案20可以将方案800用于测量标记放置、测量标记传播和/或测量结果确定以代替测量标记放置部件250、测量标记传播部件260和/或测量结果确定部件270。
方案800可以应用被训练为执行图像分割812和测量814的深度学习网络810。如图所示，深度学习网络810可以应用于该组图像202。深度学习网络810可以被训练为从给定输入图像分割特定解剖特征，并且然后确定分割特征的测量结果。在图8所示的示例中，输入图像202包括胎儿头部320的视图。深度学习网络810被训练为从图像202分割胎儿头部(被示出为830)并确定分割的胎儿头部分割830的直径。如图所示，深度学习网络810预测的输出804包括图像202上的经分割的胎儿头部830(由虚线示出)和用于测量胎儿头部830的直径(被示出为测量结果842)的交叉平面840。交叉平面840可以与图像202f(2)的成像平面相交。
在一些实例中，深度学习网络810可以包括被训练用于分割812的一个CNN(例如，CNN 612)和被训练用于测量814的另一CNN。在一些实例中，深度学习网络810可以包括被训练用于分割812和测量814的单个CNN。可以使用方案700来训练深度学习网络810。训练数据集可以包括图像-分割对(例如，超声图像和对应的分割特征)和/或图像-测量结果对(例如，超声图像和对应的测量结果)。类似地，每个深度学习网络810可以被训练用于针对某种类型的解剖学结构的分割和测量。尽管图8图示了使用深度学习网络的分割和测量，但是在一些其他实例中，可以使用图像处理和/或基于特征检测的算法执行测量812并且使用CNN执行测量814。
图9是根据本公开的方面的用于自动化的基于超声图像的测量系统的用户接口900的示意图。用户接口900可以由系统100实施，并且可以显示在显示器132上。
在一些方面中，用户接口900可以包括标记选择905和测量类型选择910。标记选择905可以允许用户选择图像(例如，图像202)并且例如经由弹出窗口将测量标记(例如，测量标记310a和310b)放置在所选择的图像上。测量类型选择910可以是下拉菜单或其他用户接口的形式，其中，用户可以选择测量的类型(例如，胎儿头部周长、胎儿头部最大长度测量、心脏腔室长度、宽度、大小和/或体积)。下层系统100可以实施被训练用于不同解剖学结构的测量、或针对特定类型的解剖学结构的不同类型的测量、和/或不同类型的解剖学结构的分割的各种深度学习网络(例如，深度学习网络510、610和810)。在一些实例中，深度学习网络还可以被训练为基于测量类型选择910来检测和分割输入图像中的相关解剖学结构。
在一些方面中，用户接口900可以包括测量平面显示面板920，其中，向用户显示由深度学习网络选择的成像平面922和由深度学习网络在成像平面922上进行的测量924。在一些实例中，测量平面显示面板920可以显示具有传播测量标记的图像和/或用户放置测量标记的初始图像中的一项或多项。
在一些方面中，用户接口900可以向用户提供关于由深度学习网络进行的测量的各种选项。在这方面，用户接口900包括测量接受选择930、测量校正选择940、新测量选择950和/或成像平面选择960。用户可以选择测量接受选择930以接受由深度学习网络进行的测量924。用户可以选择测量校正选择940以校正由深度学习网络进行的测量924。用户可以选择新测量选择950以请求深度学习网络进行另一测量。用户可以选择图像平面选择960以选择用于测量的特定成像平面。在一些方面中，用户的选择可以用于增强深度学习网络的训练。
在一些方面中，用户接口900可以显示由深度学习网络确定的置信度度量970和/或统计度量980。如上面所讨论的，用户可将测量标记放置在所采集的图像(例如，图像202f(0))上，并且深度学习网络可以将测量标记传播到相邻图像。置信度度量970和/或统计度量980可以分别提供关于用户选择的测量标记放置的置信度量度或统计量度。统计度量980可以包括用户标记放置位置和传播的标记位置的均值、中值、方差、标准偏差。在一些实例中，置信度度量970可以用于对测量924值的显示进行颜色编码。例如，测量924值可以以红色、黄色或绿色显示，以分别表示低置信度、中等置信度或高置信度。
图10是根据本公开的实施例的处理器电路1000的示意图。处理器电路1000可以被实施在图1的探头110和/或主机130中。在示例中，处理器电路1000可以与探头110中的换能器阵列112通信。如图所示，处理器电路1000可以包括处理器1060、存储器1064和通信模块1068。这些元件可以例如经由一个或多个总线彼此直接或间接通信。
处理器1060可以包括CPU、GPU、DSP、专用集成电路(ASIC)、控制器、FPGA、另一硬件设备、固件设备或其任何组合，其被配置为执行本文描述的操作，例如，图2-10和12的方面。处理器1060还可以被实施为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器、或任何其他这样的配置。
存储器1064可以包括高速缓存存储器(例如，处理器1060的高速缓存存储器)、随机存取存储器(RAM)、磁阻式RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、固态存储器设备、硬盘驱动器、其他形式的易失性和非易失性存储器、或不同类型的存储器的组合。在实施例中，存储器1064包括非瞬态计算机可读介质。存储器1064可以存储指令1066。指令1066可以包括当由处理器1060运行时使处理器1060执行本文参考探头110和/或主机130(图1)描述的操作(例如，图2-9和11的方面)的指令。指令1066还可以被称为代码。术语“指令”和“代码”应当被宽泛地解释为包括(一个或多个)任何类型的计算机可读语句。例如，术语“指令”和“代码”可以是指一个或多个程序、例程、子例程、函数、流程等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
通信模块1068可以包括任何电子电路和/或逻辑电路，以促进处理器电路1000、探头110和/或显示器132之间的直接或间接数据通信。在这方面，通信模块1068可以是输入/输出(I/O)设备。在一些实例中，通信模块1068促进处理器电路1000和/或探头110(图1)、探头210(图2)和/或主机130(图1)的各种元件之间的直接或间接通信。
图11是根据本公开的方面的基于深度学习、超声图像的测量方法1100的流程图。方法1100由系统100实施，例如，由处理器电路(诸如，处理器电路1000)和/或其他合适的部件(诸如，探头110或210、处理器电路116、主机130和/或处理器电路134)实施。在一些示例中，系统100可以包括其上记录有程序代码的计算机可读介质，该程序代码包括用于引起系统100执行方法1100的步骤的代码。方法1100可以采用与上面分别关于图2、3、4、5、7和/或8描述的方案200、300、400、500、700和/或800、上面关于图6描述的配置600以及上面关于图9描述的用户接口900中类似的机制。如所示图的，方法1100包括多个所列举的步骤，但是方法1100的实施例可以在所列举的步骤之前、之后和之间包括额外的步骤。在一些实施例中，可以省略或以不同的顺序执行所列举的步骤中的一个或多个。
在步骤1110处，方法1100包括在与超声换能器阵列(例如，阵列112)通信的处理器电路(例如，处理器电路134和1000)处接收包括解剖特征(例如，胎儿、心脏腔室)的患者的解剖结构的3D体积的一组图像(例如，图像202)。
在步骤1120处，方法1100包括在该组图像中的第一图像中获得解剖特征的第一测量数据。
在步骤1130处，方法1100包括在处理器电路处通过将第一测量数据从第一图像传播到一幅或多幅图像来生成该组图像中的一幅或多幅图像中的解剖特征的第二测量数据。
在步骤1140处，方法1100包括向与处理器电路通信的显示器(例如显示器132)输出针对解剖特征的第二测量数据。
在一些实例中，步骤1120包括从与处理器电路通信的用户接口(例如，用户接口900)接收包括跨解剖特征的至少两个测量标记(例如，测量标记310a和310b)的第一测量数据。
在一些实例中，该组图像与跨包括解剖特征的患者的解剖结构的3D体积的多个成像平面相关联。步骤1130包括基于超声换能器阵列相对于多个成像平面的位置数据确定第一图像和一幅或多幅图像的3D空间数据(例如，3D空间数据集242)，并且基于3D空间数据将第一测量数据从第一图像传播到一幅或多幅图像。
在一些实例中，方法1100还包括从与处理器电路通信的惯性测量跟踪器(例如，惯性测量跟踪器117和220)接收与超声换能器阵列相关联的惯性测量数据(例如，位置信息222)。方法1100还包括基于惯性测量数据和惯性测量结果到图像变换(例如，等式(1)中的变换矩阵MT)来确定超声换能器阵列相对于第一图像和一幅或多幅图像的位置数据。
在一些实例中，第二测量数据包括一幅或多幅图像上的从放置在第一图像上的测量标记传播的传播测量标记(例如，测量标记312a和312b)。
在一些实例中，方法1100包括基于第一测量数据和第二测量数据生成针对解剖特征的第三测量数据，其中，第三测量数据与多个成像平面中的第一成像平面或3D体积内不同于多个成像平面的第二成像平面中的至少一个相关联。方法1100还包括将第三测量数据输出到显示器。在一些实例中，第二成像平面与第一成像平面相交。例如，第一成像平面(例如，测量平面)是交叉平面(例如，交叉平面340和840)。在一些实例中，第三测量数据包括第二测量数据、跨解剖特征的两个测量标记之间的距离、第一测量数据的置信度度量、第二测量数据的置信度度量、第一测量数据和第二测量数据的平均值、第一测量数据和第二测量数据的方差或第一测量数据和第二测量数据的标准偏差中的至少一个。
在一些实例中，方法1100还包括经由用户接口(例如，用户接口900)向用户提供与第三测量结果(例如，测量结果272和924)相关联的选择(例如，选择930、940、950和960)。
在一些实例中，步骤1130包括基于图像分割将第一测量数据从第一图像传播到一幅或多幅图像。在一些实例中，步骤1130包括使用针对图像分割或特征测量结果中的至少一项训练的预测网络(例如，深度学习网络510、610和/或810)将第一测量数据从第一图像传播到一幅或多幅图像。
在一些实例中，在用于特征测量的一组图像-测量结果对上训练预测网络，其中，该组图像-测量结果对中的每个图像-测量结果对包括3D解剖体积的图像的序列中的图像和针对该图像的3D解剖体积的特征的测量结果。在一些实例中，在用于图像分割的一组图像-分割对上训练预测网络，其中，该组图像-分割对中的每个图像-分割对包括3D解剖体积的图像的序列中的图像和针对该图像的3D解剖体积的特征的分割。
在一些实例中，解剖特征包括胎儿头部，并且第一测量数据和第二测量数据与胎儿头部的周长或胎儿头部的长度中的至少一项相关联。
在一些实例中，解剖特征包括胎儿头部，并且第一测量数据和第二测量数据与胎儿头部的周长或胎儿头部的长度中的至少一项相关联。
本公开的方面可以提供若干益处。例如，基于深度学习的框架用于自动化的解剖特征测量的用途可以为临床医师提供测量辅助，从而减少超声检查时间和/或用户依赖性。因此，与依赖于用户的常规测量相比，所公开的实施例可以提供更一致、准确的测量结果。此外，根据所采集的图像重建3D体积提供解剖特征的3D信息可以允许更准确的测量结果。此外，被训练为创建MPR并基于MPR执行测量的深度学习网络的用途还可以改进测量准确性，其中，测量可以不限于在采集期间采集的成像平面。
本领域技术人员将认识到，可以以各种方式修改上述装置、系统和方法。因此，本领域普通技术人员将意识到，由本公开涵盖的实施例不限于上述特定示例性实施例。就这一点而言，尽管已经示出和描述了说明性实施例，但是在前述公开中预期各种各样的修改、改变和替换。应该理解，在不脱离本公开的范围的情况下，可以对前述内容做出这样的变化。因此，适当的是，以与本公开一致的方式广义地解释所附权利要求。

Claims (20)

1.一种超声成像系统，包括：
处理器电路，其与超声换能器阵列通信，所述处理器电路被配置为：
从所述超声换能器阵列接收包括解剖特征的患者的解剖结构的三维(3D)体积的一组图像；
获得所述一组图像中的第一图像中的所述解剖特征的第一测量数据；
通过将所述第一测量数据从所述第一图像传播到所述一组图像中的一幅或多幅图像来生成针对所述一幅或多幅图像中的所述解剖特征的第二测量数据；并且
将针对所述解剖特征的所述第二测量数据输出到与所述处理器电路通信的显示器。
2.根据权利要求1所述的系统，其中，被配置为获得所述第一测量数据的所述处理器电路被配置为：
从与所述处理器电路通信的用户接口接收包括跨所述第一图像上的所述解剖特征的至少两个测量标记的所述第一测量数据。
3.根据权利要求1所述的系统，其中，所述一组图像与跨包括所述解剖特征的所述患者的解剖结构的所述3D体积的多个成像平面相关联。
4.根据权利要求3所述的系统，其中，被配置为生成所述第二测量数据的所述处理器电路被配置为：
基于所述超声换能器阵列相对于所述多个成像平面的位置数据将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。
5.根据权利要求4所述的系统，其中，被配置为生成所述第二测量数据的所述处理器电路被配置为：
基于所述超声换能器阵列的所述位置数据来确定针对所述第一图像和所述一幅或多幅图像的3D空间数据；并且
基于所述3D空间数据将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。
6.根据权利要求5所述的系统，还包括：
探头，其包括所述超声换能器阵列和惯性测量跟踪器，
其中，所述处理器电路被配置为：
从所述惯性测量跟踪器接收与所述超声换能器阵列和所述多个成像平面相关联的惯性测量数据，并且
其中，被配置为确定所述3D空间数据的所述处理器电路被配置为：
基于所述惯性测量数据和惯性测量数据到图像变换来确定所述超声换能器阵列相对于所述多个成像平面的所述位置数据。
7.根据权利要求3所述的系统，其中，所述处理器电路被配置为：
基于所述第一测量数据和所述第二测量数据来生成针对所述解剖特征的第三测量数据，其中，所述第三测量数据与所述多个成像平面中的第一成像平面或所述3D体积内不同于所述多个成像平面的第二成像平面中的至少一个平面相关联；并且
将所述第三测量数据输出到所述显示器。
8.根据权利要求7所述的系统，其中，所述第二成像平面与所述第一成像平面相交。
9.根据权利要求8所述的系统，其中，所述第三测量数据包括以下各项中的至少一项：所述第二测量数据、跨所述解剖特征的两个测量标记之间的距离、所述第一测量数据的置信度度量、所述第二测量数据的置信度度量、所述第一测量数据和所述第二测量数据的平均值、所述第一测量数据和所述第二测量数据的方差或者所述第一测量数据和所述第二测量数据的标准偏差。
10.根据权利要求9所述的系统，还包括：
用户接口，其与所述处理器电路通信并且被配置为提供与所述第三测量数据相关联的选择。
11.根据权利要求1所述的系统，其中，被配置为生成针对所述一幅或多幅图像中的所述解剖特征的所述第二测量数据的所述处理器电路被配置为：
基于图像分割将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。
12.根据权利要求1所述的系统，其中，被配置为生成针对所述一幅或多幅图像中的所述解剖特征的所述第二测量数据的所述处理器电路被配置为：
使用针对图像分割或特征测量结果中的至少一项训练的预测网络将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。
13.根据权利要求12所述的系统，其中，所述预测网络是在针对所述特征测量结果的一组图像-测量结果对上训练的，并且其中，所述一组图像-测量结果对中的每个图像-测量结果对包括3D解剖体积的图像的序列中的图像和针对所述图像的所述3D解剖体积的特征的测量结果。
14.根据权利要求12所述的系统，其中，所述预测网络是在针对所述图像分割的一组图像-分割对上训练的，其中，所述一组图像-分割对中的每个图像-分割对包括3D解剖体积的图像的序列中的图像和针对所述图像的所述3D解剖体积的特征的分割。
15.根据权利要求1所述的系统，其中，所述解剖特征包括胎儿头部，并且其中，所述第一测量数据和所述第二测量数据与所述胎儿头部的周长或所述胎儿头部的长度中的至少一项相关联。
16.根据权利要求1所述的系统，其中，所述解剖特征包括左心室，并且其中，所述第一测量数据和所述第二测量数据与所述左心室的宽度、高度、面积或体积中的至少一项相关联。
17.一种超声成像方法，包括：
在与超声换能器阵列通信的处理器电路处接收包括解剖特征的患者的解剖结构的三维(3D)体积的一组图像；
在所述处理器电路处获得所述一组图像中的第一图像中的所述解剖特征的第一测量数据；
在所述处理器电路处通过将所述第一测量数据从所述第一图像传播到所述一组图像中的一幅或多幅图像来生成针对所述一幅或多幅图像中的所述解剖特征的第二测量数据；并且
将针对所述解剖特征的所述第二测量数据输出到与所述处理器电路通信的显示器。
18.根据权利要求17所述的方法，其中，获得所述第一测量数据包括：
从与所述处理器电路通信的用户接口接收包括跨所述解剖特征的至少两个测量标记的所述第一测量数据。
19.根据权利要求17所述的方法，其中：
所述一组图像与跨包括所述解剖特征的所述患者的解剖结构的所述3D体积的多个成像平面相关联；并且
生成所述第二测量数据包括：
基于所述超声换能器阵列相对于所述多个成像平面的位置数据来确定针对所述第一图像和所述一幅或多幅图像的3D空间数据；并且
使用针对图像分割或特征测量结果中的至少一项训练的预测网络基于所述3D空间数据将所述第一测量数据从所述第一图像传播到所述一幅或多幅图像。
20.根据权利要求19所述的方法，还包括：
从与所述处理器电路通信的惯性测量跟踪器接收与所述超声换能器阵列相关联的惯性测量数据，并且
基于所述惯性测量数据和惯性测量数据到图像变换来确定所述超声换能器阵列相对于所述第一图像和所述一幅或多幅图像的所述位置数据。
CN202080089399.9A 2019-11-22 2020-11-19 用于超声成像的智能测量辅助以及相关联的设备、系统和方法 Pending CN114845642A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962939164P 2019-11-22 2019-11-22
US62/939,164 2019-11-22
PCT/EP2020/082646 WO2021099449A1 (en) 2019-11-22 2020-11-19 Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods

Publications (1)

Publication Number Publication Date
CN114845642A true CN114845642A (zh) 2022-08-02

Family

ID=73497765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080089399.9A Pending CN114845642A (zh) 2019-11-22 2020-11-19 用于超声成像的智能测量辅助以及相关联的设备、系统和方法

Country Status (5)

Country Link
US (1) US20230026942A1 (zh)
EP (1) EP4061231B1 (zh)
JP (1) JP2023502449A (zh)
CN (1) CN114845642A (zh)
WO (1) WO2021099449A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11899765B2 (en) * 2019-12-23 2024-02-13 Dts Inc. Dual-factor identification system and method with adaptive enrollment
WO2023037017A1 (en) * 2021-09-13 2023-03-16 Foundry Innovation & Research 1, Limited Vascular imaging and measurement using ultrasound
US20240099703A1 (en) * 2022-09-26 2024-03-28 X Development Llc Multi-sensor calibration of portable ultrasound system
WO2024104857A1 (en) * 2022-11-15 2024-05-23 Koninklijke Philips N.V. Automatic measurement point detection for anatomy measurement in anatomical images
FR3142663A1 (fr) * 2022-12-05 2024-06-07 Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD Procédé et installation de prise de mesures biométriques assistée par ordinateur, en particulier pour le fœtus

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008085193A2 (en) * 2006-08-14 2008-07-17 University Of Maryland Quantitative real-time 4d strees test analysis
US8303502B2 (en) * 2007-03-06 2012-11-06 General Electric Company Method and apparatus for tracking points in an ultrasound image
JP2009297072A (ja) * 2008-06-10 2009-12-24 Toshiba Corp 超音波診断装置、及び医用画像処理装置
US8348846B2 (en) * 2008-09-30 2013-01-08 Mediri Gmbh 3D motion detection and correction by object tracking in ultrasound images
CN109069122B (zh) * 2016-05-12 2022-03-29 富士胶片索诺声公司 确定医学图像中的结构的尺寸的系统和方法
US10607393B2 (en) * 2017-03-10 2020-03-31 Siemens Healthcare Gmbh Consistent 3D rendering in medical imaging
US11026583B2 (en) * 2017-04-26 2021-06-08 International Business Machines Corporation Intravascular catheter including markers
CN111432733B (zh) * 2017-09-07 2021-10-26 皮乌尔影像股份有限公司 用于确定超声探头的运动的设备和方法
US10660613B2 (en) * 2017-09-29 2020-05-26 Siemens Medical Solutions Usa, Inc. Measurement point determination in medical diagnostic imaging
JP7193979B2 (ja) * 2018-10-29 2022-12-21 富士フイルムヘルスケア株式会社 医用撮像装置、画像処理装置、および、画像処理方法
SG11202105378QA (en) * 2018-12-11 2021-06-29 Eko Ai Pte Ltd Automatic clinical workflow that recognizes and analyzes 2d and doppler modality echocardiogram images for automatic cardiac measurements and the diagnosis, prediction and prognosis of heart disease
US10426442B1 (en) * 2019-06-14 2019-10-01 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities

Also Published As

Publication number Publication date
EP4061231A1 (en) 2022-09-28
JP2023502449A (ja) 2023-01-24
WO2021099449A1 (en) 2021-05-27
US20230026942A1 (en) 2023-01-26
EP4061231B1 (en) 2024-01-10

Similar Documents

Publication Publication Date Title
EP4061231B1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
JP4972648B2 (ja) センサに案内されるカテーテル誘導システム
EP3363365A1 (en) Automatic imaging plane selection for echocardiography
EP3742979B1 (en) Guided-transcranial ultrasound imaging using neural networks and associated devices, systems, and methods
WO2015087218A1 (en) Imaging view steering using model-based segmentation
CN106605257A (zh) 医学成像中具有空间和时间约束的界标检测
JP2011131062A (ja) 超音波画像を使用した高速解剖学的マッピング
US20230127935A1 (en) Bi-plane and three-dimensional ultrasound image acquisition for generating roadmap images, and associated systems and devices
JP7462624B2 (ja) 深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法
EP4115389B1 (en) Multi-modal medical image registration and associated devices, systems, and methods
US20180192987A1 (en) Ultrasound systems and methods for automatic determination of heart chamber characteristics
US12016724B2 (en) Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
CN113081030A (zh) 用于基于m模式分析进行辅助超声扫描平面识别的方法和系统
US20240173007A1 (en) Method and apparatus with user guidance and automated image setting selection for mitral regurgitation evaluation
US20220207743A1 (en) System and method for two dimensional acoustic image compounding via deep learning
US20220287686A1 (en) System and method for real-time fusion of acoustic image with reference image
WO2023186640A1 (en) Completeness of view of anatomy in ultrasound imaging and associated systems, devices, and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination