CN114430671A - 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、系统和方法 - Google Patents

用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、系统和方法 Download PDF

Info

Publication number
CN114430671A
CN114430671A CN202080067583.3A CN202080067583A CN114430671A CN 114430671 A CN114430671 A CN 114430671A CN 202080067583 A CN202080067583 A CN 202080067583A CN 114430671 A CN114430671 A CN 114430671A
Authority
CN
China
Prior art keywords
image
imaging plane
imaging
plane configuration
medical device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067583.3A
Other languages
English (en)
Inventor
A·陈
C·姆维基瑞兹
郑鸣昕
K·维迪雅
S·巴拉特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114430671A publication Critical patent/CN114430671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

提供了超声图像设备、系统和方法。一种超声成像系统包括处理器电路，所述处理器电路被配置为：从超声换能器阵列接收在不同成像平面处的患者身体的多幅图像；通过应用第一预测网络基于所述多幅图像中的第一图像来确定第一成像平面，其中，所述多幅图像中的第二图像基于所述第一成像平面，并且其中，所述第二图像包括所述患者身体的解剖结构或所述解剖结构内的医学设备中的至少一项的成像视图；将第二预测网络应用到所述第二图像以生成分割数据；并且将基于所述分割数据的包括对所述解剖结构或所述医学设备中的所述至少一项的第一部分的指示的显示图像输出到显示器。

Description

用于超声成像中的目标定位的自动闭环超声平面转向以及相 关联的设备、系统和方法
技术领域
本公开总体上涉及超声成像，并且具体地涉及提供用于目标解剖结构和/或医学设备的定位的自动闭环超声平面转向。
背景技术
超声能够在医学流程(例如，诊断、介入和/或处置)期间提供解剖结构和/或医学设备的无辐射、安全且实时的动态成像。近年来，已经引入了微创血管内方法以通常在图像引导下处置诸如外周血管疾病(PVD)、心血管疾病(CVD)和结构性心脏病(SHD)的疾病。具体地，三维(3D)超声成像能够提供移动通过复杂解剖结构的软组织结构和医学设备和/或介入设备的可视化。额外地，超声成像能够提供视图引导来促进经皮流程，诸如活检、血管通路、区域麻醉分娩和紧急监测。所有这些临床情形涉及在超声成像下对诸如针、导丝、导管、血管内超声设备、治疗设备、诸如二尖瓣夹的可植入设备和许多其他设备的设备通过患者的身体的导航。类似地，一些临床流程可能要求在超声成像下对诸如血管、二尖瓣瓣叶、典型心脏视图或特定腹部视图的解剖结构和视图的可视化。
然而，3D体积采集是以降低的时空分辨率为代价的。此外，当感兴趣对象(例如，解剖结构或医学设备)具有小尺寸和/或细几何结构(例如，如在以上讨论的示例中)时，小尺寸和/或细外形的对象可能仅出现在3D超声体积内的总体素计数的一小部分中，并且因此能够被容易地错过。给定降低的时空分辨率，对小尺寸和/或细外形的结构的可视化在3D超声中能够是具有挑战性的。
发明内容
仍然存在对用于提供成像引导和目标定位的改进的系统和技术的临床需要。本公开的实施例提供通过利用自动闭环的基于深度学习的超声成像平面转向框架来有效地定位感兴趣对象的技术。感兴趣对象可以是细的移动对象(例如，针、导丝、导管或引导导管)或复杂解剖结构。该框架包括在由三维(3D)成像探头采集的二维(2D)超声图像、X平面图像和/或多平面图像上操作的一系列基于深度学习的预测网络。该系列预测网络被训练为执行设备识别、设备跟踪以及设备分割和端部定位。每个预测网络提供对用于将3D探头(例如，以仰角和/或波束指数的形式)转向目标或最优成像平面的超声成像平面的预测。该系列预测网络以流水线配置来配置，其中，一个预测网络的输出用于初始化该系列中的下一预测网络。在示例中，图像可以基于从一个预测网络获得的预测来剪裁并且经剪裁的图像可以被馈送到该系列中的下一预测网络。闭环形式通过在预测输出与例如经由电子转向机制物理地控制3D成像探头或使其转向之间迭代来实现。
为了实现实时成像视图引导，该框架使用由粗到细分辨率尺度来搜索医学设备和/或定位医学设备的特定部分(例如，端部)。例如，该框架可以从粗略空间分辨率尺度到精细空间分辨率尺度在体积视场(FOV)内执行该搜索。额外地或备选地，该框架可以从低成像分辨率尺度到更高成像分辨率尺度执行该搜索。在实施例中，该系列预测网络可以包括：第一预测网络，其被训练为以粗略分辨率尺度识别医学设备；第二预测网络，其被训练为以精细分辨率尺度跟踪医学设备；以及第三预测网络，其被训练为按顺序执行分割和端部定位。第三预测网络的输出可以被输出到显示器，其中，输出图像可以包括在输出图像中指示端部和/或医学设备的指示器和/或标记。
在一个实施例中，一种超声成像系统，包括处理器电路，其与超声换能器阵列通信，所述处理器电路被配置为：从所述超声换能器阵列接收患者身体的第一图像；通过将与图像识别相关联的第一预测网络应用到所述第一图像基于所述第一图像来确定第一成像平面配置；基于所述第一成像平面配置从所述超声换能器阵列接收所述患者身体的第二图像，其中，所述第二图像包括所述患者身体的解剖结构或所述解剖结构内的医学设备中的至少一项的成像视图；将与图像分割相关联的第二预测网络应用到所述第二图像以生成分割数据；并且将基于所述分割数据的包括对所述解剖结构或所述医学设备中的所述至少一项的第一部分的指示的显示图像输出到与所述处理器电路通信的显示器。
在一些实施例中，其中，所述处理器电路被配置为：基于所述第一成像平面配置来从所述超声换能器阵列接收第三图像；并且基于所述第三图像来确定第二成像平面配置，其中，所述第二图像还是基于所述第二成像平面配置来接收的。在一些实施例中，其中，所述第一成像平面配置包括与第一波束转向角相关联的第一参数，并且其中，所述第二成像平面配置包括与小于所述第一波束转向角的第二波束转向角相关联的第二参数。在一些实施例中，其中，所述第一成像平面配置包括与第一成像分辨率相关联的第一参数，并且其中，所述第二成像平面配置包括与高于所述第一成像分辨率的第二成像分辨率相关联的第二参数。在一些实施例中，其中，被配置为确定所述第二成像平面配置的所述处理器电路还被配置为：将与图像识别相关联的第三预测网络应用到所述第三图像以生成第二成像平面配置，所述第三预测网络不同于所述第一预测网络。在一些实施例中，其中，所述第一预测网络包括被训练为基于第一空间分辨率来识别所述解剖结构或所述医学设备中的所述至少一项的卷积编码器；并且所述第三预测网络包括被训练为以比所述第一空间分辨率更精细的第二空间分辨率来确定与所述解剖结构或所述医学设备中的所述至少一项的平面内成像视图相关联的距离度量的卷积编码器。在一些实施例中，其中，所述第一预测网络包括被训练为基于第一图像分辨率来识别所述解剖结构或所述医学设备中的所述至少一项的卷积编码器；并且所述第三预测网络包括被训练为基于高于所述第一图像分辨率的第二图像分辨率来确定与所述解剖结构或所述医学设备中的所述至少一项的平面内成像视图相关联的距离的卷积编码器。在一些实施例中，其中，所述处理器电路被配置为：从所述超声换能器阵列接收所述患者身体的图像的序列，所述图像的序列包括所述第一图像，并且其中，所述图像的序列中的每幅图像基于不同的成像平面配置；确定所述第一成像平面配置还被配置为：将所述第一预测网络应用到所述图像的序列中的每幅图像以生成与所述解剖结构或所述医学设备中的所述至少一项在所述图像中的存在相关联的置信度水平；并且基于所述置信度水平来选择所述第一成像平面配置。在一些实施例中，其中，所述图像的序列至少包括短轴图像和长轴图像。在一些实施例中，其中，所述处理器电路还被配置为：基于所述分割数据来确定第三成像平面配置，所述第三成像平面配置包括与波束转向角、信号增益或成像焦深中的至少一项相关联的参数；并且所述显示图像还基于所述第三成像平面配置。在一些实施例中，其中，所述第二图像包括包含针、导丝、导管或引导导管中的至少一项的所述医学设备。在一些实施例中，其中，所述超声换能器阵列是二维(2D)超声换能器阵列。在一些实施例中，所述系统还包括：电子转向控制器，其与所述超声换能器阵列和所述处理器电路通信，其中，所述处理器电路被配置为：将用于基于所述第一成像平面配置来配置所述超声换能器阵列的指令发送到所述电子转向控制器。
在一个实施例中，一种超声成像的方法，包括：在与超声换能器阵列通信的处理器电路处接收患者身体的第一图像；通过将与图像识别相关联的第一预测网络应用到所述第一图像基于所述第一图像来确定第一成像平面配置；基于所述第一成像平面配置从所述超声换能器阵列接收所述患者身体的第二图像，其中，所述第二图像包括所述患者身体的解剖结构或所述解剖结构内的医学设备中的至少一项的成像视图；将与图像分割相关联的第二预测网络应用到所述第二图像以生成分割数据；并且将基于所述分割数据的包括对所述解剖结构或所述医学设备中的所述至少一项的第一部分的指示的显示图像输出到与所述处理器电路通信的显示器。
在一些实施例中，所述方法还包括：基于所述第一成像平面配置来从所述超声换能器阵列接收所述患者身体的第三图像；基于所述第三图像来确定第二成像平面配置，并且其中，所述第二图像还是基于所述第二成像平面配置来接收的。在一些实施例中，其中，所述第一成像平面配置包括与第一波束转向角相关联的第一参数，并且其中，所述第二成像平面配置包括与小于所述第一波束转向角的第二波束转向角相关联的第二参数。在一些实施例中，其中，所述第一成像平面配置包括与第一成像分辨率相关联的第一参数，并且其中，所述第二成像平面配置包括与高于所述第一成像分辨率的第二成像分辨率相关联的第二参数。在一些实施例中，其中，确定所述第二成像平面配置包括：将与图像识别相关联的第三预测网络应用到所述第三图像以生成第二成像平面配置，所述第三预测网络不同于所述第一预测网络。在一些实施例中，其中，接收所述第一图像包括：从所述超声换能器阵列接收所述患者身体的图像的序列，所述图像的序列包括所述第一图像，并且其中，接收到的图像的序列中的每幅图像基于不同的成像平面配置；其中，确定所述第一成像平面配置包括：将所述第一预测网络应用到所述图像的序列中的每幅图像以生成与所述解剖结构或所述医学设备中的所述至少一项在所述图像中的存在相关联的置信度水平；并且基于所述置信度水平来选择所述第一成像平面配置。在一些实施例中，所述方法还包括：基于所述分割数据来确定第三成像平面配置，所述第三成像平面配置包括与波束转向角、信号增益或成像焦深中的至少一项相关联的参数，其中，所述显示图像还基于所述第三成像平面配置。
本公开的额外方面、特征和优点将从下面的详细描述中变得显而易见。
附图说明
将参考附图来描述本公开的说明性实施例，在附图中：
图1是根据本公开的方面的超声成像系统的示意图。
图2是根据本公开的方面的用于提供最优目标可视化的基于深度学习的自动闭环超声平面转向方案的示意图。
图3是根据本公开的方面的用于提供最优目标可视化的基于深度学习的自动闭环超声平面转向方案的示意图。
图4是根据本公开的方面的基于深度学习的设备识别方案的示意图。
图5是根据本公开的方面的基于深度学习的设备识别方案的示意图。
图6是根据本公开的方面的基于深度学习的设备跟踪方案的示意图。
图7是根据本公开的方面的基于深度学习的设备分割和端部定位方案的示意图。
图8是根据本公开的方面的深度学习网络配置的示意图。
图9是根据本公开的方面的深度学习网络配置的示意图。
图10是根据本公开的方面的超声成像配置方案的示意图。
图11是根据本公开的实施例的处理器电路的示意图。
图12是根据本公开的方面的基于深度学习的超声成像方法的流程图。
具体实施方式
为了促进对本公开原理的理解的目的，现在将参考附图中图示的实施例，并且将使用特定语言来描述其。然而应理解，不旨在限制本公开的范围。如本公开涉及领域的技术人员通常会想到的，对所描述的设备、系统和方法的任何改变和进一步的修改以及对本公开的原理的任何进一步应用被充分地预期并包括在本公开内。特别地，完全预期，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。然而，为了简洁起见，将不单独描述这些组合的许多迭代。
图1是根据本公开内容的方面的超声成像系统100的示意图。系统100用于扫描患者身体的区或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110包括换能器阵列112、波束形成器114、处理部件116和通信接口118。主机130包括显示器132、处理部件134和通信接口136。
在示例性实施例中，探头110是包括被配置用于由用户手持操作的壳体的外部超声成像设备。换能器阵列112可以被配置成在用户抓握探头110的壳体时获得超声数据，使得换能器阵列112被定位成邻近患者的皮肤和/或与患者的皮肤接触。探头110被配置为在探头110被定位于患者身体外部时获得患者身体内的解剖结构的超声数据。在一些实施例中，探头110是经胸(TTE)探头。在一些其他实施例中，探头110可以是经食管(TEE)超声探头。
换能器阵列112朝向患者的解剖对象105发射超声信号并且接收从对象105反射回换能器阵列112的回波信号。超声换能器阵列112可以包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些实例中，换能器阵列112包括单个声学元件。在一些实例中，换能器阵列112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列。例如，换能器阵列112可以包括在1个声学元件和10000个声学元件之间，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件、1000个声学元件、3000个声学元件、8000个声学元件的值和/或更大和更小两者的其他值。在一些实例中，换能器阵列112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列，诸如线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如1.5D阵列)或二维(2D)阵列。可以一致或独立地控制和激活的声学元件的阵列(例如，一个或多个行、一个或多个列和/或一个或多个取向)。换能器阵列112可以被配置为获得患者解剖结构的一维图像、二维图像和/或三维图像。在一些实施例中，换能器阵列112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。
对象105可以包括适合于超声成像检查的患者的任何解剖结构，诸如血管、神经纤维、气道、二尖瓣瓣叶、心脏结构、腹部组织结构、肾脏、和/或肝脏。在一些实施例中，对象105可以包括患者的心脏、肺和/或皮肤的至少一部分。在一些实施例中，对象105可以处于(例如由呼吸、心脏活动、和/或动脉搏动而导致的)不断运动中。运动可以是规律性的或周期性的，例如，其中，心脏、相关联的血管和/或肺在心脏周期或心跳周期的背景下的运动。本公开可以在任何数量的解剖位置和组织类型的背景下实施，包括但不限于，包括肝脏、心脏、肾脏、胆囊、胰腺、肺的器官；管道；肠；包括大脑、硬膜囊、脊髓和外周神经的神经系统结构；尿道；以及血管内的瓣膜、血液、心脏的腔室或其他部分、和/或身体的其他系统。解剖结构可以是血管，如患者的血管系统的动脉或静脉，所述血管系统包括心脏血管、外周血管、神经血管、肾脏血管和/或身体内部的任何其他适当的内腔。除了自然结构，本公开可以在人造结构(诸如但不限于心脏瓣膜、支架、分流器、过滤器、植入物和其他设备)的背景下实施。
在一些实施例中，系统100用于在医学流程(例如，处置、诊断、治疗和/或介入)期间引导临床医师。例如，临床医师可以将医学设备108插入到解剖对象105中。在一些示例中，医学设备108可以包括具有细几何结构的细长柔性构件。在一些示例中，医学设备108可以是导丝、导管、引导导管、针、血管内超声(IVUS)设备、诊断设备、处置/治疗设备、介入设备、和/或导管内成像设备。在一些示例中，医学设备108可以是适合于对患者的解剖结构进行成像的任何成像设备并且可以具有任何适当的成像模态，诸如光学断层摄影(OCT)和/或内窥镜。在一些示例中，医学设备108可以包括套管、成像设备和/或植入式设备，诸如二尖瓣夹。在一些示例中，医学设备108可以是包括球囊、支架和/或斑块切除设备的处置/治疗设备。在一些示例中，医学设备108可以具有小于血管的直径的直径。在一些示例中，医学设备108可以具有大约0.5毫米(mm)或更少的直径或厚度。在一些示例中，医学设备108可以是具有大约0.035英寸的直径的导丝。在这样的实施例中，换能器阵列112能够产生由对象105和医学设备108反射的超声回声。
波束形成器114耦合到换能器阵列112。例如，波束形成器114控制换能器阵列112以用于超声信号的发送和超声回波信号的接收。波束形成器114基于响应或接收到的超声回波信号将图像信号提供给处理部件116。波束形成器114可以包括波束形成的多个阶段。波束形成可以减少用于耦合到处理部件116的信号线的数量。在一些实施例中，与波束形成器114结合的换能器阵列112可以被称为超声成像部件。
处理部件116耦合到波束形成器114。处理部件116可以包括中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一个硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理部件134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理部件116被配置为处理波束形成图像信号。例如，处理部件116可以执行滤波和/或正交解调以调节图像信号。处理部件116和/或134可以被配置为控制阵列112以获得与对象105和/或医学设备108相关联的超声数据。
通信接口118耦合到处理部件116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发机和/或用于发送和/或接收通信信号的电路。通信接口118可以包括硬件部件和/或软件部件，其实施适于通过通信链路120将信号传输到主机130的特定通信协议。通信接口118可以被称为通信设备或通信接口模块。
通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，诸如通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，诸如超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。
在主机130处，通信接口136可以接收图像信号。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如工作站、个人计算机(PC)、膝上型计算机、平板电脑或移动电话。
处理部件134耦合到通信接口136。处理部件134可以被实施为软件部件和硬件部件的组合。处理部件134可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理部件134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理部件134可以被配置为根据从探头110接收的图像信号生成图像数据。处理部件134可以将高级信号处理和/或图像处理技术应用于图像信号。在一些实施例中，处理部件134可以根据图像数据形成三维(3D)体积图像。在一些实施例中，处理部件134可以对图像数据执行实时处理以提供对象105和/或医学设备108的超声图像的流视频。
显示器132耦合到处理部件134。显示器132可以是监测器或任何适当的显示器。显示器132被配置为显示对象105和/或医学设备108的超声图像、图像视频和/或任何成像信息。
系统100可以被用于在临床流程中向临床医师提供引导。在示例中，系统100能够在医学设备108穿过对象105时捕获对象105和医学设备108的超声图像的序列以辅助临床医师执行临床流程。临床医师可以对在医学设备108穿过对象105时在图像中定位医学设备108的端部感兴趣。在一些示例中，医学设备108可以具有锐利端部。因此，对于临床医师来说能够重要的是，查看和跟踪端部的移动以避免刺穿沿着医学设备108的路径的任何解剖结构。
超声图像的序列能够是2D或3D的。例如，探头110可以是提供2D图像的包括1D换能器阵列112的2D成像探头。备选地，探头110可以是提供3D成像体积的包括2D换能器阵列112的3D成像探头。3D体积成像具有提供3D体积的完整覆盖的优点。因此，如果对象105和/或医学设备108的特定部分在体积视场(FOV)内，那么3D图像可以捕获感兴趣部分。然而，3D体积采集时间和/或处理时间能够很长。因此，代替于以完整图像分辨率和/或高帧速率采集3D体积，3D成像可以通常以降低的采集帧速率和/或降低的空间分辨率来执行以便提供实时3D成像。如以上所描述的，当对象105和/或医学设备108具有小尺寸、细几何结构和/或复杂结构时，以降低的时空分辨率对对象105和/或医学设备108在3D体积中的可视化能够是具有挑战性且耗时的。此外，超声成像可以通常具有高噪声水平(尤其是在存在严重疾病的情况下)，从而导致对象105和/或医学设备108的可视化和/或定位中的甚至更多的困难或不确定性。
在实施例中，系统100可以利用3D探头110来捕获3D体积中的2D图像切片而不是对整个3D体积进行成像。系统100可以利用3D探头使超声波束转向的能力来采集在具有感兴趣区域(例如，医学设备108的端部和/或对象105的特定部分)的平面内的2D图像切片。例如，系统100可以应用基于深度学习的或基于人工智能(AI)的闭环模型来搜索和定位3D体积中的感兴趣区域。系统100可以在基于深度学习的预测与对应的成像平面转向命令之间迭代以驱动该搜索。基于深度学习的闭环模型可以执行从由粗到细空间分辨率尺度和/或成像分辨率尺度迭代地搜索的一系列视觉任务(例如，设备识别、设备跟踪和/或设备分割和端部定位)。
在实施例中，处理部件134可以实施执行该一系列视觉任务的一系列预测网络，其中，一个预测网络的预测或输出可以用于初始化该一系列预测网络中的下一预测网络。额外地，预测网络能够被训练为以不同的空间分辨率尺度和/或成像分辨率尺度执行视觉任务。此外，预测网络的预测或输出可以采取能够用于使在探头110处的超声成像平面转向以提供感兴趣区域的最优可视化的超声波束转向配置的形式。
为了提供自动超声成像平面转向和闭环搜索，系统100还包括与探头110和处理部件134通信的电子平面转向部件150。电子平面转向部件150可以包括被配置为使超声波束转向、配置信号增益和/或配置探头110处的焦深以用于成像的硬件和/或软件部件。在示例中，处理部件134能够指导电子平面转向部件150以基于由预测网络进行的预测来使超声波束和/或成像平面转向。尽管电子平面转向部件150被示出为主机130的部分，但是电子平面转向部件150能够在主机130的外部。在本文更详细地描述用于使用闭环的基于深度学习的超声成像转向模型来提供感兴趣区域的最优可视化的机制。
在一些实施例中，系统100能够用于收集超声图像以形成用于深度学习网络训练的训练数据集。例如，主机130可以包括存储器138，其可以是任何适当的存储设备，诸如高速缓存存储器(例如，处理部件134的高速缓存存储器)、随机存取存储器(RAM)、磁阻式RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、固态存储器设备、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器、或不同类型的存储器的组合。存储器138能够被配置为存储图像数据集140来训练该系列预测或深度学习网络以用于提供最优对象和/或设备可视化。在本文更详细地描述用于训练该系列预测或深度学习网络的机制。
图2-7共同地图示了用于提供最优目标可视化和定位的自动闭环超声平面转向的机制。图2-7在提供医学设备(例如，医学设备108)的端部的定位的背景下描述。然而，类似的机制能够用于定位目标解剖结构(例如，可以受心脏运动影响的靠近心脏的远端外周解剖结构和/或小结构中的弯曲血管)。
图2是根据本公开的方面的用于提供最优目标可视化的基于深度学习的自动闭环超声平面转向方案的示意图。方案200能够由系统100实施。方案200自主地执行最优目标可视化和定位而不要求临床医师执行视图查找和/或使超声探头转向。方案200利用3D成像探头240、深度学习控制器210和电子平面转向部件220来提供最优目标可视化和定位。探头240可以基本上类似于探头110。探头240可以包括2D超声换能器阵列(例如，换能器阵列112)。电子平面转向部件220可以基本上类似于电子平面转向部件150。电子平面转向部件220可以使探头240处的超声波束转向。深度学习控制器210包括一系列基于深度学习/AI的部件，包括设备识别部件212、设备跟踪部件214以及设备分割和端部定位部件216。设备识别部件212、设备跟踪部件214以及设备分割和端部定位部件216能够由硬件和/或软件部件的组合来实施。设备识别部件212、设备跟踪部件214以及设备分割和端部定位部件216能够由处理部件134来实施。
方案200可以在临床流程期间被实施。方案200可以使用3D探头240在临床流程下采集患者的超声图像202。临床流程可以要求医学设备(例如，医学设备108)被插入到患者的解剖结构(例如，对象105)中。医学设备可以是针、导丝、导管、引导导管或任何细形状设备。不是使用3D探头240来采集3D体积230并且受采集速率和/或成像分辨率限制，而是3D探头240被配置为以2D模式来采集图像202。使用3D探头110进行2D成像超越2D探头的优点在于3D探头240能够被转向以激发在任何角度处的超声波束来捕获在3D体积230内的任何成像平面处的图像。例如，3D探头240能够捕获3D体积230内的包括短轴图像202a(例如，在y-z平面内)和长轴图像202b(例如，在x-y平面内)的X平面图像202。
在高水平处，深度学习设备识别部件212在3D体积230上执行粗略平面外搜索以定位捕获医学设备的成像平面。成像平面可以是医学设备的平面外成像平面。平面外是指医学设备穿过离开由探头240激发的超声波的平面。设备跟踪部件214在由设备识别部件212确定的成像平面周围执行精细平面外搜索以定位在具有医学设备的平面内的成像平面。平面内是指医学设备沿着由探头240激发的超声波的平面穿过。粗略搜索或精细搜索可以依据空间分辨率(例如，超声波束仰角)和/或图像分辨率(例如，图像中的像素的数量)。在设备跟踪部件214获得在具有医学设备的平面内的图像202之后，设备分割和端部定位部件216在平面内图像202上执行平面内设备分割以定位医学设备的端部或医学设备的另一感兴趣部分。在示例中，设备识别部件212、设备跟踪部件214和/或设备分割和端部定位部件216能够在长轴图像(例如，图像202b)和/或短轴图像(例如，图像202a)的组合上操作，如本文更详细地描述的。
在实施例中，设备识别部件212、设备跟踪部件214以及设备分割和端部定位部件216可以各自包括深度学习网络。设备识别部件212可以包括被训练为识别和/或检测医学设备在图像中的存在的深度学习网络。设备跟踪部件214可以包括被训练为以较精细的成像平面准确度(例如，到最优成像平面的距离)跟踪医学设备的深度学习网络。设备分割和端部定位部件216可以包括被训练为执行图像分割和设备端部定位的深度学习网络。在本文更详细地描述了设备识别部件212、设备跟踪部件214和/或设备分割和端部定位部件216中的深度学习网络的架构。
在一些示例中，设备识别部件212能够应用视图分类模型而非深度学习模型来进行设备识别和/或检测。在一些示例中，设备跟踪部件214能够应用姿势回归模型而非深度学习模型来确定当前成像平面与最优成像平面之间的距离。在一些示例中，设备分割和端部定位部件216能够应用使用传感器和跟踪以进行端部定位的其他技术而非深度学习模型。通常，深度学习控制器210可以利用深度学习模型和/或其他技术的组合来以从粗略分辨率尺度到精细分辨率尺度搜索的方式完成最优目标定位的视觉任务。在一些实施例中，深度学习控制器210可以利用用于设备识别部件212以及设备分割和端部定位部件216的深度学习模型，但是可以使用用于设备跟踪部件214的姿势回归模型。
方案200实施闭环反馈系统来提供自主最优目标定位和/或可视化。深度学习控制器210可以在成像平面预测与(经由电子平面转向部件220)物理地控制成像平面之间迭代以执行闭环或反馈环中的搜索。例如，深度学习控制器210可以基于在第一成像平面处采集的输入图像(例如，短轴图像202a或长轴图像202b)来执行成像平面预测。电子平面转向部件220可以基于成像平面预测(例如，第二成像平面)来使探头240处的超声波束转向。在转向之后，探头240可以在预测的第二成像平面处采集图像204(例如，短轴图像204a或长轴图像204b)。图像204能够被反馈到深度学习控制器210以用于另一成像平面预测(如由箭头206所示出的)。反馈环可以继续直到医学设备的平面内图像被捕获并且医学设备的端部被定位。深度学习控制器210可以根据搜索的当前阶段(例如，粗略平面外搜索、精细平面外搜索或平面内搜索)来激活或锻炼设备识别部件212、设备跟踪部件214或设备分割和端部定位部件216之一。在图3-7中示出了深度学习控制器210处的操作的更详细视图。
图3是根据本公开的方面的用于提供最优目标可视化的基于深度学习的自动闭环超声平面转向方案300的示意图。方案300由深度学习控制器210实施。方案300图示了不同搜索阶段(例如，粗略平面外搜索、精细平面外搜索或平面内搜索)中间的转变。图4是根据本公开的方面的基于深度学习的设备识别方案400的示意图。方案400由设备识别部件212实施。图5是根据本公开的方面的基于深度学习的设备识别方案500的示意图。方案500由设备识别部件212实施。图6是根据本公开的方面的基于深度学习的设备跟踪方案600的示意图。方案600由设备跟踪部件214实施。图7是根据本公开的方面的基于深度学习的设备分割和端部定位方案700的示意图。方案700由设备分割和端部定位部件216实施。
参考图3，深度学习控制器210可以实施包括粗略平面外设备识别状态302、精细平面外设备跟踪状态304以及平面内设备分割和端部定位状态306的状态机。方案300可以在粗略平面外设备识别状态302处开始。在粗略平面外设备识别状态302处，方案300利用设备识别部件212来执行针对医学设备在体积FOV内的近似位置的粗略分辨率搜索。如果设备识别部件212未能检测到医学设备的近似位置，那么方案300保留在粗略平面外设备识别状态302中并继续执行粗略分辨率搜索，如由箭头310所示的。如果设备识别部件212在包括医学设备的被指代为P1的成像平面处检测到被指代为M1的图像，那么方案300转变到精细平面外设备跟踪状态304，如由箭头312所示的。粗略分辨率搜索能够基于长轴图像(例如，图像202b和204b)和/或短轴图像(例如，图像202a和204a)来执行。如果医学设备与探头240的3D扫描平面很好地对齐，那么粗略分辨率搜索能够使用长轴图像来执行，如图4所示的。如果医学设备被以透视法缩短或插入在弯曲解剖结构中，那么依赖于长轴图像的粗略分辨率搜索可能不会提供准确的结果。因此，粗略分辨率搜索可以使用长轴图像和短轴图像来执行，如图5所示的。
参考图4，方案400通过将探头240配置为以大的粗略高度步长(例如，沿着z轴的方向以大约10度的增量)在体积FOV(例如，3D体积230)上扫掠来采集长轴图像402(例如，图像202)的序列。例如，设备识别部件212可以指导电子平面转向部件220将探头240配置为步进通过被指代为θs(i)的仰角的序列，并且在每个成像平面位置θs(i)处捕获图像402(i)，其中，i可以是正整数。在一些示例中，粗略平面外搜索可以以体积的大约10％的增量搜索3D体积，并且因此i可以在1到10之间变化。
设备识别部件212可以被应用到每幅图像402(i)。针对每个成像平面位置θs(i)，设备识别部件212可以输出包括医学设备的图像402(i)的置信度水平404。设备识别部件212可以任选地输出可以包括医学设备(例如，示出为图像402(i)中的422)的图像402(i)的部分周围的边界框424。置信度水平404是识别医学设备的预测校正度或置信度的量度。置信度水平404可以指示在1与0之间的值。例如，接近于1的置信度水平404可以指示边界框424包括医学设备的高可能性，而接近于0的置信度水平404可以指示边界框424包括医学设备的低可能性。置信度水平404可以对应于边界框424包括医学设备的置信度水平。设备识别部件212可以利用深度学习模型(例如，基于图8所示的CNN架构)来预测置信度水平404。
置信度水平404的轮廓被示出在曲线图410中。在曲线图410中，x轴表示仰角θs(i)(例如，成像平面位置)，并且y轴表示由设备识别部件212输出的置信度水平404。曲线图410示出了在-20度与20度之间变化的仰角θs(i)和在0与1之间变化的置信度水平。如能够观察到的，区域412周围的若干成像平面位置包括明显高于其他成像平面位置的置信度水平。高置信度水平可以暗示区域412中的成像平面位置可以居中在医学设备上。最优成像平面从轮廓的高台区域(例如，区域412)的开始(例如，成像平面位置414)(被示出为圆形符号)确定。
在确定针对每幅图像402(i)的置信度水平404之后，方案400选择对应于序列中的图像402之中的具有最高置信度水平404的图像402的成像平面位置。选定的成像平面位置414对应于粗略分辨率搜索中的最优成像平面(例如，图3的P1)。在选定的成像平面位置414处采集的图像402对应于图3的M1。置信度水平轮廓可以取决于在成像中的对象而变化。一些置信度水平轮廓可以比其他噪声更多并且可以具有比曲线图410中示出的区域412更窄或更不明显的高台区域。设备识别部件212的任务是定位置信度水平轮廓中的高台区域的开始位置。
参考图5，方案500可以基本上类似于方案400，但是设备识别部件212除了被应用到长轴图像504之外还被应用到短轴图像502。类似于方案400，方案500可以经由电子平面转向部件220使探头240沿着短轴(例如，沿着z轴的方向)转向以采集长轴图像504。沿着短轴的转向能够采用相对大的高度步长。设备识别部件212可以被应用到每幅长轴图像504以确定包括医学设备522(例如，医学设备108和422)的图像504的置信度水平404。设备识别部件212可以使用如方案400中的类似机制来选择沿着短轴的具有最高置信度水平404的成像位置。沿着短轴的搜索由具有(由带圈的数字示出的)步骤1-3的箭头510示出。
随后，方案500可以经由电子平面转向部件220使探头240转向以沿着长轴(例如，沿着x轴的方向)扫掠以采集一系列短轴图像502。类似地，沿着长轴的转向能够采用相对大的横向步长。设备识别部件212可以被应用到每幅短轴图像502以确定包括医学设备的图像502的置信度水平404。沿着长轴的搜索由具有(由带圈的数字示出的)步骤4-5的箭头512示出。在方案500中，设备识别部件212可以利用被训练为识别以下两类对象来预测置信度水平404的深度学习模型：(具有短横截面伪影的)短轴中和(具有高强度线性伪影的)长轴中的设备。
一般，方案500可以以任何顺序沿着短轴和长轴迭代，直到在特定X平面成像位置(例如，图3的P1)处的所采集的短轴图像502和长轴图像504(例如，图3的M1)中的每幅提供足够高的置信度水平404为止。
返回到图3，在从粗略平面外设备识别状态302定位最优长轴成像平面P1之后，方案300可以(经由电子平面转向部件220)使探头240转向到最优长轴成像平面P1。在精细平面外设备跟踪状态304处，方案300利用设备跟踪部件214以在成像平面预测与(经由电子平面转向部件220)物理地控制探头240的成像平面之间迭代以执行在粗略平面外设备识别状态302处确定的成像平面P1周围的精细搜索。设备跟踪部件214的任务是定位在具有医学设备的平面内的成像平面(例如，如图6中所示出的)。如果设备跟踪部件214不能找到在具有医学设备的平面内的成像平面，那么方案300保留在精细平面外设备跟踪状态304中并继续执行精细搜索，如由箭头314所示出的。如果设备跟踪部件214找到了具有在具有医学设备的平面内的所采集的图像M2的成像平面P2，那么方案300转变到设备分割和端部定位状态306，如由箭头316所示出的。
参考图6，方案600在粗略平面外设备识别状态302中的由方案400和/或500确定的最优长轴成像平面P1处开始。在示例中，设备跟踪部件214可以在对应于在其中检测到医学设备的边界框(例如，边界框424)内的图像M1的部分的剪裁图像602上操作。设备跟踪部件214可以在逐帧的基础上执行精细搜索或调节。设备跟踪部件214确定在用于捕获医学设备的当前成像平面与标准数据(ground truth)平面内成像平面之间的距离偏移并且根据所确定的距离偏移来指导电子平面转向部件220以使探头240转向。在转向之后，探头240可以采集另一图像602并且以闭环形式重复该过程直到到达平面内成像平面。在示例中，该调节可以以毫米(mm)为单位(例如，<2mm)。
在实施例中，设备跟踪部件214可以通过采用姿势回归网络(例如，基于图8中示出的CNN架构)来计算每幅图像602中的距离偏移。姿势回归网络可以执行对长轴中的偏移(例如，在标准数据或平面内成像平面与当前成像平面之间的差异)的回归。为了使用网络，来自图像M1的边界框(例如，边界框424)被自动地扩展到图像的整个横向宽度以生成医学设备被定位于其中的感兴趣区域(ROI)。图像M1被剪裁到ROI并且输入到回归网络中。以这种方式进行的剪裁允许在粗略平面外设备识别状态302中确定的ROI被用于约束精细平面外设备跟踪状态304中的预测。具体地，其允许不是医学设备的部分的不相关信息被丢弃。额外地，剪裁能够消除位于ROI外部的伪影或混淆结构。相对于当前成像帧的医学设备姿势基于网络预测从帧到帧被更新，从而允许对成像平面的实时调节以考虑例如当医学设备主动地被导航或移动时医学设备或探头240的小的平面外运动。
尽管方案600图示了在长轴图像上执行的精细搜索，但是方案600能够额外地利用短轴图像以用于精细搜索。例如，方案600可以在最优长轴成像平面M1(例如，图4的成像平面位置414)处采集短轴图像(例如，图像204a和d502)。设备跟踪部件214可以使用短轴图像来确定到标准数据或最优平面内成像平面的距离偏移。
在精细搜索的结束处，方案600到达医学设备的最优平面内成像平面(例如，图3的P2)并获得在该平面内成像平面处的医学设备的最优平面内图像604(例如，图3的M2)。额外地，设备跟踪部件214可以输出最优平面内图像604中的医学设备(被示出为622)周围的边界框624。
返回到图3，在从精细平面外设备跟踪状态304获得医学设备的平面内成像平面P2之后，方案300利用设备分割和端部定位部件216来分割图像M2中的医学设备并从图像M2定位医学设备端部(例如，如图7所示的)。分割和定位能够提供用于引导介入的有用信息。
参考图7，方案700在最优平面内图像M2 604上执行设备分割和端部定位。设备分割和端部定位部件216可以在对应于在其中识别到医学设备(被示出为722)的边界框624内的图像M2 604的部分的剪裁图像702上操作。例如，边界框624被扩展到图像的整个横向宽度以生成用于剪裁的设备ROI。在一些其他示例中，剪裁能够是软剪裁，其中，较高的权重可以被应用到图像的在边界框624内的部分，而较低的权重可以被应用到图像的在边界框624外部的部分。设备分割和端部定位部件216可以使用深度学习网络(例如，基于图9中示出的卷积编码-解码器架构)进行设备分割和端部定位。在实施例中，网络可以执行逐像素分类并输出针对每个像素的指示该像素是否包括医学设备的预测或评分(例如，在0与1之间的范围内)。例如，具有接近于1的预测评分的像素可以指示该像素很可能包括医学设备。在一方面，具有接近于0的预测评分的像素可以指示该像素不太可能包括医学设备。如所示出的，设备跟踪部件214产生输出图像704，其中，区域726或输出图像704的部分具有接近于1的预测评分。因此，医学设备端部724能够被自动定位在区域726的远端处。在另一实施例中，网络可以输出图像702中的设备端部724被定位于其中的位置x-y坐标。
在定位医学设备端部724之后，方案700还可以在最优平面内成像平面P2处采集短轴图像706。方案700可以在显示器132处显示最优长轴图像604和最优短轴图像706。方案700可以基于输出704在长轴图像604和短轴图像706中提供医学设备722和/或医学设备端部724的视觉指示。例如，方案700可以分别利用叠加在长轴图像604的顶部上的绿色线(被示出为730)和红色点(被示出为732)来指示检测到的医学设备722和医学设备端部724。方案700可以利用叠加在短轴图像706的顶部上的红色点(被示出为734)来指示医学设备端部724。通常，方案700可以使用任何形状和任何颜色的指示器或标记或任何适当的颜色图来指示或突出显示最优长轴图像604和最优短轴图像706内的医学设备和医学设备端部。
参考图3，如果在任何状态302、304或306期间检测到失败，那么方案300可以返回到先前状态。例如，如果医学设备的可见性在平面内设备分割和端部定位状态306期间丢失，那么方案300可以返回到先前的精细平面外设备跟踪状态304，如由箭头320所示出的。设备跟踪部件214可以应用姿势回归网络来精细调谐探头240的转向角以恢复最优设备可视化。类似地，如果医学设备的可见性在精细平面外设备跟踪状态304期间丢失，那么方案300可以返回到先前的粗略平面外设备识别状态302，如由箭头322所示出的。
尽管方案200-700被描述为依据空间分辨率(例如，高度和/或横向步长)的由粗到细搜索，但是方案200-700可以应用依据成像分辨率的由粗到细搜索。例如，粗略平面外设备识别状态302可以将设备识别部件212应用到低成像分辨率(例如，具有8的下采样因子)的图像，精细平面外设备跟踪状态304可以将设备跟踪部件214应用到中等成像分辨率(例如，具有4的下采样因子)处的图像，并且平面内设备分割和端部定位状态306可以将设备分割和端部定位部件216应用到高成像分辨率(例如，完全分辨率)处的图像。较低分辨率图像的采集时间和处理能够比较高分辨率图像的采集时间和/或处理更快，并且因此可以加速粗略平面外设备识别状态302和/或精细平面外设备跟踪状态304中的搜索。
图8是根据本公开的方面的深度学习网络配置800的示意图。在示例中，配置800可以由用于设备识别的设备识别部件212实施。在另一示例中，配置800能够由用于设备跟踪的设备跟踪部件214实施。配置800包括深度学习网络810。深度学习网络810可以被称为卷积神经网络(CNN)。深度学习网络810可以包括跟随有一组K个全连接层830的一组N个卷积层820，其中，N和K可以是任何正整数。卷积层820被示出为820(1)到820(N)。全连接层830被示出为830(1)到830(K)。每个卷积层820可以包括被配置为从输入图像802(例如，图像202、402、502、602和702)提取成像特征(例如，医学设备108、422和522)的一组滤波器822。值N和K以及滤波器822的大小可以取决于实施例而变化。在示例中，卷积层820(1)到720(N)和全连接层730 730(1)到730(K-1)可以利用带泄露修正非线性(ReLU)激活函数和/或批量归一化。全连接层830可以是非线性的并且可以将高维输出逐渐地收缩到预测结果804的维度。
输入图像802可以被连续传递通过每个层820和830以用于特征提取、分析和/或分类。每个层820或830可以包括被应用到输入图像802或先前层820或830的输出的加权(例如，用于卷积层820中的滤波器822的滤波器系数和用于全连接层830的非线性加权)。
在实施例中，设备识别部件212可以包括深度学习网络810。深度学习网络810可以被应用到超声图像(例如，图像202、402和/或502)以确定该图像是否捕获医学设备(例如，医学设备108)。在这样的实施例中，预测结果804可以包括表示该图像捕获医学设备的可能性或置信度水平的1与0之间的值。
为了训练深度学习网络810以用于设备识别，训练数据集(例如，图像数据集140)能够被创建，例如，包括由3D探头(例如，探头240)捕获的超声图像(例如，类似于图像202、402和/或502的2D、X平面和/或多平面图像)的序列。超声图像可以是体模、活患者和/或死尸的图像并且可以包括各种类型的细形状医学设备。训练数据可以将每幅图像与指示该图像是否捕获医学设备的标准数据相关联。深度学习网络810能够例如使用前向传播被应用于数据集中的每幅图像，以获得针对输入图像的输出或评分。卷积层820中的滤波器822的系数和全连接层830中的加权能够例如通过使用后向传播使预测误差(例如，标准数据与预测结果804之间的差异)最小化而被调节。
在实施例中，设备跟踪部件214可以包括深度学习网络810。深度学习网络810可以被应用到超声图像(例如，图像602)以确定医学设备(例如，医学设备108)的当前成像平面与平面内成像平面之间的距离偏移。在这样的实施例中，预测结果804可以包括距离度量(例如，以mm为单位)。
为了训深度学习网络810以用于设备跟踪，训练数据集(例如，图像数据集140)能够被创建，例如，包括由3D探头(例如，探头240)捕获的超声图像(例如，类似于图像202、402和/或502的2D、X平面和/或多平面图像)的序列。超声图像可以是体模、活患者和/或死尸的图像并且可以包括各种类型的细形状医学设备。训练数据可以将每幅图像与指示到医学设备的平面内成像平面的距离或偏移的标准数据相关联。深度学习网络810能够例如使用前向传播被应用到数据集中的每幅图像，以获得针对输入图像的输出或评分。卷积层820中的滤波器822的系数和全连接层830中的加权能够例如通过使用后向传播以使预测误差(例如，标准数据距离偏移与预测结果804之间的差异)最小化来调节。
图9是根据本公开的方面的深度学习网络配置900的示意图。在示例中，配置900能够由设备分割和端部定位部件216实施。配置900包括深度学习网络910。深度学习网络910包括卷积编码器920和卷积解码器940。卷积编码器920包括多个卷积编码层922。卷积解码器940包括多个卷积解码层942。在一些示例中，卷积编码层922的数量和卷积解码层942的数量可以是相同的。在一些示例中，卷积编码层922的数量和卷积解码层942的数量可以根据实施例而是不同的或相同的。
卷积编码层922和卷积解码层942可以基本上类似于卷积层820。例如，卷积编码层922中的每个和卷积解码层942中的每个可以包括卷积滤波器或核。卷积核能够为2D核。用于卷积核的滤波器系数被训练为执行输入图像902(例如，平面内图像604)中的分割和设备端部定位。额外地，每个卷积编码层922可以跟随有下采样层。每个卷积解码层942前面能够有上采样层。下采样和上采样能够采用任何适当的因子。在一些示例中，在每个下采样层处的下采样因子和在每个上采样层处的上采样因子能够为大约2。卷积编码层922和卷积解码层942能够被训练为以不同的空间分辨率从902提取特征。在实施例中，深度学习网络910输出包括逐像素分类信息的预测结果904。例如，预测结果904可以包括针对每个像素(例如，在0到1之间的范围内)的评分(例如，在0到1之间的范围内)，其指示该像素是否包括医学设备。
输入图像902可以被连续传递通过每个卷积编码层922和卷积解码层942以用于设备分割和端部定位的特征提取、分析和/或分类。每个层922和942可以包括被应用到输入图像902或先前层922或942的输出的加权(例如，滤波器系数)。
在实施例中，设备跟踪部件214可以包括深度学习网络910。深度学习网络910可以被应用到超声图像(例如，平面内图像604)以分割图像中的医学图像(例如，医学设备108)并定位医学设备的端部。为了训练深度学习网络910以用于设备分割和端部定位，训练数据集(例如，图像数据集140)能够被创建，例如包括由3D探头(例如，探头240)捕获的超声图像(例如，类似于图像202、402和/或502的2D、X平面和/或多平面图像)的序列。超声图像可以是体模、活患者和/或死尸的图像并且可以包括各种类型的细形状医学设备。训练数据可以将每幅图像与针对图像中的每个像素的指示该像素是否捕获医学设备和医学设备端部的位置的标准数据相关联。深度学习网络910能够例如使用前向传播被应用到数据集中的每幅图像，以获得针对输入图像的输出或评分。卷积编码层922和卷积解码层942中的2D滤波器核的系数能够例如通过使用后向传播以使预测误差(例如，标准数据与预测结果804之间的差异)最小化来调节。
在实施例中，尽管方案200-700图示了实施用于设备识别、设备跟踪以及设备分割和端部定位的三个单独的深度学习网络的深度学习控制器210，但是深度学习控制器210可以实施被训练为执行设备识别、设备跟踪以及设备分割和端部定位的任务的单个深度学习网络。单个深度学习网络可以使用如以上所描述的基本上类似机制来在预测成像平面与物理地控制探头240之间迭代。对单个深度学习网络的使用可以允许网络被联合地训练和优化用于设备识别、设备跟踪以及设备分割和端部定位的任务。
在实施例中，方案200-700可以在探头240被定位在感兴趣对象可能被定位于的近似位置处之后开始。初始位置近似可以使用任何适当的机制来执行。通过将探头240定位在感兴趣对象的近似位置处可以极大地减少使探头240转向所需的迭代次数，并且因此能够减少到达最优成像平面的时间量。
尽管方案200-700图示了使用长轴图像和/或短轴图像作为到深度学习控制器210的输入的目标定位，但是类似机制能够被应用到具有多平面图像和/或小的3D子体积的输入。例如，深度学习控制器210可以被训练为在多平面图像和/或3D子体积上执行设备识别、设备跟踪以及设备分割和端部定位。额外地，方案200-700还能够利用时间信息来进一步改进预测性能。例如，设备识别部件212、设备跟踪部件214以及设备分割和端部定位部件216能够基于在一时间段内采集的图像的序列而非在单个时间点处捕获的长轴图像和/或短轴图像来预测成像平面配置。
图10是根据本公开的方面的超声成像配置方案1000的示意图。方案1000能够由系统100实施，系统100例如实施如以上讨论的方案700中所示出的设备分割和端部定位。例如，尽管设备跟踪部件214可以使探头240转向以捕获在具有医学设备的平面内的图像(例如，图像604)以用于设备分割和端部定位，但是由探头240激发的超声波束可以不垂直于医学设备。作为示例，设备分割和端部定位部件216可以在图像1002上操作，其中，超声波束1020以任何角度1024发射到医学设备1022(例如，医学设备108)。尽管设备分割和端部定位部件216可以分割医学设备1022并定位设备的端部，但是图像1002可以不提供医学设备202的最佳可见性。方案1000可以包括超声探头配置调节部件1010，其被配置为计算超声波束角度调节1012，使得探头240可以激发大约垂直于医学设备1022的超声波束。超声探头配置调节部件1010可以指导电子平面转向部件220根据调节1012来使探头240转向。在转向之后，探头240可以采集图像1004，其中，由探头240激发的超声波束1030垂直于医学设备1022。
尽管方案1000在设备分割和端部定位之后的波束角度调节的背景下描述，但是类似机制可以被应用于调节超声波束的信号增益、焦深、动态范围、成像深度、图像剪裁、用于多普勒成像或其他模态的感兴趣区域和/或任何其他超声发射参数以进一步改进医学设备的可见性。在一些方面中，该分割还能够用于初始化其他量化，例如，设备被定位于其中的解剖结构的单独分割的初始化。
在一些实施例中，系统100可以额外地提供用于驱动以上在方案200-700和1000中所描述的闭环超声成像平面转向机制的语音命令功能。例如，主机130可以包括被配置为接收用户语音命令的麦克风，并且处理部件134可以实施语音识别算法来检测用户输入命令并且继而驱动闭环搜索。用户可以以语音表达命令以开始闭环搜索并且系统100可以步进通过如以上所描述的粗略平面外设备识别状态302、精细平面外设备跟踪状态304、平面内设备分割和端部定位状态306，直到医学设备的最优成像平面被达到并且可以提供医学设备的最优可视化和医学设备端部的定位。额外地或备选地，系统100可以包括其他接口，诸如相机、传感器、触摸屏接口和/或探头110上的按钮，以允许用户经由手势、基于眼球跟踪的命令、触摸屏上的轻扣和/或按压探头110上的按钮来初始化闭环搜索的特定阶段。
图11是根据本公开的实施例的处理器电路1100的示意图。处理器电路1100可以被实施在图1的探头110和/或主机130中。在示例中，处理器电路1100可以与探头110中的换能器阵列112通信。如所示出的，处理器电路1100可以包括处理器1160、存储器1164和通信模块1168。这些元件可以例如经由一个或多个总线与彼此直接或间接通信。
处理器1160可以包括CPU、DSP、专用集成电路(ASIC)、控制器、FPGA、另一硬件设备、固件设备或其任何组合，其被配置为执行本文描述的操作，例如，图2-10和12的方面。处理器1160还可以被实施为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器、或任何其他这样的配置。
存储器1164可以包括高速缓存存储器(例如，处理器1160的高速缓存存储器)、随机存取存储器(RAM)、磁阻式RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、固态存储器设备、硬盘驱动器、其他形式的易失性和非易失性存储器、或不同类型的存储器的组合。在实施例中，存储器1164包括非瞬态计算机可读介质。存储器1164可以存储指令1166。指令1166可以包括当由处理器1160运行时使处理器1160执行本文参考探头110和/或主机130(图1)描述的操作(例如，图2-10和12的方面)的指令。指令1166还可以被称为代码。术语“指令”和“代码”应当被宽泛地解释为包括(一个或多个)任何类型的计算机可读语句。例如，术语“指令”和“代码”可以是指一个或多个程序、例程、子例程、函数、流程等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
通信模块1168能够包括任何电子电路和/或逻辑电路来促进在处理器电路1100、探头110和/或显示器132之间的数据的直接或间接通信。在这方面，通信模块1168能够是输入/输出(I/O)设备。在一些实例中，通信模块1168促进在处理器电路1100和/或探头110(图1)和/或主机130(图1)的各种元件之间的直接或间接通信。
图12是根据本公开的方面的基于深度学习的超声成像方法1200的流程图。方法1200由系统100实施，例如，由诸如处理器电路1100的处理器电路和/或诸如探头110或240、处理部件116、主机130和/或处理部件134的其他适当的部件实施。在一些示例中，系统100能够包括其上已经记录了程序代码的计算机可读介质，该程序代码包括用于使系统100执行方法1200的步骤的代码。方法1200可以采用如以上分别参考图2、3、4、5、6、7和/或10描述的方案200、300、400、500、600、700和/或1000中的类似机制，和以上分别参考图8和/或图9描述的配置800和/或900。如所图示的，方法1200包括多个列举的步骤，但是方法1200的实施例可以包括在列举的步骤之前、之后和之间的额外步骤。在一些实施例中，列举的步骤中的一个或多个可以被省略或以不同的顺序来执行。
在步骤1210处，方法1200包括在与超声换能器阵列(例如，阵列112)通信的处理器电路(例如，处理部件134和1100)处从超声换能器阵列接收患者身体(例如，对象105)的第一图像(例如，图像202、402、502、602、604、702和/或1002)。
在步骤1220处，方法1200包括通过将与图像识别相关联的第一预测网络(例如，在设备识别部件212处的深度学习网络810)应用到第一图像(例如，如方案400和/或500中所示出的)而基于第一图像来确定第一成像平面配置(例如，图3的成像平面P1)。
在步骤1230处，方法1200包括基于第一成像配置从超声换能器阵列接收第二图像(例如，图像604)。例如，第二图像至少部分地基于第一成像平面配置来接收。第二图像包括患者身体的解剖结构或解剖结构内的医学设备中的至少一个的成像视图。该医学设备可以基本上类似于医学设备108、422、522、722和/或1022。在一些示例中，医学设备可以包括针、导丝、导管、引导导管、治疗设备、介入设备或诊断设备中的至少一个。
在步骤1240处，方法1200包括将与图像分割相关联的第二预测网络(例如，在设备分割和端部定位部件216处的深度学习网络910)应用到第二图像以生成分割数据，例如，如方法700所示的。
在步骤1250处，方法1200包括至少部分地基于分割数据将包括解剖结构或医学设备中的至少一个的第一部分的指示的显示图像(例如，图7的图像604和704)输出到与处理器电路通信的显示器(例如，显示器132)。该指示可以类似于图7中示出的指示器730、732和/或734。在示例中，第一部分可以是医学设备的端部(例如，端部724)。在示例中，第一部分可以是患者的心脏的移动部分。
在实施例中，处理器电路还基于第一成像平面配置从超声换能器阵列接收患者身体的第三图像(例如，图像602)。处理器电路还基于第三图像(例如，图像602)来确定第二成像平面配置(例如，图3的成像平面配置P2)。在一些实例中，第二图像还基于第二成像平面配置来接收。
在实施例中，第一成像平面配置包括与第一波束转向角相关联的第一参数，并且第二成像平面配置包括与小于第一波束转向角的第二波束转向角相关联的第二参数。
换言之，第一成像平面配置包括与第一成像分辨率相关联的第一参数，并且第二成像平面配置包括与高于第一成像分辨率的第二成像分辨率相关联的第二参数。
在实施例中，处理器电路通过将与图像识别相关联的第三预测网络(例如，在设备跟踪部件214处的深度学习网络810)应用到第三图像以生成第二成像平面配置来确定第二成像平面配置，例如，如方案600中所示的。
在实施例中，处理器电路从超声换能器阵列接收患者身体的图像的序列，其中，图像的序列包括第一图像，并且每幅图像基于不同的成像平面配置来接收。处理器电路通过将第一预测网络应用到图像的序列中的每幅图像以生成与解剖结构或医学设备中的至少一个在图像中的存在相关联的置信度水平来确定第一成像平面配置并且基于置信度水平来选择第一成像平面配置，例如，如方案600中所示的。
在实施例中，处理器电路基于分割数据来确定第三成像平面配置。第三成像平面配置可以包括与波束转向角(例如，如方案1000中所示的)、信号增益或成像焦深中的至少一个相关联的参数，其中，显示图像还基于第三成像平面配置。
本公开的方面能够提供若干益处。例如，对3D成像探头来采集2D图像、X平面图像和/或多平面图像的使用提供采集体积FOV内的任何成像平面的灵活性。对从粗略分辨率尺度到精细分辨率尺度的设备搜索和/或定位的执行能够减少视图查找时间量。使用采取流水线配置的一系列预测网络以用于设备搜索和定位(其中，一个预测网络的输出用于(例如，基于图像剪裁)初始化下一预测网络)能够减少闭环所需的迭代次数，并且因此可以进一步减少视图查找时间。使用具有电子转向的闭环形式允许自主最优视图查找，从而在临床流程中的最优视图查找的最具挑战性的和/或耗时的任务中向临床医师提供辅助。
本领域技术人员将认识到，可以以各种方式修改上述装置、系统和方法。因此，本领域普通技术人员将意识到，由本公开涵盖的实施例不限于上述特定示例性实施例。就这一点而言，尽管已经示出和描述了说明性实施例，但是在前述公开中预期各种各样的修改、改变和替换。应该理解，在不脱离本公开的范围的情况下，可以对前述内容做出这样的变化。因此，适当的是，以与本公开一致的方式广义地解释所附权利要求。

Claims (20)

1.一种超声成像系统，包括：
处理器电路，其与超声换能器阵列通信，所述处理器电路被配置为：
从所述超声换能器阵列接收患者身体的第一图像；
通过将与图像识别相关联的第一预测网络应用到所述第一图像基于所述第一图像来确定第一成像平面配置；
基于所述第一成像平面配置从所述超声换能器阵列接收所述患者身体的第二图像，其中，所述第二图像包括所述患者身体的解剖结构或所述解剖结构内的医学设备中的至少一项的成像视图；
将与图像分割相关联的第二预测网络应用到所述第二图像以生成分割数据；并且
将基于所述分割数据的包括对所述解剖结构或所述医学设备中的所述至少一项的第一部分的指示的显示图像输出到与所述处理器电路通信的显示器。
2.根据权利要求1所述的系统，其中，所述处理器电路被配置为：
基于所述第一成像平面配置来从所述超声换能器阵列接收所述患者身体的第三图像；并且
基于所述第三图像来确定第二成像平面配置，并且
其中，所述第二图像还是基于所述第二成像平面配置来接收的。
3.根据权利要求2所述的系统，其中，所述第一成像平面配置包括与第一波束转向角相关联的第一参数，并且其中，所述第二成像平面配置包括与小于所述第一波束转向角的第二波束转向角相关联的第二参数。
4.根据权利要求2所述的系统，其中，所述第一成像平面配置包括与第一成像分辨率相关联的第一参数，并且其中，所述第二成像平面配置包括与高于所述第一成像分辨率的第二成像分辨率相关联的第二参数。
5.根据权利要求2所述的系统，其中，被配置为确定所述第二成像平面配置的所述处理器电路还被配置为：
将与图像识别相关联的第三预测网络应用到所述第三图像以生成第二成像平面配置，所述第三预测网络不同于所述第一预测网络。
6.根据权利要求5所述的系统，其中：
所述第一预测网络包括被训练为基于第一空间分辨率来识别所述解剖结构或所述医学设备中的所述至少一项的卷积编码器；并且
所述第三预测网络包括被训练为以比所述第一空间分辨率更精细的第二空间分辨率来确定与所述解剖结构或所述医学设备中的所述至少一项的平面内成像视图相关联的距离度量的卷积编码器。
7.根据权利要求5所述的系统，其中：
所述第一预测网络包括被训练为基于第一图像分辨率来识别所述解剖结构或所述医学设备中的所述至少一项的卷积编码器；并且
所述第三预测网络包括被训练为基于高于所述第一图像分辨率的第二图像分辨率来确定与所述解剖结构或所述医学设备中的所述至少一项的平面内成像视图相关联的距离的卷积编码器。
8.根据权利要求2所述的系统，其中：
被配置为接收所述第一图像的所述处理器电路被配置为：
从所述超声换能器阵列接收所述患者身体的图像的序列，所述图像的序列包括所述第一图像，并且其中，所述图像的序列中的每幅图像基于不同的成像平面配置；并且
被配置为确定所述第一成像平面配置的所述处理器电路还被配置为：
将所述第一预测网络应用到所述图像的序列中的每幅图像以生成与所述解剖结构或所述医学设备中的所述至少一项在所述图像中的存在相关联的置信度水平；并且
基于所述置信度水平来选择所述第一成像平面配置。
9.根据权利要求8所述的系统，其中，所述图像的序列至少包括短轴图像和长轴图像。
10.根据权利要求1所述的系统，其中：
所述处理器电路还被配置为：
基于所述分割数据来确定第三成像平面配置，所述第三成像平面配置包括与波束转向角、信号增益或成像焦深中的至少一项相关联的参数；并且
所述显示图像还基于所述第三成像平面配置。
11.根据权利要求1所述的系统，其中，所述第二图像包括包含以下各项中的至少一项的所述医学设备：针、导丝、导管或引导导管。
12.根据权利要求1所述的系统，其中，所述超声换能器阵列是二维(2D)超声换能器阵列。
13.根据权利要求1所述的系统，还包括：
电子转向控制器，其与所述超声换能器阵列和所述处理器电路通信，
其中，所述处理器电路被配置为：
将用于基于所述第一成像平面配置来配置所述超声换能器阵列的指令发送到所述电子转向控制器。
14.一种超声成像的方法，包括：
在与超声换能器阵列通信的处理器电路处接收患者身体的第一图像；
通过将与图像识别相关联的第一预测网络应用到所述第一图像基于所述第一图像来确定第一成像平面配置；
基于所述第一成像平面配置从所述超声换能器阵列接收所述患者身体的第二图像，其中，所述第二图像包括所述患者身体的解剖结构或所述解剖结构内的医学设备中的至少一项的成像视图；
将与图像分割相关联的第二预测网络应用到所述第二图像以生成分割数据；并且
将基于所述分割数据的包括对所述解剖结构或所述医学设备中的所述至少一项的第一部分的指示的显示图像输出到与所述处理器电路通信的显示器。
15.根据权利要求14所述的方法，还包括：
基于所述第一成像平面配置来从所述超声换能器阵列接收所述患者身体的第三图像；并且
基于所述第三图像来确定第二成像平面配置，并且
其中，所述第二图像还是基于所述第二成像平面配置来接收的。
16.根据权利要求15所述的方法，其中，所述第一成像平面配置包括与第一波束转向角相关联的第一参数，并且其中，所述第二成像平面配置包括与小于所述第一波束转向角的第二波束转向角相关联的第二参数。
17.根据权利要求15所述的方法，其中，所述第一成像平面配置包括与第一成像分辨率相关联的第一参数，并且其中，所述第二成像平面配置包括与高于所述第一成像分辨率的第二成像分辨率相关联的第二参数。
18.根据权利要求15所述的方法，其中，确定所述第二成像平面配置包括：
将与图像识别相关联的第三预测网络应用到所述第三图像以生成第二成像平面配置，所述第三预测网络不同于所述第一预测网络。
19.根据权利要求15所述的方法，其中：
接收所述第一图像包括：
从所述超声换能器阵列接收所述患者身体的图像的序列，所述图像的序列包括所述第一图像，并且其中，所述图像的序列中的每幅图像基于不同的成像平面配置；并且
确定所述第一成像平面配置包括：
将所述第一预测网络应用到所述图像的序列中的每幅图像以生成与所述解剖结构或所述医学设备中的所述至少一项在所述图像中的存在相关联的置信度水平；并且
基于所述置信度水平来选择所述第一成像平面配置。
20.根据权利要求14所述的方法，还包括：
基于所述分割数据来确定第三成像平面配置，所述第三成像平面配置包括与波束转向角、信号增益或成像焦深中的至少一项相关联的参数，
其中，所述显示图像还基于所述第三成像平面配置。
CN202080067583.3A 2019-09-26 2020-09-10 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、系统和方法 Pending CN114430671A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962906368P 2019-09-26 2019-09-26
US62/906,368 2019-09-26
PCT/EP2020/075308 WO2021058288A1 (en) 2019-09-26 2020-09-10 Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods

Publications (1)

Publication Number Publication Date
CN114430671A true CN114430671A (zh) 2022-05-03

Family

ID=72470377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067583.3A Pending CN114430671A (zh) 2019-09-26 2020-09-10 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、系统和方法

Country Status (3)

Country Link
EP (1) EP4033987A1 (zh)
CN (1) CN114430671A (zh)
WO (1) WO2021058288A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022074392A (ja) * 2020-11-04 2022-05-18 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム
US9642592B2 (en) * 2013-01-03 2017-05-09 Siemens Medical Solutions Usa, Inc. Needle enhancement in diagnostic ultrasound imaging
US20180125460A1 (en) * 2016-11-04 2018-05-10 General Electric Company Methods and systems for medical imaging systems
JP7401447B2 (ja) * 2018-03-12 2023-12-19 コーニンクレッカ フィリップス エヌ ヴェ ニューラルネットワークを使用した超音波撮像平面整列並びに関連するデバイス、システム、及び方法

Also Published As

Publication number Publication date
US20220370034A1 (en) 2022-11-24
EP4033987A1 (en) 2022-08-03
WO2021058288A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
US11540718B2 (en) Imaging view steering using model-based segmentation
EP3363365A1 (en) Automatic imaging plane selection for echocardiography
US20210038321A1 (en) Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods
US20230026942A1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
US20220401062A1 (en) Point-of-care ultrasound (pocus) scan assistance and associated devices, systems, and methods
WO2019175141A1 (en) Ultrasound imaging plane alignment guidance for neural networks and associated devices, systems, and methods
EP3866697B1 (en) Deep learning-based ultrasound imaging guidance and associated devices, systems, and methods
CN115426954A (zh) 用于生成路线图图像的双平面和三维超声图像采集以及相关联的系统和设备
JP7462672B2 (ja) 超音波撮像におけるセグメンテーション及びビューガイダンス並びに関連するデバイス、システム及び方法
CN114430671A (zh) 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、系统和方法
US12016724B2 (en) Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
US20240053470A1 (en) Ultrasound imaging with anatomy-based acoustic settings
US12020434B2 (en) Segmentation and view guidance in ultrasound imaging and associated devices, systems, and methods
EP4327750A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
EP4265191A1 (en) Ultrasound imaging
WO2023186640A1 (en) Completeness of view of anatomy in ultrasound imaging and associated systems, devices, and methods
WO2024042044A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
WO2023202887A1 (en) Ultrasound imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination