CN115426954A - 用于生成路线图图像的双平面和三维超声图像采集以及相关联的系统和设备 - Google Patents

用于生成路线图图像的双平面和三维超声图像采集以及相关联的系统和设备 Download PDF

Info

Publication number
CN115426954A
CN115426954A CN202180028650.5A CN202180028650A CN115426954A CN 115426954 A CN115426954 A CN 115426954A CN 202180028650 A CN202180028650 A CN 202180028650A CN 115426954 A CN115426954 A CN 115426954A
Authority
CN
China
Prior art keywords
image
biplane
images
roadmap
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180028650.5A
Other languages
English (en)
Inventor
A·陈
郑鸣昕
R·Q·埃尔坎普
A·K·贾殷
李思博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN115426954A publication Critical patent/CN115426954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A61B8/145—Echo-tomography characterised by scanning multiple planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

公开了一种超声路线图图像生成系统。所述系统包括处理器，所述处理器被配置用于与能相对于患者移动的超声成像设备通信。所述处理器接收表示所述患者内的第一体积的第一双平面或3D图像和表示所述患者内的第二体积的第二双平面或3D图像。所述处理器然后配准所述第一双平面或3D图像与所述第二双平面或3D图像，以确定所述第一双平面或3D图像与所述第二双平面或3D图像之间的运动。所述处理器然后基于所确定的运动，通过组合所述第一双平面或3D图像与所述第二双平面或3D图像来生成感兴趣区域的2D路线图图像；并且输出包括所述2D路线图图像的屏幕显示。

Description

用于生成路线图图像的双平面和三维超声图像采集以及相关 联的系统和设备
技术领域
本文描述的主题总体上涉及超声图像的采集和显示。特别地，本公开内容描述了用于生成全景超声图像的系统和方法。所描述的设备、系统和方法对于诊断医学成像具有特定但非排他性的用途。
背景技术
超声成像经常用于获得患者的内部解剖结构的图像。超声系统通常包括超声换能器探头，该超声换能器探头包括被耦合到探头壳体的换能器阵列。换能器阵列被激活而以超声频率振动，从而将超声能量发射到患者的解剖结构中，然后接收由患者的解剖结构反射或反向散射的超声回波以创建图像。这样的换能器阵列可以包括各种层，包括一些具有压电材料的层，这些具有压电材料的层响应于施加的电压而振动，从而产生期望的压力波。这些换能器可以用于接连地发射和接收若干超声波压力波以通过身体的各种组织。各种超声响应可以由超声成像系统进一步处理，以显示身体的各种结构和组织。
超声成像会受到小视场的限制，与诸如X射线、CT和MRI之类的其他成像模态相比时尤其如此。受限的视场会导致困难的工作流程、增加的手术时间和降低的临床疗效。一种根据有限的个体帧来合成扩展的超声图像的方法是通过将这些帧拼接在一起以创建全景“路线图”图像，该全景“路线图”图像降低了显现在当前视场之外的特征对心理想象和记忆的依赖。
在超声中创建路线图图像可能存在一些挑战。例如，超声图像中存在的随机斑点和噪声会使路线图的创建易于出现不确定性和错误。第二，因为路线图图像常常依赖于在超声医师手动移动超声探头穿过患者的解剖结构时拍摄的一系列超声图像，所以确定按顺序的超声图像是否彼此共面是具有挑战性的。在这一点上，超声探头的移动可能并不遵循线性路径，并且按顺序的图像的平面可能彼此并不平行。如果相继的二维(2D)帧彼此并不共面，则帧之间的显著图像特征的数量会受到限制，从而导致较差的帧间配准准确度。
因此，虽然对使用基于图像的配准技术进行2D超声帧间对齐以创建扩展视图有很大的兴趣，但是这些技术的临床和商业转化一直受到限制。
说明书的背景技术部分中包括的信息(包括本文引用的任何参考文献及其任何描述或讨论)仅是出于技术参考的目的而被包括在内的，且并不被视为界定本公开内容的范围的主题。
发明内容
公开了一种新颖的图像采集系统和方法，该系统和方法包括使用多个双平面和/或3D超声图像来构建扩展视场全景路线图。与传统的基于2D图像的方法相比，使用双平面和/或3D超声成像能够显著提高道路映射的准确度，因为与2D图像不同，这些图像类型包含能够用于确定每幅图像的相对姿态(例如，超声扫描器的位置和取向)的信息，从而允许改进的界标配准。因此，多幅图像能够被平移和/或旋转到公共坐标系中，被组装并且被平滑化以形成全景路线图图像，该全景路线图图像覆盖了比单幅图像可能覆盖的患者解剖区域更大的患者解剖区域。该系统在下文中可以被称为超声路线图生成系统。
本文公开的超声路线图生成系统对于诊断医学成像具有特定的但非排他性的用途。根据本公开内容的实施例，一种超声路线图生成系统包括处理器电路，所述处理器电路被配置用于与能相对于患者移动的超声成像设备通信，其中，所述处理器电路被配置为：接收表示所述患者内的第一体积的第一双平面或3D图像和表示所述患者内的第二体积的第二双平面或3D图像；配准所述第一双平面或3D图像与所述第二双平面或3D图像，以确定所述第一双平面或3D图像与所述第二双平面或3D图像之间的第一运动；基于所确定的第一运动，通过组合所述第一双平面或3D图像与所述第二双平面或3D图像来生成感兴趣区域的2D路线图图像；并且向与所述处理器电路通信的显示器输出包括所述2D路线图图像的屏幕显示。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每项都被配置为执行该方法的动作。
在一些实施例中，所述处理器电路被配置为通过以下操作来组合所述第一双平面或3D图像与所述第二双平面或3D图像：相对于所述第二双平面或3D图像变换所述第一双平面或3D图像，使得所述第一双平面或3D图像与所述第二双平面或3D图像处于同一坐标系中。所述处理器电路可以被配置为：在所述第一双平面或3D图像和所述第二双平面或3D图像中的每项中识别图像界标；并且通过以下操作来组合所述第一双平面或3D图像与所述第二双平面或3D图像：基于所确定的第一运动，变换所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项，使得所述第一双平面或3D图像中的所述图像界标与所述第二双平面或3D图像中的所述图像界标相对齐。所述处理器电路还可以被配置为：接收表示所述患者内的第三体积的第三双平面或3D图像；将所述第三双平面或3D图像配准到所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项，以确定所述第三双平面或3D图像与所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项之间的第二运动；并且通过以下操作来生成感兴趣区域的所述2D路线图图像：基于所确定的第一运动和第二运动，组合所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像。所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像中的两幅图像是3D图像，其中，所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像中的一幅图像是双平面图像，并且其中，所述处理器电路被配置为：将两幅3D图像彼此配准；将所述双平面图像配准到所述两幅3D图像中的最近的3D图像；从所述双平面图像中提取图像数据；并且基于所提取的图像数据来生成所述2D路线图图像。所述3D图像的分辨率可以低于所述双平面图像的分辨率。三幅双平面或3D图像中的每幅双平面或3D图像都可以是3D图像。三幅双平面或3D图像中的每幅双平面或3D图像都可以是双平面图像。所述处理器电路可以被配置为通过使用基于斑点的去相关来检测相邻的双平面图像之间的平面外平移或旋转以确定所述第一运动。所描述的技术的实施方式可以包括硬件、方法或过程，或者在计算机可访问介质上的计算机软件。
根据另一实施例，一种方法包括：在处理器电路处接收患者内的第一体积的第一双平面或3D图像和所述患者内的交叠的第二体积的第二双平面或3D图像，所述处理器电路被配置用于与能相对于所述患者移动的超声成像设备通信；配准所述第一双平面或3D图像与所述第二双平面或3D图像，以确定所述第一双平面或3D图像与所述第二双平面或3D图像之间的第一运动；利用所述处理器电路，基于所确定的第一运动，通过组合所述第一双平面或3D图像与所述第二双平面或3D图像来生成感兴趣区域的2D路线图图像；并且向与所述处理器电路通信的显示器输出包括所述2D路线图图像的屏幕显示。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每项都被配置为执行该方法的动作。
在一些实施例中，生成所述路线图图像可以包括：相对于所述第二双平面或3D图像变换所述第一双平面或3D图像，使得所述第一双平面或3D图像与所述第二双平面或3D图像处于同一坐标系中。生成所述路线图图像可以包括：识别所述第一双平面或3D图像与所述第二双平面或3D图像共有的图像界标；并且通过以下操作来组合所述第一双平面或3D图像与所述第二双平面或3D图像：基于所确定的第一运动，变换所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项，使得所述第一双平面或3D图像中的所述图像界标与所述第二双平面或3D图像中的所述图像界标相对齐。所述方法还可以包括：接收表示所述患者内的第三体积的第三双平面或3D图像；将所述第三双平面或3D图像配准到所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项，以确定所述第三双平面或3D图像与所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项之间的第二运动；并且通过以下操作来生成所述感兴趣区域的所述2D路线图图像：基于所确定的第一运动和第二运动，组合所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像。所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像中的两幅图像可以是3D图像，其中，所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像中的一幅图像是双平面图像，并且其中，所述方法还包括：将两幅3D图像彼此配准；将所述双平面图像配准到所述两幅3D图像中的最近的3D图像；从所述双平面图像中提取图像数据；并且基于所提取的图像数据来生成所述2D路线图图像。所述双平面图像的分辨率可以高于所述3D图像的分辨率。三幅双平面或3D图像中的每幅双平面或3D图像都可以是3D图像。三幅双平面或3D图像中的每幅双平面或3D图像都可以是双平面图像。组合所述三幅双平面图像可以涉及使用基于斑点的去相关来检测相邻的双平面图像之间的平面外平移或旋转。所描述的技术的实施方式可以包括硬件、方法或过程，或者在计算机可访问介质上的计算机软件。
提供该发明内容的目的是为了以简化形式介绍一些选择的概念，这些选择的概念将在下面的详细描述中得到进一步描述。该发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。在本公开内容的各种实施例的以下书面描述中提供了在权利要求中定义的超声路线图生成系统的特征、细节、用途和优点的更广泛的呈现内容，并且在附图中图示了这些呈现内容。
附图说明
将参考附图来描述本公开内容的说明性实施例，在附图中：
图1是根据本公开内容的各个方面的示例超声系统的框图。
图2A示出了根据本公开内容的各个方面的血管周围组织的双平面超声图像。
图2B示出了根据本公开内容的各个方面的图2A的双平面图像的横截面。
图3A示出了根据本公开内容的各个方面的包括血管的3D超声图像。
图3B示出了根据本公开内容的各个方面的从图3A的3D图像中提取的2D纵向视图。
图4A示出了根据本公开内容的各个方面的第一血管周围组织的第一合成纵向视图。
图4B示出了根据本公开内容的各个方面的第二血管周围组织的第二合成纵向视图。
图5是根据本公开内容的各个方面的在探头连续扫过患者的解剖结构期间获得多个个体图像帧的超声探头的示意图。
图6是根据本公开内容的各个方面的超声探头在探头以递增或步进方式扫过患者的解剖结构期间获得多个个体图像帧的示意图。
图7是根据本公开内容的各个方面的在双平面图像配准流程中发生的探头运动的示意性表示。
图8描绘了根据本公开内容的各个方面的能够用来提高路线图图像的准确度和分辨率的各种不同的混合成像工作流程。
图9示出了根据本公开内容的各个方面的示例超声路线图生成方法的流程图。
图10是根据本公开内容的各个方面的处理器电路的简略图。
图11A是根据本公开内容的至少一个实施例的利用纵向扫描正在成像的包括狭窄的血管的示意图。
图11B示出了根据本公开内容的至少一个实施例的根据图11A的弯曲纵向图像导出的展平纵向图像。
图12是根据本公开内容的至少一个实施例的用于路线图生成的示例两遍扫描成像技术的示意性表示。
具体实施方式
如上面所提到的，超声图像的受限视场会导致困难的工作流程、增加的手术时间和降低的临床疗效。本公开内容描述了用于通过利用从多平面图像(例如，双平面或3D成像)提供的信息来生成路线图图像的新颖的设备、系统和方法。在一些方面，本公开内容描述了组合使用双平面和3D成像来创建路线图的方法。在这方面，外部跟踪系统或传感器在超声成像系统中常常是不可用的，并且路线图是使用对超声图像的图像处理来生成的。然而，如果姿态(在图像捕获时超声换能器的位置和取向)信息可用于从中构建路线图图像的个体图像，则路线图成像工作流程可以得到改进。
根据本公开内容的至少一个实施例，提供了一种超声路线图生成系统，所述超声路线图生成系统将多个双平面和/或3D超声图像组合成单幅路线图图像，所述单幅路线图图像表示比用于创建路线图的个体超声图像中的任一幅个体超声图像更宽或更大的视场。与仅使用单平面2D图像的方法相比，使用双平面和/或3D超声成像能够显著提高路线图拼接的准确度，因为双平面和3D超声图像包含能够用于确定每幅图像的相对姿态(例如，超声扫描器的位置和取向)的多平面信息，因此允许从一幅图像到下一幅图像的改进的界标配准，即使当接连产生的图像被捕获时存在姿态变化(无论是意外的还是有意的)也是如此。因此，多幅图像能够被平移和/或旋转到公共坐标系中，被组合、结合和平滑化以形成全景路线图图像，所述全景路线图图像准确地表示了患者的解剖结构，并且覆盖了比单幅图像可能覆盖的患者解剖区域更大的患者解剖区域。该系统在下文中被称为超声路线图生成系统。
本公开内容的各个方面包括：(1)工作流程，其涉及利用连续或递增的探头运动使超声探头扫过扩展区以创建扩展视场3D图像，(2)硬件配置，其中矩阵探头用于扫描，以及(3)图像采集模式，其利用双平面成像、3D成像或双平面成像与3D成像的组合。本公开内容的超声路线图生成系统具有提高超声道路映射技术的准确度的潜力。该超声路线图生成系统可以应用于任何超声成像类型，包括外部超声、导管内或血管内超声以及经食道回波，以提高道路映射的准确度。
本公开内容通过提高组装全景路线图图像的速度、准确度和置信度来实质地帮助采集和解读诊断超声图像。在与超声成像探头通信的计算系统上实施时，本文公开的超声路线图生成系统在超声路线图图像的质量和准确度方面提供了实际的提高，并且减少了构建和采用路线图图像所涉及的用户工作量。这种改进的工作流程将零碎过程变换成完全自动化的道路映射系统，在没有单独依靠记忆和心理想象的情况下显现超声扫描器的当前视场之外的解剖特征或者解读当前2D路线图中的图像伪影和其他不准确。另外，由该系统生成的3D超声路线图能够被集成到临床报告中，并且被显现给临床医生以用于疾病诊断和处置规划。这种非常规的方法通过在常规成像过程中自动提供准确的路线图图像而改善了超声成像系统的功能运行。
该超声路线图生成系统可以被实施为能在显示器上观看的超声图像组合器，并且由在处理器上运行的控制过程来操作，该处理器接受来自键盘、鼠标或触摸屏接口的用户输入，并且与一个或多个超声成像探头或成像阵列通信。在这一点上，该控制过程响应于不同的输入、选择或在不同时间进行的探头移动来执行某些特定的操作。
为了促进对本公开内容的原理的理解，现在将参考附图中图示的实施例，并且将使用特定的语言来描述这些实施例。尽管如此，应当理解，不打算限制本公开内容的范围。对所描述的设备、系统和方法的任何变更和进一步修改以及对本公开内容的原理的任何进一步应用都被充分预想到并且被包括在本公开内容内，作为本公开内容所涉及的领域的技术人员通常能够想到的内容。特别地，充分预想到，关于一个实施例所描述的特征、部件和/或步骤可以与关于本公开内容的其他实施例所描述的特征、部件和/或步骤相结合。然而，为了简洁起见，将不单独描述这些组合的众多迭代。
图1示出了根据本公开内容的各个方面的示例超声系统100的框图。超声探头10具有包括多个超声换能器元件或声学元件的换能器阵列12。在一些实例中，阵列12可以包括任意数量的声学元件。例如，阵列12能够包括1个声学元件至100000个声学元件，包括例如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、300个声学元件、812个声学元件、3000个声学元件、9000个声学元件、30000个声学元件、65000个声学元件和/或更多或更少的其他数量的声学元件。在一些实例中，阵列12的声学元件可以以任何合适的配置进行排列，例如，线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.X维阵列(例如，1.5D阵列)或二维(2D)阵列。声学元件的阵列(例如，一行或多行、一列或多列和/或一个或多个取向)能够被统一地或独立地控制和激活。阵列12能够被配置为获得患者解剖结构的一维、二维、双平面和/或三维图像。
虽然本公开内容涉及使用外部超声探头来进行合成孔径外部超声成像，但是应当理解，本公开内容的一个或多个方面也能够被实施在任何合适的超声成像探头或系统中，包括外部超声探头和管腔内超声探头。例如，本公开内容的各个方面能够被实施在使用机械扫描的外部超声成像探头、心内(ICE)超声心动描记导管和/或经食道超声心动描记(TEE)探头、旋转血管内超声(IVUS)成像导管、相控阵IVUS成像导管、经胸超声心动描记(TTE)成像设备或任何其他合适类型的超声成像设备的超声成像系统中。
再次参考图1，阵列12的声学元件可以包括一个或多个压电/压阻元件、锆钛酸铅(PZT)、压电微机械超声换能器(PMUT)元件、电容微机械超声换能器(CMUT)元件和/或任何其他合适类型的声学元件。阵列12的一个或多个声学元件与电子电路14通信(例如被电耦合到电子电路14)。在一些实施例(例如，图1的实施例)中，电子电路14能够包括微波束形成器(μBF)。在其他实施例中，电子电路包括多路复用器电路(MUX)。电子电路14位于探头10中，并且被通信性耦合到换能器阵列12。在一些实施例中，电子电路14的一个或多个部件能够被定位在探头10中。在一些实施例中，电子电路14的一个或多个部件能够被定位在计算设备或处理系统28中。计算设备28可以是处理器或者包括处理器，例如，与存储器通信的一个或多个处理器。如下面进一步描述的，计算设备28可以包括如图10所示的处理器电路。在一些方面，电子电路14的一些部件被定位在探头10中，并且电子电路14的其他部件被定位在计算设备28中。电子电路14可以包括一个或多个电开关、晶体管、可编程逻辑器件或其他电子部件，所述其他电子部件被配置为在多个输入之间进行组合和/或连续切换以在一条或多条公共通信通道上发送来自多个输入中的每个输入的信号。电子电路14可以通过多条通信通道被耦合到阵列12的元件。电子电路14被耦合到线缆16，线缆16将包括超声成像数据的信号发送到计算设备28。
在计算设备28中，信号被数字化并且被耦合到系统波束形成器22的通道，系统波束形成器22适当地延迟每个信号。经延迟的信号然后被组合以形成相干的转向且聚焦的接收波束。系统波束形成器可以包括电子硬件部件、由软件控制的硬件或运行波束形成算法的微处理器。在这一点上，波束形成器22可以被称为电子电路。在一些实施例中，波束形成器22能够是系统波束形成器，例如，图1的系统波束形成器22，或者波束形成器22可以是由超声探头10内的电路实施的波束形成器。在一些实施例中，系统波束形成器22与被设置在探头10内的微波束形成器(例如，电子电路14)协同工作。在一些实施例中，波束形成器22能够是模拟波束形成器，或者在一些实施例中，波束形成器22能够是数字波束形成器。在数字波束形成器的情况下，该系统包括A/D转换器，所述A/D转换器将来自阵列12的模拟信号转换成经采样的数字回波数据。波束形成器22通常将包括一个或多个微处理器、移位寄存器和/或数字或模拟存储器，以将回波数据处理成相干回波信号数据。延迟受到各种手段的影响，例如，受到接收到的信号的采样时间、暂时存储在存储器中的数据的写/读间隔或移位寄存器的长度或时钟速率的影响，如在McKeighen等人的美国专利US 4173007中所描述的那样，通过引用将其整体并入本文。另外，在一些实施例中，波束形成器能够对由阵列12生成的信号中的每个信号施加适当的权重。信号和图像处理器24处理来自图像场的波束形成信号，以产生用于在图像显示器30上显示的2D或3D图像。信号和图像处理器24可以包括电子硬件部件、由软件控制的硬件或运行图像处理算法的微处理器。信号和图像处理器24通常还包括将接收到的回波数据处理成用于期望的显示格式的图像的图像数据的专用硬件或软件，例如，扫描转换器。在一些实施例中，能够在不同的波束形成部件之间划分波束形成功能。例如，在一些实施例中，系统100能够包括位于探头10内并与系统波束形成器22通信的微波束形成器。该微波束形成器可以执行初步的波束形成和/或信号处理，这能够减少用于向计算设备28发送接收信号的通信通道的数量。
在被耦合到系统100的各种模块的系统控制器26的控制下，完成对超声系统参数(例如，扫描模式(例如，B模式、M模式)、探头选择、波束转向和聚焦以及信号和图像处理)的控制。系统控制器26可以由专用集成电路(ASIC)或微处理器电路和软件数据存储设备(例如，RAM、ROM或磁盘驱动器)构成。在探头10的情况下，可以通过线缆16将这种控制信息中的一些信息从计算设备28提供到电子电路14，从而根据特定的扫描流程来调控电子电路14以进行阵列操作。用户借助于用户接口设备20来输入这些操作参数。
在一些实施例中，图像处理器24被配置为生成不同模式的图像，以被进一步分析或者被输出到显示器30。例如，在一些实施例中，图像处理器能够被配置为编译患者的解剖结构的B模式图像，例如，实况B模式图像。在其他实施例中，图像处理器24被配置为生成或者编译M模式图像。M模式图像能够被描述为沿着单条扫描线示出被成像的解剖结构的时间变化的图像。
应当理解，计算设备28可以包括硬件电路，例如，计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电容器、电阻器和/或其他电子设备、软件或硬件与软件的组合。在一些实施例中，计算设备28是单个计算设备。在其他实施例中，计算设备28包括彼此通信的单独的计算机设备。
计算设备28还可以包括路线图生成系统25，路线图生成系统25用于基于多幅双平面和/或3D超声图像来生成路线图图像。路线图生成系统25可以被配置为从系统接收各种输入，包括来自接口设备20的输入、来自超声探头10、系统波束形成器22和/或信号和图像处理器24的超声成像数据。
图2A示出了根据本公开内容的各个方面的血管230周围组织的双平面超声图像200。该图像包括纵向平面210和横截面平面220。取决于实施方式，双平面图像可以由双平面超声成像传感器来捕获，由处于双平面成像模式中的2D阵列超声传感器来捕获，或者由手动旋转以在两个不同的成像平面(例如，彼此正交或近似正交)中捕获两幅单独图像的线性(1D)传感器来捕获。
通过组合多幅双平面图像200，可以将个体纵向图像或者根据基于个体双平面图像构建的3D模型的2D横截面拼接在一起而形成合成纵向图像210。
图2B示出了图2A的双平面图像的横截面220。在该图像中可以看到血管230。因为血管230出现在两个正交平面中，所以能够使用两个平面来检测不同类型的移动。例如，纵向位移可以被视为横截面图像中的变化，而横向移动可以被视为纵向图像中的变化，而对角线移动可以被视为这两幅图像中的变化。在一些实施例中，双平面图像的平面彼此正交。在其他实施例中，这两个平面可以以锐角或斜角相交。
图3A示出了包括血管230的3D超声图像300。体积图像可以由具有超声传感器矩阵的3D超声成像系统来捕获，或者可以由电操控或机械操控2D传感器阵列以创建3D图像的设备来捕获。通过组合多幅3D图像，超声路线图生成系统能够将个体3D帧拼接在一起而形成合成3D路线图。
图3B示出了从图3A的3D路线图300中提取的2D纵向视图310(例如作为3D图像的纵向横截面)。当将多幅3D图像拼接在一起以创建合成3D路线图300时，超声路线图生成系统能够例如通过拍摄合成3D图像300的纵向横截面来提取合成纵向视图310。可以将多幅3D路线图300彼此配准并组合在一起以生成更大的合成3D路线图300。然后，可以从更大的合成3D路线图300中提取合成2D纵向视图310。
图4A和图4B示出了两条不同的血管230、231的周围组织的两幅不同的合成纵向视图400。合成纵向视图400、401均是将多个单个图像帧410、411(无论是双平面图像帧还是3D图像帧)拼接在一起而形成的，并且适合用作由临床医生或其他用户使用的路线图图像。在这一点上，每幅合成纵向视图400包括由临床医生或其他用户添加的注释420、421，以便突出图像的某些维度或其他特征。这样的路线图图像，无论是否有注释，都可以由临床医生和其他用户在临床决策中使用，而无需复查组织的不同区域的多个图像帧410或411或者在脑海中显现个体图像帧410或411的视场之外的特征。
全景超声道路映射的临床价值是巨大的。例如，扩展的视场能够允许临床医生进行更准确的测量，例如确定长血管和设备的尺寸。本公开内容有利地使得能够利用超声来创建扩展视场的解剖图。在一些实施例中，路线图在分辨率、准确度和可读性/可解读性方面可以与当前的诸如X射线血管造影术、CT和MRI之类的模态相媲美。扩展的视场能够实现许多重要的二次用途，包括但不限于进行更准确的测量的能力，例如在外周血管疾病(PVD)中确定长血管和设备的尺寸，体内跟踪IVUS位置，测量TEE插管距离等。通常，超声仅给出了用于执行多模态融合和配准的解剖信息的小窗口。提高基于图像的融合的准确度，使得其能与其他成像模态(例如，X射线/CT/MRI)相媲美，从而允许创建增加解剖背景的准确路线图(如图4A和图4B所示)，进而能够提高配准保真度。这也使得能够创建基于超声的解剖图谱，以例如检查患者之间的解剖变异性。
图5示出了超声探头10在探头10连续扫过患者的解剖结构期间收集多个个体图像帧410。在这种模态中，接连采集超声帧410(例如，双平面图像帧或3D图像帧)，并且执行配准以计算帧之间的相对姿态变换。这些变换从图像空间转换到物理空间，以获得每对接连产生的帧之间的相对探头运动。最后，变换被“堆叠”在一起(被合成)以获得总的探头运动，根据所述总的探头运动能够重建完整的3D路线图。注意，将一幅图像关联到另一幅图像的变换不仅可以包括旋转或平移，而且还可以包括其他变化，包括但不限于放大、扭曲或亮度或调色板的变化。注意，路线图的准确度取决于用于帧间配准的特定软件算法。一种示例性方法可以应用基于强度或基于特征的刚性配准算法来寻找最优的帧间对齐。
能够根据若干不同的工作流程来进行图像采集。图5描绘了基于双平面成像的连续采集或者基于3D成像的连续采集。然而，应当理解，也可以通过基于3D成像的递增(步进)采集工作流程或者组合使用双平面和3D的混合图像采集模式、交错的双平面和3D采集、同时的双平面和3D采集以及多双平面采集来采集图像。
在一些实施例中，位置传感器和/或取向传感器存在于超声探头10中，并且每幅图像都具有与其相关联的变换矩阵，该变换矩阵对在捕获图像时超声探头10的相对或绝对位置和/或取向进行编码，并且初始粗略几何拼接步骤涉及简单地构建3D模型，该3D模型包含在与其已知3D位置和/或取向相匹配的定位处的每幅分量图像410，并且被添加到3D模型的每幅新的个体图像410可以简单地覆盖与之前添加的图像410的位置重合的部分。然后可以(例如通过拍摄3D模型的纵向横截面)从3D模型中提取路线图图像400(例如，如图4所示的2D纵向路线图图像)。
在一些实施例中，代替几何拼接步骤或者除了几何拼接步骤以外，使用图像识别和图像拼接技术来运行更精细的图像拼接步骤。这样的算法可以依赖于从一幅图像到下一幅图像的解剖界标(例如，血管230中的分支或交叉点)的识别和匹配。这些界标定位能够用于将多幅图像配准和对齐到单幅图像或坐标系中。用于将多幅图像拼接在一起的算法包括随机样本一致性方法(RANSAC)，并且可以包括例如关键点或界标检测、关键点或界标配准、图像校准、图像对齐、合成、运动补偿、去鬼影、颜色混合和接缝线消除的步骤。这样的算法能够接近实时地运行，并且可能能够实时运行，但会受到硬件的限制。在一些实施例中，专门使用几何拼接，而没有额外的图像拼接步骤。在其他实施例中，专门使用图像拼接，而没有先前的几何拼接步骤。在其他实施例中，可以既使用几何拼接又使用图像拼接。然而，在这些情况中的每种情况中，路线图图像400中每个像素的位置是已知的，并且能够例如在以患者为中心或以工作台为中心的坐标系中进行表示。
在一些实施例中，代替拼接由超声系统采集的图像的灰度或彩色像素，拼接从图像中提取的数据以呈现路线图的3D图像呈现结果。从图像中提取数据的算法包括对象分割、图像压缩、图像到点云的转换、对象检测以及对象跟踪。在一些实施例中，可以从超声图像中分割出血管轮廓，并且将血管轮廓拼接起来以从路线图生成系统创建3D血管网格表示。
替代地，数据提取可以应用于经重建的3D路线图本身。和之前一样，从3D路线图中提取数据的算法包括对象分割、图像压缩、图像到点云的转换、对象检测以及对象跟踪。例如，可以从3D路线图中分割出血管轮廓并将其显示给用户。
在示例中，从超声成像系统100捕获的多个双平面或3D帧410中选择较少数量的帧410以用于拼接。所选择的帧的数量可以是两个、三个、四个、五个或更多个帧。在示例中，所选择的帧410具有足够的交叠，使得界标识别算法能够在至少两幅图像之间匹配任何给定界标。如果有足够的交叠来在图像之间配准界标，但是交叠被最小化，则这样就减少了要被拼接的图像的数量，以便覆盖感兴趣解剖区域的完整长度，因此减少了用于执行该算法的时间、存储器和运算量。使交叠最小化还增加了每帧添加到3D模型的额外信息量，因此增加了每帧添加到从3D模型中提取的路线图图像400的额外信息量。在示例中，路线图图像被提取为沿着3D模型内的单个2D横截面平面(例如，纵向平面)定位的图像数据。
在图5所示的示例中，当用户将换能器扫过感兴趣解剖区时，连续采集了双平面或3D图像。对于基于双平面成像的连续采集工作流程，优点是能够使用矩阵换能器以相对于3D成像的高帧速率(20-40Hz)和高图像分辨率来采集双平面图像。随着换能器的移动，纵向图像数据和短轴图像数据都能够用于计算帧间配准，这继而允许反向计算探头的移动。例如，能够首先通过确定长轴图像中的运动(即，关于纵向图像的“平面内”运动)来估计沿着主要运动方向的探头运动。能够在第二步骤中根据短轴图像数据来确定“平面外”运动。替代地，能够以相反的顺序计算运动，其中，首先计算来自短轴的“平面外”运动，最后确定来自长轴的“平面内”运动。一些实施例将基于图像的方法与跟踪传感器(例如，惯性测量传感器)相结合，跟踪传感器可以在有或没有额外计算的情况下提供这些运动的幅值和方向。
对于采用基于3D成像的连续采集工作流程的实施例，能够根据3D体积而不是双平面图像来创建全景路线图。这种方法的一个优点是平面外平移和旋转不再是问题，因为图像是体积的并且固有地包含空间信息，该空间信息能够用于推断从一幅图像到下一幅图像的位置或取向的差异。因此，能够计算从一个3D帧到下一个3D帧的完整的6自由度(DOF)变换，而几乎没有或完全没有模糊性。然而，与双平面方法相比，在使用这种方法时，帧速率和/或图像分辨率可能较低。
在一些实施例中，优化3D采集的参数以使上述缺点最小化。例如，一些实施例可以不使用能由成像阵列采集的完整3D体积来进行配准。取而代之的是，该算法可以采集伪3D“厚切片”或“面包切片”，例如，具有刚好足以允许完整的6DOF配准的3D深度和体积信息并同时限制用于每幅图像的数据量并因此维持与双平面成像相似的帧速率和分辨率的2D图像。
图6示出了超声探头10在探头10以递增或步进方式扫过患者的解剖结构期间收集多个个体图像帧410。利用这种基于3D成像的递增(步进)采集工作流程来代替连续采集3D体积，该系统或方法以递增或步进的方式将体积拼接在一起。这里，用户的工作流程略有改变；用户不是连续扫过解剖结构，而是将探头放置在开始位置处，采集3D图像，将探头移动一段距离而到达另一采集定位(例如，大致等于3D成像场的一半的距离)，采集第二3D图像，并且重复上述过程直到用户到达了感兴趣解剖区域的终点。这种方法的一个优点是能够提高图像分辨率。然而，对于临床医生或其他用户来说，工作流程可能稍微更具挑战性，他们必须确保接连进行的3D采集之间有足以允许准确配准的交叠。
图7是用于基于双平面的图像配准的具有挑战性的探头运动的示意性表示。当超声探头10在采集双平面图像200时连续或递增地扫过患者的解剖结构时，一些探头移动对配准过程造成了额外的挑战。在成像扫掠期间超声探头10的期望平移运动通常沿着长轴(纵向)图像平面的方向。对于平面外平移运动710，探头10在与长轴(纵向)图像平面和短轴(横截面)图像平面都成对角线的方向(例如，不平行于任一平面的任何方向)上移动。对于平面外旋转运动，绕探头10的垂直轴的取向角或时钟角关于患者身体(例如意外地)旋转到不同的取向，使得给定双平面图像的长轴图像平面和短轴图像平面不平行于先前捕获的双平面图像的长轴图像平面和短轴图像平面。当临床医生或其他用户手动执行探头扫掠时，通常会发生一定程度的平面外平移710和平面外旋转720。
当在两个轴上都发生显著的平面外运动时，平面外平移710变得有问题，使得图像的对齐在两个图像平面中都产生扭曲。本公开内容的一些实施例使用基于斑点的去相关来估计每个平面中的平面外运动，这对于2D超声成像来说是具有挑战性的开放性研究问题，但是对于双平面图像来说明显更容易。
另一困难情形是绕探头轴的旋转720，其中，在两个轴上都有大量的“平面外”运动。本公开内容的一些实施例使用基于斑点的去相关来估计每个平面中的平面外运动。其他实施例使用小图像子区域而不是完整图像来估计平面外旋转，从而减少了所涉及的计算量。其他实施例借助于深度学习算法或其他学习人工智能从训练数据中自动学习不同组织的平面外去相关。例如，在2019年11月6日提交的标题为“CO-REGISTRATION OFINTRAVASCULAR DATA AND MULTI-SEGMENT VASCULATURE,AND ASSOCIATED DEVICES,SYSTEMS,AND METHODS”的美国申请US62/931693(代理人案卷号2019P00543US)中讨论了图像拼接，通过引用将其整体并入本文。
其他实施例涉及在施加已知约束时单独估计平面内运动和平面外运动。特别地，由于两个图像平面相互垂直，因此长轴上的任何平面外运动应该与短轴上的平面内运动相同，并且反之亦然。将这种约束施加于运动估计能够用于减少平面外运动估计的误差。一些实施例不仅检测平面外平移或旋转，而且还试图对它们进行校正。基于在平面内运动校正后的帧间去相关，或者基于双平面图像的长轴相对于短轴的位移比率，该系统能够实时地自适应操控成像平面相对于探头的旋转取向，使得纵向平面更紧密地与探头平移的取向对齐，而不是与探头本身的取向对齐。
图8描述了各种不同的混合成像工作流程(A-E)，它们能够用于提高路线图图像的准确度和分辨率。通过将3D图像用于粗略的6DOF配准并将双平面图像用于精细的平面内校正以及实际的成像细节，能够以新颖的方式组合双平面成像与3D成像以使配准准确度最大化。能够通过交错地进行双平面成像和3D成像或者通过同时采集在这两种模式下的图像来组合这些模式。
工作流程A示出了交错或交替的双平面图像采集与3D图像采集。这里，换能器在手动控制下或者在探头平移期间按照设定的排程表在双平面成像与3D成像之间交替。能够调整在双平面成像与3D成像之间交替的模式，并且它表示帧速率、图像分辨率、处理能力要求和路线图准确度之间的折中。
例如，诸如在3D成像与双平面成像之间简单交替之类的模式将得到高路线图准确度，因为频繁采集了3D体积。然而，成像帧速率却降低了，因为3D体积占用了更多的时间，并且还没有用于生成路线图内的实际解剖图像。每个双平面被配准到最新的3D体积，并且每个3D体积被配准到紧接在其之前的3D体积。
一种重复模式包括一幅3D图像后跟有三幅双平面图像。这将允许更快地更新图像信息，代价是用于路线图构建的3D信息的获得频率降低。可能期望3D体积的图像分辨率不超过足以实现准确的道路映射的分辨率，因为空间分辨率提高可能导致时间分辨率降低。
工作流程B示出了双平面图像和3D图像按照自适应排程表而不是固定排程表进行交替。不是设定固定的模式，而是改变交错而使得仅当估计探头已经移动了探头体积的约1/3或约1/2时才采集3D体积。这样，采集了最小数量的体积以实现准确配准。路线图构建基于双平面间配准，通过间歇性3D采集/配准来防止准确度的损失。
工作流程C示出了又一实施例，其中，从双平面到3D的配准中计算每帧运动。每次采集3D体积时，将所有随后的双平面采集都下采样到与3D体积相似的分辨率，然后将该双平面采集配准到该体积。这允许帧间的完整的6DOF配准，而不必等待下一个3D体积。当采集新的3D体积时，可以执行额外的3D-3D配准步骤来更新路线图。因此，路线图构建基于一系列双平面到3D的配准。这类似于工作流程A中所示的实施例，不同之处在于针对每个3D体积采集了多个双平面，以便加快帧速率。
工作流程D描绘了同时进行的双平面采集和3D采集。不是进行交错的双平面采集与3D采集，而是引入特殊的成像模式来同时获得两种类型的图像。在一个实例中，同时采集稀疏(低分辨率)3D体积与双平面图像。稀疏3D用于帧间配准，而双平面用于图像重建。
工作流程E描绘了多双平面采集。在该实施例中，不是组合双平面图像与3D图像，而是同时或快速接连地(即，明显快于探头运动)击发多个双平面以提供用于配准和图像形成的体积信息。
对于上述实施例中的每个实施例，可以在该区上执行多遍扫描，并且可以(例如经由加权平均化或联合优化)组合从每遍扫描得到的图像以产生比仅通过一遍扫描可能得到的路线图的准确度更高的路线图。
类似地，可以利用一种采集方法(或多种方法的组合)执行一遍扫描，然后利用不同的方法(或多种方法的组合)执行后续的一遍或多遍扫描。在其他示例中，除了交错进行、同时采集或以其他方式组合双平面采集和3D采集，还能够以相似或完全相同的方式组合2D采集与3D采集。例如，在图8中，可以用2D采集代替双平面采集的每个实例，以在路线图创建上实现类似的效果。使用2D采集的优点是，与双平面相比，它能够提高帧速率或线密度(图像分辨率)。缺点是2D帧到3D体积的配准可能不如双平面到3D的配准那样准确。预想到其他工作流程，包括但不限于上述内容的组合。
图9示出了根据本公开内容的至少一个实施例的示例超声路线图生成方法900的流程图。应当理解，方法900的步骤可以以不同于图9所示的顺序执行，也能够在这些步骤之前、期间和之后提供额外的步骤，并且/或者在其他实施例中能够替换或消除所描述的步骤中的一些步骤。步骤可以被细分成子步骤，这些子步骤也可以以不同的顺序执行。方法900的步骤中的一个或多个步骤能够由本文描述的一个或多个设备和/或系统(例如，图1的成像系统100和/或图10的处理器电路1050的部件)来执行。
在步骤910中，方法900包括捕获两个或更多个双平面和/或3D图像，例如如图5-8中所描绘的那样。所捕获的图像数据集可以包括双平面图像与3D图像的各种组合，在执行该方法的处理器的速度、存储器和带宽限制内，选择这些组合来为所得到的路线图图像提供足够的3D配准信息和足够的细节和分辨率。当成像探头在捕获一幅图像与捕获下一幅图像之间移动时，每幅图像可能表示略微不同的患者内的组织体积。
在步骤920中，该方法识别图像之间的公共界标或关键点。这样的解剖界标可以包括例如血管中的分支或交叉点，因为它们从一幅图像到下一幅图像可能改变位置。替代地，公共界标可以是图像像素本身的原始强度。也可以使用界标、关键点和原始图像强度的组合。
在步骤930中，该方法使用公共界标来确定图像的相对姿态。这能够例如通过使用两幅不同图像中的界标的3D定位并计算产生从一幅图像到下一幅图像观察到的定位变化所涉及的平移和旋转来完成。这能够用单个界标来完成，但是如果使用两个或更多个界标，3D准确度会大大提高。
在步骤940中，该方法例如通过将图像旋转和/或平移到公共坐标系中来配准图像，从而创建感兴趣解剖区域的3D模型，该3D模型结合了来自两幅或更多幅双平面和/或3D图像的图像数据。这能够例如使用如上所述的RANSAC方法来完成。如果原始图像强度被用作公共界标，则可以使用本领域中已知的基于图像的配准技术。
在步骤950中，该方法构建路线图图像，例如通过拍摄3D模型的合适的纵向横截面来实现这一点，该纵向横截面示出了感兴趣解剖区域的期望解剖特征。然后可以显示(例如显示在图1的显示器30上)或存储(例如存储在图10的存储器1064中)该路线图。
在步骤960中，该方法经由用户接口接受用户输入，这样具有将文本或图形注释放置到路线图图像上的效果，从而辅助报告、临床决策制定、记录保存等。在例如图4A和图4B中能够看到这样的注释的示例。
图10是根据本公开内容的实施例的处理器电路1050的示意图。处理器电路1050可以被实施在图1的超声成像系统100或其他设备或工作站(例如，第三方工作站、网络路由器等)中，或者被实施在云处理器或其他远程处理单元上，以在必要时实施该方法。如图所示，处理器电路1050可以包括处理器1060、存储器1064和通信模块1068。这些元件可以(例如经由一条或多条总线)彼此直接或间接通信。
处理器1060可以包括中央处理单元(CPU)、数字信号处理器(DSP)、ASIC、控制器或以下各项的任意组合：通用计算设备、精简指令集计算(RISC)设备、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他相关的逻辑设备(包括机械计算机和量子计算机)。处理器1060还可以包括被配置为执行本文描述的操作的另一硬件设备、固件设备或其任意组合。处理器1060还可以被实施为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或者任何其他这样的配置。
存储器1064可以包括高速缓冲存储器(例如，处理器1060的高速缓冲存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器、固态存储设备、硬盘驱动器、其他形式的易失性和非易失性存储器或者不同类型的存储器的组合。在实施例中，存储器1064包括非瞬态计算机可读介质。存储器1064可以存储指令1066。指令1066可以包括当由处理器1060运行时使处理器1060执行本文描述的操作的指令。指令1066也可以被称为代码。术语“指令”和“代码”应被广义地解读为包括任何类型的(一个或多个)计算机可读语句。例如，术语“指令”和“代码”可以指一个或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可以包括单个计算机可读语句或多个计算机可读语句。
通信模块1068能够包括任何电子电路和/或逻辑电路，以促进处理器电路1050与其他处理器或设备之间的直接或间接数据通信。在这一点上，通信模块1068能够是输入/输出(I/O)设备。在一些实例中，通信模块1068促进了处理器电路1050和/或图1的超声成像系统100的各种元件之间的直接或间接通信。通信模块968可以通过多种方法或协议在处理器电路950内通信。串行通信协议可以包括但不限于US SPI、I2C、RS-232、RS-485、CAN、以太网、ARINC429、MODBUS、MIL-STD-1553或任何其他合适的方法或协议。并行协议包括但不限于ISA、ATA、SCSI、PCI、IEEE-488、IEEE-1284和其他合适的协议。在适当的情况下，串行通信和并行通信可以通过UART、USART或其他适当的子系统来桥接。
可以使用任何合适的无线或有线通信技术来实现外部通信(包括但不限于软件更新、固件更新或来自超声设备的读取结果)，这些通信技术例如为诸如USB、微型USB、Lightning或FireWire接口之类的线缆接口、蓝牙、Wi-Fi、ZigBee、Li-Fi或诸如2G/GSM、3G/UMTS、4G/LTE/WiMax或5G之类的蜂窝数据连接。例如，蓝牙低能量(BLE)无线电能够用于建立与云服务的连接，以用于发送数据和接收软件补丁。控制器可以被配置为与远程服务器或本地设备(例如，膝上型电脑、平板电脑或手持式设备)通信，或者可以包括能够示出状态变量和其他信息的显示器。也可以在物理介质(例如，USB闪存驱动器或记忆棒)上转移信息。
图11A是根据本公开内容的至少一个实施例的利用纵向扫描200进行成像的包括狭窄1110的血管230的透视示意图。无论是从个体捕获的图像中提取的数据还是从路线图中提取的数据，这些数据都可以进一步用于提供额外的信息和可视化。在图11A所示的示例中，从路线图中分割出的血管230的轮廓随后用于生成穿过路线图的弯曲纵向切片，该路线图遵循血管的轨迹1112(例如，中心线)。与如图3A和图3B所示的直的纵向切片相比，图11A所示的弯曲切片可以提高在每一帧中示出血管的可能性，即使当血管是弯曲的或曲折的也是如此。然后可以在屏幕上将穿过路线图的弯曲切片显示为展平图像。
图11B示出了根据本公开内容的至少一个实施例的根据沿着图11A的轨迹1112拍摄的弯曲纵向图像200导出的展平纵向图像200。能够看到血管230和狭窄1110。虽然图11A示出弯曲纵向切片的垂直轴沿着轴向取向(即，与超声成像波束对齐)，但是在一些实施例中，弯曲纵向切片的垂直轴可以例如正交于图3A所示的纵向切片。在一些实施例中，提取多个弯曲切片以同时并排显示它们(例如，一个切片为轴向-纵向并且一个切片为高程-纵向)。这些多个弯曲切片可以有助于更好地评估沿着长度的斑块负荷和沿着血管的长度的血管管腔的圆度。
可以应用用于将多个个体成对(帧到帧)配准累积到单幅拼接路线图中的方法。例如，用于将多个个体成对配准累积到单幅拼接的路线图中的技术可以包括优化多个成对配准以对经重建的路线图施加全局约束。这些约束包括多组交叠图像或体积间的一致性。例如，在连续扫掠中，通过将第一帧配准到第二帧并然后将第二帧配准到第三帧所估计的添加的旋转和平移应当与通过直接将第一帧配准到第三帧(假定存在交叠)所估计的旋转和平移相一致。可以应用诸如束调整、同时定位与建图(SLAM)、卡尔曼估计和其他全局优化技术之类的方法来解决多帧拼接问题。
可以使用其他之前的约束(例如，正被道路映射的解剖结构的已知维度或长度，或者来自次级传感器或成像的信息)来进一步提高最终路线图重建的准确度。类似地，如果在路线图扫掠期间或之后分割出图像帧内的结构(例如，感兴趣血管)，则可以使用该信息来优化路线图。
图12是根据本公开内容的至少一个实施例的用于路线图生成的示例两遍扫描成像技术的示意性表示。如图12所示，可以根据多遍扫描来构建路线图。此外，可以将根据每遍扫描构建的中间路线图彼此配准，以创建完整的扩展路线图或者解决单独来自任何一幅路线图的不准确。在图12所示的示例中，在第一方向上的第一遍扫描收集并配准一系列3D图像，然后在相反方向上的第二遍扫描收集一系列双平面图像，然后能够将其中的每幅双平面图像配准到最近的3D图像。
如果执行多遍扫描或扫掠，则可以利用不同的采集工作流程(例如，连续的采集工作流程后接有递增的采集工作流程，或者反之亦然)或者利用不同的采集模式(例如，3D后接有双平面，或者反之亦然)来执行这些扫描或扫掠。例如，如图12所描绘的，可以利用较低的分辨率和帧速率的3D采集来执行第一遍扫描，并且利用较高的分辨率和帧速率的双平面来执行第二遍扫描。通过将每个双平面采集配准到在第一遍扫描中采集的3D采集，能够产生高分辨率的最终路线图，通过3D体积采集提供了几何准确度。
在本公开内容中，超声换能器扫过解剖结构的扩展区，以创建扩展的全景路线图图像。通常，不是使用标准的2D探头，而是使用矩阵探头，并且双平面和/或3D或其组合是扫掠期间成像的主要模式。以基于标准的2D图像的配准的现有方法不可能实现的方式，自动考虑了来自用户的平面外探头运动。超声路线图生成系统可以应用于任何超声成像系统，包括外部超声、导管内或血管内超声以及经食道回波。超声路线图生成系统有可能极大地提高道路映射技术的准确度，并且成为未来超声平台(特别是(但不仅限于)支持矩阵换能器技术的超声平台)的重要的新特征。
上面描述的示例和实施例可能存在许多变型。例如，可以开发专门的超声探头、波束形成器或处理器电路，它们被优化以与超声路线图生成系统一起工作。本文描述的技术可以应用于除了人类医学以外的领域，包括兽医、材料检验和制造。构成本文描述的技术的实施例的逻辑操作被不同地称为操作、步骤、对象、元件、部件或模块。应当理解，这些项目可以以任何顺序发生、执行或排列，除非明确声明，否则权利要求语言固有地形成特定顺序。
所有方向参考(例如，上、下、内、外、向上、向下、左、右、横向、前、后、顶部、底部、上方、下方、垂直、水平、顺时针、逆时针、近侧和远侧)仅用于标识目的，以辅助读者理解要求保护的主题，而不产生限制，特别是关于超声路线图生成系统的位置、取向或使用。除非另有说明，否则连接引用(例如，附接、耦合、连接和接合)应被广义地解释并且可以包括元件集合之间的中间构件和元件之间的相对移动。正因如此，连接参考不一定意味着两个元件直接连接并且彼此成固定关系。术语“或”应被解读为意指“和/或”，而不是“异或”。除非权利要求中另有说明，否则所记载的值应被解读为仅是说明性的，而不应被视为限制性的。
以上说明、示例和数据提供了对如权利要求所定义的超声路线图生成系统的示例性实施例的结构和使用的完整描述。虽然上文已经以一定程度的特殊性或者参考一个或多个个体实施例描述了所要求保护的主题的各种实施例，但是本领域技术人员可以在不脱离所要求保护的主题的精神或范围的情况下对所公开的实施例进行多种改变。
还预想到其他实施例。以上描述中包含的和附图中示出的所有内容都应被解读为仅是对特定实施例的说明，而不是限制。在不脱离如权利要求所定义的主题的基本要素的情况下，可以进行细节或结构上的改变。

Claims (18)

1.一种系统，包括：
处理器电路，其被配置用于与能相对于患者移动的超声成像设备通信，其中，所述处理器电路被配置为：
接收表示所述患者内的第一体积的第一双平面或3D图像和表示所述患者内的第二体积的第二双平面或3D图像；
配准所述第一双平面或3D图像与所述第二双平面或3D图像，以确定所述第一双平面或3D图像与所述第二双平面或3D图像之间的第一运动；
基于所确定的第一运动，通过组合所述第一双平面或3D图像与所述第二双平面或3D图像来生成感兴趣区域的2D路线图图像；并且
向与所述处理器电路通信的显示器输出包括所述2D路线图图像的屏幕显示。
2.根据权利要求1所述的系统，其中，所述处理器电路被配置为通过以下操作来组合所述第一双平面或3D图像与所述第二双平面或3D图像：相对于所述第二双平面或3D图像变换所述第一双平面或3D图像，使得所述第一双平面或3D图像与所述第二双平面或3D图像处于同一坐标系中。
3.根据权利要求1所述的系统，其中，所述处理器电路被配置为：
在所述第一双平面或3D图像和所述第二双平面或3D图像中的每项中识别图像界标；并且
通过以下操作来组合所述第一双平面或3D图像与所述第二双平面或3D图像：基于所确定的第一运动，变换所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项，使得所述第一双平面或3D图像中的所述图像界标与所述第二双平面或3D图像中的所述图像界标相对齐。
4.根据权利要求1所述的系统，其中，所述处理器电路还被配置为：
接收表示所述患者内的第三体积的第三双平面或3D图像；
将所述第三双平面或3D图像配准到所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项，以确定所述第三双平面或3D图像与所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项之间的第二运动；并且
通过以下操作来生成感兴趣区域的所述2D路线图图像：基于所确定的第一运动和第二运动，组合所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像。
5.根据权利要求4所述的系统，
其中，所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像中的两幅图像是3D图像，
其中，所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像中的一幅图像是双平面图像，并且
其中，所述处理器电路被配置为：
将两幅3D图像彼此配准；
将所述双平面图像配准到所述两幅3D图像中的最近的3D图像；
从所述双平面图像中提取图像数据；并且
基于所提取的图像数据来生成所述2D路线图图像。
6.根据权利要求5所述的系统，其中，所述3D图像的分辨率低于所述双平面图像的分辨率。
7.根据权利要求4所述的系统，其中，三幅双平面或3D图像中的每幅双平面或3D图像都是3D图像。
8.根据权利要求4所述的系统，其中，三幅双平面或3D图像中的每幅双平面或3D图像都是双平面图像。
9.根据权利要求8所述的系统，其中，所述处理器电路被配置为通过使用基于斑点的去相关来检测相邻的双平面图像之间的平面外平移或旋转以确定所述第一运动。
10.一种方法，包括：
在处理器电路处接收患者内的第一体积的第一双平面或3D图像和所述患者内的交叠的第二体积的第二双平面或3D图像，所述处理器电路被配置用于与能相对于所述患者移动的超声成像设备通信；
配准所述第一双平面或3D图像与所述第二双平面或3D图像，以确定所述第一双平面或3D图像与所述第二双平面或3D图像之间的第一运动；
利用所述处理器电路，基于所确定的第一运动，通过组合所述第一双平面或3D图像与所述第二双平面或3D图像来生成感兴趣区域的2D路线图图像；并且
向与所述处理器电路通信的显示器输出包括所述2D路线图图像的屏幕显示。
11.根据权利要求10所述的方法，其中，生成所述路线图图像包括：相对于所述第二双平面或3D图像变换所述第一双平面或3D图像，使得所述第一双平面或3D图像与所述第二双平面或3D图像处于同一坐标系中。
12.根据权利要求10所述的方法，其中，生成所述路线图图像包括：
识别所述第一双平面或3D图像与所述第二双平面或3D图像共有的图像界标；并且
通过以下操作来组合所述第一双平面或3D图像与所述第二双平面或3D图像：基于所确定的第一运动，变换所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项，使得所述第一双平面或3D图像中的所述图像界标与所述第二双平面或3D图像中的所述图像界标相对齐。
13.根据权利要求10所述的方法，还包括：
接收表示所述患者内的第三体积的第三双平面或3D图像；
将所述第三双平面或3D图像配准到所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项，以确定所述第三双平面或3D图像与所述第一双平面或3D图像或所述第二双平面或3D图像中的至少一项之间的第二运动；并且
通过以下操作来生成所述感兴趣区域的所述2D路线图图像：基于所确定的第一运动和第二运动，组合所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像。
14.根据权利要求13所述的方法，
其中，所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像中的两幅图像是3D图像，
其中，所述第一双平面或3D图像、所述第二双平面或3D图像和所述第三双平面或3D图像中的一幅图像是双平面图像，并且
其中，所述方法还包括：
将两幅3D图像彼此配准；
将所述双平面图像配准到所述两幅3D图像中的最近的3D图像；
从所述双平面图像中提取图像数据；并且
基于所提取的图像数据来生成所述2D路线图图像。
15.根据权利要求14所述的方法，其中，所述双平面图像的分辨率高于所述3D图像的分辨率。
16.根据权利要求13所述的方法，其中，三幅双平面或3D图像中的每幅双平面或3D图像都是3D图像。
17.根据权利要求13所述的方法，其中，三幅双平面或3D图像中的每幅双平面或3D图像都是双平面图像。
18.根据权利要求17所述的方法，其中，组合所述三幅双平面图像涉及使用基于斑点的去相关来检测相邻的双平面图像之间的平面外平移或旋转。
CN202180028650.5A 2020-04-16 2021-04-12 用于生成路线图图像的双平面和三维超声图像采集以及相关联的系统和设备 Pending CN115426954A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063010927P 2020-04-16 2020-04-16
US63/010,927 2020-04-16
PCT/EP2021/059363 WO2021209348A1 (en) 2020-04-16 2021-04-12 Bi-plane and three-dimensional ultrasound image acquisition for generating roadmap images, and associated systems and devices

Publications (1)

Publication Number Publication Date
CN115426954A true CN115426954A (zh) 2022-12-02

Family

ID=75529997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180028650.5A Pending CN115426954A (zh) 2020-04-16 2021-04-12 用于生成路线图图像的双平面和三维超声图像采集以及相关联的系统和设备

Country Status (5)

Country Link
US (1) US20230127935A1 (zh)
EP (1) EP4135587A1 (zh)
JP (1) JP2023521466A (zh)
CN (1) CN115426954A (zh)
WO (1) WO2021209348A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022074392A (ja) * 2020-11-04 2022-05-18 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
CN114376610B (zh) * 2022-03-24 2022-06-10 北京智愈医疗科技有限公司 一种双平面超声图像规划方法和装置
EP4302699A1 (en) 2022-07-04 2024-01-10 Koninklijke Philips N.V. System and method for processing ultrasound imaging data
WO2024089423A1 (en) * 2022-10-25 2024-05-02 Through Leaves Limited System and method for three-dimensional imaging

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4173007A (en) 1977-07-01 1979-10-30 G. D. Searle & Co. Dynamically variable electronic delay lines for real time ultrasonic imaging systems
US8539838B2 (en) * 2008-06-05 2013-09-24 Koninklijke Philips N.V. Extended field of view ultrasonic imaging with a two dimensional array probe
US10631829B2 (en) * 2013-02-28 2020-04-28 Koninklijke Philips N.V. Segmentation of large objects from multiple three-dimensional views
WO2019121127A1 (en) * 2017-12-19 2019-06-27 Koninklijke Philips N.V. Combining image based and inertial probe tracking

Also Published As

Publication number Publication date
EP4135587A1 (en) 2023-02-22
US20230127935A1 (en) 2023-04-27
JP2023521466A (ja) 2023-05-24
WO2021209348A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US11986355B2 (en) 3D ultrasound imaging system
CN106037797B (zh) 超声成像中感兴趣的三维容积
EP3003161B1 (en) Method for 3d acquisition of ultrasound images
US20230127935A1 (en) Bi-plane and three-dimensional ultrasound image acquisition for generating roadmap images, and associated systems and devices
JP6581605B2 (ja) 医療用画像処理デバイス及び方法
CN106137249B (zh) 在窄视场情况下进行配准用于多模态医学成像融合
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
US20070255137A1 (en) Extended volume ultrasound data display and measurement
EP4061231B1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
JP7232199B2 (ja) 超音波撮像方法
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
WO2017006236A1 (en) Ultrasound systems and methods for automatic determination of heart chamber characteristics
CN115210761A (zh) 多模态医学图像配准和相关联的设备、系统和方法
US20230054610A1 (en) Contextual multiplanar reconstruction of three-dimensional ultrasound imaging data and associated devices, systems, and methods
JP5987640B2 (ja) 超音波を用いた被検体の３次元復元方法および装置
EP3274959B1 (en) Optimal ultrasound-based organ segmentation
US20220287686A1 (en) System and method for real-time fusion of acoustic image with reference image
US20220409172A1 (en) Reconstructing a 4d shell of a volume of an organ using a 4d ultrasound catheter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination