CN111655160A - 超声图像数据的三维成像和建模 - Google Patents

超声图像数据的三维成像和建模 Download PDF

Info

Publication number
CN111655160A
CN111655160A CN201980007715.0A CN201980007715A CN111655160A CN 111655160 A CN111655160 A CN 111655160A CN 201980007715 A CN201980007715 A CN 201980007715A CN 111655160 A CN111655160 A CN 111655160A
Authority
CN
China
Prior art keywords
dimensional
ultrasound
ultrasound probe
orientation
bone surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980007715.0A
Other languages
English (en)
Inventor
弗兰克·威廉·莫尔丁
亚当·迪克森
凯文·欧文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Livana Medical Co ltd
Original Assignee
Livana Medical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Livana Medical Co ltd filed Critical Livana Medical Co ltd
Publication of CN111655160A publication Critical patent/CN111655160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A61N7/02—Localised ultrasound hyperthermia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1477—Needle-like probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577—Ablation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0257—Proximity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A61N2007/0004—Applications of ultrasound therapy

Abstract

在三维中跟踪超声探头的位置和取向以提供可用于解剖学评估和/或手术引导的高度精确的三维骨表面图像。可以在三维中跟踪治疗施加器的位置和取向，以提供反馈以将治疗施加器的预计路径与治疗施加器的期望路径对准，或者提供反馈以将治疗施加器的潜在治疗场与目标解剖部位对准。可以将三维骨表面图像拟合到解剖部位的三维模型，以向用户提供或显示附加信息，以提高解剖学评估和/或手术引导的准确性。

Description

超声图像数据的三维成像和建模
相关申请的交叉引用
本申请要求于2018年1月8日提交的标题为“Three-dimensional Imaging andModeling of Ultrasound Image Data(超声图像数据的三维成像和建模)”的美国临时申请第62/614,559号的优先权，该申请通过引用结合于此。
联邦资助研究声明
本发明是在由美国国立卫生研究院(National Institutes of Health)的国家生物医学成像和生物工程研究所(National Institute of Biomedical Imaging andBioengineering)授予的R44 EB024384下的政府支持下完成的。政府对本发明享有一定的权利。
技术领域
本申请总体上涉及通过超声成像采集的骨图像的三维渲染。
背景技术
医学超声通常用于促进针注射或探头插入手术，比如中心静脉线放置或各种脊髓麻醉手术。通常实现的技术包括使用超声成像来定位解剖标志(例如，血管或骨结构)，随后用靠近超声换能器的外科标记器来标记患者的皮肤。然后，移除超声换能器，将针定位在相对于标记部位的位置，之后插入针。
针插入、探头放置以及治疗输送手术需要了解皮下三维解剖结构，以确保治疗仪器的准确放置。然而，现有的医学超声系统通常配置为仅提供皮下解剖结构的二维截面图。因此，在仅参考解剖结构的二维截面图的情况下对治疗仪器进行三维导航，在技术上是具有挑战性的。此外，几乎没有医学超声系统向执业医师提供视觉提示来辅助确定治疗装置是否与目标解剖部位对准。目前的系统在不与其他3D成像模态图像(CT/MRI)进行复杂地配准的情况下，无法向医疗提供者提供视觉引导以确定治疗装置是否与目标治疗部位对准。
现有的医学超声系统的局限性导致需要执业医师接受广泛的训练方案来弥补对实时三维图像引导信息的缺乏。训练的负担导致了有资格进行介入性手术的执业医师不足。
发明内容
在本文中描述的示例性实施例具有创新特征，其中没有一个特征是必不可少的或单独地负责它们的期望的属性。以下描述和附图详细阐述了本公开的某些说明性实现方式，其指示可以实现本公开的各种原理的若干示例性方式。然而，这些说明性实例并非本公开的许多可能的实施例的穷举。在不限制权利要求的范围的情况下，现在将概述一些有利的特征。当结合附图考虑时，本公开的其他目的、优点和新颖特征将在本公开的以下详细描述中阐述，附图旨在说明而非限制本发明。
本发明的一个方面涉及一种超声成像和治疗引导系统，包括：超声探头，其生成经位置调整的超声束以采集人类受试者体内的骨解剖结构的三维图像数据；对象跟踪器，其配置为检测超声探头的当前位置和当前取向；治疗施加器，其用于向人类受试者递送治疗；机械装置，其耦接至超声探头和治疗施加器，以设置治疗施加器关于超声探头的预定相对位置；处理器；非瞬态计算机存储器，其以能够操作的方式耦接至处理器。非瞬态存储器包括计算机可读指令，计算机可读指令使处理器：至少部分地基于三维图像数据和超声探头的当前位置和当前取向来检测三维骨表面定位的位置和取向；自动地检测相对于三维骨表面定位的目标治疗部位；确定治疗施加器向目标治疗部位递送治疗所需的适当位置和适当取向；以及生成显示数据。该系统还包括显示器，其与处理器电气通信，该显示器基于显示数据生成图像，图像包括：三维骨表面定位的指示；瞬间采集的二维超声图像帧，其与处于治疗施加器的当前位置和当前取向的治疗施加器的潜在治疗场相互对准；相对于三维骨表面定位的目标治疗部位的指示；以及图形指示符，其指示目标治疗部位和潜在治疗场是否对准。
在一个或多个实施例中，计算机可读指令还使处理器使用神经网络自动地检测相对于三维骨表面定位的目标治疗部位。在一个或多个实施例中，计算机可读指令还使处理器通过将三维图像数据拟合到三维骨模型来检测三维骨表面定位的位置和取向。在一个或多个实施例中，由显示器生成的图像还包括骨界标定位。在一个或多个实施例中，计算机可读指令还使处理器使用三维骨模型来自动地检测目标治疗部位。
在一个或多个实施例中，三维骨表面定位的指示被显示为带有第三维的二维骨表面图像，第三维被编码以表示沿着第三维的骨表面定位。在一个或多个实施例中，第三维被图形化地编码以表示沿着第三维的骨表面定位。在一个或多个实施例中，第三维被颜色编码以表示沿着第三维的骨表面定位。
在一个或多个实施例中，至少部分地基于治疗施加器关于超声探头的预定相对位置来确定治疗施加器的适当位置和适当取向。在一个或多个实施例中，对象跟踪器配置为检测治疗施加器的当前位置和当前取向，并且至少部分地基于治疗施加器的当前位置和当前取向来确定治疗施加器的适当位置和适当取向。
在一个或多个实施例中，由显示器生成的图像还包括潜在治疗场的当前位置和当前取向。在一个或多个实施例中，由显示器生成的图像还包括治疗施加器的当前位置和当前取向。在一个或多个实施例中，由显示器生成的图像还包括从三维骨表面定位计算得到的骨解剖结构的尺寸和取向信息。
在一个或多个实施例中，治疗施加器包括针引导件、针、消融仪器和/或高强度聚焦超声换能器。在一个或多个实施例中，目标治疗部位包括硬膜外腔、蛛网膜下腔或内侧分支神经。在一个或多个实施例中，超声探头配置为由用户手动地进行位置调整。在一个或多个实施例中，超声探头配置为通过机械机动化机构自动地进行位置调整。
在一个或多个实施例中，对象跟踪器包括感应式接近传感器。在一个或多个实施例中，对象跟踪器包括超声图像处理电路。在一个或多个实施例中，超声图像处理电路配置为通过比较三维图像数据中的顺序采集的超声图像来确定超声探头的当前位置的相对变化。
在一个或多个实施例中，对象跟踪器包括光学传感器。在一个或多个实施例中，光学传感器包括固定的光学发射器和被光学传感器检测的扫频激光器，光学传感器布置在超声探头上。在一个或多个实施例中，对象跟踪器包括集成的位置传感器。在一个或多个实施例中，集成的位置传感器包括机电式电位计、线性可变差动变压器、感应式接近传感器、旋转编码器、增量编码器、加速度计和/或陀螺仪。在一个或多个实施例中，三维骨表面定位包括三维脊柱骨定位。
在一个或多个实施例中，通过超声探头的机械移动和/或经位置调整的超声束的电转向来对经位置调整的超声束进行位置调整。
本发明的另一方面涉及一种用于引导治疗施加器的方法，包括：对由超声探头产生的超声束在人类受试者身上进行位置调整，以采集人类受试者体内的骨解剖结构的三维图像数据；在对超声束进行位置调整的同时，使用对象跟踪器检测超声探头的当前位置和当前取向；至少部分地基于三维图像数据和超声探头的当前位置和当前取向来确定三维骨表面定位的位置和取向；自动地检测相对于三维骨表面定位的目标治疗部位；确定治疗施加器向目标治疗部位递送治疗所需的适当位置和适当取向；在与计算机电气通信的显示器上显示图像，图像包括：三维骨表面定位的指示；瞬间采集的二维超声图像帧，其与处于治疗施加器的当前位置和当前取向的治疗施加器的潜在治疗场相互对准；相对于三维骨表面定位的目标治疗部位的指示；以及图形指示符，其指示目标治疗部位和潜在治疗场是否对准。
在一个或多个实施例中，该方法还包括在计算机中使用神经网络来自动地检测相对于三维骨表面定位的目标治疗部位。
在一个或多个实施例中，该方法还包括将三维图像数据拟合到三维骨模型。在一个或多个实施例中，该方法还包括使用三维骨模型确定三维骨表面的位置和取向。在一个或多个实施例中，该方法还包括使用三维骨模型来识别骨界标定位。在一个或多个实施例中，图像包括骨界标定位。在一个或多个实施例中，该方法还包括使用三维骨模型来自动地检测目标治疗部位。
在一个或多个实施例中，三维骨表面定位的指示被显示为带有第三维的二维骨表面图像，第三维被编码以表示沿着第三维的骨表面定位。在一个或多个实施例中，该方法还包括对第三维进行图形化地编码以表示沿着第三维的骨表面定位。在一个或多个实施例中，该方法还包括对第三维进行颜色编码以表示沿着第三维的骨表面定位。
在一个或多个实施例中，该方法还包括将耦接至超声探头的机械装置与治疗施加器机械地耦接，机械装置设置治疗施加器关于超声探头的预定相对位置。在一个或多个实施例中，该方法还包括至少部分地基于治疗施加器关于超声探头的预定相对位置来确定治疗施加器的适当位置和适当取向。在一个或多个实施例中，该方法还包括使用对象跟踪器检测治疗施加器的当前位置和当前取向；以及至少部分地基于治疗施加器的当前位置和当前取向来确定治疗施加器的适当位置和适当取向。
在一个或多个实施例中，图像还包括潜在治疗场的当前位置和当前取向。在一个或多个实施例中，图像还包括治疗施加器的当前位置和当前取向。在一个或多个实施例中，其中，图像还包括从三维骨表面定位计算得到的骨解剖结构的尺寸和取向信息。
在一个或多个实施例中，治疗施加器包括针引导件、针、消融仪器和/或高强度聚焦超声换能器。在一个或多个实施例中，目标治疗部位包括硬膜外腔、蛛网膜下腔或内侧分支神经。在一个或多个实施例中，对超声束进行位置调整包括机械地移动超声探头。
在一个或多个实施例中，该方法还包括使用机械机动化机构对超声探头进行位置调整。在一个或多个实施例中，对超声束进行位置调整包括对超声束进行电子扫描。
在一个或多个实施例中，对象跟踪器包括感应式接近传感器。在一个或多个实施例中，对象跟踪器包括超声图像处理电路。在一个或多个实施例中，该方法还包括使用超声图像处理电路，通过比较三维图像数据中的顺序采集的超声图像来确定超声探头的当前位置的相对变化。
在一个或多个实施例中，对象跟踪器包括光学传感器。在一个或多个实施例中，光学传感器包括固定的光学发射器和被光学传感器检测的扫频激光器，光学传感器布置在超声探头上。在一个或多个实施例中，对象跟踪器包括集成的位置传感器。在一个或多个实施例中，集成的位置传感器包括机电式电位计、线性可变差动变压器、感应式接近传感器、旋转编码器、增量编码器、加速度计和/或陀螺仪。
在一个或多个实施例中，三维骨表面定位包括三维脊柱骨定位。在一个或多个实施例中，使用对象跟踪器来检测超声探头的当前位置和当前取向。
在一个或多个实施例中，该方法还包括采集多个超声探头定位处的骨解剖结构的二维超声图像数据；以及将二维超声图像数据和超声探头定位进行组合以形成三维图像数据。在一个或多个实施例中，二维图像数据包括像素，并且该方法还包括基于超声探头定位来确定每个像素的三维位置。在一个或多个实施例中，该方法还包括执行骨增强处理以增强超声图像中的任何骨和/或骨特征。
在一个或多个实施例中，该方法还包括接收用户接口事件；以及基于接收到用户接口事件的时间来记录超声探头的基准位置。
附图说明
为了更全面地理解本发明概念的本质和优点，参考以下优选实施例的详细描述并结合附图，其中：
图1是根据一个或多个实施例的用于引导超声探头和治疗施加器的系统的框图；
图2是示出了根据一个或多个实施例的用于跟踪和/或引导超声探头和治疗施加器的方法的流程图；
图3是以图形方式识别人类受试者体内的尚未用超声探头充分扫描的区域的显示的代表性图示；
图4是带有分析的示例性3D脊柱模型或示例性3D脊柱数据的显示，其叠加基于3D脊柱模型的脊柱分析，用于引导硬膜外注射；
图5示出了根据一个或多个实施例的用于沿着适当的针轨迹引导针的显示；
图6是包括机械装置的机械系统的透视图，该机械装置机械地耦接到超声探头和针；
图7示出了沿着前后视线的脊柱解剖结构的三维显示的实例；以及
图8示出了潜在治疗场与治疗部位对准的二维显示。
具体实施方式
本发明的各方面涉及一种与三维(3D)位置跟踪结合的超声系统，该超声系统能够实现以解剖评估和/或手术引导(例如，在基于能量的消融期间引导诸如针和/或装置的治疗施加器)为目的的高度精确的3D骨表面渲染。在一些实施例中，本发明包括特征(a)-(e)中的一个或多个。其他实施例可以包括附加的、更少的和/或不同的特征。
在特征(a)中，当对超声探头进行位置调整使其接近人类受试者身上的目标区域时(例如，以采集接近目标区域的骨解剖结构的图像数据)，可以通过跟踪(例如，利用位置跟踪系统)超声探头的空间位置以及任选的取向来生成3D骨图像。可以比如通过提供关节或骨特征定位的指示、骨折定位、最佳针插入角度的指示、可能的针或治疗部位的指示和/或脊柱侧凸和/或其他骨解剖结构异常的指示和程度，来自动地对骨图像进行注释。
在特征(b)中，将3D骨图像拟合到目标解剖结构的模型，并且该模型可以任选地与实际的骨定位一起显示。
在特征(c)中，可以在超声探头扫描期间(例如，在获取3D骨图像时)向用户提供实时反馈，使得在实现带有注释和/或模型拟合信息的重建骨的3D显示所需的所有定位和/或取向上扫描接近目标区域的3D解剖结构。
在特征(d)中，除了超声换能器之外，位置跟踪系统跟踪治疗施加器。在构建了3D骨信息之后，系统可以将治疗施加器的实时引导到期望的定位。例如，治疗施加器可以是针、针引导件、导管、超声系统或探头(带有有或不带有有针引导件)、射频消融探头或高强度聚焦超声(HIFU)换能器。期望的治疗部位可以是硬膜外腔、小面关节或骶髂关节。在一些实施例中，实时引导可以包括在正在施加治疗的同时，例如在基于能量的消融期间，引导治疗施加器。期望的定位可以是用户指定的定位，比如通过指示3D骨重建上的应当施加治疗的定位。然后，该系统将治疗施加器引导至期望的定位，以便当治疗施加器被激活时该期望的治疗部位接收治疗。可替代地，该定位可以由系统自动提供。该定位可以是治疗施加器向期望的治疗部位精确地递送治疗的最佳定位，或者可以提供最佳定位的若干选择(例如，在不同的椎间隙处)。
在特征(e)中，可以在虚拟现实(VR)环境、增强现实(AR)环境或混合现实(MR)环境中显示超声系统、骨定位和/或治疗施加器。这些环境中的任一个可以显示在VR头盔和/或传统计算机屏幕上，和/或显示在附接于超声探头的屏幕上，和/或显示在附接于治疗施加器的屏幕上。
在VR中，可以向用户呈现模拟的3D环境，在其中使用立体头戴式显示器和/或一些其他视觉刺激方法来产生深度错觉。如果显示器不能传达深度信息，则VR显示器仅仅是呈现在二维(2D)显示器(例如监视器)上的虚拟3D环境。这种显示限制也适用于AR和MR系统的以下定义。
在AR中，通过在视觉环境中叠加模拟的(“虚拟”)2D或3D数据，可以向用户呈现某种形式的真实感。真实内容和虚拟内容的组合可以使用相机来捕获真实内容，和/或通过使用透明屏幕和/或其他方法将虚拟内容与用户的常规视觉组合以将视觉信息注入到用户的视场中来实现。视觉环境可以包括如以上关于VR所描述的模拟的3D环境或虚拟的3D环境。
MR类似于AR，其向用户无缝地呈现真实内容和模拟内容，然而在该模态中，虚拟实体和增强实体可以实时交互。例如，虚拟的球可以从真实的物理墙弹出，或者当感测到物理对象位置(例如，皮肤表面)时，增强的解剖信息可以在空间中移动。为了本申请的目的，AR包括MR作为其子集。
图1是根据一个或多个实施例的用于引导超声探头和治疗施加器的系统10的框图。系统10包括任选的机械装置102、超声探头104、任选的探头显示器108、对象跟踪系统112、任选的治疗施加器116、任选的治疗施加器显示器118、基准124、相机130、主处理单元136、显示器140、计算机存储器150以及用户接口设备160。
超声探头104包括一个或多个超声换能器，用于对受试者体内的目标解剖区域进行成像。示例性超声换能器可以是单元换能器、线性阵列、曲线阵列、二维阵列、电容式微加工超声换能器(CMUT)，所有这些都是商业上可获得的并且对于本领域技术人员是已知的。在操作中，例如在治疗过程(例如，硬膜外麻醉过程、超声治疗过程、外科手术过程等)之前或作为诊断过程(例如，脊柱解剖结构分析)的一部分，用户将超声探头104放置在受试者的接近目标解剖区域的皮肤上。然后，用户通过位置调整在目标解剖区域附近沿着受试者的皮肤移动或扫描(例如，以机械和/或电子方式)超声探头104，以获取目标解剖区域的超声图像。通过对超声探头104进行位置调整，用于产生超声图像的超声束也受到位置调整。在使用二维阵列换能器的另一示例性实施例中，可以使用可编程电子发射电路以电子方式对超声换能器产生的超声束进行位置调整，该可编程电子发射电路向二维阵列的特定元件施加时间延迟(例如，调整针对二维阵列的特定元件的驱动信号的相对相位)。这种使二维换能器阵列无需机械运动而产生三维超声图像数据的操作对于本领域技术人员是已知的并且在商业上容易获得。在该同一实施例中，根据施加到二维阵列内的元件的时间延迟的知识来跟踪超声束的位置调整，例如如在标题为“2D Ultrasonic Transducer Array forTwo Dimensional and Three Dimensional Imaging(用于二维和三维成像的2D超声换能器阵列)”的美国专利第6,419,633号和标题为“Two-dimensional Array UltrasonicTransducers(二维阵列超声换能器)”的美国专利第5,329,496号中所公开的，这些申请通过引用结合于此。所采集的超声图像可以显示在任选的探头显示器108(其布置在超声探头104上或集成在超声探头104中)上和/或显示器140上。
在超声成像期间，使用对象跟踪系统112在三维空间中跟踪超声探头104。对象跟踪系统112通常可以使用各种方法在三维空间中跟踪超声探头104。例如，可以通过跟踪超声探头104上的两个或更多个定位来实现3D跟踪，这在一些实施例中可以包括跟踪超声探头104的刚性部分上的两个或更多个定位。如果超声探头104在其他维度上受到机械约束，比如通过诸如商业上可获得的三维摇摆超声换能器中实现的机械框架或引导件，则对象跟踪系统112还可以仅沿着一个或两个维度跟踪超声探头104。另外地或者可替代地，对象跟踪系统112可以通过使用集成的位置传感器(例如，其将重力投影到3个垂直轴线上)来跟踪超声探头104的位置和取向，从而在三维空间中跟踪超声探头104。另外，对象跟踪系统112可以任选地利用超声数据处理电路，通过使用斑点跟踪和/或图像相似度跟踪技术(本领域公知的技术)，对顺序采集的2D图像和/或3体积进行比较来计算相对位置的变化。例如，在标题为“Method and Apparatus for Tracking Scan Plane Motion in Free handThree-dimensional Ultrasound Scanning Using Adaptive Speckle Correlation(用于使用自适应斑点相关性跟踪徒手三维超声扫描中的扫描平面运动的方法和装置)”的美国专利第6,012,458号和标题为“Dynamic Measurement of Object Parameters(对象参数的动态测量)”的美国专利第6,728,394号中描述了这些技术，这些申请通过引用结合于此。
对象跟踪系统112可以使用光学跟踪系统、基于磁的跟踪系统、无线电或声学跟踪系统、基于相机的跟踪系统、位置传感器和/或超声图像处理电路来确定超声探头104的位置和取向。光学跟踪系统可以包括具有光同步脉冲的一个或多个固定的光学发射器，以及被目标设备(即，超声探头104)上的光传感器检测的扫频激光器。这种光学跟踪系统的实例是可从台湾的HTC公司获得的HTC ViveTM Lighthouse跟踪系统。
基于磁的跟踪系统可以包括多对固定线圈和移动线圈或其他磁场传感器，它们可以用于基于每对固定线圈和移动线圈的可变互感或由传感器测量的磁场来确定移动线圈的相对位置。互感或磁场值是每对固定线圈和移动线圈、或传感器之间的间隔距离的函数。磁场3D跟踪系统的实例包括在标题为“Magnetic Tracking System(磁跟踪系统)”的美国专利第6,774,624号中描述的那些，该申请通过引用结合于此，以及由Polhemus(科尔切斯特，VT，USA)和NDI Medical,LLC(安大略，加拿大)销售的跟踪产品中的那些。
无线电或声学跟踪系统可以使用固定发射器和移动接收器(和/或固定接收器和移动发射器)之间的飞行时间，包括任选地使用用于微调距离估计的相关方法，在较小的尺度上跟踪对象的位置。这些发射器可以发射射频信号或声能，并且通常使用接收波中的飞行时间延迟和/或变化以及传播模型来估计位置和/或取向，其感测范围和准确度基本上仅受到信噪比的限制。在一些实施例中，无线电或声学跟踪系统可以与全球定位系统(GPS)功能类似。
基于相机的跟踪系统包括附接到固定物体和移动物体中的一者或两者上的一个或多个相机。可以分析来自相机的图像以确定固定结构或物体和移动结构或物体在相机视场内的相对位置。
在一些实施例中，位置传感器可以集成或布置在超声探头104上或超声探头104中(例如，在超声探头104的外壳中)，或者超声探头104可以附接或附着到包括这种位置传感器(例如，集成在其中或布置在对象上或对象中)的对象上，并且该对象与超声探头104之间的距离是已知的。位置传感器能够跟踪超声探头穿过3D空间的相对运动。位置传感器的实例包括机电式电位计、线性可变差动变压器、感应式接近传感器、旋转编码器、增量编码器，以及使用集成的加速计和/或陀螺仪的惯性跟踪。
另外地或可替代地，可以使用斑点跟踪或其他基于图像处理的方法来跟踪超声探头104的2D和/或3D位置，以对顺序采集的2D/3D超声数据集进行运动跟踪(例如，块跟踪)。这种基于超声图像的跟踪可以至少部分地由超声图像处理电路执行，该超声图像处理电路布置在对象跟踪系统112中或与以能够操作的方式连接到对象跟踪系统112。
在一些实施例中，可以使用任选的机械装置102来约束治疗施加器116的位置。机械装置102将设置超声探头104相对于治疗施加器116的位置。如果该机械装置的准确尺寸是已知的，则治疗施加器相对于超声探头的准确位置也是已知的。这种机械装置的实例是集成到通常使用的超声针引导件中的机械装置。这种针引导件具有夹具或类似的机械机构，其固定针引导件相对于超声探头的位置。其他实例可以是保持超声探头104和高强度聚焦超声(HIFU)治疗施加器116两者的机械框架。
图6是包括机械装置600的机械系统60的透视图，该机械装置600机械地耦接到超声探头610和针620。该机械装置包括第一部分602和第二部分604，第一部分602和第二部分604是以能够移除的方式附接的(例如，使用夹具、螺钉或其他附接机构)。第一部分602和第二部分604围绕超声探头610布置，以在它们之间刚性地保持超声探头610。针620穿过限定在机械装置600的第一部分602的臂608中的孔606。因此,机械装置600设置超声探头610和针620的相对位置和取向。应当注意的是，在其他实施例中，针620可以是另一治疗施加器(例如，治疗施加器116)。
返回图1，超声探头104和对象跟踪系统112的数据输出被提供给包括主处理单元136的计算机。如本文所述，主处理单元136可以处理该数据并将图像数据输出到显示器140和/或任选的探头显示器108。显示器140可以是二维显示器(例如，计算机监视器)或三维显示器，比如可以由用户佩戴的虚拟现实头盔。
对象跟踪系统112还可以在三维空间中跟踪任选的治疗施加器116和/或基准标记124。对象跟踪系统112可以以与其跟踪超声探头104相同或基本相同的方式在三维空间中跟踪治疗施加器116。基准标记124可以是绝对空间中的独立于后续的受试者移动的标记，且/或它们可以是物理地附接到对象(例如，超声探头104和/或治疗施加器116)的标记，因此后续可以在基准标记移动时被跟踪。在一些实施例中，基准标记可以物理地附接到人类受试者。对象跟踪系统112可以在三维空间中跟踪基准标记124的三维位置和任选的取向，如下面进一步描述的。
相机130与主处理单元136电气通信。相机130可以是静态的(即，安装在固定位置处的相机)或动态的，使得其位置也在3D空间中被跟踪(例如，用户佩戴的相机，比如作为虚拟现实头盔的一部分的面向前方的相机，比如HTCViveTM头盔)。相机130可以用于捕获人类受试者和/或设备用户的图像，使得例如，如果在受试者的后背上的手术中使用虚拟现实头盔，则在设备用户的手臂保持治疗施加器116时，除了其他信息(例如，3D脊柱模型拟合、3D骨合成图像、基准124、用户注释、分析和/或治疗施加器116以及其他项目)，还可以显示人类受试者的后背。
可替代地，治疗施加器116可以包含集成的位置传感器或者可以附着到包含集成的位置传感器的机构，这些集成的位置传感器能够跟踪治疗施加器116穿过3D空间的位置和治疗施加器116关于超声探头104的相对位置。例如，治疗施加器116可以是针，其可以附着到刚性地安装在超声探头104上的针引导件。该针引导件可以包含旋转编码器机构，通过该旋转编码器机构可以测量针关于超声探头的相对角度轨迹。另外，可以通过集成在针引导件中的线性可变差动变压器来测量针穿过针引导件并进入人类受试者体内的线性行进。
计算机存储器150包括以能够操作的方式耦接到主处理单元136的非瞬态计算机存储器。存储器150可以存储可以使主处理单元136能够执行本文所述功能的计算机程序或应用程序、指令和/或数据集。
用户接口设备160可以包括鼠标、触摸屏、虚拟按钮、机械按钮、麦克风(例如，用于接收语音命令)，或允许用户与计算机交互的其他设备。
系统10的其他方面将结合图2中的流程图20进行描述，图2示出了根据一个或多个实施例的用于跟踪和/或引导超声探头和治疗施加器的方法。
在步骤204中，当超声探头104的用户将其放置在人类受试者的接近目标解剖区域的皮肤上和/或沿着人类受试者的接近目标解剖区域的皮肤移动超声探头104时，跟踪超声探头104的三维位置和取向。如上所述，可以使用对象跟踪系统112跟踪超声探头104的三维位置和取向。
在步骤208中，主处理单元136计算超声图像像素的三维位置。超声图像像素在一维(1D)、二维(2D)或三维(3D)空间中的定位相对于超声探头104(例如，超声换能器)在特定瞬间的位置和取向具有空间关系。例如，在一个瞬间，超声探头的位置和取向可以由3维位置向量(例如，x、y、z轴上的r0＝[0.5m,10m,10m])和一组三个正交的单位向量(例如，i、j、k)描述，使得每个单独的超声像素‘n’(总共N个中的)具有由rn＝r0+ani+bnj+cnk描述的空间位置，其中an、bn和cn描述三个任意但固定的正交轴上相对于探头的像素位置。使用该信息，可以构造在3D空间中的线性变换，以计算1D、2D或3D超声图像的每个超声图像像素的瞬时位置。
成像视场和超声图像像素(例如，‘n’)可以占据从超声换能器元投影的已知空间区域。探头与视场之间的空间关系可以从超声探头设计固有的已知几何关系导出。在一些实施例中，超声探头可以自然地创建3D图像。在其他实施例中，超声探头通过对单独的2D图像进行组合来形成3D图像。
在步骤212中，超声探头104在第一定位处采集目标解剖区域的超声图像，其可以包括骨和/或骨特征。在采集超声图像之后，主处理单元136在步骤214中执行骨增强处理以增强超声图像中的任何骨和/或骨特征。可以使用本领域已知的任何方法执行骨增强处理，比如来自相同骨表面的相邻超声回波之间的相位相干、定向log-Gabor滤波以及还增强骨反射的降秩方法。在另一实例中，可以使用骨遮光、骨阴影，以及与骨结构进行声学/超声交互的其他物理方面来增强骨特征，例如在于2016年1月14日公开的标题为“Systems andMethods for Ultrasound Imaging(用于超声成像的系统和方法)”的美国专利申请公开第2016/0012582号、于2016年9月1日公开的标题为“Systems and Methods for UltrasoundImaging of Regions Containing BoneStructure(用于对包含骨结构的区域进行超声成像的系统和方法)”的美国专利申请公开第2016/0249879号、和/或于2017年8月18日提交的标题为“System and Method for Ultrasound Spine Shadow Feature Detection andImaging Thereof(用于超声脊柱阴影特征检测及其成像的系统和方法)”的PCT申请第PCT/US17/47472号中描述的，这些申请通过引用并入本文。
在任选的步骤226中，生成并跟踪基准标记124。使用步骤204中的任选地与患者接触的被跟踪的超声探头104，可以使用用户接口事件来记录超声探头104的瞬间位置和取向，使得超声探头104的一些末端对应于基准位置(例如，作为基准标记124)。例如，可以将超声探头104的尖端定位在骶骨处或可选地定位在臀内裂口上方的骨突起处，然后可以按下用户接口按钮以记录超声探头104的尖端的基准位置(例如，作为基准标记124)。另外，通过捕获与单个对象相关联的若干或许多基准标记124，可以捕获表面，例如后背的皮肤表面或超声探头104的长度。
在一个实例中，使用对象跟踪系统112和/或静态相机(例如，相机130)跟踪基准标记124和/或基准位置的三维位置。可以使用与步骤204中跟踪超声探头104类似的方法来跟踪基准标记124和/或基准位置的三维位置。如上所述，用户接口按钮可以被激活以指示基准标记124在空间中的位置，该位置可以使用目标跟踪系统112和/或静态相机(例如，相机130)来跟踪。
在另一实例中，可以使用与步骤204中跟踪超声探头104类似的方法来跟踪基准标记124和/或基准位置的三维位置。可跟踪对象可以贴附到人类受试者的皮肤上，并且可跟踪对象可以用作永久基准标记124，其将实时跟踪受试者的运动。
在又一实例中，可以用相机(例如，相机130)和/或对象跟踪系统112跟踪贴附到受试者的皮肤上的可跟踪对象或固定位置对象(其可以作为基准标记124来操作)的三维位置。在一些实施例中，贴附到受试者的皮肤上的对象可以包括具有空间编码的标识和/或颜色编码的标识的贴纸。空间编码的标识和/或颜色编码的标识可以用于确定被跟踪的对象(例如，贴纸)的瞬间位置，并且相机成像的几何形状的知识可以用于在受试者和对象移动时实时跟踪基准位置。相机可以是空间固定的相机或“动态”相机，比如虚拟现实头盔上的面向前方的相机。
在步骤218中，组合图像和位置信息以形成3D合成图像。在该步骤中，对步骤214和208的输出——分别是来自连续捕获的骨增强超声数据集和来自每次捕获的每个像素的3D位置——进行组合以产生一组骨增强超声像素，每个像素对应于或配准到3D空间中的特定定位。该处理可以由超声探头104、3D对象跟踪系统112、主处理单元136以及任选的基准标记124执行，和/或可以与超声探头104、3D对象跟踪系统112、主处理单元136以及任选的基准标记124相关。除了任选的基准位置之外，位置信息还包括骨增强超声数据。步骤218通常被超声领域的技术人员称为“徒手”3D成像。
在一些实施例中，步骤218可以包括使用由对象跟踪系统112提供的超声探头104的3D位置信息来将超声图像数据的2D帧总地配准到3D体积中。在一些实施例中，这可以精确到大约1mm。
另外地或可替代地，步骤218可以包括数据相关的帧到帧配准操作(例如，斑点跟踪)，以将超声图像数据的2D帧中的图像特征更好地对准到3D体积中。这将是迭代的半刚性配准操作，其将保留图像特征之间的空间关系，但是将配准误差减小到近似亚毫米误差。
另外地或可替代地，步骤218可以包括应用某种持久性映射或其他方法来改善多次采样的体积区域中的骨特征检测的特异性。持久性映射或其他方法可以排除不存在于相同区域的所有样本中的假阳性骨特征。
例如，在以下文献中已经描述了用于组合图像和位置信息以生成3D合成图像的技术，这些文献通过引用结合于此：(1)R.Rohling,A.Gee,L.Berman,"A comparison offreehand three-dimensional ultrasound reconstruction techniques(徒手三维超声重建技术的比较),"Medical Image Analysis,3(4):339-359,1999；以及(2)O.V.Solberg,F.Lindseth,H.Torp,R.E.Blake,T.A.N.Hemes,"Freehand 3D ultrasoundreconstruction algorithms-a review(徒手3D超声重建算法——回顾),"Ultrasound inMedicine&Biology,33(7):991-1009,2007.
如以下实例所说明的，在步骤218中，存在几种另外的方式来产生3D合成图像，这些方式可以单独使用或者以某种任意组合来使用。例如，来自每次骨增强超声捕获的数据集(例如，步骤214的输出)可以被视为可以在将来的处理步骤中被搜索和分析的独立的3D样本子集。在另一实例中，如果将来自每次骨增强超声捕获的数据集作为放置在3D空间中的标量值，则可以将数据集的空间频率特征与奈奎斯特-香农(Nyquist-Shannon)采样理论一起用于对3D数据进行重新采样，从而产生均匀或非均匀的3D标量场，以简化进一步的分析。
在又一实例中，来自每次骨增强超声捕获的数据集可以被视为向量值，因为来自单个超声帧的每个标量值也具有与对应的声波波前相关联的方向，这由声波传播理论给出。基于声波向量与骨表面形成的角度，来自步骤214的骨增强像素值可以具有变化的灵敏度。这意味着3D空间中的向量数据集包含更丰富的信息，可以用于改进后续分析。
可以使用若干方法将来9自每次骨增强超声捕获的数据集(例如，步骤214的输出)与从先前的2D扫描所得到的3D数据集组合，这些方法可以单独使用或以某种任意组合来使用，比如在下面的实例例(a)-(c)中。
实例(a)包括例如支持3D空间中的“密度”函数的3D数据的相加性组合。
实例(b)包括使用现有的3D数据作为空间中的三维骨表面定位的“先前”概率。单次扫描获得的数据可以用来迭代地更新空间中的3D骨表面概率函数。此外，为了滤除“假阳性”骨表面(例如，由于超声探头接触丢失而导致)，3D骨表面概率体积函数也可以具有“年龄”参数。年龄参数可以用于引退在一定时间内(例如，在一定次数的扫描内)以相当低的概率(例如，小于25％)未通过后续扫描(增加它们的概率)得到增强的骨表面定位。该概率数据还可以提高由数次到多次扫描组成的真实骨表面的准确度，其中空间中的位置和骨检测在许多部分独立的测量上被有效地平均或复合。复合骨概率的处理可能是现有概率和新扫描的概率的非线性函数，以及形成现有概率的扫描的年龄历史。
实例(c)包括使用其他先验骨概率。例如，如果识别了皮肤表面基准标记和/或一些骨基准标记(例如髋关节解剖结构)，则这些可以用于修改空间中的骨的可能性。类似地，一旦已经至少部分地构建了任选的步骤230的3D模型，这也可以修改骨概率，例如使得骨表面更可能接近被模型识别为棘突的解剖结构，而更不可能接近被模型识别为椎间隙的解剖结构。
在步骤222中，在下一个或后续位置(即，在步骤212中在第一定位处采集超声图像之后)采集超声图像数据。超声探头104能够在连续位置和连续时间捕获超声数据集，同时对捕获数据集的时间进行一些控制和/或报告，使得它们能够在空间中配准(例如，在步骤208和218中)。这可以例如通过控制数据捕获的时机与物理位置一致，或者通过连续重复捕获超声帧、同时精确记录超声帧相对于运动跟踪样本瞬间的时机来实现。在该处理步骤中可以涉及超声探头104、对象跟踪系统112和主处理单元236。
在步骤230中，通过基于模型或基于数据的算法来自动地检测界标解剖结构。在一个实施例中，这可以包括模型拟合算法，模型拟合算法将合成的3D图像(例如，步骤218的输出)匹配到3D模型，例如在标题为“Systems and Methods for Ultrasound Imaging(用于超声成像的系统和方法)”的美国专利第10,134,125号中所公开的，该申请通过引用结合于此。在一些实施例中，在步骤218中形成的3D合成图像在被优化以满足某些约束的情况下拟合到3D模型。这样的约束可以包括被成像的解剖结构类型的先验知识，例如腰椎、胸椎或其他特定的骨解剖结构。
因此，可以使用基于形状模型的方法。形状模型通常识别图像中的感兴趣的点(例如，骨点或骨表面)，并将这些点与符合例如已知的解剖特征的形状的一个或多个点或表面的原型集(例如，模板)进行比较。线性和/或非线性变换可以参数化地应用于形状或模板，并用于与图像中的感兴趣的点匹配，其中拟合接近度用作确定图像是否与特定解剖结构匹配的度量。进一步的约束可以包括由基准标记124示踪(并且在步骤226中被跟踪)的解剖结构部分，例如，特定的椎骨、骨盆末端等。此外，可以使用目标解剖结构和机械约束的现有统计知识来辅助模型拟合，例如椎骨尺寸、骨之间的分隔距离(例如，相邻椎骨之间的)和/或椎间弯曲角度的统计分布。
模型拟合和配准技术对于超声和/或图像处理领域的技术人员是已知的。例如，可以使用开源软件，比如Insight Segmentation and Registration Toolkit(https://itk.org/，可从美国国家医学图书馆获得)，来获取使用诸如点集配准等方法的算法的3D配准软件。此外，可以使用任何模态的预先存在的图像来约束3D模型拟合，比如应用CT和/或MRI数据集来限制3D模型参数。
有多种方法可以用于3D模型拟合的优化过程，比如在优化实例(1)-(3)中的。
优化实例(1)包括参数空间搜索。例如，启发式地、线性地且/或自适应地搜索3D模型的参数空间，比如通过改变诸如椎骨位置、尺寸和/或取向的参数，直到在最小二乘法意义上良好拟合来自步骤218的观测数据。
优化实例(2)包括使用先验知识和贝叶斯分析的最大似然模型拟合。该实例可以通过搜索受约束的3D模型(比如多脊柱)的参数空间，并找到使从给定的3D模型参数集得到输入数据集(来自步骤218)的概率最大化的参数集(例如，每个椎骨的定位、取向和/或尺寸参数)来实现，给定的3D模型参数集给出任何给定参数集的先验似然。
优化实例(3)包括不同设计的深度学习方法(例如，神经网络、卷积神经网络和/或贝叶斯推断卷积神经网络)。在充分训练之后，可以使用这样的深度学习方法来实施深度学习分析，以将观察数据分类为属于特定解剖结构(例如，腰椎、骶骨)并且基于训练集识别观察数据内的对应于观察数据的“良好拟合”的单独的2D和/或3D特征。
在步骤230中，骨解剖结构的3D骨模型拟合和3D图像可以任选地用作对附近软组织解剖结构进行二次模型拟合的先验概率模型。在一些实施例中，软组织结构可以是治疗介入的目标(例如肩关节囊)，而在其他实施例中，可以简单地提供附加的解剖信息以辅助医疗过程(例如，肺的定位)。可以对在步骤212中采集的2D超声图像中包含的软组织信息进行后处理，以在被优化以满足某些约束的情况下拟合到2D或3D模型之前提取图像特征(例如，边缘检测、形状检测)。这样的约束可以包括包含在骨解剖结构的3D骨模型拟合和3D图像中的解剖信息。另外，约束可以包括被成像的解剖结构类型的先验知识，例如肩关节、胸椎、肋骨或其他特定的骨解剖结构。进一步的约束可以包括由基准标记124示踪(并且在步骤226中跟踪)的解剖结构部分，例如，特定的椎骨、骨盆末端、关节定位等。此外，可以使用目标解剖结构和机械约束的现有统计知识来辅助模型拟合，例如肋骨或椎骨尺寸、骨之间的分隔距离(例如，相邻椎骨之间的)和/或椎间弯曲角度的统计分布。此外，可以使用任何模态的预先存在的图像来约束3D模型拟合，比如应用CT和/或MRI数据集来限制3D模型参数。有多种方法可以用于3D模型拟合的优化过程，比如在以上列出的实例中的。
在步骤232中，用户可以注释图像数据。图像数据优选地以人类可读形式显示，同时能够操控视图(缩放、平移、旋转、改变投影等)，使得用户能够在3D模型中注释位置、线、区域和/或体积。将用户所执行的任何注释与3D图像数据和/或3D模型共同配准，使得在后续的处理步骤中，注释可以与其他数据源无缝地使用。
在步骤234中(经由流程图20中的占位符A)，生成图像和/或模型的3D渲染以显示在显示器(例如，显示器140和/或任选的探头显示器108)上。在该步骤中，在用户控制(缩放、平移、旋转等)下对步骤218中形成的3D合成图像、来自步骤230的3D模型和/或来自步骤232的用户注释的一些组合进行渲染，使得用户可以有用地查看整个3D配准数据集或它的一些子集。显示器(例如，显示器140和/或任选的探头显示器108)中的不同组件可以以与现有3D渲染技术水平一致的各种不同方式进行渲染，例如以以下方法。
通常，实现3D渲染的最简单的方式是使用3D渲染框架，比如
Figure BDA0002575322160000211
(可从TheKronos Group Inc.获得)、
Figure BDA0002575322160000212
(可从Unity Technologies ApS获得)、
Figure BDA0002575322160000213
(可从Epic Games,Inc.获得)，或以定制的纹理、光照等在3D空间中渲染表面、点和对象的类似的优化的3D渲染框架。各种3D渲染算法和工具包对于超声和/或图像处理领域的技术人员是容易获取且已知的。它们包括The Visualization
Figure BDA0002575322160000214
(https://www.vtk.org/)。
如上所述，3D渲染可以采用在其中用户可以缩放、平移或旋转整个体积的全交互式3D体积的形式。该3D体积还可以配置为从特定的有利位置进行观察，例如，在沿着前后视线观察脊柱解剖结构以提供脊柱的“鸟瞰”视图的情况下。在这种情况下，可以将该3D体积渲染为该平面内的最大强度投影，或者渲染为带有第三维的二维图像，该第三维被编码以指示第三维中的每个骨表面的值。例如，第三维可以被图形化地编码，比如通过颜色映射、轮廓或归因于第三维中的每个骨表面的值的其他图形。
图7示出了沿着前后视线的脊柱解剖结构700的三维显示70的实例。在示出的显示70中，第三维对应于骨表面距患者皮肤的深度。骨表面距患者皮肤的深度在二维显示70中通过骨表面的颜色示出。例如，该深度被示出为从骨表面710中的颜色较浅(更靠近皮肤表面)进展到骨表面720中的颜色较暗(更远离皮肤表面)。骨表面730具有中间颜色，这表示其位于骨表面710与720之间的深度。另外，显示70示出了指示自动检测治疗部位的任选的十字准线740和任选的自动检测治疗施加器750，自动检测治疗施加器750可以与治疗施加器116相同。
在步骤234中，可以将在步骤218中产生的合成图像渲染为具有任选的透明度的一组表面(根据需要为网格、多边形等)，或者渲染为点云(根据需要具有可变的点尺寸和透明度)。可以根据需要施加外部任选的光照和其他效果。在步骤234中，步骤230中产生的3D拟合模型被最简单地渲染为空间中的一系列3D对象，其中表面纹理取决于每个3D对象的性质和用户重要性。
此外，在步骤218中，可以将来自步骤232的用户注释与渲染的合成图像和/或与渲染的3D拟合模型一起显示为与空间中的其他项共同配准的3D空间中的点、对象、区域、线或体积。
在步骤238中(经由流程图20中的占位符A)，计算对3D图像和/或模型的分析。在该步骤中，分析(来自步骤230的)3D模型的参数、(来自步骤218的)3D合成图像和/或(来自步骤232的)用户注释，以产生用于一个或多个目的的有用信息。例如，计算出的分析可以用于帮助诊断疾病状态、疾病进展，或可以从一个或多个输入(例如，来自步骤230、218和/或232的输出)推断出的其他健康度量。这样的分析的实例包括椎骨尺寸、椎骨间距离、椎骨间旋转、脊柱侧凸的度量、随时间的脊柱侧凸进展，以及其他疾病或健康标记。
在另一实例中，计算出的分析可以用于帮助规划和/或指导治疗过程，比如针插入或基于能量的治疗。这样的分析的实例包括：测量针从最近的骨表面插入给定椎间空间中的间隙(例如，其可以指示在该定位引入神经轴麻醉引入的难度)、识别适当的针插入部位和轨道/轨迹(线)、或识别某些解剖特征距皮肤的深度(例如，硬膜外腔)。
在又一实例中，计算出的分析可以用于3D空间中的实时引导。这种实时引导的实例包括向用户反馈这样的数据如与基准标记的接近度、注释和/或诸如脊柱中线的3D模型定位、以及外部对象(例如，治疗施加器116)与例如适当的针插入轨迹的相对角度。
在步骤242(经过流程图20中的占位符A)中，确定和/或识别需要额外扫描信息的3D结构的定位。在该步骤中，使用步骤218的三维合成图像的当前状态和/或来自步骤230的三维模型的全部或部分来估计与感兴趣的解剖结构相对应的三维空间的不同部分已经被(来自超声探头104的)超声束充分采样到什么程度。如果超声束被快速移动穿过目标解剖结构的区域，则基于成像系统的已知空间分辨率，该区域的采样不足以满足奈奎斯特采样、或确保足够的过采样和/或提供足够用于后续处理的信噪比。
在一个实例中，步骤242可以通过在3D空间上维持体密度函数并在超声平面或体积穿过它时附加地填充体密度，来执行。可以以交互方式向用户指示体积密度的当前状态(例如，以图形化方式、通过语音等)。体积的当前状态可以包括充分采样的位置或未充分采样的位置。有许多方法来确定充分体积取样。一种方法是断言(assert)每体积的最少3D超声像素采样，例如每立方厘米或其他体积单元25个像素。另外，更智能化的采样度量可以包括与现有充分采样的体积的连续性(例如，示出了间隙但不限于体积范围)，或者使用取决于位置并且取决于诸如骨表面密度、体积单元中的信息(例如，熵)内容或数据统计等变量的自适应的体积采样阈值，并估计对体积单元包含什么类型的解剖结构。这可用于分别通过指示在哪里需要扫描或额外的扫描而让用户“绘制”丢失的区域或“擦除”欠采样的区域。该方法在图3中示出，图3是以图形方式识别人类受试者310体内的尚未用超声探头充分扫描的欠采样区域300的显示的代表性图示。当超声探头104采集欠采样区域300的足够数据时，从显示中去除欠采样区域300。
另外地或可替代地，步骤242可以通过向用户提供视觉指示符指示向哪里移动超声探头104以便最大化采样效率(例如，从当前定位向左、向上、向下等)，来执行。采样效率定义为单位时间内可充分取样的体积量。
另外地或可替代地，步骤242可以通过使用体密度(例如，如上所述，通过在3D空间上维护体密度函数)或一些其他采样状态指示符以向用户提供具有指示采样进度的详细水平的实时3D渲染，来执行。这可以通过使欠采样区域模糊来实现，而充分采样区域可以具有更高的分辨率，或者可替代地，通过使用颜色编码或一些其他视觉指示来帮助用户填充采样空间。
另外或可替代地，步骤242可以通过以3D模型显示的方式向用户反馈采样进度，来执行。例如，欠采样的椎骨可以具有与充分采样的椎骨不同的外观(颜色、分辨率等)，从而引导用户针对欠采样椎骨采集更多数据。
在步骤246中，跟踪治疗施加器116的3D位置。该步骤与步骤204相同或基本相同，除了被跟踪的对象是治疗施加器，例如针导向件或能够将能量导向目标的对象(例如，RF消融器、高强度聚焦超声(即，HIFU)元件)。对象跟踪系统112可以用于跟踪治疗施加器116的3D位置和取向。
在步骤250中，由用户输入(例如，借助诸如鼠标、触摸屏、键盘的用户接口，或其他用户接口)相对于3D图像结构的期望的治疗施加部位。一旦已经形成了3D合成图像(步骤218)、3D模型拟合(步骤230)、分析(步骤232)和/或用户注释(步骤138)，用户就可以指示应当施加治疗的位置、线、区域和/或体积。用于指示施加治疗的位置的方法的一些实例包括：(1)指向目标、区域或小体积以指示针尖目标；(2)指向目标、区域或小体积以指示针插入点目标；(3)描绘指向、针的插入角度和/或最终针尖目标的线；和/或(4)应当施加麻醉或能量治疗的体积或区域。
在步骤254中，向用户显示以下中的一个或多个的组合(例如，在显示器140和/或任选的治疗施加器显示器118上(其被布置在任选的治疗施加器116上或集成在任选的治疗施加器116中)：人类受试者(或其部分，比如相关的解剖区域)、设备操作者(或其部分，比如操作者的手臂或手)、超声换能器/探头104(或其部分，比如超声探头104的尖端)、当前的(例如，瞬时采集的)超声图像帧。2D荧光镜样骨结构图像、2D或3D深度编码的合成骨结构图像、3D合成骨结构图像、骨结构的3D模型、需要额外扫描数据的骨结构的定位、从3D图像或模型计算的分析，治疗施加器的当前位置、用于将治疗施加器导航到期望位置的方向指示、潜在治疗场的描绘、基准标记和/或用户注释。
如果先前已经指定了适当的治疗施加轨迹，则这可以显示为用于为治疗进行导航的方向指示符，例如显示适当针轨迹、皮肤进入点和/或最终针目标点的线段的图形，以及诸如针角度误差(方位角和/或仰角)、针尖端到目标尖端定位的距离和/或治疗剂(例如，麻醉、定向能量施加等)的预计有效区域的分析。用于治疗施加器的当前目标轨迹也可以以这样的意图示出，即两个线段(例如，适当的针轨迹和当前目标轨迹)应当最终匹配。还可以实时突出显示当前治疗施加器将与之相交的骨或其他解剖结构的区域。该显示的实例在图7中示出。
在一些实施例中，显示器可以显示(a)当前或瞬时采集的二维超声图像帧和(b)治疗施加器在其当前位置和当前取向的潜在治疗场的相互对准。
在具有任意和/或可定制透明度的所有情况下，当前超声图像帧，例如具有任选的骨增强的2D图像，可以以超声扫描平面的正确取向和平面显示在3D图像中，或者可替代地，显示为在3D场景中任意的用户可设置的定位处的平面图像。如果治疗施加器116(例如，针、RF消融针等)与2D超声图像相交，则可以在关于3D体积和超声平面的正确取向上特定地检测和渲染治疗施加器116。此外，如果注射物从针中排出，并且如果2D超声平面与注射物的路径相交，则可以在关于3D体积和超声平面的正确取向上检测和渲染该注射物。如果使用能量治疗设备(例如，RF消融或HIFU)而不是针，则可以类似地渲染设备的能量场(例如，能量效果的预期空间范围)。潜在治疗场可以包括注射物的预期路径以及来自能量治疗设备的能量效果的预期空间范围。需要额外扫描数据的定位(如在步骤242中)可以显示在它们在3D域中的实际定位，特别是如果使用虚拟现实头盔，需要额外扫描的区域可以直观地显示为叠加在人类受试者的实际图像上的增强显示。
如果超声探头具有附接的显示器(例如，任选的探头显示器108)，且/或如果任选的治疗施加器具有附接的显示器(例如，任选的治疗施加器显示器118)，则这些屏幕中的任一者或两者可以用于实时地、单独地、或在外部2D或虚拟现实显示器之外附加地显示上述2D和/或3D数据中的任一者。附接的显示器还可以用于显示与超声探头104的相对定位以及目标定位有关的信息。如果使用虚拟现实头盔，则可以在3DVR空间中产生一个或多个虚拟2D显示，它们可以相对于头盔、和/或探头、或在3D空间中静态地放置。
图8是潜在治疗场与治疗部位对准的二维显示80。在显示80中，自动检测治疗施加器800被示出为朝向目标解剖特征810(例如，骨表面、器官等)延伸。使用本文所述的本发明的方面，系统自动地确定治疗施加器800的位置和取向(例如，使用对象跟踪系统112)以及骨解剖结构的三维定位(例如，如以上关于流程图20所讨论的)比如脊柱中线820，其可用作解剖参考平面(即，脊柱中线820不作为物理解剖结构的一部分存在，而是作为关于物理解剖特征的参考的假想线)。当治疗施加器800的潜在治疗场805与目标解剖特征810对准时，如图8所示，系统可以提供这种对准的视觉和/或听觉指示(例如，通过改变目标解剖特征810的颜色、闪光、产生声音等)。
实例A——硬膜外麻醉手术的引导
在该实例中，目的是将Tuohy针引导到患者的腰椎中的硬膜外腔中，用于放置导管以提供持久的麻醉。目前的护理标准是触诊脊柱解剖结构以识别椎间空间并插入针，接着是“阻力消失”技术，其中使用注射器来感测当针到达目标硬膜外腔时的压力减小。为了改善该过程的准确度，用户可以使用带有附接的屏幕108的超声探头104来扫描患者，同时由对象跟踪系统112跟踪探头。当用户进行扫描时，编制(步骤218)骨增强(步骤214)的3D合成图像，计算中间3D模型拟合(步骤230)和扫描密度充分性的指示(步骤242)，所有这些实时地以3D显示(步骤254)在显示器140(例如，膝上型计算机显示器、外部显示器、虚拟现实头盔等)和/或任选的探头显示器108上。扫描密度指示使用色码，当区域中的扫描具有足够密度时，以蓝色(或其他颜色)的程度突出显示目标解剖结构。
任选地，可以创建并跟踪(步骤226)一个或多个基准124，例如，当探头尖端与左右骨盆末端和/或臀内裂口上方的骨突起重合时，通过超声探头上的用户接口交互。这些基准124将被添加到显示器140和/或任选的治疗施加器显示器118上的组合图像(步骤254)。
一旦已经在目标解剖结构(例如，腰椎)上实现了足够水平的扫描密度，则3D模型拟合(步骤230)可以识别腰椎骨，其中椎间空间突出显示，连同基于3D拟合的分析(步骤238)，比如椎间空间尺寸、到每个候选腰椎间空间处的硬膜外腔的适当针轨迹、到硬膜外腔的深度以及每个针轨迹的到骨表面的最小间隙。图4是带有分析的示例性3D脊柱模型或示例性3D脊柱数据的显示40，其叠加基于3D脊柱模型的脊柱分析，用于引导硬膜外注射。尽管以二维示出了显示40，但是应当注意，显示40也可以以三维示出相同的信息。
图5示出了根据一个或多个实施例的用于沿着适当的、符合要求的、用户选择的或自动选择的针轨迹500(总得来说，“适当的针轨迹”)引导针的显示50。在一些实施例中，适当的针轨迹500是向目标治疗部位递送治疗所需的后续和/或将来的针轨迹。用户可以使用显示器140和/或任选的治疗施加器显示器118以及该手术的特定分析(例如，图4中所示的分析)来识别适当的针轨迹500。例如，在当前治疗施加器116的位置处，可以显示分析，比如其下方的椎骨(例如，L1至L5)、到脊柱中线的横向距离和/或硬膜外腔深度530。尽管以二维示出了显示50，但是应当注意，显示50也可以以三维示出相同的信息。
一旦已经识别出适当的针轨迹500，可以使用被跟踪的治疗施加器116(在步骤246中被跟踪)将针510引导到期望的适当的针轨迹500。当治疗施加器116(在这种情况下，被跟踪的针引导件516)移动时，当前(或预计的)针轨迹520可以显示在显示50(其可以包括显示器140和/或任选的治疗施加器显示器118)上(在步骤254中)，包括当前皮肤进入点522和当前(或预计的)针结束点524。显示50还示出了适当的针轨迹500，包括适当的皮肤进入点502和适当的针结束点504。显示这些数据和图像可以帮助操作者移动和/或定向治疗施加器116，从而实现适当的针轨迹500。在一些实施例中，显示50可以包括箭头，该箭头指示平移和/或旋转治疗施加器116以使当前针轨迹520与适当的针轨迹500对准的方向。例如，显示50可以包括第一箭头540和第二箭头550，第一箭头540指示平移治疗施加器116以实现适当的针轨迹500的方向，第二箭头550指示旋转治疗施加器116以实现适当的针轨迹500的方向。每个箭头540、550可以被区别着色或显示以避免对用户造成混淆。可以提供更多或更少的箭头(例如，基于当前针轨迹520与适当针轨迹500未对准的维度的数量)。在于2018年1月8日提交的标题为“System and Method for Angular Alignment of a Probe at aTarget Location(用于在目标定位处对探头进行角度对准的系统和方法)”的美国专利申请第15/864,395号中公开了用于将探头与目标探头角度进行角度对准的系统和方法的实例，该申请通过引用结合于此。
此时，传统的阻力消失技术可以用于针插入。任选地，如果机械上可能的话，治疗施加器116可以跟踪针的远端，从而利用来自膝上型计算机的视觉和/或听觉反馈来实时跟踪针插入深度。治疗施加器116可以以几种方式跟踪针的末端。一种方式是，如果治疗施加器116的位置和取向已知，并且针是刚性的(不会弯曲)，则使用几何学来计算针尖位置。
任选地，在手术的一些或全部的部分中，可以使用虚拟现实头盔作为显示器140(或者在显示器140以外附加)。在进行3D扫描的过程中，可以使用头戴式相机来显示探头和患者，连同步骤254的超声图像平面和其他方面。在施加治疗期间，用户可以使用VR头盔通过围绕治疗施加器116移动他们的头部来以任何角度观察预计的和适当的针轨迹。可以在场景周围放置各种虚拟抬头显示器，以提供所需的任何种类的手术反馈。
应当注意，超声探头104和/或治疗施加器116可以基于来自用户的直接输入或基于本文提供的信息通过算法借助机器(比如机器人致动器)来定位。例如，机器人，而不是人类用户，可以基于该技术的输出自动地将治疗施加器116移动到被认为适于到达期望目标的定位。
实例B——用于疾病状态评估的脊柱解剖结构分析
在该实例中，目的是扫描患者以建立他/她的脊柱解剖结构的3D模型，以使其可视化而无需电离辐射(例如，X射线、CT扫描等)或昂贵的手术(例如，MRI)。可以使用3D脊柱模型来提取分析并评估疾病状态的存在或程度。该技术的一个示例性用途是诊断或跟踪青少年脊柱侧凸的进展。目前此类诊断的主要手段是X射线成像。然而，不希望将儿童反复地暴露于X射线，并且一线护理提供者可能不容易获取X射线机器，而是使用准确度有限的其他方法(例如，测量外部脊柱成角)。因此，如本实例中所述的廉价的精确脊柱分析系统将是对当前护理标准的改进。
在该实施方式中，为了建立3D脊柱解剖结构模型，主处理单元136(例如，诸如膝上型计算机的计算机)将指导用户将超声探头104移动到骶骨并且在那里开始以骨增强模式进行扫描(步骤214)。在扫描的同时，用户将看到在显示器140(例如，计算机/膝上型显示器)和/或任选的探头显示器108上实时建立的3D合成图像(步骤218)和3D中间模型(步骤230)，连同扫描密度的指示(步骤242)。一旦在骶骨附近已经建立了足够的扫描密度，计算机就指导用户向上移动到最低的椎骨L5并扫描它。同样的，一旦已经建立了足够的扫描密度，用户将被引导到下一个椎骨L4，以此类推，直到已经扫描了符合要求的一定数目的椎骨。
此时，3D合成图像(步骤218)对于待开发的全脊柱3D模型(步骤230)应该是足够的，连同与脊柱相关的分析(步骤238)。与全脊柱模型相关的分析可以包括相对椎骨位置、椎间间距、一个或多个轴上的脊柱曲率度量。此外，可以并入来自先前随时间扫描的数据，以显示随时间的脊柱变化和疾病状态的进展。
现在，显示器140和/或任选的探头显示器108可以用于显示3D空间中的组合脊柱模型，连同从其导出的分析，并且任选地显示包括先前扫描产生的模型的动画，和/或已经随时间变化的由分析导出的度量的发展。
如果虚拟现实头盔可用，则其可在本实例的任何或所有阶段期间使用(例如，作为显示器140或者在显示器140以外附加)。首先，在扫描期间，除了合成3D图像(步骤218)、3D模型(步骤230)以及关于步骤254中列出的和/或以上关于步骤254所讨论的3D显示的其他部分之外，头盔可以使用面向前方的相机130以使用户在扫描期间看到患者的后背。在该阶段期间，虚拟现实显示器还可以突出显示已经扫描过的椎骨，以及下一个待扫描椎骨的可能位置，并以其他方式引导扫描进程。一旦扫描完成，用户可以通过在患者周围走动来从任意角度观察全3D显示(在步骤254中显示)，其中解剖结构显示在患者“内部”。此外，患者可以观察用户所看到的，和/或在扫描之后观察虚拟现实环境中的脊柱扫描，连同其他先前的扫描，包括随时间的动画和/或分析信息的注释。
该与骨解剖结构的3D分析相关的诊断疾病状态的一般方法可以通过执行两次或更多次扫描来扩展，由此对于后续扫描，要求患者被要求进行一定范围的运动(例如，后背伸展或向前弓身)。两次或更多次扫描可以用于评估骨解剖结构能够进行的运动范围，并且可以用作历史记录的一部分以评估疾病状态进展和/或提供对各种治疗的效果的反馈。
实例C——以标准格式记录3D形式的骨解剖结构以供后续回顾。
在该实例中，目的是扫描患者以建立骨和其他解剖结构的3D模型，并保存该扫描信息以供后续回顾，可能由不同的人并且可能在不同的地点进行该方法的优点在于，技术人员可以通过扫描患者来获得解剖结构模型，而一个或多个医术高超的医学专家后续可以在任何地点交互地理解该模型数据。如果解剖结构模型数据以标准体积、表面或其他格式存储，例如由医学数字成像和通信(DICOM)标准提供的那些(可在http://www.dicomstandard.org/获得)，则数据的任何用户可以使用现有的或新的工具来浏览数据、发送数据以及存储数据，例如使用PACS系统(图像归档和传输系统)。
由于数据集本质上是3D的，所以虚拟现实系统可以容易地用于导航数据、控制分析和显示，以及注释数据。可替代地，可与使用非VR工具来研究和注释数据。在一个可能的变型中，多个用户可以使用用于协作医学分析的网络通信来实时地查看、注释和控制显示的3D数据。该实例类似于回波-心脏病学超声的工作流程，其中声谱仪操作者从心脏扫描收集大量数据，心脏病专家稍后使用PACS系统和标准工具对此进行检查。同样，技术人员可以使用具有本公开中描述的骨增强技术和3D位置跟踪的超声系统来从患者获得3D解剖结构模型，然后矫形外科或其他医疗专家可以使用PACS系统来分析和检查数据。
说明性实施例的实例
实例1.一种超声成像和治疗引导系统，包括：超声探头，其生成经位置调整的超声束以采集人类受试者体内的骨解剖结构的三维图像数据；对象跟踪器，其配置为检测超声探头的当前位置和当前取向；治疗施加器，其用于向人类受试者递送治疗；机械装置，其耦接至超声探头和治疗施加器，以设置治疗施加器关于超声探头的预定相对位置；处理器；非瞬态计算机存储器，其以能够操作的方式耦接至处理器。非瞬态存储器包括计算机可读指令，计算机可读指令使处理器：至少部分地基于三维图像数据和超声探头的当前位置和当前取向来检测三维骨表面定位的位置和取向；自动地检测相对于三维骨表面定位的目标治疗部位；确定治疗施加器向目标治疗部位递送治疗所需的适当位置和适当取向；以及生成显示数据。该系统还包括显示器，其与处理器电气通信，该显示器基于显示数据生成图像，图像包括：三维骨表面定位的指示；瞬间采集的二维超声图像帧，其与处于治疗施加器的当前位置和当前取向的治疗施加器的潜在治疗场相互对准；相对于三维骨表面定位的目标治疗部位的指示；以及图形指示符，其指示目标治疗部位和潜在治疗场是否对准。
实例2.如实例1所述的系统，其中，计算机可读指令还使处理器使用神经网络自动地检测相对于三维骨表面定位的目标治疗部位。
实例3.如实例1或2所述的系统，其中，计算机可读指令还使处理器通过将三维图像数据拟合到三维骨模型来检测三维骨表面定位的位置和取向。
实例4.如实例1至3中任一项所述的系统，其中，由显示器生成的图像还包括骨界标定位。
实例5.如实例1至4中任一项所述的系统，其中，计算机可读指令还使处理器使用三维骨模型来自动地检测目标治疗部位。
实例6.如实例1至4中任一项所述的系统，其中三维骨表面定位的指示被显示为带有第三维的二维骨表面图像，第三维被编码以表示沿着第三维的骨表面定位。
实例7.如实例6所述的系统，其中，第三维被图形化地编码以表示沿着第三维的骨表面定位。
实例8.如实例6或7所述的系统，其中，第三维被颜色编码以表示沿着第三维的骨表面定位。
实例9.如实例1至8中任一项所述的系统，其中，至少部分地基于治疗施加器关于超声探头的预定相对位置来确定治疗施加器的适当位置和适当取向。
实例10.如实例1至9中任一项所述的系统，其中，对象跟踪器配置为检测治疗施加器的当前位置和当前取向，并且至少部分地基于治疗施加器的当前位置和当前取向来确定治疗施加器的适当位置和适当取向。
实例11.如实例1至10中任一项所述的系统，其中，由显示器生成的图像还包括潜在治疗场的当前位置和当前取向。
实例12.如实例1至11中任一项所述的系统，其中，由显示器生成的图像还包括治疗施加器的当前位置和当前取向。
实例13.如实例1至12中任一项所述的系统，其中，由显示器生成的图像还包括从三维骨表面定位计算得到的骨解剖结构的尺寸和取向信息。
实例14.如实例1至13中任一项所述的系统，其中，治疗施加器包括针引导件、针、消融仪器和/或高强度聚焦超声换能器。
实例15.如实例1至14中任一项所述的系统，其中，目标治疗部位包括硬膜外腔、蛛网膜下腔或内侧分支神经。
实例16.如实例1至15中任一项所述的系统，其中，超声探头配置为由用户手动地进行位置调整。
实例17.如实例1至16中任一项所述的系统，其中，超声探头配置为通过机械机动化机构自动地进行位置调整。
实例18.如实例1至17中任一项所述的系统，其中，对象跟踪器包括感应式接近传感器。
实例19.如实例1至18中任一项所述的系统，其中，对象跟踪器包括超声图像处理电路。
实例20.如实例19所述的系统，其中，超声图像处理电路配置为通过比较三维图像数据中的顺序采集的超声图像来确定超声探头的当前位置的相对变化。
实例21.如实例1至20中任一项所述的系统，其中，对象跟踪器包括光学传感器。
实例22.如实例21所述的系统，其中，光学传感器包括固定的光学发射器和被光学传感器检测的扫频激光器，光学传感器布置在超声探头上。
实例23.如实例1至22中任一项所述的系统，其中，对象跟踪器包括集成的位置传感器。
实例24.如实例23所述的系统，其中，集成的位置传感器包括机电式电位计、线性可变差动变压器、感应式接近传感器、旋转编码器、增量编码器、加速度计和/或陀螺仪。
实例25.如实例1至25中任一项所述的系统，其中，三维骨表面定位包括三维脊柱骨定位。
实例26.如实例1至26中任一项所述的系统，其中，通过超声探头的机械移动和/或经位置调整的超声束的电转向来对经位置调整的超声束进行位置调整。
实例27.一种用于引导治疗施加器的方法，包括：对由超声探头产生的超声束在人类受试者身上进行位置调整，以采集人类受试者体内的骨解剖结构的三维图像数据；在对超声束进行位置调整的同时，使用对象跟踪器检测超声探头的当前位置和当前取向；至少部分地基于三维图像数据和超声探头的当前位置和当前取向来确定三维骨表面定位的位置和取向；自动地检测相对于三维骨表面定位的目标治疗部位；确定治疗施加器向目标治疗部位递送治疗所需的适当位置和适当取向；在与计算机电气通信的显示器上显示图像，图像包括：三维骨表面定位的指示；瞬间采集的二维超声图像帧，其与处于治疗施加器的当前位置和当前取向的治疗施加器的潜在治疗场相互对准；相对于三维骨表面定位的目标治疗部位的指示；以及图形指示符，其指示目标治疗部位和潜在治疗区域是否对准。
实例28.如实例27所述的方法，还包括：在计算机中使用神经网络来自动地检测相对于三维骨表面定位的目标治疗部位。
实例29.如实例27或28所述的方法，还包括：将三维图像数据拟合到三维骨模型。
实例30.如实例29所述的方法，还包括：使用三维骨模型确定三维骨表面的位置和取向。
实例31.如实例29或30所述的方法，还包括：使用三维骨模型来识别骨界标定位。
实例32.如实例31所述的方法，其中，图像包括骨界标定位。
实例33.如实例30至32中任一项所述的方法，还包括：使用三维骨模型来自动地检测目标治疗部位。
实例34.如实例27至33中任一项所述的方法，其中，三维骨表面定位的指示被显示为带有第三维的二维骨表面图像，第三维被编码以表示沿着第三维的骨表面定位。
实例35.如实例34所述的方法，还包括：对第三维进行图形化地编码以表示沿着第三维的骨表面定位。
实例36.如实例34或35所述的方法，还包括：对第三维进行颜色编码以表示沿着第三维的骨表面定位。
实例37.如实例27至36中任一项所述的方法，还包括：将耦接至超声探头的机械装置与治疗施加器机械地耦接，机械装置设置治疗施加器关于超声探头的预定相对位置。
实例38.如实例37所述的方法，还包括：至少部分地基于治疗施加器关于超声探头的预定相对位置来确定治疗施加器的适当位置和适当取向。
实例39.如实例27至38中任一项所述的方法，还包括：使用对象跟踪器检测治疗施加器的当前位置和当前取向；以及至少部分地基于治疗施加器的当前位置和当前取向来确定治疗施加器的适当位置和适当取向。
实例40.如实例27至39中任一项所述的方法，其中，图像还包括潜在治疗场的当前位置和当前取向。
实例41.如实例27至40中任一项所述的方法，其中，图像还包括治疗施加器的当前位置和当前取向。
实例42.如实例27至41中任一项所述的方法，其中，图像还包括从三维骨表面定位计算得到的骨解剖结构的尺寸和取向信息。
实例43.如实例27至42中任一项所述的方法，其中，治疗施加器包括针引导件、针、消融仪器和/或高强度聚焦超声换能器。
实例44.如实例27至43中任一项所述的方法，其中，目标治疗部位包括硬膜外腔、蛛网膜下腔或内侧分支神经。
实例45.如实例27至44中任一项所述的方法，其中，对超声束进行位置调整包括机械地移动超声探头。
实例46.如实例27至45中任一项所述的方法，还包括：使用机械机动化机构对超声探头进行位置调整。
实例47.如实例27至46中任一项所述的方法，其中，对超声束进行位置调整包括对超声束进行电子扫描。
实例48.如实例27至47中任一项所述的方法，其中，对象跟踪器包括感应式接近传感器。
实例49.如实例27至48中任一项所述的方法，其中，对象跟踪器包括超声图像处理电路。
实例50.如实例49所述的方法，还包括：使用超声图像处理电路，通过比较三维图像数据中的顺序采集的超声图像来确定超声探头的当前位置的相对变化。
实例51.如实例27至50中任一项所述的方法，其中，对象跟踪器包括光学传感器。
实例52.如实例51所述的方法，其中，光学传感器包括固定的光学发射器和被光学传感器检测的扫频激光器，光学传感器布置在超声探头上。
实例53.如实例27至52中任一项所述的方法，其中，对象跟踪器包括集成的位置传感器。
实例54.如实例53所述的方法，其中，集成的位置传感器包括机电式电位计、线性可变差动变压器、感应式接近传感器、旋转编码器、增量编码器、加速度计和/或陀螺仪。
实例55.如实例27至54中任一项所述的方法，其中，三维骨表面定位包括三维脊柱骨定位。
实例56.如实例27至55中任一项所述的方法，其中，使用对象跟踪器来检测超声探头的当前位置和当前取向。
实例57.如实例27至56中任一项所述的方法，还包括：采集多个超声探头定位处的骨解剖结构的二维超声图像数据；以及将二维超声图像数据和超声探头定位进行组合以形成三维图像数据。
实例58.如实例27至57中任一项所述的方法，其中，二维图像数据包括像素，并且该方法还包括基于超声探头定位来确定每个像素的三维位置。
实例59.如实例27至58中任一项所述的方法，还包括：执行骨增强处理以增强超声图像中的任何骨和/或骨特征。
实例60.如实例27至60中任一项所述的方法，还包括：接收用户接口事件；以及基于接收到用户接口事件的时间来记录超声探头的基准位置。
这些非限制性实例可以以任意组合或排列来组合。
因此已经描述了本发明的几个方面和实施例，应当理解，本领域的普通技术人员将容易想到各种改变、修改和改进。这样的改变、修改和改进意图落入本申请中描述的本发明的精神和范围内。例如，本领域的普通技术人员将容易想到用于执行本文所述的功能和/或获得本文所述的结果和/或一个或多个优点的各种其他手段和/或结构，并且这些变化和/或修改中的每一个都被认为落入本文所述的实施方案的范围内。
本领域的技术人员将了解本文中所述的特定实施例的许多等效方案。因此，应当理解，前述实施例仅以实例的方式呈现，且发明实施例可以不同于具体描述的方式实践。此外，如果本文所述的两个或更多个特征、系统、物品、材料、套件和/或方法不相互矛盾，那么这些特征、系统、物品、材料、套件和/或方法的任意组合都包括在本公开的范围内。
上述实施例可以以多种方式实现。涉及执行过程或方法的本申请的一个或多个方面和实施例可以利用可由设备(例如，计算机、硬件处理器或其他设备)执行的程序指令来执行或控制过程或方法的执行。
在这方面，各种发明构思可以体现为编码有一个或多个程序的非瞬态计算机存储器和/或非瞬态计算机可读存储介质(或多种非瞬态计算机可读存储介质)(例如，计算机存储器、一种或多种软盘、光盘、光碟、磁带、闪存、现场可编程门阵列或其他半导体器件中的电路结构，或其他有形计算机存储介质)，上述一个或多个程序当在一个或多个计算机或其他处理器上被执行时执行实现上述各种实施例中的一个或多个的方法。
计算机可读介质可以是可运输的，使得存储在其上的一个或多个程序可以被加载到一个或多个不同的计算机或其他处理器上，以实现上述各方面中的一个或多个。在一些实施例中，计算机可读介质可以是非瞬态介质。该非瞬态计算机存储器或介质可以可操作地联接到硬件处理器上并且可以包括用于执行本发明的一个或多个方面的指令。
术语“程序”、“软件”、“应用程序”和“应用”在本文中在一般意义上用于指代可用于对计算机或其他处理器进行编程以实施上文所描述的各个方面的任何类型的计算机代码或计算机可执行指令集。另外，应当理解，根据一个方面，在被执行时执行本申请的方法的一个或多个计算机程序不必驻留在单个计算机或处理器上，而是可以以模块化方式分布在多个不同的计算机或处理器中以实现本C的各个方面
计算机可执行指令可以是由一个或多个计算机或其他设备执行的许多形式，比如程序模块。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。在各种实施例中，程序模块的功能可以根据需要组合或分布。
此外，数据结构可以以任何合适的形式存储在计算机可读介质中。为了简化说明，数据结构可以被示为具有通过数据结构中的位置而相关的字段。这样的关系同样可以通过为字段分配其在计算机可读介质中的位置传递字段之间关系的存储来实现。然而，可使用任何合适的机制来建立数据结构的字段中的信息之间的关系，包括通过使用指针、标签或建立数据元素之间的关系的其他机制。
同样，如所描述的，一些方面可实施为一个或多个方法。作为方法的一部分执行的动作可以按任何合适的方式来排序。因此，可以构造这样的实施例，其中以不同于所示的顺序执行动作，这可以包括同时执行一些动作，即使在说明性实施例中示出为顺序的动作。

Claims (60)

1.一种超声成像和治疗引导系统，包括：
超声探头，其生成经位置调整的超声束以采集人类受试者体内的骨解剖结构的三维图像数据；
对象跟踪器，其配置为检测所述超声探头的当前位置和当前取向；
治疗施加器，其用于向所述人类受试者递送治疗；
机械装置，其耦接至所述超声探头和所述治疗施加器，以设置所述治疗施加器关于所述超声探头的预定相对位置；
处理器；
非瞬态计算机存储器，其以能够操作的方式耦接至所述处理器，所述非瞬态存储器包括计算机可读指令，所述计算机可读指令使所述处理器：
至少部分地基于所述三维图像数据和所述超声探头的所述当前位置和所述当前取向来检测三维骨表面定位的位置和取向；
自动地检测相对于所述三维骨表面定位的目标治疗部位；
确定所述治疗施加器向所述目标治疗部位递送所述治疗所需的适当位置和适当取向；以及
生成显示数据；
显示器，其与所述处理器电气通信，所述显示器基于所述显示数据生成图像，所述图像包括：
所述三维骨表面定位的指示；
瞬间采集的二维超声图像帧，其与处于所述治疗施加器的当前位置和当前取向的所述治疗施加器的潜在治疗场相互对准；
相对于所述三维骨表面定位的所述目标治疗部位的指示；以及
图形指示符，其指示所述目标治疗部位和所述潜在治疗场是否对准。
2.如权利要求1所述的系统，其中，所述计算机可读指令还使所述处理器使用神经网络自动地检测相对于所述三维骨表面定位的所述目标治疗部位。
3.如权利要求1所述的系统，其中，所述计算机可读指令还使所述处理器通过将所述三维图像数据拟合到三维骨模型来检测所述三维骨表面定位的所述位置和所述取向。
4.如权利要求3所述的系统，其中，由所述显示器生成的图像还包括骨界标定位。
5.如权利要求3所述的系统，其中，所述计算机可读指令还使所述处理器使用所述三维骨模型来自动地检测所述目标治疗部位。
6.如权利要求1所述的系统，其中，所述三维骨表面定位的指示被显示为带有第三维的二维骨表面图像，所述第三维被编码以表示沿着所述第三维的骨表面定位。
7.如权利要求6所述的系统，其中，所述第三维被图形化地编码以表示沿着所述第三维的所述骨表面定位。
8.如权利要求7所述的系统，其中，所述第三维被颜色编码以表示沿着所述第三维的所述骨表面定位。
9.如权利要求1所述的系统，其中，至少部分地基于所述治疗施加器关于所述超声探头的所述预定相对位置来确定所述治疗施加器的所述适当位置和所述适当取向。
10.如权利要求1或9所述的系统，其中：
所述对象跟踪器配置为检测所述治疗施加器的所述当前位置和所述当前取向，并且
至少部分地基于所述治疗施加器的所述当前位置和所述当前取向来确定所述治疗施加器的所述适当位置和所述适当取向。
11.如权利要求1所述的系统，其中，由所述显示器生成的所述图像还包括所述潜在治疗场的当前位置和当前取向。
12.如权利要求1所述的系统，其中，由所述显示器生成的所述图像还包括所述治疗施加器的所述当前位置和所述当前取向。
13.如权利要求1所述的系统，其中，由所述显示器生成的所述图像还包括从所述三维骨表面定位计算得到的所述骨解剖结构的尺寸和取向信息。
14.如权利要求1所述的系统，其中，所述治疗施加器包括针引导件、针、消融仪器和/或高强度聚焦超声换能器。
15.如权利要求1所述的系统，其中，所述目标治疗部位包括硬膜外腔、蛛网膜下腔或内侧分支神经。
16.如权利要求1所述的系统，其中，所述超声探头配置为由用户手动地进行位置调整。
17.如权利要求1所述的系统，其中，所述超声探头配置为通过机械机动化机构自动地进行位置调整。
18.如权利要求1所述的系统，其中，所述对象跟踪器包括感应式接近传感器。
19.如权利要求1所述的系统，其中，所述对象跟踪器包括超声图像处理电路。
20.如权利要求19所述的系统，其中，所述超声图像处理电路配置为通过比较所述三维图像数据中的顺序采集的超声图像来确定所述超声探头的所述当前位置的相对变化。
21.如权利要求1所述的系统，其中，所述对象跟踪器包括光学传感器。
22.如权利要求21所述的系统，其中，所述光学传感器包括固定的光学发射器和被所述光学传感器检测的扫频激光器，所述光学传感器布置在所述超声探头上。
23.如权利要求1所述的系统，其中，所述对象跟踪器包括集成的位置传感器。
24.如权利要求23所述的系统，其中，所述集成的位置传感器包括机电式电位计、线性可变差动变压器、感应式接近传感器、旋转编码器、增量编码器、加速度计和/或陀螺仪。
25.如权利要求1所述的系统，其中，所述三维骨表面定位包括三维脊柱骨定位。
26.如权利要求1所述的系统，其中，通过所述超声探头的机械移动和/或所述经位置调整的超声束的电转向来对所述经位置调整的超声束进行位置调整。
27.一种用于引导治疗施加器的方法，包括：
对由超声探头产生的超声束在人类受试者身上进行位置调整，以采集人类受试者体内的骨解剖结构的三维图像数据；
在对所述超声束进行位置调整的同时，使用对象跟踪器检测所述超声探头的当前位置和当前取向；
至少部分地基于所述三维图像数据和所述超声探头的所述当前位置和所述当前取向来确定三维骨表面定位的位置和取向；
自动地检测相对于所述三维骨表面定位的目标治疗部位；
确定所述治疗施加器向所述目标治疗部位递送治疗所需的适当位置和适当取向；
在与计算机电气通信的显示器上显示图像，所述图像包括：
所述三维骨表面定位的指示；
瞬间采集的二维超声图像帧，其与处于所述治疗施加器的当前位置和当前取向的所述治疗施加器的潜在治疗场相互对准；
相对于所述三维骨表面定位的所述目标治疗部位的指示；以及
图形指示符，其指示所述目标治疗部位和所述潜在治疗场是否对准。
28.如权利要求27所述的方法，还包括：在计算机中使用神经网络来自动地检测相对于所述三维骨表面定位的所述目标治疗部位。
29.如权利要求27所述的方法，还包括：将所述三维图像数据拟合到三维骨模型。
30.如权利要求29所述的方法，还包括：使用所述三维骨模型确定所述三维骨表面的所述位置和所述取向。
31.如权利要求30所述的方法，还包括：使用所述三维骨模型来识别骨界标定位。
32.如权利要求31所述的方法，其中，所述图像包括所述骨界标定位。
33.如权利要求30所述的方法，还包括：使用所述三维骨模型来自动地检测所述目标治疗部位。
34.如权利要求27所述的方法，其中，所述三维骨表面定位的指示被显示为带有第三维的二维骨表面图像，所述第三维被编码以表示沿着所述第三维的骨表面定位。
35.如权利要求34所述的方法，还包括：对所述第三维进行图形化地编码以表示沿着所述第三维的所述骨表面定位。
36.如权利要求35所述的方法，还包括：对所述第三维进行颜色编码以表示沿着所述第三维的所述骨表面定位。
37.如权利要求27所述的方法，还包括：将耦接至所述超声探头的机械装置与所述治疗施加器机械地耦接，所述机械装置设置所述治疗施加器关于所述超声探头的预定相对位置。
38.如权利要求37所述的方法，还包括：至少部分地基于所述治疗施加器关于所述超声探头的所述预定相对位置来确定所述治疗施加器的所述适当位置和所述适当取向。
39.如权利要求27或38所述的方法，还包括：
使用所述对象跟踪器检测所述治疗施加器的所述当前位置和所述当前取向；以及
至少部分地基于所述治疗施加器的所述当前位置和所述当前取向来确定所述治疗施加器的所述适当位置和所述适当取向。
40.如权利要求27所述的方法，其中，所述图像还包括所述潜在治疗场的当前位置和当前取向。
41.如权利要求27所述的方法，其中，所述图像还包括所述治疗施加器的所述当前位置和所述当前取向。
42.如权利要求27所述的方法，其中，所述图像还包括从所述三维骨表面定位计算得到的所述骨解剖结构的尺寸和取向信息。
43.如权利要求27所述的方法，其中，所述治疗施加器包括针引导件、针、消融仪器和/或高强度聚焦超声换能器。
44.如权利要求27所述的方法，其中，所述目标治疗部位包括硬膜外腔、蛛网膜下腔或内侧分支神经。
45.如权利要求27所述的方法，其中，对所述超声束进行位置调整包括机械地移动所述超声探头。
46.如权利要求27所述的方法，还包括：使用机械机动化机构对所述超声探头进行位置调整。
47.如权利要求27所述的方法，其中，对所述超声束进行位置调整包括对所述超声束进行电子扫描。
48.如权利要求27所述的方法，其中，所述对象跟踪器包括感应式接近传感器。
49.如权利要求27所述的方法，其中，所述对象跟踪器包括超声图像处理电路。
50.如权利要求49所述的方法，还包括：使用所述超声图像处理电路，通过比较所述三维图像数据中的顺序采集的超声图像来确定所述超声探头的所述当前位置的相对变化。
51.如权利要求27所述的方法，其中，所述对象跟踪器包括光学传感器。
52.如权利要求51所述的方法，其中，所述光学传感器包括固定的光学发射器和被所述光学传感器检测的扫频激光器，所述光学传感器布置在所述超声探头上。
53.如权利要求27所述的方法，其中，所述对象跟踪器包括集成的位置传感器。
54.如权利要求53所述的方法，其中，所述集成的位置传感器包括机电式电位计、线性可变差动变压器、感应式接近传感器、旋转编码器、增量编码器、加速度计和/或陀螺仪。
55.如权利要求27所述的方法，其中，所述三维骨表面定位包括三维脊柱骨定位。
56.如权利要求27所述的方法，其中，使用所述对象跟踪器来检测所述超声探头的所述当前位置和所述当前取向。
57.如权利要求27所述的方法，还包括：
采集多个超声探头定位处的所述骨解剖结构的二维超声图像数据；以及
将所述二维超声图像数据和所述超声探头定位进行组合以形成所述三维图像数据。
58.如权利要求57所述的方法，其中，所述二维图像数据包括像素，并且所述方法还包括基于所述超声探头定位来确定每个像素的三维位置。
59.如权利要求27所述的方法，还包括：执行骨增强处理以增强所述超声图像中的任何骨和/或骨特征。
60.如权利要求27所述的方法，还包括：
接收用户接口事件；以及
基于接收到所述用户接口事件的时间来记录所述超声探头的基准位置。
CN201980007715.0A 2018-01-08 2019-01-08 超声图像数据的三维成像和建模 Pending CN111655160A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862614559P 2018-01-08 2018-01-08
US62/614,559 2018-01-08
PCT/US2019/012622 WO2019136412A1 (en) 2018-01-08 2019-01-08 Three-dimensional imaging and modeling of ultrasound image data

Publications (1)

Publication Number Publication Date
CN111655160A true CN111655160A (zh) 2020-09-11

Family

ID=67144004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007715.0A Pending CN111655160A (zh) 2018-01-08 2019-01-08 超声图像数据的三维成像和建模

Country Status (5)

Country Link
US (1) US11504095B2 (zh)
EP (1) EP3737295A4 (zh)
JP (1) JP7277967B2 (zh)
CN (1) CN111655160A (zh)
WO (1) WO2019136412A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289416A (zh) * 2020-12-18 2021-01-29 南京佗道医疗科技有限公司 一种引导针置入精度评价方法
CN113317876A (zh) * 2021-06-07 2021-08-31 上海盼研机器人科技有限公司 一种基于增强现实的颅颌面骨折修复导航系统
TWI782538B (zh) * 2021-05-24 2022-11-01 廣達電腦股份有限公司 口腔掃描裝置和方法
CN116128940A (zh) * 2023-01-13 2023-05-16 北京医准智能科技有限公司 一种肋骨骨折检出假阳性的抑制方法、装置及设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6704510B2 (ja) * 2017-03-29 2020-06-03 富士フイルム株式会社 光音響画像生成装置
US11638611B2 (en) * 2019-05-03 2023-05-02 Board Of Regents, The University Of Texas System Systems and methods for locating an inserted catheter tip
CN112862944B (zh) * 2019-11-09 2024-04-12 无锡祥生医疗科技股份有限公司 人体组织超声建模方法、超声设备及存储介质
US20210161612A1 (en) * 2019-12-03 2021-06-03 Mediview Xr, Inc. Holographic augmented reality ultrasound needle guide for insertion for percutaneous surgical procedures
US20210219947A1 (en) * 2020-01-16 2021-07-22 Tissue Differentiation Intelligence, Llc Intraoperative Ultrasound Probe System and Related Methods
WO2022015672A1 (en) * 2020-07-13 2022-01-20 Douglas Robert Edwin A method and apparatus for generating a precision sub-volume within three-dimensional image datasets
US20220087638A1 (en) * 2020-09-18 2022-03-24 B-K Medical Aps Image Fusion-Based Tracking without a Tracking Sensor
FR3124072B1 (fr) * 2021-06-16 2023-10-20 Quantum Surgical Robot équipé d’une sonde échographique pour le guidage temps-réel d’interventions percutanées

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009195613A (ja) * 2008-02-25 2009-09-03 Toshiba Corp 超音波診断装置及、超音波画像処理装置及び超音波画像処理プログラム
WO2011094585A1 (en) * 2010-01-29 2011-08-04 University Of Virginia Ultrasound for locating anatomy or probe guidance
US20140005542A1 (en) * 2012-06-21 2014-01-02 Rivanna Medical, LLC Target region identification for imaging applications
US20140046186A1 (en) * 2011-04-26 2014-02-13 University Of Virginia Patent Foundation Bone surface image reconstruction using ultrasound
US20150320478A1 (en) * 2014-05-06 2015-11-12 Chenes Llc Electrosurgical generator
US20160007956A1 (en) * 2013-02-28 2016-01-14 Rivanna Medical Llc Localization of Imaging Target Regions and Associated Systems and Devices
US20160022308A1 (en) * 2013-03-13 2016-01-28 The University Of British Columbia Apparatus, system and method for imaging a medical instrument
US20160374644A1 (en) * 2015-06-25 2016-12-29 Rivanna Medical Llc Ultrasonic Guidance of a Probe with Respect to Anatomical Features
US20170020626A1 (en) * 2012-04-30 2017-01-26 Christopher Schlenger Ultrasonic systems and methods for examining and treating spinal conditions
US20170202624A1 (en) * 2014-06-08 2017-07-20 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery utilizing a touch screen

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69131837T2 (de) * 1990-08-17 2000-06-29 Arc Second Inc Räumliche Positionierungsvorrichtung
US5329496A (en) 1992-10-16 1994-07-12 Duke University Two-dimensional array ultrasonic transducers
US6012458A (en) 1998-03-20 2000-01-11 Mo; Larry Y. L. Method and apparatus for tracking scan plane motion in free-hand three-dimensional ultrasound scanning using adaptive speckle correlation
US6728394B1 (en) 2000-02-14 2004-04-27 Siemens Medical Solutions Usa, Inc. Dynamic measurement of object parameters
US6419633B1 (en) 2000-09-15 2002-07-16 Koninklijke Philips Electronics N.V. 2D ultrasonic transducer array for two dimensional and three dimensional imaging
KR20030058423A (ko) * 2001-12-31 2003-07-07 주식회사 메디슨 중재적 초음파를 사용하는 3 차원 초음파 진단 시스템에서검침 도구의 관찰 및 이의 대상체로의 진입을 용이하게하기 위한 방법 및 장치
US6774624B2 (en) 2002-03-27 2004-08-10 Ge Medical Systems Global Technology Company, Llc Magnetic tracking system
US9895135B2 (en) * 2009-05-20 2018-02-20 Analogic Canada Corporation Freehand ultrasound imaging systems and methods providing position quality feedback
US8900146B2 (en) * 2009-07-27 2014-12-02 The Hong Kong Polytechnic University Three-dimensional (3D) ultrasound imaging system for assessing scoliosis
US9277956B2 (en) * 2011-11-09 2016-03-08 Siemens Medical Solutions Usa, Inc. System for automatic medical ablation control
US10134125B2 (en) 2013-02-28 2018-11-20 Rivanna Medical Llc Systems and methods for ultrasound imaging
KR20150098119A (ko) 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
US10548564B2 (en) 2015-02-26 2020-02-04 Rivanna Medical, LLC System and method for ultrasound imaging of regions containing bone structure
CN116650106A (zh) * 2016-03-14 2023-08-29 穆罕默德·R·马赫福兹 用于无线超声跟踪和通信的超宽带定位
WO2019100212A1 (zh) * 2017-11-21 2019-05-31 深圳迈瑞生物医疗电子股份有限公司 用于规划消融的超声系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009195613A (ja) * 2008-02-25 2009-09-03 Toshiba Corp 超音波診断装置及、超音波画像処理装置及び超音波画像処理プログラム
CN101730505A (zh) * 2008-02-25 2010-06-09 株式会社东芝 超声波诊断装置、超声波图像处理装置以及记录超声波图像处理程序的存储媒体
WO2011094585A1 (en) * 2010-01-29 2011-08-04 University Of Virginia Ultrasound for locating anatomy or probe guidance
US20140046186A1 (en) * 2011-04-26 2014-02-13 University Of Virginia Patent Foundation Bone surface image reconstruction using ultrasound
US20170020626A1 (en) * 2012-04-30 2017-01-26 Christopher Schlenger Ultrasonic systems and methods for examining and treating spinal conditions
US20140005542A1 (en) * 2012-06-21 2014-01-02 Rivanna Medical, LLC Target region identification for imaging applications
US20160007956A1 (en) * 2013-02-28 2016-01-14 Rivanna Medical Llc Localization of Imaging Target Regions and Associated Systems and Devices
US20160022308A1 (en) * 2013-03-13 2016-01-28 The University Of British Columbia Apparatus, system and method for imaging a medical instrument
US20150320478A1 (en) * 2014-05-06 2015-11-12 Chenes Llc Electrosurgical generator
US20170202624A1 (en) * 2014-06-08 2017-07-20 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery utilizing a touch screen
US20160374644A1 (en) * 2015-06-25 2016-12-29 Rivanna Medical Llc Ultrasonic Guidance of a Probe with Respect to Anatomical Features

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289416A (zh) * 2020-12-18 2021-01-29 南京佗道医疗科技有限公司 一种引导针置入精度评价方法
TWI782538B (zh) * 2021-05-24 2022-11-01 廣達電腦股份有限公司 口腔掃描裝置和方法
CN113317876A (zh) * 2021-06-07 2021-08-31 上海盼研机器人科技有限公司 一种基于增强现实的颅颌面骨折修复导航系统
CN116128940A (zh) * 2023-01-13 2023-05-16 北京医准智能科技有限公司 一种肋骨骨折检出假阳性的抑制方法、装置及设备
CN116128940B (zh) * 2023-01-13 2023-08-15 北京医准智能科技有限公司 一种肋骨骨折检出假阳性的抑制方法、装置及设备

Also Published As

Publication number Publication date
US11504095B2 (en) 2022-11-22
JP2021510107A (ja) 2021-04-15
EP3737295A1 (en) 2020-11-18
EP3737295A4 (en) 2021-10-06
WO2019136412A1 (en) 2019-07-11
US20210045715A1 (en) 2021-02-18
JP7277967B2 (ja) 2023-05-19

Similar Documents

Publication Publication Date Title
US11504095B2 (en) Three-dimensional imaging and modeling of ultrasound image data
US11484365B2 (en) Medical image guidance
JP6828047B2 (ja) 画像誘導手術における透視撮像システムの姿勢推定及び較正のシステム及び方法
US7831096B2 (en) Medical navigation system with tool and/or implant integration into fluoroscopic image projections and method of use
US9320569B2 (en) Systems and methods for implant distance measurement
CN106999146B (zh) 具有自动图像呈现的超声成像系统
US7885441B2 (en) Systems and methods for implant virtual review
EP1947607A1 (en) A method and system for registering a 3D pre-acquiered image coordinates system with a medical positioning system coordinate system and with a 2D image coordinate system
US20080154120A1 (en) Systems and methods for intraoperative measurements on navigated placements of implants
JP2022504151A (ja) 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正
JP2018514352A (ja) 後期マーカー配置による融合イメージベース誘導のためのシステムおよび方法
JP6873647B2 (ja) 超音波診断装置および超音波診断支援プログラム
US10755453B2 (en) Image processing apparatus, image processing method, and ultrasound imaging apparatus having image processing unit
US20180303550A1 (en) Endoscopic View of Invasive Procedures in Narrow Passages
CN111970986A (zh) 用于执行术中指导的系统和方法
CN113316429A (zh) 用于在坐标系之间配准和导航的系统和方法
KR101993384B1 (ko) 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
CN109833092A (zh) 体内导航系统和方法
JP7399982B2 (ja) 手術中の３次元可視化
US20230320700A1 (en) Apparatus and method for automatic ultrasound segmentation for visualization and measurement
CN116564149A (zh) 一种用于腰椎间孔穿刺的操作训练方法
CN111281534A (zh) 生成手术部位的三维模型的系统和方法
Jiang et al. Wearable Mechatronic Ultrasound-Integrated AR Navigation System for Lumbar Puncture Guidance
EP3024408B1 (en) Wrong level surgery prevention
Singla Intra-operative ultrasound-based augmented reality for laparoscopic surgical guidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination