CN117241757A - 放射导航的术中脊柱引导系统 - Google Patents

放射导航的术中脊柱引导系统 Download PDF

Info

Publication number
CN117241757A
CN117241757A CN202280032767.5A CN202280032767A CN117241757A CN 117241757 A CN117241757 A CN 117241757A CN 202280032767 A CN202280032767 A CN 202280032767A CN 117241757 A CN117241757 A CN 117241757A
Authority
CN
China
Prior art keywords
ultrasound
region
computer
surface representation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280032767.5A
Other languages
English (en)
Inventor
F·施瓦布
F·科萨勒克
V·拉法热
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Special Surgery Hospital Under New York Disability Assistance Association
Original Assignee
Special Surgery Hospital Under New York Disability Assistance Association
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Special Surgery Hospital Under New York Disability Assistance Association filed Critical Special Surgery Hospital Under New York Disability Assistance Association
Publication of CN117241757A publication Critical patent/CN117241757A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Vascular Medicine (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)

Abstract

方法包括访问对区域中的一个或多于一个身体结构的3D表面信息进行编码的超声数据，基于超声数据提取一个或多于一个身体结构的第一3D表面表示，访问进行该区域的非超声成像所获得的非超声成像数据；基于非超声成像数据来提取该一个或多于一个身体结构的第二3D表面表示；使用深度学习算法从第一3D表面表示中识别一个或多于一个感兴趣区域(ROI)，使得当在该一个或多于一个感兴趣区域(ROI)上对准第一3D表面表示和第二3D表面表示时，确定了空间变换；并且基于应用空间变换，生成来自非超声成像数据的3D表面解剖信息在来自超声数据的3D表面信息上的叠加。

Description

放射导航的术中脊柱引导系统
相关应用
本申请要求美国临时申请63/157,483的优先权，其全部内容结合于此。
技术领域
该说明书总体涉及术中过程，尤其涉及术中过程期间的导航。
背景技术
当前的外科手术过程，特别是脊柱手术过程，具有很大的风险。一种这样的风险涉及将植入物和装置放置在身体的神经和血管系统的脆弱结构的附近。尽管在操作者培训和成像系统方面取得了相当大的进步，但降低不良或错位的器械和植入物的风险将是有利的。与脊柱融合相关联的另一问题是通过对患者的定位和各种外科手术过程而引起的脊柱重塑，这些手术可以复合有基于X射线荧光透视的图像配准。此外，当前成像系统既笨重又昂贵。
发明内容
在一个方面，一些实现提供了一种计算机实现的方法，包括：访问由使用超声探测器对患者的区域进行术中声透射而获得的超声数据，其中，所述超声数据实时地对所述区域中的一个或多于一个骨骼结构的3D表面信息以及所述一个或多于一个骨骼结构相对于所述超声探测器的位置信息进行编码；基于所述超声数据来提取所述一个或多于一个骨骼结构的第一3D表面表示；访问由在所述外科手术过程之前对所述患者的所述区域进行非超声成像而获得的非超声成像数据，该非超声成像数据包括所述区域中的所述一个或多于一个骨骼结构的3D表面解剖信息；基于所述非超声成像数据来提取所述一个或多于一个骨骼结构的第二3D表面表示；使用深度学习算法从所述第一3D表面表示中识别一个或多于一个感兴趣区域(ROI)，使得当在所述一个或多于一个感兴趣区域(ROI)上对准所述第一3D表面表示和所述第二3D表面表示时，确定了空间变换；以及基于应用所述空间变换，生成来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面信息上的叠加。
实现可以包括以下特征中的一个或多于一个。
识别所述一个或多于一个ROI可以包括通过添加来自所述第一3D表面表示的、所述第一3D表面表示和所述第二3D表面表示高于第一阈值水平地相匹配的区，来使所识别的一个或多于一个ROI增长。识别所述一个或多于一个ROI可以包括通过减去来自所述第一3D表面表示的、所述第一3D表面表示和所述第二3D表面表示高于第一阈值水平的区，来修剪所识别的一个或多于一个ROI。识别所述一个或多于一个ROI可以包括训练所述深度学习算法以迭代地改进所述空间变换，使得所述空间变换在预定时间间隔内实现，以供在所述外科手术过程期间将来自所述超声数据的3D表面解剖信息实时叠加在所述非超声成像数据上。
所述深度学习算法可以包括：调整所述一个或多于一个ROI的数量、所述一个或多于一个ROI的大小、所述一个或多于一个ROI的位置、用于确定所述第一3D表面表示和所述第二3D表面表示之间的匹配的第一阈值水平、以及用于确定所述第一3D表面表示和所述第二3D表面表示的噪声特性的第二阈值水平。所述深度学习算法可以包括：存储所述第一3D表面表示和所述第二3D表面表示趋于匹配的第一斑片模板。所述深度学习算法可以包括：基于针对所述超声数据和所述非超声成像数据其中至少之一的空间变换，修改所述第一3D表面表示和所述第二3D表面表示趋于匹配的第一ROI模板。所述深度学习算法可以包括：存储所述第一3D表面表示和所述第二3D表面表示趋于不匹配的第二斑片模板。所述深度学习算法可以包括：基于针对所述超声数据和所述非超声成像数据其中至少之一的空间变换，修改所述第一3D表面表示和所述第二3D表面表示趋于不匹配的第二ROI模板。
实现还可以包括：基于在所述一个或多于一个ROI上对准所述第一3D表面表示和所述第二3D表面表示，跟踪所述区域中的所述一个或多于一个骨骼结构在所述外科手术过程之前获得的非超声成像数据和在所述外科手术过程期间获得的超声数据之间的位移；以及基于所述空间变换，对所述区域中的所述一个或多于一个骨骼结构在所述外科手术过程之前获得的非超声成像数据和在所述外科手术过程期间获得的超声数据之间的位移进行量化。
实现还可以包括：基于所跟踪的位移，在所述外科手术过程期间实时地更新对手术外科医生的导航引导，使得能够调整所述超声探测器的位置。实现还可以包括：响应于在所述外科手术过程期间使所述超声探测器重新定位以对一个或多于一个骨骼结构进行声透射，刷新所述空间变换，使得更新来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面解剖信息上的叠加，其中，所述超声数据是从重新定位的超声探测器获得的。
实现还可以包括：在所述外科手术过程期间使用所述超声数据来跟踪装置的位置，其中所述装置包括：外科手术器械、植入物或刺激器装置；以及将所述装置的跟踪位置投影在叠加上，在该叠加中，来自所述非超声成像数据的一个或多于一个骨骼结构的3D表面信息叠加在来自所述超声数据的一个或多于一个骨骼结构的3D表面信息上。
提取所述第一3D表面表示可以包括：基于应用如下的方法来确定组织-骨骼界面，该方法包括前向追踪方法或后阴影(back shadow)方法，其中，沿着超声传播方向进行该方法以确定组织-骨骼界面，以及其中，在不遇到来自组织-骨骼界面的混响的情况下进行该方法。
所述非超声成像数据可以包括：计算机断层扫描(CT)图像或磁共振成像(MRI)图像，其中，所述MRI图像包括：零回波时间(TE)MRI图像，以及其中，所述计算机实现的方法是在不访问X射线荧光透视数据的情况下进行的。
所述区域可以包括脊柱区域、骨盆区域、骶骨区域或枕骨区域。所述区域可以包括肱骨、肘、桡骨、尺骨、掌骨、指骨、肩胛骨、肋骨、髂骨翼、股骨、髌骨、胫骨、腓骨和跖骨其中至少之一。所述区域可以包括肩、肘、腕、手、髋、膝、踝和脚其中至少之一。所述区域可以包括用于对骨骼内、骨骼周围和骨骼表面上的一个或多于一个损伤进行活检的区。所述区域可以包括用于软组织或激痛点注射(trigger point injection)、以及用于向以下各项中注射的一个或多于一个区：(i)用于关节穿刺术、小关节阻滞或关节造影术的关节，(ii)围绕至少一个肢体的一个或多于一个骨骼的囊或神经节，(iii)围绕关节的一个或多于一个韧带结构，(iv)包括手或脚中的腕管和跗管的一个或多于一个结构管，或者(v)一个或多于一个肌腱。
在另一方面，实现可以提供一种系统，该系统包括：超声探测器，其可操作以对患者的区域进行声透射；显示装置，其能够在外科手术过程期间提供实时视觉反馈；以及计算机处理器，其与所述超声探测器和所述显示装置通信，所述计算机处理器被配置为：访问由在外科手术过程期间对患者的区域进行术中声透射而获得的超声数据，其中，所述超声数据实时地对所述区域中的一个或多于一个骨骼结构的3D表面信息以及所述一个或多于一个骨骼结构相对于所述超声探测器的位置信息进行编码；基于所述超声数据来提取所述一个或多于一个骨骼结构的第一3D表面表示；访问由在所述外科手术过程之前对所述患者的所述区域进行非超声成像而获得的非超声成像数据，该非超声成像数据包括所述区域中的所述一个或多于一个骨骼结构的3D表面解剖信息；基于所述非超声成像数据来提取所述一个或多于一个骨骼结构的第二3D表面表示；使用深度学习算法从所述第一3D表面表示中识别一个或多于一个感兴趣区域(ROI)，使得当在所述一个或多于一个感兴趣区域(ROI)上对准所述第一3D表面表示和所述第二3D表面表示时，确定了空间变换；以及基于应用所述空间变换，生成来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面信息上的叠加。
实现可以包括以下特征中的一个或多于一个。
所述计算机处理器还可以被配置为：在外科手术过程期间使用所述超声数据来跟踪外科手术器械的位置；以及将所述外科手术器械的跟踪位置投影在叠加上，在该叠加中，来自所述非超声成像数据的一个或多于一个骨骼结构的3D表面信息叠加在来自所述超声数据的一个或多于一个骨骼结构的3D表面信息上，其中，所述外科手术器械可操作以便于在所述外科手术过程期间将椎弓根螺钉、植入物、或刺激器放置在所述区域中。
所述计算机处理器还可以被配置为：基于在所述一个或多于一个ROI上对准所述第一3D表面表示和所述第二3D表面表示，跟踪所述区域中的所述一个或多于一个骨骼结构在所述外科手术过程之前获得的非超声成像数据和在所述外科手术过程期间获得的超声数据之间的位移；以及基于所跟踪的位移，在所述外科手术过程期间实时地更新对手术外科医生的导航引导，使得能够调整所述超声探测器的位置。
所述显示装置可以被配置为实时地刷新来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面信息上的叠加，使得提供增强现实渲染以在所述外科手术过程期间对手术外科医生进行导航。所述显示装置可以包括可穿戴装置，以及其中，所述超声探测器包括无线超声探测器。
所述系统还可以包括：跟踪系统，其被配置为在所述外科手术过程期间提供对所述超声探测器的实时跟踪信息，其中，当所述超声探测器的实时跟踪信息与所述一个或多于一个骨骼结构相对于所述超声探测器的位置信息相结合时，所述超声探测器的实时跟踪信息能够转换为对手术外科医生在所述外科手术过程期间定位所述超声探测器的导航引导。所述跟踪系统可以包括光学跟踪器、步进电机、电磁传感器、加速器和陀螺仪其中至少之一。
所述区域可以包括脊柱区域、骨盆区域、骶骨区域或枕骨区域。所述区域可以包括肱骨、肘、桡骨、尺骨、掌骨、指骨、肩胛骨、肋骨、髂骨翼、股骨、髌骨、胫骨、腓骨和跖骨其中至少之一。所述区域可以包括肩、肘、腕、手、髋、膝、踝和脚其中至少之一。所述区域可以包括用于对骨骼内、骨骼周围和骨骼表面上的一个或多于一个损伤进行活检的一个或多于一个区。所述区域可以包括用于软组织或激痛点注射、以及用于向以下各项中注射的一个或多于一个区：(i)用于关节穿刺术、小关节阻滞或关节造影术的关节，(ii)围绕至少一个肢体的一个或多于一个骨骼的囊或神经节，(iii)围绕关节的一个或多于一个韧带结构，(iv)包括手或脚中的腕管和跗管的一个或多于一个结构管，或者(v)一个或多于一个肌腱。
在又一方面，一些实现提供：访问由使用超声探测器对患者的区域进行声透射而获得的超声数据，其中，所述超声数据实时地对所述区域中的一个或多于一个骨骼结构的3D表面信息以及所述一个或多于一个骨骼结构相对于所述超声探测器的位置信息进行编码；基于所述超声数据来提取所述一个或多于一个骨骼结构的第一3D表面表示；访问由对所述患者的所述区域进行非超声成像而获得的非超声成像数据，该非超声成像数据包括所述区域中的所述一个或多于一个骨骼结构的3D表面解剖信息；基于所述非超声成像数据来提取所述一个或多于一个骨骼结构的第二3D表面表示；使用深度学习算法从所述第一3D表面表示中识别一个或多于一个感兴趣区域(ROI)，使得当在所述一个或多于一个感兴趣区域(ROI)上对准所述第一3D表面表示和所述第二3D表面表示时，确定了空间变换；以及基于应用所述空间变换，生成来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面信息上的叠加。
附图说明
现在将参考附图仅通过示例来描述实施例，在附图中：
图1示出了例示由本公开的一些实现所使用的工作流的图的示例。
图2例示了由本公开的一些实现所使用的椎骨的术前高分辨率CT图像的示例。
图3例示了根据本公开的一些实现的椎骨的术中超声(US)图像的示例。
图4A至图4D例示了根据本公开的一些实现的基于术中US数据识别骨表面的示例。
图5A至图5D例示了根据本公开的一些实现的、将来自术前CT图像的表面表示与来自术中超声的表面表示对准的示例。
图5E至图5F例示了根据本公开的一些实现的、术前CT图像和术中US数据的重合的示例。
图6A至图6B例示了根据本公开的一些实现的、将术前CT图像与术中US数据重叠的示例。
图6C至图6D例示了根据本公开的一些实现的、由将术前高分辨率CT图像与术中US数据重叠而产生的渲染表面的示例。
图7例示了根据本公开的一些实现的、将术前CT图像与术中超声数据重叠的示例期间的斑片的示例。
图8A至图8C例示了本公开的一些实现所使用的流程图的示例。
图9是例示根据本公开的实现的、用于提供与所描述的算法、方法、功能、处理、流程和过程相关联的计算功能的计算机系统的示例的框图。
各种附图中的相似附图标记表示相似要素。
具体实施方式
在过去的几十年里，术中成像系统在提高患者内部结构的可视性方面取得了长足的进步。导航系统也已经发展到为外科医生提供用于外科手术过程的安全轨迹的引导。然而，这些系统通常需要除了术中荧光图像之外的术前精细切割的CT扫描、或需要术中采集的荧光CT扫描。这些采集方式可能使患者并且在某些实例中使医疗专业人员暴露于大的辐射剂量。此外，在术中过程期间，固定至患者的参考标志被移位，从而导致对象的移动。在这种场景下，额外的射线照片图像可能使程序流程显著减慢，并有污染手术区域的风险。
本公开描述的实现提供了一种对与传统的基于照相机的导航系统或增强现实系统耦合的脊柱标志的基于超声的参考的新系统。所公开的系统的基础涉及在患者或暴露的手术区域上移位的超声装置的术中使用，暴露的手术区域可以填充有盐溶液或凝胶，以为超声波传播到患者身体中提供耦合。术中使用可以指在外科手术操作期间对器械的使用。所公开的系统可以耦合到计算机系统，该计算机系统具有利用传统的计算机断层扫描(CT)或磁共振成像(MRI)计算的术前表面形貌。在所公开的系统中，当超声探测器移位时，传感器、陀螺仪或光学跟踪器可以用于确定位移和取向，使得椎骨的3D表面可以被评估和更新。此外，将超声探测器的位移耦合到增强现实视图器(headset)可以允许手术外科医生利用来自术前CT或MRI的叠加图像来可视化椎骨的精确位置。附加地或替代地，所公开的系统可以利用相对于附接到患者的固定参考标志的照相机导航来跟踪超声探测器位移。所公开的系统可以使用深度学习或人工智能(AI)算法来基于术中超声(US)数据实时识别骨脊柱的骨骼表面。实现可以从术中US数据中智能地选择区或“斑片/ROI”。换句话说，深度学习或AI算法可以被训练以识别这些“斑片”，当“斑片”相互结合时，可以作为各个单个椎骨的“个性特征”。事实上，实现可以单独处置各个椎骨，因为患者移动会引起椎体位置之间的空间变化。在这些实现中，AI算法然后可以在外科手术过程期间实时地将关于术中超声数据的椎体的这些“个性特征”与术前CT/MRI图像进行匹配。使用表面数据和导航的US探测器，可以实时地创建后部脊柱的3D骨表面。使用所公开的系统，手术外科医生可以在屏幕显示上可视化被跟踪的器械和/或植入物(同样通过基于照相机系统使用跟踪珠)的实时位移以及植入物，在屏幕显示中提供了术前成像上的叠加。
所公开的系统的优点包括对超声探测器的术中使用以相对于分段的术前成像(CT、MRI)映射和匹配表面形貌。该系统的优点还包括无辐射术中导航、改进的表面形貌的采集速度、减轻的工作流负担和降低的感染风险。有时针对一个过程重复的对荧光成像的当前需求是耗时的，并且使患者和临床团队暴露于辐射。此外，重复引入笨重的荧光设备可能造成手术区域污染的风险环境。
图1示出了例示由本公开的一些实现所使用的工作流的图100的示例。如图所示，图100导入CT图像体积101和US图像体积103。在一些实现中，CT图像体积101是指在外科手术过程之前获得的患者的脊柱区域的高分辨率CT图像。实现不限于诸如椎骨区域等的脊柱。区域可以包括骨盆区域、骶骨区域或枕骨区域。参考图2的示例200，在一些情况下，脊柱的椎体的术前高分辨率CT图像可以具有0.33mm×0.33mm×0.33mm的分辨率。在一些实现中，空间分辨率甚至可以小于示例200提供的分辨率。实现不限于使用高分辨率CT图像。事实上，也可以使用高分辨率磁共振成像(MRI)图像。例如，一些实现可以结合在外科手术过程之前获得的零回波时间(TE)快速MRI数据集。实现可以结合分割，以从术前图像数据集中识别单个椎骨(椎体和后部要素)的骨外表面，从而获得单个椎骨的3D表示。分割可以使得成功地标记单个椎骨，以揭示各个椎骨水平处的后部要素的形状以及沿着脊髓的特定解剖标志。
超声(US)图像体积103可以指在外科手术过程期间从超声探测器获得的术中超声数据，超声探测器通常具有超声换能器元件阵列。术中超声可以覆盖与术前图像相同的区域。例如，外科医生可以用超声探测器扫描脊柱的后部骨骼表面。在某些情况下，可以使用无线超声探测器。扫描可以通过使超声探测器沿着感兴趣区的皮肤表面经过，或者直接在已经填充有盐水或适于超声透射的其他凝胶/流体的外科手术伤口中进行。可以进行脊柱的初始扫掠，以识别骨水平，例如L1、L2、L3等。初始扫掠可以是快速、粗略的经过，其具有足够的精确度来检测脊柱水平L1、L2、L3等，但不一定更精细以可视化完整骨骼细节。初始扫掠之后可以进行第二次更详细的扫掠，以更精确地可视化脊柱的完整骨骼细节。详细的第二次扫掠可以识别用于引导螺钉和钢板进入脊柱的骨骼标志。例如，当手术外科医生在皮肤上移动探测器以扫描感兴趣的区域时，详细的扫掠可以生成脊柱的后部表面的3D超声覆盖。对于开放式外科手术过程，手术外科医生可以使用水或凝胶基物质来覆盖感兴趣的解剖结构。超声探测器可以通过在不同方向和角度上的平滑运动来移位，以获得感兴趣的脊柱区域的表面映射。
注意，实现不限于脊柱区域。例如，实现可以包括用于骨骼内、骨骼周围和骨骼表面损伤活检的成像引导系统。骨骼的示例包括肱骨、肘、桡骨、尺骨、掌骨、指骨、肩胛骨、肋骨、髂骨翼、股骨、髌骨、胫骨、腓骨、跖骨。实现还可以包括关节的诊断和对包括肩、肘、腕、手、髋、膝、踝和脚的肢体中的关节的关节置换的引导。实现还可以包括肢体内和周围的诸如肱骨、肘、桡骨、尺骨、掌骨、指骨、肩胛骨、肋骨、髂骨翼、股骨、髌骨、胫骨、腓骨和跖骨等的关节周围或关节内结构的成像引导注射。注射可以包括针注射到关节中以用于关节穿刺术、小关节阻滞或关节造影术、针注射到肢体的骨骼周围的囊或神经节、软组织或激痛点注射、注射到关节周围的韧带结构中、注射到结构管(诸如分别为手和脚中的腕管和跗管)中、以及肌腱或腱鞘的注射。例如，激痛点注射可以帮助缓解肌肉疼痛，尤其是在手臂、腿、下背部和颈部。激痛点注射也可以用于治疗纤维肌痛、紧张性头痛和肌筋膜疼痛。激痛点通常是指当肌肉例如过度拉伸并变得无法放松时、肌肉中疼痛的“结”。
在这些实现中，超声图像体积103可以由计算装置导入。在一些情况下，超声图像体积103可以是来自超声探测器上的各个换能器元件的原始超声数据。原始超声数据可以在生成超声图像的B模式数据的波束形成之前获得。原始超声数据还可以包括原始的同相/正交(I/Q)或者还可以包括原始的预波束形成RF数据。在其他情况下，可以导入B模式数据。实现可以应用多种方法来改进骨表面的详细超声检查可视化。该方法可以包括改变超声扫描仪上的声速配置以锐化骨表面的细节和边缘。该方法还可以利用声音通过不同密度的组织的传播来改进检测骨表面的灵敏度。例如，与软组织相比，声音通过骨骼传播的速度快得多。该方法还可以包括当超声通过骨骼和软组织传播时测量超声阻抗，以便于检测骨表面。该方法还可以包括使用相对于超声探测器在垂直平面和水平平面这两者中的多个焦点区域来锐化骨表面。该方法可以附加地包括使用弹性成像，弹性成像是可以根据机械波的传播来评估组织的机械性能的成像技术。例如，成像设备(诸如超声设备等)可以与生成通常是感兴趣组织内的剪切波的机械波的设备耦合，同时成像设备使组织变形可视化。这些方法可以与2D、3D和4D超声扫描结合使用。超声图像体积103可以包括超声探测器相对于脊柱结构的位置数据。导入处理还可以导入来自导航系统的位置数据。计算装置可以是外科手术场地内或外的装置。在任一情况下，计算装置可以实现深度学习或AI算法，以基于US图像体积103实时识别骨脊柱的骨骼表面。
实现可以从US图像体积中提取对超声束轴定位进行编码的信息(104)。进一步参考图3，呈现了原始I/Q数据的一个帧的示例。如图所示，骨骼表面近似成对角线角度，并且超声束的方向近似垂直，源自位于图像上部的超声探测器的阵列元件的表面。在图像的左侧，呈现了横截面轮廓，从而例示了骨骼界面处的反射，以及骨骼界面之外的混响。一些实现可以利用从超声探测器导入的原始数据，例如同相和正交(IQ)数据或RF数据。虽然传统的B模式图像可以包括描绘底层解剖结构的波束形成数据，但是由于波束形成处理期间的重组(rebinning)和后处理，这种波束形成数据可能缺乏足够的动态范围。另一方面，原始I/Q或RF数据对于骨骼表面的检测可能更好，例如更灵敏。
进一步参考图4A，一些实现可以利用原始超声数据来生成具有0.018mm的垂直分辨率和0.09mm的水平分辨率的B模式图像。在这些实现中，所生成的B模式图像可以被进一步处理以具有更各向同性的空间分辨率，例如，0.27mm的垂直分辨率和0.275mm的水平分辨率，如图4B所示。基于更各向同性的格式，各种实现可以使用前向跟踪和原始I/Q数据或RF数据来改进骨骼表面的检测(108)。参考图4C，单独阈值化可能不会生成一致的表面表示。进一步参考图4D，一些实现将峰检测与填充相结合，以实现表面的更一致的体积表示。在一些情况下，填充可以包括检测到的峰两侧的两个像素。使用超声探测器的识别表面和导航数据，可以实时创建后脊柱的3D骨表面。如图所示，一些实现因此可以从导入的超声图像体积(例如，来自超声探测器的各个阵列元件的原始I/Q或RF数据)生成各个椎体表面的体积表示(109)。实现可以分别处置各个椎体以适应患者运动，患者运动可能引起椎体位置之间的空间变化。所创建的超声表面体积表示(110)可以用于与基于术前CT的表面体积表示对准。
并行地，实现可以将术前高分辨率CT图像与提取的超声束轴对准(102)。实现可以通过识别表示组织类型之间的转变的薄的2D区域来配准骨骼的表面。在这些实现中，配准可以包括在下层CT强度分布中检测跟随有骨组织的阶跃函数的边缘。相比之下，超声强度分布可以展现出峰，随后是阴影区域。为了便于对准，实现可以对术前CT图像体积应用前向追踪，以利用使用强度阈值识别的阴影区域产生骨骼表面(105)。实现还可以应用后阴影跟踪以识别边界。然后，实现可以通过识别表示表面的体素并在体素的两侧应用填充来创建骨骼表面的表面表示，以创建用于对准的体积(106)。
更详细地并进一步参考图5A至图5D，一些实现可以识别入射超声束的方向(501)。实现然后可以旋转CT或MRI图像体积，使得超声束垂直入射(502)。这里，实现可以使用简单阈值分割骨骼表面，其中入射超声束是垂直的(503)。实现可以模拟超声束的预期阴影区。可以将分割和填充的结果旋转回CT或MRI图像体积的原始取向。所创建的CT或MRI表面体积表示(107)可以用于术前CT或MRI和术中超声的后续对准。
实现然后可以使用深度学习算法来识别感兴趣的区域(ROI)以进行对准(111)。基于ROI，实现可以在空间上对准超声表面体积表示和CT或MRI表面体积表示(112)。实现可以生成用于进行空间对准的空间变换矩阵(113)。
更详细地，各种实现使超声表面体积表示和CT或MRI表面体积表示相匹配。为了改进表面匹配处理的速度并消除包含过多噪声的非期望的区，实现可以聚焦于超声图像体积上具有优异空间分辨率的感兴趣的区(area)或区域(region)(ROI)。实现可以利用深度学习和AI来训练对准处理，以识别有希望的ROI。例如，实现可以选择更有可能产生匹配表面(例如，信噪比(SNR)适当的地方)的ROI。相反，实现也可以修剪来自ROI的不太可能生成匹配表面的区。在一些实现中，斑片可以包括至少三个像素，并且位于脊柱的后方明显分离的区或期望的骨骼区域(例如，骨盆区域)。这些有希望的ROI相结合，可以表现为各个单个椎体的“个性特征”，以用于将实时3D超声表面表示与3D术前CT/MRI表面表示相匹配。在一些实现中，“个性特征”可以在感兴趣的骨骼区域(例如，椎骨、骨盆、枕骨区域)的后表面上。各个骨骼结构或椎骨可以被单独处置，因为患者位置的变化可能扭曲实时超声和术前CT/MRI图像之间的关系。由于实时地提供超声与术前成像映射表面的匹配，因此一旦匹配发生，就可以提醒手术外科医生。一些实现可以提供音频、视觉或触觉反馈，以在发生足够的映射时提醒手术外科医生以确认超声探测器已经覆盖了足够的表面以实现与术前图像的匹配。这些实现可以结合用于将匹配结果投影到手术外科医生的可穿戴显示装置。在这种沉浸式现实配置中，可穿戴装置可以包括护目镜装置。事实上，实现可以提供针对混合现实、增强现实或虚拟现实的平台，在混合现实、增强现实或虚拟现实中，手术外科医生可以接收正在进行的外科手术过程的导航引导。在某些情况下，超声探测器可以是无线探测器。
在这些实现中，深度学习算法可以结合也称为人工神经网络(ANN)的算法分层结构，其被编程为检测例如具有足够质量的ROI的特征，以将术中超声图像与术前CT/MRI图像相匹配。例如，可以在大数据集上并通过示例性选择来训练ANN层，以检测预期用作将术中超声图像与术前CT/MRI图像相匹配的路标的ROI。与使用在放置后固定的静态基准标志的其他实现相比，本公开的实现可以基于术中超声扫描动态生成感兴趣的区域(ROI)。这些ROI从各个超声扫描中生成，并且与骨骼结构表面上的斑片相对应，在该斑片，超声信号质量足以(例如，不受多次混响的阻碍)用于将术中超声图像变形为术前CT/MRI图像。ROI也根据面积和大小来动态生成(例如，利用自适应区域增长/收缩方法)。一旦已经识别了这些ROI，实现可以进行图像叠加，其中术中超声图像被叠加在术前更高分辨率的图像(例如，CT或MRI)上。
进一步参考图5E，基于超声数据提供后脊柱表面的示例。在该示例中，超声束从上部垂直入射。参考图5F，提供了各种示例来说明术前CT图像体积与基于入射超声束的方向的超声表面表示的重合。如图所示，CT图像体积可以相对于超声束被旋转，使得超声表面表示被叠加在骨骼表面上。
进一步参考图6A至图6B，在术前高分辨率CT图像上重叠术中US数据(具有透明度的阴影)的所示示例证明了在薄片区域和横向区域中的良好匹配。然而，在骨骼之间的韧带区，匹配质量显著恶化。图6B特别例示了覆盖各种区域的斑片的分布。在韧带所在的槽区，更稀疏地分布斑片。在一些情况下，来自超声数据的表面表示和来自术前CT图像的表面表示之间的叠加可以是连续的并且更一致，如图6C所示。在其他情况下，来自超声数据的表面表示和来自术前CT图像的表面表示之间的叠加可以包括间隙。为了适应各种情况，实现可以应用变化大小的斑片来进行匹配。此外，实现可以智能地适配斑片的大小和分布，以产生高质量的匹配。
进一步参考图7，面700例示出了具有包括完整斑片和小斑片的作为ROI候选的多个区的表面。如图所示，完整斑片可以包括用于将超声表面表示与CT表面表示对准的较大区，而小斑片可以指用于进行对准的部分掩模。具体地，面701A和701C各自以2D格式揭示各自的完整斑片和小斑片，其中各个像素指示匹配程度。换句话说，如果匹配完美，则像素变为零。逐像素的显示表明，完整斑片具有匹配适当的多个相邻区。另一方面，小斑片示出了完整斑片左侧的放大版本，其中匹配程度更加集中。匹配质量分布的变化由面701B和701D加强，各个面示出了各自的像素值的直方图。如图所示，图701B示出了具有较高标准偏差(其对应于较大的散布)的较大均值。相比之下，图701D示出了具有较小标准偏差(其对应于较小的散布)的较小均值。
各种实现可以使用深度学习或AI算法来自适应地选择匹配更有可能和有希望的斑片。参考图8A的图表800，实现可以使用多层逻辑来确定所选择的斑片。层可以包括输入层、一个或多于一个隐藏层以及输出层。各个隐藏层可以是以下各项中的一个或多于一个的组合：卷积层、池化层、整流线性单元(ReLU)层、softmax层、回归器层和退出层。只要满足输入/输出大小标准，这些隐藏层可以按任何顺序布置。各个隐藏层可以包含图像过滤器集合。
更详细地并参考图8B的图表810，工作流处理的示例可以从输入数据801开始，输入数据801可以包括基于术中超声数据体积的术中表面表示以及基于术前图像体积的术前表面表示。实现可以选择用于将术中表面表示与术前表面表示相匹配的斑片(805)。选择处理还可以接收来自解剖结构的、其中匹配更有可能且更有希望的斑片模板(802)。斑片模板可以是基于过去的历史数据以及术中过程期间的特定声透射角度确定的斑片库。在外科手术过程期间，当超声探测器被重新定位时，声透射角度可能改变。各种实现可以响应于重新定位来调整所选择的斑片。另外，实现可以检测在外科手术过程期间由定位患者或操作器械引起的脊柱的形状、大小、位置和取向的变化。相对于静态术前图像检测这些变化可能是有利的，尤其是在检测允许在外科手术过程期间实时反馈给手术外科医生时。在模板的示例中，过去的历史数据可以包括在过去的匹配中成功使用的模板(例如，当应用于同一椎骨并且具有相当的声透射角度时)。基于术前图像体积和椎骨解剖结构的模拟也可以帮助确定模板。在各种实现中，所选择的斑片可以更新斑片模板(804)。反馈可以增强深度学习处理。实现可以激活并行修剪处理，以去除不太可能生成质量良好的匹配的区(806)。修剪处理也可以基于来自解剖结构的斑片模板，其中匹配是不可能的且无希望的(803)。模板803还可以包括基于过去的历史数据以及术中过程期间的特定超声透射角度确定的斑片库。例如，可以响应于超声探测器的重新定位来调整修剪。模板803也可以基于修剪处理来更新(807)。更新同样可以增强深度学习处理。选择斑片(805)和修剪斑片(806)的组合动作可以生成输出感兴趣的区域(ROI)，以用于计算术中超声表面表示与术前表面表示的对准(808)。
进一步参考图8C，图表820示出了根据本公开的一些实现的导航系统的示例。在外科手术过程期间，由手术外科医生操作的超声探测器812可以监视患者的区域813。区域可以包括脊柱区域、骨盆区域、骶骨区域或枕骨区域。在一个说明中，可以在外科手术过程期间将植入物或刺激器装置植入。这里，植入物可以指无源装置，诸如假体植入物或髋关节植入物。手术外科医生使用的外科手术器械可以方便地将诸如椎弓根螺钉等的装置放置在患者的区域中。如图所示，装置814位于患者区域内。外科医生可以操作超声探测器以在外科手术过程期间监视装置的放置。外科手术过程期间来自超声探测器的实时数据可以与静态术前图像融合。当融合的图像在外科手术过程期间实时呈现给手术外科医生时，静态术前图像被复活。超声数据可以对照术前计划确认或跟踪骨骼位移，诸如腰椎前凸的变化。超声数据还可以在外科手术过程期间跟踪器械、装置(例如，针尖装置)。当超声数据融合于
如图所示，导航系统可以包括能够跟踪超声探测器812以及装置814在患者区域内的位置的独立跟踪系统815。跟踪系统可以包括光学跟踪器、步进电机、电磁传感器、加速器和陀螺仪中的至少一个。跟踪系统可以基于超声探测器的位置数据和椎骨的位置信息进行光电跟踪，从而可以向手术外科医生提供实时的引导信息来调整超声探测器的位置。在一些情况下，超声探测器可以安装在机械臂上，机械臂可以自动调整超声探测器812的位置。
图表820还包括图像数据库816，其存储患者区域的术前图像。如前所述，术前图像可以包括CT图像或MRI图像。MRI图像可以包括零TE MRI图像。如图所示，来自跟踪系统815的跟踪信息、来自超声探测器812的术中超声数据以及来自图像数据库816的术前非超声图像可以被提供给计算机处理器817。如上面结合图1-图8B所描述的，实现可以开发和建立用于将术中US数据与术前图像对准的ROI模板。ROI模板可以根据下层骨骼结构(或装置接口)和超声探测器的位置而变化。基于特定的ROI模板，基于术中超声数据的图像可以与术前非超声图像融合，以在外科手术过程期间为手术外科医生提供实时导航引导。在一些情况下，融合的图像可以被呈现在显示器811上。在某些情况下，融合的图像可以被投影到针对混合现实、增强现实或虚拟现实的平台上。
导航系统可以结合多种放射成像模式的优势，在手术室中实现精确和交互式的导航。一些实现可以实时精确地将导航的脊柱后骨表面的声透射数据与术前采集的脊柱后骨表面的CT或MRI参考数据共同配准。实现还能够共同配准来自脊柱区域以外的区域(诸如骨盆区域、骶骨区域或枕骨区域)的图像。基于共同配准的数据，实现可以在脊柱外科手术期间例如通过向手术室中的手术外科医生实时投影融合的图像来提供术中引导。
图9是例示根据本公开的实现的用于提供与所描述的算法、方法、功能、处理、流程和过程相关联的计算功能的计算机系统的示例的框图。
所示的计算机902旨在包括任何计算装置，诸如服务器、台式计算机、膝上型/笔记本计算机、无线数据端口、智能电话、个人数据助理(PDA)、平板计算装置、这些装置内的一个或多于一个处理器、另一计算装置或计算装置的组合，包括计算装置的物理或虚拟实例，或者计算装置的物理或虚拟实例的组合。此外，计算机902可以包括如下的计算机，该计算机包括：输入装置，诸如可以接受用户信息的小键盘、键盘、触摸屏、另一输入装置或输入装置的组合；以及输出装置，其在图形型用户界面(UI)(或GUI)或其他UI上传达与计算机902的操作相关联的信息，包括数字数据、视觉、音频、另一类型的信息或信息类型的组合。
计算机902可以在计算机系统中充当客户端、网络组件、服务器、数据库或另一持久性、另一角色或用于进行本公开中描述的主题的角色的组合。所示的计算机902与网络903可通信地耦合。在一些实现中，计算机902的一个或多于一个组件可以被配置为在环境中操作，环境包括基于云计算、本地、全局、另一环境或环境的组合。
计算机902是可操作以接收、发送、处理、存储或管理与所描述的主题相关联的数据和信息的电子计算装置。根据一些实现，计算机902还可以包括服务器或与服务器可通信地耦合，服务器包括应用服务器、电子邮件服务器、web服务器、高速缓存服务器、流式传输数据服务器、另一服务器或服务器的组合。
计算机902可以通过网络903接收请求(例如，来自在另一计算机902上执行的客户端软件应用)，并且通过使用软件应用或软件应用的组合处理接收到的请求来响应接收到的请求。此外，请求也可以从内部用户、外部或第三方、或其他实体、个体、系统或计算机发送到计算机902。
计算机902的各个组件可以使用系统总线903进行通信。在一些实现中，计算机902的任何或所有组件(包括硬件、软件或硬件和软件的组合)可以使用应用编程接口(API)912、服务层913或API 912和服务层913的组合通过系统总线903来连接。API 912可以包括例程、数据结构和对象类的规范。API 912可以是独立于计算机语言的或依赖于计算机语言的，并且引用完整的接口、单个功能或甚至API集合。服务层913向计算机902或可通信地耦合到计算机902的其他组件(无论是否例示)提供软件服务。使用该服务层的所有服务消费者都可以访问计算机902的功能。软件服务，诸如由服务层913提供的软件服务，通过定义的接口提供可重用的、定义的功能。例如，接口可以是用JAVA、C++、另一计算语言或以可扩展标记语言(XML)格式、另一格式或格式组合提供数据的计算语言的组合编写的软件。虽然例示为计算机902的集成组件，但是替代实现可以将API 912或服务层913例示为相对于计算机902的其他组件或可通信地耦合到计算机902的其他组件(无论是否例示)的独立组件。此外，在不脱离本公开的范围的情况下，API 912或服务层913的任何或所有部分可以被实现为另一软件模块、企业应用或硬件模块的子模块或副模块。
计算机902包括接口904。尽管在图9中例示为单个接口904，但是根据计算机902的特定需要、期望或特定实现，可以使用两个或多于两个接口904。计算机902使用接口904与在分布式环境中通信地链接到网络903的另一计算系统(无论是否图示)通信。通常，接口904可操作以与网络903通信，并且包括以软件、硬件或软件和硬件的组合编码的逻辑。更具体地，接口904可以包括支持与通信相关联的一个或多于一个通信协议的软件，使得网络903或接口的硬件可操作以在所示计算机902的内部和外部通信物理信号。
计算机902包括处理器905。尽管在图9中例示为单个处理器905，但是根据计算机902的特定需要、期望或特定实现，可以使用两个或多于两个处理器。通常，处理器905执行指令并操纵数据以进行计算机902的操作以及如本公开中描述的任何算法、方法、功能、处理、流程和程序。
计算机902还包括数据库906，数据库906可以保持针对计算机902、与网络903通信的另一组件(无论是否图示)、或者计算机902和另一组件的组合的数据。例如，数据库906可以是存储与本公开一致的数据的存储器中的、传统的或另一类型的数据库。在一些实现中，根据计算机902的特定需要、期望或特定实现以及所描述的功能，数据库906可以是两个或多于两个不同数据库类型(例如，混合存储器内和传统数据库)的组合。尽管在图9中例示为单个数据库906，但是根据计算机902的特定需要、期望或特定实现以及所描述的功能，可以使用相似或不同类型的两个或多于两个数据库。虽然数据库906被例示为计算机902的整体组件，但是在替代实现中，数据库906可以在计算机902的外部。如图所示，数据库906保持先前描述的数据916，包括例如术前图像体积(包括CT和MRI数据集)、术中数据体积(包括例如来自超声探测器的原始I/Q数据)、匹配更可能且有希望的斑片模板、以及匹配更不可能且无希望的匹配模板，如图1和图8B所概述。
计算机902还包括存储器907，存储器907可以保持针对计算机902、通信地链接到网络903的另一个或多于一个组件(无论是否图示)、或者计算机902和另一组件的组合的数据。存储器907可以存储与本公开一致的任何数据。在一些实现中，根据计算机902的特定需要、期望或特定实现以及所描述的功能，存储器907可以是两个或多于两个不同类型存储器的组合(例如，半导体和磁存储器的组合)。尽管在图9中例示为单个存储器907，但是根据计算机902的特定需要、期望或特定实现以及所描述的功能，可以使用两个或多于两个类似或不同类型的存储器907。虽然存储器907被例示为计算机902的整体组件，但是在替代实现中，存储器907可以在计算机902的外部。
应用908是根据计算机902的特定需要、期望或特定实现提供功能、特别是关于本公开中描述的功能的算法软件引擎。例如，应用908可以用作一个或多于一个组件、模块或应用。此外，尽管例示为单个应用908，但是应用908可以被实现为计算机902上的多个应用908。此外，尽管例示为计算机902的整体，但是在替代实现中，应用908可以在计算机902的外部。
计算机902还可以包括电源914。电源914可以包括可被配置为用户可更换或非用户可更换的可充电或不可充电电池。在一些实现中，电源914可以包括功率转换或管理电路(包括充电、待机或另一功率管理功能)。在一些实现中，电源914可以包括电源插头，以允许计算机902插入墙壁插座或另一电源，以例如为计算机902供电或对可充电电池充电。
可以有任何数量的计算机902与包含计算机902的计算机系统相关联或在系统的外部，各个计算机902通过网络903进行通信。此外，术语“客户端”、“用户”或其他适当的术语可以在不脱离本公开的范围的情况下适当地互换使用。此外，本公开设想许多用户可以使用计算机902，或者一个用户可以使用多个计算机902。
本说明书中描述的主题和功能操作的实现可以在数字电子电路中、在有形体现的计算机软件或固件中、在计算机硬件(包括本说明书中公开的结构及其结构等同物)中实现，或者在其中一个或多于一个的组合中实现。所描述主题的软件实现可以被实现为一个或多于一个计算机程序，即，编码在有形的、非暂态的、计算机可读的计算机存储介质上的计算机程序指令的一个或多于一个模块，以供由数据处理设备执行或控制数据处理设备的操作。可选地或附加地，程序指令可以被编码在人工生成的传播信号(例如，机器生成的电、光或电磁信号，该信号被生成以对信息进行编码以供传输到接收器设备由数据处理设备执行)中/上。计算机存储介质可以是机器可读存储装置、机器可读存储基板、随机或串行存取存储器装置或计算机存储介质的组合。配置一个或多于一个计算机意指该一个或多于一个计算机已经安装了硬件、固件或软件(或硬件、固件和软件的组合)，使得当软件由该一个或多于一个计算机执行时，进行特定的计算操作。
术语“实时(real-time)”、“实时地(real time)”、“适时(realtime)”、“实际(快速)时间(real(fast)time(RFT))”、“近(ly)实时(NRT)”、“准实时(quasi real-time)”或类似术语(如本领域普通技术人员所理解的)意指动作和响应在时间上是接近的，使得个体感知到动作和响应基本上同时发生。例如，在个体访问数据的动作之后，针对数据显示(或显示的启动)的响应的时间差可以小于1毫秒(ms)、小于1秒(s)或小于5秒。虽然所请求的数据不需要立即显示(或为显示而启动)，但考虑到所描述的计算系统的处理限制和例如收集、精确测量、分析、处理、存储或发送数据所需的时间，在没有任何有意的延迟的情况下显示(或为显示而启动)。
术语“数据处理设备”、“计算机”或“电子计算机装置”(或本领域普通技术人员理解的等同物)是指数据处理硬件，并且包括用于处理数据的所有类型的设备、装置和机器，例如包括可编程处理器、计算机或多个处理器或计算机。设备还可以是或进一步包括专用逻辑电路，例如中央处理单元(CPU)、FPGA(现场可编程门阵列)或ASIC(专用集成电路)。在一些实现中，数据处理设备或专用逻辑电路(或数据处理设备或专用逻辑电路的组合)可以是基于硬件或软件的(或基于硬件和软件的组合)。设备可以任选地包括针对计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或执行环境的组合的代码。本公开考虑使用具有某些类型的操作系统(例如LINUX、UNIX、WINDOWS、MACOS、ANDROID、IOS、另一操作系统或操作系统的组合)的数据处理设备。
也可以被称为或描述为程序、软件、软件应用、单元、模块、软件模块、脚本、代码或其他组件的计算机程序可以用任何形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且可以以任何形式(包括例如作为独立的程序、模块、组件或子程序)来部署，以用于计算环境。计算机程序可以但不需要对应于文件系统中的文件。程序可以被存储在保持其他程序或数据(例如，存储在标记语言文档中的一个或多于一个脚本)的文件的一部分中、专用于所讨论的程序的单个文件中、或者多个协调的文件(例如，存储一个或多于一个模块、子程序或部分代码的文件)中。计算机程序可以被部署为在一个计算机上或位于一个站点或分布在多个站点并通过通信网络互连的多个计算机上执行。
虽然在各种图中例示的程序的部分可以被例示为使用各种对象、方法或其他处理实现所描述的特征和功能的个体组件，诸如单元或模块，但是程序可以适当地包括多个子单元、子模块、第三方服务、组件、库和其他组件。相反，各种组件的特征和功能可以适当地组合成单个组件。用于进行计算确定的阈值可以静态地、动态地或者静态和动态这两者地确定。
所描述的方法、处理或逻辑流表示与本公开一致的功能的一个或多于一个示例，并且不旨在将本公开限制于所描述或所例示的实现，而是被赋予与所描述的原理和特征一致的最宽范围。所描述的方法、处理或逻辑流可以由一个或多于一个可编程计算机执行一个或多于一个计算机程序、通过对输入数据进行操作并生成输出数据而进行功能来进行。方法、处理或逻辑流也可以由专用逻辑电路(例如CPU、FPGA或ASIC)来进行，并且设备也可以被实现为专用逻辑电路。
用于执行计算机程序的计算机可以基于通用或专用微处理器、这两者、或另一类型的CPU。通常，CPU将相对于存储器接收和写入指令和数据。计算机的基本元件是用于进行或执行指令的CPU，以及用于存储指令和数据的一个或多于一个存储器装置。通常，计算机还将包括或者可操作地耦合到用于存储数据的一个或多于一个大容量存储装置(例如磁、磁光盘或光盘)，以相对于该大容量存储装置接收或传递数据、或这两者。然而，计算机不需要有这样的装置。此外，计算机可以嵌入在另一装置中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储器存储装置。
用于存储计算机程序指令和数据的非暂态计算机可读介质可以包括所有形式的介质和存储器装置、磁装置、磁光盘和光存储器装置。存储器装置包括半导体存储器装置，例如随机存取存储器(RAM)、只读存储器(ROM)、相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存装置。磁装置包括例如磁带、盒式磁带、卡式磁带、内部/可移动盘。光存储器装置包括例如数字视频盘(DVD)、CD-ROM、DVD+/-R、DVD-RAM、DVD-ROM、HD-DVD和蓝光以及其他光存储器技术。存储器可以存储各种对象或数据，包括高速缓存、类、框架、应用、模块、备份数据、作业、网页、网页模板、数据结构、数据库表、存储动态信息的存储库或包括任何参数、变量、算法、指令、规则、约束或引用的其他适当信息。此外，存储器可以包括其他适当的数据，诸如日志、策略、安全或访问数据或报告文件。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互，本说明书中描述的主题的实现可以在计算机上实现，该计算机具有用于向用户显示信息的显示装置(例如CRT(阴极射线管)、LCD(液晶显示器)、LED(发光二极管)或等离子监视器)，以及键盘和指示装置(例如鼠标、轨迹球或触控板)，用户可以通过这些装置向计算机提供输入。也可以使用触摸屏(诸如具有压力灵敏度的平板计算机表面、使用电容或电感测的多点触摸屏或另一类型的触摸屏)向计算机提供输入。其他类型的装置可以用于与用户交互。例如，提供给用户的反馈可以是任何形式的感官反馈。可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的客户端计算装置发送文档和从客户端计算装置接收文档来与用户交互。
术语“图形用户界面”或“GUI”可以用单数或复数来描述一个或多于一个图形用户界面以及特定图形用户界面的各个显示。因此，GUI可以表示任何图形用户界面，包括但不限于web浏览器、触摸屏或处理信息并有效率地向用户呈现信息结果的命令行界面(CLI)。通常，GUI可以包括多个用户界面(UI)元素(诸如交互式字段、下拉列表和按钮)，其中一些或全部与web浏览器相关联。这些和其他UI元素可以与web浏览器的功能相关或表示web浏览器的功能。
该说明书中描述的主题的实现可以在计算系统中实现，该计算系统包括后端组件(例如作为数据服务器)、或者包括中间件组件(例如应用服务器)、或者包括前端组件(例如具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该客户端计算机与该说明书中描述的主题的实现进行交互)、或者一个或多于一个这样的后端、中间件或前端组件的任何组合。系统的组件可以通过有线或无线数字数据通信(或数据通信的组合)的任何形式或介质(例如通信网络)而互连。通信网络的示例包括局域网(LAN)、无线电接入网(RAN)、城域网(MAN)、广域网(WAN)、微波接入的全球互操作性(WIMAX)、使用例如802.11a/b/g/n或802.20(或802.11x和802.20的组合或与本公开一致的其他协议)的无线局域网(WLAN)、互联网的全部或一部分、另一通信网络或通信网络的组合。通信网络可以与例如互联网协议(IP)包、帧中继帧、异步传输模式(ATM)信元、语音、视频、数据或网络地址之间的其他信息进行通信。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且典型地通过通信网络进行交互。客户端和服务器之间的关系是由于运行在各个计算机上的计算机程序以及彼此之间具有客户端-服务器关系而产生的。
如本文所使用的，术语“包括(comprise)”和“包含(comprising)”应被解释为包容性和开放性的，而不是排他性的。具体地，当在说明书和权利要求书中使用时，术语“包括”和“包含”及其变体意指包括指定的特征、步骤或组件。这些术语不应被解释为排除其他特征、步骤或组件的存在。
如本文所使用的，术语“示例性”意指“作为示例、实例或说明”，并且不应被解释为优于或好于本文公开的其他配置。
如本文所使用的，术语“大约”和“近似”意指涵盖可能存在于值范围的上限和下限中的变化，诸如属性、参数和尺寸的变化。在一个非限制性示例中，术语“大约”和“近似”意指正或负10％或更少。
虽然该说明书包含许多具体的实现细节，但这些不应被解释为对可以要求保护的范围的限制，而应被解释为可以特定于特定实现的特征的描述。该说明书中在单独实现的上下文中描述的某些特征也可以在组合中、在单个实现中被实现。相反，在单个实现的上下文中描述的各种特征也可以在多个实现中分别被实现，或者在任何子组合中被实现。此外，尽管先前描述的特征可以被描述为在某些组合中起作用，甚至最初也如此要求保护，但是在一些情况下，来自所要求保护的组合的一个或多于一个特征可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
上面描述的具体实施例已经作为示例示出，并且应该理解，这些实施例可能易受各种修改和替代形式的影响。应该进一步理解，权利要求书不旨在限于所公开的特定形式，而是涵盖落入本公开的精神和范围内的所有修改、等同物和替代物。事实上，所描述的实现的其他实现、改变和排列在所跟随的权利要求书的范围内，这对于本领域技术人员来说是显而易见的。虽然在附图或权利要求书中以特定顺序描述了操作，但是这不应被理解为要求以所示的特定顺序或序列顺序来进行这些操作、或者要求进行所有所示的操作(一些操作可以被认为是可选的)以实现期望的结果。在某些情况下，多任务或并行处理(或多任务和并行处理的组合)可能是有利的，并且被认为是适当进行的。
此外，在先前描述的实现中各种系统模块和组件的分离或集成不应被理解为在所有实现中需要这样的分离或集成，并且应被理解为，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者打包成多个软件产品。
此外，任何要求保护的实现被认为至少适用于：计算机实现的方法；非暂态的计算机可读介质，其存储用于进行计算机实现的方法的计算机可读指令；以及计算机系统，其包括与硬件处理器互操作耦合的计算机存储器，该硬件处理器被配置为进行计算机实现的方法或存储在非暂态的计算机可读介质上的指令。

Claims (33)

1.一种计算机实现的方法，包括：
访问由在外科手术过程期间使用超声探测器对患者的区域进行术中声透射而获得的超声数据，其中，所述超声数据实时地对所述区域中的一个或多于一个骨骼结构的3D表面信息以及所述一个或多于一个骨骼结构相对于所述超声探测器的位置信息进行编码；
基于所述超声数据来提取所述一个或多于一个骨骼结构的第一3D表面表示；
访问由在所述外科手术过程之前对所述患者的所述区域进行非超声成像而获得的非超声成像数据，所述非超声成像数据包括所述区域中的所述一个或多于一个骨骼结构的3D表面解剖信息；
基于所述非超声成像数据来提取所述一个或多于一个骨骼结构的第二3D表面表示；
使用深度学习算法从所述第一3D表面表示中识别一个或多于一个感兴趣区域即一个或多于一个ROI，使得当在所述一个或多于一个感兴趣区域即一个或多于一个ROI上对准所述第一3D表面表示和所述第二3D表面表示的情况下，确定了空间变换；以及
基于应用所述空间变换，生成来自所述非超声成像数据的所述3D表面解剖信息在来自所述超声数据的所述3D表面信息上的叠加。
2.根据权利要求1所述的计算机实现的方法，其中，识别所述一个或多于一个ROI包括：
通过添加来自所述第一3D表面表示的、所述第一3D表面表示和所述第二3D表面表示高于第一阈值水平地相匹配的区，来使所识别的一个或多于一个ROI增长。
3.根据权利要求1所述的计算机实现的方法，其中，识别所述一个或多于一个ROI包括：
通过减去来自所述第一3D表面表示的、所述第一3D表面表示和所述第二3D表面表示高于第一阈值水平的区，来修剪所识别的一个或多于一个ROI。
4.根据权利要求1所述的计算机实现的方法，其中，识别所述一个或多于一个ROI包括：
训练所述深度学习算法以迭代地改进所述空间变换，使得所述空间变换在预定时间间隔内实现，以供在所述外科手术过程期间将来自所述超声数据的3D表面解剖信息实时叠加在所述非超声成像数据上。
5.根据权利要求4所述的计算机实现的方法，其中，所述深度学习算法包括：
调整所述一个或多于一个ROI的数量、所述一个或多于一个ROI的大小、所述一个或多于一个ROI的位置、用于确定所述第一3D表面表示和所述第二3D表面表示之间的匹配的第一阈值水平、以及用于确定所述第一3D表面表示和所述第二3D表面表示的噪声特性的第二阈值水平。
6.根据权利要求4所述的计算机实现的方法，其中，所述深度学习算法包括：
存储所述第一3D表面表示和所述第二3D表面表示趋于匹配的第一斑片模板。
7.根据权利要求4所述的计算机实现的方法，其中，所述深度学习算法包括：
基于针对所述超声数据和所述非超声成像数据其中至少之一的空间变换，修改所述第一3D表面表示和所述第二3D表面表示趋于匹配的第一ROI模板。
8.根据权利要求4所述的计算机实现的方法，其中，所述深度学习算法包括：
存储所述第一3D表面表示和所述第二3D表面表示趋于不匹配的第二斑片模板。
9.根据权利要求4所述的计算机实现的方法，其中，所述深度学习算法包括：
基于针对所述超声数据和所述非超声成像数据其中至少之一的空间变换，修改所述第一3D表面表示和所述第二3D表面表示趋于不匹配的第二ROI模板。
10.根据权利要求1所述的计算机实现的方法，还包括：
基于在所述一个或多于一个ROI上对准所述第一3D表面表示和所述第二3D表面表示，跟踪所述区域中的所述一个或多于一个骨骼结构在所述外科手术过程之前获得的非超声成像数据和在所述外科手术过程期间获得的超声数据之间的位移；以及
基于所述空间变换，对所述区域中的所述一个或多于一个骨骼结构在所述外科手术过程之前获得的非超声成像数据和在所述外科手术过程期间获得的超声数据之间的位移进行量化。
11.根据权利要求10所述的计算机实现的方法，还包括：
基于所跟踪的位移，在所述外科手术过程期间实时地更新对手术外科医生的导航引导，使得能够调整所述超声探测器的位置。
12.根据权利要求11所述的计算机实现的方法，还包括：
响应于在所述外科手术过程期间使所述超声探测器重新定位以对所述一个或多于一个骨骼结构进行声透射，刷新所述空间变换，使得更新来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面解剖信息上的叠加，其中，所述超声数据是从重新定位的超声探测器获得的。
13.根据权利要求1所述的计算机实现的方法，还包括：
在所述外科手术过程期间使用所述超声数据来跟踪装置的位置，其中所述装置包括外科手术器械、植入物或刺激器装置；以及
将所述装置的跟踪位置投影在所述叠加上，在该叠加中，来自所述非超声成像数据的所述一个或多于一个骨骼结构的3D表面信息叠加在来自所述超声数据的所述一个或多于一个骨骼结构的3D表面信息上。
14.根据权利要求1所述的计算机实现的方法，其中，提取所述第一3D表面表示包括：
基于应用如下的方法来确定组织-骨骼界面，该方法包括前向追踪方法或后阴影方法，其中，沿着超声传播方向进行该方法以确定组织-骨骼界面，以及其中，在不遇到来自组织-骨骼界面的混响的情况下进行该方法。
15.根据权利要求1所述的计算机实现的方法，其中，所述非超声成像数据包括：计算机断层扫描图像即CT图像或磁共振成像图像即MRI图像，其中，所述MRI图像包括：零回波时间MRI图像即零TE MRI图像，以及其中，所述计算机实现的方法是在不访问X射线荧光透视数据的情况下进行的。
16.根据权利要求1所述的计算机实现的方法，其中，所述区域包括脊柱区域、骨盆区域、骶骨区域或枕骨区域。
17.根据权利要求1所述的计算机实现的方法，其中，所述区域包括肱骨、肘、桡骨、尺骨、掌骨、指骨、肩胛骨、肋骨、髂骨翼、股骨、髌骨、胫骨、腓骨和跖骨其中至少之一。
18.根据权利要求1所述的计算机实现的方法，其中，所述区域包括肩、肘、腕、手、髋、膝、踝和脚其中至少之一。
19.根据权利要求1所述的计算机实现的方法，其中，所述区域包括用于对骨骼内、骨骼周围和骨骼表面上的一个或多于一个损伤进行活检的区。
20.根据权利要求1所述的计算机实现的方法，其中，所述区域包括用于软组织或激痛点注射、以及用于向以下各项中注射的一个或多于一个区：(i)用于关节穿刺术、小关节阻滞或关节造影术的关节、(ii)围绕至少一个肢体的一个或多于一个骨骼的囊或神经节、(iii)围绕关节的一个或多于一个韧带结构、(iv)包括所述患者的手或脚中的腕管和跗管的一个或多于一个结构管、或者(v)一个或多于一个肌腱。
21.一种系统，包括：
超声探测器，其能够操作以对患者的区域进行声透射；
显示装置，其能够在外科手术过程期间提供实时视觉反馈；以及
计算机处理器，其与所述超声探测器和所述显示装置通信，所述计算机处理器被配置为：
访问由在所述外科手术过程期间对所述患者的区域进行术中声透射而获得的超声数据，其中，所述超声数据实时地对所述区域中的一个或多于一个骨骼结构的3D表面信息以及所述一个或多于一个骨骼结构相对于所述超声探测器的位置信息进行编码；
基于所述超声数据来提取所述一个或多于一个骨骼结构的第一3D表面表示；
访问由在所述外科手术过程之前对所述患者的所述区域进行非超声成像而获得的非超声成像数据，该非超声成像数据包括所述区域中的所述一个或多于一个骨骼结构的3D表面解剖信息；
基于所述非超声成像数据来提取所述一个或多于一个骨骼结构的第二3D表面表示；
使用深度学习算法从所述第一3D表面表示中识别一个或多于一个感兴趣区域即一个或多于一个ROI，使得当在所述一个或多于一个感兴趣区域即一个或多于一个ROI上对准所述第一3D表面表示和所述第二3D表面表示的情况下，确定了空间变换；以及
基于应用所述空间变换，生成来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面信息上的叠加。
22.根据权利要求21所述的系统，其中，所述计算机处理器还被配置为：
在所述外科手术过程期间使用所述超声数据来跟踪外科手术器械的位置；以及
将所述外科手术器械的跟踪位置投影在所述叠加上，在该叠加中，来自所述非超声成像数据的所述一个或多于一个骨骼结构的3D表面信息叠加在来自所述超声数据的所述一个或多于一个骨骼结构的3D表面信息上，其中，所述外科手术器械能够操作以便于在所述外科手术过程期间将椎弓根螺钉、植入物或刺激器放置在所述区域中。
23.根据权利要求21所述的系统，其中，所述计算机处理器还被配置为：
基于在所述一个或多于一个ROI上对准所述第一3D表面表示和所述第二3D表面表示，跟踪所述区域中的所述一个或多于一个骨骼结构在所述外科手术过程之前获得的非超声成像数据和在所述外科手术过程期间获得的超声数据之间的位移；以及
基于所跟踪的位移，在所述外科手术过程期间实时地更新对手术外科医生的导航引导，使得能够调整所述超声探测器的位置。
24.根据权利要求21所述的系统，其中，所述显示装置被配置为实时地刷新来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面信息上的叠加，使得提供增强现实渲染以在所述外科手术过程期间对手术外科医生进行导航。
25.根据权利要求24所述的系统，其中，所述显示装置包括可穿戴装置，以及其中，所述超声探测器包括无线超声探测器。
26.根据权利要求21所述的系统，还包括：
跟踪系统，其被配置为在所述外科手术过程期间提供对所述超声探测器的实时跟踪信息，其中，在所述超声探测器的实时跟踪信息与所述一个或多于一个骨骼结构相对于所述超声探测器的位置信息相结合的情况下，所述超声探测器的实时跟踪信息能够转换为对手术外科医生在所述外科手术过程期间定位所述超声探测器的导航引导。
27.根据权利要求26所述的系统，其中，所述跟踪系统包括光学跟踪器、步进电机、电磁传感器、加速器和陀螺仪其中至少之一。
28.根据权利要求21所述的系统，其中，所述区域包括脊柱区域、骨盆区域、骶骨区域或枕骨区域。
29.根据权利要求21所述的系统，其中，所述区域包括肱骨、肘、桡骨、尺骨、掌骨、指骨、肩胛骨、肋骨、髂骨翼、股骨、髌骨、胫骨、腓骨和跖骨其中至少之一。
30.根据权利要求21所述的系统，其中，所述区域包括肩、肘、腕、手、髋、膝、踝和脚其中至少之一。
31.根据权利要求21所述的系统，其中，所述区域包括用于对骨骼内、骨骼周围和骨骼表面上的一个或多于一个损伤进行活检的一个或多于一个区。
32.根据权利要求21所述的系统，其中，所述区域包括用于软组织或激痛点注射、以及用于向以下各项中注射的一个或多于一个区：(i)用于关节穿刺术、小关节阻滞或关节造影术的关节、(ii)围绕至少一个肢体的一个或多于一个骨骼的囊或神经节、(iii)围绕关节的一个或多于一个韧带结构、(iv)包括所述患者的手或脚中的腕管和跗管的一个或多于一个结构管、或者(v)一个或多于一个肌腱。
33.一种计算机实现的方法，包括：
访问由使用超声探测器对患者的区域进行声透射而获得的超声数据，其中，所述超声数据实时地对所述区域中的一个或多于一个骨骼结构的3D表面信息以及所述一个或多于一个骨骼结构相对于所述超声探测器的位置信息进行编码；
基于所述超声数据来提取所述一个或多于一个骨骼结构的第一3D表面表示；
访问由对所述患者的所述区域进行非超声成像而获得的非超声成像数据，该非超声成像数据包括所述区域中的所述一个或多于一个骨骼结构的3D表面解剖信息；
基于所述非超声成像数据来提取所述一个或多于一个骨骼结构的第二3D表面表示；
使用深度学习算法从所述第一3D表面表示中识别一个或多于一个感兴趣区域即一个或多于一个ROI，使得当在所述一个或多于一个感兴趣区域即一个或多于一个ROI上对准所述第一3D表面表示和所述第二3D表面表示的情况下，确定了空间变换；以及
基于应用所述空间变换，生成来自所述非超声成像数据的3D表面解剖信息在来自所述超声数据的3D表面信息上的叠加。
CN202280032767.5A 2021-03-05 2022-03-04 放射导航的术中脊柱引导系统 Pending CN117241757A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163157483P 2021-03-05 2021-03-05
US63/157,483 2021-03-05
PCT/US2022/018959 WO2022187659A1 (en) 2021-03-05 2022-03-04 Radiologically navigated intra-operative spinal guidance system

Publications (1)

Publication Number Publication Date
CN117241757A true CN117241757A (zh) 2023-12-15

Family

ID=83155570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280032767.5A Pending CN117241757A (zh) 2021-03-05 2022-03-04 放射导航的术中脊柱引导系统

Country Status (9)

Country Link
US (1) US20240138818A1 (zh)
EP (1) EP4301268A1 (zh)
JP (1) JP2024510140A (zh)
KR (1) KR20240016247A (zh)
CN (1) CN117241757A (zh)
AU (1) AU2022231159A1 (zh)
CA (1) CA3209143A1 (zh)
IL (1) IL305327A (zh)
WO (1) WO2022187659A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6106464A (en) * 1999-02-22 2000-08-22 Vanderbilt University Apparatus and method for bone surface-based registration of physical space with tomographic images and for guiding an instrument relative to anatomical sites in the image
US6379302B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
JP5161427B2 (ja) * 2006-02-20 2013-03-13 株式会社東芝 画像撮影装置、画像処理装置及びプログラム
US8771188B2 (en) * 2007-06-20 2014-07-08 Perception Raisonnement Action En Medecine Ultrasonic bone motion tracking system
WO2013025613A1 (en) * 2011-08-12 2013-02-21 Jointvue, Llc 3-d ultrasound imaging device and methods
CA3194212A1 (en) * 2011-10-14 2013-04-18 Jointvue, Llc Real-time 3-d ultrasound reconstruction of knee and its implications for patient specific implants and 3-d joint injections
US10957010B2 (en) * 2019-08-07 2021-03-23 General Electric Company Deformable registration for multimodal images

Also Published As

Publication number Publication date
US20240138818A1 (en) 2024-05-02
CA3209143A1 (en) 2022-09-09
WO2022187659A9 (en) 2023-10-12
EP4301268A1 (en) 2024-01-10
WO2022187659A1 (en) 2022-09-09
JP2024510140A (ja) 2024-03-06
IL305327A (en) 2023-10-01
AU2022231159A1 (en) 2023-09-07
KR20240016247A (ko) 2024-02-06

Similar Documents

Publication Publication Date Title
US11304680B2 (en) Spinal image generation system based on ultrasonic rubbing technique and navigation positioning system for spinal surgery
US11819359B2 (en) Real-time 3-D ultrasound reconstruction of knee and its implications for patient specific implants and 3-D joint injections
US20230301633A1 (en) Ultrasound Bone Registration With Learning-Based Segmentation And Sound Speed Calibration
Pandey et al. Fast and automatic bone segmentation and registration of 3D ultrasound to CT for the full pelvic anatomy: a comparative study
Rasoulian et al. Feature‐based multibody rigid registration of CT and ultrasound images of lumbar spine
Gueziri et al. The state-of-the-art in ultrasound-guided spine interventions
CN105852971A (zh) 基于骨骼三维中点云的配准导航方法
Brudfors et al. Towards real-time, tracker-less 3D ultrasound guidance for spine anaesthesia
Tang et al. A CNN-based method to reconstruct 3-D spine surfaces from US images in vivo
Schumann State of the art of ultrasound-based registration in computer assisted orthopedic interventions
Brignol et al. Automatic extraction of vertebral landmarks from ultrasound images: A pilot study
Hacihaliloglu 3D ultrasound for orthopedic interventions
TWI836492B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
Krysztoforski et al. Noninvasive ultrasonic measuring system for bone geometry examination
US20240138818A1 (en) Radiologically navigated intra-operative spinal guidance system
US11452566B2 (en) Pre-operative planning for reorientation surgery: surface-model-free approach using simulated x-rays
TWI842001B (zh) 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統
US20230190377A1 (en) Technique Of Determining A Scan Region To Be Imaged By A Medical Image Acquisition Device
Hacihaliloglu Towards a novel minimally invasive three dimensional ultrasound imaging based computer assisted orthopaedic surgery system for bone fracture reduction
Kryvanos Computer assisted surgery for fracture reduction and deformity correction of the pelvis and long bones
Brat Comparison of three point-based techniques for fast rigid US-CT intraoperative registration for lumbar fusion
Han ADVANCED MOTION MODELS FOR RIGID AND DEFORMABLE REGISTRATION IN IMAGE-GUIDED INTERVENTIONS
WO2024132140A1 (en) Spine level determination using augmented reality
Shajudeen Ultrasound Three-Dimensional Surface Rendering with Elastography-based Fracture Localization of the Spine
IL310322A (en) Determining the level of the spine using augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination