CN116437866A - 用于基于计算的机器人臂位置生成图像的方法、装置和系统 - Google Patents

用于基于计算的机器人臂位置生成图像的方法、装置和系统 Download PDF

Info

Publication number
CN116437866A
CN116437866A CN202180068366.0A CN202180068366A CN116437866A CN 116437866 A CN116437866 A CN 116437866A CN 202180068366 A CN202180068366 A CN 202180068366A CN 116437866 A CN116437866 A CN 116437866A
Authority
CN
China
Prior art keywords
image
imaging device
robotic arm
path
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180068366.0A
Other languages
English (en)
Inventor
N·韦斯
Y·什马亚胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazor Robotics Ltd
Original Assignee
Mazor Robotics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazor Robotics Ltd filed Critical Mazor Robotics Ltd
Publication of CN116437866A publication Critical patent/CN116437866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/15—Transmission-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4218—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B25J9/0087—Dual arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8913—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using separate transducers for transmission and reception
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/899—Combination of imaging systems with ancillary equipment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3786—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument receiver only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3788—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument transmitter only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39083—Robot interference, between two robot arms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45117—Medical, radio surgery manipulator

Abstract

本发明提供了一种用于获得飞行时间图像的方法、装置和系统。可以接收外科手术计划，并且可以基于该外科手术计划确定用于第一机器人臂的第一路径和用于第二机器人臂的第二路径。可以使该第一机器人臂在该第一路径上移动并且该第一机器人臂可以被配置成保持换能器。可以使该第二机器人臂在该第二路径上移动并且该第二机器人臂可以被配置成保持接收器。可以从该接收器接收至少一个图像，该图像描绘患者解剖结构并且是使用飞行时间测量结果来生成的。

Description

用于基于计算的机器人臂位置生成图像的方法、装置和系统
相关申请的交叉引用
本申请要求于2021年7月14日提交的名称为“用于基于计算的机器人臂位置生成图像的方法、装置和系统(Method,Device,and System for Image Generation Based onCalculated Robotic Arm Positions)”的美国非临时申请第17/375,834号和于2020年10月6日提交的名称为“用于基于计算的机器人臂位置生成图像的方法、装置和系统”的美国临时申请第63/088,372号的权益，这些申请通过引用整体并入本文。
技术领域
本技术整体涉及获得图像，并且更具体地涉及基于计算或已知的机器人臂位置来获得图像。
背景技术
在外科手术之前和/或在外科手术期间获得的图像可以用于在外科手术之前执行配准，在外科手术期间验证配准，以及/或者确定患者的解剖特征的移动。这些图像可以在整个外科手术中获得，并且可能需要在手术期间多次激活成像装置。
发明内容
本公开的实施方案有利地提供从已知位置和定向获得图像，使得这些图像可以用于更新现有的3D模型以及/或者在整个外科手术中验证配准的准确性，使得向外科医生和/或外科手术机器人提供最新信息。进一步地，本公开的实施方案有益地防止了患者有害地暴露于多次重复辐射。
本公开的示例性方面包括：
一种根据本公开的一个实施方案的用于获得飞行时间图像的方法包括：接收外科手术计划；基于该外科手术计划确定用于第一机器人臂的第一路径和用于第二机器人臂的第二路径；使该第一机器人臂在该第一路径上移动，该第一机器人臂被配置成保持换能器；使该第二机器人臂在该第二路径上移动，该第二机器人臂被配置成保持接收器；以及从该接收器接收至少一个图像，该图像描绘患者解剖结构并且是使用飞行时间测量结果来生成的。
本文的各方面中的任一方面，还包括计算该接收器的所需压力幅度设置。
本文的各方面中的任一方面，其中该第一机器人臂在该第一路径上的移动与该第二机器人臂在该第二路径上的移动同步。
本文的各方面中的任一方面，其中该至少一个图像是三维模型。
本文的各方面中的任一方面，其中该外科手术计划包括关于该患者解剖结构的感兴趣区域的信息，并且进一步地，其中基于该信息确定该第一路径和该第二路径。
本文的各方面中的任一方面，其中该换能器是第一换能器，该方法还包括：确定用于第三机器人臂的第三路径；以及使该第三机器人臂在该第三路径上移动，该第三机器人臂保持第二换能器，其中该第一换能器具有不同于该第二换能器的图像设置。
本文的各方面中的任一方面，其中该图像设置是频率和/或幅度中的至少一者。
本文的各方面中的任一方面，其中该图像是弹性成像图像。
本文的各方面中的任一方面，其中该第一路径和该第二路径中的每个路径是体内路径或体外路径中的至少一个路径或者体内路径或体外路径的组合。
本文的各方面中的任一方面，其中该第一路径和该第二路径中的每个路径是圆形、平行或自由形状中的至少一者或者圆形、平行或自由形状的组合。
一种根据本公开的一个实施方案的用于基于外科手术计划获得飞行时间图像的装置包括：至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，这些指令当被执行时使该至少一个处理器：接收外科手术计划；基于该外科手术计划确定用于第一机器人臂的第一路径和用于第二机器人臂的第二路径；使该第一机器人臂在该第一路径上移动，该第一机器人臂保持换能器；使该第二机器人臂在该第二路径上移动，该第二机器人臂保持接收器；以及从该接收接收至少一个图像，该图像描绘患者解剖结构并且是使用飞行时间测量结果来生成的。
本文的各方面中的任一方面，其中该存储器存储用于由该处理器处理的另外的数据，该另外的数据当被处理时使该处理器计算该接收器的所需压力幅度设置。
本文的各方面中的任一方面，其中该第一机器人臂在该第一路径上的移动与该第二机器人臂在该第二路径上的移动同步。
本文的各方面中的任一方面，其中该至少一个图像是三维模型。
本文的各方面中的任一方面，其中该外科手术计划包括关于该患者解剖结构的感兴趣区域的信息，并且进一步地，其中基于该信息确定该第一路径和该第二路径。
本文的各方面中的任一方面，其中该换能器是第一换能器，并且其中该存储器存储用于由该处理器处理的另外的数据，该另外的数据当被处理时使该处理器：确定用于第三机器人臂的第三路径；以及使该第三机器人臂在该第三路径上移动，该第三机器人臂保持第二换能器，其中该第一换能器具有不同于该第二换能器的图像设置。
本文的各方面中的任一方面，其中该图像设置是频率和/或幅度中的至少一者。
本文的各方面中的任一方面，其中该图像是弹性成像图像。
本文的各方面中的任一方面，其中该第一路径和该第二路径中的每个路径是体内路径或体外路径中的至少一个路径或者体内路径或体外路径的组合。
一种根据本公开的一个实施方案的用于基于外科手术计划获得飞行时间图像的系统包括：成像装置，该成像装置包括换能器和接收器；多个机器人臂，该多个机器人臂中的第一机器人臂被配置成保持该换能器，并且该多个机器人臂中的第二机器人臂被配置成保持该接收器；至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，这些指令当被执行时使该至少一个处理器：接收外科手术计划；基于该外科手术计划确定用于第一机器人臂的第一路径和用于第二机器人臂的第二路径；使该第一机器人臂在该第一路径上移动，该第一机器人臂保持换能器；使该第二机器人臂在该第二路径上移动，该第二机器人臂保持接收器；以及从该接收器接收至少一个图像，该图像描绘患者解剖结构并且是使用飞行时间测量结果来生成的。
一种根据本公开的一个实施方案的用于更新患者解剖结构的三维(3D)模型的方法包括：接收患者解剖结构的3D模型；基于该患者解剖结构的该3D模型来计算成像装置对解剖特征进行成像的一个或多个位姿；从该一个或多个位姿中的每个位姿处的该成像装置接收图像，以产生用于该解剖特征的图像集；以及基于来自该图像集的至少一个图像和对应于该至少一个图像的位姿来更新该患者解剖结构的该3D模型中的该解剖特征的表示，以产生该患者解剖结构的更新的3D模型。
本文的各方面中的任一方面，其中计算该成像装置的该一个或多个位姿包括计算保持该成像装置的机器人臂的移动。
本文的各方面中的任一方面，其中机器人臂具有至少五个运动自由度。
本文的各方面中的任一方面，其中保持该成像装置的该机器人臂具有至少六个运动自由度。
本文的各方面中的任一方面，其中该成像装置是第一成像装置，并且该图像集可以是第一图像集。
本文的各方面中的任一方面，还包括：从一个或多个位姿处的第二成像装置成像装置接收图像以产生用于该解剖特征的第二图像集，以及更新该患者解剖结构的该3D模型中的该解剖特征的该表示进一步基于来自该第二图像集的至少一个图像和对应于该图像的位姿以产生该患者解剖结构的该更新的3D模型。
本文的各方面中的任一方面，其中该第一成像装置是超声探头，并且该第二成像装置是光学相干断层摄影相机。
本文的各方面中的任一方面，其中该第一成像装置由第一机器人臂保持，并且该第二成像装置由第二机器人臂保持。
本文的各方面中的任一方面，其中更新该患者解剖结构的该3D模型中的该解剖特征的该表示包括将软组织数据添加到该患者解剖结构的该3D模型。
本文的各方面中的任一方面，其中从光学相干断层摄影相机获得该软组织数据。
本文的各方面中的任一方面，其中计算该一个或多个位姿是基于该成像装置的一个或多个特性。
本文的各方面中的任一方面，其中该患者解剖结构的该3D模型包括一个或多个伪影，可以基于该一个或多个伪影来计算该一个或多个位姿，并且该患者解剖结构的该更新的3D模型可以不包括该一个或多个伪影。
本文的各方面中的任一方面，其中该成像装置的该一个或多个位姿形成该成像装置的第一组位姿。
本文的各方面中的任一方面，还包括：计算该成像装置的第二组位姿；从该第二组位姿中的每个位姿处的该成像装置接收更新的图像以产生更新的图像集；以及使用来自该更新的图像集的至少一个更新的图像并且基于来自该第二组位姿的对应于该至少一个更新的图像的位姿来更新该患者解剖结构的该更新的3D模型。
本文的各方面中的任一方面，其中更新该患者解剖结构的该更新的3D模型在该更新的3D模型被确定为缺失信息时发生。
本文的各方面中的任一方面，其中该第二组位姿中的至少一个位姿匹配该第一组位姿中的至少一个位姿。
本文的各方面中的任一方面，还包括将来自该更新的图像集的至少一个更新的图像与该图像集的至少一个图像进行比较，以标识在该至少一个图像中描绘的解剖特征的移动。
本文的各方面中的任一方面，还包括至少部分地基于该更新的图像来确定该解剖特征的位置和定向中的至少一者。
本文的各方面中的任一方面，其中该成像装置是第一成像装置，并且该方法还包括：利用该第一成像装置获得这些图像中的至少第一图像，该第一成像装置由该机器人臂保持在该一个或多个位姿中的对应的第一位姿；以及利用第二成像装置获得这些图像中的至少第二图像，该第二成像装置由该机器人臂保持在该一个或多个位姿中的对应的第二位姿。
本文的各方面中的任一方面，其中该机器人臂是第一机器人臂，并且该成像装置包括由该第一机器人臂保持的发射器。
本文的各方面中的任一方面，其中该成像装置还包括由具有至少五个运动自由度的第二机器人臂保持的检测器。
本文的各方面中的任一方面，其中用于该成像装置对该解剖特征进行成像的该一个或多个位姿包括用于该发射器和该检测器两者的一个或多个位姿。
本文的各方面中的任一方面，其中该成像装置是第一成像装置，并且该机器人臂是第一机器人臂。
本文的各方面中的任一方面，其中该第一成像装置独立于由第二机器人臂保持的第二成像装置获得这些图像中的第二图像而获得这些图像中的第一图像。
一种根据本公开的至少一个实施方案的用于更新三维(3D)模型的装置包括：至少一个处理器；以及至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，这些指令当被执行时使该至少一个处理器：接收患者解剖结构的3D模型；基于该患者解剖结构的该3D模型来计算成像装置对解剖特征进行成像的一个或多个位姿；从该一个或多个位姿中的每个位姿处的该成像装置接收图像，以产生用于该解剖特征的图像集；并且基于来自该图像集的至少一个图像和对应于该至少一个图像的位姿来更新该患者解剖结构的该3D模型中的该解剖特征的表示，以产生该患者解剖结构的更新的3D模型。
一种根据本公开的至少一个实施方案的用于更新三维(3D)模型的系统包括：至少一个成像装置；多个机器人臂，所述多个机器人臂中的至少一个臂被配置成保持所述至少一个成像装置；至少一个处理器；以及至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，这些指令当被执行时使该至少一个处理器：接收患者解剖结构的3D模型；基于该患者解剖结构的该3D模型计算该至少一个成像装置对解剖特征进行成像的一个或多个位姿；从该一个或多个位姿中的每个位姿处的该至少一个成像装置接收图像，以产生用于该解剖特征的图像集；并且基于来自该图像集的至少一个图像和对应于该至少一个图像的位姿来更新该患者解剖结构的该3D模型中的该解剖特征的表示，以产生该患者解剖结构的更新的3D模型。
本文的各方面中的任一方面，其中该至少一个成像装置包括多个成像装置，并且该多个机器人臂中的至少一个臂被配置成选择性地保持该多个成像装置中的每个成像装置。
本文的各方面中的任一方面，其中该多个机器人臂中的该至少至少一个臂被配置成将该至少一个成像装置移动到该一个或多个位姿。
本文的各方面中的任一方面，其中该多个机器人臂包括第一臂和第二臂。
本文的各方面中的任一方面，其中该第一臂被配置成独立于该第二臂定位外科手术工具或该至少一个成像装置中的第二成像装置而摆放该至少一个成像装置中的第一成像装置。
一种根据本公开的至少一个实施方案的用于基于外科手术计划获得图像的方法包括：接收外科手术计划；标识用于该外科手术计划的图像信息；确定成像装置的位姿以获得所标识的图像信息；基于该计划和该位姿确定该成像装置的至少一个设置以获得所标识的图像信息；以及使用所确定的至少一个设置从所确定的位姿处的所标识的成像装置接收图像。
本文的各方面中的任一方面，还包括：从所获得的图像提取用于该外科手术计划的所标识的图像信息。
本文的各方面中的任一方面，其中该图像是在执行该外科手术计划之前获得的。
本文的各方面中的任一方面，其中该图像是在该外科手术计划的两个步骤之间获得的。
本文的各方面中的任一方面，其中确定该至少一个设置是基于该成像装置的至少一个特性或该外科手术计划。
本文的各方面中的任一方面，还包括：基于该外科手术计划计算该图像中描绘的解剖特征的至少一个预测的移动；基于该预测的移动确定该成像装置的更新的位姿；从该更新的位姿处的该成像装置接收更新的图像；以及基于该更新的图像与对应图像的比较来验证该预测的移动。
本文的各方面中的任一方面，还包括：确定用于该成像装置的至少一个更新的设置，其中该更新的图像反映该至少一个更新的设置的使用。
本文的各方面中的任一方面，其中该更新的位姿匹配该位姿。
本文的各方面中的任一方面，还包括：基于该更新的图像标识关于该解剖特征的新信息。
本文的各方面中的任一方面，其中该新信息包括以下中的一者或多者：该解剖特征的位置和/或定向的变化、该解剖特征的表面特性的变化、该解剖特征的大小的变化、或该解剖特征与外科手术植入物的接合。
本文的各方面中的任一方面，其中该外科手术计划包括关于至少一个伪影的信息。
本文的各方面中的任一方面，其中该位姿可以基于该信息来计算，并且所获得的图像不包括该至少一个伪影。
本文的各方面中的任一方面，其中该外科手术计划包括患者解剖结构的三维(3D)模型，并且该方法还包括基于所获得的图像并且基于对应的位姿来更新该3D模型以产生更新的3D模型。
本文的各方面中的任一方面，其中确定该位姿进一步基于该3D模型。
本文的各方面中的任一方面，其中该3D模型包括关于一个或多个伪影的信息，基于该信息计算该位姿，并且所获得的图像不包括该一个或多个伪影。
本文的各方面中的任一方面，其中计算该位姿是基于该成像装置的一个或多个特性。至少一个机器人臂可以将该成像装置支撑处于该位姿。
一种根据本公开的至少一个实施方案的用于基于外科手术计划获得图像的方法包括：接收外科手术计划；标识用于该外科手术计划的图像信息；基于该计划确定成像装置的至少一个设置以获得所标识的图像信息；基于该计划和该至少一个设置确定该成像装置的位姿以获得所标识的图像信息；以及使用所确定的至少一个设置从所确定的位姿处的该成像装置接收图像。
一种根据本公开的至少一个实施方案的用于基于外科手术计划获得图像的方法包括：基于该外科手术计划计算在第一图像中描绘的解剖特征的至少一个预测的移动；基于该预测的移动确定该成像装置的位姿；从该位姿处的该成像装置接收第二图像；以及基于该第二图像与该第一图像的比较来验证该预测的移动。
一种根据本公开的至少一个实施方案的用于基于外科手术计划获得图像的方法包括：接收外科手术计划；标识用于该外科手术计划的图像信息；接收关于成像装置的至少一个设置的设置信息；基于该外科手术计划和该设置信息确定该成像装置的位姿以获得所标识的图像信息；以及使用该至少一个设置从处于所确定的位姿的该成像装置接收图像。
一种根据本公开的至少一个实施方案的用于基于外科手术计划获得图像的装置包括：至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，这些指令当被执行时使该至少一个处理器：接收外科手术计划；标识用于该外科手术计划的图像信息；确定成像装置的位姿以获得所标识的图像信息；基于该计划和该位姿确定该成像装置的至少一个设置以获得所标识的图像信息；以及使用所确定的至少一个设置从所确定的位姿处的所标识的成像装置接收图像。
一种根据本公开的至少一个实施方案的用于基于外科手术计划获得图像的系统包括：至少一个成像装置；多个机器人臂，所述多个机器人臂中的至少一个臂被配置成保持所述至少一个成像装置；至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，这些指令当被执行时使该至少一个处理器：接收外科手术计划；标识用于该外科手术计划的图像信息；确定该至少一个成像装置的位姿以获得所标识的图像信息；基于该计划和该位姿确定该至少一个成像装置的至少一个设置以获得所标识的图像信息；以及使用所确定的至少一个设置从所确定的位姿处的所标识的成像装置接收图像。
本文的各方面中的任一方面，其中该至少一个成像装置包括多个成像装置，并且该至少一个臂可以被配置成选择性地保持该多个成像装置中的每一个装置。
本文的各方面中的任一方面，其中该至少一个臂被配置成将该至少一个成像装置移动到该一个或多个位姿。
本文的各方面中的任一方面，其中该多个机器人臂包括第一臂和第二臂，并且该方法还包括：利用由该第一臂保持在该一个或多个位姿中的一个位姿的第一成像装置来获得至少第一图像；以及利用由该第一臂或该第二臂保持在该一个或多个位姿中的另一个位姿的第二成像装置获得至少第二图像。
本文的各方面中的任一方面，其中该多个臂包括第一臂和第二臂，该至少一个成像装置包括第一成像装置和第二成像装置，并且该第一臂被配置成独立于该第二臂定位外科手术工具或该第二成像装置来定位该第一成像装置。
一种根据本公开的至少一个实施方案的用于模型配准的方法包括：接收患者的解剖部分的3D模型；基于该3D模型计算至少一个成像装置的一个或多个位姿；从该一个或多个位姿中的每个位姿处的该至少一个成像装置接收图像以产生图像集，每个图像描绘该患者的至少一个解剖特征；至少部分地基于该一个或多个位姿将每个图像中的该至少一个解剖特征与该3D模型中的对应解剖特征对准；以及基于该对准将图像空间与患者空间配准。
本文的各方面中的任一方面，其中计算该至少一个成像装置的该一个或多个位姿包括计算保持该至少一个成像装置的机器人臂的移动。
本文的各方面中的任一方面，其中机器人臂具有至少五个运动自由度。
本文的各方面中的任一方面，还包括使机器人臂将该成像装置定向在该一个或多个位姿中的每个位姿。
本文的各方面中的任一方面，其中该至少一个成像装置不发射电离辐射。
本文的各方面中的任一方面，其中该对准使用特征识别、人工智能、机器学习或位姿信息中的一者或多者。
本文的各方面中的任一方面，还包括通过评估该对准来验证该配准，并且当该对准揭示解剖特征的成像位置与该解剖特征在该3D模型中的位置之间的差异时确定该配准是无效的。
本文的各方面中的任一方面，其中该图像集是第一图像集，并且该方法还包括：从这些位姿中的一个或多个位姿处的该至少一个成像装置获得更新的图像以产生第二图像集；以及将该第二图像集中的每个更新的图像与来自该第一图像集的对应图像进行比较，以确定该解剖特征的移动。
本文的各方面中的任一方面，其中基于该第二图像集将该图像空间与该患者空间重新配准。
本文的各方面中的任一方面，其中该3D模型是利用第一图像模态创建的，并且该至少一个成像装置是不同于该第一图像模态的第二图像模态。
本文的各方面中的任一方面，其中该至少一个成像装置是超声探头或光学相干断层摄影相机。
本文的各方面中的任一方面，其中该超声探头的检测器和该超声探头的发射器各自通过单独的机器人臂彼此保持一定距离并且彼此相对，并且该方法还包括基于该距离以及该发射器发射超声信号与该检测器检测该信号之间的持续时间来确定该信号的飞行时间。
本文的各方面中的任一方面，其中在没有基准标记的情况下将该第一图像空间与该患者空间配准。
一种根据本公开的至少一个实施方案的用于模型配准的装置包括：至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，这些指令当被执行时使该至少一个处理器：接收患者的解剖部分的3D模型；基于该3D模型计算至少一个成像装置的一个或多个位姿；从该一个或多个位姿中的每个位姿处的该至少一个成像装置接收图像以产生图像集，每个图像描绘该患者的至少一个解剖特征；至少部分地基于该一个或多个位姿将每个图像中的该至少一个解剖特征与该3D模型中的对应解剖特征对准；并且基于该对准将图像空间与患者空间配准。
一种根据本公开的至少一个实施方案的用于配准验证的方法包括：计算成像装置的一个或多个第一位姿；计算该成像装置的一个或多个第二位姿；在第一时间段期间，从该一个或多个第一位姿中的每个位姿处的成像装置接收第一图像以产生第一图像集，每个第一图像描绘至少一个解剖特征；以及在该第一时间段之后的第二时间段期间，从该一个或多个第二位姿中的每个位姿处的成像装置接收第二图像以产生第二图像集，每个第二图像描绘至少一个解剖特征。
本文的各方面中的任一方面，其中该计算一个或多个第一位姿是至少部分地基于关于患者的解剖结构的信息。
本文的各方面中的任一方面，其中该计算一个或多个第二位姿至少部分地基于外科手术计划。
本文的各方面中的任一方面，还包括：基于该第一图像集和该第二图像集来确定在这些第一图像中的一个或多个第一图像以及这些第二图像中的一个或多个第二图像中描绘的解剖特征从该第一时间段到该第二时间段是否保持处于同一位姿。
一种根据本公开的至少一个实施方案的用于模型配准的系统包括：至少一个成像装置；多个机器人臂，所述多个机器人臂中的至少一个臂被配置成保持所述至少一个成像装置；至少一个处理器；和至少一个存储器，该至少一个存储器存储用于由该至少一个处理器执行的指令，这些指令当被执行时使该至少一个处理器：接收患者的解剖部分的3D模型；基于该3D模型计算该至少一个成像装置的一个或多个位姿；从该一个或多个位姿中的每个位姿处的该至少一个成像装置接收图像以产生图像集，每个图像描绘该患者的至少一个解剖特征；至少部分地基于该一个或多个位姿将每个图像中的该至少一个解剖特征与该3D模型中的对应解剖特征对准；以及基于该对准将图像空间与患者空间配准。
本文的各方面中的任一方面，其中该至少一个成像装置包括多个成像装置，并且该多个机器人臂中的至少一个臂被配置成选择性地保持该多个成像装置中的每个成像装置。
本文的各方面中的任一方面，其中该多个机器人臂中的该至少一个臂被配置成将该至少一个成像装置按顺序移动到该一个或多个位姿。
本文的各方面中的任一方面，其中该多个机器人臂包括第一臂和第二臂，并且该系统还包括利用由该第一臂保持在该一个或多个位姿中的一个位姿的第一成像装置来获得这些第二图像中的至少一个图像；以及利用由该第一臂或该第二臂保持在该一个或多个位姿中的另一个位姿的第二成像装置来获得这些第二图像中的至少另一个图像。
本文的各方面中的任一方面，其中该多个臂包括第一臂和第二臂，并且该第一臂被配置成独立于该第二臂定位外科手术工具或该至少一个成像装置中的第二成像装置而定位该至少一个成像装置中的第一成像装置。
本公开的一个或多个方面的细节在以下附图和描述中阐述。根据说明书和附图以及权利要求书，本公开中描述的技术的其他特征、目标和优点将是显而易见的。
短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。例如，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起，或A、B和C一起。当上述表述中的A、B和C中的每一个都指代诸如X、Y和Z的一个元素或诸如X1-Xn、Y1-Ym和Z1-Zo的一类元素时，短语意指选自X、Y和Z的单个元素、选自同一类的元素(例如X1和X2)的组合以及选自两个或更多类的元素(例如Y1和Zo)的组合。
术语“一(a/an)”实体指所述实体中的一个或多个。如此，术语“一(a/an)”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意，术语“包括(comprising/including)”、和“具有”可以可互换地使用。
前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开和其各个方面、实施方案和配置的广泛性概述也不是详尽性概述。其既不旨在识别本公开的关键或重要要素，也不旨在描绘本公开的范围，而是以简化形式呈现本公开的所选概念，作为对下文呈现的更详细描述的介绍。如应了解，本公开的其他方面、实施方案和配置可能单独或以组合方式利用上文所阐述或下文所详细描述的特征中的一个或多个。
在考虑下文提供的实施方案描述之后，本发明的许多额外特征和优点对于本领域技术人员将变得显而易见。
附图说明
附图并入并形成本说明书的一部分以示出本公开的几个示例。这些附图连同描述一起解释本公开的原理。附图仅示出如何进行和使用本公开的优选和替代性示例，且不应解释为仅将本公开限制于所示出和所描述的示例。另外的特征和优点将根据以下对本公开的各个方面、实施方案和配置的更详细描述变得显而易见，如通过以下所参考的图式所示出。
图1为根据本公开的至少一个实施方案的系统的框图；
图2为根据本公开的至少一个实施方案的方法的流程图；
图3为根据本公开的至少一个实施方案的方法的另一个流程图；
图4为根据本公开的至少一个实施方案的方法的另外的流程图；
图5为根据本公开的至少一个实施方案的方法的另一个流程图；
图6为根据本公开的至少一个实施方案的方法的另外的流程图；
图7为根据本公开的至少一个实施方案的方法的另一个流程图；并且
图8为根据本公开的至少一个实施方案的方法的另一个流程图。
具体实施方式
应当理解，可将本文所公开的各个方面以与说明书和附图中具体给出的组合不同的组合进行组合。还应理解，取决于示例或实施方案，本文中所描述的过程或方法中的任一个的某些动作或事件可以不同的序列执行，和/或可添加、合并或完全省略(例如，根据本公开的不同实施方案，执行所公开技术可能不需要所有描述的动作或事件)。另外，出于清晰的目的，虽然本公开的某些方面被描述为由单个模块或单元执行，但应理解，本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。
在一个或多个示例中，所描述方法、过程和技术可以硬件、软件、固件或其任何组合实施。如果在软件中实现，则功能可作为一个或多个指令或代码存储在计算机可读介质上并由基于硬件的处理单元执行。计算机可读介质可包括非暂态计算机可读介质，其对应于有形介质，诸如数据存储介质(例如，RAM、ROM、EEPROM、闪存存储器，或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。
指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器(例如，Intel Core i3、i5、i7或i9处理器；Intel Celeron处理器；Intel Xeon处理器；Intel Pentium处理器；AMD Ryzen处理器；AMD Athlon处理器；AMD Phenom处理器；Apple A10或10X Fusion处理器；Apple A11、A12、A12X、A12Z或A13 Bionic处理器；或任何其他通用微处理器)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路系统。因此，如本文所用的术语“处理器”可指前述结构或适于实现所描述的技术的任何其他物理结构中的任一种。另外，本技术可在一个或多个电路或逻辑元件中完全实现。
在详细地解释本公开的任何实施方案之前，应当理解，本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和部件布置。本公开能够具有其他实施方案并且能够以各种方式实践或进行。同样，应理解，本文中所使用的措词和术语是出于描述的目的且不应视为是限制性的。本文中使用“包括(including/comprising)”、或“具有”以及其变化形式意在涵盖其后列出的项目和其等效物以及额外项目。此外，本公开可使用示例来示出其一个或多个方面。除非另有明确说明，否则使用或列出一个或多个示例(其可由“例如(for example)”、“借助于示例”、“例如(e.g.)”、“如”或类似语言指示)不旨在且并不限制本公开的范围。
在一些应用中，成像装置可以用于在外科手术之前或期间获得图像。然而，在一些情况下，成像装置可以在整个手术期间将患者(具体地，儿科患者)多次暴露于有害辐射。在其他应用中，在外科手术期间拍摄的图像可能难以与术前图像相关或匹配。此类困难可能导致操作时间增加，因为图像被手动地或迭代地匹配到术前图像。在另外的应用中，通常在机器人外科手术期间使用的成像装置被优化用于对硬组织或软组织成像，但不是对两者都成像，并且因此限于某些类型的操作。本文所讨论的若干实施方案提供使用机器人系统的改进的成像以及在操作期间的改进的配准验证和/或图像更新。
而且，用于配准和相关成像的现有成像装置(如O型臂和C型臂)往往是大且笨重的。此类装置的使用可能需要从患者和/或从手术台移除一个或多个装置、工具、标记和/或在外科手术程序中使用的其他对象。因此，此类装置的使用，具体地在外科手术程序开始后此类装置的使用是不利的。使用此类装置完成重新配准程序所需的时间不是不显著的，特别是当必须清除成像装置的空间以使得成像装置可以适当地定位以获得所需图像时。此外，考虑到外科手术程序持续的时间越长，该程序变得越昂贵(无论在实际成本、机会成本和/或对患者的影响方面)。
在导航和机器人脊椎外科手术期间的一个挑战是，由于外科手术活动或患者移动，椎骨可能在外科手术期间移动，这可能负面影响在外科手术的较早阶段执行的配准的准确性。可以使用辅助导航参考系来警告此类移动。然而，这些参考系是侵入性的和庞大的，并且它们的使用限于单个远程定位。
提供了一种用于配准验证而对外科医生接近外科手术区域没有影响或影响最小的无创系统和方法。该系统包括机器人臂、超声探头和控制单元。在初始配准期间，该系统使超声探头准确地处于一个或多个位置并且记录来自这些位置的超声描记图像。在配准敏感步骤之前，机器人系统从相同位置重新拍摄超声或超声描记图像，并将它们与配准时间图像进行比较以证明配准影响。
本公开的实施方案可以包括根据初始3D扫描(例如，CT或超声扫描)和/或外科手术计划来计算有效且可行的超声(或其他成像模态)成像位置；将超声或其他成像探头准确地定位在期望的位置和定向(即，位姿)；在配准之后立即实施超声(或其他成像模态)记录序列；在配准依赖性步骤之前实施超声(或其他成像模态)记录序列；以及/或者比较两个记录的图像以获得移动的证据。
在一些实施方案中，该系统可以基于局部3D重建来提供更新的局部配准矩阵。
此类可靠的配准准确度监测使得能够支持高级机器人使用情况，包括例如减压、长构造和非全身麻醉程序。
与外科手术(包括例如用于儿科患者的脊柱外科手术)相关的另一挑战是由涉及CT扫描和荧光检查或术中CT扫描的方法引起的辐射暴露。因此，作为一个示例，需要一种用于儿科脊柱外科手术的无辐射方法。超声是可以用于配准的一种类型的无辐射成像模态，但是超声限于允许骨结构的窄可见窗口，并且可能需要手动界标标识或共同标识的基准。
如本文所述的无辐射工作流程或方法的实施方案包括使用术前MRI扫描用于程序规划(其可以涉及使用骨骼增强方法)。在外科手术期间，使用机器人操纵的超声探头(或其他成像探头)来扫描脊柱区域。利用机器人的多个(例如，七个)自由度沿着3维路径移动超声探头(或其他成像探头)，计算该路径以最大化通过脊椎结构可获得的脊椎解剖结构细节。可以迭代地计算一个或多个另外的路径或对路径的修改，以解决脊柱区域的任何剩余模糊性。因此，此工作流程或方法没有辐射并且没有界标和/或基准。尽管以上针对脊柱程序进行了描述，但是类似的工作流程或方法可以用于对解剖结构的其他部分进行成像。
利用超声探头捕获的图像可以用于术前模型的迭代3D重建。解析来自不同投影和距离的每个体素和几何距离不一致的灰度级的方法可以被用作重建的一部分。配准模糊可以通过其迭代评估和解析其所需的另外的超声图像的计算来解析。在一些实施方案中，两个机器人臂可以用于通过将源和检测器各自放置在单独的机器人臂上来采用基于飞行时间或吸收的超声成像。
取决于所使用的频率和探头，三维超声成像可能需要大且昂贵的探头来重建有限的体积。在许多临床场景中，需要生成用于不规则形状体积或大于超声覆盖足迹的体积的3D超声图像。此类成像可能需要通过有限的可视化端口和小的孔口发生。进一步地，3D重建方法可能需要基准标记，或者可能限于利用或允许有限(如果有的话)探针移动的方法。
本文描述了不含成像体积制备或标记或特定探针技术的各种解决方案。在一个实施方案中，例如，系统包括控制单元和具有精确位置感测和多个(例如，七个)自由度的一个或多个机器人臂。每个臂保持成像超声探头(或其他成像探头或装置)。每个超声描记(或其他)探针可以是2D或3D、A线、线性、弯曲的，或包括相控阵列。在使用期间，用户指示待成像的体积。在一些实施方案中，该系统可以结合允许身体表面重建的光学3D相机。在其他实施方案中，可以通过共同配准的3D成像(例如，CT或MRI成像)来提供身体轮廓。该系统基于每个成像探头的已知特性来计算覆盖目标体积的探头移动路径。如果是外部的，则可以验证路径与皮肤相适应。该系统使机器人臂在感兴趣体积周围移动探针，并且基于来自每个探针的已知灰度决定因素重建3D图像。该系统还可以标识重建体积中的缺失区域，并且计算用于探针的一个或多个路径以提供缺失信息。该系统还可以为每个体素分配标准化灰度值，并且可以将校准过程应用于每个探针。
在超声描记成像中，为了获得非常高分辨率的图像，需要应用相对高的超声频率，并且所得到的成像深度相对有限。例如，关于脊柱外科手术，探针必须相当接近骨骼。这在骨结构附近可能是有问题的，因为高频超声波可能使骨骼和邻近组织加热到可能导致组织损伤的程度。
光学相干断层摄影(OCT)是具有非常高分辨率能力的实时成像技术。此技术基于可见光，并且因此是无电离辐射的并且不引起组织加热。例如，配备有OCT成像设备的机器人控制臂可以在接近骨结构处执行成像，而不会像超声成像的情况那样不利地加热该区域，同时获得优良的图像分辨率。另外，通过利用OCT相机或探头的已知精确定位和定向(由于使用机器人控制的臂)拍摄多个图像，多个图像可以被配准并且用于生成成像对象的3D体积重建。
因此，根据本公开的一些实施方案的系统包括具有保持OCT相机的机器人臂和控制单元的机器人系统。该系统将OCT相机放置在待成像的组织附近。OCT相机可以有益地提供OCT相机的视场中的任何结构、器官和/或血管的非常详细的成像信息。例如，使用OCT相机图像，该系统可以确定骨骼在组织内的精确深度，以便其他机器人控制工具的更准确地穿透，或者警告附近是否存在血管。该系统可以在任何期望的时间量内生成连续实时成像，具有优良的图像质量并且没有辐射或加热问题。该系统还可以生成2D图像，或者甚至重建3D体积，因为该系统具有针对每个2D图像的OCT相机的精确定位和定向(由于使用机器人臂)以完成3D体积渲染或重建。
在超声描记成像的其他应用中，换能器和接收器可以彼此相对地定位以获得飞行时间(ToF)图像。用于声波的ToF提供快速、无辐射、无对比度和信息独特的组织敏感成像技术。使用各种扫描技术(如除了回波成像之外的ToF成像)可以添加各种信息源。与回波成像相比，ToF成像可以对高衰减元件(例如，骨骼)较不敏感，因为对于ToF成像，波仅穿过解剖元件一次，而不是两次(如对于回波成像)，因此该波的衰减被减小。换句话说，利用回波成像，高衰减元件(例如，骨骼)可以“掩蔽”位于它们后面的元件，而利用ToF成像，可以捕获在高衰减元件(例如，骨骼)后面的解剖元件，并且在最终重建图像中看到这些解剖元件。ToF测量往往需要换能器和接收器彼此相对的精确定位，同时保持无空气(或基本上无空气)路径。三维ToF可能进一步需要换能器和接收器的同时移动。身体或器官表面的移动路径可以是非圆形的。非圆形路径可以是另一个优点，因为它可以在可能的情况下减少信号衰减，提供更好的信噪比和更好的临床图像结果。
因此，根据本公开的一些实施方案的用于3-D ToF计算机断层摄影(CT)的系统可以包括控制单元和具有至少两个臂的机器人系统，其中这些臂中的一个臂保持换能器并且这些臂中的另一个臂保持接收器。该系统可以基于配准的预采集扫描或实时光学扫描以及所感兴趣区域的指示来计算扫描移动计划。该系统可以使用体内路径或体外路径，或体内路径和体外路径的组合。该系统可以使用圆形、平行或自由形状的路径。待使用的频率可以由用户选择或由系统基于已知组织组成推荐。该系统可以计算所需的压力幅度以实现声波的所需穿透。该系统可以沿着被扫描的身体同步地移动换能器和接收器。该系统还可以执行如在本公开的一些实施方案中描述的2D或3D重建。在一些实施方案中，该系统还可以提供弹性成像性成像或其他超声描记成像技术，如超声相位对比(用于体内缓慢变化的结构的检测或热成像)或声学非线性参数的测量，或超声多普勒成像。在一些实施方案中，该系统可以通过同时使用具有不同频率和幅度的多个换能器来提供任何类型的成像。
首先转向图1，示出了根据本公开的至少一个实施方案的系统100的框图。该系统100可以用于获得和处理图像数据；执行本文所述的方法中的一种或多种方法；执行图像处理算法、位姿算法、配准算法、图像更新或比较算法、和/或模型更新或比较算法；和/或执行本文所公开的方法中的一种或多种方法的一个或多个其他方面。系统100包括计算装置102、一个或多个成像装置112、导航系统114和/或机器人130。根据本公开的其他实施方案的系统可以包括比系统100更多或更少的部件。例如，系统100可以不包括导航系统114或计算装置102的一个或多个部件。
计算装置102包括处理器104、存储器106、通信接口108和用户界面110。根据本公开的其他实施方案的计算装置可以包括比计算装置102更多或更少的部件。
计算装置102的处理器104可以是本文所述的任何处理器或任何类似的处理器。处理器104可以被配置成执行存储在存储器106中的指令，这些指令可以使处理器104利用或基于从成像装置112、机器人130和/或导航系统114接收的数据来执行一个或多个计算步骤。
存储器106可以是或包括RAM、DRAM、SDRAM、其他固态存储器、本文所述的任何存储器或用于存储计算机可读数据和/或指令的任何其他有形的非暂态存储器。存储器106可以存储用于完成例如本文所描述的方法200、300、400、500、600、700或800或任何其他方法的任何步骤的信息或数据。存储器106可以存储例如一个或多个图像处理算法120、一个或多个位姿算法122、一个或多个配准算法124、一个或多个图像更新或比较算法126、一个或多个模型更新或比较算法128，和/或一个或多个外科手术计划134。在一些实施例中，此类指令或算法可被组织成一个或多个应用、模块、包、层或引擎。算法和/或指令可以使处理器104操纵存储在存储器106中的和/或从成像装置112和/或机器人130接收的数据。
计算装置102也可以包括通信接口108。通信接口108可以用于从外部源(如成像装置112、导航系统114和/或机器人130)接收图像数据或其他信息，和/或用于向外部系统或装置(例如，另一计算装置102、导航系统114、成像装置112和/或机器人130)传输指令、图像或其他信息。通信接口108可以包括一个或多个有线接口(例如，USB端口、以太网端口、火线端口)和/或一个或多个无线收发器或接口(被配置成例如经由例如802.11a/b/g/n、蓝牙、NFC、紫峰等一个或多个无线通信协议传输和/或接收信息)。在一些实施方案中，通信接口108可以用于使装置102能够与一个或多个其他处理器104或计算装置102通信，无论是减少完成计算密集型任务所需的时间还是出于任何其他原因。
计算装置102也可以包括一个或多个用户界面110。用户界面110可以是或包括键盘、鼠标、轨迹球、显示器、电视、触摸屏以及/或者用于从用户接收信息和/或用于向用户提供信息的任何其他装置。用户界面110可以用于：例如，接收用户选择或关于接收图像数据、一个或多个图像和/或一个或多个3D模型的其他用户输入；接收关于接收外科手术计划的用户选择或其他用户输入；接收关于确定第一机器人臂的第一位姿和第二机器人臂的第二位姿的用户选择或其他用户输入；接收关于标识执行外科手术计划所需的图像信息的用户选择或其他用户输入；接收关于标识获得所标识的图像信息所需的成像装置112的用户选择或其他用户输入；接收关于确定所标识的成像装置112的至少一个设置的用户选择或其他用户输入；接收关于计算成像装置112的一个或多个位姿的用户选择或其他用户输入；接收关于计算一个或多个第二位姿的用户选择或其他用户输入；接收关于确定成像装置112的一个或多个位姿的用户选择或其他用户输入；接收关于使第一机器人臂将换能器定位在第一位姿的用户选择或其他用户输入；接收关于使第二机器人臂将接收器定位在第二位姿的用户选择或其他用户输入；接收关于使成像装置112在该一个或多个位姿中的每个位姿下获得图像的用户选择或其他用户输入；接收关于使所标识的成像装置112使用所确定的至少一个设置在该一个或多个位姿中的每个位姿下获得图像的用户选择或其他用户输入；接收关于从接收器接收至少一个图像的用户选择或其他用户输入，该至少一个图像描绘患者解剖结构；接收关于从该一个或多个位姿中的每个位姿处的成像装置接收图像以产生用于解剖特征的图像集的用户选择或其他用户输入；接收关于基于来自所获得的图像集的至少一个图像和对应于该至少一个图像的位姿来更新3D模型的用户选择或其他用户输入；接收关于将第二图像中的解剖特征与第一图像中的对应解剖图像对准的用户选择或其他用户输入；接收关于将第一图像空间与患者空间配准的用户选择或其他用户输入；接收关于使成像装置112在第一时间段期间获得第一图像集的用户选择或其他用户输入；接收关于使成像装置112在第二时间段期间获得第二图像集的用户选择或其他用户输入；以及/或者接收关于显示用于移动成像装置112或使成像装置112移动的指令的用户选择或其他用户输入。尽管如上所述，前述输入中的每个输入可以由系统100(例如，由处理器104或系统100的另一部件)自动生成，或者由系统100从系统100外部的源接收。在一些实施方案中，用户界面110可用于允许外科医生或其他用户修改所显示的指令或其他信息。
尽管用户界面110被示出为计算装置102的一部分，但是在一些实施方案中，计算装置102可以利用与计算装置102的一个或多个其余部件分开容纳的用户界面110。在一些实施方案中，用户界面110可以接近计算装置102的一个或多个其他部件定位，而在其他实施方案中，用户界面110可以远离计算机装置102的一个或多个其他部件定位。
成像装置112可操作为对解剖特征(例如，骨骼、静脉、组织等)和/或患者解剖结构进行成像以产生图像数据(例如，描绘或对应于骨骼、静脉、组织等的图像数据)。图像数据可以是第一图像数据，该第一图像数据在一些示例中包括术前图像数据，在其他示例中包括在配准过程之后获得的图像数据，和/或在外科手术步骤之前或之后获得的图像数据。成像装置112可以能够拍摄2D图像或3D图像以产生图像数据。本文所使用的“图像数据”指代由成像装置112生成或捕获的数据，包含呈机器可读形式、图形/视觉形式和呈任何其它形式的数据。在不同示例中，图像数据可包括与患者的解剖特征或其一部分相对应的数据。成像装置112可以是或包括例如超声扫描仪、O型臂、C型臂、G型臂或利用基于X射线的成像的任何其他装置(例如，荧光镜、CT扫描仪或其他X射线机)、磁共振成像(MRI)扫描仪、光学相干断层摄影扫描仪、内窥镜、望远镜、热成像相机(例如，红外相机)或适于获得患者解剖特征的图像的任何其他成像装置112。
成像装置112可以另外或可替代地可操作以对解剖特征成像以产生另外的图像数据。可以实时地获得另外的图像数据(其可以是例如第二图像数据或更新的图像数据)。另外的图像数据可以与先前获得的图像数据(例如，第一图像数据)组合以提供除了第一图像数据或其他先前获得的图像数据之外的图像信息。在一些实施方案中，成像装置112可以包括多于一个成像装置112。例如，第一成像装置可以提供第一图像集，并且第二成像装置可以提供第二图像集。可替代地，可以使用第一成像装置从第一位姿或一组位姿获得本文中所描述的任何图像数据，并且可以使用第二成像装置从第二位姿或一组位姿获得本文中所描述的任何图像数据。在又其它实施例中，同一成像装置可用于提供第一图像数据和第二图像数据两者和/或本文所描述的任何其它图像数据。
在成像装置112是超声成像装置的实施方案中，可以使用各种成像技术来获得超声图像数据。超声成像装置可以使用脉冲回波技术或相位对比技术。超声成像装置还可以使用非线性超声参数技术来获得超声图像数据。
当两种介质之间存在固体边界使得可以检测到回波时，可以使用脉冲回波技术。当造影剂用于检测时也可以使用脉冲回波技术，并且当存在高浓度的造影剂时脉冲回波技术可以是有益的。相位对比技术可以在多种情况下有用，并且用于检测超声波路径中的逐渐变化。该相位对比技术可以用于检测解剖元件(如器官)内的热变化或其他渐进差异。当患者的解剖结构发生逐渐变化并且两种介质之间不存在固体边界时，可以使用相位对比技术。在这种情况下，相位对比技术可以用于检测例如组织内的细微差异。当造影剂用于检测时也可以使用相位对比技术，并且当以相当低的浓度使用少量造影剂时或者在造影剂消散的情况下相位对比技术可以是有益的。
在操作期间，导航系统114可以为外科医生和/或外科手术机器人提供导航。导航系统114可以为任何现在已知的或将来开发的导航系统，包括例如MedtronicStealthStationTMS8外科手术导航系统。导航系统114可以包括相机或其他传感器，用于跟踪手术室或系统100的部分或全部所在的其他房间内的一个或多个参考标记、导航跟踪器或其他对象。在各种实施方案中，导航系统114可以用于跟踪成像装置112(或更具体地，直接地或间接地以固定关系附接到成像装置112的导航跟踪器)的位置和定向(即，位姿)。导航系统114可以包括用于显示来自外部源(例如，计算装置102、成像装置112或其他源)的一个或多个图像，或来自导航系统114的相机或其他传感器的视频流的显示器。在一些实施方案中，系统100可以在不使用导航系统114的情况下操作。
机器人130可以是任何外科手术机器人或外科手术机器人系统。机器人130可以是或包括例如Mazor XTM隐形版机器人引导系统。机器人130被配置成将成像装置112定位在精确的位置和定向，并且有利地能够在稍后时间点将成像装置112返回到相同的位置和定向。机器人130可以包括一个或多个机器人臂132。在一些实施方案中，机器人臂132可以包括第一机器人臂和第二机器人臂，但机器人130可以包括多于两个机器人臂。第一机器人臂可以保持或以其他方式支撑成像装置112，并且第二机器人臂可以保持或以其他方式支撑另一成像装置112或外科手术工具，并且每个机器人臂可以独立于另一机器人臂定位。结果，第一机器人臂可以独立于第二机器人臂的位置和定向来定位成像装置112，并且第二机器人臂可以独立于第一机器人臂的位置和定向来定位外科手术工具或另一成像装置112。在一些示例中，成像装置112可以设置在第一机器人臂和/或第二机器人臂的端部上，而在其他示例中，成像装置112可以设置在第一机器人臂、第二机器人臂和/或机器人130的任何部分上。在一些实施方案中，机器人臂132被配置成选择性地保持多个成像装置112中的每个成像装置。例如，机器人臂132可以保持第一成像装置；移除、释放、返回和/或储存第一成像装置；以及接收、拾取或以其他方式保持第二成像装置。在一些实施方案中，多个成像装置112可以储存在盒或其他储存单元中，并且机器人臂132可以选择性地拾取并使用多个成像装置112中的一个或多个成像装置。
机器人130与机器人臂132一起可以具有例如至少五个自由度。在一些实施方案中，机器人臂132具有至少六个自由度。在又其他实施方案中，机器人臂132可以具有小于五个自由度。进一步地，机器人臂132可以以任何位姿、平面和/或焦点定位或可定位。该位姿包含位置和定向。结果，由机器人130保持的(或更具体地说，由机器人臂132保持的)成像装置112或其他对象可以被精确定位在一个或多个所需且特定的位置和定向。
在一些示例中，成像装置112可以是具有超声源和超声检测器或接收器的超声装置，并且机器人臂132可以包括用于支撑超声源的第一机器人臂和用于在距超声源已知距离和定向处支撑超声检测器或接收器的第二机器人臂。机器人臂132可以被配置成保持成像装置112并且以特定位姿(即，位置及定向)定位成像装置112。机器人臂132还可以被配置成以如关于图2、图4、图5、图6、图7和图8计算及描述的各种位姿(对应于方法200、400、500、600、700和800)或如关于图3计算及描述的一个或多个更新的位姿或第二组位姿(对应于方法300)移动或定位成像装置112。
参考标记(即，导航标记)可以放置在机器人130、机器人臂132、成像装置112或外科手术空间中的任何其他对象上。参考标记可以由导航系统114跟踪，并且跟踪的结果可以由机器人130和/或由系统100或其任何部件的操作者使用。在一些实施方案中，导航系统114可以用于跟踪系统的其他部件(例如，成像装置112)，并且系统可以在不使用机器人130的情况下操作(例如，外科医生基于导航系统114生成的信息和/或指令或其他方式手动操纵成像装置112)。
系统100或类似系统可以用于例如执行本文所描述的方法200、300、400、500、600、700和/或800中的任一种方法的一个或多个方面。系统100或类似系统还可用于其它目的。在一些实施方案中，例如，系统100可以用于生成患者的解剖特征或解剖体积的3D模型。例如，机器人臂132(由机器人130的处理器、计算装置102的处理器104或一些其他处理器控制，具有或不具有任何手动输入)可以用于将成像装置112定位在多个预定的已知位姿，使得成像装置112可以在每个预定的已知位姿下获得一个或多个图像。因为从其拍摄每个图像的位姿是已知的，所以所得到的图像可以被组装在一起以形成或重建3D模型。
可以通过使用具有多个机器人臂132的机器人来促进以这种方式构建或重建3D模型，每个机器人臂保持成像装置112。在每个成像装置112相同的情况下，使用多个成像装置112使得能够在更少的时间内拍摄更多的图像(因为每个成像装置112可以同时或几乎同时拍摄图像，并且因为每个机器人臂132仅需要将对应的成像装置112移动到位姿总数的子集)。可替代地，多个机器人臂132可以保持多种类型的成像装置112(例如，一个机器人臂132可以保持被配置成对硬组织成像的成像装置112，并且另一个机器人臂132可以保持被配置成对软组织成像的成像装置112)，使得更多信息(例如，关于硬组织和软组织两者的信息)可以被包括在3D模型中。
当系统100用于利用成像装置112从已知位置和定向获得图像时(例如，通过使用机器人臂132以将成像装置112保持在一个或多个已知位姿，或者通过使用导航系统114以使外科医生或其他用户能够将成像装置112保持在一个或多个已知位姿)，该系统有益地使得能够在不使用当前完成此类方法和过程所需要的基准、标记或图像识别软件中的一者或多者的情况下完成各种方法和过程，从而减少此类方法和过程的时间、费用和复杂性。此外，本公开适用于微创环境，因为可用于微创外科手术的机器人臂可以保持被配置为在微创环境中使用的成像装置，并且由处理器104或任何其他处理器计算的位姿可以被约束为在一个或多个微创外科手术路径上。
现在转到图2，根据本公开的实施方案的用于重建或更新三维(3D)模型的方法200可以例如全部或部分地在如计算装置102或类似装置等计算装置上执行，并且可以利用系统100的一个或多个其他部件或类似部件。方法200的一个或多个方面可以由或用外科手术机器人、外科医生或两者的组合使用一个或多个成像装置(如成像装置112)来执行。
方法200可以有益地用于例如重建从对处于第一位置(例如，仰卧位置)的患者拍摄的一个或多个图像生成的3D模型，以在患者处于不同位置(例如，腹卧姿)时反映患者的解剖结构。因此，例如，如果在患者以仰卧位置躺下时使用MRI机器对患者的脊柱成像，但是该患者将在处于腹卧位置中时经历脊柱外科手术程序，则可能需要重建使用MRI图像数据生成的3D模型以反映该患者在腹卧位置中的脊柱椎骨和/或一个或多个其他解剖特征的略微不同的位置。在此示例和相关实施方案中，可以预期解剖特征本身(例如，每个椎骨)具有相同的形状，但是可以预期解剖特征之间的相对位置或定向已经改变。然后，一旦患者被定位在手术台上，方法200就可以用于重建3D模型，而不必利用O型臂、C型臂、MRI机器或其他笨重的成像装置。在这种情况下使用方法200有益地使得外科医生或其他操作者能够利用当前准确的3D模型启动外科手术程序。此外，因为处理器(例如，处理器104)可以基于与由成像装置获得的每个图像相对应的成像装置的已知位姿来完成重建，所以可以根据需要来定位成像装置以最大化可以从每个图像获得的信息量。与可能需要每次将成像装置定位在相同位置和定向的其他重建方法相比，不考虑给定患者的独特解剖结构或重建所需的特定信息。
方法200还可以有利地在外科手术程序期间用于基于由该外科手术程序引起的变化来更新或重建患者解剖结构的相关部分的3D模型。例如，如果一个或多个解剖特征在该程序期间已经移位(无论是由于该程序本身还是由于任何其他原因)，则方法200可以用于在继续该程序之前更新或重建3D模型。作为另一个示例，如果一个或多个解剖特征已经被该程序改变(例如，通过移除骨或软组织或以其他方式)，则方法200可以用于更新或重建3D模型以反映该改变。作为仍另一个示例，如果在外科手术程序的一个或多个步骤期间已经将一个或多个植入物植入到患者解剖结构中或从患者解剖结构移除，则方法200可以用于更新或重建3D模型以反映3D模型中植入物的植入或移除。在外科手术程序期间更新或重建3D模型可以是特别有用的，例如，当一个或多个解剖特征的变化防止或使得一个或多个规划轨迹的变化能够用于外科手术程序的另外的步骤中时。
方法200还可以用于确认或以其他方式验证在外科手术程序期间患者解剖结构中的预测的移动或其他变化。例如，可以基于包括3D模型的术前外科手术计划来计算或以其他方式确定一个或多个预测的移动或其他变化。然后可以使用方法200来更新3D模型，并且可以将更新的模型与计算的或以其他方式确定的预测的移动或其他变化进行比较，以确认或以其他方式验证实际移动或变化与预测的移动或其他变化匹配(或不匹配)。在预测的移动或其他变化与实际移动或其他变化不匹配的情况下，外科医生或其他操作者可以更新外科手术计划以补偿实际移动或其他变化与预测的移动或其他变化之间的差异。
方法200还仍可以用于向3D模型添加新的信息。例如，在最初使用来自最适于检测到的硬组织的成像装置的影像生成3D模型的情况下，方法200可以用于使用来自更适于检测软组织的成像装置的影像更新或重建3D模型。以这种方式，可以生成或重建3D模型，该3D模型不仅包括关于例如感兴趣解剖区域内的骨元件的信息，还包括关于感兴趣解剖区域内的软组织的信息。
如下面更详细讨论的，方法200可以使用多于一个成像装置来执行。一些成像装置(例如，利用X射线成像的装置)比软组织更适合于获得硬组织的图像，而其他成像装置(例如，超声、光学相干断层摄影)比硬组织更适合于获得软组织的图像。结果，利用仅来自一个装置或一种类型的装置的影像生成的3D模型可能缺乏关于硬组织或软组织中的一个或另一个的足够或所需的信息。方法200可以用于相应地更新3D模型。例如，在需要关于硬组织的信息来更新3D模型的情况下，可以使用非常适合于获得硬组织的图像的一个或多个成像装置；在需要关于软组织的信息来更新3D模型的情况下，可以使用非常适合于获得软组织的图像的一个或多个成像装置；并且在需要关于硬组织和软组织两者更新3D模型的情况下，可以使用非常适合于获得硬组织的图像的成像装置和非常适合于获得软组织的图像的成像装置的组合。
方法200包括接收患者解剖结构的3D模型(其在本文中也可以被称为图像数据或第一图像数据)(步骤202)。3D模型可以通过用户界面(如用户界面110)和/或通信接口(如计算装置(如计算装置102)的通信接口108)来接收，并且可以被存储在存储器(如存储器106)中。3D模型还可以由系统100的任何部件生成和/或上传到该系统的任何部件。3D模型可以由包括CT或MRI图像数据的术前图像数据形成或包括该术前图像数据。
在一些实施方案中，包括3D模型的图像数据可以由成像装置(如成像装置112)生成，并且可直接从成像装置接收，或经由系统100的任何其他部件或系统100所连接到的网络的节点间接接收。在此类实施案例中，可以经由例如通信接口(如通信接口108)来接收图像数据。图像数据可能已经与患者坐标系、由如机器人130等机器人使用的机器人坐标系、和/或由如导航系统114等导航系统使用的导航坐标系配准。在其他实施方案中，在步骤202之后，可以将图像数据与患者坐标系、机器人坐标系和/或导航坐标系配准。可以完成根据方法200的3D模型的更新或重建，以便避免对3D模型的重新配准的需要。
方法200还包括计算成像装置对解剖特征进行成像的一个或多个位姿(步骤204)。计算可以使用一个或多个算法，如位姿算法122。一个或多个位姿可以包括成像装置的坐标和/或定向。在一些实施方案中，位姿算法被配置成至少部分地基于(例如，患者解剖结构的)3D模型来计算一个或多个位姿。例如，可以基于是否需要关于3D模型中的解剖特征(或解剖特征的方面)的更多信息来计算一个或多个位姿。例如，如果3D模型包括一个或多个伪影，则可以计算位姿以获得移除一个或多个伪影所需的另外的图像数据。在其他示例中，可以基于3D模型中的缺失信息(例如，图像数据、解剖特征特性)来计算一个或多个位姿。
在一些实施方案中，位姿算法可以被配置成基于保持成像装置的机器人臂(例如，机器人臂132)的至少五个运动自由度来计算一个或多个位姿。在其他实施方案中，一个或多个位姿可以基于机器人臂的小于或大于五个运动自由度。在一些实施方案中，一个或多个位姿是基于保持成像装置的机器人臂的至少六个运动自由度。这种基于多个运动自由度的计算有利地使得能够计算在平面和/或焦点中的精确位姿，这在不使用机器人臂的情况下是不可获得的。
在其他实施方案中，位姿算法可以被配置成基于成像装置的一个或多个特性(例如，分辨率、图像类型、图像尺寸、装置尺寸、图像深度等)计算一个或多个位姿。例如，如果待成像的区域包括骨组织，并且成像装置是超声探头，则可以计算一个或多个位姿以避免由于超声波不能穿透骨组织而导致的“阴影”。更具体地，例如，可以选择一个或多个位姿以从骨组织的不同侧上的两个不同轨迹获得图像数据，使得在一个图像中处于“阴影”中的成像区域的部分清楚地显示在另一图像中，并且反之亦然。可替代地，如果仅需要关于骨组织的一侧上的解剖结构的信息，则可以计算将确保感兴趣区域不在骨组织的“阴影”中的一个或多个位姿。此外，在至少部分地基于在步骤202中接收到的3D模型来计算位姿的实施方案中，可以利用3D模型来实现位姿的计算，这些位姿将使得能够以比在其他情况下可以获得所需信息的方式更有效的方式获得所需信息。
在一些实施方案中，3D模型可以包括一个或多个伪影，包括但不限于如上所述的由骨组织引起的阴影。可以计算一个或多个位姿以获得更新3D模型所需的图像数据并且允许从3D模型完全地或在感兴趣区域中消除此类伪影。
在又其他实施方案中，位姿算法可以被配置成基于来自外科医生或操作者的输入或反馈来计算一个或多个位姿。例如，外科医生或操作者可能希望从某个角度或多个角度获得解剖特征的图像。在另一示例中，外科医生可能希望无创地定位成像装置，而在其他示例中，外科医生可能希望侵入性地定位成像装置。
方法200还包括从一个或多个位姿中的每个位姿处的成像装置接收图像以产生用于解剖特征的图像集(步骤206)。在一些实施方案中，直接从成像装置接收图像。在其他实施方案中，从或经由存储器(如存储器116)、数据库、云或另一网络、或任何其他源或元件接收图像。在图像集中的图像可以包括关于相对于先前获得的图像数据(例如，3D模型)的成像解剖特征的更新信息的意义上，这些图像可以是第二图像或包括第二图像。方法200可以包括使成像装置(如上所述，其可以是例如成像装置112)自动定位和/或自动致动以获得图像。例如，成像装置可以由机器人臂(如机器人臂132)自动地定位在步骤204计算的位姿中的一个位姿。在成像装置包括两个或更多个成像装置的实施方案中，一个机器人臂可以定位每个成像装置，或者两个或更多个机器人臂可以各自保持不同的成像装置。例如，在一些实施方案中，第一成像装置由第一机器人臂保持并且第二成像装置由第二机器人臂保持。在一些实施方案中，成像装置包括多个成像装置，并且多个机器人臂中的至少一个臂被配置成选择性地保持多个成像装置中的每个成像装置。在其他实施方案中，多个机器人臂中的至少一个臂可以被配置成将成像装置按顺序移动到一个或多个位姿。在其他实施方案中，第一臂被配置成独立于第二臂定位外科手术工具或第二成像装置来定位第一成像装置。在其他示例中，成像装置可以由外科医生在导航系统(如导航系统114)的辅助下定位。例如，外科医生可以参考导航系统的显示器或以其他方式利用导航系统来将成像装置定位于在步骤204中计算的一个或多个成像装置位姿中的一个位姿。
图像集可以包括一个或多个2D图像、一个或多个3D图像或一个或多个2D图像与一个或多个3D图像的组合。在一些实施方案中，可以使用一个成像装置来获得图像集。在其他实施方案中，可以使用多个成像装置来获得图像集。例如，第一成像装置可以独立于第二成像装置获得图像中的第二图像而获得图像中的第一图像。在另一示例中，图像中的至少第一图像可以利用由机器人臂保持的第一成像装置在位姿中的对应第一位姿下来获得，并且图像中的至少第二图像可以利用由机器人臂保持的第二成像装置在位姿中的对应第二位姿下来获得。在其他实施方案中，第一成像装置可以在第一组一个或多个位姿中的每个位姿下获得图像，并且第二成像装置可以在第二组一个或多个位姿中的每个位姿下获得另一图像。
在一些实施方案中，如前所述，成像装置可以是超声探头，并且可以包括由第一机器人臂保持的超声探头的检测器或接收器以及由具有至少五个运动自由度的第二机器人臂保持距检测器或接收器已知距离并且与检测器或接收器相对的超声探头的发射器或换能器。在相同的实施方案中，成像装置的一个或多个位姿包括发射器或换能器和检测器或接收器两者的一个或多个位姿。换句话说，在成像装置是包括发射器或换能器和检测器或接收器的探头的情况下，对成像装置的位姿的提及包括发射器或换能器的位姿(例如，位置和定向)和检测器或接收器的位姿。一个或多个位姿可以是发射器或换能器和检测器或接收器两者都被定位成与患者接触以在发射器或换能器与检测器或接收器之间提供无空气(或基本上无空气)路径的位姿。飞行时间可以通过测量从发射器或换能器输出超声信号与由检测器或接收器接收超声信号之间流逝的时间来确定。此类信息(例如，飞行时间)可以有益地提供用于包括在3D模型中的另外的信息，如下所述。在其他实施方案中，成像装置可以包括多于一个成像装置，并且每个成像装置可以是不同类型的成像装置。例如，在一些实施方案中，第一成像装置可以是超声探头，并且第二成像装置可以是光学相干断层摄影(OCT)相机。OCT相机可以有利地以高分辨率对患者的第一深度进行成像，以用于观察在其他图像模态中不可见或不易观察的解剖特征(例如，血管、神经和/或肿瘤)。超声探头可以有利地对大于患者的第一深度的第二深度进行成像，以获得关于患者的解剖特征的更多信息。进一步地，在一些实施方案中，OCT相机和超声探头可以一起使用，并且各自由单独的机器人臂保持，因为来自OCT相机和超声探头的成像有利地不彼此干扰。
方法200还包括更新(例如，重建)患者解剖结构的3D模型中的解剖特征的表示以产生患者解剖结构的更新的3D模型(步骤208)。更新或重建可以基于来自图像集的至少一个图像以及对应于该至少一个图像的位姿。可以使用如模型更新或比较算法128等一个或多个算法来更新3D模型。在一些实施方案中，更新3D模型可以在外科手术程序的步骤之后、外科手术程序的步骤之前、或外科手术程序的步骤期间发生。
可以更新或改进3D模型的各种属性，这些属性包括但不限于模型分辨率、模型深度、关于解剖特征的信息等。例如，来自超声探头的图像和/或飞行时间可以提供组织的特性(例如，组织的刚度、组织的硬度、热、流体、电磁、声学和/或磁共振特性)。在另一示例中，来自OCT相机的图像可以提供高分辨率成像以提供关于解剖特征(例如，神经、组织、动脉或静脉)的详细信息。在一些实施方案中，更新患者解剖结构的3D模型中的解剖特征的表示包括将来自图像数据集的软组织数据添加到患者解剖结构的3D模型(该模型可以包括硬和/或软组织数据)。在一些实施方案中，软组织数据(例如，图像数据集)可以从OCT相机获得。
更新3D模型可以包括使用对应于至少一个图像的位姿来标识对应于至少一个图像的3D模型的一部分。例如，至少一个图像的内容可以与3D模型的一部分匹配或以其他方式相关(例如，使用从其拍摄至少一个图像的已知位置和定向)，并且3D模型的该部分可以基于至少一个图像来更新或替换。换句话说，因为对应于每个图像的精确位姿是已知的，所以可以基于每个图像更新3D模型而不需要在每个图像中包括任何基准或其他标记。因此，来自图像集的图像的位置知识有利地允许3D模型的精确更新。
在3D模型被更新之后，步骤202至步骤208中的一个或多个步骤可以被重复直到3D模型被完全更新(例如，在外科手术程序中的外科手术步骤之前，或在此类外科手术步骤之后)并且满足预定阈值并且/或者被外科医生或操作者批准。在外科手术期间，如果3D模型由于患者解剖结构中的移位或移动而需要进一步更新，则可以重复步骤206至步骤208(或步骤202至步骤208中的任一个步骤)，并且/或者可以如以下关于图3所述进一步更新或重建3D模型。这些步骤的此类重复可以使得更新或重建整个3D模型或3D模型的局部部分，从而在整个操作期间提供3D模型的增加的准确度。
现在转到图3，根据本公开的实施方案的用于更新更新的3D模型的方法300可以例如全部或部分地在如计算装置102或类似装置等计算装置上执行，并且可以利用系统100的一个或多个其他部件或类似部件。方法300的一个或多个方面可以在更新的3D模型(如由方法200产生的)在患者解剖结构中的移动已经发生或疑似已经发生之后需要更新时执行或以其他方式发生。方法300的步骤302至步骤306通常对应于方法200的步骤204至步骤208，不同之处在于方法300的步骤302至步骤306是结合更新已经被更新(例如，根据方法200)至少一次的3D模型来描述的。方法300可以结合方法200(或单独地)使用，例如，在以上关于方法200描述的使用情况中的每种使用情况中。
方法300包括计算成像装置(例如，成像装置112)的第二组位姿(步骤302)。在计算第一组位姿之后计算第二组位姿，并且可以根据例如步骤204计算第二组位姿。计算可以使用一个或多个算法，如位姿算法122。第二组位姿可以包括成像装置的坐标和/或定向。第二组位姿中的至少一个位姿可以匹配第一组位姿中的至少一个位姿。在其他实施方案中，第二组位姿中没有位姿匹配第一位姿组。
在一些实施方案中，位姿算法被配置成至少部分地基于更新的3D模型来计算一个或多个位姿。可以计算第二组位姿以定位成像装置以对患者解剖结构的特定局部部分进行成像以更新更新的3D模型的一部分，从而减少成像和总体操作时间。因此，例如，如果患者的特定解剖特征已经移位或疑似已经移位，则可以计算第二组位姿以获得仅该解剖特征(或其一部分)的图像。类似地，位姿算法可以被配置成基于来自外科医生或操作者的输入或反馈来计算第二组位姿。例如，外科医生或操作者可能希望从某个角度或多个角度获得解剖特征的更新的图像。
方法300还包括从第二组位姿中的每个位姿处的成像装置接收更新的图像以产生更新的图像集(步骤304)。在一些实施方案中，直接从成像装置接收更新的图像。在其他实施方案中，从或经由存储器(如存储器116)、数据库、云或另一网络、或任何其他源或元件接收更新的图像。方法300可以包括使成像装置(如上所述，其可以是例如成像装置112)自动定位和/或自动致动以获得更新的图像。例如，成像装置可以由机器人臂(如机器人臂132)自动定位于在步骤302处计算的第二组位姿中的一个位姿。在其他示例中，成像装置可以由外科医生在导航系统(如导航系统114)的辅助下定位。例如，外科医生可以参考导航系统的显示器或以其他方式利用导航系统来将成像装置定位于在步骤302中计算的一个或多个更新的成像装置位姿中的一个位姿。
类似于如上所述的步骤206，更新的图像集可以包括2D图像、3D图像、或2D图像和3D图像的组合。在一些实施方案中，可以使用一个成像装置来获得更新的图像集。在其他实施方案中，可以使用多个成像装置来获得更新的图像集。例如，第一成像装置可以独立于第二成像装置获得更新的图像中的第二图像而获得更新的图像中的第一图像。在一些实施方案中，成像装置是第一成像装置，机器人臂是第一机器人臂，并且第一成像装置独立于由第二机器人臂保持的第二成像装置获得更新图像中的第二图像而获得更新图像中的第一图像。在其他实施方案中，可以使用一个成像装置来获得更新的图像集。在另一示例中，更新的图像中的至少第一更新的图像可以利用由机器人臂保持的第一成像装置在第二组位姿中的对应第一位姿下来获得，并且更新的图像中的至少第二更新的图像可以利用由机器人臂保持的第二成像装置在第二组位姿中的对应第二位姿下来获得。
方法300还包括使用来自更新的图像集的至少一个更新的图像并且基于第二组位姿中的对应于至少一个更新的图像的位姿来更新或重建患者解剖结构的所更新的3D模型(步骤306)。可以使用一个或多个算法(如模型更新或比较算法128)来更新或重建更新的3D模型。类似于如上所述的步骤208，更新更新的3D模型可以在外科手术程序的步骤之后、外科手术程序的步骤之前或外科手术程序的步骤期间发生。更新更新的3D模型也可以在更新的3D模型被确定为缺少信息(例如，软组织数据、关于解剖元件的信息、硬组织数据等)时发生。例如，患者解剖结构可以移位，或者一个或多个解剖细节可以被确定为从更新的3D模型中缺失。在此类情况下，更新更新的3D模型使得能够将缺失的解剖细节添加到更新的3D模型中。
方法300还可以包括将来自(方法300的)更新的图像集的至少一个更新的图像与图像集(其可以使用方法200获得)的至少一个图像进行比较，以标识和/或验证在至少一个图像中描绘的解剖特征的移动。方法300还可以包括至少部分地基于更新的图像集的一个或多个更新的图像来确定解剖特征的位置和/或定向中的至少一者。此类信息(即，位置和/或定向)可以用于计算和优化外科手术工具的新路径或位置和定向。根据需要使用方法300更新3D模型有益地增加了实时操作期间3D模型的准确性。
现在转到图4，根据本公开的实施方案的用于模型配准的方法400可以例如全部或部分地在如计算装置102或类似装置等计算装置上执行，并且可以利用系统100的一个或多个其他部件或类似部件。方法400的一个或多个方面可以由或用外科手术机器人、外科医生或两者的组合使用一个或多个成像装置(诸如成像装置112)来执行。
方法400可以用于例如将3D模型与机器人空间配准。在机器人(例如，机器人130)附连于患者的情况下，方法400还可以用于将3D模型与患者空间配准。这种配准是可能的，因为作为方法400的一部分拍摄的图像是从已知位姿拍摄的(例如，因为这些图像是利用由机器人的机器人臂保持的成像装置拍摄的，使得成像装置的精确位置和定向是已知的)。根据方法400获得的图像还可以利用由导航系统跟踪的成像装置来拍摄，使得成像装置相对于导航空间的位置和定向是已知的。在导航空间与例如3D模型或其他术前图像空间和/或机器人空间配准的情况下，从相对于导航空间的已知位姿拍摄的图像可以与机器人空间和/或3D模型或其他术前图像空间配准。
术前3D模型可以例如从CT或MRI图像生成。如下文更详细描述，可以在根据方法400拍摄的图像中标识特定形状并且将这些特定图像与3D模型中的相同形状匹配。因为根据方法400拍摄的每个图像的位置和定向是已知的，所以图像中的形状与3D模型中的相同形状的匹配使得模型空间能够与机器人空间(其中用于获得图像的成像装置由机器人的机器人臂保持)或导航空间(其中用于获得图像的成像装置的位置和定向由导航系统跟踪)配准。在机器人空间和/或导航空间已经与患者空间链接或以其他方式配准的情况下(例如，在机器人的情况下，其中该机器人被固定地附接到患者)，模型空间可以与患者空间配准。
方法400还可以用于在术中确认现有的配准。例如，在外科手术程序之前模型空间已经与机器人空间、导航空间和/或患者空间术前配准的情况下，方法400可以被用来从已知位置和定向获得患者的一个或多个解剖特征的术前图像(例如，当术前配准已知为有效时)。然后，在外科手术期间(例如，在可能已经引起患者的一个或多个解剖特征的移动的外科手术步骤之后，或者在配准的准确性对于其至关重要的外科手术步骤之前)，可以从与术前图像相同的位姿拍摄另外的图像集，并且将该图像集与术前图像进行比较。如果图像是相同的(或以其他方式显示所成像的解剖特征之间的相同关系)，则可以确认术前配准。另一方面，如果比较揭示一个或多个解剖特征已经从其术前位置/定向移位，则外科医生或其他操作者可以确定是否需要重新配准。在一些实施方案中，如在机器人(例如，机器人130)自主地完成外科手术程序的情况下，机器人本身可以基于一个或多个预定标准(例如，一个或多个解剖特征的移动程度)确定是否需要重新配准。
在需要重新配准的情况下，方法400可以用于完成重新配准。此类重新配准可以限于局部区域或体积(例如，在外科手术过程已经以需要重新配准的方式改变了一个或多个解剖特征的情况下)，或者在先前配准的整个区域或体积上可能需要重新配准。
容易完成术中重新配准的能力不仅减少了外科手术程序的时间、成本和复杂性，而且使得能够对外科手术程序工作流程进行潜在的改变以提高效率。例如，虽然现在外科医生可以构造外科手术程序的每个步骤以便避免进行可能需要术中重新配准的任何事情(由于其他配准程序的时间和复杂性)，但是本公开显著地减少(如果没有消除的话)该时间和复杂性，使得可以在不考虑是否将需要术中重新配准的情况下规划外科手术程序。
方法400包括接收患者的解剖部分的第一图像或3D模型(步骤402)。第一图像可以是2D图像或3D图像或者2D图像和/或3D图像集。第一图像或3D模型可以通过用户界面(如用户界面110)和/或通信接口(如计算装置(如计算装置102)的通信接口108)来接收，并且可以被存储在存储器(如存储器106)中。第一图像或3D模型可以由系统100的任何部件生成和/或上传到该系统的任何部件。第一图像或3D模型可以是术前图像数据或在配准过程期间或在手术之前拍摄的图像数据，该图像数据包括CT或MRI图像数据。
在一些实施方案中，第一图像或3D模型可以由成像装置(如成像装置112)生成，并且/或可以直接从成像装置接收，或经由系统100的任何其他部件或系统100所连接到的网络的节点间接接收。第一图像或3D模型可能已经与患者坐标系、由如机器人130等机器人使用的机器人坐标系、和/或由如导航系统114等导航系统使用的导航坐标系配准。在其他实施方案中，在步骤402之后，可以将第一图像或3D模型与患者坐标系、机器人坐标系和/或导航坐标系配准。
方法400还包括基于第一图像或3D模型计算成像装置的一个或多个位姿(步骤404)。计算可以使用一个或多个算法，如位姿算法122。一个或多个位姿(也称为记录序列)可以为或可以包括成像装置(如成像装置112)的坐标和/或定向。在一些实施方案中，每一位姿可以为保持或将保持成像装置(如成像装置112)的机器人臂的位姿。成像装置可以有利地不发射电离辐射，从而提供可以多次使用而不发射有害辐射的成像装置。在一些实施方案中，成像装置可以是但不限于超声探头和/或OCT相机。在成像装置是超声探头的实施方案中，超声探头的检测器或接收器可以由第一机器人臂保持，并且超声探头的发射器或换能器可以由具有至少五个运动自由度的第二机器人臂保持距检测器或接收器已知距离并且与检测器或接收器相对。在相同的实施方案中，成像装置的一个或多个位姿可以包括发射器或换能器以及检测器或接收器两者的一个或多个位姿。一个或多个位姿可以是发射器或换能器和检测器或接收器两者都被定位成与患者接触以在发射器或换能器与检测器或接收器之间提供无空气(或基本上无空气)路径的位姿。飞行时间可以通过测量从发射器或换能器输出超声信号与由检测器或接收器接收超声信号之间流逝的时间来确定。
在一些实施方案中，位姿算法可以考虑患者从第一位置到第二位置的位置变化，在该第一位置拍摄或构建第一图像或3D模型，在外科手术程序中患者将处于该第二位置。例如，第一图像或3D模型可以已经在患者处于仰卧位置的情况下获得，并且计划的操作可能需要患者处于俯卧位置。位姿算法可以部分地基于患者位置的这种切换来计算位姿。在一些实施方案中，可以相对于患者的位置来计算一个或多个位姿，使得一个或多个计算的位姿可以用于处于不同位置和定向的患者。
在一些实施方案中，位姿算法可以被配置成基于保持成像装置的机器人臂(例如，机器人臂132)的至少五个运动自由度来计算一个或多个位姿。在其他实施方案中，一个或多个位姿可以基于机器人臂的小于或大于五个运动自由度。在一些实施方案中，一个或多个位姿是基于保持成像装置的机器人臂的至少六个运动自由度。这种基于多个运动自由度的计算有利地使得能够计算平面和/或焦点中的精确位姿，这在没有机器人臂的情况下通过成像装置是不可获得的。
在其他实施方案中，位姿算法(例如，位姿算法122)被配置成基于成像装置的一个或多个特性(例如，分辨率、图像类型、图像尺寸、装置尺寸、图像深度等)计算一个或多个位姿。例如，如果待成像的区域包括骨组织，并且成像装置是超声探头，则可以计算一个或多个位姿以避免由于超声波不能穿透骨组织而导致的“阴影”。更具体地，例如，可以选择一个或多个位姿以从骨组织的不同侧上的两个不同轨迹获得图像数据，使得在一个图像中处于“阴影”中的成像区域的部分清楚地显示在另一图像中，并且反之亦然。可替代地，如果仅需要关于骨组织的一侧上的解剖结构的信息，则可以计算将确保感兴趣区域不在骨组织的“阴影”中的一个或多个位姿。此外，在至少部分地基于在步骤402中接收到的第一图像或3D模型来计算位姿的实施方案中，可以利用第一图像或3D模型来实现位姿的计算，这些位姿将使得能够以比在其他情况下可以获得所需信息的方式更有效的方式获得所需信息。
在一些实施方案中，第一图像或3D模型可以包括一个或多个伪影，包括但不限于如上所述的由骨组织引起的阴影。可以计算一个或多个位姿以获得更新第一图像或3D模型所需的图像数据，并且允许从第一图像或3D模型完全地或在感兴趣区域中消除此类伪影。
在又其他实施方案中，位姿算法可以被配置成基于来自外科医生或操作者的输入或反馈来计算一个或多个位姿。例如，外科医生或操作者可能希望从某个角度或多个角度获得解剖特征的图像。在另一示例中，外科医生可能希望无创地定位成像装置，而在其他示例中，外科医生可能希望侵入性地定位成像装置。
方法400还包括从一个或多个位姿中的每个位姿处的成像装置接收图像以产生图像集(步骤406)。在一些实施方案中，直接从成像装置接收图像。在其他实施方案中，从或经由存储器(如存储器116)、数据库、云或另一网络、或任何其他源或元件接收图像。在图像集中的图像可以包括关于相对于第一图像或3D模型的成像解剖特征的更新信息的意义上，这些图像可以是第二图像或包括第二图像。第二图像可以各自描绘患者的至少一个解剖特征。可以使用与用于获得第一图像或3D模型的成像装置的成像模态不同的成像模态从成像装置获得第二图像。例如，在一些实施方案中，利用第一图像模态创建第一图像或3D模型，并且用于获得图像集的图像的成像装置是不同于第一图像模态的第二图像模态。
方法400可以包括使成像装置(其可以是例如成像装置112)自动定位、定向和/或自动致动以获得图像。例如，成像装置可以由机器人臂(如机器人臂132)自动定位。在其他示例中，成像装置可以由外科医生在导航系统(如导航系统114)的辅助下定位。
图像集可以包括一个或多个2D图像、一个或多个3D图像或一个或多个2D图像与一个或多个3D图像的组合。每个第二图像可以描绘患者的解剖特征。在一些实施方案中，可以使用一个成像装置来获得图像集。在其他实施方案中，可以使用多个成像装置来获得图像集。例如，第一成像装置可以独立于第二成像装置获得图像中的第二图像而获得图像中的第一图像。在另一示例中，图像中的至少第一图像可以利用由机器人臂保持的第一成像装置在位姿中的对应第一位姿下来获得，并且图像中的至少第二图像可以利用由机器人臂保持的第二成像装置在位姿中的对应第二位姿下来获得。在其他实施方案中，第一成像装置可以在第一组一个或多个位姿中的每个位姿下获得图像，并且第二成像装置可以在第二组一个或多个位姿中的每个位姿下获得另一图像。
在一些实施方案中，多个机器人臂被配置成选择性地保持多个成像装置。换句话说，多个机器人臂可以各自保持成像装置。每一机器人臂还可以被配置成将由机器人臂保持的成像装置按顺序移动到一个或多个位姿。在一些实施方案中，第二图像中的至少一个图像利用由第一臂保持的第一成像装置在一个或多个位姿中的一个位姿下来获得，并且第二图像中的至少另一个图像利用由第一臂或第二臂保持的第二成像装置在一个或多个位姿中的另一个位姿下来获得。在其他实施方案中，第一臂被配置成独立于第二臂定位外科手术工具或第二成像装置来定位第一成像装置。
方法400还包括将每个第二图像中的至少一个解剖特征与第一图像或3D模型中的对应解剖特征对准(步骤408)。一个或多个算法(如图像更新或比较算法126)可以用于对准。对准可以至少部分地基于对应的一个或多个位姿。例如，可以基于拍摄每个第二图像时成像装置的已知位置和/或定向来计算每个第二影像中一个或多个解剖特征的位置，并且将该一个或多个解剖特征的位置与(当拍摄每个第一图像或3D模型时，基于成像装置的已知位置和/或定向计算的)第一图像或3D模型中的一个或多个解剖特征的位置相匹配，并且可以比较第二图像以确定一个或多个解剖特征是否存在于其中。在其他示例中，特征识别可以用于标识第二图像和第一图像或3D模型中的每一者中的解剖特征的特征，基于此，该第一图像或3D模型和图像可以彼此匹配。例如，可以在第一图像或3D模型和对应的第二图像中标识椎骨的轮廓，并且对应的第二图像可以在标识的轮廓处或使用标识的轮廓与第一图像或3D模型匹配。在其他示例中，对准可以使用人工智能、机器学习或位姿信息。当对准完成时，该对准提供第二图像中的解剖特征相对于第一图像或3D模型的相对定向和相对位置。
方法400还包括基于对准将图像空间与患者空间配准(步骤410)。该配准可以利用配准算法(如配准算法124)。对准使得能够将第一图像或3D模型映射到第二图像空间并且从第二图像空间映射到患者空间，并且因此使得能够确定患者的解剖特征在患者的第一定向(例如，当拍摄3D模型时)与患者的第二定向(例如，当拍摄第二图像集时)之间的相对位置和/或定向。将图像空间与患者空间配准有利地在没有基准标记的情况下发生，从而不仅减少了外科手术空间中完成配准所需的部件数量，而且还减少了配准过程的复杂性以及完成配准过程所需的时间。
方法400还可以包括通过评估对准来验证配准，并且当该对准揭示解剖特征的成像位置与第一图像或3D模型中的解剖特征的位置之间的差异时确定该配准是无效的。例如，当成像位置中的解剖特征不同于第一图像或3D模型中的解剖特征的位置时，可以确定配准是无效的。相反，当成像位置中的解剖特征与第一图像或3D模型中的解剖特征的位置相同时，可以确定配准是有效的。
方法400还可以包括从处于一个或多个位姿中的至少一个位姿的成像装置接收更新的图像以产生第二图像集。在一些实施方案中，直接从成像装置接收更新的图像。在其他实施方案中，从或经由存储器(如存储器116)、数据库、云或另一网络、或任何其他源或元件接收更新的图像。该方法还可以包括将第二图像集中的每个更新的图像与来自图像集(例如，步骤406的第一图像集)的对应图像进行比较以确定解剖特征的移动。在拍摄第一图像集的最后一个图像之后获得更新的图像。更新的图像可以在外科手术步骤之前、外科手术步骤期间或外科手术步骤之后获得。方法400还可以包括基于第二图像集将图像空间与患者空间重新配准。
当解剖特征已经移动或被怀疑已经移动时，或者在初始配准步骤期间当标识阻止有效配准发生的配准模糊时，可以重复步骤402至步骤410中的一个或多个步骤。可以执行步骤404至410(或步骤402至步骤410中的任何步骤)的重复，和/或可以进一步更新第一图像或3D模型。
现在转到图5，根据本公开的实施方案的用于配准验证的方法500可以例如全部或部分地在如计算装置102或类似装置等计算装置上执行，并且可以利用系统100的一个或多个其他部件或类似部件。方法500的一个或多个方面可以由或用外科手术机器人、外科医生或两者的组合使用一个或多个成像装置(如成像装置112)来执行。方法500可以例如结合以上关于方法400描述的使用情况中的每种情况来使用。
方法500包括计算成像装置的一个或多个第一位姿(步骤502)。该计算可以利用位姿算法(如位姿算法122)。一个或多个位姿可以是或包括成像装置的坐标和/或定向。
在一些实施方案中，计算一个或多个第一位姿至少部分地基于关于患者解剖结构的信息。在一些实施方案中，计算一个或多个第一位姿是基于外科手术计划或术前图像。在其他实施方案中，位姿算法可以被配置成基于成像装置的一个或多个特性(例如，分辨率、图像类型、图像尺寸、装置尺寸、图像深度等)计算一个或多个第一位姿。例如，如果待成像的区域包括骨组织，并且成像装置是超声探头，则可以计算一个或多个位姿以避免由于超声波不能穿透骨组织而导致的“阴影”。更具体地，例如，可以选择一个或多个第一位姿以从骨组织的不同侧上的两个不同轨迹获得图像数据，使得在一个图像中处于“阴影”中的成像区域的部分清楚地显示在另一图像中，并且反之亦然。可替代地，如果仅需要关于骨组织的一侧上的解剖结构的信息，则可以计算将确保感兴趣区域不在骨组织的“阴影”中的一个或多个位姿。
在一些实施方案中，位姿算法可以被配置成基于保持成像装置的机器人臂(例如，机器人臂132)的至少五个运动自由度来计算一个或多个第一位姿。在其他实施方案中，一个或多个第一位姿可以基于机器人臂的小于或大于五个运动自由度。在一些实施方案中，一个或多个第一位姿是基于保持成像装置的机器人臂的至少六个运动自由度。这种基于多个运动自由度的计算有利地使得能够计算平面和/或焦点中的精确位姿，这在没有机器人臂的情况下通过成像装置是不可获得的。
在又其他实施方案中，位姿算法可以被配置成基于来自外科医生或操作者的输入或反馈来计算一个或多个第一位姿。例如，外科医生或操作者可能希望从某个角度或多个角度获得解剖特征的图像。在另一示例中，外科医生可能希望无创地定位成像装置，而在其他示例中，外科医生可能希望侵入性地定位成像装置。
方法500还包括计算一个或多个第二位姿(步骤504)。该计算可以利用位姿算法(如位姿算法122)。类似于如上文所描述的步骤502，一个或多个第二位姿可以是或包括成像装置的坐标和/或定向。一个或多个第二位姿可以与一个或多个第一位姿相同。在其他实施方案中，一个或多个第二位姿中的至少一个位姿可以与一个或多个第一位姿相同。在又其他实施方案中，一个或多个第二位姿中无一位姿与一个或多个第一位姿相同。
在一些实施方案中，位姿算法可以被配置成基于保持成像装置的机器人臂(例如，机器人臂132)的至少五个运动自由度来计算一个或多个第二位姿。在其他实施方案中，一个或多个第二位姿可以基于机器人臂的小于或大于五个运动自由度。在一些实施方案中，一个或多个第二位姿是基于保持成像装置的机器人臂的至少六个运动自由度。这种基于多个运动自由度的计算有利地使得能够计算平面和/或焦点中的精确位姿，这在没有机器人臂的情况下通过成像装置是不可获得的。
在一些实施方案中，计算一个或多个第二位姿至少部分地基于关于患者解剖结构的信息。在一些实施方案中，计算一个或多个第二位姿是基于外科手术计划或术前图像。在其他实施方案中，位姿算法可以被配置成基于成像装置的一个或多个特性(例如，分辨率、图像类型、图像尺寸、装置尺寸、图像深度等)计算一个或多个第二位姿。例如，如果待成像的区域包括骨组织，并且成像装置是超声探头，则可以计算一个或多个位姿以避免由于超声波不能穿透骨组织而导致的“阴影”。更具体地，例如，可以选择一个或多个位姿以从骨组织的不同侧上的两个不同轨迹获得图像数据，使得在一个图像中处于“阴影”中的成像区域的部分清楚地显示在另一图像中，并且反之亦然。可替代地，如果仅需要关于骨组织的一侧上的解剖结构的信息，则可以计算将确保感兴趣区域不在骨组织的“阴影”中的一个或多个第二位姿。
在又其他实施方案中，位姿算法可以被配置成基于来自外科医生或操作者的输入或反馈来计算一个或多个第二位姿。例如，外科医生或操作者可能希望从某个角度或多个角度获得解剖特征的图像。在另一示例中，外科医生可能希望无创地定位成像装置，而在其他示例中，外科医生可能希望侵入性地定位成像装置。
方法500还包括在第一时间段期间从一个或多个第一位姿中的每个位姿处的成像装置接收第一图像以产生第一图像集(步骤506)。在一些实施方案中，直接从成像装置接收第一图像。在其他实施方案中，从或经由存储器(如存储器116)、数据库、云或另一网络、或任何其他源或元件接收第一图像。第一图像集中的每个第一图像可以描绘至少一个解剖特征。方法500可以包括使成像装置(如上所述，其可以是例如成像装置112)自动定位和/或自动致动以获得图像。例如，成像装置可以由机器人臂(如机器人臂132)自动地定位在步骤502计算的第一位姿中的一个位姿。在其他示例中，成像装置可以由外科医生在导航系统(如导航系统114)的辅助下定位。例如，外科医生可以参考导航系统的显示器或以其他方式利用导航系统来将成像装置定位于在步骤502中计算的一个或多个第一成像装置位姿中的一个位姿。
第一图像集可以包括一个或多个2D图像、一个或多个3D图像或一个或多个2D图像与一个或多个3D图像的组合。在一些实施方案中，可以使用一个成像装置来获得第一图像集。在其他实施方案中，可以使用多个成像装置来获得第一图像集。例如，第一成像装置可以独立于第二成像装置获得第一图像中的第二个图像而获得第一图像中的第一个图像。在另一示例中，第一图像中的至少第一个图像可以利用由机器人臂保持的第一成像装置在第一位姿中的对应第一位姿下来获得，并且第一图像中的至少第二个图像可以利用由机器人臂保持的第二成像装置在第一位姿中的对应第二位姿下来获得。
方法500还包括在第一时间段之后的第二时间段期间从一个或多个第二位姿中的每个位姿处的成像装置接收第二图像以产生第二图像集(步骤508)。在一些实施方案中，直接从成像装置接收第二图像。在其他实施方案中，经由用户界面从成像装置的操作者接收第二图像。第二图像集中的每个第二图像可以描绘至少一个解剖特征。第二时间段可以对应于外科手术步骤之前、外科手术步骤期间或外科手术步骤之后的时间段。
方法500可以包括使成像装置自动定位和/或自动致动以获得第二图像。例如，成像装置可以由机器人臂(如机器人臂132)自动地定位在步骤504计算的第二位姿中的一个位姿。在其他示例中，成像装置可以由外科医生在导航系统(如导航系统114)的辅助下定位。例如，外科医生可以参考导航系统的显示器或以其他方式利用导航系统来将成像装置定位于在步骤504中计算的一个或多个第二成像装置位姿中的一个位姿。
第二图像集可以包括一个或多个2D图像、一个或多个3D图像或一个或多个2D图像与一个或多个3D图像的组合。在一些实施方案中，可以使用一个成像装置来获得第二图像集。在其他实施方案中，可以使用多个成像装置来获得第二图像集。例如，第一成像装置可以独立于第二成像装置获得第二图像中的第二个图像而获得第二图像中的第一个图像。在另一示例中，第二图像中的至少第一个图像可以利用由机器人臂保持的第一成像装置在第二位姿中的对应第一位姿下来获得，并且第二图像中的至少第二个图像可以利用由机器人臂保持的第二成像装置在第二位姿中的对应第二位姿下来获得。
方法500还包括将第一图像集与第二图像集进行比较以验证机器人空间与患者空间的配准(步骤510)。在一些示例中，比较可以包括基于第一图像集和第二图像集来确定在第一图像中的一个或多个图像以及第二图像中的一个或多个图像中描绘的解剖特征从第一时间段到第二时间段是否保持在相同位置。在一些实施方案中，确定解剖特征的位置的变化可以包括使用特征识别(单独地或结合关于拍摄每个图像时的成像装置的位姿的位姿信息)来将每个第二图像中的解剖特征与每个对应的第一图像中的解剖特征匹配。在其他实施方案中，人工智能、机器学习和/或位姿信息可以用于确定解剖特征的位置的变化。当第二图像中的每个图像中的一个或多个解剖特征的位置与每个对应的第一图像中的一个或多个解剖特征的位置匹配时，可以验证机器人空间与患者空间的配准。可替代地，当第二图像中的一个图像中的解剖特征的位置与对应的第一图像中的解剖特征的位置不匹配时，检测到变化。如果检测到变化，则重新配准或局部重新配准可能是必要的，并且可以例如使用方法400的一个或多个步骤来完成。局部重新配准可以包括基于检测到的变化(以及/或者基于关于第一位姿和/或第二位姿的信息)确定解剖特征的更新的位置，以及基于更新的位置来更新配准。
现在转到图6，根据本公开的实施方案的用于基于外科手术计划(如外科手术计划134)获得图像的方法600可以例如全部或部分地在如计算装置102或类似装置等计算装置上执行，并且可以利用系统100的一个或多个部件或类似部件。方法600的一个或多个方面可以由或用外科手术机器人、外科医生或两者的组合使用一个或多个成像装置(如成像装置112)来执行。
方法600可以用于例如在使用一个或多个成像装置(例如，成像装置112)以获得一个或多个图像之前改进或优化该一个或多个成像装置的设置，以增加获得其中具有期望信息的可用图像的可能性，并减少获得此类图像所需的时间。当前，例如，外科医生或其他操作者可能需要花费时间来检查外科手术计划，标识所需图像，确定使用哪个成像装置来获得所需图像，检查成像装置的设置，在必要时调整那些设置，拍摄试验图像，重新调整设置以进行任何所需校正，以及然后拍摄一个或多个另外的图像。根据本公开的实施方案，处理器(例如，处理器104)可以分析外科手术计划，标识需要通过获得相关解剖区域的一个或多个图像来收集的信息，确定多个成像装置中的哪个最适合于获得所需图像，确定需要所选择的成像装置的哪些设置来获得所需信息，并且然后使机器人臂将成像装置自动定位在一个或多个适当位置和定向中以获得所需图像-所有这些都很少有或没有来自外科医生或其他操作者的输入。
方法600还可以用于例如使用每个成像装置的已知位置和定向来组合来自不同成像装置的图像。例如，可以基于当拍摄每个图像时超声装置和OCT相机的已知位置和定向将来自超声装置的图像与来自OCT相机的图像组合。
方法600还可以用于例如提供多普勒成像，其中第一层图像数据可以被描绘在第二层图像数据的顶部上。该第一层和该第二层可以是不同类型的图像数据。例如，第二层图像数据可以是X射线图像数据，并且第一层图像数据可以是超声图像数据。在此类示例中，软组织(例如，心脏或血管内的血流)可以显示在硬组织(例如，骨骼)的顶部上。此类多普勒成像可以用于检测各种元件的速度变化。应当理解，可以在任何数量或类型的图像数据的顶部上描绘任何数量或类型的图像数据层。
方法600还可以用于例如从术前模型或其他影像中消除伪影，或减少术前模型或其他影像中的伪影数量。可以利用处理器(如处理器104)来标识此类伪影(或从标识此类伪影的外科医生或其他操作者接收输入)，确定所需要的另外的信息来从术前模型或其他影像中消除伪影，选择一个或多个成像装置以用于获得另外的信息，标识所选成像装置的一个或多个所需设置，配置成像装置以反映所需设置，计算将成像装置定位以获得所需图像的一个或多个位姿，并且然后使成像装置在一个或多个位姿下获得一个或多个图像(例如，通过控制保持成像装置的机器人臂以将成像装置移动到所计算的位姿，并且通过一旦成像装置已经达到所计算的位姿就使成像装置获得图像)。
方法600包括接收外科手术计划(步骤602)。例如，可以与外科手术计划134相同或类似的外科手术计划可以经由用户界面(如用户界面110)和/或计算装置(如计算装置102)的通信接口(如通信接口108)接收，并且可以存储在存储器(如计算装置的存储器106)中。外科手术计划还可以由系统100的任何部件生成和/或上传到该系统的任何部件。外科手术计划可以包括关于机器人臂(如机器人臂132)的一个或多个计划移动的信息，以在外科手术程序期间将成像装置(例如，成像装置112)定位在该位姿。该信息也可包括一个或多个计划移动的时间线或时间表。一个或多个计划移动可以是或包括以下中的一者或多者：时间戳、移动类型(例如，平移式和/或旋转式移动)、移动持续时间和/或位置信息(例如，坐标、定向)。外科手术计划可以包括关于一个或多个伪影的信息，这些伪影可能模糊或以其他方式干扰获得图像。
在一些实施方案中，外科手术计划包括患者解剖结构的3D模型和/或其他图像数据。在此类实施方案中，可以使用图像处理算法(如成像处理算法120)来处理图像数据以解析灰度等级以校准成像装置。在校准期间，可以将标准化的灰度值应用于成像装置。此类校准可以在成像装置的维护期间发生。
方法600还包括标识执行外科手术计划所需的图像信息(步骤604)。所需的图像信息可以是或包括关于一个或多个解剖特征的信息(包括例如定位(包括相对于一个或多个其他解剖特征的定位)、一个或多个解剖特征的特性和/或类型)和/或所需的图像深度、分辨率和/或类型。
方法600还可以包括标识获得所标识的图像信息所需的成像装置。可以基于所需的图像信息来选择成像装置(其可以为例如成像装置112)。例如，可以基于成像装置的特性是否使得成像装置能够获得所标识的图像信息来选择成像装置。例如，一个成像装置(例如，OCT相机)可以基于对解剖组织的表面附近的解剖特征的详细图像的需要来选择，和/或可以是因为需要长时间段的成像(使得如果分别使用X射线成像装置或超声成像装置，则X射线辐射和/或超声加热将是问题)而选择的。可以基于对更大深度处的图像的需要来选择另一成像装置(例如，超声探头)。还可以基于成像装置的尺寸来选择该成像装置。例如，成像装置可以根据其穿过小切口和/或用于微创外科手术系统的能力来选择。在一些实施方案中，可能需要两个或更多个成像装置(或具有两种或更多种配置的一个成像装置)来收集所有标识的成像信息。例如，超声探头可以用于收集较深深度处的成像信息，并且OCT装置可以用于收集较浅深度处的成像信息。在其他实施方案中，OCT装置可以用于(例如，动脉的)内部成像，而超声探头用于外部成像。
方法600还包括确定成像装置的位姿以获得所标识的图像信息(步骤606)。可以使用位姿算法(如位姿算法122)来确定一个或多个位姿。可以至少部分地基于外科手术计划和/或关于要成像的解剖结构的其他信息来确定一个或多个位姿，以便确定将提供尽可能多的信息的成像装置的位姿。这是特别重要的，例如，当对复杂的骨结构(如脊柱椎骨)成像时，这些骨结构(取决于所使用的成像装置)可能产生阴影并因此减少可以从图像收集的信息量。在外科手术计划包括3D模型的实施方案中，确定位姿可以进一步基于3D模型。在此类实施方案中，3D模型包括关于一个或多个伪影的信息，基于该信息计算位姿，并且在下面描述的步骤610中获得的图像不包括该一个或多个伪影。在一些实施方案中，一个或多个位姿可以基于外科手术计划或其他术前影像来确定，以利用穿过所讨论的解剖结构中的骨结构(例如，在相邻椎骨或其部分之间)的“窗口”。一个或多个位姿可以是或包括成像装置的坐标和/或定向。在一些实施方案中，位姿算法被配置成基于所标识的图像信息计算一个或多个位姿。例如，可以基于对可以从其位姿或位置和定向获得所标识的图像信息的分析来计算该一个或多个位姿。在其他示例中，可以基于术前图像或3D模型中的缺失信息(例如，图像数据、解剖特征特性)来计算一个或多个位姿。
在一些实施方案中，位姿算法可以被配置成基于保持成像装置的机器人臂(例如，机器人臂132)的至少五个运动自由度来计算一个或多个位姿。在其他实施方案中，一个或多个位姿可以基于机器人臂的小于或大于五个运动自由度。在一些实施方案中，一个或多个位姿是基于保持成像装置的机器人臂的至少六个运动自由度。这种基于多个运动自由度的计算有利地使得能够计算平面和/或焦点中的精确位姿，这在没有机器人臂的情况下通过成像装置是不可获得的。
在其他实施方案中，位姿算法可以被配置成基于成像装置的一个或多个特性(例如，分辨率、图像类型、图像尺寸、装置尺寸、图像深度等)计算一个或多个位姿。例如，如果待成像的区域包括骨组织，并且成像装置是超声探头，则可以计算一个或多个位姿以避免由于超声波不能穿透骨组织而导致的“阴影”。更具体地，例如，可以选择一个或多个位姿以从骨组织的不同侧上的两个不同轨迹获得图像数据，使得在一个图像中处于“阴影”中的成像区域的部分清楚地显示在另一图像中，并且反之亦然。可替代地，如果仅需要关于骨组织的一侧上的解剖结构的信息，则可以计算将确保感兴趣区域不在骨组织的“阴影”中的一个或多个位姿。此外，在至少部分地基于外科手术计划的术前图像或3D模型来计算位姿的实施方案中，该术前图像或3D模型可以被用来使得能够计算位姿，这些位姿将使得能够以比在其它情况下可以获得所需信息的方式更有效的方式获得所需信息。
在一些实施方案中，术前图像或3D模型可以包括一个或多个伪影，包括但不限于如上所述的由骨组织引起的阴影。可以计算一个或多个位姿以获得更新术前图像或3D模型所需的图像数据，并且允许从术前图像或3D模型完全地或在感兴趣区域中消除此类伪影。
在又其他实施方案中，位姿算法可以被配置成基于来自外科医生或操作者的输入或反馈来计算一个或多个位姿。例如，外科医生或操作者可能希望从某个角度或多个角度获得解剖特征的图像。在另一示例中，外科医生可能希望无创地定位成像装置，而在其他示例中，外科医生可能希望侵入性地定位成像装置。
方法600还包括基于位姿和计划来确定成像装置的至少一个设置(步骤608)。该至少一个设置包括但不限于分辨率、深度、类型和/或成像持续时间。确定该至少一个设置可以基于成像装置的至少一个特性和/或外科手术计划。该至少一个设置还可以基于所标识的图像信息和/或位姿。例如，对于要用处于特定位姿的超声探头拍摄的给定图像，长穿透深度对于高分辨率可能是优选的，而对于另一图像，相反的情况可能是真实的。在一些实施方案中，至少一个设置基于来自外科医生或操作者的输入或反馈。例如，外科医生或操作者可能希望从某个角度获得解剖特征的图像。对于将用于获得所需图像信息的多个成像装置中的每个成像装置，该至少一个设置可以是不同的。在一些实施方案中，一个成像装置的至少一个设置对于要用该一个成像装置拍摄的每个图像可以是不同的，以便获得具有变化信息的图像。在其他实施方案中，可以在校准过程期间确定至少一个设置。
该方法还包括使用所确定的至少一个设置从一个或多个位姿处的成像装置接收图像(步骤610)。在一些实施方案中，直接从成像装置接收图像。在其他实施方案中，从或经由存储器(如存储器116)、数据库、云或另一网络、或任何其他源或元件接收图像。在一些实施方案中，在执行外科手术计划之前获得图像。在其他实施方案中，在外科手术计划的两个步骤之间获得图像。可以从所获得的图像中提取所标识的图像信息。成像装置可以被自动定位和/或自动致动以获得图像。例如，成像装置可以由机器人臂(如机器人臂132)自动定位在该位姿。在其他示例中，成像装置可以由外科医生在导航系统(如导航系统114)的辅助下定位。所获得的图像可以包括一个或多个2D图像、一个或多个3D图像或一个或多个2D图像与一个或多个3D图像的组合。因为每个图像是从已知位置拍摄的，所以即使使用不同的成像装置拍摄图像，也可以容易地组合这些图像。
在一些实施例中，可以使用一个成像装置来获得图像。在其他实施例中，可以使用多个成像装置来获得图像。例如，第一成像装置可以独立于第二成像装置获得图像中的第二图像而获得图像中的第一图像。在另一示例中，图像中的至少第一图像可以利用由机器人臂保持的第一成像装置在位姿中的对应第一位姿下来获得，并且图像中的至少第二图像可以利用由机器人臂保持的第二成像装置在位姿中的对应第二位姿下来获得。在其他实施方案中，第一成像装置可以在第一组一个或多个位姿中的每个位姿下获得图像，并且第二成像装置可以在第二组一个或多个位姿中的每个位姿下获得另一图像。
在仅确定一个位姿的情况下，可以使用一个成像装置在该一个位姿下获得一个图像。可替代地，可以使用一个成像装置在该一个位姿下获得多个图像(可能例如针对每个图像具有不同设置)，或者可以使用多个成像装置在该一个位姿下获得多个图像(例如，从该一个位姿收集不同类型的图像信息)。在具有多个位姿的实施方案中，可以使用一个成像装置在多个位姿中的每个位姿下获得一个或多个图像，或者可以使用多个成像装置。例如，第一成像装置可以独立于第二成像装置获得图像中的第二图像而获得图像中的第一图像。在另一示例中，图像中的至少第一图像可以利用由机器人臂保持的第一成像装置在位姿中的对应第一位姿下来获得，并且图像中的至少第二图像可以利用由机器人臂保持的第二成像装置在位姿中的对应第二位姿下来获得。在一些实施方案中，如先前所描述的，成像装置可以是超声探头，并且超声探头的检测器或接收器和超声探头的发射器或换能器可以通过单独的机器人臂彼此保持已知距离并且彼此相对。
方法600还可以包括从所获得的图像提取用于外科手术计划的所标识的图像信息。例如，可以从所获得的图像提取关于解剖特征(如但不限于静脉)的信息。在一些实施方案中，方法600可以包括基于每个所获得的图像并且基于对应的至少一个位姿来更新(例如，外科手术计划(如外科手术计划134)的)图像或3D对象，以产生更新的图像或3D模型。
方法600还可以包括基于外科手术计划计算图像中描绘的解剖特征的至少一个预测的移动；基于预测的移动来确定更新的位姿；确定至少一个更新的设置；使成像装置使用该至少一个更新的设置在该更新的位姿下获得更新的图像；以及基于该更新的图像与对应图像的比较来验证该预测的移动。该更新的位姿可以匹配例如在步骤606中计算的位姿。方法600还可以包括基于更新图像来标识关于解剖特征的新信息。可以基于所标识的新信息来更新外科手术计划和/或外科手术计划的3D模型。该新信息可以是但不限于以下中的一者或多者：解剖特征的位置和/或定向的变化、解剖特征的表面特性的变化、解剖特征的大小的变化、或解剖特征与外科手术植入物的接合。
当解剖特征已经移动或疑似已经移动时，可以重复步骤602至步骤610中的一个或多个步骤。可以执行步骤602至步骤610的重复并且可以相应地更新外科手术计划。
现在转到图7，根据本公开的实施方案的用于基于外科手术计划(如外科手术计划134)获得图像的方法700可以例如全部或部分地在如计算装置102或类似装置等计算装置上执行，并且可以利用系统100的一个或多个部件或类似部件。方法700的一个或多个方面可以由或用外科手术机器人、外科医生或两者的组合使用一个或多个成像装置(如成像装置112)来执行。一般而言，除了步骤706和步骤708不同于步骤606和步骤608之外，方法700类似于方法600。
方法700可以用于例如在使用一个或多个成像装置(例如，成像装置112)以获得一个或多个图像之前改进或优化该一个或多个成像装置的设置，以增加获得其中具有期望信息的可用图像的可能性，并减少获得此类图像所需的时间。当前，例如，外科医生或其他操作者可能需要花费时间来检查外科手术计划，标识所需图像，确定使用哪个成像装置来获得所需图像，检查成像装置的设置，在必要时调整那些设置，拍摄试验图像，重新调整设置以进行任何所需校正，以及然后拍摄一个或多个另外的图像。根据本公开的实施方案，处理器(例如，处理器104)可以分析外科手术计划，标识需要通过获得相关解剖区域的一个或多个图像来收集的信息，确定多个成像装置中的哪个最适合于获得所需图像，确定需要所选择的成像装置的哪些设置来获得所需信息，并且然后使机器人臂将成像装置自动定位在一个或多个适当位置和定向中以获得所需图像-所有这些都很少有或没有来自外科医生或其他操作者的输入。
方法700还可以用于例如使用每个成像装置的已知位置和定向来组合来自不同成像装置的图像。例如，可以基于当拍摄每个图像时超声装置和OCT相机的已知位置和定向将来自超声装置的图像与来自OCT相机的图像组合。
方法700还可以用于例如提供多普勒成像，其中第一层图像数据可以被描绘在第二层图像数据的顶部上。该第一层和该第二层可以是不同类型的图像数据。例如，第二层图像数据可以是X射线图像数据，并且第一层图像数据可以是超声图像数据。在此类示例中，软组织(例如，心脏或血管内的血流)可以显示在硬组织(例如，骨骼)的顶部上。此类多普勒成像可以用于检测各种元件的速度变化。应当理解，可以在任何数量或类型的图像数据的顶部上描绘任何数量或类型的图像数据层。
方法700还可以用于例如从术前模型或其他影像中消除伪影，或减少术前模型或其他影像中的伪影数量。可以利用处理器(如处理器104)来标识此类伪影(或从标识此类伪影的外科医生或其他操作者接收输入)，确定所需要的另外的信息来从术前模型或其他影像中消除伪影，选择一个或多个成像装置以用于获得另外的信息，标识所选成像装置的一个或多个所需设置，配置成像装置以反映所需设置，计算将成像装置定位以获得所需图像的一个或多个位姿，并且然后使成像装置在一个或多个位姿下获得一个或多个图像(例如，通过控制保持成像装置的机器人臂以将成像装置移动到所计算的位姿，并且通过一旦成像装置已经达到所计算的位姿就使成像装置获得图像)。
方法700包括接收外科手术计划(步骤702)。例如，可以与外科手术计划134相同或类似的外科手术计划可以经由用户界面(如用户界面110)和/或计算装置(如计算装置102)的通信接口(如通信接口108)接收，并且可以存储在存储器(如计算装置的存储器106)中。外科手术计划还可以由系统100的任何部件生成和/或上传到该系统的任何部件。外科手术计划可以包括关于机器人臂(如机器人臂132)的一个或多个计划移动的信息，以外科手术程序期间定位成像装置(例如，成像装置112)。该信息也可包括一个或多个计划移动的时间线或时间表。一个或多个计划移动可以是或包括以下中的一者或多者：时间戳、移动类型(例如，平移式和/或旋转式移动)、移动持续时间和/或位置信息(例如，坐标、定向)。外科手术计划可以包括关于一个或多个伪影的信息，这些伪影可能模糊或以其他方式干扰获得图像。
在一些实施方案中，外科手术计划包括患者解剖结构的3D模型和/或其他图像数据。在此类实施方案中，可以使用图像处理算法(如成像处理算法120)来处理图像数据以解析灰度等级以校准成像装置。在校准期间，可以将标准化的灰度值应用于成像装置。
方法700还包括标识执行外科手术计划所需的图像信息(步骤704)。所需的图像信息可以是或包括关于一个或多个解剖特征的信息(包括例如定位(包括相对于一个或多个其他解剖特征的定位)、一个或多个解剖特征的特性和/或类型)和/或所需的图像深度、分辨率和/或类型。
方法700还可以包括标识获得所标识的图像信息所需的成像装置。可以基于所需的图像信息来选择成像装置(其可以为例如成像装置112)。例如，可以基于成像装置的特性是否使得成像装置能够获得所标识的图像信息来选择成像装置。例如，一个成像装置(例如，OCT相机)可以基于对解剖组织的表面附近的解剖特征的详细图像的需要来选择，和/或可以是因为需要长时间段的成像(使得如果分别使用X射线成像装置或超声成像装置，则X射线辐射和/或超声加热将是问题)而选择的。可以基于对更大深度处的图像的需要来选择另一成像装置(例如，超声探头)。还可以基于成像装置的尺寸来选择该成像装置。例如，成像装置可以根据其穿过小切口和/或用于微创外科手术系统的能力来选择。在一些实施方案中，可能需要两个或更多个成像装置(或具有两种或更多种配置的一个成像装置)来收集所有标识的成像信息。例如，超声探头可以用于收集较深深度处的成像信息，并且OCT装置可以用于收集较浅深度处的成像信息。在其他实施方案中，OCT装置可以用于(例如，动脉的)内部成像，而超声探头用于外部成像。
方法700还包括确定成像装置的至少一个设置(步骤706)。确定该至少一个设置可以基于外科手术计划。该至少一个设置包括但不限于分辨率、深度、类型和/或成像持续时间。确定该至少一个设置可以基于成像装置的至少一个特性和/或外科手术计划。该至少一个设置还可以基于所标识的图像信息和/或位姿。例如，对于要用处于特定位姿的超声探头拍摄的给定图像，长穿透深度对于高分辨率可能是优选的，而对于另一图像，相反的情况可能是真实的。在一些实施方案中，至少一个设置基于来自外科医生或操作者的输入或反馈。例如，外科医生或操作者可能希望从某个角度获得解剖特征的图像。对于将用于获得所需图像信息的多个成像装置中的每个成像装置，该至少一个设置可以是不同的。在一些实施方案中，一个成像装置的至少一个设置对于要用该一个成像装置拍摄的每个图像可以是不同的，以便获得具有变化信息的图像。在其他实施方案中，可以在校准过程期间确定至少一个设置。
方法700还包括基于计划和至少一个设置来确定成像装置的位姿(步骤708)。可以使用位姿算法(如位姿算法122)来确定一个或多个位姿。可以至少部分地基于外科手术计划和/或关于要成像的解剖结构的其他信息来确定一个或多个位姿，以便确定将提供尽可能多的信息的成像装置的位姿。这是特别重要的，例如，当对复杂的骨结构(如脊柱椎骨)成像时，这些骨结构(取决于所使用的成像装置)可能产生阴影并因此减少可以从图像收集的信息量。在外科手术计划包括3D模型的实施方案中，确定位姿可以进一步基于3D模型。在此类实施方案中，3D模型包括关于一个或多个伪影的信息，基于该信息计算位姿，并且在下面描述的步骤710中获得的图像不包括该一个或多个伪影。在一些实施方案中，一个或多个位姿可以基于外科手术计划或其他术前影像来确定，以利用穿过所讨论的解剖结构中的骨结构(例如，在相邻椎骨或其部分之间)的“窗口”。一个或多个位姿可以是或包括成像装置的坐标和/或定向。在一些实施方案中，位姿算法被配置成基于所标识的图像信息计算一个或多个位姿。例如，可以基于对可以从其位姿或位置和定向获得所标识的图像信息的分析来计算该一个或多个位姿。在其他示例中，可以基于术前图像或3D模型中的缺失信息(例如，图像数据、解剖特征特性)来计算一个或多个位姿。
在一些实施方案中，位姿算法可以被配置成基于保持成像装置的机器人臂(例如，机器人臂132)的至少五个运动自由度来计算一个或多个位姿。在其他实施方案中，一个或多个位姿可以基于机器人臂的小于或大于五个运动自由度。在一些实施方案中，一个或多个位姿是基于保持成像装置的机器人臂的至少六个运动自由度。这种基于多个运动自由度的计算有利地使得能够计算平面和/或焦点中的精确位姿，这在没有机器人臂的情况下通过成像装置是不可获得的。
在其他实施方案中，位姿算法可以被配置成基于成像装置的一个或多个特性(例如，分辨率、图像类型、图像尺寸、装置尺寸、图像深度等)计算一个或多个位姿。例如，如果待成像的区域包括骨组织，并且成像装置是超声探头，则可以计算一个或多个位姿以避免由于超声波不能穿透骨组织而导致的“阴影”。更具体地，例如，可以选择一个或多个位姿以从骨组织的不同侧上的两个不同轨迹获得图像数据，使得在一个图像中处于“阴影”中的成像区域的部分清楚地显示在另一图像中，并且反之亦然。可替代地，如果仅需要关于骨组织的一侧上的解剖结构的信息，则可以计算将确保感兴趣区域不在骨组织的“阴影”中的一个或多个位姿。此外，在至少部分地基于外科手术计划的术前图像或3D模型来计算位姿的实施方案中，该术前图像或3D模型可以被用来使得能够计算位姿，这些位姿将使得能够以比在其它情况下可以获得所需信息的方式更有效的方式获得所需信息。
在一些实施方案中，术前图像或3D模型可以包括一个或多个伪影，包括但不限于如上所述的由骨组织引起的阴影。可以计算一个或多个位姿以获得更新术前图像或3D模型所需的图像数据，并且允许从术前图像或3D模型完全地或在感兴趣区域中消除此类伪影。
在又其他实施方案中，位姿算法可以被配置成基于来自外科医生或操作者的输入或反馈来计算一个或多个位姿。例如，外科医生或操作者可能希望从某个角度或多个角度获得解剖特征的图像。在另一示例中，外科医生可能希望无创地定位成像装置，而在其他示例中，外科医生可能希望侵入性地定位成像装置。
该方法还包括使用所确定的至少一个设置从一个或多个位姿处的所标识的成像装置图像接收图像(步骤710)。在一些实施方案中，直接从成像装置接收图像。在其他实施方案中，从或经由存储器(如存储器116)、数据库、云或另一网络、或任何其他源或元件接收图像。在一些实施方案中，在执行外科手术计划之前获得图像。在其他实施方案中，在外科手术计划的两个步骤之间获得图像。可以从所获得的图像中提取所标识的图像信息。成像装置可以被自动定位和/或自动致动以获得图像。例如，成像装置可以由机器人臂(如机器人臂132)自动定位在该位姿。在其他示例中，成像装置可以由外科医生在导航系统(如导航系统114)的辅助下定位。所获得的图像可以包括一个或多个2D图像、一个或多个3D图像或一个或多个2D图像与一个或多个3D图像的组合。因为每个图像是从已知位置拍摄的，所以即使使用不同的成像装置拍摄图像，也可以容易地组合这些图像。
在一些实施例中，可以使用一个成像装置来获得图像。在其他实施例中，可以使用多个成像装置来获得图像。例如，第一成像装置可以独立于第二成像装置获得图像中的第二图像而获得图像中的第一图像。在另一示例中，图像中的至少第一图像可以利用由机器人臂保持的第一成像装置在位姿中的对应第一位姿下来获得，并且图像中的至少第二图像可以利用由机器人臂保持的第二成像装置在位姿中的对应第二位姿下来获得。在其他实施方案中，第一成像装置可以在第一组一个或多个位姿中的每个位姿下获得图像，并且第二成像装置可以在第二组一个或多个位姿中的每个位姿下获得另一图像。
在仅确定一个位姿的情况下，可以使用一个成像装置在该一个位姿下获得一个图像。可替代地，可以使用一个成像装置在该一个位姿下获得多个图像(可能例如针对每个图像具有不同设置)，或者可以使用多个成像装置在该一个位姿下获得多个图像(例如，从该一个位姿收集不同类型的图像信息)。在具有多个位姿的实施方案中，可以使用一个成像装置在多个位姿中的每个位姿下获得一个或多个图像，或者可以使用多个成像装置。例如，第一成像装置可以独立于第二成像装置获得图像中的第二图像而获得图像中的第一图像。在另一示例中，图像中的至少第一图像可以利用由机器人臂保持的第一成像装置在位姿中的对应第一位姿下来获得，并且图像中的至少第二图像可以利用由机器人臂保持的第二成像装置在位姿中的对应第二位姿下来获得。在一些实施方案中，如先前所描述的，成像装置可以是超声探头，并且超声探头的检测器或接收器和超声探头的发射器或换能器可以通过单独的机器人臂彼此保持已知距离并且彼此相对。
方法700还可以包括从所获得的图像提取用于外科手术计划的所标识的图像信息。例如，可以从所获得的图像提取关于解剖特征(如但不限于静脉)的信息。在一些实施方案中，方法700可以包括基于每个所获得的图像并且基于对应的至少一个位姿来更新(例如，外科手术计划(如外科手术计划134)的)图像或3D对象，以产生更新的图像或3D模型。
方法700还可以包括基于外科手术计划计算图像中描绘的解剖特征的至少一个预测的移动；基于预测的移动来确定更新的位姿；确定至少一个更新的设置；使成像装置使用该至少一个更新的设置在该更新的位姿下获得更新的图像；以及基于该更新的图像与对应图像的比较来验证该预测的移动。该更新的位姿可以匹配例如在步骤707中计算的位姿。方法700还可以包括基于更新图像来标识关于解剖特征的新信息。可以基于所标识的新信息来更新外科手术计划和/或外科手术计划的3D模型。
当解剖特征已经移动或疑似已经移动时，可以重复步骤702至步骤710中的一个或多个步骤。可以执行步骤702至步骤710的重复并且可以相应地更新外科手术计划。
现在转到图8，根据本公开的实施方案的用于基于外科手术计划(如外科手术计划134)获得飞行时间图像的方法800可以例如全部或部分地在如计算装置102或类似装置等计算装置上执行，并且可以利用系统100的一个或多个部件或类似部件。方法800的一个或多个方面可以由或用外科手术机器人、外科医生或两者的组合使用一个或多个成像装置(如成像装置112)来执行。例如，方法800可以用于提供对于飞行时间图像唯一的关于组织的信息。
方法800包括接收外科手术计划(步骤802)。例如，可以与外科手术计划134相同或类似的外科手术计划可以经由用户界面(如用户界面110)和/或计算装置(如计算装置102)的通信接口(如通信接口108)接收，并且可以存储在存储器(如计算装置的存储器106)中。外科手术计划还可以由系统100的任何部件生成和/或上传到该系统的任何部件。外科手术计划可以包括关于机器人臂(如机器人臂132)的一个或多个计划移动的信息，以外科手术程序期间定位成像装置(例如，成像装置112)。在一些实施方案中，外科手术计划包括关于患者的感兴趣区域的信息，如感兴趣区域的初始图像和/或患者解剖结构的其他图像数据。在一些实施方案中，初始图像可以是经配准的预先获取的扫描。外科手术计划可以包括关于第一机器人臂的第一位姿或路径、第二机器人臂的第二位姿或路径和/或第三机器人臂的第三位姿或路径的信息。外科手术计划可以包括用于任何数量的机器人臂的任何数量的路径或位姿。在其他实施方案中，外科手术计划不包括任何路径或位姿，并且此类路径或位姿可以如以下关于步骤804所描述的那样来确定。
外科手术计划可以包括关于一个或多个机器人臂(如机器人臂132)的一个或多个计划移动的信息，以在外科手术程序期间定位成像装置(例如，成像装置112，该成像装置可以包括换能器和与换能器物理分离的接收器)。该信息也可包括一个或多个计划移动的时间线或时间表。一个或多个计划移动可以是或包括以下中的一者或多者：时间戳、移动类型(例如，平移式和/或旋转式移动)、移动持续时间和/或位置信息(例如，坐标、定向)。
方法800还包括确定用于第一机器人臂的第一路径和用于第二机器人臂的第二路径(步骤804)。确定步骤可以基于外科手术计划，该外科手术计划包括但不限于关于患者解剖结构的感兴趣区域的信息，如初始图像。该确定可以另外或可替代地基于实时光学扫描。该确定可以使用一个或多个算法，如位姿算法122。第一路径和第二路径可以各自分别包括由第一机器人臂保持的换能器和由第二机器人臂保持的接收器的多个坐标和/或定向。在一些实施方案中，确定步骤确定用于第三机器人臂的第三路径。在其他实施方案中，确定步骤可以确定用于任何数量的机器人臂的任何数量的路径。
在一些实施方案中，确定第一路径包括确定限定第一路径的多个第一位姿，并且确定第二路径包括确定限定第二路径的多个第二位姿。在此类实施方案中，确定第一位姿中的每个位姿和第二位姿中的每个位姿可以基于关于患者解剖结构的感兴趣区域的信息，如初始图像。例如，第一路径和第二路径可以各自基于获得特定器官的三维图像来确定。第一路径和第二路径中的每个路径可以是体内路径或体外路径中的至少一个路径或者体内路径或体外路径的组合。进一步地，第一路径和第二路径中的每个路径可以是圆形、平行或自由形状中的至少一者或者圆形、平行或自由形状的组合。
方法800包括使第一机器人臂在第一路径上移动(步骤806)以及使第二机器人臂在第二路径上移动(步骤808)。在一些实施方案中，包括当期望三维图像时，第一机器人臂在第一路径上的移动与第二机器人臂在第二路径上的移动同步。在其他实施方案中，包括当期望二维图像时，第一机器人臂与第二机器人臂并非同步地移动，但是两个机器人臂保持换能器和接收器直接地或基本上彼此面对，以便确保由换能器发射的信号被接收器接收。
在一些实施方案中，第一机器人臂被配置成保持换能器，并且第二机器人臂被配置成保持接收器。在其他实施方案中，换能器是第一换能器，并且方法800还包括使第三机器人臂在第三路径上移动。在相同的实施方案中，第三机器人臂被配置成保持第二换能器，并且第二换能器具有不同于第一换能器的图像设置。在一些实施方案中，图像设置可以是频率和/或幅度中的至少一者。
方法800还包括从接收器接收至少一个图像(步骤810)。该至少一个图像是基于在第一机器人臂在第一路径上的移动、第二机器人臂在第二路径上的移动以及(在利用的情况下)第三机器人臂在第三路径上的移动期间获得的飞行时间测量结果来生成的。此类测量结果可以至少部分地基于分别在每个信号被发送和接收的时刻换能器和接收器的已知位姿。该图像可以描绘患者解剖结构。在换能器包括多于两个换能器的实施方案中，图像可以是弹性成像图像。在一些实施方案中，可以从至少一个图像重建三维模型。
在一些实施方案中，方法800还包括确定将由成像装置(例如，当生成超声信号时由换能器)使用的频率。该频率可以基于例如感兴趣区域的已知组织组成来确定。在一些实施方案中，所确定的频率可以作为推荐频率(例如，经由用户界面)呈现给用户，该用户可以接受或拒绝该推荐频率。在其他实施方案中，所确定的频率可以用于自动配置成像装置。在其他实施方案中，方法800可以包括(例如，经由用户界面)接收来自用户的频率选择。
在一些实施方案中，方法800还可以包括计算实现定位在成像装置的换能器与接收器之间的组织的所需穿透所需的压力幅度。该计算可以基于例如所确定的频率。
本文所述的方法和系统提供了使用图像的已知位置和定向来更新、配准或生成初始图像或模型的改进的成像方法。这些方法和系统还提供了在整个操作期间对初始图像或模型的改进的更新或重新配准，因为原始图像或模型的已知位置和定向提供了从精确位置和定向重建图像作为原始图像或模型。
如基于前述公开可理解的，本公开涵盖具有比图2、图3、图4、图5、图6、图7和图8中标识的所有步骤少的步骤的方法(以及方法200、300、400、500、600、700和800的对应描述)，以及包括除了图2、图3、图4、图5、图6、图7和图8中标识的那些步骤之外的另外的步骤的方法(以及方法200、300、400、500、600、700和800的对应描述)。
已经出于说明和描述的目的呈现了前述讨论。前述内容并非旨在将本公开限于本文中所公开的一种或多种形式。在前述的具体实施方式中，出于简化本公开的目的，将本公开的例如各种特征在一个或多个方面、实施方案和/或配置中聚集在一起。本公开的方面、实施方案和/或配置的特征可在除上文所论述的那些之外的替代性方面、实施方案和/或配置中组合。不应将本公开内容的方法解释为反映以下意图：权利要求需要比每个权利要求中明确叙述的更多的特征。相反，如以下权利要求书所反映，本发明方面在于少于单个前述公开的方面、实施方案和/或配置的全部特征。因此，将以下权利要求特此并入这个具体实施方式中，其中每个权利要求作为本公开的单独的优选实施方案而独立存在。
此外，尽管描述已经包括对一个或多个方面、实施方案和/或配置以及某些变化和修改的描述，但在理解本公开后，其他变化、组合和修改也在本公开的范围内，例如，如可在本领域的技术人员的技能和知识内。期望获得在准许的范围内包括替代方面、实施方案和/或配置的权利，包括所要求保护的替代、可更换和/或等效的结构、功能、范围或步骤，而无论这些替代、可更换和/或等效的结构、功能、范围或步骤是否在本文中公开，且不期望公开用于任何可获专利的主题。

Claims (20)

1.一种用于获得飞行时间图像的方法，包括：
接收外科手术计划；
基于所述外科手术计划确定用于第一机器人臂的第一路径和用于第二机器人臂的第二路径；
使所述第一机器人臂在所述第一路径上移动，所述第一机器人臂被配置成保持换能器；
使所述第二机器人臂在所述第二路径上移动，所述第二机器人臂被配置成保持接收器；以及
从所述接收器接收至少一个图像，所述图像描绘患者解剖结构并且是使用飞行时间测量结果来生成的。
2.根据权利要求1所述的方法，还包括计算所述接收器的所需压力幅度设置。
3.根据权利要求1所述的方法，其中所述第一机器人臂在所述第一路径上的移动与所述第二机器人臂在所述第二路径上的移动同步。
4.根据权利要求1所述的方法，其中所述至少一个图像是三维模型。
5.根据权利要求1所述的方法，其中所述外科手术计划包括关于所述患者解剖结构的感兴趣区域的信息，并且进一步地，其中基于所述信息确定所述第一路径和所述第二路径。
6.根据权利要求1所述的方法，其中所述换能器是第一换能器，所述方法还包括：
确定用于第三机器人臂的第三路径；以及
使所述第三机器人臂在所述第三路径上移动，所述第三机器人臂保持第二换能器，其中所述第一换能器具有不同于所述第二换能器的图像设置。
7.根据权利要求6所述的方法，其中所述图像设置是频率和/或幅度中的至少一者。
8.根据权利要求6所述的方法，其中所述图像是弹性成像图像。
9.根据权利要求1所述的方法，其中所述第一路径和所述第二路径中的每个路径是体内路径或体外路径中的至少一个路径或者体内路径或体外路径的组合。
10.根据权利要求1所述的方法，其中所述第一路径和所述第二路径中的每个路径是圆形、平行或自由形状中的至少一者或者圆形、平行或自由形状的组合。
11.一种用于基于外科手术计划获得飞行时间图像的装置，包括：
至少一个处理器；和
至少一个存储器，所述至少一个存储器存储用于由所述至少一个处理器执行的指令，所述指令当被执行时使所述至少一个处理器：
接收外科手术计划；
基于所述外科手术计划确定用于第一机器人臂的第一路径和用于第二机器人臂的第二路径；
使所述第一机器人臂在所述第一路径上移动，所述第一机器人臂保持换能器；
使所述第二机器人臂在所述第二路径上移动，所述第二机器人臂保持接收器；以及
从所述接收接收至少一个图像，所述图像描绘患者解剖结构并且是使用飞行时间测量结果来生成的。
12.根据权利要求11所述的装置，其中所述存储器存储用于由所述处理器处理的另外的数据，所述另外的数据当被处理时使所述处理器计算所述接收器的所需压力幅度设置。
13.根据权利要求11所述的装置，其中所述第一机器人臂在所述第一路径上的移动与所述第二机器人臂在所述第二路径上的移动同步。
14.根据权利要求11所述的装置，其中所述至少一个图像是三维模型。
15.根据权利要求11所述的装置，其中所述外科手术计划包括关于所述患者解剖结构的感兴趣区域的信息，并且进一步地，其中基于所述信息确定所述第一路径和所述第二路径。
16.根据权利要求11所述的装置，其中所述换能器是第一换能器，并且其中所述存储器存储用于由所述处理器处理的另外的数据，所述另外的数据当被处理时使所述处理器：
确定用于第三机器人臂的第三路径；以及
使所述第三机器人臂在所述第三路径上移动，所述第三机器人臂保持第二换能器，其中所述第一换能器具有不同于所述第二换能器的图像设置。
17.根据权利要求16所述的装置，其中所述图像设置是频率和/或幅度中的至少一者。
18.根据权利要求16所述的装置，其中所述图像是弹性成像图像。
19.根据权利要求11所述的装置，其中所述第一路径和所述第二路径中的每个路径是体内路径或体外路径中的至少一个路径或者体内路径或体外路径的组合。
20.一种用于基于外科手术计划获得飞行时间图像的系统，包括：
成像装置，所述成像装置包括换能器和接收器；
多个机器人臂，所述多个机器人臂中的第一机器人臂被配置成保持所述换能器，并且所述多个机器人臂中的第二机器人臂被配置成保持所述接收器；
至少一个处理器；和
至少一个存储器，所述至少一个存储器存储用于由所述至少一个处理器执行的指令，所述指令当被执行时使所述至少一个处理器：
接收外科手术计划；
基于所述外科手术计划确定用于第一机器人臂的第一路径和用于第二机器人臂的第二路径；
使所述第一机器人臂在所述第一路径上移动，所述第一机器人臂保持换能器；
使所述第二机器人臂在所述第二路径上移动，所述第二机器人臂保持接收器；以及
从所述接收器接收至少一个图像，所述图像描绘患者解剖结构并且是使用飞行时间测量结果来生成的。
CN202180068366.0A 2020-10-06 2021-07-15 用于基于计算的机器人臂位置生成图像的方法、装置和系统 Pending CN116437866A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063088372P 2020-10-06 2020-10-06
US63/088,372 2020-10-06
US17/375,834 US20220104878A1 (en) 2020-10-06 2021-07-14 Method, device, and system for image generation based on calculated robotic arm positions
US17/375,834 2021-07-14
PCT/IB2021/056405 WO2022074471A1 (en) 2020-10-06 2021-07-15 Method, device, and system for image generation based on calculated robotic arm positions

Publications (1)

Publication Number Publication Date
CN116437866A true CN116437866A (zh) 2023-07-14

Family

ID=80932040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180068366.0A Pending CN116437866A (zh) 2020-10-06 2021-07-15 用于基于计算的机器人臂位置生成图像的方法、装置和系统

Country Status (4)

Country Link
US (1) US20220104878A1 (zh)
EP (1) EP4225194A1 (zh)
CN (1) CN116437866A (zh)
WO (1) WO2022074471A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230281869A1 (en) * 2022-02-03 2023-09-07 Medtronic Navigation, Inc. Systems, methods, and devices for reconstructing a three-dimensional representation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140039314A1 (en) * 2010-11-11 2014-02-06 The Johns Hopkins University Remote Center of Motion Robot for Medical Image Scanning and Image-Guided Targeting
WO2015161297A1 (en) * 2014-04-17 2015-10-22 The Johns Hopkins University Robot assisted ultrasound system
WO2017214428A1 (en) * 2016-06-08 2017-12-14 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Tissue characterization with acoustic wave tomosynthesis
US20200015899A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization with proximity tracking features
US20210196384A1 (en) * 2019-12-30 2021-07-01 Ethicon Llc Dynamic surgical visualization systems

Also Published As

Publication number Publication date
EP4225194A1 (en) 2023-08-16
US20220104878A1 (en) 2022-04-07
WO2022074471A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
US20190272632A1 (en) Method and a system for registering a 3d pre acquired image coordinates system with a medical positioning system coordinate system and with a 2d image coordinate system
US9320569B2 (en) Systems and methods for implant distance measurement
US7831096B2 (en) Medical navigation system with tool and/or implant integration into fluoroscopic image projections and method of use
US10368834B2 (en) Bone surface image reconstruction using ultrasound
US8348846B2 (en) 3D motion detection and correction by object tracking in ultrasound images
US9138204B2 (en) Method and apparatus for calibrating and re-aligning an ultrasound image plane to a navigation tracker
US9949723B2 (en) Image processing apparatus, medical image apparatus and image fusion method for the medical image
JP2008126075A (ja) Ｃｔレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法
CN111655160A (zh) 超声图像数据的三维成像和建模
MX2013015358A (es) Correccion de imagen intraoperativa para intervenciones guiadas por imagen.
US11419583B2 (en) Reconstruction-free automatic multi-modality ultrasound registration
US8811662B2 (en) Method and apparatus for calibrating and re-aligning an ultrasound image plane to a navigation tracker
US20090287089A1 (en) Methods, devices and apparatus for imaging for reconstructing a 3-D image of an area of interest
KR20140008746A (ko) 움직이는 장기에 초음파를 조사하여 장기 특정 부위의 온도 변화를 나타내는 온도 맵을 생성하는 방법 및 초음파 시스템
KR20210064210A (ko) 유방 맵핑 및 비정상부 위치결정
US20220104878A1 (en) Method, device, and system for image generation based on calculated robotic arm positions
US20220125526A1 (en) Systems and methods for segmental tracking
US20220087643A1 (en) Patient bearing system, a robotic system
WO2022013860A1 (en) System and method for image generation based on calculated robotic arm positions
WO2022013861A1 (en) System and method for image generation and registration based on calculated robotic arm positions
Shahin et al. Ultrasound-based tumor movement compensation during navigated laparoscopic liver interventions
US20230401766A1 (en) Systems, methods, and devices for generating a corrected image
US20230111217A1 (en) Systems, devices, and methods for robotic placement of electrodes for anatomy imaging
US11763499B2 (en) Systems, methods, and devices for generating a corrected image
US20230240790A1 (en) Systems, methods, and devices for providing an augmented display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination