CN113366414A - 用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法 - Google Patents

用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法 Download PDF

Info

Publication number
CN113366414A
CN113366414A CN202080012215.9A CN202080012215A CN113366414A CN 113366414 A CN113366414 A CN 113366414A CN 202080012215 A CN202080012215 A CN 202080012215A CN 113366414 A CN113366414 A CN 113366414A
Authority
CN
China
Prior art keywords
viewpoint
image
display device
user
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080012215.9A
Other languages
English (en)
Inventor
A·M·扎克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN113366414A publication Critical patent/CN113366414A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074Interface software
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/254User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3614Image-producing devices, e.g. surgical cameras using optical fibre
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/3941Photoluminescent markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots

Abstract

一种视点优化系统标识与操作会话相关联的条件,在该操作会话期间,计算机辅助操作系统对身体执行多个操作,同时该计算机辅助操作系统内包括的成像装置从第一视点提供用于在该操作会话期间在显示装置上显示的身体的图像。视点优化系统基于所标识的条件定义成像装置的第二视点,该第二视点比多个操作中包括的操作的第一视点更优化。此外,视点优化系统引导显示装置显示第二视点的指示。还公开了相应的系统和方法。

Description

用于在计算机辅助操作系统的操作会话期间促进成像装置视 点的优化的系统和方法
相关申请
本申请要求于2019年2月12日提交的题为“SYSTEMS AND METHODS FORFACILITATING OPTIMIZATION OF AN IMAGING DEVICE VIEWPOINT DURING AN OPERATINGSESSION OF A COMPUTER-ASSISTED OPERATION SYSTEM”的美国临时专利申请号62/804,688的优先权,其内容通过引用整体并入本文。
背景技术
包括计算技术、机器人技术、医疗技术和扩展现实技术(例如,增强现实技术、虚拟现实技术等)在内的各种技术使诸如外科医生等用户能够执行并接受培训以执行各种类型的操作和程序。例如,用户可以执行并接受培训以执行微创医疗程序,诸如在临床环境(例如,对活的人体或动物患者的身体进行操作)、在非临床环境(例如,对人体或动物尸体、从人体或动物解剖结构中取出的组织体等进行操作)、在训练环境(例如,对物理解剖训练模型的身体、扩展现实环境中的虚拟解剖模型的身体等进行操作)等中的计算机辅助的外科手术程序。
在任何此类环境中的操作会话期间,随着用户引导计算机辅助操作系统的器械在操作区域执行关于身体的操作,用户可以观看与身体相关联的(例如,身体内部的区域)操作区域的图像。图像可以由包括在计算机辅助操作系统内的成像装置诸如内窥镜提供。由于以这种方式执行各种操作,成像装置的视点可能明显影响用户能够执行操作的效率和效果。
发明内容
本文描述了用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法。例如,一个实施例被实现为一种系统,该系统包括存储指令的存储器和通信地耦合到该存储器并被配置为执行该指令的处理器。例如,指令可以引导处理器标识与操作会话相关联的条件,在该操作会话期间,计算机辅助操作系统对身体执行多个操作,同时计算机辅助操作系统内包括的成像装置从第一视点提供用于在操作会话期间在显示装置上显示的身体的图像。指令还可以引导处理器基于所标识的条件定义成像装置的第二视点,该第二视点比多个操作中包括的操作的第一视点更优化。此外,指令可以使处理器引导显示装置显示第二视点的指示。
另一个示例性实施例也被实现为一种系统,该系统包括存储指令的存储器和通信地耦合到该存储器并被配置为执行该指令的处理器。在该实施例中,指令可以引导处理器在操作会话期间确定用户使用与第一视点相关联的第一手腕姿势来引导计算机辅助操作系统执行包括在多个操作中的操作,在该操作会话期间,计算机辅助操作系统对身体执行多个操作,同时计算机辅助操作系统内包括的成像装置从第一视点提供通过显示装置显示给用户的身体的图像。指令还可以引导处理器在操作会话期间定义与第二手腕姿势相关联的第二视点,该第二手腕姿势对于引导操作的执行比第一手腕姿势更优化,第二视点具有与第一视点的水平取向不同的水平取向。指令可以进一步引导处理器在显示装置从第一视点显示身体的图像时引导显示装置将指示第二视点的水平取向的标线覆盖图形与从第一视点显示的身体的图像集成。响应于指示第二视点的水平取向的标线覆盖图形的集成,指令可以引导处理器接收指示用户选择从第二视点观看身体的图像而不是从第一视点观看身体的图像的用户输入。因此,指令可以引导处理器以引导显示装置响应于用户输入从显示来自第一视点的身体的图像切换到显示来自第二视点的身体的图像。
另一个示例性实施例被实现为一种由视点优化系统执行的方法。例如,该方法包括标识与操作会话相关联的条件,在该操作会话期间,计算机辅助操作系统对身体执行多个操作,同时计算机辅助操作系统内包括的成像装置从第一视点提供用于在操作会话期间在显示装置上显示的身体的图像。该方法还包括基于条件定义成像装置的第二视点,该第二视点比多个操作中包括的操作的第一视点更优化。此外,该方法包括引导显示装置显示第二视点的指示。
另一个示例性实施例由存储指令的非暂时性计算机可读介质来实现,当执行时,该指令引导计算装置的处理器执行本文描述的操作。例如,指令可以引导处理器标识与操作会话相关联的条件,在该操作会话期间,计算机辅助操作系统对身体执行多个操作,同时计算机辅助操作系统内包括的成像装置从第一视点提供用于在操作会话期间在显示装置上显示的身体的图像。指令还可以引导处理器基于所标识的条件定义成像装置的第二视点,该第二视点比多个操作中包括的操作的第一视点更优化。此外,指令可以使处理器引导显示装置显示第二视点的指示。
附图说明
附图图示了各种实施例并且是说明书的一部分。所图示的实施例仅是示例并且不限制本公开的范围。在整个附图中,相同或相似的附图标记表示相同或相似的元件。
图1图示了根据本文描述的原理的示例性计算机辅助操作系统。
图2图示了根据本文描述的原理的包括在图1的计算机辅助操作系统内的示例性成像装置。
图3图示了根据本文描述的原理的示例性视点,成像装置从该视点捕获身体的图像。
图4图示了根据本文描述的原理的用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的示例性视点优化系统。
图5A图示了根据本文所描述的原理的示例性操作会话,在该操作会话期间,计算机辅助操作系统对身体执行多个操作,同时包括在计算机辅助操作系统内的成像装置从不同的示例性视点捕获身体的图像。
图5B图示了根据本文所描述的原理的示例性显示装置,在该显示装置上显示了在图5A的操作会话期间从不同视点捕获的图像。
图5C图示了根据本文描述的原理的在用户从图5A和图5B中图示的不同视点观看图像的同时用来执行操作的示例性手腕姿势。
图6图示了根据本文描述的原理的从具有不同水平取向的示例性视点显示图像的显示装置。
图7图示了根据本文描述的原理的从具有不同缩放取向的示例性视点显示图像的显示装置。
图8图示了根据本文描述的原理的从具有不同平面取向的示例性视点显示图像的显示装置。
图9图示了根据本文描述的原理的从具有在多个方面不同的取向的示例性视点显示图像的显示装置。
图10图示了根据本文描述的原理的显示来自不同示例性视点的图像的显示装置,以半自动方式在不同示例性视点之间切换。
图11图示了根据本文所述的原理的显示来自不同示例性视点的图像的显示装置,以自动方式在不同示例性视点之间切换。
图12图示了根据本文描述的原理的可以向图4的视点优化系统提供输入数据的示例性实体。
图13图示了根据本文描述的原理的用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的示例性方法。
图14图示了根据本文描述的原理的示例性计算装置。
具体实施方式
本文描述了用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法。如上所述,用户(例如,外科医生、外科手术团队的成员、计算机辅助操作系统的另一个用户等)可能够引导计算机辅助操作系统(例如,计算机辅助外科手术系统)执行特定操作的有效性和效率可能会受到成像装置捕获和提供在操作执行期间向用户显示的图像的视点的明显影响。然而不幸的是,随着用户习惯于使用计算机辅助操作系统,对成像装置视点的一致且有效的优化可能是用户难以掌握的技能。此外,在某些场景(例如,训练场景、根据某些用户的喜好进行操作的场景、使用传统腹腔镜技术进行的操作等)中,视点优化的技能可能根本无法发挥作用。例如,在这些场景中,可能需要以全自动方式执行成像装置视点的优化,以允许用户专注于操作的其他方面而不是视点优化。因此,本文描述的系统和方法可以被配置为促进用户(包括接受培训以学习使用系统的新手计算机辅助操作系统用户)提高他们的视点选择效能和技能。如下所述,这是通过使用户在临床、非临床、培训或其他操作会话期间更容易观看、理解和切换到更优视图来实现的。例如,本文描述的系统和方法可以通过提出建议以鼓励用户切换视点、半自动切换视点、自动切换视点等来促进在操作会话期间实时优化视点。
在一个示例性实施方式中,一种用于促进成像装置视点优化的系统可以包括存储指令的存储器和通信耦合到该存储器并被配置为执行指令以执行与促进视点优化相关联的功能的处理器或由其实现,在操作会话期间,成像装置从该视点捕获和提供图像。例如,根据指令,该系统可以标识与操作会话相关联的条件,在该操作会话期间,计算机辅助操作系统对身体执行多个操作,同时计算机辅助操作系统内包括的成像装置从第一视点提供用于在操作会话期间在显示装置上显示的身体的图像。例如,如将在下面更详细地描述的,标识的条件可以涉及用户当前的手腕姿势、正在执行的多个操作中包括的特定操作、引导计算机辅助操作系统执行操作的用户的身份、已标识用户的已知习惯(例如,先前观察到的效能优势和劣势等)、用户手相对于彼此的当前笛卡尔位置、用户手相对于被控制的器械的共置状态等。
基于所标识的条件,系统可以为成像装置定义对于正在执行的操作比第一视点更优化的第二视点,并且可以引导显示装置显示第二视点的指示。例如,如下文将更详细描述的,系统可以通过自动或半自动地从显示从第一视点捕获的图像切换到从第二视点捕获的图像来引导显示装置显示第二视点的指示。作为另一示例,系统可以通过引导显示装置继续显示从第一视点捕获的图像同时还引入与从第一视点呈现的图像一起呈现(例如,与其集成)的图形覆盖或其他指示符来引导显示装置显示第二视点的指示。
如本文所用,视点的“优化”可指改变视点的一个或多个特征(例如,定义取向的一个或多个方面或参数)以改进特定操作的视点。因此,对于特定操作比另一个视点“更优化”的视点将被理解为以某种方式改进(例如,使操作更容易有效和/或高效地执行),但也应当理解,“优化”的视点或“更优”的视点不一定是操作可能的最优视点。一个视点比另一个视点更优的确定可以是主观的(例如,基于有经验的用户的意见等)或客观的(例如,基于视点选择算法等)。
本文描述的系统和方法的实施方式一般涉及或采用计算机辅助操作系统,诸如计算机辅助医疗系统(例如,微创机器人外科手术系统、采用机器人内窥镜的常规腹腔镜外科手术系统或其他计算机辅助视觉系统,等等)。然而,如下文将更详细地描述的,应当理解,本文公开的发明方面可以以各种方式来体现和实施,包括通过采用机器人和非机器人实施例和实施方式。与外科手术或其他医疗系统相关的实施方式仅仅是示例性的,不应被视为限制本文公开的发明方面的范围。因为本文描述的器械、系统和方法可用于医学治疗或诊断、美容改善、人体或动物解剖结构成像、从人体或动物解剖结构收集数据、设置或拆除系统、培训医疗或非医疗人员等(其中任何一项都可能涉及或也可能不涉及外科手术方面),所以例如对外科手术器械、外科手术技术和/或与外科手术背景相关的其他此类细节的任何参考将被理解为非限制性的。在其他示例中,本文所述的器械、系统和方法还可用于对动物、人类尸体、动物尸体、人类或动物解剖结构的部分、从人类或动物解剖结构(可能是或不得重新植入人体或动物解剖结构)取下的组织、非组织工件、训练模型等进行的程序或通过其进行程序。在其他示例中,本文描述的器械、系统和方法可以应用于非医疗目的,包括用于工业系统、通用机器人、远程手术系统和/或感测或操纵非组织工件。
本文描述的系统和方法可以提供各种益处以促进成像装置视点的优化。在非计算机辅助操作会话中(例如,不采用机器人或其他计算机辅助操作技术的标准外科程序),外科医生移动他或她的头部和身体以获得被操作的身体的最优视点以及找到一个合适的角度来进行各种操作可能是直观和自然的。例如,如果外科医生需要观看更多细节,他或她可能会自然地将头部移近操作区域以更好地观看。作为另一个示例,某种手腕姿势可以为执行诸如缝合切口以将其关闭的操作提供最大的舒适度和控制,因此,外科医生可能很自然地将他或她自己相对于身体进行定位以能够在他或她执行缝合操作时使用该手腕姿势。
当引导计算机辅助操作系统执行类似操作时,可以应用相同的原则(例如,视角和细节、手腕姿势等的),但对用户成功实现最优视点(例如,提供操作区域最优视图的视点、与最优手腕姿势相关联的视点等)可能不太直观,尤其是对计算机辅助操作系统不熟悉的用户。例如,希望看到手术区域的更详细视图的外科医生在使用计算机辅助操作系统执行操作的同时可能无法简单地将他或她的头部移近患者以获得更好的视图。相反,为了获得更优的视点,外科医生可能必须执行更刻意的一系列动作。例如,外科医生可以踩下脚踏板以将系统从机器人器械跟随或模仿外科医生手部运动的操作模式切换到外科医生使用手势来修改成像装置取向(例如,缩放、平移、旋转和/或铰接成像装置等)的成像调整模式。外科医生可以在成像调整模式下进行成像装置取向调整,然后可以重新定位他或她的手并执行某些附加动作(例如,捏合动作等)以将计算机辅助操作系统切换回操作模式。
虽然专家用户可能非常擅长这个过程,以便在操作会话期间以每秒或每几秒的频率舒适地进行成像调整,但经验不足的用户可能对这些成像调整程序不太满意。结果,这些用户可能不太可能从一个视点切换到另一个视点,即使新的视点会更优化。此外,经验不足的用户可能无法完全意识到所选视点不仅决定了可以看到什么,而且还决定了可以使用的手腕姿势、可以使用的手部运动的灵敏度等的程度。因此,这些用户可能会不经意地或不知不觉地使用次优的手腕姿势,或者无法充分利用与最优视点相关的好处。结果,由这些用户执行的各种操作可能比使用更优化的视点的情况更困难和/或更耗时。
为了解决这些挑战,本文描述的系统和方法帮助训练和引导用户(例如,外科医生等)找到更优化的视点、更成功地使用视点来提高正在执行的操作的效率和/或有效性,等等。如下文将更详细地描述的,本文描述的系统和方法可以在临床操作会话期间使用以及在非临床或培训操作会话期间帮助提供培训和实践。此外,本文描述的系统和方法可以更容易地从较不优化的视点切换到更优化的视点,使得即使是计算机辅助操作系统的有经验的用户(例如,已经擅长寻找最优视点的专家用户)随着他们不断地持续更新他们的视点以在操作会话期间保持最优视点,可以从便利的视点切换中受益。因此,对于新手和专家用户,本文描述的系统和方法最终可以帮助导致更容易、更有效和更高效的操作执行;减少复杂计算机辅助操作系统的学习曲线;并且,在医疗相关系统的情况下,改善了患者的结果。
现在将参考附图更详细地描述各种实施例。本文描述的系统和方法可以提供上面提到的一个或多个好处以及将通过下面的描述变得明显的各种附加和/或替代的好处。
本文描述的视点优化系统和方法可以作为计算机辅助操作系统(例如,诸如机器人外科手术系统的计算机辅助医疗系统)的一部分或与其结合来操作。因此,为了促进对本文描述的视点优化系统和方法的理解,现在将描述示例性计算机辅助操作系统。所描述的示例性计算机辅助操作系统是说明性的而非限制性的。本文描述的视点优化系统和方法可以与本文描述的计算机辅助操作系统和/或其他合适的计算机辅助操作系统集成(例如,内置于)或以其他方式作为其一部分或与其结合进行操作。
图1图示了示例性计算机辅助操作系统100(“操作系统100”)。虽然如上所述,计算机辅助操作系统可用于在各种类型的应用中执行各种类型的操作,但操作系统100将被理解为被配置用于执行与外科手术和/或非外科手术医疗程序相关的操作的计算机辅助医疗系统。如图所示,操作系统100可以包括彼此通信耦接的操纵系统102、用户控制系统104和辅助系统106。医疗团队可以利用操作系统100在患者108的身体或可以用于特定的实施方式的任何其他身体上执行计算机辅助医疗程序或其他此类程序。如图所示,医疗团队可以包括第一临床医生110-1(例如,外科医生或其他医生)、助理110-2、护士110-3和第二临床医生110-4(例如,麻醉师或其他医生),他们都可以统称为“团队成员110”,并且每个人都可以控制操作系统100、与之交互或以其他方式成为操作系统100的用户。在医疗程序期间可以存在额外的、更少的或替代的可以用于特定的实施方式的团队成员。例如,对于某些医疗程序,“临床医生110-1”可能不是医生。此外,非医疗程序的团队组成通常不同,并且包括担任非医疗角色的成员的其他组合。
虽然图1图示了正在进行的医疗程序,诸如微创外科手术程序,但应理解,操作系统100可类似地用于执行开放式外科手术程序或可类似地受益于操作系统100的准确性和便利性的其他类型的操作。例如,也可以使用操纵系统100来执行诸如探索性成像操作、用于训练目的模拟医疗程序的操作和/或其他操作。此外,应当理解,采用操作系统100的任何医疗程序或其他操作不仅可以包括操作阶段,而且还可以包括术前、术后和/或其他这样的操作阶段。
如图1所示,操纵系统102可以包括多个操纵器臂112(例如,操纵器臂112-1至112-4),多个器械(例如,外科手术器械、其他医疗器械或其他器械)可以耦接到该多个操纵器臂112。每个器械可由任何合适的外科手术工具(例如,具有组织相互作用功能的工具)、医疗工具、成像装置(例如,内窥镜)、感测器械(例如,力感测器械)、诊断器械或可用于诸如对患者108进行外科手术程序的计算机辅助医疗程序的器械(例如,通过至少部分地插入患者108中并被操纵以对患者108执行计算机辅助医疗程序)。虽然操纵系统102在本文中被描绘和描述为包括四个操纵器臂112,但是应当认识到操纵系统102可以仅包括单个操纵器臂112或可以用于特定的实施方式的任何其他数量的操纵器臂。此外,将理解的是,在一些示例性系统中,某些器械可能不耦接到操纵器臂或由其控制,而是可以手持并手动控制(例如,由外科医生、其他临床医生或其他医务人员)。例如,这种类型的某些手持装置可以与计算机辅助器械结合使用或作为其替代,计算机辅助器械耦接到图1中所示的操纵器臂112并且在本文的各种示例中进行了描述。
操纵器臂112和/或附接到操纵器臂112的器械可包括一个或多个位移传感器、定向传感器和/或用于生成原始(即,未校正)运动学信息的位置传感器。操作系统100的一个或多个部件可以被配置为使用运动学信息来跟踪(例如,确定其位置)和/或控制器械。
用户控制系统104可以被配置为促进临床医生110-1控制操纵器臂112和附接到操纵器臂112的器械。例如,对于外科手术程序,临床医生110-1可以是外科医生。在该示例中,临床医生110-1可以与用户控制系统104交互以远程移动或操纵操纵器臂112和器械以执行包括在外科手术或其他医疗程序内的多个操作。为此,用户控制系统104可以向临床医生110-1提供由成像装置从特定视点捕获的患者108的身体的图像(例如,高清晰度3D图像)。在某些示例中,用户控制系统104可以包括具有两个显示器的立体观看器,其中临床医生110-1可以观看由立体成像装置从视点捕获的身体的立体图像。临床医生110-1可以利用图像来执行一个或多个程序,其中一个或多个器械附接到操纵器臂112。
为了促进器械的控制,用户控制系统104可以包括一组主控件。这些主控件可由临床医生110-1操纵以控制器械的移动(例如,通过利用机器人和/或远程操作技术)。主控件可以被配置为检测临床医生110-1的各种手、手腕和手指运动。以此方式,临床医生110-1可以使用一个或多个器械直观地执行程序。如上所述,主控件以及诸如脚踏板等的其他控件可以允许临床医生110-1不仅控制操纵器臂112来执行外科手术程序所需的操作,而且还可以控制与成像装置相关联的至少一个操纵器臂112,以便随着执行操作设置和连续调整成像装置的取向(例如,缩放、水平、平面、俯仰、偏航和/或取向的其他方面)。
辅助系统106可以包括被配置为执行操作系统100的主要处理操作的一个或多个计算装置。在这样的配置中,包含在辅助系统106中的一个或多个计算装置可以控制和/或协调由诸如操纵系统102和/或用户控制系统104的操作系统100的各种其他部件执行的操作。例如,用户控制系统104中包括的计算装置可以通过辅助系统106中包括的一个或多个计算装置向操纵系统102传送指令。作为另一示例,辅助系统106可以接收和处理代表由附接到操纵器臂112之一的成像装置捕获的图像的图像数据。
在一些示例中,辅助系统106可以被配置为向团队成员110呈现视觉内容,团队成员110可能对在用户控制系统104处提供给临床医生110-1的图像没有其他访问权。为此,辅助系统106可以包括显示监视器114,该显示监视器被配置为显示一个或多个用户界面、患者108的身体的图像(例如,2D或3D图像)、与患者108和/或医疗程序相关联的信息、和/或可以服务于特定实施方式的任何其他内容。在一些示例中,显示监视器114可以显示身体的图像以及与图像同时一起显示的附加内容(例如,图形内容、上下文信息等)。显示监视器114可以通过触摸屏显示器来实现,团队成员110可以与其交互(例如,通过触摸手势)以向操作系统100提供用户输入,或者可以通过可以用于特定实施方式的任何其他类型的显示屏来实现。
如下文将更详细地描述的,视点优化系统可以在操作系统100内实现或者可以结合操作系统100进行操作。例如,在某些实施方式中,视点优化系统可以由用户控制系统104(例如,使用诸如包含在用户控制系统104内的立体观看器的显示装置)、辅助系统106(例如,使用诸如显示监视器114的显示装置)或通过其他合适的装置实现。
操纵系统102、用户控制系统104和辅助系统106可以以任何合适的方式彼此通信耦接。例如,如图1所示,操纵系统102、用户控制系统104和辅助系统106可以通过控制线116通信耦接,控制线116可以代表可以用于特定实施方式的任何有线或无线通信链路。为此,操纵系统102、用户控制系统104和辅助系统106可以各自包括一个或多个有线或无线通信接口,诸如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。
图2图示了示例性成像系统200,如下文将描述的,该成像系统可以根据本文描述的系统和方法使用以从以取向的各个方面表征的各个视点捕获身体的图像。如图所示,成像系统200包括成像装置202和控制器204。成像系统200可以包括附加的或替代的部件,以用于特定的实施方式。例如,成像系统200可以包括各种光学和/或电信号传输部件(例如,电线、镜头、光纤、扼流电路、波导等)、容纳电线和/或光纤并且是被配置为互连成像装置202和控制器204的电缆等。
成像装置202可以由内窥镜或类似的这样的成像工具(例如,腹腔镜等)来实现,该成像工具被配置为捕获场景的图像,诸如本文描述的任何身体的内部视图。在图2的示例中,成像装置202是立体的。然而,在其他示例中,成像装置202可以是单视场的(例如,通过包括一个图像传感器而不是两个图像传感器)。此外,虽然诸如内窥镜、腹腔镜等的成像装置可以以本文关于图2描述的方式捕获身体的图像,但将理解的是,在其他示例中,其他成像技术(例如,超声成像、可见光之外的成像)和其他类型的成像装置或装置的组合可以用来捕获身体的图像。
例如,在某些示例中可以采用超声成像或其他此类技术,其中成像装置包括插入操作区域中的超声探头并且可以使用附接到操纵器臂的器械来操纵,而不是由其自身直接附接到操作器臂进行控制。作为另一示例,高光谱成像技术和工具可用于在除可见光谱之外的电磁光谱的其他区中捕获图像。这可以促进例如可以在反射可见光的外表面下方的特征(例如,血管等)的成像。类似地,由于显像剂的已知代谢和/或分解模式,执行红外、紫外或其他高光谱成像可以允许将荧光显像剂注入组织以在不同时间突出不同特征的成像技术。此类成像技术可以由单个成像系统(例如,成像系统200)或由不同的成像系统(例如,如果执行该操作的医疗团队需要,可以更换为成像系统200的成像系统)支持的不同模态来实现。
如图所示,成像装置202包括摄像头206、耦接到摄像头206并远离摄像头206延伸的轴208、在轴208的远端处的图像传感器210(即,右侧图像传感器210-R和左侧图像传感器210-L)以及照明通道212。现在将更详细地描述这些元件中的每一个。
在一些示例中,成像装置202可以由诸如临床医生110-1的外科手术团队成员通过计算机和/或机器人辅助的方式来控制。例如,摄像头206可以耦接到计算机辅助操作系统的操纵器臂(例如,操作系统100的操纵器臂112之一)并且使用机器人和/或远程操作技术进行控制。
轴208的远端可以定位在要由成像装置202成像的操作区域处。在该配置中,成像装置202可用于捕获作为身体一部分或在身体附近的解剖结构和/或其他对象的图像。在各种实施方式中,轴208是刚性的(如图2所示)。可替代地,轴208可以被联接(例如,包括允许俯仰和/或偏航取向调整的铰接机构)和/或可以是柔性的。此外,虽然在本示例中轴208的远端被示为以与轴208的轴线呈正交的角度终止,使得成像装置202捕获围绕轴208的轴线的对象(即,笔直前方的对象)的图像,但在其他示例中,轴208的远端可以以与轴208的轴线不正交的角度(例如,30°角、45°角等)渐缩。以此方式,成像装置202可以捕获偏离轴208的轴线的对象的图像,从而允许在可以引导成像装置202的视场的位置方面具有更大的灵活性。
图像传感器210均可以由任何合适的图像传感器,诸如电荷耦合器件(“CCD”)图像传感器、互补金属氧化物半导体(“CMOS”)图像传感器等实现。在一些示例中,如图2所示,图像传感器210位于轴208的远端处。可替代地,图像传感器210可定位成更靠近轴208的近端、摄像头206内部或成像装置202外部(例如,控制器204内部)。在这些替代配置中,轴208和/或摄像头206中包括的光学器件(例如,镜头、光纤等)可以将光从场景传送到图像传感器210。
图像传感器210被配置为检测(例如,捕获、收集、感测或以其他方式获取)光。例如,图像传感器210-R被配置为检测来自右侧视角的光,而图像传感器210-L被配置为检测来自左侧视角的光。图像传感器210检测到的光可以包括例如从身体或位于视场内的对象反射的可见光、从身体反射的高光谱(即不可见)光、由荧光显像剂在体内产生的荧光照明,或具有任何频率的可用于特定实施方式的任何其他光。如下文更详细地描述,图像传感器210可以将检测到的光转换成代表一个或多个图像的数据。
照明通道212可以由一个或多个光学部件(例如,光纤、光导、镜头等)实现。如下文将描述的,可以通过照明通道212提供照明以照明操作区域和其中包括的对象。
控制器204可以由被配置为控制成像装置202和/或与成像装置202接口的任何合适的硬件和软件的组合来实现。例如,控制器204可以至少部分地由包括在辅助系统106中的计算装置实现。
控制器204包括相机控制单元(“CCU”)214和照明源216。控制器204可以包括附加的或替代的可以用于特定的实施方式的部件。例如,控制器204可以包括被配置为向成像装置202中包括的部件提供电力的电路系统。在一些示例中,CCU 214和/或照明源216可替代地包括在成像装置202中(例如,在摄像头206中)。
CCU 214被配置为控制图像传感器210的各种参数(例如,激活时间、自动曝光等)。如下文将描述的,CCU 214还可以被配置为接收和处理来自图像传感器210的图像数据。虽然CCU 214在图2中被示出为单个单元,但是CCU 214可以替代地由被配置为控制右侧图像传感器210-R的第一CCU和被配置为控制左侧图像传感器210-L的第二CCU来实现。
照明源216可以被配置为产生和发射照明218。照明218(本文也称为光)可以通过照明通道212行进到轴208的远端,照明218在此处退出以照明场景。
照明218可以包括具有一个或多个频率(例如,颜色)分量的可见光或高光谱光。照明218可以附加地或可替代地包括荧光激发照明,其被配置为通过荧光显像剂引发荧光照明(例如,通过激发已经注入患者血流中的荧光显像剂以开始发射荧光照明)。在一些示例中,荧光激发照明具有在红外光区(例如,在近红外光区)中的波长。虽然单个照明源216被示为包括在控制器204中,但各自均都被配置为产生和发射不同配置的照明的多个照明源可替代地被包括在控制器204中。
为了捕获场景的一个或多个图像,控制器204(或任何其他合适的计算装置)可以激活照明源216和图像传感器210。当被激活时,照明源216发射照明218,其经由照明通道212行进到操作区域。图像传感器210检测从身体或身体附近的其他对象的解剖结构的一个或多个表面反射的照明218。在照明218包括荧光激发照明的情况下,图像传感器210可以附加地或可替代地检测由荧光激发照明引发的荧光照明。
图像传感器210(和/或包括在成像装置202中的其他电路系统)可以将感测到的光转换成代表场景的一个或多个图像的图像数据220。例如,图像传感器210-R输出代表从右侧视角捕获到的图像的图像数据220-R,而图像传感器210-L输出代表从左侧视角捕获到的图像的图像数据220-L。图像数据220可以具有任何合适的格式并且可以以任何合适的方式从图像传感器210传送到CCU 214。
CCU 214可以处理(例如,打包、格式化、编码等)图像数据220并且输出处理后的图像数据222(例如,对应于图像数据220-R的处理后的图像数据222-R和对应于图像数据220-L的处理后的图像数据222-L)。处理后的图像数据222可以被传送到图像处理器(未示出),其可以准备处理后的图像数据222以用于在一个或多个显示装置上显示(例如,以视频流和/或一个或多个静止图像的形式)。例如,图像处理器可以基于图像数据222产生一个或多个全色图像、灰度图像和/或荧光图像,以用于在一个或多个显示装置(诸如用户控制系统104的立体观看器或辅助系统106的显示监视器114)上显示。
随着成像系统200以上述方式捕获身体的图像,成像系统可以从特定视点捕获图像。基于在任何给定时间正在执行哪种操作的用户偏好以及各种其他因素,通过调整视点的取向的一个或多个方面来调整捕获图像的视点可能是需要的。
为了说明,图3示出了示例性视点300,成像装置202(在图像系统200内)从该视点捕获身体302的图像。如上所述,操作会话内的操作可以关于(例如,在其内)各种类型的身体执行,该身体包括但不限于活人患者的身体、尸体的身体、非人类受试者的身体(例如,动物等),或另一个这样的生物体。在一些示例中,在其上或内部执行操作的身体可以只是这些其他类型的一种身体的解剖学部分。例如,身体可以是取自完整生物体的无实体器官或其他身体部位、人工训练装置物(例如,人工器官或其他身体部位)或用于训练、实验和/或其他此类目的(例如,使用真实或扩展现实训练系统)的虚拟身体。在其他示例中,类似于操作系统100的计算机辅助操作系统可用于在诸如发动机或其他复杂系统的复杂电气或机械系统的主体内执行检查或检修操作。作为又一示例,计算机辅助操作系统可用于执法或监视环境(例如,检查和禁用危险爆炸装置、在狭小空间中进行监视等)和/或用于任何其他环境或与可用于特定实施方式的任何其他技术。
如本文所用,诸如视点300的成像装置的“视点”(也称为“成像装置视点”)可以指一起组合来定义成像装置在特定时刻捕获到的图像的位置、取向、配置、分辨率等的各个方面的组合。图3将视点300描绘为沿着成像装置202的轴延伸的箭头,以表明随着对成像装置202的位置、取向、配置、分辨率等进行改变,视点300将被相应地调整。
视点300可以由成像装置202的位置、取向、配置、分辨率等的各个方面来定义。如现在将描述的,这些方面中的每一个方面在本文中将被称为取向的不同方面或视点300的不同类型的取向304(例如,取向304-1至304-5)。
如图所示,视点300的缩放取向304-1涉及视点300沿成像装置202的轴的纵向轴线的表观位置。因此,例如,与尚未调整的初始缩放取向304-1相比,缩放取向304-1的调整可导致图像看起来更大(更近)或更小(更远)。在某些实施方式中,可以通过将成像装置202物理地移动或滑动更靠近被捕获的身体302的部分或远离被捕获的身体302的部分来进行对缩放取向304-1的调整。这种缩放调整在本文中可以被称为光学缩放调整。在其他实施方式中,可以在不物理移动或调整成像装置202的物理取向的情况下进行调整。例如,可以通过内部改变成像装置202的镜头、镜头配置或其他光学方面,或者通过对成像装置202捕获的图像数据应用数字缩放操纵来光学地进行缩放调整。
视点300的水平取向304-2与成像装置202沿成像装置202的轴的纵向轴线(即,根据图3所示坐标系的z轴线)的旋转有关。因此,例如,与水平取向0°相比,水平取向304-1中180°的调整将导致图像颠倒。在某些实施方式中,可以通过物理旋转成像装置202来调整水平取向304-1,而在其他实施方式中,可以在不物理移动或调整成像装置202的物理取向的情况下进行这样的调整。例如,可以通过数字操纵或处理由成像装置202捕获的图像数据来进行水平调整。
视点300的平面取向304-3与成像装置相对于正被捕获的身体302的平面的位置有关。因此,平面取向304-3可以通过正交于纵向轴线(即,根据图3所示的坐标系平行于x-y平面)向左、向右、向上或向下平移成像装置202来调整。当平面取向304-3被调整时,身体的图像滚动,使得在对平面取向304-3进行调整之后与之前相比,身体的不同部分被图像数据描绘。
如上所述,成像装置202的某些实施方式可以是联接的、柔性的,或者可以以其他方式具有铰接以在远离成像装置202的纵向轴线的方向上捕获图像的能力。此外,即使成像装置202的特定实施方式是刚性的和直的,也可以使用成角度视图的设置(例如,向上或向下30°成角度视图等)以类似地允许成像装置在不同于笔直向前的方向上捕获图像。因此,对于成像装置202的这些实施方式中的任一个实施方式,影响成像装置沿法向轴线(即,所示坐标系的y轴线)的航向的偏航取向304-4以及影响成像装置沿横向轴线(即,所示坐标系的x轴线)的倾斜的俯仰取向304-5也可以是可调整的。
虽然已经明确描述了各种取向304,但是应当理解,在某些实施方式中,成像装置202如何捕获身体302的图像的各种其他方面可以类似地被包括为成像装置202的取向的可调整方面。
基于视点300,成像装置202被示为捕获身体302的特定视场306。应当理解,随着成像装置202的视点300的各种取向304被调整,视场306可以以各种方式改变(例如,左右移动、变大或变小等)。
图4示出了示例性视点优化系统400(“系统400”),用于在计算机辅助操作系统(例如,操作系统100)的操作会话期间促进成像装置视点(例如,成像装置202的视点300)的优化。如图4所示,系统400可以包括但不限于选择性地和通信地彼此耦接的存储设施402和处理设施404。设施402和404可以各自包括硬件和/或软件部件(例如,处理器、存储器、通信接口、存储在存储器中供处理器执行的指令等)或由其实现。在一些示例中,设施402和404可以分布在可以服务于特定实施方式的多个装置和/或多个位置之间。
如上所述,在某些实施方式中,系统400可以由操作系统100实施、与其集成或并入操作系统100(例如,通过与辅助系统106、用户控制系统104等集成)。在其他实施方式中,系统400可以被并入到与操作系统100分离(但通信地耦接到)的计算装置中。现在将更详细地描述设施402和404中的每一个。
存储设施402可以维护(例如,存储)供处理设施404使用的可执行数据以执行本文所述的任何功能。例如,存储设施402可存储可由处理设施404执行以执行本文所述的任何功能的指令406。指令406可以由任何合适的应用、软件、代码和/或其他可执行数据实例来实现。存储设施402还可以维护由处理设施404接收、生成、管理、使用和/或传送的任何数据。
处理设施404可以被配置为在计算机辅助操作系统的操作会话期间执行(例如,运行存储在存储设施402中的指令406以执行)与优化(或促进优化)成像装置视点相关联的各种处理功能。如本文所使用的,操作会话可以指在其间用户(例如,临床医生110-1)引导计算机辅助操作系统(例如,操作系统100)对本文所描述的任何类型的身体执行一个或多个操作的任何会话。例如,某些操作会话可以是涉及对人类或动物患者进行的外科手术程序、在此类外科手术程序之前或之后进行的成像或探索性程序等的临床会话。在其他示例中,操作会话可以是涉及在尸体或人造身体上执行的训练程序或涉及扩展现实环境中的扩展现实(例如,虚拟或增强现实)身体的非临床会话。
处理设施404可以以任何合适的方式促进成像装置视点的优化。例如,在一个示例中,处理设施404可以标识与操作会话相关联的条件,在该操作会话期间,操作系统100相对于身体执行多个手术而成像装置202(其可以被包括在操作系统100内)提供图像以用于在操作会话期间在显示装置上显示。例如,成像装置可以从第一视点提供身体的图像。如下文将更详细地描述的,所标识的条件可以是与引导操作系统100执行多个操作的用户、操作本身等相关的任何合适的条件。基于所标识的条件,处理设施404可以为成像装置定义不同于第一视点的第二视点。特别地,对于包括在多个操作中的操作,第二视点可以被定义为比第一视点更优化。处理设施404然后可以引导显示装置以本文描述的任何方式显示第二视点的指示。
作为另一个更具体的示例,处理设施404可以在诸如以上示例中描述的操作会话期间确定用户使用与第一视点相关联的第一手腕姿势来引导计算机辅助操作系统执行包括在多个操作中的操作。例如,处理设施404可以确定用户正在使用次优手腕姿势来执行诸如驱动针穿过组织以实施缝合。处理设施404可以定义与第二手腕姿势相关联的第二视点,该第二手腕姿势比第一手腕姿势更优化以引导手术的执行。例如,处理设施404可以定义与手腕姿势相关联的第二视点,该手腕姿势对于针将被驱动穿过组织的特定方向更中性(例如,需要用户手腕的弯曲或伸手不太笨拙)。可以以任何合适的方式定义第二视点,诸如例如,具有不同于第一视点的水平取向的水平取向(例如,以实现更中性的手腕姿势)。
当显示装置从第一视点显示身体的图像时,处理设施404可以引导显示装置将指示第二视点的水平取向的标线覆盖图形与从第一视点显示的身体的图像集成。然后,响应于指示第二视点的水平取向的标线覆盖图形的集成,处理设施404可以接收指示用户选择从第二视点观看身体的图像而不是从第一视点观看身体的图像的用户输入。响应于该用户输入,处理设施404可以引导显示装置从显示来自第一视点的身体的图像切换到显示来自第二视点的身体的图像。
为了说明,图5A示出了示例性操作会话500,在该操作会话500期间,操作系统100(或者,在其他示例中,类似于操作系统100的另一个计算机辅助操作系统)相对于身体302执行多个操作,同时成像装置202(其可以被包括在操作系统100内)从不同的示例性视点300(例如,视点300-1和300-2)捕获身体302的图像。更具体地,图5A从示出成像装置202的位置的侧面透视图描绘了身体302的已经形成切口的特定部分以及成像装置202的远端相对于切口的相对位置。如图所示,各种器械502、504和506被用于在操作部位对身体302执行一个或多个操作。例如,器械502和504可主要用于操纵组织和/或工具以促进正在执行的操作,而器械506可用于保持组织的某些部分不碍事或以其他方式促进操作的执行。
在图5A中,成像装置202的远端在第一时刻(使用实线描绘)和在第二稍后时刻(使用虚线描绘)被描绘。如图所示,成像装置202在第一时刻具有第一视点300-1并且在第二时刻具有第二视点300-2。在每个视点300-1和300-2后面描绘的小箭头指示该视点相对于显示为具有X、Y和Z维度的三维(“3D”)坐标系的水平取向(即,成像装置202如何沿纵向轴线旋转)。更具体地,视点300-1的水平取向被示为具有朝上的正X维度,而视点300-2的水平取向被示为具有朝上的正Y维度。随着视点300-1和300-2在它们各自的水平取向上不同,因为视点300-2更接近(即光学放大)身体302的组织,所以从视点300-1到300-2的缩放取向也显示为被调整。
图5B图示了示例性显示装置,在该显示装置上显示了在操作会话500期间从视点300-1和300-2捕获的图像。具体地,在成像装置202的视点已经被调整(即,放大和旋转90度)时,成像装置202从视点300-1捕获的图像508-1在第一时刻显示在显示装置510上,而成像装置202从视点300-2捕获的图像508-2在第二时刻显示在显示装置510上。为了帮助阐明图像508-1和508-2中描绘的内容以及它们如何彼此不同,将注意到图5A中包括的相同坐标系也与图5B中的图像508-1和508-2中的每一个并排示出。在这两种情况下,Z维度由点符号说明以指示z轴线将被理解为从成像装置屏幕笔直出来(即,在该示例中与成像装置202的纵向轴线平行)。然而,虽然X维度在图像508-1中被示为朝上,但从视点300-1到视点300-2的水平取向的90°调整显示为导致图像508-2中的Y维度朝上。
在图5B中,显示装置510被示为矩形单视场显示屏。例如,再次参考上面关于图1描述的操作系统100,辅助系统106的显示监视器114可以在某些实施方式中实现这样的显示装置510。在相同或其他实施方式中,将理解的是,显示装置510可以附加地或替代地由其他类型的显示屏来实施。例如,显示装置510可以通过用户控制系统104的立体显示屏幕来实现,随着临床医生110-1引导操纵系统102对身体302执行操作,上述用户控制系统104的立体显示屏被临床医生110-1观看。
如上所述,从较不优化的视点切换到较优化的视点可以提供甚至比改进正在执行操作的操作区域的视图的显著益处更多的益处。例如,如上所述,当次优视点与相对不自然、不舒服或低效的手腕姿势相关联时,更自然、舒适和有效的手腕姿势可以通过更优的视点来实现。
为了说明,图5C示出了用户(例如,临床医生110-1等)在分别从视点300-1和300-2观看图像的同时用于执行操作的示例性手腕姿势512-1和512-2。对于手腕姿势512-1和512-2中的每一个,左手腕和右手腕被摆姿势(即,定位、定向等)以分别模仿器械502和504的姿势。一旦操作系统100处于正常操作模式,器械502可因此被配置为跟随并由用户的左手和手腕引导,而器械504可被配置为跟随并由用户的右手和手腕引导。然而,如图5C所示,当器械在图像508-1中摆出姿势时,引导它们所需的手腕姿势与在图像508-2中摆出姿势时引导器械所需的手腕姿势明显不同。
具体地,如图所示,对于某些任务,与视点300-1以及与在图像508-1中摆出姿势的器械502和504相关联的手腕姿势512-1可能是相对笨拙、不舒服和低效的手腕姿势。例如,左臂笨拙地向后收回,左手腕向后弯曲到很大程度,而右臂向前伸展,右手腕向前弯曲到有点不自然的程度。虽然这种手腕姿势对于执行某些操作可能是可接受的甚至是可取的,但对于执行其他操作可能是次优的和不可取的。因此,系统400可以定义视点300-2并引导显示装置510以通过显示图像508-2来显示视点300-2的指示。
如图所示,以此方式,系统400可以允许用户看到图像508-2中所示的操作区域的更详细视图,以及采取更舒适和优化的手腕姿势。具体地,如图所示,对于某些操作,与视点300-2与在图像508-2中摆出姿势的器械502和504相关联的手腕姿势512-2可以是比手腕姿势512-1更优化的(例如,更自然、更舒适、更高效等)的手腕姿势。因此,对于这样的操作,视点300-2可能是更优化的视点300-1。
虽然图5A至图5C图示了包括对水平取向和缩放取向两者的改变的视点调整,但是应当理解,系统400可以出于任何合适的原因以任何合适的方式并且使用本文描述的任何合适的取向(例如,任何取向304)来定义第二视点。作为一个示例,可以具体地定义第二视点以促进与正在执行的操作或预期接下来要执行的操作相关联的移动的直观和自然运动。例如,如果操作涉及驱动针穿过组织以将组织的两个部分缝合在一起,则可以定义更优化的视点以允许在进行操作时针以用户的手腕和手能够高强度和控制递送的角度被驱动。作为另一个示例,第二视点可以被定义为实现特定操作的适当缩放级别,从而被放大到足够近以允许用户利用被操作的组织和对象的良好深度感知同时也被缩小到足够远以让用户观看正在手术的区域周围的适当数量的上下文。
作为又一示例,系统400可以定义具有水平取向的视点,该水平取向允许用户在控制一个器械和控制另一个器械之间进行相对方便的切换。例如,如果用户使用他或她的右手交替控制器械504和506(例如,在哪个器械跟随右手之间来回切换),则不断地进行以明显不同的姿势引导这些器械中的每一个所需的明显的手腕姿势改变可能是低效或繁重的。因此,系统400可以将更优化的视点定义为考虑器械504和506两者的姿势和控制所需的相应手腕姿势的视点。
为了更好地说明系统400可以如何通过帮助优化成像装置视点来促进操作的执行的这些和其他示例,图6至图11各自图示了显示装置510从对于特定操作来说次优的第一示例性视点显示图像,然后从对于特定操作来说更优的第二示例性视点显示图像。具体地,图6至图11中的每一个在图左侧的显示装置510的描绘上示出了来自第一(次优)视点的图像,同时在图右侧的显示装置510的描绘上示出了来自第二(更优)视点的图像。此外,为了帮助说明在某些示例中在第一视点和第二视点之间进行的对水平取向、俯仰取向、偏航取向等的调整,图6至图11中图像的每个描绘都包括具有X、Y和Z坐标的3D坐标系将被理解为相对于身体302和图像中描绘的器械,因此在第一视点和第二视点之间保持一致。
图6图示了显示装置510从将被理解为次优的第一视点显示图像600-1,并且随后从具有与第一视点不同的水平取向的并且将是被理解为比第一视点更优化的第二视点显示图像600-2。如上所述,系统400可以基于与操作会话相关联的标识的条件来定义第二视点,并且该标识的条件可以涉及正在执行的特定操作(例如,驱动针是已经描述的一个示例性操作)。系统400可以以任何合适的方式确定正在执行的操作或将要执行的操作。例如,系统400可以接收来自用户的指示正在执行或将要执行的操作的手动输入,或者系统400可以被配置为基于用户正在执行的动作、之前作为序列一部分执行的其他操作等自动识别操作。
基于在操作会话期间已经确定正在进行或即将进行的特定操作,系统400可以分析用户的手腕姿势并相应地定义第二视点。更具体地,系统400可以通过首先确定与第一视点相关联的第一手腕姿势602-1正被用于引导操作系统100执行特定操作来标识与操作会话相关联的条件,并且,其次,确定与具有不同于第一视点的水平取向的水平取向的视点相关联的第二手腕姿势602-2将比手腕姿势602-1更优化以引导特定操作的执行。基于标识用户正在使用次优手腕姿势602-1而不是更优的手腕姿势602-2的这种条件,系统400可以通过将第二视点定义为与手腕姿势602-2相关联的视点基于所标识的条件来定义第二视点。换句话说,系统400可以将第二视点定义为允许用户采取更优的手腕姿势602-2的视点。
在其他示例中,系统400可以以其他合适的方式标识与操作会话相关联的条件,或者该条件可以对应于本文描述的与操作会话相关联的其他合适的因素。例如,在某些实施方式中,系统400不仅可以在评估操作会话的条件时考虑用户的当前手腕姿势,还可以进一步考虑用户的手相对于彼此的当前空间位置、用户的手相对于被控制的器械的共置状态等。在计算机辅助操作系统的实施方式中,可能需要用户的手和器械的共同定向(即,使得手的手腕姿势、手指定位等在器械由用户控制之前与器械定向对齐)。然而,在这些实施方式中的至少一些实施方式中,可能不需要手和器械的共置(即,即使器械在3D空间中彼此靠近,用户的手也可以在3D空间中彼此相距较远,反之亦然)。因此,系统400在确定更优化的视点时不仅可以考虑用户在手腕姿势和手部取向方面的舒适性和便利性,而且还考虑用户的每只手相对于彼此的空间位置和范围方面的舒适性和便利性。在其他示例中,如下文将更详细地描述的,所标识的条件可以涉及正在执行的特定操作、用户的身份或已知习惯(例如,先前观察到的效能优势和劣势等),或与操作会话相关联的可以用于特定的实施方式的任何其他条件。
一旦系统400已经定义了第二更优化的视点,系统400就可以引导显示装置510以可以用于特定实施方式的任何方式显示第二视点的指示。
作为一个示例,系统400可以在显示装置510正在显示来自第一视点的身体302的图像600-1的同时,通过引导显示装置510显示指示第二视点的图形对象而引导显示装置510显示第二视点的指示。具体地,可以将图形对象显示为与从第一视点显示的身体302的图像集成的覆盖图形。为了说明,图6示出了与身体302的图像600-1集成的标线对象604。标线对象604可以是可以用于指示第二视点的图形对象类型的一个示例,并且下面将描述和说明另外的这样的示例。如图所示,标线对象604指示第二视点的水平取向。具体地,在该示例中,与代表第二视点的水平取向的虚线一起示出了代表第一视点的水平取向的实线。箭头从实线指向标线对象604中的虚线以指示将导致对第二视点的调整的第一视点的水平取向的逆时针调整。应当理解,标线对象604仅是示例性的,并且在其他示例中,可用于特定的实施方式的其他类型或样式的标线对象(例如,半透明十字准线等)可以用于指示第二视点的水平取向。
在其他示例中,系统400可以引导显示装置510以其他方式显示第二视点的指示。例如,系统400可以引导显示装置510将图像600-2与图像600-1一起显示,而不是引导诸如标线对象604的图形对象的显示。例如,系统400可以引导显示装置510在不同的呈现层上以半透明的方式或以任何其他合适的方式覆盖图像600-1(例如,覆盖或下衬图像600-1的显示)以画中画的方式来显示图像600-2。另外,如下文将更详细地描述的,系统400可以引导显示装置510自动或半自动地停止显示图像600-1并显示图像600-2代替图像600-1,从而自动调整成像装置202以从第二视点捕获图像600-2,而不是向用户建议用户可以如何手动调整成像装置202以从第二视点捕获图像600-2。
除了标识与正在执行的特定操作相关的条件和用于执行操作的相关手腕姿势相关的条件之外或作为替代,系统400还可以标识与成像装置202相对于身体302和/或器械502(和其他器械,诸如未在图6至图11中明确显示的器械504和506)的姿势相关的条件。例如,由系统400标识并且定义的第二视点所基于的条件可以是与成像装置202的相对缩放取向、成像装置202的相对平面取向等相关的条件。图7和图8各自图示了基于这些类型的条件定义的优化视点的示例。
具体地,图7图示了显示装置510从将被理解为次优的第一视点显示图像700-1,并且随后从具有与第一视点不同的缩放取向的并且将是被理解为对于特定操作来说比第一视点更优化的第二视点显示图像700-2。在该示例中,系统400可以通过以下方式标识条件:1)确定在显示图像700-1时显示装置510以第一细节水平所描述的描绘关于身体302的操作的执行的活动图像,以及2)确定从具有不同于第一视点的缩放取向的缩放取向的视点显示身体的图像将导致以比第一细节水平更优化以执行操作的第二细节水平来描述活动图像。例如,系统400可以确定显示图像700-1的第一视点被缩小得太远,无法为正在执行的特定操作提供优化的细节水平、深度感知、器械灵敏度等,并且,作为结果,可以确定更优化的视点将是具有进一步放大以提供更多细节水平的缩放取向的视点。作为另一个示例,系统400可以确定第一视点被放大得太近而无法提供围绕正在执行的操作的适当水平的上下文,并且作为结果,可以确定更优化的视点将具有被缩小以提供较低的细节水平的缩放取向。
在任一情况下,系统400基于所标识的条件来定义第二视点可以包括以更优化的缩放取向(例如,根据情况可能需要进一步放大或缩小)来定义视点。具体地,系统400可以将第二视点定义为具有与第一视点的缩放取向不同的缩放取向的视点,使得活动图像以对于执行操作更优化的第二细节水平被描述。
在图7所示的示例中,图像700-1描述了以相对低的第一细节水平描绘关于身体302的手术的执行的活动图像。如本文所用,描绘关于身体的操作的执行的“活动图像”是指描述正在执行操作且用户关注的区域的图像(而不是紧邻用户关注区域的其他区域)。因此,在执行操作期间的任何给定时刻的活动图像可以包括正在执行操作的身体部分的图像,以及用于执行操作的器械和/或其他对象的图像,同时不包括身体的其他部分和/或与正在执行的操作没有特别关系的其他器械对象的图像。
相对低的第一细节水平示出的图像700-1对于执行某些操作可能不是最优的。例如,用户对于活动图像内的组织和/或对象的深度感知可能从离身体302这么远的缩放取向来看可能是次优的,并且用户通常可能无法感知最佳数量的细节以最有效和最高效的方式来执行操作。因此,系统400可以定义第二视点,在第二视点中,缩放取向被调整以提供相对高的第二细节水平,诸如图像700-2中所示。通过这种方式,用户可以享受对操作现场正在发生的事情的可见性、深度感知和理解。此外,在某些示例中,用于执行操作的器械(例如,器械502等)可以通过更详细的视图变得更灵敏,这可以使用户能够更容易地执行复杂的运动和详细的工作。
如上面关于图6所描述的,一旦系统400定义了第二视点,系统400就可以引导显示装置510以各种方式显示第二视点的指示。如图7所示,引导显示装置510显示第二视点的指示的一种方式是引导显示装置510在显示装置510显示图像700-1的同时显示指示第二视点的图形对象。具体地,如图所示,指示第二视点的图形对象可以包括指示第二视点的缩放取向和平面取向中的至少一个的边界框702。与上述标线对象604一样,边界框702可以显示为与图像700-1集成的覆盖图形。基于边界框702,用户可以手动调整成像装置202的取向参数以移动到优化的第二视点并开始接收图像700-2,或者在一些示例中可以以本文所述的任何方式自动或半自动地调整到优化的视点。
图8图示了显示装置510从将被理解为次优的第一视点显示图像800-1,并且随后从具有与第一视点不同的平面取向的并且将是被理解为比第一视点更优化的第二视点显示图像800-2。在该示例中,系统400可以通过以下方式标识条件:1)确定在显示图像800-1时显示装置510在视场的第一部分处所描述的描绘关于身体302的操作的执行的活动图像,以及2)确定从具有不同于第一视点的平面取向的平面取向的视点显示身体的图像将导致在比视场的第一部分更优化以执行操作的视场的第二部分处描述活动图像。例如,系统400可以确定显示图像800-1的第一视点在显示装置510呈现的视场的角落或侧面显示活动图像而不是在视场的更优化部分(诸如在中心)。结果,系统400可以确定更优化的视点将是在更居中的视场的一部分中显示活动图像的视点。因此,系统400基于所标识的条件定义第二视点可以包括定义视点以将活动图像移近到视场的中心。具体地,系统400可以将第二视点定义为具有与第一视点的平面取向不同的平面取向的视点,使得活动图像在对于执行操作更优化的视场的第二部分处被描述。
在图8所示的示例中,图像800-1描述了描绘在靠近视场角落的显示装置510的视场的第一部分处关于身体302的操作的执行的活动图像。具体地,参考图8顶部的视场键中所示的视场802的不同部分802-1至802-9,描绘图像800-1中的操作的执行的活动图像被示出为大部分或完全显示在视场802的部分802-1内(即,在视场的左上角中)。活动图像的这种定位对于执行某些操作可能是次优的,因为使活动图像靠近视场中心(例如,在部分802-5中或其附近)可能是理想的。因此,系统400可以定义第二视点,在第二视点中,调整平面取向以显示更靠近视场802的中心的活动图像,诸如以部分802-5为中心。
如上面关于图6和图7所描述的,一旦系统400定义了第二视点,系统400就可以引导显示装置510以各种方式显示第二视点的指示。例如,可以使用从图像800-1至图像800-2的全自动或半自动改变,或者可以显示覆盖图形以允许用户手动调整成像装置202的参数以重新定向到与图像800-2相关联的第二视点。虽然上文关于图6描述的标线对象604在指示水平取向调整方面非常有效,而上文关于图7描述的边界框702对于指示缩放取向调整(可能具有相对较小的平面取向调整)同样有效,这些类型的覆盖对象可能不会如此有效地进行图8所示的平面方向调整,以从图像800-1的次优视点移动到图像800-2的更优视点。此外,对成像装置202的俯仰取向调整、偏航取向调整和/或其他取向调整可能类似地不被诸如标线对象604或边界框702的二维覆盖对象特别好地指示。
因此,在某些示例中,随着成像装置202从不同的视点提供身体302的图像,指示第二视点的图形覆盖对象可以包括锚定到成像装置202的视场的第一3D形状和指示第二视点的缩放取向、平面取向、水平取向、俯仰取向和偏航取向中的至少一个的第二3D形状。例如,虽然一个3D形状可能看起来锚定到成像装置202本身(例如,当成像装置缩放、平移、铰接等时漂浮在成像装置前面),但目标3D形状可以锚定到身体302使得,如果第一3D形状与目标3D形状匹配,则成像装置202将被调整以从第二视点(即,更优化的目标视点)捕获图像。
为了说明,图9示出了显示装置510从将被理解为次优的第一视点显示图像900-1并且随后从第二视点显示图像900-2,第二视点具有在多个方面不同于第一视点的取向的取向并且将被理解为比第一视点更优化。如图9所示,第一3D形状覆盖902被锚定到成像装置202的视场(例如,在该示例中,在视场的左下角)。在该示例中,3D形状覆盖902是直接从顶部观看的3D金字塔形状。3D金字塔形状右侧的面被显示为带有阴影的,以说明清晰和取向。此外,图9示出了锚定到正在显示的图像并且指示已经定义的第二视点的第二3D形状覆盖904。具体地,如图所示,3D形状覆盖904小于3D形状覆盖902(例如,指示为了对齐和/或匹配形状,缩放取向将被放大),沿X、Y和Z轴线中的每一个相对于3D形状覆盖902旋转(例如,指示为了对齐形状,水平取向、俯仰取向和偏航取向将被调整),并且被描述在显示装置510的视场的不同部分上(例如,指示为了对齐形状,平面取向将被调整)。
通过调整成像装置202的取向的不同方面中的每一个,可以使3D形状覆盖902与3D形状覆盖904对齐或匹配。当实现这种对齐时,成像装置202将被摆出姿势以从系统400定义的第二更优化的视点捕获图像900-2。虽然在该示例中可以调整缩放、平面、水平、俯仰和偏航取向中的每一个以移动3D形状覆盖902以与3D形状覆盖904匹配,但将理解的是,在其他示例中,成像装置202的取向的任何单个方面或成像装置202的取向的这些或其他方面的任何组合可以被调整,以对齐3D形状覆盖。
如上所述,在一些示例中,系统400可以引导显示装置510以不涉及覆盖到从第一视点捕获的图像上的图形对象的方式来显示第二视点的指示。例如,系统400的某些实施方式可以被配置为通过以自动或半自动方式促进从显示来自第一视点的图像到显示来自第二视点的图像的切换来引导显示装置510指示第二视点。在一些实施方式中,例如,引导显示装置510显示第二视点的指示可以包括:1)引导显示装置510呈现(例如,当显示装置510从第一视点显示身体的图像时)已定义的第二视点的指示;2)接收(例如,响应于第二视点已经被定义的指示的呈现)指示系统的用户已选择从第二视点观看身体的图像而不是从第一视点观看身体的图像的用户输入;以及3)响应于用户输入,引导显示装置510从显示来自第一视点的身体的图像切换到显示来自第二视点的身体的图像。
为了说明,图10示出了显示装置510从上面图9所示的相同的第一视点和第二视点(即,次优的第一视点和第二更优的视点)显示图像。然而,不是通过诸如3D形状覆盖902和904的图形覆盖对象来促进从第一视点到第二视点的手动切换,图10图示了指示系统400已经定义了第二更优化的视点(比目前使用的视点)的指示器1002。指示器1002可以采用可以用于特定的实施方式的任何形式。例如,指示器1002可以被实现为按钮、链接、通知、警报等。因此,可以以任何合适的方式,诸如通过脚踏板或按钮按压、手势、语音命令或任何其他合适形式的用户输入,提供指示用户选择从第二视点而不是第一视点观看身体的图像的用户输入。一旦接收到用户输入,系统400就可以自动调整成像装置202的取向参数以移动到与图像1000-2相关联的第二更优化的视点。在一些示例中,系统400可以确保在操作系统100处于操作模式(即,器械跟随或模仿用户的手部移动的模式)时不改变视点,而是仅在操作系统100处于成像调整模式时改变。
在其他示例中,可以以全自动方式执行从一个视点到另一个视点的改变,以便不需要指示优化视点的选择的特定用户输入。特别地,随着新用户对系统获得更多经验,在学习如何执行手动或辅助视点选择之前,使用操作系统100的器械使用自动选择的优化视点练习执行操作一段时间对新手用户可能是有帮助的。在这些示例中,引导显示装置510显示第二视点的指示可以包括引导显示装置510响应于第二视点的定义自动从显示来自第一视点的身体的图像切换到显示来自第二视点的身体的图像。
为了说明,图11示出了显示装置510从上面图9和图10所示的相同的第一视点和第二视点(即,次优的第一视点和第二更优的视点)显示图像。然而,在图11的示例中,既不包括促进手动参数调整的覆盖对象,也不包括促进半自动参数调整的指示器。相反,应当理解,一旦定义了第二视点,系统400就可以引导显示装置510从显示图像1100-1自动切换到1100-2。在某些示例中,从第一视点到第二视点的自动调整可以仅在操作系统100处于成像调整模式时进行,而不是在操作系统100处于操作模式时进行。例如,用户可以在操作模式下进行操作,然后踩下脚踏板进行自动成像调整,然后重新调整他或她的手腕姿势,并回到操作模式,以在程序中使用自动选择的视点进行下一操作。
在其他示例中,系统400可以以其他方式促进、激励或鼓励用户切换到更优化的视点。例如,如果系统400确定第一视点高度次优或第二视点比当前视点明显更优,则系统400可以自动引导操作系统100从操作模式切换到成像调整模式并且不允许操作系统100切换回操作模式,直到选择了更优化的视点。例如,系统400可以确保在允许用户在操作模式下继续对身体执行操作之前,针对成像装置202的取向的一个或多个方面满足特定阈值。
作为另一个示例,系统400可以通过为成像装置202的取向的每个方面提供优化度量或优化分数来促进或激励优化视点的使用。例如,在执行特定操作期间,可以确定缩放取向在最优值的10%以内,而可以确定水平取向与最优值相差超过30°。这些度量可用于在训练练习期间对用户进行评分,可存储在数据库中以供稍后分析用户的特定视点选择优势和劣势时使用(如下文将更详细地描述),或以其他方式用于以任何可用于特定实施方式的方式促进视点优化。
作为又一示例,系统400可以被配置为基于检测到的手腕姿势自动调整视点,而不是如常规可以进行的其他的方式。具体地,在某些常规实施方式中,用户可以在操作系统100处于成像调整模式时选择一个视点,然后,为了切换到操作模式,用户可能需要使他或她的手腕姿势符合所选择的视点所需要的手腕姿势并执行手势(例如,捏合等)以进入器械将跟随用户移动的操作模式。在一些实施方式中,操作系统100可以被配置为通过在已经选择视点之后将用户持有的主控件物理地移动到特定视点的适当位置来促进该过程。因此,代替以这些常规方式使手腕姿势符合所选视点,系统400的某些实施方式可以允许用户为他或她的手腕中的一个或两个选择手腕姿势,然后可以自动定义完全符合手腕姿势或至少在一定程度上符合手腕姿势的视点。一旦成像装置的参数被设置为从这个自动定义的视点捕获图像,通知可以通知用户最优视点可用,并且通过手势(例如,捏合),用户可以继续在操作模式中进行操作。
在描述图7至图11时,已经公开了关于优化的视点一旦由诸如系统400的视点优化系统定义就可以如何促进某些操作的执行的各种示例。还描述了用于帮助用户从次优视点切换到更优视点的各种方法。为了实现这些目的,系统400可以被配置为以任何方式并使用从任何源接收到的可以用于特定实施方式的任何信息来定义优化的视点。
为了说明,图12示出了示例性实体1202至1208,其可以向系统400提供输入数据以允许系统400以本文描述的方式促进成像装置视点的优化。具体地,如图12所示,用户1202、专家顾问1204、自动视点推荐算法1206和视点选择数据存储1208可以各自向系统400的某些实施方式提供输入。现在将更详细地描述实体1202至1208中的每一个,连同描述这些实体可以向系统400提供数据以使得系统400能够定义比当前选择的视点更优化的视点的各种方式。
用户1202可以执行本文描述的由用户执行的任何动作。在某些示例中,用户1202可以是临床医生(例如,临床医生110-1),诸如执行医疗程序或被训练使用操作系统100的外科医生。在其他示例中,用户1202可以是手术团队中的另一个人,而不是外科医生或操作系统100的另一个用户或另一个类似的计算机辅助操作系统。
专家顾问1204可以是与用户1202不同的人,他也向系统400提供输入。专家顾问1204可以是操作系统100的有经验的用户,他被认为对什么使一个视点对于特定手术次优而另一视点对于特定手术更优有很好的洞察力。例如,如果用户1202是被训练使用操作系统100的新手外科医生,则专家顾问1204可以是具有更多使用操作系统100经验的外科医生、在系统1202上培训用户的指导员等。在一些情况下(例如,在训练会话期间),用户1202可以操作操作系统100,并且当希望从一个视点切换到另一个视点时,可以将操作系统100置于“训练模式”,在此期间,用户1202可以比较他的或她当前选择的视点与专家顾问1204推荐的视点。为此,对于多个操作中的操作而言比第一视点更优化的第二视点的定义可以包括标识(例如,基于由专家顾问1204在操作会话期间实时提供的输入)推荐的用于操作的视点,并基于推荐的视点定义第二视点。
自动视点推荐算法1206可以执行与专家顾问1204类似的功能,但是可以不需要人的努力,因为它被实现为在系统400、操作系统100或另一个合适的计算系统上运行的计算机算法。更具体地,自动视点推荐算法1206可以被配置为在操作会话期间实时生成特定于操作的视点推荐。在使用自动视点推荐算法1206的某些示例中,对于多个操作中的操作而言比第一视点更优化的第二视点的定义因此可以包括标识(例如,基于自动视点推荐算法1206)推荐的用于操作的视点,并基于推荐的视点定义第二视点。
视点选择数据存储1208可以被实现为任何合适类型的数据存储(例如,数据库、数据存储设施等),其被配置为跟踪和存储用户特定和/或专家特定的视点选择数据。例如,如上所述,当用户1202在一段时间内(例如,在训练计划的过程中,在他或她的职业生涯的过程中等)执行操作和相应的视点选择任务时,代表用户1202做出的有效和不太有效的视点选择决定的视点选择数据可以存储在视点选择数据存储1208中。以此方式,存储在视点选择数据存储1208中的数据可以指示用户1202已知具有的视点选择优势和劣势。例如,可以知道用户1202始终如一地选择适当的缩放取向,但是为某些任务努力寻找正确的水平取向。因此,在一些示例中,系统400可以使用从视点选择数据存储接收到的数据来说明用户1202(而不是某个其他用户)正在执行操作会话的事实,以说明用户1202的一般技能和经验水平,以说明用户1202的某些倾向、优势和/或劣势,等等。具体地,在这些示例中,与操作会话相关联的条件的标识可以包括确定用户1202的身份(即,选择第一视点的用户)和访问(例如,基于用户1202的身份)代表过去由用户1202执行的视点选择的用户特定数据。系统400然后可以基于代表用户402过去执行的视点选择的用户特定数据来定义第二视点。在一些示例中,自动视点推荐算法1206可以与从视点选择数据存储1208接收到的数据结合使用以定义第二视点。
在相同或其他示例中,视点选择数据存储1208还可以存储代表专家顾问1204(或其他专家)针对特定操作推荐的视点的各种类型的视点选择数据。因此,对于多个操作中的操作而言,定义比第一视点更优化的第二视点可以包括访问代表专家顾问1204过去执行的视点选择的数据,并基于所访问的代表过去由专家顾问1204执行的视点选择的数据来定义第二视点。系统400可以使用该数据(例如,结合自动视点推荐1206)来确定当前选择的视点是否次优以及专家使用的历史视点对于正在执行的特定操作是否更优。
图13图示了用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的示例性方法1300。尽管图13图示出了根据一个实施例的示例性操作,但其他实施例可以省略、添加、重新排序和/或修改图13中所示的任何操作。图13中所示的一个或多个操作可以由诸如系统400的视点优化系统、其中包括的任何部件和/或其任何实施方式来执行。
在操作1302中,视点优化系统可以标识与操作会话相关联的条件。在某些示例中,在操作会话期间,计算机辅助操作系统可以针对身体执行多个操作。此外,在操作会话期间,包括在计算机辅助操作系统内的成像装置可以从第一视点提供身体的图像。例如,可以在操作会话期间提供图像以显示在显示装置上。操作1302可以以本文描述的任何方式来执行。
在操作1304中,视点优化系统可以为成像装置定义第二视点,该第二视点比多个操作中包括的操作的第一视点更优化。例如,视点优化系统可以基于在操作1302中标识的条件来定义第二视点。操作1304可以以本文描述的任何方式来执行。
在操作1306中,视点优化系统可以引导显示装置显示在操作1304中定义的第二视点的指示。操作1306可以以本文描述的任何方式来执行。
在某些实施例中,本文描述的一个或多个过程可以至少部分地实现为包含在非暂时性计算机可读介质中并且可由一个或多个计算装置执行的指令。通常,处理器(例如,微处理器等)从非暂时性计算机可读介质(例如,存储器等)接收指令,并执行那些指令,从而执行一个或多个过程(包括一个或多个本文所述的过程)。可以使用多种已知的计算机可读介质中的任一种来存储和/或传送这样的指令。
计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如,由计算机的处理器)读取的数据(例如,指令)的任何非暂时性介质。这种介质可以采用许多形式,包括但不限于非易失性介质和/或易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如动态随机存取存储器(DRAM),其通常构成主存储器。计算机可读介质的常见形式包括,例如,磁盘、硬盘、磁带、任何其他磁介质、压缩盘只读存储器(“CD-ROM”)、数字视频盘(“DVD”)、任何其他光学介质、随机存取存储器(“RAM”)、可编程只读存储器(“PROM”)、电可擦除可编程只读存储器(“EPROM”)、FLASH-EEPROM、任何其他存储器磁芯片或盒式磁带或计算机可以读取的任何其他有形介质。
图14图示出了示例性计算装置1400,该计算装置1400可以被具体配置为执行本文描述的一个或多个过程。如图14所示,计算装置1400可以包括经由通信基础设施1410通信连接的通信接口1402、处理器1404、存储装置1406和输入/输出(“I/O”)模块1408。尽管图14中示出了示例性计算装置1400,但图14中所示的部件并不旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图14中所示的计算装置1400的部件。
通信接口1402可以被配置为与一个或多个计算装置通信。通信接口1402的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
处理器1404通常代表能够处理数据或解释、执行和/或引导本文描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器1404可以根据一个或多个应用1412或诸如可以存储在存储装置1406或另一计算机可读介质中的其他计算机可执行指令来引导操作的执行。
存储装置1406可以包括一个或多个数据存储介质、装置或配置并且可以采用数据存储介质和/或装置的任何类型、形式和组合。例如,存储装置1406可以包括但不限于硬盘驱动器、网络驱动器、闪存驱动器、磁盘、光盘、RAM、动态RAM、其他非易失性和/或易失性数据存储单元,或其组合或子组合。电子数据(包括本文描述的数据)可以临时和/或永久地存储在存储装置1406中。例如,代表被配置为引导处理器1404执行本文所述的任何操作的一个或多个可执行应用1412的数据可以存储在存储装置1406中。在一些示例中,数据可以被安排在驻留在存储装置1406内的一个或多个数据库中。
I/O模块1408可以包括一个或多个I/O模块,其被配置为接收用户输入并提供用户输出。一个或多个I/O模块可用于接收单个虚拟现实体验的输入。I/O模块1408可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如,I/O模块1408可以包括用于捕获用户输入的硬件和/或软件,包括但不限于键盘或小键盘、触摸屏部件(例如,触摸屏显示器)、接收器(例如,RF或红外接收器)、运动传感器和/或一个或多个输入按钮。
I/O模块1408可以包括用于向用户呈现输出的一个或多个装置,包括但不限于图形引擎、显示器(例如,显示屏)、一个或多个输出驱动器(例如,显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中,I/O模块1408被配置为向显示器提供图形数据以呈现给用户。图形数据可以代表一个或多个图形用户界面和/或可以用于特定实施方式的任何其他图形内容。
在一些示例中,本文描述的任何设施可以由计算装置1400的一个或多个部件或在计算装置1400的一个或多个部件内实现。例如,驻留在存储装置1406内的一个或多个应用1412可以被配置为引导处理器1404执行与系统400的处理设施404相关联的一个或多个过程或功能。同样,系统400的存储设施402可以由存储装置1406或其部件实现。
在前面的描述中,已经参考附图描述了各种示例性实施例。然而,显而易见的是,在不脱离如在所附权利要求中阐述的本发明的范围的情况下,可以对这些实施例进行各种修改和改变,并且可以实施附加的实施例。例如,本文描述的一个实施例的某些特征可以与本文描述的另一实施例的特征组合或替代另一实施例。因此,说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种系统,包括:
存储指令的存储器;
处理器,所述处理器通信耦接到所述存储器并被配置为执行所述指令以:
标识与操作会话相关联的条件,在所述操作会话期间,计算机辅助操作系统对身体执行多个操作,同时所述计算机辅助操作系统内包括的成像装置从第一视点提供用于在所述操作会话期间在显示装置上显示的所述身体的图像,
基于标识出的条件,针对包括在所述多个操作中的操作定义比所述第一视点更优的所述成像装置的第二视点,以及
引导所述显示装置显示所述第二视点的指示。
2.根据权利要求1所述的系统,其中,引导所述显示装置显示所述第二视点的所述指示包括在所述显示装置正在显示来自所述第一视点的所述身体的所述图像时,引导所述显示装置显示指示所述第二视点的图形对象,所述图形对象被显示为与从所述第一视点显示的所述身体的图像集成在一起的覆盖图形。
3.根据权利要求2所述的系统,其中,指示所述第二视点的所述图形对象包括指示所述第二视点的水平取向的标线对象。
4.根据权利要求2所述的系统,其中,指示所述第二视点的所述图形对象包括指示所述第二视点的缩放取向和平面取向中的至少一个的边界框。
5.根据权利要求2所述的系统,其中,指示所述第二视点的所述图形对象包括:
随着所述成像装置从不同视点提供所述身体的图像,锚定到所述成像装置的视场的第一三维形状即第一3D形状,以及
指示所述第二视点的缩放取向、平面取向、水平取向、俯仰取向和偏航取向中的至少一个的第二3D形状。
6.根据权利要求1所述的系统,其中,引导所述显示装置显示所述第二视点的所述指示包括:
引导所述显示装置在所述显示装置在显示来自所述第一视点的所述身体的所述图像时呈现已经定义所述第二视点的指示;
响应于已定义所述第二视点的所述指示的所述呈现,接收指示所述系统的用户已选择从所述第二视点观看所述身体的图像而不是从所述第一视点观看所述身体的图像的用户输入;以及
引导所述显示装置响应于所述用户输入从显示来自所述第一视点的所述身体的所述图像切换到显示来自所述第二视点的所述身体的所述图像。
7.根据权利要求1所述的系统,其中,引导是显示装置显示所述第二视点的所述指示包括引导所述显示装置响应于所述第二视点的所述定义自动从显示来自所述第一视点的所述身体的所述图像切换到显示来自所述第二视点的所述身体的所述图像。
8.根据权利要求1所述的系统,其中:
与所述操作会话相关联的所述条件的所述标识包括:
确定用户正在使用与所述第一视点相关联的第一手腕姿势来引导所述计算机辅助操作系统执行包括在所述多个操作中的所述操作,以及
确定与具有不同于所述第一视点的水平取向的水平取向的视点相关联的第二手腕姿势将比所述第一手腕姿势更优化以引导所述操作的执行;以及
基于所述标识的条件的所述第二视点的所述定义包括将所述第二视点定义为与所述第二手腕姿势相关联并且具有不同于所述第一视点的所述水平取向的所述水平取向的所述视点。
9.根据权利要求1所述的系统,其中:
与所述操作会话相关联的所述条件的所述标识包括:
当从所述第一视点显示所述身体的所述图像时,确定所述显示装置以第一细节水平描述的描绘关于所述身体的所述操作的执行的活动图像,以及
确定从具有不同于所述第一视点的缩放取向的缩放取向的视点显示所述身体的图像将致使以比所述第一细节水平更优化以执行所述操作的第二细节水平描述所述活动图像;以及
基于所述标识的条件的所述第二视点的所述定义包括将所述第二视点定义为具有与所述第一视点的所述缩放取向不同的所述缩放取向的所述视点,使得所述活动图像以对于执行所述操作更优化的所述第二细节水平被描述。
10.根据权利要求1所述的系统,其中:
与所述操作会话相关联的所述条件的所述标识包括:
当从所述第一视点显示所述身体的所述图像时,确定在由所述显示装置呈现的视场的第一部分处描述的描绘关于是身体的所述操作的执行的活动图像,以及
确定从具有不同于所述第一视点的平面取向的平面取向的视点显示所述身体的图像将致使以比所述视场的所述第一部分更优化以执行所述操作的所述视场的第二部分描述所述活动图像;以及
基于所述标识的条件的所述第二视点的所述定义包括将所述第二视点定义为具有与所述第一视点的平面取向不同的所述平面取向的所述视点,使得所述活动图像在更优化以执行所述操作的所述视场的所述第二部分处被描述。
11.根据权利要求1所述的系统,其中:
与所述操作会话相关联的所述条件的所述标识包括:
确定选择所述第一视点的用户的身份,以及
基于所述用户的所述身份访问代表所述用户在所述操作会话之前执行的视点选择的用户特定数据;以及
基于所述标识的条件的所述第二视点的所述定义包括基于代表所述用户在所述操作会话之前执行的所述视点选择的所述用户特定数据来定义所述第二视点。
12.根据权利要求1所述的系统,其中,针对所述多个操作中的所述操作的比所述第一视点更优的所述第二视点的所述定义包括:
基于与执行所述操作的用户不同的专家顾问在所述操作会话期间实时提供的输入,标识所述操作的推荐视点;以及
基于所述推荐视点定义所述第二视点。
13.根据权利要求1所述的系统,其中,针对所述多个操作中的所述操作的比所述第一视点更优的所述第二视点的所述定义包括:
访问代表在所述操作会话之前由不同于执行所述操作的用户的专家顾问执行的视点选择的数据;以及
基于代表所述专家顾问的所述视点选择的所述访问数据定义所述第二视点。
14.根据权利要求1所述的系统,其中,针对所述多个操作中的所述操作的比所述第一视点更优的所述第二视点的所述定义包括:
基于被配置为在所述操作会话期间实时生成特定于操作的视点推荐的自动视点推荐算法,标识用于所述操作的推荐视点;以及
基于所述推荐视点定义所述第二视点。
15.一种系统,包括:
存储指令的存储器;
处理器,所述处理器通信耦接到所述存储器并被配置为执行所述指令以:
在操作会话期间确定用户使用与所述第一视点相关联的第一手腕姿势来引导计算机辅助操作系统执行包括在多个操作中的操作,在所述操作会话期间,所述计算机辅助操作系统对身体执行所述多个操作,同时所述计算机辅助操作系统内包括的成像装置提供来自第一视点的所述身体的图像以通过显示装置显示给用户,
在所述操作会话期间,定义与第二手腕姿势相关联的第二视点,所述第二手腕姿势引导所述操作的所述执行比所述第一手腕姿势更优化,所述第二视点具有与所述第一视点的水平取向不同的水平取向,
当所述显示装置从所述第一视点显示所述身体的所述图像时,引导所述显示装置将指示所述第二视点的所述水平取向的标线覆盖图形与来自所述第一视点的所述身体的所述显示的图像集成,
响应于指示所述第二视点的所述水平取向的所述标线覆盖图形的所述集成,接收指示所述用户选择从所述第二视点观看所述身体的所述图像而不是从所述第一视点观看所述身体的所述图像的用户输入,以及
引导所述显示装置响应于所述用户输入从显示来自所述第一视点的所述身体的所述图像切换到显示来自所述第二视点的所述身体的所述图像。
16.一种方法,包括:
通过视点优化系统标识与操作会话相关联的条件,在所述操作会话期间,计算机辅助操作系统对身体执行多个操作,同时所述计算机辅助操作系统内包括的成像装置从第一视点提供用于在所述操作会话期间在显示装置上显示的所述身体的图像;
通过所述视点优化系统基于所述条件定义所述成像装置的第二视点,所述第二视点对于包括在所述多个操作中的操作比所述第一视点更优化;以及
通过所述视点优化系统引导所述显示装置显示所述第二视点的指示。
17.根据权利要求16所述的方法,其中,引导所述显示装置显示所述第二视点的所述指示包括在所述显示装置正在显示来自所述第一视点的是身体的所述图像时,引导所述显示装置显示指示所述第二视点的图形对象,所述图形对象被显示为与从所述第一视点显示的所述身体的图像集成在一起的覆盖图形。
18.根据权利要求16所述的方法,其中,引导所述显示装置显示所述第二视点的所述指示包括:
引导所述显示装置在所述显示装置在显示来自所述第一视点的所述身体的所述图像时呈现已经定义所述第二视点的指示;
响应于已定义所述第二视点的所述指示的所述呈现,接收指示所述系统的用户已选择从所述第二视点观看所述身体的图像而不是从所述第一视点观看所述身体的图像的用户输入;以及
引导所述显示装置响应于所述用户输入从显示来自所述第一视点的所述身体的所述图像切换到显示来自所述第二视点的所述身体的所述图像。
19.根据权利要求16所述的方法,其中,引导所述显示装置显示所述第二视点的所述指示包括引导所述显示装置响应于所述第二视点的所述定义自动从显示来自所述第一视点的所述身体的所述图像切换到显示来自所述第二视点的所述身体的所述图像。
20.一种存储指令的非暂时性计算机可读介质,所述指令在执行时引导计算装置的处理器以:
标识与操作会话相关联的条件,在所述操作会话期间,计算机辅助操作系统对身体执行多个操作,同时所述计算机辅助操作系统内包括的成像装置从第一视点提供用于在所述操作会话期间在显示装置上显示的所述身体的图像,
基于所述条件,针对包括在所述多个操作中的操作定义比所述第一视点更优的所述成像装置的第二视点,以及
引导所述显示装置显示所述第二视点的指示。
CN202080012215.9A 2019-02-12 2020-02-10 用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法 Pending CN113366414A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962804688P 2019-02-12 2019-02-12
US62/804,688 2019-02-12
PCT/US2020/017535 WO2020167678A1 (en) 2019-02-12 2020-02-10 Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system

Publications (1)

Publication Number Publication Date
CN113366414A true CN113366414A (zh) 2021-09-07

Family

ID=69771209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080012215.9A Pending CN113366414A (zh) 2019-02-12 2020-02-10 用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法

Country Status (5)

Country Link
US (1) US20220096164A1 (zh)
EP (1) EP3924805A1 (zh)
JP (1) JP2022521171A (zh)
CN (1) CN113366414A (zh)
WO (1) WO2020167678A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11877065B2 (en) 2019-06-20 2024-01-16 Cilag Gmbh International Image rotation in an endoscopic hyperspectral imaging system
EP4125683A1 (en) * 2020-03-23 2023-02-08 Intuitive Surgical Operations, Inc. Systems and methods for optimizing configurations of a computer-assisted surgical system for reachability of target objects

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6903991B2 (ja) * 2017-03-27 2021-07-14 ソニーグループ株式会社 手術用システム、手術用システムの作動方法及び手術用システムの制御装置
US10610303B2 (en) * 2017-06-29 2020-04-07 Verb Surgical Inc. Virtual reality laparoscopic tools

Also Published As

Publication number Publication date
JP2022521171A (ja) 2022-04-06
WO2020167678A1 (en) 2020-08-20
EP3924805A1 (en) 2021-12-22
US20220096164A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US11652971B2 (en) Image-guided surgery with surface reconstruction and augmented reality visualization
JP6891244B2 (ja) 視線追跡を使用する医療装置、システム、及び方法
CN112804958A (zh) 指示器系统
US20210290317A1 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
KR20080089376A (ko) 3차원 텔레스트레이션을 제공하는 의료용 로봇 시스템
WO2021124716A1 (en) Method, apparatus and system for controlling an image capture device during surgery
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
JP2020156800A (ja) 医療用アームシステム、制御装置、及び制御方法
US20240046589A1 (en) Remote surgical mentoring
JP2023502927A (ja) 外科手術環境において使用するための視認システム
EP3870021B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US20220096164A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
CN114945937A (zh) 用于内窥镜流程的引导式解剖操纵
Zinchenko et al. Virtual reality control of a robotic camera holder for minimally invasive surgery
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
CN114929146A (zh) 促进手术空间中的非机器人装置的受指导远程操作的系统
Wijsman et al. Image-based laparoscopic camera steering versus conventional steering: a comparison study
US20230139425A1 (en) Systems and methods for optimizing configurations of a computer-assisted surgical system for reachability of target objects
US20210338366A1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination