CN112805999B - 用于医疗程序的增强光学成像系统 - Google Patents

用于医疗程序的增强光学成像系统 Download PDF

Info

Publication number
CN112805999B
CN112805999B CN202080005559.7A CN202080005559A CN112805999B CN 112805999 B CN112805999 B CN 112805999B CN 202080005559 A CN202080005559 A CN 202080005559A CN 112805999 B CN112805999 B CN 112805999B
Authority
CN
China
Prior art keywords
image
imaging system
optical imaging
camera
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080005559.7A
Other languages
English (en)
Other versions
CN112805999A (zh
Inventor
托马斯·麦到
加尔·塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanap Medical Co
Original Assignee
Sanap Medical Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanap Medical Co filed Critical Sanap Medical Co
Publication of CN112805999A publication Critical patent/CN112805999A/zh
Application granted granted Critical
Publication of CN112805999B publication Critical patent/CN112805999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B2090/103—Cranial plugs for access to brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种用于在医疗程序期间对目标成像的光学成像系统。该光学成像系统包括：第一相机，其用于捕获目标的第一图像；第二宽视场相机，其用于捕获目标的第二图像；至少一个路径折叠反射镜，其设置在目标和第二相机的透镜之间的光学路径中；以及用于接收第一图像和第二图像的处理单元，该处理器被配置成：对第一图像和第二宽视场图像中的一个应用图像变换；并且将变换后的图像与图像中的另一个组合以产生目标的立体图像。

Description

用于医疗程序的增强光学成像系统
技术领域
本公开涉及医学成像，并且具体地涉及适合在图像引导医疗程序中使用的光学成像系统。
背景技术
数字显微镜支持医疗程序期间的高级可视化。例如，数字手术显微镜在手术期间提供解剖结构的放大视图。数字显微镜使用光学器件和数字(例如基于CCD的)相机来实时捕获图像，并将图像输出到显示器，以供外科医生、操作者等查看。
在诸如手术或诊断成像的图像引导的医疗应用中，患者解剖结构和手术工具的精确三维(3-D)可视化是至关重要的。希望提供支持精确3-D可视化的轻量级数字显微镜解决方案。
附图说明
现在将通过示例的方式参考示出本申请的示例实施例的附图，在附图中：
图1示出了支持图像引导手术的示例导航系统；
图2示出了示例导航系统的部件；
图3是示出可以用于图1和图2的示例导航系统中的示例控制和处理系统的框图；
图4A示出了在医疗程序期间示例光学成像系统的使用；
图4B是示出示例光学成像系统500的部件的框图；
图5A至图5E示出了示例增强光学成像系统的不同视图；
图6A至图6B示出了用于增强光学成像系统的示例模块的不同透视图；
图7A至图7D示出了图5A至图5E的增强光学成像系统的相机的光学路径；
图8是安装在定位系统上的增强光学成像系统的局部侧剖视图；
图9示出了另一个示例增强光学成像系统的透视图；和
图10以流程图的形式示出了使用图5A至图5E的增强光学成像系统生成目标的立体图像的示例方法。
附图中使用类似的附图标记来表示类似的元件和特征。
具体实施方式
在一方面，本公开描述了一种用于在医疗程序期间对目标成像的光学成像系统。该光学成像系统包括：第一相机，其用于捕获目标的第一图像；第二宽视场相机，其用于捕获目标的第二图像；至少一个路径折叠反射镜，其设置在目标和第二相机的透镜之间的光学路径中；以及用于接收第一图像和第二图像的处理单元，该处理单元被配置成：对第一图像和第二图像中的一个应用图像变换；并且将变换后的图像与图像中的另一个组合以产生目标的立体图像。
在一些实施方式中，第一相机、第二相机和至少一个路径折叠反射镜可以容纳在单个外壳内。
在一些实施方式中，第二相机和至少一个路径折叠反射镜可以包括在附加模块中，以用于安装到第一相机。
在一些实施方式中，至少一个路径折叠反射镜可以包括基于第二相机的透镜的位置而选择性地定位的第一反射镜和第二反射镜，该第一反射镜和第二反射镜相对于彼此成角度。
在一些实施方式中，第一反射镜可以相对于目标选择性地定位和成角度，以便将目标的图像反射到第二反射镜，并且第二反射镜可以选择性地定位和成角度，以便将目标的图像从第一反射镜反射到第二相机的透镜。
在一些实施方式中，第一相机和第二相机可以定位成使得第一相机的光学轴线与第二相机的光学轴线共面。
在一些实施方式中，图像变换可以是单应性变换。
在一些实施方式中，处理单元可以进一步被配置成：确定目标和光学成像系统的光圈之间的工作距离；并且基于工作距离确定图像变换。
在一些实施方式中，光学成像系统可以被配置成可安装到可移动支撑结构上。
在一些实施方式中，光学成像系统还可以包括支撑连接器，以使得光学成像系统能够可移除地安装到可移动支撑结构上。
在一些实施方式中，可移动支撑结构可以包括机械臂、手动操作支撑臂或可移动支撑框架中的一种。
在一些实施方式中，光学成像系统还可以包括手动释放按钮，当被致动时，该手动释放按钮使得光学成像系统能够被手动定位。
在一些实施方式中，处理单元可以响应于经由用户接口接收的控制输入。
在一些实施方式中，光学成像系统还可以包括一个或多个光源。
在一些实施方式中，第二相机可以具有固定变焦光学器件或固定聚焦光学器件中的至少一个。
在一些实施方式中，第二相机可以固定地联接到第一相机。
在另一方面，本公开描述了一种使用光学成像系统在医疗程序中生成目标的立体图像的方法。该方法包括：从光学成像系统的第一相机接收目标的第一图像；从光学成像系统的第二相机接收目标的第二图像；对第一图像和第二图像中的一个应用图像变换；以及将变换后的图像与图像中的另一个组合以产生目标的立体图像。
在一些实施方式中，该方法还可以包括：确定目标和光学成像系统的光圈之间的工作距离；以及基于工作距离确定图像变换。
在一些实施方式中，该方法还可以包括：从多个单应性变换中选择第一单应性变换，其中，选择包括：对于多个单应性变换中的每一个：将单应性变换应用于第二图像；计算变换后的第二图像和第一相机之间的图像对应性度量；以及从多个单应性变换中选择具有图像对应性度量的最高值的单应性变换作为第一单应性变换。
通过结合附图阅读以下详细描述，本公开的其他示例实施例对于本领域普通技术人员来说将是显而易见的。
在本申请中，短语“进入端口”旨在指插管、导管、护套、端口、管或其他结构，该结构可插入受试者体内，以便提供到内部组织、器官或其他生物物质的通路。在一些实施例中，进入端口可以直接暴露内部组织，例如，经由在其远端处的开口或孔口，和/或经由在沿其长度的中间位置处的开口或孔口。在其他实施例中，进入端口可以经由透明或部分透明的一个或多个表面为一种或多种形式的能量或辐射(诸如但不限于电磁波和声波)提供间接通路。
在本申请中，术语“术中”旨在指在医疗程序的至少一部分期间发生或执行的动作、过程、方法、事件或步骤。如本文所定义的，术中不限于手术程序，并且可以指其他类型的医疗程序，诸如诊断和治疗程序。
在本申请中，术语“和/或”旨在覆盖所列元素的所有可能的组合和子组合，包括所列元素中的任何一个单独元素、任何子组合或所有元素，并且不一定排除附加元素。
在本申请中，短语“……或……中的至少一个”旨在覆盖所列元素中的任何一个或多个，包括所列元素中的任何一个单独元素、任何子组合或所有元素，不一定排除任何附加元素，并且不一定要求所有元素。
诸如手术和诊断成像的各种医疗程序采用数字显微镜，其实时提供解剖结构的放大视图。典型地，数字显微镜系统结合有单个主相机(或视频镜)，用于捕获图像，该图像被输出到显示器，以供外科医生或操作者查看。主相机提供视频数据的单一馈送，并且视频馈送的帧被呈现为二维图像。结果，在这些受限的数字显微镜系统中，可能缺失3-D可视化(更具体地说，深度感知)。
为了生成3-D可视化，可以将第二相机添加到数字显微镜。来自两个相机的图像可以被组合以产生手术部位的立体视图。提供具有3-D功能的数字显微镜的挑战之一是集成两个相机，使得显微镜在手术野中保持最小的轮廓。两个相机并排的简单布置可能使显微镜体积庞大，并可能导致严重阻碍外科医生的视线。数字显微镜的相机模块的较小占地面积为外科医生提供了较大的工作区域。
此外，相机和光学器件的尺寸可以防止数字显微镜的两个相机彼此靠近布置。特别地，对于控制两个相机的光学路径之间的间距可能存在物理限制。这可能导致来自相机的图像的不期望的差异，以及因此更不成功或舒适的3-D可视化体验。
本公开提供了一种用于医学应用中的增强光学成像系统。所公开的光学成像系统例如可以被实现为数字显微镜的一部分。该系统采用一对相机，包括主相机和悬臂相机，以用于在医疗程序期间对目标成像。该系统还包括至少一个路径折叠反射镜，该路径折叠反射镜选择性地定位在目标和悬臂相机的透镜之间。路径折叠反射镜允许悬臂相机的光学路径被操纵，使得两个相机的单独光学路径在目标附近基本上平行于彼此。该系统通过组合来自两个相机的视频/图像帧来产生目标的立体图像，以提供目标的3-D可视化。
本公开还提供了一种用于扩展数字显微镜系统的功能的光学模块。所公开的光学模块可以是现有光学成像设备(诸如数字显微镜)的附加部件。该模块包括悬臂相机和至少一个路径折叠反射镜。路径折叠反射镜设置在悬臂相机的透镜和被成像的目标之间的光学路径中。该模块被配置成连接到光学成像设备。例如，该模块可以限定用于接纳光学成像设备的主相机(例如，视频镜)的腔室，使得当该模块固定到光学成像设备时，主相机和悬臂相机两者都指向目标。在工作区域中具有最小轮廓的情况下，所公开的光学模块允许组合光学成像系统产生目标的3-D可视化。
首先参考图1，其示出了示例导航系统200。示例导航系统200可用于支持图像引导手术。如图1所示，外科医生201在手术室环境中对患者202进行手术。医疗导航系统205可以包括设备塔、跟踪系统、显示器和被跟踪仪器，以在程序期间帮助外科医生201。操作者203也可以在场以操作、控制医疗导航系统205并为其提供帮助。
图2示出了示例医疗导航系统205的部件。所公开的增强光学成像系统可以用在医疗导航系统205的背景中。医疗导航系统205可以包括用于显示视频图像的一个或多个显示器206、211、设备塔207和定位系统208，诸如可以支撑光学成像系统500的医疗臂。显示器206、211中的一个或多个可以包括用于接收触摸输入的触敏显示器。设备塔207可以安装在诸如架子或手推车的框架上，并且可以容纳功率源和计算机/控制器，该计算机/控制器可以执行规划软件、导航软件和/或其他软件来管理定位系统208。在一些示例中，设备塔207可以是与双显示器206、211一起操作的单塔配置；然而，也可能存在其他配置(例如双塔、单显示器等)。
患者的解剖结构的一部分可以由保持器保持在位。例如，如图2所示，患者的头部和脑部可以由头部保持器217保持在位。进入端口12和相关联的导引器210可以插入头部，以提供到头部内的手术部位的通路。光学成像系统500可以用于以足够的放大率沿进入端口12向下观察，以允许增强沿进入端口12向下的可视性。光学成像系统500的输出可以由一个或多个计算机或控制器接收，以生成可以在视觉显示器(例如，一个或多个显示器206、211)上描绘的视图。
在一些示例中，导航系统205可以包括被跟踪的指示器222。被跟踪的指示器222可以包括标记212以使跟踪相机213能够进行跟踪，被跟踪的指示器222可以用于识别患者身上的点(例如基准点)。操作者(通常是护士或外科医生201)可以使用被跟踪的指示器222来识别患者202身上的点的位置，以便在导航系统205中记录患者202身上的选定点的位置。在一些实施例中，具有闭环控制的被引导机器人系统可以用作用于人类交互的代理。对机器人系统的引导可以通过诸如图像分析、使用放置在各种感兴趣对象上的标记来跟踪手术室中的对象、或者任何其他合适的机器人系统引导技术的输入源的任何组合来提供。
基准标记212可以连接到导引器210，用于由跟踪相机213跟踪，跟踪相机213可以从导航系统205提供导引器210的位置信息。在一些示例中，基准标记212可以替代地或附加地附接到进入端口12。在一些示例中，跟踪相机213可以是3-D红外光学跟踪立体相机。在一些其他示例中，跟踪相机213可以是电磁系统(未示出)，诸如可以使用位于(多个)待跟踪工具上的一个或多个接收器线圈的场发射器。电磁场的已知轮廓和(多个)接收器线圈相对于彼此的已知位置可以用于使用每个接收器线圈中的感应信号及其相位来推断(多个)被跟踪工具的位置。
定位系统208和/或进入端口12的位置数据可以由跟踪相机213通过检测放置在定位系统208、进入端口12、导引器210、被跟踪的指示器222和/或其他被跟踪的器械中的任何一个上或以其他方式与它们成固定关系(例如，刚性连接)的基准标记212来确定。(多个)基准标记212可以是有源或无源标记。显示器206、211可以提供导航系统205的计算数据的输出。在一些示例中，由显示器206、211提供的输出可以包括患者解剖结构的轴向、矢状和冠状视图，作为多视图输出的一部分。
有源或无源基准标记212可以放置在待跟踪工具(例如，进入端口12和/或光学成像系统500)上，以使用跟踪相机213和导航系统205来确定这些工具的位置和取向。标记212可以由跟踪系统的立体相机捕获，以给出用于跟踪工具的可识别点。被跟踪工具可以由一组标记212来限定，该组标记212可以为跟踪系统限定刚体。这又可以用于确定虚拟空间中3-D被跟踪工具的位置和/或取向。可以在六个自由度(例如，x、y、z坐标和俯仰、偏航、滚转)、五个自由度(例如，x、y、z坐标和两个自由度的旋转)中跟踪被跟踪工具在3-D中的位置和取向，但是优选地在至少三个自由度中被跟踪(例如，在至少x、y、z坐标中跟踪工具的尖端的位置)。在导航系统的典型使用中，在被跟踪工具上提供至少三个标记212，以在虚拟空间中限定该工具；然而，已知使用四个或更多个标记212是有利的。
捕获标记212的相机图像可以由例如闭路电视(CCTV)相机记录和跟踪。标记212可以被选择来实现或帮助捕获图像中的分割。例如，可以使用红外(IR)反射标记和来自相机的方向的IR光源。在一些示例中，被跟踪工具的空间位置和取向和/或定位系统208的实际和期望的位置和取向可以通过使用相机的光学检测来确定。光学检测可以使用光学相机来完成，使得标记212在光学上可见。
在一些示例中，标记212(例如反射球)可以与合适的跟踪系统结合使用，以确定手术室内被跟踪工具的空间定位位置。不同的工具和/或目标可以相对于不同配置的多组标记212来提供。基于不同组标记212相对于彼此的规格配置和/或取向，不同工具和/或目标及其对应虚拟体积的区分是可能的，从而使得每个这样的工具和/或目标在导航系统205内具有不同的个体身份。各个标识符可以向系统提供信息，诸如与系统内工具的尺寸和/或形状相关的信息。除了其他信息之外，标识符还可以提供附加信息，诸如工具的中心点或工具的中心轴线。虚拟工具也可以从存储在导航系统205中或提供给导航系统205的工具的数据库中确定。可以相对于手术室中的参考点或参考对象(诸如患者202)来跟踪标记212。
在一些示例中，标记212可以包括印刷的或3-D设计，其可以用于由诸如宽视场相机(未示出)的副相机和/或光学成像系统500检测。印刷标记也可以用作校准(calibration)图案，例如以向光学检测器提供距离信息(例如3-D距离信息)。除了其他设计之外，印刷的识别标记可以包括诸如具有不同环间距的同心圆和/或不同类型的条形码的设计。在一些示例中，除了使用标记212之外或代替使用标记212，已知对象的轮廓(例如，进入端口12的侧面)可以被光学成像设备和跟踪系统捕获并使用光学成像设备和跟踪系统来识别。
可以提供用于保持进入端口12的引导夹具218(或更一般地，引导件)。引导夹具218可以允许进入端口12保持在固定的位置和取向，同时解放外科医生的手。可以提供铰接臂219来保持引导夹具218。铰接臂219可以具有多达六个自由度来定位引导夹具218。一旦达到期望的位置，铰接臂219可以锁定以固定其位置和取向。铰接臂219可以附接到或可附接到基于患者头部保持器217的点，或另一个合适的点(例如，在另一个患者支撑件上，诸如在手术床上)，以确保当锁定在位时，引导夹具218不会相对于患者的头部移动。
在外科手术室中，导航系统的设置可能相对复杂；可能有许多与手术程序相关联的设备以及导航系统205的元件。此外，随着更多设备被添加，设置时间典型地会增加。为了帮助解决这个问题，导航系统205可以包括两个额外的宽视场相机，以实现视频覆盖信息。视频覆盖信息然后可以被插入到显示的图像中，诸如显示在显示器206、211中的一个或多个上的图像。覆盖信息可以示出3-D跟踪系统(典型地是导航系统的一部分)的精度更高的物理空间，可以示出定位系统208和/或光学成像系统500的可用运动范围，和/或可以帮助引导头部和/或患者定位。
导航系统205可以向神经外科医生提供工具，这些工具可以帮助向外科医生提供更多相关信息，并且可以帮助提高基于端口的神经外科手术的性能和准确性。尽管在本公开中是在基于端口的神经外科手术(例如，用于移除脑肿瘤和/或用于治疗颅内出血(ICH))的背景下描述的，但是导航系统205还可以适用于以下一者或多者：脑活检、功能性/深部脑刺激、导管/分流器放置(在脑中或其他地方)、开颅手术和/或鼻内/基于颅骨/耳-鼻-喉(ENT)程序等。相同的导航系统205可以用于执行这些程序中的任何一种或全部，适当地进行修改或不进行修改。
在一些示例中，跟踪相机213可以是任何合适的跟踪系统的一部分。在一些示例中，跟踪相机213(以及使用跟踪相机213的任何相关联的跟踪系统)可以被任何合适的跟踪系统代替，该跟踪系统可以使用或不使用基于相机的跟踪技术。例如，不使用跟踪相机213的跟踪系统(诸如射频跟踪系统)可以与导航系统205一起使用。
图3是示出可以在图2所示的医疗导航系统205中使用的控制和处理系统300(例如，作为设备塔207的一部分)的框图。如图3所示，控制和处理系统300可以包括一个或多个处理器302、存储器304、系统总线306、一个或多个输入/输出接口308、通信接口310和存储设备312。控制和处理系统300可以与诸如跟踪系统321、数据存储342和外部用户输入和输出设备344的其他外部设备交接，这些外部设备可以包括例如显示器、键盘、鼠标、附接到医疗设备的传感器、脚踏板以及麦克风和扬声器中的一个或多个。数据存储342可以是任何合适的数据存储设备，诸如其上存储有数据库的本地或远程计算设备(例如，计算机、硬盘驱动器、数字媒体设备或服务器)。在图3所示的示例中，数据存储设备342包括用于识别一个或多个医疗器械360的识别数据350和将定制配置参数与一个或多个医疗器械360相关联的配置数据352。数据存储设备342还可以包括术前图像数据354和/或医疗程序规划数据356。尽管数据存储设备342在图3中示出为单个设备，但是应当理解，在其他实施例中，数据存储设备342可以被提供为多个存储设备。
医疗器械360可以是可由控制和处理单元300识别的。医疗器械360可以连接到控制和处理单元300并由控制和处理单元300控制，或者医疗器械360可以独立于控制和处理单元300操作或以其他方式使用。跟踪系统321可以用于跟踪一个或多个医疗器械360，并将一个或多个被跟踪的医疗器械在空间上配准到术中参考系。例如，医疗器械360可以包括跟踪标记，诸如可以由跟踪相机213识别的跟踪球。在一个示例中，跟踪相机213可以是红外(IR)跟踪相机。在另一个示例中，放置在医疗器械360上的护套可以连接到控制和处理单元300并由其控制。
控制和处理单元300还可以与多个可配置设备交接，并且可以基于从配置数据352获得的配置参数在手术中重新配置一个或多个这样的设备。如图3所示，设备320的示例包括一个或多个外部成像设备322、一个或多个照明设备324、定位系统208、跟踪相机213、一个或多个投影设备328以及一个或多个显示器206、211。
本公开的示例性方面可以通过(多个)处理器302和/或存储器304来实现。例如，本文描述的功能可以部分地通过处理器302中的硬件逻辑来实现，并且部分地使用存储在存储器304中的指令作为一个或多个处理模块或引擎370。示例处理模块包括但不限于用户接口引擎372、跟踪模块374、马达控制器376、图像处理引擎378、图像配准引擎380、程序规划引擎382、导航引擎384和背景分析模块386。虽然在图3中单独示出了示例处理模块，但是在一些示例中，处理模块370可以存储在存储器304中，并且处理模块370可以统称为处理模块370。在一些示例中，两个或更多个模块370可以一起用于执行功能。尽管被描绘为单独的模块370，但是模块370可以被实施为统一的计算机可读指令集(例如，存储在存储器304中)，而不是不同的指令集。
图4A示出了下面将进一步描述的示例光学成像系统500在医疗程序中的使用。尽管图4A示出了在导航系统环境200的背景中使用的光学成像系统500(例如，使用如上所述的导航系统)，但是光学成像系统500也可以在导航系统环境之外使用。
操作者(通常是外科医生201)可以使用成像系统500来观察手术部位(例如，沿进入端口向下看)。光学成像系统500可以附接到定位系统208，诸如可控和可调节的机械臂。定位系统208、成像系统500和/或进入端口的位置和取向可以使用跟踪系统来跟踪，诸如针对导航系统205所描述的。光学成像系统500(更具体地，光学成像系统500的光圈)和观察目标之间的距离可以被称为工作距离。光学成像系统500可以被设计成用于预定范围的工作距离(例如，在15和75厘米之间的范围内)。应当注意，如果光学成像系统500安装在定位系统208上，则工作距离的实际可用范围可以取决于光学成像系统500的工作距离以及定位系统208的工作空间和运动学两者。在一些实施例中，光学成像系统500可以包括手动释放按钮，当被致动时，该手动释放按钮使得光学成像系统能够被手动定位。例如，光学成像系统500的控制器可以响应于经由用户接口接收的手动控制输入。
现在参考图4B，其示出了示例光学成像系统500的部件。光学成像系统500包括主相机(或视频镜)535。主相机535可以是从光学组件捕获图像数据的高清晰度(HD)相机。光学成像系统500还可以包括光学组件505。光学组件505可以包括用于对观察目标进行聚焦和变焦的光学器件(例如透镜、光纤等)。光学组件505可以包括变焦光学器件510和聚焦光学器件515。变焦光学器件510和聚焦光学器件515中的每一个都能够在光学组件内独立移动，以便分别调节变焦和聚焦。光学组件505可以包括光圈，该光圈可以是可调节的。
光学成像系统500还包括存储器550和联接到存储器550的控制器530。控制器530可以包括一个或多个处理器(例如微处理器)、可编程逻辑器件(例如现场可编程门阵列或FPGA)、专用集成电路(ASIC)或它们的组合。在至少一些实施例中，控制器530被配置成控制变焦致动器和聚焦致动器的操作。控制器530可以接收指示期望的变焦和/或聚焦的控制输入，并且响应于接收到该输入，控制器530可以使变焦致动器和/或聚焦致动器分别移动变焦光学器件510和聚焦光学器件515。
控制器530还被配置成控制主相机535的操作。主相机535可以向控制器530输出相机数据，控制器530继而将数据传输到外部系统以供查看。然后，捕获的图像可以在更大的显示器上被查看，并且可以与其他相关信息一起显示，诸如手术部位的宽视场视图、导航标记等。
在至少一些实施例中，主相机535、光学组件505(包括变焦光学器件510和聚焦光学器件515)、控制器530和存储器550可以全部容纳在光学成像系统500的单个外壳内。外壳可以设置有框架，在该框架上可以安装可跟踪标记，以使导航系统能够跟踪。光学成像系统500可以安装在可移动的支撑结构上，诸如导航系统的定位系统(例如机械臂)、手动操作的支撑臂、安装在天花板上的支撑件、可移动的框架或其他支撑结构。在一些实施例中，光学成像系统500可以包括诸如机械联接器的支撑连接器，以使得光学成像系统500能够安装到支撑结构和从支撑结构拆卸。
图5A至图5E示出了示例增强光学成像系统600的不同视图。增强光学成像系统600包括光学成像系统500的部件中的一个或多个。特别地，增强光学成像系统600包括用于捕获目标的图像的主相机602、变焦光学器件和聚焦光学器件、一个或多个光源610、以及用于控制主相机602和变焦光学器件、聚焦光学器件和/或辅助光学器件的操作的控制器(未示出)。
除了这些部件之外，增强光学成像系统600包括3-D光学模块630。3-D光学模块630扩展了光学成像系统500的功能。特别地，3-D光学模块630包括光学成像系统500的附加部件。在一些实施例中，3-D光学模块630可以与光学成像系统500分离。例如，3-D光学模块630可以是单独的设备/模块，其可以安装到光学成像系统500或其部件，诸如主相机602。在这样的实施例中，光学成像系统500可以指与3-D光学模块630分离的增强光学成像系统600的那部分。3-D光学模块630可以使增强光学成像系统600能够获得观察目标的3-D信息。
如图6A至图6B和图7C至图7D所示，3-D光学模块630包括用于捕获目标的图像的副(例如悬臂)相机604和一对路径折叠反射镜608A和608B。副相机604具有宽视场，并且可以具有固定变焦光学器件、固定聚焦光学器件或数字变焦能力中的至少一种。路径折叠反射镜608A和608B以彼此间隔开的关系定位。具体地，路径折叠反射镜608A和608B相对于彼此成角度，使得它们设置在由副相机604成像的目标和副相机604的透镜之间的光学路径中。也就是说，从成像目标的表面反射的光横穿包括路径折叠反射镜608A和608B的路径。因此，副相机604的光学路径至少包括目标和第一路径折叠反射镜608A的反射表面之间的第一段(S1)、第一路径折叠反射镜608A的反射表面和第二路径折叠反射镜608B的反射表面之间的第二段(S2)、以及第二路径折叠反射镜608B的反射表面和副相机604的透镜之间的第三段(S3)。因此，在至少一些实施例中，路径折叠反射镜608A和608B基于副相机604的镜头的位置被选择性地定位。该光学路径在图7C至图7D中示出。
3-D光学模块630被配置成连接到光学成像系统，以便增强光学成像系统的功能。特别地，3-D光学模块630可以直接附连到光学成像系统，并通过合适的紧固机构固定到其上。如图6B所示，3-D光学模块630限定了腔室/孔，该腔室/孔尺寸设计成当3-D光学模块630固定到光学成像系统时接纳主相机602。主相机602的光学器件与3-D光学模块630上限定的开口635对准。在一些实施例中，当3-D光学模块630固定到光学成像系统时，主相机602可以延伸穿过开口635。
返回图5A至图5E，增强光学成像系统600的控制器被配置成接收来自主相机602的第一图像和来自副相机604的第二图像。例如，主相机602和副相机604可以采集描绘目标的实时相机数据(例如，视频、图像等)。在至少一些实施例中，主相机602和副相机604定位成使得主相机602的光学轴线与副相机604的光学轴线共面。主相机602可以相对于副相机604竖直地和水平地偏移。在一些实施例中，主相机602和副相机604可以仅水平地偏移。
图8示出了安装到导航系统的定位系统208(例如，机械臂)的增强光学成像系统600。增强光学成像系统600显示具有外壳，该外壳封装变焦光学器件和聚焦光学器件、主相机602、副相机604和一对路径折叠反射镜608A和608B。
此外，图8示出了相对于主相机602成角度的副相机604。特别地，主相机602基本上竖直地定位在增强光学成像系统的外壳内，而副相机604相对于垂直方向成一定角度定位。路径折叠反射镜608A和608B设置在3-D光学模块630中，使得副相机604的光学路径不与主相机602的光学路径相交。具体地，路径折叠反射镜608A和608B定位成使得副相机604的光学路径不阻挡主相机602的基本上竖直的视线。
图9是另一个示例增强光学成像系统900的透视图。增强光学成像系统900可以被结合到数字显微镜系统中，并且更一般地，被结合到医疗导航系统中。增强光学成像系统900包括光学成像系统950和3-D光学模块930。光学成像系统950至少包括用于对目标成像的主相机902和一个或多个光源910。3-D光学模块930可以一体化到光学成像系统950，或者它可以是可分离的附加部件，其可以固定到光学成像系统950。3-D光学模块930包括副相机904和单路径折叠反射镜908。如图9所示，路径折叠反射镜908的位置可以是可变的。例如，在一些实施例中，路径折叠反射镜908的反射表面相对于副相机904的透镜的相对角度是可手动地或经由控制输入调节的。与路径折叠反射镜908相关联的致动器可以由增强光学成像系统900的控制器(未示出)控制。在其他实施例(未示出)中，可以手动地移动致动器来配置相对角度。
在图9的示例中，副相机904基本上垂直于主相机902定位。特别地，主相机902竖直地向下定向，而副相机904基本上水平地定向。3-D光学模块930可以包括可以固定到光学成像系统950的板920。板920是大体上平面的和细长的，并且大体上垂直于光学成像系统950设置。也就是说，当固定到光学成像系统950时，板920是基本上水平的。如图9所示，副相机904可以附连到板920。
路径折叠反射镜908设置在被成像的目标和副相机904的透镜之间的光学路径中。也就是说，副相机904的光学路径横穿由目标和路径折叠反射镜908的反射表面之间的第一段以及路径折叠反射镜908的反射表面和副相机904的透镜之间的第二段限定的路径。路径折叠反射镜908位于3-D光学模块930上，使得它不阻挡主相机902的(竖直)视线。也就是说，路径折叠反射镜908不干扰主相机902的光学路径。
现在参考图10，其以流程图的形式示出了使用增强光学成像系统生成目标的3-D图像的示例方法1000。方法1000可以在数字显微镜系统中实现。例如，方法1000可以由集成到数字显微镜中的增强光学成像系统的控制器或者用于控制增强光学成像系统的相机的操作的类似处理单元来实现。
在操作1002中，控制器从主相机接收第一图像，并且在操作1004中，控制器从副相机接收第二图像。然后，在操作1006中，控制器将图像变换应用于第一图像和第二图像中的一个。在至少一些实施例中，图像变换是单应性变换。特别地，图像变换可以实现用于图像校正的单应性变换(homography)。在已知相对相机位置的情况下，单应性变换扭曲图像中的一个，使得第一和第二图像看起来好像是仅通过水平位移拍摄的，从而简化了生成目标的3-D可视化时的立体匹配过程。在一些实施例中，控制器可以被配置成确定目标和光学成像系统的光圈(或用于相机的视线的开口)之间的工作距离(即，间隔距离)并基于工作距离确定要应用于图像之一的图像变换。
在操作1006中应用的单应性变换的确定可以基于插值方案来完成。也就是说，控制器可以被配置成在两个或更多个校准单应性变换(calibration homography)之间进行插值。此外，控制器可以搜索一系列内插的单应性变换，并确定“最佳”单应性变换，以在生成3-D可视化时应用到来自副相机的图像。这可以通过例如将多个单应性变换(即扭曲)中的每一个应用到来自副相机的图像，并计算表示扭曲图像和来自主相机的对应图像之间的图像对应性的度量来完成。控制器可以将来自副相机的图像和来自主相机的对应(即，基本上同时捕获的)图像的变换作为输入，并输出相关度量的值。可以选择对于所讨论的度量产生最佳值的单应性变换作为“最佳”单应性变换。
各种不同的度量可以由控制器在图像比较中适当地采用。该度量可以例如包括相关性、互信息、平方差等。度量的计算可以针对所研究的内插单应性变换的整个范围来完成。根据所使用的度量，控制器可以在识别导致最高图像对应性或最佳匹配的变换时寻找局部最大值或局部最小值。例如，如果使用平方差度量，则控制器将从内插变换中寻找产生该度量的最低值的单应性变换。作为另一示例，如果图像相关性是所使用的度量，则可以选择产生该度量的最高值的单应性变换作为最佳单应性变换。
在操作1008中，控制器组合变换后的图像和图像中的另一个，以生成目标的立体图像。在至少一些实施例中，控制器可以在生成立体图像之前执行主相机和副相机的变焦的校准。例如，如果增强光学成像系统已经移动到相当大的程度，或者从相机的最后一次校准起已经过去了预定的时间段，则控制器可以被配置成自动校准变焦。在一些实施例中，增强光学成像系统可以针对多个预定的间隔距离自动校准。
返回图4A，导航系统200可以适于提供观察目标的3-D信息。具体地，导航系统200可以结合3-D可视化装置以在医疗程序期间使用。如图5A所示，3-D可视化装置可以包括光学成像系统500，该光学成像系统500包括主相机、副相机和至少一个路径折叠反射镜。在至少一些实施例中，主相机(其可以是光学成像系统500的光学头)、副相机和至少一个路径折叠反射镜可以容纳在单个外壳内。光学成像系统500可以连接到定位系统208，诸如机械臂或支架，其是可控的、可调节的和可移动的。光学成像系统500可以安装到定位系统208，使得定位系统208可以定位和定向光学成像系统500。
光学成像系统500的操作可以由光学成像系统500或导航系统200的处理单元控制。处理单元被配置成基于由主相机和副相机采集的图像来生成观察目标的3-D立体图像。例如，处理单元可以实现用于生成3-D信息的方法，诸如图10的方法1000。处理单元还可以被配置成实现用于校准来自相机的图像的校准模块。校准模块可以例如确定光学成像系统500的相机的当前位置和取向。校准模块还可以确定应用于相机的图像的变换(例如，单应性变换)，以提供观察目标的3-D可视化。
光学成像系统500可以将数据传输到控制器或外部系统，诸如外部工作站。由光学成像系统500采集的图像数据用来生成观察目标的3-D立体图像。立体图像信息可以显示在例如3-D显示设备230(例如3-D监视器)上，该3-D显示设备230可以使用外科医生201在程序期间佩戴的3-D眼镜来观察。3-D信息对于增强现实(AR)显示可能也是有用的。例如，AR显示系统可以使用由导航系统200采集的信息，并将目标样本的3-D图像覆盖在由相机捕获的实时图像上。
以上给出的各种实施例仅仅是示例，并且决不意味着限制本申请的范围。对本领域普通技术人员来说，本文描述的创新的变型是显而易见的，这种变型在本申请的预期范围内。特别地，可以选择来自上述示例实施例中的一个或多个的特征，以创建包括上面可能没有明确描述的特征的子组合的替代示例实施例。此外，来自上述示例实施例中的一个或多个的特征可以被选择和组合，以创建包括上面可能没有明确描述的特征的组合的替代示例实施例。本领域技术人员在总体上阅读本申请后，适于这种组合和子组合的特征将是显而易见的。本文和所述权利要求中描述的主题旨在覆盖和包含所有合适的技术变化。

Claims (20)

1.一种用于在医疗程序期间对目标成像的光学成像系统，所述系统包括：
第一相机，其用于捕获所述目标的第一图像；
第二宽视场相机，其用于捕获所述目标的第二图像；
至少一个路径折叠反射镜，其设置在所述目标和所述第二宽视场相机的透镜之间的光学路径中；和
处理单元，其用于接收所述第一图像和所述第二图像，所述处理单元被配置成：
将图像变换应用于所述第一图像和所述第二图像中的一个；并且
将变换后的图像和所述图像中的另一个组合，以产生所述目标的立体图像，
其中所述第一相机相对于所述第二宽视场相机能够竖直地和水平地偏移，并且其中所述第一相机和第二宽视场相机的光学轴之间能够设置为平行，垂直或成其他角度。
2.根据权利要求1所述的光学成像系统，其中，所述第一相机、所述第二宽视场相机和所述至少一个路径折叠反射镜容纳在单个外壳内。
3.根据权利要求1所述的光学成像系统，其中，所述第二宽视场相机和所述至少一个路径折叠反射镜包括在附加模块中，以用于安装到所述第一相机。
4.根据权利要求1所述的光学成像系统，其中，所述至少一个路径折叠反射镜包括基于所述第二宽视场相机的所述透镜的位置而选择性地定位的第一反射镜和第二反射镜，所述第一反射镜和所述第二反射镜相对于彼此成角度。
5.根据权利要求4所述的光学成像系统，其中，所述第一反射镜相对于所述目标选择性地定位和成角度，以便将所述目标的图像反射到所述第二反射镜，并且所述第二反射镜选择性地定位和成角度，以便将所述目标的所述图像从所述第一反射镜反射到所述第二宽视场相机的所述透镜。
6.根据权利要求1所述的光学成像系统，其中，所述第一相机和所述第二宽视场相机定位成使得所述第一相机的光学轴线与所述第二宽视场相机的光学轴线共面。
7.根据权利要求1所述的光学成像系统，其中，所述图像变换是单应性变换。
8.根据权利要求1所述的光学成像系统，其中，所述处理单元还被配置成：
确定所述目标和所述光学成像系统的光圈之间的工作距离；并且
基于所述工作距离确定所述图像变换。
9.根据权利要求1所述的光学成像系统，其中，所述光学成像系统被配置成能够安装到可移动支撑结构上。
10.根据权利要求9所述的光学成像系统，其中，所述光学成像系统还包括支撑连接器，以使得所述光学成像系统能够可移除地安装到所述可移动支撑结构上。
11.根据权利要求10所述的光学成像系统，其中，所述可移动支撑结构包括机械臂、手动操作支撑臂或可移动支撑框架中的一种。
12.根据权利要求11所述的光学成像系统，还包括手动释放按钮，当被致动时，所述手动释放按钮使得所述光学成像系统能够被手动定位。
13.根据权利要求12所述的光学成像系统，其中，所述处理单元响应于经由用户接口接收的控制输入。
14.根据权利要求1所述的光学成像系统，还包括一个或多个光源。
15.根据权利要求1所述的光学成像系统，其中，所述第二宽视场相机具有固定变焦光学器件或固定聚焦光学器件中的至少一个。
16.根据权利要求1所述的光学成像系统，其中，所述第二宽视场相机固定地联接到所述第一相机。
17.一种使用光学成像系统在医疗程序中生成目标的立体图像的方法，所述方法包括：
从所述光学成像系统的第一相机接收所述目标的第一图像；
从所述光学成像系统的第二宽视场相机接收所述目标的第二图像；
将图像变换应用于所述第一图像和所述第二图像中的一个；以及
将变换后的图像和所述图像中的另一个组合，以产生所述目标的所述立体图像，
其中所述第一相机相对于所述第二宽视场相机能够竖直地和水平地偏移，
并且其中所述第一相机和第二宽视场相机的光学轴之间能够设置为平行，垂直或成其他角度。
18.根据权利要求17所述的方法，其中，所述图像变换是第一单应性变换。
19.根据权利要求17所述的方法，还包括：
确定所述目标和所述光学成像系统的光圈之间的工作距离；以及
基于所述工作距离确定所述图像变换。
20.根据权利要求18所述的方法，还包括从多个单应性变换中选择所述第一单应性变换，其中，所述选择包括：
对于所述多个单应性变换中的每一个：
将所述单应性变换应用于所述第二图像；
计算所述变换后的第二图像和所述第一相机之间的图像对应性度量，以及
从所述多个单应性变换中选择与所述图像对应性度量的最佳值相关联的所述单应性变换作为所述第一单应性变换。
CN202080005559.7A 2019-04-15 2020-04-15 用于医疗程序的增强光学成像系统 Active CN112805999B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/384,075 2019-04-15
US16/384,075 US10827162B1 (en) 2019-04-15 2019-04-15 Augmented optical imaging system for use in medical procedures
PCT/CA2020/050500 WO2020210902A1 (en) 2019-04-15 2020-04-15 Augmented optical imaging system for use in medical procedures

Publications (2)

Publication Number Publication Date
CN112805999A CN112805999A (zh) 2021-05-14
CN112805999B true CN112805999B (zh) 2023-06-06

Family

ID=72748262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005559.7A Active CN112805999B (zh) 2019-04-15 2020-04-15 用于医疗程序的增强光学成像系统

Country Status (7)

Country Link
US (2) US10827162B1 (zh)
CN (1) CN112805999B (zh)
AU (2) AU2020257783A1 (zh)
CA (1) CA3141451A1 (zh)
DE (1) DE112020002467T5 (zh)
GB (1) GB2596958B (zh)
WO (1) WO2020210902A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7299046B2 (ja) * 2019-03-25 2023-06-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察制御装置及び医療用観察システム
US10827162B1 (en) * 2019-04-15 2020-11-03 Synaptive Medical (Barbados) Inc. Augmented optical imaging system for use in medical procedures
US11832892B2 (en) * 2019-07-10 2023-12-05 Mako Surgical Corp. Navigation systems for communicating tracker status conditions
US20210052189A1 (en) * 2019-08-22 2021-02-25 Wisconsin Alumni Research Foundation Lesion Volume Measurements System

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369831B1 (en) * 1998-01-22 2002-04-09 Sony Corporation Picture data generating method and apparatus
WO2014144780A1 (en) * 2013-03-15 2014-09-18 Trak Surgical, Inc. On-board tool tracking system and methods of computer assisted surgery
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特系统有限公司 用于外科手术的视频捕获和显示的数字系统
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6020993A (en) 1992-10-06 2000-02-01 Edge Scientific Instrument Company Llc 3-D photo attachment for a 2-D light microscope
WO2008100229A1 (en) 2007-02-13 2008-08-21 National University Of Singapore An imaging device and method
US8269970B2 (en) * 2009-07-02 2012-09-18 Quality Vision International, Inc. Optical comparator with digital gage
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
GB201303712D0 (en) * 2013-03-01 2013-04-17 Geissler Michael P A Optical navigation & positioning system
WO2014139018A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Context aware surgical systems
SG11201507613QA (en) * 2013-03-15 2015-10-29 Synaptive Medical Barbados Inc Intelligent positioning system and methods therefore
JP3220165U (ja) 2015-09-24 2019-02-21 シナプティヴ メディカル （バルバドス） インコーポレイテッドＳｙｎａｐｔｉｖｅ Ｍｅｄｉｃａｌ （Ｂａｒｂａｄｏｓ） Ｉｎｃ． 電動全視野適応型顕微鏡
US11058288B2 (en) * 2015-10-22 2021-07-13 Covidien Lp Systems and methods for amplifying changes in a region of interest in a surgical environment
US10027954B2 (en) * 2016-05-23 2018-07-17 Microsoft Technology Licensing, Llc Registering cameras in a multi-camera imager
US10372970B2 (en) * 2016-09-15 2019-08-06 Qualcomm Incorporated Automatic scene calibration method for video analytics
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
US10705323B2 (en) * 2018-04-24 2020-07-07 Synaptive Medical (Barbados) Inc. Surgical microscope system with automatic zoom control
US10827162B1 (en) * 2019-04-15 2020-11-03 Synaptive Medical (Barbados) Inc. Augmented optical imaging system for use in medical procedures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369831B1 (en) * 1998-01-22 2002-04-09 Sony Corporation Picture data generating method and apparatus
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特系统有限公司 用于外科手术的视频捕获和显示的数字系统
WO2014144780A1 (en) * 2013-03-15 2014-09-18 Trak Surgical, Inc. On-board tool tracking system and methods of computer assisted surgery
CN107533362A (zh) * 2015-05-08 2018-01-02 Smi创新传感技术有限公司 眼睛跟踪设备和用于操作眼睛跟踪设备的方法

Also Published As

Publication number Publication date
CA3141451A1 (en) 2020-10-22
GB2596958B (en) 2023-11-22
AU2021261978A1 (en) 2021-12-09
US10827162B1 (en) 2020-11-03
GB202114728D0 (en) 2021-12-01
GB2596958A (en) 2022-01-12
AU2020257783A1 (en) 2023-04-13
US11070787B2 (en) 2021-07-20
WO2020210902A1 (en) 2020-10-22
US20200329226A1 (en) 2020-10-15
CN112805999A (zh) 2021-05-14
DE112020002467T5 (de) 2022-03-31
US20210037228A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
US11648064B2 (en) Motorized full field adaptive microscope
CN112805999B (zh) 用于医疗程序的增强光学成像系统
US11160614B2 (en) Surgical imaging sensor and display unit, and surgical navigation system associated therewith
US11237373B2 (en) Surgical microscope system with automatic zoom control
US11546569B2 (en) System and methods for correcting image data of distinct images and generating and stereoscopic three-dimensional images
JP2017518148A (ja) マルチポートの視点からの手術シーンの定量的な３次元イメージング
CA3004167A1 (en) Dual zoom and dual field-of-view microscope
US20220031422A1 (en) System and methods using a videoscope with independent-zoom for enabling shared-mode focusing
US10925687B2 (en) System and method for optical axis calibration
US20240090968A1 (en) Surgical assistance system having surgical microscope and camera, and representation method
US11627868B2 (en) Systems and methods for controlling autofocus operations
US20230329804A1 (en) Trackable retractor systems, apparatuses, devices, and methods
Bax et al. Image-enhanced endoscopy calibration and image registration accuracy testing
JP2023548279A (ja) 自動ナビゲートデジタル手術顕微鏡
WO2022008701A1 (en) Navigated medical imaging
Weber et al. A mobile and navigated image viewer for surgery-evaluation of precision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant