CN108366833A - 手术信息处理设备和方法 - Google Patents

手术信息处理设备和方法 Download PDF

Info

Publication number
CN108366833A
CN108366833A CN201680073878.5A CN201680073878A CN108366833A CN 108366833 A CN108366833 A CN 108366833A CN 201680073878 A CN201680073878 A CN 201680073878A CN 108366833 A CN108366833 A CN 108366833A
Authority
CN
China
Prior art keywords
image
surgical
information
imaging device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680073878.5A
Other languages
English (en)
Other versions
CN108366833B (zh
Inventor
坂口竜己
笠井荣良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108366833A publication Critical patent/CN108366833A/zh
Application granted granted Critical
Publication of CN108366833B publication Critical patent/CN108366833B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Abstract

一种包括电路的手术信息处理设备，该电路：获得手术成像装置的位置信息，该位置信息指示手术成像装置距预定位置的位移；在配准模式下，从手术成像装置获得关于手术部件的位置的第一图像信息；基于第一图像信息和位置信息确定手术部件的位置；并且在成像模式下，基于所确定的位置从手术部件的手术成像装置获得第二图像信息。

Description

手术信息处理设备和方法
相关申请的交叉引用
本申请要求于2015年12月25日提交的日本优先权专利申请JP2015-252869的权益，其全部内容通过引用结合于此。
技术领域
本公开涉及一种手术信息处理设备和方法。
背景技术
迄今为止，已知了用于辅助精确操作的手术导航系统。手术导航系统用于例如神经外科、耳鼻喉科、矫形外科等领域；并且显示其中预先准备的MRI图像、3D模型等叠加在术野的捕获图像上的图像，并且因此辅助操作，使得根据先前的计划推进操作。这种手术导航系统包括例如用于检测显微镜、患者或手术器械的位置的位置检测装置。即，由于显微镜和手术器械均不具有用于获取显微镜或手术器械本身与患者的相对三维位置之间的关系的部分，因此需要用于找到相互位置关系的部分。
作为这种位置检测装置，例如，已知使用光学标记和光学传感器的装置。在PTL 1中，公开了用于检测刚性镜体的位置和姿势的部分，刚性镜体由诸如CCD相机的光电检测器形成的位置传感器、作为手术器械设置在刚性镜体处并且由诸如LED的光源形成的发光单元、以及位置计算单元组成。
引文列表
专利文献
PTL 1：JP 2002-102249A
发明内容
技术问题
然而，在PTL 1所公开的光学位置检测装置中，当设置于刚性镜体处的发光单元与光学传感器之间存在物理屏蔽时，有可能无法进行位置检测。例如，在手术场所具有许多手术器械和手术人员；因此，为了防止发光单元和光学传感器之间的物理屏蔽，可能出现诸如需要在高位置安装光学传感器的不便之处。
除了光学位置检测装置之外，还有使用磁场发生装置和磁性传感器的磁场型位置检测装置；但在磁场型位置检测装置中，当在用于位置检测的除了磁场发生装置以外的装置或手术器械中使用导电装置等时，检测结果可能有误差，或者可能难以进行位置检测。此外，同样在磁场型位置检测装置中，类似于光学位置检测装置，当磁场发生装置与磁性传感器之间存在物理屏蔽时，可能不再能进行位置检测。
问题的解决方案
根据本公开，提供了一种包括电路的手术信息处理设备，该电路：获得手术成像装置的位置信息，位置信息指示手术成像装置距预定位置的位移；在配准模式下，从手术成像装置获得关于手术部件的位置的第一图像信息；基于第一图像信息和位置信息确定手术部件的位置；并且在成像模式下，基于所确定的位置从手术部件的手术成像装置获得第二图像信息。
此外，根据本公开，提供了一种使用电路实现的手术信息处理方法，包括：获得手术成像装置的第一位置信息，第一位置信息指示手术成像装置距预定位置的位移；基于在配准模式下从手术成像装置获得的第一图像信息，生成手术部件相对于手术成像装置的第二位置信息；基于第一位置信息和第二位置信息，确定手术部件相对于预定位置的位置；并且在成像模式下，基于所确定的位置从手术部件的医疗成像装置获得第二图像信息。
此外，根据本公开，提供了一种在其中存储有程序的非暂时性计算机可读介质，该程序在由包括电路的计算机执行时使该计算机实现使用电路实现的手术信息处理方法，该方法包括以下步骤：获得手术成像装置的第一位置信息，第一位置信息指示手术成像装置距预定位置的位移；基于在配准模式下从手术成像装置获得的第一图像信息，生成手术部件相对于手术成像装置的第二位置信息；基于第一位置信息和第二位置信息，确定手术部件相对于预定位置的位置；以及在成像模式下，基于所确定的位置从手术部件的医疗成像装置获得第二图像信息。
发明的有益效果
如上所述，根据本公开的实施方式，可以获得能够不使用诸如光学传感器或磁性传感器的额外传感器，基于由对患者成像的成像设备获取的信息来计算预定位置的医疗成像设备和手术导航系统。注意，上述效果不必是限制性的。利用或代替以上效果，可以实现本说明书中描述的效果中的任何一种效果或可以从本说明书掌握的其他效果。
附图说明
[图1]图1是用于描述包括成像设备的手术导航系统的大致配置的说明图。
[图2]图2是示出成像设备的配置的示例的说明图。
[图3]图3是示出包括成像设备的手术导航系统的系统配置的示例的框图。
[图4]图4是示出成像设备的位置计算单元的功能配置的框图。
[图5]图5是示出包含成像设备的手术导航系统的使用示例的说明图。
[图6]图6是示出可以使用根据本公开的第一实施方式的手术导航系统的操作情况的说明图。
[图7]图7是示出根据实施方式的抓取手术导航系统的术野的处理的流程图。
[图8]图8是示出根据实施方式的抓取手术导航系统的术野的处理的流程图。
[图9]图9是示出根据实施方式的手术导航系统的配准处理的流程图。
[图10]图10是示出根据实施方式的手术导航系统的自动配准处理的流程图。
[图11]图11是示出根据实施方式的检测手术导航系统的手术器械的尖端的位置的处理的流程图。
[图12]图12是示出根据实施方式的检测手术导航系统的手术器械的尖端的位置的处理的流程图。
[图13]图13是示出根据本公开的第二实施方式的成像设备的配置的示例的说明图。
[图14]图14是示出可以使用根据实施方式的手术导航系统的操作情况的说明图。
[图15]图15是示出根据实施方式的手术导航系统的配准处理的流程图。
[图16]图16是示出根据实施方式的检测手术导航系统的手术器械的尖端的位置的处理的流程图。
[图17]图17是示出根据实施方式的由成像设备检查立体相机的位置偏移的处理的流程图。
[图18]图18是示出根据实施方式的由成像设备进行的重新校准处理的流程图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。
按以下顺序给出描述。
1.手术导航系统的基本配置
1-1.手术导航系统的配置的示例
1-2.手术导航系统的系统配置的示例
1-3.手术导航系统的使用示例
2.第一实施方式(使用安装在床上的臂的示例)
2-1.手术导航系统的概述
2-2.控制处理
2-3.结论
3.第二实施方式(使用臂可移动的推车的示例)
3-1.手术导航系统的概述
3-2.控制处理
3-3.结论
在以下描述中，“用户”是指使用成像设备或手术导航系统的任何医务人员，例如，操作者或助理。
<<1.手术导航系统的基本配置>>
首先，描述可以应用根据本公开的技术的成像设备的配置中的或者包括成像设备的手术导航系统的配置中的与稍后描述的实施方式共有的基本配置。
<1-1.手术导航系统的配置的示例>
图1是用于描述手术导航系统的大致配置的说明图。图2是示出成像设备10的配置示例的说明图。手术导航系统包括对要观察的对象(患者1的手术部位)进行成像的成像设备10和使用由成像设备10捕获的术野图像执行操作导航的导航设备50。手术导航系统是用于辅助操作者从而根据先前的计划推进操作的系统。其中预先准备的并且包括切口位置、患部位置、治疗手段等的信息的手术部位的术前图像或3D模型叠加在由成像设备10捕获的术野图像上的图像，可以显示在导航设备50的显示装置54上。
(1-1-1.成像设备)
成像设备10包括用于对患者1的手术部位进行成像的显微镜单元14和支撑显微镜单元14的臂单元30。显微镜单元14对应于本公开的实施方式的技术中的相机，并且由设置在大致圆柱形状的柱单元3111中的成像单元(未示出)和设置在柱单元3111的外周的部分区域中的操纵单元(在下文中，有时称为“相机操纵界面”)12组成。显微镜单元14是利用成像单元以电子方式获取捕获的图像的电子成像显微镜单元(所谓的视频显微镜单元)。
保护设置在内部的成像单元的防护玻璃设置在柱单元3111的下端的开口表面上。来自要观察的对象的光(在下文中，有时称为观察光)穿过防护玻璃，并入射在柱单元3111中的成像单元上。可以在柱单元3111中设置由例如发光二极管(LED)等形成的光源，并且在成像时，光可以经由防护玻璃从光源施加到要观察的对象。
成像单元由收集观察光的光学系统和接收由光学系统收集的观察光的成像元件组成。光学系统被配置成使得包括变焦透镜和聚焦透镜的多个透镜组合，并且调节其光学特性使得观察光在成像元件的光接收表面上形成图像。成像元件接收并光电转换观察光，并从而生成与观察光对应的信号，即与观察图像对应的图像信号。作为成像元件，例如，使用具有拜耳设置以允许彩色拍摄的成像元件。成像元件可以是各种已知成像元件中的任何一种，例如，互补金属氧化物半导体(CMOS)图像传感器和电荷耦合器件(CCD)图像传感器。
由成像元件生成的图像信号作为原始数据发送到未示出的控制装置100。在此处，图像信号的发送可以优选地通过光通信来执行。这是因为在手术场所中，操作者在使用捕获的图像观察患部的状况的同时执行操作，并因此为了更安全和更可靠的操作，需要尽可能实时地显示手术部位的运动图像。通过光通信发送的图像信号，可以以低延迟显示捕获的图像。
成像单元可以包括沿着光轴移动光学系统的变焦透镜和聚焦透镜的驱动机构。通过由驱动机构适当地移动变焦透镜和聚焦透镜，可以调节捕获的图像的放大率和在成像时的焦距。在成像单元中，还可以安装通常可以在电子成像显微镜单元中提供的各种功能，例如，自动曝光(AE)功能和自动聚焦(AF)功能。
成像单元可以被配置为包括一个成像元件的所谓的单芯片成像单元，或者可以被配置为包括多个成像元件的所谓的多芯片成像单元。在成像单元被配置为多芯片类型的情况下，例如，与每个RGB对应的图像信号可以由每个成像元件生成，并且由此生成的图像信号可以被合成，以获得彩色图像。可替换地，成像单元可以被配置以包括用于分别获取与立体视觉(3D显示)对应的右眼和左眼的图像信号的一对成像元件。在这种情况下，显微镜单元14被配置为立体相机。通过执行3D显示，操作者可以更准确地抓取手术部位的深度。根据本公开的每个实施方式的成像设备10包括作为显微镜单元14的立体相机。在成像单元被配置为多芯片类型的情况下，可以提供多个光学系统，以对应于成像元件。
相机操纵界面12例如由交叉杆、开关等形成，并且是接收用户的操纵输入的输入部。例如，用户可以经由相机操纵界面12输入用于改变观察图像的放大率和到要观察的对象的焦距的指令。成像单元的驱动机构可以根据指令适当地移动变焦镜头和聚焦镜头，并从而可以调节放大率和焦距。此外，例如，用户可以经由相机操纵界面12输入切换臂单元30的操作模式的指令(稍后描述的全自由模式和固定模式)。
当用户试图移动显微镜单元14时，用户可以通过握住显微镜单元14而在抓取柱单元3111的状态下移动显微镜单元14。在这种情况下，为了甚至在用户移动柱单元3111的同时也可以操作相机操纵界面12，相机操纵界面12可以设置在用户在抓紧柱单元3111的状态下可以容易地用手指操纵它的位置。可替换地，用户可以操纵输入装置(在下文中，有时称为“臂操纵界面”)，以控制臂单元30的姿势来移动显微镜单元14。
臂单元30由多个连杆(第一连杆3123a至第六连杆3123f)配置，该多个连杆由多个关节单元(第一关节单元3121a至第六关节单元3121f)以可相对于彼此可旋转运动的方式连接在一起。
第一关节单元3121a具有大致圆柱形状，并且在其尖端(其下端)围绕与柱单元3111的中心轴线平行的旋转轴线(第一轴线O1)以可旋转运动的方式支撑显微镜单元14的柱单元3111的上端。在此处，第一关节单元3121a可以被配置成使得第一轴线O1与显微镜单元14的成像单元的光轴重合。由此，显微镜单元14可以围绕第一轴线O1可旋转地移动，并且因此可以改变视野，以旋转捕获的图像。
第一连杆3123a在其尖端固定地支撑第一关节单元3121a。具体地，第一连杆3123a是具有大致L形配置的杆状构件，并且以使得在第一连杆3123a的尖端侧的一侧沿着与第一轴线O1正交的方向延伸、并且该一侧的端部与第一关节单元3121a的外周的上端部接触的方式与第一关节单元3121a连接。第二关节单元3121b连接到第一连杆3123a的大致L形配置的根端侧的另一侧的端部。
第二关节单元3121b具有大致圆柱形状，并且在其尖端处围绕与第一轴线O1正交的旋转轴线(第二轴线O2)以可旋转运动的方式支撑第一连杆3123a的根端。第二连杆3123b的尖端固定连接至第二关节单元3121b的根端。
第二连杆3123b是具有大致L形配置的杆状构件，并且其尖端侧上的一侧沿着与第二轴线O2正交的方向延伸，并且该一侧的端部端固定连接至第二关节单元3121b的根端。第三关节单元3121c连接到第二连杆3123b的大致L形配置的根端侧的另一侧。
第三关节单元3121c具有大致圆柱形状，并且在其尖端处围绕与第一轴线O1和第二轴线O2正交的旋转轴线(第三轴线O3)以可旋转运动的方式支撑第二连杆3123b的根端。第三连杆3123c的尖端固定连接至第三关节单元3121c的根端。通过围绕第二轴线O2和第三轴线O3在包括显微镜单元14的尖端侧上旋转地移动该构造，可以移动显微镜单元14，从而改变显微镜单元14在水平面中的位置。换言之，通过控制围绕第二轴线O2和第三轴线O3的旋转，捕获的图像的视野可以在平面内移动。
第三连杆3123c被配置成使得尖端侧具有大致圆柱形状，并且第三关节单元3121c的根端以使得这两者具有基本上相同的中心轴线的方式固定连接至圆柱形状的尖端。第三连杆3123c的根端侧具有棱柱形状，并且第四关节单元3121d连接到根端侧的端部。
第四关节单元3121d具有大致圆柱形状，并且在其尖端处围绕与第三轴线O3正交的旋转轴线(第四轴线O4)以可旋转运动的方式支撑第三连杆3123c的根端。第四连杆3123d的尖端固定连接至第四关节单元3121d的根端。
第四连杆3123d是大致以直线延伸的杆状构件，并且正交于第四轴线O4延伸，并且以使得第四连杆3123d的尖端的端部与第四关节单元3121d的大致圆柱形状的侧表面接触的方式固定连接至第四关节单元3121d。第五关节单元3121e连接到第四连杆3123d的根端。
第五关节单元3121e具有大致圆柱形状，并且在其尖端处围绕与第四轴线O4平行的旋转轴线(第五轴线O5)以可旋转运动的方式支撑第四连杆3123d的根端。第五连杆3123e的尖端固定连接至第五关节单元3121e的根端。第四轴线O4和第五轴线O5是允许显微镜单元14沿竖直方向移动的旋转轴线。通过围绕第四轴线O4和第五轴线O5在包括显微镜单元14的尖端侧上旋转移动该构造，可以调节显微镜单元14的高度，即显微镜单元14与要观察的对象之间的距离。
第五连杆3123e被配置成使得第一构件和第二构件组合，第一构件具有一侧在竖直方向上延伸并且另一侧在水平方向上延伸的大致L形配置，并且杆状形状的第二构件从沿第一构件的水平方向延伸的部分沿竖直方向向下延伸。第五关节单元3121e的根端固定连接到第五连杆3123e的第一构件的在竖直方向上延伸的部分的上端附近。第六关节单元3121f连接到第五连杆3123e的第二构件的根端(下端)。
第六关节单元3121f具有大致圆柱形状，并且在其尖端处围绕与竖直方向平行的旋转轴线(第六轴线O6)以可旋转运动的方式支撑第五连杆3123e的根端。第六连杆3123f的尖端固定连接至第六关节单元3121f的根端。
第六连杆3123f是沿竖直方向延伸的杆状构件，并且其根端固定连接至床40的上表面。
适当地设置第一关节单元3121a至第六关节单元3121f可以旋转的范围，使得显微镜单元14可以进行期望的移动。由此，在具有上述配置的臂单元30中，对于显微镜单元14的移动，可以实现具有3个平移自由度和3个旋转自由度(即总共6个自由度)的移动。通过如此配置臂单元30，使得对于显微镜单元14的移动实现6个自由度，在臂单元30可以移动的范围内可以自由地控制显微镜单元14的位置和姿势。因此，可以从任何角度观察手术部位，并且可以更平稳地执行操作。
臂单元30的所示配置仅是示例，并且可以适当地设计连杆的数量和形状(长度)以及构成臂单元30的关节单元的数量、设置位置、旋转轴线的方向等，使得可以实现期望的自由度。例如，尽管如上所述，臂单元30优选地被配置为具有6个自由度以便自由地移动显微镜单元14，但是臂单元30可以被配置以具有更大的自由度(即，冗余自由度)。在具有冗余自由度的情况下，可以在显微镜单元14的位置和姿势固定的状态下改变臂单元30的姿势。因此，可以实现对于操作者更方便的控制，例如，控制臂单元30的姿势，使得臂单元30不干扰查看导航设备50的显示装置54的操作者的视野。
在此，第一关节单元3121a至第六关节单元3121f可以设置有配备有检测每个关节单元中的旋转角度的编码器等的驱动机构，例如，马达和致动器。设置在第一关节单元3121a至第六关节单元3121f中的每个致动器的驱动可以由控制装置100适当地控制，并且从而可以控制臂单元30的姿势，即可以控制显微镜单元14的位置和姿势。由设置在每个关节单元中的编码器检测到的值可以用作关于臂单元30的姿势的姿势信息。
此外，第一关节单元3121a至第六关节单元3121f可以设置有限制关节单元的旋转的制动器。制动器的操作可以由控制装置100控制。例如，当试图固定显微镜单元14的位置和姿势时，控制装置100使每个关节单元的制动器进行操作。由此，可以固定臂单元30的姿势(即，显微镜单元14的位置和姿势)，而无需驱动致动器，并且因此可以降低功耗。当试图移动显微镜单元14的位置和姿势时，控制装置100可以释放每个关节单元的制动器，并且可以根据预定的控制系统来驱动致动器。
制动器的这种操作可以根据用户经由上述相机操纵界面12的操纵输入来执行。当用户试图移动显微镜单元14的位置和姿势时，用户操纵相机操纵界面12，以释放每个关节单元的制动器。由此，臂单元30的操作模式转变为其中可以在每个关节单元中自由地进行旋转的模式(全自由模式)。此外，当用户试图固定显微镜单元14的位置和姿势时，用户操纵相机操纵界面12，以使每个关节单元中的制动器进行操作。由此，臂单元30的操作模式转变为其中限制每个关节单元中的旋转的模式(固定模式)。
控制装置100根据预定的控制系统使第一关节单元3121a至第六关节单元3121f的致动器进行操作，并且从而控制臂单元30的驱动。另外，例如，控制装置100控制第一关节单元3121a至第六关节单元3121f的制动器的操作，并从而改变臂单元30的操作模式。
此外，控制装置100将由成像设备10的显微镜单元14的成像单元获取的图像信号输出到导航设备50。此时，控制装置100还将患者1的手术部位的位置以及手术器械的位置的信息输出至导航设备50。
(1-1-2.导航设备)
导航设备50包括由用户通过其执行导航设备50的操纵输入的导航操纵界面52、显示装置54、存储器装置56和导航控制装置60。导航控制装置60对从成像设备10获取的图像信号执行各种信号处理，以产生用于显示的3D图像信息，并使显示装置54显示该3D图像信息。在信号处理中，可以执行诸如显影处理(去马赛克处理)、图像质量提高处理(范围增强处理、超分辨率处理、降噪(NR)处理、相机抖动补偿处理等)和/或放大处理(即，电子变焦处理)的各种已知的信号处理。
导航设备50设置在手术室中，并且基于导航控制装置60的控制命令，在显示装置54上显示与由导航控制装置60产生的3D图像信息对应的图像。导航控制装置60对应于本公开的实施方式的技术中的导航控制单元。在显示装置54上，可以显示由显微镜单元14拍摄的手术部位的图像。导航设备50可以使显示装置54代替显示手术部位的图像或与手术部位的图像一起，来显示与操作有关的各种信息，例如，患者1的身体信息和/或关于手术技术的信息。在这种情况下，显示装置54的显示可以通过用户的操纵适当地切换。可替换地，可以提供多个显示装置54，并且可以在多个显示装置54上单独地显示手术部位的图像和关于操作的各种信息。作为显示装置54，可以使用各种已知的显示装置，例如，液晶显示装置或电致发光(EL)显示装置。
在存储器装置56中，例如，存储预先找到了其与三维空间中的预定参考位置的相对关系的患者1的手术部位的术前图像或3D模型。例如，在手术之前，基于包括患者1的手术部位的部分的MRI图像等，产生术前图像或产生手术部位的3D模型。然后，可以在术前图像或3D模型上，或者在从术前图像或3D模型获得的患者1的手术部位的轮廓等的图像上叠加用于辅助操作的信息，诸如切口位置、患部位置、以及切除位置等，并且所得到的图像可以存储在存储器装置56中。导航控制装置60将至少一个术前图像或3D模型叠加在由显微镜单元14捕获的3D图像信息上，以产生3D图像信息，并使显示装置54显示3D图像信息。存储器装置56可以设置在导航设备50中，或者可以设置在经由网络等连接的服务器中。
<1-2.手术导航系统的系统配置的示例>
图3是示出手术导航系统的系统配置的示例的框图。图4是示出控制装置100的位置计算单元110的功能配置的框图。成像设备10包括相机操纵界面12、显微镜单元14、编码器16、马达18、臂操纵界面20、以及控制装置100。其中，编码器16和马达18安装在设置在臂单元30的关节单元中的致动器上。导航设备50包括导航操纵界面52、显示装置54、存储器装置56和导航控制装置60。
控制装置100可以是诸如中央处理单元(CPU)或图形处理单元(GPU)等处理器、或者微型计算机、控制板等，其中，处理器和诸如存储器的存储元件组合。控制装置100的处理器根据预定程序进行操作，并且从而可以实现上述各种功能。虽然在所示的示例中，控制装置100被设置为与成像设备10分开的装置，但是控制装置100可以安装在成像设备10中并且可以与成像设备10一体地配置。可替换地，控制装置100可以由多个装置组成。例如，微型计算机、控制板等可以设置在显微镜单元14和臂单元30的第一关节单元3121a至第六关节单元3121f中的每一个内，并且它们可以连接以彼此可通信；从而可以实现与控制装置100相似的功能。
类似地，导航控制装置60也可以是诸如CPU或GPU的处理器、或者微型计算机、控制板等，其中，处理器和诸如存储器的存储元件组合。导航控制装置60的处理器根据预定程序进行操作，并且从而可以实现上述各种功能。虽然在所示的示例中，导航控制装置60被设置为与导航设备50分开的装置，但是导航控制装置60可以安装在导航设备50中并且可以与导航设备50一体地配置。可替换地，导航控制装置60可以由多个装置组成。
控制装置100与显微镜单元14之间的通信以及控制装置100与第一关节单元3121a至第六关节单元3121f之间的通信可以是有线通信或者可以是无线通信。导航控制装置60与导航操纵界面52之间的通信、导航控制装置60与显示装置54之间的通信以及导航控制装置60与存储器装置56之间的通信可以是有线通信或者可以是无线通信。在有线通信的情况下，可以执行通过电信号进行的通信，或者可以执行光通信。在这种情况下，根据通信系统，用于有线通信的传输缆线可以被配置为电信号缆线、光纤或这些的复合缆线。另一方面，在无线通信的情况下，由于不需要在手术室内铺设传输缆线，因此可以避免这种传输缆线阻碍手术室内的医务人员的移动的情况。
成像设备10的控制装置100包括位置计算单元110和臂姿势控制单元120。位置计算单元110基于从显微镜单元14获取的信息和从编码器16获取的信息来计算预定位置。位置计算单元110将计算结果发送到导航控制装置60。可由臂姿势控制单元120读取由位置计算单元110获得的计算结果的设计是可行的。此外，位置计算单元110基于由显微镜单元14获取的图像信号将图像信息输出到导航控制装置60。在这种情况下，位置计算单元110还对应于输出从由显微镜单元14获取的图像信号所产生的图像信息的输出单元。
如图4所示，位置计算单元110包括臂姿势信息检测单元112、相机信息检测单元114和位置计算单元116。臂姿势信息检测单元112基于与由编码器16检测到的每个关节单元的旋转角度有关的信息，抓取臂单元30的当前姿势和显微镜单元14的当前位置和姿势。相机信息检测单元114获取与由显微镜单元14捕获的图像有关的图像信息。在所获取的图像信息中，也可以包括显微镜单元14的焦距和放大率的信息。可以输出显微镜单元14的焦距，代替例如从支撑臂单元30中的显微镜单元14的第二关节单元3121b的旋转轴线到患者1的手术部位的距离。在后面的实施方式中，将详细描述由位置计算单元110执行的处理。
返回图3，臂姿势控制单元120基于来自导航控制装置60的控制指令，驱动设置于臂单元30的每个关节单元中的马达18，并因此将臂单元30控制为预定的姿势。由此，例如，可以由显微镜单元14从期望的角度对患者1的手术部位成像。臂姿势控制单元120可以基于位置计算单元110的计算结果来控制每个马达18。
具体地，使用由位置计算单元110检测出的臂单元30的姿势信息，臂姿势控制单元120计算对于每个关节单元的控制值(例如，旋转角度、要生成的转矩等)，关节单元根据来自用户的操纵输入或来自导航控制装置60的控制命令来实现显微镜单元14的移动。臂姿势控制单元120根据计算出的控制值来驱动每个关节单元的马达18。此时，由臂姿势控制单元120对臂单元30进行控制的系统没有限制，并且可以采用诸如力控制或位置控制的各种已知控制系统。
例如，操作者可以在适当时经由未示出的臂操纵界面20执行操纵输入；从而可以由臂姿势控制单元120根据操纵输入适当地控制臂单元30的驱动，并且可以控制显微镜单元14的位置和姿势。通过该控制，显微镜单元14可以从任意位置移动到任意位置，并然后在移动之后的位置处被固定地支撑。作为臂操纵界面20，考虑到操作者的便利性，优选地使用甚至在操作者将手术器械持有在手中时也可对其进行操纵的臂操纵界面，例如，脚踏开关。可以使用在手术室中提供的可穿戴装置或相机，基于手势跟踪或眼睛注视跟踪以非接触的方式执行操纵输入。因此，甚至是在洁净区的用户也可以以较高的自由度在非洁净区操纵装置。可替换地，臂单元30可以通过所谓的主-从系统来操纵。在这种情况下，臂单元30可以由用户经由安装在远离手术室的场所的臂操纵界面20来远程操作。
此外，在采用力控制的情况下，可以执行所谓的助力控制，其中，接收来自用户的外力并且驱动第一关节单元3121a至第六关节单元3121f的马达18，使得臂单元30根据外力平稳地移动。因此，当用户试图通过抓取其来直接移动显微镜单元14的位置时，用户可以以相对小的力移动显微镜单元14。因此，通过更简单的操纵，可以使显微镜单元14更直观地移动，并且可以提高用户的便利性。
此外，可以控制臂单元30的驱动，使得臂单元30执行枢转操作。在此处，枢转操作是移动显微镜单元14以使显微镜单元14的光轴始终朝向空间中的预定点(在下文中，被称为枢转点)的操作。通过枢转操作，可以从各个方向观察相同的观察位置，并因此可以更详细地观察患部。在显微镜单元14被配置成其焦距不可调节的情况下，优选地，在显微镜单元14与枢转点之间的距离固定的状态下执行枢转操作。在这种情况下，显微镜单元14与枢转点之间的距离可以被调节为显微镜单元14的固定焦距。由此，显微镜单元14在以枢转点为中心、具有与焦距对应的半径的半球表面上移动(在图1和图2中示意性地示出)，并且甚至当观察方向改变时，也获得清晰的捕获图像。
另一方面，在显微镜单元14被配置成使得其焦距可调节的情况下，可以在显微镜单元14与枢转点之间的距离可变的状态下执行枢转操作。在这种情况下，例如，控制装置100可以基于由编码器检测到的关于每个关节单元的旋转角度的信息来计算显微镜单元14与枢转点之间的距离，并且可以基于计算结果自动地调节显微镜单元14的焦距。可替换地，在显微镜单元14具有AF功能的情况下，每当显微镜单元14与枢转点之间的距离通过枢转操作而改变时，可以通过AF功能自动调节焦距。
<1-3.手术导航系统的使用示例>
图5是示出图1所示的手术导航系统的使用示例的示图。在图5中，示意性地示出了以下情况：操作者3401使用手术导航系统对作为支撑患者1的支撑基座的床40上的患者1执行操作。在图5中，为便于理解，简化示出了手术导航系统。
如图5所示，在操作期间，由成像设备10拍摄的术野图像在显示装置54上以放大的方式显示。显示装置54安装在易于从操作者3401可查看的位置，并且操作者3401在使用显示装置54上示出的视频图像观察手术部位的状况的同时对手术部位执行各种治疗，例如，切除患部。所使用的手术器械可以是例如在其尖端配备有一对镊子、抓钳等的手术器械，或者是诸如电手术刀和超声手术刀的任何各种手术器械。
在操作期间，在显示装置54上显示其中由成像设备10捕获的术野图像叠加在术前图像或3D模型上的图像。操作者3401在使用在显示装置54上示出的视频图像观察手术部位的状况的同时根据在显示装置54上显示的导航显示来执行各种治疗，例如，切除患部。同时，在显示装置54上示出诸如切口位置、切除位置以及手术器械的尖端的位置或姿势的信息。
在上文中，描述了可以应用根据本公开的技术的手术导航系统的概况。现在将描述根据本公开的技术的一些具体实施方式。在下面描述的每个实施方式中，描述了其中能够进行3D显示的立体相机14A用作显微镜单元14的示例。
<<2.第一实施方式>>
<2-1.手术导航系统的概述>
在根据本公开的第一实施方式的手术导航系统中，成像设备10的臂单元30固定到床40(参见图1)。即，固定到臂单元30的床40的固定部32与患者1的位置关系可以保持固定。因此，根据该实施方式的成像设备10被配置以计算三维坐标系中的预定位置，其中，臂单元30的固定部32或与固定部32具有固定的相对位置关系的任意空间位置被视为原点(参考位置)P0。根据该实施方式的手术导航系统是其中既不使用用于设置三维坐标的原点P0的位置的参考标记也不使用用于识别手术器械的位置或姿势的手术器械标记的系统的示例。
图6是示出可以使用根据实施方式的手术导航系统的操作情况的说明图。所示的示例示出了脑部手术的情况，并且患者1以面朝下的状态被支撑在床40上，并且头部被固定工具42固定。如上所述，既不使用用于设置三维坐标的原点P0的位置的参考标记也不使用用于识别手术器械的位置或姿势的手术器械标记。
<2-2.控制处理>
现在将参照图3和图4描述在根据实施方式的手术导航系统中执行的控制处理。描述了抓取术野的处理、配准处理以及检测手术器械的尖端的位置的处理，作为控制处理。
(2-2-1.抓取术野的处理)
首先，描述抓取由立体相机14A成像的术野的处理的示例。抓取术野的处理可以是利用导航设备50共享由立体相机14A获得的捕获图像中的对焦位置的处理。在操作期间，由于焦点自动地或通过用户的操纵被放置在患者1的手术部位，所以可以将对焦位置称为手术部位的位置。可以基于立体相机14A的焦距、放大率、视角等来抓取对焦位置。
图7是在抓取术野的处理中由成像设备10的控制装置100执行的流程图。在步骤S102中，在焦点被放置在患者1的头部的状态下，臂姿势信息检测单元112基于与设置在臂单元30的每个关节单元中的编码器16检测出的每个关节单元的旋转角度有关的信息，来检测臂单元30的姿势信息。
随后，在步骤S104中，相机信息检测单元114获取从立体相机14A输出的信息。从立体相机14A输出的信息可以包括立体相机14A的焦距、放大率、视角等的信息(在下文中，有时称为“相机参数”)。立体相机14A的焦距可以被替换为例如在光轴方向上从臂单元30中的立体相机14A侧上的端部旋转轴线到患者1的头部的距离的信息而被输出。可以通过相机操纵界面12的操纵输入来改变立体相机14A的焦距、放大率、视角等，并且可以通过设置在立体相机14A的镜头部中的电位计等来检测其设置值。
随后，在步骤S106中，基于臂单元30的姿势信息和立体相机14A的焦距的信息，位置计算单元116计算患者1的头部相对于预定参考位置的相对位置，甚至当臂单元30的姿势改变时，该预定参考位置也不改变。例如，位置计算单元116可以计算在坐标系(xyz三维坐标系)中患者1的头部的相对三维坐标，在坐标系中，在固定到床40的臂单元30的固定部32中的任意位置被视为原点P0。原点P0也可以是与臂单元30的固定部32具有固定的相对位置关系的任意位置。
随后，在步骤S108中，位置计算单元116将计算出的患者1的头部的相对三维坐标发送至导航控制装置60。当至少臂单元30的姿势或立体相机14A的焦距、放大率、视角等中的任一个改变时，位置计算单元116执行步骤S102至步骤S108。可替换地，步骤S102至步骤S108可以以预先设置的预定时间间隔重复执行。
图8是导航设备50的导航控制装置60在抓取术野的处理中执行的流程图。在步骤S112中，导航控制装置60从成像设备10的控制装置100获取患者1的头部的相对位置。随后，在步骤S114中，导航控制装置60从存储器装置56中调用与原点P0的相对位置关系已被预先发现的患者1的头部的3D模型和术前图像中的至少一个，并叠加从位置计算单元110发送的患者1的头部的相对位置，以产生用于显示的3D图像信息。随后，在步骤S116中，导航控制装置60将所产生的3D图像信息输出到显示装置54，并使显示装置54显示图像。
当从控制装置100发送的患者1的头部的相对位置改变时，或者在预先设置的预定时间间隔，导航控制装置60可以重复执行步骤S112至步骤S116。所显示的捕获图像中的叠加方式可以被设计成可通过操纵导航操纵界面52而改变。
为了调节术野，用户可以操纵导航操纵界面52，以经由导航控制装置60将臂单元30的控制命令发送到臂姿势控制单元120。可替换地，导航控制装置60本身可以基于预定的算术处理将臂单元30的控制命令发送到臂姿势控制单元120的设计是可行的。臂姿势控制单元120将臂单元30的控制命令解析为每个关节单元的操作，并且将解析后的控制命令作为旋转角度和/或移动量的指示值输出至每个关节单元的马达18。臂单元30的操纵也可以由用户通过操纵臂操纵界面20来直接执行，而不使用导航控制装置60。
(2-2-2.配准处理)
接下来，描述在捕获图像中的患者1的头部与术前图像或存在于3D模型、术前图像等中的参考点之间的配准处理的示例。在配准处理中，配准由立体相机14A获取的捕获图像中的患者1的头部、从操作之前拍摄的MRI图像等产生的术前图像或3D模型、以及参考点。
图9示出了配准处理的流程图。首先，在步骤S122中，控制装置100的位置计算单元110的相机信息检测单元114获取从立体相机14A输出的3D图像信息。在此处，由立体相机14A拍摄患者1的头部。随后，在步骤S124中，位置计算单元116根据基于由立体相机14A获取的3D图像信息和相机参数所产生的捕获图像，通过立体匹配方法来估计每个像素的深度值。可以通过利用已知技术来估计深度值。
随后，在步骤S126中，位置计算单元116计算围绕所获得的深度值的形状变化(起伏)，并提取具有大起伏的任意数量的特征点。例如，特征点的数量可以是三个或更多。随后，在步骤S128中，位置计算单元116计算所提取的特征点的相对三维坐标。此时，由臂姿势信息检测单元112检测到的每个关节单元的编码器16的检测值和立体相机14A的相机参数用于获得相对三维坐标，其中臂单元30的固定部32等作为参考位置。
随后，在步骤S130中，位置计算单元116将由立体相机14A捕获的3D图像信息和特征点的相对三维坐标的信息发送到导航控制装置60。由此，在导航控制装置60中，可以执行在特征点的位置与术前图像或3D模型中的对应参考点的位置之间的比较和匹配，并且可以在显示装置54上显示比较结果。通过查看显示的比较结果，用户调节臂单元30的姿势，使得在捕获图像中的患者1的头部和术前图像或3D模型是配准的。
在根据本实施方式的手术导航系统中，配备有立体相机14A的臂单元30固定到床40，并且与患者1的头部的位置关系可以保持固定；因此，一旦执行了一个配准处理，就在手术期间不需要再次执行配准。此外，根据本实施方式的手术导航系统找到相对于与患者1的头部具有固定位置关系的臂单元30的固定部32(作为参考位置)的相对位置，因此，不需要找到患者1的头部在三维空间中的绝对位置，并且不需要参考标记。
臂单元30的姿势也可以通过臂姿势控制单元120的自动校正控制来调节，而不使用用户的操纵。图10是由臂姿势控制单元120执行的自动配准处理的流程图。控制装置100的位置计算单元110根据图9所示的流程图执行步骤S122至步骤S130。在步骤S132中，控制装置100的臂姿势控制单元120从导航控制装置60获取特征点的位置与术前图像或3D模型中的对应的参考点的位置之间的比较结果。
随后，在步骤S134中，臂姿势控制单元120在评估特征点的位置与术前图像或3D模型中的参考点的位置之间的误差。例如，臂姿势控制单元120可以确定特征点的相对三维坐标位置与术前图像或3D模型中的参考点的相对三维坐标位置之间的距离是否小于先前设置的阈值。在误差评估结果表明特征点的位置与术前图像或3D模型中的对应参考点的位置之间存在较大差异的情况下(S134：否)，臂姿势控制单元120进入步骤S136，并且确定在移动立体相机14A的位置时的枢转点。例如，臂姿势控制单元120可以计算被立体地重建的患者1的头部的虚拟中心的位置，并且可以将虚拟中心的位置作为枢转点。
随后，在步骤S138中，基于特征点的位置和参考点的位置之间的差异量和差异方向，臂姿势控制单元120控制臂单元30的每个关节单元的马达18，以使立体相机14A以枢转点为中心进行枢转操作，并然后用立体相机14A执行拍摄。然后，该过程返回到步骤S124，并且重复执行上述步骤S124到步骤S134的处理。然后，在步骤S134中的误差评估结果显示特征点的位置与术前图像或3D模型中的对应参考点的位置之间不存在大差异的情况下(S134：是)，臂姿势控制单元120结束配准处理。
在可以通过臂姿势控制单元120进行自动配准处理时，可以将立体相机14A的位置移动到适当的位置，并因此在捕获图像以及术前图像或3D模型中的患者1的头部可以被容易地配准，而无需用户调节。此外，在执行自动配准处理的情况下，在根据本实施方式的手术导航系统中，在进行一次配准处理之后，在该操作中不再执行配准。
(2-2-3.检测手术器械的位置的处理)
接下来，描述检测手术器械的尖端的位置的处理的示例。在手术期间，例如，如图6所示，存在这种情况：为了试图找出探针48的位置与在手术部位的术前图像或3D模型上的参考点之间的位置关系，将作为专用于位置检测的手术器械的探针48放置在大脑的表面上。具体地，当显微镜和视频显微镜都不用作相机时，或者当使用显微镜等并且依然希望准确地找到更精确的位置时，或者当手术器械的尖端埋藏在脑实质中时，可能出现希望精确地找到手术器械的尖端的位置的情况。
图11是由成像设备10的控制装置100在检测探针48的尖端的位置的处理中执行的流程图。可以基本上在图9和图10所示的配准处理之后执行该流程图。即，可以在确定患者1的头部和立体相机14A之间的相对位置的状态下，执行检测探针48的尖端的位置的处理。
首先，在步骤S142中，控制装置100的位置计算单元110的相机信息检测单元114获取从立体相机14A输出的3D图像信息。在此处，由立体相机14A拍摄患者1的头部。随后，在步骤S144中，位置计算单元116对基于由立体相机14A获取的3D图像信息产生的捕获图像执行图像处理，并从而尝试检测探针48。例如，位置计算单元116尝试通过与预先存储的探针48的抓取部分的形状、在抓取部分与探针48的尖端部分之间的连接部分的形状等的匹配的处理来检测捕获图像中的探针48。
随后，在步骤S146中，位置计算单元116确定在捕获图像中是否检测到探针48。在捕获图像中没有检测到探针48的情况下(S146：否)，过程返回到步骤S142，并且重复步骤S142到步骤S146，直到检测到探针48。另一方面，在步骤S146中在捕获图像中检测到探针48的情况下(S146：是)，位置计算单元116在步骤S148中计算探针48的尖端的位置。例如，位置计算单元116可以基于预先存储的探针48的形状和长度的信息来检测探针48的尖端的位置。
此外，在步骤S150中，位置计算单元116计算三维坐标空间中的探针48的尖端的相对三维坐标和探针48的姿势。探针48的姿势可以通过例如图像处理来计算。随后，在步骤S152中，位置计算单元116将计算出的探针48的尖端的相对位置和计算出的探针48的姿势信息发送到导航控制装置60。然后，过程返回到步骤S142，并且重复步骤S142至步骤S152。
图12是由导航设备50的导航控制装置60在检测探针48的位置的处理中执行的流程图。在步骤S162中，导航控制装置60从成像设备10的控制装置100获取探针48的尖端的相对位置信息和探针48的姿势信息。随后，在步骤S164中，导航控制装置60在已经完成配准的患者1的头部的图像信息上描绘探针48，并使显示装置54实时显示探针48的图像。由此，操作者可以在查看显示装置54上显示的导航显示的同时将探针48的尖端移动到期望的位置。
<2-3.结论>
因此，通过根据本实施方式的成像设备10和手术导航系统，可以基于配备有立体相机14A的臂单元30的姿势信息和从立体相机14A输出的信息来计算预定位置。因此，不需要与成像设备10分离地添加诸如光学传感器或磁性传感器的传感器。因此，传感器的设置不是必需的，并且可以消除由于诸如光屏蔽、磁屏蔽或噪声的干扰而导致的误检测和不可检测状态。此外，手术导航系统中的设备部件的数量可以减少，并且成本可以降低。
此外，通过根据本实施方式的成像设备10，可以基于臂单元30的姿势信息和相机参数(例如，立体相机14A的焦距)来计算由立体相机14A成像的手术部位的相对三维坐标。因此，可以检测手术部位的相对位置，并将其用于导航控制，而无需使用额外的传感器。
此外，通过根据本实施方式的成像设备10，可以基于臂单元30的姿势信息、以及从立体相机14A输出的3D图像信息和相机参数，来计算手术部位的特征点的相对三维坐标。因此，可以在导航设备50中容易地执行手术部位的配准，而无需使用额外的传感器。另外，当捕获图像与术前图像之间的匹配的结果被反馈到臂单元30的姿势控制时，手术部位的自动配准变得可能，并且简化了配准工作。
此外，通过根据本实施方式的成像设备10，可以基于臂单元30的姿势信息以及从立体相机14A输出的3D图像信息和相机参数，计算手术器械或者手术器械的尖端的位置和姿势。因此，无需使用额外的传感器，可以在导航设备50中准确地检测手术器械或者手术器械的尖端的位置和姿势，并且可以在显示装置54上实时准确地叠加和显示手术器械。因此，甚至当手术器械的尖端已经进入身体的内部时，操作者也可以将手术器械的尖端移动到期望的位置。
<<3.第二实施方式>>
<3-1.手术导航系统的概述>
在根据本公开的第二实施方式的手术导航系统中，成像设备10A的臂单元30安装在可移动推车上。即，臂单元30未固定于床40，并且臂单元30的任何位置可以相对于患者1改变；因此，需要执行设置三维坐标原点的处理。因此，在根据实施方式的手术导航系统中，使用参考标记134来设置三维坐标的原点(参考位置)P0。
图13是示出在根据实施方式的手术导航系统中使用的成像设备10A的配置的示例的说明图。除了臂单元30安装在可移动推车3130上之外，成像设备10A可以以与图2所示的成像设备10类似的方式配置。成像设备10A可以由用户放置在床40的一侧上的任意位置。
图14是示出可以使用根据实施方式的手术导航系统的操作情况的说明图。所示的示例示出了脑手术的情况，并且患者1以面朝下的状态被支撑在床40上，并且头部被固定工具42固定。参考标记134经由连接夹具连接到固定工具42。即，参考标记134与患者1之间的位置关系可以保持固定。因此，根据实施方式的成像设备10A被配置以检测三维坐标系中的预定位置，在三维坐标系中，基于参考标记134的三维位置而指定的预定位置被视为原点P0。在根据实施方式的手术导航系统中，手术器械148包括手术器械标记130，并且手术器械标记130用于检测手术器械148的位置和姿势。
参考标记134和手术器械标记130可以是包括用作检测位置或姿势的标记的四个标记单元的光学标记。例如，可以具有以下配置，其中，使用漫反射从光源发射的红外区域中的波长的光的标记单元，并且基于由在红外区域的波长处具有灵敏度的立体相机14A获取的3D图像信息来检测标记的位置和姿势。可替换地，可以具有以下配置，其中，使用具有诸如红色的独特颜色的标记单元，并且基于由立体相机14A获取的3D图像信息来检测标记的位置和姿势。由于在捕获图像中的四个标记单元之间的位置关系随着标记的位置和姿势而变化，所以位置计算单元116可以通过检测四个标记单元之间的位置关系来识别标记的位置和姿势。
<3-2.位置检测处理>
现在将参照图3和图4，描述在根据实施方式的手术导航系统中执行的控制处理。
(3-2-1.抓取术野的处理)
首先，描述由根据实施方式的成像设备10A的控制装置100执行的抓取术野的处理。抓取术野的处理基本上根据图7所示的流程图来执行。然而，在根据实施方式的成像设备10A中，基于参考标记134指定的预定位置被视为三维坐标系的原点P0。因此，在图7的步骤S106中，基于臂单元30的姿势信息和立体相机14A的焦距的信息，位置计算单元116计算患者1的头部的相对三维坐标，其原点P0是基于参考标记134指定的预定位置。原点P0可以预先设置为例如基于臂单元30的姿势信息以及从立体相机14A输出的相机参数计算的参考标记134的三维坐标的位置。
用作原点P0的参考标记134的位置可以是参考标记134的四个标记单元中的任一个的位置，或者可以是除标记单元之外的任意位置，并且与参考标记134具有固定相对位置。相对于任意原点P0的三维坐标可以由参考标记134的姿势来定义。即，位置计算单元116可以基于所识别的参考标记134的姿势来指定x、y和z的三个轴线。由此，位置计算单元116可以找到患者1的头部对于原点P0的相对三维坐标。
在根据实施方式的手术导航系统中，除了计算三维位置作为对于由参考标记134指定的原点P0的相对三维坐标以外，可以以与根据第一实施方式的手术导航系统抓取术野的处理的情况类似的方式来执行抓取术野的处理。
(3-2-2.配准处理)
接下来，描述捕获图像中的患者1的头部与术前图像或存在于3D模型、术前图像等中的参考点之间的配准处理的示例。图15示出了配准处理的流程图。
同样，在根据实施方式的成像设备10A的控制装置100中，首先，根据与图9所示的流程图类似的过程来执行步骤S122至步骤S130。由此，在导航控制装置60中执行特征点的位置与术前图像或3D模型中的对应参考点的位置之间的比较和匹配，并在显示装置34上显示比较结果。通过查看显示的比较结果，用户调节臂单元30的姿势，使得捕获图像中的患者1的头部和术前图像或3D模型配准。
当患者1的头部与术前图像或3D模型之间的配准完成时，在步骤S172中，相机信息检测单元114获取从立体相机14A输出的3D图像信息。在此处，由立体相机14A拍摄参考标记134。只要配备有臂单元30的可移动推车3130不移动，立体相机14A的位置就可以移动。随后，在步骤S174中，位置计算单元116基于臂单元30的姿势信息和从立体相机14A输出的相机参数来计算参考标记134的三维坐标，并且将由参考标记134指定的预定位置设置为原点P0。
随后，在步骤S176中，位置计算单元116计算患者1的头部对于由参考标记134指定的原点P0的相对三维坐标，并将其存储。患者1的头部的相对三维坐标的信息也可以发送到导航设备50并存储在导航设备50中。
在根据实施方式的手术导航系统中，由于立体相机14A安装在可移动推车3130上，以使其可移动，所以当可移动推车3130的位置改变时，再次执行配准处理。换言之，只要患者1的头部与参考标记134之间的相对位置关系不改变并且可移动推车3130的位置也不改变，则一旦执行了一次配准处理，就不需要在操作期间再次执行配准。另外，在根据实施方式的手术导航系统中，也可以根据图10所示的流程图执行自动配准处理。
(3-2-3.检测手术器械的位置的处理)
接下来，描述检测手术器械的尖端的位置的处理的示例。图16是在检测专用于位置检测的手术器械(探针)148的尖端的位置的处理中由成像设备10A的控制装置100执行的流程图。流程图可以基本上在图15所示的配准处理之后执行。即，可以在确定了三维坐标的原点P0和患者1的头部与立体相机14A之间的相对位置的状态下，执行检测探针148的尖端的位置的处理。
首先，在步骤S182中，控制装置100的位置计算单元110的相机信息检测单元114获取从立体相机14A输出的3D图像信息。在此处，由立体相机14A拍摄患者1的头部。随后，在步骤S184中，试图从基于立体相机14A获取的3D图像信息所产生的捕获图像中检测手术器械标记130。随后，在步骤S186中，位置计算单元116确定在捕获图像中是否检测到手术器械标记130。在捕获图像中没有检测到手术器械标记130的情况下(S186：否)，过程返回到步骤S182，并且重复步骤S182到步骤S186，直到检测到手术器械标记130。
另一方面，在步骤S186中，在捕获图像中检测到手术器械标记130的情况下(S186：是)，位置计算单元116在步骤S188中检测探针148的尖端的位置。例如，位置计算单元116可以基于预先存储的探针148的形状和长度的信息来检测探针148的尖端的位置。此外，在步骤S190中，位置计算单元116计算在三维空间中探针148的尖端相对于由参考标记134指定的原点P0的相对三维坐标和探针148的姿势。随后，在步骤S192中，位置计算单元116将计算出的探针148的尖端的相对位置和计算出的探针148的姿势信息发送到导航控制装置60。然后，过程返回到步骤S182，并且重复步骤S182至步骤S192。
根据图12所示的流程图，导航控制装置60从成像设备10的控制装置100获取探针148的尖端的相对位置和探针148的姿势信息，在患者1的头部的图像信息上描绘探针148，并使显示装置54实时显示探针148的图像。由此，甚至当探针148的尖端进入到身体的内部时，操作者也可以在查看显示装置54上显示的导航显示的同时，将手术器械的尖端移动到期望的位置。
(3-2-4.位置偏移检查处理)
接下来，描述检查臂单元30的位置偏移的处理。在根据实施方式的手术导航系统中，由于使用参考标记134，因此可以检查由于可移动推车3130等的移动而导致的臂单元30的位置偏移。图17是示出检查臂单元30的位置偏移的处理的流程图。该流程图是其中当参考标记134在操作或工作期间出现在屏幕上时，参考标记134的图像信息用于检查臂单元30的位置偏移的过程，并且基本上在图15所示的配准处理之后执行。即，可以在确定了基于参考标记134指定的三维坐标的原点P0和患者1的头部与立体相机14A之间的相对位置的状态下，执行位置偏移检查的处理。
首先，在步骤S202中，控制装置100的位置计算单元110的相机信息检测单元114获取从立体相机14A输出的3D图像信息。随后，在步骤S204中，位置计算单元116确定参考标记134是否存在于基于由立体相机14A获取的3D图像信息而产生的捕获图像中。在参考标记134不存在于捕获图像中的情况下(S204：否)，不能检查臂单元30的位置偏移，并因此，过程返回到步骤S202。
在参考标记134存在于捕获图像中的情况下(S204：是)，在步骤S206中，位置计算单元116计算参考标记134相对于原点P0的三维坐标。即，在步骤S206中，计算参考标记134对于原点P0的相对位置。随后，在步骤S208中，位置计算单元116计算在步骤S206中计算出的参考标记134的相对位置与在设置当前原点P0时的时间点的参考标记134的相对位置之间的差异。例如，找到对应于相对位置的三维坐标的每个轴线方向上的分量之间的差异。当没有发生臂单元30的位置偏移时，上述相对位置之间的差值为零。
随后，在步骤S210中，位置计算单元116确定自动校正模式是否打开。在自动校正模式为关闭的情况下(S210：否)，在步骤S212中，位置计算单元116将在步骤S208中找到的参考标记134的相对位置的差异量发送到导航控制装置60，并使显示装置54显示差异量。由此，用户可以发现是否存在臂单元30的位置偏移；并且当用户认为差异量大时，用户自己可以在将自动校正模式设置为打开的同时移动臂单元30，并且从而可以清楚地校正臂单元30的位置偏移。
另一方面，在自动校正模式为打开的情况下(S210：是)，在步骤S214中，位置计算单元116执行臂单元30的姿势信息的替换。臂单元30的姿势信息的替换例如可以通过校正与本次计算出的参考标记134的相对位置对应的臂单元30的姿势信息来执行。由此，在执行了臂单元30的姿势信息的替换之后，位置计算单元116使用与替换之后的臂单元30的姿势信息的差异来计算臂单元30的姿势信息，利用各种计算(例如，位置检测)的计算结果。
通过以上述方式执行位置偏移检查处理，通过捕获在捕获图像中的参考标记134，可以随时评估臂单元30的姿势信息的准确性。另外，例如，在配备有臂单元30的可移动推车3130移动时，捕获到的参考标记134的位置信息可以用来检测臂单元30的姿势的偏移，并且可以替换臂单元30的姿势信息；从而可以始终计算准确的位置信息。
尽管在图17所示的流程图的示例中，通过比较参考标记134的相对位置来测量臂单元30的位置偏移，但是还可以在捕获了参考标记134的状态下，通过使用臂单元30的姿势信息来测量臂单元30的位置偏移。
另外，控制装置100也可以在适当的定时操作，以捕获在捕获图像中的参考标记134，并且可以执行臂单元30的姿势信息的位置偏移的检查和自动校正。图18示出了重新校准处理的流程图。首先，在步骤S222中，为了执行重新校准，位置计算单元116向臂姿势控制单元120发送命令，以使臂姿势控制单元120改变臂单元30的姿势，使得参考标记134进入立体相机14A的捕获图像内。此时，基于当前存储的患者1的头部的位置和参考标记134的位置之间的关系，臂单元30的姿势控制可以通过用户的操纵来执行，或者可以由控制装置100自身执行臂单元30的自动姿势控制，使得在立体相机14A的捕获图像中检测到参照标记134。
随后，在步骤S224中，位置计算单元116确定参考标记134是否存在于由立体相机14A获取的捕获图像中。在参考标记134存在于捕获图像中的情况下(S224：是)，位置计算单元116根据在图17的流程图中的步骤S206、步骤S208和步骤S214的过程来执行臂单元30的姿势信息的替换，并随后，使用与此时的臂单元30的姿势信息的差异来计算臂单元30的姿势。
另一方面，在步骤S224中，在捕获图像中不存在参考标记134的情况下(S224：否)，过程进入步骤S226，并且位置计算单元116确定立体相机14A的视角是否最大。在视角已达到最大的情况下(S226：是)，立体相机14A不能捕获参考标记134，并且不能自动执行校准；因此，处理结束。另一方面，在视角不是最大的情况下(S226：否)，在步骤S228中，位置计算单元116扩大立体相机14A的视角以扩大成像范围；并然后，过程返回到步骤S224，并重复步骤S224和随后的步骤。
由此，在臂单元30未固定到床40的情况下，在配备有臂单元30的可移动推车3130移动时，在捕获图像中成功捕获参考标记134的情况下，可以自动完成重新校准。在执行校准时，代替将立体相机14A的视角的扩大或与立体相机14A的视角的扩大相结合，还可以改变臂单元30的姿势，以将立体相机14A的位置移回。
<3-3.结论>
因此，通过根据实施方式的成像设备10A和手术导航系统，可以基于配备有立体相机14A的臂单元30的姿势信息和从立体相机14A输出的信息来计算预定位置。因此，可以获得与根据第一实施方式的成像设备10类似的效果。此外，在根据实施方式的成像设备10A中，可以基于臂单元30的姿势信息和从立体相机14A获取的信息，来检测手术部位的相对三维坐标、手术部位的特征点的相对三维坐标以及手术器械或手术器械的尖端的位置的相对三维坐标。因此，可以简单且精确地执行抓取术野的处理、配准处理、检测手术器械的尖端的位置的处理等的控制。
此外，根据实施方式的成像设备10A和手术导航系统被配置以使用参考标记134和手术器械标记130执行位置检测处理，并且因此可以在完成配准处理之后执行检查由于可移动推车3130等的移动而造成的臂单元30的位置偏移的处理和自动校准处理。因此，甚至当臂单元30发生位置偏移时，也可以保持各种位置检测处理的可靠性。
本领域技术人员应该理解，根据设计要求和其他因素，可以出现各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内。
例如，虽然在上述每个实施方式中，臂单元30包括作为相机的显微镜单元14，但是本公开的技术不限于这种示例。例如，臂单元30可以包括配备有目镜的显微镜和记录经由配有目镜的显微镜或甚至手术外窥镜获得的放大图像的相机。
此外，虽然在上述每个实施方式中，将立体相机用作显微镜单元14，来获取到预定的对象部分的深度的值的信息，但是本公开的技术并不限于这种示例。例如，可以使用距离传感器以及单目相机获取深度值的信息。
此外，虽然在第一实施方式中，通过图像处理来执行在捕获图像中的手术器械的检测，并且在第二实施方式中，通过检测手术器械标记来执行捕获图像中的手术器械的检测，但是在每个实施方式中用于检测手术器械的方法可能是相反的。即，尽管第一实施方式和第二实施方式的三维坐标的原点P0的设置方式不同，但是用于检测手术器械的方法不限于上述示例。
此外，尽管在上述实施方式中，成像设备的控制装置100包括位置计算单元110和臂姿势控制单元120，但是本公开的技术不限于这种示例。在根据本公开的实施方式的控制装置100中，基于臂单元30的姿势信息和从立体相机14A输出的信息能够计算预定位置的信息就足够了，也可以不设置臂姿势控制单元120。在这种情况下，可以通过具有臂姿势控制单元120的功能的某种其他控制装置来执行臂单元30的姿势控制。
此外，在上述实施方式中描述的系统配置和流程图仅是示例，并且本公开的技术不限于这种示例。可以在导航控制装置侧执行由成像设备的控制装置100执行的流程图中的部分步骤。例如，在图10所示的自动配准处理中，臂单元30的步骤S132至步骤S136可以由导航控制装置60执行，并且计算结果可以发送至控制装置100。
用于实现成像设备和手术导航系统的每个功能的计算机程序可以安装在任何控制装置等中。可以提供在其中存储有这种计算机程序的计算机可读取的记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。例如，上述计算机程序也可以经由网络来分布，而不使用记录介质。
此外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。即，或代替上述效果，根据本公开的技术可以基于本说明书的描述来实现本领域技术人员清楚的其他效果。
(1)一种手术信息处理设备，包括：
电路，被配置为：
获得手术成像装置的位置信息，位置信息指示手术成像装置距预定位置的位移；
在配准模式下，从手术成像装置获得关于手术部件的位置的第一图像信息；
基于第一图像信息和位置信息确定手术部件的位置；并且
在成像模式下，基于所确定的位置从手术部件的手术成像装置获得第二图像信息。
(2)根据(1)所述的手术信息处理设备，其中，通过基于位置信息确定手术成像装置相对于预定位置的位置并且通过确定手术部件与手术成像装置之间的距离，来进一步执行位置确定。
(3)根据(1)至(2)所述的手术信息处理设备，其中，手术部件是手术部位和手术器械中的一项。
(4)根据(1)至(3)所述的手术信息处理设备，其中，电路基于位置信息来激活配准模式或成像模式。
(5)根据(1)至(4)所述的手术信息处理设备，其中，以与在成像模式下获得第二图像信息不同的视角，在配准模式下获得第一图像信息。
(6)根据(1)至(5)所述的手术信息处理设备，其中，通过将手术成像装置的位置设置为参考点，来进一步执行位置确定。
(7)根据(1)至(6)所述的手术信息处理设备，其中，手术成像装置的位置信息基于来自具有附接至其的手术成像装置的支撑臂的臂位置信息，并且
其中，臂位置信息包括在支撑臂中的至少一个关节的移动信息。
(8)根据(7)所述的手术信息处理设备，其中，支撑臂中的至少一个关节的移动信息包括每个关节的旋转量。
(9)根据(1)至(8)所述的手术信息处理设备，其中，通过处理由手术成像装置获得的作为第一图像信息的手术部件的图像，来进一步执行位置确定。
(10)根据(9)所述的手术信息处理设备，其中，由手术成像装置获得的手术部件的图像的处理基于图像的焦点。
(11)根据(1)至(10)所述的手术信息处理设备，其中，手术部件的位置是用于先前获得的医疗图像与由手术成像装置获得的作为第二图像信息的图像之间的图像配准的参考点。
(12)根据(1)至(11)所述的手术信息处理设备，其中，手术部件的位置是用于将至少一个术前图像叠加在由手术成像装置获得的作为第二图像信息的图像上的参考点。
(13)一种使用电路实现的手术信息处理方法，包括：
获得手术成像装置的第一位置信息，第一位置信息指示手术成像装置距预定位置的位移；
基于在配准模式下从手术成像装置获得的第一图像信息，生成手术部件相对于手术成像装置的第二位置信息；
基于第一位置信息和第二位置信息，确定手术部件相对于预定位置的位置；并且
在成像模式下，基于所确定的位置从手术部件的医疗成像装置获得第二图像信息。
(14)根据(13)所述的医疗图像处理方法，其中，通过基于臂位置信息确定指示医疗成像装置相对于预定位置的位置的第一位置信息，并且通过从患者与医疗成像装置之间的立体距离确定第二位置信息，来进一步执行位置确定。
(15)根据(13)至(14)所述的医疗图像处理方法，其中，基于位置信息激活配准模式或成像模式。
(16)根据(13)至(15)所述的医疗图像处理方法，其中，以与在成像模式下获得第二图像信息不同的视角，在配准模式下获得第一图像信息。
(17)根据(13)至(16)所述的医疗图像处理方法，其中，通过将手术成像装置的位置设置为参考点，来进一步执行手术部件的第二位置信息的生成。
(18)根据(14)所述的医疗图像处理方法，其中，手术成像装置的第一位置信息基于来自具有附接至其的手术成像装置的支撑臂的臂位置信息，并且
其中，臂位置信息包括支撑臂中的至少一个关节的移动信息。
(19)根据(18)所述的医疗图像处理方法，其中，支撑臂中的至少一个关节的移动信息包括每个关节的旋转量。
(20)根据(13)至(19)所述的医疗图像处理方法，其中，通过处理由手术成像装置获得的作为第一图像信息的手术部件的图像，来进一步生成第二位置信息。
(21)根据(20)所述的医疗图像处理方法，其中，对由手术成像装置获得的手术部件的图像的处理基于图像的焦点。
(22)根据(13)至(21)所述的医疗图像处理方法，其中，手术部件的位置是用于先前获得的医疗图像与由手术成像装置获得的作为第二图像信息的图像之间的图像配准的参考点。
(23)根据(13)至(22)所述的医疗图像处理方法，其中，手术部件的位置是用于将至少一个术前图像叠加在由手术成像装置获得的作为第二图像信息的图像上的参考点。
(24)一种手术信息处理设备，包括：
手术成像装置，被配置为获得患者的图像；
支撑臂，具有附接至其的手术成像装置；以及
根据权利要求1所述的手术信息处理设备。
(25)根据(24)所述的手术信息处理设备，其中，医疗成像装置是手术显微镜或手术外窥镜。
(26)根据(24)至(25)所述的手术信息处理设备，其中，支撑臂在关节处具有致动器。
(27)一种在其中存储有程序的非暂时性计算机可读介质，该程序在由包括电路的计算机执行时使该计算机实现使用电路实现的手术信息处理方法，该方法包括：
获得手术成像装置的第一位置信息，第一位置信息指示手术成像装置距预定位置的位移；
基于在配准模式下从手术成像装置获得的第一图像信息，生成手术部件相对于手术成像装置的第二位置信息；
基于第一位置信息和第二位置信息，确定手术部件相对于预定位置的位置；并且
在成像模式下，基于所确定的位置从手术部件的医疗成像装置获得第二图像信息。
另外，本技术也可以如下配置。
(1A)一种医疗成像装置，包括：
臂姿势信息检测单元，被配置为检测关于包括至少一个关节单元并支撑相机的臂的姿势的姿势信息；
相机信息检测单元，被配置为检测从相机输出的信息；以及
位置计算单元，被配置为基于姿势信息和从相机输出的信息来计算预定位置。
(2A)根据(1A)所述的医疗成像装置，
其中，臂固定到被配置为支撑患者的支撑基座，并且
位置计算单元计算到预定参考位置的相对位置，甚至当臂的姿势改变时，预定参考位置的位置也不改变。
(3A)根据(1A)所述的医疗成像装置，
其中，臂安装在可移动推车上，并且
在可移动推车放置在预定位置的状态下，位置计算单元将基于固定到被配置为支撑患者的支撑基座的参考标记而指定的预定位置设置为参考位置并且计算到参考位置的相对位置。
(4A)根据(3A)所述的医疗成像装置，进一步包括：
臂控制单元，被配置为控制臂，
其中，当在设置当前参考位置时的参考标记的相对位置与所计算的参考标记的相对位置不同时，臂控制单元校正臂的姿势信息，将计算的参考标记的相对位置作为参考。
(5A)根据(1A)至(4A)中任一项所述的医疗成像装置，其中，位置计算单元确定要检测的预定对象是否存在于由相机捕获的图像中，并且在要检测的对象存在的情况下，计算要检测的对象的位置。
(6A)根据(5A)所述的医疗成像装置，其中，在要检测的预定对象不存在于相机捕获的图像中的情况下，位置计算单元扩大图像的成像范围。
(7A)根据(1A)至(6A)中任一项所述的医疗成像装置，进一步包括臂控制单元，臂控制单元被配置为控制臂，
其中，臂控制单元通过控制臂的姿势来将由相机捕获的图像中包括的患者的手术部位与预先准备的参考图像配准。
(8A)根据(7A)所述的医疗成像装置，其中，
甚至当执行了配准而手术部位和参考图像没有配准时，
臂控制单元通过将手术部位的虚拟中心的位置用作枢转点来调节相机的位置，以再次执行手术部位与参考图像之间的配准。
(9A)根据(1A)至(8A)中任一项所述的医疗成像装置，其中，预定位置是指示相机的焦距、患者的手术部位的位置、手术器械的位置、手术器械的尖端的位置以及参考标记的位置中的至少一项的信息。
(10A)根据(1A)至(9A)中任一项所述的医疗成像装置，其中，臂姿势信息检测单元基于设置在关节单元中的编码器的输出来检测姿势信息。
(11A)根据(1A)至(10A)中任一项所述的医疗成像装置，其中，从相机输出的信息包括相机的焦距和由相机获取的图像信号的信息中的一项。
(12A)根据(1A)至(11A)中任一项所述的医疗成像装置，进一步包括：
输出单元，被配置为输出从由相机获取的图像信号产生的3D图像信息。
(13A)一种手术导航系统，包括：
臂姿势信息检测单元，被配置为检测关于包括至少一个关节单元并支撑相机的臂的姿势的姿势信息；
相机信息检测单元，被配置为检测从相机输出的信息；
位置计算单元，被配置为基于姿势信息和从相机输出的信息来计算预定位置；
输出单元，被配置为输出从由相机获取的图像信号产生的3D图像信息；以及
导航控制单元，被配置为在使显示其中从图像信号产生的3D图像信息中包括的患者的手术部位叠加在预先准备的参考图像上的图像的同时，执行操作导航。
附图标记列表
10、10A成像设备
14显微镜单元
14A立体相机
30臂单元
48探针(手术器械)
50导航设备
54显示装置
60导航控制装置
100控制装置
110位置计算单元
112臂姿势信息检测单元
114相机信息检测单元
116位置计算单元
120臂姿势控制单元
130手术器械标记
134参考标记。

Claims (27)

1.一种手术信息处理设备，包括：
电路，被配置为：
获得手术成像装置的位置信息，所述位置信息指示所述手术成像装置距预定位置的位移；
在配准模式下，从所述手术成像装置获得关于手术部件的位置的第一图像信息；
基于所述第一图像信息和所述位置信息确定所述手术部件的位置；并且
在成像模式下，基于所确定的位置从所述手术部件的手术成像装置获得第二图像信息。
2.根据权利要求1所述的手术信息处理设备，其中，通过基于所述位置信息确定所述手术成像装置相对于所述预定位置的位置并且通过确定所述手术部件与所述手术成像装置之间的距离，来进一步执行位置确定。
3.根据权利要求1所述的手术信息处理设备，其中，所述手术部件是手术部位和手术器械中的一项。
4.根据权利要求1所述的手术信息处理设备，其中，所述电路基于所述位置信息来激活所述配准模式或所述成像模式。
5.根据权利要求1所述的手术信息处理设备，其中，以与在所述成像模式下获得所述第二图像信息不同的视角，在所述配准模式下获得所述第一图像信息。
6.根据权利要求1所述的手术信息处理设备，其中，通过将所述手术成像装置的位置设置为参考点，来进一步执行位置确定。
7.根据权利要求1所述的手术信息处理设备，其中，所述手术成像装置的位置信息基于来自具有附接至其的所述手术成像装置的支撑臂的臂位置信息，并且
其中，所述臂位置信息包括所述支撑臂中的至少一个关节的移动信息。
8.根据权利要求7所述的手术信息处理设备，其中，所述支撑臂中的至少一个关节的移动信息包括每个关节的旋转量。
9.根据权利要求1所述的手术信息处理设备，其中，通过处理由所述手术成像装置获得的作为所述第一图像信息的所述手术部件的图像，来进一步执行位置确定。
10.根据权利要求9所述的手术信息处理设备，其中，对由所述手术成像装置获得的所述手术部件的图像的处理基于所述图像的焦点。
11.根据权利要求1所述的手术信息处理设备，其中，所述手术部件的位置是用于先前获得的医疗图像与由所述手术成像装置获得的作为所述第二图像信息的图像之间的图像配准的参考点。
12.根据权利要求1所述的手术信息处理设备，其中，所述手术部件的位置是用于将至少一个术前图像叠加在由所述手术成像装置获得的作为第二图像信息的图像上的参考点。
13.一种使用电路实现的手术信息处理方法，包括：
获得手术成像装置的第一位置信息，所述第一位置信息指示所述手术成像装置距预定位置的位移；
基于在配准模式下从所述手术成像装置获得的第一图像信息，生成手术部件相对于所述手术成像装置的第二位置信息；
基于所述第一位置信息和所述第二位置信息，确定所述手术部件相对于所述预定位置的位置；并且
在成像模式下，基于所确定的位置从所述手术部件的医疗成像装置获得第二图像信息。
14.根据权利要求13所述的医疗图像处理方法，其中，通过基于臂位置信息确定指示所述医疗成像装置相对于所述预定位置的位置的所述第一位置信息，并且通过从患者与所述医疗成像装置之间的立体距离确定所述第二位置信息，来进一步执行位置确定。
15.根据权利要求13所述的医疗图像处理方法，其中，基于位置信息激活所述配准模式或所述成像模式。
16.根据权利要求13所述的医疗图像处理方法，其中，以与在所述成像模式下获得所述第二图像信息不同的视角，在所述配准模式下获得所述第一图像信息。
17.根据权利要求13所述的医疗图像处理方法，其中，通过将所述手术成像装置的位置设置为参考点，来进一步执行所述手术部件的所述第二位置信息的生成。
18.根据权利要求14所述的医疗图像处理方法，其中，所述手术成像装置的所述第一位置信息基于来自具有附接至其的所述手术成像装置的支撑臂的臂位置信息，并且
其中，所述臂位置信息包括所述支撑臂中的至少一个关节的移动信息。
19.根据权利要求18所述的医疗图像处理方法，其中，所述支撑臂中的至少一个关节的移动信息包括每个关节的旋转量。
20.根据权利要求13所述的医疗图像处理方法，其中，通过处理由所述手术成像装置获得的作为所述第一图像信息的所述手术部件的图像，来进一步生成所述第二位置信息。
21.根据权利要求20所述的医疗图像处理方法，其中，对由所述手术成像装置获得的所述手术部件的图像的处理基于所述图像的焦点。
22.根据权利要求13所述的医疗图像处理方法，其中，所述手术部件的位置是用于先前获得的医疗图像与由所述手术成像装置获得的作为所述第二图像信息的图像之间的图像配准的参考点。
23.根据权利要求13所述的医疗图像处理方法，其中，所述手术部件的位置是用于将至少一个术前图像叠加在由所述手术成像装置获得的作为所述第二图像信息的图像上的参考点。
24.一种手术信息处理设备，包括：
手术成像装置，被配置为获得患者的图像；
支撑臂，具有附接至其的所述手术成像装置；以及
根据权利要求1所述的手术信息处理设备。
25.根据权利要求24所述的手术信息处理设备，其中，所述医疗成像装置是手术显微镜或手术外窥镜。
26.根据权利要求24所述的手术信息处理设备，其中，所述支撑臂在关节处具有致动器。
27.一种在其中存储有程序的非暂时性计算机可读介质，所述程序在由包括电路的计算机执行时使所述计算机实现使用电路来实现的手术信息处理方法，所述方法包括：
获得手术成像装置的第一位置信息，所述第一位置信息指示所述手术成像装置距预定位置的位移；
基于在配准模式下从所述手术成像装置获得的第一图像信息，生成手术部件相对于所述手术成像装置的第二位置信息；
基于所述第一位置信息和所述第二位置信息，确定所述手术部件相对于所述预定位置的位置；以及
在成像模式下，基于所确定的位置从所述手术部件的医疗成像装置获得第二图像信息。
CN201680073878.5A 2015-12-25 2016-11-18 手术信息处理设备和方法 Expired - Fee Related CN108366833B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015252869A JP6657933B2 (ja) 2015-12-25 2015-12-25 医療用撮像装置及び手術ナビゲーションシステム
JP2015-252869 2015-12-25
PCT/JP2016/084354 WO2017110333A1 (en) 2015-12-25 2016-11-18 Surgical information processing apparatus and method

Publications (2)

Publication Number Publication Date
CN108366833A true CN108366833A (zh) 2018-08-03
CN108366833B CN108366833B (zh) 2021-10-12

Family

ID=57570279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073878.5A Expired - Fee Related CN108366833B (zh) 2015-12-25 2016-11-18 手术信息处理设备和方法

Country Status (5)

Country Link
US (1) US20180263710A1 (zh)
EP (1) EP3393385A1 (zh)
JP (1) JP6657933B2 (zh)
CN (1) CN108366833B (zh)
WO (1) WO2017110333A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145259A (zh) * 2019-11-28 2020-05-12 上海联影智能医疗科技有限公司 自动校准的系统和方法
CN111407406A (zh) * 2020-03-31 2020-07-14 武汉联影智融医疗科技有限公司 头部位置标识装置、术中控制系统及控制方法
CN111999879A (zh) * 2019-05-27 2020-11-27 徕卡仪器（新加坡）有限公司 显微镜系统和用于控制手术显微镜的方法
WO2021114595A1 (zh) * 2019-12-09 2021-06-17 苏州微创畅行机器人有限公司 导航手术系统及其注册方法、电子设备及支撑装置

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP6722502B2 (ja) * 2016-04-27 2020-07-15 株式会社キーエンス 三次元座標測定器
US11020202B2 (en) 2016-07-12 2021-06-01 Sony Corporation Image processing device, image processing method, and surgical navigation system
JP2018075218A (ja) * 2016-11-10 2018-05-17 ソニー株式会社 医療用支持アーム及び医療用システム
JP6216863B1 (ja) * 2016-11-11 2017-10-18 アムキャッド・バイオメッド・コーポレイションＡｍＣａｄ Ｂｉｏｍｅｄ Ｃｏｒｐｏｒａｔｉｏｎ 頭部及び頚部の評価または介入用ポジショニング装置
US20180133085A1 (en) * 2016-11-14 2018-05-17 Amcad Biomed Corporation Positioning apparatus for head and neck assessment or intervention
US11701087B2 (en) 2016-11-14 2023-07-18 Amcad Biomed Corporation Method for head and neck assessment or intervention
DE102016122004B4 (de) * 2016-11-16 2024-03-21 Carl Zeiss Meditec Ag Verfahren zur Darstellung von Bildern eines digitalen Operationsmikroskops und digitales Operationsmikroskop-System
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11026687B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Clip applier comprising clip advancing systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11129636B2 (en) 2017-10-30 2021-09-28 Cilag Gmbh International Surgical instruments comprising an articulation drive that provides for high articulation angles
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
TWI730242B (zh) * 2017-12-27 2021-06-11 醫百科技股份有限公司 手術器具定位系統及其定位方法
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US10695081B2 (en) 2017-12-28 2020-06-30 Ethicon Llc Controlling a surgical instrument according to sensed closure parameters
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US10755813B2 (en) 2017-12-28 2020-08-25 Ethicon Llc Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US20190201118A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Display arrangements for robot-assisted surgical platforms
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US20190200981A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11045591B2 (en) 2017-12-28 2021-06-29 Cilag Gmbh International Dual in-series large and small droplet filters
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11389188B2 (en) 2018-03-08 2022-07-19 Cilag Gmbh International Start temperature of blade
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11213294B2 (en) 2018-03-28 2022-01-04 Cilag Gmbh International Surgical instrument comprising co-operating lockout features
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
WO2019220555A1 (ja) * 2018-05-16 2019-11-21 株式会社島津製作所 イメージング装置
US20190354200A1 (en) * 2018-05-16 2019-11-21 Alcon Inc. Virtual foot pedal
US11298186B2 (en) 2018-08-02 2022-04-12 Point Robotics Medtech Inc. Surgery assistive system and method for obtaining surface information thereof
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11291444B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a closure lockout
EP3753521A1 (de) * 2019-06-19 2020-12-23 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung
EP3753519A1 (de) * 2019-06-19 2020-12-23 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung
EP3753520A1 (de) * 2019-06-19 2020-12-23 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
JP2021040987A (ja) * 2019-09-12 2021-03-18 ソニー株式会社 医療用支持アーム、及び医療用システム
JP6901160B2 (ja) * 2019-12-05 2021-07-14 炳碩生醫股▲フン▼有限公司 手術支援システムおよびその表面情報を取得する方法
KR102315803B1 (ko) * 2019-12-16 2021-10-21 쓰리디메디비젼 주식회사 의료용 카메라의 거치대
US10949986B1 (en) * 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007054450A1 (de) * 2006-11-13 2008-05-15 Eberhard-Karls-Universität Universitätsklinikum Tübingen Vorrichtung zur Bereitstellung von Bildern für einen Operateur
CN101657841A (zh) * 2007-02-26 2010-02-24 索尼株式会社 信息提取方法、登记设备、验证设备和程序
CN103797512A (zh) * 2011-09-13 2014-05-14 皇家飞利浦有限公司 机器人与图像之间的自动联机配准
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
WO2015129474A1 (ja) * 2014-02-28 2015-09-03 ソニー株式会社 ロボットアーム装置、ロボットアーム制御方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4101951B2 (ja) * 1998-11-10 2008-06-18 オリンパス株式会社 手術用顕微鏡
JP4674948B2 (ja) 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
GB2428110A (en) * 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
DE102007055203A1 (de) * 2007-11-19 2009-05-20 Kuka Roboter Gmbh Einen Roboter aufweisende Vorrichtung, medizinischer Arbeitsplatz und Verfahren zum Registrieren eines Objekts
CN106132345B (zh) * 2014-03-17 2019-05-31 直观外科手术操作公司 用于保持工具姿态的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007054450A1 (de) * 2006-11-13 2008-05-15 Eberhard-Karls-Universität Universitätsklinikum Tübingen Vorrichtung zur Bereitstellung von Bildern für einen Operateur
CN101657841A (zh) * 2007-02-26 2010-02-24 索尼株式会社 信息提取方法、登记设备、验证设备和程序
CN103797512A (zh) * 2011-09-13 2014-05-14 皇家飞利浦有限公司 机器人与图像之间的自动联机配准
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
WO2015129474A1 (ja) * 2014-02-28 2015-09-03 ソニー株式会社 ロボットアーム装置、ロボットアーム制御方法及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111999879A (zh) * 2019-05-27 2020-11-27 徕卡仪器（新加坡）有限公司 显微镜系统和用于控制手术显微镜的方法
CN111145259A (zh) * 2019-11-28 2020-05-12 上海联影智能医疗科技有限公司 自动校准的系统和方法
CN111145259B (zh) * 2019-11-28 2024-03-08 上海联影智能医疗科技有限公司 自动校准的系统和方法
WO2021114595A1 (zh) * 2019-12-09 2021-06-17 苏州微创畅行机器人有限公司 导航手术系统及其注册方法、电子设备及支撑装置
US11717351B2 (en) 2019-12-09 2023-08-08 Suzhou MicroPort Orthobot Co., Ltd. Navigation surgical system, registration method thereof and electronic device
CN111407406A (zh) * 2020-03-31 2020-07-14 武汉联影智融医疗科技有限公司 头部位置标识装置、术中控制系统及控制方法

Also Published As

Publication number Publication date
US20180263710A1 (en) 2018-09-20
EP3393385A1 (en) 2018-10-31
WO2017110333A1 (en) 2017-06-29
JP6657933B2 (ja) 2020-03-04
CN108366833B (zh) 2021-10-12
JP2017113343A (ja) 2017-06-29

Similar Documents

Publication Publication Date Title
CN108366833A (zh) 手术信息处理设备和方法
US20220395159A1 (en) Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
US11937771B2 (en) Articulated structured light based-laparoscope
KR102397254B1 (ko) 수술 장면의 정량적인 3차원 영상
KR102387096B1 (ko) 시계 내의 기기들의 정량적 3차원 시각화
JP6005950B2 (ja) 手術支援装置及びその制御方法
CN205658920U (zh) X射线设备
JPWO2018051680A1 (ja) 内視鏡システム
US20140005475A1 (en) Image Tracking System and Image Tracking Method Thereof
CN109297413A (zh) 一种大型筒体结构视觉测量方法
KR20170074435A (ko) 엑스선 영상 장치, 그 제어 방법 및 엑스선 디텍터
JP2005185431A (ja) 視線検出方法および視線検出装置
JP2020507436A (ja) 圧縮および／またはｃｍｏｓウィンドウイングを用いた高速光学追跡
Shademan et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation
JPH1163927A (ja) 頭部位置・姿勢の計測装置および作業監視装置
US20240016552A1 (en) Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11638000B2 (en) Medical observation apparatus
US20230126611A1 (en) Information processing apparatus, information processing system, and information processing method
CN114730454A (zh) 场景感知系统和方法
US20210267435A1 (en) A system, method and computer program for verifying features of a scene
JP2002318344A (ja) 光学機器のオートフォーカシング方法および装置
JP2023545309A (ja) 携帯用３次元映像測定装置、これを用いた３次元映像測定方法及び医療映像整合システム
US20240115325A1 (en) Camera tracking system for computer assisted surgery navigation
US20230026585A1 (en) Method and system for determining a pose of at least one object in an operating theatre
EP4230171A1 (en) Three-dimensional medical image measuring device and medical image matching system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211012