CN107438413A - 控制装置、控制方法、以及用于手术的显微镜装置 - Google Patents

控制装置、控制方法、以及用于手术的显微镜装置 Download PDF

Info

Publication number
CN107438413A
CN107438413A CN201780000978.XA CN201780000978A CN107438413A CN 107438413 A CN107438413 A CN 107438413A CN 201780000978 A CN201780000978 A CN 201780000978A CN 107438413 A CN107438413 A CN 107438413A
Authority
CN
China
Prior art keywords
posture
unit
image
microscope unit
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780000978.XA
Other languages
English (en)
Other versions
CN107438413B (zh
Inventor
大月知之
宫本敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201911102080.0A priority Critical patent/CN110786819B/zh
Publication of CN107438413A publication Critical patent/CN107438413A/zh
Application granted granted Critical
Publication of CN107438413B publication Critical patent/CN107438413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0075Apparatus for testing the eyes; Instruments for examining the eyes provided with adjusting devices, e.g. operated by control lever
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/08Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B46/00Surgical drapes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B46/00Surgical drapes
    • A61B46/20Surgical drapes specially adapted for patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • G05D3/20Control of position or direction using feedback using a digital comparing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A61B17/0231Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors for eye surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

为了使提高用户便利性成为可能,提供一种控制装置,包括:控制单元,被配置为:通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元,以控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件。所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与位置和姿态条件对应的期望捕捉图像的条件。

Description

控制装置、控制方法、以及用于手术的显微镜装置
技术领域
本公开涉及一种控制装置、一种控制方法、以及一种用于手术的显微镜装置。
背景技术
显微镜装置已被用于外科手术。显微镜装置被配置为使得臂单元支撑电子成像显微镜单元(视频显微镜单元)。实施手术的医生使用由显微镜单元拍摄的视频观察放大的手术部位来执行外科手术。
对于这种显微镜装置,要求以高精度控制其显微镜单元的位置和姿态,以获得期望的视频。特别地,在以高放大倍数进行拍摄的情况下,显微镜单元的位置和姿态的微小偏差导致视频的显着偏差,因此,需要高精度地控制显微镜单元的位置和姿态。用户通常使用他或她的手来移动这种显微镜单元的位置和姿态;然而,当用他或她的手执行高精度的定位时,用户必须进行精细的工作,这增加了用户的负担并且导致定位工作延长,甚至导致延长手术时间。
在此处,专利文献1公开了有关扫描电子显微镜而不是用于上述手术的这种显微镜装置的技术,用于减轻用户的操纵负担,以获得期望图像。具体地,在专利文献1所公开的技术中,自动移动放置样品的平台,以便获得用户指定的期望图像。根据该技术,可以仅通过执行用户指定期望图像的简单操纵来自动获得期望图像,从而减轻用户的负担。
引用列表
专利文献
专利文献1:JP 2012-138219A
发明内容
技术问题
考虑到上述情况,已经要求关于用于手术的显微镜装置的技术,其减少了用户获取期望图像的操纵负担,并且提高了用户便利性,如专利文献1中所需要的。
因此,本公开提出了一种新颖且改进的控制装置、控制方法和用于手术的显微镜装置,其可以提高用户便利性。
问题的解决方案
根据本公开,提供了一种控制装置,包括:控制单元,被配置为通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元来控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件。所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与位置和姿态条件对应的期望捕捉图像的条件。
此外,根据本公开,提供了一种控制方法,包括:由处理器通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元来控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件。所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与位置和姿态条件对应的期望捕捉图像的条件。
此外,根据本公开,提供了一种用于手术的显微镜装置,包括显微镜单元,被配置为拍摄手术部位的捕捉图像;臂单元,被配置为支撑所述显微镜单元;以及控制单元,被配置为通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元来控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件。所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与位置和姿态条件对应的期望捕捉图像的条件。
根据本公开,基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来控制显微镜单元的位置和姿态,使得满足在手术之前设置的用于获得期望捕捉图像的位置和姿态条件。因此,显微镜单元可以自动移动到获得期望捕捉图像的位置和姿态,而不需要用户的复杂操纵。因此,可以减轻用户的负担,并且可以提高用户便利性。
发明的有益效果
根据上述本公开,可以提高用户便利性。注意,上述效果不一定是限制性的。具有或代替上述效果,可以实现本说明书中描述的任何一种效果或可从本说明书中掌握的其他效果。
附图说明
图1是示出根据第一实施例的显微手术系统的示意性配置的示例的示图;
图2是示出正在使用图1所示的显微手术系统的手术的状态的示图;
图3是示出根据第一实施例的驱动控制系统的功能配置的示例的功能方框图;
图4是示出指定了位置和姿态条件的GUI的示例的示图;
图5是示出记录了位置和姿态条件的GUI的示例的示图;
图6是示出记录了位置和姿态条件的GUI的示例的示图;
图7是示出记录了位置和姿态条件的GUI的示例的示图;
图8是示出根据第一实施例的控制方法的处理顺序的示例的流程图;
图9是用于描述搜索开始位置和搜索开始姿态的示图;
图10是用于基于捕捉图像来描述眼睛位置检测处理的示图;
图11是用于基于捕捉图像来描述眼睛位置检测处理的示图;
图12是用于基于捕捉图像来描述眼睛位置检测处理的示图;
图13是示出根据第二实施例的驱动控制系统的功能配置的示例的功能方框图;
图14是示出根据第二实施例的控制方法的处理顺序的示例的流程图;
图15是用于描述通过学习来修改位置和姿态条件的示图;
图16是示出用于记录关于图像的外观的指令的另一GUI的示例的示图;
图17是示出用于记录关于图像的外观的指令的另一GUI的示例的示图;
图18是示出用于记录图像的外观的指令的另一GUI的示例的示图;
图19是示出用于记录图像的外观的指令的另一GUI的示例的示图;
图20是示出用于记录图像的外观的指令的另一GUI的示例的示图。
具体实施方式
在下文中,将参照附图详细描述本公开的(a)优选实施例。在本说明书和附图中,具有基本相同的功能和结构的结构元件用相同的附图标记表示,并且省略对这些结构元件的重复说明。
注意,按以下顺序提供描述。
1、第一实施例
1-1、显微手术系统的配置
1-2、驱动控制系统的配置
1-3、控制方法的处理顺序
2、第二实施例
2-1、驱动控制系统的配置
2-2、控制方法的处理顺序
3、变型例
3-1、通过学习更新位置和姿态条件
3-2、包括在位置和姿态条件内的指令的其他示例
3-3、关于图像的外观的指令的记录方法的其他示例
3-4、位置和姿态条件的指定方法的其他示例
3-5、对显微镜单元的移动限制
4、补充
注意,在本说明书中,假设“用户”是指使用显微手术系统和/或驱动控制系统的医务人员(对手术部位进行治疗的医生(实施手术的医生)、助理等)中的至少一个。“用户”被描述为实施手术的医生、助理等,特别是当他或她需要被区分时。
此外,下面将描述根据本公开的技术应用于眼科手术的示例。然而,本公开不限于此,并且根据本公开的技术可以应用于可以使用下面将要描述的显微手术系统执行的各种类型的手术,例如,脑部手术等。
(1、第一实施例)
(1-1、显微手术系统的配置)
将参考图1描述根据本公开的第一实施例的显微手术系统的配置。图1是示出根据第一实施例的显微手术系统的示意性配置的示例的示图。参考图1,显微手术系统3000由显微镜装置3100、控制装置3200和显示装置3300构成。
显微镜装置3100具有用于放大和观察观察对象(作为手术部位的患者的眼睛)的显微镜单元3110、在其前端(leading end)支撑显微镜单元3110的臂单元3120、以及支撑臂单元3120的基端的基座单元3130。
显微镜单元3110由大致圆柱形筒单元3111、设置在筒单元3111内的成像单元(未示出)和设置在筒单元3111的外圆周上的部分区域中的操作单元3113组成。显微镜单元3110是通过成像单元以电子方式对捕捉图像进行成像的电子成像显微镜单元(视频显微镜单元)。
筒单元3111的底端上的孔设置有保护成像单元内部的盖玻璃。来自观察目标的光(以下也称为观察光)穿过盖玻璃,入射到筒单元3111内的成像单元上。注意,由发光二极管(LED)等构成的光源例如也可以设置在筒单元3111内部,并且在成像期间,光可以通过盖玻璃从光源辐射到观察目标上。
成像单元由冷凝观察光的光学系统和感测由光学系统冷凝的观察光的图像传感器构成。光学系统由包括变焦透镜和聚焦透镜的多个透镜的组合构成,调整透镜的光学特性,使得在图像传感器的感光面上形成观察光的图像。图像传感器感测并光电转换观察光,从而生成对应于观察光的信号,或换言之,生成对应于观察图像的图像信号。能够彩色摄影(包括例如拜耳阵列)的传感器用作图像传感器。图像传感器可以是诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器等各种已知类型的图像传感器中的任何一种。由图像传感器生成的图像信号作为原始数据发送到控制装置3200。此时,可以通过光学通信有利地进行图像信号的发送。这是因为在手术场地,实施手术的医生在经由捕捉图像观察病变的状态的同时进行手术,因此为了更安全、更可靠的手术,需要尽可能接近实时显示作为手术部位的眼睛的移动图像。通过光学通信发送图像信号,使得可以立即显示捕捉图像。
注意,成像单元还包括驱动机构,该驱动机构沿光轴移动光学系统的变焦透镜和聚焦透镜。通过利用驱动机构适当地移动变焦透镜和聚焦透镜,可以调整捕捉图像的放大倍数和成像期间的焦距。此外,成像单元可以具有通常设置在电子成像显微镜单元中的各种类型的功能中的任一个,例如,自动曝光(AE)功能、自动对焦(AF)功能等。
此外,成像单元可以被配置为包括单个图像传感器的所谓的单芯片成像单元,或者作为包括多个图像传感器的所谓的多芯片成像单元。如果成像单元具有多芯片配置,则例如由相应图像传感器生成对应于R、G和B的图像信号,并且可以通过组合这些图像信号来获得彩色图像。或者,成像单元可以被配置为包括一对图像传感器,用于分别获取对应于立体视觉(3D显示)的右眼和左眼的图像信号。通过呈现3D显示,实施手术的医生能够更准确地掌握手术部位的深度。注意,如果成像单元具有多芯片配置,则光学系统设置有与每个图像传感器对应的多个子系统。
操作单元3113例如由诸如定向杆或开关等元件组成,并且是接受来自用户的操作输入的输入单元。例如,经由操作单元3113,用户能够输入改变观察对象的放大倍数和焦距(对焦)的指示。通过使成像单元的驱动机构根据指示适当地驱动变焦透镜和聚焦透镜,可以调整放大倍数和焦点。作为另一示例,经由操作单元3113,用户能够输入切换臂单元3120的操作模式(稍后将描述的自由模式和锁定模式)的指令。注意,当用户希望移动显微镜单元3110时,预期在通过握住并保持筒单元3111将臂单元3120的操作模式切换到自由模式的同时,用户移动显微镜单元3110。因此,操作单元3113优选地设置在用户握住筒单元3111时用手指容易操作的位置,从而甚至在移动筒单元3111的同时,也允许用户操作操作单元3113。
臂单元3120经由通过多个接头(joint)单元(第一接头单元3121a至第六接头单元3121f)彼此可旋转地接合的多个连杆(link)(第一连杆3123a至第六连杆3123f)配置成。
第一接头单元3121a具有大致圆柱形状,并且在其前端(底端)支撑显微镜单元3110的筒单元3111的顶端,以允许围绕平行于筒单元3111的中心轴线的旋转轴线(第一轴线O1)旋转。在此处,第一接头单元3121a可以被配置成使得第一轴线O1与显微镜单元3110的光轴对齐。因此,使显微镜单元3110围绕第一轴线O1旋转,像旋转捕捉的图像一样,可以改变视野。
第一连杆3123a在其前端上牢固地支撑第一接头单元3121a。具体地,第一连杆3123a是大致L形的杆状构件,其前缘沿与第一轴线O1正交的方向延伸,同时也连接到第一接头单元3121a,使得该边缘的端部邻接第一接头单元3121a的外圆周上的顶端。第二接头单元3121b连接到第一连杆3123a的大致L形的基底边缘的端部。
第二接头单元3121b具有大致圆柱形状,并且在其前端支撑第一连杆3123a的基端,以允许围绕与第一轴线O1正交的旋转轴线(第二轴线O2)旋转。第二连杆3123b的前端牢固地连接到第二接头单元3121b的基端。
第二连杆3123b是大致L形的杆状构件,其前缘沿与第二轴线O2正交的方向延伸,而该边缘的端部牢固地连接到第二接头单元3121b的基端。第三接头单元3121c连接到第二连杆3123b的大致L形的基底边缘。
第三接头单元3121c具有大致圆柱形状,并且在其前端支撑第二连杆3123b的基端,以便允许围绕与第一轴线O1和第二轴线O2正交的旋转轴线(第三轴线O3)旋转。第三连杆3123c的前端牢固地连接到第三接头单元3121c的基端。通过围绕第二轴线O2和第三轴线O3旋转包括显微镜单元3110的前端侧的配置,显微镜单元3110可以移动,以改变显微镜单元3110在水平面上的位置。换言之,控制围绕第二轴线O2和第三轴线O3的旋转,使得可以在平坦平面上移动捕捉的图像的视野。
第三连杆3123c被配置成在前端侧具有大致圆柱形状,并且第三接头单元3121c的基端牢固地连接在圆柱形的前端上,使得这两者具有大致相同的中心轴线。第三连杆3123c的基端侧具有矩形柱状,第四接头部3121d与其端部连接。
第四接头单元3121d具有大致圆柱形状,并且在其前端支撑第三连杆3123c的基端,以允许围绕与第三轴线O3正交的旋转轴线(第四轴线O4)旋转。第四连杆3123d的前端牢固地连接到第四接头单元3121d的基端。
第四连杆3123d是在与第四轴线O4正交的方向上大致线性地延伸的杆状构件,同时也牢固地连接到第四接头单元3121d,使得前端邻接第四接头单元3121d的大致圆柱形状的侧面。第五接头单元3121e连接到第四连杆3123d的基端。
第五接头单元3121e具有大致圆柱形状,并且在其前端侧支撑第四连杆3123d的基端,以允许围绕于第四轴线O4平行的旋转轴线(第五轴线O5)旋转。第五连杆3123e的前端牢固地连接到第五接头单元3121e的基端。第四轴线O4和第五轴线O5是使显微镜单元3110能够在垂直方向上移动的旋转轴线。通过围绕第四O4和第五轴线O5旋转包括显微镜单元3110的在前端侧的配置,可以调整显微镜单元3110的高度,或换言之,显微镜单元3110与观察目标之间的距离。
第五连杆3123e由一个边缘沿垂直方向延伸而另一边缘沿水平方向延伸的具有大致L形的第一构件以及从在水平方向上延伸的第一构件的部分垂直向下延伸的杆状第二构件的组合构成。第五接头单元3121e的基端牢固地连接在第五连杆3123e的垂直方向上延伸的第一构件的顶端附近。第六接头单元3121f连接到第五连杆3123e的第二构件的基端(底端)。
第六接头单元3121f具有大致圆柱形状,并且在其前端侧支撑第五连杆3123e的基端,以允许围绕与垂直方向平行的旋转轴线(第六轴线O6)旋转。第六连杆3123f的前端牢固地连接到第六接头单元3121f的基端。
第六连杆3123f是沿着垂直方向延伸的杆状元件,其基端牢固地连接到基座单元3130的顶面。
适当地设置第一接头单元3121a至第六接头单元3121f的允许旋转范围,使得显微镜单元3110能够进行期望的移动。因此,在具有上述配置的臂单元3120中,对于显微镜单元3110的移动,可以实现三个平移自由度和三个旋转自由度,总共六个自由度。这样,通过将臂单元3120配置为使得显微镜单元3110的移动实现六个自由度,可以在臂单元3120的可移动范围内自由地控制显微镜单元3110的位置和姿态。因此,可以从任何角度观察作为手术部位的眼睛,并且可以更平稳地执行手术。
注意,图中所示的臂单元3120的配置仅仅是一个示例,并且可以适当地设计诸如构成臂单元3120的连杆的数量和形状(长度)以及接头单元的数量和设置和旋转轴的方向等因素,使得可以实现期望的自由度。例如,如上所述,为了自由地移动显微镜单元3110,臂单元3120优选地被配置为具有六个自由度,但是臂单元3120也可以被配置为具有更多的自由度(换言之,冗余自由度)。当存在冗余自由度时,在臂单元3120中,可以在保持显微镜单元3110的位置和姿态处于锁定状态的同时,改变臂单元3120的姿态。因此,可以实现对手术者更方便的控制,例如,控制臂单元3120的姿态,使得臂单元3120不干扰观看显示装置3300的手术者的视野。
在此处,第一接头单元3121a至第六接头单元3121f设置有配备有诸如马达等驱动机构的致动器、检测每个接头单元中的旋转角度的编码器等。此外,通过使控制装置3200适当控制驱动为第一接头单元3121a至第六接头单元3121f设置的每个致动器,可以控制臂单元3120的姿态,或换言之,显微镜单元的位置和姿态3110。具体地,控制装置3200能够基于关于由编码器检测到的每个接头单元的旋转角度的信息来确定臂单元3120的当前姿态以及显微镜单元3110的当前位置和姿态。控制装置3200使用所确定的信息来计算每个接头单元的控制值(例如,旋转角度或产生的扭矩),从而实现与来自用户的操作输入对应的显微镜单元3110的移动。注意,此时,控制装置3200控制臂单元3120的方法没有限制,可以应用各种已知的控制方法中的任一种,例如,力控制或位置控制。
例如,通过使实施手术的医生经由输入装置(未图示)进行合适的操作输入,可以根据操作输入,控制装置3200适当地控制臂单元3120的驱动,并且可以控制显微镜单元3110的位置和姿态。通过这种控制,在将显微镜单元3110从任意位置移动到任意位置之后,显微镜单元3110可以在新的位置牢固地支撑。注意,关于输入装置,考虑到实施手术的医生的便利性,优选地应用甚至在实施手术的医生在手中握持手术器械(例如,脚踏开关)的情况下也能够进行手术的装置。此外,还可以基于使用可穿戴式装置或设置在手术室内的照相机的手势检测或视线检测来执行非接触操作输入。因此,甚至属于清洁区域的用户也能够以更大的自由度操作属于不清洁区域的设备。或者,臂单元3120可以通过所谓的主从方式来操作。在这种情况下,臂单元3120可以由用户经由安装在与手术室分离的位置的输入装置远程操作。
此外,如果施加力控制,也可以进行所谓的助力控制,其中,从用户接收外力,并且驱动第一接头单元3121a至第六接头单元3121f的致动器,使得臂单元3120响应于外力平稳地移动。结果,当用户抓住显微镜单元3110直接移动位置时,显微镜单元3110可以以相对较轻的力移动。因此,可以通过更简单的操纵更直观地移动显微镜单元3110,并且可以提高用户便利性。
此外,可以控制臂单元3120的驱动,以便当用户操纵该单元时,执行枢转操作。在此处,枢转操作是指移动显微镜单元3110使得显微镜单元3110的光轴保持指向空间中的某一点(以下称为枢转点)的操作。枢转操作使得可以从各个方向观察相同的观察位置,从而可以更详细地观察病变。注意,如果显微镜单元3110被配置为不能调整焦点,则优选地在显微镜单元3110和枢转点之间的距离固定的状态下执行枢转操作。在这种情况下,将显微镜单元3110和枢转点之间的距离调整到显微镜单元3110的锁定的焦距就足够了。结果,显微镜单元3110在以枢转点为中心并且具有与焦距对应的半径的半球的表面上移动,并且即使观察方向改变,也获得清晰的捕捉图像。另一方面,如果显微镜单元3110被配置为能够调整焦点,则可以以显微镜单元3110和枢转点之间的可变距离来执行枢转操作。在这种情况下,例如,控制装置3200可以基于关于由编码器检测到的接头单元的旋转角度的信息来计算显微镜单元3110与枢转点之间的距离,并且基于计算结果自动调整显微镜单元3110的焦点。或者,在显微镜单元3110具有AF功能的情况下,每当显微镜单元3110与枢转点之间的距离由于枢转操作而改变时,可以通过AF功能自动调整焦点。
此外,第一接头单元3121a至第六接头单元3121f也可设置有限制旋转的制动器。这种制动器的操作可以由控制装置3200控制。例如,在期望锁定显微镜单元3110的位置和姿态的情况下,控制装置3200将制动器应用在每个接头单元上。结果,可以在不驱动致动器的情况下锁定臂单元3120的姿态,或换言之,显微镜单元3110的位置和姿态,并且可以降低功耗。在期望移动显微镜单元3110的位置和姿态的情况下,控制装置3200根据某种控制方式释放每个接头单元上的制动器并驱动致动器就足够了。
可以响应于用户经由上述操作单元3113执行的操作输入来执行这种制动操作。当用户希望移动显微镜单元3110的位置和姿态时,用户操作操作单元3113,以释放每个接头单元上的制动器。结果,臂单元3120的操作模式切换到允许每个接头单元自由旋转的模式(自由模式)。同时,在用户希望锁定显微镜单元3110的位置和姿态的情况下,用户操作操作单元3113,以将制动器应用在每个接头单元上。结果,臂单元3120的操作模式切换到限制每个接头单元的旋转的模式(锁定模式)。
控制装置3200控制显微镜装置3100和显示装置3300的操作,从而控制显微手术系统3000的整体操作。例如,控制装置3200通过使第一接头单元3121a至第六接头单元3121f的致动器根据某种控制方法操作来控制臂单元3120的驱动。作为另一示例,控制装置3200通过控制第一接头单元3121a到第六接头单元3121f的制动器的操作来改变臂单元3120的操作模式。作为另一示例,控制装置3200对由显微镜装置3100中的显微镜单元3110的成像单元获取的图像信号进行各种信号处理,并且还使图像数据显示在显示装置3300上。对于信号处理,可以执行各种已知类型的信号处理中的任何一种,例如,显影处理(去马赛克处理)、图像质量改进处理(例如,频带增强处理、超分辨率处理、降噪(NR)处理和/或抖动校正处理)和/或放大处理(即,数字变焦处理)。
注意,控制装置3200和显微镜单元3110之间的通信以及控制装置3200与第一接头单元3121a至第六接头单元3121f之间的通信可以是有线通信或无线通信。在有线通信的情况下,可以进行使用电信号的通信,或者可以进行光学通信。在这种情况下,根据通信方式,用于有线通信的传输电缆可以被配置为电信号电缆、光纤或这两者的复合电缆。同时,在无线通信的情况下,不再需要在手术室内放置传输电缆,因此可以解决这种传输电缆妨碍手术室内的医务人员的移动的情况。
控制装置3200可以是诸如中央处理单元(CPU)或图形处理单元(GPU)的处理器、其上安装有处理器和诸如存储器等存储元件的控制板等。由于根据某个程序手术的控制装置3200的处理器,所以可以实现上述各种功能。注意,在图中示出的示例中,提供控制装置3200,作为与显微镜装置3100分离的装置,但是控制装置3200也可以与显微镜装置3100统一,例如,通过安装在例如显微镜装置3100的基座单元3130内。或者,控制装置3200可以由多个装置构成。例如,通过在显微镜单元3110和臂单元3120的第一接头单元3121a至第六接头单元3121f中的每一个中设置微电脑、控制板等,并将这些控制板彼此可通信地连接,可以实现与控制装置3200相似的功能。
显示装置3300在控制装置3200的控制下显示与设置在手术室中的控制装置3200生成的图像数据对应的图像。即,在显示装置3300上显示作为被显微镜单元3110拍摄的手术部位的眼睛的图像。注意,显示装置3300还可以显示关于手术的各种信息,例如,患者的物理信息或手术过程,代替或与眼睛的图像一起。在这种情况下,可以通过用户的操纵来适当地切换显示装置3300的显示。或者,可以设置多个显示装置3300,并且多个显示装置3300可以分别显示眼睛的图像和关于手术的各种信息。作为显示装置3300,可以使用诸如液晶显示装置或电致发光(EL)显示装置等各种已知类型的显示装置中的任何一种。
图2是示出使用图1所示的显微手术系统3000的手术的状态的示图。图2示意性地示出了实施手术的医生3401使用显微手术系统3000对躺在病床3403上的患者3405进行手术的状态。注意,在图2中,为了简单起见,从显微手术系统3000的配置中省略了控制装置3200的图示,示出了显微镜装置3100的简化图。
如图2所示,在手术期间使用显微手术系统3000在安装于手术室的壁上的显示装置3300上显示通过显微镜装置3100拍摄的作为手术部位的眼睛的放大图像。显示装置3300安装在面向实施手术的医生3401的位置,实施手术的医生3401对眼睛进行各种处理,通过投影在显示装置3300上的图像观察眼睛的状态。
(1-2、驱动控制系统的配置)
将参考图3描述应用于上述显微手术系统3000的根据第一实施例的驱动控制系统的配置。图3是示出根据第一实施例的驱动控制系统的功能配置的示例的功能方框图。
在此处,根据第一实施例的驱动控制系统是驱动图1所示的显微手术系统3000的显微镜装置3100的臂单元3120并且控制显微镜单元3110的位置和姿态的系统,以便获取手术开始时用户期望的手术部位的捕捉图像。即,驱动控制系统是将显微镜单元3110自动地移动到初始位置的系统,在初始位置,当手术开始时,可以获得期望捕捉图像。在根据第一实施例的驱动控制系统中执行的将显微镜单元3110的位置和姿态自动地移动到初始位置的一系列控制步骤下面也将被称为初始手术控制。
驱动控制系统的初始操作控制根据用户的指令开始。即,臂单元3120的操作模式既不处于上述的完全模式也不处于锁定模式,而是驱动控制系统被激活并且执行初始手术控制时的所谓的自动操作模式。注意,自动操作模式可以根据用户的指令适当地启动和停止。
参考图3,根据第一实施例的驱动控制系统1由于其功能而具有术前信息获取单元110、术中信息获取单元120、驱动单元130和控制单元140。
术前信息获取单元110由设置在显微手术系统3000中的各种输入装置(触摸面板、遥控器等)构成。术前信息获取单元110获取关于位置和姿态条件的信息,所述位置和姿态条件是规定显微镜单元3110相对于手术部位的位置和姿态以在手术之前获得用户的期望捕捉图像的条件。具体地,位置和姿态条件被设置为至少包括可以唯一地确定显微镜单元3110相对于作为手术部位的眼睛的位置和姿态的信息。在第一实施例中,位置和姿态条件至少包括关于捕捉图像中的眼睛的图像的外观的指令(在捕捉图像中的眼睛的图像的位置、在捕捉图像中的眼睛的图像的大小、在捕捉图像中的顶点方向等)和/或关于眼睛的拍摄方向的指令(眼轴与显微镜单元3110的光轴之间的位置关系)。在此处,在第一实施例中,由驱动控制系统1确定的值被确定为显微镜单元3110的光学变焦和电子变焦的放大倍数。因此,如果图像的外观和拍摄方向被指定作为位置和姿态条件,则可以唯一地确定用于实现该条件的显微镜单元3110相对于眼睛的位置和姿态。
注意,包含在位置和姿态条件中的指示可能会相互重叠。例如,在上述示例中,图像的外观还可以包括关于拍摄方向的信息,例如,是从垂直上方还是从垂直上方稍微倾斜的方向观看眼睛。因此,在第一实施例中,可以针对包括在位置和姿态条件中的指令来设置优先级。当记录下面将描述的位置和姿态条件时,用户可以适当地设置这些优先级。在包括在位置和姿态条件中的指令彼此重叠的情况下,在下面描述的控制单元140的驱动控制单元14控制显微镜单元3110的位置和姿态,使得具有较高优先级的指令优先化。例如,在将图像的外观的优先级设置为高于拍摄方向的优先级的情况下,可以控制显微镜单元3110的位置和姿态,使得当拍摄方向被设置为尽可能接近指示方向(例如,垂直向下的方向)时,捕捉图像足够接近图像的指示外观。或者,在将拍摄方向的优先级设置得更高,以确定地满足关于拍摄方向的指令的情况下,可以控制显微镜单元3110的位置和姿态,使得在实现拍摄方向的同时,捕捉图像尽可能地密切地近似于指示图像的外观。
在驱动控制系统1中,例如,将多组不同的位置和姿态条件记录在预先设置在驱动控制系统1中的存储单元(未图示)中,并且用户指定条件组中的他或她所期望的位置和姿态条件,从而术前信息获取单元110可以获取位置和姿态条件。
图4示出了当指定位置和姿态条件时的图形用户界面(GUI)的示例。图4是示出当指定位置和姿态条件时的GUI的示例的示图。如图4所示,例如,在构成术前信息获取单元110的显示屏幕201上使用图标203显示多个不同的位置和姿态条件。在所示示例中,每个图标203描述实施手术的医生的姓名和要切割的眼睛的位置(上部部分或耳侧部分)。当显示屏幕201与触摸面板整合并且用户触摸一个图标203时,例如,可以指定与图标203对应的位置和姿态条件。注意,控制在构成术前信息获取单元110的显示屏幕201上显示图4所示的上述GUI的显示,可以由控制单元140执行。
此外,当将分别对应于图标203的位置和姿态条件预先记录在存储单元中时,例如,用户可以使用图5至图7所示的GUI执行记录。图5至图7是示出在记录位置和姿态条件时的GUI的示例的示图。在图5至图7中,示出了用于记录关于包括在位置和姿态条件中的图像的外观的指令的GUI,作为一个示例。
例如,在GUI中的显示屏幕205上显示指示角膜环部分的圆圈207和指示患者的顶点方向的箭头209,如图5至图7所示。可以根据用户的操纵来适当地修改所显示的圆圈207的位置、尺寸和圆度。圆圈207的位置表示在手术期间由显微镜单元3110实际拍摄的显示的捕捉图像中的角膜环部分的位置。圆圈207的尺寸表示在手术期间由显微镜单元3110实际拍摄的所显示的捕捉图像中的角膜环部分的尺寸。此外,圆圈207的圆度表示在手术期间由显微镜单元3110实际拍摄的所显示的捕捉图像中的角膜环部分的形状和拍摄方向。如果圆圈207基本上是如图5和图7所示的完整的圆圈,则例如其圆度表示显微镜单元3110的拍摄方向基本上垂直向下。此外,如果圆圈207是如图6所示的椭圆,则其圆度表示显微镜单元的拍摄方向是相对于垂直向下方向稍微倾斜的方向。用户适当地调整圆圈207的位置、尺寸和圆度,以再现在手术期间他或她希望观看的捕捉图像。
此外,可以根据用户的操纵适当地修改显示箭头209的方向。箭头209的方向表示在手术期间由显微镜单元3110实际捕获的显示的捕捉图像中的患者的顶点方向。用户适当地调整箭头209的方向,以再现在手术期间他或她希望观看的捕捉图像。
图5至图7所示的显示示例示出了在用户完成调整之后设置圆圈207和箭头209的若干示例。与图5所示的显示示例对应的位置和姿态条件可以是例如对应于向上切口的位置和姿态条件。在根据图5所示的显示示例记录了位置和姿态条件并且基于这些位置和姿态条件执行初始手术控制的情况下,显微镜单元3110拍摄眼睛,以将顶点部分定位在成像屏幕的下侧,并且拍摄方向基本上垂直向下。
另外,与图6所示的显示示例对应的位置和姿态条件可以是例如与向上切口对应的位置和姿态条件,与在图5所示的显示示例中一样。然而,在根据图6所示的显示示例记录了位置和姿态条件并且基于位置和姿态条件执行初始手术控制的情况下,拍摄眼睛,以将顶点部分定位在成像屏幕的下侧,并且拍摄方向是相对于垂直向下的方向稍微倾斜的方向。
另外,与图7所示的显示示例对应的位置和姿态条件可以是例如与耳朵侧的切口对应的位置和姿态条件。在根据图7所示的显示示例记录了位置和姿态条件并且基于位置和姿态条件执行初始手术控制的情况下,拍摄眼睛,以将顶点部分定位在成像屏幕的右侧,并且拍摄方向基本上垂直向下。
在用户完成调整之后,圆圈207和箭头209的状态作为关于包括在位置和姿态条件中的图像的外观的指令记录在存储单元中。由于用户可以使用GUI在手术期间直观地记录他或她希望获得的图像的外观,所以可以更简单地记录位置和姿态条件。注意,使用图5至图7所示的GUI在显示屏幕205显示上述显示的控制,可以由控制单元140执行。另外,显示屏幕205可以是构成术前信息获取单元110的显示装置的显示屏幕或者设置在驱动控制系统1中的单独显示装置的显示屏幕。
术前信息获取单元110将关于手术之前获取的位置和姿态条件的信息提供给下面将要描述的控制单元140的位置和姿态条件设置单元141。
术中信息获取单元120获取在手术期间控制显微镜单元3110的位置和姿态所需的各种信息(以下也称为术中信息)。术中信息可以是指示作为手术部位的眼睛与显微镜单元3110之间的位置关系的信息。术中信息获取单元120由显微镜单元3110配置,并且至少获取关于捕捉的图像的信息(捕捉图像信息),作为术中信息。此外,显微手术系统3000还可以包括设置在病床3403的顶点方向上的标记(例如,磁性标记)和检测标记的传感器(例如,磁性传感器),并且术中信息获取单元120可以被配置为包括标记和传感器。在这种情况下,术中信息获取单元120可以基于传感器的检测值获取关于与病床3403的头部相对于显微镜单元3110对应的相对位置的信息,作为术中信息。
术中信息获取单元120在手术期间必要时获取术中信息。注意,根据上述示例,可以一直共同执行捕捉的图像信息的获取和关于病床3403的相对位置的信息的获取,或者在时间顺序之间适当地切换,使得仅获取一种信息。
术中信息获取单元120将获取的术中信息提供给将在下面描述的控制单元140的状态识别单元142。
驱动单元130由设置在显微镜装置3100的臂单元3120的每个接头单元中的致动器构成。在将在下面描述的控制单元140的驱动控制单元144的控制下,驱动该驱动单元130,使得基于在手术期间获取的捕捉图像来满足位置和姿态条件。因此,驱动臂单元3120,并且可以控制显微镜单元3110的位置和姿态,使得获得满足位置和姿态条件的期望捕捉图像。
控制单元140由控制装置3200配置,并且全面地控制在驱动控制系统1中执行的处理。控制单元140由于其功能而具有位置和姿态条件设置单元141、状态识别单元142、状态比较单元143以及驱动控制单元144。这些功能可以根据预定程序通过包括在控制单元140中的处理器的操作来实现。
位置和姿态条件设置单元141基于关于在从术前信息获取单元110提供的手术之前获取的位置和姿态条件的信息来设置位置和姿态条件。具体地,位置和姿态条件设置单元141从关于位置和姿态条件的信息中提取与位置和姿态条件对应的期望捕捉图像的特征量,并存储指示特征量的参数。该参数例如是对应于捕捉图像中的角膜环部分的椭圆或圆圈的中心位置、对应于捕捉图像中的角膜环部分的椭圆或圆圈的长直径和短直径、对应于捕捉图像中的角膜环部分的椭圆或圆圈的长轴方向、捕捉图像中的顶点方向等。
位置和姿态条件设置单元141向状态比较单元143和驱动控制单元144提供关于设置位置和姿态条件的信息(即,关于提取的特征量(参数)的信息)。
状态识别单元142基于从术中信息获取单元120提供的术中信息来识别由显微镜单元3110获取的当前捕捉图像的状态。捕捉图像的状态可以是对应于包括在捕捉图像中的位置和姿态条件(即,捕捉图像中包括的眼睛的图像的外观)以及捕捉图像中的拍摄方向的信息。状态识别单元142使用各种图像识别技术中的任何一种,基于从术中信息获取单元120提供的捕捉图像信息来识别状态。此时,在从术中信息获取单元120提供的术中信息基于磁传感器等的检测值包括关于病床3403的相对位置的信息的情况下,识别单元142可以基于关于病床3403的位置的信息来识别捕捉图像中的眼睛的大概位置和顶点方向。
状态识别单元142将关于当前捕捉图像的识别状态的信息提供给状态比较单元143和驱动控制单元144。
状态比较单元143将用户在手术之前设置的位置和姿态条件与由状态识别单元142识别的当前捕捉图像的状态进行比较,并且确定当前捕捉图像的状态是否近似于与位置和姿态条件对应的期望捕捉图像的状态。具体地,与对应于上述位置和姿态条件的期望捕捉图像的所提取的特征量一样,状态比较单元143基于关于由状态识别单元142提供的当前捕捉图像的状态的信息,提取当前捕捉图像的特征量。然后,通过将图像的特征量彼此进行比较,来确定当前捕捉图像的状态是否近似于与位置和姿态条件对应的期望捕捉图像的状态。
在两个图像的状态被确定为彼此远离的情况下,状态比较单元143向驱动控制单元144发出驱动臂单元3120的指令,使得获得对应于位置和姿态条件的期望捕捉图像。另一方面,在两个图像的状态被确定为彼此近似的情况下,该确定表示已经捕获了足够近似于期望捕捉图像的图像,因此,状态比较单元143结束处理,而不向驱动控制单元144发出任何特定指令。
在从状态比较单元143接收到指令的情况下,驱动控制单元144基于关于在从位置和姿态条件设置单元141中提供的手术之前设置的位置和姿态条件的信息以及关于从状态识别单元142提供的当前捕捉图像的状态的信息来驱动该驱动单元130,使得满足位置和姿态条件,从而更新显微镜单元3110的位置和姿态。术中信息获取单元120相对于更新的新位置和姿态再次获取术中信息,并且分别由状态识别单元142和状态比较单元143基于术中信息执行状态识别处理和状态比较处理。
此外,驱动控制单元144可以根据用户从外部给出的改变显微镜单元3110的位置和姿态的指令来驱动该驱动单元130。例如,当与上述初始手术控制相关的一系列处理开始时,驱动控制单元144可以根据用户将显微镜单元3110的位置和姿态移动到与初始手术控制有关的一系列处理开始的初始位置(搜索开始位置)和初始姿态(搜索开始姿态)的指示来驱动该驱动单元130。
上面已经描述了根据第一实施例的驱动控制系统1的配置。注意,将参照图8更详细地描述控制单元140的功能。
(1-3、控制方法的处理顺序)
将参考图8描述根据第一实施例的控制方法的处理顺序。图8是示出根据第一实施例的控制方法的处理顺序的示例的流程图。注意,图8所示的处理对应于图3所示的上述驱动控制系统1的控制单元140执行的处理。
参考图8,首先,在根据第一实施例的控制方法中,在手术之前(步骤S101),根据用户的输入来设置位置和姿态条件。步骤S101的处理对应于图3所示的姿态条件设置单元141执行的处理。注意,由于上面详细描述了位置和姿态条件,因此在此省略其描述。
接下来,显微镜单元3110移动,以在初始手术控制开始时,根据用户的指令采取搜索开始位置和搜索开始姿态(步骤S103)。步骤S103的处理对应于图3所示的驱动控制单元144执行的处理。
图9是用于描述搜索开始位置和搜索开始姿态的示图。在图9中,为了简化起见,示出了图1所示的显微镜装置3100的简化示意图。
图9(a)示出了在驱动控制系统1开始初始手术控制之前,即,在接收或传送时,显微镜单元3110的位置和姿态。在第一实施例中,初始手术控制开始前的显微镜单元3110的位置和姿态可以不固定。
显微镜单元3110根据用户的开始初始手术控制的指示,从上述状态移动到搜索开始位置和搜索开始姿态(图9(b))。搜索开始位置和搜索开始姿态是将显微镜单元放置在病床3403的正上方并相对高于病床3403并且光轴定向为垂直向下的方向上的位置和姿态,如图9(b)所示。通常,在眼科手术中,患者3405脸朝上躺在病床3403上面,并且在大多数情况下,对患者进行手术,其眼睛朝向垂直向上的方向(见图2),因此,可以通过设置搜索开始位置和搜索开始姿态,来获得俯瞰包括眼睛的范围的捕捉图像,如上所述。在此处,如上所述,在第一实施例中规定了显微镜单元3110的规定值的放大倍数。然而,在显微镜单元3110在步骤S103中移动到搜索开始位置和搜索开始姿态之后,可以在确定当前捕捉图像的状态的处理中执行眼睛检测处理(步骤S105),如下面将要描述的。因此,当显微镜单元3110移动到搜索开始位置和搜索开始姿态时,不管规定的值如何,显微镜单元3110的放大倍数可以被自动设置为具有尽可能宽的角度。因此,在搜索开始位置和搜索开始姿态下捕捉图像中包含眼睛的可能性增加,因此,可以更有效地执行眼睛检测处理。另外,在这种情况下,当在步骤S109中进行更新显微镜单元3110的位置和姿态的处理时,如下所述,可以在适当的时间将显微镜单元3110的放大倍数调整为规定值。
注意,上述搜索开始位置和搜索开始姿态仅仅是示例,并且搜索开始位置和搜索开始姿态可以由用户根据第一实施例中的手术过程适当地设置。
此外,驱动控制单元144可以在初始手术控制开始之前控制显微镜单元3110的位置和姿态,使得在接收或发送时显微镜单元3110的位置和姿态变得与搜索开始位置和搜索开始姿态相同。在这种情况下,可以适当地省略步骤S103的处理。
此外,搜索开始位置和搜索开始姿态可以不预先设置,并且用户可以执行手动操纵,以将显微镜单元3110移动到眼睛可能包括在捕捉图像中的任意位置和姿态,代替步骤S103的处理。
当在步骤S101中将显微镜单元3110移动到搜索开始位置和搜索开始姿态时,基于术中信息来识别当前捕捉图像的状态(步骤S105)。步骤S105的处理对应于图3所示的状态识别单元142执行的处理。注意,由于上面已经详细描述了术中信息,因此,在此省略其描述。
具体地,在步骤S105中,首先从包含在术中信息中的捕捉图像信息中检测出眼睛的位置。在该过程中可以使用各种已知的图像识别技术中的任何一种。
图10到图12是用于描述基于捕捉图像检测眼睛的位置的处理的示图。图10示意性地示出了在眼科手术期间从上方观察到的躺在病床3403上的患者3405的状态。在眼科手术期间,手术单211覆盖其背部躺在病床3403上的患者3405的整个身体,如图10所示。手术单211在与作为手术部位的眼睛213对应的位置处具有开口,通过该开口仅暴露眼睛213。仪器215在手术期间保持眼睛213张开。
图11示出了由显微镜单元3110在搜索开始位置和搜索开始姿态下捕捉的捕捉图像的示例。如图11所示,例如,在搜索开始位置和搜索开始姿态下获得从上面俯视患者的头部及其附近的图像。可以通过从手术单211的颜色检测例如白眼球来检测在捕捉图像中的眼睛213。注意,在术中信息基于磁传感器等的检测值包括关于病床3403的相对位置的信息的情况下,可以基于该信息来检测眼睛213的大概位置。
当在步骤S105中检测到眼睛213的位置时,在捕捉图像中包括的眼睛213的图像中检测到角膜环部分和顶点方向。图12示出由显微镜单元3110捕捉的捕捉图像中包括的眼睛213的图像的示例。如图12所示,角膜环部分216是白眼球和虹膜217之间的边界,因此可以通过检测眼睛213的图像中的颜色变化并指定颜色变化的边界来检测角膜环部分216。
此外,通过预先记录在坐姿中捕捉的眼睛213的捕捉图像中包括的患者3405的血管和眼睛213的虹膜217的图案,并比较预先记录的图案和在由显微镜单元3110捕捉的另一捕捉图像中包括的眼睛213的图像中识别的其图案,可以检测顶点方向。或者,在可能包括手术单211和眼睛213之间的位置关系的捕捉图像的情况下,如图11所示,可以通过位置关系来识别患者3405的身体的方向,然后可以基于身体的方向来检测顶点方向。另外,在术中信息基于磁传感器等的检测值包括关于病床3403的头部的相对位置的信息的情况下,也可以基于此信息检测顶点方向。
当在步骤S105中识别出当前捕捉图像的状态时,然后确定当前捕捉图像是否近似于对应于在手术之前设置的位置和姿态条件的期望捕捉图像(步骤S107)。步骤S107的处理对应于图3所示的状态比较单元143执行的处理。
具体地,在步骤S107中,从在步骤S105中识别出的捕捉图像的状态中提取当前捕捉图像的特征量。提取特征量,作为与表示与上述位置和姿态条件对应的期望捕捉图像的特征量的参数相似的参数(例如,对应于捕捉图像的角膜环部分的椭圆或圆圈的中心位置、对应于捕捉图像中的角膜环部分的椭圆或圆圈的长直径和短直径的长度、对应于捕捉图像的角膜环部分的椭圆或圆圈的长轴方向、捕捉图像中的顶点方向等)。然后,使用参数作为变量的适当的评估函数,计算包括在位置和姿态条件中的指示细节的匹配度(具体地,在手术之前设置的位置和姿态条件下的图像的外观与当前捕捉图像的外观的匹配度、以及在手术之前设置的位置和姿态条件下的拍摄方向与在当前捕捉图像中的拍摄方向的匹配度),作为距离指示器。
在所有距离指示器小于预定阈值的情况下,确定当前捕捉图像的状态,以充分接近与位置和姿态条件对应的期望捕捉图像的状态。由于这种情况表示已经捕捉了足够接近期望捕捉图像的图像,所以这系列处理结束。在图9(c)中示出在这系列处理结束的时间点(即,初始手术控制结束的时间点)的显微镜单元3110的位置和姿态的示例。
另一方面,在任何一个计算出的范围指标大于预定阈值的情况下,将当前捕捉图像的状态确定为远离对应于该位置和姿态条件的期望捕捉图像的状态。在这种情况下,处理进入步骤S109。
注意,如上所述,优先级可以包括在位置和姿态条件中包含的指令中。在包括在位置和姿态条件中的指令中包括优先级的情况下,可以根据每个指令的优先级来改变相对于上述范围指标的阈值。例如,在将图像的外观的优先级设置为高于拍摄方向的优先级的情况下,相对于表示图像的外观的一致度的距离指示器的阈值可以低于相对于指示拍摄方向的一致度的距离指示器的阈值。
在步骤S109中,驱动臂单元3120,使得满足在手术之前设置的位置和姿态条件,因此更新显微镜单元3110的位置和姿态。然后,返回到步骤S105,在更新的新位置和姿态中重复步骤S105和步骤S107的处理。注意,步骤S109的处理对应于图3所示的驱动控制单元144执行的处理。
具体地,在步骤S109中,可以基于显微镜单元3110在该时间点的位置和姿态以及在该时间点获得的捕捉图像的状态来设置更新的具体细节(即,显微镜单元3110的移动量)。例如,在显微镜单元3110处于接近搜索开始位置和搜索开始姿态的位置和姿态的情况下,由于在水平方向上的移动,保持显影单元3110的高度和姿态,所以显微镜单元3110的位置移动,以将眼睛213定位在捕捉图像的中心。此外,在眼睛213到达捕捉图像的中心并且显微镜单元3110的放大倍数改变为在搜索开始位置和搜索开始姿态具有宽角度的情况下,例如,放大倍数改变,使得显微镜单元3110的放大倍数具有驱动控制系统1规定的值。此外,在实现上述任务的情况下,例如,显微镜单元3110接近眼睛213,直到捕捉图像中的眼睛213的尺寸近似于包括在手术之前设置的位置和姿态条件中的图像的外观中的眼睛的尺寸(角膜环部分的尺寸)。此外,在实现上述任务的情况下,例如,微调显微镜单元3110的位置和姿态,以便接近图像的外观和包括在手术之前设置的位置和姿态条件中的拍摄方向。
然而,在上述相位移动中,需要时间将显微镜单元3110移动到最终位置和姿态。因此,实际上预测了最终位置和姿态、到达最终位置和姿态的移动路线、到达最终位置和姿态所需的移动时间等,并且可以基于预测结果更新显微镜单元3110的位置和姿态,以将移动时间减少到最短时间。
上面已经描述了根据第一实施例的控制方法的处理顺序。
在此处,显微镜单元的位置和姿态通常由用户使用他或她的手在迄今为止使用显微镜装置的手术中进行调整。例如,用户自己抓住显微镜单元并将显微镜单元移动到大致位置,然后,使用由电力供电的脚踏板微调显微镜单元的位置,从而调整显微镜的位置和姿态。需要花费相当长时间的复杂工作来调整显微镜单元的位置和姿态,这对用户造成负担,如上所述。特别地,在以高放大倍数进行拍摄的情况下,仅通过稍微改变显微镜单元的位置和姿态来显示捕捉图像中的显着变化,并且因此用于获得期望捕捉图像的调整需要更加细腻,因此用户的工作时间和负担进一步增加。工作时间的增加意味着延长手术时间,这也增加了患者的负担。
关于上述问题,如上所述,根据第一实施例,显微镜单元3110可以自动移动到在手术开始时获得期望捕捉图像的位置和姿态。因此,用户可以更容易地获得期望捕捉图像,而无需花费时间和精力来调整。因此,可以实现用户和患者缩短手术时间和减轻负担。
(2、第二实施例)
将描述本公开的第二实施例。在根据上述第一实施例的初始手术控制中,在由显微镜单元3110获得的当前捕捉图像的状态被确定为接近与在手术之前设置的位置和姿态条件对应的期望捕捉图像的状态的情况下,在驱动控制系统1中执行的一系列处理结束。即,在根据第一实施例的初始手术控制中,驱动控制系统1对显微镜单元3110的驱动控制在控制显微镜单元3110的位置和姿态使得满足设置的位置和姿态的时间点结束。同时,手术期间由于患者3405的自体动作或实施手术的医生3401的处理,眼睛可能移动。在这种情况下,期望连续地控制显微镜单元3110的位置和姿态,使得根据手术程序或位置和姿态条件的细节,甚至当眼睛移动移动时,进一步满足位置和姿态条件,并且跟踪眼睛的移动。
因此,在第二实施例中,驱动控制系统被配置为使得连续地控制可能满足位置和姿态条件的显微镜单元3110的位置和姿态,直到用户发出结束指令,而不是在一次满足位置和姿态条件的时间点结束控制。因此,在第二实施例中,甚至在眼睛移动时也连续获得与位置和姿态条件对应的期望捕捉图像,因此可以提高用户便利性。注意,根据第二实施例的驱动控制系统的控制也将被称为跟踪手术控制,其中,显微镜单元3110的位置和姿态自动移动,使得在跟踪眼睛的移动时,满足位置和姿态条件,直到输入结束指令。
注意,根据第二实施例的驱动控制系统执行与第一实施例中的处理相似的处理,除了用于结束控制的触发不同。因此,以下将主要描述第二实施例与第一实施例的不同之处,并且将省略与第一实施例的重叠事项的详细描述。
(2-1、驱动控制系统的配置)
将参考图13描述应用于上述显微手术系统3000的根据第二实施例的驱动控制系统的配置。图13是示出根据第二实施例的驱动控制系统的功能配置的示例的功能方框图。
参考图13,根据第二实施例的驱动控制系统2因其功能而具有术前信息获取单元110、术中信息获取单元120、驱动单元130和控制单元150。注意,由于术前信息获取单元110、术中信息获取单元120和驱动单元130的功能与第一实施例的功能相似,因此在此将省略其详细描述。
控制单元150因其功能而具有位置和姿态条件设置单元141、状态识别单元142、结束确定单元153和驱动控制单元144。这些功能可以由构成根据预定程序操作的控制单元150的处理器来实现。注意,由于位置姿态条件设置单元141、状态识别单元142以及驱动控制单元144的功能与第一实施例的功能相似,所以在此将省略详细描述。
结束确定单元153确定是否存在从用户发出的结束跟踪手术控制的指令。在没有结束指示的情况下,结束确定单元153向驱动控制单元144发出驱动臂单元3120的指令,从而获得与位置和姿态条件对应的期望捕捉图像。驱动控制单元144驱动符合指令的驱动单元130,使得满足手术之前设置的位置和姿态条件,从而更新显微镜单元3110的位置和姿态。术中信息获取单元120在更新的新位置和姿态获取术中信息,并且状态识别单元142基于术中信息再次执行状态识别处理。另一方面,在确定存在结束指令的情况下,处理结束,没有由结束确定单元153向驱动控制单元144发出的特定指令。
上面描述了根据第二实施例的驱动控制系统2的配置。
(2-2、控制方法的处理顺序)
将参考图14描述根据第二实施例的控制方法的处理顺序。图14是示出根据第二实施例的控制方法的处理顺序的示例的流程图。注意,图14所示的处理对应于根据图13所示的第二实施例的驱动控制系统2的控制单元150执行的处理。
参考图14,在根据第二实施例的控制方法的步骤S201至步骤S205中,执行与根据第一实施例的控制方法的步骤S101至步骤S105的处理相似的处理。即,在手术之前设置位置和姿态条件(步骤S201),显微镜单元3110移动,以具有搜索开始位置和搜索开始姿态(步骤S203),并且基于术中信息识别当前捕捉图像的状态(步骤S205)。
在根据第二实施例的控制方法中,与第一实施例不同,然后,确定用户是否输入了结束指令(步骤S207)。在步骤S207中确定已经输入结束指示的情况下,一系列处理结束。另一方面,在步骤S207中没有确定已经输入结束指示的情况下,处理进入步骤S209。注意,步骤S207的处理对应于图13所示的结束确定单元153执行的处理。
在步骤S209中,执行与根据第一实施例的控制方法的步骤S109的处理相似的处理。即,驱动臂单元3120,使得满足手术之前设置的位置和姿态条件,因此更新显微镜单元3110的位置和姿态。然后,返回到步骤S205,在更新的新位置和姿态重复步骤S205和步骤S207的处理。
描述了根据第二实施例的控制方法的处理顺序。同样在第二实施例中,与第一实施例中一样,显微镜单元3110可以自动地移动到在期望捕捉图像中获得的位置和姿态。因此,可以实现与第一实施例的效果相似的效果,即,用户和患者缩短手术时间并减轻负担。此外,根据第二实施例,甚至在手术期间眼睛移动的情况下,显微镜单元3110自动移动,使得在跟踪眼睛的移动的同时,满足位置和姿态条件。因此,无论眼睛的移动如何,都可以始终获得期望捕捉图像,从而可以提高用户便利性。
注意,尽管在图14所示的示例中,在步骤S203中执行移动显微镜单元3110以具有搜索开始位置和搜索开始姿态的处理,但是第二实施例不限于此。例如,也假设在根据第一实施例的初始手术控制结束之后连续执行根据第二实施例的跟踪手术控制的情况。在这种情况下,可能已经控制显微镜单元3110的位置和姿态,使得在跟踪手术控制即将执行的时间点处的位置和姿态基本上获得期望捕捉图像。如果在该状态下执行步骤S203的处理,则重置显微镜单元3110的位置和姿态,这是低效的。因此,在预期显微镜单元3110已经获得接近期望捕捉图像的图像的情况下,可以省略步骤S203的处理,与在初始手术控制后连续执行跟踪手术控制的情况中一样。
此外,尽管在第二实施例中必要时可以根据眼睛的移动来控制显微镜单元3110的位置和姿态,但是具有以下问题:如果显微镜单元3110甚至响应于例如显示眼睛的微小移动或眼睛以非常短的间隔进行的规则移动而移动,则显示不稳定的捕捉图像,这相当程度上恶化了实施手术的医生的便利性。可以控制显微镜单元3110的位置和姿态,以便当眼睛的移动被认为是微不足道时,不跟踪眼睛的移动。此外,在眼睛以短的间隔规则地移动的情况下,可以拍摄在给定时间内的眼睛的平均移动模式,并且可以控制显微镜单元3110的位置和姿态,以便跟踪平均图案。即,可以控制显微镜单元3110的位置和姿态,以便仅跟踪眼睛的广泛移动。
(3、变型例)
将描述上述第一和第二实施例的几个变型例。
(3-1、通过学习更新位置和姿态条件)
在上述描述中,在执行初始手术控制和跟踪手术控制时,预先在驱动控制系统1和2中记录位置和姿态条件,并且适当选择一个位置和姿态条件。然而,在预先记录了位置和姿态条件的方案中,可以假设在与已经记录的位置和姿态条件对应的捕捉图像和用户实际希望查看的图像之间存在差异,结果,通过初始手术控制或跟踪手术控制来实际执行手术。在这种情况下,在显微镜单元3110移动,以便满足使用初始手术控制和跟踪手术控制记录的记录位置和姿态条件之后,实施手术的医生必须手动地修改显微镜单元3110的位置和姿态,以获得他或她真正期望的捕捉图像。
在第一和第二实施例中,在实施手术的医生如上所述手动地修改显微镜单元3110的位置和姿态的情况下,可以基于修改结果来更新记录的位置和姿态条件。即,驱动控制系统1和2的控制单元140和150可以具有通过学习来更新记录位置和姿态条件的功能。
在此处,描述通过学习来更新包括在位置和姿态条件中的图像的外观的情况,作为示例。图15是用于描述通过学习来更新位置和姿态条件的示图。在图15中,为方便起见,包括在位置和姿态条件中的图像的外观以与用于记录参照图5到图7描述的图像的外观的GUI相似的形式示出。即,图15中圆圈207表示角膜环部分,箭头209表示顶点方向。
图15中的(a)示出了在进行学习之前包括在记录的位置和姿态条件中的图像的外观的示例。例如,在进行学习之前,假设记录图像的外观,作为位置和姿态条件,该图像中,角膜环部分大致位于捕捉图像的中心,如图15中的(a)所示。
另一方面,假设执行初始手术控制或跟踪手术控制,使得满足包括图15中的(a)所示的图像的外观的位置和姿态条件,然后实施手术的医生修改显微镜单元3110的位置和姿态。在图15(b)中示出与修改的捕捉图像对应的图像的外观。根据所示示例,角膜环部分存在于从捕捉图像的中心向左偏移的位置处。注意,可以通过对捕捉的图像执行各种图像识别处理中的任何一种来指定与修改的捕捉图像对应的图像的外观。
在实施手术的医生如上所述在初始手术控制或跟踪手术控制之后进行修改的情况下,对于实施手术的医生,修改后的图像的外观被认为是图像的适当外观。因此,驱动控制系统1和2的控制单元140和150更新关于包括在此次设置的位置和姿态条件中的图像的外观的指令细节以及修改图像的外观的细节。因此,在实施手术的医生指定位置和姿态信息并且下一次执行初始手术控制或跟踪手术控制的情况下,控制显微镜单元3110的位置和姿态,以便实现修改的图像的外观,从而可以提高手术者的便利性。
注意,可以基于多个修改的结果,而不是一个修改的结果,实际上进行学习。在这种情况下,控制单元140和150可以从与作为多个修改的结果而获得的经修改的捕捉图像对应的多个图像的外观中,获得修改的平均图像的外观,并且用基于平均图像的外观记录的位置和姿态条件进行更新。
(3-2、包括在位置和姿态条件中的指令的其他示例)
作为在上述描述中包括在位置和姿态条件中的指示,例示了图像的外观和拍摄方向。然而,第一和第二实施例不限于此。位置和姿态条件可以仅包括关于图像的外观和拍摄方向的一个指令。此外,位置和姿态条件也可以包括另一指令。例如,代替或者除了图像的上述外观和/或拍摄方向,位置和姿态条件还可以包括关于放大倍数、显微镜单元与地板之间的距离、显微镜单元和眼睛之间的距离和/或显微镜单元3110围绕光轴的方向的指令。
此外,在上述描述中的控制期间,包括在位置和姿态条件中的指令被记录为目标。在关于拍摄方向的指令的情况下,例如,记录诸如“垂直向下”方向等拍摄方向的目标。然而,第一和第二实施例不限于此,并且包括在位置和姿态条件中的指令可以在控制期间被记录为限制。对拍摄方向的限制可以记录为关于拍摄方向的指令,例如,“显微镜单元3110的光轴应在垂直向下方向的10°的范围内”。
此外,包括在位置和姿态条件中的指令可以是例如特定指标被最大化或最小化的指令(即,规定显微镜单元3110相对于手术部位的位置和姿态以获得特定指标具有最大或最小值的期望捕捉图像的条件)。例如,包括在位置和姿态条件中的指令可以是透照的最大化。在这种情况下,在驱动控制系统1和2中,可以使用由显微镜单元3110拍摄的捕捉图像来计算视网膜上的反射光的亮度,并且可以确定当亮度具有最大值时实现最大化的透照。因此,在图3和图13所示的驱动控制单元144具体地更新显微镜单元3110的位置和姿态,使得在窄范围内改变显微镜单元3110的当前位置和姿态的同时,搜索最大化亮度的情况,从而可以实现其中实现最大化透照的初始手术控制和追踪手术控制。注意,透照度和显微镜单元3110的眼轴与光轴之间的位置关系被认为具有预定的相关性。因此,当搜索上述亮度具有最大值的显微镜单元3110的位置和姿态时,显微镜单元3110可以在预定角度(例如,15°或更窄)的范围内移动,其中,由眼轴和显微镜单元3110的光轴形成的角度下降。
或者,由于如上所述,透照度和眼轴与显微镜单元3110的光轴之间的位置关系被认为如上所述具有预定相关性,所以可以预先获得其中透照具有最大值的眼轴与显微镜单元3110的光轴之间的位置关系,并且驱动控制单元144可以更新显微镜单元3110的位置和姿态,使得在初始手术控制和跟踪手术控制时实现其中透照具有最大值的眼轴与显微镜单元3110的光轴之间的位置关系。在此处,众所周知,使用角膜环部分和从设置在照相机的已知位置的点光源辐射在捕捉图像中的角膜上的光的反射图像的位置之间的位置关系,通常可以获得当照相机拍摄眼睛时在照相机的眼轴与光轴之间的位置关系,在捕捉图像中,拍摄眼睛,同时点光源在眼睛上辐射光。因此,可以通过由显微镜单元3110使用上述方法从图像获得眼轴和显微镜单元3110的光轴之间的位置关系来进行上述控制。
注意,在包括在位置和姿态条件中的指令表示透照的最大化的情况下,关于眼睛的尺寸的指令也可以包括在位置和姿态条件中。由于包括关于眼睛的尺寸的指令,所以当显微镜单元3110的位置和姿态被更新以最大化透照时,显微镜单元3110可以移动,使得捕捉图像中的眼睛的尺寸基本上不变,因此可以向用户提供进一步稳定的图像,而捕捉图像的显示不会显着变化。
此外,此时,期望用诸如眼睛在横向方向上的长度或对应于角膜环部分的圆圈的长轴等一维指标来表达关于眼睛的尺寸的指令,而不是二维指标(例如,对应于角膜环部分的圆圈的尺寸)。当更新显微镜单元3110的位置和姿态,以最大化透照时,假设移动显微镜单元3110,以改变眼轴与显微镜单元3110的光轴之间的位置关系,即,改变拍摄方向;然而,如果关于眼睛的尺寸的指令用二维指标表示,则该指令基本上还包括关于拍摄方向的指令,因此存在关于眼睛的尺寸的指令限制显微镜单元3110的移动的可能性,这可能改变拍摄方向。关于这一点,如果关于眼睛尺寸的指令以一维指标表示,则可以移动显微镜单元3110,以改变拍摄方向,同时基本均匀地保持捕捉图像中的眼睛的尺寸,因此,可以更平稳地搜索透照具有最大值的显微镜单元3110的位置和姿态。
注意,在包括在位置和姿态条件中的指令要使特定指标最大化或最小化的情况下,与上述透照最大化一样,可以优选地执行跟踪手术控制。当执行跟踪手术控制并且眼睛移动时,显微镜单元3110自动移动,以最大化或最小化由跟踪眼睛的移动的用户指定的特定指标,因此用户可以获得期望捕捉图像,其中,特定指标始终最大化或最小化。
(3-3、关于图像的外观的指令的记录方法的其他示例)
在上述描述,使用图5到图7所示的GUI记录关于图像的外观的指令。然而,第一和第二实施例不限于此,并且可以使用其他GUI来记录关于图像的外观的指令。注意,下面将描述的对于每个GUI的显示控制可以由图3和图13所示的驱动控制系统1和2的控制单元140和150执行。此外,显示GUI的显示屏幕可以是构成术前信息获取单元110的显示装置的显示屏幕或设置在驱动控制系统1和2中的单独显示装置的显示屏幕。
图16和图17是示出用于记录关于图像的外观的指令的另一GUI的示例的示图。如图16和图17所示,在用于GUI的显示屏幕205上显示指示角膜中心的标记219和指示顶点方向的箭头209。箭头209与图5到图7所示的GUI的箭头209相似。用户可以通过调整标记219的位置和箭头209的方向来指定捕捉图像中的角膜环部分的中心位置和捕捉图像中的顶点方向。指定细节可以记录为关于图像的外观的指令。在所示的示例中,图16的显示示例对应于相对于向上切口的图像的外观。图17所示的显示示例对应于相对于耳侧的切口的图像的外观。当用户如上所述指定角膜的中心和顶点方向时,可以记录关于图像的外观的指令。注意,由于使用GUI在指令细节中没有规定眼睛图像的尺寸,所以用户可以将可以规定眼睛图像的尺寸的指令细节分别记录为位置和姿态条件。例如,例示可以规定眼睛图像的尺寸的指令,例如,捕捉图像的放大倍数以及显微镜单元3110与眼睛之间的距离。
图18和图19是示出用于记录关于图像的外观的指令的另一GUI的示例的示图。如图18和图19所示,在GUI的显示屏幕205上显示指示角膜环部分的圆圈207。圆圈207与图5到图7所示的GUI的圆圈207相似。用户可以通过调整圆圈207的位置、大小和圆度来指定捕捉图像中的角膜环部分的位置、捕捉图像中的角膜环部分的尺寸、以及捕捉图像中的角膜环部分的形状(拍摄方向)。指定项可以被记录为关于图像的外观的指令。如上所述,通过指定角膜环部分的位置、尺寸和形状,可以记录关于图像的外观的指令。注意,由于在这种情况下在GUI的指令细节中没有规定顶点方向,所以用户可以单独记录可以规定顶点方向的指令细节,作为位置和姿态条件。作为可以规定顶点方向的指令,例如,可以例示显微镜单元3110围绕光轴的方向。
图20是示出用于记录关于图像的外观的指令的另一GUI的示例的示图。如图20所示,在用于GUI的显示屏幕205上显示在过去手术期间拍摄的患者3405的眼睛213的实际捕捉图像。此外,指示顶点方向的箭头209显示为叠加在捕捉的图像上。箭头209与图5到图7所示的GUI中的箭头209相似。捕捉图像的眼睛213的图像的尺寸和位置可以根据用户的操纵适当地修改,并且用户可以通过调整眼睛213的位置和尺寸,指定他或她希望在即将到来的手术中获得的捕捉图像中的眼睛的位置、捕捉图像中的眼睛的尺寸。此外,用户可以通过调整箭头209的方向,指定他或她希望在即将到来的手术期间获得的捕捉图像中的顶点方向。这些指定项可以被记录为关于图像的外观的指令。如上所述,可以使用用于显示实际捕捉图像的GUI记录关于图像的外观的指示。使用实际捕捉图像,用户可以指定他或她希望在实际手术期间获得的图像的外观,以满足他或她的假设,并将指定项记录为位置和姿态条件。因此,在初始手术控制或跟踪手术控制之后,可以更肯定地向用户提供期望图像,从而可以提高用户便利性。注意,可以替代地使用利用近似于实际的眼睛捕捉图像的计算机图形生成的图像,并且与使用实际的眼睛捕捉图像的情况相比,可以同样提高这种情况的便利性。
(3-4、位置和姿态条件的指定方法的其他示例)
在上述描述中,使用图4所示的GUI指定位置和姿态条件。然而,第一和第二实施例不限于此,并且可以使用另一种方法来指定位置和姿态条件。
例如,在手术开始之前,用户可以通过在患者3405用他或她的左侧或右侧躺在病床3403上的状态下使用他或她的手控制显微镜单元3110的位置和姿态来获取捕捉的图像,并且将所获取的捕捉图像指定为用户在手术期间希望获得的图像。即,在本变型例中,图3和图13所示的术前信息获取单元110可以包括显微镜单元3110,并且捕捉图像中的外观(角膜环部分的位置、角膜环部分的尺寸、顶点方向等)和拍摄方向等可以基于由显微镜单元3110拍摄的图像指定为位置和姿态条件。根据本变型例,由于当手术者实际移动显微镜单元3110时为捕捉图像指定位置和姿态条件,所以可以指定位置并且姿态条件,使得获得满足用户意图的捕捉图像。
然而,在通过手动控制显微镜单元3110的位置和姿态来指定位置和姿态条件使得手术者获得期望捕捉图像的情况下,与本变型例中一样,不需要执行初始手术控制。因此,当执行跟踪手术控制时,可以适当地应用根据本变型例的用于指定位置和姿态条件的方法。
注意,在应用根据本变型例的指定位置和姿态条件的方法的情况下,指定的位置和姿态条件(即,基于通过手术者的操纵所获取的捕捉图像的位置和姿态条件)可以作为未来可以使用的规定位置和姿态条件记录在驱动控制系统1和2中。即,可以使用与根据本变型例的指定位置和姿态条件的方法相同的方法来执行位置和姿态条件的记录。此外,通过组合根据本变型例的指定位置和姿态条件的方法和在(3-1、通过学习更新位置和姿态条件)中描述的学习过程,可以用基于通过手术者的操纵而获取的捕捉图像的位置和姿态条件来更新记录位置和姿态条件。
(3-5、对显微镜单元的移动限制)
在根据第一实施例的初始手术控制和根据第二实施例的跟踪手术控制中,执行显微镜单元3110自动移动以便满足位置和姿态条件的控制。从第一和第二实施例中的安全性的角度来看,可以在初始手术控制和跟踪手术控制中对显微镜单元3110的移动设置各种限制。
作为这种限制,例如,考虑为显微镜单元3110与眼睛之间的距离设置下限值,对臂单元3120的移动范围设置限制,为显微镜单元3110的移动速度设置上限值,和/或限制在臂单元3120的接头单元中驱动的接头单元(例如,仅在前端侧驱动几个接头单元,以防止臂单元3120的姿态显着变化等)等。
(4、补充)
以上已经参照附图描述了本公开的优选实施例,而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变更和修改,并且应当理解,这些变更和修改将自然地落入本公开的技术范围内。
例如,在上述第一和第二实施例中已经描述了将驱动控制系统1和2应用于眼科手术和手术部位的情况,但本技术不限于此。例如,驱动控制系统1和2可以用于可以应用显微手术系统3000的各种手术中,例如,剖腹术。此外,根据应用驱动控制系统1和2的手术,由显微镜单元3110拍摄的手术部位可以是多种多样的。在将驱动控制系统1和2应用于另一手术的情况下,可以将第一和第二实施例的上述描述中的术语“眼”切换为对应于手术的手术部位的生物组织,并且可以执行构成上述驱动控制系统1、2并且在驱动控制系统1和2中执行的处理。
注意,在将显微手术系统3000应用于剖腹术等另一手术的情况下,假设作为手术部位的生物组织比眼睛大,显微镜单元3110的位置在手术期间稍微显着改变,以便于在不同位置和方向观察生物组织。然而,在根据上述第一和第二实施例的初始手术控制和跟踪手术控制中,显微镜单元3110自动移动,使得满足这个指定的位置和姿态条件。因此,如果将初始手术控制和跟踪手术控制应用于其他手术,则每当显微镜单元3110的位置改变时,都需要指定新的位置和姿态条件。因此,手动移动显微镜单元3110,有时可以被认为是简单的。
同时,在将显微手术系统3000应用于眼科手术的情况下,作为手术部位的眼睛和显微镜单元3110被认为在手术期间具有大致固定的位置关系。即,假设一旦可以将显微镜单元3110控制为具有获得期望捕捉图像的位置和姿态,则不会进行主要移动。因此,根据第一和第二实施例的初始手术控制和跟踪手术控制被认为在眼科手术中与对显微镜单元3110的位置和姿态的控制良好兼容,因为显微镜单元3110自动移动,使得满足这个指定的位置和姿态条件。
另外,在眼科手术中,假设以相当高的放大倍数拍摄图像,以观察作为相当小的手术部位的眼睛。在以高放大倍数进行拍摄的情况下,仅通过稍微改变显微镜单元3110的位置和姿态,来显着改变捕捉图像,因此需要通过高精度控制显微镜单元3110的位置和姿态,在大多数情况下,手动操纵是困难的。另一方面,由于在根据第一和第二实施例的初始手术控制和跟踪手术控制中可以自动控制显微镜单元3110的位置和姿态,所以该系统特别适用于这种情况,其中,需要通过高放大倍数来拍摄。
此外,在根据第二实施例的跟踪手术控制中,自动控制显微镜单元3110的位置和姿态,使得在跟踪手术部位的移动时,满足指定的位置和姿态条件。同时,在诸如除了眼科手术以外的剖腹术等手术中,考虑作为手术部位的生物组织相当大,如上所述,并且其在手术期间的移动大于在眼科手术中的移动,因此,如果显微镜单元3110移动,跟踪生物组织的移动,则显微镜单元3110的移动量相应地增加。另一方面,由于作为手术部位的眼睛相当小,并且其在手术期间的移动也很小,所以即使显微镜单元3110移动,跟踪生物组织的移动,显微镜单元3110的移动量被抑制在小范围内。因此,即使显微镜单元3110自动移动,也可以确保安全性。
考虑到上述情况,根据第一和第二实施例的驱动控制系统1和2在应用于眼科手术时被认为具有良好的效果。
注意,在上述描述中使用的术语“角膜环部分”具有与术语“角膜边界”、“角膜范围”等基本上相同的定义。此外,对于表示顶点方向的术语,可以使用通常使用的诸如“向上”、“向下”、“鼻侧”、“耳侧”等各种术语。可以适当地阅读上述描述中使用的各种术语,作为本领域技术人员可以容易地理解的其他术语。
此外,本说明书中描述的效果仅仅是说明性或示例性的效果,并不是限制性的。即,通过或者代替以上效果,根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
另外,也可以如下配置本技术。
(1)一种控制装置,包括:
控制单元,被配置为通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元来控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件,
其中,所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与位置和姿态条件对应的期望捕捉图像的条件。
(2)根据(1)所述的控制装置,其中,所述位置和姿态条件至少包括关于所述手术部位的图像的外观的指令。
(3)根据(2)所述的控制装置,其中,关于所述手术部位的图像的外观的指令包括所述捕捉图像中的手术部位的位置的细节、所述捕捉图像中的手术部位的大小的细节、所述捕捉图像中的手术部位的形状的细节以及所述捕捉图像中的顶点方向的细节中的至少一个。
(4)根据(1)到(3)中任一项所述的控制装置,其中,所述位置和姿态条件包括关于拍摄方向的指令、关于捕捉图像的放大倍数的指令、关于所述显微镜单元与地板之间的距离的指令、以及关于显微镜单元和手术部位之间的距离的指令中的至少一个。
(5)根据(1)到(4)中任一项所述的控制装置,其中,所述手术部位是眼睛。
(6)根据(5)所述的控制装置,
其中,所述位置和姿态条件至少包括关于眼睛的图像的外观的指令,并且
关于眼睛的图像的外观的指令包括在所述捕捉图像中的眼睛的角膜环部分的位置的细节、所述捕捉图像中的眼睛的角膜环部分的尺寸的细节、所述捕捉图像中的眼睛的角膜环部分的形状的细节以及所述捕捉图像中的顶点方向的细节中的至少一个。
(7)根据(1)到(6)中任一项所述的控制装置,其中,所述位置和姿态条件包括使特定指标最大化或最小化的指令。
(8)根据(7)所述的控制装置,
其中,所述手术部位是眼睛,
所述特定指标是透照,并且
使透照最大化的指令包括来自视网膜的反射光的亮度处于最大值或者眼睛的眼轴和显微镜单元的光轴具有预定的位置关系。
(9)根据(1)到(8)中任一项所述的控制装置,其中,控制所述显微镜单元的位置和姿态,直到在所述手术期间拍摄的捕捉图像近似于对应于在所述手术之前设置的位置和姿态条件的期望捕捉图像。
(10)根据(9)所述的控制装置,其中,通过比较从图像提取的特征量来确定在所述手术期间拍摄的捕捉图像是否近似于对应于在所述手术之前设置的位置和姿态条件的期望捕捉图像
(11)根据(1)到(8)中任一项所述的控制装置,其中,控制所述显微镜单元的位置和姿态,使得满足在所述手术之前设置的位置和姿态条件,直到输入结束指令。
(12)根据(1)到(11)中任一项所述的控制装置,其中,基于俯视包括所述手术部位的手术部位附近的捕捉图像,驱动支撑所述显微镜单元的臂单元,并且控制所述显微镜单元的位置和姿态,使得满足所述位置和姿态条件。
(13)根据(1)到(12)中任一项所述的控制装置,
其中,设置预先记录的位置和姿态条件中的一个位置和姿态条件,并且
控制所述显微镜单元的位置和姿态,使得满足所设置的位置和姿态条件。
(14)根据(13)所述的控制装置,
其中,在控制所述显微镜单元的位置和姿态以使得满足所设置的位置和姿态条件之后修改所述显微镜单元的位置和姿态的情况下,基于所述显微镜单元的经修改的位置和姿态,更新所设置的位置和姿态条件的记录细节。
(15)根据(13)或(14)所述的控制装置,其中,所述控制单元使表示预先记录的位置和姿态条件的图标显示在显示屏幕上。
(16)一种控制方法,包括:
由处理器通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元来控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件,
其中,所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与位置和姿态条件对应的期望捕捉图像的条件。
(17)一种用于手术的显微镜装置,包括
显微镜单元,被配置为拍摄手术部位的捕捉图像;
臂单元,被配置为支撑所述显微镜单元;以及
控制单元,被配置为通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元来控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件,
其中,所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与位置和姿态条件对应的期望捕捉图像的条件。
(16)一种控制方法,包括:由处理器通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元来控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件,所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得期望捕捉图像的条件。
(17)一种用于手术的显微镜装置,包括
显微镜单元,被配置为拍摄手术部位的捕捉图像;
臂单元,被配置为支撑所述显微镜单元;以及
控制单元,被配置为通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑显微镜单元的臂单元来控制显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件,所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得期望捕捉图像的条件。
参考标记列表
1、2 驱动控制系统
110 术前信息获取单元
120 术中信息获取单元
130 驱动单元
140、150 控制单元
141 位置和姿态条件设置单元
142 状态识别单元
143 状态比较单元
144 驱动控制单元
153 结束确定单元
3000 显微手术系统
3100 显微镜装置
3110 显微镜单元
3120 臂单元
3121a 第一接头单元
3121b 第二接头单元
3121c 第三接头单元
3121d 第四接头单元
3121e 第五接头单元
3121f 第六接头单元
3123a 第一连杆
3123b 第二连杆
3123d 第三连杆
3123d 第四连杆
3123e 第五连杆
3123f 第六连杆
3130 基座单元
3200 控制装置
3300 显示装置。

Claims (17)

1.一种控制装置,包括:
控制单元,被配置为:通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑所述显微镜单元的臂单元,以控制所述显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件,
其中,所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与所述位置和姿态条件对应的期望捕捉图像的条件。
2.根据权利要求1所述的控制装置,其中,所述位置和姿态条件至少包括关于所述手术部位的图像的外观的指令。
3.根据权利要求2所述的控制装置,其中,关于所述手术部位的图像的外观的所述指令包括所述捕捉图像中的所述手术部位的位置的细节、所述捕捉图像中的所述手术部位的大小的细节、所述捕捉图像中的所述手术部位的形状的细节以及所述捕捉图像中的顶点方向的细节中的至少一个。
4.根据权利要求1所述的控制装置,其中,所述位置和姿态条件包括关于拍摄方向的指令、关于所述捕捉图像的放大倍数的指令、关于所述显微镜单元与地板之间的距离的指令以及关于所述显微镜单元和所述手术部位之间的距离的指令中的至少一个。
5.根据权利要求1所述的控制装置,其中,所述手术部位为眼睛。
6.根据权利要求5所述的控制装置,
其中,所述位置和姿态条件至少包括关于所述眼睛的图像的外观的指令,并且
关于所述眼睛的图像的外观的指令包括在所述捕捉图像中的所述眼睛的角膜环部分的位置的细节、所述捕捉图像中的所述眼睛的所述角膜环部分的尺寸的细节、所述捕捉图像中的所述眼睛的所述角膜环部分的形状的细节以及所述捕捉图像中的顶点方向的细节中的至少一个。
7.根据权利要求1所述的控制装置,其中,所述位置和姿态条件包括使特定指标最大化或最小化的指令。
8.根据权利要求7所述的控制装置,
其中,所述手术部位为眼睛,
所述特定指标是透照,并且
使所述透照最大化的指令包括来自视网膜的反射光的亮度处于最大值或者所述眼睛的眼轴和所述显微镜单元的光轴具有预定的位置关系。
9.根据权利要求1所述的控制装置,其中,控制所述显微镜单元的所述位置和姿态,直到在所述手术期间拍摄的所述捕捉图像近似于对应于在所述手术之前设置的所述位置和姿态条件的所述期望捕捉图像。
10.根据权利要求9所述的控制装置,其中,通过比较从图像提取的特征量来确定在所述手术期间拍摄的所述捕捉图像是否近似于对应于在所述手术之前设置的所述位置和姿态条件的所述期望捕捉图像。
11.根据权利要求1所述的控制装置,其中,控制所述显微镜单元的所述位置和姿态,使得满足在所述手术之前设置的所述位置和姿态条件,直到输入结束指令。
12.根据权利要求1所述的控制装置,其中,基于俯视包括所述手术部位的手术部位附近的捕捉图像,驱动支撑所述显微镜单元的所述臂单元,并且控制所述显微镜单元的所述位置和姿态,使得满足所述位置和姿态条件。
13.根据权利要求1所述的控制装置,
其中,设置预先记录的位置和姿态条件中的一个位置和姿态条件,并且
控制所述显微镜单元的所述位置和姿态,使得满足所设置的位置和姿态条件。
14.根据权利要求13所述的控制装置,
其中,在控制所述显微镜单元的所述位置和姿态以使得满足所设置的位置和姿态条件之后修改所述显微镜单元的所述位置和姿态的情况下,基于所述显微镜单元的经修改的位置和姿态,更新所设置的位置和姿态条件的记录细节。
15.根据权利要求13所述的控制装置,其中,所述控制单元使表示预先记录的位置和姿态条件的图标显示在显示屏幕上。
16.一种控制方法,包括:
由处理器通过基于在手术期间由显微镜单元拍摄的手术部位的捕捉图像来驱动支撑所述显微镜单元的臂单元以控制所述显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件,
其中,所述位置和姿态条件是指定所述显微镜单元相对于所述手术部位的位置和姿态以获得与所述位置和姿态条件对应的期望捕捉图像的条件。
17.一种用于手术的显微镜装置,包括
显微镜单元,被配置为拍摄手术部位的捕捉图像;
臂单元,被配置为支撑所述显微镜单元;以及
控制单元,被配置为:通过基于在手术期间由所述显微镜单元拍摄的所述手术部位的所述捕捉图像来驱动支撑所述显微镜单元的所述臂单元,以控制所述显微镜单元的位置和姿态,使得满足在手术之前设置的位置和姿态条件,
其中,所述位置和姿态条件是指定所述显微镜单元相对于手术部位的位置和姿态以获得与所述位置和姿态条件对应的期望捕捉图像的条件。
CN201780000978.XA 2016-03-30 2017-02-07 控制装置、控制方法、以及用于手术的显微镜装置 Active CN107438413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911102080.0A CN110786819B (zh) 2016-03-30 2017-02-07 手术成像系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-067323 2016-03-30
JP2016067323 2016-03-30
PCT/JP2017/004385 WO2017169135A1 (ja) 2016-03-30 2017-02-07 制御装置、制御方法及び手術用顕微鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911102080.0A Division CN110786819B (zh) 2016-03-30 2017-02-07 手术成像系统

Publications (2)

Publication Number Publication Date
CN107438413A true CN107438413A (zh) 2017-12-05
CN107438413B CN107438413B (zh) 2019-12-06

Family

ID=59963802

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780000978.XA Active CN107438413B (zh) 2016-03-30 2017-02-07 控制装置、控制方法、以及用于手术的显微镜装置
CN201911102080.0A Active CN110786819B (zh) 2016-03-30 2017-02-07 手术成像系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911102080.0A Active CN110786819B (zh) 2016-03-30 2017-02-07 手术成像系统

Country Status (5)

Country Link
US (3) US10595955B2 (zh)
EP (2) EP3659540B1 (zh)
JP (2) JP6217890B1 (zh)
CN (2) CN107438413B (zh)
WO (1) WO2017169135A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109248053A (zh) * 2018-11-09 2019-01-22 黄菊平 一种眼部肌肉训练仪
CN112002405A (zh) * 2019-05-27 2020-11-27 徕卡仪器(新加坡)有限公司 显微镜系统和用于控制手术显微镜的方法
CN114144140A (zh) * 2019-07-29 2022-03-04 索尼集团公司 医疗观察系统、控制装置和控制方法
CN114364333A (zh) * 2019-09-05 2022-04-15 克瑞肖株式会社 用于引导机器人位置的装置、方法和包括该装置的系统
CN114502119A (zh) * 2019-07-19 2022-05-13 克拉诺瓦公司 具有包括偏振校正器的光耦合器的切割装置
CN114488501A (zh) * 2018-04-25 2022-05-13 卡尔蔡司医疗技术股份公司 显微系统以及用于操作显微系统的方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3659540B1 (en) * 2016-03-30 2022-12-14 Sony Group Corporation Control device, control method, and microscope device for operation
DE102016122004B4 (de) * 2016-11-16 2024-03-21 Carl Zeiss Meditec Ag Verfahren zur Darstellung von Bildern eines digitalen Operationsmikroskops und digitales Operationsmikroskop-System
US11513332B2 (en) 2016-11-29 2022-11-29 Sony Olympus Medical Solutions Inc. Microscope apparatus and control method
FR3076994B1 (fr) * 2018-01-25 2022-03-11 Keranova Dispositif et procede de controle du deplacement d'un appareil de therapie oculaire incluant un bras support articule
JP7094744B2 (ja) * 2018-03-23 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
WO2020008652A1 (ja) * 2018-07-06 2020-01-09 株式会社ニコン 支持装置及び手術支援システム
CN113366583A (zh) 2019-01-31 2021-09-07 直观外科手术操作公司 用于计算机辅助手术系统的摄像机控制系统和方法
JP7299046B2 (ja) * 2019-03-25 2023-06-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察制御装置及び医療用観察システム
JP7250592B2 (ja) * 2019-03-29 2023-04-03 株式会社トプコン 眼科装置
JP7322356B2 (ja) 2019-07-30 2023-08-08 株式会社トプコン 眼科装置及び眼科システム
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
TWI730721B (zh) * 2020-04-14 2021-06-11 國立臺北教育大學 利用混合實境的教學系統
US11448868B2 (en) * 2020-05-07 2022-09-20 Kgg Inc Ergonomic EZ scope digital imaging system
USD1002014S1 (en) * 2020-08-31 2023-10-17 MAQUET CARDIOPULMONARY GmbH Universal holder system
USD993420S1 (en) * 2020-09-30 2023-07-25 Karl Storz Se & Co. Kg Robotic arm for exoscopes
CN112437229A (zh) * 2020-11-10 2021-03-02 苏州爱医斯坦智能科技有限公司 一种画面追踪方法、装置、电子设备及存储介质
CN114504385A (zh) * 2022-01-18 2022-05-17 上海术航机器人有限公司 手术机器人末端姿态调整方法、系统、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0740179A1 (en) * 1995-04-28 1996-10-30 Fondazione Centro San Raffaele Del Monte Tabor Device for automatically positioning and centering a microscope optical head
CN1669532A (zh) * 2005-03-11 2005-09-21 天津大学 具有力感觉的显微外科手术机器人控制系统
CN2860384Y (zh) * 2005-11-24 2007-01-24 苏州六六视觉科技股份有限公司 视频立体成像手术显微装置
CN1964676A (zh) * 2004-03-30 2007-05-16 国立大学法人浜松医科大学 手术支持设备、方法及程序
CN102793583A (zh) * 2012-08-31 2012-11-28 深圳市长江力伟股份有限公司 一种用于外科手术的可佩戴式显微装置及其控制电路
CN103815972A (zh) * 2014-02-26 2014-05-28 上海齐正微电子有限公司 腹胸腔镜的手术区域自动跟踪系统及方法
CN103860270A (zh) * 2012-12-07 2014-06-18 徕卡显微系统(瑞士)股份公司 手术显微镜
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位系统和用于其的方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4989253A (en) * 1988-04-15 1991-01-29 The Montefiore Hospital Association Of Western Pennsylvania Voice activated microscope
JP3321198B2 (ja) * 1992-06-22 2002-09-03 オリンパス光学工業株式会社 顕微鏡静止画像観察システム
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
US9392931B2 (en) * 2010-03-22 2016-07-19 Brainlab Ag Controlling a surgical microscope
US8398236B2 (en) * 2010-06-14 2013-03-19 Alcon Lensx, Inc. Image-guided docking for ophthalmic surgical systems
DE102010055772B4 (de) * 2010-12-23 2014-06-05 Carl Zeiss Meditec Ag Anordnung und Verfahren zur quantitativen Bestimmung des Blutflusses innerhalb von Blutgefäßen
JP5711531B2 (ja) 2010-12-24 2015-05-07 株式会社トプコン 試料ステージ装置、及び電子線装置
JP2013046649A (ja) * 2011-08-29 2013-03-07 Topcon Corp 眼科手術用顕微鏡
CN104185446B (zh) * 2011-12-30 2017-04-26 玛口外科股份有限公司 用于基于图像的机器人外科手术的系统
JP6553511B2 (ja) * 2012-06-28 2019-07-31 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 内視鏡手術における最適な画像取得のためのcアームの軌道計画
US9827054B2 (en) * 2014-03-14 2017-11-28 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
JP6272885B2 (ja) 2013-09-24 2018-01-31 ソニー・オリンパスメディカルソリューションズ株式会社 医療用ロボットアーム装置、医療用ロボットアーム制御システム、医療用ロボットアーム制御方法及びプログラム
JP2015192697A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
CN107072817A (zh) * 2014-10-17 2017-08-18 卡尔蔡司医疗技术股份公司 用于短脉冲激光眼科手术的系统
WO2016090336A1 (en) * 2014-12-05 2016-06-09 Camplex, Inc. Surgical visualization systems and displays
US10966798B2 (en) * 2015-11-25 2021-04-06 Camplex, Inc. Surgical visualization systems and displays
CN108348134B (zh) * 2016-02-10 2020-05-19 奥林巴斯株式会社 内窥镜系统
EP3659540B1 (en) * 2016-03-30 2022-12-14 Sony Group Corporation Control device, control method, and microscope device for operation
JP6880606B2 (ja) * 2016-08-30 2021-06-02 株式会社ニデック 眼科用手術顕微鏡
WO2018078470A1 (en) * 2016-10-25 2018-05-03 Novartis Ag Medical spatial orientation system
WO2018217951A1 (en) * 2017-05-24 2018-11-29 Camplex, Inc. Surgical visualization systems and displays

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0740179A1 (en) * 1995-04-28 1996-10-30 Fondazione Centro San Raffaele Del Monte Tabor Device for automatically positioning and centering a microscope optical head
CN1964676A (zh) * 2004-03-30 2007-05-16 国立大学法人浜松医科大学 手术支持设备、方法及程序
CN1669532A (zh) * 2005-03-11 2005-09-21 天津大学 具有力感觉的显微外科手术机器人控制系统
CN2860384Y (zh) * 2005-11-24 2007-01-24 苏州六六视觉科技股份有限公司 视频立体成像手术显微装置
CN102793583A (zh) * 2012-08-31 2012-11-28 深圳市长江力伟股份有限公司 一种用于外科手术的可佩戴式显微装置及其控制电路
CN103860270A (zh) * 2012-12-07 2014-06-18 徕卡显微系统(瑞士)股份公司 手术显微镜
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位系统和用于其的方法
CN103815972A (zh) * 2014-02-26 2014-05-28 上海齐正微电子有限公司 腹胸腔镜的手术区域自动跟踪系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488501A (zh) * 2018-04-25 2022-05-13 卡尔蔡司医疗技术股份公司 显微系统以及用于操作显微系统的方法
CN109248053A (zh) * 2018-11-09 2019-01-22 黄菊平 一种眼部肌肉训练仪
CN112002405A (zh) * 2019-05-27 2020-11-27 徕卡仪器(新加坡)有限公司 显微镜系统和用于控制手术显微镜的方法
CN114502119A (zh) * 2019-07-19 2022-05-13 克拉诺瓦公司 具有包括偏振校正器的光耦合器的切割装置
CN114144140A (zh) * 2019-07-29 2022-03-04 索尼集团公司 医疗观察系统、控制装置和控制方法
CN114364333A (zh) * 2019-09-05 2022-04-15 克瑞肖株式会社 用于引导机器人位置的装置、方法和包括该装置的系统

Also Published As

Publication number Publication date
JP2018029980A (ja) 2018-03-01
US10716471B2 (en) 2020-07-21
JPWO2017169135A1 (ja) 2018-04-05
WO2017169135A1 (ja) 2017-10-05
US10595955B2 (en) 2020-03-24
EP3659540A1 (en) 2020-06-03
JP6848785B2 (ja) 2021-03-24
EP3659540B1 (en) 2022-12-14
JP6217890B1 (ja) 2017-10-25
EP3266403B1 (en) 2020-04-15
EP3266403A4 (en) 2018-07-25
CN107438413B (zh) 2019-12-06
US20200288975A1 (en) 2020-09-17
US20180104018A1 (en) 2018-04-19
CN110786819B (zh) 2022-07-26
US20180092705A1 (en) 2018-04-05
CN110786819A (zh) 2020-02-14
US11730365B2 (en) 2023-08-22
EP3266403A1 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
CN107438413A (zh) 控制装置、控制方法、以及用于手术的显微镜装置
US11977678B2 (en) Robotic system providing user selectable actions associated with gaze tracking
US10895742B2 (en) Microsurgery system for displaying in real time magnified digital image sequences of an operated area
EP3449859B1 (en) Control device, control method and surgical system
JP7073618B2 (ja) 制御装置、制御方法及び医療用システム
CN110398830A (zh) 显微系统以及用于操作显微系统的方法
WO2020080209A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
US11694725B2 (en) Information processing apparatus and information processing method
WO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
EP3840629B1 (en) Image correction of a surgical endoscope video stream
US10849484B2 (en) Medical observation apparatus
WO2019049595A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法
JP2022509460A (ja) 頭部装着型ディスプレイシステムのためのui

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant