CN109152519A - 医疗观察装置、图像移动校正方法、及医疗观察系统 - Google Patents

医疗观察装置、图像移动校正方法、及医疗观察系统 Download PDF

Info

Publication number
CN109152519A
CN109152519A CN201780018687.3A CN201780018687A CN109152519A CN 109152519 A CN109152519 A CN 109152519A CN 201780018687 A CN201780018687 A CN 201780018687A CN 109152519 A CN109152519 A CN 109152519A
Authority
CN
China
Prior art keywords
image
video data
mobile
imaging
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780018687.3A
Other languages
English (en)
Inventor
饭田健
饭田健一
广濑宪志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of CN109152519A publication Critical patent/CN109152519A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Endoscopes (AREA)

Abstract

本发明的目的是通过提供配备有以下单元的医疗观察装置来改善诸如手术和检查等医疗活动的安全:图像捕获单元(310),获取被捕获的图像数据,该图像数据为通过捕获观察对象的图像而获得的图像数据;支撑单元,支撑图像捕获单元(310);评估单元(342),基于被捕获的图像数据评估针对显示装置显示的图像存在或缺少视野移动指令的输入并且基于被捕获的图像数据评估针对显示装置显示的图像存在或缺少图像移动;以及校正单元(343),如果评估单元(342)评估未输入任何视野移动指令并且发生图像移动,校正单元(343)则基于被捕获的图像数据校正图像移动,以生成显示图像数据作为通过显示装置显示的图像数据。

Description

医疗观察装置、图像移动校正方法、及医疗观察系统
技术领域
本公开涉及一种医疗观察装置、图像移动校正方法、以及医疗观察系统。
背景技术
例如,在诸如神经外科等显微区域为对象的手术(所谓的显微手术)中,使用观察装置以通过放大手术部位来观察手术部位。观察装置包括由臂部(支撑部)支撑的显微镜部(例如,专利文献1)。
此处,专利文献1中描述的观察装置的显微镜部是光学类型的,并且外科医生通过从设置在显微镜部中的目镜部直接观察显微镜部而观察手术部位。在下文中,配备有光学类型的显微镜部的观察装置也被称之为光学类型观察装置。至今,该光学类型观察装置已经成为主流的观察装置。
另一方面,近年来,由于图像处理技术的进步以及已经实现高像素的成像图像的事实,在观察装置中,已经开发了配备有图像传感器并且配备有能够电子拍摄手术部位的电子成像类型显微镜部的装置(例如,专利文献2)。在配备有电子成像类型的显微镜部的观察装置中(以下也被称之为电子成像类型的观察装置),在安装在手术室中的显示装置上显示通过显微镜部拍摄的手术部位的图像,并且外科医生在观察经由显示装置放大手术部位的同时执行手术。
引用列表
专利文献
专利文献1:JP 2005-6960A
专利文献2:WO 2015/046081
发明内容
技术问题
如上所述,在电子成像类型的观察装置中,因为外科医生在观察显示装置的同时执行手术,所以要求显微镜部和臂部尽可能地不隔断观察显示装置的外科医生的视野。因此,对于电子成像类型的观察装置的显微镜部和支撑部,微型化的需求较大。
然而,如果支撑部的尺寸小并且直径薄,则其刚性变小。相应地,支撑部变得易于发生弹性变形。此处,在观察装置中,当用户将显微镜部移至获取期望视野的位置时,假设了用户用手直接握持显微镜部并且移动显微镜部的模式。此时,随着用户对显微镜部的移动操作,在支撑部的刚性比较小的情况下,支撑部可能发生比较大幅度的弹性变形。因此,当用户将显微镜部移至期望的位置并且松开手时,支撑部可以弹性地恢复,因此,显微镜部可能发生非预期的移动,并且出现视野移动的现象。在下列描述中,显示屏幕上的图像的视野由于支撑部的弹性恢复引起的显微镜部的移动而移动并且显示屏幕上的图像从期望的图像移位,这种现象被称之为图像移位。
如果发生图像移位,则必须对显微镜部的位置执行精细调整。出于此原因,图像移位增加了用户的精神和体力负担,并且此外,成为了扰乱顺利完成手术并且增加手术时间的起因。
另一方面,由于近年来图像处理技术的进步,在电子成像类型的观察装置中,变得可以拍摄诸如4K、8K等更高分辨率的图像。如果利用高分辨率进行拍摄变得可能,则即使在使用具有例如50英寸或更大的大型屏幕的显示装置的情况下,也变得可以清晰地显示手术部位。而且,如果通过高分辨率进行拍摄变得可能,则即使在利用电子变焦功能放大图像来显示图像的情况下,也可以获取清晰的图像。例如,如果是4K,在利用电子变焦功能将图像放大至两倍(如果是8K,则放大至四倍)的情况下,则可以确保全HD图像质量。因此,因为不要求光学变焦功能具有如此高的放大性能,所以安装在显微镜部中的光学系统能够更为简化。同样,在能够执行高分辨率的拍摄的电子成像类型的观察装置中,因为显微镜部能够被更为微型化,所以能够致力于获得手术的视野。
然而,在大屏幕上显示图像的情况下,与使用小尺寸的显示装置的情况相比较,上述所述图像移位的移位量的表观大小(屏幕上的移位量的大小)变得更大。而且,还是在利用除光学变焦功能之外的电子变焦功能将图像放大地更大的情况下,上述图像移位的移位量变得更大。由此,在电子成像类型的观察装置中,在尤其以高分辨率执行拍摄的情况下,则存在显微镜部的微小移动变成大的图像移位的忧虑。
另一方面,在观察装置中,例如,由于在手术室内的移动的医务人员的走动等,显微镜部可能发生振动。因为该振动在通过放大观察中引起图像的非预期的震动(图像震动),所以不能执行工作,直至该震动停止。相应地,增加了外科医生的精神负担,并且变成降低手术效率的起因。
鉴于上述所述情形,在医疗观察装置中,考虑如果能够抑制图像移位和/或图像震动(以下被统称为非预期的图像移动)的发生,则能够更为顺利地执行诸如手术和检查等医疗实践,并且变得可以更为提高安全性。因此,本公开提议了一种能够提高诸如手术和检查等医疗实践的安全的新型和改进的医疗观察装置、图像移动校正方法、以及医疗观察系统。
问题的解决方法
根据本公开,提供一种医疗观察装置,包括:成像部,获取成像视频数据,该成像视频数据为通过拍摄观察对象而获得的视频数据;支撑部,支撑成像部;鉴别部,基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的图像移动的发生;和校正部,在鉴别部鉴别出不存在视野移动指令的输入并且发生图像移动的情况下,通过校正图像移动,基于成像视频数据生成显示视频数据,作为待显示在显示装置上的视频数据。
此外,根据本公开,提供一种图像移动校正方法,包括:捕获成像视频数据,该成像视频数据为通过拍摄观察对象而获得的视频数据;处理器基于成像视频数据鉴别存在不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的图像移动的发生;并且在鉴别出不存在视野移动指令的输入并且发生图像移动的情况下,通过校正图像移动,基于成像视频数据生成显示视频数据,作为待显示在显示装置上的视频数据。
此外,根据本公开,提供一种医疗观察系统,包括:医疗观察装置,拍摄观察对象;和显示装置,显示通过医疗观察装置拍摄的观察对象的图像。医疗观察装置包括:成像部,获取成像视频数据,该成像视频数据为通过拍摄观察对象而获得的视频数据;支撑部,支撑成像部;鉴别部,基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的图像移动的发生;以及校正部,在鉴别部鉴别出不存在视野移动指令的输入并且发生图像移动的情况下,通过校正图像移动,基于成像视频数据生成显示视频数据,作为待显示在显示装置上的视频数据。
根据本公开,在包括由支撑部支撑的成像部的医疗观察装置中,在不存在视野移动指令的输入(即,不执行用户意在的视野的移动)并且发生图像移动的情况下,执行校正图像移动的处理。因此,例如,即使支撑部比较薄并且其刚性较小,也可能获取更为稳定的图像(其中,抑制了用户非预期的图像移动)。相应地,变得可以更为顺利并且更为安全地执行手术。
发明的有利效果
如上所述,根据本公开,变得可以进一步提高诸如手术和检查等医疗实践的安全性。应注意,上述所述效果并不一定具有局限性。利用或替代上述效果,可以实现本说明书中描述的任意一种效果或从本说明书中领会的其他效果。
附图说明
[图1]图1是示出根据第一实施方式的观察系统的构造(constitution)的例图。
[图2]图2是示出使用图1所示的观察系统的手术的情形的图。
[图3]图3是示出根据第一实施方式的图像移动校正系统的功能构造的一个实施例的框图。
[图4]图4是用于描述通过图像处理部校正图像移动的显示视频数据的生成过程的例图。
[图5]图5是示出根据第一实施方式的图像移动校正方法的处理程序的一个实施例的流程图。
[图6]图6是示出根据第二实施方式的图像移动校正系统的功能构造的一个实施例的框图。
[图7]图7是示出根据第二实施方式的图像移动校正方法的处理程序的一个实施例的流程图。
具体实施方式
在下文中,将参考所附附图详细描述本公开的优选实施方式。在本说明书和所附附图中,以相同的参考标号表示具有大致相同的功能和构造的结构元件,并且省去这些结构元件的重复性说明。
应注意,将按照下列顺序给出描述。
1.第一实施方式
1-1.观察系统的构造
1-2.图像移动校正系统的功能构造
1-3.图像移动校正方法
2.第二实施方式
2-1.图像移动校正系统的功能构造
2-2.图像移动校正方法
3.补充
在该连接中,在下列描述中,出于方便之缘故,将使用后面提及的观察系统和图像移动校正系统的用户及稍后提及的观察装置的用户描述为外科医生。然而,该描述并不局限于使用观察系统和图像移动校正系统的用户及操作观察装置的用户,并且使用这些系统的主体和操作该观察装置的主体可以是诸如助理和护士等其他医务人员。
(1.第一实施方式)
(1-1.观察系统的构造)
将参考图1描述根据本公开的第一实施方式的观察系统的构造和构成观察系统的观察装置。图1是示出根据第一实施方式的观察系统的配置的视图。
参考图1,根据第一实施方式的观察系统1包括观察装置10和显示装置20,观察装置10支撑显微镜部110并且利用显微镜部110拍摄患者的手术部位的图像,并且显示装置20显示通过观察装置10拍摄的手术部位的图像。观察系统1是执行诸如手术和检查等医疗实践时观察作为患者身体的一部分的观察对象部分(手术对象部分(手术部位)或检查对象部分)的医疗观察系统。在手术时或在检查时,外科医生在参考通过观察装置10拍摄并且显示在显示装置20上的图像的同时观察对象部分、并且对对象部分执行各种各样的治疗(如果需要)。在下文中,将给出关于通过使用观察系统1执行手术的情况的描述,并且还将其观察对象部分称之为手术部位。
(显示装置)
在后面描述的控制装置140的控制下,显示装置20显示通过观察装置10拍摄的患者手术部位的图像。例如,显示装置20安装在诸如手术室的墙壁等手术室中的外科医生可见的位置中。显示装置20的类型并不受具体限制,并且可以使用各种公开已知类型的显示装置中的任一种作为显示装置20,诸如,阴极射线管(CRT)显示装置、液晶显示装置、等离子体显示装置、或电致发光(EL)显示装置等。此外,不要求显示装置20一定必须安装在手术室内,并且还可以安装在通过穿戴在外科医生身体上而使用的诸如头戴显示器(HMD)或眼镜式佩戴设备等搭载设备上。
应注意,如后面描述的,在将观察装置10的显微镜部110的成像部111配置成立体摄像头、或使得高分辨率成像成为可能的情况下,可以相应地使用能够3D显示或能够以高分辨率显示图像的显示装置20。
(观察装置)
观察装置10配备有用于执行患者的手术部位的放大观察的显微镜部110、保持显微镜部110的支撑部120(臂部120)、与支撑部120的一端连接并且支撑显微镜部110和支撑部120的基部130、以及控制观察装置10和观察系统1的操作的控制装置140。
(基部)
基部130支撑显微镜部110和支撑部120。基部130包括具有平面形状的平台131和设置在平台131的底面上的多个轮脚132。支撑部120的一端连接至平台131的顶面,而显微镜部110连接至从平台131延伸的支撑部120的另一端(尖端)。此外,观察装置10通过轮脚132与地板接触并且被配置为通过轮脚132在地板上移动。
应注意,在下列描述中,将与安装了观察装置10的地板垂直的方向限定为z轴方向。还将z轴方向称为上下方向或竖直方向。此外,将与z轴方向相互正交的两个方向限定为x轴方向和y轴方向。还将与x-y平面平行的方向称为水平方向。
(显微镜部)
显微镜部110由用于执行患者的手术部位的放大观察的显微镜本体构成。在示出的实施例中,显微镜部110的光轴方向与z轴方向近似对准。显微镜部110具有与电子成像类型的显微镜部对应的配置、并且由具有近似圆柱形状的筒部112和设置在筒部112内的成像部111构成。成像部111由包括诸如物镜和聚焦透镜等透镜的光学系统、与诸如镜子等光学传感器、以及拍摄手术部位(利用穿过光学系统的光观察到的)的图像传感器构成。
筒部112的底端上的孔设置有用于保护成像部111的盖玻片。光源也设置在筒部112内,并且在图像拍摄过程中,利用从光源照射的通过盖玻片的照明光照射受检者(subject)。在该照明光之中,经由盖玻片使得从受检者反射回的光(观察光)入射在成像部111上,并且因此,通过成像部111获取与受检者的图像有关的信号(视频信号)。
对于成像部111,充分应用在任意各种公开已知类型的电子成像显微镜部中所使用的配置,并且出于此原因,此处将减少或省去其细节描述。例如,可以应用任意各种公开已知类型的图像传感器作为成像部111的图像传感器,诸如电荷耦合装置(CCD)传感器或互补金属氧化物半导体(CMOS)传感器等。此外,成像部111能够3D显示,也可以被配置成配备有一对图像传感器的立体摄像头。此外,任意各种公开已知类型的配置可以应用于成像部111的光学系统。进一步地,成像部111可以搭载(onboard)地提供通常在电子成像显微镜部中提供的任意各种类型的功能(诸如,自动聚焦(AF)功能和光学变焦功能等)。
在该连接中,在第一实施方式中,优选地成像部111被构造成能够以诸如4K、8K等高分辨率执行拍摄。通过使得成像部111被构造成能够以高分辨率执行拍摄,由于成像部111变得可以在确保预定分辨率的同时在具有例如50英寸或更大的大屏幕的显示装置20上显示图像,所以改善了外科医生的能见度。而且,通过使得成像部111被构造成能够以高分辨率执行拍摄,即使利用电子变焦功能进行适当地放大而显示图像,也变得可以确保预定的分辨率。例如,如果是4K,则即使利用电子变焦功能将图像放大两倍(如果是8K,放大四倍,或如果是16K,则放大八倍)的情况下,也可以确保全HD图像质量。因此,不要求显微镜部110具有如此高的光学变焦功能,并且变得可以使得显微镜部110的光学系统简单化。相应地,变得可以将显微镜部110构造成更小的尺寸。如后面提及的,为了确保(secure)外科医生的视野,尽管优选地显微镜部110的尺寸更小,然而,通过将成像部111构造成能够以高分辨率执行拍摄,则可以获得能够使得该显微镜部110的尺寸进一步更小的效果。在该连接中,就具体方面而言,在第一实施方式中,在后面提及的控制装置140的图像处理中,能够将电子变焦功能的放大率调整至1倍(x1)、1.5倍(x1.5)、两倍(x2)、四倍(x4)、以及八倍(x8)中的任一个。与此对应,例如,即使电子变焦功能的放大率为两倍或更多,成像部111也可以被构造成使得可以能够维持预定分辨率的分辨率(例如,全HD图像质量)执行拍摄。
将通过显微镜部110获取的视频信号(即,视频数据)传输(transmitted)至控制装置140。在控制装置140中,使得视频数据经过各种各样的图像处理,诸如,伽玛校正处理、白平衡调整处理、根据电子变焦功能的放大处理(例如,放大率是1倍(x1)、1.5倍(x1.5)、两倍(x2)、四倍(x4)、或八倍(x8))、以及像素间校正处理。在图像处理中,为了在显示装置20上显示图像,可以执行各种各样的通常执行的图像处理。而且,外科医生可以适当地设置诸如图像处理中的白平衡、电子变焦的放大率等各种各样的设置。然而,如后面提及的,在第一实施方式中,在检测到非预期的图像移动的发生并且检测到图像移动的情况下,控制装置140执行上述所述图像处理,以校正图像移动。在该连接中,下面(1-2.图像移动校正系统的功能构造)再次描述了该图像移动校正处理的细节。
将经过上述所述图像处理的视频数据传输至设置在手术室中的显示装置20,并且通过例如光学变焦功能和/或电子变焦功能以期望的放大率适当地放大手术部位的视频,并且在显示装置20上显示该视频。应注意,通过各种公开已知的有线或无线方法中的任一种可以实现控制装置140与显示装置20之间的通信。
在该连接中,不一定必须由控制装置140执行上述所述图像处理。例如,用于执行上述所述图像处理的处理电路可以设置在显微镜部110中。在这种情况下,可以将经过安装在显微镜部110上的处理电路的适当图像处理之后的视频数据从显微镜部110传输至显示装置20。此外,在这种情况下,通过各种公开已知的有线或无线方法中的任一种可以实现显微镜部110与显示装置20之间的通信。
显微镜部110设置有用于控制显微镜部110的操作的各种类型的开关。例如,显微镜部110设置有用于调整显微镜部110的图像拍摄参数的变焦开关151(变焦SW 151)和聚焦开关152(聚焦SW 152)、以及用于切换支撑部120的操作模式的操作模式改变开关153(操作模式改变SW 153)。
外科医生通过操作变焦SW 151和聚焦SW 152能够分别调整显微镜部110的放大率和焦距。此外,通过操作操作模式改变SW 153,外科医生能够在锁定模式与自由模式之间切换支撑部120的操作模式。
此处,锁定模式是通过使用制动器限制围绕设置在支撑部120中的每个旋转轴的旋转而锁定显微镜部110的位置和体位的操作模式。自由模式是释放制动器的操作模式,由此允许围绕设置在支撑部120中的每个旋转轴的自由旋转。例如,在自由模式中,可以通过外科医生的直接操作调整显微镜部110的位置和体位。此处,直接操作指外科医生用例如他或她的手握住显微镜部110并且直接移动显微镜部110的操作。例如,在外科医生按压操作模式改变SW 153时,支撑部120的操作模式变成自由模式,并且在外科医生释放他或她的手从操作模式变更SW 153时,支撑部120的操作模式变成锁定模式。
应注意,不一定必须要求这些开关设置在显微镜部110上。在第一实施方式中,可以在观察装置10中设置有用于接受具有与这些开关相似的功能的操作输入的机构,并且该机构的具体配置不受限制。例如,这些开关还可以设置在观察装置10的另一部分上。作为另一实施例,可以使用诸如远程控制、脚踏开关等输入装置,将对应于这些开关的指令远程地输入至观察装置10中。
此外,出于简化之缘故,尽管将显微镜部110的筒部112示出为图1中的简单圆柱形状的构件,然而,筒部112也可以设置有由外科医生握持的握持部。通过具有诸如由外科医生握持的、形成在筒部112的外圆周周围的把手等构造可以实现该握持部。可替代地,通过使得筒部112的形状形成为外科医生易于握持的形状可以实现该握持部。例如,如上所述,当处于自由模式时,可以预期外科医生直接用手握持筒部112来移动显微镜部110的操作。此时,因为外科医生在按压操作模式改变SW 153时执行移动显微镜部110的操作,所以在自由模式时考虑外科医生的可操作性的情况下,可以适当地确定筒部112的形状和操作模式改变SW 153的放置。此外,在关于外科医生的可操作性的类似考虑情况下,可以适当地确定变焦SW 151和聚焦SW 152的放置。
(控制装置)
控制装置140可以是诸如中央处理部(CPU)或数字信号处理器(DSP)等处理器、或者例如一起安装有这些处理器和诸如存储器等存储器传感器以及各部件的控制板。通过形成根据预定的程序运行计算过程的控制装置140的处理器实现了控制装置140的各种功能。
例如,控制装置140包括响应于外科医生经由上面操作模式改变SW 153执行的操作输入、而通过控制驱动设置在支撑部120的每个旋转轴部中的制动器来切换之前讨论的支撑部120的操作模式的功能。作为另一实施例,控制装置140包括响应于外科医生经由上述变焦SW 151和聚焦SW 152执行的操作输入、而适当地驱动显微镜部110的成像部111中的光学系统来调整显微镜部110的放大率和焦距的功能。此外,控制装置140具有对通过显微镜部110获取的视频数据执行各种各样的图像处理并且基于处理后的视频数据在显示图像上显示图像的功能。此时,在第一实施方式中,如果需要,通过控制装置140执行图像移动校正处理,并且在显示装置20上显示抑制了非预期的图像移动的图像。
应注意,在示出的实施例中,控制装置140被设置成与显微镜部110、支撑部120、以及基部130分离的构造、并且通过线缆连接至基部130。然而,第一实施方式并不局限于该实施例。例如,实现与控制装置140相似的功能的处理器、控制板等也可以设置在基部130内。此外,通过将实现与控制装置140相似的功能的处理器、控制板等整合到显微镜部110内部,可以通过集成方式配置控制装置140和显微镜部110。可替代地,通过被布置在形成支撑部120的每个旋转轴部中的处理器或控制板等、并且通过使得这些多个处理器或扩展板等一起工作可以实现与控制装置140的功能相似的功能。
(支撑部)
支撑部120三维地移动显微镜部110、并且在移动之后将显微镜部110固定地支撑在一定的位置和体位处。在第一实施方式中,支撑部120被构造成具有六个自由度的平衡臂。然而,第一实施方式不应局限于该实施例,并且支撑部120可以被构造成能够根据意在的用途适当地移动显微镜部110并且可以被构造成具有其他不同数量的自由度。
支撑部120设置有与六个自由度对应的六个旋转轴(第一轴O1、第二轴O2、第三轴O2、第四轴O4、第五轴O5、以及第六轴O6)。在下文中,为便于描述,假设将构成相应的旋转轴的元件统称为旋转轴部。例如,旋转轴部可以包括轴承、可旋转地插入轴承中的轴杆(shaft)、调节旋转轴的旋转的制动器等。后面提及的平行四边形连杆机构240也能够被视为一个旋转轴部。
支撑部120包括与相应的旋转轴对应的第一旋转轴部210、第二旋转轴部220、第三旋转轴部230、第四旋转轴部240、第五旋转轴部250、以及第六旋转轴部260;支撑部120包括通过这些第一旋转轴部210至第六旋转轴部260而旋转地连接至彼此的第一臂部271、第二臂部272、第三臂部273、以及第四臂部274;并且支撑部120包括作为整体的用于平衡显微镜部110和支撑部120的力矩的配重280。在该连接中,第四旋转轴部240与平行四边形连杆机构240对应。
应注意,在下面描述中,当描述支撑部120的构造时,设置有显微镜部110的一侧也被称之为尖端侧或尖端部分等,并且基部130附近的一侧也被称之为基端侧或基端部分等。
第一旋转轴部210具有一般的圆柱形状并且连接至显微镜部110的筒部112的基端部分,因此,第一接合部210的中心轴与显微镜部110的筒部112的中心轴大致吻合。第一旋转轴部210旋转地支撑显微镜部110,方向与显微镜部110的光轴大致吻合,作为旋转轴方向(第一轴O1的方向)。在图1示出的实施例中,第一轴O1设置为与z轴大致平行的旋转轴。通过第一旋转轴部210围绕第一轴O1旋转显微镜部110来调整通过显微镜部110拍摄的图像的方位。
应注意,在示出的实施例中,将显微镜部110的成像部111的一部分容纳在形成第一旋转轴部210的圆柱壳体内。即,将显微镜部110和第一旋转轴部210配置成整体元件。然而,本实施方式并不局限于该实施例。还可以将第一旋转轴部210和显微镜部110配置成单独的元件。
在与第一轴O1大致垂直的方向上延伸的第一臂部271的尖端连接至第一旋转轴部210。此外,旋转地支撑第一臂部271的第二旋转轴部220(具有与第一臂部271延伸的方向大致平行的方向作为旋转轴方向(第二旋转轴O2的方向))设置在第一臂部271的基端上。第二轴O2是与第一轴O1大致垂直的旋转轴、并且被设置成与图1示出的实施例中的y轴大致平行的旋转轴。通过第二旋转轴部220旋转显微镜部110和第一臂部271(第二轴O2作为旋转轴)调整显微镜部110在x轴方向上的位置。
在与第一轴O1和第二轴O2近似相互竖直的方向上延伸的第二臂部272的尖端连接至第二旋转轴部220。而且,第二臂部272的基端侧在与折叠的短侧对应的位置处弯曲成几乎L形式、设置在第三旋转轴部230上,第三旋转轴部230使得与第二臂部272的长侧对应的一部分的拉伸方向几乎平行的方向成为旋转轴方向(第三轴O3方向)并且旋转地支撑第二臂部272。第三轴O3是与第一轴O1和第二轴O2几乎竖直的旋转轴,并且在图1所示的实施例中,第三轴O3设置成与x轴几乎平行的旋转轴。通过第三旋转轴部230,使得显微镜部110、第一臂部271、以及第二臂部272在用作旋转轴的第三轴O3上旋转,因此,调整显微镜部110在y轴方向上的位置。
同样,支撑部120被配置成使得通过控制围绕第二轴O2和第三轴O3的旋转而控制显微镜部110的体位。即,第二旋转轴部220和第三旋转轴部230可以是限定显微镜部110的体位的旋转轴部。
平行四边形连杆机构240的上侧的尖部连接至第三旋转轴部230的基端侧。平行四边形连杆机构240包括布置成平行四边形形式的四个臂(臂241、242、243、以及244)和设置在几乎与平行四边形的顶点对应的相应位置处的四个接合部(接合部245、246、247、以及248)。
在与第三轴O3大致平行的方向上延伸的臂241的尖端连接至第三旋转轴部230。接合部245设置在臂241的尖端附近,并且接合部246设置在臂241的基端附近。臂242和243的尖端分别以这样一种方式连接至接合部245和246,即,能够使得臂242和臂243的尖端围绕与臂241延伸的方向大致垂直的旋转轴(第四轴O4)旋转,并且臂242和243的尖端彼此大致平行。而且,接合部247和248分别设置在臂242和243的基端上。臂244的尖端与基端以能够围绕第四轴O4旋转并且与臂241大致平行的方式分别连接至这些接合部247和248。
同样,形成平行四边形连杆机构240的四个接合部具有在大致平行于彼此的大致相同方向上的旋转轴(第四轴O4)并且围绕第四轴O4结合彼此操作。在图1示出的实施例中,将第四轴O4设置成旋转轴,即,大致平行于y轴。即,平行四边形连杆机构240被配置成具有彼此布置在不同位置并且结合彼此围绕位于同一方向的旋转轴旋转的多个接合部,因此,平行四边形连杆机构240用作将一端的操作传动至另一端的传动机构。通过设置平行四边形连杆机构240,将尖端侧上的构造(即,显微镜部110、第一旋转轴部210、第二旋转轴部220、第三旋转轴部230、第一臂部271、以及第二臂部272)的移动、而非平行四边形连杆机构240的移动传输至平行四边形连杆机构240的基端侧。
旋转地支撑平行四边形连杆机构240的第五旋转轴部250(具有与臂242延伸的方向垂直的方向作为旋转轴方向(第五轴O5的方向)的方向)设置在距臂242的基端为预定距离的部分上。第五轴O5是与第四轴O4大致平行的旋转轴并且被设置成与图1中示出的实施例中的y轴大致平行的旋转轴。在z轴方向上被拉伸的第三臂部273的尖端连接至第五旋转轴部250,并且显微镜部110、第一臂部271、第二臂部272、以及平行四边形连杆机构240被构造成经由第五旋转轴部250围绕用作旋转轴的第五轴O5相对于第三臂部273可旋转。
第三臂部273具有几乎L形状的形式并且其基端侧弯曲成变为几乎平行于地板。第六旋转轴部260连接至第三臂部273的几乎平行于地板的表面,在第六旋转轴部260上,第三臂部273围绕与第五轴O5正交的旋转轴(第六轴O6)旋转。在图1所示的实施例中,将第六轴O6设置成几乎平行于z轴的旋转轴。
在例图所示的实施例中,第六旋转轴部260被构造成与在竖直方向上延伸的第四臂部274一体化。即,第四臂部274的尖端连接至第三臂部273的基端的几乎平行于地板的表面。而且,第四臂部274的基端连接至基部130的平台131的上表面。通过该构造,显微镜部110、第一臂部71、第二臂部272、平行四边形连杆机构240、以及第三臂部273经由第六旋转轴部260围绕用作旋转轴的第六O6相对于基部130可旋转。
形成平行四边形连杆机构240的下侧的臂244形成为比形成平行四边形连杆机构240的上侧的臂241更长,并且臂242的端部(被定位成与平行四边形连杆机构240的、与第三旋转轴部230连接的部分对角相对)延伸至平行四边形连杆机构240之外。配重280设置在臂244的延伸端上。调整配重280的质量和放置位置,以使得围绕第四轴O4产生的旋转力矩和围绕第五轴O5产生的旋转力矩能够通过布置至配重280自身的尖端侧的构造(即,显微镜部110、第一旋转轴部210、第二旋转轴部220、第三旋转轴部230、第一臂部271、第二臂部272、以及平行四边形连杆机构240)的质量而彼此抵消。
此外,调整第五旋转轴部250的放置位置,以使得被布置至第五旋转轴部250的尖端侧的每个构造的重力中心定位在第五轴O5上。而且,调整第六旋转轴部260的放置位置,以使得被布置至第六旋转轴部260的尖端侧的每个构造的重力中心定位在第六轴O6上。
通过按照这种方式配置配重280的质量和放置位置、第五旋转轴部250的放置位置、以及第六旋转轴部260的放置位置,能够将支撑部120配置成平衡臂,其中,显微镜部110和支撑部120的力矩整体上平衡。通过将支撑部120构造成平衡臂,在外科医生意在通过直接操作而移动显微镜部110的情况下,变得可以通过更小的外部力来移动显微镜部110,如同处于失重状态。因此,能够改善外科医生的可操作性。
支撑部120的第一旋转轴部210至第六旋转轴部260设置有调节第一旋转轴部210至第六旋转轴部260上的旋转的相应制动器。在该连接中,在平行四边形连杆机构240中,四个接合部(接合部245至248)结合彼此相互旋转。相应地,用于平行四边形连杆机构240的制动器可以被设置成用于这四个接合部中的至少任一个。通过控制装置140控制这些制动器的驱动。通过在控制装置140的控制下一次全部释放这些制动器,将支撑部120的操作模式移位至自由模式。而且,相似地,在控制装置140的控制下,通过一次致动全部这些制动器,将支撑部120的操作模式移位至固定模式。
在该连接中,对于设置在第一旋转轴部210至第六旋转轴部260中的制动器,可以应用通常平衡臂所使用的各种各样的制动器,并且其具体的机构不受限制。例如,这些制动器可以是机械驱动制动器、或电驱动的电磁制动器。
在上文中,参考图1,描述了根据第一实施方式的观察系统1和观察装置10的构造。在该连接中,观察系统1和观察装置10可以构造成如下。
例如,致动器可以安装在支撑部120的相应旋转轴部中的至少一个上,并且通过利用控制装置140控制致动器的驱动,可以执行支撑部120的位置和体位的控制,即,显微镜部110的位置和体位的控制。在这种情况下,例如,根据外科医生通过诸如远程控制终端、脚踏开关等各种各样的输入装置而执行的操作输入,可以远程操作支撑部120。可替代地,输入装置可以是设置在显微镜部110的外围表面的局部区域上的压力感测传感器。例如,在外科医生触摸压力感测传感器的情况下,可以控制上述所述致动器的驱动,以使得显微镜部110在触摸方向上移动。
可替代地,如上所述,在致动器安装在支撑部120的相应旋转轴部中的至少一个上的情况下,向观察装置10发出移动显微镜部110的指令的导航设备可以设置在观察系统1中。在这种情况下,一旦收到来自导航设备的指令,控制装置140则使得致动器驱动,并且可以控制显微镜部110的位置和体位。在该连接中,对于上述所述输入装置或导航设备,可以使用在通常观察装置中移动显微镜部时所使用的各种各样的公开已知的装置。
例如,在观察系统1中,尽管可能产生略微移动显示装置20的屏幕上的图像的视野的期望、或产生在不改变显示装置20的屏幕上的图像的顶部、底部、左侧、以及右侧的情况下在任意方向上平行地移动视野的期望,然而,可能存在难以通过直接操作略微地移动显微镜部110、或难以在水平面的任意方向上平行地移位显微镜部110的情况。在该情况下,通过利用上述所述致动器控制显微镜部110的移动,使将显微镜部110更为恰当地移至获取期望的视野的位置变得可能。在该连接中,在下列描述中,将显微镜部110通过直接操作的移动称之为“手动执行显微镜部110的移动”,并且将显微镜部110通过致动器的驱动的移动称之为“自动执行显微镜部110的移动”。
此处,图2是示出使用图1所示的观察系统1的手术的情形的例图。图2示意性地示出了外科医生401使用观察系统1对病床403上的患者405的手术部位407执行手术的情形。在该连接中,在图2中,出于简便,通过简化方式示出了观察装置10。
在观察系统1中,在显示装置20上显示通过观察装置10拍摄的手术部位407的图像,并且外科医生401在观看显示装置20上的图像的同时执行手术。然而,在这种情况下,如图2所示,在外科医生401与显示装置20之间,定位有观察装置10的显微镜部110和支撑部120。因此,要求显微镜部110和支撑部120的尺寸较小,以尽可能不阻隔外科医生401的视野。
因此,在第一实施方式中,支撑部120可以被构造成使得支撑部120(具体地,其位于显微镜部110附近的构造)的尺寸尽可能地变小。因此,观看显示装置20的外科医生401的视野变好,并且变得可以更为顺利地执行手术。例如,为了实现外科医生401的良好视野,在支撑部120中,优选地最薄部分的直径为60mm或更小。更优选地,最薄部分的直径为30mm或更小,又更优选地,20mm或更小,并且特别优选地,10mm或更小。由于最薄部分的直径变小,支撑部120被构造成在尺寸上更小,因此,变得可以进一步有利地确保外科医生401的视野。在该连接中,在支撑部120中,在构成支撑部120的臂部(第一臂部271、第二臂部272、第三臂部273、以及第四臂部274)之中,例如,最薄(最纤细)部分可以是设置成比较接近于显微镜部110(例如,接近与调节显微镜部110的体位的旋转轴(第二轴O2和第三轴O3)对应的第二旋转轴部220和第三旋转轴部230)的臂部。在图1所示的构造实施例中,定位在第二旋转轴部220与第三旋转轴部230之间的第二臂部272可以与支撑部分120中的最薄部分对应。
然而,如果使得支撑部120的尺寸更小并且直径更薄,则其刚性变小。此处,在观察装置10中,假设了这样一种模式,即,在自由模式时,在观看显示屏幕上显示的图像的同时,外科医生401通过直接操作将显微镜部110向上移至获取期望视野的位置。此时,在支撑部120的刚性比较小的情况下,随着外科医生401对显微镜部110的移动操作,支撑部120将发生比较大幅度的弹性变形。因此,当外科医生将显微镜部110向上移至期望位置并且释放手时,支撑部120恢复弹性,由此显微镜部110发生非预期的移动并且发生图像移位。
另一方面,如上所述,观察装置10可以被构造成能够以高分辨率执行拍摄。因此,使得在确保预定的分辨率的同时在具有进一步更大的屏幕的显示装置20上显示图像变得可能、或者使得通过利用电子变焦功能进行适当地放大而显示图像变得可能。然而,按照这种方式,在大屏幕上执行显示或通过电子变焦进行放大显示的情况下,上述所述图像移位的移位量将变得更为显著。
由此,可以认为图像移位的发生是类似观察装置10的电子成像类型的观察装置所特有的问题。
另一方面,在观察装置10中,例如,由于地板随着医务人员的走动而振动,显微镜部110可能震动。可替代地,在上面提及的自动执行显微镜部110的移动的情况下,显微镜部110可能由于显微镜部110停止之时的惯性而发生震动。显微镜部110的这种非预期的振动变成诱使图像震动的起因。
在发生图像移位和/或图像震动(即,非预期的图像移动)的情况下,存在变得难以安全顺利地执行手术的担心。因此,在电子成像类型的观察装置中,为了实现更安全的手术,重要的是抑制非预期的图像移动的发生。
因此,在第一实施方式中,将用于校正非预期的图像移动的图像移动校正系统整合至上述所述观察系统1。利用图像移动校正系统,适当地校正在手术过程中发生的非预期的图像移动,由此变得可以实现更安全的手术。
(1-2.图像移动校正系统的功能构造)
参考图3,详细描述了上述所述图像移动校正系统的构造。图3是示出根据第一实施方式的图像移动校正系统的功能构造的一个实施例的框图。参考图3,根据第一实施方式的图像移动校正系统2包括成像部310、显示部320、视野移动指令获取部330、以及控制部340作为其功能。
成像部310与图1所示的成像部111对应。成像部310随时获取在手术过程中通过拍摄观察对象而获得的视频数据、并且将获取的视频数据传输至控制部340的、稍后提及的存储器部341。
显示部320包括图1所示的显示装置20。显示部320基于经过控制部340的、后面提及的图像处理部344适当图像处理的视频数据而显示通过成像部310拍摄的图像。
在该连接中,在下文中,为区别起见,将通过成像部310获取的视频数据也称之为成像视频数据,并且将通过显示部320显示的视频数据(即,对成像视频数据应用各种各样的图像处理之后的视频数据)也称之为显示视频数据。
视野移动指令获取部330获取关于相对于显示部320上显示的图像的明确的视野移动的指令(在下文中,也仅被称之为视野移动指令)。视野移动指令可以指指示图1所示的显微镜部110发生移动的指令(即,指示成像部111发生移动的指令)。此处,明确的视野移动指令指外科医生期望的视野移动的指令。
如上面提及的,因为在观察装置10中假设了外科医生在自由模式时通过直接操作移动显微镜部110的模式,所以视野移动指令获取部330可以包括例如图1中所示的操作模式改变SW 153。在将指示支撑部120的操作模式为自由模式的操作输入至操作模式改变SW153的情况下,视野移动指令获取部330能获取视野移动指令。原因在于对操作模式改变SW153进行操作和将操作模式变成自由模式期间的周期可以视为外科医生通过直接操作输入移动显微镜部110的指令的情形。在已经获取了视野移动指令的情况下,视野移动指令获取部330将指示获取了视野移动指令的信息传输至控制部340的、后面提及的鉴别部342。
在该连接中,第一实施方式不应局限于该实施例,并且通过其他方法可以获取视野移动指令。例如,视野移动指令获取部330可以包括图1中未示出的各种各样的输入装置(上面提及的远程控制终端、脚踏开关、压力感测传感器等)、并且在外科医生对这些输入装置进行指示移动显微镜部110的操作的情况下,视野移动指令获取部330可以获取视野移动指令。可替代地,在观察系统1配备有发出移动显微镜部110的指令的导航设备的情况下,视野移动指令获取部330可以包括从导航设备接收指令的通信设备等,并且在获取来自导航设备的指令的情况下,其可以获取视野移动指令。
控制部340包括控制基板等,控制基板上安装了诸如CPU等处理器和诸如存储器等存储元件。在该连接中,控制部340可以包括图1所示的控制装置140、或可以包括与控制装置140分离的装置。控制部340全面控制图像移动校正系统2中的各种各样的处理。控制部340包括存储器部341、鉴别部342、以及校正部343作为其功能。在控制部340中包括的处理器根据预定的程序进行操作的情况下,实现这些功能。
存储器部341包括诸如存储器等存储元件。存储器部341存储通过成像部310获取的成像视频数据。存储器部341能以与预定的时间对应的量临时存储成像视频数据,该预定的时间为通过鉴别部342执行后面提及的鉴别处理(关于存在或不存在图像移动的发生)所需的时间以及通过校正部343执行图像移动校正处理所需的时间。存储器部341以与上面提及的预定时间对应的量存储成像视频数据,包括在任何时间更新成像视频数据的同时存储最新的成像视频数据。如果需要,存储器部341向鉴别部342和校正部343适当地提供存储的成像视频数据。
鉴别部342鉴别存在或不存在视野移动指令的输入和存在或不存在图像移动的发生。就具体方面而言,鉴别部342基于指示已经获取从视野移动指令获取部330发送的视野移动指令的信息鉴别存在或不存在视野移动指令的输入。而且,鉴别部342通过分析存储在存储器部341中的成像视频数据而鉴别存在或不存在图像移动的发生。例如,鉴别部342能通过计算最新的成像视频数据与之前的成像视频数据(例如,紧靠之前的成像视频数据)之间的差别而鉴别存在图像移动的发生。
鉴别部342将关于存在或不存在视野移动指令的输入和存在或不存在图像移动的发生的鉴别结果的信息提供至校正部343。
在鉴别部342鉴别不存在视野移动指令的输入和发生图像移动的情况下,校正部343执行图像移动校正过程。这是因为将上述所述情况视为发生外科医生意料之外的图像移动的情况。例如,即使未将用于指示支撑部120的操作模式被设置成自由模式的操作输入至操作模式改变SW 153,在发生图像移动的情况下,预期发生非预期的图像移位。而且,例如,即使未对各种各样的输入装置执行指示显微镜部110发生移动的操作输入、或未从导航设备输入指示显微镜部110发生移动的指令,在图像移动发生的情况下,预期发生非预期的图像震动。
此处,图像校正过程指基于成像视频数据通过校正图像移动来生成显示视频数据的过程。就具体方面而言,在第一实施方式中,校正部343用作图像处理部344并且生成显示视频数据(其中,通过对成像视频数据适当地执行图像处理而校正图像移动)。图4是用于描述显示视频数据的生成处理(通过图像处理部344校正图像移动)的例图。
图4通过模拟方式显示了通过成像部310拍摄的手术部位407的成像图像409。如图4所示,图像处理部344在成像图像409中切割预定的区域411并且通过向该切割区域411中的视频数据应用各种各样的图像处理(例如,伽玛校正、白平衡调整、符合电子变焦功能的放大、像素间校正等)而生成显示视频数据。在图像处理中,可以执行显示图像时通常执行的各种各样的图像处理。此时,图像处理部344通过分析存储器部341中存储的成像视频数据来计算图像移动时的图像的移动量和移动方向并且适当地调整区域411的切割位置,以抵消与所计算的移动量和移动方向对应的图像移动,由此能够生成显示视频数据(其中已校正了图像移动)。
另一方面,在鉴别部342鉴别输入了视野移动指令的情况下,或在鉴别部342鉴别未发生图像移动的情况下,可以视为未发生非预期的图像移动。在这种情况下,校正部343(即,图像处理部344)不执行图像移动的校正过程,而是仅对成像视频数据执行常见的图像处理并且生成显示视频数据。此时,图像处理部344也在成像图像409中切割预定的区域411并且生成显示视频数据。然而,图像处理部344仅切割之前被指定的预定区域411,而不执行与图像移动的移动量和移动方向对应的区域411的位置的调整处理。在不校正图像移动的情况下,可以将预定的区域411设置成与成像图像409的中心具有相同的位置中心并且与成像图像409具有相似的形状的区域。
即,在第一实施方式中,图像处理部344从成像图像409切割预定的区域411并且通过对与区域411对应的成像视频数据执行各种各样的图像处理而生成显示视频数据。然而,此时,在未发生非预期的图像移动的情况下,图像处理部344切割预定的区域411,并且在发生非预期的图像移动的情况下,图像处理部344调整区域411的切割位置,以抵消图像移动。因此,即使在发生非预期的图像移动的情况下,也生成了显示视频数据(其中已校正图像移动)。
图像处理部344将生成的显示视频数据传输至显示部320并且基于显示视频数据使得显示部320显示图像。如上所述,在发生非预期的图像移动的情况下,生成显示视频数据(其中已校正图像移动)。相应地,为外科医生提供抑制了图像移动的更为稳定的图像。因此,变得可以更为顺利并且更为安全地执行手术。
在上文中,描述了根据第一实施方式的图像移动校正系统2的功能构造。
(1-3.图像移动校正方法)
参考图5,描述了根据第一实施方式的图像移动校正方法的处理过程。图5是示出根据第一实施方式的图像移动校正方法的处理过程的一个实施例的流程图。在该连接中,图5所示的相应处理与通过图3中所示的图像移动校正系统2的控制部340运行的处理对应。在描述图像移动校正系统2的功能构造时,已经描述了这些相应处理的细节。相应地,在关于图像移动校正方法的处理程序的下列描述中,省去了关于相应处理的细节描述。
参考图5,在根据第一实施方式的图像移动校正方法中,首先,存储通过成像部310获取的成像视频数据(步骤S101)。步骤S101中的过程与通过图3所示的存储器部341执行的处理对应。
接着,执行视野移动指令的捕获(步骤S103)。步骤S103中的处理与下列处理对应,即,将指示已经输入了如图3所示的视野移动指令获取部330获取的视野移动指令的信息传输至控制部340。
接着,鉴别存在或不存在视野移动指令的输入(步骤S105)。步骤S105中的处理与图3所示的鉴别部342执行的处理对应。
在步骤S105中鉴别存在视野移动指令的输入的情况下,进行至步骤S107。在这种情况下,因为认为外科医生正在有意地移动显微镜部110,所以不需要执行图像移动校正处理。因此,在不执行图像移动校正处理的情况下,在步骤S107中,基于被存储的成像视频数据,切割成像图像的预定区域(例如,以与成像图像的中心的相同位置为中心的预定区域),并且对与该切割区域对应的成像视频数据执行各种各样的图像处理,由此生成显示视频数据。在该连接中,步骤S107中的处理与图3所示的图像处理部344执行的处理对应。
另一方面,在步骤S105中,在鉴别不存在视野移动指令的输入的情况下,进行至步骤S109。在步骤S109中,基于存储的成像视频数据检测图像移动。然后,在步骤S111中,基于该检测结果,鉴别存在或不存在图像移动的发生。步骤S109和步骤S111中的处理与图3所示的鉴别部342执行的处理对应。
在步骤S111中,在鉴别不存在图像移动的发生的情况下,自然地,不需要执行图像移动校正处理。因此,与鉴别存在视野移动指令的输入的情况相似,进行至步骤S107,并且生成显示视频数据而不执行图像移动校正处理。
另一方面,在步骤S111中,在鉴别存在图像移动的发生的情况下,视为发生了外科医生非预期的图像移动。因此,在这种情况下,进行至S113,基于存储的成像视频数据,调整从成像图像中切割的区域的位置,以抵消图像移动,并且对与该切割区域对应的成像视频数据执行各种各样的图像处理,由此生成显示视频数据。在该连接中,步骤S113中的处理与图3所示的校正部343执行的处理对应,即,图像处理部344。
在步骤S107或步骤S113中的处理结束时,将生成的显示视频数据传输至显示部320(步骤S115)。然后,基于显示视频数据在显示部320上显示图像。在该连接中,步骤S115中的处理与图3所示的图像处理部344执行的处理对应。
在上文中,描述了根据第一实施方式的图像移动校正方法的处理程序。
(2.第二实施方式)
描述了本公开的第二实施方式。应注意,第二实施方式对应于在上述第一实施例中存在或不存在图像移动的发生的鉴别处理方法和图像移动校正处理方法中的方法不同的方法。因为除此之外的构造与第一实施方式中的构造相似,所以在关于第二实施方式的下列描述中,主要给出了关于与第一实施方式不同的内容的描述,并且省去了关于重复内容的细节描述。
(2-1.图像移动校正系统的功能构造)
因为应用了根据第二实施方式的图像移动校正系统的观察系统的构造与根据第一实施方式的参考图1描述的观察系统1的构造相似,所以省去其描述。此处,参考图6,描述了根据第二实施方式的图像移动校正系统的构造。图6是示出根据第二实施方式的图像移动校正系统的功能构造的一个实施例的框图。
参考图6,根据第二实施方式的图像移动校正系统3包括显示部320、视野移动指令获取部330、以及显微镜部350作为其功能。而且,显微镜部350包括成像部310、控制部340a、以及移动检测部360作为其功能。
其中,成像部310、显示部320、以及视野移动指令获取部330的功能与第一实施方式中的功能几乎相似。即,在手术处理中,成像部310随时获取通过拍摄观察对象而获得的视频数据并且提供至控制部340a的后面提及的图像处理部344a。在该连接中,在图6中,为进行描述,还示出了构成成像部310的图像传感器311和光学系统312(透镜等)的块。显示部320基于通过控制部340a的后面提及的图像处理部344a生成的显示视频数据而显示通过成像部310拍摄的图像。视野移动指令获取部330获取视野移动指令并且提供至控制部340a的后面提及的鉴别部342a。
显微镜部350与图1所示的显微镜部110对应。而且,控制部340a包括控制基板等,控制基板上安装了诸如CPU等处理器或诸如程序和存储器等存储元件。而且,移动检测部360包括能够检测显微镜部350的移动(更具体地,成像部310的移动)的传感器,诸如加速度传感器、陀螺仪传感器等。同样,在第二实施方式中,作为硬件构造,显微镜部350可以包括成像部310、处理器、与控制部340a对应的控制基板等、以及与移动检测部360对应的传感器。在下文中,更为详细地描述了控制部340a和移动检测部360的功能。
移动检测部360检测成像部310的移动并且获取显示成像部310的移动的移动信息。构成移动检测部360的传感器的类型不应受限制,并且可以使用检测物体移动时通常使用的诸如上述所述加速度传感器或陀螺仪传感器等各种各样的传感器。然而,如后面提及的,在第二实施方式中,基于通过移动检测部360获取的移动信息执行存在或不存在图像移动的发生的鉴别处理和图像移动校正处理。因此,优选地将移动检测部360构造成能够至少检测成像部310在与成像部310的图像传感器311的光接收表面平行的平面内方向上的移动。而且,就硬件方面而言,优选地将构成移动检测部360的传感器相对靠近成像部310安装,以能够高准确性地检测成像部310的振动。进一步地,优选地为了使得显微镜部350的尺寸较小,使得构成移动检测部360的传感器的尺寸也比较小。
移动检测部360向控制部340a的后面提及的鉴别部342a和校正部343a提供所获取的移动信息。
控制部340a全面控制图像移动校正系统3中的各种各样的处理。控制部340a包括鉴别部342a和校正部343a作为其功能。在根据预定的程序操作控制部340a的处理器构造的情况下,实现这些功能。在该连接中,如上面提及的,尽管控制部340a可以包括处理器或控制基板等,然而,这些可以是与图1所示的控制装置140相同的装置、或是控制装置140的一部分、或可以是与控制装置140分离的装置。
鉴别部342a鉴别存在或不存在视野移动指令的输入和存在或不存在图像移动的发生。就具体方面而言,鉴别部342a基于从视野移动指令获取部330提供的、指示已获取的视野移动指令的信息来鉴别存在或不存在视野移动指令的输入。存在或不存在视野移动指令的输入的这种鉴别处理与第一实施方式中的处理相似。
在第二实施方式中,存在或不存在图像移动的发生的鉴别处理的方法不同于第一实施方式中的方法。就具体方面而言,鉴别部342a基于从移动检测部360提供的移动信息鉴别存在或不存在图像移动的发生。例如,在通过移动检测部360检测成像部310在与图像传感器311的光接收表面平行的平面内方向上的移动的情况下,鉴别部342a鉴别发生了图像移动。
鉴别部342a向校正部343a提供关于存在或不存在视野移动指令的输入和存在或不存在图像移动的发生的鉴别结果的信息。
在鉴别部342a鉴别不存在视野移动指令的输入并且发生了图像移动的情况下,校正部343a执行图像移动校正处理。因为认为上述所述情况是发生了外科医生非预期的图像移动的情况,所以与第一实施方式相似。
此外,在第二实施方式中,与第一实施方式相似,在图像校正处理中,校正图像移动,并且基于成像视频数据生成显示视频数据。然而,在第二实施方式中,其具体处理方法(即,校正部343a的功能)与第一实施方式不同。就具体方面而言,在第二实施方式中,校正部343a用作使得成像部310的光学系统312驱动的驱动控制部345和通过对成像视频数适当地应用图像处理而生成显示视频数据的图像处理部344a。
基于从移动检测部360提供的移动信息,驱动控制部345计算图像移动时的图像的移动量和移动方向、并且计算光学系统312(将观察光导向至图像传感器311)中包括的透镜的移动量,以抵消与所计算的移动量和移动方向对应的图像移动。然后,通过根据所计算的移动量适当地移动透镜,驱动控制部345校正图像移动。在该连接中,对于通过该驱动控制部345抵消图像移动的透镜移动处理,可以应用根据安装在数码照相机上的透镜移位系统的所谓防手震功能的技术。
图像处理部344a通过对经由成像部310获取的成像视频数据应用各种各样的图像处理(例如,伽玛校正、白平衡的调整、根据电子变焦功能的放大、像素间校正等)而生成显示视频数据。在图像处理中,可以执行显示图像时通常执行的各种各样的图像处理。如上面提及的,因为通过驱动控制部345适当地移动成像部310的光学系统312中的透镜,所以图像处理部344a获取的成像视频数据变成已校正了图像移动的数据。即,图像处理部344a能生成已校正了图像移动的显示视频数据。
图像处理部344a将生成的显示视频数据传输至显示部320并且使得显示部320基于显示视频数据显示图像。如上面描述的,在发生了非预期的图像移动的情况下,生成已校正了图像移动的显示视频数据。相应地,为外科医生提供了抑制了图像移动的更为稳定的图像。因此,变得可以更为顺利并且更为安全地执行手术。
在上文中,描述了根据第二实施方式的图像移动校正系统3的功能构造。在该连接中,在上述所述构造实施例中,尽管校正部343a使用根据所谓的透镜移位系统的技术校正了图像移动,然而,第二实施方式不应局限于该实施例。在第二实施方式中,校正部343a可以使用其他方法校正图像移动。例如,校正部343a能使用根据数码照相机等上安装的防手震功能中所使用的所谓光学类型校正方法的各种各样的技术校正图像移动。此处,光学类型校正方法是基于成像部310的所检测到的移动来调整图像传感器311中的观察光的光接收位置并且通过移动成像部310的图像传感器311或光学系统312(例如,透镜等)的位置校正图像移动的方法。上述所述透镜移位系统也是光学类型校正方法中的一种。作为光学类型校正方法,除上述所述透镜移位系统之外,图像传感器移位系统、透镜单元摆动系统等都是已知的。校正部343a可以根据各种各样的这些系统校正图像移动。
(2-2.图像移动校正方法)
参考图7,描述了根据第二实施方式的图像移动校正方法的处理过程。图7是示出根据第二实施方式的图像移动校正方法的处理过程的一个实施例的流程图。在该连接中,图7中所示的相应处理与通过图6中所示的图像移动校正系统3的控制部340a运行的处理对应。在描述图像移动校正系统3的功能构造时已经描述了这些相应处理的细节。相应地,在关于图像移动校正方法的处理程序的下列描述中,省去了关于相应处理的细节描述。
参考图7,在根据第二实施方式的图像移动校正方法中,首先,执行成像部310的移动信息的捕获(步骤S201)。步骤S201中的处理与下列处理对应:向控制部340a提供通过图6中所示的移动检测部360获取的成像部310的移动信息。
接着,执行视野移动指令的捕获(步骤S203)。步骤S203中的处理与下列处理对应:将指示已经输入通过图6中所示的视野移动指令获取部330获取的视野移动指令的信息传输至控制部340a。
接着,鉴别存在或不存在视野移动指令的输入(步骤S205)。步骤S205中的处理与通过图6中所示的鉴别部342a运行的处理对应。
在步骤S205中,在鉴别存在视野移动指令的输入的情况下,进行至步骤S207。在这种情况下,因为视为外科医生有意地移动显微镜部110,所以不需要执行图像移动校正处理。因此,在步骤S207中,对通过成像部310获取的成像视频数据执行各种各样的图像处理,由此生成显示视频数据,而不执行图像移动校正处理。在该连接中,步骤S207中的处理与通过图6中所示的图像处理部344a执行的处理对应。
另一方面,在步骤S205中,在鉴别不存在视野移动指令的输入的情况下,进行至步骤S209。在步骤S209中,基于在步骤S201中获取的移动信息检测可能引起图像移动的成像部310的移动(就具体方面而言,例如,成像部310在与图像传感器311的光接收表面平行的平面内方向上的移动)。然后,在步骤S211中,基于该检测结果,鉴别存在或不存在图像移动的发生。步骤S209和步骤S211中的处理与通过图6中所示的鉴别部342a执行的处理对应。
在步骤S211中,在鉴别不存在图像移动的发生的情况下,自然地,不需要执行图像移动校正处理。因此,与鉴别存在视野移动指令的输入的情况相似,进行至步骤S207,并且在不执行图像移动校正处理的情况下,生成显示视频数据。
另一方面,在步骤S211中,在鉴别存在图像移动的发生的情况下,视为发生了外科医生非预期的图像移动。因此,在这种情况下,进行至步骤S213,移动成像部310的光学系统312的位置,以抵消图像移动。在该连接中,步骤S213中的处理与通过图6所示的校正部343a的驱动控制部345执行的处理对应。
在步骤S213中的处理结束时,进行至步骤S207,对通过成像部310获取的成像视频数据应用各种各样的图像处理,由此生成显示视频数据。通过执行步骤S213中的处理,通过成像部310获取的成像视频数据变成已经校正了图像移动的数据。相应地,在步骤S207中,生成已校正了图像移动的显示视频数据。
在步骤S207中的处理结束时,将生成的显示视频数据传输至显示部320(步骤S215)。然后,基于显示视频数据在显示部320上显示图像。在该连接中,步骤S215中的处理与通过图6中所示的图像处理部344a执行的处理对应。
在上文中,描述了根据第二实施方式的图像移动校正方法的处理过程。
(3.补充)
上面参考所附附图描述了本公开的优选实施方式,然而,本公开并不局限于上述实施例。本领域技术人员可以发现所附权利要求书的范围内的各种变更和改造,并且应当理解的是,其自然落在本公开的技术范围内。
例如,上述所述各个实施方式中的相应构造可以在可能的范围内彼此组合。例如,在观察装置10中,可以一起执行存在或不存在根据第一实施方式的图像移动的发生的鉴别处理(即,通过比较最新的成像视频数据与之前的成像视频数据而进行鉴别的方法)和存在或不存在根据第二实施方式的图像移动的发生的鉴别处理(即,基于成像部310的移动信息进行鉴别的方法)。在这种情况下,例如,在其中任何一个中鉴别出发生了图像移动的情况下,最终可以鉴别发生了图像移动。通过彼此不同的两种方法单独鉴别存在或不存在图像移动的发生,由此变得可以更为准确地执行鉴别处理。
而且,在上文中,作为一个实施例,尽管描述了使用观察系统1执行手术的情况,然而,本技术不应局限于该实施例。如上面描述的,根据第一实施方式和第二实施方式,获得其中抑制了非预期的图像移动的更为稳定的图像变得可能。因此,例如,在使用观察系统1执行各种各样的医疗实践(诸如检查等)时,可以获得相似的效果。
进一步地,本说明书中描述的效果仅是示出性或例证效果、并且不受限制。即,利用或替代上述效果,根据本公开的技术可以从本说明书中的描述实现对本领域技术人员显而易见的其他效果。
此外,本技术还可以被配置成如下。
(1)一种医疗观察装置,包括:
成像部,获取成像视频数据,该成像视频数据为通过拍摄观察对象而获得的视频数据;
支撑部,支撑成像部;
鉴别部,基于成像视频数据鉴别存在或者不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的图像移动的发生;以及
校正部,在鉴别部鉴别出不存在视野移动指令的输入并且发生图像移动的情况下,通过校正图像移动,基于成像视频数据生成显示视频数据,作为显示在显示装置上的视频数据。
(2)根据(1)所述的医疗观察装置,其中,鉴别部鉴别存在或不存在视野移动指令的输入,存在或不存在视野移动指令的输入与存在或不存在指示经由输入装置移动成像部的操作输入对应。
(3)根据(1)或(2)所述的医疗观察装置,其中,鉴别部鉴别与存在或不存在来自导航设备的指令的输入对应的、存在或不存在视野移动指令的输入,导航设备对医疗观察装置发出指示移动成像部的指令。
(4)根据(1)至(3)中任一项所述的医疗观察装置,其中,鉴别部通过比较最新的成像视频数据与之前获取的成像视频数据来鉴别存在或不存在图像移动的发生。
(5)根据(1)至(4)中任一项所述的医疗观察装置,进一步包括:
移动检测部,获取指示成像部的移动的移动信息;
其中,鉴别部基于移动信息鉴别存在或不存在图像移动的发生。
(6)根据(1)至(5)中任一项所述的医疗观察装置,其中,当通过切割与成像视频数据有关的图像的预定区域来生成显示视频数据时,校正部通过调整预定区域的切割位置来校正图像移动。
(7)根据(1)至(5)中任一项所述的医疗观察装置,进一步包括:
移动检测部,获取指示成像部的移动的移动信息;
其中,基于移动信息,校正部通过移动构成成像部的图像传感器或光学系统的位置来校正图像移动。
(8)根据(1)至(7)中任一项所述的医疗观察装置,其中,通过利用电子变焦功能放大两倍或更多倍,在显示装置上显示通过校正部生成的显示视频数据。
(9)根据(1)至(8)中任一项所述的医疗观察装置,其中,在支撑部中,最薄部分的直径为30mm或更小。
(10)一种图像移动校正方法,包括:
捕获成像视频数据,,该成像视频数据为通过拍摄观察对象而获得的视频数据;
处理器基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的图像移动的发生;并且
在鉴别出不存在视野移动指令的输入并且发生图像移动的情况下,通过校正图像移动,校正部基于成像视频数据生成显示视频数据,作为待显示在显示装置上的视频数据。
(11)一种医疗观察系统,包括:
医疗观察装置,拍摄观察对象;和
显示装置,显示通过医疗观察装置拍摄的观察对象的图像;
其中,医疗观察装置包括:
成像部,获取成像视频数据,该成像视频数据为通过拍摄观察对象而获得的视频数据;
支撑部,支撑成像部;
鉴别部,基于成像视频数据鉴别存在或者不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的图像移动的发生;以及
校正部,在鉴别部鉴别出不存在视野移动指令的输入并且发生图像移动的情况下,通过校正图像移动,基于成像视频数据来生成显示视频数据,作为待显示在显示装置上的视频数据。
参考标识列表
1 观察系统
2,3 图像移动校正系统
10 显微镜装置
20 显示装置
110 显微镜部
111,310 成像部
112 筒部
120 支撑部(臂部)
130 基部
131 平台
132 轮脚
140 控制装置
151 变焦SW
152 聚焦SW
153 操作模式改变SW
210 第一旋转轴部
220 第二旋转轴部
230 第三旋转轴部
240 第四旋转轴部
250 第五旋转轴部
260 第六旋转轴部
241,242,243,244 臂
245,246,247,248 接合部
271 第一臂部
272 第二臂部
273 第三臂部
274 第四臂部
320 显示部
330 视野移动指令获取部
340,340a 控制部
341 存储器部
342,342a 鉴别部
343,343a 校正部
344,344a 图像处理部
345 驱动控制部。

Claims (11)

1.一种医疗观察装置,包括:
成像部,获取成像视频数据,该成像视频数据为通过拍摄观察对象而获得的视频数据;
支撑部,支撑所述成像部;
鉴别部,基于所述成像视频数据鉴别存在或者不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于所述成像视频数据鉴别存在或不存在针对显示在所述显示装置上的图像的图像移动的发生;以及
校正部,在所述鉴别部鉴别出不存在所述视野移动指令的输入并且发生所述图像移动的情况下,通过校正所述图像移动,基于所述成像视频数据生成显示视频数据作为待显示在所述显示装置上的视频数据。
2.根据权利要求1所述的医疗观察装置,其中,所述鉴别部鉴别存在或不存在所述视野移动指令的输入,存在或不存在所述视野移动指令的输入与存在或不存在指示经由输入装置移动所述成像部的操作输入对应。
3.根据权利要求1所述的医疗观察装置,其中,所述鉴别部鉴别与存在或不存在来自导航设备的指令的输入对应的存在或不存在所述视野移动指令的输入,所述导航设备对所述医疗观察装置发出指示移动所述成像部的指令。
4.根据权利要求1所述的医疗观察装置,其中,所述鉴别部通过比较最新的成像视频数据与之前获取的所述成像视频数据来鉴别存在或不存在所述图像移动的发生。
5.根据权利要求1所述的医疗观察装置,进一步包括:
移动检测部,获取指示所述成像部的移动的移动信息;
其中,所述鉴别部基于所述移动信息鉴别存在或不存在所述图像移动的发生。
6.根据权利要求1所述的医疗观察装置,其中,当通过切割与所述成像视频数据有关的图像的预定区域来生成所述显示视频数据时,所述校正部通过调整所述预定区域的切割位置来校正所述图像移动。
7.根据权利要求1所述的医疗观察装置,进一步包括:
移动检测部,获取指示所述成像部的移动的移动信息;
其中,基于所述移动信息,所述校正部通过移动构成所述成像部的成像元件或光学系统的位置来校正所述图像移动。
8.根据权利要求1所述的医疗观察装置,其中,通过利用电子变焦功能放大两倍或更多倍,在所述显示装置上显示通过所述校正部生成的显示视频数据。
9.根据权利要求1所述的医疗观察装置,其中,在所述支撑部中,最薄部分的直径为30mm或更小。
10.一种图像移动校正方法,包括:
捕获成像视频数据,该成像视频数据为通过拍摄观察对象而获得的视频数据;
处理器基于所述成像视频数据鉴别存在或不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于所述成像视频数据鉴别存在或不存在针对显示在所述显示装置上的图像的图像移动的发生;并且
在鉴别出不存在所述视野移动指令的输入并且发生所述图像移动的情况下,通过校正所述图像移动,校正部基于所述成像视频数据生成显示视频数据作为待显示在所述显示装置上的视频数据。
11.一种医疗观察系统,包括:
医疗观察装置,拍摄观察对象;和
显示装置,显示通过所述医疗观察装置拍摄的所述观察对象的图像;
其中,所述医疗观察装置包括:
成像部,获取成像视频数据,该成像视频数据为通过拍摄观察对象而获得的视频数据;
支撑部,支撑所述成像部;
鉴别部,基于所述成像视频数据鉴别存在或者不存在针对显示在显示装置上的图像的视野移动指令的输入,并且基于所述成像视频数据鉴别存在或不存在针对显示在所述显示装置上的图像的图像移动的发生;以及
校正部,在所述鉴别部鉴别出不存在所述视野移动指令的输入并且发生所述图像移动的情况下,通过校正所述图像移动,基于所述成像视频数据生成显示视频数据作为待显示在所述显示装置上的视频数据。
CN201780018687.3A 2016-03-31 2017-03-10 医疗观察装置、图像移动校正方法、及医疗观察系统 Pending CN109152519A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-070022 2016-03-31
JP2016070022 2016-03-31
PCT/JP2017/009651 WO2017169650A1 (ja) 2016-03-31 2017-03-10 医療用観察装置、映像移動補正方法及び医療用観察システム

Publications (1)

Publication Number Publication Date
CN109152519A true CN109152519A (zh) 2019-01-04

Family

ID=59964167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780018687.3A Pending CN109152519A (zh) 2016-03-31 2017-03-10 医疗观察装置、图像移动校正方法、及医疗观察系统

Country Status (5)

Country Link
US (1) US11422346B2 (zh)
EP (1) EP3437547A4 (zh)
JP (1) JPWO2017169650A1 (zh)
CN (1) CN109152519A (zh)
WO (1) WO2017169650A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694476A (zh) * 2020-05-15 2020-09-22 平安科技(深圳)有限公司 平移浏览方法、装置、计算机系统及可读存储介质
CN113392675A (zh) * 2020-03-12 2021-09-14 平湖莱顿光学仪器制造有限公司 一种呈现显微视频信息的方法与设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208752B2 (ja) * 2018-09-26 2023-01-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、医療用観察装置、および制御方法
EP3657512B1 (en) * 2018-11-23 2022-02-16 Siemens Healthcare GmbH Integrated medical image visualization and exploration
EP4205691A4 (en) * 2020-10-15 2024-02-21 Sony Olympus Medical Solutions Inc MEDICAL IMAGE PROCESSING DEVICE AND MEDICAL OBSERVATION SYSTEM
DE102021126658B8 (de) 2021-10-14 2023-01-05 Carl Zeiss Meditec Ag Medizinisches Visualisierungsystem und Verfahren zur Video-Stabilisierung bei einem solchen System

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278781A1 (en) * 2007-05-10 2008-11-13 Leica Microsystems (Schweiz) Ag Optical Device With Vibration Compensation
US20090020666A1 (en) * 2007-07-20 2009-01-22 Carl Zeiss Surgical Gmbh Stand arrangement and stand for a medico-optical instrument
CN102045489A (zh) * 2009-10-15 2011-05-04 奥林巴斯株式会社 图像处理装置以及图像处理方法
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
CN102905641A (zh) * 2010-05-14 2013-01-30 直观外科手术操作公司 具有联动式控制模式的医疗机器人系统
CN103269636A (zh) * 2010-12-24 2013-08-28 奥林巴斯株式会社 内窥镜装置以及程序
WO2015115073A1 (en) * 2014-01-30 2015-08-06 Sony Corporation Endoscopic system, image processing device, image processing method, and program
CN104837432A (zh) * 2012-12-11 2015-08-12 奥林巴斯株式会社 内窥镜装置和控制内窥镜装置的方法
CN104869937A (zh) * 2013-02-25 2015-08-26 奥林巴斯株式会社 医疗用机械手和医疗用机械手控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
JP4832679B2 (ja) * 2001-09-11 2011-12-07 オリンパス株式会社 顕微鏡システム
JP4436623B2 (ja) 2003-06-19 2010-03-24 オリンパス株式会社 手術用顕微鏡システム
JP2005198700A (ja) 2004-01-13 2005-07-28 Olympus Corp 手術用顕微鏡システム
US7783133B2 (en) * 2006-12-28 2010-08-24 Microvision, Inc. Rotation compensation and image stabilization system
US10531869B2 (en) * 2009-12-16 2020-01-14 Boston Scientific Scimed, Inc. Tissue retractor for minimally invasive surgery
JP2012055498A (ja) * 2010-09-09 2012-03-22 Olympus Corp 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US10238457B2 (en) * 2013-09-13 2019-03-26 Vanderbilt University System and method for endoscopic deployment of robotic concentric tube manipulators for performing surgery
US9539059B2 (en) 2013-09-24 2017-01-10 Sony Olympus Medical Solutions Inc. Medical robot arm apparatus, medical robot arm control system, medical robot arm control method, and program
JP6519144B2 (ja) * 2014-11-06 2019-05-29 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278781A1 (en) * 2007-05-10 2008-11-13 Leica Microsystems (Schweiz) Ag Optical Device With Vibration Compensation
US20090020666A1 (en) * 2007-07-20 2009-01-22 Carl Zeiss Surgical Gmbh Stand arrangement and stand for a medico-optical instrument
CN102045489A (zh) * 2009-10-15 2011-05-04 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102905641A (zh) * 2010-05-14 2013-01-30 直观外科手术操作公司 具有联动式控制模式的医疗机器人系统
CN103269636A (zh) * 2010-12-24 2013-08-28 奥林巴斯株式会社 内窥镜装置以及程序
JP2012239644A (ja) * 2011-05-19 2012-12-10 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法
CN104837432A (zh) * 2012-12-11 2015-08-12 奥林巴斯株式会社 内窥镜装置和控制内窥镜装置的方法
CN104869937A (zh) * 2013-02-25 2015-08-26 奥林巴斯株式会社 医疗用机械手和医疗用机械手控制方法
WO2015115073A1 (en) * 2014-01-30 2015-08-06 Sony Corporation Endoscopic system, image processing device, image processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392675A (zh) * 2020-03-12 2021-09-14 平湖莱顿光学仪器制造有限公司 一种呈现显微视频信息的方法与设备
CN111694476A (zh) * 2020-05-15 2020-09-22 平安科技(深圳)有限公司 平移浏览方法、装置、计算机系统及可读存储介质

Also Published As

Publication number Publication date
EP3437547A4 (en) 2019-04-03
JPWO2017169650A1 (ja) 2019-02-14
US20190107699A1 (en) 2019-04-11
WO2017169650A1 (ja) 2017-10-05
US11422346B2 (en) 2022-08-23
EP3437547A1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
CN109152519A (zh) 医疗观察装置、图像移动校正方法、及医疗观察系统
JP7208972B2 (ja) 医療用観察装置
JP6816721B2 (ja) 医療用支持アーム装置及び医療用システム
EP3531953A1 (en) Medical spatial orientation system
US20160131880A1 (en) Medical observation apparatus, medical video microscope apparatus, and medical video microscope system
JPWO2018100828A1 (ja) 顕微鏡装置及び制御方法
JP6965338B2 (ja) 医療用観察装置、制御装置、及び観察視野補正方法
US11284000B2 (en) Medical observation device, medical observation system, and image shake correction method
JP2019042412A (ja) 医療用観察装置、および医療用観察システム
US20200093545A1 (en) Control apparatus, control method, and medical observation system
JP6656237B2 (ja) 手術用顕微鏡装置及び手術用顕微鏡システム
JP6935409B2 (ja) 医療用観察装置及び医療用観察システム
US20200008649A1 (en) Control device of endoscope system, and control method of endoscope system
US11648082B2 (en) Medical holding device, and medical observation device
JP2020028374A (ja) 医療用観察装置、および医療用観察システム
JP2019168579A (ja) 医療用観察装置
JP2014155592A (ja) 内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104

WD01 Invention patent application deemed withdrawn after publication