CN108885335B - 医用立体观察装置、医用立体观察方法以及程序 - Google Patents

医用立体观察装置、医用立体观察方法以及程序 Download PDF

Info

Publication number
CN108885335B
CN108885335B CN201780018967.4A CN201780018967A CN108885335B CN 108885335 B CN108885335 B CN 108885335B CN 201780018967 A CN201780018967 A CN 201780018967A CN 108885335 B CN108885335 B CN 108885335B
Authority
CN
China
Prior art keywords
imaging
image
eye image
imaging unit
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780018967.4A
Other languages
English (en)
Other versions
CN108885335A (zh
Inventor
加户正隆
石川朝规
樋口岳治
后田公
山元敬裕
木村正成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of CN108885335A publication Critical patent/CN108885335A/zh
Application granted granted Critical
Publication of CN108885335B publication Critical patent/CN108885335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A61B3/132—Ophthalmic microscopes in binocular arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)
  • Radiology & Medical Imaging (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

为了进一步减少与可归因于多个成像器之间的误差的观察图像中的失真校正相关的负荷。[解决方案]提供一种用于医学用途的立体观察装置，包括：获取单元，从成像单元获取校正数据，成像单元包括获取用于左眼的图像的第一成像器和用于获取用于右眼的图像的第二成像器，并且成像单元由支撑件可旋转地保持，校正数据用于校正第一成像器和第二成像器之间的图像中的成像误差；以及校正单元，将对应于成像单元的旋转轴的位置用作参考位置，基于校正数据校正用于左眼的图像和用于右眼的图像之间的视差偏移。

Description

医用立体观察装置、医用立体观察方法以及程序
技术领域
本公开涉及医用立体观察装置、医用立体观察方法以及程序。
背景技术
近来，由于手术技术和手术设备的进步，经常要进行手术，用于在用诸如手术显微镜或内窥镜等医用观察装置观察手术部位的同时进行各种治疗(也称为显微手术)。此外，这种医用观察装置不限于能够对手术部位进行光学观察的装置，还包括将由成像部(相机)等拍摄的手术部位的图像等作为电子图像显示在诸如监视器等显示器上的装置。
此外，当在显示器上显示由观察装置的成像部拍摄的手术部位的图像时，图像经常被显示为平面的二维(2D)图像。然而，由于从2D图像难以获得透视感，并且手术部位和治疗工具之间的相对距离可能难以掌握，所以近年来，还开发了将手术部位的捕获图像显示为立体三维(3D)图像的技术。
以这种方式，在将手术区域的获取图像显示为立体3D图像的观察装置(在下文中，有时称为“立体观察装置”)中，例如，由多个成像部从彼此不同的视点获取手术区域的图像(在下文中，也称为作为“视点图像”)。然后，通过使左眼和右眼观察由彼此不同的成像部获取的视点图像，可以使用户观察手术区域的图像，作为基于视点图像之间的视差的立体3D图像。例如，专利文献1公开了用于通过由多个成像部获取对象的视差图像来促使基于视差图像观察该对象的立体3D图像的机制的示例。
引用列表
专利文献
专利文献1：US 6157337 A
发明内容
技术问题
另一方面，在通过多个成像部获取视点图像的情况下，由于与因为组装透镜等所生成的多个成像部之间的图像的获取相关的误差，在某些情况下，在视差图像之间产生成像对象(手术区域)的尺寸(放大百分比)的差异以及图像的中心位置的偏移。因为视差图像之间的这种差异，在某些情况下，在基于视差图像观察的对象的立体3D图像(在下文中，也称为“观察图像”)中产生失真。
特别是在医用立体观察装置中，可以采用在手术区域周围旋转成像部的同时(例如，在进行成像部的枢转运动的同时)，从不同方向观察观察目标手术区域的使用形式。在这种使用形式中，在某些情况下，根据成像部相对于手术区域的位置和姿态，由与多个成像部之间的图像的获取相关的误差(即，要被获取的视差图像之间的偏移)引起的观察图像的失真可能突出。
作为校正3D图像的上述失真的方法，例如，存在通过对每个获取的视点图像执行图像分析处理来检测视差图像之间的偏移并通过图像处理校正偏移的方法。然而，在该方法中，实时执行视差图像之间的偏移的检测和偏移的校正，图像处理功能的处理负荷增加，在某些情况下，功耗最终增加。
鉴于上述情况，本公开提出了医用立体观察装置、医用立体观察方法和程序，其可以减少与由多个成像部之间的误差引起的观察图像的失真校正相关的更多负荷。
问题的解决方案
根据本公开，提供了一种医用立体观察装置，包括：获取部，被配置为从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及校正部，被配置为将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异。
另外，根据本公开，提供了一种医用立体观察方法，包括：从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及由处理器将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异。
另外，根据本公开，提供了一种程序，促使计算机执行：从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，所述校正数据用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异。
发明的有益效果
如上所述，根据本公开，提出了医用立体观察装置、医用立体观察方法和程序，其可以减少与由多个成像部之间的误差引起的观察图像的失真校正相关的更多负荷。
注意，上述效果不一定是限制性的。具有或取代上述效果，可以实现本说明书中描述的任何一种效果或可从本说明书中掌握的其他效果。
附图说明
图1是用于说明根据本公开的实施例的医用立体观察装置的应用示例的说明图。
图2是示出根据本实施例的医用立体观察装置的外观的示例的示意图。
图3是用于说明根据该实施例的观察装置的使用形式的示例的说明图。
图4是图解地示出产生视差差异的情况的示图。
图5是示出根据本实施例的医用立体观察装置的功能配置的示例的方框图。
图6是用于说明本实施例中的校正数据的示例的说明图。
图7是用于说明双边差异校正数据的示例的说明图。
图8是示出根据本实施例的医用立体观察装置的一系列处理的流程的示例的流程图。
图9是用于说明与视差差异的校正相关的处理的示例的说明图。
图10是示出根据本实施例的医用立体观察装置的一系列处理的流程的另一示例的流程图。
图11是示出构成根据本实施例的医用立体观察系统的信息处理装置的硬件配置的示例配置的功能方框图。
具体实施方式
在下文中，将参考附图详细描述本发明的优选实施例。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。
在下文中，按照下述顺序进行说明。
1、医用立体观察装置的概述
1.1、医用立体观察装置的应用示例
1.2、医用立体观察装置的外观
2、医用立体观察装置的探讨
3、功能配置
4、处理
4.1、与视差差异的校正相关的处理
4.2、与透镜位置校正相关的处理
5、硬件配置
6、结论
<<1、医用立体观察装置的概述>>
<1.1、医用立体观察装置的应用示例>
首先，为了进一步阐明本公开，将描述根据本公开的实施例的医用立体观察装置的应用示例。
图1是用于说明根据本公开的实施例的医用立体观察装置的应用示例的说明图。图1示出了使用根据本公开的实施例的医用立体观察装置的应用示例的情况的示例，其中，配备有臂部的手术视频显微镜装置用作医用立体观察装置。
图1示意性地示出了使用根据本实施例的手术视频显微镜装置执行医疗进程的方式。具体地，参考图1，示出了以下状态，其中，作为手术医生(用户)520的医师正在使用手术工具521(例如，手术刀、镊子或钳子)对躺在手术台530上的手术对象(患者)540进行手术。注意，在下面的描述中，医疗进程用作表示由作为用户520的医生对作为手术对象540的患者执行的各种类型的医疗处理(例如，手术或检查)的统称。另外，尽管图1示出了作为医疗进程的示例的手术的情况，使用手术视频显微镜装置510的医疗进程不限于手术，并且可以是各种其他类型的医疗进程中的任何一种，例如，使用内窥镜检查。
在手术台530的旁边，设置根据本实施例的手术视频显微镜装置510。手术视频显微镜装置510配备有作为基座的基座部511、从基座部511延伸的臂部512、以及在臂部的前缘上作为前缘单元连接的成像单元515。臂部512包括多个接合部513a、513b和513c，由接合部513a和513b连接的多个连杆514a和514b，以及设置在臂部512的前缘的成像单元515。在图1的示例中，为了简单起见，臂部512包括三个接合部513a到513c和两个连杆514a和514b，但实际上，臂部512和成像单元515的位置和姿态的自由度可以认为适当地配置诸如接合部513a至513c和连杆514a和514b的数量和形状以及接合部513a至513c的驱动轴的方向等因素，以便实现期望的自由度。
接合部513a到513c具有将连杆514a和514b彼此可旋转地接合的功能，通过驱动接合部513a到513c旋转，控制臂部512的驱动。此处，在以下描述中，手术视频显微镜装置510的每个结构元件的位置是指在驱动控制规定的空间内的位置(坐标)，而每个结构元件的姿势是指相对于驱动控制规定的空间中的任意轴的方向(角度)。此外，在以下描述中，臂部512的驱动(或驱动控制)是指接合部513a到513c的驱动(或驱动控制)以及通过进行接合部513a到513c的驱动(或驱动控制)来改变(或控制这种变化)臂部512的每个结构元件的位置和姿势。
在臂部512的前缘处，成像单元515连接作为前缘单元。成像单元515是获取成像目标的图像的单元，并且例如，是能够捕获运动图像或静止图像的诸如照相机等装置。如图1所示，臂部512和成像单元515的姿态和位置由手术视频显微镜装置510控制，使得设置在臂部512的前缘的成像单元515捕获手术对象540的手术部位。注意，作为前缘单元连接在臂部512的前缘的成像单元515的配置没有特别限制，并且成像单元515可以被配置为例如内窥镜或显微镜。此外，成像单元515还可以被配置为可附接到臂部512并且可从臂部512移除。依照这种配置，根据使用场景，成像单元515可以适当地连接到臂部512的前缘，作为前缘单元。注意，尽管此处的描述着重于将成像单元515用作前缘单元的情况，但显然，连接到臂部512前缘的前缘单元不一定限于成像单元515。
此外，在面向用户520的位置处，安装诸如监视器或显示器等显示装置550。由成像单元515捕获的手术部位的图像作为电子图像显示在显示装置550的显示屏上。用户520在观看显示在显示装置550的显示屏上的手术部位的电子图像的同时进行各种治疗。
以这种方式，在医疗领域中，本实施例提出用手术视频显微镜装置510对手术部位进行成像的同时进行手术。
特别地，根据本公开的实施例的手术视频显微镜装置510(即，医用立体观察装置)被配置为能够获取用于将成像目标显示为三维图像(3D图像)的图像数据。
作为具体示例，手术视频显微镜装置510设置有包括两个成像部子系统(例如，相机单元)的立体相机，作为成像单元515，从而经由每个成像部获取来自多个不同视点的图像(换言之，视点图像)。
由成像单元515获取的多个视点图像中的每一个由嵌入或外部连接到视频显微镜装置510的图像处理装置进行各种图像处理，然后，分别作为左眼图像和右眼图像显示在显示装置550。注意，在本说明书中，右眼图像表示具有用于观察与用户的右眼对应的视点的设定视差的所谓的视差图像，以使得用户能够观察3D图像。类似地，左眼图像表示具有用于观察与用户的左眼对应的视点的设定视差的视差图像，以使得用户能够观察3D图像。
注意，已经提出了各种技术，作为使得用户520能够将显示在显示装置550上的图像作为3D图像观察为左眼图像和右眼图像的机制。作为具体示例，存在使用专用眼镜来使左眼和右眼观察彼此不同的图像(换言之，左眼图像和右眼图像)的技术。此外，近年来，也提出了无需使用专用眼镜即可观察三维图像的无眼镜3D图片技术。
此外，使用如上所述的医疗观察装置的情况也包括应当检查各种信息(包括手术部位的图像)的情况。在这种情况下，还可以预期使用模式，例如，分别在多个显示器上显示图像或在显示器内显示多个图像。作为具体示例，预期在一个显示器上显示手术部位的整体图片，而在另一显示器上显示手术部位的放大图像的情况。作为另一示例，还预期以下情况：在一个显示器上显示手术部位的图像，同时在另一显示器上显示另一成像装置拍摄的图像，例如，计算机断层摄影(CT)图像或磁共振成像(MRI)图像。为此，在某些情况下，也可以提供多个显示装置550。
上面这样参考图1，作为使用根据本公开的实施例的医用立体观察装置的应用示例，描述配备有臂的手术视频显微镜装置用作医用立体观察装置的情况的示例。
<1.2、医用立体观察装置的外观>
接下来，将参考图2，描述在根据本公开的实施例的医用立体观察系统中的具有臂的手术视频显微镜装置的示意性配置，作为获取图像数据(即，从多个视点成像的视点图像)的手术视频显微镜装置(即，医用立体观察装置)的示例，用于显示作为三维图像的成像目标。图2是示出根据本公开的实施例的医用立体观察装置的外观的示例的示意图。
如图2所示，用作根据本实施例的医用立体观察装置的示例的观察装置400包括基座部405、支持部406和成像单元407。例如，基座部405被配置为在地板表面上可移动，并且支撑所述支持部406。此外，成像单元407被支撑在支持部406的前缘。
成像单元407是获取成像目标的图像的单元，并且可以由诸如捕获运动图像或静止图像的相机等装置来配置。例如，成像单元407被配置为显微镜部。此外，通过控制支持部406的驱动，控制成像单元407的位置和姿势。在本实施例中，成像单元407对例如患者身体的部分区域进行成像，部分区域是手术部位。注意，如上所述，在根据本实施例的观察装置400中，成像单元407被配置为能够从多个不同的视点获取图像(即，用于将成像目标显示为三维图像的图像数据)，例如，立体相机。
例如，支持部406包括接合部411至416和臂部421至425。例如，在图2所示的示例中，包括四组，每组包括两个臂部以及将两个臂部中的一个(前缘侧)可旋转地接合到另一个(后缘侧)的接合部。
接合部411将成像单元407可旋转地保持在前缘侧，并且在固定到臂部421的前缘部分的状态下，由臂部421保持在后缘侧。接合部411具有圆柱形状，并且保持成像单元407，以便可绕在高度方向上作为中心轴的第一轴O1旋转。臂部421具有从接合部411的侧表面沿与第一轴O1正交的方向延伸的形状。
接合部412将臂部421可旋转地保持在前缘侧，并且在固定到臂部422的前缘部分的状态下由臂部422保持在后缘侧。接合部412具有圆柱形状，并且保持臂部421，以便可绕在高度方向上作为中心轴的第二轴O2以及与第一轴O1正交的轴旋转。臂部422具有大致L形形状，并且在L形的竖直线部分的边缘部分处，接合到接合部412。
接合部413在前缘侧可旋转地保持臂部422的L形水平线部分，并且在固定到臂部423的前缘部分的状态下由臂部423保持在后缘侧上。接合部413具有圆柱形状，并保持该臂部422，以便可绕在高度方向作为中心轴的第三轴O3、与第二轴O2垂直的轴、以及与臂部422延伸的方向平行的轴旋转。臂部423的前缘侧具有圆柱形状，并且在后缘侧形成在与前缘侧的圆筒的高度方向正交的方向贯穿的孔部。接合部413由接合部414经由孔部可旋转地保持。
接合部414将臂部423可旋转地保持在前缘侧，并且在固定到臂部424的状态下，由臂部424保持在后缘侧。接合部414具有圆柱形状，并且保持臂部423，以便可绕在高度方向上作为中心轴的第四轴O4以及与第三轴O3正交的轴旋转。
接合部415将臂部424可旋转地保持在前缘侧，并且在后缘侧固定地附接到臂部425。接合部415具有圆柱形状，并保持该臂部424，以便可绕在高度方向上作为中心轴的第五轴O5以及与第四轴O4平行的轴旋转。臂部425包括具有L形的部分以及从L形的水平线部分向下延伸的杆状部分。接合部415在后缘侧附接到臂部425的L形的垂直线部的边缘部分。
接合部416将臂部425可旋转地保持在前缘侧，并且在后缘侧固定地附接到基座部405的顶面。接合部416具有圆柱形状，并保持该臂部425，以便可绕在高度方向上作为中心轴的第六轴O6以及与第五轴O5正交的轴旋转。臂部425的杆状部分的后缘部分附接到接合部416的前缘侧。
具有上述配置的支持部406在成像单元407(显微镜部)中实现总共具有六个自由度的运动，具有三个平移自由度和三个旋转自由度。
例如，图3是用于说明根据本实施例的观察装置的使用形式的示例的说明图。在图3所示的示例中，成像部407的焦点固定到手术区域M1上的位置O11，并且在沿着以附图标记O12表示的位置为中心的圆形轨道R移动成像部407的同时(即，在执行成像部407的枢转运动的同时)，获取手术区域M1的图像。通过这种控制，通过围绕手术区域M1的期望位置(即，焦点位置O11)旋转成像部407，可以从多方向观察手术区域M1的期望位置。注意，在以下描述中，如图3中所示的观察方法(使用形式)也将称为“枢轴观察”。
<<2、医用立体观察装置的探讨>>
接下来，为了更容易理解根据本实施例的医用立体观察装置的特征，将参考图4来组织医用立体观察装置的问题。图4是用于说明根据本实施例的医用立体观察装置的问题的说明图。
在促使观察目标(手术区域)的图像被观察为立体3D图像的的立体观察装置中，如上所述，例如，包括多个成像部的成像单元(所谓的立体相机)从多个不同的视点获取观察目标的图像(即，视点图像)。然后，控制由各成像部获取的视点图像，以便由用户的右眼和左眼的彼此不同的眼睛观察。根据这种配置，用户可以观察该观察目标的图像，作为立体3D图像。
另一方面，由于在构成成像单元的多个成像部之间产生的诸如组装透镜等光学系统时的变化等，在某些情况下，在由相应成像部获取的视点图像之间产生图像的中心位置的偏移(在下文中，也称为“视差”)或者成像对象(手术区域)的尺寸差异(在下文中，也称为“放大差异”)。
例如，图4是图解地示出产生视差差异的情况的示图。在图4中，附图标记G1L示意性地示出了要获取用于促使左眼观察的视差图像(左眼图像)的范围。另外，附图标记G1R示意性地示出了要获取用于促使右眼观察的视差图像(右眼图像)的范围。如图4所示，在产生视差差异的情况下，当用户按原样观察视差图像时，用户通过左眼和右眼观察具有偏移的成像范围的图像，并且在某些情况下，视差差异作为3D图像的失真是突出的。
更具体地，期望组装每个成像部的光学系统等，使得多个成像部获取的视差图像(例如，左眼图像和右眼图像)的相应中心以及为了使成像单元旋转(即，图2中所示的第一轴O1)而提供的在高度方向上的中心轴在图4中所示的XY平面上大致匹配。然而，如上所述，由于在组装诸如透镜等光学系统时的变化等，在某些情况下，在由多个成像部中至少任一个获取的视差图像的中心与基于上述中心轴的位置之间产生偏移。由于这种偏移，在某些情况下，上述视差差异突出。
另外，在产生放大差异的情况下，在由多个成像部各自获取的视差图像中，观察目标以彼此不同的放大百分比成像。因此，在产生放大差异的情况下，当用户按原样观察视差图像时，用户通过左眼和右眼观察具有彼此不同的放大百分比的图像，并且在某些情况下，放大差异作为3D图像的失真而突出，类似于产生视差差异的情况。
作为校正由视差差异、放大差异等引起的3D图像的这种失真的方法，例如，存在通过对每个获取的视点图像执行图像分析处理并通过图像处理校正偏移来检测视点图像之间的偏移的方法。然而，在该方法中，实时执行视点图像之间的偏移的检测和偏移的校正，并且图像处理功能的处理负荷增加，并且在某些情况下，功耗最终增加。
鉴于前述内容，本公开提出了一种机制，该机制可以减少与由多个成像部之间的误差引起的视点图像之间的偏移产生的3D图像(即，观察图像)的失真的校正相关的更多处理负荷，例如，视差差异和放大差异。因此，在以下描述中，将更详细地描述根据本实施例的医用立体观察装置。
<<3、功能配置>>
首先，将参考图5描述根据本实施例的医用立体观察装置的功能配置的示例。图5是示出根据本实施例的医用立体观察装置的功能配置的示例的方框图。
如图5所示，根据本实施例的医用立体观察装置1包括成像单元20、图像处理装置10、成像控制装置30和显示装置40。
成像单元20对应于参考图1描述的成像单元515，并且例如，可以配置为显微镜。具体地，如图5所示，成像单元20包括例如成像部201a和201b、光学系统203、校正数据存储部205和驱动部207。
成像部201a和201b可以包括图像传感器，例如，互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。注意，在以下描述中，当没有特别区分时，成像部201a和201b可以简单地指定为“成像部201”。
成像部201a和201b从彼此不同的视点获取成像目标的图像，并将各自获取的视点图像输出到稍后描述的图像处理装置10。成像部201a和201b可以被配置为能够获取运动图像。注意，为了方便起见，将假设成像部201a获取左眼图像并且成像部201b获取右眼图像，来给出该描述。
光学系统203包括诸如聚焦透镜和变焦透镜等各种透镜，并且是用于在成像部201的图像传感器上形成成像目标的图像的配置。包括在光学系统203中的透镜可以被配置为在光轴上可移动。例如，通过控制聚焦透镜在光轴上的位置，控制光学系统203的焦点的位置。另外，通过控制变焦透镜在光轴上的位置，控制光学系统203的变焦的放大百分比(即，变焦位置)。
驱动部207包括例如电动机、向电动机提供驱动电流的驱动电路等，并且沿着光轴移动包括在光学系统203中的透镜(例如，聚焦透镜和变焦透镜)。注意，驱动部207的操作由稍后描述的成像控制装置30控制。
校正数据存储部205是存储校正数据的存储区域，该校正数据用于校正由成像部201a和201b之间的误差引起的各种差异。例如，校正数据存储部205由诸如电可擦除可编程只读存储器(EEPROM)等非易失性存储器配置。另外，校正数据包括用于校正由成像部201a和201b分别获取的视点图像之间的差异的数据，例如，上述视差差异和放大差异。另外，校正数据可以包括用于校正成像部201a和201b的相应成像器之间的特性差异(变化)的数据。
例如，图6是用于说明本实施例中的校正数据的示例的说明图。在图6中，作为主数据示出的数据表示要存储在成像单元20的校正数据存储部205中的校正数据的示例。具体地，校正数据(主数据)包括各种数据，例如，用于调整透镜光学系统的双边差异(例如，视差差异、放大差异和失真)的数据，例如，用于调整透镜光学系统的个体变化(例如，透镜位置)的数据，以及用于调整成像器之间的个体差异(例如，颜色、亮度、白平衡和白点)的数据。
白点校正数据是用于校正由成像器的像素缺陷产生的图像中的部分点(所谓的白点)的缺陷的数据。成像器的像素缺陷包括在成像单元20出厂时存在的初始缺陷以及在后期阶段产生的缺陷，例如，老化退化和故障。因此，可以存储用于校正从早期阶段产生的白点的数据和用于校正在后期阶段产生的白点的数据，作为白点校正数据。
双边差异校正数据是用于校正上述视差差异的数据。具体地，例如，基于由成像部201a和201b分别获取的图像(即，左眼图像和右眼图像)的中心相对于预定的参考位置(例如，成像部201a和成像部201b之间的中心)的偏移方向和偏移量，产生双边差异校正数据。例如，参考位置的示例包括基于高度方向上的中心轴的位置(例如，XY平面上的第一轴O1的位置)，提供该中心轴(即，图2所示的第一轴O1)，用于旋转成像单元。另外，例如，参考位置可以是基于成像部201a和成像部201b之间的中心的位置。例如，在图4所示的示例中，X轴和Y轴的交叉点(即，原点)对应于参考位置，并且左眼图像和右侧的相应中心的X方向和Y方向相对于参考位置的偏移量对应于用作双边差异校正数据的信息的示例。
注意，左眼图像和右眼图像的各自中心的偏移也根据变焦位置(变焦的放大百分比)而变化。因此，可以针对每个变焦位置存储双边差异校正数据。例如，图7是用于说明双边差异校正数据的示例的说明图。在图7中，附图标记P01至P100分别表示变焦位置。另外，附图标记L01至L100表示要在该侧获取左眼图像的成像部侧的变焦位置，并且分别对应于变焦位置P01至P100。以类似的方式，附图标记R01至R100表示要在该侧获取右眼图像的成像部侧的变焦位置。
换言之，在图7所示的示例中，存储基于左眼图像的中心位置的偏移的数据和基于右眼图像的中心位置的偏移的数据，作为用于每个变焦位置P01至P100的双边差异校正数据。
例如，关注与变焦位置P01对应的双边差异校正数据。在这种情况下，例如，包括表示成像部201a的变焦位置的信息L01以及表示在变焦位置L01获取的图像的中心位置的偏移的信息块XL01和YL01，作为用于校正由成像部201a获取的左眼图像的数据。注意，数据XL01表示中心位置的X方向的偏移，数据YL01表示中心位置的Y方向的偏移。以类似的方式，包括表示成像部201b的信息块的变焦位置的信息R01以及表示在变焦位置R01获取的图像的中心位置的偏移的XR01和YR01，作为用于校正由成像部201b获取的右眼图像的数据。注意，数据XR01表示中心位置的X方向的偏移，数据YR01表示中心位置的Y方向的偏移。另外，这同样适用于变焦位置P02至P100。
另外，在图6所示的主数据(校正数据)中，颜色校正数据是用于校正成像部201a和201b的相应成像器之间的颜色特性差异的数据。另外，放大差异校正数据是用于校正成像部201a和201b之间的变焦的放大百分比差异的数据，即，用于校正上述放大差异的数据。另外，透镜位置校正数据是用于校正透镜位置的偏移的数据，该偏移对应于用于在每个成像部201a和201b上形成成像目标的图像的每个透镜的组装的变化(即，个体变化)。另外，白平衡校正数据是用于校正成像部201a和201b的各成像器之间的白平衡差异的数据。
另外，失真校正数据是用于校正诸如透镜等光学系统的特性(失真)变化的数据。例如，当在成像部201a和201b之间存在光学系统的特性(例如，失真)变化时，在某些情况下，特性变化作为3D图像的失真是突出的。
另外，亮度校正数据是用于校正成像部201a和201b的各成像器之间的亮度(即，灵敏度)差异的数据。例如，在某些情况下，成像部201a和201b的各成像器之间的灵敏度差异作为左眼图像和右眼图像之间的亮度差异是突出的，并且导致观看3D图像的用户的视力疲劳。
注意，上述校正数据仅需要例如基于初步检查、实验等根据成像部201a和201b的相应属性产生，并且预先存储在校正数据存储部205中。例如，可以通过由成像部201a和201b分别在每个变焦位置获取图像，来获取双边差异校正数据。另外，以类似的方式，也可以基于初步实验、检查等的结果，预先产生白点校正数据、放大校正差异校正数据、失真校正数据、透镜位置校正数据、颜色校正数据、亮度校正数据和白平衡校正数据。另外，在校正数据中，可以添加或更新部分数据，用于校正由在后期阶段产生的因子所产生的差异，与在白点校正数据(在后期阶段产生的)中一样。
另外，如图6所示，例如，作为主数据存储在成像单元20中的至少部分校正数据在诸如电力输入时以及在识别成像单元20时等预定时刻(预定触发)传送到图像处理装置10和成像控制装置30。在从成像单元20接收到数据的传送时，图像处理装置10和成像控制装置30将数据保持在相应存储区域(稍后将描述的存储部103和303)中，作为高速缓存。注意，稍后将分别描述由图像处理装置10和成像控制装置30中的每一个使用校正数据执行的更具体处理的示例。
成像控制装置30是用于控制与成像单元20执行的图像的获取相关的操作的配置。例如，成像控制装置30设置在与成像单元20连接的参考图1描述的臂部512的一部分附近。另外，如图5所示，成像控制装置30包括控制部301和存储部303。
存储部303是用于暂时或永久地存储用于成像控制装置30实现各种功能的数据的存储区域。例如，存储部303由诸如闪存和只读存储器(ROM)等非易失性存储器配置。另外，存储部303可以包括主存储装置，该主存储装置包括诸如随机存取存储器(RAM)等易失性存储器。另外，存储在校正数据存储部205中的校正数据的至少部分数据(在下文中，数据也将统称为“校正数据”)从成像单元20传送到成像控制装置30。从成像单元20传送的校正数据暂时或永久地保持在存储部303中。注意，此时，存储部303可以将校正数据的至少部分数据作为高速缓存保持在具有高访问速度的存储装置中，例如，RAM。另外，存储部303可以保持已经从成像单元20传送的校正数据本身，作为高速缓存。
例如，控制部301由例如中央处理单元(CPU)等处理器(运算处理设备)配置成。控制部301基于存储在存储部303中的数据来控制成像单元20的操作。作为具体示例，控制部301可以通过控制成像单元20的驱动部207的操作，来控制光学系统203的每个透镜(例如，聚焦透镜或变焦透镜)的透镜位置。
另外，控制部301可以基于作为高速缓存保持在存储部303中的校正数据，校正与成像单元20执行的图像的获取相关的各种参数。例如，控制部301可以基于参考图6描述的透镜位置校正数据，来校正用于在相应成像部201a和201b上形成成像目标的图像的透镜之间的透镜位置(例如，透镜的默认位置)的偏移。
图像处理装置10是用于对成像单元20获取的图像执行各种类型的图像处理的配置。例如，图像处理装置10可以内置在参考图1描述的手术视频显微镜装置510的基座部511中，或者可以外部连接到手术视频显微镜装置510。此外，如图5所示，图像处理装置10包括图像处理部101a和101b、存储部103和3D图像产生部105。
存储部103是用于暂时或永久地存储用于图像处理装置10实现各种功能的数据的存储区域。存储部103由例如包括诸如固态驱动器(SSD)等非易失性存储器的辅助存储装置或者包括诸如随机存取存储器(RAM)等易失性存储器的主存储装置配置。另外，存储在校正数据存储部205中的校正数据的至少部分数据(在下文中，该数据也将统称为“校正数据”)从成像单元20传送到信息处理装置10。从成像单元20传送的校正数据暂时或永久地保持在存储部103中。注意，此时，存储部103可以将校正数据的至少部分数据作为高速缓存保持在具有高访问速度的存储装置中，例如，RAM。另外，存储部103可以保持已经从成像单元20传送的校正数据本身，作为高速缓存。
图像处理部101a和101b是用于对成像单元20获取的相应视点图像执行各种类型的图像处理的配置。例如，在图5所示的示例中，图像处理部101a从成像部201a获取由成像部201a获取的视点图像(即，左眼图像)，并且对所获取的视点图像执行各种类型的图像处理。另外，图像处理部101b从成像部201b获取由成像部201b获取的视点图像(即，右眼图像)，并且对所获取的视点图像执行各种类型的图像处理。注意，除了要处理的视点图像不同之外，图像处理部101a和101b具有彼此类似的配置。因此，在本说明书中，关注于图像处理部101a，来描述更详细的操作，并且将省略对图像处理部101b的更详细描述。
例如，通过对获取的视点图像执行图像分析，图像处理部101a可以提取满足预定条件的目标(例如，疾病的特定部位或焦点)，并且对提取的目标执行所谓的增强处理。另外，作为另一示例，图像处理部101a可以将由诸如计算机断层摄影(CT)和磁共振成像(MRI)等另一成像装置获取的图像叠加(融合)到所获取的视点图像上。应当理解，图像处理部101a可以操作，以执行用于使获取的视点图像显示为电子图像的最小化图像处理。
另外，图像处理部101a可以基于保持在存储部103中的校正数据(或校正数据的高速缓存)，校正由成像部201a和成像部201b之间的误差产生的另一视点图像(右眼图像)与所获取的视点图像(左眼图像)之间的差异。例如，图像处理部101a可以基于参考图6描述的双边差异校正数据来校正左眼图像和右眼图像之间的视差差异。注意，此时，图像处理部101a可以将例如如图3所示在枢转观察时成像单元20的焦点位置O11用作参考位置(即，用作成像单元20的旋转的参考的位置)，来校正视点图像之间(即，左眼图像和右眼图像之间)的视差差异。注意，例如，可以基于与支撑成像单元20的支持部(例如，臂部)的每个部分的位置和姿态的检测结果对应的成像单元20的位置和姿态，识别焦点位置O11。注意，稍后将分别描述视点图像之间的视差差异的校正方法的示例的细节。
另外，作为另一示例，图像处理部101a可以基于放大差异校正数据，来校正视点图像之间的放大差异。另外，图像处理部101a可以基于颜色校正数据，来校正视差图像之间的颜色特性的差异。另外，图像处理部101a可以基于白平衡校正数据，来校正视差图像之间的白平衡差异。另外，图像处理部101a可以基于白点校正数据，来校正由成像部201a的成像器中的像素缺陷产生的白点。注意，图像处理部101a和101b对应于“校正部”的示例。
以上述方式，图像处理部101a对从成像部201a获取的视点图像执行上述各种类型的图像处理和校正处理，并将处理后的视点图像输出到位于后续阶段的3D图像产生部105。
3D图像产生部105从图像处理部101a和101b获取已经由成像部201a和201b分别获取的视点图像，并且已经过各种类型的图像处理和校正处理。然后，3D图像产生部105基于所获取的视点图像(即，左眼图像和右眼图像)，产生具有用于使用户观察3D图像的设定视差的视差图像，并且促使在显示装置40上显示视差图像。注意，显示装置40对应于参考图1描述的显示装置550。
在本文中，作为3D图像产生部105的更详细处理的示例，将给出在促使用户基于无眼镜3D图片技术来观察3D图像的情况下执行的处理的描述。在这种情况下，例如，3D图像产生部105基于用户的假设视点之间的间隔(即，左眼和右眼之间的间隔)来计算为在每个视点处观察的图像设置的视差值。然后，3D图像产生部105产生所谓的多视点图像，其中，基于视差值的计算结果，呈现要由用户的左眼和右眼分别观察的视点图像，并且促使在显示装置40上显示产生的多视点图像。在多视点图像中呈现的视点图像(即，右眼图像和左眼图像)由光学元件(例如，透镜板)以及例如设置在显示装置40中并且分别在用户的对应视点(即，右眼和左眼)处观察的视差屏障分离。由此，用户可以经由显示装置40观察3D图像。
注意，用于促使观察3D图像的上述处理仅仅是示例，并且毋庸置疑，可以根据用于促使观察3D图像的方法和配置来适当地改变。
上面参考图5至7描述了根据本实施例的医用立体观察装置的功能配置的示例。注意，已经给出了示例的以上描述，其中，对应于成像单元20的成像部201a和201b的特性的校正数据存储在成像单元20的校正数据存储部205中，并且将校正数据传送到图像处理装置10和成像控制装置30。另一方面，如果图像处理装置10和成像控制装置30可以获取(参考)与连接的成像单元20对应的校正数据，则校正数据的传送源和保持校正数据的位置没有特别限制。作为具体示例，校正数据可以存储在外部服务器等中。在这种情况下，图像处理装置10和成像控制装置30仅需要根据连接到医用立体观察装置1的成像单元20，从服务器获取与成像单元20对应的校正数据。
另外，上面参考图5描述的根据本实施例的医用立体观察装置的功能配置仅仅是示例，并且功能配置不必仅限于上述示例。例如，如上所述，成像单元20还可以被配置为可附接和可移除，并且具有成像部201a和201b(例如，成像器等)和光学系统203的不同特性的成像单元20可以是按照目的连接。另外，与光学系统203对应的成像单元20的部分可以被配置为可附接和可移除，作为光学系统单元(透镜组)。在这种情况下，在上述校正数据中，与光学系统203的特性对应的数据可以存储在光学系统单元的存储区域中。
另外，上述医用立体观察装置的至少一部分可以整体配置。例如，图像处理装置10的配置和成像控制装置30的配置可以安装在一个基底或一个芯片上。另外，上述医用立体观察装置的一部分配置可以设置在医用立体观察装置的外部(例如，服务器等)上。作为具体示例，对应于图像处理装置10的3D图像产生部分105的处理可以由诸如服务器等外部装置执行。
<<4、处理>>
随后，将描述根据本实施例的医用立体观察装置的一系列处理的流程的示例，尤其关注于与图像处理装置10执行的视点图像之间的视差差异的校正相关的处理以及与成像控制装置30执行的透镜位置校正相关的处理。
<4.1、与视差差异校正相关的处理>
首先，参考图8，描述在图像处理装置10基于从成像单元20传送的校正数据对成像单元20获取的视点图像(即，左眼图像和右眼图像)执行视点图像之间的视差差异的校正的情况下执行的一系列处理的流程的示例。图8是示出根据本实施例的医用立体观察装置的一系列处理的流程的示例的流程图，并且示出与图像处理装置10执行的视差差异的校正相关的处理的流程。
首先，图像处理装置10从连接到医用立体观察装置1的成像单元20获取与成像单元20对应的校正数据，并将校正数据保持在预定存储区域(存储部103)中，作为高速缓存(S101)。
之后，图像处理装置10检测成像单元20的变焦位置。在这种情况下，通过从成像单元20获取指示变焦位置的检测结果的信息，例如，图像处理装置10可以识别变焦位置。另外，作为另一示例，通过从控制成像单元20的操作的成像控制装置30获取与变焦位置的控制结果对应的信息，图像处理装置10可以识别变焦位置(S103)。然后，根据变焦位置的检测结果，图像处理装置10从作为高速缓存而保持的校正数据中提取与变焦位置对应的双边差异校正数据(S105)。
之后，图像处理装置10基于提取的双边差异校正数据，来对由成像单元20获取的视点图像(即，左眼图像和右眼图像)执行与视点图像之间的视差差异的校正相关的处理。
在本文中，将参考图9描述与由图像处理装置10执行的视差差异的校正相关的处理的示例。图9是用于说明与视差差异的校正相关的处理的示例的说明图。
例如，图9左侧的示图图解地示出了在产生视差差异的情况下要作为左眼图像成像的范围与要作为右眼图像成像的范围之间的位置关系。注意，X方向对应于每个视点图像的水平方向。另外，Y方向对应于每个视点图像的垂直方向。另外，附图标记G1L表示要作为左眼图像成像的范围。另外，附图标记G1R表示要作为右眼图像成像的范围。
首先，图像处理装置10识别用于校正视点图像的视差差异的参考位置。作为具体示例，如图3所示，图像处理装置10可以识别成像单元20的焦点位置O11(即，在枢转观察时，用作成像单元20的旋转的参考的位置)，作为参考位置。注意，为了方便起见，将假设在图9的左侧的示图中，X轴和Y轴的交叉点是参考位置，来给出该描述。
之后，图像处理装置10在提取的双边差异校正数据中，基于指示左眼图像的中心位置的偏移的信息，来计算在参考位置与左眼图像的中心位置(即，成像范围G1L的中心位置)之间的偏移VL。以类似的方式，图像处理装置10在所提取的双边差异校正数据中，基于指示右眼图像的中心位置的偏移的信息，来计算在参考位置与右眼图像的中心位置(即，成像范围G1R的中心位置)之间的偏移VR。另外，图像处理装置10基于中心位置相对于参考位置所计算的偏移VL和VR，计算左眼图像的成像范围G1L与右眼图像的成像范围G1R之间的重叠区域。然后，图像处理装置10将参考位置用作中心，来从左眼图像的成像范围G1L与右眼图像的成像范围G1R之间的重叠区域中识别要作为输出图像剪切的范围G2。
然后，图像处理装置10基于范围G2的识别结果，从每个左眼图像和右眼图像中剪切与范围G2对应的部分图像。例如，在图9右上方示出的示图示出了从左眼图像剪切部分图像的处理的概述。更具体地，图像处理装置10从左眼图像中剪切在左眼图像的成像范围G1L中的与范围G2对应的区域的图像，作为部分图像。此时，要从左眼图像剪切的部分图像的中心与参考位置大致上匹配。注意，在以下描述中，剪切的部分图像也将称为“左眼输出图像G2L”。
以类似的方式，在图9右下方示出的示图示出了从右眼图像剪切部分图像的处理的概述。更具体地，图像处理装置10从右眼图像中剪切在右眼图像的成像范围G1R中的与范围G2对应的区域的图像，作为部分图像。此时，要从右眼图像剪切的部分图像的中心与参考位置大致上匹配。注意，在以下描述中，剪切的部分图像也将称为“右眼输出图像G2R”。
然后，如图8所示，图像处理装置10基于剪切的左眼输出图像G2L和右眼输出图像G2R，产生具有用于使用户观察3D图像的设定视差的视差图像，并且促使在显示装置40上显示视差图像(S109)。
上面参考图8，描述了在图像处理装置10基于从成像单元20传送的校正数据对由成像单元20获取的视点图像执行视点图像之间的视差差异的校正的情况下执行的一系列处理的流程的示例。通过如上所述的处理，校正视差差异，并且由用户的左眼和右眼分别观察的图像的中心位置匹配。因此，用户可以观察到已经抑制了产生失真的观察目标的更清晰的立体3D图像。
另外，如上所述，例如，通过将成像单元20的焦点位置O11用作参考位置来校正视差差异，即使如图3所示，成像单元20相对于观察目标旋转，也可以抑制产生视点图像之间的视差差异。换言之，即使在从彼此不同的方向观察通过对用作观察目标的手术区域进行成像而获得的图像的情况下，用户也可以观察到抑制产生失真的更清晰的3D图像。
<4.2、与透镜位置校正相关的处理>
随后，参考图10，将描述在成像控制装置30基于从成像单元20传送的校正数据控制与成像单元20执行的图像的获取相关的操作的情况下执行的处理的流程的示例，特别关注于校正透镜位置(透镜的默认位置)的情况。图10是示出根据本实施例的医用立体观察装置的一系列处理的流程的另一示例的流程图，并且示出与成像控制装置30执行的透镜位置校正相关的处理的流程。
首先，成像控制装置30从连接到医用立体观察装置1的成像单元20获取与成像单元20对应的校正数据，并将校正数据保持在预定存储区域(存储部303)中，作为高速缓存(S201)。
之后，成像控制装置30从作为高速缓存保持的校正数据中提取透镜位置校正数据(即，对应于所连接的成像单元20的光学系统203的组装的变化的透镜位置校正数据)(S203)。
然后，基于所提取的透镜位置校正数据，成像控制装置30在构成成像单元20的光学系统203的各种透镜中，校正用于在相应成像部201a和201b上形成成像目标的图像的透镜之间的透镜位置(例如，透镜的默认位置)的偏移(S205)。
参考图10，上面已经描述了在成像控制装置30基于从成像单元20传送的校正数据控制与成像单元20执行的图像的获取相关的操作的情况下执行的处理的流程的示例，特别关注于校正透镜位置的情况。通过如上所述的处理，可以校正用于分别获取左眼图像和右眼图像的光学系统之间的透镜位置的偏移。为此，因为可以抑制产生由透镜位置的偏移引起的3D图像的失真，所以用户可以观察到观察目标的更清晰的立体图像。
<5、硬件配置>
接下来，参考图11，详细描述构成根据本实施例的医用立体观察装置的信息处理设备900的硬件配置，例如，前面描述的手术视频显微镜装置或图像处理装置。图11是示出构成根据本公开的实施例的医用立体观察系统的信息处理设备900的硬件配置的示例配置的功能方框图。
构成根据本实施例的医用立体观察系统的信息处理设备900主要配备有CPU 901、ROM 903、RAM 905。另外，信息处理设备900也可以配备有主机总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923以及通信设备925。
CPU 901用作运算处理设备和控制装置，并且根据记录在ROM 903、RAM 905、存储设备919或可移除记录介质927中的各种程序来控制信息处理设备900的整体操作或部分操作。ROM 903存储CPU 901使用的程序、操作参数等。RAM 905主要存储CPU 901使用的程序以及在程序执行期间适当变化的参数等。这些通过由诸如CPU总线等内部总线配置的主机总线907相互连接。注意，先前参考图5描述的图像处理部101a和101和3D图像产生部分105可以通过例如CPU 901实现。
主机总线907经由桥接器909连接到诸如PCI(外围组件互连/接口)总线等外部总线911。另外，输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925经由接口913连接到外部总线911。
输入设备915是由用户操作的操作机制，例如，鼠标、键盘、触摸面板、按钮、开关、杠杆或踏板。此外，输入设备915可以是使用例如红外光或其他无线电波的遥控机制(所谓的遥控器)，或者可以是外部连接的设备929，例如，符合信息处理设备900的操作的移动电话或PDA。此外，输入设备915基于例如由用户通过上述操作机制输入的信息产生输入信号，并且由用于将输入信号输出给CPU 901的输入控制电路。信息处理设备900的用户可以向信息处理设备900输入各种数据，并且可以通过操作该输入设备915来指示信息处理设备900执行处理。
输出设备917由能够以视觉或听觉方式向用户通知获取的信息的装置配置为。这种装置的示例包括诸如CRT显示设备、液晶显示设备、等离子体显示设备、EL显示设备和灯等显示设备、诸如扬声器和耳机等音频输出设备、打印机等。例如，输出设备917输出由信息处理设备900进行的各种处理获得的结果。更具体地，显示设备以文本或图像的形式显示由信息处理装置执行的各种处理获得的结果。另一方面，音频输出设备将诸如再现的音频数据和声音数据等音频信号转换为模拟信号，并输出模拟信号。注意，先前参考图5描述的显示装置40可以由例如输出设备917实现。
存储设备919是用于存储数据的装置，被配置为信息处理设备900的存储单元的示例，并用于存储数据。存储设备919例如由诸如HDD(硬盘驱动器)、半导体存储装置、光存储装置或磁光存储装置等磁存储装置配置为。该存储设备919存储要由CPU 901执行的程序和各种数据。注意，先前参考图5描述的存储部103可以由例如存储设备919实现。
驱动器921是用于记录介质的读取器/写入器，并且嵌入在信息处理设备900中或在外部附接到其上。驱动器921读取在诸如磁盘、光盘、磁光盘或半导体存储器等附接的可移除记录介质927中记录的信息，并将读取的信息输出到RAM 905。此外，驱动器921可以写入附接的可移除记录介质927中，例如，磁盘、光盘、磁光盘或半导体存储器。可移除记录介质927例如是DVD介质、HD-DVD介质或蓝光(注册商标)介质。可移除记录介质927可以是压缩闪存(CF；注册商标)、闪存、SD存储卡(安全数字存储卡)等。或者，可移除记录介质927可以是例如配备有非接触IC芯片或电子设备的IC卡(集成电路卡)。
连接端口923是允许设备直接连接到信息处理设备900的端口。连接端口923的示例包括USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其他示例包括RS-232C端口、光学音频终端、HDMI(注册商标)(高清晰度多媒体接口)端口等。通过连接到该连接端口923的外部连接设备929，信息处理设备900直接从外部连接的设备929获取各种数据，并向外部连接的设备929提供各种数据。
通信设备925是例如由连接到通信网931的通信设备配置为的通信接口。通信设备925例如是有线或无线LAN(局域网)、蓝牙(注册商标)、WUSB(无线USB)的通信卡等。或者，通信设备925可以是用于光通信的路由器、用于ADSL的路由器(非对称数字用户线路)的路由器、用于各种通信的调制解调器等。该通信设备925例如可以通过互联网并且与其他通信设备根据诸如TCP/IP等预定协议发送和接收信号等。连接到通信设备925的通信网络931由通过有线或无线连接的网络等配置为，并且可以是例如互联网、家庭LAN、红外线通信、无线电波通信、卫星通信等。
迄今为止，已经示出了能够实现构成根据本公开的实施例的医用立体观察系统的信息处理设备900的功能的硬件配置的示例。上述每个结构元件可以使用通用材料来配置，或者可以由专用于每个结构元件的功能的硬件来配置。因此，可以在执行本实施例时根据技术水平来适当地改变要使用的硬件配置。注意，尽管图11中未示出，但是提供了显然与构成医用立体观察系统(换言之，手术视频显微镜装置或图像处理装置)的信息处理设备900对应的各种结构元件。
注意，也可以开发用于实现构成如上所述根据本实施例的医用立体观察系统的信息处理设备900的相应功能的计算机程序，并且在个人计算机等中实现计算机程序。此外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质可以是例如磁盘、光盘、磁光盘或闪速存储器。此外，上述计算机程序也可以经由网络传送，例如，不使用记录介质。
<<6、结论>>
如上所述，在根据本实施例的医用立体观察装置中，成像单元20包括用于获取左眼图像的成像部201a和用于获取右眼图像的成像部201b。另外，成像单元20由支持部(例如，图2中所示的臂部405)可旋转地保持。例如，成像单元20可以由支持部保持，以便可相对于对象(例如，用作观察目标的手术区域)旋转。另外，用于校正由与成像部201a和201b之间的图像的获取相关的误差引起的各种差异的校正数据存储在成像单元20的校正数据存储部205中。校正数据从成像单元20传送到图像处理装置10，并作为高速缓存保持在图像处理装置10的存储部103中。然后，图像处理装置10基于校正数据校正在左眼图像和右眼图像之间的偏移(例如，视差差异)，将例如用作成像单元20的旋转参考的位置(例如，图3中所示的成像单元20的焦点位置O11)用作参考位置。
通过如上所述的配置，用户可以观察到已经抑制了失真产生的观察目标的更清晰的立体3D图像。另外，通过根据本实施例的医用立体观察装置，图像处理装置10可以通过从成像单元20获取的校正数据来校正由成像部201a和201b之间的误差引起的视差图像之间的偏移。因此，例如，图像处理装置10不必实时执行视点图像之间的偏移的检测以及用于校正偏移的各种类型的分析处理，并且减少了对每个视点图像执行的图像处理的负荷。最终，可以降低功耗。
另外，如上所述，通过将成像单元20的焦点位置O11用作参考位置来校正视差差异，即使成像单元20相对于观察目标旋转，例如，如图3所示，也可以抑制在视点图像之间产生视差差异。换言之，即使在从彼此不同的方向观察通过对用作观察目标的手术区域进行成像而获得的图像的情况下，用户也可以观察到抑制失真产生的更清晰的3D图像。
以上已经参考附图描述了本公开的优选实施例，同时本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变更和修改，并且应当理解，自然地落入本公开的技术范围内。
此外，本说明书中描述的效果仅仅是说明性或示例性的效果，并不是限制性的。即，通过或代替以上效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
另外，也可以如下配置本技术。
(1)一种医用立体观察装置，包括：
获取部，被配置为从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，所述校正数据用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及
校正部，被配置为将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异。
(2)根据(1)所述的医用立体观察装置，其中，所述校正部通过分别从所述左眼图像和所述右眼图像中剪切部分图像，作为新的左眼图像和新的右眼图像，校正所述视差差异，其中，所述部分图像具有与对应于所述旋转轴的位置大致匹配的图像中心。
(3)根据(1)或(2)所述的医用立体观察装置，其中，所述校正部通过分别从左眼图像和右眼图像剪切第一成像部和第二成像部的各自的成像范围重叠的区域的部分图像，作为新的左眼图像和新的右眼图像，校正所述视差差异。
(4)根据(1)至(3)中任一项所述的医用立体观察装置，其中，对于每个变焦放大百分比，所述校正数据包括用于校正所述第一成像部和所述第二成像部之间的误差的数据，并且
所述校正部基于与为所述第一成像部和所述第二成像部设置的变焦放大百分比对应的数据，来校正所述视差差异。
(5)根据(1)至(4)中任一项所述的医用立体观察装置，其中，所述校正部基于所述校正数据，校正所述左眼图像和所述右眼图像之间的变焦放大百分比的差异。
(6)根据(1)至(5)中任一项所述的医用立体观察装置，其中，所述校正部基于所述校正数据，校正所述左眼图像和所述右眼图像之间的颜色特性的差异。
(7)根据(1)至(6)中任一项所述的医用立体观察装置，其中，所述成像单元由所述支持部保持，使得所述成像单元相对于对象能够旋转，并且
所述参考位置是所述成像单元的焦点位置。
(8)根据(1)至(7)中任一项所述的医用立体观察装置，包括支持部。
(9)根据(8)所述的医用立体观察装置，其中，所述支持部被配置为能附接到所述成像单元并且能从所述成像单元移除，并且
所述校正部基于从安装到所述支持部的所述成像单元获取的所述校正数据，校正所述视差差异。
(10)根据(8)所述的医用立体观察装置，包括成像单元。
(11)根据(8)至(10)中任一项所述的医用立体观察装置，其中，所述支持部包括控制部，所述控制部被配置为基于从所述成像单元获取的所述校正数据，控制所述成像单元的操作。
(12)根据(11)所述的医用立体观察装置，其中，所述控制部基于所述校正数据，校正所述第一成像部和所述第二成像部之间的光学系统的位置偏移。
(13)一种医用立体观察方法，包括：
从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，所述校正数据用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及
由处理器将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异。
(14)一种程序，促使计算机执行：
从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，所述校正数据用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及
将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异。
附图标记列表
1 医用立体观察装置 10 图像处理装置
101a、101b 图像处理部 103 存储部
105 3D图像产生部 20 成像单元
201a、201b 成像部 203 光学系统
205 校正数据存储部 207 驱动部
30 成像控制装置 301 控制部
303 存储部 40 显示装置。

Claims (13)

1.一种医用立体观察装置，包括：
获取部，被配置为从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，所述校正数据用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及
校正部，被配置为将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异，其中，所述参考位置是所述成像单元的焦点位置，
其中，所述校正部通过分别从所述左眼图像和所述右眼图像中剪切部分图像，作为新的左眼图像和新的右眼图像，校正所述视差差异，其中，所述部分图像具有与对应于所述旋转轴的位置匹配的图像中心。
2.根据权利要求1所述的医用立体观察装置，其中，所述校正部通过分别从左眼图像和右眼图像剪切第一成像部和第二成像部的各自的成像范围重叠的区域的部分图像，作为新的左眼图像和新的右眼图像，校正所述视差差异。
3.根据权利要求1所述的医用立体观察装置，其中，对于每个变焦放大百分比，所述校正数据包括用于校正所述第一成像部和所述第二成像部之间的误差的数据，并且
所述校正部基于与为所述第一成像部和所述第二成像部设置的变焦放大百分比对应的数据，来校正所述视差差异。
4.根据权利要求1所述的医用立体观察装置，其中，所述校正部基于所述校正数据，校正所述左眼图像和所述右眼图像之间的变焦放大百分比的差异。
5.根据权利要求1所述的医用立体观察装置，其中，所述校正部基于所述校正数据，校正所述左眼图像和所述右眼图像之间的颜色特性的差异。
6.根据权利要求1所述的医用立体观察装置，其中，所述成像单元由所述支持部保持，使得所述成像单元相对于对象能够旋转。
7.根据权利要求1所述的医用立体观察装置，包括所述支持部。
8.根据权利要求7所述的医用立体观察装置，其中，所述支持部被配置为能附接到所述成像单元并且能从所述成像单元移除，并且
所述校正部基于从安装到所述支持部的所述成像单元获取的所述校正数据，校正所述视差差异。
9.根据权利要求7所述的医用立体观察装置，包括所述成像单元。
10.根据权利要求7所述的医用立体观察装置，其中，所述支持部包括控制部，所述控制部被配置为基于从所述成像单元获取的所述校正数据，控制所述成像单元的操作。
11.根据权利要求10所述的医用立体观察装置，其中，所述控制部基于所述校正数据，校正所述第一成像部和所述第二成像部之间的光学系统的位置偏移。
12.一种医用立体观察方法，包括：
从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，所述校正数据用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及
由处理器将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异，其中，所述参考位置是所述成像单元的焦点位置，
其中，通过分别从所述左眼图像和所述右眼图像中剪切部分图像，作为新的左眼图像和新的右眼图像，校正所述视差差异，其中，所述部分图像具有与对应于所述旋转轴的位置匹配的图像中心。
13.一种计算机可读非易失性存储介质，存储程序，当处理器执行所述程序时执行以下方法：
从包括被配置为获取左眼图像的第一成像部和被配置为获取右眼图像的第二成像部的成像单元获取校正数据，所述校正数据用于校正与获取所述第一成像部和所述第二成像部之间的图像相关的误差，所述成像单元由支持部能旋转地保持；以及
将对应于所述成像单元的旋转轴的位置用作参考位置，基于所述校正数据，校正所述左眼图像和所述右眼图像之间的视差差异，其中，所述参考位置是所述成像单元的焦点位置，
其中，通过分别从所述左眼图像和所述右眼图像中剪切部分图像，作为新的左眼图像和新的右眼图像，校正所述视差差异，其中，所述部分图像具有与对应于所述旋转轴的位置匹配的图像中心。
CN201780018967.4A 2016-03-30 2017-01-24 医用立体观察装置、医用立体观察方法以及程序 Active CN108885335B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-069714 2016-03-30
JP2016069714 2016-03-30
PCT/JP2017/002332 WO2017169014A1 (ja) 2016-03-30 2017-01-24 医療用立体観察装置、医療用立体観察方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN108885335A CN108885335A (zh) 2018-11-23
CN108885335B true CN108885335B (zh) 2021-10-22

Family

ID=59963019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780018967.4A Active CN108885335B (zh) 2016-03-30 2017-01-24 医用立体观察装置、医用立体观察方法以及程序

Country Status (5)

Country Link
US (1) US11147647B2 (zh)
EP (1) EP3438723B1 (zh)
JP (1) JP6935389B2 (zh)
CN (1) CN108885335B (zh)
WO (1) WO2017169014A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944567B (zh) 2017-08-03 2022-10-11 索尼奥林巴斯医疗解决方案公司 医疗观察装置
CN109541793A (zh) * 2018-11-30 2019-03-29 浙江未来技术研究院(嘉兴) 一种立体显微手术视频采集装置及其调试方法
DE102022125662B3 (de) 2022-10-05 2024-01-18 Carl Zeiss Meditec Ag Verfahren und Steuereinrichtung zum Justieren und/oder Kalibrieren des Fokuswertes eines Operationsmikroskops, Operationsmikroskop und computerimplementiertes Verfahren

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06214167A (ja) * 1993-01-18 1994-08-05 Olympus Optical Co Ltd 手術用顕微鏡
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
CN101184252A (zh) * 2006-11-14 2008-05-21 三星电子株式会社 用于调节三维图像中的视差的方法及其三维成像设备
CN101518438A (zh) * 2009-03-27 2009-09-02 南开大学 双目内窥镜手术视觉系统
CN101702076A (zh) * 2009-10-30 2010-05-05 深圳市掌网立体时代视讯技术有限公司 一种立体拍摄自动会聚跟踪方法及系统
CN102860015A (zh) * 2010-03-29 2013-01-02 富士胶片株式会社 立体成像装置、图像再现装置和编辑软件
CN103079083A (zh) * 2012-12-06 2013-05-01 上海大学 一种已标定平行摄像机阵列多视图像校正方法
CN104954776A (zh) * 2014-03-24 2015-09-30 宏达国际电子股份有限公司 图像校正方法及其图像撷取装置
CN105158887A (zh) * 2015-09-29 2015-12-16 南京理工大学 基于可编程led阵列照明的多模式显微成像方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742429A (en) 1994-07-13 1998-04-21 Fujikura Ltd. Device for stereoscopic visualization including a stereomicroscope and fiberscope
US6157337A (en) 1999-01-29 2000-12-05 Sony Corporation 3D image acquiring and viewing systems and methods
DE59906545D1 (de) * 1999-10-13 2003-09-11 Leica Microsystems Schweiz Ag Stereo-operationsmikroskop mit einer informations-einspiegelvorrichtung
EP1333305B8 (de) * 2002-02-04 2007-08-01 Carl Zeiss Surgical GmbH Stereo-Untersuchungssysteme und Stereo-Bilderzeugungsvorrichtung sowie Verfahren zum Betrieb einer solchen
JP4388327B2 (ja) 2003-08-25 2009-12-24 オリンパス株式会社 顕微鏡像撮像装置及び顕微鏡像撮像方法
JP4974599B2 (ja) * 2006-07-24 2012-07-11 オリンパス株式会社 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法
JP4914278B2 (ja) * 2007-04-16 2012-04-11 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP4995854B2 (ja) * 2009-03-11 2012-08-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム
JP5446949B2 (ja) * 2010-02-03 2014-03-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2012019399A (ja) * 2010-07-08 2012-01-26 For-A Co Ltd 立体視映像補正装置と立体視映像補正方法と立体視映像補正システム
JP5742179B2 (ja) 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP5682291B2 (ja) * 2010-12-20 2015-03-11 ソニー株式会社 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法
JP2013123123A (ja) * 2011-12-09 2013-06-20 Fujitsu Ltd ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5767142B2 (ja) * 2012-03-05 2015-08-19 オリンパス株式会社 医療用観察システム
JP6039301B2 (ja) * 2012-08-09 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2015012442A (ja) * 2013-06-28 2015-01-19 ソニー株式会社 撮像装置、撮像方法、画像生成装置、画像生成方法、及び、プログラム
CN105359519B (zh) * 2013-07-05 2017-07-04 株式会社尼康 摄像装置
KR20150007174A (ko) * 2013-07-10 2015-01-20 삼성디스플레이 주식회사 색좌표 조절 수단을 포함하는 3d 안경 및 3d 안경과 서로 연동되는 표시 장치
JP6354838B2 (ja) * 2014-04-04 2018-07-11 株式会社ニコン 撮像素子、撮像装置および画像処理装置
JP5881777B2 (ja) 2014-06-24 2016-03-09 オリンパス株式会社 顕微鏡
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
EP3197156A4 (en) * 2014-07-28 2018-03-21 Olympus Corporation Control device for stereoscopic viewing device, stereoscopic viewing system, and control method for stereoscopic viewing device
WO2016208246A1 (ja) * 2015-06-24 2016-12-29 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06214167A (ja) * 1993-01-18 1994-08-05 Olympus Optical Co Ltd 手術用顕微鏡
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
CN101184252A (zh) * 2006-11-14 2008-05-21 三星电子株式会社 用于调节三维图像中的视差的方法及其三维成像设备
CN101518438A (zh) * 2009-03-27 2009-09-02 南开大学 双目内窥镜手术视觉系统
CN101702076A (zh) * 2009-10-30 2010-05-05 深圳市掌网立体时代视讯技术有限公司 一种立体拍摄自动会聚跟踪方法及系统
CN102860015A (zh) * 2010-03-29 2013-01-02 富士胶片株式会社 立体成像装置、图像再现装置和编辑软件
CN103079083A (zh) * 2012-12-06 2013-05-01 上海大学 一种已标定平行摄像机阵列多视图像校正方法
CN104954776A (zh) * 2014-03-24 2015-09-30 宏达国际电子股份有限公司 图像校正方法及其图像撷取装置
CN105158887A (zh) * 2015-09-29 2015-12-16 南京理工大学 基于可编程led阵列照明的多模式显微成像方法

Also Published As

Publication number Publication date
JPWO2017169014A1 (ja) 2019-02-14
JP6935389B2 (ja) 2021-09-15
WO2017169014A1 (ja) 2017-10-05
EP3438723A4 (en) 2019-05-22
EP3438723A1 (en) 2019-02-06
US11147647B2 (en) 2021-10-19
EP3438723B1 (en) 2023-09-06
CN108885335A (zh) 2018-11-23
US20190192251A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
US10561304B2 (en) Medical stereoscopic observation device, medical stereoscopic observation method, and program
JP2023083547A (ja) 画像処理装置、画像処理方法、及び記録媒体
EP3514595B1 (en) Medical observation device and control method
CN108885335B (zh) 医用立体观察装置、医用立体观察方法以及程序
WO2019012857A1 (ja) 撮像装置、画像生成方法
JP2015220643A (ja) 立体観察装置
CN110461208B (zh) 控制装置、外部装置、医学观察系统、控制方法、显示方法和程序
WO2018116582A1 (ja) 制御装置、制御方法、及び医療用観察システム
US10330945B2 (en) Medical image display apparatus, medical information processing system, and medical image display control method
US10855980B2 (en) Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
US20200306003A1 (en) Medical control apparatus and medical observation system
WO2022080008A1 (ja) 医療用画像処理装置及び医療用観察システム
JPWO2018225346A1 (ja) 医療用システム及び制御ユニット
US20220245796A1 (en) Medical image processing device and medical observation system
WO2019230115A1 (ja) 医療用画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant