CN107710756A - 医用立体观察装置、医用立体观察方法以及程序 - Google Patents

医用立体观察装置、医用立体观察方法以及程序 Download PDF

Info

Publication number
CN107710756A
CN107710756A CN201680035403.7A CN201680035403A CN107710756A CN 107710756 A CN107710756 A CN 107710756A CN 201680035403 A CN201680035403 A CN 201680035403A CN 107710756 A CN107710756 A CN 107710756A
Authority
CN
China
Prior art keywords
image
display
viewing area
medical
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680035403.7A
Other languages
English (en)
Other versions
CN107710756B (zh
Inventor
石川朝规
加户正隆
后田公
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of CN107710756A publication Critical patent/CN107710756A/zh
Application granted granted Critical
Publication of CN107710756B publication Critical patent/CN107710756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【问题】为了不管显示条件的差异如何都以更合适的模式呈现三维图像。【解决方案】医用立体观察装置具有：获取单元，获取输入图像数据；视差控制单元，对于多个不同的显示区域，根据每个显示区域的显示尺寸来控制视差值；以及图像生成单元，基于所获取的输入图像数据和对应于显示区域的视差值，生成对应于多个相应显示区域中的每一个的并且用于在显示区域中显示的视差图像。

Description

医用立体观察装置、医用立体观察方法以及程序
技术领域
本公开涉及一种医用立体观察装置、一种医用立体观察方法以及一种程序。
背景技术
近来，由于手术技术和手术设备的进步，经常要进行手术，用于在用诸如手术显微镜或内窥镜等医用观察装置观察受影响的部位的同时进行各种治疗(也称为显微手术)。此外，这种医用观察装置不限于能够对受影响区域进行光学观察的装置，还包括将由成像部分(相机)等拍摄的受影响区域的图像等作为电子图像显示在诸如监视器等显示器上的装置。
此外，当在显示器上显示由观察装置的成像部分拍摄的受影响区域的图像时，图像经常被显示为平坦的二维(2D)图像。然而，由于从2D图像难以获得透视感，并且受影响区域和治疗工具之间的相对距离可能难以掌握，所以近年来，还开发了将受影响区域的捕获图像显示为立体三维(3D)图像的技术。例如，专利文献1公开了用于观察三维图像的技术的示例。
以这种方式，在将受影响区域的拍摄图像显示为立体三维(3D)图像的观察装置中(在某些情况下，下文称为“立体观察装置”)，例如，通过使左眼和右眼观察不同的视点图像，使用户将受影响区域的图像作为立体三维图像观察。
现有技术文献
专利文献
专利文献1：国际公开第2011/155212号
发明内容
发明要解决的技术问题
此外，使用如上所述的医疗观察装置的情况也包括应当检查各种信息的情况，包括受影响区域的图像。在这种情况下，还可以预期使用模式，例如，分别在多个显示器上显示图像或在显示器内显示多个图像。作为具体示例，预期在一个显示器上显示受影响区域的整体图片，而在另一显示器上显示受影响区域的放大图像的情况。作为另一示例，还预期以下情况：在一个显示器上显示受影响区域的图像，同时在另一显示屏上显示另一成像装置拍摄的图像，例如，CT(计算机断层摄影)图像或MRI(磁共振成像)图像。
另一方面，根据由左眼和右眼分别观察到的图像之间的间隔(换言之，设置在图像之间的视差值)来确定由用户观察到的三维图像的深度方向的显示位置。因此，深度方向的观察到的位置根据显示条件的差异而变化，例如，显示部的尺寸和分辨率的差异，并且在某些情况下，不一定在有利的模式中观察到三维图像。
因此，本公开提出了一种医用立体观察装置、一种医用立体观察方法以及一种程序，能够以更有利的模式呈现三维图像，而不管显示条件的差异。
问题的解决方案
根据本公开，提供了一种医用立体观察装置，包括：获取部，获取输入图像数据；视差控制部，对于多个不同的显示区域中的每一个显示区域，根据显示区域的显示尺寸来控制视差值；以及图像生成部，基于所获取的输入图像数据和对应于显示区域的视差值，为每个显示区域生成用于在显示区域中显示的、与多个视点中的每一个视点对应的视差图像。
另外，根据本公开，提供了一种医用立体观察方法，包括：获取输入图像数据；对于多个不同的显示区域中的每一个显示区域，根据显示区域的显示尺寸来控制视差值；以及基于所获取的输入图像数据和对应于显示区域的视差值，为每个显示区域生成用于在显示区域中显示的、与多个视点中的每一个对应的视差图像。
另外，根据本公开，提供了一种程序，促使计算机执行：获取输入图像数据；对于多个不同的显示区域中的每一个，根据显示区域的显示尺寸来控制视差值；以及基于所获取的输入图像数据和对应于显示区域的视差值，为每个显示区域生成用于在显示区域中显示的、与多个视点中的每一个对应的视差图像。
发明的有益效果
根据如上所述的本公开，提供了不管显示条件的差异如何都能够以更有利的模式呈现三维图像的一种医用立体观察装置、一种医用立体观察方法以及一种程序。
注意，上述效果不一定是限制性的。具有或取代上述效果，可以实现本说明书中描述的任何一种效果或可从本说明书中掌握的其他效果。
附图说明
图1是用于说明根据本公开的实施例的医用立体观察装置的应用示例的说明图；
图2是示出根据本实施例的医用立体观察装置的外观的示例的示意图；
图3是示出根据本实施例的医用立体观察系统的示意性功能配置的示例的方框图；
图4是用于说明促使用户观察三维图像的机构的示例的说明图；
图5是用于说明促使用户观察三维图像的机构的示例的说明图；
图6是用于说明促使用户观察三维图像的机构的示例的说明图；
图7是用于说明促使用户观察三维图像的机构的示例的说明图；
图8是用于说明促使用户观察三维图像的机构的示例的说明图；
图9是用于说明促使用户观察三维图像的机构的示例的说明图；
图10是用于说明促使用户观察三维图像的机构的示例的说明图；
图11是用于说明根据本实施例的医用立体观察系统的概要的说明图；
图12是用于说明根据本实施例的医用立体观察系统的概要的说明图；
图13是用于说明根据本实施例的医用立体观察系统的概要的说明图；
图14是用于说明根据本实施例的医用立体观察系统的概要的说明图；
图15是示出根据本实施例的医用立体观察系统中的图像处理装置的功能配置的示例的方框图；
图16是示出根据本实施例的医用立体观察系统的一系列操作的流程的示例的流程图；
图17是用于说明根据变型例1的图像处理装置的操作的示例的说明图；
图18是用于说明根据变型例1的图像处理装置的操作的示例的说明图；
图19是用于说明根据变型例2的图像处理装置的操作的示例的说明图；
图20是用于说明根据变型例2的图像处理装置的操作的示例的说明图；
图21是用于说明根据变型例3的图像处理装置的概要的说明图；
图22是用于说明根据变型例4的图像处理装置的概要的说明图；
图23是示出构成根据本实施例的医用立体观察系统的信息处理装置的硬件配置的示例配置的功能方框图。
具体实施方式
在下文中，将参考附图详细描述本发明的(a)优选实施例。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。
在下文中，按照以下述顺序进行说明。
1、医用立体观察装置的概述
1.1、医用立体观察装置的应用示例
1.2、医用立体观察装置的外观
1.3、医用立体观察系统的示意性功能配置
2、医用立体观察装置的调查
3、图像处理装置的功能配置
4、图像处理装置的处理流程
6、变型例
6.1、变型例1：与电子变焦相关的控制示例
6.2、变型例2：与多屏显示器相关的控制示例
6.3、变型例3：呈现视野范围
6.4、变型例4：根据观看距离进行控制
7、硬件配置
8、总结
<1、医用立体观察装置的概述>
【1.1、医用立体观察装置的应用示例】
首先，为了进一步阐明本公开，将描述根据本公开的实施例的医用立体观察装置的应用示例。
例如，图1示出了使用根据本公开的实施例的医用立体观察装置的应用示例的情况的示例，其中，配备有臂部的手术视频显微镜装置用作医用立体观察装置。图1是用于说明根据本公开的实施例的医用立体观察装置的应用示例的说明图。
图1示意性地示出了使用根据本实施例的手术视频显微镜装置执行医疗程序的方式。具体地，参考图1，示出了作为外科医生(用户)520的医师正在使用手术工具521，例如，手术刀、镊子或镊子，来对躺在手术手术台530上的受试者(患者)540进行手术的状态。注意，在下面的描述中，医疗程序用作集合术语，以表示由作为用户520的医生对作为受试者540的患者执行的各种类型的医疗处理，例如，手术或检查。另外，尽管图1示出了作为医疗程序的示例的手术的情况，使用手术视频显微镜装置510的医疗程序不限于手术，并且可以是各种其他类型的医疗程序中的任何一种，例如，使用内窥镜检查。
在手术台530的旁边，提供根据本实施例的手术视频显微镜装置510。手术视频显微镜装置510配备有作为基座的基座部511、从基座部511延伸的臂部512、以及在臂部的前缘上作为前缘单元连接的成像单元515。臂部512包括多个接合部513a、513b和513c、由接合部513a和513b连接的多个连杆514a和514b、以及设置在臂部512的前缘的成像单元515。在图1的示例中，为了简单起见，臂部512包括三个接合部513a到513c和两个连杆514a和514b，但实际上，臂部512和成像单元515的位置和姿态的自由度可以认为适当地配置诸如接合部513a至513c和连杆514a和514b的数量和形状以及接头513a至513c的驱动轴的方向等因素，以便实现期望的自由度。
接合部513a到513c具有将连杆514a和514b彼此可旋转地接合的功能，通过驱动接合部513a-513c旋转，控制臂部512的驱动。此处，在以下描述中，手术视频显微镜装置510的每个结构元件的位置是指在驱动控制规定的空间内的位置(坐标)，而每个结构元件的姿势是指在驱动控制规定的空间中相对于任意轴的方向(角度)。此外，在以下描述中，臂部512的驱动(或驱动控制)是指接合部513a到513c的驱动(或驱动控制)以及通过进行接合部513a到513c的驱动(或驱动控制)来改变(或控制这种变化)臂部512的每个结构元件的位置和姿势。
在臂部512的前缘处，成像单元515连接为前缘单元。成像单元515是获取成像目标的图像的单元，并且例如，是能够捕获运动图像或静止图像的诸如照相机的装置。如图1所示，臂部512和成像单元515的姿态和位置由手术视频显微镜装置510控制，使得设置在臂部512的前缘上的成像单元515捕获受试者540的手术部位。注意，作为前端单元连接在臂部512的前缘上的成像单元515的配置没有特别限制，并且成像单元515可以被配置为例如内窥镜或显微镜。此外，成像单元515还可以被配置为可从臂部512去除。根据这种配置，根据使用场景的成像单元515可以适当地连接到臂部512的前缘，作为前缘单元。注意，尽管此处的描述着重于将成像单元515用作前缘单元的情况，但显然，连接到臂部512前缘的前缘单元不一定限于成像单元515。
此外，在面向用户520的位置处，安装诸如监视器或显示器等显示装置550。由成像单元515捕获的手术部位的图像作为电子图像显示在显示装置550的显示屏上。用户520在观看显示在显示装置550的显示屏上的手术部位的电子图像的同时进行各种处理。
以这种方式，在医疗领域中，本实施例提出用手术视频显微镜装置510对手术部位进行成像的同时进行手术。
特别地，根据本公开的实施例的手术视频显微镜装置510(即，医用立体观察装置)被配置为能够获取用于将成像目标显示为三维图像(3D图像)的图像数据。
作为具体示例，手术视频显微镜装置510设置有包括两个成像部子系统的立体相机(例如，相机单元)，作为成像单元515，从而经由每个成像部获取来自多个不同视点的图像(换言之，视点图像)。
由成像单元515获取的多个视点图像中的每一个视点图像由嵌入或外部连接到视频显微镜装置510的图像处理装置进行各种类型的图像处理，然后，分别作为左眼图像和右眼图像显示在显示装置550。注意，在本说明书中，右眼图像表示具有用于观察与用户的右眼对应的视点的设置视差的所谓的视差图像，以使得用户能够观察3D图像。类似地，左眼图像表示具有用于观察与用户的左眼对应的视点的设置视差的视差图像。
注意，已经提出了各种技术，作为使得用户520能够将显示在显示装置550上的图像作为3D图像观察为左眼图像和右眼图像的机制。作为具体示例，存在使用专用眼镜来使左眼和右眼观察相互不同的图像(换言之，左眼图像和右眼图像)的技术。此外，近年来，也提出了无需使用专用眼镜即可观察三维图像的无眼镜3D图像技术。
此外，使用如上所述的医疗观察装置的情况也包括应当检查各种信息的情况，包括受影响区域的图像。在这种情况下，还可以预期使用模式，例如，分别在多个显示器上显示图像或在显示器内显示多个图像。作为具体示例，预期在一个显示器上显示受影响区域的整体图片，而在另一显示器上显示受影响区域的放大图像的情况。作为另一示例，还预期以下情况：在一个显示器上显示受影响区域的图像，同时在另一显示屏上显示另一成像装置拍摄的图像，例如，计算机断层摄影(CT)图像或磁共振成像(MRI)图像。为此，在某些情况下，也可以提供多个显示装置550。
上面这样参考图1，作为使用根据本公开的实施例的医用立体观察装置的应用示例，描述配备有臂的手术视频显微镜装置用作医用立体观察装置的情况的示例。
【1.2、医用立体观察装置的外观】
接下来，将参考图2，描述在根据本公开的实施例的医用立体观察系统中的具有臂的手术视频显微镜装置的示意性配置，作为获取图像数据(即，从多个视点成像的视点图像)的手术视频显微镜装置(即，医用立体观察装置)的示例，用于显示作为三维图像的成像目标。图2是示出根据本公开的实施例的医用立体观察装置的外观的示例的示意图。
参考图2，根据本实施例的医用立体观察装置(即手术视频显微镜装置400)的一个示例具有基座部410和臂420。基座部410是手术视频显微镜装置400的基座，并且臂部420从基座部410延伸。此外，虽然在图2未示出，但是中央控制手术视频显微镜装置400的控制部也可以设置在基座部410内部，并且臂部420的驱动可以由控制部控制。控制部例如由诸如中央处理单元(CPU)或数字信号处理器(DSP)等各种类型的信号处理电路组成。
臂部420包括多个接合部421a至421f、通过接合部421a至421f彼此接合的多个连杆422a至422c以及设置在臂部420的前端的成像部423。
连杆422a至422c是杆状元件，其中，连杆422a的一端经由接合部分421a连接到基座部410，而连杆422a的另一端经由接合部421b连接到连杆422b的一端，另外，连杆422b的另一端经由接合部421c和421d连接到连杆422c的一端。此外，成像单元423经由接合部421e和421f连接到臂部420的前端，或者换言之，连接到连杆422c的另一端。以这种方式，基座部410用作支点，并且多个连杆422a至422c的端部通过接合部421a至421f彼此接合，从而构成从基座部410延伸的臂状。
成像单元423是获取成像目标的图像的单元，并且可以由诸如捕获运动图像或静止图像的相机等装置来配置。通过控制臂部420的驱动，控制成像单元423的位置和姿势。在本实施例中，成像单元423对例如患者身体的部分区域进行成像，部分区域是手术部位。注意，如上所述，在根据本实施例的手术视频显微镜装置400中，成像单元423被配置为能够从多个不同的视点获取图像(即，用于将成像目标显示为三维图像的图像数据)，例如，立体相机。
此处，在下文中，通过如图2所示定义坐标轴，来描述手术视频显微镜装置400。而且，定义了上下方向、前后方向和左右方向，以匹配坐标轴。即，相对于安装在地板上的基座部410的上下方向被定义为z轴方向和上下方向。此外，与z轴正交的并且臂部420从基座部410延伸的方向(换言之，成像单元423相对于基座部410定位的方向)被定义为y轴方向和前后方向。此外，与y轴和z轴正交的方向被定义为x轴方向和左右方向。
接合部421a至421f将连杆422a至422c可旋转地彼此连接。每个接合部421a至421f包括致动器，并且包括通过驱动致动器来围绕某个旋转轴旋转地驱动的旋转机构。通过分别控制每个接合部421a至421f中的旋转驱动，例如，可以控制臂部420的驱动，以使臂部420延伸或收缩(折叠)。此外，如上所述，由于接合部421a至421f包括旋转机构，因此在以下描述中，接合部421a至421f的驱动控制具体地表示控制接合部421a至421f的旋转角度和/或生成力矩(由接合部421a至421f产生的转矩)。
在图2所示的手术视频显微镜装置400的示例中，包括六个接合部421a至421f，并且相对于臂部420的驱动实现六个自由度。具体地，如图2所示，接合部421a、421d和421f被设置成将每个连接的连杆422a至422c的纵向方向以及连接的成像单元423的成像方向视为旋转轴线方向，而接合部421b、421c和421e设置为将x轴方向视为旋转轴线方向，x轴方向是分别连接的连杆422a至422c以及成像单元423的接合角度在y-z平面(由y轴和z轴限定的平面)改变所围绕的方向。以这种方式，在本实施例中，接合部421a、421d和421f具有执行所谓的偏航(yaw)的功能，而接合部421b、421c和421e具有执行所谓的俯仰(pitch)的功能。
通过具有臂部420的这种配置，在根据本实施例的手术视频显微镜装置400中，相对于臂部420的驱动实现6个自由度，因此，成像单元423可以在臂部420的可移动范围内自由移动。在图2中，半球被示出为成像单元423的可移动范围的一个示例。如果半球中心点是由成像单元423成像的手术部位的成像中心，则通过使成像单元423在成像单元423的成像中心被锁定到半球中心点的状态下在半球的半球形表面上移动，可以从各种角度对手术部位成像。
由成像单元423从多个视点中的每一个视点成像的视点图像发送到图像处理装置(未示出)，作为画面信号。注意，如上所述，图像处理装置可以嵌入手术视频显微镜装置400中，或者可以外部附接到手术视频显微镜装置400，作为外部装置。
作为具体示例，图像处理装置可以通过设置在手术视频显微镜装置400的基座部410内部而嵌入手术视频显微镜装置400中。在这种情况下，由成像单元423成像的每个视点图像经由沿着臂部420设置的电缆在臂部420内部发送到设置在基座部410内部的图像处理装置。随后，图像处理装置对每个发送的视点图像执行各种图像处理，然后使显示装置将视点图像显示为左眼图像和右眼图像。
因此，上面参考图2，描述在根据本实施例的医用立体观察系统中的的设置有臂部的手术视频显微镜装置的概略配置，作为获取用于将成像目标显示为三维图像的视点图像的手术视频显微镜装置的一个示例。
【1.3、医用立体观察系统的示意性功能配置】
接下来，将参考图3，描述根据本实施例的医用立体观察系统的示意性功能配置的示例，特别集中于基于由成像单元从多个视点中的每一个视点成像的视点图像输出左眼图像和右眼图像的过程。图3是示出根据本实施例的医用立体观察系统的示意性功能配置的示例的方框图，并且示出功能配置的示例，特别集中于图像处理装置获取相应视点图像并且基于视点图像输出左眼图像和右眼图像的操作。
如图3所示，根据本实施例的医用立体观察系统包括成像单元20、图像处理装置10、显示部30a和30b、控制部40以及操作部50。注意，每个显示部30a和30b对应于上面参考图1描述的显示装置550的示例。注意，在以下描述中，当不特别区分时，显示部30a和30b可以简单地指定为“显示部30”。
成像单元20是通过从多个视点对观察目标M1进行成像而获取相应视点图像的配置。如图3所示，成像单元20例如包括成像部21a和21b以及光学系统23。
例如，成像部21a和21b可以包括诸如CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器等图像传感器。注意，在下面的描述中，当没有特别区分时，成像部21a和21b可以简单地指定为“成像部21”。此外，光学系统23包括透镜等，并且是用于在成像部21的图像传感器上形成成像目标的图像的配置。
成像部21a和21b分别从不同的视点对成像目标进行成像，并将每个成像的视点图像输出到位于下游的图像处理装置10。成像部21a和21b也可以被配置成能够捕获运动图像。注意，由成像部21a和21b成像并从成像部21a和21b输出到图像处理装置10的相应视点图像对应于“输入图像数据”的示例。
控制部40是用于控制成像单元20和图像处理装置10的操作的配置。
作为具体示例，控制部40可以控制成像单元20的操作，从而调整成像单元20和观察目标M1之间的距离(在某些情况下，在下文中称为“工作距离”)，或者调整光学系统23的位置，从而控制光学变焦的放大率。
此外，作为另一示例，控制部40可以控制图像处理装置10的操作，从而控制放大每个成像视点图像的一部分的所谓的电子变焦的放大倍率，或者控制图像处理的类型以及对成像的视点图像执行的这种图像处理的各种参数。
注意，例如，控制部40还可以经由操作部50基于来自用户的指令来执行上述各种控制。操作部50对应于用户操作根据本实施例的医用立体观察系统的各种部件的输入装置。
此外，作为另一示例，控制部40还可以基于来自诸如距离传感器或光学传感器等各种感测部的感测结果来执行上述各种控制。作为具体示例，控制部40可以基于来自所谓的距离传感器的在成像单元20和观察目标M1之间的距离的感测结果来控制成像单元20的位置，使得工作距离变为某个值。
图像处理装置10从每个成像部分21a和21b获取成像的视点图像，对这些视点图像进行各种图像处理。此外，图像处理装置10还可以通过用所谓的电子变焦电子对成像的视点图像的一部分削波来生成每个视点图像的放大图像。
此外，图像处理装置10根据与成像部21a和21b对视点图像进行成像的成像状态相关的参数以及与用户通过显示部30观看图像的观看状态相关的参数，计算促使用户观察三维图像的右眼图像和左眼图像之间的视差值。
注意，与成像状态相关的参数的示例包括例如成像部21a和21b的相应光轴之间的距离以及成像单元20和观察目标M1之间的距离(换言之，工作距离)。此外，与观看状态相关的参数的示例包括例如显示部30和用户之间的距离(也称为观看距离)。此外，根据预期的使用情况，也可以针对与成像状态相关的参数和与观看状态相关的参数设置预设值。此外，作为另一示例，可以根据诸如各种传感器等感测部分的每个状态的检测结果，动态地更新与成像状态相关的参数和与观看状态相关的参数。
随后，图像处理装置10基于所计算的视差值来调整经图像处理的视点图像的视差，从而生成右眼图像和左眼图像，并将生成的右眼图像和左眼图像输出到显示部30。基于这种配置，当用户的相应眼睛观察显示在显示部30上的每个右眼图像和左眼图像时，用户能够基于右眼图像和左眼图像观察三维图像。
因此，上面参考图3，描述根据本实施例的医用立体观察系统的示意性功能配置的示例，特别集中于基于来自多个视点中的每一个视点的由成像单元成像的视点图像输出左眼图像和右眼图像的过程。注意，图3所示的根据本实施例的医用立体观察系统的功能配置仅是一个示例，并且该配置不一定限于图3所示的示例，只要可以实现上述各种操作即可。作为具体示例，图3所示的医用立体观察系统的部件的至少一部分也可以设置在同一壳体内。
<2、医用立体观察装置的调查>
接下来，为了更容易地理解根据本实施例的医用立体观察装置的特征，首先说明促使用户观察三维图像的机构的示例，其次是对这种医用立体观察装置的挑战的概述。
在显示要呈现为立体三维图像的图像的立体观察装置中，通过促使显示部显示具有设定视差的右眼图像和左眼图像，并且通过促使用户观察来自相应视点(即，用右眼或左眼)的每个图像，例如，使用户观察三维图像。注意，关于促使从相应视点来观察右眼图像和左眼图像的机构，已经提出了使用专门的眼镜的长期方法。同时，近年来，也提出了无眼镜3D画面技术，其中，使用诸如透镜面板或视差屏障等光学元件来从相应视点形成在显示部上显示的右眼图像和左眼图像，从而使得用户能够在不使用专用眼镜的情况下观察三维图像。注意，关于促使从如上所述的相应视点观察右眼图像和左眼图像中的每一个的详细机构，由于内容一般是已知的，因此在本文的描述中省略了详细描述。
此处，参考图4和图5，描述在促使用户观察三维图像的情况下控制要呈现的图像的深度方向上的位置的控制方法的概况。图4和图5是用于说明促使用户观察三维图像的机构的示例的说明图。
在图4和图5中，附图标记31示意性地表示显示部30显示图像的显示屏。此外，附图标记u11a示意性地表示与用户的右眼对应的视点的位置。类似地，附图标记u11b示意性地表示与用户的左眼对应的视点的位置。注意，在不特别区分的情况下，视点u11a和u11b可以简单地指定为“视点u11”。
例如，图4示出了促使用户观察要在显示屏31后面的位置呈现的图像的情况的示例。
在图4中，附图标记p11示意性地表示用户观察到的要呈现的图像。此外，附图标记p21a示意性地表示对应于像p11并显示在显示屏31上的右眼图像。类似地，附图标记p21b示意性地表示对应于像p11并显示在显示屏31上的左眼图像。注意，在某些情况下，由与每个视点(换言之，右眼图像和左眼图像)对应的视差图像呈现的一系列图像在下文中被称为“多视点图像”。
此外，附图标记p0示意性地表示在要呈现的图像被显示为定位在显示屏31上的情况下从视点u11a和u11b观察到的图像的显示位置。注意，在这种情况下，显示这种图像的位置对应于用户观察到相应图像的位置。
此处，用户观察要呈现的像p11，以便在从与右眼对应的视点u11a观察右眼图像p21a的情况下的视线方向以及在从与左眼对应的视点u11b观察左眼图像p21b的情况下的视线方向相交的位置显示。
在图4所示的示例中，在用户直视显示屏31的情况下，显示相应视点图像，使得右眼图像p21a相对于显示位置p0位于右侧，而左眼图像p21b相对于显示位置p0位于左侧。在这种情况下，在从与右眼对应的视点u11a观察右眼图像p21a的情况下的视线方向以及在从与左眼对应的视点u11b观察左眼图像p21b的情况下的视线方向在显示屏31后面相交。换言之，在图4所示的示例中，用户观察要呈现的图像，作为在显示屏31后面显示的像p11。
注意，附图标记w31表示在要呈现的图像位于显示屏31上的情况下的图像的显示位置p0与每个视差图像(例如，右眼图像p21a和左眼图像p21b)之间的间隔。该间隔根据所谓的视差值来确定。注意，在下面的描述中，在显示位置p0和显示在显示屏31上的每个视差图像之间的实际空间中的间隔将被指定为“基于视差值的显示间隔”，或在某些情况下简称为“显示间隔”。换言之，在图4所示的示例中，随着基于视差值的显示间隔w31增加，观察的像p11的深度方向上的位置变得在显示屏31后面移动地越远。
同时，图5示出了促使用户观察要呈现在显示屏31前面的位置处的图像的情况的示例。
在图5中，附图标记p13示意性地表示用户观察到的要呈现的图像。另外，附图标记p23a示意性地表示对应于像p13并显示在显示屏31上的右眼图像。类似地，附图标记p23b示意性地表示对应于像p11并显示在显示屏31上的左眼图像。注意，与图4中所示的示例一样，附图标记p0示意性地表示在显示要呈现的图像以便位于显示屏31上的情况下从视点u11a和u11b观察到的图像的显示位置。
此处，在图5所示的示例中，在用户直视显示屏31的情况下，显示相应视点图像，使得右眼图像p23a相对于显示位置p0位于左侧，而左眼图像p23b相对于显示位置p0位于右侧。在这种情况下，在从与右眼对应的视点u11a观察右眼图像p23a的情况下的视线方向以及在从与左眼对应的视点u11b观察左眼图像p23b的情况下的视线方向在显示屏31前面相交。换言之，在图5所示的示例中，用户观察要呈现的图像，作为在显示屏31前面显示的像p13。
注意，附图标记w33表示在要呈现的图像位于显示屏31上的情况下的图像的显示位置p0与每个视差图像(例如，右眼图像p23a和左眼图像p23b)之间的间隔(即，基于视差值的显示间隔)。换言之，在图5所示的示例中，随着基于视差值的显示间隔w33增加，观察的像p13的深度方向上的位置变得在显示屏31前面移动地更远。
接下来，将参考图6至图10，描述实际空间中的深度方向上的距离与用户观察到的深度方向上的距离之间的关系。图6到图10是用于说明促使用户观察三维图像的机构的示例的说明图。
例如，图6示意性地示出了在从多个观点将观察目标的图像成像的情况下，在观察目标M1与和每个视点对应的成像部(即，成像单元20的成像部21a和21b)之间的位置关系。
在图6中，附图标记w11表示与每个视点对应的成像部21a和21b的相应光轴之间的距离(在某些情况下，在下文中称为“光轴间距离”)。换言之，在用户的左眼和右眼替换成像部21a和21b的情况下，由附图标记w11表示的距离对应于用户的右眼和左眼之间的距离。此外，附图标记w12表示成像单元20(即，成像部21a和21b)与观察目标M1之间的距离(换言之，工作距离)。
注意，在图6所示的示例中，省略了光学系统23的图示，使得说明更容易理解。换言之，在将光学系统23设置在成像部21a、21b和观察目标M1之间的情况下，通过光学系统23修改光路，因此成像部21a、21b和观察目标M1之间的距离可以根据光学系统23的特性而变化。鉴于以上内容，在光学系统23未修改光路的情况下，图6所示的工作距离w12被视为对应于成像部21a、21b与观察目标M1之间的距离。
另外，在图6中，附图标记θ1表示在观察目标M1和与每个视点对应的各成像部21a和21b之间形成的所谓的向内角。注意，可以基于光轴间距离w11和工作距离w12来计算向内角θ1。
接下来，参考图7。图7示意性地示出了在用户观察在显示部30上显示的三维图像的情况下在显示部30的显示屏31和用户的每个视点(换言之，对应于右眼的视点u11a和对应于左眼的视点u11b)之间的位置关系。
在图7中，附图标记w21表示对应于用户的右眼的视点u11a与对应于左眼的视点u11b之间的距离(在某些情况下，在下文中称为“视点间距w21”)。此外，附图标记L表示用户(即，视点u11a和u11b)与显示用于促使用户观察三维图像的每个视点图像的显示屏31之间的距离(在某些情况下，在下文中称为“观看距离”)。此外，附图标记p10示意性地表示用户通过显示在显示屏31上显示的每个视点图像(即，右眼图像和左眼图像)而观察到的图像。此外，附图标记w30表示基于用于促使用户观察的像p10的视差值的显示间隔。
另外，在图7中，附图标记θ2示出了所谓的会聚角，其形成在用户要观察的像p10的位置与每个视点u11a和u11b的位置之间。注意，可以基于视点间距w21、观看距离L和显示间隔w30来计算会聚角θ2。注意，视点间距w21和观看距离L也可以通过诸如距离传感器或光学传感器等各种传感器中的任何一个来测量。此外，作为另一示例，视点间距w21和观看距离L也可以根据可以预期的观看状态来预设。例如，可以基于目标用户的右眼与左侧之间的距离的统计值来确定视点间距w21。此外，观看距离L可以预先确定为例如可以预期的更有利的观看状态。
此处，图6所示的向内角θ1和图7所示的会聚角θ2之间的比率θ1/θ2被认为是扁率(oblateness)。此时，由于扁率θ1/θ2接近1(即，随着向内角θ1和会聚角θ2之间的差变小)，所以用户能够观察到图7所示的像p10，立体效果更接近于用在图6中分别用作右眼和左眼的成像部21a和21b观察该观察目标M1的情况(换言之，立体效果更接近真实的东西)。
注意，当在显示屏31上显示相应视点图像时，如果基于视差值的显示间隔w30增加(即，如果立体效果增强)，则显示屏31与像p10之间的在深度方向上的距离变长，会聚角θ2变小，因此扁率θ1/θ2变大。换言之，如果将扁率θ1/θ2调整为更大，则与用分别用作右眼和左眼的成像部分21a和21b观察该观察目标M1的情况相比，立体效果更加增强。
此外，当在显示屏31上显示各个视点图像时，如果基于视差值的显示间隔w30减小(即，如果立体效果减弱)，则显示屏31与像p10之间的在深度方向上的距离变短，会聚角θ2变大，扁率θ1/θ2变小。换言之，如果将扁率θ1/θ2调整为越小，则与用分别用作右眼和左眼的成像部21a和21b观察该观察目标M1的情况相比，立体效果越弱。
注意，已知三维图像的长时间观看会引起眼睛疲劳，特别是当观看具有大量视差的图像时，趋向于显示明显的疲劳。为此，为了减少用户观看三维图像的疲劳感(即，眼睛疲劳)，在某些情况下，期望保持在某个范围内包含的视差值。
具体地，作为用于调整视差值的标准的示例，给出“视差角”。视差角表示为在从视点u11a和u11b观察显示屏31上的位置的情况下的会聚角与从视点u11a和u11b观察要呈现的图像的情况下的会聚角之间的差。例如，图8和图9是用于说明视差角的说明图。
例如，图8示出了促使用户观察要呈现的像p11使得像p11位于显示屏31后面的情况的示例。在图8的示例中，附图标记θ31表示从视点u11a和u11b观察像p11的情况下的会聚角。另外，附图标记θ30表示视点u11a和u11b与显示屏31上的位置之间形成的会聚角(换言之，在显示要呈现的图像使得图像位于显示屏31上的情况下的会聚角)。换言之，在图8所示的示例中，视差角表示为θ31-θ30。
例如，图9示出了促使用户观察要呈现的像p13使得像p13位于显示屏31的前面的情况的示例。在图9的示例中，附图标记θ32表示从视点u11a和u11b观察像p13的情况下的会聚角。注意，附图标记θ30类似于图8的情况。换言之，在图9所示的示例中，视差角表示为θ30-θ32。
通常，期望调整视差值，使得视差角变为1o(60弧分)或更小。更具体地，在视差角为35弧分或更小的情况下，认为用户能够更舒适地观察三维图像(不太可能产生眼睛疲劳)。此外，在视差角为40弧分或更小的情况下，认为用户能够观看三维图像，而不会感到不适。
例如，图10是用于说明用户能够更容易地观看三维图像(不太可能产生眼睛疲劳)的视差值的范围的说明图。如图10所示，如果L是视点u11和显示屏31之间的观看距离，则通过调整视差值，使得观察要呈现的图像的深度方向上的位置与显示屏31之间的深度方向的距离在后面3.0L之内且在前面0.43L之内，可以将视差角调整为60弧分或更小。
此外，通过调整视差值，使得在观察要呈现的图像的深度方向上的位置与显示屏31之间的深度方向上的距离在后面0.14L之内并且在前面0.11L之内，可以将视差角调整为40弧分或更小。类似地，通过调整视差值，使得观察要呈现的图像的深度方向上的位置与显示屏31之间的深度方向上的距离在后面0.06L之内并且在前面0.07L之内，则可以将视差角调整为35弧分或更小。
另一方面，在促使显示部30显示由右眼图像和左眼图像呈现的所谓的多视点图像的情况下，右眼图像与左眼图像之间的显示间隔(换言之，基于视差值的显示间隔)在一些情况下根据显示部30的尺寸(例如，英寸数)和分辨率(例如，像素数)而变化。
例如，图11是用于说明根据本实施例的医用立体观察系统的概要的说明图，并且示出在不同尺寸的显示部30上显示公共多视点图像的情况的示例(例如，英寸数)。
在图11中，附图标记31a和31b示意性地表示不同显示部30的显示屏31。另外，附图标记w41a示意性地表示显示屏31a的水平宽度，或者换言之，可以对应于在显示屏31a上显示的图像的水平宽度。类似地，附图标记w41b示意性地表示显示屏31b的水平宽度，或者换言之，可以对应于在显示屏31b上显示的图像的水平宽度。此时，显示屏31a的宽度w41a和显示屏31b的宽度w41b被视为具有关系w41a>w41b。换言之，图11所示的示例示出了显示屏31a的尺寸大于显示屏31b的情况的示例。
另外，在图11中，附图标记w51表示用于促使用户观察三维图像的、显示屏31a上基于视差值的显示间隔(换言之，实际空间中的右眼图像与左眼图像之间的显示间隔)。此外，附图标记w53表示用于促使用户观察三维图像的、显示屏31b上基于视差值的显示间隔(换言之，实际空间中的右眼图像与左眼图像之间的显示间隔)。
此处，在两个显示屏31a和31b上显示公共多视点图像的情况下，显示屏31a和显示屏31b之间的尺寸差异导致显示屏31a上的显示间隔w51和显示屏31b上的显示间隔w53之间的关系成为w51>w53。
此处，为了简单起见，假设显示屏31a和31b都具有相同的分辨率(像素数)。在这种情况下，较大尺寸屏幕31a上的一个像素的实际空间中的尺寸(维度)大于较小尺寸显示屏31b上的一个像素的实际空间中的尺寸(维度)。因此，即使对于显示屏31a和显示屏31b都设置了相同的视差值(基于像素数的值)，则基于该视差值的实际空间中的间隔(即，基于视差值的间隔)在显示屏31a与显示屏31b之间不同。换言之，显示屏31a上的显示间隔w51比显示屏31b上的显示间隔w53宽。
现在将参考图12进行描述。图12是用于说明根据本实施例的医用立体观察系统的概要的说明图。图12示出了在以相同的观看距离观察分别在图11所示的显示屏31a和31b上显示的多视点图像的情况下用户观察到的图像在深度方向上的显示位置的示例。注意，在图12中，与图11所示的部件相似的部件用相同的附图标记表示，与在图11的情况下一样。
另外，在图12中，附图标记p21a和p21b表示在显示屏31a上显示的右眼图像和左眼图像。此外，附图标记p11表示由于在显示屏31a上显示的右眼图像p21a和左眼图像p21b而由用户观察到的图像。类似地，附图标记p25a和p25b表示在显示屏31b上显示的右眼图像和左眼图像。此外，附图标记p15表示由于在显示屏31b上显示的右眼图像p25a和左眼图像p25b而由用户观察到的图像。
此外，附图标记θ21表示由于在显示屏31a上显示的右眼图像p21a和左眼图像p21b而在用户观察的像p11的情况下的会聚角。类似地，附图标记θ22表示由于在显示屏31b上显示的右眼图像p25a和左眼图像p25b而在用户观察的像p15的情况下的会聚角。
参考图12，示出了在以相同的观看距离观察在两个显示屏31a和31b上显示的多视点图像的情况下，显示间隔w51与显示间隔w53之间的差促使在比像p11更靠前的位置(换言之，在更靠近显示屏31的位置)观察的像p15。此外，此时，在观察图像p11的情况下的会聚角θ21与观察的像p15的情况下的会聚角θ22之间的关系成为θ21<θ22。
为此，在观察显示屏31a上显示的像p11的情况和观察与显示屏31a不同的显示屏31b上显示的像p15的情况之间，用户观察具有不同立体效果的相应图像，即使用户正在观察相同的观察目标。在观察显示屏31a上显示的像p11的情况下的扁率θ1/θ21与在观察显示屏31a上显示的像p15的情况下的扁率θ1/θ22之间的差异也是清楚的。
注意，虽然上述描述集中于每个显示部30的尺寸(英寸数)，但是在某些情况下，基于右眼图像和左眼图像之间的视差值的显示间隔也由于显示部30的分辨率(像素数)而变化。
例如，假设显示部30c和30d是具有相同尺寸(英寸数)但分辨率不同(像素数)的显示部30，并且假设对应于显示部30c的分辨率大于对应于显示部30d。此时，显示部30c上的一个像素的实际空间中的尺寸(维度)小于显示部30d上的一个像素的实际空间中的尺寸(维度)。为此，在控制视差值，使得基于右眼图像和左眼图像之间的视差值的显示间隔在显示部30c和30d之间变得大致相等的情况下，控制显示部30c侧的视差值(基于像素数的值)，以大于显示部30d侧的视差值。
特别地，在医用立体观察系统中，可以预期在用户基于在显示部上显示的三维图像来确认观察目标M1的同时对观察目标M1(例如，受影响的区域)进行治疗的情况。在这种情况下，在某些情况下，观察该观察目标M1的图像(对于具有不同尺寸的多个显示部分中的每一个具有不同的立体效果)的情况是不可取的。
因此，根据本实施例的医用立体观察系统提供了一种机构，该机构使得用户能够在多个显示部中的每一个上以更有利的模式观察三维图像，而不管显示条件，例如，每个显示部的尺寸和分辨率。
例如，图13和图14是用于说明根据本实施例的医用立体观察系统的概要的说明图，并且示出了通过这种医用立体观察系统呈现三维图像的方法的一个示例。即，在用户通过不同大小的各显示屏31a和31b确认观察目标M1的情况下，图13和图14示出了一种机构的示例，该机构用于使得观察目标M1的三维图像能够呈现相似的立体效果，而不管显示屏之间的差异。
在图13中，附图标记p27a和p27b表示在显示屏31b上显示的右眼图像和左眼图像。此外，附图标记p17表示由于在显示屏31b上显示的右眼图像p27a和左眼图像p27b而由用户观察到的图像。此外，附图标记w51'表示基于显示屏31b上的视差值的显示间隔(换言之，实际空间中的右眼图像p27a与左眼图像p27b之间的显示间隔)。此外，附图标记θ23表示用户由于在显示屏31b上显示的右眼图像p27a和左眼图像p27b而观察的像p17的情况下的会聚角。
在图13所示的示例中，控制显示屏31b上的右眼图像p27a和左眼图像p27b的显示位置，使得显示屏31a上的显示间隔w51与显示屏31b上的显示间隔w51'之间的关系变为w51＝w51'。例如，图14示出了在每个显示屏31a和31b上显示的多视点图像(换言之，右眼图像和左眼图像)的示例。
通过这种控制，在图13的示例中，显示屏31a与像p11之间的深度方向上的距离以及显示屏31b和像p17之间的深度方向上的距离大致相等。换言之，在图13所示的示例中，参考显示屏31a侧的情况下的会聚角θ21以及参考显示屏31b侧的情况下的会聚角θ23变得大致相等。
通过该设置，在根据本实施例的医用立体观察系统的情况下，甚至在用户通过具有不同显示条件的多个显示部分中的每一个观察三维图像的情况下，也可以观察到具有相似的立体效果的三维图像。
<3、图像处理装置的功能配置>
接下来，参考图15，描述图3所示的根据本实施例的医用立体观察系统中的图像处理装置10的详细功能配置的示例。图15是示出根据本实施例的医用立体观察系统中的图像处理装置10的功能配置的示例的方框图。注意，下面的描述将集中在图像处理装置10的功能配置上。已经描述了配置的其他部分，因此将减少或省略对这些部分的详细描述。另外，在以下描述中，与图3一样，显示部30a和30b被视为设置为多个显示部30。
如图15所示，根据本实施例的图像处理装置10包括图像处理部11a和11b、视差控制部13和视差图像生成部15。
图像处理部11a是用于获取由成像部21a成像的视点图像作为输入图像数据并且对输入图像数据执行各种图像处理的配置。类似地，图像处理部11b是用于获取由成像部21b成像的视点图像并对视点图像执行各种图像处理的配置。注意，在下面的描述中，当不特别区分时，图像处理部11a和11b可以简单地指定为“图像处理部11”。注意，
例如，图像处理部11可以对所获取的视点图像进行图像分析，从而从视点图像(例如，特定的部位或病变)提取满足特定配置的目标，并且执行所谓的突出显示过程，以将颜色应用于提取的目标。此外，作为另一示例，图像处理部11可以将由诸如CT或MRI等另一成像装置成像的图像叠加到获取的视点图像(融合)上。此外，作为另一示例，图像处理部11可以通过从利用诸如光致发光等特殊光来成像的视点图像中提取特殊光分量(具有某一频带的波长分量)来形成图像。此外，图像处理部11也可以执行最低水平的图像处理，用于在显示部30显示获取的视点图像，作为电子图像。注意，上述图像处理仅仅是一个示例，并且不限制图像处理部11对视点图像执行的图像处理的内容。
注意，例如，图像处理部11还可以基于来自用户的表示来切换图像处理，以应用于所获取的视点图像。在这种情况下，图像处理部11可以经由操作部50从控制部40获取表示来自用户的表示控制的控制信息，并且基于所获取的控制信息，确定图像处理，以应用于视点图像。此外，也可以预设图像处理部11对所获取的视点图像应用的图像处理。
如上所述，图像处理部11对获取的视点图像进行图像处理，并将经过图像处理的视点图像输出到视差图像生成部15。
视差控制部13对于每个显示部30控制用于生成要在每个显示部30a和30b上显示的多视点图像(即，由右眼图像和左眼图像呈现的图像)的视差值。
具体地，视差控制部13获取表示每个显示部30的尺寸(英寸数)和分辨率(像素数)等显示条件的控制信息，并且基于显示条件，计算在每个显示部30上显示的多视点图像的实际空间中的尺寸(在某些情况下，在下文中称为“显示尺寸”)。
此时，视差控制部13也可以从该显示部30获取表示与显示部30对应的显示条件的控制信息。注意，这种情况明显地假设显示部30具有向图像处理装置10输出表示为显示部30设置的显示条件的信息的功能。
此外，作为另一示例，视差控制部13也可以从某个存储区域读出表示与显示部30对应的显示条件的控制信息，该控制信息预先存储在存储区域中。注意，在这种情况下，例如，控制部40经由操作部50存储表示用户输入的显示部30的显示条件的控制信息就足够了。此外，也可以将表示每个显示部30的显示条件的控制信息预先存储在某个存储区域中。在这种情况下，例如，视差控制部13从对应的显示部30获取用于识别每个显示部30的识别信息，并且从某个存储区域读出与所获取的识别信息对应的控制信息就足够了。此外，视差控制部13也可以从控制部40直接获取表示用户经由操作部分50输入的显示部30的显示状态的控制信息。
视差控制部13基于为每个显示部30计算的显示尺寸控制在显示部30上显示的右眼图像和左眼图像之间的视差值。
作为具体示例，视差控制部13控制(调整)与每个显示部30对应的视差值，使得在观察每个显示部30上显示的三维图像(换言之，多视点图像)的情况下的会聚角θ2在显示部30a和30b之间变得大致相等，如参考图13和14所述。
此外，视差控制部13还可以控制与每个显示部30对应的视差值，使得基于多视点图像观察的相对于显示屏31的每个图像的深度方向上的位置基于观看距离L(例如，如图10所示，在后面3.0L之内，在前面0.43L之内)保持在某个范围内。换言之，视差控制部13可以控制对应于每个显示部30的视差值，使得视差角保持在某个范围内(例如，1o或更小的视差角)。
在这种情况下，视差控制部13也可以使用预先设置的信息，作为对于每个显示部30可以预期的观看距离，作为表示观看距离L的控制信息。另外，作为另一示例，视差控制部13可以使用表示由距离传感器等测量的显示部30与用户之间的距离的信息，例如，作为表示观看距离L的控制信息。
此外，为了计算对应于每个显示部30的视差值，当成像单元20的每个成像部21a和21b将观察目标M1的图像(即，每个视点图像)成像时，视差控制部13可以使用关于向内角θ1的信息。在这种情况下，例如，视差控制部13基于成像单元20的光轴间距离w11计算向内角θ1以及成像单元20的每个成像部21a和21b对观察目标M1的图像进行成像时的工作距离w12就足够了。此外，此时，视差控制部13从控制成像单元20的代理(例如，控制部40)获取表示工作距离w12和光轴间距w11的设置值的信息作为成像单元20的控制结果就足够了。显然，视差控制部13也可以从成像单元20获取表示工作距离w12和光轴间距w11的设置值的信息。
另外，在预先确定成像单元20对观察目标物M1的图像(即，工作距离w12和光轴间距w11)成像的成像条件的情况下，视差控制部13可以使用预先设置的信息，作为工作距离w12和光轴间距w11。
注意，在使用关于向内角θ1的信息的情况下，对于每个显示部30，视差控制部13可以控制对应于每个显示部30的视差值，使得基于向内角θ1和会聚角θ2的扁率θ1/θ2成为接近1的值(即，使得会聚角θ2变得与向内角θ1大致相等)。
此外，视差控制部13也可以根据观看状态和成像状态的变化来动态地控制与每个显示部30对应的视差值。例如，在基于来自距离传感器等的测量结果检测观看距离L的变化(换言之，视差角的变化)的情况下，视差控制部13可以基于改变的观看距离L(或视差角)更新对应于每个显示部30的视差值。此外，作为另一示例，由于控制部40对成像单元20的控制，工作距离w12和光轴间距离w11中的至少一个的设置值发生变化的情况下，视差控制部13可以基于改变的设置值更新与每个显示部分30对应的视差值。
注意，在预先确定使用的显示部30的显示条件或用作观看状态(例如，观看距离L)和成像状态(例如，工作距离w12和光轴间距w11)的设置的情况下，可以预先计算与这种显示条件或这种设置对应的视差值，作为预设。注意，例如，也可以根据观看状态和成像状态的差异来预先计算多个预设，作为视差值的预设。在这种情况下，例如，视差控制部13可以切换预设，以根据观看状态和成像状态的设置适当地使用。
如上所述，对于每个显示部30，视差控制部13计算在该显示部30上显示的多视点图像的显示尺寸，并且基于计算出的显示尺寸，控制与该显示对应的视差值。随后，对于每个显示部30，视差控制部13将表示视差值控制结果的信息输出到视差图像生成部15。
视差图像生成部15从图像处理部11a获取由成像部21a成像并通过图像处理部11a进行图像处理的视点图像。类似地，视差图像生成部15从图像处理部11b获取由成像部21b成像并通过图像处理部11b进行图像处理的视点图像。此外，对于每个显示部30，视差图像生成部15从视差控制部13获取表示视差值控制结果(即，基于该显示部30的显示条件控制的视差值)的信息。
视差图像生成部15基于与分别从图像处理部11a和11b获取的每个视点对应的视点图像以及为每个显示部30获得的视差值控制结果，生成与用户的每个视点对应的视差图像(即，右眼图像和左眼图像)。随后，视差图像生成部15基于视差值控制结果，生成由对应于为每个显示部30生成的多个视点中的每一个视点对应的视点图像呈现的所谓的多视点图像，并促使显示部30显示生成的多视点图像。
注意，在多视点图像(即，右眼图像和左眼图像)中呈现的相应视差图像被设置在显示部30上的诸如双凸透镜片或视差屏障等光学部件分开，并且从用户的对应视点(即，右眼和左眼)观察相应视差图像。通过这种设置，用户能够经由该显示部30观察三维图像。
另外，如先前参考图13和图14所述，在根据本实施例的医用立体观察系统中，图像处理装置10根据在该显示部30上显示的图像(例如，多视点图像)的显示尺寸，基于每个显示部30的显示条件(即，尺寸和分辨率)，调整视差值。通过这种设置，甚至在用户通过具有不同显示条件的多个显示部30中的每一个观察该观察目标M1的三维图像的情况下，用户也可以观察到具有相似的立体效果的观察目标M1，而不管显示条件的差异。
因此，上面参考图15，描述3所示的根据本实施例的医用立体观察系统中的图像处理装置10的详细功能配置的示例。注意，图15所示的图像处理装置10的功能配置仅仅是一个示例，并不一定限于图15所示的示例。只要上述各种操作是可实现的即可。作为具体示例，图15所示的图像处理装置10的部件的至少一部分也可以设置在与图像处理装置10不同的外部装置中(例如，成像单元20、显示部30或另一外部装置)。
<4、图像处理装置的处理流程>
接下来，将参考图16，描述根据本实施例的医用立体观察系统的一系列操作的流程的示例，特别集中于图像处理装置10的操作。图16是示出根据本实施例的医用立体观察系统的一系列操作的流程的示例的流程图。
(步骤S101)
视差控制部13获取表示诸如每个显示部30的尺寸(英寸数)和分辨率(像素数)等显示条件的控制信息，并且基于显示条件，计算在显示部30上显示的多视点图像的显示尺寸。此时，视差控制部13也可以从该显示部30获取表示与显示部30对应的显示条件的控制信息。另外，作为另一示例，视差控制部13也可以从某个存储区域读出表示与显示部30对应的显示条件的控制信息，该控制信息预先存储在存储区域中。
(步骤S103)
接下来，视差控制部13基于为每个显示部30计算的显示尺寸，控制在显示部30上显示的右眼图像与左眼图像之间的视差值。
此时，视差控制部13也可以控制与每个显示部30对应的视差值，使得在观察在每个显示部30上显示的三维图像(换言之，多视点图像)的情况下的会聚角θ2例如在多个显示部30之间变得大致相等。注意，此时，视差控制部13也可以根据用户通过每个显示部30观看图像的观看状态(例如，观看距离L)的检测结果来计算与每个显示部30对应的视差值。
此外，作为另一示例，视差控制部13可以控制对应于每个显示部30的视差值，使得基于多视点图像观察到的相对于显示屏31的每个图像的深度方向上的位置保持在某个范围内。
此外，为了计算对应于每个显示部30的视差值，当成像单元20的每个成像部21a和21b将观察目标M1的图像(即，每个视点图像)成像时，视差控制部13可以使用关于向内角θ1的信息。在这种情况下，例如，对于视差控制部13来说，基于成像单元20的光轴间距w11计算向内角θ1以及当成像单元20对观察目标M1的图像进行成像时的工作距离w12就足够了。
如上所述，对于每个显示部30，视差控制部13计算在该显示部30上显示的多视点图像的显示尺寸，并且基于计算出的显示尺寸，控制与该显示对应的视差值。随后，对于每个显示部30，视差控制部13将表示视差值控制结果的信息输出到视差图像生成部15。
(步骤S105)
图像处理部11a获取由成像部21a成像的视点图像作为输入图像数据，对输入图像数据执行各种图像处理，并将经过图像处理的视点图像输出到视差图像生成部15。类似地，图像处理部11b获取由成像部21b成像的视点图像作为输入图像数据，对输入图像数据进行各种图像处理，并将经过图像处理的视点图像输出到视差图像生成部15。
视差图像生成部15从图像处理部11a获取由成像部21a成像并通过图像处理部11a进行图像处理的视点图像。类似地，视差图像生成部15从图像处理部11b获取由成像部21b成像并通过图像处理部11b进行图像处理的视点图像。此外，对于每个显示部30，视差图像生成部15从视差控制部13获取表示视差值控制结果(即，基于该显示部30的显示条件控制的视差值)的信息。
(步骤S107)
视差图像生成部15基于与分别从图像处理部11a和11b获取的每个视点对应的视点图像以及为每个显示部30获取的视差值控制结果，生成与用户的每个视点对应的视差图像(即，右眼图像和左眼图像)。
(步骤S109)
随后，视差图像生成部15基于视差值控制结果，生成与为每个显示部30生成的多个视点对应的视点图像所呈现的所谓的多视点图像，并且促使显示部30显示生成的多视点图像。
(步骤S111)
注意，在观看状态(例如，观看距离L)或成像状态(例如，工作距离w12或光轴间距w11)变化的情况下(步骤S111，是)，视差控制部13还可以基于改变的观看状态或成像状态来更新视差值。在这种情况下，视差图像生成部15基于更新的视差值执行每个视差图像的生成以及基于这种视差图像的多视点图像的生成和输出就足够了。
(步骤S113)
注意，只要成像状态或观看状态不改变(步骤S111，否)，并且未表示观察目标M1的图像获取结束(步骤S113，否)，则图像处理装置10依次执行涉及输入图像数据的获取(步骤105)、视差图像的生成(步骤107)以及多视点图像的生成和输出(步骤109)的每个过程。随后，在表示观察目标M1的图像获取结束的情况下(步骤S113，是)，图像处理装置10结束一系列操作。
因此，上面参考图16，描述根据本实施例的医用立体观察系统的一系列操作的流程的示例，特别集中于图像处理装置10的操作。
<6、变型例>
接下来，作为根据本实施例的医用立体观察系统的变型例，具体描述图像处理装置10的操作的示例。
【6.1、变型例1：与电子变焦相关的控制示例】
首先，作为变型例1，参考图17和图18，描述在使用电子变焦来放大(或减少)基于由成像部21a和21b成像的视点图像生成的多视点图像的一部分的情况下由图像处理装置10控制视差值的示例。图17和图18是用于说明根据变型例1的图像处理装置10的操作的示例的说明图。
例如，图17示出了使用电子变焦来放大和在显示部分30上显示显示的多视点图像的情况的示例。在图17中，附图标记31示意性地表示放大多视点图像之前的显示部30的显示屏。此外，附图标记31'示意性地表示放大多视点图像之后的显示部30的显示屏。此外，附图标记w41表示显示部30的显示屏(即，显示屏31和31')的水平宽度。
在图17所示的示例中，在显示屏31上显示的多视点图像中，通过电子变焦来放大并显示由附图标记v31表示的区域。注意，附图标记v33示意性地表示在放大之前使用电子变焦来放大多视点图像中的区域v31的情况下的放大图像的示例。附图标记w61表示在电子变焦放大之前基于在多视点图像中的区域v31中显示的相应视差图像之间的视差值的显示间隔。此外，附图标记w63示意性地表示放大图像v33中的相应视差图像之间的间隔(换言之，基于视差值的显示间隔)，其对应于通过电子变焦放大之前的显示间隔w61。
如图17所示，如果通过电子变焦简单地放大由与每个视点对应的视点图像呈现的多视点图像，则也可以放大视差图像之间的间隔(即，基于视差值的显示间隔)。因此，在通过电子变焦放大之后的多视点图像中，与放大之前的多视点图像相比，立体效果加强。类似地，在通过电子变焦缩小的情况下，视差图像之间的间隔减小，并且与缩小之前的多视点图像相比，缩小之后的多视点图像具有减弱的立体效果。
鉴于这种情况，甚至在通过电子变焦呈现放大显示(或缩小显示)的情况下，根据变型例1的图像处理装置10能够以相似的立体效果观察观察目标的三维图像，无论图像是放大之前还是放大之后(或缩小之前或之后)。
具体地，在通过电子变焦执行放大或缩小的情况下，在显示部30上显示的多视点图像的实际空间中的尺寸(即，显示尺寸)改变。为此，在显示尺寸由于电子变焦的放大或缩小而变化的情况下，图像处理装置10基于改变的显示尺寸来更新视差值。
例如，图18是用于说明根据变型例1的图像处理装置10对视差值的控制的示例的说明图。注意，图18中的附图标记31、31'、w41、v31以及w61表示的内容类似于图17的情况。另外，附图标记v35示意性地表示根据变型例1的使用通过图像处理装置10的电子变焦放大在图18所示的示例中在放大之前的多视点图像中的区域v31的情况下，在放大之后的多视点图像的示例。另外，附图标记w61'示意性地示出了多视点图像v35中的相应视差图像之间的间隔(即，基于视差值的显示间隔)。
在图18所示的示例中，图像处理装置10控制与放大之后的多视点图像v35对应的视差值，使得多视点图像v35中的显示间隔w61'变得与在放大之前的多视点图像中的显示间隔w61大致相等。
具体地，图像处理装置10基于显示部30的尺寸(英寸数)和分辨率(像素数)以及电子变焦的放大倍率计算放大之后的多视点图像v35的实际空间中的尺寸(即，显示尺寸)。图像处理装置10基于计算出的显示尺寸来控制与多视点图像v35对应的视差值，使得当显示多视点图像v35时的相应视差图像之间的间隔(即，显示间隔w61')大致等于放大之前的多视点图像中的相应视差图像之间的间隔(即，显示间隔w61)。
注意，在预先确定电子变焦的可选放大设置的情况下，也可以预先计算对应于放大设置的视差值，作为预设。
接下来，图像处理装置10利用电子变焦放大从图像处理部11a和11b输出的每个视点图像，并基于放大的视点图像和控制的视差值中的每一个生成与每个视点对应的视差图像(即，与放大图像V35对应的视差值)。图像处理装置10基于控制的视差值生成由所生成的视差图像中的每一个呈现的多视点图像。注意，此时生成的多视点图像对应于图18所示的放大之后的多视点图像v35。
随后，图像处理装置10促使所生成的多视点图像V35显示在相应的显示部30上。注意，如图18所示，基于此时在显示部30上显示的多视点图像V35的视差值的显示间隔W61'已被调整为大致等于基于放大之前的多视点图像中的视差值的显示间隔W61。利用这种设置，甚至在呈现通过电子变焦放大的显示的情况下，用户能够观察具有相似的立体效果的观察目标的三维图像，而不管图像是在放大之前还是之后。注意，甚至在呈现通过电子变焦缩小显示的情况下，与放大的情况类似，显然，根据缩小之后的显示尺寸来控制视差值就足够了。
因此，上面参考图17和图18，描述作为变型例1的在使用电子变焦来放大或缩小基于由成像部21a和21b成像的视点图像生成的多视点图像的一部分的情况下由图像处理装置10对视差值进行控制的示例。
【6.2、变型例2：与多屏显示器相关的控制示例】
接下来，作为变型例2，参考图19和20，描述在单个显示部分30上呈现多个屏幕(显示区域)的情况下由图像处理装置10控制视差值的示例。图19和图20是用于说明根据变型例2的图像处理装置10的操作的示例的说明图。
上述实施例描述了在具有不同显示条件的多个显示部30上显示多视点图像的情况下图像处理装置10控制视差值的示例，该控制用于呈现具有相似的立体效果的观察目标M1的三维图像，而与显示条件的差异无关。
另一方面，在所谓的观察装置中，为了能够通过单个显示部30观察多个图像，在某些情况下，在显示部30上显示的屏幕内设置多个显示区域，并且在每个显示区域内显示图像。
例如，图19所示的示例示出了在显示部30的屏幕内设置具有不同大小的显示区域v41和v43的情况的示例。注意，在图19所示的示例中，在显示区域v41中显示多视点图像v51，而在显示区域v43中显示多视点图像v53。
在图19所示的示例中，显示部30上显示的多视点图像v51的实际空间中的尺寸(即，显示尺寸)取决于显示部30的显示条件(例如，尺寸和分辨率)和在显示部30上显示的屏幕内的显示区域v41的尺寸。类似地，在显示部30上显示的多视点图像v53的显示尺寸取决于显示部30的显示条件和在显示部30上显示的屏幕内的显示区域v43的尺寸。
此处，如前所述，在显示区域v41和v43的尺寸不同的情况下，显示区域v41和v43的实际空间(即，显示尺寸)的尺寸也不同。因此，例如，即使在显示区域v41和v43中都显示具有相似的视差值的多视点图像，基于相应视点图像(即，右眼图像和左眼图像)之间的视差值的显示间隔不同，因此用户将观察到具有不同立体效果的三维图像。
鉴于以上内容，在单个显示部30上呈现多个显示区域的情况下，如图19所示，根据变型例2的图像处理装置10根据每个显示区域的显示尺寸来控制在每个显示区域中呈现的多视点图像的视差值。注意，可以基于显示部30的显示条件(即，尺寸(英寸数)和分辨率(像素数))和在显示部30上显示的屏幕内的每个显示区域的尺寸(即，相对范围)来计算每个显示区域的显示尺寸。
通过这种配置，甚至在单个显示部30上呈现的不同尺寸的多个显示区域中的每一个内显示多视点图像的情况下，用户也能够观察到在每个显示区域中显示的多视点图像，具有相似的立体效果。
注意，如图19所示，在单个显示部30上呈现不同尺寸的多个显示区域的情况下，也可以预期在适当的情况下交换在每个显示区域中显示的图像的情况。
例如，图20所示的示例示出了交换和显示分别在图19中的显示区域v41和v43中显示的多视点图像v51和v53的情况的示例。换言之，在图20中，附图标记v51'表示在显示区域v43中显示的情况下，在图19的显示区域v41中已经显示的多视点图像v51。此外，附图标记v53'表示在显示区域v41中显示的情况下，在图19的显示区域v43中已经显示的多视点图像v53。
在这种情况下，如图19和图20所示，在显示区域v41和v43中分别显示的多视点图像v51和v53交换之前和之后，改变多视点图像v51和v53的显示尺寸。
为此，与显示区域v41和v43中分别显示的多视点图像v51和v53的交换相关联，图像处理装置10还可以根据交换之后显示的多视点图像v51'和v53'的显示尺寸，控制用于显示每个多视点图像的视差值。
通过这种配置，甚至在交换和显示分别在显示区域v41和v43中已经显示的多视点图像v51和v53的情况下，用户能够观察每个多视点图像，具有相似的立体效果，无论图像是在交换之前还是之后。
因此，上面参考图19和图20，描述作为变型例2的在单个显示部30上呈现多个屏幕(显示区域)的情况下由图像处理装置10控制视差值的示例。
【6.3、变型例3：呈现视野范围】
接下来，参考图21，描述根据变型例3的图像处理装置10。图21是用于说明根据变型例3的图像处理装置10的概要的说明图。
如上所述，在不同尺寸的多个显示部30中的每一个上显示图像(例如，多视点图像)的情况下，根据显示图像的显示部30的显示条件(尺寸(英寸数)和分辨率(像素数))，图像的显示尺寸在某些情况下是不同的。在这种情况下，在某些情况下，用户可能难以识别作为图像或图像中显示的受试者(即，观察目标)成像的范围(即，视野范围)的实际空间中的尺寸。
鉴于这种情况，在根据变型例3的图像处理装置10中，在要显示的图像(例如，多视点图像)内部呈现表示视野范围的实际空间中的尺寸(或表示这种尺寸的指示符)或者受试者的显示信息。例如，在图21所示的示例中，图像处理装置10呈现表示作为图像成像的视野范围的实际空间中的尺寸的显示信息v61。
在这种情况下，例如，图像处理装置10基于与成像部21a和21b对视点图像(即，光轴间距离和工作距离)进行成像的成像状态相关的参数，来计算由成像部21a和21b作为图像成像的范围(即，视野范围)的实际空间中的尺寸。此外，此时，图像处理装置10也可以根据例如每个成像部21a和21b的焦点位置来计算视野范围的实际空间中的尺寸。显然，上述示例仅仅是一个示例，并且该方法没有特别限制，只要图像处理装置10能够计算视野范围的实际空间中的尺寸即可。
随后，例如，根据视野范围的计算结果，图像处理装置10如图21所示生成显示信息v61，并且可以将显示信息v61嵌入由成像部21a和21b成像的视点图像中(或者嵌入基于视点图像的多视点图像内)。
通过这种配置，用户能够通过在显示部30上显示的图像内部的显示信息v61来识别作为图像或在图像中的受试者(即，观察目标)成像的视野范围的实际空间中的尺寸。
注意，如变型例2所述，在使用电子变焦来在显示部30上放大并且显示图像的情况下，从成像图像中在显示部30上显示的区域的大小在某些情况下根据电子变焦的放大而变化。在这种情况下，图像处理装置10可以根据电子变焦放大之后的放大图像的尺寸(换言之，电子变焦的倍率)来更新作为显示信息v61呈现的信息的内容。
例如，在图21中，附图标记v61'表示通过电子变焦放大之后的放大图像上呈现的显示信息v61的示例。换言之，在图21的右侧所示的图像示出了通过将左侧所示的图像的一部分放大4倍(垂直方向上2倍和水平方向上2倍)而获得的放大图像。因此，在图21所示的示例中，在通过电子变焦放大之前和之后，显示信息v61和v61'在显示部30上以相同的尺寸表示，但是由每条显示信息表示的实际空间中的尺寸是不同的。因此，在图21所示的示例中，图像处理装置10根据实际空间中的尺寸交换显示信息v61和v61'中的每一个的显示内容。
另外，图21所示的显示信息v61和v61'仅仅是一个示例，并且显示模式没有特别限制，只要用户能够识别作为图像或在图像中的受试者(即，观察目标)成像的视野范围的实际空间中的尺寸。
因此，上面参考图21，描述根据变型例3的图像处理装置10。
【6.4、变型例4：根据观看距离进行控制】
接下来，参考图22，描述根据变型例4的图像处理装置10。图22是用于说明根据变型例4的图像处理装置10的概要的说明图。在变型例4中，将描述根据观看距离L来控制视差值的情况的示例。
图22示出了多个用户520a和520b相对于手术台530位于不同位置并且在观察在不同显示装置550a和550b上显示的观察目标的3D图像的同时协同进行工作的情况的示例。注意，在本说明书中，用户520a观察在显示装置550a上显示的3D图像。假设在这种情况下的观看距离是L1。此外，用户520b观察显示装置550b上显示的3D图像。假设在这种情况下的观看距离是L2。
此处，在L1≠L2的关系中存在观看距离L1和L2的情况下，在用户520a观看在显示装置550a上显示的3D图像的情况下的会聚角与在用户520b观看在显示装置550b上显示的3D图像的情况下的会聚角不同。为此，甚至在显示屏的尺寸在显示装置550a和550b之间相等的情况下，在每个显示装置550a和550b上显示用相同视差值设置的3D图像的情况下，用户520a和520b经历不同的立体效果。
鉴于这种情况，根据变型例4的图像处理装置10可以根据对应于每个显示装置550a和550b的观看距离来控制在每个显示装置上显示的3D图像的视差值。
例如，图像处理装置10可以控制在每个显示装置上显示的3D图像的视差值，使得在用户520a观看在显示装置550a上显示的3D图像的情况下的会聚角和在用户520b观看在显示装置550b上显示的3D图像的情况下的会聚角变得大致相等。
此外，基于观看距离L1和L2，图像处理装置10可以分别控制在每个显示装置上显示3D图像的视差值，使得对于每个显示装置550a和550b，扁率θ1/θ2变为接近1的值。此外，基于观看距离L1和L2，图像处理装置10可以分别控制在每个显示装置上显示3D图像的视差值，使得对于每个显示装置550a和550b，视差角变为1o(60弧分)或更小。
注意，上面描述了通过仅集中于观看距离L1和L2来控制视差值的示例，但是在显示屏的尺寸在显示装置550a和550b之间不同的情况下，显然可以根据尺寸进行视差值的控制。
因此，上面参考图22，描述根据变型例4的图像处理装置10。
<7、硬件配置>
接下来，参考图23，详细描述构成根据本实施例的医用立体观察系统的信息处理设备900的硬件配置，例如，前面描述的手术视频显微镜装置或图像处理装置。图23是示出构成根据本公开的实施例的医用立体观察系统的信息处理设备900的硬件配置的示例配置的功能方框图。
构成根据本实施例的医用立体观察系统的信息处理设备900主要配备有CPU 901、ROM 903、RAM 905。另外，信息处理设备900也可以配备有主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923以及通信装置925。
CPU 901用作运算处理装置和控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序来控制信息处理装置900的整体操作或部分操作。ROM903存储CPU 901使用的程序、操作参数等。RAM 905主要存储CPU 901使用的程序以及在程序执行期间适当变化的参数等。这些通过由诸如CPU总线等内部总线配置的主机总线907相互连接。注意，先前参考图16描述的每个图像处理装置的每个配置可以通过例如CPU 901实现。
主机总线907经由桥接器909连接到诸如PCI(外围组件互连/接口)总线等外部总线911。另外，输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925经由接口913连接到外部总线911。
输入装置915是由用户操作的操作机构，例如，鼠标、键盘、触摸面板、按钮、开关、杠杆或踏板。此外，输入装置915可以是使用例如红外光或其他无线电波的遥控机构(所谓的遥控器)，或者可以是外部连接的装置929，例如，符合信息处理装置900的操作的移动电话或PDA。此外，输入装置915基于例如由用户通过上述操作机构输入的信息生成输入信号，并且由用于将输入信号输出给CPU 901的输入控制电路。信息处理装置900的用户可以向信息处理装置900输入各种数据，并且可以通过操作该输入装置915来指示信息处理装置900执行处理。注意，前面参考图5描述的操作部分50可以由输入装置915实现。
输出装置917由能够以视觉或听觉方式向用户通知获取的信息的装置配置成。这种装置的示例包括诸如CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置和灯等显示装置、诸如扬声器和耳机等音频输出装置、打印机等。例如，输出装置917输出由信息处理装置900进行的各种处理获得的结果。更具体地，显示装置以文本或图像的形式显示由信息处理装置执行的各种处理获得的结果。另一方面，音频输出装置将诸如再现的音频数据和声音数据等音频信号转换为模拟信号，并输出模拟信号。注意，先前参考图15描述的每个显示部分30a和30b可以由输出装置917实现。
存储装置919是用于存储数据的装置，其被配置为信息处理装置900的存储单元的示例，并用于存储数据。存储装置919例如由诸如HDD(硬盘驱动器)、半导体存储装置、光存储装置或磁光存储装置等磁存储装置配置成。该存储装置919存储要由CPU 901执行的程序和各种数据。
驱动器921是用于记录介质的读取器/写入器，并且嵌入在信息处理装置900中或在外部附接到其上。驱动器921读取在诸如磁盘、光盘、磁光盘或半导体存储器等附接的可移动记录介质927中记录的信息，并将读取的信息输出到RAM 905。此外，驱动器921可以写入附接的可移动记录介质927中，例如，磁盘、光盘、磁光盘或半导体存储器。可移动记录介质927例如是DVD介质、HD-DVD介质或蓝光(注册商标)介质。可移动记录介质927可以是压缩闪存(CF；注册商标)、闪存、SD存储卡(安全数字存储卡)等。或者，可移动记录介质927可以是例如配备有非接触IC芯片或电子装置的IC卡(集成电路卡)。
连接端口923是允许装置直接连接到信息处理装置900的端口。连接端口923的示例包括USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其他示例包括RS-232C端口、光学音频终端、HDMI(注册商标)(高清晰度多媒体接口)端口等。通过连接到该连接端口923的外部连接装置929，信息处理装置900直接从外部连接的装置929获取各种数据，并向外部连接的装置929提供各种数据。
通信装置925是例如由连接到通信网931的通信装置配置成的通信接口。通信装置925例如是有线或无线LAN(局域网)、蓝牙(注册商标)、WUSB(无线USB)的通信卡等。或者，通信装置925可以是用于光通信的路由器、用于ADSL的路由器(非对称数字用户线路)的路由器、用于各种通信的调制解调器等。该通信装置925例如可以通过互联网并且与其他通信装置根据诸如TCP/IP等预定协议发送和接收信号等。连接到通信装置925的通信网络931由通过有线或无线连接的网络等配置成，并且可以是例如互联网、家庭LAN、红外线通信、无线电波通信、卫星通信等。
迄今为止，已经示出了能够实现构成根据本公开的实施例的医用立体观察系统的信息处理装置900的功能的硬件配置的示例。上述每个结构元件可以使用通用材料来配置，或者可以由专用于每个结构元件的功能的硬件来配置。因此，可以在执行本实施例时根据技术水平来适当地改变要使用的硬件配置。注意，尽管图23中未示出，但是提供了显然与构成医用立体观察系统(换言之，手术视频显微镜装置或图像处理装置)的信息处理装置900对应的各种结构元件。
注意，也可以开发用于实现构成如上所述根据本实施例的医用立体观察系统的信息处理装置900的相应功能的计算机程序，并且在个人计算机等中实现计算机程序。此外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质可以是例如磁盘、光盘、磁光盘或闪速存储器。此外，上述计算机程序也可以经由网络传送，例如，不使用记录介质。
<8、结论>
如上所述，在根据本实施例的医用立体观察系统中，图像处理装置10基于显示部30的显示条件(例如，显示部30的尺寸(英寸数)和分辨率(像素数))，计算在显示部30上显示的图像(例如，多视点图像)的显示尺寸。接下来，图像处理装置10基于为每个显示部30计算的显示尺寸，来控制对应于显示部30的视差值。随后，对于每个显示部30，图像处理装置10基于视差值控制结果生成与相应视点对应的视点图像呈现的多视点图像，并且促使相应的显示部30显示多视点图像。
通过这种配置，甚至在用户通过具有不同显示条件(例如，尺寸(英寸)和分辨率(像素数))的多个显示部30a和30b中的每一个观察观察目标的三维图像的情况下，用户能够观察具有相似的立体效果的观察目标，与显示条件的差异无关。
注意，虽然上述示例示出了控制视差值的示例，使得在具有不同显示条件的多个不同显示部30(或显示区域)之间以相似的立体效果观察观察目标，但是图像处理装置10控制视差值的内容不必限于相同的模式。换言之，只要根据基于显示部30的显示条件计算的显示尺寸来控制在显示部30上显示的多视点图像的视差值，控制视差值的内容没有特别限定。
以上已经参考附图描述了本公开的优选实施例，同时本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变更和修改，并且应当理解，自然地落入本公开的技术范围内。
此外，本说明书中描述的效果仅仅是说明性或示例性的效果，并不是限制性的。即，通过或代替以上效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
另外，也可以如下配置本技术。
(1)一种医用立体观察装置，包括：
获取部，获取输入图像数据；
视差控制部，对于多个不同的显示区域中的每一个显示区域，根据显示区域的显示尺寸来控制视差值；以及
图像生成部，基于所获取的输入图像数据和对应于显示区域的视差值，为每个显示区域生成用于在显示区域中显示的、与多个视点中的每一个视点对应的视差图像。
(2)根据(1)所述的医用立体观察装置，其中，
所述图像生成部为多个显示部中的每一个显示部上的显示区域生成用于在显示区域中显示的、与多个视点中的每一个视点对应的视差图像。
(3)根据(2)所述的医用立体观察装置，其中，
所述视差控制部基于显示部的尺寸和显示部的分辨率来计算呈现在显示部上的显示区域的显示尺寸。
(4)根据(3)所述的医用立体观察装置，其中，
所述视差控制部从显示部获取表示显示部的尺寸的信息和表示显示部的分辨率的信息中的至少一个。
(5)根据(1)到(4)中任一项所述的医用立体观察装置，其中，
所述视差控制部对于在公共显示部上呈现的多个显示区域中的每一个显示区域，根据显示区域中的显示尺寸控制视差值，并且
所述图像生成部基于对应于显示区域的视差值，生成用于在多个显示区域中的每一个显示区域中显示的、与多个视点中的每一个视点对应的视差图像。
(6)根据(1)到(5)中任一项所述的医用立体观察装置，其中，
所述视差控制部基于向内角与会聚角之间的比例来控制对应于显示区域的视差值，其中，向内角在观察目标和成像部对所述观察目标的图像进行成像的多个视点中的每一个视点之间形成，会聚角在通过在显示区域中显示的多个视差图像由用户观察到的图像的位置和对应于用户的右眼和左眼的视点位置之间形成。
(7)根据(1)到(6)中任一项所述的医用立体观察装置，其中，
所述视差控制部基于第一会聚角与第二会聚角之间的差，来控制对应于显示区域的视差值，
第一会聚角在通过在显示区域中显示的多个视差图像由用户观察到的图像的位置和对应于用户的右眼和左眼的视点位置之间形成
第二会聚角在显示区域上的位置和对应于用户的右眼和左眼的视点位置之间形成。
(8)根据(1)到(6)中任一项所述的医用立体观察装置，其中，
所述视差控制部根据电子变焦的倍率来控制对应于显示区域的视差值，电子变焦用于在显示区域中放大或缩小显示所述视差图像。
(9)根据(1)到(8)中任一项所述的医用立体观察装置，其中，
所述视差控制部根据观察目标与对观察目标的图像进行成像的成像部之间的距离的变化来控制与多个显示区域中的每一个显示区域对应的视差值。
(10)根据(1)到(9)中任一项所述的医用立体观察装置，其中，
所述视差控制部根据显示区域的显示尺寸的变化来控制对应于显示区域的视差值，并且
所述图像生成部基于视差值的控制结果来更新用于在显示区域中显示的视差图像。
(11)一种医用立体观察方法，包括：
获取输入图像数据；
对于多个不同的显示区域中的每一个显示区域，根据显示区域的显示尺寸来控制视差值；以及
基于所获取的输入图像数据和对应于显示区域的视差值，为每个显示区域生成用于在显示区域中显示的、与多个视点中的每一个对应的视差图像。
(12)一种程序，促使计算机执行：
获取输入图像数据；
对于多个不同的显示区域中的每一个，根据显示区域的显示尺寸来控制视差值；以及
基于所获取的输入图像数据和对应于显示区域的视差值，为每个显示区域生成用于在显示区域中显示的、与多个视点中的每一个对应的视差图像。
符号说明
10图像处理装置
11a、11b图像处理部
13视差控制部
15视差图像生成部
20成像单元
21a、21b成像部
23光学系统
30显示部
40控制部
50操作部。

Claims (12)

1.一种医用立体观察装置，包括：
获取部，获取输入图像数据；
视差控制部，对于多个不同的显示区域中的每一个显示区域，根据所述显示区域的显示尺寸来控制视差值；以及
图像生成部，基于所获取的所述输入图像数据和对应于所述显示区域的所述视差值，为每个所述显示区域生成用于在所述显示区域中显示的、与多个视点中的每一个视点对应的视差图像。
2.根据权利要求1所述的医用立体观察装置，其中，
所述图像生成部为多个显示部中的每一个显示部上的显示区域生成用于在所述显示区域中显示的、与多个视点中的每一个视点对应的所述视差图像。
3.根据权利要求2所述的医用立体观察装置，其中，
所述视差控制部基于所述显示部的尺寸和所述显示部的分辨率来计算呈现在所述显示部上的所述显示区域的显示尺寸。
4.根据权利要求3所述的医用立体观察装置，其中，
所述视差控制部从所述显示部获取表示所述显示部的所述尺寸的信息和表示所述显示部的所述分辨率的信息中的至少一个。
5.根据权利要求1所述的医用立体观察装置，其中，
所述视差控制部对于在公共显示部上呈现的多个显示区域中的每一个显示区域，根据所述显示区域中的显示尺寸控制所述视差值，并且
所述图像生成部基于对应于所述显示区域的所述视差值，生成用于在多个显示区域中的每一个显示区域中显示的、与多个视点中的每一个视点对应的所述视差图像。
6.根据权利要求1所述的医用立体观察装置，其中，
所述视差控制部基于向内角与会聚角之间的比例来控制对应于所述显示区域的所述视差值，其中，所述向内角在观察目标和成像部对所述观察目标的图像进行成像的多个视点中的每一个视点之间形成，所述会聚角在通过在显示区域中显示的多个视差图像而由用户观察到的像的位置和对应于所述用户的右眼和左眼的视点位置之间形成。
7.根据权利要求1所述的医用立体观察装置，其中，
所述视差控制部基于第一会聚角与第二会聚角之间的差，来控制对应于所述显示区域的所述视差值，
所述第一会聚角在通过在显示区域中显示的多个视差图像而由用户观察到的像的位置和对应于用户的右眼和左眼的视点位置之间形成，
所述第二会聚角在显示区域上的位置和对应于所述用户的右眼和左眼的所述视点位置之间形成。
8.根据权利要求1所述的医用立体观察装置，其中，
所述视差控制部根据电子变焦的倍率来控制对应于所述显示区域的所述视差值，所述电子变焦用于在所述显示区域中放大或缩小显示所述视差图像。
9.根据权利要求1所述的医用立体观察装置，其中，
所述视差控制部根据观察目标与对所述观察目标的图像进行成像的成像部之间的距离的变化来控制与多个显示区域中的每一个显示区域对应的所述视差值。
10.根据权利要求1所述的医用立体观察装置，其中，
所述视差控制部根据所述显示区域的所述显示尺寸的变化来控制对应于所述显示区域的所述视差值，并且
所述图像生成部基于所述视差值的控制结果来更新用于在所述显示区域中显示的所述视差图像。
11.一种医用立体观察方法，包括：
获取输入图像数据；
对于多个不同的显示区域中的每一个显示区域，根据所述显示区域的显示尺寸来控制视差值；以及
基于所获取的所述输入图像数据和对应于所述显示区域的所述视差值，为每个所述显示区域生成用于在所述显示区域中显示的、与多个视点中的每一个对应的视差图像。
12.一种程序，促使计算机执行：
获取输入图像数据；
对于多个不同的显示区域中的每一个，根据所述显示区域的显示尺寸来控制视差值；以及
基于所获取的所述输入图像数据和对应于所述显示区域的所述视差值，为每个显示区域生成用于在所述显示区域中显示的、与多个视点中的每一个对应的视差图像。
CN201680035403.7A 2015-06-24 2016-03-28 医用立体观察装置、医用立体观察方法以及程序 Active CN107710756B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015126228 2015-06-24
JP2015-126228 2015-06-24
PCT/JP2016/059856 WO2016208246A1 (ja) 2015-06-24 2016-03-28 医療用立体観察装置、医療用立体観察方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN107710756A true CN107710756A (zh) 2018-02-16
CN107710756B CN107710756B (zh) 2021-01-19

Family

ID=57585374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680035403.7A Active CN107710756B (zh) 2015-06-24 2016-03-28 医用立体观察装置、医用立体观察方法以及程序

Country Status (5)

Country Link
US (1) US10561304B2 (zh)
EP (1) EP3293972B1 (zh)
JP (1) JPWO2016208246A1 (zh)
CN (1) CN107710756B (zh)
WO (1) WO2016208246A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110464290A (zh) * 2018-05-11 2019-11-19 张艺莹 一种耳鼻喉检查器
CN111045202A (zh) * 2019-12-31 2020-04-21 浙江未来技术研究院(嘉兴) 一种手术显微镜
CN112068300A (zh) * 2020-11-10 2020-12-11 中国科学院自动化研究所 基于医疗显微影像的快门式自适应3d显示系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI576787B (zh) * 2016-02-05 2017-04-01 黃宇軒 擴增實境影像產生系統及其應用
US10890751B2 (en) 2016-02-05 2021-01-12 Yu-Hsuan Huang Systems and applications for generating augmented reality images
CN108885335B (zh) * 2016-03-30 2021-10-22 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
EP3609385B1 (en) * 2017-04-14 2022-12-28 Alcon Inc. Anti-parallax correction of stereoscopic surgical images
JPWO2019111473A1 (ja) * 2017-12-06 2020-12-03 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、および医療用観察システム
JP2019154883A (ja) * 2018-03-15 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
JPWO2019181212A1 (ja) 2018-03-23 2021-03-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法
WO2019186768A1 (ja) * 2018-03-28 2019-10-03 株式会社島津製作所 術中支援装置
JPWO2019230115A1 (ja) * 2018-05-30 2021-09-09 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置
JP7227448B2 (ja) * 2018-07-18 2023-02-22 日本電信電話株式会社 表示装置および表示方法
JP2020126208A (ja) * 2019-02-06 2020-08-20 オリンパス株式会社 ３次元画像表示方法、３次元画像表示装置、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1313712A (zh) * 2000-03-14 2001-09-19 株式会社索夫特4D 产生立体图像的方法和装置
US20020024592A1 (en) * 1995-06-29 2002-02-28 Kenya Uomori Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法
CN102724521A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 立体显示方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4875034A (en) * 1988-02-08 1989-10-17 Brokenshire Daniel A Stereoscopic graphics display system with multiple windows for displaying multiple images
JP2848291B2 (ja) * 1995-08-24 1999-01-20 松下電器産業株式会社 立体ｔｖ装置
JPH09139957A (ja) * 1995-11-14 1997-05-27 Mitsubishi Electric Corp グラフィック表示装置
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US9049434B2 (en) 2010-03-05 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
JP5501458B2 (ja) * 2010-06-11 2014-05-21 富士フイルム株式会社 立体画像表示装置、立体撮像装置、及び方法
CN102959973B (zh) * 2010-06-25 2015-01-21 富士胶片株式会社 立体图像重放设备、立体图像重放系统以及立体图像重放方法
JP4956658B2 (ja) * 2010-10-12 2012-06-20 シャープ株式会社 立体映像変換装置及び立体映像表示装置
JP2012094936A (ja) 2010-10-22 2012-05-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5049416B2 (ja) * 2011-01-17 2012-10-17 パナソニック株式会社 画像ファイル生成装置、画像ファイル再生装置及び画像ファイル生成方法
WO2012137454A1 (ja) * 2011-04-01 2012-10-11 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
JP2013223666A (ja) * 2012-04-23 2013-10-31 Hoya Corp 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
JP5784847B2 (ja) * 2013-04-03 2015-09-24 オリンパス株式会社 ３ｄ映像を表示する内視鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024592A1 (en) * 1995-06-29 2002-02-28 Kenya Uomori Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
CN1313712A (zh) * 2000-03-14 2001-09-19 株式会社索夫特4D 产生立体图像的方法和装置
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法
CN102724521A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 立体显示方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110464290A (zh) * 2018-05-11 2019-11-19 张艺莹 一种耳鼻喉检查器
CN111045202A (zh) * 2019-12-31 2020-04-21 浙江未来技术研究院(嘉兴) 一种手术显微镜
CN112068300A (zh) * 2020-11-10 2020-12-11 中国科学院自动化研究所 基于医疗显微影像的快门式自适应3d显示系统
CN112068300B (zh) * 2020-11-10 2021-03-16 中国科学院自动化研究所 基于医疗显微影像的快门式自适应3d显示系统
US11175490B1 (en) 2020-11-10 2021-11-16 Institute Of Automation, Chinese Academy Of Sciences Shutter-type adaptive three-dimensional display system based on medical microscopic imaging

Also Published As

Publication number Publication date
EP3293972A1 (en) 2018-03-14
EP3293972B1 (en) 2023-08-30
WO2016208246A1 (ja) 2016-12-29
EP3293972A4 (en) 2018-12-05
US10561304B2 (en) 2020-02-18
US20180125340A1 (en) 2018-05-10
JPWO2016208246A1 (ja) 2018-04-26
CN107710756B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN107710756A (zh) 医用立体观察装置、医用立体观察方法以及程序
JP4649219B2 (ja) 立体画像生成装置
EP2759248B1 (en) Stereoscopic endoscope device
JP6058290B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
WO2012075631A1 (en) Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
JP2004309930A (ja) 立体観察システム
US20220265125A1 (en) Wireless swivel camera laparoscopic instrument with a virtual mapping and guidance system
JP6147464B2 (ja) 画像処理システム、端末装置及び方法
JP2007068876A (ja) 医療用立体観察システム
WO2013179855A1 (ja) 立体視内視鏡システム
CN109804290A (zh) 医疗观察装置和控制方法
CN107595408A (zh) 2d与裸眼3d双屏内窥镜系统及显示方法
CN115919239A (zh) 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统
JP2011199556A (ja) 立体映像撮像装置及び立体映像信号生成装置並びにプログラム
CN108885335B (zh) 医用立体观察装置、医用立体观察方法以及程序
US10855980B2 (en) Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method
US20120249533A1 (en) Stereoscopic display apparatus
WO2016194446A1 (ja) 情報処理装置、情報処理方法、及び生体内撮像システム
US10330945B2 (en) Medical image display apparatus, medical information processing system, and medical image display control method
US20230147711A1 (en) Methods for generating stereoscopic views in multicamera systems, and associated devices and systems
CN103767664A (zh) 硬质多通道3d膀胱镜系统
JP2012105169A (ja) 立体映像撮像装置および立体映像撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant