CN103875243A - 三维内窥镜装置 - Google Patents

Abstract

内窥镜镜体具有对分别与左眼用图像和右眼用图像对应的光进行成像的左眼用光学系统和右眼用光学系统，并且，具有使通过左眼用光学系统和右眼用光学系统而得到的第1光和第2光分别在单一的受光面上成像的CMOS传感器。连结在CMOS传感器的受光面上成像的第1像的中心和第2像的中心的直线与视差方向垂直。在CMOS传感器的受光面上，第1像的中心和第2像所成像的第1区域被分割为多个第1分割区域，第2区域被分割为多个第2分割区域。CMOS传感器在从第1区域和第2区域读出构成影像信号的数据时，交替地扫描与左眼用图像对应的位置的第1分割区域和与右眼用图像对应的位置的第2分割区域而读出数据。

Description

三维内窥镜装置

技术领域

本发明涉及使左眼用/右眼用的图像在1片MOS型传感器上成像的三维内窥镜装置。

本申请基于在2011年10月14日在日本申请的特愿2011-226756号并主张优先权，在此引用其内容。

背景技术

存在通过使具有视差的左眼用/右眼用的图像在1片MOS型传感器上成像而实现立体视觉的三维内窥镜装置。由于内窥镜镜体的安装空间的关系，与使用多个摄像元件的方式相比，更优选使受光面的形状接近正方形的1片摄像元件成像左眼用/右眼用的图像的方式。

在使左眼用图像和右眼用图像在1片摄像元件上成像的情况下，通常在将摄像元件的受光面进行左右分割后得到的区域上成像。但是，在要得到高质量图像的情况下，需要生成如16：9那样横向较长的图像。由此，在将接近正方形的摄像元件的受光面进行左右分割而得到的区域上成像的方式中，由于之后必须以大的倍率在水平方向上放大图像，因此成为导致画质劣化的要因。作为解决该问题的手段，在专利文献1中，如图7所示，提出了使左眼用图像和右眼用图像在将摄像元件的受光面上下分割得到的区域S11、S12上成像的技术。

现有技术文献

专利文献

专利文献1：再公表WO2004／106857号公报

发明内容

发明要解决的问题

专利文献1所记载的技术是在为了得到横向较长的高质量图像而使左右的图像在1片摄像元件上成像时有效的技术。然而，在专利文献1中，由于摄像元件的种类未确定，因此，未提及摄像元件为MOS型传感器时的课题。当不使用机械快门并且不设置遮光期间而是使用MOS型传感器时，根据卷帘式快门的特性，根据所成像的图像的位置，将光信息作为电气信息蓄积在像素中的时刻不同。

例如，如图8所示，在将区域S11分割为多个区域而得到的各区域中，按照区域S11-1、区域S11-2、区域S11-3、···、区域S11-n的方式从上侧向下侧依次将光信息蓄积在像素中。在区域S11的区域S11-n中蓄积了光信息后，在将区域S12分割为多个区域而得到的各区域中，按照区域S12-1、区域S12-2、区域S12-3、···、区域S12-n的方式从上侧向下侧依次将光信息蓄积在像素中。

因此，在左眼用图像和右眼用图像中，在彼此对应的位置（例如区域S11-1和区域S12-1）的图像中产生1帧周期的一半的时差，在拍摄正在运动的被摄体的情况下，在左右的图像中位置产生偏移。三维内窥镜装置是利用视差使被摄体看起来立体的装置，时差引起的位置偏移使适当设定的视差混乱，无法实现立体显示。

此外，在三维内窥镜中，高精度地决定摄像元件的配置和光学系统的结构以得到适当的视差，但是存在如下问题：由于利用高压灭菌器等而使内窥镜镜体变形，或者由于在使用内窥镜时在镜头上附着水滴等而在物理上产生偏移。由于难以事先对该偏移进行予测，因此，要求具有如下功能：在使用内窥镜镜体之前或者如果需要的话在内窥镜镜体的使用过程中对偏移进行检测，对该偏移进行电子校正。当在这样的随时间经过和使用条件而产生的偏移上加上MOS型传感器的卷帘式快门的特性引起的偏移时，无法仅检测要作为校正对象的前者的偏移。

本发明是鉴于上述课题而完成的，其目的在于提供一种能够抑制MOS型传感器的卷帘式快门的特性引起的左右的图像的偏移的三维内窥镜装置。

用于解决问题的手段

本发明是为了解决上述的课题而完成的，在本发明的第1方式中，提供取得具有视差的左眼用图像和右眼用图像的三维内窥镜装置，该三维内窥镜装置具有：内窥镜镜体，其具有对分别与所述左眼用图像和所述右眼用图像对应的光进行成像的2系统的光学系统，并且具有MOS型传感器，该MOS型传感器使通过所述2系统的光学系统后得到的第1光和第2光分别在单一的受光面上成像，生成基于所成像的第1像和第2像的影像信号；图像处理器，其对所述影像信号进行图像处理；以及图像显示装置，其根据由所述图像处理器处理后的所述影像信号，显示包含所述左眼用图像和所述右眼用图像的图像，将在所述MOS型传感器的所述受光面上成像的所述第1像的中心和所述第2像的中心连结起来的直线与视差方向垂直，在所述MOS型传感器的所述受光面中，所述第1像所成像的第1区域被分割为多个第1分割区域，所述第2像所成像的第2区域被分割为多个第2分割区域，所述MOS型传感器在从所述第1区域和所述第2区域读出构成所述影像信号的数据时，交替地扫描与所述左眼用图像对应的位置的所述第1分割区域和与所述右眼用图像对应的位置的所述第2分割区域来读出数据。

根据本发明的第2方式的三维内窥镜装置，也可以是，在上述第1方式中，所述MOS型传感器利用光栅扫描对所述多个所述第1分割区域和所述多个所述第2分割区域进行扫描来读出数据，所述光栅扫描的方向与所述视差方向垂直。

根据本发明的第3方式的三维内窥镜装置，也可以是，在上述第1方式中，所述图像处理器具有：图像处理部，其进行所述图像处理；分离部，其将所述影像信号分离为与所述左眼用图像对应的左眼用影像信号和与所述右眼用图像对应的右眼用影像信号；以及调整部，其对分别构成所述左眼用影像信号和所述右眼用影像信号的数据的顺序进行重新排列，以使得与利用所述光栅扫描在与所述视差方向相同的方向上对所述多个所述第1分割区域和所述多个所述第2分割区域进行扫描而读出数据的情况下的数据的顺序相同。

根据本发明的第4方式的三维内窥镜装置，也可以是，在上述第3方式中，所述图像处理器具有：控制部，其在进行通常动作之前或者在所述通常动作的中途，指示校准动作；偏移检测部，其在所述校准动作时检测所述左眼用图像和所述右眼用图像的偏移量；校正量计算部，其在所述校准动作时计算所述左眼用图像和所述右眼用图像的校正量；以及校正部，其根据所述左眼用图像和所述右眼用图像的所述校正量，对所述影像信号进行校正。

根据本发明的第5方式的三维内窥镜装置，也可以是，在上述第4方式中，所述偏移检测部对明亮度、白平衡、大小、旋转、平行移动中的至少1个以上的项目的偏移量进行检测，所述校正量计算部计算与每个所述项目的所述偏移量对应的校正量。

发明的效果

根据上述内容，MOS型传感器在从第1区域和第2区域读出构成影像信号的数据时，交替地扫描与左眼用图像对应的位置的第1分割区域和与右眼用图像对应的位置的第2分割区域来读出数据，由此，能够抑制MOS型传感器的卷帘式快门的特性引起的左右图像的偏移。

附图说明

图1是示出本发明的一个实施方式的三维内窥镜装置的概略结构的结构图。

图2是示出本发明的一个实施方式的三维内窥镜装置具有的CMOS传感器的受光面的参考图。

图3是示出本发明的一个实施方式的三维内窥镜装置具有的CMOS传感器扫描受光面并从各像素读出构成影像信号的数据的状况的参考图。

图4是示出本发明的一个实施方式的三维内窥镜装置具有的图像处理器的结构的框图。

图5是示出本发明的一个实施方式的三维内窥镜装置具有的图像处理器内的影像信号分离部和影像信号调整部进行的处理的状况的参考图。

图6是示出本发明的一个实施方式的三维内窥镜装置具有的CMOS传感器扫描受光面并从各像素读出构成影像信号的数据的状况的参考图。

图7是使左右的图像成像在摄像元件上的状况的参考图。

图8是用于说明MOS型传感器的卷帘式快门的特性引起的蓄积时刻的差异的参考图。

具体实施方式

下面参照附图来说明本发明的实施方式。图1示出本发明的一个实施方式的三维内窥镜装置的概略结构。参照图1来概略地说明三维内窥镜装置。

三维内窥镜装置具有：内窥镜镜体201，其具有左眼用光学系统101、右眼用光学系统102、CMOS传感器110（MOS型传感器）；图像处理器202；作为监视器的图像显示装置203。左眼用光学系统101、右眼用光学系统102、CMOS传感器110配置在内窥镜镜体201的前端。

左眼用光学系统101和右眼用光学系统102是对分别与左眼用图像和右眼用图像对应的光进行成像的2系统的光学系统。左眼用光学系统101和右眼用光学系统102具有适合高质量图像的例如长宽比为16:9的视场角。此外，左眼用光学系统101和右眼用光学系统102以对左眼用图像和右眼用图像赋予适合三维显示的视差的方式配置。通过左眼用光学系统101和右眼用光学系统102后的2系统的光（第1光和第2光）在CMOS传感器110的受光面上下分开，成像为左眼用图像和右眼用图像。

CMOS传感器110生成基于在受光面上成像的左眼用图像（第1像）和右眼用图像（第2像）的影像信号。图像处理器202对从CMOS传感器110输出的影像信号进行图像处理。图像显示装置203根据由图像处理器202处理后的影像信号，显示包含左眼用图像和右眼用图像的图像。

关于此处表现的左右和上下的关系，参照图2进行补充说明。图2示出CMOS传感器110的受光面。在CMOS传感器110的受光面上呈矩阵状地配置有多个生成基于所成像的光的数据的像素。CMOS传感器110的受光面具有将通过左眼用光学系统101后的光成像为左眼用图像的区域S1（第1区域）和将通过右眼用光学系统102后的光成像为右眼用图像的区域S2（第2区域）。向左眼用图像和右眼用图像赋予视差的方向（视差方向）是左右方向（图2的箭头D1的方向），将在CMOS传感器110的受光面上分为2个而成像的左眼用图像和右眼用图像各自的中心连接起来的直线的方向（区域S1和区域S2的排列方向）是上下方向（图2的箭头D2的方向）。这2个方向成为垂直的关系。

图3示出CMOS传感器110通过光栅扫描来扫描受光面，并从在受光面上配置为矩阵状的各像素读出构成影像信号的数据的状况。CMOS传感器110扫描受光面的方向（图3的箭头D3的方向）与视差方向垂直。区域S1和区域S2被分割为多个分割区域。区域S1具有以排列为矩阵状的像素的列为单位来分割的分割区域S1-1、分割区域S1-2、分割区域S1-3、···、分割区域S1-n（第1分割区域）。区域S2具有以排列为矩阵状的像素的列为单位来分割的分割区域S2-1、分割区域S2-2、分割区域S2-3、···、分割区域S2-n（第2分割区域）。区域S1内的各分割区域与区域S2内的同一列的各分割区域相对应。例如，分割区域S1-1与分割区域S2-1对应，分割区域S1-n与分割区域S2-n对应。

CMOS传感器110在箭头D3的方向上扫描受光面，从各分割区域的各像素读出构成影像信号的数据。由此，交替地扫描区域S1内的各分割区域和区域S2内的各分割区域。更具体而言，按照分割区域S2-1、分割区域S1-1、分割区域S2-2、分割区域S1-2、分割区域S2-3、分割区域S1-3、···、分割区域S2-n、分割区域S1-n这样的顺序扫描各分割区域。这样，将以列为单位来分割的分割区域作为扫描单位，在同一方向上交替地扫描区域S1和区域S2。

由此，在左眼用图像和右眼用图像彼此对应的位置（在左眼用图像和右眼用图像中图像内的位置相同的位置），将光信息作为电气信息来进行蓄积的时刻（蓄积的开始时刻或结束时刻）之差成为1行的扫描时间的一半这样的微小时间。例如，在分割区域S1-1的最上侧的像素中将光信息作为电气信息来蓄积的时刻与在对应的分割区域S2-1的最上侧的像素中将光信息作为电气信息来蓄积的时刻之间的差是1行的扫描时间（分别扫描分割区域S1-1和分割区域S2-1的时间的合计）的一半。CMOS传感器110将交替地混合了左眼用图像的数据和右眼用图像的数据的影像信号输出到图像处理器202。

图4示出图像处理器202的详细的结构。图像处理器202具有影像信号分离部120、影像信号调整部121、偏移检测部130、校正量计算部140、校正部150、图像处理部160、控制部180。

影像信号分离部120将交替地混合了左眼用图像的数据和右眼用图像的数据的影像信号分离为由左眼用图像的数据构成的左眼用影像信号和由右眼用图像的数据构成的右眼用影像信号。由此，能够以左眼用和右眼用的各图像为单位来进行以后的处理。

影像信号调整部121对分别构成从影像信号分离部120输出的左眼用影像信号和右眼用影像信号的数据的顺序进行调整。通过在垂直方向上扫描CMOS传感器110的受光面，各像素的数据的顺序成为特殊的状态。因此，影像信号调整部121对构成左眼用影像信号的数据的顺序进行调整（重新排列），使得顺序与利用光栅扫描在和视差方向相同的方向上扫描区域S1时的各像素的数据的顺序相同。此外，影像信号调整部121对构成右眼用影像信号的数据的顺序进行调整（重新排列），使得顺序与利用光栅扫描在和视差方向相同的方向上扫描区域S2时的各像素的数据的顺序相同。由此，分别构成左眼用影像信号和右眼用影像信号的的数据的顺序最后成为与应该输入到图像显示装置203的数据的顺序相同的顺序。

一般使用存储器来进行数据的重新排列，但是，如果将左眼用影像信号和右眼用影像信号分开写入到左眼用的存储器、右眼用的存储器，并以左右的存储器为单位来管理数据，则不需要准备另外分离的步骤。

图5示出由影像信号分离部120和影像信号调整部121进行的处理的状况。为了使说明简单，在CMOS传感器110的受光面中，将对左眼用图像进行成像的区域S1的像素和对右眼用图像进行成像的区域S2的像素配置成2行3列。此外，为了区别图5所示的12个像素，对各像素赋予了从1到12的号码。

由于在垂直方向（图5的箭头D4的方向）上扫描CMOS传感器110的受光面，因此，从CMOS传感器110输出的影像信号E1的各像素的数据以图5所示的顺序排列。影像信号分离部120将影像信号E1分离为左眼用影像信号EL1和右眼用影像信号ER1。影像信号调整部121对构成左眼用影像信号EL1的各像素的数据的顺序进行调整，生成左眼用影像信号EL2。此外，影像信号调整部121对构成右眼用影像信号ER1的各像素的数据的顺序进行调整，生成右眼用影像信号ER2。左眼用影像信号EL2的各像素的数据的顺序与利用光栅扫描在和视差方向相同的方向上扫描区域S1时的各像素的数据的顺序相同。此外，右眼用影像信号ER2的各像素的数据的顺序与利用光栅扫描在和视差方向相同的方向上扫描区域S2时的各像素的数据的顺序相同。

偏移检测部130、校正量计算部140根据由控制部180输出的控制信号进行动作。由控制部180输出的控制信号是指示动作模式的信号。本实施方式的三维内窥镜装置具有通常模式和校准模式作为动作模式。在进行通常动作之前或者通常动作的中途指示校准模式。当控制信号指示了校准模式时，偏移检测部130和校正量计算部140根据左眼用影像信号和右眼用影像信号，检测左眼用图像和右眼用图像的偏移，计算校正量。在校准结束时保持计算出的校正量，并在通常模式中进行利用。当通常模式时，偏移检测部130停止动作，或者即使进行动作也使计算出的偏移量无效，不更新偏移量。此外，当通常模式时，校正量计算部140除了后述的失真校正以外停止动作，或者即使进行动作也使计算出的校正量无效，不更新校正量。关于偏移检测部130、校正量计算部140以外的单元，不依赖于控制信号而进行单一的动作。

偏移检测部130具有分别对明亮度、白平衡、大小、旋转、平行移动各项目中的偏移进行检测的5个类别偏移检测部131。在图4中仅示出1个类别偏移检测部131，省略了其他4个类别偏移检测部131。以下详细说明校准模式中的类别偏移检测部131的动作。

为了检测偏移，在校准模式中，三维内窥镜装置对描绘有图卡图像的校准夹具进行拍摄。考虑各种图像作为在校准夹具上描绘的图卡图像，但在本实施方式中，以在白底的中央部描绘有填涂成黑色的正方形的情况为例进行说明。

明亮度用的类别偏移检测部131根据左眼用图像和右眼用图像的亮度平均等来检测例如右眼用图像相对于左眼用图像的明亮度的偏移量。求平均的范围可以是图像整体也可以仅是预先规定的范围。此外，虽然将明亮度的偏移量设为亮度之比，但是，也可以设为亮度之差。

关于白平衡的偏移量，由白平衡用的类别偏移检测部131检测左眼用图像的相对于取得了平衡的状态的偏移量和右眼用图像的相对于取得了平衡的状态的偏移量。

关于大小、旋转、平行移动的偏移量，事先对左眼用影像信号和右眼用影像信号实施规定的失真校正，然后检测这些偏移量。由于内窥镜镜体的镜头特性或为了再现手术者喜欢的图像，在内窥镜图像中产生了规定的失真。通过去除该失真，能够准确地检测大小、旋转、平行移动的偏移量。

大小用、旋转用、平行移动用的类别偏移检测部131对左眼用图像和右眼用图像进行解析来检测偏移量。在去除失真并能够将正方形识别为正方形的状态下，通过检测黑和白的边界位置，能够容易地得到正方形的4个顶点的坐标。

大小用的类别偏移检测部131计算各图像的顶点间的距离之比，例如检测右眼用图像相对于左眼用图像的顶点间的距离之比作为偏移量。在本实施方式中，各图像的顶点间的距离相当于各图像的大小。由于在校准夹具上描绘的图卡图像与镜头之间的距离是固定的，原本设定的规定的视差量不会对大小产生影响，因此只要单纯得到大小之比即可。例如，计算从左眼用图像检测出的4个顶点中的任意2个顶点间的距离，以及从右眼用图像检测出的4个顶点中的与左眼用图像中计算距离的2个顶点对应的2个顶点间的距离，计算这两个距离之比。

旋转用的类别偏移检测部131计算由各图像的顶点得到的倾角，例如检测右眼用图像的倾角相对于左眼用图像的倾角之差作为偏移量。由于校准夹具上描绘的图卡图像与镜头之间的距离是固定的，原本设定的规定的视差量不会对倾角产生影响，因此只要单纯得到倾角之差即可。例如，计算通过从左眼用图像检测出的4个顶点中的任意2个顶点的直线的倾角，以及通过从右眼用图像检测出的4个顶点中的、与在左眼用图像中计算倾角的直线所通过的2个顶点对应的2个顶点的直线的倾角，计算这两个倾角之差。

平行移动用的类别偏移检测部131计算各图像的重心位置之差，例如检测右眼用图像的位置相对于左眼用图像的位置之差作为偏移量。不仅是单纯采用位置之差，还考虑到原本设定的规定的视差量而得到偏移量。

关于白平衡以外的偏移，虽然记载为以左眼用图像为基准来检测偏移量，但是，也可以以右眼用图像为基准来检测偏移量。此外，上述说明的偏移量的检测方法仅是一例，除此以外还考虑其他各种检测方法。

校正量计算部140具有基准调整部142、以及计算明亮度、白平衡、大小、旋转、平行移动的各偏移的各自校正量的5个类别校正量计算部143。在图4中仅示出1个类别校正量计算部143，省略了其他4个类别校正量计算部143。以下详细说明校准模式中的类别校正量计算部143的动作。

在白平衡校正中存在绝对的基准，但是，关于明亮度、大小、旋转、平行移动，不存在绝对的基准。而且，虽然对左眼用图像和右眼用图像进行比较能够知道两图像间的偏移量，但是，难以知道是左眼用图像和右眼用图像中的哪一方发生了偏移，还是双方均发生了偏移。

因此，设置有基准调整部142，以使用户能够从左眼用图像和右眼用图像中选择作为明亮度、大小、倾角、位置的基准的图像。基准调整部142从左眼用图像和右眼用图像中选择由用户指示的图像，作为明亮度、大小、倾角、位置的基准。

白平衡用的类别校正量计算部143根据白平衡的绝对偏移量来计算左眼用图像和右眼用图像的校正量。具体而言，计算为了成为调整了白平衡的状态而与左眼用影像信号和右眼用影像信号相乘的系数。

明亮度用、大小用、旋转用、平行移动用的各个类别校正量计算部143计算当基准调整部142从左眼用图像和右眼用图像中选择了一方的图像作为基准时的另一方的图像的校正量。下面，对作为校正量计算部140的动作而例示的以左眼用图像以基准来检测右眼用图像的明亮度、大小、倾角、位置的相对偏移量的情况下的校正量的计算方法和校正方法进行说明。

首先，对与明亮度有关的校正量的计算方法和校正方法进行说明。由于由校正量计算部140检测以左眼用图像为基准的右眼用图像的明亮度之比，因此，在基准调整部142选择了左眼用图像作为基准的情况下，明亮度之比的倒数成为校正量。类别校正量计算部143将该校正量与右眼用影像信号的各像素值相乘，使右眼用图像与左眼用图像匹配。此外，在基准调整部142选择了右眼用图像作为基准的情况下，明亮度之比成为校正量，类别校正量计算部143将该校正量与左眼用影像信号的各像素值相乘，使左眼用图像与右眼用图像匹配。

接着，对与大小有关的校正量的计算方法和校正方法进行说明。由于由校正量计算部140检测以左眼用图像为基准的右眼用图像的大小之比，因此，在基准调整部142选择了左眼用图像作为基准的情况下，大小之比的倒数成为校正量。类别校正量计算部143根据该校正量对右眼用影像信号进行放大处理，使右眼用图像与左眼用图像匹配。此外，在基准调整部142选择了右眼用图像作为基准的情况下，大小之比成为校正量，类别校正量计算部143根据该校正量对左眼用影像信号进行放大处理，使左眼用图像与右眼用图像匹配。

接着，对与倾角有关的校正量的计算方法和校正方法进行说明。由于由校正量计算部140检测以左眼用图像为基准的右眼用图像的倾角之差，因此，在基准调整部142选择了左眼用图像作为基准的情况下，将倾角之差乘以-1得到的值成为校正量。类别校正量计算部143根据该校正量对右眼用影像信号进行旋转处理，使右眼用图像与左眼用图像匹配。在基准调整部142选择了右眼用图像作为基准的情况下，倾角之差成为校正量，类别校正量计算部143根据该校正量对左眼用影像信号进行旋转处理，使左眼用图像与右眼用图像匹配。

接着，对与位置有关的校正量的计算方法和校正方法进行说明。由于由校正量计算部140检测以左眼用图像为基准的右眼用图像的位置之差，因此，在基准调整部142选择了左眼用图像作为基准的情况下，将位置之差乘以-1得到的值成为校正量。类别校正量计算部143根据该校正量对右眼用影像信号进行平行移动处理，使右眼用图像与左眼用图像匹配。此外，在基准调整部142选择了右眼用图像作为基准的情况下，位置之差成为校正量，类别校正量计算部143根据该校正量对左眼用影像信号进行平行移动处理，使左眼用图像与右眼用图像匹配。

校正量计算部140输出所计算出的校正量、以及为了去除失真而事先实施了规定的失真校正的左眼用影像信号和右眼用影像信号。校正部150根据由校正量计算部140计算出的校正量对左眼用影像信号和右眼影像信号进行校正。

校正部150针对明亮度进行增益相乘、针对白平衡进行白平衡矩阵相乘、针对大小进行放大缩小（zoom）处理、针对旋转进行旋转处理、针对平行移动进行平行移动处理（位置变换）。校正部150要进行处理的左眼用影像信号和右眼用影像信号是通过失真校正去除了图像中的失真后的影像信号。因此，校正部150在实施了校正后，对左眼用影像信号和右眼用影像信号进行恢复本来具有的失真的处理。该恢复处理被调整为去除失真时的逆变换。

由图像处理部160对校正了除失真以外的偏移的左眼用影像信号和右眼用影像信号实施规定的图像处理（像素数变换、边缘校正、颜色调整等显示用的图像处理），并将其输出到作为监视器的图像显示装置203。图像显示装置203根据由图像处理部160实施了图像处理后的左眼用影像信号和右眼用影像信号，对包含右眼用图像和左眼用图像的图像进行显示。

在以上的结构中，偏移检测部130、校正量计算部140、校正部150、控制部180以及包含于它们中的部位是用于检测由于时间经过或使用条件而产生的偏移并进行校正的部分。在能够无视这样的偏移的情况下，不需要这些部位。

此外，在省略了这些部位的装置中，影像信号分离部120和影像信号调整部121不是必须配置在图像处理部160的前级，如果图像处理部160在混合了左眼用影像信号和右眼用影像信号的状态下实施规定的图像处理，则也可以配置在图像处理部160的后级。

接着，对本实施方式的变形例进行说明。在上述中，通过研究CMOS传感器的配置，缩小了在左眼用图像和右眼用图像的彼此对应的位置将光信息作为电气信息进行蓄积的时刻之差，但是，也可以活用CMOS传感器的能够随机存取的特征。该情况下，以使得对左眼用图像和右眼用图像的彼此对应的位置进行存取的时刻接近的方式来产生地址，CMOS传感器根据所产生的地址来扫描受光面。

例如，CMOS传感器110也可以如图6那样扫描受光面。图6中示出了CMOS传感器110利用光栅扫描对受光面进行扫描，并从矩阵状地配置在受光面上的各像素读出构成影像信号的数据的状况。CMOS传感器110扫描受光面的方向（图6的箭头D5的方向）与视差方向平行。区域S3（第1区域）和区域S4（第2区域）被分割为多个分割区域。区域S3具有以排列为矩阵状的像素的行为单位来分割的分割区域S3-1、分割区域S3-2、分割区域S3-3、···、分割区域S3-n（第1分割区域）。区域S4具有以排列为矩阵状的像素的行为单位来分割的分割区域S4-1、分割区域S4-2、分割区域S4-3、···、分割区域S4-n（第2分割区域）。区域S3内的各分割区域与区域S4内的对应的行的各分割区域相对应。例如，分割区域S3-1与分割区域S4-1对应，分割区域S3-n与分割区域S4-n对应。

CMOS传感器110在箭头D5的方向上扫描受光面，从各分割区域的各像素中读出构成影像信号的数据。由此，交替地扫描区域S3内的各分割区域和区域S4内的各分割区域。更具体而言，按照分割区域S3-1、分割区域S4-1、分割区域S3-2、分割区域S4-2、分割区域S3-3、分割区域S4-3、···、分割区域S3-n、分割区域S4-n这样的顺序扫描各分割区域。这样，将以行为单位来分割的分割区域作为扫描单位，在同一方向上交替地扫描区域S3和区域S4。

由此，在左眼用图像和右眼用图像彼此对应的位置（在左眼用图像和右眼用图像中图像内的位置相同的位置），将光信息作为电气信息进行蓄积的时刻（蓄积的开始时刻或结束时刻）之差成为与1行的扫描时间相同的时间。例如，在分割区域S3-1的最左侧的像素将光信息作为电气信息进行蓄积的时刻与在对应的分割区域S4-1的最左侧的像素将光信息作为电气信息进行蓄积的时刻之差是与1行的扫描时间（分别扫描分割区域S1-1、分割区域S2-1的时间）相同的时间。

如上所述，根据本实施方式，CMOS传感器110在从左眼用图像所成像的第1区域和右眼用图像所成像的第2区域中读出构成影像信号的数据时，交替地扫描与左眼用图像对应的分割区域和与右眼用图像对应的位置的分割区域而读出数据，由此，能够缩小在左眼用图像和右眼用图像彼此对应的位置将光信息作为电气信息进行蓄积的时刻（蓄积的开始时刻或结束时刻）之差。因此，能够抑制卷帘式快门的特性引起的左右图像的偏移。因此，能够得到适合作为高质量图像来显示的影像信号，即使拍摄了正在运动的被摄体也能够抑制左右图像的时差的影响。

此外，CMOS传感器110在利用光栅扫描对多个分割区域进行扫描而读出数据时，由于光栅扫描的方向与视差方向垂直，因此，在左眼用图像和右眼用图像彼此对应的位置将光信息作为电气信息进行蓄积的时刻（蓄积的开始时刻或结束时刻）之差成为1行的扫描时间的一半。因此，即使拍摄了正在运动的被摄体也能够抑制左右图像的时差的影响。

此外，影像信号分离部120将从CMOS传感器110输出的影像信号分离为左眼用影像信号和右眼用影像信号，影像信号调整部121对分别构成左眼用影像信号和右眼用影像信号的数据的顺序进行重新排列，以使得与利用光栅扫描在与视差方向相同的方向上对分割区域进行扫描的情况下的数据的顺序相同，由此，即使从CMOS传感器110输出的影像信号中的数据的排列成为特殊的状态，也能够生成与通常的图像显示装置的输入格式对应的左眼用影像信号和右眼用影像信号。

此外，偏移检测部130在校准动作时检测左眼用图像和右眼用图像的偏移量，校正量计算部140在校准动作时计算左眼用图像和右眼用图像的校正量，校正部150根据左眼用图像和右眼用图像的校正量对影像信号进行校正，由此，能够对由于时间经过或使用条件而产生的偏移进行校正。因此，能够始终生成具有适当的视差的左眼用图像和右眼用图像，能够实现立体视觉。

此外，偏移检测部130具有检测明亮度、白平衡、大小、旋转、平行移动这些每个项目的偏移量的类别偏移检测部131，校正量计算部140具有计算与每个偏移类别的偏移量对应的校正量的类别校正量计算部143，在复合地产生了各种偏移的情况下，也能够按照每个偏移类别检测独立的偏移量，并对各类别的偏移进行校正。

以上，参照附图详细说明了本发明的实施方式，但是，具体的构成不限于上述的实施方式，还包含不脱离本发明的主旨的范围的设计变更等。

产业上的可用性

根据上述内容，MOS型传感器在从第1区域和第2区域中读出构成影像信号的数据时，交替地扫描与左眼用图像对应的位置的分割区域和与右眼用图像对应的位置的分割区域而读出数据，由此，能够抑制MOS型传感器的卷帘式快门的特性引起的左右图像的偏移。

标号说明

101：左眼用光学系统

102：右眼用光学系统

110：CMOS传感器

120：影像信号分离部

121：影像信号调整部

130：偏移检测部

131：类别偏移检测部

140：校正量计算部

142：基准调整部

143：类别校正量计算部

150：校正部

160：图像处理部

180：控制部

201：内窥镜镜体

202：图像处理器

203：图像显示装置

权利要求书(按照条约第19条的修改)

1.（修改后）一种三维内窥镜装置，其取得具有视差的左眼用图像和右眼用图像，该三维内窥镜装置具有：

内窥镜镜体，其具有对分别与所述左眼用图像和所述右眼用图像对应的光进行成像的2系统的光学系统，并且具有MOS型传感器，该MOS型传感器使通过所述2系统的光学系统后得到的第1光和第2光分别在单一的受光面上成像，生成基于所成像的第1像和第2像的影像信号；

图像处理器，其对所述影像信号进行图像处理；以及

图像显示装置，其根据由所述图像处理器处理后的所述影像信号，显示包含所述左眼用图像和所述右眼用图像的图像，

将在所述MOS型传感器的所述受光面上成像的所述第1像的中心和所述第2像的中心连结起来的直线与视差方向垂直，

在所述MOS型传感器的所述受光面中，所述第1像所成像的第1区域被分割为多个第1分割区域，所述第2像所成像的第2区域被分割为多个第2分割区域，

所述MOS型传感器在从所述第1区域和所述第2区域读出构成所述影像信号的数据时，交替地扫描与所述左眼用图像对应的所述第1分割区域和与所述右眼用图像对应的所述第2分割区域的相互对应的位置来读出数据。

2.根据权利要求1所述的三维内窥镜装置，其中，

所述MOS型传感器利用光栅扫描对所述多个所述第1分割区域和所述多个所述第2分割区域进行扫描来读出数据，

所述光栅扫描的方向与所述视差方向垂直。

3.（修改后）根据权利要求2所述的三维内窥镜装置，其中，

所述图像处理器具有：

图像处理部，其进行所述图像处理；

分离部，其将所述影像信号分离为与所述左眼用图像对应的左眼用影像信号和与所述右眼用图像对应的右眼用影像信号；以及

调整部，其对分别构成所述左眼用影像信号和所述右眼用影像信号的数据的顺序进行重新排列，以使得与利用所述光栅扫描在与所述视差方向相同的方向上对所述多个所述第1分割区域和所述多个所述第2分割区域进行扫描而读出数据的情况下的数据的顺序相同。

4.根据权利要求3所述的三维内窥镜装置，其中，

所述图像处理器具有：

控制部，其在进行通常动作之前或者在所述通常动作的中途，指示校准动作；

偏移检测部，其在所述校准动作时检测所述左眼用图像和所述右眼用图像的偏移量；

校正量计算部，其在所述校准动作时计算所述左眼用图像和所述右眼用图像的校正量；以及

校正部，其根据所述左眼用图像和所述右眼用图像的所述校正量，对所述影像信号进行校正。

5.根据权利要求4所述的三维内窥镜装置，其中，

所述偏移检测部对明亮度、白平衡、大小、旋转、平行移动中的至少1个以上的项目的偏移量进行检测，

所述校正量计算部计算与每个所述项目的所述偏移量对应的校正量。

说明或声明(按照条约第19条的修改)

在权利要求1中，修改为“交替地扫描与所述左眼用图像对应的所述第1分割区域和与所述右眼用图像对应的所述第2分割区域的相互对应的位置”。该权利要求1的修改基于段落0023和0024，不是新内容的增加。由此，能够抑制MOS型传感器的卷帘式快门的特性引起的左右图像的偏移。

并且将权利要求3所从属的权利要求修改为权利要求2。这是因为权利要求3中的“所述光栅扫描”表示权利要求2中的“光栅扫描”。因此不是新内容的增加。

Claims (5)

1.一种三维内窥镜装置，其取得具有视差的左眼用图像和右眼用图像，该三维内窥镜装置具有：

内窥镜镜体，其具有对分别与所述左眼用图像和所述右眼用图像对应的光进行成像的2系统的光学系统，并且具有MOS型传感器，该MOS型传感器使通过所述2系统的光学系统后得到的第1光和第2光分别在单一的受光面上成像，生成基于所成像的第1像和第2像的影像信号；

图像处理器，其对所述影像信号进行图像处理；以及

图像显示装置，其根据由所述图像处理器处理后的所述影像信号，显示包含所述左眼用图像和所述右眼用图像的图像，

将在所述MOS型传感器的所述受光面上成像的所述第1像的中心和所述第2像的中心连结起来的直线与视差方向垂直，

在所述MOS型传感器的所述受光面中，所述第1像所成像的第1区域被分割为多个第1分割区域，所述第2像所成像的第2区域被分割为多个第2分割区域，

所述MOS型传感器在从所述第1区域和所述第2区域读出构成所述影像信号的数据时，交替地扫描与所述左眼用图像对应的位置的所述第1分割区域和与所述右眼用图像对应的位置的所述第2分割区域来读出数据。

2.根据权利要求1所述的三维内窥镜装置，其中，

所述MOS型传感器利用光栅扫描对所述多个所述第1分割区域和所述多个所述第2分割区域进行扫描来读出数据，所述光栅扫描的方向与所述视差方向垂直。

3.根据权利要求1所述的三维内窥镜装置，其中，

所述图像处理器具有：

图像处理部，其进行所述图像处理；

分离部，其将所述影像信号分离为与所述左眼用图像对应的左眼用影像信号和与所述右眼用图像对应的右眼用影像信号；以及

调整部，其对分别构成所述左眼用影像信号和所述右眼用影像信号的数据的顺序进行重新排列，以使得与利用所述光栅扫描在与所述视差方向相同的方向上对所述多个所述第1分割区域和所述多个所述第2分割区域进行扫描而读出数据的情况下的数据的顺序相同。

4.根据权利要求3所述的三维内窥镜装置，其中，

所述图像处理器具有：

控制部，其在进行通常动作之前或者在所述通常动作的中途，指示校准动作；

偏移检测部，其在所述校准动作时检测所述左眼用图像和所述右眼用图像的偏移量；

校正量计算部，其在所述校准动作时计算所述左眼用图像和所述右眼用图像的校正量；以及

校正部，其根据所述左眼用图像和所述右眼用图像的所述校正量，对所述影像信号进行校正。

5.根据权利要求4所述的三维内窥镜装置，其中，

所述偏移检测部对明亮度、白平衡、大小、旋转、平行移动中的至少1个以上的项目的偏移量进行检测，

所述校正量计算部计算与每个所述项目的所述偏移量对应的校正量。

Images