CN104168814B - 摄像装置以及具备该摄像装置的内窥镜装置 - Google Patents

Abstract

即使在依次切换多种照明光并通过卷帘式快门方式的摄像元件以面顺序式进行摄像的情况下，也能够提高动态图像响应性，防止发生套色偏差。摄像装置具备能射出多种照明光的光源、具有以卷帘式快门方式驱动的摄像元件的摄像部、光源控制部、帧图像控制部、图像生成部。帧图像控制部控制光源控制部和摄像部，以使输出成为将在第1曝光帧(Exp3)的前后分别配置了第2曝光帧(Exp2、Exp4)的帧群作为1周期。摄像信号生成部使用第1曝光帧和第2曝光帧中的、从各水平像素行的曝光开始时刻到照明光的切换时间为止的期间与从照明光的切换时间到曝光结束时刻为止的期间之比，生成随着照明光而不同的摄像信号。

Description

摄像装置以及具备该摄像装置的内窥镜装置

技术领域

本发明涉及摄像装置以及具备摄像装置的内窥镜装置。

背景技术

存在与摄像时刻同步地依次向被检测体照射互相不同的光谱的照明光，以面顺序方式进行摄像的摄像装置。在采用全局快门(global shutter)方式的单次曝光(one-shot exposure)式的摄像元件作为摄像元件的情况下，得到通过按每个摄像帧而不同的照明光照明的摄像图像。例如专利文献1记载了采用这种面顺序方式进行摄像来获得内窥镜图像的内窥镜装置。

在先技术文献

专利文献

专利文献1：JP特开昭61-82731号公报

发明内容

发明所要解决的课题

近年来，作为代替氙气灯等白色光源的光源，激光光源或LED光源等半导体光源因为高效且维修性好，因此被采用。

此外，摄像元件广泛采用耗电比CCD(Charge Coupled Device)型图像传感器低且读取速度快的CMOS(Complementary Metal OxideSemiconductor)型图像传感器。

但是，CMOS型图像传感器采用卷帘式快门(rolling shutter)方式，水平像素行的曝光期间在每一行都不相同。

因此，在切换多种照明光且以面顺序方式进行摄像的情况下，因照明光的射出时间，有时特定的水平像素行的曝光期间横跨切换照明光的时间。在这种情况下得到的摄像图像成为被多个照明光曝光的不自然的图像，不会成为正常的摄像图像。

因此，在采用卷帘式快门方式的摄像元件以面顺序式进行摄像的情况下，以摄像帧单位切换照明光。但是，在生成将通过多种照明光分别摄像的各图像合并的合成图像的情况下，在卷帘式快门方式中，与全局快门方式相比，为了生成合成图像而需要许多摄像帧。因此，动态图像响应性降低，在对运动快的被检测体进行摄像的情况下，存在摄像图像中容易产生套色偏差(out of color registration)的缺点。

因此，本发明的目的在于，提供一种在依次切换多种照明光并通过卷帘式快门方式的摄像元件以面顺序式进行摄像的情况下，也能提高动态图像响应性且颜色再现性出色的摄像装置以及具备该摄像装置的内窥镜装置。

用于解决课题的手段

本发明的摄像装置具备：光源，能够射出具有互不相同的光谱的多种照明光；摄像部，在水平方向以及垂直方向上排列多个像素，具有由排列在水平方向上的像素构成的多个水平像素行，并且具有通过卷帘式快门方式驱动的摄像元件；光源控制部，切换从光源射出的照明光；帧图像控制部，生成在射出任意照明光的单位照射期间和射出与任意照明光不同的照明光的单位照射期间内形成的第1曝光帧、以及在射出任意照明光的单位照射期间和不射出任何照明光的单位照射期间内形成的第2曝光帧，将在一个第1曝光帧或者连续的两个第1曝光帧的前后设置了第2曝光帧的帧群作为1个周期来进行输出；和摄像信号生成部，在帧群所包括的各曝光帧中，使用从各水平像素行的像素中读出的检测信号量，生成在单位照射期间的期间使用同一照明光对该像素进行了曝光时从该像素得到的摄像信号量。

本发明的内窥镜装置具备上述摄像装置。

发明效果

根据本发明，即使在依次切换多种照明光并通过卷帘式快门方式的摄像元件以面顺序式进行摄像的情况下，也能构成为提高动态图像响应性，且颜色再现性出色。

附图说明

图1为用于说明本发明的实施方式的图，为表示内窥镜装置的示意结构的模块构成图。

图2为表示内窥镜装置的具体的一个构成例的外观图。

图3为表示基于卷帘式快门方式的摄像元件的曝光时刻的示意说明图。

图4为表示交替地照射白色照明光(W光)和蓝色窄带波长的照明光(N光)，通过卷帘式快门方式的摄像元件以面顺序方式进行摄像的情况的一般曝光时序图。

图5为表示光源控制部交替地照射白色照明光(W光)和蓝色窄带波长的照明光(N光)，并且对其前后的帧插入不照射照明光的帧，通过卷帘式快门方式的摄像元件以面顺序方式进行摄像的情况的曝光时序图。

图6为消除与各水平像素行的水平扫描周期相应的偏差量后表示图5所示的各曝光帧的曝光时序图。

图7为放大表示图6所示的曝光帧Exp2、Exp3的说明图。

图8为放大表示图6所示的曝光帧Exp1、Exp2的说明图。

图9为各水平像素行的曝光期间为比最大曝光期间短的后援(後ろ詰め，rear guard)的曝光期间Ts的曝光时序图。

图10为表示交替地照射R光、G光和B光，并通过卷帘式快门方式的摄像元件以面顺序方式进行摄像的情况的一般的曝光时序图。

图11为光源控制部交替地照射白色照明光(W光)和蓝色窄带波长的照明光(N光)，并且对其前后的帧插入没有照射照明光的帧，并通过卷帘式快门方式的摄像元件以面顺序方式进行摄像的曝光时序图。

图12为消除与各水平像素行的水平扫描周期相应的偏差量后表示图11所示的各曝光帧的曝光时序图。

图13为消除与各水平像素行的水平扫描周期相应的偏差量后表示图11所示的各曝光帧的曝光时序图。

具体实施方式

以下，参照附图对本发明的实施方式详细地进行说明。

图1为用于说明本发明的实施方式的图，表示内窥镜装置的示意结构的模块构成图，图2为表示内窥镜装置的具体的一构成例的外观图。

<内窥镜装置的结构>

如图1、图2所示，内窥镜装置100具备：内窥镜观测器(以下称作内窥镜)11；连接内窥镜11的控制装置13；与控制装置13连接的液晶监视器等显示部15；向控制装置13输入信息的键盘或鼠标等输入部17。

控制装置13构成为具有生成照明光的光源装置19和进行摄像图像的信号处理的处理器21。

内窥镜11具备主体操作部23和与该主体操作部23连接而设置并插入体腔内的插入部25。

主体操作部23连接通用软线27。设置于该通用软线27的一个前端的光导连接器29A与光源装置19连接，设置于另一个前端的视频连接器29B与处理器21连接。

在内窥镜11的插入部25的与主体操作部23相反侧的前端，设置有照明窗31和观察窗33。

照明窗31向被检测体射出通过光导设备35后被导光的照明光，观察窗33向摄像元件37提供观察像。

光源装置19具备：向光导设备35导入射出光的光源39；和通过脉冲驱动来控制光源39的射出光量的光源控制部41。

处理器21具备摄像信号处理部43、内窥镜控制部45、图像处理部47和存储器49。

此外，内窥镜11具备用于对摄像元件37进行驱动控制的摄像控制部51。

摄像控制部51根据来自内窥镜控制部45的指示，控制摄像元件37的驱动。这些摄像元件37和摄像控制部51起到摄像部的作用。

摄像元件37为以卷帘式快门方式被驱动的CMOS型图像传感器。

摄像元件37通过观察窗33以及未图示的透镜对从照明窗31照射的照明光被被检测体反射后的反射光进行摄像。摄像元件37将所拍摄的观察图像的影像信号输出到处理器21。

内窥镜控制部45与作为保存观察图像或各种信息的存储单元的存储器49连接，通过图像处理部47对从摄像信号处理部43输出的影像信号实施适当的图像处理，并显示到显示部15。

此外，内窥镜控制部45与未图示的LAN等网络连接，对发送包括摄像信号在内的信息等内窥镜装置100整体进行控制。

内窥镜控制部45起到生成后述的随着照明光而不同的摄像信号的摄像信号生成部的作用。

在摄像元件37的受光面成像并被取入的观察像被变换为电信号后输入给处理器21的摄像信号处理部43。摄像信号处理部43将输入的观察像的信号变换为摄像信号。

光源39具备一个或多个作为半导体发光元件的激光光源。

光源39也可构成为除了生成白色光以外，还单独或者与多个波长光同时照射特定波长光。作为特定波长光，可列举比白色照明光的波长带窄的蓝色窄带波长光、荧光观察用的波长光或红外观察用的近红外光等。

作为生成白色光的光源，具有输出中心波长为445nm的蓝色激光的激光光源、和包括吸收该蓝色激光的一部分而被激发成发出绿色光～黄色光的多种荧光体(例如YAG系荧光体、或者包含BAM(BaMgAl₁₀O₃₇)等的荧光体等)在内的波长变换部件。

作为该激光光源，例如能够使用宽区域型的InGaN系激光二极管。根据上述结构，合成来自激光光源的蓝色激光与将该蓝色激光进行波长变换后得到的绿色～黄色的激发光，生成白色光。通过脉冲调制驱动，可任意地调整来自光源39的射出光强度。

未图示的波长变换部件被配置于光源39内。来自波长变换部件的白色光经过由包括多根光纤束的光纤包(fiber bundle)构成的光导设备35后，被导光到被配置于内窥镜插入部25的前端的照明窗31。

光源39除了上述白色光用的激光光源以外，例如也可以通过具备输出中心波长为405nm的激光的激光光源而生成适合于生物体组织表层的毛细血管或显微组织的观察的照明光。

此时，光源39也可以构成为将以任意比例同时照射中心波长为405nm的激光和中心波长为445nm的激光所产生的白色光而得到的混合光作为内窥镜观察用的照明光。

此外，光源39也可构成为将波长变换部件配置于照明窗31的跟前位置。此时，能够构成为代替光导设备35，沿着内窥镜插入部25而架设一根或者多根单模光纤，使光射出端朝向波长变换部件进行光射出。此时，实现内窥镜插入部的细径化。

进而，也可代替激光光源而是由发光二极管构成光源39。此外，也可构成为组合白色光和选择性地提取特定波长光的滤色器，得到红色光(R光)、绿色光(G光)、蓝色光(B光)或者蓝色窄带光等期望的波长光。

接下来，通过上述构成的内窥镜装置100，对实施卷帘式快门动作所引起的帧曝光的情况进行说明。

图3是表示卷帘式快门方式所产生的摄像元件的曝光时刻的示意说明图。

本构成例的卷帘式快门方式为下述的方式：在水平方向H以及垂直方向V上排列由多个光电变换元件构成的像素的摄像元件的像素区域中，从上端行到下端行为止沿着垂直方向V依次扫描在水平方向H上排列的各水平像素行L(1)、L(2)、…L(n)时，将各水平像素行L(1)、L(2)、…L(n)的曝光开始时刻设定成从垂直方向一端侧的上端行开始依次在按1水平像素行依次延迟的方向上错开水平扫描周期t。

作为该延迟量，设定成下端行的曝光结束时刻与下一帧中的上端行的曝光开始时刻一致。

水平扫描周期t是指针对1水平像素行(以下，简称为行)的1行，复位、蓄积电荷行读出等逻辑电路上的指令所需的每一行的所需时间，表示成图3所示的行L(1)与行L(2)的曝光开始时间差。

另外，卷帘式快门方式中有各种驱动方式，只要在不脱离本发明的主旨的范围内，可适用其他驱动方式。

图4表示交替地照射白色照明光(W光)、蓝色窄带波长的照明光(N光)，并通过卷帘式快门方式的摄像元件以面顺序方式进行摄像的一般的曝光时序图。

此时，内窥镜控制部45(参照图1)在为了从摄像元件37得到1帧图像而所需的2帧期间(1帧期间FL的2倍)之间，连续地射出W光或者N光。

光源控制部41对摄像元件37的上端侧的水平像素行的每个曝光开始时刻t0设定单位照射期间T，在每个单位照射期间内从光源39射出任意照明光。

即，作为曝光帧Exp1的下一帧的曝光帧Exp2成为在照射W光时被曝光的帧图像。

此外，作为曝光帧Exp3的下一帧的曝光帧Exp4成为在照射N光时被曝光的帧图像。

因此，为了最终取得W光照明所产生的帧摄像信号和N光照明所产生的帧摄像信号，需要合并4帧。

接下来，针对代替上述曝光控制，以共计3帧来最终取得了W光照明所产生的帧摄像信号和N光照明所产生的帧摄像信号的曝光控制进行说明。

图5表示光源控制部41交替地照射白色照明光(W光)和蓝色窄带波长的照明光(N光)，并且在其前后的帧中插入没有照射照明光的帧，通过卷帘式快门方式的摄像元件以面顺序方式进行摄像的曝光时序图。另外，图5中的各水平像素行的曝光期间表示为可设定的最大的曝光期间。

光源控制部41每隔单位照射期间T射出W光和N光。此外，在射出W光和N光的连续的多个单位照射期间T的前后，设置没有射出照明光的单位照射期间T。

即，光源控制部41以“没有射出照明光”、“射出W光”、“射出N光”、“没有射出照明光”为1周期，反复该周期来控制照明光。

其结果，第1曝光帧Exp1在射出W光的单位照射期间T和不射出任何照明光的单位照射期间T内形成。

第2曝光帧Exp2在射出W光的单位照射期间T和射出N光的单位照射期间T内形成。

第3曝光帧Exp3在射出N光的单位照射期间T和不射出任何照明光的单位照射期间T内形成。

图6为消除与各水平像素行的水平扫描周期相应的偏差量后表示了图5所示的各曝光帧的曝光时序图。

各曝光帧Exp1、Exp2、Exp3中的斜线部分所表示的区域为相当于基于W光的曝光、基于N光的曝光中的任一个曝光的曝光期间。

相对于各曝光帧的照明光的切换时刻是根据摄像元件的卷帘式快门所产生的与水平像素行的水平扫描周期t(参照图3)相应的偏差量来决定的，通过摄像元件和该摄像元件的驱动控制模式来唯一地决定。

在曝光帧Exp1中，摄像元件的成为水平像素行一端侧的行i＝0为不射出任何照明光的曝光期间。

中间行i＝n/2(n为所有行数)为不射出任何照明光的曝光期间和射出W光的曝光期间成为相等的比例的曝光期间。

并且，成为另一端侧的行i＝n为在所有期间射出W光的曝光期间。

在曝光帧Exp2中，混合存在照射W光的曝光期间和照射N光的曝光期间，在曝光帧Exp3中，混合存在照射N光的曝光期间和不射出任何照明光的曝光期间。

接下来，对根据图6所示的曝光帧Exp1、Exp2、Exp3生成在所设定的曝光时间(图5的1帧FL的长度)内通过相同的照明光使所有像素曝光时从各像素得到的摄像信号的顺序进行说明。

图7为放大表示图6所示的曝光帧Exp2、Exp3的说明图。

内窥镜控制部45以摄像元件37的相对于所有水平像素行的垂直方向上的中间行i＝n/2作为边界，将水平像素行区分为垂直方向一端侧(上端侧)的第1行群A1和另一端侧(下端侧)的第2行群A2。

在曝光帧Exp2中，如果以第1行群A1中的任意的水平像素行L(i)为例进行说明，则行L(i)中的所有曝光期间为射出W光且摄像元件37被曝光的曝光期间ta和射出N光且摄像元件37被曝光的曝光期间tb之和。

曝光期间ta内，行L(i)的摄像信号量(图5的在读出时刻RD2读出的摄像信号量)中，ta/(ta+tb)成为W光所产生的信号量<Wa>，tb/(ta+tb)成为N光所产生的信号量<Nb>。

在曝光帧Exp3中，行L(i)中的所有曝光期间为射出N光且摄像元件37被曝光的曝光期间ta和没有射出照明光的曝光期间tb之和。

曝光帧Exp3的曝光期间tb为没有射出照明光的期间，因此行L(i)的摄像信号量(图5的在读出时刻RD3读出的摄像信号量)全部成为N光所产生的信号量<Na>。

内窥镜控制部45通过运算而求出通过W光曝光了行L(i)的所有曝光期间时的从行L(i)的各像素得到的摄像信号Iw(i)、和通过N光曝光了行L(i)的所有曝光期间时的从行L(i)的各像素得到的摄像信号In(i)。

内窥镜控制部45利用从W光所产生的摄像信号量相对于各水平像素行的比例在第1行群A1和第2行群A2中大的一侧的行群中得到的摄像信号来计算出摄像信号Iw(i)。

内窥镜控制部45利用从N光所产生的摄像信号量相对于各水平像素行的比例在第1行群A1和第2行群A2中大的一侧的行群中得到的摄像信号来计算出摄像信号In(i)。

以下，对生成随着照明光而不同的各像素的摄像信号的顺序进行说明。

<摄像信号Iw(i)|0≤i＜(n/2)的情况|>

第1行群A1中的W光所产生的摄像信号Iw(i)是利用W光所引起的曝光量的比例大的曝光帧Exp2在第1行群A1中的摄像信号、和与其相邻的曝光帧Exp3在第1行群A1中的摄像信号求出的。

在曝光帧Exp2中，在通过W光对所有曝光期间进行了曝光时从水平像素行L(i)的各像素得到的摄像信号量Iw(i)成为图7所示的摄像信号量Wa的{(ta+tb)/ta}倍。

如果将从水平像素行L(i)的像素在读出时刻RD2读出的摄像信号量设为RD2，则通过从RD2减去图7的摄像信号量Nb来求出图7所示的摄像信号量Wa。

图7所示的摄像信号量Nb是通过Na×(tb/ta)的运算来求出的。在此，Na与在读出时刻RD3从水平像素行L(i)的像素中读出的摄像信号量一致。

因此，如果将从水平像素行L(i)的像素中在读出时刻RD3读出的摄像信号量设为RD3，则图7所示的Nb可表示为Nb＝RD3×(tb/ta)。

根据以上的内容，在通过W光对所有曝光期间进行了曝光时从水平像素行L(i)的各像素中得到的摄像信号量Iw(i)在0≤i＜(n/2)的范围内可通过下式(1)来求出。

[式1]

$\begin{array}{c}\mathrm{Iw}\left(i\right)=\mathrm{Wa}\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}=(\mathrm{RD}2-\mathrm{Nb})\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\\ =(\mathrm{RD}2-\mathrm{RD}3\&times;\frac{\mathrm{tb}}{\mathrm{ta}})\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\end{array}...\left(1\right)$

内窥镜控制部45通过对各水平像素行L(i)(i＝0～n/2)上的各像素分别求出上述Iw(i)，从而对水平像素行L(0)～L(n/2)生成与各水平像素行对应的摄像信号Iw(i)。

<摄像信号Iw(i)|(2/n)≤i≤n的情况|>

第2行群A2中的W光所产生的摄像信号Iw(i)是利用W光所产生的曝光量的比例大的曝光帧Exp1在第2行群A2中的摄像信号、和与其相邻的曝光帧Exp2在第2行群A2中的摄像信号求出的。

图8为放大表示图6所示的曝光帧Exp1、Exp2的说明图。

曝光帧Exp1中，如果以第2行群A2中的任意的水平像素行L(i)为例进行说明，则行L(i)中的所有曝光期间为没有射出照明光的曝光期间ta和射出W光且摄像元件37被曝光的曝光期间tb之和。

曝光帧Exp1的曝光期间ta为没有射出照明光的期间，因此行L(i)的摄像信号量(图5的在读出时刻RD1读出的摄像信号量)成为所有W光引起的信号量<Wb>。

因此，第2行群A2中的摄像信号Iw(i)将从水平像素行L(i)的像素中在读出时刻RD1读出的摄像信号量作为RD1，在(2/n)≤i≤n的范围内可由式(2)表示。

[式2]

$\mathrm{Iw}\left(i\right)=\mathrm{RD}1\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

另外，按照如下方式进行处理即可：如果所有行数为奇数，则中间行i＝n/2成为1根的中间行，如果为偶数，则成为2根的中间行。

内窥镜控制部45通过上述式(1)以及式(2)，生成水平像素行L(0)～L(n)的与各水平像素行对应的摄像信号Iw(i)。

<相对于N光的摄像信号In(i)|0≤i＜(n/2)的情况|>

第1行群A1中的N光所产生的摄像信号In(i)是根据N光所引起的曝光量的比例大的曝光帧Exp3在第1行群A1中的摄像信号求出的。摄像信号In(i)在0≤i＜(n/2)的范围内可式(3)表示。

[式3]

$\mathrm{In}\left(i\right)=\mathrm{RD}3\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\&CenterDot;\&CenterDot;\&CenterDot;\left(3\right)$

内窥镜控制部45通过对各水平像素行L(i)(i＝0～n/2)上的各像素分别求出上述In(i)，从而针对L(1)～L(n/2)生成与各水平像素行相对应的摄像信号In(i)。

<相对于N光的摄像信号In(i)|(2/n)≤i≤n的情况|>

第2行群A2中的N光所产生的摄像信号In(i)是根据N光所产生的曝光量的比例大的曝光帧Exp2在第2行群A2中的摄像信号求出的。摄像信号In(i)在(2/n)≤i≤n的范围内可由式(4)表示。

[式4]

$\begin{array}{c}\mathrm{In}\left(i\right)=\mathrm{Nb}\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}=(\mathrm{RD}2-\mathrm{Wa})\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\\ =(\mathrm{RD}2-\mathrm{RD}1\&times;\frac{\mathrm{tb}}{\mathrm{ta}})\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\end{array}...\left(4\right)$

内窥镜控制部45通过上述式(3)以及式(4)，针对水平像素行L(0)～L(n)生成与各水平像素行对应的摄像信号In(i)。

上述各式的信息被预先保存在存储器49中，内窥镜控制部45在各式中代入实际得到的RD1～RD3来计算出摄像信号Iw(i)、In(i)。

计算出的摄像信号Iw(i)，In(i)被输出到图像处理部47。图像处理部47通过使用了各摄像信号的图像处理，生成摄像图像数据并输出到显示部15。此外，各摄像信号也可被保存于未图示的存储介质等中。

如以上所述，从图6所示的曝光帧Exp1、Exp2、Exp3这3个帧中，基于各水平像素行的从曝光开始时刻到照明光的切换时刻为止的第1期间ta与从照明光的切换时间到曝光结束时刻为止的第2期间tb之比，按每个水平像素行求出通过同一照明光进行了曝光时的各像素的摄像信号量。

由此，能够单独生成W光所产生的摄像信号Iw(i)、N光所产生的摄像信号In(i)。根据该曝光控制，从一般的曝光控制时所需的4帧缩短了1帧，能够提高动态图像响应性。此外，能够抑制产生相对摄像图像的套色偏差(out of color registration)。

另外，如图9所示，内窥镜控制部45在各水平像素行的曝光期间为比最大曝光期间短的后援的曝光期间Ts的情况下，代替上述的行群A1、A2的区分，如下那样对行进行区分。

即，内窥镜控制部45针对从摄像元件37在垂直方向一端侧的水平像素行(i＝0的行)开始到具有与相对该水平像素行的曝光结束时刻相一致的曝光开始时刻的水平扫描行(i＝p的行)为止的期间的水平像素行群，将在垂直方向上对该水平像素行群进行2等分的行设为中间行(i＝q的行)。

将该中间行作为边界，将水平像素行群区分为垂直方向一端侧(上端侧)的第1行群A1和另一端侧(下端侧)的第2行群A2。

内窥镜控制部45与上述同样地求出相对于对特定照明光的第1行群A1、第2行群A2的摄像信号。

针对与第2行群A2相比由另一端侧的水平像素行构成的第3行群A3，由于在曝光期间内没有混合存在照明光，因此直接使用从第3行群A3读出的摄像信号。

接下来，针对将照明光的种类设为R光、G光、B光的曝光控制例进行说明。

图10表示交替地照射R光、G光和B光，通过卷帘式快门方式的摄像元件以面顺序方式进行摄像的一般的曝光时序图。

此时，内窥镜控制部45(参照图1)使R光、G光、B光在从摄像元件37得到1帧图像时所需的2帧期间的各个期间内连续地射出。

即，作为曝光帧Exp1的接下来的帧的曝光帧Exp2成为在照射R光时被曝光的帧图像。此外，作为曝光帧Exp3的接下来的帧的曝光帧Exp4成为在照射G光时被曝光的帧图像。此外，作为曝光帧Exp5的接下来的帧的曝光帧Exp6成为在照射B光时被曝光的帧图像。

因此，为了最终取得R光照明所产生的帧摄像信号、G光照明所产生的帧摄像信号和B光照射所产生的帧摄像信号，需要共计6个帧。

接下来，针对代替上述曝光控制，利用共计4个帧最终取得R光照明所产生的帧摄像信号、G光照明所产生的帧摄像信号和B光照射所产生的帧摄像信号的曝光控制进行说明。

图11表示光源控制部41连续照射R光、G光和B光，并且在其前后的帧中插入没有照射照明光的帧，通过卷帘式快门方式的摄像元件以面顺序方式进行摄像的曝光时序图。

光源控制部41每隔单位照射期间T射出R光、G光、B光，在分别射出R光、G光、B光的连续的多个单位照射期间T的前后，设置没有射出照明光的单位照射期间T。

即，光源控制部41以“没有射出照明光”、“射出R光”、“射出G光”、“射出B光”、“没有射出照明光”作为一个周期，反复该周期来控制照明光。

第1曝光帧Exp1在射出R光的单位照射期间T和没有射出任何照明光的单位照射期间T内形成。

第2曝光帧Exp2在射出R光的单位照射期间T和射出G光的单位照射期间T内形成。

第3曝光帧Exp3在射出G光的单位照射期间T和射出B光的单位照射期间T内形成。

第4曝光帧Exp4在射出B光的单位照射期间T和没有射出任何照明光的单位照射期间T内形成。

图12为消除各水平像素行的与水平扫描周期对应的偏差量后表示了图11所示的各曝光帧的曝光时序图。各曝光帧Exp1、Exp2、Exp3、Exp4中的由斜线部分表示的区域为相当于R光所引起的曝光、G光所引起的曝光、B光所引起的曝光中的任一个曝光的曝光期间。

相对于各曝光帧的照明光的切换时刻是根据摄像元件的卷帘式快门所引起的水平像素行的水平扫描周期t(参照图3)的偏差来决定的，是通过摄像元件和该摄像元件的驱动控制模式来唯一决定的。

以下，对生成随着照明光而不同的各像素的摄像信号的顺序进行说明。

R光所产生的摄像信号Ir(i)与上述的W光和N光的照明光的情况相同，将在图11的读出时刻RD2、RD3、RD4分别读出的摄像信号量设为RD2、RD3、RD4，在0≤i＜(n/2)的范围内可用式(5)求出，在(2/n)≤i≤n的范围内可用式(6)求出。

[式5]

$\mathrm{Ir}\left(i\right)=\{\mathrm{RD}2-\frac{\mathrm{tb}}{\mathrm{ta}}(\mathrm{RD}3-\mathrm{RD}4\&times;\frac{\mathrm{tb}}{\mathrm{ta}})\}\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\&CenterDot;\&CenterDot;\&CenterDot;\left(5\right)$

[式6]

$\mathrm{Ir}\left(i\right)=\mathrm{RD}1\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\&CenterDot;\&CenterDot;\&CenterDot;\left(6\right)$

B光所产生的摄像信号Ib(i)与上述同样地，设图11的在读出时刻RD1读出的摄像信号量为RD1，在0≤i＜(n/2)的范围内可由式(7)求出，在(2/n)≤i≤n的范围内可由式(8)求出。

[式7]

$\mathrm{Ib}\left(i\right)=\mathrm{RD}4\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{tb}}\&CenterDot;\&CenterDot;\&CenterDot;\left(7\right)$

[式8]

$\mathrm{Ib}\left(i\right)=\{\mathrm{RD}3-\frac{\mathrm{tb}}{\mathrm{ta}}(\mathrm{RD}2-\mathrm{RD}1\&times;\frac{\mathrm{tb}}{\mathrm{ta}})\}\&times;\frac{\mathrm{ta}+\mathrm{tb}}{\mathrm{ta}}\&CenterDot;\&CenterDot;\&CenterDot;\left(8\right)$

如下那样求出G光所产生的摄像信号Ig(i)。

如图13中示意性表示各曝光帧那样，曝光帧Exp2、Exp3的各水平像素行中的RD2与RD3之和在G光所产生的摄像信号量中包括R光、B光所产生的摄像信号量。

因此，如果从RD2和RD3之和减去曝光帧Exp1的R光所产生的摄像信号量、曝光帧Exp4的G光所产生的摄像信号量，则能够只求出G光的摄像信号量。因此，使用曝光帧Exp1、Exp2、Exp3、Exp4，在i＝0～n的所有范围内根据式(9)求出G光所产生的摄像信号量。

[式9]

Ig(i)＝RD2+RD3-RD1-RD4…(9)

如以上那样，能够根据图11所示的曝光帧Exp1、Exp2、Exp3、Exp4这4个帧生成R光所产生的摄像信号Ir(i)、G光所产生的摄像信号Ig(i)、B光所产生的摄像信号Ib(i)。

如上所述，即使在依次切换多种照明光并通过卷帘式快门方式的摄像元件以面顺序式进行摄像的情况下，也能高速地切换各照明光来进行摄像，能够提高动态图像响应性。

此外，根据上述方法，能够生成不产生混色并且颜色再现性出色的随着照明光而不同的摄像信号。因此，即使与全局快门方式的摄像元件相比，也能进行毫不逊色的面顺序方式的摄像。

接下来，对W光和N光的随着照明光而不同的摄像信号的生成方法的其他例子进行说明。

<摄像信号In(i)|0-i＜(n/2)的情况|>

使用N光所产生的曝光量的比例大的曝光帧Exp3在第1行群A1中的摄像信号量RD3，通过以下的式(10)求出第1行群A1中的N光所产生的摄像信号In(i)。

[式10]

$\mathrm{In}\left(i\right)=\mathrm{RD}3\&times;\frac{n}{n-i}\&CenterDot;\&CenterDot;\&CenterDot;\left(10\right)$

<摄像信号Iw(i)|0-i＜(n/2)的情况|>

使用W光所产生的曝光量的比例大的曝光帧Exp2在第1行群A1中的摄像信号量RD2和通过式(10)求出的In(i)来计算出第1行群A1中的W光所产生的摄像信号Iw(i)。

使用Iw(i)和In(i)，通过以下的式(11)表示RD2。

[式11]

$\mathrm{RD}2=\frac{n-i}{n}\&times;\mathrm{Iw}\left(i\right)+\frac{i}{n}\&times;\mathrm{In}\left(i\right)\&CenterDot;\&CenterDot;\&CenterDot;\left(11\right)$

如果对式(11)进行变形，则得到式(12)。

[式12]

如果将式(10)代入到式(12)，则得到式(13)。

[式13]

$\mathrm{Iw}\left(i\right)=\frac{n}{n-i}(\mathrm{RD}2-\frac{i}{n-i}\&times;\mathrm{RD}3)\&CenterDot;\&CenterDot;\&CenterDot;\left(13\right)$

通过该式(13)，能够计算出第1行群A1中的W光所产生的摄像信号Iw(i)。

<摄像信号Iw(i)|(2/n)≤i≤n的情况|>

使用W光所产生的曝光量的比例大的曝光帧Exp1在第2行群A2中的摄像信号量RD1，通过下式(14)求出第2行群A2中的W光所产生的摄像信号Iw(i)。

[式14]

$\mathrm{Iw}\left(i\right)=\mathrm{RD}1\&times;\frac{n}{i}\&CenterDot;\&CenterDot;\&CenterDot;\left(14\right)$

<摄像信号In(i)|(2/n)≤i≤n的情况|>

使用N光所产生的曝光量的比例大的曝光帧Exp2的第2行群A2中的摄像信号量RD2和由式(14)求出的Iw(i)来计算出第2行群A2中的N光所产生的摄像信号In(i)。

如果将式(14)代入到上述式(12)中进行变形，则得到下述式(15)。

[式15]

$\mathrm{In}\left(i\right)=\frac{n}{i}(\mathrm{RD}2-\frac{n-i}{n}\&times;\mathrm{RD}1)\&CenterDot;\&CenterDot;\&CenterDot;\left(15\right)$

通过该式(15)，能够计算出第2行群A2中的N光所产生的摄像信号In(i)。

接下来，对R光、G光和B光的随着照明光而不同的摄像信号的生成方法的其他例子进行说明。

<摄像信号Ib(i)|0≤i＜(n/2)的情况|>

使用B光所产生的曝光量的比例大的曝光帧Exp4在第1行群A1中的摄像信号量RD4，通过下式(16)求出第1行群A1中的B光所产生的摄像信号Ib(i)。

[式16]

$\mathrm{Ib}\left(i\right)=\mathrm{RD}4\&times;\frac{n}{n-i}\&CenterDot;\&CenterDot;\&CenterDot;\left(16\right)$

<摄像信号Ig(i)|0≤i＜(n/2)的情况|>

使用G光所产生的曝光量的比例大的曝光帧Exp3在第1行群A1中的摄像信号量RD3和由式(16)求出的Ib(i)来计算出第1行群A1中的G光所产生的摄像信号Ig(i)。

使用Iw(i)和In(i)，可由下式(17)表示RD3。

[式17]

$\mathrm{RD}3=\frac{n-i}{n}\&times;\mathrm{Ig}\left(i\right)+\frac{i}{n}\&times;\mathrm{Ib}\left(i\right)\&CenterDot;\&CenterDot;\&CenterDot;\left(17\right)$

如果对式(17)进行变形，则得到式(18)。

[式18]

$\mathrm{Ig}\left(i\right)=(\mathrm{RD}3-\frac{i}{n}\&times;\mathrm{Ib}\left(i\right))\&times;\frac{n}{n-i}\&CenterDot;\&CenterDot;\&CenterDot;\left(18\right)$

如果将式(16)代入到式(18)，则得到式(19)。

[式19]

$\mathrm{Ig}\left(i\right)=\frac{n}{n-i}(\mathrm{RD}3-\frac{i}{n-i}\&times;\mathrm{RD}4)\&CenterDot;\&CenterDot;\&CenterDot;\left(19\right)$

通过该式(19)，能够计算出第1行群A1中的G光所产生的摄像信号Ig(i)。

<摄像信号Ir(i)|0≤i＜(n/2)的情况|>

使用R光所产生的曝光量的比例大的曝光帧Exp2在第1行群A1中的摄像信号量RD2和由式(19)所求出的Ig(i)来计算出第1行群A1中的R光所产生的摄像信号Ir(i)。

使用Ir(i)和Ig(i)，可通过下式(20)表示RD2。

[式20]

$\mathrm{RD}2=\frac{n-i}{n}\&times;\mathrm{Ir}\left(i\right)\frac{i}{n}\&times;\mathrm{Ig}\left(i\right)\&CenterDot;\&CenterDot;\&CenterDot;\left(20\right)$

如果对式(20)进行变形，则得到式(21)。

[式21]

$\mathrm{Ir}\left(i\right)=(\mathrm{RD}2-\frac{i}{n}\&times;\mathrm{Ig}\left(i\right))\&times;\frac{n}{n-i}\&CenterDot;\&CenterDot;\&CenterDot;\left(21\right)$

如果将式(19)代入到式(21)，则得到式(22)。

[式22]

$\mathrm{Ir}\left(i\right)=\frac{n}{n-i}(\mathrm{RD}2-\frac{i}{n-i}(\mathrm{RD}3-\frac{i}{n-i}\&times;\mathrm{RD}4))\&CenterDot;\&CenterDot;\&CenterDot;\left(22\right)$

通过该式(22)，能够计算出第1行群A1中的R光所产生的摄像信号Ir(i)。

<摄像信号Ir(i)|(2/n)≤i≤n的情况|>

使用R光所产生的曝光量的比例大的曝光帧Exp1在第2行群A2中的摄像信号量RD1，通过下式(23)求出第2行群A2中的R光所产生的摄像信号Ir(i)。

[式23]

$\mathrm{Ir}\left(i\right)=\mathrm{RD}1\&times;\frac{n}{i}\&CenterDot;\&CenterDot;\&CenterDot;\left(23\right)$

<摄像信号Ig(i)|(2/n)≤i≤n的情况|>

使用G光所产生的曝光量的比例大的曝光帧Exp2在第2行群A2中的摄像信号量RD2和通过式(23)求出的Ir(i)，与上述同样地通过下式(24)计算出第2行群A2中的G光所产生的摄像信号Ig(i)。

[式24]

$\mathrm{Ig}\left(i\right)=\frac{n}{i}(\mathrm{RD}2-\frac{n-i}{i}\&times;\mathrm{RD}1)\&CenterDot;\&CenterDot;\&CenterDot;\left(24\right)$

<摄像信号Ib(i)|(2/n)≤i≤n的情况|>

使用B光所产生的曝光量的比例大的曝光帧Exp3在第2行群A2中的摄像信号量RD3和通过式(24)求出的Ig(i)，与上述同样地通过下式(25)计算出第2行群A2中的B光所产生的摄像信号Ib(i)。

[式25]

$\mathrm{Ib}\left(i\right)=\frac{n}{i}(\mathrm{RD}2-\frac{n-i}{n}(\mathrm{RD}2-\frac{n-i}{i}\&times;\mathrm{RD}1))\&CenterDot;\&CenterDot;\&CenterDot;\left(25\right)$

如以上所述，通过使用了由水平像素行在垂直方向上的位置决定的系数(n/i，i/(n-i)，n/(n-i)，(n-i)/n，(n-i)/i)、和摄像信号量RD1～RD4的运算，也能减少误差地计算出摄像信号量。

本发明并不限定于上述的实施方式，基于相互组合实施方式的各结构的情况、说明书的记载以及公知的技术，本领域技术人员进行变更、应用的情况也是本发明的预定的内容，包括在请求保护的范围内。

例如，作为本构成的摄像元件，不限于CMOS型图像传感器，只要是发挥卷帘式快门方式作用的摄像元件就能利用。

此外，上述说明中，将相对于摄像元件37的所有水平像素行的垂直方向上的中间行i＝n/2设为边界，并在第1行群A1和第2行群A2中对水平像素行进行了区分，但并不限于此，第1行群A1和第2行群A2的边界线能够设定在任意的位置上。

如上所述，本说明书公开了以下的事项。

所公开的摄像装置，具备：光源，能够射出具有互不相同的光谱的多种照明光；摄像部，在水平方向以及垂直方向上排列多个像素，具有由排列在水平方向上的像素构成的多个水平像素行，并且具有通过卷帘式快门方式驱动的摄像元件；光源控制部，切换从上述光源射出的照明光；帧图像控制部，生成在射出任意上述照明光的单位照射期间和射出与任意上述照明光不同的照明光的单位照射期间内形成的第1曝光帧、以及在射出任意上述照明光的单位照射期间和不射出任何照明光的单位照射期间内形成的第2曝光帧，将在一个上述第1曝光帧或者连续的两个上述第1曝光帧的前后设置了上述第2曝光帧的帧群作为1个周期来进行输出；和摄像信号生成部，在上述帧群所包括的各曝光帧中，使用从各水平像素行的像素中读出的检测信号量，生成在上述单位照射期间内使用同一照明光对该像素进行了曝光时从该像素得到的摄像信号量。

所公开的摄像装置的上述摄像信号生成部针对在上述第1曝光帧和上述第2曝光帧在各水平像素行的曝光期间内切换上述照明光的水平像素行，使用从该水平像素行的曝光开始时刻到切换上述照明光的时刻为止的第1期间、与从切换该照明光的时刻到该水平像素行的曝光结束时刻为止的第2期间之比，生成针对该水平像素行的像素的上述摄像信号量。

所公开的摄像装置的上述摄像信号生成部使用由上述水平像素行在垂直方向上的位置决定的系数，生成针对该水平像素行的像素的上述摄像信号量。

所公开的摄像装置的上述摄像部在从上述水平像素行的垂直方向一端侧向另一端侧依次进行扫描驱动的情况下，按照上述另一端侧的水平像素行的曝光结束时刻与下一帧的上述一端侧的水平像素行的曝光开始时刻相一致的方式，错开各水平像素行的曝光开始时刻来进行驱动。

所公开的摄像装置的上述摄像信号生成部针对从上述垂直方向一端侧的水平像素行到与该水平像素行所对应的曝光结束时刻相一致的曝光开始时刻的水平扫描行为止的期间的水平像素行群，将在上述垂直方向上将该水平像素行群分割成两个的行设为分割行，将该分割行作为边界，将上述水平像素行群区分为上述垂直方向一端侧的第1行群和另一端侧的第2行群，改变在位于上述第1行群的上述像素中所使用的上述检测信号量和在位于上述第2行群的上述像素中所使用的上述检测信号量，生成上述摄像信号量。

所公开的摄像装置针对在上述第1曝光帧和上述第2曝光帧在各水平像素行的曝光期间内切换上述照明光的水平像素行，从该水平像素行的曝光开始时刻到切换上述照明光的时刻为止的第1期间、和从切换该照明光的时刻到该水平像素行的曝光结束时刻为止的第2期间是根据上述卷帘式快门的相对于上述水平像素行的上述曝光开始时刻的偏差而决定的。

所公开的摄像装置中的上述多种照明光包括白色照明光和波长带宽度比该白色照明光窄的窄带波长光。

所公开的摄像装置中的上述多种照明光至少包括红色光、绿色光和蓝色光。

所公开的摄像装置的上述光源由半导体发光元件构成。

所公开的内窥镜装置具备上述摄像装置。

符号说明

11 内窥镜

13 控制装置

19 光源装置

21 处理器

37 摄像元件

39 光源

41 光源控制部

43 摄像信号处理部

45 内窥镜控制部(帧图像控制部、摄像信号控制部)

47 图像处理部

49 存储器

51 摄像控制部

100 内窥镜装置

Claims (10)

1.一种摄像装置，具备：

光源，能够射出具有互不相同的光谱的多种照明光；

摄像部，在水平方向以及垂直方向上排列多个像素，具有由排列在上述水平方向上的像素构成的多个水平像素行，并且具有通过卷帘式快门方式驱动的摄像元件；

光源控制部，切换从上述光源射出的照明光；

帧图像控制部，生成在射出任意上述照明光的单位照射期间和射出与任意上述照明光不同的照明光的单位照射期间内形成的第1曝光帧、以及在射出任意上述照明光的单位照射期间和不射出任何照明光的单位照射期间内形成的第2曝光帧，将在一个上述第1曝光帧或者连续的两个上述第1曝光帧的前后设置了上述第2曝光帧的帧群作为1个周期来进行输出；和

摄像信号生成部，在上述帧群所包括的各曝光帧中，使用从各个上述水平像素行的像素中读出的检测信号量，生成在上述单位照射期间内使用同一照明光对该像素进行了曝光时从该像素得到的摄像信号量。

2.根据权利要求1所述的摄像装置，其中，

上述摄像信号生成部针对在上述第1曝光帧和上述第2曝光帧在各上述水平像素行的曝光期间内切换上述照明光的水平像素行，使用从该水平像素行的曝光开始时刻到切换上述照明光的时刻为止的第1期间、与从切换该照明光的时刻到该水平像素行的曝光结束时刻为止的第2期间之比，生成针对该水平像素行的像素的上述摄像信号量。

3.根据权利要求1所述的摄像装置，其中，

上述摄像信号生成部使用由上述水平像素行在垂直方向上的位置决定的系数，生成针对该水平像素行的像素的上述摄像信号量。

4.根据权利要求1～3中任一项所述的摄像装置，其中，

上述摄像部在从上述水平像素行的垂直方向一端侧向另一端侧依次进行扫描驱动的情况下，按照上述另一端侧的水平像素行的曝光结束时刻与下一帧的上述一端侧的水平像素行的曝光开始时刻相一致的方式，错开各上述水平像素行的曝光开始时刻来进行驱动。

5.根据权利要求4所述的摄像装置，其中，

上述摄像信号生成部针对从上述垂直方向一端侧的水平像素行到与该水平像素行所对应的曝光结束时刻相一致的曝光开始时刻的水平像素行为止的期间的水平像素行群，将在上述垂直方向上将该水平像素行群分割成两个的行设为分割行，

将该分割行作为边界，将上述水平像素行群区分为上述垂直方向一端侧的第1行群和另一端侧的第2行群，

改变在位于上述第1行群的上述像素中所使用的上述检测信号量和在位于上述第2行群的上述像素中所使用的上述检测信号量，生成上述摄像信号量。

6.根据权利要求1～3中任一项所述的摄像装置，其中，

针对在上述第1曝光帧和上述第2曝光帧的各上述水平像素行的曝光期间内切换上述照明光的水平像素行，从该水平像素行的曝光开始时刻到切换上述照明光的时刻为止的第1期间、和从切换该照明光的时刻到该水平像素行的曝光结束时刻为止的第2期间是根据上述卷帘式快门的相对于上述水平像素行的上述曝光开始时刻的偏差而决定的。

7.根据权利要求1～3中任一项所述的摄像装置，其中，

多种上述照明光包括白色照明光和波长带宽度比该白色照明光窄的窄带波长光。

8.根据权利要求1～3中任一项所述的摄像装置，其中，

多种上述照明光至少包括红色光、绿色光和蓝色光。

9.根据权利要求1～3中任一项所述的摄像装置，其中，

上述光源由半导体发光元件构成。

10.一种内窥镜装置，具备权利要求1～3中任一项所述的摄像装置。