CN105850119B - 拍摄装置、拍摄装置的控制方法 - Google Patents

Abstract

影像处理部(5)生成第一影像信号，影像输出部(6)生成第二影像信号。拍摄部(3)在第一模式下与第二影像信号的1帧期间对应地进行曝光，在第二模式下，在将第二影像信号的1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光。影像处理部(5)在第一模式下，基于根据与1帧期间对应的曝光而读出的拍摄信号，生成第一影像信号的帧，在第二模式下，基于与各区间的曝光对应地读出的拍摄信号，生成第一影像信号的帧。影像输出部(6)在第一模式和第二模式下将第二影像信号设为公用的信号方式，连续地输出第二影像信号的帧。

Description

拍摄装置、拍摄装置的控制方法

技术领域

本发明涉及一种拍摄装置、拍摄装置的控制方法。

背景技术

以前，例如为了在夜间等几乎没有可视光的环境下拍摄被摄体，使用了通过红外线投光器向被摄体照射红外光而拍摄从被摄体反射的红外光的方法。该方法是在无法使用照射可视光的照明装置的情况下有效的拍摄方法。

但是，通过该拍摄方法拍摄被摄体所得的影像为黑白影像。在黑白影像中有时难以识别物体。如果在没有可视光的环境下也能够拍摄彩色影像，则能够提高物体的可识别性。例如，在监控拍摄机中，为了提高物体的可识别性，优选的是在没有可视光的环境下也拍摄彩色影像。

在专利文献1中，记载了一种在没有可视光的环境下也能够拍摄彩色影像的拍摄装置。在专利文献1所记载的拍摄装置中，也使用了红外线投光器。如果将专利文献1记载的技术应用于监控拍摄机，则能够对被摄体进行彩色影像化而提高物体的可识别性。

现有技术文献

专利文献

专利文献1：日本特开2011-50049号公报

发明内容

优选的是能够通过一台拍摄装置进行存在可视光的环境下的通常的拍摄、在可视光少的环境下使用了红外线投光器的暗视拍摄的双方。将拍摄装置不使用红外线投光器而执行通常的拍摄的模式称为通常模式，将拍摄装置在通过红外线投光器投射红外光的状态下执行拍摄的模式称为红外光投射模式。

在拍摄装置配备通常模式和红外光投射模式的2个拍摄模式的情况下，最好不产生影像的紊乱地将影像从通常模式(第一模式)切换到红外光投射模式(第二模式)、从红外光投射模式(第二模式)切换到通常模式(第一模式)。

实施方式的目的在于：提供一种拍摄装置、拍摄装置的控制方法以及控制程序，其能够不产生影像的紊乱地在存在可视光的环境下不投射红外光的状态下拍摄被摄体的第一模式、在可视光少的环境下一边投射红外光一边拍摄被摄体的第二模式下对影像进行切换。

实施方式的第一形式，提供一种拍摄装置，其特征在于，具备：拍摄部，其拍摄被摄体；影像处理部，其根据从上述拍摄部输出的拍摄信号，生成第一影像信号；影像输出部，其根据上述第一影像信号，生成并输出预定的信号方式的第二影像信号，其中，上述拍摄部在第一模式下，与上述第二影像信号的各个1帧期间对应地进行曝光而拍摄被摄体，在第二模式下，在将上述第二影像信号的各个1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光而拍摄被摄体，上述影像处理部在上述第一模式下，基于根据与1帧期间对应的曝光而读出的拍摄信号，生成上述第一影像信号的各个帧，在上述第二模式下，根据与上述各区间的曝光对应地读出的拍摄信号，生成上述第一影像信号的各个帧，上述影像输出部在上述第一模式和上述第二模式下将上述第二影像信号设为公用的信号方式，连续地输出上述第二影像信号的帧。

实施方式的第二形式，提供一种拍摄装置的控制方法，其特征在于：通过拍摄装置的拍摄部拍摄被摄体，根据上述拍摄部拍摄被摄体所得的拍摄信号，生成第一影像信号，根据上述第一影像信号生成预定的信号方式的第二影像信号，在将上述拍摄装置设定为第一模式时，通过上述拍摄部，与上述第二影像信号的各个1帧期间对应地进行曝光而拍摄被摄体，基于根据与1帧期间对应的曝光而读出的拍摄信号，生成上述第一影像信号的各个帧，在将上述拍摄装置设定为第二模式时，通过上述拍摄部，在将上述第二影像信号的各个1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光而拍摄被摄体，根据与上述各区间的曝光对应地读出的拍摄信号，生成上述第一影像信号的各个帧，在上述第一模式和上述第二模式下将上述第二影像信号设为公用的信号方式，连续地输出上述第二影像信号的帧。

实施方式的第三形式，提供一种拍摄装置的控制程序，其特征在于，使安装在拍摄装置中的计算机执行以下步骤：通过上述拍摄装置的拍摄部拍摄被摄体的第一步骤；根据上述拍摄部拍摄被摄体所得的拍摄信号，生成第一影像信号的第二步骤；以及根据上述第一影像信号生成预定的信号方式的第二影像信号的第三步骤，在将上述拍摄装置设定为第一模式时，使计算机执行以下步骤：作为上述第一步骤，通过上述拍摄部，与上述第二影像信号的各个1帧期间对应地进行曝光而拍摄被摄体的步骤；作为上述第二步骤，基于根据与1帧期间对应的曝光而读出的拍摄信号，生成上述第一影像信号的各个帧，在将上述拍摄装置设定为第二模式时，使计算机执行以下步骤：作为上述第一步骤，通过上述拍摄部，在将上述第二影像信号的各个1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光而拍摄被摄体的步骤；作为上述第二步骤，根据与上述各区间的曝光对应地读出的拍摄信号，生成上述第一影像信号的各个帧，在使上述拍摄装置从上述第一模式转移到上述第二模式、以及从上述第二模式转移到上述第一模式时，使计算机执行以下步骤：作为上述第三步骤，在上述第一模式和上述第二模式下将上述第二影像信号设为公用的信号方式，连续地输出上述第二影像信号的帧的步骤。

根据实施方式的拍摄装置、拍摄装置的控制方法以及控制程序，能够不产生影像的紊乱地在存在可视光的环境下在不投射红外光的状态下拍摄被摄体的第一模式、在可视光少的环境下一边投射红外光一边拍摄被摄体的第二模式下对影像进行切换。

附图说明

图1是表示一个实施方式的拍摄装置的整体结构的框图。

图2是表示一个实施方式的拍摄装置所使用的彩色滤光片的滤光片元件的排列的一个例子的图。

图3是表示构成一个实施方式的拍摄装置的拍摄部的三原色光的波长和相对灵敏度的分光灵敏度特性的特性图。

图4是表示将硅的受光灵敏度乘以三原色光从预定的物质的反射率时的波长和相对检出率之间的关系的特性图。

图5是表示图1中的拍摄元件31的具体结构例子的框图。

图6是用于说明图5所示的拍摄元件31的曝光和拍摄信号的读出的动作的图。

图7是表示图1中的预信号处理部52的具体结构例子的框图。

图8是用于说明一个实施方式的拍摄装置在通常模式下动作时的去马赛克处理的图。

图9是概要地表示一个实施方式的拍摄装置在中间模式和暗视模式下动作时的曝光和影像信号的帧之间的关系的图。

图10是用于说明一个实施方式的拍摄装置在第一中间模式下动作时的预信号处理的图。

图11是用于说明一个实施方式的拍摄装置在第一中间模式下动作时的去马赛克处理的图。

图12是用于说明一个实施方式的拍摄装置在第二中间模式下动作时的预信号处理的图。

图13是用于说明一个实施方式的拍摄装置在第二中间模式下动作时的去马赛克处理的图。

图14是用于说明一个实施方式的拍摄装置在暗视模式下动作时的周围像素的加法处理的图。

图15是表示实施周围像素的加法处理的帧的图。

图16是用于说明一个实施方式的拍摄装置在第一暗视模式下动作时的预信号处理的图。

图17是用于说明一个实施方式的拍摄装置在第一暗视模式下动作时的去马赛克处理的图。

图18是用于说明一个实施方式的拍摄装置在第二暗视模式下动作时的预信号处理的图。

图19是用于说明一个实施方式的拍摄装置在第二暗视模式下动作时的去马赛克处理的图。

图20是用于说明一个实施方式的拍摄装置的模式切换的例子的图。

图21是表示一个实施方式的拍摄装置设定为各个模式时的各部的状态的图。

图22是表示一个实施方式的拍摄装置的第一变形例子的部分框图。

图23是表示一个实施方式的拍摄装置的第二变形例子的部分框图。

图24是表示一个实施方式的拍摄装置的第三变形例子的部分框图。

图25是表示通过一个实施方式的拍摄装置执行的影像信号处理方法的流程图。

图26是表示图25中的步骤S3所示的通常模式的具体处理的流程图。

图27是表示图25中的步骤S4的中间模式的具体处理的流程图。

图28是表示图25中的步骤S5的暗视模式的具体处理的流程图。

图29是表示使计算机执行存储在一个实施方式的拍摄装置内的影像信号处理程序的处理的流程图。

图30A是表示通常模式和红外光投射模式的模式切换方法的第一例子的时序的图。

图30B是表示通常模式和红外光投射模式的模式切换方法的第一例子的时序的图。

图31A是表示通常模式和红外光投射模式的模式切换方法的第二例子的时序的图。

图31B是表示通常模式和红外光投射模式的模式切换方法的第二例子的时序的图。

图32A是表示通常模式和红外光投射模式的模式切换方法的第三例子的时序的图。

图32B是表示通常模式和红外光投射模式的模式切换方法的第三例子的时序的图。

具体实施方式

以下，参照附图说明一个实施方式的拍摄装置、拍摄装置的控制方法以及控制程序。

<拍摄装置的结构>

首先，使用图1说明一个实施方式的拍摄装置的整体结构。图1所示的一个实施方式的拍摄装置是能够在以下的3个模式下进行拍摄的拍摄装置：适合于日间等充分存在可视光的环境下的通常模式；适合于夜间等几乎没有可视光的环境下的暗视模式；适合于稍微存在可视光的环境下的中间模式。

暗视模式和中间模式都是在可视光少的环境下一边投射红外线一边进行拍摄的红外光投射模式。红外光投射模式也可以只是暗视模式。在本实施方式中，作为优选的结构，以能够在包含中间模式的3个模式下进行拍摄的拍摄装置为例子。

在图1中，从被摄体反射的用点划线表示的光被光学透镜1聚光。在此，在充分存在可视光的环境下可视光入射到光学透镜1，在几乎不存在可视光的环境下，被摄体反射通过后述的红外线投光器9发出的红外光所得的红外光入射到光学透镜1。

在稍微存在可视光的环境下，可视光和被摄体反射通过红外线投光器9发出的红外光所得的红外光混合后的光入射到光学透镜1。

在图1中，为了简化，将光学透镜1只设为1个，但实际上，拍摄装置具备多个光学透镜。

在光学透镜1和拍摄部3之间，设置有光学滤光片2。光学滤光片2具有红外线截止滤光片21和白玻璃(dummy glass)22的2个部分。光学滤光片2被驱动部8驱动为将红外线截止滤光片21插入到光学透镜1和拍摄部3之间的状态、将白玻璃22插入到光学透镜1和拍摄部3之间的状态的任意一个状态。

拍摄部3具备在水平方向和垂直方向排列了多个受光元件(像素)的拍摄元件31、与各个受光元件对应地配置了红色(R)、绿色(G)、青色(G)的任意一个颜色的滤光片元件的彩色滤光片32。拍摄元件31可以是CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)。

作为一个例子，如图2所示，按照被称为拜耳序列(Bayer array)的序列排列有R、G、B的各色的滤光片元件。拜耳序列是R、G、B的滤光片元件的预定的排列的一个例子。在图2中，将被各行的R的滤光片元件夹着的G的滤光片元件称为Gr，将被B的滤光片元件夹着的G的滤光片元件称为Gb。

在拜耳序列中，在垂直方向上交替地排列有交替地配置了R的滤光片元件和Gr的滤光片元件所得的水平方向的行、交替地配置了B的滤光片元件和Gb的滤光片元件所得的水平方向的行。

图3表示出拍摄部3的R光、G光、B光的波长和相对灵敏度的分光灵敏度特性。相对灵敏度被标准化为最大值为1。在使拍摄装置在通常模式下动作时，为了拍摄基于可视光的良好的彩色影像，必须截止波长700nm以上的红外光。

因此，驱动部8根据控制部7的控制，驱动光学滤光片2使得将红外线截止滤光片21插入到光学透镜1和拍摄部3之间。

如从图3可知的那样，拍摄部3在波长700nm以上的红外光的区域中也具有灵敏度。因此，在使拍摄装置在中间模式或暗视模式下动作时，驱动部8根据控制部7的控制，驱动光学滤光片2使得卸下光学透镜1和拍摄部3之间的红外线截止滤光片21而插入白玻璃22。

在将白玻璃22插入到光学透镜1和拍摄部3之间的状态下，不截止波长700nm以上的红外光。由此，拍摄装置利用在图3中用虚线的椭圆围住的部分的灵敏度，能够得到R、G、B的各色信息。插入白玻璃22是为了使光路长度与插入红外线截止滤光片21的情况下的光路长度相同。

红外线投光器9分别具有投射波长IR1、IR2、IR3的红外光的投光部91、92、93。在中间模式或暗视模式时，控制部7内的投光控制部71进行控制使得时间分割地从投光部91～93选择性地投射波长IR1～IR3的红外光。

但是，在拍摄元件31中使用了硅晶圆。图4表示出将向呈现R、G、B各色的素材照射白色光的情况下的各波长下的反射率乘以硅的受光灵敏度时的波长和相对检出率之间的关系。在图4中，相对检出率被标准化为最大值为1。

如图4所示，在红外光的区域中，例如波长780nm的反射光与呈现R色的素材的反射光之间的相关性高，波长870nm的反射光与呈现B色的素材的反射光之间的相关性高，波长940nm的反射光与呈现G色的素材的反射光之间的相关性高。

因此，在本实施方式中，将投光部91、92、93投射的红外光的波长IR1、IR2、IR3设为780nm、940nm、870nm。这些波长是波长IR1～IR3的一个例子，也可以是780nm、940nm、870nm以外。

投光部91向被摄体照射波长IR1的红外光，向R信号分配拍摄从被摄体反射的光所得的影像信号。投光部93向被摄体照射波长IR2的红外光，向G信号分配拍摄从被摄体反射的光所得的影像信号。投光部92向被摄体照射波长IR3的红外光，向B信号分配拍摄从被摄体反射的光所得的影像信号。

由此，原理上，在中间模式或暗视模式中，能够再现与在通常模式下在存在可视光的环境下拍摄被摄体的情况同样的颜色。

虽然成为配色与被摄体的实际配色不同的彩色影像，但也可以向R光分配780nm的波长IR1，向G光分配870nm的波长IR3，向B光分配940nm的波长IR2。也可以向R光、G光、B光任意地分配波长IR1、IR2、IR3。

在本实施方式中，假设分别向R光、G光、B光分配最好地再现被摄体的配色的波长IR1、IR2、IR3。

控制部7控制拍摄部3的拍摄、影像处理部5内的各部、影像输出部6。

以拍摄元件31是CCD的情况为例子，说明拍摄元件31的概要结构、控制部7如何控制拍摄部3。

如图5所示，拍摄元件31具备排列在水平方向和垂直方向上的多个受光元件Px。拍摄元件具备与排列在垂直方向上的受光元件Px的各个列对应的垂直转送寄存器3vr、与各个垂直转送寄存器3vr连接的水平转送寄存器3hr。

使在图2中说明的彩色滤光片32的R、G、B的滤光片元件分别与排列在水平方向和垂直方向上的多个受光元件Px对应。实际上，如图5所示，在水平方向和垂直方向上间隔的状态下配置相互相邻的受光元件Px，但在图2中，为了方便，在紧贴的状态下表示出彩色滤光片32相互相邻的滤光片元件。

在图6中，(a)表示出拍摄元件31的受光元件Px的曝光。将受光元件Px的最大曝光时间设为tExmax。最大曝光时间tExmax相当于1帧期间。受光元件Px的曝光时间以最大曝光时间tExmax为最大，与快门速度对应地增减。向拍摄元件31供给用于排出例如以1水平期间的间隔通过曝光而积蓄的电荷的取样脉冲Ps1。如果控制部7在预定的定时停止供给取样脉冲Ps1，则停止供给取样脉冲Ps1后成为用阴影线所示的时间的曝光Ex1、Ex2……。

在达到最大曝光时间tEXmax的定时，向拍摄元件31供给读出脉冲Ps2。如果向拍摄元件31供给读出脉冲Ps2，则统一地将积蓄在图5中的各个列的受光元件Px中的电荷转送到垂直转送寄存器3vr。

垂直转送寄存器3vr根据垂直转送时钟顺序地将从受光元件Px转送的电荷转送到水平转送寄存器3hr。水平转送寄存器3hr根据水平转送时钟顺序地转送从各个垂直转送寄存器3vr转送的电荷。水平转送寄存器3hr所转送的电荷被输出放大器3ap放大后变换为电压信号输出。

在图6中，如图(b)所示，拍摄元件31在被供给了读出脉冲Ps2以后的1帧期间中，读出通过曝光Ex1、Ex2……得到的电荷作为电压信号，由此输出拍摄信号的帧F1、F2……。帧F1、F2……的拍摄信号被供给到A/D变换器4。

输入到A/D变换器4的拍摄信号被进行A/D变换，输入到影像处理部5。拍摄部3和A/D变换器4也可以一体化。

控制部7具备：写入/读出控制部70，其控制影像数据向设置在影像处理部5内的帧缓存器50的写入、影像数据从帧缓存器50的读出；模式切换部72，其切换通常模式、中间模式和暗视模式。将在后面说明帧缓存器50怎样通过写入/读出控制部70写入、读出影像数据。

模式切换部72与通常模式、中间模式、暗视模式对应地，如后述那样适当地切换影像处理部5内的动作。影像处理部5和控制部7也可以一体化。

影像处理部5具备：帧缓存器50；开关51、53；预信号处理部52和去马赛克处理部54。帧缓存器50分别具有1帧量的容量的存储器50a～50f。如用虚线所示那样，帧缓存器50除了具备合计6帧量的容量的存储器50a～50f，有时也分别具备1帧量的容量的存储器50g～50i。

开关51、53既可以是物理的开关，也可以是用于切换预信号处理部52的动作和不动作的概念性的开关。为了检测正在拍摄的影像的亮度，从影像处理部5向控制部7输入影像信号。

如图7所示，预信号处理部52具备周围像素加法部521、同一位置像素加法部522、合成部523。

影像处理部5生成R、G、B的三原色数据，供给到影像输出部6。影像输出部6以预定的形式向未图示的显示部等输出三原色数据。

影像输出部6既可以直接输出R、G、B信号，也可以将R、G、B信号变换为亮度信号和颜色信号(或色差信号)而输出。影像输出部6也可以输出混合影像信号。影像输出部6既可以输出数字信号的影像信号，也可以输出通过D/A变换器变换为模拟信号后的影像信号。

在本实施方式中，影像输出部6具备NTSC编码器61。假设根据控制部7的控制，输出NTSC方式的隔行扫描方式的影像信号。影像输出部6也可以构成为具备用于生成PAL方式的影像信号的PAL编码器而代替NTSC编码器61。另外，也可以是HDTC(高清电视)方式，影像输出部6能够应用于各种方式。

以下，说明通常模式、中间模式、暗视模式的各个具体动作。

<通常模式>

在通常模式下，控制部7通过驱动部8使得将红外线截止滤光片21插入到光学透镜1和拍摄部3之间。投光控制部71将红外线投光器9的红外光的投射关断。

通过拍摄部3拍摄所得的拍摄信号通过A/D变换器4变换为作为数字信号的影像数据，输入到影像处理部5。在通常模式下，模式切换部72进行控制将开关51、53与端子Tb连接。

如在图6中说明的那样，根据曝光Ex1得到影像信号的帧F1。根据曝光Ex2得到影像信号的帧F2。在以后的曝光中也同样。将影像信号的帧频率例如设为30帧/秒。

对于影像信号的帧频率，如果是NTSC方式则适当地设定为30帧/秒或60帧/秒，如果是PAL方式则适当地设定为25帧/秒或50帧/秒即可。另外，影像信号的帧频率也可以是在电影中使用的24帧/秒。

将从A/D变换器4输出的各帧的影像数据暂时保存在帧缓存器50中。从帧缓存器50读出的影像数据经由开关51、53输入到去马赛克处理部54。去马赛克处理部54对输入的各帧的影像数据实施去马赛克处理。影像处理部5除了实施去马赛克处理以外，还实施白色平衡修正、增益修正等各种影像处理，输出R、G、B的三原色数据。

使用图8说明去马赛克处理部54的去马赛克处理。在图8中，(a)表示影像数据的任意的帧Fm。帧Fm是由有效影像期间的像素构成的帧。影像数据的像素数例如在VGA规格中是水平640像素、垂直480像素。在此，为了简化，大幅地减少帧Fm的像素数，而概念性地表示出帧Fm。

拜耳序列的使用拍摄部3生成的影像数据在帧Fm内是R、G、B的像素数据混合存在的数据。去马赛克处理部54生成使用周围的R的像素数据计算不存在R的像素数据的像素位置的R的像素数据所得的R的内插像素数据Ri。去马赛克处理部54生成图8的(b)所示的1帧的全部像素由R的像素数据构成的R帧FmR。

去马赛克处理部54生成使用周围的G的像素数据计算不存在G的像素数据的像素位置的G的像素数据所得的G的内插像素数据Gi。去马赛克处理部54生成图8的(c)所示的1帧的全部像素由G的像素数据构成的G帧FmG。

去马赛克处理部54生成使用周围的B的像素数据计算不存在B的像素数据的像素位置的B的像素数据所得的B的内插像素数据Bi。去马赛克处理部54生成图8的(d)所示的1帧的全部像素由B的像素数据构成的B帧FmB。

去马赛克处理部54在内插R的像素数据时至少使用R的像素数据即可，在内插G的像素数据时至少使用G的像素数据即可，在内插B的像素数据时至少使用B的像素数据即可。去马赛克处理部54为了提高内插精度，在内插R、G、B的像素数据时，也可以使用与要生成的内插像素数据的颜色不同的其他颜色的像素数据。

在拍摄部3也存在处于有效影像期间外侧的像素，因此在位于帧Fm的上下左右端部的像素处，也能够内插R、G、B的像素数据。

作为R、G、B的三原色数据而输出通过去马赛克处理部54生成的R帧FmR、G帧FmG、B帧FmB。在图8中，为了容易理解，以帧为单位说明了R、G、B的像素数据，但实际上，对每个像素顺序地输出R、G、B的像素数据。

<中间模式：第一中间模式>

在中间模式(第一中间模式和后述的第二中间模式)下，控制部7通过驱动部8使得将白玻璃22插入到光学透镜1和拍摄部3之间。投光控制部71将红外线投光器9的红外光的投射接通。模式切换部72进行控制使得将开关51、53与端子Ta连接。

图9的(a)表示出红外线投光器9的红外光的投射的状态。控制部7将通常模式的1帧期间分为每份1/3，例如进行控制使得按照投光部91、92、93的顺序投射红外光。

在图9(a)所示的例子中，在1帧的最初的1/3的期间中，向被摄体照射波长IR1(780nm)的红外光。在1帧的下一个1/3的期间中，向被摄体照射波长IR2(940nm)的红外光。在1帧的最后的1/3的期间中，向被摄体照射波长IR3(870nm)的红外光。投射波长IR1～IR3的红外光的顺序是任意的。

如图9(b)所示，在投射波长IR1的红外光的定时，拍摄部3进行与R光的相关性高的曝光Ex1R。在投射波长IR2的红外光的定时，拍摄部3进行与G光的相关性高的曝光Ex1G。在投射波长IR3的红外光的定时，拍摄部3进行与B光的相关性高的曝光Ex1B。

其中，在中间模式下，是稍微存在可视光的环境下的拍摄，因此是可视光和从红外线投光器9投射的红外光混合存在的状态。由此，在中间模式中，曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B……为组合了可视光的曝光和红外光的曝光而得的曝光。

如图9(c)所示，基于曝光Ex1R、Ex1G、Ex1B，在预定时间后，得到与曝光Ex1R对应的帧F1IR1、与曝光Ex1G对应的帧F1IR2、与曝光Ex1B对应的帧F1IR3。

另外，基于曝光Ex2R、Ex2G、Ex2B，在预定时间后，得到与曝光Ex2R对应的帧F2IR1、与曝光Ex2G对应的帧F2IR2、与曝光Ex2B对应的帧F2IR3。曝光Ex3R、Ex3G、Ex3B以后也同样。

图9(c)的拍摄信号的帧频率是90帧/秒。在中间模式下，对通常模式下的影像信号的1帧进行时间分割而投射波长IR1～IR3的红外光，因此为了输出与通常模式相同形式的影像信号，图9(c)的拍摄信号的帧频率为通常模式下的帧频率的3倍。

如后述那样，根据图9(c)的3帧的拍摄信号，生成图9(d)所示的具有30帧/秒的帧频率的影像信号的1帧。在此，概要地作为逐行扫描方式的影像信号而不是隔行扫描方式的影像信号来进行说明。例如，根据帧F1IR1、F1IR2、F1IR3生成帧F1IR，根据帧F2IR1、F2IR2、F2IR3生成帧F2IR。

具体说明根据图9(c)的3帧的拍摄信号生成图9(d)的各帧的影像信号的中间模式下的动作。

将与从A/D变换器4输出的图9(c)所示的拍摄信号对应的各帧的影像信号暂时保存在帧缓存器50中。将从帧缓存器50读出的影像信号经由开关51输入到预信号处理部52。

使用图10说明预信号处理部52的预信号处理。图10的(a)表示在投射波长IR1的红外光的定时下生成的影像数据的任意的帧FmIR1。对帧FmIR1内的R、B、Gr、Gb的像素数据附加表示是在投射了波长IR1的红外光的状态下生成的下标1。

图10的(b)表示在投射波长IR2的红外光的定时下生成的影像数据的任意的帧FmIR2。对帧FmIR2内的R、B、Gr、Gb的像素数据附加表示是在投射了波长IR2的红外光的状态下生成的下标2。

图10的(c)表示在投射波长IR3的红外光的定时下生成的影像数据的任意的帧FmIR3。对帧FmIR3内的R、B、Gr、Gb的像素数据附加表示是在投射了波长IR3的红外光的状态下生成的下标3。

图10的(a)所示的帧FmIR1是在投射与R光的相关性高的波长IR1的红外光的状态下生成的影像数据，因此R的像素数据是与投射的红外光对应的像素数据，B、G的像素数据是与投射的红外光不对应的像素数据。对B、Gr、Gb的像素数据附加的阴影表示是与投射的红外光不对应的像素数据。

图10的(b)所示的帧FmIR2是在投射与G光的相关性高的波长IR2的红外光的状态下生成的影像数据，因此G的像素数据是与投射的红外光对应的像素数据，R、B的像素数据是与投射的红外光不对应的像素数据。对R、B的像素数据附加的阴影表示是与投射的红外光不对应的像素数据。

图10(c)所示的帧FmIR3是在投射与B光的相关性高的波长IR3的红外光的状态下生成的影像数据，因此B的像素数据是与投射的红外光对应的像素数据，R、G的像素数据是与投射的红外光不对应的像素数据。对R、Gr、Gb的像素数据附加的阴影表示是与投射的红外光不对应的像素数据。

预信号处理部52内的同一位置像素加法部522依照以下的公式(1)～(3)个别地对相互相同的像素位置的R、Gr、Gb、B的像素数据进行相加，生成像素数据R123、Gr123、Gb123、B123。在中间模式下，预信号处理部52内的周围像素加法部521不动作。

R123＝ka×R1+kb×R2+kc×R3 ……(1)

G123＝kd×G1+ke×G2+kf×G3 ……(2)

B123＝kg×B1+kh×B2+ki×B3 ……(3)

在公式(1)～(3)中，R1、G1、B1是帧FmIR1的R、G、B的像素数据，R2、G2、B2是帧FmIR2的R、G、B的像素数据，R3、G3、B3是帧FmIR3的R、G、B的像素数据。Ka～ki是预定的系数。公式(2)中的G123是Gr123或Gb123。

这时，同一位置像素加法部522对没有附件阴影的R、Gr、Gb、B的各像素数据分别加上附加了阴影的同一位置的R、Gr、Gb、B的像素数据。

即，同一位置像素加法部522根据公式(1)对帧FmIR1的R的像素数据相加帧FmIR2、FmIR3的同一像素位置的R的像素数据，生成像素数据R123。即，只使用与受光元件的红色的彩色滤光片对应的区域的像素数据来生成红色用的像素数据R123。

同一位置像素加法部522根据公式(2)对帧FmIR2的Gr、Gb的像素数据相加帧FmIR1、FmIR3的同一像素位置的Gr、Gb的像素数据，生成像素数据G123。即，只使用与受光元件的绿色的彩色滤光片对应的区域的像素数据来生成绿色用的像素数据G123。

同一位置像素加法部522根据公式(3)对帧FmIR3的B的像素数据相加帧FmIR1、FmIR2的同一像素位置的B的像素数据，生成像素数据B123。即，只使用与受光元件的青色的彩色滤光片对应的区域的像素数据来生成青色用的像素数据B123。

预信号处理部52内的合成部523根据在各个像素位置生成的像素数据R123、Gr123、Gb123、B123，生成图10的(d)所示的合成影像信号的帧FmIR123。

具体地说，合成部523选择地合成帧FmIR1的像素数据R123、帧FmIR2的像素数据Gr123、Gb123、帧FmIR3的像素数据B123。由此，合成部523生成合成影像信号的帧FmIR123。

这样，合成部523以成为与彩色滤光片32的滤光片元件的排列相同的排列的方式生成排列了像素数据R123、Gr123、Gb123、B123所得的帧FmIR123。

在第一中间模式中，使用没有附加阴影的像素数据、附加了阴影的像素数据，生成帧FmIR213的影像数据。

通过同一位置像素加法部522将相互相同的像素位置的像素数据相加的理由如下。中间模式是虽然较少但存在可视光的环境下的拍摄，因此附加了阴影的像素数据包含基于可视光的曝光的各个颜色的成分。由此，通过将相同像素位置的像素数据相加，能够提高各个颜色的灵敏度。

如果在混合了可视光和红外光的状况下可视光较多，则可视光的曝光成为支配性的。在该情况下，帧FmIR123的影像数据以基于根据可视光曝光所得的影像信号的成分为主。如果在混合了可视光和红外光的状况下红外光较多，则红外光的曝光成为支配性的。在该情况下，帧FmIR123的影像数据以基于根据红外光曝光所得的影像信号的成分为主。

在可视光较少的情况下，在公式(1)中，将系数ka、kb、kc的大小关系设为ka>kb、kc，在公式(2)中，将系数kd、ke、kf的大小关系设为kf>kd、ke，在公式(3)中，将系数kg、kh、ki的大小关系设为kh>kg、ki即可。这是因为波长IR1与R光的相关性高，波长IR2与G光的相关性高，波长IR3与B光的相关性高。

由此，可以在R的像素数据中，以帧FmIR1的R的像素数据为主，在G的像素数据中，以帧FmIR2的G的像素数据为主，在B的像素数据中，以帧FmIR3的B的像素数据为主。

从预信号处理部52输出的帧FmIR123的影像数据经由开关53输入到去马赛克处理部54。去马赛克处理部54与通常模式同样地，对输入的帧FmIR123的影像数据实施去马赛克处理。影像处理部5除了实施去马赛克处理以外，还实施白色平衡修正、增益修正等各种影像处理，输出R、G、B的三原色数据。

使用图11说明去马赛克处理部54的去马赛克处理。图11的(a)表示帧FmIR123。去马赛克处理部54使用周围的R的像素数据运算不存在R的像素数据的像素位置的R的像素数据，生成R的内插像素数据R123i。去马赛克处理部54生成图11(b)所示的1帧的全部像素由R的像素数据构成的R帧FmIR123R。

去马赛克处理部54使用周围的G的像素数据运算不存在G的像素数据的像素位置的G的像素数据，生成G的内插像素数据G123i。去马赛克处理部54生成图11的(c)所示的1帧的全部像素由G的像素数据构成的G帧FmIR123G。

去马赛克处理部54使用周围的B的像素数据运算不存在B的像素数据的像素位置的B的像素数据，生成B的内插像素数据B123i。去马赛克处理部54生成图11的(d)所示的1帧的全部像素由B的像素数据构成的B帧FmIR123B。

如果比较通常模式下的图8所示的去马赛克处理部54的动作、中间模式下的图11所示的去马赛克处理部54的动作则可知，两者实质上是相同的。去马赛克处理部54的动作在通常模式和中间模式中都没有变化。

在通常模式下，使预信号处理部52不动作，在中间模式下，除了周围像素加法部521以外，使预信号处理部52动作即可。在通常模式和中间模式下，可以共用影像处理部5的去马赛克处理部54、以及白色平衡修正、增益修正等的信号处理部。

<中间模式：第二中间模式>

使用图12和图13说明第二中间模式的动作。在第二中间模式下的动作中，省略与第一中间模式下的动作相同的部分的说明。图12的(a)～(c)的帧FmIR1、FmIR2、FmIR3与图10的(a)～(c)的帧FmIR1、FmIR2、FmIR3相同。

合成部523选择地合成帧FmIR1的R的像素数据即R1、帧FmIR2的G的像素数据即Gr2、Gb2、帧FmIR3的B的像素数据即B3。由此，合成部523生成图12的(d)所示的合成影像信号的帧FmIR123’。

即，帧FmIR123’是将帧FmIR1、FmIR2、FmIR3中的没有附加阴影的R、Gr、Gb、B的像素数据汇总为1帧所得的影像数据。

即，在帧FmIR123’中，成为只使用了投射波长IR1的红外光的状态下的与红色的彩色滤光片对应的区域的像素数据的红色用的像素数据、只使用了投射波长IR2的红外光的状态下的与绿色的彩色滤光片对应的区域的像素数据的绿色用的像素数据、只使用了投射波长IR3的红外光的状态下的与青色的彩色滤光片对应的区域的像素数据的青色用的像素数据。

这样，合成部523以与彩色滤光片32的滤光片元件的排列相同的排列的方式生成排列了像素R1、Gr2、Gb2、B3所得的帧FmIR123’。

在第二中间模式下，同一位置像素加法部522将公式(1)中的系数ka设为1，将系数kb、kc设为0，将公式(2)中的系数ke设为1，将系数kd、kf设为0，将公式(3)中的系数ki设为1，将系数kg、kh设为0。

由此，帧FmIR1中的R的像素数据、帧FmIR2中的Gr、Gb的像素数据、帧FmIR3中的B的像素数据分别为原来的值。

由此，合成部523如果与第一中间模式中的动作同样地，选择帧FmIR1中的R的像素数据、帧FmIR2中的Gr、Gb的像素数据、帧FmIR3中的B的像素数据，则能够生成帧FmIR123’。

在第二中间模式中，预信号处理部52只使用在投射了用于生成与像素数据的颜色相同颜色的像素数据的红外光的状态下生成的像素数据(没有附加阴影的像素数据)，生成帧FmIR123’的影像数据。

根据第二中间模式，虽然灵敏度、颜色的再现性比第一中间模式低，但能够简化运算处理，削减帧存储器。

使用图13说明去马赛克处理部54的去马赛克处理。图13的(a)表示帧FmIR123’。去马赛克处理部54使用周围的R的像素数据运算不存在R的像素数据的像素位置的R的像素数据，生成R的内插像素数据R1i。去马赛克处理部54生成图13的(b)所示的1帧的全部像素由R的像素数据构成的R帧FmIR123’R。

去马赛克处理部54使用周围的G的像素数据运算不存在G的像素数据的像素位置的G的像素数据，生成G的内插像素数据G2i。去马赛克处理部54生成图13的(c)所示的1帧的全部像素由G的像素数据构成的G帧FmIR123’G。

去马赛克处理部54使用周围的B的像素数据运算不存在B的像素数据的像素位置的B的像素数据，生成B的内插像素数据B3i。去马赛克处理部54生成图13的(d)所示的1帧的全部像素由B的像素数据构成的B帧FmIR123’B。

如以上那样，在中间模式中，根据从与受光元件的红色的彩色滤光片对应的区域得到的像素数据来生成红色用的像素数据，根据从与受光元件的绿色的彩色滤光片对应的区域得到的像素数据来生成绿色用的像素数据，根据从与受光元件的青色的彩色滤光片对应的区域得到的像素数据来生成青色用的像素数据。

<暗视模式：第一暗视模式>

在暗视模式(第一暗视模式和后述的第二暗视模式)中，与中间模式同样地，控制部7通过驱动部8使得将白玻璃22插入到光学透镜1和拍摄部3之间。投光控制部71将红外线投光器9的红外光的投射设为接通。模式切换部72进行控制使得将开关51、53与端子Ta连接。

暗视模式下的概要的动作与图9相同。但是，在暗视模式下，是几乎不存在可视光的环境下的拍摄，因此图9(b)中的曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B……只设想了红外光的曝光。

在几乎不存在可视光而只存在红外光的环境下，彩色滤光片32中的各个滤光片元件的特性没有差别，因此可以将拍摄部3看作为单色的拍摄元件。

因此，预信号处理部52内的周围像素加法部521在暗视模式下，为了提高红外光的灵敏度，将位于周围的像素数据与各个像素数据相加。

具体地说，如图14的(a)所示，在R的像素是关注像素时，周围像素加法部521将位于周围的G和B的8个像素的像素数据与关注像素的R的像素数据相加。

即，在中间模式时，根据从与受光元件的红色的彩色滤光片对应的区域得到的像素数据来生成红色用的像素数据，但在暗视模式下，根据从比中间模式时广的区域得到的像素数据来生成红色用的像素数据。在图14的(a)～(c)所示的例子中，对各色都使用从包含关注像素的9个像素的区域得到的像素数据。

如图14的(b)所示，在G的像素是关注像素时，周围像素加法部521将位于周围的R、G、B的8个像素的像素数据与关注像素的G的像素数据相加。图14的(b)的关注像素的G是Gb的像素，位于周围的G是Gr的像素。虽然省略了图示，但在关注像素为Gr的像素的情况下也同样。

即，在中间模式时，根据从与受光元件的绿色的彩色滤光片对应的区域得到的像素数据来生成绿色用的像素数据，但在暗视模式下，根据从比中间模式时广的区域得到的像素数据来生成绿色用的像素数据。

如图14的(c)所示，在B的像素是关注像素时，周围像素加法部521将位于周围的R、G的8个像素的像素数据与关注像素的B的像素数据相加。

即，在中间模式时，根据从与受光元件的青色的彩色滤光片对应的区域得到的像素数据来生成青色用的像素数据，但在暗视模式下，根据从比中间模式时广的区域得到的像素数据来生成青色用的像素数据。

周围像素加法部521既可以简单地将关注像素的像素数据和周围的8个像素的像素数据的9个像素相加，也可以在对周围的8个像素的像素数据附加预定的加权后与关注像素的像素数据相加。

但是，存在能够将被称为像素合并(binning)的多个像素汇总为一个像素而读出的拍摄元件。在使用具有面元功能的拍摄元件作为拍摄元件31的情况下，也可以不进行周围像素加法部521的加法处理，而进行具有面元功能的拍摄元件的加法处理。拍摄元件的面元实质上与周围像素加法部521的加法处理等价。

图15的(a)～(c)的帧FmIR1、FmIR3、FmIR2与图10的(a)～(c)的帧FmIR1、FmIR3、FmIR2相同。在图15的(d)～(f)中，R1ad、Gr1ad、Gb1ad、B1ad、R2ad、Gr2ad、Gb2ad、B2ad、R3ad、Gr3ad、Gb3ad、B3ad分别是将周围的8个像素的像素数据与R、Gr、Gb、B的像素数据相加所得的加法像素数据。

周围像素加法部521对帧FmIR1、FmIR3、FmIR2的各个像素数据实施图14所示的加法处理，由此生成图15的(d)～(f)所示的FmIR1ad、FmIR2ad、FmIR3ad。

图16(a)～(c)的帧FmIR1ad、FmIR2ad、FmIR3ad与图15的(d)～(f)的帧FmIR1ad、FmIR2ad、FmIR3ad相同。

同一位置像素加法部522与第一中间模式同样地，根据公式(1)，对帧FmIR1ad的R1ad的像素数据相加帧FmIR2ad、FmIR3ad的相同像素位置的R2ad、R3ad的像素数据，生成加法像素数据R123ad。

同一位置像素加法部522根据公式(2)，对帧FmIR2ad的Gr2ad、Gb2ad的像素数据相加帧FmIR1ad、FmIR3ad的相同像素位置的Gr1ad、Gb1ad、Gr3ad、Gb3ad的像素数据，生成加法像素数据Gr123ad、Gb123ad。

同一位置像素加法部522根据公式(3)，对帧FmIR3ad的B3ad的像素数据相加帧FmIR1ad、FmIR2ad的相同像素位置的B1ad、B2ad的像素数据，生成加法像素数据B123ad。

合成部523与第一中间模式同样地，选择合成帧FmIR1ad的加法像素数据R123ad、帧FmIR2ad的加法像素数据Gr123ad、Gb123ad、帧FmIR3ad的加法像素数据B123ad。由此，合成部523生成图16的(d)所示的合成影像信号的帧FmIR123ad。

合成部523以成为与彩色滤光片32的滤光片元件的排列相同的排列的方式生成排列了加法像素数据R123ad、Gr123ad、Gb123ad、B123ad所得的帧FmIR123ad。

图17的(a)表示帧FmIR123ad。去马赛克处理部54使用周围的R的像素数据运算不存在R的像素数据的像素位置的R的像素数据，生成R的内插像素数据R123adi。去马赛克处理部54生成图17的(b)所示的1帧的全部像素由R的像素数据构成的R帧FmIR123adR。

去马赛克处理部54使用周围的G的像素数据运算不存在G的像素数据的像素位置的G的像素数据，生成G的内插像素数据G123adi。去马赛克处理部54生成图17的(c)所示的1帧的全部像素由G的像素数据构成的G帧FmIR123adG。

去马赛克处理部54使用周围的B的像素数据运算不存在B的像素数据的像素位置的B的像素数据，生成B的内插像素数据B123adi。去马赛克处理部54生成图17的(d)所示的1帧的全部像素由B的像素数据构成的B帧FmIR123adB。

第一中间模式和第一暗视模式的不同点在于：前者使周围像素加法部521不动作，另一方面，后者使周围像素加法部521动作。模式切换部72在暗视模式时，使周围像素加法部521动作即可。

暗视模式下的去马赛克处理部54的动作实质上与通常模式和中间模式下的去马赛克处理部54的动作相同。在通常模式、中间模式、暗视模式下，能够共用影像处理部5的去马赛克处理部54、以及白色平衡修正、增益修正等的信号处理部。

<暗视模式：第二暗视模式>

使用图18和图19说明第二暗视模式下的动作。在第二暗视模式的动作中，省略说明与第一暗视模式下的动作相同的部分。图18的(a)～(c)的帧FmIR1ad、FmIR2ad、FmIR3ad与图16的(a)～(c)的FmIR1ad、FmIR2ad、FmIR3ad相同。

合成部523选择合成帧FmIR1ad的R的像素数据即R1ad、帧FmIR2的G的像素数据即Gr2ad、Gb2ad、帧FmIR3的B的像素数据即B3ad。由此，合成部523生成图18的(d)所示的合成影像信号的帧FmIR123’ad。

合成部523以成为与彩色滤光片32的滤光片元件的排列相同的排列的方式生成排列了像素数据R1ad、Gr2ad、Gb2ad、B3ad所得的帧FmIR123’ad。

此外，如使用图14所说明的那样，根据从比在中间模式时为了生成红色用的像素数据而使用的区域广的区域得到的像素数据来生成帧FmIR123’ad的红色用的像素数据R1ad。

另外，根据从比在中间模式时为了生成绿色用的像素数据而使用的区域广的区域得到的像素数据来生成帧FmIR123’ad的绿色用的像素数据Gr2ad。

进而，根据从比在中间模式时为了生成青色用的像素数据而使用的区域广的区域得到的像素数据来生成帧FmIR123’ad的青色用的像素数据B3ad。

在第二暗视模式下，与第二中间模式同样地，同一位置像素加法部522将公式(1)中的系数ka设为1，将系数kb、kc设为0，将公式(2)中的系数ke设为1，将系数kd、kf设为0，将公式(3)中的系数ki设为1，将系数kg、kh设为0。

由此，帧FmIR1ad中的R1ad的像素数据、帧FmIR2ad中的Gr2ad、Gb2ad的像素数据、帧FmIR3ad中的B3ad的像素数据分别为原来的值。

由此，合成部523如果与第一暗视模式下的动作同样地，选择帧FmIR1ad中的R1ad的像素数据、帧FmIR2ad中的Gr2ad、Gb2ad的像素数据、帧FmIR3ad中的B3ad的像素数据，则能够生成帧FmIR123’ad。

使用图19说明去马赛克处理部54的去马赛克处理。图19的(a)表示帧FmIR123’ad。去马赛克处理部54使用周围的R1ad的像素数据运算不存在R的像素数据的像素位置的R的像素数据，生成R的内插像素数据R1adi。去马赛克处理部54生成图19的(b)所示的1帧的全部像素由R的像素数据构成的R帧FmIR123’adR。

去马赛克处理部54使用周围的Gr2ad、Gb2ad的像素数据运算不存在G的像素数据的像素位置的G的像素数据，生成G的内插像素数据G2adi。去马赛克处理部54进行内插而生成图19的(c)所示的1帧的全部像素由G的像素数据构成的G帧FmIR123’adG。

去马赛克处理部54生成使用周围的B3ad的像素数据计算不存在B的像素数据的像素位置的B的像素数据所得的B的内插像素数据B3adi。去马赛克处理部54生成图19的(d)所示的1帧的全部像素由B的像素数据构成的B帧FmIR123’adB。

第二中间模式和第二暗视模式的不同点在于：前者使周围像素加法部521不动作，另一方面，后者使周围像素加法部521动作。

另外，在中间模式中，根据从与受光元件的各色对应的区域得到的像素数据分别生成各色用的像素数据，但在暗视模式中，对周围像素进行相加，因此也可以说根据从比用于生成中间模式的各色用的像素数据的区域都广的区域得到的像素数据来生成各色用的像素数据。

<模式切换的例子>

使用图20说明模式切换部72的模式切换的例子。作为一个例子，图20的(a)概要地表示在从日间的时间段经过时间到夜间的时间段时，周围环境的亮度变化的情况。

如图20的(a)所示，在亮度随着从日间经过时间到晚上而降低时，在时刻t3以后成为大致全暗的状态。图20的(a)所示的亮度实质上表示可视光的量，在时刻t3以后是几乎没有可视光的状态。

控制部7能够根据从影像处理部5输入的影像信号(影像数据)的亮度水平判断周围环境的亮度。如图20的(b)所示，模式切换部72在亮度为预定的阈值Th1(第一阈值)以上时设为通常模式，在亮度不满阈值Th1并为预定的阈值Th2(第二阈值)以上时设为中间模式，在不满阈值Th2时设为暗视模式。

本实施方式的拍摄装置到亮度成为阈值Th1的时刻t1为止将模式自动切换为通常模式，从时刻t1到亮度成为阈值Th2的时刻t2为止将模式自动切换为中间模式，在时刻t2以后将模式自动切换为暗视模式。在图20的(b)中，中间模式可以是第一中间模式和第二中间模式的任意一个，暗视模式可以是第一暗视模式和第二暗视模式的任意一个。

在图20的(a)中，将几乎没有可视光的时刻t3之前的亮度设为阈值Th2，但也可以将时刻t3的亮度设为阈值Th2。

如图20的(c)所示，模式切换部72在中间模式的期间中，也可以将可视光比较多的时刻t1侧的期间设为第一中间模式，将可视光比较少的时刻t2侧的期间设为第二中间模式。在图20的(c)中，暗视模式可以是第一暗视模式和第二暗视模式的任意一个。

本实施方式的拍摄装置由投光控制部71控制红外线投光器9的通/断，由模式切换部72切换影像处理部5内的各部的动作/不动作，由此能够实现各个模式。

如图21所示，通常模式是红外线投光器9关断，周围像素加法部521、同一位置像素加法部522、合成部523都不动作，去马赛克处理部54动作的状态。

第一中间模式是红外线投光器9接通，周围像素加法部521不动作，同一位置像素加法部522、合成部523、去马赛克处理部54动作的状态。第二中间模式是红外线投光器9接通，周围像素加法部521、同一位置像素加法部522不动作，合成部523、去马赛克处理部54动作的状态。

如上述那样，通过适当地设定公式(1)～(3)的系数ka～ki的值，能够容易地切换同一位置像素加法部522的动作和不动作。

第一暗视模式是红外线投光器9接通，周围像素加法部521、同一位置像素加法部522、合成部523以及去马赛克处理部54全部都动作的状态。第二暗视模式是红外线投光器9接通，同一位置像素加法部522不动作，周围像素加法部521、合成部523、去马赛克处理部54动作的状态。

但是，周围像素加法部521如果在将周围的像素数据与关注像素的像素数据相加的计算公式中，将与周围的像素数据相乘的系数设为超过0的系数(例如1)，则能够使周围像素的加法处理成为动作的状态。

另外，周围像素加法部521如果在该计算公式中，将与周围的像素数据相乘的系数设为0，则能够使周围像素的加法处理成为不动作的状态。

也能够通过适当地设定系数的值来容易地切换周围像素加法部521的动作和不动作。

<拍摄装置的第一变形例子>

控制部7检测周围环境的亮度的方法并不限于基于影像信号的亮度水平的方法。

如图22所示，也可以通过亮度传感器11检测周围环境的亮度。在图20中，也可以根据影像信号的亮度水平和通过亮度传感器11检测出的亮度的双方，来判断周围环境的亮度。

<拍摄装置的第二变形例子>

控制部7也可以不直接检测周围环境的亮度，而根据1年中的时期(日期)和时刻(时间段)概略地设想周围环境的亮度，由模式切换部72切换为各模式。

如图23所示，在模式设定表12中，与日期和时间段的组合对应地，设定了通常模式、中间模式、暗视模式的任意一个。控制部7内的时钟73管理日期和时刻。控制部7参照时钟73所示的日期和时刻，读出由模式设定表12设定的模式。

投光控制部71和模式切换部72控制拍摄装置使得成为从模式设定表12读出的模式。

<拍摄装置的第三变形例子>

如图24所示，也可以由用户通过操作部13手动地选择模式，控制拍摄装置使得成为选择了投光控制部71和模式切换部72的模式。操作部13既可以是设置在拍摄装置的箱体的操作按键，也可以是遥控器。

<影像信号处理方法>

使用图25再次说明通过图1所示的拍摄装置执行的影像信号处理方法。

在图25中，如果拍摄装置开始动作，则控制部7在步骤S1中，判定周围环境的亮度是否是阈值Th1以上。如果是阈值Th1以上(是)，则控制部7在步骤S3中，使得执行通常模式下的处理。如果不是阈值Th1以上(否)，则控制部7在步骤S2中判定周围环境的亮度是否是阈值Th2以上。

如果是阈值Th2以上(是)，则控制部7在步骤S4中，使得执行中间模式下的处理。如果不是阈值Th2以上(否)，则控制部7在步骤S5中，使得执行暗视模式下的处理。

控制部7在步骤S3～S5之后，使处理返回到步骤S1，重复进行步骤S1以后的处理。

图26表示步骤S3的通常模式的具体处理。在图26中，控制部7(投光控制部71)在步骤S31中，将红外线投光器9关断。控制部7在步骤S32中，插入红外线截止滤光片21。控制部7(模式切换部72)在步骤S33中，将开关51、53与端子Tb连接。步骤S31～S33的顺序是任意的，也可以是同时的。

控制部7在步骤S34中，使得通过拍摄部3拍摄被摄体。控制部7在步骤S35中，控制影像处理部5使得通过去马赛克处理部54对通过拍摄部3拍摄被摄体而生成的构成影像信号的帧进行去马赛克处理。

图27表示步骤S4的中间模式的具体处理。在图27中，控制部7(投光控制部71)在步骤S41中，将红外线投光器9接通使得时间分割地从投光部91～93投射波长IR1～IR3的红外光。

控制部7在步骤S42中，插入白玻璃22。控制部7(模式切换部72)在步骤S43中，将开关51、53与端子Ta连接。步骤S41～S43的顺序是任意的，也可以是同时的。

控制部7在步骤S44中，使得通过拍摄部3拍摄被摄体。拍摄部3在分别投射与R对应的波长IR1的红外光、与G对应的波长IR2的红外光、与B对应的波长IR3的红外光的状态下拍摄被摄体。

控制部7(模式切换部72)在步骤S45中，控制预信号处理部52使得将周围像素加法部521设为不动作，使合成部523动作而生成合成影像信号。

将构成在分别投射波长IR1、IR2、IR3的红外光的状态下由拍摄部3拍摄被摄体而生成的影像信号的帧设为第一帧、第二帧、第三帧。

合成部523对基于第一帧内的R的像素数据、第二帧内的G的像素数据、第三帧内的B的像素数据的三原色的像素数据进行排列，使其成为与彩色滤光片32的滤光片元件的排列相同的排列。合成部523生成这样将第一～第三帧合成为一个帧所得的合成影像信号。

控制部7在步骤S46中，控制影像处理部使得通过去马赛克处理部54对合成影像信号的帧进行去马赛克处理。

去马赛克处理部54根据合成影像信号的帧，实施生成R的帧、G的帧、B的帧的去马赛克处理，顺序地生成去马赛克处理后的三原色的帧。

去马赛克处理部54在不存在R的像素数据的像素位置内插R的像素数据，由此能够生成R的帧。去马赛克处理部54在不存在G的像素数据的像素位置内插G的像素数据，由此能够生成G的帧。去马赛克处理部54在不存在B的像素数据的像素位置内插B的像素数据，由此能够生成B的帧。

在为第一中间模式的情况下，在步骤S45中，使同一位置像素加法部522动作，在为第二中间模式的情况下，在步骤S45中，使同一位置像素加法部522不动作即可。

图28表示步骤S5的暗视模式的具体处理。在图28中，控制部7(投光控制部71)在步骤S51中，将红外线投光器9设为接通，使得时间分割地从投光部91～93投射波长IR1～IR3的红外光。

控制部7在步骤S52中，插入白玻璃22。控制部7(模式切换部72)在步骤S53中，将开关51、53与端子Ta连接。步骤S51～S53的顺序是任意的，也可以是同时的。

控制部7在步骤S54中，使得通过拍摄部3拍摄被摄体。控制部7(模式切换部72)在步骤S55中，控制预信号处理部52使得周围像素加法部521和合成部523动作而生成合成影像信号。

控制部7在步骤S56中，控制影像处理部5使得通过去马赛克处理部54对合成影像信号的帧进行去马赛克处理。

在为第一暗视模式的情况下，在步骤S55中使同一位置像素加法部522动作，在为第二暗视模式的情况下，在步骤S55中使同一位置像素加法部522不动作即可。

<影像信号处理程序>

在图1中，由计算机(微型计算机)构成影像处理部5和控制部7的一体化部分，使得通过计算机执行影像信号处理程序(计算机程序)，由此也能够实现与上述本实施方式的拍摄装置同样的动作。也可以还包含影像输出部6地由计算机构成。

使用图29说明作为图23的步骤S4的在由影像信号处理程序构成中间模式下的控制的情况下使计算机执行的步骤的例子。图29表示使计算机执行影像信号处理程序的处理。

在图29中，影像信号处理程序在步骤S401中，使计算机执行控制红外线投光器9使得分别投射与R、G、B对应的波长IR1、IR2、IR3的红外光的步骤。

也可以在影像信号处理程序的外部执行步骤S401所示的步骤。在图29中，省略了插入白玻璃22的步骤。也可以在影像信号处理程序的外部执行插入白玻璃22的步骤。

影像信号处理程序在步骤S402中，使计算机执行以下步骤：取得构成在投射波长IR1的红外光的状态下，通过拍摄部3拍摄被摄体而生成的影像信号的第一帧的像素数据。

影像信号处理程序在步骤S403中，使计算机执行以下步骤：取得构成在投射波长IR2的红外光的状态下，通过拍摄部3拍摄被摄体而生成的影像信号的第二帧的像素数据。

影像信号处理程序在步骤S404中，使计算机执行以下步骤：取得构成在投射波长IR3的红外光的状态下，通过拍摄部3拍摄被摄体而生成的影像信号的第三帧的像素数据。步骤S402～S404的顺序是任意的。

影像信号处理程序在步骤S405中，使计算机执行以下步骤：排列R、G、B的像素数据，使其成为与彩色滤光片32的滤光片元件的排列相同的排列，生成合成为1帧的合成影像信号。

在中间模式下，影像信号处理程序在步骤S405中，不使计算机执行周围像素的加法处理的步骤。

影像信号处理程序在步骤S406中，使计算机执行以下步骤：对合成影像信号的帧实施去马赛克处理，生成R、G、B的帧。

虽然省略图示，但在作为图25的步骤S5的由影像信号处理程序构成的暗视模式下的控制的情况下，在图29的步骤S405中，使计算机执行周围像素的加法处理的步骤即可。

影像信号处理程序也可以是记录在计算机可读取的记录介质中的计算机程序。影像信号处理程序既可以以在记录在记录介质中的状态下来提供，也可以经由因特网等网络提供而将影像信号处理程序下载到计算机中。计算机可读取的记录介质可以是CD-ROM、DVD-ROM等非暂时的任意的记录介质。

在图1那样构成的本实施方式的拍摄装置中，例如可以根据需要设置多个各部，或同时执行中间模式和暗视模式。在该情况下，影像输出部6也可以输出通过中间模式生成的影像信号、通过暗视模式生成的影像信号的双方。

另外，模式切换部72也可以切换影像输出部6输出通过中间模式生成的影像信号的状态、影像输出部6输出通过暗视模式生成的影像信号的状态。这时，如上述那样，可以与周围环境的亮度、时刻等对应地进行切换。另外，也可以使影像处理部5(影像处理装置)与其他各部分体。

进而，也可以不使用中间模式，而从通常模式切换到暗视模式，或从暗视模式切换到通常模式。

在不使用中间模式的情况下，在应用了上述中间模式的使用的环境下，选择使用通常模式和暗视模式的任意一个即可。在该情况下，虽然不是比使用中间模式的情况更好的彩色影像信号，但能够进行拍摄。

但是，起到以下这样的效果，即，即使是只配备了通常模式和暗视模式的拍摄装置，在例如通过监控摄像机终日拍摄被摄体的情况那样的周围的亮度变化的状况下，也能够通过一个拍摄装置拍摄被摄体。

进而，有时也可以不使用暗视模式，而从通常模式切换到中间模式，从中间模式切换到通常模式。在始终不使用暗视模式的情况下，也可以不配备暗视模式。

在有照明装置的地方等，有时也可以不使用暗视模式。只配备了通常模式和中间模式的拍摄装置能够用于可以不使用暗视模式的情况。

在不使用暗视模式的情况下，在应用了上述暗视模式的使用的环境下，使用中间模式即可。在该情况下，虽然不是比使用暗视模式的情况更好的彩色影像信号，但能够进行拍摄。

起到以下的效果，即，即使是只配备了通常模式和中间模式的拍摄装置，在周围的亮度变化的状况下，也同样能够通过一个拍摄装置摄影被摄体。

接着，说明不产生影像的紊乱地对各模式的影像切换通常模式和红外光投射模式的的具体模式切换方法。

<模式切换方法的第一例子>

图30A和图30B表示模式切换方法的第一例子。图30A和图30B表示出影像输出部6通过NTSC编码器61输出隔行扫描方式的影像信号的情况下的拍摄装置的各部的动作。

另外，图30A和图30B表示出控制部7在时刻t1将拍摄装置从红外光投射模式切换到通常模式，在时刻t2从通常模式切换到红外光投射模式的情况的时序。红外光投射模式可以是中间模式和暗视模式的任意一个。

图30A和图30B将时序分断为2个地进行表示。此外，图30A和图30B的一部分重复。

在图30A和图30B中，(a)表示出红外光投光器9进行红外光的投射的状态，(b)表示拍摄部3的曝光。图30A和图30B的(b)所示的拍摄部3的曝光表示出在图6的(a)中说明的最大曝光时间eExmax，实际的曝光时间根据快门速度而不同。但是，在红外光投射模式下，最大曝光时间tExmax成为实际的曝光时间的可能性高。

在图30A和图30B中，(c)表示基于(b)的各个曝光根据从拍摄部3读出的拍摄信号生成的帧。如图30A所示，基于曝光Ex1R、Ex1G、Ex1B，得到与曝光Ex1R对应的帧F1R、与曝光Ex1G对应的帧F1G、与曝光Ex1B对应的帧F1B。帧F1R、F1G、F1B相当于图9的(c)的帧F1IR1、F1IR2、F1IR3。

另外，基于曝光Ex2R、Ex2G、Ex2B，得到与曝光Ex2R对应的帧F2R、与曝光Ex2G对应的帧F2G、与曝光Ex2B对应的帧F2B。帧F2R、F2G、F2B相当于图9(c)的帧F2IR1、F2IR2、F2IR3。曝光Ex1R～Ex2B的最大曝光时间tExmax是1/90秒。

在时刻t1以前的红外光投射模式的期间中，从拍摄部3输出的拍摄信号是90帧/秒的逐行扫描方式。将90帧/秒的逐行扫描方式称为90P。拍摄装置如后述那样，根据90P的拍摄信号，生成60场/秒的隔行扫描方式的影像信号。将60场/秒的隔行扫描方式称为60i。

投光控制部71在时刻t1将红外光投射灯9进行红外光的投射关断。控制部7在时刻t1以后，使拍摄装置在通常模式下动作。

如果在通常模式的期间中成为30帧/秒，则在隔行扫描方式下是60场/秒。因此，在通常模式下，影像输出部6最终生成并输出60i的影像信号，控制部7控制拍摄部3使得拍摄部3输出60P的拍摄信号。

具体地说，拍摄部3将最大曝光时间tExmax设为1/60秒，交替重复进行奇数场用的曝光、偶数场用的曝光。在图30A和图30B的(b)中，下标o表示奇数场用的曝光，下标e表示偶数场用的曝光。

在时刻t1以后的最初的曝光的定时，如图30A的(c)所示，生成最大曝光时间tExmax是1/90秒的帧F2B。因此，在时刻t1以后的最初的曝光中，不将最大曝光时间tExmax设为1/60秒，而将最大曝光时间tExmax设为1/90秒，而成为奇数场用的曝光Ex3o。

如图30A所示，在第一例子中，拍摄部3进行动作使得输出90P的拍摄信号直到曝光Ex3o结束的时刻t11为止，。拍摄部3在时刻t11以后进行动作使得输出60P的拍摄信号。

时刻t11以后的最初的曝光即偶数场用的曝光Ex3e是与奇数场用的曝光Ex3o成对的曝光，因此，不将最大曝光时间tExmax设为1/60秒，而设为与曝光Ex3o的最大曝光时间tExmax相同的1/90秒即可。

因此，控制部7控制拍摄部3，使得只在从1/60秒的最大曝光时间tExmax的开头开始1/180秒的期间中，排出如图6所说明的那样通过取样脉冲Ps1积蓄的电荷。由此，在曝光Ex3o和曝光Ex3e的期间，形成1/180秒的时间间隙，曝光Ex3e的实质的最大曝光时间为1/90秒。

通过在1/60秒的期间中读出通过最大曝光时间为1/90秒的曝光Ex3o、Ex3e积蓄的电荷，得到与曝光Ex3o对应的帧F3o、与曝光Ex3e对应的帧F3e。

在曝光Ex3e以后，通过在1/60秒的期间中读出通过最大曝光时间tExmax为1/60秒的曝光Ex4o、Ex4e、Ex5o、Ex5e积蓄的电荷，得到帧F4o、F4e、F5o、F5e。

如图30B所示，投光控制部71在时刻t2将红外光投光器9的红外光的投射再次设为接通。控制部7在时刻t2以后，使拍摄装置在红外光投射模式下动作。

在跨过时刻t2的1/60秒的期间中产生基于曝光Ex5e的帧F5e。在时刻t2以后的红外光投射模式下，必须将最大曝光时间tExmax设为1/90秒。因此，控制部7在接着曝光Ex5e后面的曝光Ex6R中，控制拍摄部3使得只在从1/60秒的最大曝光时间tExmax的开头开始1/180秒的期间中，排出通过取样脉冲Ps1积蓄的电荷。

由此，在曝光Ex5e和曝光Ex6R的期间中，形成1/180秒的时间间隙，将曝光Ex6R的实质最大曝光时间设为1/90秒。

基于曝光Ex6R、Ex6G、Ex6B，得到与曝光Ex6R对应的帧F6R、与曝光Ex6G对应的帧F6G、与曝光Ex6B对应的帧F6B。通过帧F6R、F6G、F6B形成1帧，因此，曝光Ex6R、Ex6G、Ex6B的曝光时间必须相同。通过将曝光Ex6R的最大曝光时间设为1/90秒，能够将曝光Ex6R、Ex6G、Ex6B的曝光时间设为相同。

基于曝光Ex7R、Ex7G、Ex7B，得到与曝光Ex7R对应的帧F7R、与曝光Ex7G对应的帧F7G、与曝光Ex7B对应的帧F7B。曝光Ex8R以后也同样。

如图30B所示，在第一例子中，拍摄部3进行动作使得输出60P的拍摄信号到曝光Ex6R结束的时刻t21为止。在时刻t21以后，进行动作使得输出90O的拍摄信号。

如以上那样，在图30A和图30B所示的第一例子中，在从红外光投射模式切换到通常模式的时刻t1以后的最初的曝光中，不将最大曝光时间tExmax设为1/60秒，而设为1/90秒的曝光Ex3o。

另外，排出从跨过从通常模式切换为红外光投射模式的时刻t2的1/60秒的最大曝光时间tExmax的开头开始1/180秒的期间的电荷，将时刻t2以后的最初的曝光的最大曝光时间tExmax设为1/90秒。

由此，如图30A和图30B的(c)所示，在从红外光投射模式切换到通常模式时、从通常模式切换到红外光投射模式时的双方，根据从拍摄部3读出的拍摄信号生成的拍摄信号的帧是连续的。

在图30A和图30B中，(d)表示从A/D变换器4输出的影像数据的帧向帧缓存器50的写入，(e)表示帧从帧缓存器50的读出。在图30A和图30B的(d)、(e)各自的分隔内记载了写入或读出的存储器50a～50f的符号。

将从A/D变换器4输出的影像数据的帧也称为图30A和图30B的(c)所示的拍摄信号的帧F1R、F1G、F1B、……。将帧F1R、F1G、F1B分别写入到存储器50a、50b、50c中。

如果帧F1B向存储器50c的写入完成，则同时地在1/60秒的期间中从存储器50a～50c读出帧F1R、F1G、F1B。在接着的1/60秒的期间中，也同时地从存储器50a～50c读出帧F1R、F1G、F1B。即，在2个1/60秒的期间中连续地读出帧F1R、F1G、F1B。

与读出帧F1R、F1G、F1B的期间对应地，分别将帧F2R、F2G、F2B写入到存储器50d、50e、50f。如果帧F2B向存储器50f的写入完成，则在2个1/60秒的期间中也连续地读出帧F2R、F2G、F2B。

在红外光投光模式下2次读出1组帧是为了根据读出的一方的1组帧生成奇数半场，根据另一方的1组帧生成偶数半场。

将帧F3o、F3e写入到存储器50a、50b。如果帧F3e向存储器50b的写入完成，则从存储器50a、50b读出帧F3o、F3e。将帧F4o、F4e写入到存储器50d、50e。如果帧F4e向存储器50e的写入完成，则从存储器50d、50e读出帧F4o、F4e。

将帧F5o、F5e写入到存储器50a、50b。如果帧F5e向存储器50b的写入完成，则从存储器50a、50b读出帧F5o、F5e。

将帧F6R、F6G、F6B分别写入到存储器50d、50e、50f。如果帧F6B向存储器50f的写入完成，则在2个1/60秒的期间中连续读出帧F6R、F6G、F6B。

将帧F7R、F7G、F7B分别写入到存储器50a、50b、50c。在图30中没有图示，但如果帧F7B向存储器50f的写入完成，则在2个1/60秒的期间中连续读出帧F7R、F7G、F7B。

在图30A和图30B中，(f)表示上述预信号处理部52的预信号处理。将预信号处理表示为P52。将从存储器50a～50c读出的帧F1R、F1G、F1B的全体表示为F1RGB。例如，P52(F1RGB)表示对帧F1RGB实施上述预信号处理P52。

如图30A和图30B的(f)所示，分别在2个1/60的期间连续地对帧F0RGB、F1RGB、F2RGB、F6RGB……实施预信号处理P52。

在图30A和图30B中，(g)表示上述去马赛克处理部54的预信号处理。将去马赛克处理表示为P54。例如，P54(F1RGB)表示对帧F1RGB实施上述去马赛克处理P54。

如图30A和图30B的(g)所示，对实施了预信号处理P52后的帧F0RGB、F1RGB、F2RGB、F6RGB……实施去马赛克处理P54。对没有实施预信号处理P52的帧F3o、F3e、F4o、F4e、F5o、F5e实施去马赛克处理P54。

在图30A和图30B中，(h)表示通过NTSC编码器61对(g)所示的各帧进行了逐行-隔行变换(PI变换)后的隔行扫描方式的影像信号。在图30A和图30B的(h)中，下标o表示是奇数场的影像信号，下标e表示是偶数场的影像信号。

如图30A的(h)所示，在红外光投射模式下，根据实施了去马赛克处理P54后的F0RGB、F1RGB、F2RGB各自的影像数据，顺序地生成并输出隔行扫描方式的影像信号F0io、F0ie、F1io、F1ie、F2io、F2ie。下标i表示通过PI变换而间隔剔除水平线成为隔行扫描方式的影像信号。

如图30A和图30B的(h)所示，如果切换为通常模式，则根据实施了去马赛克处理P54后的帧F3o、F3e、F4o、F4e、F5o、F5e各自的影像数据，顺序地生成并输出隔行扫描方式的影像信号F3io、F3ie、F4io、F4ie、F5io、F5ie。

如图30B的(h)所示，如果切换到红外光投射模式，则根据实施了去马赛克处理P54后的帧F6RGB各影像数据，顺序地生成并输出隔行扫描方式的影像信号F6io、F6ie……。

如图30A和图30B的(h)所示，根据第一例子，将60i的影像信号无论从红外光投射模式切换到通常模式、还是从通常模式切换到红外光投射模式，都连续地输出各帧(各场)。

由此，根据第一例子，能够不产生影像的紊乱地切换各模式的影像。

在图30A和图30B所示的第一例子中，在通常模式的期间中，(b)所示的通过拍摄部3的曝光生成的帧的边界和(g)所示的输出影像信号的帧(场)的边界一致。即，通过拍摄部3的曝光生成的帧和输出影像信号的帧同步。由此，输出影像信号难以产生噪声。

<模式切换方法的第二例子>

图31A和图31B表示模式切换方法的第二例子。图31A和图31B都表示出影像输出部6通过NTSC编码器61输出隔行扫描方式的影像信号的情况下的拍摄装置的各部的动作。

在图31A和图31B所示的第二例子中，以与图30A和图30B所示的第一例子不同的部分为中心进行说明。图31A和图31B都将时序分断为2个来表示，图31A和图31B的一部分重复。

如图31A和图31B的(b)所示，在第二例子中，在时刻t1～t2的通常模式期间中，拍摄部3将最大曝光时间eExmax全部设为1/60秒而进行曝光。如图31A和图31B(c)所示，控制部7根据通常模式的期间的曝光Ex3o、Ex3e、Ex4o、Ex4e、Ex5o、Ex5e，进行控制使得从拍摄部3在1/90秒中读出拍摄信号，生成帧F3o、F3e、F4o、F4e、F5o、F5e。

与曝光Ex3o对应的帧F3o的读出是从曝光Ex3o结束的时刻开始，因此帧F3o是从帧F2B结束的时刻起经过1/180秒后的时刻开始。由此，在帧F2B和帧F3o之间，形成1/180秒的时间间隙。以后同样地，在帧F3o、F3e、F4o、F4e、F5o、F5e的相邻的帧之间，形成1/180秒的时间间隙。

图31A和图31B的(d)～(h)与图30A和图30B的(d)～(h)同样。但是，在图31A和图31B的(d)、(e)中，分别在1/60秒的期间中读出在1/90秒的期间中写入到帧缓存器50中的帧F3o～F5e。

如图31A和图31B的(h)所示，根据第二例子，无论将60i的影像信号从红外光投射模式切换到通常模式、还是从通常模式切换到红外光投射模式，都连续地输出各帧(各场)。

由此，根据第二例子，能够不产生影像的紊乱地切换各模式的影像。

在图31A和图31B所示的第二例子中，在通常模式的期间中，(b)所示的通过拍摄部3的曝光生成的帧和(g)所示的输出影像信号的帧不同步。但是，在图31A和图31B所示的第二例子中，在通常模式的期间中，拍摄部3的曝光的奇数场用的帧和偶数场用的帧的一对的期间全部被统一为1/30秒。

<模式切换方法的第三例子>

图32A和图32B表示模式切换方法的第三例子。图32A和图32B都表示影像输出部6通过NTSC编码器61输出隔行扫描方式的影像信号的情况下的拍摄装置的各部的动作。

在图32A和图32B所示的第三例子中，以与图30A和图30B所示的第一例子不同的部分为中心进行说明。图32A和图32B都将时序分断为2个来表示，图32A和图32B的一部分重复。

为了实现第三例子，如图1所示，构成为帧缓存器50具备合计9帧量的容量的存储器50a～50i。此外，为了实现第三例子，构成为至少具备7帧量的容量的存储器即可，但为了容易地控制存储器的写入、读出，在图1中构成为具备9帧量的容量的存储器50a～50i。

如图32A和图32B的(b)所示，在第三例子中，在时刻t1～t2的通常模式的期间中，拍摄部3将最大曝光时间eExmax全部设为1/60秒地进行曝光。

如图32A和图32B的(c)所示，控制部7根据通常模式的期间的曝光Ex3o、Ex3e、Ex4o、Ex4e、Ex5o，进行控制使得在1/60秒中从拍摄部3读出积蓄的电荷，生成帧F3o、F3e、F4o、F4e、F5o。

如图32A的(c)所示，控制部7只在红外光投射模式中的最后的曝光Ex2B中，进行控制使得在1/60秒中从拍摄部3读出积蓄的电荷，生成帧F2B。

如图32B的(c)所示，控制部7只在通常模式的期间的最后的曝光Ex5e中，进行控制使得在1/90秒中从拍摄部3读出积蓄的电荷，生成帧F5e。由此，时刻t2以后的最初的曝光Ex6R的最大曝光时间和帧F5e的期间相同。

如图32A的(d)所示，将F1R、F1G、F1B分别写入到存储器50a、50b、50c。如图32A的(e)所示，如果帧F1B向存储器50c的写入完成，则在2个1/60秒的期间中从存储器50a～50c连续读出帧F1R、F1G、F1B。

将F2R、F2G、F2B分别写入到存储器50d、50e、50f。如果帧F2B向存储器50f的写入完成，则在2个1/60秒的期间中还连续读出帧F2R、F2G、F2B。

如比较图32A的(d)、(e)则可知在第三例子中，例如将F2R、F2G、F2B写入到存储器50d～50f的定时和从存储器50a～50c读出帧F1R、F1G、F1B的定时不一致。这是因为在1/60秒的期间中生成了帧F2B。

因此，在图1所示的具有合计6帧量的容量的存储器50a～50f的结构的帧缓存器50中，无法实现第三例子。因此，为了实现第三例子，设为图1所示的具备合计9帧量的容量的存储器50a～50i的结构的帧缓存器50。

如图32A和图32B的(d)、(e)所示，将帧F3o、F3e写入到存储器50g、50h。如果帧F3e向存储器50h的写入完成，则从存储器50g、50h读出帧F3o、F3e。将帧F4o、F4e写入到存储器50a、50b。如果帧F4e向存储器50b的写入完成，则从存储器50a、50b读出帧F4o、F4e。

将帧F5o、F5e写入到存储器50d、50e。如果帧F5e向存储器50e的写入完成，则从存储器50d、50e读出帧F5o、F5e。

将帧F6R、F6G、F6B分别写入到存储器50g、50h、50i。如果帧F6B向存储器50i的写入完成，则在2个1/60秒的期间中连续地读出帧F6R、F6G、F6B。

将帧F7R、F7G、F7B分别写入到存储器50a、50b、50c。在图32B中没有图示，但如果帧F7B向存储器50c的写入完成，则在2个1/60秒的期间中连续地读出帧F7R、F7G、F7B。以后，重复进行同样的动作。

图32A和图32B的(f)～(h)与图30A和图30B的(f)～(h)相同。

如图32A和图32B的(h)所示，根据第三例子，无论将60i的影像信号从红外光投射模式切换到通常模式、还是从通常模式切换到红外光投射模式，都连续地输出各帧(各场)。

由此，根据第三例子，能够不产生影像的紊乱地切换各模式的影像。

在图32A和图32B所示的第三例子中，在通常模式的期间中，(b)所示的拍摄部3的曝光的同步和(g)所示的输出影像信号的同步不一致。如果拍摄部3的曝光的同步和输出影像信号的同步一致，则输出影像信号难以产生噪声。

如上述那样，为了实现第三例子，帧缓存器50的存储器容量必须比实现第一例子的情况多。在帧缓存器50的存储器容量更少这一点上第一例子好。

但是，如果致力于存储器的写入和读出的控制，则能够通过具有7帧的容量的存储器的结构的帧缓存器50实现第三例子。由此，在第三例子中，帧缓存器50的存储器容量也不再成为问题。

<拍摄装置的模式切换方法的总结>

如果总结以上说明的模式切换方法的第一～第三例子，则本实施方式的拍摄装置如下这样动作。

拍摄部3拍摄被摄体。影像输出部5根据从拍摄部3输出的拍摄信号生成第一影像信号。第一影像信号是指对从A/D变换器4输出的影像数据实施预信号处理P52和去马赛克处理P54的双方、或只实施去马赛克处理P54所得的影像信号。

影像输出部6(NTSC编码器61)根据第一影像信号生成预定的信号方式的第二影像信号并输出。预定的信号方式例如是隔行扫描方式，也可以是逐行扫描方式。第二影像信号是根据第一影像信号变换为最终的信号方式所得的影像信号。

在此，将通常模式称为第一模式，将红外光投射模式称为第二模式。拍摄部3在第一模式下，与第二影像信号的各个1帧期间对应地进行曝光而拍摄被摄体。拍摄部3在第二模式下，在将第二影像信号的各个的1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光而拍摄被摄体。

影像处理部5在第一模式下，基于根据与1帧期间对应的曝光而读出的拍摄信号，生成第一影像信号的各个帧，在第二模式下，根据与各区间的曝光对应地读出的拍摄信号，生成第一影像信号的各个帧。

影像输出部6在第一模式和第二模式下将第二影像信号设为公用的信号方式(例如60i)，连续地输出第二影像信号的帧。由此，能够不产生影像的紊乱地相互切换第一模式和第二模式的影像。更优选的是在第一模式和第二模式下将第二影像信号设为相同的水平和垂直频率。

在可视光少的环境下，在一边投射红外光一边拍摄被摄体的第二模式下，拍摄部3如下这样拍摄被摄体。

拍摄部3将第二影像信号的各个1帧期间分割为3个区间地拍摄被摄体。拍摄部3设为相互不同的拍摄条件地，在3个区间的各区间中，在投射了第一红外光的状态、投射了第二红外光的状态、投射了第三红外光的状态下分别拍摄被摄体。第一红外光具备与红色对应的第一波长。第二红外光具备与绿色对应的第二波长。第三红外光具备与青色对应的第三波长。

在影像输出部6输出隔行扫描方式的影像信号来作为第二影像信号的情况下，拍摄部3、影像处理部5、影像输出部6如下这样动作即可。

拍摄部3在第一模式下，将第二影像信号的各个1帧期间分为奇数场期间和偶数场期间的2个场期间地拍摄被摄体。控制部7将2个场期间的最大曝光时间设定为相互相同的时间。影像处理部5生成奇数场期间的影像信号和偶数场期间的影像信号来作为第一影像信号。

影像输出部6在第一模式下，根据通过影像处理部5生成的奇数场期间的影像信号生成奇数场的影像信号，根据偶数场期间的影像信号生成偶数场的影像信号。影像输出部6在第二模式下，根据通过影像处理部5生成的第一影像信号的各个帧，生成奇数场的影像信号和偶数场的影像信号。

为了由影像输出部6连续地输出第二影像信号的帧而不产生影像的紊乱，拍摄部3具体地如下这样动作。

图30A、30B所说明的第一例子中为如下述。拍摄部3在从第一模式切换到第二模式的最初的区间的曝光中，从第一模式下的半期间的最大曝光时间的开头开始排出电荷，将最大曝光时间设为与第二模式下的1个区间的最大曝光时间相同的时间。

拍摄部3在从第二模式切换到第一模式的最初的场期间的曝光中，将最大曝光时间设为与第二模式下的1个区间的最大曝光时间相同的时间。拍摄部3在第一模式下，在第一场期间中读出通过各个场期间的曝光而积蓄的电荷作为拍摄信号。

图31A和图31B中说明的第二例子如下述。拍摄部3在第一模式下，将1个场期间设为最大曝光时间，如果结束了最大曝光时间的曝光，则在与第二模式下的1个区间的最大曝光时间相同的时间内读出通过曝光而积蓄的电荷作为拍摄信号。

拍摄部3在读出拍摄信号之前，设置相当于1个场期间和第二模式下的1个区间的最大曝光时间之间的差的时间间隙。

图32A、图32B中说明的第三例子如下述。拍摄部3在第一模式下将1个场期间设为最大曝光时间而进行曝光。

拍摄部3在1个场期间中读出通过第二模式下的最后的1个区间的曝光而积蓄的电荷。

拍摄部3在与1个区间的最大曝光时间相同的时间内读出通过第一模式下的最后的场期间的曝光而积蓄的电荷作为拍摄信号。

<拍摄装置的控制方法>

控制部7如下这样控制拍摄装置。

控制部7使通过拍摄部3拍摄被摄体。控制部7使得通过影像处理部5根据拍摄部3拍摄被摄体所得的拍摄信号，生成第一影像信号。控制部7使得通过影像输出部6，根据第一影像信号生成预定的信号方式的第二影像信号。

控制部7在将拍摄装置设定为第一模式时，如下这样控制拍摄装置。控制部7使得通过拍摄部3与第二影像信号的各个1帧期间对应地进行曝光而拍摄被摄体。控制部7使得通过影像处理部5，基于根据与1帧期间对应的曝光而读出的拍摄信号，生成第一影像信号的各个帧。

控制部7在将拍摄装置设定为第二模式时，如下这样控制拍摄装置。控制部7使得通过拍摄部3在将第二影像信号的各个1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光而拍摄被摄体。控制部7使得通过影像处理部5，根据与各区间的曝光对应地读出的拍摄信号，生成第一影像信号的各个帧。

控制部7使得通过影像输出部6，在第一模式和第二模式下将第二影像信号设为公用的信号方式，连续地输出第二影像信号的帧。更优选的是在第一模式和第二模式下将第二影像信号设为相同的水平和垂直频率。

<拍摄装置的控制程序>

在通过计算机程序的控制实现上述模式切换方法的情况下，使装载在拍摄装置中的计算机执行具有以下的各步骤的控制程序。

首先，使计算机执行通过拍摄部3拍摄被摄体的第一步骤。接着，使计算机执行根据拍摄部3拍摄被摄体所得的拍摄信号来生成第一影像信号的第二步骤。最后，使计算机执行根据第一影像信号生成预定的信号方式的第二影像信号的第三步骤。

在计算机使拍摄装置设定为第一模式时，第一步骤和第二步骤如下。第一步骤是通过拍摄部3与第二影像信号的各个1帧期间对应地进行曝光而拍摄被摄体的步骤。第二步骤是基于根据与1帧期间对应的曝光而读出的拍摄信号来生成第一影像信号的各个帧的步骤。

在计算机使拍摄装置设定为第二模式时，第一步骤和第二步骤如下。第一步骤是通过拍摄部3在将第二影像信号的各个1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光而拍摄被摄体的步骤。第二步骤是根据与各区间的曝光对应地读出的拍摄信号生成上述第一影像信号的各个帧的步骤。

在计算机使拍摄装置从第一模式转移到第二模式时、以及从第二模式转移到第一模式时，第三步骤是在第一模式和第二模式下将第二影像信号设为公用的信号方式而连续地输出第二影像信号的帧的步骤。在该步骤中，更优选的是在第一模式和第二模式下将第二影像信号设为相同的水平和垂直频率。

拍摄装置的控制程序可以是记录在计算机可读取的记录介质中的计算机程序。控制程序既可以在记录在记录介质中的状态下提供，也可以经由因特网等网络提供而将控制程序下载到计算机中。计算机可读取的记录介质可以是CD-ROM、DVD-ROM等非暂时的任意的记录介质。

<应用例子>

但是，以上说明的本实施方式的拍摄装置的动作不只能够应用于一边投射红外光一边拍摄被摄体的红外光投射模式，还能够应用于以下这样的情况。

能够应用于进行以下的所谓多重曝光的情况，即，即使在存在可视光的环境下而不投射红外光的状态下，也将第二影像信号的各个1帧期间分割为多个区间，在各区间中在相互不同的拍摄条件(不同的快门速度)下进行曝光。

即，第二模式并不限于红外光投射模式，还能够应用于以下的情况，即为了多重曝光而将第二影像信号的各个1帧期间分割为例如3个区间进行曝光，对3个区间的拍摄信号进行合成而生成1个影像信号。

本发明并不限于以上说明的本实施方式，在不脱离本发明的主要内容的范围内能够进行各种变更。在上述发明要解决的问题、目的、以及效果的记载中，为了容易理解本发明，记载了通常模式和红外光投射模式的切换。

但是，如上述那样，本实施方式的拍摄装置的动作也能够应用于多重曝光。并不是要限定地解释为以发明要解决的问题、目的、效果的记载为根据而将本发明只应用于通常模式和红外光投射模式的切换。

工业上的可利用性

例如能够在可视光的量变化的环境下监视被摄体的监控摄像机中利用本发明的拍摄装置、拍摄装置的控制方法以及控制程序。

Claims (7)

1.一种拍摄装置，其特征在于，具备：

拍摄部，其拍摄被摄体；

影像处理部，其根据从上述拍摄部输出的拍摄信号，生成第一影像信号；以及

影像输出部，其根据上述第一影像信号，生成并输出预定的信号方式的第二影像信号，其中，

上述拍摄部在第一模式下，与上述第二影像信号的各个1帧期间对应地进行曝光而拍摄被摄体，在第二模式下，在将上述第二影像信号的各个1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光而拍摄被摄体，

上述影像处理部在上述第一模式下，基于根据与1帧期间对应的曝光而读出的拍摄信号，生成上述第一影像信号的各个帧，在上述第二模式下，根据与上述各区间的曝光对应地读出的拍摄信号，生成上述第一影像信号的各个帧，

上述影像输出部在上述第一模式和上述第二模式下将上述第二影像信号设为公用的信号方式，连续地输出上述第二影像信号的帧，

上述拍摄部在上述第二模式下，将上述第二影像信号的各个1帧期间分割为3个区间，设为上述相互不同的拍摄条件，在上述3个区间的各区间，在投射具有与红色对应的第一波长的第一红外光的状态、投射具有与绿色对应的第二波长的第二红外光的状态、投射具有与青色对应的第三波长的第三红外光的状态下，分别拍摄被摄体。

2.根据权利要求1所述的拍摄装置，其特征在于，

上述拍摄部在上述第一模式下，将上述第二影像信号的各个1帧期间分为奇数场期间和偶数场期间的2个场期间地拍摄被摄体，将上述2个场期间的最大曝光时间设定为相互相同的时间，

上述影像处理部生成奇数场期间的影像信号和偶数场期间的影像信号。

3.根据权利要求2所述的拍摄装置，其特征在于，

上述影像输出部进行如下处理：

将上述信号方式设为隔行扫描方式，

在上述第一模式下，根据通过上述影像处理部生成的奇数场期间的影像信号，生成奇数场的影像信号，根据偶数场期间的影像信号，生成偶数场的影像信号，

在上述第二模式下，根据通过上述影像处理部生成的上述第一影像信号的各个帧，生成奇数场的影像信号、偶数场的影像信号。

4.根据权利要求2或3所述的拍摄装置，其特征在于，

上述拍摄部进行如下处理：

在从上述第一模式切换到上述第二模式的最初的区间的曝光中，使得从上述第一模式下的场期间的最大曝光时间的开头开始排出电荷，将最大曝光时间设为与上述第二模式下的1个区间的最大曝光时间相同的时间，

在从上述第二模式切换到上述第一模式的最初的场期间的曝光中，将最大曝光时间设为与上述第二模式下的1个区间的最大曝光时间相同的时间，

在上述第一模式下，在1个场期间中读出通过各个场期间的曝光积蓄的电荷作为拍摄信号。

5.根据权利要求2或3所述的拍摄装置，其特征在于，

上述拍摄部在上述第一模式下，

将1个场期间设为最大曝光时间，如果最大曝光时间的曝光结束，则在与上述第二模式下的1个区间的最大曝光时间相同的时间内，读出通过曝光积蓄的电荷作为拍摄信号，

在读出拍摄信号之前，设置相当于1个场期间和上述第二模式下的1个区间的最大曝光时间之间的差的时间间隙。

6.根据权利要求2或3所述的拍摄装置，其特征在于，

上述拍摄部进行如下处理：

在上述第一模式下，将1个场期间设为最大曝光时间而进行曝光，

在1个场期间中读出通过上述第二模式下的最后的1个区间的曝光而积蓄的电荷作为拍摄信号，

在与上述1个区间的最大曝光时间相同的时间内，读出通过上述第一模式下的最后的场期间的曝光而积蓄的电荷作为拍摄信号。

7.一种拍摄装置的控制方法，其特征在于：

通过拍摄装置的拍摄部拍摄被摄体，

根据上述拍摄部拍摄被摄体所得的拍摄信号，生成第一影像信号，

根据上述第一影像信号生成预定的信号方式的第二影像信号，

在将上述拍摄装置设定为第一模式时，

通过上述拍摄部，与上述第二影像信号的各个1帧期间对应地进行曝光而拍摄被摄体，

基于根据与1帧期间对应的曝光而读出的拍摄信号，生成上述第一影像信号的各个帧，

在将上述拍摄装置设定为第二模式时，

通过上述拍摄部，在将上述第二影像信号的各个1帧期间分割为多个区间所得的各区间中在相互不同的拍摄条件下进行曝光而拍摄被摄体，

根据与上述各区间的曝光对应地读出的拍摄信号，生成上述第一影像信号的各个帧，

在上述第一模式和上述第二模式下将上述第二影像信号设为公用的信号方式并且相同的水平和垂直频率，连续地输出上述第二影像信号的帧，

在上述第二模式下，通过上述拍摄部，将上述第二影像信号的各个1帧期间分割为3个区间，设为上述相互不同的拍摄条件，在上述3个区间的各区间，在投射具有与红色对应的第一波长的第一红外光的状态、投射具有与绿色对应的第二波长的第二红外光的状态、投射具有与青色对应的第三波长的第三红外光的状态下，分别拍摄被摄体。