CN101422034B

CN101422034B - 摄像装置

Info

Publication number: CN101422034B
Application number: CN2007800136334A
Authority: CN
Inventors: 福岛保; 峰忠己
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-02-17
Filing date: 2007-02-15
Publication date: 2011-10-12
Anticipated expiration: 2027-02-15
Also published as: US20100220214A1; JPWO2007094403A1; CN101422034A; US8144206B2; JP5033628B2; WO2007094403A1

Abstract

本发明的摄像装置包括：摄像部，其具有离散的像素结构，在以第一帧速率进行摄像的通常摄像的情况下，对于1帧，向M个像素原封不动地输出各个像素的M个取样点的信号，在以比所述第一帧速率大的第二帧速率进行摄像的高速摄像的情况下，对于1帧将每N个像素的信号与M个像素混合，输出M/N个取样点的信号，其中M、N为2以上的整数；和运算部，在上述通常摄像的情况下原封不动地输出来自所述摄像部的输出信号，在所述高速摄像的情况下对于来自所述摄像部的输出信号，进行在各取样点之间插补N-1个取样点的信号的插补运算，输出M个取样点的被插补的信号。

Description

摄像装置

技术领域

本发明涉及能够再现慢动作的摄像机等的高速摄像装置。

背景技术

近年来，随着摄像机的高性能化的进步，特别是数字技术的进展，通常以更高速进行摄影的慢动作摄影成为可能。特别是在体育运动转播等中，好看的慢动作再现在节目制作上成为大的特征。

在进行高速度摄影的情况下，需要得到相对于现有的标准的视频信号具有其倍速度量的频带的信号。即，为了得到1/3慢动作再现，在进行3倍速的摄影的情况下，作为摄像机输出需要具有3倍速的帧速率，并且因此需要通常的3倍的数据传输率。即，需要与从摄像机发出的通常的视频信号的格式不同的3倍速的数据输出，该信号传送也需要高速摄像专用的传送装置。

作为解决该课题的一个方法，例如有专利文献1所公开的摄像机装置。图20是表示该摄像机装置的结构的框图。在该摄像机装置中，CCD摄像部101，使用CCD(Charge Coupled Device)作为固体摄像元件，进行图像的光电变换。在CCD摄像部101中利用转送部102以驱动速度fc进行电荷转送，在其摄像输出信号被A/D变换后，蓄积在场存储器103中。

在利用摄像机装置以3倍速度进行摄影的情况下，即在n＝3时，转送部102以通常的3倍的驱动速度3fc驱动CCD摄像部101，其输出信号以通常的3倍的取样频率3fc进行A/D变换。该3倍的影像信号被存储在场存储器103的#1～#3中。另外，摄像部101、转送部102、场存储器103从控制电路105接收控制信号并动作。

在以时钟频率3fc向场存储器103写入影像信号的同时，将该场存储器的内容以标准的时钟频率fc并列读出，在1/n衰减器106中分别衰减到1/3之后输送到加法器107。因此，在加法器107的输出中，场存储器103的#1～#3的内容的平均值以标准速度输出。

由于信号切换器(选择器)108，在通常速度的摄影时其接点与a侧接触，所以来自CCD的转送部102的信号被直接取出后输送到摄像机信号处理电路109。另一方面，由于在高速摄像时以及低速摄像时其接点与b侧接触，所以加法器107的输出被输送到摄像机信号处理电路109。被摄像机信号处理电路109处理的信号输送到后段的电路，以众所周知的方法录像或监视。

而且，为了之后以标准速度再现以高速度摄影的信号，在缓冲存储器104中以高速度写入影像信号。之后，停止摄影，或者代替摄影中的信号，以标准速度读出此时存储在缓冲存储器104中的影像信号。

专利文献1：日本特开平11-32241号公报(第三页～第五页)

在上述技术中，在高速摄影中场存储器或缓冲存储器以后的电路能够以通常的速度进行动作，但从CCD摄影部到存储器为止，需要以高速进行动作。但是，特别是在从CCD等的固体摄像元件向存储器的写入中，以与通常相比更高速的数据传输率进行动作是非常困难的。

发明内容

本发明的目的在于，提供一种在高速摄影时，不需要使对存储器进行写入的数据传输率高速化，能够以通常的数据传输率得到可再现慢动作的高数据传输率的图像的摄像装置。

本发明涉及的摄像装置，其特征在于，包括：

摄像部，其具有离散的像素结构，在以第一帧速率进行摄像的通常摄像的情况下，对于1帧，向M个像素原封不动地输出各个像素的M个取样点的信号，在以比所述第一帧速率大的第二帧速率进行摄像的高速摄像的情况下，对于1帧将每N个像素的信号与M个像素混合，输出M/N个取样点的信号，其中M、N为2以上的整数；和

运算部，在上述通常摄像的情况下原封不动地输出来自所述摄像部的输出信号，在所述高速摄像的情况下对于来自所述摄像部的输出信号，进行在各取样点之间插补N-1个取样点的信号的插补运算，输出M个取样点的被插补的信号。

此外，作为优选方式，所述摄像部至少包括具有离散的像素结构的第一固体摄像元件和具有离散的像素结构的第二固体摄像元件，

所述第一固体摄像元件和所述第二固体摄像元件具有分别对应的像素，

在所述高速摄像时，在所述第一固体摄像元件中混合的N个像素的组合，与在所述第二固体摄像元件中混合的N个像素的组合互不相同。

进一步，所述运算部，在所述插补运算中，

从所述第一固体摄像元件的取样点的输出信号生成被插补的第一低频成分，

从所述第二固体摄像元件的取样点的输出信号生成被插补的第二低频成分，

对所述第一固体摄像元件的取样点的输出信号和所述第二固体摄像元件的取样点的输出信号进行加法运算，生成进行了加法运算的信号的高频成分，

对所述第一低频成分和所述高频成分进行加法运算，得到所述第一固体摄像元件的信号，并且

对所述第二低频成分和所述高频成分进行加法运算，得到所述第二固体摄像元件的信号。

进而，所述运算部，在所述插补运算中，

针对来自所述第一固体摄像元件的M/N个取样点的输出信号，在各信号之间对于N-1个取样点插入0值的信号，使全体成为M个取样点的信号，

针对来自所述第二固体摄像元件的M/N个取样点的输出信号，以不是0的信号的取样点与所述第一固体摄像元件的输出信号相互错开的方式，在各信号之间对于N-1个取样点插入0值的信号，使全体成为M个取样点的信号，

从所述第一固体摄像元件的信号生成被插补的第一低频成分，

从所述第二固体摄像元件的信号生成被插补的第二低频成分，

对相互对应的取样点的所述第一固体摄像元件的输出信号和所述第二固体摄像元件的输出信号进行加法运算，生成进行了加法运算的信号的高频成分，

此外，所述摄像部也可以进一步包括第三固体摄像元件，其具有离散的像素结构，且具有与所述第一和第二固体摄像元件的各像素对应的像素。在该情况下，所述运算部，在所述插补运算中，

从所述第三固体摄像元件的取样点的输出信号生成被插补的第三低频成分，

对所述第三低频成分和所述高频成分进行加法运算，得到所述第三固体摄像元件的信号。

而且，所述摄像部可以进一步包括第三固体摄像元件，其具有离散的像素结构，且具有与所述第一和第二固体摄像元件的各像素对应的像素。在该情况下，

所述运算部，在所述插补运算中，

针对来自所述第三固体摄像元件的M/N个取样点的输出信号，使其与来自所述第一固体摄像元件的取样点的输出信号对应，在各信号之间对于N-1个取样点插入0值的信号，使全体成为M个取样点的信号，

从所述第三固体摄像元件的信号生成被插补的第三低频成分，

此外，上述摄像部也可以包括与G、B、R的各沟道对应的第一到第三固体摄像元件。

所述摄像部也可以包括：与将G沟道分成两个G1沟道和G2沟道对应的第一和第二固体摄像元件；与B沟道对应的第三固体摄像元件；以及与R沟道对应的第四固体摄像元件。在该情况下，在所述通常摄像时，对来自与所述G1沟道和所述G2沟道对应的第一和第二固体摄像元件的输出信号进行加法运算并作为G沟道的信号。另外，在所述通常摄像时，将对相互对应的取样点的所述第一固体摄像元件的输出信号和所述第二固体摄像元件的输出信号进行加法运算后的信号作为G沟道的信号。

此外，也可以在所述摄像部和所述运算部之间进一步包括存储部，其存储所述摄像部的输出信号，并且将存储的输出信号输出到所述运算部。在该情况下，所述运算部对来自所述存储部的输出信号进行运算。

而且，从上述摄像部输出的帧速率比从上述存储部输出的帧速率大。

如上所述，根据本发明，在高速摄像时，能够增大从摄像部输出的帧速率的同时将数据频率保持在与通常相同程度。由此，不需要在高速的数据频率下进行动作，能够得到慢动作再现图像的优异效果。

附图说明

图1是表示本发明的实施方式1中的摄像装置的结构的框图。

图2是图1的摄像装置中的摄像部的结构的框图。

图3是表示在摄像部的3个固体摄像元件中像素混合的像素的组合的示意图。

图4(a)是表示像素混合前的信号相对于频率的关系的示意图，(b)是表示像素混合后的频率与信号的关系的示意图，(c)是表示利用像素混合的组合不同的G沟道与R沟道的信号加法运算，抵消折返成分(aliasing components)的示意图。

图5是表示图1的摄像装置中的插补电路的结构的框图。

图6(a)是表示从摄像部的输出时的帧数相对于时间的关系的示意图，(b)是表示存储器写入时的帧数相对于时间的关系的示意图，(c)是表示慢动作再现时的帧数相对于时间的关系的示意图。

图7(a)是表示通常摄像时的每帧的像素数的关系的示意图，(b)是表示高速摄像时的存储器写入时的每帧的像素数的关系的示意图，(c)是表示从插补电路的输出时的每帧的像素数的关系的示意图。

图8(a)是表示与通常摄像时的G沟道的像素对应的信号的示意图，(b)是表示高速摄像时的G沟道的像素混合的信号的示意图，(c)是表示高速摄像时的B沟道的像素混合的信号的示意图，(d)是慢动作再现时的G沟道的慢动作再现信号，(e)是表示慢动作再现时的B沟道的慢动作再现信号的示意图。

图9(a)～(g)是表示插补运算的各工序中的像素的示意图。

图10是本发明的实施方式1涉及的摄像方法的流程图。

图11是与图10的插补运算的详细情况相关的流程图。

图12是与在图10的插补运算中进行0插入时的详细情况相关的流程图。

图13是本发明的实施方式2涉及的摄像装置的结构的流程图。

图14是表示图13的摄像装置中的摄像部的结构的框图。

图15是表示在图14的摄像部的4个固体摄像元件中像素混合的像素的组合的示意图。

图16是表示图13的摄像装置中的插补电路的结构的框图。

图17是表示将与图15不同例子的取样点作成1/2的方法的示意图。

图18是表示本发明的实施方式3涉及的摄像装置的结构的框图。

图19是表示另一个例子的摄像装置的结构的框图。

图20是表示现有的摄像装置的结构的框图。

符号说明

1、1a 摄像部

2 A/D变换器

3 帧存储器

4 缓冲存储器

5 控制电路

6、8 选择器

7、7a 插补电路(interpolation circuit)

9 摄像机信号处理电路

10 输出端子

11G、11B、11R 固体摄像元件

11G1、11G2 固体摄像元件

12 光学棱镜

13 驱动电路

20、20a、20b、20c 摄像装置

21 加法电路

70 加法器

71G、71B、71R、71G1、71G20 插入电路

72G、72B、72R 低通滤波器

73 高通滤波器

74G、74B、74R 加法器

101 CCD摄像部

102 转送部

103 场存储器(field memory)

104 缓冲存储器

105 控制电路

106 1/n衰减器

107 加法器

108 信号切换器

109 摄像机信号处理电路

110 输出端子

具体实施方式

以下，参照附图对本发明的实施方式涉及的摄像装置进行说明。另外，在附图中对实质上相同的部件标注相同的符号。

(实施方式1)

图1是表示本发明的实施方式1涉及的摄像装置的结构的框图。该摄像装置20，包括摄像部1、A/D变换器2、帧存储器3、缓冲存储器4、控制电路5、选择器6、插补电路7、选择器8、摄像机信号处理电路9和输出端子10。

图2是摄像部1的详细结构的示意图。该摄像部1将光学的图像信号变换成电信号并输出。该摄像方式是由3个固体摄像元件11G、11B、11R构成的三板方式。在该摄像部1中，通过光学棱镜12将从透镜(图中未示)入射的光分解成绿(G)、蓝(B)、红(R)的3个色成分。此外，固体摄像元件11G、11B、11R分别相当于G、B、R沟道(channel)，例如是CCD型摄像元件。该固体摄像元件11G、11B、11R具有离散的像素结构，在空间上对图像进行取样并变换成电信号。另外，固体摄像元件11G、11B、11R由驱动电路13驱动。

图3是表示进行固体摄像元件11G、11B、11R的光电变换的像素的二维配置的示意图。固体摄像元件11G、11B、11R各自分开配置，但固体摄像元件11G的像素g11、固体摄像元件11B的像素b11、固体摄像元件11R的像素r11，分别与在光学上同一位置对应。即，像素g11、b11、r11分别对应空间上相同的取样点。

利用A/D变换器2，将作为摄像部1的输出的模拟影像信号变换成数字影像信号，并输入到帧存储器3和缓冲存储器4。帧存储器3和缓冲存储器4的输出与选择器6连接。而且，选择器6、8由控制电路5控制。在选择器6的输出c和选择器8的接点b之间设有插补电路7。将通过该插补电路7对像素混合中不足的像素的取样点通过插补运算进行插补，能够得到原来的像素数的取样点。选择器8的输出c被供给到摄像机信号处理电路9。在摄像机信号处理电路9中，进行偏移调整、增益调整、γ矫正、轮廓校正等的作为通常的摄像机所需要的信号处理，其输出信号成为可记录、显示的标准形态的影像信号。

(在通常速度下的通常摄像时的动作)

在通常速度的摄像时，通过控制电路5对选择器6、8的接点a的输入信号进行选择，从各个的接点c输出。因此，帧存储器3的输出信号通过选择器6、选择器8供给到摄像机信号处理电路9。另外，在通常速度下的摄影时，在没有必要使用帧存储器3时，也可以将帧存储器3旁路。

接着，例如在慢动作影像的速度比为1/2、即进行2倍速的高速摄像的情况下，分成高速摄像时、监视时、慢动作再现时的各动作进行说明。另外，高速摄像时的动作与从摄像部1到对存储器3、4进行的写入为止的动作相关。监视时的动作与使帧速率降低并以与通常相同的帧速率进行监视的动作相关。慢动作再现时的动作与到通过插补电路7输出慢动作再现信号为止的动作相关。

(在高速度下的高速摄像时的动作)

在2倍速的高速摄像时，相对于通常的每秒60帧的影像信号，与其相比高速的每秒120帧的影像信号从摄像部1输出。该摄像信号通过A/D变换器2变换成数字影像信号，进而写入到帧存储器3和缓冲存储器4。帧存储器3用于摄影时的监视用途，缓冲存储器4用于慢动作再现用的缓冲。另外，缓冲存储器4是不损失高速摄像时所得到的大量的信息并进行预先存储用的存储器，因此没有必要是能够同时进行写入和读取的存储器，只要是能够写入信息的存储器即可。

(监视时的动作)

虽然在帧存储器3中写入每秒120帧的影像信号，但在监视时，仅读出其中每秒60帧的信号。另外，选择器6、选择器8通过控制电路5选择接点a的输入信号，从接点c输出。即，与通常摄像时相同的每秒60帧的影像信号供给到摄像机信号处理电路9，例如用于向取景器(view finder)显示信号。另外，也可以在选择器8中选择接点b，将后述的插补电路7的输出信号作为监视用信号。

(慢动作再现时的动作)

图6的(a)是从摄像部1输出时、(b)是向缓冲存储器4的写入时、(c)是慢动作再现时的各自的情况下的每单位时间的帧数的关系的示意图。使用图6(a)～(c)对慢动作再现时的动作进行说明。在从摄像部1的输出时以及向存储器4的写入时是每秒120帧的帧速率。另一方面，在慢动作再现时，如图6(c)所示，是通过缓慢读出缓冲存储器4中写入的影像信号来进行的。即，虽然向缓冲存储器4中写入了每秒120帧的影像信号，但是在慢动作再现时以每秒60帧、花费2倍的时间读出。该缓冲存储器4的再现信号通过选择器6供给到摄像机信号处理电路9，受到各种的信号处理，作为慢动作再现信号从输出端子10输出。由于1秒钟的120帧花费2秒钟输出，所以成为慢动作再现。另一方面，由于以通常速度的帧速率的1秒钟60帧进行再现，所以能够得到流畅好看的慢动作再现影像。

(关于像素混合)

在进行高速摄像时，在摄像部1的固体摄像元件11G、11B、11R中对多个像素进行信号电荷加法运算并输出。例如，如果进行水平2像素的信号电荷加法运算，则从摄像元件输出的像素数成为1/2，因此即使以与通常相同的驱动时钟进行驱动，只要该输出所需要的时间是1/2即可。即，即使将帧速率设为2倍，也能够将每一帧的像素数设为1/2，因此只要来自固体摄像元件11G、11B、11R的信号的数据传输率相同即可。在高速摄像时写入到帧存储器3和缓冲存储器4的影像信号，能够将帧速率设为2倍并且与通常摄像时相同的像素速率。

接着，使用图7对像素混合和插补处理所引起的每1帧的像素数的变化进行说明。图7(a)是表示通常摄像时的每帧的像素数的关系的示意图。图7(b)是表示高速摄像时的存储器写入时的每帧的像素数的关系的示意图。图7(c)是表示从插补电路输出时的每帧的像素数的关系的示意图。在高速摄像时，如图7(b)所示，与通常摄像时(图7(a))相比，通过像素混合成为每1帧1/2的像素数，能够抑制数据传输率。此外，如图7(c)所示，通过此后的插补处理，能够将每一帧设为与通常摄像时相同的像素数。

通过对在水平方向相邻的2像素的信号电荷进行加法运算，将水平CCD的最终电极上施加的脉冲以及复位栅极电极上施加的复位脉冲的时间设为水平CCD的转送电极上施加的驱动脉冲的2倍的周期。水平CCD的转送电极上施加的驱动脉冲与分开输出一像素的信号电荷时的周期相同，但最终电极上施加的脉冲以及复位栅极电极上施加的脉冲的周期被设定为分开输出信号电荷时的2倍。由此，通过CCD转送而来的信号电荷，在相邻的2像素的信号电荷在最终电极进行了加法运算之后被转送。另外，关于该像素混合，例如在特开2000-174253号公报中有详细的记载。

此外，由于被写入的影像信号的取样数为通常的1/2，所以在从帧存储器3和缓冲存储器4读出信号时，以每2时钟1次的比例输出信号。该输出信号，在插补电路7中，通过插补运算生成不足的像素的取样点，能够得到与通常相同的像素数的取样点。选择器8，通过控制电路5选择接点b的输入信号，从接点c输出，通过摄像机信号处理电路9接受各种的信号处理。

即，在高速摄像时帧存储器3的输出信号通过插补电路7接受插补处理而成为向取景器(图中未示)的信号，在慢动作再现时缓冲存储器4的输出信号通过插补电路7接受插补处理而成为慢动作再现信号。

接着，使用图8对像素与写入缓冲存储器4的影像信号的关系进行说明。

(a)在通常速度的通常摄影时的动作中，如图8(a)所示，来自固体摄像元件11G的输出信号，与固体摄像元件11G的各像素对应，对应g11、g12、g13......的连续的像素一行一行依次被读出。该信号被写入到缓冲存储器4。

(b)另一方面，在2倍速的高速摄像时，由于在固体摄像元件11G中进行像素混合，所以其输出信号各行的像素数成为1/2。因此，在高速摄像时，对水平2像素进行像素混合，如图8(b)所示，如g11、g13......那样分散的取样点的信号被写入缓冲存储器4。另外，像素混合后的信号，以像素混合的组合的左侧的像素表现，例如，混合像素g11和像素g12的取样点表现为g11。因此，在G沟道中如图8(b)所示的分散的取样点的信号被写入缓冲存储器4。

(c)此外，关于在R沟道的像素混合，使像素混合的像素的组合相对于G沟道的像素混合的像素的组合错开。即，G沟道的像素混合后的取样点为g11，相对于此，R沟道的像素混合后的取样点为r12。该r12是对像素r12的信号和像素r13的信号进行加法运算的信号加法运算后的取样点。因此，在R沟道中如图8(c)所示的分散的取样点的信号被写入缓冲存储器4。

(d)如果读出各取样点的信号的周期、即像素速率(数据传输率)相同，则在像素混合时与读出所有像素的信号的情况相比在1/2的时间结束第一行的信号输出。即，用通常动作的1行的读出时间，能够在像素混合时读出2行的信号。即，在通常动作下每秒60帧的信号的情况下、在2像素混合的情况下每秒120帧的信号被写入缓冲存储器4。

(e)在从缓冲存储器4的输出时，如图8(d)、(e)所示，与写入时相比像素速率为1/2，1行的时间与通常动作时相同。即，在写入时每秒120帧的信号，作为每秒60帧被读出，能够得到2倍的慢动作再现的信号。

(像素混合所引起的析像度恶化的问题)

本发明者发现如下问题，在固体摄像元件11G、11B、11R中，通过像素混合对2像素的信号进行加法运算而减少像素数，因此实质的取样频率降低，析像度恶化。图4(a)是表示像素混合前的信号相对于信号的频率的关系的示意图，(b)是表示像素混合后的信号相对于信号的频率的关系的示意图。在像素混合前，在各个固体摄像元件中，如果将与像素和像素的间隔相当的取样频率设为fS0，则通过固体摄像元件的各像素的空间取样，得到的影像信号成为图4(a)那样。另外，fN0是fS0/2，是奈奎斯特频率。

对水平方向的2像素的信号进行混合的处理是一种低通滤波器处理，结果，图像混合后的信号的波谱，如图4(b)所示，是奈奎斯特频率fN0附近衰减的波谱。进而，通过2像素混合，空间的取样间隔成为2倍，因此新的取样频率fS1成为fS0/2，结果，像素混合后的信号的波谱，如图4(c)所示，产生在fS1处生成新的折返成分MoG的问题。

在本实施方式1涉及的摄像装置20中，在上述高速摄像时在水平方向混合2像素时，相互改变在G沟道和R、B沟道混合的像素的组合。如在图3中用虚线表示那样，在G沟道中按照g11+g12、g13+g14、g15+g16的各像素的组合的方式在水平方向混合2像素的信号。另一方面，在B沟道中，以b12、b13、b14、b15的各像素的组合进行混合。这样，在B沟道中，将混合的像素的组合与G沟道错开进行像素混合。R沟道也与B沟道同样，将混合的像素的组合与G沟道错开进行像素混合。

像素混合后的取样点如图3的●所示是2像素间隔，在G沟道和R沟道中，该取样点的位置位于错开1像素的位置。即，像素混合后的取样点，在G沟道和R沟道中，成为所谓的像素错开取样。

在改变像素混合的像素组合的G沟道和R沟道中，2像素混合后的取样点错开180度。因此，在G沟道和R沟道中，新的取样频率fS1中的折返成分，如图4(c)的MoG和MoR所示那样，各自的相位相互反相。因此，本发明人发现，通过对G沟道和R沟道的信号进行加法运算，能够消除取样频率fS1中的折返成分。另外，含有大量折返成分MoG和MoR的区域是以新的取样频率fS1为中心的高频区域。

(插补处理时的像素错开)

图5是表示插补电路7的结构的框图。在插补电路7中的插补运算中，进行像素错开处理。首先，关于G、R、B各沟道的信号，通过0插入电路71G将“0”插入到像素混合后的取样点之间，使取样频率为2倍。但是，在G沟道和R沟道以及B沟道中，由于像素混合后的取样位置错开半周期，所以利用“0”插入的方法对齐时间轴。即，关于G沟道的信号存在的取样点，将“0”插入R和B沟道的对应的取样点。另一方面，关于R和B沟道的信号存在的取样点，将“0”插入G沟道的对应的取样点。

“0”插入后的各沟道影像信号，利用低通滤波器72G、72B、72R，仅取出各信号的低频率成分。另一方面，关于高频成分，为了抵消由像素混合所产生的折返信号，例如在加法器70中对G沟道和R沟道的信号进行加法运算。加法器70的输出信号利用高通滤波器73取出信号的高频成分，该高频成分能够看作对于全部G沟道、R沟道、B沟道是公共的。因此，在加法器74G、74B、74R中，分别对上述公共的高频成分和各沟道的低频率成分进行加法运算，得到各沟道被插补的信号。

下面，使用图9对插补电路7的插补运算进行说明。

(a)在G沟道中，如图9(a)所示，从缓冲存储器4输出对于水平2像素进行像素混合的取样点分散配置的信号。

(b)对于图9(a)的信号，通过插补电路7中的0插补电路71G每隔1像素插入“0”，得到图9(b)所示的信号。

(c)接着，图9(b)的信号通过低通滤波器72G而在“0”部分生成g12′、g14′......那样被插补的低域信号，得到图9(c)所示的信号。

(d)与G沟道同样，在R沟道中，如图9(d)所示，从缓冲存储器4输出对水平2像素进行像素混合的取样点分散配置的信号。

(e)对于图9(d)的信号，通过插补电路7中的0插补电路71R每隔1像素插入“0”，得到图9(e)所示的信号。

(f)然后，图9(e)的信号通过低通滤波器72R而在“0”部分生成r11′、r13′......那样被插补的低域信号，得到图9(f)所示的信号。

(g)在加法器70中，对在0插入电路71G被0插入处理的图9(b)的信号，和在0插入电路71R中被0插入处理的图9(e)的信号进行加法运算，如图9(g)所示，得到G沟道的数据和R沟道的数据交替存在的信号。

(h)对于图9(g)的信号，利用高通滤波器73仅取出高频成分。该高频成分能够看作在各沟道中公共的成分。

(i)将上述公共的高频成分加上各沟道的低频成分，能够得到在各沟道中折返成分少的信号。

根据上面，对不足的像素进行插补，能够在1帧中得到所有的像素的信号。

如上所述，在该摄像装置20中，在高速摄像时，在摄像部1的固体摄像元件中对水平2像素的信号进行加法运算，由此不但能够实现高的帧速率，而且能够抑制像素速率增高。此外，在G沟道和R、B沟道中改变像素混合的组合，通过插补运算进行像素错开而得到抑制了折返成分的高域成分，由此能够减少由像素混合所产生的取样频率的折返成分的发生。

另外，也可以取代水平方向的像素混合而进行垂直方向的像素混合。为了对在垂直方向上相邻的2像素的信号电荷进行加法运算，例如在水平消隐期间内对垂直CCD内的信号电荷进行两次转送即可。从光电变换元件向垂直CCD读出的信号电荷，在水平消隐期间内向垂直CCD的转送电极施加两次脉冲，由此在垂直CCD内转送2像素的量。此时，各垂直CCD的最终段的信号电荷，以及其前段的信号电荷连续被转送到水平CCD，在水平CCD内被加法运算。从垂直CCD接收2行的信号电荷的水平CCD，将其依次转送到输出部。由于在垂直方向上相邻的2像素的量的电荷被加法运算，所以用于输出所有像素的信号电荷所需要的水平转送的次数，是分别输出各像素的信号电荷时的1/2。因而，用于输出所有像素的信号电荷所需要的时间也变为1/2。

进而为了进行高速摄像，如果对水平2像素、垂直2像素的共4像素的信号电荷进行加法运算，则从摄像元件输出的像素数变为1/4，能够进行4倍速的高速摄像。

进而，作为摄像部的摄像设备并不限定于CCD，例如在输出数字信号的CMOS型摄像元件中也能够实现同样的效果。

另外，如本实施方式那样，在高速摄像时的帧速率为通常摄像时的帧速率的整数倍的帧速率的情况下，控制变得简单，但并不限定于整数倍的帧速率。

(摄像方法)

接着，对本发明的实施方式1涉及的摄像方法进行说明。图10是实施方式1涉及的摄像方法的流程图。

(a)以在第一固体摄像元件中混合的N个像素的组合，与在第二固体摄像元件中混合的N个像素的组合互不相同的方式进行像素混合并输出(S01)。由于通过像素混合能够减少每1帧的像素数，所以不仅能够增大帧速率，而且能够抑制数据频率。此外，通过改变像素混合的像素的组合能够错开像素混合后的取样点。

(b)进行在各取样点之间插补(N-1)个取样点的信号的插补运算，输出被插补的信号(S02)。通过插补运算能够将在像素混合中减少的像素数恢复到原来的像素数。此外，通过如上述那样改变像素混合的组合，使用像素错开的取样点，能够减少由像素混合所产生的频率的折返成分。

利用以上的摄像方法能够得到进行插补的信号。

(插补运算的方法)

图11是表示插补运算的详细的流程图。

(a)从第一和第二固体摄像元件的取样点的输出信号分别生成被插补的第一和第二低频成分(S11)。

(b)对第一固体摄像元件的取样点的输出信号和第二固体摄像元件的取样点的输出信号进行加法运算(S12)。

(c)生成加法运算的信号的高频成分(S13)。该高频成分可认为是对于来自各固体摄像元件的输出公共的成分。

(d)对第一低频成分和高频成分进行加法运算，得到第一固体摄像元件的信号(S14)。

(e)对第二低频成分和高频成分进行加法运算，得到第二固体摄像元件的信号(S15)。

如上所述，能够得到被插补运算的信号。

图12是在插补运算中，在进行0插入处理的同时，错开不是0的取样点并进行加法运算时的更详细的插补运算的流程图。

(a)对于来自第一固体摄像元件的输出信号，在各信号间对(N-1)个取样点插入0值的信号(S21)。

(b)对于来自第二固体摄像元件的输出信号，以非0的信号的取样点与第一固体摄像元件的输出信号相互错开的方式，在各信号间对(N-1)个取样点插入0值的信号(S22)。

(c)从第一固体摄像元件的信号生成被插补的第一低频成分(S23)。

(d)从第二固体摄像元件的信号生成被插补的第二低频成分(S24)。

(e)对相互对应的取样点的第一固体摄像元件的输出信号和第二固体摄像元件的输出信号进行加法运算(S25)。

(f)生成进行了加法运算的信号的高频成分(S26)。

(g)对第一低频成分和高频成分进行加法运算，得到第一固体摄像元件的信号(S27)。

(h)对第二低频成分和高频成分进行加法运算，得到第二固体摄像元件的信号(S28)。

如上所述，在插补运算中，进行0插入处理，能够得到进行了插补的信号。

(实施方式2)

图13是本发明的实施方式2中的摄像装置20a的结构的框图。该摄像装置20a具备摄像部1a、A/D变换器2、控制电路5、插补电路7a、选择器8、摄像机信号处理电路9、输出端子10、加法电路21。该摄像装置20a，如果与实施方式1涉及的摄像装置进行比较，不同点在于，摄像部1a不是3板方式，而是将任一个色沟道、例如将G沟道分为两个沟道G1、G2的4板方式。另外，不具有帧存储器3和缓冲存储器4，而具备加法电路21这一点也不同。

图14是表示摄像部1a的结构的示意图。该摄像部1a将光学的图像信号变换成电信号并输出。其摄像方式与实施方式1的摄像装置中的摄像部不同，是由4个固体摄像元件构成的四板方式。在该摄像部1a中，从透镜(图中未示)射入的光被光学棱镜12分解成各个颜色，在各固体摄像元件11R、11G1、11G2、11B中成像。光学棱镜12由4个玻璃块构成，在各个边界面上蒸镀有多层薄膜，反射特定波长的光，剩余波长的光透过。即，入射光在第一蒸镀面蓝(B)成分被反射，剩余的成分透过。在第二蒸镀面中，红(R)成分被反射，剩余的绿(G)成分透过。第三蒸镀面，以无波长选择性的半透明反射镜反射绿色的1/2，剩余的1/2透过。

固体摄像元件11G1、11G2相当于G沟道，固体摄像元件11B、11R分别相当于B、R沟道。它们例如是CCD型摄像元件，具有离散的像素构造，在空间上对图像进行取样并变换成电信号。另外，通过驱动电路13驱动固体摄像元件11G1、11G2、11B、11R。此外，如图15所示，4个固体摄像元件11G1、11G2、11B、11R的像素配置全部对应于光学上相同的位置。即，入射光被光学棱镜12分割成4个光信号，在固体摄像元件11G1、11G2、11B、11R中成像，但图15中的像素gf11、gs11、b11、r11分别取样光学上相同的位置。与摄像部1a的固体摄像元件11G1、11G2、11B、11R对应，G1、G2、B、R的4个影像信号成为输出信号。

(像素混合)

在该摄像装置20a中，在进行高速摄像时，与实施方式1同样，在摄像部1a的固体摄像元件11G1、11G2、11B、11R中对2像素的信号电荷进行加法运算并输出。例如，如果对水平2像素的信号电荷进行加法运算，则从固体摄像元件输出的像素数变为1/2，因此若以与通常相同的驱动时钟进行驱动，则输出所需要的时间变为1/2。因此，即使将帧速率设为2倍，也能够使来自固体摄像元件11G1、11G2、11B、11R的信号速率(数据传输率)与通常速度的摄像时相同。

(像素混合的组合)

在本实施方式2涉及的摄像装置20a中，当在水平方向进行2像素混合时，改变在G1沟道和G2沟道中混合的像素的组合。即，如图15中虚线所示，在G1沟道中以gf11+gf12、gf13+gf14、gf15+gf16这样的组合在水平方向对2像素的信号进行混合，但在G2沟道中，如gs12+gs13、gs14+gs15那样错开混合的像素的组合。另外，在R沟道和B沟道中，以与G1沟道同样的组合进行像素混合。

像素混合后的取样点如图15的●所示是2像素间隔，但在G1沟道和G2沟道中，该取样点的位置位于错开1像素的位置。即，像素混合后的取样点，在G1沟道和G2沟道中，成为所谓的像素错开取样。因此，通过重合G1沟道和G2沟道的信号，不但能够进行像素混合，而且能够得到与像素混合前相同的水平像素数。这与实施方式1同样，相当于消除了由2像素混合所产生的折返成分的情形。特别是，在本实施方式2中，对相同的G信号彼此之间错开像素而进行加法运算，因此能够完全消除折返成分。

接着，适当参照图13对本实施方式涉及的摄像装置的动作进行说明。

(通常摄像时的动作)

首先，对在通常速度下的通常摄像的动作进行说明。在图13中，摄像部1a的输出信号由A/D变换器2变换成数字影像信号，进而输入到加法电路21。在加法电路21中，将两个G沟道信号G1、G2在各个取样点进行加法运算，生成G信号。如使用图15说明的那样，两个G沟道的固体摄像元件11G1、11G2的各取样点为各自对应的取样点，因此当进行加法运算时信号量变为2倍。由于以两个固体摄像元件分担G沟道成分，所以最大饱和信号电平变为2倍，动态范围增大。另外，R沟道和B沟道的信号原封不动地输出。在通常速度的通常摄像时，选择器8由控制电路5选择接点a的输入信号，从接点c输出加法电路21的输出，通过摄像机信号处理电路9接受各种的信号处理，从输出端子10输出。

(高速摄像时的动作)

接着说明例如相对于通常速度，慢动作影像的速度比为1/2，即进行2倍速的高速摄像的情况。在2倍速的高速摄像时，相对于通常的每秒60帧的影像信号，每秒120帧的影像信号从摄像部1a输出。但是，如上所述，在摄像部1a中在各固体摄像元件中在水平方向进行每2像素的像素混合，使1帧的输出取样数成为1/2。该摄像部1a的输出信号被A/D变换器2变换成数字影像信号，进而输入到插补电路7a。另外，从摄像部1a输出的信号，帧速率为通常摄像时的2倍，但为与通常摄像时相同的像素速率。此外，A/D变换器2中的取样频率与通常摄像时相同。

图16是表示插补电路7a的结构的框图。在该插补电路7a中，对于G1、G2、B、R各沟道的输入信号，首先通过0插入电路71G1、71G2、71R、71B按每一个像素插入“0”，使像素速率为2倍。但是，在G1沟道和G2沟道中，如上所述，由于像素混合后的取样点错开半个周期，所以插入“0”，使得在插入“0”后对齐时间轴。即，对于G1沟道的信号存在的取样点，将“0”插入G2沟道的对应的取样点。另一方面，对于G2沟道的信号存在的取样点，将“0”插入G1沟道的对应的取样点。另外，在B和R沟道中，像素混合后的取样点与G1沟道的取样点对应，因此对于B和R沟道也与G1沟道同样，在各取样点之间进行“0”插入。

G1沟道的信号和G2沟道的信号，在上述0插入处理后，在加法器70中进行加法运算。“0”插入处理后的信号，交替地存在信号和“0”，但如上所述，在G1沟道和G2沟道中存在信号的取样点相互错开。因此，对G1沟道的信号和G2沟道的信号进行加法运算后的信号，等于交替选择G1沟道的信号和G2沟道的信号而得到的信号。该加法器70的输出成为插补电路7a的G沟道的输出信号。此外，对于该加法器70的输出，通过高通滤波器73仅取出高域信号。

另一方面，B和R沟道的信号，分别通过低通滤波器72B、72R仅取出信号低频率成分。然后，在加法器74B和加法器74R中，高通滤波器73的输出信号被加法运算，成为B和R沟道的输出信号。即，能够将抵消了折返信号的G信号的高域信号看作与B和R沟道的高域信号公共的信号。因此，将该公共的高域信号分别与B和R沟道的低频成分进行加法运算，能够得到B和R沟道的插补的信号。由此，在高速摄像时在摄像部1a中通过像素混合而成为1/2的像素数的影像信号，在插补电路7a中被插补，成为与通常摄像时相同数量的取样点的信号而被输出。另外，帧速率为通常的2倍，因此像素速率也变为通常的2倍。

选择器8通过控制电路5选择接点b的输入信号并从接点c输出。因此，插补电路7a的输出信号，利用摄像机信号处理电路9接受各种信号处理，作为2倍速的高速摄像信号从输出端子10输出。输出端子10与半导体存储器或硬盘装置、或者VTR等的记录装置连接，记录2倍速的高速摄像信号。如果以通常的帧速率再现所记录的信号，则能够得到2倍的慢动作再现信号。

如上所述，在高速摄像时，通过在固体摄像元件中进行信号加法运算，能够抑制像素速率增高。此外，在G1沟道和G2沟道中改变像素混合的组合。通过对该像素混合后的G1沟道和G2沟道的信号进行加法运算，能够减小针对奈奎斯特频率的折返部分的发生。

在以上的例子中，对在水平方向进行2像素混合的情况进行了说明，但作为其它的方式也可以在垂直方向进行2像素混合。在这种情况下，使帧速率为通常的2倍的效果是相同的。另外，在这种情况下，插补电路7中的“0”插入，需要垂直方向上的动作，低通滤波器72B、72R、以及高通滤波器73的滤波器动作也需要垂直滤波器的动作。

另外，作为在高速摄像时使信号取样数为1/2的方法，在上述图15中对2像素混合的方法进行了说明，但作为其它的方法也存在图17所示的方法。该方法是在水平方向对于2像素仅将1像素用作信号，将另一个像素舍弃而不作为信号使用的方法。例如，在图17中●符号是作为信号使用的像素，×符号的像素是不使用的像素。在该不需要的×符号的像素中，例如通过电子快门动作，排出信号电荷即可。在该图17所示的方法中，由于不使用一半的像素的信号，所以与通过像素混合对信号电荷进行加法运算的情况相比，存在灵敏度变为1/2的缺点，但由于没有进行像素混合，所以存在水平方向的频率特性不恶化这样的优点。

(实施方式3)

图18是表示本发明的实施方式3中的摄像装置20b的结构的框图。该摄像装置20b具备摄像部1a、A/D变换器2、缓冲存储器4、控制电路5、插补电路7a、选择器8、摄像机信号处理电路9、输出端子10、加法电路21。该摄像装置20b与实施方式2涉及的摄像装置的不同之处在于具有缓冲存储器4这一点。适当参照图18对该摄像装置20b的动作进行说明，但对于与图13相同的构成要素，部分地省略说明。

摄像部1a与实施方式2相同是4板摄像方式的结构，对于高速摄像时的像素混合也同样，因此省略说明。

此外，对于通常速度的通常摄像时的动作也与实施方式2完全相同，因此省略说明。

接着，例如将慢动作影像的速度比为1/2、即进行2倍速的高速摄像的情况分为高速摄像时和慢动作再现时进行说明。

(高速摄像时的动作)

首先，在高速摄像时，在摄像部1a中，与实施方式2同样在水平方向进行每2像素的像素混合，输出取样数变为1/2的每秒120帧的影像信号被输出。摄像部1a的输出信号被A/D变换器2变换成数字影像信号，进而被写入到缓冲存储器4。在本实施方式中，将该缓冲存储器4作为慢动作再现用的缓冲器使用。即，将为了慢动作再现而高速摄像的影像信号暂时存储于缓冲存储器4。

(慢动作再现时的动作)

接着，对慢动作再现时的动作进行说明。慢动作再现是通过缓慢地读出缓冲存储器4中写入的影像信号来进行的。即，向缓冲存储器4中写入每秒120帧的影像信号，但在慢动作再现时以每秒60帧、花费2倍的时间读出。该缓冲存储器4的再现信号被输入到插补电路7a。选择器8通过控制电路5选择接点b的输入信号，并从接点c输出。插补电路7a的输出信号通过摄像机信号处理电路9接受各种的信号处理，从输出端子10输出。缓冲存储器4的输出信号是每一帧成为1/2的像素数的每秒60帧的影像信号，在插补电路7a中通过与实施方式2同样的动作，对于不足的取样点利用插补运算生成输出信号，成为与高速摄像时相同的取样点的数量。如上所述，使用缓冲存储器4进行记录再现，从而能够从输出端子10得到2倍的慢动作再现信号。

如上所述，在高速摄像时，利用在固体摄像元件中由像素混合的信号加法运算能够抑制像素速率增高。此外，通过改变在G1沟道和G2沟道中像素混合的组合能够得到折返成分少的影像信号。进而，由于具备缓冲存储器4，所以能够在外部不需要半导体存储器或硬盘装置等的存储装置就可进行慢动作再现。

另外，在上述说明中，由于在高速摄像时将影像信号写入缓冲存储器4，所以不能监视摄像时的图像。因此，作为缓冲存储器4，使用能够同时进行写入和读出的、例如双端口规格的存储器，由此能够解决该课题。即，一边将每秒120帧的影像信号写入缓冲存储器4，一边对于2帧仅间掉1帧，花费2倍的时间读出，由此能够输出每秒60帧的影像信号。

此外，作为其它的方法，与实施方式1同样，如图19所示，也可以在摄像装置20c的结构中追加帧存储器3。在这种情况下，缓冲存储器4仅在记录高速摄像信号时使用，使用帧存储器3用于高速摄像时的监视。即，在高速摄像时选择器6的接点选择a，选择器8的接点选择b，一边将每秒120帧的影像信号写入帧存储器3，一边对于2帧仅间掉1帧，花费2倍的时间读出，利用插补电路7a得到不足的取样点的信号，由此能够输出每秒60帧的监视用影像信号。

产业上的利用可能性

本发明涉及的摄像装置，作为能够实现好看的慢动作再现的摄像机等的高速摄像装置是有用的。

Claims

1.一种摄像装置，其特征在于，包括：

摄像部，其具有离散的像素结构，在以第一帧速率进行摄像的通常摄像的情况下，对于1帧，向M个像素原封不动地输出各个像素的M个取样点的信号，在以比所述第一帧速率大的第二帧速率进行摄像的高速摄像的情况下，对于1帧对M个像素将每N个像素的信号混合，输出M/N个取样点的信号，其中M、N为2以上的整数；和

运算部，在所述通常摄像的情况下原封不动地输出来自所述摄像部的输出信号，在所述高速摄像的情况下对于来自所述摄像部的输出信号，进行在各取样点之间插补N-1个取样点的信号的插补运算，输出M个取样点的被插补的信号，

所述摄像部至少包括具有离散的像素结构的第一固体摄像元件和具有离散的像素结构的第二固体摄像元件，

2.根据权利要求1所述的摄像装置，其特征在于：

所述运算部，在所述插补运算中，

3.根据权利要求1所述的摄像装置，其特征在于：

所述运算部，在所述插补运算中，

4.根据权利要求1所述的摄像装置，其特征在于：

所述摄像部进一步包括第三固体摄像元件，其具有离散的像素结构，且具有与所述第一和第二固体摄像元件的各像素对应的像素，

所述运算部，在所述插补运算中，

5.根据权利要求1所述的摄像装置，其特征在于：

所述运算部，在所述插补运算中，

6.根据权利要求4或5所述的摄像装置，其特征在于：

所述摄像部包括与G、B、R的各沟道对应的第一到第三固体摄像元件。

7.根据权利要求4所述的摄像装置，其特征在于：

所述摄像部包括：与将G沟道分成两个G1沟道和G2沟道对应的第一和第二固体摄像元件；与B沟道对应的第三固体摄像元件；以及与R沟道对应的第四固体摄像元件，

在所述通常摄像时，对来自与所述G1沟道和所述G2沟道对应的第一和第二固体摄像元件的输出信号进行加法运算并作为G沟道的信号，

在所述高速摄像时，将对相互对应的取样点的所述第一固体摄像元件的输出信号和所述第二固体摄像元件的输出信号进行加法运算后的信号作为G沟道的信号。

8.根据权利要求1至5的任一项所述的摄像装置，其特征在于：

在所述摄像部和所述运算部之间进一步包括存储部，其存储所述摄像部的输出信号，并且将存储的输出信号输出到所述运算部，

所述运算部对来自所述存储部的输出信号进行运算。

9.根据权利要求8所述的摄像装置，其特征在于：

从所述摄像部输出的帧速率比从所述存储部输出的帧速率大。