CN103297686A - 摄像装置及摄像方法 - Google Patents

Abstract

一种摄像装置、摄像方法以及非易失性记录介质，该摄像装置具备：摄像部，具有在垂直方向和水平方向上二维排列的像素群，通过卷帘快门方式以线为单位读出帧图像的生成所涉及的像素信号；以及驱动机构，在从上述摄像部以规定的帧周期连续地读出多个帧图像的情况下，使各个帧图像中作为读出对象的多个线的位置以帧为单位周期性地切换。

Description

摄像装置及摄像方法

技术领域

本发明涉及采用了卷帘快门（rolling shutter）方式的摄像装置及摄像方法。

背景技术

近年来，一般普及了采用CMOS(Complementary Metal OxideSemiconductor)型摄像装置（以下称为CMOS图像传感器）的数字照相机及摄像机。CMOS图像传感器是从二维排列在垂直方向和水平方向上的像素群中通过X扫描（垂直扫描）、Y扫描（水平扫描）使各像素的信号输出的构造。

作为CMOS图像传感器的驱动方法，记载在例如下述的专利文献1（日本特开2008-288904号公报）中的卷帘快门方式是比较一般的。卷帘快门方式是在1个帧期间按照每条线依次扫描二维排列在垂直方向和水平方向上的像素群、并依次读出各像素的信号的方式。

图6是表示以往的基于卷帘快门的CMOS图像传感器的动作定时的时序图。图中，1，…n-1，n，n+1，…N是线编号。通常、CMOS图像传感器通过由复位脉冲（Vr）、传输脉冲（Vrd）、选择脉冲（Vsel）构成的驱动信号来驱动。也就是说，各线的像素在复位脉冲（Vr）、传输脉冲（Vrd）的输入定时成为曝光开始，之后，在复位脉冲（Vr）、传输脉冲（Vrd）、选择脉冲（Vsel）的输入定时成为曝光结束，在其后紧接着的一定的读出期间1H将1条线的像素信号读出。

该读出期间1H具体来说是“1条线的像素信号的读出期间+水平消隐（blanking）期间”。并且，相当于读出期间1H×线数的期间为，进行动态图像摄影时的最短的1帧期间。因此通过在动态图像摄影时进行将读出例如像素信号的线以一定的线间隔剔除的间隔剔除读出，能够实现更高速的帧速率下的摄影。

但是，在将CMOS图像传感器以卷帘快门方式驱动而进行动态图像摄影的情况下，可设定的最长的曝光时间（快门速度）为与1帧期间几乎相等的时间。因此，帧速率变得越高速，则曝光的跟踪范围（日文：追従範囲）越窄。

因此，存在如下问题，即：有不能根据被摄体的亮度而确保适当的曝光时间、结果所摄影的动态图像变暗的情况。

发明内容

本发明是鉴于上述以往的技术问题而做出的，其目的在于提供一种能够将进行高速动态图像摄影时的曝光的跟踪范围扩大的摄像装置及摄像方法。

本发明的一个技术方案是一种信息处理装置，具备：摄像部，具有在垂直方向和水平方向上二维排列的像素群，通过卷帘快门方式以线为单位读出帧图像的生成所涉及的像素信号；以及驱动机构，在动态图像摄影中从上述摄像部以规定的帧周期连续地读出多个帧图像的情况下，以帧为单位周期性地切换各个帧图像中作为读出对象的多个线的位置。

并且，本发明的另一技术方案是一种信息处理方法，包含如下处理：读出处理，具有在垂直方向和水平方向上二维排列的像素群，通过卷帘快门方式以线为单位读出帧图像的生成所涉及的像素信号；以及切换处理，在动态图像摄影中从上述摄像部以规定的帧周期连续地读出多个帧图像的情况下，使各个帧图像中作为读出对象的多个线的位置以帧为单位周期性地切换。

并且，本发明的另一技术方案是一种非易失性记录介质，保存有程序，该程序使计算机执行如下处理：读出处理，具有在垂直方向和水平方向上二维排列的像素群，通过卷帘快门方式以线为单位读出帧图像的生成所涉及的像素信号；以及切换处理，在动态图像摄影中从上述摄像部以规定的帧周期连续地读出多个帧图像的情况下，使各个帧图像中作为读出对象的多个线的位置以帧为单位周期性地切换。

附图说明

图1是表示采用了本发明的CMOS图像传感器及摄像部的构成例的图。

图2是垂直移位寄存器的电路构成图。

图3是表示将摄像部的像素群以多个线进行了分组时的各组的模式图。

图4是通过本发明的摄像方法进行动态图像摄影时的时序图。

图5是表示分组数的决定顺序的示例的流程图。

图6是通过以往的摄像方法进行动态图像摄影时的时序图。

具体实施方式

以下对本发明的实施方式进行说明。图1是表示本发明涉及的CMOS图像传感器1的示意构成图。

CMOS图像传感器1是如下构成，具有：将多个像素2二维排列在垂直方向和水平方向上的摄像部3、作为驱动机构的垂直移位寄存器4、列CDS（Correlated Double Sampling)电路5、水平移位寄存器6、TG（TimingGenerator）7等。在摄像部3中，对各像素2按每列来布线垂直信号线8、按每行来布线传输信号线9、复位信号线10、选择信号线11。

并且，如图1所示，各像素2由光电二极管PD、传输晶体管RGT、放大晶体管Amp、像素选择晶体管Sel、复位晶体管RG、浮置扩散FD构成。

光电二极管PD是生成与入射光相应的信号电荷并进行积聚的光电变换部。传输晶体管RGT在从传输信号线9施加到栅极的传输脉冲（Vrd-n）为高电平的期间开启，将积聚在光电二极管PD中的信号电荷向浮置扩散FD传输。

放大晶体管Amp通过将与传输到浮置扩散FD的信号电荷相应的电压输入栅极，生成与传输到浮置扩散FD的信号电荷相应的信号。

像素选择晶体管Sel在从选择信号线11施加到栅极的选择脉冲（Vsel-n）为高电平的期间开启，使与源极连接的垂直信号线8和放大晶体管Amp的源极间导通。由此，将特定的像素2的信号向垂直信号线8输出。

复位晶体管RG在从复位信号线10施加到栅极的复位脉冲（Vr-n）为高电平的期间开启，将浮置扩散FD的电荷复位。

另一方面，垂直移位寄存器4适当地产生由上述的传输脉冲（Vrd-n）、选择脉冲（Vsel-n）、复位脉冲（Vr-n）构成的驱动信号，一边以线（行）为单位在垂直方向（上下方向）上扫描摄像部3的像素群，一边对各线的像素2进行光电二极管PD的信号电荷的排出（日文：掃き捨て）、及用于开始新的信号电荷的积聚的快门扫描、及用于对各线的像素2进行信号读出的读出扫描。从通过快门扫描而对光电二极管PD不要的电荷进行复位的定时起到通过读出扫描而开始信号的读出的定时为止的期间为曝光期间。另外，对垂直移位寄存器4的细节在后面叙述。

列CDS电路5配置在摄像部3的各列，对于从由垂直移位寄存器4选择出的读出行的各像素2输出到垂直信号线8的信号，进行基于CDS处理的复位噪声及各像素2中固有的固定模式噪声的除去，暂时保持处理后的像素信号。

水平移位寄存器6通过与列CDS电路5的输出端连接的未图示的水平选择开关来进行水平扫描，将暂时保持在列CDS电路5中的1条线的量的像素信号依次向水平信号线12输出。

TG7生成包含作为垂直移位寄存器4、列CDS电路5、水平移位寄存器6的动作的基准的垂直同步信号、水平同步信号的定时信号，向垂直移位寄存器4、水平移位寄存器6供给。

并且，垂直移位寄存器4及TG7的动作通过CPU13进行控制。CPU13对具备CMOS图像传感器1的具有动态图像摄影功能的数字照相机及摄像机等进行控制。

接着，对本实施方式的垂直移位寄存器4的细节进行说明。图2是表示垂直移位寄存器4的电路构成的框图。

如图2所示，垂直移位寄存器4中设有全部线数设定寄存器41、分组数设定寄存器42、曝光时间设定寄存器43这3种寄存器。3种寄存器41、42、43对在CMOS图像传感器1驱动时由CPU13适当设定的任意的参数等进行保持。

即，全部线数设定寄存器41将在帧图像的生成中使用的像素线数保持为全部线数（Lall）。分组数设定寄存器42对将摄像部3的像素群分割为由多个线构成的多个组时的分组数（N）进行保持。曝光时间设定寄存器43对摄像部3中帧图像生成时使用的各像素2的曝光时间（Exp-time）进行保持。另外，曝光时间设定寄存器43中将由CPU13设定的曝光时间换算成从TG7向垂直移位寄存器4供给的水平同步信号（H-sync）的脉冲数后的值进行保持。

并且，垂直移位寄存器4中设有组内线数算出电路44、曝光开始定时发生电路45、曝光结束定时发生电路46、曝光开始定时计数器47、曝光结束定时计数器48、曝光开始线编号生成电路49、曝光结束线编号生成电路50、驱动信号输出电路51。

组内线数算出电路44根据上述分组数（N）和上述全部线数（Lall），通过下式（1）算出各组的线数（Lgrp）并保持。

Lgrp=Lall/N      （式1）

曝光开始定时发生电路45每当从TG7输入垂直同步信号（V-sync）就一边使组内线数（Lgrp）的量的曝光开始定时信号（Timing-s）依次与水平同步信号（H-sync）同步，一边输出。

曝光开始定时计数器47每当曝光开始定时信号（Timing-s）输入就将计数值（Count-s）一边递增（increment）一边输出，每当计数值（Count-s）达到全部线数（Lall）就初始化为0。

曝光开始线编号生成电路49根据曝光开始定时计数器47的计数值（Count-s）、组内线数（Lgrp）、分组数（N），通过下式（2）算出曝光开始线编号（Line-s），向驱动信号输出电路51输出。

Line-s=int{Count-s/Lgrp}+{Count-s mod Lgrp）×N    （式2）

（其中、int是求商（整数部）的函数，mod是求除法的余数的函数。）

曝光结束定时发生电路46将使依次输入的曝光开始定时信号（Timing-s）延迟了曝光时间（Exp-time）量后的曝光结束定时信号（Timing-e）依次输出。

曝光结束定时计数器48每当曝光结束定时信号（Timing-e）输入就将计数值（Count-e）一边递增一边输出，每当计数值（Count-e）达到全部线数（Lall）就初始化为0。

曝光结束线编号生成电路50根据曝光结束定时计数器48的计数值（Count-e）、组内线数（Lgrp）、分组数（N），通过下式（3）算出曝光结束线编号（Line-e），向驱动信号输出电路51输出。

Line-e=int{Count-e/Lgrp}+{Count-e mod Lgrp}×N     （式3）

（其中，int是求商（整数部）的函数，mod是求除法的余数的函数。）

驱动信号输出电路51每当曝光开始定时信号（Timing-s）输入，就将与由曝光开始线编号（Line-s）选择的线对应的驱动信号即复位脉冲（Vr-n）、传输脉冲（Vrd-n）在表示曝光开始的状态下依次输出。并且，驱动信号输出电路51每当曝光结束定时信号（Timing-e）输入，就将与由曝光结束线编号（Line-e）选择的线对应的驱动信号即复位脉冲（Vr-n）、传输脉冲（Vrd-n）、选择脉冲（Vsel-n）在表示曝光结束的状态下依次输出。

另外，在CMOS图像传感器1中，在动态图像摄影时垂直移位寄存器4通过后述的动作以卷帘快门方式驱动摄像部3，从各像素2以行为单位依次读出构成动态图像的帧图像的生成所涉及的像素的信号。此时，垂直移位寄存器4与以往不同，通过以帧为单位来周期性地使帧图像的生成所涉及的作为像素信号的读出对象的多个线变化，从而以比帧周期更长的周期使像素信号从各线的像素输出。

即，本实施方式中，垂直移位寄存器4将帧图像的生成所涉及的像素群分割为由各自以规定的线间隔配置的多个线构成的多个组，将作为像素信号的读出对象的组按每帧进行切换，并且以与组数对应的周期从各组的像素群中依次输出1帧图像的生成所涉及的像素信号。

以下，按照附图来具体说明垂直移位寄存器4的动作。这里为了简便，如图3所示，设摄像部3中的像素群的总线数为“15”。并且，通过CPU13，在全部线数设定寄存器41中将帧图像的生成中使用的像素的线数即全部线数（Lall）设定为“15”，在分组数设定寄存器42中将分组数（N）设定为“3”。

也就是说，对垂直移位寄存器4将摄像部3的全部像素如图3所示分割为由各自以3线间隔配置的5线构成的第1组、第2组、第3组而驱动的情况进行说明。图4是表示该情况下的驱动定时的时序图。

在上述驱动时，在组内线数算出电路44中算出的各组的线数（Lgrp）是“5”，曝光开始定时发生电路45每当垂直同步信号（V-sync）输入，就与水平同步信号（H-sync）同步地将5条线的曝光开始定时信号（Timing-s）依次输出。其间，每当曝光开始定时信号（Timing-s）输入，曝光开始定时计数器47的计数值（Count-s）就以“0”~“14”重复变化。

另外，在驱动开始最初的垂直同步信号（V-sync）刚输入后、曝光开始定时计数器47的计数值（Count-s）以“0”~“4”变化期间，在曝光开始线编号生成电路49中，作为曝光开始线编号（Line-s）依次生成“0、3、6、9、12”。与此相伴，从驱动信号输出电路51对包含线编号为“0”的线的属于图3所示的第1组的各线的像素群依次输出复位脉冲（Vr-n）、传输脉冲（Vrd-n）。也就是说，属于第1组的各线被快门扫描，各线的像素群依次开始曝光。

并且，在下一垂直同步信号（V-sync）刚输入后、曝光开始定时计数器47的计数值（Count-s）以“5”~“9”变化期间，在曝光开始线编号生成电路49中，作为曝光开始线编号（Line-s）依次生成“1、4、7、10、13”。与此相伴，从驱动信号输出电路51向包含线编号为“1”的线的属于图3所示的第2组的各线的像素群依次输出复位脉冲（Vr-n）、传输脉冲（Vrd-n）。也就是说，属于第2组的各线被快门扫描，各线的像素群依次开始曝光。

进而，在下一垂直同步信号（V-sync）刚输入后、曝光开始定时计数器47的计数值（Count-s）以“10”~“14”变化期间，在曝光开始线编号生成电路49中，作为曝光开始线编号（Line-s）依次生成“2、5、8、11、14”。与此相伴，从驱动信号输出电路51向包含线编号为“2”的线的属于图3所示的第3组的各线的像素群依次输出复位脉冲（Vrn）、传输脉冲（Vrd-n）。也就是说，属于第3组的各线被快门扫描，各线的像素群依次开始曝光。

并且，在垂直移位寄存器4中，与上述动作并行，曝光结束定时发生电路46在比依次输入的曝光开始定时信号（Timing-s）的输入定时延迟了曝光时间设定寄存器43中设定的曝光时间（Exp-time）后的定时、也就是延迟了与曝光时间（Exp-time）对应的水平同步信号（H-sync）的脉冲数的量后的定时，将曝光结束定时信号（Timing-e）依次输出。

其间，每当曝光结束定时信号（Timing-e）输入，曝光结束定时计数器48的计数值（Count-e）就以“0”~“14”重复变化。

另外，在比驱动开始最初的垂直同步信号（V-sync）的输入定时延迟了曝光时间（Exp-time）后的定时、曝光结束定时计数器48的计数值（Count-e）以“0”~“4”变化期间，在曝光结束线编号生成电路50中，作为曝光结束线编号（Line-e）依次生成“0、3、6、9、12”。

与此相伴，从驱动信号输出电路51对属于第1组的各线的像素群按各线依次输出复位脉冲（Vr-n）、传输脉冲（Vrd-n）、选择脉冲（Vsel-n）。也就是说，对属于第1组的各线进行读出扫描，依次读出各线的像素信号来作为第1个帧图像的生成所涉及的像素信号。

并且，在比下一垂直同步信号（V-sync）的输入定时延迟了曝光时间（Exp-time）后的定时、曝光结束定时计数器48的计数值（Count-e）以“5”~“9”变化的期间，在曝光结束线编号生成电路50中，作为曝光结束线编号（Line-e）依次生成“1、4、7、10、13”。

与此相伴，从驱动信号输出电路51对属于第2组的各线的像素群按各线依次输出复位脉冲（Vr-n）、传输脉冲（Vrd-n）、选择脉冲（Vsel-n）。也就是说，对属于第2组的各线进行读出扫描，依次读出各线的像素信号来作为第2个帧图像的生成所涉及的像素信号。

进而，在比下一垂直同步信号（V-sync）的输入定时延迟了曝光时间（Exp-time）后的定时、曝光结束定时计数器48的计数值（Count-e）以“10”~“14”变化的期间，在曝光结束线编号生成电路50中，作为曝光结束线编号（Line-e）依次生成“2、5、8、11、14”。

与此相伴，从驱动信号输出电路51对属于第3组的各线的像素群按各线依次输出复位脉冲（Vr-n）、传输脉冲（Vrd-n）、选择脉冲（Vsel-n）。也就是说，对属于第3组的各线进行读出扫描，依次读出各线的像素信号来作为第3个帧图像的生成所涉及的像素信号。

之后，通过重复与上述同样的动作，每当垂直同步信号（V-sync）（每帧）输入，就以比帧周期长的3帧周期依次读出属于各组的多个线的像素群的信号。也就是说，作为各帧图像的生成所涉及的像素信号而依次读出被间隔剔除成三分之一的线数的像素信号，并且按每帧切换被间隔剔除的线。

由此，通过进行像素信号的间隔剔除读出，能够进行高速帧速率下的动态图像摄影。同时，在帧速率可设定的最大的帧速率即1帧期间最短的情况下，也作为可设定的最大的曝光时间（Exp-time（Max））而确保了与不进行像素信号的间隔剔除读出的情况同样的时间。

因此，在高速帧速率下的动态图像摄影时曝光的跟踪范围扩大，即使是以往不能确保恰当的曝光时间那样的对较暗的被摄体进行摄影的情况，也能够确保恰当的曝光时间，作为摄影结果能够得到最佳亮度的动态图像。

另外然而，动态图像摄影时的曝光的跟踪范围在从同一组的多个线的像素中读出像素信号的周期越长时越扩大，但分组数越多则画质越降低。因此，优选的是，分组数在与帧速率、及/或为了得到恰当的曝光应确保的曝光时间、或动态图像所要求的分辨率相应的范围内尽可能少。关于这一点，在本实施方式中，是分组数能够在分组数设定寄存器42中适当设定的构成，由于能够控制分组数，因此上述要求都能够对应。

虽然设定在分组数设定寄存器42中的分组数的决定方法是任意的，但如果使例如CPU13通过图5所示的处理来决定分组数，则能够使分组数成为更恰当的数量。

图5是表示在具备CMOS图像传感器1的具有动态图像摄影功能的数字照相机及摄像机等中进行动态图像摄影时CPU13例如按照用户的要求使分辨率和帧速率的某一方优先而决定分组数的情况下的处理的流程图。

以下，若说明处理内容，则CPU13在使分辨率优先的情况下（步骤S1：是）算出满足用户所期望的分辨率的输出线数L（步骤S2）。接着，CPU13在将CMOS图像传感器1的像素的整体线数设为Lall时，求取满足下式（4）的N（整数）的最大值（步骤S3）。

N<（Lall÷L）        （式4）

接着，CPU13将求出的N决定为分组数，将其设定到分组数设定寄存器42中（步骤S4）。由此，能够决定与所要求的分辨率对应的更恰当的分组数。

另一方面，CPU13在使帧速率优先的情况下（步骤S1：否）算出满足用户所期望的帧速率的帧时间Tframe（步骤S5）。接着，CPU13在通过AE（Auto Exposure）处理算出了与被摄体的亮度相应的恰当的快门速度Tshut后（步骤S6），求取满足下式（5）的N（整数）的最小值（步骤S7）。

N>（Tshut÷Tframe）       （式5）

接着，CPU13将求出的N决定为分组数，将其设定到分组数设定寄存器42中（步骤S4）。由此，能够决定与所要求的帧速率对应的更恰当的分组数。结果，作为摄影结果，能够在将画质的降低抑制到必要的最小限度的同时得到最佳亮度的动态图像。

另外，这里对使帧速率优先的情况下作为分组数而决定考虑了快门速度的分组数即能够得到最佳亮度的动态图像的分组数的情况进行了说明。但是，分组数也可以是不考虑快门速度、单纯仅对应于帧速率的值。并且，在帧速率固定的情况下，分组数可以仅基于快门速度设为可确保得到恰当的曝光的曝光时间的最小值。

并且，在本实施方式中，为了方便，进行了以通过CMOS图像传感器1对单色图像进行摄影来作为帧图像为前提的说明，但不用说本发明在对彩色图像进行摄像来作为帧图像的情况下也有效。

该情况下，如果是例如CMOS图像传感器1是具备拜耳阵列的滤镜矩阵的构成，则摄像部3中G和B的像素交替排列的GB行、G和R的像素交替排列的GR行在V方向上交替排列。因此，如果将由相互邻接的GB行和GR行构成的一组线作为本实施方式中说明的各组中的1条线的量，从各组中将帧图像的生成所涉及的图像的信号以线为单位依次读出，则能够对彩色图像进行摄像来作为帧图像。

Claims (14)

1.一种摄像装置，其特征在于，具备：

摄像部，具有在垂直方向和水平方向上二维排列的像素群，通过卷帘快门方式以线为单位读出帧图像的生成所涉及的像素信号；以及

驱动机构，在动态图像摄影中从上述摄像部以规定的帧周期连续地读出多个帧图像的情况下，以帧为单位周期性地切换各个帧图像中作为读出对象的多个线的位置。

2.如权利要求1所述的摄像装置，其特征在于，

上述驱动机构通过使连续的2个帧图像中作为读出对象的多个线的位置不重复，从而以比动态图像摄影中的上述规定的帧周期长的周期使像素信号从各线的像素输出。

3.如权利要求2所述的摄像装置，其特征在于，

上述驱动机构对各线反复指示使曝光开始的定时和使像素信号输出的定时，将曝光时间的最大长度设定得比动态图像摄影中的上述规定的帧周期长，该曝光时间是从使曝光开始到使像素信号输出为止的期间。

4.如权利要求2所述的摄像装置，其特征在于，

上述驱动机构将作为1帧图像的生成所涉及的像素信号的读出对象的多个线分组，并且以与组数对应的周期使像素信号从各线的像素输出。

5.如权利要求4所述的摄像装置，其特征在于，

上述驱动机构将由上述像素群构成的全部线以与上述组数对应的线间隔依次分配给不同的组。

6.如权利要求4所述的摄像装置，其特征在于，

上述驱动机构使同一组内的全部线的像素的曝光在同一帧期间依次开始或结束。

7.如权利要求4所述的摄像装置，其特征在于，

具备对上述组数进行控制的驱动控制机构。

8.如权利要求7所述的摄像装置，其特征在于，

上述驱动控制机构按照所要求的帧速率来控制上述组数。

9.如权利要求7所述的摄像装置，其特征在于，

上述驱动控制机构按照各组的像素群应确保的曝光时间来控制上述组数。

10.如权利要求7所述的摄像装置，其特征在于，

上述驱动控制机构按照所要求的帧速率和各组的像素群应确保的曝光时间来控制上述组数。

11.如权利要求7所述的摄像装置，其特征在于，

上述驱动控制机构按照帧图像的分辨率来控制上述组数。

12.如权利要求7所述的摄像装置，其特征在于，

还具备曝光控制机构，该曝光控制机构在不超过使像素信号从上述各线的像素输出的周期的范围内任意地设定上述曝光时间，

上述驱动控制机构按照上述曝光控制机构能够设定的最大曝光时间来设定上述组数。

13.一种摄像方法，其特征在于，包括：

读出处理，具有在垂直方向和水平方向上二维排列的像素群，通过卷帘快门方式以线为单位读出帧图像的生成所涉及的像素信号；以及

切换处理，在动态图像摄影中从上述摄像部以规定的帧周期连续地读出多个帧图像的情况下，使各个帧图像中作为读出对象的多个线的位置以帧为单位周期性地切换。

14.一种非易失性记录介质，其特征在于，

保存有程序，该程序使计算机执行如下处理：

读出处理，具有在垂直方向和水平方向上二维排列的像素群，通过卷帘快门方式以线为单位读出帧图像的生成所涉及的像素信号；以及

切换处理，在动态图像摄影中从上述摄像部以规定的帧周期连续地读出多个帧图像的情况下，使各个帧图像中作为读出对象的多个线的位置以帧为单位周期性地切换。

Images