CN104243863A - 拍摄装置、拍摄方法 - Google Patents

Abstract

本发明提供拍摄装置、拍摄方法。能够在不使拍摄装置大型化的情况下以低成本实现基于手持的实时B门拍摄。拍摄装置具有：取得亮时图像并且取得与亮时图像相同的曝光时间的暗时图像的摄像部(2)；检测抖动的抖动检测部(7)；图像切出部(3a)，其根据由抖动检测部(7)检测到的抖动从亮时图像中切出校正了抖动的切出亮时图像，并且从暗时图像中切出与切出亮时图像相同的切出位置的切出暗时图像；以及通过从切出亮时图像中减去切出暗时图像而生成校正了暗电流的校正图像的图像处理部(3)。

Description

拍摄装置、拍摄方法

技术领域

本发明涉及取得亮时图像数据和暗时图像数据来校正暗电流的拍摄装置、拍摄方法。

背景技术

由于暗电流而产生的图像噪声在S/N比低的情况、例如将低亮度的被摄体长时间曝光来取得图像的情况下等比较显眼，因此一直以来对这样的暗电流噪声的去除进行了各种提案。

例如，在日本特开2000－209506号公报中，鉴于暗电流根据摄像元件的温度和曝光时间而增减的情况，记载了如下的技术：在刚刚拍摄亮时图像后，在将摄像元件整体遮光的状态下以与亮时图像相同的曝光时间进行电荷蓄积动作，取得由暗电流成分引起的暗时图像，并从亮时图像减去暗时图像，由此减少由暗电流引起的画质降低。

此外，在日本特开2004－229032号公报中，记载了用于减轻伴随亮时图像的拍摄来进行暗时图像的拍摄的复杂性的如下技术。即，在将数码照相机出货前，使快门速度和照相机感光度的组合不同来进行多次暗曝光拍摄，并将所得到的多个暗图像数据存储到存储器中。并且，在实际拍摄时，根据从存储器读出的暗图像数据计算与得到了实际拍摄图像数据时的快门速度和照相机感光度对应的噪声校正数据，并从实际拍摄图像数据中减去计算出的噪声校正数据来去除噪声。

另外，作为在进行长时间曝光时能够确认曝光中的图像的情形的技术，提出了所谓的实时B(live bulb)门拍摄的技术并得到了产品化。该实时B门拍摄是通过将长时间曝光图像时分为多个曝光图像并进行读出显示，使得能够观察将图像逐渐曝光的情形的技术。

参照图24和图25说明该实时B门拍摄中的去除暗电流噪声的处理。图24是示出对亮时图像进行实时B门拍摄时的动作的时序图，图25是示出对暗时图像进行实时B门拍摄时的动作的时序图。另外，在图24和图25中，示出了将全部曝光时间Texp分割为3个分割曝光时间Texpl、TeXp2、Texp3的情况。

如图24所示，亮时图像的实时B门拍摄通过打开机械快门，向像素施加复位脉冲RST进行复位而开始。

并且在从曝光开始起经过了第1分割曝光时间Texp1时，通过与垂直同步信号VD同步地开始读出脉冲RD的施加，从而进行第1次的像素读出，取得第1时分亮时图像数据A1作为拍摄数据。所取得的时分亮时图像数据A1在进行了必要的图像处理后，显示在拍摄装置的显示部上。

接着，在从第1次的像素读出起经过了第2分割曝光时间Texp2时，通过与垂直同步信号VD同步地开始读出脉冲RD的施加，由此进行第2次的像素读出，取得第2时分亮时图像数据A2作为拍摄数据。所取得的时分亮时图像数据A2与第1时分亮时图像数据A1相加，并在进行了必要的图像处理后，显示在拍摄装置的显示部上。由此，在显示部上显示与从曝光开始时刻起进行了曝光时间(Texp1+Texp2)的曝光同等的图像。

进而，在从第2次的像素读出起经过了第3分割曝光时间Texp3时，通过与垂直同步信号VD同步地开始读出脉冲RD的施加，从而进行第3次的像素读出，取得第3时分亮时图像数据A3作为拍摄数据。另外，在结束了全部像素的读出时，关闭机械快门。所取得的时分亮时图像数据A3与第1时分亮时图像数据A1以及第2时分亮时图像数据A2相加(即计算亮时图像数据A＝A1+A2+A3)，并在进行了必要的图像处理后，显示在拍摄装置的显示部上。由此，在显示部上显示与从曝光开始时刻起进行了全部曝光时间Texp的曝光同等的图像。

在进行这样的亮时图像的拍摄后，为了尽可能取得与拍摄了亮时图像的时刻的暗电流的相关性高的暗电流，而没有迟滞地接着进行暗时图像的拍摄。

该暗时图像的取得如图25所示那样进行，除了拍摄是在关闭机械快门的状态下进行以外，到取得拍摄数据为止的处理都与亮时图像的实时B门拍摄相同。但是，通过时分曝光取得的时分暗时图像数据与时分亮时图像数据不同，不将其显示在显示部上。

在这样取得了全部时分暗时图像数据B1、B2、B3后，将这些数据相加，从而计算出与从曝光开始时刻起进行了全部曝光时间Texp的曝光同等的暗时图像数据B＝B1+B2+B3。并且，通过从亮时图像数据A＝A1+A2+A3中减去暗时图像数据B＝B1+B2+B3，生成减少了暗电流成分后的图像数据，然后进行增益放大及其他图像处理等并进行保存。

通过这样的处理，能够用实时取景确认在B门拍摄时逐渐形成的图像的情形，并且能够取得减少固定模式噪声(FPN)后的图像。

上述那样的实时B门拍摄的曝光时间为长的时间，因此前提是利用三脚架等将拍摄装置固定来实施拍摄。

这里，在不利用三脚架等而要用手持进行上述那样的实时B门拍摄的情况下，认为必须进行抖动校正。

抖动校正有在抖动校正方向上驱动镜头或摄像元件的机械抖动校正、和根据被摄体像相对于摄像元件的摄像面的移动而以始终收纳固定的被摄体部分的方式切出图像的一部分的电子抖动校正。

机械抖动校正以将被摄体像相对于摄像元件的光学位置保持为固定的方式来校正抖动，能够通过如上述那样从亮时图像中减去暗时图像来去除FPN。

另一方面，对于电子抖动校正，对于FPN在摄像元件的摄像面上的固定位置处产生的情况，由于图像的切出部分根据抖动而发生变化、即进行电子抖动校正后的亮时图像中的FPN的位置发生变化，因此即使从亮时图像中单纯地减去暗时图像，也无法良好地去除FPN。

因此，考虑在实时B门拍摄中仅进行机械抖动校正，但仅利用机械抖动校正时不能说校正量对于成为长时间曝光的B门拍摄是充分的，当要搭载强力的机械抖动校正功能时，成本增加且拍摄装置大型化。

发明内容

本发明的目的在于提供一种能够在不使拍摄装置大型化的情况下以低成本实现基于手持的实时B门拍摄的拍摄装置、拍摄方法。

简略地说，本发明的某个方式的拍摄装置取得亮时图像数据和暗时图像数据并校正暗电流，所述拍摄装置的特征在于，具有：亮时图像拍摄部，其利用摄像元件拍摄所成像的被摄体像来取得亮时图像数据；暗时图像拍摄部，其将上述摄像元件遮光来取得曝光时间与取得上述亮时图像数据的曝光时间相同的暗时图像数据；抖动检测部，其检测抖动；电子抖动校正部，其根据由上述抖动检测部检测到的抖动，从上述亮时图像数据中切出校正了抖动的切出亮时图像数据；暗时图像切出部，其从上述暗时图像数据中切出与上述切出亮时图像数据相同的切出位置的切出暗时图像数据；以及暗电流校正部，其通过从上述切出亮时图像数据中减去上述切出暗时图像数据，来生成校正了暗电流的校正图像数据。

此外，本发明的某个方式的拍摄方法取得亮时图像数据和暗时图像数据并校正暗电流，所述拍摄方法的特征在于，具有：亮时图像拍摄步骤，利用摄像元件拍摄所成像的被摄体像来取得亮时图像数据；暗时图像拍摄步骤，将上述摄像元件遮光来取得曝光时间与取得上述亮时图像数据的曝光时间相同的暗时图像数据；检测抖动的抖动检测步骤；电子抖动校正步骤，根据通过上述抖动检测步骤检测到的抖动，从上述亮时图像数据中切出校正了抖动的切出亮时图像数据；暗时图像切出步骤，从上述暗时图像数据中切出与上述切出亮时图像数据相同的切出位置的切出暗时图像数据；以及暗电流校正步骤，通过从上述切出亮时图像数据中减去上述切出暗时图像数据，来生成校正了暗电流的校正图像数据。

附图说明

图1是示出本发明实施方式1的拍摄装置的结构的框图。

图2是示出上述实施方式1中的在摄像元件上形成被摄体像的情形的图。

图3是示出上述实施方式1中的拍摄装置相比图2稍微向左上方移动时在摄像元件上成像被摄体像的情形的图。

图4是示出上述实施方式1中的拍摄装置相比图2和图3进一步向左上方移动时在摄像元件上成像被摄体像的情形的图。

图5是示出上述实施方式1中的将在图2～图4的状态下拍摄的各时分图像相加而得到的相加图像的情形的图。

图6是示出上述实施方式1中的与图2对应的机械抖动校正的初始状态的图。

图7是示出上述实施方式1中的与图3对应地将摄像元件稍微向左上方移动进行机械抖动校正时的情形的图。

图8是示出上述实施方式1中的与图4对应地将摄像元件进一步向左上方移动进行机械抖动校正时的情形的图。

图9是示出上述实施方式1中的将在图6～图8的状态下拍摄的各时分图像相加而得到的相加图像的情形的图。

图10是示出上述实施方式1中的与图2对应的图像中的被摄体像的抖动的情形的图。

图11是示出上述实施方式1中的与图3对应的图像中的被摄体像的抖动的情形的图。

图12是示出上述实施方式1中的与图4对应的图像中的被摄体像的抖动的情形的图。

图13是示出上述实施方式1中的与图10对应的电子抖动校正的初始状态的图。

图14是示出上述实施方式1中的与图11对应地将切出区域稍微向右下方移动进行电子抖动校正时的情形的图。

图15是示出上述实施方式1中的与图12对应地将切出区域进一步向右下方移动进行电子抖动校正时的情形的图。

图16是示出上述实施方式1中的对亮时图像进行实时B门拍摄时的动作的时序图。

图17是示出上述实施方式1中的对暗时图像进行实时B门拍摄时的动作的时序图。

图18是示出上述实施方式1中的根据时分切出亮时图像数据和时分切出暗时图像数据生成校正了暗电流后的校正图像数据的情形的图。

图19是示出上述实施方式1中的抖动校正实时B门的处理的流程图。

图20是示出上述实施方式1中的图19的步骤S2的亮时拍摄的处理的流程图。

图21是示出上述实施方式1中的图19的步骤S3的暗时拍摄的处理的流程图。

图22是示出本发明实施方式2中的对暗时图像进行实时B门拍摄时的动作的时序图。

图23是示出上述实施方式2中的图19的步骤S3的暗时拍摄的处理的流程图。

图24是示出以往的对亮时图像进行实时B门拍摄时的动作的时序图。

图25是示出以往的对暗时图像进行实时B门拍摄时的动作的时序图。

具体实施方式

以下，参照附图说明本发明的实施方式。

[实施方式1]

图1至图21示出了本发明的实施方式1，图1是示出拍摄装置的结构的框图。

如图1所示，该拍摄装置具有：镜头1、摄像部2、图像处理部3、AF评价值运算部4、显示部5、抖动检测部7、机械抖动校正部8、曝光控制部9、对焦控制部10、照相机操作部11、照相机控制部12和机械快门13。另外，在图1中还记载了存储卡6，但是该存储卡6构成为可在拍摄装置上拆装，因此也可以不是拍摄装置中的固有结构。

镜头1用于在摄像部2所包含的摄像元件2a的摄像区域中形成光学的被摄体像。该镜头1具有对焦镜头、变焦镜头和光圈等，并且在本实施方式中还具有抖动校正功能。

机械快门13配设在从镜头1到摄像元件2a的光路上，控制被摄体像在摄像元件2a中的通过和摄像元件2a的遮光。

摄像部2包含对由镜头1形成的被摄体像进行光电转换并将其作为图像信号输出的摄像元件2a、和在对从该摄像元件2a输出的图像信号进行放大后将其转换为数字信号的信号处理电路等。另外，在本实施方式中，摄像部2构成为能够在与镜头1的拍摄光轴垂直的面内移动，且具有抖动校正功能。并且，摄像部2兼用作如下部件：亮时图像拍摄部，其利用摄像元件2a拍摄所形成的被摄体像而取得亮时图像数据；以及暗时图像拍摄部，其利用机械快门13将摄像元件2a遮光而取得曝光时间与取得亮时图像数据的曝光时间相同的暗时图像数据。在本实施方式中，这些亮时图像数据和暗时图像数据通过根据照相机控制部12和曝光控制部9的控制进行时分曝光，而作为时分亮时图像数据和时分暗时图像数据被取得。

图像处理部3对从摄像部2输出的图像信号进行去马赛克、颜色校正、边缘校正、颜色空间转换以及伽马转换等各种图像处理。该图像处理部3具有切出摄像元件2a的整个拍摄区域的图像的一部分的图像切出部3a。该图像切出部3a兼用作：电子抖动校正部，其根据由抖动检测部7检测到的抖动从亮时图像数据中切出校正了抖动后的切出亮时图像数据；以及暗时图像切出部，其从暗时图像数据中切出与切出亮时图像数据相同的切出位置的切出暗时图像数据。此外，图像处理部3作为暗电流校正部发挥功能，该暗电流校正部通过从切出亮时图像数据中减去切出暗时图像数据，来生成校正了暗电流后的校正图像数据。并且，图像处理部3还进行将以时分曝光取得的图像数据相加的处理。

AF评价值运算部4根据从摄像部2输出的图像信号计算AF评价值，并输出到照相机控制部12。即，该拍摄装置构成为通过例如像面相位差AF、或对比度AF来进行自动对焦。另外，在进行像面相位差AF的情况下，摄像元件2a还成为具有相位差检测用像素的结构。

显示部5根据由图像处理部3图像处理为显示用的图像信号，对图像进行显示。该显示部5进行实时取景显示(包含实时B门显示)和静态图像显示，并且还显示该拍摄装置的各种信息等。

存储卡6是用于保存由图像处理部3图像处理为记录用的图像信号的记录介质。

抖动检测部7构成为具有加速度传感器等，检测该拍摄装置的抖动并输出到照相机控制部12。

机械抖动校正部8在照相机控制部12的控制下，根据由抖动检测部7检测到的抖动和图像切出部3a的切出区域的位置(切出位置)，机械地校正摄像元件2a(更详细地说，是摄像元件2a的切出区域)与被摄体像的相对抖动。具体而言，机械抖动校正部8使镜头1和摄像元件2a中的至少一方移动来减轻抖动，以抵消作为从通过抖动检测部7检测到的抖动的矢量中减去图像切出部3a的切出位置的矢量(以标准切出位置为准则的当前切出位置的矢量)而得到的结果的抖动矢量。另外，以下为了简单，说明为使摄像元件2a移动来减轻抖动，但也可以移动镜头1来减轻抖动，还可以并用摄像元件2a的移动和镜头1的移动来减轻抖动。机械抖动校正部8将摄像元件2a的机械抖动校正量输出到照相机控制部12。

曝光控制部9根据由照相机控制部12确定的快门速度(曝光时间)，在该照相机控制部12的控制下，控制机械快门13和摄像元件2a的元件快门来取得图像。曝光控制部9还根据由照相机控制部12确定的光圈值，进行镜头1所包含的光圈的控制等。此外，曝光控制部9将摄像元件2a、机械快门13、以及光圈的驱动信息输出到照相机控制部12。

对焦控制部10驱动镜头1以调节焦点。即，对焦控制部10根据从AF评价值运算部4接收到AF评价值的照相机控制部12的控制，驱动镜头1所包含的对焦镜头，使形成在摄像元件2a上的被摄体像达到对焦。此外，对焦控制部10将镜头位置等镜头驱动信息输出到照相机控制部12。

照相机操作部11是用于进行针对该拍摄装置的各种操作输入的操作部。该照相机操作部11中包含以下等操作部件：用于接通/断开拍摄装置的电源的电源开关；用于指示输入静态图像拍摄、动态图像拍摄等的释放按钮；用于设定拍摄模式、再现模式、实时取景模式等的模式按钮。这里，可通过模式按钮设定的拍摄模式大致区分有静态图像拍摄模式和动态图像拍摄模式，在静态图像拍摄模式中能够进一步设定自动、光圈优先、快门速度优先、手动、B门等各拍摄模式。并且实时B门拍摄是在B门拍摄模式中设定了实时取景模式时，例如根据释放按钮的输入操作来执行。

照相机控制部12根据来自对焦控制部10的镜头驱动信息、来自AF评价值运算部4的AF评价值、来自曝光控制部9的各驱动信息、来自抖动检测部7的拍摄装置的抖动、来自机械抖动校正部8的机械抖动校正量、来自图像处理部3的信息以及来自照相机操作部11的操作输入等，控制包含图像处理部3、存储卡6、机械抖动校正部8、曝光控制部9、对焦控制部10等在内的该拍摄装置整体。此外，照相机控制部12具有未图示的内部存储器，存储后述的时分切出亮时图像数据的各切出位置。

接着，参照图2～图5说明由于拍摄装置的抖动而产生的图像中的被摄体像的抖动。这里，图2是示出在摄像元件2a上成像被摄体像的情形的图，图3是示出拍摄装置相比图2稍微向左上方移动时在摄像元件2a上成像被摄体像的情形的图，图4是示出拍摄装置相比图2和图3进一步向左上方移动时在摄像元件2a上成像被摄体像的情形的图，图5是示出将在图2～图4的状态下拍摄的各时分图像相加而得到的相加图像的情形的图。

首先，如图2所示，利用镜头1在摄像元件2a上的某个点处形成被摄体OBJ上的一点的像。另外，在图2中，用点划线示出从被摄体OBJ上的一点起经过镜头1的开口中心而到达至摄像元件2a的主光线(另外，为了比较，图3和图4所示的点划线也是该图2所示的位置关系中的主光线(即不是图3或图4所示的位置关系中的主光线))。

当拍摄装置相比该图2所示的状态稍微向左上方移动时，如图3所示，上述被摄体OBJ上的一点的像在摄像元件2a的摄像面上成像于相比图2稍微靠左上方的位置处。

当拍摄装置相比图2和图3进一步向左上方移动时，如图4所示，上述被摄体OBJ上的一点的像在摄像元件2a的摄像面上成像于相比图3进一步靠左上方的位置处。

因此，在图2～图4的状态下分别拍摄的图像中的电子的被摄体像Iobj1～Iobj3的位置各异，因此相加而得到的相加图像IMG如图5所示那样成为被摄体抖动的图像。此处，由于拍摄装置向左上方移动，因此拍摄范围内的被摄体像如图5所示那样向右下方偏离而被拍摄。

接着，参照图6～图9说明利用机械抖动校正部8驱动摄像元件2a来进行抖动校正的情况。这里，图6是示出与图2对应的机械抖动校正的初始状态的图，图7是示出与图3对应地将摄像元件2a稍微向左上方移动进行机械抖动校正时的情形的图，图8是示出与图4对应地将摄像元件2a进一步向左上方移动进行机械抖动校正时的情形的图，图9是示出将在图6～图8的状态下拍摄的各时分图像相加而得到的相加图像的情形的图。另外，在图6～图8中，用双点划线示出摄像元件2a的传感器移位移动范围SA。此外，图6～图8是从横向观察到的示意图，因此虽然对于左右方向未明示，但摄像部2也能够在左右方向上移动，与上下方向同样，在左右方向上也存在传感器移位移动范围SA。

图6所示的初始状态是开始机械抖动校正的时刻，因此摄像元件2a尚未被移位，而位于传感器移位移动范围SA的中央。

在图7所示的状态下，为了将如图3所示那样朝摄像面的左上方向移动后的被摄体像成像于与图6所示的摄像面上的被摄体像的位置相同的位置处，将摄像元件2a移位到了传感器移位移动范围SA的左上方的位置。

在图8所示的状态下，为了将如图4所示那样朝摄像面的更左上方向移动后的被摄体像成像于与图6所示的摄像面上的被摄体像的位置相同的位置处，将摄像元件2a移位到了传感器移位移动范围SA的更左上方的位置。

这样在图6～图8的状态下分别拍摄的图像中的被摄体像Iobj1～Iobj3的位置大致相同，因此相加而得到的相加图像IMG如图9所示那样成为减少了被摄体像的抖动的图像。

继而，参照图10～图12说明进行图像切出的情况下的、由于拍摄装置的抖动而产生的图像中的被摄体像的抖动。这里，图10是示出与图2对应的图像中的被摄体像的抖动的情形的图，图11是示出与图3对应的图像中的被摄体像的抖动的情形的图，图12是示出与图4对应的图像中的被摄体像的抖动的情形的图。另外，在图10～图12以及后述的图13～图15中，利用EA表示摄像元件2a的整个拍摄区域，利用IA表示切出区域。

在图10～图12中未进行抖动校正，因此以与整个拍摄区域EA的中心相同的位置为中心的标准切出位置的切出区域IA未被变更。因此，图10～图12中的被摄体像Iobj1～Iobj3的位置与图2～图4中的位置(参照图5)相同，仅以下方面不同：为了将切出区域IA用作记录图像或显示图像而成为稍微用电子变焦进行放大(zoomup)后的状态的图像。因此，将图10～图12的切出区域IA相加而得到的相加图像除了稍微被放大的方面以外，与图5所示的被摄体抖动的图像相同。

接着，参照图13～图15，说明由作为电子抖动校正部发挥功能的图像切出部3a进行抖动校正的情况。这里，图13是示出与图10对应的电子抖动校正的初始状态的图，图14是示出与图11对应地将切出区域IA稍微向右下方移动进行电子抖动校正时的情形的图，图15是示出与图12对应地将切出区域IA进一步向右下方移动进行电子抖动校正时的情形的图。

在图13～图15中，根据与图10～图12对应的整个拍摄区域EA中的被摄体像Iobj1～Iobj3的移动，对切出区域IA进行了移位以使得切出区域IA中的被摄体像Iobj1～Iobj3的位置变得相同。将这样的图13～图15的切出区域IA相加而得到的相加图像除了稍微被放大的方面以外，与图9所示的减少了被摄体像的抖动后的图像相同。

并且在本实施方式中，通过组合上述那样的机械抖动校正部8的机械抖动校正、和图像切出部3a的电子抖动校正，实现强力的抖动校正，从而进行长时间曝光的实时B门拍摄。

参见图16～图21说明这样的实时B门拍摄。这里，图16是示出对亮时图像进行实时B门拍摄时的动作的时序图，图17是示出对暗时图像进行实时B门拍摄时的动作的时序图，图18是示出根据时分切出亮时图像数据和时分切出暗时图像数据来生成校正了暗电流后的校正图像数据的情形的图，图19是示出抖动校正实时B门的处理的流程图，图20是示出图19的步骤S2的亮时拍摄的处理的流程图，图21是示出图19的步骤S3的暗时拍摄的处理的流程图。

如图19所示，在将拍摄装置设定为实时B门拍摄模式而开始该抖动校正实时B门的处理时，等待利用照相机操作部11的释放按钮来指示实时B门拍摄的开始(步骤S1)。

此处在进行了释放操作的情况下，进行图20所示的亮时拍摄的处理(步骤S2)。该亮时拍摄的处理是如下处理：将亮时图像数据作为将曝光时间分割为多个分割曝光时间的多张时分亮时图像数据而取得，并按照每个时分亮时图像数据切出校正抖动后的时分切出亮时图像数据。

当进入到该亮时拍摄的处理后，首先开始机械抖动校正部8的机械抖动校正(步骤S11)。

接着，如图16所示，打开机械快门13(步骤S12)，通过与垂直同步信号VD同步地开始复位脉冲RST的施加而开始曝光(步骤S13)。另外，该图16中示出了按照每行依次施加复位脉冲RST的滚动读出的例子，但也可以是一并读出。

然后，进行如下等初始设定，对针对分割曝光的次数进行计数的计数器n设定1、对第1次时分曝光的机械抖动校正量(水平方向校正量△Mx1、垂直方向校正量△Myl)分别设定0(步骤S14)。为了在后级的暗时拍摄中使用该机械抖动校正量的初始值，将其作为校正量动作配置文件存储到照相机控制部12的内部存储器中。

进而，等待经过分割曝光时间Texpn(在图16所示的例子中，是Texpl～Texp3内的与分割曝光次数n对应的时间)(步骤S15)。正在经过该分割曝光时间Texpn的过程中机械抖动校正部8也进行动作并继续进行机械抖动校正，因此减少了曝光中的图像的抖动。

在经过分割曝光时间Texpn后，通过与垂直同步信号VD同步地开始读出脉冲RD的施加，来进行第n次的时分曝光的像素读出，并且开始读出后的像素中的下一次(即(n+1)次的)时分曝光(步骤S16)。

在该步骤S16中作为拍摄数据读出的是第n次时分曝光的整个拍摄区域EA的时分亮时图像数据。

在进行步骤S16的处理后，将机械抖动校正部8复位而返回到初始位置(步骤S17)，并且将复位紧前面的机械抖动校正部8的驱动量用作下一次时分曝光中的切出位置(并且为了在后级的暗时拍摄中使用)，并作为机械抖动校正量(△Mx(n+1)，△My(n+1))存储到照相机控制部12的内部存储器中(步骤S18)。该机械抖动校正量(△Mx(n+1)，△My(n+1))也是上述的校正量动作配置文件。

进行这样的处理基于以下理由。在要用电子抖动校正来进行实时的抖动校正时，必须将与抖动的周期相比足够短的时间间隔作为时分曝光时间来时分读出图像，从而读出次数变多且电耗增加，并且读出噪声增加。因此，实时的抖动校正通过机械抖动校正部8来进行，为了在各时分曝光中使机械抖动校正部8能够发挥充分的功能，每取得1张时分亮时图像数据时(即在开始各时分曝光的时刻)将机械抖动校正部8复位而返回到初始位置。并且，在复位紧前面由机械抖动校正所负责的机械抖动校正量变成由电子抖动校正来负责。由此，能够良好地组合机械抖动校正的特长和电子抖动校正的特长，从而在不增加耗电和读出噪声的情况下实时进行强力的抖动校正。

由此，对于作为第n次时分曝光的机械抖动校正部8的驱动量的图像切出位置(△Bxn，△Byn)，在n＝1时设定为在步骤S14中初始设定的机械抖动校正量(△Mx1，△Myl)，在n＝2时设定为第(n－1)次时分曝光结束紧前面的机械抖动校正量(△Mxn，△Myn)，进行从整个拍摄区域EA的时分亮时图像数据将切出区域IA的时分切出亮时图像数据An(在图16所示的例子中，是A1～A3内的与分割曝光次数n对应的时分切出亮时图像数据)切出的电子抖动校正(步骤S19)。这里(△Bxn，△Byn)是相对于上次切出位置的差分切出位置。即，使切出位置相对于上次切出位置偏离(△Bxn，△Byn)而进行切出。其中此处，当存在图像切出位置以像素为单位、机械抖动校正量以μm为单位等单位制的不同等的情况下，可以乘以适当的常数。此时，时分切出亮时图像数据An的切出位置是与结束第(n－1)次的时分曝光且使机械抖动校正部8复位紧前面的机械抖动校正部8的驱动量对应的位置。

然后，通过图像处理部3将所切出的时分切出亮时图像数据An与之前取得的时分切出亮时图像数据A1～A(n－1)相加，进行显示用的图像处理，并显示在显示部5上(步骤S20)。通过进行这样的处理，在显示部上显示与从曝光开始时刻起进行了曝光时间(Texp1+...+Texpn)的曝光同等的图像，能够利用实时取景来确认在B门拍摄时逐渐形成的图像的情形。而且，所显示的图像成为减少了抖动的图像。

然后，根据释放按钮是否转移到了例如未被按压的状态等，判定是否结束亮时拍摄的处理(步骤S21)。

这里在尚未结束亮时拍摄的处理的情况下，使n的值增加1个(步骤S22)，之后返回到步骤S15反复上述那样的处理。

此外，在步骤S21中判定为结束亮时拍摄的处理的情况下，将计数器n的值作为亮时拍摄时的计数器最大数nmax存储到照相机控制部12的内部存储器中，并且为了减少耗电量而停止机械抖动校正部8的驱动而结束在步骤S11中开始的机械抖动校正(步骤S23)，从而回归到图19所示的抖动校正实时B门的处理。这里亮时拍摄结束通过释放开关的操作进行指示，分割曝光时间在该释放操作的定时被确定。因此，一般而言，最后的分割曝光时间与其他分割曝光时间不同。

再次返回到图19的处理，接着进行图21所示的暗时拍摄的处理(步骤S3)。该暗时拍摄的处理是如下处理：分割为与通过步骤S2的处理取得的多张时分亮时图像数据相同的多个分割曝光时间而取得时分暗时图像数据，按照与时分亮时图像数据分别对应的构成暗时图像数据的每个时分暗时图像数据，切出与时分切出亮时图像数据相同的切出位置的时分切出暗时图像数据。

进入到该暗时拍摄的处理后，首先如图16的右端所示，关闭机械快门13(步骤S31)。因此，在图17中，机械快门13也接着成为关闭状态。

在该暗时状态下，通过与垂直同步信号VD同步地开始复位脉冲RST的施加而开始曝光(步骤S32)。

接着，进行对针对分割曝光的次数进行计数的计数器n设定1等的初始设定(步骤S33)。

然后，等待经过第n次分割曝光的与亮时拍摄相同的分割曝光时间Texpn(步骤S34)。

在经过分割曝光时间Texpn后，通过与垂直同步信号VD同步地开始读出脉冲RD的施加来进行第n次的时分曝光的像素读出，并且开始读出后的像素的下一次(即(n+1)次的)时分曝光(步骤S35)。

在进行步骤S35的处理后，将暗时拍摄的第n次时分曝光的图像切出位置(△Dxn，△Dyn)设定为亮时拍摄的第n次时分曝光的图像切出位置(△Bxn，△Byn)，即设定为在图20的步骤S14和步骤S18中作为亮时拍摄时的电子抖动校正的校正量动作配置文件存储到照相机控制部12的内部存储器中的机械抖动校正量(△Mxn，△Myn)，并进行从整个拍摄区域EA的时分暗时图像数据中将切出区域IA的时分切出暗时图像数据Bn(在图17所示的例子中，是B1～B3内的与分割曝光次数n对应的时分暗时图像数据)切出的暗时图像切出(步骤S36)。这里(△Dxn，△Dyn)是相对于上次切出位置的差分切出位置。即，使切出位置相对于上次切出位置偏离(△Dxn，△Dyn)来进行切出。

然后，根据计数器n是否达到了亮时拍摄时的计数器最大数nmax，判定是否结束暗时拍摄的处理(步骤S37)。

这里在尚未结束暗时拍摄的处理的情况下，使n的值增加1个(步骤S38)，之后返回到步骤S34反复进行上述那样的处理。

此外，在步骤S37中判定为结束暗时拍摄的处理的情况下，回归到图19所示的抖动校正实时B门的处理。

再次返回图19的处理时，如图18所示，通过将时分切出亮时图像数据A1～Anmax相加，如A＝A1+A2+...+Anmax那样计算全部曝光时间Texp＝(Texpl+Texp2+...+Texpnmax)的相加亮时图像数据A(步骤S4)。

同样，如图18所示，通过将时分切出暗时图像数据B1～Bnmax相加，如B＝B1+B2+...+Bnmax那样计算全部曝光时间Texp＝(Texpl+Texp2+...+Texpnmax)的相加暗时图像数据B(步骤S5)。另外，图18在相加暗时图像数据B中用点划线示出了被摄体像，但该被摄体像是为了参考而进行记载的，实际未被曝光。

进而，作为暗电流校正部发挥功能的图像处理部3通过从相加亮时图像数据A中减去相加暗时图像数据B，如A’＝A－B那样计算去除暗电流噪声后的校正图像数据A’(步骤S6)。这里，“暗电流噪声的去除”不仅包含完全去除暗电流噪声的情况，还包含去除一部分暗电流噪声的情况，还可以换言作“暗电流噪声的减少(减轻)”。

另外，此处，将时分切出亮时图像数据Al～Anmax彼此、和时分切出暗时图像数据Bl～Bnmax彼此分别相加后计算出了去除暗电流噪声后的校正图像数据A’，但不限于该运算顺序，只要能够得到相同的结果，则不论用哪种顺序进行运算都可以。例如，可以在如(Al－Bl)、(A2－B2)、...、(Anmax－Bnmax)那样首先计算去除暗电流噪声后的时分亮时图像数据后，通过将它们相加而得到去除暗电流噪声后的校正图像数据A’。

然后，如图18所示，对校正图像数据A’乘以增益G，计算放大后的校正图像数据A’’(步骤S7)，通过图像处理部3对该数据进行各种图像处理并记录到存储卡6中，或在显示部5上显示作为拍摄结果而得到的图像(步骤S8)，从而结束该抖动校正实时B门的处理。

根据这样的实施方式1，时分拍摄亮时图像并进行显示，因此能够利用实时取景来确认在B门拍摄时逐渐形成的图像的情形。

此外，机械抖动校正在机械抖动校正量达到了传感器移位移动范围SA的边界时到达极限，电子抖动校正在切出区域IA达到了整个拍摄区域EA的边界时到达极限，但由于组合这些机械抖动校正和电子抖动校正，因此能够实现强力的抖动校正从而应对手持拍摄。除此以外，根据本实施方式的结构，能够抑制仅利用机械抖动校正来实现强力的抖动校正的情况下那样的成本增加和拍摄装置的大型化。

并且，通过机械抖动校正来进行分割曝光中的实时的抖动校正，每当1次分割曝光结束时将机械抖动校正复位，通过电子抖动校正来负责在复位紧前面的机械抖动校正量，因此不需要通过电子抖动校正来进行实时的抖动校正，能够抑制耗电和读出噪声的增加。

并且，从亮时图像中减去了暗时图像，因此能够得到去除暗电流噪声后的图像。

此时，存储亮时图像的电子抖动校正的切出位置，由于对于暗时图像也从与亮时图像相同的切出位置进行切出，因此在亮时图像和暗时图像中固定模式噪声(FPN)的位置发生偏离的情况消失，能够高精度地进行校正。

由此，能够在不使拍摄装置大型化的情况下以低成本实现基于手持的实时B门拍摄。

[实施方式2]

图22和图23示出了本发明的实施方式2，图22是示出对暗时图像进行实时B门拍摄时的动作的时序图，图23是示出图19的步骤S3的暗时拍摄的处理的流程图。

在该实施方式2中，对与上述实施方式1相同的部分标注相同标号等并适当省略说明，主要仅对不同点进行说明。

本实施方式2相对上述实施方式1，不同之处在于到取得暗时图像并得到相加暗时图像数据B为止的处理。

该暗时拍摄的处理是如下处理：通过作为暗时图像切出部发挥功能的图像切出部3a将暗时图像数据的像素值分割为作为分割曝光时间Texpn与曝光时间Texp之比的曝光时间比而取得时分暗时图像数据，按照与时分亮时图像数据分别对应的构成暗时图像数据的每个时分暗时图像数据，切出与时分切出亮时图像数据相同的切出位置的时分切出暗时图像数据。

即，在图19的步骤S3中进入到暗时拍摄的处理后，在本实施方式中执行图22所示的处理。

于是，首先与步骤S31同样地关闭机械快门13(步骤S41)，与步骤S32同样地开始曝光(步骤S42)。

并且，在本实施方式中，不是等待经过分割曝光时间Texpn，而是等待经过全部曝光时间Texp(步骤S43)。即，在本实施方式中对于暗时图像不进行分割曝光，而进行1次全部曝光时间Texp的曝光。

在经过全部曝光时间Texp后，通过与垂直同步信号VD同步地开始读出脉冲RD的施加而进行像素的读出(步骤S44)。

接着，将所得到的全部曝光时间Texp的暗时图像数据分割为亮时拍摄时的计数器最大数nmax个，从而取得多张时分暗时图像数据(步骤S45)。该分割是不变更像素数等而仅分割像素值的分割。即，时分暗时图像数据通过作为暗时图像切出部发挥功能的图像切出部3a将暗时图像数据的各像素的像素值分割为作为分割曝光时间Texpn与全部曝光时间Texp之比的曝光时间比而取得。

然后，进行对用于对时分暗时图像数据的处理张数进行计数的计数器n设定1等的初始设定(步骤S46)。

进而，将第n张时分暗时图像数据的图像切出位置(△Dxn，△Dyn)设定为亮时拍摄的第n次时分曝光的图像切出位置(△Bxn，△Byn)、即机械抖动校正量(△Mxn，△Myn)，并进行从整个拍摄区域EA的时分暗时图像数据中将切出区域IA的时分切出暗时图像数据Bn切出的暗时图像切出(步骤S47)。

然后，根据计数器n是否达到了亮时拍摄时的计数器最大数nmax，判定是否结束暗时拍摄的处理(步骤S48)。

这里在尚未结束暗时拍摄的处理的情况下，使n的值增加1个(步骤S49)，之后返回到步骤S47反复进行上述那样的处理。

此外，在步骤S48中判定为结束暗时拍摄的处理的情况下，回归到图19所示的抖动校正实时B门的处理。

另外，在上述实施方式1中，在暗时拍摄之前进行了亮时拍摄，这是因为如果不先进行亮时拍摄，则不能确定暗时拍摄中的分割曝光时间和切出区域。但是，在本实施方式的情况下，是在取得了全部时分亮时图像数据和暗时图像数据后，将暗时图像数据分割而取得时分暗时图像数据的序列，因此也能够在亮时拍摄之前进行暗时拍摄。

根据这样的实施方式2，起到与上述实施方式1大致相同的效果，并且暗时图像的读出次数为1次即可，因此能够削减读出时的耗电。并且，在上述实施方式1的处理中，亮时图像的读出次数为nmax次、暗时图像的读出次数为nmax次，合计为2nmax次，但在本实施方式的处理中，亮时图像的读出次数为nmax次，暗时图像的读出次数为1次，合计为(nmax+1)次，因此能够减少读出噪声。如果列举读出噪声量与读出次数的平方根成比例的噪声模型为例，则nmax越大，实施方式2的噪声量与实施方式1的噪声量之比越逐渐接近因此如果nmax为较大的值，则能够削减大约3成的读出噪声。此外，在实施方式1、2中，说明为每次将机械抖动校正复位到初始位置的处理，但可以说不是一定要每次都复位到初始位置。即，通过取代复位到初始位置，而复位到接近机械抖动校正驱动范围的初始位置(中心)的区域侧(靠近初始位置处)，也能够达到大致相同的目的。这是因为，例如在用于复位到机械抖动校正的驱动初始位置的驱动时间相对于曝光时间比较长的情况下，还产生应限制驱动时间而不返回到初始位置，仅进行接近初始位置的驱动的的情况。

[变形技术]

接着，对上述各实施方式的变形技术进行说明。这里，对与上述各实施方式相同的部分适当省略说明。

在上述说明中，叙述了关于校正图像的计算，由于下式成立，因此可以替代左边的运算而进行右边的运算。

(A1+A2+...+Anmax)－(B1+B2+...+Bnmax)

＝(A1－B1)+(A2－B2)+...+(Anmax－Bnmax)

在这些算式中表示的An、Bn(这里，n＝l、2、...、nmax)是分别根据切出区域IA得到的时分切出亮时图像数据、时分切出暗时图像数据，设为根据整个拍摄区域EA得到的切出前的时分亮时图像数据用αn表示、时分暗时图像数据用βn表示。

此外，关于切出，只要n的数字相同，则在αn和βn中切出区域相同，因此设为与n对应的切出运算符(算子)用“fn·”表示。并且，设为利用∑表示n＝l～nmax的相加。

于是，上述算式可如下那样改写。

∑fn·αn－∑fn·βn＝∑(fn·αn－fn·βn)

该算式(的例如右边)能够进一步如下那样变形。

∑(fn·αn－fn·βn)＝∑fn·(αn－βn)

因此，在从根据整个拍摄区域EA得到的时分亮时图像数据αn中减去根据整个拍摄区域EA得到的时分暗时图像数据βn而取得减少了暗电流噪声的校正时分图像数据后，对该校正时分图像数据进行切出运算“fn·”而取得进行电子抖动校正后的切出校正时分图像数据，这样也能够得到相同的结果。该切出校正时分图像数据在之后被进行相加运算而生成校正图像数据。

但是，该情况下，需要存储暗时拍摄和亮时拍摄中的先进行拍摄一方的时分亮时图像数据αn或时分暗时图像数据βn的全部数据。作为用于存储该全部时分图像的由多帧的缓冲存储器等而构成的存储部，能够利用存储卡6，或者还可以在拍摄装置内设置专用的存储部。另外，时分暗时图像数据βn也可以如上述实施方式1那样进行时分曝光而取得，也可以如上述实施方式2那样在进行1次曝光后进行分割而取得。

该变形技术的情况下的结构例如以下所述。

[结构1]

一种拍摄装置，其特征在于，具有：

摄像部，其以任意的顺序进行亮时拍摄和暗时拍摄，在所述亮时拍摄中，将曝光时间分割为多个分割曝光时间，利用摄像元件拍摄所成像的被摄体像来取得多张时分亮时图像数据，在所述暗时拍摄中，将上述摄像元件遮光来取得上述曝光时间的暗时图像数据；

存储部，其至少存储上述亮时拍摄和上述暗时拍摄中的先执行一方的图像数据；

抖动检测部，其检测上述亮时拍摄时的抖动；

暗电流校正部，其通过从上述时分亮时图像数据中，减去与上述时分亮时图像数据分别对应的构成上述暗时图像数据的时分暗时图像数据，取得校正了暗电流的校正时分图像数据；

电子抖动校正部，其根据由上述抖动检测部检测到的抖动，按照每个上述校正时分图像数据而切出校正了抖动的切出校正时分图像数据；以及

相加部，其将切出校正时分图像数据相加来生成校正图像数据。

[结构2]

根据结构1所述的拍摄装置，其特征在于，

上述时分暗时图像数据是利用上述摄像部分割为与多张上述时分亮时图像数据相同的多个分割曝光时间而取得的。

[结构3]

根据结构1所述的拍摄装置，其特征在于，

所述拍摄装置还具有分割部，所述分割部将上述暗时图像数据的像素值分割为作为上述分割曝光时间与上述曝光时间之比的曝光时间比而取得上述时分暗时图像数据。

作为这些结构中的具体的结构，例如摄像部对应于摄像部2，存储部如上述那样对应于存储卡6或设置在拍摄装置内的专用的存储部等，相加部对应于图像处理部3，分割部对应于图像处理部3。此外，说明了作为拍摄装置的结构1～3，但也可以是进行与拍摄装置相同的处理的拍摄方法。

通过该变形技术，也能够起到与上述各实施方式大致相同的效果。

另外，在上述各实施方式等中，说明了使用机械抖动校正和电子抖动校正两者的例子。但是，电子抖动校正在将与抖动的典型周期相比足够短的时间作为时分曝光时间的前提下，如果进一步减少切出区域IA相对于整个拍摄区域EA的大小，则能够获得更强力的抖动校正能力。因此，如果切出区域IA可以变小、即视场角可以变窄或记录图像的像素数可以变少，则仅利用电子抖动校正也能够起到与上述各实施方式等大致相同的效果。因此该情况下，可以不在电子抖动校正中并用机械抖动校正。并且，该情况下，不仅能够在不使拍摄装置大型化的情况下以低成本实现基于手持的实时B门拍摄，而且不需要机械抖动校正，因此能够实现进一步的低成本化。

此外，上述叙述中主要说明了拍摄装置，但也可以是进行与拍摄装置相同的处理的拍摄方法，还可以是用于使计算机执行与拍摄装置相同的处理的拍摄程序、可通过记录该拍摄程序的计算机读取的非暂时性记录介质等。

Claims (9)

1.一种拍摄装置，其取得亮时图像数据和暗时图像数据并校正暗电流，所述拍摄装置的特征在于，具有：

亮时图像拍摄部，其利用摄像元件拍摄所成像的被摄体像来取得亮时图像数据；

暗时图像拍摄部，其将上述摄像元件遮光来取得曝光时间与取得上述亮时图像数据的曝光时间相同的暗时图像数据；

抖动检测部，其检测抖动；

电子抖动校正部，其根据由上述抖动检测部检测到的抖动，从上述亮时图像数据中切出校正了抖动的切出亮时图像数据；

暗时图像切出部，其从上述暗时图像数据中切出与上述切出亮时图像数据相同的切出位置的切出暗时图像数据；以及

暗电流校正部，其通过从上述切出亮时图像数据中减去上述切出暗时图像数据，来生成校正了暗电流的校正图像数据。

2.根据权利要求1所述的拍摄装置，其特征在于，

上述亮时图像拍摄部取得将上述曝光时间分割为多个分割曝光时间的多张时分亮时图像数据作为上述亮时图像数据，

上述电子抖动校正部按照每个上述时分亮时图像数据来切出校正了抖动的时分切出亮时图像数据，

上述暗时图像切出部按照与上述时分亮时图像数据分别对应的构成上述暗时图像数据的每个时分暗时图像数据，切出与上述时分切出亮时图像数据相同的切出位置的时分切出暗时图像数据，

上述暗电流校正部根据上述时分切出亮时图像数据和上述时分切出暗时图像数据，生成校正了暗电流的校正图像数据。

3.根据权利要求2所述的拍摄装置，其特征在于，

由上述暗时图像拍摄部分割为与多张上述时分亮时图像数据相同的多个分割曝光时间而取得上述时分暗时图像数据。

4.根据权利要求2所述的拍摄装置，其特征在于，

由上述暗时图像切出部将上述暗时图像数据的像素值分割为作为上述分割曝光时间与上述曝光时间之比的曝光时间比而取得上述时分暗时图像数据。

5.根据权利要求2所述的拍摄装置，其特征在于，

所述拍摄装置还具有机械抖动校正部，所述机械抖动校正部根据由上述抖动检测部检测到的抖动，机械地校正上述摄像元件与上述被摄体像的相对抖动，

上述机械抖动校正部在正在分别曝光多张上述时分亮时图像数据的过程中进行动作，并且每当取得1张时分亮时图像数据时被置位到初始位置或靠近初始位置，

上述电子抖动校正部在取得置位到初始位置或靠近初始位置后的上述时分亮时图像数据时，切出与置位到初始位置或靠近初始位置紧前面的上述机械抖动校正部的驱动量相当的切出位置的时分切出亮时图像数据。

6.一种拍摄方法，取得亮时图像数据和暗时图像数据并校正暗电流，所述拍摄方法的特征在于，具有：

亮时图像拍摄步骤，利用摄像元件拍摄所成像的被摄体像来取得亮时图像数据；

暗时图像拍摄步骤，将上述摄像元件遮光来取得曝光时间与取得上述亮时图像数据的曝光时间相同的暗时图像数据；

检测抖动的抖动检测步骤；

电子抖动校正步骤，根据通过上述抖动检测步骤检测到的抖动，从上述亮时图像数据中切出校正了抖动的切出亮时图像数据；

暗时图像切出步骤，从上述暗时图像数据中切出与上述切出亮时图像数据相同的切出位置的切出暗时图像数据；以及

暗电流校正步骤，通过从上述切出亮时图像数据中减去上述切出暗时图像数据，来生成校正了暗电流的校正图像数据。

7.根据权利要求6所述的拍摄方法，其特征在于，

上述亮时图像拍摄步骤取得将上述曝光时间分割为多个分割曝光时间的多张时分亮时图像数据作为上述亮时图像数据，

上述电子抖动校正步骤按照每个上述时分亮时图像数据来切出校正了抖动的时分切出亮时图像数据，

上述暗时图像切出步骤按照与上述时分亮时图像数据分别对应的构成上述暗时图像数据的每个时分暗时图像数据，切出与上述时分切出亮时图像数据相同的切出位置的时分切出暗时图像数据，

上述暗电流校正步骤根据上述时分切出亮时图像数据和上述时分切出暗时图像数据，生成校正了暗电流的校正图像数据。

8.根据权利要求7所述的拍摄方法，其特征在于，

通过上述暗时图像拍摄步骤分割为与多张上述时分亮时图像数据相同的多个分割曝光时间而取得上述时分暗时图像数据。

9.根据权利要求7所述的拍摄方法，其特征在于，

通过上述暗时图像切出步骤将上述暗时图像数据的像素值分割为作为上述分割曝光时间与上述曝光时间之比的曝光时间比而取得上述时分暗时图像数据。