CN110392203A - 摄像装置、记录介质和摄像方法 - Google Patents

Abstract

本发明提供摄像装置、记录介质和摄像方法，降低重拍的必要性并且能够得到校正了像抖的高分辨率图像。摄像装置具有：透镜(11)和摄像元件(22)；像抖校正部(24)，其在规定的可动范围内使被摄体像和摄像元件(22)相对地移位；像抖校正驱动器(25)，其对像抖校正部(24)进行控制从而进行像抖校正和像素偏移，根据与像抖校正部(24)的控制状态对应的像素偏移调整量对像素偏移进行调整；以及微计算机(40)，其使像抖校正驱动器(25)在曝光期间内进行像抖校正，在非曝光期间内进行调整后的像素偏移，并且使摄像元件(22)连续拍摄多个图像。

Description

摄像装置、记录介质和摄像方法

技术领域

本发明涉及进行像抖校正和像素偏移的摄像装置、记录介质、摄像方法。

背景技术

在数字照相机或数字摄像机等摄像装置中，以往公知有对手持拍摄时的抖动进行校正的像抖校正的技术。例如，使摄像元件移位(shift)，或者使摄影镜头的至少一部分移动，由此使摄像元件与被摄体像的相对位置移位，进行像抖校正。

此外，例如以往还公知有如下的像素偏移超清拍摄：以半像素间距进行像素偏移，取得多张图像，根据所取得的多张图像合成一张高分辨率图像。

而且，在具有像抖校正装置的摄像装置中，提出了与像抖校正一起进行像素偏移的技术。

例如，在日本特开平7-287268号公报中记载了一种摄像装置，其具有：抖动检测单元，其检测装置的抖动；摄像元件；光束偏转单元，其配置在摄像元件的光路上的前方，通过在光路中移动而使通过光束偏转；以及控制单元，其对光束偏转单元进行驱动，其中，控制单元根据目标位置信号和抖动检测单元的输出信号进行控制。这里，目标位置信号是用于使摄像元件上成像的被摄体像以与摄像元件的像素间距相关联的规定量进行移动的信号。而且，由此，不会导致装置的大型化和成本升高，能够进行像抖校正和像素偏移双方而得到高品质的图像。

但是，像抖校正构成为例如使用音圈马达等使摄像元件或透镜机械移动，但是，可动范围存在极限。而且，当同时进行像抖校正和像素偏移时，在像抖校正方向和像素偏移方向相同的情况下，移动量较大而超过可动范围，有时无法进行校正。这种情况下，无法得到良好地校正了像抖的高精度的高分辨率图像，需要重新进行拍摄等。

发明内容

本发明的目的在于，提供降低重拍的必要性并且能够得到校正了像抖的高分辨率图像的摄像装置、记录介质、摄像方法。

本发明的一个方式的摄像装置具有：摄像传感器，其具有以规定的像素间距呈二维状排列的多个像素，通过所述多个像素对被摄体像进行曝光，生成电图像；透镜，其将所述被摄体像成像于所述摄像传感器；像抖校正电路，其在规定的可动范围内，在与所述透镜的光轴垂直的方向上使所述被摄体像与所述摄像传感器的位置相对地移位；像抖校正控制电路，其对所述像抖校正电路进行控制，进行减少在所述摄像传感器成像的所述被摄体像的移动的像抖校正，并且进行用于生成高分辨率图像的像素偏移；像素偏移调整电路，其根据所述像抖校正电路的控制状态设定像素偏移调整量，根据所述像素偏移调整量对所述像素偏移进行调整；以及摄像控制电路，其使所述像抖校正控制电路对所述像抖校正电路进行控制，在曝光期间内进行所述像抖校正、在非曝光期间内进行由所述像素偏移调整电路调整后的所述像素偏移，并且使所述摄像传感器连续拍摄多个图像。

本发明的另一个方式是记录了摄像程序的记录介质，所述摄像程序用于使计算机执行以下步骤：摄像步骤，通过摄像传感器的多个像素对由透镜成像的被摄体像进行曝光，生成电图像，其中，所述摄像传感器具有以规定的像素间距呈二维状排列的所述多个像素；像抖校正步骤，在规定的可动范围内，在与所述透镜的光轴垂直的方向上使所述被摄体像与所述摄像传感器的位置相对地移位；像抖校正控制步骤，对所述像抖校正步骤进行控制，进行减少在所述摄像传感器成像的所述被摄体像的移动的像抖校正，并且进行用于生成高分辨率图像的像素偏移；像素偏移调整步骤，根据所述像抖校正步骤的控制状态设定像素偏移调整量，根据所述像素偏移调整量对所述像素偏移进行调整；以及摄像控制步骤，使所述像抖校正控制步骤对所述像抖校正步骤进行控制，在曝光期间内进行所述像抖校正，在非曝光期间内进行通过所述像素偏移调整步骤调整后的所述像素偏移，并且使所述摄像传感器连续拍摄多个图像。

本发明的又一个方式的摄像方法具有以下步骤：摄像步骤，通过摄像传感器的多个像素对由透镜成像的被摄体像进行曝光，生成电图像，其中，所述摄像传感器具有以规定的像素间距呈二维状排列的所述多个像素；像抖校正步骤，在规定的可动范围内，在与所述透镜的光轴垂直的方向上使所述被摄体像与所述摄像传感器的位置相对地移位；像抖校正控制步骤，对所述像抖校正步骤进行控制，进行减少在所述摄像传感器成像的所述被摄体像的移动的像抖校正，并且进行用于生成高分辨率图像的像素偏移；像素偏移调整步骤，根据所述像抖校正步骤的控制状态设定像素偏移调整量，根据所述像素偏移调整量对所述像素偏移进行调整；以及摄像控制步骤，使所述像抖校正控制步骤对所述像抖校正步骤进行控制，在曝光期间内进行所述像抖校正，在非曝光期间内进行通过所述像素偏移调整步骤调整后的所述像素偏移，并且使所述摄像传感器连续拍摄多个图像。

附图说明

图1是示出本发明的实施方式1中的摄像装置的结构的框图。

图2是示出上述实施方式1中、未进行像素偏移调整时的像素偏移位置的例子的时序图。

图3是示出上述实施方式1中、与像抖校正一起进行未进行像素偏移调整的像素偏移时的像抖校正部的移位位置的时序图。

图4是示出上述实施方式1中、进行了像素偏移调整时的像素偏移位置的例子的时序图。

图5是示出上述实施方式1中、与像抖校正一起进行进行了像素偏移调整的像素偏移时的像抖校正部的移位位置的时序图。

图6是示出上述实施方式1中的摄像装置的作用的流程图。

图7是概念性地示出上述实施方式1中、像抖校正量与像素偏移调整量的对应关系的线图。

图8是示出本发明的实施方式2中、根据像抖校正部的控制状态估计从非曝光期间转移到下一帧的曝光期间时的预测像抖校正量的状况的时序图。

图9是示出上述实施方式2中的摄像装置的作用的流程图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

[实施方式1]

图1～图7示出本发明的实施方式1，图1是示出摄像装置的结构的框图。

另外，在本实施方式中，作为摄像装置，举例说明数字照相机，但是不限于此，只要是具有摄像功能的装置即可，可以是任意装置。此外，作为数字照相机，举出了镜头更换式的照相机的例子，但是，也可以为镜头一体型。

该摄像装置构成为使用镜头安装件等以拆装自如的方式连接更换式镜头1和照相机主体2。

更换式镜头1具有透镜11、光圈12、镜头驱动器13、闪存14、微计算机15。

透镜11例如是如下的透镜部：构成为包含1枚以上的光学透镜的摄影光学系统，将被摄体的光学像(被摄体像)成像于照相机主体2的后述摄像元件22。

光圈12是对从透镜11朝向摄像元件22的光束的通过范围进行控制的光学光圈。

镜头驱动器13根据来自微计算机15的指令对透镜11进行驱动，进行对焦位置的调整。而且，镜头驱动器13根据来自微计算机15的指令对光圈12进行驱动，使开口直径变化。通过该光圈12的驱动，被摄体的光学像的明亮度变化，模糊的大小等也变化。

闪存14是记录由微计算机15执行的控制程序和与更换式镜头1有关的各种信息的记录介质。

微计算机15是所谓的镜头侧计算机，与镜头驱动器13、闪存14和后述接口(I/F)37连接。而且，微计算机15经由接口37而与作为主体侧计算机的后述微计算机40进行通信，接受来自微计算机40的指令，进行闪存14中记录的信息的读出/写入，对镜头驱动器13进行控制。进而，微计算机15向微计算机40发送与该更换式镜头1有关的各种信息。

接着，照相机主体2具有机械快门21、摄像元件22、摄像元件驱动器23、像抖校正部24、像抖校正驱动器25、模拟处理部26、模拟/数字转换部(A/D转换部)27、总线28、DRAM(Dynamic Random Access Memory)29、图像处理部30、AE(Auto Exposure)处理部31、AF(Autofocus)处理部32、LCD(Liquid Crystal Display)驱动器33、LCD34、存储器接口(存储器I/F)35、记录介质36、接口(I/F)37、操作部38、闪存39、微计算机40。

机械快门21对来自透镜11的光束到达摄像元件22的时间进行控制，例如成为使快门帘移动的结构的光学快门。该机械快门21例如在静态图像拍摄时通过微计算机40的指令进行驱动，对光束到达摄像元件22的到达时间、即基于摄像元件22的被摄体的曝光时间进行控制。另一方面，机械快门21在动态图像拍摄时或实时取景时维持开放状态，通过摄像元件22的所谓电子快门进行各帧图像的取得。但是，在静态图像拍摄时当然也可以使用电子快门。

摄像元件22是如下的摄像部(摄像传感器)：具有以规定的像素间距呈二维状排列多个像素而得到的像素部，通过多个像素对被摄体像进行曝光，生成电图像。即，摄像元件22根据作为摄像控制部(摄像控制电路)的微计算机40的控制，对通过透镜11和光圈12成像的被摄体的光学像(被摄体像)进行光电转换，生成模拟图像信号。

本实施方式的摄像元件22构成为彩色摄像元件，包含滤色器的颜色不同的多种像素。具体而言，关于像素的种类，存在配置有G(绿色)滤色器的G像素、配置有R(红色)滤色器的R像素和配置有B(蓝色)滤色器的B像素这3种。进而，G像素被分类为配置在与R像素同一行上的Gr像素和配置在与B像素同一行上的Gb像素这2种。

更具体而言，摄像元件22构成为呈马赛克状排列有滤色器的、原色拜耳排列的摄像元件。

这里，如公知的那样，原色拜耳排列构成为将(2,2)像素作为多种像素的基本排列，在基本排列的对角位置配置G像素，在其余的对角位置分别配置R像素和B像素。此时，如上所述，配置在与R像素同一行上的G像素成为Gr像素，配置在与B像素同一行上的G像素成为Gb像素。

而且，摄像元件22构成为在二维方向上周期地重复(2,2)像素的基本排列。

另外，摄像元件22的像素排列不限于拜耳排列，也可以是其他的任意像素排列。因此，基本排列也不限于(2,2)像素。

摄像元件驱动器23根据来自微计算机40的指令对摄像元件22进行驱动，使摄像元件22进行摄像。

像抖校正部24是如下的像抖校正电路：在规定的可动范围内，在与透镜11的光轴垂直的方向上使被摄体像与摄像元件22的位置相对地移位。图1所示的像抖校正部24通过使摄像元件22移位，从而使被摄体像与摄像元件22的位置相对地移位，从而抑制像抖。但是，不限于该结构，也可以是使透镜11的至少一部分移动来校正像抖的像抖校正部24，还可以是具有使摄像元件22移位的结构和使透镜11的至少一部分移动的结构双方的像抖校正部24。

具体而言，像抖校正部24例如包含霍尔元件和音圈马达，利用音圈马达的磁力使包含摄像元件22的摄像单元悬浮在空中，通过霍尔元件检测位置并且对磁力进行控制从而使位置移动。但是，像抖校正部24不限于使用音圈马达和霍尔元件的结构，也可以采用使用其他驱动源和位置检测部的适当结构。

像抖校正驱动器25是如下的像抖校正控制部(像抖校正控制电路)：对像抖校正部24进行控制，进行减少在摄像元件22成像的被摄体像的移动的像抖校正，并且进行用于生成高分辨率图像的像素偏移。像抖校正驱动器25根据来自微计算机40的控制命令，接受像抖校正部24的控制状态的反馈，对像抖校正部24进行控制。

这里，像素偏移是如下处理：在设定了像素偏移超清拍摄模式的情况下，例如以0.5像素间距为单位(或以0.3像素间距为单位、进而也可以是以其他像素间距为单位)使被摄体像与摄像元件22的相对位置偏移的处理。

此外，微计算机40例如根据用于检测摄像装置中产生的手抖等的抖动量的未图示的抖动量检测传感器等的输出，生成用于对像抖校正驱动器25进行控制的控制命令。然后，像抖校正驱动器25根据来自微计算机40的控制命令，对像抖校正部24进行控制，以使得以抵消检测到的像抖的方式(即，在检测到的像抖方向的相反方向上，以检测到的像抖的大小的移位量)使摄像元件22移位，由此进行像抖校正。

进而，像抖校正驱动器25作为如下的像素偏移调整部(像素偏移调整电路)发挥功能：根据像抖校正部24的控制状态设定像素偏移调整量，根据像素偏移调整量对像素偏移进行调整。即，像抖校正驱动器25根据从像抖校正部24反馈的像抖校正量(表示像抖校正部24的控制状态的一个量)，如后所述设定像素偏移调整量，对像素偏移进行调整。

另外，这里，对像抖校正驱动器25作为像素偏移调整部(像素偏移调整电路)发挥功能的结构例进行说明，但是不限于此，例如，也可以构成为微计算机40作为像素偏移调整部(像素偏移调整电路)发挥功能。该情况下，微计算机40计算像素偏移调整量，向像抖校正驱动器25发送基于计算结果的像素偏移调整命令即可。或者，像抖校正驱动器25和微计算机40也可以独立地设置像素偏移调整部(像素偏移调整电路)。

模拟处理部26对从摄像元件22读出的模拟图像信号进行复位噪声等，然后进行波形整形，进而进行增益放大以使得成为目标明亮度。

A/D转换部27将从模拟处理部26输出的模拟图像信号转换为数字图像信号(RAW(原始)图像数据)。

总线28是用于将摄像装置内的某个场所产生的各种数据和控制信号转送到摄像装置内的其他场所的转送路径。本实施方式中的总线28与A/D转换部27、DRAM29、图像处理部30、AE处理部31、AF处理部32、LCD驱动器33、存储器接口35、微计算机40连接。

从A/D转换部27输出的RAW图像数据经由总线28进行转送，暂时存储在DRAM29中。

DRAM29是暂时存储上述RAW图像数据、图像处理部30等中进行处理后的图像数据等各种数据的存储部。

图像处理部30针对经由总线28输入的RAW图像数据，例如进行OB相减、白平衡(WB)增益、去马赛克、噪声降低、颜色转换、伽马转换、放大缩小等各种图像处理。另外，关于在记录介质36中记录静态图像和动态图像时或从记录介质36读出静态图像和动态图像时的数据压缩/数据解压缩，可以通过该图像处理部30进行，也可以设置专用的压缩解压缩部来进行。

进而，图像处理部30作为如下的高分辨率图像合成部发挥功能：在摄像装置设定了像素偏移超清拍摄模式的情况下，根据进行像素偏移而得到的多张图像数据合成高分辨率图像。这里，高分辨率图像是分辨率比从摄像元件22得到的1帧的图像的分辨率高的图像。另外，这里，举出图像处理部30作为高分辨率图像合成部发挥功能的例子，但是不限于此，例如，可有由微计算机40可以作为高分辨率图像合成部发挥功能，也可以构成为由未图示的其他处理器作为高分辨率图像合成部发挥功能。

AE处理部31从经由总线28输入的RAW图像数据中提取亮度成分，根据提取出的亮度成分计算适当曝光条件(给出适当曝光的例如Tv、Av、Sv等的各值)。这里计算出的适当曝光条件用于自动曝光(AE)控制，具体而言，进行基于Av值的光圈12的控制、基于Tv值的机械快门21的控制、或基于Tv值的摄像元件22的曝光定时控制(所谓的电子快门的控制)、基于Sv值的模拟处理部26的增益控制(或图像处理部30等的数字增益控制)等。

AF处理部32从经由总线28输入的RAW图像数据中提取高频成分的信号，通过AF(自动对焦)累积处理取得合焦评价值。这里取得的合焦评价值用于透镜11的AF驱动。另外，AF当然不限于这种对比度AF，例如也可以构成为使用专用的AF传感器(或摄像元件22上的AF用像素)进行相位差AF。

LCD驱动器33是显示装置驱动部，读出通过图像处理部30进行图像处理后存储在DRAM29中的图像数据，将所读出的图像数据转换为影像信号，对LCD34进行驱动控制，使LCD34显示基于影像信号的图像。

LCD34是显示装置，通过上述这种LCD驱动器33的驱动控制来显示图像，并且显示该摄像装置的各种信息。

存储器接口35是进行在记录介质36中记录图像数据的控制的记录控制部，进而，还从记录介质36读出图像数据。

记录介质36是非易失地记录图像数据的记录部，例如由能够相对于照相机主体2进行拆装的存储卡等构成。但是，记录介质36不限于存储卡，也可以是盘状的记录介质，还可以是其他任意的记录介质。此外，记录介质36也可以是内置于照相机主体2内的类型。这样，记录介质36可以是摄像装置固有的结构，但是，也可以不是固有的结构。

接口37以能够双向通信的方式连接更换式镜头1的微计算机15和照相机主体2的微计算机40。

操作部38用于对该摄像装置进行各种操作输入，包含用于接通/断开摄像装置的电源的电源按钮、构成为具有用于指示图像的拍摄开始的例如1st(第一)释放开关和2nd(第二)释放开关的2级式操作按钮即释放按钮、用于进行记录图像的再现的再现按钮、用于进行摄像装置的设定等的菜单按钮、项目的选择操作所使用的十字键和选择项目的确定操作所使用的OK按钮等操作按钮等。

这里，能够使用菜单按钮、十字键、OK按钮等设定的项目包含拍摄模式(静态图像拍摄模式、像素偏移超清拍摄模式、动态图像拍摄模式等)、记录模式、再现模式、像抖校正功能的打开/关闭等。当对该操作部38进行操作后，与操作内容对应的信号被输出到微计算机40。

闪存39是计算机可读取的非暂时性的记录介质，非易失地记录由微计算机40执行的处理程序(包含用于对图像进行摄像的摄像程序)和该摄像装置的各种信息。这里，作为闪存39记录的信息，例如包含用于确定摄像装置的机型名和制造编号、图像处理中使用的参数、用户设定的设定值等。进而，在闪存39中记录有像素偏移的顺序、以及基于像素偏移的顺序的像素偏移方向和像素偏移量。通过微计算机40读取该闪存39记录的信息。

微计算机40是如下的控制部：对照相机主体2内的各部进行控制，并且，经由接口37向微计算机15发送指令，对更换式镜头1进行控制，对该摄像装置进行总括控制。微计算机40对用户从操作部38进行操作输入时输入的信息进行分析，按照闪存39中记录的处理程序，从闪存39读入处理所需要的参数，进行各种运算处理等，并且执行与操作内容对应的各种顺序。

此外，微计算机40经由镜头驱动器13，通过微计算机15和镜头驱动器13进行基于由AE处理部31计算出的Av值的光圈12的控制，并且，还进行基于由AE处理部31计算出Sv值的模拟处理部26的增益控制(或图像处理部30的数字增益控制)。

进而，微计算机40在静态图像拍摄时和像素偏移超清拍摄时，进行基于由AE处理部31计算出的Tv值的机械快门21(或上述电子快门)的控制。

在像抖校正功能设定为接通、并且摄像装置设定了像素偏移超清拍摄模式的情况下，像抖校正部24进行像抖校正和像素偏移。

这种情况下，为了与后述本实施方式的动作进行对比，首先对关闭像素偏移调整部(像素偏移调整电路)的功能的情况下的动作进行说明。另外，实际的像抖校正部24的动作是在二维方向上进行的，但是，这里为了简化说明，对设二维状的像素排列中的一个方向(水平方向和垂直方向中的任意一方)为关注方向的情况下的动作进行说明。

图2是示出未进行像素偏移调整时的像素偏移位置的例子的时序图。在图2(和后述图3～图5、图8)中，纵轴示出像抖校正部24的驱动位置，横轴示出右方向成为时间行进方向的时间轴。而且，纵轴的刻度表示关注方向的像素间距。

在像素偏移超清拍摄模式中，例如以0.5像素间距进行像素偏移，并且通过连拍顺序(sequence)拍摄而取得多张图像。反复进行图像的曝光和被曝光的图像的读出，由此进行连拍。而且，对图像进行曝光的期间是曝光期间E，2个连续的曝光期间E之间的期间是非曝光期间NE(在图2等中标注阴影进行表示)。非曝光期间NE包含图像的读出期间。而且，通过曝光期间E和曝光期间E紧后的非曝光期间NE构成一个帧期间。

然后，下面，设像抖校正部24的初始位置为0、关注方向上的可动范围为-10像素间距～+10像素间距来进行说明。

首先，图2仅示出规定的像素偏移位置。像抖校正部24仅在非曝光期间NE内进行使被摄体像与摄像元件22的位置相对地移位的像素偏移。因此，在曝光期间E内维持移位后的像素偏移位置，不进行与像素偏移相关的移位。这是为了防止曝光中的被摄体像抖动。

在该图2所示的一例中，示出如下情况：设连拍的第1帧的像素偏移位置为初始位置0，在非曝光期间NE内，在正方向上以0.5像素间距进行像素偏移。另外，在图2中，作为一例，示出第1帧的曝光期间E～第5帧的曝光期间E。而且，设该图2所示的像素偏移是进行像素偏移调整之前的基准像素偏移。

图3是示出与像抖校正一起进行未进行像素偏移调整的像素偏移时的像抖校正部24的移位位置的时序图。

图3的实线示出像抖校正驱动器25使像抖校正部24进行的像抖校正。从初始位置0开始进行像抖校正，根据摄像装置中产生的像抖量，以抵消像抖量的方式自适应地在正方向和负方向双方进行像抖校正。

图3的虚线示出在像抖校正的基础上进行图2所示的像素偏移时的像抖校正部24的移位位置(被摄体像与摄像元件22的相对的移位位置，在本实施方式中是基于像抖校正部24实现的摄像元件22的移位位置)。

因此，图3的虚线所示的位置成为对图3的实线所示的移位位置和图2所示的像素偏移量进行相加后的移位位置。图2所示的像素偏移量成为每当帧前进时在正方向上增加的量，因此，每当帧前进时，虚线相对于图3中的实线的偏移量增大。

然后，除了第1帧以外，像素偏移量为正，因此，在像抖校正量为负时，移位位置向从可动范围的负侧的范围端部(-10像素间距)观察到的初始位置0的方向移动，但是，在像抖校正量为正时，移位位置远离初始位置0而靠近可动范围的正侧的范围端部(+10像素间距)，校正的富余量即余量的值减小。

而且，在图3所示的例子中，在第5帧的曝光期间E中，移位位置超过可动范围的范围端部(+10像素间距)。因此，例如摄像单元抵靠在基于像抖校正部24的可动范围的范围端部，产生未正确进行像抖校正的期间，第5帧取得的图像成为包含曝光中的像抖的图像。即使根据包含这种产生了像抖的图像的多帧图像生成高分辨率图像，也无法得到目标的分辨率，例如需要重拍。

因此，在本实施方式的摄像装置中，打开像素偏移调整部(像素偏移调整电路)的功能而进行动作。

图4是示出进行了像素偏移调整时的像素偏移位置的例子的时序图，图5是示出与像抖校正一起进行进行了像素偏移调整的像素偏移时的像抖校正部24的移位位置的时序图。

如上所述，在摄像元件22的像素部中周期地排列有像素，在本实施方式中采用原色拜耳排列，因此，成为将(2,2)像素的基本排列的空间周期作为基本周期的排列。因此，即使以将基本周期作为单位的移位量(基本周期的整数倍的移位量)使像素偏移位置偏移，如果以所偏移的移位量使切出图像的位置移动，则也能够取得目标的像素偏移位置的图像。

因此，作为像素偏移调整部(像素偏移调整电路)发挥功能的像抖校正驱动器25(如上所述，或者是微计算机40等(以下同样))根据表示像抖校正部24的控制状态的像抖校正量，将像素偏移调整量设定为基本周期的整数倍，根据所设定的像素偏移调整量对像素偏移进行调整。

首先，像素偏移调整部(像素偏移调整电路)设定像素偏移调整量的正负，以使得基于像抖校正部24的移位位置靠近可动范围-10～+10像素间距内的初始位置0。

例如，在像抖校正量为正的情况下，将像素偏移调整量设定为负，在像抖校正量为负的情况下，将像素偏移调整量设定为正，在像抖校正量为0的情况下，将像素偏移调整量设定为0(参照后述图7)等。

但是还存在如下情况：在像抖校正量为+0.3像素间距时将像素偏移调整量设定为-2像素间距后，在下一个像素偏移量为+0.5像素间距时，像素偏移调整后的像素偏移量成为-1.5像素间距，不进行像素偏移调整会更接近初始位置0。这种情况下，即使像抖校正量为正，也将像素偏移调整量设定为0。因此，更加自适应地进行实际的控制。

进而，像素偏移调整部(像素偏移调整电路)根据从曝光期间E转移到非曝光期间NE的时刻的基于像抖校正部24的移位位置与可动范围的范围端部(±10像素间距)之间的余量的值，设定像素偏移调整量的大小。

在图5所示的例子中，在第n帧(n＝1～4)中，通过P1(n)示出从曝光期间E转移到非曝光期间NE的时刻的像抖校正量。

首先，从初始位置0开始进行像抖校正部24的驱动控制，因此，第1帧不进行像素偏移调整，像素偏移调整量为0。

而且，P1(1)例如成为+4像素间距(下面适当省略单位“像素间距”)的值。因此，与可动范围的范围端部+10之间的余量的值为6，与可动范围的范围端部-10之间的余量的值为14，较小的一方的余量的值为6。因此，像素偏移调整部(像素偏移调整电路)将接下来的第2帧的像素偏移调整量设定为-2。第2帧的像素偏移量为+0.5，因此，像素偏移调整量后的像素偏移量为-1.5。

同样，P1(2)例如为+4的值，P1(3)为-2.8的值，P1(4)为+7的值。因此，像素偏移调整部(像素偏移调整电路)例如进行以下的像素偏移调整。

帧编号 2 3 4 5

像素偏移调整前的像素偏移量 +0.5、 +1.0、 +1.5、 +2.0

像素偏移调整量 -2.0、 -2.0、 0.0、 -4.0

像素偏移调整后的像素偏移量 -1.5、 -1.0、 +1.5、 -2.0

这里，P1(3)为负值，因此，跟与可动范围的范围端部+10之间的余量的值相比，与可动范围的范围端部-10之间的余量的值较小。而且，与可动范围的范围端部-10之间的余量的值(绝对值)为7.2，还存在向负方向移位的余量，能够判断为像素偏移调整的必要性较低，因此，设像素偏移调整量为0。

此外，P1(1)和P1(2)的较小一方的余量的值为6，与此相对，P1(4)的较小一方的余量的值为3，因此，根据余量的值的大小，在第5帧中，将像素偏移调整量设定为-4。

更一般而言，在摄像元件22的像素部中，在x方向和y方向上排列有多个像素，通过(x,y)表示像素位置。此时，通过(2,2)表示拜耳排列的基本周期，但是，更一般而言，基本周期成为(m,n)(m、n为正整数)。

当设基准像素偏移量为(sx,sy)时，像素偏移调整部(像素偏移调整电路)对像素偏移调整后的像素偏移量进行调整，以使其成为(sx+m×z1,sy+n×z2)(z1、z2为整数)。这里，(m×z1)是x方向的像素偏移调整量，(n×z2)是y方向的像素偏移调整量。

此时，更一般而言，当设x方向的可动范围为xmin≤x≤xmax，设转移到非曝光期间NE的时刻的x方向的像抖校正量为P1x时，像素偏移调整部(像素偏移调整电路)对z1进行调整，以使得例如满足下述的数学式1。

[数学式1]

xmin≤(P1x+sx+m×z1)≤xmax

进而，当设y方向的可动范围为ymin≤y≤ymax，设转移到非曝光期间NE的时刻的y方向的像抖校正量为P1y时，像素偏移调整部(像素偏移调整电路)对z2进行调整，以使得例如满足下述的数学式2。

[数学式2]

ymin≤(P1y+sy+n×z2)≤ymax

这里，数学式1和数学式2意味着设定z1和z2以使得像素偏移后的移位位置进入可动范围内。另外，在满足数学式1的z1和满足数学式2的z2中存在共同的值时，也可以设定为z1＝z2。

这样，图5的虚线所示的像抖校正部24的移位位置与图3的虚线所示的像抖校正部24的移位位置相比，与可动范围的范围端部(±10)之间的余量的值较大。例如在第5帧中，在图3中，移位位置超过可动范围的范围端部+10(但是，在实际的控制中，移位位置不会超过+10，摄像单元抵靠在范围端部+10)，但是，在图5中，移位位置成为低于可动范围的范围端部+10的值。由此，能够显著减少摄像单元抵靠在基于像抖校正部24的可动范围的范围端部的情况，能够降低重拍的必要性。

图6是示出摄像装置的作用的流程图。另外，在图6中，示出摄像装置设定为像素偏移超清拍摄模式的情况下的处理流程，省略记载设定为其他模式的情况下的处理。

例如，当通过接通操作部38的电源按钮等接通摄像装置的电源而开始进行图6所示的处理后，通过摄像元件22取得图像，通过图像处理部30进行实时取景用的图像处理，进行LCD34中显示的实时取景(步骤S1)。

在正在进行实时取景的过程中，微计算机40判定是否对操作部38的释放按钮进行操作而指示了图像偏移拍摄的开始(步骤S2)。

这里，在判定为指示了图像偏移拍摄的开始的情况下，微计算机40打开机械快门21，开始进行曝光(步骤S3)，并且向像抖校正驱动器25发送控制命令，使像抖校正部24进行像抖校正(步骤S4)。

然后，在经过了规定的曝光时间后，微计算机40关闭机械快门21，结束曝光(步骤S5)。另外，这里假设了对机械快门21进行开闭而进行连拍的情况，但是，也可以在打开机械快门21的状态下使用电子快门进行连拍。

接着，微计算机40判定合成高分辨率图像所需要的规定张数的拍摄是否结束(步骤S6)。

这里，在判定为未达到规定张数的情况下，作为像素偏移调整部(像素偏移调整电路)发挥功能的像抖校正驱动器25从像抖校正部24取得从曝光期间E转移到非曝光期间NE的时刻的像抖校正量P1(n)(步骤S7)。

接着，像抖校正驱动器25根据步骤S7中取得的像抖校正量P1(n)，如上所述自适应地设定像素偏移调整量，使用像素偏移调整量对像素偏移量进行像素偏移调整(步骤S8)。

这里，图7是概念性地示出像抖校正量与像素偏移调整量的对应关系的线图。

图7示出在像抖校正量为正的情况下像素偏移调整量被设定为负、在像抖校正量为负的情况下像素偏移调整量被设定为正的倾向。

进而，图7示出如下倾向：在像抖校正量在正向上增加的情况下，像素偏移调整量被设定为在负向上减少(即像素偏移调整量的绝对值增加)，在像抖校正量在负向上减少(即像抖校正量的绝对值增加)的情况下，像素偏移调整量被设定为在正向上增加。

然后，像抖校正驱动器25根据微计算机40的控制，在非曝光期间NE内，如图5的虚线所示，与像抖校正一起进行进行了像素偏移调整的像素偏移(步骤S9)。此外，在非曝光期间NE内，读出曝光期间E内生成的图像。

在非曝光期间NE结束后，再次转移到曝光期间E，返回步骤S3，开始进行曝光。

这样，微计算机40使像抖校正驱动器25对像抖校正部24进行控制，在曝光期间E内进行像抖校正，在非曝光期间NE内进行由像素偏移调整部(像素偏移调整电路)调整后的像素偏移，并且使摄像元件22连续拍摄多个图像。

此外，在步骤S6中判定为达到了规定张数的情况下，图像处理部30根据所取得的多张图像合成高分辨率图像，在LCD34中进行显示，在记录介质36中进行记录后，返回步骤S1，为了进行下一个图像的拍摄而进行实时取景。

另一方面，在步骤S2中判定为未指示图像偏移拍摄的开始的情况下，微计算机40判定是否对操作部38的电源按钮进行了断开操作(步骤S10)。

这里，在判定为未对电源按钮进行断开操作的情况下，返回步骤S1，继续进行实时取景。

另一方面，在步骤S10中判定为对电源按钮进行了断开操作的情况下，结束该处理。

另外，在上述中，以摄像元件22的像素部中的像素排列的基本周期为单位设定了像素偏移调整量。与此相对，近年来，提出了根据任意像素偏移量的图像(例如未以0.5像素间距为单位进行像素偏移的图像)生成高分辨率图像的各种技术，开发了新的算法。因此，在使用这种技术的情况下，不需要以像素部的基本周期的整数倍的像素偏移调整量进行像素偏移调整，可以以任意的像素偏移调整量进行像素偏移调整。因此，例如如图7所示，可以使像素偏移调整量根据像抖校正量而连续变化。

此外，在上述中，作为从曝光期间E转移到非曝光期间NE的时刻的基于像抖校正部24的移位位置(根据该移位位置设定像素偏移调整量)，使用图5所示的像抖校正量P1(n)，但是，取而代之，也可以使用对像抖校正量P1(n)加上图2所示的基准像素偏移量而得到的值(是从曝光期间E转移到非曝光期间NE的时刻的图3的虚线所示的值，是表示像抖校正部24的控制状态的一个量)。

进而，在上述中，在非曝光期间NE内进行像素偏移和像抖校正，但是，在非曝光期间NE不对图像进行曝光，因此，即使不进行像抖校正，所生成的图像中也不会产生曝光中的抖动。因此，可以省略非曝光期间NE内的像抖校正。

根据这种实施方式1，在进行像抖校正的摄像装置中，在进行用于生成高分辨率图像的像素偏移时，根据像抖校正部24的控制状态设定像素偏移调整量，根据像素偏移调整量对像素偏移进行调整，因此，能够减少例如摄像单元抵靠在基于像抖校正部24的可动范围的范围端部的情况，能够降低重拍的必要性。

此外，设定像素偏移调整量的正负，以使得基于像抖校正部24的移位位置靠近可动范围内的初始位置0，因此，能够有效减少例如摄像单元抵靠在基于像抖校正部24的可动范围的范围端部的情况，能够有效降低重拍的必要性。

此时，还根据移位位置与可动范围的范围端部之间的余量的值设定像素偏移调整量的大小，因此，能够更加大幅地减少例如摄像单元抵靠在基于像抖校正部24的可动范围的范围端部的情况。此外，能够防止像素偏移调整量不必要地增大。

而且，像素偏移调整部(像素偏移调整电路)将像素偏移调整量设定为基本排列的周期即基本周期的整数倍，因此，仅对图像的切出位置进行调整就能够得到基准像素偏移量的图像。因此，能够使用以往使用的算法进行高分辨率图像的合成。

而且，在非曝光期间NE内，与像素偏移一起进行像抖校正，因此，在从曝光期间E转移到非曝光期间NE时，不用紧急关闭像抖校正。因此，能够防止像抖校正部24驱动的例如摄像单元的加速度急剧变化。

[实施方式2]

图8和图9示出本发明的实施方式2，图8是示出根据像抖校正部24的控制状态估计从非曝光期间NE转移到下一帧的曝光期间E时的预测像抖校正量的状况的时序图。

在该实施方式2中，对与上述实施方式1相同的部分标注相同标号等并适当省略说明，主要仅对不同之处进行说明。

在上述实施方式1中，根据从曝光期间E转移到非曝光期间NE的时刻的移位位置(例如像抖校正量P1(n))设定像素偏移调整量，但是，在本实施方式中，预测从非曝光期间NE转移到接下来的曝光期间E的时刻的移位位置作为预测移位位置，根据预测移位位置设定像素偏移调整量。

即，如图8所示，作为像素偏移调整部(像素偏移调整电路)发挥功能的像抖校正驱动器25(如上所述，或者是微计算机40等(以下同样))根据从曝光期间E转移到非曝光期间NE的时刻的像抖校正部24的控制状态，估计从非曝光期间NE转移到接下来的曝光期间E的时刻的预测移位位置。

参照图9对具体处理进行说明。这里，图9是示出摄像装置的作用的流程图。

开始进行图9所示的处理后，进行上述步骤S1～S6的处理。

然后，在步骤S6中判定为未达到规定张数的情况下，作为像素偏移调整部(像素偏移调整电路)发挥功能的像抖校正驱动器25根据从曝光期间E转移到非曝光期间NE的时刻的像抖校正部24的像抖校正量P1(n)、像抖校正量的变化率或者还有像抖校正量的2次微分等(这些是表示像抖校正部24的控制状态的量)，预测从非曝光期间NE转移到接下来的曝光期间E的时刻的预测像抖校正量P2(n)(步骤S7A)。在该预测中，可以从各种预测算法中使用适当的算法。例如，可以计算像抖的周期和振幅，考虑像抖的周期和振幅来进行预测。

然后，像抖校正驱动器25根据步骤S7A中计算出的预测移位位置(预测像抖校正量P2(n))与可动范围的范围端部(±10)之间的余量的值，设定像素偏移调整量的大小。此时，当设从非曝光期间NE转移到接下来的曝光期间E的时刻的x方向的预测像抖校正量为P2x、y方向的预测像抖校正量为P2y时，上述数学式1、2分别将P1x、P1y改写为P2x、P2y即可。然后，根据余量的值自适应地设定像素偏移调整量的大小，这点与上述实施方式1相同。进而，像抖校正驱动器25使用像素偏移调整量对像素偏移量进行像素偏移调整(步骤S8A)。

然后，进入步骤S9的处理，在步骤S10中判定为对电源按钮进行了断开操作的情况下结束处理，这点与上述实施方式1的图6所示的处理相同。

另外，在上述中，作为从非曝光期间NE转移到接下来的曝光期间E的时刻的基于像抖校正部24的预测移位位置，使用了图8所示的预测像抖校正量P2(n)，但是，取而代之，也可以使用对预测像抖校正量P2(n)加上图2所示的基准像素偏移量(从非曝光期间NE转移到接下来的曝光期间E的时刻的基准像素偏移量)而得到的值。

根据这种实施方式2，发挥与上述实施方式1大致相同的效果，并且，估计预测移位位置，根据预测移位位置与可动范围的范围端部之间的余量的值设定像素偏移调整量的大小，因此，如果使用高精度的预测算法，则能够更加有效地减少例如摄像单元抵靠在基于像抖校正部24的可动范围的范围端部的情况，能够降低重拍的必要性。

另外，上述各部的处理可以由构成为硬件的一个以上的处理器来进行。例如，各部可以是分别构成为电子电路的处理器，也可以是由FPGA(Field Programmable GateArray)等集成电路构成的处理器中的各电路部。或者，由一个以上的CPU构成的处理器读入并执行记录介质中记录的处理程序，由此，也可以执行作为各部的功能。

此外，在上述中，主要说明了摄像装置，但是，也可以是用于进行与摄像装置相同的处理的摄像方法，还可以是用于使计算机进行与摄像装置相同的处理的处理程序即摄像程序、记录该摄像程序的计算机可读取的非暂时性的记录介质等。

Claims (18)

1.一种摄像装置，其特征在于，所述摄像装置具有：

摄像传感器，其具有以规定的像素间距呈二维状排列的多个像素，通过所述多个像素对被摄体像进行曝光，生成电图像；

透镜，其将所述被摄体像成像于所述摄像传感器；

像抖校正电路，其在规定的可动范围内，在与所述透镜的光轴垂直的方向上使所述被摄体像与所述摄像传感器的位置相对地移位；

像抖校正控制电路，其对所述像抖校正电路进行控制，进行减少在所述摄像传感器成像的所述被摄体像的移动的像抖校正，并且进行用于生成高分辨率图像的像素偏移；

像素偏移调整电路，其根据所述像抖校正电路的控制状态设定像素偏移调整量，根据所述像素偏移调整量对所述像素偏移进行调整；以及

摄像控制电路，其使所述像抖校正控制电路对所述像抖校正电路进行控制，在曝光期间内进行所述像抖校正、在非曝光期间内进行由所述像素偏移调整电路调整后的所述像素偏移，并且使所述摄像传感器连续拍摄多个图像。

2.根据权利要求1所述的摄像装置，其特征在于，

所述像素偏移调整电路设定所述像素偏移调整量的正负，使得基于所述像抖校正电路的移位位置靠近所述可动范围内的初始位置。

3.根据权利要求2所述的摄像装置，其特征在于，

所述像素偏移调整电路还根据从所述曝光期间转移到所述非曝光期间的时刻的所述移位位置与所述可动范围的范围端部之间的余量的值，设定所述像素偏移调整量的大小。

4.根据权利要求2所述的摄像装置，其特征在于，

所述像素偏移调整电路还根据从所述曝光期间转移到所述非曝光期间的时刻的所述像抖校正电路的控制状态，估计从所述非曝光期间转移到接下来的曝光期间的时刻的预测移位位置，根据所述预测移位位置与所述可动范围的范围端部之间的余量的值，设定所述像素偏移调整量的大小。

5.根据权利要求1所述的摄像装置，其特征在于，

所述多个像素包含多种像素，所述多种像素的基本排列在二维方向上周期性地重复而构成所述摄像传感器，

所述像素偏移调整电路将所述像素偏移调整量设定为所述基本排列的周期即基本周期的整数倍。

6.根据权利要求1所述的摄像装置，其特征在于，

所述摄像控制电路在所述非曝光期间内，与所述像素偏移一起，还使所述像抖校正控制电路进行所述像抖校正。

7.一种记录了摄像程序的记录介质，其中，所述摄像程序用于使计算机执行以下步骤：

摄像步骤，通过摄像传感器的多个像素，对由透镜成像的被摄体像进行曝光，生成电图像，其中，所述摄像传感器具有以规定的像素间距呈二维状排列的所述多个像素；

像抖校正步骤，在规定的可动范围内，在与所述透镜的光轴垂直的方向上使所述被摄体像与所述摄像传感器的位置相对地移位；

像抖校正控制步骤，对所述像抖校正步骤进行控制，进行减少在所述摄像传感器成像的所述被摄体像的移动的像抖校正，并且进行用于生成高分辨率图像的像素偏移；

像素偏移调整步骤，根据所述像抖校正步骤的控制状态设定像素偏移调整量，根据所述像素偏移调整量对所述像素偏移进行调整；以及

摄像控制步骤，使所述像抖校正控制步骤对所述像抖校正步骤进行控制，在曝光期间内进行所述像抖校正、在非曝光期间内进行通过所述像素偏移调整步骤调整后的所述像素偏移，并且使所述摄像传感器连续拍摄多个图像。

8.根据权利要求7所述的记录介质，其特征在于，

在所述像素偏移调整步骤中，设定所述像素偏移调整量的正负，使得基于所述像抖校正步骤的移位位置靠近所述可动范围内的初始位置。

9.根据权利要求8所述的记录介质，其特征在于，

在所述像素偏移调整步骤中，还根据从所述曝光期间转移到所述非曝光期间的时刻的所述移位位置与所述可动范围的范围端部之间的余量的值，设定所述像素偏移调整量的大小。

10.根据权利要求8所述的记录介质，其特征在于，

在所述像素偏移调整步骤中，还根据从所述曝光期间转移到所述非曝光期间的时刻的所述像抖校正步骤的控制状态，估计从所述非曝光期间转移到接下来的曝光期间的时刻的预测移位位置，根据所述预测移位位置与所述可动范围的范围端部之间的余量的值，设定所述像素偏移调整量的大小。

11.根据权利要求7所述的记录介质，其特征在于，

在所述像素偏移调整步骤中，将所述像素偏移调整量设定为基本排列的周期即基本周期的整数倍，

所述基本排列是所述摄像传感器作为所述多个像素具有的多种像素的排列，在所述摄像传感器中，所述基本排列在二维方向上周期性地重复。

12.根据权利要求7所述的记录介质，其特征在于，

在所述摄像控制步骤中，在所述非曝光期间内，与所述像素偏移一起，还使所述像抖校正控制步骤进行所述像抖校正。

13.一种摄像方法，其特征在于，所述摄像方法具有以下步骤：

摄像步骤，通过摄像传感器的多个像素，对由透镜成像的被摄体像进行曝光，生成电图像，其中，所述摄像传感器具有以规定的像素间距呈二维状排列的所述多个像素；

像抖校正步骤，在规定的可动范围内，在与所述透镜的光轴垂直的方向上使所述被摄体像与所述摄像传感器的位置相对地移位；

像抖校正控制步骤，对所述像抖校正步骤进行控制，进行减少在所述摄像传感器成像的所述被摄体像的移动的像抖校正，并且进行用于生成高分辨率图像的像素偏移；

像素偏移调整步骤，根据所述像抖校正步骤的控制状态设定像素偏移调整量，根据所述像素偏移调整量对所述像素偏移进行调整；以及

摄像控制步骤，使所述像抖校正控制步骤对所述像抖校正步骤进行控制，在曝光期间内进行所述像抖校正、在非曝光期间内进行通过所述像素偏移调整步骤调整后的所述像素偏移，并且使所述摄像传感器连续拍摄多个图像。

14.根据权利要求13所述的摄像方法，其特征在于，

在所述像素偏移调整步骤中，设定所述像素偏移调整量的正负，使得基于所述像抖校正步骤的移位位置靠近所述可动范围内的初始位置。

15.根据权利要求14所述的摄像方法，其特征在于，

在所述像素偏移调整步骤中，还根据从所述曝光期间转移到所述非曝光期间的时刻的所述移位位置与所述可动范围的范围端部之间的余量的值，设定所述像素偏移调整量的大小。

16.根据权利要求14所述的摄像方法，其特征在于，

在所述像素偏移调整步骤中，还根据从所述曝光期间转移到所述非曝光期间的时刻的所述像抖校正步骤的控制状态，估计从所述非曝光期间转移到接下来的曝光期间的时刻的预测移位位置，根据所述预测移位位置与所述可动范围的范围端部之间的余量的值，设定所述像素偏移调整量的大小。

17.根据权利要求13所述的摄像方法，其特征在于，

在所述像素偏移调整步骤中，将所述像素偏移调整量设定为基本排列的周期即基本周期的整数倍，

所述基本排列是所述摄像传感器作为所述多个像素具有的多种像素的排列，在所述摄像传感器中，所述基本排列在二维方向上周期性地重复。

18.根据权利要求13所述的摄像方法，其特征在于，

在所述摄像控制步骤中，在所述非曝光期间内，与所述像素偏移一起，还使所述像抖校正控制步骤进行所述像抖校正。