CN106257912B - 摄像装置、摄像方法 - Google Patents

Abstract

提供摄像装置、摄像方法。不进行重拍就能够获得比1张摄影的图像更高画质的图像。该摄像装置具有：摄像元件(23)；VCM(26)，其进行像素偏移；以及微型计算机(48)，其向多个不同的位置进行像素偏移并使摄像元件(23)进行摄像，取得多个图像，微型计算机(48)使VCM(26)根据如下的像素偏移顺序进行像素偏移：即使根据不满为了合成高画质的图像所需的规定张数的2张以上的图像进行图像处理，也能够合成比从摄像元件(23)取得的1张图像更高画质的图像。

Description

摄像装置、摄像方法

技术领域

本发明涉及进行像素偏移并生成高画质的合成图像数据的摄像装置、摄像方法。

背景技术

以往，提出有以下技术：以像素间距的非整数倍的移动量进行像素偏移并合成所取得的多个图像数据，生成高画质的合成图像数据。作为具体示例，已知有以下技术：通过依次进行在水平方向和垂直方向上以0.5像素间距为基本单位的像素偏移，取得摄像位置不同的8张图像，合成所取得的8张图像，与1张图像相比，生成在水平方向和垂直方向上具有各2倍的分辨率的高分辨率的合成图像数据。

在这种技术中，需要以较高的精度执行作为合成对象的多个图像间的像素偏移，并且，在多个图像间谋求匹配性。

但是，有时由于在摄影中产生照相机的抖动或者被摄体抖动、或者在摄影中像素偏移机构从目标的像素偏移位置发生偏移等，导致像素偏移的精度下降。或者，在对被摄体进行照明的光源中存在闪烁的情况等下，在不同摄影条件下拍摄多个图像，有时多个图像间的匹配性下降。

这样，当存在手抖或被摄体抖动的影响时，有时无法生成高分辨率的合成图像数据，用户在确认所取得的合成图像且在未成为期望的画质的图像时，根据需要进行重拍。

由于用户主体的重拍需要确认合成图像并进行重拍的操作等，所以作为减轻用户的负担的自动化技术，在例如日本特开平7-177424号公报中记载了以下技术：在像素偏移摄影中检测振动，反复进行再曝光直到拍摄了所需张数的适合于合成的图像为止。

但是，在如记载于日本特开平7-177424号公报的技术中，由于拍摄张数多于合成所需的张数，所以取得合成用的第1张图像的时刻和取得合成用的最后图像的时刻之间的时间差增大，在该时间差之间作为目标的摄影场景发生变化，有时会从原本想要的构图和光景发生偏移。此外，有时即使将摄像装置固定于三脚架，在摄影的中途一旦产生偏差，则在该时刻以后不会返回到原来的位置，即使如何反复曝光也无法获得适合于图像合成的摄影图像。这样，在伴随重拍的图像合成中，不仅是摄影时间延长，还未必能够获得期望的高画质图像，有时即使获得了高画质图像，也会成为有违用户的意图的图像。

发明内容

本发明的目的在于提供不进行重拍就能够获得比1张摄影的图像更高画质的图像的摄像装置、摄像方法。

简单来说，本发明的一个方式的摄像装置进行像素偏移并取得多个图像，其具有：摄像元件，其具有以规定的像素间距2维状排列的多个像素，接收光束进行摄像而取得图像；像素偏移部，其进行像素偏移，该像素偏移使上述摄像元件与由该摄像元件接收的光束在上述2维状排列方向上的相对位置即像素偏移位置发生变化；以及控制部，其使上述像素偏移部进行朝向多个不同的像素偏移位置的像素偏移，在各个像素偏移位置处使上述摄像元件进行摄像而取得多个图像，上述控制部进行控制，以使上述像素偏移部根据如下的像素偏移顺序进行像素偏移：即使根据在拍摄为了合成规定高画质的图像所需的规定张数的上述图像的中途的、不满上述规定张数的2张以上的图像进行图像处理，也能够合成比从上述摄像元件取得的1张图像更高画质的图像。

本发明的一个方式的摄像方法进行像素偏移并取得多个图像，其具有以下步骤：像素偏移步骤，向多个不同的像素偏移位置进行像素偏移，该像素偏移使具有以规定的像素间距2维状排列的多个像素的摄像元件与由该摄像元件接收的光束在上述2维状排列方向上的相对位置即像素偏移位置发生变化；以及摄像步骤，分别在上述多个不同的像素偏移位置处使上述摄像元件接收光束进行摄像，取得多个图像，上述像素偏移步骤是根据如下的像素偏移顺序进行像素偏移的步骤：即使根据在拍摄为了合成规定高画质的图像所需的规定张数的上述图像的中途的、不满上述规定张数的2张以上的图像进行图像处理，也能够合成比从上述摄像元件取得的1张图像更高画质的图像。

附图说明

图1是示出本发明实施方式1的数字照相机的结构的框图。

图2是示出上述实施方式1的合成处理部的结构的框图。

图3是示出上述实施方式1的2张合成处理部的结构的框图。

图4是示出上述实施方式1的4张合成处理部的结构的框图。

图5是示出上述实施方式1的6张合成处理部的结构的框图。

图6是示出上述实施方式1的8张合成处理部的结构的框图。

图7是示出在上述实施方式1中，利用各合成处理部和去马赛克处理部进行的增补的种类和获得的分辨率的图表。

图8是示出上述实施方式1的像素偏移顺序的第1例的图。

图9是示出上述实施方式1的像素偏移顺序的第2例的图。

图10是示出在上述实施方式1中，在第1像素偏移位置获得的像素排列的图。

图11是示出在上述实施方式1中，在第2像素偏移位置获得的像素排列的图。

图12是示出在上述实施方式1中作为进行了第2像素偏移的结果获得的G像素的排列的图。

图13是示出在上述实施方式1中作为进行了第2像素偏移的结果获得的R像素的排列和增补的状况的图。

图14是示出在上述实施方式1中，在第3像素偏移位置获得的像素排列的图。

图15是示出在上述实施方式1中，在第4像素偏移位置获得的像素排列的图。

图16是示出在上述实施方式1中作为进行了第4像素偏移的结果获得的R像素的排列的图。

图17是示出在上述实施方式1中，在第5像素偏移位置获得的像素排列的图。

图18是示出在上述实施方式1中，在第6像素偏移位置获得的像素排列的图。

图19是示出在上述实施方式1中作为进行了第6像素偏移的结果获得的G像素的排列的图。

图20是示出在上述实施方式1中从进行了第6像素偏移的结果的G像素进行增补的例子的图。

图21是示出在上述实施方式1中与从进行了第6像素偏移的结果的G像素进行了增补后的G像素对应的R像素的图。

图22是示出在上述实施方式1中，在第7像素偏移位置获得的像素排列的图。

图23是示出在上述实施方式1中，在第8像素偏移位置获得的像素排列的图。

图24是示出在上述实施方式1中作为进行了第8像素偏移的结果获得的R像素的排列的图。

图25是示出上述实施方式1的像素偏移超分辨率摄影模式的动作的流程图。

图26是示出本发明实施方式2的像素偏移超分辨率摄影模式的动作的流程图。

图27是示出在本发明实施方式3中，利用各合成处理部和去马赛克处理部进行的增补的种类和获得的分辨率的图表。

图28是示出上述实施方式3的4张合成处理部的结构的框图。

图29是示出上述实施方式3的像素偏移顺序的第1例的图。

图30是示出上述实施方式3的像素偏移顺序的第2例的图。

图31是示出在上述实施方式3中作为进行了第4像素偏移的结果获得的Gr像素和Gb像素的排列的图。

图32是示出在上述实施方式3中从进行了第4像素偏移的结果的G像素进行增补的例子的图。

图33是示出在上述实施方式3中，计算与从进行了第4像素偏移的结果的G像素进行了增补后的G像素对应的R像素的状况的图。

图34是示出在上述实施方式3中作为进行了第6像素偏移的结果获得的R像素的排列的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

[实施方式1]

图1至图25示出了本发明的实施方式1，图1是示出数字照相机的结构的框图。另外，虽然在本实施方式中，以数字照相机作为摄像装置为例进行说明，但是不限于此，只要是具有摄像功能的装置即可，可以为任意的装置。

该数字照相机构成为将更换式镜头1和照相机主体2以能够经由接口(I/F)3进行通信的方式连接起来。

更换式镜头1例如经由镜头安装部拆装自如地安装于照相机主体2，利用形成于镜头安装部的电触点(设置于更换式镜头1侧的电触点和设置于照相机主体2侧的电触点)等构成接口3。这样，更换式镜头1能够经由接口3与照相机主体2进行通信。

更换式镜头1具有：镜头11、光圈12、驱动器13、闪存14和微型计算机15。

镜头11是用于将被摄体的光学像成像到照相机主体2的后述的摄像元件23上的摄影光学系统。

光圈12是对光束从镜头11朝向摄像元件23的通过范围进行控制的光学光圈。

驱动器13根据来自微型计算机15的指令，驱动镜头11进行对焦位置的调整，在镜头11为电动变焦镜头等的情况下还进一步进行焦距的变更。除此以外，驱动器13根据来自微型计算机15的指令，驱动光圈12使开口直径发生变化。通过该光圈12的驱动，被摄体的光学像的亮度发生变化，模糊的大小等也发生变化。另外，在后述的像素偏移超分辨率摄影模式中一边进行像素偏移一边取得多张图像数据的情况下，在从取得最初的图像以前的时刻到取得最后的图像以后的时刻为止不驱动光圈12而维持光圈12。这是为了不使驱动光圈12时的振动对像素偏移位置造成影响。

闪存14是存储由微型计算机15执行的控制程序或与更换式镜头1相关的各种信息的存储介质。

微型计算机15是所谓的镜头侧计算机，并与驱动器13、闪存14和接口3连接。而且，微型计算机15经由接口3与后述的作为主体侧计算机的微型计算机48进行通信，接受来自微型计算机48的指令，进行存储在闪存14中的信息的读出/写入，控制驱动器13。并且，微型计算机15向微型计算机48发送与该更换式镜头1相关的各种信息。

接口3将更换式镜头1的微型计算机15和照相机主体2的微型计算机48以能够在双方向上进行通信的方式连接起来。

接着，照相机主体2具有：机械快门21、摄像元件单元22、音圈电机(VCM)26、霍尔元件27、总线28、SDRAM29、AF处理部31、AE处理部32、姿势检测部33、合成处理部34、图像比较部35、图像处理部36、JPEG处理部41、监视器驱动器42、监视器43、存储器接口(存储器I/F)44、记录介质45、操作部46、闪存47和微型计算机48。

机械快门21对来自镜头11的光束到达摄像元件23的时间进行控制，例如是使快门帘运行的结构的光学快门。该机械快门21被微型计算机48的指令驱动，并对光束到达摄像元件23的到达时间、即摄像元件23对被摄体的曝光时间进行控制。

另外，在后述的像素偏移超分辨率摄影模式下一边进行像素偏移一边取得多张图像数据的情况下，在从取得最初的图像数据以前的时刻到取得最后的图像数据以后的时刻为止，将机械快门21维持为打开状态。因此，在多张图像数据的取得中使用基于摄像元件23的电子快门。这是为了不使开闭机械快门21时的振动对像素偏移位置造成影响，并且，也是为了通过缩短各图像数据的曝光时间彼此间的、不进行曝光的空白时间，尽量缩短取得合成规定高画质的图像所需的规定张数的图像数据的时间。

摄像元件单元22具有：摄像元件23、模拟处理部24和模拟/数字转换部(A/D转换部)25。即，本实施方式的摄像元件单元22构成为输出数字图像数据的数字摄像元件单元。但是，当然也可以使摄像元件单元22构成为包含摄像元件23的模拟摄像元件单元，采用将模拟处理部24和模拟/数字转换部(A/D转换部)25设置于模拟摄像元件单元的外部的结构。

摄像元件23具有以规定的像素间距2维状排列的多个像素，根据摄像控制部即微型计算机48的控制，接收来自镜头11和光圈12的光束进行拍摄(也就是说，对所形成的被摄体的光学像进行光电转换)，生成模拟图像信号。这里，摄像元件23配置为将与镜头11的光轴垂直的面作为受光面，所以多个像素的2维状排列方向为与镜头11的光轴垂直的方向。

本实施方式的摄像元件23构成为以1个颜色对应1个像素的方式配置包含亮度相当颜色(例如包含最多亮度成分的G(绿色))的多个颜色的滤色器，具体而言，构成为单板式的摄像元件，该摄像元件在垂直方向和水平方向上排列的多个像素的前表面配置原色拜尔排列(R(红色)G(绿色)B(蓝色)拜尔排列)的滤色器。另外，摄像元件23当然不限于单板式的摄像元件，例如也可以为在基板厚度方向上对颜色成分进行分离的层叠式的摄像元件。

模拟处理部24对于从摄像元件23读出的模拟图像信号，在降低了重置噪声等之后进行波形整形，然后进行增益放大，以便达到目标亮度。

A/D转换部25将从模拟处理部24输出的模拟图像信号转换为数字图像信号(适当地称作图像数据)。

音圈电机(VCM)26是以下的像素偏移部：该像素偏移部以使得包含摄像元件23的摄像元件单元22与由摄像元件单元22的摄像元件23接收的光束在上述2维状排列方向上的相对位置(像素偏移位置)成为包含像素间距的非整数倍(例如半像素间距单位)的移动量的相对位置在内的、移动量不同的多个相对位置的方式，进行使像素偏移位置变化的像素偏移。而且，在移动量不同的多个相对位置处拍摄的多张图像成为在用于获得比从摄像元件23获得的图像数据更高画质的合成图像的合成处理中使用的图像。

具体而言，音圈电机(VCM)26用磁力使摄像元件单元22悬浮在半空中，通过控制磁力，来移动位置。另外，这里，列举了音圈电机(VCM)26作为像素偏移部的例子，但是不限于此，当然也可以采用使用了其他驱动源等的适当的结构的像素偏移部。

此外，在图1所示的结构例中，通过作为像素偏移部的音圈电机(VCM)26使摄像元件单元22移动，但是，也可以是使镜头11移动的结构，当然也可以是使摄像元件单元22和镜头11双方移动的结构。

霍尔元件27是按照时间序列顺序检测通过音圈电机(VCM)26进行移动的摄像元件单元22在摄影动作中的像素偏移位置的像素偏移位置检测部。这里，使用霍尔元件27作为像素偏移位置检测部，但是当然不限于霍尔元件27。

此外，在本实施方式中，虽然为了通过音圈电机(VCM)26使摄像元件单元22移动，通过霍尔元件27检测摄像元件单元22的位置，但是在采用通过音圈电机(VCM)26使镜头11移动的结构的情况下，通过霍尔元件27检测镜头11的位置。同样，在通过音圈电机(VCM)26使摄像元件单元22和镜头11双方移动的情况下，设置检测摄像元件单元22的位置的霍尔元件27和检测镜头11的位置的霍尔元件27两者。

总线28是用于将在数字照相机内的某个场所产生的各种数据和控制信号传输到数字照相机内的其他场所的传输路径。本实施方式中的总线28与A/D转换部25、音圈电机(VCM)26、霍尔元件27、SDRAM29、AF处理部31、AE处理部32、合成处理部34、图像比较部35、图像处理部36、JPEG处理部41、监视器驱动器42、存储器I/F44和微型计算机48连接。

从摄像元件单元22的A/D转换部25输出的图像数据(以下适当称作RAW图像数据)经由总线28被传输，并临时存储在SDRAM29中。

SDRAM29是用于临时存储上述的RAW图像数据、或者在合成处理部34、图像处理部36、JPEG处理部41等中处理后的图像数据等各种数据的存储部。

AF处理部31从RAW图像数据中提取高频成分信号，通过AF(自动对焦)累计处理来取得对焦评价值。这里所取得的对焦评价值被用于镜头11的AF驱动。另外，AF当然不限定于这种对比度AF，例如也可以设置为使用专用的AF传感器(或者摄像元件23上的AF用像素)进行相位差AF。

AE处理部32根据RAW图像数据，计算被摄体亮度。这里计算出的被摄体亮度用于自动曝光(AE)控制、即光圈12的控制或机械快门21的控制、摄像元件23的曝光时机控制(或者所谓的电子快门的控制)等。另外，这里使用了RAW图像数据作为用于计算被摄体亮度的数据，但是作为替代，当然也可以设置数字照相机专用的测光传感器并使用所获得的数据。

姿势检测部33是具有用于检测数字照相机的移动的陀螺仪传感器等的移动检测部，将检测结果输出到微型计算机48。

合成处理部34是通过合成在多个不同的像素偏移位置处取得的多个图像数据，合成比从摄像元件23取得的1张图像数据更高画质的合成图像数据的图像合成部。合成图像存在以下两种情况：与对所拍摄的1张图像进行图像处理而获得的图像为相同像素数但是像素排列中的欠缺像素少(或者，没有欠缺像素)而成为高画质的情况、和像素数增加而成为高画质的情况。这时，将像素数增加且分辨率升高的情况下的图像适当称作超分辨率图像。

图像比较部35兼用作检测照射到被摄体的光的变化(例如，闪烁等)的环境光检测部和检测所取得的多个图像中的被摄体的移动的被摄体抖动检测部。图像比较部35通过比较多个图像数据，检测环境光的变化和被摄体抖动，将检测结果输出到微型计算机48。由此，微型计算机48能够判定是否取得了对于图像合成不恰当的图像数据。

图像处理部36对RAW图像数据或由合成处理部34生成的合成图像数据进行各种图像处理，并包含去马赛克处理部37、边缘强调处理部38和降噪处理部39。

去马赛克处理部37进行以下的去马赛克处理：根据每1个像素仅存在RGB成分中的1个颜色成分的RGB拜尔排列的图像数据，从周边像素对在关注像素中不存在的颜色成分进行增补并求出，从而转换为使所有像素全部具有RGB这3个颜色成分的RGB这3个面的图像数据。

边缘强调处理部38用于对图像数据进行边缘强调处理。

降噪处理部39通过对图像数据进行与空间频率相应的核化处理等，进行降噪处理。

这样，将由图像处理部36进行了各种处理后的图像数据再次存储到SDRAM29。

JPEG处理部41在记录图像数据时，从SDRAM29读出图像数据，并按照JPEG压缩方式对所读出的图像数据进行压缩，将压缩后的图像数据临时存储于SDRAM29。这样存储在SDRAM29中的压缩后的图像数据被微型计算机48附加构成文件所需的文件头并整理为记录用的数据。而且，根据微型计算机48的控制，将整理出的记录用的数据经由存储器I/F44记录在记录介质45中。

此外，JPEG处理部41还进行所读出的图像数据的解压缩。即，在进行已记录图像的再现的情况下，根据微型计算机48的控制，经由存储器I/F44从记录介质45读出例如JPEG文件，并临时存储于SDRAM29。JPEG处理部41读出存储于SDRAM29中的JPEG图像数据，按照JPEG压缩方式对所读出的JPEG图像数据进行压缩，将压缩后的图像数据存储于SDRAM29。

监视器驱动器42读出在SDRAM29中存储的图像数据，将读出的图像数据转换为影像信号，对监视器43进行驱动控制并使监视器43显示基于影像信号的图像。在由该监视器驱动器42进行的图像显示中包含：仅短时间显示刚刚拍摄后的图像数据的记录浏览显示、记录在记录介质44中的JPEG文件的再现显示和实时取景显示等。

监视器43通过如上所述的监视器驱动器42的驱动控制，显示图像，并且显示该数字照相机涉及的各种信息。

存储器I/F44是进行向记录介质45记录图像数据的控制的记录控制部，并且，还进行来自记录介质45的图像数据的读出。

记录介质45是非易失性存储图像数据的记录部，例如由能够在照相机主体2上拆装的存储卡等构成。但是，记录介质45不限于存储卡，可以是盘状的记录介质，也可以是其他任意的记录介质。因此，记录介质45无需是数字照相机固有的结构。

操作部46用于进行针对该数字照相机的各种操作输入，包含：用于使数字照相机的电源接通/断开的电源按钮、用于指示图像的摄影开始的例如由1st(第一)释放开关和2nd(第二)释放开关构成的作为2级式操作按钮的释放按钮、用于进行记录图像的再现的再现按钮、用于进行数字照相机的设定等的菜单按钮、在项目的选择操作中使用的十字键或在选择项目的确定操作中使用的OK按钮等操作按钮等。在此，能够使用菜单按钮或十字键、OK按钮等进行设定的项目包含摄影模式(通常摄影模式、像素偏移超分辨率摄影模式)、记录模式(JPEG记录模式、RAW+JPEG记录模式等)等。在对操作部46进行操作后，将与操作内容相应的信号输出到微型计算机48。

闪存47是非易失性存储由微型计算机48执行的处理程序和该数字照相机涉及的各种信息的存储介质。在此，作为由闪存48进行存储的信息，例如可举出在边缘强调处理中使用的参数和在降噪处理中使用的参数等数字照相机的动作所需的各种参数、像素偏移超分辨率摄影模式中的像素偏移的大小、方向、顺序等信息、以及用于确定数字照相机的制造编号等若干例子。该闪存47进行存储的信息由微型计算机50读取。

微型计算机48是控制照相机主体2内的各部，并且经由接口3向微型计算机15发送指令，控制更换式镜头1的控制部，并是统一控制该数字照相机的控制部。在由用户从操作部46进行操作输入后，微型计算机48按照在闪存47中存储的处理程序，从闪存47读入处理所需的参数，执行与操作内容相应的各种处理序列。

作为控制部的微型计算机48特别还作为使上述的音圈电机(VCM)26进行朝向多个不同的像素偏移位置的像素偏移，在各个像素偏移位置处使摄像元件23进行摄像并取得多个图像数据的摄像控制部发挥作用。

这时，如后所述，微型计算机48进行控制，使音圈电机(VCM)26按照即使根据在拍摄为了合成规定高画质的图像所需的规定张数的图像的中途的、未满规定张数的2张以上的图像进行图像处理，也能够合成比从摄像元件取得的1张图像更高画质的图像的像素偏移顺序进行像素偏移。

此外，上述的霍尔元件27、姿势检测部33和图像比较部35均构成检测部，该检测部在取得规定张数的图像的中途检测是否产生了不良图像，该不良图像不适合作为为了合成高画质图像而使用的图像。另外，可以将这些全部用作检测部，也可以使用1个以上。

因此，微型计算机48根据是否在由霍尔元件27检测出的位置存在超过容许范围的偏差，根据是否由姿势检测部33检测出数字照相机的规定量以上的移动，根据是否由图像比较部35检测出环境光的变化和被摄体抖动，判定是否取得了不适合于图像合成的图像数据。而且，在检测出产生了不良图像的情况下，微型计算机48如后所述地进行与未检测出产生了不良图像的情况不同的控制。

接着，图2是示出合成处理部34的结构的框图。

合成处理部34根据是基于从第1张到第几张的图像来合成高画质的图像而设有多种。

即，合成处理部34具有：2张合成处理部34a，其根据从摄像元件23取得的2张图像数据，合成比从摄像元件23取得的1张图像更高画质的图像：4张合成处理部34b，其同样根据4张图像数据来合成图像；6张合成处理部34c，其根据6张图像数据来合成图像；以及8张合成处理部34d，其根据8张图像数据来合成图像。

而且，如之后参照图25所说明的那样，微型计算机48根据由检测部最初检测出的不良图像是第几张，选择合成处理部的种类，即，使用合成处理部34a～34d中的哪一个，使选择出的合成处理部进行处理。

图3是示出2张合成处理部34a的结构的框图。

2张合成处理部34a具有：像素配置部51，其以与摄像元件23的分辨率相同的分辨率(以下，适当称作1×1分辨率)来配置所输入的2张图像数据的各像素；以及像素增补部52，在由像素配置部51配置的图像数据的相同颜色成分的像素排列中，对产生了欠缺的像素位置的像素进行增补。

另外，Gr像素是在RGB拜尔排列中配置于与R像素同一行的G像素，Gb像素是在RGB拜尔排列中配置于与B像素同一行的G像素。而且，在从像素增补部52输出这些Gr像素和Gb像素时，无区别地仅作为G像素而输出。

图4是示出4张合成处理部34b的结构的框图。

4张合成处理部34b具有：像素配置部51，其以与摄像元件23的分辨率相同的分辨率(1×1分辨率)配置所输入的4张图像数据的各像素；相加部53，其对由像素配置部51配置的图像数据中的、相同像素位置的Gr像素和Gb像素进行相加；以及除法部54，其使由相加部53进行了相加的像素值为其1/2，作为G像素而进行输出。在此，由相加部53和除法部54构成平均化部，从除法部54输出的G像素是相同像素位置的Gr像素和Gb像素的平均值。

图5是示出6张合成处理部34c的结构的框图。

6张合成处理部34c具有：像素配置部51，其根据像素偏移位置配置所输入的6张图像数据的各像素；倾斜像素偏移增补部55，其对由像素配置部51进行了配置的图像数据中的Gr像素和Gb像素进行倾斜像素偏移增补并作为G像素而输出；以及分割增补部56，其分别对由像素配置部51进行了配置的图像数据中的R像素和B像素进行分割增补。

在此，倾斜像素偏移增补部55进行以下处理：通过进行如后所述的倾斜像素偏移增补，生成摄像元件23的分辨率的纵2倍且横2倍的分辨率(以下，适当称作2×2分辨率)的超分辨率图像。此外，分割增补部56进行以下处理：将摄像元件23的分辨率的R、B像素复制到摄像元件23的分辨率的纵2倍且横2倍的分辨率(2×2分辨率)的4个像素位置，生成2×2倍的像素数的R、B成分。

图6是示出8张合成处理部34d的结构的框图。

8张合成处理部34d具有：像素配置部51，其根据像素偏移位置配置所输入的8张图像数据的各像素；倾斜像素偏移增补部55，其分别对由像素配置部51进行了配置的图像数据的Gr像素、Gb像素、R像素、B像素进行倾斜像素偏移增补并输出；相加部53，其对由倾斜像素偏移增补部55进行了增补的图像数据中的、相同像素位置的Gr像素和Gb像素进行相加；以及除法部54，其使由相加部53进行了相加后的像素值成为其1/2，并作为G像素进行输出。在此，与上述同样，由相加部53和除法部54构成平均化部，从除法部54输出的G像素是相同像素位置的Gr像素和Gb像素的平均值。

接着，图7是示出由各合成处理部34a～34d和去马赛克处理部37进行的增补的种类和获得的分辨率的图表。

在此，“像素增补”意味着对在相同颜色成分的像素排列处产生了欠缺的像素位置的像素进行增补，“无增补”意味着不进行该增补。该“像素增补”由像素增补部52和去马赛克处理部37进行。

此外，“倾斜像素偏移增补”是在获得超分辨率图像的情况下至少对亮度相当成分(G成分)(或者进一步对R成分和B成分)进行的增补。该“倾斜像素偏移增补”由倾斜像素偏移增补部55进行。

并且，“分割增补”是在获得超分辨率图像时根据需要对除了亮度相当成分以外的成分(R成分和B成分)进行的增补。该“分割增补”由分割增补部56进行。

为了仅根据从摄像元件23取得的1张图像来获得用于记录在记录介质45中的图像，与逐张拍摄图像的通常摄影模式时同样，由去马赛克处理部37进行去马赛克处理，该去马赛克处理根据周边像素对在RGB拜尔排列的注目像素中不存在的颜色成分进行像素增补并求出。因此，作为处理的结果获得的图像为与摄像元件23的分辨率相同的分辨率(1×1分辨率)的图像。

此外，如之后所说明，对进行了像素间距的整数倍(不包含非整数倍)的像素偏移的第1～2张图像进行由2张合成处理部34a进行的处理，由于没有欠缺像素而无需对G像素进行像素增补，对R像素和B像素分别进行像素增补。

并且，如之后所说明，对进行了像素间距的整数倍(不包含非整数倍)的像素偏移的第1～4张图像进行由4张合成处理部34b进行的处理，由于不存在欠缺像素，也无需对R像素、G像素和B像素中的任意像素进行像素增补。

而且，如之后所说明，对以包含像素间距的非整数倍的方式进行了像素偏移的第1～6张目的图像进行由6张合成处理部34c进行的处理，对G像素进行倾斜像素偏移增补，分别对R像素和B像素进行分割增补。

除此以外，如之后所说明，对以包含像素间距的非整数倍的方式进行了像素偏移的第1～8张图像进行由8张合成处理部34d进行的处理，分别对Gr像素、Gb像素、R像素和B像素进行倾斜像素偏移增补。

接着，图8是示出像素偏移顺序的第1例的图，图9是示出像素偏移顺序的第2例的图。

这些第1例和第2例均是：仅进行在纵方向和横方向中的任意方向上均以整数像素间距为单位的像素偏移来取得第1～4张图像数据，对第1张图像数据进行在纵方向上以半整数像素间距为单位且在横方向上以半整数像素间距为单位的像素偏移来取得第5～8张图像数据。以下，适当地将距离初始位置(第1张图像数据)的像素偏移量在纵方向和横方向中的任意方向上均为整数像素间距单位的图像数据的像素排列称作基本排列，将距离初始位置的像素偏移量在纵方向和横方向中的任意方向上均为半整数像素间距单位的图像数据的像素排列称作偏移排列。

首先，在图8所示的第1例中，在初始位置取得第1张图像后，向右偏移1个像素间距而取得第2张图像，向下偏移1个像素间距而取得第3张图像，向左偏移1个像素间距而取得第4张图像，向上偏移1个像素间距并返回到第1张图像的位置(初始位置)后，向右偏移0.5个像素间距且向下偏移0.5个像素间距(也就是说，实际上向右下偏移个像素间距(以下，适当同样))而取得第5张图像，向右偏移1个像素间距而取得第6张图像，向下偏移1个像素间距且向左偏移1个像素间距而取得第7张图像，向右偏移1个像素间距而取得第8张图像。

此外，在图9所示的第2例中，在初始位置取得第1张图像后，向下偏移1个像素间距而取得第2张图像，向右偏移1个像素间距而取得第3张图像，向上偏移1个像素间距而取得第4张图像，向左偏移1个像素间距而返回到第1张图像的位置(初始位置)后，向右偏移0.5个像素间距且向下偏移0.5个像素间距而取得第5张图像，向下偏移1个像素间距而取得第6张图像，向右偏移1个像素间距且向上偏移1个像素间距而取得第7张图像，向下偏移1个像素间距而取得第8张图像。

在这些图8和图9的任意一个图所示的例子中，均在取得第8张图像后，为了准备下一次摄影而进行返回到初始位置的处理。

另外，可以组合图8所示的第1～4张的顺序和图9所示的第5～8张的顺序。或者，可以组合图9所示的第1～4张的顺序和图8所示的第5～8张的顺序。

而且，在本实施方式中，为了在获得1、2、4、6、8张中的任意图像的时刻生成用于记录在记录介质45中的图像，在图8、图9或者作为它们的组合而进行了说明的例子的任意例子中，可以替换第3张和第4张图像的取得顺序，也可以替换第5张和第6张图像的取得顺序，也可以替换第7张和第8张图像的取得顺序。

一边参照图10～图24，一边遵循图25的流程图，对于按照图8所示的顺序进行像素偏移的情况下的处理进行说明。在此，图25是示出像素偏移超分辨率摄影模式的动作的流程图。通过使微型计算机48按照在闪存47中存储的处理程序来控制数字照相机内的各部，进行该图25所示的处理。

在未图示的主处理中，进行向像素偏移超分辨率摄影模式的设定，转移到释放按钮为第1级的按压状态(所谓的半按下状态)的第一释放开关接通的状态并进行由AE处理部32进行的自动曝光(AE)控制和由AF处理部31进行的自动焦点控制(AF)，并且，在转移到释放按钮为第2级的按压状态的第二释放开关接通的状态后，开始该图25所示的处理。

然后，首先在初始位置拍摄第1张图像，存储到SDRAM29中(步骤S1)。这里所拍摄的第1张图像为与在摄像元件23中构成的像素排列同样的、如图10所示的RGB拜尔排列的图像。在此，图10是示出在第1像素偏移位置获得的像素排列的图。另外，在图10～图24中，对各像素的颜色成分标注的数字表示是通过第几张图像的拍摄获得的像素。

接着，驱动音圈电机(VCM)26，如图11的箭头1pr所示，在进行朝向右方向的1个像素间距的像素偏移后，拍摄第2张图像，存储到SDRAM29中(步骤S2)。在此，图11是示出在第2像素偏移位置获得的像素排列的图。

在此，用于取得第2张图像的第2像素偏移位置是如能够取得在第1张图像中欠缺G成分的像素位置的G成分那样的像素偏移位置。

即，在进行如图11所示的像素偏移后，获得如图12所示的G像素的排列。在此，图12是示出作为进行了第2像素偏移的结果获得的G像素的排列的图。这样，由于在图10的R1像素的位置获得Gr2像素，在图10的B1像素的位置获得Gb2像素，所以可知在1×1分辨率的全部像素位置获得G成分，亮度相当成分的分辨率提高。

此外，在进行如图11所示的像素偏移后，获得如图13所示的R像素的排列。在此，图13是示出作为进行了第2像素偏移的结果获得的R像素的排列和增补的状况的图。即，由于在图10的Gr1像素的位置获得R2像素，所以可知R成分的水平方向的分辨率提高。另外，关于B成分，也获得与R成分大致相同的结果。

在进行步骤S2的处理后，如上所述，微型计算机48根据霍尔元件27的检测结果、姿势检测部33的检测结果和图像比较部35的检测结果，判定第2张图像数据是否不适合图像合成(也就是说，是否在第2张图像的摄影中发生了问题)(步骤S3)。

这里，在判定为发生了问题的情况下，利用图像处理部36对第1张图像进行包含去马赛克处理部37的去马赛克处理在内的通常的图像处理，将处理后的图像数据记录于记录介质45(步骤S4)。

此外，在判定为未发生问题的情况下，驱动音圈电机(VCM)26，如图14的箭头1pd所示，在进行朝向下方向的1个像素间距的像素偏移后，拍摄第3张图像，存储到SDRAM29中(步骤S5)。在此，图14是示出在第3像素偏移位置获得的像素排列的图。

接着，驱动音圈电机(VCM)26，如图15的箭头1pl所示，在进行朝向左方向的1个像素间距的像素偏移后，拍摄第4张图像，存储到SDRAM29中(步骤S6)。在此，图15是示出在第4像素偏移位置获得的像素排列的图。

在此，微型计算机48在使摄像元件23取得第2张图像后，以能够取得欠缺R成分的像素位置的R成分且能够取得欠缺B成分的像素位置的B成分的方式，使音圈电机(VCM)26进行像素偏移，并使摄像元件23取得第3张图像和第4张图像。

即，在进行到第4像素偏移位置为止的像素偏移后，能够获得如图16所示的R像素的排列。在此，图16是示出作为进行了第4像素偏移的结果获得的R像素的排列的图。这样，由于在图10的Gr1像素的位置获得R2像素，在图10的B1像素的位置获得R3像素，在图10的Gb1像素的位置获得R4像素，所以可知在1×1分辨率的全部像素位置获得R成分，颜色分辨率提高。此外，关于B成分，也获得与R成分大致相同的结果。

另一方面，关于G成分，在1×1分辨率的排列的全部像素位置获得Gr像素和Gb像素双方。

而且，与上述同样，微型计算机48判定是否在第3张图像和第4张图像的至少一方的摄影中发生了问题(步骤S7)。另外，这里为了简单化，虽然在进行步骤S6的处理后，综合判定有无发生针对第3～第4张图像的问题，但是实际上也可以在进行步骤S5的处理后，判定有无发生针对第3张图像的问题，在发生了问题的情况下进入步骤S8的处理即可。关于后述的步骤S9和步骤S13也同样。

这里，在判定为发生了问题的情况下，2张合成处理部34a对第1～第2张图像进行合成处理，并且，在进行由图像处理部36进行的边缘强调处理和降噪处理等普通的图像处理后，将处理后的图像数据记录于记录介质45(步骤S8)。

2张合成处理部34a首先由像素配置部51以成为1×1分辨率的排列的方式，按照每个颜色成分再次配置第1～第2张图像的各像素。将Gr像素和Gb像素视为相同颜色的G像素，进行这里的每个颜色成分的再次配置。由此，能够获得如图12所示的G像素、如图13所示的R像素和与图13大致同样的B像素。

接着，像素增补部52对于在1×1分辨率的排列中存在欠缺像素的R成分和B成分，例如图13所示，进行将与欠缺像素的上下相邻的像素值的平均值作为欠缺像素的像素值的增补。

这样，由于从合成处理部34输出的合成图像对于RGB中任意的颜色成分在1×1分辨率的排列中不存在欠缺像素、成为进行了去马赛克后的图像，所以跳过图像处理部36中的去马赛克处理部37的处理，进行除此以外的处理。

此外，在步骤S7中判定为未发生问题的情况下，驱动音圈电机(VCM)26，在向上偏移1个像素间距后返回到在图17中用黑色方形所示的第1张图像的位置(初始位置)后，如图17的箭头0.5prd所示，进行向右偏移0.5个像素间距且向下偏移0.5个像素间距(也就是说，如上所述，朝向右下方向的个像素间距)的像素偏移之后，拍摄第5张图像，存储到SDRAM29中(步骤S9)。在此，图17是示出在第5像素偏移位置获得的像素排列的图。

接着，驱动音圈电机(VCM)26，如图18的箭头1pr所示，在进行朝向右方向的1个像素间距的像素偏移后，拍摄第6张图像，存储到SDRAM29中(步骤S10)。在此，图18是示出在第6像素偏移位置获得的像素排列的图。

在此，微型计算机48在使摄像元件23取得第4张图像后，在2维状排列的垂直方向和水平方向的双方向上以包含像素间距的半整数倍的移动量的方式使音圈电机(VCM)26进行像素偏移并使摄像元件23取得第5张图像，并且以能够取得在第5张图像中欠缺G成分的像素位置的G成分的方式使音圈电机(VCM)26进行像素偏移并使摄像元件23取得第6张图像。

即，在进行到第6像素偏移位置为止的像素偏移后，能够获得如图19所示的G像素的排列。在此，图19是示出作为进行了第6像素偏移的结果获得的G像素的排列的图。

这样，能够根据第1～第2张图像，获得如图12所示的G像素的基本排列。

并且，虽然省略了图19中的图示，但是能够通过第3～第4张图像，获得G像素的基本排列，该G像素的基本排列为在图12的Gb1像素的位置配置Gr3像素，在图12的Gr1像素的位置配置Gb3像素，在图12的Gb2像素的位置配置Gr4像素，在图12的Gr2像素的位置配置Gb4像素。

除此以外，能够通过第5～第6张图像，获得如图19所示的、使图12的G像素的基本排列朝向右下方向偏移像素间距后的位置关系的G像素的偏移排列。更详细而言，成为以下的偏移排列：分别在使Gr1像素朝向右下方向偏移像素间距的位置配置Gr5像素，在使Gr2像素朝向右下方向偏移像素间距的位置配置Gr6像素，在使Gb1像素朝向右下方向偏移像素间距的位置配置Gb5像素，在使Gb2像素朝向右下方向偏移像素间距的位置配置Gb6像素。

而且，与上述同样，微型计算机48判定是否在第5张图像和第6张图像的至少一方的摄影中发生问题(步骤S11)。

这里，在判定为发生了问题的情况下，4张合成处理部34b对第1～第4张图像进行合成处理，并且，在进行由图像处理部36进行的边缘强调处理和降噪处理等普通的图像处理后，将处理后的图像数据记录于记录介质45(步骤S12)。

4张合成处理部34b首先由像素配置部51以成为1×1分辨率的排列的方式，按照每个颜色成分再次配置第1～第4张图像的各像素。将Gr像素和Gb像素视为不同颜色，进行这里的每个颜色成分的再次配置。由此，能够获得如图16所示的R像素和与图16大致相同的Gr像素、Gb像素、B像素。

接着，构成平均化部的相加部53和除法部54对在1×1分辨率的基本排列中存在于相同像素位置的Gr像素和Gb像素进行平均化，并作为G像素进行输出。其结果是，与上述同样，从合成处理部34输出的合成图像成为进行了去马赛克的图像，跳过图像处理部36中的去马赛克处理部37的处理，进行除此以外的处理。

此外，在步骤S11中判定为未发生问题的情况下，在驱动音圈电机(VCM)26，并返回到例如第1张图像的位置(初始位置)后(但是，实际上无需临时返回到初始位置)，如图22的箭头1pd所示，在进行了朝向下方向的1个像素间距的像素偏移后，如箭头0.5prd所示，向右偏移0.5像素间距且向下偏移0.5像素间距(也就是说，朝向右下方向偏移像素间距(以下，适当同样))的像素偏移(自第6张图像的偏移量为向下1个像素间距且向左1个像素间距)，拍摄第7张图像，存储到SDRAM29中(步骤S13)。在此，图22是示出在第7像素偏移位置获得的像素排列的图。

接着，驱动音圈电机(VCM)26，如图23的箭头1pr所示，在进行朝向右方向的1个像素间距的像素偏移后，拍摄第8张图像，存储到SDRAM29中(步骤S14)。在此，图23是示出在第8像素偏移位置获得的像素排列的图。

在此，微型计算机48在使摄像元件23取得第2张图像后，以能够取得在第5张图像和第6张图像中的任意图像中(在偏移排列中)均欠缺R成分的像素位置的R成分且能够取得(在偏移排列中)欠缺B成分的像素位置的B成分的方式使音圈电机(VCM)26进行像素偏移，使摄像元件23取得第7张图像和第8张图像。

即，在进行到第8像素偏移位置为止的像素偏移后，能够获得如图24所示的R像素的排列。在此，图24是示出作为进行了第8像素偏移的结果获得的R像素的排列的图。这样，能够通过第1～第4张图像，获得如图24所示的R像素的基本排列。并且，能够通过第5～第8张图像，获得如图24所示的R像素的偏移排列。此外，关于B成分，也获得与R成分大致相同的结果。

而且，与上述同样，微型计算机48判定是否在第7张图像和第8张图像的至少一方的摄影中发生问题(步骤S15)。

这里，在判定为发生了问题的情况下，6张合成处理部34c对第1～第6张图像进行合成处理，并且，在进行由图像处理部36进行的边缘强调处理和降噪处理等普通的图像处理后，将处理后的图像数据记录于记录介质45(步骤S16)。

关于6张合成处理部34c，首先，像素配置部51以成为1×1分辨率的基本排列的方式再次配置第1～第2张图像的Gr像素和Gb像素。并且，像素配置部51以成为1×1分辨率的基本排列的方式再次配置第1～第4张图像的R像素，同样，以成为1×1分辨率的基本排列的方式再次配置第1～第4张图像的B像素。除此以外，像素配置部51将第5～第6张图像的Gr像素和Gb像素与进行了再次配置的第1～第2张图像的Gr像素和Gb像素相比朝向右下方向偏移个像素间距，以成为1×1分辨率的偏移排列的方式进行再次配置(参照图19的Gr5、Gr6、Gb5、Gb6)。

而且，关于Gr像素或Gb像素，倾斜像素偏移增补部55在基本排列中的某个像素和与该像素相邻的偏移排列中的4个像素的各中间位置(在图19中，基本排列的像素和偏移排列的像素在对角方向上重合的位置)，计算分别对它们进行了加权相加平均后的G像素，生成2×2分辨率的排列的G像素。

图20是示出从进行了第6像素偏移的结果的G像素进行增补的例子的图。

具体而言，对于在图19中附加了阴影的像素Tg(在图示的例子中为基本排列中的某个Gb2像素)和在偏移排列中与该Gb2像素的左上相邻的Gr6像素、与右上相邻的Gr5像素、与左下相邻的Gb5像素、与右下相邻的Gb6像素，在图19中重合的角部的位置处，对(kl×Gb2+k2×Gr6)、(k1×Gb2+k2×Gr5)、(k1×Gb2+k2×Gb5)、(k1×Gb2+k2×Gb6)的像素值的2×2分辨率的排列的G像素进行增补。在此，kl、k2是权重系数，例如如果假设k1＝k2＝1/2，则设平均值为增补值。

此外，分割增补部56对R像素和B像素进行分割增补。在此，图21是示出与从进行了第6像素偏移的结果的G像素进行了增补的G像素对应的R像素的图。

在图19中附加了阴影的像素Tg的像素位置处，参照图16可知，获得R3像素。因此，如图20所示，对进行了增补的4个G像素全部应用该图21所示的R像素的像素值。对于B像素，虽然未图示，但也进行同样的处理。

此外，在步骤S15中判定为未发生问题的情况下，8张合成处理部34d对第1～第8张图像进行合成处理，并且，在进行由图像处理部36进行的边缘强调处理和降噪处理等普通的图像处理后，将处理后的图像数据记录于记录介质45(步骤S17)。

关于8张合成处理部34d，首先，像素配置部51以成为例如图24所示的排列的方式，按照每个颜色成分再次配置第1～第8张图像的各像素。将Gr像素和Gb像素视为不同颜色，进行这里的每个颜色成分的再次配置。由此，能够分别获得如图24所示的R像素和与图24大致相同的Gr像素、Gb像素、B像素。

倾斜像素偏移增补部55按照每个颜色成分，进行如上所述的倾斜像素偏移增补，分别生成2×2分辨率的排列的Gr图像、Gb图像、R图像、B图像。

接着，构成平均化部的相加部53和除法部54对在2×2分辨率的排列中存在于相同像素位置的Gr像素和Gb像素进行平均化，并作为G像素进行输出。其结果是，与上述同样，从合成处理部34输出的合成图像成为进行了去马赛克的图像，跳过图像处理部36中的去马赛克处理部37的处理，进行除此以外的处理。

这样，在步骤S4、步骤S8、步骤S12、步骤S16或者步骤S17的处理后，从该处理返回到未图示的主处理。

因此，在由检测部检测出产生了不良图像的情况下，微型计算机48终止以后的图像取得，进行以下处理：使用在不良图像之前取得的图像来使合成处理部34合成高画质的图像。

根据这种实施方式1，由于设置为按照即使根据不满规定张数的2张以上的图像进行图像处理也能够合成高画质的图像的像素偏移顺序进行像素偏移，所以如果取得2张以上的图像，无需重拍就能够获得比从摄像元件23取得的1张图像更高画质的图像。

此外，由于设置为以能够取得在第1张图像中欠缺G成分的像素位置的G成分的方式进行像素偏移并取得第2张图像，所以在取得第2张图像的阶段，不进行像素增补就能够获得亮度相当成分，能够实现画质的提高。

并且，由于设置为以能够取得在到第2张为止的图像中欠缺R成分的像素位置的R成分的方式且以能够取得在到第2张为止的图像中欠缺B成分的像素位置的B成分的方式进行像素偏移，来取得第3张图像和第4张图像，所以能够在取得第4张图像的阶段，获得没有像素增补的1×1分辨率的图像。

而且，由于设置为在取得第4张图像以后，取得偏移排列的第5张图像，并且以能够取得在第5张图像中欠缺G成分的像素位置的G成分的方式进行像素偏移，取得第6张图像，所以能够在取得第6张图像的阶段，获得2×2分辨率的亮度分辨率。

除此以外，由于设置为以能够取得在第5张和第6张图像中的任意图像中均欠缺R成分的像素位置的R成分的方式且以能够取得在第5张和第6张图像中的任意图像中均欠缺B成分的像素位置的B成分的方式进行像素偏移，取得第7张图像和第8张图像，所以能够在取得第8张图像的阶段，获得2×2分辨率的超分辨率图像。

此外，由于在检测出产生了不良图像的情况下，作为与未检测出不良图像的情况不同的控制，微型计算机48终止以后的图像取得，使用在不良图像以前取得的图像来使合成处理部34进行合成高画质的图像的处理，所以能够缩短到获得高画质的图像为止的时间。

并且，通过设置多种合成处理部34，根据最初检测出的不良图像是第几张，微型计算机48能够适当选择合成处理部34的种类并使其进行处理。

此外，在使用霍尔元件27作为检测部的情况下，能够检测像素偏移位置的不良，在使用姿势检测部33作为检测部的情况下，能够检测数字照相机的抖动等，在使用图像比较部35作为检测部的情况下，能够检测环境光的变化和被摄体抖动。

[实施方式2]

图26是示出本发明实施方式2的流程图，且是示出像素偏移超分辨率摄影模式的动作的流程图。

在该实施方式2中，关于与上述实施方式1同样的部分标注相同标号等并适当省略说明，仅对主要的不同之处进行说明。

在上述的实施方式1中，在取得合成超分辨率图像所需的8张图像的中途产生问题时，根据产生问题以前的图像，生成高画质的图像并记录于记录介质45。与此相对，本实施方式将用于合成超分辨率图像而取得的图像，在每次取得时预先记录于记录介质45，在中途发生问题的情况下，在记录介质45中记录发生问题的图像是第几张图像。因此，根据发生问题以前取得的图像来生成高画质的图像的处理可以之后在数字照相机内进行，当然也可以利用外部的计算机等进行。

在未图示的主处理中，在开始该图26所示的处理后，首先，在初始位置拍摄第1张图像，并存储到SDRAM29中，同时记录于记录介质45(步骤S1A)。

接着，在进行朝向第2张的像素位置的像素偏移后，拍摄第2张图像，存储到SDRAM29中，同时记录于记录介质45(步骤S2A)。

而且，进行步骤S3的处理，判定是否在第2张图像的拍摄中发生问题。

这里，在判定为发生问题的情况下，将在第2张图像中存在问题的内容记录于记录介质45(步骤S21)。

此外，在步骤S3中判定为未发生问题的情况下，在进行朝向第3张的像素位置的像素偏移后，拍摄第3张图像，存储到SDRAM29中，同时记录于记录介质45(步骤S5A)。

接着，判定是否在第3张图像的拍摄中发生问题(步骤S22)。

这里，在判定为发生问题的情况下，将在第3张图像中存在问题的内容记录于记录介质45(步骤S23)。

此外，在步骤S22中判定为未发生问题的情况下，在进行朝向第4张的像素位置的像素偏移后，拍摄第4张图像，存储到SDRAM29中，同时记录于记录介质45(步骤S6A)。

而且，判定是否在第4张图像的拍摄中发生问题(步骤S7A)。

这里，在判定为发生问题的情况下，将在第4张图像中存在问题的内容记录于记录介质45(步骤S24)。

在步骤S7A中判定为未发生问题的情况下，在进行朝向第5张的像素位置的像素偏移后，拍摄第5张图像，存储到SDRAM29中，同时记录于记录介质45(步骤S9A)。

而且，判定是否在第5张图像的拍摄中发生问题(步骤S25)。

这里，在判定为发生问题的情况下，将在第5张图像中存在问题的内容记录于记录介质45(步骤S26)。

在步骤S25中判定为未发生问题的情况下，在进行朝向第6张的像素位置的像素偏移后，拍摄第6张图像，存储到SDRAM29中，同时记录于记录介质45(步骤S10A)。

而且，判定是否在第6张图像的拍摄中发生问题(步骤S11A)。

这里，在判定为发生问题的情况下，将在第6张图像中存在问题的内容记录于记录介质45(步骤S27)。

在步骤S11A中判定为未发生问题的情况下，在进行朝向第7张的像素位置的像素偏移后，拍摄第7张图像，存储到SDRAM29中，同时记录于记录介质45(步骤S13A)。

而且，判定是否在第7张图像的拍摄中发生问题(步骤S28)。

这里，在判定为发生问题的情况下，将在第7张图像中存在问题的内容记录于记录介质45(步骤S29)。

在步骤S28中判定为未发生问题的情况下，在进行朝向第8张的像素位置的像素偏移后，拍摄第8张图像，存储到SDRAM29中，同时记录于记录介质45(步骤S14A)。

而且，判定是否在第8张图像的拍摄中发生问题(步骤S15A)。

这里，在判定为发生问题的情况下，将在第8张图像中存在问题的内容记录于记录介质45(步骤S30)。

在步骤S15A中判定为未发生问题的情况下，进行步骤S17的处理，在生成合成图像并进行图像处理后，记录于记录介质45。

而且，在进行了步骤S21、步骤S23、步骤S24、步骤S26、步骤S27、步骤S29、步骤S30或者步骤S17的处理后，从该处理返回到未图示的主处理。

这样，在由检测部检测出产生了不良图像的情况下，微型计算机48使作为记录控制部的存储器I/F44进行以下控制：与所取得的图像一起记录最初被检测为不良图像的图像是规定张数内的第几张图像的内容。

根据这种实施方式2，实现与上述的实施方式1大致相同的效果，并且，由于设置为在检测出产生了不良图像的情况下，作为与未检测出产生了不良图像的情况不同的控制，微型计算机48与所取得的图像一起记录最初被检测为不良图像的图像是规定张数内的第几张图像的内容，所以能够在数字照相机中或者在计算机等其他设备中，在后期的期望时刻生成高画质的图像。

因此，在拍摄超分辨率图像的中途发生了问题的情况下，用户能够按照期望选择是重视快门时机并生成应由已经取得的图像构成的高画质的图像，还是重新进行拍摄。由此，在重新进行拍摄的情况下，也就是说，在无需由在中途发生了问题的一系列图像生成高画质的图像的情况下，能够省略图像合成处理，并能够减轻处理负荷。

[实施方式3]

图27至图34示出了本发明实施方式3。在该实施方式3中，关于与上述实施方式1、2同样的部分标注相同标号等并适当省略说明，仅对主要的不同之处进行说明。

在上述的实施方式1中，按照以下顺序进行像素偏移。

(1)在拍摄第1张图像以后，以在基本排列中填充作为亮度相当成分的G像素的拜尔欠缺位置的方式进行像素偏移，拍摄第2张图像。

(2)以填充基本排列的R像素和B像素的欠缺位置的方式进行像素偏移，拍摄第3、第4张图像。

(3)以在偏移排列中填充作为亮度相当成分的G像素的方式进行像素偏移，拍摄第5、第6张图像。

(4)以填充偏移排列中的R像素和B像素的欠缺位置的方式进行像素偏移，拍摄第7、第8张图像。

即，在实施方式1中，取得偏移排列的像素的是从第5张图像开始的以后的图像。这是因为，即使分辨率相同，通过减少需要进行增补的像素，获得高画质的图像。

与此相对，本实施方式按照(1)->(3)->(2)->(4)的顺序进行像素偏移。即，如下所说明，在本实施方式中，在取得第4张图像的阶段，实现亮度成分的高分辨率化。

具体而言，图29是示出本实施方式的像素偏移顺序的第1例的图。

在该第1例中，在初始位置取得第1张图像后，向右偏移1个像素间距而取得第2张图像，向左偏移0.5个像素间距且向下偏移0.5个像素间距(即，向左下偏移个像素间距)而取得第3张图像，向右偏移1个像素间距而取得第4张图像，向左偏移1.5个像素间距且向下偏移0.5个像素间距而取得第5张图像，向右偏移1个像素间距而取得第6张图像，向左偏移0.5个像素间距且向右偏移0.5个像素间距而取得第7张图像，向右偏移1个像素间距而取得第8张图像。

此外，图30是示出本实施方式的像素偏移顺序的第2例的图。

在该第2例中，在初始位置取得第1张图像后，向下偏移1个像素间距而取得第2张图像，向右偏移0.5个像素间距且向上偏移0.5个像素间距而取得第3张图像，向下偏移1个像素间距而取得第4张图像，向右偏移0.5个像素间距且向上偏移1.5个像素间距而取得第5张图像，向下偏移1个像素间距而取得第6张图像，向右偏移0.5个像素间距且向上偏移0.5个像素间距而取得第7张图像，向下偏移1个像素间距而取得第8张图像。

在取得第8张图像以后，与上述同样，为了准备下一次摄影而进行返回到初始位置的处理。

另外，在本实施方式中也为了在获得1、2、4、6、8张中的任意图像的时刻生成用于记录在记录介质45中的图像，在图29、图30的任意例子中，可以替换第3张和第4张图像的取得顺序，也可以替换第5张和第6张图像的取得顺序，也可以替换第7张和第8张图像的取得顺序。

因此，如果与图8和图9的像素偏移顺序进行比较则可知图29和图30的像素偏移顺序，在获得进行图像合成的第1、2、4、6、8张为止的图像的阶段内的、获得第1、2、6、8张为止的图像的各阶段实现的像素偏移位置相同，发生不同的仅是获得第4张为止的图像的阶段。

这样，本实施方式中的增补处理与图7所示的增补处理的不同之处仅在于如图27所示地进行4张合成处理时。在此，图27是示出由各合成处理部34a、34b’、34c、34d和去马赛克处理部37进行的增补的种类和获得的分辨率的图表。即，关于4张合成处理，对G像素进行倾斜像素偏移增补，对R像素和B像素进行像素增补和分割增补。

图28是示出4张合成处理部34b’的结构的框图。

本实施方式的4张合成处理部34b’具有：像素配置部51，其根据像素偏移位置来配置所输入的4张图像数据的各像素；倾斜像素偏移增补部55，其对由像素配置部51配置的图像数据内的、填充基本排列和偏移排列的Gr像素和Gb像素进行倾斜像素偏移增补，并作为2×2分辨率的G图像进行输出；以及像素增补&分割增补部57，其对由像素配置部51配置的图像数据内的、在基本排列和偏移排列中的任意排列中均产生欠缺像素的R像素和B像素进行像素增补和分割增补，并作为2×2分辨率的像素数的R图像和B图像进行输出。

图31是示出作为进行了第4像素偏移的结果获得的Gr像素和Gb像素的排列的图。另外，在该图31中示出按照图29所示的顺序进行了像素偏移的情况的例子。

为了在本实施方式中采用优先提高亮度分辨率的像素偏移顺序，微型计算机48在取得第2张图像以后，以在2维状排列的垂直方向和水平方向的双方上包含像素间距的半整数倍的移动量的方式使音圈电机(VCM)26进行像素偏移并取得第3张图像，并且以能够取得在第3张图像中欠缺G成分的像素位置的G成分的方式使音圈电机(VCM)26进行像素偏移并取得第4张图像。

这样，对于作为亮度相当成分的Gr像素和Gb像素，在进行了第4像素偏移的阶段，取得高分辨率化所需的基本排列和偏移排列的各像素值(与此相对，在上述的实施方式1中取得高分辨率化所需的亮度相当成分的像素值的是进行了第6像素偏移的阶段)。

而且，针对在图31中附加了阴影的像素Tg(在图示的例子中，基本排列中的某个Gb2像素)和在偏移排列中与该Gb2像素的左上相邻的Gr4像素、与右上相邻的Gr3像素、与左下相邻的Gb3像素、与右下相邻的Gb4像素，由倾斜像素偏移增补部55生成如图32所示的增补像素。

在此，图32是示出从进行了第4像素偏移的结果的G像素进行增补的例子的图。

如图32所示，倾斜像素偏移增补部55在与附加了阴影的像素Tg相邻的其他像素重合的角部的位置，对(k1×Gb2+k2×Gr4)、(kl×Gb2+k2×Gr3)、(kl×Gb2+k2×Gb3)、(k1×Gb2+k2×Gb4)的像素值的2×2分辨率的排列的G像素进行增补。在此，如上所述，kl、k2是权重系数。

此外，像素增补&分割增补部57对R像素和B像素进行像素增补和分割增补。在此，图33是示出计算与从进行了第4像素偏移的结果的G像素进行了增补的G像素对应的R像素的状况的图。

在图31中附加了阴影的像素Tg的像素位置处，未获得R成分。因此，像素增补&分割增补部57首先在到第2像素偏移为止获得的基本排列中的R像素的欠缺位置处，如图33所示，例如通过进行计算上下相邻的R像素的平均值的像素增补，计算全部基本排列的R成分。另外，虽然在偏移排列中也能够进行同样的处理，但是这里说明仅对基本排列进行处理就足够的例子。

这样计算出的基本排列的R成分为1×1分辨率的像素数。因此，对于如图32所示进行了增补的4个G像素全部应用该图33所示的R像素内的、位于在图31中附加了阴影的像素Tg的像素位置处的1个R像素的像素值。

虽然未图示，像素增补&分割增补部57对B像素也进行同样的处理。因此，关于来自4张合成处理部34b’的输出图像，亮度分辨率为2×2分辨率，但是颜色分辨率为1×1分辨率(其中，像素数与2×2分辨率相同)。

然后，微型计算机48在取得第4张图像后，以能够取得在第1～第4张图像中的任意图像中均欠缺R成分的像素位置的R成分且能够取得欠缺B成分的像素位置的B成分的方式使音圈电机(VCM)26进行像素偏移，并取得第5～8张图像。

例如，在本实施方式中，如图34所示，颜色成分(R成分和B成分)不需要基本排列中的像素增补的是进行了第6像素偏移的阶段(与此相对，在上述的实施方式1中不需要基本排列中的像素增补的是进行了第4像素偏移的阶段)。在此，图34是示出作为进行了第6像素偏移的结果获得的R像素的排列的图。此外，与上述实施方式1同样，颜色成分(R成分和B成分)不需要偏移排列中的像素增补的是进行了第8像素偏移的阶段。

根据这种实施方式3，在实现与上述的实施方式1、2大致相同的效果，并且以按照基本排列取得第1～第2张图像以后，以按照偏移排列能够取得第3张图像且能够取得在第3张图像中欠缺G成分的像素位置的G成分的方式进行像素偏移并取得第4张图像，所以能够在进行了第4像素偏移的段階，获得亮度分辨率高的图像。

此外，由于设置为以能够取得在第1～第4张图像中的任意图像中均欠缺R成分的像素位置的R成分的方式且能够取得在第1～第4张图像中的任意图像中均欠缺B成分的像素位置的B成分的方式进行像素偏移并取得第5～8张图像，所以能够获得高颜色分辨率的图像。

另外，上述的各部可以构成为电路。而且，任意的电路只要能够发挥相同的功能，则可以作为单一的电路进行安装，当然也可以组合多个电路地进行安装。并且，任意的电路不限于构成为用于发挥目标的功能的专用电路，当然也可以为通过使通用电路执行处理程序，发挥目标的功能的结构。

此外，虽然在上述叙述中主要说明了摄像装置，但也可以是进行与摄像装置相同动作的摄像方法，还可以是用于使计算机执行与摄像装置相同处理的处理程序、可利用记录该处理程序的计算机读取的非暂时性的记录介质等。

Claims (12)

1.一种摄像装置，其进行像素偏移而取得多个图像，该摄像装置的特征在于，具有：

摄像元件，其具有以规定的像素间距2维状排列的多个像素，接收光束进行摄像而取得图像；

像素偏移部，其进行像素偏移，该像素偏移使上述摄像元件与由该摄像元件接收的光束在上述2维状排列的方向上的相对位置即像素偏移位置发生变化；以及

控制部，其使上述像素偏移部进行朝向多个不同的像素偏移位置的像素偏移，在各个像素偏移位置处使上述摄像元件进行摄像而取得多个图像，

上述控制部进行控制，以使上述像素偏移部根据如下的像素偏移顺序进行像素偏移：即使根据在拍摄为了合成规定高画质的图像所需的规定张数的上述图像的中途的、不满上述规定张数的2张以上的图像进行图像处理，也能够合成比从上述摄像元件取得的1张图像更高画质的图像，

该摄像装置还具有检测部，该检测部在取得上述规定张数的图像的中途，检测是否产生了不适合作为为了合成高画质的图像而使用的图像的不良图像，在检测出产生了上述不良图像的情况下，上述控制部进行与未检测出产生了该不良图像的情况不同的控制。

2.根据权利要求1所述的摄像装置，其特征在于，

上述摄像元件具有RGB拜尔排列的滤色器，

上述控制部在取得第1张图像以后，以能够取得在第1张图像中欠缺G成分的像素位置的G成分的方式使上述像素偏移部进行像素偏移，取得第2张图像。

3.根据权利要求2所述的摄像装置，其特征在于，

上述控制部在取得第2张图像以后，以能够取得欠缺R成分的像素位置的R成分且能够取得欠缺B成分的像素位置的B成分的方式，使上述像素偏移部进行像素偏移，取得第3张图像和第4张图像。

4.根据权利要求3所述的摄像装置，其特征在于，

上述控制部在取得第4张图像以后，以在上述2维状排列的垂直方向和水平方向的双方上包含上述像素间距的半整数倍的移动量的方式使上述像素偏移部进行像素偏移而取得第5张图像，并且，以能够取得在第5张图像中欠缺G成分的像素位置的G成分的方式使上述像素偏移部进行像素偏移而取得第6张图像。

5.根据权利要求4所述的摄像装置，其特征在于，

上述控制部在取得第6张图像以后，以能够取得在第5张图像和第6张图像中的任意图像中均欠缺R成分的像素位置的R成分且能够取得欠缺B成分的像素位置的B成分的方式使上述像素偏移部进行像素偏移，取得第7张图像和第8张图像。

6.根据权利要求2所述的摄像装置，其特征在于，

上述控制部在取得第2张图像以后，以在上述2维状排列的垂直方向和水平方向的双方上包含上述像素间距的半整数倍的移动量的方式，使上述像素偏移部进行像素偏移而取得第3张图像，并且，以能够取得在第3张图像中欠缺G成分的像素位置的G成分的方式，使上述像素偏移部进行像素偏移而取得第4张图像。

7.根据权利要求6所述的摄像装置，其特征在于，

上述控制部在取得第4张图像以后，以能够取得在第1～4张图像中的任意图像中均欠缺R成分的像素位置的R成分且能够取得欠缺B成分的像素位置的B成分的方式，使上述像素偏移部进行像素偏移，取得第5～8张图像。

8.根据权利要求1所述的摄像装置，其特征在于，

该摄像装置还具有合成处理部，该合成处理部根据在多个不同的像素偏移位置处取得的多个上述图像，合成比从上述摄像元件取得的1张图像更高画质的图像，

在检测出产生了上述不良图像的情况下，上述控制部终止以后的图像取得，使用在上述不良图像以前所取得的图像，使上述合成处理部进行合成上述高画质的图像的处理。

9.根据权利要求8所述的摄像装置，其特征在于，

上述合成处理部根据是基于从第1张到第几张图像来合成上述高画质的图像而设有多种，

上述控制部根据由上述检测部最初检测出的不良图像是第几张，选择上述合成处理部的种类并使其进行处理。

10.根据权利要求1所述的摄像装置，其特征在于，

该摄像装置还具有记录控制部，该记录控制部进行记录图像的控制，

在检测出产生了上述不良图像的情况下，上述控制部使上述记录控制部进行控制，以将最初被检测为不良图像的是上述规定张数内的第几张图像的信息与所取得的图像一起记录。

11.根据权利要求1所述的摄像装置，其特征在于，

上述检测部具备以下各部中的至少一个：

像素偏移位置检测部，其检测上述像素偏移位置；

移动检测部，其检测摄像装置的移动；

环境光检测部，其检测照射到被摄体的光的变化；以及

被摄体抖动检测部，其检测所取得的多个上述图像中的被摄体的移动。

12.一种摄像方法，进行像素偏移而取得多个图像，该摄像方法的特征在于，具有以下步骤：

像素偏移步骤，向多个不同的像素偏移位置进行改变像素偏移位置的像素偏移，其中该像素偏移位置是具有以规定的像素间距2维状排列的多个像素的摄像元件与由该摄像元件接收的光束在上述2维状排列的方向上的相对位置；以及

摄像步骤，分别在上述多个不同的像素偏移位置处使上述摄像元件接收光束进行摄像，取得多个图像，

上述像素偏移步骤是根据如下的像素偏移顺序进行像素偏移的步骤：即使根据在拍摄为了合成规定高画质的图像所需的规定张数的上述图像的中途的、不满上述规定张数的2张以上的图像进行图像处理，也能够合成比从上述摄像元件取得的1张图像更高画质的图像，

所述摄像方法还包括以下步骤：

在取得上述规定张数的图像的中途，检测是否产生了不适合作为为了合成高画质的图像而使用的图像的不良图像，

其中，在检测出产生了上述不良图像的情况下，进行与未检测出产生了该不良图像的情况不同的像素偏移的步骤。