CN101488216A - 图像处理装置及方法以及摄像装置 - Google Patents

Abstract

本发明涉及图像处理装置及方法以及摄像装置。本发明提供的图像处理装置中，根据多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，具备基于上述多个低分辨率图像的图像信息从上述多个低分辨率图像中选择基准图像的基准图像设置部，将上述基准图像作为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理从而生成上述高分辨率图像。

Description

图像处理装置及方法以及摄像装置

技术领域

本发明涉及一种进行图像处理的图像处理装置以及图像处理方法还有利用图像处理装置及图像处理方法的摄像装置。

背景技术

作为对低分辨率图像进行高分辨率化的图像处理技术，提出了一种超分辨处理。进行超分辨处理的装置，参照存在位置偏离的多个低分辨率图像，基于多个低分辨率图像之间的位置偏离量与多个低分辨率图像的图像数据，进行低分辨率图像的高分辨率化，从而生成一张高分辨率图像。该高分辨率化，是以从多个低分辨率图像中选择的基准图像为基准进行的，位置偏离量计算等，是以基准图像为基准进行的。因此，所得到的高分辨率图像的内容(包含画质或构图)，很大程度依赖于基准图像。另外，基准图像，也称为基准帧、目标帧或对象图像等。

一般而言，基准图像成为通过连续摄影所得到的按时序排列的图像列内最早生成的图像。

如上述，由于通过高分辨率化所得到的高分辨率图像的内容很大程度依赖于基准图像，因此为了得到更优选的高分辨率图像，需要在基准图像的选择方法上下功夫。

发明内容

本发明的图像处理装置，是一种根据多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像的图像处理装置，其特征在于，具备基准图像设置部，其基于上述多个低分辨率图像的图像信息从上述多个低分辨率图像中选择基准图像，将上述基准图像作为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而生成上述高分辨率图像。

具体而言，例如，该图像处理装置，还具备模糊量推定部，其基于上述图像信息推定各低分辨率图像中包含的模糊的大小，上述基准图像设置部，基于上述模糊量推定部的推定结果选择上述基准图像。

进一步具体而言，例如，上述模糊量推定部，基于各低分辨率图像中的高频成分的量，推定各低分辨率图像中所含的模糊的大小。

或者具体而言，例如，上述多个低分辨率图像，形成采用摄像装置通过依次摄影所得到的按时序排列的低分辨率图像列，上述模糊量推定部，基于上述低分辨率图像列中的在时间上邻接的低分辨率图像之间的位置偏离量，检测上述低分辨率图像列的摄影期间内上述摄像装置的抖动状态，并根据上述抖动状态的检测结果推定上述多个低分辨率图像之间的上述模糊的大小的大小关系。

然后，例如，上述基准图像设置部，将上述多个低分辨率图像内所推定的模糊的大小为最小的低分辨率图像选择作为上述基准图像。

然后，例如，各低分辨率图像是通过摄像装置的摄影得到的，上述图像信息，包含对在各低分辨率图像的曝光期间内的上述摄像装置的抖动状态进行检测的传感器的检测数据，上述基准图像设置部，基于上述传感器的检测数据选择上述基准图像。

然后，例如，上述基准图像设置部，将上述多个低分辨率图像中在曝光期间内上述摄像装置的抖动大小为最小的低分辨率图像选择作为上述基准图像。

并且，例如，该图像处理装置，还具备被摄体大小检测部，其基于上述图像信息，对各低分辨率图像中包含的特定被摄体在图像上的大小进行检测，上述基准图像设置部，也可以基于所检测的上述特定被摄体的大小选择上述基准图像。

或者，例如，该图像处理装置，还具备脸状态检测部，其基于上述图像信息从各低分辨率图像中检测人物的脸，并且检测上述脸的状态，上述基准图像设置部，基于上述脸状态检测部的检测结果选择上述基准图像。

另外，具体而言，例如上述基准图像设置部，将上述多个低分辨率图像内除上述基准图像以外的低分辨率图像设置作为参照图像，该图像处理装置，进一步具备：位置偏离检测部，其以比上述基准图像的像素间隔高的辨析率求出上述基准图像与上述参照图像之间的位置偏离量；和高分辨率图像生成部，其采用所求出的位置偏离量与上述多个低分辨率图像，通过以上述基准图像为基准进行上述高分辨率化处理，从而生成上述高分辨率图像。

本发明的第一摄像装置，其特征在于，包含：摄像部，其通过依次摄影得到按时序排列的多个低分辨率图像；和上述图像处理装置，其通过对上述多个低分辨率图像的高分辨率化处理，从而生成高分辨率图像。

本发明的第二摄像装置，具备：摄像部，其具有摄像元件以及用于将与被摄体相应的光学像成像在上述摄像元件上的光学系统，通过摄影得到摄影图像；和焦点评价值导出部，其基于在上述摄影图像内设置的焦点评价区域的影像信号，导出焦点评价值；该摄像装置基于上述焦点评价值对上述光学系统进行驱动控制以进行自动聚焦控制，其特征在于，进一步具备图像处理装置，其将从上述摄像部所得到的多个摄影图像作为多个低分辨率图像来参照，根据上述多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，上述图像处理装置，具有基准图像设置部，其基于对各低分辨率图像导出的上述焦点评价值从上述多个低分辨率图像中选择基准图像，上述图像处理装置，以上述基准图像为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而生成上述高分辨率图像。

具体而言，例如，在上述自动聚焦控制中，按照上述焦点评价值取极大值的方式对上述光学系统进行驱动控制，上述基准图像设置部，将上述多个低分辨率图像内与最大焦点评价值对应的低分辨率图像选择作为上述基准图像。

另外，具体而言，例如在第二摄像装置中，上述基准图像设置部，将上述多个低分辨率图像内除上述基准图像以外的低分辨率图像设置作为参照图像，上述图像处理装置，进一步具备：位置偏离检测部，其以比上述基准图像的像素间隔高的辨析率求出上述基准图像与上述参照图像之间的位置偏离量；以及高分辨率图像生成部，其采用所求出的位置偏离量和上述多个低分辨率图像，通过以上述基准图像为基准进行上述高分辨率化处理，从而生成上述高分辨率图像。

本发明的图像处理方法，根据多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，其特征在于，基于上述多个低分辨率图像的图像信息从上述多个低分辨率图像中选择基准图像，以上述基准图像为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而生成上述高分辨率图像。

另外，本发明的低分辨率图像的图像信息，包含低分辨率图像的各像素的亮度以及/或者表示颜色的图像数据，进而还能包含上述检测数据。

本发明的意义以及效果，通过以下所示的实施方式的说明能够进一步明确。但是，以下的实施方式只是本发明的一个实施方式，本发明乃至各构成要件的用语的意义，并非限定于以下实施方式的记载。

附图说明

图1是本发明的实施方式的摄像装置的整体框图。

图2是采用MAP方式的超分辨处理的概念图。

图3是表示本发明的实施方式的超分辨处理的流程的流程图。

图4是本发明的第一实施例的承担超分辨处理的超分辨部的内部框图。

图5是按时序表示图4的各部件的动作流程的图。

图6是本发明的第一实施例的模糊量推定部的内部框图。

图7是表示作为图6的高通滤波器(HPF)的一例的拉普拉斯滤波器的图。

图8是图4的超分辨处理部的内部框图。

图9(a)以及(b)是说明本发明的第一实施例的试验内容的图，分别表示试验所采用的模糊量大的图像和模糊量小的图像的图。

图10(a)以及(b)分别为表示图9(a)以及(b)的图像的高频域提取图像的图。

图11是表示本发明的第一实施例的试验所涉及的、超分辨运算处理的反复次数、与通过试验所得到的高分辨率图像和理想的高分辨率图像之间的PSNR的关系的图。

图12是表示本发明的第一实施例所涉及的、关于图像数据的读写时刻所特别关注的超分辨处理的动作流程的流程图。

图13是表示本发明的第二实施例所涉及的、位置偏离量的大小的变化的情况的图。

图14是表示本发明的第二实施例所涉及的、位置偏离量的大小的变化的情况的图。

图15(a)以及(b)为本发明的第三实施例所涉及的用于说明抖动量推定方法的图，分别为表示模糊小的图像和模糊大的图像(b)的图。

图16(a)以及(b)分别为图15(a)以及(b)所示的图像的亮度直方图的图。

图17为本发明的第四实施例所涉及的承担超分辨处理的超分辨部的内部框图。

图18为本发明的第四实施例所涉及的在摄像装置中设置的传感器部的内部框图。

图19为表示由图18的传感器部所检测的摄像装置的抖动大小的图。

图20为明示图像信息包含图像数据和传感器检测数据的图。

图21为本发明的第五实施例所涉及的承担超分辨处理的超分辨部的内部框图。

图22是表示本发明的第五实施例所涉及的三张观测低分辨率图像的第一例的图。

图23是表示本发明的第五实施例所涉及的三张观测低分辨率图像的第二例的图。

图24是表示本发明的第六实施例所涉及的承担超分辨处理的超分辨部的内部框图。

图25是图1的摄像部的内部结构图。

图26为在图1的影像信号处理部内设置的AF评价部的内部框图。

图27(a)为表示由图26的AF评价部在帧图像内定义的AF评价区域的图，图27(b)为表示AF评价值计算时设置的加权系数的图。

图28为本发明的第七实施例的承担超分辨处理的超分辨部的内部框图。

图29为表示本发明的第七实施例的3张的观测低分辨率图像的一例的图。

图30(a)、(b)以及(c)分别为表示本发明的第八实施例涉及的第一观测低分辨率图像的像素排列、第二观测低分辨率图像的像素排列以及高分辨率图像的像素排列的图。

图31(a)以及(b)为本发明的第八实施例所涉及的通过抛物线近似以亚像素(subpixel)精度计算位置偏离量的情况的图。

图32是表示本发明的第八实施例所涉及的根据第一观测低分辨率图像生成初始高分辨率图像的情况的图。

图33(a)以及(b)是表示本发明的第八实施例所涉及的、为了根据高分辨率图像重新构成低分辨率图像，使空间滤波器作用于高分辨率图像的情况的图。

图34是表示本发明的第八实施例所涉及的用于根据高分辨率图像重新构成低分辨率图像的矩阵的例子的图。

图35是表示本发明的第八实施例所涉及的应更新的高分辨率图像的像素排列、与其更新所采用的低分辨率图像的像素排列之间的关系的图。

图36(a)以及(b)分别是表示本发明的第八实施例涉及的计算反馈值时所使用的转置矩阵W₁ ^T以及W₂ ^T中的点扩散函数(point spreadfunction)的图。

图37是表示图34的矩阵的转置矩阵的图。

具体实施方式

以下，针对本发明的实施方式，参照附图具体进行说明。在所参照的各图中，对相同的部分附加相同的符号，关于相同的部分的重复说明原则上省略。之后对第一～第八实施例进行说明，但首先针对各实施例中共同的事项或者各实施例中参照的事项进行说明。

图1是本发明的实施方式涉及的摄像装置1的整体框图。摄像装置1，例如是数码摄像机。摄像装置1，能够对运动画面以及静止画面进行摄影，并且还能够在运动画面摄影过程中同时对静止画面进行摄影。另外，还可以省略运动画面摄影功能，将摄像装置1作为仅可对静止画面进行摄影的数字静态相机(digital still camera)。

[基本结构的说明]

摄像装置1，具有：摄像部11、AFE(Analog Front End，模拟前端)12、影像信号处理部13、麦克14、声音信号处理部15、压缩处理部16、SDRAM(Synchronous Dynamic Random Access Memory)等内部存储器17、SD(Secure Digital)卡或磁盘等外部存储器18、展开处理部19、VRAM(Video Random Access Memory)20、声音输出电路21、TG(定时发生器：timing generator)22、CPU(Central Processing Unit)23、总线24、总线25、操作部26、显示部27、和扬声器28。操作部26，具有录像按钮26a、快门按钮26b以及操作键26c等。摄像装置1内的各部位，经由总线24或25进行各部位之间的信号(数据)的交换。

TG22，生成用于对摄像装置1整体的各动作的计时进行控制的计时控制信号，并将所生成的计时控制信号提供给摄像装置1内的各部件。计时控制信号，包含垂直同步信号Vsync和水平同步信号Hsync。CPU23，对摄像装置1内的各部件的动作进行统一控制。操作部26，受理用户的操作。对操作部26提供的操作内容，被传达给CPU23。摄像装置1内的各部件，根据需要在信号处理时暂时将各种数据(数字信号)记录在内部存储器17中。

摄像部11，除摄像元件(图像传感器)33以外，还具备光学系统、光圈以及驱动器(在图1中未图示)。来自被摄体的入射光，经由光学系统以及光圈，入射向摄像元件33。构成光学系统的各透镜，使被摄体的光学像在摄像元件33上成像。TG22，生成与上述计时控制信号同步的、用于对摄像元件33进行驱动的驱动脉冲，并将该驱动脉冲提供给摄像元件33。

摄像元件33，由例如CCD(Charge Coupled Devices)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等构成。摄像元件33，对经由光学系统以及光圈入射的光学像进行光电变换，并将通过该光电变换所得到的电信号向AFE12输出。更具体而言，摄像元件33，具备以矩阵状二维排列的多个像素(受光像素：未图示)，在各次摄影中，各像素对与曝光时间相应的电荷量的信号电荷进行储存。来自具有与所储存的信号电荷的电荷量成比例大小的各像素的电信号，依据来自TG22的驱动脉冲，被依次输出给后段的AFE12。

AFE12，对从摄像元件33输出的模拟信号进行放大，并将放大后的模拟信号变换成数字信号后输出给影像信号处理部13。AFE12中的信号放大的放大程度由CPU23控制。影像信号处理部13，对由AFE12的输出信号表示的图像实施各种图像处理，生成针对图像处理后的图像的影像信号。影像信号，由表示图像亮度的亮度信号Y、和表示图像颜色的色差信号U以及V构成。

麦克14，将摄像装置1的周边声音变换成模拟的声音信号，声音信号处理部15，将该模拟的声音信号变换成数字的声音信号。

压缩处理部16，采用规定的压缩方式对来自影像信号处理部13的影像信号进行压缩。在运动画面或者静止画面的摄影以及记录时，所压缩的影像信号被记录在外部存储器18中。并且，压缩处理部16，采用规定的压缩方式对来自声音信号处理部15的声音信号进行压缩。在运动画面摄影以及记录时，来自影像信号处理部13的影像信号和来自声音信号处理部15的声音信号，通过压缩处理部16一边在时间上相互建立关联一边被压缩，压缩后的信号被记录在外部存储器18中。

录像按钮26a，是用于指示运动画面的摄影以及记录的开始/结束的按钮开关，快门按钮26b，是用于指示静止画面的摄影以及记录的按钮开关。

摄像装置1的工作模式，包括能够进行运动画面以及静止画面的摄影的摄影模式、和将在外部存储器18中保存的运动画面以及静止画面再生显示在显示部27上的再生模式。根据对操作键26c的操作，执行各模式之间的转化。在摄影模式中，以规定的帧周期依次进行摄影，从摄像元件33取得按时序排列的图像列。将形成该图像列的各图像称作“帧图像”。

在摄影模式中，当用户按下录像按钮26a时，在CPU23的控制下，与该按下之后所得到的各帧图像的影像信号以及与之对应的声音信号，依次经由压缩处理部16记录在外部存储器18中。在开始运动画面摄影之后，当用户再次按下录像按钮26a时，结束将影像信号以及声音信号向外部存储器18的记录，完成一次运动画面的摄影。另外，在摄影模式中，当用户按下快门按钮26b时，进行静止画面的摄影以及记录。

在再生模式中，当用户对操作键26c实施规定的操作时，表示在外部存储器18中记录的运动画面或者静止画面的被压缩后的影像信号，在通过展开处理部19进行展开之后写入VRAM20中。另外，在摄影模式中，通常，与对录像按钮26a以及快门按钮26b的操作内容无关地，逐次进行采用影像信号处理部13生成影像信号，该影像信号被依次写入VRAM20中。

显示部27，是液晶显示器等显示装置，并对与写入VRAM20中的影像信号相应的图像进行显示。另外，在再生模式中对运动画面进行再生时，与记录在外部存储器18中的运动画面对应的被压缩后的声音信号，也被送入展开处理部19中。展开处理部19，对所接受的声音信号进行展开后送入声音输出电路21中。声音输出电路21，将所提供的数字声音信号变换成可由扬声器28输出的形式的声音信号(例如模拟声音信号)后输出至扬声器28中。扬声器28，将来自声音输出电路21的声音信号作为声音(音)向外部输出。

影像信号处理部13，被形成为能够一边与CPU23一起协同工作一边实施超分辨处理。通过超分辨处理，由多张低分辨率图像生成一张高分辨率图像。能够将该高分辨率图像的影像信号经由压缩处理部16记录在外部存储器18中。高分辨率图像的分辨率，比低分辨率图像的分辨率高，高分辨率图像的水平方向以及垂直方向的像素数，比低分辨率图像的像素数多。例如，在形成静止画面的摄影指示时，取得作为多张低分辨率图像的多帧图像，通过对这些图像实施超分辨处理从而生成高分辨率图像。或者例如，对于作为在运动画面摄影时得到的多张低分辨率图像的多帧图像，实施超分辨处理。

针对超分辨处理的基本概念简单进行说明。作为一例，对采用重新构成型方式的超分辨处理进行说明。图2表示采用作为重新构成型方式的一种的MAP(Maximum A Posterior)方式的超分辨处理的概念图。在该超分辨处理中，根据由实际的摄影所得到的多张低分辨率图像推定一张高分辨率图像，通过使该所推定的高分辨率图像劣化从而推定原始的多张低分辨率图像。将通过实际的摄影所得到的低分辨率图像特别称为“观测低分辨率图像”，并将所推定的低分辨率图像特别称为“推定低分辨率图像”。之后，按照观测低分辨率图像与推定低分辨率图像之间的误差成为最小的方式，反复推定高分辨率图像和低分辨率图像，并输出最终取得的高分辨率图像。

图3以流程图表示超分辨处理的流程。首先，在步骤S11中生成初始高分辨率图像。该初始高分辨率图像，是根据后述的基准图像生成的。在后继步骤S12中，推定构筑当前时刻的高分辨率图像的原始的观测低分辨率图像。如上述将所推定的图像称作推定低分辨率图像。在后继步骤S13中，基于观测低分辨率图像和推定低分辨率图像之间的差分图像，导出对当前时刻的高分辨率图像的更新量。该更新量，通过步骤S12～S14的各处理的反复执行按照观测低分辨率图像和推定低分辨率图像之间的误差被最小化的方式被导出。然后，在后继步骤S14中，采用该更新量对当前时刻的高分辨率图像进行更新，生成新的高分辨率图像。之后，返回步骤S12，将新生成的高分辨率图像获取作为当前时刻的高分辨率图像，反复执行步骤S12～S14的各处理。基本上，步骤S12～S14的各处理的反复次数越增大，所得到的高分辨率图像的分辨率实质上越提高，得到越接近理想的高分辨率图像。

以上述动作流程为基础的超分辨处理是在摄像装置1内实施的。由摄像装置1实施的超分辨处理，可以是任何方式的超分辨处理，但本实施方式中对采用重新构成型方式的超分辨处理的情况进行说明。重新构成型方式，包括ML(Maximun-Likelihood)法、MAP(Maximum A Posterior)法、POCS(Projection Onto Convex Set)法、IBP(Iterative Back Projection)法等，但在本实施方式中以采用MAP法的结构为例。

作为有关超分辨处理的实施例，以下对第1～第8实施例进行说明。某个实施例记载的事项只要不矛盾，都可以应用到其他实施例中。

(第一实施例)

首先，针对第一实施例进行说明。图4为负责超分辨处理的超分辨部50的内部框图。符号51、52以及54～57所参照的各部位被设置在图1的影像信号处理部13内，第一、第二、第三、第四帧存储器61、62、63以及64被设置在图1的内部存储器17内。基准图像设置部53的功能由CPU23实现。但是，也可以使影像信号处理部13实现基准图像设置部53的功能。以下，将第一、第二、第三、第四帧存储器仅简称为帧存储器。帧存储器61～63，是用于对作为观测低分辨率图像的帧图像的图像数据进行记忆的存储器，帧存储器64，是用于对高分辨率图像的图像数据进行记忆的存储器。图5是按时序表示图4的各部位的动作的流程的图，图5的横方向与时间方向对应。另外，所谓所关注的图像的图像数据，是表示该所关注的图像的亮度以及颜色的数据(例如RGB信号或YUV信号)。

在第一实施例中，以根据三张观测低分辨率图像生成一张高分辨率图像的情况为例。三张观测低分辨率图像，是连续摄影的三张帧图像。由L₁、L₂、以及L₃表示该三张观测低分辨率图像，以观测低分辨率图像L₁、L₂以及L₃的顺序进行摄影。在以下说明中，也分别将观测低分辨率图像L₁、L₂以及L₃简称为图像L₁、L₂以及L₃(后述的L₄也同样)。在图像L₁、L₂以及L₃内不同的两张图像之间，产生因手抖等而产生的位置偏离。

为了以图像L₁、L₂以及L₃的顺序进行摄影，对选择部51以及模糊量推定部52，首先输入表示图像L₁的图像数据，接着输入表示图像L₂的图像数据，进而接着输入表示图像L₃的图像数据。选择部51，选择记忆了所输入的观测低分辨率图像的图像数据的帧存储器。具体而言，选择部51，将图像L₁的图像数据、图像L₂的图像数据以及图像L₃的图像数据分别发送给帧存储器61、62以及63使之记忆。

模糊量推定部52，是用于推定所输入的图像中包含的模糊的大小(以下称作模糊量)的部位，计算与模糊量相应的模糊量评价值。模糊量推定部52，最初基于图像L₁的图像数据计算与图像L₁的模糊量相应的模糊量评价值，接着基于图像L₂的图像数据计算与图像L₂的模糊量相应的模糊量评价值，进而接着基于图像L₃的图像数据计算与图像L₃的模糊量相应的模糊量评价值。各模糊量评价值，依次被传递给基准图像设置部53。

在用手支持摄像装置1等情况下，在观测低分辨率图像的曝光期间，摄像装置1的筐体中会有所谓手抖。并且，还存在产生所谓被摄体抖动的情况。所谓被摄体抖动，是指在曝光期间内因被摄体在实际空间中活动而产生的在图像上的被摄体的抖动。关于所关注的观测低分辨率图像，若产生手抖或被摄体抖动，则所关注的观测低分辨率图像的整体或者一部分会因手抖或被摄体抖动而模糊。模糊量推定部52，基于观测低分辨率图像的图像数据，推定因该手抖或被摄体抖动而引起的模糊大小。

模糊量推定部52，例如，利用当产生手抖或被摄体抖动时则图像内的高频成分衰减这样的特性来推定模糊量。即，提取观测低分辨率图像中规定的高频成分，并基于所提取的高频成分的量推定模糊量。高频成分的量，也叫做高频成分的强度。

参照图6说明针对一张观测分辨率图像的模糊量评价值的计算方法。图6为可利用作为模糊量推定部52的模糊量推定部的内部框图。图6的模糊量推定部，其结构具有提取部71、HPF(高通滤波器)72以及累计部73。

对提取部71提供观测低分辨率图像的影像信号。提取部71，从该影像信号中提取在观测低分辨率图像内定义的评价区域内的亮度信号。评价区域，例如是观测低分辨率图像内的整个区域。但是，还可以将观测低分辨率图像内的一部分区域(例如，由后述的第五实施例描述的主要被摄体区域)设置作为评价区域。HPF72，仅提取由提取部71所提取的亮度信号中的规定高频成分。例如，由作为如图7所示这样的空间滤波器的具有3×3的滤波器大小的拉普拉斯滤波器(Laplacian filter)形成HPF72，进行使该拉普拉斯滤波器作用于评价区域内的各像素的空间滤波。这样，便从HPF72依次得到与该拉普拉斯滤波器的滤波特性相应的输出值。另外，也可以由频率滤波器形成HPF72，采用傅立叶变换在频率区域上提取高频成分。

累计部73，对由HPF72所提取的高频成分的大小(即HPF72的输出值的绝对值)进行累计，并将累计值作为模糊量评价值输出。某个观测低分辨率图像对应的模糊量评价值，随着该观测低分辨率图像中的模糊量的变小而增大。

在通过对三张观测低分辨率图像L₁～L₃进行高分辨率化从而生成一张高分辨率图像时，将三张图像L₁～L₃内的一张设置作为成为高分辨率化的基准的基准图像，将其他两张设置作为参照图像。既可以将基准图像替换称做基准帧或基准帧图像，也可以将参照图像替换称做参照帧或者参照帧图像。以基准图像为基准计算出用于生成高分辨率图像所必需的位置偏离量。并且，基准图像也能作为初始高分辨率图像的生成源。因此，最终得到的高分辨率图像的画质很大程度依赖于基准图像。因此，基准图像设置部53，基于模糊量评价值进行设置基准图像以及参照图像的处理。具体而言，将观测低分辨率图像L₁～L₃内推定为模糊量最小的观测低分辨率图像设置作为基准图像，并且将剩下的两张观测低分辨率图像设置作为参照图像。由于如果模糊量小则模糊量评价值变大，因此将模糊量评价值最大的观测低分辨率图像设置作为基准图像。

现在，用a表示与基准图像对应的观测低分辨率图像的号码，并且，用b以及c表示与两张参照图像对应的观测低分辨率图像的号码。在基准图像为图像L₁的情况下，a＝1且b＝2且c＝3，基准图像为图像L₂的情况下，a＝2且b＝1且c＝3，在基准图像为图像L₃的情况下，a＝3且b＝1且c＝2。在设置基准图像之后，图4的基准图像设置部53，基于a、b以及c的值，控制位置偏离检测部54、初始高分辨率图像生成部55以及超分辨率处理部57应读出的观测低分辨率图像的顺序。即，控制它们在哪个计时读出哪个帧存储器的图像数据。

位置偏离检测部54，采用代表点匹配法、块匹配法或梯度法等，计算两张观测低分辨率图像之间的位置偏离量。在此计算的位置偏离量，具有比观测低分辨率图像的像素间隔辨析率高(分解能：resolution)的、所谓亚像素(subpixel)的辨析率。即，将比观测低分辨率图像内邻接的两个像素的间隔短的距离作为最小单位计算位置偏离量。位置偏离量是包含水平成分以及垂直成分的二维量，也称作运动量或运动矢量。

位置偏离检测部54，以基准图像为基准，计算基准图像与各参照图像之间的位置偏离量。因此，在设置基准图像之后，向位置偏离检测部54首先输入观测低分辨率图像L_a以及L_b的图像数据，计算以观测低分辨率图像L_a为基准的观测低分辨率图像L_a与L_b之间的位置偏离量V_ab(参照图5)。接着，向位置偏离检测部54，输入观测低分辨率图像L_a以及L_c的图像数据，计算以观测低分辨率图像La为基准的观测低分辨率图像L_a与L_c之间的位置偏离量V_ac。

另一方面，在设置基准图像之后，初始高分辨率图像生成部55(以下简称为生成部55)，基于作为基准图像的观测低分辨率图像L_a生成初始高分辨率图像H₀(参照图5)。该生成处理，相当于图3的步骤S11的处理。初始高分辨率图像H₀，相当于应最终生成的高分辨率图像的初始图像。以下，也将初始高分辨率图像H₀仅称作高分辨率图像H₀或者图像H₀。例如，将采用线性插值(linear interpolation)或双立方插值(bicubic interpolation)使观测低分辨率图像L_a的水平以及垂直方向的像素数增大后的图像作为图像H₀。并将所生成的图像H₀的图像数据记忆在帧存储器64中。

图4的选择部56，选择在由生成部55所生成的图像(即图像H₀)以及在帧存储器64中记忆的图像中的一方，并将所选择的图像的图像数据提供给超分辨处理部57。在生成图像H₀刚刚之后，由选择部56选择图像H₀，在由超分辨处理部57生成与图像H₀不同的高分辨率图像之后，由选择部56选择在帧存储器64中记忆的图像。

并且，从帧存储器61～63向超分辨处理部57输入观测低分辨率图像L_a、L_b以及L_c的图像数据。超分辨处理部57，基于MAP法，采用图像H₀与观测低分辨率图像L_a、L_b以及L_c位置偏离量V_ab以及V_ac，根据推定低分辨率图像的生成求出对图像H₀的更新量。该处理，相当于第一个步骤S12以及S13的处理(参照图3)。并且，通过以该更新量对图像H0进行更新从而生成高分辨率图像H₁(以下简称为图像H₁)。这相当于第一次的步骤S14的处理(参照图3)。另外，在生成图像H₁之后，在图4中只粗线所示的线是有意识地发挥功能的。

所生成的图像H₁的图像数据被覆盖记忆在帧存储器64上，并且经由选择部56再次输入超分辨处理部57中。超分辨处理部57，通过以与根据图像H₀生成图像H1同样的方法对图像H₁进行更新，从而生成高分辨率图像H₂(以下简称为图像H₂)。图像H₂的图像数据被覆盖记忆在帧存储器64中。根据图像H₁生成图像H₂的处理，相当于第二次的步骤S12～S14的处理。

这样，由超分辨处理部57反复执行用于对高分辨率图像进行更新后生成新的高分辨率图像的、由步骤S12～S14的各处理构成的运算处理。以下将该运算处理称作超分辨运算处理。在n为自然数的情况下，通过第n次的超分辨运算处理由高分辨率图像H_n-1生成高分辨率图像H_n。在以下的说明中，n为0以上的整数。

图8表示超分辨处理部57的内部框图。当前，由xⁿ表示用矩阵表现的高分辨率图像H_n，用y_k表示用矩阵表现的观测低分辨率图像L_k。即，例如，矩阵xⁿ表示将形成高分辨率图像H_n的各像素的像素值排列写出的形式。k取1、2、或3的值。

这样，高分辨率图像H_n+1对应的矩阵xⁿ⁺¹，依据下式(A—1)导出，通过该导出生成高分辨率图像H_n+1。式(A—1)的右边第二项，应由超分辨处理部57计算，表示高分辨率图像H_n对应的更新量。k_NUM表示观测低分辨率图像的张数，在该例中k_NUM＝3。通过基于式(A—1)对高分辨率图像进行更新，从而下式(A—2)所表示的MAP法中的评价函数(evaluationfunction)I便被最小化。式(A—2)中的x，表示在进行某个次数的超分辨运算处理时的用矩阵表现的高分辨率图像。

$x^{n+1}=x^n+\mathrm{\β}[\underset{k=1}{\overset{k_{\mathrm{NUM}}}{\mathrm{\Σ}}}\left\{{W_k}^T(y_k-W_k{x}^n)\right\}-\mathrm{\α}{C}^{T}C{x}^n]\·\·\·\·\·\·(A-1)$

$I=\underset{k=1}{\overset{k_{\mathrm{NUM}}}{\mathrm{\Σ}}}{\left|\right|y_k-W_{k}x\left|\right|}^2+\mathrm{\α}{\left|\right|\mathrm{Cx}\left|\right|}^2\·\·\·\·\·\·(A-2)$

采用矩阵W_k与矩阵xⁿ的积，表示作为观测低分辨率图像L_k的推定图像的推定低分辨率图像。W_k是用于根据高分辨率图像H_n生成观测低分辨率图像L_k的推定图像的矩阵，是包含由位置偏离检测部54计算的位置偏离量、表示通过从高分辨率图像向低分辨率图像的低分辨率化所生成的图像模糊的点扩散函数(point spread function)、以及从高分辨率图像向低分辨率图像的下采样(down sampling)在内的图像变换矩阵。(y_k—W_kxⁿ)，表示观测低分辨率图像L_k与相当于其推定图像的推定低分辨率图像之间的差分图像。另外，附加了上标T后的矩阵，表示原矩阵的转置矩阵。因此，例如，W_k ^T表示矩阵W_k的转置矩阵。

并且，C为用于正规化的矩阵，α为正规化参数。矩阵C，例如基于“高分辨率图像中高频域成分少”这样的事先知识设置，由以矩阵表现的拉普拉斯滤波器等形成。并且，β为用于控制反馈量的参数。

若超分辨处理部57中的超分辨运算处理的反复次数达到规定次数，则将通过规定次数的超分辨运算处理所得到的最新高分辨率图像，作为应最终求出的高分辨率图像从超分辨处理部57输出。并且，不管超分辨运算处理的反复次数如何，最新的高分辨率图像对应的更新量都变得足够小且判断更新量收敛了的情况下，也可以将该最新的高分辨率图像作为最终应求出的高分辨率图像从超分辨率处理部57输出。

若将模糊量大的图像设置作为基准图像，则所计算的位置偏离量的精度变差。在超分辨处理中，由于基于所计算的位置偏离量实现高分辨率化，因此位置偏离量的精度劣化与高分辨率图像的画质劣化相关。并且，若将模糊量大的图像设置为基准图像，则最终应得到的高分辨率图像的初始状态(即初始高分辨率图像)的画质变差，难以得到理想的高分辨率图像。在本实施例中，由于选择模糊量小的图像作为基准图像，因此所得到的高分辨率图像的画质提高。

采用模糊量比较大的图9(a)的图像201和模糊量比较小的图9(b)的图像202，通过试验检验选择模糊量小的图像作为基准图像的效果。在该试验中，通过采用缩小率50％的像素点跳跃(pixel skipping)处理使所准备的理想的高分辨率图像的分辨率降低，从而生成三张图像，有意使三张图像中的一张模糊，从而使该图像中含有很大的模糊。然后，将模糊少的两张图像作为两张观测低分辨率图像，且将模糊多的一张图像作为一张观测低分辨率图像处理，通过超分辨处理重新构成具有观测低分辨率图像的2倍的分辨率的高分辨率图像。模糊少的两张观测低分辨率图像，相当于图9(b)的图像202，模糊多的一张观测低分辨率图像，相当于图9(a)的图像201。并且，使不同的两张观测低分辨率图像之间产生位置偏离。

图10(a)以及(b)，表示分别在图像201以及202中应用高通滤波器(图7的拉普拉斯滤波器)的情况下所得到的图像201以及202的高频域提取图像211以及212。图10(a)以及(b)中，高频域提取图像中的像素值越小的像素显示越黑。因图像201中所含的较大模糊而导致高频域提取图像211整体变黑。在将图像201以及202提供给图6的模糊量推定部时，对图像201计算的模糊量评价值(HPF累计值)，是相对图像202计算的1/20左右。

试验中，求出从图4的超分辨处理部57输出的高分辨率图像和理想的高分辨率图像之间的PSNR(Peak Signal to Noise Ratio)。如周知，PSNR是表示所对比的图像之间的类似性的指标，其类似性越高PSNR越高。图11是表示该PSNR对超分辨运算处理的反复次数依赖性的曲线图。图11的折线221，表示在将与图像201对应的模糊多的观测低分辨率图像设置为基准图像的情况下PSNR的反复次数依赖性，图11的折线222，表示在将与图像202对应的模糊少的观测低分辨率图像设置为基准图像的情况下PSNR的反复次数依赖性。与将模糊多的图像设置为基准图像的情况相比，将模糊少的图像设置为基准图像的情况下，PSNR高2dB左右。根据该试验也能理解将模糊量小的图像选择作为基准图像的优越性。

另外，针对包含帧存储器61～64在内的内部存储器17对应的图像数据的读写计时进行补充说明。参照图12(也参照图5)。图12是表示关于图像数据的读写计时所特别关注的超分辨处理的动作流程的流程图。

最初，在步骤S21，将观测低分辨率图像L₁～L₃的图像数据依次写入内部存储器17中。在从图像L₁～L₃中选择基准图像之后，从步骤S21向步骤S22转移。在步骤S22中，位置偏离检测部54，从内部存储器17中读出作为基准图像的图像L_a以及作为参照图像的图像L_b的各图像数据并计算位置偏离量V_ab，接着，从内部存储器17中读出作为基准图像的图像L_a以及作为参照图像的图像L_c的各图像数据并计算位置偏离量V_ac。另一方面，在步骤S23中，生成部55，从内部存储器17中读出图像L_a的图像数据生成初始高分辨率图像。将所生成的初始高分辨率图像的图像数据写入内部存储器17中。之后，在后继步骤S24中，从内部存储器17中读出图像L₁～L₃和当前时刻的高分辨率图像的各图像数据，通过上述的超分辨运算处理更新高分辨率图像，并且，将更新后的高分辨率图像的图像数据写入内部存储器17中。在反复执行超分辨运算处理的情况下，重复执行步骤S24的处理。另外，步骤S22、S23以及S24中的从内部存储器17中读出同一图像数据也可以是同时执行的。例如，还可以同时执行步骤S22中的图像L_a的图像数据的读出和步骤S23中的图像L_a的图像数据的读出。

如上述，在从图像L₁～L₃中选择基准图像之后执行位置偏移量的计算处理的情况下，在步骤S22的阶段，需要从内部存储器17中读出4次(4张图像)观测低分辨率图像的图像数据(图像L_a以及L_b的图像数据的读出、和图像L_a以及L_c的图像数据的读出)。

为了有利于该读出次数的降低，也可以并行地进行基准图像的选择处理和位置偏离量的计算处理。这种情况下，在每次得到观测低分辨率图像时，按照在时间上邻接的两张观测低分辨率图像之间进行位置偏离量(后述的V₁₂以及V₂₃)的计算的方式设置基准图像之后，只要将所计算的位置偏离量变换成基准图像与各参照图像之间的位置偏离量(上述的V_ab以及V_ac)即可。

具体而言按照如下方式进行处理。在取得图像L₁并将图像L₁的图像数据写入内部存储器17中之后，若取得图像L₂，则图像L₂的图像数据被写入内部存储器17且被送入位置偏离检测部54中。与此同时，从内部存储器17中读出图像L₁的图像数据并送入位置偏离检测部54中(在该阶段执行第一次的图像数据读出)。然后，位置偏离检测部54，计算以图像L₁为基准的图像L₁和图像L₂之间的位置偏离量V₁₂。

之后，当取得图像L₃时，则将图像L₃的图像数据写入内部存储器17中并送入位置偏离检测部54中。与此同时，从内部存储器17中读出图像L₂的图像数据并送入位置偏离检测部54中(在该阶段执行第二次的图像数据读出)。然后，位置偏离检测部54，计算以图像L₂为基准的图像L₂与图像L₃之间的位置偏离量V₂₃。

另一方面，与位置偏离量V₁₂以及V₂₃的计算并行地，通过模糊量推定部52进行图像L₁～图像L₃对应的模糊量评价值的计算，并基于所计算的模糊量评价值设置基准图像。位置偏离检测部54，基于所设置的基准图像是图像L₁～L₃中的某个，将位置偏离量V₁₂以及V₂₃变换成对基准图像而言的参照图像的位置偏离量V_ab以及V_ac。通过该变换求出V_ab以及V_ac之后的动作与上述相同。例如，当V₁₂＝(0.5，0.5)且V₂₃＝(—0.25，—0.25)，并且a＝3，b＝1，c＝2时，V_ab＝V₃₁＝V₃₂+V₂₁＝—V₂₃—V₁₂＝(0.25，0.25)—(0.5，0.5)＝(—0.25，—0.25)，求出V_ab。根据V_ac＝V₃₂＝—V₂₃＝(0.25，0.25)求出V_ac。

这样，通过并行地进行基准图像的选择处理和位置偏离量的计算处理，从而虽然因需要位置偏离量的变换处理会导致位置偏离量V_ab以及V_ac的检测精度劣化一些，然而能将图像数据的读出次数降低两次，实现消耗电力的降低。另外，并行进行基准图像的选择处理和位置偏离量的计算处理，还可以应用于后述的其他实施例中。

(第二实施例)

接着，说明第二实施例。在第二实施例中虽然也可以采用图4的超分辨部50，但第一以及第二实施例之间模糊量的推定方法不同。关于该不同点进行说明。在第二实施例中未特别描述的事项，应用第一实施例记载的事项。

为了便于说明，第二实施例中，以根据四张观测低分辨率图像生成一张高分辨率图像的情况为例。四张观测低分辨率图像，是连续摄影的四张帧图像。以L₁、L₂、L₃以及L₄表示该四张观测低分辨率图像，以图像L₁、L₂、L₃以及L₄的顺序进行摄影。另外，鉴于利用于超分辨处理的观测低分辨率图像的张数为四张，超分辨部50的帧存储器的个数由图4的个数进行变更。

在第二实施例中，图4的位置偏离检测部54，依次计算在时间上邻接的两张观测低分辨率图像之间的位置偏离量(所谓帧间运动矢量)。即，计算第一实施例中也描述过的位置偏离量V₁₂以及V₂₃、和以图像L₃为基准的图像L₃与图像L₄之间的位置偏离量V₃₄。模糊量推定部52，基于所计算的位置偏离量V₁₂、V₂₃以及V₃₄，推定在图像列L₁～L₄的摄影期间作用于摄像装置1的手抖状态(换言之摄像装置1的抖动状态)，基于该推定结果推定观测低分辨率图像L₁～L₄的模糊量的大小关系。基准图像设置部53，基于模糊量推定部52的推定结果，将与最小的模糊量对应的观测低分辨率图像设置作为基准图像，将剩下的三张观测低分辨率图像设置作为参照图像。

参照图13等更具体地进行说明。图13的曲线240，表示第一具体例中的位置偏离量的大小的变化的情况。在图13以及后述的图14的曲线图中，横轴表示时间，且纵轴表示位置偏离量的大小，横轴还与帧号码对应。图像L₁～L₄的帧号码分别为1～4。

点241、242以及243，分别为表示第一具体例中的位置偏离量V₁₂、V₂₃以及V₃₄的大小的点。将作为二维量的位置偏离量V₁₂、V₂₃以及V₃₄的大小分别以|V₁₂|、|V₂₃|、|V₃₄|来表现。按照点241～243位于曲线240上的方式采用插值法(interpolation)形成曲线240。曲线240这样的采用插值法使位置偏离量V₁₂、V₂₃以及V₃₄的大小连接所形成的线称作手抖动量轨迹。手抖动量轨迹，可以解释为表示在图像L₁～L₄的摄影期间(包含其曝光期间)内作用于摄像装置1的手抖的大小(换言之因手抖而引起的摄像装置1的抖动的大小)的时间的变化。如图13所示的例子那样，在不等式“|V₁₂|>|V₂₃|<|V₃₄|”成立的情况下，采用样条插值(splineinterpolation)等描绘手抖动量轨迹。

另外，在采用插值法形成手抖动量轨迹时，除位置偏离量V₁₂、V₂₃以及V₃₄的大小之外，还利用在图像L₁的摄影刚刚之前摄影的帧图像L₀和图像L₁之间的位置偏离量V₀₁、以及在图像L₄与在图像L₄的摄影刚刚之后所摄影的帧图像L₅之间的位置偏离量V₄₅。

点245，表示手抖动量轨迹240上的位置偏离量的大小变成极小的点。模糊量推定部52，将该极小点245在时间方向的位置最近的帧号码确定作为最小手抖动帧号码。然后，在与最小手抖动帧号码对应的观测低分辨率图像的曝光期间作用的手抖动的大小，比其他任一观测低分辨率图像的手抖动的大小要小，结果，推定与最小手抖动帧号码对应的观测低分辨率图像的模糊量(因手抖动引起的模糊量)比其它任一观测低分辨率图像的模糊量都小。

基准图像设置部53，将与最小手抖动帧号码对应的观测低分辨率图像设置作为基准图像，且将剩下的三张观测低分辨率图像设置作为参照图像。在图13的例子中，点245位于点242和点243之间，因此最小手抖动帧号码为“3”，并且与最小手抖动帧号码对应的观测低分辨率图像为L₃。因此，将图像L₃设置为基准图像，图像L₁、L₂以及L₄设置为参照图像。

针对在不等式“|V₁₂|>|V₂₃|<|V₃₄|”不成立的情况下的最小手抖动帧号码的决定方法进行说明。图14的手抖动量轨迹250，表示第二具体例中位置偏离量的大小的变化的情况。点251、252以及253分别是表示第二具体例中的位置偏离量V₁₂、V₂₃以及V₃₄的大小的点，通过采用插值法连接点251～253连接从而形成手抖动量轨迹250。

在图14对应的第二具体例中，由于不等式“|V₁₂|>|V₂₃|>|V₃₄|”成立，因此可知在图像L₁～L₄的摄影期间(包括其曝光期间)内作用于摄像装置1的手抖动的大小慢慢减少。这种情况下，决定最小手抖动帧号码为“4”。相反，在不等式“|V₁₂|<|V₂₃|<|V₃₄|”成立的情况下，决定最小手抖动帧号码为“1”。另外，在不等式“|V₁₂|<|V₂₃|>|V₃₄|”以及“|V₁₂|>|V₃₄|”成立的情况下，决定最小手抖动帧号码为“4”，在不等式“|V₁₂|<|V₂₃|>|V₃₄|”以及“|V₁₂|<|V₃₄|”成立的情况下，决定最小手抖动帧号码为“1”即可。决定最小手抖动帧号码后的处理内容与上述相同。

另外，也可以按照以下方式决定最小手抖动帧号码。分别与帧号码1、2、3以及4对应地求出位置偏离量V₀₁以及V₁₂的大小的和、位置偏离量V₁₂以及V₂₃的大小的和、位置偏离量V₂₃以及V₃₄的大小的和、以及位置偏离量V₃₄以及V₄₅的大小的和，将与这四个和内的最小值对应的帧号码决定为最小手抖动帧号码。

(第三实施例)

第一以及第二实施例所描述的模糊量的推定方法是一例，也可以以与其不同的方法进行模糊量的推定。作为表示模糊量的推定方法的变形例说明第三实施例。第三实施例是与第一实施例组合来实施的。

例如，也可以基于观测低分辨率图像的亮度值的直方图中的方差进行模糊量的推定。在采用该方法的情况下，图4的模糊量推定部52，提取观测低分辨率图像的各像素的亮度信号生成观测低分辨率图像的亮度值(即亮度信号值)的直方图。然后，计算该直方图的方差作为模糊量评价值。直方图的生成以及方差的计算，是按每个观测低分辨率图像进行的。另外，形成直方图的亮度信号，可以从观测低分辨率图像的整个区域中提取，也可以从观测低分辨率图像的一部分区域中提取。

三张观测低分辨率图像L₁～L₃是连续摄影的三张帧图像，因此基本上这些构图相同。如果是相同构图的图像，则在曝光期间产生的手抖动越大邻接像素之间的亮度越被平滑化，中间灰度的像素的比例增加，亮度值的直方图中的分布集中化在中间灰度。上述的平滑化的程度越大，直方图中的方差越小，模糊量评价值越小，因此可以推定模糊量评价值越大，与其对应的观测低分辨率图像的模糊量越小。因此，图4的基准图像设置部53，基于直方图的方差，将观测低分辨率图像L₁～L₃中的与模糊量评价值内最大的模糊量评价值所对应的观测低分辨率图像设置作为基准图像，将剩下的两张观测低分辨率图像设置作为参照图像。

作为观测低分辨率图像的例子，在图15(a)中表示图像261，并且在图15(b)中表示图像262。图像261为鲜明的图像，另一方面，因图像262的曝光期间产生大的手抖动，从而图像262中含有很大模糊。并且，图16(a)以及(b)分别表示对图像261以及262生成的直方图。在与图像261的直方图的对比中(参照图16(a))，在图像262的直方图(参照图16(b))中可见分布向中间灰度集中化。因该集中化，方差会变小。

此外，还可采用推定图像的模糊量的任意方法。例如，也可以采用JP特开平11—27574号公报中记载的方法，推定观测低分辨率图像的模糊量。这种情况下，通过将所关注的观测低分辨率图像进行傅立叶变换，从而生成二维频率区域上的变换图像，在以频率坐标的原点为中心的圆上投影变换图像。然后，根据该投影数据推定所关注的观测低分辨率图像的模糊量。另外，JP特开平11—27574号公报中的“手抖动的大小”相当于模糊量。

(第四实施例)

接着，说明第四实施例。图17为第四实施例涉及的超分辨部50a的内部框图。设置在超分辨部50a中的由符号51、54～57以及61～64所参照的各部位，与图4的部位相同。设置在超分辨部50a中的基准图像设置部53a的功能，由图1的CPU23或者影像信号处理部13实现。除了基准图像的设置方法不同这点以外，超分辨部50a与第一实施例涉及的超分辨部50(图4)相同。因此，以下，对第四实施例涉及的基准图像的设置方法进行说明。第四实施例中，与第一实施例同样地，假设根据三张观测低分辨率图像L₁～L₃生成一张高分辨率图像。

在第四实施例中，在摄像装置1中设置图18的传感器部75。基准图像设置部53a，基于从传感器部75输出的传感器检测数据，从观测低分辨率图像L₁～L₃中设置基准图像。传感器部75，对因手抖动等引起的摄像装置1的抖动(摄像装置1的筐体的抖动)进行检测。具体而言，传感器部75，具备：角速度传感器75A，其对摄像装置1的偏转(Yaw)方向(水平方向)的角速度进行检测，并输出表示其检测结果的信号；和角速度传感器75B，其对摄像装置1的俯仰(Pitch)方向(垂直方向)的角速度进行检测，并输出表示其检测结果的信号；上述传感器部75将角速度传感器75A以及75B的输出信号作为传感器检测数据输出。

根据传感器检测数据表示摄像装置1的抖动(摄像装置1的筐体的抖动)的大小以及方向。基准图像设置部53a，基于观测低分辨率图像L₁～L₃各自的曝光期间的传感器检测数据设置基准图像。具体而言，根据图像L₁～L₃各自的曝光期间的传感器检测数据，求出图像L₁的曝光期间内摄像装置1的抖动大小Q₁、图像L₂的曝光期间内摄像装置1的抖动大小Q₂以及图像L₃的曝光期间内摄像装置1的抖动大小Q₃，将与大小Q₁～Q₃内的最小的大小对应的观测低分辨率图像设置为基准图像，并且将剩下的两张观测低分辨率图像设置为参照图像。例如，如图19所示，在不等式“Q₁>Q₃>Q₂”成立的情况下，将图像L₂设置为基准图像，并且将图像L₁以及L₃设置为参照图像。

大小Q₁表示例如在实际空间上来自静止的点光源的光形成的点像因在图像L₁的曝光期间内摄像装置1的抖动而在图像L₁上描绘的轨迹的长度(或者该轨迹的始点与终点之间的距离)。关于大小Q₂以及Q₃也同样。

另外，还考虑超分辨部50a中内置模糊量推定部(未图示)的情况。这种情况下，超分辨部50a中的模糊量推定部，根据图像L₁～L₃的各个曝光期间的传感器检测数据求出摄像装置1的抖动大小Q₁～Q₃，推定为摄像装置1的抖动的大小越大对应的观测低分辨率图像的模糊量越大，将该推定结果提供给基准图像设置部53a。基准图像设置部53a，基于该推定结果能够设置基准图像。因此例如在不等式“Q₁>Q₃>Q₂”成立的情况下，推定为图像L₁～L₃的模糊量中图像L₁的模糊量最大且图像L₂的模糊量最小，通过将该推定结果提供给基准图像设置部53a，从而将图像L₂设置为基准图像，并且将图像L₁以及L₃设置为参照图像。

并且，上述虽然是由角速度传感器构成传感器部75的例子，但也可以由对表示摄像装置1的抖动的除角速度以外的物理量进行检测的传感器构成传感器部75。例如，也可以由对摄像装置1的加速度进行检测的加速度传感器或者对摄像装置1的角加速度进行检测的角加速度传感器形成传感器部75。

然而，在对图像L₁进行摄影的情况下，取得表示图像L₁的亮度以及颜色的图像数据同时还有在图像L₁的曝光期间的传感器检测数据，将这些数据相互关联，并根据需要记录在外部存储器18(参照图1)中。在将关于图像L₁的这些数据记录在外部存储器18中的情况下，例如将由主体区域和标题区域构成的一个图像文件设置在外部存储器18内，在该图像文件的主体区域保存图像数据，并且在标题区域保存传感器检测数据。可以认为图像L₁的传感器检测数据，是图像L₁的图像数据所附带的表示图像L₁的摄影条件的信息。关于图像L₁以外的图像(L₂等)也同样。

在本说明书中，如图20所示，将包含图像数据以及传感器检测数据在内的信息称作图像信息。图像L₁的图像信息，表示还包含图像L₁的摄影条件在内的图像L₁的特征(关于图像L₂等也同样)。

(第五实施例)

接着，对第五实施例进行说明。摄影者所关注的主要被摄体在图像上的大小越大，在图像上越能够更加详细表现主要被摄体。因此，优选将主要被摄体显得更大的图像提供给包含摄影者在内的用户。另一方面，通过超分辨处理所得到的高分辨率图像，是以作为基准图像的观测低分辨率图像为基准生成的，因此如果基准图像上的主要被摄体的大小比较大，则高分辨率图像上的主要被摄体的大小也比较大。考虑这个，在第五实施例中，将主要被摄体显得更大的观测低分辨率图像设置作为基准图像。

图21为第五实施例的超分辨部50b的内部框图。设置在超分辨部50b中的由符号51、54～57以及61～64所参照的各部位，与图4的部位相同。设置在超分辨部50b中的基准图像设置部53b以及被摄体大小检测部76的功能，由图1的CPU23或者影像信号处理部13实现。除了基准图像的设置方法不同这点以外，超分辨部50b与第一实施例涉及的超分辨部50(图4)相同。因此，以下，对基准图像的设置有关的基准图像设置部53b以及被摄体大小检测部76的功能进行说明。第五实施例中，与第一实施例同样地，假设根据三张观测低分辨率图像L₁～L₃生成一张高分辨率图像。

被摄体大小检测部76，按每个观测低分辨率图像，基于观测低分辨率图像的图像数据对观测低分辨率图像上的主要被摄体的大小进行检测。基准图像设置部53b，将观测低分辨率图像L₁～L₃内主要被摄体的大小最大的观测低分辨率图像设置为基准图像，并且将其他两张观测低分辨率图像设置为参照图像。

列举具体例对被摄体大小检测部76的检测方法进行说明。首先，作为第一检测方法，对被摄体大小检测部76可执行脸检测处理的情况进行说明。脸检测处理，是基于观测低分辨率图像的图像数据将存在人物脸的图像数据的图像区域作为脸区域从观测低分辨率图像的整个图像区域中提取的处理。第一检测方法中，被摄体大小检测部76，通过对图像L₁～L₃分别执行脸检测处理从而从各个图像L₁～L₃中提取脸区域。脸区域的大小，是随着存在于该脸区域内的脸的大小的增大而增大的。

第一检测方法中，被摄体大小检测部76，将含有表示脸区域的大小的信息的脸检测结果发送给基准图像设置部53b，基准图像设置部53b，基于该脸检测结果，将提取了最大脸区域的观测低分辨率图像设置为基准图像。例如，取得图22的图像301～303作为图像L₁～L₃，并且从图像301～303中提取脸区域311～313，在图像上的脸区域312的大小比脸区域311以及313的大小大的情况下，将与图像302以及脸区域312对应的图像L₂设置为基准图像。在上述例子中，考虑人物的脸或者人物本身是主要被摄体。

然而，作为取得图像301～303这样的脸区域的大小不一致的图像列的一个原因，认为是在图像301～303的摄影期间内摄像装置1沿着摄影方向活动(即前后活动)。这样的情况下，在图像301～303之间按照脸区域的大小一致的方式对图像301～303整体实施线性变换(所谓电子变焦)，采用线性变换后的图像301～303作为参照图像进行超分辨处理。

但是，还考虑在图像301～303的摄影期间内不是摄像装置1而是与脸区域311～313对应的人物在摄影方向活动。即使这样的情况下，只要采用上述线性变换后的图像301～303作为参照图像进行超分辨处理即可，但在人物活动的情况下，在作为基准图像的图像302与线性变换后的图像301以及303之间，脸区域的大小一致的图像的背景区域的大小不一致。若采用背景区域的大小不一致的图像列进行超分辨处理，则背景区域中会产生双重像。

另一方面，若产生这样的不一致则由位置偏离检测部54产生的位置偏离量的可靠度降低，因此如果与位置偏离量一起计算该可靠度，则可检测上述不一致的发生。例如，如公知，可根据在位置偏离量计算时生成的数据(例如在采用块匹配法求出位置偏离量时导出的SSD(Sum of squareddifference)的值)求出上述可靠度。

因此，当检测到上述不一致的情况下，判断为人物活动了，只要不将作为线性变换后的图像301以及303内的图像区域且除脸区域(或者存在人物的图像数据的图像区域)以外的图像区域用于超分辨处理中即可。例如，仅采用图像302的整个图像区域和线性变换后的图像301以及303的脸区域311以及313生成高分辨率图像。这样，由三张低分辨率图像的脸区域生成高分辨率图像内的脸区域，另一方面，仅由图像302生成高分辨率图像内除脸区域以外的部分，但为了实现作为主要被摄体的脸的高分辨率化是十分有用的。另外，高分辨率图像的生成所需要的、在图像302的脸区域311和线性变换后的图像301以及303的脸区域311以及313之间的位置偏离量，可以由在脸检测处理的执行时所求出的各脸区域的位置决定。这样的不将线性变换后的观测低分辨率图像内的一部分图像区域用于超分辨处理的方法，也可以应用于后述的第二检测方法中。

对采用被摄体大小检测部76的第二检测方法进行说明。在第二检测方法中，被摄体大小检测部76，对各观测低分辨率图像设置主要被摄体区域。所谓主要被摄体区域，是观测低分辨率图像的一部分图像区域且推测为存在主要被摄体的图像数据的图像区域。例如，一般而言鉴于主要被摄体存在于图像的中央附近的可能性高，可以将位于观测低分辨率图像的中央附近的、预先设置的图像区域用作主要被摄体区域。或者，也可以采用后述的第七实施例所述的AF评价区域作为主要被摄体区域。进而或者还可以采用存在处于焦点的被摄体的图像数据的图像区域作为主要被摄体区域。可以根据观测低分辨率图像的高频成分决定存在处于焦点的被摄体的图像数据的图像区域的位置。

当前，考虑取得图23的图像321～323作为图像L₁～L₃，并且对图像321～323设置主要被摄体区域331～333的情况。被摄体大小检测部76，在主要被摄体区域331～333的中央附近分别设置基准区域341～343。主要被摄体区域的位置以及大小还有基准区域的位置以及大小，在图像321～323之间是相同的。

被摄体大小检测部76，基于图像321～323的图像数据，分别求出图像321的基准区域341内的颜色、图像322的基准区域342内的颜色以及图像323的基准区域343内的颜色作为第一～第三基准颜色。基准区域341内的颜色，是例如属于基准区域341内的各像素的平均颜色(关于基准区域342内的颜色以及基准区域343内的颜色也同样)。在图像数据由RGB形式的信号表示的情况下，只要根据作为属于基准区域341内的各像素的颜色信号的R、G以及B信号求出第一基准颜色即可，在由YUV形式的信号表示图像数据的情况下，只要根据作为属于基准区域341内的各像素的色差信号即U及V信号求出第一基准颜色即可(关于第二以及第三基准颜色也同样)。有关某个像素，R、G以及B信号表示该像素的红色、绿色以及蓝色的强度。另外，可以将第一～第三基准颜色全部设置为相同颜色。这种情况下，可以将第一～第三基准颜色设置为基准区域341、342或者343内的颜色。

被摄体大小检测部76，通过按每个观测低分辨率图像，对在主要被摄体区域内存在几个与基准颜色相同或类似的像素进行计数，从而对观测低分辨率图像上的主要被摄体的大小进行检测。

具体而言，按每个观测低分辨率图像进行以下处理。将基准颜色在RGB颜色空间上的位置设置作为基准位置，另一方面，对属于主要被摄体区域内的各像素的颜色在RGB颜色空间上的位置进行检测，求出前者的位置(基准位置)与后者的位置之间的欧氏距离(Euclidean distance)。然后，检测主要被摄体区域内的像素内欧氏距离处于规定的阈值D_TH以下的像素的个数作为主要被摄体的大小。如图23所示的情况下，对图像L₂计数的上述个数，比对图像L₁以及L₃计数的上述个数大，结果，图像L₂被设置为基准图像。

根据第五实施例，可生成主要被摄体表现大的对用户而言优选的高分辨率图像。

(第六实施例)

接着，说明第六实施例。若选择对用户而言非优选的、闭眼的图像或表情不好的图像作为基准图像，则高分辨率图像也不能成为优选图像。因此，第六实施例中，考虑脸的状态进行基准图像的设置。

图24为第六实施例涉及的超分辨部50c的内部框图。由设置在超分辨部50c中的由符号51、54～57以及61～64所参照的各部位，与图4的各部位相同。设置在超分辨部50c中的基准图像设置部53c以及脸状态检测部77的功能，由图1的CPU23或者影像信号处理部13实现。除了基准图像的设置方法不同这点以外，超分辨部50c与第一实施例涉及的超分辨部50(图4)同样。因此，以下，对基准图像的设置有关的基准图像设置部53c以及脸状态检测部77的功能进行说明。第六实施例中，与第一实施例同样地，假设根据三张观测低分辨率图像L₁～L₃生成一张高分辨率图像。

脸状态检测部77，对各观测低分辨率图像执行第五实施例所述的脸检测处理，提取观测低分辨率图像上的人物的脸区域。之后，脸状态检测部77，基于观测低分辨率图像的图像数据，从脸区域内提取存在眼睛的眼睛区域，进而执行检测眼睛的开闭状态的眨眼检测处理。眨眼检测处理，可利用包含公知的方法在内的任意方法。例如，通过进行采用表示标准瞳孔的图像作为模板的模板匹配，从而对眼睛区域内的瞳孔的有无进行检测，可以根据该有无检测结果检测眼睛是否打开着。

基准图像设置部53c，将观测低分辨率图像L₁～L₃内通过眨眼检测处理判断为眼睛打开着的观测低分辨率图像设置为基准图像。例如，在判断为图像L₂以及L₃上的眼睛打开且图像L₁上的眼睛闭着的情况下，将图像L₂或者L₃设置为基准图像，并且将剩下的两张(图像_L1以及L₂、或者图像L₁以及L₃)设置为参照图像。

另外，在判断为图像L₂以及L₃上的眼睛打开且图像L₁上的眼睛闭着的情况下，为了防止高分辨率图像上出现双重像，不将图像L₁的眼睛区域(或者整个脸区域)用于超分辨处理较好。这种情况下，高分辨率图像的除眼睛区域(或者整个脸区域)以外的部分由图像L₁～L₃生成，另一方面，高分辨率图像的眼睛区域(或者整个脸区域)仅由图像L₂以及L₃生成。

也可以在提取观测低分辨率图像上的脸区域之后使脸状态检测部77执行笑脸检测处理而非眨眼检测处理。笑脸检测处理，是按每个观测低分辨率图像执行的。在笑脸检测处理中，基于观测低分辨率图像的图像数据，判断脸区域内的脸是否为笑脸。笑脸检测处理中可利用包含公知的方法在内的任意方法。

在执行笑脸检测处理的情况下，基准图像设置部53c，将观测低分辨率图像L₁～L₃内通过笑脸检测处理判断为脸区域内的脸为笑脸的观测低分辨率图像设置为基准图像。例如，在判断为图像L₂以及L₃上的脸为笑脸且图像L₁上的脸非笑脸的情况下，将图像L₂或者L₃设置为基准图像，并且将剩下的两张(图像L₁以及L₂，或者，图像L₁以及L₃)设置为参照图像。

另外，在判断为图像L₂以及L₃上的脸为笑脸且图像L₁上的脸非笑脸的情况下，为了防止高分辨率图像上出现双重像，不将图像L₁的整个脸区域用于超分辨处理较好。这种情况下，根据图像L₁～L₃生成高分辨率图像的脸区域以外的部分，另一方面仅由图像L₂以及L₃生成高分辨率图像的脸区域。

另外，还可采用上述的眨眼检测处理和笑脸检测处理双方设置基准图像。这种情况下，将通过眨眼处理判断为眼睛打开着且通过笑脸检测处理判断为脸区域内的脸为笑脸的观测低分辨率图像设置为基准图像。

根据第六实施例，可生成脸的状态良好且对用户而言优选的高分辨率图像。

(第七实施例)

接着说明第七实施例。在第七实施例中，基于自动聚焦控制所采用的AF评价值设置基准图像。

首先，参照图25，详细说明图1的摄像部11的内部结构。图25为摄像部11的内部结构图。摄像部11，具有：光学系统35、光圈32、摄像元件33和驱动器34。光学系统35，其结构具备：包含变焦透镜30以及聚焦透镜31的多枚透镜。变焦透镜30以及聚焦透镜31可在光轴方向移动。

驱动器34，基于来自CPU23的控制信号，控制变焦透镜30以及聚焦透镜31的移动，控制光学系统35的变焦倍率和焦点位置。并且，驱动器34，基于来自CPU23的控制信号，控制光圈32的开度(开口部的大小)。来自被摄体的入射光，经由构成光学系统35的各透镜以及光圈32，入射向摄像元件33。构成光学系统35的各透镜，使被摄体的光学像在摄像元件33上成像。从TG22提供用于对摄像元件33进行驱动的驱动脉冲。

在摄像装置1中，进行采用TTL(Through The Lens)方式的自动聚焦控制。为了进行该自动聚焦控制，在图1的影像信号处理部13中设置AF评价部(焦点评价值导出部)。图26为设置在影像信号处理部13中的AF评价部80的内部框图。

AF评价部80，具有提取部81、HPF(高通滤波器)82以及累计部83。AF评价部80，针对一个帧图像计算一个AF评价值(焦点评价值)。

对提取部81提供帧图像的影像信号。提取部81，从该影像信号中提取在帧图像内定义的AF评价区域(焦点评价区域)内的亮度信号。AF评价区域，由相互分离的多个要素区域形成。图27(a)表示AF评价区域的设置例。例如，通过将帧图像分别在垂直方向和水平方向三等分，从而在帧图像内定义9个分割区域。然后，如图27(a)所示，将该9个分割区域内位于帧图像中央的分割区域的整体或者一部分作为要素区域AR1，将位于要素区域AR1的上下左右的分割区域的整体或者一部分作为要素区域AR2～AR5。这种情况下，要素区域AR1～AR5的总计区域相当于AF评价区域。另外，还可由一个要素区域形成AF评价区域。例如，可以将要素区域AR1本身作为AF评价区域。在以下说明中，假设由要素区域AR1～AR5形成AF评价区域。

HPF82，只提取由提取部81所提取的亮度信号中的规定高频成分。例如，由具有如图7所示这样的3×3的滤波器大小的拉普拉斯滤波器形成HPF82，进行使该拉普拉斯滤波器作用于AF评价区域内的各要素的空间滤波。这样，由HPF82依次得到与该拉普拉斯滤波器的滤波特性相应的输出值。

累计部83，对通过HPF82所提取的高频成分的大小(即，HPF82的输出值的绝对值)进行累计。该累计，是按每个要素区域分别进行的。因此，计算关于要素区域AR1～AR5的各累计值。累计部83，通过依据事先决定的加权系数对各累计值进行加权相加从而计算AF评价值。假设要素区域AR1对应的加权系数比其他要素系数对应的加权系数更高。例如，如图27(b)所示，考虑要素区域AR1对应的加权系数为2.0且其他要素区域AR2～AR5对应的加权系数为1.0的情况。这样，计算将对要素区域AR1计算的累计值乘以2所得到的值、与对要素区域AR2～AR5计算的累计值之间的总和作为AF评价值。

对依次得到的帧图像计算的各AF评价值，逐次被传递给图1的CPU23。关于某帧图像的AF评价值，与该帧图像的AF评价区域内的高频成分的量大概成比例，且随着该量的增大而增大。高频成分的量也叫做高频成分的强度。

在自动聚焦控制的执行时，一边使聚焦透镜31一点一点移动一边依次求出AF评价值，求出AF评价值为最大(或者极大)的聚焦透镜31的位置作为调焦透镜位置。然后，例如将在将聚焦透镜31配置在调焦透镜位置的状态下连续摄影的三张帧图像作为上述的观测低分辨率图像L₁～L₃处理。

该观测低分辨率图像L₁～L₃也被提供给AF评价部80，观测低分辨率图像L₁～L₃各自对应的AF评价值也如上述方式求出。然后，在第七实施例中，将观测低分辨率图像L₁～L₃的AF评价值中最大的AF评价值所对应的观测低分辨率图像设置作为基准图像。

图28为第七实施例涉及的实施超分辨处理的超分辨部50d的内部框图。超分辨部50d，其构成具备：由符号51、80、53d以及54～57所参照的各部分、和帧存储器61～64。即，通过将图4的超分辨部50中的模糊量推定部52以及基准图像设置部53调换成AF评价部80以及基准图像设置部53d从而形成超分辨部50d。超分辨部50d内除AF评价部80以及基准图像设置部50d以外的部位的动作，与图4的超分辨部50的该部位的动作相同，因此省略对相同部位的重复说明。基准图像设置部53d，由CPU23实现。但是，也可以由影像信号处理部13实现基准图像设置部53d的功能。

AF评价值80，将关于观测低分辨率图像L₁～L₃的AF评价值发送给基准图像设置部53d。基准图像设置部53d，基于关于图像L₁～L₃的AF评价值进行设置基准图像以及参照图像的处理。具体而言，确定对图像L₁～L₃所求出的3个AF评价值内最大的AF评价值，将该最大的AF评价值对应的观测低分辨率图像设置作为基准图像，另一方面设置剩下的两张观测低分辨率图像作为参照图像。设置基准图像以及参照图像之后的动作，与第一实施例相同。

当前，考虑摄像装置1的视野内包含运动被摄体的情况。所谓运动被摄体，是指在实际空间上移动的被摄体。然后，取得图29的帧图像361、362以及363，假设帧图像361、362以及363分别为观测低分辨率图像L₁、L₂以及L₃的情况。帧图像361～363中包含作为运动被摄体的运动物体，因该运动物体相对摄像装置1相对地移动，从而该运动物体在帧图像361内由右侧描绘，在帧图像362内描绘在大约中央，在帧图像363内由左侧描绘。并且，在帧图像361～363的摄影时，按照对该运动物体对焦的方式固定聚焦透镜31的透镜位置。

这种情况下，由AF评价值的计算方法能理解，若图像L₁、L₂以及L₃对应的AF评价值内图像L₂对应的AF评价值成为最大的可能性高。然后，若实际上图像L₂对应的AF评价值变得最大，则由于将图像L₂设置为基准图像进行超分辨处理，因此与图像L₂同样地，在所得到的高分辨率图像内所关注的运动物体位于大约中央。

根据本实施例，便得到摄影者所关注的运动被摄体(即处于焦点的运动被摄体)配置在中央的高分辨率图像。即，可自动得到与摄影者的意图一致的优选构图的高分辨率图像。

另外，在本实施方式的超分辨处理中，采用线性插值等由基准图像生成初始高分辨率图像。并且，依据以基准图像为基准的基准图像与各参照图像之间的位置偏离量，根据高分辨率图像(最初为初始高分辨率图像)生成推定低分辨率图像，按照该推定低分辨率图像与观测低分辨率图像之间的误差被最小化的方式对高分辨率图像更新。因此，最终得到的高分辨率图像，叫做使基准图像的分辨率提高的图像(参照图像是为了提高其分辨率所参照的图像)。因此，若设置图29的帧图像362作为基准图像，则在所得到的高分辨率图像内，所关注的运动物体位于大约中央。

(第八实施例)

接着说明第八实施例。第八实施例中，详细说明根据多张观测低分辨率图像得到高分辨率图像的要素技术。可以将第八实施例中记载的事项应用于上述第一～第七实施例中。

在第八实施例中，为了简化说明，以根据具有3×3的图像大小的两张观测低分辨率图像具有生成6×6的图像大小的一张高分辨率图像的情况为例。将两张观测低分辨率图像内的一张称作第一观测低分辨率图像，将另一张称作第二观测低分辨率图像。将第一观测低分辨率图像设置作为基准图像，将第二观测低分辨率图像设置作为参照图像。另外，在以下说明中，分别将第一以及第二观测低分辨率图像简称为第一以及第二观测图像。

图30(a)以及(b)表示第一以及第二观测图像的像素排列，图30(c)表示高分辨率图像的像素排列。图30(c)的像素排列是包含初始高分辨率图像H₀的高分辨率图像H_n的像素排列(n为0以上的整数)。并且，虽然在超分辨运算处理的过程中根据高分辨率图像生成推定低分辨率图像以及差分图像(参照图8)，但与第k观测图像对应的推定低分辨率图像以及差分图像的像素排列也与第k观测图像的像素排列相同(第八实施例中k为1或2)。以下将与第k观测图像对应的推定低分辨率图像以及差分图像分别称作第k张推定低分辨率图像以及差分图像。

图30(a)～(c)以及后述的图32、图33(a)以及(b)还有图35中，涂黑的四角形表示配置第一观测图像或者第一推定分辨率图像或者第一差分图像的像素的点，涂黑的三角形表示配置第二观测图像或者第二推定低分辨率图像或者第二差分图像的像素的点，涂黑的圆点表示配置高分辨率运动图像的像素的点。

在各图像中将像素配置成矩阵状。采用0≦i≦2且0≦j≦2的范围内的i以及j以(i，j)示出表示一张观测图像(或者推定低分辨率图像或者差分图像)中的总计9个像素的位置的坐标。但是，i以及j为整数。采用0≦i≦5且0≦j≦5的范围内的i以及j以(i，j)示出表示高分辨率图像中的总计36个像素的位置的坐标。i表示行方向(换言之垂直方向)的坐标值，j表示列方向(换言之水平方向)的坐标值。

进而，分别以y₁以及y₂表示表现为矩阵的第一以及第二观测图像。并且，如第一实施例所描述那样，以xⁿ表示表现为矩阵的高分辨率图像H_n。然后，以y₁(i，j)表示第一观测图像内的坐标(i，j)中的像素的像素值，且以y₂(i，j)表示第二观测图像内的坐标(i，j)中的像素的像素值，以xⁿ(i，j)表示高分辨率图像H_n内的坐标(i，j)中的像素的像素值。这样，y₁、y₂以及xⁿ由式(B—1)、(B—2)以及(B—3)表示。另外，如上述，附加了上标T的矩阵表示原矩阵的转置矩阵。

y₁＝[y₁(0，0)，y₁(0，1)，...，y₁(2，2)]^T……(B—1)

y₂＝[y₂(0，0)，y₂(0，1)，...，y₂(2，2)]^T……(B—2)

xⁿ＝[xⁿ(0，0)，xⁿ(0，1)，...，xⁿ(5，5)]^T……(B—3)

(亚像素精度的位置偏离量的计算方法)

首先，针对以作为基准图像的第一观测图像为基准的第一以及第二观测图像之间的位置偏离量的计算方法进行说明。如第一实施例所描述，采用代表点匹配法或块匹配法、梯度法等，按照具有亚像素的辨析率的方式计算位置偏离量。作为例子，对采用代表点匹配法的情况进行说明。

第一观测图像中设置的代表点为坐标(0，0)中的像素，在设代表点匹配法中的检测块大小为1×1的情况下，与位置(i，j)对应的相关值E(i，j)由式(B—4)表示。针对(i，j)＝(0，0)、(0，1)、…(2，2)分别求出相关值E(i，j)，对所得到的总计9个相关值E(0，0)～E(2，2)内最小的相关值进行确定。若以E(i_o，j_o)表示该最小的相关值，则由i_o及j_o决定第一以及第二观测图像之间的整数精度的位置偏离量。

E(i，j)＝|y₁(0，0)-y₂(i，j)|……(B—4)

位置偏离量的小数点部分，基于提供最小相关值E(i_o，j_o)的像素的上下左右像素所对应的相关值以及相关值E(i_o，j_o)，例如利用图31(a)以及(b)所示这样的抛物线近似进行计算。例如，在i_o＝1且j_o＝1的情况下，位置偏离量的小数点部分的行方向成分i_SUB以及列方向成分j_SUB，是根据下式(B—5)以及(B—6)求出的。但是，也可以采用线性近似等、采用公知的任意方法导出小数点部分的位置偏离量。

$i_{\mathrm{SUB}}=\frac{E\left(\mathrm{0,1}\right)-E\left(\mathrm{2,1}\right)}{2E\left(\mathrm{0,1}\right)-4E\left(\mathrm{1,1}\right)+2E\left(\mathrm{2,1}\right)}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;(B-5)$

$i_{\mathrm{SUB}}=\frac{E(1,0)-E(1,2)}{2E(1,0)-4E\left(\mathrm{1,1}\right)+2E(1,2)}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;(B-6)$

最终第一以及第二观测图像之间的位置偏离量，由i_o及j_o、和i_SUB及j_SUB表现。即，该位置偏离量的行方向成分以及列方向成分(换言之垂直成分以及水平成分)，分别以(i_o+i_SUB)以及(j_o+j_SUB)表示。

(初始高分辨率图像的生成方法)

初始高分辨率图像H₀，采用线性插值或双立方插值，根据作为基准图像的第一观测图像生成。例如，令y₁(0，0)＝x⁰(0，0)，采用线性插值通过以2倍的放大率对第一观测图像进行放大生成初始高分辨率图像H₀的情况下，以图32的星形标记表示的图像H₀内的坐标(1，3)中的像素值x₀(1，3)，根据下式(B一7)计算。

$x^0\left(\mathrm{1,3}\right)=\frac{y_1\left(\mathrm{0,1}\right)+y_1\left(\mathrm{0,2}\right)+y_1\left(\mathrm{1,1}\right)+y_1\left(\mathrm{1,2}\right)}{4}\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;(B-7)$

(推定低分辨率图像以及差分图像的生成方法)

在以图4等的超分辨处理部57执行的超分辨运算处理中，通过对高分辨率图像作用矩阵W_k重新构成低分辨率图像(上述的推定低分辨率图像)(参照图8)。矩阵W_k，如上述，是包含由位置偏离检测部54所计算的位置偏离量、表示通过从高分辨率图像向低分辨率图像的低分辨率化所产生的图像模糊的点扩散函数(point spread function)、以及从高分辨率图像向低分辨率图像的下采样(down sampling)在内的图像变换矩阵。作为该矩阵W_k中所包含的点扩散函数，例如采用由下式(B—8)所表示的高斯函数PSF_k(i，j)。

$\mathrm{PS}{F}_k(i,j)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}\&CenterDot;\exp (-\frac{{(i-s_x-{v_k}^x)}^2+{(j-s_y-{v_k}^y)}^2}{2{\mathrm{\&sigma;}}^2})\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;(B-8)$

在此，v_k ^x以及v_k ^y表示第k观测图像相对高分辨率图像的位置偏离量的小数点部分，v_k ^x以及v_k ^y分别为其位置偏离量的行方向成分以及列方向成分的小数点部分。但是，v_k ^x以及v_k ^y表现为高分辨率图像上的值。即，例如，以v_k ^x＝0.5表示在高分辨率图像上行方向成分的0.5像素的位置偏离。

s_x以及s_y表示在由高分辨率图像生成推定低分辨率图像时作用于高分辨率图像的空间滤波器的大小(滤波器宽度的大小)。s_x以及s_y取整数值。在该例中，s_x＝s_y＝2。当v_k ^x以及v_k ^y的值不含小数部分时，该空间滤波器在行方向以及列方向的抽头数分别为(2s_x+1)以及(2s_y+1)，当v_k ^x以及v_k ^y的值含小数部分时，该空间滤波器在行方向以及列方向的抽头数分别为3s_x以及3s_y。并且，σ²表示高斯函数的方差。

作为例子，考虑在第一以及第二观测图像相对高分辨率图像的位置偏离量的整数部分为零，且v₁ ^x＝0、v₁ ^y＝0、v₂ ^x＝0.5、v₂ ^y＝0.5的情况下，根据高分辨率图像生成第一以及第二推定低分辨率图像的坐标(1，1)的像素的情况。

这种情况下，关于第一推定低分辨率图像，由于v₁ ^x＝0、v₁ ^y＝0，因此作用于高分辨率图像的空间滤波器在行方向以及列方向的抽头数均为5(＝2×2+1)。图33(a)的正方形411，表示为了生成第一推定低分辨率图像内的坐标(1，1)的像素412而应作用于高分辨率图像的空间滤波器的滤波器宽度(滤波器的脉冲响应不是零的范围)。为了通过重新构成来生成像素412，参照位于滤波器宽度411内的高分辨率图像的25个像素(即坐标(0，0)～(4，4)的像素)的像素值。在图33(a)的下侧，表示作用于该25个像素的矩阵W₁的点扩散函数(以低分辨率图像为基准的点扩散函数)。

并且，关于第二推定低分辨率图像，由于v₂ ^x＝0.5、v₂ ^y＝0.5，因此作用于高分辨率图像的空间滤波器在行方向以及列方向的抽头数均为6(＝3×2)。图33(b)的正方形421，表示为了生成第二推定低分辨率图像内的坐标(1，1)的像素422而应作用于高分辨率图像的空间滤波器的滤波器宽度。为了通过重新构成而生成像素422，参照位于滤波器宽度421内的高分辨率图像的36个像素(即坐标(0，0)～(5，5)的像素)的像素值。在图33(b)的下侧，表示作用于该36个像素的矩阵W₂的点扩散函数(以低分辨率图像为基准的点扩散函数)。

W_kxⁿ以矩阵表现由高分辨率图像H_n重新构成的第k推定低分辨率图像，由下式(B—9)表示。图34表示矩阵W₁的例子。在本例的情况下，矩阵W₁为9×36的矩阵。然后，通过从第k观测图像的各像素值中减去第k推定低分辨率图像的各像素值从而生成第k差分图像(参照图8)。表示第k差分图像的矩阵(y_k—W_kxⁿ)，由下式(B—10)表示。

W_kxⁿ＝[(W_kxⁿ)(0，0)，(W_kxⁿ)(0，1)，...，(W_kxⁿ)(2，2)]^T……(B—9)

y_k-W_kxⁿ＝[d_k(0，0)，d_k(0，1)，...，d_k(2，2)]^T……(B—10)

(基于差分图像的高分辨率图像的更新)

在得到各低分辨率图像对应的差分图像之后，通过将各差分图像反馈在高分辨率图像的坐标面上从而对高分辨率图像进行更新。

例如，如图35所示，反馈在高分辨率图像上的坐标(2、3)的像素432的第一差分图像内的像素是四角形框431内的6个像素(黑色四角形的像素)，反馈在像素432的第二差分图像内的像素是四角形框431内的9个像素(黑色三角形的像素)。但是，如上述，第一以及第二观测图像相对高分辨率图像的位置偏离量的整数部分是零，且v₁ ^x＝0、v₁ ^y＝0、v₂ ^x＝0.5、v₂ ^y＝0.5。

与像素432对应的反馈值error(2，3)，由下式(B—11)表示。在此，PSF₁(0，1)等的值依据上述式(B—8)。图36(a)以及(b)表示在计算error(2，3)时使用的转置矩阵W₁ ^T以及W₂ ^T的点扩散函数(以高分辨率图像为基准的点扩散函数)。

error(2，3)＝PSF₁(1，0)d₁(0，1)+PSF₁(3，0)d₁(0，2)+PSF₁(1，2)d₁(1，1)

+PSF₁(3，2)d₁(1，2)+PSF₁(1，4)d₁(2，1)+PSF₁(3，4)d₁(2，2)

+PSF₂(0，1)d₂(0，0)+PSF₂(2，1)d₂(0，1)+PSF₂(4，1)d₂(0，2)

+PSF₂(0，3)d₂(1，0)+PSF₂(2，3)d₂(1，1)+PSF₂(4，3)d₂(1，2)

+PSF₂(0，5)d₂(2，0)+PSF₂(2，5)d₂(2，1)+PSF₂(4，5)d₂(2，2)               ……(B—11)

反馈值是对形成高分辨率图像的各像素求出的。表示所求出的所有反馈值的矩阵error，是通过如下式(B—12)所示的表示第k差分图像的矩阵(y_k—W_kxⁿ)与W_k的转置矩阵之间的积和运算所求出的。另外，图37表示图34的矩阵W₁的转置矩阵。在求出矩阵error之后，根据式(B—13)对矩阵x_n进行更新后生成矩阵x_n+1。即，对高分辨率图像H_n进行更新后生成高分辨率图像H_n+1。式(B—13)与第一实施例所述的式(A—1)等效。

$\mathrm{error}=\underset{k=1}{\overset{2}{\mathrm{\&Sigma;}}}{W_k}^T(y_k-W_k{x}^n)\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;\&CenterDot;(B-12)$

(变形等)

上述说明中所示的具体数值只是例示，当然也可以将他们变更为各种数值。作为上述实施方式的实施例或者注释事项，以下记做注释1～注释6。各注释所记载的内容，只要不矛盾都可以任意组合。

(注释1)

上述是根据2张、3张或4张低分辨率图像生成一张高分辨率图像的例子，但如果用于生成高分辨率图像的低分辨率图像的张数是2以上则可以是任意值。

(注释2)

在上述实施方式中，作为超分辨处理例示了采用作为重新构成型方式的一种的MAP方式的超分辨处理，但本发明可利用的超分辨处理可以是任何方式的超分辨处理。虽然在上述实施方式中，在生成初始高分辨率图像之后，反复执行包括更新量的计算以及基于该更新量的高分辨率图像的更新在内的超分辨运算处理，但该超分辨运算处理的反复并不是必须的，也可以将仅进行一次超分辨运算处理所得到的高分辨率图像H₁作为应最终求出的高分辨率图像进行处理。

(注释3)

在上述各实施例中，对基准图像的选择所采用的各种指标单独进行了说明。例如，作为该指标，在第一～第三实施例中采用低分辨率图像的模糊量，在第四实施例中采用传感器检测数据，在第五实施例中采用图像上的主要被摄体的大小，在第六实施例中采用脸区域内的脸的状态(眼睛的开闭状态或脸的表情)。

还可以将这些各种指标内的任意两个以上的指标组合使用来进行基准图像的选择。例如，也可以基于模糊量和脸区域内的脸的状态进行基准图像的选择。更具体而言，例如在存在多个通过眨眼检测处理判断为眼睛打开的观测低分辨率图像的情况下，也可以将判断为眼睛打开的多个观测低分辨率图像内模糊量最少的观测低分辨率图像设置为基准图像。基于模糊量和脸区域内的脸的状态进行基准图像的选择的方法，当然可以是基于模糊量进行基准图像的选择的方法，也可以是基于脸区域内的脸的状态进行基准图像的选择的方法。

(注释4)

图1的摄像装置1，可通过硬件、或硬件与软件的组合来实现。尤其，还可以采用软件实现在图4、图17、图21、图24或图28的超分辨部50、50a、50b、50c或50d内执行的运算处理的一部分或者全部。当然，也可以仅由硬件形成超分辨部50、50a、50b、50c或50d。在采用软件构成摄像装置1的情况下，关于由软件实现的部位的框图，表示该部位的功能框图。

(注释5)

还可以由与摄像装置1不同的外部机器(例如个人计算机：未图示)实现超分辨部50、50a、50b、50c或50d的功能。这种情况下，按照在该外部机器内设置与超分辨部50、50a、50b、50c或50d等同的超分辨部的方式，在采用摄像装置1取得多个低分辨率图像之后，可以将该多个低分辨率图像的图像信息通过无线或者有线或者经由记录介质提供给上述外部装置。

(注释6)

例如，还可以按照如下方式进行考虑。还可以将超分辨部50、50a、50b、50c或50d称作图像处理装置。超分辨处理部57，作为高分辨率图像生成部发挥功能。还可以考虑该高分辨率图像生成部中包含生成部55。

Claims (15)

1.一种图像处理装置，根据多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，

上述图像处理装置具备基准图像设置部，其基于上述多个低分辨率图像的图像信息从上述多个低分辨率图像中选择基准图像，

将上述基准图像作为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而生成上述高分辨率图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

还具备模糊量推定部，其基于上述图像信息推定各低分辨率图像中包含的模糊的大小，

上述基准图像设置部，基于上述模糊量推定部的推定结果选择上述基准图像。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述模糊量推定部，基于各低分辨率图像中的高频成分的量，推定各低分辨率图像中所含的模糊的大小。

4.根据权利要求2所述的图像处理装置，其特征在于，

上述多个低分辨率图像，形成采用摄像装置通过依次摄影所得到的按时序排列的低分辨率图像列，

上述模糊量推定部，基于上述低分辨率图像列中的在时间上邻接的低分辨率图像之间的位置偏离量，检测在上述低分辨率图像列的摄影期间内上述摄像装置的抖动状态，并根据上述抖动状态的检测结果推定上述多个低分辨率图像之间的上述模糊的大小的大小关系。

5.根据权利要求2所述的图像处理装置，其特征在于，

上述基准图像设置部，将上述多个低分辨率图像内所推定的模糊的大小为最小的低分辨率图像选择作为上述基准图像。

6.根据权利要求1所述的图像处理装置，其特征在于，

各低分辨率图像是通过摄像装置的摄影得到的，

上述图像信息，包含对在各低分辨率图像的曝光期间内上述摄像装置的抖动状态进行检测的传感器的检测数据，

上述基准图像设置部，基于上述传感器的检测数据选择上述基准图像。

7.根据权利要求6所述的图像处理装置，其特征在于，

上述基准图像设置部，将上述多个低分辨率图像中在曝光期间内的上述摄像装置的抖动大小为最小的低分辨率图像选择作为上述基准图像。

8.根据权利要求1所述的图像处理装置，其特征在于，

还具备被摄体大小检测部，其基于上述图像信息，对各低分辨率图像中包含的特定被摄体在图像上的大小进行检测，

上述基准图像设置部，基于检测的上述特定被摄体的大小选择上述基准图像。

9.根据权利要求1所述的图像处理装置，其特征在于，

还具备脸状态检测部，其基于上述图像信息从各低分辨率图像中检测人物的脸，并且检测上述脸的状态，

上述基准图像设置部，基于上述脸状态检测部的检测结果选择上述基准图像。

10.根据权利要求1所述的图像处理装置，其特征在于，

上述基准图像设置部，将上述多个低分辨率图像内除上述基准图像以外的低分辨率图像设置作为参照图像，

该图像处理装置，进一步具备：

位置偏离检测部，其以比上述基准图像的像素间隔高的辨析率求出上述基准图像与上述参照图像之间的位置偏离量；和

高分辨率图像生成部，其采用所求出的位置偏离量与上述多个低分辨率图像，通过以上述基准图像为基准进行上述高分辨率化处理，从而生成上述高分辨率图像。

11.一种摄像装置，包括：

摄像部，其通过依次摄影得到按时序排列的多个低分辨率图像；和

权利要求1所述的图像处理装置，其通过对上述多个低分辨率图像的高分辨率化处理，从而生成高分辨率图像。

12.一种摄像装置，具备：

摄像部，其具有摄像元件以及用于将与被摄体相应的光学像成像在上述摄像元件上的光学系统，通过摄影得到摄影图像；和

焦点评价值导出部，其基于在上述摄影图像内设置的焦点评价区域的影像信号，导出焦点评价值，

该摄像装置基于上述焦点评价值对上述光学系统进行驱动控制以进行自动聚焦控制，

该摄像装置进一步具备图像处理装置，其将从上述摄像部所得到的多个摄影图像作为多个低分辨率图像来参照，根据上述多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，

上述图像处理装置，具有基准图像设置部，其基于对各低分辨率图像导出的上述焦点评价值从上述多个低分辨率图像中选择基准图像，以上述基准图像为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而生成上述高分辨率图像。

13.根据权利要求12所述的摄像装置，其特征在于，

在上述自动聚焦控制中，按照上述焦点评价值取极大值的方式对上述光学系统进行驱动控制，

上述基准图像设置部，将上述多个低分辨率图像内与最大焦点评价值对应的低分辨率图像选择作为上述基准图像。

14.根据权利要求12所述的摄像装置，其特征在于，

上述基准图像设置部，将上述多个低分辨率图像内除上述基准图像以外的低分辨率图像设置作为参照图像，

上述图像处理装置，进一步具备：

位置偏离检测部，其以比上述基准图像的像素间隔高的辨析率求出上述基准图像与上述参照图像之间的位置偏离量；以及

高分辨率图像生成部，其采用所求出的位置偏离量和上述多个低分辨率图像，通过以上述基准图像为基准进行上述高分辨率化处理，从而生成上述高分辨率图像。

15.一种图像处理方法，根据多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，

基于上述多个低分辨率图像的图像信息从上述多个低分辨率图像中选择基准图像，

以上述基准图像为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而生成上述高分辨率图像。

Images