CN100493147C - 具手部抖动校正功能的图像获取装置和手部抖动校正方法 - Google Patents

Abstract

本发明公开了一种具手部抖动校正功能的图像获取装置和手部抖动校正方法。所提出的具有手部抖动校正功能的图像获取装置包括：图像传感器，对从图像获取目标接收的光进行光电转换，以及输出进行光电转换后的数据；图像数据产生单元，基于所述进行光电转换后的数据产生图像数据；拍摄控制单元，响应于拍摄指令，将曝光控制信息输出至所述图像传感器，并获取多条图像数据；基础图像选择单元，从所获取的多条图像数据中选择在进行调整时使用的基础图像；和校正处理单元，利用所选择的基础图像来执行校正处理，其中对所获取的多条图像数据进行调整，并基于调整结果通过合成多条图像数据来产生一条图像数据。

Description

具手部抖动校正功能的图像获取装置和手部抖动校正方法

技术领域

本发明涉及一种具有手部抖动校正功能的图像获取装置、手部抖动校正方法和存储手部抖动校正处理程序的存储介质，更具体地，涉及这样一种具有手部抖动校正功能的图像获取装置、手部抖动校正方法和存储手部抖动校正处理程序的存储介质，其能够以更高精度进行校正处理。

背景技术

例如，如果使用在移动电话等中安装的数码相机(图像获取装置)来进行拍照，则由于在曝光期间拿着移动电话的手会抖动的原因，所以对于待获取的图像会产生手部抖动的影响。为了抑制由手部抖动所产生的影响，可对于获取的图像进行手部抖动校正处理。

近来，数码相机，特别是安装在移动电话上的数码相机普及很快。另外，用户对于数码相机的性能和便利性的需求日益增加。

适应这种需求，在性能上，提高像素和缩放倍率有了快速进展，而在便利性上，减小尺寸和减轻重量也有了快速进展。

然而，这些性能和便利性的提高使得容易发生手部抖动。特别地，在移动电话中安装的数码相机总是随身携带，因此经常在例如光线很暗的地方拍照。但是，由于在多数情况下不安装闪光灯，所以与其它数码相机相比，很容易发生手部抖动。

现有技术已经提出一种手部抖动光学校正方法和一种通过数字处理的手部抖动校正方法，作为解决手部抖动的方法。

对于通常的数码相机，所述手部抖动光学校正方法已经进入商业化。同时，对于在移动电话中安装的数码相机，所述通过数字处理的手部抖动校正方法的商业化才刚刚开始。

在一种采用数字处理的手部抖动校正方法的相机中，可通过将使用连续拍摄所获取的多个图像进行重叠来获取用于进行手部抖动校正的一图像。这种手部抖动校正方法固定一图像，所述图像为在多个图像被重叠时所使用的基础图像。因此，不能校正在所述基础图像中发生的抖动，并且抖动的量表现为被校正图像的抖动的量。例如，如果使用连续拍摄来获取n个图像，则在第一至第n图像中固定地将第m(1≤m≤n)图像看作基础图像来合成多个图像。如果此时在第m图像中出现抖动，则在被校正的图像中也保留相似的抖动。因此，不能获得期望的校正效果。

另外，作为其它的手部抖动校正方法，例如，公知的有专利参考文献1和2所公开的技术。

专利参考文献1公开一种具有两种模式的电子相机，例如抖动校正模式和非抖动校正模式。使用这种电子相机，在拍摄准备时，在CCD的每一曝光期间进行抖动校正(在抖动校正模式下)，并且在输出像素数据时，不进行抖动校正。

专利参考文献2公开这样一种相机，即在选择抗抖动拍摄模式时，可通过改变在普通拍摄模式中的速度来控制反射镜和快门的操作速度。这种相机的拍摄模式选择单元选择相机的拍摄模式，例如抗抖动模式、普通拍摄模式等。另外，当基于拍摄模式选择单元所选择的结果来开始曝光时，驱动速度改变单元向反射镜驱动单元和快门驱动单元输出指令，以改变反射镜和快门的驱动速度。

[专利参考文献1]日本公开专利申请No.2003-333414“电子相机”

[专利参考文献1]日本公开专利申请No.H7-28149“相机防抖装置”

发明内容

本发明的目的在于提供一种能够以较高精确度校正手部抖动的具有手部抖动校正功能的图像获取装置、手部抖动校正方法以及手部抖动校正处理程序。

根据本发明第一方案的一种具有手部抖动校正功能的图像获取装置，包括：图像传感器，对从图像获取目标接收的光进行光电转换，以及输出进行光电转换后的数据；图像数据产生单元，基于所述进行光电转换后的数据产生图像数据；拍摄控制单元，响应于拍摄指令，将曝光控制信息输出至所述图像传感器，并获取多条图像数据；基础图像选择单元，从所获取的多条图像数据中选择在进行调整时使用的基础图像，和校正处理单元，基于所选择的基础图像对所获取的多条图像数据进行调整，并基于调整结果通过合成多条图像数据来产生一条图像数据。

根据本发明第二方案的一种具有手部抖动校正功能的图像获取装置，其特征在于，在第一方案中，所述基础图像选择单元从所获取的多条图像数据中选择抖动量最小的图像数据作为在进行调整时使用的基础图像。

这里，由基础图像选择单元从所获取的多条图像数据中选择抖动量最小的图像数据作为在进行手部抖动校正时使用的基础图像，从而对其进行手部抖动校正(合成)的图像数据中剩余的抖动也变得最小，并且可进行具有较高精确度的手部抖动校正。

根据本发明第三方案的一种具有手部抖动校正功能的图像获取装置，其特征在于，在第一方案中，还包括面部识别单元，其识别在所获取的多条图像数据中包括的人面部的眼睛睁开度，其中所述基础图像选择单元选择通过所述面部识别单元识别的人面部的眼睛睁开度最大的图像数据作为在进行调整时使用的基础图像。

这里，选择待由面部识别单元识别的人面部的眼睛睁开度最大的图像数据作为在进行调整时使用的基础图像，从而睁开他/她的眼睛最大的人面部也保留在对其进行手部抖动校正(合成)的图像数据中，并且可进行具有较高精确度的手部抖动校正。

根据本发明第四方案的一种具有手部抖动校正功能的图像获取装置，其特征在于，在第一方案中，所述基础图像选择单元选择所获取的多条图像数据的每一条图像数据作为基础图像；所述校正处理单元基于所述基础图像对所获取的多条图像数据进行调整，并对于每一选择的基础图像，基于调整的结果通过合成多条图像数据来产生一条图像数据；和所述图像获取装置还包括用户接口单元，显示对于执行校正处理的各条图像数据，并能够从所显示的各条图像数据中选择和存储一条和多条图像数据。

这里，由校正处理单元产生的通过使用所获取的多条图像中每一条图像数据作为基础图像来进行手部抖动校正的图像数据，并从所合成的和所产生的多条数据中经由用户接口单元选择待存储的图像数据，从而，例如在选择待存储的图像数据时，可通过选择在用户的视觉观点来看抖动量最小的所合成图像数据来进行具有较高精确度的手部抖动校正。

根据本发明第五方案的一种具有手部抖动校正功能的图像获取装置，其特征在于，在第一方案中，所述基础图像选择单元是用户接口单元，显示所获取的多条图像数据，并能够从所显示的多条图像数据中选择在进行调整时使用的基础图像。

这里，从所获取的多条图像数据中经由用户接口单元指定在进行手部抖动校正时用作基础图像的图像数据。因此，例如，当指定基础图像数据时，可通过在用户的视觉观点来看指定抖动量最小的图像数据来进行具有较高精确度的手部抖动校正。

根据本发明的第六方案，提供一种手部抖动校正方法，用于通过计算机对响应于拍摄指令所获取的多条图像数据执行手部抖动校正处理，该方法包括如下步骤：基础图像选择步骤，从所获取的多条图像数据中选择在进行调整时使用的基础图像；和校正处理步骤，基于所选择的基础图像对于所获取的多条图像数据进行调整，并基于调整结果通过合成多条图像数据来产生一条图像数据。

根据本发明的第七方案，提供一种具有防抖功能的便携式装置，包括：图像传感器，获取图像并输出所获取的图像数据；基础图像选择单元，选择用于图像调整的基础图像，所述基础图像为从所获取的多条图像数据中选择的抖动最小的基础数据，和校正处理单元，基于所选择的基础图像对所获取的多条图像数据进行调整，并通过合成经调整的所述获取的多条图像数据来产生单个图像。

根据本发明，在包括使用连续拍摄进行手部抖动校正的图像获取装置的电器中，可进行具有较高精确度的手部抖动校正。

附图说明

图1是示出本发明优选实施例所共用的图像获取装置的结构框图；

图2是示出第一、第二和第三优选实施例所共用的校正处理单元的结构框图；

图3是示出在第一优选实施例中的图像获取处理和手部抖动校正处理的流程图；

图4是示出在第二优选实施例中的图像获取处理和手部抖动校正处理的流程图；

图5是示出在第三优选实施例中的图像获取处理和手部抖动校正处理的流程图；

图6是说明第三优选实施例中的操作过程的示图；

图7是示出在第四优选实施例中校正处理单元的配置框图；

图8是示出在第四优选实施例中图像获取处理和手部抖动校正处理的流程图；

图9是说明在第四优选实施例中操作过程的示图；

图10是示出在第五优选实施例中校正处理单元的配置框图；

图11是示出在第五优选实施例中图像获取处理和手部抖动校正处理的流程图；和

图12例示出存储介质。

具体实施方式

以下参照附图来详细描述根据本发明的优选实施例。

图1是示出本发明优选实施例所共用的图像获取装置的结构框图。

在图1中，图像获取装置10包括：镜头11、图像传感器12、拍摄控制单元13、AGC(自动增益控制)电路16、AD转换器(模数转换器，ADC)17、图像处理单元(也称为图像信号处理器(ISP))18、存储器22和校正处理单元23。

镜头11将来自图像获取目标(对象)的光聚集在图像传感器12上。

图像传感器12包括：光接收单元(未示出)，用于将通过镜头11从图像获取目标接收的光转换成电荷并存储该电荷；和信号输出单元(未示出)，用于输出所存储的电荷作为光电转换数据。

AGC电路16控制从图像传感器12输出的光电转换数据的增益。

ADC 17将增益受控制的光电转换数据从模拟值转换为数字值。

图像处理单元18基于ADC 17的输出产生图像数据。即，图像处理单元18基于从ADC 17输入的信号(又称为原始数据)执行处理，例如分色处理、用于在显示屏上线性表示亮度的伽马校正处理、用于在不考虑光源等温度的情况下表示白色的白平衡控制处理等。通过所述分色处理，将输入的信号转换成要求的格式，例如YUV信号、RGB信号等。

拍摄控制单元13响应于拍摄指令，将控制信号输出至图像传感器12，并通过由图像传感器12执行的图像获取处理(由上述光接收单元和信号输出单元执行的处理)获取多条图像数据。

通过图像处理单元18在存储器22中存储多条图像数据，其中所述多条图像数据是通过图像传感器12执行的图像获取处理所获取的。

校正处理单元23读取在存储器22中存储的多条图像数据，产生基于所读取的图像数据对其进行手部抖动校正的一条或多条图像数据，以及将所产生的一条或多条图像数据(对其进行手部抖动校正)输出至在随后阶段用于存储图像数据的存储器(未示出)。校正处理单元23的操作根据优选实施例改变。

如果作为程序来实施拍摄控制单元13、图像处理单元18和校正处理单元23，则用于执行拍摄控制单元13的处理和图像处理单元18的处理的中央处理单元(CPU)可匹配于或区别于用于执行手部抖动校正的校正处理单元23的处理的CPU。

本发明旨在改善对其进行手部抖动校正的图像质量。

在第一和第二优选实施例中，将所获取的多条图像数据中抖动量最小的图像数据识别为在进行手部抖动校正时使用的基础图像，从而改善图像质量。

另外，在第三优选实施例中，对于所获取的所有这些条图像数据产生在将所获取的所有这些条图像数据分别用作基础图像时对其执行手部抖动校正处理的图像数据，并且用户选择所产生的这些条图像数据中的任一条，从而改善图像质量。

另外，在第四优选实施例中，用户选择所获取的多条图像数据中的任一条，作为在进行手部抖动校正时使用的基础图像，并且通过使用所选择的图像数据作为基础图像来产生对其进行手部抖动校正的图像数据，从而改善图像质量。

另外，在第五优选实施例中，如果在图像获取目标中包括人，则识别人的面部，确定他/她的眼睛是否睁开，并且将他/她的眼睛睁开时的图像数据识别为对其进行手部抖动校正时所使用的基础图像，从而改善图像质量。

图2是示出第一、第二和第三优选实施例所共用的校正处理单元的结构框图。

如图2所示，校正处理单元30包括：手部抖动检测单元31、基础图像选择单元32和手部抖动校正单元33。

例如，手部抖动检测单元31对于所获取的多条图像数据检测作为所获取的多条图像数据的每一条图像数据中色调变化界限的边沿(轮廓)，并通过对使用连续拍摄所获取的各条图像数据中边沿部分的移动方向和移动量执行跟踪处理，来在所获取的各条图像数据中计算矢量，即向上、向下、向左、向右、顺时针或逆时针方向的抖动量。

在第一和第二优选实施例中，例如，基础图像选择单元32计算对于所获取的多条图像数据所检测的边沿部分的分辨率，并且将所获取的多条图像数据中分辨率最高的图像数据输出至手部抖动校正单元33，作为在进行手部抖动校正时使用的基础图像数据。

手部抖动校正单元33基于所述基础图像数据对于所获取的多条图像数据进行调整，并且基于调整信息将所获取的多条图像数据合成一条图像数据(进行手部抖动校正)。

图3是示出在第一优选实施例中的图像获取处理和手部抖动校正处理的流程图。由图1和图2中所示的组成部件来执行由该流程图所表示的处理过程。

首先，在步骤S101，拍摄控制单元13设置连续拍摄。使用所述连续拍摄，拍摄控制单元13响应于拍摄指令将控制信号输出至图像传感器12，其中所述控制信号包括对于图像获取目标所计算的曝光控制信息。

然后，在步骤S102，通过由图像传感器12所执行的图像获取处理(由上述光接收单元和信号输出单元执行的处理)来获取多条图像数据。即，图像传感器12将通过镜头11从图像获取目标接收的光转换成电荷，存储电荷，并将存储的电荷输出至图像处理单元作为光电转换数据。

在步骤S103，图像处理单元18产生(已拍摄的)图像数据。即，图像处理单元18基于光电转换数据(也称为输入信号或原始数据)执行处理，例如分色处理、用于在显示屏上线性表示亮度的伽马校正处理、用于在不考虑光源等温度的情况下表示白色的白平衡控制处理等。通过所述分色处理，将该输入信号转换成要求的格式例如YUV信号、RGB信号等

然后，在步骤S104.将由图像处理单元18所产生的图像数据存储在存储器22中。

作为实例，对于每一图像获取装置，进行拍摄的次数是预定的。随后，在步骤S105，确定是否已进行预定次数的拍摄

如果在步骤S105中确定未进行预定次数的拍摄，则处理流程返回步骤S101。

或者，如果在步骤S105确定已进行预定次数的拍摄，则例如手部抖动检测单元31对于在存储器22中存储的多条图像数据(图像数据的条数对应于所述预定次数)检测作为多条图像数据的每一条图像数据中色调变化界限的边沿(轮廓)，对使用连续拍摄所获取的各条图像数据中边沿部分的移动方向和移动量执行跟踪处理，以及在作为跟踪处理结果的各条图像数据中计算矢量，即向上、向下、向左、向右、顺时针或逆时针方向的抖动量。应注意的是，可使用除了用于检测边沿的方法之外的方法来计算抖动量。

在步骤S107，例如，基础图像选择单元32计算对于所获取的多条图像数据所检测的边沿部分的分辨率，并且将所获取的多条图像数据中分辨率最高的图像数据输出至手部抖动校正单元33，作为在进行手部抖动校正时使用的基础图像数据。

然后，在步骤S108，手部抖动校正单元33基于所述基础图像数据对于所获取的多条图像数据进行调整。通过这种调整，手部抖动校正单元33通过使用各条图像数据在向上、向下、向左、向右、顺时针或逆时针方向所计算的抖动量并参照所述基础图像数据，来计算其它图像数据在向上、向下、向左或向右方向的偏移量或者在顺时针或逆时针方向的旋转角度，以叠加相应的像素。

在步骤S109，手部抖动校正单元33基于在步骤S108所获得的调整信息将所获取的多条图像数据合成一条图像数据。使用这种合成处理，作为实例，对于在所有条图像数据中可进行对应的各像素，它们的值被叠加并反映在所合成的图像中的像素上；同时，对于仅存在于多条图像数据中任一条中的像素，它的值与一数值相乘，并反映在所合成的图像中的像素上，其中所述数值是所述图像数据被叠加的数目。

在步骤S110，校正处理单元30将合成的图像数据输出至存储器(未示出)，以在随后阶段存储图像数据。

图4是示出在第二优选实施例中图像获取处理和手部抖动校正处理的流程图。由图1和图2中所示的组成部件来执行由该流程图所表示的处理过程。

图3中的步骤S106和S107由图4中的步骤S201和S202代替。这里，仅描述步骤S201和S202中的操作。

(如果在步骤S105中确定进行预定次数的拍摄，)在步骤S201，例如，手部抖动检测单元31对于在存储器22中存储的多条图像数据(图像数据的条数对应于所述预定次数)检测作为多条图像数据的每一条图像数据中色调变化界限的边沿(轮廓)，并仅提取容易被识别为特征(例如，高亮度点、端点、顶点、分支点、交叉点等)的部分作为来自边沿部分的特征点。然后，手部抖动检测单元31对使用连续拍摄所获取的各条图像数据中特征点部分的移动方向和移动量执行跟踪处理，以及在作为跟踪处理结果的各条图像数据中计算矢量，即向上、向下、向左、向右、顺时针或逆时针方向的抖动量。

在步骤S202，基础图像选择单元32计算对于所获取的多条图像数据所检测的特征点部分的分辨率，并且将所获取的多条图像数据中分辨率最高的图像数据输出至手部抖动校正单元33，作为在进行手部抖动校正时使用的基础图像数据。

接下来描述第三优选实施例。

在第三优选实施例中，在图2中示出的手部抖动检测单元31和手部抖动校正单元33类似于在第一或第二优选实施例中的手部抖动检测单元31和手部抖动校正单元33。因此，省略对它们的说明。

在第三优选实施例中，图2的校正处理单元30对于所获取的多条图像数据向基础图像选择单元32依序发出将所获取的多条图像数据的每条图像数据用作基础图像的指令。基础图像选择单元32将所获得的多条图像数据中对应于一数目的图像数据输出至手部抖动校正单元33作为在进行手部抖动校正时使用的基础图像数据，其中所述数目利用从校正处理单元30接收的指令(识别图像数据的数目)获得。

对其进行手部抖动校正的多条图像数据被输出至在校正处理单元30的随后阶段中用于存储图像数据的存储器(未示出)，并被存储。

在显示单元(未示出)上显示在用于存储图像数据的存储器中存储的多条图像数据中的一条，其中所述显示单元包括在例如包括图像获取装置的数码相机、移动电话等的装置中。用户经由用户接口单元(未示出)在多条图像数据中切换在图像显示单元上显示的图像数据，或者从用于存储图像数据的存储器中已存储的多条图像数据中选择待存储的图像数据。

图5是示出在第三优选实施例中图像获取处理和手部抖动校正处理的流程图。由图1和图2中所示的组成部件来执行由该流程图所表示的处理过程。

由于步骤S101至S105类似于图3中的步骤S101至S105，所以省略对它们的描述。

(如果在步骤S105中确定进行预定次数的拍摄，)在步骤S301，将计数器i的值初始化为0，其中计数器i保持用于识别所获取的多条图像数据的次数。

接下来，在步骤S302，增加计数器i的值。

然后，在步骤S303，例如，图2的手部抖动检测单元31对于在存储器22中存储的多条图像数据(图像数据的条数对应于所述预定次数)检测作为多条图像数据的每一条图像数据中色调变化界限的边沿(轮廓)，对使用连续拍摄所获取的各条图像数据中边沿部分的移动方向和移动量执行跟踪处理，以及在作为跟踪处理结果的各条图像数据中计算矢量，即向上、向下、向左、向右、顺时针或逆时针方向的抖动量。应注意的是，可使用除了用于检测边沿的方法之外的方法来计算抖动量。

在步骤S304，图2的手部抖动校正单元33通过将所获取的多条图像数据中第i条图像数据用作基础图像数据，来对于所获取的多条图像数据进行调整。通过这种调整，手部抖动校正单元33通过使用各条图像数据在向上、向下、向左、向右、顺时针或逆时针方向所计算的抖动量并参照所述基础图像数据，来计算其它图像数据在向上、向下、向左或向右方向的偏移量或者在顺时针或逆时针方向的旋转角度，以叠加相应的像素。

在步骤S305，图2的手部抖动校正单元33基于在步骤S108所获得的调整信息将所获取的多条图像数据合成一条图像数据。使用这种合成处理，作为实例，对于在所有条图像数据中可进行对应的各像素，它们的值被叠加并反映在所合成的图像中的像素上：同时，对于仅存在于多条图像数据中任一条中的像素，它的值与一数值相乘，并反映在所合成的图像中的像素上，其中所述数值是图像数据被叠加的数目。将合成的图像输出至在校正处理单元30的随后阶段中用于存储图像数据的存储器(图2中未示出)。

在步骤S306，确定图像数据的合成是否根据所述预定次数(所获取图像数据的条数)终止。

如果在步骤S306确定图像数据的合成没有根据预定次数终止，则处理流程返回至步骤S302。

或者，如果在步骤S306确定图像数据的合成根据预定个数终止，则控制转移至步骤S307。

在步骤S307，根据用户经由用户接口单元(未示出)发出的切换指令，在图像显示单元(未示出)上依序显示预定条数的(合成的)图像数据，所述图像数据存储在校正处理单元30的随后阶段中用于存储图像数据的存储器中。

在步骤S308，用户在观看在图像显示单元上依序显示的(合成的)图像数据的同时，通过经由用户接口单元发出对他/她期望的图像数据的确定指令来存储他/她期望存储的图像数据。

在这种情况下，例如，如步骤S309所示，在随后阶段中，用户接口单元可将存储的图像数据输出至存储器。

图6是说明第三优选实施例中的操作过程的示图。

如图6所示，作为实例，对于例如移动电话等类型的装置，首先按下相机按钮(未示出)，从而图像获取目标在装置的显示屏上变得可见(相机取景器进行显示)。

然后，按下快门按钮，从而停止相机取景器显示，并获取在此时所捕获的目标图像作为图像数据。

另外，如步骤S307所示，按下

按钮，从而在图像显示单元上显示的图像数据切换至下一图像数据。

另外，如步骤S308所示，按下确定按钮，以存储在图像显示单元上显示的图像数据。

图7是示出在第四优选实施例中校正处理单元的配置框图。

如图7所示，校正处理单元50包括：手部抖动检测单元51，手部抖动校正单元53和用户接口单元54。

由于手部抖动检测单元51和手部抖动校正单元53类似于在图2中所示的手部抖动检测单元31和手部抖动校正单元33，所以省略对它们的说明。

用户接口单元54是由用户使用的接口单元，用以从使用连续拍摄捕获到存储器22中的多条图像数据中指定在进行手部抖动校正时使用的基础图像数据。

在显示单元(未示出)上显示在存储器中存储的多条图像数据中的一条，其中所述显示单元包括在例如包括图像获取装置的数码相机、移动电话等的装置中。用户经由用户接口单元54在多条图像数据中切换在图像显示单元上显示的图像数据，或者从存储器22中已存储的多条图像数据中选择在进行手部抖动校正时使用的图像数据。

在第四优选实施例中，校正处理单元50通过使用由用户经用户接口单元54指定为基础图像的图像数据对所获取的多条图像数据执行手部抖动校正处理。

图8是示出在第四优选实施例中图像获取处理和手部抖动校正处理的流程图。由图1和图7中所示的组成部件来执行由该流程图所表示的处理过程。

由于步骤S101至S105类似于图3中的步骤S101至S105，所以省略对它们的描述。

(如果在步骤S105中确定进行预定次数的拍摄，)在步骤S401，根据用户经由用户接口单元54发出的切换指令，在图像显示单元(未示出)上依序显示在存储器22中存储的所获取的多条图像数据。

然后，在步骤S402，用户在观看在图像显示单元上依序显示的(合成的)图像数据的同时，发出对于他/她期望在进行手部抖动校正时用作基础图像的图像数据的确定指令。

然后，在步骤S403，例如，图7的手部抖动检测单元51对于在存储器22中存储的多条图像数据(图像数据的条数对应于预定次数)检测作为多条图像数据的每一条图像数据中色调变化界限的边沿(轮廓)，对使用连续拍摄所获取的各条图像数据中边沿部分的移动方向和移动量执行跟踪处理，以及在作为跟踪处理结果的各条图像数据中计算矢量，即向上、向下、向左、向右、顺时针或逆时针方向的抖动量。应注意的是，可使用除了用于检测边沿的方法之外的方法来计算抖动量。

在步骤S404，图7的手部抖动校正单元53通过使用经用户接口单元54指定作为基础图像数据的图像数据，来对于所获取的多条图像数据进行调整。通过这种调整，手部抖动校正单元53通过使用各条图像数据在向上、向下、向左、向右、顺时针或逆时针方向所计算的抖动量并参照所述基础图像数据来计算其它图像数据在向上、向下、向左或向右方向的偏移量或者在顺时针或逆时针方向的旋转角度，以叠加相应的像素。

在步骤S405，图7的手部抖动校正单元53基于在步骤S404所获得的调整信息将所获取的多条图像数据合成一条图像数据。使用这种合成处理，作为实例，对于在所有条图像数据中可进行对应的各像素，它们的值被叠加，并反映在所合成的图像中的像素上；同时，对于仅存在于多条图像数据中任一条中的像素，它的值与一数值相乘，并反映在所合成的图像中的像素上，其中所述数值是图像数据被叠加的数目。

在步骤S406，校正处理单元50将合成的图像数据输出至在随后阶段中用于存储图像数据的存储器(未示出)。

图9是说明在第四优选实施例中操作过程的示图。

如图9所示，通过实例，对于例如移动电话等类型的装置，首先按下相机按钮(未示出)，从而图像获取目标在装置的显示屏上变得可见(相机取景器进行显示)。

然后，按下快门按钮，从而停止相机取景器显示，并获取在此时所捕获的目标图像作为图像数据。

另外，如步骤S401所示，按下

按钮，从而在图像显示单元上显示的图像数据切换至下一图像数据。

另外，如步骤S402所示，按下确定按钮，选择在图像显示单元上显示的图像数据作为在进行手部抖动校正时使用的基础图像数据。

图10是示出在第五优选实施例中校正处理单元的配置框图。

如图10所示，校正处理单元60包括：面部识别单元61、手部抖动检测单元62和手部抖动校正单元63。

由于手部抖动检测单元62和手部抖动校正单元63类似于在图2中所示的手部抖动检测单元31和手部抖动校正单元33，所以省略对它们的说明。

面部识别单元61首先检测面部的搜索区域。即，面部识别单元61从图像数据提取皮肤颜色区域作为颜色信息，并且如果皮肤颜色区域的形状和面积满足作为面部区域的条件，则面部识别单元61将提取的皮肤颜色区域识别为面部的搜索区域。

接下来，面部识别单元61提取可作为面部元素(例如右眉毛、左眉毛、右眼、左眼、鼻孔和嘴)候选项的面部特征点。例如，面部识别单元61从面部的检测搜索区域提取与以下项目对应的区域：

1.细长区域

2.形状几乎为椭圆，颜色为红色的区域

3.亮度值小于皮肤颜色区域的区域。

例如，形状为细长和亮度值较低并且没有明显改变的面部特征点可被认为是眉毛或闭着的眼睛。另外，形状几乎为椭圆并且其中椭圆的中央黑暗区域夹在两个明亮区域直接的面部特征点可被认为是睁开的眼睛。另外，形状几乎为椭圆并且颜色信息为稍微接近红色的面部特征点可被认为是嘴。

面部识别单元61从存储器22中存储的多条图像数据检测出两只眼睛，并且选择两只眼睛的睁开度最大的图像数据作为在进行手部抖动时使用的基础图像数据。

在第五优选实施例中，校正处理单元60通过使用由面部识别单元61选择的图像数据作为基础图像对所获取的多条图像数据执行手部抖动校正处理。

图11是示出在第五优选实施例中图像获取处理和手部抖动校正处理的流程图。由图1和图10中所示的组成部件来执行由该流程图所表示的处理过程。

由于步骤S101至S105类似于图3中的步骤S101至S105，所以省略对它们的描述。

(如果在步骤S105中确定进行预定次数的拍摄，)在步骤S501，例如，如果图像获取目标包括人的面部，则面部识别单元61对于所获取的各条图像数据检测面部特征点。

在步骤S502，校正处理单元60确定包括面部的两只眼睛的图像数据是否存在于在步骤S501中检测的结果中。

如果在步骤S502中校正处理单元60确定包括面部的两只眼睛的图像数据不存在于检测的结果中，则处理流程进行到步骤S504。在这种情况下，选择在所获取的多条图像数据中具有预定数目的图像数据作为基础图像数据。

或者，如果在步骤S502中校正处理单元60确定包括面部的两只眼睛的一条或多条图像数据存在于检测的结果中，则在步骤S503，面部识别单元61从包括两只眼睛的图像数据中选择两只眼睛睁开最大的图像数据作为在进行手部抖动校正时使用的基础图像数据。

然后，在步骤S504，例如，图10的手部抖动检测单元62对于在存储器22中存储的多条图像数据(图像数据的条数对应于预定次数)检测作为多条图像数据的每一条图像数据中色调变化界限的边沿(轮廓)，对使用连续拍摄所获取的各条图像数据中边沿部分的移动方向和移动量执行跟踪处理，以及在作为跟踪处理结果的各条图像数据中计算矢量，即向上、向下、向左、向右、顺时针或逆时针方向的抖动量。应注意的是，可使用除了用于检测边沿的方法之外的方法来计算抖动量。

然后，在步骤S505，图10的手部抖动校正单元63通过使用由面部识别单元61选择为基础图像数据的图像数据，来对于所获取的多条图像数据进行调整。通过这种调整，手部抖动校正单元63通过使用各条图像数据在向上、向下、向左、向右、顺时针或逆时针方向所计算的抖动量并参照所述基础图像数据来计算其它图像数据在向上、向下、向左或向右方向的偏移量或者在顺时针或逆时针方向旋转角度，以叠加相应的像素。

在步骤S506，图10的手部抖动校正单元63基于在步骤S505所获得的调整信息将所获取的多条图像数据合成一条图像数据。使用这种合成处理，作为实例，对于在所有条图像数据中可进行对应的各像素，它们的值被叠加，并反映在所合成的图像中的像素上；同时，对于仅存在于多条图像数据中任一条中的像素，它的值与一数值相乘，并反映在所合成的图像中的像素上，其中所述数值是图像数据被叠加的数目。

在步骤S506，校正处理单元60将合成的图像数据输出至在随后阶段中用于存储图像数据的存储器(未示出)。

图12例示出存储介质。

可通过图像数据处理装置81来实现根据本发明的手部抖动校正处理。根据本发明的用于处理的程序和数据可以从图像数据处理装置81的存储装置85加载至图像数据处理装置81的存储器中并且被执行，还可以从便携式存储介质83加载至图像数据处理装置81的存储器中并且被执行，或者还可以经由网络86从外部存储装置82加载至图像数据处理装置81的存储器中并且被执行。

Claims (14)

1.一种具有手部抖动校正功能的图像获取装置，包括：

图像传感器，对从图像获取目标接收的光进行光电转换，以及输出进行光电转换后的数据；

图像数据产生单元，基于所述进行光电转换后的数据产生图像数据；

拍摄控制单元，响应于拍摄指令，将曝光控制信息输出至所述图像传感器，并获取多条图像数据；

基础图像选择单元，从所获取的多条图像数据中选择在进行调整时使用的基础图像；和

校正处理单元，基于所选择的基础图像对所获取的多条图像数据进行调整，并基于调整结果通过合成多条图像数据来产生一条图像数据。

2.根据权利要求1所述的具有手部抖动校正功能的图像获取装置，其中

所述基础图像选择单元从所获取的多条图像数据中选择抖动量最小的图像数据作为在进行调整时使用的基础图像。

3.根据权利要求2所述的具有手部抖动校正功能的图像获取装置，其中

所述基础图像选择单元对多条图像数据提取作为每一图像中色调变化界限的边沿，并选择所提取边沿部分的分辨率较高的图像数据作为在进行调整时使用的基础图像。

4.根据权利要求3所述的具有手部抖动校正功能的图像获取装置，其中

所述基础图像选择单元从所提取的边沿部分中进一步提取特征点，并选择所提取特征点部分的分辨率较高的图像数据作为在进行调整时使用的基础图像。

5.根据权利要求1所述的具有手部抖动校正功能的图像获取装置，还包括

面部识别单元，识别在所获取的多条图像数据中包括的人面部的眼睛睁开度，其中

所述基础图像选择单元选择通过所述面部识别单元识别的人面部的眼睛睁开度最大的图像数据作为在进行调整时使用的基础图像。

6.根据权利要求1所述的具有手部抖动校正功能的图像获取装置，其中

所述基础图像选择单元选择所获取的多条图像数据的每一条图像数据作为基础图像；

所述校正处理单元基于所述基础图像对所获取的多条图像数据进行调整，并对每一选择的基础图像，基于调整的结果通过合成所述多条图像数据来产生一条图像数据；和

所述图像获取装置还包括用户接口单元，显示用于执行校正处理的各条图像数据，并能够从所显示的各条图像数据中选择和存储一条和多条图像数据。

7.根据权利要求1所述的具有手部抖动校正功能的图像获取装置，其中

所述基础图像选择单元包括用户接口单元，显示所获取的多条图像数据，并能够从所显示的多条图像数据中选择在进行调整时使用的基础图像。

8.一种手部抖动校正方法，用于通过计算机对响应于拍摄指令所获取的多条图像数据执行手部抖动校正处理，该方法包括如下步骤：

基础图像选择步骤，从所获取的多条图像数据中选择在进行调整时使用的基础图像；和

校正处理步骤，基于所选择的基础图像对所获取的多条图像数据进行调整，并基于调整结果通过合成多条图像数据来产生一条图像数据。

9.根据权利要求8所述的手部抖动校正方法，其中

在所述基础图像选择步骤中，从所获取的多条图像数据中选择抖动量最小的图像数据作为在进行调整时使用的基础图像。

10.根据权利要求9所述的手部抖动校正方法，其中

在所述基础图像选择步骤中，对多条图像数据提取作为每一图像中色调变化界限的边沿，并选择所提取边沿部分的分辨率较高的图像数据作为在进行调整时使用的基础图像。

11.根据权利要求10所述的手部抖动校正方法，其中

从所述基础图像选择步骤中所提取的边沿部分中进一步提取特征点，并选择所提取特征点部分的分辨率较高的图像数据作为在进行调整时使用的基础图像。

12.根据权利要求8所述的手部抖动校正方法，还包括如下步骤：

面部识别步骤，识别在所获取的多条图像数据中包括的人面部的眼睛睁开度，其中

在所述基础图像选择步骤中，选择在所述面部识别步骤中识别的人面部的眼睛睁开度最大的图像数据作为在进行调整时使用的基础图像。

13.根据权利要求8所述的手部抖动校正方法，其中

在所述基础图像选择步骤中，选择所获取的多条图像数据的每一条图像数据作为基础图像；和

在所述校正处理步骤中，基于所述基础图像对所获取的多条图像数据进行调整，并对每一选择的基础图像，基于调整的结果通过合成所述多条图像数据来产生一条图像数据。

14.根据权利要求8所述的手部抖动校正方法，其中

所述基础图像选择步骤通过经用户接口单元发出的外部指令来实现。

Images