CN100481887C - 信息产生装置、图像拾取装置以及图像拾取方法 - Google Patents

Abstract

本发明的图像拾取装置用于在预定曝光周期期间拍摄静态图像。该图像时期装置包括：振动运动探测部分，用于探测代表该静态图像的多帧之间的振动运动量；振动运动校正部分，用于依照该探测的振动运动量，校正表示该多帧的多帧信息；存储部分，用于存储经受该振动运动校正的该多帧信息；以及信息产生部分，用于基于该存储部分中存储的多帧信息，产生表示该静态图像的静态图像信息。

Description

信息产生装置、图像拾取装置以及图像拾取方法

发明领域

本发明涉及一种信息产生装置，用于产生表示静态图像的信息，以及图像拾取装置和图像拾取方法，用于在预定曝光周期期间获得静态图像。

技术背景

作为一种校正相机振动的图像的方法，已知有光学相机振动校正方法以及电子相机振动校正方法(例如，参见日本公开专利No.60-143330)。

使用光学相机振动校正方法的技术已经为人所知，作为校正静态图像的相机振动的技术。这项技术对于拍摄静态图像而不降低图像质量是很有效的。然而，这项技术需要光学驱动部分。为此，就限制了该装置尺寸的减小。

使用电子相机振动校正方法的技术已经为人所知，作为校正运动图像的相机振动的技术。这项技术不需要任何光学驱动部分。因此，可以减小装置的尺寸。然而，认为这项技术对于校正静态图像的相机振动是不够有效的。这是因为这项技术仅在多个帧之间执行校正，并且原理上不可能对于由单个帧组成的静态图像执行相机振动校正。

提出本发明以解决上述问题。本发明的目的在于提供一种信息产生装置，一种图像拾取装置以及一种图像拾取方法，其可以使用电子相机振动校正方法校正静态图像的相机振动。

发明内容

本发明的一种图像产生装置包括：存储部分，用于存储多帧信息；以及信息产生部分，用于基于存储在存储部分中的多帧信息，而产生表示静态图像的静态图像信息，其中该多帧信息是表示代表在预定曝光周期期间拍摄的静态图像的多个帧的信息，且该信息依照多个帧之间的振动运动量而校正，由此实现上述目的。

该信息产生部分可以通过同时计算存储在存储部分中的多帧信息而产生静态图像信息。

该信息产生部分可以通过顺序计算存储在存储部分中的多帧信息的每帧而产生静态图像信息。

可以基于通过将表示图像拾取元件的图像拾取平面中包括的多个像素的信息添加到垂直方向和水平方向中至少一个而产生的信息，产生多帧信息。

本发明的图像拾取装置，用于在预定曝光周期期间拍摄静态图像，包括：振动运动探测部分，用于探测表示静态图像的多帧之间的振动运动量；振动运动校正部分，用于依照探测到的振动运动量，校正表示多帧的多帧信息；存储部分，用于存储受到振动运动校正的多帧信息；以及信息产生部分，用于基于存储部分中存储的多帧信息，产生表示静态图像的静态图像信息，由此实现上述目的。

信息产生部分可以通过同时计算存储部分中存储的多帧信息来产生静态图像信息。

信息产生部分可以通过顺序计算存储部分中存储的多帧信息中的每帧来产生静态图像信息。

该图像拾取装置还可以包括一个分辨率改变部分，用于依照振动运动量改变多帧的分辨率。

该图像拾取装置还可以包括一个帧率改变部分，用于依照振动运动量改变帧率，其中该帧率表示每单位时间拍摄的代表静态图像的多帧的数量。

该图像拾取装置还可以包括一个分辨率改变部分，用于依照亮度改变多帧的分辨率。

该图像拾取装置还可以包括一个分辨率改变部分，用于依照变焦比改变多帧的分辨率。

该振动运动探测部分可以基于通过添加表示图像拾取元件的图像拾取平面中包括的多个像素的信息而产生的信息来探测振动运动量，且依照振动运动量通过切除多帧信息的一部分，该振动运动校正部分可以校正多帧信息。

该振动运动探测部分可以不基于由图像拾取元件的图像拾取平面中包括的多个像素而产生的信息来探测振动运动量。

该图像拾取装置还可以包括一个确定部分，用于确定预定的曝光时间是否大于预定值，并且其中，当确定预定曝光时间大于预定值的时候，该振动运动探测部分就基于通过添加表示图像拾取元件的图像拾取平面中包括的多个像素的信息而产生的信息来探测振动运动量。

本发明的一种图像拾取方法，用于在预定曝光周期期间拍摄静态图像，包括下面步骤：探测表示静态图像的多帧之间的振动运动量；依照探测的振动运动量校正表示多帧的多帧信息；存储经受振动运动校正的多帧信息；并基于存储部分中存储的多帧信息产生表示静态图像的静态图像信息，由此实现上述目的。

本发明的图像拾取装置，用于在预定曝光周期拍摄静态图像，包括：振动运动量探测部分，用于探测表示静态图像的多帧之间的振动运动量；以及显示部分，在预定曝光周期过去之后用于显示探测的振动运动量，由此实现上述目的。

本发明的图像拾取装置，用于在预定曝光周期拍摄静态图像，包括：振动运动探测部分，用于探测表示静态图像的多帧之间的振动运动量；确定部分，用于确定该振动运动量是否大于预定值；以及输出部分，用于输出确定的结果，由此实现上述目的。

在确定振动运动量大于预定值的时候，该输出部分可以显示确定的结果。

在确定振动运动量大于预定值的时候，该输出部分可以产生一个声音。

在确定振动运动量大于预定值的时候，该输出部分可以振动。

附图简述

图1是示出本发明实施例的图像拾取装置100的图；

图2是示出振动运动探测部分15的结构的图；

图3是示出本发明实施例校正振动运动的操作的图；

图4是示出本发明实施例遮罩操作的图；

图5是示出像素数目和帧频之间关系的图；

图6是示出包括分成四个部分的像素区域的图像拾取部分5的结构的图；

图7是示出本发明实施例增加帧率的情况下操作的图；

图8是示出本发明实施例图像拾取处理(步骤50a到50f)的过程的流程图；

图9是示出本发明实施例图像拾取处理(步骤51a到51f)的过程的流程图；

图10是示出本发明实施例图像拾取处理(步骤52a到52t)的过程的流程图；

图11是示出本发明实施例的顺序计算处理的过程的流程图；

图12是示出本发明实施例的同时计算处理的过程的流程图；

图13是流程图，示出依照拍摄图像位置中亮度和快门速度(曝光时间)而积分多个图像(分开的图像)而校正振动运动的处理的过程；

图14是流程图，示出通过在平面内(in-plane)方向添加像素和在时间轴方向上添加像素而改变分辨率的处理的过程；

图15是视图，示出依照本发明实施例，通过设置比实际像素数目更大的像素数目而校正振动运动的原理；

图16是示出在平面内方向添加像素的方法的图；

图17是说明图像剪切位置移动的图；

图18是视图，示出降低插值(reducing interpolation)原理、扩大插值(enlarging interpolation)原理和以高分辨率校正振动运动的原理；

图19是流程图，示出对于振动运动探测失败的图像去除处理的过程；

图20是示出本发明实施例图像拾取装置200的结构的图；

图21是示出图像拾取装置200包括的显示部分95的例子的图；

图22是示出图像拾取装置200包括的显示部分95的另一个例子的图；

图23是示出用于以摇拍(panning)方式或全景方式拍摄图片的边界指示器97的显示的图；

图24是示出在帧内探测振动运动的探测点的图。

发明详述

此后，本发明的实施例将参照附图在下面进行描述。

1.图像拾取装置

图1示出本发明实施例的图像拾取装置100。

图像拾取装置100在预定曝光周期期间拍摄静止图像(即，静态图像)。该图像拾取装置100包括透镜部分2，用于接收从图像拾取装置100之外入射到图像拾取装置100上的光；自动对焦部分4，用于自动调整光3的对焦；变焦部分6，用于设置透镜部分2的变焦比；以及图像拾取部分5。在图像拾取部分5上形成光学图像。该图像拾取部分5输出表示形成的光学图像的数据。该图像拾取部分5是，例如，CCD或MOS型成像器件。来自透镜部分2的光3的聚焦由自动聚焦部分4自动调整。透镜部分2的变焦比由变焦部分6设置。在图像拾取部分5上形成光学图像7。

图像拾取装置100还包括显示切换部分10；显示电路11；显示部分12；记录部分13和记录介质14。当拍摄静态图像而没有校正表示静态图像的静态图像数据中任何振动运动的时候，从图像拾取部分5输出的输出图像直接发送到显示切换部分10。在显示静态图像的时候，从图像拾取部分5输出的输出数据由显示电路11显示在显示部分12上。在记录静态图像的时候，从图像拾取部分5输出的输出数据就通过记录部分13记录在记录介质14上。

图像拾取装置100还包括快门按钮25；子图像存储器8，用于存储数据；振动运动探测部分15，用于探测代表拍摄的静态图像的多个图像(帧)之间的振动运动量；振动运动校正部分9，用于依照探测的振动运动量，校正表示多个图像(帧)的多条图像信息；振动运动校正控制部分21；修剪部分22，控制为在纵向上去除振动运动；分辨率改变部分24，用于改变屏幕数据表示的图像的分辨率；抽取(decimation)控制部分25a；像素转移部分23；以及帧率改变部分40，用于依照振动运动量改变帧率。振动运动探测部分15包括计算部分18，用于计算输入到振动运动探测部分15的数据，第一存储器16以及第二存储器17。振动运动校正控制部分21，控制每个部件，以依照探测的振动运动量校正从图像拾取部分5输出的输出数据。

在校正表示静态图像的静态图像数据中的振动运动的同时(即，在振动运动校正模式设置为“开”)拍摄静态图像的时候，在快门按钮25被按下之前，从图像拾取部分5输出的输出数据在子图像存储器8中累积。图像拾取部分5输出的输出数据输入振动运动探测部分15。计算部分18计算输入到振动运动探测部分15中的多个输出数据(例如，第(n-1)个图像数据(即，先前屏幕数据)以及第n个图像数据(即，当前屏幕数据))，从而获得表示振动运动的振动运动信息。该振动运动信息是运动矢量19。在图像拾取装置100包括纵向振荡陀螺仪以及横向振荡陀螺仪的时候，还可以探测纵向的振动运动量以及横向的振动运动量。在此情况下，振动运动信息是纵向的振动运动量以及横向的振动运动量。

振动运动校正控制部分21控制修剪部分22和像素转移部分23，使得可以去除纵向的振动运动。振动运动校正控制部分21控制振动运动校正部分9，使得可以去除横向的振动运动。因此，可以校正在图像数据纵向中的振动运动和在图像数据中横向的振动运动。结果，可以获得经受振动运动校正的图像数据。

经受振动运动校正的图像数据经过显示切换部分10顺序输出到显示部分12。在显示部分12上，用户可以视觉上分辨出预定帧率的经受振动运动校正的连续图像。

在显示部分12上还可以显示对应于整个图像的一部分的图像，其中该整个图像由经受了振动运动校正的图像数据表示。因此，可以准确地执行对于对象的取景。在此情况下，通过分辨率改变部分24和抽取控制部分25a，分辨率被设置成低于拍摄静态图像的时候的分辨率。因此，可以增加帧率，由此增加每秒钟显示的帧的数目。因此，用户可以视觉上更平稳地分辨出对象图像。

记录部分13可以在记录介质14上记录具有高帧率的多个图像作为运动图像。

分辨率改变部分24依照例如亮度，振动运动量和变焦率中至少一个改变多个帧的分辨率。

图像拾取装置100还包括时钟控制部分27；转移时钟供应部分32；处理时钟供应部分28；以及CPU 26。在用户半按下快门按钮的时候，CPU 26提供指令给时钟控制部分27，使得处理时钟供应部分28开始时钟操作(例如，计算部分29等的时钟)或者增加时钟速度。

图像拾取装置100还包括主图像存储器30，用于存储经受振动运动校正的多个图像信息；计算部分29，用于基于存储在存储部分中的多个图像信息，产生表示静态图像的静态图像信息；以及子计算部分29a。将在后面提供计算部分29，主图像存储器30以及子计算部分29a的功能的详细描述。

图像拾取装置100还包括遮罩部分20以及亮度部分提取部分39。将在后面提供遮罩部分20以及亮度部分提取部分39的功能的详细描述。

图像拾取装置100还包括振动器36以及扬声器37。将在后面提供振动器36以及扬声器37的功能的详细描述。

图2示出振动运动探测部分15的结构。振动运动探测部分15包括计算部分18，第一存储器16和第二存储器17。

第一存储器16中，存储表示在时间t＝t_n-1拍摄的图像D_n-1的图像数据。在第二存储器17中，存储表示在时间t＝t_n拍摄的图像D_n的图像数据。基于表示两幅图像的数据(表示图像D_n-1和表示图像D_n的图像数据)，探测到两个图像数据(即，表示图像D_n-1和表示图像D_n的图像数据)间的振动运动量(例如，运动矢量(x₁，y₁))，并且输出表示振动运动量的数据。

2.校正振动运动的操作

图3示出依照本发明实施例校正振动运动的操作。该振动运动是由操作者的至少一只手造成的。

图像D_n＝1表示在时间n＝1的时候拍摄的图像，图像D_n＝2表示在时间n＝2的时候拍摄的图像，图像D_n＝3表示在时间n＝3的时候拍摄的图像，且图像D_n＝4表示在时间n＝4的时候拍摄的图像。

表示图像D_n＝1的图像数据存储在主存储器30中。

依照振动运动量M₂(M₂＝x₀+x₁，y₀+y₁))校正表示图像D_n＝2的图像数据。通过计算部分29，校正的图像数据被添加到存储在主存储器30中的，表示图像D_n＝1的图像数据上。表示相加结果的数据存储在主存储器30中。由于校正的图像数据被添加到表示图像D_n＝1的图像数据中，对象的静态部分就准确重叠。结果，增加了图像的SN比。

表示图像D_n＝3的图像数据依照振动运动量M₃(M₃＝x₀+x₁+x₂，y₀+y₁+y₂))而校正。通过计算部分29，校正的图像数据被添加到存储在主图像存储器30中的、表示相加结果的数据上。表示相加结果的数据存储在主图像存储器30中。

表示图像D_n＝4的图像数据依照振动运动量M₄(M₄＝x₀+x₁+x₂+x₃，y₀+y₁+y₂+y₃))而校正。通过计算部分29，将校正的图像数据添加到存储在主图像存储器30中的、表示相加结果的数据上。表示相加结果的数据存储在主图像存储器30中。

通过重复数据相加，表示几乎相同的图像的四个图像数据存储在主图像存储器30中，其中产生了表示静态图像的数据。在曝光周期期间快门100％打开的时候，就可以获得这样一副图像，其具有的亮度与在从时间n＝1到n＝4的周期内快门持续打开的时候获得的图像的亮度几乎一样。还可以对于每个屏幕校正振动运动。

通过依照振动运动(即，振动运动量)程度以及变焦率，适当设置参数，诸如快门打开时间(曝光时间)以及帧率，就可以电子校正振动运动而不降低S/N。在拍摄每幅图像的快门开时间缩短的时候，由于振动运动校正的图像恶化可以降低，但是也减少了光量。在此情况下，要拍摄的帧的数目应该增加。

在本发明的实施例中，就可以通过增加转移时钟的频率以增加帧率或者通过降低分辨率以增加帧率而获得最佳帧率。结果可以获得具有较大应用范围的有益效果。

计算部分29执行的计算并不限于相加。例如，只要可以基于多个图像数据(帧信息)产生表示静态图像的数据，计算可以是积分。

3.遮罩操作

图4示出依照本发明实施例的遮罩操作。

图像D_n＝1表示在时间n＝1的时候拍摄的图像，图像D_n＝2表示在时间n＝2的时候拍摄的图像，图像D_n＝3表示在时间n＝3的时候拍摄的图像，且图像D_n＝4表示在时间n＝4的时候拍摄的图像。

在时间n＝1的时候闪光灯发射光。因此例如图35e所示的人比背景(例如，夜景)更亮。其中图35e所示的人被限定为明亮部分38a。明亮部分提取部分39从表示图像35e的数据提取表示明亮部分38a的数据，并基于提取的表示明亮部分的数据产生遮罩数据31。

在时间n＝2的时候，遮罩数据31切除表示图像D_n＝2的图像数据。通过删除明亮部分38b的图像以及校正振动运动而产生表示校正图像33a的数据。表示校正图像33a的数据被添加到表示图像35e的数据中，从而产生表示积分图像35a的数据。

在时间n＝3的时候，遮罩数据31切除表示图像D_n＝3的图像数据。通过删除明亮部分38c的图像以及校正振动运动而产生表示校正图像33b的数据。表示校正图像33b的数据被添加到表示积分图像35a的数据中，从而产生积分图像35b。

在时间n＝4的时候，遮罩数据31切除表示图像D_n＝4的图像数据。通过删除明亮部分38d的图像以及校正振动运动而产生表示校正图像33c的数据。表示校正图像33c的数据被添加到表示积分图像35b的数据中，从而产生表示积分图像35c的数据。

表示积分图像35c的数据被调整大小，从而产生表示积分图像35d的数据。

如上所述，通过从闪光灯发出的光变得明亮的、诸如人的明亮部分在时间n＝1的时候拍摄，以及图像中明亮部分之外区域的图像在n＝2，3，4的时候拍摄。当人在夜景中的图像等使用闪光灯以慢快门速度拍摄的时候，在慢快门速度周期期间曝光的人的脸部的图像就重叠到在闪光灯发光的时候人脸的图像上(双重曝光)，使得重叠图像模糊。然而，依照本发明实施例的遮罩操作，振动运动的校正使得诸如人脸的明亮部分不经受双重曝光。结果，就可以清楚的拍摄明亮部分。

4.改变帧率

图5示出像素数目和帧频之间的关系。

在图像拾取部分5(见图1)的分辨率由分辨率改变部分24(见图1)降低的时候，可以增加帧率(fps)。此外，在转移时钟速度由时钟控制部分27，处理时钟供应部分28和转移时钟供应部分32增加的时候，帧率(fps)可以增加。

在本发明的实施例中，可以在为了振动运动校正的目的而拍摄图像的时候，通过增加转移时钟或减少分辨率而实际上增加帧率，由此消除特别是由电子振动运动校正而导致的余像(图像恶化)。在使用具有2,000,000个像素的常用图像拾取部分且帧率是近似7.5fps的时候，就保持了余像的影响。帧率应该高于或等于20fps。否则，很难消除特别是由电子振动运动校正而导致的余像。

图6示出包括分成四个部分的像素区域的图像拾取部分5的结构。

图像拾取部分5包括像素区域40。该像素区域40被分成四个像素区域(即，像素区域40a，像素区域40b，像素区域40c以及像素区域40d)。图像拾取部分5还包括分成四个部分的水平转移部分(即，水平转移部分41a，水平转移部分41b，水平转移部分41c，水平转移部分41d)以及分成四个部分的垂直转移部分(即，垂直转移部分42a，垂直转移部分42b，垂直转移部分42c，垂直转移部分42d)。因此，所需的搜索所有像素的时间减少到原先量的1/4，且帧率增加到其原始量的四倍。在使用具有2,100,000个像素的CCD型图像拾取器件且时钟速度是18MHz的情况下，帧率是30fps。结果，可以不观察到由于振动运动校正造成的图像恶化。图像拾取部分5可以分成横向的两个部分。

图7是示出在依照本发明实施例的帧率增加的情况下的操作的图。

在曝光时间是1/4秒时，每1/8秒获得一帧。在此情况下，x方向的振动运动量通过∫₀(x_i+x_i+1)dt≈((x₁+x₂)+(x₃+x₄))/2表示。

在曝光时间是1/2秒时，通过增加帧率，每1/16秒获得一帧。在此情况下，x方向的振动运动量通过(x₁+x₂+x₃+x₄+x₅+x₆+x₇+x₈)/8≈((x₁+x₂+x₃+x₄)/2+(x₅+x₆+x₇+x₈)/2)/4表示。

当曝光时间较长，将帧率增加以获得大量的帧。结果，可以详细探测振动运动的量，并且可以减少由于振动运动校正造成的图像恶化。

因此，根据本发明的图像拾取装置，可以在表示多帧的信息上校正振动运动，并产生表示静态图像的信息。因此，可以获得经受振动运动校正的静态图像。

如上所述，在标题为(1.图像拾取装置)到(4.改变帧率)的章节中，参照图1—7描述了本发明的一个示例性实施例。

在图1—7示出的实施例中，例如，振动运动探测部分15对应于“振动运动探测部分，用于探测代表已拍摄的静态图像的多个帧之间的振动运动量”，振动运动校正部分9对应于“振动运动校正部分，用于依照探测的振动运动量校正表示多帧的多帧信息”，主图像存储器30对应于“存储部分，用于存储经受该振动运动校正的多帧信息”，以及计算部分29，对应于“信息产生部分，用于基于存储部分中存储的多帧信息，产生表示静态图像的静态图像信息”。

然而，本发明的图像拾取装置并不限于图1—7示出的实施例。图像拾取装置中包括的每个部件可以具有任意结构，只要图像拾取装置具有“振动运动探测部分，用于探测代表已拍摄的静态图像的多帧之间的振动运动量”、“振动运动校正部分，用于依照探测的振动运动量校正表示多帧的多帧信息”、“存储部分，用于存储经受该振动运动校正的多帧信息”、以及“信息产生部分，用于基于存储部分中存储的多帧信息，产生表示静态图像的静态图像信息”的每个功能。

5.图像拾取方法1

图8示出依照本发明实施例的图像拾取处理的过程(步骤50a到50f)。

图9示出依照本发明实施例的图像拾取处理的过程(步骤51a到51y)。

图10示出依照本发明实施例的图像拾取处理的过程(步骤52a到52t)。

参照图1和图8到10，本发明实施例的图像拾取处理的过程将在下面逐步描述。

参照图8，将描述步骤50a到50f。

步骤50a：操作者准备拍摄静态图像。

步骤50b：在操作者半按下快门按钮的时候，CPU 26给时钟控制部分27提供指令，使得处理时钟供应部分28开始时钟操作或是在计算部分等中增加时钟速度。在处理时钟供应部分28开始时钟操作或是在计算部分29等中增加时钟速度的时候，处理前进到步骤50c。

步骤50c：图像拾取部分5获得具有比设定分辨率更小分辨率的图像或是抽取的图像。基于表示第(n—1)图像的数据和表示第n图像的数据，产生表示第(n—1)图像和第n图像之间特定点或特定区域的位置差别的信息，从而获得振动运动信息(振动运动量)。

步骤50d：在要拍摄静态图像的位置的亮度较低的情况下，确定振动运动信息(振动运动量)是否大于预定值，且设置分辨率是否大于或者等于固定值。如果振动运动信息大于预定值(是)，该处理前进至50e。如果振动运动信息小于或者等于预定值(否)，则处理前进至步骤50f。

步骤50e：依照振动运动信息的值，将警告“小心振动运动”显示在显示部分12上。

步骤50f：操作者确定是否他/她按下快门按钮。如果操作者按下快门按钮25(是)，则处理前进至步骤51a(参见图9)。如果操作者不按下快门按钮25(否)，重复步骤50f的处理。

参照图9，步骤51a到51y将在下面进行描述。

步骤51a：确定快门速度(曝光时间)是否大于t₁。例如，CPU 26确定是否快门速度(曝光时间)长于t₁。

在变焦部分6的变焦比小于或是等于固定值的条件下，如果快门速度(曝光时间)短于或是等于t₁(否)，则处理前进至步骤51b。如果快门速度(曝光时间)长于t₁(是)，则处理前进至步骤51d。

步骤51b：拍摄图像而不校正振动运动(不校正振动运动)。

步骤51c：完成拍摄图像且处理结束。

步骤51d：振动运动校正优先级开关调整为“开”。

步骤51e：确定快门速度(曝光时间)是否长于t₂。

如果快门速度(曝光时间)短于或是等于t₂(否)，随后处理前进到步骤51f。如果快门速度(曝光时间)长于t₂(是)，处理前进到步骤51h。

步骤51f：确定振动运动是不是剧烈发生的，以及变焦比是不是大于或是等于固定值。

如果振动运动不是剧烈发生的且变焦比大于固定值(否)，则处理前进至步骤51g。如果振动运动是剧烈发生的且变焦比小于或是等于固定值(是)，则处理前进至步骤51i。

步骤51g：处理进行到校正振动运动的程序(步骤51r)，而分辨率设置为预设的分辨率N₀。

步骤51h：确定设定的分辨率N₀是否高于预定分辨率N₁。

如果设定的分辨率N₀低于或等于预定分辨率N₁(否)，则处理前进至步骤51r。如果设定的分辨率N₀高于预定分辨率N₁(是)，则处理前进至步骤51i。

步骤51i：像素转移部分23的转移时钟的速度由时钟控制部分27增加。因此，就增加了帧率。

步骤51j：确定振动运动是否是剧烈发生的。

如果振动运动不是剧烈发生并且变焦比低于或是等于固定值，即，振动运动非常小(否)，则处理前进至步骤51k。如果振动运动是剧烈发生或变焦比大于固定值，即，振动运动一定程度上剧烈发生(是)，则处理前进至步骤51m。

步骤51k：处理前进至步骤51r，而分辨率设置为预定分辨率N₁。

步骤51m：确定设定的分辨率是否高于预定分辨率N₂，或是确定帧率是否小于预定值fn。

如果设定的分辨率低于或等于预定分辨率N₂或是帧率高于或等于预定值fn(否)，则处理前进至步骤51r。

如果设定的分辨率高于预定分辨率N₂或是帧率小于预定值fn(是)，则处理前进至步骤51n。

步骤51n：处理前进至51p，为了设置分辨率为N₂，其低于预定分辨率N₁。

步骤51p：通过分辨率改变部分24和抽取控制部分25a，从图像拾取部分5输出的像素被抽取，或是表示平面内方向上的多个像素的信息被互相相加，以产生表示一个像素的信息，由此减少像素的数量(即，降低分辨率)(分辨率被设置为N₂)。

步骤51q：作为将分辨率设置为分辨率N₂的结果，其中N₂低于预定分辨率N₁，就增加了帧率最大速度的值。帧率得以增加。

步骤51r：确定是否开始了输入图像到用于振动运动校正的程序中，以拍摄多帧(图像)到图像拾取装置100中。如果开始输入图像(是)，处理前进至步骤51y。

步骤51y：基于曝光时间(即，快门时间)、光圈值和帧率，计算需要分开曝光(dividing exposure)的帧n_last总数。在剧烈发生振动运动的时候，对于每个静态图像的快门时间缩短。

步骤51s：n设置为0(n＝0)。

步骤51t：n增加1(n＝n+1)。

步骤51u：拍摄第n图像，且来自图像拾取部分5的该第n静态图像存储在子存储器8之中(即，获得第n静态图像)。

步骤51v：确定静态图像数据是否是第1静态图像数据。

如果静态图像数据是第1静态图像数据(是)，则处理前进至步骤51w。如果静态图像数据不是第1静态图像数据(否)，则处理前进至步骤52a(参见图10)。

步骤51w：将图像拾取部分5的图像的部分切除以获得图像数据I₁。

步骤51x：图像数据I₁存储在主存储器30中。

参照图10，将在下面描述步骤52a到52t。

步骤52a：通过振动运动探测部分15计算第一图像数据和第二图像数据之间特定点的运动，以获得振动运动量Mn(参见图2)。

当表示第一图像D₁，在t＝t₁的时候拍摄的图像数据存储在振动运动探测部分15中包括的第一存储器16之中，且表示第二图像D₂，在t＝t₂的时候拍摄的图像数据存储在振动运动探测部分15中包括的第二存储器17之中，振动运动探测部分15基于表示两个图像的图像数据(即表示图像D₁的图像数据和表示图像D₂的图像数据)，探测图像D₁和图像D₂之间的振动运动量M₁(例如，运动矢量(x1，y1))，并输出表示振动运动量的数据。

步骤52b：确定振动运动量Mn的整数值是否大于或等于固定值。

如果振动运动量Mn的整数值大于或等于固定值(是)，则确定拍摄图像离开(get out)特定区域，且处理前进至步骤52c。如果振动运动量Mn的整数值小于固定值(否)，则处理前进至步骤52s。

步骤52c：值“1”(一)被加到错误寄存器中存储的值上。第n图像不存储在主图像存储器30中，且处理前进至步骤52h。

步骤52s：确定振动运动量Mn的整数值是否大于或等于另一固定值。如果振动运动量Mn的整数值大于或等于另一固定值，则值“1”(一)被加到第二错误寄存器中存储的值上。

步骤52d：依照振动运动量Mn在纵向上从图像拾取部分5输出的图像数据中剪切出来的图像数据I_n，存储在子图像存储器8中。

步骤52e：确定闪光灯是否设置为“开”。如果闪光灯设置为“开”(是)，则处理前进至步骤52f。如果闪光灯没有设置为“开”(否)，则处理前进至步骤52g。

步骤52f：图像数据I_n预先被遮罩部分20遮罩(参见图4和3的遮罩操作)。

步骤52g：从振动运动校正部分9获得经受横向振动运动校正和纵向振动运动校正的图像数据I_n。

例如，将图像数据I_n发送到计算部分29，且在主图像存储器30中存储的图像数据和图像数据I_n上执行计算(即，相加、积分)，且计算结果存回主图像存储器30。

步骤52h：振动运动校正控制部分21确定n是不是等于n_last，(即，满足n＝n_last)，其中n_last表示n的最后一个值。

如果满足n＝n_last(是)，则处理前进至步骤52i。如果不满足n＝n_last(否)，则处理前进至步骤51t(参见图9)，以拍摄另一图像数据。

步骤52i：由时钟控制部分27降低图像拾取部分5的转移时钟的频率。或者，可以停止图像拾取部分5的转移时钟，以降低功耗。

步骤52j：确定存储在第二错误寄存器中的值是否大于或等于固定值。

如果存储在第二错误寄存器中的值小于固定值(否)，则处理前进至步骤52n。如果存储在第二错误寄存器中的值大于或等于固定值(是)，则处理前进至步骤52k。

步骤52k：确定通过对积分图像调整大小是否可以将缺少部分消除(缺少部分的范围是否在缺少部分可以消除的范围内)。

例如，在校正图像33c中产生缺少部分34a(参见图4)。在此情况下，也在积分图像35c中产生缺少部分34b。因此，必须调整积分图像35c的大小以消除缺少部分34b。在此情况下，确定通过对积分图像35c调整大小是否可以将缺少部分34b消除(缺少部分34b的范围是否在缺少部分34b可以消除的范围内)。

如果可以消除缺少部分(是)，则处理前进至步骤52m。如果不可以消除缺少部分(否)，则处理前进至步骤52p。

步骤52m：通过调整积分图像35c的大小消除缺少部分34b，从而获得不具有缺少部分的积分图像35d(参见图4)。

步骤52n：表示积分图像35d的数据记录在记录介质14上。

步骤52p：甚至执行了振动运动校正的时候，缺少部分也不能消除。因此，提示操作者校正振动运动失败。例如，具有含义“振动运动校正错误(在范围之外)”的声明显示在显示部分12(参见图1)上。此外，从扬声器37输出错误警告声音。此外，振动器36振动。

步骤52q：确定主显示设置是否设置为“开”。

如果主显示设置被设置为“开”(是)，则处理前进至步骤52r。如果主显示设置没有设置为“开”(否)，则处理前进至步骤52t。

步骤52r：存储在主图像存储器30中的，经受振动运动校正的积分图像，或是调整大小后的图像显示在显示部分12上。

步骤52t：经受振动运动校正的图像记录在记录介质14上。当在预定时间经过之后，要拍摄经受振动运动校正的另一图像的时候，处理返回初始步骤50a(参见图8)。

因此，依照本发明的图像拾取方法，表示多帧的信息可以经受振动运动校正，且可以产生表示静态图像的信息。结果，可以获得经受振动运动校正的一个静态图像。

如上所述，在标题为(5.图像拾取方法1)的章节中，依照图1和图8到10描述本发明的示例性实施例。

例如，在图8到10示出的实施例中，步骤52a对应于“在表示拍摄的静态图像的多帧之间，探测振动运动量的步骤”，步骤52b到52g对应于“依照探测的振动运动量校正表示多帧的多帧信息的步骤”，步骤52g对应于“存储经受振动运动校正的多帧信息的步骤”，且步骤52g或52m对应于“基于存储在存储部分的多帧信息，产生表示静态图像的静态图像信息的步骤”。

然而，本发明的图像拾取方法并不限于图8到10所述的实施例。图像拾取方法中包括的每个步骤可以以任意方式处理，只要图像拾取方法具有：“在表示拍摄的静态图像的多帧之间，探测振动运动量”，“依照探测的振动运动量，校正表示多帧的多帧信息”，“存储经受振动运动校正的多帧信息”，以及“基于存储在存储部分的多帧信息，产生表示静态图像的静态图像信息”的功能。

例如，如参照图8到10所述，计算部分29顺序计算存储在主图像存储器30中多个图像数据(帧信息)中的每个，由此产生静态图像信息。或者，计算部分29可以同时计算存储在主图像存储器30中多个图像数据(帧信息)，由此产生静态图像信息。

6.图像拾取方法1(顺序计算)

图11示出依照本发明实施例的顺序计算处理的过程。在顺序计算处理的过程中，多个图像数据(帧信息)的每个被顺序计算以产生静态图像信息。

参照图1和11，将在下面逐步描述完成了拍摄图像准备之后所进行的顺序计算处理过程(从图9中步骤51s开始的处理)。

步骤10a：n设置为0(n＝0)。

步骤10b：n增加1(n＝n+1)。

步骤10c：拍摄第n图像，且第n图像存储在子存储器8中。

步骤10d：第n图像经受振动运动校正，以获得经受过振动运动校正的图像P_n。

步骤10e：计算部分29将表示经受过振动运动校正的图像P_n的数据乘以m(P_n×m)。

步骤10f：计算部分29将表示图像Pn乘以m的数据加到存储在主图像存储器30中的图像数据上 $({\mathrm{\Σ}}_{i=1}^{n-1}(\mathrm{Pi}\×m)+(\mathrm{Pn}\×m)).$

步骤10g：相加的结果存储在主图像存储器30中。

步骤10h：确定是否n等于n_last(满足n＝n_last)，其中n_last表示n的最后一个值。

如果满足n＝n_last(是)，则处理前进至步骤10i。如果不满足n＝n_last(否)，则处理前进至步骤10b以拍摄另一图像数据。

步骤10i：子计算部分将乘以m并顺序相加的图像数据乘以1/s，以产生表示静态图像的图像数据 $P_x(P_x=\left({\mathrm{\Σ}}_{i=1}^n(\mathrm{Pi}\×m)\right)/s).$

步骤10j：产生的图像数据P_x输出到记录部分13。

在产生的图像数据P_x输出到记录部分13之后，处理完成。

因此，依照顺序计算处理的过程，每个图像数据(帧信息)被顺序计算以产生静态图像信息。因此，可以缩短产生静态图像信息所需的时间。

此外，计算部分29将表示像素P_n乘以m的数据加到主图像存储器30中存储的图像数据上，且子计算部分29a将乘以m并顺序相加的图像数据乘以1/s，以产生表示静态图像的图像数据P_x。通过设定m的值以及值s为任意值，就可以获得所需亮度的单个静止图像。

7.图像拾取方法1(同时计算)

图12示出本发明实施例的同时计算处理的过程。在同时计算处理的过程中，同时计算多个图像数据(帧信息)，由此产生静态图像信息。

参照图1和12，将逐步描述在完成准备拍摄图像之后的同时计算处理的过程(从图9的步骤51s开始的处理)。

步骤20a：n被设置为0(n＝0)。

步骤20b：n增加1(n＝n+1)。

步骤20c：拍摄第n图像。

步骤20d：表示第n图像的数据存储在主图像存储器30中。

步骤20e：计算部分29确定n是否等于n_last(满足n＝n_last)，其中n_last表示n的最后一个值。

如果满足n＝n_last(是)，则处理前进至步骤20f。如果不满足n＝n_last(否)，则处理前进至步骤20b，以拍摄另一图像数据。

步骤20f：数目n的图像经受振动运动校正。经受振动运动校正的数目n图像的各个像素被积分以产生表示一个静态图像的图像数据P_x。

步骤20g：产生的图像数据P_x输出到记录部分13。

在产生的图像数据P_x输出到记录部分13之后，完成处理。

因此，依照同时计算处理的过程，同时计算多个图像数据(帧信息)以产生静态图像信息。因此，可以减少计算部分29的负载。

如标题为(6.图像拾取方法1(顺序计算))的章节所述，通过子计算部分29a就可以将图像数据适当地乘以m和1/s。因此，就可以获得具有所需亮度的单个静止图像。

8.图像拾取方法2

图13示出依照快门速度(曝光时间)和拍摄图像的地点的亮度，通过积分多个图像(分开的图像)而校正振动运动的处理过程。

该处理过程将在下面逐步描述。

步骤99a：分别设定分辨率、像素数目和分开的图像的数目。

步骤99b：确定振动运动校正优先级开关是否被设置为“开”。

例如如果振动运动校正优先级开关没有被设置为“开”(否：分辨率优先模式)，则处理前进至步骤80c(参见随后描述的图19)。如果振动运动校正优先级开关被设置为“开”(是：振动运动校正优先模式)，则处理前进至步骤99c。

步骤99c：确定拍摄图像的地点的亮度是否小于依照分辨率设置的预定值。

如果亮度小于预定值(是)，则步骤前进至步骤99f。如果亮度大于或等于预定值(否)，则步骤前进至步骤99d。

步骤99d：确定是否快门打开时间(曝光时间)S大于依照分辨率设置的预定值。

如果快门打开时间S大于预定值(是)，处理前进至步骤99f。如果快门打开时间S小于或等于预定值(否)，处理前进至步骤99e。

步骤99e：确定振动运动量是否大于预定值。

如果振动运动量大于预定值(是)，则处理前进至步骤99f。如果振动运动量小于或等于预定值(否)，则执行拍摄图像的正常处理(拍摄图像而不在时间轴方向上添加像素的处理)(步骤99m)。

步骤99f：在振动运动不显著的时候，依照拍摄图像的位置的亮度、快门打开时间(曝光时间)和帧率中至少一个设置分辨率N₁(阈值分辨率)。

在设置分辨率之后，处理前进至步骤99g。

步骤99g：确定分辨率N₁是否大于初始分辨率N₀。

如果分辨率N₁大于初始分辨率N₀(是)，则执行拍摄图像的正常处理(拍摄图像而不在时间轴方向上添加像素的处理)(步骤99m)。如果分辨率N₁小于或等于初始分辨率N₀，则处理前进至步骤99h。

步骤99h：将分辨率N₁改变为分辨率N₂，其小于初始分辨率N₀。

步骤99i：通过执行在水平方向添加像素(水平添加处理)和在垂直方向添加像素(垂直添加处理)中的至少一个，将分辨率设置为N₂。水平添加处理和垂直添加处理的细节将在后面描述。

步骤99j：增加帧率。

步骤99k：以重叠的方式(时间轴、像素添加模式)执行多重曝光。随后，例如处理前进至步骤51y(参见图9)。

9.改变分辨率

图14示出通过在平面内方向添加像素和在时间轴方向中添加像素而改变分辨率的处理过程。

参照附图14，将在下面逐步描述在平面内方向添加像素和在时间轴方向中添加像素而改变分辨率的处理过程。

步骤70a：在表示图像拾取元件中九个像素(像素60a到60i)的数据被添加到平面内方向，从而产生表示一个像素62的数据。

步骤70b：设置虚拟地址，使得虚拟地址的数目大于实际地址的数目(通过增加实际地址的量而设置虚拟地址)。虚拟切除部分65依照用于校正振动运动的信息(振动运动信息)而设置。

步骤70c：表示图像61的数据依照用于校正振动运动的信息而在虚拟地址上偏移。在此情况下，表示新像素66的数据基于表示原始像素62的数据和表示周围像素的数据而产生。

图15示出本发明实施例的通过设置大于实际像素数目的像素数目，而校正振动运动的原理。振动运动校正的量具有像素的1/10的分辨率。为了精确执行校正，通过将像素62分成10个部分而产生虚拟像素67且将虚拟像素67偏移。

在虚拟像素67在虚拟空间上偏移之后，处理前进至步骤70d。

步骤70d：切除图像。

步骤70e：获得表示切除图像64的数据。丢弃表示突出部分68的数据。

步骤70f：表示切除图像64的数据存储在主图像存储器30中。振动运动校正的量存储在主图像存储器30中。

步骤70g：当输入表示新图像61a的数据的时候，执行同样的处理步骤70a到70d。

步骤70h：基于振动运动校正量，获得表示切除图像64a的数据。

步骤70i：通过在时间轴方向上添加(或积分)表示切除图像64的像素的数据和表示切除图像64a的像素的数据，获得表示合成图像7L的数据。

步骤70j：表示合成图像71的数据存储在主图像存储器30中。

步骤70k：在输入表示新图像61b的数据的时候，执行同样的处理步骤70a到70e。获得表示切除图像64b的数据。

步骤70m：通过在时间轴方向上添加表示合成图像71的像素的数据和表示切除图像64b的像素的数据，获得表示合成图像71a的数据。

步骤70n：通过计算第一振动运动校正量69、第二振动运动校正量69a和第三振动运动校正量69b，而产生振动运动校正量72。其中三个图像以重叠方式添加的重叠区域73基于振动运动校正量72而从合成图像71a中指定出来。

通过在表示重叠区域73的数据上执行变焦计算而执行扩大插值。结果，获得表示扩大图像74的数据。将在后面描述扩大插值和减少插值的细节。

获得经受振动运动校正的、表示静态图像74的数据，且完成处理。

在参照图14描述的实施例中，积分了三个图像。然而，将积分的图像的数目并不限于三个。例如，曝光时间越长，积分的图像数目越多。通过积分大量的图像，就可以在黑暗的地方拍摄照片。

图16示出在平面内方向添加像素的方法。在平面内方向添加包括在垂直方向的添加和在水平方向的添加。

图16(a)示出在垂直方向添加的方法。当在垂直方向读取像素的时候，在R(红)(m，n+1)和R(m，n)上执行垂直添加处理，以产生R(m，n+1)+R(m，n)。

图16(b)示出在水平方向上添加的方法。在水平方向上将同样颜色的像素彼此相加。例如，在G(m，n+1)+G(m，n)和G(m+1，n+1)+G(m+1，n)上执行水平添加处理，以产生G(m，n+1)+G(m，n)+G(m+1，n+1)+G(m+1，n)。

如参照图16所述，可以通过在平面内方向执行添加而从表示四个像素的数据产生表示一个像素的数据。

如下所述，可以通过在平面内方向添加像素的处理中偏移图像的切除位置而更加准确的切除图像。

图17是描述图像切除位置偏移的图。

依照校正信号或从振动运动探测部分15(参见图1)输出的探测信号(振动运动信息)，添加切换部分102a添加切换部分102b在A模式103和B模式104之间切换添加模式。因此，在平面内方向添加像素的处理中(参见图16)，就可以通过将图像的切除位置偏移一个像素而更加准确地切除图像。

图18示出减少插值的原理、扩大插值的原理和以高分辨率校正振动运动的原理。图18(a)示出减少插值的原理。可以从原始(八个)像素获得多个(六个)像素作为减少插值的结果。图18(b)示出扩大插值的原理。可以从原始(六个)像素获得多个(八个)像素作为扩大插值的结果。图18(c)示出以高分辨率校正振动运动的原理。

10.去除振动运动探测失败的图像

图19示出去除振动运动探测失败的图像的处理的过程。

参照图19，将在下面逐步描述去除振动运动探测失败的图像的处理过程。

步骤80a：确定快门速度(曝光时间)是否长于t’。

如果快门速度(曝光时间)否长于t’(是)，则处理前进至步骤80b。

步骤80(b)：确定振动运动是否剧烈发生。

如果振动运动没有剧烈发生(否)，则处理前进至步骤80c。如果振动运动剧烈发生(是)，则处理前进至步骤80d。

步骤80c：在分辨率被设置为预设分辨率的同时拍摄图像。

步骤80d：确定振动运动校正是否优先执行。如果执行振动运动校正的设置被设置为“开”(是)，则处理前进至步骤80e。如果执行振动运动校正的设置没有被设置为“开”(否)，则处理前进至步骤80c。

步骤80e：显示振动运动校正模式。

步骤80f：确定曝光时间是否设置为：t₁<t<t₂。

如果曝光时间t被设置为t₁<t<t₂(是)，则处理前进至步骤81d。随后在平面内方向添加像素(步骤81d)，则曝光时间t被设置为t<t₁(步骤81e)且开始拍摄图像(步骤81f)。

如果曝光时间t没有被设置为t₁<t<t₂(否)，则处理前进至步骤80g，其中确定曝光时间是否被设置为t₂<t<t₃。如果曝光时间t没有被设置为t₂<t<t₃(否)，则处理停止(步骤81g)。如果曝光时间t设置为t₂<t<t₃(是)，则处理前进至步骤80h。

步骤80h：执行在平面内方向中添加像素的设置。

步骤80i：曝光时间t被设置为t<t₂且获得用于振动运动校正的像素数目P。

步骤80j：开始拍摄图像。R被设置为0(R＝0)。

步骤80k：n被设置为0(n＝0)。

步骤80m：n增加1(n＝n+1)。

步骤80n：第n图像中的像素被添加到平面内方向中。

步骤80p：探测振动运动。

步骤80q：确定振动运动是否成功探测到。

如果探测振动运动失败(否)，R＝R+1(步骤80r)且确定是否满足R<R₀(R是否小于设定值R₀)。如果不满足R<R₀(否)，则处理停止(步骤80t)。如果满足R<R₀(是)，则改变运动矢量探测点和运动矢量探测数量中至少一个(步骤80v)，且处理前进至步骤80k以从开始再次执行校正处理。

如果振动运动探测成功(是)，则处理前进至步骤80u。

步骤80u：校正的图像存储在主图像存储器30中。

步骤80w：确定n是否等于p(是否满足n＝p)。

如果不满足n＝p(否)，则处理前进至步骤80m。如果满足n＝p(是)，则确定完成了为了校正振动运动而拍摄所有图像的处理(全部分开的图像)。随后，处理前进至步骤80x。

步骤80x：存储在主图像存储器30中的校正图像在时间轴方向上被相加或积分。

步骤80y：产生表示一个图像的数据。

步骤80z：在产生的表示一个图像的数据上执行诸如抽取的处理，且将结果显示在显示部分12上。

步骤81a：操作者确定图像存储开关是否设置为“开”。

步骤81b：在表示图像的图像数据上执行压缩处理(例如，JPEG等)，以减少图像数据的量。

步骤81c：将图像数据记录在记录介质14上(例如，IC卡)。

依照本发明实施例，如参照图19所述，可以防止添加(积分)振动运动探测失败的校正图像数据。例如，在难以探测失败的情况下，诸如探测在时间轴方向上添加(积分)像素失败，就可以获得经受振动运动校正的图像。此外，可以从下一个图像到振动运动探测失败的图像，在时间轴方向上开始积分。因此，时间的使用更加有效。

11.振动运动校正量的显示

图20示出依照本发明实施例的图像拾取装置200的结构。

图像拾取装置200可以以类似于图像拾取装置100的方式显示振动运动校正的量。图像拾取装置200包括振动运动量计算部分92，位置计算部分91，显示部分95，扬声器97，振动器98，CPU 99，振荡陀螺仪101a以及振荡陀螺仪101b。振动运动量计算部分92(振动运动探测部分15：参见图1)计算振动运动量，并经由显示电路输出该振动运动量到显示部分95。位置计算部分91计算不能由振动运动校正完全校正的振动运动的位置，并经由显示电路输出该位置到显示部分95。

CPU 99确定该振动运动量是否大于预定值。如果该振动运动量大于预定值，则其指示显示部分95、扬声器97和振动器98中至少一个输出确定结果。

显示部分95依照来自CPU 99的指令，显示确定结果。扬声器97依照来自CPU 99的指令，产生警告声音。振动器依照来自CPU 99的指令振动。

图21示出图像拾取装置200中包括的显示部分95的例子。

在显示部分95中，振动运动量由指示器93、93a、93b和93c显示。通过视觉观察显示器，拍摄图像的人可以识别出振动运动量和振动运动方向。通过识别振动运动量和振动运动方向，拍摄者可以改变固定相机的方法。结果，可以通过人的操作获得比平时包括更少振动运动的静态图像。

图22示出图像拾取装置200中包括的显示部分95的另一个例子。

在显示部分95中，显示出振动运动不能被振动运动校正完全校正的位置，诸如位置94b和位置94d。通过视觉观察该显示器，拍摄图像的人可以在拍摄图像之后识别静态图像经受振动运动的程度。振动运动校正的失败可以通过照相机上一个小显示部分确定。因此，拍摄者可以检查振动运动校正的失败。在影片(filming)模式中(例如，摇拍或全景观看)，就可以仅检查纵向的振动运动。

在显示部分95中，如果振动运动量(x，y)大于预定值(x₀，y₀)((x>x₀，或y>y₀)或(x>x₀，且y>y₀))，则可以显示警告。此外，扬声器可以输出警告声音。例如依照变焦比设定预定值(x₀，y₀)。

此外，在显示部分95中，如果振动运动量(x，y)小于预定值(x₀，y₀)((x<x₀，或y<y₀)或(x<x₀，且y<y₀))，则可以显示消息(例如“OK”)。此外，扬声器可以输出声音。例如依照变焦比设定预定值(x₀，y₀)。

图23示出以摇拍方式或全景方式拍摄图片的时候边界指示器97的显示。

图23(a)示出待拍摄的场景，将该场景分成三个帧。

图23(b)示出帧98a。图23(c)示出帧98b。图23(d)示出帧98c。图23(e)示出帧98d。

在图23(a)示出的场景在向右的方向以全景方式拍摄的时候，探测点96a、96b和96c中的探测点96a(参见图23(b))被在帧中移动并到达帧98b的左端(参见图23(c))，其中这些点是用于振动运动校正的运动矢量探测的表示点。此时，用于探测运动的振动运动探测部分15探测到屏幕向右偏移L1，且指示图23(b)中帧右端边界的边界指示器97a显示在距离帧右端L1的位置上(参见图23(c))。

类似的，振动运动探测部分15探测到屏幕向右偏移L2，且边界指示器97b显示在距离帧右端L2的位置上(参见图23(d))。

类似的，边界指示器97c显示在图23(e)中屏幕的左端。在此情况下，拍摄的人可以知道当前位置到达了将拍摄下一图像的下一位置。如果需要，可以从扬声器37(见图1)输出声音警告，由此提示该人此声音警告。此时，通过按下快门按钮，拍摄的人可以拍摄几乎完美的全景形式的图像。

对于在屏幕上设置多个探测点，并从探测点的运动矢量确定拍摄图像的人的运动作为帧的运动，从而描述了本方法。

在此方法中，摇拍探测由用于校正振动运动的振动运动探测部分执行。然而，如图20所示，在探测振动运动的图像拾取装置中，通过使用振荡陀螺仪101a和振荡陀螺仪101b，还可以通过振荡陀螺仪探测拍摄者的摇拍旋转角度，并依照变焦探测部分的变焦比对于一帧获得在横向摇拍所需的旋转角度θ₀。

在图23(b)示出的状态中，在右端显示边界指示器97。在此状态下，拍摄者拍摄全景图像中第一帧图像。下面，在拍摄者在向右的方向通过旋转角θ₀执行照相机的摇拍(即，旋转)的时候，拍摄者可以知道照相机的当前位置到达了该拍摄者可以拍摄全景图像中第二帧图像的位置。

当旋转角度到达旋转角度θ₀的时候，边界指示器97c显示在左端(参见图23(e))。此时，经由扬声器或显示器提示拍摄者旋转角到达旋转角θ₀。作为拍摄者在此时按下快门按钮的结果，就可以获得在横向准确的全景图像。

通过在显示部分12上显示除了横向之外的垂直方向上的边界指示器99a和99b，就可以使得拍摄者容易获得在两个方向上都准确的全景图像(参见图23(b))。在此情况下，通过使用显示屏幕上的箭头显示准确的摇拍方向，拍摄者就可以仅在箭头指出的方向上引导照相机，从而容易拍摄全景模式的图像。总之，由于拍摄者在拍摄图像的时候手持照相机，该拍摄者不能准确确定图像拍摄的方向。然而，通过使用照相机的振动运动校正功能，自动调整屏幕的左、右、上和下端，就可以很准确地以全景方式拍摄图像。

甚至在屏幕的左、右、上和下端使用照相机的振动运动校正功能自动调整的时候，在实际采集的全景场景以及可以采集到的最理想全景场景间会发生错误。通过额外的将该错误记录在表示拍摄图像的状态属性的属性数据(Exif等)中，就可以在将多个图像合成为单个全景图像的时候，更加准确地对准屏幕的左、右、上和下端。这是因为可以根据错误信息修改错误。

上面描述的功能还可以在振动运动探测方法是电子探测方法的时候，以类似方式实现。

图24示出在帧内探测振动运动的探测点。在振动运动探测经常失败或帧率比较低的时候，可以通过改变帧98内探测点96的各自位置，或是增加帧98内探测点96的数目，从而增加振动运动探测的成功率。

因此，依照本发明的图像拾取装置，拍摄图像的人可以识别振动运动的程度。通过识别振动运动的程度，拍摄者可以改变固定照相机的方法。结果，可以获得这样一种静态图像，其具有的振动运动少于通常被人的操作所观察到的振动运动。

如上所述，在题目为(11.振动运动量的显示)的章节中，参照图1和图20到23描述了本发明的示例性实施例。

例如，在图1和图20到23示出的实施例中，振动运动探测部分15(振动运动量计算部分92)对应于“用于探测表示拍摄的静态图像的多帧之间的振动运动量的振动运动量探测部分”，CPU 99对应于“用于确定振动运动量是否大于预定值的确定部分”，且显示部分95，扬声器97和振动器98对应于“输出确定结果的输出部分”。

然而，本发明的图像拾取装置不限于图1和图20到23所示的实施例。图像拾取装置中包括的每个部件可以具有任意结构，只要该图像拾取装置具有下列每个功能：“用于探测表示拍摄的静态图像的多帧之间的振动运动量的振动运动量探测部分”，“用于确定振动运动量是否大于预定值的确定部分”和“输出确定结果的输出部分”。

下面的图像拾取装置还可以包括在本发明的范围内。

用于在预定曝光周期拍摄静态图像的图像拾取装置，包括：用于探测表示静态图像的多帧之间的振动运动量的振动运动量探测部分；以及在预定曝光周期过去之后，显示探测的振动运动量的显示部分。

用于在预定曝光周期期间拍摄静态图像的图像拾取装置，包括：用于探测表示静态图像的多帧之间的振动运动量的振动运动量探测部分；用于确定振动运动量是否大于预定值的确定部分；以及输出确定结果的输出部分。

例如，在确定振动运动量大于预定值的时候，输出部分显示确定结果。

例如，在确定振动运动量大于预定值的时候，输出部分产生声音。

例如，在确定振动运动量大于预定值的时候，输出部分振动。

如上所述，本发明由上述优选实施例的使用而示意性表示。然而，本发明不应仅基于上述实施例而解释。可以理解，本发明的范围应该完全基于权利要求而解释。还应该理解，本领域技术人员可以基于本发明的描述和来自本发明优选实施例的详细描述得来的公知常识，在等同的技术范围内实施。此外，可以知道在本说明书中引用的任何专利，任何专利申请以及文献，都应该以与所具体描述的内容一样的方式结合到本说明书中作为参考。

工业应用

依照本发明的信息产生装置、图像拾取装置以及图像拾取方法，可以校正表示多帧的信息的振动运动，并产生表示静态图像的信息。结果，可以获得经受振动运动校正的静态图像。

本发明在预定曝光周期期间拍摄多个图像并对于多个图像的每个校正振动运动。通过在多个校正图像上执行计算处理，就可以获得一个静态图像。结果，可以获得经受振动运动校正，并具有高S/N的静态图像。

根据本发明，在校正振动运动的时候帧率较低的情况下，就增加时钟速度或降低分辨率以增加帧率。因此，可以降低由于振动运动电子校正而造成的图像质量恶化。

依照本发明的图像拾取装置，拍摄图像的人可以识别振动运动的程度。通过识别振动运动的程度，拍摄者可以改变固定照相机的方法。结果，就可以获得具有少于通常人操作的振动运动的静态图像。

Claims (14)

1.一种图像产生装置，包括：

存储部分，用于存储多帧信息；以及

信息产生部分，用于基于该存储部分中存储的多帧信息，产生表示静态图像的静态图像信息，

其中，该多帧信息是表示代表在预定曝光周期期间拍摄的静态图像的多帧的信息，且该信息已经依照该多帧之间的振动运动量校正；

其中该图像产生装置还包括分辨率改变部分，用于依照该振动运动量，改变该多帧的分辨率。

2.根据权利要求1的信息产生装置，其中该信息产生部分通过同时计算该存储部分中存储的多帧信息，而产生该静态图像信息。

3.根据权利要求1的信息产生装置，其中该信息产生部分通过顺序计算该存储部分中存储的多帧信息中的每个，而产生该静态图像信息。

4.根据权利要求1的信息产生装置，其中基于在水平方向和垂直方向中至少一个方向上，通过添加表示图像拾取元件的图像拾取平面中包括的多个像素的信息所产生的信息，而产生该多帧信息。

5.一种图像拾取装置，用于在预定曝光周期期间拍摄静态图像，该装置包括：

振动运动探测部分，用于探测代表该静态图像的多帧之间的振动运动量；

振动运动校正部分，用于依照该探测的振动运动量，校正表示该多帧的多帧信息；

存储部分，用于存储经受该振动运动校正的该多帧信息；以及

信息产生部分，用于基于该存储部分中存储的多帧信息，产生表示该静态图像的静态图像信息；其中

该图像拾取装置还包括分辨率改变部分，用于依照该振动运动量，改变该多帧的分辨率。

6.根据权利要求5的图像拾取装置，其中该信息产生部分通过同时计算该存储部分中存储的多帧信息，产生该静态图像信息。

7.根据权利要求5的图像拾取装置，其中该信息产生部分通过顺序计算该存储部分中存储的多帧信息中的每个，产生该静态图像信息。

8.根据权利要求5的图像拾取装置，还包括帧率改变部分，用于依照该振动运动量改变帧率，

其中该帧率表示每单位时间拍摄的，代表该静态图像的多帧的数量。

9.根据权利要求5的图像拾取装置，其中该分辨率改变部分还依照亮度改变该多帧的分辨率。

10.根据权利要求5的图像拾取装置，其中该分辨率改变部分还依照变焦比改变该多帧的分辨率。

11.根据权利要求5的图像拾取装置，其中：

该振动运动探测部分基于通过添加表示图像拾取元件的图像拾取平面中包括的多个像素的信息而产生的信息，探测该振动运动量，以及

该振动运动校正部分通过依照该振动运动量切除该多帧信息的部分，从而校正该多帧信息。

12.根据权利要求5的图像拾取装置，其中：

该振动运动探测部分基于陀螺仪探测该振动运动量。

13.根据权利要求5的图像拾取装置，还包括确定部分，用于确定该预定曝光时间是否大于预定值，并且

其中，在确定该预定曝光时间大于该预定值的时候，该振动运动探测部分基于通过添加表示图像拾取元件的图像拾取平面中包括的多个像素的信息而产生的信息，探测该振动运动量。

14.一种在预定曝光周期期间拍摄静态图像的图像拾取方法，包括下面步骤：

在代表该静态图像的多帧之间探测振动运动量；

依照该探测的振动运动量，校正表示该多帧的多帧信息；

存储经受该振动运动校正的多帧信息；以及

基于该存储部分中存储的该多帧信息产生表示该静态图像的静态图像信息；

其中该图像拾取方法还包括分辨率改变步骤，用于依照该振动运动量，改变该多帧的分辨率。

Images