CN1725811B - 摄像装置和图像恢复方法 - Google Patents

摄像装置和图像恢复方法 Download PDF

Info

Publication number
CN1725811B
CN1725811B CN2005100860884A CN200510086088A CN1725811B CN 1725811 B CN1725811 B CN 1725811B CN 2005100860884 A CN2005100860884 A CN 2005100860884A CN 200510086088 A CN200510086088 A CN 200510086088A CN 1725811 B CN1725811 B CN 1725811B
Authority
CN
China
Prior art keywords
image
vibration
unit
distortion
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005100860884A
Other languages
English (en)
Other versions
CN1725811A (zh
Inventor
大久保光将
日暮正树
半川雅司
今井右二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Publication of CN1725811A publication Critical patent/CN1725811A/zh
Application granted granted Critical
Publication of CN1725811B publication Critical patent/CN1725811B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

摄像装置和图像恢复方法。一种摄像装置包括：用于形成物体图像的光学系统(2)。摄像单元(1114)从光学系统(2)所形成的物体图像中获取图像数据。振动检测单元(108、109、110)检测摄像装置的振动。在图像劣化信息存储单元(171)中存储由光学系统(2)产生的图像劣化的信息。图像劣化校正单元(172)根据图像劣化信息存储单元(171)中存储的图像劣化信息，针对从摄像单元(1114)输出的图像数据，对由光学系统(2)产生的图像劣化进行校正。振动恢复单元(123)根据时间序列的振动检测信号，针对从图像劣化校正单元(172)输出的图像数据，对由振动而劣化的图像进行恢复。

Description

摄像装置和图像恢复方法
技术领域
本发明涉及一种摄像装置和图像恢复方法，其中检测到振动以将模糊图像恢复到无模糊的图像。
背景技术
在摄像装置(例如数字摄像机、视频摄像机等)中，对由摄像时的振动而劣化的图像进行校正以恢复接近于原始图像的图像。例如，在数字摄像机(下文中有时简称为摄像机)中，在校正静止图像等中的振动时，在摄像时使用角速度传感器等检测摄像机晃动的轨迹，并且在摄像后基于所检测到的晃动轨迹执行预定的图像恢复操作。
已经提出了在恢复无任何模糊的图像的过程中，利用点扩展函数(point spread function PSF)对振动进行校正。当利用该点扩展函数时，可以相对容易地恢复图像。这里，对于利用点扩展函数进行了校正的已恢复图像，将振动轨迹上的像素的亮度值用作一个函数，但是振动轨迹之外的像素的影响也不能忽略。因此，根据点扩展函数计算出的振动轨迹并不是完全对应于模糊图像的振动轨迹，因此很难准确地恢复图像。由于是在摄像之后执行预定的图像恢复操作，所以这种对图像中振动的校正并不适合于直通图像(through image)。
为了解决这个问题，在日本特开平11-134481号公报中，根据模糊图像和从振动轨迹数据中获取的点扩展函数来恢复该模糊图像。因此，在恢复过程中，考虑振动轨迹周围像素的亮度值来产生恢复图像。根据这种图像恢复方法，还考虑了振动轨迹之外的像素的影响，从而获得比以上更加令人满意的恢复图像。
这里，当存在图像失真时，尤其是基于光学系统失真的图像失真时，并且由于振动而改变了摄像机的方向时，在图像中央附近的近轴区域中的图像模糊不同于远离图像中央附近的外围区域中的图像模糊。因此，当简单地通过近轴区域中的计算来计算振动轨迹时，所计算出的振动轨迹不同于摄像单元(CCD)中的振动轨迹，从而无法在整个屏幕上准确地恢复图像。
发明内容
本发明的一个目的是提供一种摄像装置和图像恢复方法，其中消除了由摄像镜头系统带来的图像失真的影响，并且对图像进行了准确地恢复。
根据本发明的第一种模式，提供了一种摄像装置，特征在于包括：
光学系统(2)，其形成物体图像；
摄像单元(1114)，其从光学系统(2)所形成的物体图像中获取图像数据；
振动检测单元(108、109、110)，其检测摄像装置的振动；
振动检测信号存储单元(113)，其存储在摄像单元(1114)的曝光期间从振动检测单元(108、109、110)输出的时间序列振动检测信号；
图像劣化信息存储单元(171)，其中存储了光学系统(2)所产生的图像的劣化信息；
图像劣化校正单元(172)，其根据图像劣化信息存储单元(171)中存储的图像劣化信息，针对从摄像单元(1114)输出的图像数据，对光学系统(2)所产生的图像的劣化进行校正；以及
振动恢复单元(123)，其根据振动检测信号存储单元(113)中存储的时间序列振动检测信号，针对从图像劣化校正单元(172)输出的图像数据，对由于振动而劣化的图像进行恢复。
根据本发明的第二种模式，提供了根据模式1的摄像装置，特征在于还包括：
记录介质(153)，其中记录有从振动恢复单元(123)输出的图像数据；以及
记录单元(152)，其将从振动恢复单元(123)输出的图像数据记录在记录介质(153)中。
根据本发明的第三种模式，提供了一种摄像装置，特征在于包括：
光学系统(2)，其形成物体图像；
摄像单元(1114)，其从光学系统(2)所形成的物体图像中获取图像数据；
振动检测单元(108、109、110)，其检测摄像装置的振动；
振动检测信号存储单元(113)，其存储在摄像装置(1114)的曝光期间从校正检测单元(108、109、110)输出的时间序列振动检测信号；
图像劣化信息存储单元(171)，其中存储有光学系统(2)所产生的图像的劣化信息；
图像劣化校正单元(172)，其根据图像劣化信息存储单元(171)中存储的图像劣化信息，针对从摄像单元(1114)输出的图像数据，对光学系统(2)所产生的图像劣化进行校正；
振动恢复单元(123)，其根据振动检测信号存储单元(113)中存储的时间序列振动检测信号，针对从图像劣化校正单元(172)输出的图像数据，对由振动而劣化的图像进行恢复；
压缩单元(151)，其压缩从振动恢复单元(123)输出的图像数据；以及
记录单元(152)，其将从压缩单元(151)输出的图像数据记录到记录介质(153)中。
根据本发明的第四种模式，提供了根据模式1的摄像装置，特征在于图像劣化信息包括与光学系统的像差相关的信息。
根据本发明的第五种模式，提供了根据模式4的摄像装置，特征在于光学系统的像差是一种失真。
根据本发明的第六种模式，提供了根据模式1的摄像装置，特征在于图像劣化信息包括与阴影相关的信息。
根据本发明的第七种模式，提供了一种摄像装置，特征在于包括：
光学系统(2)，其形成物体图像；
摄像单元(1114)，其从光学系统(2)所形成的物体图像中获取图像数据；
振动检测单元(108、109、110)，其检测摄像装置的振动；
振动检测信号存储单元(113)，其存储在摄像单元(1114)的曝光期间从所述振动检测单元(108、109、110)输出的时间序列振动检测信号；
失真信息存储单元(118)，其中存储有与光学系统(2)所产生的失真相关的信息；
失真校正单元(172)，其根据在失真信息存储单元(118)中存储的与失真相关的信息，针对从摄像单元(1114)输出的图像数据，对由光学系统(2)所产生的失真进行校正；
振动恢复单元(123)，其根据振动检测信号存储单元(113)中存储的时间序列振动检测信号，针对从失真校正单元(172)输出的图像数据，对由振动而劣化的图像进行恢复；
失真逆校正单元(123)，其针对从振动恢复单元(123)输出的图像数据，在桶形失真方向上以预定量对所述失真进行逆校正；以及
记录单元(152)，其将从失真逆校正单元(123)输出的图像数据记录在记录介质(153)中。
根据本发明的第八种模式，提供了一种根据模式7的摄像装置，特征在于失真逆校正单元(123)以相对于失真校正的小比率对所述失真进行逆校正。
根据本发明的第九种模式，提供了一种图像恢复方法，特征在于包括：
通过拍摄来获得图像数据；
检测拍摄时的振动；
基于光学系统的图像劣化信息来校正拍摄到的图像数据；以及
基于该振动对校正后的由于振动而劣化的图像数据进行恢复。
在下面的说明书中将阐述本发明的优点，部分根据说明书而显而易见，或者可以通过本发明的实践而习得。可以借助于下文中特别指出的手段及其组合来实现并获取本发明的优点。
附图说明
在此结合并构成说明书一部分的附图示出了本发明的实施例，并与上面给出的一般性描述和下面给出的实施例的详细描述一起用于解释本发明的原理。
图1A是本发明第一和第二实施例中的数字摄像机的前表面透视图；
图1B是本发明第一和第二实施例中的数字摄像机的后表面透视图；
图2是镜头单元的示意图；
图3的图示出了第一和第二实施例中的数字摄像机的控制电路的结构；
图4A的图示出了在静止图像中进行电子振动校正的原理，并示出了振动旋转角θx在X轴方向上的变化；
图4B的图示出了在静止图像中进行电子振动校正的原理，并示出了振动旋转角θy在Y轴方向上的变化；
图4C的图示出了在静止图像中进行电子振动校正的原理，并示出了摄像装置上的振动轨迹；
图4D的图示出了在静止图像中进行电子振动校正的原理，并示出了原始图像和所拍摄图像之间的关系；
图5A的图示出了在运动图像中进行电子振动校正的原理，并示出了3个变化的图框(frame)；
图5B的图示出了在运动图像中进行电子振动校正的原理，并示出了表示简单地连续显示3个图框的图像；
图5C的图示出了在运动图像中进行电子振动校正的原理，并示出了表示连续显示已校正图像的图像；
图6A的图示出了运动图像模式中的运动图像和直通图像中、以及静止图像模式中的直通图像和静止图像中的电子振动校正量；
图6B的图示出了对运动图像模式中的运动图像和直通图像中、以及静止图像模式中的直通图像和静止图像中的图像剪切范围进行表示的CCD图像；
图7是示出了第一和第二实施例中的图像恢复操作的主要处理的流程图的前半部分；
图8是示出了第一和第二实施例中的图像恢复操作的主要处理的流程图的后半部分；
图9的图示出了本发明第三实施例中的数字摄像机的控制电路的结构；
图10是示出了第三实施例中的顺序控制电路的处理的流程图；
图11A是在失真为0的情况下的第三实施例中的图像失真的示意图；
图11B是第三实施例中的图像失真的示意图，示出了桶形失真；
图11C是第三实施例中的图像失真的示意图，示出了枕形失真；
图11D是第三实施例中的图像失真的示意图，示出了图像高度和失真校正之间的关系；
图11E是第三实施例中的图像失真的示意图，示出了图像高度；
图12是示出了在恢复图像失真时的顺序控制电路的处理的流程图；
图13的图示出了本发明第四实施例中的数字摄像机控制电路的结构；
图14的图示出了本发明第四实施例中的第一变型例的数字摄像机控制电路的结构；以及
图15的图示出了本发明第四实施例中的第二变型例的数字摄像机控制电路的结构。
具体实施方式
下文中将参考附图详细描述本发明的实施例。
[第一实施例]
图1A是作为根据本发明第一实施例的摄像装置的一个示例的数字摄像机的前表面透视图，而图1B是作为根据本发明第一实施例的摄像装置的一个示例的数字摄像机的后表面透视图。
从图1A可见，镜头单元2与摄像机体1的前表面相连。从图1B中可以看出，取景器6与摄像机体1的后表面组装为一体。镜头单元2包括用于摄像的多个镜头，以及驱动部。下面将参考图2详细地描述镜头单元2。
当按下(接通)释放开关(release switch)3时，启动摄像操作。变焦开关4包括T按钮4-1和W按钮4-2。当按压T按钮时，拍摄镜头的放大率改变到望远镜侧(telescope side)。当按压W按钮时，镜头的放大率改变到广角镜侧(wide side)。当按下振动模式开关5时，摄像机的模式被设置为振动模式。在这种情况下，模式灯5-1点亮。因此，摄影师看到摄像机进入振动模式。
取景器6例如是一种电子取景器，其中通过小型放大镜对小尺寸的LCD进行放大。通过取景器6，可以显示所谓的直通图像，其实时显示了摄像装置(CCD)的图像。模式键(滑行键)7是用于转换到静止图像或运动图像的转换开关。当将模式键7设置到S侧(STILL)时，设置了静止图像模式。当将模式键7设置到M侧(MOVIE)时，设置了运动图像模式。
闪光灯8在用于照亮物体的亮度低时发出光。模式操作键9由设置在确定按钮周围的四个按钮构成。通过该模式操作键9打开宏摄像(macrophotography)、自定时器、闪光灯等。在背面LCD面板10中，再现所拍摄的图像，并可以显示直通图像。背面LCD面板10与取景器6一起用作监视器。当按下电源开关11时，可以在摄像机中进行曝光、摄像等。
图2是作为光学系统的镜头单元2的示意图。镜头单元2例如具有3个透镜12、13、14。在这3个透镜中，透镜12、13是放大率改变透镜(变焦透镜)，改变其相互位置关系从而来改变各个透镜的焦距。在变焦过程中，变焦电机104的驱动力经由齿轮18a、18b传送到用于变焦的透镜驱动凸轮机构17。此外，通过用于变焦的透镜驱动凸轮机构17，沿光轴移动透镜12、13。
透镜14是聚焦透镜，其沿着光轴前/后移动以调整聚焦。在聚焦调整过程中，聚焦电机105的驱动力经由齿轮20a、20b传送到用于聚焦的透镜驱动凸轮机构19。此外，通过用于聚焦的透镜驱动凸轮机构19移动透镜14。例如，将由CCD构成的摄像器件(摄像单元)1114放置在透镜14的后面。穿过透镜12、13、14的光束形成摄像器件1114上的图像，并且通过摄像装置的各个像素进行光电转换。如此来拍摄图像。由光圈15和快门16控制到摄像器件1114上的光量(曝光量)。可以使用摄像器件1114的设备快门(电子快门)来代替机械快门16。
图3是数字摄像机控制电路的框图。电池101包括诸如锂离子充电电池的可充电电池。电源电路102通过升压和降压电路，从电池101的电压中产生具有各个处理电路所需电压的电源，来为各个处理电路供电。电机驱动器电路103包括含有开关晶体管的电路。电机驱动器电路103根据顺序控制电路119的指令驱动并控制变焦电机104、聚焦电机105、快门电机106和光圈电机107。角速度传感器108、109检测绕着以直角相互交叉的X轴和Y轴的角速度。如图1A所示，角速度传感器108、109沿着为元件径向的轴布置，并且设置在以直角相互交叉的所述轴的方向上，以检测沿着这些轴的角速度。
模拟处理电路110去除角速度传感器108、109的输出的偏移量，同时放大角速度传感器108、109的输出。这里，模拟处理电路110与角速度传感器108、109一起构成了振动检测单元。通过A/D转换电路111将模拟处理电路110的输出转换为数字信号，并输入到基本轨迹运算电路112中。该基本轨迹运算电路112将A/D转换电路111的输出对于时间求积分，从而计算对于各时间的位移角。此外，该电路输出根据时间的位移角，即以时间序列输出该角，并且计算由摄像器件1114的摄像平面上的光轴附近的图像振动而产生的在垂直方向或水平方向上的振动轨迹。这里，振动传感器并不限于角速度传感器108、109。只要操作处理被改变，即可使用角加速度传感器或一对加速度传感器来代替角速度传感器108、109。轨迹存储电路113是存储有由基本轨迹运算电路112检测出的振动轨迹的存储器，并且用作振动检测信号存储单元。
摄像器件1114包括位于参考图2所述的镜头单元2后面的CCD。应当注意，根据来自顺序控制电路119的控制信号经由CCD驱动器(未示出)来驱动并控制摄像器件1114。CCD输出处理单元115处理来自摄像器件(CCD)1114的输出。图像存储器116暂时保存从摄像器件1114输出的数据以及在CCD输出处理电路115中处理的图像数据。图像处理电路117对图像存储器116中存储的数据进行诸如RGB处理和阴影校正处理的基本处理。应当注意，图像处理电路117不进行妨碍模糊图像的恢复操作的γ变换或图像压缩。通过下述的图像压缩扩展电路151执行这些处理。将由图像处理电路117处理的数据发送到图像恢复操作电路123和图像移动电路132。
图像恢复函数计算电路122计算用于恢复由振动引起的图像劣化的图像恢复函数f-1。这里，图像恢复函数f-1是由振动产生的图像劣化函数的反函数。通过根据基本轨迹运算电路112的输出对相对于原始图像的变化进行预测来计算图像恢复函数f-1。应当注意，在屏幕中央，根据从基本轨迹运算电路112的输出来直接计算该图像恢复函数f-1。然而，对于屏幕中央之外的区域，数字摄像机的透镜12、13和14产生取决于变焦和聚焦位置的图像的失真，因此需要对基本轨迹运算电路112的输出进行校正。所以，在第一实施例的数字摄像机中，对于各个屏幕区域，将用于校正与变焦和聚焦位置对应的图像的失真的轨迹校正数据存储在校正值存储器118(失真信息存储单元)中。
例如，当由于失真影响而使屏幕的外围图像相对于屏幕中央的图像被压缩时，相应地压缩轨迹变化。因此，对于各个屏幕区域，轨迹校正电路121首先基于校正值存储器118的值，来校正从基本估计运算电路112输出的轨迹数据。此外，将经校正的轨迹数据输出到图像恢复函数计算电路122。即，将校正值存储器118中存储的轨迹校正数据输入到轨迹校正电路121，同时图像恢复函数计算电路122基于轨迹校正电路121的输出，针对各个屏幕区域计算图像恢复函数f-1。
将没有进行γ变换或图像压缩的数据从图像处理电路117发送到图像恢复操作电路123。图像恢复操作电路123使用在图像恢复函数计算电路122中为各个屏幕区域计算出的图像恢复函数f-1来转换图像。至于已经在图像存储操作电路123中消除了图像失真的影响以恢复由振动引起的图像劣化的图像，通过图像压缩扩展电路151压缩该图像的数据，随后将其经由记录单元152写入到诸如内置闪存的图像记录介质153中。除了内置闪存之外，诸如充电型存储卡的外部存储器也可以用作图像记录介质153。应当注意，轨迹校正电路121、图像恢复函数计算电路122以及图像恢复操作电路123形成用于静止图像的电子振动校正电路120，该电路120对于屏幕的各区域，通过电子方式校正透镜12、13、14的图像失真。此外，轨迹校正电路121用作振动检测信号校正单元，图像恢复函数计算电路122用作图像恢复函数计算单元，图像恢复操作电路123用作振动恢复单元，图像压缩扩展电路151用作压缩单元。
顺序控制电路119包括诸如微型计算机的CPU。该顺序控制电路119检测释放开关3、变焦开关4(T、W)、电源开关11、振动模式开关5、模式键7等的接通/断开状态，并且基于检测结果控制各个构成元件的移动，以控制整个数字摄像机。具体地，顺序控制电路119用作顺序控制器、持续操作摄像装置的持续操作单元、对监视器(取景器6、背面LCD面板10)的显示进行控制的显示控制单元、以及第一和第二振动校正单元(图像恢复操作电路123、图像移动电路132)的控制器。
图框间位移量计算电路131计算在获得直通图像的一个周期中的图框之间的位移量。图框间位移量计算电路131从基本轨迹运算电路112接收对于各图框周期的振动轨迹，并且计算相应图像的位移量。图像移动电路132经由图像存储器116从摄像器件(CCD)1114接收一输出。此外，基于图框间位移量计算电路131的输出将图像移动一振动量，以校正运动图像(或直通图像)中的振动。图框间位移量计算电路131和图像移动电路132形成用于运动图像的电子振动校正电路130。此外，假定用于静止图像的图像恢复操作电路123是第一振动校正单元，则用于运动图像的图像移动电路132可以是第二振动校正单元。
对于已在运动图像的电子振动校正电路130中对振动进行了校正的运动图像，通过图像压缩扩展电路(压缩单元)151压缩该数据，并且将其经由记录单元152记录到图像记录介质153中。已经进行了振动校正的图像(不管是静止图像还是运动图像)被发送，并作为监视器图像显示在布置于摄像机体背面的背面LCD面板10或取景器6中。因此，图像压缩扩展电路151还具有用于在背面LCD面板10或取景器6中显示经由记录单元152从图像记录介质153中读取的图像数据的扩展功能。应当注意，当经由记录单元152将图像恢复操作电路123的输出记录到如内置闪存或外部存储器(如充电型存储卡)等的图像记录介质153中时，可以记录整个屏幕中的清晰图像。
接下来将描述静止图像中的电子振动校正。图4A到4D是示出了静止图像中的电子振动校正的原理的图。更具体地，图4A是示出了振动旋转角θx在X轴方向上的变化的图，图4B是示出了振动旋转角θy在Y轴方向上的变化的图形，图4C是示出了摄像器件(CCD)1114上的振动轨迹的图，图4D是示出了原始图像与所拍摄图像之间的关系的图。
如参考图3所描述的，对于通过角速度传感器108、109检测出的X轴和Y轴的振动而言，按照时间，即按照图4A和4B中所示的时间序列，将位移角数据θx、θy的数据输出到基本轨迹运算电路112。接下来，如图4C所示，由于在输出位移角θx、θy的数据时透镜的焦距是从变焦位置看到的，所以通过近轴计算计算出摄像器件(CCD)1114上振动的位移轨迹。此外，根据摄像器件1114上的振动轨迹计算由振动带来的图像劣化函数f。这里，可以从图像劣化函数f中看到，所拍摄的图像(原始图像)i被劣化为模糊图像j。因此，可以获得图像恢复函数f的反函数f-1。通过使用图像恢复函数f-1进行反转(inversion)来恢复所拍摄的图像i。
如上所述，对于静止图像，根据摄像器件1114上的振动轨迹(其基于由拍摄时的振动带来的时间序列振动)计算图像劣化函数f，并且通过图像恢复函数f的反函数f-1进行反转来恢复模糊图像。在这种情况下，在轨迹校正电路121中对振动轨迹进行了校正，并且消除了光学系统失真的影响。此外，在光学系统中存在失真时，对于从屏幕中央到外围的各个屏幕区域，输出精确的由振动产生的图像轨迹。因此，可以基于整个屏幕上进行由振动而劣化的图像的准确恢复，并且可以在整个屏幕上获得清晰的图像。
图5A到5C的图示出了运动图像中的电子振动校正的原理。更具体地，图5A的图示出了3个变化图框，图5B的图示出了表示简单地连续显示3个图框的图像，而图5C的图示出了表示连续显示已校正图像的图像。即，图5B的图像对应于没有对振动进行校正的图像，而图5C的图像对应于已经进行了振动校正的图像。
至于运动图像，由于将图框之间的移动识别为振动，所以通过图像移动来校正振动。例如，当考虑图5A中所示的3个图像1、2、3时，假定在图像1和2之间的图像平面上向量移动沿着朝向由(u→)所示的左下侧的方向，并且假定在图像2和3之间的图形平面上向量移动沿着朝向由(v→)所示的右下侧的方向上。在这种情况下，当如图5B所示简单地连续显示图像1、2、3时，图像看起来是模糊的。另一方面，当将运动图像移动u→和v→的逆向量，(即，图像1+图像2*(-u→)+图像3*(-u→)*(-v→))，并且连续显示时，可以看到如图5C所示的没有任何振动的清楚的图像。这里“*”表示表明图像移动的一运算符。
图6A的图是示出了在运动图像模式中的运动图像和直通图像、以及在静止图像模式中的直通图像和静止图像中的电子振动校正量(最大位移量)，而图6B的图是示出了在运动图像模式中的运动图像和直通图像、以及在静止图像模式中的直通图像和静止图像中的图像剪切范围。
假定在非振动模式的情况下CCD图像的摄像范围是100％。在这种情况下，在静止图像的振动模式中，图像具有按照图像恢复函数的一个预定扩展(spread)。如果在摄像范围之外不存在任何图像数据，则无法校正外围图像。因此，将摄像范围假定为在对角线长度比率(diagonallength ratio)方面的95％的范围。此外，对在摄像范围内所拍摄的图像进行电子振动校正，并且进行记录。这里，与运动图像被连续移动的情形相比，静止图像在曝光时间内的振动量较小，而与运动图像相比，外围边缘可能也较小。
与静止图像相比，运动图像振动模式中的有效摄像范围的尺寸较小，并且假定例如在对角线长度比方面的范围是70％。这是因为运动图像被移动，因此需要更多的时间，并且与静止图像相比，位移量较大。
接下来将描述通过直通图像显示的图像的摄像范围。在静止图像和运动图像二者都未进入振动校正模式的情况下，要拍摄和记录的范围对应于在CCD中的对角线比方面的100％。在这种情况下，相对于直通图像，在CCD中的对角线比方面的100％范围内的图像也被显示。
另一方面，在拍摄运动图像的过程中，将等于拍摄和记录范围的一个范围显示为振动校正模式中的直通图像。该范围对应于在对角线比方面的70％的尺寸，并且该图像在CCD的有效像素范围(在对角线比方面的100％的范围)内连续移动以对振动进行校正。另一方面，在拍摄静止图像的过程中，CCD中的拍摄和记录范围不同于在振动校正模式中的CCD中的由直通图像表示的范围。这是因为在拍摄并记录图像时的振动校正系统不同于在显示直通图像时的振动校正系统。然而，在不同的振动校正系统中，所拍摄和记录的范围需要与直通图像所表示的范围基本一致。因此，在拍摄静止图像的过程中，例如所拍摄和记录的范围是在CCD中的对角线比方面的95％，而直通图像的范围的尺寸是在振动校正模式中的CCD中的对角线比方面的90％。直通图像的范围在CCD中的对角线比方面的95％范围内连续移动，以对振动进行校正。在这种情况下，静止图像的直通图像的振动校正量(位移量)的范围是5％。由于与运动图像的直通图像相比，最大位移量较小，所以不能处理大的振动，但是基本上等于静止图像的摄像记录范围的该范围可以显示在取景器6或背面LCD面板10中。
图7和图8示出了图像恢复操作的主要流程图。首先，在摄影师按压电源开关11时(S101)，处于按压状态下的镜头被架起(S102)。此外，通过校正模式开关5的状态判断是否设置了振动校正模式(S103)。这里，每次按下振动模式开关5时，都会反复接通或断开该开关。当开关接通时，模式灯5-1点亮，同时振动校正标志被设置为1(S104)。当开关关闭时，模式灯5-1熄灭，同时振动校正标志被设置为0(S105)。
接下来，判断该模式是静止图像模式还是运动图像模式(S106)，在模式键7位于M侧的运动图像模式中，该处理进行到图8的S120中。另一方面，在模式键7位于S侧的静止图像模式中，判断振动校正标志是否为1(S107)。当振动校正标志为1时，利用90％的屏幕范围来显示已进行振动校正的直通图像(S108)。当振动校正标志为0时，显示直通图像，但是没有对振动进行校正，并且显示了仍然模糊的直通图像(S109)。这里，选择取景器6和背面LCD面板10两者中任一个作为要由摄影师(用户)显示的LCD，并且在所选的LCD中显示直通图像。可以将图像显示在取景器6和背面LCD面板10二者中，摄影师可以察看任意一个显示。
随后，确认释放开关3已接通(S110)。当该开关接通(按下释放开关3)时，对静止图像进行拍摄(S111)。另一方面，当释放开关3没有被按下时，判断是否操作了其它开关(S112)。当任何一个开关被接通时，执行对应于该开关的处理。当任何一个开关被断开时，处理返回到S103。
在对静止图像进行拍摄之后，图像处理电路117对最终图像进行处理(S113)。此后，判断振动校正标志是否为1(S114)。当在步骤S114中振动校正标志为1时，对于屏幕的各个区域，在图像恢复函数计算电路122中计算已消除了图像失真影响的图像恢复函数。此外，在图像恢复操作电路123中利用95％的屏幕范围对振动进行校正(S115)。另一方面，当在S114中振动校正标志为0时，不进行任何振动的校正。在S116，在图像压缩扩展电路151中进行了诸如γ转换和图像压缩的图像处理之后，在背面LCD面板10等上显示最终拍摄的图像(静止图像)(S117)。将所拍摄的图像经由记录单元152写入到图像记录介质153中(S118)。在完成写入之后，该处理返回到S103。
接下来将参考图8描述用于运动图像的主流程图。当在图7的步骤S106中设置了运动图像模式(模式键7位于M侧)时，判断振动校正标志是否为1(S120)。当振动校正标志为1时，在图像移动电路132中，将所拍摄的图像移动由图框间位移量计算电路131计算出的位移量，并且利用70％的屏幕范围来显示已经校正了振动的直通图像(S121)。另一方面，当振动校正标志为0时，显示直通图像，但是没有对振动进行校正，且在LCD中显示模糊图像(S122)。应当注意，图5B的图像对应于S122的模糊的直通图像，而图5C的图像对应于S121中的被移动和校正的直通图像。
此外，确认接通了释放开关3(S123)。当该开关接通(按下释放开关)时，开始拍摄运动图像(S124)，并且判断振动标志是否为1(S126)。当释放开关3没有被按下时，判断是否操作了其它开关(S125)。当任何一个开关被接通时，执行对应于该被接通开关的处理。当任何一个开关被关闭时，处理返回到S103。
当在步骤S126中振动校正标志为1时，利用70％的屏幕范围来移动图像，并且在LCD中实时显示已进行了振动校正的拍摄图像(S127)。另一方面，当振动校正标志为0时，不进行任何振动的校正，同时在LCD中实时显示仍然模糊的拍摄图像(S128)。以类似于在S121、S122中的显示直通图像的方式，类似于图5B中图像，显示S128中模糊的拍摄图像，并且类似于图5C图像，显示在S127中被移动并校正的拍摄图像。此外，连续拍摄图像直到再次按下释放开关3为止。当再次按下释放开关时(S129)，停止摄像(S130)，将运动图像写入到图像记录介质153中(S131)，并且该处理返回到S103。
通过该构造，在拍摄静止图像或运动图像时，均可以通过取景器6和背面LCD面板10确认正在对振动进行校正，而且直通图像的范围基本上与能够实际拍摄的范围一致。因此，可以容易并快速地设置取景(framing)。由于对于各个屏幕范围校正图像失真的轨迹，所以消除了镜头带来的图像失真的影响，对于各个屏幕范围获取该轨迹的准确变化量，并且可以在整个屏幕上进行令人满意的振动校正。
接下来将描述第一实施例的第一变形例。在第一实施例中，在轨迹校正电路121中，对于各个图像区域，基于校正值存储器118的值对从基本轨迹运算电路112输出的轨迹数据进行校正，并且将经过校正的轨迹数据输出到图像恢复函数计算电路122。接下来，在图像恢复函数计算电路122中，对于各个屏幕区域，基于来自轨迹校正电路121的输出计算图像恢复函数f-1，并且基于图像恢复操作电路123中的图像恢复函数f-1执行用于恢复图像的操作。另一方面，在变型例中可以执行下面的操作。
首先，省略轨迹校正电路121，修改校正值存储器118的输出线路以使其连接到图像恢复函数计算电路122。此外，在图像恢复函数计算电路122中直接处理从基本轨迹运算电路112输出的轨迹数据，并且仅计算并获得了一种类型的图像恢复函数f-1。接下来，基于校正值存储器118的值，对于各个图像区域校正图像恢复函数f-1，以获得随着各个图像区域不同的图像恢复函数f-1。接下来，在图像恢复操作电路123中，根据随着各个图像区域而不同的图像恢复函数f-1对图像进行恢复。在该变型例中，图像恢复函数计算电路122用作图像恢复函数计算单元，并且还用作图像恢复函数校正单元。
根据该变型例的结构，当产生了该振动时，由于对图像进行了压缩或放大，或者图像的方向发生了变化，所以图像的移动轨迹由于失真的影响而随着各个屏幕中央和屏幕中央以外的区域而变化。结果，当图像劣化函数f随着各个区域而不同时，可以随着各个区域对图像劣化函数f进行校正，以获得最优的图像恢复函数f-1。因此，可以在整个屏幕上对因振动而劣化的图像进行准确的恢复，并且在整个屏幕上获得清晰图像。
[第二实施例]
即使在具有振动校正单元的摄像机中(其中，在拍摄了静止图像之后根据图像数据进行恢复操作)，也无法将用于执行上述类型的图像恢复操作的振动校正单元应用于直通图像显示，以在静止图像拍摄的准备阶段中观察物体。即使当采用该单元时，也无法获得目标效果。为了解决这个问题，在第二实施例中，执行随着静止图像拍摄时间和直通图像显示时间而不同的振动校正，如图7、8所示。即，在显示直通图像时执行用于运动图像(直通图像)的振动校正，而在拍摄静止图像时执行用于静止图像的不同类型的振动校正。此外，静止图像模式中的直通图像与运动图像模式中的直通图像的不同在于电子振动防止操作中的图像的剪切范围、最大校正量等。即以如下的方式来设置振动校正模式：对于各个静止图像和运动图像，优化图像剪切范围、最大校正量等。因此，在振动校正时执行运动图像的校正处理。当拍摄静止图像时，基于振动轨迹来执行振动恢复校正，随后显示已恢复的图像。
在第二实施例中，当设置了振动防止模式时，对于直通图像，通过另一类型的对于直通图像有效的振动校正来显示具有较小振动的直通图像。因此，可以通知摄影师振动模式被运行。因此，在摄像时，摄像师可以在观察物体的同时确认设置了振动模式。由于减小了观察时的振动，所以可以容易地观察物体。此外，当没有设置针对静止图像的振动校正模式时，停止针对直通图像的振动校正。当振动大时，可以有效地警告摄影师在观察物体时注意振动，并且设置振动校正模式。
应当注意，图1到图8被第一和第二实施例共同参考。因此，在第二实施例中，忽略了对图1到图8的描述。
[第三实施例]
下面将参考图9到图12来描述第三实施例。在该实施例中，就所拍摄的图像而言，在执行了镜头失真校正之后，执行针对静止图像的电子振动校正和针对运动图像的电子振动校正。这里，图9是数字摄像机控制电路的框图。如图9所示，第三实施例与图3的实施例的不同之处在于省略了校正值存储器118和轨迹校正电路121，同时添加了失真校正值存储器171(失真信息存储单元，图像劣化信息存储单元)和图像失真校正电路172作为构成元件。应当注意，在第三实施例中，除了图3之外，图1到图8均被第一和第二实施例共同参考。另外，第三实施例与第一实施例的不同之处在于：在图7中所示的图像处理步骤S113中，由图像失真校正电路172根据镜头失真来另外校正所拍摄的图像。
在图9的数字摄像机的控制电路的框图中，在失真校正值存储器171中存储有对应于镜头失真的失真校正值。在图像失真校正电路172中，基于存储在失真校正值存储器171中的失真校正值，校正所拍摄图像中由镜头引起的失真。随后，执行静止图像电子振动校正和运动图像电子振动校正。将失真校正值存储器171简单地用作镜头属性校正值存储器，在该校正值存储器中还存储了失真校正值之外的校正数据，如由于拍摄镜头属性而产生的像差的校正数据。此外，图像失真校正电路172可以作为镜头属性校正电路进行操作，还可以对由于拍摄镜头属性而产生的像差等进行校正。根据该结构，在以下两种情况下在执行振动恢复操作之前，都可以校正由于光学系统的失真、像差等原因引起的图像劣化，这两种情况是：存在拍摄镜头失真的影响的情况，以及存在由光学系统的像差等引起的图像劣化的情况。因此，在消除了图像劣化的影响之后，可以执行振动恢复操作。从而，可以通过在整个屏幕上的简单操作对由振动而劣化的图像进行准确的恢复，并且可以在整个屏幕上获得清晰图像。
图10示出了第三实施例中的顺序控制电路119的处理流程图。首先，当按下释放开关3时，开始摄像(S201)。此外，基于变焦位置和物体距离从失真校正值存储器171中读取对应于失真的一失真校正值(S202)，并且通过图像失真校正电路172对由镜头引起的图像失真进行校正(S203)。接下来，在图像恢复函数计算电路122中，根据对于各个区域的时间序列振动轨迹来计算图像恢复函数(S204)，所述振动轨迹是从角速度传感器108、109检测的振动中获得的。在图像恢复操作电路123中，根据图像恢复函数对振动进行校正(S205)。接下来，在图像压缩扩展电路151中压缩图像(S206)，并且经由记录单元152将被压缩的图像记录在图像记录介质153中(S207)。
图11A到11E是在拍摄建筑物情况下的图像失真的示意图。更具体地，图11A的图示出了在失真为0的情况下的图像，图11B的图示出了在桶形失真情况下的图像，图11C的图示出了在枕形失真情况下的图像，图11D的图示出了图像高度和失真校正之间的关系，而图11E是图像高度的说明图。如图11E中所示，在屏幕中央的图像高度为0，而在屏幕外围(最外围圆周)的图像高度变为1，相同的图像高度以同心矩形(concentric rectangle)示出。
即使在以相同的材料在相同的条件下形成镜头时，都不可避免地会产生镜头属性波动。为了正确地恢复图像，需要考虑镜头属性的差异。即使通过电子校正使具有如图11B所示的桶形失真图像或具有图11C所示的枕形失真图像接近于图11A所示的失真为0的图像时，由于镜头属性的波动，失真有时也偏移0。首先，由于鱼眼镜头拍摄的图像类似于人眼(获取的图像)，所以观察者对于类似于桶的失真图像不太会感觉到不调和性。另一方面，观察者对于类似于枕形的失真图像感觉到不调和性，并且图像显著地异常。尽管失真被校正到0，但由于镜头属性波动的影响，失真会偏移0。在这种情况下，优选地，经恢复的图像变为类似于桶形的失真图像，而不是类似于枕形的失真图像。
因此，如图11D所示，将由镜头引起的图像失真L1(桶形失真)校正为表示零失真的目标级L0(失真校正1)，接下来进行图像恢复操作以对振动进行校正。接下来，进行电子校正，将图像逆向校正到级别L2，并且将该失真返回到桶形方向上(失真校正2)。下面，将简单地描述一些词的定义。失真校正表示：在由失真影响的图像数据中消除或减少失真的影响。失真逆校正表示：有意使没有任何失真的图像数据失真，或者在具有失真的图像数据上进一步增加失真的影响的处理。这里，与失真校正1相比较，在作为失真校正1的逆校正的失真校正2中，失真量减少了。假定由加号(+)表示校正到枕形失真，由减号(-)表示校正到桶形失真，例如，在失真校正1中，图像高度d＝1的外围中的最大失真量为+12％，而在失真校正2中为-4％。并且就枕形失真而言，类似地，将由镜头引起的图像失真(枕形失真)L3校正为表示零失真的目标级L0(失真校正1)，接下来进行图像恢复操作以对振动进行校正。接下来，执行电子校正，并将图像逆向校正到级别L2，以获取桶形图像。
如上所述，在进行了目标为零失真的失真校正(失真校正1)之后，执行校正到到桶形的逆校正(失真校正2)。因此，即使由于失真校正的波动(由于镜头属性的不同)在失真校正1中产生了枕形图像，也可以通过失真校正2将枕形图像强制校正为桶形图像。从而防止产生枕形失真图像，并且对图像进行了恢复而不会感觉到任何不调和性。即使在由于所谓草帽型失真(其是枕形失真和桶形失真二者的混合)而导致失真随各个区域而不同的情况下，也可以通过校正到零的失真校正(失真校正1)和校正到桶形的逆校正(失真校正2)二者，获得感觉不到任何不调和性的图像。这里，在图像恢复操作电路123中进行失真逆校正(失真校正2)，从而可以将图像恢复操作电路123称为振动恢复单元和失真逆校正单元。应当注意，在图像恢复操作电路123中还进行枕形失真的失真校正2。
图12示出了顺序控制电路119在图11的图像恢复中的处理流程图。图12与图10的流程图的不同之处在于增加了失真校正2。即，当按下释放开关3以启动摄像时(S301)，基于变焦位置和物体距离从失真校正值存储器171中读取对应于失真的一个失真校正值(S302)。接下来，在图像恢复函数计算电路122中，根据从角速度传感器108、109检测到的振动中获得的时间序列振动检测信号(振动轨迹)计算图像恢复函数(S304)。在图像恢复函数计算电路122中将由镜头产生的镜头图像失真(桶形失真L1或枕形失真L3)校正到零失真的目标级L0(失真校正1)(S303)。随后，在图像恢复操作电路123中进行恢复操作(S305)，并且在产生桶形失真的方向上对图像进行逆校正以获得级别L2(S306)。此后，在图像压缩扩展电路151中压缩图像(S307)，并且经由记录单元152将经压缩的图像记录在图像记录介质153中(S308)。
[第四实施例]
下面将参考图13到图15描述另一个实施例(第四实施例)。在该实施例中，考虑了由运动图像中的图框间振动引起的图像劣化。在第四实施例中，除了图3以外，图1到图8也适用于第四实施例。这里，图13和14是数字摄像机的控制电路的框图，与图3的不同之处在于：省略了作为构成元件的校正值存储器118和轨迹校正电路121。图15与图3的不同之处在于：除了省略了校正值存储器118和轨迹校正电路121之外，还省略了图框间位移量计算电路131，同时增加了图像位移量计算电路173。
图13的对象包括运动图像和直通图像。在校正了图框间的振动之后，对图框中的振动进行校正。即，在图像移动电路132中，根据角速度传感器108、109检测到的振动，对于各个图框校正振动。此外，在图像恢复操作电路123中基于针对各图框的振动轨迹对图像进行了处理之后，在取景器6或背面LCD面板10中显示图像，或者以类似于静止图像的方式将图像记录在图像记录介质153中。在这种结构中，对图框中的振动进行了校正，并且获得了清楚的直通图像和运动图像。在运动图像的拍摄过程中，除了校正图框间的振动之外，还对图框中的振动进行校正。因此，与仅校正图框间的振动的情况相比，获得了高质量的图像。首先进行图框间校正。随后，在确定了实际上将要显示为图像的区域之后，进行图框内校正。因此，与对在显示中并不使用的无用部分进行校正的情况相比，减少了处理量。
此外，顺序控制电路119响应于振动检测信号获取在图框间产生的图像位移量，并且根据图框间产生的图像位移量来操作图像移动电路132。此外，图框间校正和图框内校正都基于角速度传感器108、109的输出。因此，即使在屏幕中存在运动物体时，也不影响图框的移动，而且不会出现差错，所以可以可靠地防止未移动物体的图像因振动而劣化。
图14的对象也包括运动图像和直通图像。与图13相反，在图14中，在对图框中的振动进行了校正之后，对图框间的振动进行校正。即，以与静止图像一样的方式，在图像恢复操作电路123中基于针对各图框的振动轨迹对图像进行恢复之后，在图像移动电路132中根据由角速度传感器108、109检测的振动，针对各个图框对振动进行校正，并且将图像显示在取景器6或背面LCD面板10中，或者记录在图像记录介质153中。在这种结构中，对图框中的振动进行检测，并且获得清晰的直通图像和运动图像。
同样在第四实施例中，在校正了图框间和图框内的振动之后，在图像压缩扩展电路151中压缩所得到的图像，并且利用记录单元152将图像记录到图像记录介质153中。此后，在进行了振动恢复操作之后，可以压缩并记录图像，并且在压缩之前执行图像恢复操作而不会有任何劣化。从而，可以进行校正振动恢复操作。此外，由于在校正了图框间和图框内的振动之后对图像进行压缩和记录，所以可以在图像记录介质153中记录更高质量的图像，该图像记录介质153具有较少的容量并且很小，而且价格低廉。
图15与图14相同，除了以图像位移量计算电路173来代替图框间位移量计算电路131之外。即，在图15中，在图像位移量计算电路173中，根据图框之间的图像变化通过例如图像的相关操作等来计算图框之间的图像位移量，并移动图像。在这种结构中，当由于图框间的振动而引起图像不清楚时，图框间位移量的计算就变得不准确。因此，在位移量计算之前在图框中进行振动恢复操作是有效的。
此外，在运动图像的拍摄过程中，在校正了图框内的振动后，基于振动校正数据从图像数据中获取图框之间的图像位移量。从而可以计算出图框间的校正位移量，而且与使用图框间的振动未被校正的图像来获取图框间的图像位移的情况相比，可以更正确地进行振动校正。
这里，顺序控制电路119从图像数据中获取图框间产生的图像位移量，并且根据图框间所产生的图像位移量来操作图像移动电路132。因此，对于图像移动而言，通常，角速度传感器108、109在图框间的输出比在图框内的输出具有更长的时间，融入噪声分量不会使图框的移动变得不正确，从而可以进行正确的移动。
此外，顺序控制电路119优选地以这样一种方式来执行控制，即可选择地操作图像位移量计算电路173和图像移动电路132二者或其中之一。在这种情况下，在由振动引起的图框内的劣化较小的情况下不需要操作不必要的部分，从而可以降低功耗。
如上所述，根据本发明的各个实施例，即使当图像因光学系统的失真等而劣化时，也可以在恢复由振动引起的图像劣化之前，对光学系统所生成的图像劣化进行校正。在各个实施例的技术中，在消除了图像劣化的影响之后，可以进行振动恢复操作。这种技术可广泛地应用于如下领域，即需要消除由失真等引起的图像劣化，以恢复因振动而劣化的图像。
具体地，根据本发明的第一种模式，即使当图像因光学系统的失真等而劣化时，也可以在恢复由振动而劣化的图像之前，对光学系统引起的图像劣化进行校正。因此，在消除了图像劣化的影响之后，可以进行振动恢复操作。所以，可以通过简单地操作，在整个屏幕上对因振动而劣化的图像进行准确恢复，并且可以在整个屏幕上获得清晰的图像。
此外，根据本发明的第二种模式，可以将整个屏幕中的清晰图像记录在记录介质中。
此外，根据本发明的第三种模式，即使当图像因光学系统中的拍摄镜头的像差等而劣化时，也可以在振动恢复操作之前对由光学系统所引起的图像劣化进行校正。因此，在消除了图像劣化的影响之后，可以进行振动恢复操作，并且可以通过简单地操作，在整个屏幕上对因振动而劣化的图像进行准确恢复。此外，在进行了振动恢复操作之后，对图像进行压缩和记录。因此，可以在压缩之前存在大量数据的状态下进行图像恢复操作，并且可以进行准确的振动恢复操作。此后，可以对图像进行压缩和记录，从而可以将更多的图像记录在甚至容量较小，小型且价格低廉的记录介质中。
此外，根据本发明的第四种模式，可以在不考虑镜头像差的情况下进行准确的振动恢复操作，并且可以在整个屏幕上获得清晰的图像。
此外，根据本发明的第五种模式，在图像因光学系统的失真而受到影响并劣化时，并且即使是相同振动，图像移动的轨迹也因压缩、放大、方向改变等而对于各区域是变化的时，在振动恢复操作之前对失真进行校正。因此，在消除了图像劣化的影响之后，可以进行振动恢复操作。结果，不必对于各个图像区域，对振动轨迹信息或用于恢复操作的函数进行校正，并且可以通过简单地操作，在整个屏幕上对因振动而劣化的图像进行准确恢复，而且还可以在整个屏幕上获得清晰的图像。
另外，根据本发明的第六种模式，可以消除对振动恢复操作具有很大影响的阴影的影响，以校正图像劣化，并且可以通过较小的数据容量在整个屏幕中获得清晰的图像。
另外，根据本发明的第七种模式，可以消除对振动恢复操作具有很大影响的失真的影响，以校正图像劣化，并且可以在整个屏幕中获得具有较小数据容量的清晰图像。此外，即使由于生产镜头的波动而在失真校正过程中存在差错并且将失真校正为达到零的情况下，也可能由于波动而产生一定程度的枕形失真，在振动恢复操作之后，在引起桶形失真的方向上对失真进行校正。这可以防止对于人类感觉而言不自然的枕形失真，从而可以得到图像清晰且不会在整个屏幕上产生任何不自然失真的摄像装置。
此外，根据本发明的第八种模式，通过逆校正可以防止过度的桶形失真，并且可以防止产生不自然的图像。
此外，根据本发明的第九种模式，即使在图像因光学系统的失真而劣化时，也可以在恢复因振动而劣化的图像之前，对光学系统生成的图像劣化进行校正。因此，在消除了图像劣化的影响之后，可以进行振动恢复操作。所以，可以通过简单地操作，在整个屏幕上对因振动而劣化的图像进行准确恢复，并且可以在整个屏幕上获得清晰的图像。
本领域的普通技术人员将容易地理解其它优点和变型。因此，更广义方面的本发明并不限于这里示出和描述的具体细节和典型实施例。因此，可以在不脱离由所附权利要求及其等价物限定的本发明一般概念的精神和范围的情况下进行各种变型。

Claims (10)

1.一种摄像装置，特征在于包括：
光学系统(2)，其形成物体图像；
摄像单元(1114)，其从光学系统(2)所形成的物体图像中获取图像数据；
振动检测单元(108、109、110)，其检测摄像装置的振动；
基本轨迹运算电路(112)，其接收由振动检测单元(110)的输出经A/D转换而成的数字信号，从而计算由摄像单元的摄像平面上的光轴附近的图像振动而产生的在垂直方向或水平方向上的振动轨迹；
振动检测信号存储单元(113)，其存储在摄像单元(1114)的曝光期间从振动检测单元(108、109、110)输出的时间序列的振动检测信号；
图像劣化信息存储单元(171)，其中存储有光学系统(2)所产生的图像劣化的信息；
图像劣化校正单元(172)，其根据图像劣化信息存储单元(171)中存储的图像劣化信息，针对从摄像单元(1114)输出的图像数据，对光学系统(2)所产生的图像劣化进行校正；
振动恢复单元(123)，其根据振动检测信号存储单元(113)中存储的时间序列的振动检测信号，针对从图像劣化校正单元(172)输出的静止图像数据，对由振动而劣化的静止图像进行恢复；
显示单元(154，10，6)，其将从摄像单元(1114)输出的图像数据显示为直通图像；以及
振动校正单元(130)，其包括图框间位移量计算电路(131)和图像移动电路(132)，图框间位移量计算电路(131)从基本轨迹运算电路(112)接收对于各图框周期的振动轨迹，并且计算在获得直通图像的一个周期中的图框之间的位移量，图像移动电路(132)基于图框间位移量计算电路(131)的输出将从图像劣化校正单元(172)输出的图像移动一振动量，以校正直通图像中的振动。
2.根据权利要求1所述的摄像装置，特征在于进一步包括：
记录介质(153)，其中记录有从振动恢复单元(123)输出的图像数据；以及
记录单元(152)，其将从振动恢复单元(123)输出的图像数据记录在记录介质(153)中。
3.根据权利要求1所述的摄像装置，特征在于进一步包括：
压缩单元(151)，其压缩从振动恢复单元(123)输出的图像数据；
记录单元(152)，其将从压缩单元(151)输出的图像数据记录在记录介质(153)中。
4.根据权利要求1所述的摄像装置，特征在于：图像劣化信息包括与光学系统的像差相关的信息。
5.根据权利要求2所述的摄像装置，特征在于：图像劣化信息包括与光学系统的像差相关的信息。
6.根据权利要求4所述的摄像装置，特征在于：光学系统的像差是一种失真。
7.根据权利要求5所述的摄像装置，特征在于：光学系统的像差是一种失真。
8.根据权利要求1所述的摄像装置，特征在于：图像劣化信息包括与阴影相关的信息。
9.根据权利要求3所述的摄像装置，特征在于：图像劣化信息包括与阴影相关的信息。
10.一种摄像装置，特征在于包括：
光学系统(2)，其形成物体图像；
摄像单元(1114)，其从光学系统(2)所形成的物体图像中获取图像数据；
振动检测单元(108、109、110)，其检测摄像装置的振动；
基本轨迹运算电路(112)，其接收由振动检测单元(110)的输出经A/D转换而成的数字信号，从而计算由摄像单元的摄像平面上的光轴附近的图像振动而产生的在垂直方向或水平方向上的振动轨迹；
振动检测信号存储单元(113)，其存储在摄像单元(1114)的曝光期间从振动检测单元(108、109、110)输出的时间序列的振动检测信号；
失真信息存储单元(118)，其中存储有与由光学系统(2)产生的失真相关的信息；
失真校正单元(172)，其根据在失真信息存储单元(118)中存储的与失真相关的信息，针对从摄像单元(1114)输出的图像数据，对由光学系统(2)所产生的失真进行校正；
振动恢复单元(123)，其根据振动检测信号存储单元(113)中存储的时间序列的振动检测信号，针对从失真校正单元(172)输出的静止图像数据，对由振动而劣化的静止图像进行恢复；
失真逆校正单元(123)，其针对从振动恢复单元(123)输出的图像数据，在桶形失真方向上以预定量对所述失真进行逆校正；
记录单元(152)，其将从失真逆校正单元(123)输出的图像数据记录在记录介质(153)中；
显示单元(154，10，6)，其将从摄像单元(1114)输出的图像数据显示为直通图像；以及
振动校正单元(130)，其包括图框间位移量计算电路(131)和图像移动电路(132)，图框间位移量计算电路(131)从基本轨迹运算电路(112)接收对于各图框周期的振动轨迹，并且计算在获得直通图像的一个周期中的图框之间的位移量，图像移动电路(132)基于图框间位移量计算电路(131)的输出将从失真校正单元(172)输出的图像移动一振动量，以校正直通图像中的振动。
CN2005100860884A 2004-07-21 2005-07-21 摄像装置和图像恢复方法 Expired - Fee Related CN1725811B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004213579A JP4418317B2 (ja) 2004-07-21 2004-07-21 撮像装置
JP2004213579 2004-07-21
JP2004-213579 2004-07-21

Publications (2)

Publication Number Publication Date
CN1725811A CN1725811A (zh) 2006-01-25
CN1725811B true CN1725811B (zh) 2011-06-15

Family

ID=35656711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005100860884A Expired - Fee Related CN1725811B (zh) 2004-07-21 2005-07-21 摄像装置和图像恢复方法

Country Status (3)

Country Link
US (1) US20060017813A1 (zh)
JP (1) JP4418317B2 (zh)
CN (1) CN1725811B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4804166B2 (ja) * 2006-02-17 2011-11-02 キヤノン株式会社 撮像装置およびその制御方法
US20080100716A1 (en) * 2006-11-01 2008-05-01 Guoyi Fu Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data
US20080143840A1 (en) * 2006-12-19 2008-06-19 Texas Instruments Incorporated Image Stabilization System and Method for a Digital Camera
JP4958610B2 (ja) 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
JP5160155B2 (ja) * 2007-07-02 2013-03-13 富士フイルム株式会社 撮影装置
US20090040318A1 (en) * 2007-08-09 2009-02-12 Michael John Brosnan Image stabilization with user feedback
JP4926920B2 (ja) * 2007-11-16 2012-05-09 キヤノン株式会社 防振画像処理装置及び防振画像処理方法
JP4813447B2 (ja) * 2007-11-16 2011-11-09 富士フイルム株式会社 撮像システム、並びにこの撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器
JP2009139697A (ja) * 2007-12-07 2009-06-25 Fujinon Corp 撮像システム、この撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器、並びに撮像システムの製造方法
JP5111088B2 (ja) * 2007-12-14 2012-12-26 三洋電機株式会社 撮像装置及び画像再生装置
JP5259172B2 (ja) * 2007-12-19 2013-08-07 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 手振れ補正制御回路およびそれを搭載した撮像装置
JP2010050745A (ja) * 2008-08-21 2010-03-04 Canon Inc 画像処理装置およびその方法
WO2010023786A1 (ja) 2008-08-26 2010-03-04 株式会社日立製作所 運転整理支援システムおよびその方法
JP4942216B2 (ja) * 2008-09-30 2012-05-30 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置及びプログラム
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
DE102009058597B4 (de) * 2009-12-17 2012-04-19 Siemens Aktiengesellschaft Bildaufnahmesystem zur Aufnahme und Übertragung digitaler Videobilder, Bilddatenverarbeitungssystem zum Empfangen und Verarbeiten digitaler Bilddaten, Bildstabilisierungssystem und Verfahren zum Generieren verwacklungsarmer digitaler Videobilder
JP5404376B2 (ja) 2009-12-24 2014-01-29 株式会社東芝 カメラモジュール及び画像処理装置
JP5121870B2 (ja) * 2010-03-25 2013-01-16 株式会社東芝 画像処理方法および画像処理装置
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP5694300B2 (ja) * 2010-11-11 2015-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法およびプログラム
JP6074921B2 (ja) 2012-06-04 2017-02-08 ソニー株式会社 撮像装置とその制御方法およびプログラム
WO2013190946A1 (ja) 2012-06-22 2013-12-27 富士フイルム株式会社 撮像装置およびその動作制御方法
JP5762587B2 (ja) * 2013-04-15 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法
JP6332996B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 動画像処理装置および撮像装置、動画像処理方法
DE102018107950A1 (de) * 2017-04-18 2018-10-18 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung
JP6526273B2 (ja) * 2017-04-18 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
JP2018182679A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 歪曲収差補正方法及びそれを使用する歪曲収差補正装置及び撮像装置
US10742885B1 (en) * 2019-05-20 2020-08-11 Gopro, Inc. Systems and methods for stabilizing videos
US11228702B1 (en) 2021-04-23 2022-01-18 Gopro, Inc. Stabilization of face in video

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075557A1 (fr) * 2002-03-05 2003-09-12 Sony Corporation Dispositif de saisie d'image et procede de correction des aberrations chromatiques

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5365303A (en) * 1992-05-21 1994-11-15 Olympus Optical Co., Ltd. Shake-free image restoration system
JP3466895B2 (ja) * 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
JP3938844B2 (ja) * 2001-01-25 2007-06-27 株式会社リコー 画像形成システム
JP3886769B2 (ja) * 2001-10-26 2007-02-28 富士通株式会社 補正画像生成装置および補正画像生成プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075557A1 (fr) * 2002-03-05 2003-09-12 Sony Corporation Dispositif de saisie d'image et procede de correction des aberrations chromatiques

Also Published As

Publication number Publication date
US20060017813A1 (en) 2006-01-26
JP4418317B2 (ja) 2010-02-17
JP2006033759A (ja) 2006-02-02
CN1725811A (zh) 2006-01-25

Similar Documents

Publication Publication Date Title
CN1725811B (zh) 摄像装置和图像恢复方法
CN100512380C (zh) 摄像装置和图像恢复方法
US8854432B2 (en) Multi-lens camera and control method
JP4434151B2 (ja) 撮像装置
CN101594464B (zh) 成像设备和成像方法
CN101324709B (zh) 成像设备
US7693405B2 (en) Image pickup device, method of controlling image pickup device, and recording medium
KR101537949B1 (ko) 촬상 장치
CN109417593B (zh) 摄像装置、工作方法、图像处理装置以及图像处理方法
WO2004112380A1 (ja) 情報生成装置、撮影装置および撮影方法
CN101207715A (zh) 数字照相机
KR20100067406A (ko) 디지털 촬영 장치의 흔들림 보정 방법 및 장치
CN101557470B (zh) 摄像装置
JP4875971B2 (ja) 撮影装置及びその調整方法
CN102739961A (zh) 能够生成广角图像的图像处理装置
CN102629972A (zh) 摄像装置及其控制方法
CN101324708B (zh) 成像设备
JP4969182B2 (ja) 手振れ量検出装置及び撮影装置
US7684684B2 (en) Image sensing apparatus having autofocus function, and method of controlling same
US20060227221A1 (en) Image pickup device
CN100452838C (zh) 摄像装置
CN100477741C (zh) 摄像装置
CN100349063C (zh) 电子摄像装置
JP2007036843A (ja) 投影表示機能付き撮像装置及び携帯電子機器
KR101630295B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151126

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan

Patentee before: Olympus Imaging Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110615

Termination date: 20160721