CN105191283B - 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 - Google Patents

摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 Download PDF

Info

Publication number
CN105191283B
CN105191283B CN201480016625.5A CN201480016625A CN105191283B CN 105191283 B CN105191283 B CN 105191283B CN 201480016625 A CN201480016625 A CN 201480016625A CN 105191283 B CN105191283 B CN 105191283B
Authority
CN
China
Prior art keywords
image
unit
pixel
subject
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480016625.5A
Other languages
English (en)
Other versions
CN105191283A (zh
Inventor
米田正人
桑原宗市
平出弘之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105191283A publication Critical patent/CN105191283A/zh
Application granted granted Critical
Publication of CN105191283B publication Critical patent/CN105191283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Optics & Photonics (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明涉及能够更有效地校正相机抖动的摄像装置、固体摄像元件、相机模块、电子设备以及摄像方法。设置有：拍摄被摄体以输出拍摄的图像的摄像单元；物理地检测当所述摄像单元发生抖动时所述摄像单元的抖动角度的检测单元；校正处理单元，其根据构成由所述摄像单元输出的所述图像的像素的布置位置而存在差别并且用来基于由所述检测单元检测出的所述抖动角度来计算校正量，并且根据所述校正量校正所述图像；和同步单元，其用于使从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动角度同步，然后将所述图像和所述抖动角度传输至所述校正处理单元。本发明能够应用于例如具有摄像功能的电子设备。

Description

摄像装置、固体摄像元件、相机模块、电子设备及摄像方法
技术领域
本发明涉及摄像装置、固体摄像元件、相机模块、电子设备及摄像 方法。具体地，本发明涉及能够进行更有效的相机抖动校正的摄像装置、 固体摄像元件、相机模块、电子设备及摄像方法。
背景技术
在诸如数码相机和数码摄像机等具有摄像功能的电子设备中，在过 去已采用了对拍摄过程中的相机抖动进行校正以输出不受相机抖动影响 的图像的相机抖动校正系统。目前存在如下两种类型的相机抖动校正： 电子相机抖动校正和光学相机抖动校正。
在电子相机抖动校正中，通过在连续图像之间从拍摄图像中检测正 被拍摄的被摄体的抖动来对相机抖动进行校正，并且根据抖动量来进行 使图像的位置移动的图像处理。这种电子相机抖动校正不需要机械机构， 并能够使结构小型化。然而，由于抖动是基于图像检测到的，所以当图 像在暗处不清晰时，就难以检测抖动。另外，与之前的图像的比较需要 用于存储所有之前的图像的存储区域。
此外，在电子相机抖动校正中，由于从两个帧(图像)中检测相机 抖动量，所以有把握地确定图像中的移动物体(动态体)或每个场景中 由于相机抖动而引起的图像偏移就变得极其困难。已提出了包括动态体 或相机抖动的的确定的算法，但目前仍在对这些算法进行改善。
此外，在光学相机抖动校正中，通过如下方式来对相机抖动进行校 正：通过使用陀螺仪等检测图像传感器如何发生抖动，并使透镜或图像 传感器进行反向校正的增量的操作。在光学相机抖动校正中，由于检测 物理抖动，所以与电子相机抖动校正不同的是，不会出现动态体与相机 抖动之间的错误识别。另外，由于不需要与之前的图像进行比较，所以 也就不需要用于累积之前的图像的帧存储器。然而，光学相机抖动校正 不仅增大了操作单元的结构的尺寸，还增加了因结构的操作而产生的功 耗。
另外，在采用互补金属氧化物半导体(CMOS)图像传感器作为摄 像元件的摄像装置中，由于摄像元件的每行会发生曝光周期的偏移(成 像时序的偏移)，所以在过去难以完全消除相机抖动的影响。
因此，提出了基于从拍摄被摄体图像中的预定行时的抖动量计算出 的校正量针对各行的被摄体图像进行校正的相机抖动校正处理。
引用列表
专利文献
专利文献1：JP2006-304313A
发明内容
技术问题
同时，虽然在目前的电子相机抖动校正和光学相机抖动校正中均能 够均一地校正整个图像，但是难以有效地校正由于相机抖动而出现在图 像中的失真。
本发明是针对这种情况而提出的，并且能够进行更有效的相机抖动 校正。
问题的解决方案
根据本发明的实施例的摄像装置、固体摄像元件、相机模块或电子 设备包括：摄像单元，其拍摄被摄体以输出拍摄的图像；检测单元，其 物理地检测所述摄像单元发生抖动时的抖动角度；以及校正处理单元， 其基于构成由所述摄像单元输出的所述图像的像素的位置以及由所述检 测单元检测出的所述抖动角度来计算校正量，以根据所述校正量对所述 图像进行校正。
根据本发明的实施例，提供了用于摄像装置的摄像方法，所述摄像 装置包括拍摄被摄体以输出拍摄的图像的摄像单元以及物理地检测所述 摄像单元发生抖动时的抖动角度的检测单元，所述摄像方法包括如下步 骤：通过所述摄像单元输出所述图像；通过所述检测单元输出所述抖动 角度；以及基于构成由所述摄像单元输出的所述图像的像素的位置以及 由所述检测单元检测出的所述抖动角度来计算校正量，以根据所述校正 量对所述图像进行校正。
在本发明的实施例中，包括拍摄被摄体以输出拍摄的图像的摄像单 元以及物理地检测所述摄像单元发生抖动时的抖动角度的检测单元，并 且基于构成由所述摄像单元输出的所述图像的像素的位置以及由所述检 测单元检测出的所述抖动角度来计算校正量，且根据所述校正量对所述 图像进行校正。
本发明的有益效果
根据本发明的实施例，能够进行更有效的相机抖动校正。
附图说明
图1是示出了应用了本发明的摄像装置的实施例的构造示例的框 图。
图2是用于说明摄像元件的传感器表面与被摄体表面之间的关系的 说明图。
图3是图示了传感器表面发生抖动之前与传感器表面发生抖动之后 的关系的图。
图4是用于说明抖动的Y方向上的距离差的图。
图5图示了通过使用Y轴方向上的仰角和被摄体距离作为参数而获 得的误差距离δy的示例。
图6是用于说明抖动角度θ下的在旋转运动的X方向上的校正的图。
图7是用于说明抖动角度θ下的光瞳位置的变化的图。
图8图示了通过使用X轴方向上的仰角和被摄体距离作为参数而获 得的误差距离δx。
图9图示了成像高度与校正量之间的关系。
图10是用于通过比较来说明相机抖动校正处理的效果的图。
图11是用于通过比较来说明相机抖动校正处理的效果的图。
图12是用于通过比较来说明相机抖动校正处理的效果的图。
图13是用于说明陀螺仪数据与图像数据之间的同步的图。
图14是用于说明陀螺仪数据与图像数据之间的同步的图。
图15图示了俯仰角(pitch angle)、偏航角(yaw angle)和滚转角 (roll angle)的定义。
图16图示了全局快门系统的图像传感器中的抖动角度对图像的影 响。
图17图示了全局快门系统的图像传感器中的抖动角度对图像的影 响。
图18图示了卷帘快门系统的图像传感器中的抖动角度对图像的影 响。
图19图示了卷帘快门系统的图像传感器中的抖动角度对图像的影 响。
图20图示了卷帘快门系统的图像传感器中的抖动角度对图像的影 响。
图21图示了包括使用桶形移位(barrel shift)系统的相机抖动校正 功能的摄像装置的构造示例。
图22是用于说明摄像方法的流程图。
图23是图示了应用了本发明的摄像装置的另一实施例的构造示例 的框图。
图24是用于说明AF控制信号的电流值与被摄体距离之间的关系。
图25图示了预定的被摄体距离与X方向上的误差距离δx之间的关 系的示例。
图26是用于通过比较来说明相机抖动校正处理的效果的图。
图27是图示了应用了本发明的固体摄像元件的实施例的构造示例 的框图。
具体实施方式
下面将参考附图对本发明的实施例进行详细地说明。
图1是图示了应用了本发明的摄像装置的实施例的构造示例的框 图。
如图1所示，摄像装置11是诸如数码相机和数码摄像机等具有拍摄 图像的主要功能的电子设备，并且包括光学系统12、记录媒介13、显示 器14和相机模块15。另外，例如，对于摄像装置11，除具有拍摄图像 的主要功能的电子设备之外，还可使用诸如被称为所谓的智能手机或平 板电脑的多功能便携式终端等包括摄像功能的电子设备。
光学系统12具有一个或多个透镜，并使来自被摄体的光聚集，以在 相机模块15的图像传感器21的传感器表面上形成被摄体的像。
记录媒介13是安装在摄像装置11中的内置型存储器或者是可拆卸 地附接至摄像装置11的可移除型存储器(例如，电可擦可编程只读存储 器(EEPROM))，并记录从相机模块15输出的拍摄图像。
显示器14例如具有诸如液晶面板或有机电致发光(EL)面板等显 示单元，并显示从相机模块15输出的拍摄图像。
相机模块15包括图像传感器21、陀螺仪传感器22、信号同步单元 23、参数保持单元24和相机抖动校正处理单元25。
图像传感器21具有用于拍摄被摄体的光学图像以将拍摄到的图像 转换成电信号的X-Y型摄像元件以及用于对从摄像元件输出的信号进行 信号处理的信号处理单元，并输出具有拍摄的被摄体的图像信号。例如， 图像传感器21由具有摄像元件和整体地层叠在摄像元件上的信号处理单 元的芯片构成，或由具有摄像元件的芯片和组合在摄像元件的芯片上的 信号处理单元的芯片的单元构成。另外，信号处理单元进行诸如放大摄 像元件的输出的自动增益控制(AGC)或模拟数字(AD)转换等预处理， 以及将经过预处理的数字信号转换成适当的图像信号格式(诸如Bayer、 YUV或RGB等)的处理。
陀螺仪传感器22被安装成与图像传感器21相邻，并物理地(以非 图像处理的方式)检测图像传感器21发生抖动时的抖动角度。例如，陀 螺仪传感器22是用于检测角速度的检测单元，并以恒定的时序输出用于 表示从检测出的角速度获得的抖动角度的陀螺仪数据(在下文中，适当 地，还被称为相机抖动量信息)。
信号同步单元23进行使从图像传感器21输出的图像信号与以恒定 的时序从陀螺仪传感器22输出的相机抖动量信息同步的同步处理，并将 图像信号和相机抖动量信息输出至相机抖动校正处理单元25。注意，稍 后将参考图13和图14对由信号同步单元23进行的同步处理进行说明。
参数保持单元24保持包括光学系统12和图像传感器21的模块的几 何光学特定参数(例如，视角和模块瞳距(pupil distance))。
相机抖动校正处理单元25根据从信号同步单元23输出的图像信号、 与该图像信号同步的相机抖动量信息以及保持在参数保持单元24中的特 定参数来计算图像信号的校正量。相机抖动校正处理单元25接着进行根 据计算出的校正量对图像信号的相机抖动进行校正的相机抖动校正处 理，将数据转换成减少了相机抖动的发生的图像信号(在下文中，适当 地，还被称为相机抖动校正图像)，并且将校正图像提供至记录媒介13 和显示器14。注意，稍后将参考图15至图20对由相机抖动校正处理单 元25进行的详细的相机抖动校正处理进行说明。
首先，将参考图2至图12对相机抖动校正处理单元25中的相机抖 动校正处理的原理和估算进行说明。
首先，如图2所示，定义图像传感器21的传感器表面S与被摄体表 面之间的关系。
被摄体表面上的每个点穿过未示出的光学系统12(图1)的透镜的 光瞳位置I，从而在传感器表面S上形成图像。例如，与光学系统12的 光轴交叉的被摄体表面上的点C穿过光瞳位置I，从而在传感器表面S 的大致中心处形成图像(这里的大致中心包括被摄体表面S上的图像上 的中心或传感器表面S的光学中心，或者图像上的中心或传感器表面S 的光学中心附近，在下文中，适当地被称为中心点)，且被摄体表面上 的位于相对于光学系统12的光轴的仰角α处的点A在传感器表面S上 的与从点A穿过光瞳位置I的光束L1交叉的点处形成图像。
另外，如图所示，假定从传感器表面S的中心点到光瞳位置I的光 学距离为模块瞳距d，且假定从被摄体表面上的点C到光瞳位置I的光学 距离为被摄体距离D。假定与图面垂直并指向前方的轴为X轴，假定在 附图中从下指向上的轴为Y轴，且假定在附图中从左指向右的轴为Z轴。
然后，假定摄像装置11由于拍摄过程中的相机抖动而发生抖动，且 传感器表面S围绕预定旋转中心绕着X轴旋转地移动了抖动角度θ。
即，如图3所示，当传感器表面S围绕旋转中心O旋转地移动了抖 动角度θ时，传感器表面S移动至传感器表面S’且光瞳位置I移动至光 瞳位置I’。此时，在摄像装置11发生抖动之前位于仰角α处的点A在传 感器表面S’上的与从点A穿过光瞳位置I’的光束LR交叉的位置处形成 图像。即，来自被摄体表面上的点A的光在传感器表面S’上的沿着穿过 摄像装置11发生抖动之后的光瞳位置I’的光束LR(而不是穿过摄像装 置11发生抖动之前的光瞳位置I的光束L1)的点处形成图像。
此时，摄像装置11发生抖动之后的光束LR相对于光学系统12的 光轴的仰角是未知的，并无法被直接地估算出。因此，假定被摄体表面 上的穿过摄像装置11发生抖动之后的光瞳位置I’并平行于光束L1的光 束L2与被摄体表面相交的点A’对应于被摄体表面上的点A，将讨论这 种位置关系。
首先，当从旋转中心O到传感器表面S的中心点的距离为旋转半径 r，在抖动角度θ的旋转运动中，通过如下的公式(1)来表示传感器表 面S的中心点在Z轴方向上移动的移动量ΔCz以及传感器表面S的中心 点在Y轴方向上移动的移动量ΔCy。
[公式1]
△Cz＝r·SINθ
△Cy＝r·(1-COSθ)···(1)
另外，通过如下的公式(2)来表示在摄像装置11发生抖动之前被 摄体表面上的与仰角α的光束L1相交的点A在传感器表面上的成像高 度A以及在摄像装置11发生抖动之后被摄体表面上的与平行于光束L1 的光束L2相交的点A’在传感器表面上的成像高度A’。
[公式2]
A＝d·TANα
A'＝d·TAN(α+θ)···(2)
因此，当在传感器表面上可以忽略被摄体表面上的点A与点A’之间 的距离差时，通过如下的公式(3)来表示在抖动角度θ情况下的传感器 表面S的旋转运动中的成像高度的变化量ΔA。
[公式3]
ΔA＝d.(TAN(α+θ)-TANα)···(3)
以此方式，如公式(3)所表示，可仅通过使用模块瞳距d、抖动角 度θ和仰角α来获得成像高度的变化量ΔA，且这些值都是已知量。因此， 例如，如果模块瞳距d、抖动角度θ和仰角α能够经受实际应用时，则能 够很精确地进行相机抖动校正。于是，假定可以忽略被摄体表面上的点 A与点A’之间的距离差，为了评估模块瞳距d、抖动角度θ和仰角α是 否能够经受实际应用，需要考虑产生的误差量。
例如，如图4所示，假定传感器表面S上的与从被摄体表面上的点 A穿过光瞳位置I的光束L1相交的点为点a，且假定包含传感器表面S 在内的平面表面上的与从被摄体表面上的点A’穿过光瞳位置I’的光束L2 相交的点为点a’。此时，被摄体表面上的点A与点A’之间的Y方向上 的距离差(A-A’)在几何光学上等于包含传感器表面S在内的平面表面 上的点a与点a’在Y方向上的距离差(a-a’)，并由如下的公式(4)表 示。
[公式4]
能够从以此方式获得的距离差(A-A’)获得传感器表面上的像素数 的误差距离δ(θ，α，D)，该误差距离δ用于评估被摄体表面上的点A’ 是否可被视为点A。即，通过使用距离差(A-A’)、图像传感器21的 在Y轴方向上的边的像素数Ny以及在图像传感器21的Y轴方向上的最 大视角β下在被摄体表面上的Y方向上能够拍摄图像的范围 (＝2·D·TANβ)，用如下的公式(5)来表示误差距离δ(θ，α，D)。
[公式5]
图5图示了通过使用Y轴方向上的仰角α和被摄体距离D作为参数 而获得的误差距离δ(θ，α，D)的示例。
图5图示了通过使用Y轴方向上的仰角α(0.00°，5.00°，10.00°，15.00°， 20.00°，25.00°)作为列方向上的参数并通过使用被摄体距离D(25cm， 50cm，1m，2m，3m，5m)作为行方向上的参数而获得的误差距离δ (θ，α，D)。另外，图5图示了当图像传感器21的最大视角β为上下 25°，图像传感器21在Y方向上的像素数Ny为3000个像素并且旋转半 径r为50mm时获得的误差距离δ(θ，α，D)的示例。
图5中所示的误差距离δ(θ，α，D)的每个数值表示被摄体表面上 的点A与点A’之间的Y方向上的距离差(A-A’)在图像传感器21的像 素中作为图像而呈现的位置的差异的程度。
通常，当被摄体表面上的预定的两个点之间的距离差为传感器表面 上的两个像素以上时，该距离差就被认为是明显的。在图5中，小于两 个像素的误差距离δ(θ，α，D)的范围，即被摄体表面上的点A与点A’ 之间在Y方向上的距离差(A-A’)在传感器表面S上小于两个像素的范 围用粗框线围住。因此，对于图5中所示的仰角α和被摄体距离D，由 于误差距离δ(θ，α，D)在大部分区域中小于2个像素，所以距离差(A-A’) 不是十分明显，因而可以经受实际应用。
另外，误差距离δ(θ，α，D)在某时刻完全是误差(误差像素数)， 并且它在正常拍摄过程中在累积周期内移动，并且所有的移动量的积分 被表示为图像。因此，图5中所示的误差的水平在正常拍摄过程中使用 的范围内完全没有问题。
即，可以假定被摄体表面上的点A与点A’之间的距离差是可忽略的。 因此，当摄像装置11由于拍摄过程中的相机抖动而发生抖动，并且传感 器表面S围绕预定的旋转中心旋转地移动了抖动角度θ时，可以通过如 下的公式(6)来获得y方向上的校正量Δy。如公式(6)所表示，校正 量Δy根据仰角α而变化。另外，由于被摄体表面上的点A在传感器表 面上的成像高度是由仰角α而获得的，所以校正量Δy根据成像高度(Y 方向上的距传感器表面S的大致中心的距离，其中被摄体表面上的位于 仰角α处的点A在传感器表面S上形成图像)而不同。
[公式6]
Δy＝d·(TANα-TAN(α+θ)···(6)
这里，参考图6，将说明以此方式对抖动角度θ下的在旋转运动中 的X方向(水平轴方向)上的校正进行说明。
在图6中，为了以易于理解的方式表明在传感器表面S的像表面上 如何形成图像，使用了沿X轴方向布置的杆状被摄体B，并且为了简化 说明，假定光瞳位置i没有由于摄像装置11的抖动而移动。
图6的A图示了从沿杆状被摄体B的X轴方向观察时的图，且图6 的B图示了从图6的A中的空心箭头观察(即，从Y轴方向观察)时的 图。
如图6所示，在抖动角度θ下，从杆状被摄体B的一个端部b0进入 光瞳位置i的光L0在摄像装置11发生抖动之前在传感器表面S的传感 器中心点C处形成图像，并且在摄像装置11发生抖动之后在传感器表面 S’的传感器中心点C’处形成图像。因此，分别在传感器表面S和传感器 表面S’上，从光瞳位置i到传感器中心点C的距离为d/COSα，且从光瞳 位置i到传感器中心点C’的距离为d/COS(α+θ)。
另外，在抖动角度θ下，从杆状被摄体B的另一端部b1进入光瞳位 置i的光L1在摄像装置11发生抖动之前在传感器表面S的点P处形成 图像，并在摄像装置11发生抖动之后在传感器表面S’的点P’处形成图 像。此时，由光瞳位置i、传感器中心点C和点P形成的三角形相似于由 光瞳位置i、传感器中心点C’和点P’形成的三角形。因此，通过如下的 公式(7)来表示在摄像装置11发生抖动之前从传感器中心点C到点P 的值Px与在摄像装置11发生抖动之后从传感器中心点C’到点P’的值P’x 之间的比值。
[公式7]
因此，根据公式(7)，当摄像装置11由于拍摄过程中的相机抖动 而发生抖动并且传感器表面S围绕预定的旋转中心旋转地移动了抖动角 度θ时，假定位置P处的像素是校正的目标，且从传感器中心点C到点 P的距离为X，则可通过如下的公式(8)来获得X方向(水平轴方向) 上的校正量Δx。如公式(8)所表示，校正量Δx根据仰角α和从传感器 中心点C到点P的距离X而变化。
[公式8]
同时，实际上，光瞳位置i因抖动角度θ而发生变化。因此，杆状 被摄体B的端部b1形成图像的位置不对应于如图6所示的传感器表面S’ 的位置P’。
这里，图7是用于说明在考虑由抖动角度θ引起的光瞳位置i的变 化的情况下杆状被摄体B的端部b1形成图像的位置的图。
如图7所示，当摄像装置11以抖动角度θ发生抖动时，光瞳位置i 向被摄体B靠近了如下公式(9)中所表示的光瞳位置移动量Δi。
[公式9]
Δi＝r·SINθ-d·(1-COSθ)···(9)
因此，当摄像装置11以抖动角度θ发生抖动时，被摄体B的端部 b1’的位置(原本作为端部b1的位置)在传感器表面S”的点P”处形成 图像。通过如下的公式(10)来表示此时的被摄体B中的X轴方向上的 被摄体误差δx。
[方式10]
δx＝(r·SINθ-d·(1-COSθ))·TANq···(10)
然而，在公式(10)中满足TANq＝X/D。
这里，与图5中所示的Y方向上的误差距离δ(θ，α，D)类似，获 得了X轴方向上的被摄体误差δx。通过使用图像传感器21在X轴方向 上的边的像素数Nx和在图像传感器21的X轴方向上的最大视角β下在 被摄体表面上的X方向上能够拍摄图像的范围(＝2·D·TANβ)，用如下 的公式(11)来表示被摄体误差δx。
[公式11]
然而，在公式(11)中满足TANq＝X/D。
图8图示了通过使用被摄体距离D和X轴方向上的仰角α作为参数 而获得误差距离δx的示例。
图8图示了通过使用X轴方向上的仰角α(0.00°，5.00°，10.00°，15.00°， 20.00°，25.00°，30.00°，35.00°)作为列方向上的参数并通过使用被摄体 距离D(25cm，50cm，1m，2m，3m，5m)作为行方向上的参数而 获得的误差距离δx。另外，图8图示了当图像传感器21的最大视角β 为左右35°，图像传感器21在X方向上的像素数Nx为4000个像素且旋 转半径r为50mm时获得的误差距离δx的示例。
图8中所示的误差距离δx的每个数值表示被摄体B的端部b1与端 部b1’之间的X方向上的距离差在图像传感器21的像素中作为图像而 呈现的位置的差异的程度。
与如上所述的Y方向上的误差距离δ(θ，α，D)类似，通常，当被 摄体表面上的预定的两个点之间的距离差为两个像素以上时，该距离差 就被认为是明显的。在图8中，小于两个像素的误差距离δx的范围，即 被摄体B的端部b1与端部b1’之间在X方向上的距离差在传感器表面 S上小于两个像素的范围被用粗框线包围。因此，对于图8中所示的仰 角α和被摄体距离D，由于误差距离δx在大部分区域中小于2个像素， 所以距离差足以经受实际应用。
另外，误差距离δx在某时刻完全是误差(误差像素数)，且在正常 拍摄过程中在累积周期内移动，并且所有的移动量的积分被表示为图像。 因此，图8中所示的误差的水平在通常使用的范围内完全没有问题。
注意，在上述说明中，已对围绕X轴向前方倾斜的抖动(俯仰)进 行了说明，但是也能够对在Y轴方向上左右倾斜的抖动(偏航)进行类 似的计算。
这里，图9的B图示了包括图1的光学系统12和图像传感器21的 模块抖动了如图9的A所示的抖动角度Δθ时的校正量的示例。另外， 通过使用具有一千三百万像素且一个像素的边长为1.12μm的图像传感 器21而获得校正量。
在图9的B中，横轴表示Y方向上的成像高度，且纵轴表示Y方向 上的校正量。图9图示了校正量随Y方向上的成像高度的增大而增大。 另外，图9图示了作为抖动角度Δθ的1.0°和0.3°，并图示了校正量随抖 动角度的增大而增大。注意，在桶形移位系统的光学相机抖动校正中， 根据摄像元件的中心点(即，图9中的横轴上的0点)处的校正量对整 个图像进行均一地校正。
因此，通过根据Y轴方向上的成像高度获得校正量以使用该校正量 对相机抖动进行校正，摄像装置11的相机抖动校正处理单元25能够有 效地校正图像中的根据Y轴方向上的成像高度而有区别地出现的失真。 摄像装置11的相机抖动校正处理单元25尤其能够有效地进行图像的端 部中的校正。
这里，图10至图12图示了经过由应用了本发明的摄像装置11进行 的相机抖动校正处理的图像以及经过桶形移位系统的现有的光学相机抖 动校正的图像，以进行相互比较。
图10图示了具有通过使没有相机抖动的原始图像与倾斜0.5°的图像 重叠而获得的格子图案的面板。图10的A图示了经过由应用了本发明的 摄像装置11进行的相机抖动校正处理的图像，图10的B图示了经过桶 形移位系统的现有光学相机抖动校正的图像。难以从如图10所示的距离 识别各个图像之间的差异。
图11图示了通过切出图10的图像的中心附近而获得的图像，图12 图示了通过切出图10的图像的端部附近而获得的图像。图11的A和图 12的A图示了经过由应用了本发明的摄像装置11进行的相机抖动校正 处理的图像，且图11的B和图12的B图示了经过桶形移位系统的现有 光学相机抖动校正的图像。
如图11所示，难以在图像的中心周围识别出各个图像之间的差异。 相比之下，如图12所示，在图像的端部周围能够清晰地识别出各个图像 之间的差异。即，对于经过由应用了本发明的摄像装置11进行的相机抖 动校正处理的图像，即使在端部周围，原始图像也与针对0.5°的抖动进 行过校正的图像相一致。然而，对于经过桶形移位系统的现有光学相机 抖动校正的图像，原始图像和针对0.5°的抖动进行过校正的图像被观察 到有重影。
以此方式，图10至图12中所示的图像表明，通过应用本发明能够 更有效地校正相机抖动。尤其是随着近来智能手机的广泛普及，可以说，， 能够在没有结构缺陷的情况下捕捉到由于小尺寸而无法避免的抖动并且 容易地拍摄高质量的图像的本发明具有极高的工业价值。
同时，在摄像装置11中，相机抖动校正处理单元25对由图像传感 器21捕捉的图像的在累积周期中的部分、抖动程度和抖动方向进行校正。 因此，信号同步单元23需要将从陀螺仪传感器22输出的陀螺仪数据(相 机抖动量信息)与从图像传感器21输出的图像数据同步。
接下来，参考图13，将对陀螺仪数据与图像数据之间的同步进行说 明。
图13的右侧图示了对来自图像传感器21的信号的读取。图像传感 器21具有如下结构：其中，针对垂直方向上的一个垂直地址，一次读出 水平方向上的所有像素。即，在一个水平线上，读取时间恒定且累积时 间恒定。
因此，在图像传感器21中，由不同的垂直地址指定的水平线被不断 地读出，且每条水平线的累积时间具有不同的时序。然而，在所有像素 中，作为在图像传感器21的每个像素中累积信号电荷时的时间的累积时 间是恒定的。于是，需要根据每条水平线中的累积时间的时序获得陀螺 仪数据。即，需要用于表示在累积时间中出现的抖动量的程度的相机抖 动量信息。
图13的左侧图示了这样的处理示例：将在某一水平线的累积时间T 的中间时刻处从陀螺仪传感器22输出的陀螺仪数据设定为该水平线中的 陀螺仪数据的处理示例。注意，并不限于这种处理，例如，可进行将在 某一水平线的累积时间T内输出的陀螺仪数据的平均值设定为该水平线 的陀螺仪数据的处理。即，仅需要与每条水平线的各累积时间相对应的 同步陀螺仪数据。
例如，存在用于从图像传感器21输出图像数据的时序与从陀螺仪传 感器22输出陀螺仪数据的时序之间进行同步的方法。另外，存在用于通 过在陀螺仪传感器22外部的例如基带芯片中接收从陀螺仪传感器22输 出的陀螺仪数据来进行同步的方法。
具体地，使用了用于将向图像传感器21发送时序的指令以及根据该 指令输出的图像数据的延迟传输至基带芯片的手段。即，由于图像传感 器21通常是根据垂直同步信号驱动的，所以即使当在任何时刻从外部接 收到用于改变曝光时间的指令时，图像传感器21也无法讯速地对该指令 进行反应。因此，当从外部接收到指令之后的帧开始时，图像传感器21 根据垂直同步信号来进行控制。进行这样的控制以使帧中的摄像条件相 同。另一方面，由于指令是从图像传感器21的外部发出的，所以该指令 是在与垂直同步信号无关的时刻发送的。另外，基带芯片能够知道的时 序是发送至图像传感器21的指令的时序和发送至陀螺仪传感器22的指 令的时序。
即，如图14所示，从基带处理的角度看，在时间T1的时序处向图 像传感器21输出指令，且在经过了用于与其中的垂直同步信号进行同步 的同步时间ΔT以及在n×FT时间(帧图像输出时间FT，整数n：1，2，……) 之后，接收到上述指令的图像传感器21输出图像数据。因此，这种同步 时间ΔT根据发送至图像传感器21的指令的输入时序是不同的。
另一方面，在请求发送至图像传感器21的指令之前，在时间T0的 时序处输出用于请求将数据输出至陀螺仪传感器22的指令，且陀螺仪传 感器22侧记录它接收到该指令时的时间T0作为时间戳，并顺序地输出 陀螺仪数据。因此，从基带处理的角度看，能够知道所有陀螺仪数据被 输出时的时序。
在这种时序处，图像数据和陀螺仪数据被输出并被提供至信号同步 单元23，且信号同步单元23进行图像数据与陀螺仪数据之间的同步并且 将同步后的数据提供至相机抖动校正处理单元25。然后，在相机抖动校 正处理单元25中进行相机抖动校正处理。
下面将对在相机抖动校正处理单元25中进行的相机抖动校正处理 进行说明。注意，在下面的说明中所表示的公式中，不同的符号可以用 于与上面的说明的对象相同的对象。
首先，对于相机抖动校正处理的第一处理示例，将对如下构造中的 相机抖动校正处理进行说明：在该构造中，图像传感器21中使用的摄像 元件采用全局快门系统。
与后述的卷帘快门系统不同，在全局快门系统中，由于整个被拍摄 图像几乎在同一时间被记录为图像，所以对于一个图像，可以通过使用 一对校正角(Y轴方向上的校正量和X轴方向上的校正量)来进行相机 抖动校正处理。即，能够通过使用一对校正角将具有由相机抖动引起的 位置偏移的图像校正成没有位置偏移的图像。
注意，假定曝光时间长且在曝光期间获得多条相机抖动量信息(陀 螺仪数据)，则能够通过使用所述多条相机抖动量信息的平均值来确定 这对校正角。或者，可通过使用在曝光时间的中心的时序处获得的相机 抖动量信息或者通过使用在通过从多条相机抖动量信息的插值而获得的 必需时序处获得的相机抖动量信息来确定这对校正角。
首先，如图15所示，通过俯仰角、偏航角和滚转角来定义摄像装置 11的抖动(即，被安装在摄像装置11中的图像传感器21的抖动)。
图16图示了在全局快门系统的图像传感器21中抖动角度对图像的 影响。
图16的A图示了图像传感器21静止时的图像的位置。在此情况下， 图像位于图像传感器21的中心。
图16的B图示了图像传感器21在俯仰角的负方向上发生抖动时抖 动角度对图像的影响。在此情况下，主要地给出了朝图像传感器21的垂 直方向(Y方向)上的上侧的影响。
图16的C图示了图像传感器21在偏航角的正方向上发生抖动时抖 动角度对图像的影响。在此情况下，主要地给出了朝图像传感器21的水 平方向(X方向)上的左侧的影响。
图16的D图示了图像传感器21在俯仰角的负方向和偏航角的正方 向上发生抖动时抖动角度对图像的影响。在此情况下，主要地给出了朝 通过将图像传感器21的垂直方向(Y方向)上的上侧增添至图像传感器 21的水平方向(X方向)上的左侧而获得的方向的影响。
另外，对于滚转角的相机抖动，给出了与图像的旋转一样的影响。 注意，当图像传感器21的抖动角度为θ时，在图像上给出了–θ的影响。
同时，在现有相机抖动校正处理中，对于俯仰角的抖动，假定使整 个图像在Y方向上均一地移位Y1个像素，则已经进行了诸如使图像移 动–Y1个像素或使图像的读取位置移位Y1个像素等处理。类似地，对于 偏航角的抖动，在现有相机抖动校正处理中，假定使整个图像在X方向 上均一地移位X1个像素，则已经进行了诸如使图像移动–X1个像素或使 图像的读取位置移位X1个像素等处理。
然而，如图17所示，整个图像没有针对抖动角度而被均一地移位。 在图17中，实线表示获得的图像，虚线表示通过使原始图像移位而获得 的图像。
图17的A图示了图像传感器21在俯仰角的负方向上发生抖动时抖 动角度对图像的影响。如图17的A所示，给出了对图像上的不同像素位 置而造成的不同影响。例如，在图像的上端附近，移动大于垂直方向上 的中央附近的移动，并在水平方向上扩展。另一方面，在图像的下端， 获得了与上端和中央附近不同的在垂直方向上的移动量变窄的这种变形。即，在Y方向和X方向上的移动量根据每个像素的位置而变化。
图17的B图示了图像传感器21在偏航角的正方向上发生抖动时抖 动角度对图像的影响。如图17的B所示，给出了对图像上的不同像素位 置而造成的不同影响。例如，在图像的左端附近，移动大于在水平方向 上的中心附近的移动，并在垂直方向上扩展。另一方面，在图像的右端 附近，获得了与左端和中心周围不同的水平方向上的移动量变窄的这种变形。即，X方向和Y方向上的移动量根据每个像素的位置而变化。
图17的C图示了图像传感器21在俯仰角的负方向和偏航角的正方 向上发生抖动时抖动角度对图像的影响。如图17的C所示，当两个方向 上的抖动的影响发生叠加时，图像发生比图17的A和图17的B更加复 杂的变形。
另外，滚转角的抖动的增加使图像发生更加复杂的变形(未示出)。 注意，由于滚转角的影响较小且在典型的相机抖动中往往无法进行校正 处理，所以下面将主要对俯仰角和偏航角的抖动进行说明。
下面将对全局快门系统中的相机抖动校正的步骤进行说明。
这里，为便于说明，以如下方式表示图像传感器21的输出图像中的 每个像素的位置：当左下角的像素的中心为(0，0)时，从左边起第x 个且从底部起第y个的像素的中心的坐标为A(x，y)。
首先，当针对坐标A(x，y)求得距离图1的光学系统12的透镜的 光轴中心在图像传感器21的摄像元件上形成图像的点的坐标O(x0，y0) 的相对位置(X，Y)时，获得坐标A(X＝x-x0，Y＝y-y0)。注意，可 以用图像传感器21的摄像元件的图像的中心来代替坐标O(x0，y0)。
当拍摄图像过程中的相机抖动量为俯仰角θp、偏航角θy和滚转角θr 且通过使坐标A抖动俯仰角-θp、偏航角-θy和滚转角-θr而获得坐标A’ 时，通过将输入图像中的坐标A’的像素值设定成输出图像中的坐标A的 像素值来获得针对相机抖动进行校正的像素值。因此，当此像素值被设 定为坐标A的值且针对图像传感器21的所有像素而获得的图像被设定为 输出图像时，输出针对相机抖动而进行了校正的图像。
为了获得输入图像中的坐标A’，对于图像传感器21的有效像素， 当水平方向上的像素数为W，垂直方向上的像素数为H，从光学系统12 的透镜中心到图像传感器21的摄像元件的距离为L(对应于像素数)， 且水平方向上的视角的1/2为角度β时，假定坐标O(x0，y0)为图像传 感器21的有效像素的中心，则根据如下的公式(12)获得作为水平方向 上的视角的1/2的角度β。
[公式12]
tanβ＝(W/2)/L···(12)
因此，可以通过如下的公式(13)来获得从光学系统12的透镜中心 到图像传感器21的摄像元件的距离L(对应于像素数)。
[公式13]
L＝(W/2)/tanβ···(13)
注意，作为水平方向上的视角的1/2的角度β和距离L(对应于像素 数)是专用于摄像装置11的摄像模式(例如，输出所有像素的摄像模式、 输出薄化像素的摄像模式和输出像素的切出部分的摄像模式)、图像传 感器21的摄像元件和光学系统12的透镜的值。
此时，通过如下的公式(14)来表示坐标A的位置处的俯仰方向上 的角度αp和坐标A的位置处的偏航方向上的角度αy。
[公式14]
tanαp＝Y/L
tanαy＝X/L···(14)
因此，当摄像装置11发生俯仰角θp的抖动时，在图像的中心位置 处，像素位置在Y方向上移动了L·tan(-θp)个像素。而且，在坐标A的 位置上，像素位置在Y方向上移动由如下的公式(15)表示的Y方向移 动量ΔYp。
[公式15]
ΔYp＝L·(tan(αp+(-θp))-tanαp)···(15)
此时，如上面参考图6和图7所述，像素位置既在X方向移动，又 Y方向上移动。假定作为目的地的X坐标具有由如下的公式(16)表示 的关系，则如下面的公式(17)所表示，则坐标在X方向上被设定为L2/L1 倍。
[公式16]
L/L1＝cosαp
L/L2＝cos(αp+(-θp))···(16)
[公式17]
L2/L1＝cosαp/cos(αp+(-θp))···(17)
因此，X坐标移动至由如下的公式(18)表示的位置，且通过如下 的公式(19)来获得X坐标移动量ΔXp。
[公式18]
X·cosαp/cos(αp+(-θp))···(18)
[公式19]
ΔXp＝X·(cosαp/cos(αp+(-θp))-1)···(19)
与发生俯仰角θp的抖动的情况类似，当摄像装置11发生偏航角θy 的抖动时，在图像的中心位置处，像素位置在X方向上移动了L·tan(-θy) 个像素。而且，在坐标A的位置上，像素位置在X方向上移动了由如下 的公式(20)表示的X方向移动量ΔXy。
[公式20]
ΔXy＝L·(tan(αy+(-θy))-tanαy)···(20)
另外，类似地，像素位置既在Y方向移动，又X方向上移动。当作 为目的地的Y坐标具有由如下的公式(21)表示的关系时，则如下面的 公式(22)所表示，则坐标在Y方向上被设定为L4/L3倍。
[公式21]
L/L3＝cosαy
L/L4＝cos(αy+(-θy))···(21)
[公式22]
L4/L3＝cosαy/cos(αy+(-θy))···(22)
因此，Y坐标移动至由如下的公式(23)表示的位置，且通过如下 的公式(24)来获得Y坐标移动量ΔYy。
[公式23]
Y·cosαy/cos(αy+(-θy))···(23)
[公式24]
ΔYy＝Y·(cosαy/cos(αy+(-θy))-1)···(24)
另外，当摄像装置11发生滚转角θr的抖动时，在图像的作为旋转 中心的中心位置处，像素位置移动至由如下的公式(25)表示的位置， 且可通过如下的公式(26)来获得X方向移动量ΔXr和Y坐标移动量ΔYr。 [公式25]
X·cos(-θr)-Y·sin(-θr)，X·sin(-θr)+Y·cos(-θr)
···(25)
[公式26]
ΔXr＝X·cos(-θr)-Y·sin(-θr)-X
ΔYr＝X·sin(-θr)+Y·cos(-θr)-Y···(26)
可分别针对俯仰角θp、偏航角θy和滚转角θr这三个方向上的角度 单独地计算相机抖动的影响。同时，由于这些影响相互作用，所以基本 上需要同时获得由俯仰角θp、偏航角θy和滚转角θr造成的相机抖动的 影响，但是即使当如下简单地求出影响，也能够实现不引起任何实际应 用的问题的水平的校正。例如，顺序地，可基于因俯仰角θp的影响而产 生的移动量来获得因偏航角θy的影响而产生的移动量，且然后，可基于 获得的移动量来求出因滚转角θr的影响而产生的移动量。注意，当求得 移动量时，可以改变俯仰角θp、偏航角θy和滚转角θr的顺序。另外， 通过单独地计算俯仰角θp、偏航角θy和滚转角θr下的相机抖动的影响 而求出的结果可以被加在一起。
同时，由于相机抖动的俯仰角θp、偏航角θy和滚转角θr是正负1 度内的小角度，所以这些计算结果之间的差异是非常小的值并因此是可 忽略的。
这里，作为最简单的方法，将通过针对俯仰角θp、偏航角θy和滚 转角θr单独地计算相机抖动的影响而获得结果加在一起，并且然后将通 过如下的公式(27)来获得综合的X方向移动量ΔX和综合的Y方向移 动量ΔY。
[公式27]
ΔX＝ΔXp+ΔXy+ΔXr
ΔY＝ΔYp+ΔYy+ΔYr···(27)
因此，能够通过如下的公式(28)来求得坐标A’的待求的X坐标X’， 且可通过如下的公式(29)来获得坐标A’的待求的Y坐标Y’。
[公式28]
[公式29]
另外，由于坐标A(X，Y)具有由如下的公式(30)表示的关系， 所以通过如下的公式(31)来表示坐标A’的X’坐标和Y’坐标。
[公式30]
X＝L·tanαy
Y＝L·tanαp···(30)
[公式31]
X'＝X·cosαp/cos(αp+(-θp))+L·tan(αy+(-θy))
+X·cos(-θr)-Y·sin(-θr)-2X
Y’＝L·tan(αp+(-θp))+Y·cosαy/cos(αy+(-θy))
+X·sin(-θr)+Y·cos(-θr)-2Y···(31)
这里，由于坐标A’(X’，Y’)是距坐标O(x0，y0)的相对位置， 所以可基于如下的公式(32)读取输出图像中的坐标A’(x’，y’)的值。
[公式32]
x’＝X’+x0
y’＝Y’+y0···(32)
于是，当针对所有像素进行求出输出图像中的坐标A’(x’，y’) 的处理时，能够获得校正了相机抖动的校正图像。以此方式，当将本实 施例的相机抖动校正处理施加至由采用全局快门系统的摄像元件拍摄的 图像时，针对一个图像能够通过使用一对校正角来进行相机抖动校正处 理，并以小的处理负载有效地进行相机抖动校正。
接下来，作为相机抖动校正处理的第二示例，将对如下构造中的相 机抖动校正处理进行说明：在该构造中，图像传感器21中使用的摄像元 件采用卷帘快门系统。
在卷帘快门系统的摄像元件中，由于拍摄图像内的每条水平线的图 像捕捉时序是不同的，所以图像的变形变得比全局快门系统中图像的变 形更加复杂。这是因为除由抖动角度引起的图像的失真之外还存在着抖 动角度随时间的变化的影响。
例如，图18和图19图示了在卷帘快门系统的图像传感器21中抖动 角度对图像的影响。
图18的A图示了图像传感器21静止时的图像的位置，且在此情况 下，图像位于图像传感器21的中心。
图18的B图示了图像传感器21在俯仰角的负方向上发生抖动时抖 动角度对图像的影响。图18的C图示了图像传感器21在俯仰角的正方 向上发生抖动时抖动角度对图像的影响。另外，图19的A图示了图像传 感器21在偏航角的正方向上发生抖动时抖动角度对图像的影响。图19 的B图示了图像传感器21在偏航角的负方向上发生抖动时抖动角度对图像的影响。另外，图19的C图示了图像传感器21在俯仰角的正方向和 偏航方向的负方向上发生抖动时的抖动角度对图像的影响。
如图18和图19所示，在卷帘快门系统中，与全局快门系统相比， 在俯仰角的负方向上的抖动中，发生了图像在Y方向上收缩的变化，且 在俯仰角的正方向上的抖动中，发生了图像在Y方向上延伸的变形。另 外，在偏航角的抖动中，产生了抖动朝着图像的下侧在抖动的相反侧变 大的变形。
图20的A图示了图像传感器21在俯仰角的负方向和偏航角的正方 向上发生抖动时的抖动角度对图像的影响。在图20的A中，实线表示获 得的图像，且虚线表示通过使原始图像的位置移位而获得的图像。如上 所述，当两种抖动同时发生时，变形变得更加复杂。
图20的B图示了在不考虑像素位置依赖性的情况下的仅对焦平面影 响进行校正的情况下，图像传感器21在俯仰角的负方向和偏航角的正方 向上发生抖动时抖动角度对图像的影响。在图20的B中，实线表示获得 的图像，且虚线表示通过使原始图像的位置移位而获得的图像。即使在 进行这种校正时，如附图所示，也不可能完全地校正图像的失真。注意， 虽然图20的B中所示的图像的失真看起来小，但是失真在图像的边缘变 大，而且图17中所示的影响也将根据相机抖动的条件而出现。
下面将对卷帘快门系统中的相机抖动校正的步骤进行说明。
为了对卷帘快门的影响进行校正，需要针对各行通过使用该行拍摄 时的抖动角度来执行相机抖动校正处理。因此，在信号同步单元23中， 期望针对每个图像的每行执行相机抖动量信息的同步。然而，当前的陀 螺仪传感器22仅能够在多个行中检测一次相机抖动量信息。
因此，可以采取在多行中使用相同的相机抖动量信息的方法，或采 取使用针对每行的插值而获得的相机抖动量信息的方法，或采取在多行 中使用相同的相机抖动量信息并且在考虑了校正角的计算中的时间偏移 的情况下计算校正角的方法。另外，通过使用这些方法中的一者或其它 方法来求出每行的校正角，且此校正角用于进行与上述的输入图像中的 坐标A’的计算相同的计算，从而获得待求出的坐标位置，以形成校正图 像。在此情况下，使用与该行同步的俯仰角θp、偏航角θy和滚转角θr。
接下来，作为相机抖动校正处理的第三示例，将说明与桶形移位系 统的光学相机抖动校正相结合的处理。可以通过将如上所述的相机抖动 校正处理与桶形移位系统相结合来校正桶形移位系统中的图像的边缘的 失真(边缘的未校正部分)。
图21图示了包括桶形移位系统的光学相机抖动校正的摄像装置 11A。注意，在图21的摄像装置11A中，使用相同的附图标记来表示与 图1的摄像装置11相同的结构元件，且省略对这些结构元件的详细说明。
如图21所示，摄像装置11A除图1的摄像装置11的构造之外还包 括驱动单元26。通过基于来自陀螺仪传感器22的相机抖动量信息在摄像 元件上的图像不移动的方向上以与图像传感器21的摄像元件的传感器表 面平行的方式驱动光学系统12的透镜，驱动单元26以光学的方式校正 相机抖动。
同时，在桶形移位系统的光学相机抖动校正中，由于光学系统12的 透镜根据相机抖动量而移动固定的量，所以不考虑像素位置的依赖性。 因此，获得了这样的图像：该图像大体上与对整个图像均一地校正了图 像中心处的位置偏移的图像相同。因此，能够通过如下方式对经过桶形 移位校正的图像的边缘的失真进行校正：使用用于控制桶形移位的相机 抖动信息来校正每个像素的移动量，其中所述移动量是通过从相机抖动 时的每个像素的移动量中减去图像中心处的位置偏移而求得的剩余量 (像素位置依赖量)。
为了获得输入图像中的坐标A’，对于图像传感器21的有效像素， 当水平方向上的像素数为W，垂直方向上的像素数为H，从光学系统12 的透镜中心到图像传感器21的摄像元件的距离为L(对应于像素数)， 且水平方向上的视角的1/2为角度β时，假定坐标O(x0，y0)为图像传 感器21的有效像素的中心，则根据上述的公式(12)求出作为水平方向 上的视角的1/2的角度β。
因此，可通过上述的公式(13)来获得从光学系统12的透镜中心到 图像传感器21的摄像元件的距离为L(对应于像素数)
注意，作为水平方向上的视角的1/2的角度β和距离L(对应于像素 数)是专用于摄像装置11的摄像模式(例如，输出所有像素的摄像模式、 输出薄化像素的摄像模式和输出像素的切出部分的摄像模式)、图像传 感器21的摄像元件和光学系统12的透镜的值。
此时，通过上述的公式(14)来表示坐标A的位置处的俯仰方向上 的角度αp和坐标A的位置处的偏航方向上的角度αy。
因此，当摄像装置11抖动了俯仰角θp时，在图像的中心位置处， 像素位置在Y方向上移动L·tan(-θp)个像素。而且，在坐标A的位置上， 像素位置在Y方向上移动了由上述的公式(15)表示的Y方向移动量 ΔYp。
此时，如上面参考图6和图7所述，像素位置既在X方向移动，又 Y方向上移动。当作为目的地的X坐标具有由上述的公式(16)表示的 关系时，则如上述的公式(17)所表示，坐标在X方向上被设定为L2/L1 倍。
因此，X坐标移动至由上述的公式(18)表示的位置，且通过上述 的公式(19)来获得X坐标移动量ΔXp。
这里，在桶形移位系统中，由于通过驱动光学系统12的透镜针对整 个图像校正中心处的抖动，所以可通过如下的公式(33)来获得Y方向 移动量ΔYp。
[公式33]
ΔYp＝L·(tan(αp+(-θp))-tanαp-tan(-θp)···(33)
另外，由于在桶形移位系统中不考虑X方向上的移位，所以还是通 过上述的公式(19)表示X方向移动量ΔXp。
与发生俯仰角θp的抖动的情况下类似，当摄像装置11抖动了偏航 角θy时，在图像的中心位置处，像素位置在X方向上移动L·tan(-θy)个 像素。而且，在坐标A的位置上，像素位置在X方向上移动了由上述的 公式(20)表示的X方向移动量ΔXy。
另外，类似地，像素位置既在Y方向移动，又X方向上移动。当作 为目的地的Y坐标具有由上述的公式(21)表示的关系时，则如上述的 公式(22)所表示，坐标在Y方向上被设定为L4/L3倍。
因此，Y坐标移动至由上述的公式(23)表示的位置，且通过上述 的公式(24)来获得Y坐标移动量ΔYy。
这里，在桶形移位系统中，由于通过驱动光学系统12的透镜针对整 个图像校正中心处的抖动，所以可通过如下的公式(34)来获得Y方向 移动量ΔYy。
[公式34]
ΔYy＝L·(tan(αy+(-θy))-tanαy-tan(-θy))···(34)
另外，由于在桶形移位系统中不考虑X方向上的移位，所以还是通 过上述的公式(20)表示X方向移动量ΔXy。
注意，由于桶形移位系统无法对滚转角θr进行校正，所以不进行滚 转角θr的校正。
因此，作为最简单的方法，将通过单独地计算俯仰角θp和偏航角θy 在两个方向上的相机抖动的影响而求出的结果加在一起，且将通过如下 的公式(35)来获得综合的X方向移动量ΔX和综合的Y方向移动量ΔY。
[公式35]
ΔX＝ΔXp+ΔXy
ΔY＝ΔYp+ΔYy···(35)
因此，可通过如下的公式(36)来求出坐标A’的待求的X坐标X’， 且可通过如下的公式(37)来求出坐标A’的待求的Y坐标Y’。
[公式36]
[公式37]
另外，由于坐标A(X，Y)具有由如下的公式(38)表示的关系， 所以通过公式(39)来表示坐标A’的X坐标X’和Y坐标Y’。
[公式38]
X＝L·tanαy
Y＝L·tanαp···(38)
[公式39]
X'＝X·cosαp/cos(αp+(-θp))
+L·(tan(αy+(-θy))-tan(-θp))-X
Y'＝L·(tan(αp+(-θp))-tan(-θy))
+Y·cosαy/cos(αy+(-θy))-Y···(39)
这里，由于坐标A’(X’，Y’)是距坐标O(x0，y0)的相对位置， 所以可根据上述的公式(32)来读取输出图像中的坐标A’(x’，y’)的 值。
于是，当针对所有像素进行求出输出图像中的坐标A’(x’，y’)的 处理时，可获得校正了相机抖动的校正图像。注意，虽然这里已经对桶 形移位系统的在俯仰方向和偏航方向上的校正进行了说明，但是还可增 加滚转方向上的校正。
同时，在上述的相机抖动校正处理的第一处理示例至第三处理示例 中，由于输出图像中的坐标A’(x’，y’)并不总是对应于输入图像上的 像素的中心位置，所以需要通过从周边的像素的插值来获得像素值。即， 由于构成校正图像(输出图像)的每个像素的像素位置不对应于构成校 正之前的图像(输入图像)的每个像素的像素位置，所以通过从用于构造校正图像的预定像素周围的多个像素进行插值来求出预定像素的像素 值。
这种插值法可使用诸如最邻近法(nearest neighbor method)、双线 性法(bilinear method)和双三次法(bicubic method)等各种插值技术。 另外，虽然用于插值和计算方法的周边的像素根据输入图像和输出图像 的形式(例如，根据像素位置确定颜色的拜尔图像、各个像素具有相同 颜色(RGB三色或单色)的图像和YUV图像)是不同的，但是它们的 共同点都是求出以各自的形式计算的像素的值。
另外，在上述的相机抖动校正处理的第一处理示例至第三处理示例 中，当像素的待求出的位置处于图像之外时，需要进行回零等以作为像 素值或者对校正量添加限制以防止位置处于在图像之外的处理。这里， 当回零等以作为像素值时，与原始图像不同的数据被写入输出图像的周 边，但是能够进行从原始图像的某个范围裁切出最终的输出图像或者对 裁切出的图像进行放大的处理。通常，当制作尺寸在校正待校正的角度 的范围内大于最终输出图像的图像作为输入图像时，能够防止对最终输 出图像产生这种影响。
另外，在此实施例中，为便于说明，已说明了计算所有像素的校正 位置以对图像进行校正的示例，但是可使用如下方法，在该方法中，将 整个图像分割成多个区块，且求得每个分割区块的代表点的校正位置， 并且通过从代表点的校正位置的值的插值求出每个像素的校正位置。另 外，可通过使用近似计算等来简化数值计算。
注意，在桶形移位系统(第三处理示例)中，由于通过透镜的移动 来校正图像的中心处的抖动，所以与第一和第二处理示例相比，针对相 同角度的抖动量而求得的像素的位置处于图像之外的量减小。
另外，特别是在拍摄移动图像时，由于在图像的边缘附近出现大的 失真，所以在过去进行仅裁切出图像的中央(在图像的中央这样的失真 小)的处理或者使图像传感器单元的视角变窄的处理。相比之下，在由 应用了本发明的摄像装置11进行的相机抖动校正处理中，由于可对图像 的边缘附近的失真进行校正，所以能够扩大摄像装置11的视角。
接下来，图22图示了用于说明由图11的摄像装置11执行的摄像方 法的流程图。
例如，当打开摄像装置11并将其设定成使相机抖动校正处理有效 时，处理开始。在步骤S11中，陀螺仪传感器22开始以恒定的时序输出 相机抖动量信号(陀螺仪数据)，且信号同步单元23从陀螺仪传感器22 顺序地获得相机抖动量信号。
在步骤S12中，图像传感器21在根据水平同步信号的时序处输出图 像信号，且信号同步单元23从图像传感器21顺序地获得图像信号。
在步骤S13中，信号同步单元23进行相机抖动量与图像信号之间的 同步并且将它们输出至相机抖动校正处理单元25。
在步骤S14中，相机抖动校正处理单元25计算每个像素位置的偏移 量。例如，相机抖动校正处理单元25根据上述的公式(15)、公式(19)、 公式(20)、公式(24)和公式(26)进行计算，并基于这些计算结果 计算每个像素位置的综合X方向移动量ΔX和综合Y方向移动量ΔY。
在步骤S15中，相机抖动校正处理单元25基于步骤S14中计算的每 个像素位置的偏移量对图像进行校正。例如，相机抖动校正处理单元25 通过执行上述的公式(31)的计算以获得每个坐标A(X，Y)的坐标A’ (X’，Y’)来对图像进行校正。在步骤S15的处理之后，处理返回至步 骤S11，且对将要处理的下一帧重复类似的处理。
同时，如参考图5所述，当误差距离δ(θ，α，D)处于小于2个像 素的区域中时，被摄体表面上的点A与点A’之间的距离差就不明显。因 此，当进行使用上述的公式(6)的校正量Δy和上述的公式(8)的校正 量Δx的相机抖动校正处理时，能够获得充分地抑制相机抖动的生成的图 像。然而，例如，对于具有短的被摄体距离D的被摄体，误差距离δ(θ， α，D)可等于或大于2个像素，且即使在相机抖动校正处理之后也可能 获得具有明显的相机抖动的图像。
于是，例如，通过进行如下的相机抖动校正处理能够抑制具有短的 被摄体距离D的被摄体的相机抖动：在该相机抖动校正处理中，将使用 被摄体距离D的额外校正量增添至上述的公式(6)的校正量Δy和上述 的公式(8)的校正量Δx。例如，通过使用自动对焦(AF)功能估算到 将被对焦的被摄体的被摄体距离D，进行根据该被摄体距离D的相机抖 动校正处理以使被摄体处的相机抖动得到最大程度地抑制。
接下来，图23是图示了本发明的摄像装置的另一实施例的构造示例 的框图。
图23图示了进行根据到将被对焦的被摄体的被摄体距离D的相机 抖动校正处理的摄像装置11B。注意，在图23的摄像装置11B中，使用 相同的附图标记来表示与图1的摄像装置11相同的结构元件，且省略对 这些结构元件的详细说明。
如图23所示，除了图1的摄像装置11的构造之外，摄像装置11B 还包括AF传感器31、AF控制单元32、AF驱动单元33和距离估算单 元34。
AF传感器31例如具有嵌入图像传感器21的传感器表面中的多个相 位差检测像素。所述相位差检测像素是通过组合具有左半遮光部的像素 与具有右半遮光部的像素而构成的，并且布置在传感器表面上的预定位 置。由从具有左半遮光部的像素输出的图像信号形成的图像以及由从具 有右半遮光部的像素输出的图像信号形成的图像从AF传感器31被提供 至AF控制单元32。
AF控制单元32基于从AF传感器31提供的两个图像上的被摄体位 置的偏移来计算到将被对焦的被摄体的距离。然后，AF控制单元32确 定用于光学系统12的对焦调整的透镜的透镜位置以在该距离上对焦，并 将具有与确定的透镜位置相对应的电流值的AF控制信号提供至AF驱动 单元33。
AF驱动单元33具有用于驱动光学系统12的对焦调整用的透镜的驱 动器，并根据从AF控制单元32提供的AF控制信号的电流值来驱动用 于对焦调整的透镜，以在被摄体上对焦。
距离估算单元34被提供有从AF控制单元32输出至AF驱动单元 33的AF控制信号，且距离估算单元34根据AF控制信号的电流值估算 到将被对焦的被摄体的被摄体距离D。距离估算单元34接着将根据AF 控制信号的电流值估算出的被摄体距离D提供至相机抖动校正处理单元 25。
这里，将参考图24对AF控制信号的电流值与被摄体距离D之间的 关系进行说明。
如图24的A所示，当从透镜到被摄体的距离为物距a，且从透镜到 传感器表面的距离为像距b时，物距a与像距b之间的关系取决于透镜 的焦距f。
即，如图24的B所示，通过高斯成像公式(1/f＝1/a+1/b)求出物距 a与像距b之间的关系。在图24的B中，横轴表示物距a，纵轴表示像 距b，且物距a越短，则像距b越长。尤其是当将被对焦的被摄体非常靠 近时，即当物距a极短时，像距b急剧地变长。
另外，AF驱动单元33根据从AF控制单元32提供的AF控制信号 的电流值线性地驱动用于光学系统12的对焦调整的透镜。在图24的C 中，横轴表示AF控制信号的电流值，纵轴表示用于对焦调整的透镜的 透镜位置，且用于对焦调整的透镜的透镜位置关于AF控制信号的电流 值近似线性地变化。
因此，距离估算单元34能够基于这样的近似线性的关系由提供至 AF驱动单元33的AF控制信号的电流值计算被AF驱动单元33驱动的 用于对焦调整的透镜的透镜位置。于是，当根据用于对焦调整的透镜的 透镜位置确定物距a时，距离估算单元34能够根据图24的B所示的高 斯成像公式计算像距b，以估算到将被对焦的被摄体的被摄体距离D。
距离估算单元34将以此方式估算出的被摄体距离D提供至相机抖 动校正处理单元25，且相机抖动校正处理单元25能够进行根据该被摄体 距离D的相机抖动校正处理。例如，如上所述，当到将被对焦的被摄体 的被摄体距离D近到误差距离δ(θ，α，D)为2个像素以上的程度时， 相机抖动校正处理单元25能够通过使用被摄体距离D求出将被添加至上 述公式(6)的校正量Δy和上述公式(8)的校正量Δx的额外校正量， 使得能够通过使用添加了该额外校正量而求出的校正量来进行相机抖动 校正处理。这使得在将被对焦的被摄体处的误差距离δ(θ，α，D)减小 至2个像素以下。
图25图示了当摄像装置11B在滚转方向上发生抖动时求出的预定的 被摄体距离D与X方向上的误差距离δx之间的关系的示例。
如图25所示，例如，当到摄像装置11B的滚转方向上的旋转中心的 距离r为100mm，且抖动角度θ为0.5°时，X方向上的移动量r·sinθ算 出为872.7μm，且Y方向上的移动量r·(1-cosθ)算出为3.8μm。
然后，当被摄体距离D为2.4m时，在X方向上能够拍摄图像的范 围(＝2·D·TANβ)算出为2.47m。根据上述的公式(5)，X方向上的误 差距离δx算出为1.5。类似地，当被摄体距离D为1.4m时，在X方向 上能够拍摄图像的范围算出为1.44m。X方向上的误差距离δx算出为2.5。另外，当被摄体距离D为0.35m时，在X方向上能够拍摄图像的 范围算出为0.36m。X方向上的误差距离δx算出为10.1。
以此方式，当到将被对焦的被摄体的被摄体距离D近时，且X方向 上的误差距离δx为2个像素以上时，在被摄体中以X方向上的误差距离 δx发生抖动。因此，当将X方向上的误差距离δx添加至校正值以进行 相机抖动校正处理时，能够抑制将被对焦的被摄体中的相机抖动。即， 相机抖动校正处理单元25进行这样的相机抖动校正处理：在所述相机抖 动校正处理中，添加了X方向上的误差距离δx作为将被添加至上述公式 (8)的校正量Δx的额外校正量(将额外被校正的像素数)。
这里，已对X方向上的校正进行了说明，但是相机抖动校正处理单 元25在Y方向上也类似地进行这样的相机抖动校正处理：在所述相机抖 动校正处理中，添加了Y方向上的误差距离δy作为将被添加至上述公式 (6)的校正量Δy的额外校正量。
即，如下，可使用通过将Y方向上的误差距离δy添加至上述的公 式(6)而获得的公式(40)来计算当进行根据到将被对焦的被摄体的被 摄体距离D的相机抖动校正处理时在Y方向上的校正量Δy。
[公式40]
然而，在公式(40)中，d表示从传感器表面S的中心点到光瞳位 置I的光学瞳距，α表示从光瞳位置I到被摄体表面上的点A的仰角，θ 表示绕着旋转中心O的抖动角度，r表示作为从旋转中心O到传感器表 面S的中心点的距离的旋转半径，D表示到将被对焦的被摄体的被摄体 距离，Ny表示图像传感器21在Y轴方向上的一边的像素数，且β表示 图像传感器21在Y轴方向上的最大视角。
类似地，如下，可通过将X方向上的误差距离δx添加至上述公式 (8)而获得的公式(41)来计算进行根据到将被对焦的被摄体的被摄体 距离D的相机抖动校正处理时在X方向上的校正量Δx。
[公式41]
然而，在公式(41)中，d表示从传感器表面S的中心点到光瞳位 置I的光学瞳距，α表示从光瞳位置I到被摄体表面上的点A的仰角，θ 表示绕着旋转中心O的抖动角度，r表示作为从旋转中心O到传感器表 面S的中心点的距离的旋转半径，D表示到将被对焦的被摄体的被摄体 距离，Nx表示图像传感器21在X轴方向上的一边的像素数，且γ表示 图像传感器21在X轴方向上的最大视角。
例如，提前计算误差距离δ(θ，α，D)为2个像素以上的被摄体距 离，并能够将这样的被摄体距离设定为相机抖动校正处理单元25的阀值。 然后，当由距离估算单元34估算出的被摄体距离D小于该阀值时，相机 抖动校正处理单元25能够进行根据到将被对焦的被摄体的被摄体距离D 的相机抖动校正处理。
因此，摄像装置11B能够进行相机抖动校正处理以使得将被对焦的 被摄体中相机抖动被最大程度地减小。因此，即使当被摄体非常近时， 也能够更可靠地抑制相机抖动的出现，从而提高图像质量。另外，仅当 误差距离δ(θ，α，D)为2个像素以上的被摄体距离被提前计算出并且 该被摄体距离小于阀值时，摄像装置11B仅需要进行根据该被摄体距离 D的相机抖动校正处理，并能够减小处理负载。
图26是用于通过对比来说明根据被摄体距离D的相机抖动校正处 理的效果的图。
图26图示了标尺布置在前侧且具有格子图案的面板布置在后侧时 拍摄的图像。图26的A图示了未经过相机抖动校正处理的图像，图26 的B图示了当被摄体距离D被设定至布置有标尺的位置时经过相机抖动 校正处理的图像，且图26的C图示了当被摄体距离D被设定至布置有 格子图案的位置时经过相机抖动校正处理的图像，
从图26的A中所示的图像可以看出，当图像未经过相机抖动校正 处理时，在标尺和格子图案中都出现相机抖动。另外，从图26的B中所 示的图像可以看出，当在被摄体距离D被设定至布置有标尺的位置的条 件下对图像进行相机抖动校正处理时，抑制了关于标尺的相机抖动但是 在后侧的格子图案中出现了相机抖动。另外。从图26的C中所示的图像 可以看出，当在被摄体距离D被设定至布置有格子图案的位置的条件下 对图像进行相机抖动校正处理时，抑制了关于格子图案的相机抖动但在 前侧的标尺中出现了相机抖动。
以此方式，当进行根据被摄体距离D的相机抖动校正处理时，能够 有效地抑制有关将被对焦的被摄体的相机抖动。
注意，如参考图24的C所述，用于对焦调整的透镜的透镜位置关于 AF控制信号的电流值具有近似线性地变化的关系，但是该关系例如根据 摄像装置11的姿态可以不是近似线性的。即，例如当摄像装置11朝上 时与当摄像装置11朝下时，用于对焦调整的透镜的透镜位置根据作用在 用于对焦调整的透镜的重力而是不同的。
因此，摄像装置11B可基于摄像装置11的姿态通过校正被摄体距离 D来计算更精确的校正量。
即，例如，在摄像装置11中，陀螺仪传感器22测量重力方向(即， 摄像装置11的姿态)，并将该重力方向提供至距离估算单元34。然后， 保持预定重力方向与被摄体距离D的校正量之间的对应关系的距离估算 单元34能够根据从陀螺仪传感器22提供的重力方向对被摄体距离D进 行校正。因此，即使当摄像装置11采取任何姿态时，也能够精确地进行 相机抖动校正处理。
注意，在摄像装置11B中，AF传感器31不限于相位差检测像素嵌 入图像传感器21的传感器表面中的构造。例如，摄像装置11B可具有通 过分割向着图像传感器21传播的光的一部分来获得到被摄体的距离的构 造，或者基于与从图像传感器21输出的图像的对比度来获得到被摄体的 距离的构造。
另外，摄像装置11B可具有如下构造：AF控制单元32直接将用于 表示到被摄体的距离的信号提供至相机抖动校正处理单元25而未设置有 距离估算单元34。另外，摄像装置11B可具有AF驱动单元33根据脉冲 信号驱动用于对焦调整的透镜的构造，且在此情况下，AF控制单元32 能够输出脉冲信号作为AF控制信号，且距离估算单元34能够通过对脉 冲进行计数来估算到被摄体的距离。
图27是图示了本发明的固体摄像元件的实施例的构造示例的框图。
如图27所示，固体摄像元件51包括像素阵列单元52、行扫描单元 53、列处理单元54、列扫描单元55、输出单元56、控制单元57和逻辑 电路58。
在像素阵列单元52中，多个像素61布置成阵列，且根据来自行扫 描单元53的控制针对各行驱动像素61，并且针对每列将根据由光电转换 生成的电荷的像素信号并行地输出至列处理单元54。
行扫描单元53提供用于针对各行地驱动像素阵列单元52的像素61 的驱动信号(例如，传输信号、选择信号和复位信号)。
列处理单元54针对每列并行地进行从像素阵列单元52的像素61提 供的像素信号的模拟/数字(A/D)转换，并根据来自列扫描单元55的控 制顺序地将转换后的信号提供至输出单元56。
列扫描单元55控制列处理单元54以预定的时序顺序地输出像素信 号。
输出单元56例如在以预定的增益放大从列处理单元54提供的像素 信号之后输出这些像素信号。
控制单元57提供作为行扫描单元53、列处理单元54、列扫描单元 55和输出单元56的驱动的基准的时钟信号或者用于控制所述驱动的控 制信号。
逻辑电路58具有陀螺仪传感器22、信号同步单元23、参数保持单 元24和相机抖动校正处理单元25。陀螺仪传感器22、信号同步单元23、 参数保持单元24和相机抖动校正处理单元25在构造上与图1的陀螺仪 传感器22、信号同步单元23、参数保持单元24和相机抖动校正处理单 元25类似，且省略对它们的详细说明。
即，固体摄像元件51可进行与本文中的图1的相机模块15的相机 抖动校正处理类似的相机抖动校正处理。注意，例如，逻辑电路58可作 为像素阵列单元52的外围电路而与像素阵列单元52被设置在同一电路 板上；或可设置在与像素阵列单元52的电路板不同的电路板上，这两个 电路板层叠。
以此方式，固体摄像元件51能够输出经过相机抖动校正处理的图 像。
注意，除摄像装置之外，本发明还可被应用至诸如个人计算机等获 取图像数据和与该图像数据同步的陀螺仪数据以提供后期相机抖动校正 处理的装置。
此外，还可以如下构成本发明。
(1)
一种摄像装置，其包括：
摄像单元，其拍摄被摄体以输出拍摄的图像；
检测单元，其物理地检测所述摄像单元发生抖动时的抖动角度；以 及
校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素 的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量， 并且根据所述校正量对所述图像进行校正。
(2)
根据(1)所述的摄像装置，
其中，所述校正处理单元根据在垂直方向和在水平方向上距所述图 像的大致中心的的距离而使用不同的所述校正量。
(3)
根据(1)或(2)所述的摄像装置，
其中，通过使用作为从用于在所述摄像单元的传感器表面上形成所 述被摄体的像的光学系统的光瞳位置到所述摄像单元的所述传感器表面 的光学距离的瞳距、从所述摄像单元提供的所述图像的预定像素的布置 位置、从所述光瞳位置相对于所述传感器表面上的与所述布置位置相对 应的点的仰角以及所述抖动角度，所述校正处理单元根据几何光学的计 算公式进行计算，以计算出每个像素的所述校正量。
(4)
根据(3)所述的摄像装置，
其中，所述校正量由上述公式(6)和公式(8)表示，在所述公式 (6)或(8)中，Δx表示所述图像的在水平方向上的所述校正量，Δy 表示所述图像的在垂直方向上的所述校正量，d表示所述瞳距，α表示所 述仰角，θ表示所述抖动角度，且X表示将被校正的像素的距所述图像 的所述大致中心在水平方向上的距离。
(5)
根据(1)至(4)中任一项所述的摄像装置，
其中，所述校正处理单元进行从用于构成校正图像的所述预定像素 周围的预定数量的像素的插值，以获得所述预定像素的像素值，使得构 成根据所述校正量校正的所述校正图像的每个像素的像素位置对应于构 成所述校正之前的所述图像的每个像素的像素位置。
(6)
根据(1)至(5)中任一项所述的摄像装置，还包括：
同步单元，其使得从所述摄像单元输出的所述图像与从所述检测单 元输出的所述抖动角度同步，以将所述图像和所述抖动角度传输至所述 校正处理单元。
(7)
根据(1)至(6)中任一项所述的摄像装置，
其中，所述同步单元针对从所述摄像单元输出的所述图像的各水平 行使从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动 角度同步。
(8)
根据(1)至(7)中任一项所述的摄像装置，
其中，当所述摄像单元发生抖动时，所述校正处理单元计算用于对 所述图像上下方向移动时的所述抖动角度对所述图像的上下方向上的影 响进行校正的校正量，并且计算用于对所述图像上下方向移动时的所述 抖动角度对所述图像的水平方向上的影响进行校正的校正量，且
其中，当所述摄像单元发生抖动时，所述校正处理单元计算用于对 所述图像水平方向移动时的所述抖动角度对所述图像的水平方向上的影 响进行校正的校正量，并且计算用于对所述图像水平方向移动时的所述 抖动角度对所述图像的上下方向上的影响进行校正的校正量。
(9)
根据(1)至(7)中任一项所述的摄像装置，
其中，所述摄像单元通过使用全局快门系统来拍摄所述图像，在所 述全局快门系统中几乎在同一时间记录整个图像。
(10)
根据(1)至(7)中任一项所述的摄像装置，
其中，所述摄像单元通过使用卷帘快门系统来拍摄所述图像，在所 述卷帘快门系统中所述图像内的各水平行的拍摄时序是不同的。
(11)
根据(1)至(10)中任一项所述的摄像装置，还包括：
驱动单元，其基于由所述检测单元检测出的所述抖动角度在所述摄 像单元上的所述图像不移动的方向上以几乎与所述摄像单元的所述传感 器表面平行的方式驱动用于在所述摄像单元的所述传感器表面上形成所 述被摄体的像的光学系统的透镜，
其中，通过这样的平行驱动来对所述图像表面上的不依赖于所述所 述像素的所述布置位置的部分进行校正。
(12)
根据(3)所述的摄像装置，
其中，所述校正处理单元还使用作为从所述光瞳位置到将被对焦的 所述被摄体的光学距离的被摄体距离来计算用于额外地对所述校正量进 行校正的额外校正量，并进行根据所述被摄体距离的相机抖动校正处理。
(13)
根据(12)所述的摄像装置，
其中，进行根据所述被摄体距离的所述相机抖动校正处理时的所述 校正量由上述公式(40)和公式(41)表示，在所述公式(40)和公式 (41)中，Δx表示所述图像的在水平方向上的所述校正量，Δy表示所 述图像的在垂直方向上的所述校正量，d表示所述瞳距，α表示所述仰角， θ表示所述抖动角度，X表示将被校正的像素距所述图像的所述大致中心在水平方向上的距离，r表示作为所述摄像装置发生抖动时从旋转中心到 所述传感器表面的中心点的距离的旋转半径，D表示到将被对焦的所述 被摄体的所述被摄体距离，Ny表示所述摄像单元的在垂直方向上的一边 的像素数，β表示所述摄像单元的在垂直方向上的最大视角，Nx表示所 述摄像单元的在水平方向上的一边的像素数，且γ表示所述摄像单元的在水平方向上的最大视角。
(14)
根据(12)或(13)所述的摄像装置，
其中，当到将被对焦的所述被摄体的所述被摄体距离等于或小于先 前设定的预定阀值时，所述校正处理单元进行根据所述被摄体距离的所 述相机抖动校正处理。
(15)
根据(12)至(14)中任一项所述的摄像装置，还包括：
对焦驱动单元，其驱动用于所述光学系统的对焦调整的透镜，以在 期望的所述被摄体上对焦；以及
被摄体距离估算单元，其基于控制信号估算到将被对焦的所述被摄 体的所述被摄体距离，所述控制信号用于控制所述对焦驱动单元对用于 对焦调整的所述透镜进行的所述驱动。
(16)
根据(15)所述的摄像装置，
其中，所述检测单元检测重力加速度的方向，以将重力加速度的所 述方向提供至所述被摄体距离估算单元，且
其中，所述被摄体距离估算单元根据重力加速度的所述方向对估算 出的所述被摄体距离进行校正。
(17)
一种固体摄像元件，其包括：
摄像单元，其拍摄被摄体以输出拍摄的图像；
检测单元，其物理地检测所述摄像单元发生抖动时的抖动角度；以 及
校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素 的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量， 并且根据所述校正量对所述图像进行校正。
(18)
一种相机模块，其包括：
摄像单元，其拍摄被摄体以输出拍摄的图像；
检测单元，其物理地检测所述摄像单元发生抖动时的抖动角度；以 及
校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素 的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量， 并且根据所述校正量对所述图像进行校正。
(19)
一种电子设备，其包括：
摄像单元，其拍摄被摄体以输出拍摄的图像；
检测单元，其物理地检测所述摄像单元发生抖动时的抖动角度；以 及
校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素 的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量， 并且根据所述校正量对所述图像进行校正。
(20)
一种用于摄像装置的摄像方法，所述摄像装置包括拍摄被摄体以输 出拍摄的图像的摄像单元以及物理地检测所述摄像单元发生抖动时的抖 动角度的检测单元，所述方法包括如下步骤：
通过所述摄像单元输出所述图像；
通过所述检测单元输出所述抖动角度；以及
基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由 所述检测单元检测出的所述抖动角度来计算校正量，并且根据所述校正 量对所述图像进行校正。
上面已参考附图对本发明的优选实施例进行了说明，当然，本发明 不限于上述示例。本领域技术人员可在本发明所附的权利要求的范围内 获得各种改变和修改，且应当理解的是，这些改变和修改将自然在本发 明的技术范围内。
附图标记列表
11 摄像装置
12 光学系统
13 记录媒介
14 显示器
15 相机模块
21 摄像元件
22 陀螺仪传感器
23 信号同步单元
24 参数保持单元
25 相机抖动校正处理单元
26 驱动单元
51 固体摄像元件
52 像素阵列
53 行扫描单元
54 列处理单元
55 列扫描单元
56 输出单元
57 控制单元
58 逻辑电路

Claims (19)

1.一种摄像装置，其包括：
摄像单元，其拍摄被摄体以输出拍摄的图像；
检测单元，其物理地检测所述摄像单元发生抖动时的抖动角度；以及
校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算每个像素的校正量，并且根据所述校正量对所述图像进行校正，
其中，通过使用作为从用于在所述摄像单元的传感器表面上形成所述被摄体的像的光学系统的光瞳位置到所述摄像单元的所述传感器表面的光学距离的瞳距、从所述摄像单元提供的所述图像的预定像素的布置位置、从所述光瞳位置相对于所述传感器表面上的与所述布置位置相对应的点的仰角以及所述抖动角度，所述校正处理单元根据几何光学的计算公式进行计算，以计算出每个像素的所述校正量。
2.如权利要求1所述的摄像装置，
其中，所述校正处理单元根据在垂直方向上和在水平方向上距所述图像的中心的距离而使用不同的所述校正量。
3.如权利要求1所述的摄像装置，
其中，所述校正量由如下的公式(1)和公式(2)表示：
[公式1]
Δy＝d·(TANα-TAN(α+θ))…(1)
[公式2]
在所述公式(1)或(2)中，Δx表示所述图像的在水平方向上的所述校正量，Δy表示所述图像的在垂直方向上的所述校正量，d表示所述瞳距，α表示所述仰角，θ表示所述抖动角度，且X表示将被校正的像素的距所述图像的中心在水平方向上的距离。
4.如权利要求1所述的摄像装置，
其中，所述校正处理单元进行从用于构成校正后图像的预定的所述像素周围的预定数量的所述像素的插值，以获得预定的所述像素的像素值，使得构成根据所述校正量校正的所述校正后图像的每个像素的像素位置对应于构成校正前图像的每个像素的像素位置。
5.如权利要求1所述的摄像装置，还包括：
同步单元，其使得从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动角度同步，以将所述图像和所述抖动角度传输至所述校正处理单元。
6.如权利要求5所述的摄像装置，
其中，所述同步单元针对从所述摄像单元输出的所述图像的各水平线使从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动角度同步。
7.如权利要求1所述的摄像装置，
其中，当所述摄像单元发生抖动时，所述校正处理单元计算用于对所述图像上下方向移动时的所述抖动角度对所述图像的上下方向上的影响进行校正的校正量，并且计算用于对所述图像上下方向移动时的所述抖动角度对所述图像的水平方向上的影响进行校正的校正量，且
其中，当所述摄像单元发生抖动时，所述校正处理单元计算用于对所述图像水平方向移动时的所述抖动角度对所述图像的水平方向上的影响进行校正的校正量，并且计算用于对所述图像水平方向移动时的所述抖动角度对所述图像的上下方向上的影响进行校正的校正量。
8.如权利要求1所述的摄像装置，
其中，所述摄像单元通过使用全局快门系统来拍摄所述图像，在所述全局快门系统中几乎在同一时间记录整个所述图像。
9.如权利要求1所述的摄像装置，
其中，所述摄像单元通过使用卷帘快门系统来拍摄所述图像，在所述卷帘快门系统中所述图像内的各水平线的拍摄时序是不同的。
10.如权利要求1所述的摄像装置，还包括：
驱动单元，其基于由所述检测单元检测出的所述抖动角度在所述摄像单元上的所述图像不移动的方向上以几乎与所述摄像单元的传感器表面平行的方式驱动用于在所述摄像单元的所述传感器表面上形成所述被摄体的像的光学系统的透镜，
其中，通过这样的平行驱动来对所述图像表面上的不依赖于所述所述像素的所述布置位置的部分进行校正。
11.如权利要求1所述的摄像装置，
其中，所述校正处理单元还使用作为从所述光瞳位置到将被对焦的所述被摄体的光学距离的被摄体距离来计算用于额外地对所述校正量进行校正的额外校正量，并进行根据所述被摄体距离的相机抖动校正处理。
12.如权利要求11所述的摄像装置，
其中，进行根据所述被摄体距离的所述相机抖动校正处理时的所述校正量由如下的公式(3)和公式(4)表示：
[公式3]
[公式4]
在所述公式(3)和公式(4)中，Δx表示所述图像的在水平方向上的所述校正量，Δy表示所述图像的在垂直方向上的所述校正量，d表示所述瞳距，α表示所述仰角，θ表示所述抖动角度，且X表示将被校正的像素的距所述图像的中心在水平方向上的距离，r表示作为所述摄像装置发生抖动时从旋转中心到所述传感器表面的中心点的距离的旋转半径，D表示到将被对焦的所述被摄体的所述被摄体距离，Ny表示所述摄像单元的在垂直方向上的一边的像素数，β表示所述摄像单元的在垂直方向上的最大视角，Nx表示所述摄像单元的在水平方向上的一边的像素数，且γ表示所述摄像单元的在水平方向上的最大视角。
13.如权利要求11所述的摄像装置，
其中，当到将被对焦的所述被摄体的所述被摄体距离等于或小于先前设定的预定阀值时，所述校正处理单元进行根据所述被摄体距离的所述相机抖动校正处理。
14.如权利要求11所述的摄像装置，还包括：
对焦驱动单元，其驱动用于所述光学系统的对焦调整的透镜，以在期望的所述被摄体上对焦；以及
被摄体距离估算单元，其基于控制信号来估算到将被对焦的所述被摄体的所述被摄体距离，所述控制信号用于控制所述对焦驱动单元对用于对焦调整的所述透镜进行的所述驱动。
15.如权利要求14所述的摄像装置，
其中，所述检测单元检测重力加速度的方向，以将重力加速度的所述方向提供至所述被摄体距离估算单元，且
其中，所述被摄体距离估算单元根据重力加速度的所述方向对估算出的所述被摄体距离进行校正。
16.一种固体摄像元件，其包括：
摄像单元，其拍摄被摄体以输出拍摄的图像；
检测单元，其物理地检测所述摄像单元发生抖动时的抖动角度；以及
校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算每个像素的校正量，并且根据所述校正量对所述图像进行校正，
其中，通过使用作为从用于在所述摄像单元的传感器表面上形成所述被摄体的像的光学系统的光瞳位置到所述摄像单元的所述传感器表面的光学距离的瞳距、从所述摄像单元提供的所述图像的预定像素的布置位置、从所述光瞳位置相对于所述传感器表面上的与所述布置位置相对应的点的仰角以及所述抖动角度，所述校正处理单元根据几何光学的计算公式进行计算，以计算出每个像素的所述校正量。
17.一种相机模块，其包括：
摄像单元，其拍摄被摄体以输出拍摄的图像；
检测单元，其物理地检测所述摄像单元发生抖动时的抖动角度；以及
校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算每个像素的校正量，并且根据所述校正量对所述图像进行校正，
其中，通过使用作为从用于在所述摄像单元的传感器表面上形成所述被摄体的像的光学系统的光瞳位置到所述摄像单元的所述传感器表面的光学距离的瞳距、从所述摄像单元提供的所述图像的预定像素的布置位置、从所述光瞳位置相对于所述传感器表面上的与所述布置位置相对应的点的仰角以及所述抖动角度，所述校正处理单元根据几何光学的计算公式进行计算，以计算出每个像素的所述校正量。
18.一种电子设备，其包括：
摄像单元，其拍摄被摄体以输出拍摄的图像；
检测单元，其物理地检测所述摄像单元发生抖动时的抖动角度；以及
校正处理单元，其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算每个像素的校正量，并且根据所述校正量对所述图像进行校正，
其中，通过使用作为从用于在所述摄像单元的传感器表面上形成所述被摄体的像的光学系统的光瞳位置到所述摄像单元的所述传感器表面的光学距离的瞳距、从所述摄像单元提供的所述图像的预定像素的布置位置、从所述光瞳位置相对于所述传感器表面上的与所述布置位置相对应的点的仰角以及所述抖动角度，所述校正处理单元根据几何光学的计算公式进行计算，以计算出每个像素的所述校正量。
19.一种用于摄像装置的摄像方法，所述摄像装置包括拍摄被摄体以输出拍摄的图像的摄像单元以及物理地检测所述摄像单元发生抖动时的抖动角度的检测单元，所述方法包括如下步骤：
通过所述摄像单元输出所述图像；
通过所述检测单元输出所述抖动角度；以及
基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算每个像素的校正量，并且根据所述校正量对所述图像进行校正，
其中，通过使用作为从用于在所述摄像单元的传感器表面上形成所述被摄体的像的光学系统的光瞳位置到所述摄像单元的所述传感器表面的光学距离的瞳距、从所述摄像单元提供的所述图像的预定像素的布置位置、从所述光瞳位置相对于所述传感器表面上的与所述布置位置相对应的点的仰角以及所述抖动角度，所述校正处理单元根据几何光学的计算公式进行计算，以计算出每个像素的所述校正量。
CN201480016625.5A 2013-03-29 2014-03-14 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 Active CN105191283B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013074760 2013-03-29
JP2013-074760 2013-03-29
JP2014034958 2014-02-26
JP2014-034958 2014-02-26
PCT/JP2014/056929 WO2014156731A1 (ja) 2013-03-29 2014-03-14 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法

Publications (2)

Publication Number Publication Date
CN105191283A CN105191283A (zh) 2015-12-23
CN105191283B true CN105191283B (zh) 2019-10-22

Family

ID=51623712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480016625.5A Active CN105191283B (zh) 2013-03-29 2014-03-14 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法

Country Status (7)

Country Link
US (1) US10051183B2 (zh)
EP (1) EP2981062B1 (zh)
JP (1) JP6327245B2 (zh)
KR (1) KR102179731B1 (zh)
CN (1) CN105191283B (zh)
TW (1) TWI655869B (zh)
WO (1) WO2014156731A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6448218B2 (ja) * 2014-05-12 2019-01-09 キヤノン株式会社 撮像装置、その制御方法および情報処理システム
WO2016127328A1 (zh) * 2015-02-11 2016-08-18 华为技术有限公司 一种测量物体尺寸的方法及装置
WO2017014071A1 (ja) 2015-07-22 2017-01-26 ソニー株式会社 カメラモジュール、固体撮像素子、電子機器、および撮像方法
KR102449354B1 (ko) * 2016-02-04 2022-09-30 삼성전기주식회사 이미지 안정화 모듈 및 카메라 모듈
KR101850363B1 (ko) * 2016-02-16 2018-04-20 주식회사 이오테크닉스 촬영장치 및 촬영방법
US9934559B2 (en) * 2016-02-19 2018-04-03 Fotonation Limited Method for correcting an acquired image
KR101993670B1 (ko) * 2016-03-17 2019-06-27 주식회사 이오테크닉스 촬영 방법 및 촬영 방법을 이용한 대상물 정렬 방법
CN105915803B (zh) * 2016-06-15 2020-06-02 惠州Tcl移动通信有限公司 一种基于传感器的拍照方法及系统
JP6740052B2 (ja) * 2016-08-02 2020-08-12 キヤノン株式会社 撮像装置およびその制御方法
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
US10868961B2 (en) 2016-08-05 2020-12-15 Sony Corporation Imaging device, solid-state image sensor, camera module, drive control unit, and imaging method
WO2018027340A1 (en) * 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Systems and methods for mobile platform imaging
JP6559366B2 (ja) 2016-10-13 2019-08-14 富士フイルム株式会社 ブレ補正装置、撮像装置、及びブレ補正方法
CN108353131B (zh) * 2016-10-17 2021-05-04 华为技术有限公司 获取图像的方法和终端设备
CN109983758B (zh) 2016-12-02 2021-11-16 索尼半导体解决方案公司 成像元件、成像方法以及电子设备
JP6569025B2 (ja) * 2017-03-28 2019-08-28 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム
JP2020095070A (ja) * 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
JP2020095069A (ja) 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
JP2018205678A (ja) * 2017-06-06 2018-12-27 米田　正人 Ｇｙｒｏデバイスを用いた手振れ補正システムおよびＧｙｒｏセンサデバイスおよびイメージセンサデバイス
KR102385360B1 (ko) * 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
JP2019121941A (ja) 2018-01-09 2019-07-22 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法、並びに画像処理システム
CN108366243B (zh) * 2018-01-23 2019-10-29 微幻科技(北京)有限公司 一种视频去抖方法及装置
JP2019135818A (ja) * 2018-02-05 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
CN110830707B (zh) 2018-08-10 2022-01-14 华为技术有限公司 镜头控制方法、装置及终端
JP2020031264A (ja) 2018-08-20 2020-02-27 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置、信号処理方法
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109698906B (zh) * 2018-11-24 2021-01-26 四川鸿景润科技有限公司 基于图像的抖动处理方法及装置、视频监控系统
KR102581210B1 (ko) * 2019-01-10 2023-09-22 에스케이하이닉스 주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서 및 이미지 센서 칩
WO2020170904A1 (ja) 2019-02-18 2020-08-27 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
WO2020189224A1 (ja) * 2019-03-15 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
CN110519507B (zh) * 2019-07-23 2021-03-19 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
JP7325308B2 (ja) * 2019-11-19 2023-08-14 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
CN113589473B (zh) * 2020-01-03 2023-09-29 支付宝(杭州)信息技术有限公司 一种镜头模组的对焦方法、装置及设备
CN111536968B (zh) * 2020-04-15 2022-08-30 阿波罗智能技术(北京)有限公司 确定路侧感知设备的动态姿态的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224462A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2001358999A (ja) * 2000-06-12 2001-12-26 Sharp Corp 画像入力装置
JP2010252123A (ja) * 2009-04-16 2010-11-04 Canon Inc 画像処理装置およびその方法
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
CN101902567A (zh) * 2008-12-08 2010-12-01 索尼株式会社 成像设备、成像方法和程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234545A (ja) * 2005-02-24 2006-09-07 Seiko Epson Corp 静止画像撮像装置
JP3925559B2 (ja) 2006-04-21 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4845817B2 (ja) * 2007-06-14 2011-12-28 富士フイルム株式会社 撮像装置，レンズユニット，撮像方法及び制御プログラム
US8395672B2 (en) * 2007-07-13 2013-03-12 Panasonic Corporation Imaging device that detects inclination of image and apparatus in a rolling direction
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
JP4926920B2 (ja) * 2007-11-16 2012-05-09 キヤノン株式会社 防振画像処理装置及び防振画像処理方法
US8885096B2 (en) * 2010-10-21 2014-11-11 Openpeak Inc. Multi-media device containing a plurality of image capturing devices
JP6071545B2 (ja) * 2012-12-27 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体
JP6151930B2 (ja) * 2013-02-19 2017-06-21 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224462A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2001358999A (ja) * 2000-06-12 2001-12-26 Sharp Corp 画像入力装置
CN101902567A (zh) * 2008-12-08 2010-12-01 索尼株式会社 成像设备、成像方法和程序
JP2010252123A (ja) * 2009-04-16 2010-11-04 Canon Inc 画像処理装置およびその方法
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法

Also Published As

Publication number Publication date
JP6327245B2 (ja) 2018-05-23
EP2981062B1 (en) 2019-11-20
US10051183B2 (en) 2018-08-14
KR102179731B1 (ko) 2020-11-17
KR20150135771A (ko) 2015-12-03
WO2014156731A1 (ja) 2014-10-02
EP2981062A4 (en) 2016-10-26
US20160057352A1 (en) 2016-02-25
TW201448594A (zh) 2014-12-16
CN105191283A (zh) 2015-12-23
TWI655869B (zh) 2019-04-01
EP2981062A1 (en) 2016-02-03
JPWO2014156731A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
CN105191283B (zh) 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107852462B (zh) 相机模块、固体摄像元件、电子设备和摄像方法
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP4509925B2 (ja) 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
US20130329074A1 (en) Shutter release using secondary camera
CN110278360B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP4748230B2 (ja) 撮像装置、撮像方法及び撮像プログラム
KR102423991B1 (ko) 촬상 소자 및 촬상 방법, 및 전자 기기
JP5657184B2 (ja) 撮像装置及び信号処理方法
CN107018309A (zh) 摄像装置和摄像装置的像抖动校正方法
JP6095266B2 (ja) 画像処理装置及びその制御方法
JP6332212B2 (ja) 姿勢推定装置、姿勢推定方法及びプログラム
JP5393877B2 (ja) 撮像装置および集積回路
JP2006148550A (ja) 画像処理装置及び撮像装置
US9648214B2 (en) Module for plenoptic camera system
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP2008235958A (ja) 撮像装置
US11729506B2 (en) Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器
WO2012053136A1 (ja) 立体映像処理回路および立体映像撮影装置
JP2016105547A (ja) 画像処理装置および画像処理方法
WO2018084051A1 (ja) 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
CN113890999A (zh) 拍摄方法及装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant