CN113396578B - 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法 - Google Patents

摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法 Download PDF

Info

Publication number
CN113396578B
CN113396578B CN202080012206.XA CN202080012206A CN113396578B CN 113396578 B CN113396578 B CN 113396578B CN 202080012206 A CN202080012206 A CN 202080012206A CN 113396578 B CN113396578 B CN 113396578B
Authority
CN
China
Prior art keywords
image
unit
position information
image pickup
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080012206.XA
Other languages
English (en)
Other versions
CN113396578A (zh
Inventor
桑原宗市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113396578A publication Critical patent/CN113396578A/zh
Application granted granted Critical
Publication of CN113396578B publication Critical patent/CN113396578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明涉及一种能够可靠地校正运动对图像的影响的摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法。驱动控制单元基于物理地检测到的经由收集来自被摄体的光的光学系统而拍摄被摄体的图像的摄像单元的运动，在光学系统和摄像单元中的至少一者相对运动且对由摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制光学系统和摄像单元中的至少一者的驱动。信号处理单元基于光轴方向位置信息、运动信息和光轴方向位置信息，根据使用针对图像上的每个坐标进行同步的位置信息、运动信息和光轴方向位置信息而转换位置的函数，来执行校正摄像单元的运动对图像的影响的信号处理。本发明可以适用于例如层叠型的CMOS图像传感器。

Description

摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像 方法
技术领域
本公开涉及一种摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法，特别地，涉及能够可靠地校正运动对图像的影响的摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法。
背景技术
常规地，使用光学式相机抖动校正(OIS：光学图像稳定器)或电子式相机抖动校正(EIS：电子图像稳定)作为在摄像装置中校正相机抖动的技术。在光学式相机抖动校正中，通过根据模糊量来相对平行地移动透镜或摄像元件并且移动摄像元件上的图像的位置，可以校正模糊。在电子式相机抖动校正中，由摄像元件拍摄的图像被剪切为输出图像，并且通过根据模糊量来移动剪切位置，可以校正模糊。
例如，相机抖动包括由于摄像元件的旋转运动引起的模糊和由于摄像元件的平行运动引起的模糊，特别地，由于摄像元件的平行运动的影响随着到被摄体的距离的增加而变小，因此停止由于摄像元件的旋转运动而引起的模糊是重要的。由于通过透镜或摄像元件的平行运动来校正这种旋转运动，因此光学式相机抖动校正技术存在周边变形的问题。类似地，由于校正是平行地移动剪切位置，因此电子式相机抖动校正也存在周边变形的问题。
此外，对于在诸如互补金属氧化物半导体(CMOS)图像传感器等使用卷帘式快门的摄像元件中所发生的由于针对各像素行的曝光时机的偏差引起的一个画面内运动量的差异而导致的变形(焦平面现象)，尚未采取措施。
因此，如专利文献1中公开的，已经提出了一种摄像装置，其能够响应于由于图像面上的位置引起的运动量的差异或者由于在一个画面内曝光时机的偏差引起的运动量的差异，来执行相机抖动校正。通过采用这种相机抖动校正，能够以极高的准确性从中央到周边来校正相机抖动，并且还能够校正由于焦平面现象引起的变形。
此外，除了专利文献1中公开的技术之外，专利文献2还提出了一种能够有效地校正透镜失真的用于相机抖动校正的技术。
引用文献列表
专利文献
专利文献1：WO 2014/156731 A
专利文献2：WO 2017/014071 A
发明内容
发明要解决的问题
顺便提一下，尽管通过上述专利文献1和2中公开的相机抖动校正可以获得良好的效果，但是还需要例如抑制平行振动的影响并且更有效地校正相机抖动。
本公开是鉴于这种情况提出的，并且旨在可靠地校正运动对图像的影响。
问题的解决方案
根据本公开一个方面的摄像装置包括：摄像单元，其构造成经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像；驱动控制单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和信号处理单元，其构造成基于其中在所述驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
根据本公开一个方面的固态摄像元件包括：摄像单元，其构造成经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像；驱动控制单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和逻辑单元，其构造成向信号处理单元提供输出，所述信号处理单元基于其中在所述驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
根据本公开一个方面的相机模块包括：光学系统，其收集来自被摄体的光；摄像单元，其经由所述光学系统而拍摄所述被摄体的图像；驱动控制单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和逻辑单元，其构造成将垂直面方向位置信息、运动信息和光轴方向位置信息以及表示将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息与所述图像上的坐标同步的时机的时机信息、连同由所述摄像单元拍摄的图像一起供给到信号处理单元，所述信号处理单元基于其中在所述驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的所述垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的所述运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的所述光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
根据本公开一个方面的驱动控制单元基于物理地检测到的经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像的摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和执行将在该控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息加到由所述摄像单元拍摄的图像上的处理，并且将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息供给到逻辑单元，所述逻辑单元构造成向信号处理单元提供输出，所述信号处理单元基于所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
根据本公开一个方面的由摄像装置实施的摄像方法包括：基于物理地检测到的经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像的摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和基于其中在该控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
在本公开的一个方面中，基于物理地检测到的经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像的摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和基于其中在该控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
附图说明
图1是示出了在摄像装置中发生的相机抖动的方向的图。
图2是示出了当旋转振动时所发生的相机抖动的影响的图。
图3是示出了当产生由于平行运动引起的偏移振动时所发生的相机抖动的影响的图。
图4是示出了当产生由于垂直运动引起的偏移振动时所发生的相机抖动的影响的图。
图5是示出了透镜和摄像元件间的距离与待成像点和透镜间的距离之间的关系的图。
图6是示出了由于偏移模糊引起的运动量的图。
图7是示出了由于旋转模糊引起的运动量的图。
图8是示出了输出图像上的点的校正的图。
图9是示出了本技术适用的摄像装置的第一实施方案的构成例的框图。
图10是示出了相机抖动校正处理的流程图。
图11是示出了在普通的光学式相机抖动校正中的可校正范围内的振动的图。
图12是示出了在普通的光学式相机抖动校正中超出可校正范围的振动的图。
图13是示出了用于复位校正位置的光学式相机抖动校正和OIS控制信息的图。
图14是示出了本技术适用的摄像装置的第二实施方案的构成例的框图。
图15是示出了OIS控制信息的图。
图16是示出了使用图像传感器的使用例的图。
具体实施方式
下文中，将参照附图详细说明本技术适用的具体实施方案。
<针对旋转模糊和偏移模糊的校正>
首先，将参照图1～7说明针对旋转模糊和偏移模糊的校正的差异。
在本实施方案中，在摄像装置11中发生的相机抖动被分类为六个方向上的运动，如图1所示。
即，在摄像装置11中，由于旋转运动在俯仰方向、偏摆方向和翻滚方向上发生相机抖动，并且由于平行运动在X方向、Y方向和Z方向上发生相机抖动。X方向是与摄像装置11的光轴方向垂直的方向且是与摄像框架的横向方向平行的方向，并且绕X方向的旋转方向为俯仰方向。Y方向是与摄像装置11的光轴方向垂直的方向且是与摄像框架的纵向方向平行的方向，并且绕Y方向的旋转方向为偏摆方向。Z方向是与摄像装置11的光轴方向平行的方向，并且绕Z方向的旋转方向是翻滚方向。注意，图1所示的方向的名称不限于这些。
参照图2，将说明当摄像装置11在俯仰方向或偏摆方向上旋转地振动时所发生的相机抖动的影响。
图2示出了与物体上的距透镜单元12不同距离处的两点A和B相对应的图像传感器13的传感器面上的图像A和图像B由于当旋转振动发生时所发生的旋转模糊而如何移动。
如图所示，当图像A和图像B在图像传感器13的传感器面上彼此重叠的情况下，即使发生旋转模糊，图像A和图像B也分别移动到图像传感器13的传感器面上的相同位置，并且图像A和图像B保持重叠。即，在这种情况下，表明即使发生旋转模糊，在图像传感器13的传感器面上的图像的运动量也不依赖于到待成像物体上的点的距离。
参照图3，将说明当摄像装置11在X方向或Y方向上偏移和振动时所发生的相机抖动的影响。
图3示出了与物体上的距透镜单元12不同距离处的两点A和B相对应的图像传感器13的传感器面上的图像A和图像B由于当由在垂直于光轴的方向上运动的平行运动引起偏移振动时所发生的偏移模糊而如何移动。
如图所示，当图像A和图像B在图像传感器13的传感器面上彼此重叠的情况下，发生偏移模糊，因此图像A和图像B移动到图像传感器13的传感器面上的不同位置，并且不重叠。即，在这种情况下，表明发生了偏移模糊，因此在图像传感器13的传感器面上的图像的运动量依赖于到待成像物体上的点的距离，并且随着待成像物体越近，运动量越大，或者随着待成像物体越远，运动量越小。
参照图4，将说明当摄像装置11在Z方向上偏移和振动时所发生的相机抖动的影响。
图4示出了与物体上的距透镜单元12不同距离处的两点A和B相对应的图像传感器13的传感器面上的图像A和图像B由于当由沿着光轴运动的垂直运动引起偏移振动时所发生的偏移模糊而如何移动。
如图所示，当图像A和图像B在图像传感器13的传感器面上彼此重叠的情况下，发生偏移模糊，因此除了光轴上的点以外，图像A和图像B移动到图像传感器13的传感器面上的不同位置，并且不重叠。即，在这种情况下，表明发生了偏移模糊，因此在图像传感器13的传感器面上的图像的运动量依赖于到待成像物体上的点的距离。于是，在这种情况下，在移动更靠近待成像物体的情况下图像被放大，并且在移动更远离待成像物体的情况下图像被缩小。此外，随着到待成像物体的距离越近，缩放比例越大，并且随着到待成像物体的距离越远，缩放比例越小。
如上所述，旋转模糊不依赖于到待成像物体的距离，并且可以通过以与模糊角度对应的量来校正旋转模糊而抑制相机抖动。另一方面，除非掌握了到待成像物体的距离，否则无法正确地校正偏移模糊。此外，由于运动量随着到待成像物体的距离而不同，因此除非确定了待校正的物体距离，否则不能校正偏移模糊。
顺便提一下，通常认为最期望待成像的物体在聚焦区域中。因此，通过掌握到聚焦区域的距离并且根据该距离执行校正，可以校正针对最期望待成像的物体发生的相机抖动。当然，在需要校正散焦区域的情况下，可以通过在计算校正量的过程中将散焦偏差加到计算中来校正在散焦区域中所发生的相机抖动。
此外，在本实施方案中，如后所述的，透镜单元12和图像传感器13相对地移动，从而针对包括成像时机的差异等在内的每个图像位置获取到聚焦的待成像物体的距离。于是，按时间序列(一帧中数次至数十次，或其以上的恒定频率)获取AF位置信息，并且顺次发送到后段的信号处理单元，以在处理中使用。该AF位置信息是沿着光轴方向的透镜单元12和图像传感器13的相对位置信息，并且可以从例如用于控制AF致动器的霍尔元件的值等中获知。
例如，在组装摄像装置11的相机模块时，通过测量透镜单元12的焦距位置处的透镜位置来预先获取AF位置信息Aoffset。于是，使用透镜单元12的焦距F(μm)、当期望知道距离L时将使用的AF位置信息A、预先获取的AF位置信息Aoffset以及将AF位置信息转换成以μm为单位的系数C(μm/digit)，在下式(1)中求出从透镜单元12到图像传感器13的距离L(μm)。
[式1]
L＝F+(A-Aoffset)·C …(1)
此时，从聚焦的待成像物体上的点到透镜单元12的距离B(μm)可以使用距离L(μm)和焦距F通过图5所示的数学式求出。
于是，当透镜单元12和图像传感器13在垂直于光轴方向的方向上以偏移运动量Δd(μm)而偏移模糊时，与聚焦的待成像物体上的点相对应的图像在图像传感器13的传感器面上运动的运动量Δp(μm)可以通过图6所示的数学式求出。
注意，透镜单元12和图像传感器13在垂直于光轴方向的方向上具有偏移运动量Δd(μm)的偏移模糊与当从透镜单元12和图像传感器13观察时待成像物体在相对方向上具有Δd(μm)的偏移模糊同义。因此，图6示出了待成像物体在相对方向上具有Δd(μm)的偏移模糊。
因此，通过从该运动量Δp(μm)求出在偏移方向上待校正的像素数来校正偏移模糊，并且需要计算出偏移运动量Δd以求出运动量Δp(μm)。
因此，在本实施方案中，以类似于AF位置信息的方式，按时间序列(一帧中数次至数十次，或其以上的恒定频率)顺次获取从运动传感器得到的角速度数据(图1的俯仰方向、偏摆方向和翻滚方向这三个方向)和加速度数据(图1的X方向、Y方向和Z方向这三个方向)，从而求出偏移运动量Δd，并且发送到后段的信号处理单元，以在处理中使用。
此外，在透镜单元12和图像传感器13在光轴方向上具有偏移运动量Δd的偏移模糊并且聚焦的待成像物体上的点和透镜单元12之间的距离B(μm)变化(B+Δd)的情况下，图像的大小被乘以B/(B+Δd)。因此，当以光轴中心作为中心来设定坐标(x,y)时，图像传感器13的传感器面上的运动量Δp(μm)针对每个坐标位置是不同的，并且各像素的x坐标和y坐标分别移动到乘以B/(B+Δd)的位置。
此外，可以通过对偏移方向上的加速度执行两次积分来计算出偏移运动量Δd。然而，来自加速度传感器的输出通常包括重力加速度。此外，即使在加速度为零的情况下，传感器自身的输出值也不总为零，并且通常包括偏移分量。此外，由于重力加速度是根据传感器的倾斜在三个方向上作用的，因此某一瞬时的偏移运动量Δd需要基于按时间序列获取的加速度或角速度的输出值并考虑重力加速度的偏移分量、静止时的重力加速度、从按时间序列获取的角速度信息等求出的该瞬时的传感器的倾斜度等来计算出。
即，假设各种传感器固有值等是常数，在某一时刻t的俯仰方向的旋转角θp(t)、偏摆方向的旋转角θy(t)和翻滚方向的旋转角θy(t)可以通过在该时刻t的俯仰方向的角速度ωp(t)、偏摆方向的角速度ωy(t)和翻滚方向的角速度ωr(t)的函数来表示。
此外，在时刻t的X方向的加速度ax(t)、Y方向的加速度ay(t)和Z方向的加速度az(t)的积分结果、旋转角θp(t)、旋转角θy(t)、旋转角θr(t)等被用于求出图像传感器13的X方向的偏移运动量sx(t)、Y方向的偏移运动量sy(t)和Z方向的偏移运动量sz(t)。下文中，注意，将适当地省略表示时刻t的(t)。
即，通过使用按时间序列获取的角速度数据和加速度数据可以计算出偏移运动量，并且可以表示为偏移运动量(sx,sy,sz)＝S(ωp,ωy,ωr,ax,ay,az)，其中S是用于求出图像传感器13的偏移运动量的函数。
此外，当图像传感器13在偏移方向上移动偏移运动量(sx,sy)时，传感器面上的图像移动多少依赖于到待成像物体的距离B、透镜单元12的焦距F以及从透镜单元12到图像传感器13的距离L，如上面参照图3和图5所述的。因此，这些距离B和L可以从某一时刻的AF位置信息afp求出，并且将要移动的像素数可以通过用这些值除以像素间距来获得。
例如，考虑到像素间距是图像传感器13固有的值且像素间距是常数，可以由下式(2)来表示偏移运动量(Δxs,Δys)，其中P是用于从偏移运动量(sx,sy,sz)和AF位置信息afp求出图像传感器13的传感器面上的偏移运动量的函数。
[式2]
(Δxs，Δys)＝P(S(ωp，ωy，ωr，ax，ay，az)，afp) …(2)
此外，可以由下式(3)来表示图像传感器13的传感器面上的偏移运动量(Δxs,Δys)，其中Qxy是函数P和函数S的复合函数。
[式3]
(Δxs，Δys)＝Qxy(ωp，ωy，ωr，ax，ay，az，afp) …(3)
在将要考虑光轴方向的偏移的影响的情况下，注意，光轴方向的偏移运动量sz的移动时的影响也依赖于图像传感器13的传感器面上的像素位置。因此，可以由下式(4)来表示图像传感器13的传感器面上的像素位置(x,y)处的偏移运动量(Δxs,Δys)，其中Qxyz是还加入有光轴方向模糊的影响的情况的复合函数。
[式4]
(Δxs，Δys)＝Qxyz(ωp，ωy，ωr，ax，ay，az，afp，x，y) …(4)
此外，如图7所示的数学式所表示的，由于旋转模糊引起的运动量Δp依赖于从透镜单元12到图像传感器13的距离L。
因此，旋转模糊的影响依赖于后述的式(5)所表示的将要校正的旋转角θp、旋转角θy和旋转角θr、从透镜单元12到图像传感器13的距离L以及图像传感器13的传感器面上的像素位置(x,y)。因此，由于通过使用角速度ωp、角速度ωy和角速度ωr作为变量求出旋转角θp、旋转角θy和旋转角θr，并且通过使用AF位置信息afp作为变量求出距离L，因此旋转模糊的影响可以表示为角速度ωp、角速度ωy、角速度ωr、AF位置信息afp和图像传感器13的传感器面上的像素位置(x,y)的函数。
在本实施方案中，除了这些按时间序列获取的AF位置信息、加速度信息、角速度信息之外，在相同的时机还获取了OIS位置信息(图1的X方向和Y方向)，并且发送到后段的信号处理单元，以在处理中使用。此外，这些信息的获取时机信息也被发送到后段的信号处理单元，以在处理中使用。
通过使用该时机信息，相对于图像传感器13的传感器面上的某一坐标，可以掌握拍摄该坐标时的AF位置信息(光轴方向位置信息)、加速度信息、角速度信息和OIS位置信息(垂直面方向位置信息)。因此，由于使用这些值计算根据各坐标的到聚焦的待成像物体的距离、偏移运动量和旋转模糊量，并且根据这些值来计算将要校正的量，所以根据拍摄各图像时的振动状态，可以对从中央到周边的所有坐标执行相机抖动校正。
尽管需要在完全停止振动的情况下对所有的偏移运动量和旋转模糊量执行校正，但是注意，当拍摄运动图像等时，振动不必须完全停止，并且当然也可以限制校正量以实现平滑运动。
<用于获得校正的输出图像的算法>
将参照图8说明用于获得校正的输出图像的算法。
注意，假设存在从经过相机抖动校正的输出图像中期望去除透镜失真的影响的用例和不期望去除透镜失真的影响的用例(期望以广角成像并以失真状态输出的情况等)这两种。因此，下面的说明将给出两种类型的解释：关于获得其中透镜失真的影响也被校正的相机抖动校正输出图像的情况和获得其中透镜失真的影响残留的相机抖动校正输出图像的情况。
首先，将说明获得其中透镜失真的影响也被校正的相机抖动校正输出图像的情况。
例如，在光学式相机抖动校正未被操作的情况下，由摄像装置11确定为具有俯仰方向上-θp的旋转模糊、偏摆方向上-θy的旋转模糊和翻滚方向上-θr的旋转模糊的点p0(x0,y0)处的图像，在没有透镜失真的情况下移动到点q(X0,Y0)。此时，点q(X0,Y0)的坐标值通过上述专利文献1和2中公开的下式(5)求出。
[式5]
注意，式(5)中使用的L以像素为单位表示从透镜单元12到图像传感器13的距离L(例如，参照图5～7)，并且如上所述，可以根据AF位置信息来计算各时机的值。尽管为了简化计算，该值可以使用固定值，但是在本实施方案中可以通过使用各时机的AF位置信息来获得各时机的值，因此能够更准确地计算运动量。
此外，假设当摄像装置11在X方向移动-sx、在Y方向移动-sy和在Z方向移动sz时，点q(X0,Y0)在图像传感器13的传感器面上以运动量Δsx和运动量Δsy移动到点r(X1,Y1)，则由下式(6)来表示点r(X1,Y1)。
[式6]
r(X1，Y1)＝q(X0，Y0)+(Δsx，Δsy) …(6)
由于实际上受到透镜失真的影响，因此注意，假设点r(X1,Y1)由于透镜失真的影响移动到点s(X2,Y2)，并且由下式(7)来表示点s(X2,Y2)，其中D()是表示透镜失真的影响的函数。
[式7]
s(X2，Y2)＝D(r(X1，Y1)) …(7)
因此，在不使用OIS而只使用EIS的情况下，通过将点s(X2,Y2)的像素值作为点p0(x0,y0)的像素值输出，能够获得经过六轴相机抖动校正的图像。
由于透镜失真的影响准确地还依赖于从透镜单元12到图像传感器13的距离L，因此注意，通过使用表示透镜失真的影响的函数D()来考虑从AF位置信息计算出的各时机的距离L的值的影响，可以更准确地计算失真的影响。
通过对输出画面上的所有像素执行这些计算并且计算出输出像素值以生成输出图像，可以获得其中由于振动引起的位置偏差、周边变形、焦平面失真和透镜失真从画面的中央到周边被校正的图像。然而，曝光模糊(即，曝光中的点像的模糊，也称为曝光内模糊或曝光时间内模糊)的影响残留。
尽管在点s(X2,Y2)代表输入图像外的值的情况下特定值等被代替使用，但是注意，在构成系统时，需要考虑使输入图像具有比输出图像更大的范围，使得这样的值根本不会出现，以限制校正范围使其不会涉及输入图像的外部等。
此外，在期望没有透镜失真校正的输出的情况下，只需要使用基于对p(x,y)施加透镜失真校正获得的位置p0(x0,y0)而计算出的点s(X2,Y2)的像素值作为输出图像上的点p(x,y)的输出值。即，使用下式(8)所示的作为透镜失真影响函数D()的反函数的透镜失真校正函数D-1()来表示点p0(x0,y0)。
[式8]
p0(x0，y0)＝D-1(p(x，y)) …(8)
在任一种情况下，注意，点s(X2,Y2)的X坐标X2和Y坐标Y2很少是整数。因此，通过从周边像素值的插值处理计算出输出像素值、用最近像素的值替换等来求出输出像素值。
此外，在添加有OIS校正的情况下，使用OIS校正量Δx ois和Δy ois，当点s(X2,Y2)移动到点t(x,y)时，由下式(9)表示点t(x,y)。
[式9]
t(X，Y)＝s(X2，Y2)-(Δx ois，Δy ois) …(9)
这里，OIS校正量Δx ois和Δy ois是基于各时机的OIS透镜位置信息计算出的透镜运动量的像素单位。因此，在获得透镜失真的影响被校正的输出的情况下，通过输出点t(x,y)的像素值作为点p0(x0,y0)的像素值，可以获得通过对OIS图像施加六轴的相机抖动校正而获得的图像。
此时，不管OIS的校正是俯仰方向和偏摆方向的两轴校正，还是除了俯仰方向和偏摆方向之外还包括x方向和y方向的偏移的四轴校正，如果将点t(x,y)的像素值作为点p0(x0,y0)的像素值输出，则除了仅通过EIS获得的六轴的相机抖动校正结果之外，都还可以获得曝光模糊的影响被校正的结果。然而，在OIS校正仅针对俯仰方向和偏摆方向的两轴的情况下，相对于偏移模糊，曝光模糊将残留。
此外，与仅使用EIS的情况类似，在期望没有透镜失真校正的结果的情况下，只需要使用基于对p(x,y)施加透镜失真校正获得的位置p0(x0,y0)而计算出的点t(x,y)的像素值作为输出图像上的点p(x,y)的输出值。即，使用作为透镜失真影响函数D()的反函数的透镜失真校正函数D-1()，通过上式(8)来计算出点p0(x0,y0)。
因此，如果将点t(x,y)的像素值作为输出图像上的点p(x,y)的输出值，则可以获得没有透镜失真校正的相机抖动校正输出结果。
在任一种情况下，除了各个固有值之外，还可以使用包括输出图像的坐标、各像素成像时的角速度、加速度、OIS位置信息和AF位置信息的变量的函数来求出相应输出图像中的坐标值，并且通过使用坐标的像素值来获得经过相机抖动校正的输出图像。
此外，为了求出输出图像的各点的像素值，可以通过针对各点使用上述函数来计算输入图像上的对应的坐标位置以计算出像素值。此外，通过例如分割输出图像、使用上述函数仅计算输入图像上的网格点的对应坐标位置并且通过插值计算求出网格点以外的坐标位置，可以计算出像素值。
尽管在本实施方案中已经说明了校正图1的俯仰方向、偏摆方向和翻滚方向上的旋转模糊以及X方向、Y方向和Z方向上的偏移模糊的示例，但是注意，在六轴以外的情况下当然也是有效的，例如未校正Z方向的偏移模糊的五轴校正或未执行翻滚方向的旋转模糊的校正的情况。
然而，当采用OIS校正俯仰方向和偏摆方向的旋转模糊以及X方向和Y方向的偏移模糊、同时EIS仅校正俯仰方向、偏摆方向和翻滚方向的三轴的旋转模糊而不校正X方向和Y方向的偏移模糊的组合时，需要注意的是，EIS抵消了OIS已经停止的偏移方向的振动。
<本技术适用的摄像装置的第一构成例>
下文中，将参照附图详细说明本技术适用的具体实施方案。
图9是示出了本技术适用的摄像装置的第一实施方案的构成例的框图。
如图9所示，摄像装置11包括透镜单元12、图像传感器13、运动传感器14、光学系统驱动器15、光学系统致动器16、信号处理单元17、显示器18和记录介质19。
透镜单元12包括一个或多个透镜，收集来自被摄体的光，并且在图像传感器13中包括的摄像单元21的传感器面上形成被摄体的图像。
图像传感器13通过层叠形成有摄像单元21的半导体芯片和形成有逻辑单元22的半导体芯片而构成，并且配备有用于捕获来自光学系统驱动器15的输出的接口。
摄像单元21拍摄在传感器面上形成的被摄体的图像，其中来自被摄体的光被透镜单元12收集且多个像素以矩阵状布置，并且输出通过摄像获取的图像。
逻辑单元22将通过把从光学系统驱动器15输出的透镜单元12的位置信息、角速度数据和加速度数据连同时机信息(表示数据与图像上的坐标同步的时机)一起加到由摄像单元21拍摄的图像上而获得的图像数据供给信号处理单元17。
具体地，逻辑单元22以来自光学系统驱动器15的预定采样频率(例如，1kHz)接收由运动传感器14检测到的角速度数据和加速度数据以及由光学系统致动器16驱动的透镜单元12的位置信息(OIS驱动的透镜位置、AF驱动的透镜位置)。然后，逻辑单元22将透镜单元12的位置信息、角速度数据和加速度数据以及在接收数据时机的图像数据的H行计数器的值加到图像数据上并且输出数据。
当然，透镜单元12的位置信息、角速度数据和加速度数据以及H行计数器的值可以与图像一起分别地输出，而不加到图像上。于是，通过H行计数器的值，透镜单元12的位置信息、角速度数据和加速度数据以图像数据的水平方向的一行为单位彼此相关联，使得信号处理单元17可以将角速度数据、加速度数据和位置信息与图像的垂直方向的位置同步。即，H线计数器的值被用作同步它们的时机信息。
这里，图像数据的H行计数器是例如在预定的时机对每帧复位并且读出水平方向的一行的每次时间加一的计数器，并且用于调整图像的垂直方向位置的时机。注意，H行计数器也在未读出图像的空白区间中计数。此外，除了使用图像数据的H行计数器之外，例如，可以使用诸如时间戳等时间信息作为时机信息。注意，在上述专利文献2中详细说明了使角速度数据、加速度数据和位置信息与图像的垂直方向的位置同步的方法。
注意，考虑到各数据实际获取的时机与加到诸如H行计数器等时间戳上的时间之间的延迟、图像传感器13的曝光时间的长度等，需要调整图像传感器13上的实际图像位置与透镜单元12的位置信息、角速度数据和加速度数据之间的对应关系。
运动传感器14物理地(不是通过图像处理)检测摄像单元21的运动并且输出表示运动的信息。
例如，运动传感器14包括能够检测如图1所示的俯仰方向、偏摆方向和翻滚方向的三轴方向上的角速度的陀螺仪传感器和能够检测X方向、Y方向和Z方向的三轴方向上的加速度的加速度传感器，并且输出由这些角速度表示的角速度数据和由加速度表示的加速度数据，作为表示摄像装置11的运动的信息。
除了使用专用于OIS控制的设备作为运动传感器14之外，例如，注意，用于其他目的的设备中组入的运动传感器也可以共同用于OIS控制，或者用于获取信息以发送到图像处理单元的运动传感器可以与OIS控制分开使用。此外，运动传感器14不限于除了三轴方向的角速度数据之外还能够输出加速度数据的六轴传感器，陀螺仪传感器和加速度传感器可以单独连接，或者还可以使用添加有地磁传感器等的六轴以上的多轴传感器或复合传感器。
光学系统驱动器15基于从运动传感器14输出的角速度数据和加速度数据计算出为了光学地消除由摄像单元21拍摄的图像上的模糊的发生而移动透镜单元12的运动量。然后，光学系统驱动器15将计算出的运动量供给到光学系统致动器16，并且执行控制，以根据运动量将透镜单元12布置在预定位置处。
此外，光学系统驱动器15根据来自AF控制单元(未示出)的指令执行AF控制。此外，光学系统驱动器15获取由光学系统致动器16驱动的透镜单元12的位置信息，并且将透镜单元12的位置信息、角速度数据和加速度数据输出到图像传感器13。
光学系统致动器16根据由光学系统驱动器15指示的运动量来驱动透镜单元12，从而光学地校正在由图像传感器13拍摄的图像中产生的相机抖动。此外，光学系统致动器16还调整焦点位置。于是，光学系统致动器16检测被驱动的透镜单元12的位置，并且将透镜单元12的位置信息供给到光学系统驱动器15。
基于从图像传感器13供给的图像数据以及加到图像数据上的透镜单元12的位置信息、角速度数据、加速度数据和时机信息，根据使用针对图像上的每个坐标同步的透镜单元12的位置信息、角速度数据和加速度数据来执行上述校正的函数，信号处理单元17执行校正摄像单元21的移动对图像的影响(例如，位置偏差、周边变形、由卷帘式快门引起的失真、由透镜失真的影响引起的变形等)的信号处理。
例如，显示器18包括诸如液晶面板或有机电致发光(EL)面板等显示单元，并且显示从信号处理单元17输出的图像。
记录介质19是内置在摄像装置11中或可从摄像装置11拆卸的可移除型存储器，并且记录从信号处理单元17输出的图像。
以这种方式构造摄像装置11，并且信号处理单元17可以通过对由图像传感器13拍摄的图像的电子式相机抖动校正而执行校正处理，从而光学地抑制模糊的发生。因此，摄像装置11可以在曝光时间内抑制模糊的发生，并且校正图像模糊(由于相机抖动引起的位置偏差、周边变形、由卷帘式快门引起的失真、由透镜失真的影响引起的变形等)。
尽管在本实施方案中说明了其中透镜单元12由光学系统致动器16驱动的镜筒偏移型的光学式相机抖动校正，但是注意，在摄像装置11中可以采用其中图像传感器13由光学系统致动器16驱动的传感器偏移型的光学式相机抖动校正。在这种情况下，光学系统致动器16将图像传感器13的位置信息供给到光学系统驱动器15，代替透镜单元12的位置信息。
此外，移动图像传感器13的传感器偏移型可以用于OIS，并且移动透镜单元的镜筒偏移型可以用于AF。
此外，图9的摄像装置11构造成使得从运动传感器14输出的角速度数据和加速度数据经由光学系统驱动器15供给到图像传感器13。另一方面，在摄像装置11中，例如，运动传感器14可以包括用于输出角速度数据和加速度数据的两个输出端口，使得角速度数据和加速度数据分别从运动传感器14供给到图像传感器13和光学系统驱动器15。在这种情况下，角速度数据和加速度数据不从光学系统驱动器15供给到图像传感器13。
可选择地，例如，摄像装置11可以包括两个运动传感器14，使得角速度数据和加速度数据分别从两个运动传感器14供给到图像传感器13和光学系统驱动器15。此外，在这种情况下，角速度数据和加速度数据也不从光学系统驱动器15供给到图像传感器13。
此外，在图9所示的摄像装置11中，尽管图像传感器13和信号处理单元17被示为不同的块，但是例如，可以采用其中信号处理单元17在图像传感器13内部执行处理的构成。即，图像传感器13可以具有其中其上形成有信号处理单元17的半导体芯片被层叠的层叠结构。
<摄像装置的相机抖动校正处理>
将参照图10的流程图说明在由摄像装置11的摄像方法中执行的相机抖动校正处理的示例。
例如，在摄像装置11中，当摄像单元21开始拍摄一帧的图像时，开始相机抖动校正处理，并且在步骤S11中，光学系统驱动器15获取从运动传感器14输出的角速度数据和加速度数据。
在步骤S12中，光学系统驱动器15基于在步骤S11中获取的角速度数据和加速度数据计算出移动透镜单元12的运动量，并且将该运动量供给到光学系统致动器16。
在步骤S13中，光学系统致动器16根据在步骤S12中从光学系统驱动器15供给的运动量通过驱动透镜单元12来执行光学式相机抖动校正。
在步骤S14中，光学系统致动器16检测在步骤S13中驱动的透镜单元12的位置，并且将透镜单元12的位置信息供给到光学系统驱动器15。然后，光学系统驱动器15将透镜单元12的位置信息和在步骤S11中获取的角速度数据和加速度数据供给到图像传感器13的逻辑单元22。
在步骤S15中，逻辑单元22将在步骤S14中从光学系统驱动器15供给的透镜单元12的位置信息、角速度数据和加速度数据连同对应于接收数据时机的图像数据的H行计数器的值一起加到从摄像单元21输出的图像数据上，并且将数据供给到信号处理单元17。
在步骤S16中，信号处理单元17使用透镜单元12的位置信息、角速度数据和加速度数据，根据转换与其同步的图像数据的各坐标的位置的函数，对在步骤S15中供给的图像数据执行电子式相机抖动校正。其后，处理终止，并且每次摄像单元21开始对下一帧成像时重复执行类似的处理。注意，在将要连续执行相机抖动校正的运动图像等的拍摄、预览画面、静止图像的连续拍摄等的情况下，校正处理不终止而是连续地执行。此外，以预设的采样频率连续地执行从步骤S11到步骤S14的处理。
如上所述，摄像装置11可以在光学系统驱动器15的控制下通过光学式相机抖动校正来抑制曝光时间内模糊的发生，通过由信号处理单元17执行的电子式相机抖动校正处理来抑制相机抖动对图像的影响，并且确实地校正了模糊。
<复位光学式相机抖动校正的校正位置>
参照图11至图13，将说明在各帧之间的非曝光期间的复位光学式相机抖动校正的校正位置的同时执行上述相机抖动校正处理。以这种方式，通过复位光学式相机抖动校正的校正位置，可以校正位置偏差、周边变形、焦平面失真、由于透镜失真的影响导致的位置偏差量的差异等，包括甚至针对由普通的光学式相机抖动校正无法校正的角度模糊和偏移量模糊的曝光内模糊在内。
例如，如图11所示，在普通的光学式相机抖动校正中，如果振动微弱，则可以实现校正，使得不会发生曝光模糊。
另一方面，如图12所示，如果振动变强，则无法在光学式相机抖动校正的可校正范围内执行校正，因此会发生曝光模糊。
因此，后述的图14所示的摄像装置11A被构造成复位非曝光期间的光学式相机抖动校正的透镜位置和图像传感器位置之间的相对位置关系(居中返回处理)，并且在曝光时执行控制以实现光学式相机抖动校正，从而即使在强烈振动的状况下也拍摄出没有曝光模糊的图像，如图13所示。
在这种情况下，在光学式相机抖动校正的输出结果上，尽管在帧内没有出现曝光模糊，但是画面上的图像位置在各帧之间移动，通过将上述的EIS处理施用于该OIS输出图像，也可以停止各帧之间的图像位置的移动。即，即使在普通的OIS中会导致曝光模糊的强烈振动下，也可以在没有曝光模糊的情况下校正位置偏差、周边变形、焦平面变形和透镜失真的影响。
特别地，在使用OIS的四轴校正的情况下，OIS校正范围用于旋转模糊校正和偏移模糊校正这两者，因此很容易超出OIS的校正范围，并且在非曝光期间复位OIS的方法非常有效。
<本技术适用的摄像装置的第二构成例>
图14是示出了本技术适用的摄像装置的第二实施方案的构成例的框图。在图14所示的摄像装置11A中，注意，与图9的摄像装置11共同的构成由相同的附图标记表示，并且将省略其详细说明。
类似于图9中的摄像装置11，如图14所示，摄像装置11A包括透镜单元12、运动传感器14、光学系统致动器16、信号处理单元17、显示器18、记录介质19和摄像单元21。
然后，摄像装置11A具有其中图像传感器13A的逻辑单元22A和光学系统驱动器15A不同于图9的摄像装置11的构成。
除了图9所示的逻辑单元22的功能之外，逻辑单元22A还具有以下的功能：根据摄像单元21执行曝光的曝光时机来生成指示光学式相机抖动校正的执行或停止的OIS控制信息，并且将OIS控制信息供给到光学系统驱动器15A。注意，可以在图像传感器13A的外部执行根据摄像单元21的曝光时机来生成OIS控制信息的处理。然而，优选地，在图像传感器13A内置的逻辑单元22A中执行该处理。
例如，逻辑单元22A基于摄像单元21的曝光结束(读出结束)时机和下一帧的曝光开始时机来生成OIS控制信息。此外，逻辑单元22A可以基于诸如各帧之间的时间和下一帧的曝光时间(随着由于自动曝光功能等引起的成像条件而变化)等信息来指定下一帧的曝光开始时机。由于这些时机是在图像传感器13A的内部确定和操作的，因此与在图像传感器13A的外部生成OIS控制信息的构成相比，逻辑单元22A能够更容易地生成OIS控制信息。
除了图9所示的光学系统驱动器15的功能之外，光学系统驱动器15A还具有以下的功能：基于从逻辑单元22A供给的OIS控制信息，在OIS控制信息指示光学式相机抖动校正的停止的情况下，执行操作以将透镜单元12返回到居中位置。
在以这种方式构成的摄像装置11A中，逻辑单元22A将OIS控制信息供给到光学系统驱动器15A，使得能够在各帧之间执行光学式相机抖动校正的居中返回处理。因此，摄像装置11A能够在各帧之间复位透镜位置的同时执行光学式相机抖动校正，从而在各帧中始终执行使用能够通过光学式相机抖动校正执行校正的整个范围的校正。
即，在图9所示的摄像装置11中，在产生具有超过光学式相机抖动校正的可校正范围的幅度的振动的情况下(参照图12)，在超出范围的振动中不能抑制曝光时间内模糊。另一方面，通过执行光学式相机抖动校正的居中返回处理(参照图13)，只要一帧内的振动在光学式相机抖动校正的可校正角度以内，即使发生大振幅的振动，也可以在曝光时间内抑制模糊的发生。
将参照图15说明由逻辑单元22A产生的OIS控制信息。
注意，图15所示的图形的横轴是时间，并且示出了随着时间的变化。此外，图中的平行四边形示意性示出了使用CMOS图像传感器拍摄图像时，在从顶部到底部(取决于成像设定，可能从底部到顶部)曝光图像的同时，用于读出图像数据的时间。在图示的示例中，从图像的顶部开始顺次打开电子快门，执行一定时间的曝光，然后从顶部开始顺次执行读出。
如图15的A所示，当在从图像底部的读出结束到下一帧的图像顶部上的电子快门打开的各帧之间曝光不重叠的时间存在的情况下(非曝光期间)，逻辑单元22A在执行曝光的期间输出指示执行光学式相机抖动校正的OIS控制信息(OIS启用)。此外，逻辑单元22A在不执行曝光的期间输出指示停止光学式相机抖动校正的OIS控制信息(OIS禁用)。例如，在从曝光结束到下一次曝光开始的时间等于或长于已经设定的预定时间的情况下，逻辑单元22A输出指示停止光学式相机抖动校正的OIS控制信息(OIS禁用)。
注意，考虑到实际的控制延迟，通过从读出结束时机或曝光开始时机开始的各设定的偏置时间(图15的偏置1和偏置2)，逻辑单元22A可以偏移在光学式相机抖动校正的执行和停止之间切换的时机。
另一方面，如图15的B所示，在各帧之间曝光不重叠的期间不发生的情况下或者在各帧之间曝光不重叠的期间短于已经设定的预定时间的情况下，逻辑单元22A总是输出指示执行光学式相机抖动校正的OIS控制信息(OIS启用)。即，在曝光总是在各帧之间重叠的情况下，连续地执行光学式相机抖动校正，并且不执行光学式相机抖动校正的居中返回处理。
在如上所述地可以将透镜单元12复位到各帧之间的居中位置的情况下，可以总是扩大光学式相机抖动校正的校正范围。因此，即使在如图13所示地通过普通的光学式相机抖动校正不能完全校正图像并且图像模糊的情况下，也可以校正图像并且可以获得没有模糊的图像。
此外，在非曝光期间短于足以将透镜单元12复位到居中位置的时间的情况下，也可以将透镜返回到朝着居中方向的途中，并且连同曝光开始一起从该位置控制执行光学式相机抖动校正。即使在这种情况下，也可以在一定程度上针对各帧扩大光学式相机抖动校正的校正范围。注意，需要根据控制系统的性能来设定执行诸如将透镜返回到居中位置的复位操作或光学式相机抖动校正操作等控制所需的阈值时间，并且在存在等于或长于阈值时间的非曝光期间的情况下，输出OIS控制信息(OIS禁用)。
尽管在帧内的曝光中发生振幅超过光学式相机抖动校正的可校正范围的振动的情况下而无法在曝光时间内充分地抑制模糊，但是注意，即使在该情况下，也可以有效地执行电子式相机抖动校正，因此能够校正图像的模糊并且不会破损图像。
此外，摄像装置11A基于从运动传感器14输出的角速度数据和加速度数据以及透镜单元12的位置信息，针对图像上的每个坐标执行信号处理以执行校正。因此，在透镜单元12返回到居中的情况下，在适用普通的光学式相机抖动校正的情况下和在透镜单元12总是固定在居中位置的情况下(仅通过EIS校正的情况)，例如，信号处理单元17可以使用相同的算法执行处理。
如上所述，即使针对校正俯仰方向和偏摆方向的旋转模糊的两轴可以执行光学式相机抖动校正，摄像装置11也可以使用电子式相机抖动校正来除了俯仰方向和偏摆方向之外还校正翻滚方向的旋转模糊以及X方向、Y方向和Z方向的三轴的偏移模糊。此外，针对校正俯仰方向和偏摆方向的旋转模糊的两轴，可以获得没有曝光内模糊、没有位置偏差、没有画面内的周边变形、没有焦平面失真或透镜失真的影响的图像。
特别地，由于电子式相机抖动校正的校正范围可以随着使输出图像的视角小于输入图像的视角而相应地加宽，因此摄像装置11针对由光学式相机抖动校正不能完全校正的运动可以实现位置校正。
此外，在使用作为光学式相机抖动校正的除了校正俯仰方向和偏摆方向的两轴的旋转模糊之外还可以校正X方向和Y方向的两轴的偏移模糊的摄像装置11的情况下，除了上述之外，还可以获得其中偏移方向的两轴的曝光内模糊被抑制的图像。
此外，摄像装置11A可以在各帧之间的非曝光期间复位光学式相机抖动校正的运动(返回居中位置)，使得只要在一帧的曝光期间内的振动不超过光学式相机抖动可以校正的范围，就可以抑制曝光内模糊。因此，与不执行这种复位(返回居中位置)的情况相比，无法通过光学式相机抖动校正执行校正的情况数量压倒性地减少。即，针对四轴，可以获得几乎总是没有曝光模糊并且不受位置偏差、画面内的周边变形、焦平面失真或透镜失真的影响的图像。
<图像传感器的使用例>
图16是示出了使用上述图像传感器(摄像元件)的使用例的图。
例如，如下所述，上述的图像传感器可以在用于感测诸如可见光、红外光、紫外光和X射线等光的各种情况下使用。
-拍摄用于鉴赏的图像的装置，例如，数码相机和具有相机功能的移动设备等。
-用于交通的装置，例如，用于诸如自动停止等安全驾驶或识别驾驶员的状况等的拍摄车辆的前方、后方、周围、内部等的车载传感器，监视行驶车辆或道路的监视相机，以及测量车辆之间的距离的距离测量传感器等。
-用于家用电器的装置，例如，电视机、冰箱和空调，以便拍摄用户手势的图像并根据这些手势操作装置。
-用于医疗保健的装置，例如，内窥镜和通过接收红外光执行血管造影的装置等。
-用于安全的装置，例如，用于防止犯罪的监视相机和用于人物认证的相机等。
-用于美容的装置，例如，用于拍摄皮肤的皮肤测量仪器和拍摄头皮的显微镜等。
-用于运动的装置，例如，运动相机和用于运动用途的可穿戴相机等。
-用于农业的装置，例如，用于监视田地或农作物状况的相机等。
<构成的组合的示例>
注意，本技术还可以具有以下构成。
(1)一种摄像装置，包括：
摄像单元，其构造成经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像；
驱动控制单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和
信号处理单元，其构造成基于其中在所述驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
(2)根据(1)所述的摄像装置，其中
表示在所述摄像单元中生成的角速度的角速度信息和表示在所述摄像单元中生成的加速度的加速度信息被用作所述运动信息。
(3)根据(1)或(2)的所述摄像装置，其中
所述光轴方向位置信息基于在由所述驱动控制单元的控制下自动对焦所述被摄体的过程中所述光学系统与所述摄像单元之间的距离。
(4)根据(1)～(3)中任一项所述的摄像装置，其中
所述信号处理单元针对所述图像上的每个坐标在所述摄像单元的五轴或六轴的运动方面执行所述信号处理。
(5)根据(1)～(4)中任一项所述的摄像装置，还包括
逻辑单元，其将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息以及表示将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息与所述图像上的坐标同步的时机的时机信息、连同由所述摄像单元拍摄的图像一起供给到所述信号处理单元。
(6)根据(5)所述的摄像装置，其中
所述逻辑单元将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息连同所述时机信息一起加到所述图像上，并且进行输出。
(7)根据(5)或(6)所述的摄像装置，其中
所述逻辑单元将表示所述图像的垂直方向位置的信息与以该垂直方向位置的一行为单位的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息相关联而作为所述时机信息，并且进行输出。
(8)根据(5)～(7)中任一项所述的摄像装置，还包括
图像传感器，其通过层叠所述摄像单元和所述逻辑单元而构成，
其中所述垂直面方向位置信息、所述运动信息、所述光轴方向位置信息和所述时机信息连同所述图像一起被从所述图像传感器供给到所述信号处理单元。
(9)根据(1)～(8)中任一项所述的摄像装置，还包括
驱动单元，其构造成根据由所述驱动控制单元求出的所述运动量而在垂直于光轴方向的面方向上驱动所述光学系统和所述摄像单元中的至少一者；根据该驱动检测所述光学系统或所述摄像单元的位置，并将所述垂直面方向位置信息供给到所述驱动控制单元；在由所述驱动控制单元的控制下自动对焦所述被摄体的过程中执行所述光学系统和所述摄像单元之间的距离沿着光轴方向移位的驱动；以及根据该驱动检测所述光学系统或所述摄像单元的位置，并将所述光轴方向位置信息供给到所述驱动控制单元。
(10)根据(5)～(9)中任一项所述的摄像装置，还包括
检测单元，其物理地检测所述摄像单元的运动并将所述运动信息供给到所述驱动控制单元，
其中所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息被从所述驱动控制单元供给到所述逻辑单元。
(11)根据(5)所述的摄像装置，其中
所述逻辑单元根据所述摄像单元执行曝光的曝光时机来生成指示所述光学校正的执行或停止的控制信息，并且将所述控制信息供给到所述驱动控制单元，和
所述驱动控制单元基于所述控制信息而在执行所述光学校正的期间控制所述光学系统和所述摄像单元中的至少一者的驱动，从而执行在由所述摄像单元拍摄的图像上出现的模糊的光学校正，并且在所述光学校正停止的同时将所述光学系统或所述摄像单元拉回到居中位置。
(12)根据(11)所述的摄像装置，其中
所述驱动控制单元控制驱动，从而在所述控制信息指示所述光学校正的停止的期间短于将所述光学系统和所述摄像单元拉回到居中位置所需的时间的情况下，在该期间内的可运动范围内使所述光学系统或所述摄像单元朝着居中方向运动。
(13)一种固态摄像元件，包括：
摄像单元，其构造成经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像；和
逻辑单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量；执行将在控制所述光学系统和所述摄像单元中的至少一者的驱动的驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的轴方向位置信息加到由所述摄像单元拍摄的图像上的处理；以及向信号处理单元提供输出，所述信号处理单元基于所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
(14)一种相机模块，包括：
光学系统，其收集来自被摄体的光；
摄像单元，其经由所述光学系统而拍摄所述被摄体的图像；
驱动控制单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和
逻辑单元，其构造成将垂直面方向位置信息、运动信息和光轴方向位置信息以及表示将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息与所述图像上的坐标同步的时机的时机信息、连同由所述摄像单元拍摄的图像一起供给到信号处理单元，所述信号处理单元基于其中在所述驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的所述垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的所述运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的所述光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
(15)一种驱动控制单元，其中所述驱动控制单元基于物理地检测到的经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像的摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和
所述驱动控制单元执行将在该控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息加到由所述摄像单元拍摄的图像上的处理，并且将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息供给到逻辑单元，所述逻辑单元构造成向信号处理单元提供输出，所述信号处理单元基于所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
(16)一种由摄像装置实施的摄像方法，所述方法包括：
基于物理地检测到的经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像的摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和
基于其中在该控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理。
(17)根据(16)所述的摄像方法，还包括
执行将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息连同时机信息一起加到由所述摄像单元拍摄的图像上的处理，所述时机信息表示在获取所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息的时机已经曝光的所述图像的垂直方向位置。
注意，本实施方案不限于上述实施方案，并且在不脱离本公开的主旨的情况下可以进行各种变更。此外，本文记载的效果仅是示例而非限制性的，并且可以获得其他效果。
[附图标记列表]
11 摄像装置
12 透镜单元
13 图像传感器
14 运动传感器
15 光学系统驱动器
16 光学系统致动器
17 信号处理单元
18 显示器
19 记录介质
21 摄像单元
22 逻辑单元

Claims (16)

1.一种摄像装置，包括：
摄像单元，其构造成经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像；
驱动控制单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和
信号处理单元，其构造成基于其中在所述驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理，
其中，所述光轴方向位置信息基于在由所述驱动控制单元的控制下自动对焦所述被摄体的过程中所述光学系统与所述摄像单元之间的距离。
2.根据权利要求1所述的摄像装置，其中
表示在所述摄像单元中生成的角速度的角速度信息和表示在所述摄像单元中生成的加速度的加速度信息被用作所述运动信息。
3.根据权利要求1或2所述的摄像装置，其中
所述信号处理单元针对所述图像上的每个坐标在所述摄像单元的五轴或六轴的运动方面执行所述信号处理。
4.根据权利要求1或2所述的摄像装置，还包括
逻辑单元，其将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息以及表示将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息与所述图像上的坐标同步的时机的时机信息、连同由所述摄像单元拍摄的图像一起供给到所述信号处理单元。
5.根据权利要求4所述的摄像装置，其中
所述逻辑单元将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息连同所述时机信息一起加到所述图像上，并且进行输出。
6.根据权利要求4所述的摄像装置，其中
所述逻辑单元将表示所述图像的垂直方向位置的信息与以该垂直方向位置的一行为单位的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息相关联而作为所述时机信息，并且进行输出。
7.根据权利要求4所述的摄像装置，还包括
图像传感器，其通过层叠所述摄像单元和所述逻辑单元而构成，
其中所述垂直面方向位置信息、所述运动信息、所述光轴方向位置信息和所述时机信息连同所述图像一起被从所述图像传感器供给到所述信号处理单元。
8.根据权利要求1或2所述的摄像装置，还包括
驱动单元，其构造成根据由所述驱动控制单元求出的所述运动量而在垂直于光轴方向的面方向上驱动所述光学系统和所述摄像单元中的至少一者；根据该驱动检测所述光学系统或所述摄像单元的位置，并将所述垂直面方向位置信息供给到所述驱动控制单元；在由所述驱动控制单元的控制下自动对焦所述被摄体的过程中执行所述光学系统和所述摄像单元之间的距离沿着光轴方向移位的驱动；以及根据该驱动检测所述光学系统或所述摄像单元的位置，并将所述光轴方向位置信息供给到所述驱动控制单元。
9.根据权利要求4所述的摄像装置，还包括
检测单元，其物理地检测所述摄像单元的运动并将所述运动信息供给到所述驱动控制单元，
其中所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息被从所述驱动控制单元供给到所述逻辑单元。
10.根据权利要求4所述的摄像装置，其中
所述逻辑单元根据所述摄像单元执行曝光的曝光时机来生成指示所述光学校正的执行或停止的控制信息，并且将所述控制信息供给到所述驱动控制单元，和
所述驱动控制单元基于所述控制信息而在执行所述光学校正的期间控制所述光学系统和所述摄像单元中的至少一者的驱动，从而执行在由所述摄像单元拍摄的图像上出现的模糊的光学校正，并且在所述光学校正停止的同时将所述光学系统或所述摄像单元拉回到居中位置。
11.根据权利要求10所述的摄像装置，其中
所述驱动控制单元控制驱动，从而在所述控制信息指示所述光学校正的停止的期间短于将所述光学系统和所述摄像单元拉回到居中位置所需的时间的情况下，在该期间内的可运动范围内使所述光学系统或所述摄像单元朝着居中方向运动。
12.一种固态摄像元件，包括：
摄像单元，其构造成经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像；和
逻辑单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量；执行将在控制所述光学系统和所述摄像单元中的至少一者的驱动的驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的轴方向位置信息加到由所述摄像单元拍摄的图像上的处理；以及向信号处理单元提供输出，所述信号处理单元基于所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理，
其中，所述光轴方向位置信息基于在由所述驱动控制单元的控制下自动对焦所述被摄体的过程中所述光学系统与所述摄像单元之间的距离。
13.一种相机模块，包括：
光学系统，其收集来自被摄体的光；
摄像单元，其经由所述光学系统而拍摄所述被摄体的图像；
驱动控制单元，其构造成基于物理地检测到的所述摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和
逻辑单元，其构造成将垂直面方向位置信息、运动信息和光轴方向位置信息以及表示将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息与所述图像上的坐标同步的时机的时机信息、连同由所述摄像单元拍摄的图像一起供给到信号处理单元，所述信号处理单元基于其中在所述驱动控制单元的控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的所述垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的所述运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的所述光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理，
其中，所述光轴方向位置信息基于在由所述驱动控制单元的控制下自动对焦所述被摄体的过程中所述光学系统与所述摄像单元之间的距离。
14.一种驱动控制单元，其中所述驱动控制单元基于物理地检测到的经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像的摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和
所述驱动控制单元执行将在该控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息加到由所述摄像单元拍摄的图像上的处理，并且将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息供给到逻辑单元，所述逻辑单元构造成向信号处理单元提供输出，所述信号处理单元基于所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理，
其中，所述光轴方向位置信息基于在由所述驱动控制单元的控制下自动对焦所述被摄体的过程中所述光学系统与所述摄像单元之间的距离。
15.一种由摄像装置实施的摄像方法，所述方法包括：
基于物理地检测到的经由收集来自被摄体的光的光学系统而拍摄所述被摄体的图像的摄像单元的运动，在所述光学系统和所述摄像单元中的至少一者相对运动且对由所述摄像单元拍摄的图像上出现的模糊执行光学校正的过程中求出运动量，并且控制所述光学系统和所述摄像单元中的至少一者的驱动；和
基于其中在该控制下在垂直于光轴方向的面方向上驱动的所述光学系统或所述摄像单元的位置被检测到的垂直面方向位置信息、代表物理地检测到的所述摄像单元的运动的运动信息以及表示所述光学系统和所述摄像单元之间沿着光轴方向的相对位置的光轴方向位置信息，根据使用针对所述图像上的每个坐标进行同步的所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息而转换位置的函数，来执行校正所述摄像单元的运动对所述图像的影响的信号处理，
其中，所述光轴方向位置信息基于在该控制下自动对焦所述被摄体的过程中所述光学系统与所述摄像单元之间的距离。
16.根据权利要求15所述的摄像方法，还包括
执行将所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息连同时机信息一起加到由所述摄像单元拍摄的图像上的处理，所述时机信息表示在获取所述垂直面方向位置信息、所述运动信息和所述光轴方向位置信息的时机已经曝光的所述图像的垂直方向位置。
CN202080012206.XA 2019-03-15 2020-02-28 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法 Active CN113396578B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019048840 2019-03-15
JP2019-048840 2019-03-15
PCT/JP2020/008243 WO2020189224A1 (ja) 2019-03-15 2020-02-28 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Publications (2)

Publication Number Publication Date
CN113396578A CN113396578A (zh) 2021-09-14
CN113396578B true CN113396578B (zh) 2024-08-16

Family

ID=72520899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080012206.XA Active CN113396578B (zh) 2019-03-15 2020-02-28 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法

Country Status (4)

Country Link
US (1) US20220159163A1 (zh)
JP (1) JP7387713B2 (zh)
CN (1) CN113396578B (zh)
WO (1) WO2020189224A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7098832B2 (ja) * 2019-05-20 2022-07-11 富士フイルム株式会社 撮像装置、撮像方法及び撮像プログラム
WO2023002826A1 (ja) * 2021-07-21 2023-01-26 パナソニックＩｐマネジメント株式会社 撮像システム、及び、それを備えた移動体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124850A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd 画像動き補正装置、レンズ装置および撮像装置
JP5848603B2 (ja) * 2011-12-27 2016-01-27 キヤノン株式会社 撮像装置及びその制御方法
JP6080505B2 (ja) * 2012-11-06 2017-02-15 キヤノン株式会社 像振れ補正装置およびその制御方法
EP2981062B1 (en) * 2013-03-29 2019-11-20 Sony Corporation Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method
JP6685843B2 (ja) * 2016-06-06 2020-04-22 オリンパス株式会社 撮像装置
JP2020095069A (ja) * 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
DE102018107950A1 (de) * 2017-04-18 2018-10-18 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung
JP2019106655A (ja) * 2017-12-14 2019-06-27 ルネサスエレクトロニクス株式会社 半導体装置および電子機器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Also Published As

Publication number Publication date
US20220159163A1 (en) 2022-05-19
JP7387713B2 (ja) 2023-11-28
JPWO2020189224A1 (zh) 2020-09-24
WO2020189224A1 (ja) 2020-09-24
CN113396578A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
JP5223486B2 (ja) 電子双眼鏡
JP6700872B2 (ja) 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
KR101528860B1 (ko) 디지털 촬영 장치의 흔들림 보정 방법 및 장치
JP5778998B2 (ja) 撮像装置、画像生成方法およびコンピュータプログラム
WO2014156731A1 (ja) 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
US8233786B2 (en) Image shake correction apparatus and image pickup apparatus
JP6135848B2 (ja) 撮像装置、画像処理装置および画像処理方法
CN113396578B (zh) 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法
US10419674B2 (en) Image blur correction device, control method thereof, and imaging device
JP6128458B2 (ja) 撮像装置および画像処理方法
JP6098873B2 (ja) 撮像装置および画像処理装置
CN107018309A (zh) 摄像装置和摄像装置的像抖动校正方法
JP2004295027A (ja) ブレ補正装置
US11968448B2 (en) Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program
US11445114B2 (en) Imaging device, solid-state imaging element, camera module, drive control unit, and imaging method
JP2012128356A (ja) ブレ補正装置及び光学機器
JP2013190486A (ja) 撮像装置
JP6250446B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP2014016451A (ja) 撮像装置、手振れ補正量算出方法、手振れ補正量算出プログラム
JP5393877B2 (ja) 撮像装置および集積回路
JP2020137011A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP4064001B2 (ja) カメラ
WO2020013200A1 (ja) 交換レンズ、及びカメラボディ
JP2008187440A (ja) 撮像装置及び撮像装置の駆動方法
CN104704804A (zh) 摄像装置、检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant