CN107852462A - 相机模块、固体摄像元件、电子设备和摄像方法 - Google Patents

相机模块、固体摄像元件、电子设备和摄像方法 Download PDF

Info

Publication number
CN107852462A
CN107852462A CN201680042401.0A CN201680042401A CN107852462A CN 107852462 A CN107852462 A CN 107852462A CN 201680042401 A CN201680042401 A CN 201680042401A CN 107852462 A CN107852462 A CN 107852462A
Authority
CN
China
Prior art keywords
pickup part
image pickup
image
coordinate
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680042401.0A
Other languages
English (en)
Other versions
CN107852462B (zh
Inventor
矶大辅
桑原宗市
山田英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107852462A publication Critical patent/CN107852462A/zh
Application granted granted Critical
Publication of CN107852462B publication Critical patent/CN107852462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Geometry (AREA)

Abstract

本发明涉及能够有效地校正相机抖动和镜头失真的相机模块、固体摄像元件、电子设备和摄像方法。摄像部接收从被摄体经由光学系统入射过来的光，由此对被摄体进行摄像；并且当在摄像部中拍摄至少一帧图像的期间，检测部检测摄像部的运动。接着，进行如下的坐标变换处理：基于利用运动检测部检测到的摄像部的运动和用于校正光学系统的失真的校正系数，对由摄像部拍摄的图像上的坐标以能够抑制由摄像部的相机抖动和光学系统的失真这两者对该图像施加的影响的方式进行一次性地变换。该技术例如适用于层叠型CMOS图像传感器。

Description

相机模块、固体摄像元件、电子设备和摄像方法
技术领域
本发明涉及相机模块、固体摄像元件、电子设备和摄像方法，更具体地，涉及能够有效地校正相机抖动和镜头失真的相机模块、固体摄像元件、电子设备和摄像方法。
背景技术
通常，摄像装置能够通过利用光学式图像稳定器(OIS：Optical ImageStabilizer)或电子式图像稳定化(EIS：Electronic Image Stabilization)技术来抑制摄像装置的相机抖动对图像施加的影响。
例如，在以往的电子式图像稳定化技术中，利用从图像获得移动量的方法来进行图像处理，以校正相机抖动。然而，在该方法中，计算处理很复杂，在低照度下移动量的测定精度降低了，并且会出现因移动的被摄体而引起的相机抖动量的估计误差。因此，在某些情况下，图像稳定化的精度被降低了。
相对地，提出了使用由陀螺仪传感器、或加速度传感器等检测的运动传感器信息的电子式图像稳定化技术。然而，在以往的使用运动传感器信息的电子式图像稳定化技术中，仅仅根据移动量来移动整个图像的位置。因此，难以处理因像面内的位置而引起的移动量的差异。特别地，在利用就像互补金属氧化物半导体(CMOS：Complementary Metal OxideSemiconductor)图像传感器那样的使用卷帘快门的摄像元件的情况下，未针对由于像素各行的曝光时间的偏差而引起的在一个画面内的移动量的差异(焦平面现象)采取措施。
于是，如专利文献1所披露，本申请人提出了针对因像面内的位置而引起的移动量的差异或针对因一个画面内的曝光时间的偏差而引起的移动量的差异来进行图像稳定化的摄像装置。通过采用该图像稳定化，可以从中央到周边以高的精度来校正相机抖动。除此之外，还可以抑制因焦平面现象而引起的变形。
此外，一般来说，对于镜头失真校正处理，已经提出了各种方法。例如，经常会采用如下的Zhang的方法：其中，通过利用参数需要被测定的镜头来对棋盘进行摄像。
引用文献列表
专利文献
专利文献1：
国际专利申请公开第WO2014/156731号。
专利文献
非专利文献1：
“Flexible Camera Calibration by Viewing a Plane from UnknownOrientations,”Zhengyou Zhang,ICCV99。
发明内容
要解决的技术问题
顺便提及地，如上所述，通过专利文献1中披露的图像稳定化技术可以获得令人满意的效果。然而，人们期望更有效地校正相机抖动和镜头失真。
本发明是鉴于上述这种情况而作出的，并且本发明旨在使相机抖动和镜头失真得到有效的校正。
解决问题的技术方案
根据本发明的一方面的相机模块设置有摄像部、运动检测部和坐标变换处理部。在这种情况下，摄像部接收从被摄体经由光学系统入射过来的光，由此对被摄体成进行摄像。当在摄像部中拍摄至少一帧图像时，运动检测部检测摄像部的运动。坐标变换处理部执行如下的坐标变换处理：基于利用运动检测部检测到的摄像部的运动和用于校正光学系统的失真的校正系数，对由摄像部拍摄的所述图像上的坐标进行一次性地变换，从而抑制由摄像部的相机抖动和光学系统的失真这两者对该图像施加的影响。
根据本发明的一方面的摄像元件设置有摄像部和坐标变换处理部。在这种情况下，摄像部接收从被摄体经由光学系统入射过来的光，由此对被摄体进行摄像。坐标变换处理部执行如下的坐标变换处理：基于利用运动检测部检测到的摄像部的运动和用于校正光学系统的失真的校正系数，对由摄像部拍摄的图像上的坐标进行一次性地变换，从而抑制由摄像部的相机抖动和光学系统的失真这两者对该图像施加的影响，其中所述运动检测部被配置成当在摄像部中拍摄至少一帧图像时检测摄像部的运动。
根据本发明的一方面的电子设备设置有摄像部、运动检测部和坐标变换处理部。在这种情况下，摄像部接收从被摄体经由光学系统入射过来的光，由此对被摄体进行摄像。当在摄像部中拍摄至少一帧图像时，运动检测部检测摄像部的运动。坐标变换处理部执行如下的坐标变换处理：基于利用运动检测部检测到的摄像部的运动和用于校正光学系统的失真的校正系数，对由摄像部拍摄的图像上的坐标进行一次性地变换，从而抑制由摄像部的相机抖动和光学系统的失真这两者对该图像施加的影响。
根据本发明的一方面的摄像方法包括：通过摄像部对被摄体进行摄像，该摄像部被配置成接收从被摄体经由光学系统入射过来的光；以及当在摄像部中拍摄至少一帧图像时，检测摄像部的运动。此外，该摄像方法还包括执行如下的坐标变换处理：基于所检测到的摄像部的运动和用于校正光学系统的失真的校正系数，对由摄像部拍摄的图像上的坐标一次性地进行一次性地变换，从而抑制由摄像部的相机抖动和光学系统的失真这两者对图像施加的影响。
根据本发明的各方面，通过摄像部对被摄体进行摄像，该摄像部被配置成接收从被摄体经由光学系统入射过来的光。当在摄像部中拍摄至少一帧图像时，检测摄像部的运动。此外，执行如下的坐标变换处理：基于所检测到的摄像部的运动和用于校正光学系统的失真的校正系数，对由摄像部拍摄的图像上的坐标以能够抑制由摄像部的相机抖动和光学系统的失真这两者对该图像施加的影响的方式一次性地进行一次性地变换。
有益效果
根据本发明的各方面，可以有效地校正相机抖动和镜头失真。
附图说明
图1是用来说明本技术适用的相机模块的实施例的构造示例的框图。
图2是用来说明第一同步方式的图。
图3是用来说明第二同步方式的图。
图4是用来说明第三同步方式的图。
图5是用来说明第四同步方式的图。
图6是用来说明第五同步方式的图。
图7是用来说明运动传感器输出的时间范围的图。
图8是用来说明一般的镜头失真校正处理和图像稳定化处理的图。
图9是用来说明以2个阶段进行的坐标变换的图。
图10是用来说明一次性地进行的坐标变换的图。
图11是用来说明用于校正镜头失真和相机抖动的具体方法的图。
图12是用来说明用于校正镜头失真和相机抖动的具体方法的图。
图13是示出了控制像素在图像中的排列的配置示例的图。
图14是示出了控制像素在图像中均匀或不均匀排列着的配置示例的图。
图15是用来说明用于插补(interpolate)除控制像素以外的像素的方法的图。
图16是用来说明第一校正结果输出方式的框图。
图17是用来说明第二校正结果输出方式的框图。
图18是用来说明第三校正结果输出方式的框图。
图19是用来说明第四校正结果输出方式的框图。
图20是用来说明第五校正结果输出方式的框图。
图21是用来说明计算针对水平方向的绝对角的方法的框图。
图22是用来定义俯仰角(pitch angle)、翻滚角(roll angle)和偏航角(yawangle)的图。
图23是用来说明单应性(homography)处理的图。
图24是用来说明摄像方法的流程图。
图25是用来说明本技术适用的电子设备的实施例的构造示例的框图。
图26是示出了使用图像传感器的使用例的图。
具体实施方式
在下文中，将会参照附图对本技术能够适用的各具体实施例进行说明。
<相机模块的构造示例>
图1是用来说明本技术能够适用的相机模块的实施例的构造示例的框图。
如图1所示，相机模块11被配置成包括图像传感器12、运动传感器13、参数存储部14、数据分离部15、运动信号处理部16、坐标变换处理部17和图像变形部18。
图像传感器12具有摄像部21和同步处理部22，并且运动传感器13用的接口安装在图像传感器12上。图像传感器12读取通过该接口从运动传感器13输出至该图像传感器的运动传感器输出。然后，图像传感器12输出具有运动传感器输出的图像数据，其中，该运动传感器输出被添加到从摄像部21输出的图像数据中。
摄像部21拍摄被摄体的图像，该摄像部通过光学系统(未图示)聚集来自被摄体的光以在摄像面上成像，由此获得被摄体的图像，其中在该摄像面上有多个像素排列成矩阵。摄像部21输出从拍摄的图像中获取的图像数据。
同步处理部22执行如下的同步处理：将从摄像部21输出至该同步处理部的图像数据和从运动传感器13输出至该同步处理部的运动传感器输出互相同步，并将图像数据和运动传感器输出互相整合，从而输出所得到的数据。需要注意的是，稍后将参照图2～图6对由同步处理部22进行的同步处理进行详细说明。
运动传感器13由例如能够检测3轴方向上的角速度的陀螺仪传感器构成，并将由这些角速度表示的相机模块11的运动作为运动传感器输出进行输出。需要注意的是，作为运动传感器13，也可以使用能够检测6轴或9轴方向上的运动(角加速度、或加速度等)的传感器。
参数存储部14存储着坐标变换处理部17在执行坐标变换处理时所使用的各种参数，例如，镜头失真校正系数、控制像素坐标等。镜头失真校正系数是通过如下方式而预先获得的用来校正镜头失真的系数：以用于构成图像传感器12的摄像部21的像素的坐标为参数来预先测定光学系统所具有的镜头失真。如图13和图14所示，控制像素坐标是：指定了成为被正确地执行像素转换的对象的特定控制像素的坐标。
数据分离部15将从图像传感器12提供给该数据分离部的具有运动传感器输出的图像数据分离成图像数据和运动传感器输出。接着，数据分离部15将运动传感器输出提供给运动信号处理部16，并将图像数据提供给图像变形部18。
运动信号处理部16执行用于把从数据分离部15提供给该运动信号处理部的运动传感器输出变换为表示相机模块11的运动的运动信息的信号处理，并且将相机模块11的运动信息提供给坐标变换处理部17。例如，当向运动信号处理部16提供作为运动传感器输出的3轴方向上的角速度时，该运动信号处理部可通过对这些角速度进行积分来将这些角速度变换为3轴方向上的旋转角(角度的变化量)。此时，运动信号处理部16可以校正在执行该转换时生成的积分误差等。
坐标变换处理部17以如下方式执行用于变换图像的坐标的坐标变换处理：针对从参数存储部14读出的每个控制像素坐标(参照稍后将说明的图13和图14)，抑制了由图像传感器12的相机抖动和光学系统的镜头失真这两者对由图像传感器12拍摄的图像施加的影响。此时，坐标变换处理部17执行如下的坐标变换处理：一次性地执行基于从运动信号处理部16提供过来的相机模块11的运动信息的图像稳定化以及基于从参数存储部14读取的镜头失真校正系数的镜头失真校正。接着，坐标变换处理部17将通过坐标变换处理而针对每个控制像素坐标求出的校正控制点坐标提供给图像变形部18。需要注意的是，稍后将参照图8～图11对由坐标变换处理部17进行的坐标变换处理进行详细说明。
图像变形部18根据从坐标变换处理部17提供给该图像变形部的校正控制点坐标来对从数据分离部15提供给该图像变形部的图像数据执行图像变形处理。例如，图像变形部18通过将校正之前的图像数据中的控制点坐标的像素值用作与所关注的控制点坐标对应的校正控制点坐标的像素值来使图像变形。此外，图像变形部18还通过利用针对控制点坐标的像素的图像变形处理的结果来执行用于插补具有除控制点坐标以外的坐标的像素的插补处理。接着，图像变形部18把作为执行图像变形处理的结果而获得的校正了相机抖动和镜头失真的校正结果图像作为输出图像而输出至后续阶段的模块(未图示)中。
相机模块11以上述方式构造而成，并且图像传感器12输出如下的具有运动传感器输出的图像数据：其中，从运动传感器13向该图像传感器输出的运动传感器输出与图像数据被同步地整合。接着，在坐标变换处理部17中，一次性地进行用于校正相机抖动和镜头失真的这种坐标变换处理。在图像变形部18中执行基于校正控制点坐标的图像变形处理。因此，相机模块11能够有效地校正相机抖动和镜头失真。
<关于同步处理>
关于同步处理部22将图像数据和运动传感器输出互相同步的机制，现在将参照图2～图6来说明第一同步方式至第五同步方式。
首先，参照图2，第一同步方式被描述为：当从运动传感器13输出样本时，对摄像部21的像素矩阵中的行序号进行记录的机制。
例如，当通过CMOS图像传感器根据卷帘快门方式来执行摄像时，如图2所示，按照摄像部21的行序号依次输出样本。在图2中，行序号Li表示在摄像部21中以矩阵排列的像素的第i行的序号。运动传感器样本Si表示在该帧的摄像开始之后输出的第i个输出(运动传感器输出)。
例如，当根据卷帘快门方式来读取样本时，对于从图像的首行到末行的读取，取决于帧速率的读取时间Δti是必要的。具体地，当图像传感器12以60帧/秒(60FPS(FPS：FramePer Second))操作时，读取时间Δti大约为16.7毫秒(＝1,000毫秒/60帧)。
另一方面，由于在图像传感器12被驱动的同时运动传感器13也进行操作，因此可以按照运动传感器13的采样率Δtm来获取运动传感器13的样本。例如，当运动传感器13的采样率为1kHz时，可以每个1毫秒获取一个运动传感器样本。
这样，摄像部21和运动传感器13以独立的采样率进行操作。此外，对于图像而言，可以按照作为比帧单位更精细的单位的行单位来执行控制(水平同步)。因此，如果在读出某一行的时刻获取到运动传感器的样本，则可以使该行序号和该运动传感器样本互相对应。
通过利用这一点，在相机模块11中，同步处理部22执行如下的同步处理：在某一帧中，将所获取的所有的运动传感器的样本与能够获取该样本的时刻的行序号进行关联。这样，相机模块11可以实施该帧内的运动传感器样本的位置的同步。
在图2所示的示例中，帧i中的最初运动传感器样本S1是在行序号L1被读出的时刻获取到的。同步处理部22将运动传感器样本S1和行序号L1以互相关联的方式记录着。同样地，同步处理部22将运动传感器样本S2和行序号L2以互相关联的方式记录着，并且将此后的运动传感器样本和行序号以互相关联的方式记录着。接着，在一帧的读取结束的时刻处，同步处理部22将在一帧的读取期间获取的所有运动传感器样本与图像数据一起从图像传感器12输出。如上所述，同步处理部22可以将图像数据和运动传感器输出互相同步。
顺便提及地，当运动传感器样本被实际使用时，需要考虑从运动传感器13输出的时间延迟、图像传感器12的曝光时间和图像数据的帧内位置等。也就是说，一些运动传感器13在传感器内部采用了低通滤波器，而采用低通滤波器会引起延迟。为此，同步处理部22需要把以该时间延迟发生偏移后的运动传感器样本与行序号关联。
此外，应该进行校正的时刻是根据图像传感器12的曝光时间而有所不同的。例如，在电子式图像稳定化中，适合使用的是在曝光时间的中间时刻处可以获取的运动传感器输出。因此，当水平同步的时刻为所关注的行的读取结束的时刻时，优选地改变该时刻。也就是说，如果曝光时间为16毫秒，那么优选地，通过使用在8毫秒之前的时刻处的运动传感器输出来进行校正。
当然，也可以根据处理来改变时刻。此外，在某行的曝光时间内通过对整个时间内的运动传感器输出进行平均而获得的值可以被用于所关注的行的校正。需要注意的是，针对每次采样都指定了行序号，因而可以容易地计算与运动传感器输出的采样周期对应的行数。根据该关系，将延迟量重新换算为行数，因此时刻的改变是在图像内以取决于延迟量的行数进行改变，简言之，在y坐标方向上进行改变，因而能够容易地进行调节。
此外，在CMOS图像传感器中，在从垂直同步被输出的时刻到真实图像被读出的时刻的时间段中，在某些情况下包含了对光学黑体(OPB：optical black)的判断处理所需的时间、以及其他处理所需的时间等。在这种情况下，会在上述行序号和真实图像之间产生差别。因此，为了使行序号和真实图像互相一致，需要考虑该差别。简言之，以行数为单位来计算由该差别引起的延迟量，并且根据该延迟量来移动行数，从而使行序号和真实图像互相一致。
如上所述，同步处理部22通过利用第一同步方式，以从运动传感器13输出样本的时刻作为基准，将运动传感器13的样本和摄像部21的像素矩阵的行序号互相关联，由此能够使图像数据和运动传感器输出互相同步。
下面，将参照图3来说明作为第二同步方式的机制，该机制用于将从运动传感器13输出的样本的样本编号分配给摄像部21中的像素矩阵的行序号。
例如，第二同步方式使得图2所示的第一同步方式中图像传感器12与运动传感器13之间的关系反转。首先，与第一同步方式一样，可以按照根据采样率Δtm而决定的时间间隔来获取运动传感器13的样本。
图3所示的运动传感器样本S0是在前一帧的曝光期间获取的样本。简言之，运动传感器样本S0是在行序号Li被读取的时刻之前获取的最后样本。此时，同步处理部22将运动传感器样本S0能够被唯一地指定的编号0与行序号Li关联，并将与行序号Li关联的编号0与行序号Li的像素值串列(pLi,1、pLi,2、...、pLi,n)一起记录。
此外，同样地，当在图3所示的行序号Lj被读出的时刻之前获取的最后样本为运动传感器样本S1时，同步处理部22将运动传感器样本S1能够被唯一地指定的编号1与行序号Lj的像素值串列(pLj,1、pLj,2、...、pLj,n)一起记录。
这样，运动传感器样本能够被唯一地指定的编号被添加到每行，使得同步处理部22可以将图像传感器12和运动传感器13逐行地同步。此外，可以指定图像传感器12的各行与可获取运动传感器样本的行之间的关系。因此，也可以容易地在不能获取运动传感器样本的行中进行运动传感器样本的插补。
如上所述，同步处理部22通过利用第二同步方式，以从摄像部21逐行输出的时刻为基准，将从运动传感器13输出的样本的样本编号与行序号关联，由此使图像数据和运动传感器输出互相同步。
下面，将参照图4来说明作为第三同步方式的机制，该机制通过利用图像传感器12和运动传感器13的每个时间戳来执行同步。
首先，第三同步方式与图2所示的上述第一同步方式的相同之处在于：图像传感器12和运动传感器13被互相独立地驱动。此外，在第三同步方式中，图像传感器12和运动传感器13中的每一者都应在其内部设置有能够发布时间戳的机构。具体地，根据来自内置在图像传感器12和运动传感器13中的各处理器的时钟来发布时间戳。
例如，图像传感器12发布指定水平同步的时间戳，并且运动传感器13发布指定可以获取样本的时刻的时间戳。结果，可以使水平同步和样本获取的时刻互相同步，并且可以通过比例计算以子像素为单位来推定行序号。
首先，假定在获取运动传感器样本的时刻tm之前的读取时刻t1处读取坐标y1的行，并且在tm之后的读取时刻t2处读取坐标y2的行。此时，通过以下表达式(1)来表示与获取运动传感器样本的时刻tm对应的以子像素为单位的行序号ym。
[数学式1]
这样，通过基于时间戳来得到从运动传感器13取得获取运动传感器样本的时刻和对图像传感器12的各行的读取时刻，同步处理部22能够更正确地进行同步。顺便提及地，必要的是：图像传感器12和运动传感器13可以使用任意方法来进行互相同步，并且使图像传感器12和运动传感器13的时间戳互相一致。
如上所述，同步处理部22通过利用第三同步方式，利用图像传感器12和运动传感器13的时间戳来推定与获取运动传感器样本的时刻对应的以子像素为单位的行序号，由此使图像数据和运动传感器输出互相同步。
下面，将参照图5来说明作为第四同步方式的机制，该机制通过使用图像传感器12和运动传感器13共同的时间戳来执行同步。
图5是用来说明能够使用第四同步方式的相机模块11的构造示例的框图，并且对于用于构成相机模块11的模块，省略了对于第四同步方式的说明而言不必须的模块的图示。例如，在第四同步方式中，图像传感器12和运动传感器13被配置成连接到共同的控制器，并且该控制器具有用于发布时间戳的时间戳发布单元19。
在时间戳发布单元19接收到分别从图像传感器12和运动传感器13发送的时间戳发布请求的时刻处，时间戳发布单元19将时间戳发送到图像传感器12和运动传感器13。
首先，图像传感器12在最初的水平同步的时刻处读出图像的首行。在此时刻，图像传感器12向时间戳发布单元19发送时间戳发布请求。在接收到该请求之后，时间戳发布单元19在该时刻处将时间戳发送给图像传感器12。然后，图像传感器12接收到指定了水平同步的时间戳以整合图像的行，并且输出具有时间戳的图像数据。图像传感器12在之后的水平同步的时刻处重复同样的操作。
此外，同样地，当运动传感器输出被输出时，运动传感器13向时间戳发布单元19发出时间戳发布请求。于是，运动传感器13输出具有指定了可以获取样本的时刻的时间戳的运动传感器输出。
因此，基于从图像传感器12输出的图像数据的时间戳和从运动传感器13输出的运动传感器输出的时间戳，同步处理部22可以执行它们二者之间的时间和空间位置关系的同步。
需要注意的是，即使在这种第四同步方式中，类似于参照图4说明的上述第三同步方式，也可以推定以子像素为单位的行序号。
如上所述，同步处理部22通过利用第四同步方式，通过使用共同的时间戳来将图像数据和运动传感器输出互相同步。
下面，将参照图6来说明作为第五同步方式的机制，该机制按照图像传感器12的各个固定行数来获取运动传感器13的样本。
例如，在运动传感器13的采样率NM(Hz)不能被图像传感器的帧速率NI(帧/秒)整除的情况下，在一帧中可以获取的运动传感器13的样本数量对于每帧而言都不相同。
因此，在这种情况下，如图6的A所示，在帧i中可获取样本的行以及在下一帧i+1中可获取样本的行是互相不一致的。例如，当运动传感器13的采样率为1000(Hz)、帧速率为60(帧/秒)时，前者与后者的比率为1,000/60≈16.7。基于该事实，在某个帧中可以获取的运动传感器13的样本数量为16，而为了便于采样，在某些情况下，在另一帧中可以获取的运动传感器13的样本数量为17。
然而，在很多情况下，当每帧可获取的样本数量为固定时，这在系统设计方面是很方便的。为此，在相机模块11中，运动传感器13的采样率NM被设定为能够被图像传感器12的帧速率NI整除的数量。结果，可以在图像传感器12的特定行中通常获取运动传感器13的样本。
也就是说，如图6的B所示，在帧i中可获取样本的行以及在下一帧i+1中可获取样本的行是互相一致的。简言之，可以按照各个特定的固定行数来获取运动传感器13的样本。例如，当帧速率为60(帧/秒)时，通过将运动传感器13的采样率设定为1200Hz，每帧总可获取20个样本。结果，当图像的总行数是H时，可以以H/20行为单位来获取运动传感器13的样本。
如上所述，同步处理部22根据第五同步方式，按照图像传感器12的各个固定行数来获取运动传感器13的样本，由此使图像数据和运动传感器输出互相同步。
需要注意的是，同步处理部22使图像数据和运动传感器输出互相同步的同步方式不限于已经说明的机制，因此也可以使用其他各种机制来代替。
<关于运动传感器输出>
下面，将参照图7给出关于与一页的帧同时输出的运动传感器输出的时间范围的说明。
例如，在一页的特定帧被输出时，仅利用在用于构成该特定帧的每一行被读取时可获得的运动传感器输出，不能再现在拍摄该特定帧的时间范围内的所有运动。也就是说，在该特定帧的第一行的曝光期间的运动信息需要在该特定帧之前的帧被读取时可以获取的运动传感器输出。此外，在当帧和帧之间的曝光未被执行时的时间(帧消隐)上的运动信息对于推定这些帧之间的移动量是有用的。
因此，相机模块11输出特定帧的图像、在特定帧的第一行的曝光期间获取的运动传感器输出、以及在特定帧的曝光开始之前的帧消隐期间获取的运动传感器输出。
此外，出于某种原因在运动传感器13和图像传感器12之间出现具有确定长度的延迟。例如，在用于将运动传感器13和图像传感器12互相连接起来的基板中的处理的延迟等相当于该延迟。如果所关注的延迟量是固定的，相机模块11将包括了在考虑固定延迟量的情况下的运动传感器输出和所关注的帧一起输出。
顺便提及地，当在使图像传感器12和运动传感器13互相同步的同步方法中使用行序号时，必须将负值(例如，L-1)添加到被分配给一帧之前的运动传感器输出的行序号。此外，例如，当对一帧之后的运动传感器输出进行行序号分配时，仅需要使用通过将下一帧的行数与图像的总行数相加而获得的值。
如上所述，在输出一页的特定帧时，图像传感器12不仅输出在用于构成该特定帧的各行被读取时可获得的运动传感器输出，而且还把在帧消隐期间的运动传感器输出、曝光期间的运动传感器输出以及延迟期间的运动传感器输出相互关联地输出。这样，同步处理部22在包括一帧图像的图像被拍摄之前或之后的预定时段内输出上述运动传感器输出，由此能够通过使用这些运动传感器输出来执行更正确的图像稳定化。
<关于考虑到镜头失真的电子式图像稳定化>
下面，将参照图8～图11来给出关于考虑到镜头失真的电子式图像稳定化的说明。
在下文中，一般而言，使用了如下的方式：对所有像素分别执行镜头失真校正处理和图像稳定化处理，并且每当执行这些处理时都会产生图像。
例如，如图8所示，首先，对包含镜头失真和相机抖动的输入图像的所有像素执行镜头失真校正处理，并产生失真已校正图像。然后，对所得到的失真已校正图像的所有像素执行图像稳定化处理，并且输出最终的已校正图像。然而，在该方式中，由于产生了最终未被使用的失真已校正图像作为中间图像，因此会使用不必要的存储带域。
因而，相机模块11采用了不会产生不必要的中间图像的、可一次性地执行镜头失真校正处理和图像稳定化处理的方式。
例如，镜头失真校正用的坐标变换函数Td(x,y)和图像稳定化用的坐标变换函数TS(x,y)都应当遵循后向型(用于在变换后的坐标被交付时，返回到变换之前的坐标的方式)。这里，对于如图8所示的镜头失真校正处理和图像稳定化处理被顺次地执行的变形，如图9所示，是以2个阶段进行处理。
首先，如图9的A所示，执行通过用于镜头失真校正的坐标变换函数Td(x，y)把输入图像I的坐标变换成失真已校正图像Id的坐标的失真校正变换，并且产生了作为中间图像的失真已校正图像Id。通过以下表达式(2)来表示符合后向型的失真校正转换公式。
[数学式2]
Id(X，y)＝I(Td(X，y))...(2)
接着，如图9的B所示，进行通过用于图像稳定化的坐标变换函数TS(x，y)把失真已校正图像Id的坐标变换成失真已校正且相机抖动已校正图像Ir的坐标的图像稳定化变换，并且输出作为最终变换结果的输出图像。通过以下表达式(3)来表示符合后向型的图像稳定化变换公式。
[数学式3]
Ir(X，y)＝Id(Ts(X，y))...(3)
顺便提及地，在这种处理中，实际上，一个坐标只是连续地被变换的。因此，即使将图9的A和图9的B所示的这两个变形组合成一个变形，也可以获得相同的变换结果。
那么，相机模块11根据图10所示的方式一次性地执行坐标变换。
如图10所示，通过用于一次性地执行镜头失真校正处理和图像稳定化处理的坐标变换函数Td(TS(x，y))将输入图像I的坐标变换为失真已校正和照相机抖动已校正图像Is的坐标，而不会产生失真已校正图像Id。通过以下表达式(4)来表示符合后向型的失真和相机抖动变换公式。
[数学式4]
Is(X，y)＝I(Td(Ts(X，y)))...(4)
如果采用该方式，则在仅仅坐标值被连续地变换处理的同时，能够避免从输入图像I产生最终未被使用的中间图像(失真已校正图像Id)，并且能够输出失真和相机抖动被同时校正的失真已校正且相机抖动已校正图像Is。结果，对于相机模块11，可以减少存储量和计算量，并且对于系统构造而言能够获得明显的优点。
下面，将参照图11和图12来说明校正镜头失真和相机抖动的具体方法。
例如，假设图像传感器12以俯仰方向上的旋转角-θp(rad：弧度)旋转，以偏航方向上的旋转角-θy(rad)旋转，并且以翻滚方向上的旋转角-θr(rad)旋转。此时，如图11所示，在不包含失真的图像坐标系中在坐标(xu,yu)的点pu与坐标(Xu,Yu)的点Pu之间建立了上述专利文献1中披露的图像稳定化关系式，即以下表达式(5)。
[数学式5]
顺便提及地，在表达式(5)中，焦距L是通过将图像传感器的光学中心位置中的焦距换算为像素数量来获得的。简言之，表达式(5)的图像稳定化关系表达式表示上述参照图9和图10说明的图像稳定化用的坐标变换函数TS(x,y)。这里，对于用于任意的符合后向型的镜头失真校正的坐标变换函数Td(x,y)而言，在图像稳定化处理和镜头失真校正处理中，执行符合以下表达式(6)的变换。
[数学式6]
通过执行符合表达式(6)的变换来算出在输出图像的坐标系中的针对某个坐标(xu,yu)进行图像稳定化之前的坐标(Xu,Yu)。此外，算出在针对坐标(Xu,Yu)进行镜头失真校正之前的坐标(Xd,Yd)。由于以这种方式获得了输出图像的坐标与输入图像的坐标之间的对应关系，因此镜头失真校正和图像稳定化可以同时执行，而不产生中间图像。
顺便提及地，当期望将镜头失真故意地添加到输出图像中时，作为在上述处理中输出的坐标，不使用被执行了失真校正的点pu的坐标(xu,yu)，而是使用包含失真的坐标系中的点pd的坐标(xd,yd)。对于这种处理而言，例如，需要使用作为坐标变换函数Td(x,y)的逆函数的坐标变换逆函数Td -1(x,y)，并且根据以下表达式(7)来执行变换。
[数学式7]
下面，将针对相机模块11中实际使用的两种镜头失真处理方法给出说明。
首先，第一镜头失真处理方法是与Brown-Conrady的镜头失真模型对应的校正方法。在该模型中，通过使用失真校正用的参数k1、k2、k3、p1和p2以及以失真校正之前之后的光学中心为原点的归一化坐标(xd,yd)和(xu,yu)，将经向方向(meridional direction)和矢状方向(sagittal direction)这两个方向上的失真表示为以下表达式(8)。
[数学式8]
然而，由于在表达式(8)中使用的参数是镜头固有的值，因此需要预先测定这些参数。用于预先测定参数的测定操作被称为相机标定，并且已经提出了各种方法。在这些方法中，一般而言，经常使用的是通过利用参数待测定的镜头来对棋盘进行摄像的Zhang的方法(上述非专利文献1)。
也就是说，将棋盘的格子点的失真程度拟合成表达式(8)，由此测定参数。一旦参数被测定后，需要以后向型的方式计算出与目标的失真校正之后的坐标(xu，yu)对应的失真校正之前的坐标(Xd，Yd)，并且需要将在该位置获取的像素值确定为失真校正之后的坐标的像素值。此外，因为如果参数被确定，则每个坐标的失真校正量是恒定的，因此也可以具有用于保存与各坐标对应的移动量的一个表格。
下面，作为第二镜头失真处理方法，将对以像高作为关键的八失真量置于表格中的校正方法进行说明。
镜头失真包括经向方向上的分量和矢状方向上的分量。然而，在这种情况下，由于矢状方向上的分量小于经向方向上的分量，因此可以仅仅用经向方向的即像高的函数来近似。因此，当假设在包含失真的光学系统中在距离rd的位置处成像的点在不包含失真的光学系统中在距光学中心的距离为ru的位置处成像时，通过使用距离光学中心的距离的失真比函数(distortion ratio function)D可以用以下表达式(9)来表示距离rd。
[数学式9]
rd=ruD(ru)...(9)
该失真比函数D是基于镜头设计数据或实测值来预先测定的，由此能够执行考虑到镜头失真的图像稳定化处理。下面，将对考虑到镜头失真的图像稳定化处理中的步骤进行说明。
首先，在第一步骤中，在不包含失真的在图像稳定化之后的图像(输出图像)的坐标系中指定坐标(xu,yu)。接着，在第二步骤中，将坐标(xu,yu)应用于根据图像传感器12的旋转角而确定的图像稳定化关系式，由此计算出不包含失真的在图像稳定化之前的图像中的坐标(Xu,Yu)。然后，在第三步骤中，通过使用由失真引起的失真比函数D来计算出包含失真的在图像稳定化之前的图像中的坐标(Xd,Yd)。该算术运算可以表示为以下表达式(10)。
[数学式10]
此外，在第四步骤中，获取坐标(Xd,Yd)中的像素值，并且确定输出图像的坐标(xu,yu)中的像素值。
需要注意的是，为了简化算术运算，失真比函数D例如可以是距离的平方(r2)的函数。此外，当期望在输出图像中故意残留镜头失真时，需要通过将失真比函数应用于上述坐标(xu,yu)来执行坐标变换，以求出坐标(xd,yd)。接着，需要根据上述第四步骤来获取所关注的位置的像素值。
此外，对像面内的镜头失真进行摄像，并且图像稳定化关系式的焦距L根据像面位置而发生改变，使得仅通过应用单一的校正方式，就可同时校正镜头失真和相机抖动。简言之，可以根据与图像的面内的位置对应的相机抖动和失真的影响的差异来对图像进行校正。将在下面说明该方式。
类似于上述情况，假设图像传感器12以俯仰方向上的旋转角-θp(rad)旋转，以偏航方向上的旋转角-θy(rad)旋转，并且以翻滚方向上的角-θr(rad)旋转。此时，在坐标(xu,yu)的点pu与坐标(Xu,Yu)的点Pu之间建立上述专利文献1中披露的图像稳定化关系式。由以下表达式(11)来表示该关系式。
[数学式11]
这里，在表达式(11)中，图像稳定化关系式的焦距L是通过将图像传感器的光学中心位置中的焦距换算为像素数量来获得的。
例如，在不包含镜头失真的理想镜头中，该焦距是恒定的，而与像面上的位置无关。然而，在实际的镜头中，由于失真，可以认为焦距是根据像面上的位置而有所不同的。于是，预先测定像面位置中的在俯仰方向上的虚拟焦距Lp(xu,yu)和在偏航方向上的虚拟焦距Ly(xu,yu)。那么，通过使用焦距Lp(xu,yu)和Ly(xu,yu)来利用上述图像稳定化关系式，由此能够执行考虑到失真的坐标变换。由以下表达式(12)来表示该关系式。
[数学式12]
图12是用来说明利用表达式(12)的变换方式的图。在下文中，将说明具体变换步骤。
首先，在第一步骤中，在不包含失真的在图像稳定化之后的图像(输出图像)的坐标系中指定坐标(xu,yu)。接着，在第二步骤中，将坐标(xu,yu)应用于根据图像传感器12的旋转角和所关注的像面位置中的焦距而确定的图像稳定化关系式，由此计算出包含失真的在图像稳定化之前的图像中的坐标(Xd,Yd)。然后，在第三步骤中，获取坐标(Xd,Yd)中的像素值。将该像素值确定为输出图像的坐标(xu,yu)中的像素值。
需要注意的是，像面位置中的虚拟焦距L(xu,yu)的测定可以使用以下将会说明的两种方法来实现。
首先，在第一方法中，图像实际上是与运动传感器数据一起被拍摄的。在这种情况下，由运动传感器进行的图像稳定化处理以及由诸如光流(optical flow)或区块(block)匹配等图像处理进行的图像稳定化处理这两者均被执行。接着，将它们两者互相比较，由此求出虚拟焦距L(xu,yu)。在该第一方法中，在完全不包含失真的区域中两者的移动量是互相一致的，而在包含失真的区域中两者的移动量是互相不同的。结果，两者的移动量的差分被设定为零，因而可以获得虚拟焦距Lp(xu,yu)和Ly(xu,yu)。
下面，第二方法是使用镜头设计数据的方法。也就是说，利用镜头设计数据可以再现所有的光学信息。因此，利用该事实，可以估计虚拟焦距L(xu,yu)。
执行使用以这种方式求出的焦距Lp(xu,yu)和Ly(xu,yu)的变换，如图12所示，将坐标(xu,yu)的点pu转换成坐标(Xd,Yd)的点Pd。由此，可以校正相机抖动和失真。
顺便提及地，当期望将镜头失真故意地添加到输出图像时，作为在上述处理中输出的坐标，不使用被执行了失真校正的点pu的坐标(xu,yu)，而是必须使用包含失真的坐标系中的点pd的坐标(xd,yd)。在这种情况下，上述的虚拟焦距Lp和Ly通过包含了镜头失真而预先求出的，从而能够实现该处理。也就是说，如图12所示，通过执行使用焦距Lp(xd,yd)和Ly(xd,yd)的变换，必须将坐标(xd,yd)的点pd变换成坐标(Xd,Yd)的点Pd。
<关于控制像素的镜头失真校正处理和图像稳定化处理>
下面，将参照图13～图15来给出关于控制像素的镜头失真校正处理和图像稳定化处理的说明。
一般而言，镜头失真校正处理和图像稳定化处理是取决于所产生的失真和相机抖动的程度而被执行的，因而并不一定对所有像素都必须正确地予以执行。例如，仅针对一部分像素执行正确的校正处理，并且对于由这些像素围绕的区域，可以在通过利用被执行校正处理的像素来实施的简单插补处理来保持图像质量的同时进行近似。
于是，相机模块11采用了如下的方法：仅对特定的控制像素执行正确的镜头失真校正处理和图像稳定化处理，并且使用这些控制像素对除控制像素以外的像素执行简单的插补处理，由此最终校正了整个图像。在下文中，将针对使用控制像素的处理方法来进行说明。
首先，将参照图13对控制像素在图像中的排列的配置示例进行说明。
在图13中，控制像素由空心圈(○)表示。例如，图13的A示出了控制像素以格子状排列的配置示例，图13的B示出了控制像素以三角形排列的配置示例。此外，图13的C示出了控制像素排列在全部像素(全部坐标)中的配置示例，在这种情况下，仅示出了左上角的第一列中的一部分控制像素。需要注意的是，在一边的长度被设定为一个像素的特定情况下，图13的C所示的配置示例被称为格子状配置。
将控制像素以这种方式排列成格子状或三角形的原因是因为考虑到与计算机图形(CG：Computer Graphics)的兼容性。例如，在CG中，一般而言，物体形状由多边形表示，并且纹理坐标被分配到该多边形的顶点，由此进行渲染，使得该物体更加像一个实物。相机模块11采用这种控制像素的配置，使得不仅可以简化计算，而且可以在输出已执行图像稳定化的图像时使用CG的框架。
下面，将参照图14对控制像素的配置密度进行说明。
相机模块11可任意采用如图14的A所示的控制像素被均匀地排列的配置示例，或如图14的B所示的控制像素被不均匀地排列的配置示例。例如，如图14的B所示，控制像素被不均匀地排列着，由此无需改变整个图像中的控制像素的数量也能够应对密集图像变形。
也就是说，当镜头失真形状在图像周围复杂地变化时，在失真变化特别复杂的位置处让控制像素密集地排列着，且在除该位置之外的任何位置处让控制像素稀疏地排列着，由此在不改变控制像素的数量的情况下维持镜头失真校正处理的精度。此外，在基于运动传感器13的检测的旋转角变化大的区域中让控制像素密集地排列着，而在旋转角变化小的区域中让控制像素稀疏地排列着，由此能够在不改变控制像素的总数的情况下提高图像稳定化的效果。
顺便提及地，控制像素的数量也可以逐帧地发生改变。例如，在运动较少的帧中，可以减少控制像素的总数，或者可以将控制像素排列在因图像传感器12的相机抖动而导致的变化较大的区域中。通过使用这种控制像素的排列方法，可以提高图像校正的效果，同时可以提高计算效率。
例如，在相机模块11中，仅针对控制像素进行图像校正所需的计算，并且对除控制像素以外的像素基于三角形或矩形形状执行插补处理。简言之，随着控制像素的数量的减少，执行复杂算术运算所必需的像素的数量也减少。因此，为了将控制像素的数量最小化并且增强校正效果，例如，适当地采用如图14的B所示的非均匀排列是很重要的。
下面，将参照图15对除控制像素之外的像素的插补方法进行说明。
例如，当控制像素排列成矩形形状时，适用如图15的A所示的双线性插补。此外，当控制像素排列成三角形时，适用如图15的B所示的重心坐标插补。
如图15的A所示，在双线性插补中，基于以矩形形状排列的控制像素来插补除控制像素之外的像素。例如，当在其中控制像素排列在顶点p00、顶点p10、顶点p01和顶点p11处的矩形形状的内部，具有比例(u∶v)的内分点p变形时，如以下表达式(13)所示，通过双线性插补来计算变形后的内分点p’的坐标。也就是说，基于变形后的控制像素的顶点p00’、顶点p10’、顶点p01’和顶点p11’的坐标的比率(u∶v)来计算与内分点p对应的内分点p’的坐标。
[数学式13]
p’＝(1-u)(1-v)p00’+(1-u)p10’+u(1-v)p01’+uvp11'...(13)
在获取了因电子式图像稳定化(EIS)和失真校正而导致的变形后的坐标之后，通过执行子采样来获取该位置的像素值。例如，可以利用诸如最近邻、双线性(bilinear)、双三次(bicubic)或各向异性过滤等一般的重新采样方法作为重新采样方法。顺便提及地，插补处理可以利用CG中的纹理插补处理。因此，可以通过使用图形处理单元(GPU：GraphicsProcessing Unit)来执行硬件的高速处理。通过执行轻量化和高速化插补处理，无需对所有像素执行镜头失真校正处理和图像稳定化处理的计算，而是可以基于周围的控制像素的坐标来对除控制像素之外的像素的效果进行近似。
此外，如图15的B所示，在重心坐标插补中，基于以三角形形状排列的控制像素来插补除控制像素之外的像素。首先，在重心坐标插补中，在变形前的三角形中，预先计算由某一个内分点p确定的部分三角形的面积S1、面积S2和面积S3。接着，通过使用在先求出的部分三角形的面积S1、面积S2和面积S3以及变形后的顶点p1’、顶点p2’和顶点p3’的坐标，可以根据以下表达式(14)来计算在因电子式图像稳定化(EIS)和失真校正而导致的变形之后的内分点p’的坐标。
[数学式14]
接着，在计算出内分点p’的坐标之后，类似于上述的双线性插补的情况，通过使用某种重新采样方法来获取原始的图像的像素值。
<关于校正结果输出方式>
下面，将参照图16～图20对用于输出相机模块11中的校正结果的方式进行说明。需要注意的是，在图16～图20中，关于构成图1所示的相机模块11的模块，省略了对于校正结果输出方式的说明不必要的模块的图示。例如，在相机模块11中，使用以下将会说明的五个方式来输出校正结果。
图16是用来说明第一校正结果输出方式的框图。
如图16所示，在第一校正结果输出方式中，运动传感器输出被输入到运动信号处理部16，控制像素坐标和镜头失真校正系数被输入到坐标变换处理部17，并且输入图像被输入到图像变形部18。接着，运动信号处理部16执行用于将运动传感器输出变换成表示相机模块11的运动的运动信息的信号处理。此时，运动信号处理部16执行如上所述的校正积分误差等的信号处理。顺便提及地，在图16～图20的说明中，表示在执行这种校正之后由坐标变换处理部17求出的相机模块11的运动的运动信息被称为已校正运动传感器输出。
此外，坐标变换处理部17基于从运动信号处理部16提供给该坐标变换处理部的已校正运动传感器输出，来对控制像素执行用于校正相机抖动和镜头失真的坐标变换处理，并且将所得到的校正控制点坐标提供给图像变形部18。接着，图像变形部18基于校正控制点坐标来执行使输入图像变形的图像变形处理，并且输出所得到的校正结果图像。
这样，在第一校正结果输出方式中，处理所必需的所有信息都被输入到相机模块11，并且仅从相机模块11输出校正结果图像。因此，通过第一校正结果输出方式可以将图像稳定化系统视为黑匣子。
图17是用来说明第二校正结果输出方式的框图。
如图17所示，在第二校正结果输出方式中，运动传感器输出被输入到运动信号处理部16，并且控制像素坐标和镜头失真校正系数被输入到坐标变换处理部17。另一方面，输入图像通过相机模块11被原样输出。接着，运动信号处理部16对运动传感器输出执行信号处理，并将已校正运动传感器输出提供给坐标变换处理部17。此外，坐标变换处理部17基于从运动信号处理部16提供给该坐标变换处理部的已校正运动传感器输出，来对控制像素执行用于校正相机抖动和镜头失真的坐标变换处理，并且输出所得到的校正控制点坐标。
这样，在第二校正结果输出方式中，处理所必需的所有信息都被输入到相机模块11，并且未执行任何处理的输入图像和校正控制像素坐标又从相机模块11中输出。因此，根据第二校正结果输出方式，校正控制像素坐标和输入图像被输入到后续阶段的体系的CG处理系统，并且以所谓的纹理映射到多边形的形式来执行图像提示。结果，可以实现更有效的结果图像提示。
此外，当通过逐行地进行处理的硬件电路来实现相机模块11时，由于用于保存图像信息的行存储器的容量限制，在垂直于行的方向上的校正结果难以反映在图像上。另一方面，当采用第二校正结果输出方式时，，因为不对图像本身执行处理，所以可避免行存储器所涉及的问题。此外，校正控制像素坐标和输入图像被输入到CG处理系统，由此，可以容易地执行作为利用纹理映射的结果的图像显示。
图18是用来说明第三校正结果输出方式的框图。
如图18所示，在第三校正结果输出方式中，运动传感器输出被输入至运动信号处理部16。另一方面，输入图像、控制像素坐标和镜头失真校正系数通过相机模块11被原样输出。接着，运动信号处理部16对运动传感器输出执行信号处理，并输出已校正运动传感器输出。
这样，在第三校正结果输出方式中，只有运动传感器输出是相机模块11中的处理对象，并且其他输入信息被原样输出。例如，在第三校正结果输出方式中，仅利用相机模块11中的运动信号处理，并且在相机模块11的后续阶段处独立安装的构造中利用其他处理。
在由运动信号处理部16进行的信号处理中，例如，执行运动传感器的漂移校正和用于除去噪声的滤波。然而，这些信号处理需要运动传感器13的专门技能。为此，掌控运动传感器输出绝不是简单的事情。在这种情况下，由运动信号处理部16进行的信号处理被设置在相机模块11中，使得连接到相机模块11的其他系统无需承担与运动有关的责任。因此，可以高效地构建整个系统。
图19是用来说明第四校正结果输出方式的框图。
如图19所示，在第四校正结果输出方式中，运动传感器输出被输入至运动信号处理部16。另一方面，输入图像、控制像素坐标和镜头失真校正系数通过相机模块11被原样输出。接着，运动信号处理部16对运动传感器输出执行信号处理，以将运动传感器输出变换成表示相机模块11的运动的运动信息。然而，此时，未执行上述的对于积分误差等的校正。也就是说，运动信号处理部16输出的是未执行校正的运动传感器输出。
这样，在第四校正结果输出方式中，例如，仅通过对由运动传感器13提供的角速度进行简单积分而获得的角度作为未执行校正的运动传感器输出而被输出，并且其他输入信息被原样输出。这是当复杂的运动信号处理功能、及图像变形处理等被安装在后续阶段的体系中时可以被采用的形式。
图20是用来说明第五校正结果输出方式的框图。
如图20所示，在第五校正结果输出方式中，输入图像、控制像素坐标、镜头失真校正系数和运动传感器输出通过相机模块11被原样输出。未执行相机模块11中的处理。
这样，在第五校正结果输出方式中，相机模块11不执行任何处理，并且输入信息通过该相机模块而被传输。这是例如假定了在拍摄运动图像时图像稳定化功能被设定为OFF的情况的形式。在安装了相机模块11的摄像装置中，可以根据需要来设定校正结果输出方式的切换。
如上所述，假设相机模块11使用的是上述的第一校正结果输出方式至第五校正结果输出方式，并且将必要的校正结果分别输出到后续阶段。例如，相机模块11可以根据使用者的设定将当前校正结果输出方式切换到第一校正结果输出方式至第五校正结果输出方式中的任一者。
<关于利用加速度的水平维持>
下面，将参照图21对相机模块11中的关于利用3轴方向上的加速度来计算针对水平方向的绝对角的方法进行说明。
如图21所示，运动信号处理部16被配置成设置有水平绝对角计算部31、卡尔曼(Kalman)滤波器32和自适应LPF(低通滤波器：low-pass filter)33。然后，作为从运动传感器13输出到运动信号处理部16的运动传感器输出，提供了3轴方向上的加速度[αx,αy,αz]、俯仰方向上的角速度ωpitch、翻滚方向上的角速度ωroll以及偏航方向上的角速度ωyaw。
水平绝对角计算部31用以下表达式(15)进行运算，由此计算出作为水平绝对角的俯仰角θpitch和翻滚角θroll相对于垂直方向的倾斜。
[数学式15]
然而，在表达式(15)中，为参数μ指定了能够避免用零进行除法运算的任意值，此外，按照如图22所示的方式来定义俯仰角θpitch、翻滚角θroll和偏航角θyaw。
卡尔曼滤波器32通过使用俯仰角θpitch和翻滚角θroll以及俯仰方向上的角速度ωpitch和翻滚方向上的角速度ωroll来进行由该卡尔曼滤波器实施的误差估计，其中，上述俯仰角θpitch和翻滚角θroll是由水平绝对角计算部31计算出的水平绝对角。
例如，在根据加速度而求出的角度中会包含许多瞬时误差(高频分量的误差)，这些瞬时误差是由于因图像传感器12的运动而引起的加速度的分量所导致的。此外，在根据角速度而求出的角度中包含由于陀螺仪漂移(gyro drift)而导致的缓慢地发生变化的分量的许多误差(低频分量的误差)。因此，卡尔曼滤波器32为了消除这些误差而求出误差估计，并且消除因相机抖动而引起的误差和因陀螺仪漂移而引起的误差分量。结果，可以获得作为高精度的水平绝对角的俯仰角θ’pitch和翻滚角θ’roll。
自适应LPF 33计算出当旋转量小时的平均值。例如，当卡尔曼滤波器32仅利用重力加速度时，不能进行水平方向上的旋转(偏航方向的旋转)的校正。那么，对于偏航方向上的角度，自适应LPF 33对从陀螺仪获得的角速度ωyaw运用该自适应低通滤波器，由此消除陀螺仪漂移。需要注意的是，自适应LPF 33可以使用任何方法，只要能够计算出当旋转量小时的平均值即可。
例如，自适应LPF 33通过使用以下表达式(16)的加权平均方法来自适应地计算权重ωk，由此计算出加权平均。
[数学式16]
角加速度：α(t)＝ω(t)-ω(t-1)
与偏移量的差分：
基于加速度求出的移动量：
也就是说，如表达式(16)所示，自适应LPF 33计算出作为角速度变化量的角加速度α(t)，计算出当前获得的偏移量与陀螺仪角速度之间的差分d(t)，并计算出基于加速度获得的移动量m(t)。那么，自适应LPF 33可使用角加速度α(t)、差分d(t)和移动量m(t)来自适应地计算权重ωk。
这样，运动信号处理部16求出了已校正绝对角[俯仰角θ’pitch和翻滚角度θ’roll]以及已消除了陀螺仪漂移的已校正角度[偏航角θ’yaw]，并且将所求出的已校正绝对角和已校正角度提供给坐标变换处理部17。接着，坐标变换处理部17可以使用由运动信号处理部16求出的已校正绝对角和已校正角度来执行坐标变换处理。图像变形部18可以对输入图像I执行图像变形，由此输出已校正图像I’。
这样，相机模块11可以执行具有利用加速度计来实现的水平维持功能的相机抖动校正。
需要注意的是，图像变形部18例如可执行上述专利文献1所披露的图像变形处理。此外，图像变形部18例如可执行在计算机视觉中所用的单应性处理。
图23是用来说明单应性处理的图。
在单应性处理中，可以使用表示3轴旋转的旋转矩阵R以及投影变换矩阵K来执行图像变换。这里，旋转矩阵R、投影变换矩阵K和投影变换逆矩阵K-1由以下表达式(17)表示。
[数学式17]
[fx,fy]：x、y方向上的焦距。
[xc,yc]：x、y方向上的光学中心。
在该表达式(17)所表示的旋转矩阵R中，以与上述图22同样的方式定义俯仰角θpitch、翻滚角θroll和偏航角θyaw。此外，投影变换矩阵K和投影变换逆矩阵K-1通过x方向上的焦距fx、y方向上的焦距fy、x方向上的光学中心xc以及y方向上光学中心yc来表示。
通过上述一系列处理，就能够实施水平方向始终得以维持的电子式图像稳定化。
<关于摄像方法>
下面，将参照图24的流程图对由相机模块11以摄像方法执行的处理示例进行说明。
例如，在相机模块11中，当由摄像部221开始对一帧进行摄像时，该处理就开始了。在步骤S11中，同步处理部22执行同步处理，以使得从摄像部21输出的图像数据与从运动传感器13输出的运动传感器输出互相同步。接着，同步处理部22将通过使图像数据和运动传感器输出互相整合而获得的具有运动传感器输出的图像数据提供给数据分离部15。
在步骤S12中，数据分离部15将在步骤S11中从图像传感器12提供给该数据分离部的具有运动传感器输出的图像数据分离。接着，数据分离部15将运动传感器输出提供给运动信号处理部16，并将图像数据提供给图像变形部18。
在步骤S13中，运动信号处理部16将在步骤S12中从数据分离部15提供给该运动信号处理部的运动传感器输出变换为表示相机模块11的运动的运动信息，并且把所得到的运动信息提供给坐标变换处理部17。
在步骤S14中，坐标变换处理部17从参数存储部14中读出镜头失真系数和控制像素坐标，并且基于在步骤S13中从运动信号处理部16提供给该坐标变换处理部的运动信息来执行坐标变换处理。然后，在坐标变换处理中，为了针对每个控制点坐标来抑制相机抖动和失真这两者对图像施加的影响，坐标变换处理部17计算出用于对图像上的坐标进行一次性地变换的校正控制点坐标。接着，坐标变换处理部17将得到的校正控制点坐标提供给图像变形部18。
在步骤S15中，图像变形部18根据在步骤S14中从坐标变换处理部17提供给该图像变形部的校正控制点坐标来对在步骤S12中从数据分离部15提供给该图像变形部的图像数据执行坐标变换处理。这样，图像变形部18对图像数据执行了坐标变换处理，由此一次性地执行了镜头失真校正处理和图像稳定化处理。结果，已校正图像作为校正结果图像而被输出，从而该处理结束。此后，该处理待机直到下一帧的摄像开始的时刻，并且重复执行同样的处理。
这样，在相机模块11中，一次性地执行了镜头失真校正处理和图像稳定化处理，由此能够有效地对图像进行校正。
如上所述，在相机模块11中，如前面参照图2～图5所说明的，由于运动信息和图像信息互相同步，因此即使对于剧烈运动也可以正确地进行图像稳定化。
接着，在相机模块11中，如上述的参照图7所说明的，由于可以把一帧图像的曝光期间内的所有运动信息包含在该帧内以供使用，所以相机模块11不仅可以应用于相机抖动校正，还可以应用于面内抖动校正。
此外，由于在相机模块11执行了上述的参照图21所说明的水平控制，因此，例如即使未看到预览，也能够水平地进行摄像，并且即使当三脚架未被可靠地设置时，也能够水平地进行摄像。
此外，在相机模块11中，通过使用与镜头失真模型对应的校正方法，或者通过使用以像高作为关键的将失真量置于表格中的校正方法，即使在图像周边部分中也能够抑制电子式图像稳定化的位置对准精度的降低。因此，能够通过执行更简单的处理来实现失真校正。
此外，在相机模块11中，如上述的参照图13～图15所说明的，由于通过使用特定控制像素来执行处理，因此可以在防止校正精度的降低的同时来实现处理的轻量化。
此外，在相机模块11中，如上述的参照图16～图20所说明的，由于使用各种各样的校正结果输出方式，因此能够以各种形式输出处理结果，从而可以实现灵活的系统构造。
需要注意的是，相机模块11可以与由不同芯片构成的图像传感器12和运动传感器13组合使用。可选地，也可以采用以下构造：在该构造中，相机模块11利用其中把传感器基板和逻辑基板互相层叠起来的层叠型CMOS图像传感器作为图像传感器12，并且运动传感器13内置在图像传感器12中。这样，当利用层叠型CMOS图像传感器来构造图像传感器12和运动传感器13时，易于使它们互相同步。此外，还可采用如下的构造：其中，构成相机模块11的所有模块被安装至层叠型CMOS图像传感器。
此外，例如，层叠型固体摄像元件具有如下构造：其中，分别能够用作用于存储至少一页图像的帧存储器的存储器芯片互相层叠着。在这样的层叠型固体摄像元件中，图像变形部18可对存储在存储器芯片中的图像进行图像变形处理。也就是说，本技术可以应用于如下的层叠型CMOS图像传感器：在该层叠型CMOS图像传感器中，传感器基板和逻辑基板互相层叠，在逻辑基板中执行坐标变换处理，并且将校正结果图像输出到后续阶段。
<电子设备的构造示例>
顺便提及地，例如，如上所述的实施例的相机模块11可应用至各种电子设备，例如：诸如数码相机或数码摄像机等摄像系统、包括摄像功能的移动电话、或包括摄像功能的其他设备等。
图25是示出了电子设备搭载的摄像装置的构造示例的框图。
如图25所示，摄像装置101被配置成设置有光学系统102、摄像元件103、信号处理电路104、监控器105和存储器106，并且可以拍摄静止图像和运动图像。
光学系统102被配置成具有一个以上透镜，并且将来自被摄体的图像光(入射光)引导到摄像元件103，以让图像光在摄像元件103的受光面(传感器部)上成像。
以上实施例的相机模块11被应用为摄像元件103。与通过光学系统102在受光面上成像的图像对应地，在一定时间段内在摄像元件103中累积电子。接着，与摄像元件103中积累的电子对应的信号被提供给信号处理电路104。
信号处理电路104对从摄像元件103向该信号处理电路输出的像素信号进行各种信号处理。通过信号处理电路104进行信号处理而获得的图像(图像数据)被提供给监控器105以在该监控器上显示出来，或者被提供给存储器106以在该存储器中存储(记录)下来。
上述实施例的相机模块11应用于以这种方式构造而成的摄像装置101，由此例如使得摄像装置101能够拍摄出对相机抖动和镜头失真已经进行了更正确的校正的图像。
<图像传感器的使用例>
图26是示出了上述图像传感器的使用例的图。
如以下将要说明的，上述图像传感器例如可用于感测诸如可见光、红外光、紫外光和X射线等的光的各种情况。
·拍摄鉴赏用图片的装置，诸如数字照相机和具有照相机功能的移动装置等。
·交通运输用装置，诸如：为了例如自动停车和驾驶员状况识别等的安全驾驶来拍摄车辆的前、后、周围和内部的图像的车载传感器等；用于监控行进车辆和道路的监控摄像机；以及用于测量车辆之间距离的测距传感器。
·用于诸如TV、电冰箱或空调之类的家用电器的装置，该装置用于拍摄用户手势并响应于该手势来操作上述电器。
·医疗/安保用装置，诸如安全用途的监控用摄像机和人物身份认证用途的摄像机等。
·美容用装置，诸如拍摄皮肤的皮肤测量装置和拍摄头皮的显微镜。
·运动用途装置，诸如体育用途的运动照相机或可穿戴照相机等。
·农业用途装置，诸如用于监测土地或作物状态的照相机。
顺便提及地，本技术也可采用以下构造。
(1)
一种相机模块，其包括：
摄像部，所述摄像部被配置成接收从被摄体经由光学系统入射过来的光，由此对所述被摄体进行摄像；
运动检测部，所述运动检测部被配置成：当在所述摄像部中拍摄至少一帧图像时，所述运动检测部检测所述摄像部的运动；以及
坐标变换处理部，所述坐标变换处理部被配置成执行如下的坐标变换处理：基于利用所述运动检测部检测到的所述摄像部的运动和用于校正所述光学系统的失真的校正系数，对由所述摄像部拍摄的所述图像上的坐标以能够抑制由所述摄像部的相机抖动和所述光学系统的失真这两者对所述图像施加的影响的方式进行一次性地变换。
(2)
根据上述(1)所述的相机模块，进一步包括：
同步处理部，所述同步处理部被配置成使由所述摄像部拍摄的一帧图像以行为单位与由所述运动检测部检测到的所述摄像部的运动同步。
(3)
根据上述(2)所述的相机模块，其中，所述同步处理部被配置为通过如下方式来实施同步：以由所述摄像部拍摄的一帧图像逐行地被输出的时刻和由所述运动检测部检测到所述摄像部的运动的时刻这两个时刻中的一者作为基准，所述同步处理部将获取另一者时的时刻与所述一者关联。
(4)
根据上述(2)所述的相机模块，其中，所述同步处理部被配置成利用时间戳来执行同步，所述时间戳用于指定包括由所述摄像部拍摄所述图像的预定时刻和由所述运动检测部检测到所述摄像部的运动的时刻在内的各个时刻。
(5)
根据上述(2)～(4)中任一项所述的相机模块，其中，所述同步处理部把在由所述摄像部拍摄一帧图像之前或之后的预定时段内由所述运动检测部检测到的所述摄像部的运动以包含在一帧中的方式进行输出。
(6)
根据上述(1)～(5)中任一项所述的相机模块，进一步包括：
运动信号处理部，所述运动信号处理部被配置成对通过所述运动检测部检测所述摄像部的运动且因而输出的输出信号进行信号处理，由此将所述输出信号变换成表示所述摄像部的运动的运动信息。
(7)
根据上述(6)所述的相机模块，其中，所述运动信号处理部通过校正在对来自所述运动检测部的所述输出信号进行变换的期间产生的误差来获得所述摄像部的运动信息。
(8)
根据上述(1)～(7)中任一项所述的相机模块，进一步包括：
图像变形处理部，所述图像变形处理部被配置成基于被所述坐标变换部变换的坐标来对由所述拍摄部拍摄的所述图像进行变形。
(9)
根据上述(8)所述的相机模块，其中，所述坐标变换处理部对构成所述图像的所有像素中的特定控制像素执行坐标变换处理，并且
图像变形处理部基于所述控制像素的变换后的坐标来执行图像变形处理，并且通过利用对所述控制像素执行的所述图像变形处理的结果，来执行用于插补除所述控制像素以外的像素的插补处理。
(10)
根据上述(8)或(9)所述的相机模块，其中，所述控制像素在所述图像中以格子状或三角形排列着。
(11)
根据上述(8)～(10)中任一项所述的相机模块，其中，所述控制像素不均匀地排列在所述图像中。
(12)
根据上述(1)～(11)中任一项所述的相机模块，其中，所述坐标变换部执行如下的坐标变换处理：根据与所述图像的面内的位置对应的所述摄像部的相机抖动的影响的差异以及与所述图像的面内的位置对应的所述光学系统的失真的影响的差异，来对图像进行校正。
(13)
根据上述(12)所述的相机模块，其中，
所述坐标变换部将通过执行坐标变换处理而输出的坐标输出变换成当使用不包含失真的所述光学系统时的坐标，并且
在所述坐标变换部计算了与由所述运动检测部检测到的所述摄像部的运动及所述图像的面内的坐标位置对应的校正量之后，计算当使用包含失真的所述光学系统时图像中的坐标。
(14)
根据上述(12)所述的相机模块，其中，
对于通过所述坐标变换处理而输出的输出坐标，所述坐标变换部计算与由所述运动检测部检测到的所述摄像部的运动和及所述图像的面内的坐标位置对应的校正量，并且
所述坐标变换部计算当使用包含失真的所述光学系统时图像中的坐标。
(15)
根据上述(12)～(14)中任一项所述的相机模块，其中，
预先测定校正系数，所述校正系数符合以构成所述图像的像素的坐标作为参数的所述光学系统的失真模型方程，并且
所述坐标变换部通过利用符合所述光学系统的所述失真模型方程的校正系数来实施针对于所述光学系统的失真的校正，其中，所述光学系统的失真的影响根据所述图像的面内的位置而不同。
(16)
根据上述(12)～(14)中任一项所述的相机模块，其中，
预先测定所述光学系统的焦距，所述焦距响应于所述图像的面内的位置和所述摄像部的相机抖动方向而改变；并且
所述坐标变换部通过使用响应于所述图像的面内的位置和所述摄像部的相机抖动方向而改变的所述焦距来校正所述摄像部的相机抖动。
(17)
根据上述(1)～(16)中任一项所述的相机模块，其中，由所述摄像部拍摄的所述图像以及通过所述坐标变换处理而被变换后的所述坐标被输出到后续阶段。
(18)
一种固体摄像元件，其包括：
摄像部，所述摄像部被配置成接收从被摄体经由光学系统入射过来的光，由此对所述被摄体进行摄像；以及
坐标变换处理部，所述坐标变换处理部被配置成执行如下的坐标变换处理：基于利用运动检测部检测到的所述摄像部的运动和用于校正所述光学系统的失真的校正系数，对由所述摄像部拍摄的所述图像上的坐标以能够抑制由所述摄像部的相机抖动和所述光学系统的失真这两者对所述图像施加的影响的方式进行一次性地变换，其中所述运动检测部被配置成当在所述摄像部中拍摄至少一帧图像时检测所述摄像部的运动。
(19)
一种电子设备，其包括：
摄像部，所述摄像部被配置成接收从被摄体经由光学系统入射过来的光，由此对所述被摄体成像；
运动检测部，所述运动检测部被配置成当在所述摄像部中拍摄至少一帧图像时，检测所述摄像部的运动；以及
坐标变换处理部，所述坐标变换处理部被配置成执行如下的坐标变换处理：基于利用所述运动检测部检测到的所述摄像部的运动和用于校正所述光学系统的失真的校正系数，对由所述摄像部拍摄的所述图像上的坐标以能够抑制由所述摄像部的相机抖动和所述光学系统的失真这两者对所述图像施加的影响的方式进行一次性地变换。
(20)
一种摄像方法，其包括：
通过摄像部对被摄体进行摄像，所述摄像部被配置成从所述被摄体接收通过光学系统入射过来的光；
当在所述摄像部中拍摄至少一帧图像时，检测所述摄像部的运动；以及
执行如下的坐标变换处理：基于所检测到的所述摄像部的运动和用于校正所述光学系统的失真的校正系数，对由所述摄像部拍摄的所述图像上的坐标以能够抑制由所述摄像部的相机抖动和所述光学系统的失真这两者对所述图像施加的影响的方式进行一次性地变换。
需要注意的是，本发明的实施例绝不限于上述实施例，并且可以在不背离本文所公开的主旨的情况下做出各种改变。
附图标记列表
11...相机模块
12...图像传感器
13...运动检测部
14...参数存储部
15...数据分离部
16...运动信号处理部
17...坐标变换处理部
18...图像变形部
19...时间戳发布单元
21...摄像部
22...同步处理部
31...水平绝对角计算部
32...卡尔曼滤波器
33...自适应LPF

Claims (20)

1.一种相机模块，其包括：
摄像部，所述摄像部被配置成接收从被摄体经由光学系统入射过来的光，由此对所述被摄体进行摄像；
运动检测部，所述运动检测部被配置成：当在所述摄像部中拍摄至少一帧图像时，所述运动检测部检测所述摄像部的运动；以及
坐标变换处理部，所述坐标变换处理部被配置成执行如下的坐标变换处理：基于由所述运动检测部检测到的所述摄像部的运动和用于校正所述光学系统的失真的校正系数，对由所述摄像部拍摄的所述图像上的坐标以能够抑制由所述摄像部的相机抖动和所述光学系统的失真这两者对所述图像施加的影响的方式进行一次性地变换。
2.根据权利要求1所述的相机模块，进一步包括：
同步处理部，所述同步处理部被配置成使由所述摄像部拍摄的一帧图像以行为单位与由所述运动检测部检测到的所述摄像部的运动同步。
3.根据权利要求2所述的相机模块，其中，所述同步处理部被配置为通过如下方式来实施同步：以由所述摄像部拍摄的所述一帧图像逐行地被输出的时刻和由所述运动检测部检测到所述摄像部的运动的时刻这两者中的一者作为基准，将获得另一者时的时刻与所述一者关联。
4.根据权利要求2所述的相机模块，其中，所述同步处理部被配置成利用时间戳来实施同步，所述时间戳用于指定包括由所述摄像部拍摄所述图像的预定时刻和由所述运动检测部检测到所述摄像部的运动的时刻在内的各个时刻。
5.根据权利要求2所述的相机模块，其中，所述同步处理部把在由所述摄像部拍摄所述一帧图像之前或之后的预定时段内由所述运动检测部检测到的所述摄像部的运动以包含在一帧中的方式进行输出。
6.根据权利要求1所述的相机模块，进一步包括：
运动信号处理部，所述运动信号处理部被配置成对通过所述运动检测部检测所述摄像部的运动且因而输出的输出信号进行信号处理，由此将所述输出信号变换成表示所述摄像部的运动的运动信息。
7.根据权利要求6所述的相机模块，其中，
所述运动信号处理部通过校正在对来自所述运动检测部的所述输出信号进行变换时产生的误差来获得所述摄像部的运动信息。
8.根据权利要求1所述的相机模块，进一步包括：
图像变形处理部，所述图像变形处理部被配置成基于被所述坐标变换部变换的坐标来对由所述摄像部拍摄的所述图像进行变形。
9.根据权利要求8所述的相机模块，其中，
所述坐标变换部对构成所述图像的所有像素中的特定控制像素执行坐标变换处理，并且
所述图像变形处理部基于所述控制像素的变换后的坐标来执行图像变形处理，并且通过利用对所述控制像素执行的所述图像变形处理的结果，来执行用于插补除所述控制像素以外的像素的插补处理。
10.根据权利要求9所述的相机模块，其中，所述控制像素在所述图像中以格子状或三角形排列着。
11.根据权利要求9所述的相机模块，其中，所述控制像素在所述图像中不均匀地排列着。
12.根据权利要求1所述的相机模块，其中，所述坐标变换部执行如下的坐标变换处理：根据与所述图像的面内的位置对应的所述摄像部的相机抖动的影响的差异以及与所述图像的面内的位置对应的所述光学系统的失真的影响的差异，来校正所述图像。
13.根据权利要求12所述的相机模块，其中，
所述坐标变换部将通过执行坐标变换处理而输出的输出坐标变换成在使用不包含失真的所述光学系统情况下的坐标，并且
在所述坐标变换部计算出与由所述运动检测部检测到的所述摄像部的运动及所述图像的面内的坐标位置对应的校正量之后，计算在使用包含失真的所述光学系统情况下图像中的坐标。
14.根据权利要求12所述的相机模块，其中，
对于通过执行所述坐标变换处理而输出的输出坐标，所述坐标变换部计算与由所述运动检测部检测到的所述摄像部的运动及所述图像的面内的坐标位置对应的校正量，并且
所述坐标变换部计算在使用包含失真的所述光学系统情况下图像中的坐标。
15.根据权利要求12所述的相机模块，其中，
对校正系数进行预先测定，所述校正系数符合以构成所述图像的像素的坐标作为参数的所述光学系统的失真模型方程，并且
所述坐标变换部通过利用符合所述光学系统的所述失真模型方程的所述校正系数来实施与所述光学系统的失真对应的校正，其中所述光学系统的失真根据所述图像的面内的位置而具有不同影响。
16.根据权利要求12所述的相机模块，其中，
对所述光学系统的焦距进行预先测定，所述焦距根据所述图像的面内的位置及所述摄像部的相机抖动方向而发生改变，并且
所述坐标变换部通过使用根据所述图像的面内的位置及所述摄像部的相机抖动方向而发生改变的所述焦距来校正所述摄像部的相机抖动。
17.根据权利要求1所述的相机模块，其中，由所述摄像部拍摄的所述图像以及通过所述坐标变换处理而被变换后的所述坐标被输出到后续阶段。
18.一种固体摄像元件，其包括：
摄像部，所述摄像部被配置成接收从被摄体经由光学系统入射过来的光，由此对所述被摄体进行摄像；以及
坐标变换处理部，所述坐标变换处理部被配置成执行如下的坐标变换处理：基于由运动检测部检测到的所述摄像部的运动和用于校正所述光学系统的失真的校正系数，对由所述摄像部拍摄的图像上的坐标以能够抑制由所述摄像部的相机抖动和所述光学系统的失真这两者对所述图像施加的影响的方式进行一次性地变换，其中所述运动检测部被配置成当在所述摄像部中拍摄至少一帧图像时检测所述摄像部的运动。
19.一种电子设备，其包括：
摄像部，所述摄像部被配置成接收从被摄体经由光学系统入射过来的光，由此对所述被摄体进行摄像；
运动检测部，所述运动检测部被配置成：当在所述摄像部中拍摄至少一帧图像时，所述运动检测部检测所述摄像部的运动；以及
坐标变换处理部，所述坐标变换处理部被配置成执行如下的坐标变换处理：基于由所述运动检测部检测到的所述摄像部的运动和用于校正所述光学系统的失真的校正系数，对由所述摄像部拍摄的所述图像上的坐标以能够抑制由所述摄像部的相机抖动和所述光学系统的失真这两者对所述图像施加的影响的方式进行一次性地变换。
20.一种摄像方法，其包括：
通过摄像部对被摄体进行摄像，所述摄像部被配置成接收从所述被摄体经由光学系统入射过来的光；
当在所述摄像部中拍摄至少一帧图像时，检测所述摄像部的运动；以及
执行如下的坐标变换处理：基于所检测到的所述摄像部的运动和用于校正所述光学系统的失真的校正系数，对由所述摄像部拍摄的所述图像上的坐标以能够抑制由所述摄像部的相机抖动和所述光学系统的失真这两者对所述图像施加的影响的方式进行一次性地变换。
CN201680042401.0A 2015-07-22 2016-07-08 相机模块、固体摄像元件、电子设备和摄像方法 Active CN107852462B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015145335 2015-07-22
JP2015-145335 2015-07-22
PCT/JP2016/070261 WO2017014071A1 (ja) 2015-07-22 2016-07-08 カメラモジュール、固体撮像素子、電子機器、および撮像方法

Publications (2)

Publication Number Publication Date
CN107852462A true CN107852462A (zh) 2018-03-27
CN107852462B CN107852462B (zh) 2020-12-18

Family

ID=57834110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680042401.0A Active CN107852462B (zh) 2015-07-22 2016-07-08 相机模块、固体摄像元件、电子设备和摄像方法

Country Status (5)

Country Link
US (1) US10498962B2 (zh)
JP (1) JP6702323B2 (zh)
KR (1) KR102526794B1 (zh)
CN (1) CN107852462B (zh)
WO (1) WO2017014071A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108680196A (zh) * 2018-04-28 2018-10-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
CN109040525A (zh) * 2018-08-31 2018-12-18 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110072049A (zh) * 2019-03-26 2019-07-30 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
WO2019237984A1 (zh) * 2018-06-15 2019-12-19 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
WO2020088134A1 (zh) * 2018-10-31 2020-05-07 Oppo广东移动通信有限公司 视频校正方法、装置、电子设备和计算机可读存储介质
CN112129317A (zh) * 2019-06-24 2020-12-25 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质
CN115134505A (zh) * 2021-03-25 2022-09-30 北京小米移动软件有限公司 预览画面生成方法及装置、电子设备、存储介质
CN115472027A (zh) * 2021-06-10 2022-12-13 欧温星球控股股份有限公司 远程辅助系统和远程辅助方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677098B2 (ja) * 2015-07-01 2020-04-08 株式会社リコー 全天球動画の撮影システム、及びプログラム
US10922559B2 (en) * 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
CN108886573A (zh) * 2016-05-20 2018-11-23 深圳市大疆灵眸科技有限公司 用于数字视频增稳的系统和方法
JP6674701B2 (ja) * 2016-09-28 2020-04-01 ルネサスエレクトロニクス株式会社 画像処理モジュール、および半導体システム
CN106780758B (zh) * 2016-12-07 2019-12-13 歌尔科技有限公司 用于虚拟现实设备的成像方法、装置及虚拟现实设备
JP6936034B2 (ja) * 2017-03-31 2021-09-15 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ装置及び揺れ補正方法
JP2018205678A (ja) * 2017-06-06 2018-12-27 米田　正人 Ｇｙｒｏデバイスを用いた手振れ補正システムおよびＧｙｒｏセンサデバイスおよびイメージセンサデバイス
JP7030442B2 (ja) * 2017-08-07 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107561723B (zh) * 2017-10-13 2020-05-05 京东方科技集团股份有限公司 显示面板和显示装置
CN109754425B (zh) * 2017-11-01 2023-07-28 浙江舜宇智能光学技术有限公司 Tof摄像模组的标定设备及其标定方法
US10911675B2 (en) * 2017-12-28 2021-02-02 Samsung Electronics Co., Ltd. Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
JP2020031264A (ja) * 2018-08-20 2020-02-27 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置、信号処理方法
WO2020041081A1 (en) * 2018-08-22 2020-02-27 Intuitive Surgical Operations, Inc. Distortion correction of endoscopic images in computer-assisted tele-operated surgery
TWI766206B (zh) * 2018-11-13 2022-06-01 創惟科技股份有限公司 影像的修正方法及其裝置
JP7197785B2 (ja) * 2019-01-28 2022-12-28 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
US10380724B1 (en) * 2019-01-28 2019-08-13 StradVision, Inc. Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
CN110049239B (zh) * 2019-03-26 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
KR20210092012A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 이미지를 보정하는 방법
KR102267696B1 (ko) * 2020-06-16 2021-06-21 남서울대학교 산학협력단 사진측량과 컴퓨터비전 간의 카메라 렌즈왜곡 변환 시스템 및 그 방법
JPWO2022168501A1 (zh) * 2021-02-04 2022-08-11
EP4135311A4 (en) * 2021-06-29 2023-05-03 Samsung Electronics Co., Ltd. METHOD OF IMAGE STABILIZATION AND ELECTRONIC DEVICE THEREFOR

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197261A (ja) * 1992-12-24 1994-07-15 Canon Inc 撮像装置
JP2006186884A (ja) * 2004-12-28 2006-07-13 Sony Corp 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
CN101452180A (zh) * 2007-09-28 2009-06-10 卡西欧计算机株式会社 摄像装置、手抖动校正装置、手抖动校正方法以及记录介质
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
JP2011160067A (ja) * 2010-01-29 2011-08-18 Fujifilm Corp 手振れ補正装置及び方法、並びにカメラモジュール、携帯電話機
CN102457752A (zh) * 2010-11-05 2012-05-16 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN102780848A (zh) * 2011-05-11 2012-11-14 佳能株式会社 利用卷帘快门方法来执行摄像的摄像装置及其控制方法
CN103200392A (zh) * 2013-03-29 2013-07-10 天津大学 一种基于视角变换的车载视频稳像方法
US20140049658A1 (en) * 2012-08-14 2014-02-20 Canon Kabushiki Kaisha Image capture system, control method thereof and image capture apparatus
JP2014203400A (ja) * 2013-04-09 2014-10-27 株式会社デンソー 車外画像保存装置、及び撮像機能付き携帯端末
US20150108329A1 (en) * 2013-10-21 2015-04-23 Sony Corporation Image sensor, operating method therefor, and electronic device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9100514B2 (en) 2009-10-28 2015-08-04 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
JP5989681B2 (ja) 2011-02-25 2016-09-07 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク 符号化画像から時空領域を再構成するシステム、方法、及び媒体
JP2013050538A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP2013050537A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
WO2014156731A1 (ja) 2013-03-29 2014-10-02 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP5641127B2 (ja) * 2013-12-26 2014-12-17 ソニー株式会社 撮像装置と振れ補正方法
WO2015160967A1 (en) 2014-04-15 2015-10-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for extracting information and a display image from two captured images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197261A (ja) * 1992-12-24 1994-07-15 Canon Inc 撮像装置
JP2006186884A (ja) * 2004-12-28 2006-07-13 Sony Corp 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
CN101452180A (zh) * 2007-09-28 2009-06-10 卡西欧计算机株式会社 摄像装置、手抖动校正装置、手抖动校正方法以及记录介质
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
JP2011160067A (ja) * 2010-01-29 2011-08-18 Fujifilm Corp 手振れ補正装置及び方法、並びにカメラモジュール、携帯電話機
CN102457752A (zh) * 2010-11-05 2012-05-16 索尼公司 成像设备、图像处理设备、图像处理方法和程序
CN102780848A (zh) * 2011-05-11 2012-11-14 佳能株式会社 利用卷帘快门方法来执行摄像的摄像装置及其控制方法
US20140049658A1 (en) * 2012-08-14 2014-02-20 Canon Kabushiki Kaisha Image capture system, control method thereof and image capture apparatus
CN103200392A (zh) * 2013-03-29 2013-07-10 天津大学 一种基于视角变换的车载视频稳像方法
JP2014203400A (ja) * 2013-04-09 2014-10-27 株式会社デンソー 車外画像保存装置、及び撮像機能付き携帯端末
US20150108329A1 (en) * 2013-10-21 2015-04-23 Sony Corporation Image sensor, operating method therefor, and electronic device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108680196A (zh) * 2018-04-28 2018-10-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
CN108680196B (zh) * 2018-04-28 2021-01-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
WO2019237984A1 (zh) * 2018-06-15 2019-12-19 Oppo广东移动通信有限公司 图像校正方法、电子设备及计算机可读存储介质
CN109040525A (zh) * 2018-08-31 2018-12-18 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109040525B (zh) * 2018-08-31 2021-10-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
WO2020088134A1 (zh) * 2018-10-31 2020-05-07 Oppo广东移动通信有限公司 视频校正方法、装置、电子设备和计算机可读存储介质
CN110072049A (zh) * 2019-03-26 2019-07-30 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110072049B (zh) * 2019-03-26 2021-11-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112129317A (zh) * 2019-06-24 2020-12-25 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质
CN115134505A (zh) * 2021-03-25 2022-09-30 北京小米移动软件有限公司 预览画面生成方法及装置、电子设备、存储介质
CN115472027A (zh) * 2021-06-10 2022-12-13 欧温星球控股股份有限公司 远程辅助系统和远程辅助方法

Also Published As

Publication number Publication date
US20180213153A1 (en) 2018-07-26
CN107852462B (zh) 2020-12-18
WO2017014071A1 (ja) 2017-01-26
KR20180032529A (ko) 2018-03-30
JPWO2017014071A1 (ja) 2018-06-07
KR102526794B1 (ko) 2023-04-28
JP6702323B2 (ja) 2020-06-03
US10498962B2 (en) 2019-12-03

Similar Documents

Publication Publication Date Title
CN107852462A (zh) 相机模块、固体摄像元件、电子设备和摄像方法
US10043245B2 (en) Image processing apparatus, imaging apparatus, control method, and information processing system that execute a re-anti-shake process to remove negative influence of an anti-shake process
Forssén et al. Rectifying rolling shutter video from hand-held devices
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
JP6170395B2 (ja) 撮像装置およびその制御方法
CN102540627B (zh) 图像稳定性控制装置、摄像装置以及图像稳定性控制方法
EP3417606B1 (en) A method of stabilizing a sequence of images
CN105407271B (zh) 图像处理设备和方法、摄像设备以及图像生成设备
KR100968974B1 (ko) 손떨림 보정 장치
CN109615663A (zh) 全景视频校正方法及终端
US11477382B2 (en) Method of stabilizing a sequence of images
CN109391767A (zh) 摄像设备及其中执行的方法
US10602067B2 (en) Image processing apparatus, image processing method, image pickup apparatus and storage medium that calculates a correction quality to correct a shake of viewpoint images and a mixture ratio for generation of a virtual viewpoint when generating the virtual viewpoint image using an amount of change in position of an imaging unit
CN110022439A (zh) 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110493522A (zh) 防抖方法和装置、电子设备、计算机可读存储介质
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
US20210314473A1 (en) Signal processing device, imaging device, and signal processing method
US20210302755A1 (en) Method for stabilizing a camera frame of a video sequence
JP5393877B2 (ja) 撮像装置および集積回路
CN109462717A (zh) 电子稳像方法及终端
CN112752086B (zh) 用于环境映射的图像信号处理器、方法和系统
CN104320576B (zh) 一种用于便携式终端的图像处理方法及图像处理装置
JP5940392B2 (ja) ブレ補正装置及び方法
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
SG193031A1 (en) An image capture system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant