CN107018309A - 摄像装置和摄像装置的像抖动校正方法 - Google Patents

摄像装置和摄像装置的像抖动校正方法 Download PDF

Info

Publication number
CN107018309A
CN107018309A CN201610865101.4A CN201610865101A CN107018309A CN 107018309 A CN107018309 A CN 107018309A CN 201610865101 A CN201610865101 A CN 201610865101A CN 107018309 A CN107018309 A CN 107018309A
Authority
CN
China
Prior art keywords
image
camera device
picture
optical system
imaging surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610865101.4A
Other languages
English (en)
Other versions
CN107018309B (zh
Inventor
土屋仁司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107018309A publication Critical patent/CN107018309A/zh
Application granted granted Critical
Publication of CN107018309B publication Critical patent/CN107018309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明提供摄像装置和摄像装置的像抖动校正方法，能够适当地进行像抖动校正。一个实施方式的摄像装置具有摄像元件、摄影光学系统、抖动检测部、抖动校正部、摄像控制部和射影变换部。摄像元件具有其上排列有将光变换为电信号的像素的摄像面。摄影光学系统在所述摄像面上形成等距射影的被摄体像。抖动检测部检测所述被摄体像的像移动量。抖动校正部根据所述像移动量对所述被摄体像与所述摄像面的位置关系进行调整。摄像控制部利用所述摄像元件取得与所述被摄体像对应的等距射影图像。射影变换部将所述等距射影图像变化为不同射影方式的图像。

Description

摄像装置和摄像装置的像抖动校正方法
技术领域
本发明涉及摄像装置和摄像装置的像抖动校正方法。
背景技术
对伴随摄像装置的姿态变化而产生的摄像面上的被摄体像的抖动的量(像移动量)进行检测，并消除检测出的像移动量的摄像装置已被实用化。这种摄像装置例如通过对摄像面与被摄体像的位置关系进行校正的光学式抖动校正或使有效区域在摄像面上移动的电子式抖动校正等，对伴随摄像装置的姿态变化而发生的像抖动进行校正。
例如，日本国日本特开2014-053720号公报中记载了进行光学式抖动校正的摄像装置。作为光学式抖动校正，例如具有如下方式：利用具有构成为能够在消除像抖动的方向上移动的校正光学系统的摄像镜头对像抖动进行校正的镜头位移式抖动校正、以及利用具有构成为能够在与摄像镜头的光轴垂直的方向上移动的摄像面的摄像元件对像抖动进行校正的图像传感器位移式抖动校正等的方式。此外，在电子式抖动校正中，摄像装置使摄像面上的能够取得图像的有效区域在摄像面上移动，从而对像抖动进行校正。
发明内容
发明欲解决的课题
在上述的像抖动校正中，在摄像元件上成像的被摄体像的位置以统一的移动量(抖动校正量)移动。然而，通过中心射影式的摄像镜头而在摄像元件上成像的被摄体像相对于摄像面上的像的长度(像高)的入射角在摄像面上并非同样。即，在中心射影方式中，相对于射入摄像镜头的光的入射角的变化，在摄像面上的被摄体像的像移动量并不一样。特别地，通过焦点距离较短的中心射影式的摄像镜头而在摄像元件上成像的被摄体像相对于对应于与光轴之间的距离的入射角的像高之差变大。因此，在摄像装置使在摄像元件上成像的被摄体像以统一的抖动校正量移动以进行像抖动校正的情况下，存在相对于像移动量而言抖动校正量较大或较小的可能性。其结果是，存在无法在摄像面的全域内适当地进行抖动校正的可能性。
本发明的目的在于，提供一种能够适当地进行像抖动校正的摄像装置和像抖动校正方法。
用于解决课题的手段
一个实施方式的摄像装置具有摄像元件、摄影光学系统、抖动检测部、抖动校正部、摄像控制部和射影变换部。摄像元件具有摄像面，该摄像面上排列有将光变换为电信号的像素。摄影光学系统在所述摄像面形成等距射影的被摄体像。抖动检测部检测所述被摄体像的像移动量。抖动校正部根据所述像移动量对所述被摄体像与所述摄像面的位置关系进行调整。摄像控制部利用所述摄像元件取得与所述被摄体像对应的等距射影图像。射影变换部将所述等距射影图像变换为不同射影方式的图像。
发明的效果
本发明可提供一种能够适当地进行像抖动校正的摄像装置和像抖动校正方法。
附图说明
图1是用于对一个实施方式的摄像装置的结构例进行说明的图。
图2是用于对一个实施方式的摄像装置的抖动校正微型计算机的结构例进行说明的图。
图3是表示等距射影方式的光学系统的入射角与像高的关系的图。
图4是用于对一个实施方式的摄像装置的动作例进行说明的图。
图5是用于对一个实施方式的摄像装置的将等距射影方式变换为中心射影方式的动作例进行说明的图。
图6是用于对一个实施方式的摄像装置的变焦位置、焦点距离与对角视场角的关系的例进行说明的图。
图7是用于对一个实施方式的摄像装置的裁剪例进行说明的图。
图8是用于对一个实施方式的摄像装置的动作例进行说明的图。
图9是用于对一个实施方式的摄像装置的动作例进行说明的图。
图10是用于对一个实施方式的光轴中心变换例进行说明的图。
图11A是用于对一个实施方式的光轴中心变换例进行说明的图。
图11B是用于对一个实施方式的光轴中心变换例进行说明的图。
图11C是用于对一个实施方式的光轴中心变换例进行说明的图。
图11D是用于对一个实施方式的光轴中心变换例进行说明的图。
图12是用于对另一实施方式的摄像装置的结构例进行说明的图。
图13A是用于对另一实施方式的光轴中心变换例进行说明的图。
图13B是用于对另一实施方式的光轴中心变换例进行说明的图。
图14是用于对另一实施方式的摄像装置的动作例进行说明的图。
图15是用于对另一实施方式的摄像装置的结构例进行说明的图。
图16是用于对另一实施方式的摄像装置的动作例进行说明的图。
图17是用于对另一实施方式的摄像装置的结构例进行说明的图。
图18是用于对另一实施方式的摄像装置的动作例进行说明的图。
具体实施方式
以下，参照附图，对一个实施方式的摄像装置和摄像装置的像抖动校正方法详细进行说明。
(第1实施方式)
以下使用图1至图11对第1实施方式的摄像装置1的示例进行说明。图1表示摄像装置1的结构例。摄像装置1是搭载有像抖动校正装置的镜头更换式相机。摄像装置1具有更换镜头2和相机主体3。
更换镜头2构成为相对于相机主体3拆装自如。更换镜头2在安装于相机主体3上的情况下以能够与相机主体3彼此进行通信的状态连接于相机主体3。由此，更换镜头2和相机主体3协同进行动作。更换镜头2具有光学系统11、变倍部12和镜头控制单元(LCU)13。
光学系统11是等距射影方式的摄像镜头。光学系统11使来自未图示的被摄体的光束在相机主体3的摄像元件21的摄像面上成像。光学系统11例如具有多个镜头、对通过镜头而射入摄像元件21的光束的量进行调整的光圈、以及用于变更光学系统11的焦点距离的镜头(变焦镜头)14。光学系统11使变焦镜头14的位置在光学系统11的光轴方向上移动，从而变更光学系统11的焦点距离(视场角)。进而，光学系统11可以构成为还具有用于变更焦点位置的对焦用的对焦镜头。
变倍部12是用于变更变焦镜头14的位置的机构。变倍部12例如具有设置于更换镜头2的外周上的变焦环，根据变焦环的操作而变更变焦镜头14的位置，从而变更光学系统11的视场角。
LCU13例如是包含CPU和存储器等的控制器，对更换镜头2的动作进行控制。例如，LCU13根据来自相机主体3的系统控制器23的指示，对光学系统11的镜头和光圈的驱动进行控制。此外，LCU13可以根据来自系统控制器23的指示，变更变焦镜头14的位置，从而变更光学系统11的视场角。
LCU13将与更换镜头2有关的各种信息(光学特性信息)保持于存储器中。LCU13例如将作为光学特性信息的表示更换镜头2的机型名、焦点距离、变焦位置的数量(可停止变焦镜头14的位置的数量)、射影方式和光学系统11的当前的设定的信息等保持于存储器中。LCU13根据来自系统控制器23的指示，将在存储器中存储的光学特性信息提供给相机主体3。
相机主体3具有摄像元件21、抖动校正部22、系统控制器23、抖动校正微型计算机(微型计算机)24、陀螺仪传感器25、电子取景器(EVF)26、记录介质27和操作部28。
摄像元件21具有摄像面，该摄像面通过排列有多个蓄积对光进行光电变换而得到的电荷的像素而构成。摄像元件21例如通过Charge Coupled Devices(CCD、电荷耦合元件)图像传感器、Complementary Metal Oxide Semiconductor(CMOS、互补金属氧化物半导体)图像传感器或其他的摄像元件构成。摄像元件21将通过光学系统11而在摄像面上成像的被摄体像变换为电信号(图像信号)。摄像元件21将作为模拟电信号的图像信号变换为作为数字信号的图像数据并输出。
抖动校正部22根据通过抖动校正微型计算机24生成的驱动信号而使摄像元件21的摄像面在与光学系统11的光轴垂直的面内移动，从而对伴随摄像装置1的姿态变化而发生的摄像面上的被摄体像的抖动进行校正。
系统控制器23例如包括CPU和存储器等，是对相机主体3的动作进行控制的控制器。例如，系统控制器23读出通过摄像元件21得到的图像数据，对所读出的图像数据实施显示或记录所需的各种图像处理。此外，系统控制器23对更换镜头2的LCU13指示用于曝光调整的光圈的驱动或用于焦点调整的镜头的驱动。此外，系统控制器23进行EVF26的图像显示的控制、在记录介质27中的图像文件的记录的控制、根据操作部28的操作切换动作模式的控制和摄影动作的开始或结束的控制等。
此外，系统控制器23从更换镜头2取得光学特性信息。例如，系统控制器23在起动时和/或定期地从更换镜头2取得光学特性信息，从而逐次识别更换镜头2的光学特性。系统控制器23将所取得的光学特性信息输入给抖动校正微型计算机24。
此外，系统控制器23具有射影变换部31和视场角切出部32。射影变换部31进行对从摄像元件21读出的图像数据的射影方式进行变换的射影变换。例如，射影变换部31将从摄像元件21读出的等距射影方式的图像数据变换为中心射影方式的图像数据。视场角切出部32进行切出通过射影变换部31而变换为中心射影方式的图像数据的裁剪。
抖动校正微型计算机24是进行与像抖动校正有关的控制的微型计算机。抖动校正微型计算机24从陀螺仪传感器25取得角速度信号，并从系统控制器23取得更换镜头2的光学特性信息。抖动校正微型计算机24根据取得的角速度信号和光学特性信息对抖动校正部22进行控制，从而校正像抖动。例如，抖动校正微型计算机24根据所取得的角速度信号和光学特性信息计算在摄像面上的被摄体像的像抖动的方向和像移动量。抖动校正微型计算机24根据计算出的像抖动的方向和像移动量对抖动校正部22进行控制，以使摄像面在消除像抖动的方向上移动。即，抖动校正微型计算机24利用等距射影方式的光学系统11对在摄像面上成像的被摄体像(等距射影像)与摄像面的位置关系进行调整，从而校正像抖动。
陀螺仪传感器25检测伴随相机主体3的姿态的变化而发生的相机主体3的旋转运动作为角速度信号。陀螺仪传感器25例如对以摄像元件21的摄像面的水平方向为轴的俯仰方向上的旋转运动和以摄像面的垂直方向为轴的偏航方向上的旋转运动进行检测，并生成角速度信号。进而，陀螺仪传感器25对以光学系统11的光轴为轴的翻滚方向上的旋转运动进行检测，以生成角速度信号。
EVF26显示各种画面。EVF26例如具有液晶显示器或有机EL显示器等的显示装置和目镜光学系统。EVF26将通过系统控制器23而生成的画面显示于显示装置上。由此，EVF26能够将通过摄像元件21拍摄的图像和用于设定的菜单画面等显示于显示装置上。另外，EVF26既可以如上所述通过设置于取景器目镜部内的显示装置构成，也可以通过设置于相机主体3的显示面板构成。
记录介质27是记录图像文件的记录介质。记录介质27例如是存储卡。
操作部28具有由用户操作的操作部件。例如，操作部28作为操作部件而具有释放按钮和动态图像记录按钮等。释放按钮是用于执行相机主体3的静态图像摄影处理的按钮。此外，动态图像记录按钮是用于使相机主体3执行动态图像记录处理的按钮。进而，操作部28可以具有用于变更相机主体3的动作模式或曝光控制等的各种设定的按钮作为操作部件。例如，操作部28可以具有用于变更射影变换部31的射影变换的实施/不实施的设定、和由视场角切出部32进行的裁剪的切出尺寸的设定的按钮作为操作部件。
接着，对抖动校正微型计算机24的具体情况进行说明。图2是表示抖动校正微型计算机24的结构例的图。如图2所示，抖动校正微型计算机24具有模数变换器(ADC)41、基准值相减部42、校正量计算部43和抖动校正控制部44。根据图2所示的结构，能够进行对摄像面上的1个方向的像抖动校正的控制。即，抖动校正微型计算机24在进行像抖动校正的每个方向上都具有图2所示的结构，由此能够进行对多个方向的像抖动校正的控制。这里，为了简化说明，对抖动校正微型计算机24的1个方向的像抖动校正的控制进行说明。
ADC41将从陀螺仪传感器25输出的模拟的角速度信号变换为数字信号，并输出数字的角速度。
基准值相减部42从由ADC41输出的角速度信号的值中减去基准值。基准值是相机主体3处于静止状态时的角速度信号的值。通过从ADC41的输出中减去基准值，基准值相减部42输出具备符号的角速度的值。此时，角速度的值的符号表示旋转方向。
校正量计算部43根据由系统控制器23供给的光学系统11的光学特性信息和从基准值相减部42输出的角速度的值，计算伴随相机主体3的姿态变化而发生的在摄像面上的被摄体像的抖动量即像移动量以及像抖动的方向。例如，校正量计算部43根据由系统控制器23供给的光学系统11的光学特性信息，识别对角视场角(焦点距离)和射影方式。校正量计算部43根据对角视场角和射影方式，计算与入射角的变化对应的在摄像面上的被摄体像的像移动量和像抖动的方向，并将所计算出的像移动量和像抖动的方向作为校正量而输出。
图3是表示光射入上述的等距射影方式的光学系统11时的入射角与像高(这里是相对于光轴中心的位置)的关系的图。另外，这里的光轴中心指的是摄像元件21的摄像面上的与光学系统11的光轴交叉的位置。等距射影方式例如用于被称之为所谓的鱼眼镜头的光学系统中。等距射影方式的镜头中，入射角θ与像高h成比例。例如，在将光学系统11的焦点距离设定为f的情况下，在像高h、焦点距离f和入射角θ之间，h＝f·θ的关系成立。校正量计算部43根据从基准值相减部42输出的角速度，计算作为入射角的变化量的Δθ。进而，如果将伴随入射角的变化的像移动量设定为Δh，则校正量计算部43根据Δh＝f·Δθ计算像移动量Δh。
抖动校正控制部44根据从校正量计算部43输出的校正量对抖动校正部22进行控制。抖动校正控制部44根据从校正量计算部43输出的校正量所示的像移动量和像抖动的方向，生成用于使抖动校正部22进行动作以消除被摄体像的抖动的驱动信号。抖动校正控制部44将驱动信号输入给抖动校正部22，从而对抖动校正部22的像抖动校正进行控制。驱动信号是包含用于对设置于抖动校正部22中的马达进行驱动的驱动脉冲或抖动校正部22的像抖动校正的目标驱动位置这样的信息的信号。
以下，对本实施方式的摄像处理进行说明。另外，摄像处理包括对静态图像摄像的静态图像摄影处理和对动态图像摄像的动态图像记录处理。
图4是表示进行静态图像摄影处理时的摄像装置1的动作的流程图。另外，图4中示出了与射影变换有关的动作，而与手抖校正有关的控制和摄像元件21的曝光控制等是并行执行的。此外，摄像元件21的摄像面的水平方向的像抖动校正与摄像元件21的摄像面的垂直方向的像抖动校正同时进行，而由于各个像抖动校正的动作都相同，因此举例说明水平方向的像抖动校正。
在执行了进行静态图像摄影处理的操作的情况下，相机主体3的系统控制器23进行更换镜头2的自动对焦的控制和摄像元件21的曝光控制等的控制，从而利用摄像元件21执行曝光。
在摄像元件21的曝光完成后，系统控制器23进行影像的读出(步骤S11)。如上所述，在光学系统11是通过等距射影方式构成的镜头的情况下，系统控制器23从摄像元件21取得等距射影方式的图像数据。
系统控制器23对是否实施射影变换进行判定(步骤S12)。例如，系统控制器23在预先从LCU13取得的光学特性信息的射影方式是等距射影方式的情况下，即具有等距射影方式的光学系统11的更换镜头2和相机主体3连接的情况下判定为实施射影变换。此外，例如系统控制器23具有存储射影变换部31的射影变换的实施/不实施的设定的存储器。系统控制器23可以构成为参照存储器而成为实施射影变换部31的射影变换的设定，并且在更换镜头2的光学系统11是等距射影方式的情况下判定为进行射影变换。
步骤S12中，判定为实施射影变换的情况下(步骤S12，是)，系统控制器23的射影变换部31将在步骤S11取得的等距射影方式的图像数据变换为中心射影方式的图像数据(步骤S13)。即，射影变换部31由等距射影方式的图像数据生成中心射影方式的图像数据。步骤S12中，判定为不实施射影变换的情况下(步骤S12，否)，系统控制器23不进行射影变换而转移至步骤S15的处理。
图5是示意性表示将等距射影方式的图像数据变换为中心射影方式的图像数据的示例的说明图。采用中心射影方式的情况下，在像高h、焦点距离f和入射角θ之间，h＝f·tanθ的关系成立。在将等距射影方式的图像数据变换为中心射影方式的图像数据的情况下，射影变换部31根据通过系统控制器23而取得的光学特性信息，对与等距射影方式的图像数据的各像点对应的入射角θ进行识别。例如，射影变换部31根据光学特性信息所示的变焦位置，识别光学系统11的焦点距离。射影变换部31根据光学系统11的焦点距离，识别与各像点对应的入射角θ。
图6是表示变焦位置、焦点距离和对角视场角的关系的示例的说明图。例如，光学特性信息所示的变焦位置为3的情况下，射影变换部31识别为焦点距离是20mm，对角视场角是124°。射影变换部31将图像数据的对角按角度进行等分，从而计算与各像点对应的入射角θ。即，射影变换部31根据光学系统11的光学特性信息取得对角视场角，并根据所取得的对角视场角，计算与各像点对应的入射角θ。
在进行中心射影展开的情况下，射影变换部31以图像数据上的光学系统11的光轴中心的位置为中心来变换各像点的坐标。例如图5所示，射影变换部31将在等距射影方式的图像数据中处于h＝f·θ的位置上的各像点坐标变换为f·tanθ的位置，从而将等距射影方式的图像数据变换为中心射影方式的图像数据。
在静态图像摄影的情况下，在摄像面的中心与光学系统11的光轴中心一致的状态下开始曝光。因此，静态图像摄影中的图像数据的视场角中心与光学系统11的光轴中心一致。射影变换部31在进行中心射影展开的情况下，以图像数据的视场角中心的位置为中心来变换各像点的坐标。
另外，射影变换部31也可以不将等距射影方式的图像数据变换为中心射影方式的图像数据，而是构成为将等距射影方式的图像数据变换为其他的射影方式的图像数据。
视场角切出部32进行对通过射影变换部31而变换为中心射影方式的图像数据进行切出的裁剪(步骤S14)。图7是用于对通过视场角切出部32执行的裁剪的示例进行说明的说明图。视场角切出部32在根据作为图像文件而记录的视场角，变换为中心射影方式的图像数据上设定切出区域。视场角切出部32例如以变换为中心射影方式的图像数据的中心为中心来设定矩形状的切出区域。视场角切出部32在切出区域切出中心射影方式的图像数据。
系统控制器23将通过视场角切出部32而切出的图像数据变换为记录用的图像格式，从而生成记录用的图像文件(步骤S15)。系统控制器23将图像文件记录于记录介质27中(步骤S16)，并结束静态图像摄影处理。
图8是表示进行动态图像记录处理时的摄像装置1的动作的流程图。另外，图8中，示出了与射影变换有关的动作，而与手抖校正有关的控制和摄像元件21的曝光控制等是并行执行的。此外，摄像元件21的摄像面的水平方向的像抖动校正与摄像元件21的摄像面的垂直方向的像抖动校正同时进行，而由于各个像抖动校正的动作是相同的，因此举例说明水平方向的像抖动校正。
在执行了进行动态图像记录处理的操作的情况下，相机主体3的系统控制器23进行更换镜头2的自动对焦的控制和摄像元件21的曝光控制等的控制，从而利用摄像元件21开始曝光。
在进行动态图像记录处理的情况下，系统控制器23使摄像元件21持续执行曝光，并且从摄像元件21周期性进行影像的读出(步骤S21)。如上所述，在光学系统11是通过等距射影方式构成的镜头的情况下，系统控制器23从摄像元件21取得1个帧的等距射影方式的图像数据。
系统控制器23对是否实施射影变换处理进行判定(步骤S22)。例如，系统控制器23在预先从LCU13取得的光学特性信息的射影方式是等距射影方式的情况下，即具有等距射影方式的光学系统11的更换镜头2与相机主体3连接的情况下判定为实施射影变换处理。此外，例如系统控制器23具有存储射影变换部31的射影变换处理的实施/不实施的设定的存储器。系统控制器23可以构成为参照存储器而成为实施射影变换部31的射影变换处理的设定，并且在更换镜头2的光学系统11是等距射影方式的情况下判定为进行射影变换处理。
步骤S22中，判定为不实施射影变换处理的情况下(步骤S22，否)，系统控制器23不进行射影变换处理而转移至步骤S25的处理。
此外，步骤S22中，判定为实施射影变换处理的情况下(步骤S22，是)，系统控制器23的射影变换部31根据在步骤S21取得的等距射影方式的图像数据进行射影变换处理(步骤S23)。射影变换部31在进行射影变换处理的情况下，确定在步骤S21取得的等距射影方式的图像数据上的光学系统11的光轴中心的位置，并以所确定的光轴中心为中心将等距射影方式的图像数据变换为中心射影方式的数据。
视场角切出部32进行对通过射影变换部31而变换为中心射影方式的图像数据进行切出的裁剪(步骤S24)。视场角切出部32与图7所示的示例同样地进行裁剪。视场角切出部32在根据作为图像文件而记录的视场角，变换为中心射影方式的图像数据上设定切出区域。视场角切出部32例如以变换为中心射影方式的图像数据的中心为中心来设定矩形状的切出区域。视场角切出部32在切出区域切出中心射影方式的图像数据。
系统控制器23将切出的图像数据压缩为动态图像格式(步骤S25)，并作为动态图像数据记录于记录介质27中(步骤S26)。
进而，系统控制器23判断是否持续进行动态图像记录处理(步骤S27)。在判断为持续进行动态图像记录处理的情况下(步骤S27，是)，系统控制器23转移至步骤S21进行下一帧的动态图像记录处理。在判断为不持续进行动态图像记录处理的情况下(步骤S27，否)，系统控制器23结束动态图像记录处理。
接着，使用图9至图11对上述的步骤S23的射影变换处理进行说明。图9是表示进行射影变换处理时的摄像装置1的动作的流程图。
如上所述，在利用使摄像元件21的摄像面移动的传感器位移方式进行抖动校正并进行动态图像记录处理时，存在在前一帧的曝光时摄像面移动的可能性。因此，有时在曝光开始时摄像面的中心与光学系统11的光轴中心不一致。因此，射影变换部31在将等距射影方式的图像数据变换为中心射影方式的图像数据之前，进行将在等距射影方式的图像数据上的光学系统11的光轴中心的位置变换为图像数据的视场角的中心的光轴中心变换。
射影变换部31对基于传感器位移方式的抖动校正的摄像面的移动量进行计算，从而计算光学系统11的光轴中心的移动位置(步骤S31)。传感器位移方式的抖动校正中，以消除由于伴随手抖的角度变化而发生的像的移动的方式，使摄像面移动。因此，摄像面上的光学系统11的光轴中心的位置根据摄像面的移动而移动。等距射影方式中，伴随手抖的光的入射角的变化与摄像面上的被摄体像的移动量一致(或成比例)。因此，射影变换部31根据更换镜头2的光学特性信息识别摄像面上的对角视场角，并根据角速度信号计算摄像面上的光学系统11的光轴中心的位置的移动量。
接着，射影变换部31进行将视场角的中心与光学系统11的光轴的中心偏移的图像数据变换为视场角的中心与光学系统11的光轴的中心一致的图像数据的光轴中心变换(步骤S32)。
图10和图11是用于对光轴中心变换进行说明的说明图。图10表示通过等距射影的光学系统对全天空(180°全视野)成像的情况下的像的坐标。由于光学系统是等距射影，因此能够将从光轴的中心到视野端(90°)的范围通过与角度成比例的等间隔进行刻度。图10的示例中，每隔10°示出同心圆状的坐标。等距射影方式的光学系统将位于无限远的位置且与光轴重叠的直线在从摄影视野的一个缘部向另一个缘部的范围内成像为直线的被摄体像。然而，等距射影方式的光学系统将存在角度的偏差的、即位于无限远的位置且不与光轴重叠的直线在从摄影视野的一个缘部到另一个缘部的范围内成像为偏斜的线的被摄体像。被摄体像的失真与光在像点上的入射角和光轴所成的角度成比例地增大。
在图10的例子中，在X方向(水平方向)和Y方向(垂直方向)上分别每隔10°而将直线的射影表示为虚线。在设在X方向上的角度偏差为θx，设在Y方向上的角度的偏差为θy的情况下，能够通过以下的坐标对纵线和横线进行近似。
纵线：(θx·Cosθy，θy)
横线：(θx，θy·Cosθx)
例如，将图10所示的被摄体像如图11(A)所示在对角视场角100°、水平视场角约80°和垂直视场角约60°的摄影视野内切出。这种情况下，图像内的失真可根据光轴中心和对角视场角进行估计。
例如图11(B)所示，在设图像的中心为(0，0)，在水平方向上产生Δθx的角度变化，并且在垂直方向上产生了Δθy的角度变化的情况下，光学系统11的光轴的中心移动至视场角内的(Δθx，Δθy)。
射影变换部31进行坐标转换，以使得光学系统11的光轴的中心成为通过摄影视野而切出的图像的中心。例如，射影变换部31针对图11(B)所示的图像，如图11(C)所示将光学系统11的光轴的中心变换为图像的X方向的中心。这种情况下，射影变换部31将坐标(θx·Cosθy，θy)的像点移动至坐标(θx·Cos(θy-Δθy)，θy)。进而，射影变换部31针对图11(C)所示的图像，如图11(D)所示将光学系统11的光轴的中心变换为图像的Y方向的中心。这种情况下，射影变换部31将坐标(θx，θy·Cosθx)的像点移动至坐标(θx，θy·Cos(θx-Δθx))。
通过上述的处理，射影变换部31如图11(B)所示将视场角的中心与光学系统11的光轴的中心偏移的图像变换为如图11(D)所示视场角的中心与光学系统11的光轴的中心一致的图像。
另外，射影变换部31的光轴中心变换不限于上述方法。射影变换部31可以构成为通过任意方法进行光轴中心变换。
如图9所示，射影变换部31将在步骤S32中进行了光轴中心变换后的等距射影方式的图像数据变换为中心射影方式的图像数据(步骤S33)。例如，射影变换部31将在步骤S32中进行了光轴中心变换后的等距射影方式的图像数据中位于h＝f·θ的位置上的各像点坐标变换为f·tanθ的位置，从而将等距射影方式的图像数据变换为中心射影方式的图像数据。
另外，利用射影变换部31执行步骤S31至步骤S33所示的射影变换处理，从而拉伸图像数据。因此，射影变换部31可以构成为对被拉伸了的图像数据的锐度进行调整，或利用再取样等的已知手法对伴随拉伸而发生的图像的劣化进行校正。
如上所述，摄像装置1的光学系统11通过相对于入射光的入射角的变化、被摄体像的像移动量为一样的等距射影方式构成，将来自被摄体的光在摄像元件21的摄像面上成像为被摄体像。摄像装置1的光学系统11的抖动校正部22和抖动校正微型计算机24根据伴随摄像装置1的姿态变化而发生的角速度使摄像元件21的摄像面移位，从而对伴随摄像装置1的姿态变化而发生的被摄体像的抖动进行校正。摄像装置1的系统控制器23利用抖动校正部22和抖动校正微型计算机24对被摄体像的抖动进行校正，并且利用摄像元件21进行曝光，从而取得抖动被校正后的等距射影方式的图像数据。摄像装置1将所取得的等距射影方式的图像数据变换为中心射影方式的图像数据。
根据这种结构，摄像装置1对相对于入射光的入射角的变化、被摄体像的像移动量一样的被摄体像与摄像元件21的摄像面的位置关系进行调整而能够进行抖动校正。由此，如相对于中心射影方式的被摄体像进行抖动校正时那样，可防止抖动校正量相对于像移动量变大或变小。其结果是，摄像装置1能够取得在全域范围内适当地进行了抖动校正的中心射影方式的图像数据。
进而，摄像装置1的系统控制器23在曝光开始时摄像元件21的摄像面已移位的情况下，确定在所拍摄的图像数据中与光学系统11的光轴中心重叠的坐标，并且在进行了将所确定的坐标变换为图像数据的视场角的中心的光轴中心变换的基础上将等距射影方式的图像数据变换为中心射影方式的图像数据。由此，摄像装置1在曝光开始时摄像元件21的摄像面已经移位的情况下，也能够取得在全域范围内适当地进行了抖动校正的中心射影方式的图像数据。
(第2实施方式)
以下使用图12至图14对第2实施方式的摄像装置1A的示例进行说明。另外，对于与第1实施方式的摄像装置1同样的结果赋予相同的参照符号，并省略对其的详细说明。
图12表示摄像装置1A的结构例。摄像装置1A是进行电子式抖动校正的镜头一体型相机。例如，摄像装置1A是专门用于进行动态图像摄影的所谓的运动相机。摄像装置1A具有光学系统11A、摄像元件21、系统控制器23A、EVF26、记录介质27和操作部28。
光学系统11A是等距射影方式的摄像镜头。光学系统11A与光学系统11的不同之处在于，是一种无法变更焦点距离的单焦点镜头。
系统控制器23A与系统控制器23同样地，例如包含CPU和存储器等，并且是对摄像装置1A的动作进行控制的控制器。系统控制器23A进行对摄像元件21的曝光的控制、图像数据的读出、和对所读出的图像数据的图像处理。系统控制器23A具有射影变换部31A、视场角切出部32A、抖动检测部33A和抖动校正部34A。
抖动检测部33A根据连续取得的多个图像数据，对伴随摄像装置1的姿态变化发生的像移动量进行检测。例如，抖动检测部33A通过模式匹配(pattern matchings)从连续取得的多个图像数据中检测移动矢量，从而检测像移动量。
抖动校正部34A根据检测出的像移动量，确定通过摄像元件21取得的图像数据上的有效区域。有效区域表示作为要图像数据的文件而保留的区域。抖动校正部34A将图像数据的有效区域内的图像切出(提取)作为帧图像。帧图像是连续摄影得到的图像数据，并且是构成动态图像的要素。
例如，抖动校正部34A如图13(A)所示，在不进行校正的情况下、即不存在像移动量的情况下确定有效区域的中心(视场角的中心)与光学系统11的光轴中心一致的有效区域。进而，抖动校正部34A如图13(A)所示，根据像移动量使有效区域移动。具体而言，抖动校正部34A以与像所移动的方向和长度相同的方向和长度使有效区域移动。由此，抖动校正部34A能够抑制连续取得的多个帧图像上的伴随被摄体像的位置的抖动而发生的变化。进而，抖动校正部34A从曝光开始起对从抖动检测部33A供给的像移动量进行累积计算，从而识别各帧图像的视场角的中心与光学系统11A的光轴中心的偏差。
射影变换部31A进行变换帧图像的射影方式的射影变换。射影变换部31A在进行射影变换处理的情况下，如图13(B)所示，确定帧图像上的光学系统11的光轴中心的位置，并且以所确定的光轴中心为中心将帧图像变换为中心射影方式的图像数据。
视场角切出部32A进行对通过射影变换部31A而变换为中心射影方式的图像数据进行切出的裁剪。视场角切出部32A确定通过射影变换部31A而变换为中心射影方式的图像数据上的与进行射影变换处理前的帧图像的视场角的中心对应的像点。视场角切出部32A以所确定的像点为中心进行切出规定的视场角的裁剪。
图14是表示进行动态图像记录处理时的摄像装置1A的动作的流程图。另外，摄像装置1A除了执行图14所示的动作之外，还并行执行摄像元件21的曝光控制等。
在执行了进行动态图像记录处理的操作的情况下，摄像装置1A的系统控制器23A进行对摄像元件21的曝光控制等的控制，从而利用摄像元件21开始曝光。
在进行动态图像记录处理的情况下，系统控制器23A使摄像元件21持续执行曝光，并从摄像元件21周期性地进行影像的读出(步骤S41)。如上所述，光学系统11A是通过等距射影方式构成的镜头的情况下，系统控制器23A从摄像元件21取得1个帧的等距射影方式的图像数据。
系统控制器23A的抖动检测部33A对已取得的图像数据与在步骤S41取得的图像数据进行比较，从而提取移动矢量(步骤S42)。例如，系统控制器23A的抖动检测部33A通过在已取得的前1个图像数据和在步骤S41中取得的图像数据中进行模式匹配等，从而提取出前一图像数据中的被摄体像的位置与在步骤S41中取得的图像数据中的被摄体像的位置之差作为移动矢量。
系统控制器23A的抖动校正部34A根据在步骤S42中提取的移动矢量，在步骤S41中取得的图像数据上确定有效区域(步骤S43)。系统控制器23A将有效区域内的图像切出作为帧图像。例如，系统控制器23A的抖动校正部34A根据移动矢量使已取得的前1个图像数据的摄像时的有效区域移动，从而确定新的有效区域。
系统控制器23A对是否实施射影变换处理进行判定(步骤S44)。例如，系统控制器23A具有存储射影变换部31A对射影变换处理的实施/不实施的设定的存储器。系统控制器23A还可以构成为，在参照存储器而成为实施射影变换部31A的射影变换处理的设定的情况下判定为进行射影变换处理。
步骤S44中，在判定为不实施射影变换处理的情况下(步骤S44，否)，系统控制器23A不进行射影变换处理而转移至步骤S47的处理。
此外，在步骤S44中判定为实施射影变换处理的情况下(步骤S44，是)，系统控制器23A的射影变换部31A根据在步骤S43取得的帧图像进行射影变换处理(步骤S45)。射影变换部31A在进行射影变换处理的情况下，确定帧图像上的光学系统11的光轴中心的位置，并以所确定的光轴中心为中心将帧图像变换为中心射影方式的数据。例如，射影变换部31A根据通过抖动校正部34A识别出的各帧图像的视场角的中心与光学系统11A的光轴中心的偏差，确定帧图像上的光学系统11的光轴中心的位置。
另外，射影变换处理与图9所示的例子相同，因此省略详细的说明。本实施方式的射影变换处理在以下的方面与第1实施方式的射影变换处理不同。第1实施方式中，为了使从视场角的中心偏离的光轴中心回归到视场角的中心，而对于作为角度的变化量的Δθx和Δθy，将坐标(θx·Cosθy，θy)的像点移动至坐标(θx·Cos(θy-Δθy)，θy)，并将坐标(θx，θy·Cosθx)的像点移动至坐标(θx。θy·Cos(θx-Δθx))。然而，在第2实施方式中，将位于视场角的中心的光轴中心移动至与作为角度的变化量的Δθx和Δθy对应的位置上。因此，射影变换部31A将坐标(θx·Cosθy，θy)的像点移动至坐标(θx·Cos(θy+Δθy)，θy)，并将坐标(θx，θy·Cosθx)的像点移动至坐标(θx，θy·Cos(θx+Δθx))。
视场角切出部32A进行对通过射影变换部31A而变换为中心射影方式的帧图像进行切出的裁剪(步骤S46)。视场角切出部32A确定变换为中心射影方式的图像数据上的与进行射影变换处理前的帧图像的视场角的中心对应的像点。视场角切出部32A在根据作为图像文件而记录的视场角，以所确定的像点为中心变换为中心射影方式的帧图像上设定切出区域。视场角切出部32A利用切出区域来切出中心射影方式的帧图像。
系统控制器23A将切出的帧图像压缩为动态图像格式(步骤S47)，并将其作为动态图像数据记录于记录介质27中(步骤S48)。
进而，系统控制器23A判断是否持续进行动态图像记录处理(步骤S49)。在判断为持续进行动态图像记录处理的情况下(步骤S49，是)，系统控制器23A转移至步骤S41而进行下一帧的动态图像记录处理。在判断为不持续进行动态图像记录处理的情况下(步骤S49，否)，系统控制器23A结束动态图像记录处理。
根据上述结构，也与第1实施方式同样地，摄像装置1A能够对相对于入射光的入射角的变化、被摄体像的像移动量为一样的被摄体像与摄像元件21的摄像面的位置关系进行调整以进行抖动校正。其结果是，摄像装置1A能够取得在全域范围内适当地进行了抖动校正的中心射影方式的图像数据。
进而，第1实施方式中检测出的抖动较大的情况下、即通过陀螺仪传感器25而检测出的角速度在预先设定的阈值以上的情况下，可以在第1实施方式所示的结构中组合作为第2实施方式而示出的进行电子式抖动校正的结构。由此，能够对较大的抖动进行校正。
进而，第1实施方式中在曝光开始时光学系统11的光轴中心与摄像面的中心偏离的情况下，可以在第1实施方式所示的结构中组合使图像数据的视场角的中心与光轴中心一致的进行光轴中心变换的结构。
(第3实施方式)
以下，使用图15和图16对第3实施方式的摄像装置1B的示例进行说明。另外，对于与第1实施方式的摄像装置1同样的结构赋予相同的参照符号，并省略对其的详细说明。
图15表示摄像装置1B的结构例。摄像装置1B是进行镜头位移式抖动校正的镜头一体型相机。例如，摄像装置1B是在移动电话或智能手机等移动终端中组入使用的摄像模块。摄像装置1B具有光学系统11B、镜头驱动部15B、摄像元件21、系统控制器23B和陀螺仪传感器25。
光学系统11B是等距射影方式的摄像镜头。光学系统11A与光学系统11的不同之处在于是无法变更焦点距离的单焦点镜头，并且具有对在摄像元件21的摄像面上成像的被摄体像的抖动进行校正的校正镜头。
镜头驱动部15B对光学系统11B的校正镜头进行驱动，从而对在摄像元件21的摄像面上成像的被摄体像的抖动进行校正。镜头驱动部15B根据从系统控制器23B供给的驱动信号对光学系统11B的校正镜头进行驱动，从而使在摄像元件21的摄像面上成像的被摄体像在摄像面上移动，由此对摄像面与被摄体像的位置关系进行调整以校正抖动。
系统控制器23B与系统控制器23同样地，例如包含CPU和存储器等，是对摄像装置1B的动作进行控制的控制器。系统控制器23B进行对摄像元件21的曝光的控制、图像数据的读出、和对所读出的图像数据的图像处理。系统控制器23B例如从组入有摄像装置1B的上位装置受理操作信号和控制信号等而执行各种处理。系统控制器23B具有射影变换部31B、视场角切出部32B、抖动校正量计算部35B和影像输出部36B。
抖动校正量计算部35B例如根据从陀螺仪传感器25供给的角速度信号、光学系统11B的焦点距离和表示射影方式等的光学特性信息，对镜头驱动部15B进行控制，从而校正像抖动。抖动校正量计算部35B根据角速度信号和光学特性信息计算在摄像面上的被摄体像的像抖动的方向和像移动量。抖动校正量计算部35B以根据计算出的像抖动的方向和像移动量使被摄体像在消除像抖动的方向上移动的方式，利用镜头驱动部15B对校正镜头进行驱动，从而校正像抖动。即，抖动校正量计算部35B对通过等距射影方式的光学系统11B而在摄像面上成像的被摄体像(等距射影像)与摄像面的位置关系进行调整，从而校正像抖动。另外，抖动校正量计算部35B还可以构成为从组入有摄像装置1B的上位装置受理角速度信号而进行抖动校正。
射影变换部31B进行变换从摄像元件21读出的图像数据的射影方式的射影变换。
视场角切出部32B进行切出通过射影变换部31而变换为中心射影方式的图像数据的裁剪。
影像输出部36B将通过视场角切出部32B而裁剪后的图像数据从摄像装置1B输出。例如，影像输出部36B对裁剪后的图像数据附加同步信号，并将其作为影像信号(影像帧)输出给组入有摄像装置1B的上位装置。影像信号例如是与垂直同步信号和水平同步信号同步的各像素的颜色信息。影像输出部36B对裁剪后的图像数据附加同步信号，并将其作为影像信号而输出给组入有摄像装置1B的上位装置，从而能够使上位装置进行浏览画面显示等。
图16是表示进行动态图像记录处理时的摄像装置1B的动作的流程图。另外，摄像装置1B除了执行图16所示的动作之外，还并行执行与摄像元件21的曝光控制和手抖校正有关的控制等。
在从上位装置输入了开始影像输出的控制信号的情况下，摄像装置1B的系统控制器23B进行对摄像元件21的曝光控制等的控制，从而利用摄像元件21开始曝光。
在开始影像输出的情况下，系统控制器23B使摄像元件21持续执行曝光，并且从摄像元件21周期性地进行影像的读出(步骤S51)。如上所述，在光学系统11B是通过等距射影方式构成的镜头的情况下，系统控制器23B从摄像元件21取得1个帧的等距射影方式的图像数据。
系统控制器23B的射影变换部31B进行将在步骤S51取得的等距射影方式的图像数据变换为中心射影方式的图像数据的射影变换处理(步骤S52)。射影变换部31B例如通过与图9所示的射影变换处理同样的方法将等距射影方式的图像数据变换为中心射影方式的图像数据。
视场角切出部32B进行切出通过射影变换部31B变换为中心射影方式的图像数据的裁剪(步骤S53)。视场角切出部32根据作为图像文件而记录的视场角，在变换为中心射影方式的图像数据上设定切出区域并进行裁剪。
影像输出部36B对通过视场角切出部32B切出的图像数据附加同步信号并将其作为影像信号输出(步骤S54)。
进而，系统控制器23B对是否结束影像输出进行判断(步骤S55)。例如，系统控制器23B根据从上位装置输入的控制信号，对是否结束影像输出进行判断。在判断为不结束影像输出的情况下(步骤S55，否)，系统控制器23B转移至步骤S51进行下一帧的影像输出。在判断为结束影像输出的情况下(步骤S55，是)，系统控制器23B结束影像输出。
根据上述结构，与第1实施方式同样地，摄像装置1B能够对相对于入射光的入射角的变化、被摄体像的像移动量一样的被摄体像与摄像元件21的摄像面的位置关系进行调整以进行抖动校正。其结果是，摄像装置1B能够取得在全域范围内适当地进行了抖动校正的中心射影方式的图像数据。
进而，在第1实施方式中检测出的抖动较大的情况下、即通过陀螺仪传感器25检测出的角速度在预先设定的阈值以上的情况下，可以在第1实施方式所示的结构中组合作为第3实施方式示出的进行镜头式抖动校正的结构。由此，能够对较大的抖动进行校正。进而，还可以对第1实施方式所示的结构组合作为第2实施方式示出的进行电子式抖动校正的结构和作为第3实施方式示出的进行镜头式抖动校正的结构。
(第4实施方式)
以下使用图17和图18对第4实施方式的摄像装置1C的示例进行说明。另外，对于与第1实施方式的摄像装置1同样的结构赋予相同的参照符号，并省略对其的详细说明。
图17表示摄像装置1C的结构例。摄像装置1C是进行电子式抖动校正的镜头一体型相机。例如，摄像装置1C是专门用于进行动态图像摄影的所谓的运动相机。摄像装置1C具有光学系统11C、摄像元件21、系统控制器23C、陀螺仪传感器25、EVF26、记录介质27和操作部28。
光学系统11C是等距射影方式的摄像镜头。光学系统11C与光学系统11的不同之处在于，是一种无法变更焦点距离的单焦点镜头。
系统控制器23C与系统控制器23同样地，例如包含CPU和存储器等，是对摄像装置1C的动作进行控制的控制器。系统控制器23C进行对摄像元件21的曝光的控制、图像数据的读出、和对所读出的图像数据的图像处理。系统控制器23C具有射影变换部31C、视场角切出部32C、像移动量检测部37C和抖动校正部38C。
像移动量检测部37C根据从陀螺仪传感器25供给的角速度信号、光学系统11C的焦点距离和表示光学系统11C的射影方式等的光学特性信息，对摄像元件21的摄像面上的被摄体像的像移动量进行检测。例如，像移动量检测部37C根据角速度信号所示的以摄像元件21的摄像面的垂直方向为轴的偏航方向上的旋转运动的量，对摄像面上的被摄体像的水平方向的像移动量进行检测。此外，像移动量检测部37C根据角速度信号所示的以摄像元件21的摄像面的水平方向为轴的俯仰方向上的旋转运动的量，对摄像面上的被摄体像的垂直方向的像移动量进行检测。此外，像移动量检测部37C根据角速度信号所示的以光学系统11C的光轴为轴的翻滚方向上的旋转运动的量，对摄像面上的被摄体像的翻滚方向的像旋转量进行检测。
抖动校正部38C根据检测出的像移动量和像旋转量，设定要作为通过摄像元件21取得的图像数据的文件而保留的区域(有效区域)，并将有效区域内的图像切出作为帧图像。帧图像是连续摄影得到的图像数据，是构成动态图像的要素。此外，抖动校正部38C从曝光开始起对从像移动量检测部37C供给的像移动量和像旋转量进行累积计算，从而对各帧图像的视场角的中心与光学系统11C的光轴中心的偏移进行识别。
例如，抖动校正部38C根据通过像移动量检测部37C检测出的摄像面上的被摄体像的翻滚方向的像旋转量，使图像数据旋转。具体而言，抖动校正部38C以消除通过像移动量检测部37C检测出的摄像面上的被摄体像的翻滚方向的像旋转量的方式使图像数据旋转。此外，抖动校正部38C根据通过像移动量检测部37C检测出的摄像面上的被摄体像的水平方向的像移动量，确定旋转后的图像数据上的有效区域的水平方向的视场角的中心位置。此外，抖动校正部38C根据通过像移动量检测部37C检测出的摄像面上的被摄体像的垂直方向的像移动量，确定旋转后的图像数据上的垂直方向的视场角的中心位置。抖动校正部38C确定以在旋转后的图像数据上所确定的位置作为视场角的中心的有效区域。抖动校正部38C确定以在旋转后的图像数据上所确定的位置作为视场角的中心的有效区域。
射影变换部31C进行变换帧图像的射影方式的射影变换。射影变换部31C在进行射影变换处理的情况下，确定帧图像上的光学系统11C的光轴中心的位置，并以所确定的光轴中心为中心将帧图像变换为中心射影方式的图像数据。
视场角切出部32C进行切出通过射影变换部31C变换为中心射影方式的图像数据的裁剪。视场角切出部32C确定通过射影变换部31C变换为中心射影方式的图像数据上的与进行射影变换处理前的帧图像的视场角中心对应的像点。视场角切出部32C进行以所确定的像点为中心切出规定的视场角的裁剪。
图18是表示进行动态图像记录处理时的摄像装置1C的动作的流程图。另外，摄像装置1C除了执行图18所示的动作之外，还并行执行摄像元件21的曝光控制等。
在执行了进行动态图像记录处理的操作的情况下，摄像装置1C的系统控制器23C进行对摄像元件21的曝光控制等的控制，从而利用摄像元件21开始曝光。
在进行动态图像记录处理的情况下，系统控制器23C使摄像元件21持续执行曝光，并从摄像元件21周期性地进行影像的读出(步骤S61)。如上所述，在光学系统11C是通过等距射影方式构成的镜头的情况下，系统控制器23C从摄像元件21取得1个帧的等距射影方式的图像数据。
系统控制器23C的像移动量检测部37C根据从陀螺仪传感器25供给的角速度信号，对被摄体像的像移动量和像旋转量进行检测(步骤S62)。例如，像移动量检测部37C根据角速度信号所示的偏航方向和俯仰方向的旋转运动的量，对被摄体像的水平方向和垂直方向的像移动量进行检测。此外，像移动量检测部37C根据角速度信号所示的翻滚方向上的旋转运动的量，对被摄体像的翻滚方向的像旋转量进行检测。
系统控制器23C的抖动校正部38C根据在步骤S62中提取的像旋转量，使图像数据旋转(步骤S63)。例如，抖动校正部38C以消除被摄体像的翻滚方向上的像旋转量的方式使图像数据旋转。
系统控制器23C的抖动校正部38C根据在步骤S62中提取的像移动量，在步骤S63中进行了旋转的图像数据上确定有效区域(步骤S64)。系统控制器23C将有效区域内的图像切出作为帧图像。
系统控制器23C对是否实施射影变换处理进行判定(步骤S65)。例如，系统控制器23C具有存储对射影变换部31C的射影变换处理的实施/不实施的设定的存储器。系统控制器23C可以构成为当参照存储器时而成为实施射影变换部31C的射影变换处理的设定的情况下，判定为进行射影变换处理。
步骤S65中，判定为不实施射影变换处理的情况下(步骤S65，否)，系统控制器23C不进行射影变换处理而转移至步骤S68的处理。
此外，步骤S65中，判定为实施射影变换处理的情况下(步骤S65，是)，系统控制器23C的射影变换部31C根据在步骤S64中取得的帧图像进行射影变换处理(步骤S66)。射影变换部31C在进行射影变换处理的情况下，确定帧图像上的光学系统11C的光轴中心的位置，并以所确定的光轴中心为中心将帧图像变换为中心射影方式的数据。例如，射影变换部31C根据通过抖动校正部38C识别出的各帧图像的视场角的中心与光学系统11C的光轴中心的偏移来确定帧图像上的光学系统11的光轴中心的位置。另外，射影变换处理与图14的步骤S45同样，因此省略详细的说明。
视场角切出部32C进行切出通过射影变换部31C变换为中心射影方式的帧图像的裁剪(步骤S67)。视场角切出部32C确定变换为中心射影方式的帧图像上的与进行射影变换处理前的帧图像的视场角的中心对应的像点。视场角切出部32C根据作为图像文件而记录的视场角，以所确定的像点为中心在变换为中心射影方式的帧图像上设定切出区域。视场角切出部32C利用切出区域切出中心射影方式的帧图像。
系统控制器23C将切出的帧图像压缩为动态图像格式(步骤S68)，并将其作为动态图像数据而记录于记录介质27中(步骤S69)。
进而，系统控制器23C判断是否持续进行动态图像记录处理(步骤S70)。在判断为持续进行动态图像记录处理的情况下(步骤S70，是)，系统控制器23C转移至步骤S61而进行下一帧的动态图像记录处理。在判断为不持续进行动态图像记录处理的情况下(步骤S70，否)，系统控制器23C结束动态图像记录处理。
根据上述结构，摄像装置1C在消除以光学系统11C的光轴中心为轴的翻滚方向上的旋转抖动的基础上，根据像移动量对被摄体像与摄像面的位置关系进行调整，从而能够进行偏转轴、俯仰轴和翻滚轴的旋转抖动校正。
另外，根据本实施方式，说明了摄像装置1C构成为系统控制器23C通过图像处理对以光学系统11C的光轴中心为轴的翻滚方向的旋转抖动进行校正的结构，然而不限于这种结构。例如，摄像装置1C可以构成为，具有使摄像元件21的摄像面在翻滚方向上旋转的旋转机构，根据在步骤S62中提取的像旋转量利用旋转机构使摄像面在翻滚方向上旋转，从而校正旋转抖动。另外，旋转抖动指的是被摄体像以光轴为中心旋转。因此，摄像装置1C只要是在进行步骤S66的射影变换处理前进行旋转抖动校正的结构即可，可以构成为通过任意方法来校正旋转抖动。
此外，第1实施方式中检测出的抖动较大的情况下、即利用陀螺仪传感器25检测出的角速度在预先设定的阈值以上的情况下，可以在第1实施方式所示的结构中组合作为第4实施方式示出的进行电子式抖动校正的结构。由此，能够对更大的抖动进行校正。
另外，上述的各实施方式中说明的功能不限于使用硬件结构的情况，还可以通过将使用软件记载各功能的程序读入计算机中进行实现。此外，各功能还可以通过适当选择软件、硬件中的任意一种而构成。
另外，本发明不仅限于上述实施方式，可以在实施阶段的不脱离其主旨的范围内使结构要素变形以具体实现。此外，通过上述实施方式中公开的多个结构要素的适当组合能够形成各种发明。例如，可以从实施方式所示的所有结构要素中删除若干结构要素。还可以适当组合不同实施方式中的结构要素。

Claims (20)

1.一种摄像装置，其具有：
摄像元件，其具有摄像面，该摄像面上排列有将光变换为电信号的像素；
摄影光学系统，其在所述摄像面上形成等距射影的被摄体像；
抖动检测部，其检测所述被摄体像的像移动量；
抖动校正部，其根据所述像移动量对所述被摄体像与所述摄像面的位置关系进行调整；
摄像控制部，其利用所述摄像元件取得与所述被摄体像对应的等距射影图像；以及
射影变换部，其将所述等距射影图像变换为不同的射影方式的图像。
2.一种摄像装置，其具有：
摄像元件，其具有摄像面，该摄像面上排列有将光变换为电信号的像素；
摄影光学系统，其在所述摄像面上形成等距射影的被摄体像；
摄像控制部，其利用所述摄像元件取得与所述被摄体像对应的等距射影图像；
抖动检测部，其检测所述被摄体像的像移动量，
抖动校正部，其根据所述像移动量确定所述等距射影图像上的有效区域；以及
射影变换部，其将与通过所述抖动校正部确定的所述等距射影图像的有效区域对应的图像变换为不同的射影方式的图像。
3.根据权利要求1所述的摄像装置，其中，
所述抖动校正部根据所述像移动量使所述摄像面移动，
所述射影变换部具有光轴中心变换部，该光轴中心变换部根据所述摄像面的移动量将所述等距射影图像上的所述摄影光学系统的光轴中心的位置变换为视场角的中心，所述射影变换部以通过所述光轴中心变换部变换后的图像的视场角的中心为轴进行中心射影展开，将所述等距射影图像变换为中心射影图像。
4.根据权利要求2所述的摄像装置，其中，
所述抖动校正部根据所述像移动量使所述有效区域移动，
所述射影变换部具有光轴中心变换部，该光轴中心变换部根据所述有效区域的移动量将所述等距射影图像上的所述摄影光学系统的光轴中心的位置变换为视场角的中心，所述射影变换部以通过所述光轴中心变换部变换后的光轴中心为轴，将所述等距射影图像变换为中心射影图像。
5.根据权利要求1所述的摄像装置，其中，
所述射影变换部根据所述摄影光学系统的光学特性，判定是否将所述等距射影图像变换为不同的射影方式的图像。
6.根据权利要求5所述的摄像装置，其中，
所述射影变换部在将所述等距射影图像变换为不同的射影方式的图像的情况下，根据所述摄影光学系统的光学特性，将所述等距射影图像变换为不同的射影方式的图像。
7.根据权利要求5所述的摄像装置，其中，
所述摄影光学系统具有存储器，该存储器存储表示所述摄影光学系统的光学特性的光学特性信息，
该摄像装置具有从所述摄影光学系统的所述存储器取得所述光学特性信息的取得部，
所述射影变换部根据通过所述取得部取得的所述光学特性信息，判定是否将所述等距射影图像变换为不同的射影方式的图像。
8.根据权利要求7所述的摄像装置，其中，
所述光学特性信息包含能够计算所述等距射影图像的对角视场角的信息和能够判别所述摄影光学系统的射影方式的信息。
9.根据权利要求1所述的摄像装置，其中，
所述抖动检测部还检测所述被摄体像的像旋转量，
所述抖动校正部根据所述像旋转量使所述摄像面旋转。
10.根据权利要求2所述的摄像装置，其中，
所述抖动检测部还检测所述被摄体像的像旋转量，
所述抖动校正部根据所述像旋转量使所述等距射影图像旋转，并根据所述像移动量确定进行了旋转后的所述等距射影图像上的有效区域。
11.根据权利要求2所述的摄像装置，其中，
所述射影变换部根据所述摄影光学系统的光学特性，判定是否将所述等距射影图像变换为不同的射影方式的图像。
12.根据权利要求11所述的摄像装置，其中，
所述射影变换部在将所述等距射影图像变换为不同的射影方式的图像的情况下，根据所述摄影光学系统的光学特性，将所述等距射影图像变换为不同的射影方式的图像。
13.根据权利要求11所述的摄像装置，其中，
所述摄影光学系统具有存储器，该存储器存储表示所述摄影光学系统的光学特性的光学特性信息，
该摄像装置具有从所述摄影光学系统的所述存储器取得所述光学特性信息的取得部，
所述射影变换部根据通过所述取得部取得的所述光学特性信息，判定是否将所述等距射影图像变换为不同的射影方式的图像。
14.根据权利要求13所述的摄像装置，其中，
所述光学特性信息包含能够计算所述等距射影图像的对角视场角的信息和能够判别所述摄影光学系统的射影方式的信息。
15.一种摄像装置的像抖动校正方法，该摄像装置具有：摄像元件，其具有摄像面，该摄像面上排列有将光变换为电信号的像素；以及摄影光学系统，其在所述摄像面上形成等距射影的被摄体像，在该像抖动校正方法中，
检测所述被摄体像的像移动量，
根据所述像移动量对所述被摄体像与所述摄像面的位置关系进行调整，
利用所述摄像元件取得与所述被摄体像对应的等距射影图像，
将所述等距射影图像变换为不同的射影方式的图像。
16.一种摄像装置的像抖动校正方法，该摄像装置具有：摄像元件，其具有摄像面，该摄像面上排列有将光变换为电信号的像素；以及摄影光学系统，其在所述摄像面上形成等距射影的被摄体像，在该像抖动校正方法中，
利用所述摄像元件取得为等距射影且与所述被摄体像对应的等距射影图像，
检测所述被摄体像的像移动量，
根据所述像移动量确定所述等距射影图像上的有效区域，
将与所确定的所述等距射影图像的有效区域对应的图像变换为不同的射影方式的图像。
17.根据权利要求15所述的像抖动校正方法，其中，
根据所述像移动量使所述摄像面移动，
根据所述摄像面的移动量将所述等距射影图像上的所述摄影光学系统的光轴中心的位置变换为视场角的中心，
以变换后的图像的视场角的中心为轴进行中心射影展开，将所述等距射影图像变换为中心射影图像。
18.根据权利要求16所述的像抖动校正方法，其中，
根据所述像移动量使所述有效区域移动，
根据所述有效区域的移动量将所述等距射影图像上的所述摄影光学系统的光轴中心的位置变换为视场角的中心，
以变换后的光轴中心为轴将所述等距射影图像变换为中心射影图像。
19.根据权利要求15所述的像抖动校正方法，其中，
还检测所述被摄体像的像旋转量，
根据所述像旋转量使所述摄像面旋转。
20.根据权利要求16所述的像抖动校正方法，其中，
还检测所述被摄体像的像旋转量，
根据所述像旋转量使所述等距射影图像旋转，根据所述像移动量确定进行了旋转后的所述等距射影图像上的有效区域。
CN201610865101.4A 2015-09-29 2016-09-29 摄像装置和摄像装置的像抖动校正方法 Active CN107018309B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015191994A JP2017067954A (ja) 2015-09-29 2015-09-29 撮像装置、及び撮像装置の像ブレ補正方法
JP2015-191994 2015-09-29

Publications (2)

Publication Number Publication Date
CN107018309A true CN107018309A (zh) 2017-08-04
CN107018309B CN107018309B (zh) 2020-03-20

Family

ID=58406229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610865101.4A Active CN107018309B (zh) 2015-09-29 2016-09-29 摄像装置和摄像装置的像抖动校正方法

Country Status (3)

Country Link
US (1) US10110819B2 (zh)
JP (1) JP2017067954A (zh)
CN (1) CN107018309B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225466A (zh) * 2017-09-27 2021-08-06 富士胶片株式会社 图像抖动校正装置及摄像装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6526273B2 (ja) * 2017-04-18 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
JP6910841B2 (ja) * 2017-04-28 2021-07-28 キヤノン株式会社 撮像装置及びその調整方法
CN208112786U (zh) * 2018-03-06 2018-11-16 光宝电子(广州)有限公司 图像获取装置
CN112997214B (zh) * 2018-11-13 2024-04-26 索尼公司 信息处理装置、信息处理方法和程序
JP7132844B2 (ja) * 2018-12-26 2022-09-07 株式会社タムロン 像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法
WO2021014598A1 (ja) * 2019-07-23 2021-01-28 オリンパス株式会社 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム
WO2024075187A1 (ja) * 2022-10-04 2024-04-11 バルミューダ株式会社 画像処理装置と画像処理プログラムと画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502052B2 (en) * 2004-03-19 2009-03-10 Canon Kabushiki Kaisha Image deformation estimating method and image deformation estimating apparatus
CN101790033A (zh) * 2009-01-28 2010-07-28 奥林巴斯映像株式会社 摄像装置以及应用于该摄像装置的抖动校正装置
US8134608B2 (en) * 2007-11-19 2012-03-13 Alps Electric Co., Ltd. Imaging apparatus
US8803983B2 (en) * 2011-12-21 2014-08-12 Canon Kabushiki Kaisha Image stabilization apparatus, control method therefor, optical apparatus and image capturing apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP4518197B2 (ja) * 2008-06-20 2010-08-04 ソニー株式会社 撮像装置、及び像振れ補正方法並びにプログラム
JP2011097131A (ja) * 2009-10-27 2011-05-12 Panasonic Corp 撮像装置及び交換レンズ、カメラ本体
JP2012242563A (ja) * 2011-05-18 2012-12-10 Pentax Ricoh Imaging Co Ltd 手ブレ補正装置およびデジタルカメラ
JP5968169B2 (ja) 2012-09-06 2016-08-10 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502052B2 (en) * 2004-03-19 2009-03-10 Canon Kabushiki Kaisha Image deformation estimating method and image deformation estimating apparatus
US8134608B2 (en) * 2007-11-19 2012-03-13 Alps Electric Co., Ltd. Imaging apparatus
CN101790033A (zh) * 2009-01-28 2010-07-28 奥林巴斯映像株式会社 摄像装置以及应用于该摄像装置的抖动校正装置
CN102520562A (zh) * 2009-01-28 2012-06-27 奥林巴斯映像株式会社 摄像装置以及应用于该摄像装置的抖动校正装置
US8803983B2 (en) * 2011-12-21 2014-08-12 Canon Kabushiki Kaisha Image stabilization apparatus, control method therefor, optical apparatus and image capturing apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225466A (zh) * 2017-09-27 2021-08-06 富士胶片株式会社 图像抖动校正装置及摄像装置
CN113225466B (zh) * 2017-09-27 2022-09-23 富士胶片株式会社 图像抖动校正装置及摄像装置

Also Published As

Publication number Publication date
JP2017067954A (ja) 2017-04-06
CN107018309B (zh) 2020-03-20
US10110819B2 (en) 2018-10-23
US20170094175A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
CN107018309A (zh) 摄像装置和摄像装置的像抖动校正方法
EP2981062B1 (en) Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method
KR101034109B1 (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
CN106998413B (zh) 图像处理设备、摄像设备、图像处理方法和介质
US20170272655A1 (en) Imaging device
CN107850753B (zh) 检测设备、检测方法、检测程序和成像设备
TWI467313B (zh) 影像處理裝置、影像處理方法、及記錄媒體
CN107040713B (zh) 运动矢量检测设备及其控制方法和摄像设备
JP6518452B2 (ja) 撮像装置及び撮像方法
US20120133787A1 (en) Imaging device, image processing method, and computer program
JP2007116679A (ja) ぶれ低減システム付き撮像装置
CN107018308A (zh) 摄像装置和摄像装置的控制方法
JP5657184B2 (ja) 撮像装置及び信号処理方法
JP6128109B2 (ja) 撮影装置、撮影方向の制御方法及びプログラム
JP6312460B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP6548211B2 (ja) 撮像装置及び撮像方法
US11206357B2 (en) Shooting control apparatus, image capture apparatus, and shooting control method
JP2011082719A (ja) 撮像装置
JP6781589B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
US20210099637A1 (en) Shooting control apparatus, image capture apparatus, and shooting control method
JP6590899B2 (ja) 撮像装置、撮像方法およびプログラム
EP2091233B1 (en) Imaging apparatus
JP2014003417A (ja) 撮像装置
JP2007264074A (ja) 撮影装置及びその制御方法
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant