CN101902573A - 成像设备以及抖动校正方法 - Google Patents
成像设备以及抖动校正方法 Download PDFInfo
- Publication number
- CN101902573A CN101902573A CN2010101831856A CN201010183185A CN101902573A CN 101902573 A CN101902573 A CN 101902573A CN 2010101831856 A CN2010101831856 A CN 2010101831856A CN 201010183185 A CN201010183185 A CN 201010183185A CN 101902573 A CN101902573 A CN 101902573A
- Authority
- CN
- China
- Prior art keywords
- image
- shake
- distortion aberration
- correction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012937 correction Methods 0.000 claims abstract description 278
- 230000004075 alteration Effects 0.000 claims abstract description 180
- 230000003287 optical effect Effects 0.000 claims abstract description 131
- 238000012545 processing Methods 0.000 claims abstract description 62
- 239000000284 extract Substances 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 230000005693 optoelectronics Effects 0.000 claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims description 29
- 230000001915 proofreading effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 69
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 13
- 238000004091 panning Methods 0.000 description 11
- 230000001105 regulatory effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 244000145845 chattering Species 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
公开了成像设备和抖动校正方法。所述成像设备包括:成像单元,通过对由成像光学系统形成的光学图像执行光电转换生成拾取图像的图像信号;抖动检测单元,检测抖动;校正量设置单元,基于抖动检测单元检测的抖动而设置用于校正抖动的抖动校正量;以及校正处理单元,对拾取图像执行成像光学系统所生成的畸变像差的校正、根据抖动校正量对其中校正了畸变像差的图像执行提取区域的移动、以及执行提取区域的图像的提取。
Description
技术领域
本发明涉及成像设备以及抖动校正方法,更具体地涉及能够通过有效地使用成像装置的图像感光区域执行抖动校正的成像设备以及抖动校正方法。
背景技术
在现有技术中,对于使用银盐照相机或者固态成像装置的成像设备,已经提出多种抖动校正技术,作为用于防止由于在手持状态下拍摄时生成的抖动而引起的图像性能恶化或者图像位移的方法。
根据这样的抖动校正技术,例如,根据从角速度传感器发送的传感器信号检测到成像设备的抖动,或者通过使用从成像装置发送的图像信号、基于拍摄对象(subject)图像的运动而检测到成像设备的抖动。另外,通过使用图像感光区域大于表示所需要的成像范围的提取区域、并输出图像的成像装置提取根据抖动检测的结果而移动的提取区域的图像,来获取校正了成像设备的抖动的图像信号(例如,见JP-A-7-177419)。
发明内容
然而,当使用图像感光区域((有效像素区域)大于提取区域的成像装置时,如图13A所示,能够在相对于提取区域的垂直方向或者水平方向上布置多余区域。另外,不仅通过使用图像感光区域大于提取区域的成像装置,而且通过减少在其中读取像素信号的提取区域,都能够获取多余区域。例如,如图13B所示,通过减少提取区域,能够在垂直方向或者水平方向上布置多余区域。如上所述,当在垂直方向或者水平方向上布置多余区域时,为了校正图13C所示的光轴旋转的抖动,需要增大多余区域。
这里,在通过配置成像装置的图像感光区域为大于提取区域来布置多余区域的情况下,多余区域仅用于校正抖动的情况。相应地,当增大多余区域时,用于生成其中校正了抖动的图像的区域减小,且因此不能有效地使用成像装置。另外,在通过减少提取区域来布置多余区域的情况下,对于光轴旋转的抖动校正,比在垂直方向或者水平方向上的抖动校正所需要的多余区域更大,且相应地,减小了提取区域。因此,当扩大提取区域到显示图像的尺寸时,恶化了图像的图像质量等。
因此,期望提供能够通过有效地使用成像装置的图像感光区域执行抖动校正的成像设备以及抖动校正方法。
根据本发明的实施例,提供了成像设备,包括:成像单元,通过对成像光学系统形成的光学图像执行光电转换生成拾取图像的图像信号;抖动检测单元,检测抖动;校正量设置单元,基于抖动检测单元检测的抖动而设置用于校正抖动的抖动校正量;以及校正处理单元,对拾取图像执行成像光学系统所生成的畸变像差(distortion aberration)的校正、根据抖动校正量对其中校正了畸变像差的图像执行提取区域的移动、以及执行提取区域的图像的提取。
根据本发明的该实施例,通过对成像光学系统形成的光学图像执行光电转换生成拾取图像的图像信号。然后,通过使用抖动检测传感器或者使用按时间顺序布置的多个拾取图像来检测运动矢量,检测到绕着成像光学系统的光轴的旋转方向上的抖动以及绕着垂直于光轴的轴的旋转的抖动中的至少一个,以及基于所检测到的抖动设置用于校正抖动的抖动校正量。然后,例如,对拾取图像执行由成像光学系统生成的桶型畸变像差(barrel distortionaberration)的校正,以及根据抖动校正量移动其中校正了桶型畸变像差的图像的提取区域。因此,通过提取提取区域的图像,能够获取其中校正了抖动的图像的图像信号。例如,通过使用用于校正畸变像差的畸变像差校正数据,从拾取图像的图像信号中生成其中校正了畸变像差的图像的图像信号。另外,根据从其中校正了畸变像差的图像信号中提取的抖动校正量,移动提取区域的图像信号。替代地,通过使用用于校正畸变像差的畸变像差校正数据和抖动校正量,对拾取图像执行坐标转换,然后将坐标转换之后的图像的预定坐标范围看作是移动之后的提取区域。
根据本发明的另一实施例,提供了抖动校正方法,包括以下步骤:使用抖动检测单元检测抖动;使用校正量设置单元基于所检测到的抖动而设置用于校正抖动的抖动校正量;以及使用校正处理单元对拾取图像校正由成像光学系统所生成的畸变像差、根据抖动校正量移动其中校正了畸变像差的图像的提取区域、以及提取提取区域的图像。
根据本发明的实施例,移动通过对由成像光学系统形成的光学图像执行光电转换所获取的拾取图像中、其中校正了由成像光学系统生成的畸变像差以及其中根据抖动校正量校正了畸变像差的图像的提取区域,以及提取提取区域的图像。
如上所述,通过提取根据抖动校正量从其中校正了畸变像差的图像移动的提取区域的图像,能够获取其中校正了抖动的图像的图像信号。另外,通过使用其中校正了畸变像差的图像,能够增大用于执行抖动校正的多余区域。因此,能够校正抖动,而不需要在成像装置中布置多余区域或者在成像装置中布置大的区域。因此,能够通过有效地使用成像装置的图像感光区域来校正抖动。
附图说明
图1是示出第一实施例的配置的功能框图。
图2A、图2B以及图2C是示出畸变像差校正前后的拍摄对象图像和拾取图像的示例的图。
图3是图示畸变像差校正操作的图。
图4是图示光轴旋转抖动校正部件的操作的图。
图5A以及图5B是图示光轴旋转抖动校正部件的操作的图。
图6是示出第二实施例的配置的功能框图。
图7是说明两轴旋转抖动校正部件的操作的图。
图8是示出第三实施例的配置的功能框图。
图9是示出第四实施例的配置的功能框图。
图10是表示校正处理部件的操作的流程图。
图11A以及图11B是图示校正处理部件的操作的图。
图12A以及图12B是图示校正处理部件的另一操作的图。
图13A、图13B以及图13C是示出现有技术的抖动校正操作的图。
具体实施方式
以下,将描述本发明的实施例。根据本发明的实施例,由成像单元对由成像光学系统形成的光学图像执行光电转换来生成拾取图像的图像信号。另外,由抖动检测单元检测抖动。基于该检测到的抖动,由校正量设置单元设置用于校正抖动的抖动校正量。通过对拾取图像执行由成像光学系统生成的畸变像差的校正、以及根据抖动校正量从其中校正了畸变像差的图像执行提取区域的移动以及提取区域的图像的提取,校正处理单元移动提取区域,以便使用由畸变像差校正生成的多余区域校正抖动。另外,通过提取提取区域的图像,生成其中校正了抖动的图像信号。描述将按以下顺序进行。
1.第一实施例
2.第二实施例
3.第三实施例
4.第四实施例
<1.第一实施例>
[成像设备的结构]
图1是示出第一实施例的配置的功能框图。成像设备10a包括成像光学系统11、成像单元12、信号处理单元13a、光轴旋转抖动检测单元14、记录及再现处理单元16、用户接口(用户I/F)单元17以及控制单元18a。
成像光学系统11由变焦单元111、聚焦单元112、光阑(diaphragm)单元113、单元驱动单元114等配置。通过使用变焦透镜配置变焦单元111。变焦单元111通过在光轴方向上移动变焦透镜来改变焦距。换句话说,变焦单元111实施变焦功能。通过使用聚焦透镜配置聚焦单元112。聚焦单元112通过在光轴方向上移动聚焦透镜来调节聚焦。通过使用虹膜配置光阑113。光阑单元113通过改变虹膜的孔径量来调节光量。
成像单元12由成像装置121、预处理部件122、驱动部件123等配置。成像装置121通过执行光电转换过程将成像光学系统11在成像表面上成像的光学图像转换为电信号。作为成像装置121,例如,使用CCD(电荷耦合器件)图像传感器、CMOS(互补金属氧化物半导体)图像传感器等。
预处理部件122对成像装置121生成的电信号执行诸如CDS(双相关采样)的噪声消除过程。另外,预处理部件122执行增益调节,以便调节电信号的信号电平为期望信号电平。另外,预处理部件122通过执行A/D转换过程将模拟图像信号转换为数字图像信号,并且输出数字图像信号,其中该模拟图像信号是已对其执行了噪声消除过程和增益调节的电信号。
驱动部件123生成驱动成像装置121所需要的操作脉冲等。例如,驱动部件123生成用于读出电荷的电荷读出脉冲、用于在垂直方向或者水平方向上执行传输的传输脉冲、用于执行电子快门操作的快门脉冲等。
信号处理单元13a由图像处理部件131、畸变像差校正部件132、光轴旋转抖动校正部件133等配置。
图像处理部件131对从成像单元12输出的数字图像信号执行相机处理过程等。例如,图像处理部件131对图像信号执行诸如伽马校正或者拐点(knee)校正的非线性过程、色彩校正过程、轮廓增强过程等。
畸变像差校正部件132校正由成像光学系统11生成的畸变像差。畸变像差校正部件132通过使用根据畸变像差量的畸变校正数据,将包括畸变分量的图像信号的每个像素的坐标转换为校正之后的坐标,而生成其中消除或者减少了畸变像差的图像的图像信号。另外,当畸变像差量根据变焦透镜的位置而改变时,畸变像差校正部件132从成像光学系统11中获取表示变焦透镜位置的位置信息,并根据位置信息改变畸变校正数据。畸变像差校正部件132输出其中消除或者减少了畸变像差的图像的图像信号到光轴旋转抖动校正部件133。替代地,将根据变焦透镜的位置的畸变校正数据配置为从稍后描述的控制单元18a提供给畸变像差校正部件132。
光轴旋转抖动校正部件133从其中校正了畸变像差的图像中提取提取区域的图像。另外,光轴旋转抖动校正部件133根据从稍后描述的控制单元18a通知的抖动校正量(校正角)移动(旋转)提取区域。如上所述,通过从其中校正了畸变像差的图像中提取图像来生成其中校正了光轴周围的抖动的图像的图像信号,使得即使在通过旋转提取区域生成光轴的旋转的抖动的情况下,停止的拍摄对象也处于屏幕上的预定位置。光轴旋转抖动校正部件133输出校正旋转抖动之后的图像信号到记录及再现处理单元16或者外部装置。
光轴旋转抖动检测单元14检测光轴旋转的抖动,并输出检测结果到控制单元18a。例如,光轴旋转抖动检测单元14包括角速度传感器141和检测信号处理部件142。角速度传感器141生成与绕着光轴的旋转方向上的抖动对应的检测信号,并输出检测信号到检测信号处理部件142。检测信号处理部件142对检测信号执行噪声消除过程、增益调节过程、DC分量消除过程、A/D转换过程等,并输出处理之后的检测信号到控制单元18a。
记录及再现处理单元16将从光轴旋转抖动校正部件133输出的图像信号记录在记录介质上。另外,记录及再现处理单元16读出记录在记录介质上的图像信号,并输出图像信号到外部装置。记录介质是诸如存储卡、光盘、或者磁带之类的可移动类型或者诸如HDD或者半导体存储模块之类的固定类型。另外,通过在记录及再现处理单元16中设置编码器或者解码器并对图像信号执行压缩编码或者扩展(expansion)解码,将已编码信号配置为记录在记录介质上。
用户接口单元17由操作开关、操作按钮等配置。用户接口单元17生成与用户操作对应的操作信号,并输出操作信号到控制单元18a。
例如,控制单元18a包括CPU(中央处理单元)、ROM(只读存储器)、以及RAM(随机存取存储器)。按需要,CPU读出存储在ROM中的控制程序并运行控制程序。在ROM中,如上所述,预先存储由CPU运行的程序、多种过程所需要的数据等。RAM是作为用作在其中临时存储过程的中间结果等的所谓的工作区域的存储器。另外,ROM和RAM在其中存储有关多种设置参数、校正数据等的信息。
控制单元18a根据从用户接口单元17等发送的操作信号控制每个单元,以允许成像设备10a根据用户的操作执行操作。
另外,当执行抖动校正时,控制单元18a起校正量设置单元的作用。控制单元18a基于从光轴旋转抖动检测单元14输出的检测信号而设置抖动校正量(校正角),并向光轴旋转抖动校正部件133通知该抖动校正量。例如,在角速度传感器141用在光轴旋转抖动检测单元14中的情况下,控制单元18a通过对从光轴旋转抖动检测单元14发送的检测信号进行积分来计算抖动角。另外,控制单元18a设置用于校正抖动角的校正角,以及向光轴旋转抖动校正部件133通知该设置的校正角。另外,对于在手持状态下拍摄时生成的旋转抖动,抖动频率不高。因此,控制单元18a执行过滤过程,以便对于检测信号仅通过手抖动的频率分量。通过执行这样的过滤过程,控制单元18a能够高精度地计算光轴周围的抖动。另外,如上所述,控制单元18a被配置为根据变焦透镜的位置输出畸变校正数据到畸变像差校正部件132。
[成像设备的操作]
当通过使用成像设备10a执行成像操作,将图像信号从成像单元12提供给信号处理单元13a时,信号处理单元13a的图像处理部件131对图像信号执行相机过程处理等,以及输出处理之后的图像信号到畸变像差校正部件132。畸变像差校正部件132通过使用从图像处理部件131提供的图像信号校正畸变像差。
在透镜的外围边缘部件中,存在在透镜的光学像差影响下被称为图像畸变的现象。根据成像光学系统11的透镜确定该畸变像差,且因此,发生位于远离透镜的光轴的位置的图像减少等。换句话说,畸变以透镜的光轴作为它的中心的同心图形发生。图2A、图2B以及图2C示出畸变像差校正前后拍摄对象图像以及拾取图像的示例。例如,当对如图2A所示的拍摄对象OB成像时,在成像装置121的成像表面上形成的图像是其中由于受成像光学系统11的光学像差的影响而生成桶型畸变像差的图像,如图2B所示。
畸变像差校正部件132通过使用与畸变像差量对应的畸变校正数据,而将包括畸变分量的图像信号的每个像素的坐标转换为校正之后的坐标,来生成其中消除或者减少了畸变像差的图像的图像信号。图3是图示畸变像差校正操作的图。例如,通过将与畸变像差量对应的畸变校正数据乘以图像感光区域(有效像素区域)的坐标(Xa,Yb),畸变像差校正部件132转换位于坐标(Xa,Yb)的像素为位于坐标(Xc,Yd)的像素。作为畸变像差,生成以同心图形(其以镜头的光轴作为它的中心)形成的畸变。因此,畸变校正数据具有与离光轴的距离相对应的不同值。另外,当畸变像差根据变焦透镜的位置改变时,通过使用与变焦透镜的位置相对应的畸变校正数据执行校正。如上所述,通过执行桶型畸变像差的校正,如图2C以及图3的校正图所示,图像感光区域是具有通过将图像的四个角从图像的中心向外侧拉所获取的线筒形状(bobbin shape)的图像区域。
光轴旋转抖动校正部件133从其中校正了畸变像差的图像中提取提取区域的图像。图4和图5A以及图5B表示光轴旋转抖动校正部件133的操作。光轴旋转抖动校正部件133从其中校正了畸变像差的图像设置提取区域,以使得在没有从控制单元18a通知抖动校正量(校正角)或者当校正角是“0”时,光轴的位置位于图像的中心,如图4所示,并提取提取区域的图像。如上所述,当使用其中校正了畸变像差的图像时,由于畸变像差的校正,其中校正了畸变像差的图像的区域尺寸大于校正畸变像差之前的图像的区域尺寸。因此,图像处于多余区域被设置在提取区域外侧的状态。
当由成像设备10a生成旋转抖动时,光轴旋转抖动检测单元14生成与光轴旋转的抖动相对应的检测信号,并输出生成的检测信号到控制单元18a。控制单元18a基于从光轴旋转抖动检测单元14发送的检测信号而计算校正角,以及向光轴旋转抖动校正部件133通知该校正角。
当从控制单元18a通知的抖动校正量的校正角(校正角)不是“0”时,光轴旋转抖动校正部件133以绕着光轴的位置的校正角来旋转提取区域,如图5A所示,设置该提取区域以便光轴的位置位于图像的中心。然后,光轴旋转抖动校正部件133从进一步旋转之后的提取区域中提取图像。这里,校正畸变像差之后的图像具有线筒形状,其四个角被从图像的中心向外侧拉。相应地,四个角的多余区域变宽。因此,当从校正畸变像差之后的图像中提取提取区域的图像时,光轴旋转抖动校正部件133能够响应于更大的校正角。另外,作为参考,图5B示出通过使用图像感光区域大于提取区域的成像装置获取多余区域的一般情况。在这样的情况下,例如,在提取区域的上侧上,多余区域的宽度在任意位置都相同。同样地,在提取区域的下侧或者提取区域的左侧或者右侧上,多余区域的宽度在任意位置都相同。因此,当通过在垂直方向或者水平方向上移动提取区域来校正抖动时,能够有效地利用多余区域。然而,当提取区域旋转时,提取区域的四个角在垂直方向或者水平方向上的移动量由多余区域的宽度来调整(regulate)。因此,不同于使用校正畸变像差之后的图像的情况,难以通过有效地利用多余区域来校正旋转抖动。
如上所述,通过使用其中已经校正了畸变像差的图像执行旋转抖动的校正,能够校正旋转方向上生成的抖动,而不需要减少提取区域或者使用图像感光区域大于提取区域的成像装置。因此,能够通过有效地利用成像装置的图像感光区域来校正抖动。另外,在使用图像感光区域大于提取区域的成像装置的情况下,能够校正大于一般情况的旋转方向的抖动。
<2.第二实施例>
在第一实施例中,已经描述了校正光轴旋转的抖动的操作。然而,通过使用校正畸变像差之后的图像执行的抖动校正并不局限于光轴旋转的抖动,且因此能够校正在水平方向或者垂直方向上生成的抖动。接下来,将描述作为本发明第二实施例的通过使用校正畸变像差之后的图像执行的在水平方向或者垂直方向上生成的抖动的校正。
[成像设备的配置]
图6是示出第二实施例的配置的功能框图。成像设备10b包括成像光学系统11、成像单元12、信号处理单元13b、两轴旋转抖动检测单元15、记录及再现处理单元16、用户接口单元17、以及控制单元18b。
成像光学系统11由变焦单元111、聚焦单元112、光阑单元113、单元驱动单元114等配置。通过使用变焦透镜配置变焦单元111。变焦单元111通过在光轴方向上移动变焦透镜改变焦距。通过使用聚焦透镜配置聚焦单元112。聚焦单元112通过在光轴方向上移动聚焦透镜调节聚焦。通过使用虹膜配置光阑113。光阑单元113通过改变虹膜的孔径量调节光量。
成像单元12由成像装置121、预处理部件122、驱动部件123等配置。成像装置121通过执行光电转换过程将由成像光学系统11在成像表面上成像的光学图像转换为电信号。作为成像装置121,例如,使用CCD图像传感器、CMOS(互补金属氧化物半导体)图像传感器等。
预处理部件122对由成像装置121生成的电信号执行诸如CDS之类的噪声消除过程。另外,预处理部件122执行增益调节,以便调节电信号的信号电平为期望信号电平。另外,预处理部件122通过执行A/D转换过程将模拟图像信号转换为数字图像信号,并且输出数字图像信号,其中该模拟图像信号是已对其执行噪声消除过程和增益调节的电信号。
驱动部件123生成驱动成像装置121所需要的操作脉冲等。例如,驱动部件123生成用于读出电荷的电荷读出脉冲、用于在垂直方向或者水平方向上执行传输的传输脉冲、用于执行电子快门操作的快门脉冲等。
信号处理单元13b由图像处理部件131、畸变像差校正部件132、两轴旋转抖动校正部件134等配置。
图像处理部件131对从成像单元12输出的数字图像信号执行相机处理过程等。例如,图像处理部件131对图像信号执行诸如伽马校正或者拐点校正之类的非线性过程、色彩校正过程、轮廓增强过程等。
畸变像差校正部件132校正由成像光学系统11生成的畸变像差。畸变像差校正部件132通过使用根据畸变像差量的畸变校正数据,将包括畸变分量的图像信号的每个像素的坐标转换为校正之后的坐标,而生成其中消除或者减少了畸变像差的图像的图像信号。另外,当畸变像差量根据变焦透镜的位置而改变时,畸变像差校正部件132从成像光学系统11中获取表示变焦透镜位置的位置信息,并根据该位置信息改变畸变校正数据。畸变像差校正部件132输出其中消除或者减少了畸变像差的图像的图像信号到两轴旋转抖动校正部件134。替代地,将根据变焦透镜的位置的畸变校正数据配置为从稍后描述的控制单元18b提供给畸变像差校正部件132。
两轴旋转抖动校正部件134从其中校正了畸变像差的图像中提取提取区域的图像。另外,两轴旋转抖动校正部件134根据从稍后描述的控制单元18b通知的抖动校正量(校正移动量)移动(旋转)提取区域。如上所述,通过从其中校正了畸变像差的图像中提取图像生成其中校正了绕着光轴的抖动的图像的图像信号,以使得即使在通过移动提取区域而生成两轴旋转的抖动的情况下,停止的拍摄对象也处于屏幕上的预定位置。两轴旋转抖动校正部件134输出校正抖动之后的图像信号到记录及再现处理单元16或者外部装置。
两轴旋转抖动检测单元15检测垂直于光轴的两轴旋转的抖动并且输出检测结果到控制单元18b。例如,两轴旋转抖动检测单元15包括角速度传感器151和检测信号处理部件152。角速度传感器151生成与垂直于光轴的两轴旋转的抖动相对应的检测信号。例如,角速度传感器151生成与绕着包括垂直于光轴的垂直轴和水平轴的两轴的旋转的抖动相对应的检测信号。换句话说,绕着垂直轴的旋转的抖动与摇摄方向(pan direction)生成的抖动相对应。另一方面,绕着水平轴的旋转的抖动与倾斜方向(tilt direction)生成的抖动相对应。因此,在根据绕着垂直轴和水平轴的旋转的抖动生成检测信号的情况下,检测信号表示在摇摄和倾斜方向上生成的抖动。角速度传感器151输出生成的检测信号到检测信号处理部件152。
检测信号处理部件152对检测信号执行噪声消除过程、增益调节过程、DC分量消除过程、A/D转换过程等,然后输出处理之后的检测信号到控制单元18b。
记录及再现处理单元16将从两轴旋转抖动校正部件134输出的图像信号记录在记录介质上。另外,记录及再现处理单元16读出记录在记录介质上的图像信号,并输出图像信号到外部装置。记录介质可以是诸如存储卡、光盘、或者磁带之类的可移动类型或者诸如HDD或者半导体存储模块之类的固定类型。另外,通过在记录及再现处理单元16中设置编码器或者解码器以及对图像信号执行压缩编码或者扩展解码,而将已编码信号配置为记录在记录介质上。
用户接口单元17由操作开关、操作按钮等配置。用户接口单元17生成与用户操作相对应的操作信号,以及输出操作信号到控制单元18b。
控制单元18b根据从用户接口单元17等发送的操作信号控制每个单元,以便允许成像设备10b根据用户的操作执行操作。
另外,当执行抖动校正时,控制单元18b起校正量设置单元的作用。控制单元18b基于从两轴旋转抖动检测单元15输出的检测信号而设置抖动校正量(校正移动量),并向两轴旋转抖动校正部件134通知所设置的抖动校正量。例如,在角速度传感器151用在两轴旋转抖动检测单元15中的情况下,控制单元18b通过对检测信号进行积分来计算在摇摄方向或者倾斜方向上生成的抖动角。因此,控制单元18b设置抖动校正量(校正移动量),以便校正抖动角并向两轴旋转抖动校正部件134通知抖动校正量。另外,对于在手持状态下拍摄时生成的旋转抖动,抖动频率不高。因此,控制单元18b执行过滤过程,以便对于检测信号仅通过手抖动的频率分量。通过执行这样的过滤过程,控制单元18b能够高精度地计算摇摄方向以及倾斜方向上的抖动。另外,如上所述,控制单元18b被配置为根据变焦透镜的位置输出畸变校正数据到畸变像差校正部件132。
[成像设备的操作]
当通过使用成像设备10b执行成像操作,而将图像信号从成像单元12提供给信号处理单元13b时,信号处理单元13b的图像处理部件131对图像信号执行相机过程处理等,并输出处理之后的图像信号到畸变像差校正部件132。畸变像差校正部件132通过使用从图像处理部件131提供的图像信号来校正畸变像差。
根据成像光学系统11的透镜确定畸变像差,因此,发生诸如位于远离透镜的光轴的位置的图像减少等的畸变。换句话说,如第一实施例中所述,以同心图形(其以透镜的光轴作为它的中心)发生畸变。
畸变像差校正部件132通过使用与畸变像差量相对应的畸变校正数据,将包括畸变分量的图像信号的每个像素的坐标转换为校正之后的坐标,来生成其中消除或者减少了畸变像差的图像的图像信号。
两轴旋转抖动校正部件134从其中校正了畸变像差的图像中提取提取区域的图像。两轴旋转抖动校正部件134从其中校正了畸变像差的图像中设置提取区域,以使得在没有从控制单元18b通知抖动校正量(校正移动量)或者当抖动校正量是“0”时,光轴的位置位于图像的中心,如图4所示,并提取提取区域的图像。如上所述,当使用其中校正了畸变像差的图像时,由于畸变像差的校正,其中校正了畸变像差的图像是区域尺寸大于提取区域的区域尺寸的图像。因此,图像处于多余区域被设置在提取区域外侧的状态下。
当由成像设备10b在摇摄方向或者倾斜方向上生成抖动时,两轴旋转抖动检测单元15生成与在摇摄方向或者倾斜方向上生成的抖动相对应的检测信号,并输出所生成的检测信号到控制单元18b。控制单元18b基于从两轴旋转抖动检测单元15发送的检测信号而计算抖动校正量(校正移动量),并向两轴旋转抖动校正部件134通知抖动校正量。
当从控制单元18b通知的抖动校正量(校正移动量)不是“0”时,两轴旋转抖动校正部件134将提取区域从其中校正了畸变像差的图像移动抖动校正量,如图7所示。然后,两轴移动抖动校正部件134从进一步移动之后的提取区域中提取图像。这里,校正畸变像差之后的图像具有线筒形状,其四个角被从图像的中心向外侧拉。相应地,四个角的多余区域变宽。因此,两轴旋转抖动校正部件134从校正畸变像差之后的图像中提取移动了抖动校正量的提取区域的图像。
如上所述,通过使用其中已经校正了畸变像差的图像执行两轴旋转抖动的校正,能够校正摇摄方向或者倾斜方向上生成的抖动,而不需要减少提取区域或者使用图像感光区域大于提取区域的成像装置。因此,能够通过有效地利用成像装置的图像感光区域来校正抖动。另外,在使用图像感光区域大于提取区域的成像装置的情况下,能够校正大于一般情况的摇摄方向或者倾斜方向上的抖动。在图7中,由点划线指示的区域表示根据两轴旋转的抖动而移动的提取区域的移动范围。因此,两轴旋转的抖动通过在由点划线指示的区域内移动提取区域而进行校正。
<3.第三实施例>
在第一和第二实施例中,已经描述了通过使用角速度传感器检测光轴旋转或者两轴旋转的旋转抖动的情况。然而,也可以从拾取图像中检测到光轴旋转或者两轴旋转的选择抖动。接下来,作为本发明的第三实施例,将描述从拾取图像中检测抖动、以及使用畸变像差校正之后的图像校正所检测到的抖动的情况。
[成像设备的配置]
图8是示出第三实施例的配置的功能框图。成像设备10c包括成像光学系统11、成像单元12、信号处理单元13c、记录及再现处理单元16、用户接口单元17、以及控制单元18c。
成像光学系统11由变焦单元111、聚焦单元112、光阑单元113、单元驱动单元114等配置。通过使用变焦透镜配置变焦单元111。变焦单元111通过在光轴方向上移动变焦透镜改变焦距。通过使用聚焦透镜配置聚焦单元112。聚焦单元112通过在光轴方向上移动聚焦透镜调节聚焦。通过使用虹膜配置光阑113。光阑单元113通过改变虹膜的孔径量调节光量。
成像单元12由成像装置121、预处理部件122、驱动部件123等配置。成像装置121通过执行光电转换过程将由成像光学系统11在成像表面上成像的光学图像转换为电信号。作为成像装置121,例如,使用CCD(电荷耦合器件)图像传感器、CMOS图像传感器等。
预处理部件122对由成像装置121生成的电信号执行诸如CDS之类的噪声消除过程。另外,预处理部件122执行增益调节,以便调节电信号的信号电平为期望信号电平。另外,预处理部件122通过执行A/D转换过程将模拟图像信号转换为数字图像信号,并且输出数字图像信号,其中该模拟图像信号是已对其执行噪声消除过程和增益调节的电信号。
驱动部件123生成驱动成像装置121所需要的操作脉冲等。例如,驱动部件123生成用于读出电荷的电荷读出脉冲、用于在垂直方向或者水平方向上执行传输的传输脉冲、用于执行电子快门操作的快门脉冲等。
信号处理单元13c由图像处理部件131、畸变像差校正部件132、抖动检测部件135、抖动校正部件136等配置。
图像处理部件131对从成像单元12输出的数字图像信号执行相机处理过程等。例如,图像处理部件131对图像信号执行诸如伽马校正或者拐点校正之类的非线性过程、色彩校正过程、轮廓增强过程等。
畸变像差校正部件132校正由成像光学系统11生成的畸变像差。畸变像差校正部件132根据畸变像差量,通过使用畸变校正数据,将包括畸变分量的图像信号的每个像素的坐标转换为校正之后的坐标,从而生成其中消除或者减少了畸变像差的图像的图像信号。另外,当畸变像差量根据变焦透镜的位置而改变时,畸变像差校正部件132从成像光学系统11中获取表示变焦透镜位置的位置信息,并根据该位置信息改变畸变校正数据。畸变像差校正部件132输出其中消除或者减少了畸变像差的图像的图像信号到抖动检测部件135和抖动校正部件136。替代地,将根据变焦透镜的位置的畸变校正数据配置为从稍后描述的控制单元18c提供给畸变像差校正部件132。
抖动检测部件135包括运动矢量检测部分,其基于从畸变像差校正部件132发送的图像信号而从按时间顺序布置的多个图像中检测由抖动生成的图像的运动矢量。例如,运动矢量检测部件通过使用代表点匹配方法计算图像的运动矢量。代表点匹配方法是对于在不同时间拾取的图像的图像信号,通过在第二时间的图像信号之中检测最接近于第一时间的图像信号的代表点亮度级的亮度级的像素来检测运动矢量的方法。另外,对于运动矢量的计算,可以使用除了代表点匹配方法之外的其它方法。
抖动校正部件136从其中校正了畸变像差的图像中提取提取区域的图像。另外,抖动校正部件136根据从稍后描述的控制单元18c通知的抖动校正量(校正移动量和/或校正角)移动和/或旋转提取区域。如上所述,通过移动和/或旋转提取区域,从其中校正了畸变像差的图像中提取图像,以使得即使在生成手抖动的情况下,停止的拍摄对象也位于屏幕上的预定位置。然后,抖动校正部件136输出抖动校正之后的图像信号到记录及再现处理单元16或者外部装置。
用户接口单元17由操作开关、操作按钮等配置。用户接口单元17生成与用户操作相对应的操作信号,并输出操作信号到控制单元18c。
控制单元18c根据从用户接口单元17等发送的操作信号控制每个单元,以便允许成像设备10c根据用户的操作执行操作。另外,当执行抖动校正时,控制单元18c起校正量设置单元的作用。控制单元18c基于由抖动检测部件135检测的运动矢量而设置抖动校正量,并向抖动校正部件136通知所设置的抖动校正量。另外,如上所述,控制单元18c可被配置为根据变焦透镜的位置输出畸变校正数据到畸变像差校正部件132。
<成像设备的操作>
当通过使用成像设备10c执行成像操作,而将图像信号从成像单元12提供给信号处理单元13c时,信号处理单元13c的图像处理部件131对图像信号执行相机过程处理等,并输出处理之后的图像信号到畸变像差校正部件132。畸变像差校正部件132通过使用从图像处理部件131提供的图像信号来校正畸变像差。
根据成像光学系统11的透镜确定畸变像差,因此,发生诸如位于远离透镜的光轴位置的图像减少等的畸变。换句话说,如第一实施例中所述,以同心图形(其以透镜的光轴作为它的中心)发生畸变。
畸变像差校正部件132通过使用与畸变像差量相对应的畸变校正数据,将包括畸变分量的图像信号的每个像素的坐标转换为校正之后的坐标,从而生成其中消除或者减少了畸变像差的图像的图像信号。
抖动检测部件135基于从畸变像差校正部件132发送的图像信号而检测图像的运动矢量,并输出到控制单元18c。控制单元18c通过对运动矢量进行积分来确定抖动量、计算用于校正所确定的抖动的抖动校正量、以及输出抖动校正量到抖动校正部件136。
抖动校正部件136从其中校正了畸变像差的图像中提取提取区域的图像。抖动校正部件136从其中校正了畸变像差的图像设置提取区域,以使得在没有从控制单元18c通知抖动校正量或者当抖动校正量是“0”时,光轴的位置位于图像的中心,如图4所示,并提取提取区域的图像。如上所述,当使用其中校正了畸变像差的图像时,由于畸变像差的校正,其中校正了畸变像差的图像是区域尺寸大于提取区域的区域尺寸的图像。因此,图像处于多余区域被设置在提取区域外侧的状态下。
当由成像设备10c在摇摄方向、倾斜方向或者绕着光轴的旋转方向上生成抖动时,抖动检测部件135生成表示摇摄方向、倾斜方向、或者绕着光轴的旋转方向上生成的抖动的运动矢量,并输出运动矢量到控制单元18c。控制单元18c基于从抖动检测部件135输出的运动矢量而设置抖动校正量,并向抖动检测部件136通知所设置的抖动校正量。
当从控制单元18c通知的抖动校正量不是“0”时,抖动校正部件136将提取区域从其中校正了畸变像差的图像移动抖动校正量,如图7所示。然后,抖动校正部件136从进一步移动之后的提取区域提取图像。这里,校正畸变像差之后的图像具有线筒形状,其四个角被从图像的中心向外侧拉。相应地,四个角的多余区域变宽。因此,抖动校正部件136从校正畸变像差之后的图像中提取移动了抖动校正量的提取区域的图像。
如上所述,通过使用其中已经校正了畸变像差的图像来校正抖动,能够通过有效地利用成像装置来校正抖动。
如上所述,通过使用其中已经校正了畸变像差的图像执行旋转抖动的校正,能够校正抖动,而不减少提取区域或者使用图像感光区域大于提取区域的成像装置。因此,能够通过有效地利用成像装置的图像感光区域来校正抖动。另外,在使用图像感光区域大于提取区域的成像装置的情况下,能够校正大于一般情况下的抖动的抖动。
<4.第四实施例>
在上述第一至第三实施例中,已经描述了生成其中由畸变像差校正部件132校正畸变像差的图像信号、以及从其中校正了畸变像差的图像信号中提取其中校正抖动的图像的图像信号的情况。这里,当同时执行畸变像差的校正和抖动校正时,能够从拾取图像的图像信号中生成其中校正了畸变像差以及校正了抖动的图像信号而不生成其中校正了畸变像差的图像信号。接下来,作为本发明的第四实施例,将描述同时执行畸变像差的校正和抖动校正的情况。
[成像设备的配置]
图9是示出第四实施例的配置的功能框图。成像设备10d包括成像光学系统11、成像单元12、信号处理单元13d、记录及再现处理单元16、用户接口单元17、以及控制单元18a(18c)。另外,为了检测抖动,成像设备10d包括光轴旋转抖动检测单元14和/或两轴旋转抖动检测单元15。
成像光学系统11由变焦单元111、聚焦单元112、光阑单元113、单元驱动单元114等配置。通过使用变焦透镜配置变焦单元111。变焦单元111通过在光轴方向上移动变焦透镜改变焦距。通过使用聚焦透镜配置聚焦单元112。聚焦单元112通过在光轴方向上移动聚焦透镜调节聚焦。通过使用虹膜配置光阑113。光阑单元113通过改变虹膜的孔径量调节光量。
成像单元12由成像装置121、预处理部件122、驱动部件123等配置。成像装置121通过执行光电转换过程将由成像光学系统11在成像表面上成像的光学图像转换为电信号。作为成像装置121,例如,使用CCD图像传感器、CMOS图像传感器等。
预处理部件122对由成像装置121生成的电信号执行诸如CDS之类的噪声消除过程。另外,预处理部件122执行增益调节,以便调节电信号的信号电平为期望信号电平。另外,预处理部件122通过执行A/D转换过程将模拟图像信号转换为数字图像信号,并且输出数字图像信号,其中该模拟图像信号是已对其执行噪声消除过程和增益调节的电信号。
驱动部件123生成驱动成像装置121所需要的操作脉冲等。例如,驱动部件123生成用于读出电荷的电荷读出脉冲、用于在垂直方向或者水平方向上执行传输的传输脉冲、用于执行电子快门操作的快门脉冲等。
信号处理单元13d由图像处理部件131和校正处理部件137配置。
图像处理部件131对从成像单元12输出的数字图像信号执行相机处理过程等。例如,图像处理部件131对图像信号执行诸如伽马校正或者拐点校正之类的非线性过程、色彩校正过程、轮廓增强过程等。
校正处理部件137通过使用用于校正由成像光学系统11生成的畸变像差的畸变像差校正数据以及从稍后描述的控制单元18d通知的抖动校正量,来对拾取图像执行坐标转换。另外,校正处理部件137将坐标转换之前的拾取图像的区域用作提取区域,以及通过从提取区域中提取图像来生成其中校正了畸变像差和抖动的图像信号。另外,校正处理部件137输出其中校正了抖动的图像信号到记录及再现处理单元16或者外部装置。
光轴旋转抖动检测单元14和/或两轴旋转抖动检测单元15检测旋转抖动,并输出表示检测结果的检测信号到控制单元18d。
记录及再现处理单元16将从两轴旋转抖动校正部件134输出的图像信号记录在记录介质上。另外,记录及再现处理单元16读出记录在记录介质上的图像信号,并输出图像信号到外部装置。记录介质是诸如存储卡、光盘、或者磁带之类的可移动类型或者诸如HDD或者半导体存储模块之类的固定类型。另外,通过在记录及再现处理单元16中设置编码器或者解码器以及对图像信号执行压缩编码或者扩展解码,将已编码信号配置为被记录在记录介质上。
用户接口单元17由操作开关、操作按钮等配置。用户接口单元17生成与用户操作相对应的操作信号,以及输出操作信号到控制单元18d。
控制单元18d根据从用户接口单元17等发送的操作信号控制每个单元,以便允许成像设备10d根据用户的操作执行操作。另外,当执行抖动校正时,控制单元18d起校正量设置单元的作用。控制单元18d基于从光轴旋转抖动检测单元14和/或两轴旋转抖动检测单元15提供的检测信号而设置抖动校正量,以及向校正处理部件137通知所设置的抖动校正量。
[成像设备的操作]
当通过使用成像设备10d执行成像操作,而将图像信号从成像单元12提供给信号处理单元13d时,信号处理单元13d的图像处理部件131对图像信号执行相机过程处理等,并输出处理之后的图像信号到校正处理部件137。
图10是表示校正处理部件137的操作的流程图。在步骤ST1中,校正处理部件137确定畸变像差校正数据。例如,校正处理部件137以与预定间隔相对应的像素为单位,将用于转换畸变像差校正之前的坐标为畸变像差校正之后的坐标的畸变像差校正数据(矢量数据)预先存储为表格。另外,校正处理部件137对于每个变焦倍率存储畸变像差校正数据的表格。通过使用畸变像差校正数据的表格,校正处理部件137确定校正之前每个像素的畸变像差校正数据。通过使用相邻像素的畸变像差,校正处理部件137计算与一像素相对应的畸变像差校正数据,对于该像素,没有通过执行例如线性插值的插值过程来存储畸变像差校正数据。另外,对于没有存储表格的变焦倍率,校正处理部件137通过使用存储了表格的变焦倍率来执行插值过程,而计算与没有存储表格的变焦倍率相对应的表格。
在步骤ST2中,校正处理部件137获取抖动校正量。校正处理部件137从控制单元18d中获取抖动校正量,并确定提取区域的移动量或者旋转角。
在步骤ST3中,校正处理部件137确定抖动校正数据。校正处理部件137基于在步骤ST2中确定的抖动校正量而确定用于将畸变像差校正之后的坐标转换为抖动校正之后的坐标的抖动校正数据。
在步骤ST4中,校正处理部件137使用畸变像差校正数据和抖动校正数据执行校正过程,因此同时执行畸变像差的校正和抖动校正。
图11A以及图11B是图示校正处理部件137的操作的图。如图11A所示,当使用畸变像差校正数据校正畸变像差时,将图像感光区域的坐标(Xa,Yb)转换为坐标(Xc,Yd)。因此,在校正畸变像差之后,图像感光区域变为具有将图像的四个角从图像中心向外侧拉所获取的线筒形状的图像感光区域。另外,当畸变校正量是旋转角θ时,通过使用抖动校正数据执行等式(1)的计算,将畸变像差校正之后的坐标(Xc,Yd)转换为抖动校正之后的坐标(Xe,Yf)。
抖动校正数据
如上所述,通过使用畸变像差校正数据和抖动校正数据的计算,通过执行畸变像差的校正和抖动校正,将图像感光区域的坐标(Xa,Yb)转换为坐标(Xe,Yf)。因此,通过使用畸变像差校正数据和抖动校正数据,对从图像处理部件131输出的图像信号执行坐标转换,能够获得根据畸变校正量移动畸变像差校正之后的图像所获取的图像。换句话说,通过执行畸变像差校正以及根据抖动校正数据旋转图像感光区域,将图像感光区域转换为通过下面处理获取的图像感光区域,所述处理为旋转具有四个角被从图像中心向绕着图像中心的外侧拉的线筒形状的图像感光区域。
此外,如图11B所示,通过使用图像感光区域作为提取区域,表示提取区域的图像的图像信号被从校正之后的图像区域的图像中提取以及输出。因此,从校正处理部件137输出的图像信号变为表示具有预定区域尺寸的、对其执行光轴旋转的畸变像差校正以及抖动校正的图像的图像信号。
图12A和图12B是图示校正处理部件137的另一操作的图。图12A和图12B示出生成绕着光轴的旋转以及在摇摄方向的抖动的情况。如图12A所示,通过使用畸变像差校正数据执行畸变像差的校正,将图像感光区域的坐标(Xa,Yb)转换为坐标(Xc,Yd)。当抖动校正量是旋转角“θ”、水平方向上的移动量是“mh”、以及垂直方向上的移动量是“mv”时,通过使用畸变校正数据执行等式(2)的计算,将畸变像差校正之后的坐标(Xc,Yd)进一步转换为抖动校正之后的坐标(Xe,Yf)。在图12中,作为示例,表示“mv=0”的情况。
抖动校正数据 抖动校
正数据
如上所述,通过使用畸变像差校正数据和抖动校正数据执行上述计算,图像感光区域的坐标(Xa,Yb)被转换为坐标(Xe,Yf)。因此,通过对于从图像处理部件131输出的图像信号使用畸变像差校正数据和抖动校正数据执行坐标转换,能够获得通过根据抖动校正量移动校正畸变像差之后的图像所获取的图像。
另外,如图12B所示,通过使用图像感光区域作为提取区域,提取区域的图像被从校正之后的图像区域的图像中提取以及输出。因此,从校正处理部件137输出的图像信号变为表示具有预定区域尺寸的图像的图像信号,在该图像中校正光轴的旋转方向以及摇摄方向上的畸变像差以及抖动。
如上所述,当使用畸变像差校正数据和抖动校正数据执行坐标转换时,能够生成其中校正了畸变像差以及抖动的图像信号,而不生成校正畸变像差之后的图像信号。因此,不需要设置在其中存储校正了畸变像差的图像信号等的存储器等,且因此能够使成像设备的配置简单。另外,能够校正旋转方向上的抖动,而不减少提取区域或者使用图像感光区域大于提取区域的成像装置,因此能够通过有效地使用成像装置的图像感光区域来校正抖动。
本发明不应被构造为局限于上述实施例。本发明的实施例以示例形式公开本发明。因此,很明显,在不背离基本概念的本发明的范围内,本领域技术人员能够修改或者改变实施例。换句话说,为了确定本发明的基本概念,应该参考附加的权利要求。
根据本发明的实施例的成像设备以及抖动校正方法,对由成像光学系统形成的光学图像执行光电转换所获得的拾取图像,根据抖动校正量对于一图像移动提取区域,该图像是通过执行由成像光学系统生成的畸变像差的校正以及执行畸变像差的校正所获取的,以及提取提取区域的图像,从而生成其中校正了抖动的图像的图像信号。如上所述,通过使用其中校正了畸变像差的图像,能够增大用于执行抖动校正的多余区域。因此,当通过使用其中校正了畸变像差的图像执行抖动校正时,能够校正抖动,而不在成像装置中布置多余区域或者在成像装置中布置大的多余区域。因此,能够通过有效地使用成像装置的图像感光区域来校正抖动。结果,本发明的实施例非常适合于具有生成静止帧或者移动图片的功能的电子设备。
本申请包含涉及于2009年5月25日在日本专利局提交的日本优先权专利申请JP 2009-125062中公开的主题,在此将其全部内容通过引用并入。
本领域技术人员应该理解,只要在附加权利要求或者其等效物的范围内,取决于设计要求及其它因素,可以进行多种修改、组合、部分组合以及变更。
Claims (9)
1.一种成像设备,包括:
成像单元,通过对成像光学系统形成的光学图像执行光电转换而生成拾取图像的图像信号;
抖动检测单元,检测抖动;
校正量设置单元,基于所述抖动检测单元检测的抖动而设置用于校正所述抖动的抖动校正量;以及
校正处理单元,对所述拾取图像执行由所述成像光学系统生成的畸变像差的校正、对其中根据所述抖动校正量校正了所述畸变像差的图像执行提取区域的移动、以及执行所述提取区域的图像的提取。
2.根据权利要求1所述的成像设备,其中,所述校正处理单元执行由所述成像光学系统生成的桶型畸变像差的校正。
3.根据权利要求2所述的成像设备,其中,所述校正处理单元通过使用用于校正所述畸变像差的畸变像差校正数据,执行从所述拾取图像的图像信号中生成其中校正了所述畸变像差的图像的图像信号,以及从其中校正了所述畸变像差的图像信号中提取根据所述抖动校正量移动的提取区域的图像信号。
4.根据权利要求2所述的成像设备,其中,所述校正处理单元通过使用用于执行畸变像差的校正的畸变像差校正数据以及所述抖动校正量,对所述拾取图像执行坐标转换,并设置所述坐标转换之后的图像的预定坐标范围为移动之后的提取区域。
5.根据权利要求4所述的成像设备,其中,所述校正处理单元设置与所述拾取图像的位置相对应的坐标转换之后的图像的坐标范围为移动之后的提取区域。
6.根据权利要求2所述的成像设备,
其中,所述抖动检测单元包括抖动检测传感器,以及
其中,由所述抖动检测传感器检测绕着所述成像光学系统的光轴的旋转方向上的抖动以及绕着垂直于所述光轴的轴的旋转方向上的抖动中的至少一个。
7.根据权利要求6所述的成像设备,其中,所述抖动检测单元检测绕着垂直于所述光轴的第一轴的旋转方向上的抖动以及绕着垂直于所述光轴和所述第一轴的第二轴的旋转方向上的抖动。
8.根据权利要求2所述的成像设备,
其中,所述抖动检测单元包括运动矢量检测部件,以及
其中,通过使用按时间顺序布置的多个拾取图像,所述运动矢量检测部件检测表示由所述抖动生成的图像的运动的运动矢量。
9.一种抖动校正方法,包括以下步骤:
使用抖动检测单元检测抖动;
使用校正量设置单元而基于所检测到的抖动设置用于校正所述抖动的抖动校正量;以及
使用校正处理单元,对拾取图像校正由所述成像光学系统生成的畸变像差、移动其中校正了根据所述抖动校正量所述畸变像差的图像的提取区域,以及提取所述提取区域的图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP125062/09 | 2009-05-25 | ||
JP2009125062A JP5487722B2 (ja) | 2009-05-25 | 2009-05-25 | 撮像装置と振れ補正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101902573A true CN101902573A (zh) | 2010-12-01 |
Family
ID=43124340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101831856A Pending CN101902573A (zh) | 2009-05-25 | 2010-05-18 | 成像设备以及抖动校正方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8466969B2 (zh) |
JP (1) | JP5487722B2 (zh) |
CN (1) | CN101902573A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102998878A (zh) * | 2011-09-15 | 2013-03-27 | 佳能株式会社 | 可更换镜头和具有该可更换镜头的照相机系统 |
CN104113703A (zh) * | 2013-04-15 | 2014-10-22 | 佳能株式会社 | 图像处理装置及图像处理方法 |
CN104247395A (zh) * | 2012-11-05 | 2014-12-24 | 株式会社摩如富 | 图像处理装置、图像处理方法、图像处理程序以及记录介质 |
CN105191283A (zh) * | 2013-03-29 | 2015-12-23 | 索尼公司 | 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 |
CN105631808A (zh) * | 2015-12-23 | 2016-06-01 | 浙江越剑机械制造有限公司 | 一种矫正自动验布机中布面抖动造成的图像畸变的方法 |
US9538082B2 (en) | 2012-10-22 | 2017-01-03 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
CN103780834B (zh) * | 2012-10-22 | 2017-03-01 | 佳能株式会社 | 摄像设备 |
CN107800499A (zh) * | 2017-11-09 | 2018-03-13 | 周小凤 | 一种收音机节目播控方法 |
CN107852462A (zh) * | 2015-07-22 | 2018-03-27 | 索尼公司 | 相机模块、固体摄像元件、电子设备和摄像方法 |
CN109196417A (zh) * | 2016-05-16 | 2019-01-11 | 索尼公司 | 成像装置和图像抖动校正方法 |
CN109314744A (zh) * | 2017-12-29 | 2019-02-05 | 深圳市大疆创新科技有限公司 | 拍摄设备的图像处理方法、拍摄设备及可移动平台 |
CN109724992A (zh) * | 2018-07-23 | 2019-05-07 | 永康市柴迪贸易有限公司 | 电视柜清洁度解析机构 |
CN112702515A (zh) * | 2020-12-23 | 2021-04-23 | 上海立可芯半导体科技有限公司 | 相机系统中的图像处理方法、系统和计算机可读介质 |
CN113329164A (zh) * | 2020-02-28 | 2021-08-31 | 华为技术有限公司 | 一种镜头校正方法、装置、拍摄终端及存储介质 |
CN113574856A (zh) * | 2019-03-28 | 2021-10-29 | 索尼集团公司 | 图像处理设备、图像处理方法和程序 |
CN115297309A (zh) * | 2022-07-29 | 2022-11-04 | 青岛海信激光显示股份有限公司 | 投影画面显示方法及投影设备 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5742179B2 (ja) * | 2010-11-05 | 2015-07-01 | ソニー株式会社 | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム |
JP5631229B2 (ja) * | 2011-01-31 | 2014-11-26 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
JP5734082B2 (ja) * | 2011-05-11 | 2015-06-10 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
JP2014050039A (ja) * | 2012-09-03 | 2014-03-17 | Sony Corp | 画像処理装置、画像処理方法及びコンピュータプログラム |
KR101978214B1 (ko) | 2012-11-19 | 2019-05-14 | 엘지전자 주식회사 | 동영상 디스플레이 장치 및 그 방법 |
JP6047008B2 (ja) | 2012-12-25 | 2016-12-21 | キヤノン株式会社 | 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法 |
JP6253280B2 (ja) * | 2013-07-04 | 2017-12-27 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6209002B2 (ja) * | 2013-07-16 | 2017-10-04 | キヤノン株式会社 | 撮像装置およびその制御方法 |
CN106233710B (zh) * | 2014-03-19 | 2019-06-11 | 索尼公司 | 控制与图像关联的抖动模糊和运动模糊的方法、系统和计算机可读介质 |
JP6448218B2 (ja) * | 2014-05-12 | 2019-01-09 | キヤノン株式会社 | 撮像装置、その制御方法および情報処理システム |
JP6472176B2 (ja) * | 2014-06-10 | 2019-02-20 | キヤノン株式会社 | 撮像装置、像振れ補正装置、撮像装置の制御方法及び像振れ補正方法 |
JP6415330B2 (ja) * | 2015-01-15 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法 |
US9912868B2 (en) * | 2015-09-15 | 2018-03-06 | Canon Kabushiki Kaisha | Image-blur correction apparatus, tilt correction apparatus, method of controlling image-blur correction apparatus, and method of controlling tilt correction apparatus |
JP6793310B2 (ja) * | 2017-03-24 | 2020-12-02 | パナソニックIpマネジメント株式会社 | 映像変換装置および撮像装置 |
DE102018107950A1 (de) * | 2017-04-18 | 2018-10-18 | Canon Kabushiki Kaisha | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung |
JP6997593B2 (ja) * | 2017-11-06 | 2022-01-17 | 大塚電子株式会社 | 光学特性測定方法および光学特性測定システム |
EP3564917B1 (en) * | 2018-05-04 | 2020-07-01 | Axis AB | A method for detecting motion in a video sequence |
JP7378260B2 (ja) * | 2018-11-15 | 2023-11-13 | キヤノン株式会社 | 防振装置及び方法、及び撮像装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07177419A (ja) * | 1994-12-19 | 1995-07-14 | Hitachi Ltd | 信号処理装置 |
JP2005064698A (ja) * | 2003-08-08 | 2005-03-10 | Olympus Corp | カメラ |
CN1725808A (zh) * | 2004-07-21 | 2006-01-25 | 奥林巴斯映像株式会社 | 摄像装置和图像恢复方法 |
JP2006033759A (ja) * | 2004-07-21 | 2006-02-02 | Olympus Imaging Corp | 撮像装置および画像復元方法 |
JP2006033760A (ja) * | 2004-07-21 | 2006-02-02 | Olympus Imaging Corp | 撮像装置および画像補正方法 |
CN1732406A (zh) * | 2002-12-25 | 2006-02-08 | 株式会社尼康 | 抖动校正相机系统 |
CN1922868A (zh) * | 2004-02-25 | 2007-02-28 | 松下电器产业株式会社 | 摄像装置、摄像方法 |
US20070115364A1 (en) * | 2005-11-11 | 2007-05-24 | Sony Corporation | Image processing apparatus and method, and program used therewith |
CN101198985A (zh) * | 2005-06-21 | 2008-06-11 | 日东光学株式会社 | 信号处理装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0449283B1 (en) * | 1990-03-30 | 1997-11-12 | Sanyo Electric Co., Ltd. | An image sensing apparatus having camera-shake detection function |
JPH06197261A (ja) * | 1992-12-24 | 1994-07-15 | Canon Inc | 撮像装置 |
JP3332977B2 (ja) | 1993-02-10 | 2002-10-07 | オリンパス光学工業株式会社 | 映像装置 |
JP3297511B2 (ja) | 1993-10-15 | 2002-07-02 | オリンパス光学工業株式会社 | 映像処理装置 |
JP3614529B2 (ja) * | 1995-09-27 | 2005-01-26 | Ntn株式会社 | 計測装置の演算パラメータ計測方法、および計測装置 |
US6975352B2 (en) * | 2000-12-18 | 2005-12-13 | Xerox Corporation | Apparatus and method for capturing a composite digital image with regions of varied focus and magnification |
GB2378338A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Automatic identification of features of interest within a video signal |
US20050157949A1 (en) * | 2003-09-30 | 2005-07-21 | Seiji Aiso | Generation of still image |
JP2005345520A (ja) | 2004-05-31 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2007228154A (ja) | 2006-02-22 | 2007-09-06 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
JP4104631B2 (ja) * | 2006-03-27 | 2008-06-18 | 三洋電機株式会社 | 運転支援装置 |
JP2007293457A (ja) * | 2006-04-21 | 2007-11-08 | Yamaha Corp | 画像処理装置 |
EP2063635A4 (en) * | 2006-09-12 | 2009-12-09 | Panasonic Corp | CONTENT IMAGE FORMATION DEVICE |
JP4908350B2 (ja) * | 2007-08-30 | 2012-04-04 | 京セラ株式会社 | 画像処理方法と該画像処理方法を用いた撮像装置 |
-
2009
- 2009-05-25 JP JP2009125062A patent/JP5487722B2/ja not_active Expired - Fee Related
-
2010
- 2010-04-30 US US12/799,812 patent/US8466969B2/en active Active
- 2010-05-18 CN CN2010101831856A patent/CN101902573A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07177419A (ja) * | 1994-12-19 | 1995-07-14 | Hitachi Ltd | 信号処理装置 |
CN1732406A (zh) * | 2002-12-25 | 2006-02-08 | 株式会社尼康 | 抖动校正相机系统 |
JP2005064698A (ja) * | 2003-08-08 | 2005-03-10 | Olympus Corp | カメラ |
CN1922868A (zh) * | 2004-02-25 | 2007-02-28 | 松下电器产业株式会社 | 摄像装置、摄像方法 |
CN1725808A (zh) * | 2004-07-21 | 2006-01-25 | 奥林巴斯映像株式会社 | 摄像装置和图像恢复方法 |
JP2006033759A (ja) * | 2004-07-21 | 2006-02-02 | Olympus Imaging Corp | 撮像装置および画像復元方法 |
JP2006033760A (ja) * | 2004-07-21 | 2006-02-02 | Olympus Imaging Corp | 撮像装置および画像補正方法 |
CN101198985A (zh) * | 2005-06-21 | 2008-06-11 | 日东光学株式会社 | 信号处理装置 |
US20070115364A1 (en) * | 2005-11-11 | 2007-05-24 | Sony Corporation | Image processing apparatus and method, and program used therewith |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102998878A (zh) * | 2011-09-15 | 2013-03-27 | 佳能株式会社 | 可更换镜头和具有该可更换镜头的照相机系统 |
US9081204B2 (en) | 2011-09-15 | 2015-07-14 | Canon Kabushiki Kaisha | Interchangeable lens and camera system having the same |
CN102998878B (zh) * | 2011-09-15 | 2016-05-04 | 佳能株式会社 | 可更换镜头和具有该可更换镜头的照相机系统 |
US9538082B2 (en) | 2012-10-22 | 2017-01-03 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
CN103780834B (zh) * | 2012-10-22 | 2017-03-01 | 佳能株式会社 | 摄像设备 |
CN104247395A (zh) * | 2012-11-05 | 2014-12-24 | 株式会社摩如富 | 图像处理装置、图像处理方法、图像处理程序以及记录介质 |
US9639913B2 (en) | 2012-11-05 | 2017-05-02 | Morpho, Inc. | Image processing device, image processing method, image processing program, and storage medium |
CN105191283B (zh) * | 2013-03-29 | 2019-10-22 | 索尼公司 | 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 |
CN105191283A (zh) * | 2013-03-29 | 2015-12-23 | 索尼公司 | 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 |
US9607361B2 (en) | 2013-04-15 | 2017-03-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
CN104113703A (zh) * | 2013-04-15 | 2014-10-22 | 佳能株式会社 | 图像处理装置及图像处理方法 |
US9560277B2 (en) | 2013-04-15 | 2017-01-31 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
CN107852462B (zh) * | 2015-07-22 | 2020-12-18 | 索尼公司 | 相机模块、固体摄像元件、电子设备和摄像方法 |
CN107852462A (zh) * | 2015-07-22 | 2018-03-27 | 索尼公司 | 相机模块、固体摄像元件、电子设备和摄像方法 |
CN105631808A (zh) * | 2015-12-23 | 2016-06-01 | 浙江越剑机械制造有限公司 | 一种矫正自动验布机中布面抖动造成的图像畸变的方法 |
CN105631808B (zh) * | 2015-12-23 | 2018-10-19 | 浙江越剑智能装备股份有限公司 | 一种矫正自动验布机中布面抖动造成的图像畸变的方法 |
CN109196417A (zh) * | 2016-05-16 | 2019-01-11 | 索尼公司 | 成像装置和图像抖动校正方法 |
CN109196417B (zh) * | 2016-05-16 | 2021-10-26 | 索尼公司 | 成像装置和图像抖动校正方法 |
CN107800499A (zh) * | 2017-11-09 | 2018-03-13 | 周小凤 | 一种收音机节目播控方法 |
CN109314744A (zh) * | 2017-12-29 | 2019-02-05 | 深圳市大疆创新科技有限公司 | 拍摄设备的图像处理方法、拍摄设备及可移动平台 |
CN109724992A (zh) * | 2018-07-23 | 2019-05-07 | 永康市柴迪贸易有限公司 | 电视柜清洁度解析机构 |
CN113574856A (zh) * | 2019-03-28 | 2021-10-29 | 索尼集团公司 | 图像处理设备、图像处理方法和程序 |
CN113329164A (zh) * | 2020-02-28 | 2021-08-31 | 华为技术有限公司 | 一种镜头校正方法、装置、拍摄终端及存储介质 |
CN113329164B (zh) * | 2020-02-28 | 2023-01-20 | 华为技术有限公司 | 一种镜头校正方法、装置、拍摄终端及存储介质 |
CN112702515A (zh) * | 2020-12-23 | 2021-04-23 | 上海立可芯半导体科技有限公司 | 相机系统中的图像处理方法、系统和计算机可读介质 |
CN115297309A (zh) * | 2022-07-29 | 2022-11-04 | 青岛海信激光显示股份有限公司 | 投影画面显示方法及投影设备 |
CN115297309B (zh) * | 2022-07-29 | 2024-05-10 | 青岛海信激光显示股份有限公司 | 投影画面显示方法及投影设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5487722B2 (ja) | 2014-05-07 |
JP2010273245A (ja) | 2010-12-02 |
US20100295956A1 (en) | 2010-11-25 |
US8466969B2 (en) | 2013-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101902573A (zh) | 成像设备以及抖动校正方法 | |
KR100819809B1 (ko) | 촬상장치 및 촬상방법 | |
JP4742359B2 (ja) | 動画撮像装置及びそのプログラム | |
US7656443B2 (en) | Image processing apparatus for correcting defect pixel in consideration of distortion aberration | |
US9071751B2 (en) | Image processor method and program for correcting distance distortion in panorama images | |
JP2016012811A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5572700B2 (ja) | 撮像装置及び撮像方法 | |
JP5665760B2 (ja) | 撮像装置およびその制御方法 | |
JP5290557B2 (ja) | 撮像装置及び撮像方法 | |
JP2015018084A (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP2007110636A (ja) | カメラ装置 | |
JP5173883B2 (ja) | 撮像装置 | |
JP4925168B2 (ja) | 撮像方法および装置 | |
JP2005012423A (ja) | 撮像装置及び信号処理装置 | |
JP2007049266A (ja) | 画像撮像装置 | |
JP2018142983A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP2009239460A (ja) | 焦点制御方法、測距装置、撮像装置 | |
JP2007306436A (ja) | 撮像装置 | |
JP6124703B2 (ja) | 撮像装置およびその制御方法 | |
JP2014064327A (ja) | 撮像装置と振れ補正方法 | |
JP2019074640A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2006157344A (ja) | 撮像装置 | |
JP4047687B2 (ja) | デジタルカメラ | |
WO2015182021A1 (ja) | 撮像制御装置、撮像装置および撮像制御方法 | |
JP6618575B2 (ja) | 画像処理装置、撮像装置、レンズ装置、および、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20101201 |