CN105474623A - 摄像装置、摄像系统以及图像处理方法 - Google Patents

摄像装置、摄像系统以及图像处理方法 Download PDF

Info

Publication number
CN105474623A
CN105474623A CN201480047014.7A CN201480047014A CN105474623A CN 105474623 A CN105474623 A CN 105474623A CN 201480047014 A CN201480047014 A CN 201480047014A CN 105474623 A CN105474623 A CN 105474623A
Authority
CN
China
Prior art keywords
image
pixel
circle
view data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480047014.7A
Other languages
English (en)
Other versions
CN105474623B (zh
Inventor
味户刚幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aozhixin Digital Technology Co ltd
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105474623A publication Critical patent/CN105474623A/zh
Application granted granted Critical
Publication of CN105474623B publication Critical patent/CN105474623B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

摄像装置(1)具有：光学系统(101)，其焦距可变，且被摄体的光学像的有效成像区域即像圈的大小根据焦距的不同而不同；数据存储部(1121)，其存储表示焦距的值和像圈的大小的值之间的对应关系的数据；摄像部(206、208)，其从经由光学系统(101)成像于摄像元件(206)上的光学像获得图像数据；图像处理部(2225)，其根据表示对应关系的数据，对摄像部(206、208)获得的图像数据中的与像圈内侧对应的图像数据和与像圈的外侧对应的图像数据分别实施不同的图像处理。

Description

摄像装置、摄像系统以及图像处理方法
技术领域
本发明涉及摄像装置、摄像系统以及图像处理方法
背景技术
普通的摄像装置经由光学系统将被摄体的光学像成像于摄像元件上。在这种摄像装置中，由于光学系统的特性，越接近摄像元件的周边，越会产生成像于摄像元件上的光学像的光量的下降。此外，在这种摄像装置中，越接近摄像元件的周边，光学像的畸变越大。以往，为了校正摄像元件的周边的光量下降而进行阴影校正，并为了校正由光学系统的特性引起的光学像的畸变而进行畸变校正。
这里，在使用阴影校正或畸变校正来校正画质劣化时，有时在图像的中心和周边之间S/N特性会发生变化。对此，在日本特开2006-295807号公报中提出了如下技术：根据在阴影校正等中使用的校正量来控制降噪的抑制水平，从而抑制图像的中心与周边之间的S/N特性的变化。
发明内容
搭载于摄像装置的光学系统的小型化是摄像装置领域中的较大课题之一。特别是，高倍率的光学系统在原理上容易大型化，所以期望尽可能的小型化。这里，在想要实现高倍率的光学系统的小型化的情况下，有可能无法通过该光学系统的焦距来确保足够大小的像圈。像圈是指被摄体的光学像的有效成像区域，例如光量下降为一定值以内的摄像元件上的成像区域。
作为在无法确保足够大小的像圈的情况下用于保持记录图像的清晰感的方法，考虑也将像圈的外侧的区域的图像在记录中使用。但是，在像圈的外侧的区域中，光量下降极端增大。即使使用在日本特开2006-295807号公报的方法，也很难抑制由像圈的外侧的极端的光量下降带来的S/N特性的变化。
本发明是鉴于上述情况而完成的，其目的是提供一种即使在使用了无法确保足够大小的像圈的小型光学系统的情况下也能够良好地校正画质劣化的摄像装置、摄像系统以及图像处理方法。
为了达成上述目的，本发明的第1方式的摄像装置具有：光学系统，其焦距可变，且被摄体的光学像的有效成像区域即像圈的大小根据所述焦距的不同而不同；数据存储部，其存储表示所述焦距的值和所述像圈的大小的值之间的对应关系的数据；摄像部，其从经由所述光学系统成像于摄像元件上的所述光学像获得图像数据；以及图像处理部，其根据表示所述对应关系的数据，对所述摄像部获得的图像数据中的与所述像圈的内侧对应的图像数据和与所述像圈的外侧对应的图像数据分别实施不同的图像处理。
为了达成上述目的，本发明的第2方式的摄像系统具有更换镜头和摄像装置，所述更换镜头具有：光学系统，其焦距可变，且被摄体的光学像的有效成像区域即像圈的大小根据所述焦距的不同而不同；镜头数据存储部，其存储表示所述焦距的值和所述像圈的大小的值之间的对应关系的数据；以及镜头接口部，其用于发送表示所述对应关系的数据，所述摄像装置具有：摄像部，其从经由所述光学系统成像于摄像元件上的所述光学像获得图像数据；装置接口部，其用于从所述镜头接口部接收表示所述对应关系的数据；以及图像处理部，其根据由所述装置接口部接收到的表示所述对应关系的数据，对所述摄像部获得的图像数据中的与所述像圈的内侧对应的图像数据和与所述像圈的外侧对应的图像数据分别实施不同的图像处理。
为了达成上述目的，本发明的第3方式的图像处理方法具有以下步骤：从经由光学系统成像于摄像部上的光学像获得图像数据，其中，该光学系统的焦距可变，且被摄体的所述光学像的有效成像区域即像圈的大小根据所述焦距的不同而不同；以及根据表示所述焦距的值与所述像圈的大小的值之间的对应关系的数据，对所述摄像部获得的图像数据中的与所述像圈的内侧对应的图像数据和与所述像圈的外侧对应的图像数据分别实施不同的图像处理。
附图说明
图1是示出本发明的各实施方式的摄像系统的整体结构的图。
图2A是示出光学系统的一例的结构的图，且是示出焦距相当于广角端的状态的光学系统的图。
图2B是示出光学系统的一例的结构的图，且是示出焦距相当于望远端的状态的光学系统的图。
图3是示出本发明的第1实施方式的数据处理的流程的功能框图。
图4是示出本发明的第1实施方式的摄像系统的详细动作的流程图。
图5是用于说明摄影次数的设定的图。
图6A是示出阴影特性数据的例子的图。
图6B是示出本发明的第1实施方式的像高位置和合成比率之间的关系的图。
图7是示出像限的图。
图8是示出合成处理的流程图。
图9是示出本发明的第2实施方式的数据处理的流程的功能框图。
图10是示出本发明的第2实施方式的摄像系统的详细动作的流程图。
图11是示出本发明的第2实施方式的像高位置和合成比率的关系的图。
图12是示出阴影特性数据的例子的图。
图13是示出本发明的第3实施方式的数据处理的流程的功能框图。
图14是示出降噪处理部2225c2的结构的图。
图15A是示出关注像素位于像圈的内侧的情况下的搜索区域和比较像素权重的图。
图15B是示出关注像素位于像圈的外侧的情况下的搜索区域和比较像素权重的图。
图16是示出本发明的第4实施方式的数据处理的流程的功能框图。
图17是示出像素相加处理的流程图。
图18A是示出阴影特性数据的例子的图。
图18B是示出第4实施方式的像素相加系数的设定例的第1图。
图18C是示出第4实施方式的像素相加系数的设定例的第2图。
图19是示出第4实施方式的像高位置和合成比率之间的关系的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
【第1实施方式】
首先，对本发明的第1实施方式进行说明。图1是示出本发明的各实施方式的摄像系统的整体结构的图。图1所示的摄像系统1具有更换镜头100和摄像装置200。更换镜头100构成为能够在摄像装置200上拆装。在将更换镜头100安装于摄像装置200的情况下，更换镜头100与摄像装置200通信自如地连接。由此，更换镜头100成为能够按照摄像装置200的控制进行动作的状态。
更换镜头100具有光学系统101、镜头驱动机构104、光圈驱动机构106、变焦环108、变焦位置检测部110、镜头控制部112和镜头安装触点114。
光学系统101是用于使来自未图示的被摄体的光线成像于摄像元件206的摄像面上的光学系统。光学系统101具有摄影镜头1021和光圈1022。摄影镜头1021是焦距可变，且被设计为使像圈的大小随着焦距的变化而变化的单个或多个镜头。具体而言，本实施方式的例子的摄影镜头1021被设计为，通过沿着用图1的点划线所示的光轴方向被驱动而使其焦距变化，且焦距相对越长像圈越小。光圈1022构成为开闭自如，调整经由摄影镜头1021入射到摄像元件206的光线的量。之后将说明光学系统101的详细内容。
镜头驱动机构104具有电动机及其驱动电路等。镜头驱动机构104按照镜头控制部112的控制，向其光轴方向驱动摄影镜头1021。光圈驱动机构106具有用于驱动光圈1022的驱动机构。光圈驱动机构106按照镜头控制部112的控制，驱动光圈1022。
变焦环108是沿着更换镜头100的主体的外周旋转自如地设置的操作部件。变焦位置检测部110是构成为对变焦环108的操作量进行检测的例如编码器。该变焦位置检测部110将变焦环108的操作量作为摄影镜头1021的焦距(变焦位置)的信息输入到镜头控制部112。这里意味着，变焦位置的值例如越大，则摄影镜头1021的焦距越长。
镜头控制部112经由镜头安装触点114和主体安装触点224与摄像装置200的主体控制部222通信自如地连接。该镜头控制部112按照来自主体控制部222的输入或来自变焦位置检测部110的输入，控制镜头驱动机构104和光圈驱动机构106。此外，镜头控制部112具有例如作为闪存的镜头数据存储部1121。镜头数据存储部1121存储光学系统101的像差特性等镜头数据。此外，本实施方式的镜头数据存储部1121将相对于以光轴中心为基准的像高的光量下降量的数据存储为阴影特性数据。另外，镜头数据存储部1121按照摄影镜头1021的焦距(变焦位置)的每个值，存储阴影特性数据。这是因为光学系统101是根据焦距改变像圈的大小的光学系统。
镜头安装触点114是设置于更换镜头100的安装部的触点。镜头安装触点114在将更换镜头100安装于摄像装置200时与主体安装触点224电连接，并作为用于供更换镜头100和摄像装置200进行通信的镜头接口部发挥作用。
摄像装置200具有快门202、快门驱动机构204、摄像元件206、摄像元件接口(IF)部208、RAM210、ROM212、显示元件驱动部214、显示元件216、记录介质218、操作部220、主体控制部222和主体安装触点224。
快门202构成为使摄像元件206的摄像面为遮光状态或曝光状态。通过控制快门202的快门速度，调整摄像元件206的曝光时间。快门驱动机构204具有用于驱动快门202的驱动机构，按照主体控制部222的控制来驱动快门202。
摄像元件206具有使通过光学系统101会聚的来自被摄体的光线成像的摄像面。在摄像元件206的摄像面上呈二维状地配置有多个像素。此外，在摄像面的光入射侧设置有滤光片。这种摄像元件206将成像于摄像面上的与光线对应的光像(被摄体像)转换为与其光量相应的电信号(以下，称作图像信号)。与摄像元件206共同作为摄像部发挥作用的摄像元件接口部208按照主体控制部222的CPU2221的控制，将摄像控制信息输入到摄像元件206来驱动摄像元件206。此外，摄像元件接口部208按照主体控制部222的控制来读出由摄像元件206获得的图像信号，并针对读出的图像信号实施CDS(相关双采样)处理和AGC(自动增益控制)处理等模拟处理。并且，摄像元件接口部208将进行模拟处理后的图像信号转换为数字信号(以下称作图像数据)。
RAM210例如是SDRAM，具有工作区和图像区作为存储区。工作区是为了临时存储在摄像装置200的各部中产生的各种运算数据而设置在RAM210中的存储区。图像区是为了临时存储由摄像元件接口部208获得的图像数据和图像处理中的图像数据等在摄像装置200的各部中产生的图像数据而设置在RAM210中的存储区。
ROM212例如是闪存，存储用于供主体控制部222的CPU2221执行各种处理的程序代码。此外，ROM212存储了摄像元件206等的动作所需的控制参数以及在主体控制部222中进行图像处理部2225中的图像处理所需的控制参数等各种控制参数。
显示元件驱动部214根据从主体控制部222输入的图像数据驱动显示元件216，并使显示元件216显示图像。显示元件216例如为液晶显示器或有机EL显示器，对实时取景用的图像和记录在记录介质218中的图像等各种图像进行显示。
记录介质218例如为存储卡。在记录介质218中记录通过摄影动作获得的图像文件等。图像文件是通过对图像数据赋予规定的文件头而构成的文件。在文件头中，记录表示曝光条件的数据等作为标签数据。
操作部220构成为具有用于供用户进行摄像装置200的各种操作的多个操作部件。作为操作部件，包含释放按钮、菜单按钮和电源按钮等。释放按钮是用于供用户针对摄像装置200进行静止图像摄影开始的指示的操作部件。通过半按下该释放按钮，对主体控制部222给与自动曝光(AE)处理和自动对焦(AF)处理的指示，通过全部按下该释放按钮，对主体控制部222给与摄影(静止图像记录)动作的指示。菜单按钮用于指示用于设定摄像装置200的各种模式的菜单画面的显示的操作部件。用户能够在该菜单画面上进行与摄像装置200相关的各种设定。作为该各种设定，例如包含记录在记录介质218中的图像数据的像素数即记录像素数的设定。电源按钮是用于供用户对摄像装置200指示电源的接通或断开的操作部件。
主体控制部222具有CPU2221、AF控制部2222、AE控制部2223、运动检测部2224、图像处理部2225、通信控制部2226和存储器控制部2227，作为用于控制摄像装置200的动作的控制电路。CPU2221是控制快门驱动机构204、摄像元件接口部208、显示元件驱动部214等主体控制部222的外部的各模块和镜头控制部112、以及主体控制部222的各控制电路的动作的控制部。AF控制部2222控制AF处理。AF处理例如为对比度AF处理。具体而言，AF控制部2222提取由摄像元件接口部208获得的图像数据的高频成分，并对该提取出的高频成分进行累计，由此，按照每个AF区取得AF用的对焦评价值。CPU2221一边依照该对焦评价值评价图像数据的对比度，一边控制镜头控制部112来将摄影镜头1021设为对焦状态。AE控制部2223控制AE处理。具体而言，AE控制部2223使用由摄像元件接口部208得到的图像数据计算被摄体亮度。CPU2221以使该被摄体亮度成为预先设定的适当值的方式，计算摄影时的光圈1022的开口量(光圈值)、快门202的打开时间(快门速度)、摄像元件206的灵敏度等曝光条件。运动检测部2224按照每个象限检测多帧图像数据之间的运动矢量。象限是将图像数据中的相当于光轴中心的位置作为原点位置而设定的。即，相对于原点位置的右上的区域为第1象限，相对于原点位置的左上的区域为第2象限，相对于原点位置的左下的区域为第3象限，相对于原点位置的右下的区域为第4象限。图像处理部2225进行针对图像数据的各种图像处理。本实施方式的图像处理部2225具有阴影校正部2225a、合成处理部2225b和降噪处理部2225c。阴影校正部2225a通过例如增益相乘，校正由于摄影镜头1021的特性等而产生的图像数据的周边部的光量下降。合成处理部2225b以像素数据为单位来合成多帧图像数据。降噪处理部2225c通过例如核化(Coring)处理，降低图像数据中的噪声。另外，图像处理部2225除了阴影校正处理、合成处理、降噪处理以外，还进行颜色校正处理、伽马校正处理、畸变校正处理和压缩处理等处理。此外，图像处理部2225还实施针对被压缩的图像数据的解压缩处理。通信控制部2226进行主体控制部222的CPU2221等与镜头控制部112通信时的控制。存储器控制部2227进行CPU2221等访问RAM210、ROM212、记录介质218时的控制。
主体安装触点224是设置于摄像装置200的安装部上的触点。主体安装触点224在将更换镜头100安装于摄像装置200时与镜头安装触点114电连接，并作为用于供更换镜头100和摄像装置200进行通信的装置接口部发挥作用。
图2A和图2B是示出光学系统101的一例的结构的图。图2A示出焦距相当于广角端的状态，图2B示出焦距相当于望远端的状态。如图2A和图2B所示，光学系统101的摄影镜头1021由5组镜头G1～G5构成。此外，光圈1022配置在5组镜头G1～G5的光路中。
在这样的一例的摄影镜头1021中，主要通过向被摄体侧(图面下侧)送出第1组镜头G1，使得焦距变长。其他镜头组主要用于像差的校正和焦点的校正。这里，构成摄影镜头1021的5组镜头G1～G5中的、相当于前置镜头的第1组镜头G1的口径比通常的前置镜头的口径短(图的A的部分)。因此，在如图2A的焦距较短的状态下，将预先设定在摄像元件206中的记录图像区域收敛在像圈的内侧，但是在如图2B的焦距较长的状态下，摄像元件206的记录图像区域未收敛在像圈的内侧。像圈的外侧的图像数据的光量下降增大，通常无法作为用于记录或显示的图像数据进行使用。图像处理部2225使用阴影校正处理等校正这种光量下降。之后将说明校正的详细内容。
图3是示出本发明的第1实施方式的数据处理的流程的功能框图。在图3中，抽出了图1中示出的摄像系统1中的、与本实施方式的内容特别相关的部分。经由摄影镜头1021入射的来自被摄体的光束成像在摄像元件206的摄像面上。CPU2221控制摄像元件接口部208并执行摄像元件206的摄影动作。这里，在变焦位置检测部110中检测摄影时的摄影镜头1021的焦距(变焦位置)。镜头控制部112从镜头数据存储部1121中取得与在变焦位置检测部110中检测出的变焦位置相应的阴影特性数据，将取得的阴影特性数据发送到主体控制部222的CPU2221。此外，镜头控制部112将取得的摄影镜头1021的焦距(变焦位置)发送到主体控制部222的CPU2221。CPU2221根据焦距，变更针对1帧摄影的拍摄次数。之后将说明详细内容。
通过摄像元件接口部208读出作为摄像元件206的摄影动作的结果而获得的图像信号，并将其转换为作为数字信号的图像数据。将该图像数据存储在RAM210的图像区中。这里，在本实施方式中，为了校正像圈的外侧的图像数据的光量下降，使用多帧图像数据。而且，为了获得多帧图像数据，进行多次摄影。例如，在图3的例子中，最多进行4次摄影并将4帧的图像数据存储在RAM210的图像区中。这里，图3的例子中的4次摄影中的最初1次是用于基准图像的摄影，剩余3次是用于合成用图像的摄影。摄影次数是根据阴影特性而确定的。用于确定摄影次数的处理的详细内容将在之后说明。
与摄影张数的设定一起，CPU2221将用于阴影校正处理的阴影校正系数(校正数据)输入到阴影校正部2225a。阴影校正系数是根据图像数据的周边的像素数据相对于图像数据的中心(光轴中心相当)的像素数据的光量下降来确定的。并且，CPU2221计算用于合成处理的合成比率。而且，CPU2221将合成比率输入到合成处理部2225b。这里，根据像高位置来变更合成比率。
阴影校正部2225a使用从CPU2221输入的阴影校正系数，对从RAM210读出的图像数据进行阴影校正处理。即，阴影校正部2225a进行将构成图像数据的各像素数据乘以阴影校正系数的处理。
在需要合成处理的情况下，运动检测部2224按照每个象限检测进行了阴影校正处理后的多帧图像数据之间的运动矢量。然后，合成处理部2225b在按照每个象限，根据运动矢量进行了多帧图像数据的位置对准后，按照从CPU2221输入的合成比率来合成进行了阴影校正处理后的多帧图像数据。然后，降噪处理部2225c对进行了合成处理的图像数据实施降噪处理。实施了该降噪处理的图像数据在显示中使用，或者在记录中使用。
图4是示出本发明的第1实施方式的摄像系统的详细动作的流程图。在图4中，CPU2221通过与镜头控制部112的通信，取得由变焦位置检测部110检测的当前的摄影镜头1021的焦距(变焦位置)的信息(步骤S101)。接着，CPU2221通过与镜头控制部112的通信，取得与当前的变焦位置相应的镜头数据，特别是阴影特性数据(步骤S102)。然后，CPU2221判定当前的变焦位置是否为规定以上，即焦距是否为规定以上的长度(步骤S103)。步骤S103的判定中的规定以上例如是指摄像元件206的记录图像区域伸出到像圈外的值以上。
在步骤S103中判定为当前的变焦位置为规定以上的情况下，CPU2221根据阴影特性信息设定摄影张数m的值，并且将表示摄影次数的参数i的值初始化为1(步骤S104)。这里，对摄影次数的设定进行说明。如上所述，摄影次数根据阴影特性确定。阴影特性数据是拍摄均匀亮度面而获得的数据，例如是图6A所示的数据。图6A所示的阴影特性数据是横轴取对角像高(以相当于光轴中心的位置为基准的对角方向的像高)，纵轴取光量(像素数据的值)的数据。如本实施方式那样，在记录图像区域有可能伸出到像圈外的情况下，在像圈的外侧，光量的下降极端增大。当设像圈的边界部的光量为α、记录图像区域的端的光量为β时，α/β表示像圈的内侧和外侧的光量下降的差异。这里，在利用增益校正实现的阴影校正处理的情况下，针对如像圈边界部这样光量的下降较少的像素数据，以低噪声进行校正，与此相对，针对如记录图像区域的终端部这样的光量的下降较大的像素数据，噪声也通过增益校正被放大，所以S/N下降。因此，在本实施方式中，通过一并使用阴影校正处理和合成处理，抑制光量下降较大的像素数据中的由阴影校正处理带来的S/N的恶化。这里，已知通过合成在相同的曝光条件下获得的m张图像数据，噪声的大小成为1/√m。因此，如图6B所示，根据α/β的大小设定摄影张数，合成所设定的摄影张数的图像数据，由此抑制像圈的外侧的S/N的恶化。在图6B的例子中，在1<α/β≦√2时，将摄影张数设为2张(这时噪声成为1/√2)，在√2<α/β≦√3时将摄影张数设为3张(这时噪声成为1/√3)，在√3<α/β≦2时将摄影张数设为4张(这时噪声成为1/2)。
在设定摄影张数m并将参数i初始化后，CPU2221使用AF控制部2222执行AF处理，并且使用AE控制部2223执行AE处理(步骤S105)。在AF处理中，以对焦于像圈内的被摄体的方式驱动摄影镜头1021。此外，在AE处理中，以使得像圈的内侧的被摄体的曝光适当的方式设定曝光条件。在AF处理和AE处理后，CPU2221按照作为AE处理的结果而确定的曝光条件，控制摄像元件接口部208和镜头控制部112来执行基准图像的摄影(步骤S106)。在摄影的执行后，图像处理部2225的阴影校正部2225a对作为摄影结果而存储在RAM210中的基准图像数据进行阴影校正处理(步骤S107)。阴影校正系数S0(z)是表示图6A的阴影特性数据的像高z的函数。通过将这种阴影校正系数乘以像素数据，校正像圈边界附近的像素数据的光量下降。但是，对像圈的外侧校正光量下降会使噪声大幅增加。
接着，CPU2221计算用于合成处理的基准图像数据的合成比率，将计算出的合成比率乘以构成基准图像数据的各像素数据(步骤S108)。这里，对合成比率的计算进行说明。图5是示出像高位置和合成比率之间的关系的图。在本实施方式中，在像圈的内侧，无论像高位置如何，都将基准图像数据的合成比率设定为1(将合成用图像数据的合成比率设定为0)。另一方面，在像圈的外侧，随着像高位置靠近记录图像区域的终端位置，基准图像数据的合成比率从1起减少，合成用图像数据的合成比率从0起增加。而且，当像高位置到达记录图像区域的终端位置时，将基准图像数据的合成比率和各合成用图像数据的合成比率设定为1/(摄影张数)。
在针对基准图像的处理后，CPU2221按照作为AE处理的结果而确定的曝光条件，控制摄像元件接口部208和镜头控制部112来执行合成用图像的摄影(步骤S109)。在摄影执行后，图像处理部2225的阴影校正部2225a对作为摄影结果存储在RAM210中的合成用图像数据进行阴影校正处理(步骤S110)。即，阴影校正部2225a进行将构成合成用图像数据的各像素数据乘以预先设定的增益值(阴影校正系数)的处理。与合成用图像数据相乘的阴影校正系数是阴影校正系数S0(z)。
接着，运动检测部2224计算合成用图像数据中的运动矢量(步骤S111)。这里，按照图7所示的每个象限单独计算运动矢量。如上所述，相对于原点位置的右上的区域为第1象限，相对于原点位置的左上的区域为第2象限，相对于原点位置的左下的区域为第3象限，相对于原点位置的右下的区域为第4象限。在计算出运动矢量后，CPU2221计算合成用图像数据的合成比率(步骤S112)。接着，合成处理部2225b进行合成处理(步骤S113)。在合成处理中，按照每个像素数据，依照合成比率合成通过拍摄获得的基准图像数据和各合成用图像数据。以下，参照图8对合成处理进行说明。
在图8中，合成处理部2225b将参数j初始化为0，该参数j表示相对于基准图像数据的像素位置、即作为合成处理的对象的像素位置(步骤S201)。参数j例如在0时表示图像数据中的左上的像素位置。而且，每当参数j的值增加，像素位置向右方向和下方向依次偏移。接着，合成处理部2225b判定与参数j对应的像素位置是否是像圈的外侧的位置(步骤S202)。在步骤S202中判定为与参数j对应的像素位置不是像圈的外侧的位置的情况下，合成处理部2225b使处理转移到步骤S208。在步骤S202中判定为与参数j对应的像素位置是像圈的外侧的位置的情况下，合成处理部2225b判定与参数j对应的像素位置所属的象限(步骤S203)。即，合成处理部2225b在与参数j对应的像素位置所属的区域为右上区域的情况下，判定为像素位置属于第1象限，在为左上区域的情况下判定为像素位置属于第2象限，在为左下区域的情况下像素位置属于第3象限，在为右下区域的情况下判定为像素位置属于第4象限。
在象限的判定后，合成处理部2225b从运动检测部2224取得所判定的象限中的运动矢量(步骤S204)。而且，合成处理部2225b取得合成用图像数据中的、从与参数j对应的像素位置起偏移运动矢量后的像素位置的像素数据(步骤S205)。接着，合成处理部2225b取得与参数j对应的像素位置的合成用图像数据的合成比率，将所取得的合成用图像数据的合成比率乘以在步骤S205中取得的像素数据(步骤S206)。然后，合成处理部2225b将基准图像数据中的与参数j对应的像素数据、和与该像素数据对应的合成用图像数据中的像素数据相加(合成)(步骤S207)。
在步骤S202或者步骤S207后，合成处理部2225b判定针对所有像素的处理是否结束，即参数j是否成为表示记录图像区域的终端的值(步骤S208)。在步骤S208中判定为针对所有像素的处理未结束的情况下，合成处理部2225b使参数j递增(步骤S209)。然后，合成处理部2225b将处理返回到步骤S202。在该情况下，进行针对下一个像素位置的像素数据的处理。在步骤S208中判定为针对所有像素的处理已结束的情况下，合成处理部2225b结束图8的处理。
这里，再次返回到图4的说明。在针对1张合成用图像数据的合成处理后，CPU2221使参数i递增(步骤S114)。然后，CPU2221判定i是否成为m(步骤S115)。在步骤S115中判定为i未成为m的情况下，CPU2221使处理返回到步骤S110。在该情况下，进行下一个合成用图像的摄影。在步骤S115中判定为i已成为m的情况下，CPU2221使处理转移到步骤S119。
在步骤S103中判定为当前的变焦位置不是规定以上的情况下，CPU2221使用AF控制部2222执行AF处理，并且使用AE控制部2223执行AE处理(步骤S116)。
在AF处理和AE处理后，CPU2221按照作为AE处理的结果而确定的曝光条件，控制摄像元件接口部208和镜头控制部112来执行图像的摄影(步骤S117)。步骤S117的摄影与步骤S106的基准图像的摄影同样进行。在摄影的执行后，图像处理部2225的阴影校正部2225a对作为摄影结果而存储在RAM210中的图像数据进行阴影校正处理(步骤S118)。
在步骤S115中由CPU2221判定为参数i成为m的情况下或者步骤S118后，图像处理部2225的降噪处理部2225c进行针对图像数据的降噪处理(步骤S119)。这里，在图4的例子中，以降噪处理结束图像处理。但是，可以在降噪处理的前后，进行白平衡校正等其他图像处理。在图像处理后，CPU2221根据通过图像处理获得的图像数据，将图像显示于显示元件216，或者记录在记录介质218中(步骤S120)。然后，图4的处理结束。
如以上所说明，根据本实施方式，在使用可能根据焦距而使记录图像区域伸出到像圈外的光学系统101的情况下，在像圈的内侧和外侧进行不同的图像处理。即，在本实施方式中，按照与像高相应的合成比率，进行多帧图像数据的合成处理。这样，在本实施方式中，由于与阴影校正处理一起进行与像高相应的合成处理，所以能够抑制由于在像圈的外侧使用极端增大的阴影校正系数进行阴影校正处理而带来的S/N的恶化。其结果，即使在使用可能根据焦距而使记录图像区域伸出到像圈外的光学系统101的情况下，也能够缩小像圈的内侧和外侧之间的S/N的差异。
此外，在本实施方式中，按照合成对象的像素数据所属的每个象限进行基于运动矢量的位置对准。通过按照每个象限进行位置对准，能够提高合成处理时的位置对准的精度。
这里，虽然在本实施方式中，在阴影校正处理后进行合成处理，但是，这种合成处理可以例如在畸变校正处理后进行。畸变校正处理也与阴影校正处理同样，校正处理的结果是像圈的外侧的噪声增加，所以本实施方式的技术有效。
【第2实施方式】
接着，说明本发明的第2实施方式。图9是示出本发明的第2实施方式的数据处理的流程的功能框图。这里，对在图9中具有与图3对应的功能的模块标记与图3同样的参照标号。此外，在图9中，对与图3相同的部分省略说明。即，在第2实施方式中，根据基准图像数据和合成用图像数据来变更曝光条件和阴影校正系数，从而来减少合成用图像的摄影次数，除此以外与第1实施方式同样。
图10是示出本发明的第2实施方式的摄像系统的详细动作的流程图。这里，在图10中，对与图4同样的处理省略说明。即，图10的步骤S301-S306和步骤S311-S318的处理与图4的步骤S101-S103以及S105-S107和步骤S111-120的处理同样。在第2实施方式中，由于摄影次数固定为2次，所以省略步骤S104的确定摄影次数的处理。
在针对基准图像数据的阴影校正处理后，CPU2221计算用于合成处理的基准图像数据的合成比率，将计算出的合成比率乘以构成基准图像数据的各像素数据(步骤S307)。这里，对第2实施方式的合成比率的计算进行说明。图11是示出第2实施方式的像高位置和合成比率之间的关系的图。在第2实施方式中，在像圈的内侧，无论像高位置如何，都将基准图像数据的合成比率设定为1(将合成用图像数据的合成比率设定为0)。另一方面，在像圈的外侧，随着像高位置靠近记录图像区域的终端位置，基准图像数据的合成比率从1起减少，合成用图像数据的合成比率从0起增加。而且，当像高位置到达记录图像区域的终端位置时，将基准图像数据的合成比率设定为0，将合成用图像数据的合成比率设定为1。
在针对基准图像的处理后，CPU2221根据阴影特性数据和基准图像的曝光条件，设定合成用图像的曝光条件(步骤S308)。这里，对合成用图像的曝光条件的设定进行说明。如在图12的阴影特性数据中所示，在像圈的外侧，光量的下降极端增大。此外，如果对光量下降较大的像素数据进行利用增益校正实现的阴影校正处理，则S/N恶化。在本实施方式中，在进行基准图像数据和合成用图像数据的合成处理之前，通过使合成用图像的摄影时的快门速度变慢，抑制像圈的外侧的光量的下降。通过这种处理，在本实施方式中，抑制像圈的外侧的S/N的恶化。在将步骤S304中计算出的基准图像的摄影时的快门速度设为a时，例如以下的(式1)所示，给出合成用图像的摄影时的快门速度b。
b＝a×α/β(式1)
在设定合成用图像的曝光条件后，CPU2221按照在步骤S308中设定出的曝光条件，执行合成用图像的摄影(步骤S309)。在摄影执行后，CPU2221计算针对合成用图像的阴影校正系数(步骤S310)。例如以下的(式2)所示，给出针对合成用图像的阴影校正系数S1(z)。
S1(z)＝S0(z)×a/b(式2)
在计算出阴影校正系数后，图像处理部2225的阴影校正部2225a对作为摄影结果而存储在RAM210中的合成用图像数据进行阴影校正处理(步骤S310)。由于阴影校正处理后的处理与图4同样，所以省略说明。
如以上所说明，根据本实施方式，通过加快快门速度，将比基准图像数据亮的合成用图像数据与基准图像数据合成，由此能够以较少的合成张数、即较少的摄影次数，与第1实施方式同样地缩小像圈的内侧和外侧之间的S/N的差异。
【第3实施方式】
接着，说明本发明的第3实施方式。图13是示出本发明的第3实施方式的数据处理的流程的功能框图。这里，对在图13中具有与图3对应的功能的模块标记与图3同样的参照标号。此外，在图13的说明中对与图3相同的部分省略说明。在第3实施方式中，进行1次拍摄并将图像数据存储在RAM210中。该图像数据在阴影校正部2225a中进行阴影校正处理。阴影校正处理中的阴影校正系数与第1实施方式同样。在阴影校正部2225a中进行了阴影校正处理后的图像数据被输入到降噪处理部2225c1和降噪处理部2225c2。此外，本发明的第3实施方式的摄影动作相当于在图10的流程图中删除了与合成用图像的摄影和校正相关的部分。也就是说，相当于删除了步骤S307-S312。
在降噪处理部2225c1中，与第1实施方式同样进行使用了例如核化处理的降噪处理。通过降噪处理部2225c1的降噪处理获得的基准图像数据被输入到合成处理部2225b。
另一方面，在降噪处理部2225c2中进行与降噪处理部2225c1不同的降噪处理。通过降噪处理部2225c2的降噪处理获得的周边用图像数据被输入到合成处理部2225b。以下，进一步说明降噪处理部2225c的降噪处理。
图14是示出降噪处理部2225c2的结构的图。如图14所示，降噪处理部2225c2具有类似度计算部302和像素值计算部304。类似度计算部302计算在图像数据中设定的关注像素块和比较像素块之间的类似度，将计算出的类似度作为类似度权重，输入到像素值计算部304中。这里，关注像素块是以在图像数据中依次设定的关注像素为中心的规定范围(例如3×3像素)的块。比较像素块是在包含关注像素块的搜索区域中依次设定的以比较像素为中心的与关注像素块相同范围的块。像素值计算部304针对各个关注像素块，从搜索区域内搜索类似度权重最大的比较像素块，针对各个关注像素块中的关注像素的像素数据和与该关注像素对应的比较像素的像素数据，使用对各个比较像素中设定的比较像素权重进行加权相加，将加权相加结果作为最终的关注像素的像素数据进行输出。
这里，在降噪处理部2225c2的降噪处理中，根据关注像素是位于像圈的内侧还是外侧来改变搜索区域的大小和比较像素权重，实现噪声的降低。图15A示出关注像素位于像圈的内侧情况下的搜索区域和比较像素权重。此外，图15B示出关注像素位于像圈的外侧情况下的搜索区域和比较像素权重。这里，记载于搜索区域内的数字表示比较像素权重。
如图15A所示，在关注像素位于像圈的内侧的情况下，仅在关注像素块的周边部(例如以关注像素为中心的7×7像素)设定搜索区域。此外，如图15A所示，在像圈内，在全部搜索区域内，将比较像素权重设定为1。在该情况下，通过对关注像素和比较像素进行加权相加而获得的最终的关注像素的像素数据是关注像素和比较像素的平均像素数据。
此外，如图15B所示，在关注像素位于像圈的外侧的情况下，以比关注像素位于像圈的内侧的情况大的范围、即还包含像圈的内侧的区域的方式设定搜索区域(例如16×16像素)。并且，如图15B所示，设定为比较像素权重按照像圈的内侧、像圈的边界部、像圈的外侧的顺序增大。因此，在该情况下，在与关注像素对应的比较像素是位于像圈的内侧的像素的情况下，比较像素的权重增大。即，关于最终的关注像素的像素数据，像圈的内侧的成分增大，减低了通过阴影校正处理增加的像圈外侧的像素的噪声。
在降噪处理部2225c1和降噪处理部2225c2的降噪处理后，CPU2221将基准图像数据和周边用图像数据的合成比率输入到合成处理部2225b。合成比率与图11中所示同样是根据像高确定的。另外，在本实施方式中，将图11的合成用图像数据的合成比率作为周边用图像数据的合成比率进行处理。合成处理部2225b接受合成比率的输入，对基准图像数据和周边用图像数据进行合成。合成处理的方法可以与图8中说明的方法同样。但是，成为相当于从图8中删除了步骤S204的取得运动矢量的处理、步骤S205的取得从合成用像素起偏移运动矢量后的像素数据的处理而得到的流程图的处理。
如上所说明的那样，根据本实施方式，通过对进行了阴影校正处理后的图像数据实施不同的两种降噪处理，能够通过1次摄影与第1实施方式同样地缩小像圈的内侧和外侧之间的S/N的差异。
这里，在第3实施方式中，降噪处理部2225c1通过核化处理进行降噪处理。与此相对，降噪处理部2225c1还可以进行与降噪处理部2225c2同样的降噪处理。
【第4实施方式】
接着，说明本发明的第4实施方式。图16是示出本发明的第4实施方式的数据处理的流程的功能框图。这里，对在图16中具有与图3对应的功能的模块标记与图3同样的参照标号。此外，在图16的说明中对与图3相同的部分省略说明。在第4实施方式中，进行1次拍摄并将图像数据存储在RAM210中。该图像数据在阴影校正部2225a中进行阴影校正处理。阴影校正处理中的阴影校正系数与第1实施方式同样。在阴影校正部2225a中进行了阴影校正处理后的图像数据被输入到像素相加部2225d。在像素相加部2225d中，通过像素相加处理实现像圈的外侧的S/N的提高。以下，对像素相加处理进行说明。另外，第4实施方式的摄影动作相当于在图10的流程图中删除了与合成用图像的摄影和校正相关的部分。也就是说，相当于删除了步骤S307-S312。并且，相当于取代步骤S313的合成处理而置换后述的图17的像素相加处理。
图17是示出像素相加处理的流程图。在图17中，像素相加部2225d设定像素相加系数(步骤S401)。这里，对像素相加系数的设定进行说明。像素相加系数是根据阴影特性确定的。阴影特性数据例如是图18A所示的数据。在本实施方式中，与第1实施方式同样，根据α/β的大小，设定像素相加系数。例如，在S/N的恶化较小的1<α/β≦√2时，将关注像素的像素相加系数设定为相对于周围像素的像素相加系数较大。图18B示出以下例子：当1<α/β≦√2时，以使得关注像素的像素相加系数：(周围像素的像素相加系数的合计+关注像素的像素相加系数)为1：4的方式分别设定关注像素及其周围像素的像素相加系数。此外，在S/N的恶化较大的√2<α/β≦2时，将关注像素的像素相加系数设定为与周围像素的像素相加系数相等。图18C示出以下例子：以使得关注像素的像素相加系数：(周围像素的像素相加系数的合计+关注像素的权重系数)为1：9的方式分别设定关注像素及其周围像素的权重系数。这里，图18B和图18C是9个像素相加时的像素相加系数的设定例。进行像素相加的像素数量不限于9个像素。例如，可以为25个像素相加。
在像素相加系数的设定后，像素相加部2225d将参数j初始化为0，该参数j表示关注像素相对于像素数据的像素位置、即作为像素相加处理的对象的像素位置(步骤S402)。参数j例如在为0时表示图像数据的左上的像素位置。而且，每当参数j的值增加，像素位置向右方向和下方向依次偏移。接着，像素相加部2225d判定与参数j对应的像素位置是否是像圈的外侧的位置(步骤S403)。在步骤S403中判定为与参数j对应的像素位置不是像圈的外侧的位置的情况下，像素相加部2225d使处理转移到步骤S407。在步骤S403中判定为与参数j对应的像素位置是像圈的外侧的位置的情况下，像素相加部2225d按照在步骤S401中设定的像素相加系数，对关注像素的周围的像素数据进行加权相加(步骤S404)。另外，在这里的加权相加中，实际上也包含关注像素的像素数据进行加权相加。
然后，像素相加部2225d从CPU2221取得合成比率(步骤S405)。图19是示出第4实施方式的像高位置和合成比率之间的关系的图。在第4实施方式中，在像圈的内侧，无论像高位置如何，都将关注像素的像素数据的合成比率设定为1(将被加权相加后的周围像素的像素数据的合成比率设定为0)。另一方面，在像圈的外侧，随着像高位置靠近记录图像区域的终端位置，关注像素的像素数据的合成比率从1起减少，进行了加权相加后的周围像素的像素数据的合成比率从0起增加。而且，在像高位置到达记录图像区域的终端位置时，将关注像素的像素数据的合成比率设定为0，将进行了加权相加后的周围像素的像素数据的合成比率设定为1。在取得这种合成比率后，像素相加部2225d按照合成比率，对进行了加权相加后的周围像素的像素数据和关注像素的像素数据进行加权相加(步骤S406)。
在步骤S403或者步骤S406后，像素相加部2225d判定针对所有像素的处理是否结束，即参数j是否成为表示记录图像区域的终端的值(步骤S407)。在步骤S407中判定为针对所有像素的处理未结束的情况下，像素相加部2225d使参数j递增(步骤S408)。然后，像素相加部2225d将处理返回到步骤S403。在该情况下，进行针对下一个像素位置的像素数据的处理。在步骤S407中判定为针对所有像素的处理已结束的情况下，像素相加部2225d结束图17的处理。然后，进行与图4的步骤S119、S120同样的处理。
如上所说明，根据本实施方式，在利用像素相加而减少像圈的内侧和外侧的S/N的差异后实施降噪处理，从而能够与第3实施方式同样地通过1次摄影缩小像圈的内侧和外侧之间的S/N的差异。
虽然根据以上实施方式说明了本发明，但本发明不限于上述实施方式，当然可以在本发明宗旨的范围内进行各种变形和应用。例如，在上述实施方式中示出了更换镜头100和摄像装置200分体的例子。与此相对，更换镜头100的各结构可以内置于摄像装置200中。
此外，上述实施方式的各处理还能够存储为CPU2221可执行的程序。除此以外，还能够存储到存储卡(ROM卡、RAM卡等)、磁盘(硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。并且，CPU2221能够通过读入存储在该外部存储装置的存储介质中的程序，并根据该所读入的程序控制动作来执行上述处理。

Claims (26)

1.一种摄像装置，其具有：
光学系统，其焦距可变，且被摄体的光学像的有效成像区域即像圈的大小根据所述焦距的不同而不同；
数据存储部，其存储表示所述焦距的值和所述像圈的大小的值之间的对应关系的数据；
摄像部，其从经由所述光学系统成像于摄像元件上的所述光学像获得图像数据；以及
图像处理部，其根据表示所述对应关系的数据，对所述摄像部获得的图像数据中的与所述像圈的内侧对应的图像数据和与所述像圈的外侧对应的图像数据分别实施不同的图像处理。
2.根据权利要求1所述的摄像装置，其中，
所述图像处理部进行使用单帧图像数据的图像处理作为针对与所述像圈的内侧对应的图像数据的图像处理，进行多帧图像数据的合成处理作为针对与所述像圈的外侧对应的图像数据的图像处理。
3.根据权利要求2所述的摄像装置，其中，
所述图像处理部根据像高变更所述合成处理中的所述多帧图像数据的合成比率。
4.根据权利要求3所述的摄像装置，其中，
所述图像处理部将与所述像圈的外侧对应的多帧图像数据分别按照每个象限分割成多个区域，在按照每个象限进行该分割后的多帧图像数据的位置对准后进行所述合成处理。
5.根据权利要求2所述的摄像装置，其中，
所述摄像部以使得所述像圈的内侧的被摄体的曝光适当的快门速度，通过所述摄像元件取得所述图像数据，并且，以比使得所述像圈的内侧的被摄体的曝光适当的快门速度慢的快门速度，通过所述摄像元件取得所述图像数据，由此取得所述多帧图像数据。
6.根据权利要求2所述的摄像装置，其中，
所述图像处理部在所述图像数据的搜索区域内搜索与所述图像数据中的以关注像素为中心的关注像素块类似度高的比较像素块，实施对所述关注像素和所搜索的所述比较像素块的中心的比较像素进行加权相加的处理作为所述图像处理，根据所述关注像素是所述像圈的内侧的像素的情况和所述关注像素是所述像圈的外侧的像素的情况，变更所述搜索区域的大小和所述加权相加时的加权系数。
7.根据权利要求6所述的摄像装置，其中，
相比于所述关注像素是所述像圈的内侧的像素的情况下的所述搜索区域的大小，所述图像处理部增大所述关注像素是所述像圈的外侧的像素的情况下的所述搜索区域的大小。
8.根据权利要求6所述的摄像装置，其中，
所述图像处理部在所述关注像素是所述像圈的外侧的像素的情况下，按照像圈的内侧、像圈的边界部、像圈的外侧的顺序增大所述比较像素的加权系数。
9.根据权利要求1所述的摄像装置，其中，
所述图像处理部进行使用单帧图像数据的图像处理作为针对与所述像圈的内侧对应的图像数据的图像处理，进行多个像素数据的相加处理作为针对与所述像圈的外侧对应的图像数据的图像处理，根据所述像圈的外侧的S/N的恶化程度设定该相加处理时的像素相加系数。
10.一种摄像系统，其具有更换镜头和摄像装置，
所述更换镜头具有：
光学系统，其焦距可变，且被摄体的光学像的有效成像区域即像圈的大小根据所述焦距的不同而不同；
镜头数据存储部，其存储表示所述焦距的值和所述像圈的大小的值之间的对应关系的数据；以及
镜头接口部，其用于发送表示所述对应关系的数据，
所述摄像装置具有：
摄像部，其从经由所述光学系统成像于摄像元件上的所述光学像获得图像数据；
装置接口部，其用于从所述镜头接口部接收表示所述对应关系的数据；以及
图像处理部，其根据由所述装置接口部接收到的表示所述对应关系的数据，对所述摄像部获得的图像数据中的与所述像圈的内侧对应的图像数据和与所述像圈的外侧对应的图像数据分别实施不同的图像处理。
11.根据权利要求10所述的摄像系统，其中，
所述图像处理部进行使用单帧图像数据的图像处理作为针对与所述像圈的内侧对应的图像数据的图像处理，进行多帧图像数据的合成处理作为针对与所述像圈的外侧对应的图像数据的图像处理。
12.根据权利要求11所述的摄像系统，其中，
所述图像处理部根据像高变更所述合成处理中的所述多帧图像数据的合成比率。
13.根据权利要求12所述的摄像系统，其中，
所述图像处理部将与所述像圈的外侧对应的多帧图像数据分别按照每个象限分割成多个区域，在按照每个象限进行该分割后的多帧图像数据的位置对准后进行所述合成处理。
14.根据权利要求11所述的摄像系统，其中，
所述摄像部以使得所述像圈的内侧的被摄体的曝光适当的快门速度，通过所述摄像元件取得所述图像数据，并且，以比使得所述像圈的内侧的被摄体的曝光适当的快门速度慢的快门速度，通过所述摄像元件取得所述图像数据，由此取得所述多帧图像数据。
15.根据权利要求11所述的摄像系统，其中，
所述图像处理部在所述图像数据的搜索区域内搜索与所述图像数据中的以关注像素为中心的关注像素块类似度高的比较像素块，实施对所述关注像素和所搜索的所述比较像素块的中心的比较像素进行加权相加的处理作为所述图像处理，根据所述关注像素是所述像圈的内侧的像素的情况和所述关注像素是所述像圈的外侧的像素的情况，变更所述搜索区域的大小和所述加权相加时的加权系数。
16.根据权利要求15所述的摄像系统，其中，
相比于所述关注像素是所述像圈的内侧的像素的情况下的所述搜索区域的大小，所述图像处理部增大所述关注像素是所述像圈的外侧的像素的情况下的所述搜索区域的大小。
17.根据权利要求15所述的摄像系统，其中，
所述图像处理部在所述关注像素是所述像圈的外侧的像素的情况下，按照像圈的内侧、像圈的边界部、像圈的外侧的顺序增大所述比较像素的加权系数。
18.根据权利要求10所述的摄像系统，其中，
所述图像处理部进行使用单帧图像数据的图像处理作为针对与所述像圈的内侧对应的图像数据的图像处理，进行多个像素数据的相加处理作为针对与所述像圈的外侧对应的图像数据的图像处理，根据所述像圈的外侧的S/N的恶化程度设定该相加处理时的像素相加系数。
19.一种图像处理方法，其具有以下步骤：
从经由光学系统成像于摄像部上的光学像获得图像数据，其中，该光学系统的焦距可变，且被摄体的所述光学像的有效成像区域即像圈的大小根据所述焦距的不同而不同；以及
根据表示所述焦距的值与所述像圈的大小的值之间的对应关系的数据，对所述摄像部获得的图像数据中的与所述像圈的内侧对应的图像数据和与所述像圈的外侧对应的图像数据分别实施不同的图像处理。
20.根据权利要求19所述的图像处理方法，其中，
针对与所述像圈的内侧对应的图像数据的图像处理具有进行使用单帧图像数据的图像处理的步骤，针对与所述像圈的外侧对应的图像数据的图像处理具有进行多帧图像数据的合成处理的步骤。
21.根据权利要求20所述的图像处理方法，其中，
所述合成处理具有根据像高变更所述多帧图像数据的合成比率的步骤。
22.根据权利要求21所述的图像处理方法，其中，
所述合成处理具有以下步骤：将与所述像圈的外侧对应的多帧图像数据按照每个象限分别分割成多个区域，在按照每个象限进行该分割后的多帧图像数据的位置对准后进行所述合成处理。
23.根据权利要求20所述的图像处理方法，其中，
所述不同的图像处理具有以下步骤：在所述图像数据的搜索区域内搜索与所述图像数据中的以关注像素为中心的关注像素块类似度高的比较像素块；以及对所述关注像素和所搜索的所述比较像素块的中心的比较像素进行加权相加，
所述不同的图像处理还具有以下步骤：根据所述关注像素是所述像圈的内侧的像素的情况和所述关注像素是所述像圈的外侧的像素的情况，变更所述搜索区域的大小和所述加权相加时的加权系数。
24.根据权利要求23所述的图像处理方法，其中，
变更所述加权系数的步骤具有以下步骤：相比于所述关注像素是所述像圈的内侧的像素的情况下的所述搜索区域的大小，增大所述关注像素是所述像圈的外侧的像素的情况下的所述搜索区域的大小。
25.根据权利要求23所述的图像处理方法，其中，
变更所述加权系数的步骤具有以下步骤：在所述关注像素是所述像圈的外侧的像素的情况下，按照像圈的内侧、像圈的边界部、像圈的外侧的顺序增大所述比较像素的加权系数。
26.根据权利要求19所述的图像处理方法，其中，
针对与所述像圈的内侧对应的图像数据的图像处理具有进行使用单帧图像数据的图像处理的步骤，针对与所述像圈的外侧对应的图像数据的图像处理具有以下步骤：进行多个图像数据的相加处理；以及根据所述像圈的外侧的S/N的恶化程度设定该相加处理时的像素相加系数。
CN201480047014.7A 2013-08-27 2014-08-22 摄像装置、摄像系统以及图像处理方法 Expired - Fee Related CN105474623B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-176099 2013-08-27
JP2013176099A JP6274787B2 (ja) 2013-08-27 2013-08-27 撮像装置、撮像システム及び画像処理方法
PCT/JP2014/072017 WO2015029905A1 (ja) 2013-08-27 2014-08-22 撮像装置、撮像システム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN105474623A true CN105474623A (zh) 2016-04-06
CN105474623B CN105474623B (zh) 2019-06-11

Family

ID=52586464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480047014.7A Expired - Fee Related CN105474623B (zh) 2013-08-27 2014-08-22 摄像装置、摄像系统以及图像处理方法

Country Status (5)

Country Link
US (1) US9973715B2 (zh)
EP (1) EP3041220B1 (zh)
JP (1) JP6274787B2 (zh)
CN (1) CN105474623B (zh)
WO (1) WO2015029905A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109769088A (zh) * 2017-11-09 2019-05-17 佳能株式会社 摄像装置和可更换镜头装置及其控制方法和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045828A1 (ja) * 2013-09-27 2015-04-02 富士フイルム株式会社 撮像装置及び撮像方法
JP5840189B2 (ja) * 2013-10-02 2016-01-06 オリンパス株式会社 撮像装置、画像処理装置、および画像処理方法
WO2018079071A1 (ja) * 2016-10-31 2018-05-03 株式会社日立国際電気 撮像装置
JP6819629B2 (ja) * 2018-02-23 2021-01-27 オムロン株式会社 画像センサ
JP7134666B2 (ja) * 2018-03-28 2022-09-12 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7301601B2 (ja) * 2019-05-24 2023-07-03 キヤノン株式会社 画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020135688A1 (en) * 2001-03-26 2002-09-26 Minolta Co., Ltd. Image processing apparatus
JP2003333422A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd シェーディング補正方法およびディジタルカメラ
US20050206966A1 (en) * 2004-03-19 2005-09-22 Fuji Photo Film Co., Ltd. Image signal processing system and electronic imaging device
JP2006303709A (ja) * 2005-04-18 2006-11-02 Canon Inc シェーディング補正装置及び撮像装置
JP2007159037A (ja) * 2005-12-08 2007-06-21 Canon Inc 撮像装置、その制御方法及びプログラム
JP2010239267A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置、周辺減光補正制御方法およびプログラム
US20120070100A1 (en) * 2010-09-21 2012-03-22 Olympus Corporation Image processing apparatus and storage medium
US20130044239A1 (en) * 2011-08-18 2013-02-21 Nikon Corporation Exchangeable lens and camera system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879773A (ja) 1994-08-31 1996-03-22 Sony Corp シェーディング補正装置
JP2006295807A (ja) 2005-04-14 2006-10-26 Canon Inc 撮像装置、画像処理方法、プログラム、及び記憶媒体
JP2007300360A (ja) 2006-04-28 2007-11-15 Sony Corp シェーディング補正回路、シェーディング補正方法およびカメラシステム
JP5293716B2 (ja) * 2010-09-30 2013-09-18 株式会社ニコン 交換レンズ、カメラボディおよびカメラシステム
JP5263354B2 (ja) * 2011-08-18 2013-08-14 株式会社ニコン 交換レンズおよびカメラシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020135688A1 (en) * 2001-03-26 2002-09-26 Minolta Co., Ltd. Image processing apparatus
JP2003333422A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd シェーディング補正方法およびディジタルカメラ
US20050206966A1 (en) * 2004-03-19 2005-09-22 Fuji Photo Film Co., Ltd. Image signal processing system and electronic imaging device
JP2006303709A (ja) * 2005-04-18 2006-11-02 Canon Inc シェーディング補正装置及び撮像装置
JP2007159037A (ja) * 2005-12-08 2007-06-21 Canon Inc 撮像装置、その制御方法及びプログラム
JP2010239267A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置、周辺減光補正制御方法およびプログラム
US20120070100A1 (en) * 2010-09-21 2012-03-22 Olympus Corporation Image processing apparatus and storage medium
US20130044239A1 (en) * 2011-08-18 2013-02-21 Nikon Corporation Exchangeable lens and camera system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109769088A (zh) * 2017-11-09 2019-05-17 佳能株式会社 摄像装置和可更换镜头装置及其控制方法和存储介质
CN109769088B (zh) * 2017-11-09 2021-09-28 佳能株式会社 摄像装置和可更换镜头装置及其控制方法和存储介质
US11336827B2 (en) 2017-11-09 2022-05-17 Canon Kabushiki Kaisha Imaging apparatus and interchangeable lens apparatus that utilize image circle information of an imaging optical system in the interchangeable lens apparatus
US11516393B2 (en) 2017-11-09 2022-11-29 Canon Kabushiki Kaisha Imaging apparatus to which an interchangeable lens apparatus is attached that utilize image circle information of an imaging optical system in the interchangeable lens apparatus

Also Published As

Publication number Publication date
JP6274787B2 (ja) 2018-02-07
EP3041220A1 (en) 2016-07-06
US9973715B2 (en) 2018-05-15
US20160173792A1 (en) 2016-06-16
JP2015046722A (ja) 2015-03-12
WO2015029905A1 (ja) 2015-03-05
EP3041220B1 (en) 2018-10-10
EP3041220A4 (en) 2017-04-05
CN105474623B (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN105474623A (zh) 摄像装置、摄像系统以及图像处理方法
US8890972B2 (en) Image capturing apparatus and image processing method
KR101879161B1 (ko) 결함있는 이미지 센서 요소들의 교정
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
US9532041B2 (en) Method and system for automatic focus with self-calibration
WO2019105206A1 (en) Method and device for image processing
US20060147200A1 (en) Digital single-lens reflex camera
US20140071318A1 (en) Imaging apparatus
JP5967902B2 (ja) 撮像装置及び絞り制御方法
CN105407265A (zh) 可互换透镜装置、图像捕获装置和控制方法
CN103731604A (zh) 追踪装置及追踪方法
US9172887B2 (en) Imaging apparatus, control method of imaging apparatus, interchangeable lens and lens-interchangeable type imaging apparatus body
US9848115B2 (en) Image capturing apparatus capable of adjusting optical characteristics of lens unit attachable thereto
CN102055909B (zh) 图像拍摄装置以及图像拍摄方法
KR102550175B1 (ko) 카메라 모듈 및 이를 포함하는 전자 기기
JP2000324505A (ja) 画像取り込み装置および交換レンズ
JP2012037574A (ja) 電子撮像装置
JP2008301047A (ja) 撮像装置
CN105144697A (zh) 摄像装置、照相机系统以及图像处理方法
JP5173664B2 (ja) 画像処理装置及び画像処理方法
US8218040B2 (en) Image processing apparatus, image processing method and computer-readable storage medium
CN100546345C (zh) 摄像机模组以及具有其的电子设备
CN105191284A (zh) 摄像装置及其控制方法
JP5121498B2 (ja) 撮像装置及び画像データの補正方法
JP6590585B2 (ja) 撮像装置及び露出制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211214

Address after: Tokyo, Japan

Patentee after: Aozhixin Digital Technology Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OLYMPUS Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190611