CN105144697B - 摄像装置、照相机系统以及图像处理方法 - Google Patents

摄像装置、照相机系统以及图像处理方法 Download PDF

Info

Publication number
CN105144697B
CN105144697B CN201480023906.3A CN201480023906A CN105144697B CN 105144697 B CN105144697 B CN 105144697B CN 201480023906 A CN201480023906 A CN 201480023906A CN 105144697 B CN105144697 B CN 105144697B
Authority
CN
China
Prior art keywords
reliability
optical
function
primitive definition
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480023906.3A
Other languages
English (en)
Other versions
CN105144697A (zh
Inventor
冈泽淳郎
松永拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105144697A publication Critical patent/CN105144697A/zh
Application granted granted Critical
Publication of CN105144697B publication Critical patent/CN105144697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

图像处理装置(217)具有校正函数确定部(2172)。校正函数确定部(2172)具有：光学信息取得部(2172a)，其取得用于在摄像元件上形成像的摄影镜头的光学信息；光学函数计算部(2172b)，其根据光学信息，计算用于确定校正函数的光学函数；像素函数计算部(2172c)，其根据位于焦点检测像素的周边的像素的像素输出，计算用于确定校正函数的像素函数；以及校正函数选择部(2172d)，其根据光学函数、像素函数和光学信息，选择用于校正在本帧中从焦点检测像素输出的像素输出的校正函数。

Description

摄像装置、照相机系统以及图像处理方法
技术领域
本发明涉及处理将部分像素用作相位差方式的焦点检测元件来检测焦点状态的摄像元件的像素输出的摄像装置、照相机系统以及图像处理方法。
背景技术
例如在日本特许第3592147号公报中提出了与利用摄像元件的一部分像素作为焦点检测用元件来检测焦点状态的摄像装置有关的技术。日本特许第3592147号公报的摄像装置将摄像元件的一部分像素设定为焦点检测像素，使穿过关于摄影镜头的光轴中心对称的不同瞳区域后的被摄体光束在多个焦点检测像素中成像，通过检测该被摄体光束之间的相位差，检测摄影镜头的焦点状态。
焦点检测像素的一部分区域被遮光。因此，焦点检测像素的像素输出成为相比通常的像素被减光的像素输出。该焦点检测像素中的减光量根据与焦点检测像素相关的光学特性发生变化是众所周知的。因此，日本特许第4770560号公报提出了根据光学特性校正焦点检测像素的像素输出的技术。
发明内容
日本特许第4770560号公报中的校正通过根据焦点检测像素的输出值和光圈值来推测校正后的像素的输出值来进行。在动态图像记录中或实时取景显示等中，可能无法实时取得光圈值。在无法取得光圈值的情况下，在日本特许第4770560号公报的方法中，可能无法进行正确的校正。此外，在动态图像记录中或实时取景显示等中，可能还无法实时取得焦距或对焦镜头位置等光学信息，同样有时无法正确地进行校正。
本发明是鉴于上述情况而作出的，其目的是提供一种在对来自具有焦点检测像素的摄像元件的像素输出进行处理的摄像装置中，即使在无法实时取得光圈值、对焦镜头位置或焦距等光学信息的状况下也能够抑制焦点检测像素的画质的下降的摄像装置、照相机系统以及图像处理方法。
为了达成上述目的，本发明的第1方式的摄像装置在摄像装置中具有：摄像部，其利用摄像元件进行拍摄并输出图像数据，所述摄像元件在摄像像素的一部分的位置处配置有用于进行焦点检测的焦点检测像素；图像处理部，其利用校正函数来校正所述图像数据中的从所述焦点检测像素输出的像素输出；以及控制部，其使所述摄像部反复执行拍摄动作，取得与多个帧对应的图像数据，所述图像处理部具有：光学信息取得部，其取得用于在所述摄像元件上形成像的摄影光学系统的光学信息；光学函数计算部，其根据所述光学信息，计算用于确定所述校正函数的光学函数；像素函数计算部，其根据位于所述焦点检测像素的周边的像素的像素输出，计算用于确定所述校正函数的像素函数；以及校正函数选择部，其根据所述光学函数、所述像素函数和所述光学信息，选择用于校正与所述多个帧中的各个帧对应的、从所述焦点检测像素输出的像素输出的所述校正函数。
为了达成上述目的，本发明的第2方式的照相机系统具有：照相机主体，其具有摄像元件，该摄像元件在摄像像素的一部分的位置处配置有用于进行焦点检测的焦点检测像素；以及更换镜头，其能够在该照相机主体上拆装，并具有摄影光学系统，其中，所述更换镜头具有：光学信息生成部，其生成与所述摄影光学系统有关的光学信息；以及镜头控制部，其与所述照相机主体进行通信，发送所述光学信息，所述照相机主体具有：摄像部，其利用所述摄像元件进行拍摄并输出图像数据；图像处理部，其利用校正函数来校正所述图像数据中的从所述焦点检测像素输出的像素输出；以及控制部，其与所述镜头控制部进行通信取得所述光学信息，使所述摄像部反复执行拍摄动作取得与多个帧对应的图像数据，所述图像处理部具有：光学函数计算部，其根据所述光学信息，计算用于确定所述校正函数的光学函数；像素函数计算部，其根据位于所述焦点检测像素的周边的像素的像素输出，计算用于确定所述校正函数的像素函数；以及校正函数选择部，其根据所述光学函数、所述像素函数和所述光学信息，选择用于校正与所述多个帧中的各个帧对应的、从所述焦点检测像素输出的像素输出的所述校正函数。
为了达成上述目的，本发明的第3方式的图像处理方法，对通过摄像元件拍摄的图像数据中的从焦点检测像素输出的像素输出进行校正，所述摄像元件在摄像像素的一部分的位置处配置有用于进行焦点检测的所述焦点检测像素，在所述图像处理方法中，具有以下步骤：使所述摄像元件反复执行拍摄动作，取得与多个帧对应的图像数据；取得用于在所述摄像元件上形成像的摄影光学系统的光学信息；根据所述光学信息，计算用于确定校正函数的光学函数；根据位于所述焦点检测像素的周边的像素的像素输出，计算用于确定所述校正函数的像素函数；以及根据所述光学函数、所述像素函数和所述光学信息，选择用于校正与多个帧中的各个帧对应的、从所述焦点检测像素输出的像素输出的所述校正函数。
附图说明
图1是示出本发明的一个实施方式的摄像装置的一例的数码照相机的结构的框图。
图2是示出了摄像元件的像素排列例的图。
图3是示出图像处理部的详细结构的图。
图4是示出校正函数确定部的结构的图。
图5是示出摄像装置进行的实时取景动作的处理的流程图。
图6是示出光学函数例的图。
图7A是用于说明像素函数的计算方法例的第1图。
图7B是用于说明像素函数的计算方法例的第2图。
图8是光学信息的变化率和光学函数可靠度的关系的一例。
图9是示出校正函数确定处理的流程图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
图1是示出作为本发明一个实施方式的拍摄装置的一例的数字照相机(以下简称作照相机)的结构的框图。这里，在图1中，带箭头的实线表示数据流，带箭头的虚线表示控制信号流。此外，对于图1的照相机，例示了镜头更换式的照相机。但是，本实施方式的照相机并非必须是镜头更换式的照相机。
图1所示的照相机1具有更换式镜头100和照相机主体200。更换式镜头100构成为可在照相机主体200上自由拆装。更换式镜头100通过被安装到照相机主体200，依照照相机主体200的控制进行动作。
更换式镜头100具有摄影镜头101、光圈103、驱动部105、CPU(Central ProcessingUnit：中央处理器)107、ROM109、接口(I/F)111。
摄影镜头101是用于将来自被摄体300的像形成于摄像元件207的摄影光学系统。摄影镜头101可以具有用于调节对焦位置的对焦镜头，并且也可以构成为变焦镜头。光圈103配置于摄影镜头101的光轴上，构成为其口径可变。光圈103对通过了摄影镜头101的来自被摄体300的光束量进行限制。驱动部105根据来自CPU107的控制信号进行摄影镜头101的驱动和光圈103的驱动。
CPU107依据照相机主体200的CPU215的控制进行驱动部105的控制等。ROM109存储了摄影镜头101的光学信息。CPU107根据需要从ROM109读出摄影镜头101的光学信息，并将所读出的光学信息经由接口111传输到照相机主体200的CPU215。ROM109所存储的摄影镜头101的光学信息例如是摄影镜头101的畸变像差信息。光学信息除畸变像差信息以外，还包含摄影镜头101的焦距、对焦镜头的位置和光圈103的开口量(光圈值)等。这些摄影镜头101的焦距的信息、对焦镜头的位置和光圈值能够在拍摄时等时机依次获得。
照相机主体200具有机械快门201、驱动部203、操作部205、摄像元件207、摄像控制电路209、模拟处理部211、模拟数字(AD)转换部213、CPU215、图像处理部217、焦点检测电路219、图像压缩解压缩部221、显示部223、总线225、DRAM(Dynamic Random Access Memory：动态随机存取存储器)227、ROM(Read Only Memory：只读存储器)229和记录介质231。
机械快门201构成为可自由开闭。机械快门201对来自被摄体300的被摄体光束向摄像元件207的入射时间(摄像元件207的曝光时间)进行调节。作为机械快门201，可采用公知的焦面快门、镜头快门等。驱动部203根据来自CPU215的控制信号，进行机械快门201的开闭控制。
操作部205包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮那样的各种操作按钮和触摸面板等各种操作部件。该操作部205检测各种操作部件的操作状态，并将表示检测结果的信号输出到CPU215。能够通过本实施方式的操作部205，选择照相机1的拍摄模式。即，用户能够通过对操作部205进行操作，选择静态图像拍摄模式和动态图像拍摄模式中的任意拍摄模式作为照相机1的拍摄模式。静态图像拍摄模式是用于拍摄静态图像的拍摄模式，动态图像拍摄模式是用于拍摄动态图像的拍摄模式。
摄像元件207配置于如下的位置：该位置在摄影镜头101的光轴上，并且处于机械快门201的后方、且通过摄影镜头101将被摄体光束成像的位置处。摄像元件207通过将构成像素的光电二极管二维配置来构成。本实施方式中的摄像元件207具有用于取得记录和显示用的图像的摄像像素和用于进行焦点检测的焦点检测像素。
构成摄像元件207的光电二极管生成与受光量对应的电荷。由光电二极管产生的电荷被蓄积到与各光电二极管连接的电容器中。读出蓄积在该电容器中的电荷作为图像信号。本实施方式中的摄像元件207具有多个不同的电荷读出方式。依照来自摄像控制电路209的控制信号读出蓄积在摄像元件207中的电荷。
在构成像素的光电二极管的前面配置有例如拜尔排列的滤色器。拜尔排列具有在水平方向上交替配置了R像素和G(Gr)像素的行、以及交替配置了G(Gb)像素和B像素的行。
摄像控制电路209依照来自CPU215的控制信号设定摄像元件207的读出方式，并依照所设定的读出方式控制来自摄像元件207的图像信号的读出。来自摄像元件207的像素输出(像素数据)的读出方式根据照相机1的动作状态进行设定。例如，在来自摄像元件207的像素数据的读出要求实时性的情况(例如实时取景显示时和动态图像记录时)下，为了能够高速进行像素数据的读出，混合读出来自多个同色像素的像素数据，或者间疏读出特定像素的像素数据。另一方面，在相比实时性更要求画质的情况(例如静态图像的记录时)下，不进行混合读出或间疏读出而读出全部像素的像素数据，由此维持分辨率。
模拟处理部211对依照摄像控制电路209的控制从摄像元件207读出的图像信号实施模拟处理。该模拟处理包含相关双采样处理和增益调整处理等。
与摄像元件207、摄像控制电路209、模拟处理部211一起作为摄像部发挥功能的AD转换部213是模拟-数字转换器，将由模拟处理部211进行模拟处理后的图像信号转换为数字形式的图像信号(像素数据)。以下，在本说明书中，将多个像素数据的集合记作摄像数据。
CPU215依照ROM229所存储的程序进行照相机1的整体控制。此外，CPU 215经由接口111与更换式镜头100的CPU 107以可自由通信的方式连接，向CPU 107输入控制信号来进行更换式镜头100的控制。
图像处理部217对摄像数据实施各种图像处理来生成图像数据。例如图像处理部217在静态图像的记录时，实施静态图像记录用的图像处理来生成静态图像数据。同样，图像处理部217在动态图像的记录时，实施动态图像记录用的图像处理来生成动态图像数据。并且，图像处理部217在实时取景显示时，实施显示用的图像处理来生成显示用图像数据。之后将详细说明这样的图像处理部217的结构。
焦点检测电路219取得来自焦点检测像素的像素数据，并根据所取得的像素数据，使用公知的相位差方式计算相对于摄影镜头101的对焦位置的散焦方向和散焦量。
图像压缩解压缩部221在图像数据的记录时，压缩由图像处理部217进行图像处理后的图像数据(静态图像数据或动态图像数据)。此外，图像压缩解压缩部221在图像数据的再现时，对压缩后的图像数据进行解压缩。
显示部223是例如液晶显示器或有机EL显示器那样的显示部，且配置于例如照相机1的背面。该显示部223依照显示用图像数据来显示图像。显示部223在实时取景显示或已记录图像的显示等时被使用。
总线225与AD转换部213、CPU215、图像处理部217、焦点检测电路219、DRAM227、ROM229以及记录介质231连接，作为用于传送在这些模块中产生的各种数据的传送路径发挥功能。
DRAM227是可电改写的存储器，临时存储上述摄像数据(像素数据)、记录用图像数据、显示用图像数据、CPU215中的处理数据那样的各种数据。可以采用SDRAM(SynchronousDynamic Random Access Memory：同步动态随机存取存储器)来用于临时存储。ROM229是掩模ROM或闪存等非易失性存储器。ROM229存储了在CPU215中使用的程序、照相机1的调整值等各种数据。这里，本实施方式的ROM229还存储规定的光学信息种的光学函数(详细内容将后述)。记录介质231构成为被内置或装入到照相机1，将记录用图像数据记录为规定形式的图像文件。
使用图2对摄像元件207的结构进行说明。图2是示出了摄像元件207的像素排列例的图。此外，在图2的右侧放大示出了部分像素。图2是拜尔排列的例子，但滤色器的排列不限于拜尔排列，可应用各种排列。
如上所述，拜尔排列的摄像元件207在水平方向上具有交替配置了R像素和G(Gr)像素的像素行、以及交替配置了G(Gb)像素和B像素的像素行。换言之，在水平和垂直方向上反复配置了在右侧的放大图中示出的Gr像素、R像素、Gb像素、B像素这4像素的组。
在本实施方式中，在部分的摄像像素207a的位置处配置焦点检测像素207b。焦点检测像素是利用遮光膜对例如左右中的任意一个区域进行遮光后的像素。在图2的例子中，配置成将左半面遮光后的焦点检测像素(以下称作右开口焦点检测像素)的行、和将右半面遮光后的焦点检测像素(以下称作左开口焦点检测像素)的行沿着垂直方向接近。
在高像素数的摄像元件的情况下，各个像素的面积变小，因此能够认为在接近配置的像素中形成大致相同的像。因此，通过如图2所示那样配置焦点检测像素，能够在图2的A行的焦点检测像素和B行的焦点检测像素这一对像素中检测相位差。此外，还能够在C行的焦点检测像素和D行的焦点检测像素这一对像素中检测相位差。
这里，在图2的例子中，将焦点检测像素中的要遮光的区域设为了左右任意一个区域。该情况下，能够检测水平相位差。与此相对，还能够通过将要遮光的区域设为上下任意一个区域、或倾斜方向的区域，来检测垂直相位差或倾斜方向的相位差。此外，只要具有一定程度的面积即可，遮光面积也可以不是像素区域的1/2。并且，在图2中将焦点检测像素配置于G像素，但也可以配置于G像素以外的R像素、B像素中的任意像素。此外，图2的例子示出了通过对焦点检测像素的部分区域进行遮光来进行光瞳分割的例子，但焦点检测像素只要能够选择性接收通过了摄影镜头101的不同光瞳区域后的成对的被摄体光束中的一方即可。因此，可以不采用对部分区域进行遮光的结构，而通过例如光瞳分割用的微距镜头进行光瞳分割。并且，图2示出了沿水平方向以4像素周期配置焦点检测像素的例子。配置焦点检测像素的周期不限于特定的周期。
焦点检测像素的部分区域被遮光，因此产生光量的降低。该光量的降低除了根据形成于焦点检测像素的遮光膜的面积而不同以外，还根据遮光膜的位置、入射到焦点检测像素的光的角度和像高而不同。这样的光量降低在图像处理部217中被校正。
图3是示出图像处理部217的详细结构的图。在图3中，对除图像处理部217以外的模块省略了图示。图像处理部217具有白平衡(WB)校正处理部2171、校正函数确定部2172、像素校正部2173、同时化处理部2174、颜色再现处理部2175、亮度特性转换部2176、边缘强调处理部2177、降噪(NR)处理部2178和畸变校正部2179。
WB校正处理部2171通过以规定的增益量来放大摄像数据的各颜色成分，进行校正图像的颜色平衡的白平衡校正处理。
校正函数确定部2172确定校正函数，该校正函数用于计算校正值，该校正值用于在像素校正部2173中校正焦点检测像素的像素输出。像素校正部2173依照由校正函数确定部2172确定出的校正函数计算校正值，并按照所计算出的校正值来校正焦点检测像素的像素输出。之后将说明校正函数确定部2172和像素校正部2173的详细情况。
同时化处理部2174将例如与拜尔排列对应地经由摄像元件207输出的摄像数据等、1个像素与1个颜色成分对应的摄像数据转换为1个像素与多个颜色成分对应的图像数据。颜色再现处理部2175进行用于使得图像数据的颜色再现恰当的各种处理。作为该处理，例如有色彩矩阵运算处理。色彩矩阵运算处理是对图像数据乘以与例如白平衡模式对应的色彩矩阵系数的处理。另外，颜色再现处理部2175进行饱和度/色调的校正。亮度特性转换部2176以适合于显示和记录的方式对图像数据的亮度特性(伽马特性)进行转换。边缘强调处理部2177对使用带通滤波器等从图像数据中提取出的边缘信号乘以边缘强调系数，并将该结果与原来的图像数据相加，由此强调图像数据中的边缘(轮廓)成分。NR处理部2178使用核化处理等去除图像数据中的噪声成分。畸变校正部2179校正图像数据中的畸变像差。例如，畸变校正部2179通过依照用于校正畸变像差的规定的函数进行畸变校正前的图像数据的坐标转换，对图像数据中的畸变像差进行校正。
图4是示出校正函数确定部2172的结构的图。校正函数确定部2172具有：光学信息取得部2172a、光学函数计算部2172b、像素函数计算部2172c和校正函数选择部2172d。
光学信息取得部2172a取得摄影镜头101的光学信息。光学函数计算部2172b根据由光学信息取得部2172a取得的光学信息，计算光学函数。光学函数例如为如下函数：该函数将拍摄均匀亮度面时的焦点检测像素的坐标(例如水平坐标)和以摄像像素的像素输出为基准的焦点检测像素的像素输出对应起来，将该函数预先存储在例如ROM229中。这样的光学函数表示焦点检测像素的光量下降量。光学函数根据如使入射到焦点检测像素的入射光的入射角度变化这样的光学信息的变化(例如，焦距的变化、焦点位置的变化、光圈的变化)而进行变动。所以，按照光学信息的每个种类，在ROM229中存储与光学信息的变化对应的多个光学函数。光学函数计算部2172b取得与由光学信息取得部2172a取得的光学信息对应的光学函数。另外，可以根据ROM229中存储的光学函数，通过插值来计算与期望的光学信息对应的光学函数。
像素函数计算部2172c计算像素函数。像素函数为将焦点检测像素的坐标和以摄像像素的像素输出为基准的焦点检测像素的像素输出对应起来的函数，且根据实时取景显示时或动态图像拍摄时的摄像数据来计算。这里，实时取景显示时或动态图像拍摄时的摄像数据并非一定是拍摄均匀亮度面而获得的摄像数据，所以摄像像素的像素输出和焦点检测像素的像素输出都可能受到被摄体像(图案)的变化的影响而发生变动。为了消除该图案变化的影响，根据各焦点检测像素的周边的摄像像素的像素输出来计算焦点检测像素的周边的图案变化的影响程度，并考虑该计算出的图案变化的影响，计算像素函数。之后将说明详细内容。
校正函数选择部2172d从光学函数和校正函数中选择校正函数，该校正函数用于计算校正值，该校正值用于在像素校正部2173中校正焦点检测像素的像素输出。选择光学函数和像素函数的哪一个作为校正函数根据由光学函数计算部2172b计算出的光学函数的可靠度(光学函数可靠度)和由像素函数计算部2172c计算出的像素函数的可靠度(像素函数可靠度)来确定。之后将说明详细内容。
以下说明本实施方式的摄像装置的动作。图5是示出摄像装置进行的实时取景动作的处理的流程图。根据存储在ROM229中的程序，通过CPU215执行图5所示的流程图的处理。此外，图5所示的处理也能够适用于动态图像拍摄动作。
在开始图5的流程图的处理后，CPU215判定是否结束实时取景或断开照相机1的电源(步骤S101)。例如，在通过释放按钮的操作指示了静态图像拍摄的执行的情况、通过动态图像按钮的操作指示了动态图像拍摄的执行的情况、通过再现按钮的操作指示了图像的再现的情况、通过菜单按钮的操作指示了菜单的显示的情况下，判定为结束实时取景。此外，例如，在通过电源按钮的操作指示了照相机1的电源的断开的情况下，判定为断开电源。在步骤S101中判定为结束实时取景的情况下或判定为断开电源的情况下，CPU215结束图5的处理。
在步骤S101中判定为不结束实时取景的情况且不关闭照相机1的电源的情况下，CPU215使摄像元件207执行用于实时取景的拍摄(曝光)(步骤102)。依照预先设定的读出方式，从摄像元件207读出通过摄像得到的图像信号。将该所读出的图像信号在由模拟处理部211进行模拟处理、并在AD转换部213中被数字化后，作为摄像数据临时存储到DRAM227中。
在用于实时取景的拍摄后，CPU215使图像处理部217执行图像处理。此时，图像处理部217的WB校正处理部2171从DRAM227中读出摄像数据并实施白平衡校正处理(步骤S103)。接着，校正函数确定部2172的光学信息取得部2172a取得当前的光学信息(步骤S104)。如上所述，光学信息为摄影镜头101的焦距、对焦镜头的位置、光圈值、畸变像差信息等。在取得了光学信息后，光学函数计算部2172b计算光学函数(步骤S105)。以下，对光学函数的计算方法例进行说明。
图6是示出光学函数例的图。光学函数中存在右开口焦点检测像素的光学函数和左开口焦点检测像素的光学函数。图6是右开口焦点检测像素的光学函数例。此外，图6的光学函数为用2次函数对水平坐标x和焦点检测像素的像素输出的关系进行了近似的例子。光学函数可以用1次函数来近似，也可以用3次函数以上的高次函数来近似。并且，图6示出关于某个光学信息(例如焦距)，使ROM229中存储与光学信息1、光学信息2、光学信息3这3个值对应的光学函数的例子。光学函数计算部2172b从图6的3个光学函数中选择与由光学信息取得部2172a取得的光学信息对应的光学函数。ROM229中存储的光学函数的数量可在ROM229的容量的许可范围内适当确定。此外，存储光学函数的存储器并非必须是照相机侧的ROM，也可以存储到更换式镜头100内部的ROM109中。而且，可以通过与更换式镜头100的通信，取得光学函数。
在光学函数的计算后或与光学函数的计算并列，像素函数计算部2172c计算像素函数(步骤S106)。以下，参照图7说明像素函数的计算方法例。
通常，焦点检测像素配置于作为需要焦点检测的区域的、图7A中施加了阴影的区域(以下称作岛区域)。这里，在说明像素函数的计算方法时，设为在岛区域中的Gr像素的位置处各配置n个右开口焦点检测像素和左开口焦点检测像素。此外，如图7A所示，将摄像元件207的水平方向定义为x轴，并且将焦点检测像素(岛区域)的水平方向的开始x坐标定义为start_x。
在计算像素函数时，像素函数计算部2172c计算与焦点检测像素相邻的两个摄像像素B的像素输出之比Dif_B。例如，在图7B所示的右开口焦点检测像素Gr2的情况下，计算由箭头1示出的、摄像像素B2的像素输出B2与摄像像素B3的像素输出B3之比。因此，Dif_B由以下的(式1)给出。
Dif_B＝B2/B3 (式1)
然后，像素函数计算部2172c计算与焦点检测像素同色且附近的两个摄像像素Gb的像素输出之比Dif_G。例如，在右开口焦点检测像素Gr2的情况下，计算由箭头2示出的、摄像像素Gb2的像素输出Gb2与摄像像素Gb3的像素输出Gb3之比。因此，Dif_G由以下的(式2)给出。
Dif_G＝Gb2/Gb3 (式2)
进而，像素函数计算部2172c计算焦点检测像素的像素输出与如下的摄像像素Gr的像素输出之比，该摄像像素Gr是与焦点检测像素同色且与相位差的检测方向垂直的方向上的附近的摄像像素。例如，在右开口焦点检测像素Gr2的情况下，计算由箭头3示出的、右开口焦点检测像素Gr2的像素输出Gr2与摄像像素Gr1的像素输出Gr1之比。此外，在左开口焦点检测像素Gr3的情况下，计算由箭头4示出的、左开口焦点检测像素Gr3的像素输出Gr3与摄像像素Gr1的像素输出Gr1之比。这里，图7B的例子中的摄像像素Gr1是岛外的像素。如果并非岛内的全部Gr像素都为焦点检测像素，则也可以计算与岛内的摄像像素Gr的像素输出之比。然后，像素函数计算部2172c计算与焦点检测像素同色且与相位差的检测方向垂直的方向上的附近的摄像像素Gr的像素输出与该摄像像素Gr附近的两个摄像像素Gb的像素输出之差的比。例如，在右开口焦点检测像素Gr2的情况下，计算由箭头5示出的、摄像像素Gr1的像素输出与摄像像素Gb1及摄像像素Gb2的像素输出之差的比。进而，像素函数计算部2172c计算考虑到图案变化的焦点检测像素与其附近的摄像像素的像素输出之比Dif_pRi。Dif_pRi由以下的(式3)给出。
Dif_pRi＝(Gr2/Gr1)－(Gb1－Gb2)/Gr1 (式3)
(式3)的第1项表示相位检测像素与其附近的摄像像素的像素输出之比，第2项表示图案变化的影响程度。
像素函数计算部2172c使用Dif_B和Dif_G计算权重系数W。权重系数W是Dif_B和Dif_G各自越接近1则越接近1的系数，是例如以下的(式4)所示地使用高斯函数计算的。权重系数W不一定非要使用高斯函数进行计算。
【数学式1】
这里，(式4)的σ是标准偏差且例如在设计时任意设定。例如在设为了σ＝0.1的情况下，成为将0.1作为了标准偏差的高斯函数。
在计算出关于各焦点检测像素的Dif_pRi和权重系数W后，像素函数计算部2172c使用权重系数W和各焦点检测像素的Dif_pRi计算像素函数。这里，作为例子，用1次函数y＝ax+b的形式表示像素函数。这里，x是水平坐标，y是以摄像像素的像素输出为基准的焦点检测像素的像素输出(即光量下降量)。此外，表示像素函数的1次函数的斜率a和截距b例如通过最小二乘法，如以下的(式5)所示那样被给出。
【数学式2】
(式5）
这里，(式5)的a、b的括号内的值即0表示通过这些式子表示的斜率和截距是与右开口焦点检测像素相关的斜率和截距。对于左开口焦点检测像素，将(式5)的a、b的括号内的值设为1，并且将(式5)中示出的各值置换为与左开口焦点检测像素相关的值。即，将(式3)的第一项置换为与左开口焦点检测像素对应的比即Gr3/Gr1。
这里，返回到图5的说明。在计算出光学函数和像素函数后，校正函数选择部2172d分别计算所计算出的光学函数可靠度和像素函数可靠度(步骤S107)。以下，说明光学函数可靠度和像素函数可靠度的计算方法例。
光学函数可靠度根据光学信息的变化率来计算。光学信息的变化率是指每单位时间(例如1帧)的光学信息的变化量。图8是光学信息的变化率和光学函数可靠度的关系的一例。图8所示的光学函数可靠度在0到1的范围内变化，且光学信息的变化率越大则光学函数可靠度越低。在例如在短时间内焦距发生大幅变化的情况(进行了高速的变焦的情况)和光圈值发生大幅变化的情况下，在进行拍摄的时间点所取得的光学信息有可能为光学信息的变化中途的光学信息等，能否正确地取得光学信息存在疑问。这样的情况下的光学函数可靠度降低。此外，光学函数可靠度可以通过如下的方法确定。例如，参照与本帧以前的帧(过去帧)对应的已存储的光学信息，在过去的多个帧中相同的光学信息连续变化的情况下，判断为在本帧中光学系统的状态也正在变化中。例如，在最近的过去的连续3帧中焦距连续变化的情况下，判断为在本帧中也处于变焦驱动中、光学系统的状态正在发生变化，降低光学函数可靠度。上述过去的3帧也可以为5帧或10帧等规定数量的帧。此外，过去的光学信息并非一定是与过去的帧对应的光学信息，也可以为如下所示的光学信息。例如，可以通过与更换式镜头100(CPU107)和照相机主体200(CPU215)的拍摄周期(帧周期)独立的周期性的通信，取得光学信息并存储后使用。
像素函数的可靠度例如为对各焦点检测像素计算出的权重系数W的累计值。如上所述，权重系数W是Dif_B和Dif_G各自越接近1则越接近1的系数。而且，Dif_B和Dif_G分别为焦点检测像素的周边的摄像像素的像素输出的变化。通过以还包含与焦点检测像素的周边的焦点检测像素不同的颜色的方式来观察像素输出的变化，从而能够看出(式3)中的图案变化的影响程度的可靠度。即，在权重系数W的累计值较小的情况下，像素函数可靠度降低。
在计算出光学函数可靠度和像素函数可靠度后，校正函数选择部2172d判定当前的帧是否为自实时取景开始起的第2帧或第2帧以后的帧(步骤S108)。在步骤S108中判定为当前的帧不是自实时取景开始起的第2帧或第2帧以后的帧，即为第1帧的情况下，校正函数选择部2172d跳过步骤S109的处理。在步骤S108中判定为当前的帧为自实时取景开始起的第2帧或第2帧以后的帧的情况下，校正函数选择部2172d取得在过去帧中计算出的各种信息(步骤S109)。这里的各种信息为过去帧的光学函数、像素函数、光学函数可靠度、像素函数可靠度，是存储在例如DRAM227中的信息。此外，过去帧例如是指前一帧。但是，过去帧不限于前一帧。此外，也可以取得过去的多个帧的信息。
接着，校正函数选择部2172d进行校正函数确定处理(步骤S110)。校正函数确定处理为确定在步骤S111的像素校正时使用光学函数和像素函数中的哪一个的处理。以下，参照图9，说明校正函数确定处理。
在图9中，校正函数选择部2172d进行应用帧判定处理(步骤S201)。应用帧判定处理为判定在步骤S109中所取得的过去帧的信息中的、用于本帧的应用帧判定处理的信息的处理。例如，将光学函数可靠度或像素函数可靠度超过预先确定的阈值的帧的信息用于本帧的应用帧判定处理。
在应用帧判定处理后，校正函数选择部2172d判定能否在过去帧或本帧中取得光学信息(步骤S202)。这里，无法取得光学信息的情况为如下情况。例如为如下情况：安装有不具有通信用的电接点(接口111)的类型的更换式镜头的情况，或通信的接口与照相机侧不同而使得无法通信的镜头、此外在更换式镜头的前端部还安装有前置转换器等光学系统，并对其进行检测且当前的光学信息不适当的情况。在步骤S202中判定为能够取得光学信息的情况下，校正函数选择部2172d判断在过去帧或本帧中所获得的光学函数可靠度是否较低，即是否小于阈值(步骤S203)。步骤S203的针对光学函数可靠度的阈值可以与步骤S201中的针对光学函数可靠度的阈值相同，也可以不同。在步骤S203中判定为在过去帧或本帧中所获得的光学函数可靠度之中不存在较低的光学函数可靠度的情况下，校正函数选择部2172d判定在过去帧或本帧中是否得到了像素函数可靠度(步骤S204)。在步骤S204中判定为得到了像素函数可靠度的情况下，校正函数选择部2172d判定在过去帧或本帧中所获得的像素函数可靠度中是否存在较高的像素函数可靠度，即是否存在超过阈值的像素函数可靠度(步骤S205)。步骤S205中的针对像素函数可靠度的阈值可以与步骤S201中的针对像素函数可靠度的阈值相同，也可以不同。此外，在使步骤S205中的针对像素函数可靠度的阈值与步骤S201中的像素函数可靠度的阈值不同的情况下，例如可以根据光学函数可靠度而使它们不同。
在步骤S202中判定为在过去帧或本帧中无法取得光学信息的情况下、在步骤S203中判定为在过去帧或本帧中所获得的光学可靠度中存在较低的光学可靠度的情况或在步骤S205中判定为在像素函数可靠度中存在可靠度较高的像素函数可靠度的情况下，校正函数选择部2172d选择像素函数来作为校正函数(步骤S206)。然后，校正函数选择部2172d结束图9的处理。这里，在存在多个可靠度较高的像素函数的情况下，将距本帧最近的或可靠度最高的像素函数设为校正函数。
在步骤S204中判定为没有获得像素函数可靠度的情况下或在步骤S205中判定为在像素函数可靠度中不存在可靠度较高的像素函数可靠度的情况下，校正函数选择部2172d选择光学函数作为校正函数(步骤S207)。然后，校正函数选择部2172d结束图9的处理。这里，在存在多个可靠度较高的光学函数的情况下，将距本帧最近的或可靠度最高的光学函数设为校正函数。
如上所说明，在本实施方式的校正函数确定处理中，在无法获得光学函数的情况下，或即使获得了光学函数但光学系统的状态正在变化中等情况中的光学函数可靠度较低的情况下，像素函数成为校正函数。此外，即使获得了可靠度较高的光学函数，在获得了可靠度较高的像素函数的情况下，像素函数成为校正函数。而且，在获得了可靠度较高的光学函数而没有获得可靠度较高的像素函数的情况下，光学函数成为校正函数。
这里，在图9的例子中，在光学函数和像素函数双方的可靠度较高的情况下，像素函数成为校正函数。与此相对，在光学函数和像素函数双方的可靠度都较高的情况下，可以将利用可靠度对光学函数和像素函数进行了加权平均而得到的函数设为校正函数。在该情况下，光学函数和像素函数需要为相同次数的函数。
这里，返回到图5的说明。在校正函数确定处理后，像素校正部2173校正焦点检测像素的像素输出(步骤S111)。光学函数和像素函数均为将焦点检测像素的水平坐标和以摄像像素的像素输出为基准的焦点检测像素的像素输出对应起来的函数。即，可以说光学函数和像素函数是表示焦点检测像素的每个水平坐标的光量下降量的函数。因此，通过将各焦点检测像素的像素输出乘以与各焦点检测像素的水平坐标对应的函数的值来进行增益校正，从而校正各焦点检测像素的像素输出中的光量下降。
在像素校正后，图像处理部217执行像素校正处理之后的图像处理(步骤S112)。在图像处理结束后，显示部223根据作为图像处理部217的图像处理的结果而获得的图像数据，显示图像。通过这种显示，实时取景的一连串的动作结束。在实时取景后，CPU215将在本帧中计算出的各种信息例如存储在DRAM227中(步骤S113)。之后，CPU215将处理返回到步骤S101。步骤S113的各种信息为光学函数、像素函数、光学函数可靠度、像素函数可靠度，为在下一帧的步骤S109中取得的信息。这里，在步骤S113的时间点已经在DRAM227中存储了期望的帧数的信息的情况下，删除旧的信息。此外，可靠度较低的光学函数或像素函数也可以不存储在DRAM227中。
如上所说明，在本实施方式中，为了校正焦点检测像素的像素输出，可以选择性地使用根据光学信息而计算的光学函数和根据摄像数据而计算的像素函数。由此，即使在无法实时取得光学信息的状况下，也能够进行像素输出的校正。此外，将光学函数和像素函数中的哪一个设为校正函数是根据与二者的函数对应的可靠度而确定的。由此，能够降低光学函数和像素函数的选择错误的可能性，并提高像素校正的可靠性。
此外，使用过去的多个帧的信息进行光学函数或像素函数的选择，从而能够进一步提高像素校正的可靠性。这里，在本实施方式的例子中，分别单独判定过去帧的像素函数可靠度和光学函数可靠度。与此相对，也可以使用过去帧的平均的像素函数可靠度和光学函数可靠度来进行判定。
此外，上述实施方式的各处理还能够存储为CPU215可执行的程序。除此以外，还能够存储到存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD－ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。并且，CPU215能够通过读入存储在该外部存储装置的存储介质中的程序，并根据该所读入的程序控制动作，来执行上述处理。

Claims (25)

1.一种摄像装置，其具备：
摄像部，其利用摄像元件进行拍摄并输出图像数据，所述摄像元件在摄像像素的一部分的位置处配置有用于进行焦点检测的焦点检测像素；
图像处理部，其利用校正函数来校正所述图像数据中的从所述焦点检测像素输出的像素输出；以及
控制部，其使所述摄像部反复执行拍摄动作，取得与多个帧对应的图像数据，
所述图像处理部具有：
光学信息取得部，其取得用于在所述摄像元件上形成像的摄影光学系统的光学信息；
光学函数计算部，其根据所述光学信息，计算用于确定所述校正函数的光学函数；
像素函数计算部，其根据位于所述焦点检测像素的周边的像素的像素输出，计算用于确定所述校正函数的像素函数；以及
校正函数选择部，其根据所述光学函数、所述像素函数和所述光学信息，选择用于校正与所述多个帧中的各个帧对应的、从所述焦点检测像素输出的像素输出的所述校正函数。
2.根据权利要求1所述的摄像装置，其中，
在判定为所述摄影光学系统正处于光学性变化的中途的情况下，所述校正函数选择部选择所述像素函数作为所述校正函数。
3.根据权利要求1所述的摄像装置，其中，
所述摄影光学系统的焦距可变，所述光学信息包含所述摄影光学系统的焦距。
4.根据权利要求1所述的摄像装置，其中，
所述摄影光学系统具有对焦镜头，所述光学信息包含所述对焦镜头的位置。
5.根据权利要求1所述的摄像装置，其中，
所述摄影光学系统具有光圈，所述光学信息包含所述光圈的开口量。
6.根据权利要求1所述的摄像装置，其中，
所述校正函数选择部计算表示所述像素函数的可靠性的像素函数可靠度和表示所述光学函数的可靠性的光学函数可靠度中的至少一方，根据该计算出的像素函数可靠度和光学函数可靠度中的至少一方，选择所述多个帧中的各个帧对应的所述校正函数。
7.根据权利要求6所述的摄像装置，其中，
校正函数选择部计算与所述多个帧在时间上对应的像素函数可靠度和光学函数可靠度中的至少一方，选择计算出的像素函数可靠度和光学函数可靠度中的比第1阈值高的可靠度，根据所选择的像素函数可靠度和光学函数可靠度中的最新的帧的像素函数可靠度所对应的像素函数或最新的帧的光学函数可靠度所对应的光学函数，选择所述多个帧中的各个帧对应的所述校正函数。
8.根据权利要求6所述的摄像装置，其中，
校正函数选择部计算与多个帧在时间上对应的像素函数可靠度和光学函数可靠度中的至少一方，根据与所计算出的像素函数可靠度和光学函数可靠度中的可靠度最高的一方对应的像素函数或光学函数，选择所述多个帧中的各个帧对应的所述校正函数。
9.根据权利要求6所述的摄像装置，其中，
在与多个帧在时间上对应的所述像素函数可靠度全部比第2阈值低的情况下，所述校正函数选择部选择所述光学函数作为所述校正函数。
10.一种照相机系统，其具有：照相机主体，其具有摄像元件，该摄像元件在摄像像素的一部分的位置处配置有用于进行焦点检测的焦点检测像素；以及更换镜头，其能够在该照相机主体上拆装，并具有摄影光学系统，其中，
所述更换镜头具有：
光学信息生成部，其生成与所述摄影光学系统有关的光学信息；以及
镜头控制部，其与所述照相机主体进行通信，发送所述光学信息，
所述照相机主体具有：
摄像部，其利用所述摄像元件进行拍摄并输出图像数据；
图像处理部，其利用校正函数来校正所述图像数据中的从所述焦点检测像素输出的像素输出；以及
控制部，其与所述镜头控制部进行通信而取得所述光学信息，使所述摄像部反复执行拍摄动作而取得与多个帧对应的图像数据，
所述图像处理部具有：
光学函数计算部，其根据所述光学信息，计算用于确定所述校正函数的光学函数；
像素函数计算部，其根据位于所述焦点检测像素的周边的像素的像素输出，计算用于确定所述校正函数的像素函数；以及
校正函数选择部，其根据所述光学函数、所述像素函数和所述光学信息，选择用于校正与所述多个帧中的各个帧对应的、从所述焦点检测像素输出的像素输出的所述校正函数。
11.根据权利要求10所述的照相机系统，其中，
在判定为所述摄影光学系统正处于光学性变化的中途的情况下，所述校正函数选择部选择所述像素函数作为所述校正函数。
12.根据权利要求10所述的照相机系统，其中，
所述摄影光学系统的焦距可变，所述光学信息包含所述摄影光学系统的焦距。
13.根据权利要求10所述的照相机系统，其中，
所述摄影光学系统具有对焦镜头，所述光学信息包含所述对焦镜头的位置。
14.根据权利要求10所述的照相机系统，其中，
所述摄影光学系统具有光圈，所述光学信息包含所述光圈的开口量。
15.根据权利要求10所述的照相机系统，其中，
所述光学信息生成部生成所述摄影光学系统的畸变像差信息。
16.根据权利要求10所述的照相机系统，其中，
所述校正函数选择部计算表示所述像素函数的可靠性的像素函数可靠度和表示所述光学函数的可靠性的光学函数可靠度中的至少一方，根据该计算出的像素函数可靠度和光学函数可靠度中的至少一方，选择所述多个帧中的各个帧对应的所述校正函数。
17.根据权利要求16所述的照相机系统，其中，
校正函数选择部计算与所述多个帧在时间上对应的像素函数可靠度和光学函数可靠度中的至少一方，选择计算出的像素函数可靠度和光学函数可靠度中的比第1阈值高的可靠度，根据所选择的像素函数可靠度和光学函数可靠度中的最新的帧的像素函数可靠度所对应的像素函数或最新的帧的光学函数可靠度所对应的光学函数，选择所述多个帧中的各个帧对应的所述校正函数。
18.根据权利要求16所述的照相机系统，其中，
校正函数选择部计算与多个帧在时间上对应的像素函数可靠度和光学函数可靠度中的至少一方，根据与所计算出的像素函数可靠度和光学函数可靠度中的可靠度最高的一方对应的像素函数或光学函数，选择所述多个帧中的各个帧对应的所述校正函数。
19.根据权利要求16所述的照相机系统，其中，
在与多个帧在时间上对应的所述像素函数可靠度全部比第2阈值低的情况下，所述校正函数选择部选择所述光学函数作为所述校正函数。
20.一种图像处理方法，对通过摄像元件拍摄的图像数据中的从焦点检测像素输出的像素输出进行校正，所述摄像元件在摄像像素的一部分的位置处配置有用于进行焦点检测的所述焦点检测像素，在所述图像处理方法中，具有以下步骤：
使所述摄像元件反复执行拍摄动作，取得与多个帧对应的图像数据；
取得用于在所述摄像元件上形成像的摄影光学系统的光学信息；
根据所述光学信息，计算用于确定校正函数的光学函数；
根据位于所述焦点检测像素的周边的像素的像素输出，计算用于确定所述校正函数的像素函数；以及
根据所述光学函数、所述像素函数和所述光学信息，选择用于校正与多个帧中的各个帧对应的、从所述焦点检测像素输出的像素输出的所述校正函数。
21.根据权利要求20所述的图像处理方法，其中，
所述图像处理方法还具有以下步骤：在判定为所述摄影光学系统正处于光学性变化的中途的情况下，选择所述像素函数作为所述校正函数。
22.根据权利要求20所述的图像处理方法，其中，
所述图像处理方法还包含以下步骤：计算表示所述像素函数的可靠性的像素函数可靠度和表示所述光学函数的可靠性的光学函数可靠度中的至少一方；
根据该计算出的像素函数可靠度和光学函数可靠度中的至少一方，选择所述多个帧中的各个帧对应的所述校正函数。
23.根据权利要求22所述的图像处理方法，其中，
所述图像处理方法还包含以下步骤：
计算与所述多个帧在时间上对应的像素函数可靠度和光学函数可靠度中的至少一方；
选择计算出的像素函数可靠度和光学函数可靠度中的比第1阈值高的可靠度；
根据所选择的像素函数可靠度和光学函数可靠度中的最新的帧的像素函数可靠度所对应的像素函数或最新的帧的光学函数可靠度所对应的光学函数，选择所述多个帧中的各个帧对应的所述校正函数。
24.根据权利要求22所述的图像处理方法，其中，
所述图像处理方法还包含以下步骤：
计算与所述多个帧在时间上对应的像素函数可靠度和光学函数可靠度中的至少一方；
根据与所计算出的像素函数可靠度和光学函数可靠度中的可靠度最高的一方对应的像素函数或光学函数，选择所述多个帧中的各个帧对应的所述校正函数。
25.根据权利要求22所述的图像处理方法，其中，
所述图像处理方法还包含以下步骤：在与所述多个帧在时间上对应的所述像素函数可靠度全部比第2阈值低的情况下，选择所述光学函数作为所述校正函数。
CN201480023906.3A 2013-07-10 2014-07-04 摄像装置、照相机系统以及图像处理方法 Active CN105144697B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013144621A JP5701942B2 (ja) 2013-07-10 2013-07-10 撮像装置、カメラシステム及び画像処理方法
JP2013-144621 2013-07-10
PCT/JP2014/067988 WO2015005249A1 (ja) 2013-07-10 2014-07-04 撮像装置、カメラシステム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN105144697A CN105144697A (zh) 2015-12-09
CN105144697B true CN105144697B (zh) 2018-08-03

Family

ID=52279932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480023906.3A Active CN105144697B (zh) 2013-07-10 2014-07-04 摄像装置、照相机系统以及图像处理方法

Country Status (5)

Country Link
US (1) US9477140B2 (zh)
EP (1) EP3021570B1 (zh)
JP (1) JP5701942B2 (zh)
CN (1) CN105144697B (zh)
WO (1) WO2015005249A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6017641B1 (ja) * 2015-07-13 2016-11-02 オリンパス株式会社 撮像装置，信号処理方法，信号処理プログラム
JP2017028583A (ja) * 2015-07-24 2017-02-02 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN108431958B (zh) 2015-12-25 2023-03-31 株式会社尼康 拍摄元件以及拍摄装置
JP2019106634A (ja) * 2017-12-13 2019-06-27 オリンパス株式会社 撮像素子及び撮像装置
CN115225822B (zh) * 2022-09-20 2023-03-31 荣耀终端有限公司 一种数据处理方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015218A (zh) * 2004-07-08 2007-08-08 图像公司 使用多个投影显示器显示高分辨率图像的设备及方法
JP2011197080A (ja) * 2010-03-17 2011-10-06 Olympus Corp 撮像装置及びカメラ
JP2012042857A (ja) * 2010-08-23 2012-03-01 Olympus Corp 撮像装置
JP2012114798A (ja) * 2010-11-26 2012-06-14 Nikon Corp 撮像装置
WO2012093551A1 (en) * 2011-01-06 2012-07-12 Canon Kabushiki Kaisha Image capture apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
WO2001058129A2 (en) * 2000-02-03 2001-08-09 Alst Technical Excellence Center Image resolution improvement using a color mosaic sensor
US6972361B2 (en) * 2002-08-07 2005-12-06 Yamaha Corporation Woodwind instrument equipped with pad sealing mechanism automatically adjustable to tone hole
GB0222211D0 (en) * 2002-09-25 2002-10-30 Fortkey Ltd Imaging and measurement system
JP2004191629A (ja) * 2002-12-11 2004-07-08 Canon Inc 焦点検出装置
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
JP4770560B2 (ja) 2006-04-11 2011-09-14 株式会社ニコン 撮像装置、カメラおよび画像処理方法
US7907791B2 (en) * 2006-11-27 2011-03-15 Tessera International, Inc. Processing of mosaic images
US7983509B1 (en) * 2007-05-31 2011-07-19 Hewlett-Packard Development Company, L.P. Estimating a point spread function of an image capture device
JP5251323B2 (ja) * 2008-07-15 2013-07-31 株式会社ニコン 撮像装置
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
JP5322561B2 (ja) * 2008-09-25 2013-10-23 キヤノン株式会社 撮像装置及びその制御方法
JP5388544B2 (ja) * 2008-11-05 2014-01-15 キヤノン株式会社 撮像装置およびそのフォーカス制御方法
JP5968025B2 (ja) * 2012-04-11 2016-08-10 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6124720B2 (ja) * 2013-07-22 2017-05-10 オリンパス株式会社 撮像装置、画像処理方法及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015218A (zh) * 2004-07-08 2007-08-08 图像公司 使用多个投影显示器显示高分辨率图像的设备及方法
JP2011197080A (ja) * 2010-03-17 2011-10-06 Olympus Corp 撮像装置及びカメラ
JP2012042857A (ja) * 2010-08-23 2012-03-01 Olympus Corp 撮像装置
JP2012114798A (ja) * 2010-11-26 2012-06-14 Nikon Corp 撮像装置
WO2012093551A1 (en) * 2011-01-06 2012-07-12 Canon Kabushiki Kaisha Image capture apparatus

Also Published As

Publication number Publication date
US9477140B2 (en) 2016-10-25
EP3021570B1 (en) 2018-09-05
JP5701942B2 (ja) 2015-04-15
JP2015018084A (ja) 2015-01-29
CN105144697A (zh) 2015-12-09
EP3021570A4 (en) 2017-02-08
US20160018721A1 (en) 2016-01-21
WO2015005249A1 (ja) 2015-01-15
EP3021570A1 (en) 2016-05-18

Similar Documents

Publication Publication Date Title
CN105144697B (zh) 摄像装置、照相机系统以及图像处理方法
US9531960B2 (en) Imaging apparatus for generating HDR image from images captured at different viewpoints and method for controlling imaging apparatus
CN102404507B (zh) 焦点调节设备
CN104333680B (zh) 拍摄装置以及图像处理方法
CN103108133A (zh) 摄像装置
CN101287074B (zh) 摄像设备、摄像系统、摄像设备的驱动方法
CN104580851B (zh) 摄像设备及其控制方法
CN104125394B (zh) 摄像装置及其控制方法
US8593547B2 (en) Image processing apparatus, image capturing apparatus, and image processing method
CN105282431B (zh) 摄像装置及摄像装置的控制方法
US10638072B2 (en) Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal
US20100073529A1 (en) Imaging apparatus and imaging method
JP5199736B2 (ja) 画像撮像装置
US10056421B2 (en) Imaging device and imaging method
JP5127628B2 (ja) 画像処理装置および画像処理方法
CN109792493A (zh) 摄像设备和摄像方法
JP6207293B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP4523629B2 (ja) 撮像装置
US10896350B2 (en) Image processing apparatus, image processing method, and image capture apparatus
JP2019144502A (ja) 焦点検出装置および焦点検出方法
CN106993110A (zh) 摄像设备及其控制方法
CN107040729A (zh) 摄像设备和读取方法
KR20170077784A (ko) 고체 촬상 소자 및 촬상장치
JP5961058B2 (ja) 撮像装置及びその制御方法、画像処理装置及びその制御方法
JP6704611B2 (ja) 撮影装置及び撮影方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant