CN105580354A

CN105580354A - 摄像装置和图像处理方法

Info

Publication number: CN105580354A
Application number: CN201480052931.4A
Authority: CN
Inventors: 冈泽淳郎; 山崎辉彬; 福富武史
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-09-27
Filing date: 2014-09-22
Publication date: 2016-05-11
Anticipated expiration: 2034-09-22
Also published as: US20160212364A1; US9503661B2; CN105580354B; EP3051799A4; JP2015070432A; WO2015046147A1; EP3051799A1; JP5775918B2

Abstract

摄像装置(1)包括高频图案检测部(3141)，该高频图案检测部(3141)根据位于摄像元件(21)的焦点检测像素的周边的多个摄像像素的像素输出，检测摄像元件(21)接收的被摄体像图案为高频的程度。插值处理部(315)对使用焦点检测像素的周边的摄像像素的像素输出计算出的插值输出和焦点检测像素的像素输出进行加权混合。应用判断部(3142)根据高频图案检测部(3141)的输出，决定插值处理部(315)中的加权混合时的混合比例。

Description

摄像装置和图像处理方法

技术领域

本发明涉及对利用一部分像素作为相位差方式的焦点检测元件来检测焦点状态的摄像元件的像素输出进行处理的摄像装置和图像处理方法。

背景技术

例如在日本特许第3592147号公报中提出了与利用摄像元件的一部分像素作为焦点检测元件来检测焦点状态的摄像装置有关的技术。日本特许第3592147号公报的摄像装置将摄像元件的一部分像素设定为焦点检测像素，使穿过关于摄影镜头的光轴中心对称的不同瞳区域后的被摄体光束在多个焦点检测像素中成像，通过检测该被摄体光束之间的相位差，检测摄影镜头的焦点状态。

这里，关于焦点检测像素，例如一部分区域被遮光，以使得能够接收穿过摄影镜头的不同瞳区域后的被摄体光束的一方。因此，焦点检测像素成为无法直接作为图像使用的缺陷像素。因此，日本特开2010-062640号公报中公开的摄像装置通过对焦点检测像素的像素输出进行增益调整或使用周边的像素进行插值，能够在记录或显示中加以利用。

发明内容

关于日本特开2010-062640号公报的像素输出的校正手法，通过观察焦点检测像素的周边的像素的像素输出的标准偏差来判断是否是高频成分，根据该判断结果来改变插值时的插值像素的像素输出和焦点检测像素的像素输出的应用比例。因此，在日本特开2010-062640号公报的手法中，针对产生与摄像元件的像素排列近似的高频的重复图案的被摄体，可能无法正确计算应用比例。该情况下，没有得到在焦点检测像素中反映了被摄体的构造的像素输出，产生显著的画质劣化。

本发明是鉴于所述情况而完成的，其目的在于，提供如下的摄像装置和图像处理方法：在对来自具有焦点检测像素的摄像元件的像素输出进行处理的摄像装置中，能够进一步抑制由于焦点检测像素而引起的画质降低。

为了达成所述目的，本发明的第1方式的摄像装置具有：摄像元件，其具有摄像像素和焦点检测像素；高频图案检测部，其根据位于所述焦点检测像素的周边的多个摄像像素和焦点检测像素的像素输出，检测所述摄像元件接收的被摄体像图案为高频的程度；插值处理部，其使用位于所述焦点检测像素的周边的摄像像素的像素输出进行插值运算，求出与所述焦点检测像素的像素输出对应的插值输出，对该求出的插值输出和所述焦点检测像素的像素输出进行加权混合；以及应用判断部，其根据所述高频图案检测部的输出，决定所述插值处理部进行加权混合时的混合比例。

为了达成所述目的，本发明的第2方式的图像处理方法对具有摄像像素和焦点检测像素的摄像元件的像素输出进行处理，其中，该图像处理方法具有以下步骤：根据位于所述焦点检测像素的周边的多个摄像像素和焦点检测像素的像素输出，检测所述摄像元件接收的被摄体像图案为高频的程度；根据所述为高频的程度，决定插值输出和所述焦点检测像素的像素输出的加权混合时的混合比例；以及使用位于所述焦点检测像素的周边的摄像像素的像素输出进行插值运算，求出与所述焦点检测像素的像素输出对应的所述插值输出，对该求出的插值输出和所述焦点检测像素的像素输出进行加权混合。

附图说明

图1是示出作为本发明的一个实施方式的摄像装置的一例的数字照相机的结构的框图。

图2是示出摄像元件的像素排列的例子的图。

图3是示出图像处理部的详细结构的图。

图4是示出插值判断处理部的结构的图。

图5A是用于说明相位偏移的第1图。

图5B是用于说明相位偏移的第2图。

图6是示出动态图像记录处理的流程图。

图7A是用于说明高频检测处理的第1图。

图7B是用于说明高频检测处理的第2图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

图1是示出作为本发明的一个实施方式的摄像装置的一例的数字照相机(以下简称为照相机)的结构的框图。这里，在图1中，带箭头的实线表示数据流，带箭头的虚线表示控制信号流。

图1所示的照相机1具有摄影镜头11、光圈13、机械快门15、驱动部17、操作部19、摄像元件21、摄像控制电路23、A-AMP25、模拟数字转换部(ADC)27、CPU29、图像处理部31、焦点检测电路33、视频编码器35、显示部37、总线39、DRAM(DynamicRandomAccessMemory：动态随机存取存储器)41、ROM(ReadOnlyMemory：只读存储器)43、记录介质45。

摄影镜头11是用于在摄像元件21上形成来自被摄体100的像的摄影光学系统。摄影镜头11具有用于调节对焦位置的对焦镜头，并且，也可以构成为变焦镜头。光圈13配置在摄影镜头11的光轴上，构成为其口径可变。光圈13限制穿过摄影镜头11的来自被摄体100的光束的量。机械快门15构成为开闭自如。机械快门15对来自被摄体100的被摄体光束入射到摄像元件21的入射时间(摄像元件21的曝光时间)进行调节。作为机械快门15，可以采用公知的焦面快门、中心式快门等。驱动部17根据来自CPU29的控制信号进行摄影镜头11、光圈13和机械快门15的驱动控制。

操作部19包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮这样的各种操作按钮和触摸面板等各种操作部件。该操作部19检测各种操作部件的操作状态，将表示检测结果的信号输出到CPU29。这里，通过本实施方式的操作部19，能够选择照相机1的拍摄模式。即，用户通过对操作部19进行操作，能够从静态图像拍摄模式和动态图像拍摄模式中选择照相机1的拍摄模式。静态图像拍摄模式是用于拍摄静态图像的拍摄模式，动态图像拍摄模式是用于拍摄动态图像的拍摄模式。

摄像元件21配置在摄影镜头11的光轴上的机械快门15的后方且通过摄影镜头11使被摄体光束成像的位置。摄像元件21构成为二维配置有构成像素的光电二极管。这里，本实施方式中的摄像元件21具有用于取得记录和显示用的图像的摄像像素以及用于进行焦点检测的焦点检测像素。

构成摄像元件21的光电二极管生成与受光量对应的电荷。光电二极管产生的电荷蓄积在与各光电二极管连接的电容器中。该电容器中蓄积的电荷被作为图像信号读出。本实施方式中的摄像元件21具有多个不同的电荷的读出方式。根据来自摄像控制电路23的控制信号读出摄像元件21中蓄积的电荷。

并且，在构成像素的光电二极管的前表面配置有例如拜耳排列的彩色滤镜。拜耳排列具有在水平方向上交替配置R像素和G(Gr)像素的行、以及交替配置G(Gb)像素和B像素的行。

摄像控制电路23根据来自CPU29的控制信号设定摄像元件21的驱动模式，根据与所设定的驱动模式对应的读出方式对来自摄像元件21的图像信号的读出进行控制。例如，在实时取景显示时或动态图像记录时这样的对来自摄像元件21的像素数据读出要求实时性的驱动模式的情况下，为了能够高速进行像素数据的读出，混合读出来自多个相同颜色像素的像素数据，或间疏读出特定像素的像素数据。另一方面，例如在静态图像记录时这样的与实时性相比更加要求画质的驱动模式的情况下，不进行混合读出或间疏读出，通过读出全部像素的像素数据来维持分辨率。

A-AMP25根据摄像控制电路23的控制，对从摄像元件21读出的图像信号进行放大。与摄像元件21、摄像控制电路23、A-AMP25一起作为摄像部发挥功能的ADC27将从A-AMP25输出的图像信号转换为数字形式的图像信号(像素数据)。下面，在本说明书中，将多个像素数据的集合记载为摄像数据。

CPU29根据ROM43中存储的程序进行照相机1的整体控制。图像处理部31对摄像数据实施各种图像处理而生成图像数据。例如，在静态图像的记录时，图像处理部31实施静态图像记录用的图像处理而生成静态图像数据。同样，在动态图像的记录时，图像处理部31实施动态图像记录用的图像处理而生成动态图像数据。进而，在实时取景显示时，图像处理部31实施显示用的图像处理而生成显示用图像数据。这种图像处理部31的结构在后面详细说明。

焦点检测电路33取得来自焦点检测像素的像素数据，根据所取得的像素数据，使用公知的相位差方式计算摄影镜头11的针对对焦位置的散焦方向和散焦量。

视频编码器35将由图像处理部31生成的显示用图像数据转换为影像数据，将该影像数据输入到显示部37，使显示部37显示图像。

显示部37例如是液晶显示器或有机EL显示器这样的显示部，例如配置在照相机1的背面。该显示部37根据视频编码器35的动作来显示图像。显示部37用于实时取景显示和已记录图像的显示等。

总线39与ADC27、CPU29、图像处理部31、焦点检测电路33、DRAM41、ROM43、记录介质45连接，作为用于转送在这些块中产生的各种数据的转送路发挥功能。

DRAM41是可电改写的存储器，暂时存储所述摄像数据(像素数据)、记录用图像数据、显示用图像数据、CPU29中的处理数据这样的各种数据。另外，作为暂时存储用，也可以使用SDRAM(SynchronousDynamicRandomAccessMemory：同步动态随机存取存储器)。ROM43是掩模型ROM或闪存等非易失性存储器。ROM43存储CPU29使用的程序、照相机1的调整值等各种数据。记录介质45构成为内置或装填在照相机1中，将记录用图像数据记录为规定的形式的图像文件。

使用图2对摄像元件21的结构进行说明。图2是示出摄像元件21的像素排列的例子的图。并且，在图2的右侧放大示出一部分像素。图2是拜耳排列的例子，但是，滤色器的排列不限于拜耳排列，可以应用各种排列。

如上所述，拜耳排列的摄像元件21具有在水平方向上交替配置R像素和G(Gr)像素的像素行、以及交替配置G(Gb)像素和B像素的像素行。换言之，在水平和垂直方向上反复配置右侧的放大图所示的Gr像素、R像素、Gb像素、B像素这4个像素的组。

在本实施方式中，在一部分摄像像素21a的位置配置焦点检测像素21b。焦点检测像素例如是通过遮光膜对左右中的任意一个区域进行遮光的像素。在图2的例子中，沿着垂直方向接近地配置对左半面进行遮光的焦点检测像素(以下称为右开口焦点检测像素)的行和对右半面进行遮光的焦点检测像素(以下称为左开口焦点检测像素)的行。

在高像素数的摄像元件的情况下，由于各个像素的面积较小，所以，可以认为在接近配置的像素中形成大致相同的像。因此，通过如图2所示那样配置焦点检测像素，能够利用图2的A行的焦点检测像素和B行的焦点检测像素的对儿来检测相位差。并且，还能够利用C行的焦点检测像素和D行的焦点检测像素的对儿来检测相位差。

这里，在图2的例子中，设焦点检测像素中的遮光区域为左右中的任意一个区域。该情况下，能够检测水平相位差。与此相对，通过设遮光区域为上下中任意一个区域或倾斜方向的区域，还能够检测垂直相位差或倾斜方向的相位差。并且，只要具有某种程度的面积即可，遮光面积也可以不是像素区域的1/2。进而，在图2中将焦点检测像素配置在G像素中，但是，也可以配置在G像素以外的R像素、B像素中的任意一方中。并且，图2的例子示出了通过对焦点检测像素的一部分区域进行遮光来进行瞳分割的例子，但是，焦点检测像素只要能够选择性地接收穿过摄影镜头11的不同瞳区域的成对的被摄体光束中的一方即可。因此，也可以不采用对一部分区域进行遮光的结构，例如通过瞳分割用的微镜头进行瞳分割。进而，图2示出沿着水平方向以4个像素周期配置焦点检测像素的例子。配置焦点检测像素的周期不限于特定周期。

这里，由于焦点检测像素的一部分区域被遮光，所以，产生光量的降低。除了焦点检测像素中形成的遮光膜的面积以外，该光量的降低还根据遮光膜的位置、入射到焦点检测像素的光的角度、像高而不同。在图像处理部31中对这种光量的降低进行校正。

图3是示出图像处理部31的详细结构的图。在图3中，省略图像处理部31以外的块的图示。如图3所示，图像处理部31具有白平衡(WB)校正处理部311、增益量估计部312、增益校正部313、插值判断处理部314、插值处理部315、同时化处理部316、亮度特性转换部317、边缘强调处理部318、噪声降低(NR)处理部319、颜色再现处理部320。

WB校正处理部311进行如下的白平衡校正处理：通过以规定的增益量放大摄像数据的各颜色成分，对图像的颜色平衡进行校正。

增益量估计部312估计用于在增益校正部313中校正焦点检测像素的像素输出的增益量。根据焦点检测像素相对于摄像像素的光量降低量来估计该增益量。根据焦点检测像素的像素输出和焦点检测像素的附近的摄像像素的像素输出的比率来计算焦点检测像素的光量降低量。增益校正部313根据由增益量估计部312估计出的增益量对焦点检测像素的像素输出进行校正。

插值判断处理部314判断由增益校正部313进行增益校正后的焦点检测像素的像素输出的应用比例。应用比例例如是进行了增益校正后的焦点检测像素的像素输出和焦点检测像素的周边的摄像像素的像素输出的加权相加时的加权系数。这里，周边的摄像像素例如是焦点检测像素的周边的相同颜色(在拜耳排列的情况下为相同成分)的4个摄像像素。当然，周边的摄像像素的像素数不限于4个像素。并且，例如根据相位差检测像素的周边的摄像像素的像素输出的偏差(标准偏差)来判断应用比例。

插值处理部315进行如下的插值处理：根据由插值判断处理部314判断出的应用比例，对由增益校正部313进行增益校正后的焦点检测像素的像素输出及其周边的摄像像素的像素输出进行加权相加。

同时化处理部316例如将对应于拜耳排列而经由摄像元件21输出的摄像数据等的、1个像素对应于1个颜色成分的摄像数据转换为1个像素对应于多个颜色成分的图像数据。亮度特性转换部317对图像数据的亮度特性(伽马特性)进行转换以使其适合于显示或记录。边缘强调处理部318对使用带通滤波器等从图像数据中提取出的边缘信号乘以边缘强调系数，将该结果与原来的图像数据进行相加，由此，对图像数据中的边缘(轮廓)成分进行强调。NR处理部319使用去核(Coring)处理等去除图像数据中的噪声成分。颜色再现处理部320进行用于使图像数据的颜色再现成为适当的颜色再现的各种处理。作为该处理，例如存在颜色矩阵运算处理。颜色矩阵运算处理是对图像数据乘以例如与白平衡模式对应的颜色矩阵系数的处理。除此之外，颜色再现处理部320进行彩度/色相的校正。

图4是示出插值判断处理部314的结构的图。插值判断处理部314具有高频图案检测部3141和应用判断部3142。

高频图案检测部3141检测摄像数据中的被摄体像图案为高频的程度。增益应用判断部3142根据由高频图案检测部3141检测到的被摄体像图案为高频的程度，计算由增益校正部313进行增益校正后的焦点检测像素的像素输出的应用比例。被摄体像图案为高频的程度的检测手法和应用比例的计算手法在后面详细说明。

接着，参照图5A和图5B对具有焦点检测像素的摄像元件中产生的相位差偏移进行说明。这里，图5A示出摄像像素21a中的像的成像状态。并且，图5B示出焦点检测像素21b中的像的成像状态。

为了简化说明，当设被摄体为点光源、摄影镜头11为对焦状态时，从被摄体射出且穿过关于摄影镜头11的光轴中心对称的不同瞳区域的成对儿的被摄体光束在摄像元件21上的同一位置成像。这意味着摄像像素21a中形成的被摄体像的峰值位置和焦点检测像素21b中形成的被摄体像的峰值位置一致。这里，关于摄像像素21a，如图5A所示，入射有穿过不同瞳区域的成对儿的被摄体光束双方。因此，关于摄像像素21a，光量不会降低。另一方面，关于焦点检测像素21b，如图5B所示，仅成对儿的被摄体光束中的一方入射到摄像元件21。因此，关于焦点检测像素21b，产生光量的降低。

另一方面，在摄影镜头11为非对焦状态时，从被摄体射出且穿过摄影镜头11的不同瞳区域的成对儿的被摄体光束在摄像元件21上的不同位置成像。即，在由这些成对儿的被摄体光束形成的被摄体像之间产生相位差。根据在右开口焦点检测像素和左开口焦点检测像素中分别检测到的被摄体像的相关关系来检测该相位差，由此检测摄影镜头11的散焦量和散焦方向。这里，关于摄像像素21a，如图5B所示，入射有穿过不同瞳区域的被摄体光束双方。因此，关于摄像像素21a，不会产生光量的降低，但是，由于入射到不同位置的被摄体光束而产生模糊。另一方面，关于焦点检测像素21b，如图5B所示，仅成对儿的被摄体光束中的一方入射到摄像元件21。该情况下，不会产生摄像像素21a那样的模糊，但是，峰值位置从摄影镜头11为对焦状态的情况下的峰值位置偏移。在本实施方式中，将这种峰值位置偏移的现象称为相位偏移。如果在动态图像拍摄时或实时取景显示时产生相位偏移，则相位偏移的影响作为波纹而表现为图像。在图像处理部31中对这种波纹的影响进行校正。

下面，对本实施方式的摄像装置的动作进行说明。图6是示出基于摄像装置的动态图像记录处理的流程图。根据ROM43中存储的程序，通过CPU29来执行图6所示的流程图的处理。并且，图6所示的处理还能够应用于静态图像记录处理和实时取景显示处理。

图6的流程图的处理开始后，CPU29执行基于摄像元件21的摄像(曝光)(步骤101)。根据与预先设定的驱动模式对应的读出方式，从摄像元件21中读出通过摄像而得到的图像信号。该读出的图像信号在A-AMP25中进行放大，在ADC27中进行数字化之后，作为摄像数据暂时存储在DRAM41中。

接着，CPU29进行焦点检测处理(步骤S102)。这里，CPU29使焦点检测电路33执行焦点检测处理。焦点检测电路33接受焦点检测处理的执行指示，从暂时存储于DRAM41中的摄像数据中读出与焦点检测像素对应的像素数据，使用该像素数据，通过公知的相位差法计算摄影镜头11的散焦方向和散焦量。接着，CPU29根据由焦点检测电路33检测到的摄影镜头11的散焦方向和散焦量对驱动部17进行控制，使摄影镜头11进行对焦。

在焦点检测处理后，CPU29执行基于图像处理部31的图像处理。接受该指示，图像处理部31的WB校正处理部311对像素数据实施白平衡校正处理(步骤S103)。接着，增益量估计部312进行增益估计处理(步骤S104)。例如根据焦点检测像素的像素输出和该焦点检测像素的周边的相同颜色的摄像像素的像素输出的比或差来估计增益量。例如，根据以下的(式1)计算像素输出的比Dif_p。

Dif_p＝Gr1/Gr2(式1)

(式1)的Gr1表示摄像像素的像素输出，(式1)的Gr2表示焦点检测像素的像素输出。这里，摄像像素Gr1是在与基于焦点检测像素的相位差的检测方向正交的方向上排列的相同颜色的摄像像素的像素输出。例如，在拜耳排列的摄像元件的情况下，当设焦点检测像素与图2同样配置在Gr像素中时，摄像像素Gr1例如是焦点检测像素Gr2的向上方向或下方向偏移2个像素的位置的Gr像素。当然，像素偏移的量不限于2个像素。

在增益估计处理后，增益校正部313进行增益校正处理(步骤S105)。增益校正处理是将(式1)得到的值与各焦点检测像素的像素输出进行相乘的校正。通过该校正，对各焦点检测像素的像素输出中的光量降低进行校正。

在增益校正处理后，插值判断处理部314的高频图案检测部3141进行检测摄像数据中的被摄体像图案为高频的程度的高频图案检测处理(步骤S106)。下面，对高频图案检测处理的例子进行说明。

图7A和图7B是用于说明高频图案检测处理的例子的图。本实施方式中的“被摄体像图案为高频的程度较高”的状态是指在被摄体像中产生由于波纹等而引起的重复图案的状态。为了判断这种状态，如图7A所示，高频图案检测部3141计算相对于作为插值处理对象的焦点检测像素Gr(AF)的相位差的检测方向即水平方向上的相同位置的2个焦点检测像素Gr(AF)的像素、即作为插值处理对象的焦点检测像素Gr(AF)的垂直方向上跨越的焦点检测像素的像素输出的相加平均值。接着，高频图案检测部31411计算位于相对于作为插值处理对象的焦点检测像素Gr(AF)沿着相位差的检测方向即水平方向(右方向和左方向)偏移2个像素的位置的其他焦点检测像素Gr(AF)的垂直方向上跨越的2个焦点检测像素Gr(AF)的像素输出的相加平均值。进而，高频图案检测部3141对通过所述计算而得到的3个相加平均值进行累积。各相加平均值表示在与相位差的检测方向垂直的方向上观察到的焦点检测像素的像素输出的平均变化量。而且，这些相加平均值的累积结果表示焦点检测像素中成像的被摄体像的图案。

接着，如图7B所示，高频图案检测部3141计算作为插值处理对象的焦点检测像素Gr(AF)的周边的(图中为右斜下方的)摄像像素Gb的垂直方向上跨越的摄像像素Gb的像素输出的相加平均值。进而，高频图案检测部3141计算位于相对于之前计算了相加平均值的摄像像素Gb沿着水平方向(右方向和左方向)偏移2个像素的位置的摄像像素Gb的垂直方向上跨越的2个摄像像素Gb的像素输出的相加平均值。然后，高频图案检测部3141对通过所述计算而得到的3个相加平均值进行累积。各相加平均值表示在与相位差的检测方向垂直的方向上观察到的摄像像素的像素输出的平均变化量。而且，这些相加平均值的累积结果表示摄像像素中成像的被摄体像的图案。

接着，高频图案检测部3141计算针对焦点检测像素Gr(AF)计算出的累积值和针对摄像像素Gb计算出的累积值的差分绝对值，作为表示被摄体像图案为高频的程度的评价值。关于该评价值，焦点检测像素Gr(AF)中的像素输出变化与摄像像素Gb中的像素输出变化之间的差越大，则值越大。因此，评价值表示值越大，则被摄体像图案为高频、即被摄体像为重复图案的可能性越高。在重复图案的情况下，由于在焦点检测像素的像素输出变化与其周边的摄像像素的像素输出变化之间存在较大差异，所以，当使用周边像素对焦点检测像素的像素输出进行校正时，焦点检测像素的像素输出受到周围像素的影响而产生较大误差。因此，在本实施方式中，在被摄体像为高频的程度较高的情况下，减少使用周边像素的插值处理的比例。

在高频图案检测处理后，插值判断处理部314的应用判断部3142进行用于判断由增益校正部313进行增益校正后的焦点检测像素的像素输出的应用比例的增益应用判断处理(步骤S107)。在该增益应用判断处理时，首先，应用判断部3142根据相位差检测像素的周边的摄像像素的像素输出的偏差(标准偏差)计算假定的应用比例。然后，应用判断部3142以使得评价值越高、即被摄体像图案为高频的程度越高，则增益校正后的焦点检测像素的像素输出的应用比例越高的方式，决定最终的应用比例。例如，针对评价值的大小，使增益校正后的焦点检测像素的像素输出的应用比例的大小线性变化。

在增益应用判断处理后，插值处理部315进行如下的插值处理：根据由插值判断处理部314判断出的应用比例，对由增益校正部313进行增益校正后的焦点检测像素的像素输出和其周边的摄像像素的像素输出进行加权相加(步骤S108)。

在插值处理后，图像处理部31执行插值处理以后的图像处理(步骤S109)。在图像处理结束后，CPU29将作为图像处理结果而暂时存储在DRAM41中的图像数据记录在记录介质45中(步骤S110)。接着，CPU29判定是否使动态图像记录停止(步骤S111)。这里，CPU29判定操作部19的释放按钮的操作状态。即，在再次按下了释放按钮的情况下，CPU29判定为使动态图像记录停止。

在步骤S111中判定为不使动态图像记录停止的情况下，CPU29使处理返回步骤S101，继续进行动态图像记录。另一方面，在步骤S112中判定为使动态图像记录停止的情况下，CPU29结束图6的处理。

如以上说明的那样，在本实施方式中，判断焦点检测像素的周围的被摄体像图案为高频图案的程度，在被摄体像图案为高频图案的程度较高的情况下，根据焦点检测像素的周围的摄像像素，与插值输出相比，提高进行增益校正后的焦点检测像素的像素输出的应用比例。由此，能够减少由于在被摄体像为重复图案时等应用插值处理而导致的画质劣化。

这里，在本实施方式中，计算作为插值处理对象的焦点检测像素的上方2个像素和下方2个像素的焦点检测像素的像素输出的相加平均值。但是，从作为插值处理对象的焦点检测像素偏移的像素偏移量不限于2个像素。例如，在拜耳排列的情况下，也可以计算上方4个像素和下方4个像素的焦点检测像素的像素输出的平均值。但是，优选使焦点检测像素的垂直方向的像素偏移量和摄像像素的垂直方向的像素偏移量一致。并且，用于求出相加平均值的焦点检测像素也可以是从作为插值处理对象的焦点检测像素向水平方向偏移的其他焦点检测像素上跨越的焦点检测像素。

并且，在本实施方式中，对相对于作为插值处理对象的焦点检测像素在水平方向上相邻的1个像素的摄像像素计算相加平均值。该水平方向的像素偏移量也不限于1个像素。并且，水平方向的像素偏移的结果，求出相加平均值的摄像像素的颜色可以与焦点检测像素不同，求出相加平均值的摄像像素也可以成为焦点检测像素。

进而，也可以根据摄像元件21的驱动模式等的各条件而使像素偏移量自适应地变化。例如，在摄像元件21的驱动模式为动态图像记录用的驱动模式时或实时取景显示时，通过减少像素偏移量，能够高精度地判断被摄体像图案为高频的程度。

并且，在本实施方式中，计算垂直方向上排列的像素彼此的像素输出的相加平均值。这是因为相位差的检测方向为水平方向。例如，在相位差的检测方向为垂直方向的情况下，通过计算水平方向上排列的像素彼此的相加平均值，判断被摄体像图案为高频的程度。即，计算与相位差的检测方向垂直的方向上排列的像素彼此的相加平均值即可。

进而，在本实施方式中，为了判断被摄体像图案为高频的程度，计算与相位差的检测方向垂直的方向上排列的像素彼此的相加平均值，但是，也可以是相乘平均值等。并且，评价值也可以不是差分绝对值而使差分平方值。这样，通过适当组合四则运算来计算评价值等。

上述实施方式的各处理也可以作为能够由CPU29执行的程序来存储。除此之外，可以存储在存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。而且，CPU29通过读入该外部存储装置的存储介质中存储的程序并根据该读入的程序来控制动作，能够执行上述处理。

Claims

1.一种摄像装置，其具有：

摄像元件，其具有摄像像素和焦点检测像素；

高频图案检测部，其根据位于所述焦点检测像素的周边的多个摄像像素和焦点检测像素的像素输出，检测所述摄像元件接收的被摄体像图案为高频的程度；

插值处理部，其使用位于所述焦点检测像素的周边的摄像像素的像素输出进行插值运算，求出与所述焦点检测像素的像素输出对应的插值输出，对该求出的插值输出和所述焦点检测像素的像素输出进行加权混合；以及

应用判断部，其根据所述高频图案检测部的输出，决定所述插值处理部进行加权混合时的混合比例。

2.根据权利要求1所述的摄像装置，其中，

所述高频图案检测部计算第1像素群的像素输出之间的四则运算的结果与第2像素群的像素输出之间的四则运算的结果之间的差分或比率，根据所述四则运算的结果的差分或比率的大小来设定所述为高频的程度，其中，所述第1像素群相对于所述焦点检测像素配置在水平或垂直方向的相同位置或者相对于位于所述焦点检测像素的周边的其他焦点检测像素配置在水平或垂直方向的相同位置，所述第2像素群配置在从所述第1像素群向水平或垂直方向偏移的位置。

3.根据权利要求2所述的摄像装置，其中，

所述高频图案检测部计算对所述第1像素群的像素输出之间的四则运算的结果进行积分而得到的值与对所述第2像素群的像素输出之间的四则运算的结果进行积分而得到的值之间的差分或比率，根据进行所述积分而得到的值的差分或比率的大小来检测所述为高频的程度。

4.根据权利要求2所述的摄像装置，其中，

所述高频图案检测部使所述四则运算的方法、所述第1像素群的位置、所述第2像素群相对于所述第1像素群的偏移量依据所述焦点检测像素的配置或所述摄像装置的工作模式而适应性地变化。

5.根据权利要求1所述的摄像装置，其中，

所述应用判断部在高频图案的程度较高的情况下，提高所述焦点检测像素的混合比例。

6.根据权利要求1所述的摄像装置，其中，

所述应用判断部在高频图案的程度较低的情况下，提高所述插值输出的混合比例。

7.一种图像处理方法，其对具有摄像像素和焦点检测像素的摄像元件的像素输出进行处理，该图像处理方法具有以下步骤：

根据位于所述焦点检测像素的周边的多个摄像像素和焦点检测像素的像素输出，检测所述摄像元件接收的被摄体像图案为高频的程度；

根据所述为高频的程度，决定插值输出和所述焦点检测像素的像素输出的加权混合时的混合比例；以及

使用位于所述焦点检测像素的周边的摄像像素的像素输出进行插值运算，求出与所述焦点检测像素的像素输出对应的所述插值输出，对该求出的插值输出和所述焦点检测像素的像素输出进行加权混合。

8.根据权利要求7所述的图像处理方法，其中，

检测所述为高频的程度的步骤包括以下步骤：计算第1像素群的像素输出之间的四则运算的结果与第2像素群的像素输出之间的四则运算的结果之间的差分或比率，根据所述四则运算的结果的差分或比率的大小来检测所述为高频的程度，其中，所述第1像素群相对于所述焦点检测像素配置在水平或垂直方向的相同位置或者相对于位于所述焦点检测像素的周边的其他焦点检测像素配置在水平或垂直方向的相同位置，所述第2像素群配置在从所述第1像素群向水平或垂直方向偏移的位置。

9.根据权利要求8所述的图像处理方法，其中，

检测所述为高频的程度的步骤包括以下步骤：计算对所述第1像素群的像素输出之间的四则运算的结果进行积分而得到的值与对所述第2像素群的像素输出之间的四则运算的结果进行积分而得到的值之间的差分或比率，根据进行所述积分而得到的值的差分或比率的大小来检测所述为高频的程度。

10.根据权利要求8所述的图像处理方法，其中，

检测所述为高频的程度的步骤包括以下步骤：使所述四则运算的方法、所述第1像素群的位置、所述第2像素群相对于所述第1像素群的偏移量依据所述焦点检测像素的配置或摄像装置的工作模式而适应性地变化。

11.根据权利要求7所述的图像处理方法，其中，

所述加权混合的步骤包括以下步骤：在高频图案的程度较高的情况下，提高所述焦点检测像素的混合比例。

12.根据权利要求7所述的图像处理方法，其中，

所述加权混合的步骤包括以下步骤：在高频图案的程度较低的情况下，提高所述插值输出的混合比例。