CN104519274B - 图像处理装置和图像处理方法 - Google Patents
图像处理装置和图像处理方法 Download PDFInfo
- Publication number
- CN104519274B CN104519274B CN201410503642.3A CN201410503642A CN104519274B CN 104519274 B CN104519274 B CN 104519274B CN 201410503642 A CN201410503642 A CN 201410503642A CN 104519274 B CN104519274 B CN 104519274B
- Authority
- CN
- China
- Prior art keywords
- pixel
- reference block
- phase difference
- pseudo
- difference detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 123
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 119
- 238000004364 calculation method Methods 0.000 claims abstract description 77
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000008901 benefit Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000015654 memory Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001495486 Spermacoce assurgens Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
图像处理装置和图像处理方法，图像处理装置包括增益校正部和增益量估计部。增益校正部对所述相位差检测像素的像素输出进行增益校正。增益量估计部估计所述增益校正时的增益量。所述增益量估计部具有伪真值计算处理部，该伪真值计算处理部根据基准块和参照块的像素输出的相关度，计算作为用于估计所述增益量的基准的摄像像素的像素输出，作为伪真值计算像素的像素输出，其中，所述基准块包含所述相位差检测像素，所述参照块是在搜索与所述基准块相似的块的搜索范围内设定的。
Description
技术领域
本发明涉及对利用一部分像素作为相位差方式的焦点检测元件来检测焦点状态的摄像元件的像素输出进行处理的图像处理装置和图像处理方法。
背景技术
例如在日本特许第3592147号公报中提出了与利用摄像元件的一部分像素作为焦点检测元件来检测焦点状态的摄像装置有关的技术。在日本特许第3592147号公报中，将摄像元件的一部分像素设定为相位差检测像素，使穿过相对于摄影镜头的光轴中心对称的不同瞳区域后的被摄体光束在多个相位差检测像素中成像，通过检测该被摄体光束之间的相位差，检测摄影镜头的焦点状态。
这里，关于相位差检测像素，例如一部分区域被遮光，以使得能够接收穿过摄影镜头的不同瞳区域后的被摄体光束的一方。因此，相位差检测像素成为无法直接作为图像使用的缺陷像素。因此，在日本特开2010-062640号公报所公开的摄像装置中，通过对相位差检测像素的像素输出进行增益调整或使用周边像素进行插值，能够用于记录和显示。
但是，除了入射光的角度、相位差检测像素中形成的遮光膜的位置以外，入射到相位差检测像素的光的量还根据像高而不同。进而，入射到相位差检测像素的光的角度根据摄影镜头等光学系统的制造偏差和配置在摄像元件的前表面的微镜头的制造偏差而不同。为了提高增益调整的精度，期望正确检测每个相位差检测像素的光量的降低量，根据检测到的降低量来设定增益调整量。
发明内容
本发明是鉴于所述情况而完成的，其目的在于，提供在对来自具有相位差检测像素的摄像元件的像素输出进行处理的摄像装置中能够进一步抑制由于相位差检测像素而引起的画质降低的图像处理装置和图像处理方法。
为了实现所述目的，第1方式的图像处理装置对来自摄像元件的像素输出进行处理，所述摄像元件具有在检测相位差的方向上排列的相位差检测像素和摄像像素，其中，该图像处理装置具有：增益校正部，其对所述相位差检测像素的像素输出进行增益校正；以及增益量估计部，其估计所述增益校正时的增益量，所述增益量估计部具有伪真值计算处理部，该伪真值计算处理部根据基准块和参照块的像素输出的相关度，计算伪真值计算像素的像素输出，所述基准块包含所述相位差检测像素，所述参照块是在搜索与所述基准块相似的块的搜索范围内设定的。
为了实现所述目的，第2方式的图像处理方法用于对来自摄像元件的像素输出进行处理，所述摄像元件具有在检测相位差的方向上排列的相位差检测像素和摄像像素，其中，该图像处理方法包括以下步骤：根据基准块和参照块的像素输出的相关度，计算伪真值计算像素的像素输出，所述基准块包含所述相位差检测像素，所述参照块是在包含所述基准块的搜索范围内设定的；根据所述伪真值计算像素的像素输出与所述相位差检测像素的像素输出的比率，估计增益量；以及根据所述估计出的增益量对所述相位差检测像素的像素输出进行增益校正。
本发明的优点将在以下的说明中阐述，部分的优点将通过说明变得清楚，或者可以通过本发明的实践而得知。可以通过以下特别指出的手段和组合实现和获得本发明的优点。
附图说明
图1是示出作为具有本发明的一个实施方式的图像处理装置的摄像装置的一例的数字照相机的结构的框图。
图2是示出摄像元件的像素排列的例子的图。
图3是示出图像处理部的详细结构的图。
图4是示出增益量估计部的结构的图。
图5是示出动态图像记录处理的流程图。
图6是用于说明伪真值计算处理的图。
图7是示出倾斜地穿过基准块这样的构图的被摄体像在摄像元件中成像时的伪真值计算像素的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
图1是示出作为具有本发明的一个实施方式的图像处理装置的摄像装置的一例的数字照相机(以下简称为照相机)的结构的框图。这里，在图1中，带箭头的实线表示数据流，带箭头的虚线表示控制信号流。
图1所示的照相机1具有摄影镜头11、光圈13、机械快门15、驱动部17、操作部19、摄像元件21、摄像控制电路23、A-AMP 25、模拟数字转换部(ADC)27、CPU 29、图像处理部31、焦点检测电路33、视频编码器35、显示部37、总线39、DRAM(Dynamic Random Access Memory：动态随机存取存储器)41、ROM(Read Only Memory：只读存储器)43、记录介质45。
摄影镜头11是用于在摄像元件21上形成来自被摄体100的像的摄影光学系统。摄影镜头11具有用于调节对焦位置的对焦镜头，并且也可以构成为变焦镜头。光圈13配置在摄影镜头11的光轴上，构成为其口径可变。光圈13限制穿过摄影镜头11的来自被摄体100的光束的量。机械快门15构成为开闭自如。机械快门15对来自被摄体100的被摄体光束入射到摄像元件21的入射时间(摄像元件21的曝光时间)进行调节。作为机械快门15，可以采用公知的焦面快门、镜头快门等。驱动部17根据来自CPU 29的控制信号进行摄影镜头11、光圈13和机械快门15的驱动的控制。
操作部19包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮这样的各种操作按钮和触摸面板等各种操作部件。该操作部19检测各种操作部件的操作状态，将表示检测结果的信号输出到CPU 29。这里，通过本实施方式的操作部19，能够选择照相机1的拍摄模式。即，用户通过对操作部19进行操作，能够从静态图像拍摄模式和动态图像拍摄模式中选择照相机1的拍摄模式。静态图像拍摄模式是用于拍摄静态图像的拍摄模式，动态图像拍摄模式是用于拍摄动态图像的拍摄模式。
摄像元件21配置在摄影镜头11的光轴上的机械快门15的后方且通过摄影镜头11使被摄体光束成像的位置。摄像元件21构成为二维配置有构成像素的光电二极管。本实施方式中的摄像元件21具有用于取得记录和显示用的图像的摄像像素和用于进行焦点检测的相位差检测像素。
构成摄像元件21的光电二极管生成与受光量对应的电荷。光电二极管产生的电荷蓄积在与各光电二极管连接的电容器中。该电容器中蓄积的电荷被作为图像信号读出。本实施方式中的摄像元件21具有多个不同的电荷的读出方式。根据来自摄像控制电路23的控制信号读出摄像元件21中蓄积的电荷。
并且，在构成像素的光电二极管的前表面配置有例如拜耳排列的彩色滤镜。拜耳排列在水平方向上具有交替配置R像素和G(Gr)像素的行和交替配置G(Gb)像素和B像素的行。
摄像控制电路23根据来自CPU 29的控制信号设定摄像元件21的驱动模式，根据与所设定的驱动模式对应的读出方式对来自摄像元件21的图像信号的读出进行控制。例如，在实时取景显示时和动态图像记录时这样的来自摄像元件21的像素数据的读出要求实时性的驱动模式的情况下，为了能够高速进行像素数据的读出，混合读出来自多个相同颜色像素的像素数据或间疏读出特定像素的像素数据。另一方面，例如在静态图像的记录时这样的与实时性相比更加要求画质的驱动模式的情况下，不进行混合读出或间疏读出，通过读出全部像素的像素数据来维持分辨率。
A-AMP 25根据摄像控制电路23的控制，对从摄像元件21中读出的图像信号进行放大。与摄像元件21、摄像控制电路23、A-AMP 25一起作为摄像部发挥功能的ADC 27将从A-AMP 25输出的图像信号转换为数字形式的图像信号(像素数据)。下面，在本说明书中，将多个像素数据的集合记载为摄像数据。
CPU 29根据ROM 43中存储的程序进行照相机1的整体控制。图像处理部31对摄像数据实施各种图像处理而生成图像数据。例如，在静态图像的记录时，图像处理部31实施静态图像记录用的图像处理而生成静态图像数据。同样，在动态图像的记录时，图像处理部31实施动态图像记录用的图像处理而生成动态图像数据。进而，在实时取景显示时，图像处理部31实施显示用的图像处理而生成显示用图像数据。这种图像处理部31的结构在后面详细说明。
焦点检测电路33取得来自相位差检测像素的像素数据，根据所取得的像素数据，使用公知的相位差方式计算摄影镜头11的相对于对焦位置的散焦方向和散焦量。
视频编码器35将图像处理部31生成的显示用图像数据转换为视频数据，将该视频数据输入到显示部37，使显示部37显示图像。
显示部37例如是液晶显示器或有机EL显示器这样的显示部，例如配置在照相机1的背面。该显示部37根据视频编码器35的动作来显示图像。显示部37用于实时取景显示和已记录图像的显示等。
总线39与ADC 27、CPU 29、图像处理部31、焦点检测电路33、DRAM 41、ROM 43、记录介质45连接，作为用于转送在这些块中产生的各种数据的转送路而发挥功能。
DRAM 41是可电改写的存储器，暂时存储所述摄像数据(像素数据)、记录用图像数据、显示用图像数据、CPU 29中的处理数据这样的各种数据。另外，作为暂时存储用，也可以使用SDRAM(Synchronous Dynamic Random Access Memory：同步动态随机存取存储器)。ROM 43是罩幕式ROM或闪存等非易失性存储器。ROM43存储CPU 29使用的程序、照相机1的调整值等各种数据。记录介质45构成为内置或装填在照相机1中，将记录用图像数据记录为规定的形式的图像文件。
使用图2对摄像元件21的结构进行说明。图2是示出摄像元件21的像素排列的例子的图。并且，在图2的右侧放大示出一部分像素。图2是拜耳排列的例子，但是，彩色滤镜的排列不限于拜耳排列，可以应用各种排列。
如上所述，拜耳排列的摄像元件21在水平方向上具有交替配置R像素和G(Gr)像素的像素行和交替配置G(Gb)像素和B像素的像素行。换言之，在水平和垂直方向上反复配置右侧的放大图所示的Gr像素、R像素、Gb像素、B像素这4个像素的组。
在本实施方式中，在一部分摄像像素21a的位置配置相位差检测像素21b。相位差检测像素例如是通过遮光膜对左右的任意区域进行遮光的像素。在图2的例子中，沿着垂直方向接近配置对左半面进行遮光的相位差检测像素(以下称为右开口相位差检测像素)的行和对右半面进行遮光的相位差检测像素(以下称为左开口相位差检测像素)的行。
在高像素数的摄像元件的情况下，由于各个像素的面积较小，所以，可以认为在接近配置的像素中形成大致相同的像。因此，通过如图2所示那样配置相位差检测像素，能够利用图2的A行的相位差检测像素和B行的相位差检测像素的对儿来检测相位差。并且，还能够利用C行的相位差检测像素和D行的相位差检测像素的对儿来检测相位差。
在图2的例子中，设相位差检测像素中的遮光区域为左右任意的区域。该情况下，能够检测水平相位差。与此相对，通过设遮光区域为上下任意的区域或倾斜方向的区域，也能够检测垂直相位差或倾斜方向的相位差。并且，只要具有某种程度的面积即可，遮光面积也可以不是像素区域的1/2。进而，在图2中将相位差检测像素配置在G像素中，但是，也可以配置在G像素以外的R像素、B像素中的任意一方中。并且，图2的例子示出了通过对相位差检测像素的一部分区域进行遮光来进行瞳分割的例子，但是，相位差检测像素只要能够选择性地接收穿过摄影镜头11的不同瞳区域的成对的被摄体光束中的一方即可。因此，也可以不采用对一部分区域进行遮光的结构，例如通过瞳分割用的微镜头进行瞳分割。进而，图2示出了沿着水平方向以4个像素周期配置相位差检测像素的例子。配置相位差检测像素的周期不限于特定的周期。
由于相位差检测像素的一部分区域被遮光，所以光量降低。除了相位差检测像素中形成的遮光膜的面积以外，该光量的降低还根据遮光膜的位置、入射到相位差检测像素的光的角度、像高而不同。在图像处理部31中对这种光量的降低进行校正。
图3是示出图像处理部31的详细结构的图。在图3中，省略图像处理部31以外的块的图示。如图3所示，图像处理部31具有白平衡(WB)校正处理部311、增益量估计部312、增益校正部313、插值判断处理部314、插值处理部315、同时化处理部316、亮度特性转换部317、边缘强调处理部318、噪声降低(NR)处理部319、颜色再现处理部320。
WB校正处理部311通过利用规定的增益量放大摄像数据的各颜色成分，进行校正图像的颜色平衡的白平衡校正处理。
增益量估计部312计算用于估计在增益校正部313中对相位差检测像素的像素输出进行校正的增益量的函数。该函数是表示相位差检测像素相对于摄像像素的光量降低量的函数。根据相位差检测像素的像素输出与相位差检测像素的附近的摄像像素的像素输出的比率来计算相位差检测像素的光量降低量。增益校正部313根据增益量估计部312估计出的增益量对相位差检测像素的像素输出进行校正。增益量估计部312和增益校正部313的详细情况在后面说明。
插值判断处理部314判断由增益校正部313进行增益校正后的相位差检测像素的像素输出的应用比例。应用比例例如是增益校正后的相位差检测像素的像素输出和相位差检测像素的周边的摄像像素的像素输出的加权相加时的加权系数。这里，周边的摄像像素例如是相位差检测像素的周边的相同颜色(在拜耳排列的情况下为相同成分)的4个摄像像素。当然，周边的摄像像素的像素数不限于4个像素。并且，例如根据相位差检测像素的周边的摄像像素的像素输出的偏差来判断加权系数。插值处理部315进行如下的插值处理：根据由插值判断处理部314判断出的应用比例对由增益校正部313进行增益校正后的相位差检测像素的像素输出与其周边的摄像像素的像素输出进行加权相加。
同时化处理部316例如将对应于拜耳排列而经由摄像元件21输出的摄像数据等的、1个像素对应于1个颜色成分的摄像数据转换为1个像素对应于多个颜色成分的图像数据。亮度特性转换部317对图像数据的亮度特性(伽马特性)进行转换以使其适用于显示和记录。边缘强调处理部318对使用带通滤波器等从图像数据中提取出的边缘信号乘以边缘强调系数，将该结果与原来的图像数据进行相加，由此对图像数据中的边缘(轮廓)成分进行强调。NR处理部319利用除心(coring)处理等去除图像数据中的噪声成分。颜色再现处理部320进行用于使图像数据的颜色再现适当化的各种处理。作为该处理，例如存在彩色矩阵运算处理。彩色矩阵运算处理是对图像数据乘以例如与白平衡模式对应的彩色矩阵系数的处理。除此之外，颜色再现处理部320进行彩度/色相的校正。
图4是示出增益量估计部312的结构的图。增益量估计部312具有伪真值计算处理部3121和比率计算处理部3122。
伪真值计算处理部3121进行如下的伪真值计算处理：用于计算作为在比率计算处理部3122中进行比率计算时的基准的摄像像素(伪真值计算像素)的像素输出。比率计算处理部3122通过计算相位差检测像素的像素输出和伪真值计算像素的像素输出的比率，计算用于对各相位差检测像素的像素输出进行增益校正的函数。
下面，对本实施方式的摄像装置的动作进行说明。图5是示出摄像装置的动态图像记录处理的流程图。根据ROM 43中存储的程序，通过CPU 29执行图5所示的流程图的处理。并且，图5所示的处理还能够应用于静态图像记录处理和实时取景显示处理。
图5的流程图的处理开始后，CPU 29使摄像元件21执行摄像(曝光)(步骤S101)。根据与预先设定的驱动模式对应的读出方式，从摄像元件21中读出通过摄像而得到的图像信号。该读出的图像信号在A-AMP 25中进行放大、在ADC 27中进行数字化后，作为摄像数据暂时存储在DRAM 41中。
接着，CPU 29进行焦点检测处理(步骤S102)。这里，CPU 29使焦点检测电路33执行焦点检测处理。焦点检测电路33接受焦点检测处理的执行指示，从暂时存储于DRAM 41中的摄像数据中读出与相位差检测像素对应的像素数据，使用该像素数据，通过公知的相位差法计算摄影镜头11的散焦方向和散焦量。接着，CPU 29根据由焦点检测电路33检测到的摄影镜头11的散焦方向和散焦量对驱动部17进行控制，使摄影镜头11对焦。
在焦点检测处理后，CPU 29使图像处理部31执行图像处理。图像处理部31接受该指示而进行摄像数据中的像素的扫描并选择像素数据(步骤S103)。例如从摄像数据的左上端朝向右下端进行像素的扫描。另外，在循环处理中，只要对相位差检测像素的像素输出进行校正即可。因此，在步骤S103中，也可以不选择相位差检测像素以外的像素数据。该情况下，在循环处理外进行步骤S104的白平衡校正处理。
在选择了像素数据后，图像处理部31的WB校正处理部311对像素数据实施白平衡校正处理(步骤S104)。接着，增益量估计部312的伪真值计算处理部3121进行伪真值计算处理(步骤S105)。下面，对伪真值计算处理的例子进行说明。
图6是用于说明伪真值计算处理的图。伪真值计算处理是从在摄像数据中设定的规定的搜索范围中搜索与包含成为当前伪真值计算处理的对象的像素(即步骤S103中选择出的像素)的块相似的块的处理。例如使用公知的块匹配法来进行该搜索。图6的相位差检测像素Gr(右)是成为伪真值计算处理的对象的像素。并且，在图6中示出搜索范围S的大小为9×7像素、1个块的大小为3×3像素的例子。搜索范围S和1个块的大小不限于图6所示的情况。
作为具体的伪真值计算处理，首先，伪真值计算处理部3121在搜索范围S内设定基准块Base和参照块Ref。这里，基准块Base是以成为当前伪真值计算处理的对象的像素(在图6的例子中为相位差检测像素Gr(右))为中心的块。并且，参照块Ref是搜索范围S内设定的与基准块Base相同大小的块。
在分别设定了基准块Base和参照块Ref后，伪真值计算处理部3121计算基准块Base和参照块Ref的对应像素彼此的像素输出之差的绝对值。通过图6的箭头示出计算差分绝对值的像素的关系。另外，在图6中仅例示了3个像素的关系，但是，实际上计算块内的各个像素的差分绝对值。在计算出基准块Base和参照块Ref的各像素的差分绝对值后，伪真值计算处理部3121计算所计算出的差分绝对值的相乘值作为相关值。
在计算出针对1个参照块Ref的相关值后，伪真值计算处理部3121在搜索范围S中使参照块Ref的位置偏移，在基准块Base与偏移了位置后的参照块Ref之间，与上述同样地计算相关值。这里，参照块Ref的位置例如从搜索范围S的左上端朝向右下端偏移。此时的参照块Ref的位置偏移量和位置偏移方向没有特别限制。
在参照块Ref到达搜索范围S的末端(例如右下端)之前，反复进行以上的参照块Ref的位置偏移和相关值的计算。然后，在计算出搜索范围S内的末端位置的参照块Ref的相关值后，伪真值计算处理部3121将具有针对各参照块Ref计算出的相关值中的最小的相关值的参照块Ref(即与基准块Base之间的相关度最高的参照块Ref)的中心的摄像像素作为伪真值计算像素。由此，伪真值计算处理结束。另外，相关值的计算不限于上述情况。在上述例子中，将相关值小的情况作为相关度高，但是，根据相关值的计算方法，有时也将相关值大的情况作为相关度高。
在伪真值计算处理中，不将伪真值计算像素作为相位差检测像素。因此，在伪真值计算处理中，只要计算中心像素为摄像像素的参照块Ref的相关值即可。因此，可以在参照块Ref的位置偏移的时刻使参照块Ref的位置偏移，以使得参照块Ref的中心的像素不会成为相位差检测像素。
并且，在伪真值计算像素中，将差分绝对值和作为相关值。除此以外，可以将差分平方和作为相关值等，可以通过适当组合四则运算而得到相关值。例如，根据摄像的驱动模式，在更加要求高速性的驱动模式的情况下，由于无法减轻运算，所以不求出差分平方和而求出差分绝对值等，可以根据使用形式来切换运算方法。
在伪真值计算处理结束后，增益量估计部312的比率计算处理部3122进行比率计算处理(步骤S106)。在比率计算处理中，计算成为当前比率计算处理的对象的相位差检测像素的像素输出和与该相位差检测像素对应的伪真值计算像素的像素输出之比。例如，在设伪真值计算像素的像素输出为Gr1、相位差检测像素的像素输出为Gr2时，根据以下的(式1)计算像素输出的比Dif_pi。
Dif_pi＝Gr1/Gr2 (式1)
如上所述，相位差检测像素的一部分区域被遮光。因此，即使与附近的摄像像素相同量的光入射到相位差检测像素，相位差检测像素的像素输出也会低于摄像像素的像素输出。可以通过单纯地计算两者之比来计算相位差检测像素的像素输出相对于摄像像素的像素输出的降低量。这里，由于动态图像拍摄时的摄像数据不一定是对均匀亮度面进行摄像而得到的，所以，摄像像素的像素输出和相位差检测像素的像素输出都可能受被摄体像(构图)的变化的影响而变动。因此，当在摄像像素与相位差检测像素之间存在构图的变化时，无法正确求出相位差检测像素的像素输出相对于摄像像素的像素输出的降低量。例如，如图7所示，在倾斜地穿过基准块这样的构图的被摄体像成像在摄像元件21中的情况下，当在形成被摄体像的像素和未形成被摄体像的像素中进行像素输出的比较时，比率计算的结果产生误差。
在本实施方式中，在相位差检测像素和相关的摄像像素之间求出像素输出的降低量。因此，能够在减小了构图的变化的影响的状态下求出比率。进而，在本实施方式的情况下，求出块单位的相关度。例如，在图7的例子中，与基准块之间的相关度高的参照块与基准块同样存在于被摄体像的部分中的可能性较高。即，通过将与基准块之间的相关度高的参照块的摄像像素作为伪真值计算像素，能够在进一步减小了构图的影响的状态下进行比率的计算。
在比率计算处理后，图像处理部31判定像素的扫描是否结束，作为循环处理的结束判定(步骤S107)。在图像处理部31中判定为像素的扫描未结束的情况下，继续进行循环处理。另一方面，在图像处理部31中判定为像素的扫描结束的情况下，循环处理结束。在循环处理结束后，增益校正部313进行增益校正处理(步骤S108)。通过步骤S103-S107的循环处理，计算表示各相位差检测像素相对于摄像像素的光量的降低量的函数。该函数例如由1次函数y＝ax+b的形式表现。这里，x是水平坐标(水平像高)，y是以摄像像素的像素输出为基准的相位差检测像素的像素输出(即光量降低量)。并且，例如通过最小二乘法，如以下的(式2)所示那样给出该1次函数的斜率a和截距b。
(式2)
(式2)的i表示水平坐标x的值。并且，start_x是水平坐标x的开始坐标。进而，设在水平方向上排列有n个像素。通过进行将这种(式2)所示的函数的值与各相位差检测像素的像素输出相乘的增益校正，对各相位差检测像素的像素输出中的光量降低进行校正。
(式2)是利用1次式来近似光量降低量的例子。也可以使用2次式以上的高次式来近似光量降低量。并且，也可以不基于最小二乘法而利用拉格朗日插值或仿样插值这样的公知方法进行近似。
在增益校正处理后，插值判断处理部314判断由增益校正部313进行增益校正后的相位差检测像素的像素输出的应用比例(步骤S109)。如上所述，应用比例例如是增益校正后的相位差检测像素的像素输出和相位差检测像素的周边的摄像像素的像素输出的加权相加时的加权系数。在插值判断处理部314进行判断后，插值处理部315进行如下的插值处理：根据由插值判断处理部314判断出的应用比例对由增益校正部313进行增益校正后的相位差检测像素的像素输出与其周边的摄像像素的像素输出进行加权相加(步骤S110)。
在插值处理后，图像处理部31执行插值处理以后的图像处理(步骤S111)。在图像处理结束后，CPU 29将DRAM 41中暂时存储的图像数据作为图像处理的结果记录在记录介质45中(步骤S112)。接着，CPU 29判定是否使动态图像记录停止(步骤S113)。这里，CPU 29判定操作部19的释放按钮的操作状态。即，在再次按下释放按钮的情况下，CPU 29判定为使动态图像记录停止。
在步骤S113中判定为未使动态图像记录停止的情况下，CPU 29使处理返回步骤S101，继续进行动态图像记录。另一方面，在步骤S113中判定为使动态图像记录停止的情况下，CPU 29使图5的处理结束。
如以上说明的那样，在本实施方式中，在估计用于对相位差检测像素的像素输出进行增益校正的增益量时，根据要求出增益量的相位差检测像素和与该相位差检测像素之间的相关度高的摄像像素的比率来估计增益量。相关度高的像素是指在相位差检测像素与摄像像素之间构图的倾向相似。由此，能够减小构图的影响来进行像素输出的比较。其结果，能够提高增益量的估计精度。进而，通过以块为单位来判断相关度，能够进一步提高增益量的估计精度。
在所述实施方式中，将相关值最小的参照块的中心的摄像像素作为伪真值计算像素。与此相对，也可以通过使用了针对各参照块计算出的相关值的加权平均来计算伪真值计算像素。对该情况下的方法的一例进行说明。首先，进行归一化以使得针对各参照块计算出的相关值中的最小的相关值的最大值为1。接着，将各归一化后的相关值作为权重系数来计算各参照块的中心的摄像像素的像素输出的加权平均值，将该计算结果作为伪真值计算像素的像素输出。通过将这种加权平均值作为伪真值计算像素的像素输出，能够进一步提高增益量的估计精度。
并且，在本实施方式中，设搜索范围的大小为9×7像素，设1个块的大小为3×3像素。但是，搜索范围的大小和形状以及块的大小和形状不限于图6所示的例子。例如，在相位差检测像素的配置不是矩形范围的情况下，搜索范围和块的形状也可以不是矩形。并且，块的大小也可以是1×1像素。进而，还可以根据摄像元件21的驱动模式等各种条件而自适应地改变搜索范围和块的大小。例如，在摄像元件21的驱动模式为动态图像记录用的驱动模式时或实时取景显示时，通过缩窄搜索范围，能够提高伪真值计算像素的计算精度。并且，在本实施方式中，进行基准块的设定以使得相位差检测像素位于中心，但是，相位差检测像素的位置也可以不一定是中心。在相位差检测像素不位于基准块的中心的情况下，伪真值计算像素的位置也不是参照块的中心，而是与相位差检测像素相等的位置。
上述实施方式的各处理也可以作为能够由CPU 29执行的程序来存储。除此之外，可以存储在存储卡(ROM卡、RAM卡等)、磁盘(硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。而且，CPU 29通过读入该外部存储装置的存储介质中存储的程序并根据该读入的程序来控制动作，能够执行上述处理。
本领域技术人员将容易地想起其他优点和变形例。因此，本发明的更广的方面不限于这里给出和描述的具体细节和代表性实施例。因此，可以在不脱离如用所附权利要求及它们的等同例定义的一般发明概念的精神或范围的情况下进行各种变形。
Claims (12)
1.一种图像处理装置，其对来自摄像元件的像素输出进行处理，所述摄像元件具有在检测相位差的方向上排列的相位差检测像素和摄像像素，其中，该图像处理装置具有：
增益校正部，其对所述相位差检测像素的像素输出进行增益校正；以及
增益量估计部，其估计所述增益校正时的增益量，
所述增益量估计部具有伪真值计算处理部，该伪真值计算处理部根据基准块和参照块的像素输出的相关度，计算伪真值计算像素的像素输出，所述基准块包含所述相位差检测像素，所述参照块是在搜索与所述基准块相似的块的搜索范围内设定的，
所述增益量估计部根据所述伪真值计算像素的像素输出与所述相位差检测像素的像素输出的比率，估计所述增益量，
所述增益校正部根据所述估计出的增益量对所述相位差检测像素的像素输出进行增益校正。
2.根据权利要求1所述的图像处理装置，其中，
所述基准块是包含所述相位差检测像素在内的1个像素以上的块，
所述参照块是在所述搜索范围内从所述基准块向水平、垂直或倾斜方向偏移后的位置的块，
所述伪真值计算处理部通过所述基准块与所述参照块之间的四则运算来计算相关值，根据该相关值计算所述伪真值计算像素的像素输出。
3.根据权利要求2所述的图像处理装置，其中，
所述伪真值计算处理部取决于所述相位差检测像素的配置或所述摄像元件的驱动模式而自适应地改变用于计算所述相关值的所述四则运算的方法、所述基准块和所述参照块的大小和偏移量、所述搜索范围的大小和形状。
4.根据权利要求2所述的图像处理装置，其中，
所述伪真值计算处理部计算通过所述相关值判断出的相关度最高的参照块的与所述相位差检测像素相等的位置的摄像像素的像素输出，作为所述伪真值计算像素的像素输出。
5.根据权利要求2所述的图像处理装置，其中，
所述伪真值计算处理部使用针对多个所述参照块计算出的多个所述相关值，对多个所述参照块各自的与所述相位差检测像素相等的位置的摄像像素的像素输出进行加权平均，将通过该加权平均得到的像素输出作为所述伪真值计算像素的像素输出。
6.根据权利要求5所述的图像处理装置，其中，
所述伪真值计算处理部针对通过所述相关值判断出的相关度高的参照块的所述摄像像素的像素输出，提高所述加权的比例。
7.一种图像处理方法，用于对来自摄像元件的像素输出进行处理，所述摄像元件具有在检测相位差的方向上排列的相位差检测像素和摄像像素，其中，该图像处理方法包括以下步骤：
根据基准块和参照块的像素输出的相关度，计算伪真值计算像素的像素输出，所述基准块包含所述相位差检测像素，所述参照块是在包含所述基准块的搜索范围内设定的；
根据所述伪真值计算像素的像素输出与所述相位差检测像素的像素输出的比率，估计增益量；以及
根据所述估计出的增益量对所述相位差检测像素的像素输出进行增益校正。
8.根据权利要求7所述的图像处理方法，其中，
所述基准块是包含所述相位差检测像素在内的1个像素以上的块，
所述参照块是在所述搜索范围内从所述基准块向水平、垂直或倾斜方向偏移后的位置的块，
在计算所述伪真值计算像素的像素输出的步骤中，通过所述基准块与所述参照块之间的四则运算来计算相关值，根据该相关值计算所述伪真值计算像素的像素输出。
9.根据权利要求8所述的图像处理方法，其中，
在计算所述伪真值计算像素的像素输出的步骤中，取决于所述相位差检测像素的配置或所述摄像元件的驱动模式而自适应地改变用于计算所述相关值的所述四则运算的方法、所述基准块和所述参照块的大小和偏移量、所述搜索范围的大小和形状。
10.根据权利要求8所述的图像处理方法，其中，
在计算所述伪真值计算像素的像素输出的步骤中，计算通过所述相关值判断出的相关度最高的参照块的与所述相位差检测像素相等的位置的摄像像素的像素输出，作为所述伪真值计算像素的像素输出。
11.根据权利要求8所述的图像处理方法，其中，
在计算所述伪真值计算像素的像素输出的步骤中，使用针对多个所述参照块计算出的多个所述相关值，对多个所述参照块各自的与所述相位差检测像素相等的位置的摄像像素的像素输出进行加权平均，将通过该加权平均得到的像素输出作为所述伪真值计算像素的像素输出。
12.根据权利要求11所述的图像处理方法，其中，
在计算所述伪真值计算像素的像素输出的步骤中，针对通过所述相关值判断出的相关度高的参照块的所述摄像像素的像素输出，提高所述加权的比例。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013202549A JP6099536B2 (ja) | 2013-09-27 | 2013-09-27 | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2013-202549 | 2013-09-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104519274A CN104519274A (zh) | 2015-04-15 |
| CN104519274B true CN104519274B (zh) | 2017-10-31 |
Family
ID=52739800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410503642.3A Active CN104519274B (zh) | 2013-09-27 | 2014-09-26 | 图像处理装置和图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9319599B2 (zh) |
| JP (1) | JP6099536B2 (zh) |
| CN (1) | CN104519274B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009003512A1 (de) | 2009-02-20 | 2010-09-02 | Elantas Gmbh | Umweltfreundlicher lötbarer Drahtlack |
| TWI558211B (zh) * | 2015-11-19 | 2016-11-11 | 晶相光電股份有限公司 | 影像處理方法與裝置 |
| CN109196857B (zh) * | 2016-06-01 | 2020-10-27 | 富士胶片株式会社 | 成像元件及摄像装置 |
| WO2018185881A1 (ja) * | 2017-04-05 | 2018-10-11 | オリンパス株式会社 | 相関値演算装置 |
| CN110537202B (zh) * | 2017-04-10 | 2022-10-04 | 奥林巴斯株式会社 | 相关值运算装置 |
| CN109727196B (zh) * | 2018-12-26 | 2023-06-02 | 呈像科技(北京)有限公司 | 图像内插处理方法 |
| KR20220036630A (ko) | 2020-09-16 | 2022-03-23 | 삼성전자주식회사 | 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
| JP5200955B2 (ja) * | 2008-02-14 | 2013-06-05 | 株式会社ニコン | 画像処理装置、撮像装置及び画像処理プログラム |
| JP5317562B2 (ja) * | 2008-07-17 | 2013-10-16 | キヤノン株式会社 | 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム |
| JP5371331B2 (ja) | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
| JP5326920B2 (ja) * | 2009-08-07 | 2013-10-30 | 株式会社リコー | 画像処理装置、画像処理方法、及び、コンピュータプログラム |
| JP5616442B2 (ja) * | 2010-06-09 | 2014-10-29 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
| JP2013003387A (ja) * | 2011-06-17 | 2013-01-07 | Nikon Corp | 撮像装置 |
| JP5857547B2 (ja) * | 2011-09-01 | 2016-02-10 | 株式会社ニコン | 焦点検出装置および焦点調節装置 |
| JP5888940B2 (ja) * | 2011-11-11 | 2016-03-22 | オリンパス株式会社 | 撮像装置、撮像装置の制御方法、およびプログラム |
| CN104041009B (zh) * | 2011-12-28 | 2016-02-03 | 富士胶片株式会社 | 摄像元件及摄像装置 |
-
2013
- 2013-09-27 JP JP2013202549A patent/JP6099536B2/ja active Active
-
2014
- 2014-09-25 US US14/496,642 patent/US9319599B2/en not_active Expired - Fee Related
- 2014-09-26 CN CN201410503642.3A patent/CN104519274B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN104519274A (zh) | 2015-04-15 |
| JP6099536B2 (ja) | 2017-03-22 |
| US9319599B2 (en) | 2016-04-19 |
| US20150092088A1 (en) | 2015-04-02 |
| JP2015070433A (ja) | 2015-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104519274B (zh) | 图像处理装置和图像处理方法 | |
| CN104285436B (zh) | 摄像装置和摄像装置的控制方法 | |
| JP6555863B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP6460653B2 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
| JP6124720B2 (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
| US10638072B2 (en) | Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal | |
| US10397473B2 (en) | Image processing apparatus having an image synthesis unit that generates synthesized image data depending on an object brightness, and related image-pickup apparatus | |
| JP5826901B2 (ja) | 撮像装置及び光軸位置算出方法 | |
| US9088710B2 (en) | Image processing apparatus, and method, and recording medium recording image processing program for processing output pixels utilized as phase difference detecting elements | |
| CN107736020B (zh) | 摄像装置、图像处理装置、图像处理方法和图像处理程序 | |
| US9503661B2 (en) | Imaging apparatus and image processing method | |
| WO2015005249A1 (ja) | 撮像装置、カメラシステム及び画像処理方法 | |
| JP6334976B2 (ja) | 測光に使用される焦点検出ピクセルを備えたデジタル・カメラ | |
| CN104580949B (zh) | 图像处理装置和图像处理方法 | |
| JP6364259B2 (ja) | 撮像装置、画像処理方法、及び画像処理プログラム | |
| JP2018050231A (ja) | 撮像装置、撮像方法および撮像制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |