CN105745923A - 摄像装置、图像处理方法和图像处理程序 - Google Patents
摄像装置、图像处理方法和图像处理程序 Download PDFInfo
- Publication number
- CN105745923A CN105745923A CN201580002613.1A CN201580002613A CN105745923A CN 105745923 A CN105745923 A CN 105745923A CN 201580002613 A CN201580002613 A CN 201580002613A CN 105745923 A CN105745923 A CN 105745923A
- Authority
- CN
- China
- Prior art keywords
- pixel
- weight
- phase difference
- difference detection
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 227
- 238000003384 imaging method Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 238000011161 development Methods 0.000 description 13
- 230000018109 developmental process Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 230000002542 deteriorative effect Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 235000009508 confectionery Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 240000001439 Opuntia Species 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000003380 propellant Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
摄像装置(1)具有摄像元件(23)、记录部(43)、插值方向判断部(112)、权重计算部(114)、插值处理部(116)。摄像元件(23)包含摄像用的通常像素和具有摄像以外的功能且在第1方向上以不均等的间隔配置的功能性像素。记录部(43)记录功能性像素的配置。插值方向判断部(112)取得第1方向的方向信息。权重计算部(114)分别计算第1方向的第1权重和与第1方向不同的方向的第2权重。插值处理部(116)根据应用第1权重和第2权重而得到的功能性像素的周围的通常像素的像素值对功能性像素的像素值进行插值。
Description
技术领域
本发明涉及摄像装置、图像处理方法和图像处理程序。
背景技术
在将由光学系统成像的光学像转换为电信号的摄像元件中，公知有构成为一部分像素输出焦点检测用的信号的摄像元件。例如在日本特开2000-156823号公报中公开了如下的摄像元件的技术：为了使一部分像素具有基于光瞳相位差方式的测距功能，对该像素的受光面的一部分进行遮光。由具有这种测距功能的相位差像素取得的信息例如用于将光学系统设定为对焦状态的自动对焦处理。
为了针对所有频率的被摄体得到正确的对焦，优选相位差检测像素配置在摄像元件的整个面上。但是，当配置多个相位差检测像素时，构成图像的像素显著减少，产生很大的画质劣化。因此，提出了离散配置相位差检测像素的方式。
关于相位差检测像素的离散的配置方法，为了检测所有频率的相位差，例如如果是用于检测横线的像素，则优选配置成在垂直方向上尽量没有间隙。因此，提出了如下研究：在与相位差检测方向不同的方向上以具有阶梯差的方式配置相位差检测像素，以使得配置成高密度。
相位差检测像素的输出无法直接作为图像数据进行使用。因此，需要进行输出值的校正。因此，考虑利用其周边的像素的输出值对相位差检测像素的输出值进行校正。这里，当简单地根据周边的像素的输出值的平均对相位差检测像素的输出值进行校正时，可能产生画质的劣化。特别是在以设置阶梯差的方式配置相位差检测像素的情况下，产生不规则的图案。
另一方面，例如在日本特开2010-062640号公报中公开了如下的校正的方法。即，根据从相位差检测像素的周边的像素输出的值的标准偏差判断是否是高频成分，对相位差检测像素的输出值及其周边的像素的输出值的利用比例进行调整。但是，这样，当使用根据周边的像素值而自适应地调整滤波器系数的算法时，电路规模容易增大，消耗电力容易增大。
发明内容
本发明的目的在于，提供摄像装置、图像处理方法和图像处理程序，针对由包含相位差检测像素这样的具有摄像以外的功能的功能性像素在内的摄像元件得到的图像数据，实施抑制运算量并提高画质的图像处理。
为了实现所述目的，根据本发明的一个方式，摄像装置具有：摄像元件，其具有包含摄像用的通常像素和具有摄像以外的功能的功能性像素在内的二维配置的多个像素，所述功能性像素在规定的第1方向上以不均等的间隔配置；记录部，其记录所述摄像元件中的所述功能性像素的配置；插值方向判断部，其根据从所述记录部取得的所述功能性像素的所述配置，取得作为所述第1方向的方向信息；权重计算部，其根据从所述记录部取得的所述功能性像素的所述配置，分别计算所述第1方向上的加权量即第1权重和小于所述第1权重的至少一个加权量即第2权重，该第2权重是与所述第1方向不同的方向上的加权量；以及插值处理部，其进行如下的像素插值：针对由所述摄像元件得到的图像数据，对由所述第1方向上配置的所述通常像素得到的像素值应用所述第1权重，对由与所述第1方向不同的方向上配置的所述通常像素得到像素值应用所述第2权重，根据由所述功能性像素的周围的所述通常像素得到的所述像素值对该功能性像素的像素值进行插值。
为了实现所述目的，根据本发明的一个方式，图像处理方法是对使用摄像元件得到的图像数据实施的图像处理方法，该摄像元件具有包含摄像用的通常像素和具有摄像以外的功能的功能性像素在内的二维配置的多个像素，所述功能性像素在规定的第1方向上以不均等的间隔配置，所述图像处理方法包括以下步骤：根据从记录所述摄像元件中的所述功能性像素的配置的记录部取得的所述功能性像素的所述配置，取得作为所述第1方向的方向信息；根据从所述记录部取得的所述功能性像素的所述配置，分别计算所述第1方向上的加权量即第1权重和小于所述第1权重的至少一个加权量即第2权重，该第2权重是与所述第1方向不同的方向上的加权量；以及进行如下的像素插值：针对由所述摄像元件得到的图像数据，对由所述第1方向上配置的所述通常像素得到像素值应用所述第1权重，对由与所述第1方向不同的方向上配置的所述通常像素得到的像素值应用所述第2权重，根据由所述功能性像素的周围的所述通常像素得到的所述像素值对该功能性像素的像素值进行插值。
为了实现所述目的，根据本发明的一个方式，图像处理程序用于使计算机执行对使用摄像元件得到的图像数据实施的图像处理，该摄像元件具有包含摄像用的通常像素和具有摄像以外的功能的功能性像素在内的二维配置的多个像素，所述功能性像素在规定第1方向上以不均等的间隔进行配置，其中，所述图像处理程序用于使计算机执行以下步骤：根据从记录所述摄像元件中的所述功能性像素的配置的记录部取得的所述功能性像素的所述配置，取得作为所述第1方向的方向信息；根据从所述记录部取得的所述功能性像素的所述配置，分别计算所述第1方向上的加权量即第1权重和小于所述第1权重的至少一个加权量即第2权重，该第2权重是与所述第1方向不同的方向上的加权量；以及进行如下的像素插值：针对由所述摄像元件得到的图像数据，对由所述第1方向上配置的所述通常像素得到像素值应用所述第1权重，对由与所述第1方向不同的方向上配置的所述通常像素得到的像素值应用所述第2权重，根据由所述功能性像素的周围的所述通常像素得到的所述像素值对该功能性像素的像素值进行插值。
根据本发明，能够提供针对由包含相位差检测像素这样的具有摄像以外的功能的功能性像素在内的摄像元件得到的图像数据，实施抑制运算量并提高画质的图像处理的摄像装置、图像处理方法和图像处理程序。
附图说明
图1是示出本发明的一个实施方式的摄像装置的结构例的概略的框图。
图2是示出一个实施方式的摄像元件的结构例的概略的图。
图3A是用于说明使用一个实施方式的摄像元件的基于相位差法的焦点检测的原理的图。
图3B是用于说明使用一个实施方式的摄像元件的基于相位差法的焦点检测的原理的图。
图4是示出一个实施方式的摄像控制电路的结构例的概略的框图。
图5是示出一个实施方式的动态图像记录处理的一例的流程图。
图6A是示出一个实施方式的摄像元件的结构例的概略的图，是示出左开口相位差检测像素和右开口相位差检测像素的配置例的图。
图6B是示出一个实施方式的摄像元件的结构例的概略的图，是示出上开口相位差检测像素和下开口相位差检测像素的配置例的图。
图7A是用于说明像素插值的图，是示出被摄体像的概略的示意图。
图7B是用于说明像素插值的图，是用于说明使用左开口相位差检测像素或右开口相位差检测像素的水平方向上相邻的通常像素的像素值进行插值的示意图。
图7C是用于说明像素插值的图，是示出使用水平方向上相邻的通常像素的像素值进行插值的情况下得到的图像的概略的示意图。
图8A是用于说明像素插值的图，是用于说明使用左开口相位差检测像素或右开口相位差检测像素的垂直方向上相邻的通常像素的像素值进行插值的示意图。
图8B是用于说明像素插值的图，是示出使用垂直方向上相邻的通常像素的像素值进行插值的情况下得到的图像的概略的示意图。
图9A是用于说明像素插值的图，是示出被摄体像的概略的示意图。
图9B是用于说明像素插值的图，是用于说明使用左开口相位差检测像素或右开口相位差检测像素的垂直方向上相邻的通常像素的像素值进行插值的示意图。
图9C是用于说明像素插值的图，是示出使用垂直方向上相邻的通常像素的像素值进行插值的情况下得到的图像的概略的示意图。
图10A是用于说明像素插值的图，是示出被摄体像的概略的示意图。
图10B是用于说明像素插值的图，是用于说明使用上开口相位差检测像素或下开口相位差检测像素的垂直方向上相邻的通常像素的像素值进行插值的示意图。
图10C是用于说明像素插值的图，是示出使用垂直方向上相邻的通常像素的像素值进行插值的情况下得到的图像的概略的示意图。
图11A是用于说明像素插值的图，是用于说明使用上开口相位差检测像素或下开口相位差检测像素的水平方向上相邻的通常像素的像素值进行插值的示意图。
图11B是用于说明像素插值的图，是示出使用水平方向上相邻的通常像素的像素值进行插值的情况下得到的图像的概略的示意图。
图12A是用于说明像素插值的图，是示出被摄体像的概略的示意图。
图12B是用于说明像素插值的图，是用于说明使用上开口相位差检测像素或下开口相位差检测像素的水平方向上相邻的通常像素的像素值进行插值的示意图。
图12C是用于说明像素插值的图，是示出使用水平方向上相邻的通常像素的像素值进行插值的情况下得到的图像的概略的示意图。
图13A是用于说明右开口相位差检测像素的像素插值的图。
图13B是用于说明上开口相位差检测像素的像素插值的图。
图14是示出一个实施方式的摄像元件的结构例的概略的图，是示出功能性像素的配置的一例的示意图。
图15A是用于说明像素相加的图。
图15B是用于说明像素相加的图。
具体实施方式
参照附图对本发明的一个实施方式进行说明。图1是示出作为本发明的一个实施方式的摄像装置的一例的数字照相机1的结构的框图。这里，在图1中，带箭头的实线表示数据流，带箭头的虚线表示控制信号流。
图1所示的数字照相机1具有摄影镜头11、光圈13、机械快门15、驱动部17、操作部19、包含摄像元件23和摄像控制电路25的摄像部21、CentralProcessingUnit(CPU)29、显影处理部31、焦点检测电路33、视频编码器35、显示部37、总线39、DynamicRandomAccessMemory(DRAM)41、ReadOnlyMemory(ROM)43、记录介质45。
摄影镜头11是用于在摄像元件23上形成被摄体100的像的由一个或多个透镜构成的光学系统。摄影镜头11可以是单焦点镜头，也可以是变焦镜头。光圈13配置在摄影镜头11的光轴上，构成为其口径能够变化。光圈13限制穿过摄影镜头11的来自被摄体100的光束的量。机械快门15配置在光圈13的后方，构成为开闭自如。机械快门15通过调节其开放时间，对从被摄体100到来的被摄体光束入射到摄像元件23的入射时间进行调节。即，机械快门15对摄像元件23的曝光时间进行调整。作为机械快门15，可以采用公知的焦面快门、中心式快门等。驱动部17根据来自CPU29的控制信号进行摄影镜头11的焦点调节、光圈13的开口直径控制和机械快门15的开闭控制。
操作部19包括电源按钮、释放按钮、再现按钮、菜单按钮这样的各种操作按钮和触摸面板等各种操作部件。能够通过基于CPU29的处理来识别针对该操作部19的输入。
摄像元件23配置在摄影镜头11的光轴上的机械快门15的后方且通过摄影镜头11使被摄体光束成像的位置。摄像元件23构成为二维配置有构成像素的光电二极管。构成摄像元件23的光电二极管生成与受光量对应的电荷。光电二极管产生的电荷蓄积在与各光电二极管连接的电容器中。该电容器中蓄积的电荷被作为图像信号读出。这里，本实施方式中的摄像元件23具有多个不同的电荷的读出方式。根据来自摄像控制电路25的控制信号读出摄像元件23中蓄积的电荷。
在构成像素的光电二极管的前表面配置有例如拜耳排列的滤色器。拜耳排列具有在水平方向上交替配置R像素和G(Gr)像素的行、以及交替配置G(Gb)像素和B像素的行。
并且，在本实施方式中的摄像元件23中，在一部分配置有相位差检测像素。即，在摄像元件23中，除了用于取得记录或显示用的图像的摄像像素以外，还设置有相位差检测像素。在相位差检测像素中，与其他像素不同，对一部分区域进行遮光。该相位差检测像素作为焦点检测所使用的焦点检测像素发挥功能。
使用图2对摄像元件23的结构例进行说明。图2是示出摄像元件23的像素排列例的示意图。在图2中，“R”表示设有红色滤色器的R像素，“G”表示设有绿色滤色器的G像素，“B”表示设有蓝色滤色器的B像素。并且，涂满黑色的区域表示被遮光的区域。图2示出拜耳排列的例子，但是，滤色器的排列不限于拜耳排列，可以使用各种排列。
如上所述，拜耳排列的摄像元件23具有在水平方向上交替配置R像素和G(Gr)像素的行、以及交替配置G(Gb)像素和B像素的行。换言之，拜耳排列的摄像元件23在水平和垂直方向上反复配置Gr像素、R像素、Gb像素、B像素这4个像素的组。
在本实施方式中，与设有红色滤色器、绿色滤色器或蓝色滤色器的通常像素23a混合来配置设有遮光膜的相位差检测像素。相位差检测像素例如是通过遮光膜对上下左右的任意区域进行遮光的像素。在图2的例子中，设置有对左半面进行遮光的相位差检测像素即右开口相位差检测像素23R、对右半面进行遮光的相位差检测像素即左开口相位差检测像素23L、对上半面进行遮光的相位差检测像素即下开口相位差检测像素23B、对下半面进行遮光的相位差检测像素即上开口相位差检测像素23T。
在高像素数的摄像元件的情况下，由于各个像素的面积较小，所以，认为在接近配置的像素中形成大致相同的像。因此，通过如图2所示配置相位差检测像素，能够利用接近的右开口相位差检测像素23R和左开口相位差检测像素23L的对儿来检测相位差。根据右开口相位差检测像素23R和左开口相位差检测像素23L的对儿，能够检测水平方向的相位差。同样，能够利用接近的下开口相位差检测像素23B和上开口相位差检测像素23T的对儿来检测相位差。根据下开口相位差检测像素23B和上开口相位差检测像素23T的对儿，能够检测垂直方向的相位差。
另外，只要具有某种程度的面积即可，遮光面积也可以不是像素区域的1/2。进而，在图2所示的例子中，右开口相位差检测像素23R和左开口相位差检测像素23L配置在Gr像素中，下开口相位差检测像素23B和上开口相位差检测像素23T配置在B像素中，但是，这些配置可以适当变更。
并且，图2的例子示出了通过对相位差检测像素的一部分区域进行遮光来进行光瞳分割的例子，但是，相位差检测像素只要能够选择性地接收穿过摄影镜头11的不同光瞳区域的成对儿的被摄体光束中的一方即可。因此，也可以不采用对一部分区域进行遮光的结构，例如可以通过光瞳分割用的微镜头进行光瞳分割。
参照图3A和图3B对使用图2所示的摄像元件的基于相位差法的焦点检测的原理进行说明。这里，图3A示出通常像素23a中的成像状态。图3B示出相位差检测像素23p中的成像状态。
当设被摄体为点光源时，在摄影镜头11为对焦状态时，从被摄体射出且穿过关于摄影镜头11的光轴中心对称的不同光瞳区域的成对儿的被摄体光束在摄像元件23上的同一位置成像。
另一方面，在摄影镜头11为非对焦状态时，从被摄体射出且穿过摄影镜头11的不同光瞳区域的成对儿的被摄体光束在摄像元件23上的不同位置成像。换言之，在由这些成对儿的被摄体光束形成的像之间产生相位差。例如根据在右开口相位差检测像素23R和左开口相位差检测像素23L中分别检测到的像的相关关系来检测该相位差，由此，能够检测摄影镜头11的散焦量和散焦方向。
另外，由于相位差检测像素23p的一部分区域被遮光，所以，产生光量的降低。除了相位差检测像素23p中形成的遮光膜的面积以外，该光量的降低还根据遮光膜的位置、入射到相位差检测像素23p的光的角度、像高而不同。
摄像控制电路25根据来自CPU29的控制信号设定摄像元件23的读出方式，根据所设定的读出方式对来自摄像元件23的图像信号的读出进行控制。此时，摄像控制电路25进行对由相位差检测像素23p取得的信号进行插值的处理。根据数字照相机1的摄像模式来设定来自摄像元件23的像素数据的读出方式。例如，在来自摄像元件23的像素数据的读出要求实时性的情况下(例如实时取景显示时或动态图像记录时)，为了能够高速进行像素数据的读出，混合读出来自多个相同颜色像素的像素数据，或间疏读出特定像素的像素数据。另一方面，在与实时性相比更加要求画质的情况下(例如静态图像的记录时)，不进行混合读出或间疏读出，通过读出全部像素的像素数据来维持分辨率。
进一步对摄像控制电路25进行说明。图4示出摄像控制电路25的结构例的概略。摄像控制电路25具有A-AMP102、ADC104、像素插值处理部110、像素间疏处理部122、像素混合处理部124。
A-AMP102进行从摄像元件23输出的图像信号的模拟增益调整。ADC104是模拟数字转换器，将由A-AMP102进行模拟增益调整后的图像信号转换为数字形式的图像信号(像素数据)。下面，在本说明书中，将多个像素数据的集合记载为摄像数据。并且，将由像素数据表示的各个像素的值记载为像素值。
像素插值处理部110进行相位差检测像素23p中取得的图像数据的插值的处理。即，相位差检测像素23p的一部分被遮光。因此，相位差检测像素23p中取得的图像数据与通常像素23a中取得的图像数据不同。因此，在进行取得图像的曝光时，像素插值处理部110通过周边的通常像素23a中取得的图像数据对相位差检测像素23p中取得的图像数据进行插值。另外，在焦点检测用曝光时，由相位差检测像素23p取得的图像数据直接写入DRAM41中。
像素插值处理部110具有插值方向判断部112、权重计算部114、插值处理部116。插值方向判断部112决定相位差检测像素23p的图像数据的插值所使用的通常像素23a的方向。即，插值方向判断部112决定使用位于哪个方向的通常像素23a的像素值对作为插值对象的相位差检测像素23p进行插值。权重计算部114在对用于插值的像素的像素值进行混合时，决定要混合的像素各自的权重。插值处理部116进行基于由权重计算部114计算出的权重值的相加平均，计算像素值。插值处理部116利用计算出的像素值对插值对象像素的像素值进行置换。
像素间疏处理部122进行像素数据的间疏读出的处理。像素混合处理部124进行像素数据的混合读出的处理。这样，由摄像控制电路生成的摄像数据被写入DRAM41中。
CPU29根据后述ROM43中存储的程序进行数字照相机1的整体控制。
显影处理部31例如由ASIC(ApplicationSpecificIntegratedCircuit)构成。显影处理部31从DRAM41中读出图像数据，进行显影处理，作为显示用图像数据而写回到DRAM中。例如，显影处理部31在静态图像的记录时，实施静态图像记录用的图像处理并生成静态图像数据。同样，显影处理部31在动态图像的记录时，实施动态图像记录用的图像处理并生成动态图像数据。进而，显影处理部31在实时取景显示时，实施显示用的图像处理并生成显示用图像数据。
焦点检测电路33例如由ASIC构成。焦点检测电路33从DRAM41中读出由相位差检测像素23p取得的数据。焦点检测电路33根据由相位差检测像素23p取得的数据进行焦点位置的检测的处理。
视频编码器35读出由显影处理部31生成并暂时存储在DRAM41中的显示用图像数据，将所读出的显示用图像数据输出到显示部37。
显示部37例如是液晶显示器或有机EL显示器这样的显示部，例如配置在数字照相机1的背面等。该显示部37根据从视频编码器35输入的显示用图像数据来显示图像。显示部37用于实时取景显示和已记录图像的显示等。
总线39与摄像控制电路25、CPU29、显影处理部31、焦点检测电路33、视频编码器35、DRAM41、ROM43和记录介质45连接。这些各部中产生的各种数据经由总线39进行转送。
DRAM41是可电改写的存储器，暂时存储所述摄像数据(像素数据)、记录用图像数据、显示用图像数据、CPU29中的处理数据这样的各种数据。另外，也可以使用SynchronousDynamicRandomAccessMemory(SDRAM)来进行暂时存储。
作为存储部的一例发挥功能的ROM43是掩模ROM或闪存等非易失性存储器。ROM43存储CPU29中使用的程序、数字照相机1的调整值等各种数据。
记录介质45构成为内置或自由装填在数字照相机1中，将记录用图像数据记录为规定形式的图像文件。
对本实施方式的数字照相机1的动作进行说明。参照图5所示的流程图对本实施方式的数字照相机1进行的动态图像记录的处理的一例进行说明。例如在动态图像拍摄模式中按压了释放按钮时，开始进行动态图像记录。并且，这里，对动态图像记录的处理进行说明，但是，在静态图像记录的动作中也能够进行同样的处理。另外，根据ROM43中存储的程序，参照图5说明的处理由CPU29执行，或者由ASIC执行。这些处理的程序还可以记录在光盘、磁盘或半导体存储器等各种记录介质中。
在步骤S101中，CPU29设定接着进行的曝光是焦点检测用曝光还是记录用的图像取得用曝光。
在步骤S102中，CPU29判定步骤S101中设定的曝光是否是焦点检测用曝光。在焦点检测用曝光时，处理进入步骤S103。
在步骤S103中，摄像部21进行摄像取入。即，摄像元件23进行光电转换，摄像控制电路25将数字化的数据配置在DRAM41中。
在步骤S104中，焦点检测电路33根据由相位差检测像素23p取得的数据，进行利用了相位差的焦点检测。CPU29根据焦点检测的结果，使驱动部17驱动摄影镜头11以进行对焦。然后，处理进入步骤S111。
在步骤S102中判定为不是焦点检测用曝光时，处理进入步骤S105。
在步骤S105中，摄像部21进行摄像动作。即，摄像元件23进行光电转换，A-AMP102进行模拟增益调整，ADC104将模拟信号转换为数字信号。
在步骤S106中，摄像部21的像素插值处理部110对相位差检测像素23p进行像素插值处理。该像素插值处理在后面叙述。
在步骤S107中，摄像部21的像素间疏处理部122进行必要的像素的间疏处理，摄像部21的像素混合处理部124进行必要的像素的混合处理。摄像部21将如上所述生成的图像数据写入DRAM41中。
在步骤S108中，显影处理部31从DRAM41中读出图像数据，进行显影处理。
在步骤S109中，显影处理部31对显影处理后的数据进行记录用的图像处理。
在步骤S110中，CPU29将步骤S109中生成的记录用的图像记录在记录介质45中。然后，处理进入步骤S111。
在S111中，CPU29判定是否输入了动态图像记录停止的指示。例如，通过在动态图像记录动作中按压释放按钮，来输入动态图像记录停止的指示。在未输入动态图像记录停止的指示时，处理返回步骤S101。另一方面，在输入了动态图像记录停止的指示时，本动态图像记录处理结束。
接着，详细叙述步骤S106中进行的相位差检测像素23p的像素插值。首先，参照图6A和图6B进一步对相位差检测像素23p的配置进行说明。图6A是在图2所示的图中显示相位差检测像素23p中的为了检测水平方向的相位差而设置的右开口相位差检测像素23R和左开口相位差检测像素23L的图。图6A不显示为了检测垂直方向的相位差而设置的下开口相位差检测像素23B和上开口相位差检测像素23T。另一方面，图6B显示下开口相位差检测像素23B和上开口相位差检测像素23T，不显示右开口相位差检测像素23R和左开口相位差检测像素23L。
首先，对右开口相位差检测像素23R和左开口相位差检测像素23L的配置进行说明。根据图6A可知，在水平方向上在交替配置了R像素和G(Gr)像素的行中，等间隔地配置右开口相位差检测像素23R。右开口相位差检测像素23R的间隔为4个像素。在配置有右开口相位差检测像素23R的行中不配置左开口相位差检测像素23L。同样，在水平方向上在交替配置了R像素和G(Gr)像素的行中，按照每4个像素等间隔地配置左开口相位差检测像素23L。在配置有左开口相位差检测像素23L的行中不配置右开口相位差检测像素23R。
另一方面，当在垂直方向上观察时，右开口相位差检测像素23R和左开口相位差检测像素23L各自的间隔不均等。即，在图6A中，当从上侧起依次数出配置有右开口相位差检测像素23R和左开口相位差检测像素23L的列时，在从右开口相位差检测像素23R起的第4个像素处配置左开口相位差检测像素23L，但是，在从左开口相位差检测像素23L起的第12个像素处配置右开口相位差检测像素23R。
如上所述，右开口相位差检测像素23R和左开口相位差检测像素23L在水平方向(行方向)上均等地配置，但是，在垂直方向(列方向)上不均等地配置。相位差检测像素23p的配置不均等是由于如下原因引起的：针对由摄像元件23得到的图像数据，为了尽可能地抑制由于存在相位差检测像素23p而产生的图像劣化，削减相位差检测像素23p的数量。
接着，对上开口相位差检测像素23T和下开口相位差检测像素23B的配置进行说明。根据图6B可知，在垂直方向上在交替配置了B像素和G(Gb)像素的列中，按照每4个像素等间隔地配置上开口相位差检测像素23T。在配置有上开口相位差检测像素23T的列中不配置下开口相位差检测像素23B。同样，在垂直方向上在交替配置了B像素和G(Gb)像素的列中，按照每4个像素等间隔地配置下开口相位差检测像素23B。在配置有下开口相位差检测像素23B的列中不配置上开口相位差检测像素23T。
另一方面，当在水平方向上观察时，上开口相位差检测像素23T和下开口相位差检测像素23B的间隔不均等。即，在图6B中，当从左侧起依次数出配置有上开口相位差检测像素23T和下开口相位差检测像素23B的行时，在从上开口相位差检测像素23T起的第4个像素处配置下开口相位差检测像素23B，但是，在从下开口相位差检测像素23B起的第12个像素处配置上开口相位差检测像素23T。
如上所述，上开口相位差检测像素23T和下开口相位差检测像素23B在垂直方向(列方向)上均等地配置，但是，在水平方向(行方向)上不均等地配置。
接着，说明使用由周边的通常像素23a得到的像素值对由如上所述配置的相位差检测像素23p取得的亮度的值(像素值)进行插值的情况。
首先，考虑图6A所示的右开口相位差检测像素23R和左开口相位差检测像素23L的情况。例如如图7A示意地示出的那样，设为使用摄像元件23对纵条纹的被摄体像进行摄像。这里，在图7A中，附加了斜线的像素表示被摄体像中光量较低的昏暗场所，未附加斜线的像素表示被摄体像中光量较高的明亮场所。
图7B示意地示出图7A所示的被摄体像入射时得到的插值后的每个像素的像素值。在图7B中，设为附加了间隔较窄的斜线的像素的像素值较低，附加了间隔较宽的斜线的像素的像素值稍高，未附加斜线的像素的像素值更高。在通常像素23a中，得到与被摄体像对应的像素值。另一方面，在相位差检测像素23p中，由于像素的一部分被遮蔽，所以未得到正确的像素值，因此，使用周围存在的通常像素23a的像素值对相位差检测像素23p的像素值进行插值。这里，设为使用在左右存在(水平方向/行方向上相邻)的通常像素23a的像素值对相位差检测像素23p的像素值进行插值。于是，如图7B所示，会通过与本来应该得到的像素值不同的像素值进行插值。
其结果，图7C示意地示出所得到的图像。图7C示出根据由Gr像素、R像素、B像素、Gb像素这4个像素得到的像素值来决定一个像素值的情况。这里，在图7C中，设为附加了间隔较窄的斜线的像素的像素值较低，附加了间隔较宽的斜线的像素的像素值稍高，未附加斜线的像素的像素值更高。如图7C所示，在对纵条纹的被摄体像进行摄像时，在条纹图案中混入“卷曲(ちぢれ)”图案。即，关于纵条纹，图7C中的上侧的4段向左侧偏移，下侧的4段向右侧偏移，成为锯齿状。这样，在使用相位差检测像素23p的左右存在的通常像素23a的像素值对相位差检测像素23p的像素值进行插值的情况下，所得到的图像的画质非常劣化。
在图7B和图7C所示的例子中，示出使用相位差检测像素23p的左右存在的通常像素23a的像素值对相位差检测像素23p的像素值进行插值的情况，但是，如下示出使用相位差检测像素23p的上下存在(垂直方向/列方向上相邻)的通常像素23a的像素值对相位差检测像素23p的像素值进行插值的情况。在使用相位差检测像素23p的上下存在的通常像素23a的像素值对相位差检测像素23p的像素值进行插值的情况下，与图7B相当的图如图8A所示。其结果，与图7C相当的图如图8B所示。此时，不会如图7C中看到的那样在条纹图案中混入“卷曲”图案，得到清晰的纵条纹图案。即，在使用相位差检测像素23p的上下存在的通常像素23a的像素值对相位差检测像素23p的像素值进行插值的情况下，所得到的图像中不会看到劣化。
同样考虑对横条纹的被摄体像进行摄像的情况。即，图9A是与图7A所示的图相当的示出被摄体像的图。此时，当使用相位差检测像素23p的上下存在的通常像素23a的像素值对相位差检测像素23p的像素值进行插值时，如下所述。即，与图7B和图8A相当的图如图9B所示。并且，与图7C和图8B相当的图如图9C所示。该情况下，如图9C所示，所得到的图像稍微劣化，但是，条纹图案的边界稍微渗出而变得模糊。即，在图9C所示的图的情况下，横条纹的图案被维持，不会看到上下偏移而混入“卷曲”图案这样的大幅的画质劣化。
如上所述，右开口相位差检测像素23R和左开口相位差检测像素23L在水平方向(行方向)上均等地配置，但是，在垂直方向(列方向)上不均等地配置。该情况下，在对相位差检测像素23p的像素值进行插值时，当使用该相位差检测像素23p的垂直方向(列方向)上相邻的通常像素23a的像素值进行插值时，能够防止画质劣化。即，在进行相位差检测像素23p的插值时，当使用不均等地配置的方向的通常像素23a进行插值时，能够防止画质劣化。
同样，考虑图6B所示的上开口相位差检测像素23T和下开口相位差检测像素23B的情况。例如如图10A示意地示出的那样，设为使用摄像元件23对横条纹的被摄体像进行摄像。此时，当使用相位差检测像素23p的上下存在(垂直方向/列方向上相邻)的通常像素23a的像素值对相位差检测像素23p的像素值进行插值时，如图10B所示那样进行插值，得到图10C所示的图像。即，在所得到的图像中，在横条纹图案中混入“卷曲”图案，画质非常劣化。
对横条纹的被摄体像进行摄像，设为使用相位差检测像素23p的左右存在(水平方向/行方向上相邻)的通常像素23a的像素值对相位差检测像素23p的像素值进行插值。此时，如图11A所示那样进行插值，得到图11B所示的图像。即，在所得到的图像中不会看到画质劣化。
并且，如图12A所示，对纵条纹的被摄体像进行摄像，设为使用相位差检测像素23p的左右存在(水平方向/行方向上相邻)的通常像素23a的像素值对相位差检测像素23p的像素值进行插值。此时，如图12B所示那样进行插值，得到图12C所示的图像。即，在所得到的图像中不会看到大幅的画质劣化。
如上所述，上开口相位差检测像素23T和下开口相位差检测像素23B在垂直方向(列方向)上均等地配置，但是，在水平方向(行方向)上不均等地配置。该情况下，在对相位差检测像素23p的像素值进行插值时，当使用该相位差检测像素23p的水平方向(行方向)上相邻的通常像素23a的像素值进行插值时，能够防止画质劣化。即，在进行相位差检测像素23p的插值时，当使用不均等地配置的方向的通常像素23a进行插值时，能够防止画质劣化。
如上所述，在本实施方式中，在使用由周边的通常像素23a得到的像素值对左开口相位差检测像素23L和右开口相位差检测像素23R的像素值进行插值时，使用水平方向和垂直方向中的、左开口相位差检测像素23L和右开口相位差检测像素23R不均等地配置的方向上相邻的通常像素23a的像素值，进行相位差检测像素23p的像素值的插值。同样，在使用由周边的通常像素23a得到的像素值对上开口相位差检测像素23T和下开口相位差检测像素23B的像素值进行插值时，使用水平方向和垂直方向中的、上开口相位差检测像素23T和下开口相位差检测像素23B不均等地配置的方向上相邻的通常像素23a的像素值，进行相位差检测像素23p的像素值的插值。
考虑插值中的像素值的各种计算方法。在使用上述图7A～图12C的说明中，以使用作为插值对象的相位差检测像素23p的上下的通常像素23a和左右的通常像素23a中的任意一方的情况为例进行说明，但是，也可以使用上下的通常像素23a和左右的通常像素23a双方并使它们的加权不同。
例如如图13A所示，考虑根据周边的G像素的像素值对右开口相位差检测像素23R的像素值进行插值的情况。设该右开口相位差检测像素23R的上侧相邻的G像素的像素值为G1，设下侧相邻的G像素的像素值为G2，设左侧相邻的G像素的像素值为G3，设右侧相邻的G像素的像素值为G4。在相位差检测像素23p的配置为图2所示的配置的情况下，由于右开口相位差检测像素23R的配置在列方向上不均等，所以，使用上下的通常像素23a的像素值。因此，插值后的像素值I例如由下式给出：
I＝(G1+G2)/2
并且，插值后的像素值I例如也可以由下式给出：
I＝(K1G1+K1G2+K2G3+K2G4)/(K1+K1+K2+K2)
其中，K1和K2是权重系数，设为
K1>K2
另外，I＝(G1+G2)/2可以说是K1＝1、K2＝0的情况。
同样，例如如图13B所示，考虑根据周边的B像素的像素值对上开口相位差检测像素23T的像素值进行插值的情况。设该上开口相位差检测像素23T的左侧相邻的B像素的像素值为B1，设右侧相邻的B像素的像素值为B2，设上侧相邻的B像素的像素值为B3，设下侧相邻的B像素的像素值为B4。在相位差检测像素23p的配置为图2所示的配置的情况下，由于上开口相位差检测像素23T的配置在行方向上不均等，所以，使用左右的通常像素23a的像素值。因此，插值后的像素值I例如由下式给出：
I＝(B1+B2)/2
并且，插值后的像素值I例如也可以由下式给出：
I＝(K3B1+K3B2+K4B3+K4B4)/(K3+K3+K4+K4)
其中，K3和K4是权重系数，设为
K3>K4
上述权重系数K1、K2、K3和K4是预先决定的，例如使用任何时候都相同的权重系数。即，由于摄像元件23中的相位差检测像素23p的排列是固定的，所以，根据该排列等预先求出最佳的权重系数，使用该权重系数进行插值，由此，能够实现最佳的插值。
摄像元件23中的相位差检测像素23p的配置、进行像素插值时被插值的相位差检测像素23p与插值所使用的通常像素23a的位置关系、权重系数等信息例如预先记录在ROM43中。这样，例如，ROM43作为记录摄像元件中的功能性像素的配置的记录部发挥功能。
另外，像素值I的计算方法不限于相加平均。并且，在像素值I的计算中，虽然是无法直接作为图像进行利用的值，但是在相位差检测像素23p中也取得像素值，所以，也可以使用由被插值的相位差检测像素23p取得的像素值。即，上述说明不限于不使用相位差检测像素23p的像素值的情况，也可以应用于使用相位差检测像素23p的像素值的情况。这样，在插值时，不仅包含不使用相位差检测像素23p的像素值而通过其他像素的像素值来决定像素值的情况，还包含使用该相位差检测像素23p的像素值的情况。
当设以不均等的间隔配置相位差检测像素的方向为第1方向时，在像素插值中，首先取得第1方向。接着，在将第1方向的加权作为第1权重、将与第1方向不同的方向的加权作为第2权重时，决定第1权重和第2权重。这里，第1权重大于第2权重。然后，使用第1权重和第2权重进行插值处理。
根据本实施方式，在包含由于在摄像元件23的摄像面中设置相位差检测像素23p而需要的像素插值在内的像素插值中，也能够防止画质劣化。并且，例如，与通过根据相位差检测像素23p的周边的像素值自适应地变更插值所使用的参数来抑制画质劣化的情况等相比，根据本实施方式，能够减小电路规模，并且，能够减小消耗电力。这在动态图像记录和实时取景显示时特别发挥效果。
另外，在上述例子中，如图6A和图6B所示，相位差检测像素23p的均等排列的方向的间隔为4个像素。在间隔为4个像素以上时，容易出现卷曲的影响，所以，在间隔为4个像素以上时，本实施方式特别发挥效果。
另外，在上述例子中，示出使用相位差检测像素23p的上下左右的通常像素23a的像素值进行像素插值的例子，但是，也可以使用这些方向以外的方向上配置的通常像素23a的像素值进行像素插值。该情况下，通过将以不均等的间隔配置相位差检测像素23p的方向的权重设定为较大，将除此以外的方向的权重设定为较小，能够防止画质劣化。
[第1变形例]
对上述实施方式的变形例进行说明。这里，对与上述实施方式的不同之处进行说明，对相同部分标注相同标号并省略其说明。在上述实施方式中，示出针对相位差检测像素对像素值进行插值的例子。但是，对像素值进行插值的对象不限于相位差检测像素，在摄像元件内配置具有摄像以外的功能的像素且需要插值时，能够应用上述实施方式。作为具有摄像以外的功能的像素，例如考虑配置测光用的像素。这样，将具有摄像以外的功能的像素称为功能性像素。
图14示出功能性像素的配置例。在图14中涂黑而示出的像素中设置具有摄像以外的功能的功能性像素23f。在功能性像素23f中，无法取得图像数据，所以，需要使用由周围的通常像素23a得到的像素值对该功能性像素23f的像素值进行插值。因此，能够应用上述实施方式。
在图14所示的像素配置的例子中，功能性像素23f在水平方向上均等地配置，在垂直方向上不均等地配置。因此，在插值中，与水平方向上配置的像素的像素值相比，使垂直方向上配置的像素的像素值具有较大权重来进行插值即可。当进行这种加权时，能够抑制基于插值的画质劣化。
[第2变形例]
对上述实施方式的变形例进行说明。这里，对与上述实施方式的不同之处进行说明，对相同部分标注相同标号并省略其说明。在本变形例中，考虑进行像素相加的情况。作为右开口相位差检测像素23R和左开口相位差检测像素23L的排列，举出以图6A所示的配置来配置功能性像素23f的摄像元件23为例进行说明。考虑将Gr、R、B、Gb这4个像素以纵两个和横两个作为一组的方式进行像素相加的情况。图15A示出该情况下的像素的位置关系的一例。在图15A中，粗线示出要进行像素相加的一组像素，对粗线所示的框内的相同颜色的像素值进行相加。同样，图15B示出将Gr、R、B、Gb这4个像素以纵三个和横三个作为一组的方式进行像素相加的情况下的像素的位置关系的一例。在图15B中，粗线示出要进行像素相加的一组像素，对粗线所示的框内的相同颜色的像素值进行相加。要进行像素相加的一组所包含的像素数可以根据摄像模式而变更。
根据图15A可知，在将2×2作为一组来进行像素相加的情况下，这一组像素所包含的功能性像素23f分别为1个像素。这是因为，功能性像素23f的间隔为4个像素，一组所包含的像素为4像素×4像素。与此相对，在如图15B所示将3×3作为一组来进行像素相加的情况下，这一组像素所包含的功能性像素23f为1个像素、或2个像素、或4个像素。根据要进行像素相加的范围的组合，一组所包含的功能性像素23f还可能为3个像素。这样，当要进行像素相加的像素数不同时，一组像素所包含的功能性像素23f的数量可能不同。
当要进行像素相加的一组像素所包含的功能性像素23f的数量不同时，使用周围的通常像素23a的像素值进行的功能性像素23f的像素值的插值对一组像素的像素相加的结果造成的影响按照每组而不同。
因此，在本变形例中，根据要进行相加的像素数，例如设定为上述权重系数K1、K2、K3和K4不同。即，在功能性像素23f的插值中，进行以下处理。首先，判定相加像素数。根据该判定结果决定权重系数等功能性像素23f的插值的参数。使用所决定的参数进行像素插值。
根据本变形例，在像素相加中，根据要进行相加的像素数来进行最佳的功能性像素23f的像素值的插值。其结果，能够抑制基于该插值的画质劣化。
另外，设以不均等的间隔配置应该插值的功能性像素23f的方向为第1方向。此时，在像素相加中，在作为相加对象的一组像素的第1方向的像素数小于第1方向的功能性像素23f的间隔时，容易由于插值而在图像中产生卷曲。因此，在一组像素的第1方向的像素数小于第1方向的功能性像素23f的间隔时，权重系数K1和权重系数K2设定为不同值特别发挥效果。
在上述这种插值处理中，在功能性像素的密度较疏时，可以在像素相加后进行插值。在较密地配置功能性像素时，在进行像素相加的一组像素中必定包含1个以上的功能性像素。因此，在功能性像素的密度较密时，优选在像素相加之前进行功能性像素的像素值的插值。
另外，在上述实施方式及其变形例中，以使用拜耳排列的情况为例进行了说明。但是，不限于拜耳排列，在功能性像素的排列存在均等的方向和不均等的方向时，能够应用上述技术。因此，不限于水平方向或垂直方向，能够应用于倾斜方向等各种方向。
如上所述，本技术以如下情况为对象：在包含摄像用的通常像素和具有摄像以外的功能的功能性像素的摄像元件中，在某个第1方向上以不均等的间隔配置功能性像素。该情况下，在利用周边的通常像素的像素值对功能性像素的像素值进行插值时，增大第1方向上配置的通常像素的像素值的加权，减小第1方向以外的方向上配置的通常像素的加权。这样，能够实现抑制了画质劣化的像素插值。
Claims (10)
1.一种摄像装置，其具有：
摄像元件，其具有包含摄像用的通常像素和具有摄像以外的功能的功能性像素在内的二维配置的多个像素，所述功能性像素在规定的第1方向上以不均等的间隔配置；
记录部，其记录所述摄像元件中的所述功能性像素的配置；
插值方向判断部，其根据从所述记录部取得的所述功能性像素的所述配置，取得作为所述第1方向的方向信息；
权重计算部，其根据从所述记录部取得的所述功能性像素的所述配置，分别计算所述第1方向上的加权量即第1权重和小于所述第1权重的至少一个加权量即第2权重，该第2权重是与所述第1方向不同的方向上的加权量；以及
插值处理部，其进行如下的像素插值：针对由所述摄像元件得到的图像数据，对由所述第1方向上配置的所述通常像素得到的像素值应用所述第1权重，对由与所述第1方向不同的方向上配置的所述通常像素得到的像素值应用所述第2权重，根据由所述功能性像素的周围的所述通常像素得到的所述像素值对该功能性像素的像素值进行插值。
2.根据权利要求1所述的摄像装置，其中，
所述功能性像素是用于焦点检测的相位差检测像素。
3.根据权利要求2所述的摄像装置，其中，
所述插值方向判断部按照所述摄像元件中配置的滤色器的每个类别，取得分别对应的作为所述第1方向的所述方向信息，
所述权重计算部使用所述方向信息计算所述第1权重和所述第2权重。
4.根据权利要求3所述的摄像装置，其中，
所述权重计算部在进行与通过所述摄像元件取得图像时的摄像模式对应的像素相加时，根据作为相加对象的一组所包含的像素数，计算所述第1权重和所述第2权重。
5.根据权利要求2所述的摄像装置，其中，
所述权重计算部在进行与通过所述摄像元件取得图像时的摄像模式对应的像素相加时，根据作为相加对象的一组所包含的像素数，计算所述第1权重和所述第2权重。
6.根据权利要求1所述的摄像装置，其中，
所述第1方向上的所述功能性像素的间隔为4个像素以上。
7.根据权利要求1所述的摄像装置，其中，
所述权重计算部在进行与通过所述摄像元件取得图像时的摄像模式对应的像素相加时，当作为相加对象的一组所包含的像素在所述第1方向上的像素数小于所述第1方向上的所述功能性像素的间隔时，计算所述第1权重和所述第2权重。
8.根据权利要求1所述的摄像装置，其中，
所述第2权重不为零。
9.一种图像处理方法，对使用摄像元件得到的图像数据实施该图像处理方法，该摄像元件具有包含摄像用的通常像素和具有摄像以外的功能的功能性像素在内的二维配置的多个像素，所述功能性像素在规定的第1方向上以不均等的间隔配置，所述图像处理方法包括以下步骤：
根据从记录所述摄像元件中的所述功能性像素的配置的记录部取得的所述功能性像素的所述配置，取得作为所述第1方向的方向信息；
根据从所述记录部取得的所述功能性像素的所述配置，分别计算所述第1方向上的加权量即第1权重和小于所述第1权重的至少一个加权量即第2权重，该第2权重是与所述第1方向不同的方向上的加权量；以及
进行如下的像素插值：针对由所述摄像元件得到的图像数据，对由所述第1方向上配置的所述通常像素得到的像素值应用所述第1权重，对由与所述第1方向不同的方向上配置的所述通常像素得到的像素值应用所述第2权重，根据由所述功能性像素的周围的所述通常像素得到的所述像素值对该功能性像素的像素值进行插值。
10.一种图像处理程序，其用于使计算机执行对使用摄像元件得到的图像数据实施的图像处理，该摄像元件具有包含摄像用的通常像素和具有摄像以外的功能的功能性像素在内的二维配置的多个像素，所述功能性像素在规定的第1方向上以不均等的间隔配置，所述图像处理程序用于使计算机执行以下步骤：
根据从记录所述摄像元件中的所述功能性像素的配置的记录部取得的所述功能性像素的所述配置，取得作为所述第1方向的方向信息；
根据从所述记录部取得的所述功能性像素的所述配置，分别计算所述第1方向上的加权量即第1权重和小于所述第1权重的至少一个加权量即第2权重，该第2权重是与所述第1方向不同的方向上的加权量；以及
进行如下的像素插值：针对由所述摄像元件得到的图像数据，对由所述第1方向上配置的所述通常像素得到像素值应用所述第1权重，对由与所述第1方向不同的方向上配置的所述通常像素得到像素值应用所述第2权重，根据由该功能性像素的周围的所述通常像素得到的所述像素值对所述功能性像素的像素值进行插值。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-136976 | 2014-07-02 | ||
| JP2014136976A JP6364259B2 (ja) | 2014-07-02 | 2014-07-02 | 撮像装置、画像処理方法、及び画像処理プログラム |
| PCT/JP2015/059163 WO2016002274A1 (ja) | 2014-07-02 | 2015-03-25 | 撮像装置、画像処理方法、及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105745923A true CN105745923A (zh) | 2016-07-06 |
| CN105745923B CN105745923B (zh) | 2017-06-30 |
Family
ID=55018833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580002613.1A Expired - Fee Related CN105745923B (zh) | 2014-07-02 | 2015-03-25 | 摄像装置及图像处理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9749520B2 (zh) |
| JP (1) | JP6364259B2 (zh) |
| CN (1) | CN105745923B (zh) |
| WO (1) | WO2016002274A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019041142A (ja) * | 2017-08-22 | 2019-03-14 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、固体撮像素子の製造方法、及び電子機器 |
| JP2020148980A (ja) | 2019-03-15 | 2020-09-17 | オリンパス株式会社 | 撮像装置および焦点調節方法 |
| CN111866369B (zh) * | 2020-05-28 | 2022-08-02 | 北京迈格威科技有限公司 | 图像处理方法及装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
| JP4973542B2 (ja) * | 2008-02-26 | 2012-07-11 | 富士通株式会社 | 画素補間装置及び画素補間方法 |
| JP5371331B2 (ja) | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
| JP4727720B2 (ja) * | 2008-12-31 | 2011-07-20 | 株式会社モルフォ | 画像処理方法および画像処理装置 |
| JP5400406B2 (ja) * | 2009-02-06 | 2014-01-29 | キヤノン株式会社 | 撮像装置 |
| JP5595014B2 (ja) * | 2009-11-09 | 2014-09-24 | キヤノン株式会社 | 撮像装置 |
| JP5563283B2 (ja) * | 2009-12-09 | 2014-07-30 | キヤノン株式会社 | 画像処理装置 |
| WO2012128153A1 (ja) * | 2011-03-24 | 2012-09-27 | 富士フイルム株式会社 | カラー撮像素子、撮像装置、及び撮像装置の制御プログラム |
| CN103444183B (zh) | 2011-03-24 | 2015-01-28 | 富士胶片株式会社 | 彩色摄像元件及摄像装置 |
| JP5853594B2 (ja) * | 2011-10-31 | 2016-02-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP5888940B2 (ja) * | 2011-11-11 | 2016-03-22 | オリンパス株式会社 | 撮像装置、撮像装置の制御方法、およびプログラム |
| JP5529928B2 (ja) * | 2012-06-14 | 2014-06-25 | オリンパスイメージング株式会社 | 撮像装置及び撮像装置の制御方法 |
| WO2014006785A1 (ja) | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
| JP5931206B2 (ja) * | 2012-09-19 | 2016-06-08 | 富士フイルム株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
| WO2014046037A1 (ja) | 2012-09-19 | 2014-03-27 | 富士フイルム株式会社 | 撮像装置及びその制御方法 |
| JP6630058B2 (ja) * | 2014-06-16 | 2020-01-15 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及び、プログラム |
-
2014
- 2014-07-02 JP JP2014136976A patent/JP6364259B2/ja active Active
-
2015
- 2015-03-25 CN CN201580002613.1A patent/CN105745923B/zh not_active Expired - Fee Related
- 2015-03-25 WO PCT/JP2015/059163 patent/WO2016002274A1/ja active Application Filing
-
2016
- 2016-04-19 US US15/132,919 patent/US9749520B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105745923B (zh) | 2017-06-30 |
| JP2016015634A (ja) | 2016-01-28 |
| US9749520B2 (en) | 2017-08-29 |
| US20160234428A1 (en) | 2016-08-11 |
| JP6364259B2 (ja) | 2018-07-25 |
| WO2016002274A1 (ja) | 2016-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104285436B (zh) | 摄像装置和摄像装置的控制方法 | |
| US8253832B2 (en) | Interpolation for four-channel color filter array | |
| US8125546B2 (en) | Color filter array pattern having four-channels | |
| US8203633B2 (en) | Four-channel color filter array pattern | |
| US8237831B2 (en) | Four-channel color filter array interpolation | |
| CN105830431A (zh) | 图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序 | |
| JP6555863B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP6506560B2 (ja) | フォーカス制御装置及びその方法、プログラム、記憶媒体 | |
| US10148863B2 (en) | Information processing apparatus and information processing method | |
| CN103039066A (zh) | 成像装置、图像处理装置以及图像处理方法 | |
| JP2013214878A (ja) | 撮像装置、露出制御方法、及びプログラム | |
| EP2866430B1 (en) | Imaging apparatus and its control method and program | |
| JP3912404B2 (ja) | 撮像装置 | |
| CN104519274A (zh) | 图像处理装置和图像处理方法 | |
| JP2017191996A (ja) | 撮像装置、撮像方法、及びプログラム | |
| WO2015046246A1 (ja) | カメラシステム及び焦点検出画素の補正方法 | |
| US9602716B2 (en) | Focus-detection device, method for controlling the same, and image capture apparatus | |
| JP4121771B2 (ja) | 撮像装置、輝度分布図表示方法、及び制御プログラム | |
| CN105745923A (zh) | 摄像装置、图像处理方法和图像处理程序 | |
| CN105144697A (zh) | 摄像装置、照相机系统以及图像处理方法 | |
| JP6198395B2 (ja) | 撮像装置及びその制御方法 | |
| JP4993670B2 (ja) | 撮像装置及びその制御方法 | |
| CN105580354A (zh) | 摄像装置和图像处理方法 | |
| JP6056160B2 (ja) | 自動合焦装置、自動合焦方法及びプログラム | |
| CN106303212B (zh) | 拍摄装置和拍摄方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170630 |