CN104813648A - 图像处理装置、摄像装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN104813648A
CN104813648A CN201380060872.0A CN201380060872A CN104813648A CN 104813648 A CN104813648 A CN 104813648A CN 201380060872 A CN201380060872 A CN 201380060872A CN 104813648 A CN104813648 A CN 104813648A
Authority
CN
China
Prior art keywords
phase difference
difference detection
pixel
detection pixel
output signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380060872.0A
Other languages
English (en)
Other versions
CN104813648B (zh
Inventor
菅原一文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104813648A publication Critical patent/CN104813648A/zh
Application granted granted Critical
Publication of CN104813648B publication Critical patent/CN104813648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Abstract

本发明中，通过搭载有具备混合存在有相位差检测用像素与摄像用像素的受光面的固体摄像元件的图像处理装置、具备该图像处理装置的摄像装置、利用该摄像装置的图像处理方法及图像处理程序，对相位差检测用像素的输出信号适当进行校正来获得高品质的摄像图像。数字信号处理部(17)按照以校正对象像素为中心的规定的像素个数抽出判定块(S1)，并且当各判定块内存在被摄体图像的边沿(S3：是)、且该边沿的方向为与相位差检测用像素的相位差检测方向正交的方向(S5：垂直方向)、且该边沿与校正对象像素重叠(S6：是)时，对该判定块内的校正对象像素的输出信号进行插值校正(S7)。

Description

图像处理装置、摄像装置、图像处理方法及图像处理程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及图像处理程序。
背景技术
在固体摄像元件的受光面上以二维阵列状排列形成有多个受光元件(光电转换元件)。将该各受光元件中的一部分受光元件作为相位差检测用像素、并能够根据相位差检测用像素检测出的测距用信号检测出距摄像图像中的主要被摄体为止的距离的固体摄像元件正在被使用(例如，专利文献1、2)。在使用这种固体摄像元件的摄像装置中，能够根据相位差检测用像素的检测信号进行相位差AF处理。
相位差检测用像素的结构与受光面上的相位差检测用像素以外的受光元件(以下，称为摄像用像素)不同。例如如专利文献1、2中记载，相对于摄像用像素，相位差检测用像素的遮光膜开口的大小较小，因此相位差检测用像素的受光量变得少于摄像用像素的受光量。即，若将相位差检测用像素检测出的测距用信号作为与摄像用像素检测出的信号同等的信号来生成图像，则会导致受光面上存在有相位差检测用像素的位置的图像数据相对于周围的图像数据而劣化。
因此，生成被摄体的图像数据时，产生对相位差检测用像素位置的图像数据进行校正的需要。如专利文献2中记载，作为该校正方法有2种。是增益校正及增益校正以外的例如插值校正。
增益校正是对相位差检测用像素的检测信号值乘以规定增益来进行校正的方法。例如，是对相位差检测用像素的检测信号值乘以基于相位差检测用像素的遮光膜开口量与摄像用像素的遮光膜开口量之比的增益的方法。
插值校正是将相位差检测用像素视作缺陷像素来处理，并将相位差检测用像素位置的图像数据置换为周围的摄像用像素的输出信号的平均值(例如，加权平均值)的校正方法。
关于插值校正与增益校正中哪一个是适当的校正，根据拍摄场景各有长短。因此，专利文献2的以往技术中，检测被摄体图像的边沿，根据边沿量切换插值校正及增益校正来对图像数据进行校正。
现有技术文献
专利文献
专利文献1：日本专利公开2010-62640号公报
专利文献2：日本专利公开2012-4729号公报
发明内容
发明要解决的技术课题
如专利文献2所记载，通过依据被摄体图像的边沿量的校正方法的切换，能够实现被摄体图像的画质提高。但得知为了实现画质的进一步提高，仅靠依据边沿量的切换是并不充分的。
本发明的目的在于提供一种能够适当地进行相位差检测用像素的输出信号的校正并生成高品质的被摄体图像的图像处理装置、图像处理方法、摄像装置及图像处理程序。
用于解决技术课题的手段
本发明的图像处理装置为对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理的图像处理装置，其中，具备：增益校正处理部，针对上述摄像图像信号中包含的上述相位差检测用像素的输出信号，进行对该输出信号乘以增益值来进行校正的增益校正处理；插值校正处理部，进行将上述摄像图像信号中包含的上述相位差检测用像素的输出信号置换为利用位于该相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正的插值校正处理；及校正部，通过上述增益校正处理部与上述插值校正处理部中的任一个对上述摄像图像信号中包含的多个上述相位差检测用像素的输出信号的每一个进行校正，在包含作为校正对象的上述相位差检测用像素及位于其周围且检测与上述作为校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的判定区内存在沿相对于上述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的第1情况下，或者在上述判定区内存在沿相对于上述相位差检测方向正交的方向延伸的被摄体图像的边沿且上述边沿与上述作为校正对象的相位差检测用像素重叠的第2情况下，上述校正部通过上述插值校正处理部对上述作为校正对象的相位差检测用像素的输出信号进行校正。
本发明的摄像装置具备上述图像处理装置及上述固体摄像元件。
本发明的图像处理方法为对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理的图像处理方法，其中，上述图像处理方法具备校正步骤，在该步骤中，针对上述摄像图像信号中包含的多个上述相位差检测用像素的输出信号的每一个，通过增益校正处理和插值校正处理中的任一个进行校正，上述增益校正处理对上述输出信号乘以增益值来进行校正；上述插值校正处理将上述输出信号置换为利用位于上述相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正，上述校正步骤中，在包含作为校正对象的上述相位差检测用像素及位于其周围且检测与上述作为校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的判定区内存在沿相对于上述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的第1情况下，或者在上述判定区内存在沿相对于上述相位差检测方向正交的方向延伸的被摄体图像的边沿且上述边沿与上述作为校正对象的相位差检测用像素重叠的第2情况下，通过上述插值校正处理对上述作为校正对象的相位差检测用像素的输出信号进行校正。
本发明的图像处理程序为用于通过计算机对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理的图像处理程序，其中，上述图像处理程序为用于使计算机执行校正步骤的程序，上述校正步骤中，针对上述摄像图像信号中包含的多个上述相位差检测用像素的输出信号的每一个，通过增益校正处理和插值校正处理中的任一个进行校正，上述增益校正处理对上述输出信号乘以增益值来进行校正；上述插值校正处理将上述输出信号置换为利用位于上述相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正，上述校正步骤中，在包含作为校正对象的上述相位差检测用像素及位于其周围且检测为与上述作为校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的判定区内存在沿相对于基于上述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的第1情况下，或者在上述判定区内存在沿相对于上述相位差检测方向正交的方向延伸的被摄体图像的边沿且上述边沿与上述作为校正对象的相位差检测用像素重叠的第2情况下，通过上述插值校正处理对上述作为校正对象的相位差检测用像素的输出信号进行校正。
发明效果
根据本发明，能够提供一种能够适当地进行相位差检测用像素的输出信号的校正并生成高品质的被摄体图像的图像处理装置、图像处理方法、摄像装置及图像处理程序。
附图说明
图1是本发明的一实施方式所涉及的数码相机的功能块结构图。
图2是图1所示的固体摄像元件的像素排列图。
图3是替换图2的实施方式的像素排列图。
图4是图1所示的数字信号处理部内的功能结构图。
图5是图1所示的固体摄像元件的受光面的说明图。
图6是表示本发明的一实施方式所涉及的图像处理顺序的流程图。
图7是进行增益校正时的说明图。
图8是边沿与校正对象像素重叠时的说明图。
图9是进行差值校正时的说明图。
图10是边沿与校正对象像素重叠时的说明图。
图11是表示图6的流程图的变形例的图。
图12是表示相位差检测用像素对的配置的变形例的图。
图13是表示相位差检测用像素对的配置的变形例的图。
图14是本发明的其他实施方式所涉及的摄像装置(智能手机)的外观图。
图15是图14所示的摄像装置的功能块结构图。
具体实施方式
以下，参考附图对本发明的一实施方式进行说明。
图1是表示用于说明本发明的一实施方式的作为摄像装置的一例的数码相机的概要结构的图。图1所示的数码相机的摄像系统具备有作为摄像光学系统的透镜装置(包含拍摄透镜1及光圈2)及CCD型或CMOS型等固体摄像元件5。该固体摄像元件5为不具有光学低通滤波器的未搭载低通滤波器的固体摄像元件。包含拍摄透镜1及光圈2的透镜装置可相对于摄像机主体拆卸或固定。
对数码相机的整个电控制系统进行统一控制的系统控制部11控制闪光灯发光部12及受光部13。并且，系统控制部11控制透镜驱动部8来调整拍摄透镜1中包含的聚焦透镜的位置、或进行拍摄透镜1中包含的变焦透镜的位置调整。而且，系统控制部11经由光圈驱动部9控制光圈2的开口量，由此进行曝光量的调整。
并且，系统控制部11经由固体摄像元件驱动部10驱动固体摄像元件5，将通过拍摄透镜1而拍摄的被摄体图像作为摄像图像信号来输出。系统控制部11中通过操作部14输入有来自用户的指示信号。
数码相机的电控制系统还具备：模拟信号处理部6，进行与固体摄像元件5的输出连接的相关双重采样处理等的模拟信号处理；及A/D转换电路7，将从该模拟信号处理部6输出的模拟信号转换为数字信号。模拟信号处理部6及A/D转换电路7通过系统控制部11被控制。模拟信号处理部6及A/D转换电路7有时内置于固体摄像元件5中。
而且，该数码相机的电控制系统具备：主存储器16；存储器控制部15，连接于主存储器16；数字信号处理部17，相对于从A/D转换电路7输出的摄像图像信号，进行同步处理(去马赛克处理)、伽马校正运算及RGB/YC转换处理等来生成拍摄图像数据；压缩/扩展处理部18；散焦量运算部19，根据以规定排列图案配置于固体摄像元件5的受光面上的相位差检测用像素群的每一个的检测信号对距主要被摄体为止的散焦量进行运算；外部存储器控制部20，连接有装卸自如的记录介质21；及显示控制部22，连接有搭载于相机背面等的显示部23。
存储器控制部15、数字信号处理部17、压缩/扩展处理部18、散焦量运算部19、外部存储器控制部20及显示控制部22通过控制总线24及数据总线25相互连接，通过来自系统控制部11的指令被控制。
图2(a)是表示图1所示的固体摄像元件5的平面结构的局部放大图。图2(a)中图示有12像素×12像素的部分。各矩形框51表示各个像素(受光元件)。固体摄像元件5中，各像素51沿行方向X及与其正交的列方向Y以二维阵列状排列。图2(a)中并未图示所有的像素51，实际上以二维状排列有数百万～一千几百万左右的像素51。
若通过固体摄像元件5进行拍摄，则从该多个像素51的每一个获得输出信号。各像素51包含光电二极管等光电转换部、及形成于该光电转换部的光射入方向上方的遮光膜开口及滤色器。有时各个像素51层叠微透镜(顶部透镜(top lens))。
图2(a)中空白的矩形框是G像素(搭载有绿色滤色器的像素)，但省略“G”标记，以便于观察附图。图2中标记为“R”的矩形框是R像素(搭载有红色滤色器的像素)。图2中标记为“B”的矩形框是B像素(搭载有蓝色滤色器的像素)。
图2(a)所示的像素排列通过在水平方向、垂直方向上均交替反复排列图2(b)的第1排列与图2(c)的第2排列而形成。
图2(b)的第1排列通过将3×3像素群的中央及四角的5像素设为G像素，将该5像素以外的4像素中的同一像素列的2像素设为R像素，并将剩余的2像素设为B像素来构成。
并且，如图2(c)所示，将3×3像素群的中央及四角的5像素以外的4像素中的相同像素行的2像素设为R像素并将剩余的2个像素设为B像素的排列图案成为第2排列。
若沿水平方向、垂直方向交替排列图2(b)、图2(c)所示的第1排列、第2排列，则成为6像素×6像素的像素排列沿水平方向、垂直方向反复的排列，每4个G像素成一块的部位形成于离散性、周期性位置。
作为图2(a)的像素排列的变形例，考虑仅使图2(b)的第1排列沿水平方向、垂直方向反复的排列。并且，还考虑仅使图2(c)的第2排列沿水平方向、垂直方向反复的排列。这种情况下，G像素所存在的位置不变。
图3(a)是表示图2(a)的像素排列的另一其他变形例的图。该变形例的排列通过沿水平方向、垂直方向交替配置图3(b)的第1排列与图3(c)的第2排列而形成。
图3(b)的第1排列通过将3×3像素群的中央及四角的5个像素设为G像素，并将该5个像素以外的4个像素分为倾斜相邻的各2像素，将其中一侧的2个像素设为R像素并且将另一侧的2个像素设为B像素来构成。通过将上述其中一侧的2个像素设为B像素并且将上述另一侧的2个像素设为R像素来构成图3(c)的第2排列。
作为该图3(a)的像素排列的变形例，与上述同样地，考虑仅使图3(b)的第1排列或仅使图3(c)的第2排列沿水平方向、垂直方向反复排列的像素排列。该变形例中，每4个G像素成一块的部位形成于离散性、周期性位置。
将本实施方式的固体摄像元件5的像素排列设为如图2、图3中说明的像素排列是因为设为了无光学低通滤波器的结构。
在设置光学低通滤波器的以往的固体摄像元件中，通过设置光学低通滤波器来抑制莫尔条纹等的产生并实现画质的提高。但是，另一方面，存在不得不以牺牲与固体摄像元件的像素个数相应的图像分辨率为代价的缺点。
图2、图3中说明的本实施方式的固体摄像元件5的像素排列中，与最有助于获得亮度信号的第1颜色(G)对应的第1滤波器(G滤波器)配置于像素排列的水平、垂直及倾斜方向的各线内。并且，与第1滤波器对应的第1颜色的像素个数的比率变得大于与第1颜色以外的2个颜色(B、R)的第2滤波器(B滤波器、R滤波器)对应的第2颜色(B、R)的像素个数的比率。通过这种排列，能够提高高频区域中的同步处理(去马赛克处理)的再现精确度，且抑制混叠现象。
并且，与第2颜色(B、R)对应的第2滤波器(B滤波器、R滤波器)在上述3×3像素群中在像素排列的水平及垂直方向的各线内配置有1个以上，因此能够抑制彩色莫尔纹(假色)的产生来实现高分辨率化。如此，图2、图3中说明的固体摄像元件5不使用光学低通滤波器就能够抑制产生莫尔条纹或重叠失真，并能够获得与固体摄像元件5的像素个数相应的高分辨率的图像。
而且，上述像素排列中，规定的基本排列图案沿水平方向及垂直方向反复，因此进行后段中的同步处理时，能够根据反复图案进行处理，并且与以往的不规则排列相比，能够使后段的处理简单化。
以下，将固体摄像元件5作为具有图2(a)所示的像素排列的元件来进行说明。
图2(a)中，矩形点线框52a、矩形点线框52b及矩形点线框51a分别表示设置于像素上的遮光膜的开口。另外，为了避免附图变得复杂，矩形点线框51a仅图示一处。
包含以矩形点线框51a表示的开口的像素为摄像用像素。摄像用像素为接受通过图1所示的拍摄透镜1的不同瞳区域的一对光(例如，相对于拍摄透镜1的主轴通过左侧的光及通过右侧的光)双方的像素。
包含以矩形点线框52a表示的开口的像素与包含以矩形点线框52b表示的开口的像素分别为相位差检测用像素。
具有矩形点线框52a的开口的相位差检测用像素为接受上述一对光的其中一个的像素，与摄像用像素相比，成为遮光膜开口向右侧偏心的结构。
具有矩形点线框52b的开口的相位差检测用像素为接受上述一对光中的另一个的像素，与摄像用像素相比，成为遮光膜开口向左侧偏心的结构。
具有矩形点线框52a的开口的相位差检测用像素、及靠近该相位差检测用像素且具有矩形点线框52b的开口的相位差检测用像素构成相位差检测用像素对。固体摄像元件5中，这种相位差检测用像素在受光面内以规定图案形成于AF检测区。
另外，图2(a)中，将摄像用像素与相位差检测用像素的大小设为相同，使相位差检测用像素对的各遮光膜开口52a、52b的大小与摄像用像素不同且使其偏心，由此能够检测相位差。
但是，用于检测相位差的相位差检测用像素的结构并不限定于此。例如，可设为将摄像用像素分割为2个，并将2个分割像素作为相位差检测用像素对的结构。
图4是图1所示的数码相机的数字信号处理部17的功能块。
数字信号处理部17具备增益校正处理部171、插值校正处理部172及图像处理部173。这些为通过由数字信号处理部17所包含的处理器执行程序来形成的功能块。
增益校正处理部171针对摄像图像信号中包含的作为校正对象的相位差检测用像素(以下，称为校正对象像素)的输出信号，进行对该输出信号乘以增益值来进行校正的增益校正处理。
该增益值能够事先由通过固体摄像元件5进行拍摄而获得的摄像图像信号求出。该摄像图像信号可以是在数码相机的出货之前的调整工序中拍摄基准图像而获得的信号，也可以是通过用于显示即时预览图像的拍摄而获得的信号。增益值的计算例如通过以下进行：将固体摄像元件的受光面分割为包含相位差检测用像素及摄像用像素的多个块，在各个块中，取检测为相同相位差的相位差检测用像素的信号的平均值、与检测为与相位差检测用像素相同的颜色的摄像用像素的信号的平均值之比。
插值校正处理部172中，将校正对象像素的输出信号置换为通过利用位于该校正对象像素的周围且检测为与该校正对象像素相同的颜色的摄像用像素的输出信号的运算而生成的信号，由此进行校正。
图像处理部173通过增益校正处理部171或插值校正处理部172对从固体摄像元件5输出的摄像图像信号中的相位差检测用像素的输出信号进行校正，并将校正后的摄像图像信号记录于主存储器16。并且，图像处理部174相对于所记录的摄像图像信号实施去马赛克处理、γ校正处理、白平衡调整处理等周知的图像处理来生成摄像图像数据，并将该摄像图像数据记录于记录介质21。
另外，图像处理部173可将校正后的摄像图像信号作为RAW数据而直接记录于记录介质21。
图5是表示固体摄像元件5的整个受光面54的图。受光面54上以二维阵列状排列形成有数百万～一千几百万的像素。
受光面54中，在进行焦点检测的中央的AF区55内以规定图案形成有相位差检测用像素对。该AF区55内的相位差检测用像素的输出信号从固体摄像元件5读入到数字信号处理部17。
读入数字信号处理部17的相位差检测用像素的输出信号在被实施偏移处理等必要的处理之后，过渡到散焦量运算部19，计算散焦量。系统控制部11根据该散焦量向透镜驱动部8发出指令，控制构成拍摄透镜1的聚焦透镜的位置，使对焦于主要被摄体的被摄体光像成像于固体摄像元件5的受光面。
根据从固体摄像元件5的相位差检测用像素输出的信号如上述那样进行距被摄体为止的测距，另一方面根据固体摄像元件5的摄像用像素及相位差检测用像素的输出信号生成被摄体的图像。
生成被摄体图像时，对于如何求出相位差检测用像素位置的信号，如前所述，有2种方法。
第1方法为插值校正，第2方法为增益校正。对于优选插值校正与增益校正中的哪一个，取决于相位差检测用像素所存在的区域的拍摄场景。因此，优选根据拍摄场景切换插值校正与增益校正。
图6是用于说明通过图1所示的数码相机中的数字信号处理部17进行的相位差检测用像素的输出信号的校正动作的流程图。图6所示的各步骤由图1的数字信号处理部17根据来自系统控制部11的指示执行。
首先，图像处理部173从设置有相位差检测用像素的AF区55中按每个相位差检测用像素切出判定块，并对各块实施编号(i＝1～n)(步骤S1)。
在此，判定块例如是指相位差检测用像素中以作为校正对象的相位差检测用像素(校正对象像素)为中心切出的块。图5的例子中，将5像素×5像素的25像素区域作为判定块60。该判定块60的大小任意，只要是包含校正对象像素及靠近该校正对象像素且检测为与校正对象像素相同的颜色的多个摄像用像素的范围即可。
图像处理部173在接下来的步骤S2中设为变数i＝1。在接下来的步骤S3中，图像处理部173判定第i个块中是否存在被摄体图像的边沿。图像中的边沿位置能够通过周知的方法检测。
例如，当相邻的摄像用像素的亮度的差量为阈值以上时，能够检测出该处为图像的明度敏锐(严重地)变化而变得不连续的边沿。
步骤S3的判定的结果为在第i个块内不存在边沿时，进入步骤S4，图像处理部173通过增益校正处理部171对位于第i个块内的中心的校正对象像素的输出信号进行增益校正。
块内存在边沿时，亮度在横跨边沿的2个区域之间有很大差异。但是，块内不存在边沿时，校正对象像素(相位差检测用像素)与周围的摄像用像素接受相同亮度的光。因此，能够通过对校正对象像素的受光量乘以规定的增益来进行高精确度的校正。
步骤S3的判定的结果为在第i个块内存在边沿时，进入步骤S5，图像处理部173这一次判别该边沿的方向。作为边沿的方向，本实施方式中判别是2个方向中的哪一个还是靠近哪一个。
图2中说明的相位差检测用像素对中，使一个遮光膜开口52a与另一个遮光膜开口52b向左右方向偏心而设置，以便能够分离水平方向(左右方向)的相位差来检测。
因此，确定分离相位差的方向(左右方向)及与该方向正交的方向(上下方向)这2个方向，并以倾斜45度的方向为边界求出边沿的方向中，是左右方向(X方向)处于优势还是上下方向(Y方向)处于优势。
该步骤S5的判定的结果是边沿的优势方向为与水平方向(相位差检测方向)相同的方向时，进入上述的步骤S4，图像处理部173通过增益校正处理部171对位于第i个块内的中心的相位差检测用像素的输出信号进行增益校正。
图7是进行增益校正时的说明图。图示的例子中，块60内存在1组(2个像素)相位差检测用像素对。图7中，块60内存在边沿61，且边沿61成为从相位差检测用像素离开的位置，该边沿61的方向成为与相位差检测方向(该实施方式中为左右方向(水平方向))相同的方向。
块60中，虽然在被边沿61分开的2个区域中的一个和另一个中亮度有较大差异，但同一区域内的亮度变化较小。因此，校正对象像素的输出信号与存在于该校正对象像素附近且相对于边沿61属于相同侧(区域)的相同颜色的摄像用像素相比，可以说区别仅在于遮光膜开口量的差别。因此，这种情况下，通过将与遮光膜开口量的差别相应的增益值乘以信号值来进行增益校正，能够减小校正对象像素位置中的信号值与其周围的摄像用像素位置中的信号值之差。
图8表示边沿61与校正对象像素重叠的情况。此时，校正对象像素的遮光膜开口52a中射入有横跨边沿61的2个区域的光。在沿该校正对象像素的水平方向相邻的相同颜色的摄像用像素中也射入有横跨边沿61的2个区域的光。
即，校正对象像素的输出信号值与沿校正对象像素的水平方向相邻的相同颜色的摄像用像素的输出信号值的电平通过边沿61分别同样地下降。
例如，设为沿校正对象像素的水平方向相邻的相同颜色的摄像用像素的输出信号值为“20”。若将校正对象像素的遮光膜开口量设为摄像用像素的遮光膜开口量的一半，则校正对象像素的输出信号值成为“20×1/2＝10”。因此，若对校正对象像素52的输出信号实施乘以与遮光膜开口量的差别相应的增益值(＝2)的增益校正，则校正对象像素与相邻的相同颜色摄像用像素能够获得几乎没有差的信号值。
另外，图7与图8的情况下，即使通过插值校正对校正对象像素的输出信号进行校正，也能够在该校正对象像素与相邻的相同颜色摄像用像素中获得几乎没有差的信号值。
即，步骤S4中，图像处理部173也可通过插值校正处理而非增益校正处理进行校正。关于进行哪一处理，可预先确定，也可通过其他方法判定块内的场景，根据该场景选择可获得更高精确度的校正方法。
步骤S5的判定的结果是边沿的方向为上下方向(与相位差检测方向正交的方向)时，进入步骤S6，图像处理部173通过插值校正处理部172对校正对象像素的输出信号进行差值校正。
图9是边沿的方向为上下方向时的说明图。块60内存在与相位差检测方向正交的边沿61。图9的例子中，在偏离校正对象像素52的位置存在边沿61。被边沿61切分开的2个区域的其中一个区域的亮度与另一区域的亮度的差异较大，但同一区域的亮度几乎可视作相同。
图9所示的例子中，若与图7的情况相同地对校正对象像素52的输出信号值实施增益校正，则能够较高精确度地求出校正后的校正对象像素52的信号值。但是，边沿的方向为上下方向时，也存在如图10的情况。
图10是边沿的方向为上下方向时的说明图。块60内存在与相位差检测方向正交的边沿61。图10的例中，设为在与校正对象像素52重叠的位置存在边沿61，且边沿61的右侧明亮，左侧较暗。
此时，最靠近校正对象像素的上方向且与校正对象像素相同颜色的摄像用像素中，在遮光膜开口的一半中射入有光。另一方面，校正对象像素中，在整个遮光膜开口中射入有光。即，成为在校正对象像素及与该校正对象相邻的相同颜色的摄像用像素中不存在灵敏度之差的状态。
因此，若在该状态下，对校正对象像素的输出信号乘以与遮光膜开口量的差别相应的增益值，则校正对象像素的输出信号变得大于最靠近该校正对象像素的相同颜色的摄像用像素的输出信号，增益校正的精确度下降。
因此，当边沿的方向为上下方向时，图像处理部173假设有可能产生图10的情况，在步骤S6中，并不进行增益校正，而是通过插值校正对校正对象像素的输出信号进行校正。
在步骤S6的插值校正中，优选通过利用相对于校正对象像素存在于与相位差检测方向正交的方向上的相同颜色的摄像用像素的输出信号的插值运算，求出该校正对象像素的输出信号，而不是使用存在于相位差检测方向上的摄像用像素的输出信号。通过如此，能够进一步提高校正精确度。
图像处理部173在步骤S4或步骤S6的处理之后进入步骤S7，判定是否为i＝n。即，判定所有判定块中的步骤S3～步骤S6的处理是否已结束。图像处理部173在所有判定块中的处理已结束时结束处理。图像处理部173在所有判定块中的处理并未结束时进入步骤S8，设为i＝i+1，并再次返回步骤S3。
图像处理部173对如此校正的相位差检测用像素的输出信号值与摄像用像素的输出信号值进行处理来生成摄像图像数据。由此，能够获得高品质的像素。
本实施方式的固体摄像元件5中，使用无光学低通滤波器的固体摄像元件，因此边沿61变得非常锐利，如图10所示，边沿61很有可能左右切分开相位差检测用像素对。因此，若在这种情况下进行增益校正，则变得上下相邻的相位差检测用像素的其中一侧明亮而另一侧较暗，画质劣化变得明显。但是，通过进行利用边沿61所延伸的方向的摄像用像素的输出信号值的插值校正，能够实现画质提高。
上述实施方式还能够适用于将光学低通滤波器配置于固体摄像元件5的前面的固体摄像元件中。此时，边沿61因光学低通滤波器的功能变得有些模糊，因此左右切分开相位差检测用像素对的精确度下降，相位差检测用像素对的两个输出信号值接近。因此，进行增益校正时，与无低通滤波器时相比，画质劣化的程度也有所减轻，但优选如上述那样进行插值校正。
另外，图6的说明中，设为若边沿61的方向为与相位差检测方向正交的方向，则在步骤S6中进行插值校正。但是，优选仅在边沿61的方向为与相位差检测方向正交的方向且相位差检测用像素与边沿重叠时，进行步骤S6的插值校正。
图11是表示图6所示的流程图的变形例的图。图11在图6的步骤S5与步骤S6之间追加了步骤S10。步骤S5的判定的结果是边沿方向为垂直方向时，在步骤S10中，图像处理部173判定边沿是否与校正对象像素重叠。并且，图像处理部173中，在如图10那样边沿与校正对象像素重叠时进行步骤6的处理，在如图9那样边沿并未与校正对象像素重叠时进行步骤S4的处理。通过如此，在边沿未与校正对象像素重叠的情况下，能够提高校正精确度。
图6及图11的步骤S6中，设为通过以摄像用像素的输出信号的平均值置换相位差检测用像素的输出信号值来进行插值校正，但是并不限定于基于平均值的置换，只要是将校正对象像素的输出信号置换为利用位于该校正对象像素的周围且检测为相同颜色的摄像用像素而生成的信号的插值校正即可。例如，也可以是通过相对于相位差检测用像素位置在边沿方向上最靠近的1个相同颜色摄像用像素的输出信号的复制来进行置换的校正。
以上，通过特定实施方式对本发明进行了说明，但是本发明并不限定于该实施方式，在不脱离所公开的发明的技术思想的范围内能够进行各种变更。
例如，包含相位差检测用像素及摄像用像素的固体摄像元件5的像素排列不限于图2、图3所示的形式，能够采用其他公知的排列(例如，拜耳排列等)。并且，固体摄像元件5可以设为单色摄像用固体摄像元件。即，可省略滤色器。
并且，图2中，将相位差检测用像素对设为沿上下(垂直)方向相邻的2个像素，但也可如图12所示，设为沿左右(水平)方向相邻的2个像素。并且，如图13所示，可将相位差检测用像素对设为倾斜地相邻的2个像素。或者，构成相位差检测用像素对的2个像素可以不相邻，而是分开几个像素左右。而且，对将相位差检测用像素设为G像素的例子进行了说明，但也可以是R像素或B像素。而且，遮光膜开口52a、52b的形状并不一定要是矩形。
还能够将数字信号处理部17所进行的图6、11所示的各步骤作为用于使计算机执行的程序来提供。这种程序记录于计算机能够读取该程序的非临时(non-transitory)记录介质中。
这种“计算机能够读取的记录介质”例如包含CD-ROM(Compact Disc-ROM)等光学介质或存储卡等磁记录介质等。并且，能够通过经由网络的下载提供这种程序。
目前为止，对数码相机进行了说明，但摄像装置的结构并不限定于此。作为本发明的其他摄像装置，例如能够设为内置型或外置型PC用摄像机或者如以下说明的具有拍摄功能的便携终端装置。
作为本发明的摄像装置的一实施方式的便携终端装置，例如可举出移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，例举智能手机，参考附图进行详细说明。
图14是表示作为本发明的摄像装置的一实施方式的智能手机200的外观的图。图14所示的智能手机200具有平板状框体201，在框体201的一侧的面具备作为显示部的显示面板202与作为输入部的操作面板203成为一体的显示输入部204。并且，这种框体201具备扬声器205、麦克风206、操作部207及相机部208。另外，框体201的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或具有折叠结构或滑动机构的结构。
图15是表示图14所示的智能手机200的结构的框图。如图15所示，作为智能手机的主要的构成要件，具备无线通信部210、显示输入部204、通话部211、操作部207、相机部208、存储部212、外部输入输出部213、GPS(Global Positioning System)接收部214、动作传感器部215、电源部216及主控制部220。并且，作为智能手机200的主要功能，具备进行经由省略图示的基站装置BS及省略图示的移动通信网NW的移动无线通信的无线通信功能。
无线通信部210根据主控制部220的指示，相对于容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行音频数据、图像数据等各种文件数据、电子邮件数据等的收发或Web数据或流数据等的接收。
显示输入部204是通过主控制部220的控制，显示图像(静止图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测相对于所显示的信息的用户操作的所谓的触控面板，具备显示面板202及操作面板203。
显示面板202是将LCD(Liquid Crystal Display)、OELD(OrganicElectro-Luminescence Display)等用作显示设备的装置。操作面板203是以能够视觉辨认显示于显示面板202的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将通过操作而产生的检测信号输出至主控制部220。接着，主控制部220根据所接收的检测信号检测显示面板202上的操作位置(坐标)。
如图14所示，作为本发明的摄像装置的一实施方式来例示的智能手机200的显示面板202与操作面板203成为一体而构成显示输入部204，成为操作面板203完全覆盖显示面板202的配置。采用该配置时，操作面板203可具备针对显示面板202外的区域也检测用户操作的功能。换言之，操作面板203可具备针对与显示面板202重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板202重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板202的大小完全一致，但并不一定要使两者一致。并且，操作面板203可具备外援部分及除此以外的内侧部分的两个感应区域。而且，外缘部分的宽度根据框体201的大小等适当设计。此外，作为在操作面板203中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。
通话部211具备扬声器205和麦克风206，将通过麦克风206输入的用户的声音转换为能够在主控制部220中处理的音频数据来输出至主控制部220，或解码通过无线通信部210或外部输入输出部213接收的音频数据而从扬声器205输出。并且，如图14所示，例如能够将扬声器205搭载于与设置有显示输入部204的面相同的面，并将麦克风206搭载于框体201的侧面。
操作部207为使用键开关等的硬件键，接受来自用户的指示。例如，如图14所示，操作部207搭载于智能手机200的框体201的侧面，是若被手指等按下则打开，若手指离开则通过弹簧等的复原力成为关闭状态的按键式开关。
存储部212存储主控制部220的控制程序和控制数据、应用软件、对通信对象的名称和电话号码等建立对应关联的地址数据、所收发电子邮件的数据、通过Web浏览下载的Web数据或已下载的内容数据，并且暂时存储流数据等。并且，存储部212由智能手机内置的内部存储部217及具有装卸自如的外部存储器插槽的外部存储部218构成。另外，构成存储部212的各个内部存储部217与外部存储部218通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(RandomAccess Memory)、ROM(Read Only Memory)等存储介质来实现。
外部输入输出部213发挥与智能手机200连结的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequency Identification)、红外线通信(Infrared Data Association:IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂协议(Zig Bee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机200连结的外部设备，例如有有/无线头戴式受话机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memorycard)或SIM(Subscriber Identity Module Card)/UIM(User IdentityModule Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部213能够将从这种外部设备接受传送的数据传递至智能手机200内部的各构成要件，或使智能手机200内部的数据传送至外部设备。
GPS接收部214根据主控制部220的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由该智能手机200的纬度、经度、高度构成的位置。GPS接收部214在能够从无线通信部210或外部输入输出部213(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部215例如具备3轴加速度传感器等，根据主控制部220的指示，检测智能手机200的物理动态。通过检测智能手机200的物理动态，可检测智能手机200的移动方向或加速度。该检测结果输出至主控制部220。
电源部216根据主控制部220的指示，向智能手机200的各部分供给蓄积在电池(未图示)中的电力。
主控制部220具备微处理器，根据存储部212所存储的控制程序或控制数据动作，统一控制智能手机200的各部分。并且，主控制部220为了通过无线通信部210进行音频通信或数据通信，具备控制通信系统的各部分的移动通信控制功能及应用处理功能。通过在该主控制部220内设置图1中说明的校正方法确定部18，能够进行图6中说明的处理。
应用处理功能通过主控制部220根据存储部212所存储的应用软件而动作来实现。作为应用处理功能，例如有控制外部输入输出部213来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部220具备根据接收数据或所下载的流数据等图像数据(静止图像或动态图像的数据)在显示输入部204显示影像等的图像处理功能。图像处理功能是指主控制部220解码上述图像数据，对该解码结果实施图像处理来将图像显示于显示输入部204的功能。
而且，主控制部220执行相对于显示面板202的显示控制及对通过操作部207、操作面板203进行的用户操作进行检测的操作检测控制。通过执行显示控制，主控制部220显示用于启动应用软件的图标、或滚动条等软件键、或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法容纳于显示面板202的显示区域的较大图像等，接受使图像的显示部分移动的指示的软件键。
并且，通过执行操作检测控制，主控制部220检测通过操作部207进行的用户操作，或接受通过操作面板203进行的相对于上述图标的操作或相对于上述窗口的输入栏的文字列的输入，或者接受通过滚动条进行的显示图像的滚动要求。
而且，通过执行操作检测控制，主控制部220具备判定相对于操作面板203的操作位置是与显示面板202重叠的重叠部分(显示区域)还是除此以外的不与显示面板202重叠的外缘部分(非显示区域)，并控制操作面板203的感应区域或软件键的显示位置的触控面板控制功能。
并且，主控制部220还能够检测相对于操作面板203的手势操作并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触控操作，而是根据手指等描绘轨迹，或同时指定多个位置，或者组合这些来从多个位置对至少1个描绘轨迹的操作。
相机部208为使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-C55oupled Device)等固体摄像元件进行电子拍摄的数码相机。固体摄像元件优选为无光学低通滤波器，但也可以是将光学低通滤波器贴附在固体摄像元件前面而成的元件。并且，相机部208能够通过主控制部220的控制，将通过拍摄获得的图像数据转换为例如JPEG(Joint Photographic coding Experts Group)等压缩的图像数据，记录于存储部212或通过输入输出部213或无线通信部210输出。图14所示的智能手机200中，相机部208搭载于与显示输入部204相同的面，但相机部208的搭载位置并不限定于此，可搭载于显示输入部204的背面，或者也可搭载有多个相机部208。另外，搭载有多个相机部208时，还能够切换供拍摄的相机部208来单独拍摄或者同时使用多个相机部208进行拍摄。
并且，相机部208能够利用于智能手机200的各种功能中。例如，在显示面板202上显示通过相机部208获取的图像，或者作为操作面板203的操作输入之一，能够利用相机部208的图像。并且，当GPS接收部214检测位置时，还能够参照来自相机部208的图像来检测位置。而且，能够参考来自相机部208的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机200的相机部208的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部208的图像。
此外，还能够对静止图像或动画的图像数据附加通过GPS接收部214获取的位置信息、通过麦克风206获取的音频信息(也可以通过主控制部等进行音频文本转换而成为文本信息)、通过动作传感器部215获取的姿势信息等来记录于记录部212，或者通过输入输出部213或无线通信部210输出。
以上叙述的实施方式中，对包含智能手机等的数码相机对相位差检测用像素位置的输出信号值进行校正来生成精确度较高的被摄体图像的情况进行了说明。但是，数码相机本身以RAW数据输出固体摄像元件5的输出信号，并对计算机等所读入的RAW数据进行校正来生成被摄体图像时，也能够适用上述的实施方式。
此时，计算机等需要事先得知固体摄像元件5的相位差检测用像素的位置，因此将该数据添附于RAW数据来输出至计算机等即可。如上所述，若设为数码相机侧以RAW数据输出对相位差检测用像素的输出信号值进行校正之后的摄像图像信号的结构，则不需要固体摄像元件的相位差检测用像素位置数据。
如以上所述，本说明书中公开有以下事项。
所公开的图像处理装置为一种对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理的图像处理装置，其中，具备：增益校正处理部，针对上述摄像图像信号中包含的上述相位差检测用像素的输出信号，进行对该输出信号乘以增益值来进行校正的增益校正处理；插值校正处理部，进行将上述摄像图像信号中包含的上述相位差检测用像素的输出信号置换为利用位于该相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正的插值校正处理；及校正部，通过上述增益校正处理部与上述插值校正处理部中的任一个对上述摄像图像信号中包含的多个上述相位差检测用像素的输出信号的每一个进行校正，在包含作为校正对象的上述相位差检测用像素及位于其周围且检测为与上述作为校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的判定区内存在沿相对于基于上述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的第1情况下，或者在上述判定区内存在沿相对于上述相位差检测方向正交的方向延伸的被摄体图像的边沿且上述边沿与上述作为校正对象的相位差检测用像素重叠的第2情况下，上述校正部通过上述插值校正处理部对上述作为校正对象的相位差检测用像素的输出信号进行校正。
所公开的图像处理装置中，在上述第1情况或上述第2情况下，上述插值校正处理部利用相对于上述作为校正对象的相位差检测用像素沿上述正交的方向存在且检测为与所述相位差检测用像素相同的颜色的上述摄像用像素的输出信号对上述作为校正对象的相位差检测用像素的输出信号进行校正。
所公开的图像处理装置中，上述固体摄像元件为未搭载光学低通滤波器的固体摄像元件。
所公开的图像处理装置中，上述固体摄像元件中，在以上述二维阵列状排列的多个像素上排列有滤色器，上述滤色器的排列包含有将与最有助于获得亮度信号的第1颜色对应的第1滤波器及与上述第1颜色以外的2个颜色以上的第2颜色对应的第2滤波器的3×3像素群排列而成的排列图案，上述第1滤波器在上述3×3像素群中配置于中心及四角，上述排列图案沿水平方向及垂直方向反复配置，与上述第1滤波器对应的第1颜色的像素个数的比率配置得比与上述第2滤波器对应的第2颜色的各颜色的像素个数的比率高，上述相位差检测用像素设置为设置有上述第1滤波器的像素。
所公开的摄像装置为具备上述图像处理装置、上述固体摄像元件的装置。
所公开的图像处理方法是对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理的图像处理方法，其中，上述图像处理方法具备校正步骤，在该步骤中，针对上述摄像图像信号中包含的多个上述相位差检测用像素的输出信号的每一个，通过增益校正处理和插值校正处理中的任一个进行校正，上述增益校正处理对上述输出信号乘以增益值来进行校正；上述插值校正处理将上述输出信号置换为利用位于上述相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正，上述校正步骤中，在包含作为校正对象的上述相位差检测用像素及位于其周围且检测为与上述作为校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的判定区内存在沿相对于基于上述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的第1情况下，或者在上述判定区内存在沿相对于上述相位差检测方向正交的方向延伸的被摄体图像的边沿且上述边沿与上述作为校正对象的相位差检测用像素重叠的第2情况下，通过上述插值校正处理对上述作为校正对象的相位差检测用像素的输出信号进行校正。
所公开的图像处理程序是用于通过计算机对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理的图像处理程序，其中，上述图像处理程序为用于使计算机执行校正步骤的程序，上述校正步骤中，针对上述摄像图像信号中包含的多个上述相位差检测用像素的输出信号的每一个，通过增益校正处理和插值校正处理中的任一个进行校正，上述增益校正处理对上述输出信号乘以增益值来进行校正；上述插值校正处理将上述输出信号置换为利用位于上述相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正，上述校正步骤中，在包含作为校正对象的上述相位差检测用像素及位于其周围且检测为与上述作为校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的判定区内存在沿相对于基于上述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的第1情况下，或者在上述判定区内存在沿相对于上述相位差检测方向正交的方向延伸的被摄体图像的边沿且上述边沿与上述作为校正对象的相位差检测用像素重叠的第2情况下，通过上述插值校正处理对上述作为校正对象的相位差检测用像素的输出信号进行校正。
产业上的可利用性
本发明所涉及的图像处理方法中，作为相位差检测用像素的输入信号的校正，能够根据拍摄场景适当切换增益校正与增益校正以外的校正。因此，能够生成高品质的被摄体图像，应用于数码相机等时有用。
符号说明
1-拍摄透镜，5-无光学低通滤波器的固体摄像元件，11-系统控制部，17-数字信号处理部，19-散焦量运算部，51a、52a、52b-遮光膜开口，54-受光面，55-AF区，60-判定块，61-图像边沿，171-增益校正处理部，172-插值校正处理部，173-图像处理部。

Claims (7)

1.一种图像处理装置，对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理，其中，具备：
增益校正处理部，针对所述摄像图像信号中包含的所述相位差检测用像素的输出信号，进行对该输出信号乘以增益值来进行校正的增益校正处理；
插值校正处理部，进行将所述摄像图像信号中包含的所述相位差检测用像素的输出信号置换为下述信号来进行校正的插值校正处理，所述信号是利用位于该相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的所述摄像用像素的输出信号而生成的信号；及
校正部，通过所述增益校正处理部与所述插值校正处理部中的任一个对所述摄像图像信号中包含的多个所述相位差检测用像素的输出信号的每一个进行校正，
在第1情况或者第2情况下，所述校正部通过所述插值校正处理部对所述作为校正对象的相位差检测用像素的输出信号进行校正，所述第1情况是在包含作为校正对象的所述相位差检测用像素及位于其周围且检测为与所述作为校正对象的相位差检测用像素相同的颜色的多个所述摄像用像素的判定区内存在沿相对于所述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的情况，所述第2情况是在所述判定区内存在沿相对于所述相位差检测方向正交的方向延伸的被摄体图像的边沿且所述边沿与所述作为校正对象的相位差检测用像素重叠的情况。
2.根据权利要求1所述的图像处理装置，其中，
在所述第1情况或所述第2情况下，所述插值校正处理部利用相对于所述作为校正对象的相位差检测用像素存在于所述正交的方向上且检测为与所述相位差检测用像素相同的颜色的所述摄像用像素的输出信号，对所述作为校正对象的相位差检测用像素的输出信号进行校正。
3.根据权利要求1或2所述的图像处理装置，其中，
所述固体摄像元件中，在所述以二维阵列状排列的多个像素上排列有滤色器，
所述滤色器的排列包含有将与最有助于获得亮度信号的第1颜色对应的第1滤波器和与所述第1颜色以外的2个以上颜色的第2颜色对应的第2滤波器排列而成的3×3像素群的排列图案，所述第1滤波器在所述3×3像素群中配置于中心及四角，所述排列图案沿水平方向及垂直方向反复配置，
与所述第1滤波器对应的第1颜色的像素个数配置得比与所述第2滤波器对应的第2颜色的各颜色的像素个数多，
所述相位差检测用像素被设置为设置有所述第1滤波器的像素。
4.根据权利要求3所述的图像处理装置，其中，
所述固体摄像元件未搭载有光学低通滤波器。
5.一种摄像装置，其具备：
权利要求1至4中任一项所述的图像处理装置；及
所述固体摄像元件。
6.一种图像处理方法，其对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理，其中，
所述图像处理方法具备校正步骤，在该步骤中，针对所述摄像图像信号中包含的多个所述相位差检测用像素的输出信号的每一个，通过增益校正处理和插值校正处理中的任一个进行校正，所述增益校正处理对所述输出信号乘以增益值来进行校正；所述插值校正处理将所述输出信号置换为利用位于该相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的所述摄像用像素的输出信号而生成的信号来进行校正，
所述校正步骤中，在第1情况或者第2情况下，通过所述插值校正处理对所述作为校正对象的相位差检测用像素的输出信号进行校正，所述第1情况是在包含作为校正对象的所述相位差检测用像素及位于其周围且检测为与所述作为校正对象的相位差检测用像素相同的颜色的多个所述摄像用像素的判定区内存在沿相对于所述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的情况，所述第2情况是在所述判定区内存在沿相对于所述相位差检测方向正交的方向延伸的被摄体图像的边沿且所述边沿与所述作为校正对象的相位差检测用像素重叠的情况。
7.一种图像处理程序，用于通过计算机对从具有以二维阵列状排列于受光面的多个摄像用像素及多个相位差检测用像素的固体摄像元件输出的摄像图像信号进行处理，其中，
所述图像处理程序为用于使计算机执行校正步骤的程序，所述校正步骤中，针对所述摄像图像信号中包含的多个所述相位差检测用像素的输出信号的每一个，通过增益校正处理和插值校正处理中的任一个进行校正，所述增益校正处理对所述输出信号乘以增益值来进行校正；所述插值校正处理将所述输出信号置换为利用位于该相位差检测用像素的周围且检测为与该相位差检测用像素相同的颜色的所述摄像用像素的输出信号而生成的信号来进行校正，
所述校正步骤中，在第1情况或者第2情况下，通过所述插值校正处理对所述作为校正对象的相位差检测用像素的输出信号进行校正，所述第1情况是在包含作为校正对象的所述相位差检测用像素及位于其周围且检测为与所述作为校正对象的相位差检测用像素相同的颜色的多个所述摄像用像素的判定区内存在沿相对于所述相位差检测用像素的相位差检测方向正交的方向延伸的被摄体图像的边沿的情况，所述第2情况是在所述判定区内存在沿相对于所述相位差检测方向正交的方向延伸的被摄体图像的边沿且所述边沿与所述作为校正对象的相位差检测用像素重叠的情况。
CN201380060872.0A 2012-12-11 2013-11-12 图像处理装置、摄像装置、及图像处理方法 Active CN104813648B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012270466 2012-12-11
JP2012-270466 2012-12-11
PCT/JP2013/080493 WO2014091854A1 (ja) 2012-12-11 2013-11-12 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104813648A true CN104813648A (zh) 2015-07-29
CN104813648B CN104813648B (zh) 2018-06-05

Family

ID=50934151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380060872.0A Active CN104813648B (zh) 2012-12-11 2013-11-12 图像处理装置、摄像装置、及图像处理方法

Country Status (4)

Country Link
US (1) US9407884B2 (zh)
JP (1) JP5775977B2 (zh)
CN (1) CN104813648B (zh)
WO (1) WO2014091854A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496360A (zh) * 2016-01-25 2018-09-04 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN109196857A (zh) * 2016-06-01 2019-01-11 富士胶片株式会社 成像元件及摄像装置
CN110463184A (zh) * 2017-03-30 2019-11-15 富士胶片株式会社 图像处理装置、图像处理方法及程序
CN110500968A (zh) * 2019-07-11 2019-11-26 北京理工大学 基于稀疏傅里叶变换的数字莫尔干涉相位实时测量方法
CN112598600A (zh) * 2020-09-30 2021-04-02 安谋科技（中国）有限公司 图像摩尔纹校正方法及其电子设备和介质
CN112771840A (zh) * 2018-09-28 2021-05-07 株式会社半导体能源研究所 图像处理方法、程序及摄像装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104854496B (zh) * 2012-11-22 2017-04-12 富士胶片株式会社 摄像装置、散焦量运算方法及摄像光学系统
JP5775918B2 (ja) 2013-09-27 2015-09-09 オリンパス株式会社 撮像装置、画像処理方法及び画像処理プログラム
CN104021761B (zh) * 2014-05-30 2016-03-09 京东方科技集团股份有限公司 一种显示器件的亮度补偿方法、装置及显示器件
JP6129119B2 (ja) * 2014-06-04 2017-05-17 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、撮像装置、および画像処理方法
JP6316140B2 (ja) * 2014-08-20 2018-04-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN110447223B (zh) * 2017-03-16 2021-07-27 富士胶片株式会社 摄像装置
CN112866553B (zh) * 2019-11-12 2022-05-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN111080550B (zh) * 2019-12-13 2023-03-07 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009008928A (ja) * 2007-06-28 2009-01-15 Olympus Corp 撮像装置及び画像信号処理プログラム
JP2010139624A (ja) * 2008-12-10 2010-06-24 Nikon Corp 撮像素子および撮像装置
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
CN101975965A (zh) * 2010-10-27 2011-02-16 江苏康众数字医疗设备有限公司 平板探测器及其温度校准方法与图像校正方法
JP2011237585A (ja) * 2010-05-10 2011-11-24 Canon Inc 撮像装置及びその制御方法
CN102572222A (zh) * 2010-11-15 2012-07-11 三菱电机株式会社 图像处理装置和方法以及图像显示装置和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1528797B1 (en) * 2003-10-31 2015-07-08 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
JP5371331B2 (ja) 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5642433B2 (ja) 2010-06-15 2014-12-17 富士フイルム株式会社 撮像装置及び画像処理方法
US9253373B2 (en) * 2012-06-06 2016-02-02 Apple Inc. Flare detection and mitigation in panoramic images
CN104919352B (zh) * 2013-01-10 2017-12-19 奥林巴斯株式会社 摄像装置和图像校正方法以及图像处理装置和图像处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009008928A (ja) * 2007-06-28 2009-01-15 Olympus Corp 撮像装置及び画像信号処理プログラム
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
JP2010139624A (ja) * 2008-12-10 2010-06-24 Nikon Corp 撮像素子および撮像装置
JP2011237585A (ja) * 2010-05-10 2011-11-24 Canon Inc 撮像装置及びその制御方法
CN101975965A (zh) * 2010-10-27 2011-02-16 江苏康众数字医疗设备有限公司 平板探测器及其温度校准方法与图像校正方法
CN102572222A (zh) * 2010-11-15 2012-07-11 三菱电机株式会社 图像处理装置和方法以及图像显示装置和方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496360A (zh) * 2016-01-25 2018-09-04 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN108496360B (zh) * 2016-01-25 2020-10-30 奥林巴斯株式会社 图像处理装置、图像处理方法和记录了程序的介质
CN109196857A (zh) * 2016-06-01 2019-01-11 富士胶片株式会社 成像元件及摄像装置
CN109196857B (zh) * 2016-06-01 2020-10-27 富士胶片株式会社 成像元件及摄像装置
CN110463184A (zh) * 2017-03-30 2019-11-15 富士胶片株式会社 图像处理装置、图像处理方法及程序
US10939058B2 (en) 2017-03-30 2021-03-02 Fujifilm Corporation Image processing apparatus, image processing method, and program
CN110463184B (zh) * 2017-03-30 2021-03-12 富士胶片株式会社 图像处理装置、图像处理方法及非易失性有形介质
CN112771840A (zh) * 2018-09-28 2021-05-07 株式会社半导体能源研究所 图像处理方法、程序及摄像装置
CN112771840B (zh) * 2018-09-28 2023-07-25 株式会社半导体能源研究所 图像处理方法和装置及摄像装置
US11631708B2 (en) 2018-09-28 2023-04-18 Semiconductor Energy Laboratory Co., Ltd. Image processing method, program, and imaging device
CN110500968A (zh) * 2019-07-11 2019-11-26 北京理工大学 基于稀疏傅里叶变换的数字莫尔干涉相位实时测量方法
CN110500968B (zh) * 2019-07-11 2021-04-20 北京理工大学 基于稀疏傅里叶变换的数字莫尔干涉相位实时测量方法
CN112598600B (zh) * 2020-09-30 2023-03-10 安谋科技（中国）有限公司 图像摩尔纹校正方法及其电子设备和介质
CN112598600A (zh) * 2020-09-30 2021-04-02 安谋科技（中国）有限公司 图像摩尔纹校正方法及其电子设备和介质

Also Published As

Publication number Publication date
US9407884B2 (en) 2016-08-02
CN104813648B (zh) 2018-06-05
WO2014091854A1 (ja) 2014-06-19
US20150264324A1 (en) 2015-09-17
JPWO2014091854A1 (ja) 2017-01-05
JP5775977B2 (ja) 2015-09-09

Similar Documents

Publication Publication Date Title
CN104813648A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
US10003731B2 (en) Image element, and imaging device and imaging method using the same for achieving improved image quality regardless of an incident angle of light
JP5690974B2 (ja) 撮像装置及び合焦制御方法
US10021287B2 (en) Imaging control device, imaging device, imaging control method, and program for transmitting an imaging preparation command, receiving a preparation completion command, and transmitting a captured image acquisition command
US20150085178A1 (en) Image capturing apparatus and focusing control method
US20150124129A1 (en) Imaging device, and image processing method
US10516860B2 (en) Image processing method, storage medium, and terminal
CN104995912A (zh) 摄像装置、图像处理装置、图像处理方法及程序
US11184523B2 (en) Imaging apparatus with phase difference detecting element
JP5978411B2 (ja) 撮像装置及び合焦制御方法
US9819853B2 (en) Imaging device and focusing control method
JP5677625B2 (ja) 信号処理装置、撮像装置、信号補正方法
US10958824B2 (en) Imaging apparatus and image processing method
US9350962B2 (en) Image processing device, imaging apparatus, computer, image processing method, and non-transitory computer readable medium
US20160353009A1 (en) Imaging device and focusing control method
CN104871526B (zh) 图像处理装置、摄像装置、图像处理方法、图像处理程序
CN105230010A (zh) 像素混合装置及其动作控制方法
US9344646B2 (en) Imaging device and imaging method
JPWO2014087804A1 (ja) 撮像装置、画像処理方法及びプログラム
JP5702891B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
US9270955B2 (en) Imaging apparatus that generates three-layer color data on the basis of a first mosaic image
US20230328375A1 (en) Imaging apparatus, focus control method, and focus control program
CN104603662A (zh) 摄像装置及对焦控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant