CN104871526A - 图像处理装置、摄像装置、图像处理方法、图像处理程序 - Google Patents

图像处理装置、摄像装置、图像处理方法、图像处理程序 Download PDF

Info

Publication number
CN104871526A
CN104871526A CN201380066461.2A CN201380066461A CN104871526A CN 104871526 A CN104871526 A CN 104871526A CN 201380066461 A CN201380066461 A CN 201380066461A CN 104871526 A CN104871526 A CN 104871526A
Authority
CN
China
Prior art keywords
phase difference
difference detection
output signal
pixel
detection pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380066461.2A
Other languages
English (en)
Other versions
CN104871526B (zh
Inventor
菅原一文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104871526A publication Critical patent/CN104871526A/zh
Application granted granted Critical
Publication of CN104871526B publication Critical patent/CN104871526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供一种提高相位差检测用的像素的输出信号的校正精度的图像处理装置、图像处理方法、图像处理程序以及摄像装置。对从包括摄像用像素(30)以及相位差检测用像素(31R、31L)的固体摄像元件(3)输出的摄像图像信号进行处理的数字信号处理部(17)在对摄像图像信号中包括的相位差检测用像素的输出信号进行校正时,通过增益校正处理来对该输出信号进行校正,如果通过该校正而得到的信号值(Sc)为Sc<TH1或者Sc>TH2,则通过平均化校正处理对该输出信号进行校正,将校正后的信号存储到主存储器(16)中。

Description

图像处理装置、摄像装置、图像处理方法、图像处理程序
技术领域
本发明涉及图像处理装置、摄像装置、图像处理方法、图像处理程序。
背景技术
近年来,伴随着CCD(Charge Coupled Device,电荷耦合装置)图像传感器、CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器等固体摄像元件的高分辨率化,数码照相机、数码摄像机、移动电话机、PDA(Personal Digital Assistant,便携信息终端)等具有摄影功能的信息设备的需求正急剧增加。此外,将以上那样的具有摄像功能的信息设备称为摄像装置。
在使焦点对准到主要的被摄体的对焦控制方法中,存在对比度AF(Auto Focus,自动对焦)方式、相位差AF方式。相位差AF方式与对比度AF方式相比,能够更加高速、高精度地进行对焦位置的检测,所以在各种摄像装置中较多地采用。
作为在通过相位差AF方式进行对焦控制的摄像装置中搭载的固体摄像元件,例如,使用在摄像区域的整个面离散地设置了遮光膜开口相互向反方向离心的相位差检测用的像素对的元件(参照专利文献1、2)。
关于该相位差检测用的像素,由于遮光膜开口的面积小于其他通常的像素,所以不足以将其输出信号用作摄像图像信号。因此,需要校正相位差检测用的像素的输出信号。
专利文献1、2公开了将使用相位差检测用的像素周围的通常的像素的输出信号来插值生成该相位差检测用的像素的输出信号的插值校正处理以及对相位差检测用的像素的输出信号进行增益放大并校正的增益校正处理并用的摄像装置。
现有技术文献
专利文献
专利文献1:日本特开2012-4729号公报
专利文献2:日本特开2010-62640号公报
发明内容
发明所要解决的课题
在上述的增益校正处理中,需要求出乘到相位差检测用的像素的输出信号的增益值。作为该增益值的生成方法,存在根据对基准图像进行摄像而得到的图像信号来事先生成的方法以及根据通过实时取景图像显示用的摄像而得到的图像信号来实时地生成的方法。
然而,在上述任一种方法中,都由于被摄体的图案、噪声、或者混色等而在相位差检测用的像素的输出信号中产生偏差。
在增益校正处理中使用的增益值并非针对每个摄影条件,针对每个相位差检测用像素单独地生成,而是针对分割摄像元件的受光面而得到的每个方块而生成代表性的值。针对每个该方块而生成的增益值是近似的值,所以有时在增益校正处理后的相位差检测用像素的输出、与该相位差检测用像素周边的摄影用像素的输出之间产生不自然的差。
特别是,在根据实时取景图像显示用的图像信号来求出在增益校正处理中使用的增益值的情况下,例如,有可能在相位差检测用像素与通常像素之间存在明暗差。即,由于方块内的实时取景图像的图像图案而影响增益值,所以产生增益值的偏差。然后,相位差检测用像素的信号值的增益校正处理后的值根据原本的相位差检测用像素的信号值的偏差与增益值的偏差之积而发生偏差。根据这样的理由,增益校正处理后的输出信号值有时从所期望的值偏离。即,在增益校正处理的精度中产生了偏差。
以往,即使在图像的亮度、颜色急剧变化的边缘的近处进行增益校正,增益校正后的输出信号值与其周边的输出信号值的差异也不明显。
但是,由于近年来的摄像元件的像素的微型化,增益校正后的输出信号值、与周边的输出信号值的差异变得明显。特别是,在背面照射型的摄像元件中,混色的影响大,如果混色多的话,则混色对增益值的影响变大,所以增益值的偏差也变大。
另外,到目前为止,光圈与摄像元件分别都小,入射到摄像元件的光线角度缓和,被摄体深度也变浅,所以能够容许由增益值的偏差导致的画质劣化。但是,如果摄像元件大型化,透镜也变成光圈开放侧,则光线角度变大,增益值的偏差也变大。因此,无法容许增益校正后的输出信号值与周边的输出信号值的差异。
根据搭载光学低通滤波器的摄像装置,空间高频分量被切掉,所以上述的画质劣化在一定程度上不容易变得明显。但是,最近提出了无光学低通滤波器的摄像装置,特别是在这样的摄像装置中,增益值的偏差变大。
本发明是鉴于上述情况而完成的,其目的在于,提供一种能够提高相位差检测用的像素的输出信号的校正精度而提高摄像画质的图像处理装置以及具备它的摄像装置、图像处理方法、图像处理程序。
用于解决课题的技术方案
本发明的图像处理装置是对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理的图像处理装置,上述图像处理装置具备:增益校正处理部,进行增益校正处理,在该增益校正处理中,针对上述摄像图像信号中包括的上述相位差检测用像素的输出信号,对该输出信号乘以增益值来进行校正;插值校正处理部,进行插值校正处理,在该插值校正处理中,将上述摄像图像信号中包括的上述相位差检测用像素的输出信号置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正;以及图像处理部,通过上述增益校正处理部与上述插值校正处理部中的某一个来对上述摄像图像信号中包括的多个上述相位差检测用像素的输出信号分别进行校正,并将上述校正后的上述摄像图像信号记录到记录介质中,当在包括校正对象的上述相位差检测用像素以及位于其周围的检测与上述校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过上述增益校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,上述图像处理部将通过上述插值校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中,上述第一值与上述第二值是基于上述校正对象像素的输出信号值与上述增益值的值。
本发明的摄像装置具备上述图像处理装置以及上述摄像元件。
本发明的图像处理方法是对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理的图像处理方法,上述图像处理方法具备图像处理步骤,在该图像处理步骤中,针对通过上述摄像元件进行摄像而得到的摄像图像信号中包括的上述相位差检测用像素的输出信号,通过对该输出信号乘以增益值来进行校正的增益校正处理以及置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正的插值校正处理中的某一个来进行校正,并将上述校正后的上述摄像图像信号记录到记录介质中,当在包括校正对象的上述相位差检测用像素以及位于其周围的检测与上述校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过上述增益校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,在上述图像处理步骤中,将通过上述插值校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中,上述第一值与上述第二值是基于上述校正对象像素的输出信号值与上述增益值的值。
本发明的图像处理程序是用于对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理的图像处理程序,上述图像处理程序是用于使计算机执行图像处理步骤的程序,在该图像处理步骤中,针对通过上述摄像元件进行摄像而得到的摄像图像信号中包括的上述相位差检测用像素的输出信号,通过对该输出信号乘以增益值来进行校正的增益校正处理以及置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正的插值校正处理中的某一个来进行校正,并将上述校正后的上述摄像图像信号记录到记录介质中,当在包括校正对象的上述相位差检测用像素以及位于其周围的检测与上述校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过上述增益校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,在上述图像处理步骤中,将通过上述插值校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中,上述第一值与上述第二值是基于上述校正对象像素的输出信号值与上述增益值的值。
发明效果
根据本发明,能够提供一种能够提高相位差检测用的像素的输出信号的校正精度而提高摄像画质的图像处理装置以及具备它的摄像装置、图像处理方法、图像处理程序。
附图说明
图1是示出用于说明本发明的一种实施方式的作为摄像装置的一例的数码相机的概略结构的图。
图2是示出图1所示的数码相机中搭载的固体摄像元件5的概略结构的俯视示意图。
图3是图1所示的数码相机中的数字信号处理部17的功能框图。
图4是在图2所示的固体摄像元件3中提取到以相位差检测用像素31L为中心的5×5个像素的图。
图5是用于说明图1所示的数码相机中的数字信号处理部17的动作的流程图。
图6是用于说明图1所示的数码相机中的数字信号处理部17的动作的流程图。
图7是用于说明图1所示的数码相机中的数字信号处理部17的动作的图。
图8是用于说明规定范围的优选例子的图。
图9是作为摄像装置而说明智能手机的图。
图10是图9的智能手机的内部框图。
具体实施方式
以下,参照附图,说明本发明的实施方式。
图1是示出用于说明本发明的一种实施方式的作为摄像装置的一例的数码相机的概略结构的图。
图1所示的数码相机的摄像系统具备:具有包括聚焦透镜、变焦透镜等透镜的摄影透镜1和光圈2的摄影光学系统以及CCD图像传感器、CMOS图像传感器等固体摄像元件3。
固体摄像元件3采用二维状地配置了多个摄像用像素以及分别接收通过了摄影光学系统的不同的瞳孔区域的一对光束的两种相位差检测用像素的结构,接收通过摄影透镜1而成像的图像并输出摄像图像信号,并且输出与上述一对光束对应的一对图像信号。
集中控制数码相机的电控制系统整体的系统控制部11控制闪光灯发光部12以及受光部13。另外,系统控制部11控制透镜驱动部8来调整摄影透镜1中包括的聚焦透镜的位置,或者进行摄影透镜1中包括的变焦透镜的位置的调整。进而,系统控制部11经由光圈驱动部9来控制光圈2的开口量,从而进行曝光量的调整。
另外,系统控制部11经由摄像元件驱动部10来驱动固体摄像元件3,将通过摄影透镜1而进行摄像得到的被摄体图像作为摄像图像信号来输出。针对系统控制部11,通过操作部14而输入来自用户的指示信号。
数码相机的电控制系统还具备:与固体摄像元件3的输出连接的进行相关双采样处理等模拟信号处理的模拟信号处理部6以及将从该模拟信号处理部6输出的RGB的颜色信号变换成数字信号的A/D变换电路7。模拟信号处理部6以及A/D变换电路7通过系统控制部11来控制。
该数码相机的电控制系统还具备:主存储器16、与主存储器16连接的存储器控制部15、针对通过固体摄像元件3进行摄像而得到的摄像图像信号进行各种图像处理而生成摄影图像数据的数字信号处理部17、将由数字信号处理部17生成的摄影图像数据压缩成JPEG格式或者对压缩图像数据进行解压的压缩解压处理部18、根据从固体摄像元件3的相位差检测用像素输出的一对图像信号的相位差来计算摄影透镜1的散焦量的焦点检测部19、连接了装卸自如的记录介质21的外部存储器控制部20以及连接了在相机背面等搭载的显示部23的显示控制部22。存储器控制部15、数字信号处理部17、压缩解压处理部18、焦点检测部19、外部存储器控制部20以及显示控制部22通过控制总线24以及数据总线25而相互连接,并通过来自系统控制部11的指令来控制。
图2是示出图1所示的数码相机中搭载的固体摄像元件3的概略结构的俯视示意图。固体摄像元件3在二维状地配置有像素的摄像区域的整个面或者一部分,分散地设置了相位差检测用像素。在图2中,示出了放大了摄像区域中的、设置有相位差检测用像素的部分的图。
固体摄像元件3具备在行方向X以及与它正交的列方向Y上二维状(在图2的例中是正方形格子状)地排列的大量的像素(图中的各正方形)。大量的像素被配置成在列方向Y上以恒定的间距排列了由在行方向X上以恒定间距排列的多个像素构成的像素行。大量的像素包括摄像用像素30、相位差检测用像素31L与相位差检测用像素31R。各像素包括接收光并变换成电荷的光电变换部。
摄像用像素30是接收通过了图1所示的摄影透镜1的不同的瞳孔区域的一对光(例如相对于摄影透镜1的主轴而通过了左侧的光和通过了右侧的光)这两者的像素。
相位差检测用像素31L是接收上述一对光中的一方的像素,与摄像用像素30相比,构成为光电变换部的开口(不附加阴影的区域)向左侧离心。
相位差检测用像素31R是接收上述一对光中的另一方的像素,与摄像用像素30相比,构成为光电变换部的开口(不附加阴影的区域)向右侧离心。
此外,相位差检测用像素的结构不限于上述内容,能够采用公知的结构。另外,在这里,设为通过相位差检测用像素31R以及相位差检测用像素31L在行方向X上检测具有相位差的一对图像信号,但也可以将遮光膜开口的离心方向设为列方向Y,设为在列方向Y上检测具有相位差的一对图像信号。
在各像素中包括的光电变换部的上方,搭载了滤色器,该滤色器的阵列在构成固体摄像元件3的大量像素的整体上为拜耳阵列。
在图2中,对搭载透过红色(R)光的滤色器的像素记“R”。另外,对搭载透过绿色(G)光的滤色器的像素记“G”。进而,对搭载透过蓝色(B)光的滤色器的像素记“B”。滤色器也可以设为4种颜色以上。
相位差检测用像素31L在从图2的上方起的第3与第9像素行中,在搭载了透过绿色(G)光的滤色器的像素的位置处每隔3个像素地配置。
相位差检测用像素31R在从图2的上方起的第4与第10像素行中,在搭载了透过绿色(G)光的滤色器的像素的位置处每隔3个像素地配置。
在倾斜方向上相邻的相位差检测用像素31L与相位差检测用像素31R构成一对,在固体摄像元件3中,构成为设置有多个该对。
图1所示的焦点检测部19使用从相位差检测用像素31L以及相位差检测用像素31R读出的信号群,计算与摄影透镜1的焦点调节状态、在这里是对焦状态相差的量及其方向、即散焦量。
图1所示的系统控制部11根据通过焦点检测部19计算出的散焦量,控制摄像透镜1中包括的聚焦透镜的位置而进行焦点调节。
如果在进行了焦点调节的状态下进行摄影指示,则系统控制部11通过固体摄像元件3进行摄像,将通过该摄像而从固体摄像元件3输出的摄像图像信号(从各像素输出的输出信号的集合)引入到数字信号处理部17。
然后,数字信号处理部17对该摄像图像信号中包括的相位差检测用像素的输出信号进行校正,将校正后的摄像图像信号记录到主存储器16。进而,数字信号处理部17对所记录的摄像图像信号进行图像处理,生成摄像图像数据。在图像处理中,包括去马赛克处理、γ校正处理、白平衡调整处理等。
图3是图1所示的数码相机中的数字信号处理部17的功能框图。
数字信号处理部17具备增益校正处理部171、插值校正处理部172以及图像处理部173。它们是通过数字信号处理部17中包括的处理器执行程序而形成的功能模块。
增益校正处理部171进行增益校正处理,在该增益校正处理中,针对摄像图像信号中包括的校正对象的相位差检测用像素(以下,称为校正对象像素)的输出信号,对该输出信号乘以增益值来进行校正。
该增益值能够根据通过固体摄像元件3进行摄像而得到的摄像图像信号来求出。该摄像图像信号既可以是在数码相机的上市前的调整工序中对基准图像进行摄像而得到的信号,也可以是通过用于实时取景图像显示的摄像而得到的信号。
例如,将配置有相位差检测用像素的区域分割成多个方块,针对每个该方块,计算位于该方块的检测绿色的摄像用像素30的输出信号的平均值AvS以及位于该方块的相位差检测用像素31L的输出信号的平均值AvL,将AvS/AvL计算为与位于该方块的相位差检测用像素31L对应的增益值,并存储到存储器中。
同样地,针对每个方块,计算位于该方块的检测绿色的摄像用像素30的输出信号的平均值AvS以及位于该方块的相位差检测用像素31R的输出信号的平均值AvR,将AvS/AvR计算为与位于该方块的相位差检测用像素31R对应的增益值,并存储到存储器中。
然后,增益校正处理部171从存储器读出与校正对象像素对应的增益值,将该增益值乘到该校正对象像素的输出信号而进行增益校正处理。
插值校正处理部172进行插值校正处理,在该插值校正处理中,将校正对象像素的输出信号置换成根据位于该校正对象像素的周围的检测与该校正对象像素相同的颜色的摄像用像素30的输出信号而生成的信号来进行校正。
该插值校正处理包括最大最小置换处理以及平均化校正处理(运算校正处理)。
最大最小置换处理是将在固体摄像元件3的受光面上作为以校正对象像素为中心的规定范围的、包括检测与校正对象像素相同的颜色的多个摄像用像素30的范围内的该摄像用像素30的输出信号中的、最小值Smin与最大值Smax的某一个的复制数据置换成校正对象像素的输出信号的处理。
下面,将最大最小置换处理中的、用上述Smin来置换校正对象像素的输出信号的处理称为最小置换处理,将用上述Smax来置换校正对象像素的输出信号的处理称为最大置换处理。
平均化校正处理是将校正对象像素的输出信号置换成通过使用在上述规定范围内位于校正对象像素的周围的检测与该校正对象像素相同的颜色的多个摄像用像素30的输出信号的运算而生成的信号的处理。
例如,当在将上述规定范围设为包括以相位差检测用像素为中心的5行×5列=25个像素的范围时,通过平均化校正处理来校正图4所示的正中的相位差检测用像素31L的输出信号的情况下,将位于该相位差检测用像素31L的周围的检测G色光的11个摄像用像素30的输出信号的平均值与该相位差检测用像素31L的输出信号值进行置换。
图像处理部173针对每个校正对象像素,通过增益校正处理部171与插值校正处理部172中的某一个来校正其输出信号,将进行了关于所有校正对象像素的校正之后的摄像图像信号记录到主存储器16。然后,对所记录的摄像图像信号进行图像处理而生成摄像图像数据,并记录到记录介质21。此外,图像处理部173也可以将对所有校正对象像素的输出信号进行校正之后的摄像图像信号作为RAW数据而原样地记录到记录介质21。
图5以及图6是用于说明图3所示的图像处理部173对任意的校正对象像素的输出信号进行校正时的动作的流程图。
如果通过固体摄像元件3进行了用于图像记录的摄像,则将从固体摄像元件3输出的摄像图像信号存储到主存储器16。如果摄像图像信号被存储,则图像处理部173从主存储器16取得固体摄像元件3中的位于以任意的校正对象像素为中心的规定范围的所有像素的输出信号。该规定范围是包括校正对象像素和接近于它的检测与校正对象像素相同的颜色的多个摄像用像素的范围即可。
然后,图像处理部173针对所取得的输出信号中的校正对象像素的输出信号,通过增益校正处理部171来进行校正(步骤S1)。此时,将通过增益校正处理部171进行校正而得到的输出信号值设为Sc。
接下来,图像处理部173提取所取得的输出信号中的检测与校正对象像素相同的颜色的摄像用像素30的输出信号中的最大值与最小值。将所提取到的最大值设为Smax,将最小值设为Smin。
然后,图像处理部173从Smin中减去预先确定的值a而生成判定阈值TH1,对Smax加上上述a而生成判定阈值TH2(步骤S2)。
判定阈值TH1、TH2是用于判定在步骤S1中得到的信号值Sc的可靠性的阈值。根据上述规定范围内的Smin与Smax,可以知晓位于该规定范围的被摄体的对比度。即,如果在步骤S1中得到的输出信号值位于Smin到Smax之间,则能够判断为该输出信号值的可靠性高。
如上所述,关于在增益校正处理中使用的增益值,针对位于1个方块的构造相同的所有相位差检测用像素使用共同的值的情况较多。但是,在方块内的相位差检测用像素的输出信号中存在偏差。因此,通过步骤S1的增益校正处理而得到的信号值有时比Smin小该偏差量,或者比Smax大该偏差量。因此,将增益校正处理后的输出信号值中的上述偏差所引起的增益值的偏差预先求出为上述a。该a根据固体摄像元件3的噪声性能等来确定,能够通过对基准图像进行摄像等来预先求出。
以下,说明上述a的求法。
首先,对基准图像(全绿色、全灰色、全黑色等的实心图像(Solidimage))进行摄影,根据位于方块内的各相位差检测用像素31R的输出信号与其周边的摄像用像素31的输出信号之比,针对每个方块求出增益值。
关于某个方块求出的增益值的偏差a通过以下的式来求出。
【数学式1】
a = [ Σ k = 1 n { ( Sk × G ) - S AV } 2 ] / n
S AV = { Σ k = 1 n ( Sk × G ) } / n
S1~Sn表示位于方块内的相位差检测用像素31R的输出信号,G表示关于该方块而生成的增益值。
在分别改变了F值与ISO灵敏度的情况下,也同样地进行这样的增益值的偏差a的生成处理。例如,生成了在F2与F4时的偏差a,在F3.5时的偏差a通过内插来求出。针对通过这样求出的ISO灵敏度与F值的每个组合,制作存储有偏差a的表格。关于构造与相位差检测用像素31R不同的相位差检测用像素31L,也同样地进行以上的表格制作。
也可以求出在进行像素混合的情况下的偏差a。例如在作为4个像素混合而进行3个像素是摄像用像素30并且1个像素是相位差检测用像素31R的4个像素的混合的情况等下,关于像素混合之后的信号,同样地求出增益值,根据该增益值求出偏差a。
然后,图像处理部173在步骤S2中,将与所设定的摄影条件(F值、ISO灵敏度、像素混合驱动)对应的偏差a相加到Smax而生成判定阈值TH2,从Smin中减去偏差a而生成判定阈值TH1。
作为基准图像的代替,也可以通过实时取景图像用的摄像图像信号来求出偏差a。此时,由于能够取到在该实际的摄影条件(F值等)下的偏差值,所以针对摄影条件能够得到准确的值。
在这里,说明了针对每个方块求出增益值的方法,但也可以针对每个相位差检测用像素求出增益值。在这种情况下,在上述公式中,将乘到Sk的增益值G设为关于作为该Sk的输出源的相位差检测用像素而生成的增益值即可。
另外,每个摄影条件的偏差a的值也可以根据被摄体的明亮度来调整。例如,在某个方块内的被摄体图像较明亮的情况下,拍照噪声增加。拍照噪声是突发性地产生的噪声,所以在根据基准图像事先求出的偏差a中没有反映。因此,在被摄体较明亮的情况下,通过将偏差a设定得较大,能够生成考虑了拍照噪声的影响的判定阈值。此外,既可以针对每个方块判定被摄体的明亮度而针对每个方块来调整偏差a,也可以在所有方块整体中判定被摄体的明亮度,根据该明亮度,一样地调整全部方块的偏差a。另外,关于偏差a,也可以在被摄体较暗的情况下,将偏差a设定得较小。
在以上的说明中,将为了求出判定阈值TH2而相加到Smax的偏差的值、与为了求出判定阈值TH1而从Smin中减去的偏差的值设为相同的值,但也可以将这些值设为不同的值。
例如,在被摄体整体地较暗并且不调整灰度的情况下,难以发现黑缺陷,所以在输出信号值Sc大的时候的可靠性多少有些提升。因此,在这样的情况下,使判定阈值TH2增大,并使判定阈值TH1保持原样即可。
相反地,在被摄体整体地较明亮并且不调整灰度的情况下,难以发现白缺陷,所以在输出信号值Sc小的时候的可靠性多少有些提升。因此,在这样的情况下,使判定阈值TH1减小,并使判定阈值TH2保持原样即可。
即使在步骤S1中得到的输出信号值Sc位于Smin到Smax的范围外,在Sc位于Smin到TH1的范围时、Sc位于Smax到TH2的范围时,由于校正前的输出信号中包括的噪声,也认为校正后的值为Smix到Smax的范围外。因此,在这样的情况下,能够判断为该输出信号值Sc的可靠性并非那么低。
另一方面,在TH1>Sc时、Sc>TH2时,被认为是在增益校正处理前的信号值中存在某种异常的状态、增益值自身不适合,所以能够判断为Sc的可靠性低。
由此,图像处理部173在步骤S2之后,如下所述进行处理。
首先,在步骤S3中,图像处理部173对在步骤S1中求出的信号值Sc与判定阈值TH1进行比较。然后,图像处理部173在Sc<TH1的情况下,进行图6的步骤S13的处理,在Sc≥TH1的情况下,进行步骤S4的处理。
在步骤S4中,图像处理部173对信号值Sc、判定阈值TH1与Smin进行比较,如果TH1≤Sc<Smin,则进行步骤S7的处理,如果Sc≥Smin,则进行步骤S5的处理。
在步骤S5中,图像处理部173对信号值Sc与判定阈值TH2进行比较。然后,图像处理部173在Sc>TH2的情况下,进行图6的步骤S13的处理,在Sc≤TH2的情况下,进行步骤S6的处理。
在步骤S6中,图像处理部173对信号值Sc、判定阈值TH2与Smax进行比较,如果Smax<Sc≤TH2,则进行步骤S7的处理,如果Sc<Smax,则进行步骤S9的处理。
在步骤S7中,图像处理部173利用插值校正处理部172通过最大最小置换处理来对所取得的校正对象像素的输出信号进行校正。在这里,将校正对象像素的输出信号置换成Smin与Smax中的接近于Sc的一侧的值。即,如果TH1≤Sc<Smin,则将校正对象像素的输出信号置换成Smin,如果Smax<Sc≤TH2,则将校正对象像素的输出信号置换成Smax。
在步骤S7之后,图像处理部173在主存储器16中的存储有校正对象像素的输出信号的区域,覆盖地存储在步骤S7中校正后的信号(步骤S8)。
在步骤S4的判定为“是”时、以及在步骤S6的判定为“是”时,能够判断为Sc的值由于校正对象像素的输出信号中包括的噪声等级的偏差的原因而成为Smin到Smax的范围外。因此,也可以代替步骤S7与步骤S8,而设置在主存储器16中的存储有校正对象像素的输出信号的区域覆盖地存储在步骤S1中校正后的信号的步骤。
在进行步骤S7与步骤S8的处理的情况下,能够减轻校正对象像素的输出信号中包括的噪声的影响,所以能够更加提高画质提升效果。
在当步骤S6的判定为“否”时进行的步骤S9中,图像处理部173利用插值校正处理部172通过平均化校正处理来对所取得的校正对象像素的输出信号进行校正。将通过该平均化校正处理而得到的信号值设为Sb。
在步骤S9之后,图像处理部173计算在步骤S1中求出的信号值Sc与在步骤S9中求出的信号值Sb的差分(忽略了符号的绝对值)。
然后,如果该差分低于阈值TH3,则图像处理部173在主存储器16中的存储有校正对象像素的输出信号的区域,覆盖地存储在步骤S9中得到的信号Sb(步骤S11)。
另一方面,如果该差分为阈值TH3以上,则图像处理部173在主存储器16中的存储有校正对象像素的输出信号的区域,覆盖地存储在步骤S1中得到的信号Sc(步骤S12)。
在通过平均化校正处理与增益校正处理而在校正后的信号值中不存在差的情况下,与增益校正处理相比,进行平均化校正处理更能够使校正后的图像变得自然。另一方面,在步骤S6的判定为“否”时,在通过平均化校正处理与增益校正处理而在校正后的信号值中存在较大的差的情况下,如果通过平均化校正处理来进行校正,则画质劣化的可能性高。
因此,将在无法容许画质劣化时的Sb与Sc的差分的临界值预先确定为阈值TH3,进行步骤S10的处理,从而能够实现画质提升。当然,在步骤S6的判定为“否”时,也可以不进行步骤S9、步骤S10的处理,而进行步骤S12的处理。
在图6的步骤S13中,图像处理部173使用位于上述规定范围的摄像用像素30的输出信号,判定通过该规定范围而摄像得到的被摄体的图案。例如,进行被摄体是高频图案与低频图案中的哪一种的判定、在被摄体中是否包括边缘的判定等。
接着在步骤S14中,图像处理部173依照在步骤S13判定出的被摄体的图案,判定平均化校正处理的可靠性(校正精度)是否高。
例如,在被摄体是高频图案、包括边缘的图案、清晰的图案等的情况下,如果进行平均化校正处理,则校正后的输出信号值变得过大或者变得过小的可能性高。因此,在这样的图案的情况下,图像处理部173判断为平均化校正处理的可靠性低,转移到图5的步骤S7。
另一方面,在被摄体是低频图案、不包括边缘的图案、模糊的图案等的情况下,可以说不怎么存在校正对象像素的输出信号与其周围的摄像用像素30的输出信号的等级差,所以能够判断为基于平均化校正处理的可靠性高。因此,在这样的图案的情况下,图像处理部173判断为平均化校正处理的可靠性高,进行步骤S17的处理。此外,平均化校正处理的可靠性的判定方法不限定于上述内容。
在步骤S17中,图像处理部173利用插值校正处理部172通过平均化校正处理来对所取得的校正对象像素的输出信号进行校正。然后,图像处理部173在主存储器16中的存储有校正对象像素的输出信号的区域,覆盖地存储在步骤S17中得到的校正后的信号值(步骤S18)。
此外,也可以省略步骤S13与步骤S14的处理,在步骤S3的判定为“是”时、以及在步骤S5的判定为“是”时,使处理转移到步骤S17。在这样的情况下,与通过增益校正处理来进行校正相比,也更能够实现画质提升。
图7整合了以上的动作。在Sc的值如图7中的圆形记号所示地位于TH2以下并且大于Smax的范围时,通过最大置换处理来对校正对象像素的输出信号进行校正,将校正后的信号值存储到主存储器16。另外,在Sc的值位于TH1以上并且低于Smin的范围时,通过最小置换处理来对校正对象像素的输出信号进行校正,将校正后的信号值存储到主存储器16。
另外,在Sc的值如图7中的叉记号所示大于TH2的情况、或者小于TH1的情况下,根据通过规定范围来进行摄像的被摄体图案,选择最大置换处理或者最小置换处理、与平均化校正处理中的某一个,通过所选择的处理来对校正对象像素的输出信号进行校正,将校正后的信号值存储到主存储器16。
另外,在Sc的值如图7中的三角记号所示地位于Smin以上且Smax以下的范围的情况下,根据通过平均化校正处理而得到的信号值Sb与信号值Sc之差,将Sb与Sc中的某一个存储到主存储器16。
数字信号处理部17关于所有校正对象像素进行图6、7所示的动作,从而结束摄像图像信号中的相位差检测用像素的输出信号的校正处理。在该状态下被存储到主存储器16的摄像图像信号是相位差检测用像素的输出信号的校正后的数据。
如上所述,根据图1所示的数码相机,能够根据通过增益校正处理对校正对象像素的输出信号进行校正而得到的信号值Sc的大小,来确定将通过增益校正处理部171与插值校正处理部172中的哪一个来进行校正而得到的信号值最终存储到主存储器16。
例如,在Sc超过TH2或者低于TH1的情况下,被存储到主存储器16的校正后的信号值不再是通过增益校正处理进行校正而得到的信号值,所以能够提高校正后的信号值的可靠性。
另外,根据图1所示的数码相机,根据通过增益校正处理来对校正对象像素的输出信号进行校正而得到的信号值Sc的大小,确定将通过增益校正处理部171与插值校正处理部172中的哪一个来进行校正而得到的信号值最终存储到主存储器16,所以既不需要将缺陷像素的坐标数据存储到相机内,还能够应对相位差检测用像素在使用中由于某些原因而成为缺陷像素的情况。
此外,关于上述规定范围,优选分别在相对于校正对象像素的右方向、左方向、上方向、下方向、倾斜右上方向、倾斜左下方向、倾斜右下方向、倾斜左上方向上,设定了存在检测与该校正对象像素相同的颜色的摄像用像素30那样的范围。
图8是图2所示的固体摄像元件3的部分放大图。在图8中,考虑将虚线所示的包括9个像素的范围设为上述规定范围的情况。在这种情况下,如果存在标号80所示的较暗的被摄体,则校正对象像素31L的位置处的真正的信号值对应于较暗的被摄体。
但是,在虚线的范围内进行平均化校正处理而得到的校正对象像素31L的信号值是通过使用被摄体80未遮盖到的摄像用像素30(位于校正对象像素31L的右上、左上、左下的3个摄像用像素30)的输出信号的运算而得到的,所以相对于真正的信号值的误差变大。
另外,在虚线的范围内进行最大最小置换处理而得到的校正对象像素31L的信号值为被摄体80未遮盖到的摄像用像素30的输出信号中的某一个,所以相对于真正的信号值的误差变大。
因此,如果将虚线的范围设为上述规定范围,则利用插值校正处理部172的校正误差变大。由于遮盖到上述规定范围的被摄体80在规定范围内直到到达校正对象像素31L,未通过检测与校正对象像素31L相同的颜色的摄像用像素30之上,从而发生这样的校正误差的增大。
因此,在被摄体80遮盖到校正对象像素31L的情况下,如果增大该被摄体80在规定范围内也遮盖到检测与校正对象像素31L相同的颜色的摄像用像素30的可能性,则能够防止上述校正误差的增大。
例如,在图8中,在将实线所示的包括25个像素的范围设为上述规定范围的情况下,无论存在从相对于校正对象像素31L的右方向、左方向、上方向、下方向、右上方向、左下方向、右下方向、左上方向中的哪个方向延伸来的被摄体80,都能够减小插值校正处理的校正误差。
以上,通过特定的实施方式来说明了本发明,但本发明并非限定于该实施方式,在不脱离所公开的发明的技术思想的范围内能够进行各种变更。
例如,包括相位差检测用像素与摄像用像素的固体摄像元件3的像素阵列不限于图2所示的像素阵列,能够采用其他公知的阵列。
另外,将相位差检测用像素的检测色设为绿色,但也可以是将检测色设为红色或者蓝色的结构。另外,固体摄像元件5也可以设为单色摄像用的摄像元件。即,也可以省略滤色器。另外,在搭载滤色器的情况下,只要是补色系的滤色器等在摄像元件中使用的滤色器均可。
也能够作为用于使计算机执行数字信号处理部17所进行的图5、6所示的各步骤的程序来提供。关于这样的程序,将该程序记录到计算机可读的非暂时性的(non-transitory)记录介质中。
这样的“计算机可读的记录介质”例如包括CD-ROM(CompactDisc-ROM)等光学介质、存储卡等磁记录介质等。另外,也能够通过经由网络下载来提供这样的程序。
接下来,作为摄像装置,说明智能手机的结构。
图9示出作为本发明的摄影装置的一种实施方式的智能手机200的外观。图9所示的智能手机200具有平板状的框体201,在框体201的一个面具备由作为显示部的显示面板202与作为输入部的操作面板203一体构成的显示输入部204。另外,这样的框体201具备扬声器205、麦克风206、操作部207以及相机部208。此外,框体201的结构不限定于此,例如,也能够采用显示部与输入部独立的结构,或者采用具有折叠构造、滑动机构的结构。
图10是示出图9所示的智能手机200的结构的框图。如图10所示,作为智能手机的主要结构要素,具备无线通信部210、显示输入部204、通话部211、操作部207、相机部208、存储部212、外部输入输出部213、GPS(Global Positioning System,全球定位系统)接收部214、运动传感器部215、电源部216以及主控制部220。另外,作为智能手机200的主要功能,具备经由省略图示的基站装置BS和省略图示的移动通信网NW进行移动无线通信的无线通信功能。
无线通信部210按照主控制部220的指示,来针对在移动通信网NW中容纳的基站装置BS进行无线通信。利用该无线通信,进行声音数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据、流数据等的接收。
显示输入部204是所谓的触摸面板,它通过主控制部220的控制来显示图像(静态图像以及动态图像)、字符信息等,在视觉上向用户传达信息,并且检测针对所显示的信息的用户操作,并且具备显示面板202与操作面板203。
显示面板202将LCD(Liquid Crystal Display,液晶显示器)、OELD(Organic Electro-Luminescence Display,有机电激发光显示器)等用作显示设备。
操作面板203是以能够视觉辨认在显示面板202的显示面上显示的图像的方式来放置并且检测通过用户的手指、笔尖来操作的一个或者多个坐标的设备。当通过用户的手指、笔尖来操作该设备时,将由于操作而产生的检测信号输出到主控制部220。接下来,主控制部220根据所接收到的检测信号,检测显示面板202上的操作位置(坐标)。
如图9所示,作为本发明的摄影装置的一种实施方式而例示的智能手机200的显示面板202与操作面板203成为一体而构成显示输入部204,配置为操作面板203完全遮盖显示面板202。
在采用该配置的情况下,操作面板203也可以针对显示面板202外的区域也具备检测用户操作的功能。换而言之,操作面板203也可以具备针对重叠于显示面板202的重叠部分的检测区域(以下,称为显示区域)、以及针对在它之外的不重叠于显示面板202的外缘部分的检测区域(以下,称为非显示区域)。
此外,也可以使显示区域的大小与显示面板202的大小完全一致,但不一定需要使两者一致。另外,操作面板203也可以具备外缘部分和它之外的内侧部分这两个感应区域。进一步地,外缘部分的宽度根据框体201的大小等来适当设计。进一步地,作为由操作面板203采用的位置检测方式,可列举出矩阵开关方式、电阻膜方式、表面声波方式、红外线方式、电磁感应方式、静电电容方式等,能够采用其中任一种方式。
通话部211具备扬声器205、麦克风206,将通过麦克风206输入的用户的声音变换成能够通过主控制部220处理的声音数据而输出到主控制部220或者对由无线通信部210或外部输入输出部213接收到的声音数据进行解码并从扬声器205输出。另外,如图9所示,例如,能够在与设置有显示输入部204的面相同的面上搭载扬声器205,并且在框体201的侧面上搭载麦克风206。
操作部207是采用键开关等的硬件键,受理来自用户的指示。例如,如图9所示,操作部207是按钮式的开关,它搭载于智能手机200的框体201的侧面,当用手指等按下时导通,当手指离开时,通过弹簧等的恢复力而成为断开状态。
存储部212存储主控制部220的控制程序、控制数据、应用软件、与通信对方的名称、电话号码等对应起来的地址数据、所发送接收的电子邮件的数据、通过Web浏览下载的Web数据、所下载的内容数据,并且暂时性地存储流数据等。另外,存储部212由智能手机内置的内部存储部217、和装卸自如的具有外部存储器插槽的外部存储部218构成。此外,构成存储部212的各个内部存储部217与外部存储部218采用闪存类型(flash memory type)、硬盘类型(hard disk type)、多媒体卡微型(multimedia card micro type)、卡型的存储器(例如,MicroSD(注册商标)存储器等)、RAM(Random Access Memory,随机存取存储器)、ROM(Read Only Memory,只读存储器)等储存介质来实现。
外部输入输出部213起到与和智能手机200连结的所有的外部设备之间的界面的作用,用于通过通信等(例如,通用串行总线(USB)、IEEE1394等)或者网络(例如,互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification,射频识别)、红外线通信(Infrared Data Association:IrDA)(注册商标)、UWB(UltraWideband,超宽带)(注册商标)、无线个域网(ZigBee)(注册商标)等)来直接或者间接地连接到其他外部设备。
作为与智能手机200连结的外部设备,例如存在有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡座连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card,订户身份模块卡)/UIM(User Identity Module Card,用户身份模块卡)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部213能够将从这样的外部设备接受传送而得到的数据传达到智能手机200的内部的各结构要素、将智能手机200的内部的数据传送到外部设备。
GPS接收部214按照主控制部220的指示,接收从GPS卫星ST1~STn发送的GPS信号,执行基于所接收到的多个GPS信号的定位运算处理,检测该智能手机200的由纬度、经度、高度构成的位置。GPS接收部214在能够从无线通信部210、外部输入输出部213(例如,无线LAN)获取位置信息时,也能够采用该位置信息来检测位置。
运动传感器部215例如具备3轴的加速度传感器等,按照主控制部220的指示来检测智能手机200的物理性移动。通过检测智能手机200的物理性移动,来检测智能手机200的移动方向、加速度。将该检测结果输出到主控制部220。
电源部216按照主控制部220的指示,来对智能手机200的各部分供给在电池(未图示)中蓄积的电力。
主控制部220具备微处理器,按照存储部212所存储的控制程序、控制数据进行动作,集中地控制智能手机200的各部分。另外,主控制部220为了通过无线通信部210进行声音通信、数据通信,具备控制通信系统的各部分的移动通信控制功能与应用处理功能。
应用处理功能是通过主控制部220按照存储部212所存储的应用软件进行动作来实现的。作为应用处理功能,例如存在控制外部输入输出部213来与对方设备进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、阅览Web页面的Web浏览功能等。
另外,主控制部220具备根据接收数据、所下载的流数据等图像数据(静态图像、动态图像的数据)来将影像显示于显示输入部204等的图像处理功能。图像处理功能是指主控制部220解码上述图像数据,对该解码结果实施图像处理,并将图像显示于显示输入部204的功能。
进一步地,主控制部220执行针对显示面板202的显示控制、以及检测通过操作部207、操作面板203来进行的用户操作的操作检测控制。通过执行显示控制,主控制部220显示用于起动应用软件的图标、滚动条等软件键或者显示用于制作电子邮件的窗口。此外,滚动条是指关于在显示面板202的显示区域中无法完全容纳的大的图像等而用于接受移动图像的显示部分的指示的软件键。
另外,通过执行操作检测控制,主控制部220检测通过操作部207进行的用户操作或者通过操作面板203受理针对上述图标的操作、针对上述窗口的输入栏的字符串的输入或者受理通过滚动条进行的显示图像的滚动请求。
进一步地,通过执行操作检测控制,主控制部220具备判定针对操作面板203的操作位置是与显示面板202重叠的重叠部分(显示区域)还是它之外的不重叠于显示面板202的外缘部分(非显示区域),并控制操作面板203的感应区域、软件键的显示位置的触摸面板控制功能。
另外,主控制部220也能够检测针对操作面板203的手势操作,根据所检测到的手势操作来执行预先设定的功能。手势操作不是以往的简单的触摸操作,而是意味着通过手指等来描绘轨迹,或者同时指定多个位置,或者组合这些操作来在多个位置中针对至少一个描绘轨迹的操作。
相机部208包括图1所示的数码相机中的外部存储器控制部20、记录介质21、显示控制部22、显示部23以及操作部14以外的结构。能够将通过相机部208生成的摄像图像数据记录到存储部212或者通过输入输出部213、无线通信部210而输出。在图9所示的智能手机200中,相机部208搭载于与显示输入部204相同的面,但相机部208的搭载位置不限于此,也可以搭载于显示输入部204的背面。
另外,相机部208能够用于智能手机200的各种功能。例如,能够在显示面板202显示通过相机部208而获取到的图像,能够作为操作面板203的操作输入之一而利用相机部208的图像。另外,在GPS接收部214检测位置时,也能够参照来自相机部208的图像来检测位置。进一步地,也能够参照来自相机部208的图像,不采用3轴的加速度传感器,或者与3轴的加速度传感器并用,来判断智能手机200的相机部208的光轴方向或者判断当前的使用环境。当然,也能够在应用软件内利用来自相机部208的图像。
此外,也能够对静止画面或者动画的图像数据附加通过GPS接收部214获取到的位置信息、通过麦克风206获取到的声音信息(也可以通过主控制部等进行声音文本变换而得到文本信息)、通过运动传感器部215获取到的姿势信息等,并记录到存储部212或者通过外部输入输出部213、无线通信部210而输出。
在以上那样的结构的智能手机200中,通过数字信号处理部17进行上述的信号校正处理,也能够进行高品质的摄影。
如以上所说明的那样,在本说明书中公开了以下的事项。
所公开的图像处理装置是对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理的图像处理装置,具备:增益校正处理部,进行增益校正处理,在该增益校正处理中,针对上述摄像图像信号中包括的上述相位差检测用像素的输出信号,对该输出信号乘以增益值来进行校正;插值校正处理部,进行插值校正处理,在该插值校正处理中,将上述摄像图像信号中包括的上述相位差检测用像素的输出信号置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正;以及图像处理部,通过上述增益校正处理部与上述插值校正处理部中的某一个来对上述摄像图像信号中包括的多个上述相位差检测用像素的输出信号分别进行校正,并将上述校正后的上述摄像图像信号记录到记录介质中,当在包括校正对象的上述相位差检测用像素以及位于其周围的检测与上述校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过上述增益校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,上述图像处理部将通过上述插值校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中,上述第一值与上述第二值是基于上述校正对象像素的输出信号值与上述增益值的值。
在所公开的图像处理装置中,上述范围包括在从上述校正对象的相位差检测用像素观察的右方向、左方向、上方向、下方向、倾斜右上方向、倾斜左下方向、倾斜左上方向以及倾斜右下方向中的各方向上配置有至少一个检测与上述校正对象的相位差检测用像素相同的颜色的上述摄像用像素的范围。
在所公开的图像处理装置中,上述插值校正处理包括:将上述相位差检测用像素的输出信号置换成上述范围内的Smin或者Smax的最大最小置换处理以及将上述相位差检测用像素的输出信号置换成通过使用位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的多个上述摄像用像素的输出信号的运算而生成的信号的运算置换处理,在TH1≤Sc<Smin或者Smax<Sc≤TH2的情况下,上述图像处理部将通过上述最大最小置换处理来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中。
在所公开的图像处理装置中,上述插值校正处理包括:将上述相位差检测用像素的输出信号置换成上述范围内的Smin或者Smax的最大最小置换处理以及将上述相位差检测用像素的输出信号置换成通过使用位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的多个上述摄像用像素的输出信号的运算而生成的信号的运算置换处理,在Sc<TH1或者Sc>TH2的情况下,上述图像处理部根据上述范围内的被摄体而选择上述最大最小置换处理与上述运算置换处理中的某一个,将通过上述选择的处理来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中。
在所公开的图像处理装置中,上述插值校正处理包括将上述相位差检测用像素的输出信号置换成通过使用位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的多个上述摄像用像素的输出信号的运算而生成的信号的运算置换处理,在Smin≤Sc≤Smax的情况下,如果通过上述运算置换处理而得到的输出信号值与Sc之差为阈值以下,则上述图像处理部将通过上述运算置换处理来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中。
所公开的摄像装置具备上述图像处理装置以及上述摄像元件。
所公开的图像处理方法是对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理的图像处理方法,上述图像处理方法具备图像处理步骤,在该图像处理步骤中,针对通过上述摄像元件进行摄像而得到的摄像图像信号中包括的上述相位差检测用像素的输出信号,通过对该输出信号乘以增益值来进行校正的增益校正处理以及置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正的插值校正处理中的某一个来进行校正,并将上述校正后的上述摄像图像信号记录到记录介质中,当在包括校正对象的上述相位差检测用像素以及位于其周围的检测与上述校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过上述增益校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,在上述图像处理步骤中,将通过上述插值校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中,上述第一值与上述第二值是基于上述校正对象像素的输出信号值与上述增益值的值。
所公开的图像处理程序是用于对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理的图像处理程序,上述图像处理程序是用于使计算机执行图像处理步骤的程序,在该图像处理步骤中,针对通过上述摄像元件进行摄像而得到的摄像图像信号中包括的上述相位差检测用像素的输出信号,通过对该输出信号乘以增益值来进行校正的增益校正处理以及置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正的插值校正处理中的某一个来进行校正,并将上述校正后的上述摄像图像信号记录到记录介质中,当在包括校正对象的上述相位差检测用像素以及位于其周围的检测与上述校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过上述增益校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,在上述图像处理步骤中,将通过上述插值校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中,上述第一值与上述第二值是基于上述校正对象像素的输出信号值与上述增益值的值。
所公开的图像处理装置是对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理的图像处理装置,具备:增益校正处理部,进行增益校正处理,在该增益校正处理中,针对通过上述摄像元件进行摄像而得到的摄像图像信号中包括的上述相位差检测用像素的输出信号,对该输出信号乘以增益值来进行校正;插值校正处理部,进行插值校正处理,在该插值校正处理中,将上述摄像图像信号中包括的上述相位差检测用像素的输出信号置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的上述摄像用像素的输出信号而生成的信号来进行校正;以及图像处理部,通过上述增益校正处理部与上述插值校正处理部中的某一个来对上述多个相位差检测用像素的各自的输出信号进行校正,并将上述校正后的上述摄像图像信号记录到记录介质中,当在包括校正对象的上述相位差检测用像素以及位于其周围的检测与上述校正对象的相位差检测用像素相同的颜色的多个上述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过上述增益校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在TH1≤Sc<Smin或者Smax<Sc≤TH2的情况下,上述图像处理部将通过上述插值校正处理部来对上述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到上述记录介质中,上述第一值与上述第二值是基于上述校正对象像素的输出信号值与上述增益值的值,上述插值校正处理部所进行的上述插值校正处理是将上述相位差检测用像素的输出信号置换成上述范围内的Smin或者Smax的处理。
产业上的可利用性
本发明特别适用于数码相机等,并且便利性高且有效。
以上,通过特定的实施方式来说明了本发明,但本发明并非限定于该实施方式,在不脱离所公开的发明的技术思想的范围内能够进行各种变更。
本申请基于2012年12月18日申请的日本专利申请(日本特愿2012-275944),并将其内容并入本文。
标号说明
3             固体摄像元件
16            主存储器
17            数字信号处理部
30            摄像用像素
31R、31L      相位差检测用像素
171           增益校正处理部
172           插值校正处理部
173           图像处理部

Claims (9)

1.一种图像处理装置,对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理,所述图像处理装置的特征在于,具备:
增益校正处理部,进行增益校正处理,在该增益校正处理中,针对所述摄像图像信号中包括的所述相位差检测用像素的输出信号,对该输出信号乘以增益值来进行校正;
插值校正处理部,进行插值校正处理,在该插值校正处理中,将所述摄像图像信号中包括的所述相位差检测用像素的输出信号置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的所述摄像用像素的输出信号而生成的信号来进行校正;以及
图像处理部,通过所述增益校正处理部与所述插值校正处理部中的某一个来对所述摄像图像信号中包括的多个所述相位差检测用像素的输出信号分别进行校正,并将所述校正后的所述摄像图像信号记录到记录介质中,
当在包括校正对象的所述相位差检测用像素以及位于其周围的检测与所述校正对象的相位差检测用像素相同的颜色的多个所述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过所述增益校正处理部对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,所述图像处理部将通过所述插值校正处理部对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到所述记录介质中,
所述第一值与所述第二值是基于所述校正对象像素的输出信号值与所述增益值的值。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述范围是在从所述校正对象的相位差检测用像素观察的右方向、左方向、上方向、下方向、倾斜右上方向、倾斜左下方向、倾斜左上方向以及倾斜右下方向中的各方向上配置有至少一个检测与所述校正对象的相位差检测用像素相同的颜色的所述摄像用像素的范围。
3.根据权利要求1或者2所述的图像处理装置,其特征在于,
所述插值校正处理包括:最大最小置换处理,将所述相位差检测用像素的输出信号置换成所述范围内的Smin或者Smax;以及运算置换处理,将所述相位差检测用像素的输出信号置换成通过使用位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的多个所述摄像用像素的输出信号的运算而生成的信号,
在TH1≤Sc<Smin或者Smax<Sc≤TH2的情况下,所述图像处理部将通过所述最大最小置换处理对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到所述记录介质中。
4.根据权利要求1或者2所述的图像处理装置,其特征在于,
所述插值校正处理包括:最大最小置换处理,将所述相位差检测用像素的输出信号置换成所述范围内的Smin或者Smax;以及运算置换处理,将所述相位差检测用像素的输出信号置换成通过使用位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的多个所述摄像用像素的输出信号的运算而生成的信号,
在Sc<TH1或者Sc>TH2的情况下,所述图像处理部根据所述范围内的被摄体而选择所述最大最小置换处理与所述运算置换处理中的某一个,将通过所述选择的处理对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到所述记录介质中。
5.根据权利要求1或者2所述的图像处理装置,其特征在于,
所述插值校正处理包括运算置换处理,该运算置换处理将所述相位差检测用像素的输出信号置换成通过使用位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的多个所述摄像用像素的输出信号的运算而生成的信号,
在Smin≤Sc≤Smax的情况下,如果通过所述运算置换处理而得到的输出信号值与Sc之差为阈值以下,则所述图像处理部将通过所述运算置换处理对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到所述记录介质中。
6.一种摄像装置,其特征在于,具备:
权利要求1至5中的任一项所述的图像处理装置;以及
所述摄像元件。
7.一种图像处理方法,对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理,所述图像处理方法的特征在于,
所述图像处理方法具备图像处理步骤,在该图像处理步骤中,针对通过所述摄像元件进行摄像而得到的摄像图像信号中包括的所述相位差检测用像素的输出信号,通过对该输出信号乘以增益值来进行校正的增益校正处理以及置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的所述摄像用像素的输出信号而生成的信号来进行校正的插值校正处理中的某一个来进行校正,并将所述校正后的所述摄像图像信号记录到记录介质中,
当在包括校正对象的所述相位差检测用像素以及位于其周围的检测与所述校正对象的相位差检测用像素相同的颜色的多个所述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过所述增益校正处理部对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,在所述图像处理步骤中,将通过所述插值校正处理部对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到所述记录介质中,
所述第一值与所述第二值是基于所述校正对象像素的输出信号值与所述增益值的值。
8.一种图像处理程序,用于对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理,所述图像处理程序的特征在于,
所述图像处理程序是用于使计算机执行图像处理步骤的程序,在该图像处理步骤中,针对通过所述摄像元件进行摄像而得到的摄像图像信号中包括的所述相位差检测用像素的输出信号,通过对该输出信号乘以增益值来进行校正的增益校正处理以及置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的所述摄像用像素的输出信号而生成的信号来进行校正的插值校正处理中的某一个来进行校正,并将所述校正后的所述摄像图像信号记录到记录介质中,
当在包括校正对象的所述相位差检测用像素以及位于其周围的检测与所述校正对象的相位差检测用像素相同的颜色的多个所述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过所述增益校正处理部对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在Sc<TH1或者Sc>TH2的情况下,在所述图像处理步骤中,将通过所述插值校正处理部对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到所述记录介质中,
所述第一值与所述第二值是基于所述校正对象像素的输出信号值与所述增益值的值。
9.一种图像处理装置,对从包括多个摄像用像素以及多个相位差检测用像素的摄像元件输出的摄像图像信号进行处理,所述图像处理装置的特征在于,具备:
增益校正处理部,进行增益校正处理,在该增益校正处理中,针对通过所述摄像元件进行摄像而得到的摄像图像信号中包括的所述相位差检测用像素的输出信号,对该输出信号乘以增益值来进行校正;
插值校正处理部,进行插值校正处理,在该插值校正处理中,将所述摄像图像信号中包括的所述相位差检测用像素的输出信号置换成根据位于该相位差检测用像素的周围的检测与该相位差检测用像素相同的颜色的所述摄像用像素的输出信号而生成的信号来进行校正;以及
图像处理部,通过所述增益校正处理部与所述插值校正处理部中的某一个来对所述多个相位差检测用像素的各自的输出信号进行校正,并将所述校正后的所述摄像图像信号记录到记录介质中,
当在包括校正对象的所述相位差检测用像素以及位于其周围的检测与所述校正对象的相位差检测用像素相同的颜色的多个所述摄像用像素的范围内的该摄像用像素的输出信号当中,将最小值设为Smin,将最大值设为Smax,将从Smin中减去第一值而得到的值设为TH1,将对Smax加上第二值而得到的值设为TH2,将通过所述增益校正处理部对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号值设为Sc时,在TH1≤Sc<Smin或者Smax<Sc≤TH2的情况下,所述图像处理部将通过所述插值校正处理部对所述校正对象的相位差检测用像素的输出信号进行校正而得到的信号记录到所述记录介质中,
所述第一值与所述第二值是基于所述校正对象像素的输出信号值与所述增益值的值,
所述插值校正处理部所进行的所述插值校正处理是将所述相位差检测用像素的输出信号置换成所述范围内的Smin或者Smax的处理。
CN201380066461.2A 2012-12-18 2013-12-18 图像处理装置、摄像装置、图像处理方法、图像处理程序 Active CN104871526B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-275944 2012-12-18
JP2012275944 2012-12-18
PCT/JP2013/083934 WO2014098143A1 (ja) 2012-12-18 2013-12-18 画像処理装置、撮像装置、画像処理方法、画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104871526A true CN104871526A (zh) 2015-08-26
CN104871526B CN104871526B (zh) 2018-04-13

Family

ID=50978463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380066461.2A Active CN104871526B (zh) 2012-12-18 2013-12-18 图像处理装置、摄像装置、图像处理方法、图像处理程序

Country Status (4)

Country Link
US (1) US9462205B2 (zh)
JP (1) JP5768193B2 (zh)
CN (1) CN104871526B (zh)
WO (1) WO2014098143A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6438671B2 (ja) * 2014-04-10 2018-12-19 オリンパス株式会社 焦点調節装置、カメラシステム、および撮像装置の焦点調節方法
JP6609098B2 (ja) 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
JP6547645B2 (ja) * 2016-01-29 2019-07-24 株式会社シグマ 画像処理方法
JP7134911B2 (ja) * 2019-04-22 2022-09-12 キヤノン株式会社 固体撮像素子および撮像システム
JP7341775B2 (ja) * 2019-07-31 2023-09-11 株式会社ジャパンディスプレイ 表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010078856A (ja) * 2008-09-25 2010-04-08 Canon Inc 撮像装置
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
CN101889231A (zh) * 2007-12-10 2010-11-17 佳能株式会社 图像摄取设备及其控制方法
JP2012004729A (ja) * 2010-06-15 2012-01-05 Fujifilm Corp 撮像装置及び画像処理方法
CN102652432A (zh) * 2009-12-09 2012-08-29 佳能株式会社 图像处理设备、图像处理方法和程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5317562B2 (ja) * 2008-07-17 2013-10-16 キヤノン株式会社 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム
JP5371331B2 (ja) 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5146295B2 (ja) * 2008-12-15 2013-02-20 ソニー株式会社 撮像装置および合焦制御方法
JP5662667B2 (ja) * 2009-10-08 2015-02-04 キヤノン株式会社 撮像装置
JP5529928B2 (ja) * 2012-06-14 2014-06-25 オリンパスイメージング株式会社 撮像装置及び撮像装置の制御方法
JP6052057B2 (ja) * 2013-05-22 2016-12-27 ソニー株式会社 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
CN101889231A (zh) * 2007-12-10 2010-11-17 佳能株式会社 图像摄取设备及其控制方法
JP2010078856A (ja) * 2008-09-25 2010-04-08 Canon Inc 撮像装置
CN102652432A (zh) * 2009-12-09 2012-08-29 佳能株式会社 图像处理设备、图像处理方法和程序
JP2012004729A (ja) * 2010-06-15 2012-01-05 Fujifilm Corp 撮像装置及び画像処理方法

Also Published As

Publication number Publication date
WO2014098143A1 (ja) 2014-06-26
US9462205B2 (en) 2016-10-04
JPWO2014098143A1 (ja) 2017-01-12
JP5768193B2 (ja) 2015-08-26
US20150312505A1 (en) 2015-10-29
CN104871526B (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
JP5690974B2 (ja) 撮像装置及び合焦制御方法
CN104813648B (zh) 图像处理装置、摄像装置、及图像处理方法
US10003731B2 (en) Image element, and imaging device and imaging method using the same for achieving improved image quality regardless of an incident angle of light
EP3163349B1 (en) Imaging device
US9817628B2 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
US20150085178A1 (en) Image capturing apparatus and focusing control method
CN104838646A (zh) 图像处理装置、图像处理方法、程序及记录介质
US10516860B2 (en) Image processing method, storage medium, and terminal
US9829676B2 (en) Imaging device and focusing control method
JP5719480B2 (ja) 画像変形装置およびその動作制御方法
US9794471B2 (en) Imaging device and focusing control method
US9819853B2 (en) Imaging device and focusing control method
US20160344922A1 (en) Imaging device and focusing control method
CN105103534A (zh) 摄像装置、校准方法、程序以及记录介质
US9619871B2 (en) Image processing device, imaging apparatus, image processing method, and program
JP5677625B2 (ja) 信号処理装置、撮像装置、信号補正方法
US20160205315A1 (en) Imaging device and focusing control method
CN105453534B (zh) 图像处理装置及方法
CN104871526A (zh) 图像处理装置、摄像装置、图像处理方法、图像处理程序
CN107005627B (zh) 摄像装置、摄像方法及记录介质
US10623625B2 (en) Focusing control device, imaging device, focusing control method, and nontransitory computer readable medium
US9699372B2 (en) Imaging device and focusing control method
US9900494B2 (en) Imaging device and focus control method
CN107005626A (zh) 摄像装置及其控制方法
CN104871532A (zh) 拍摄装置及其动作控制方法

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant