CN102984527A - 图像处理装置、图像处理方法、信息记录介质和程序 - Google Patents

图像处理装置、图像处理方法、信息记录介质和程序 Download PDF

Info

Publication number
CN102984527A
CN102984527A CN2012103231390A CN201210323139A CN102984527A CN 102984527 A CN102984527 A CN 102984527A CN 2012103231390 A CN2012103231390 A CN 2012103231390A CN 201210323139 A CN201210323139 A CN 201210323139A CN 102984527 A CN102984527 A CN 102984527A
Authority
CN
China
Prior art keywords
ambiguity correction
filter
pixel
image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103231390A
Other languages
English (en)
Inventor
馆真透
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011194418A external-priority patent/JP2013055623A/ja
Priority claimed from JP2011194417A external-priority patent/JP2013055622A/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102984527A publication Critical patent/CN102984527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

公开了图像处理装置、图像处理方法、信息记录介质和程序。提供了一种图像处理装置，其包括用于对图像执行模糊校正处理的图像信号校正单元。图像信号校正单元包括模糊校正处理部，该模糊校正处理部被配置为利用根据要经历模糊校正的像素的图像高度确定的混合系数对默认滤波器和根据要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器执行混合处理，并且利用通过该混合处理生成的滤波器执行模糊校正处理。

Description

图像处理装置、图像处理方法、信息记录介质和程序
技术领域
本公开涉及图像处理装置、图像处理方法、信息记录介质和程序，更具体而言涉及用于执行图像模糊(blur)校正的图像处理装置和方法、信息记录介质和程序。
背景技术
在由诸如数字相机之类的成像装置拍摄的图像中，例如，由于焦点偏移、镜头像差以及作为成像元件的CCD、CMOS等中发生的进一步噪声，发生噪声或模糊。
特别地，在使用廉价镜头的相机中，随着图像高度(image height)(与光学中心的距离)增大，由镜头像差引起的图像模糊严重。
对如上所述的由各种因素导致的图像的噪声或模糊的校正处理在例如2006-246080号日本未审查专利申请公布、2009-159603号日本未审查专利申请公布、2010-081263号日本未审查专利申请公布等的现有技术中公开。
2006-246080号日本未审查专利申请公布公开了一种使用以拍摄图像的区域为单位不同的锐化参数的校正处理配置。具体地，通过随着图像高度(与光学中心的距离)增大而增强锐化参数来执行图像校正。
然而，由于2006-246080号日本未审查专利申请公布的处理仅对应于用于根据图像高度增强高频成分的幅度(magnitude)的处理，并且例如不考虑倍率色像差或模糊的频率特性的变化等等，所以存在可能不会执行适当校正的问题。
另外，2009-159603号日本未审查专利申请公布公开了一种配置，其中，为了应对由于镜头的个体差异或制造误差而改变的模糊，根据各个镜头特性选择滤波器并且执行模糊校正处理。
然而，如果对像上述图像高度依从型模糊那样具有根据图像高度连续变化的模糊图样的模糊应用校正处理，则存在用于模糊校正的滤波器的类型数目巨大的问题。
另外，2010-081263号日本未审查专利申请公布公开了一种配置，其中，对指示由于图像高度而发生不均匀的模糊图样的所谓部分模糊应用在各个图像高度中重心位置被偏移的滤波器，从而根据图像高度执行适当的校正。
具体地，通过对滤波器的重心位置进行校正来执行与部分模糊相对应的校正。然而，由于主要校正重心位置，没有表现出对校正幅度的控制，并且没有执行与很模糊的部分和不那么模糊的部分相对应的个别处理，所以可能不会执行适当的校正。
另外，2011-055038号日本未审查专利申请公布公开了对于如下成像装置的拍摄图像的校正处理：作为成像元件附属的滤波器，该成像装置设置有具有包括全波长透过白(W)像素以及每个RGB颜色的RGBW阵列的滤波器。
在使用具有包括白(W)像素的RGBW阵列的滤波器的情况下，由于W像素透过具有宽波长区域的可见光线，所以模糊图样根据对象颜色而改变。
在2011-55038号日本未审查专利申请公布的处理中，执行不依从于对象颜色的均一校正，但存在如下问题，即，对于根据对象颜色改变的模糊图样，可能不会充分获得校正效果。
另外，在上述现有技术的大多数配置中，例如，基于使用卷积运算的滤波来执行像素值校正。然而，为了执行各种类型的校正，由于这些配置要求用于执行滤波的许多滤波器和大存储容量的存储器，所以存在如下问题，即小型且廉价的相机难以采用这些配置。
发明内容
鉴于前述情况，希望提供一种用于在执行图像模糊校正的配置中根据图像高度执行适当校正的图像处理装置和方法、信息记录介质和程序。
另外，在本公开的实施例中，希望提供一种基于默认滤波器适当计算并使用与各种类型的模糊相对应的模糊校正滤波器以便减少要预先存储在存储器中的滤波器的数目的图像处理装置、图像处理方法、信息记录介质和程序。
根据本公开的第一实施例，提供了一种图像处理装置，其包括用于对图像执行模糊校正处理的图像信号校正单元。图像信号校正单元包括模糊校正处理部，该模糊校正处理部被配置为利用根据要经历模糊校正的像素的图像高度确定的混合比率对默认滤波器和根据要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器执行混合处理，并且利用通过该混合处理生成的滤波器执行模糊校正处理。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部利用根据要经历模糊校正的像素的图像高度和焦点位置(focus position)信息确定的混合系数对默认滤波器和坐标位置对应高通滤波器执行混合处理，并且利用通过该混合处理生成的滤波器执行模糊校正处理。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部执行在图像高度随着要经历模糊校正的像素的像素位置变得更远离图像中心而增大时减小坐标位置对应高通滤波器的混合比率的混合处理。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部根据要经历模糊校正的像素的像素位置混合x方向调整用高通滤波器HPF_x、y方向调整用高通滤波器HPF_y和与视角中心位置[(x，y)＝(0，0)]相对应的中心滤波器HPF_center，从而生成坐标位置对应高通滤波器，其中高通滤波器HPF_x和高通滤波器HPF_y被预先保存在存储器中。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部通过根据要经历模糊校正的像素的图像高度对坐标位置对应高通滤波器执行增强幅度调整来生成幅度调整滤波器，并且利用该幅度调整滤波器执行模糊校正处理。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部将坐标位置对应高通滤波器分离成DC成分和AC成分，利用与要经历模糊校正的像素的图像高度相对应的幅度调整参数对AC成分执行调整处理，并且将DC成分与已被执行了调整处理的AC成分再合成，从而生成幅度调整滤波器。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部利用要经历模糊校正的像素的图像高度和焦点位置信息所对应的幅度调整参数对坐标位置对应高通滤波器执行增强幅度调整，从而生成幅度调整滤波器。
另外，根据本公开的图像处理装置的实施例，图像信号校正单元还包括：边缘检测部，该边缘检测部被配置为检测图像的边缘信息；以及混合处理部，该混合处理部被配置为输出图像信号校正结果。混合处理部接收从边缘检测部输出的边缘信息、由模糊校正处理部通过模糊校正处理生成的经模糊校正的信号和执行模糊校正处理前的没有模糊校正的信号，并且按照根据边缘信息确定的混合比率对经模糊校正的信号和没有模糊校正的信号执行混合处理，从而生成输出信号。
另外，根据本公开的图像处理装置的实施例，图像信号校正单元被配置为对具有包括RGB像素和W(白)像素的RGBW阵列的成像元件的输出信号执行模糊校正处理，并且在对要校正的W像素信号的模糊校正处理时，图像信号校正单元生成反映了包括该W像素信号的局部区域的颜色比率的颜色比率反映模糊校正滤波器，并且利用该颜色比率反映模糊校正滤波器执行模糊校正处理。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部通过利用成像元件的输出信号中包括的W像素信号的插补处理生成具有与所有像素相对应的W像素信号的插补图像，对构成所生成的插补图像的每个W像素生成颜色比率反映模糊校正滤波器，并且利用该颜色比率反映模糊校正滤波器执行模糊校正处理。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部计算局部区域的RGB颜色的低频成分，并且将计算出的RGB颜色的低频成分的值的比率设定为局部区域的颜色比率。
另外，根据本公开的图像处理装置的实施例，模糊校正处理部按照根据局部区域的RGB颜色比率确定的混合比率混合预先保存在存储器中的R对应模糊校正滤波器、G对应模糊校正滤波器、B对应模糊校正滤波器，从而生成颜色比率反映模糊校正滤波器。
另外，根据本公开的图像处理装置的实施例，图像信号校正单元包括饱和检测部，该饱和检测部被配置为检测在包括具有要经历模糊校正的像素的多个像素的局部区域中是否包括饱和像素。模糊校正处理部接收来自饱和检测部的检测信息，在局部区域中包括饱和像素时不对要经历模糊校正的像素执行模糊校正，并且仅在局部区域中不包括饱和像素时对要经历模糊校正的像素执行模糊校正。
另外，根据本公开的第二实施例，提供了一种图像处理装置，其包括用于对图像执行模糊校正处理的图像信号校正单元。图像信号校正单元将用于模糊校正的滤波器分离成DC成分和AC成分，利用根据要经历模糊校正的像素的图像高度计算的幅度调整参数对AC成分执行幅度调整，将DC成分与被执行了幅度调整的AC成分再合成以生成幅度调整滤波器，并且利用该幅度调整滤波器执行模糊校正。
另外，根据本公开的第三实施例，提供了一种在图像处理装置中对图像执行模糊校正处理的图像处理方法。图像信号校正单元执行用于按照根据要经历模糊校正的像素的图像高度确定的混合系数来混合默认滤波器和根据要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器的混合处理，并且利用通过该混合处理生成的滤波器执行模糊校正处理。
另外，根据本公开的第四实施例，提供了一种在图像处理装置中对图像执行模糊校正处理的图像处理方法。图像信号校正单元将用于模糊校正的滤波器分离成DC成分和AC成分，利用根据要经历模糊校正的像素的图像高度计算的幅度调整参数对AC成分执行幅度调整，将DC成分与被执行了幅度调整的AC成分再合成以生成幅度调整滤波器，并且利用该幅度调整滤波器执行模糊校正。
另外，根据本公开的第五实施例，提供了一种用于使得在图像处理装置中执行对图像的模糊校正处理的程序。该程序使得图像信号校正单元执行用于按照根据要经历模糊校正的像素的图像高度确定的混合系数来混合默认滤波器和根据要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器的混合处理，以及利用通过该混合处理生成的滤波器的模糊校正处理。
另外，根据本公开的第六实施例，提供了一种记录介质，用于记录用于使得在图像处理装置中执行对图像的模糊校正处理的程序。该记录介质记录用于使得图像信号校正单元执行以下步骤的程序：用于按照根据要经历模糊校正的像素的图像高度确定的混合系数来混合默认滤波器和根据要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器的混合处理，以及利用通过该混合处理生成的滤波器的模糊校正处理。
注意，根据本公开的程序例如是可在以计算机可读形式提供的存储介质或通信介质中提供给能够执行各种类型的程序代码的信息处理装置或计算机系统的程序。以计算机可读形式提供这种程序使得可以在信息处理装置或计算机系统中实现根据该程序的处理。
稍后将通过基于本公开的实施例和附图的更详细说明来阐明本公开的目的、特征和优点。另外，本说明书中的系统不限于是逻辑上聚集全都包含在同一壳体内的多个装置的配置。
根据本公开的实施例的配置，实现了用于根据构成图像的每个像素的图像高度等等执行最优模糊校正处理的装置和方法。
具体地，该装置包括用于对图像执行模糊校正处理的图像信号校正单元，其中，图像信号校正单元利用与要经历模糊校正的像素的图像高度相对应的混合系数混合默认滤波器和根据要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器，并且利用通过该混合处理生成的滤波器执行模糊校正。例如，当随着要经历模糊校正的像素的像素位置更远离图像中心，图像高度增大时，图像信号校正单元执行减小坐标位置对应高通滤波器的混合比率的混合处理。或者，图像信号校正单元生成被根据图像高度执行了幅度调整的幅度调整模糊校正滤波器，并执行模糊校正。
通过这些处理，实现了根据构成图像的每个像素的图像高度等等的最优模糊校正处理。
附图说明
图1是用于描述根据图像高度产生的模糊图样的示图；
图2是用于描述利用维纳滤波器的模糊校正处理的示例的示图；
图3是用于描述本公开的图像处理装置的配置示例的示图；
图4是用于描述本公开的图像处理装置的配置示例的示图；
图5是用于描述图像信号校正单元执行的处理的整体序列的流程图；
图6是用于描述对于包括饱和像素的像素区域的模糊校正和伪色(false color)产生的示图；
图7是用于描述当在要经历模糊校正的像素周围包括饱和像素时不对待校正像素执行模糊校正的处理的示图；
图8是用于描述平坦度weightFlat的示图；
图9是用于描述滤波器生成处理的详细序列的流程图；
图10是用于描述生成坐标位置对应高通滤波器HPF_dist的序列的流程图；
图11是用于描述为了生成坐标位置对应高通滤波器HPF_dist而应用的高通滤波器的示例的示图；
图12是示出滤波器的增强特性的示图；
图13是用于描述(a)镜头MTF特性、(b)维纳滤波器特性和(c)混合系数α的设定示例的示图；
图14是用于描述被执行了增强幅度调整的模糊校正滤波器Ffinal的处理的示图；
图15是用于描述被执行了增强幅度调整的模糊校正滤波器Ffinal的处理的示图；
图16是示出滤波器的增强特性的示图；
图17是用于描述(a)镜头MTF特性、(b)维纳滤波器特性和(c)增强幅度调整参数β的设定示例的示图；
图18是示出RGBW滤波器中的每个颜色的光谱幅度特性的示图；
图19是示出每个RGBW颜色的MTF特性的示图；
图20是用于描述将RGBW图像转换成RGB图像的处理的示图；
图21是用于描述图像处理装置的实施例的示图；
图22是用于描述图像处理装置的实施例的示图；
图23是用于描述图像信号校正单元执行的处理的整体序列的流程图；
图24是用于描述用于计算低频成分mR、mG和mB的低频成分计算滤波器的配置示例的示图；
图25是用于描述用于计算低频成分mR、mG和mB的低频成分计算滤波器的配置示例的示图；
图26是用于描述用于计算低频成分mR、mG和mB的低频成分计算滤波器的配置示例的示图；
图27是用于描述用于计算低频成分mR、mG和mB的低频成分计算滤波器的配置示例的示图；
图28是用于描述W对应模糊校正滤波器的计算处理示例的示图；
图29是用于描述用于计算低频成分mW的低频成分计算滤波器和用于计算没有噪声信号的W信号Wn的滤波器的示例的示图；并且
图30是用于描述局部区域中的W和G的像素值比率之间的对应关系的示例的示图。
具体实施方式
以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号表示具有基本相同的功能和结构的结构元素，并且省略对这些结构元素的重复说明。
以下，将参考附图详细描述本公开的图像处理装置、图像处理方法、信息记录介质和程序。此外，将按以下顺序给出描述。
1.在拍摄图像中产生的模糊的特性，以及可应用于模糊校正的滤波器的概要
2.(第一实施例)图像处理装置的配置示例
3.根据第一实施例的图像处理装置的模糊校正处理的细节
4.(第二实施例)用于执行考虑到颜色比率的模糊校正的图像处理装置的配置示例
5.根据第二实施例的图像处理装置的模糊校正处理的细节
6.本公开的配置的总结
[1.在拍摄图像中产生的模糊的特性，以及可应用于模糊校正的滤波器的概要]
在提供对本公开的图像处理装置的详细描述之前，将描述在拍摄图像中产生的模糊的特性以及可应用于模糊校正的滤波器的基本概要。
如上所述，在由诸如数字相机之类的成像装置拍摄的图像中，由于镜头特性或者诸如CCD或CMOS之类的成像元件的特性而发生模糊。
特别地，在使用廉价镜头的相机中，随着图像高度(与光学中心的距离)增大，由镜头像差(lens aberration)引起的图像的模糊变得严重。
将参考图1来描述由于图像高度而发生的模糊的图样。
图1示出了具有交替设定矩形的白区域和黑区域的棋盘图样的拍摄图像。
如图1中所示，在图像的中心区域中模糊较小。也就是说，在接近光学中心处(图像高度减小)，模糊较小。
同时，随着与光学中心距离增大，也就是随着图像高度增大，模糊严重。
如上所述，在由相机拍摄的图像中发生的模糊在靠近相机的镜头的光学中心的图像区域的中心较小，并且在远离镜头的光学中心的图像的周边区域中严重。
接下来，将简要描述作为图像模糊校正中使用的滤波器的示例的维纳(Wiener)滤波器。考虑以下三种图像：
(1)没有模糊的理想图像(原始图像)；
(2)具有模糊的拍摄图像；
(3)通过对拍摄图像应用滤波处理而恢复的恢复图像。
这里，上述两个图像(1)和(3)的平方误差最小的滤波器将被称为最小二乘滤波器或维纳滤波器。
以下，f(x，y)被定义为没有模糊的理想图像(原始图像)，g(x，y)被定义为具有模糊的拍摄图像，h(x，y)被定义为由镜头像差或抖动引起的劣化函数，并且n(x，y)被定义为噪声成分。
(x，y)指示图像的像素位置，并且f(x，y)、g(x，y)、h(x，y)和n(x，y)可指示图像的坐标位置(x，y)的像素值。
这里，如果假设由镜头像差或抖动引起的劣化函数h(x，y)具有固定值，则以下式1成立。
式1
g(x，y)＝∫∫h(x-x′，y-y′)·f(x′，y′)·dx′dy′+n(x，y)
如果对式1的两侧进行傅立叶变换，则获得以下式2。
式2
G(u，v)＝H(u，v)×F(u，v)+N(u，v)
在以上式2中，G(u，v)、H(u，v)、F(u，v)和N(u，v)分别指示g(x，y)、h(x，y)、f(x，y)和n(x，y)的傅立叶变换。
当没有来自以上式2的由镜头像差或抖动引起的劣化函数中的零点并且噪声成分已知时，可如以下式3中那样计算F(u，v)。
式3
F ( u , v ) = G ( u , v ) - N ( u , v ) H ( u , v )
然而，由于噪声成分一般是未知的，所以不可能严格地解出以上式3。就此，利用使理想图像F与经模糊校正的恢复图像F’之间的误差可为最小的以下式4的维纳滤波器K(u，v)执行模糊校正。
式4
K ( u , v ) = H ( u , v ) | H ( u , v ) | 2 + ( S n ( u , v ) / S f ( u , v ) )
在以上式4中，(Sn(u，v)/Sf(u，v))指示理想图像(原始图像)F和噪声N的功率谱密度Γ(Γ＝Sn(u，v)/Sf(u，v))。
如以下式5中表述的，通过对滤波器进行逆傅立叶变换而获得的k(x，y)和测量图像在实空间中被卷积，从而可以获得经模糊校正的图像f’(x，y)。
式5
K ( u , v ) = H ( u , v ) | H ( u , v ) | 2 + ( S n ( u , v ) / S f ( u , v ) )
根据以上式5的维纳滤波器进行的模糊校正处理的示例在图2中示出。
图2示出了(a)拍摄图像G和(b)维纳滤波器K。
(a)拍摄图像是包括具有W(白)像素的RGBW像素的RAW图像。
这里，待校正像素是图2的(a)中所示的7×7像素的中心处的W像素。
(b)维纳滤波器K指示对7×7像素中包括的每个W像素的乘法系数。执行卷积运算以将7×7像素中包括的W像素的像素值乘以每个系数并将各乘法结果相加，从而计算中心W像素的校正像素值。
此外，图2的示例示出了对于具有RGBW配置的图像的W像素的处理示例。然而，对于每个RGB像素执行相同的滤波器处理。
另外，对于具有除了RGBW配置以外的RGB配置的图像执行基于相同的利用维纳滤波器的处理的模糊校正。
[2.(第一实施例)图像处理装置的配置示例]
参考图3和图4，将描述本公开的图像处理装置的配置示例。
图3是示出作为本公开的图像处理装置的实施例的成像装置100的配置示例的示图。成像装置100包括光学镜头105、成像元件(图像传感器)110、信号处理块120、存储器130和控制块140。此外，该成像装置相当于图像处理装置的一种样态。
此外，本公开的图像处理装置例如包括诸如PC之类的装置。诸如PC之类的图像处理装置包括除了图3中所示的成像装置100的光学镜头105和成像元件110以外的元件，并且设有用于由成像元件110获取的数据的输入单元或存储单元。
以下，将描述图3中所示的成像装置100作为本公开的图像处理装置的代表例。此外，图3中所示的成像装置100例如包括静止相机、视频相机等等。
图3中所示的成像装置100的成像元件(图像传感器)110包括具有拜耳阵列的颜色滤波器，拜耳阵列包括RGB阵列。
首先，将描述利用包括RGB阵列的成像元件110的配置和处理示例。
然后，将描述利用包括RGBW阵列的成像元件的配置和处理。
图3中所示的成像装置100的成像元件(图像传感器)110具有RGB阵列181。也就是说，成像元件110是设有具有透过红色附近的波长的红(R)、透过绿色附近的波长的绿(G)和透过蓝色附近的波长的蓝(B)的三种类型的光谱特性的滤波器的成像元件。
具有RGB阵列181的成像元件110以像素为单位通过光学镜头105接收RGB光，通过光电转换生成与光接收信号的强度相对应的电信号，并且输出电信号。通过成像元件110，获得具有三种类型的RGB光谱的马赛克图像。
成像元件(图像传感器)110的输出信号被输入到信号处理块120的图像信号校正单元200。
图像信号校正单元200例如执行考虑到根据图像高度(与光学中心的距离)或焦点位置而改变的模糊图样的模糊校正处理。图像信号校正单元200的配置和处理将在后文中详细描述。
在图像信号校正单元200中经模糊校正的RGB图像被输出到RGB信号处理单元250。
图像信号校正单元200的输出与成像装置100的输出类似是具有拜耳阵列的数据。
RGB信号处理单元250执行与现有相机中的信号处理单元相同的处理。具体地，RGB信号处理单元250执行去马赛克处理(demosaicingprocess)、白平衡调整处理、γ校正处理等等，从而生成颜色图像183。所生成的颜色图像183被存储在存储器130中。
控制块140控制这一系列处理。例如，在用于执行这一系列处理的程序被存储在存储器130中的状态中，控制块140执行从存储器130读取的程序，从而控制这一系列处理。
此外，存储器130例如可包括各种记录介质，比如磁盘、光盘或闪存。
将参考图4描述图像信号校正单元200的详细配置。
如图4中所示，图像信号校正单元200包括线存储器201、图像高度计算部202、饱和检测部203、模糊校正处理部210、边缘检测部221和混合处理部230。
混合处理部230包括加权加法处理部235。
从成像元件110输出的与像素相对应的像素值信号被一度存储在线存储器201中。
另外，与每个像素的像素值相关联的指示每个像素的坐标位置的xy地址被输出到图像高度计算部202。
线存储器201具有与成像元件的七条水平线相对应的线存储器。线存储器201以并行方式顺次输出与七条水平线相对应的数据。输出目的地是模糊校正处理部210、边缘检测部221和饱和检测部203。RGB阵列181的拍摄数据以七条线为单位被输出到这些处理部。
边缘检测部221验证来自线存储器201的输出信号，生成图像中包括的边缘信息，例如包括边缘方向和边缘幅度的边缘信息，并且将所生成的边缘信息输出到混合处理部230。
具体地，例如，边缘检测部221计算根据以待处理像素(7×7像素的中心像素)为中心的7×7像素的像素信息计算出的平坦度weightFlat，并将平坦度weightFlat输出到混合处理部230。
此外，平坦度weightFlat计算处理可按与作为本申请人的优先权申请的2011-55038号日本未审查专利申请公布中公开的处理相同的处理执行。
模糊校正处理部210验证来自线存储器201的输入信号Rin、Gin和Bin，执行用于减轻图像模糊的处理以计算通过处理结果获得的模糊校正信号Rd、Gd和Bd，并将模糊校正信号Rd、Gd和Bd输出到混合处理部230。
混合处理部230接收来自线存储器201的输出信号的RGB信号Rin、Gin和Bin、从边缘检测部221输出的边缘信息以及从模糊校正处理部210输出的模糊校正信号Rd、Gd和Bd。
混合处理部230利用接收到的信息生成考虑了边缘的模糊校正输出信号RGB，并将该输出信号RGB输出到RGB信号处理单元250。
混合处理部230包括加权加法处理部235，其中加权加法处理部235根据由边缘检测部221计算出的待处理像素的边缘信息，也就是从以待处理像素(7×7像素的中心像素)为中心的7×7像素的像素信息计算出的平坦度weightFlat，对从模糊校正处理部210输出的模糊校正信号Rd、Gd和Bd执行加权加法处理，从而计算RGB阵列181的每个RGB像素值。具体地，混合处理部230根据以下式子确定RGB像素值。
R＝(weightFlat)×(Rd)+(1-weightFlat)×Rin
G＝(weightFlat)×(Gd)+(1-weightFlat)×Gin
B＝(weightFlat)×(Bd)+(1-weightFlat)×Bin
混合处理部230将作为以上式子的计算结果获得的R、G和B输出到RGB信号处理单元250。
RGB信号处理单元250相当于一般相机或图像处理装置中包括的对于RGB阵列(拜耳阵列)的信号处理单元。RGB信号处理单元250对从混合处理部230输出的RGB阵列(拜耳阵列)信号执行信号处理，从而生成颜色图像183(参考图3)。具体地，RGB信号处理单元250例如执行白平衡处理、去马赛克处理、浓淡(shading)处理、RGB颜色矩阵处理、γ校正处理等等，从而生成颜色图像183。
图5是用于描述图像信号校正单元200执行的处理的整体序列的流程图。
在步骤S101中，图像信号校正单元200生成与图像高度等等相对应的模糊校正滤波器。此处理是由模糊校正处理部210执行的。
模糊校正处理部210从图像高度计算部202接收基于要经历模糊校正的像素的xy地址计算出的图像高度(与图像中心(＝光学中心)的距离)信息，并根据图像高度等等生成模糊校正滤波器。
此外，此处理的细节将在后文中描述。
在步骤S102中，判定要经历模糊校正的像素是否饱和。
具体地，要经历模糊校正的像素的饱和由图4中所示的饱和检测部203检测，并且检测信息被输入到模糊校正处理部210。
当要经历模糊校正的像素已饱和时，如果执行模糊校正，则有可能产生伪色。这是因为模糊校正处理包括参考要经历模糊校正的像素周围的像素的像素值设定待校正像素的像素值的处理。
例如，图6的(a)中所示的图像的像素区域271a是包括高光像素也就是饱和像素的像素区域。
如果对包括饱和像素的像素区域271a执行模糊校正处理，则如图6的(b)的像素区域271b中所示减轻了模糊。然而，产生伪色，其中设定了与对象的原始颜色不同的颜色。
为了防止产生伪色，当如图7中所示在要经历模糊校正的像素的周围例如以待校正像素为中心的7×7像素包括饱和像素时，不对待校正像素执行模糊校正。
如上所述，模糊校正处理部210执行根据饱和检测部203中的饱和像素(高光)区域的检测信息利用没有模糊校正处理的信号替换饱和像素区域的处理。
饱和检测部203例如判定以要经历模糊校正处理的像素为中心的7×7像素的区域的像素是否不超过预定的阈值。如果7×7像素的区域的至少一个像素超过阈值，则饱和检测部203向模糊校正处理部210输出饱和检测信息。
如果7×7像素的区域的至少一个像素超过阈值，那么由于很有可能产生伪色，所以模糊校正处理部210执行利用没有校正处理的信号替换该像素区域的处理。
此处理对应于当图5中的所示的流程图的步骤S102的判定是“是”时的处理。在此情况下，执行步骤S105，而不执行步骤S103和S104。
也就是说，不执行对待处理像素(7×7像素的中心像素)的模糊校正处理。
当以要经历模糊校正处理的像素为中心的7×7像素的区域中没有像素超过预定阈值并且没有执行饱和检测时，步骤S102的判定是“否”并且在步骤S103中执行利用滤波器的模糊校正处理。
此模糊校正处理是由图4中所示的模糊校正处理部210执行的处理，并且是利用在步骤S101中根据图像高度等等生成的模糊校正滤波器来执行的。
接下来，在步骤S104中执行边缘检测处理。
此处理是由图4中所示的边缘检测部221执行的。边缘检测部221验证来自线存储器201的输出信号，并且生成图像中包括的边缘信息，例如包括边缘方向和边缘幅度的边缘信息。
具体地，如上所述，边缘检测部221例如计算根据以待处理像素(7×7像素的中心像素)为中心的7×7像素的像素信息计算出的平坦度weightFlat，并将平坦度weightFlat输出到混合处理部230。
平坦度weightFlat如图8中所示具有0到1的范围内的值，并且是指示图像状态的平坦度的指标值，其中平坦度在其接近1时较低(多纹理)，并且平坦度在其接近0时较高(少纹理)。
如图8中所示，如下利用两个预设阈值Limit0和Limit1来计算平坦度weightFlat：
如果0≤(ratioFlat)＜Limit0，则平坦度(weightFlat)＝0；
如果Limit0≤(ratioFlat)＜Limit1，则平坦度(weightFlat)＝0到1；并且
如果Limit1≤(ratioFlat)，则平坦度(weightFlat)＝1。
边缘检测部221例如将关于平坦度weightFlat的信息作为边缘信息输出到混合处理部230。
此外，如上所述，由于平坦度weightFlat计算处理可按与作为本申请人的优先权申请的2011-55038号日本未审查专利申请公布中公开的处理相同的处理执行，所以平坦度weightFlat计算处理的细节可在2011-55038号日本未审查专利申请公布中找到。
接下来，在步骤S105中，执行混合处理。
此处理是由图4中所示的混合处理部230执行的处理。混合处理部230接收来自线存储器201的输出信号的RGB信号Rin、Gin和Bin、从边缘检测部221输出的边缘信息以及从模糊校正处理部210输出的模糊校正信号Rd、Gd和Bd。
混合处理部230利用接收到的信息生成考虑了边缘的模糊校正输出信号RGB，并将输出信号RGB输出到RGB信号处理单元250。
混合处理部230包括加权加法处理部235，其中加权加法处理部235根据由边缘检测部221计算出的待处理像素的边缘信息，也就是从以待处理像素(7×7像素的中心像素)为中心的7×7像素的像素信息计算出的平坦度weightFlat，对从模糊校正处理部210输出的模糊校正信号Rd、Gd和Bd执行加权加法处理，从而计算RGB阵列181的每个RGB像素值。具体地，混合处理部230根据以下式子确定RGB像素值。
R＝(weightFlat)×(Rd)+(1-weightFlat)×Rin
G＝(weightFlat)×(Gd)+(1-weightFlat)×Gin
B＝(weightFlat)×(Bd)+(1-weightFlat)×Bin
混合处理部230将作为以上式子的计算结果获得的R、G和B输出到RGB信号处理单元250。
具体地，混合处理部230的加权加法处理部235例如执行混合处理，用于基于由边缘检测部221计算出的待处理像素的边缘信息，在边缘幅度被判定为高的像素位置处增大有模糊校正的信号的混合比率，并且在边缘幅度被判定为低的像素位置处将没有模糊校正的信号的混合比率设定得较高。
优选地，在边缘附近存在具有恢复的高频成分的锐利信号。然而，由于在平坦部分原本不包括高频成分，所以优选存在被抑制了噪声的信号。
然而，如上所述，当从预定单位的像素区域例如以要经历模糊校正处理的像素为中心的7×7像素的区域中检测饱和像素时，由于对该像素不执行模糊校正，所以输入像素值Rin、Gin和Bin被按原样从成像元件110输出。
最后，在步骤S106中，判定是否已完全处理了所有输入像素。当存在未处理像素时，对未处理像素重复执行步骤S101至步骤S105的处理。
在步骤S106中，当判定已完全处理了所有输入像素时，图像信号校正单元200的处理结束。
[3.根据第一实施例的图像处理装置的模糊校正处理的细节]
接下来，将描述图4中所示的图像信号校正单元200执行的模糊校正处理的详细示例。
图4中所示的图像信号校正单元200的模糊校正处理部210验证来自线存储器201的输入信号Rin、Gin和Bin，执行用于减轻图像模糊的处理以计算通过处理结果获得的模糊校正信号Rd、Gd和Bd，并将模糊校正信号Rd、Gd和Bd输出到混合处理部230。
模糊校正处理部210在图5中所示的流程图的步骤S101中根据要经历模糊校正的像素的图像高度等等生成模糊校正滤波器，并在步骤S103中利用所生成的滤波器执行模糊校正处理。
用于描述图5的步骤S101中的滤波器生成处理的详细序列的流程图在图9中示出。
将参考图9中所示的流程图详细描述模糊校正滤波器的生成处理的细节。
在步骤S121中，模糊校正处理部210生成与要经历模糊校正的像素的xy地址也就是坐标(x，y)相对应的高通滤波器，也就是说生成坐标位置对应高通滤波器HPF_dist。
模糊校正处理部210从图4中所示的图像高度计算部202接收待校正像素的坐标(x，y)和图像高度(与图像中心的距离)，并生成坐标位置对应高通滤波器HPF_dist。
将参考图10描述此处理。
图10是示出用于描述坐标位置对应高通滤波器HPF_dist的生成处理的流程图、要应用于滤波器生成的参数等等的示图。
首先，在图10中所示的流程图的步骤S131中，模糊校正处理部210执行用于根据要经历模糊校正的像素的坐标(x，y)，混合(1)x方向调整用高通滤波器HPF_x和(2)y方向调整用高通滤波器HPF_y的处理，从而生成(3)坐标位置反映滤波器HPF_xy。
此外，(1)x方向调整用高通滤波器HPF_x和(2)y方向调整用高通滤波器HPF_y是被保存在图像处理装置的存储器中的滤波器，并且是由模糊校正处理部210从该存储器中获得的。
将参考图11描述这些滤波器的详细示例。
图11示出了以下三个高通滤波器：
(A)重心未被改变的高通滤波器HPF_center
(B)x方向调整用高通滤波器HPF_x，其中在x方向(水平方向)上改变了重心
(C)y方向调整用高通滤波器HPF_y，其中在y方向(垂直方向)上改变了重心
在图10中所示的流程图的步骤S131中，模糊校正处理部210执行根据要经历模糊校正的像素的坐标(x，y)混合(B)x方向调整用高通滤波器HPF_x和(C)y方向调整用高通滤波器HPF_y的处理，从而生成坐标位置反映滤波器HPF_xy。
具体地，模糊校正处理部210根据以下式子生成坐标位置反映滤波器HPF_xy。
HPF_xy＝(x×HPF_x+y×HPF_y)/(x+y)
在图10的步骤S131中，模糊校正处理部210根据要经历模糊校正的像素的坐标(x，y)生成坐标位置反映滤波器HPF_xy。
在步骤S132中，基于要经历模糊校正的像素的坐标(x，y)与视角中心位置[(x，y)＝(0，0)]之间的距离r，模糊校正处理部210混合(1)坐标位置反映滤波器HPF_xy和(2)与视角中心位置[(x，y)＝(0，0)]相对应的中心滤波器HPF_center，从而生成坐标位置对应高通滤波器HPF_dist。
(1)坐标位置反映滤波器HPF_xy是在步骤S131中计算出的滤波器。
(2)与视角中心位置[(x，y)＝(0，0)]相对应的中心滤波器HPF_center是图11的(A)中所示的滤波器，是被保存在图像处理装置中的存储器中的滤波器，并且是由模糊校正处理部210从该存储器获得的。
此外，如图10的(a)的参数描述中所示，当要经历模糊校正的像素的坐标被设定为(x，y)时，与图像中心(0，0)的距离r被计算作为图像高度。
另外，到视角边缘xmax和ymax的图像高度的最大值被设定为rmax。
在以上设定下，模糊校正处理部210根据以下式子计算坐标位置对应高通滤波器HPF_dist。
HPF_dist＝[(HPF_xy×r)+(HPF_center×(rmax-r))]/rmax
在步骤S132中，補正処理部模糊校正处理部210根据以上处理计算坐标位置对应高通滤波器HPF_dist。
图10的流程图的步骤S131和S132的处理是图9中所示的流程图的步骤S121中的处理，并且通过这些处理生成坐标位置对应高通滤波器HPF_dist。
接下来，在图9中所示的流程图的步骤S122中，模糊校正处理部210根据混合系数α(focus，r)混合(1)默认滤波器和(2)坐标位置对应高通滤波器HPF_dist，从而生成(3)坐标位置对应默认滤波器Fbase，其中混合系数α(focus，r)是根据图像高度r和焦点位置信息focus确定的。
(1)默认滤波器是被保存在图像处理装置中的存储器中的滤波器，并且是由模糊校正处理部210从该存储器获得的。
具体地，可以应用参考图2描述的被称为最小二乘滤波器或维纳滤波器的滤波器。
图像处理装置将诸如维纳滤波器之类的模糊校正滤波器作为默认滤波器保存在存储器中，并且在图9中所示的流程图的步骤S122中混合默认滤波器和在步骤S121中生成的坐标位置对应高通滤波器HPF_dist，从而生成坐标位置对应默认滤波器Fbase。
坐标位置对应默认滤波器Fbase是基于根据图像高度r和焦点位置信息focus确定的混合系数α通过以下式子来计算的。
Fbase＝(1.0-α)×(默认滤波器)+α(HPF_dist)
另外，在步骤S123中，模糊校正处理部210向在步骤S122中生成的坐标位置对应默认滤波器Fbase应用与图像高度和焦点位置相对应的幅度调整参数β(focus，r)，从而生成要实际应用于模糊校正的经历增强幅度调整的模糊校正滤波器Ffinal。
在步骤S123中生成的模糊校正滤波器Ffinal是要被实际应用到对待处理像素(x，y)的模糊校正处理的滤波器。
首先，在步骤S122中，模糊校正处理部210基于根据图像高度r和焦点位置信息focus确定的混合系数α(focus，r)混合(1)默认滤波器和(2)坐标位置对应高通滤波器HPF_dist，从而生成坐标位置对应默认滤波器Fbase。
此处理将参考图12及随后的图来描述。
基于根据图像高度r和焦点位置信息focus确定的混合系数α对(1)默认滤波器和(2)坐标位置对应高通滤波器HPF_dist的混合处理相当于调整(调节)滤波器的频率特性的处理。
也就是说，该混合处理是作为基于根据图像高度r和焦点位置信息focus确定的混合系数α改变滤波器的频率特性的处理执行的。
图12中所示的图线示出了滤波器的增强特性，其中水平轴表示空间频率，并且垂直轴表示与应用滤波器后的像素值输出相当的幅度。
该图线示出了通过不同地设定要应用于上述混合处理的混合系数α(α＝-0.5到1.5)来生成的滤波器的增强特性。
如上所述，坐标位置对应默认滤波器Fbase是基于根据图像高度r和焦点位置信息focus确定的混合系数α通过以下式子计算出的。
Fbase＝(1.0-α)×(默认滤波器)+α(HPF_dist)
在以上式子中，当混合系数α被设定为0时，Fbase＝(默认滤波器)，并且是具有以图12中所示的α(0.0)示出的特性的线的滤波器。
另外，在以上式子中，当混合系数α被设定为1.0时，Fbase＝(HPF_dist)，并且是具有以图12中所示的α(1.0)示出的特性的线的滤波器。
也就是说，α被改变到各种值，使得可以生成具有如图12中所示的(α＝-0.5到1.5)的频率特性的滤波器。
如上所述，在图9中所示的流程图的步骤S122中执行的坐标位置对应默认滤波器Fbase的生成作为与通过混合(1)默认滤波器和(2)坐标位置对应高通滤波器HPF_dist来调整(调节)滤波器频率特性的处理相当的处理。
此外，混合系数α是根据图像高度r和焦点位置信息focus确定的。
将参考图13描述混合系数α的设定示例。
图13示出了(a)镜头MTF特性、(b)维纳滤波器特性以及(c)混合系数α的设定示例。
如图13的(a)中所示，MTF特性一般在图像高度增大(与图像中心的距离增大)时劣化。特别地，由于高频区域被掩埋在噪声中，所以如图13的(b)中所示维纳滤波器的增强特性向低频区域偏移。
就此，如图13的(c)中所示，当图像高度增大(与图像中心的距离增大)时，高通滤波器的混合比率被允许减小。也就是说，优选地，混合系数α被允许较小。
可以说焦点偏移是类似的。也就是说，随着焦点偏移增大，混合系数α被允许较小。
此外，焦点偏移相当于图像处理装置(相机)特有的值，并且与每个焦点位置对应产生的偏移量是每个相机中的特有值。从而，由于可根据焦点位置信息计算焦点偏移量，所以模糊校正处理部210从控制块140接收焦点位置信息(参考图4)，根据预设的计算式计算焦点偏移量，并且利用焦点偏移量和从图像高度计算部202获取的图像高度r计算混合系数α(focus，r)。
如上所述，在图9中所示的流程图的步骤S122中，模糊校正处理部210基于根据图像高度r和焦点位置信息focus确定的混合系数α(focus，r)混合(1)默认滤波器和(2)坐标位置对应高通滤波器HPF_dist，从而生成坐标位置对应默认滤波器Fbase。
接下来，将描述步骤S123的处理，也就是对在步骤S122中生成的坐标位置对应默认滤波器Fbase应用与图像高度和焦点位置相对应的幅度调整参数β(focus，r)，从而生成经历增强幅度调整的模糊校正滤波器Ffinal的处理。
步骤S123的处理是通过(a)图14中所示的频带分离处理和对AC成分的增强幅度的乘法和(b)图15中所示的再合成处理来执行的。
首先，将描述图14中所示的频带分离处理。
图14中所示的坐标位置对应默认滤波器Fbase是在图9中所示的流程图的步骤S122的处理中生成的滤波器。
首先，坐标位置对应默认滤波器Fbase被频带分离成DC成分和AC成分，从而获得两个滤波器。
具有DC成分的滤波器是这样的滤波器：其中，只有7×7像素的滤波器的中心像素的系数为1.0，并且其他像素的系数被设定为0。
具有AC成分的滤波器是具有通过从坐标位置对应默认滤波器Fbase的系数中减去DC成分的系数而获得的系数的滤波器。
另外，AC成分被乘以增强幅度(＝幅度调整参数β)。
利用通过将AC成分乘以增强幅度而获得的结果和用于添加DC成分的再合成处理，模糊校正处理部210生成图15中所示的要应用于最终模糊校正的最终模糊校正滤波器Ffinal。
增强幅度相当于幅度调整参数β。
在图14和图15中所示的示例中，增强幅度调整参数β是1.5。
模糊校正处理部210将通过图14中所示的频带分离处理生成的AC成分的滤波器系数乘以增强幅度调整参数β(＝1.5)并且执行将乘法结果加到DC成分的每个相应系数的合成处理，从而生成具有经调整的增强幅度和图15中所示的系数的最终模糊校正滤波器Ffinal。
将参考图16描述增强幅度调整参数β的设定和频率特性的变化。
图16是与参考图12的描述类似地示出滤波器的增强特性的示图，其中水平轴表示空间频率，并且垂直轴表示与应用滤波器后的像素值输出相对应的幅度。
假设坐标位置对应默认滤波器Fbase的增强特性例如由图16的虚线指示。
坐标位置对应默认滤波器Fbase经历已参考图14和图15描述的：(s1)到DC成分和AC成分的频带分离，(s2)AC成分和增强幅度调整参数β(＝1.5)的乘法，以及(s3)基于AC成分的乘法结果和DC成分的加法处理的再合成处理，从而可以生成具有图16的实线指示的特性的模糊校正滤波器Ffinal。
在图16中所示的示例中，增强幅度调整参数β是1.5。然而，可以通过改变β的值来生成具有各类设定的模糊校正滤波器Ffinal。
此外，与上述的混合系数α类似，增强幅度调整参数β是根据图像高度r和焦点位置信息focus确定的。
将参考图17描述增强幅度调整参数β的设定示例。
图17示出了(a)镜头MTF特性、(b)维纳滤波器特性和(c)增强幅度调整参数β的设定示例。
如图17的(a)中所示，MTF特性一般在图像高度增大(与图像中心的距离增大)时劣化。因此，如图17的(b)中所示，维纳滤波器的增强幅度也被允许增大。
就此，如图17的(c)中所示，当图像高度增大(与图像中心的距离增大)时，优选地，增强幅度调整参数β被允许增大。
可以说焦点偏移是类似的。也就是说，随着焦点偏移增大，增强幅度调整参数β被允许增大。
此外，如上所述，焦点偏移相当于图像处理装置(相机)特有的值，并且根据每个焦点位置产生的偏移量是每个相机中的特有值。从而，由于可根据焦点位置信息计算焦点偏移量，所以模糊校正处理部210从如图3中所示的控制块140接收焦点位置信息(参考图4)，根据预设的计算式计算焦点偏移量，并且利用焦点偏移量和从图像高度计算部202获取的图像高度r计算增强幅度调整参数β(focus，r)。
如上所述，在图9中所示的流程图的步骤S123中，模糊校正处理部210对在步骤S122中生成的坐标位置对应默认滤波器Fbase应用与图像高度和焦点位置相对应的幅度调整参数β(focus，r)，从而生成经历增强幅度调整的模糊校正滤波器Ffinal。
在图9中所示的流程图的步骤S123中生成的模糊校正滤波器Ffinal是作为图4中所示的图像信号校正单元200的整体处理序列描述的图5中所示的整体处理流程图的步骤S101中生成的模糊校正滤波器。
该模糊校正滤波器是是与图像高度和焦点位置相对应的滤波器，并且是根据每个校正像素位置和每个焦点位置逐次生成的滤波器。
在图5中所示的流程图的步骤S101中生成的模糊校正滤波器Ffinal被应用到步骤S103，从而对每个像素执行模糊校正处理。
此外，该滤波器应用处理与参考图2描述的处理等同。
取代图2中所示的(b)维纳滤波器，通过上述处理生成的模糊校正滤波器Ffinal被应用。
也就是说，执行卷积运算以将以待校正像素为中心的预定单位的像素区域(例如7×7像素的像素区域)的像素乘以通过上述处理生成的模糊校正滤波器Ffinal的系数并将乘法结果相加，从而计算中心像素的校正像素值。
此外，如上所述，当在图5中所示的流程图的步骤S102中执行了饱和检测时，省略模糊校正处理。
当未从以待校正像素为中心的预定单位的像素区域(例如7×7像素的像素区域)检测到饱和像素时，执行利用通过上述处理生成的模糊校正滤波器Ffinal的基于像素值校正的模糊校正处理。
如上所述，在本实施例中生成的模糊校正滤波器Ffinal是这样的滤波器：对于该滤波器，在考虑到待校正像素的位置、具体地是图像高度和焦点位置的情况下执行了系数调整。也就是说，利用具有根据图像高度和焦点位置调整了的频率特性和幅度特性的滤波器，可以执行与每个像素位置和每个焦点位置相对应的最优模糊校正。
此外，上述实施例是利用如下处理来描述的：其中，在图5中所示的流程图的步骤S101中生成的模糊校正滤波器被用作根据图8和图9中所示的流程图最终生成的模糊校正滤波器Ffinal，并且模糊校正滤波器Ffinal被应用于图5中所示的步骤S103以对每个像素执行模糊校正处理。
然而，例如，图9中所示的流程图的步骤S123可被省略，并且在步骤S122中，基于混合系数α(focus，r)生成的坐标位置对应默认滤波器Fbase可被应用作为最终的模糊校正滤波器。
或者，可省略图9中所示的流程图的步骤S121或步骤S122，并且可只通过步骤S123的处理生成模糊校正滤波器。也就是说，如下滤波器可被应用于模糊校正：该滤波器是通过允许预先保存在存储器中的默认滤波器经历图9中所示的流程图的步骤S123的处理，也就是参考图14和图15描述的频带分离处理、利用增强幅度调整参数β(focus，r)对AC成分的幅度调整和再合成处理，而获得的滤波器。
另外，在以上实施例中，描述了利用图像高度r和焦点位置信息focus确定混合系数α或增强幅度调整参数β的配置示例。然而，可以仅依据图像高度r确定混合系数α或增强幅度调整参数β。或者，可以仅依据焦点位置信息focus确定混合系数α或增强幅度调整参数β。另外，可以在考虑到例如变焦位置等等之类的其他参数的情况下确定混合系数α或增强幅度调整参数β。
[4.(第二实施例)用于在考虑到色比率的情况下执行模糊校正的图像处理装置的配置示例]
在上述实施例中，成像元件具有RGB阵列。近年来，除了RGB以外已广泛使用了设有如下滤波器的成像元件：该滤波器具有包括透过包括RGB在内的可见光线的W(白)的RGBW阵列。
如上所述，在使用具有包括W(白)像素的RGBW阵列的滤波器的情况下，由于W像素透过具有宽波长区域的可见光线，所以对于模糊图样根据颜色比率而改变的W像素可能不会充分获得校正效果。
本申请人先前提交的2011-055038号日本未审查专利申请公布公开了一种对具有RGBW像素阵列的拍摄图像的模糊校正处理配置。然而，由于该优先权申请中公开的处理相当于在对W(白)像素的模糊校正中在没有考虑颜色比率的情况下执行校正的配置，所以对于模糊图样根据颜色比率而改变的W像素可能不会充分获得校正效果。
以下，将描述解决以上问题的实施例。
图18是示出RGBW滤波器中的每个颜色的光谱幅度特性的示图：
高效率地发射与600nm附近的红色相当的波长光的红(R)；
高效率地发射与530nm附近的绿色相当的波长光的绿(G)；
高效率地发射与430nm附近的蓝色相当的波长光的蓝(B)；以及
对于这些RGB滤波器，W(白)发射所有RGB波长光。
图19是示出RGBW颜色的MTF特性的示图，其中水平轴表示空间频率，并且垂直轴表示MTF。此外，假设入射光具有白色。
当MTF较高时，模糊较小，并且当MTF减小时，模糊程度严重。
例如，关于G(绿)，由于MTF相对于其他颜色RB在宽空间频率上具有较高的值，因此模糊较小。这意味着，当在入射光中包括大量的G(绿)成分时模糊较小，并且当在入射光中包括大量的R(红)或B(蓝)成分时模糊严重。
在利用拜耳阵列的RGB阵列的配置中，使用与RGB颜色的MTF特性相对应的滤波器，从而使得与各个RGB特性相对应的模糊校正成为可能。也就是说，如果对R、G和B像素的模糊校正应用用于R、G和B的模糊校正滤波器，则可以执行与RGB的MTF特性相对应的适当校正。
然而，在W(白)的情况下，通过W滤波器输入的波长光根据对象的颜色而改变。结果，MTF特性也根据对象和光源的颜色而改变，从而导致模糊图样根据对象和光源的颜色的变化。从而，虽然应用一个滤波器，但难以执行适当的校正。
此外，由于图19中所示的W(白)的MTF特性只是当入射光是白光时的示例，所以W(白)的MTF特性根据对象的颜色而大幅改变。
以下，将描述为了解决以上问题而考虑颜色比率执行模糊校正的配置示例。
下面要描述的图像处理装置(成像装置)利用具有RGBW阵列的滤波器对来自成像元件的输入信号执行处理。
该图像处理装置除了模糊校正处理以外还执行将RGBW图像转换成RGB图像的处理。
首先，将参考图20描述从RGBW图像到RGB图像的转换处理。
本实施例的图像处理装置执行用于获取成像元件(图像传感器)的数据的处理，该成像元件除了具有选择性透过每个RGB颜色的波长光的RGB滤波器以外，还具有包括透过所有RGB波长光的W(白)的RGBW颜色滤波器。
具体地，图像处理装置执行将具有例如如图20的(1)中所示的包括W(白)的RGBW颜色滤波器的成像元件的获取数据转换成图20的(2)中所示的RGB阵列(拜耳阵列)的处理。另外，在转换处理时，图像处理装置执行用于防止模糊或伪色的发生的处理。
具体地，图像处理装置在从RGBW阵列到RGB拜耳阵列的转换处理中执行以下五个转换或校正处理：
将W像素位置转换到G像素(估计G像素值)＝(GonW)；
将G像素位置转换到R像素(估计R像素值)＝(RonG)；
将G像素位置转换到B像素(估计B像素值)＝(BonG)；
将R像素位置转换到R像素(校正R像素值)＝(RonR)；以及
将B像素位置转换到B像素(校正B像素值)＝(BonB)。
每个校正处理是作为将RGBW阵列中的RGBW像素转换到RGB阵列中的RGB像素的像素值估计或校正处理执行的。执行这些处理以便从图20的(1)中所示的RGBW颜色阵列生成图20的(2)中所示的RGB拜耳阵列。
以下，颜色阵列的转换处理将被称为去马赛克处理。
在以下实施例中，将对如下配置提供描述：在该配置中，执行去马赛克处理以将具有W(白)的RGBW颜色阵列转换成RGB颜色阵列(拜耳阵列)，并且在去马赛克处理时执行防止模糊或伪色的发生的处理。
图21是示出作为本公开的图像处理装置的实施例的成像装置300的配置示例的示图。成像装置300包括光学镜头305、成像元件(图像传感器)310、信号处理块320、存储器330和控制块340。基本配置与参考图3描述的配置等同。
此外，该成像装置相当于图像处理装置的一种样态。本公开的图像处理装置例如包括诸如PC之类的装置。诸如PC之类的图像处理装置包括除了图21中所示的成像装置300的光学镜头305和成像元件310以外的元件，并且设有用于由成像元件310获取的数据的输入单元或存储单元。
与以上描述的图3中所示的成像装置100不同，图21中所示的成像装置300具有成像元件(图像传感器)310包括具有RGBW阵列的滤波器的配置。也就是说，成像元件310是设有具有除了透过红色附近的波长的红(R)、透过绿色附近的波长的绿(G)和透过蓝色附近的波长的蓝(B)以外还有透过RGB的白(W)的四种类型的光谱特性的滤波器的成像元件。
具有RGBW阵列381的成像元件310以像素为单位通过光学镜头305接收RGBW光，通过光电转换生成与光接收信号的强度相对应的电信号，并且输出电信号。通过成像元件310，获得具有四种类型的RGBW光谱的马赛克图像。
成像元件(图像传感器)310的输出信号被输入到信号处理块320的图像信号校正单元400。
与先前实施例类似，图像信号校正单元400例如执行考虑到根据图像高度(与光学中心的距离)或焦点位置而改变的模糊图样并且学考虑到颜色比率的模糊校正。
另外，图像信号校正单元400执行从RGBW阵列381到RGB阵列382的转换处理。具体地，图像信号校正单元400执行参考图20描述的以下五个转换或校正处理：
将W像素位置转换到G像素(估计G像素值)＝(GonW)；
将G像素位置转换到R像素(估计R像素值)＝(RonG)；
将G像素位置转换到B像素(估计B像素值)＝(BonG)；
将R像素位置转换到R像素(校正R像素值)＝(RonR)；以及
将B像素位置转换到B像素(校正B像素值)＝(BonB)。
在转换或校正处理时，图像信号校正单元400执行用于防止伪色或模糊的发生的处理。
在图像信号校正单元400中被执行了模糊校正和数据转换的RGB阵列382被输出到RGB信号处理单元450。
RGB信号处理单元450执行与现有相机中的信号处理单元相同的处理。具体地，RGB信号处理单元450执行去马赛克处理、白平衡调整处理、γ校正处理等等，从而生成颜色图像383。所生成的颜色图像383被存储在存储器330中。
控制块340控制这一系列处理。例如，在用于执行这一系列处理的程序被存储在存储器330中的状态中，控制块340执行从存储器330读取的程序，从而控制这一系列处理。
此外，存储器330例如可包括各种记录介质，比如磁盘、光盘或闪存。
将参考图22描述图像信号校正单元400的详细配置。
如图22中所示，图像信号校正单元400包括线存储器401、图像高度计算部402、饱和检测部403、模糊校正处理部410、边缘检测部421和颜色相关重马赛克处理(remosaicing processing)部(数据转换部)430。
颜色相关重马赛克处理部(数据转换部)430包括W位置G插补(interpolation)参数计算部431、G位置RB插补参数计算部432、R位置R插补参数计算部433、B位置B插补参数计算部434和加权加法部435。
从成像元件310输出的与像素相对应的像素值信号被一度存储在线存储器401中。
另外，与每个像素的像素值相关联的指示每个像素的坐标位置的xy地址被输出到图像高度计算部402。
线存储器401具有与成像元件的七条水平线相对应的线存储器。线存储器401以并行方式顺次输出与七条水平线相对应的数据。输出目的地是模糊校正处理部410、边缘检测部421和饱和检测部403。RGBW阵列381的拍摄数据以七条线为单位被输出到这些处理部。
此外，边缘检测部421和模糊校正处理部410对RGBW阵列381的拍摄数据的白(W)信号执行处理。
另外，颜色相关重马赛克处理部430利用RGBW阵列381的拍摄数据的RGBW信号执行处理。
边缘检测部421验证来自线存储器201的输出信号中包括的离散白(W)信号，生成图像中包括的边缘信息，例如包括边缘方向和边缘幅度的边缘信息，并且将所生成的边缘信息输出到颜色相关重马赛克处理部430。
具体地，边缘检测部421例如计算根据以待处理像素(7×7像素的中心像素)为中心的7×7像素的像素信息计算出的平坦度weightFlat，并将平坦度weightFlat输出到颜色相关重马赛克处理部430。
此外，平坦度weightFlat计算处理可按与作为本申请人的优先权申请的2011-55038号日本未审查专利申请公布中公开的处理相同的处理执行。
首先，模糊校正处理部410应用来自线存储器401的输出信号中包括的白(W)信号，通过模糊校正处理在RGB像素位置处设定W像素，并且生成在所有像素中都设定了W像素的插补图像。另外，模糊校正处理部410对在所有像素中都设定了W像素的图像的每个W像素执行插补处理，生成所有像素的模糊校正W信号，即模糊校正W信号Wd，并将模糊校正W信号Wd输出到颜色相关重马赛克处理部430。
此外，模糊校正处理部410执行至少考虑到颜色比率的模糊校正。
另外，与前述实施例类似，模糊校正处理部410例如可执行考虑到根据图像高度(与光学中心的距离)或焦点位置而改变的模糊图样并且还考虑到颜色比率的模糊校正。
颜色相关重马赛克处理部430接收来自线存储器401的输出信号的RGBW信号、从边缘检测部421输出的边缘信息以及从模糊校正处理部410输出的与所有像素相对应的模糊校正W信号Wd。
颜色相关重马赛克处理部430利用接收到的信息执行从RGBW颜色阵列到RGB阵列382的转换处理。
具体地，如参考图20所述，颜色相关重马赛克处理部430执行以下五个转换或校正处理：
将W像素位置转换到G像素(估计G像素值)＝(GonW)；
将G像素位置转换到R像素(估计R像素值)＝(RonG)；
将G像素位置转换到B像素(估计B像素值)＝(BonG)；
将R像素位置转换到R像素(校正R像素值)＝(RonR)；以及
将B像素位置转换到B像素(校正B像素值)＝(BonB)。
W位置G插补参数计算部431计算要应用于对RGBW阵列381的W像素位置设定的G像素值的计算的插补参数。利用来自线存储器401的输出信号的W和B信号以及从模糊校正处理部410输入的模糊校正W信号Wd，W位置G插补参数计算部431计算要应用于(GonW)的处理的插补参数。
G位置RB插补参数计算部432计算要应用于对RGBW阵列381的G像素位置设定的R像素值或B像素值的计算的插补参数。利用来自线存储器401的输出信号的W和B信号以及从模糊校正处理部410输入的模糊校正W信号Wd，G位置RB插补参数计算部432计算要应用于(RonG)和(BonG)的处理的参数。
R位置R插补参数计算部433计算要应用于对RGBW阵列381的R像素位置设定的校正R像素值的计算的插补参数。利用来自线存储器401的输出信号的W和B信号以及从模糊校正处理部410输入的模糊校正W信号Wd，R位置R插补参数计算部433计算要应用于(RonR)的处理的插补参数。
B位置B插补参数计算部434计算要应用于对RGBW阵列381的B像素位置设定的校正B像素值的计算的插补参数。利用来自线存储器401的输出信号的W和B信号以及从模糊校正处理部410输入的模糊校正W信号Wd，B位置B插补参数计算部434计算要应用于(BonB)的处理的插补参数。
加权加法部435接收由插补参数计算部431至434计算出的插补参数，并且还应用从边缘检测部421输出的边缘信息，从而计算构成RGB阵列(拜耳阵列)382的所有像素的RGB信号值。
此外，由颜色相关重马赛克处理部(数据转换部)430执行的从RGBW阵列到RGB阵列的数据转换处理可基本上使用作为本申请人的优先权申请的2011-55038号日本未审查专利申请公布中公开的处理。数据转换处理的细节可在2011-55038号日本未审查专利申请公布中找到。
这样，图像信号校正单元400生成由加权加法部435计算出的包括Gr、Rr和Br的RGB阵列(拜耳阵列)382，并将RGB阵列382输出到RGB信号处理单元450。
RGB信号处理单元450与一般相机或图像处理装置中包括的对于RGB阵列(拜耳阵列)的信号处理单元等同。RGB信号处理单元450对从加权加法部435输出的RGB阵列(拜耳阵列)382执行信号处理，从而生成颜色图像383(参考图21)。具体地，RGB信号处理单元450例如执行白平衡处理、去马赛克处理、浓淡处理、RGB颜色矩阵处理、γ校正处理等等，从而生成颜色图像383。
[5.根据第二实施例的图像处理装置的模糊校正处理的细节]
接下来，将描述根据第二实施例图像处理装置的模糊校正处理的细节。
图23是用于描述图像信号校正单元400执行的处理的整体序列的流程图。
此外，图23中所示的流程图的所有步骤的处理的主要处理主体如下。
步骤S301至S305的处理主要由模糊校正处理部410执行。
步骤S306的处理由边缘检测部421执行。
步骤S307的处理由颜色相关重马赛克处理部(数据转换部)430执行。
另外，主要由模糊校正处理部410执行的步骤S301至S305的处理和由边缘检测部421执行的步骤S306的处理是如上所述利用RGBW阵列的图像数据中包括的W像素来执行的。
将描述所有步骤的处理的细节。
首先，在步骤S301中，模糊校正处理部410计算以要经历模糊校正的一个W像素为中心的预定局部区域的颜色比率。
此外，与前述实施例类似，模糊校正处理部410对以要经历模糊校正处理的像素为中心的预定图像区域(＝局部区域)例如7×7像素的矩形图像区域执行处理。
当7×7像素的区域的中心像素是W像素时，模糊校正处理部410对W像素执行模糊校正处理。
当7×7像素的区域的中心像素不是W像素时，模糊校正处理部410对基于中心像素的中心位置周围的W像素的像素值设定的插补W像素值执行模糊校正处理。
也就是说，作为步骤S301的预处理，模糊校正处理部410应用来自线存储器401的输出信号中包括的白(W)像素，通过插补处理在除W像素以外的RGB像素位置处设定W像素，并且生成其中所有像素都是W像素的图像数据。模糊校正处理部410从所有像素都是W像素的图像数据中逐一顺次选择W像素，并且执行模糊校正处理。
在步骤S301中，模糊校正处理部410通过以下式子计算以要经历模糊校正的W像素为中心的7×7像素的区域的颜色比率(R(红)比率、G(绿)比率和B(蓝)比率)：
R比率＝mR/(mG+mR+mB)；
G比率＝mG/(mG+mR+mB)；以及
B比率＝mB/(mG+mR+mB)。
在以上式子中，mR表示局部区域(例如7×7像素的区域)中的R信号的低频成分，mG表示局部区域(例如7×7像素的区域)中的G信号的低频成分，并且mB表示局部区域(例如7×7像素的区域)中的B信号的低频成分。
此外，当通过以上式子计算R(红)比率、G(绿)比率和B(蓝)比率时，必须计算局部区域(例如7×7像素的区域)中的RGB信号的低频成分mR、mG和mB。
为了计算与每个颜色相对应的低频成分，模糊校正处理部410例如执行利用图24至图27中所示的低频成分计算滤波器的处理。
图24至图27中示出的与每个颜色相对应的低频成分计算滤波器是要应用于针对以要经历模糊校正的W像素(也包括插补W像素)为中心的7×7像素的来自成像元件310的输出图像数据的滤波器处理的滤波器。除了通过插补处理将所有像素设定为W像素的插补图像以外，对来自成像元件310的输出图像数据应用低频成分计算滤波器，从而计算RGB信号的低频成分mR、mG和mB。
根据7×7像素的配置不同地设定低频成分计算滤波器。
图24至图27示出了要根据以下7×7像素的每个配置选择性应用的三个滤波器：
G信号的低频成分(mG)计算滤波器；
R信号的低频成分(mR)计算滤波器；以及
B信号的低频成分(mB)计算滤波器。
图24示出了用于在以要经历模糊校正的W像素(也包括插补W像素)为中心的7×7像素的来自成像元件310的输出图像数据被如下设定时计算RGB信号的低频成分mR、mG和mB的低频成分计算滤波器的配置：
(a)当G像素位于中心像素W的左侧并且B像素位于中心像素W的右侧时要应用的低频成分计算滤波器(mR计算滤波器511、mG计算滤波器512和mB计算滤波器513)；以及
(b)当G像素位于中心像素W的左侧并且R像素位于中心像素W的右侧时要应用的低频成分计算滤波器(mR计算滤波器514、mG计算滤波器515和mB计算滤波器516)。
每个滤波器中的数值(系数)仅在要从其计算低频成分的颜色(R、G或B)的设定位置处设定。这些系数值被乘以从成像元件输入的7×7像素的相应像素位置的像素值，乘法值被相加，并且加法值被除以在每个滤波器的下部示出的值(32、25等等)，从而计算出低频成分。
图25示出了用于在以要经历模糊校正的W像素(也包括插补W像素)为中心的7×7像素的来自成像元件310的输出图像数据被如下设定时计算RGB信号的低频成分mR、mG和mB的低频成分计算滤波器的配置：
(c)当G像素位于中心像素W的右侧并且B像素位于中心像素W的上方时要应用的低频成分计算滤波器(mR计算滤波器521、mG计算滤波器522和mB计算滤波器523)；以及
(d)当G像素位于中心像素W的右侧并且R像素位于中心像素W的上方时要应用的低频成分计算滤波器(mR计算滤波器524、mG计算滤波器525和mB计算滤波器526)。
图26示出了用于在以要经历模糊校正的W像素(也包括插补W像素)为中心的7×7像素的来自成像元件310的输出图像数据被如下设定时计算RGB信号的低频成分mR、mG和mB的低频成分计算滤波器的配置：
(e)当G像素位于中心像素G的左上到右下侧的斜线上时要应用的低频成分计算滤波器(mR计算滤波器541、mG计算滤波器542和mB计算滤波器543)；以及
(f)当B像素位于中心像素G的左上到右下侧的斜线上时要应用的低频成分计算滤波器(mR计算滤波器544、mG计算滤波器545和mB计算滤波器546)。
在图26中所示的示例中，从成像元件输入的7×7像素的中心像素不是W像素。此外，在此情况下，对在所有像素中设定了W像素的上述插补图像执行模糊校正处理。
图27示出了用于在以要经历模糊校正的W像素(也包括插补W像素)为中心的7×7像素的来自成像元件310的输出图像数据被如下设定时计算RGB信号的低频成分mR、mG和mB的低频成分计算滤波器的配置：
(g)当W像素W是R像素时要应用的低频成分计算滤波器(mR计算滤波器551、mG计算滤波器552和mB计算滤波器553)；以及
(h)当W像素W是B像素时要应用的低频成分计算滤波器(mR计算滤波器561、mG计算滤波器562和mB计算滤波器563)。
在图27中所示的示例中，从成像元件输入的7×7像素的中心像素也不是W像素。此外，在此情况下，对在所有像素中设定了W像素的上述插补图像执行模糊校正处理。
在步骤S301中，模糊校正处理部410根据以要经历模糊校正的W像素为中心的7×7像素的区域的像素图样选择性地应用图24至图27中所示的低频成分计算滤波器，从而计算局部区域(例如7×7像素的区域)中的RGB信号的低频成分mR、mG和mB。
另外，利用这些颜色的低频成分，模糊校正处理部410根据以下式子计算与7×7像素的区域的中心处的要经历模糊校正的W像素(也包括插补W像素)相对应的颜色比率(R(红)比率、G(绿)比率和B(蓝)比率)：
R比率＝mR/(mG+mR+mB)；
G比率＝mG/(mG+mR+mB)；以及
B比率＝mB/(mG+mR+mB)。
接下来，在步骤S302中，模糊校正处理部410应用在步骤S301中生成的颜色比率以生成与颜色比率相对应的模糊校正滤波器。
将参考图28来描述此处理。
图28中所示的式子是与颜色比率相对应的模糊校正滤波器的生成式。
三个模糊校正滤波器，即R对应模糊校正滤波器、G对应模糊校正滤波器和B对应模糊校正滤波器，是被预先存储在图像处理装置的存储器中并相互对应的模糊校正滤波器。
这些滤波器是使得能够根据参考图19描述的每个颜色的MTF特性在与每个颜色相对应的模糊校正中执行最优处理的滤波器。
在本实施例的模糊校正处理中，要应用于W(白)像素的模糊校正滤波器是利用这些RGB对应模糊校正滤波器和在步骤S301中计算出的颜色比率也就是R(红)比率、G(绿)比率和B(蓝)比率来计算的。
具体地，如图28中所示，模糊校正处理部410根据以下式子计算W对应模糊校正滤波器Wdeblur。
Wdeblur＝(mR/(mG+mR+mB))/Rdeblur+(mG/(mG+mR+mB))/Gdeblur+(mB/(mG+mR+mB))/Bdeblur
在以上式子中，Rdeblur表示R对应模糊校正滤波器，Gdeblur表示G对应模糊校正滤波器，Bdeblur表示B对应模糊校正滤波器，mR/(mG+mR+mB)表示R(红)比率，mG/(mG+mR+mB)表示G(绿)比率，并且mB/(mG+mR+mB)表示B(蓝)比率。
如上所述，模糊校正处理部410根据以要校正的W像素为中心的预定像素区域(在本示例中是7×7像素)的颜色比率混合与每个颜色相对应的模糊校正滤波器，从而生成要应用于W(白)像素的模糊校正滤波器。
图22中所示的模糊校正处理部410可以应用在步骤S302中生成的反映了颜色比率的W(白)像素对应模糊校正滤波器，对在插补处理中生成的包括被设定为所有像素的W像素的图像数据执行模糊校正处理，生成与所有像素相对应的模糊校正W信号Wd，并将所生成的模糊校正W信号Wd输出到颜色相关重马赛克处理部(数据转换部)430。
另外，模糊校正处理部410可以与先前实施例类似地对于在步骤S302中生成的反映了颜色比率的W(白)像素对应模糊校正滤波器执行考虑了图像高度等等的滤波器生成处理，生成反映了图像高度等等以及颜色比率的W(白)像素对应模糊校正滤波器，并且利用所生成的W(白)像素对应模糊校正滤波器对通过插补处理生成的包括被设定为所有像素的W像素的图像数据执行模糊校正处理。
以下，将描述此处理示例。
在步骤S303中，模糊校正处理部410与先前实施例类似地基于在步骤S302中生成的反映了颜色比率的W(白)像素对应模糊校正滤波器执行考虑到了图像高度等等的滤波器生成处理。
步骤S303的处理与在先前实施例中描述的图5中的流程图的步骤S101的处理等同。
也就是说，步骤S303的处理是作为根据图9和图10中所示的流程图的处理来执行的。
在步骤S302中生成的反映了颜色比率的模糊校正滤波器被用作在图9的流程图的步骤S122中应用的默认滤波器。
具体地，模糊校正处理部410根据以下过程生成最终的模糊校正滤波器Ffinal。
首先，在图9的流程图的步骤S121中，模糊校正处理部410生成与根据要校正的图像的像素位置计算出的图像高度相对应的高通滤波器HPF_dist。
与图像高度相对应的高通滤波器HPF_dist是通过图10中所示的流程图的步骤S131和S132的处理生成的。
接下来，在图9中所示的流程图的步骤S122中，模糊校正处理部410基于根据图像高度r和焦点位置信息focus确定的混合系数α(focus，r)混合(1)默认滤波器和(2)坐标位置对应高通滤波器HPF_dist，从而生成(3)坐标位置对应默认滤波器Fbase。
(1)默认滤波器是在图23中所示的流程图的步骤S302中生成的反映了颜色比率的模糊校正滤波器。
在图9中所示的流程图的步骤S122中，模糊校正处理部410混合反映了颜色比率的模糊校正滤波器(默认滤波器)和在步骤S121中生成的坐标位置对应高通滤波器HPF_dist，从而生成坐标位置对应默认滤波器Fbase。
坐标位置对应默认滤波器Fbase是基于根据图像高度r和焦点位置信息focus确定的混合系数α通过以下式子来计算的。
Fbase＝(1.0-α)×(默认滤波器)+α(HPF_dist)
在以上式子中，默认滤波器是反映了颜色比率的模糊校正滤波器。
此外，混合系数α如先前实施例中所述是根据图像高度r和焦点位置信息focus确定的。
如参考图13所述，MTF特性一般在图像高度增大(与图像中心的距离增大)时劣化。特别地，由于高频区域被掩埋在噪声中，所以如图13的(b)中所示维纳滤波器的增强特性向低频区域偏移。
就此，如图13的(c)中所示，当图像高度增大(与图像中心的距离增大)时，高通滤波器的混合比率被允许减小。也就是说，优选地，混合系数α被允许较小。
可以说焦点偏移是类似的。也就是说，随着焦点偏移增大，混合系数α被允许较小。
此外，焦点偏移相当于图像处理装置(相机)特有的值，并且与每个焦点位置对应产生的偏移量是每个相机中的特有值。从而，由于可根据焦点位置信息计算焦点偏移量，所以模糊校正处理部410从图21中所示的控制块340接收焦点位置信息(参考图22)，根据预设的计算式计算焦点偏移量，并且利用焦点偏移量和从图像高度计算部402获取的图像高度r计算混合系数α(focus，r)。
另外，在图9的流程图的步骤S123中，模糊校正处理部410向在步骤S122中生成的坐标位置对应默认滤波器Fbase应用与图像高度和焦点位置相对应的幅度调整参数β(focus，r)，从而生成要实际应用于模糊校正的经历增强幅度调整的模糊校正滤波器Ffinal。
在步骤S123中生成的模糊校正滤波器Ffinal是要被实际应用到对待处理像素(x，y)的模糊校正处理的滤波器。
此外，在步骤S123中应用与图像高度和焦点位置相对应的幅度调整参数β(focus，r)的处理与参考图14至图17描述的处理等同。
也就是说，坐标位置对应默认滤波器Fbase被频带分离成DC成分和AC成分以获得两个滤波器，AC成分被乘以增强幅度(增强幅度调整参数β)，并且合成处理被执行以将乘法结果与DC成分的每个相应系数相加，从而生成经历增强幅度调整的最终模糊校正滤波器Ffinal。
此外，与上述的混合系数α类似，增强幅度调整参数β是根据图像高度r和焦点位置信息focus确定的。如参考图17所述，当图像高度增大(与图像中心的距离增大)时，增强幅度调整参数β被允许增大。随着焦点偏移变大，增强幅度调整参数β被允许增大。
如上所述，模糊校正处理部410通过使用在图23中所示的流程图的步骤S302中生成的颜色比率对应模糊校正滤波器作为图9中所示的流程图的步骤S122中的默认滤波器来执行根据图9中所示的流程图的处理，从而生成最终的模糊校正滤波器Ffinal。
最终模糊校正滤波器Ffinal是在图23中所示的流程图的步骤S303中要生成的模糊校正滤波器。
在步骤S304中，判定要经历模糊校正的像素是否饱和。
具体地，要经历模糊校正的像素的饱和由图22中所示的饱和检测部403检测，并且检测信息被输入到模糊校正处理部410。
当要经历模糊校正的像素已饱和时，如果执行模糊校正，则有可能产生伪色。这是因为模糊校正处理包括如在先前实施例中参考图6和图7所述参考要经历模糊校正的像素周围的像素的像素值设定待校正像素的像素值的处理。
为了防止产生伪色，当如图7中所示在要经历模糊校正的像素的周围例如以待校正像素为中心的7×7像素包括饱和像素时，不对待校正像素执行模糊校正。
如上所述，图22中所示的模糊校正处理部410执行根据饱和检测部403中的饱和像素(高光)区域的检测信息利用没有模糊校正处理的信号替换饱和像素区域的处理。
饱和检测部403例如判定以要经历模糊校正处理的像素为中心的7×7像素的区域的像素是否不超过预定的阈值。如果7×7像素的区域的至少一个像素超过阈值，则由于很有可能产生伪色，所以模糊校正处理部410执行利用没有校正处理的信号替换该像素区域的处理。
此处理对应于当图23中的所示的流程图的步骤S304的判定是“是”时的处理。在此情况下，执行步骤S307，而不执行步骤S305和S306。
也就是说，不执行对待处理像素(7×7像素的中心像素)的模糊校正处理。
当以要经历模糊校正处理的像素为中心的7×7像素的区域中没有像素超过预定阈值并且没有执行饱和检测时，步骤S304的判定是“否”并且在步骤S305中执行利用滤波器的模糊校正处理。
此模糊校正处理是由图22中所示的模糊校正处理部410执行的处理，并且是利用在步骤S303中根据颜色比率、图像高度等等生成的模糊校正滤波器来执行的。
接下来，在步骤S306中执行边缘检测处理。
此处理是由图22中所示的边缘检测部421执行的。边缘检测部421验证来自线存储器401的输出信号，并且生成图像中包括的边缘信息，例如包括边缘方向和边缘幅度的边缘信息。
具体地，如上所述，例如，边缘检测部421计算根据以待处理像素(7×7像素的中心像素)为中心的7×7像素的像素信息计算出的平坦度weightFlat，并将平坦度weightFlat输出到颜色相关重马赛克处理部(数据转换部)430。
平坦度weightFlat如图8中所示具有0到1的范围内的值，并且是指示图像状态的平坦度的指标值，其中平坦度在其接近1时较低(多纹理)，并且平坦度在其接近0时较高(少纹理)。
如图8中所示，如下利用两个预设阈值Limit0和Limit1来计算平坦度weightFlat：
如果0≤(ratioFlat)＜Limit0，则平坦度(weightFlat)＝0；
如果Limit0≤(ratioFlat)＜Limit1，则平坦度(weightFlat)＝0到1；并且
如果Limit1≤(ratioFlat)，则平坦度(weightFlat)＝1。
边缘检测部421例如将关于平坦度weightFlat的信息作为边缘信息输出到颜色相关重马赛克处理部430。
此外，如上所述，由于平坦度weightFlat计算处理可按与作为本申请人的优先权申请的2011-55038号日本未审查专利申请公布中公开的处理相同的处理执行，所以平坦度weightFlat计算处理的细节可在2011-55038号日本未审查专利申请公布中找到。
接下来，在步骤S307中，执行颜色相关重马赛克处理。
颜色相关重马赛克处理是由图22的颜色相关重马赛克处理部(数据转换部)430执行的。
颜色相关重马赛克处理部430执行从RGBW颜色阵列到RGB阵列的转换处理。
具体地，如参考图20所述，颜色相关重马赛克处理部430执行以下五个转换或校正处理：
将W像素位置转换到G像素(估计G像素值)＝(GonW)；
将G像素位置转换到R像素(估计R像素值)＝(RonG)；
将G像素位置转换到B像素(估计B像素值)＝(BonG)；
将R像素位置转换到R像素(校正R像素值)＝(RonR)；以及
将B像素位置转换到B像素(校正B像素值)＝(BonB)。
假设在W信号(RGBW阵列中的亮度的主成分)与G、R和B信号(颜色成分)之间存在正相关，则颜色相关重马赛克处理部430估计要对RGBW阵列的每个像素设定的RGB的目标像素值。
如图22中所示，颜色相关重马赛克处理部430包括W位置G插补参数计算部431、G位置RB插补参数计算部432、R位置R插补参数计算部433、B位置B插补参数计算部434和加权加法部435。
首先，将描述用于将RGBW阵列的W像素位置转换到RGB阵列的G像素(估计G像素值)的W位置G插补参数计算部431的处理。
W位置G插补参数计算部431计算要应用到要对RGBW阵列的W像素位置设定的G像素值的计算的插补参数。该插补参数是要应用到GonW的处理的插补参数。
具体地，利用来自线存储器401的输出信号的Win和Gin信号和从模糊校正处理部410输入的模糊校正W信号Wd，W位置G插补参数计算部431计算有模糊校正的G信号(Gd)和没有模糊校正的G信号(G1)的信号值。
这些信号值相当于要应用到用于在RGBW阵列的W像素位置处设定RGB阵列的G像素的G像素值计算的插补参数(GonW插补参数)。
此外，颜色相关重马赛克处理部430还通过将7×7像素的区域设定为处理单位来执行处理。首先，W位置G插补参数计算部431计算作为处理单位的7×7像素的区域中G信号相对于W信号的比率。
具体地，W位置G插补参数计算部431把要被转换成G像素的W像素是中心像素的7×7像素的区域设定为处理单位，并且计算W信号和G信号的低频成分mW和mG。
具体地，W位置G插补参数计算部431可以利用如参考图27所述的计算低频成分的滤波器来计算低频成分。用于计算低频成分mW的mW维纳滤波器601的示例在图29的(1)中示出。
W位置G插补参数计算部431将7×7像素的输入信号的以待转换像素的W像素位置为中心的7×7像素的W像素的值乘以mW维纳滤波器601的相应像素位置的滤波器系数，从而计算出乘法结果的加法值作为W信号的低频成分mW。由于图29的(1)中所示的滤波器系数是示例，所以可使用其他系数。
假设在图像的局部区域中保持计算出的G信号相对于W信号的比率。基于此假设，局部区域中的W和G像素值的比率的对应关系如图30中所示的图线所指示。在图30的图线中，水平轴表示W像素值，并且垂直轴表示G像素值。在图像的特定狭窄局部区域中，如果假设W和G像素值的比率恒定，则可以假设如图30中所示在W像素值和G像素值之间存在正比例关系。
基于此假设，利用从模糊校正处理部410输出的待校正像素的位置处的模糊校正白(W)信号Wd，W位置G插补参数计算部431通过以下式子计算有模糊校正的G信号(Gd)。
Gd＝(mG/mW)×Wd
信号Gd是包括高频成分的G信号。
至此，已描述了假设W和G像素值的比率恒定的估计技术作为示例。然而，可以使用其他利用W和G像素值的相关性的技术。
如上所述，W位置G插补参数计算部431计算有模糊校正的G信号(Gd)和没有模糊校正的G信号(G1)的值作为要应用到对在RGBW阵列的W像素位置处要设定的G像素值的计算的插补参数。加权加法部435根据待转换图像的边缘信息对两个信号Gd和G1执行混合处理，从而确定最终的G像素值。
将描述对没有模糊校正的G信号(G1)的计算处理。在计算没有模糊校正的G信号(G1)时，W位置G插补参数计算部431利用图29的(2)中所示的作为平滑滤波器的Wn计算滤波器602计算没有噪声的W信号Wn。
W位置G插补参数计算部431将7×7像素的输入信号501的以待转换像素502的W像素位置为中心的九个像素的W像素的值乘以Wn计算滤波器602的相应像素位置的滤波器系数，从而计算出乘法结果的加法值作为W信号的噪声去除白(W)信号Wn。由于图29的(2)中所示的滤波器系数是示例，所以可使用其他系数。另外，可使用比九个像素更宽的区域。另外，为了降低运算成本，可按原样使用从线存储器401输入的W信号。
利用噪声去除白(W)信号Wn以及W信号和G信号的低频成分mW和mG，W位置G插补参数计算部431通过以下式子计算没有模糊校正的G信号(G1)：
G1＝(mG/mW)×Wn
信号G1不是被应用了模糊校正信号Wd的信号，并且相当于没有强调高频成分的G信号。
至此，描述了假设W和G像素值的比率恒定的估计技术作为示例。然而，可使用其他利用W和G像素值的相关性的技术。
加权加法部435根据待转换图像的边缘信息对两个信号Gd和G1执行混合处理，从而确定最终的G像素值。具体地，由于有模糊校正的G信号(Gd)在纹理度较高的边缘部分而不是平坦部分较高，所以加权加法部435执行在平坦部分增大没有模糊校正的G信号(G1)的比率的混合处理，从而确定最终的G像素值。
G位置RB插补参数计算部432计算要应用于将G像素位置转换到R像素(估计R像素值)＝(RonW)和将G像素位置转换到B像素(估计B像素值)＝(BonG)的处理的插补参数。
具体地，G位置RB插补参数计算部432计算有模糊校正的R信号(Rd)、没有模糊校正的R信号(R1)、有模糊校正的B信号(Bd)和没有模糊校正的B信号(B1)的值。
这些信号值相当于要应用到用于在RGBW阵列的G像素位置处设定RGB阵列的R或B像素值的R或B像素值计算的插补参数(RonG插补参数和BonG插补参数)。
与W位置G插补参数计算部431的处理类似，这些信号值的计算处理是作为计算每个信号的低频成分mW、mR和mB并且利用从模糊校正处理部410输出的待转换像素的位置的模糊校正白(W)信号Wd计算以下的值的处理来执行的：
有模糊校正的R信号(Rd)；
有模糊校正的B信号(Bd)；
没有模糊校正的R信号(R1)；以及
没有模糊校正的B信号(B1)。
G位置RB插补参数计算部432通过以下式子计算这些信号：
Rd＝(mR/mW)×Wd；
Bd＝(mB/mW)×Wd；
R1＝(mR/mW)×Wn；以及
B1＝(mB/mW)×Wn。
在以上式子中，信号Rd和Bd包括高频成分，并且信号R1和B1不是被应用了模糊校正信号Wd的信号并且相当于没有强调高频成分的信号。
至此，已描述了假设W像素值和G或B像素值的比率恒定的估计技术作为示例。然而，可以使用其他利用W像素值和G或B像素值的相关性的技术。
接下来，将描述作为用于将RGBW阵列的R像素位置转换到RGB阵列的R像素(估计R像素值)的插补参数计算部的R位置R插补参数计算部433和B位置B插补参数计算部434的处理。
由于RGBW阵列的R像素位置对应于RGB阵列(拜耳阵列)的R像素位置，所以可以按原样使用R信号。
类似地，由于RGBW阵列的B像素位置对应于RGB阵列(拜耳阵列)的B像素位置，所以可以按原样使用B信号。
然而，关于此信息，高频信号可能由于光学镜头的像差的影响而丢失。在此情况下，要对G像素位置设定的R信号和B信号的特性有可能是相互不同的。
为了防止特性之间的差异的发生，R位置R插补参数计算部433利用输入信号中包括的W信号和R信号计算用于校正R信号的参数。具体地，R位置R插补参数计算部433计算有模糊校正的R信号(Rd)和没有模糊校正的R信号(R1)的值。
这些信号值相当于要应用到用于在RGBW阵列的R像素位置处设定RGB阵列的经校正的R像素的R像素值计算的插补参数(RonR插补参数)。
与上述的其他插补参数计算部类似，R位置R插补参数计算部433计算W信号的低频成分mW、R信号的低频成分mR和W信号的噪声去除白(W)信号Wn。
另外，利用这些信号，R位置R插补参数计算部433通过以下式子计算有模糊校正的R信号(Rd)和没有模糊校正的R信号(R1)：
Rd＝(mR/mW)×Wd；以及
R1＝(mR/mW)×Wn。
至此，已描述了假设W像素值和G或B像素值的比率恒定的估计技术作为示例。然而，可以使用其他利用W像素值和G或B像素值的相关性的技术。
与上述的其他插补参数计算部类似，B位置B插补参数计算部434计算W信号的低频成分mW、B信号的低频成分mB和W信号的噪声去除白(W)信号Wn。
另外，利用这些信号，B位置B插补参数计算部434通过以下式子计算有模糊校正的B信号(Bd)和没有模糊校正的B信号(B1)：
Bd＝(mB/mW)×Wd；以及
B1＝(mB/mW)×Wn。
至此，已描述了假设W像素值和G或B像素值的比率恒定的估计技术作为示例。然而，可以使用其他利用W像素值和G或B像素值的相关性的技术。
如上所述，W位置G插补参数计算部431、G位置RB插补参数计算部432、R位置R插补参数计算部433和B位置B插补参数计算部434中的每一个计算有模糊校正的G、R和B信号(Gd、Rd和Bd)以及没有模糊校正的G、R和B信号(G1、R1和B1)。
接下来，将描述加权加法部435的处理。
加权加法部435利用从边缘检测部421输入的边缘信息计算有模糊校正的信号(Gd、Rd和Bd)和没有模糊校正的信号(G1、R1和B1)的加权平均值Gr、Rr和Br。加权加法部435计算出的Gr、Rr和Br对应于构成图21中所示的RGB阵列(拜耳阵列)382的像素的RGB信号值。
在W位置G插补参数计算部431、G位置RB插补参数计算部432、R位置R插补参数计算部433和B位置B插补参数计算部434的每一个中，Gd、Rd和Bd是利用模糊校正W信号Wd计算的，模糊校正W信号Wd是由模糊校正处理部410作为经历模糊校正处理的W信号生成的。另外，如果Gd、Rd和Bd包括高频成分，则Gd、Rd和Bd的噪声也同时被放大。
同时，G1、R1和B1是根据未经历模糊校正处理的W信号计算出的信号，并且不包括高频成分，但包括少量噪声。
加权加法部435根据待转换像素的边缘信息确定有模糊校正的信号(Gd、Rd和Bd)和没有模糊校正的信号(G1、R1和B1)的混合比率并且执行混合处理，从而确定最终的G、R和B像素值。具体地，由于有模糊校正的信号(Gd、Rd和Bd)的比率在纹理度较高的边缘部分而不是平坦部分较高，所以加权加法部435执行在平坦部分增大没有模糊校正的信号(G1、R1和B1)的比率的混合处理，从而确定最终的G、R和B像素值。
优选地，在边缘附近存在具有恢复的高频成分的锐利信号。然而，由于在平坦部分原本不包括高频成分，所以优选存在被抑制了噪声的信号。
就此，加权加法部435根据由边缘检测部421计算出的待处理像素的边缘信息，也就是平坦度weightFlat，通过以下式子对有模糊校正的信号(Gd、Rd和Bd)和没有模糊校正的信号(G1、R1和B1)执行加权平均处理，从而计算出要对RGB阵列382设定的像素值Gr、Rr和Br。
Gr＝(weightFlat)×(Gd)+(1-weightFlat)×G1
Br＝(weightFlat)×(Bd)+(1-weightFlat)×B1
Rr＝(weightFlat)×(Rd)+(1-weightFlat)×R1
加权加法部435将作为这些式子的计算结果获得的Gr、Rr和Br作为RGB阵列382的信号输出到RGB信号处理单元450。通过此处理，可以在抑制噪声的放大的同时获得具有高分辨率的信号Gr、Rr和Br。
然而，如上所述，当从预定单位的像素区域例如以要经历模糊校正处理的像素为中心的7×7像素的区域中检测到饱和像素时，由于不对该像素执行模糊校正，所以输出没有模糊校正的信号(G1、R1和B1)。
最后，在步骤S308中，判定是否已完全处理了所有输入像素。当存在未处理像素时，对未处理像素重复执行步骤S301至步骤S307的处理。
在步骤S308中，当判定已完全处理了所有输入像素时，图像信号校正单元400的处理结束。
包括由加权加法部435生成的Gr、Rr和Br的RGB阵列(拜耳阵列)382如图21和图22中所示被提供给RGB信号处理单元450。
此外，如上所述，颜色相关重马赛克处理部(数据转换部)430执行的从RGBW阵列到RGB阵列的数据转换处理可基本上使用作为本申请人的优先权申请的2011-55038号日本未审查专利申请公布中公开的处理。数据转换处理的细节可在2011-55038号日本未审查专利申请公布中找到。
RGB信号处理单元450等同于一般相机或图像处理装置中包括的对RGB阵列(拜耳阵列)的信号处理单元。RGB信号处理单元450对从加权加法部435输出的RGB阵列(拜耳阵列)382执行信号处理，从而生成颜色图像383(参考图21)。具体地，RGB信号处理单元450例如执行白平衡处理、去马赛克处理、浓淡处理、RGB颜色矩阵处理、γ校正处理等等，从而生成颜色图像383。
此外，在上述实施例中，描述了对于图20的(1)中所示的RGB阵列的处理示例。然而，本公开的处理不限于颜色阵列。例如，本公开的处理可应用到设有如下滤波器的成像元件的拍摄数据：该滤波器具有各种颜色阵列，包括与颜色信号相比具有高采样率的W像素。
另外，在上述实施例中，描述了如下示例，即，要应用到图22中所示的流程图的S305中的模糊校正处理的模糊校正滤波器基于图22中所示的流程图的步骤S302中生成的颜色比率反映滤波器用作步骤S303中考虑图像高度等等改变的滤波器。
然而，例如，要应用到图22中所示的流程图的S305中的模糊校正处理的模糊校正滤波器可以是在图22中所示的流程图的步骤S302中生成的颜色比率反映滤波器。也就是说，可以省略步骤S303的处理。
另外，即使当执行步骤S302和S303时，与上述的第一实施例类似，例如，可以省略作为步骤S303的滤波器生成处理的详细流程图的图9中所示的流程图的步骤S123，并且可以应用在步骤S122中基于混合系数α(focus，r)生成的坐标位置对应默认滤波器Fbase作为最终的模糊校正滤波器。
或者，可以省略图9中所示的流程图的步骤S121或步骤S122，并且可以只通过步骤S123的处理生成模糊校正滤波器。也就是说，在步骤S302中生成的颜色比率反映滤波器可被用作默认滤波器，并且通过图9中所示的流程图的步骤S123的处理(也就是参考图14和图15描述的频带分离处理、利用增强幅度调整参数β(focus，r)对AC成分的幅度调整和再合成处理)获得的滤波器可被应用到模糊校正。
另外，在以上实施例中，描述了利用图像高度r和焦点位置信息focus确定混合系数α或增强幅度调整参数β的配置示例。然而，可以仅依据图像高度r确定混合系数α或增强幅度调整参数β。或者，可以仅依据焦点位置信息focus确定混合系数α或增强幅度调整参数β。另外，可以在考虑到例如变焦位置等等之类的其他参数的情况下确定混合系数d或增强幅度调整参数β。
[6.本公开的配置的总结]
至此，已参考具体实施例详细描述了本公开的实施例。然而，应当注意，在不脱离本公开的范围的情况下，本领域的技术人员将清楚各种修改和替换实施例。也就是说，应当注意本公开是通过实施例来公开的，并且不是以受这些实施例限制的方式来解释的。为了确定本公开的范围，必须考虑权利要求的范围。
注意，本技术也可如下配置。
(1)一种图像处理装置，包括用于对图像执行模糊校正处理的图像信号校正单元，
其中，所述图像信号校正单元包括模糊校正处理部，该模糊校正处理部被配置为利用根据要经历模糊校正的像素的图像高度确定的混合系数对默认滤波器和根据所述要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器执行混合处理，并且利用通过该混合处理生成的滤波器执行模糊校正处理。
(2)根据(1)所述的图像处理装置，其中，所述模糊校正处理部利用根据所述要经历模糊校正的像素的图像高度和焦点位置信息确定的混合系数对所述默认滤波器和所述坐标位置对应高通滤波器执行混合处理，并且利用通过该混合处理生成的滤波器执行模糊校正处理。
(3)根据(1)或(2)所述的图像处理装置，其中，所述模糊校正处理部执行在图像高度随着要经历模糊校正的像素的像素位置变得更远离图像中心而增大时减小所述坐标位置对应高通滤波器的混合比率的混合处理。
(4)根据(1)至(3)的任何一项所述的图像处理装置，其中，所述模糊校正处理部根据要经历模糊校正的像素的像素位置混合x方向调整用高通滤波器HPF_x、y方向调整用高通滤波器HPF_y和与视角中心位置[(x，y)＝(0，0)]相对应的中心滤波器HPF_center，从而生成所述坐标位置对应高通滤波器，其中所述高通滤波器HPF_x和所述高通滤波器HPF_y被预先保存在存储器中。
(5)根据(1)至(4)的任何一项所述的图像处理装置，其中，所述模糊校正处理部通过根据要经历模糊校正的像素的图像高度对所述坐标位置对应高通滤波器执行增强幅度调整来生成幅度调整滤波器，并且利用该幅度调整滤波器执行模糊校正处理。
(6)根据(1)至(4)的任何一项所述的图像处理装置，其中，所述模糊校正处理部将所述坐标位置对应高通滤波器分离成DC成分和AC成分，利用与要经历模糊校正的像素的图像高度相对应的幅度调整参数对所述AC成分执行调整处理，并且将所述DC成分与已被执行了所述调整处理的AC成分再合成，从而生成所述幅度调整滤波器。
(7)根据(1)至(6)的任何一项所述的图像处理装置，其中，所述模糊校正处理部利用要经历模糊校正的像素的图像高度和与焦点位置信息对应的幅度调整参数对所述坐标位置对应高通滤波器执行增强幅度调整，从而生成所述幅度调整滤波器。
(8)根据(1)至(7)的任何一项所述的图像处理装置，其中，所述图像信号校正单元还包括：
边缘检测部，该边缘检测部被配置为检测图像的边缘信息；以及
混合处理部，该混合处理部被配置为输出图像信号校正结果，
其中，所述混合处理部接收从所述边缘检测部输出的边缘信息、由所述模糊校正处理部通过模糊校正处理生成的经模糊校正的信号和执行模糊校正处理前的没有模糊校正的信号，并且按照根据所述边缘信息确定的混合比率对所述经模糊校正的信号和所述没有模糊校正的信号执行混合处理，从而生成输出信号。
(9)根据(1)至(8)的任何一项所述的图像处理装置，其中，所述图像信号校正单元被配置为对具有包括RGB像素和W(白)像素的RGBW阵列的成像元件的输出信号执行模糊校正处理，并且在对要校正的W像素信号的模糊校正处理时，所述图像信号校正单元生成反映了包括该W像素信号的局部区域的颜色比率的颜色比率反映模糊校正滤波器，并且利用该颜色比率反映模糊校正滤波器执行模糊校正处理。
(10)根据(1)至(9)的任何一项所述的图像处理装置，其中，所述模糊校正处理部通过利用所述成像元件的输出信号中包括的W像素信号的插补处理生成具有与所有像素相对应的W像素信号的插补图像，对构成所生成的插补图像的每个W像素生成所述颜色比率反映模糊校正滤波器，并且利用该颜色比率反映模糊校正滤波器执行模糊校正处理。
(11)根据(1)至(10)的任何一项所述的图像处理装置，其中，所述模糊校正处理部计算所述局部区域的RGB颜色的低频成分，并且将计算出的RGB颜色的低频成分的值的比率设定为所述局部区域的颜色比率。
(12)根据(1)至(11)的任何一项所述的图像处理装置，其中，所述模糊校正处理部按照根据所述局部区域的RGB颜色比率确定的混合比率混合预先保存在存储器中的R对应模糊校正滤波器、G对应模糊校正滤波器、B对应模糊校正滤波器，从而生成所述颜色比率反映模糊校正滤波器。
(13)根据(1)至(12)的任何一项所述的图像处理装置，其中，所述图像信号校正单元包括：
饱和检测部，该饱和检测部被配置为检测在包括具有要经历模糊校正的像素的多个像素的局部区域中是否包括饱和像素，
其中，所述模糊校正处理部接收来自所述饱和检测部的检测信息，在所述局部区域中包括饱和像素时不对所述要经历模糊校正的像素执行模糊校正，并且仅在所述局部区域中不包括饱和像素时对所述要经历模糊校正的像素执行模糊校正。
(14)一种图像处理装置，包括用于对图像执行模糊校正处理的图像信号校正单元，
其中，所述图像信号校正单元将用于模糊校正的滤波器分离成DC成分和AC成分，利用根据要经历模糊校正的像素的图像高度计算的幅度调整参数对所述AC成分执行幅度调整，将所述DC成分与被执行了幅度调整的AC成分再合成以生成幅度调整滤波器，并且利用该幅度调整滤波器执行模糊校正。
此外，本公开的配置包括在执行在上述装置和系统中要执行的处理的方法、允许执行该处理的程序和记录该程序的记录介质中。
另外，本说明书中描述的一系列处理可用硬件、软件或其复合配置来执行。当用软件来执行处理时，记录处理序列的程序可在被安装在嵌入于专用硬件中的计算机中的存储器中之后被执行，或者程序可在被安装在能够执行各种处理的通用计算机中之后被执行。例如，程序可被预先记录在记录介质上。除了从记录介质安装到计算机以外，程序也可通过诸如局域网(LAN)或因特网之类的网络被接收，并可被安装在诸如嵌入式硬盘之类的记录介质上。
此外，本说明书中描述的各种处理不仅可根据描述按时序执行，而且也可根据用于执行处理的装置的处理能力或者根据需要以并行或单独方式执行。另外，本说明书中的系统相当于多个装置的逻辑聚集配置，并且每个配置的装置不一定在同一壳体中。
如上所述，根据本公开的实施例的配置，实现了用于根据构成图像的每个像素的图像高度等等执行最优模糊校正处理的装置和方法。
具体地，该装置包括用于对图像执行模糊校正处理的图像信号校正单元，其中，图像信号校正单元利用与要经历模糊校正的像素的图像高度相对应的混合系数混合默认滤波器和根据要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器，并且利用通过该混合处理生成的滤波器执行模糊校正。例如，当随着要经历模糊校正的像素的像素位置更远离图像中心，图像高度增大时，图像信号校正单元执行减小坐标位置对应高通滤波器的混合比率的混合处理。或者，图像信号校正单元生成被根据图像高度执行了幅度调整的幅度调整模糊校正滤波器，并执行模糊校正。
通过这些处理，实现了根据构成图像的每个像素的图像高度等等的最优模糊校正处理。
本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。
本公开包含与2011年9月6日向日本专利局提交的日本优先权专利申请JP 2011-194417和2011年9月6日向日本专利局提交的日本优先权专利申请JP 2011-194418中公开的主题相关的主题，特此通过引用将这些申请的全部内容并入。

Claims (22)

1.一种图像处理装置，包括用于对图像执行模糊校正处理的图像信号校正单元，
其中，所述图像信号校正单元包括模糊校正处理部，该模糊校正处理部被配置为利用根据要经历模糊校正的像素的图像高度确定的混合系数对默认滤波器和根据所述要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器执行混合处理，并且利用通过该混合处理生成的滤波器执行模糊校正处理。
2.根据权利要求1所述的图像处理装置，其中，所述模糊校正处理部利用根据所述要经历模糊校正的像素的图像高度和焦点位置信息确定的混合系数对所述默认滤波器和所述坐标位置对应高通滤波器执行混合处理，并且利用通过该混合处理生成的滤波器执行模糊校正处理。
3.根据权利要求1所述的图像处理装置，其中，所述模糊校正处理部执行如下混合处理：在图像高度随着要经历模糊校正的像素的像素位置变得更远离图像中心而增大时减小所述坐标位置对应高通滤波器的混合比率。
4.根据权利要求1所述的图像处理装置，其中，所述模糊校正处理部根据要经历模糊校正的像素的像素位置来混合x方向调整用高通滤波器HPF_x、y方向调整用高通滤波器HPF_y和与视角中心位置[(x，y)＝(0，0)]相对应的中心滤波器HPF_center，从而生成所述坐标位置对应高通滤波器，其中所述高通滤波器HPF_x和所述高通滤波器HPF_y被预先保存在存储器中。
5.根据权利要求1所述的图像处理装置，其中，所述模糊校正处理部通过根据要经历模糊校正的像素的图像高度对所述坐标位置对应高通滤波器执行增强幅度调整来生成幅度调整滤波器，并且利用该幅度调整滤波器执行模糊校正处理。
6.根据权利要求5所述的图像处理装置，其中，所述模糊校正处理部将所述坐标位置对应高通滤波器分离成DC成分和AC成分，利用与要经历模糊校正的像素的图像高度相对应的幅度调整参数对所述AC成分执行调整处理，并且将所述DC成分与已被执行了所述调整处理的AC成分再合成，从而生成所述幅度调整滤波器。
7.根据权利要求5所述的图像处理装置，其中，所述模糊校正处理部利用要经历模糊校正的像素的图像高度和与焦点位置信息对应的幅度调整参数对所述坐标位置对应高通滤波器执行增强幅度调整，从而生成所述幅度调整滤波器。
8.根据权利要求1所述的图像处理装置，其中，所述图像信号校正单元还包括：
边缘检测部，该边缘检测部被配置为检测图像的边缘信息；以及
混合处理部，该混合处理部被配置为输出图像信号校正结果，
其中，所述混合处理部接收从所述边缘检测部输出的边缘信息、由所述模糊校正处理部通过模糊校正处理生成的经模糊校正的信号和执行模糊校正处理前的没有模糊校正的信号，并且按照根据所述边缘信息确定的混合比率对所述经模糊校正的信号和所述没有模糊校正的信号执行混合处理，从而生成输出信号。
9.根据权利要求1所述的图像处理装置，其中，所述图像信号校正单元被配置为对具有包括RGB像素和白W像素的RGBW阵列的成像元件的输出信号执行模糊校正处理，并且在对要校正的W像素信号的模糊校正处理时，所述图像信号校正单元生成反映了包括该W像素信号的局部区域的颜色比率的颜色比率反映模糊校正滤波器，并且利用该颜色比率反映模糊校正滤波器执行模糊校正处理。
10.根据权利要求9所述的图像处理装置，其中，所述模糊校正处理部通过利用所述成像元件的输出信号中包括的W像素信号的插补处理生成具有与所有像素相对应的W像素信号的插补图像，对构成所生成的插补图像的每个W像素生成所述颜色比率反映模糊校正滤波器，并且利用该颜色比率反映模糊校正滤波器执行模糊校正处理。
11.根据权利要求9所述的图像处理装置，其中，所述模糊校正处理部计算所述局部区域的RGB颜色的低频成分，并且将计算出的RGB颜色的低频成分的值的比率设定为所述局部区域的颜色比率。
12.根据权利要求9所述的图像处理装置，其中，所述模糊校正处理部按照根据所述局部区域的RGB颜色比率确定的混合比率混合预先保存在存储器中的R对应模糊校正滤波器、G对应模糊校正滤波器、B对应模糊校正滤波器，从而生成所述颜色比率反映模糊校正滤波器。
13.根据权利要求1所述的图像处理装置，其中，所述图像信号校正单元包括：
饱和检测部，该饱和检测部被配置为检测在包括具有要经历模糊校正的像素的多个像素的局部区域中是否包括饱和像素，
其中，所述模糊校正处理部接收来自所述饱和检测部的检测信息，在所述局部区域中包括饱和像素时不对所述要经历模糊校正的像素执行模糊校正，并且仅在所述局部区域中不包括饱和像素时对所述要经历模糊校正的像素执行模糊校正。
14.一种图像处理装置，包括用于对图像执行模糊校正处理的图像信号校正单元，
其中，所述图像信号校正单元将用于模糊校正的滤波器分离成DC成分和AC成分，利用根据要经历模糊校正的像素的图像高度计算的幅度调整参数对所述AC成分执行幅度调整，将所述DC成分与被执行了幅度调整的AC成分再合成以生成幅度调整滤波器，并且利用该幅度调整滤波器执行模糊校正。
15.一种利用图像处理装置对图像执行模糊校正处理的图像处理方法，包括：
利用图像信号校正单元，执行如下混合处理，并且利用通过该混合处理生成的滤波器执行所述模糊校正处理，所述混合处理用于按照根据要经历模糊校正的像素的图像高度确定的混合比率来混合默认滤波器和根据所述要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器。
16.一种利用图像处理装置对图像执行模糊校正处理的图像处理方法，包括：
利用图像信号校正单元，将用于模糊校正的滤波器分离成DC成分和AC成分，利用根据要经历模糊校正的像素的图像高度计算的幅度调整参数对所述AC成分执行幅度调整，将所述DC成分与被执行了幅度调整的AC成分再合成以生成幅度调整滤波器，并且利用该幅度调整滤波器执行模糊校正。
17.一种用于使得在图像处理装置中执行对图像的模糊校正处理的程序，
其中，所述程序使得图像信号校正单元执行
混合处理，该混合处理用于按照根据要经历模糊校正的像素的图像高度确定的混合比率来混合默认滤波器和根据所述要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器，以及
利用通过该混合处理生成的滤波器的模糊校正处理。
18.一种记录介质，其上记录了用于使得在图像处理装置中执行对图像的模糊校正处理的程序，
其中，所述记录介质上记录了用于使得图像信号校正单元执行以下处理的程序
混合处理，该混合处理用于按照根据要经历模糊校正的像素的图像高度确定的混合比率来混合默认滤波器和根据所述要经历模糊校正的像素的图像高度生成的坐标位置对应高通滤波器，以及
利用通过该混合处理生成的滤波器的模糊校正处理。
19.一种图像处理装置，包括模糊校正处理部，该模糊校正处理部被配置为对具有包括RGB像素和白W像素的RGBW阵列的成像元件的输出信号执行模糊校正处理，
其中，在对要校正的W像素信号的模糊校正处理时，所述模糊校正处理部生成反映了包括该W像素信号的局部区域的颜色比率的颜色比率反映模糊校正滤波器，并且利用该颜色比率反映模糊校正滤波器执行所述模糊校正处理。
20.根据权利要求19所述的图像处理装置，其中，所述模糊校正处理部通过利用所述成像元件的输出信号中包括的W像素信号的插补处理生成具有与所有像素相对应的W像素信号的插补图像，对构成所生成的插补图像的每个W像素生成所述颜色比率反映模糊校正滤波器，并且利用该颜色比率反映模糊校正滤波器执行模糊校正处理。
21.根据权利要求19所述的图像处理装置，其中，所述模糊校正处理部计算所述局部区域的RGB颜色的低频成分，并且将计算出的RGB颜色的低频成分的值的比率设定为所述局部区域的颜色比率。
22.一种利用图像处理装置对图像执行模糊校正处理的图像处理方法，该图像处理方法包括：
利用模糊校正处理部对具有包括RGB像素和白W像素的RGBW阵列的成像元件的输出信号执行模糊校正处理，
其中，在模糊校正处理步骤中，在对要校正的W像素信号的模糊校正处理时，生成反映了包括该W像素信号的局部区域的颜色比率的颜色比率反映模糊校正滤波器，并且执行利用该颜色比率反映模糊校正滤波器的模糊校正处理。
CN2012103231390A 2011-09-06 2012-08-30 图像处理装置、图像处理方法、信息记录介质和程序 Pending CN102984527A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-194417 2011-09-06
JP2011194418A JP2013055623A (ja) 2011-09-06 2011-09-06 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2011194417A JP2013055622A (ja) 2011-09-06 2011-09-06 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2011-194418 2011-09-06

Publications (1)

Publication Number Publication Date
CN102984527A true CN102984527A (zh) 2013-03-20

Family

ID=47752874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103231390A Pending CN102984527A (zh) 2011-09-06 2012-08-30 图像处理装置、图像处理方法、信息记录介质和程序

Country Status (2)

Country Link
US (1) US8837853B2 (zh)
CN (1) CN102984527A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427321A (zh) * 2013-08-26 2015-03-18 佳能株式会社 图像处理装置及其控制方法
CN104485064A (zh) * 2014-12-31 2015-04-01 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
CN110211191A (zh) * 2019-05-31 2019-09-06 广州市雅江光电设备有限公司 一种混合颜色校正方法、装置、终端设置及可读存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289309B1 (en) * 2001-08-31 2010-04-21 STMicroelectronics Srl Noise filter for Bayer pattern image data
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP2012008424A (ja) * 2010-06-28 2012-01-12 Olympus Corp 撮像システム
WO2013025219A1 (en) * 2011-08-18 2013-02-21 Hewlett-Packard Development Company, L.P. Creating a blended image
US8837853B2 (en) * 2011-09-06 2014-09-16 Sony Corporation Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
JP6104010B2 (ja) * 2013-03-26 2017-03-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6188448B2 (ja) * 2013-06-26 2017-08-30 オリンパス株式会社 画像処理装置
US9652833B2 (en) * 2014-03-18 2017-05-16 Honeywell International, Inc. Point spread function estimation for motion invariant images
US9948399B2 (en) 2015-01-09 2018-04-17 Time Warner Cable Enterprises Llc Methods and apparatus for removing beat interference from splitters/combiners
US9674591B2 (en) 2015-06-08 2017-06-06 Time Warner Cable Enterprises Llc Methods and apparatus for asymmetric distribution of mixed content via a network
WO2017072760A1 (en) 2015-10-26 2017-05-04 Advanced Vision Technology (A.V.T.) Ltd System and methods for detecting malfunctioning nozzles in a digital printing press
JP6825617B2 (ja) * 2016-03-09 2021-02-03 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2020095069A (ja) 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
WO2019230108A1 (ja) * 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585884A (en) * 1991-10-18 1996-12-17 Canon Kabushiki Kaisha Image blur correction apparatus
US7486879B2 (en) * 2004-05-11 2009-02-03 Fujinon Corporation Image blur correcting device
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
CN101202832B (zh) * 2006-12-12 2010-06-16 株式会社理光 成像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4577565B2 (ja) 2005-03-03 2010-11-10 ソニー株式会社 画像処理方法、画像処理装置、プログラム、および撮影装置
JP5101468B2 (ja) 2007-12-07 2012-12-19 富士フイルム株式会社 撮像システム、この撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器、並びに撮像システムの製造方法
JP4618355B2 (ja) 2008-09-25 2011-01-26 ソニー株式会社 画像処理装置及び画像処理方法
JP5328307B2 (ja) * 2008-11-14 2013-10-30 キヤノン株式会社 振れ補正機能を有する撮影装置及びその制御方法
JP5326943B2 (ja) 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8837853B2 (en) * 2011-09-06 2014-09-16 Sony Corporation Image processing apparatus, image processing method, information recording medium, and program providing image blur correction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585884A (en) * 1991-10-18 1996-12-17 Canon Kabushiki Kaisha Image blur correction apparatus
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
US7486879B2 (en) * 2004-05-11 2009-02-03 Fujinon Corporation Image blur correcting device
CN101202832B (zh) * 2006-12-12 2010-06-16 株式会社理光 成像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427321A (zh) * 2013-08-26 2015-03-18 佳能株式会社 图像处理装置及其控制方法
CN104427321B (zh) * 2013-08-26 2017-06-06 佳能株式会社 图像处理装置及其控制方法
US9843703B2 (en) 2013-08-26 2017-12-12 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same
CN104485064A (zh) * 2014-12-31 2015-04-01 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
WO2016106865A1 (zh) * 2014-12-31 2016-07-07 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
CN110211191A (zh) * 2019-05-31 2019-09-06 广州市雅江光电设备有限公司 一种混合颜色校正方法、装置、终端设置及可读存储介质
CN110211191B (zh) * 2019-05-31 2021-02-05 广州市雅江光电设备有限公司 一种混合颜色校正方法、装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
US8837853B2 (en) 2014-09-16
US20130057734A1 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
CN102984527A (zh) 图像处理装置、图像处理方法、信息记录介质和程序
CN109076169B (zh) 捕获彩色图像数据的方法、装置及计算机可读媒体
US7580070B2 (en) System and method for roll-off correction in image processing
US7683948B2 (en) System and method for bad pixel replacement in image processing
JP5454075B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
TWI516132B (zh) An image processing apparatus, an image processing method, and a program
US9147230B2 (en) Image processing device, image processing method, and program to perform correction processing on a false color
JP5188651B2 (ja) 画像処理装置、およびそれを用いた撮像装置
US7999867B2 (en) Image edge detection apparatus and method, image sharpness emphasizing apparatus and method, recorded meduim recorded the program performing it
US8098294B2 (en) Image processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium storing control program therefor
US8565524B2 (en) Image processing apparatus, and image pickup apparatus using same
US8013907B2 (en) System and method for adaptive local white balance adjustment
CN103198453B (zh) 图像处理设备及图像处理方法
WO2011122283A1 (ja) 画像処理装置、およびそれを用いた撮像装置
US20080123950A1 (en) Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method
KR20110023757A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP2021168048A (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
WO2015174257A1 (ja) 画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラム
US20190355105A1 (en) Method and device for blind correction of lateral chromatic aberration in color images
US20100215267A1 (en) Method and Apparatus for Spatial Noise Adaptive Filtering for Digital Image and Video Capture Systems
CN110996015B (zh) 空间多重曝光
CN104427321A (zh) 图像处理装置及其控制方法
US7656441B2 (en) Hue correction for electronic imagers
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130320