CN104969545B - 图像处理装置、摄像装置、图像处理方法以及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法以及程序 Download PDF

Info

Publication number
CN104969545B
CN104969545B CN201380072322.0A CN201380072322A CN104969545B CN 104969545 B CN104969545 B CN 104969545B CN 201380072322 A CN201380072322 A CN 201380072322A CN 104969545 B CN104969545 B CN 104969545B
Authority
CN
China
Prior art keywords
restoration disposal
point
image
data
demosaicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380072322.0A
Other languages
English (en)
Other versions
CN104969545A (zh
Inventor
林健吉
杉本雅彦
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104969545A publication Critical patent/CN104969545A/zh
Application granted granted Critical
Publication of CN104969545B publication Critical patent/CN104969545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

图像处理装置(28)包括：去马赛克处理单元(100)；亮度系图像数据取得单元(105)，取得作为与亮度有关的图像数据的亮度系图像数据；点像复原处理执行单元(110)；信息取得单元(115)，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制单元(120)。

Description

图像处理装置、摄像装置、图像处理方法以及程序
技术领域
本发明是涉及图像处理的技术，尤其，涉及基于点像分布函数(PSF：Point SpreadFunction)的点像复原处理的图像处理。
背景技术
存在在通过数码相机等的摄像装置拍摄被摄体而得到的图像中，产生由光学系统(摄影透镜等)的各种像差所引起的图像劣化的情况。
为了防止由该像差所引起的图像劣化(衍射模糊、周边模糊、倍率色差等)，考虑对被摄体像的图像数据进行图像处理，消除(修正)由像差所引起的图像劣化的技术。
基于像差的图像劣化能够由点像分布函数(PSF：Point Spread Function)来表现，通过对图像数据施加该点像分布函数的复原滤波器(逆滤波器)，能够消除图像劣化(点像复原处理)。
但是，根据图像，存在通过进行点像复原处理，反而会发生伪色或伪信号、图像的质量降低的情况。
因此，在专利文献1中，公开了在涉及图像恢复处理(认为与本申请的点像复原处理对应)的技术中，关于若进行图像恢复处理则发生伪色的部分，不进行图像恢复处理。此外，在专利文献1中，公开了优选在去马赛克处理(认为与本申请的去马赛克处理对应)之前进行图像恢复处理。
此外，在专利文献2中，公开了能够连续地调整图像恢复处理的恢复程度，通过调节恢复程度，能够抑制伪色的发生。但是，也公开了随着降低恢复程度，发生倍率色差。
现有技术文献
专利文献
专利文献1：特开2010-086138号公报
专利文献2：特开2011-124692号公报
发明内容
发明要解决的课题
但是，在专利文献1中公开的技术中，虽然考虑伪色而进行图像恢复处理，但由于没有进行考虑了色差和通过去马赛克处理而发生的伪信号的图像恢复处理，所以存在因色差和去马赛克处理为发生因素的伪信号而产生图像劣化的情况。这里，专利文献1中公开的伪色是指，在使用对对焦距离而言是最佳且对非对焦距离而言不是最佳的图像恢复滤波器(认为相当于本申请的恢复滤波器)进行非对焦物体的图像恢复处理的情况下，根据摄像时的光学系统的状态而变化的像差的状态和图像恢复滤波器对应的像差的状态中存在不同时发生的伪色。此外，关于本申请中的色差和通过去马赛克处理而发生的伪信号，在后面叙述。
此外，在专利文献1中公开的技术中，由于没有考虑作为伪色发生因素的一个的色差的发生程度，所以存在关于色差的发生程度为略微的部分也不进行图像恢复处理的情况。在即使进行图像恢复处理也会发生略微的伪色的情况下，进行图像恢复处理的话，能够取得质量更好的图像。进一步，对在去马赛克处理后得到的亮度系图像数据进行了图像恢复处理的话，与在去马赛克处理前进行图像恢复处理相比，能够更准确地进行图像恢复处理。
在专利文献2中公开的技术中，虽然考虑假象(Artifact)或伪色而进行图像恢复处理，但由于没有进行考虑了通过色差和去马赛克处理而发生的伪信号的图像恢复处理，所以存在因色差和去马赛克处理为发生因素的伪信号而产生图像劣化的情况。这里，专利文献2中公开的假象是指，在实际拍摄的状态下发生的像差特性和设想图像恢复的像差特性中存在不同时，在恢复图像中产生的假象。此外，专利文献2中公开的伪色是指，若与按RGB的每个颜色分量设想的恢复程度不同，则在恢复图像中发生的伪色。
此外，在专利文献2中公开的技术中，由于没有进行考虑了通过色差和去马赛克处理而发生的伪信号的图像恢复处理，所以存在因色差和去马赛克处理为发生因素的伪信号而产生图像劣化的情况。由于没有考虑作为伪色发生因素的一个的色差的发生程度，所以存在不能准确地进行与倍率色差的发生对应的图像恢复处理的调节。
本发明是鉴于这样的情况而完成的，其目的在于，提供一种图像处理装置、摄像装置、图像处理方法以及程序，其通过考虑基于色差的伪信号的发生程度而执行点像复原处理，能够得到画质好的图像，且通过对亮度系图像数据进行点像复原处理，能够得到清晰的图像。
用于解决课题的手段
为了达成上述目的，本发明的一个方式的图像处理装置包括：去马赛克处理单元，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得单元，基于由去马赛克处理单元所得到的去马赛克图像数据，取得作为与亮度有关的图像数据的亮度系图像数据；点像复原处理执行单元，对由亮度系图像数据取得单元所取得的亮度系图像数据进行点像复原处理；信息取得单元，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制单元，基于由信息取得单元所取得的控制信息，控制点像复原处理执行单元的处理动作。
这样，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
在图像处理装置中，优选地，摄影信息包括在摄影中使用的透镜信息、摄影时的光圈值、摄影时的焦距以及摄影时的被摄体距离中的至少一个。
这样，能够更准确地考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。
图像处理装置优选包括图像分析单元，该图像分析单元基于马赛克图像数据或去马赛克图像数据，分析是否为若进行点像复原处理则伪信号被增强的马赛克图像数据，或者是否为若进行点像复原处理则伪信号被增强的去马赛克图像数据，信息取得单元基于摄影信息以及由图像分析单元所得到的分析信息，取得控制信息。
这样，除了摄影信息之外，还能够考虑对拍摄到的图像进行分析的分析信息，进行点像复原处理的执行，能够得到画质更好的图像。
在图像处理装置中，优选地，图像分析单元通过基于马赛克图像数据或去马赛克图像数据而求出对比度的大小，从而分析是否为若进行点像复原处理则伪信号被增强的马赛克图像数据，或者是否为若进行点像复原处理则伪信号被增强的去马赛克图像数据。
这样，能够更准确地通过图像分析而把握基于色差和去马赛克处理的伪信号的发生程度，能够更准确地考虑基于色差的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。
在图像处理装置中，优选地，点像复原处理控制单元根据控制信息，判别若进行点像复原处理则伪信号是否被增强，点像复原处理控制单元在判别为伪信号没有被增强的情况下，使点像复原处理执行单元对亮度系图像数据进行点像复原处理，点像复原处理控制单元在判别为伪信号被增强的情况下，禁止点像复原处理执行单元对于亮度系图像数据的点像复原处理。
这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
在图像处理装置中，优选地，点像复原处理控制单元根据控制信息，判别若进行点像复原处理则伪信号是否被增强，点像复原处理控制单元在判别为伪信号没有被增强的情况下，使点像复原处理执行单元对亮度系图像数据进行点像复原处理，点像复原处理控制单元在判别为伪信号被增强的情况下，确定作为伪信号被增强的区域的伪信号增强区域，禁止点像复原处理执行单元对于伪信号增强区域的点像复原处理，对伪信号增强区域以外的区域进行点像复原处理。
这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
在图像处理装置中，优选地，点像复原处理控制单元根据控制信息，判别若进行点像复原处理则伪信号是否被增强，点像复原处理控制单元在判别为伪信号没有被增强的情况下，使点像复原处理执行单元对亮度系图像数据进行点像复原处理，点像复原处理控制单元在判别为伪信号被增强的情况下，确定作为伪信号被增强的区域的伪信号增强区域，使点像复原处理执行单元对伪信号增强区域以外的区域进行点像复原处理，使点像复原处理执行单元对伪信号增强区域代替点像复原处理而进行效果比点像复原处理弱的点像复原处理。
这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
在图像处理装置中，优选地，点像复原处理控制单元根据控制信息，判别若进行点像复原处理则伪信号是否被增强，点像复原处理控制单元在判别为伪信号没有被增强的情况下，使点像复原处理执行单元对亮度系图像数据进行点像复原处理，点像复原处理控制单元在判别为伪信号被增强的情况下，确定作为伪信号被增强的程度的伪信号增强程度，使点像复原处理执行单元根据伪信号增强程度而改变点像复原处理的强度来进行点像复原处理。
这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
在图像处理装置中，优选地，由点像复原处理控制单元所确定的伪信号增强区域是像高高的区域。
这样，由于能够根据基于色差和去马赛克处理的伪信号的发生程度而更准确地执行点像复原处理，所以能够得到画质更好的图像。
在图像处理装置中，优选地，由点像复原处理控制单元所确定的伪信号增强程度根据像高的高度而变大。
在图像处理装置中，优选地，亮度系图像数据是用于得到亮度信号的贡献率最高的去马赛克图像数据内的颜色数据或者基于去马赛克图像数据而得到的亮度信号。
这样，能够执行效果更高的点像复原处理。
在图像处理装置中，优选地，亮度系图像数据是由亮度信号Y以及色差信号Cb、Cr表示的颜色空间中的亮度信号Y的值。
在图像处理装置中，优选地，去马赛克处理单元包括基于用于得到亮度信号的贡献率最高的马赛克图像数据内的颜色数据而判别构成马赛克图像数据的多个像素信号中的相关方向的处理。
在图像处理装置中，优选地，去马赛克处理单元包括基于用于得到亮度信号的贡献率最高的马赛克图像数据内的颜色数据的、马赛克图像数据中的边缘检测处理。
为了达成上述目的，本发明的其他方式的摄像装置包括图像处理装置，该图像处理装置包括：去马赛克处理单元，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得单元，基于由去马赛克处理单元所得到的去马赛克图像数据，取得作为与亮度有关的图像数据的亮度系图像数据；点像复原处理执行单元，对由亮度系图像数据取得单元所取得的亮度系图像数据进行点像复原处理；信息取得单元，基于拍摄了被摄体时的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制单元，基于由信息取得单元所取得的控制信息，控制点像复原处理执行单元的处理动作。
这样，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
为了达到上述目的，本发明的其他方式的图像处理方法包括以下步骤：去马赛克处理步骤，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得步骤，基于通过去马赛克处理步骤而生成的去马赛克图像数据，取得与亮度有关的亮度系图像数据；点像复原处理执行步骤，对通过亮度系图像数据取得步骤而取得的亮度系图像数据进行点像复原处理；信息取得步骤，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制步骤，基于通过信息取得步骤而得到的控制信息，控制点像复原处理执行步骤的处理动作。
这样，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
为了达到上述目的，本发明的其他方式的程序用于使计算机执行如下步骤：去马赛克处理步骤，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得步骤，基于通过去马赛克处理步骤而生成的去马赛克图像数据，取得与亮度有关的亮度系图像数据；点像复原处理执行步骤，对通过亮度系图像数据取得步骤而取得的亮度系图像数据进行点像复原处理；信息取得步骤，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制步骤，基于通过信息取得步骤而得到的控制信息，控制点像复原处理执行步骤的处理动作。
此外，本发明的一方式的计算机能够读取的记录介质在由处理器读取了在记录介质中存储的指令的情况下，处理器执行如下步骤：去马赛克处理步骤，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得步骤，基于通过去马赛克处理步骤而生成的去马赛克图像数据，取得与亮度有关的亮度系图像数据；点像复原处理执行步骤，对通过亮度系图像数据取得步骤而取得的亮度系图像数据进行点像复原处理；信息取得步骤，基于与被摄体的摄影条件有关的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制步骤，基于通过信息取得步骤而得到的控制信息，控制点像复原处理执行步骤的处理动作。
这样，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
发明效果
根据本发明，由于考虑基于色差和去马赛克处理的伪信号的发生程度而执行点像复原处理，能够得到画质更好的图像。此外，根据本发明，由于对亮度系图像数据进行点像复原处理，能够得到更清晰的图像。
附图说明
图1是作为本发明的一个方式的摄像装置的主要部分框图。
图2是表示在摄像元件中配置的马赛克状的滤色器排列(拜耳(Bayer)排列)的图。
图3是表示作为本发明的其他方式的图像处理装置的第一实施方式的主要部分框图。
图4是表示通过点像复原处理而被复原的点像的情形的图。
图5是说明与信息取得部的控制信息的生成有关的一例的图。
图6是说明与信息取得部的控制信息的生成有关的其他例的图。
图7是说明没有发生基于色差的伪信号的图像的去马赛克处理的图。
图8是说明发生基于色差的伪信号的图像的去马赛克处理的图。
图9是表示对在图8的(A)部示出的图像进行了去马赛克处理时的本来的边缘的位置的图。
图10是说明基于色差的伪信号通过点像复原处理而被增强的图。
图11是表示图像处理装置的第一实施方式的动作流程的图。
图12是说明点像复原处理的控制例的图。
图13是说明点像复原处理的强度的调节的图。
图14是表示图像处理装置的第二实施方式的主要部分框图。
图15是表示图像处理装置的第二实施方式的动作流程的图。
图16是表示图像处理装置的第三实施方式的主要部分框图。
图17是表示图像处理装置的第四实施方式的主要部分框图。
图18是表示在摄像元件中配置的马赛克状的滤色器排列的变形例的图。
图19是关于将图18所示的基本排列图案以3像素×3像素进行了4分割的状态进行表示的图。
图20是表示包括EDoF光学系统的摄像模块的一方式的框图。
图21是表示EDoF光学系统的一例的图。
图22是表示图20所示的复原处理块中的复原处理的一例的流程图。
图23是表示作为本发明的一个方式的摄像装置的其他实施方式的图。
图24是表示图23所示的摄像装置的结构的框图。
具体实施方式
以下，使用附图说明本发明的例。此外，在本申请中，“单元”这样的用词和“部”这样的用词被用作相同的含义。例如，去马赛克处理单元和去马赛克处理部是相同的含义，亮度系图像数据取得单元和亮度系图像数据取得部是相同的含义，点像复原处理执行单元和点像复原处理执行部是相同的含义，信息取得单元和信息取得部是相同的含义，点像复原处理控制单元和点像复原处理控制部是相同的含义，图像分析单元和图像分析部是相同的含义。
[包括图像处理装置的摄像装置]
图1是表示包括本发明的图像处理装置(图1中表示为图像处理部)28的摄像装置10的实施方式的框图。
包括本发明的图像处理部28的摄像装置10是将拍摄到的图像记录在内部存储器(存储器部26)或外部的记录介质(未图示)的数码相机，装置整体的动作由中央处理装置(CPU)12统一控制。
在摄像装置10中，设置有包括快门按钮或快门开关、模式拨盘、再现按钮、MENU/OK键、十字键、变焦按钮以及BACK键等的操作部14。来自该操作部14的信号输入到CPU12，CPU12基于输入信号而对摄像装置10的各电路进行控制，例如，经由设备控制部16对透镜部18、快门20、作为图像取得单元发挥作用的摄像元件22进行控制，且进行摄影动作控制、图像处理控制、图像数据的记录/再现控制以及显示部25的显示控制等。
透镜部18包括聚焦透镜、变焦透镜、光圈等，通过了透镜部18以及快门20的光束在摄像元件22的受光面成像。此外，摄像装置10的透镜部18既可以是可更换式，也可以是非更换式。
在摄像元件22中，多个受光元件(光电二极管)进行二维排列，在各光电二极管的受光面成像的被摄体像转换为与其入射光量对应的量的信号电压(或电荷)。
[摄像元件]
图2是表示摄像元件22的方式的图，尤其，表示在摄像元件22的受光面上配置的滤色器排列。此外，将被设置各滤色器的各光电二极管设为像素，将从各光电二极管输出的数据设为像素数据(像素信号)。
图2所示的摄像元件22的滤色器排列一般被称为拜耳排列。其中，拜耳排列是指，将成为需要高分辨率的亮度信号的主分量的颜色以方格状配置，在剩余的部分，将成为比较不会被要求分辨率的颜色信息分量的2种颜色以方格状排列的滤色器排列。作为拜耳排列的具体例，如图2所示，举出将对亮度信号贡献的比例大的绿色(G)的滤色器(G滤波器)以方格状配置，在剩余的部分，将红色(R)的滤色器(R滤波器)和蓝色(B)的滤色器(B滤波器)以方格状排列的滤色器排列。
在上述结构的摄像元件22中蓄积的信号电荷基于从设备控制部16被施加的读出信号，作为与信号电荷对应的电压信号而被读出。从摄像元件22读出的电压信号被施加到A/D转换器24，其中，顺次转换为与滤色器排列对应的数字的R、G、B信号(像素数据)，临时保存在存储器部26中。
存储器部26包括作为易失性存储器的SDRAM(同步动态随机存取存储器(Synchronous Dynamic Random Access Memory))、作为可改写的非易失性存储器的EEPROM(电可擦除和可编程只读存储器(Electronically Erasable and ProgrammableRead Only Memory))等，SDRAM被用作基于CPU12的程序的执行时的工作区域，还被用作将拍摄而取得的数字图像信号临时保持的存储区域。另一方面，在EEPROM中，存储有包括图像处理程序的相机控制程序、摄像元件22的像素的欠缺信息、在图像处理等中使用的各种参数或表格等。
图像处理部28对在存储器部26中临时存储的数字的图像信号进行白平衡校正、伽马校正处理、去马赛克处理、RGB/YC转换、轮廓校正、色差校正、模糊校正等的预定的信号处理。此外，关于本发明的图像处理装置(图像处理部)28的细节，在后面叙述。
在图像处理部28中进行了处理的图像数据在编码器30中编码为图像显示用的数据，并经由驱动器32输出到在相机背面设置的显示部25。由此，被摄体像连续地显示在显示部25的显示画面上。
若有操作部14的快门按钮的第一阶段的按压(半按压)，则CPU12使开始AF(自动对焦(Automatic Focus))动作以及AE(自动曝光(Automatic Exposure))动作，并经由设备控制部16而使透镜部18的聚焦透镜沿光轴方向移动，控制为聚焦透镜位于对焦位置。
CPU12基于在快门按钮的半按压时从A/D转换器24输出的图像数据，计算被摄体的亮度(摄影Ev值)，并根据该摄影Ev值而决定曝光条件(光圈值、快门速度)。
若AE动作以及AF动作结束，有快门按钮的第二阶段的按压(全按压)，则根据上述决定的曝光条件，对光圈、快门20以及摄像元件22中的电荷蓄积时间进行控制而进行本摄像。在本摄像时从摄像元件22读出并通过A/D转换器24进行了A/D转换的RGB的马赛克图像(与图2所示的滤色器排列对应的图像)的图像数据临时存储在存储器部26中。
在存储器部26中临时存储的图像数据通过图像处理部28适当读出，其中，进行包括白平衡校正、伽马校正、去马赛克处理、RGB/YC转换、轮廓校正以及颜色校正等的预定的信号处理。进行了RGB/YC转换的图像数据(YC数据)根据预定的压缩格式(例如，JPEG(联合图像专家组(Joint Photographic Experts Group))方式)而被压缩，被压缩的图像数据以预定的图像文件(例如，Exif(可交换图像文件格式(Exchangeable image file format))文件)格式而记录在内部存储器或外部存储器中。
此外，在本发明中使用的摄像元件22中的滤色器排列并不限定于图2所示的滤色器排列。在不阻碍本发明起到的效果的范围内，能够采用各种滤色器排列。
此外，滤色器除了红、绿以及蓝之外，也可以进一步具有对亮度贡献最多的颜色的滤色器。例如，作为对亮度贡献最多的颜色，举出白色(透明)等。
[图像处理装置的第一实施方式]
图3是表示图1所示的图像处理装置(图像处理部)28的第一实施方式的内部结构的主要部分框图。
图3所示的图像处理装置28包括：去马赛克处理部(单元)100，对从摄像元件22输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；亮度系图像数据取得部(单元)105，基于由去马赛克处理部100所得到的去马赛克图像数据，取得作为与亮度有关的图像数据的亮度系图像数据；点像复原处理执行部(单元)110，对由亮度系图像数据取得部(单元)105所取得的亮度系图像数据进行点像复原处理；信息取得部(单元)115，基于拍摄了被摄体时的摄影信息，取得与点像复原处理的执行有关的控制信息；以及点像复原处理控制部(单元)120，基于由信息取得部115所取得的控制信息，控制点像复原处理执行部110的处理动作。
此外，虽然在图像处理部28内，设置有白平衡校正部、伽马校正部等，但为便于说明，在图3中未图示。
图3所示的去马赛克处理部100取得马赛克图像数据。然后，对所取得的马赛克图像数据，去马赛克处理部100进行去马赛克处理。其中，马赛克图像数据也称为RAW数据，是从摄像元件22输出的数据。例如，若是具有图2所示的滤色器的摄像元件22，则与图2所示的滤色器对应的颜色数据的集合体从摄像元件22输出。此外，去马赛克处理部100也可以基于用于得到亮度信号的贡献率最高的马赛克图像数据内的颜色数据，判别构成马赛克图像数据的多个像素信号中的相关方向。进一步，去马赛克处理部100也可以基于用于得到亮度信号的贡献率最高的马赛克图像数据内的颜色数据，进行马赛克图像数据中的边缘检测处理。其中，用于得到亮度信号的贡献率最高的马赛克图像数据内的颜色数据是指，例如与G滤波器对应的像素数据。
此外，这里，去马赛克处理是如下处理：通过使用设为对象的像素的周边的多个像素的像素数据进行插值处理，使设为对象的像素具有R、G、B的信号值。
具体而言，根据伴随着单板式的彩色摄像元件的滤色器排列的R、G、B的马赛克图像，按每个像素计算RGB全部的颜色信息(转换为同时式)。此外，去马赛克处理也被称为去马赛克处理、同时化处理、颜色合成处理。通过去马赛克处理部100，对马赛克图像数据实施去马赛克处理，生成去马赛克图像数据。
图3所示的亮度系图像数据取得部105从去马赛克处理部100取得去马赛克图像数据，并基于去马赛克图像而取得亮度系图像数据。其中，亮度系图像数据意味着，具有与拍摄到的图像的亮度有关的信息的各种数据。例如，作为亮度系图像数据的例，举出由Y、Cb、Cr表示的颜色空间的亮度信号Y的值、由Y、Pb、Pr表示的颜色空间的亮度信号Y的值、用于得到亮度信号的贡献率最高的数据。此外，由Y、Cb、Cr表示的颜色空间的亮度信号Y的值通过[式1]而大概表示，由Y、Pb、Pr表示的颜色空间的亮度信号Y的值通过[式2]而大概表示。在通过[式1]以及[式2]而求出的亮度信号Y中，可以说G色的数据为用于得到亮度信号的贡献率最高的数据。
[式1]Y＝0.3R+0.6G+0.1B
[式2]Y＝0.2R+0.7G+0.1B
由亮度系图像数据取得部105所取得的亮度系图像数据传送到点像复原处理执行部110。
图3所示的点像复原处理执行部110对亮度系图像数据执行点像复原处理。点像复原处理执行部110由点像复原处理控制部120所控制。
接着，说明点像复原处理执行部110进行的点像复原处理。若将通过点像的摄像而取得的模糊的图像设为g(x，y)，将原来的点像设为f(x，y)，将点像分布函数(PSF)设为h(x，y)，则能够通过下式来表示关系。
[式3]
g(x，y)＝h(x，y)＊f(x，y)
其中，＊表示卷积。
基于上述中的通过点像的摄像而取得的模糊的图像g(x，y)，求出[式3]的h(x，y)(即，点像分布函数(PSF))。
接着，求出上述求出的点像分布函数(PSF)的逆函数。若将该逆函数设为R(x，y)，则通过R(x，y)对如下式那样进行了相位调制的图像g(x，y)进行卷积处理，能够得到与原来的图像f(x，y)对应的复原图像(点像复原处理)。
[式4]
g(x，y)＊R(x，y)＝f(x，y)
将该R(x，y)称为复原滤波器。复原滤波器能够利用将原图像和复原图像的均方误差设为最小的最小平方滤波器(维纳滤波器)、限制反卷积滤波器、递归滤波器、同态滤波器等。此外，在本发明中，在点像复原处理执行部110中存储有一个或多个复原滤波器。
点像复原处理执行部110通过如上述那样生成的复原滤波器，对从亮度系图像数据取得部105送来的亮度系图像数据进行点像复原处理。
即，如图4的(A)部所示，透过了摄影透镜的点像(光学像)作为大的点像(模糊的图像)而在摄像元件22成像，但通过点像复原处理执行部110中的点像复原处理，如图4的(B)部所示，复原为小的点像(高分辨率的图像)。
图3所示的信息取得部115取得摄影信息，生成(取得)具有是否进行点像复原处理的信息的控制信息，并将控制信息传送到点像复原处理控制部120。此外，控制信息具有的信息并不限定于是否进行点像复原处理的信息。例如，将点像复原处理较弱地进行的、根据基于色差的伪信号的发生程度而调节点像复原处理的强度而进行等的信息也包含在控制信息中。
此外，摄影信息是与被摄体的摄影条件有关的各种信息。作为摄影信息，例如，举出在摄影中使用的透镜信息(透镜的种类、开放光圈值)、拍摄了被摄体的条件(光圈值、焦距、被摄体距离等)。
图5是说明信息取得部115基于摄影信息(A-1、A-2或A-3)生成控制信息(C-1或C-2)，并将控制信息(C-1或C-2)发送给点像复原处理控制部120的图。作为摄影信息的具体例，在图5中，举出使用透镜A且将光圈值设定为F1.8进行拍摄的情况(A-1)、使用透镜A且将光圈值设定为F4进行拍摄的情况(A-2)以及使用透镜A且将光圈值设定为F5.6进行拍摄的情况。
首先，说明作为摄影信息，信息取得部115接受到使用透镜A且将光圈值设定为F1.8进行拍摄的(A-1)这样的信息的情况。接受到使用透镜A且将光圈值设定为F1.8进行拍摄的(A-1)这样的信息的信息取得部115参照在信息取得部115中存储的与伪信号有关的表格信息(B)和所取得的摄影信息(A-1)。即，由于摄影信息为使用透镜A且将光圈值设定为F1.8进行拍摄的(A-1)，且在与伪信号有关的表格信息(B)中为“在使用透镜A且光圈值为F4以上进行拍摄时，伪信号不会被增强”，所以信息取得部115判断为在使用摄影信息(A-1)拍摄的图像中伪信号被增强。并且，信息取得部115基于伪信号被增强的判断，将不进行点像复原处理的控制信息(C-1)传送到点像复原处理控制部120。
接着，说明作为摄影信息，信息取得部115接受到使用透镜A且将光圈值设定为F4进行拍摄的(A-2)这样的信息的情况。接受到使用透镜A且将光圈值设定为F4进行拍摄的(A-2)这样的信息的信息取得部115参照在信息取得部115中存储的与伪信号有关的表格信息(B)和所取得的摄影信息(A-2)。即，由于摄影信息为使用透镜A且将光圈值设定为F4进行拍摄的(A-2)，且在与伪信号有关的表格信息(B)中为“在使用透镜A且光圈值为F4以上进行拍摄时，伪信号不会被增强”，所以信息取得部115判断为在使用摄影信息(A-2)拍摄的图像中伪信号没有被增强。并且，信息取得部115基于伪信号没有被增强的判断，将进行点像复原处理的控制信息(C-2)传送到点像复原处理控制部120。
接着，说明作为摄影信息，信息取得部115接受到使用透镜A且将光圈值设定为F5.6进行拍摄的(A-3)这样的信息的情况。接受到使用透镜A且将光圈值设定为F5.6进行拍摄的(A-3)这样的信息的信息取得部115参照在信息取得部115中存储的与伪信号有关的表格信息(B)和所取得的摄影信息(A-3)。即，由于摄影信息为使用透镜A且将光圈值设定为F5.6进行拍摄的(A-3)，且在与伪信号有关的表格信息(B)中为“在使用透镜A且光圈值为F4以上进行拍摄时，伪信号不会被增强”，所以信息取得部115判断为在使用摄影信息(A-3)拍摄的图像中伪信号没有被增强。并且，信息取得部115基于伪信号没有被增强的判断，将进行点像复原处理的控制信息(C-2)传送到点像复原处理控制部120。
图6是说明信息取得部115进一步基于与图5不同的种类的摄影信息(A-1、A-2或A-3)生成控制信息(C-1或C-2)，并将控制信息(C-1或C-2)发送给点像复原处理控制部120的图。作为摄影信息的具体例，在图6中，举出使用开放光圈值为F1.4的透镜进行拍摄的情况(A-1)、使用开放光圈值为F2的透镜进行拍摄的情况(A-2)以及使用开放光圈值为F2.4的透镜进行拍摄的情况。
首先，说明作为摄影信息，信息取得部115接受到使用开放光圈值为F1.4的透镜进行拍摄的(A-1)这样的信息的情况。接受到使用开放光圈值为F1.4的透镜进行拍摄的(A-1)这样的信息的信息取得部115参照在信息取得部115中存储的与伪信号有关的表格信息(B)和所取得的摄影信息(A-1)。即，由于摄影信息为使用开放光圈值为F1.4的透镜进行拍摄的(A-1)，且在与伪信号有关的表格信息(B)中为“在使用了开放光圈值为F1.4的透镜时，伪信号不会被增强”，所以信息取得部115判断为在使用摄影信息(A-1)拍摄的图像中伪信号没有被增强。并且，信息取得部115基于伪信号没有被增强的判断，将进行点像复原处理的控制信息(C-2)传送到点像复原处理控制部120。
接着，说明作为摄影信息，信息取得部115接受到使用开放光圈值为F2的透镜进行拍摄的(A-2)这样的信息的情况。接受到使用开放光圈值为F2的透镜进行拍摄的(A-2)这样的信息的信息取得部115参照在信息取得部115中存储的与伪信号有关的表格信息(B)和所取得的摄影信息(A-2)。即，由于摄影信息为使用开放光圈值为F2的透镜进行拍摄的(A-2)，且在与伪信号有关的表格信息(B)中为“在使用了开放光圈值为F2的透镜时，伪信号被增强”，所以信息取得部115判断为在使用摄影信息(A-2)拍摄的图像中伪信号被增强。并且，信息取得部115基于伪信号被增强的判断，将不进行点像复原处理的控制信息(C-1)传送到点像复原处理控制部120。
接着，说明作为摄影信息，信息取得部115接受到使用开放光圈值为F2.4的透镜进行拍摄的(A-3)这样的信息的情况。接受到使用开放光圈值为F2.4的透镜进行拍摄的(A-3)这样的信息的信息取得部115参照在信息取得部115中存储的与伪信号有关的表格信息(B)和所取得的摄影信息(A-3)。即，由于摄影信息为使用开放光圈值为F2.4的透镜进行拍摄的(A-3)，且在与伪信号有关的表格信息(B)中为“在使用了开放光圈值为F2.4的透镜时，伪信号被增强”，所以信息取得部115判断为在使用摄影信息(A-2)拍摄的图像中伪信号被增强。并且，信息取得部115基于伪信号被增强的判断，将不进行点像复原处理的控制信息(C-1)传送到点像复原处理控制部120。
图3所示的点像复原处理控制部120取得由信息取得部115送来的控制信息，基于控制信息，对点像复原处理执行部110进行控制。具体而言，点像复原处理控制部120判别在所取得的控制信息中包含的是否进行点像复原处理的信息，对点像复原处理执行部110进行控制。在点像复原处理控制部120基于控制信息而判别为不进行点像复原处理的情况下，点像复原处理控制部120禁止点像复原处理执行部110对亮度系图像数据进行点像复原处理。另一方面，在点像复原处理控制部120基于控制信息而判别为进行点像复原处理的情况下，点像复原处理控制部120使点像复原处理执行部110对亮度系图像数据进行点像复原处理。此外，色差(倍率色差以及轴上色差)由根据各颜色而像的倍率不同且像的大小不同以及因各颜色的光的波长不同所以透镜的焦距不同引起而发生。判断为发生了色差的一个基准，还能够设为在各颜色的数据比滤色器排列的内核大小(最小排列图案)还大地错开的情况下发生了色差。
这里，使用图7、图8、图9以及图10说明通过进行点像复原处理而基于色差的伪信号被增强的情况。此外，在图7、图8、图9以及图10中，表示使用了拜耳排列的滤色器的例。
图7表示在没有发生基于色差的伪信号时的去马赛克处理的情形。图7的(A)部表示使4像素数据(纵)×4像素数据(横)汇集的马赛克图像(RAW数据)。在图7的(A)部中表示的马赛克图像数据表示纵向具有边缘的图像。即，隔着边缘朝向图7的(A)部而位于左边的4像素数据(纵)×2像素数据(横)是输出值为0的R、G、B的像素数据的集合。另一方面，隔着边缘朝向图7的(A)部而位于右边的4像素数据(纵)×2像素数据(横)是输出值为1的R、G、B的像素数据的集合。
图7的(B)部、(C)部以及(D)部表示图7的(A)部的马赛克图像进行去马赛克处理而生成R、G、B的3面的颜色数据的情况。由于图7的(A)部的马赛克图像以边缘为边界线而像素数据的输出值分为0和1，所以在去马赛克处理后的图7的(B)部、(C)部以及(D)部的3面的颜色数据中，也以边缘为边界线而像素数据的输出值分为0和1。
另一方面，在图8中，表示发生将色差和去马赛克处理作为原因的伪信号时的去马赛克处理的情形。图8的(A)部原本应成为与图7的(A)部相同的数据，但因色差的影响而成为与图7的(A)部不同的数据。即，图8的(A)部表示使4像素数据(纵)×4像素数据(横)汇集的马赛克图像(RAW数据)，但如在图7的(A)部中表示那样隔着边缘朝向图8的(A)部而位于左边的4像素数据(纵)×2像素数据(横)不同于图7的(A)部而不是全部为输出值0，原本与某边缘相邻的G像素数据因色差的影响而表示输出值1。
在拜耳排列中，相对于R像素或B像素而言，G像素的采样频率更高，相对于R像素或B像素的像素数据而言，G像素数据对于亮度系信号的贡献率更高。因此，一般在去马赛克处理中，基于G像素数据进行判别图像数据中的相关方向的处理，或基于所判别的相关方向而检测边缘，进行考虑了所检测的边缘的插值处理。在图8的(A)部的马赛克图像中，发生基于色差的色偏差(G像素的像素数据为1)(参照图8的标号40以及标号42)。若对在图8的(A)部中表示的马赛克图像进行去马赛克处理，则因由标号40以及标号42表示的G像素的像素数据的影响而误检测为有边缘，作为去马赛克处理后的颜色数据，例如可能发生如图8的(B)部、(C)部以及(D)部所示的伪信号。即，原本在图8的(A)部中理想地是应通过去马赛克处理而如在图9的(B)部、(C)部以及(D)部中所示那样边缘作为纵的直线而再现，但因通过色差和去马赛克处理而产生的伪信号的影响，如由图8的(B)部、(C)部以及(D)部所示，在R、G、B的任一个颜色数据中，都在边缘附近发生原本不存在的凹凸状的级差(输出值的差)。此外，在图9的(A)部中表示的马赛克图像与在图8的(A)部中表示的马赛克图像相同。
在图10中，表示通过进行点像复原处理而基于色差和去马赛克处理的伪信号被增强的现象。图10的(A)部、(B)部以及(C)部是与图8的(B)部、(C)部以及(D)部对应的3面的颜色数据。在图10的(A)部、(B)部以及(C)部中，因基于色差和去马赛克处理的伪信号的影响，原本为直线的边缘成为凹凸状。
图10的(D)部表示对作为亮度系数据的一个例的G的颜色数据(图10的(B)部)进行了点像复原处理的情况。如图10的(D)部所示，G的颜色数据(图10的(B)部)的凹凸状的边缘通过点像复原处理而被增强。即，图10的(B)部所示的表示输出值1的像素数据通过点像复原处理而像素数据的输出值被放大为3(图10的(D)部)，图10的(B)部所示的表示输出值0的像素数据即使进行点像复原处理，像素数据的输出值也依然为0。因此，在进行了点像复原处理的图10的(D)部中，基于色差的伪信号被增强(发生更大的级差)。
这样，在对于去马赛克处理后的亮度系数据的点像复原处理中，由于在去马赛克处理中包括基于G像素数据而判别图像数据中的相关方向的处理、或基于所判别的相关方向而检测边缘并考虑了所检测的边缘的插值处理，所以产生若在光学系统中产生色差则容易发生由去马赛克处理所引起的伪信号，该伪信号通过复原处理而被增强的弊端。由于在按R、G、B的各颜色通过最佳的复原滤波器来按R、G、B的各颜色数据进行复原处理的系统中，通过按R、G、B的各颜色数据进行点像复原处理，色差也能够复原，所以该弊端被认为是对于去马赛克处理后的亮度系数据的点像复原处理所固有的。
在图11中，表示图像处理装置28的处理流程。首先，在去马赛克处理部100中输入马赛克图像数据(步骤S10)。然后，由去马赛克处理部100对马赛克图像数据进行去马赛克处理(步骤S15)，生成去马赛克图像数据(去马赛克处理步骤)。
之后，由亮度系图像数据取得部105从去马赛克图像数据取得亮度系图像数据(步骤S20)(亮度系图像数据取得步骤)。然后，由点像复原处理执行部110对亮度系图像数据进行点像复原处理(步骤S25)(点像复原处理执行步骤)。
另一方面，由信息取得部115取得摄影信息(步骤S30)(信息取得步骤)。然后，由信息取得部115生成控制信息(步骤S35)。之后，由点像复原处理控制部120取得控制信息(步骤S40)。然后，由点像复原处理控制部120对在点像复原处理执行部110中进行的点像复原处理(点像复原处理执行步骤)进行控制(点像复原处理控制步骤)。
[点像复原处理控制例]
图12是表示了点像复原处理控制部120进行的点像复原处理执行部110的控制的例的图。即，A-1～A-4是在作为控制信息而设为进行点像复原处理时的、对于亮度系图像数据的点像复原处理执行例。此外，B-1～B-4是作为控制信息而设为不进行点像复原处理时的例。此外，50、52、54、56、68以及78表示实施了点像复原处理的部分。58、60、62、64、以及66表示没有进行点像复原处理的部分。70、72、74以及76表示执行了比在50、52、54、56、68以及78中执行的点像复原处理弱的点像复原处理的部分(区域)。80表示阶段性地改变点像复原处理的强度而执行的情况。在80中，表示根据颜色的浓度，实施强的点像复原处理。
＜第一点像复原处理控制例＞
在图12的A-1中，表示由信息取得部115进行点像复原处理这样的控制信息传送到点像复原处理控制部120，点像复原处理控制部120使点像复原处理执行部110对亮度系图像数据的整个面进行点像复原处理的情形。另一方面，在图12的B-1中，表示由信息取得部115不进行点像复原处理这样的控制信息传送到点像复原处理控制部120，点像复原处理控制部120禁止点像复原处理执行部110对于亮度系图像数据的点像复原处理的情形。在第一点像复原处理控制例中，如上所述A-1和B-1那样，点像复原处理控制部120根据控制信息而切换点像复原处理执行部110的控制。
＜第二点像复原处理控制例＞
图12的A-2表示由信息取得部115进行点像复原处理这样的控制信息传送到点像复原处理控制部120，点像复原处理控制部120使点像复原处理执行部110对亮度系图像数据的整个面进行点像复原处理的情形。另一方面，在图12的B-2中，由信息取得部115对基于色差的伪信号被增强的部分(伪信号增强区域)不进行点像复原处理这样的控制信息传送到点像复原处理控制部120。然后，点像复原处理控制部120禁止点像复原处理执行部110对于基于色差的伪信号被增强的部分(伪信号增强区域)的点像复原处理(参照图12B-2、标号60、标号62、标号64、标号66)，使对其他的部分(伪信号增强区域以外的区域)进行点像复原处理(参照图12B-2标号68)。在第二点像复原处理控制例中，如上所述A-2和B-2那样，点像复原处理控制部120根据控制信息而切换点像复原处理执行部110的控制。
＜第三点像复原处理控制例＞
图12的A-3表示由信息取得部115进行点像复原处理这样的控制信息传送到点像复原处理控制部120，点像复原处理控制部120使点像复原处理执行部110对亮度系图像数据的整个面进行点像复原处理的情形。另一方面，在图12的B-3中，由信息取得部115对基于色差的伪信号被增强的部分(伪信号增强区域)进行弱的点像复原处理这样的控制信息传送到点像复原处理控制部120。然后，点像复原处理控制部120使点像复原处理执行部110对基于色差的伪信号被增强的部分(伪信号增强区域)进行弱的点像复原处理(参照图12B-3、标号70、标号72、标号74、标号76)，对其他的部分(伪信号增强区域以外的区域)进行比弱的点像复原处理强的点像复原处理(参照图12B-3、标号78)。在第三点像复原处理控制例中，如上所述A-3和B-3那样，点像复原处理控制部120根据控制信息而切换点像复原处理执行部110的控制。
＜第四点像复原处理控制例＞
图12的A-4表示由信息取得部115进行点像复原处理这样的控制信息传送到点像复原处理控制部120，点像复原处理控制部120使点像复原处理执行部110对亮度系图像数据的整个面进行点像复原处理的情形。另一方面，在图12的B-4中，由信息取得部115根据基于色差的伪信号的增强程度(伪信号增强程度)而改变点像复原处理的强度这样的控制信息传送到点像复原处理控制部120。然后，点像复原处理控制部120使点像复原处理执行部110根据基于色差的伪信号的增强程度而改变点像复原处理的强度(图12的B-4)。在第四点像复原处理控制例中，如上所述A-4和B-4那样，点像复原处理控制部120根据控制信息而切换点像复原处理执行部110的控制。此外，点像复原处理控制部120的控制例并不限定于上述的控制例，能够考虑基于色差的伪信号的发生程度而执行点像复原处理。
此外，在上述的点像复原处理控制例中，伪信号增强区域也可以是图像中的像高高的区域。此外，在上述的点像复原处理控制例中，伪信号增强程度也有根据像高的高度而变大的情况。
如上所述，点像复原处理控制部120能够对点像复原处理执行部110进行的点像复原处理的强度进行调节控制。其中，对点像复原处理的强度进行调节，能够指通过调整复原滤波器的系数而调节点像复原处理的强度。
图13表示A至F的多个点像分布函数(PSF)的图形图。如前所述，基于这些PSF而生成复原滤波器。
如图13所示，按照A、B、C、D、E、F的顺序，PSF的宽度逐渐变大。并且，基于使用了A的PSF的复原滤波器的点像复原处理成为比基于使用了宽度比A的PSF宽的PSF(例如，B的PSF)的复原滤波器的点像复原处理弱的点像复原处理。
例如，在上述的第三点像复原处理控制例(图12的A-3以及B-3)的情况下，基于色差的伪信号没有被增强的情况下或者关于基于色差的伪信号没有被增强的部分(图12的B-3、标号78)，使用与F对应的复原滤波器，点像复原处理执行部110进行点像复原处理(在为图13的F所示的PSF使用的透镜的PSF的情况下)。并且，在上述的第三点像复原处理控制例的情况下，关于基于色差的伪信号被增强的部分(伪信号增强区域)，使用与图13的A所示的PSF对应的复原滤波器，点像复原处理执行部110进行弱的点像复原处理。
[图像处理装置的第二实施方式]
图14表示图像处理装置28的第二实施方式。对与图3中的图像处理装置28的第一实施方式相同的部位，赋予相同的标号并省略说明。若比较图像处理装置28的第二实施方式和图像处理装置28的第一实施方式，则图像处理装置28的第二实施方式的不同点在于，追加了图像分析部111，信息取得部115还取得分析信息而生成控制信息。
在图14所示的图像处理装置28中，图像分析部111包含在去马赛克处理部100中。图像分析部111对去马赛克图像处理部进行去马赛克处理之前的马赛克图像数据或者进行了去马赛克图像处理之后的去马赛克图像数据进行图像分析。此外，虽然在图14所示的图像处理装置28中，图像分析部111设置在去马赛克处理部100内，对马赛克图像数据或去马赛克图像数据进行图像分析，但并不限定于此。图像分析只要能够分析基于色差的伪信号的发生或发生程度，则能够使用各种数据而进行。
这里，图像分析是指，作为一例，如使用图7至图10所说明那样，确定是否为若进行点像复原处理则基于色差的伪信号被增强的马赛克图像数据，或者是否为若进行点像复原处理则基于色差的伪信号被增强的去马赛克图像数据。例如，图像分析部111通过在马赛克图像数据或去马赛克图像数据中求出对比度的大小，分析是否为若进行点像复原处理则伪信号被增强的马赛克图像数据，或者是否为若进行点像复原处理则伪信号被增强的去马赛克图像数据。图像分析部111将具有对比度大的部分的图像确定为基于色差的伪信号被增强的图像。进一步，具有对比度大的边缘部分的图像也确定为基于色差和去马赛克处理的伪信号被增强的图像。其中，对比度大的部分为能够由对比度比表示、例如8比特且130：1至170：1、优选为140：1至160：1、进一步优选为145：1至155：1的范围的对比度比的部分。
图像分析部111通过对马赛克图像数据或去马赛克图像数据进行分析，确定基于色差和去马赛克处理的伪信号被增强的部分和/或基于色差的伪信号的发生的有无，并作为分析信息而发送给信息取得部115。
信息取得部115基于分析信息以及摄影信息，生成控制信息。具体而言，参照所取得的摄影信息和与伪信号有关的表格信息，确定基于色差的伪信号是否被增强。然后，根据摄影信息，基于色差的伪信号不会被增强的情况下，信息取得部115还考虑分析信息，判断若进行点像复原处理则基于色差的伪信号是否被增强，在根据摄影信息以及分析信息，基于色差的伪信号不会被增强的情况下，生成进行点像复原处理这样的控制信息而发送(图12的A-1的情况)。
此外，根据摄影信息，基于色差的伪信号不会被增强，但根据分析信息，判断为基于色差的伪信号被增强的情况下，生成不进行点像复原处理这样的控制信息而发送(图12的B-1的情况)。
另一方面，根据摄影信息，基于色差的伪信号被增强的情况下，信息取得部115也可以不考虑分析信息，生成不进行点像复原处理的控制信息。此外，即使是在根据摄影信息，基于色差的伪信号被增强的情况下，也可以进一步考虑分析信息，将发生基于色差的伪信号的区域的信息包含在控制信息中。
进一步，在图像处理装置28的第二实施方式中，由于信息取得部115取得分析信息，所以还能够更准确地区分进行点像复原处理的区域(部分)和不进行的区域(部分)。即，在基于色差的伪信号被增强的情况下，信息取得部115根据分析信息，确定在哪个部分基于色差的伪信号被增强，并生成考虑了该部分的控制信息。例如，能够进行如下控制：对基于色差的伪信号被增强的部分不进行点像复原处理，对除此以外的部分进行点像复原处理的控制(图12的B-2)；对基于色差的伪信号被增强的部分进行弱的点像复原处理，对除此以外的部分进行通常的点像复原处理或强的点像复原处理的控制(图12的B-3)；根据基于色差的伪信号的增强程度而改变点像复原处理的强度的控制(图12的B-4)。
图15是图像处理装置28的第二实施方式的流程图。对与图11中的图像处理装置28的第一实施方式的流程图相同的部位，赋予相同的标号并省略说明。在图15所示的图像处理装置28的第二实施方式的流程图中，与图11所示的图像处理装置28的第二实施方式的流程图相比，第二实施方式的流程图的不同点在于，由图像分析部111进行图像分析(步骤S31)以及信息取得部115还取得分析信息(步骤S33)。
在图15中表示的图像处理装置28的第二实施方式中，图像分析部111对马赛克图像数据进行图像分析(步骤S31)。此外，图像分析部111也可以还对去马赛克图像数据进行图像分析，也可以对亮度系图像数据进行图像分析。
然后，图像分析部111进行图像分析(步骤S31)，基于图像分析的结果而生成图像分析信息，并将图像分析信息传送到信息取得部115。然后，由信息取得部115取得图像分析信息(步骤S33)。
[图像处理装置的第三实施方式]
图16表示图像处理装置28的第三实施方式。对与图3中的图像处理装置28的第一实施方式相同的部位，赋予相同的标号并省略说明。若比较图像处理装置28的第三实施方式和图像处理装置28的第一实施方式，则不同点在于，在第一实施方式中，对亮度系图像数据进行了点像复原处理，但在第三实施方式中，对作为亮度系图像数据的具体例的亮度信号Y进行点像复原处理。通过对亮度信号Y进行点像复原处理，能够准确地进行点像复原处理。这里，亮度信号Y是由亮度信号Y以及色差信号Cb、Cr表示的颜色空间中的亮度信号Y。
[图像处理装置的第四实施方式]
图17表示图像处理装置28的第四实施方式。对与图3中的图像处理装置28的第一实施方式相同的部位，赋予相同的标号并省略说明。若比较图像处理装置28的第四实施方式和图像处理装置28的第一实施方式，则不同点在于，在第一实施方式中，对亮度系图像数据进行了点像复原处理，但在第四实施方式中，对作为亮度系图像数据的具体例的G色的数据进行点像复原处理。由于G色的数据是在生成亮度信号Y的值时贡献最多的值(参照式1、式2)，所以通过对G色的数据进行点像复原处理，能够进行精度更高的点像复原处理。
[摄像元件的变形例]
图18是表示摄像元件22的变形例的图。尤其，关于在摄像元件22的受光面上配置的滤色器排列，表示作为在图2中说明的滤色器排列的变形例的滤色器排列(“X-trans”(注册商标))。在本发明中，摄像元件22能够采用各种滤色器排列，图18表示其中的一个变形例。
该摄像元件22的滤色器排列包括由与6×6像素对应的正方排列图案构成的基本排列图案P(由粗线表示的图案)，该基本排列图案P沿水平方向以及垂直方向重复配置。即，该滤色器排列中，红(R)、绿(G)、蓝(B)的各颜色的滤波器(R滤波器、G滤波器、B滤波器)具有预定的周期性而排列。这样，由于R滤波器、G滤波器、B滤波器具有预定的周期性而排列，所以与以往已知的随机排列相比，在进行从摄像元件22读出的RGB的RAW数据(马赛克图像数据)的图像处理等时，能够根据重复图案进行处理。
图18所示的滤色器排列中，与用于得到亮度信号而贡献最多的颜色(G的颜色)对应的G滤波器在基本排列图案内在滤色器排列的水平、垂直、斜右上(NE)以及斜左上(NW)方向的各线内配置有1个以上。
由于与亮度系像素对应的G滤波器配置在滤色器排列的水平、垂直以及斜(NE、NW)方向的各线内，所以与成为高频的方向无关地，能够提高在高频区域中的同时化处理(去马赛克处理)的再现精度。
此外，图18所示的滤色器排列中，与上述G的颜色以外的2个颜色以上的其他颜色(在该实施方式中，R、B的颜色)对应的R滤波器、B滤波器在基本排列图案内在滤色器排列的水平以及垂直方向的各线内配置有1个以上。
由于R滤波器、B滤波器配置在滤色器排列的水平以及垂直方向的各线内，所以能够降低伪色(摩尔纹)的发生。
由此，能够省略用于降低(抑制)伪色的发生的光学低通滤波器。此外，即使是在应用光学低通滤波器的情况下，也能够应用截止用于防止伪色的发生的高频分量的作用弱的光学低通滤波器，所以能够不会损伤分辨率。
进一步，图18所示的滤色器排列的基本排列图案P中，与该基本排列图案内的R、G、B滤波器对应的R像素、G像素、B像素的像素数分别成为8像素、20像素、8像素。即，RGB像素的各像素数的比率成为2：5：2，用于得到亮度信号而贡献最多的G像素的像素数的比率比其他颜色的R像素、B像素的像素数的比率大。
如上所述，由于G像素的像素数和R、B像素的像素数的比率不同，尤其，将用于得到亮度信号而贡献最多的G像素的像素数的比率设为比R、B像素的像素数的比率大，所以能够抑制同时化处理时的混淆，且还能够提高高频再现性。
图19表示将图18所示的基本排列图案P以3×3像素进行了4分割的状态。如图19所示，基本排列图案P能够掌握为由实线的框包围的3×3像素的A排列和由虚线的框包围的3×3像素的B排列沿水平、垂直方向交替排列的排列。
在A排列以及B排列中，G滤波器分别配置在4个角和中央，配置在两个对角线上。此外，A排列中，隔着中央的G滤波器而R滤波器沿水平方向排列，B滤波器沿垂直方向排列，另一方面，B排列中，隔着中央的G滤波器而B滤波器沿水平方向排列，R滤波器沿垂直方向排列。即，A排列和B排列中，R滤波器和B滤波器的位置关系相反，但其他的配置相同。
此外，A排列和B排列的4个角的G滤波器通过A排列和B排列沿水平、垂直方向交替配置，成为与2×2像素对应的正方排列的G滤波器。
系统或者装置的计算机(或CPU或MPU(微处理器(Micro-Processing Unit)))从存储了用于实现在上述的实施方式中表示的流程的顺序的程序代码(程序)的存储介质(非临时性(non-transitory)的记录介质)读出该程序代码并执行，也能够实现本发明的目的。此外，本发明也能够作为用于使用本发明的方法的、存储能够执行的代码的计算机程序产品而提供。
此时，从存储介质读出的程序代码本身实现上述的实施方式的功能。因此，该程序代码以及存储/记录了程序代码的计算机能够读取的存储介质也构成本发明的一个。
作为用于供应程序代码的存储介质，例如，能够使用软盘(注册商标)、硬盘、光盘、光磁盘、CD-ROM(紧凑盘只读存储器(Compact Disc Read Only Memory))、CD-R(可读写紧凑盘(Compact Disc Recordable))、磁盘、非易失性的存储卡、ROM(只读存储器(Read OnlyMemory))等。
此外，前述的实施方式的功能通过执行计算机读出的程序而实现。此外，该程序的执行还包括在计算机上工作的OS(操作系统(Operating System))等基于该程序的指示而进行实际的处理的一部分或者全部的情况。
进一步，前述的实施方式的功能也能够通过插入计算机的功能扩展板或与计算机连接的功能扩展单元而实现。此时，首先，从存储介质读出的程序写入到在插入计算机的功能扩展板或与计算机连接的功能扩展单元中具备的存储器。之后，基于该程序的指示，在该功能扩展板或功能扩展单元中具备的CPU等进行实际的处理的一部分或者全部。通过这样的功能扩展板或功能扩展单元的处理，也能够实现前述的实施方式的功能。
此外，前述的实施方式的流程的各步骤并不限定于使用软件(计算机)而实现，也可以使用硬件(电子电路)而实现。
＜对于EDoF系统的应用例＞
上述的实施方式中的点像复原处理执行部110进行的点像复原处理是根据特定的摄影条件(例如，光圈值、焦距、透镜种类等)而将点扩散(点像模糊)进行恢复修正，从而复原原本的被摄体像的图像处理，但能够应用本发明的图像处理并不限定于上述的实施方式中的点像复原处理。也能够将本发明的点像复原处理应用于例如对于通过具有被放大的景深(焦点)深度(EDoF：Extended Depth of FieLd(Focus))的光学系统(摄影透镜等)而被拍摄取得的图像数据的点像复原处理。通过对以通过EDoF光学系统而景深深度(焦点深度)被放大的状态拍摄取得的模糊图像的图像数据进行复原处理，能够复原生成在宽范围内焦点对准的状态的高分辨率的图像数据。在该情况下，进行使用了基于EDoF光学系统的点扩散函数(PSF、OTF(光学传递函数(optical transfer function))、MTF(调制传递函数(modulation transfer function)、幅度传递函数(magnitude transfer function))、PTF(相位传递函数(phase transfer function))等)的复原滤波器、并且是具有设定为在被放大的景深深度(焦点深度)的范围内能够进行良好的图像复原的滤波器系数的复原滤波器的点像复原处理。
以下，说明有关经由EDoF光学系统而拍摄取得的图像数据的复原的系统(EDoF系统)的一例。另外，在以下所示的例中，也对从去马赛克处理后的图像数据(RGB数据)得到的亮度信号(Y数据)进行点像复原处理。
图20是表示具备EDoF光学系统的摄像模块201的一个方式的框图。本例的摄像模块(数码相机等)201包括EDoF光学系统(透镜单元)210、摄像元件212、AD转换部214、点像复原处理块(图像处理部)220。
图21是表示EDoF光学系统210的一例的图。本例的EDoF光学系统210具有单焦点的固定的摄影透镜210A和配置在光瞳位置的光学滤波器211。光学滤波器211对相位进行调制，且以得到被放大的景深深度(焦点深度)(EDoF)的方式对EDoF光学系统210(摄影透镜210A)进行EDoF化。这样，摄影透镜210A以及光学滤波器211构成对相位进行调制而使景深深度放大的透镜部。
另外，EDoF光学系统210根据需要而包括其他的结构元素，例如在光学滤波器211的附近配设有光圈(省略图示)。此外，光学滤波器211既可以是一个，也可以组合多个。此外，光学滤波器211只不过是光学的相位调制单元的一例，EDoF光学系统210(摄影透镜210A)的EDoF化也可以通过其他的单元而实现。例如，也可以代替设置光学滤波器211，通过以具有与本例的光学滤波器211同等的功能的方式进行了透镜设计的摄影透镜210A而实现EDoF光学系统210的EDoF化。
即，通过改变对于摄像元件212的受光面的成像的波面的各种单元，能够实现EDoF光学系统210的EDoF化。例如，能够将“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“通过对于透镜表面的编码等而厚度或折射率变化的光学元件(波面调制混合透镜、在透镜面上作为相位面而形成的光学元件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相位调制元件等)”采用作为EDoF光学系统210的·BR>DDoF化单元。这样，本发明除了通过光波面调制元件(光学滤波器211(相位板))而能够进行有规律地分散的图像形成的情形之外，还能够应用于能够由摄影透镜210A自身而不使用光波面调制元件形成与在使用了光波面调制元件时相同的分散图像的情形。
图21所示的EDoF光学系统210由于能够省略机械地进行焦点调节的焦点调节机构，所以能够进行小型化，能够适合搭载于附带相机的便携电话或便携信息终端。
通过了进行了EDoF化的EDoF光学系统210之后的光学像在图20所示的摄像元件212上成像，且在这里转换为电信号。
摄像元件212由通过预定的图案排列(拜耳排列、G条纹R/G完全方格、X-Trans排列、蜂巢排列等)而以矩阵状配置的多个像素构成，各像素包括微透镜、滤色器(在本例中，RGB滤色器)以及光电二极管而构成。经由EDoF光学系统210入射到摄像元件212的受光面的光学像通过在该受光面排列的各光电二极管而转换为与入射光量对应的量的信号电荷。然后，在各光电二极管中蓄积的R/G/B的信号电荷作为每个像素的电压信号(图像信号)而顺次输出。
AD转换部214将从摄像元件212按每个像素输出的模拟的R/G/B图像信号转换为数字的RGB图像信号。通过AD转换部214而转换为数字的图像信号的数字图像信号施加到点像复原处理块220。
点像复原处理块220例如包括黑等级调整部222、白平衡增益部223、伽马处理部224、去马赛克处理部225、RGB/YCrCb转换部226、亮度信号Y点像复原处理部227。
黑等级调整部222对从AD转换部214输出的数字图像信号施加黑等级调整。在黑等级调整中，能够采用公知的方法。例如，在着眼于某有效光电转换元件的情况下，求出与在包括该有效光电转换元件的光电转换元件行中包含的多个OB光电转换元件的各个对应的暗电流量取得用信号的平均，从与该有效光电转换元件对应的暗电流量取得用信号减去该平均，从而进行黑等级调整。
白平衡增益部223进行与在调整了黑等级数据的数字图像信号中包含的RGB各颜色信号的白平衡增益对应的增益调整。
伽马处理部224进行进行半色调等的灰度校正的伽马校正，使得进行了白平衡调整的R、G、B图像信号成为期望的伽马特性。
去马赛克处理部225对伽马校正后的R、G、B图像信号施加去马赛克处理。具体而言，去马赛克处理部225通过对R、G、B的图像信号施加颜色插值处理，生成从摄像元件212的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，虽然在颜色去马赛克处理前，来自各受光像素的像素信号是R、G、B的图像信号中的任一个，但在颜色去马赛克处理后，输出与各受光像素对应的R、G、B信号的3个像素信号的组。
RGB/YCrCb转换部226将进行了去马赛克处理的每个像素的R、G、B信号转换为亮度信号Y和色差信号Cr、Cb，输出每个像素的亮度信号Y以及色差信号Cr、Cb。
亮度信号Y点像复原处理部227基于预先存储的复原滤波器，对来自RGB/YCrCb转换部226的亮度信号Y进行点像复原处理。复原滤波器例如由具有7×7的内核大小的反卷积内核(与M＝7、N＝7的抽头数对应)和与该反卷积内核对应的运算系数(与复原增益数据、滤波器系数对应)构成，使用于光学滤波器211的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器存储在与光学滤波器211对应的部分未图示的存储器(例如，亮度信号Y点像复原处理部227附带而设置的存储器)中。此外，反卷积内核的内核大小并不限定于7×7。
接着，说明点像复原处理块220的点像复原处理。图22是表示图20所示的点像复原处理块220中的复原处理流程的一例的流程图。
在黑等级调整部222的一个输入中，从AD转换部214被施加数字图像信号，在其他的输入中被施加黑等级数据，黑等级调整部222从数字图像信号减去黑等级数据，并将减去了黑等级数据的数字图像信号输出到白平衡增益部223(S1)。由此，在数字图像信号中不包括黑等级分量，表示黑等级的数字图像信号成为0。
对黑等级调整后的图像数据顺次实施白平衡增益部223、伽马处理部224的处理(步骤S2以及S3)。
进行了伽马校正的R、G、B信号在去马赛克处理部225中进行了去马赛克处理之后，在RGB/YCrCb转换部226中转换为亮度信号Y和色度信号Cr、Cb(步骤S4)。
亮度信号Y点像复原处理部227进行对亮度信号Y施加EDoF光学系统210的光学滤波器211的相位调制量的反卷积处理的点像复原处理(步骤S5)。即，亮度信号Y点像复原处理部227进行与以任意的处理对象的像素为中心的预定单位的像素群对应的亮度信号(这里，7×7像素的亮度信号)和预先存储在存储器等中的复原滤波器(7×7的反卷积内核和其运算系数)的反卷积处理(反卷积运算处理)。亮度信号Y点像复原处理部227通过将该预定单位的每个像素群的反卷积处理以覆盖摄像面的全部区域的方式重复，从而进行去除图像整体的像模糊的点像复原处理。复原滤波器根据实施反卷积处理的像素群的中心的位置而确定。即，对近接的像素群应用共同的复原滤波器。进一步，为了简化点像复原处理，优选对全部像素群应用共同的复原滤波器。
如上所述，在对于Edof系统的应用例中也同样地，如图4的(a)所示，通过了EDoF光学系统210之后的亮度信号的点像(光学像)作为大的点像(模糊的图像)而在摄像元件212上成像，但通过在亮度信号Y点像复原处理部227中的反卷积处理，如图4的(b)所示那样复原为小的点像(高分辨率的图像)。
如上所述，通过对去马赛克处理后的亮度信号施加点像复原处理，不需要RGB分别具有点像复原处理的参数，能够将点像复原处理高速化。此外，由于不将与位于分散的位置的R/G/B的像素对应的R/G/B的图像信号分别汇集为一个单位而进行反卷积处理，而是将近接的像素的亮度信号之间以预定的单位汇集，对该单位应用共同的复原滤波器而进行反卷积处理，所以复原处理的精度提高。另外，关于色差信号Cr/Cb，在人的眼睛的视觉的特性上，即使在点像复原处理中不提高分辨率，在画质上也会被允许。此外，在以如JPEG这样的压缩格式来记录图像的情况下，色差信号以比亮度信号高的压缩率而被压缩，所以缺少在点像复原处理中提高分辨率的必要性。这样，能够兼顾复原精度的提高和处理的简化以及高速化。
也能够将本发明的各实施方式所涉及的点像复原处理应用于如以上说明的EDoF系统的点像复原处理。
作为本发明的摄像装置(包括本发明的图像处理装置28的摄像装置)的实施方式，在图1中说明了数码相机，但摄影装置的结构并不限定于此。作为本发明的其他的摄影装置，例如，能够设为内置型或外置型的PC用相机或者以下说明的具有摄影功能的便携终端装置。
作为本发明的摄影装置的一实施方式的便携终端装置，例如举出便携电话机或智能手机、PDA(个人数字助理(Personal Digital Assistants))、便携式游戏机。以下，举智能手机(多功能便携电话)为例，参照附图详细说明。
图23是表示作为本发明的摄影装置的一实施方式的智能手机301的外观的图。图23所示的智能手机301具有平板状的壳体302，在壳体302的一个面包括作为显示部的显示面板321和作为输入部的操作面板322成为一体的显示输入部320。此外，该壳体302包括扬声器331、话筒332、操作部340、相机部341。另外，壳体302的结构并不限定于此，例如也可以采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图24是表示图23所示的智能手机301的结构的框图。如图24所示，作为智能手机的主要的结构元素，包括无线通信部310、显示输入部320、通话部330、操作部340、相机部341、存储部350、外部输入输出部360、GPS(全球定位系统(Global Positioning System))接收部370、运动传感器部380、电源部390、主控制部400。此外，作为智能手机301的主要的功能，包括与基站装置BS进行经由移动通信网NW的移动无线通信的无线通信功能。此外，上述说明的图像处理部28主要考虑属于主控制部400的方式，但并不限定于此。
无线通信部310根据主控制部400的指示，对在移动通信网NW中容纳的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等的各种文件数据、电子邮件数据等的发送接收、Web数据或流数据等的接收。
显示输入部320是通过主控制部400的控制，显示图像(静止图像以及活动图像)或字符信息等而在视觉上对用户传递信息，且检测对于所显示的信息的用户操作的、所谓的触摸面板，包括显示面板321和操作面板322。
显示面板321将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备。操作面板322是放置成能够对在显示面板321的显示面上显示的图像进行视觉辨认，检测由用户的手指或尖笔操作的一个或者多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将由操作起因而产生的检测信号输出到主控制部400。接着，主控制部400基于接收到的检测信号，检测显示面板321上的操作位置(坐标)。
如图23所示，作为本发明的摄影装置的一实施方式而例示的智能手机301的显示面板321和操作面板322成为一体而构成显示输入部320，但也可以成为操作面板322完全覆盖显示面板321的配置。在采用了这个配置的情况下，操作面板322也可以对显示面板321外的区域也具有检测用户操作的功能。换言之，操作面板322也可以具有关于与显示面板321重叠的重叠部分的检测区域(以下，称为显示区域)和关于除此以外的不与显示面板321重叠的外缘部分的检测区域(以下，称为非显示区域)。
此外，也可以使显示区域的大小和显示面板321的大小完全一致，但不需要使两者必须一致。此外，操作面板322也可以具有外缘部分和除此以外的内侧部分的2个感应区域。进一步，外缘部分的宽度根据壳体302的大小等而适当设计。进一步，作为在操作面板322中采用的位置检测方式，举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一种方式。
通话部330包括扬声器331和话筒332，将通过话筒332输入的用户的声音转换为能够在主控制部400中处理的声音数据而输出到主控制部400，或者对从无线通信部310或者外部输入输出部360接收到的声音数据进行解码而使从扬声器331输出。此外，如图23所示，例如，能够将扬声器331搭载在与设置了显示输入部320的面相同的面，将话筒332搭载在壳体302的侧面。
操作部340是使用了键开关等的硬件键，接受来自用户的指示。例如，如图23所示，操作部340搭载在智能手机301的壳体302的侧面，是若通过手指等被按下则接通、若挪走手指则通过弹簧等的恢复力而成为断开状态的按钮式的开关。
存储部350存储主控制部400的控制程序或控制数据、应用软件、将通信对方的名称或电话号等建立对应的地址数据、发送接收的电子邮件的数据、通过Web浏览而下载的Web数据、下载的内容数据，此外，临时存储流数据等。此外，存储部350由智能手机内置的内部存储部351和具有装卸自如的外部存储器槽的外部存储部352构成。另外，构成存储部350的各个内部存储部351和外部存储部352使用闪存类(flash memory type)、硬盘类(harddisk type)、微型多媒体卡类(multimedia card micro type)、卡类的存储器(例如，MicroSD(注册商标)存储器等)、RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))等的存储介质而实现。
外部输入输出部360起到与连接到智能手机301的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或者网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(Radio Frequency Identification))、红外线通信(红外数据联盟(Infrared Data Association：IrDA))(注册商标)、UWB(超宽带(Ultra Wideband))(注册商标)、紫峰(ZigBee)(注册商标)等)直接或者间接连接到其他的外部设备。
作为连接到智能手机301的外部设备，例如有经由有线/无线头组、有线/无线外部充电器、有线/无线数据端口、印刷电路板座(card socket)而连接的存储卡(Memory card)或SIM(用户识别模块卡(Subscriber Identity Module Card))/UIM(用户身份模块卡(User Identity Module Card))卡、经由音频视频I/O(输入/输出(Input/Output))端子而连接的外部音频视频设备、无线连接的外部音频视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部能够进行将这样从外部设备接受传输的数据传递到智能手机301的内部的各结构元素、将智能手机301的内部的数据传输到外部设备。
GPS接收部370根据主控制部400的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的定位运算处理，检测由该智能手机301的纬度、经度、高度而成的位置。GPS接收部370在能够从无线通信部310或外部输入输出部360(例如，无线LAN)取得位置信息时，还能够使用该位置信息而检测位置。
运动传感器部380具有例如3轴的加速度传感器等，根据主控制部400的指示，检测智能手机301的物理上的动作。通过检测智能手机301的物理上的动作，检测出智能手机301移动的方向和加速度。该检测结果输出到主控制部400。
电源部390根据主控制部400的指示，对智能手机301的各部分提供在电池(未图示)中蓄积的电力。
主控制部400具有微处理器，根据存储部350存储的控制程序或控制数据而动作，统一控制智能手机301的各部分。此外，主控制部400为了通过无线通信部310而进行声音通信或数据通信，具有控制通信系统的各部分的移动通信控制功能和应用处理功能。
应用处理功能通过根据存储部350存储的应用软件，主控制部400动作而实现。作为应用处理功能，例如有控制外部输入输出部360而与对向设备进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、阅览Web网页的Web浏览功能。
此外，主控制部400具有基于接收数据或下载的流数据等的图像数据(静止图像或活动图像的数据)，将影像在显示输入部320中显示等的图像处理功能。图像处理功能是指，主控制部400对上述图像数据进行解码，对该解码结果实施图像处理，并将图像在显示输入部320中显示的功能。
进一步，主控制部400执行对于显示面板321的显示控制和检测通过了操作部340、操作面板322的用户操作的操作检测控制。
通过显示控制的执行，主控制部400显示用于启动应用软件的图标或滚动条等的软件键，或者用于制作电子邮件的窗。另外，滚动条是指，关于不能在显示面板321的显示区域中容纳的大的图像等，用于接受移动图像的显示部分的指示的软件键。
此外，通过操作检测控制的执行，主控制部400检测通过了操作部340的用户操作，或者通过操作面板322接受对于上述图标的操作、对于上述窗的输入栏的字符串的输入，或者接受通过了滚动条的显示图像的滚动请求。
进一步，通过操作检测控制的执行，主控制部400具有判定对于操作面板322的操作位置是与显示面板321重叠的重叠部分(显示区域)还是除此以外的不与显示面板321重叠的外缘部分(非显示区域)，并对操作面板322的感应区域或软件键的显示位置进行控制的触摸面板控制功能。
此外，主控制部400还能够检测对于操作面板322的手势操作，并与检测到的手势操作对应地执行预先设定的功能。手势操作意味着，不是现有的单纯的触摸操作，而是通过手指等而描画轨迹，或者同时指定多个位置，或者将这些进行组合而从多个位置至少对一个位置描画轨迹的操作。
相机部341是使用CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))或CCD(电荷耦合器件(Charge-Coupled Device))等的摄像元件进行电子摄影的数码相机。此外，相机部341通过主控制部400的控制，能够将通过拍摄而得到的图像数据例如转换为JPEG(联合图像专家组(Joint Photographic coding Experts Group))等的压缩的图像数据，并记录在存储部350中，或者通过外部输入输出部360或无线通信部310而输出。虽然在图23所示的智能手机301中，相机部341搭载在与显示输入部320相同的面，但相机部341的搭载位置并不限定于此，也可以搭载在显示输入部320的背面，或者，也可以搭载多个相机部341。此外，在搭载了多个相机部341的情况下，也能够切换供于拍摄的相机部341而单独拍摄，或者同时使用多个相机部341而拍摄。
此外，相机部341能够利用于智能手机301的各种功能。例如，作为在显示面板321中显示在相机部341中取得的图像或者操作面板322的操作输入之一，能够利用相机部341的图像。此外，在GPS接收部370检测位置时，还能够参照来自相机部341的图像而检测位置。进一步，还能够参照来自相机部341的图像，不使用3轴的加速度传感器或者与3轴的加速度传感器并用地，判断智能手机301的相机部341的光轴方向或者判断当前的使用环境。当然，还能够在应用软件内利用来自相机部341的图像。
除此之外，也可以在静止画面或者动画的图像数据中附加由GPS接收部370取得的位置信息、由话筒332取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部380取得的姿势信息等而记录在存储部350中，或者通过外部输入输出部360或无线通信部310而输出。
此外，本发明并不限定于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种变形而不言而喻的。
标号说明
10…摄像装置、22…摄像元件、28…图像处理部、100…去马赛克处理部、105…亮度系图像数据取得部、110…点像复原处理执行部、111…图像分析部、115…信息取得部、120…点像复原处理控制部、201…摄像模块、210…EDoF光学系统、220…点像复原处理块、301…智能手机。

Claims (17)

1.一种图像处理装置，包括：
去马赛克处理单元，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；
亮度系图像数据取得单元，基于由所述去马赛克处理单元所得到的所述去马赛克图像数据，取得作为与亮度有关的图像数据的亮度系图像数据；
点像复原处理执行单元，对由所述亮度系图像数据取得单元所取得的所述亮度系图像数据进行点像复原处理；
信息取得单元，基于与被摄体的摄影条件有关的摄影信息和所存储的与伪信号有关的表格信息，取得与所述点像复原处理的执行有关的控制信息；以及
点像复原处理控制单元，基于由所述信息取得单元所取得的所述控制信息，判别若进行所述点像复原处理则基于色差和所述去马赛克处理的伪信号是否被增强，并基于该判别结果而控制所述点像复原处理执行单元的处理动作。
2.一种图像处理装置，包括：
去马赛克处理单元，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；
亮度系图像数据取得单元，基于由所述去马赛克处理单元所得到的所述去马赛克图像数据，取得作为与亮度有关的图像数据的亮度系图像数据；
点像复原处理执行单元，对由所述亮度系图像数据取得单元所取得的所述亮度系图像数据进行点像复原处理；
图像分析单元，基于所述马赛克图像数据或所述去马赛克图像数据，分析是否为若进行所述点像复原处理则基于色差和所述去马赛克处理的伪信号被增强的所述马赛克图像数据，或者是否为若进行所述点像复原处理则基于色差和所述去马赛克处理的伪信号被增强的所述去马赛克图像数据；
信息取得单元，基于与被摄体的摄影条件有关的摄影信息和所存储的与伪信号有关的表格信息、以及由所述图像分析单元所得到的分析信息，取得与所述点像复原处理的执行有关的控制信息；以及
点像复原处理控制单元，基于由所述信息取得单元所取得的所述控制信息，控制所述点像复原处理执行单元的处理动作。
3.如权利要求1或2所述的图像处理装置，其中，
所述摄影信息包括在摄影中使用的透镜信息、摄影时的光圈值、摄影时的焦距以及摄影时的被摄体距离中的至少一个。
4.如权利要求2所述的图像处理装置，其中，
所述图像分析单元通过基于所述马赛克图像数据或所述去马赛克图像数据而求出对比度的大小，从而分析是否为若进行所述点像复原处理则伪信号被增强的所述马赛克图像数据，或者是否为若进行所述点像复原处理则伪信号被增强的所述去马赛克图像数据。
5.如权利要求1或2所述的图像处理装置，其中，
所述点像复原处理控制单元根据所述控制信息，判别若进行所述点像复原处理则所述伪信号是否被增强，
所述点像复原处理控制单元在判别为所述伪信号没有被增强的情况下，使所述点像复原处理执行单元对所述亮度系图像数据进行所述点像复原处理，
所述点像复原处理控制单元在判别为所述伪信号被增强的情况下，禁止所述点像复原处理执行单元对于所述亮度系图像数据的所述点像复原处理。
6.如权利要求1或2所述的图像处理装置，其中，
所述点像复原处理控制单元根据所述控制信息，判别若进行所述点像复原处理则所述伪信号是否被增强，
所述点像复原处理控制单元在判别为所述伪信号没有被增强的情况下，使所述点像复原处理执行单元对所述亮度系图像数据进行所述点像复原处理，
所述点像复原处理控制单元在判别为所述伪信号被增强的情况下，确定作为所述伪信号被增强的区域的伪信号增强区域，禁止所述点像复原处理执行单元对于所述伪信号增强区域的所述点像复原处理，对所述伪信号增强区域以外的区域进行所述点像复原处理。
7.如权利要求1或2所述的图像处理装置，其中，
所述点像复原处理控制单元根据所述控制信息，判别若进行所述点像复原处理则所述伪信号是否被增强，
所述点像复原处理控制单元在判别为所述伪信号没有被增强的情况下，使所述点像复原处理执行单元对所述亮度系图像数据进行所述点像复原处理，
所述点像复原处理控制单元在判别为所述伪信号被增强的情况下，确定作为所述伪信号被增强的区域的伪信号增强区域，使所述点像复原处理执行单元对所述伪信号增强区域以外的区域进行所述点像复原处理，使所述点像复原处理执行单元对所述伪信号增强区域代替所述点像复原处理而进行效果比所述点像复原处理弱的点像复原处理。
8.如权利要求1或2所述的图像处理装置，其中，
所述点像复原处理控制单元根据所述控制信息，判别若进行所述点像复原处理则所述伪信号是否被增强，
所述点像复原处理控制单元在判别为所述伪信号没有被增强的情况下，使所述点像复原处理执行单元对所述亮度系图像数据进行所述点像复原处理，
所述点像复原处理控制单元在判别为所述伪信号被增强的情况下，确定作为所述伪信号被增强的程度的伪信号增强程度，使所述点像复原处理执行单元根据所述伪信号增强程度而改变所述点像复原处理的强度来进行所述点像复原处理。
9.如权利要求6所述的图像处理装置，其中，
由所述点像复原处理控制单元所确定的所述伪信号增强区域是像高高的区域。
10.如权利要求7所述的图像处理装置，其中，
由所述点像复原处理控制单元所确定的所述伪信号增强区域是像高高的区域。
11.如权利要求1或2所述的图像处理装置，其中，
所述亮度系图像数据是用于得到亮度信号的贡献率最高的所述去马赛克图像数据内的颜色数据或者基于所述去马赛克图像数据而得到的亮度信号。
12.如权利要求1或2所述的图像处理装置，其中，
所述亮度系图像数据是由亮度信号Y以及色差信号Cb、Cr表示的颜色空间中的亮度信号Y的值。
13.如权利要求1或2所述的图像处理装置，其中，
所述去马赛克处理单元包括基于用于得到亮度信号的贡献率最高的所述马赛克图像数据内的颜色数据而判别构成所述马赛克图像数据的多个像素信号中的相关方向的处理。
14.如权利要求1或2所述的图像处理装置，其中，
所述去马赛克处理单元包括基于用于得到亮度信号的贡献率最高的所述马赛克图像数据内的颜色数据的、所述马赛克图像数据中的边缘检测处理。
15.一种摄像装置，包括权利要求1至14的任一项所述的图像处理装置。
16.一种图像处理方法，包括以下步骤：
去马赛克处理步骤，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；
亮度系图像数据取得步骤，基于通过所述去马赛克处理步骤而生成的所述去马赛克图像数据，取得与亮度有关的亮度系图像数据；
点像复原处理执行步骤，对通过所述亮度系图像数据取得步骤而取得的所述亮度系图像数据进行点像复原处理；
信息取得步骤，基于与被摄体的摄影条件有关的摄影信息和所存储的与伪信号有关的表格信息，取得与所述点像复原处理的执行有关的控制信息；以及
点像复原处理控制步骤，基于通过所述信息取得步骤而得到的所述控制信息，判别若进行所述点像复原处理则基于色差和所述去马赛克处理的伪信号是否被增强，并基于该判别结果而控制所述点像复原处理执行步骤的处理动作。
17.一种图像处理方法，包括以下步骤：
去马赛克处理步骤，对从摄像元件输出的马赛克图像数据进行去马赛克处理，生成去马赛克图像数据；
亮度系图像数据取得步骤，基于通过所述去马赛克处理步骤而生成的所述去马赛克图像数据，取得与亮度有关的亮度系图像数据；
点像复原处理执行步骤，对通过所述亮度系图像数据取得步骤而取得的所述亮度系图像数据进行点像复原处理；
图像分析步骤，基于所述马赛克图像数据或所述去马赛克图像数据，分析是否为若进行所述点像复原处理则基于色差和所述去马赛克处理的伪信号被增强的所述马赛克图像数据，或者是否为若进行所述点像复原处理则基于色差和所述去马赛克处理的伪信号被增强的所述去马赛克图像数据，而得到分析信息；
信息取得步骤，基于与被摄体的摄影条件有关的摄影信息和所存储的与伪信号有关的表格信息、以及所述分析信息，取得与所述点像复原处理的执行有关的控制信息；以及
点像复原处理控制步骤，基于通过所述信息取得步骤而得到的所述控制信息，控制所述点像复原处理执行步骤的处理动作。
CN201380072322.0A 2013-02-05 2013-04-26 图像处理装置、摄像装置、图像处理方法以及程序 Active CN104969545B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-020490 2013-02-05
JP2013020490 2013-02-05
PCT/JP2013/062466 WO2014122804A1 (ja) 2013-02-05 2013-04-26 画像処理装置、撮像装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104969545A CN104969545A (zh) 2015-10-07
CN104969545B true CN104969545B (zh) 2018-03-20

Family

ID=51299415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380072322.0A Active CN104969545B (zh) 2013-02-05 2013-04-26 图像处理装置、摄像装置、图像处理方法以及程序

Country Status (5)

Country Link
US (1) US9432643B2 (zh)
JP (1) JP5830186B2 (zh)
CN (1) CN104969545B (zh)
DE (1) DE112013006596B4 (zh)
WO (1) WO2014122804A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9674431B2 (en) 2013-02-01 2017-06-06 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US9424629B2 (en) * 2013-02-01 2016-08-23 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
KR102394277B1 (ko) * 2014-08-22 2022-05-06 에스케이하이닉스 주식회사 이미지 센서 및 이를 구비하는 전자장치
US10115757B2 (en) 2014-08-22 2018-10-30 SK Hynix Inc. Image sensor and electronic device having the same
US9870600B2 (en) * 2015-01-06 2018-01-16 The Regents Of The University Of California Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
JP6663201B2 (ja) * 2015-10-27 2020-03-11 キヤノン株式会社 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及び記憶媒体
US9866809B2 (en) * 2015-11-19 2018-01-09 Sony Corporation Image processing system with aliasing detection mechanism and method of operation thereof
US10429271B2 (en) * 2016-07-01 2019-10-01 Microsoft Technology Licensing, Llc Camera testing using reverse projection
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN111824164B (zh) * 2019-04-11 2021-10-22 中能道通物流科技有限责任公司 周围信息采集显示方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7253836B1 (en) * 1998-06-30 2007-08-07 Nikon Corporation Digital camera, storage medium for image signal processing, carrier wave and electronic camera
JP2001197356A (ja) * 2000-01-13 2001-07-19 Minolta Co Ltd 画像復元装置および画像復元方法
US20010008418A1 (en) 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
US20020167602A1 (en) * 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
JP2002300461A (ja) 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
US6978050B2 (en) * 2001-07-18 2005-12-20 Hewlett-Packard Development Company, L.P. Electronic image color plane reconstruction
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
WO2004112401A1 (ja) * 2003-06-12 2004-12-23 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置
JP2005354610A (ja) * 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
US7525583B2 (en) * 2005-02-11 2009-04-28 Hewlett-Packard Development Company, L.P. Decreasing aliasing in electronic images
TWI260918B (en) * 2005-05-30 2006-08-21 Pixart Imaging Inc Pixel compensation method for an image sensor
US20070133902A1 (en) * 2005-12-13 2007-06-14 Portalplayer, Inc. Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP5222472B2 (ja) * 2006-07-14 2013-06-26 イーストマン コダック カンパニー 画像処理装置、画像復元方法およびプログラム
US8036481B2 (en) 2006-07-14 2011-10-11 Eastman Kodak Company Image processing apparatus and image restoration method and program
US7907791B2 (en) * 2006-11-27 2011-03-15 Tessera International, Inc. Processing of mosaic images
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
JP4986965B2 (ja) * 2008-09-30 2012-07-25 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP2011135563A (ja) * 2009-11-30 2011-07-07 Canon Inc 撮像装置および画像処理方法
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5441652B2 (ja) * 2009-12-09 2014-03-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5363966B2 (ja) * 2009-12-18 2013-12-11 富士フイルム株式会社 撮像装置
JP2011193276A (ja) * 2010-03-15 2011-09-29 Canon Inc 撮像装置、その制御方法及びプログラム
JP5284537B2 (ja) * 2010-03-31 2013-09-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
WO2011145297A1 (ja) * 2010-05-21 2011-11-24 パナソニック株式会社 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP2012005056A (ja) * 2010-06-21 2012-01-05 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP5693089B2 (ja) * 2010-08-20 2015-04-01 キヤノン株式会社 画像処理装置、及び画像処理装置の制御方法
JP5660711B2 (ja) * 2010-09-16 2015-01-28 富士フイルム株式会社 復元ゲインデータ生成方法
EP2683167B1 (en) * 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device
CN103974044B (zh) * 2011-02-28 2016-06-08 富士胶片株式会社 镶嵌图像处理方法
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP5818586B2 (ja) * 2011-08-31 2015-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
WO2014024500A1 (ja) * 2012-08-10 2014-02-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2014123173A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、撮像装置及び画像処理方法
CN104580879B (zh) * 2013-10-09 2018-01-12 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
JP6327922B2 (ja) * 2014-04-25 2018-05-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6071966B2 (ja) * 2014-09-17 2017-02-01 キヤノン株式会社 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム
JP6071974B2 (ja) * 2014-10-21 2017-02-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム

Also Published As

Publication number Publication date
CN104969545A (zh) 2015-10-07
DE112013006596B4 (de) 2019-10-02
JPWO2014122804A1 (ja) 2017-01-26
DE112013006596T5 (de) 2015-12-03
US20150334359A1 (en) 2015-11-19
WO2014122804A1 (ja) 2014-08-14
US9432643B2 (en) 2016-08-30
JP5830186B2 (ja) 2015-12-09

Similar Documents

Publication Publication Date Title
CN104969545B (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN104995911B (zh) 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN105009168B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置
CN104704806B (zh) 图像处理装置、摄像装置以及图像处理方法
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN104838646B (zh) 图像处理装置、图像处理方法、程序及记录介质
CN105103534B (zh) 摄像装置及校准方法
CN104854858B (zh) 图像处理装置、摄像装置、计算机
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
CN104704807B (zh) 图像处理装置、摄像装置及图像处理方法
CN107431760A (zh) 摄像装置、摄像装置的图像处理方法以及程序
CN105432068B (zh) 摄像装置、摄像方法及图像处理装置
CN105453534B (zh) 图像处理装置及方法
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN104584532B (zh) 图像处理装置、摄像装置、计算机、图像处理方法及程序
CN105009579B (zh) 复原滤波器生成装置和方法、图像处理装置和方法以及摄像装置
CN108141530A (zh) 图像处理装置、图像处理方法及程序
CN104335571A (zh) 图像处理装置、摄像装置、计算机、图像处理方法及程序
CN104380726B (zh) 图像处理装置及方法以及摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant