CN105453534A - 图像处理装置、摄像装置、图像处理方法及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及程序 Download PDF

Info

Publication number
CN105453534A
CN105453534A CN201480027398.6A CN201480027398A CN105453534A CN 105453534 A CN105453534 A CN 105453534A CN 201480027398 A CN201480027398 A CN 201480027398A CN 105453534 A CN105453534 A CN 105453534A
Authority
CN
China
Prior art keywords
display
area information
specific region
image
restored image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480027398.6A
Other languages
English (en)
Other versions
CN105453534B (zh
Inventor
林健吉
杉本雅彦
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105453534A publication Critical patent/CN105453534A/zh
Application granted granted Critical
Publication of CN105453534B publication Critical patent/CN105453534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种能够轻松地确认点像复原处理中的效果，并且即使在进行点像复原处理之前的摄影图像中存在噪声等如饱和像素等时，也能够适当地确认点像复原处理的效果的图像处理装置、摄像装置、图像处理方法及程序。本发明的图像处理装置具备：点像复原处理部(40)，输入摄影图像，并根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像；区域信息输出部(45)，输出与根据点像复原信息进行的点像复原处理而产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息；显示控制部(50)，输入复原图像及区域信息，并根据区域信息，以强调显示复原图像中的特定区域的方式进行显示控制；及显示部(55)，根据由显示控制部(50)进行的显示控制，至少进行特定区域的强调显示。

Description

图像处理装置、摄像装置、图像处理方法及程序
技术领域
本发明是涉及一种图像处理装置的技术，是尤其涉及实施根据点扩散函数(PSF：PointSpreadFunction)进行的校正的图像显示的技术。
背景技术
通过数码相机等摄像装置对被摄体进行摄影来获得的摄影图像中，有时会产生与光学系统(摄影透镜等)相关的各种像差引起的图像劣化和衍射模糊。
一直以来，为了防止该像差引起的图像劣化和衍射模糊(周边模糊、倍率色差等)，研究对被摄体像的图像数据进行图像处理来消除(修正)图像劣化和衍射模糊的技术。
由像差引起的图像劣化能够通过点扩散函数(PSF：PointSpreadFunction)表达，能够通过对画质劣化的摄影图像进行基于点扩散函数的点像复原处理来恢复画质。即，点像复原处理是通过对摄影图像数据施以点扩散函数的复原滤波器(逆滤波器)来消除图像劣化的处理。
另一方面，一直以来研究对已摄影的摄影图像进行校正时，用于确认其校正效果的各种技术。
例如，专利文献1中公开有比较显示校正图画模糊之后的图像与校正之前的图像的技术。
并且，专利文献2中公开有如下技术，即，分别对恢复处理之前的模糊图像和已进行恢复处理的复原图像、与点像函数(认为是与本申请的点扩散函数对应的函数)相关的信息和模糊轨迹数据建立对应关联来显示。
并且，专利文献3中公开有显示校正对象图像(校正前的图像)与校正后的图像，评价对象图像的复原度来判定模糊程度，并将其判定进一步用于校正的技术。
专利文献4中公开有显示恢复处理(认为是与本申请的点像复原处理对应的处理)前后的图像中差最大的区域来确认恢复处理的效果的技术。
以往技术文献
专利文献
专利文献1：日本专利公开2009-213044号公报
专利文献2：日本专利公开2004-205802号公报
专利文献3：日本专利公开2009-77202号公报
专利文献4：日本专利公开2011-193277号公报
发明的概略
发明要解决的技术课题
然而，专利文献1至3中记载的技术中，有时无法适当地确认对摄影图像进行的点像复原处理的效果。即，确认点像复原处理的效果时，仅通过排列显示进行点像复原处理之前的摄影图像与进行点像复原处理之后的摄影图像，有时用户会难以视觉确认效果。并且，专利文献4中记载的技术中，当进行点像复原处理之前的摄影图像中存在噪声等(饱和像素等)时，有时会无法适当地确认点像复原处理的效果(图像是通过点像复原处理而得到改善还是由于噪声等的影响而劣化)。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够轻松地确认点像复原处理中的效果，并且即使在进行点像复原处理之前的摄影图像中存在噪声等(饱和像素等)时，也能够适当地确认点像复原处理的效果的图像处理装置、摄像装置、图像处理方法及程序。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式所涉及的图像处理装置具备：点像复原处理部，输入摄影图像，根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像；区域信息输出部，输出与根据点像复原信息进行的点像复原处理所产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息；显示控制部，输入复原图像及区域信息，根据区域信息，以强调显示复原图像中的特定区域的方式进行显示控制；及显示部，根据由显示控制部进行的显示控制，至少进行特定区域的强调显示。
由此，通过强调显示特定区域，能够轻松地确认点像复原处理中的效果。并且，即使在进行点像复原处理之前的摄影图像中存在噪声等(饱和像素等)时，由于根据复原强度对特定区域进行了确定，因此能够适当地确认点像复原处理的效果(图像是通过点像复原处理而得到改善还是由于噪声等的影响而劣化)。
图像处理装置中，优选区域信息输出部将基于点像复原信息的调制传递函数的增加率成为阈值以上的复原图像中的区域选作特定区域。
由此，能够更准确地进行特定区域的选择，且能够准确地强调显示所选择的特定区域，因此能够适当地确认点像复原处理的效果。
图像处理装置优选为如下：代替区域信息输出部而具备滤波器区域信息输出部，滤波器区域信息输出部中，输入与点像复原处理的复原滤波器相关的信息，并根据与复原滤波器相关的信息，输出与复原图像中的特定区域相关的滤波器区域信息，显示控制部中，代替区域信息而输入滤波器区域信息，并根据滤波器区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于滤波器区域信息的特定区域，并能够适当地确认点像复原处理的效果。
图像处理装置优选为如下：代替区域信息输出部而具备分析区域信息生成部，分析区域信息生成部中，输入有摄影图像，并通过分析来对在摄影图像中有可能产生伪信号的区域进行确定，从而生成将区域作为特定区域的分析区域信息，显示控制部中，代替区域信息而输入分析区域信息，并根据分析区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于分析区域信息的特定区域，并能够适当地确认点像复原处理的效果。
图像处理装置优选为如下：代替区域信息输出部而具备摄影条件区域信息输出部，摄影条件区域信息输出部中,输入与摄影图像的摄影条件相关的信息，并根据与摄影条件相关的信息，输出与摄影图像中的特定区域相关的摄影条件区域信息，显示控制部中，代替区域信息而输入摄影条件区域信息，根据摄影条件区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于摄影条件区域信息的特定区域，并能够适当地确认点像复原处理的效果。
图像处理装置中，优选摄影条件区域信息输出部根据F值、摄影距离、焦距、变焦位置及透镜种类中的至少任一个，输出与摄影图像中的特定区域相关的摄影条件区域信息。
由此，能够根据基于F值、摄影距离、焦距、变焦位置及透镜种类的摄影条件区域信息，强调显示特定区域，并能够适当地确认点像复原处理的效果。
图像处理装置中，优选为如下：显示控制部通过多个显示方式，以强调显示复原图像中的特定区域的方式进行显示控制，根据与特定区域相关的信息确定与多个显示方式相关的显示顺序。
由此，能够按照点像复原处理的效果较大的顺序确认强调显示的多个特定区域，并能够适当地确认点像复原处理的效果。
图像处理装置中，优选为如下：当没有特定区域时，显示控制部以强调显示复原图像的中央区域的方式进行显示控制，显示部根据由显示控制部进行的显示控制，强调显示复原图像的中央区域。
由此，能够确认与主要被摄体相关的点像复原处理的效果。
图像处理装置中，优选为如下：显示控制部以显示复原图像中的特定区域及复原图像的方式进行显示控制，显示部根据由显示控制部进行的显示控制，显示复原图像中的特定区域及复原图像。
由此，能够对点像复原处理的效果较大的特定区域及整体复原图像确认点像复原处理的效果。
图像处理装置中，优选为如下：显示控制部以比较显示摄影图像和复原图像、或比较显示复原图像中的特定区域和摄影图像中的与特定区域对应的区域的方式进行显示控制，显示部根据由显示控制部进行的显示控制，比较显示摄影图像和复原图像、或比较显示复原图像中的特定区域和摄影图像中的与特定区域对应的区域，点像复原处理部根据被比较显示的图像中所选择的图像、或被比较显示的区域中所选择的区域，对摄影图像进行点像复原处理。
由此，由于根据所选择的图像或所选择的区域执行点像复原处理，因此能够进行与用户的要求相应的点像复原处理。
图像处理装置中，优选显示控制部以强调显示与包含特定区域的像高对应的部位的方式进行显示控制。
由此，由于在包含特定区域的像高中进行强调显示，因此能够适当地确认点像复原处理的效果。
为了实现上述目的，本发明的另一方式所涉及的摄像装置具有上述的图像处理装置。摄像装置中，优选为透镜更换式。并且，摄像装置中，优选具有调制相位来扩大景深的透镜。
为了实现上述目的，本发明的另一方式所涉及的图像处理装置具备：输入部，输入根据点像复原信息对摄影图像进行了点像复原处理的复原图像、及与根据点像复原信息进行的点像复原处理所产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息；显示控制部，输入复原图像及区域信息，根据区域信息，以强调显示复原图像中的特定区域的方式进行显示控制；及显示部，根据由显示控制部进行的显示控制，至少进行特定区域的强调显示。
由此，在通过其他装置进行了点像复原处理的复原图像中，也能够进行强调显示，并能够适当地确认点像复原处理的效果。
为了实现上述目的，本发明的另一方式所涉及的图像处理方法包含：点像复原处理步骤，根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像；区域信息输出步骤，输出与根据点像复原信息进行的点像复原处理所产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息；显示控制步骤，根据区域信息，以强调显示复原图像中的特定区域的方式进行显示控制；及显示步骤，根据由显示控制步骤进行的显示控制，至少进行特定区域的强调显示。
由此，能够通过强调显示特定区域来轻松地确认点像复原处理中的效果，并且即使在进行点像复原处理之前的摄影图像中存在噪声等(饱和像素等)时，由于根据复原强度对特定区域进行了确定，因此能够适当地确认点像复原处理的效果。
图像处理方法优选为如下：代替区域信息输出步骤而包含滤波器区域信息输出步骤，滤波器区域信息输出步骤中，根据与点像复原处理的复原滤波器相关的信息，输出与复原图像中的特定区域相关的滤波器区域信息，显示控制步骤中，根据滤波器区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于滤波器区域信息的特定区域，并能够适当地确认点像复原处理的效果。
图像处理方法优选为如下：代替区域信息输出步骤而包含分析区域信息生成步骤，分析区域信息生成步骤中，通过分析来对在摄影图像中有可能产生伪信号的区域进行确定，从而生成将区域作为特定区域的分析区域信息，显示控制步骤中，根据分析区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于析区域信息的特定区域，并能够适当地确认点像复原处理的效果。
图像处理方法优选为如下：代替区域信息输出步骤而包含摄影条件区域信息输出步骤，摄影条件区域信息输出步骤中，根据与摄影图像的摄影条件相关的信息，输出与摄影图像中的特定区域相关的摄影条件区域信息，显示控制步骤中，根据摄影条件区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于摄影条件区域信息的特定区域，并能够适当地确认点像复原处理的效果。
为了实现上述目的，本发明的另一方式所涉及的图像处理方法包含：获取步骤，获取根据点像复原信息对摄影图像进行了点像复原处理的复原图像、及与根据点像复原信息进行的点像复原处理所产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息；显示控制步骤，输入复原图像及区域信息，并根据区域信息，以强调显示复原图像中的特定区域的方式进行显示控制；及显示步骤，根据由显示控制步骤进行的显示控制，至少进行特定区域的强调显示。
由此，在通过其他装置进行了点像复原处理的复原图像中，也能够进行强调显示，并能够适当地确认点像复原处理的效果。
为了实现上述目的，本发明的另一方式所涉及的程序，其使计算机执行如下步骤：点像复原处理步骤，根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像；区域信息输出步骤，输出与根据点像复原信息进行的点像复原处理而产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息；显示控制步骤，根据区域信息，以强调显示复原图像中的特定区域的方式进行显示控制；及显示步骤，根据由显示控制步骤进行的显示控制，至少进行特定区域的强调显示。
由此，能够通过强调显示特定区域来轻松地确认点像复原处理中的效果，并且即使在进行点像复原处理之前的摄影图像中存在噪声等(饱和像素等)时，由于根据复原强度对特定区域进行了确定，因此能够适当地确认点像复原处理的效果。
程序优选为如下：代替区域信息输出步骤而包含滤波器区域信息输出步骤，滤波器区域信息输出步骤中，根据与点像复原处理的复原滤波器相关的信息，输出与复原图像中的特定区域相关的滤波器区域信息，显示控制步骤中，根据滤波器区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于滤波器区域信息的特定区域，并能够适当地确认点像复原处理的效果。
程序优选为如下：代替区域信息输出步骤而包含分析区域信息生成步骤，分析区域信息生成步骤中，通过分析来对在摄影图像中有可能产生伪信号的区域进行确定，从而生成将区域作为特定区域的分析区域信息，显示控制步骤中，根据分析区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于分析区域信息的特定区域，并能够适当地确认点像复原处理的效果。
程序优选为如下：代替区域信息输出步骤而包含摄影条件区域信息输出步骤，摄影条件区域信息输出步骤中，根据与摄影图像的摄影条件相关的信息，输出与摄影图像中的特定区域相关的摄影条件区域信息，显示控制步骤中，根据摄影条件区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
由此，能够强调显示基于摄影条件区域信息的特定区域，并能够适当地确认点像复原处理的效果。
为了实现上述目的，本发明的另一方式所涉及的程序，其使计算机执行如下步骤：获取步骤，获取根据点像复原信息对摄影图像进行了点像复原处理的复原图像、及与根据点像复原信息进行的点像复原处理而产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息；显示控制步骤，输入复原图像及区域信息，并根据区域信息，以强调显示复原图像中的特定区域的方式进行显示控制；及显示步骤，根据由显示控制步骤进行的显示控制，至少进行特定区域的强调显示。
由此，在通过其他装置进行了点像复原处理的复原图像中，也能够进行强调显示,并能够适当地确认点像复原处理的效果。
发明效果
根据本发明，通过进行特定区域的强调显示，能够轻松地确认点像复原处理中的效果，并且即使在进行点像复原处理之前的摄影图像中存在噪声等(饱和像素等)时，也能够适当地确认点像复原处理的效果(图像是通过点像复原处理而得到改善还是由于噪声等的影响而劣化)。
附图说明
图1是表示包含图像处理装置的摄像装置的主要部分的框图。
图2是说明点像复原处理的图。
图3是说明点像复原处理的图。
图4是说明点像复原处理的效果的图。
图5A及图5B是说明强调显示的图。
图6A及图6B是说明强调显示的图。
图7是说明强调显示的图。
图8是说明强调显示的图。
图9是说明强调显示的图。
图10是说明图像处理装置的动作的图。
图11是表示包含图像处理装置的变形例的摄像装置的主要部分的框图。
图12是说明图像处理装置的变形例的图。
图13是说明图像处理装置的变形例的动作的图。
图14是表示包含图像处理装置的变形例的摄像装置的主要部分的框图。
图15是说明图像处理装置的变形例的动作的图。
图16是表示包含图像处理装置的变形例的摄像装置的主要部分的框图。
图17A～17C是说明图像处理装置的变形例的图。
图18是说明图像处理装置的变形例的动作的图。
图19是表示包含图像处理装置的变形例的摄像装置的主要部分的框图。
图20是说明图像处理装置的变形例的动作的图。
图21是表示具备EDoF光学系统的摄像模块的一方式的框图。
图22是表示EDoF光学系统的一例的图。
图23是表示图21所示的复原处理框中的复原处理的一例的流程图。
图24是表示通过点像复原处理复原的点像的状态的图。
图25是表示摄像装置的另一方式的图。
图26是表示图25所示的摄像装置的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。另外，以下说明是与本发明相关的例子的说明，并不限定本发明。
图1中，示出本发明的图像处理装置1包含于摄像装置5内的情况，示出与摄像装置的主要部分相关的框图。图1所示的摄像装置5主要具备光学系统10、成像元件15、数据控制部20、图像处理部25、内部存储器35、记录部30及本发明的图像处理装置1。并且，图像处理装置1主要具备点像复原处理部40、区域信息输出部45、显示控制部50及显示部55。
摄像装置5能够将所拍摄的摄影图像记录在设置于数据控制部内的内部存储器35或记录部30，整个装置的动作通过中央处理装置(CPU)(未图示)统一控制。
图1中的光学系统10主要表示透镜部及快门。透镜部包含聚焦透镜、变焦透镜及光圈等，透过透镜部及快门的光束成像于成像元件15的受光面。并且，光学系统10的透镜部可以是透镜更换式，也可以是非更换式。并且，光学系统10的透镜部可调制相位来扩大景深。
成像元件15中，二维排列有多个受光元件(光电二极管)，将成像于各光电二极管的受光面的被摄体像转换为与其入射光量相应的量的信号电压(或电荷)。
用于成像元件15的滤色器能够采用各种排列(滤色器排列)，并无特别限定。例如，成像元件15可以采用拜耳排列。
积蓄在成像元件15的信号电荷作为与信号电荷相应的电压信号而被读出。从成像元件15读出的电压信号施加于A/D转换器，在此依次转换为与滤色器排列对应的数字的R(红色)、G(绿色)、B(蓝色)信号，暂且保存于数据控制部内的内部存储器35。
内部存储器35包含作为易失性存储器的SDRAM、作为可重写的非易失性存储器的EEPROM等，SDRAM用作通过CPU执行程序时的作业区，并且用作暂时保持拍摄而获取的数字图像信号的存储区。另一方面，EEPROM中存储有包含图像处理程序的相机控制程序、成像元件15的像素的缺陷信息、用于图像处理等的各种参数和图表等。
图像处理部25对暂时存储于内部存储器35的数字图像信号进行白平衡校正、伽马校正处理、去马赛克处理(还可称为同步处理)、RGB/YC转换、轮廓校正、色差校正、点像复原处理等信号处理。另外，本发明中，对这些信号处理的顺序并无特别限定。通过图像处理部25进行图像处理的图像信号(图像数据)再次返回数据控制部20，并存储于内部存储器35。
在图像处理部25进行处理的图像信号(图像数据)在显示控制部50中编码为图像显示用数据，经由驱动器输出至摄像装置5所具备的显示部55。由此，被摄体像连续显示于显示部55的显示画面上。
若有摄像装置5所具备的快门按钮的第1阶段的按下(半按)，则CPU接收与第1阶段的按下(半按)相应而输出的初步摄影命令信号，开始AF动作及AE动作，控制成使光学系统内的透镜部的聚焦透镜沿光轴方向移动，而使聚焦透镜到对焦位置。
CPU接收通过快门按钮的半按而输出的初步摄影命令信号，根据从A/D转换器输出的图像数据计算被摄体的明度，并确定曝光条件。另外，确定曝光条件并不仅限于半按快门按钮时。
若AE动作及AF动作结束，有快门按钮的第2阶段的按下(全按)，则根据上述确定的曝光条件控制光圈、快门及成像元件15中的电荷积蓄时间而进行正式拍摄。正式摄像时从成像元件15读出并通过A/D转换器进行A/D转换的RGB的马赛克图像(与滤色器排列对应的图像)的图像数据暂时存储于内部存储器35。
暂时存储于内部存储器35的图像数据通过图像处理部25适当地读出，在此，进行包含白平衡校正、伽马校正、去马赛克处理(同步处理)、RGB/YC转换、轮廓校正、色彩校正等在内的规定的信号处理。被RGB/YC转换的图像数据(YC数据)按照规定的压缩格式(例如，JPEG方式)被压缩，被压缩的图像数据以规定的图像文件(例如，Exif文件)形式记录于内部存储器35或记录部30所具备的外部存储器。
图1中记载的图像处理装置1具备点像复原处理部40。点像复原处理部40中，输入摄影图像，并根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像。
并且，区域信息输出部45中，输出与根据点像复原信息进行的点像复原处理而产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息。另外，点像复原处理部40及区域信息输出部45的详细说明将进行后述。并且，图1中，点像复原处理部40与摄像装置5中的图像处理部25分开设置，但并不限定于此。例如，可在图像处理部25内设置点像复原处理部40。即，可在图像处理装置1内具备图像处理部25，并在图像处理部内设置点像复原处理部40。
显示控制部50经由驱动器将从数据控制部20发送而来的复原图像和/或摄影图像显示于显示部55。进而输入区域信息，并根据区域信息，以强调显示复原图像中的特定区域的方式进行显示控制。
显示部55显示从显示控制部50发送而来的复原图像。进而，显示部55根据由显示控制部50进行的显示控制，至少进行特定区域的强调显示。另外，作为显示部55的具体例，如图1所示那样，摄像装置5具备显示部55时，认为是设置于摄像装置5的背面的液晶画面等。并且，图像处理装置1设置于计算机内时，可将计算机的监视器等列举为显示部55的具体例。
接着，根据图2及图3对在点像复原处理部40(参考图1)进行的点像复原处理进行说明。在点像复原处理部40中，根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像。另外，在此，点像复原信息只要是确定点像复原处理的处理内容的信息，则并无特别限定。例如，将确定点像复原处理的处理内容的各种参数作为点像复原信息。例如，也可以将滤波器系数、滤波器的抽头数作为点像复原信息。
图2是表示从图像的摄影至点像复原处理为止的概略的图。将点像作为被摄体来进行摄影时，被摄体像经由光学系统10(透镜、光圈等)通过成像元件15(图像传感器)被受光，并从成像元件15输出原图像数据Do(摄影图像)。由于因光学系统10的特性导致的点扩散现象，该原图像数据Do成为原来的被摄体像模糊的状态的图像数据。
为了由该模糊图像的原图像数据Do复原原来的被摄体像(点像)，在点像复原处理部40中，对原图像数据Do进行利用复原滤波器F的点像复原处理P10，由此获得表示更接近原来的被摄体像(点像)的像(复原图像)的复原图像数据Dr。
点像复原处理部40中的在点像复原处理P10中使用的复原滤波器F，根据与获取原图像数据Do时的摄影条件相应的光学系统10的点像信息(点扩散函数)，通过规定的复原滤波器计算算法P20来获得。光学系统10的点像信息(点扩散函数)不仅根据透镜的种类而变动，还会根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，因此在计算复原滤波器F时，获取这些摄影条件。
根据图3对在点像复原处理部40(参考图1)中进行的点像复原处理的概略进行说明。图3是表示点像复原处理的一例的概略的框图。点像复原处理P10为通过使用复原滤波器F的滤波处理来根据点像复原处理前图像数据D10(摄影图像)创建点像复原处理后的图像数据D11(复原图像)的处理。即，将由N×M的抽头构成的复原滤波器F适用于处理对象的图像数据，通过将分配给各抽头的滤波器系数与所对应的像素数据(点像复原处理前图像数据D10的处理对象像素数据及相邻像素数据)进行加权平均运算，能够计算点像复原处理后的像素数据(点像复原处理后图像数据D11)。通过依次替换对象像素来将使用了该复原滤波器F的加权平均处理应用于构成图像数据的所有像素数据，能够进行点像复原处理。
接着，区域信息输出部45中输出与复原图像中的特定区域相关的信息。即，从点像复原处理部40获取点像复原信息，输出与由点像复原处理而产生的复原强度成为阈值以上的复原图像中的特定区域相关的区域信息。在此，复原强度为阈值以上是指点像复原处理对摄影图像发挥较强作用。换言之，复原强度为阈值以上是指，摄影图像通过点像复原处理而复原(校正)的程度为一定程度以上。
区域信息输出部45中，根据关于点像复原处理的内容而预先设定的信息，输出与复原强度成为阈值以上的复原图像中的特定区域相关的信息，由此能够适当地确认点像复原处理的效果。
图4中，使用调制传递函数(ModulationTransferFunction)(MTF)说明摄影图像通过点像复原处理而复原的情况。另外，图4的(a)表示摄影图像(点像复原处理前的图像)的MTF，图4的(b)表示复原图像(点像复原处理后的图像)的MTF。而且，图4的(I)及(II)表示基于点像复原信息的调制传递函数的增加。
对点扩散函数(PSF)进行傅里叶变换而获得的光学传递函数(OpticalTransferFunction：OTF)为像差的频率成分信息，以复数表示。将光学传递函数(OTF)的绝对值即振幅成分称为MTF，将相位成分称为PTF(PhaseTransferFunction)。MTF及PTF分别为基于像差的图像劣化的振幅成分及相位成分的频率特性。
点像复原处理以使MTF和/或PTF接近理想响应的方式进行校正，因此即使是点像复原处理前的不清晰的具有PSF的图像，点像复原处理后的复原图像也会变得清晰。
如图4所示，将基于点像复原信息的频率f(1)中的调制传递函数(MTF的值)的增加率成为阈值以上的复原图像中的区域选作特定区域。即，图4的(a)所示的摄影图像(点像复原处理前的图像)的MTF通过进行点像复原处理，成为图4的(b)所示的曲线。并且，在频率为f(1)处，以(a)表示的MTF通过点像复原处理提升至以(b)表示的MTF(参考图4中的(I))。关于图4中以(I)表示的增加率，从图4所示的曲线图整体考虑，可以说是较大的增加率。另一方面，在频率为f(2)处，以(a)表示的MTF通过点像复原处理提升至以(b)表示的MTF(参考图4中的(II))。关于图4中以(II)表示的增加率，从图4所示的曲线图整体考虑，是较小的增加率。另外，频率f(1)及f(2)并不限定于特定的频率。例如，作为f(1)，可以采用奈奎斯特频率的一半的频率(0.25Fs)，作为f(2)，可考虑采用0.4Fs。并且，图4(I)所示的增加率表达了基于点像复原处理的MTF的增加率较大，具体而言，可考虑具有MTF的最大值的25％以上、优选为35％以上的值的增加率的情况。并且，图4(II)所示的增加率表达为基于点像复原处理的MTF的增加率较小，具体而言，可考虑具有MTF的最大值的15％以下、优选为10％以下的值的增加率的情况。另外，本例中，将点像复原处理前后的MTF的差异的大小称为复原强度。并且，复原强度通过复原滤波器确定。另外，在此，Fs表示采样频率。
区域信息输出部45中，将上述的点像复原处理的复原强度成为阈值以上的区域作为特定区域而进行确定，并作为区域信息而输出。被输出的区域信息与复原图像一同输入至显示控制部50。并且，特定区域根据区域信息而被强调显示。强调显示的显示方式并无特别限定，可从使用户容易确认点像复原处理的效果(图像是通过点像复原处理而得到改善还是由于噪声等的影响而劣化)的观点出发而采用各种方式。以下，对具体的强调显示的方式进行说明。
[强调显示的方式]
图5至图9中，说明在显示控制部50中进行的强调显示特定区域110的显示控制及由显示部55进行的特定区域110的强调显示的具体例。另外，强调显示只要能够使用户适当地确认点像复原处理的效果即可，并无特别限定。
图5(A)中示出强调显示1。图5(A)的强调显示1中，在显示部55中，在进行了点像复原处理的复原图像中以框105显示特定区域110。通过采用强调显示1的方式，利用框105强调点像复原处理的效果较大的区域(复原强度较大的区域)，因此能够更轻松地确认点像复原处理的效果。图5(B)中示出强调显示2。在图5(B)的强调显示2中，特定区域110放大显示于显示部55。通过采用强调显示2的方式，能够对特定区域110更详细地确认点像复原处理的效果。
图6(A)中示出强调显示3。图6(A)所示的强调显示3中，在进行点像复原处理之前的摄影图像115中，以框105显示与特定区域110对应的区域120，并且，在进行点像复原处理之后的复原图像100中，以框105显示特定区域110。并且，图6(A)所示的强调显示3中，显示整体的摄影图像115及复原图像100，以能够比较的方式排列显示。通过采用强调显示3的方式，能够更轻松地确认整体图像中的特定区域110的点像复原处理的效果，由于以框105强调了点像复原处理的效果较大的区域(复原强度较大的区域)，因此能够更轻松地确认点像复原处理的效果。
图6(B)中示出强调显示4。图6(B)中，放大显示与进行点像复原处理之前的摄影图像的特定区域110对应的区域120，且放大显示进行点像复原处理之后的复原图像100的特定区域110。由此，能够更详细地比较特定区域110中的点像复原处理的效果。
另外，如图6所示，显示控制部50将摄影图像和复原图像、或复原图像中的特定区域110和摄影图像中的与特定区域110对应的区域比较显示于显示部55。此时，点像复原处理40可根据被比较显示的图像中所选择的图像或被比较显示的区域中所选择的区域，对摄影图像进行点像复原处理。即，可对摄影图像进行与对所选择的图像或所选择的区域执行的点像复原处理接近的复原强度的点像复原处理。例如，选择了点像复原处理之前的摄影图像时，选择点像复原强度较弱的复原滤波器，对摄影图像进行点像复原处理并再次比较显示。而且，可根据被比较显示的图像中所选择的图像或所选择的区域，对摄影图像进行点像复原处理。由此，用户能够简单地获取所希望的复原强度的复原图像。
图7中示出强调显示5。强调显示5中，以能够比较的方式布置有复原图像100中被放大的特定区域110及整体复原图像100。通过采用强调显示5的方式，能够更详细地确认点像复原处理的效果较大的部位，进而，能够确认整体图像中的点像复原处理的效果。
图8中示出强调显示6。强调显示6中，在复原图像内存在多个特定区域110时，切出该多个特定区域110来排列并强调显示于显示部55。通过采用强调显示6的方式，即使是在复原图像中存在多个特定区域110时，也能够更详细地确认点像复原处理的效果。
图9中示出强调显示7。强调显示7中，通过包围摄影模式等以多个摄影条件进行摄影时，在各个摄影条件下的特定区域110显示框105，且排列各个摄影条件下的复原图像。通过采用强调显示7的方式，能够有效地确认对以不同设定(摄影条件等)进行摄影的摄影图像进行的点像复原处理的效果。
以上，从图5至图9中，对强调显示的方式进行了说明，但并不限定于此。并且，当在一个复原图像内存在多个特定区域110时，显示控制部50通过多个显示方式，能够以强调显示复原图像中的特定区域110的方式进行显示控制。例如，显示控制部50可针对多个特定区域110，逐一切换图5(B)所示的强调显示2的同时显示于显示部55。此时，显示顺序根据与特定区域相关的信息确定。并且，显示控制部50可根据与特定区域相关的信息，作为显示顺序按照点像复原处理的效果较大的顺序显示于显示部55。如此一来，能够按照点像复原处理的效果较大的顺序确认被强调显示的多个特定区域。
并且，可针对一个特定区域110进行多个强调显示。例如，关于一个特定区域110，可通过强调显示1显示，之后通过强调显示2进行强调显示。如此，通过多个强调显示的方式显示特定区域110，由此能够从多方面确认点像复原处理的效果。
而且，可以以对与包含特定区域110的像高对应的部位进行强调显示的方式进行显示控制。由此，能够有效地确认点像复原处理的效果较大的区域。
图10中示出图像处理装置1的动作流程。首先，通过点像复原处理部40，根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像(步骤S10)(点像复原处理步骤)。之后，通过区域信息输出部45，输出与根据点像复原信息进行的点像复原处理而产生的复原强度成为阈值以上的复原图像中的特定区域110相关的区域信息(步骤S20)(区域信息输出步骤)。
之后，通过显示控制部50，根据区域信息，以强调显示复原图像中的特定区域110的方式进行显示控制(步骤S30)(显示控制步骤)。之后，在显示部55中，根据显示控制，至少进行特定区域110的强调显示(步骤S40)(显示步骤)。
通过采用上述方式，能够通过强调显示特定区域110来轻松地确认点像复原处理中的效果，并且，即使在进行点像复原处理之前的摄影图像中存在噪声等(饱和像素等)时，由于根据复原强度对特定区域110进行了确定，因此能够适当地确认点像复原处理的效果。
[图像处理装置的变形例1]
图11是表示图像处理装置1的变形例1的主要部分的框图。对图1所示的图像处理装置1与图11所示的图像处理装置1进行比较时，图11所示的图像处理装置1中，代替图1所示的图像处理装置1所具有的区域信息输出部45而具有滤波器区域信息输出部46。以下，对图11所示的图像处理装置1进行详细说明。另外，对于与图1相同的主要部分，标注相同的符号并省略说明。
滤波器区域信息输出部46中，输入与点像复原处理的复原滤波器相关的信息，并根据与复原滤波器相关的信息，输出与复原图像中的特定区域110相关的滤波器区域信息。在此，与点像复原处理的复原滤波器相关的信息是指作为确定点像复原处理的复原强度的主要因素之一的复原滤波器的设计值。
并且，滤波器区域信息输出部46可从点像复原处理部40获取如图12中说明的与复原滤波器相关的信息。图12中示出点像复原处理部40作为点像复原信息而具有滤波器组A、B及C。点像复原处理部40从所拥有的滤波器组A、B及C中选择一个，使用所选择的滤波器组进行点像复原处理。例如，选择滤波器组A时，点像复原处理对摄影图像的(1,a)、(1,c)、(3,a)及(3,c)的区域，以复原强度变强的方式(以效果变大的方式)即如上述那样以复原强度变得大于某一阈值的方式，执行点像复原处理。换言之，设计成滤波器组A及构成滤波器组A的滤波器对摄影图像的(1,a)、(1,c)、(3,a)及(3,c)的区域进行复原强度较强的点像复原处理。
同样地，选择滤波器组B时，对摄影图像的(2,a)及(2,c)的区域，以复原强度变强的方式(以效果变大的方式)即如上述那样以复原强度变得大于某一阈值的方式执行点像复原处理，选择滤波器组C时，对摄影图像的(3,a)及(1,c)的区域，以复原强度变强的方式(以效果变大的方式)即如上述那样以复原强度变得大于某一阈值的方式执行点像复原处理。因此，在如图12中说明的情况下，与点像复原处理部40所使用的与滤波器组相关的信息为与复原滤波器相关的信息。
点像复原处理部40向滤波器区域信息输出部46发送与复原滤波器相关的信息。如图12所示，例如点像复原处理部40使用滤波器组A时，点像复原处理部40将与滤波器组A相关的信息发送至滤波器区域信息输出部46。
滤波器区域信息输出部46将与滤波器组A相关的信息作为与复原滤波器相关的信息来接收，并根据与复原滤波器相关的信息，输出与复原图像中复原强度成为阈值以上的特定区域110相关的滤波器区域信息。图12所示的情况下，滤波器区域信息输出部46根据滤波器组A的信息输出滤波器区域信息。此时，滤波器区域信息为将复原图像的(1,a)、(1,c)、(3,a)及(3,c)的区域作为特定区域110而进行确定的信息。并且，滤波器区域信息发送至显示控制部50。另外，图12的说明中，例示性地示出了滤波器组A、B及C，但这些是用于说明的例示，并不限定于此。
如此，根据针对点像复原处理的内容预先设定的信息，输出与特定区域110相关的信息，由此能够适当地确认点像复原处理的效果。
图13是表示图11所示的图像处理装置1的变形例1中的动作的流程图。对图13所示的动作流程图与图10所示的动作流程图进行比较时，图13所示的动作流程图中，代替进行区域信息输出的(步骤S20)步骤而包含进行滤波器区域信息输出的(步骤S22)步骤，在这一点上不同。另外，对与图10相同的步骤，标注相同符号并省略说明。
图13所示的图像处理装置1的变形例1中，首先，通过点像复原处理部40进行点像复原处理，从而生成复原图像。之后，通过滤波器区域信息输出部46，根据与点像复原处理的复原滤波器相关的信息，输出与复原图像中的特定区域110相关的滤波器区域信息(步骤S22)(滤波器区域信息输出步骤)。之后，通过显示控制部50，根据滤波器区域信息，以强调显示复原图像中的特定区域110的方式进行显示控制(步骤S30)(显示控制步骤)。之后，在显示部55中，根据显示控制，至少进行特定区域110的强调显示(步骤S40)(显示步骤)。
通过采用上述方式，能够强调显示基于滤波器区域信息的特定区域110，并能够适当地确认点像复原处理的效果。
[图像处理装置的变形例2]
图14是表示图像处理装置1的变形例2的主要部分的框图。对图1所示的图像处理装置1与图14所示的图像处理装置1进行比较时，在图14所示的图像处理装置1中，代替图1所示的图像处理装置1所具有的区域信息输出部45而具有分析区域信息生成部47。以下，对图14所示的图像处理装置1的变形例2进行详细说明。另外，对与图1相同的主要部分，标注相同符号并省略说明。
分析区域信息生成部47获取数据控制部20所拥有的摄影图像，通过分析来对在摄影图像中有可能产生伪信号的区域进行确定，将该区域作为特定区域110，从而生成分析区域信息。即，分析区域信息生成部47获取数据控制部20所保有的进行点像复原处理之前的摄影图像，并分析摄影图像，由此对在进行点像复原处理时会产生伪信号的区域进行确定(推断)。在此，关于有可能产生伪信号的区域，例如将存在饱和像素的区域作为有可能产生伪信号的区域而进行确定。这是因为，若对摄影图像中存在饱和像素的区域进行点像复原处理，则会产生振铃等伪信号。并且，例如，在图像处理部25中进行去马赛克处理(同步处理)时，将由于色差等影响而在边缘判别时有可能进行误判断的区域作为有可能产生伪信号的区域而进行确定。即，有时会在摄影图像内的边缘部由于色差的影响而产生颜色偏差，而通过在这种产生了颜色偏差的边缘部进行去马赛克处理，有时会产生原本是直线的边缘部变成凹凸状的伪信号。将这种区域作为有可能产生伪信号的区域而进行确定。并且，例如关于不在所设计的复原滤波器的假定的状态的区域，也作为进行点像复原处理时有可能产生伪信号生的区域而进行确定。
通过分析区域信息生成部47生成的分析区域信息被发送至显示控制部50。并且，显示控制部50根据分析区域信息，以强调显示复原图像中的特定区域110的方式进行显示控制。
如此，根据分析进行点像复原处理之前的摄影图像的特性而预先设定的信息，输出与特定区域110相关的信息，由此能够适当地确认点像复原处理的效果。
图15是表示图14所示的图像处理装置1的变形例2中的动作的流程图。对图15所示的动作流程图与图10所示的动作流程图进行比较时，图15所示的动作流程图中，代替进行区域信息输出的(步骤S20)步骤而包含进行分析区域信息输出的(步骤S24)步骤，在这一点上不同。另外，对与图10相同的步骤，标注相同符号并省略说明。
通过点像复原处理部40进行点像复原处理，从而生成复原图像。之后，通过分析区域信息生成部47，根据与点像复原处理的复原滤波器相关的信息，生成与复原图像中的特定区域110相关的分析区域信息(步骤S24)(分析区域信息生成步骤)。之后，通过显示控制部50，根据分析区域信息，以强调显示复原图像中的特定区域110的方式进行显示控制(步骤S30)(显示控制步骤)。之后，在显示部55中，根据显示控制，至少进行特定区域110的强调显示(步骤S40)(显示步骤)。
通过采用上述方式，能够强调显示基于分析区域信息的特定区域110，并能够适当地确认点像复原处理的效果。
[图像处理装置的变形例3]
图16是表示图像处理装置1的变形例3的主要部分的框图。对图1所示的图像处理装置1与图16所示的图像处理装置1进行比较时，图16所示的图像处理装置1中，代替图1所示的图像处理装置1所具有的区域信息输出部45而具有摄影条件区域信息输出部48。以下，对图16所示的图像处理装置1的变形例3进行详细说明。另外，对与图1相同的主要部分，标注相同符号并省略说明。
摄影条件区域信息输出部48中，从光学系统10输入与摄影图像的摄影条件相关的信息，根据与摄影条件相关的信息，输出与摄影图像中的特定区域110相关的摄影条件区域信息。在此，与摄影条件相关的信息例如为F值、摄影距离、焦距、变焦位置及透镜种类中的至少任一个。并且，图16所示的例子中，记载为从光学系统10获取与摄影条件相关的信息，但并不特别限定于此。只要摄影条件区域信息输出部48能够获取摄影条件，则能够从任意处获取。
在已获取摄影条件的摄影条件区域信息输出部48中，根据所获取的摄影条件，输出与特定区域110相关的摄影条件区域信息。在此，关于摄影条件区域信息，只要根据摄影条件来对进行复原强度较强的点像复原处理的区域进行确定，则并无特别限定。
图17是说明摄影条件区域信息输出部48获取与摄影图像的摄影条件相关的信息，并输出与摄影图像中的特定区域110相关的摄影条件区域信息的具体例的图。另外，图17中的(a)所示的实线表示复原图像的周边区域的由点像复原处理而产生的复原强度。另外，例如如图4所示，能够以MTF的增加率表示复原强度。并且，图17中的(b)所示的虚线表示复原图像的中央区域的由点像复原处理而产生的复原强度。并且，图17中的(I)(II)表示复原图像中的周边区域与中央区域的复原强度的差量。
图17(A)中示出作为与摄影条件相关的信息获取了F值的情况。如图17(A)中记载，获得将F值设定为2.0来获取摄影图像的信息时，复原图像的中央区域的复原强度与周边的复原强度之差为(I)。并且，如图17(A)中记载，将F值设定为16来获取摄影图像时，复原图像的中央区域的复原强度与周边的复原强度之差为(II)。而且，将F值设定为其中央值附近的5.6来获取摄影图像时，复原图像的中央区域的复原强度与周边的复原强度之差几乎消失。
摄影条件区域信息输出部48中，作为与摄影条件相关的信息，F值取2.0时，复原图像的中央区域的复原强度与周边的复原强度之差为(I)，因此强调显示周边区域。这是因为，复原图像的周边的复原强度比中央的复原强度大规定值以上，因此通过强调显示复原强度较大的周边区域，能够有效地确认点像复原处理的效果。
另一方面，摄影条件区域信息输出部48中，作为与摄影条件相关的信息，F值取16时，复原图像的中央区域的复原强度与周边的复原强度之差为(II)，因此强调显示中央区域。这是因为，复原图像的周边的复原强度与中央的复原强度之差小于规定值，因此强调显示显现主要被摄体的概率较高的中央区域。
并且，摄影条件区域信息输出部48中，作为与摄影条件相关的信息，F值取5.6时，复原图像的中央区域的复原强度与周边的复原强度之差几乎消失，因此强调显示中央区域。这是因为，复原图像的周边的复原强度与中央的复原强度之差小于规定值，因此强调显示显现主要被摄体的概率较高的中央区域。
即，图17(A)所示的具体例中，复原图像的中央区域的复原强度与周边的复原强度之差为规定值以上时(F值为2.0时)，为了可靠地确认效果较大的点像复原处理的效果，强调显示复原强度较大的周边区域。另一方面，复原图像的中央区域的复原强度与周边的复原强度之差小于规定值时(F值为16时)，为了确认主要被摄体中的点像复原处理的效果，显示显现主要被摄体的概率较高的中央区域。
图17(B)中，对摄影条件区域信息输出部48作为与摄影条件相关的信息获取焦距的情况进行说明。图17(B)所示的具体例中，复原图像的中央区域的复原强度与周边的复原强度之差为规定值以上时(焦距在广角端且复原强度之差为(I)时)，为了可靠地确认效果较大的点像复原处理的效果，强调显示复原强度较大的周边区域。另一方面，复原图像的中央区域的复原强度与周边的复原强度之差小于规定值时(焦距在长焦端且复原强度之差为(II)时)，为了确认主要被摄体中的点像复原处理的效果，显示显现主要被摄体的概率较高的中央区域。并且，复原图像的中央区域的复原强度与周边的复原强度之差几乎不存在时(焦距在中央时)，为了确认主要被摄体中的点像复原处理的效果，也显示显现主要被摄体的概率较高的中央区域。另外，在此，广角端是指在变焦透镜中焦距在最广角侧，长焦端是指在变焦透镜中焦距在最长焦侧。
图17(C)中，对摄影条件区域信息输出部48作为与摄影条件相关的信息获取使用透镜的种类的情况进行说明。图17(C)所示的具体例中，复原图像的中央区域的复原强度与周边的复原强度之差为规定值以上时(使用透镜A而复原强度之差为(I)时)，为了可靠地确认效果较大的点像复原处理的效果，强调显示复原强度较大的周边区域。另一方面，复原图像的中央区域的复原强度与周边的复原强度之差小于规定值时(使用透镜C而复原强度之差为(II)时)，为了确认主要被摄体中的点像复原处理的效果，显示显现主要被摄体的概率较高的中央区域。并且，复原图像的中央区域的复原强度与周边的复原强度之差几乎不存在时(使用透镜B时)，为了确认主要被摄体中的点像复原处理的效果，也显示显现主要被摄体的概率较高的中央区域。
以上，作为图像处理装置1的变形例3的具体例，对作为与摄影条件相关的信息获取F值、焦距或透镜种类的情况进行了说明，但并不限定于此。例如，变焦位置和摄影距离等也可成为与摄影条件相关的信息。
如此，根据针对点像复原处理的内容预先设定的信息，输出与特定区域110相关的信息，由此能够适当地确认点像复原处理的效果。
图18是表示图16所示的图像处理装置1的变形例3中的动作的流程图。对图18所示的动作流程图与图10所示的动作流程图进行比较时，图18所示的动作流程图中，代替进行区域信息输出的(步骤S20)步骤而包含进行摄影条件区域信息输出的(步骤S26)步骤，在这一点上不同。另外，对与图10相同的步骤，标注相同符号并省略说明。
通过点像复原处理部40进行点像复原处理，从而生成复原图像。之后，通过分析区域信息生成部47，根据与摄影图像的摄影条件相关的信息，输出与摄影图像中的特定区域110相关的摄影条件区域信息(步骤S26)(摄影条件区域信息输出步骤)。之后，通过显示控制部50，根据摄影条件区域信息，以强调显示复原图像中的特定区域110的方式进行显示控制(步骤S30)(显示控制步骤)。之后，在显示部55中，根据显示控制，至少进行特定区域110的强调显示(步骤S40)(显示步骤)。
通过采用上述方式，根据与摄影条件相关的信息，输出与复原强度成为阈值以上的特定区域相关的摄影条件区域信息，能够根据该信息来强调显示特定区域110，并能够适当地确认点像复原处理的效果。
[图像处理装置的变形例4]
图19是表示图像处理装置1的变形例4的主要部分的框图。图19中，图像处理装置1的变形例4主要具备输入部51、显示控制部50及显示部55。另外，对与图1相同的主要部分，标注相同符号并省略说明。
在输入部51中，输入根据点像复原信息对摄影图像进行了点像复原处理的复原图像及与根据点像复原信息进行的点像复原处理而产生的复原强度成为阈值以上的复原图像中的特定区域110相关的区域信息。具体而言，考虑对输入至输入部51的复原图像上附加有区域信息的方式。例如，考虑记录于Exif(Exchangeimagefileformat)的标签中，并结合复原图像而输入至输入部51。另外，关于区域信息的附加，可考虑在已进行点像复原处理的其他装置(个人电脑或数码相机)中，对复原图像进行附加。
作为附加于复原图像100的信息，设为附加区域信息来进行了说明，但并不限定于此，可对复原图像100附加点像复原信息。此时，图像处理装置1的变形例4还可具有区域信息输出部45。
显示控制部50根据输入至输入部51的区域信息，以强调显示复原图像的方式进行显示控制。另外，可考虑使图像处理装置1的变形例4例如包含于摄像装置(数码相机)的取景器软件中。
图20是表示图19所示的图像处理装置1的变形例4中的动作的流程图。对图20所示的动作流程图与图10所示的动作流程图进行比较时，图20所示的动作流程图中，没有图10的对摄影图像进行点像复原处理的(步骤S10)步骤及输出区域信息的(步骤S20)步骤，在这一点上不同。并且，图20所示的动作流程图中，具有获取复原图像及区域图像的(步骤S12)(获取步骤)步骤，在这一点上不同。另外，对与图10相同的步骤，标注相同符号并省略说明。
通过输入部51，获取复原图像及区域信息(步骤S12)(获取步骤)。之后，通过显示控制部50，根据区域信息，以强调显示复原图像中的特定区域110的方式进行显示控制(步骤S30)(显示控制步骤)。之后，在显示部55中，根据显示控制，至少进行特定区域110的强调显示(步骤S40)(显示步骤)。
通过采用上述方式，即使在通过其他装置进行了点像复原处理的复原图像中，也能够进行强调显示，并能够适当地确认点像复原处理的效果。
至此，为了便于说明，使用了图像处理装置1中代替区域信息输出部45而具有滤波器区域信息输出部46的表达、图像处理装置1中代替区域信息输出部45而具有分析区域信息生成部47的表达、及图像处理装置1中代替区域信息输出部45而具有摄影条件区域信息输出部48的表达。但是，图像处理装置1中也可以具有区域信息输出部45、滤波器区域信息输出部46、分析区域信息生成部47及摄影条件区域信息输出部48中的任意组合。
＜在EDoF系统中的适用例＞
上述说明中的使用点像复原处理的参数而进行的点像复原处理为通过根据特定的摄影条件(例如，光圈值、焦距、透镜种类等)恢复修正点扩散(点像模糊)来复原原来的被摄体像的图像处理，但能够适用本发明的图像处理并不限定于上述的实施方式中的点像复原处理。例如，对针对通过具备具有被扩大的场景(焦点)深度(EDoF：ExtendedDepthofField(Focus))的光学系统的摄像装置摄影获取的图像数据进行的点像复原处理，也能够应用本发明所涉及的点像复原处理及显示控制。针对在通过EDoF光学系统扩大景深(焦点深度)的状态下摄影获取的模糊图像的图像数据进行点像复原处理，由此能够复原生成在宽范围内对焦的状态的高分辨率的图像数据。此时，进行利用如下复原滤波器的点像复原处理，即，一种基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器，其具有设定为在被扩大的景深(焦点深度)的范围内能够进行良好的图像复原的滤波器系数。
以下，对与经由EDoF光学系统摄影获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，以下所示的例子中，也对从去马赛克处理之后的图像数据(RGB数据)获得的亮度信号(亮度信号Y)进行点像复原处理。
图21是表示具备EDoF光学系统的摄像模块301的一方式的框图。本例的摄像模块(数码相机等)301包含EDoF光学系统(透镜单元)310、成像元件312、AD转换部314及点像复原处理块(图像处理部)320。
图22是表示EDoF光学系统310的一例的图。本例的EDoF光学系统310具有单焦点的被固定的摄影透镜310A及配置于瞳位置的滤光器311。滤光器311是调制相位的要件，其使EDoF光学系统310(摄影透镜310A)EDoF化，以获得被扩大的景深(焦点深度)(EDoF)。如此，摄影透镜310A及滤光器311构成调制相位来扩大景深的摄影透镜部。
另外，EDoF光学系统310根据需要包含其他构成要件，例如在滤光器311附近配设有光圈(省略图示)。并且，滤光器311可以是一个，也可以组合多个。并且，滤光器311仅仅是光学相位调制机构的一例，还可以通过其他机构实现EDoF光学系统310(摄影透镜310A)的EDoF化。例如，可代替设置滤光器311，通过以具有与本例的滤光器311相同功能的方式进行透镜设计的摄影透镜310A实现EDoF光学系统310的EDoF化。
即，能够通过使成像元件312的受光面上成像的波面发生变化的各种机构，实现EDoF光学系统310的EDoF化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行涂布等而厚度或折射率发生变化的光学元件(波面调制混合式透镜、在透镜面上形成为相位面的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统310的EDoF化机构。如此，不仅对于能够通过光波面调制元件(滤光器311(相位板))形成规则地分散的图像的情况，而且对于能够不使用光波面调制元件而通过摄影透镜310A本身形成与使用光波面调制元件时相同的分散图像的情况，也能够应用本发明。
图22所示的EDoF光学系统310可以省略机械地进行焦点调节的焦点调节机构，因此能够实现小型化，可适当地搭载于带相机的移动电话或移动信息终端。
通过被EDoF化的EDoF光学系统310之后的光学像成像于图21所示的成像元件312，在此转换成电信号。
成像元件312由以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans排列、蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管而构成。经由EDoF光学系统310入射到成像元件312的受光面的光学像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，积蓄在各光电二极管的R、G、B的信号电荷作为每个像素的电压信号(图像信号)而依次被输出。
AD转换部314将从成像元件312按每个像素输出的模拟R、G、B图像信号转换成数字的RGB图像信号。通过AD转换部314转换成数字的图像信号的数字图像信号被施加在点像复原处理块320。
点像复原处理块320例如包含黑电平调整部322、白平衡增益部323、伽马处理部324、去马赛克处理部325、RGB/YCrCb转换部326及亮度信号Y点像复原处理部327。
黑电平调整部322对从AD转换部314输出的数字图像信号实施黑电平调整。黑电平调整可采用公知的方法。例如，着眼于某一有效光电转换元件时，求出与包含该有效光电转换元件的光电转换元件行中所包含的多个OB光电转换元件的每一个相对应的暗电流量获取用信号的平均值，从与该有效光电转换元件相对应的暗电流量获取用信号中减去该平均值，由此进行黑电平调整。
白平衡增益部323进行与已调整黑电平数据的数字图像信号中包含的RGB各颜色信号的白平衡增益相应的增益调整。
伽马处理部324进行以使已被白平衡调整的R、G、B图像信号成为所希望的伽马特性的方式进行半色调等灰度校正的伽马校正。
去马赛克处理部325对伽马校正之后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部325通过对R、G、B的图像信号实施颜色插值处理，生成从成像元件312的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理之前，来自各受光像素的像素信号为R、G、B的图像信号中的任一个，但在颜色去马赛克处理之后，会输出与各受光像素相对应的R、G、B信号的3个像素信号组。
RGB/YCrCb转换部326将已被去马赛克处理的每个像素的R、G、B信号转换成亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y及色差信号Cr、Cb。
亮度信号Y点像复原处理部327根据预先存储的复原滤波器，对来自RGB/YCrCb转换部326的亮度信号Y进行点像复原处理。复原滤波器例如由具有7×7的核尺寸的反卷积核(对应于M＝7、N＝7的抽头数)及与该反卷积核相对应的运算系数(对应于复原增益数据、滤波器系数)构成，使用于滤光器311的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器中，与滤光器311相对应的滤波器被存储于未图示的存储器(例如附带设置有亮度信号Y点像复原处理部327的存储器)。并且，反卷积核的核尺寸并不限于7×7。
接着，对基于点像复原处理块320的点像复原处理进行说明。图23是表示图21所示的点像复原处理块320中的点像复原处理的一例的流程图。
对黑电平调整部322的一输入中，从AD转换部314施加数字图像信号，对另一输入施加黑电平数据，黑电平调整部322从数字图像信号减去黑电平数据，并将被减去黑电平数据的数字图像信号输出至白平衡增益部323(步骤S100)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。
对黑电平调整之后的图像数据依次实施基于白平衡增益部323、伽马处理部324的处理(步骤S200及S300)。
被伽马校正的R、G、B信号在去马赛克处理部325中进行去马赛克处理之后，在RGB/YCrCb转换部326中转换成亮度信号Y和色度信号Cr、Cb(步骤S400)。
亮度信号Y点像复原处理部327进行对亮度信号Y施以EDoF光学系统310的滤光器311的相位调制量的反卷积处理的点像复原处理(步骤S500)。即，亮度信号Y点像复原处理部327进行与以任意的处理对象的像素为中心的规定单位的像素组相对应的亮度信号(在此为7×7像素的亮度信号)、与预先存储于存储器等的复原滤波器(7×7的反卷积核及其运算系数)的反卷积处理(翻卷积运算处理)。亮度信号Y点像复原处理部327以覆盖摄像面的整个区域的方式反复进行该规定单位的每个像素组的反卷积处理，由此进行消除整个图像的像模糊的点像复原处理。复原滤波器根据实施反卷积处理的像素组的中心位置而设定。即，在接近的像素组中应用共同的复原滤波器。为了进一步简化点像复原处理，优选对所有像素组适用共同的复原滤波器。
如上所述，在EDoF系统中的应用例中也同样地，如图24(A)所示，通过EDoF光学系统310之后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而成像于成像元件312，但通过亮度信号Y点像复原处理部327中的反卷积处理，如图24(B)所示那样，复原成较小的点像(高分辨率的图像)。
如上所述，通过对去马赛克处理之后的亮度信号施以点像复原处理，RGB无需分别具有点像复原处理的参数，能够使点像复原处理高速化。并且，并非将与位于分散位置的R、G、B的像素相对应的R、G、B的图像信号分别汇集为一个单位来进行反卷积处理，而是将接近的像素的亮度信号彼此汇集为规定单位，并在该单位中适用共同的复原滤波器来进行反卷积处理，因此点像复原处理的精度得到提高。另外，对于色差信号Cr、Cb，在基于人眼的视觉特性上，即使不通过点像复原处理来提高分辨率，在画质上也是容许的。并且，以JPEG这样的压缩形式记录图像时，色差信号以比亮度信号更高的压缩率被压缩，因此没有必要通过点像复原处理来提高分辨率。如此一来，能够兼顾复原精度的提高与处理的简单化及高速化。另外，关于显示控制，能够适用本发明的各实施方式中说明的显示控制。
对于如以上说明的EDoF系统的点像复原处理，也能够适用本发明的各实施方式所涉及的点像复原处理及显示控制。
[摄像装置中的其他实施方式]
以上，作为本发明的图像处理装置1所包含的摄像装置5的实施方式，对数码相机进行了说明，但摄像装置的结构并不限定于此。作为本发明的其他摄像装置，例如能够设为内置型或外置型PC用相机或者如以下说明的具有摄影功能的便携式终端装置。
作为本发明的摄像装置5的一实施方式的便携式终端装置，例如可举出移动电话和智能手机、PDA(PersonalDigitalAssistants)、便携式游戏机。以下，举智能手机为例，参考附图进行详细说明。
图25是表示作为本发明的摄像装置的一实施方式的智能手机401的外观的图。图25所示的智能手机401具有平板状框体402，在框体402的一侧的面具备作为显示部55的显示面板421与作为输入部的操作面板422成为一体的显示输入部420。并且，这种框体402具备扬声器431、麦克风432、操作部440及相机部441。另外，框体402的结构并不限定于此，例如能够采用显示部55与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图26是表示图25所示的智能手机401的结构的框图。如图26所示，作为智能手机的主要的构成要件，具备无线通信部410、显示输入部420、通话部430、操作部440、相机部441、存储部450、外部输入输出部460、GPS(GlobalPositioningSystem)接收部470、动作传感器部480、电源部490及主控制部500。并且，作为智能手机401的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部410根据主控制部500的命令，对于容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的接收。
显示输入部420是所谓的触摸面板，其具备显示面板421及操作面板422，所述显示输入部根据主控制部500的控制，显示图像(静止图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。
显示面板421是例如将LCD(LiquidCrystalDisplay)、OELD(OrganicElectro-LuminescenceDisplay)等用作显示设备的装置。操作面板422是以能够视觉辨认显示于显示面板421的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将因操作而产生的检测信号输出至主控制部500。接着，主控制部500根据所接收的检测信号检测显示面板421上的操作位置(坐标)。
如图25所示，作为本发明的摄像装置的一实施方式来例示的智能手机401的显示面板421与操作面板422成为一体而构成显示输入部420，配置成操作面板422完全覆盖显示面板421。采用该配置时，操作面板422可以对显示面板421以外的区域也具备检测用户操作的功能。换言之，操作面板422可具备针对与显示面板421重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板421重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板421的大小完全一致，但并非一定要使两者一致。并且，操作面板422可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体402的大小等而适当设计。此外，作为在操作面板422中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。
通话部430具备扬声器431和麦克风432，所述通话部将通过麦克风432输入的用户的语音转换成能够在主控制部500中处理的语音数据来输出至主控制部500、或者对通过无线通信部410或外部输入输出部460接收的语音数据进行解码而从扬声器431输出。并且，如图25所示，例如能够将扬声器431搭载于与设置有显示输入部420的面相同的面，并将麦克风432搭载于框体402的侧面。
操作部440为使用键开关等的硬件键，接受来自用户的命令。例如，如图25所示，操作部440搭载于智能手机401的框体402的侧面，是若被手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部450存储主控制部500的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立了对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、及已下载的内容数据，并且暂时存储流数据等。并且，存储部450由智能手机内置的内部存储部451及具有装卸自如的外部存储器插槽的外部存储部452构成。另外，构成存储部450的各个内部存储部451与外部存储部452通过使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)等记录介质来实现。
外部输入输出部460发挥与智能手机401连结的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequencyIdentification)、红外线通信(InfraredDataAssociation：IrDA)(注册商标)、UWB(UltraWideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机401连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memorycard)或SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机401内部的各构成要件、或将智能手机401内部的数据传送至外部设备。
GPS接收部470根据主控制部500的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由智能手机401的纬度、经度、高度构成的位置。GPS接收部470在能够从无线通信部410或外部输入输出部460(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部480例如具备3轴加速度传感器等，根据主控制部500的命令，检测智能手机401的物理动作。通过检测智能手机401的物理动作，可检测智能手机401的移动方向或加速度。该检测结果输出至主控制部500。
电源部490根据主控制部500的命令，向智能手机401的各部供给积蓄在电池(未图示)中的电力。
主控制部500具备微处理器，根据存储部450所存储的控制程序或控制数据进行动作，统一控制智能手机401的各部。并且，主控制部500为了通过无线通信部410进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部500根据存储部450所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部460来与对向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部500具备根据接收数据或所下载的流数据等图像数据(静止图像或动态图像的数据)而在显示输入部420显示影像等的图像处理功能。图像处理功能是指主控制部500对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部420的功能。
而且，主控制部500执行对显示面板421的显示控制及检测通过操作部440、操作面板422进行的用户操作的操作检测控制。
通过执行显示控制，主控制部500显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法落入显示面板421的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部500检测通过操作部440进行的用户操作，或者通过操作面板422接受对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接受通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部500具备判定对操作面板422操作的位置是与显示面板421重叠的重叠部分(显示区域)还是除此以外的不与显示面板421重叠的外缘部分(非显示区域)，并控制操作面板422的感应区域或软件键的显示位置的触摸面板控制功能。
并且，主控制部500还能够检测对操作面板422的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部441是使用CMOS(ComplementaryMetalOxideSemiconductor)或CCD(Charge-CoupledDevice)等成像元件进行电子摄影的数码相机。并且，相机部441能够通过主控制部500的控制，将通过摄像获得的图像数据转换成例如JPEG(JointPhotographiccodingExpertsGroup)等被压缩的图像数据，并记录于存储部450，或能够通过输入输出部460和无线通信部410输出。图25所示的智能手机401中，相机部441搭载于与显示输入部420相同的面，但相机部441的搭载位置并不限定于此，可搭载于显示输入部420的背面，或者也可以搭载有多个相机部441。另外，搭载有多个相机部441时，还能够切换用于进行摄影的相机部441来单独摄影、或者同时使用多个相机部441来进行摄影。
并且，相机部441能够利用于智能手机401的各种功能。例如，能够在显示面板421显示通过相机部441获取的图像，或者作为操作面板422的操作输入之一而利用相机部441的图像。并且，当GPS接收部470检测位置时，还能够参考来自相机部441的图像来检测位置。而且，还能够参考来自相机部441的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机401的相机部441的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部441的图像。
另外，能够在静止画面或动画的图像数据上附加通过GPS接收部470获取的位置信息、通过麦克风432获取的语音信息(可通过主控制部等进行语音文本转换而成为文本信息)、或通过动作传感器部480获取的姿势信息等等来记录于存储部450，或者还能够通过输入输出部460或无线通信部410输出。
本发明的目的还可通过由系统或者装置的计算机(或CPU或MPU)从存储有实现上述实施方式中示出的流程的步骤的程序代码(程序)的存储介质读出并执行该程序代码来实现。
此时，从存储介质读出的程序代码本身会实现上述的实施方式的功能。因此，该程序代码及存储、记录有程序代码的计算机能够读取的存储介质也构成本发明之一。
作为用于供给程序代码的存储介质，例如能够使用软(注册商标)盘、硬盘、光盘、光磁盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。
并且，上述实施方式的功能通过由计算机执行所读出的程序来实现。并且，该程序的执行还包括根据该程序的命令，由在计算机上运行的OS等进行实际处理的一部分或全部的情况。
而且，上述实施方式的功能还能够通过插入到计算机的功能扩展板、与计算机连接的功能扩展单元来实现。此时，首先，从存储介质读出的程序被写入到插入到计算机的功能扩展板或与计算机连接的功能扩展单元所具备的存储器中。之后，根据该程序的命令，由该功能扩展板、功能扩展单元所具备的CPU等进行实际处理的一部分或全部。通过基于这种功能扩展板、功能扩展张单元的处理，也能够实现上述实施方式的功能。
并且，上述实施方式的流程的各步骤并不限于使用软件(计算机)来实现，也可利用硬件(电子电路)来实现。
符号说明
1-图像处理装置，10-光学系统，15-成像元件，20-数据控制部，25-图像处理部，30-记录部，35-内部存储器，40-点像复原处理部，45-区域信息输出部，46-滤波器区域信息输出部，47-分析区域信息生成部，48-摄影条件区域信息输出部，50-显示控制部，51输入部，55-显示部，100-复原图像，105-框，110-特定区域，301-摄像模块、310-EDoF光学系统，310A-摄影透镜，401-智能手机，421-显示面板，422-操作面板，500-主控制部。

Claims (25)

1.一种图像处理装置，其具备：
点像复原处理部，输入摄影图像，并根据点像复原信息对所述摄影图像进行点像复原处理，从而生成复原图像；
区域信息输出部，输出与根据所述点像复原信息进行的所述点像复原处理所产生的复原强度成为阈值以上的所述复原图像中的特定区域相关的区域信息；
显示控制部，输入所述复原图像及所述区域信息，根据所述区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制；及
显示部，根据由所述显示控制部进行的显示控制，至少进行所述特定区域的强调显示。
2.根据权利要求1所述的图像处理装置，其中，
所述区域信息输出部将基于所述点像复原信息的调制传递函数的增加率成为阈值以上的所述复原图像中的区域选作所述特定区域。
3.一种图像处理装置，其中，
在权利要求1所述的图像处理装置中，代替所述区域信息输出部而具备滤波器区域信息输出部，
所述滤波器区域信息输出部中，输入与所述点像复原处理的复原滤波器相关的信息，并根据与所述复原滤波器相关的信息，输出与所述复原图像中的所述特定区域相关的滤波器区域信息，
所述显示控制部中，代替所述区域信息而输入所述滤波器区域信息，并根据所述滤波器区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制。
4.一种图像处理装置，其中，
在权利要求1所述的图像处理装置中，代替所述区域信息输出部而具备分析区域信息生成部，
所述分析区域信息生成部中，输入所述摄影图像，并通过分析来对在所述摄影图像中有可能产生伪信号的区域进行确定，从而生成将所述区域作为所述特定区域的分析区域信息，
所述显示控制部中，代替所述区域信息而输入所述分析区域信息，并根据所述分析区域信息，以强调显示所述复原图像中的所述特定区域地方式进行显示控制。
5.一种图像处理装置，其中，
在权利要求1所述的图像处理装置中，代替所述区域信息输出部而具备摄影条件区域信息输出部，
所述摄影条件区域信息输出部中，输入与所述摄影图像的摄影条件相关的信息，并根据与所述摄影条件相关的信息，输出与所述摄影图像中的所述特定区域相关的摄影条件区域信息，
所述显示控制部中，代替所述区域信息而输入所述摄影条件区域信息，并根据所述摄影条件区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制。
6.根据权利要求5所述的图像处理装置，其中，
所述摄影条件区域信息输出部根据F值、摄影距离、焦距、变焦位置及透镜种类中的至少任一个，输出与所述摄影图像中的所述特定区域相关的所述摄影条件区域信息。
7.根据权利要求1～6中任一项所述的图像处理装置，其中，
所述显示控制部通过多个显示方式，以强调显示所述复原图像中的所述特定区域的方式进行显示控制，并根据与所述特定区域相关的信息来确定与所述多个显示方式相关的显示顺序。
8.根据权利要求1～7中任一项所述的图像处理装置，其中，
当没有所述特定区域时，所述显示控制部以强调显示所述复原图像的中央区域的方式进行显示控制，
所述显示部根据由所述显示控制部进行的显示控制，强调显示所述复原图像的所述中央区域。
9.根据权利要求1～8中任一项所述的图像处理装置，其中，
所述显示控制部以显示所述复原图像中的所述特定区域及所述复原图像的方式进行显示控制，
所述显示部根据由所述显示控制部进行的显示控制，显示所述复原图像中的所述特定区域及所述复原图像。
10.根据权利要求1～9中任一项所述的图像处理装置，其中，
所述显示控制部以比较显示所述摄影图像和所述复原图像、或比较显示所述复原图像中的所述特定区域和所述摄影图像中的与所述特定区域对应的区域的方式进行显示控制，
所述显示部根据由所述显示控制部进行的显示控制，比较显示所述摄影图像和所述复原图像、或比较显示所述复原图像中的所述特定区域和所述摄影图像中的与所述特定区域对应的区域，
所述点像复原处理部根据所述被比较显示的图像中所选择的图像或所述被比较显示的区域中所选择的区域，对所述摄影图像进行所述点像复原处理。
11.根据权利要求1～10中任一项所述的图像处理装置，其中，
所述显示控制部以强调显示与包含所述特定区域的像高对应的部位的方式进行显示控制。
12.一种摄像装置，其具有权利要求1～11中任一项中记载的图像处理装
置。
13.根据权利要求12所述的摄像装置，
所述摄像装置为透镜更换式。
14.根据权利要求12所述的摄像装置，
所述摄像装置具有调制相位来扩大景深的透镜。
15.一种图像处理装置，其具备：
输入部，输入根据点像复原信息对摄影图像进行了点像复原处理的复原图像、及与根据所述点像复原信息进行的所述点像复原处理所产生的复原强度成为阈值以上的所述复原图像中的特定区域相关的区域信息；
显示控制部，输入所述复原图像及所述区域信息，并根据所述区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制；及
显示部，根据由所述显示控制部进行的显示控制，至少进行所述特定区域的强调显示。
16.一种图像处理方法，其包含：
点像复原处理步骤，根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像；
区域信息输出步骤，输出与根据所述点像复原信息进行的所述点像复原处理所产生的复原强度成为阈值以上的所述复原图像中的特定区域相关的区域信息；
显示控制步骤，根据所述区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制；及
显示步骤，根据由所述显示控制步骤进行的显示控制，至少进行所述特定区域的强调显示。
17.一种图像处理方法，其中，
在权利要求16所述的图像处理方法中，代替所述区域信息输出步骤而包含滤波器区域信息输出步骤，
所述滤波器区域信息输出步骤中，根据与所述点像复原处理的复原滤波器相关的信息，输出与所述复原图像中的所述特定区域相关的滤波器区域信息，
所述显示控制步骤中，根据所述滤波器区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制。
18.一种图像处理方法，其中，
在权利要求16所述的图像处理方法中，代替所述区域信息输出步骤而包含分析区域信息生成步骤，
所述分析区域信息生成步骤中，通过分析来对在摄影图像中有可能产生伪信号的区域进行确定，从而生成将所述区域作为所述特定区域的分析区域信息，
所述显示控制步骤中，根据所述分析区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制。
19.一种图像处理方法，其中，
在权利要求16所述的图像处理方法中，代替所述区域信息输出步骤而包含摄影条件区域信息输出步骤，
所述摄影条件区域信息输出步骤中，根据与所述摄影图像的摄影条件相关的信息，输出与所述摄影图像中的所述特定区域相关的摄影条件区域信息，
所述显示控制步骤中，根据所述摄影条件区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制。
20.一种图像处理方法，其包含：
获取步骤，获取根据点像复原信息对摄影图像进行了点像复原处理的复原图像、及与根据所述点像复原信息进行的所述点像复原处理所产生的复原强度成为阈值以上的所述复原图像中的特定区域相关的区域信息；
显示控制步骤，输入所述复原图像及所述区域信息，根据所述区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制；及
显示步骤，根据由所述显示控制步骤进行的显示控制，至少进行所述特定区域的强调显示。
21.一种程序，其用于使计算机执行如下步骤：
点像复原处理步骤，根据点像复原信息对摄影图像进行点像复原处理，从而生成复原图像；
区域信息输出步骤，输出与根据所述点像复原信息进行的所述点像复原处理而产生的复原强度成为阈值以上的所述复原图像中的特定区域相关的区域信息；
显示控制步骤，根据所述区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制；及
显示步骤，根据由所述显示控制步骤进行的显示控制，至少进行所述特定区域的强调显示。
22.一种程序，其中，
在权利要求21所述的程序中，代替所述区域信息输出步骤而包含滤波器区域信息输出步骤，
所述滤波器区域信息输出步骤中，根据与所述点像复原处理的复原滤波器相关的信息，输出与所述复原图像中的所述特定区域相关的滤波器区域信息，
所述显示控制步骤中，根据所述滤波器区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制。
23.一种程序，其中，
权利要求21所述的程序中的所述区域信息输出步骤而包含分析区域信息生成步骤，
所述分析区域信息生成步骤中，通过分析来对在摄影图像中有可能产生伪信号的区域进行确定，从而生成将所述区域作为所述特定区域的分析区域信息，
所述显示控制步骤中，根据所述分析区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制。
24.一种程序，其中，
权利要求21所述的程序中的所述区域信息输出步骤而包含摄影条件区域信息输出步骤，
所述摄影条件区域信息输出步骤中，根据与所述摄影图像的摄影条件相关的信息，输出与所述摄影图像中的所述特定区域相关的摄影条件区域信息，
所述显示控制步骤中，根据所述摄影条件区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制。
25.一种程序，其用于使计算机执行如下步骤：
获取步骤，获取根据点像复原信息对摄影图像进行了点像复原处理的复原图像、及与根据所述点像复原信息进行的所述点像复原处理而产生的复原强度成为阈值以上的所述复原图像中的特定区域相关的区域信息；
显示控制步骤，输入所述复原图像及所述区域信息，根据所述区域信息，以强调显示所述复原图像中的所述特定区域的方式进行显示控制；及
显示步骤，根据由所述显示控制步骤进行的显示控制，至少进行所述特定区域的强调显示。
CN201480027398.6A 2013-05-13 2014-03-28 图像处理装置及方法 Active CN105453534B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013101485 2013-05-13
JP2013-101485 2013-05-13
PCT/JP2014/059163 WO2014185172A1 (ja) 2013-05-13 2014-03-28 画像処理装置、撮像装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN105453534A true CN105453534A (zh) 2016-03-30
CN105453534B CN105453534B (zh) 2018-07-06

Family

ID=51898156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480027398.6A Active CN105453534B (zh) 2013-05-13 2014-03-28 图像处理装置及方法

Country Status (4)

Country Link
US (1) US9881362B2 (zh)
JP (1) JP5870231B2 (zh)
CN (1) CN105453534B (zh)
WO (1) WO2014185172A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107497621A (zh) * 2017-09-20 2017-12-22 王晓东 扩展型雾化调节系统及方法
CN108492246A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN111709859A (zh) * 2019-11-23 2020-09-25 陈波 基于内容数据解析的证据保全平台

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6129759B2 (ja) * 2014-02-03 2017-05-17 満男 江口 Ｓｉｍｄ型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体
WO2016167188A1 (ja) * 2015-04-16 2016-10-20 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
JP6702602B2 (ja) * 2016-08-25 2020-06-03 Ｎｅｃディスプレイソリューションズ株式会社 自己画像診断方法、自己画像診断プログラム、ディスプレイ装置、及び自己画像診断システム
CN114727220B (zh) * 2020-08-05 2022-12-27 华为技术有限公司 一种设备搜寻方法以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1871847A (zh) * 2003-10-24 2006-11-29 奥林巴斯株式会社 信号处理系统、信号处理方法以及信号处理程序
US20090225202A1 (en) * 2008-03-06 2009-09-10 Sanyo Electric Co., Ltd. Imaging apparatus
JP2011193277A (ja) * 2010-03-15 2011-09-29 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN102209245A (zh) * 2010-03-31 2011-10-05 佳能株式会社 图像处理装置、图像拾取装置和图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3567844B2 (ja) * 1999-03-15 2004-09-22 株式会社デンソー モノリス担体の欠陥検査方法及び欠陥検査装置
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
JP4370780B2 (ja) 2002-12-25 2009-11-25 株式会社ニコン ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP2006295238A (ja) * 2005-04-05 2006-10-26 Olympus Imaging Corp 撮像装置
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
JP4453734B2 (ja) 2007-09-21 2010-04-21 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
CN102186400B (zh) * 2008-10-17 2013-09-04 奥林巴斯株式会社 摄像装置以及摄像系统
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
CN102714737B (zh) * 2009-12-17 2015-12-02 佳能株式会社 图像处理设备和使用图像处理设备的图像捕获装置
JP5455728B2 (ja) * 2010-03-17 2014-03-26 キヤノン株式会社 撮像装置、画像処理装置、及び画像処理方法
US8582820B2 (en) * 2010-09-24 2013-11-12 Apple Inc. Coded aperture camera with adaptive image processing
CN105009168B (zh) * 2013-03-04 2017-12-15 富士胶片株式会社 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置
CN105165003B (zh) * 2013-04-26 2018-06-22 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
WO2015156151A1 (ja) * 2014-04-11 2015-10-15 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2017028583A (ja) * 2015-07-24 2017-02-02 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6648918B2 (ja) * 2015-08-17 2020-02-14 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1871847A (zh) * 2003-10-24 2006-11-29 奥林巴斯株式会社 信号处理系统、信号处理方法以及信号处理程序
US20090225202A1 (en) * 2008-03-06 2009-09-10 Sanyo Electric Co., Ltd. Imaging apparatus
JP2011193277A (ja) * 2010-03-15 2011-09-29 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN102209245A (zh) * 2010-03-31 2011-10-05 佳能株式会社 图像处理装置、图像拾取装置和图像处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107497621A (zh) * 2017-09-20 2017-12-22 王晓东 扩展型雾化调节系统及方法
CN107497621B (zh) * 2017-09-20 2018-04-06 安徽灵感科技有限公司 扩展型雾化调节系统及方法
CN108492246A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN111709859A (zh) * 2019-11-23 2020-09-25 陈波 基于内容数据解析的证据保全平台

Also Published As

Publication number Publication date
CN105453534B (zh) 2018-07-06
WO2014185172A1 (ja) 2014-11-20
JP5870231B2 (ja) 2016-02-24
JPWO2014185172A1 (ja) 2017-02-23
US20160055628A1 (en) 2016-02-25
US9881362B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
CN105103534B (zh) 摄像装置及校准方法
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
US9357107B2 (en) Image-processing device, image-capturing device, image-processing method, and recording medium
US9445069B2 (en) Image-processing device, image-capturing device, image-processing method, and recording medium
US9865039B2 (en) Restoration filter generation device and image processing device
US9432643B2 (en) Image processing device, image capture device, image processing method, and non-transitory computer-readable medium
US9536289B2 (en) Restoration filter generation device and method, image processing device, imaging device, and non-transitory computer-readable medium
CN105453534A (zh) 图像处理装置、摄像装置、图像处理方法及程序
US9866750B2 (en) Image processing device, imaging device, image processing method, and image processing program
CN104854858A (zh) 图像处理装置、摄像装置、计算机及程序
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
US9892495B2 (en) Image processing device, imaging device, image processing method, and image processing program
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
CN105453540A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105453539A (zh) 图像处理装置、摄像装置、图像处理方法及程序
WO2015156151A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN105122787B (zh) 摄像装置、校准系统、校准方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant