CN104350735B - 图像处理装置、摄像装置、图像处理方法 - Google Patents

图像处理装置、摄像装置、图像处理方法 Download PDF

Info

Publication number
CN104350735B
CN104350735B CN201380028660.4A CN201380028660A CN104350735B CN 104350735 B CN104350735 B CN 104350735B CN 201380028660 A CN201380028660 A CN 201380028660A CN 104350735 B CN104350735 B CN 104350735B
Authority
CN
China
Prior art keywords
smoothing
image
noise
intensity
photographed images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380028660.4A
Other languages
English (en)
Other versions
CN104350735A (zh
Inventor
田中康一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104350735A publication Critical patent/CN104350735A/zh
Application granted granted Critical
Publication of CN104350735B publication Critical patent/CN104350735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明具备：图像获取单元(112)，获取对被摄体进行摄像所得的摄像图像；平滑化单元(114)，通过对摄像图像进行平滑化而生成平滑化图像；噪声提取单元(116)，从摄像图像与平滑化图像的差分提取差分噪声成分；噪声附加单元(118)，向平滑化摄像图像加上差分噪声成分；映射获取单元(120)，获取表示对摄像图像的模糊强度的分布的模糊强度映射；及图像合成单元(122)，基于模糊强度映射来合成摄像图像和平滑化图像，生成输出图像。

Description

图像处理装置、摄像装置、图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置、图像处理方法及程序，特别是涉及生成模糊强调图像的技术。
背景技术
在数码相机等摄像装置、图像处理装置的领域中，对通过所谓的包围式对焦摄影而得到的摄像图像进行对应点检测和图像变形，并基于这些结果对摄像图像施加模糊，从而生成景深较浅的图像。
在例如专利文献1中，基于包围式对焦图像算出适用于基准图像的高斯滤光片的滤光特性，并基于该特性对基准图像进行局部平滑化，从而生成对模糊进行了强调后的图像。
另外，在专利文献2中记载了如下技术方案：在图像中适用噪声附加滤光时，对人物等不希望附加噪声的区域进行检测，对该区域进行软焦点处理，在该区域外进行噪声附加处理。
专利文献
专利文献1：日本特开2008-271240号公报
专利文献2：日本特开2007-241424号公报
发明内容
发明要解决的课题
在利用上述专利文献那样的现有技术对图像进行模糊处理的情况下，在使用平滑化滤光等一般性的方法中，图像中的模糊处理后的部分与没有进行模糊处理的部分噪声的量会产生差而变得不均匀，成为存在不协调感的图像。在上述专利文献1中，针对与模糊处理相伴而产生的图像中的噪声量的差没有进行考虑。另外，在上述专利文献2中，在特定的区域附加噪声，但是在包含人物等而不希望附加噪声的区域，噪声根据软焦点处理的滤光特性而减少，另一方面，在除此以外的区域附加噪声，因此存在处理后的图像中产生噪声的差的问题。
本发明基于这种情形而提出，目的在于提供能够减轻模糊的部分与不模糊的部分的噪声量的差并生成自然的模糊强调图像的图像处理装置、摄像装置、图像处理方法及程序。
用于解决课题的手段
为了达到上述的目的，本发明提供一种图像处理装置，具备：图像获取单元，获取对被摄体进行摄像所得的摄像图像；平滑化单元，通过对摄像图像进行平滑化而生成平滑化图像；噪声提取单元，从摄像图像与平滑化图像的差分提取差分噪声成分；噪声附加单元，向平滑化图像加上差分噪声成分；映射获取单元，获取模糊强度映射，该模糊强度映射表示对摄像图像的模糊强度的分布；及图像合成单元，基于模糊强度映射来合成摄像图像和平滑化图像，生成输出图像。在此，“差分噪声成分”表示通过对摄像图像进行平滑化而从摄像图像降低后的噪声。另外，所谓“噪声”是指图像的混乱(噪声成分)，是与被摄体像无关的成分。
如上述那样，通过对摄像图像进行平滑化而生成平滑化图像，从摄像图像与平滑化图像的差分提取差分噪声成分，向平滑化图像加上差分噪声成分，基于模糊强度映射来合成摄像图像和平滑化图像，生成输出图像，因此能够得到减轻了模糊的部分与没有模糊的部分的噪声量的差、并且局部的噪声量的差难以变得明显而更加自然的模糊强调图像。
在一实施方式中，平滑化单元通过以多个不同的平滑化强度中的各平滑化强度对摄像图像进行平滑化而生成平滑化强度不同的多个平滑化图像，噪声提取单元从摄像图像与多个平滑化图像中的各平滑化图像的差分提取与多个平滑化图像分别对应的多个差分噪声成分，噪声附加单元通过向多个平滑化图像中的各平滑化图像加上多个差分噪声成分中的对应的差分噪声成分，使多个平滑化图像间的噪声相等，图像合成单元基于模糊强度映射来合成摄像图像和多个平滑化图像，生成输出图像。
在一实施方式中，模糊强度映射对应摄像图像的每个像素或每个像素区域表示模糊强度的分布，图像合成单元对应摄像图像的每个像素或每个区域，基于模糊强度映射的模糊强度，从摄像图像和附加了差分噪声成分的多个平滑化图像之中选择多个图像，从摄像图像和多个平滑化图像之中选择多个图像，通过进行所选择的该多个图像的加权平均而生成输出图像。
在一实施方式中，平滑化单元具有通过像素间拔进行图像尺寸的缩小的间拔单元和通过像素插值进行图像尺寸的放大的放大单元，通过多次重复进行相同平滑化强度的平滑化和间拔单元的像素间拔，生成平滑化强度和图像尺寸不同的多个平滑化图像，由放大单元将该多个平滑化图像转换为平滑化强度不同而图像尺寸相同的多个平滑化图像。
在一实施方式中，模糊强度映射对应摄像图像的每个像素或每个像素区域表示模糊强度的分布，平滑化单元基于模糊强度映射中的最大的模糊强度，确定对摄像图像的平滑化的平滑化强度。
另外，本发明提供一种图像处理装置，具备：图像获取单元，获取对被摄体进行摄像所得的摄像图像；噪声图像获取单元，获取表示摄像图像中包含的噪声的噪声图像；平滑化单元，通过对摄像图像进行平滑化而生成平滑化图像，且通过以在摄像图像的平滑化中使用的平滑化强度对噪声图像进行平滑化而生成平滑化噪声图像；噪声提取单元，从噪声图像与平滑化噪声图像的差分提取差分噪声成分；噪声附加单元，向平滑化图像加上差分噪声成分；映射获取单元，获取模糊强度映射，该模糊强度映射表示对摄像图像的模糊强度的分布；及图像合成单元，基于模糊强度映射来合成摄像图像和平滑化图像，生成输出图像。在此，所谓“差分噪声成分”表示通过对摄像图像进行平滑化而从摄像图像降低后的的噪声。
噪声图像优选为是由与摄像图像中包含的噪声相同的噪声构成的图像。在此，所谓与摄像图像中包含的噪声“相同”，包含大致相同的情况，是正规分布的宽度(方差或标准偏差)之差为5％以内，或噪声强度之差为10％以内等。
在一实施方式中，平滑化单元通过以多个不同的平滑化强度中的各平滑化强度对摄像图像进行平滑化而生成平滑化强度不同的多个平滑化图像，并且，通过以在摄像图像的平滑化中使用的多个不同的平滑化强度中的各平滑化强度对噪声图像进行平滑化而生成平滑化强度不同的多个平滑化噪声图像，噪声提取单元从噪声图像与多个平滑化噪声图像中的各平滑化噪声图像的差分提取与多个平滑化图像分别对应的多个差分噪声成分，噪声附加单元通过向多个平滑化图像中的各平滑化图像加上多个差分噪声成分中的对应的差分噪声成分，使多个平滑化图像间的噪声相等，图像合成单元基于模糊强度映射来合成摄像图像和多个平滑化图像，生成输出图像。
在一实施方式中，模糊强度映射对应摄像图像的每个像素或每个像素区域表示模糊强度的分布，图像合成单元对应摄像图像的每个像素或每个区域，基于模糊强度映射的模糊强度，从摄像图像和附加了差分噪声成分后的多个平滑化图像之中选择多个图像，通过进行所选择的多个图像的加权平均而生成输出图像。
在一实施方式中，平滑化单元具有通过像素间拔进行图像尺寸的缩小的间拔单元和通过像素插值进行图像尺寸的放大的放大单元，通过多次重复进行相同平滑化强度的平滑化和间拔单元的像素间拔，生成平滑化强度和图像尺寸不同的多个平滑化图像，由放大单元将该多个平滑化图像转换为平滑化强度不同而图像尺寸相同的多个平滑化图像，且通过多次重复进行相同平滑化强度的平滑化和间拔单元的像素间拔，生成平滑化强度和图像尺寸不同的多个平滑化噪声图像，由放大单元将该多个平滑化噪声图像转换为平滑化强度不同而图像尺寸相同的多个平滑化噪声图像。
在一实施方式中，模糊强度映射对应摄像图像的每个像素或每个像素区域表示模糊强度的分布，平滑化单元基于模糊强度映射中的最大的模糊强度，确定对摄像图像和噪声图像的平滑化的平滑化强度。
在一实施方式中，平滑化单元在噪声图像和摄像图像中使平滑化强度一致。
在一实施方式中，噪声图像获取单元基于摄像图像生成噪声图像。
在一实施方式中，噪声图像获取单元基于摄像图像的摄像条件或对摄像图像进行摄像的摄像装置的摄像特性，生成噪声图像。
在一实施方式中，映射获取单元获取距离映射作为模糊强度映射，该距离映射表示摄像图像中的每个像素或每个区域的距离的分布，图像合成单元基于距离映射，生成具有与摄像图像中的距离的分布相应的模糊强度的分布的输出图像。
另外，本发明提供具备上述的图像处理装置的摄像装置。
另外，本发明一种图像处理方法，使用：图像获取单元，获取对被摄体进行摄像所得的摄像图像；及映射获取单元，获取模糊强度映射，该模糊强度映射表示对摄像图像的模糊强度的分布，图像处理方法具备：平滑化步骤，通过对摄像图像进行平滑化而生成平滑化图像；噪声提取步骤，从摄像图像与平滑化图像的差分提取差分噪声成分；噪声附加步骤，向平滑化图像加上差分噪声成分；图像合成步骤，基于模糊强度映射来合成摄像图像和平滑化图像，生成输出图像。
另外，本发明提供一种图像处理方法，使用：图像获取单元，获取对被摄体进行摄像所得的摄像图像；噪声图像获取单元，获取表示摄像图像中包含的噪声的噪声图像；及映射获取单元，获取模糊强度映射，该模糊强度映射表示对摄像图像的模糊强度的分布，图像处理方法具备：通过对摄像图像进行平滑化而生成平滑化图像的步骤；通过以在摄像图像的平滑化中使用的平滑化强度对噪声图像进行平滑化而生成平滑化噪声图像的步骤；噪声提取步骤，从噪声图像与平滑化噪声图像的差分提取差分噪声成分；噪声附加步骤，向平滑化图像加上差分噪声成分；及图像合成步骤，基于模糊强度映射来合成摄像图像和平滑化图像，生成输出图像。
另外，本发明提供一种程序，使用：图像获取单元，获取对被摄体进行摄像所得的摄像图像；及映射获取单元，获取模糊强度映射，该模糊强度映射表示对摄像图像的模糊强度的分布，使计算机执行如下步骤：平滑化步骤，通过对摄像图像进行平滑化而生成平滑化图像；噪声提取步骤，从摄像图像与平滑化图像的差分提取差分噪声成分；噪声附加步骤，向平滑化图像加上差分噪声成分；及图像合成步骤，基于模糊强度映射来合成摄像图像和平滑化图像，生成输出图像。
另外，本发明提供一种程序，使用：图像获取单元，获取对被摄体进行摄像所得的摄像图像；噪声图像获取单元，获取表示摄像图像中包含的噪声的噪声图像；及映射获取单元，获取模糊强度映射，该模糊强度映射表示对摄像图像的模糊强度的分布，使计算机执行如下步骤：通过对摄像图像进行平滑化而生成平滑化图像的步骤；通过以在摄像图像的平滑化中使用的平滑化强度对噪声图像进行平滑化而生成平滑化噪声图像的步骤；噪声提取步骤，从噪声图像与平滑化噪声图像的差分提取差分噪声成分；噪声附加步骤，向平滑化图像加上差分噪声成分；及图像合成步骤，基于模糊强度映射来合成摄像图像和平滑化图像，生成输出图像。
发明效果
根据本发明，能够生成一种模糊的部分与没有模糊的部分的噪声量的差减轻的、自然的模糊强调图像。
附图说明
图1是表示适用了本发明所涉及的图像处理装置的摄像装置的结构例的框图。
图2是示意性地表示本发明所涉及的图像处理的一例的概要的示意图。
图3是表示图2的图像处理的一例的流程的流程图。
图4是表示第一实施例的图像处理装置的结构的框图。
图5是表示在第一实施例中进行多级平滑化的情况下的图像处理装置的主要部分结构的框图。
图6是表示第一实施例中的模糊强调处理的一例的流程的流程图。
图7是在以多级进行平滑化处理的作用的效果的说明中所使用的说明图。
图8是在以多级进行平滑化处理的作用的效果的说明中所使用的说明图。
图9是表示在第一实施例中检测最大模糊强度的情况下的模糊强调处理的一例的流程的流程图。
图10是表示第二实施例的图像处理装置的结构的框图。
图11是表示在第二实施例中进行多级平滑化的情况下的图像处理装置的主要部分结构的框图。
图12是表示第二实施例中的模糊强调处理的一例的流程的流程图。
图13是表示噪声图像生成处理的一例的流程的流程图。
图14是噪声成分提取的说明中所使用的说明图。
图15是噪声成分提取的说明中所使用的说明图。
图16是表示在第二实施例中检测最大模糊强度的情况下的模糊强调处理的一例的流程的流程图。
图17是表示第三实施例的图像处理装置的结构的框图。
图18是表示在第三实施例中进行多级平滑化的情况下的图像处理装置的主要部分结构的框图。
图19是表示第三实施例中的模糊强调处理的一例的流程的流程图。
图20是表示在第三实施例中检测最大模糊强度的情况下的模糊强调处理的一例的流程的流程图。
图21是作为本发明所涉及的图像处理装置的其他实施方式的智能手机的外观图。
图22是表示上述智能手机的结构的框图。
具体实施方式
以下，按照附图对用于实施本发明所涉及的图像处理装置、方法及程序的形态详细地进行说明。
[摄像装置的结构]
图1是表示适用了本发明所涉及的图像处理装置的摄像装置10的结构例的框图。摄像装置10的装置整体的动作由中央处理装置(CPU)40集中控制，将CPU40的动作所需的程序(包括用于后述的图像处理的程序)、参数存储于EEPROM(ElectronicallyErasableandProgrammableReadOnlyMemory：带电可擦写可编程只读存储器)46等非暂时性的存储介质。
在摄像装置10设有快门按钮、模式拨盘、重放按钮、菜单/OK键、十字键、返回键等操作部38。来自该操作部38的信号被输入到CPU40，CPU40基于输入信号如后述那样对摄像装置10的各电路进行控制。
快门按钮是输入摄影开始的指示的操作按钮，由具有在半按时接通的S1开关和全按时接通的S2开关的二级行程式的开关构成。模式拨盘是对静止画面/动画摄影模式、手动/自动摄影模式和摄影场景等进行选择的单元，另外，能够进行摄影感光度(例如ISO100、400、800、1600等)的设定。
重放按钮是用于切换为将所摄影记录的图像的静止画面或动态图像在液晶监视器30(LCD)上显示的重放模式的按钮。菜单/OK键是兼具用于在液晶监视器30的画面上进行显示菜单的指令的功能和对选择内容的确定和执行等进行指令的功能的操作键。十字键是输入上下左右四个方向的指示的操作部，作为光标移动操作单元、变焦开关、重放模式时的逐帧播放按钮等而发挥功能。返回键在选择项目等期望的对象的取消、指示内容的取消或返回到前一个操作状态时等而使用。这些按钮、键也能够在用户对模糊处理的程度进行指定的情况下等在模糊处理、噪声附加处理时所需的操作中使用。
在摄影模式时，表示被摄体的图像光经由摄影透镜12、光圈14而在摄像元件(本例中使用CCD传感器，以下称作“CCD”)16的受光面成像。另外，摄像元件不限于CCD传感器，也可以使用MOS传感器等其他摄像传感器。
摄影透镜12包含聚焦透镜、变焦透镜，由被CPU40所控制的透镜驱动部36驱动，进行聚焦控制、变焦控制等。
透镜驱动部36按照来自CPU40的指令，使聚焦透镜沿光轴方向移动，使焦点位置可变。另外，透镜驱动部36按照来自CPU40的指令，使变焦透镜沿光轴方向进退动作，使焦距发生变更。
另外，CPU40经由光圈驱动部34而对光圈14进行控制，并且经由CCD控制部32而进行CCD16中的电荷累积时间(快门速度)、来自CCD16的图像信号的读出控制等。蓄积于CCD16的信号电荷基于从CCD控制部32施加的读出信号作为与信号电荷对应的电压信号而被读出，并施加于模拟信号处理部20。
模拟信号处理部20针对从CCD16输出的电压信号通过相关双重采样处理而对各像素中的每个像素的R、G、B信号进行采样保持，并在增幅后施加于A/D转换器21。A/D转换器21将依次输入的模拟的R、G、B信号转换为数字的R、G、B信号而输出到图像输入控制器22。
数字信号处理部24针对经由图像输入控制器22而输入的数字的图像信号，进行偏置处理、包含白平衡校正和感光度校正的增益/控制处理、伽玛校正处理、YC处理等预定的信号处理。
由数字信号处理部24所处理的图像数据被输入到VRAM50。在VRAM50包含对分别表示一帧量的图像的图像数据进行存储的A区域和B区域，由A区域和B区域交替地对表示一帧量的图像的图像数据进行改写，从对图像数据进行改写的区域以外的区域，读出所写入的图像数据。从VRAM50读出的图像数据在视频/编码器28中被编码而输出到液晶监视器30，由此被摄体像在液晶监视器30上显示。
另外，若存在操作部38的快门按钮的第一阶段的按下(半按)，则CPU40开始AF动作和AE动作，经由透镜驱动部36而进行摄影透镜12的对焦控制。另外，在快门按钮的半按时从A/D转换器21输出的图像数据被读入到AE检测部44。
CPU40利用从AE检测部44输入的G信号的积算值算出被摄体的明亮度(摄影Ev值)，并基于该摄影Ev值来确定光圈14的光圈值和CCD16的电子快门(快门速度)，基于该结果对光圈14和CCD16的电荷累积时间进行控制。
AF处理部42是进行对比度AF处理或相位AF处理的部分。在进行对比度AF处理的情况下，以对预定的聚焦区域内的图像数据的高频成分进行积分而算出的、表示对焦状态的AF评价值成为极大的方式，对摄影透镜12内的聚焦透镜进行控制。另外，在进行相位差AF处理的情况下，以从图像数据中的预定的聚焦区域内的主像素、副像素的图像数据的相位差求出的离焦量为0的方式，对摄影透镜12内的聚焦透镜进行控制。
若AE动作和AF动作结束且存在快门按钮的第二阶段的按下(全按)，则响应该按下而将从A/D转换器21输出的图像数据从图像输入控制器22输入到存储器(SDRAM)48，并暂时性地进行存储。
在向存储器48进行暂时存储后，经由数字信号处理部24中的YC处理等信号处理、压缩扩展处理部26中的向JPEG(jointphotographicexpertsgroup：联合图像专家小组)形式的压缩处理等而生成图像文件，该图像文件由媒介控制器52读出而记录于存储卡54。记录于存储卡54的图像能够通过对操作部38的重放按钮进行操作而由液晶监视器30进行重放显示。
[摄像装置中的图像处理的整体的流程]
接下来，对本发明所涉及的图像处理的一例的整体的流程进行说明。
图2是示意性地表示本发明所涉及的图像处理的一例的整体的概要的示意图。图3是表示图2的图像处理的一例的整体的流程的流程图。
本例的图像处理如图2和图3所示，大体分为：(1)包围式对焦摄影(图2(a)、图3的步骤S10～S16)；(2)对应点检测和对位(图2的(b)和(c)、图3的步骤S18～S24)、(3)模糊强度映射获取(图2(d)、图3的步骤S26)、(4)模糊强调(图2(e)、图3的步骤S28)这五个阶段。以下，对各阶段的处理进行说明。
在此，考虑如图2的例子那样在背景前站立人物并对背景进行模糊处理的情况。
(1)包围式对焦摄影
若开始本处理，则在步骤S10中，确定包围式对焦摄影中所包含的预定的多次摄影中的各摄影中的焦点位置和基准焦点位置，在步骤S12中CPU40使透镜12移动而与最初的焦点位置对焦，在步骤S14中进行摄影。在摄影未达到预定次数的情况下(步骤S16中否)，返回到步骤S12，使透镜12移动而与下一个焦点位置对焦并重复摄影。若摄影达到预定次数(步骤S16中是)，则进入到步骤S18。
(2)对应点检测和对位
首先，步骤S18中，将通过包围式对焦摄影(步骤S10～S16)得到的多个图像中的、基准焦点位置处的摄影图像设定为基准图像I0。接下来，在步骤S20中，将基准图像I0以外的图像作为非基准图像I1而选择。接下来，在步骤S22中，在基准图像I0中对特征点进行提取，在非基准图像I1中对与基准图像I0的特征点对应的对应点进行检测，以非基准图像I1的对应点的位置与基准图像I0的特征点的位置一致的方式进行对位(步骤S22)。如此进行对位，是因为有时在包围式对焦的各摄影中摄影时机微妙地不同而引起视场角偏离。以特征点和对应点重合的方式使非基准图像I1变形而生成变形图像I1’，从而进行对位。对非基准图像I1的全部进行步骤S20～S22的处理(步骤S24中否的期间)。
(3)模糊强度映射获取
若对位结束(步骤S24中是)，则向步骤S26推进而根据基准图像I0和变形图像I1’生成(获取)模糊强度映射I2。模糊强度映射(本例中是距离图像)表示后述的模糊强调处理中的对基准图像的模糊强度的分布。另外，在图2(d)的示意图中由黑(近前侧)和白(里侧)两种颜色表示模糊强度映射I2，但是模糊强度映射I2未必限于二值的图像。
(3)模糊强调处理
在步骤S28中，基于直至步骤S26所生成的模糊强度映射I2中所包含的模糊强度的分布的信息，对基准图像I0进行模糊处理。在模糊处理中能够使用各种滤光片。例如，使用由下式1所表达的高斯滤光片。
[数学式1]
f(x)＝(2πσ2)-1/2×e×p(-x2/(2σ2))
上式中，σ表示基于模糊强调处理的模糊强调的程度，σ越小则模糊强调的程度越小，σ越大则模糊强调的程度越大。另外，在高斯滤光片的适用中能够使用3×3、5×5等各种尺寸的内核。适用这种高斯滤光片，基于模糊强度映射对基准图像I0进行模糊处理而生成模糊图像I0’。例如，对于距离较近的像素，减小高斯滤光片的σ而减小模糊强调的程度，对于距离较远的像素，增大σ而增大模糊强调的程度。
另外，在步骤S28的模糊强调处理中，在仅进行模糊处理的情况下，基准图像I0的背景区域与用于模糊处理的滤光特性(上述例中为高斯滤光片的σ的强度)对应而发生模糊，但是与该模糊处理相伴，在背景区域中，能够降低原始的基准图像I0中包含的噪声。另一方面，不进行模糊处理(或模糊处理的程度较弱)的人物区域的噪声不被降低。即，在仅进行模糊处理的情况下，例如进行模糊处理的背景区域和不进行模糊处理的人物区域中，产生噪声量的差。因此，在本发明所涉及的图像处理中，在模糊强调处理中，为了减轻进行模糊处理(平滑化)的区域和不进行模糊处理的区域之间的噪声的差，而进行噪声提取和噪声附加。
[模糊强调处理的实施例]
接下来，对模糊强调处理(图3的步骤S28)的实施例进行说明。
＜第一实施例＞
图4是表示第一实施例的图像处理装置的结构的框图。以下，以本发明适用于图1的摄像装置10的情况为例对图4的图像处理装置100进行说明。
在图4中，图像处理装置100具备：图像获取单元112，获取对被摄体进行摄像所得的摄像图像；平滑化单元114，通过对由图像获取单元112获取的摄像图像的整体均一地进行平滑化而生成平滑化图像；噪声提取单元116，从摄像图像与平滑化图像的差分(以下也称作“差分图像”)提取差分噪声成分；噪声附加单元118，通过向平滑化图像加上差分噪声成分，利用平滑化图像和由图像获取单元112所获取的摄像图像而使噪声相等；映射获取单元120，获取模糊强度映射；图像合成单元122，基于模糊强度映射而对摄像图像和平滑化图像进行合成，从而生成与模糊强度映射对应的模糊强度的分布的输出图像(模糊强调图像)。
本例的平滑化单元114通过将由图像获取单元112所获取的摄像图像(输入图像)按照多个不同的平滑化强度中的各平滑化强度进行平滑化，生成平滑化强度相互不同的多个平滑化图像。
本例的噪声提取单元116生成表示摄像图像(输入图像)与多个平滑化图像中的各平滑化图像的差分的多个差分图像，并从该多个差分图像，对与多个平滑化图像分别对应的多个差分噪声成分(差分噪声图像)进行提取。本例的“差分噪声成分”包含摄像图像中所包含的噪声与平滑化图像中所包含的噪声的差分，表示通过对摄像图像进行平滑化而从摄像图像降低后的噪声。另外，所谓“噪声”，是图像的混乱(噪声成分)，是与被摄体像不相关的成分。
本例的噪声附加单元118通过向多个平滑化图像中的各平滑化图像加上多个差分噪声成分中的对应的差分噪声成分，而使多个平滑化图像间的噪声相等。
本例的图像合成单元122基于模糊强度映射来合成摄像图像和多个平滑化图像，从而生成与模糊强度映射对应的模糊强度的分布的输出图像(模糊强调图像)。
图像获取单元112例如包含图1的CCD16(摄像元件)和图像输入控制器22而构成。也可以由图1的媒介控制器52构成图像获取单元112，从存储卡54输入摄像图像。映射获取单元120例如由图1的CPU40构成，通过由CPU40生成模糊强度映射而获取模糊强度映射。也可以由图1的媒介控制器52构成映射获取单元120，并从存储卡54获取模糊强度映射。平滑化单元114、噪声提取单元116、噪声附加单元118和图像合成单元122例如由图1的CPU40构成。
平滑化单元114对输入图像的平滑化原理上也可以是一级(生成一个平滑化图像)。即，如果存在原始的摄像图像(输入图像)和一张平滑化图像，则能够通过图像合成而生成与模糊强度映射所示的目标模糊强度的分布对应的输出图像(模糊强调图像)。可是，从输出图像的画质的观点出发，优选为两级以上(平滑化强度不同的平滑化图像生成两个以上)。
图5是表示进行多级平滑化的情况下的图像处理装置100的一例的主要部分的框图。在图5中，为了使多级平滑化的理解容易，而示出了在图像处理装置100中设有多个平滑化单元114a、114b、114c、多个噪声提取单元116a、116b、116c和多个噪声附加单元118a、118b、118c的情况。多个平滑化单元114a、114b、114c的平滑化强度相互不同，第一平滑化单元114a以第一平滑化强度对输入图像的整体进行平滑化而生成第一平滑化图像，第二平滑化单元114b以第二平滑化强度对输入图像的整体进行平滑化而生成第二平滑化图像，第三平滑化单元114c以第三平滑化强度对输入图像的整体进行平滑化而生成第三平滑化图像。
即，输入到第一噪声提取单元116a和第一噪声附加单元118a的第一平滑化图像、输入到第二噪声提取单元116b和第二噪声附加单元118b的第二平滑化图像及输入到第三噪声提取单元116c和第三噪声附加单元118c的第三平滑化图像彼此的模糊强度(平滑化强度)不同。因此，从第一噪声附加单元118a输出的第一模糊图像、从第二噪声附加单元118b输出的第二模糊图像及从第三噪声附加单元118c输出的第三模糊图像彼此的模糊强度(平滑化强度)不同。
图6是表示图4的图像处理装置100中的模糊强调处理的一例的流程的流程图。本处理由图1的CPU40按照程序执行。
另外，设为已经由图像获取单元112获取输入图像(原始的摄像图像)，且由映射获取单元120获取模糊强度映射。另外，作为模糊强度映射，例如获取表示摄像图像中的每个像素或每个区域的距离的分布的距离映射。
首先，将表示是第几级平滑化的变量n初始设定为1(步骤S102)。
接下来，由平滑化单元114对成为模糊强调的对象的输入图像(原始的摄像图像)进行第n次平滑化处理(步骤S104：平滑化步骤)。即，由平滑化单元114对摄像图像的整体以第n平滑化强度均一地进行平滑化，从而生成第n平滑化图像。例如，作为平滑化处理，使用高斯滤光片。平滑化单元114能够以相互不同的多个平滑化强度σ1、σ2、σ3(σ1＜σ2＜σ3)中的各平滑化强度，对摄像图像的整体均一地进行平滑化。
接下来，由噪声提取单元116生成输入图像(原始的摄像图像)与第n平滑化图像的差分(差分图像)，从该差分图像提取差分噪声成分，从而对与第n平滑化图像对应的第n差分噪声成分进行提取(步骤S106：噪声提取步骤)。由此，将通过第n平滑化强度的平滑化而从摄像图像降低后的噪声成分(称作“差分噪声成分”)作为差分噪声图像而提取。
另外，在输入图像和平滑化图像的差分图像现实上包含噪声成分以外的表示被摄体像的真信号。由此，优选为，不将差分图像本身作为差分噪声成分，而是通过从差分图像排除噪声成分以外的成分而仅对噪声成分进行提取。具体来说，第一，进行边缘检测而将边缘成分除去，第二，将图像中所包含的信号成分的振幅(像素值)与阈值进行比较，并将比该阈值大的振幅的信号成分除去等。针对这种适当的噪声成分的提取，以后进行说明。其中，有时无法从差分图像将噪声以外的成分全部除去。即，本发明中的“差分噪声成分”中有时包含与被摄体像相关的真信号。另外，有时无法从差分图像将输入图像的噪声与平滑化图像的噪声的差分全部提取。即，本发明中的“差分噪声成分”中有时仅包含输入图像的噪声与平滑化图像的噪声的差分的一部分。
接下来，由噪声附加单元118向第n平滑化图像加上第n差分噪声成分，从而生成第n模糊图像(步骤S108：噪声附加步骤)。由此，通过第n平滑化强度的平滑化将从摄像图像降低后的噪声(差分噪声成分)加算到摄像图像而返回。即，在输入图像的信号成分中，生成对噪声成分以外的信号成分进行平滑化后的模糊图像(噪声成分未被平滑化的模糊图像)。
接下来，判定变量n是否达到重复次数N(N是级数)(步骤S110)。
在n＜N的情况下，使变量n递增(加“1”)(步骤S112)，返回到步骤S104。
在n≥N的情况下(n达到N的情况下)，通过图像合成单元122，基于模糊强度映射来合成输入图像(原始的摄像图像)和第一～第N模糊图像(是加上差分噪声图像后的平滑化图像)，从而生成与模糊强度映射对应的模糊强度的分布的输出图像(步骤S114：图像合成步骤)。
图像合成单元122通过参照模糊强度映射，获取输入图像的像素单位的模糊强度(平滑化强度)。从输入图像和第一～第N模糊图像中例如选择两个图像，通过这些所选择的两个图像(例如模糊图像a和模糊图像b)的平滑化强度σa、σb(称作“多级平滑化强度”)，而由下式表达输入图像的关注像素p0(x，y)的平滑化强度σ(称作“目标平滑化强度”)。
[数学式2]
σ＝w×σa+(1－w)×σb(σa≤σ≤σb)
在此，w是加权系数。在本例中，输入图像以平滑化强度“σ0”进行平滑化，从σ0、σ1、σ2、σ3中选择两个平滑化强度σa、σb。如上述那样满足σa≤σ≤σb的条件，作为例外在成为σ＞σ3的情况下，进行设为例如σa＝σb＝σ3的对应。
通过算出满足数学式2的加权平均w，而如以下数学式3那样进行像素值的加权平均，实现与以目标平滑化强度σ进行平滑化的情况大致同等的模糊量(模糊强度)。
[数学式3]
c(x,y)＝w×a(x,y)+(1-w)×b(x,y)|
如此，通过合成平滑化强度不同的多个图像(在本例中，为输入图像和多个模糊图像)，能够生成目标模糊强调图像，并且通过使用加上了因平滑化而丧失的噪声成分后的平滑化图像组，能够生成局部的噪声特性差异不明显的模糊强调图像。
另外，在作为模糊强度映射使用距离图像等距离映射的情况下，图像合成单元122基于距离映射生成具有与摄像图像中的距离的分布相应的模糊强度的分布的输出图像(模糊强调图像)。
接下来，对如图5和图6那样以多级进行平滑化处理的情况的作用效果进行说明。本发明中，原理上如果存在一帧的输入图像和一帧的平滑化图像，则通过这两图像的合成能够生成两图像的中间性的平滑化强度的图像，但是从画质的观点出发，优选为生成平滑化强度不同的两帧以上的平滑化图像而进行图像合成。以下对其理由进行说明。
图7表示对δ函数的信号乘以强度不同的高斯滤光片后的结果。图7(a)是δ函数的输入信号Sg0，图7(b)是以强度σ1进行平滑化后的情况下的输出信号(平滑化信号Sg1)，图7(c)是以强度σ2进行平滑化后的情况下的输出信号(平滑化信号Sg2)，图7(d)是以强度σ3进行平滑化后的情况下的输出信号(平滑化信号Sg3)。在此，是σ1＜σ2＜σ3。如图7(a)～(d)所示，随着平滑化强度变大，输出信号(Sg1～Sg3)的振幅降低，处于成为底部展宽的倾向。另一方面，图8是以将输入信号Sg0和平滑化信号Sg3合成后的合成信号Sg4的峰值与平滑化信号Sg1相同的方式进行合成后的图。根据本图，可知：虽然峰值(峰值位置的信号强度)一致，但是信号的展宽存在差异。本方法是通过平滑化强度不同的多个平滑化信号的合成而生成期望的平滑化信号的近似方法，但是图8所示的合成结果表示将平滑化强度较大不同的信号合成，由此近似精度降低、信号特性产生差异。由此，为了实现期望的平滑化强度，优选为，通过以多级进行平滑化处理，生成平滑化强度不同的多个摄像图像(平滑化图像)，通过使用了该多个平滑化图像的图像合成而生成输出图像(模糊强调图像)。
图9是表示对最大模糊强度进行检测的情况下的模糊强调处理的一例的流程的流程图。在本例中，模糊强度映射对应输入图像(原始的摄像图像)的每个像素或每个像素区域表示模糊强度的分布。在图9中，首先，由平滑化单元114从模糊强度映射检测最大的模糊强度σMAX，确定对摄像图像的平滑化的平滑化强度(步骤S100)。步骤S102～S114与图6所示的处理同样。其中，在步骤S104中，使用由步骤S100确定的平滑化强度进行对摄像图像的平滑化。
＜第二实施例＞
图10是表示第二实施例的图像处理装置的主要部分结构的框图。以下，以本发明适用于图1的摄像装置10的情况为例对图10的图像处理装置100进行说明。另外，在图4(第一实施例)中已经示出的结构要素上标注相同附图标记。以下仅对与第一实施例不同的事项进行说明。
在图10中，噪声图像获取单元113获取表示输入图像(原始的摄像图像)中所包含的噪声的噪声图像。
本例的噪声图像由与输入图像中包含的噪声相同的噪声构成。在此，所谓与输入图像中所包含的噪声“相同”包括噪声并非完全相同而是大致相同的情况。例如，正态分布的宽度(方差或标准偏差)之差为5％以内，或噪声强度(依赖于空间频率f的噪声强度M(f))之差为10％以内。
本例的噪声图像获取单元113由图1的CPU40构成，生成噪声图像。
在本例中，如果获取输入图像，则基于该输入图像生成噪声图像，从而获取噪声图像，但是也可以预先生成噪声图像并存储于存储器48或存储卡54等存储单元，若获取输入图像，则从存储器48等存储单元获取与该输入图像对应的噪声图像。另外，噪声图像生成的各种方式以后详述。
第二实施例的平滑化单元114具有对摄像图像的整体均一地进行平滑化的摄像图像平滑化功能和对噪声图像的整体均一地进行平滑化的噪声图像平滑化功能。本例的平滑化单元114通过以多个不同的平滑化强度中的各平滑化强度对摄像图像进行平滑化，从而生成平滑化强度不同的多个平滑化图像，且通过以在摄像图像的平滑化中所使用的多个不同的平滑化强度中的各平滑化强度对噪声图像进行平滑化，从而生成平滑化强度不同的多个平滑化噪声图像。
图11是表示进行多级平滑化的情况下的图像处理装置100的主要部分的一例的框图。在图11中，为了使多级平滑化的理解容易，而示出了在图像处理装置100中设有多个平滑化单元114a、114b、114c、114d、114e、114f、多个噪声提取单元116a、116b、116c和多个噪声附加单元118a、118b、118c的情况。
摄像图像平滑化用的多个平滑化单元114a、114b、114c的平滑化强度彼此不同，噪声图像平滑化用的平滑化单元114d、114e、114f的平滑化强度彼此不同。第一平滑化单元114a以第一平滑化强度对输入图像的整体进行平滑化而生成第一平滑化图像，第二平滑化单元114b以第二平滑化强度对输入图像的整体进行平滑化而生成第二平滑化图像，第三平滑化单元114c以第三平滑化强度对输入图像的整体进行平滑化而生成第三平滑化图像。第四平滑化单元114d以上述的第一平滑化强度对噪声图像的整体进行平滑化而生成第一平滑化噪声图像，第五平滑化单元114e以上述的第二平滑化强度对噪声图像的整体进行平滑化而生成第二平滑化噪声图像，第六平滑化单元114f以上述的第三平滑化强度对噪声图像的整体进行平滑化而生成第三平滑化噪声图像。
第一噪声提取单元116a从噪声图像与由第四平滑化单元114d生成的第一平滑化噪声图像的差分(差分图像)提取第一差分噪声成分，第二噪声提取单元116b从噪声图像与由第五平滑化单元114e生成的第二平滑化噪声图像的差分(差分图像)提取第二差分噪声成分，第三噪声提取单元116c从噪声图像与由第六平滑化单元114f生成的第三平滑化噪声图像的差分(差分图像)提取第三差分噪声成分。本例的“差分噪声成分”包含噪声图像中所包含的噪声与平滑化噪声图像中所包含的噪声的差分，表示通过对摄像图像进行平滑化而从摄像图像降低后的噪声。
第一噪声附加单元118a对由第一平滑化单元114a生成的第一平滑化图像附加由第一噪声提取单元116a提取出的第一差分噪声成分而生成第一模糊图像，第二噪声附加单元118b对由第二平滑化单元114b生成的第二平滑化图像附加由第二噪声提取单元116b提取出的第二差分噪声成分而生成第二模糊图像，第三噪声附加单元118c对由第三平滑化单元114c生成的第三平滑化图像附加由第三噪声提取单元116c提取出的第三差分噪声成分而生成第三模糊图像。
图像合成单元122对应输入图像(原始的摄像图像)的每个像素或者摄像图像的每个区域，基于模糊强度映射所示的模糊强度，而从摄像图像和第一～第三模糊图像(是分别附加了第一～第三差分噪声成分后的第一～第三平滑化图像)中选择多个(本例中为两个)图像，以所选择的多个图像进行像素值的加权平均，从而将输出图像(模糊强调图像)输出。
图12是表示图10的图像处理装置100中的模糊强调处理的一例的流程的流程图。本处理由图1的CPU40按照程序执行。
另外，设为已经由图像获取单元112获取输入图像(原始的摄像图像)，且由映射获取单元120获取模糊强度映射。
首先，获取噪声图像(步骤S202)。本例的噪声图像由与输入图像所包含的噪声大致相同的噪声构成。
接下来，将表示是第几级平滑化的变量n初始设为1(步骤S204)。
接下来，由平滑化单元114对成为模糊强调的对象的输入图像(原始的摄像图像)进行第n次平滑化处理(步骤S206：生成平滑化图像的步骤)。即，由平滑化单元114以第n平滑化强度对摄像图像的整体均一地进行平滑化，从而输出第n平滑化图像。该步骤S206与第一实施方式的步骤S104同样。
接下来，由平滑化单元114对噪声图像进行第n次平滑化处理(步骤S208：生成平滑化噪声图像的步骤)。即，由平滑化单元114以输入图像(原始的摄像图像)的第n次平滑化中所使用的第n平滑化强度对噪声图像的整体均一地进行平滑化，从而输出第n平滑化噪声图像。在此，利用第n平滑化图像和第n平滑化噪声图像，使平滑化强度一致，从而使空间频率特性一致。
接下来，由噪声提取单元116从噪声图像与第n平滑化噪声图像的差分(差分图像)提取噪声(差分噪声)成分，从而生成与第n平滑化图像对应的第n差分噪声图像(步骤S210：噪声提取步骤)。由此，将通过第n平滑化强度的平滑化而从输入图像(原始的摄像图像)降低后的噪声(差分噪声)成分作为差分噪声图像而提取。本例的差分噪声图像是将噪声图像和第n平滑化噪声图像的差分噪声成分与第n平滑化图像同样地以像素单位表示的图像。
接下来，由噪声附加单元118向第n平滑化图像加上第n差分噪声图像(差分噪声成分)，从而生成第n模糊图像(步骤S212：噪声附加步骤)。该步骤S212与第一实施方式的步骤S108同样。由此，将通过第n平滑化强度的平滑化而从输入图像降低后的噪声(差分噪声)成分返还到输入图像。即，生成对输入图像的信号成分中噪声以外的信号成分进行平滑化后的图像(模糊图像)。
接下来，判定变量n是否达到重复次数N(步骤S214)。
在n＜N的情况下，使变量n递增(加“1”)(步骤S216)，而返回到步骤S206。
在n≥N的情况下(n达到N的情况下)，通过图像合成单元122，基于模糊强度映射来合成输入图像(原始的摄像图像)和第一～第N模糊图像(加上差分噪声成分后的平滑化图像)，而生成与模糊强度映射对应的模糊强度的分布的输出图像(步骤S218：图像合成步骤)。
在本例中，对应输入图像的每个像素(或者摄像图像的每个区域)，基于模糊强度映射所示的模糊强度，从输入图像和第一～第N模糊图像(是分别附加了第一～第N差分噪声成分后的第一～第N平滑化图像)中选择多个(例如两个)图像，以所选择的多个图像进行像素值的加权平均，从而将输出图像(模糊强调图像)输出。
＜噪声图像生成＞
接下来，对噪声图像生成的各种方式进行说明。
(噪声图像生成的一方式)
作为噪声图像生成的一方式，具有通过从输入图像(原始的摄像图像)提取噪声而生成噪声图像的方式。
图13是表示噪声图像生成处理的一例的流程的流程图。本处理由CPU40按照程序执行。
首先，对输入图像(原始的摄像图像)进行平滑化(步骤S40)。具体来说，将高斯滤光片等LPF(低通滤光片)作为平滑化滤光片而使用，以最大的平滑化强度对输入图像进行平滑化，从而作为平滑化图像生成最大模糊的摄像图像(以最大的平滑化强度被平滑化后的摄像图像)。在本例中，作为最大的平滑化强度，使用比输入图像平滑化(图12的步骤S206)中所使用的第一～第N平滑化强度的任一平滑化强度都大的平滑化强度(最大平滑化强度)而对输入图像进行平滑化。
接下来，对输入图像(原始的摄像图像)与步骤S40中被平滑化的输入图像(平滑化图像)的差分进行提取(步骤S42)。在本例中，以像素单位对输入图像的像素值与平滑化图像的像素值的差分进行提取，从而生成由输入图像的中/高频成分构成的差分图像。
接下来，对差分图像进行边缘检测(步骤S44)。
具体来说，对差分图像(输入图像与平滑化图像的差分)乘以HPF(高通滤光片)或BPF(带通滤光片)，而进行边缘检测。例如，以像素单位，在水平方向(0度)、垂直方向(90度)、右上倾斜方向(45度)、左上倾斜方向(135度)的四个方向，乘以HPF(高通滤光片)或BPF(带通滤光片)。特别是，一次微分滤光(例如[－1：0：1])、二次微分滤光(例如[－1：2：－1])较为有效。求取水平方向、垂直方向、右上倾斜方向、左上倾斜方向的滤光输出值的绝对值Hh、Hv、Hne、Hnw中的最大值(最大值Hmax)，将该最大值Hmax和阈值hpf＿th1进行比较，
(a)若Hmax＞hpf_th1则判定为关注像素是边缘成分，
(b)若Hmax≤hpf_th1则判定为关注像素是噪声成分。即，判定差分图像的信号成分是边缘成分还是噪声成分。
接下来，基于边缘检测结果，生成噪声图像(步骤S46)。即，从差分图像除去边缘成分。
另外，在差分图像中不仅包含噪声信号(噪声)，也包含表示被摄体像的真信号(被摄体像成分)。
因此，设为微小振幅的信号是噪声信号，将阈值a以下的振幅(像素值)的信号判定为噪声信号，将振幅超过阈值a的信号除去。这与使差分图像通过例如图14所示的非线形函数并将其输出作为噪声图像等价。如此，能够生成由与输入图像(原始的摄像图像)中包含的噪声相同的噪声构成的噪声图像。
另外，若由图14所示的非线形函数进行噪声成分提取，则在阈值a附近产生信号的不连续。因此，利用图15所示的非线形函数进行噪声成分提取较为合适。在图15的非线形函数中，根据振幅将阈值a以上而小于阈值b的信号除去(以振幅越大则输出成分变得越小的方式除去)，且将振幅超过阈值b的信号完全除去。在使用图15的非线形函数的情况下，并非将比阈值a更大的振幅的信号除去，而是随着振幅从a接近于b(＞a)，输出接近于零。
另外，图13所示的噪声图像生成的步骤S42能够适用于图6和图9所示的第一实施方式的步骤S106。具体来说，在第一实施方式的步骤S106(差分噪声提取)中，如使用图13、图14和图15进行说明那样，通过进行边缘检测(步骤S44)和噪声成分以外的成分的除去(步骤S46)，而能够从差分图像(输入图像与平滑化图像的差分)提取真的差分噪声成分。
(噪声图像生成的其他方式)
作为噪声图像生成的其他方式是如下方式：不从输入图像(原始的摄像图像)提取噪声，而基于摄像图像的摄像条件(摄影透镜12的聚焦条件、变焦条件、光圈14的光圈条件、摄像元件(例如CCD16)的驱动条件、模拟信号处理部20等的信号处理条件等)或对摄像图像进行摄像的摄像装置10的摄像特性(摄影透镜12的特性、摄像元件(例如CCD16)的特性、模拟信号处理部20等的信号处理的特性等)生成噪声图像。
作为基于摄像装置10的摄像特性的噪声图像生成例，也可以按照摄像装置10的模型而生成噪声图像。根据摄像装置10中的噪声的产生和传播的模型而确定噪声的量。通常，由摄像元件(例如图1的CCD16)所产生的噪声量相对于光电二极管的受光量单调地增加。由于光电二极管的受光量是摄像图像的像素值，因此能够将噪声量z考虑为以像素值v为参数的函数。由摄像元件所产生的噪声每次受到各种信号处理，其特性发生变化。关于信号处理中的噪声传播，在此没有涉及，但将相对于像素值v的噪声量设为fn(v)。并且，从基于摄像图像的像素值而推测的噪声量fn(v)生成噪声图像。
图16是表示检测最大模糊强度的情况下的模糊强调处理的一例的流程的流程图。在本例中，模糊强度映射对应输入图像(原始的摄像图像)的每个像素或每个像素区域表示输出图像(模糊强调图像)中的模糊强度(目标模糊强度)的分布。在图16中，首先由平滑化单元114从模糊强度映射检测最大的模糊强度σMAX(步骤S201)。接下来，基于最大的模糊强度σMAX，确定处理次数N、摄像图像及对噪声图像的平滑化的平滑化强度(步骤S205)。在本例中，基于强度σMAX，确定平滑化强度，并且也确定平滑化、噪声提取和噪声附加的重复次数(级数)。步骤S206～S218与图12所示的处理同样。其中，在步骤S206中，使用由步骤S205确定出的平滑化强度而进行对摄像图像的平滑化，在步骤S208中，使用由步骤S205确定出的平滑化强度而进行对噪声图像的平滑化。
＜第三实施例＞
图17是表示第三实施例的图像处理装置的主要部分结构的框图。以下，以本发明适用于图1的摄像装置10的情况为例对图17的图像处理装置100进行说明。另外，在图4(第一实施例)中已经示出的结构要素上标注相同附图标记。以下，仅对与第一实施例不同的事项进行说明。
在图17中，平滑化单元114具有通过像素间拔而进行图像尺寸(纵尺寸和横尺寸)的缩小的平滑化间拔单元142(间拔单元)和通过像素插值而进行图像尺寸(纵尺寸和横尺寸)的放大的放大单元144。
本例的平滑化单元114由平滑化间拔单元142多次重复相同平滑化强度的平滑化和相同缩小倍率的像素间拔，生成平滑化强度和图像尺寸不同的多个平滑化图像。另外，本例的平滑化单元114由放大单元144将平滑化强度和图像尺寸不同的多个平滑化图像转换为平滑化强度不同而图像尺寸相同的多个平滑化图像。
图18是表示进行多级平滑化的情况下的图像处理装置100的主要部分的一例的框图。另外，对与图5所示的第一实施例的图像处理装置100的要素相同的要素标注了相同附图标记。在此仅对与第一实施例不同的事项进行说明。
在图18中，为了使多级平滑化的理解容易，示出了在图像处理装置100中设有多个平滑化间拔单元142a、142b、142c、多个放大单元144a、144b、144c、多个噪声提取单元116a、116b、116c及多个噪声附加单元118a、118b、118c的情况。
在多个平滑化间拔单元142a、142b、142c中，平滑化强度和图像尺寸的缩小倍率相同。另外，在多个放大单元144a、144b、144c中，图像尺寸的放大倍率相同。例如，缩小倍率是1/4，放大倍率是4倍，缩小倍率×放大倍率＝1。
在图18中，由于为三级，因此由第一平滑化间拔单元142a生成以1/4倍缩小后的第一平滑化图像，由第二平滑化间拔单元142b生成以1/16倍缩小后的第二平滑化图像，由第三平滑化间拔单元142c生成以1/64倍缩小后的第三平滑化图像。另外，由第一放大单元144a将第一平滑化图像放大到4倍，由第二放大单元144b将第二平滑化图像放大到16倍，由第三放大单元144c将第三平滑化图像放大到64倍，从而将第一～第三平滑化图像的图像尺寸返回到与输入图像相同的图像尺寸。
图19是表示图17的图像处理装置100中的模糊强调处理的流程的流程图。本处理由CPU40按照程序执行。
另外，设为已经由图像获取单元112获取输入图像(原始的摄像图像)，且由映射获取单元120获取模糊强度映射。
首先，将输入图像设为第0缩小图像，将输入图像的相对于纵尺寸和横尺寸的缩小倍率初始设定为“1”(步骤S302)。
接下来，将变量n初始设定为1(步骤S304)。
接下来，由平滑化间拔单元142对第(n－1)缩小图像进行第n次平滑化处理和像素间拔，从而将第(n－1)缩小图像的图像尺寸(纵尺寸和横尺寸)以一定的缩小倍率(本例中，纵尺寸1/2倍×横尺寸1/2倍＝1/4倍)缩小，而生成第n缩小图像(步骤S306)。
接下来，由放大单元144对第n缩小图像进行像素插值，从而将第n缩小图像的图像尺寸放大到输入图像的图像尺寸，生成第n平滑化图像(步骤S308)。
接下来，由噪声提取单元116从输入图像(原始的摄像图像)与第n平滑化图像的差分(差分图像)提取噪声成分(差分噪声成分)，从而生成与第n平滑化图像对应的第n差分噪声图像(步骤S310)。该处理与第一实施方式的步骤S106相同。
接下来，由噪声附加单元118向第n平滑化图像加上第n差分噪声图像，从而生成第n模糊图像(加上差分噪声图像后的平滑化图像)(步骤S312)。该处理与第一实施方式的步骤S108相同。
接下来，判定变量n是否达到重复次数N(处理次数)(步骤S314)。
在n＜N的情况下，将变量n递增(加“1”)(步骤S316)，并返回到步骤S306。
在n≥N的情况下(n达到N的情况下)，通过图像合成单元122，基于模糊强度映射来合成输入图像(原始的摄像图像)和第一～第N模糊图像(加上差分噪声图像后的平滑化图像)，从而生成与模糊强度映射对应的模糊强度的分布的输出图像(步骤S318)。
图20是表示检测最大模糊强度的情况下的模糊强调处理的一例的流程的流程图。在本例中，模糊强度映射对应输入图像(原始的摄像图像)的每个像素或每个像素区域表示模糊强度的分布。在图20中，由平滑化单元114从模糊强度映射检测最大的模糊强度σMAX(步骤S303)。另外，基于最大的模糊强度σMAX，确定处理次数N和对摄像图像的平滑化的平滑化强度(步骤S305)。步骤S306～S318与图19所示的处理同样。但是，在步骤S306中，使用步骤S305中确定出的平滑化强度而进行对摄像图像的平滑化。
通常，在增大平滑化强度的情况下，需要较大抽头数的滤光处理，电路规模增大，但是，在第三实施例中，通过多次重复进行抽头数小的滤光处理(平滑化处理)和像素间拔而能够抑制电路规模，并且通过生成平滑化强度不同的多个平滑化图像而能够得到与第一实施例同样的效果。其中，由于通过间拔缩小了图像，因此进行放大到与输入图像相同尺寸的处理。
另外，在第三实施例中，以在第一实施例追加间拔和放大的处理的情况为例进行了说明，但是本发明不限于此。也可以将由第三实施例中所说明的间拔和放大的处理追加到第二实施例，这是不言而喻的。
＜智能手机的结构＞
图21是表示作为将本发明所涉及的图像处理装置适用于便携式电子设备的其他实施方式的一例的智能手机500的外观的图。图21所示的智能手机500具有平板状的壳体502，并具备在壳体502的一面作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备扬声器531、麦克风532、操作部540和相机部541。另外，壳体502的结构不限于此，例如，也能够采用显示部和输入部独立的结构，或具有折叠构造、滑动机构的结构。
图22是表示图21所示的智能手机500的结构的框图。如图22所示，作为智能手机的主要的结构要素，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(GlobalPositioningSystem：全球定位系统)接收部570、运动传感器部580、电源部590和主控制部501。另外，作为智能手机500的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示，而对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部520是通过主控制部501的控制对图像(静止画面像和动态图像)、文字信息等进行显示而视觉地向用户传递信息并且检测针对所显示的信息的用户操作的所谓的操作面板，具备显示面板521和操作面板522。
显示面板521是将LCD(LiquidCrystalDisplay：液晶显示器)、OELD(OrganicElectro-LuminescenceDisplay：有机电致发光显示器)等作为显示装置而使用的器件。操作面板522对显示面板521的显示面上所显示的图像能够视觉认知地进行载置，是对由用户的手指、尖笔所操作的1个或多个坐标进行检测的器件。若利用用户的手指、尖笔对该器件进行操作，则将因操作而产生的检测信号输出到主控制部501。接下来，主控制部501基于接收到的检测信号，对显示面板521上的操作位置(坐标)进行检测。
虽然如图21所示智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，但是操作面板522成为对显示面板521完全地进行覆盖那样的配置。在采用了该配置的情况下，操作面板522也可以对于显示面板521以外的区域也具有对用户操作进行检测的功能。换言之，操作面板522也可以具备关于与显示面板521重合的重叠部分的检测区域(以下，称作显示区域)和关于除此以外的不与显示面板521重合的外边缘部分的检测区域(以下，称作非显示区域)。
另外，虽然也可以使显示区域的大小和显示面板521的大小完全一致，但是没有必要必须使两者一致。另外，操作面板522也可以具备外边缘部分和除此以外的内侧部分这两个感应区域。此外，根据壳体502的大小等而适当设计外边缘部分的宽度。此外，另外，作为操作面板522所采用的位置检测方式，能够列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等，也能够采用其中任一种方式。
通话部530具备扬声器531和麦克风532，将通过麦克风532而输入的用户的声音转换为能够由主控制部501处理的声音数据而输出到主控制部501，对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。另外，如图21所示，例如，能够将扬声器531搭载在与设有显示输入部520的面相同的面。另外，能够将麦克风532搭载在壳体502的侧面。
操作部540是使用键开关等的硬件键，接受来自用户的指示。例如，如图21所示是如下那样的按压按钮式的开关：操作部540搭载在智能手机500的壳体502的显示部的下部、下侧面，若利用手指等按下则接通，若使手指离开则通过弹簧等的恢复力而成为断开状态。
存储部550对主控制部501的控制程序、控制数据、应用软件、与通信对方的名称、电话号码等建立对应关系的地址数据、所收发的电子邮件的数据、利用Web浏览而下载的Web数据、所下载的内容数据进行存储，并且对流数据等暂时性地进行存储。另外，存储部550由智能手机内置的内部存储部551和具有装卸自如的外部存储器插槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551和外部存储部552使用闪存型(flashmemorytype)、硬盘型(harddisktype)、缩微多媒体卡型(multimediacardmicrotype)、卡型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory：随机访问存储器)、ROM(ReadOnlyMemory：只读存储器)等存储介质而实现。
外部输入输出部560起到与连接在智能手机500的所有外部设备的界面的作用，用于通过通信等(例如，通用串行总线(USB)，IEEE1394等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(RadioFrequencyIdentification：无线射频识别)、红外线通信(InfraredDataAssociation：IrDA)(注册商标)、UWB(UltraWideband：超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)与其他外部设备直接或间接地连接。
作为与智能手机500连接的外部设备，例如具有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插座而连接的存储卡(Memorycard)、SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接受传送后的数据传递到智能手机500的内部的各结构要素，并能够将智能手机500的内部的数据传送到外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收到的多个GPS信号的测位运算处理，对该智能手机500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)获取位置信息时，也能够使用该位置信息对位置进行检测。
运动传感器部580例如具备三轴加速度传感器等，因此能够按照主控制部501的指示对智能手机500的物理性的移动进行检测。通过对智能手机500的物理性的移动进行检测，能够检测智能手机500的移动方向、加速度。能够将该检测结果输出到主控制部501。
电源部590按照主控制部501的指示向智能手机500的各部供给蓄积于蓄电池(未图示)的电力。
主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，对智能手机500的各部集中地进行控制。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。
按照存储部550所存储的应用软件使得主控制部501动作从而实现应用处理功能。作为应用处理功能，例如，具有：对外部输入输出部560进行控制而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能等。
另外，主控制部501具备基于接收数据、下载的流数据等图像数据(静止画面像、动态图像的数据)而将影像在显示输入部520显示等的图像处理功能。所谓图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理而将图像在显示输入部520上显示的功能。
此外，主控制部501执行对显示面板521的显示控制和对通过了操作部540、操作面板522的用户操作进行检测的操作检测控制。
通过显示控制的执行，主控制部501对用于启动应用软件的图标、滚动条等软件键进行显示，或显示用于生成电子邮件的窗口。另外，所谓滚动条，是指对于没有完全收纳到显示面板521的显示区域的较大的图像等用于接受使图像的显示部分移动的指示的软件键。
另外，通过操作检测控制的执行，主控制部501对通过了操作部540的用户操作进行检测，通过操作面板522接受对上述图标的操作、对上述窗口的输入栏的文字列的输入，或者接受通过了滚动条的显示图像的滚动要求。
此外，通过操作检测控制的执行，主控制部501具备判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外边缘部分(非显示区域)，并对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部501能够检测对操作面板522的手势操作，根据检测出的手势操作，能够执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹对多个位置同时进行指定、或将它们组合而从多个位置对至少一个位置描绘轨迹的操作。
相机部541是使用CMOS(ComplementaryMetalOxideSemiconductor：互补性金属氧化物半导体)、CCD(Charge-CoupledDevice：电荷耦合设备)等摄像元件进行电子摄影的数码相机。另外，相机部541能够通过主控制部501的控制，将通过摄像所得到的图像数据转换为例如JPEG(JointPhotographiccodingExpertsGroup：联合图像专家小组)等压缩后的图像数据，并记录于存储部550，或通过外部输入输出部560、无线通信部510而输出。在图21所示的智能手机500中，相机部541搭载在与显示输入部520相同的面，但相机部541的搭载位置不限于此，也可以搭载在显示输入部520的背面，或者也可以搭载多个相机部541。另外，在搭载多个相机部541的情况下，也能够对提供摄影的相机部541进行切换而单独地进行摄影，或同时使用多个相机部541而进行摄影。
另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541获取的图像，作为操作面板522的操作输入之一能够利用相机部541的图像。另外，在GPS接收部570对位置进行检测时，也能够对来自相机部541的图像进行参照而对位置进行检测。此外，也能够参照来自相机部541的图像，不使用三轴加速度传感器或与三轴加速度传感器并用，而判断智能手机500的相机部541的光轴方向、判断当前的使用环境。也能够在应用软件内利用来自相机部541的图像，这是不言而喻的。
主控制部501具备前述的图1的CPU40、图4、图10、图16的平滑化单元114、噪声提取单元116、噪声附加单元118、图像合成单元122等的功能。
此外，也能够向静止画面或动态画面的图像数据附加由GPS接收部570获取的位置信息、由麦克风532获取的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部580获取的姿势信息等而记录于存储部550，或者也能够通过外部输入输出部560、无线通信部510而输出。
另外，本发明不限于本说明书中说明的例子、附图所图示的例子，可以在不脱离本发明的主旨的范围内进行各种的设计变更、改良，这是不言而喻的。
附图标记说明
10：摄像装置、16：摄像元件(CCD)、38：操作部、40：CPU(中央处理装置)、48：存储器、100：图像处理装置、112：摄像图像获取单元、114：平滑化单元、116：噪声提取单元、118：噪声附加单元、120：映射获取单元、122：图像合成单元、142：平滑化间拔单元、144：放大单元

Claims (16)

1.一种图像处理装置，具备：
图像获取单元，获取对被摄体进行摄像所得的摄像图像；
平滑化单元，通过对所述摄像图像进行平滑化而生成平滑化图像；
噪声提取单元，从所述摄像图像与所述平滑化图像的差分提取差分噪声成分；
噪声附加单元，向所述平滑化图像加上所述差分噪声成分；
映射获取单元，获取模糊强度映射，该模糊强度映射表示对所述摄像图像的模糊强度的分布；及
图像合成单元，基于所述模糊强度映射来合成所述摄像图像和加上所述差分噪声成分后的所述平滑化图像，生成输出图像，
所述映射获取单元获取距离映射作为所述模糊强度映射，所述距离映射表示所述摄像图像中的每个像素或每个区域的距离的分布，
所述图像合成单元基于所述距离映射，生成具有与所述摄像图像中的距离的分布相应的模糊强度的分布的所述输出图像。
2.根据权利要求1所述的图像处理装置，其中，
所述平滑化单元通过以多个不同的平滑化强度中的各平滑化强度对所述摄像图像进行平滑化而生成平滑化强度不同的多个平滑化图像，
所述噪声提取单元从所述摄像图像与所述多个平滑化图像中的各平滑化图像的差分提取与所述多个平滑化图像分别对应的多个差分噪声成分，
所述噪声附加单元通过向所述多个平滑化图像中的各平滑化图像加上所述多个差分噪声成分中的对应的差分噪声成分，使所述多个平滑化图像间的噪声相等，
所述图像合成单元基于所述模糊强度映射来合成所述摄像图像和加上所述差分噪声成分后的所述多个平滑化图像，生成输出图像。
3.根据权利要求2所述的图像处理装置，其中，
所述模糊强度映射对应所述摄像图像的每个像素或每个像素区域表示所述模糊强度的分布，
所述图像合成单元对应所述摄像图像的每个像素或每个区域，基于所述模糊强度映射的模糊强度，从所述摄像图像和附加了所述差分噪声成分的所述多个平滑化图像之中选择多个图像，通过进行所选择的该多个图像的加权平均而生成所述输出图像。
4.根据权利要求2或3所述的图像处理装置，其中，
所述平滑化单元具有通过像素间拔进行图像尺寸的缩小的间拔单元和通过像素插值进行图像尺寸的放大的放大单元，通过多次重复进行相同平滑化强度的平滑化和所述间拔单元的像素间拔，生成平滑化强度和图像尺寸不同的所述多个平滑化图像，由所述放大单元将该多个平滑化图像转换为平滑化强度不同而图像尺寸相同的所述多个平滑化图像。
5.根据权利要求1～3中任一项所述的图像处理装置，其中，
所述模糊强度映射对应所述摄像图像的每个像素或每个像素区域表示所述模糊强度的分布，
所述平滑化单元基于所述模糊强度映射中的最大的模糊强度，确定对所述摄像图像的平滑化的平滑化强度。
6.一种图像处理装置，具备：
图像获取单元，获取对被摄体进行摄像所得的摄像图像；
噪声图像获取单元，获取表示所述摄像图像中包含的噪声的噪声图像；
平滑化单元，通过对所述摄像图像进行平滑化而生成平滑化图像，且通过以在所述摄像图像的平滑化中使用的平滑化强度对所述噪声图像进行平滑化而生成平滑化噪声图像；
噪声提取单元，从所述噪声图像与所述平滑化噪声图像的差分提取差分噪声成分；
噪声附加单元，向所述平滑化图像加上所述差分噪声成分；
映射获取单元，获取模糊强度映射，该模糊强度映射表示对所述摄像图像的模糊强度的分布；及
图像合成单元，基于所述模糊强度映射来合成所述摄像图像和加上所述差分噪声成分后的所述平滑化图像，生成输出图像，
所述映射获取单元获取距离映射作为所述模糊强度映射，所述距离映射表示所述摄像图像中的每个像素或每个区域的距离的分布，
所述图像合成单元基于所述距离映射，生成具有与所述摄像图像中的距离的分布相应的模糊强度的分布的所述输出图像。
7.根据权利要求6所述的图像处理装置，其中，
所述平滑化单元通过以多个不同的平滑化强度中的各平滑化强度对所述摄像图像进行平滑化而生成平滑化强度不同的多个平滑化图像，并且，通过以在所述摄像图像的平滑化中使用的所述多个不同的平滑化强度中的各平滑化强度对所述噪声图像进行平滑化而生成平滑化强度不同的多个平滑化噪声图像，
所述噪声提取单元从所述噪声图像与所述多个平滑化噪声图像中的各平滑化噪声图像的差分提取与所述多个平滑化图像分别对应的多个差分噪声成分，
所述噪声附加单元通过向所述多个平滑化图像中的各平滑化图像加上所述多个差分噪声成分中的对应的差分噪声成分，而使所述多个平滑化图像间的噪声相等，
所述图像合成单元基于所述模糊强度映射来合成所述摄像图像和加上所述差分噪声成分后的所述多个平滑化图像，生成输出图像。
8.根据权利要求7所述的图像处理装置，其中，
所述模糊强度映射对应所述摄像图像的每个像素或每个像素区域表示所述模糊强度的分布，
所述图像合成单元对应所述摄像图像的每个像素或每个区域，基于所述模糊强度映射的模糊强度，从所述摄像图像和附加了所述差分噪声成分的所述多个平滑化图像之中选择多个图像，通过进行所选择的该多个图像的加权平均而生成所述输出图像。
9.根据权利要求7或8所述的图像处理装置，其中，
所述平滑化单元具有通过像素间拔进行图像尺寸的缩小的间拔单元和通过像素插值进行图像尺寸的放大的放大单元，通过多次重复进行相同平滑化强度的平滑化和所述间拔单元的像素间拔，生成平滑化强度和图像尺寸不同的所述多个平滑化图像，由所述放大单元将该多个平滑化图像转换为平滑化强度不同而图像尺寸相同的所述多个平滑化图像，且通过多次重复进行相同平滑化强度的平滑化和所述间拔单元的像素间拔，生成平滑化强度和图像尺寸不同的所述多个平滑化噪声图像，由所述放大单元将该多个平滑化噪声图像转换为平滑化强度不同而图像尺寸相同的所述多个平滑化噪声图像。
10.根据权利要求6～8中任一项所述的图像处理装置，其中，
所述模糊强度映射对应所述摄像图像的每个像素或每个像素区域表示所述模糊强度的分布，
所述平滑化单元基于所述模糊强度映射中的最大的模糊强度，确定对所述摄像图像和所述噪声图像的平滑化的平滑化强度。
11.根据权利要求6～8中任一项所述的图像处理装置，其中，
所述平滑化单元在所述噪声图像和所述摄像图像中使平滑化强度一致。
12.根据权利要求6～8中任一项所述的图像处理装置，其中，
所述噪声图像获取单元基于所述摄像图像生成所述噪声图像。
13.根据权利要求6～8中任一项所述的图像处理装置，其中，
所述噪声图像获取单元基于所述摄像图像的摄像条件或对所述摄像图像进行摄像的摄像装置的摄像特性，生成所述噪声图像。
14.一种摄像装置，具备权利要求1～13中任一项所述的图像处理装置。
15.一种图像处理方法，使用：图像获取单元，获取对被摄体进行摄像所得的摄像图像；及映射获取单元，获取模糊强度映射，该模糊强度映射表示对所述摄像图像的模糊强度的分布，
所述图像处理方法具备：
平滑化步骤，通过对所述摄像图像进行平滑化而生成平滑化图像；
噪声提取步骤，从所述摄像图像与所述平滑化图像的差分提取差分噪声成分；
噪声附加步骤，向所述平滑化图像加上所述差分噪声成分；
图像合成步骤，基于所述模糊强度映射来合成所述摄像图像和加上所述差分噪声成分后的所述平滑化图像，生成输出图像，
所述映射获取单元获取距离映射作为所述模糊强度映射，所述距离映射表示所述摄像图像中的每个像素或每个区域的距离的分布，
所述图像合成步骤中，基于所述距离映射，生成具有与所述摄像图像中的距离的分布相应的模糊强度的分布的所述输出图像。。
16.一种图像处理方法，使用：图像获取单元，获取对被摄体进行摄像所得的摄像图像；噪声图像获取单元，获取表示所述摄像图像中包含的噪声的噪声图像；及映射获取单元，获取模糊强度映射，该模糊强度映射表示对所述摄像图像的模糊强度的分布，
所述图像处理方法具备：
通过对所述摄像图像进行平滑化而生成平滑化图像的步骤；
通过以在所述摄像图像的平滑化中使用的平滑化强度对所述噪声图像进行平滑化而生成平滑化噪声图像的步骤；
噪声提取步骤，从所述噪声图像与所述平滑化噪声图像的差分提取差分噪声成分；
噪声附加步骤，向所述平滑化图像加上所述差分噪声成分；及
图像合成步骤，基于所述模糊强度映射来合成所述摄像图像和加上所述差分噪声成分后的所述平滑化图像，生成输出图像，
所述映射获取单元获取距离映射作为所述模糊强度映射，所述距离映射表示所述摄像图像中的每个像素或每个区域的距离的分布，
所述图像合成步骤中，基于所述距离映射，生成具有与所述摄像图像中的距离的分布相应的模糊强度的分布的所述输出图像。
CN201380028660.4A 2012-05-28 2013-05-22 图像处理装置、摄像装置、图像处理方法 Active CN104350735B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012121174 2012-05-28
JP2012-121174 2012-05-28
PCT/JP2013/064184 WO2013179963A1 (ja) 2012-05-28 2013-05-22 画像処理装置、撮像装置及び画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN104350735A CN104350735A (zh) 2015-02-11
CN104350735B true CN104350735B (zh) 2016-04-13

Family

ID=49673164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380028660.4A Active CN104350735B (zh) 2012-05-28 2013-05-22 图像处理装置、摄像装置、图像处理方法

Country Status (4)

Country Link
US (2) US9148587B2 (zh)
JP (1) JP5694607B2 (zh)
CN (1) CN104350735B (zh)
WO (1) WO2013179963A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6027287B2 (ja) * 2014-03-28 2016-11-16 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9237277B1 (en) * 2014-06-06 2016-01-12 Google Inc. Accurate simulation of shallow depth of field using contrast detection
JP6472183B2 (ja) * 2014-07-28 2019-02-20 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP2016053848A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 信号処理装置および信号処理方法、固体撮像素子、撮像装置、電子機器、並びにプログラム
WO2016199209A1 (ja) * 2015-06-08 2016-12-15 オリンパス株式会社 ぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法
CN105100615B (zh) * 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN105631821A (zh) * 2015-12-25 2016-06-01 北京像素软件科技股份有限公司 一种界面色差柔化的方法及装置
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
US11935285B1 (en) 2017-06-02 2024-03-19 Apple Inc. Real-time synthetic out of focus highlight rendering
US11210799B2 (en) 2017-10-04 2021-12-28 Google Llc Estimating depth using a single camera
JP7051373B2 (ja) * 2017-11-02 2022-04-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
KR102524982B1 (ko) * 2018-08-08 2023-04-24 삼성전자 주식회사 흐림 처리가 수행된 이미지에 노이즈 패턴을 반영하는 방법 및 장치
US10992845B1 (en) * 2018-09-11 2021-04-27 Apple Inc. Highlight recovery techniques for shallow depth of field rendering
KR102597518B1 (ko) * 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
JP7378219B2 (ja) * 2019-04-12 2023-11-13 キヤノン株式会社 撮像装置、画像処理装置、制御方法、及びプログラム
WO2022217476A1 (zh) * 2021-04-14 2022-10-20 深圳市大疆创新科技有限公司 图像处理方法、装置、电子设备及存储介质
JP2022183102A (ja) * 2021-05-28 2022-12-08 三星電子株式会社 イメージ信号プロセッサを含むイメージセンサ及びその動作方法
CN113962974A (zh) * 2021-10-27 2022-01-21 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备和介质
TWI776733B (zh) * 2021-11-12 2022-09-01 國立臺灣大學 快速抑制數位影像中的背景高頻雜訊的資料處理方法
CN114697468B (zh) * 2022-02-16 2024-04-16 瑞芯微电子股份有限公司 图像信号处理方法和装置、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795361A (zh) * 2009-01-30 2010-08-04 索尼公司 用于基于两个影像的匹配进行深度估计的二维多项式模型
CN101998053A (zh) * 2009-08-13 2011-03-30 富士胶片株式会社 图像处理方法、图像处理设备和成像设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937775B2 (en) * 2002-05-15 2005-08-30 Eastman Kodak Company Method of enhancing the tone scale of a digital image to extend the linear response range without amplifying noise
JP2005051379A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理装置及び画像処理方法
JP2007241424A (ja) 2006-03-06 2007-09-20 Seiko Epson Corp 画像処理装置および画像処理方法
JP4678603B2 (ja) * 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
WO2011137411A1 (en) * 2010-04-30 2011-11-03 Vucomp, Inc. Probability density function estimator
US8711250B2 (en) * 2011-02-09 2014-04-29 Olympus Corporation Image signal processing apparatus and image signal processing method
JP5968107B2 (ja) * 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795361A (zh) * 2009-01-30 2010-08-04 索尼公司 用于基于两个影像的匹配进行深度估计的二维多项式模型
CN101998053A (zh) * 2009-08-13 2011-03-30 富士胶片株式会社 图像处理方法、图像处理设备和成像设备

Also Published As

Publication number Publication date
JP5694607B2 (ja) 2015-04-01
JPWO2013179963A1 (ja) 2016-01-18
US20150356713A1 (en) 2015-12-10
US9436979B2 (en) 2016-09-06
WO2013179963A1 (ja) 2013-12-05
CN104350735A (zh) 2015-02-11
US9148587B2 (en) 2015-09-29
US20150062384A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
CN104350735B (zh) 图像处理装置、摄像装置、图像处理方法
US9473725B2 (en) Image-processing and encoded aperture pattern setting device and method, and image pickup device comprising same
CN105074528B (zh) 摄像装置及对焦控制方法
CN104380168B (zh) 摄像装置及自动调焦方法
CN104620572B (zh) 摄像装置及其控制方法
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN104221370B (zh) 图像处理装置、摄像装置以及图像处理方法
CN105103534B (zh) 摄像装置及校准方法
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN104641625B (zh) 图像处理装置、摄像装置及图像处理方法
CN106797453A (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN105409198B (zh) 摄像装置及图像处理方法
CN104285437B (zh) 信号处理装置、摄像装置、信号校正方法
CN104782110A (zh) 图像处理装置、摄像装置、程序及图像处理方法
CN104700353A (zh) 图像滤镜生成方法及装置
CN104995904A (zh) 摄像装置
CN104641624A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP2020144488A (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
CN104272732B (zh) 图像处理装置、方法及摄像装置
CN104797967A (zh) 摄像装置及对焦控制方法
CN104247412A (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
CN104205827A (zh) 图像处理装置及方法、以及摄像装置
CN104205825A (zh) 图像处理装置及方法以及摄像装置
CN104584532B (zh) 图像处理装置、摄像装置、计算机、图像处理方法及程序
JP5702891B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant