CN102104728A - 图像处理装置以及摄像装置 - Google Patents

图像处理装置以及摄像装置 Download PDF

Info

Publication number
CN102104728A
CN102104728A CN2010105980031A CN201010598003A CN102104728A CN 102104728 A CN102104728 A CN 102104728A CN 2010105980031 A CN2010105980031 A CN 2010105980031A CN 201010598003 A CN201010598003 A CN 201010598003A CN 102104728 A CN102104728 A CN 102104728A
Authority
CN
China
Prior art keywords
mentioned
pixel
fuzzy
image
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105980031A
Other languages
English (en)
Inventor
小岛和浩
畑中晴雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN102104728A publication Critical patent/CN102104728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供一种图像处理装置以及摄像装置。图像处理装置具有：第2摄影图像生成部，其通过对由多个小区域构成的第1摄影图像实施模糊处理，而生成第2摄影图像；和聚焦度导出部，其导出各小区域的聚焦程度；和合成处理部，其将与上述第1摄影图像的各小区域对应的上述第2摄影图像的各第2小区域与上述第1摄影图像的各小区域进行合成。通过上述聚焦度导出部导出的各小区域的聚焦程度越小，上述合成处理部越增大上述合成中的上述第2摄影图像的混合比例。上述第2摄影图像生成部具有：脸部区域检测部，其从上述第1摄影图像中检测出脸部图像区域；和模糊处理部，其根据检测出的脸部图像区域，通过对上述第1摄影图像实施上述模糊处理，而生成上述第2摄影图像。

Description

图像处理装置以及摄像装置
本正式申请依据35U.S.C第119条(a)对2009年12月17日在日本申请的第No.2009-286501号专利申请要求优先权，其所有内容都作为参考记载于本说明书中。
技术领域
本发明涉及进行图像处理的图像处理装置以及数码照相机等的摄像装置。
背景技术
现在，使用CCD(Charge Coupled Device)传感器或CMOS(Complimentary Metal Oxide Semiconductor)传感器等的固体摄像元件的数码静态照相机或数码摄像机等的摄像装置正在广泛普及。
为了在摄影对象中获得一方面焦点已对准的被摄体被鲜明地勾画出、而另一方面除了焦点已对准的被摄体之外的其他被摄体呈现模糊的图像，也就是说为了获得在整体上使焦点已对准的被摄体突出的具有所谓“模糊感”的摄影图像，例如，需要使用固体拍摄元件的尺寸大的摄像装置或用于使固体摄像元件成像摄影图像的透镜的口径大的摄像装置。由于根据这种类型的摄像装置，能使景深充分变浅进行摄影，因此，能获得使焦点已对准的被摄体突出的具有所谓“模糊感”的摄影图像。
但是，在使用固体摄像元件的尺寸小或透镜的口径小的、即所谓的微型数码照相机这种摄像装置的情况下，由于不能使景深充分变浅进行摄影，因此，很难获得具有“模糊感”的摄影图像。另外，即使是固体摄像元件的尺寸大的摄像装置以及透镜口径大的摄像装置，也很难通过在焦点已对准的被摄体和其他被摄体之间产生亮度差或色度差来获得强调了焦点已对准的被摄体的摄影图像。
并且，在现有技术中也存在通过图像处理来获得具有“模糊感”的图像的方法。在该现有技术的方法中，首先，将1个基准图像数据分离成被摄体区域的图像数据和背景区域的图像数据这2个各自独立的图像数据。接下来，在对被分离的背景图像数据实施模糊处理之后，将模糊处理后的背景图像数据与基准图像数据合成。在合成之后，为了防止背景区域和被摄体区域的边界线变成锯齿状而产生不协调感，实施抗锯齿处理，由此，获得具有“模糊感”的图像。在该现有技术的方法中，即使能获得具有“模糊感”的图像，也需要进行上述复杂的处理。
发明内容
本发明的图像处理装置，具有：第2摄影图像生成部，其通过对包括多个小区域的第1摄影图像实施模糊处理，而生成包括多个第2小区域的第2摄影图像；聚焦度导出部，其导出上述第1摄影图像的各小区域的聚焦程度；和合成处理部，其将与上述第1摄影图像的各小区域对应的上述第2摄影图像的各第2小区域与上述第1摄影图像的各小区域进行合成，其中，由上述聚焦度导出部导出的各小区域的聚焦程度越小，上述合成处理部越增大上述合成中的上述第2摄影图像的混合比例，上述第2摄影图像生成部具有：脸部区域检测部，其从上述第1摄影图像中检测出脸部图像区域；和模糊处理部，其根据检测出的脸部图像区域，通过对上述第1摄影图像实施上述模糊处理，而生成上述第2摄影图像。
本发明的意义以及效果通过以下所示的实施方式的说明将更加明确。不过，以下的实施方式只不过是本发明的一个实施方式，本发明以及各技术特征中的用语的含义不局限于以下实施方式中所记载的内容。
附图说明
图1是本发明的实施方式中的摄像装置的整体构成图。
图2是图1的镜头部的内部构成图。
图3(a)～(c)是用于说明本发明的第1实施例中的强调图像生成处理的概要的图。
图4是用于说明本发明的第1实施例中的强调图像生成处理的概要的图。
图5是用于说明本发明的第1实施例中的强调图像生成处理的动作的图。
图6涉及本发明的第1实施例，是用于说明极局部区域差分提取、局部区域差分提取以及边缘差分比计算处理的图。
图7(a)～(c)是用于说明本发明的第1实施例中的扩展处理的图。
图8是用于说明本发明的第1实施例中的扩展处理的图。
图9(a)以及(b)是用于说明本发明的第1实施例中的模糊处理以及边缘强调处理的图。
图10是用于说明本发明的第2实施例中的强调图像生成处理的动作的图。
图11是用于说明本发明的第2实施例中的带通滤波器(band pass filters)的动作的图。
图12是用于说明本发明的第3实施例的强调图像生成处理的动作的图。
图13是用于说明本发明的第4实施例的强调图像生成处理的动作的图。
图14(a)以及(b)是用于说明本发明的第4实施例的位置信息表的动作的图。
图15是用于说明本发明的第5实施例的强调图像生成处理的动作的图。
图16是用于说明本发明的第5实施例的位置信息表的动作的图。
图17是用于说明本发明的第6实施例的强调图像生成处理的动作的图。
图18是用于说明本发明的第6实施例的变换表的动作的图。
图19是表示图1的摄像装置生成强调图像的顺序的流程图。
图20是用于说明本发明的第7实施例的强调图像生成处理的动作的图。
图21(a)以及(b)是用于说明在本发明的第7实施例(模糊处理例7B)中模糊处理部所使用的模糊过滤器的图。
图22是用于说明本发明的第7实施例(模糊处理例7B)中的模糊处理部的动作的图。
图23(a)以及(b)是用于说明在本发明的第7实施例(模糊处理例7B)中，模糊处理部在某一位置上生成的掩模过滤器以及校正模糊过滤器的图。
图24(a)以及(b)是用于说明在本发明的第7实施例(模糊处理例7B)中，模糊处理部在其他的位置上生成的掩模过滤器以及校正模糊过滤器的图。
图25是用于说明本发明的第7实施例(模糊处理例7C)中的模糊处理部的动作的图。
图26(a)以及(b)是用于说明在本发明的第7实施例(模糊处理例7C)中，模糊处理部在某一位置上生成的掩模过滤器以及校正模糊过滤器的图。
图27(a)～(d)是用于说明本发明的第7实施例(模糊处理例7D)中的模糊处理部的动作的图。
图28是用于说明本发明的第7实施例(模糊处理例7D)中的模糊处理部的模糊处理的效果的图。
图29是用于说明本发明的第7实施例(模糊处理例7E)中的模糊处理部的动作的图。
图30是用于说明本发明的第8实施例的强调图像生成处理的动作的图。
具体实施方式
参照附图对在数码静态照相机或数码摄像机等的摄像装置中实施本发明的图像处理的实施方式进行说明。在所参照的各图中，对同一部分标注相同的符号或编号，原则上省略有关相同部分的重复说明。摄像装置如果能拍摄静止画面，则也可以是进行动态图像摄影的摄像装置。并且，在本说明书中，“摄像”和“摄影”同义。
(摄像装置的构成)
图1是表示本发明的实施方式中的摄像装置1的内部构成的框图。在图1中，摄像装置1具有：将入射到自身的光转换成电信号的CCD(Charge Coupled Device)或CMOS(Complimentary Metal Oxide Semiconductor)传感器等的图像传感器(固体摄像元件)2；具有变焦透镜以及聚焦透镜，且使被摄体的光学图像成像在图像传感器2上的镜头部3；具有将作为从图像传感器2输出的模拟电信号的图像信号进行放大的放大电路(图中未显示)以及将模拟的图像信号转换为数字的图像信号的A/D(Analog/Digital)转换电路(图中未显示)的AFE(Analog Front End)4；将从AFE4输出的多个帧份的数字的图像信号以帧单位暂时保存的帧存储器5；将从外部输入的声音信号转换为电信号的麦克风6；对暂时保存在帧存储器5中的图像信号实施图像处理的图像处理部7；将来自麦克风6的模拟的声音信号转换为数字的声音信号，且对获得的数字声音信号实施声音处理的声音处理部8；和对来自图像处理部7的图像信号以及来自声音处理部8的声音信号实施压缩编码处理的压缩处理部9。在摄像装置1中，在摄影静止画面的情况下，压缩处理部9针对来自图像处理部7的图像信号，能使用JPEG(Joint Photographic Experts Group)压缩方式等来实施压缩编码处理。当在摄像装置1中摄影动态图像时，压缩处理部9针对来自图像处理部7的图像信号以及来自声音处理部8的声音信号，能使用MPEG(Moving Picture Experts Group)压缩方式等实施压缩编码处理。
另外，摄像装置1具有：将在压缩处理部9被压缩编码的压缩编码信号记录在SD(Secure Digital)卡等的外部存储器22中的驱动部10；将通过驱动部10从外部存储器22读取的压缩编码信号进行解压缩解码的解压缩处理部11；和将在解压缩处理部11解码获得的图像信号转换为模拟的图像信号的图像信号输出部12；具有进行以通过图像信号输出部12的转换获得的图像信号为基础的图像的显示的LCD(Liquid Crystal Display)等的显示部13；将来自解压缩处理部11的数字的声音信号转换为模拟的声音信号并输出的声音信号输出部14；和将来自声音信号输出部14的模拟的声音信号进行播放的扬声器部15。
另外，摄像装置1具有：输出用于使摄像装置1内的各块的动作时机同步的时机控制信号的TG(Timing Generator)16；对摄像装置1内所有的驱动动作进行控制的CPU(Central Processing Unit)17；存储用于各动作的各程序并且在程序执行时暂时保管数据的存储器18；具有静止画面摄影用的快门按钮等，并接受来自用户的指示输入的操作部19；在CPU17与摄像装置1内的各块之间进行数据交换的总线20；和在存储器18与摄像装置1内的各块之间进行数据的交换的总线21。
图2是镜头部3的内部构成图。镜头部3具备：具有构成为包括变焦透镜30以及聚焦透镜31的多个透镜的光学系统35；光圈32；和驱动器34。驱动器34由用于实现变焦透镜30以及聚焦透镜31的移动以及光圈32的开度(换言之，开口部的大小)的调节的电动机等构成。
摄像装置1具有通过自动地控制聚焦透镜31的位置而使表现被摄体的光学图像成像在图像传感器2的摄像面上的功能，即AF(Automatic Focus)功能。摄像面也可以称为受光面。根据AF功能，最理想的是表现被摄体的光学图像的成像点与图像传感器2的摄像面上的点一致。在本实施方式中，使表现某一被摄体的光学图像成像在图像传感器2的摄像面上这一状态表示为使焦点对准被摄体。另外，将已对准焦点的被摄体表示为焦点已对准的被摄体。另外，将未对准焦点的状态表示为焦点模糊。
另外，摄像装置1具有：通过自动地控制光圈32的开度、图像传感器2的曝光时间以及AFE4的放大率而将摄影图像的亮度大致保持为恒定的功能，该功能称为AE(Automatic Exposure)功能。而且，摄像装置1还具有：判定照射到被摄体的光的光源，且根据该光源自动地决定白色的色相，并且根据该白色的色相来决定白色以外的颜色的色相的功能，该功能称为AWB(Automatic White Balance)功能。
在摄像装置1中，在摄影者通过操作部19进行了变更变焦倍率的动作的情况下，CPU17根据该动作使变焦透镜30沿着光轴移动，即进行所谓的变焦控制。由此，图像传感器2的摄影的视角被变更(换句话说，在图像传感器2的摄像面上形成的被摄体的图像被扩大或缩小)。
在任意的图像中，将已对准焦点的被摄体也称为特定被摄体，将未对准焦点的被摄体也称为背景。图1的摄像装置1在静止画面摄影时，通过图像处理部7的图像处理，能比较容易地生成与背景图像部分相比更加强调了特定被摄体的图像部分的摄影图像(以下，也称为强调图像)。以下，对在图像处理部7实现的强调图像生成处理的各实施例进行说明。
(第1实施例)
对第1实施例进行说明。图3(a)～(c)是用于说明第1实施例的强调图像生成处理的概要的图。图3(a)表示在摄像装置1中作为静止画面拍摄人物101以及建筑物102所获得的输入图像100。在输入图像100中，人物101相当于特定被摄体，建筑物102相当于背景之一。即，在输入图像100中包括作为特定被摄体的图像的人物101的图像和作为背景的图像的建筑物102的图像。在输入图像100这种任意的二维图像中，将沿着水平方向以及垂直方向的轴分别称为X轴以及Y轴。
关于输入图像100，图3(b)表示沿着人物101存在的图像区域内的X轴方向的亮度信号的变化的情况。在输入图像100中，人物101存在的图像区域是作为焦点已对准的部分的聚焦部。由于在输入图像100中焦点已对准人物101，因此，在作为亮度变化的边界部分(以下，也称为边缘部分)的地点E附近亮度值急剧变化。亮度值表示亮度信号的值，与亮度信号(即Y信号)的信号等级含义相同。针对某一像素，随着亮度值增大，该像素的亮度提高。有时也将亮度值简称为亮度。
在关注像素存在于聚焦部内的地点E的情况下，可以将以地点E为中心的地点A和地点B之间定义为极局部区域，并且，可将以地点E为中心且比极局部区域宽的地点C和地点D之间的区域定义为局部区域，在这种情况下，极局部区域内的亮度的最大值与最小值之差(以下，称为极局部区域的亮度差分值)和局部区域内的亮度的最大值与最小值之差(以下，称为局部区域的亮度差分值)成为大致相等。即，在聚焦部中，(极局部区域的亮度差分值)/(局部区域的亮度差分值)
Figure BSA00000393300400071
1成立。即，在聚焦部中，局部区域的亮度差分值与极局部区域的亮度差分值之比大致成为1。
另一方面，关于输入图像100，沿着存在建筑物102的图像区域内的X轴方向的亮度信号的变化的情况如图3(c)所示。在输入图像100中，存在建筑物102的图像区域是作为焦点未对准的部分的非聚焦部。在输入图像100中，由于焦点未对准建筑物102，因此，在作为亮度变化的边界部分的地点J附近亮度值缓慢变化。在关注像素存在于非聚焦部内的地点J的情况下，可以将以地点J为中心的地点F和地点G之间定义为极局部区域，并且，可将以地点J为中心且比极局部区域宽的地点H和地点I之间定义为局部区域，在该情况下，极局部区域的亮度差分值与局部区域的亮度差分值相比变得非常小。即，在非聚焦部中，(极局部区域的亮度差分值)/(局部区域的亮度差分值)＜＜1成立。即，在非聚焦部中，局部区域的亮度差分值与极局部区域的亮度差分值之比是比1小很多。
并且，以下，将(极局部区域的亮度差分值)/(局部区域的亮度差分值)、即局部区域的亮度差分值与极局部区域的亮度差分值之比称为边缘差分比。
如上所述，在输入图像中，由于焦点已对准的部分(即，聚焦部)与焦点未对准的部分(即，非聚焦部)的边缘部分的亮度信号的变化模式彼此不同，因此，边缘差分比彼此不同。即，在输入图像的各像素中，由于对应的聚焦程度不同，该像素周边的亮度信号的变化模式也不同，由此，对应的边缘差分比也不同。聚焦程度是表示焦点已对准到什么程度的指标。
在第1实施例中，在对输入图像实施模糊处理而生成输出图像时，根据边缘差分比来变更该模糊处理中的模糊程度。图4是用于说明通过在输入图像中实施该模糊处理而生成的输出图像的图。边缘差分比图像103是通过针对输入图像100的各像素计算出边缘差分比进行作图而生成的图像。输出图像100a是针对输入图像100通过实施根据与边缘差分比相应的模糊程度进行的模糊处理而生成的图像。符号101a以及102a表示输出图像100a上的人物101以及建筑物102。
通过设定为以使边缘差分比越小、模糊程度变得越强，从而对未对准焦点的建筑物102实施模糊程度强的模糊处理。另一方面，对于已对准焦点的人物101不实施模糊处理或实施模糊程度弱的模糊处理。因此，在输出图像100a中，与输入图像100相比，使包括未对准焦点的建筑物102a的背景图像的模糊程度进一步增大，其结果是，能获得具有所谓的模糊感的摄影图像作为输出图像100a。
图5是用于说明第1实施例的强调图像生成处理的动作的图。图5所示的各部位能设置在图1的图像处理部7中。如上所述，在帧存储器5中暂时保存从AFE4输出的数字图像信号。该数字图像信号以RAW数据的形式保存。YUV生成部41针对在帧存储器5中暂时保存的RAW数据形式的图像信号实施所谓的颜色分离处理(也称为逆马赛克变换处理或颜色同时化处理)，并且，从进行了颜色分离的数字图像信号中生成作为亮度信号的Y信号以及作为色差信号的U以及V信号。
极局部区域差分提取部42从由YUV生成部41输出的亮度信号中针对每个输入图像的像素提取并输出极局部区域的亮度差分值。局部区域差分提取部43从由YUV生成部41输出的亮度信号中针对每个输入图像的像素提取并输出局部区域的亮度差分值。边缘差分比计算部44根据极局部区域的亮度差分值以及局部区域的亮度差分值计算并输出每个输入图像的像素的边缘差分比。
图6是用于说明：极局部区域差分提取部42进行的极局部区域差分提取处理、局部区域差分提取部43进行的局部区域差分提取处理、以及边缘差分比计算部44进行的边缘差分比计算处理的图。图6的行列表601是从由YUV生成部41输出的亮度信号中取出例如7×7像素份的图。在图6的行列表601中“aij”表示输入图像的像素Pij的亮度值(i以及j为整数)。例如，“a12”表示像素P12的亮度值。像素Pi1～Pi7是在水平方向上连续的7个像素，像素P1j～P7j是在水平方向上连续的7个像素。在此，将极局部区域定义为以关注像素为中心且离该关注像素比较窄的范围的图像区域；将局部区域定义为以关注像素为中心且比极局部区域宽的范围的图像区域。即，将以关注像素为中心的比较小的图像区域称为极局部区域，并且将以关注像素为中心且比极局部区域大的图像区域称为局部区域。
在图6的行列表601中，作为其中一例，将由3×3像素构成的区域定义为极局部区域，并且将由7×7像素构成的区域定义为局部区域。具体而言，将关注像素作为像素P44，将由像素Pij(i＝3，4，5、j＝3，4，5)构成的区域作为极局部区域而定义，并且，将由像素Pij(i＝1，2··7、j＝1，2··7)构成的区域作为局部区域而定义。
极局部区域差分提取部42提取关注像素的极局部区域中的亮度的最大值与最小值的差分作为极局部区域的亮度差分值。参照图6的行列表601，例如，在关注像素P44的极局部区域中，如果a55是亮度的最大值，a33是亮度的最小值，则关注像素P44的极局部区域的亮度差分值b44为b44＝a55-a33。极局部区域差分提取部42使极局部区域以1个像素单位移动(换句话说，使关注像素以1个像素单位移动)，在每次移动时提取极局部区域的亮度差分值。由此，提取针对所有像素的极局部区域的亮度差分值。
图6的行列表602表示各像素中的极局部区域的亮度差分值。例如，b44表示像素P44中的极局部区域的亮度差分值。
局部区域差分提取部43提取关注像素的局部区域中的亮度的最大值与最小值的差分作为局部区域的亮度差分值。参照图6的行列表601，例如，在关注像素P44的局部区域中，如果a11是亮度的最大值，a17是亮度的最小值，则针对关注像素P44的局部区域的亮度差分值c44为c44＝a11-a17。局部区域差分提取部43使局部区域以1个像素单位移动(换句话说，使关注像素以1个像素单位移动)，在每次移动时提取局部区域的亮度差分值。由此，提取针对所有像素的局部区域的亮度差分值。图6的行列表603表示各像素中的局部区域的亮度差分值。例如，c44表示像素P44中的局部区域的亮度差分值。
在极局部区域的亮度差分值以及局部区域的亮度差分值分别用符号YDA以及YDB表示的情况下，图5的边缘差分比计算部44会针对每个像素计算出值(YDB+α)与值YDA之比。即，针对每个像素计算出比“YDA/(YDB+α)”。在此，将计算出的比“YDA/(YDB+α)”称为校正边缘差分比。α是微小的偏移量值，且α＞0。并且，在局部区域的亮度差分值YDB中加入偏移量值α是为了防止校正边缘差分比的计算公式的分母变成0。图6的行列表604表示各像素中的校正边缘差分比。例如，d44表示像素P44中的校正边缘差分比。
图5的扩展处理部45根据计算出的各像素的校正边缘差分比来扩展边缘部分的区域。图7(a)～(c)是用于说明扩展处理部45进行的扩展处理的概要的图。图7(a)是表示在输入图像100中存在人物101的画像区域内的沿着X轴方向的亮度信号的变化的模式图(也参照图3(a))。在图7(a)中，地点L是边缘部分，以地点L为中心的规定区域，即地点K和地点M之间的区域被设定为扩展处理对象区域。地点K以及地点M中的亮度值分别是v7以及v8(v8＞v7)。
图7(b)是表示与图7(a)对应的图像区域中的沿着X轴方向的校正边缘差分比的变化的模式图。在图7(b)中，地点K以及M中的校正边缘差分比是v9，地点L中的校正边缘差分比是v10(v10＞v9)。由图7(b)可以明确，通过边缘差分比计算部44计算出的校正边缘差分比在作为边缘部分的地点L处最大。扩展处理部45用取最大值的地点L的校正边缘差分比来置换扩展处理对象区域中的各像素的校正边缘差分比。
图7(C)是表示与图7(a)对应的图像区域中的沿着X轴方向的扩展处理后的校正边缘差分比的变化的模式图。在图7(c)中，扩展处理对象区域的校正边缘差分比被地点L的校正边缘差分比置换，作为该置换的结果，包括地点K以及M在内的扩展处理对象区域内的所有像素的校正边缘差分比成为v10。即，扩展处理部45在以关注像素为中心的扩展处理对象区域中，将关注像素的校正边缘差分比置换成扩展处理对象区域内的最大的校正边缘差分比。
图8是用于说明扩展处理部45进行的扩展处理的图。在图8的行列表611、612、613以及614中分别表示针对从边缘差分比计算部44输出的输入图像的校正边缘差分比中的、7×7像素份的校正边缘差分比。在图8的行列表611中，扩展处理部45将像素P44设定为关注像素，将由以关注像素P44为中心的3×3像素构成的图像区域设定为扩展处理对象区域。现在，在图8的行列表611中，在扩展处理对象区域内的所有像素的校正边缘差分比中，如果关注像素P44的校正边缘差分比d44是最大的校正边缘差分比，则扩展处理部45不将关注像素P44的校正边缘差分比置换为其他的校正边缘差分比，而就维持该状态。图8的行列表615表示在将像素P44设定为关注像素的状态下进行了扩展处理的结果。若以像素P44是关注像素的状态为起点，将关注像素以及扩展处理对象区域向右移动一个像素份，则像素P45被设定为关注像素。图8的行列表612对应于像素P45被设定为关注像素的状态。
在图8的行列表612中，如果在扩展处理对象区域内的所有像素的校正边缘差分比中的校正边缘差分比d44是最大的校正边缘差分比，则扩展处理部45用d44的值置换关注像素P45的校正边缘差分比。图8的行列表616表示在将像素P44以及P45按顺序设定为关注像素的状态下进行扩展处理的结果。在图8的行列表616中，像素P45的校正边缘差分比被从d45置换为d44。如果以像素P44是关注像素的状态为起点，将关注像素以及扩展处理对象区域向上移动1个像素份，则像素P34被设定为关注像素。图8的行列表613对应于像素P34被设定为关注像素的状态。
如果在图8的行列表613中，扩展处理对象区域内的所有像素的校正边缘差分比中的校正边缘差分比d44也是最大的校正边缘差分比，则扩展处理部45用d44的值置换关注像素P34的校正边缘差分比。图8的行列表617表示在将像素P44、P45以及P34按顺序设定为关注像素的状态下进行扩展处理的结果。在图8的行列表617中，像素P34的校正边缘差分比被从d34置换为d44。如果以像素P44是关注像素的状态为起点，将关注像素以及扩展处理对象区域向下移动1个像素份，则像素P54被设定为关注像素。图8的行列表614对应于像素P54被设定为关注像素的状态。
如果在图8的行列表614中，扩展处理对象区域内的所有像素的校正边缘差分比中的校正边缘差分比d44也是最大的校正边缘差分比，则扩展处理部45用d44的值置换关注像素P54的校正边缘差分比。图8的行列表618表示在将像素P44、P45、P34以及P54按顺序设定为关注像素的状态下进行扩展处理的结果。在图8的行列表618中，像素P54的校正边缘差分比被从d54置换为d44。
如上所述，扩展处理部45对所有像素进行扩展处理。由于扩展处理使边缘部分的区域扩展，因此，焦点已对准的被摄体与焦点未对准的被摄体的边界变得明确，可以生成更具有模糊感的强调图像。扩展处理部45输出扩展处理后的校正边缘差分比。
图5的变换表46根据从扩展处理部45输出的每个像素的校正边缘差分比，导出并输出每个像素的模糊程度以及边缘强调程度。
图9(a)表示用于变换表46根据校正边缘差分比导出模糊程度的函数。如图9(a)所示，由变换表46导出的模糊程度，当对应的校正边缘差分比小于阈值THB时最大(在图9(a)的例中7)；当对应的校正边缘差分比是阈值THA以上时最小(在图9(a)的例中1)。其中，THB＜THA。在校正边缘差分比为阈值THB以上且小于THA的情况下，随着校正边缘差分比的增加，使模糊程度线性地减少。并且，在该情况下，虽然可以随着校正边缘差分比的增加使模糊程度非线性地减少，但优选随着校正边缘差分比的增加的模糊程度的减少为单调减少。
图9(b)表示用于变换表46从校正边缘差分比导出边缘强调程度的函数。如图9(b)所示，由表46导出的边缘强调程度，当对应的校正边缘差分比小于阈值THC时最小(在图9(b)的例中1.0)；当对应的校正边缘差分比是阈值THD以上时最大(在图9(b)的例中2.0)。其中，THC＜THD。在校正边缘差分比为阈值THC以上且小于THD的情况下，随着校正边缘差分比的增加，使边缘强调程度线性地增加。并且，在该情况下，虽然可以随着校正边缘差分比的增加使边缘强调程度非线性地增加，但优选随着校正边缘差分比的增加的边缘强调程度的增加为单调增加。
图5的模糊处理部47根据从变换表格46输出的每个像素的模糊程度，针对从YUV生成部41输出的Y、U以及V信号，对每个像素实施模糊处理。模糊处理部47例如不采用单纯的平均化滤波器，而可采用越接近关注像素越加权，且该权重接近于高斯分布的高斯滤波器。在该情况下，可将从变换表格46输出的模糊程度用作该高斯分布的分散值。模糊处理后的Y、U以及V信号从模糊处理部47输出。
边缘强调处理部48针对从模糊处理部47输出的Y、U以及V信号，对每个像素实施边缘强调处理。例如，在边缘强调部48可采用能根据从变换表格46输出的每个像素的边缘强调程度来变更边缘强调程度(边缘强调的强度)的锐化滤波器。并且，作为上述高斯滤波器以及锐化滤波器，可采用例如CG-ARTS协会发行的文献“数字图像处理(digital image processing)”(2007年3月1日发行，第2版)中的108页到110页以及122页到124页记载的滤波器。另外，在涉及第1实施例的上述例子中，虽然将极局部区域设为由3×3的像素构成的区域；将局部区域设为由7×7的像素构成的区域，并将扩展处理对象区域设为由3×3的像素构成的区域，但是，这些区域的大小不局限于这些例子。作为极局部区域、局部区域或扩展处理对象区域，也可使用由比在第1实施例采用的区域宽的范围或窄的范围构成的区域。
(第2实施例)
对第2实施例进行说明。图10是说明图像处理部7中的强调图像生成处理的第2实施例的图。图10所示的各部位可设置在图像处理部7中。在图10中，由于与图5标注相同编号的部位是具有与第1实施例的情况相同的功能以及动作的部位，因此，省略其功能以及动作的说明。并且，虽然在第2实施例中的扩展处理部45中会输入后面要提到的频率分量比，但是，扩展处理部45进行与第1实施例的情况相同的处理。即，利用与图5的扩展处理部45针对按每个像素求出的校正边缘差分比进行扩展处理的方法相同的方法，图10的扩展处理部45针对按每个像素要求的频率分量比进行扩展处理，且输出扩展处理后的频率分量比。
虽然在图10的变换表46中通过扩展处理部45输入每个像素的频率分量比，但是，变换表46进行与第1实施例的情况相同的处理。即，图10的变换表46根据从扩展处理部45输出的每个像素的频率分量比，导出并输出每个像素的模糊程度以及边缘强调程度。根据频率分量比来决定模糊程度以及边缘强调程度的方法与第1实施例中描述的根据校正边缘差分比来决定模糊程度以及边缘强调程度的方法相同。因此，在将图9(a)以及(b)用于第2实施例的情况下，图9(a)以及(b)所示的图表的各横轴表示频率分量比。
BPF_H50以及BPF_L51分别是从由YUV生成部41输出的亮度信号提取包括规定范围的频率频带的分量在内的亮度信号的带通滤波器(Band Pass Filter)。并且，在本实施方式中所述的频率是空间频率(spatial frequency)。
图11表示BPF_H50以及BPF_L51的频率特性。在图11中，FH表示BPF_H50的中心频率，FHc1以及FHc2表示BPF_H50的截止频率(cut off frequency)。FHc1＜FH＜FHc2。将从低频侧的截止频率FHc1到高频侧的截止频率FHc2为止的频带称为BPF_H50的通频带。同样，FL表示BPF_L51的中心频率，FLc1以及FLc2表示截止频率。FLc1＜FL＜FLc2。从低频侧的截止频率FLc1到高频侧的截止频率FLc2为止的频带为BPF_L51的通频带。BPF_H50使中心频率FH的亮度信号100％通过；BPF_L51使中心频率FL的亮度信号100％通过。在任意的带通滤波器中，中心频率可解释为：该带通滤波器的通频带的中心频率。BPF_H50以及BPF_L51分别针对来自YUV生成部41的亮度信号执行具有上述频率特性的频带通过滤波，将频带通过滤波后的亮度信号进行输出。关于输入亮度信号的后面要提到的其他带通滤波器(图12的H_BPF_H53等)也同样。
在BPF_H50中，为了能提取亮度信号的高频分量，将频率FH设定为比较高的频率。另一方面，在BPF_L51中，为了能提取比BPF_H50低的频率分量，将频率FL设定为比频率FH低的频率。频率分量比计算部52，根据从BPF_H50输出的亮度信号值和从BPF_L51输出的亮度信号值，按照下列公式(1)针对每个像素计算出频率分量比。即，关于关注像素，在分别用符号OUTH50以及OUTL51表示从BPF_H50输出的亮度信号值以及从BPF_L51输出的亮度信号值的情况下，针对关注像素计算出的频率分量比为|OUTH50/OUTL51|。
频率分量比＝|(BPF_H50的输出值)/(BPF_L51的输出值)|
...(1)
在图3(a)的输入图像100中，在焦点已对准的人物101存在的区域中包括很多的高频分量的亮度信号。另一方面，在焦点未对准的建筑物102的图像部分中，由于焦点未对准，因此高频分量的亮度信号少，包括很多中频带分量或低频带分量的亮度信号。
因此，在焦点已对准的位置(即聚焦位置)上，
|OUTH50|＞|OUTL51|，
在焦点未对准的位置(即非聚焦位置)上，
|OUTH50|＜|OUTL51|。
在第2实施例中，当对输入图像实施模糊处理而生成输出图像时，根据通过上述公式(1)计算出的频率分量比，变更该模糊处理中的模糊程度。具体而言，根据频率分量比来变更模糊程度，以使越是频率分量比大的像素，越实施模糊程度小的模糊处理，并且，越是频率分量比小的像素，越实施模糊程度大的模糊处理。由此，能生成强调焦点已对准的被摄体的强调图像。
(第3实施例)
对第3实施例进行说明。图12是说明图像处理部7中的强调图像生成处理的第3实施例的图。图12所示的各部位可设置在图像处理部7中。在图12中，与图10标注相同编号的部位由于是具有与第2实施例的情况相同的功能以及动作的部位，因此省略其功能以及动作的说明。并且，在第3实施例中，在扩展处理部45中，虽然会输入后面提到的水平频率分量比或垂直频率分量比，但是，扩展处理部45进行与第2实施例的情况相同的处理。即，利用与图10的扩展处理部45针对按每个像素求出的频率分量比进行扩展处理的方法相同的方法，图12的扩展处理部45针对由选择部59提供的每个像素的水平频率分量比或垂直平率分量比进行扩展处理，输出扩展处理后的水平频率分量比或垂直频率分量比。另外，虽然在图12的变换表46中通过扩展处理部45输入每个像素的水平频率分量比或垂直频率分量比，但是，图12的变换图表46进行与第2实施例的情况相同的处理。即，图12的变换图表46根据从扩展处理部45输出的每个像素的水平频率分量比或垂直频率分量比，导出并输出每个像素的模糊程度以及边缘强调程度。根据水平频率分量比或垂直频率分量比来决定模糊程度以及边缘强调程度的方法与在第1实施例中描述的根据校正边缘差分比来决定模糊程度以及边缘强调程度的方法相同。因此，在将图9(a)以及(b)应用于第3实施例的情况下，图9(a)以及(b)所示的图表的各横轴表示水平频率分量比或垂直频率分量比。
H_BPF_H53以及H_BPF_L54分别是从由YUV生成部41输出的亮度信号提取包括水平方向(图3(a)的X轴方向)上的规定范围的频率频带的分量的亮度信号的带通滤波器。
在H_BPF_H53中，为了能提取亮度信号的高频分量，将H_BPF_H53的中心频率FHH设定为比较高的频率。另一方面，在H_BPF_L54中，为了能提取比H_BPF_H53低的频率分量，将H_BPF_L54的中心频率FHL设定为比频率FHH低的频率。
水平频率分量比计算部57根据从H_BPF_H53输出的亮度信号值和从H_BPF_L54输出的亮度信号值，按照下列公式(2)计算出水平频率分量比。即，关于关注像素，在分别用符号OUTH53以及OUTL54表示从H_BPF_H53输出的亮度信号值以及从H_BPF_L54输出的亮度信号值的情况下，针对关注像素计算出的水平频率分量比为|OUTH53/OUTL54|。
水平频率分量比＝
|(H_BPF_H53的输出值)/(H_BPF_L54的输出值)|
...(2)
V_BPF_H55以及V_BPF_L56分别是从由YUV生成部41输出的亮度信号提取包括垂直方向(图3(a)的Y轴方向)上的规定范围的频率频带的分量在内的亮度信号的带通滤波器。
在V_BPF_H55中，为了能提取亮度信号的高频分量，将V_BPF_H55的中心频率FVH设定为比较高的频率。另一方面，在V_BPF_L56中，为了能提取比V_BPF_H55低的频率分量，将V_BPF_L56的中心频率FVL设定为比FVH低的频率。
垂直频率分量比计算部58根据从V_BPF_H55输出的亮度信号值和从V_BPF_L56输出的亮度信号值，按照下列公式(3)计算出垂直频率分量比。即，关于关注像素，在分别用符号OUTH55以及OUTL56表示从V_BPF_H55输出的亮度信号值以及从V_BPF_L56输出的亮度信号值的情况下，针对关注像素计算出的垂直频率分量比为|OUTH55/OUTL56|。
垂直频率分量比
＝|(V_BPF_H55的输出值)/(V_BPF_L56的输出值)|
...(3)
选择部59从由水平频率分量比计算部57输出的水平频率分量比和由垂直频率分量比计算部58输出的垂直频率分量比中选择出大的一方，并向扩展处理部45输出。
如上所述，在第3实施例中，能考虑到关于输入图像的水平以及垂直的两个方向的聚焦程度，来控制模糊处理部47的模糊程度以及边缘强调处理部48的边缘强调程度。因此，通过第3实施例，能生成更加细致地实施了模糊处理以及边缘处理的强调图像。
(第4实施例)
对第4实施例进行说明。图13是用于说明图像处理部7中的强调图像生成处理的第4实施例的图。图13所示的各部位可设置在图像处理部7中。在图13中，由于与图10标注相同编号的部位是具有与第2实施例的情况相同的功能以及动作的部位，因此，省略其功能以及动作的说明。
在摄像装置1的镜头部3具有的透镜中，通常，随着远离摄影图像的中心点，MTF(Modulation Transfer Function)变差。并且，如果以图3(a)的输入图像100为例，则摄影图像的中心是指：通过X轴方向上的输入图像100的中点并与Y轴平行的直线、和通过Y轴方向上的输入图像100的中点并与X轴平行的直线的交点。因此，例如，当在远离摄影图像的中心点的4个角的任意的周边上配置了人物101的状态下使焦点对准了人物101时，人物101的亮度信号的高频分量的大小变得比在以人物101为中心点的附近对准了焦点的情况小。因此，即使对整个摄影图像实施共同特性的BPF，用上述公式(1)计算出频率差分比，也很难获得精确度良好的特性(表示聚焦程度的正确特性，换句话说，表示聚焦位置的偏离的正确特性)。
因此，作为用于提高频率差分比的特性的精确度的方法之一，可考虑根据输入图像内的像素位置来变更BPF的特性(中心频率)，提高聚焦程度的检测精确度。
在图13中，BPF_H61以及BPF_L62分别是从由YUV生成部41输出的亮度信号提取包括一定范围的频率频带的分量在内的亮度信号的带通滤波器。并且，BPF_H61以及BPF_L62能分别根据从后面提到的位置信息表60输出的参数，变更自身的中心频率。因此，能变更从亮度信号提取的频率频带的范围。
在位置信息表60中事先保存用于设定BPF_H61以及BPF_L62应该提取的频率频带的范围的参数，BPF_H61以及BPF_L62应该提取的频率频带的范围取决于从YUV生成部41输出的亮度信号的各像素位置。
具体而言，随着关注像素的位置远离存在于输入图像的中心点的像素或离中心点最近的像素(以下，将它们统称为中心像素)而使BPF_H61以及BPF_L62所提取的频率频带的范围向低频率侧移动的滤波器系数，作为上述参数被保存。在对输入的亮度信号实施滤波器处理时，BPF_H61以及BPF_L62获取从位置信息表60输出的滤波器系数，进行滤波处理。
在图14(a)中表示了，输入图像100、输入图像100上的中心像素103、和存在于输入图像100上的角部的像素(以下称为角像素)104。图14(b)是表示根据输入图像100的像素位置而变动的BPF_H61以及BPF_L62的频率特性的图。
在对输入图像100的中心像素103进行滤波处理的情况下，BPF_H61从位置信息表60获得指示曲线103H的参数，利用与曲线103H一致的频率特性进行滤波处理。同样，在对输入图像100的中心像素103进行滤波处理的情况下，BPF_L62从位置信息表60获得指示曲线103L的参数，利用与曲线103L一致的频率特性进行滤波处理。
另一方面，在对输入图像100的角像素104进行滤波处理的情况下，BPF_H61从位置信息表60获得指示曲线104H的参数，利用与曲线104H一致的频率特性进行滤波处理。同样，在对输入图像100的角像素104进行滤波处理的情况下，BPF_L62从位置信息表60获得指示曲线104L的参数，利用与曲线104L一致的频率特性进行滤波处理。在对输入图像100的中心像素103进行滤波处理的情况下的BPF_H61以及BPF_L62的中心频率，比在对输入图像100的角像素104进行滤波处理的情况下的BPF_H61以及BPF_L62的中心频率高。
根据第4实施例，能考虑到摄像装置1的镜头部3所具有的透镜的MTF特性，并针对输入图像内的各像素，通过具有与各像素位置对应的频率特性的BPF_H61以及BPF_L62进行滤波处理。由此，频率分量比计算部52能以高的精确度计算出频率分量比，其结果是，能以更高的精确度生成强调图像。
并且，即使对第3实施例也当然可采用位置信息表60(参照图12)。并且，在第3实施例中，根据位置信息表60的参数可改变H_BPF_H53、H_BPF_L54、V_BPF_H55以及V_BPF_H56所提取的频率频带的范围，由此，可获得与第4实施例相同的效果。
(第5实施例)
对第5实施例进行说明。图15是说明图像处理部7中的强调图像生成处理的第5实施例的图。图15所示的各部位可以设置在图像处理部7中。在图15中，由于与图10标注相同编号的部位是具有与第2实施例的情况相同的功能以及动作的部位，因此，省略其功能以及动作的说明。
在位置信息表63中，针对每个在输入图像中所包含的亮度信号的频率而事先保存增益值。可对输入图像的每个像素位置设定增益值。针对输入图像的关注像素位置的增益值，具有对应于输入图像的中心像素中的MTF与输入图像的关注像素位置中的MTF之差的值。
位置信息表63从BPF_H50获得中心频率，将与获得的BPF_H50的中心频率对应的增益值导出并输出给乘法部64。同样，从BPF_L51获得中心频率，将与获得的BPF_L51的中心频率对应的增益值导出并输出给乘法部65。以下，也将增益值简称为增益。
图16表示BPF_H50以及BPF_L51的频率特性、图14(a)的中心像素103以及角像素104中的MTF。曲线105以及曲线106分别表示BPF_H50以及BPF_L51的频率特性，FH以及FL分别表示BPF_H50以及BPF_L51的频率特性的中心频率。曲线103m表示针对中心像素103中的亮度信号的频率的MTF。曲线104m表示针对角像素104中的亮度信号的频率的MTF。
当前，例如，将亮度信号的频率为FS时的曲线103m上的值以及曲线104m上的值分别设为0.65以及0.4。这表示中心像素103中的频率FS的亮度信号的大小成为原来应该具有的大小的65％。同样，也表示角像素104中的频率FS的亮度信号的大小成为原来应该具有的大小的40％。
在图16中，gHn表示BPF_H50的频率特性的中心频率FH中的中心像素103的MTF与角像素104的MTF之差。同样，gLn表示BPF_H50的频率特性的中心频率FL中的中心像素103的MTF与角像素104的MTF之差。在位置信息表63中保存对应于gHn的增益GHn以及对应于gLn的增益GLn。
图15的乘法部64从位置信息表63获取增益GHn，将增益GHn与针对角像素104的BPF_H50的滤波处理结果相乘并输出。同样，乘法部65从位置信息表63获取增益GLn，将增益GLn与针对角像素104的BPF_L51的滤波处理结果相乘并输出。并且，乘法部64以及乘法部65将1.0与针对中心像素103的BPF_H50以及BPF_L51的滤波处理结果相乘。
根据第5实施例，考虑到摄像装置1的镜头部3所具有的透镜的MTF特性，将根据各像素位置的增益值与BPF_H50以及BPF_L51的输出相乘。由此，与第4实施例相同，频率分量比计算部52能以高精确度计算出频率分量比，其结果是，能以更高的精确度生成强调图像。
并且，当然对第3实施例也可采用位置信息表63(参照图12)，在第3实施例中，通过将从位置信息表63获得的4种增益值与H_BPF_H53、H_BPF_L54、V_BPF_H55以及V_BPF_L56的输出相乘，能发挥与第5实施例相同的效果。
(第6实施例)
对第6实施例进行说明。图17是说明图像处理部7中的强调图像生成处理的第6实施例的图。图17所示的各部位可以设置在图像处理部7中。在图17中，由于与图5标注相同编号的部位是具有与第1实施例的情况相同的功能以及动作的部位，因此，省略其功能以及动作的说明。
在图17中，模糊处理部66对输入图像实施模糊处理，并将模糊图像输出。模糊处理部66可使用例如使相邻的像素信号的浓淡变化平滑的平均化滤波器，或使用在图像信号中所包含的空间频率分量中一方面留下低频分量而另一方面除去高频分量的LPF(Low Pass Filter)，来实现上述模糊处理。作为上述平均化滤波器或LPF，例如，可采用CG-ARTS协会发行的文献“数字图像处理(digital image processing)”(2007年3月1日发行、第2版)的从108页到110页以及从131页到133页记载的滤波器。变换表67根据扩展处理部45输出的校正边缘差分比，针对每个输入图像的像素，导出表示输入图像和模糊图像的合成程度的加法运算比率K。
用于变换表67导出加法运算比率K的函数如图18所示。如图18所示，变换表67在校正边缘差分比小于阈值THE时，将加法运算比率K设为0；在校正边缘差分比为1.0以上时，将加法运算比率K设为1。0≤THE＜1。在校正边缘差分比为THE以上且小于1.0的情况下，随着校正边缘差分比的增加，加法运算比率K线性地增加。并且，在该情况下，随着校正边缘差分比的增加，加法运算比率K也可以非线性地增加，但是，伴随着校正边缘差分比的增加的加法运算比率K的增加优选为单调增加。
加权加法运算处理部68根据加法运算比率K合成输入图像和模糊图像，并生成输出图像。换句话说，以按照加法运算比率K的混合比例，针对每个像素位置来混合输入图像的像素信号和模糊图像的像素信号，并生成具有通过混合获得的各像素信号的图像作为输出图像。关于某一像素或某一像素位置的图像信号被称为像素信号。像素信号的值被称为像素值。加权加法运算处理部68也可以对Y、U以及V信号分别进行混合。具体而言，针对每个像素通过进行按照以下公式(4)的加权加法运算处理来生成输出图像。即，在用符号SIN、SBLUR以及SOUT分别表示共同的像素位置的输入图像、模糊图像以及输出图像的像素信号的情况下，“SOUT＝(SIN×K)+(SBLUR×(1-K))”成立。
输出图像＝(输入图像×加法运算比率K)+(模糊图像×(1-加法运算比率K)
...(4)
根据上述公式(4)，例如，在输入图像为图3(a)的输入图像100的情况下，关于人物101，由于校正边缘差分比变大，因此，与人物101的图像对应的像素的加法运算比率K成为1或近似1的值。因此，输出图像中的人物101的图像成为与输入图像100的人物101的图像大致相等。
另一方面，关于输入图像100的建筑物102的图像，由于焦点未对准，因此，对应的校正边缘差分比具有比1小的值。因此，加法运算比率K接近于零，通过在输入图像100的建筑物102的图像中混合模糊图像的建筑物102的图像，从而生成输出图像中的建筑物102的图像。因此，输出图像中的建筑物102的图像成为模糊效果比输入图像100的建筑物102的图像还大的图像。其结果是，输出图像成为人物101看上去被强调的图像。
并且，在第2实施例的图10、第3实施例的图12、第4实施例的图13以及第5实施例的图15中，当然也可采用图17中的变换表67、模糊处理部66以及加权加法运算处理部68来分别代替变换表46、模糊处理部47以及边缘强调处理部48。
在将第2、第4或第5实施例变形的情况下，在变换表67中输入频率分量，图18中的变换表67的函数的横轴成为频率分量比。
在将第3实施例变形的情况下，在变换表67中输入水平频率分量比或垂直频率分量比，图18中的变换表67的函数的横轴成为水平频率分量比或垂直频率分量比。
在第1实施例的图5、第2实施例的图10、第3实施例的图12、第4实施例的图13以及第5实施例的图15中，也可采用根据从变换表46输出的模糊程度而只降低Y信号的大小的可变亮度降低处理部(图中未显示)来代替模糊处理部47。另外，在第6实施例的图17中，也可采用只降低Y信号的大小的固定亮度降低处理部(图中未显示)来代替模糊处理部66。由此，例如，在输入图像为图3(a)的输入图像100的情况下，焦点未对准的建筑物102的亮度被降低，能获得人物101看上去被强调突出的输出图像。
另外，在第1实施例的图5、第2实施例的图10、第3实施例的图12、第4实施例的图13以及第5实施例的图15中，也可采用根据从变换表46输出的模糊程度而只降低U以及V信号的大小的可变色度降低处理部(图中未显示)来代替模糊处理部47。另外，在第6实施例的图17中，也可以采用只降低U以及V信号的大小的固定色度降低处理部(图中未显示)来代替模糊处理部66。由此，例如，在输入图像为图3(a)的输入图像100的情况下，焦点未对准的建筑物102的色度被降低，能获得人物101看上去被强调突出的输出图像。
另外，在本实施例以及变形例中，虽然是以输入图像的像素单位进行强调图像生成处理，但不局限于此。例如，也可将由多个图像构成的小区域设为实施强调图像生成处理的单位。这样一来，可减轻进行强调图像生成处理的处理量。另外，小区域也可以解释为只由1个像素形成。
图19是表示摄像装置1生成强调图像为止的一系列的处理的流程图。在步骤S100中，如果开启摄像装置1的电源，则进入步骤S 101。
在步骤S101中，摄影者选择摄像装置1的动作模式。在可选择的摄像装置1的动作模式中包含拍摄动态图像以及静止画面的摄影模式和播放已经拍摄且已记录在外部存储器22中的摄影图像的播放模式。在此，设为：摄影者选择了摄影模式，且还选择了强调图像生成模式。
在步骤S102中，摄像装置1进入预览模式。在预览模式中，经过镜头部3，通过图像传感器2的光电转换获得的模拟的图像信号在AFE4中被转换为数字的图像信号并向图像处理部7输出。然后，在图像处理部7中，对该数字的图像信号实施AF处理、AE处理以及白平衡处理等的图像处理，通过图像信号输出部12显示在显示部13上。
在步骤S103中，摄影者对摄影图像的构图或变焦倍率进行调整。
在步骤S104中，摄像装置1在步骤S103所设定的构图或变焦倍率下执行AF/AE/AWB控制。
在步骤S105中，CPU17判定操作部19的快门按键是否被按到一半。
在摄像装置1的操作部19中具有用于静止画面摄影的快门按键(图中未显示)。快门按键为2阶段开关，如果摄影者将快门按键按下到大致一半为止则开启第1开关。如果将快门按到最后为止则开启第2开关。以下，将把快门按键按到最后为止记载为全按下。
如果判断快门按键按下一半，则进入步骤S106。如果不是，则返回到步骤S102，摄像装置1继续预览模式。
在步骤S106中，摄像装置1通过AF功能使焦点对准摄影者关注的被摄体(例如，图3(a)的人物101)，并且通过AE功能进行光圈32的开度的设定以及图像传感器2的曝光时间(即，快门速度)的设定，然后通过AWB功能进行色相的设定。
在步骤S107中，CPU17判断快门按键是否被全按下。在判断为全按下的情况下，进入步骤S108。在不是的情况下，即在维持按下一半的状态的情况下，摄像装置1维持在步骤S107设定的摄影条件直至全按下为止。
在步骤S108中，摄像装置1通过在步骤S106设定的摄影条件下进行静止摄影，获取例如图3(a)的输入图像100，以RAW数据或YUV形式将输入图像保存在帧存储器5中，进入步骤S109。
在步骤S109中，CPU17判断是否已设定为强调图像生成模式。在已设定为强调图像生成模式的情况下，进入步骤S110。在不是的情况下，进入步骤S111。
在步骤S110中，使用本实施方式中的任意的实施例或变形例中记载的强调图像生成处理，从通过摄影获得的输入图像中生成强调图像，进入步骤S112。可生成任意的输出图像(例如，边缘强调处理部48或加权加法运算处理部68生成的输出图像)作为强调图像。
在步骤S111中，在CPU17的控制下，对通过摄影获得的输入图像，利用图像处理部7实施图像处理，接下来，利用压缩处理部9实施压缩处理。进行了这些处理后的输入图像被保存在外部存储器22中。然后，返回到步骤S102。
在步骤S112中，在CPU17的控制下，对通过摄影获得的输入图像(例如输入图像100)以及强调图像，利用图像处理部7实施图像处理，接下来，利用压缩处理部9实施压缩处理。进行了这些处理后的输入图像以及强调图像被保存在外部存储器22中。然后，返回到步骤S102。
(第7实施例)
对第7实施例进行说明。图20是说明图像处理部7中的强调图像生成处理的第7实施例的图。图20所示的各部位可以设置在图像处理部7中。在图20中，由于与图17标注相同编号的部位是具有与第6实施例的情况相同的功能以及动作的部位，因此，省略其功能以及动作的说明。在图20中，模糊处理部69通过对输入图像实施模糊处理而生成并输出模糊图像。模糊处理部69通过使用以下的滤波器来实现模糊处理，这些滤波器分别是：例如，针对输入图像使像素信号的浓淡变换变得平滑的平均化滤波器、保留图像信号中所包含的空间频率分量中的低频分量并除去高频分量的LPF(Low Pass Filter)、或离成为处理对象的像素越近越进行大的加权且使该权重接近于高斯分布的高斯滤波器等。以下，将实现模糊处理的滤波器记载为模糊滤波器。
模糊处理部69进行正规化，以使从扩展处理部45输出的输入图像的各像素的校正边缘差分比在0.0以上且1.0以下的范围内，利用正规化后的校正边缘差分比作为各像素的聚焦程度。例如，在关于从扩展处理部45输出的像素P44以及P45的校正边缘差分比分别是d44以及d45，并且，对校正边缘差分比d44以及d45实施上述正规化后获得的校正边缘差分比分别是d44’以及d45’的情况下，使用d44’以及d45’分别作为像素P44以及P45的聚焦程度。关于其他的像素也同样。模糊处理部69在对成为模糊处理的对象的像素(以下，也称为对象像素)实施模糊处理时，根据该对象像素的聚焦程度来变更通过模糊处理进行的模糊的程度。以下，作为通过模糊处理部69进行的模糊处理的具体例，对模糊处理例7A～7B进行说明。可将模糊处理例7A～7B看作第7实施例的一部分。
(模糊处理例7A)
对模糊处理例7A进行说明。模糊处理部69根据输入图像中的对象像素的聚焦程度，变更在对象像素的模糊处理中使用的模糊滤波器的滤波器尺寸。模糊处理部69在对象像素的聚焦程度为事先规定的规定阈值TH1以上的情况下，使模糊滤波器的滤波器尺寸变得比较小；当对象像素的聚焦程度比规定的阈值TH1小的情况下，使滤波器尺寸变得比较大。例如，可事先规定阈值TH1，以满足“0＜TH1＜1”。
例如，在规定的阈值TH1为0.5的情况下，模糊处理部69在对象像素的聚焦程度为0.5以上时，判断为该对象像素接近于焦点已对准的状态，将对对象像素进行的模糊处理中的滤波器尺寸设为3×3。另一方面，在对象像素的聚焦程度小于0.5的情况下，判断为该对象像素接近于焦点未对准的状态，将对对象像素进行的模糊处理中的滤波器尺寸设为5×5。在使用具有Q×Q的滤波器尺寸的模糊滤波器的模糊处理中，使用以对象像素为中心(Q×Q)的像素的像素信号，生成模糊处理后的对象像素的像素信号(Q为整数)。因此，可认为对对象像素进行的模糊处理中的滤波器尺寸越大，对象像素的模糊程度变得越大。
根据通过模糊处理部69进行的上述模糊处理，在对象像素接近于焦点已对准的状态的情况下，只利用离对象像素非常近、例如与该对象像素相邻的像素的像素值来实施滤波处理。因此，该对象像素的模糊程度具有变小的倾向。另外，在对象像素接近于焦点未对准的状态的情况下，不仅是离该对象像素非常近的像素，也利用与对象像素具有一定距离的位置上的像素的像素值来实施滤波处理。因此，该对象像素的模糊程度具有变大的倾向。即，针对接近于焦点已对准的状态的像素，执行针对输入图像的模糊处理，以便模糊程度变小；并且针对接近于焦点未对准的状态的像素，执行针对输入图像的模糊处理，以便模糊程度变大。其结果是，能更加有效地生成使焦点已对准的被摄体得到强调的图像。
(模糊处理例7B)
对模糊处理例7B进行说明。模糊处理部69根据在模糊滤波器的模糊处理中所使用的像素的聚焦程度，对该模糊滤波器实施掩模处理，并生成掩模处理后的模糊滤波器作为校正模糊滤波器。模糊处理部69使用该校正模糊滤波器，对输入图像实施模糊处理。当前，模糊处理部69使用滤波器尺寸5×5的模糊滤波器。
图21(a)表示滤波器尺寸5×5的模糊滤波器。滤波器尺寸5×5的滤波器用5行5列的行列表示。因此，模糊滤波器是由25个要素排列构成。将构成模糊滤波器的25个要素分别称为模糊滤波器要素(不过，有时也只称为滤波器要素)。在图21(a)中，a～y表示模糊滤波器要素。各模糊滤波器要素具有规定的滤波器系数。在图21(b)中，Ca～Cy分别是模糊滤波器要素a～y所具有的滤波器系数。并且，有时会将模糊滤波器要素的滤波器系数Ca～Cy统一记载为模糊滤波器的滤波器系数。在此，成为使用模糊滤波器的模糊处理对象的输入图像中的对象像素，是与模糊滤波器要素m对应的像素。模糊滤波器要素m位于模糊滤波器的中心。
模糊处理部69根据对象像素(与模糊滤波器要素m对应的像素)的聚焦程度和与各模糊滤波器要素(除了模糊滤波器要素m)对应的像素的聚焦程度，生成用于对模糊滤波器实施掩模处理的掩模滤波器。即，根据对象像素的聚焦程度和各非对象像素的聚焦程度来生成掩模滤波器。在此，由于是将模糊滤波器的滤波器尺寸假定为5×5，因此，非对象像素的个数是24个。即，非对象像素是指：在位于以对象像素为中心的5×5像素的图像区域内的共计25个像素中的除了对象像素以外的像素。生成的掩模滤波器的滤波器尺寸与模糊滤波器的滤波器尺寸相同。在此，关于掩模滤波器的掩模滤波器要素以及掩模滤波器的滤波器系数的用语的含义与模糊滤波器的情况相同。接下来，模糊处理部69通过将模糊滤波器的滤波器系数与掩模滤波器的滤波器系数相乘，从而生成校正模糊滤波器。此时，相互对应的滤波器系数被相乘。即，例如，将与对象像素对应的滤波器系数Cm与位于掩模滤波器的中心的掩模滤波器要素的滤波器系数相乘，其相乘的结果被代入位于校正模糊滤波器的中心的要素的滤波器系数。
将模糊滤波器要素a～y作为第1～第25的模糊滤波器要素，用符号FD[i]表示与第i模糊滤波器要素对应的像素的聚焦程度(i为整数)。模糊处理部69例如根据以下的规则来生成掩模滤波器。将比事先规定了对象像素的聚焦程度的阈值TH1大的情况称为情况C[1]，将对象像素的聚焦程度在阈值TH1以下的情况称为情况C[2]。
在情况C[1]中，针对每个掩模滤波器要素，可根据规则[1-1]以及[1-2]来设定掩模滤波器要素的滤波器系数，在情况C[2]中，针对每个掩模滤波器要素，可根据规则[2-1]以及[2-2]来设定掩模滤波器要素的滤波器系数。
规则[1-1]是：在“TH1＜FD[i]≤1”成立时，将与第i模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为1的规则。
规则[1-2]是：在“0≤FD[i]≤TH1”成立时，将与第i模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为0的规则。
规则[2-1]是：在“TH1＜FD[i]≤1”成立时，将与第i模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为0的规则。
规则[2-2]是：在“0≤FD[i]≤TH1”成立时，将与第i模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为1的规则。
图22是用于说明通过模糊处理部69进行的针对输入图像200的模糊处理的图。在输入图像200中，焦点与人物201已对准，另一方面，焦点与人物202以及203未对准。模糊处理部69使模糊滤波器的位置朝水平方向以及垂直方向移动1个像素，并在各位置上生成掩模滤波器。然后，根据模糊滤波器以及所生成的掩模滤波器来生成校正模糊滤波器，通过该校正模糊滤波器，对对象像素实施模糊处理。
在模糊滤波器处于位置651的情况下(例如，模糊滤波器的中心处于位置651的情况下)，对模糊处理部69如何实施模糊处理进行说明。在模糊滤波器处于位置651的情况下，与模糊滤波器要素m对应的像素是焦点已对准的人物201的脸部的一部分的像素，将与模糊滤波器要素m对应的像素的聚焦程度设为大于TH1且在1以下。另外，与模糊滤波器要素a、b、c、f、g、k、l、p、q、u、v以及w对应的像素的各自的聚焦程度为0以上且在TH1以下，与模糊滤波器要素d、e、h、i、j、m、n、o、r、s、t、x以及y对应的像素的各自的聚焦程度为大于TH1且在1以下。
在这种情况下，模糊处理部69按照规则[1-2]，使与模糊滤波器要素a、b、c、f、g、k、l、p、q、u、v以及w对应的掩模滤波器要素的滤波器系数为0，并且，按照规则[1-1]，使与模糊滤波器要素d、e、h、i、j、m、n、o、r、s、t、x以及y对应的掩模滤波器要素的滤波器系数为1，由此，生成图23(a)所示的掩模滤波器。如图23(b)所示，模糊处理部69将模糊滤波器的滤波器系数和掩模滤波器的滤波器系数相乘，生成校正模糊滤波器。模糊处理部69使用所生成的校正模糊滤波器，对位置651中的对象像素(输入图像200的对象像素)实施模糊处理。即，模糊处理部69在对聚焦程度为TH1以上的对象像素实施模糊处理的情况下，只使用聚焦程度为TH1以上的像素的像素值来实施模糊处理。由此，在针对焦点已对准的对象像素的模糊处理中，可减轻由于混杂焦点未对准的像素的颜色而引起的颜色浸透。
在模糊滤波器处于位置652的情况下(例如，在模糊滤波器的中心处于位置652的情况下)，与模糊滤波器要素m对应的像素是焦点未对准的人物202的身体的一部分的像素，将与模糊滤波器要素m对应的像素的聚焦程度设为0以上且在TH1以下。另外，与模糊滤波器要素a、f、g、k、l、p、q、u对应的像素的各自的聚焦程度大于TH1且在1以下，与模糊滤波器要素b、c、d、e、h、i、j、m、n、o、r、s、t、v、w、x以及y对应的像素的各自的聚焦程度设为0以上且在TH1以下。
此时，模糊处理部69按照规则[2-1]，使与模糊滤波器要素a，f、g、k、l、p、q以及u对应的掩模滤波器要素的滤波器系数为0，并且，按照规则[2-2]，使与模糊滤波器要素b、c、d、e、h、i、j、m、n、o、r、s、t、v、w、x以及y对应的掩模滤波器要素的滤波器系数为1，由此，生成图24(a)所示的掩模滤波器。如图24(b)所示，模糊处理部69将模糊滤波器的滤波器系数和掩模滤波器的滤波器系数相乘，生成校正模糊滤波器。模糊处理部69使用生成的校正模糊滤波器，对位置652中的对象像素(输入图像200的对象像素)实施模糊处理。即，模糊处理部69在对聚焦程度为比TH1小的对象像素实施模糊处理的情况下，只使用聚焦程度为小于TH1的像素的像素值来实施模糊处理。由此，在针对焦点未对准的对象像素的模糊处理中，可以减轻由于混杂焦点对准的像素的颜色而引起的颜色浸透。
(模糊处理例7C)
对模糊处理例7C进行说明。模糊处理部69和模糊处理例7B相同，根据在用模糊滤波器进行的模糊处理中使用的像素的聚焦程度，对该模糊滤波器实施掩模处理，并生成校正模糊滤波器。然后，使用该校正模糊滤波器对输入图像实施模糊处理。以下，对与模糊处理例7B的不同点进行说明。
模糊处理部69通过将聚焦程度可取的数值范围、即0.0以上且1.0以下的范围，用事先规定的规定范围进行划分，从而细分为3个以上的小范围。然后，根据对象像素(与模糊滤波器要素m对应的像素)的聚焦程度以及与各模糊滤波器要素(除了模糊滤波器要素m)对应的像素的聚焦程度属于被细分的小范围中的哪一个，来生成掩模滤波器。接下来，根据模糊滤波器和生成的掩模滤波器生成校正模糊滤波器，使用该校正模糊滤波器对对象像素实施模糊处理。
模糊处理部69能使用例如满足“0＜TH1＜TH2＜1”的事先规定的阈值TH1以及TH2，将聚焦程度可取的数值范围细分为3个小范围，并且能按照以下的规则，生成掩模滤波器。将对象像素的聚焦程度大于阈值TH1且在阈值TH2以下的情况称为情况C[3]；将对象像素的聚焦程度大于阈值TH2且在1以下的情况称为情况C[4]；将对象像素的聚焦程度为0以上且在阈值TH1以下的情况称为情况C[5]。
在情况C[3]中，针对各掩模滤波器要素，能按照[3-1]、[3-2]以及[3-3]设定掩模滤波器要素的滤波器系数；在情况C[4]中，针对各掩模滤波器要素，能按照[4-1]、[4-2]以及[4-3]设定掩模滤波器要素的滤波器系数；在情况C[5]中，针对各掩模滤波器要素，能按照[5-1]、[5-2]以及[5-3]设定掩模滤波器要素的滤波器系数；
规则[3-1]是：在“TH2＜FD[i]≤1”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为0的规则。
规则[3-2]是：在“TH1＜FD[i]≤TH2”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为1的规则。
规则[3-3]是：在“0≤FD[i]≤TH1”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为0的规则。
规则[4-1]是：在“TH2＜FD[i]≤1”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为1的规则。
规则[4-2]是：在“TH1＜FD[i]≤TH2”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为0的规则。
规则[4-3]是：在“0≤FD[i]≤TH1”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为0的规则。
规则[5-1]是：在“TH2＜FD[i]≤1”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为0的规则。
规则[5-2]是：在“TH1＜FD[i]≤TH2”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为0的规则。
规则[5-3]是：在“0≤FD[i]≤TH1”成立时，将与第i的模糊滤波器要素对应的掩模滤波器要素的滤波器系数设为1的规则。
图25是用于说明通过模糊处理部69进行的模糊处理的图。在图25的输入图像300中，人物301由脸部分301a、身体部分301b、及手臂部分301c构成。人物301穿着蓝色的衣服。因此，虽然不能通过图25看出，但是身体部分301b以及手臂部分301c是蓝色。另外，在输入图像300中，方向盘302为红色，背景303为绿色。背景303是指整个输入图像300内的人物301以及方向盘302以外的部分。
在输入图像300中，焦点已对准方向盘302以及手臂部分301c，方向盘302以及手臂部分301c的像素的聚焦程度大于TH2。另外，人物301的身体部分301b的像素的聚焦程度大于TH1且在TH2以下，背景303的像素的聚焦程度在0以上且在TH1以下。以下，在模糊滤波器处于位置661上的情况下(例如，在模糊滤波器的中心处于位置661上的情况下)，对模糊处理部69如何实施模糊处理进行说明。
在图25中，模糊处理的对象像素是与模糊滤波器的滤波器要素m对应的像素。该对象像素是存在于方向盘302内的缝隙之间的人物301的身体301b的一部分的像素。因此，该对象像素的聚焦程度如上所述，大于TH1且在TH2以下。当前，与滤波器要素d、g、k、m以及q对应的像素的各自的聚焦程度大于TH1且在TH2以下。
另外，与滤波器要素a、b、c、f、h、i、l、n、p、r、s、u、v以及w对应的像素的各自的聚焦程度大于TH2且在1以下。
另外，与滤波器要素e、j、o、t、x以及y对应的像素的各自的聚焦程度为0以上且在TH1以下。
此时，模糊处理部69根据规则[3-1]，将与模糊滤波器要素a、b、c、f、h、i、l、n、p、r、s、u、v以及w对应的掩模滤波器要素的滤波器系数设为0，并且，根据规则[3-2]，将与模糊滤波器要素d、g、k、m以及q对应的掩模滤波器要素的滤波器系数设为1，而且，根据规则[3-3]，将与模糊滤波器要素e、j、o、t、x以及y对应的掩模滤波器要素的滤波器系数设为0，由此，生成图26(a)所示的掩模滤波器。模糊处理部69如图26(b)所示，将模糊滤波器的滤波器系数和掩模滤波器的滤波器系数相乘，生成校正模糊滤波器。模糊处理部69使用生成的校正模糊滤波器，对位置661的对象像素(输入图像300的对象像素)实施模糊处理。
根据使用上述校正模糊滤波器的模糊处理，仅使用聚焦程度与对象像素在相同范围内的像素的像素值(仅使用属于与对象像素的聚焦程度所属的小范围相同的小范围的聚焦程度的像素的像素值)，实施模糊处理，因此，能减轻由于混杂聚焦程度不同的像素的像素值而引起的颜色浸透。因此，在输入图像300中，在蓝色的对象像素(在方向盘302内的缝隙之间存在的蓝色的身体301b的一部分的像素)的模糊处理中，不使用红色或绿色的比例多的像素，而使用蓝色的比例多的像素，因此，能在模糊处理后的对象像素中减轻红色或绿色的混杂。
(模糊处理例7D)
对模糊处理例7D进行说明。与模糊处理例7B以及7C相同，模糊处理部69根据在模糊滤波器进行的模糊处理中使用的像素的聚焦程度，对该模糊滤波器实施掩模处理，生成校正模糊滤波器。然后，使用该校正模糊滤波器，对输入图像实施模糊处理。以下，对与模糊处理例7B以及7C的不同点进行说明。
例如，在已对准焦点的被摄体向水平方向移动的场景的图像被输入的情况下，模糊处理部69实施强调该移动的速度感的产生所谓的摇拍效果的模糊处理。
图27(a)～(d)是用于说明通过模糊处理部69进行的产生摇拍效果的模糊处理的图。在图27(a)中，在输入图像400中，焦点与人物401已对准。输入图像400是通过对人物401沿着水平方向从左侧向右侧移动的场景进行拍摄而获得的图像。
模糊处理部69随着模糊滤波器的位置向与人物401的水平移动方向(从左侧向右侧的方向)相反的方向(从右侧向左侧的方向)前进，在模糊处理中所使用的模糊滤波器的最末尾列中追加新的模糊滤波器要素的列，由此，生成新的模糊滤波器。并且，模糊滤波器的最末尾列是指在将与人物401的水平移动方向相反的方向作为前进方向的情况下的最末尾列。
如图27(b)所示，模糊处理部69在位置671处实施针对对象像素(与滤波器要素m对应的像素)的模糊处理时使用的模糊滤波器402的滤波器尺寸为5×5。图27(c)的位置672是从位置671向左侧移动1像素份后的位置，该移动可认为是相当于使模糊滤波器沿着水平方向从右侧向左侧前进。图27(d)的位置673是从位置672再向左侧移动1像素份后的位置，该移动可认为是相当于使模糊滤波器沿着水平方向再从右侧向左侧前进。
如图27(c)所示，在从图27(b)的状态向左侧移动1个像素的位置672处对对象像素(与滤波器要素m对应的像素)实施模糊处理的情况下，模糊处理部69在模糊滤波器402的右端的列(即，由模糊滤波器要素e、j、o、t以及y构成的列)中追加由模糊滤波器要素z1、z2、z3、z4以及z5构成的列，由此，生成滤波器尺寸为5×6的模糊滤波器403。然后，生成对模糊滤波器403实施了掩模处理的校正模糊滤波器，并使用校正模糊滤波器来实施模糊处理。
然后，如图27(d)所示，在从图27(c)的状态向左侧移动1个像素的位置673上对对象像素(与滤波器要素m对应的像素)实施模糊处理的情况下，模糊处理部69在模糊滤波器403的右端的列(即，由模糊滤波器要素z1、z2、z3、z4以及z5构成的列)中追加由模糊滤波器要素z6、z7、z8、z9以及z10构成的列，由此，生成滤波器尺寸为5×7的模糊滤波器404。然后，生成对模糊滤波器404实施了掩模处理的校正模糊滤波器，并使用校正模糊滤波器来实施模糊处理。
图28是表示在图27(a)的输入图像400上通过实施上述的模糊处理而生成的模糊图像。
如上所述，在针对焦点已对准的特定被摄体在水平方向移动的场景的输入图像实施模糊处理的情况下，在对朝向与特定被摄体的水平移动方向相反的方向排列的像素实施模糊处理时，模糊处理部69能随着向该相反方向前进而使在模糊处理中使用的模糊滤波器的滤波器尺寸在特定被摄体的水平移动方向上变大(伸展)。由此，能生成对移动的特定被摄体的速度感进行了强调的模糊图像。
(模糊处理例7E)
对模糊处理例7E进行说明。与模糊处理例7B以及7C相同，模糊处理部69根据在模糊滤波器进行的模糊处理中使用的像素的聚焦程度，对该模糊滤波器实施掩模处理，生成校正模糊滤波器。然后，使用该校正模糊滤波器对输入图像实施模糊处理。以下，对与模糊处理例7B以及7C的不同点进行说明。
例如，当摄影时，在已对准焦点的被摄体沿着摄影方向向摄像装置1移动的场景的图像为输入图像的情况下，模糊处理部69实施对该移动的速度感进行强调的产生所谓的变焦摇拍效果的模糊处理。
图29是用于说明通过模糊处理部69进行的产生变焦摇拍效果的模糊处理的图。在图29中，输入图像500是在摄影时人物501沿着摄影方向向摄像装置1移动的场景的摄影图像。在输入图像500中，焦点已对准人物501。
模糊处理部69在对人物501以外的被摄体实施模糊处理的情况下，导出人物501的重心位置，随着远离该重心位置，使模糊处理中使用的模糊滤波器的尺寸变大。即，在针对判断为焦点未对准的像素实施模糊处理的情况下，导出判断为焦点已对准的像素群的重心，随着远离该重心，使模糊处理中所使用的模糊滤波器的尺寸变大。
在图29中，模糊处理部69在位置681处实施针对对象像素(与滤波器要素m对应的像素)的模糊处理时使用的模糊滤波器502的滤波器尺寸为5×5。并且，与模糊滤波器502的模糊滤波器要素m对应的像素是人物501的重心。
在图29中，位置682的对象像素(与滤波器要素m对应的像素)是被判断为焦点未对准的像素。在位置682处实施针对对象像素的模糊处理时，模糊处理部69将使用的模糊滤波器503的滤波器尺寸设为7×7。另外，位置683的对象像素(与滤波器要素m对应的像素)是被判断为焦点未对准的像素，位置683处的对象像素与位置682处的对象像素相比更远离人物501的重心。因此，在位置683处实施针对对象像素的模糊处理时，模糊处理部69将模糊滤波器504的滤波器尺寸设为9×9。
根据这种模糊处理，关于被判断为焦点未对准的像素，其具有随着离已对准焦点的被摄体的重心越远，模糊处理的模糊程度变得越大的倾向。由此，能生成使已对准焦点的被摄体沿着摄影方向向摄像装置接近时的速度感得到强调的模糊图像。
(第8实施例)
对第8实施例进行说明。图30是说明图像处理部7的强调图像生成处理的第8实施例的图。图30所示的各部位能设置在图像处理部7中。在图30中，与图17标注相同编号的部位是具有与第6实施例的情况相同的功能以及动作的部位，因此，省略其功能以及动作的说明。
在摄影对象中包含人物的情况下，使焦点对准该人物的脸部并将该人物的脸部拍摄得比较大的摄影图像，可认为是摄影者将该人物作为主要被摄体而拍摄的图像。对于这种摄影图像，可认为：针对聚焦程度低的背景图像(除了主要被摄体之外的其他摄影对象的摄影图像)而实施模糊程度更大的模糊处理，这是按照摄影者的意愿。
另一方面，虽然摄影对象中包括人物，但是，景深深度深的使焦点对准摄影对象的大致整体并且该人物的脸部被拍摄的比较小的摄影图像，可认为是摄影者将包括该人物的摄影对象整体作为主要被摄体而拍摄的图像。对于这种拍摄图像，可认为：即使是聚焦程度低的部分，也实施模糊程度更小的模糊处理或不实施模糊处理，这是按照摄影者的意愿。
在图30中，脸部检测处理部70从输入图像检测出被认为是关注被摄体的人物的脸部图像区域，并且根据占检测出的脸部图像区域的输入图像区域整体的比例PRFACE，来调整后面要提到的模糊处理部71的模糊程度。占脸部图像区域的输入图像区域整体的比例PRFACE，例如能通过计算输入图像的所有像素数与脸部图像区域的像素数的比例而计算出。即例如，能求出脸部图像区域的像素数与输入图像的所有像素数之比作为比例PRFACE。输入图像区域整体是指输入图像的所有图像区域。
脸部图像区域占输入图像区域整体的比例PRFACE如果在例如30％以上，则可认为摄影者想拍摄以该人物作为主要被摄体的所谓的肖像(人物画)。另一方面，如果脸部图像区域占输入图像区域整体的比例PRFACE小于规定的基准比例，例如小于30％，则可认为摄影者想拍摄以摄影对象整体为主要被摄体的所谓的景色(风景画)。
因此，如果脸部图像区域占输入图像区域整体的比例PRFACE为事先规定的基准比例(换句话说基准值)PRREF以上，则脸部检测处理部70使得后面要提到的模糊处理部71的模糊程度变得比较大，以使人物看上去更加被强调突出。另一方面，在脸部图像区域占输入图像区域整体的比例PRFACE不到基准比例PRREF的情况下，使后面要提到的模糊处理部71的模糊程度变得比较小，以使摄影对象整体的模糊程度变小或完全消失。此时，可以使模糊程度小到为零。更具体而言，当比例PRFACE不到基准比例PRREF时，与比例PRFACE在基准比例PRREF以上时相比，减小模糊程度，或使模糊程度为零。通过该处理，在摄影者将人物作为主要被摄体进行摄影的情况下，能获得人物更加被强调的摄影图像。另一方面，在将摄影对象整体作为主要被摄体进行摄影的情况下，能获得加深景深深度摄影的原摄影图像、即与以焦点对准摄影对象整体的方式拍摄的原摄影图像大致相等的图像。
在从输入图像中检测出多个人物脸部的情况下，脸部检测处理部70从上述多个人物脸部中选择符合事先设定的条件的人物脸部，并根据所选择的人物的脸部的脸部图像区域来求出比例PRFACE。上述选择的方式如下：例如，选择脸部图像区域最大的人物的脸部、从输入图像的中心选择位于最近的位置处的人物脸部、或选择从扩展处理部45输出的校正边缘差分比的平均为最高的人物的脸部等。
在图30中，模糊处理部71对输入图像实施模糊处理，将模糊处理后的输入图像作为模糊图像而输出。作为模糊滤波器，模糊处理部71可采用例如使相邻的像素信号的浓淡变化变得平滑的平均化滤波器、或保留图像信号中所包含的空间频率分量中的低频分量并除去高频分量的LPF(Low Pass Filter)。作为上述平均化滤波器或LPF，可采用例如CG-ARTS协会发行的文献“数字图像处理(digital image processing)”(2007年3月1日发行，第2版)中的108页到110页以及131页到133页记载的滤波器。
模糊处理部71可通过增大模糊滤波器的滤波器尺寸来增大模糊程度，相反，可通过减小滤波器尺寸来减小模糊程度。另外，在作为空间滤波器的模糊滤波器中，将1设定为针对对象像素的滤波器系数，并且将0设定为针对对象像素以外的各像素的滤波器系数，由此能使模糊程度为0。另外，例如，在将模糊滤波器的滤波器尺寸固定为7×7的情况下，通过随着远离对象像素而增大滤波器系数，能增大模糊程度；相反，通过随着接近对象像素而增大滤波器系数，能减小模糊程度。
如果表示脸部图像区域占输入图像区域整体的比例PRFACE为规定的基准比例PRREF以上的信号被脸部检测处理部70输入，则模糊处理部71例如将模糊滤波器的滤波器尺寸设定为7×7。另一方面，如果对脸部图像区域占输入图像区域整体的比例PRFACE小于规定的基准比例PRREF进行表示的信号、或对未检测出脸部图像区域进行表示的信号被脸部检测处理部70输入，则将模糊滤波器的滤波器尺寸设定为3×3，或者，在模糊滤波器中，将1设定为针对对象像素的滤波器系数，并将0设定为所有的针对对象像素以外的各像素的滤波器系数。
并且，在第1实施例的图5、第2实施例的图10、第3实施例的图12、第4实施例的图13以及第5实施例的图15中，当然可采用图30中的变换表67、脸部检测处理部70、模糊处理部71以及加权加法运算处理部68来代替变换表46、模糊处理部47以及边缘强调处理部48。
在对第2、第4或第5实施例进行变形的情况下，在变换表67中输入频率分量比，图18中的变换表67的函数的横轴成为频率分量比。在对第3实施例进行变形的情况下，在变换表67中输入水平频率分量比或垂直频率分量比，图18中的变换表67的函数的横轴成为水平频率分量比或垂直频率分量比。
对脸部检测处理部70进行的脸部检测处理进行说明。在图30中，在脸部检测处理部70中输入由Y、U以及V信号构成的输入图像的图像信号。脸部检测处理部70根据输入图像的图像信号，从输入图像中检测出人物脸部，并提取包括检测出的脸部的脸部区域。脸部区域和上述脸部图像区域是指相同的区域。作为检测出图像中所包含的脸部的方法有各种各样，脸部检测处理部70可采用任意的方法。例如，即可以如JP特开2000-105819号公报中所记载的方法那样，通过从输入图像中提取皮肤颜色区域来检测出脸部(脸部区域)；也可以使用JP特开2006-211139号公报或JP特开2006-72770号公报中记载的方法来检测出脸部(脸部区域)。
典型地，例如，对在输入图像内设定的注目区域的图像和具有规定的图像尺寸的基准脸部图像进行对比，判定两图像的类似程度，根据该类似程度来检测出注目区域中是否包括脸部(注目区域是否是脸部区域)。在输入图像中，注目区域被一个像素一个像素地在左右方向或上下方向上移动。并且，对移动后的注目区域的图像和基准脸部图像进行对比，再次判定两图像的类似程度，进行同样的检测。如上所述，例如，一边从输入图像的左上到右下方向一个像素一个像素地移动，一边更新设定注目区域。另外，以一定比例缩小输入图像，对于缩小后的图像进行同样的脸部检测处理。通过反复进行这种处理能从输入图像中检测出任意大小的脸部。这种脸部检测方法详细记载于JP特开2007-265390号公报中。
在第8实施例中，虽然对着眼于人物的脸部图像的动作例进行了说明，但不局限于人物的脸部图像，对动物的脸部图像也能实现与上述相同的动作。
(第9实施例)
对第9实施例进行说明。在与第1实施例对应的图5、与第2实施例对应的图10、与第3实施例对应的图12、与第4实施例对应的图13以及与第5实施例对应的图15中，扩展处理部45不仅对变换表46，也可以对模糊处理部47输出校正边缘差分比。在这种情况下，模糊处理部47对具有规定值以上的值的校正边缘差分比的个数进行计数。模糊处理部47在相对于输入图像的所有像素数的计数值的比例为规定比例以上的情况下，可以在将根据变换表46的输出的模糊程度变成更大之后实施模糊处理。相反，在相对于输入图像的所有像素数的计数值的比例小于规定比例的情况下，也可以在将根据变换表46的输出的模糊程度变得更小之后、或将该模糊程度变成0之后实施模糊处理。
(第10实施例)
对第10实施例进行说明。在与第6实施例对应的图17中，扩展处理部45不仅对变换表67，也可以对模糊处理部66输出校正边缘差分比。在这种情况下，模糊处理部66对具有规定值以上的值的校正边缘差分比的个数进行计数。模糊处理部66在相对于输入图像的所有像素数的计数值的比例为规定比例以上的情况下，能在将模糊程度变大之后实施模糊处理。相反，在不到规定比例的情况下，能实施将模糊程度变小、或将模糊程度设为0的模糊处理。
根据第9实施例以及第10实施例，关于具有规定值以上的值的校正边缘差分比的个数较多的输入图像、即焦点已对准的被摄体较大的输入图像，能获得焦点未对准的背景图像更模糊的图像作为输出图像。另外，关于具有规定值以上的值的校正边缘差分比的个数较少的输入图像、即焦点已对准的被摄体较小的输入图像，能获得接近于原输入图像的图像作为输出图像。
如上所述，在本申请发明中，关于作为多个小区域的集合体的输入图像，能针对每个小区域导出聚焦程度，对每个小区域根据聚焦程度来降低小区域的图像信号。具体而言，例如，可以聚焦程度越小越降低对应的图像信号的高频分量，或者，也可以聚焦程度越小越降低作为亮度信号的Y信号或越降低也称为色度信号的U以及V信号。某一小区域的聚焦程度可认为是表示该小区域的图像信号与焦点已对准的小区域的图像信号相比偏离到什么程度。另外，如上所述，各自的小区域可认为是由1个或多个像素形成。
通过这种处理，例如，在使输入图像100的背景(包括建筑物102)模糊的同时，人物101得到强调，其结果是，摄像装置1的摄影者能获得突出了人物101的具有“模糊感”的强调图像。
另外，例如，可按如下方式考虑。在图30中，包括脸部检测处理部(脸部区域检测部)70以及模糊处理部71的部位发挥从作为第1摄影图像的输入图像生成作为第2摄影图像的模糊图像的第2摄影图像生成部的功能。通过摄影获取输入图像的摄像部可以认为包括镜头部3以及图像传感器2。作为导出输入图像的各小区域中的聚焦程度的聚焦程度导出部的构成，上面虽然描述了各种构成，但是，例如在图30的例中，可以认为提取部42、提取部43以及计算部44包括在聚焦程度导出部的构成要素中。另外，例如在上述的各实施例中，也可以认为向扩展处理部45输入的信息(例如，扩展处理前的边缘差分比或频率分量比)或从扩展处理部45输出的信息(例如，扩展处理后的边缘差分比或频率分量比)表示聚焦程度。加权加法运算处理部68是通过将输入图像的图像信号与模糊图像的图像信号混合而生成输出图像的图像信号的合成处理部的一种。该混合式输入图像中的小区域的图像信号与模糊图像中的对应的小区域的图像信号的混合，是针对每个输入图像的小区域进行的，并且是按照对应的聚焦程度进行的。即，合成处理部针对每个小区域执行根据聚焦程度将输入图像的图像信号与模糊图像的图像信号混合的合成处理，由此，能在每个小区域生成输出图像的图像信号。输出图像能记录在作为记录部的外部存储器22中。

Claims (6)

1.一种图像处理装置，具有：
第2摄影图像生成部，其通过对由多个小区域构成的第1摄影图像实施模糊处理，而生成由多个第2小区域构成的第2摄影图像；
聚焦度导出部，其导出上述第1摄影图像的各小区域的聚焦程度；和
合成处理部，其将与上述第1摄影图像的各小区域对应的上述第2摄影图像的各第2小区域与上述第1摄影图像的各小区域进行合成，
其中，由上述聚焦度导出部导出的各小区域的聚焦程度越小，上述合成处理部越增大上述合成中的上述第2摄影图像的混合比例，
上述第2摄影图像生成部具有：
脸部区域检测部，其从上述第1摄影图像中检测脸部图像区域；和
模糊处理部，其根据检测出的脸部图像区域，通过对上述第1摄影图像实施上述模糊处理，而生成上述第2摄影图像。
2.根据权利要求1所述的图像处理装置，其特征为，
上述模糊处理部，
使在上述检测出的脸部图像区域相对于上述第1摄影图像区域的比例为规定比例以上的情况下与在小于上述规定比例的情况下，上述模糊处理中的模糊程度不同，
使在上述检测出的脸部图像区域相对于上述第1摄影图像区域的比例为上述规定比例以上的情况下的模糊程度大于在上述检测出的脸部图像区域相对于上述第1摄影图像区域的比例小于上述规定比例的情况下的模糊程度。
3.根据权利要求2所述的图像处理装置，其特征为，
在上述检测出的脸部图像区域相对于上述第1摄影图像区域的比例小于上述规定比例的情况下的模糊程度包括0。
4.根据权利要求1所述的图像处理装置，其特征为，
上述聚焦度导出部根据上述各小区域中的亮度信号的变化模式来导出上述各小区域的聚焦程度。
5.根据权利要求1所述的图像处理装置，其特征为，
上述聚焦度导出部根据上述各小区域中的亮度信号所包含的频率分量来导出上述各小区域的聚焦程度。
6.一种摄像装置，具有：
通过摄影获取由多个小区域构成的第1摄影图像的摄影部；
权利要求1所述的图像处理装置；和
记录由上述图像处理装置而生成的输出图像的记录部。
CN2010105980031A 2009-12-17 2010-12-15 图像处理装置以及摄像装置 Pending CN102104728A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-286501 2009-12-17
JP2009286501A JP2011130169A (ja) 2009-12-17 2009-12-17 画像処理装置及び撮影装置

Publications (1)

Publication Number Publication Date
CN102104728A true CN102104728A (zh) 2011-06-22

Family

ID=44151214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105980031A Pending CN102104728A (zh) 2009-12-17 2010-12-15 图像处理装置以及摄像装置

Country Status (3)

Country Link
US (1) US8526761B2 (zh)
JP (1) JP2011130169A (zh)
CN (1) CN102104728A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013107037A1 (en) * 2012-01-20 2013-07-25 Thomson Licensing Blur measurement
CN103238168A (zh) * 2010-12-03 2013-08-07 夏普株式会社 图像处理装置、图像处理方法及图像处理程序
CN105516586A (zh) * 2015-12-01 2016-04-20 小米科技有限责任公司 图片拍摄方法、装置及系统
US9521311B2 (en) 2013-03-28 2016-12-13 Huawei Technologies Co., Ltd. Quick automatic focusing method and image acquisition apparatus
CN106454061A (zh) * 2015-08-04 2017-02-22 纬创资通股份有限公司 电子装置及影像处理方法
CN109658339A (zh) * 2017-10-12 2019-04-19 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN109996063A (zh) * 2019-04-04 2019-07-09 广东省安心加科技有限公司 视频图像花屏检测方法、装置、计算机设备和存储介质
CN111340721A (zh) * 2020-02-18 2020-06-26 国网电子商务有限公司 一种像素的修正方法、装置、设备及可读存储介质
CN111768221A (zh) * 2019-11-10 2020-10-13 尤小东 基于猪体种类检测的价格大数据评估系统

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212802B1 (ko) 2011-03-31 2012-12-14 한국과학기술연구원 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치
JP5760727B2 (ja) * 2011-06-14 2015-08-12 リコーイメージング株式会社 画像処理装置および画像処理方法
WO2013031238A1 (ja) 2011-09-02 2013-03-07 株式会社ニコン 合焦評価装置、撮像装置およびプログラム
US9113059B2 (en) * 2011-11-30 2015-08-18 Canon Kabushiki Kaisha Image pickup apparatus and image region discrimination method
US8792013B2 (en) 2012-04-23 2014-07-29 Qualcomm Technologies, Inc. Method for determining the extent of a foreground object in an image
JP5749406B2 (ja) * 2012-08-23 2015-07-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP2014048714A (ja) * 2012-08-29 2014-03-17 Canon Inc 画像処理装置及び画像処理方法
JP5789341B2 (ja) * 2012-09-18 2015-10-07 富士フイルム株式会社 静止画表示装置及びシステム並びに撮像装置
US8849064B2 (en) * 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
US9690986B1 (en) * 2013-03-15 2017-06-27 ArcaSearch Corporation Method for processing physical document images
US9712702B1 (en) 2013-03-15 2017-07-18 ArcaSearch Corporation Apparatus and method for imaging physical documents
JP5769768B2 (ja) * 2013-09-03 2015-08-26 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US9367939B2 (en) * 2013-10-22 2016-06-14 Nokia Technologies Oy Relevance based visual media item modification
US9374478B1 (en) * 2013-12-03 2016-06-21 Marvell International Ltd. Adaptive image sharpening
US9237277B1 (en) * 2014-06-06 2016-01-12 Google Inc. Accurate simulation of shallow depth of field using contrast detection
CN104219427A (zh) * 2014-08-21 2014-12-17 深圳市金立通信设备有限公司 一种摄像头安装方法
CN104219428B (zh) * 2014-08-21 2019-04-26 深圳市金立通信设备有限公司 一种摄像头安装装置
JP6598496B2 (ja) * 2015-04-22 2019-10-30 キヤノン株式会社 撮像装置及び信号処理方法
CN108334804B (zh) * 2017-01-20 2023-10-31 佳能株式会社 图像处理装置和方法以及图像处理系统
CN106791456A (zh) * 2017-03-31 2017-05-31 联想(北京)有限公司 一种拍照方法及电子设备
US10217195B1 (en) * 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
US10554890B1 (en) 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device
KR102597518B1 (ko) * 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
KR20220037018A (ko) * 2020-09-16 2022-03-24 삼성디스플레이 주식회사 표시 장치의 보상 데이터 생성 방법 및 표시 장치의 보상 데이터 생성 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195317A1 (en) * 2004-02-10 2005-09-08 Sony Corporation Image processing apparatus, and program for processing image
US20060098970A1 (en) * 2004-11-10 2006-05-11 Pentax Corporation Image signal processing unit and digital camera
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置
CN101548232A (zh) * 2006-06-29 2009-09-30 森纳拉科技有限责任公司 使用图像捕捉装置捕捉图像时提供背景虚化的方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3490910B2 (ja) 1998-09-28 2004-01-26 三洋電機株式会社 顔領域検出装置
JP2002300373A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像処理方法、画像処理装置、記録媒体及びプログラム
JP2004229002A (ja) * 2003-01-23 2004-08-12 Sony Corp 撮像装置
JP2006072770A (ja) 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
JP2006211139A (ja) 2005-01-26 2006-08-10 Sanyo Electric Co Ltd 撮像装置
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
JP4924430B2 (ja) * 2005-10-28 2012-04-25 株式会社ニコン 撮影装置、画像処理装置およびプログラム
JP4585456B2 (ja) * 2006-01-23 2010-11-24 株式会社東芝 ボケ変換装置
JP4540661B2 (ja) 2006-02-28 2010-09-08 三洋電機株式会社 物体検出装置
JP4207980B2 (ja) * 2006-06-09 2009-01-14 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2009031870A (ja) * 2007-07-24 2009-02-12 Seiko Epson Corp 被写体距離推定のための画像処理
JP4606486B2 (ja) * 2007-12-28 2011-01-05 三洋電機株式会社 画像処理装置および撮影装置
US8325268B2 (en) * 2007-12-28 2012-12-04 Sanyo Electric Co., Ltd. Image processing apparatus and photographing apparatus
JP4497211B2 (ja) * 2008-02-19 2010-07-07 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5183297B2 (ja) * 2008-05-19 2013-04-17 三洋電機株式会社 画像処理装置、撮像装置及び画像処理方法
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
JP2010166558A (ja) * 2008-12-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195317A1 (en) * 2004-02-10 2005-09-08 Sony Corporation Image processing apparatus, and program for processing image
US20060098970A1 (en) * 2004-11-10 2006-05-11 Pentax Corporation Image signal processing unit and digital camera
CN101548232A (zh) * 2006-06-29 2009-09-30 森纳拉科技有限责任公司 使用图像捕捉装置捕捉图像时提供背景虚化的方法和系统
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103238168A (zh) * 2010-12-03 2013-08-07 夏普株式会社 图像处理装置、图像处理方法及图像处理程序
US9070223B2 (en) 2010-12-03 2015-06-30 Sharp Kabushiki Kaisha Image processing device, image processing method, and image processing program
US9280813B2 (en) 2012-01-20 2016-03-08 Debing Liu Blur measurement
WO2013107037A1 (en) * 2012-01-20 2013-07-25 Thomson Licensing Blur measurement
US9521311B2 (en) 2013-03-28 2016-12-13 Huawei Technologies Co., Ltd. Quick automatic focusing method and image acquisition apparatus
CN106454061A (zh) * 2015-08-04 2017-02-22 纬创资通股份有限公司 电子装置及影像处理方法
CN106454061B (zh) * 2015-08-04 2019-03-08 纬创资通股份有限公司 电子装置及影像处理方法
CN105516586A (zh) * 2015-12-01 2016-04-20 小米科技有限责任公司 图片拍摄方法、装置及系统
CN109658339A (zh) * 2017-10-12 2019-04-19 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN109658339B (zh) * 2017-10-12 2023-12-08 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN109996063A (zh) * 2019-04-04 2019-07-09 广东省安心加科技有限公司 视频图像花屏检测方法、装置、计算机设备和存储介质
CN111768221A (zh) * 2019-11-10 2020-10-13 尤小东 基于猪体种类检测的价格大数据评估系统
CN111340721A (zh) * 2020-02-18 2020-06-26 国网电子商务有限公司 一种像素的修正方法、装置、设备及可读存储介质
CN111340721B (zh) * 2020-02-18 2021-02-12 国网电子商务有限公司 一种像素的修正方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
JP2011130169A (ja) 2011-06-30
US8526761B2 (en) 2013-09-03
US20110150349A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
CN102104728A (zh) 图像处理装置以及摄像装置
JP5321163B2 (ja) 撮像装置及び撮像方法
JP5187241B2 (ja) 撮像装置及び撮像方法
CN102045489B (zh) 图像处理装置以及图像处理方法
CN104519328B (zh) 图像处理设备、图像捕捉装置和图像处理方法
CN102405482B (zh) 图像选择与组合的方法与装置
CN103139476B (zh) 图像摄取装置及图像摄取装置的控制方法
CN101800858B (zh) 摄像设备及其控制方法
US20100271498A1 (en) System and method to selectively combine video frame image data
CN104284096B (zh) 基于像素强度分布的多目标自动曝光及增益控制的方法及系统
CN102045490B (zh) 图像处理装置以及图像处理方法
US20030007076A1 (en) Image-processing apparatus and image-quality control method
US8120658B2 (en) Hand jitter reduction system for cameras
CN105432068B (zh) 摄像装置、摄像方法及图像处理装置
CN101605208A (zh) 图像处理设备、成像设备、图像处理方法及程序
JP2010011441A (ja) 撮像装置及び画像再生装置
JP5612017B2 (ja) カメラの手ぶれ低減システム
CN101998053A (zh) 图像处理方法、图像处理设备和成像设备
WO2007063731A1 (ja) カメラシステム
CN104363434A (zh) 图像处理设备
CN110447223A (zh) 成像元件以及摄像装置
JP2003259389A (ja) 撮像装置
CN105516699B (zh) 图像传感器及其成像方法、成像装置和电子装置
CN110476414A (zh) 控制系统和图像传感器
JP2007158941A (ja) 被写体領域検出装置、撮像装置、被写体領域検出方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110622