CN102857686B - 图像处理装置，控制图像处理装置的方法 - Google Patents

图像处理装置，控制图像处理装置的方法 Download PDF

Info

Publication number
CN102857686B
CN102857686B CN201210209603.3A CN201210209603A CN102857686B CN 102857686 B CN102857686 B CN 102857686B CN 201210209603 A CN201210209603 A CN 201210209603A CN 102857686 B CN102857686 B CN 102857686B
Authority
CN
China
Prior art keywords
depth
image
subject
focus area
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210209603.3A
Other languages
English (en)
Other versions
CN102857686A (zh
Inventor
加纳夏纪
平泽康孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102857686A publication Critical patent/CN102857686A/zh
Application granted granted Critical
Publication of CN102857686B publication Critical patent/CN102857686B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及图像处理装置，控制图像处理装置的方法和程序。所述图像处理装置包括焦点区域设定部分，深度获取部分和模糊处理部分。焦点区域设定部分把多个区域中的每个区域设定成焦点区域，所述多个区域中的每个区域意图在被摄物体的拍摄图像中要保持焦点对准状态。深度获取部分获取与图像中的每个像素相关的被摄物体的深度。模糊处理部分把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。

Description

图像处理装置，控制图像处理装置的方法
技术领域
本公开涉及图像处理装置，控制图像处理装置的方法，和使计算机能够执行所述方法的程序。更具体地说，本公开涉及能够进行模糊处理的图像处理装置，控制图像处理装置的方法，和使计算机能够执行所述方法的程序。
背景技术
近年来，已广泛使用能够测量待拍摄对象的深度的摄像设备。测量深度的方法的例子包括离焦深度(DFD)法，立体匹配法等等。在DFD法中，分析图像中的被摄物体的模糊度，并根据模糊度和深度之间的关系，测量从摄像设备到被摄物体的深度。在立体匹配法中，从基准图像和参考图像中检测视差，根据视差和深度之间的关系，测量从摄像设备到被摄物体的深度。
已提出一种利用上述方法，测量从摄像设备到被摄物体的深度，并且在使主被摄物体保持焦点对准的状态下，按照深度对主被摄物体的背景进行模糊处理的摄像设备(例如，参见日本特开2003-37767号公报)。通过按照深度进行模糊处理，生成透视感增强的图像。这种模糊处理通常用于以肖像照片中的背景为衬托，清楚地表现人物。在装有受光面积小的摄像元件的摄像设备中，由于摄像元件的特性的缘故，拍摄模糊较小的图像，从而这种模糊处理通常用于增强图像的透视感。
发明内容
但是，在上述现有技术中，当两个以上的区域被设定成在模糊处理中保持焦点对准状态时(下面把所述区域称为“焦点区域”)，可能不能表现自然的透视感。例如，假定较近被摄物体和较远被摄物体的两 个区域被设定成焦点区域，并且使背景模糊。当按照沿着深度方向离较近被摄物体的距离来模糊背景时，未被模糊的较远被摄物体和模糊的背景之间的边界变得不自然。另一方面，当按照离较远被摄物体的距离来模糊背景时，未被模糊的较近被摄物体和模糊的背景之间的边界变得不自然。结果，当设定多个焦点区域时，存在不能表现自然的透视感的问题。
鉴于上述情况，做出了本公开。理想的是提供一种即使当设定多个焦点区域时，也能够生成表现更自然透视感的图像的技术。
按照本公开的一个实施例，提供一种图像处理装置，控制所述图像处理装置的方法，和使计算机能够执行所述方法的程序。图像处理装置包括焦点区域设定部分，用于把被摄物体的拍摄图像中要保持焦点对准（in focus）的多个区域中的每个区域设定成焦点区域，深度获取部分，用于与图像中的每个像素相关地获取被摄物体的深度，和模糊处理部分，用于把图像中的每个像素设定为对象像素（target pixel），并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。因此，能够按照对应于对象像素的深度和对应于多个焦点区域中的每一个的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。
在本公开的实施例中，焦点区域设定部分包括候选区域提取部分，用于提取将成为图像中的候选焦点区域的多个区域中的每一个，作为候选区域，和候选区域选择部分，用于选择提取的候选区域当中的多个候选区域，并把所述多个候选区域中的每一个设定为焦点区域。从而，在提取的候选区域中选择的多个候选区域中的每一个可被设定为焦点区域。
在本公开的实施例中，候选区域提取部分识别图像中的给定物体的拍摄区域，并提取该区域作为候选区域。于是，物体的拍摄区域可被提取成候选区域。
在本公开的实施例中，候选区域提取部分识别图像中的面部的拍摄区域，并提取该区域作为候选区域。结果，面部的拍摄区域可被提 取成候选区域。
在本公开的实施例中，候选区域提取部分包括构图决定部分，用于决定定义被摄物体在图像中的布置的构图，和候选区域提取处理部分，用于根据决定的构图，提取多个区域作为候选区域。从而，可根据决定的构图，提取候选区域。
在本公开的实施例中，焦点区域设定部分还包括优先级设定部分，用于对提取的候选区域设定候选区域的选择优先级，候选区域选择部分根据设定的优先级，选择候选区域。从而，能够根据设定的优先级，选择候选区域。
在本公开的实施例中，优先级设定部分登记给定被摄物体的拍摄图像，并根据登记的图像和候选区域之间的相似性，对候选区域设定优先级。从而，可根据登记的图像和候选区域之间的相似性，设定优先级。
在本公开的实施例中，优先级设定部分根据候选区域的面积设定优先级。因而，可根据候选区域的面积，设定优先级。
在本公开的实施例中，优先级设定部分根据与候选区域中的任意一个像素对应的深度设定优先级。从而，可根据与候选区域中的任意一个像素对应的深度，设定优先级。
在本公开的实施例中，当与候选区域中的任何一个像素对应的深度更接近获得的深度的最大值或最小值时，优先级设定部分把候选区域的优先级设定成更高。于是，当候选区域的深度更接近获得的深度的最大值或最小值时，候选区域的优先可级被设定成更高。
在本公开的实施例中，图像包括供获取深度之用的基准图像和参考图像。深度获取部分包括视差检测部分，用于检测基准图像中的任何一个像素，和参考图像中与基准图像中的所述像素对应的像素之间的距离，并把所述距离设定为视差，和深度生成部分，用于根据检测的视差与基准图像中的所述像素相关地生成深度。模糊处理部分将基准图像中的各个像素作为对象像素进行模糊处理。结果，能够根据检测的视差，生成深度。
在本公开的实施例中，模糊处理部分对对象像素进行模糊处理，所述模糊处理是利用以下的表达式计算的：
δj＝D×Δdj_min×R/dj
其中δj是模糊度，D是拍摄图像的摄像设备的有效孔径，dj是对应于对象像素的深度，Δdj_min是最小值，R是图像的成像放大倍率。因而，能够根据上述表达式计算模糊度。
在本公开的实施例中，焦点区域设定部分按照指定焦点区域的操作信号，设定焦点区域。从而，可按照操作信号设定焦点区域。
在本公开的实施例中，焦点区域设定部分通过把待设定的焦点区域的数目限制成小于或等于阈值的值，设定焦点区域。于是，待设定的焦点区域的数目可被限制为小于或等于阈值的值。
按照上面说明的本公开的实施例，即使当设定多个焦点区域时，也能够生成能够表现更自然的透视感的图像。
附图说明
图1是图解说明按照第一实施例的摄像设备的结构例子的方框图；
图2是图解说明按照第一实施例的图像数据和深度信息的例子的示图；
图3是解释按照第一实施例的设定焦点区域的方法的示图；
图4是图解说明按照第一实施例的深度信息，测量的深度和深度差分绝对值的例子的示图；
图5是图解说明按照第一实施例的图像处理装置的结构例子的方框图；
图6是图解说明按照第一实施例的深度差分绝对值的例子的示图；
图7是图解说明按照第一实施例的滤波器阶数的例子的示图；
图8是图解说明按照第一实施例的模糊后的图像数据的例子的示图；
图9是图解说明按照第一实施例的图像处理装置的操作例子的流程图；
图10是图解说明按照第一实施例的焦点区域的设定处理的流程图；
图11是图解说明按照第一实施例的模糊处理的例子的流程图；
图12是图解说明按照第二实施例的摄像设备的结构例子的方框图；
图13是图解说明按照第二实施例的图像处理装置的结构例子的方框图；
图14是图解说明按照第二实施例的深度信息获取部分的结构例子的方框图；
图15是图解说明按照第二实施例的视差和深度之间的关系的示图；
图16是图解说明按照第二实施例的图像处理装置的操作例子的流程图；
图17是图解说明按照第三实施例的焦点区域设定部分的结构例子的方框图；
图18是图解说明按照第三实施例的焦点区域设定处理的例子的流程图；
图19是图解说明按照第四实施例的焦点区域设定部分的结构例子的方框图；
图20是图解说明按照第四实施例的模糊前后的图像数据的例子的示图；
图21是图解说明按照第四实施例的焦点区域设定处理的例子的流程图；
图22是图解说明按照第五实施例的焦点区域设定部分的结构例子的方框图；
图23是图解说明按照第五实施例，当设定三分法构图时的模糊前后的图像数据的例子的示图；
图24是图解说明按照第五实施例，当设定图案构图时的焦点区域信息和模糊前后的图像数据的例子的示图；
图25是图解说明按照第五实施例的焦点区域设定处理的例子的流程图。
具体实施方式
下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。
下面说明实现本公开的实施例(下面简称为“实施例”)。另外，将按照以下顺序进行说明。
1.第一实施例(图像处理：设定多个焦点区域的例子)
2.第二实施例(图像处理：利用立体匹配的例子)
3.第三实施例(图像处理：进行物体识别的例子)
4.第四实施例(图像处理：进行面部识别的例子)
5.第五实施例(图像处理：根据构图选择焦点区域的例子)
1.第一实施例
[摄像设备的结构例子]
图1是图解说明按照本公开的第一实施例的摄像设备100的结构例子的方框图。摄像设备100拍摄被摄物体，对拍摄的被摄物体的图像进行模糊处理。摄像设备100包括摄像单元150，图像数据存储单元200，深度测量单元250，操作单元300，图像处理装置400和显示单元500。
摄像单元150拍摄被摄物体，从而生成图像数据。摄像单元150通过信号线155，把生成的图像数据提供给图像数据存储单元200。
图像数据存储单元200保存图像数据。更具体地说，图像数据存储单元200保存由摄像单元150和图像处理装置400生成的图像数据。
深度测量单元250测量被摄物体的深度(从摄像设备到被摄物体 的距离)。例如，深度测量单元250分析图像中的被摄物体的模糊度，根据模糊度和被摄物体的深度之间的关系，利用其中获得被摄物体的深度的DFD法，测量深度。深度测量单元250测量与图像中的每个像素有关的深度，从而生成指示深度的深度信息。深度测量单元250通过信号线251，把生成的深度信息提供给图像处理装置400。深度测量单元250还能够利用除DFD法以外的任何测量方法，测量深度。例如，深度测量单元250可以利用把激光照射到被摄物体上，然后根据反射光相对于照射时间的延迟时间，测量深度的激光测量方法。
操作单元300检测操作摄像设备100的操作信号。操作信号包括在图像中设定多个焦点区域的操作信号。操作单元300通过信号线301，把检测的操作信号提供给图像处理装置400。
图像处理装置400通过对图像数据进行模糊处理，生成透视感增强的图像数据。更具体地说，图像处理装置400按照操作信号，在图像中设定多个焦点区域。图像处理装置400还获得深度测量单元250生成的深度信息。在图像处理装置400中，图像中的每个像素被设定为对象像素Pj，计算对象像素的深度和多个焦点区域中的每个焦点区域的深度之间的每个深度差分绝对值，作为每个对象像素的深度差分绝对值Δdj_fm。这里，j表示用于识别图像中的每个像素的序号，是从0到N-1的整数。N是指示图像中的像素总数的数值，从而是通过把垂直方向的像素数乘以水平方向的像素数而获得的数值。m是用于识别各个焦点区域的序号，是从0到M-1的整数。M是设定的焦点区域的数目，是大于或等于2的整数。于是，当设定了M个焦点区域时，为图像中的每个像素计算M个深度差分绝对值。
在为每个对象像素计算了M个深度差分绝对值之后，图像处理装置400选择深度差分绝对值，作为每个对象像素的深度差分最小值Δdj min。从而，如果图像中的像素的总数为N，那么选择总共N个深度差分最小值。
在选择了深度差分最小值Δdj_min之后，图像处理装置400按照每个对象像素的深度差分最小值Δdj_min，计算模糊度。
图像处理装置400按照计算的滤波器阶数，对图像数据进行模糊处理。图像处理装置400通过信号线405，把进行了模糊处理的图像数据提供给图像数据存储单元200。
显示单元500从图像数据存储单元200读出图像数据，然后显示图像数据。
图2是图解说明按照第一实施例的图像数据和深度信息的例子的示图。图2(a)图解说明输入图像处理装置400的图像数据600的例子。在图像数据600中，分别拍摄了包含汽车和驾驶员的被摄物体601，作为树木602和603的被摄物体，和作为房屋604的被摄物体。
图2(b)是图解说明与图像数据600同步获得的深度信息610的例子的示图。深度信息610是指示对应于每个像素的被摄物体的深度的数据，深度用像素值表示。例如，在深度信息610中，利用指示深度的像素值设定亮度值，当深度增大时，亮度值被设定成较小。深度信息610包括分别与图像数据600中的被摄物体601,602,603和604对应的各个被摄物体的深度信息611,612,613和614。假定在被摄物体611-614和它们各自的背景中，被摄物体611具有最小的深度。随后，假定剩余被摄物体和它们各自的背景的深度按被摄物体612，被摄物体613，被摄物体614和背景的顺序被增大。这种情况下，在深度信息610中，最前面的被摄物体611的亮度值被设定成最低。剩余被摄物体和它们各自的背景的亮度值被设定成按照它们各自的深度，按被摄物体612，被摄物体613，被摄物体614和背景的顺序被增大。另一方面，在深度信息610中，亮度值可被设定成随着深度减小而变大。
图3是解释按照第一实施例的设定焦点区域的方法的示图。例如，摄像设备100把图像数据600显示在触摸面板上，并接收用户操作。当通过用用户的手指触摸图像数据600的任何一个像素，指定该像素时，摄像设备100的图像处理装置400检测包含该像素的被摄物体区域。例如，图像处理装置400通过分析图像中的亮度信息的分布，检测包含指定像素的被摄物体区域。图像处理装置400可被配置成通过除了分析亮度信息的分布之外，还分析颜色信息的分布，检测被摄物 体区域。图像处理装置400把检测的被摄物体区域设定成焦点区域。摄像设备100可被配置成通过由用户利用数字键，而不是利用触摸面板，输入像素的坐标，设定焦点区域。
例如，假定指定被摄物体601中的像素605和被摄物体604中的像素606。这种情况下，图像处理装置400检测包含所指定像素的被摄物体601和604，然后把各个被摄物体设定为焦点区域。
图4是图解说明按照第一实施例的深度信息，测量的深度和深度差分绝对值的例子的示图。当设定焦点区域时，图像处理装置400把图像中的每个像素指定为对象像素，利用对象像素的深度和多个焦点区域每一个的深度，计算深度差分绝对值。例如，可以计算被摄物体612中的对象像素Pj的深度差分绝对值。这种情况下，当被摄物体601和604都被设定成焦点区域时，如图4(a)中所示，图像处理装置400获得对象像素Pj的深度dj，及分别对应于焦点区域中的任何一个像素的深度d_f0和d_f1。图像处理装置400根据以下的表达式(1)和(2)，计算深度差分绝对值Δdj_f0和Δdj_f1。
Δdj_f0＝|dj-d_f0| (1)
Δdj_f1＝|dj-d_f1| (2)
图像处理装置400根据利用表达式(1)和(2)获得的深度差分绝对值，计算对象像素Pj的模糊度δj。
图4(b)是图解说明图4(a)中所示的图像中的被摄物体在深度方向的位置关系的例子的示图。更具体地说，在图4(a)中所示的风景中，在x轴平行于水平方向，y轴平行于垂直方向，和z轴平行于深度方向的情况下，图4(b)是从x轴的方向看到的风景。如图4(b)中所示，当焦点区域f0被设定为被摄物体611时，z轴上从摄像设备100到被摄物体611的距离变成深度d_f0。当焦点区域f1被设定成被摄物体614时，z轴上从摄像设备100到被摄物体614的距离变成深度d_f1。当被摄物体612上的像素被设定成对象像素Pj时，从摄像设备100到被摄物体612的距离变成深度dj。这种情况下，深度差分绝对值Δdj_f0是从被摄物体611的面对摄像设备100的一面到被摄物体612的面对 摄像设备100的一面的距离。深度差分绝对值Δdj_f1是从被摄物体612的面对摄像设备100的一面到被摄物体614的面对摄像设备100的一面的距离。
当被摄物体611和614上的焦点区域的面对摄像设备100的各面都不平坦时，实际上会在焦点区域中的每个像素的深度方面引起一定的偏差。不过，考虑到深度的测量单位，所述偏差的程度通常极小，可以忽略。因此，图像处理装置400能够获得与焦点区域中的任何像素(例如，指定的像素605和606)对应的深度，作为对应于该焦点区域的深度。
[图像处理装置的结构例子]
图5是图解说明按照第一实施例的图像处理装置400的结构例子的方框图。图像处理装置400包括焦点区域设定部分410，深度信息获取部分480和模糊处理部分490。
焦点区域设定部分410被配置成按照操作信号，设定多个焦点区域f0～f(M-1)。焦点区域设定部分410通过信号线415，把指示设定的焦点区域的焦点区域信息提供给模糊处理部分490。焦点区域信息可包括形成每个焦点区域的轮廓的像素组的坐标。焦点区域信息可包括焦点区域中的所有像素的坐标。焦点区域信息可以是其中焦点区域中的每个像素值被设定为二进制值中的一个(例如“1”)，除焦点区域以外的区域中的每个像素值被设定成二进制值中的另一个(例如，“0”)的图像数据。向所述图像数据中添加识别每个设定的焦点区域的识别信息。识别信息可包括用户指定的图像中的像素的坐标，和与所述坐标对应的序号(0～M-1)。
焦点区域设定部分410检测包含指定像素的被摄物体的区域，此外，焦点区域设定部分410可以利用除上述方法外的其它方法，检测被摄物体。例如，焦点区域设定部分410可参考深度信息，检测一组具有深度的像素，其中所述一组像素中的像素的深度和对应于指定像素的深度之间的差分小于或等于预定值。随后，在焦点区域设定部分410中，检测的一组像素可被视为被摄物体区域。焦点区域设定部分 410还可通过进行边缘检测并通过提取包含指定像素的被摄物体的轮廓，检测被摄物体。
焦点区域设定部分410把检测的被摄物体区域设定为焦点区域，此外，焦点区域设定部分410可以把具有给定大小，并且包含指定像素的图形(例如，圆)中的区域设定为焦点区域。
在焦点区域设定部分410中，焦点区域的数目可局限于小于或等于阈值T(T是大于或等于2的整数)的值。这种情况下，当焦点区域的数目等于阈值T时，焦点区域设定部分410被配置成不接受指定后续焦点区域的操作。
深度信息获取部分480获得深度测量单元250生成的深度信息。深度信息获取部分480通过信号线485，把获得的深度信息提供给模糊处理部分490。深度信息获取部分480是权利要求中的深度获取部分的例子。
模糊处理部分490对图像数据进行模糊处理。模糊处理部分490包括深度差分绝对值计算部分491，深度差分最小值选择部分492，滤波器阶数计算部分493和模糊滤波器494。
深度差分绝对值计算部分491根据焦点区域信息和深度信息，计算图像中的每个对象像素Pj(j从0到N-1)的深度差分绝对值Δdj_f0～Δdj_f(M-1)。深度差分绝对值计算部分491把计算的深度差分绝对值提供给深度差分最小值选择部分492。
深度差分最小值选择部分492选择图像中的每个对象像素的深度差分最小值Δdj_min。深度差分最小值选择部分492把选择的深度差分最小值提供给滤波器阶数计算部分493。
滤波器阶数计算部分493计算图像中的每个对象像素Pj的滤波器阶数δj。滤波器阶数计算部分493可根据以下的表达式(3)，计算模糊度。不过，在以下的表达式中，“δj”表示对象像素Pj的模糊度，例如，模糊滤波器的滤波器阶数。按照设定的滤波器阶数，增大或减小模糊量。“Δdj_min”表示对象像素Pj的深度差分最小值，其单位例如为[m]。“A”表示把Δdj_min的值转换成δj的系数。
δj＝A·Δdj_min (3)
滤波器阶数计算部分493可以利用以下的表达式(4)，而不是表达式(3)，计算模糊度δj。不过，在表达式(4)中，“D”表示摄像设备100中的镜头的有效孔径，其单位例如为[mm]。“dj”表示对象像素Pj的深度。“R”表示图像数据的成像放大倍率。“C”表示把根据D,Δdj_min,dj和R获得的模糊量转换成滤波器阶数δj的系数。图像处理装置400利用表达式(3)或以下的表达式，计算图像中的所有像素的滤波器阶数。当使用以下表达式时，计算适合于实际光学系统的特性的模糊量。滤波器阶数计算部分493把计算的滤波器阶数δj提供给模糊滤波器494。
模糊滤波器494按照滤波器阶数δj，对图像数据进行模糊处理。例如，模糊滤波器是作为一种平滑滤波器的高斯滤波器，根据以下的表达式，计算在模糊后的像素(x,y)的像素值I'(x,y)。不过，在下以的表达式(5)中，“I(x+k,y+l)”表示模糊前的像素(x+k,y+l)的值。“r”表示高斯滤波器的半径，是大于或等于0的整数。“w(k,l)”表示将乘以像素值I(x+k,y+l)的加权系数。在以下的表达式(6)中，“σ”表示标准偏差，给定实数被赋值为标准偏差。考虑以下的表达式(5)和(6)，当越接近于高斯滤波器的中心时，加权系数被设定成越大，当越接近于高斯滤波器的外围时，加权系数被设定成越小。在以下表达式(7)中，“round()”表示对括号中的数值进行给定的舍入处理，并返回大于0的整数值的函数。例如，作为所述舍入处理，执行小数点后被四舍五入的计算。
r＝round(δj/2) (7)
模糊处理部分490计算高斯滤波器的滤波器阶数作为模糊度，此外，模糊处理部分490可以计算除滤波器阶数以外的参数，作为模糊 度。例如，模糊处理部分490可以计算标准偏差σ作为模糊度。
模糊处理部分490利用高斯滤波器进行模糊处理，此外，模糊处理部分490可以利用其它模糊滤波器，比如移动平均滤波器。
图像处理装置400设置在摄像设备100内。另一方面，图像处理装置400可被设置在摄像设备100之外，或者图像处理装置400和摄像设备100可以是独立的组件。
图6是图解说明按照第一实施例的深度差分绝对值的例子的示图。可以认为设定了包括焦点区域f0，f1和f2的多个焦点区域。可以假定对应于焦点区域f0，f1和f2的相应深度为10m，30m和20m。如果对应于像素P0(0,0)的深度为12m，那么表示像素P0的深度和焦点区域f0的深度之间的深度差分的深度差分绝对值为2m。另外，像素P0的深度和焦点区域f1的深度之间的深度差分绝对值，以及像素P0的深度和焦点区域f2的深度之间的深度差分绝对值分别为18m和8m。这些深度差分绝对值中的最小值为2m，从而，2m被选为像素P0中的深度差分最小值。
按照相似的方式，如果对应于像素P100(100,0)的深度为16m，那么4m被选为该像素中的深度差分最小值。如果对应于像素P200(200,0)的深度为36m，那么6m被选为该像素中的深度差分最小值。如果对应于像素PN-1(W-1,H-1)的深度为10.2m，那么0.2m被选为该像素中的深度差分最小值。W表示图像中在水平方向的像素的总数，是大于或等于1的整数。H表示图像中在垂直方向的像素的总数，是大于或等于1的整数。于是，为图像中的像素的每个设定的焦点区域，计算深度差分绝对值。选择深度差分绝对值中的最小值，作为每个像素的深度差分最小值。
图7是图解说明按照第一实施例的滤波器阶数的例子的示图。在上述表达式(3)中，假定向系数A赋值“2”。这种情况下，如果像素P0的深度差分最小值为2m，那么利用表达式(3)，计算“4”，作为滤波器阶数。按照相似的方式，如果像素P100和P200的深度差分最小值分别为4m和6m，那么利用表达式(3)，分别计算“8”和“12”，作为滤波器 阶数。如果像素PN-1的深度差分最小值为0.2m，那么利用表达式(3)，计算“0.4”，作为滤波器阶数。
图8是图解说明按照第一实施例，在模糊前的图像数据620的例子的示图。图像数据620的被摄物体621-624分别对应于图像数据600的被摄物体601-604。假定每个被摄物体621-624被设定成焦点区域。假定在被摄物体621-624中，被摄物体621具有最小深度。另外，假定其它被摄物体622-624的深度按照被摄物体622，被摄物体623和被摄物体624的顺序增大。另外，假定被摄物体622和623比被摄物体624靠近被摄物体621，被摄物体622比被摄物体623更靠近被摄物体621。
这种情况下，沿着深度方向，从较近的焦点区域(例如，被摄物体621)到较远的焦点区域，模糊度增大。在较近的焦点区域(被摄物体621)和较远的焦点区域(被摄物体624)的深度方向的中点，模糊度变得最大。当越过中点深度，更接近较远的焦点区域(被摄物体624)时，模糊度变小。例如，由于在深度方向，被摄物体622比被摄物体623更靠近被摄物体621，并且被摄物体622被设定为焦点区域，因此被摄物体622的模糊度变得小于被摄物体623的模糊度。从而，即使设定多个焦点区域，也可按照离位于深度方向的最前点的焦点区域的深度，改变模糊度，从而获得更自然的透视感。
[图像处理装置的操作例子]
下面参考图9-图11，说明按照第一实施例的图像处理装置400的操作例子。图9是图解说明按照第一实施例的图像处理装置400的操作例子的流程图。该操作流程从把拍摄的图像数据输入图像处理装置400开始。图像处理装置400进行设定多个焦点区域的焦点区域设定处理(步骤S910)。图像处理装置400从深度测量单元250获得深度信息(步骤S950)。图像处理装置400进行模糊图像数据的模糊处理(步骤S960)。在进行步骤S960之后，图像处理装置400终止生成模糊之后的图像数据的操作。
图10是图解说明按照第一实施例的焦点区域设定处理的例子的 流程图。焦点区域设定部分410把变量i初始化成0(步骤S911)，接收设定焦点区域的操作(步骤S912)。焦点区域设定部分410判定是否选择了任何一个像素作为焦点区域中的像素(步骤S913)。
当焦点区域设定部分410判定选择了任何一个像素作为焦点区域中的像素时(步骤S913：是)，焦点区域设定部分410临时保存包含所选像素的区域，作为候选焦点区域fi(步骤S914)。焦点区域设定部分410把变量i加1(步骤S915)。
当判定未选择像素作为焦点区域中的像素时(步骤S913：否)，或者在进行步骤S915之后，焦点区域设定部分410判定像素的选择是否被确认(步骤S916)。当判定像素的选择未被确认时(步骤S916：否)，焦点区域设定部分410使处理返回步骤S913。当判定像素的选择被确认时(步骤S916：是)，焦点区域设定部分410把每个候选者设定成焦点区域(步骤S917)。在进行步骤S917之后，焦点区域设定部分410终止焦点区域设定处理。
图11是图解说明按照第一实施例的模糊处理的例子的流程图。图像处理装置400的模糊处理部分490获得所有焦点区域的深度d_f0～d_(M-1)(步骤S961)。模糊处理部分490把变量m和n初始化为0，然后开始循环处理。在所述循环处理中，模糊处理部分490执行后面说明的步骤S963-S968，并分别把变量m和n加1。当在递增相应变量之后，m>W-1和n>H-1时，终止循环处理。随后，使处理流程返回步骤S963，继续循环处理(步骤S962)。
模糊处理部分490把像素(m,n)设定为对象像素Pj(步骤S963)。模糊处理部分490获得对象像素Pj的深度dj(步骤S964)。模糊处理部分490还根据对象像素Pj的深度dj，和焦点区域的深度d_f0～d(M-1)，计算深度差分绝对值Δdj_f0～Δdj_f(M-1)(步骤S965)。模糊处理部分490选择计算的深度差分绝对值Δdj_f0～Δdj_f(M-1)中的最小值，作为深度差分最小值Δdj_min(步骤S966)。模糊处理部分490利用上述表达式(3)，根据选择的深度差分最小值Δdj_min，计算对象像素Pj的滤波器阶数δj(步骤S967)。模糊处理部分490按照计算的滤 波器阶数，利用上述表达式(5)和(6)，计算模糊后的对象像素Pj的像素值(步骤S968)。
在循环处理完成之后(步骤S962)，模糊处理部分490终止模糊处理。
因而，按照第一实施例，焦点区域设定部分410设定多个焦点区域。深度信息获取部分480获得关于像素的深度。模糊处理部分490计算像素的深度和对应于各个焦点区域的深度之间的每个深度差分绝对值，作为图像中的每个像素的深度差分绝对值。模糊处理部分490选择深度差分绝对值中的最小值，作为每个像素的深度差分最小值。模糊处理部分490根据深度差分最小值计算滤波器阶数，然后按照计算的滤波器阶数进行模糊处理。于是，按照离在深度方向最靠近被摄物体的焦点区域的深度，改变被摄物体的模糊度。结果，即使当设定多个焦点区域时，也可生成能够表现更自然的透视感的图像。
2.第二实施例
[摄像设备的结构例子]
下面参考图12-图16，说明本公开的第二实施例。图12是图解说明按照第二实施例的摄像设备101的结构例子的方框图。摄像设备101和第一实施例的摄像设备100的不同之处在于摄像设备101利用立体匹配法，生成深度信息。立体匹配法将在后面详细说明。代替摄像单元150，摄像设备101包括基准图像拍摄单元151和参考图像拍摄单元152。摄像设备101还包括代替图像处理装置400的图像处理装置401。摄像设备101和摄像设备100的不同之处还在于摄像设备101可不包括深度测量单元150。
基准图像拍摄单元151拍摄基准图像。基准图像是成为深度计算时的标准的图像。例如，包括用摄像设备101的右镜头拍摄的右图像和用摄像设备101的左镜头拍摄的左图像的各个图像中的任何一个可以是基准图像。基准图像拍摄单元151通过信号线155，把基准图像数据提供给图像数据存储单元200。基准图像数据指示拍摄的基准图像。
参考图像拍摄单元152拍摄参考图像。参考图像是与基准图像同步拍摄的、在计算深度时参考的图像。例如，左图像和右图像中除基准图像以外的图像可以是参考图像。参考图像拍摄单元152通过信号线156，把参考图像数据提供给图像数据存储单元200。参考图像数据指示拍摄的参考图像。
图像处理装置401从图像数据存储单元200读出基准图像数据和参考图像数据。图像处理装置401利用立体匹配方法，根据基准图像数据和参考图像数据，计算和像素有关的深度。图像处理装置401根据计算的深度，对基准图像进行模糊处理。
[图像处理装置的结构例子]
下面参考图13，说明按照第二实施例的图像处理装置的结构。图13是图解说明按照第二实施例的图像处理装置401的例证结构的方框图。图像处理装置401和第一实施例的图像处理装置400的不同之处在于图像处理装置401包括深度信息获取部分481，而不是深度信息获取部分480。
图14是图解说明按照第二实施例的深度信息获取部分481的结构例子的方框图。深度信息获取部分481包括视差检测部分482和深度生成部分483。
视差检测部分482从基准图像和参考图像中检测视差。更具体地说，视差检测部分482从图像数据存储单元200读出基准图像数据和参考图像数据。视差检测部分482把基准图像中的任何一个像素设定成对象点，并获得参考图像中对应于对象点的对应点。视差检测部分482检测对象点的水平坐标和对应点的水平坐标之间的差分的绝对值，作为视差。视差检测部分482把基准图像中的所有像素的视差提供给深度生成部分483。
深度生成部分483根据视差，生成深度信息。根据视差生成深度信息的方法将在后面说明。深度生成部分483获得图像中的每个像素的深度，并生成深度信息。深度生成部分483把深度信息提供给模糊处理部分490。
图15是图解说明按照第二实施例，视差和深度之间的关系的例子的示图。如果基准图像中的对象点的水平坐标为XR，而参考图像中的对应点的水平坐标为XL，那么用以下表达式计算视差p：
p＝|XR-XL| (8)
如果基准图像拍摄单元151的镜头和参考图像拍摄单元152的镜头之间的间隔为B，并且焦距为F，那么由对象点(XR)、对应点(XL)和被摄物体形成的三角形相似于由基准图像拍摄单元151的镜头、参考图像拍摄单元152的镜头和被摄物体形成的三角形。结果，当被摄物体的深度为d时，可建立可以表示成以下表达式的关系式：
p∶F＝B∶d (9)
通过重新整理等式(9)，能够获得以下表达式：
d＝B×F/p (10)
B和F是已知值。通过把检测的视差p代入表达式(10)中，计算深度d。
[图像处理装置的操作例子]
下面参考图16，说明按照第二实施例的图像处理装置401的操作例子。图16是图解说明按照第二实施例的图像处理装置401的操作例子的流程图。图像处理装置401的操作和第一实施例的图像处理装置400的不同之处在于图像处理装置401进行步骤S951和S952，而不是步骤S950。
图像处理装置401从基准图像和参考图像中检测视差p(步骤S951)。图像处理装置401根据表达式(10)，用视差p计算深度d，并生成深度信息(步骤S952)。
于是，按照本公开的第二实施例，焦点区域设定部分410设定焦点区域，深度信息获取部分481从基准图像和参考图像中检测视差，并根据视差生成深度信息。模糊处理部分490根据深度信息，选择每个像素的深度差分最小值，根据深度差分最小值计算滤波器阶数，从而进行模糊处理。从而，图像处理装置401能够独立地生成深度信息。
3.第三实施例
[图像处理装置的结构例子]
下面参考图17和图18，说明本公开的第三实施例。图17是图解说明按照第三实施例的焦点区域设定部分411的结构例子的方框图。焦点区域设定部分411和第一实施例的焦点区域设定部分410的不同之处在于焦点区域设定部分411识别图像中的多个物体，并把每个物体设定成焦点区域。焦点区域设定部分411包括候选区域提取部分420，优先级设定部分450和候选区域选择部分460。
候选区域提取部分420提取将成为候选焦点区域的多个区域中的每个，作为图像中的候选区域。候选区域提取部分420包括物体数据库421和物体识别部分422。
物体数据库421是保存用于识别待识别物体的信息的数据库。例如，物体数据库421保存诸如关于待识别物体所了解的图像数据，物体的类别，物体的特征量之类的各种信息。
物体识别部分422参考物体数据库421，并识别图像中的多个物体。物体识别部分422把所识别物体的每个区域设定成候选区域，所述候选区域可以是候选焦点区域。物体识别部分422生成指示图像中的候选区域的候选区域信息，并把候选区域信息提供给优先级设定部分450和候选区域选择部分460。
优先级设定部分450对每个候选区域设定选择该候选区域的优先级。优先级设定部分450包括物体信息登记部分451和物体优先级设定部分452。
物体信息登记部分451登记与其选择优先级将被改变的物体相关的物体信息。更具体地说，物体信息可包括物体的图像数据，物体的名称等等。
物体优先级设定部分452设定每个候选区域的优先级。例如，物体优先级设定部分452把与登记物体的图像相似的候选区域的优先级设定成高于与登记物体的图像不相似的候选区域的优先级。另一方面，物体优先级设定部分452可被配置成把与登记物体的图像不相似的候选区域的优先级设定成较高。
物体优先级设定部分452可被配置成根据候选区域的面积设定优先级。更具体地说，随着候选区域的大小变大，物体优先级设定部分452把优先级设定成更高。物体优先级设定部分452可以计算全部候选区域的面积的平均值，并在候选区域的面积接近平均值时，把优先级设定成更高。
物体优先级设定部分452可以根据与候选区域对应的深度，设定优先级。这种情况下，随着深度增大，物体优先级设定部分452可把优先级设定成更高。另一方面，随着深度减小，物体优先级设定部分452可把优先级设定成更高。物体优先级设定部分452可以获得与图像中的全部像素对应的深度的最大值或最小值，并在物体的深度接近所述最大值或最小值时，把物体的优先级设定成更高。这样，当向深度方向更靠近和更远离的物体赋予较高的优先级时，能够更容易地把焦点区域设定为在深度方向彼此远离的物体。结果，随着物体变深，模糊变得越来越明显。近物体和远物体的中点附近最模糊。当物体越过所述中点沿着深度方向变深时，模糊变得越来越不明显。这使模糊度能够显而易见，并且更加增强图像中的透视感。
物体优先级设定部分452把指示设定的优先级的优先级信息提供给候选区域选择部分460。
候选区域选择部分460选择由候选区域信息指示的候选区域中的多个候选区域，并把所述多个候选区域中的每一个设定为焦点区域。不过，候选区域选择部分460把待设定的焦点区域的数目限制为小于或等于T的值(T是大于或等于2的整数)。更具体地说，当候选区域的数目被限制为小于或等于T的值时，候选区域选择部分460把所有候选区域设定成焦点区域。如果候选区域的数目大于T，那么候选区域选择部分460首先选择被优先级设定部分450设定成具有较高优先级的候选区域，然后把T个候选区域设定为焦点区域。候选区域选择部分460把指示设定的焦点区域的焦点区域信息提供给模糊处理部分490。
尽管焦点区域设定部分411被配置成包括物体数据库421，不过， 焦点区域设定部分411可被配置成不包括物体数据库421。例如，可以把物体数据库设置在摄像设备100之外，从而焦点区域设定部分411访问物体数据库。按照相似的方式，物体信息登记部分451可被设置在焦点区域设定部分411之外。
尽管焦点区域设定部分411包括优先级设定部分450，不过焦点区域设定部分411可被配置成不包括优先级设定部分450。这种情况下，候选区域选择部分460可被配置成把全部物体区域设定成焦点区域，而不限制焦点区域的数目，焦点区域的数目可被限制为T。当焦点区域设定部分411中不包含优先级设定部分450，并且焦点区域的数目被限制为小于或等于T的值时，如果候选区域的数目大于T，那么候选区域选择部分460可以随机选择物体的T个区域。
[图像处理装置的操作例子]
下面参考图18，说明按照第三实施例的图像处理装置的操作例子。图18是图解说明按照第三实施例的焦点区域设定处理的例子的流程图。在焦点区域设定部分411中，物体识别部分422参考物体数据库421，识别图像中的物体，然后把物体的区域设定成候选区域(步骤S921)。优先级设定部分450对与登记物体的图像相似的候选区域设定较高的优先级(步骤S922)。候选区域选择部分460判定候选区域的数目是否大于T(步骤S923)。如果候选区域的数目大于T(步骤S923：是)，那么候选区域选择部分460根据优先级，选择T个候选区域(步骤S924)。
如果候选区域的数目小于或等于T(步骤S923：否)，或者在进行步骤S924之后，那么候选区域选择部分460把每个候选区域设定为焦点区域(步骤S925)。在进行步骤S925之后，焦点区域设定部分411终止焦点区域设定处理。
如上所述，按照第三实施例，焦点区域设定部分411识别图像中的物体，把物体的区域设定为焦点区域。深度信息获取部分480生成深度信息。模糊处理部分490根据深度信息，选择每个像素的深度差分最小值，然后根据深度差分最小值计算滤波器阶数，从而进行模糊 处理。从而，即使当用户未设定焦点区域时，图像处理装置400也能够独立设定焦点区域。
4.第四实施例
[图像处理装置的结构例子]
下面参考图19-图21，说明本公开的第四实施例。图19是图解说明按照第四实施例的焦点区域设定部分412的结构例子的方框图。焦点区域设定部分412和第一实施例的焦点区域设定部分410的不同之处在于焦点区域设定部分412识别图像中的多个面部，并把这些面部的每个区域设定为焦点区域。焦点区域设定部分412包括候选区域提取部分430，优先级设定部分450和候选区域选择部分460。
第四实施例的候选区域提取部分430和第三实施例的候选区域提取部分420的不同之处在于候选区域提取部分430识别面部，而不是物体。候选区域提取部分430包括面部图像数据库431和面部识别部分432。
面部图像数据库431是保存用于识别图像中的面部的信息的数据库。例如，面部图像数据库431保存不同人物的面部图像数据，数值指示面部器官的特征的数据，诸如人物的性别或年龄之类的元数据，等等。
面部识别部分432参考面部图像数据库431，识别图像中的多个面部。面部识别部分432把识别的各个面部的每个区域设定成候选区域。
第四实施例的优先级设定部分450和第三实施例的优先级设定部分450的不同之处在于第四实施例的优先级设定部分450向与特定人物的面部图像相似的候选区域赋予更高的优先级。第四实施例的优先级设定部分450包括人物信息登记部分453和面部区域优先级设定部分454。
人物信息登记部分453登记与在选择时，其优先级将被改变的人物有关的人物信息。人物信息包括特定人物的面部图像数据，诸如人物的性别或年龄之类的元数据，等等。
面部区域优先级设定部分454设定每个候选区域的优先级。例如，面部区域优先级设定部分454识别登记的人物，把与识别的人物的面部图像相似的候选区域的优先级设定成高于其它候选区域的优先级。
第四实施例的候选区域选择部分460和第三实施例的候选区域选择部分460类似。
面部图像数据库431和人物信息登记部分453可以设置在焦点区域设定部分412的外部。
尽管焦点区域设定部分412包括优先级设定部分450，不过焦点区域设定部分412可被配置成不包括优先级设定部分450。
尽管优先级设定部分450向与登记人物的面部图像相似的候选区域赋予较高的优先级，不过，优先级设定部分450可以向与登记人物的面部图像相似的候选区域赋予较低的优先级。
图20是图解说明按照第四实施例，在模糊前后的图像数据的例子的示图。图20(a)是图解说明在模糊前的图像数据的例子的示图。该图像数据包括面部区域631和633，及作为树木632和634的被摄物体。焦点区域设定部分412识别面部区域631和633，把每个面部区域设定成焦点区域。模糊处理部分490按照深度差分最小值，进行模糊处理。
图20(b)是图解说明在模糊之后的图像数据的例子的示图。未对包含与面部区域631和633对应的面部区域的被摄物体641和643进行模糊处理。除了面部之外，被摄物体641还包含身体的其它部位，除了面部之外，被摄物体643还包含身体的其它部位以及汽车。由于身体的其它部位和汽车在深度方面与面部大体相同，因此未对身体的其它部位和汽车进行模糊处理。另一方面，按照深度差分最小值，对与被摄物体树木632和634对应的被摄物体642和644进行模糊处理。
[图像处理装置的操作例子]
下面参考图21，说明按照第四实施例的图像处理装置400的操作例子。图21是图解说明按照第四实施例的焦点区域设定处理的例子的流程图。在焦点区域设定部分412中，面部区域识别部分432参考面 部图像数据库431，识别图像中的面部区域，然后把面部区域设定成焦点区域(步骤S931)。优先级设定部分450向与登记人物的面部图像类似的候选区域分配较高的优先级(步骤S932)。类似于第三实施例中的步骤S923-步骤S925地执行步骤S933-步骤S935。
如上所述，按照第四实施例，焦点区域设定部分412识别图像中的面部区域，把面部区域设定成焦点区域。深度信息获取部分480生成深度信息。模糊处理部分490根据深度信息，选择每个像素的深度差分最小值，并根据深度差分最小值计算滤波器阶数，从而进行模糊处理。从而，即使当用户未设定焦点区域时，图像处理装置400也能够独立设定焦点区域。
5.第五实施例
[图像处理装置的结构例子]
下面参考图22-图25，说明本公开的第五实施例。图22是图解说明按照第五实施例的焦点区域设定部分413的结构例子的方框图。焦点区域设定部分413和第一实施例的焦点区域设定部分410的不同之处在于焦点区域设定部分413根据构图，设定焦点区域。
第五实施例的候选区域提取部分440和第三实施例的候选区域提取部分420的不同之处在于候选区域提取部分440根据构图，提取候选区域。候选区域提取部分440包括构图数据库441，构图决定部分442和候选区域提取处理部分443。
构图数据库441保存与诸如三分法构图，图案构图和放射线构图之类的各种构图相关的信息。例如，构图数据库441保存形成构图的构图要素在图像中的布置图案，构图的名称等等。构图要素包括诸如物体或面部之类的被摄物体，和利用边缘检测检出的线段。
构图决定部分442决定构图。构图决定部分442可检测图像中的被摄物体或者线段，选择最接近地匹配被摄物体的形状或布置的构图，从而决定图像的构图。构图决定部分442向候选区域提取处理部分443提供指示所决定构图的构图信息。构图决定部分442可按照用户的操作，决定构图。
候选区域提取处理部分443提取所决定构图中的主被摄物体的区域，作为候选区域。候选区域提取处理部分443生成指示提取的候选区域的候选区域信息，并把候选区域信息提供给优先级设定部分450和候选区域选择部分460。
第五实施例的优先级设定部分450和第三实施例的优先级设定部分430的不同之处在于第五实施例的优先级设定部分450设定构成诸如物体或面部之类的各种被摄物体的区域的优先级。第五实施例的优先级设定部分450包括被摄物体信息登记部分455和被摄物体优先级设定部分456。
被摄物体信息登记部分455登记与其优先级将在选择时被改变的被摄物体相关的被摄物体信息。具体地说，被摄物体信息可以是特定被摄物体的图像数据，被摄物体的名称，等等。
被摄物体优先级设定部分456设定每个候选区域的优先级。例如，被摄物体优先级设定部分456把与识别的被摄物体的图像相似的候选区域的优先级设定成高于与识别的被摄物体的图像不相似的候选区域的优先级。另一方面，被摄物体优先级设定部分456可以把与识别的被摄物体的图像相似的候选区域的优先级设定成较低。
第五实施例的候选区域选择部分460和第三实施例的候选区域选择部分460相似。
焦点区域设定部分413可被设置在构图数据库411和被摄物体信息登记部分455之外。
尽管焦点区域设定区域413包括优先级设定部分450，不过焦点区域设定区域413可被配置成不包括优先级设定部分450。
图23图解说明按照第五实施例，当设定三分法构图时，在模糊前后的图像数据的例子。图23(a)图解说明在模糊之前的图像数据650的例子。在图像数据650中，拍摄了被摄物体651-654。图23(b)图解说明当设定三分法构图时的图像数据650的例子。
三分法构图是其中利用间隔一定距离绘制的两条平行线和两条垂直线，把图像等分成9份，并且把主被摄物体置于线条上或者置于 水平线和垂直线的交点的构图。通过采用三分法构图，能够获得很平衡的艺术图像。
假定构图决定部分442选择三分法构图和图案构图的规则任意之一。假定被摄物体651-654形状不同。这种情况下，选择三分法构图的规则，因为图案构图不适合。在三分法构图的规则中，设定交点PP1-PP4。如图23(b)中所示，被摄物体651和654都不位于任何交点。另一方面，被摄物体652位于交点PP2，被摄物体653位于交点PP3。从而，被摄物体652和653被确定为构图的主被摄物体，并把每个被摄物体设定为焦点区域。
图23(c)图解说明模糊后的图像数据660的例子。图像数据660中的被摄物体661-664分别对应于模糊前的图像数据650中的被摄物体651-654。由于被摄物体652和653中的每个都被设定为焦点区域，因此不对分别对应于这些被摄物体652和653的被摄物体662和663进行模糊处理。另一方面，按照深度差分最小值，对被摄物体661和664进行模糊处理。
图24图解说明按照第五实施例，当设定图案构图时的焦点区域信息和模糊前后的图像数据。图24(a)图解说明模糊前的图像数据670的例子。在图像数据670中拍摄了被摄物体671-674。
图案构图是把在图像中规则排列并且形状彼此相似的被摄物体设定成主被摄物体的构图。通过采用图案构图，能够获得有节奏的图像。例如，在图24(b)中，规则地排列被摄物体671-674。被摄物体671,672和674具有相似的形状。这种情况下，由于存在规则排列并且形状彼此相似的被摄物体671,672和674，因此选择图案构图。从而，被摄物体671,672和674被确定为构图的主被摄物体，并把每个被摄物体设定为焦点区域。
图24(b)图解说明焦点区域信息680。在图24(b)中，白色区域的像素值被设定为0，灰色区域的像素值被设定为1。在焦点区域信息680中，焦点区域681,682和684分别对应于均被设定成图像数据670中的焦点区域的被摄物体671,672和674。如图24(b)中所示，焦点区 域中的像素的像素值被设定为0，其它区域的像素的像素值被设定为1。
图24(c)图解说明模糊之后的图像数据690。图像数据690中的被摄物体691-694分别对应于图像数据670中的被摄物体671-674。由于各个被摄物体671,672和674被设定为焦点区域，因此不对分别对应于被摄物体671,672和674的被摄物体691,692和64进行模糊处理。另一方面，被摄物体693未被设定成焦点区域，从而按照深度差分最小值，对被摄物体693进行模糊处理。
[图像处理装置的操作例子]
下面参考图25，说明按照第五实施例的图像处理装置的操作例子。图25是图解说明按照第五实施例的焦点区域设定处理的例子的流程图。在焦点区域设定部分413中，构成决定部分442根据图像中的被摄物体的形状或者布置，决定构图(步骤S941)。候选区域提取处理部分443根据构图，把多个被摄物体区域中的每一个设定成候选区域(步骤S942)。优先级设定部分450对与登记的被摄物体的图像类似的候选区域设定较高的优先级(步骤S943)。类似于第三实施例中的步骤S923-步骤S925地执行步骤S944-S946。
如上所述，按照第五实施例，焦点区域设定部分413决定构图，并根据构图设定焦点区域。深度信息获取部分480生成深度信息。模糊处理部分490根据深度信息，选择每个像素的深度差分最小值，并根据深度差分最小值计算滤波器阶数，从而进行模糊处理。从而，即使当用户未设定焦点区域时，图像处理装置400也能够独立地设定焦点区域。
本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。
另外，上述实施例中的处理过程可被作为包括一系列过程的方法，可被作为使计算机能够执行所述一系列过程的程序，或者保存所述程序的记录介质。例如，记录介质可以利用CD(光盘)，MD(小型光 盘)，DVD(数字通用光盘)，存储卡，蓝光光盘(注册商标)等等。
另外，也可以如下构成本技术。
(1)一种图像处理装置，包括：
焦点区域设定部分，用于把被摄物体的拍摄图像中要保持焦点对准的多个区域中的每个区域设定成焦点区域；
深度获取部分，用于与图像中的每个像素相关地获得被摄物体的深度；和
模糊处理部分，用于把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。
(2)按照(1)的图像处理装置，
其中焦点区域设定部分包括
候选区域提取部分，用于提取将成为图像中的候选焦点区域的多个区域中的每一个，作为候选区域，和
候选区域选择部分，用于选择提取的候选区域当中的多个候选区域，并把所述多个候选区域中的每一个设定为焦点区域。
(3)按照(2)的图像处理装置，其中候选区域提取部分识别图像中的给定物体的拍摄区域，并提取该区域作为候选区域。
(4)按照(2)或(3)的图像处理装置，其中候选区域提取部分识别图像中的面部的拍摄区域，并提取该区域作为候选区域。
(5)按照(2)-(4)任意之一的图像处理装置，
其中候选区域提取部分包括
构图决定部分，用于决定定义被摄物体在图像中的布置的构图，和
候选区域提取处理部分，用于根据决定的构图提取多个区域作为候选区域。
(6)按照(2)-(5)任意之一的图像处理装置，
其中焦点区域设定部分还包括
优先级设定部分，用于对提取的候选区域设定候选区域的选择优 先级，
其中候选区域选择部分根据设定的优先级，选择候选区域。
(7)按照(6)的图像处理装置，其中优先级设定部分登记给定被摄物体的拍摄图像，并根据登记的图像和候选区域之间的相似性，对候选区域设定优先级。
(8)按照(6)或(7)的图像处理装置，其中优先级设定部分根据候选区域的面积设定优先级。
(9)按照(6)-(7)任意之一的图像处理装置，其中优先级设定部分根据与候选区域中的任意一个像素对应的深度设定优先级。
(10)按照(9)的图像处理装置，其中当与候选区域中的任何一个像素对应的深度更接近获得的深度的最大值或最小值时，深度设定部分把候选区域的优先级设定成更高。
(11)按照(1)-(10)任意之一的图像处理装置，
其中图像包括供获取深度之用的基准图像和参考图像，
其中深度获取部分包括
视差检测部分，用于检测基准图像中的任何一个像素，和参考图像中与基准图像中的所述像素对应的像素之间的距离，作为视差，和
深度生成部分，用于根据检测的视差与基准图像中的所述像素相关地生成深度，和
其中模糊处理部分将基准图像中的各个像素作为对象像素进行模糊处理。
(12)按照(1)-(11)任意之一的图像处理装置，其中模糊处理部分对对象像素进行模糊处理，所述模糊处理是利用以下的表达式计算的：
δj＝D×Δdj_min×R/dj
其中δj是模糊度，D是拍摄图像的摄像设备的有效孔径，dj是对应于对象像素的深度，Δdj_min是最小值，R是图像的成像放大倍率。
(13)按照(1)-(11)任意之一的图像处理装置，其中焦点区域设定部分按照指定焦点区域的操作信号，设定焦点区域。
(14)按照(1)-(11)任意之一的图像处理装置，其中焦点区域设定部 分通过把待设定的焦点区域的数目限制成小于或等于阈值的值，设定焦点区域。
(15)一种控制图像处理装置的方法，包括：
利用焦点区域设定部分，把被摄物体的拍摄图像中要保持焦点对准的多个区域中的每个区域设定成焦点区域；
利用深度获取部分，与图像中的每个像素相关获取地被摄物体的深度；和
利用模糊处理部分，把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。
(16)使计算机执行一种过程的程序，所述过程包括：
利用焦点区域设定部分，把被摄物体的拍摄图像中要保持焦点对准的多个区域中的每个区域设定成焦点区域；
利用深度获取部分，与图像中的每个像素相关地获取被摄物体的深度；和
利用模糊处理部分，把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。
本公开包含与在2011年6月28日向日本专利局提交的日本优先权专利申请JP2011-142807中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims (15)

1.一种图像处理装置，包括：
焦点区域设定部分，用于把被摄物体的拍摄图像中要保持焦点对准的多个区域中的每个区域设定成焦点区域；
深度获取部分，用于与图像中的每个像素相关地获取被摄物体的深度；和
模糊处理部分，用于把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。
2.按照权利要求1所述的的图像处理装置，
其中焦点区域设定部分包括
候选区域提取部分，用于提取将成为图像中的候选焦点区域的多个区域中的每一个，作为候选区域，和
候选区域选择部分，用于选择提取的候选区域当中的多个候选区域，并把所述多个候选区域中的每一个设定为焦点区域。
3.按照权利要求2所述的图像处理装置，其中候选区域提取部分识别图像中的给定物体的拍摄区域，并提取该区域作为候选区域。
4.按照权利要求2所述的图像处理装置，其中候选区域提取部分识别图像中的面部的拍摄区域，并提取该区域作为候选区域。
5.按照权利要求2所述的图像处理装置，
其中候选区域提取部分包括
构图决定部分，用于决定定义被摄物体在图像中的布置的构图，和
候选区域提取处理部分，用于根据决定的构图提取多个区域作为候选区域。
6.按照权利要求2所述的图像处理装置，
其中焦点区域设定部分还包括
优先级设定部分，用于对提取的候选区域设定候选区域的选择优先级，
其中候选区域选择部分根据设定的优先级，选择候选区域。
7.按照权利要求6所述的图像处理装置，其中优先级设定部分登记给定被摄物体的拍摄图像，并根据登记的图像和候选区域之间的相似性，对候选区域设定优先级。
8.按照权利要求6所述的图像处理装置，其中优先级设定部分根据候选区域的面积设定优先级。
9.按照权利要求6所述的图像处理装置，其中优先级设定部分根据与候选区域中的任意一个像素对应的深度设定优先级。
10.按照权利要求9所述的图像处理装置，其中当与候选区域中的任何一个像素对应的深度更接近获得的深度的最大值或最小值时，优先级设定部分把候选区域的优先级设定成更高。
11.按照权利要求1所述的图像处理装置，
其中图像包括供获取深度之用的基准图像和参考图像，
其中深度获取部分包括
视差检测部分，用于检测基准图像中的任何一个像素和参考图像中与基准图像中的所述像素对应的像素之间的距离，作为视差，和
深度生成部分，用于根据检测的视差与基准图像中的所述像素相关地生成深度，和
其中模糊处理部分将基准图像中的各个像素作为对象像素进行模糊处理。
12.按照权利要求1所述的图像处理装置，其中模糊处理部分对对象像素进行模糊处理，所述模糊处理是利用以下的表达式计算的：
δj＝D×Δdj_min×R/dj
其中δj是模糊度，D是拍摄图像的摄像设备的有效孔径，dj是对应于对象像素的深度，Δdj_min是最小值，R是图像的成像放大倍率。
13.按照权利要求1所述的图像处理装置，其中焦点区域设定部分按照指定焦点区域的操作信号，设定焦点区域。
14.按照权利要求1所述的图像处理装置，其中焦点区域设定部分通过把待设定的焦点区域的数目限制成小于或等于阈值的值，设定焦点区域。
15.一种控制图像处理装置的方法，包括：
利用焦点区域设定部分，把被摄物体的拍摄图像中要保持焦点对准的多个区域中的每个区域设定成焦点区域；
利用深度获取部分，与图像中的每个像素相关地获取被摄物体的深度；和
利用模糊处理部分，把图像中的每个像素设定为对象像素，并按照对应于对象像素的深度和对应于每个焦点区域的深度之间的各个深度差分绝对值的最小值，对对象像素进行模糊处理。
CN201210209603.3A 2011-06-28 2012-06-20 图像处理装置，控制图像处理装置的方法 Expired - Fee Related CN102857686B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-142807 2011-06-28
JP2011142807A JP2013012820A (ja) 2011-06-28 2011-06-28 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム

Publications (2)

Publication Number Publication Date
CN102857686A CN102857686A (zh) 2013-01-02
CN102857686B true CN102857686B (zh) 2017-03-01

Family

ID=47390766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210209603.3A Expired - Fee Related CN102857686B (zh) 2011-06-28 2012-06-20 图像处理装置，控制图像处理装置的方法

Country Status (3)

Country Link
US (2) US8879847B2 (zh)
JP (1) JP2013012820A (zh)
CN (1) CN102857686B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9654761B1 (en) * 2013-03-15 2017-05-16 Google Inc. Computer vision algorithm for capturing and refocusing imagery
US9294758B2 (en) 2013-04-18 2016-03-22 Microsoft Technology Licensing, Llc Determining depth data for a captured image
JP6244655B2 (ja) 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
KR20150061277A (ko) * 2013-11-27 2015-06-04 삼성전자주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
JP6418784B2 (ja) * 2014-05-20 2018-11-07 キヤノン株式会社 画像生成装置及びその制御方法
US9712720B2 (en) * 2014-06-02 2017-07-18 Intel Corporation Image refocusing for camera arrays
JP6482196B2 (ja) * 2014-07-09 2019-03-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム、及び記憶媒体
CN104333700B (zh) * 2014-11-28 2017-02-22 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
JP6478654B2 (ja) 2015-01-23 2019-03-06 キヤノン株式会社 撮像装置及びその制御方法
KR102328098B1 (ko) * 2015-02-13 2021-11-17 삼성전자주식회사 전자장치의 초점 검출 장치 및 방법
JP2017050830A (ja) * 2015-09-04 2017-03-09 パナソニックＩｐマネジメント株式会社 照明装置、照明システム、及びプログラム
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
JP2019114821A (ja) * 2016-03-23 2019-07-11 日本電気株式会社 監視システム、装置、方法およびプログラム
JP6752059B2 (ja) * 2016-06-01 2020-09-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
MX2019002003A (es) 2016-08-26 2019-06-20 Sony Corp Aparato de control del objeto en movimiento, metodo de control del objeto en movimiento y objejo en movimiento.
EP3488603B1 (en) * 2017-05-24 2021-07-28 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
WO2019060023A1 (en) * 2017-09-22 2019-03-28 Visa International Service Association METHOD FOR FACIAL ANTI-USURPATION USING DIFFERENCES IN IMAGE PROPERTIES
CN108234865A (zh) * 2017-12-20 2018-06-29 深圳市商汤科技有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019150668A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2019139017A (ja) * 2018-02-08 2019-08-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2020008511A1 (ja) * 2018-07-02 2020-01-09 株式会社ソニー・インタラクティブエンタテインメント 電子機器、コンテンツ処理装置、コンテンツ処理システム、画像データ出力方法、および画像処理方法
CN110378943A (zh) * 2019-06-21 2019-10-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110602397A (zh) * 2019-09-16 2019-12-20 RealMe重庆移动通信有限公司 图像处理方法、装置、终端及存储介质
CN113963318B (zh) * 2021-12-22 2022-03-25 北京的卢深视科技有限公司 人流量统计方法、装置、电子设备和存储介质
CN115086558B (zh) * 2022-06-14 2023-12-01 Oppo广东移动通信有限公司 对焦方法、摄像设备、终端设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101676951A (zh) * 2008-09-19 2010-03-24 索尼株式会社 图像处理设备和方法及其程序
CN101742103A (zh) * 2008-11-14 2010-06-16 株式会社东芝 固体摄像器件
CN101795361A (zh) * 2009-01-30 2010-08-04 索尼公司 用于基于两个影像的匹配进行深度估计的二维多项式模型

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5085502A (en) * 1987-04-30 1992-02-04 Eastman Kodak Company Method and apparatus for digital morie profilometry calibrated for accurate conversion of phase information into distance measurements in a plurality of directions
US6201899B1 (en) * 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
JP3668019B2 (ja) * 1998-10-27 2005-07-06 株式会社ソニー・コンピュータエンタテインメント 記録媒体、画像処理装置および画像処理方法
US6677948B1 (en) * 1999-06-14 2004-01-13 Mitutoyo Corporation Systems and methods for multi-resolution image defocusing
JP2003037767A (ja) 2001-07-24 2003-02-07 Minolta Co Ltd デジタルカメラ
JP4228641B2 (ja) * 2002-09-20 2009-02-25 セイコーエプソン株式会社 出力対象画像データ選択
EP1807806B1 (en) * 2004-10-26 2011-04-06 Koninklijke Philips Electronics N.V. Disparity map
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
JP5024632B2 (ja) * 2008-09-19 2012-09-12 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8405742B2 (en) * 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
JP5657343B2 (ja) * 2010-10-28 2015-01-21 株式会社ザクティ 電子機器
US8406548B2 (en) * 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101676951A (zh) * 2008-09-19 2010-03-24 索尼株式会社 图像处理设备和方法及其程序
CN101742103A (zh) * 2008-11-14 2010-06-16 株式会社东芝 固体摄像器件
CN101795361A (zh) * 2009-01-30 2010-08-04 索尼公司 用于基于两个影像的匹配进行深度估计的二维多项式模型

Also Published As

Publication number Publication date
US8879847B2 (en) 2014-11-04
CN102857686A (zh) 2013-01-02
US20130004082A1 (en) 2013-01-03
US20150003740A1 (en) 2015-01-01
JP2013012820A (ja) 2013-01-17

Similar Documents

Publication Publication Date Title
CN102857686B (zh) 图像处理装置，控制图像处理装置的方法
CN104933414B (zh) 一种基于wld-top的活体人脸检测方法
US8503735B2 (en) Image processing to perform grouping based on depth-of-relationship values
US9619708B2 (en) Method of detecting a main subject in an image
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN105243376A (zh) 一种活体检测方法和装置
Qu et al. Detect digital image splicing with visual cues
KR20150059701A (ko) 비접촉식 지문 인식하는 방법 및 이를 수행하기 위한 전자 기기
CN110458026A (zh) 一种人脸采集方法、装置、系统、设备及介质
CN112417970A (zh) 目标对象识别方法、装置和电子系统
CN116171462A (zh) 对象序列的识别方法、网络训练方法、装置、设备及介质
Ghoualmi et al. A SIFT-based feature level fusion of iris and ear biometrics
JP2023172882A (ja) 三次元表現方法及び表現装置
KR20160149160A (ko) 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치
JP4470848B2 (ja) 顔部品抽出方法及び顔認証装置
CN115147936A (zh) 一种活体检测方法、电子设备、存储介质及程序产品
CN112926557B (zh) 一种训练多模态人脸识别模型的方法以及多模态人脸识别方法
CN113850245A (zh) 图像处理方法、装置、电子设备及存储介质
JP6429483B2 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
KR20180069312A (ko) 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치
CN112818743A (zh) 图像识别的方法、装置、电子设备及计算机存储介质
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN114724257B (zh) 一种活体检测的方法及装置
Peng et al. Blurriness-Guided Underwater Salient Object Detection and Data Augmentation
CN117036411B (zh) 人脸健康特征对象的跟踪方法、系统及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

Termination date: 20210620