CN102957861A - 图像处理设备及其控制方法及程序 - Google Patents

Abstract

本发明涉及一种图像处理设备，所述图像处理设备包括获取图像的图像获取部分；深度获取部分，其获取与图像中像素相关联的深度；深度转换部分，其根据函数对深度进行转换，所述函数具有随深度的增加非线性地接近预定值的特性；以及存储部分，其把所转换的深度与图像相关联地加以存储。

Description

图像处理设备及其控制方法及程序

技术领域

本发明涉及一种图像处理设备、控制图像处理设备的方法以及致使计算机执行所述方法的程序，更具体地讲，本发明涉及一种根据深度进行图像处理的图像处理设备、控制图像处理设备的方法以及致使计算机执行所述方法的程序。

背景技术

最近几年，能够测量与图像中的像素相关联的深度的图像拾取装置日趋流行。图像拾取装置中的图像处理设备能够使用深度执行诸如产生焦外成像（bokeh）的模糊处理（即，平滑处理）的图像处理。

例如，（例如，申请号为2003-37767的日本专利公开物）推出了这样一种图像拾取装置：其测量至对象的深度，并随着聚焦于主要对象将把主要对象的背景平滑处理至相应于基于主要对象的深度的程度。通常对肖像照片的背景进行这样的平滑处理，例如，为了突出特定人物。另外，由于配备了具有小光接收表面区域的图像传感器的图像拾取装置因图像传感器的性能可以捕获具有相当小焦外成像的图像，所以通常采用平滑处理来强调远景（perspective）。

发明内容

过去，在上述技术中，难以通过平滑处理把远景突出至所较高的程度。以上所描述的图像拾取装置相对距聚焦位置的一段距离，线性地改变平滑处理程度。然而，当平滑处理程度相对距聚焦位置的距离非线性地改变时，过大程度地突出了远景。例如，假设在距聚焦位置的一段距离S1上设置平滑处理程度（即，模糊量），而且距离S2为距离S1的两倍。在这一情况下，当把S1内的对象的模糊量B1设置为S2内的对象的模糊量B2一半以上时，较大程度地突出了远景。尽管用户可以手工地执行这样的远景突出，然而这样的突出需要复杂的操作。

鉴于上述问题，人们希望提供一种通过执行图像处理突出图像远景的图像处理设备。

根据本发明的实施例，提供了一种图像处理设备，包含：获取图像的图像获取部分；深度获取部分，其获取与图像中像素相关联的深度；深度转换部分，其根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及存储部分，其存储与图像相关联的所转换的深度，并且提供了一种控制图像处理设备的方法以及致使计算机执行所述方法的程序。因此，能够把根据具有随深度的增加非线性地接近预定值的特性的函数所转换的深度与图像相关联地加以存储。

根据本发明的实施例，还可以包括还包含平滑处理部分，所述平滑处理部分根据相应于图像中预定像素的所转换的深度将图像平滑处理到取决于相应于所述图像中所述像素的所转换的深度的程度。因此，能够依据所转换的深度对图像进行平滑处理。

根据本发明的实施例，所述函数为其特性随系数而变化的函数，以及平滑处理部分基于根据所述特性所转换的深度执行平滑处理。因此，能够根据随系数而变化的特性进行基于所转换的深度的平滑处理。

另外，根据本发明的实施例，所述函数可以为指数函数，即令深度为x、输出为y、自然对数的底为e、预定常数为α以及系数为β，并且将其定义为下列公式Y=α×e^(-βx)。因此，可以根据上述公式所定义的函数对深度进行转换。

而且，根据本发明的实施例，所述函数还可以为这样的指数函数，即令深度为x、输出为y、自然对数的底为e、预定常数为α以及系数为β，并且将其定义为下列公式Y=α×{1–e^(-βx)}。因此，可以根据上述公式所定义的函数对深度进行转换。

另外，根据本发明的实施例，还可以包括还包含系数供给部分，所述系数供给部分依据捕获图像的拍摄条件，供给系数值。因此，能够依据拍摄条件供给系数。

而且，根据本发明的实施例，存储部分还存储与图像相关联的拍摄条件，以及系数供给部分依据所存储的拍摄条件供给系数。因此，能够依据所存储的拍摄条件供给系数。

另外，根据本发明的实施例，深度转换部分把像素的集合创建为深度图像，每个像素具有作为像素值的所转换的深度值。因此，能够把像素的集合创建为深度图像，其中，所述像素集合中的每个像素具有作为像素值的所转换的深度值。

而且，根据本发明的实施例，还可以包括还包含压缩部分，其根据一种预定图像压缩格式压缩深度图像，存储部分存储与图像相关联的所压缩的深度图像。因此，可以压缩深度图像。

根据本发明的实施例，所述图像处理设备的优点在于：能够通过图像处理突出图像中的远景。

附图说明

图1为说明了根据第一实施例的图像拾取装置的配置实例的结构图；

图2为说明了根据第一实施例的图像处理设备的配置实例的结构图；

图3说明了根据第一实施例的灰度值和对象距离之间关系的实例；

图4A，4B说明了根据第一实施例的图像数据和深度图像数据的实例；

图5解释了根据第一实施例的焦点距离和景深之间的关系；

图6说明了根据第一实施例的景深与焦点距离、光圈值、对象距离以及像素β关系的实例；

图7说明了根据第一实施例的焦点距离与景深和对象距离关系的实例；

图8说明了根据第一实施例的数据文件的数据结构的实例；

图9为说明了根据第一实施例的图像拾取装置的操作实例的流程图；

图10为说明了根据第一实施例的拍摄处理的实例的流程图；

图11为说明了根据第一实施例的平滑处理的实例的流程图；

图12说明了根据第一实施例的系数的可调整范围的实例；

图13A，13B为说明了根据第一实施例的图像拾取装置的配置实例的总视图；

图14说明了根据第一实施例的修改的灰度值和对象距离之间关系的实例；

图15为说明了根据第二实施例的图像处理设备的配置实例的结构图；

图16说明了在其中拍摄模式处于宏模式的情况下根据第二实施例的灰度值和对象距离之间关系的实例；

图17说明了在其中拍摄模式处于风景模式的情况下根据第二实施例的灰度值和对象距离之间关系的实例；

图18为说明了根据第二实施例的拍摄处理的实例的流程图；

图19为说明了根据第二实施例的系数设置处理的实例的流程图；

图20为说明了根据第三实施例的图像处理设备的配置实例的结构图；

图21说明了根据第三实施例的所附信息的数据结构的实例；

图22为说明了根据第三实施例的拍摄处理的实例的流程图；

图23为说明了根据第三实施例的平滑处理的实例的流程图。

具体实施方式

以下，将参照附图详细描述本发明的优选实施例。注意，在本说明书与附图中，将使用相同的参照数字表示那些具有基本相同功能与结构的结构图元，而且省略了对这些结构图元的重复解释。

以下，将按下列次序描述根据本发明的优选实施例（以下，将它们称为实施例）。

1．第一实施例（图像处理：把深度数据转换为深度图像数据的实例）

2．第二实施例（图像处理：根据拍摄模式改变系数值的实例）

3．第三实施例（图像处理：在存储了图像数据之后改变系数值的实例）

＜1．第一实施例＞

［图像拾取装置配置实例］

图1为说明了根据第一实施例的图像拾取装置100的配置实例的结构图。图像拾取装置100包括操作部分110、拍摄透镜130、图像传感器140、模拟信号处理部分150、A/D（模拟/数字）转换部分160、图像存储器170以及工作存储器180。另外，图像拾取装置100还包括图像数据存储部分190、显示部分200以及图像处理设备300。图像处理设备300包括照相机控制部分310和图像拾取装置控制部分320。

操作部分110响应用户在触摸面板、按钮等上的操作、经由信号线111，向图像处理设备300输出操作信号。

拍摄透镜130为用于拍摄图像的透镜。图像传感器140把来自拍摄透镜130的光转换为电信号。图像传感器140经由信号线141把所转换的电信号输出于模拟信号处理部分150。模拟信号处理部分150对电信号进行预定模拟信号处理。模拟信号处理包括消除放大器噪音和重置噪音的CDS（相关双取样）和自动控制增益的AGC（自动增益控制）。在进行了所述处理之后，模拟信号处理部分150经由信号线151向A/D转换部分160输出电信号。

A/D转换部分160把模拟电信号转换为数字信号。A/D转换部分160经由信号线161，把所转换的数字号作为图像数据输出于图像处理设备300。把这样的图像数据称为RAW图像数据，因为在从A/D转换部分160输出图像数据时不对图像数据进行诸如色彩插值处理或者压缩处理的图像处理。

图像存储器170临时保存图像数据。工作存储器180临时保存图像拾取装置控制部分320所执行的工作的内容。图像数据存储部分190存储图像数据。显示部分200根据图像数据显示图像。

照相机控制部分310根据图像拾取装置控制部分320的控制，执行变焦控制和曝光控制，以从A/D转换部分160获取图像数据。照相机控制部分310从所获取的图像数据中获取与像素相关的深度。照相机控制部分310根据预定函数对深度进行转换。以下，将详细描述转换方法。照相机控制部分310生成像素集合所获得的图像，其中，像素集合中的每个像素像具有作为灰度值的所转换的深度。所生成的图像为其中图像中的对象的深度由对象区域中的像素的灰度值加以表示的图像（以下，将其称为“深度图像”）。照相机控制部分310把深度图像的数据作为深度图像数据与图像数据一起输出于图像拾取装置控制部分320。

图像拾取装置控制部分320控制整个图像拾取装置100。具体地讲，图像拾取装置控制部分320响应来自操作部分110的操作信号，经由照相机控制部分310进行变焦控制和曝光控制。图像拾取装置控制部分320从照相机控制部分310接收图像数据和深度图像数据，并且把深度图像数据与图像数据相关联地存储在图像数据存储部分190中。另外，图像拾取装置控制部分320还响应来自操作部分110的操作信号，经由信号线302从图像数据存储部分190读出图像数据。图像拾取装置控制部分320根据相应的深度图像数据对图像数据进行诸如平滑处理的图像处理。而且，在图像处理之后把图像数据存储在图像数据存储部分190中，图像拾取装置控制部分320经由信号线303把图像数据输出于显示部分200，以使显示部分200显示图像数据。

［图像处理设备配置实例］

图2为说明了根据第一实施例的图像处理设备300的配置实例的结构图。如以上所描述的，图像处理设备300包括照相机控制部分310和图像拾取装置控制部分320。照相机控制部分310包括透镜驱动部分311、图像获取部分312、深度获取部分313、深度转换部分314以及平滑处理部分315。图像拾取装置控制部分320包括操作信号分析部分321、图像压缩部分322、深度图像数据添加部分323以及图像控制部分324。

操作信号分析部分321分析来自操作部分110的操作信号。此处，用户可以通过操作操作部分110改变平滑处理等中的变焦放大能力、远景突出程度。操作信号分析部分321分析操作信号，而且当改变变焦放大能力时，把变焦放大能力的改变的值输出于透镜驱动部分311。另外，当改变远景突出程度时，操作信号分析部分321把所改变的突出程度输出于图像控制部分324。

透镜驱动部分311控制拍摄透镜130的位置。具体地讲，当从操作信号分析部分321接收变焦放大能力的所改变的值时，透镜驱动部分311经由信号线301获取拍摄透镜130的当前位置。接下来，透镜驱动部分311，经由信号线301，把根据变焦放大能力的所改变的值控制拍摄透镜130的位置的控制信号输出于拍摄透镜130。

图像获取部分312获取所捕获的图像数据。图像存储器170临时保存所获取的图像数据。图像获取部分312把所获取的图像数据输出于图像压缩部分322。

深度获取部分313获取相应于所捕获的图像数据中的像素的深度。例如，深度获取部分313检测由分隔器透镜所分隔的对象的两个图像之间的间隙（相差），并且根据所检测的相差，作为深度数据，计算距对象的距离。深度获取部分313把作为深度数据的、与像素相关联地加以计算的深度输出于深度转换部分314。注意，深度获取部分313可以通过除相差检测之外的其它方法获取深度。例如，深度获取部分313可以把激光光束照射在对象上，并且检测所反射的激光光束的光，以根据检测时间相对照射时间的延迟时间测量深度。

深度转换部分314根据预定函数对深度进行转换。例如，以下的公式1和公式2定义了这样的函数。注意，在公式1中，x代表深度，y代表函数的输出（即，所转换的深度）、e代表自然对数的底以及β代表大于0的实数系数。在以下的公式2中，n代表不小于1的整数。

Y=αe^(-βx)     公式1

α=2^n–1        公式2

注意，深度转换部分314可以使用除公式1所定义的函数之外的其它函数对深度进行转换。最好令所使用的函数具有这样的特性：随着深度x的增加，输出y非线性地接近预定值（例如，0）。例如，深度转换部分314可以使用根据公式1修改过的公式所定义的对数函数或者以下所描述的公式12所定义的函数。

深度转换部分314为系数β设置预定初始值，并且把深度x转换为y，以创建每个把y作为灰度值的像素的集合所获得的图像数据。深度转换部分314把所创建的图像数据作为深度图像数据输出于深度图像数据添加部分323。注意，除了灰度值之外，深度转换部分314还可以把y转换为还包括彩色相位（红、绿、蓝等）的像素值。例如，深度转换部分314可以依据y、相对每一种颜色改变灰度值，以致y值越小越接近红色灰度值，y值越大越接近蓝色灰度值。

当需要时，图像压缩部分322根据预定图像压缩方案压缩图像数据。在图像压缩处理期间，图像压缩部分322把工作存储器180用作工作区。例如，把JPEG（联合图像专家组）用作图像压缩方案。图像压缩部分322把所压缩的图像数据输出于深度图像数据添加部分323。

注意，图像压缩部分322可以向深度图像数据添加部分323输出未压缩的图像数据。作为选择，图像压缩部分322还可以压缩深度图像数据。在这一情况下，最好令用于深度图像数据的压缩技术与用于图像数据的压缩技术相同。

深度图像数据添加部分323把从图像压缩部分322输出的图像数据与从深度转换部分314输出的深度图像数据相关联地加以存储。例如，深度图像数据添加部分323通过按Exif（可交换图像文件格式）把深度图像数据作为所附信息（即，标签）添加于图像数据，把深度图像数据与图像信息相关联。深度图像数据添加部分323把与深度图像数据相关联的图像数据作为数据文件输出于图像控制部分324。注意，深度图像数据添加部分323为根据本发明实施例的存储部分的实例。

图像控制部分324管理图像文件。具体地讲，图像控制部分324把深度图像数据添加部分323所创建的数据文件存储在图像数据存储部分190中。另外，图像控制部分324还从图像数据存储部分190中读出包括将加以显示的图像数据的数据文件，并且把所读出的图像数据输出于显示部分200，以使显示部分200显示图像数据。而且，当操作信号分析部分321设置了远景突出程度的设置值时，图像控制部分324还从图像数据存储部分190读出包括平滑处理目标的图像数据的数据文件，并且把数据文件随设置值一起输出于平滑处理部分315。接下来，图像控制部分324从平滑处理部分315接收所平滑的图像数据，并且把所平滑的图像数据输出于图像数据存储部分190和显示部分200。

平滑处理部分315对图像数据进行平滑处理。具体地讲，当从图像控制部分324接收数据文件和设置值时，平滑处理部分315根据深度图像数据对数据文件中的图像数据进行平滑处理。然而，如以上所描述的，用户可以通过操作部分110改变远景突出程度。当改变了远景突出程度时，平滑处理部分315依据这一改变更新公式1中的系数β的值。具体地讲，在其中用户把远景突出程度改变为较强的情况下，把系数β的值更新为较大，在其中用户把远景突出程度改变为较弱的情况下，把系数β的值更新为较小。然后，在根据所更新的系数β的值更新了深度图像数据之后，平滑处理部分315进行平滑处理。在平滑处理过程中，平滑处理部分315根据被确定为深度图像数据中焦点的像素的灰度值，使用相应于被确定为焦点的像素的灰度值与每一像素的灰度值之间的差的程度对图像数据进行平滑处理。平滑处理部分315把所平滑的图像数据输出于图像控制部分324。

图3说明了根据第一实施例的灰度值和对象距离之间关系的实例。在该图中，水平轴代表对象距离，即深度，垂直轴代表灰度值。例如，按米（m）测量深度的单位。实线代表公式1所定义的函数的图，虚线代表公式3所定义的函数的图。注意，在以下的公式3中，x代表深度，y代表函数的输出以及γ代表大于0的实数系数。

Y=(2^16-1)-γx    公式3

在公式3中，把深度转换为随着深度的增加线性地减小的灰度值。

此处，令平滑处理中的聚焦位置的深度为xf。并且，令比xf深的深度为x1，以及令比x1更深的深度为x2。令通过将深度xf、x1以及x2代入公式1得到的灰度值y分别为yf_e、y1_e以及y2_e。令通过将深度xf、x1以及x2代入公式3得到的灰度值y分别为yf_L、y1_L以及y2_L。并且，令xf和x1之间的差为△x1，令xf和x2之间的差为△x2。并且，令yf_e和y1_e之间的差为△y1_e，yf_e和y2_e之间的差为△y2_e。而且，令yf_L和y1_L之间的差为△y1_L，以及yf_L和y2_L之间的差为△y2_L。

在平滑处理中，依据相应于聚焦位置的深度x_f的灰度值进行平滑处理，以达到取决于相应于图像中每一像素的灰度值的程度。例如，根据以下的公式4计算代表平滑程度的模糊量B。注意，在以下的公式4中，A代表实数系数，△y代表聚焦位置的灰度值和在其处进行平滑的位置的灰度值之间的差。具体地讲，把△y1_e、y2_e、△y1_L、△y2_L等代入△y。

B=A×Δy      公式4

例如，使用以下公式5~公式7所定义的高斯滤波器进行平滑处理。然而，以下公式5中的I（xp+k，yp+1）代表进行平滑处理之前的坐标（xp+k，yp+1）上像素的像素值。在公式5中，r代表高斯滤波器的半径，并且为不小于0的整数，w（k，l）代表像素值I（xp+k，yp+1）与其相乘的权重系数。另外，在公式6中，σ代表标准偏差，并且将其设置为预定实数。根据公式5和公式6，在较接近高斯滤波器中心的位置把权重系数设置为较大，在较接近周围区域的位置，把权重系数设置为较小。在以下的公式7中，“round（）”为通过对括号中所示的值执行预定舍入操作返回不小于0的整数值的函数。例如，作为舍入操作，执行四舍五入。注意，平滑处理部分315可以使用除了高斯滤波器之外的其它滤波器（例如，均值滤波器）进行平滑处理。

$I^{\′}(x_p,y_p)=\underset{k=-r}{\overset{r}{\mathrm{\Σ}}}\underset{l=r}{\overset{r}{\mathrm{\Σ}}}w(k,l)I(x_p+k,y_p+1)$ …公式5

$w(x_p,y_p)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp \left\{\frac{-({x_p}^2+{y_p}^2)}{2{\mathrm{\σ}}^2}\right\}$ …公式6

R=round(B/2)              …公式7

当使用公式3时，进行平滑处理，以达到与深度差成比例的程度。例如，△y2_L与△y1_e的比率等于△x2与△x1的比率。于是，x2中对象的模糊量B2_L与x1中对象的模糊量B1_L的比率等于△x2与△x1的比率。

另一方面，当使用公式1时，设置与深度差非线性相关的模糊量。例如，△y2_L与△y1_e的比率大于△x2与△x1的比率。于是，x2中对象的模糊量B2_e与x1中对象的模糊量B1_e的比率大于△x2与△x1的比率。因此，与使用公式3中的情况相比，把远景突出至了更高的程度。当改变了公式1中的系数β的值时，公式1的特性改变，从而能够容易地改变远景突出程度。具体地讲，系数β越大，远景突出程度越高，系数β越小，远景突出程度越低。

图4A和4B说明了根据第一实施例的图像数据和深度图像数据的实例。图4A说明了图像数据500的实例。图4B说明了使用公式1所创建的深度图像数据510的实例。图像数据500描述了立方体501。按相应于所获取的深度的灰度值设置深度图像数据510。例如，由于相应于立方体501的立方体511的顶点的深度最小，所以按将变为最亮的最大值设置顶点部分的灰度值。另一方面，按将变为暗的最小值设置具有最大深度的背景的灰度值。

图5解释了根据第一实施例的焦点距离f和景深DOF之间的关系。焦点距离f为从拍摄透镜130的中心到焦点的距离。景深DOF为保持对象在图像中聚焦的范围，甚至是在沿深度方向移动对象的情况下。例如，以米（m）为单位测量焦点距离f和景深DOF。在散焦区域中，景深DOF越浅，模糊量变得越大。把对象近侧范围的景深DOF称为近景深DN。另一方面，把对象远侧范围的景深DOF称为远景深DF。

此处，当聚焦某一深度的对象时，把具有无穷大、刚好穿过景深DOF最远边界线的深度称为超焦点距离H。把超焦点距离H表示为下列公式8。注意，N代表光圈值，c代表其中图像的模糊度为许可的容许弥散圆的直径。

H=f^2/(Nc)        …公式8

根据下列公式9~11计算景深DOF。

$D_N=\frac{s(H-f)}{H+s-2f}$ …公式9

$D_F=\frac{s(H-f)}{H-s}$ …公式10

DOF=D_F+D_N    …公式11

图6说明了根据第一实施例的景深DOF与焦点距离f、光圈值N、对象距离以及系数β关系的实例。根据公式8~公式11，焦点距离f越长，光圈值N越大，景深DOF变得越浅，模糊量变得越大。另外，根据公式8~公式11，对象距离x越近，超焦点距离H变得越小，景深DOF变得越浅。另一方面，根据公式1，系数β越大，模糊量变得越大。如以上所描述的，通过改变系数β的值，可以在不改变焦点距离f、光圈值N以及对象距离x的情况下，改变模糊量。

图7说明了根据公式5~公式7的景深DOF与焦点距离f和对象距离x关系的实例。圆圈说明了其中焦点距离f为100m的情况。四边形说明了其中焦点距离f为80m的情况。三角形说明了其中焦点距离f为50m的情况。把焦距比数固定为3.5。从图7中可以明显看出，在把焦距比数固定为常数值的情况下，对象距离x越小，焦点距离f越长，景深DOF变得越浅。

［数据文件结构］

图8说明了根据第一实施例的数据文件的数据结构的实例。

在所述数据文件中，顺序地存储图像的开始（SOI）、应用标记段1（APP1）、定义量化表（DQT）以及定义Huffman表（DHT）。然后，在帧头标的开始（SOF）和扫描头标的开始（SOS）之后存储所压缩数据的主体，然后且存储图像的结束（EOI）。所压缩的数据为根据诸如JPEG标准的压缩格式压缩的数据。接下来，紧挨着图像的结束（EOI）存储图像处理设备300中所创建的深度图像数据。注意，尽管图像处理设备300紧挨着Exif标准的EOI存储了深度图像数据，然而只要能够把深度图像数据与图像数据加以关联，就可以存储深度图像数据。

APP1为其中存储了Exif附加信息的区域。在APP1中，在APP1标记之后定义了APP1长度。接下来，在Exif标识符代码之后存储了TIFF头标、主图像IFD（第0个IFD）、主图像IFD值（第0个IFD值）等。

［图像拾取装置操作实例］

图9为说明了根据第一实施例的图像拾取装置100的操作实例的流程图。例如，当接通图像拾取装置100的电源时，这一操作开始。图像拾取装置100判断自身当前状态是否处于静态图像拍摄模式（步骤S910）。在自身当前状态处于静态图像拍摄模式的情况下（步骤S910：是），图像拾取装置100执行用于拍摄对象的拍摄处理（步骤S920）。

在自身当前状态不处于静态图像拍摄模式的情况下（步骤S910：否）或者在执行了步骤S920之后，图像拾取装置100判断自身当前状态是否处于静态图像编辑模式（步骤S930）。在自身当前状态处于静态图像编辑模式的情况下（步骤S930：是），图像拾取装置100执行拍摄处理（步骤S940）。在自身当前状态不处于静态图像编辑模式的情况下（步骤S930：否）或者在执行了步骤S940之后，图像拾取装置100返回至步骤S910。

图10为说明了根据第一实施例的拍摄处理的实例的流程图。图像拾取装置100判断是否按压了快门按钮（步骤S921）。在按压了快门按钮的情况下（步骤S921：是），图像拾取装置100中的图像处理设备300获取图像数据（步骤S922）。

在未按压快门按钮的情况下（步骤S921：否）或者在执行了步骤S922之后，图像处理设备300根据图像数据创建深度数据（步骤S923）。然后，图像处理设备300使用公式1根据深度数据创建深度图像数据（步骤S924）。当需要时，图像处理设备300压缩图像数据（步骤S925）。图像处理设备300通过把深度图像数据添加于图像数据存储图像数据（步骤S926）。在执行了步骤S926之后，图像拾取装置100终止拍摄处理。

图11为说明了根据第一实施例的平滑处理的实例的流程图。图像拾取装置100接受用于选择将对其进行平滑处理的图像数据的处理（步骤S941）。图像拾取装置100判断是否选择了图像数据（步骤S942）。在没有选择图像数据的情况下（步骤S942：否），图像拾取装置100返回至步骤S942。在其中选择了图像数据的情况下（步骤S942：是），图像拾取装置100接受把平滑处理的程度设置为远景突出程度的操作（步骤S943）。接下来，图像拾取装置100判断是否设置了所述程度（步骤S944）。

在其中设置了所述程度的情况下（步骤S944：是），图像拾取装置100中的图像处理设备300依据所设置的程度值改变系数β（步骤S945）。图像处理设备300根据所改变的系数β更新深度图像数据（步骤S946）。图像处理设备300根据所更新的深度图像数据对图像数据进行平滑处理（步骤S947）。在平滑处理之后，图像拾取装置100显示图像数据（步骤S948）。

在未设置所述程度的情况下（步骤S944：否）或者在执行了步骤S948之后，图像拾取装置100判断是否执行了编辑的退出操作（步骤S949）。在未执行编辑的退出操作的情况下（步骤S949：否），图像拾取装置100返回至步骤S944。在执行了编辑的退出操作的情况下（步骤S949：是），在平滑处理之后，图像拾取装置100存储图像数据（步骤S950）。在执行了步骤S950之后，图像拾取装置100终止平滑处理。

图12说明了根据第一实施例的系数β的可调整范围的实例。当在一定的范围内改变系数β的值时，公式1的函数特性改变。系数β越大，公式1中的函数的曲线越接近y=0的直线。因此，增加了远景突出程度。相反，系数β越低，远景突出程度越低。

图13A，13B为说明了根据第一实施例的图像拾取装置100的配置实例的总视图。图13A说明了图像拾取装置100的顶面和前面的实例，图13B说明了图像拾取装置100的背面的实例。在图像拾取装置100的顶面，提供了变焦操纵柄101、快门按钮102、播放按钮103以及电源按钮104。在图像拾取装置100的前面，提供了拍摄透镜105、AF（自动聚焦）照明装置106以及透镜盖107。在图像拾取装置100的背面，提供了触摸屏幕108。

变焦操纵柄101为用于执行变焦控制操作的按钮。快门按钮102为用于拍摄对象的照片的按钮。播放按钮103为用于显示图像数据的按钮。电源按钮104为用于接通或者关闭图像拾取装置100的电源的按钮。拍摄透镜105为用于捕获图像的透镜。当激活了自动聚焦功能时，AF照明装置106发光。透镜盖107为能够移至可覆盖透镜的位置以保护透镜的盖子。触摸屏幕108是能够通过手指等的触摸实现对图像拾取装置100的操作的显示器。

图1中所说明的操作部分110包括图13A中所说明的变焦操纵柄101、快门按钮102、播放按钮103以及电源按钮104。图1中所说明的操作部分110和显示部分200包括图13B中所说明的触摸屏幕108。

如以上所描述的，根据本发明的第一实施例，图像处理设备300获取图像和深度，并且根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换。图像处理设备300把所转换的深度与图像相关联地加以存储。当图像处理设备300根据所转换的深度进行平滑处理时，把远景突出至比与深度成比例的平滑处理中的程度高的程度。

［第一修改例］

将参照图14描述第一实施例的第一修改。与第一实施例不同，第一修改的图像处理设备300这样地转换深度：随深度x的增加，灰度值y增加。例如，根据第一修改的图像处理设备300使用公式12而不是公式1对深度进行转换。

Y=α{1-e^(-βx)}    …公式12

图14说明了根据第一修改的灰度值y和对象距离（深度）之间关系的实例。在第一实施例中，使用公式1，把深度转换为随深度x增加非线性地减小的灰度值y。另一方面，在使用图14中所说明的公式12的情况下，把深度x转换为随深度x增加非线性地增加的灰度值y。

＜2．第一实施例＞

［图像处理设备配置实例］

以下，将参照图15~图19描述本发明的第二实施例。图15为说明了根据第二实施例的图像处理设备300的配置实例的结构图。如以上所描述的，图像处理设备300包括照相机控制部分310和图像拾取装置控制部分320。与第一实施例不同，根据第二实施例的图像处理设备300还包括照相机控制部分310中的系数供给部分316。而且，根据第二实施例的操作信号分析部分321还向系数供给部分316输出拍摄条件中的拍摄模式。拍摄模式为指示诸如拍摄目标类型以及距拍摄目标的距离的拍摄条件的信息。例如，拍摄模式包括宏模式、风景模式以及正常模式。宏模式为用于拍摄透镜附近的对象的模式。风景模式为用于拍摄远对象的模式。正常模式为用于拍摄处于宏模式中距离和风景模式中距离之间的距离处的对象的模式。

系数供给部分316依据拍摄条件供给系数β。在系数供给部分中，预先设置各拍摄模式的系数β的值。系数供给部分316从操作信号分析部分321接收拍摄模式，并且把相应于所接收的拍摄模式的系数β输出于深度转换部分314。例如，在宏模式下设置比正常模式下所设置的值大的值，在风景模式下设置比正常模式下所设置的值小的值。深度转换部分314把来自系数供给部分316的系数β的值代入公式12，以对深度进行转换。

图16说明了在其中拍摄模式处于宏模式的情况下根据第二实施例的灰度值和对象距离之间关系的实例。如以上所描述的，对于宏模式下的系数β，设置比正常模式下所设置的值大的值。于是，远景突出程度变得相对高。例如，△y2_e与△y1_e的比率变得大于正常模式下△y2_e与△y1_e的比率，因此，x1处的对象的模糊量变得相对大。

图17说明了在其中拍摄模式处于风景模式的情况下根据第二实施例的灰度值和对象距离之间关系的实例。如以上所描述的，对于风景模式下的系数β，设置比正常模式下所设置的值小的值。于是，远景突出程度变得相对低。例如，△y2_e与△y1_e的比率变得小于正常模式下△y2_e与△y1_e的比率，因此，x1处的模糊量变得相对小。

［图像拾取装置操作实例］

图18为说明了根据第二实施例的拍摄处理的实例的流程图。与第一实施例不同，在执行了步骤S923之后，在根据第二实施例的拍摄处理中还执行系数设置处理（步骤S960）。在执行了步骤S960之后，图像拾取装置100执行步骤S924。

图19为说明了根据第二实施例的系数设置处理的实例的流程图。图像处理设备300设置系数β的初始值。例如，此处，初始值为正常模式下的设置值（步骤S961）。图像处理设备300判断拍摄模式是否为宏模式（步骤S962）。在拍摄模式不为宏模式的情况下（步骤S962：否），图像处理设备300判断拍摄模式是否为风景模式（步骤S963）。在拍摄模式为风景模式的情况下（步骤S962：是），图像处理设备300把系数β的值改变为小于初始值的值（步骤S964）。在拍摄模式为宏模式的情况下（步骤S962：是），图像处理设备300把系数β的值改变为大于初始值的值（步骤S965）。

在拍摄模式不为风景模式的情况下（步骤S963：否），或者在执行了步骤S964或者步骤S965之后，图像处理设备300终止系数设置处理。

如以上所描述的，根据本发明的第二实施例，系数供给部分316依据拍摄条件供给系数β，深度转换部分314根据所供给的系数β对深度进行转换。由于函数的特性随系数β而变化，所以根据特性随拍摄条件而变化的函数对深度进行转换。因此，能够根据所转换的深度执行适合于拍摄条件的平滑处理。

＜3．第三实施例＞

［图像处理设备配置实例］

以下，将参照图20~图23描述本发明的第三实施例。图20为说明了根据第三实施例的图像处理设备300的配置实例的结构图。如以上所描述的，图像处理设备300包括照相机控制部分310和图像拾取装置控制部分320。与第一实施例不同，在根据第三实施例的图像处理设备300中，系数供给部分316还在存储了图像数据之后依据拍摄模式供给系数。另外，根据第三实施例的操作信号分析部分321还向深度图像数据添加部分323输出拍摄模式。根据第三实施例的深度图像数据添加部分323通过向图像数据添加拍摄模式，把图像数据存储在图像数据存储部分190中。当读出图像数据时，向系数供给部分316输出添加于图像数据的拍摄模式。

根据第三实施例的系数供给部分316从图像控制部分324接收拍摄模式，并且依据拍摄模式向平滑处理部分315输出系数β。

［数据文件结构］

图21说明了根据第三实施例的数据文件中所附信息的数据结构的实例。把图像数据的所附信息（标签）存储在应用标记段（APP1）中的第0个IFD中。把所附信息分成若干个段，例如分成版本标签、用户信息标签以及拍摄条件标签。版本标签包括Exif版本和相应的FLASH影片版本。用户信息标签包括制造商提示、用户评论等。拍摄条件标签包括曝光时间、焦距比数、拍摄场景类型、对象距离范围等。此处，把拍摄目标是否为正常、是风景还是人存储在拍摄场景类型区域中。另外，还将其存储在把至对象的距离分类为宏、近景或者远景对象的距离范围区域中。

在第三实施例中，把正常模式、风景模式或者宏模式设置为拍摄模式。把与拍摄模式相关的信息存储在拍摄场景类型和拍摄距离范围区域中。注意，图像处理设备300可以把与拍摄模式相关的信息存储在诸如制造商提示区域的其它区域中。

［图像拾取装置操作实例］

图22为说明了根据第三实施例的拍摄处理的实例的流程图。与第一实施例不同，在根据第三实施例的拍摄处理中，在执行了步骤S926之后，图像处理设备300向图像数据添加拍摄模式（步骤S927）。，在执行了步骤S927之后，图像拾取装置100终止拍摄处理。

图23为说明了根据第三实施例的平滑处理的实例的流程图。与第一实施例不同，在根据第三实施例的平滑处理中，在选择了图像数据的情况下（步骤S942：是），图像处理设备300还执行系数设置处理（步骤S960）。系数设置处理（步骤S960）是与根据第二实施例的系数设置处理相类似的处理。在执行了步骤S960之后，图像处理设备300接受设置平滑处理的程度的操作（步骤S943）。

如以上所描述的，根据第三实施例，深度图像数据添加部分323通过把拍摄条件添加于图像数据存储图像数据，系数供给部分316读出拍摄条件，并且依据拍摄条件供给系数。由于函数的特性随系数β而变化，所以根据特性随拍摄条件而变化的函数对深度进行转换。因此，能够根据所转换的深度执行适合于拍摄条件的平滑处理。

以上所描述的实施例表示了体现本发明的实例以及根据所述实施例的所述内容，根据所述实施例的所述内容均具有与所附权利要求中所要求的内容相对应的关系，如以下所解释的。相类似，所附权利要求中所要求的内容均与根据本发明所述实施例的同名内容具有相对应的关系。然而，本发明并不局限于这些实施例。在不背离本发明的宗旨的情况下，可以对本发明进行多方面的修改。

另外，可以把以上所描述的上述实施例中的规程视为具有一系列步骤的方法、致使计算机执行所述步骤系列的程序、以及存储所述程序的存储媒体。所述存储媒体可以包括CD（紧致盘）、MD（小型盘）、DVD（数字通用盘）、存储卡、蓝光盘（注册商标）、诸如闪存的非易失存储器等。

另外，也可以将本发明配置如下。

（1）一种图像处理设备，包含：

获取图像的图像获取部分；

深度获取部分，其获取与图像中像素相关联的深度；

深度转换部分，其根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及

存储部分，其存储与图像相关联的所转换的深度。

（2）根据（1）所述的图像处理设备，还包含平滑处理部分，所述平滑处理部分根据相应于图像中预定像素的所转换的深度将图像平滑处理到取决于相应于所述图像中所述像素的所转换的深度的程度。

（3）根据（2）所述的图像处理设备，其中，所述函数为其特性随系数而变化的函数，以及

平滑处理部分基于根据所述特性所转换的深度执行平滑处理。

（4）根据（3）所述的图像处理设备，其中，所述函数为由下列公式所定义的指数函数：

Y=α×e^(-βx)，其中，x为深度、y为输出、e为自然对数的底、α为预定常数以及β为系数。

（5）根据（3）所述的图像处理设备，其中，所述函数为由下列公式所定义的指数函数：

Y=α×{1–e^(-βx)}，其中，x为深度、y为输出、e为自然对数的底、α为预定常数以及β为系数。

（6）根据（3）~（5）任何之一所述的图像处理设备，还包含系数供给部分，所述系数供给部分依据捕获图像的拍摄条件，供给系数值。

（7）根据（6）所述的图像处理设备，其中，存储部分还存储与图像相关联的拍摄条件，以及

系数供给部分依据所存储的拍摄条件供给系数。

（8）根据（1）~（7）任何之一所述的图像处理设备，其中，深度转换部分把像素的集合创建为深度图像，每个像素具有作为像素值的所转换的深度值。

（9）根据（8）所述的图像处理设备，还包含压缩部分，其根据一种预定图像压缩格式压缩深度图像，以及

存储部分，其存储与图像相关联的所压缩的深度图像。

（10）一种控制图像处理设备的方法，包含：

使用图像获取部分获取图像；

使用深度获取部分获取与图像中像素相关联的深度；

使用深度转换部分，根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及

使用存储部分存储与图像相关联的所转换的深度。

（11）一种致使计算机执行下列操作的程序：

获取图像；

获取与图像中像素相关联的深度；

根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及

存储与图像相关联的所转换的深度。

本领域技术人员将会意识到：可以依据设计要求和其它因素，对本发明进行多方面的修改、组合、子组合以及变动，只要这些修改、组合、子组合以及变动处于所附权利要求或者其等效要求的范围内即可。

本发明包含与2011年8月24日向日本专利局提出的日本优先专利申请JP 2011-182518中所公开的主题相关的主题，特将其全部内容并入此处，以作参考。

Claims (11)

1.一种图像处理设备，包含：

获取图像的图像获取部分；

深度获取部分，其获取与图像中像素相关联的深度；

深度转换部分，其根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及

存储部分，其存储与图像相关联的所转换的深度。

2.根据权利要求1所述的图像处理设备，还包含平滑处理部分，所述平滑处理部分根据相应于图像中预定像素的所转换的深度将图像平滑处理到取决于相应于所述图像中所述像素的所转换的深度的程度。

3.根据权利要求2所述的图像处理设备，其中，所述函数为其特性随系数而变化的函数，以及

平滑处理部分基于根据所述特性所转换的深度执行平滑处理。

4.根据权利要求3所述的图像处理设备，其中，所述函数为由下列公式所定义的指数函数：

Y=α×e^(-βx)，其中，x为深度、y为输出、e为自然对数的底、α为预定常数以及β为系数。

5.根据权利要求3所述的图像处理设备，其中，所述函数为由下列公式所定义的指数函数：

Y=α×{1-e^(-βx)}，其中，x为深度、y为输出、e为自然对数的底、α为预定常数以及β为系数。

6.根据权利要求3所述的图像处理设备，还包含系数供给部分，所述系数供给部分依据捕获图像的拍摄条件，供给系数值。

7.根据权利要求6所述的图像处理设备，其中，存储部分还存储与图像相关联的拍摄条件，以及

系数供给部分依据所存储的拍摄条件供给系数。

8.根据权利要求1所述的图像处理设备，其中，深度转换部分把像素的集合创建为深度图像，每个像素具有作为像素值的所转换的深度值。

9.根据权利要求8所述的图像处理设备，还包含压缩部分，其根据一种预定图像压缩格式压缩深度图像，以及

存储部分，其存储与图像相关联的所压缩的深度图像。

10.一种控制图像处理设备的方法，包含：

使用图像获取部分获取图像；

使用深度获取部分获取与图像中像素相关联的深度；

使用深度转换部分，根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及

使用存储部分存储与图像相关联的所转换的深度。

11.一种致使计算机执行下列操作的程序：

获取图像；

获取与图像中像素相关联的深度；

根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及

存储与图像相关联的所转换的深度。

Images