CN102119527B - 图像处理设备和图像处理方法 - Google Patents

Abstract

一种图像处理设备包括：图像获取单元，用于获取对经由光圈的开口从被摄体入射的光在图像传感器单元上进行成像的结果，作为图像；控制单元，用于在所述图像获取单元获取所述图像时，基于定义所述开口的形状的时间变化的函数来控制所述开口的形状；以及检测单元，用于基于所述函数，在所述图像中检测模糊状态。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备和图像处理方法，尤其涉及一种适用于从所拍摄图像检测模糊状态的技术。

背景技术

已知当经由包括变焦透镜的光学系统在图像传感器的摄像面上对被摄体进行成像时，不同于原始被摄体，由图像传感器所拍摄的图像在光学系统的像差的影响下模糊，由此降低了图像质量。

已知当经由焦平面位于相对于要进行成像的被摄体的位置的偏移位置的光学系统、在图像传感器的摄像面上对被摄体进行成像时，由图像传感器所拍摄的图像变得模糊。因此，所拍摄图像的图像质量劣化。

一种用于防止图像质量下降的技术是反卷积(deconvolution)。该技术通过从包含模糊的一个所拍摄图像检测模糊状态来生成无模糊的清晰的所拍摄图像。作为卷积的逆运算的反卷积根据输出函数和加权函数求出输入函数。

特别地，编码孔径技术(coded aperture technique)使得能够利用不同模糊函数进行反卷积。由此，将极大影响模糊状态的光圈设置成特殊形状，并且将用于检测模糊状态的指标嵌入所拍摄图像中。

根据非专利文献1所述的技术，将在经由特殊固定光圈所拍摄的图像中产生的模糊嵌入在所拍摄图像中作为用于检测模糊状态的指标。所拍摄图像中产生的模糊函数具有宽的特征频率分布，并且允许检测根据被摄体的各部分的深度而改变的模糊状态。

根据非专利文献2所述的技术，将使用特殊光圈所产生的模糊类似地嵌入所拍摄图像中作为用于检测模糊状态的指标。该技术意图减少模糊函数中的特定频率成分，以检测根据被摄体的各部分的深度而改变的模糊状态。

[非专利文献1]Veeraraghavan，A.，Raskar，R.，Agrawal，A.，Tumblin，J.(2007)，″Dappled Photography：Mask EnhancedCameras for Heterodyned Light Fields and Coded ApertureRefocusing″，ACM Transactions on Graphics(Proc.SIGGRAPH)

[非专利文献2]Levin，A.，Fergus，R.，Durand，F.，Freeman，B.(2007)，″Image and Depth from a Conventional Camera with aCoded  Aperture″，ACM Transactions on Graphics(Proc.SIGGRAPH)

然而，非专利文献1和2中的技术采用固定形状的光圈。这限制了用于将指标嵌入所拍摄图像以检测模糊状态的方法。

发明内容

为解决上述问题做出了本发明，并且本发明允许通过使用可变孔径光圈生成特征模糊图案，以高精度从所拍摄图像检测模糊状态。

根据本发明的第一方面，一种图像处理设备，包括：图像获取单元，用于获取在图像传感器单元上对经由光圈的开口从被摄体入射的光进行成像的结果，作为图像；控制单元，用于在所述图像获取单元获取所述图像时，基于定义所述开口的形状的时间变化的函数来控制所述开口的形状；以及检测单元，用于基于所述函数，检测所述图像中的模糊状态。

根据本发明的第二方面，一种图像处理方法，其通过使用计算机来进行以下步骤：获取步骤，用于获取在图像传感器单元上对经由光圈的开口从被摄体入射的光进行成像的结果，作为图像；控制步骤，用于在获取所述图像时，基于定义所述开口的形状的时间变化的函数来控制所述开口的形状；以及检测步骤，用于基于所述函数，检测所述图像中的模糊状态。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是举例说明根据第一实施例的摄像设备的结构的框图；

图2A和2B是举例说明根据第一实施例的可变孔径光圈的结构的图；

图3是示出根据第一实施例的保持在光圈直径表保持单元中的经过时间和孔径直径之间的特性的图；

图4A～4E是示出根据第一实施例的、针对孔径直径r₀～r₄的、作为位于与摄像镜头相距预定距离处的点光源的被摄体的模糊图像中相对于模糊的中心的位置(b_x，b_y)和亮度之间的特性的图；

图5是用于解释根据第一实施例的摄像处理的过程的流程图；

图6是用于解释根据第一实施例的可变孔径光圈和快门的控制过程的流程图；

图7是用于解释根据第一实施例的模糊状态检测单元的模糊状态检测过程的流程图；

图8A～8D是举例说明根据第一实施例的具有特殊形状的开口的可变孔径光圈的图；

图9A和9B是示出根据第一实施例的在孔径直径r的变化速度连续的情况下孔径直径r和从开始曝光起经过的时间t之间的关系的特性的图；

图10是示出根据本发明第一实施例的在使用快门时孔径直径和从开始曝光起经过的时间之间的关系的图；

图11是举例说明根据第二实施例的摄像设备的结构的框图；

图12A～12C是举例说明根据第二实施例的切换光圈的示意结构的图；

图13是示出根据第二实施例的保持在光圈图案表保持单元中的光圈图案编号和曝光时间之间的关系的图；

图14A和14B是示出根据第二实施例的在使用各光圈图案时作为位于与摄像镜头相距预定距离处的点光源的被摄体的模糊图像中相对于模糊的中心的位置和亮度之间的关系的特性的图；

图15是用于解释根据第二实施例的摄像处理的过程的流程图；

图16是用于解释根据第二实施例的切换光圈和快门的控制过程的流程图；以及

图17A～17C是举例说明根据第二实施例的具有由液晶所限定的孔径形状的液晶光圈的图。

具体实施方式

下面参考附图详细说明本发明的实施例。这些实施例仅是所附权利要求书所述的本发明的结构的例子，并且本发明不局限于这些实施例。

第一实施例

图1举例说明根据应用了本发明的第一实施例的摄像设备101的结构。如图1所示，第一实施例中的摄像设备101包括图像传感器单元102、摄像镜头103、用作可变光圈的可变孔径光圈104以及可变光圈控制单元105。摄像设备101还包括快门106、快门控制单元107、图像获取单元(所拍摄图像生成单元)108、模糊状态检测单元109、清晰图像生成单元110、操作单元111和经过时间测量单元112。

图像传感器单元102通过使用沿着x轴和y轴二维排列的元件检测到达图像传感器单元102的表面的光。图像传感器单元102的例子有CCD图像传感器和CMOS图像传感器。在根据第一实施例的结构中，图像传感器单元102具有平面矩形形状，并且检测经由摄像镜头103和可变孔径光圈104投影的被摄体图像的光。可以通过在元件阵列前面配置低通滤波器或Bayer阵列颜色滤波器等获取彩色图像。

摄像镜头103包括用于将被摄体图像投影在图像传感器单元102上的光学系统。第一实施例中的摄像镜头103使用单凸透镜镜头。(后面说明的)可变孔径光圈104被配置在孔径位置处以改变孔径直径。摄像镜头103不一定总是使用单凸透镜镜头，并且可以由多个透镜或与反射镜的组合所构成，只要可以将被摄体图像投影在图像传感器单元102上，并且可以配置可变孔径光圈104即可。

快门106与可变孔径光圈104协作地通过透过或遮断从被摄体入射的光，使图像传感器单元102曝光或遮光。在第一实施例中，快门106在任意时刻进行切换以使图像传感器单元102曝光于通过摄像镜头103所获得的投影被摄体图像的光或者遮光。快门106是例如机械焦平面快门。快门控制单元107控制快门106的曝光/遮光定时。

图像获取单元108包括A/D转换器113和存储器114。图像获取单元108将由图像传感器单元102所感测到的投影被摄体图像的光转换成数字数据，以生成具有2D亮度分布的所拍摄图像a(x，y)，并将其存储在存储器114中。

可变孔径光圈104改变摄像镜头103的孔径直径。图2A和2B示出第一实施例中的可变孔径光圈104的示意结构。如图2A所示，可变孔径光圈104包括外部框201、如图2B所示相对外部框201转动以改变孔径直径r的孔径叶片202、以及驱动孔径叶片202的马达203。可变孔径光圈104可以在可变光圈控制单元105的控制下任意改变摄像镜头103的孔径直径r。

可变光圈控制单元105包括光圈直径表保持单元115和光圈控制信号生成单元116。光圈直径表保持单元115保持由从摄像操作开始经过的时间t和随着经过的时间t改变的可变孔径光圈104的孔径直径r的目标值组成的表。

图3示出光圈直径表保持单元115中保持的经过时间t和孔径直径r之间的特性。可以将图3所示的特性准备为查找表。在图3中，孔径直径r₀对应于第一形状，并且孔径直径r₄对应于第二形状。可以通过下面的函数给出图3中的经过时间t和孔径直径r之间的关系：

r＝g(t)                …(1)

代替该函数中的孔径直径r，还可以使用孔径面积和孔径外周长等。可以通过孔径直径、孔径面积或孔径外周长等的变化量(速度)来定义该函数。

图4A～4E示出针对孔径直径r₀～r₄的、作为位于与摄像镜头103相距预定距离处的点光源的被摄体的模糊图像中相对于模糊的中心的位置(b_x，b_y)和亮度之间的特性。在各模糊图像中，暗部分表现为高亮度区域。该特性根据如孔径直径r₀～r₄所表示的可变孔径光圈104的孔径直径r而改变。该特性还根据摄像镜头103和点光源之间的距离z而改变。可以将在以任意孔径直径r和相对于点光源的距离z对图像进行静态拍摄时的相对于模糊的中心的位置(b_x，b_y)处的亮度i写为：

i＝f(b_x，b_y，z，r)                …(2)。

等式(2)假定点光源所发射的光具有相同的f(b_x，b_y，z，r)，而不管该光通过摄像镜头103的位置和角度如何。认为通过根据等式(2)将与图像传感器单元102的像素一样多的点光源卷积于所拍摄图像a(x，y)中，来获得图像传感器单元102所感测到的投影被摄体图像。基于等式(2)，可以按照如下给出曝光之后所生成的模糊点光源图像中的、相距点光源为距离z并且相对于模糊的中心的位置(b_x，b_y)处的亮度j：

$j(b_x,b_y,z)=\underset{r_0}{\overset{r_4}{\∫}}f(b_x,b_y,z,r)\mathrm{dr}\·\·\·\left(3\right)$

代入等式(1)得到：

$j(b_x,b_y,z)=\underset{r_0}{\overset{r_4}{\∫}}f(b_x,b_y,z,g\left(t\right))\mathrm{dr}$

$j(b_x,b_y,z)=\underset{r_0}{\overset{r_4}{\∫}}f(b_x,b_y,z,g\left(t\right))\frac{\mathrm{dr}}{\mathrm{dt}}\mathrm{dt}$

$j(b_x,b_y,z)=\underset{0}{\overset{T}{\∫}}f(b_x,b_y,z,g\left(t\right))g^{\′}\left(t\right)\mathrm{dt}\·\·\·\left(4\right)$

J(ω_x，ω_y，z)表示当摄像镜头103和点光源之间的距离z在j(b_x，b_y，z)中取为预定值时沿着空间轴b_x和b_y的2D傅立叶变换。设H(ω_x，ω_y)是空间频率分布，即通常的投影被摄体图像h(x，y)中的2D傅立叶变换，由此J(ω_x，ω_y，z)的相关函数Ka为：

$\mathrm{Ka}\left(z\right)=\underset{{\mathrm{\ω}}_{y\min }}{\overset{{\mathrm{\ω}}_{y\max }}{\∫}}\underset{{\mathrm{\ω}}_{x\min }}{\overset{{\mathrm{\ω}}_{x\max }}{\∫}}{\left|\right|J({\mathrm{\ω}}_x,{\mathrm{\ω}}_y,z)H({\mathrm{\ω}}_x,{\mathrm{\ω}}_y)\left|\right|}^{2}d{\mathrm{\ω}}_{x}d{\mathrm{\ω}}_y\·\·\·\left(5\right)$

此时，假定(b_x，b_y)和(x，y)在相同空间轴上，x轴频率成分ω_x取范围ω_xmin～ω_xmax的值，并且y轴频率成分ω_y取范围ω_ymin～ω_ymax的值。在摄像镜头103和点光源之间的距离z变化了Δz时的自相关函数Km为：

$\mathrm{Km}\left(z\right)=\underset{{\mathrm{\ω}}_{y\min }}{\overset{{\mathrm{\ω}}_{y\max }}{\∫}}\underset{{\mathrm{\ω}}_{x\min }}{\overset{{\mathrm{\ω}}_{x\max }}{\∫}}{\left|\right|J({\mathrm{\ω}}_x,{\mathrm{\ω}}_y,z)J({\mathrm{\ω}}_x,{\mathrm{\ω}}_y,z+\mathrm{\Δz})\left|\right|}^{2}d{\mathrm{\ω}}_{x}d{\mathrm{\ω}}_y\·\·\·\left(6\right)$

在摄像镜头103和点光源之间的距离z的可能范围内，对g(t)进行确定，以将Ka设置成不等于0但接近0。这相当于能够容易地在频域中从物理上将清晰投影被摄体图像与模糊图像分离的操作。同时，将g(t)定义成以小的Δz使Km接近0。这相当于提高用于根据模糊图像的变化来检测摄像镜头103和点光源之间的距离z的变化的分辨力的操作。

注意，无需总是解析且唯一地计算g(t)。根据本实施例，通过随机重复生成可变孔径光圈104可控的g(t)来计算Ka和Km。从重复生成的g(t)中选择产生最接近0的Ka和Km的g(t)。

例如，如图3所示，当通过以一个或多个点处的不可微分的值从r0改变成r4的位置的g(t)来定义孔径直径r时，Ka和Km值可以更接近0。然而，实际上，难以进行针对完全不可微分的值的控制，并且不能求出等式(4)中的g′(t)。因此，需要进行针对几乎不可微分的值的强烈控制。

这样，确定要保持在光圈直径表保持单元115中的g(t)，并且基于g(t)控制可变孔径光圈104的孔径直径r。因此可以将用于检测模糊状态的指标嵌入在所拍摄图像a中。

光圈控制信号生成单元116向可变孔径光圈104提供控制信号，以基于从经过时间测量单元112所获得的经过时间t和从光圈直径表保持单元115所获得的目标孔径直径r获得孔径直径r。

模糊状态检测单元109包括傅立叶变换单元117、模糊图案保持单元118、相关计算单元119和模糊状态保持单元120。模糊图案保持单元118保持表示在感测与摄像镜头103相距距离z处的点光源时模糊函数j(x，y，z)的傅立叶变换的图案Jp(ω_x，ω_y，z)。作为该图案的值范围，作为在被摄体和摄像镜头103之间的所有可能距离z处进行离散采样的结果，x轴频率成分ω_x范围为ω_xmin～ω_xmax，并且y轴频率成分ω_y范围为ω_ymin～ω_ymax。

傅立叶变换单元117设置像素位置(x，y)，以检测存储在图像获取单元108的存储器114中的所拍摄图像a中的模糊状态。然后，傅立叶变换单元117提取以像素位置(x，y)为中心的具有预定大小的单位矩形区域u。要提取的矩形区域的大小必须至少满足下面的条件：x轴频率成分ω_x取值范围为ω_xmin～ω_xmax，并且y轴频率成分ω_y取值范围为ω_ymin～ω_ymax。对于提取的单位矩形区域u生成2D傅立叶变换U(ω_x，ω_y)。

相关计算单元119计算模糊图案Jp(ω_x，ω_y，z)和从所拍摄图像a所提取的单位矩形区域u的傅立叶变换U(ω_x，ω_y)之间的相关函数Kr：

$\mathrm{Kr}\left(z\right)=\underset{{\mathrm{\ω}}_{y\min }}{\overset{{\mathrm{\ω}}_{y\max }}{\∫}}\underset{{\mathrm{\ω}}_{x\min }}{\overset{{\mathrm{\ω}}_{x\max }}{\∫}}{\left|\right|\mathrm{Jp}({\mathrm{\ω}}_x,{\mathrm{\ω}}_y,z)U({\mathrm{\ω}}_x,{\mathrm{\ω}}_y)\left|\right|}^{2}d{\mathrm{\ω}}_{x}d{\mathrm{\ω}}_y\·\·\·\left(7\right)$

基于等式(7)，对于被摄体和摄像镜头103之间的所有可能距离z计算Kr。使Kr最大的距离z_p(x，y)用作所拍摄图像a中的像素位置(x，y)处的被摄体距离，并且Jp(ω_x，ω_y，z)表示模糊图像在像素位置(x，y)处的傅立叶变换。

模糊状态保持单元120将由相关计算单元119计算出的、所拍摄图像a的所有像素中使Kr最大的距离z_p(x，y)和傅立叶变换Jp(ω_x，ω_y，z)保持为模糊状态。

清晰图像生成单元110根据所拍摄图像a和保持在模糊状态保持单元120中的模糊状态，生成无模糊的清晰图像a_s。说明该处理的具体过程。

A(ω_x，ω_y)表示所拍摄图像a(x，y)的傅立叶变换。当被摄体和摄像镜头之间的距离z恒定时，通过如下等式(8)给出基于模糊图案Jp(ω_x，ω_y，z)的反卷积后的傅立叶变换Ad(ω_x，ω_y，z)：

$\mathrm{Ad}({\mathrm{\ω}}_x,{\mathrm{\ω}}_y,z)=A({\mathrm{\ω}}_x,{\mathrm{\ω}}_y)\·\frac{1}{\mathrm{Jp}({\mathrm{\ω}}_x,{\mathrm{\ω}}_y,z)}\·\·\·\left(8\right)$

其中，‖Jp(ωx，ωy，z)‖²＝0。

(ω_x，ω_y，z)不是根据等式(8)而计算得到的，并且根据计算出的相邻Ad(ω_x，ω_y，z)的值对(ω_x，ω_y，z)进行插值。对于被摄体和摄像镜头103之间的所有可能距离z，计算出Ad(ω_x，ω_y，z)。各Ad经过逆傅立叶变换，从而获得反卷积图像a_d(x，y，z)。基于各像素的距离z_p(x，y)计算清晰图像a_s(x，y)：

a_s(x，y)＝a_d(x，y，z_p(x，y))            …(9)

通过该处理，清晰图像生成单元110可以生成清晰图像a_s(x，y)。

操作单元111包括被按下以输入来自用户的摄像操作的按钮。操作单元111不特别局限于该按钮，并且根据摄像设备的形式可以包括触摸面板和GUI的组合，只要可以输入摄像操作即可。

经过时间测量单元112测量从通过操作单元111输入的用户摄像操作起经过的时间。

图5是用于说明摄像处理的过程的流程图。

在用户按下操作单元111的按钮以向摄像设备给出摄像操作时，开始该摄像处理。

在步骤S51，图像获取单元108读出并初始化图1的图像传感器单元102中所剩余的所有光检测状态。

在步骤S52，可变光圈控制单元105在开始曝光时将可变孔径光圈104初始化成孔径直径r₀。在完成初始化图像传感器单元102和可变孔径光圈104时，控制可变孔径光圈104和快门106以进行曝光。后面将说明曝光中的可变孔径光圈104和快门106的控制过程。

在曝光后，处理进入步骤S53以获取所拍摄图像。更具体地，图像获取单元108中的A/D转换器113读取由图像传感器单元102所感测的投影被摄体图像的光，并且将其转换成数字数据。存储器114将该数字数据存储为所拍摄图像a。

处理进入步骤S54。模糊状态检测单元109从存储器114读出所拍摄图像a以检测所拍摄图像a中的模糊状态。后面将说明模糊状态检测单元109检测模糊状态的过程。

最后，在步骤S55，清晰图像生成单元110从图像获取单元108中的存储器114读出所拍摄图像a。清晰图像生成单元110还从模糊状态检测单元109中的模糊状态保持单元120读出模糊状态。然后，清晰图像生成单元110生成无模糊的清晰图像a_s。

将说明可变孔径光圈104和快门106的控制过程。

图6是用于说明可变孔径光圈104和快门106的控制过程的流程图。

在步骤S61，可变光圈控制单元105控制可变孔径光圈104使其在曝光中位于初始位置r₀。处理进入步骤S62以初始化经过时间测量单元112，从而设置从摄像操作开始经过的时间t＝0，并且开始测量经过时间。

处理进入步骤S63以将快门106控制成曝光状态。在步骤S64，从经过时间测量单元112获取经过时间t。基于用作输入的经过时间t，从光圈直径表保持单元115获取可变孔径光圈104的目标孔径直径r(步骤S65)。

此后，处理进入步骤S66。光圈控制信号生成单元116向可变孔径光圈104提供信号以将其改变成步骤S65所获取到的目标孔径直径r。在步骤S67判断可变孔径光圈104的控制是否经过以下整个循环而结束：获取经过时间t，获取目标孔径直径r，并且向可变孔径光圈104提供信号。如果判断为可变孔径光圈104的控制没有结束，则处理返回到步骤S64以重复该循环，直到可变孔径光圈104在图3的时刻T达到了孔径直径r₄为止。

如果可变孔径光圈104达到了孔径直径r₄，则该循环结束以通过快门106遮挡光(步骤S68)。此后，结束该处理。执行该处理以控制可变孔径光圈104和快门106。

将说明上述模糊状态检测过程。图7是用于说明模糊状态检测单元109的模糊状态检测过程的流程图。

在步骤S71，模糊状态检测单元109中的傅立叶变换单元117读出图像获取单元108的存储器114中所存储的所拍摄图像a。

处理进入步骤S72以设置像素位置(x，y)，从而检测在步骤S71所读出的所拍摄图像a中的模糊状态(步骤S72)。从所拍摄图像a提取以像素位置(x，y)为中心的单位矩形区域u(步骤S73)，并且计算单位矩形区域u的傅立叶变换U(步骤S74)。

然后处理进入步骤S75。相关计算单元119设置被摄体和摄像镜头103之间的距离z，并且从模糊图案保持单元118中选择与距离z相对应的模糊图案Jp。

在步骤S76，基于等式(7)计算傅立叶变换U和Jp之间的相关函数Kr。由于对于所有可能距离z计算相关函数Kr，因而重复选择Jp，并且对于每一Jp计算Kr。

在步骤S77，判断所有模糊图案的扫描是否已经结束。如果判断为该扫描没有结束，则处理返回到步骤S75以重复上述处理。如果在步骤S77判断为该扫描已结束，则处理进入步骤S78，以将相关函数Kr最大的距离z设置为像素位置(x，y)处与被摄体的距离z_p(x，y)。将距离z_p(x，y)与模糊图案Jp一起记录在模糊状态保持单元120中。

在步骤S79，判断在所拍摄图像a的所有像素位置(x，y)处是否都结束了扫描。如果判断为扫描没有结束，则处理返回到步骤S72以重复上述处理。如果在步骤S79判断为在所有像素位置(x，y)处都结束了扫描，则该处理结束。

第一实施例执行上述处理以将指标嵌入所拍摄图像中来检测模糊状态，并且检测嵌入的模糊状态。通过在可变光圈控制单元105中改变g(t)可以自由增加用于嵌入模糊状态的指标图案的数量。因此，与使用固定光圈嵌入用于检测模糊状态的指标的传统技术不同，用于嵌入模糊状态的指标图案的数量没有限制。

传统技术采用特殊形状的固定光圈，并且难以将该光圈应用于正常拍摄所使用的照相机。相反，第一实施例采用形状与正常拍摄所使用的照相机所采用的光圈的形状相同的可变孔径光圈104。本实施例使得能够进行用于嵌入模糊状态的拍摄和正常拍摄这两者。

注意，类似于正常拍摄所使用的照相机，图2A的可变孔径光圈104的开口大致具有圆形形状。为更精确地获取模糊状态，期望该开口具有特殊形状。

图8A～8D举例说明具有特殊形状的开口的可变孔径光圈。图8A～8D中的可变孔径光圈的孔径叶片801被配置成：随着开口的缩小，该开口形成象猫眼一样的垂直方向上的细长形状。具有该形状的开口的可变孔径光圈可以更精确地从y轴频率成分ω_y极大改变的被摄体获取模糊状态。

在可变光圈控制单元105中，孔径直径r的变化速度不一定总是不可微分的。例如，可变孔径光圈104可以具有如图8A～8D所示的特殊形状，从而使得g(t)的二次微分取正值和负值。

图9A示出在孔径直径r在时间t上的变化的二次微分取正值和负值时孔径直径r和从开始曝光起经过的时间t之间的关系g(t)。图9B示出g(t)的时间微分g(t)′。另外，在该控制中，定义g(t)，以将Ka设置成不等于0但是接近0，同时，以小的Δz将Km设置成接近0。还可以使用诸如衰减正弦波等的现有波形，只要g(t)满足这些条件即可。此外，可变光圈控制单元105可以在快门106控制曝光和遮光的同时，控制孔径直径r的变化速度。

图10是示出在使用快门106时孔径直径r和从开始曝光起经过的时间t之间的关系的图。可以认为快门106遮光时的孔径直径r为0，而不管可变孔径光圈104的状态如何。另外，在该控制中，对g(t)进行确定，以将Ka设置成不等于0但是接近0，另外，以小的Δz将Km设置成接近0。此时，每当快门106遮光时，通过图像获取单元108可以获取多个所拍摄图像ax，并且合成这多个所拍摄图像ax以最终生成所拍摄图像a。

以上述方式所设置的g(t)产生模糊状态检测单元109能够容易地检测到的模糊图像。

当使用快门106时，需要快门106高速动作。因此更希望使用液晶快门或者被电连接到图像传感器单元102的电子快门。

模糊状态检测单元109不一定总是与摄像设备连接。例如，当在拍摄之后检测模糊状态时，可以将包括模糊状态检测单元109的PC连接至摄像设备。

第一实施例假定通过等式(2)给出的模糊函数具有相同的f(b_x，b_y，z，r)，而不管由点光源所发射的光束通过摄像镜头103的位置和角度如何。实际上，f(b_x，b_y，z，r)根据由点光源所发射的光束通过摄像镜头103的位置和角度而改变。因为该原因，在求解模糊函数时，还可以采用考虑所拍摄图像a中的像素位置(x，y)的f(b_x，b_y，x，y，z，r)，或者还可以将所拍摄图像a分成数个区域并对各个区域设置不同的f(b_x，b_y，z，r)。

第二实施例：使用切换光圈

图11示出根据本发明第二实施例的摄像设备1101的结构。

如图11所示，第二实施例中的摄像设备1101包括图像传感器单元1102、摄像镜头1103、用作可变光圈的切换光圈1104、可变光圈控制单元1105、快门1106和快门控制单元1107。摄像设备1101还包括图像获取单元1108、模糊状态检测单元1109、清晰图像生成单元1110、操作单元1111和经过时间测量单元1112。

图像传感器单元1102具有与第一实施例中的图像传感器单元102相同的结构。摄像镜头1103包括用于将被摄体图像投影在图像传感器单元1102上的光学系统。本实施例中的摄像镜头1103使用单凸透镜镜头。将(后面说明的)切换光圈1104配置在孔径位置处以改变孔径形状。摄像镜头1103不一定总是使用单凸透镜镜头，并且可以由多个透镜或与反射镜的组合所构成，只要可以将被摄体图像投影在图像传感器单元1102上并且可以配置切换光圈1104即可。

快门1106和快门控制单元1107具有与第一实施例中的快门106和快门控制单元107的结构相同的结构。类似于第一实施例中的图像获取单元108，图像获取单元1108包括A/D转换器1113和存储器1114。切换光圈1104改变摄像镜头1103的孔径形状。

图12A～12C示出第二实施例中的切换光圈1104的示意结构。如图12A所示，第二实施例中的切换光圈1104包括开口1201、光圈图案1202、容纳光圈图案1202的光圈图案容纳部1203和驱动光圈图案1202的马达1204。

如图12B和12C所示，第二实施例中具有该结构的切换光圈1104可以通过在可变光圈控制单元1105的控制下在多个光圈图案1202之间进行切换来改变摄像镜头1103的孔径形状。

可变光圈控制单元1105包括光圈图案表保持单元1115和光圈控制信号生成单元1116。光圈图案表保持单元1115保持由各光圈图案1202的光圈图案编号k和针对每一图案编号k的曝光时间t_k的目标值所构成的表。光圈图案编号0对应于第一形状，并且光圈图案编号1对应于第二形状。

图13示出保持在光圈图案表保持单元1115中的光圈图案编号k的曝光时间t_k的特性。可以如下给出图13中的光圈图案编号k和曝光时间t_k之间的关系：

t_k＝v(k)                …(10)

图14A和14B示出在使用各光圈图案1202时作为与摄像镜头1103相距预定距离处的点光源的被摄体的模糊图像中相对于模糊的中心的位置(b_x，b_y)和亮度之间的特性。图14A示出使用光圈图案0时的特性，并且图14B示出使用光圈图案1时的特性。该特性中的暗部分表现为高亮度区域。

如图14A和14B所示，该特性根据光圈图案编号k和摄像镜头1103和点光源之间的距离z而改变。可以将在相距点光源为距离z处利用任意光圈图案对图像进行静态拍摄时的相对于模糊的中心的位置(b_x，b_y)处的亮度i写为：

i＝f_k(b_x，b_y，z)        …(11)

等式(11)假定由点光源所发射的光具有相同的f_k(b_x，b_y，z)，而不管该光通过摄像镜头1103的位置和角度如何。认为通过根据等式(11)将与图像传感器单元1102的像素一样多的点光源卷积于所拍摄图像a(x，y)中，来获得图像传感器单元1102所感测的投影被摄体图像。基于等式(11)，可以按照如下定义曝光之后所生成的模糊点光源图像中的、相距点光源为距离z并且相对于模糊的中心的位置(b_x，b_y)处的亮度j：

$j(b_x,b_y,z)={\mathrm{\Σ}}_{k=1}^{k_{\max }}{f}_k(b_x,b_y,z)\·t_k\·\·\·\left(12\right)$

其中，kmax是使用的最大光圈图案编号k。

代入等式(10)产生：

$j(b_x,b_y,z)={\mathrm{\Σ}}_{k=1}^{k_{\max }}{f}_k(b_x,b_y,z)\·v\left(k\right)\·\·\·\left(13\right)$

J(ω_x，ω_y，z)表示当摄像镜头1103和点光源之间的距离z在j(b_x，b_y，z)中取为预定值时沿着空间轴b_x和b_y的2D傅立叶变换。设H(ω_x，ω_y)是空间频率分布，即通常的投影被摄体图像h(x，y)中的2D傅立叶变换，由此通过第一实施例中的等式(5)给出J(ω_x，ω_y)的相关函数Ka。

等式(5)假定x轴频率成分ω_x取范围ω_xmin～ω_xmax的值，并且y轴频率成分ω_y取范围ω_ymin～ω_ymax的值。通过第一实施例中的等式(6)给出在摄像镜头1103和点光源之间的距离z变化了Δz时的自相关函数Km。

在等式(6)中，在摄像镜头1103和点光源之间的距离z的可能范围内，对j(b_x，b_y，z)进行确定，以将Ka设置成不等于0但接近0。这相当于能够容易地在频域中从物理上将清晰投影被摄体图像与模糊图像分离的操作。同时，将j(b_x，b_y，z)定义成以小的Δz使Km接近0。这相当于提高用于根据模糊图像的变化来检测摄像镜头1103和点光源之间的距离z的变化的分辨力的操作。

例如，通过将摄像镜头1103的模糊函数乘以诸如M阵列等的2D伪随机图案来获得满足这些关系的j(b_x，b_y，z)。在这种情况下，摄像镜头1103的孔径形状对应于M阵列。由于与使用透明和不透明这两个值相比可以使用甚至包括半透明值的多个值来生成更多数量的图案，因而M阵列可以满足Ka和Km的条件。

在第二实施例中，必须通过f_k(b_x，b_y，z)和v(k)的组合来生成j(b_x，b_y，z)。f_k(b_x，b_y，z)由摄像镜头1103的模糊函数和光圈图案编号k的光圈图案1202的孔径形状来确定。为了使用单个f_k(b_x，b_y，z)生成多个j(b_x，b_y，z)，光圈图案1202的孔径形状需要半透明区域。

然而，在物理上难以生成在所有可视波长范围具有精确的透光率的半透明孔径形状。因此，基于v(k)执行最终相当于具有半透明区域的孔径形状的控制。例如，在给定的(b_x，b_y，z)处，f0＝1且f1＝0时，可以通过针对曝光时间T进行设置来生成该(b_x，b_y，z)处具有任意透光率α的j(b_x，b_y，z)：

v(0)＝Tα                …(14)

v(1)＝T(1-α)            …(15)

此时，希望各f_k(b_x，b_y，z)不是仿射变换(affine transform)的变形等式，而是独立于仿射的等式。还采用该控制来随机生成f_k(b_x，b_y，z)和v(k)，并且设置满足Ka和Km的条件的f_k(b_x，b_y，z)和v(k)的组合。

这样，定义要保持在光圈图案表保持单元1115中的v(k)，并且基于v(k)控制切换光圈1104的各光圈图案1202的曝光时间t_k。因此，可以将用于检测模糊状态的指标嵌入在所拍摄图像a中。

光圈控制信号生成单元1116向切换光圈1104提供控制信号，以基于从经过时间测量单元1112所获得的光圈图案编号k和从光圈图案表保持单元1115所获得的目标曝光时间t_k来切换光圈图案编号k。模糊状态检测单元1109包括傅立叶变换单元1117、模糊图案保持单元1118、相关计算单元1119和模糊状态保持单元1120。

类似于第一实施例中的模糊状态检测单元109，第二实施例中的模糊状态检测单元1109检测模糊状态。模糊状态保持单元1120将由相关计算单元1119计算出的所拍摄图像a的所有像素的距离z_p(x，y)和Jp(ω_x，ω_y，z)保持为模糊状态。清晰图像生成单元1110根据所拍摄图像a和保持在模糊状态保持单元1120中的模糊状态来生成无模糊的清晰图像a_s。

第二实施例中的清晰图像生成单元1110可以通过进行与第一实施例中的清晰图像生成单元110的处理相同的处理，来生成清晰图像a_s(x，y)。操作单元1111具有与第一实施例中的操作单元111的结构相同的结构。经过时间测量单元1112具有与第一实施例中的经过时间测量单元112的结构相同的结构。

图15是用于说明摄像处理的过程的流程图。当用户按下操作单元1111的按钮以向摄像设备给出摄像操作时，开始该摄像处理。

在步骤S1501，图像获取单元1108读出并初始化图11的图像传感器单元1102中剩余的所有光检测状态。

在步骤S1502，可变光圈控制单元1105在开始曝光时将切换光圈1104初始化成光圈图案编号0。在完成图像传感器单元1102和切换光圈1104的初始化时，处理进入步骤S1503。

在步骤S1503，控制切换光圈1104和快门1106以进行曝光。后面将说明曝光时切换光圈1104和快门1106的控制过程。在曝光后，获取所拍摄图像。更具体地，图像获取单元1108中的A/D转换器1113读取由图像传感器单元1102所感测的投影被摄体图像的光，并且将其转换成数字数据。存储器1114将该数字数据存储为所拍摄图像a。

处理进入步骤S1504以检测模糊状态。更具体地，模糊状态检测单元1109从存储器1114读出所拍摄图像a以检测所拍摄图像a中的模糊状态。模糊状态检测单元检测模糊状态的过程与第一实施例中的过程相同。

最后，在步骤S1505，清晰图像生成单元1110从图像获取单元1108中的存储器1114读出所拍摄图像a。另外，清晰图像生成单元1110从模糊状态检测单元1109中的模糊状态保持单元1120读出模糊状态。然后，清晰图像生成单元1110根据读出的所拍摄图像a和模糊状态生成不模糊的清晰图像a_s。

将说明切换光圈1104和快门1106的控制过程。图16是用于说明切换光圈1104和快门110的控制过程的流程图。

如图16所示，可变光圈控制单元1105控制切换光圈1104以在曝光时设置初始光圈图案0，并且将其初始化成光圈图案编号k＝0(步骤S1601)。

处理进入步骤S1602以初始化经过时间测量单元1112，从而设置从摄像操作开始经过的时间t＝0，并且开始测量经过时间。在初始化经过时间测量单元1112的同时，将快门1106控制为曝光状态(步骤S1603)。基于用作输入的光圈图案编号k，从光圈图案表保持单元1115读出并获取切换光圈1104的光圈图案编号的曝光时间t_k(步骤S1604)。

在步骤S1605，在保持切换光圈1104的状态的同时，在所读出的时间t_k内进行曝光。经过时间测量单元1112测量此时的曝光时间。在时间t_k经过之后，判断光圈图案编号k是否达到了最大编号kmax(步骤S1607)。

如果判断为k≠kmax，则处理进入步骤S1606以将光圈图案编号k增大1并且通过切换光圈1104将光圈图案切换成k。然后，处理进入步骤S1604以重复上述处理。

如果在步骤S1607判断为光圈图案编号k达到了kmax，则处理进入步骤S1608以结束该循环，并且通过快门1106遮光。此后，该处理结束。该处理控制切换光圈1104和快门1106。

第二实施例执行上述处理以将指标嵌入在所拍摄图像中从而检测模糊状态，并且检测嵌入的模糊状态。切换光圈1104使得能够进行与利用具有精确透光率的半透明区域的光圈的曝光相当的曝光。与使用固定光圈的传统技术相比，本实施例可以极大地提高用于嵌入模糊状态的性能。本实施例允许制造具有用作高性能指标的精确透光率的半透明区域的光圈。

图12A中的切换光圈1104使用具有物理开口的板状光圈图案1202。然而，在使用具有更详细的透光率的孔径形状的许多光圈图案时，期望使用液晶电子光圈等。

图17A～17C举例说明通过液晶形成孔径形状的液晶光圈。在该例子中，液晶面板1701被配置在开口处。用于从可变光圈控制单元1105接收控制信号的液晶驱动电路1702生成分别如图17B和17C所示的光圈图案1和2那样的任意光圈图案。电子光圈可以进行控制以根据例如投影被摄体图像的空间频率自适应地改变光圈图案。

当图12A中的切换光圈1104切换光圈图案时，孔径形状在切换期间变得不确定，因此希望该切换时间尽可能地短。可选地，可以在切换期间控制快门1106来遮光。

可以通过运行存储在计算机等中的RAM或ROM中的程序来实现可变光圈控制单元105、模糊状态检测单元109和清晰图像生成单元110。本发明包括该程序和用于记录该程序的计算机可读记录介质。

其它实施例

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能

本申请要求2008年8月4日提交的日本专利申请2008-201053的优先权，其全部内容通过引用包含于此。

Claims (14)

1.一种图像处理设备，包括：

图像获取单元，用于获取在图像传感器单元上对经由光圈的开口从被摄体入射的光进行成像的结果，作为图像；

控制单元，用于在所述图像获取单元获取所述图像时，以能够容易地在频域中将被摄体的形状与模糊图像分离的方式，基于定义所述开口的形状的时间变化的函数来控制所述开口的形状；以及

检测单元，用于利用所述函数来基于所述图像中的检测位置处的模糊状态决定从摄像镜头到所述检测位置处拍摄到的被摄体的距离。

2.根据权利要求1所述的图像处理设备，其特征在于，

所述函数定义所述开口的孔径直径的时间变化，以及

在所述图像获取单元获取所述图像期间，所述函数的二次微分取正值和负值。

3.根据权利要求1所述的图像处理设备，其特征在于，所述函数定义所述开口的形状的、除仿射变换所表示的变化以外的变化。

4.根据权利要求1所述的图像处理设备，其特征在于，所述函数在至少一个点处是不能微分的。

5.根据权利要求1所述的图像处理设备，其特征在于，所述控制单元控制所述开口的形状，以将所述开口的形状从所述开口在所述图像获取单元获取所述图像的开始时刻的第一形状改变成所述开口在所述图像获取单元获取所述图像的结束时刻的第二形状。

6.根据权利要求1所述的图像处理设备，其特征在于，所述函数是通过查找表而定义的。

7.根据权利要求1所述的图像处理设备，其特征在于，还包括快门控制单元，所述快门控制单元控制快门，以在所述图像获取单元获取所述图像时，与所述控制单元的控制协作地，通过透过或遮挡从所述被摄体入射的光，来对所述图像传感器单元进行曝光或遮光。

8.一种图像处理方法，其通过使用计算机来进行以下步骤：

获取步骤，用于获取在图像传感器单元上对经由光圈的开口从被摄体入射的光进行成像的结果，作为图像；

控制步骤，用于在获取所述图像时，以能够容易地在频域中将被摄体的形状与模糊图像分离的方式，基于定义所述开口的形状的时间变化的函数来控制所述开口的形状；以及

检测步骤，用于利用所述函数来基于所述图像中的检测位置处的模糊状态决定从摄像镜头到所述检测位置处拍摄到的被摄体的距离。

9.根据权利要求8所述的图像处理方法，其特征在于，

所述函数定义所述开口的孔径直径的时间变化，以及

在获取所述图像期间，所述函数的二次微分取正值和负值。

10.根据权利要求8所述的图像处理方法，其特征在于，所述函数定义所述开口的形状的、除仿射变换所表示的变化以外的变化。

11.根据权利要求8所述的图像处理方法，其特征在于，所述函数在至少一个点处是不能微分的。

12.根据权利要求8所述的图像处理方法，其特征在于，在所述控制步骤中控制所述开口的形状，以将所述开口的形状从所述开口在获取所述图像的开始时刻的第一形状改变成所述开口在获取所述图像的结束时刻的第二形状。

13.根据权利要求8所述的图像处理方法，其特征在于，定义所述开口的形状的时间变化的所述函数是通过查找表而定义的。

14.根据权利要求8所述的图像处理方法，其特征在于，还包括控制快门，以在获取所述图像时，与所述控制步骤中的控制协作地，通过透过或遮挡从所述被摄体入射的光，对所述图像传感器单元进行曝光或遮光。

Images