CN101834980A - 图像处理设备和方法、学习设备和方法以及程序 - Google Patents

Abstract

本发明提供了图像处理设备和方法、学习设备和方法以及程序。该图像处理设备包括：边缘强度检测单元，被配置为以具有预定大小的区块为单位来检测一图像的边缘强度；参数设定单元，被配置为基于作为边缘强度的最大值与最小值之间的差异的动态范围来设定一边缘基准值，该边缘基准值被用于提取边缘点，该边缘点是用于检测图像的模糊度的像素；以及边缘点提取单元，被配置为提取符合下述条件的像素来作为边缘点：边缘强度等于或大于边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

Description

图像处理设备和方法、学习设备和方法以及程序

技术领域

本发明涉及图像处理设备和方法，学习设备和方法以及程序，具体而言涉及适合用于检测图像的模糊度(blurred degree)的图像处理设备和方法、学习设备和方法以及程序。

背景技术

迄今为止，已经提出了一种技术，其中，利用小波变换来提取图像内构成边缘的像素(以下称之为“边缘点”)，并且分析所提取的边缘点的类型，从而检测作为指示图像的模糊程度的指标的模糊度(例如，Hanghang Tong，Mingiing Li，Hongiiang Zhang，Changshui Zhang，″BlurDetection for Digital Images Using Wavelet Transform″，Multimedia and Expo.2004，ICME′04，2004 IEEE International Conference on 27-30 June 2004，page(s)17-20)。

发明内容

现在，图像中包括的边缘的量依据诸如风景、人脸等等之类的对象的类型而有很大的变化。例如，在诸如人工图案、建筑物等等之类的包括大量纹理的图像的情况下，边缘量很大，而在诸如自然风景、人脸等等之类的不包括那么多纹理的图像的情况下，边缘量较小。

然而，在Hanghang Tong，Mingiing Li，Hongiiang Zhang，ChangshuiZhang，″Blur Detection for Digital Images Using Wavelet Transform″，Multimedia and Expo.2004，ICME′04，2004 IEEE International Conference on27-30 June 2004，page(s)17-20中公开的发明中，始终利用恒定的参数来提取边缘点，并且通过分析所提取的边缘点来检测模糊度，因此，模糊度的检测精度依赖图像中包括的边缘量而变化。例如，对于不包括那么多纹理的、边缘量较小的图像，提取的边缘点的量不足，因此，模糊度的检测精度往往会劣化。

已经发现，希望能够以更高的精度来检测图像的模糊度。

根据本发明的一个实施例，一种图像处理设备包括：边缘强度检测单元，被配置为以具有预定大小的区块为单位来检测一图像的边缘强度；参数设定单元，被配置为基于作为边缘强度的最大值与最小值之间的差异的动态范围来设定一边缘基准值，该边缘基准值被用于提取边缘点，该边缘点是用于检测图像的模糊度的像素；以及边缘点提取单元，被配置为提取符合下述条件的像素来作为边缘点：边缘强度等于或大于边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

边缘强度检测单元可以以具有第一大小的第一区块为单位检测图像的边缘强度，并且还通过以具有第一大小的区块为单位检测第一平均图像的边缘强度来以具有与第一大小不同的第二大小的第二区块为单位检测图像的边缘强度，并且还通过以具有第一大小的区块为单位检测第二平均图像的边缘强度来以具有与第一大小和第二大小不同的第三大小的第三区块为单位检测图像的边缘强度，其中该第一平均图像是由通过把图像分割成具有第一大小的区块而获得的每个区块内的像素的平均值构成的，该第二平均图像是由通过把第一平均图像分割成具有第一大小的区块而获得的每个区块内的像素的平均值构成的；并且边缘点提取单元可提取满足下述条件的像素来作为边缘点：边缘强度被包括在边缘强度等于或大于边缘基准值的第一区块至第三区块之一中并且第一平均图像的像素值被包括在预定范围内的区块中。

参数设定单元还可基于图像的动态范围来设定用于判定边缘点的提取量是否合适的提取基准值，并且还调整边缘基准值以使得边缘点的提取量与提取基准值相比变成合适的量。

图像处理设备还可包括：分析单元，被配置为分析在提取的边缘点处是否发生模糊；以及模糊度检测单元，被配置为基于分析单元的分析结果来检测图像的模糊度。

边缘点提取单元可基于预定的分类参数来对图像的类型进行分类，并且基于图像的动态范围和类型来设定边缘基准值。

分类参数可包括图像的大小和图像的拍摄场景中的至少一种。

边缘强度检测单元可基于一区块内像素的像素值的差异值来检测图像的边缘的强度。

根据本发明的一个实施例，一种用于被配置为检测图像的模糊度的图像处理设备的图像处理方法，包括以下步骤：以具有预定大小的区块为单位来检测图像的边缘强度；基于作为边缘强度的最大值与最小值之间的差异的动态范围来设定一边缘基准值，该边缘基准值被用于提取边缘点，该边缘点是用于检测图像的模糊度的像素；以及提取符合下述条件的像素来作为边缘点：边缘强度等于或大于边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

根据本发明的一个实施例，一种使计算机执行处理的程序包括以下步骤：以具有预定大小的区块为单位来检测一图像的边缘强度；基于作为边缘强度的最大值与最小值之间的差异的动态范围来设定一边缘基准值，该边缘基准值被用于提取边缘点，该边缘点是用于检测图像的模糊度的像素；以及提取符合下述条件的像素来作为边缘点：边缘强度等于或大于边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

利用上述配置，以具有预定大小的区块为单位来检测一图像的边缘强度，基于作为边缘强度的最大值与最小值之间的差异的动态范围来设定用于提取边缘点(用于检测图像的模糊度的像素)的边缘基准值，并且提取符合下述条件的像素来作为边缘点：边缘强度等于或大于边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

根据上述配置，可以提取出用于检测图像的模糊程度的边缘点。尤其，根据上述实施例，可以适当地提取边缘点，因此，可以以更高的精度检测图像的模糊程度。

根据本发明的一个实施例，一种学习设备包括：图像处理单元，被配置为以具有预定大小的区块为单位来检测一图像的边缘强度，基于作为边缘强度的最大值与最小值之间的差异的动态范围来对图像的类型进行分类，提取被包括在作为边缘强度等于或大于边缘基准值的区块的边缘区块中的像素来作为边缘点，并且在边缘点的提取量等于或大于提取基准值的情况下，分析在边缘点处是否发生模糊以判定图像是否模糊，其中该边缘基准值是第一阈值，该提取基准值是第二阈值；以及参数提取单元，被配置为提取边缘基准值和提取基准值的组合；其中，图像处理单元使用边缘基准值和提取基准值的多种组合中的每一种，针对多个教师图像，对这些教师图像的类型进行分类，并且还判定这些教师图像是否模糊；并且其中，参数提取单元针对图像的每种类型，提取边缘基准值和提取基准值的一种组合，在该种组合下，图像处理单元关于这些教师图像是否模糊的判定精度变得最高。

图像处理单元可使用动态范围判定值的多种组合中的每一种，针对多个教师图像，基于动态范围判定值对这些教师图像的类型进行分类，并且还判定这些教师图像是否模糊，其中动态范围判定值用于基于边缘基准值、提取基准值和图像的动态范围来对图像的类型进行分类；其中，参数提取单元针对图像的每种类型，提取边缘基准值、提取基准值和动态范围判定值的一种组合，在该种组合下，图像处理单元关于这些教师图像是否模糊的判定精度变得最高。

根据本发明的一个实施例，一种用于被配置为学习用于检测图像的模糊度的参数的学习设备的学习方法，包括以下步骤：使用作为第一阈值的边缘基准值和作为第二阈值的提取基准值的多种组合中的每一种，针对多个教师图像，以具有预定大小的区块为单位来检测这些教师图像的边缘强度，基于作为边缘强度的最大值与最小值之间的差异的动态范围来对这些教师图像的类型进行分类，提取被包括在作为边缘强度等于或大于边缘基准值的区块的边缘区块中的像素来作为边缘点，并且在边缘点的提取量等于或大于提取基准值的情况下，分析在边缘点处是否发生模糊以判定教师图像是否模糊；以及针对图像的每种类型，提取边缘基准值和提取基准值的一种组合，在该种组合下，关于这些教师图像是否模糊的判定精度变得最高。

根据本发明的一个实施例，一种使计算机执行处理的程序包括以下步骤：使用作为第一阈值的边缘基准值和作为第二阈值的提取基准值的多种组合中的每一种，针对多个教师图像，以具有预定大小的区块为单位来检测这些教师图像的边缘强度，基于作为边缘强度的最大值与最小值之间的差异的动态范围来对这些教师图像的类型进行分类，提取被包括在作为边缘强度等于或大于边缘基准值的区块的边缘区块中的像素来作为边缘点，并且在边缘点的提取量等于或大于提取基准值的情况下，分析在边缘点处是否发生模糊以判定这些教师图像是否模糊；以及针对一图像的每种类型，提取边缘基准值和提取基准值的一种组合，在该种组合下，关于这些教师图像是否模糊的判定精度变得最高。

利用上述配置，使用作为第一阈值的边缘基准值和作为第二阈值的提取基准值的多种组合中的每一种，针对多个教师图像，以具有预定大小的区块为单位来检测这些教师图像的边缘强度，基于作为边缘强度的最大值与最小值之间的差异的动态范围来对这些教师图像的类型进行分类，提取被包括在作为边缘强度等于或大于边缘基准值的区块的边缘区块中的像素来作为边缘点，并且在边缘点的提取量等于或大于提取基准值的情况下，分析在边缘点处是否发生模糊以判定这些教师图像是否模糊；以及针对一图像的每种类型，提取边缘基准值和提取基准值的一种组合，在该种组合下，关于这些教师图像是否模糊的判定精度变得最高。

根据上述配置，可以提取用于检测图像的模糊度的边缘基准值和提取基准值的组合。尤其，根据上述实施例，可以适当地提取边缘基准值和提取基准值的组合，因此，可以以更高的精度来检测图像的模糊度。

附图说明

图1是示出本发明所应用到的图像处理设备的第一实施例的框图；

图2是用于描述根据本发明的第一实施例的图像处理设备所要执行的模糊度检测处理的流程图；

图3是用于描述边缘地图的创建处理的示图；

图4是用于描述局部最大值的创建处理的示图；

图5是示出边缘的一个配置示例的示图；

图6是示出边缘的另一配置示例的示图；

图7是示出边缘的另一配置示例的示图；

图8是示出边缘的另一配置示例的示图；

图9是示出本发明所应用到的图像处理设备的第二实施例的框图；

图10是用于描述根据本发明第二实施例的图像处理设备所要执行的模糊度检测处理的流程图；

图11是示出本发明所应用到的图像处理设备的第三实施例的框图；

图12是用于描述根据本发明第三实施例的图像处理设备所要执行的模糊度检测处理的流程图；

图13是用于描述模糊度的检测精度由于图像的过曝光而劣化的示例的示图；

图14是用于描述模糊度的检测精度由于图像的过曝光而劣化的示例的示图；

图15是用于描述模糊度的检测精度由于图像的过曝光而劣化的示例的示图；

图16是用于描述模糊度的检测精度由于图像的过曝光而劣化的示例的示图；

图17是用于描述模糊度的检测精度由于图像的过曝光而劣化的示例的示图；

图18是用于描述模糊度的检测精度由于图像的过曝光而劣化的示例的示图；

图19是示出本发明所应用到的图像处理设备的第四实施例的框图；

图20是用于描述根据本发明第四实施例的图像处理设备所要执行的模糊度检测处理的流程图；

图21是用于描述FLAG的设定方法的示图；

图22是示出本发明所应用到的学习设备的一个实施例的框图；

图23是示出用于学习处理的参数的组合的示例的示图；

图24是用于描述学习设备所要执行的学习处理的流程图；

图25是用于描述学习设备所要执行的学习处理的流程图；

图26是用于描述学习设备所要执行的学习处理的流程图；

图27是示出对于边缘基准值和所提取基准值的每种组合所获得的highSharp和highBlur的ROC曲线的示例的示图；以及

图28是示出计算机的配置示例的示图。

具体实施方式

下面将描述实现本发明的最佳模式(以下称之为实施例)。注意，将根据以下顺序来进行描述。

1.第一实施例(用于根据动态范围来对图像分类以检测模糊度的示例)

2.第一实施例的修改

3.第二实施例(用于根据动态范围和图像大小来对图像分类以检测模糊度的示例)

4.第二实施例的修改

5.第三实施例(用于根据动态范围和拍摄场所对图像分类以检测模糊度的示例)

6.第三实施例的修改

7.第四实施例(用于实施过曝光对策以检测模糊度的示例)

8.第四实施例的修改

9.第五实施例(用于模糊度检测的参数的学习处理)

10.第五实施例的修改

1.第一实施例

首先，将参考图1至8来描述本发明所应用到的图像处理设备的第一实施例。

图像处理设备的功能配置示例

图1是示出用作本发明所应用到的图像处理设备的第一实施例的图像处理设备1的功能配置示例的框图。

图像处理设备1分析在所输入的图像(以下称之为“输入图像”)内的边缘点处是否发生了模糊，并且基于分析结果来检测输入图像的模糊度。图像处理设备1被配置为包括边缘地图创建单元11、动态范围检测单元12、计算参数调整单元13、局部最大值创建单元14、边缘点提取单元15、提取量判定单元16、边缘分析单元17、以及模糊度检测单元18。

边缘地图创建单元11例如像下文中参考图2所描述的那样检测以等级1至3的大小不同的三类区块为单位来检测输入图像的边缘的强度(以下称之为“边缘强度”)，并且在以检测到的边缘强度作为像素值的情况下创建等级1至3的地图(以下称之为“边缘地图1至3”)。边缘地图创建单元11把所创建的边缘地图1至3提供给动态范围检测单元12和局部最大值创建单元14。

动态范围检测单元12例如像下文中参考图2所描述的那样检测作为输入图像的边缘强度的最大值和最小值之间的差的动态范围，并且把指示出所检测的动态范围的信息提供给计算参数调整单元13。

计算参数调整单元13例如像下文中参考图2所描述的那样基于检测到的动态范围来调整要用于提取边缘点的计算参数，以使得要用于检测输入图像的模糊度的边缘点的提取量(以下也称之为“边缘点提取量”)成为合适的值。计算参数包括要用于判定检测到的点是否是边缘点的边缘基准值，以及要用于判定边缘点提取量是否合适的提取基准值。计算参数调整单元13把指示出已设定的边缘基准值的信息提供给边缘点提取单元15和提取量判定单元16，并且把指示出已设定的提取基准值的信息提供给提取量判定单元16。

局部最大值创建单元14例如像下文中参考图2所描述的那样把边缘地图1至3中的每一个分割成具有预定大小的区块，并且提取每个区块的像素值的最大值，从而创建等级1至3的局部最大值(以下称之为“局部最大值1至3”)。局部最大值创建单元14把所创建的局部最大值1至3提供给边缘点提取单元15和边缘分析单元17。

边缘点提取单元15例如像下文中参考图2所描述的那样基于边缘基准值和局部最大值1至3从输入图像中提取边缘点，创建指示出所提取的边缘点的信息的等级1至3的边缘点表格(以下称之为“边缘点表格1至3”)，并且把其提供给提取量判定单元16。

提取量判定单元16例如像下文中参考图2所描述的那样基于边缘点表格1至3和提取基准值来判定边缘点提取量是否合适。在判定边缘点提取量不合适的情况下，提取量判定单元16告知计算参数调整单元13边缘点提取量不合适，而在判定边缘点提取量合适的情况下，把此时的边缘基准值和边缘点表格1至3提供给边缘分析单元17。

边缘分析单元17例如像下文中参考图2所描述的那样分析所提取的边缘点，并把指示出分析结果的信息提供给模糊度检测单元18。

模糊度检测单元18例如像下文中参考图2所描述的那样基于边缘点的分析结果来检测作为指示出输入图像的模糊程度的指标的模糊度。模糊度检测单元18向外部输出指示出检测到的模糊度的信息。

注意，下面将描述输入图像的像素值的范围是0(黑，最暗)至255(白，最亮)的情况下的示例。

操作描述

接下来，将参考图2中的流程图来描述图像处理设备1将要执行的模糊度检测处理。注意，此处理例如是在用作检测目标的输入图像被输入到边缘地图创建单元11中时开始的。

在步骤S1中，边缘地图创建单元11创建边缘地图。具体而言，边缘地图创建单元11把输入图像分割成大小为2×2像素的区块，并且基于以下的式(1)至(6)来计算每个区块内的像素之间的差异的绝对值M_{TL_TR}至M_{BL_BR}。

M_{TL_TR}＝|a-b|...(1)

M_{TL_BL}＝|a-c|...(2)

M_{TL_BR}＝|a-d|...(3)

M_{TL_BL}＝|b-c|...(4)

M_{TL_BR}＝|b-d|...(5)

M_{BL_BR}＝|c-d|...(6)

注意，在式(1)至(6)中，如图3所示，像素值a表示区块内的左上像素的像素值，像素值b表示区块内的右上像素的像素值，像素值c表示区块内的左下像素的像素值，并且像素值d表示区块内的右下像素的像素值。

接下来，边缘地图创建单元11基于以下式(7)来计算差异绝对值M_{TL_TR}至M_{BL_BR}的均值M_Ave。

$M_{\mathrm{Ave}}=\frac{M_{\mathrm{TL}\_\mathrm{TR}}+M_{\mathrm{TL}\_\mathrm{BL}}+M_{\mathrm{TL}\_\mathrm{BR}}+M_{\mathrm{TR}\_\mathrm{BL}}+M_{\mathrm{TR}\_\mathrm{BR}}+M_{\mathrm{BL}\_\mathrm{BR}}}{6}...\left(7\right)$

也就是说，均值M_Ave表示区块内的垂直、水平和倾斜方向上的边缘强度的均值。

边缘地图创建单元11以与相应区块相同的顺序来排列计算出的平均值M_Ave，从而创建边缘地图1。

此外，为了创建边缘地图2和3，边缘地图创建单元11基于以下式(8)来创建等级2和3的平均图像。

$P_{(m,n)}^{i+1}=\frac{P_{(2m,2m)}^i+P_{(2m,2n+1)}^i+P_{(2m+\mathrm{1,2}n)}^i+P_{(2m+\mathrm{1,2}n+1)}^i}{4}...\left(8\right)$

注意，在式(8)中，Pⁱ(x，y)表示等级i的平均图像的坐标(x，y)的像素值，并且Pⁱ⁺¹(x，y)表示等级i+1的平均图像的坐标(x，y)的像素值。现在，让我们假定等级1的平均图像是输入图像。也就是说，等级2的平均图像是由通过把输入图像分割成大小为2×2像素的区块而获得的每个区块的像素值的均值构成的图像，并且等级3的平均图像是由通过把等级2的平均图像分割成大小为2×2像素的区块而获得的每个区块的像素值的均值构成的图像。

边缘地图创建单元11使等级2和3的平均图像中的每一个经历与使用式(1)至(7)对输入图像进行的处理相同的处理，以创建边缘地图2和3。

因此，边缘地图1至3是通过从输入图像中提取与等级1至3的不同频带相对应的边缘成分而获得的图像。注意，边缘地图1的像素数目为输入图像的1/4(垂直1/2×水平1/2)，边缘地图2的像素数目是输入图像的1/16(垂直1/4×水平1/4)，边缘地图3的像素数目是输入图像的1/64(垂直1/8×水平1/8)。

边缘地图创建单元11把所创建的边缘地图1至3提供给动态范围检测单元12和局部最大值创建单元14。

在步骤S2中，局部最大值创建单元14创建局部最大值。局部最大值创建单元14例如像图4左侧所示的那样把边缘地图1分割成2×2像素的区块，提取每个区块的最大值，并且以与相应区块相同的顺序来排列所提取的最大值，从而创建局部最大值1。另外，局部最大值创建单元14例如像图4的中央所示的那样把边缘地图2分割成4×4像素的区块，提取每个区块的最大值，并且以与相应区块相同的顺序来排列所提取的最大值，从而创建局部最大值2。此外，局部最大值创建单元14例如像图4的右侧所示的那样把边缘地图3分割成8×8像素的区块，提取每个区块的最大值，并且以与相应区块相同的顺序来排列所提取的最大值，从而创建局部最大值3。局部最大值创建单元14把所创建的局部最大值1至3提供给边缘点提取单元15和边缘分析单元17。

在步骤S3中，动态范围检测单元12检测动态范围。具体而言，动态范围检测单元12从边缘地图1至3中检测像素值的最大值和最小值，并且检测通过从检测到的像素值的最大值中减去最小值而获得的值，即输入图像的边缘强度的最大值与最小值之间的差，来作为动态范围。动态范围检测单元12把指示出检测到的动态范围的信息提供给计算参数调整单元13。

注意，除了上述方法之外，可以设想出为每个边缘地图检测动态范围，并且使用检测到的动态范围的最大值、平均值等等来作为实际要使用的动态范围。

在步骤S4中，计算参数调整单元13判定动态范围是否小于预定阈值。在动态范围小于预定阈值的情况下，即动态范围是低动态范围，流程进行到步骤S5。

在步骤S5中，计算参数调整单元13把计算参数设定到用于低动态范围图像的默认值。也就是说，计算参数调整单元13把边缘基准值和提取基准值的默认值设定到用于低动态范围图像的值。注意，用于低动态范围图像的边缘基准值和提取基准值的默认值是通过下文中参考图22至27描述的学习处理来获得的。计算参数调整单元13把指示出已设定的边缘基准值的信息提供给边缘点提取单元15和提取量判定单元16，并且把指示出已设定的提取基准值的信息提供给提取量判定单元16。

在步骤S6中，边缘点提取单元15提取边缘点。具体而言，如果我们假定从输入图像中选择一个关注像素，并且所选的关注像素的坐标是(x，y)，则边缘点提取单元15基于以下式(9)来获得局部最大值1的与关注像素相对应的像素的坐标(x₁，y₁)。

(x₁，y₁)＝(x/4，y/4)       ...(9)

然而，小数点后的位被舍去。

也就是说，局部最大值1的一个像素是从输入图像的4×4像素的区块生成的，因此，局部最大值1的与输入图像的关注像素相对应的像素的坐标成为了通过将关注像素的x坐标和y坐标除以4而获得的值。

类似地，边缘点提取单元15基于以下的式(10)和(11)来获得局部最大值2的与关注像素相对应的坐标(x₂，y₂)和局部最大值3的与关注像素相对应的坐标(x₃，y₃)。

(x₂，y₂)＝(x/16，y/16)     ...(10)

(x₃，y₃)＝(x/64，y/64)     ...(11)

然而，小数点后的位被舍去。

在局部最大值1的坐标(x₁，y₁)的像素值等于或大于边缘基准值的情况下，边缘点提取单元15提取关注像素作为局部最大值1的边缘点，并且通过把关注像素的坐标(x，y)和局部最大值1的坐标(x₁，y₁)的像素值相关联来对其进行存储。类似地，在局部最大值2的坐标(x₂，y₂)的像素值等于或大于边缘基准值的情况下，边缘点提取单元15提取关注像素作为局部最大值2的边缘点，并且通过把关注像素的坐标(x，y)和局部最大值2的坐标(x₂，y₂)的像素值相关联来对其进行存储，并且在局部最大值3的坐标(x₃，y₃)的像素值等于或大于边缘基准值的情况下，边缘点提取单元15提取关注像素作为局部最大值3的边缘点，并且通过把关注像素的坐标(x，y)和局部最大值3的坐标(x₃，y₃)的像素值相关联来对其进行存储。

边缘点提取单元15重复上述处理，直到输入图像的所有像素都已成为关注像素为止，基于局部最大值1提取输入图像的4×4像素的区块之中的边缘强度等于或大于边缘基准值的区块中包括的像素来作为边缘点，基于局部最大值2提取输入图像的16×16像素的区块之中的边缘强度等于或大于边缘基准值的区块中包括的像素来作为边缘点，并且基于局部最大值3提取输入图像的64×64像素的区块之中的边缘强度等于或大于边缘基准值的区块中包括的像素来作为边缘点。因此，输入图像的4×4像素、16×16像素和64×64像素的区块中的至少一个边缘强度等于或大于边缘基准值的区块中包括的像素被提取作为边缘点。

边缘点提取单元15创建边缘点表格1、边缘点表格2和边缘点表格3并把这些表格提供给提取量判定单元16，边缘点表格1是其中基于局部最大值1提取的边缘点的坐标(x，y)与局部最大值1的与该边缘点相对应的像素的像素值相关联的表格，边缘点表格2是其中基于局部最大值2提取的边缘点的坐标(x，y)与局部最大值2的与该边缘点相对应的像素的像素值相关联的表格，边缘点表格3是其中基于局部最大值3提取的边缘点的坐标(x，y)与局部最大值3的与该边缘点相对应的像素的像素值相关联的表格。

在步骤S7中，提取量判定单元16判定边缘点提取量是否合适。提取量判定单元16把所提取的边缘点的总数(即边缘点表格1至3的数据总数)与提取基准值相比较，并且在总数小于提取基准值的情况下，判定边缘点提取量不合适，并且流程进行到步骤S8。

在步骤S8中，计算参数调整单元13调整计算参数。具体而言，提取量判定单元16通知计算参数调整单元13：边缘点提取量不合适。计算参数调整单元13使边缘基准值减小预定的值，以提取比当前边缘点更多的边缘点。计算参数调整单元13把指示出调整后的边缘基准值的信息提供给边缘点提取单元15和提取量判定单元16。

然后，流程返回到步骤S6，步骤S6至S8中的处理被重复执行，直到在步骤S7中判定边缘点提取量合适为止。也就是说，用于在调整边缘基准值的同时提取边缘点以创建边缘点表格1至3的处理被重复，直到边缘点提取量变为合适的值为止。

另一方面，在步骤S7中所提取的边缘点的总数等于或大于边缘基准值的情况下，提取量判定单元16判定边缘点提取量合适，并且流程进行到步骤S13。

另外，在步骤S4中判定动态范围等于或大于预定阈值(即高动态范围)的情况下，流程进行到步骤S9。

在步骤S9中，计算参数调整单元13把计算参数设定到用于高动态范围的默认值。也就是说，计算参数调整单元13把边缘基准值和提取基准值的默认值设定到用于高动态范围图像的值。注意，用于高动态范围图像的边缘基准值和提取基准值的默认值是通过下文中参考图22至27描述的学习处理来获得的。计算参数调整单元13把指示出已设定的边缘基准值的信息提供给边缘点提取单元15和提取量判定单元16，并且把指示出已设定的提取基准值的信息提供给提取量判定单元16。

在步骤S10中，以与步骤S6中的处理相同的方式，创建边缘点表格1至3，并且把所创建的边缘点表格1至3提供给提取量判定单元16。

在步骤S11中，以与步骤S7中的处理相同的方式，判定边缘点提取量是否合适，并且在边缘点提取量不合适的情况下，流程进行到步骤S12。

在步骤S12中，以与步骤S8中的处理相同的方式，调整计算参数，然后流程返回到步骤S10，然后重复执行步骤S10至S12中的处理，直到在步骤S11中判定边缘点提取量合适为止。

另一方面，在步骤S11中判定边缘点提取量合适的情况下，流程进行到步骤S13。

注意，为了根据上述处理提高模糊度的检测精度，对于低动态范围输入图像，即使从边缘强度较弱的区块中也提取边缘点，以便确保充足量的边缘点，以用于获得一定水平以上的输入图像模糊度检测精度，而对于高动态范围输入图像，尽可能地从边缘强度较强的区块中提取边缘点，以便提取构成更强边缘的边缘点。

在步骤S13中，边缘分析单元17执行边缘分析。具体而言，提取量判定单元16把判定边缘点提取量合适时的边缘基准值以及边缘点表格1至3提供给边缘分析单元17。

边缘分析单元17基于边缘点表格1至3来选择从输入图像提取的边缘点之一作为关注像素。在所选关注像素的坐标被取为(x，y)的情况下，边缘分析单元17基于上述式(9)至(11)来获得局部最大值1至3的与该关注像素相对应的像素的坐标(x₁，y₁)至(x₃，y₃)。边缘分析单元17把以局部最大值1的坐标(x₁，y₁)的像素作为左上角像素的m×m像素(例如，4×4像素)的区块内的像素值的最大值设定为Local Max₁(x₁，y₁)，把以局部最大值2的坐标(x₂，y₂)的像素作为左上角像素的n×n像素(例如，2×2像素)的区块内的像素值的最大值设定为Local Max₂(x₂，y₂)，并且把局部最大值3的坐标(x₃，y₃)的像素值设定为Local Max₃(x₃，y₃)。

注意，用于设定Local Max₁(x₁，y₁)的m×m的参数和用于设定LocalMax₂(x₂，y₂)的n×n的参数是用于调整与局部最大值1至3的一个像素相对应的输入图像的区块大小的差异的参数。

边缘分析单元17判定Local Max₁(x₁，y₁)、Local Max₂(x₂，y₂)和LocalMax₃(x₃，y₃)是否满足以下条件式(12)。在Local Max₁(x₁，y₁)、LocalMax₂(x₂，y₂)和Local Max₃(x₃，y₃)满足条件式(12)的情况下，边缘分析单元17将变量N_edge的值递增1。

Local Max₁(x₁，y₁)＞边缘基准值

或者

Local Max₂(x₂，y₂)＞边缘基准值

或者

Local Max₃(x₃，y₃)＞边缘基准值     ...(12)

注意，满足条件式(12)的边缘点被推定为构成一定强度以上的边缘的边缘点(不论边缘的配置如何)，例如图5所示的具有陡峭冲击形状的边缘，图6所示的倾斜度比图5的边缘缓和的脉冲状边缘，图7所示的倾斜度几乎垂直的阶梯边缘，图8所示的倾斜度比图7所示的边缘缓和的阶梯边缘，等等。

另外，在Local Max₁(x₁，y₁)、Local Max₂(x₂，y₂)和Local Max₃(x₃，y₃)满足条件式(12)的情况下，边缘分析单元17还判定Local Max₁(x₁，y₁)、Local Max₂(x₂，y₂)和Local Max₃(x₃，y₃)是否满足条件式(13)或(14)。在Local Max₁(x₁，y₁)、Local Max₂(x₂，y₂)和Local Max₃(x₃，y₃)满足条件式(13)或(14)的情况下，边缘分析单元17将变量N_smallblur的值递增1。

Local Max₁(x₁，y₁)＜Local Max₂(x₂，y₂)＜Local Max₃(x₃，y₃)  ...(13)

Local Max₂(x₂，y₂)＞Local Max₁(x₁，y₁)

并且

Local Max₂(x₂，y₂)＞Local Max₃(x₃，y₃)          ...(14)

注意，满足条件式(12)并且还满足条件式(13)或(14)的边缘被推定为构成具有图6或8所示的配置的边缘的边缘点，该边缘的强度为一定强度以上，但弱于图5或7中的边缘。

此外，在Local Max₁(x₁，y₁)、Local Max₂(x₂，y₂)和Local Max₃(x₃，y₃)满足条件式(12)并且还满足条件式(13)或(14)的情况下，边缘分析单元17判定Local Max₁(x₁，y₁)是否满足以下的条件式(15)。在LocalMax₁(x₁，y₁)满足条件式(15)的情况下，边缘分析单元17将变量N_largeblur的值递增1。

Local Max₁(x₁，y₁)＞边缘基准值          ...(15)

注意，满足条件式(12)并且还满足条件式(13)或(14)并且还满足条件式(15)的边缘点被推定为构成在一定强度以上的、具有图6或8所示的配置的边缘之中的下述边缘的边缘点：在该边缘处发生模糊并且锐度丢失。换言之，这里推定在该边缘点处发生模糊。

边缘分析单元17重复上述处理，直到从输入图像提取的所有边缘点都成为关注像素为止。从而，在所提取的边缘点之中，获得满足条件式(12)的边缘点的数目N_edge、满足条件式(12)并且还满足条件式(13)或(14)的边缘点的数目N_smallblur以及满足条件式(15)的边缘点的数目N_largeblur。边缘分析单元17把指示计算出的N_smallblur和N_largeblur的信息提供给模糊度检测单元18。

在步骤S14中，模糊度检测单元18基于以下式(16)来检测用作输入图像的模糊程度的指标的模糊度BlurEstimation。

$\mathrm{BlurEstimation}=\frac{N_{l\arg \mathrm{eblur}}}{N_{\mathrm{smallblur}}}...\left(16\right)$

也就是说，模糊度BlurEstimation是被估计为构成发生模糊的边缘的边缘点在被估计为构成一定强度以上的、具有图6或8所示的配置的边缘的边缘点之中所占的比率。因此，估计模糊度BlurEstimation越大，则输入图像的模糊度越大，而模糊度BlurEstimation越小，则输入图像的模糊度越小。

模糊度检测单元18向外部输出检测到的模糊度BlurEstimation，并且结束模糊度检测处理。例如，外部设备比较模糊度BlurEstimation和预定的阈值，从而判定输入图像是否模糊。

注意，步骤S13和S14中的处理的细节在Hanghang Tong，Mingiing Li，Hongiiang Zhang，Changshui Zhang，″Blur Detection for Digital Images UsingWavelet Transform″，Multimedia and Expo.2004，ICME′04，2004IEEEInternational Conference on 27-30June 2004，page(s)17-20中记载。

如上所述，根据输入图像来适当控制提取边缘点的条件以及边缘点的提取量，因此，可以以更高的精度来检测输入图像的模糊度。

另外，在不执行诸如小波变换之类的复杂计算的情况下检测边缘强度，因此，用于检测边缘强度的时间与Hanghang Tong，Mingiing Li，Hongiiang Zhang，Changshui Zhang，″Blur Detection for Digital Images UsingWavelet Transform″，Multimedia and Expo.2004，ICME′04，2004 IEEEInternational Conference on 27-30 June 2004，page(s)17-20中描述的发明相比可得以减少。

2.第一实施例的修改

注意，在上述描述中，在创建边缘地图的情况下，示出了获得垂直、水平和倾斜方向这三个方向上的边缘强度的均值的示例，但是，例如，可以获得一个方向或两个方向上的边缘强度的均值。

另外，在上述描述中，示出了把输入图像分类成低动态范围和高动态范围这两类来执行处理的示例，但是也可根据动态范围的范围来把输入图像分成三类或更多类以执行处理。从而，可以以更高的精度检测输入图像的模糊度。

此外，在上述描述中，已经示出了这样一个示例，即，在所提取的边缘点的量太少的情况下，减小边缘基准值以便提取更多的边缘点，另外，在所提取的边缘点的量太多的情况下，可以增大边缘基准值以便减少要提取的边缘点的量。也就是说，可以在边缘点的提取量变为合适量的方向上调整边缘基准值。

另外，例如，在判定输入图像为低动态范围输入图像的情况下，当所提取的边缘点的量太多时，可以把输入图像作为高动态范围输入图像来处理。

另外，在创建边缘地图和局部最大值的上述情况中区块的大小是其一个示例，并且可被设定到与上述大小不同的大小。

3.第二实施例

接下来，将参考图9和10来描述本发明所应用到的图像处理设备的第二实施例。注意，在图像处理设备的第二实施例中，除了输入图像的动态范围之外，还在考虑输入图像的图像大小的同时执行对边缘基准值和提取基准值的默认值的设定。

图像处理设备的功能配置示例

图9是示出用作本发明所应用到的图像处理设备的第二实施例的图像处理设备101的功能配置示例的框图。

图像处理设备101被配置为包括边缘地图创建单元111、动态范围检测单元112、计算参数调整单元113、局部最大值创建单元114、边缘点提取单元115、提取量判定单元116、边缘分析单元117、模糊度检测单元118、以及图像大小检测单元119。注意，在该图中，与图1所示的部分相对应的部分用后两位数相同的标号来表示，并且对于处理相同的部分，将省略对其的冗余描述。

图像大小检测单元119检测输入图像的图像大小(像素数目)，并且把指示出检测到的输入图像的图像大小的信息提供给计算参数调整单元113。

计算参数调整单元113例如像下文中参考图10描述的那样，基于检测到的输入图像的图像大小和动态范围，来调整包括边缘基准值和提取基准值在内的计算参数。计算参数调整单元113把指示出已设定的边缘基准值的信息提供给边缘点提取单元115和提取量判定单元116，并且把指示出已设定的提取基准值的信息提供给提取量判定单元116。

操作描述

接下来，将参考图10中的流程图来描述图像处理设备101将要执行的模糊度检测处理。注意，此处理例如是在用作检测目标的输入图像被输入到边缘地图创建单元111和图像大小检测单元119中时开始的。

步骤S101至S103中的处理与图2中的步骤S1至S3中的处理相同，因此将省略对其的冗余描述。注意，根据这样的处理，创建了输入图像的边缘地图和局部最大值，并且检测了输入图像的动态范围。

在步骤S104中，图像大小检测单元119检测图像大小。例如，图像大小检测单元119检测输入图像的垂直方向和水平方向上的像素数目来作为图像大小。图像大小检测单元119把指示出检测到的图像大小的信息提供给计算参数调整单元113。

在步骤S105中，计算参数调整单元113判定图像大小是否等于或大于预定的阈值。在输入图像的像素数目小于预定阈值(例如，256×256像素)的情况下，计算参数调整单元113判定图像大小小于预定阈值，并且流程进行到步骤S106。

步骤S106至S114中的处理与图2中的步骤S4至S12中的处理相同，因此将省略对其的冗余描述。注意，根据这样的处理，在调整边缘基准值和提取基准值的同时，从图像大小小于预定阈值的输入图像中提取了边缘点。然后，流程进行到步骤S124。

另一方面，在步骤S105中判定图像大小大于预定阈值的情况下，流程进行到步骤S115。

步骤S115至S123中的处理与图2中的步骤S4至S12中的处理相同，因此将省略对其的冗余描述。注意，根据这样的处理，在调整边缘基准值和提取基准值的同时从图像大小等于或大于预定阈值的输入图像中提取了边缘点。然后，流程进行到步骤S124。

注意，在步骤S107、S111、S116和S120中设定的边缘基准值和提取基准值的默认值是基于输入图像的图像大小和动态范围从四种类型的边缘基准值和提取基准值的默认值的组合中选择并设定的。

例如，图像大小越大，提取基准值的默认值就被设定得越大。因此，在相同的低动态范围图像的情况下，当图像大小小于预定阈值时，提取基准值的默认值被设定为与图像大小等于或大于预定阈值的情况相比较小的值。这对于高动态范围图像的情况也成立。

可以推定，在相同动态范围图像的情况下，图像大小越小，图像内的边缘数目就越少，并且要提取的边缘点的量就越少。因此，在尝试从图像大小较小的图像中提取出与图像大小较大的图像中相同数目的边缘点的情况下，边缘点的提取精度可能劣化。为了防止这种情况，当图像大小小于预定阈值时，提取基准值的默认值被设定为与图像大小等于或大于预定阈值的情况相比较小的值。

步骤S124至S125中的处理与图2中的步骤S13至S14中的处理相同，因此将省略对其的冗余描述。注意，根据这样的处理，执行对输入图像的每个像素的边缘分析，并且基于边缘分析的结果来检测输入图像的模糊度BlurEstimation。然后，模糊检测处理结束。

如上所述，边缘基准值和提取基准值的默认值是在不仅考虑输入图像的动态范围而且考虑其图像大小的情况下设定的，因此，可以以更高的精度来检测输入图像的模糊度。

4.第二实施例的修改

注意，在上述描述中，示出了把输入图像的图像大小分成两类来执行处理的示例，但是也可以通过把输入图像的图像大小分成三类或更多类来设定提取基准值的默认值。

另外，可根据输入图像的图像大小来改变边缘基准值的默认值。

此外，可根据输入图像的图像大小来改变用于对输入图像的动态范围分类的阈值。

另外，在上述描述中，已经示出了对输入图像的图像大小分类、然后对输入图像的动态范围分类的示例，但是也可颠倒其处理顺序。

5.第三实施例

接下来，将参考图11和12来描述本发明所应用到的图像处理设备的第三实施例。注意，在图像处理设备的第三实施例中，除了输入图像的动态范围之外，还在考虑输入图像的拍摄场景的同时执行对边缘基准值和提取基准值的默认值的设定。

图像处理设备的功能配置示例

图11是示出用作本发明所应用到的图像处理设备的第三实施例的图像处理设备201的功能配置示例的框图。

图像处理设备201被配置为包括边缘地图创建单元211、动态范围检测单元212、计算参数调整单元213、局部最大值创建单元214、边缘点提取单元215、提取量判定单元216、边缘分析单元217、模糊度检测单元218、以及场景识别单元219。注意，在该图中，与图1所示的部分相对应的部分用后两位数相同的标号来表示，并且对于处理相同的部分，对其的描述是冗余的，因此将被省略。

场景识别单元219使用预定的场景识别方法来识别输入图像的拍摄场景。例如，场景识别单元219识别出输入图像是在室内还是室外拍摄的。场景识别单元219把指示出识别结果的信息提供给计算参数调整单元213。

计算参数调整单元213例如像下文中参考图12描述的那样，基于检测到的输入图像的拍摄场景和动态范围，来调整包括边缘基准值和提取基准值在内的计算参数。计算参数调整单元213把指示出已设定的边缘基准值的信息提供给边缘点提取单元215和提取量判定单元216，并且把指示出已设定的提取基准值的信息提供给提取量判定单元216。

操作描述

接下来，将参考图12中的流程图来描述图像处理设备201将要执行的模糊度检测处理。注意，此处理例如是在用作检测目标的输入图像被输入到边缘地图创建单元211和场景识别单元219中时开始的。

步骤S201至S203中的处理与图2中的步骤S1至S3中的处理相同，因此将省略对其的冗余描述。注意，根据这样的处理，创建了输入图像的边缘地图和局部最大值，并且检测了输入图像的动态范围。

在步骤S204中，场景识别单元219执行场景识别。具体而言，场景识别单元219使用预定的场景识别方法来识别输入图像是在室内还是室外拍摄的。场景识别单元219把指示出识别结果的信息提供给计算参数调整单元213。

在步骤S205中，计算参数调整单元213判定拍摄的场所是室内还是室外。在判定拍摄场所是室内的情况下，流程进行到步骤S206。

步骤S206至S214中的处理与图2中的步骤S4至S12中的处理相同，因此将省略对其的冗余描述。注意，根据这样的处理，在调整边缘基准值和提取基准值的同时，从图像大小小于预定阈值的输入图像中提取了边缘点。然后，流程进行到步骤S224。

另一方面，在步骤S205中判定拍摄场所为室外的情况下，流程进行到步骤S215。

步骤S215至S223中的处理与图2中的步骤S4至S12中的处理相同，因此将省略对其的冗余描述。注意，根据这样的处理，在调整边缘基准值和提取基准值的同时从图像大小等于或大于预定阈值的输入图像中提取了边缘点。然后，流程进行到步骤S224。

注意，在步骤S207、S211、S216和S220中设定的边缘基准值和提取基准值的默认值是基于输入图像的拍摄场所和动态范围从四种类型的边缘基准值和提取基准值的默认值的组合中选择并设定的。

步骤S224至S225中的处理与图2中的步骤S13至S14中的处理相同，因此将省略对其的冗余描述。注意，根据这样的处理，执行对输入图像的每个像素的边缘分析，并且基于边缘分析的结果来检测输入图像的模糊度BlurEstimation。然后，模糊检测处理结束。

如上所述，边缘基准值和提取基准值的默认值是在不仅考虑输入图像的动态范围而且考虑其拍摄场所的情况下设定的，因此，可以以更高的精度来检测输入图像的模糊度。

6.第三实施例的修改

注意，在上述描述中，示出了把输入图像的拍摄场所分成两类来执行处理的示例，但是也可以通过把拍摄场所分成三类或更多类来设定提取计算参数的默认值。

另外，可以利用除拍摄场所之外的其他拍摄场景参数来对输入图像分类。例如，可以按照拍摄时间(例如，白天或黑夜)、天气(例如，晴朗、多云、下雨、下雪)等等来对输入图像分类，以设定计算参数的默认值。此外，可以通过组合多个拍摄场景的参数来对输入图像分类以设定计算参数的默认值。

此外，可以通过组合输入图像的图像大小和拍摄场景来对输入图像分类以设定计算参数的默认值。

另外，可根据输入图像的拍摄场景来改变用于对输入图像的动态范围分类的阈值。

此外，在上述描述中，已经示出了对拍摄场景分类、然后对输入图像的动态范围分类的示例，但是也可颠倒其处理顺序。

7.第四实施例

接下来，将参考图13至21来描述本发明所应用到的图像处理设备的第四实施例。注意，在图像处理设备的第四实施例中，在输入图像上发生过曝光的情况下，输入图像被实施了用于提高模糊度的检测精度的对策。

在输入图像上发生过曝光的情况下的问题

在输入图像上发生过曝光的情况下，在发生过曝光的部分中，不论是否发生模糊，像素值的变化都小于实际对象的亮度变化。因此，模糊度BlurEstimation的检测精度可能劣化。将参考图13至18来具体描述这一点。

图13示出了在过曝光发生在荧光灯处及其周边的情况下输入图像的示例。也就是说，荧光灯太亮，荧光灯及其周边的像素值变为最大值或者接近最大值的值，从而像素值的变化相对于实际对象的亮度变化来说较小。

图14是图13中的输入图像的被框F1围绕的部分的放大视图，即，荧光灯的边缘附近被放大，并且图15示出了图14的放大视图中的像素值的分布。注意，图15中用阴影线指示的部分表示像素值为250以上的像素。

将在关注图15中用框F2围绕的部分(以下称之为“图像F2”)的同时来进行描述。

图16下方的图示出了与图像F2相对应的边缘地图1的像素值的分布。另外，图17中间的图示出了与图像F2相对应的等级2的平均图像的像素值的分布，并且最下方的图示出了与图像F2相对应的边缘地图2的像素值的分布。

在等级2的平均图像中，存在这样一种趋势，即，在发生过曝光的部分与未发生过曝光的部分之间的边界附近，包括过曝光的部分的像素值变大，而不包括过曝光的部分的像素值变小。因此，存在这样一种趋势，即，在发生过曝光的部分与未发生过曝光的部分之间的边界附近，边缘地图2的像素值变大。因此，在比较与输入图像的同一部分相对应的边缘地图1和边缘地图2的情况下，边缘地图2的像素值常常高于边缘地图1的像素值。例如，在比较与图像F2相对应的边缘地图1和边缘地图2(例如图18中用粗框指示的部分)的情况下，边缘地图2的像素值大于边缘地图1的像素值。注意，图18中用粗框指示的像素示出了在边缘地图1的2×2像素的区块内像素值变为最大的、要被提取作为局部最大值1的像素的像素，并且示出了在边缘地图2的4×4像素的区块内像素值变为最大的、要被提取作为局部最大值2的像素的像素(然而图中只示出了2×2像素的范围)。

因此，在发生过曝光的输入图像中，存在这样一种趋势，即，上述条件式(13)或(14)得到满足，并且变量N_largeblur的值变大。其结果是，上述式(16)的分母的值变大，模糊度BlurEstimation的值变得小于实际值，并且相应地，模糊图像被错误地判定为不是模糊图像的比例很高。

如下所述，在图像处理设备的第四实施例中，在考虑上述情况的同时，在输入图像上发生过曝光的情况下，向输入图像实施用于提高模糊度的检测精度的对策。

图像处理设备的功能配置示例

图19是示出用作本发明所应用到的图像处理设备的第四实施例的图像处理设备301的功能配置示例的框图。

图像处理设备301被配置为包括边缘地图创建单元311、动态范围检测单元312、计算参数调整单元313、局部最大值创建单元314、边缘点提取单元315、提取量判定单元316、边缘分析单元317、模糊度检测单元318、以及图像大小检测单元319。注意，在该图中，与图9所示的部分相对应的部分用后两位数相同的标号来表示，并且对于处理相同的部分，对其的描述是冗余的，因此将被省略。

边缘地图创建单元311与图1中的边缘地图创建单元11、图9中的边缘地图创建单元111和图11中的边缘地图创建单元211相比的不同之处在于边缘地图2的创建方法。注意，在下文中将参考图20和21来描述这一点。

边缘点提取单元315与图1中的边缘点提取单元15、图9中的边缘点提取单元115和图11中的边缘点提取单元215相比的不同之处在于用于提取边缘点的方法。注意，在下文中将参考图20和21来描述这一点。

操作描述

接下来，将参考图20中的流程图来描述图像处理设备301将要执行的模糊度检测处理。注意，此处理例如是在用作检测目标的输入图像被输入到边缘地图创建单元311和图像大小检测单元319中时开始的。

在步骤S301中，边缘地图创建单元311创建边缘地图。注意，如上所述，边缘地图创建单元311与图1中的边缘地图创建单元11、图9中的边缘地图创建单元111和图11中的边缘地图创建单元211相比的不同之处在于边缘地图2的创建方法。

具体而言，边缘地图创建单元311把与等级2的平均图像的包括像素值等于或大于预定阈值THw(例如，240)的像素的区块相对应的边缘地图2的像素值设定为预定值FLAG。例如，在考虑上述图像F2的情况下，如图21所示，边缘地图2的与等级2的平均图像中包括像素值超过240的像素的区块B1和B2相对应的像素的像素值被设定为值FLAG。

注意，与等级2的平均图像的不包括像素值等于或大于预定阈值THw的像素的区块相对应的边缘地图2的像素值的计算方法与上述方法相同。另外，与不包括像素值等于或大于预定阈值THw的像素的区块相对应的边缘地图2的像素值必然小于预定阈值Thw，并且相应地，值FLAG可以为等于或大于预定阈值THw的值，并且例如被设定为255。因此，在边缘地图2中，可以区分被设定了值FLAG的像素和除该像素以外的像素。

注意，用于创建边缘地图1和3的方法与上述方法相同，因此将省略对其的冗余描述。

边缘地图创建单元311把所创建的边缘地图1至3提供给动态范围检测单元312和局部最大值创建单元314。

在步骤S302中，局部最大值创建单元314通过与图2中的步骤S2相同的处理来创建局部最大值1至3，并把所创建的局部最大值1至3提供给边缘点提取单元315和边缘分析单元317。

此时，如上所述，局部最大值2是通过把边缘地图2分割成4×4像素的区块、提取每个区块的最大值并且以与相应区块相同的顺序来排列所提取的最大值来创建的。因此，与边缘地图2的包括被设定了值FLAG的像素的区块相对应的局部最大值2的像素的像素值必然被设定为值FLAG。也就是说，值FLAG被从边缘地图2继承到了局部最大值2。

注意，局部最大值1和3与图2的步骤S2中创建的局部最大值1和3相同。

除了步骤S308、S312、S317中的处理之外，步骤S303至S325中的处理与图10中的步骤S103至S125中的上述处理相同，因此将省略对其的冗余描述。

在步骤S308中，边缘点提取单元315通过与图2中的步骤S6相同的处理来提取边缘点。然而，在局部最大值2的与所选关注像素相对应的像素值被设定为FLAG的情况下，即使该关注像素基于局部最大值1或3已被提取作为边缘点，边缘点提取单元315也把该边缘点排除在所提取的边缘点之外。从而输入图像的下述像素被提取作为边缘点：该像素被包括在局部最大值1至3之一之中的像素值等于或大于边缘基准值的区块中并且还被包括在等级2的平均图像之中的像素值小于THw的区块中。

在步骤S312、S317和S321中，也以与步骤S308中的处理相同的方式来提取边缘点。

因此，在输入图像中，包括在发生过曝光的部分中的、像素值等于或大于预定值的像素不被提取作为边缘点。换言之，包括在下述区块中的像素被提取作为边缘点：在该区块中边缘强度等于或大于边缘基准值并且输入图像中的像素值小于预定值。其结果是，可以防止输入图像的过曝光影响模糊度的检测结果，从而可以以更高的精度来检测输入图像的模糊度。

8.第四实施例的修改

注意，在上述描述中，示出了向图像处理设备的第二实施例应用过曝光对策的示例，但是也可向第一和经三实施例应用过曝光对策。

另外，可以把发生欠曝光的像素排除在边缘点之外。这是通过例如以下方式来实现的：把与等级2的平均图像的包括像素值等于或小于阈值THb(例如，20以下)的像素的区块相对应的边缘地图2的像素的像素值设定为值FLAG。

此外，可以把发生过曝光或欠曝光的像素排除在边缘点之外。这是通过例如以下方式来实现的：把与等级2的平均图像的包括像素值等于或小于阈值THb或者等于或大于阈值THw的像素的区块相对应的边缘地图2的像素的像素值设定为值FLAG。

另外，把像素值设定成值FLAG的处理可以不在边缘地图2而是在边缘地图1中执行。具体而言，与输入图像的包括像素值等于或大于阈值THw的像素的区块相对应的边缘地图1的像素值可被设定为值FLAG。在此情况下，与使边缘地图2经历该处理的情况相比，可以准确地把发生过曝光的像素排除在边缘点之外，因此模糊度BlurEstimation的检测精度提高，但另一方面，处理时间延迟了。

此外，把像素值设定成值FLAG的处理可以不在边缘地图2而是在边缘地图3中执行。具体而言，与等级3的平均图像的包括像素值等于或大于阈值THw的像素的区块相对应的边缘地图3的像素值可被设定为值FLAG。在此情况下，与使边缘地图2经历该处理的情况相比，处理时间加快了，但另一方面，从边缘点中去除发生过曝光的像素的精度劣化了，并且模糊度BlurEstimation的检测精度劣化了。

9.第五实施例

接下来，将参考图22至27描述本发明的第五实施例。注意，在本发明的第五实施例中，执行对用于上述模糊度检测处理的参数的学习。

学习设备的功能配置示例

图22是示出本发明所应用到的学习设备的一个实施例的框图。图22中的学习设备501是用于学习在图1的图像处理设备1中使用的用来判定动态范围的阈值(以下称之为“动态范围判定值”)、边缘基准值和提取基准值的最优组合的设备。

学习设备501被配置为包括教师数据获得单元511、参数提供单元512、图像处理单元513、学习数据生成单元514、以及参数提取单元515。另外，图像处理单元513被配置为包括边缘地图创建单元521、动态范围检测单元522、图像分类单元523、局部最大值创建单元524、边缘点提取单元525、提取量判定单元526、边缘分析单元527、模糊度检测单元528、以及图像判定单元529。

教师数据获得单元511获得要从外部输入的教师数据。这里，教师数据包括用作学习处理目标的教师图像以及表明该教师图像是否模糊的正确答案数据。正确答案数据例如表明该教师图像是否是模糊图像，并且是从实际查看该教师图像的用户判定的结果获得的，或者是从预定的图像处理所分析的结果获得的，等等。注意，不是模糊图像的图像将被称为清晰图像。

教师数据获得单元511把教师数据中包括的教师图像提供给边缘地图创建单元521。另外，教师数据获得单元511把教师数据中包括的正确答案数据提供给学习数据生成单元514。

参数提供单元512基于从学习数据生成单元514通知来的变量i和变量j的值来选择由动态范围判定值、边缘基准值和提取基准值构成的多个参数的组合。在所选择的参数中，参数提供单元512把动态范围判定值通知给图像分类单元523，把边缘基准值通知给边缘点提取单元525和边缘分析单元527，并且把提取基准值通知给提取量判定单元526。

图23示出了从参数提供单元512提供来的参数的组合示例。在该示例中，动态范围判定值THdr[i]取从60至100的41类值，边缘基准值RVe[j]取从10至30的21类值，并且提取基准值RVa[j]取从1至200的200类值。因此，参数的组合为41×21×200＝172,200类。

例如，在从学习数据生成单元514通知来i＝1并且j＝1的情况下，参数提供单元512选择动态范围判定值THdr[1]＝60，边缘基准值RVe[1]＝10并且提取基准值RVa[1]＝1的组合。然后，参数提供单元512把动态范围判定值THdr[1]通知给图像分类单元523，把边缘基准值RVe[1]通知给边缘点提取单元525和边缘分析单元527，并且把提取基准值RVa[1]通知给提取量判定单元526。

图像处理单元513基于从参数提供单元512提供来的动态范围判定值THdr[i]把教师图像分类成高动态范围图像或低动态范围图像。图像处理单元513把分类结果通知给学习数据生成单元514。另外，图像处理单元513基于从参数提供单元512提供来的边缘基准值RVe[j]和提取基准值RVa[j]来判定教师图像是模糊图像还是清晰图像。图像处理单元513把判定结果通知给学习数据生成单元514。

更具体而言，图像处理单元513的边缘地图创建单元521具有与图1中的边缘地图创建单元11相同的功能，并且从给定的教师图像创建边缘地图1至3。边缘地图创建单元521把所创建的边缘地图1至3提供给动态范围检测单元522和局部最大值创建单元524。

动态范围检测单元522具有与图1中的动态范围检测单元12相同的功能，并且检测教师图像的动态范围。动态范围检测单元522把指示出检测到的动态范围的信息提供给图像分类单元523。

图像分类单元523基于从参数提供单元512提供来的动态范围判定值THdr[i]把教师图像分类成高动态范围图像或低动态范围图像。图像分类单元523把分类结果通知给学习数据生成单元514。

局部最大值创建单元524具有与图1中的局部最大值创建单元14相同的功能，并且基于边缘地图1至3来创建局部最大值1至3。局部最大值创建单元524把所创建的局部最大值1至3提供给边缘点提取单元525和边缘分析单元527。

边缘点提取单元525具有与图1中的边缘点提取单元15相同的功能，并且基于从参数提供单元512提供来的边缘基准值RVe[j]以及局部最大值1至3来从教师图像中提取边缘点。另外，边缘点提取单元525创建指示出所提取的边缘点的信息的边缘点表格1至3。边缘点提取单元525把所创建的边缘点表格1至3提供给提取量判定单元526。

提取量判定单元526具有与图1中的提取量判定单元16相同的功能，并且基于从参数提供单元512提供来的提取基准值RVa[j]来判定边缘点提取量是否合适。在判定边缘点提取量合适的情况下，提取量判定单元526把边缘点表格1至3提供给边缘分析单元527。另外，在判定边缘点提取量不合适的情况下，提取量判定单元526通知学习数据生成单元514：边缘点提取量不合适。

边缘分析单元527具有与图1中的边缘分析单元17相同的功能，并且基于边缘点表格1至3、局部最大值1至3和边缘基准值RVe[j]来分析教师图像的边缘点。边缘分析单元527把指示出分析结果的信息提供给模糊度检测单元528。

模糊度检测单元528具有与图1中的模糊度检测单元18相同的功能，并且基于边缘点的分析结果来检测教师图像的模糊度。模糊度检测单元528把指示出检测到的模糊度的信息提供给图像判定单元529。

图像判定单元529例如像下文中参考图24至26所描述的那样基于由模糊度检测单元528检测到的模糊度来执行对教师图像的模糊判定。也就是说，图像判定单元529判定教师图像是模糊图像还是清晰图像。图像判定单元529把指示出判定结果的信息提供给学习数据生成单元514。

学习数据生成单元514例如像下文中参考图24至26所描述的那样基于图像分类单元523对教师图像的分类结果和图像判定单元529的判定结果来生成学习数据。学习数据生成单元514把指示出所生成的学习数据的信息提供给参数提取单元515。另外，学习数据生成单元514指示教师数据获得单元511获得教师数据。

参数提取单元515例如像下文中参考图24至27所描述的那样提取从参数提供单元512提供来的参数的组合之中最适合用于检测图像的模糊度的组合。参数提取单元515把指示出所提取的参数组合的信息提供给诸如图1中的图像处理设备1那样的外部设备。

操作描述

接下来，将参考图24至26中的流程图来描述学习设备501将要执行的学习处理。注意，此处理例如是在学习处理开始命令经由图中未示出的操作单元被输入到学习设备501中时开始的。

在步骤S501中，教师数据获得单元511获得教师数据。教师数据获得单元511把所获得的教师数据中包括的教师图像提供给边缘地图创建单元521。另外，教师数据获得单元511把教师数据中包括的正确答案数据提供给学习数据生成单元514。

在步骤S502中，边缘地图创建单元521通过与图2中的步骤S1相同的处理来针对教师图像创建边缘地图1至3。边缘地图创建单元521把所创建的边缘地图1至3提供给动态范围检测单元522和局部最大值创建单元524。

在步骤S503中，局部最大值创建单元524通过与图2中的步骤S2相同的处理来针对教师图像创建局部最大值1至3。局部最大值创建单元524把所创建的局部最大值1至3提供给边缘点提取单元525和边缘分析单元527。

在步骤S504中，动态范围检测单元522通过与图2中的步骤S3相同的处理来检测教师图像的动态范围。动态范围检测单元522把指示出所检测到的动态范围的信息提供给图像分类单元523。

在步骤S505中，学习数据生成单元514把变量i的值设定为1，并且把变量j的值设定为1。学习数据生成单元514把变量i和j的设定值通知给参数提供单元512。参数提供单元512把动态范围判定值THdr[i](在此情况下是THdr[1])通知给图像分类单元523。另外，参数提供单元512把边缘基准值RVe[j](在此情况下是RVe[1])通知给边缘点提取单元525和边缘分析单元527。此外，参数提供单元512把提取基准值RVa[j](在此情况下是RVa[1])通知给提取量判定单元526。

在步骤S506中，图像分类单元523基于动态范围判定值THdr[i]来对教师图像分类。具体而言，在教师图像的动态范围＜THdr[i]成立的情况下，图像分类单元523把教师图像分类成低动态范围图像。另外，在教师图像的动态范围≥THdr[i]成立的情况下，图像分类单元523把教师图像分类成高动态范围图像。图像分类单元523把分类结果通知给学习数据生成单元514。

在步骤S507中，学习数据生成单元514基于图像分类单元523的分类结果和正确答案数据来判定教师图像是否是低动态范围模糊图像。在教师图像被判定为是低动态范围模糊图像的情况下，流程进行到步骤S508。

在步骤S508中，学习数据生成单元514将变量lowBlurImage[i]的值递增1。注意，变量lowBlurImage[i]是用于对基于动态范围判定值THdr[i]和正确答案数据被分类成低动态范围模糊图像的教师图像的数目计数的变量。然后，流程进行到步骤S514。

另一方面，在教师图像在步骤S507中被判定为不是低动态范围模糊图像的情况下，流程进行到步骤S509。

在步骤S509中，学习数据生成单元514基于图像分类单元523的分类结果和正确答案数据来判定教师图像是否是高动态范围模糊图像。在教师图像被判定为是高动态范围模糊图像的情况下，流程进行到步骤S510。

在步骤S510中，学习数据生成单元514将变量highBlurImage[i]的值递增1。注意，变量highBlurImage[i]是用于对基于动态范围判定值THdr[i]和正确答案数据被分类成高动态范围模糊图像的教师图像的数目计数的变量。然后，流程进行到步骤S514。

另一方面，在教师图像在步骤S509中被判定为不是高动态范围模糊图像的情况下，流程进行到步骤S511。

在步骤S511中，学习数据生成单元514基于图像分类单元523的分类结果和正确答案数据来判定教师图像是否是低动态范围清晰图像。在教师图像被判定为是低动态范围清晰图像的情况下，流程进行到步骤S512。

在步骤S512中，学习数据生成单元514将变量lowSharpImage[i]的值递增1。注意，变量lowSharpImage[i]是用于对基于动态范围判定值THdr[i]和正确答案数据被分类成低动态范围清晰图像的教师图像的数目计数的变量。然后，流程进行到步骤S514。

另一方面，在教师图像在步骤S511中被判定为不是低动态范围清晰图像的情况下，即，在教师图像是高动态范围清晰图像的情况下，流程进行到步骤S513。

在步骤S513中，学习数据生成单元514将变量highSharpImage[i]的值递增1。注意，变量highSharpImage[i]是用于对基于动态范围判定值THdr[i]和正确答案数据被分类成高动态范围清晰图像的教师图像的数目计数的变量。然后，流程进行到步骤S514。

在步骤S514中，边缘点提取单元525基于边缘基准值RVe[j]以及局部最大值1至3通过与图2中的步骤S6相同的处理来提取边缘点，并且创建边缘点表格1至3。边缘点提取单元525把所创建的边缘点表格1至3提供给提取量判定单元526。

在步骤S515中，提取量判定单元526判定边缘点提取量是否合适。在边缘点提取量≥提取基准值RVa[j]的情况下，提取量判定单元526判定边缘点提取量合适，并且流程进行到步骤S516。

在步骤S516中，边缘分析单元527执行边缘分析。具体而言，提取量判定单元526把边缘点表格1至3提供给边缘分析单元527。边缘分析单元527以与图2的步骤S13中的处理相同的方式基于边缘点表格1至3、局部最大值1至3和边缘基准值RVe[j]来执行对教师图像的边缘分析。边缘分析单元527把指示出通过边缘分析计算出的N_smallblur和N_largeblur的信息提供给模糊度检测单元528。

在步骤S517中，模糊度检测单元528以与图2的步骤S 14中的处理相同的方式来计算模糊度BlurEstimation。模糊度检测单元528把指示出所计算的模糊度BlurEstimation的信息提供给图像判定单元529。

在步骤S518中，图像判定单元529执行模糊判定。具体而言，图像判定单元529比较模糊度BlurEstimation和预定阈值。随后，在模糊度BlurEstimation≥预定阈值成立的情况下，图像判定单元529判定教师图像是模糊图像，而在模糊度BlurEstimation＜预定阈值成立的情况下，图像判定单元529判定教师图像是清晰图像。图像判定单元529把指示出判定结果的信息提供给学习数据生成单元514。

在步骤S519中，学习数据生成单元514判定该判定结果是否正确。在图像判定单元529的判定结果与正确答案数据相匹配的情况下，学习数据生成单元514判定该判定结果正确，并且流程进行到步骤S520。

在步骤S520中，以与步骤S507中的处理相同的方式，判定教师图像是否是低动态范围模糊图像。在教师图像被判定为是低动态范围模糊图像的情况下，流程进行到步骤S521。

在步骤S521中，学习数据生成单元514将变量lowBlurCount[i][j]的值递增1。注意，变量lowBlurCount[i][j]是用于对基于动态范围判定值THdr[i]被分类成低动态范围图像并且基于边缘基准值RVe[j]和提取基准值RVa[j]被判定为正确模糊图像的教师图像的数目计数的变量。然后，流程进行到步骤S527。

另一方面，在教师图像在步骤S520中被判定为不是低动态范围模糊图像的情况下，流程进行到步骤S522。

在步骤S522中，以与步骤S509中的处理相同的方式，判定教师图像是否是高动态范围模糊图像。在教师图像被判定为是高动态范围模糊图像的情况下，流程进行到步骤S523。

在步骤S523中，学习数据生成单元514将变量highBlurCount[i][j]的值递增1。注意，变量highBlurCount[i][j]是用于对基于动态范围判定值THdr[i]被分类成高动态范围图像并且基于边缘基准值RVe[j]和提取基准值RVa[j]被判定为正确模糊图像的教师图像的数目计数的变量。然后，流程进行到步骤S527。

另一方面，在教师图像在步骤S522中被判定为不是高动态范围模糊图像的情况下，流程进行到步骤S524。

在步骤S524中，以与步骤S511中的处理相同的方式，判定教师图像是否是低动态范围清晰图像。在教师图像被判定为是低动态范围清晰图像的情况下，流程进行到步骤S525。

在步骤S525中，学习数据生成单元514将变量lowSharpCount[i][j]的值递增1。注意，变量lowSharpCount[i][j]是用于对基于动态范围判定值THdr[i]被分类成低动态范围图像并且基于边缘基准值RVe[j]和提取基准值RVa[j]被判定为正确清晰图像的教师图像的数目计数的变量。然后，流程进行到步骤S527。

另一方面，在教师图像在步骤S524中被判定为不是低动态范围清晰图像的情况下，流程进行到步骤S526。

在步骤S526中，学习数据生成单元514将变量highSharpCount[i][j]的值递增1。注意，变量highSharpCount[i][j]是用于对基于动态范围判定值THdr[i]被分类成高动态范围图像并且基于边缘基准值RVe[j]和提取基准值RVa[j]被判定为正确清晰图像的教师图像的数目计数的变量。然后，流程进行到步骤S527。

另一方面，在步骤S519中，在图像判定单元529的判定结果不匹配正确答案数据的情况下，学习数据生成单元514判定该判定结果是错误的。然后，步骤S520至S526中的处理被跳过，并且流程进行到步骤S527。

另外，在步骤S515中，在边缘点提取量＜提取基准值RVa[j]的情况下，提取量判定单元526判定边缘点提取量不合适。然后，步骤S516至S526中的处理被跳过，并且流程进行到步骤S527。

在步骤S527中，学习数据生成单元514判定变量j＜JMAX是否成立。在判定变量j＜JMAX成立的情况下，流程进行到步骤S528。注意，例如，在使用图23中的上述参数组合的情况下，JMAX的值为4200。

在步骤S528中，学习数据生成单元514将变量j的值递增1。学习数据生成单元514把变量i和j的当前值通知给参数提供单元512。参数提供单元512把动态范围判定值THdr[i]通知给图像分类单元523。另外，参数提供单元512把边缘基准值RVe[j]通知给边缘点提取单元525和边缘分析单元527。此外，参数提供单元512把提取基准值RVa[j]通知给提取量判定单元526。

然后，流程返回到步骤S514，步骤S514至S528中的处理被重复执行，直到在步骤S527中判定变量j≥JMAX成立为止。

另一方面，如果在步骤S527中判定变量j≥JMAX成立，则流程进行到步骤S529。

在步骤S529中，学习数据生成单元514判定变量i＜IMAX是否成立。在判定变量i＜IMAX成立的情况下，流程进行到步骤S530。注意，例如，在使用图23中的上述参数组合的情况下，IMAX的值为41。

在步骤S530中，学习数据生成单元514将变量i的值递增1，并且变量j的值被设定到1。学习数据生成单元514把变量i和j的当前值通知给参数提供单元512。参数提供单元512把动态范围判定值THdr[i]通知给图像分类单元523。另外，参数提供单元512把边缘基准值RVe[j]通知给边缘点提取单元525和边缘分析单元527。此外，参数提供单元512把提取基准值RVa[j]通知给提取量判定单元526。

然后，流程返回到步骤S506，步骤S506至S530中的处理被重复执行，直到判定变量i≥IMAX成立为止。

另一方面，如果在步骤S530中判定变量i≥IMAX成立，则流程进行到步骤S531。

在步骤S531中，学习数据生成单元514判定是否已就预定数目的教师图像完成了学习。在判定尚未就预定数目的教师图像完成学习的情况下，学习数据生成单元514指示教师数据获得单元511获得教师数据。然后，流程返回到步骤S501，步骤S501至S531中的处理被重复执行，直到在步骤S531中判定已经就预定数目的教师图像完成了学习为止。

这样，对于预定数目的教师图像的模糊判定的判定结果在使用动态范围判定值THdr[i]、边缘基准值RVe[j]和提取基准值RVa[j]的每种组合的情况下被获得并被存储作为学习数据。

另一方面，如果在步骤S531中判定已就预定数目的教师图像完成了学习，则学习数据生成单元514把变量lowBlurImage[i]、highBlurImage[i]、lowSharpImage[i]、highSharpImage[i]、lowBlurCount[i][j]、highBlurCount[i][j]、lowSharpCount[i][j]和highSharpCount[i][j]的值作为学习数据提供给参数提取单元515。然后，流程进行到步骤S532。

在步骤S532中，参数提取单元515把变量i的值设定为1，并且把变量j的值设定为1。

在步骤S533中，参数提取单元515初始化变量MinhighCV、MinlowCV、highJ和lowJ的值。也就是说，参数提取单元515把变量MinhighCV和MinlowCV的值设定为比下文中描述的highCV和lowCV能够取的最大值更大的值。另外，参数提取单元515把变量highJ和lowJ的值设定为0。

在步骤S534中，参数提取单元515基于以下式(17)至(20)来计算highSharp、lowSharp、highBlur和lowBlur。

$\mathrm{highSharp}=1-\frac{\mathrm{highSharpCount}\left[i\right]\left[j\right]}{\mathrm{highSharpImage}\left[i\right]}...\left(17\right)$

$\mathrm{lowSharp}=1-\frac{\mathrm{lowSharpCount}\left[i\right]\left[j\right]}{\mathrm{lowSharpImage}\left[i\right]}...\left(18\right)$

$\mathrm{highBlur}=\frac{\mathrm{highBlurCount}\left[i\right]\left[j\right]}{\mathrm{highBlurImage}\left[i\right]}...\left(19\right)$

$\mathrm{lowBlur}=\frac{\mathrm{lowBlurCount}\left[i\right]\left[j\right]}{\mathrm{lowBlurImage}\left[i\right]}...\left(20\right)$

其中highSharp表示在基于动态范围判定值THdr[i]被分类成高动态范围的清晰图像之中、基于边缘基准值RVe[j]和提取基准值RVa[j]被错误地判定为模糊图像的清晰图像的百分比。也就是说，highSharp表示在使用动态范围判定值THdr[i]、边缘基准值RVe[j]和提取基准值RVa[j]的情况下高动态范围清晰图像被错误地判定为是模糊图像的概率。类似地，lowSharp表示在使用动态范围判定值THdr[i]、边缘基准值RVe[j]和提取基准值RVa[j]的情况下低动态范围清晰图像被错误地判定为是模糊图像的概率。

另外，highBlur表示在基于动态范围判定值THdr[i]被分类成高动态范围的模糊图像之中、基于边缘基准值RVe[j]和提取基准值RVa[j]被正确地判定为模糊图像的清晰图像的百分比。也就是说，highBlur表示在使用动态范围判定值THdr[i]、边缘基准值RVe[j]和提取基准值RVa[j]的情况下高动态范围模糊图像被正确地判定为是模糊图像的概率。类似地，lowBlur表示在使用动态范围判定值THdr[i]、边缘基准值RVe[j]和提取基准值RVa[j]的情况下低动态范围模糊图像被正确地判定为是模糊图像的概率。

在步骤S535中，参数提取单元515基于以下式(21)和(22)来计算highCV和lowCV。

$\mathrm{highCV}=\sqrt{{\mathrm{highSharp}}^2+{(1-\mathrm{highBlur})}^2}...\left(21\right)$

$\mathrm{lowCV}=\sqrt{{\mathrm{lowSharp}}^2+{(1-\mathrm{lowBlur})}^2}...\left(22\right)$

其中highCV表示在步骤S534中获得的highSharp的值被取作x1并且highBlur的值被取作y1的情况下，以x轴作为highSharp并且以y轴作为highBlur的坐标系统的坐标(0，1)与坐标(x1，y1)之间的距离。因此，对高动态范围图像的模糊判定的精度越高，highCV的值就越小，而对高动态范围图像的模糊判定的精度越低，highCV的值就越大。

类似地，lowCV表示在步骤S534中获得的lowSharp的值被取作x2并且lowBlur的值被取作y2的情况下，以x轴作为lowSharp并且以y轴作为lowBlur的坐标系统的坐标(0，1)与坐标(x2，y2)之间的距离。因此，对低动态范围图像的模糊判定的精度越高，lowCV的值就越小，而对低动态范围图像的模糊判定的精度越低，lowCV的值就越大。

在步骤S536中，参数提取单元515判定highCV＜MinhighCV是否成立。在判定highCV＜MinhighCV成立的情况下，即在此时获得的highCV是迄今为止的最小值的情况下，流程进行到步骤S537。

在步骤S537中，参数提取单元515把变量highJ设定到变量j的当前值，并且把变量MinhighCV设定到此时获得的highCV的值。然后，流程进行到步骤S538。

另一方面，如果在步骤S536中判定highCV≥MinhighCV成立，则步骤S537中的处理被跳过，并且流程进行到步骤S538。

在步骤S538中，参数提取单元515判定lowCV＜MinlowCV是否成立。在判定lowCV＜MinlowCV成立的情况下，即在此时获得的lowCV是迄今为止的最小值的情况下，流程进行到步骤S539。

在步骤S539中，参数提取单元515把变量lowJ设定到变量j的当前值，并且把变量MinlowCV设定到此时获得的lowCV的值。然后，流程进行到步骤S540。

另一方面，如果在步骤S538中判定lowCV≥MinlowCV成立，则步骤S539中的处理被跳过，并且流程进行到步骤S540。

在步骤S540中，参数提取单元515判定变量j＜JMAX是否成立。在判定j＜JMAX成立的情况下，流程进行到步骤S541。

在步骤S541中，参数提取单元515将变量j的值递增1。

然后，在步骤S540中，流程返回到步骤S534，步骤S534至S541中的处理被重复执行，直到判定变量j≥JMAX成立为止。从而，计算出了在动态范围判定值为THdr[i](在此情况下是THdr[1])的情况下针对边缘基准值RVe[j]和提取基准值RVa[j](j＝1至JMAX)的每种组合的highCV和lowCV。另外，当highCV变为最小时的变量j的值被存储在变量highJ中，而当lowCV变为最小时的变量j的值被存储在变量lowJ中。

图27示出了通过绘出关于一个动态范围判定值THdr[i]、针对边缘基准值RVe[j]和提取基准值RVa[j]的每种组合获得的(highSharp，highBlur)的值而将绘制的ROC(接收机操作特性)曲线的示例。注意，此坐标系统的x轴表示highSharp，并且y轴表示highBlur。

在该ROC曲线中，与下述点相对应的边缘基准值和提取基准值之间的组合是边缘基准值RVe[highJ]和提取基准值RVa[highJ]：在该处，与坐标(0，1)的距离变得最小。也就是说，在动态范围判定值被设定为THdr[i]的情况下，当使用边缘基准值RVe[highJ]和提取基准值RVa[highJ]之间的组合时，对高动态范围图像的模糊判定的精度变得最高。

类似地，在动态范围判定值被设定为THdr[i]的情况下，当使用边缘基准值RVe[lowJ]和提取基准值RVa[lowJ]之间的组合时，对低动态范围图像的模糊判定的精度变得最高。

另一方面，如果在步骤S540中判定变量j≥JMAX成立，则流程进行到步骤S542。

在步骤S542中，参数提取单元515基于以下式(23)来计算CostValue[i]。

$\mathrm{CostValue}\left[i\right]$

$=\frac{\mathrm{highSharpCount}\left[i\right]\left[\mathrm{highJ}\right]+\mathrm{lowSharpCount}\left[i\right]\left[\mathrm{lowJ}\right]}{\mathrm{highSharpImage}\left[i\right]+\mathrm{lowSharpImage}\left[i\right]}$

$+\frac{\mathrm{highBlurCount}\left[i\right]\left[\mathrm{highJ}\right]+\mathrm{lowBlurCount}\left[i\right]\left[\mathrm{lowJ}\right]}{\mathrm{highBlurImage}\left[i\right]+\mathrm{lowBlurImage}\left[i\right]}...\left(23\right)$

式(23)的右侧第一项表示在使用动态范围判定值THdr[i]、边缘基准值RVe[highJ]、提取基准值RVa[highJ]、边缘基准值RVe[lowJ]和提取基准值RVa[lowJ]的组合的情况下，一清晰图像被正确地判定为是清晰图像的概率。另外，式(23)的右侧第二项表示在使用动态范围判定值THdr[i]、边缘基准值RVe[highJ]、提取基准值RVa[highJ]、边缘基准值RVe[lowJ]和提取基准值RVa[lowJ]的组合的情况下，一模糊图像被正确地判定为是模糊图像的概率。

具体而言，CostValue[i]表示在使用动态范围判定值THdr[i]、边缘基准值RVe[highJ]、提取基准值RVa[highJ]、边缘基准值RVe[lowJ]和提取基准值RVa[lowJ]的情况下图像模糊判定的精度。更具体而言，CostValue[i]指示出在使用边缘基准值RVe[highJ]和提取基准值RVa[highJ]之间的组合来执行对利用动态范围判定值THdr[i]被分类成高动态范围的图像的模糊判定并且使用边缘基准值RVe[lowJ]和提取基准值RVa[lowJ]之间的组合来执行对利用动态范围判定值THdr[i]被分类成低动态范围的图像的模糊判定时，将一清晰图像准确地判定为清晰图像的概率与将一模糊图像准确地判定为模糊图像的概率的总和。因此，CostValue[i]的最大值为2。

在步骤S543中，参数提取单元515把变量highJ[i]的值设定到变量highJ的当前值，并且把变量lowJ[i]的值设定到变量lowJ的当前值。

在步骤S544中，参数提取单元515判定变量i＜IMAX是否成立。在判定变量i＜IMAX成立的情况下，流程进行到步骤S545。

在步骤S545中，参数提取单元515将变量i的值递增1，并且将变量j的值设定到1。

然后，流程返回到步骤S533，步骤S533至S545中的处理被重复执行，直到在步骤S544中判定变量i≥IMAX成立为止。从而，提取了对于从THdr[1]至THdr[IMAX]的每个动态范围判定值THdr[i]，使highCV变为最小的边缘基准值RVe[j]和提取基准值RVa[j]之间的组合和使lowCv变为最小的边缘基准值RVe[j]和提取基准值RVa[j]之间的组合。另外，计算了在使用针对每个动态范围判定值THdr[i]提取的边缘基准值RVe[j]和提取基准值RVa[j]之间的组合的情况下的CostValue[i]。

另一方面，如果在步骤S544中判定变量i≥IMAX成立，则流程进行到步骤S546。

在步骤S546中，参数提取单元515提取使CostValue[i]变得最大的参数组合。换言之，参数提取单元515提取使图像模糊判定的精度变得最高的参数的组合。具体而言，参数提取单元515从CostValue[1]至CostValue[IMAX]的CostValue[i]中提取最大值。另外，在使CostValue[i]变为最大的i的值被取作I，并且假设highJ[I]＝HJ且lowJ[I]＝LJ的情况下，参数提取单元515提取动态范围判定值THdr[I]、边缘基准值RVe[HJ]、提取基准值RVa[HJ]、边缘基准值RVe[LJ]和提取基准值RVa[LJ]的组合来作为用于以上参考图2描述的模糊度检测处理的参数。

然后，动态范围判定值THdr[I]被用作在图2的步骤S4的处理中判定图像的动态范围时的阈值。另外，边缘基准值RVe[LJ]和提取基准值RVa[LJ]被用作在步骤S5的处理中将要设定的计算参数的默认值。此外，边缘基准值RVe[HJ]和提取基准值RVa[HJ]被用作在步骤S9的处理中将要设定的计算参数的默认值。

如上所述，在图1中的图像处理设备1处要使用的动态范围判定值、边缘基准值和提取基准值的默认值可被设定为合适的值。另外，边缘基准值和提取基准值的默认值可以针对按动态范围判定值分类的每类图像被设定为合适的值。其结果是，可以以更高的精度来检测输入图像的模糊度。

10.第五实施例的修改

注意，可以进行一种布置，其中，根据相同的处理，基于动态范围的范围来把图像的类型分成三类或更多类，并且针对每种图像类型获得边缘基准值和提取基准值的合适默认值。

另外，可以进行一种布置，其中，动态范围判定值被固定到预定的值，而不执行对动态范围判定值的学习，只根据相同的处理来获得边缘基准值和提取基准值的默认值。

此外，该学习处理还可应用到这样一种情况：即，基于诸如上述的图像大小、拍摄场所等等之类的除动态范围以外的图像特征量来对图像的类型分类，并且针对每种图像类型设定边缘基准值和提取基准值的默认值。例如，在按图像大小来对图像的类型分类的情况下，在图23的参数组合中，取代动态范围判定值使用了图像大小的判定值，从而可以获得图像大小的判定值、边缘基准值和提取基准值的合适组合。

另外，类似地，该学习处理还可被应用到这样一种情况：即，通过组合多个特征量(例如，动态范围和图像大小)来对图像的类型分类，并且针对每种图像类型来设定边缘基准值和提取基准值的默认值。

此外，例如，对于除边缘基准值和提取基准值之外的计算参数，例如上述的过曝光对策的阈值THw等等，也可以根据同样的学习处理来获得合适的值。这例如可通过把要获得的计算参数添加到在图23的参数组合中的一组计算参数以执行学习处理来实现。

另外，在上述描述中，已经示出了这样一个示例，即在学习设备501中从教师图像创建边缘地图，但是也可以进行一种布置，其中在外部设备处创建针对教师图像的边缘地图，并且该边缘地图被包括在教师数据中。类似地，可以进行一种布置，其中在外部设备处创建针对教师图像的局部最大值，并且该局部最大值被包括在教师数据中。

上述一系列处理可以通过硬件来执行，并且也可以通过软件来执行。在通过软件来执行该系列处理的情况下，构成该软件的程序被从程序记录介质安装到嵌入在专用硬件中的计算机，或者安装到能够通过安装各种类型的程序来执行各种类型的功能的计算机，例如通用个人计算机。

图28是示出用于通过程序来执行上述一系列处理的计算机的硬件配置示例的框图。

在该计算机中，CPU(中央处理单元)701、ROM(只读存储器)702和RAM(随机访问存储器)703利用总线704相互连接。

此外，输入/输出接口705连接到总线704。由键盘、鼠标、麦克风等等构成的输入单元706，由显示器、扬声器等等构成的输出单元707，由硬盘、非易失性存储器等等构成的存储单元708，由网络接口等等构成的通信单元709，用于驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质711的驱动器710连接到输入/输出接口705。

在这样配置的计算机中，上述一系列处理是通过CPU 701经由输入/输出接口705和总线704把例如存储在记录单元708中的程序加载到RAM703并且运行该程序从而来执行的。

计算机(CPU 701)要执行的程序是通过例如被记录在可移除介质711中来提供的，或者是经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供的。其中可移除介质711是由磁盘(包括柔性盘)、光盘(CD-ROM(致密盘-只读存储器)、DVD(数字多功能盘)等等)、磁光盘、半导体存储器等等构成的封装介质。

程序可通过可移除介质711被安装在驱动器710上从而经由输入/输出接口705被安装到存储单元708中。另外，程序可在通信单元709处经由有线或无线传输介质而被接收，并且可被安装到存储单元708中。此外，程序可被预先安装到ROM 702或存储单元708中。

注意，计算机要执行的程序可以是其中根据本说明书中描述的顺序按时序执行处理的程序，或者可以是要被并行执行或者在执行调用等等的合适时刻被执行的程序。

另外，本发明的实施例并不限于上述实施例，并且在不脱离本发明的实质的情况下可以执行各种修改。

本申请包含与2009年3月13日向日本专利局提交的日本在先专利申请JP 2009-060620中公开的内容相关的主题，这里通过引用将该在先申请的全部内容并入。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于权利要求或其等同物的范围之内即可。

Claims (15)

1.一种图像处理设备，包括：

边缘强度检测装置，被配置为以具有预定大小的区块为单位来检测一图像的边缘强度；

参数设定装置，被配置为基于作为所述边缘强度的最大值与最小值之间的差异的动态范围来设定一边缘基准值，该边缘基准值被用于提取边缘点，该边缘点是用于检测所述图像的模糊度的像素；以及

边缘点提取装置，被配置为提取符合下述条件的像素来作为所述边缘点：所述边缘强度等于或大于所述边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

2.根据权利要求1所述的图像处理设备，其中，所述边缘强度检测装置以具有第一大小的第一区块为单位检测所述图像的所述边缘强度，并且还通过以具有所述第一大小的区块为单位检测第一平均图像的所述边缘强度来以具有与所述第一大小不同的第二大小的第二区块为单位检测所述图像的所述边缘强度，并且还通过以具有所述第一大小的区块为单位检测第二平均图像的所述边缘强度来以具有与所述第一大小和所述第二大小不同的第三大小的第三区块为单位检测所述图像的所述边缘强度，其中该第一平均图像是由通过把所述图像分割成具有所述第一大小的区块而获得的每个区块内的像素的平均值构成的，该第二平均图像是由通过把所述第一平均图像分割成具有所述第一大小的区块而获得的每个区块内的像素的平均值构成的；

并且其中，所述边缘点提取装置提取满足下述条件的像素来作为所述边缘点：所述边缘强度被包括在所述边缘强度等于或大于所述边缘基准值的所述第一区块至第三区块之一中并且所述第一平均图像的像素值被包括在预定范围内的区块中。

3.根据权利要求1所述的图像处理设备，其中，所述参数设定装置还基于所述图像的动态范围来设定用于判定所述边缘点的提取量是否合适的提取基准值，并且还调整所述边缘基准值以使得所述边缘点的提取量与所述提取基准值相比变成合适的量。

4.根据权利要求1所述的图像处理设备，还包括：

分析装置，被配置为分析在所述提取的边缘点处是否发生模糊；以及

模糊度检测装置，被配置为基于所述分析装置的分析结果来检测所述图像的模糊度。

5.根据权利要求1所述的图像处理设备，其中所述边缘点提取装置基于预定的分类参数来对所述图像的类型进行分类，并且基于所述图像的类型和动态范围来设定所述边缘基准值。

6.根据权利要求5所述的图像处理设备，其中，所述分类参数包括所述图像的大小和所述图像的拍摄场景中的至少一种。

7.根据权利要求1所述的图像处理设备，其中，所述边缘强度检测装置基于一区块内像素的像素值的差异值来检测所述图像的边缘的强度。

8.一种用于被配置为检测图像的模糊度的图像处理设备的图像处理方法，包括以下步骤：

以具有预定大小的区块为单位来检测所述图像的边缘强度；

基于作为所述边缘强度的最大值与最小值之间的差异的动态范围来设定一边缘基准值，该边缘基准值被用于提取边缘点，该边缘点是用于检测所述图像的模糊度的像素；以及

提取符合下述条件的像素来作为所述边缘点：所述边缘强度等于或大于所述边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

9.一种使计算机执行包括以下步骤的处理的程序：

以具有预定大小的区块为单位来检测一图像的边缘强度；

基于作为所述边缘强度的最大值与最小值之间的差异的动态范围来设定一边缘基准值，该边缘基准值被用于提取边缘点，该边缘点是用于检测所述图像的模糊度的像素；以及

提取符合下述条件的像素来作为所述边缘点：所述边缘强度等于或大于所述边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

10.一种学习设备，包括：

图像处理装置，被配置为以具有预定大小的区块为单位来检测一图像的边缘强度，基于作为所述边缘强度的最大值与最小值之间的差异的动态范围来对所述图像的类型进行分类，提取被包括在作为所述边缘强度等于或大于边缘基准值的区块的边缘区块中的像素来作为边缘点，并且在所述边缘点的提取量等于或大于提取基准值的情况下，分析在所述边缘点处是否发生模糊以判定所述图像是否模糊，其中该边缘基准值是第一阈值，该提取基准值是第二阈值；以及

参数提取装置，被配置为提取所述边缘基准值和所述提取基准值的组合；

其中，所述图像处理装置使用所述边缘基准值和所述提取基准值的多种组合中的每一种，针对多个教师图像，对所述教师图像的类型进行分类，并且还判定所述教师图像是否模糊；

并且其中，所述参数提取装置针对所述图像的每种类型，提取所述边缘基准值和所述提取基准值的一种组合，在该种组合下，所述图像处理装置关于所述教师图像是否模糊的判定精度变得最高。

11.根据权利要求10所述的学习设备，其中，所述图像处理装置使用动态范围判定值的多种组合中的每一种，针对多个教师图像，基于所述动态范围判定值对所述教师图像的类型进行分类，并且还判定所述教师图像是否模糊，其中所述动态范围判定值用于基于所述边缘基准值、所述提取基准值和所述图像的动态范围来对所述图像的类型进行分类；

并且其中，所述参数提取装置针对所述图像的每种类型，提取所述边缘基准值、所述提取基准值和所述动态范围判定值的一种组合，在该种组合下，所述图像处理装置关于所述教师图像是否模糊的判定精度变得最高。

12.一种用于被配置为学习用于检测图像的模糊度的参数的学习设备的学习方法，包括以下步骤：

使用作为第一阈值的边缘基准值和作为第二阈值的提取基准值的多种组合中的每一种，针对多个教师图像，以具有预定大小的区块为单位来检测所述教师图像的边缘强度，基于作为所述边缘强度的最大值与最小值之间的差异的动态范围来对所述教师图像的类型进行分类，提取被包括在作为边缘强度等于或大于所述边缘基准值的区块的边缘区块中的像素来作为边缘点，并且在所述边缘点的提取量等于或大于所述提取基准值的情况下，分析在所述边缘点处是否发生模糊以判定所述教师图像是否模糊；以及

针对所述图像的每种类型，提取所述边缘基准值和所述提取基准值的一种组合，在该种组合下，关于所述教师图像是否模糊的判定精度变得最高。

13.一种使计算机执行包括以下步骤的处理的程序：

使用作为第一阈值的边缘基准值和作为第二阈值的提取基准值的多种组合中的每一种，针对多个教师图像，以具有预定大小的区块为单位来检测所述教师图像的边缘强度，基于作为所述边缘强度的最大值与最小值之间的差异的动态范围来对所述教师图像的类型进行分类，提取被包括在作为边缘强度等于或大于所述边缘基准值的区块的边缘区块中的像素来作为边缘点，并且在所述边缘点的提取量等于或大于所述提取基准值的情况下，分析在所述边缘点处是否发生模糊以判定所述教师图像是否模糊；以及

针对一图像的每种类型，提取所述边缘基准值和所述提取基准值的一种组合，在该种组合下，关于所述教师图像是否模糊的判定精度变得最高。

14.一种图像处理设备，包括：

边缘强度检测单元，被配置为以具有预定大小的区块为单位来检测一图像的边缘强度；

参数设定单元，被配置为基于作为所述边缘强度的最大值与最小值之间的差异的动态范围来设定一边缘基准值，该边缘基准值被用于提取边缘点，该边缘点是用于检测所述图像的模糊度的像素；以及

边缘点提取单元，被配置为提取符合下述条件的像素来作为所述边缘点：所述边缘强度等于或大于所述边缘基准值并且区块内的像素的像素值被包括在作为预定范围内的区块的边缘区块中。

15.一种学习设备，包括：

图像处理单元，被配置为以具有预定大小的区块为单位来检测一图像的边缘强度，基于作为所述边缘强度的最大值与最小值之间的差异的动态范围来对所述图像的类型进行分类，提取被包括在作为所述边缘强度等于或大于边缘基准值的区块的边缘区块中的像素来作为边缘点，并且在所述边缘点的提取量等于或大于提取基准值的情况下，分析在所述边缘点处是否发生模糊以判定所述图像是否模糊，其中该边缘基准值是第一阈值，该提取基准值是第二阈值；以及

参数提取单元，被配置为提取所述边缘基准值和所述提取基准值的组合；

其中，所述图像处理单元使用所述边缘基准值和所述提取基准值的多种组合中的每一种，针对多个教师图像，对所述教师图像的类型进行分类，并且还判定所述教师图像是否模糊；

并且其中，所述参数提取单元针对所述图像的每种类型，提取所述边缘基准值和所述提取基准值的一种组合，在该种组合下，所述图像处理单元关于所述教师图像是否模糊的判定精度变得最高。

Images