CN101842805B - 图像修正方法、图像修正设备 - Google Patents

Abstract

本发明提供一种对包含多个对象的图像能够在不增加处理成本的情况下进行合适的修正的图像修正设备。所述图像修正设备，其特征在于，包括：场景归属率计算装置，其从输入图像的特征量求出多个场景归属率，所述多个场景归属率规定属于各种类的场景的概率；未知场景归属率指定装置，其指定未知场景归属率，所述未知场景归属率规定属于未知场景的概率；按场景的修正参数存储装置，其存储按场景的修正参数；修正参数合成装置，其利用所述多个场景归属率和所述未知场景归属率来计算出作为所述修正参数的加权平均的合成修正参数；以及图像修正装置，其利用所述合成修正参数，对所述输入图像实施图像修正处理。

Description

图像修正方法、图像修正设备

技术领域

本发明主张基于日本专利申请特愿2007-278992号(2007年10月26日申请)的优先权，并将该申请的全部记载内容以引用的方式记载在本说明书中。 

本发明涉及为了提高图像质量而修正颜色或灰度的图像修正方法和图像修正设备以及程序。 

背景技术

近年来，具备数码相机功能的便携式电话机已普及，并且以各种方式被使用，例如在便携式电话机的屏幕上欣赏所拍摄的图像、或者传送到个人计算机等计算机设备上进行显示、或者进行照片打印等。这里，用数码相机拍摄的图像由于拍摄时的曝光调整不完全等而有时不适于作为欣赏图像，在这种情况下，利用设置在便携式电话机或计算机设备、打印机等设备上的图像修正设备来进行颜色修正或灰度修正等图像修正。 

该颜色修正或灰度修正等图像修正中的修正量需要依据图像来设定为最佳的值，该最佳值不仅与图像内容相关，还与观看的人的喜好相关。从而，为了进行理想的图像修正，需要用户一张一张手动调整修正量，但手动地进行大量的图像修正需要巨大的工作量。因此，提出了在设备侧自动控制图像修正的方法，例如在下述的非专利文献1中提出了利用柱状图(histogram)分析的自动图像修正方法。 

然而，在上述的图像修正方法中，由于无法识别如肖像(人物照片)、风景、花、夜景这样的对象并将其自动分类，因此对于场景来说存在被过度修正的情况。例如存在以下情况：尽管是肖像，还过分强调彩度而导致皮肤颜色过红。因此，近年来提出了通过识别场景来动态改变图像修正量的方法。例如，在下述的专利文献1、2中公开了以下方法：从图 像中识别脸部区域，通过分析该部分的颜色分布来计算适于肖像的修正量，并按照算出的修正量修正图像。 

这里，场景的识别处理通常通过从输入图像中计算边缘或颜色等特征量并基于这些特征量进行模式识别处理来执行，但在模式识别处理中误识别的概率并不为零。然而，专利文献1、2中公开的图像修正方法由于没有考虑场景识别错误的情况，因此当场景识别处理发生了错误时，会出现修正量变得不合适从而损害图像质量的问题。 

另外，所拍摄的图像中的对象不限于一个，而是多个对象混合存在的情况较多。例如，人物和草坪、人物和花、人物和夜景等情况。在这样的多个对象混合存在的情况下，如果进行适于一个对象的修正，则有可能对其他对象的图像造成不利影响。 

因此，在下述的专利文献3中公开了以下方法：为了解决多个对象混合存在时的问题，生成多张与被拍摄的多个对象的每一个对应的修正图像，并按照对象的位置合成该多张修正图像。然而，生成多张修正图像需要大量的工作存储器，因此存在处理成本增大的问题。并且，由于也没有考虑对象的误识别，因此在误识别的情况下，同样存在损害图像质量的问题。 

专利文献1：日本专利文献特开平11-283025号公报； 

专利文献2：日本专利文献特开2000-182043号公报； 

专利文献3：日本专利文献特开平11-205583号公报； 

非专利文献1：A.Inoue and J.Tajima，“Adaptive Quality ImprovementMethod for Color Images，”Proc.of SPIE，Vol.2179，pp.429-439，1994. 

发明内容

将上述专利文献和非专利文献的所有公开内容以引用的方式记载在本说明书中。以下的分析是根据本发明给出的。 

如上所述，在上述的图像修正方法中存在以下的问题。 

第一个问题是：无法对多个对象混合存在的图像进行合适的修正。其理由是，如果进行适于某一个对象的修正，则可能会出现恶化其他对象的 图像质量的情况。 

第二个问题是：如果采用识别多个对象的位置、生成与各对象对应的修正图像并依据对象的位置来合成这些修正图像的方法，则处理成本就会增大。其理由是，需要用于存储与各对象对应的修正图像的工作存储器。 

第三个问题是：当在场景识别处理中发生了误识别时，会损害图像质量。其理由是，没有考虑发生误识别的情况。 

本发明就是鉴于上述的问题而完成的，其主要目的在于，提供能够在不增加处理成本的情况下对包含多个对象的图像进行合适的修正的图像修正方法、图像修正设备以及程序。 

涉及本发明第一方面的图像修正方法的特征在于，包括以下步骤：场景归属率计算步骤，用于从输入图像的特征量求出多个场景归属率，所述多个场景归属率规定属于各种类的场景的概率；修正参数计算步骤，用于使用所述多个场景归属率和未知场景归属率来计算合成修正参数，其中，所述未知场景归属率规定属于未知场景的概率，所述合成修正参数是按场景的修正参数的加权平均；以及图像修正步骤，用于使用所述合成修正参数对所述输入图像实施图像修正处理。 

涉及本发明第二方面的图像修正设备的特征在于，包括：场景归属率计算装置，其从输入图像的特征量求出多个场景归属率，所述多个场景归属率规定属于各种类的场景的概率；未知场景归属率指定装置，其指定未知场景归属率，所述未知场景归属率规定属于未知场景的概率；按场景的修正参数的存储装置，其存储按场景的修正参数；修正参数合成装置，其使用所述多个场景归属率和所述未知场景归属率来计算合成修正参数，所述合成修正参数是所述修正参数的加权平均；图像修正装置，其利用所述合成修正参数对所述输入图像实施图像修正处理。 

涉及本发明第三方面的程序的特征在于，使计算机起到以下装置的功能：场景归属率计算装置，其从输入图像的特征量求出多个场景归属率，所述多个场景归属率规定属于各种类的场景的概率；以及修正参数合成装置，其使用所述多个场景归属率和未知场景归属率来计算合成修正参数，所述未知场景归属率规定属于未知场景的概率，所述合成修正参数是按场 景的修正参数的加权平均。 

在第一展开方式的图像修正方法中，优选在所述修正参数计算步骤中，还利用对于按场景的误分类的权重值来计算所述合成修正参数。 

在第二展开方式的图像修正方法中，所述修正参数优选为彩度强调量。 

在第三展开方式的图像修正方法中，优选误识别对于图像质量的影响越大，所述权重值就取越大的值。 

在第四展开方式的图像修正设备中，优选还包括按场景的误分类权重的存储装置，其存储对于按场景的误分类的权重值，并且所述修正参数合成装置还使用所述权重值来计算所述合成修正参数。 

在第五展开方式的程序中，优选使计算机在所述修正参数合成装置中起到以下功能：还使用对于按场景的误分类的权重值来计算所述合成修正参数。 

根据本发明的图像修正方法和图像修正设备以及程序，获得下述的效果。 

本发明的第一效果是：通过设置多个场景归属率计算装置，并基于对多个场景种类的场景归属率控制修正参数，能够适当地修正多个对象混合存在的图像。 

另外，本发明的第二效果是：通过依据场景归属率来合成修正参数而不是合成修正图像本身，能够抑制工作存储器的消耗，从而能够降低处理成本。 

另外，本发明的第三效果是：通过设置多个场景归属率计算装置，求出对于多个场景种类的场景归属率，能够分散对特定场景的分类错误的影响。 

另外，本发明的第四效果是：除了设置多个场景归属率计算装置之外，还设置未知归属率指定装置，从而考虑不属于任何种类的概率来控制修正参数，由此即使对未知种类的对象混合存在的图像也能够进行没有损害的适当的图像修正。 

附图说明

图1是示出本发明第1实施方式的图像修正设备的结构的框图； 

图2是表示按场景的修正参数的例子的图； 

图3是示出本发明第2实施方式的图像修正设备的结构的框图。 

标号说明 

1 场景归属率计算装置 

2 未知场景归属率指定装置 

3 按场景的修正参数的存储装置 

4、7 修正参数合成装置 

5 图像修正装置 

6 按场景的修正参数 

8 按场景的分类权重的存储装置 

具体实施方式

在背景技术所示的图像修正方法中存在以下问题：无法对混合存在多个对象的图像进行合适的修正，如果采用生成与多个对象中的每一个对应的修正图像并进行合成的方法，处理成本就会增大，并且当在场景识别处理中发生了误识别时会损害图像质量。 

因此，在本发明中，为了对混合存在多个对象的图像进行合适的修正，对图像修正设备设置与各种场景种类相对应的多个场景归属率计算装置。另外，为了降低处理成本，设置修正参数合成装置，所述修正参数合成装置合成修正参数而非合成修正图像。并且，为了防止场景的误识别，除了上述多个场景归属率计算装置之外还设置未知场景归属率指定装置。以下，参照附图进行详细说明。 

本实施方式的图像修正设备被安装到便携式电话机或数码相机、计算机设备、打印机等进行图像修正的任意的设备中进行动作，但下面只对作为本发明的特征部分的图像修正设备进行说明。 

[实施方式1] 

首先，参照图1和图2，对涉及本发明第1实施方式的图像修正方法和图像修正设备以及程序进行说明。图1是示出本实施方式的图像修正设 备的结构的框图，图2是示出按场景的修正参数的例子的表格。 

参照图1，本实施方式的图像修正设备包括：场景归属率计算装置1，其分析输入图像并计算规定属于各类场景的概率的值(称作“场景归属率”)；未知场景归属率指定装置2，其指定规定属于未知场景的概率的值(称作“未知场景归属率”)；按场景的修正参数的存储装置3，其存储按场景种类的修正参数；修正参数合成装置4，其合成按场景的修正参数；图像修正装置5，其基于合成的修正参数来执行图像修正。另外，场景归属率计算装置1包含n个场景归属率计算装置1a。以下，详述各装置。 

场景归属率计算装置1计算对于多个场景种类的场景归属率pc(c＝1，2，…n)。作为该场景归属率计算装置1的例子例如有利用了线性判别式的场景分类方法。用于将输入图像分成n个种类的线性判别式如式(1)所述。 

[数学式1] 

$y=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_i\·x_i---\left(1\right)$

xi是m维的特征量，y被定义成属于任意场景种类c时为1、其他情况为-1。首先，准备多个校准图像(teach image)并手动赋予y值，通过最小二乘法来求解式(1)，由此求出最佳的系数ai。接下来，对输入图像计算出特征量xi，通过将系数ai和特征量xi代入式(1)，能够获得对于输入图像的y值。如果该y值接近1，则能够判断出输入图像属于场景种类c，如果接近-1，则能够判断出不属于场景种类c。 

也可以将该场景归属率归一化，以使得例如y值为1时成为1.0，y值为-1时成为0.0。式(2)示出了判别式为yc(-1≤yc≤1)时的场景归属率pc的计算方法的一个例子。 

[数学式2] 

p_c＝(y_c+1)/2    (2) 

并且，通过预先对多个场景种类c(c＝1，2，…n)计算系数ai，能够计算对于多个场景种类的场景归属率。由此，场景归属率计算装置1计算出 对于n个场景种类的场景归属率pc(c＝1，2，…n)。 

未知场景归属率指定装置2是指定输入图像不属于所假定的任意的场景种类的概率(未知场景归属率)的装置。该未知场景归属率用于补偿场景归属率计算装置1的误识别，其既可以由用户手动指定，也可以预先被指定为固定值。 

按场景的修正参数的存储装置3由ROM(Read Only Memory，只读存储器)或RAM(Random Access Memory，随机存取存储器)等存储器、HDD(Hard Disk Drive，硬盘驱动器)等构成，用于存储按场景种类的最佳的修正参数。 

图2示出了存储在按场景的修正参数的存储装置3中的数据的一个例子。图2是保存了包括未知场景在内的0至4的5个场景种类中的彩度强调量k作为按场景的修正参数6的例子。该彩度强调量k是强调通过式(3)被修正的颜色的彩度的参数。 

[数学式3] 

$\left(\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right)=M^{-1}\·K\·M\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(3\right)$

$K=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1+k/100& 0\\ 0& 0& 1+k/100\end{array}\right)$

矩阵M是向YcbCr坐标系的变换矩阵，由下式(4)表示。 

[数学式4] 

$M=\left(\begin{array}{ccc}0.257& 0.504& 0.098\\ -0.148& -0.291& 0.439\\ 0.439& -0.368& -0.071\end{array}\right)---\left(4\right)$

修正参数合成装置4利用输入图像的多个场景归属率pc和未知场景归属率来合成按场景的修正参数6，从而计算出适于输入图像的修正参数。这里，式(5)示出了包括未知场景在内的场景归属率矢量。p0是由未知场景归属率指定装置2指定的未知场景归属率，p1～pn是由场景归属率计 算装置1计算出的对于n个场景种类的场景归属率。 

[数学式5] 

p＝{p₀，p₁，p₂，p₃...p_n}    (5) 

当将对于场景种类c的修正参数设为kc时，可通过下式(6)计算出新的合成后的修正参数k’。将其称作合成修正参数。 

[数学式6] 

$k^{\′}=\frac{\underset{c=0}{\overset{n}{\mathrm{\Σ}}}(k_c\·p_c)}{\underset{c=0}{\overset{n}{\mathrm{\Σ}}}{p}_c}---\left(6\right)$

图像修正装置5利用由修正参数合成装置4计算出的合成修正参数k’来进行图像修正处理。作为图像修正装置5的一个例子，有执行式(3)的图像处理装置。 

如上所述，使用输入图像的多个场景归属率pc和未知场景归属率来求出按场景的修正参数的加权平均、即合成修正参数，并基于该合成修正参数来执行图像修正处理，由此，即使对于混合存在多个对象的图像也能够进行合适的修正，并且由于没有必要存储中间处理图像，因此能够抑制消耗多余的工作存储器，能够降低处理成本，并且能够防止场景识别处理的误识别。 

场景归属率计算装置1和修正参数合成装置4也可以被构成为硬件。另外，也可以被构成为使计算机作为场景归属率计算装置1和修正参数合成装置4发挥功能的程序，并且构成为使该程序在由CPU(CentralProcessing Unit，中央处理器)和存储器构成的控制装置上动作。 

以下，举具体示例进行说明。 

现在，假设对场景种类A、B、C这3个进行场景分类。在归类到场景种类A是正确的情况下，通常只有对于A的场景归属率高，而对于场景种类B、C的场景归属率相对低。在这种情况下，由于认为被归类到场景种类A是正确的，因此修正参数也利用场景种类A的修正参数既可。 

然而，在对于场景种类A的归属率高且对于场景种类B的归属率也高 的情况下，输入图像为场景种类A的可靠性变低。得到这种结果的情况可以想到图像中混合存在场景种类A和B两者的对象的情况。这种情况下的修正量优选不仅考虑场景种类A的修正参数还考虑场景种类B的修正参数。在这种情况下，本实施方式的图像修正设备利用了其他场景种类的场景归属率，因此能够防止对单一场景归属率的过度信任。 

另外，还存在场景种类A、B、C的归属率均为中等程度、或者均为低值的情形。这经常发生在输入图像不属于场景种类A、B、C中的任一个的情况。在这种图像的情况下，优选抑制为未知场景的修正参数、或者场景种类A、B、C的修正参数的中间值。在这种情况下，本实施方式的图像修正设备由于利用了未知场景归属率，因此能够进行没有损害的合适的图像修正。 

[实施方式2] 

接下来，参照图3，对涉及本发明第2实施方式的图像修正方法和图像修正设备以及程序进行说明。图3是示出本实施方式的图像修正设备的结构的框图。 

在上述的第1实施方式中，示出了同等对待多个场景归属率的情况，但根据输入图像而对场景归属率进行加权的做法能够能抑制给误识别造成不利影响。因此，在本实施方式中，如图3所示，图像修正设备包括：场景归属率计算装置1，其分析输入图像并计算多个场景归属率；未知场景归属率指定装置2，其指定输入图像为未知场景的概率值(称作“未知场景归属率”)；按场景的修正参数的存储装置3，其存储按场景的修正参数；按场景的误分类权重的存储装置7，其存储对于按场景的误分类的权重值(称作“按照场景的误分类权重”)，修正参数合成装置8，其合成按场景的修正参数；以及图像修正装置5，其基于合成的修正参数来执行图像修正。 

并且，修正参数合成装置8基于输入图像的各场景种类的场景归属率pc、未知场景归属率、按场景的修正参数、按场景的误分类权重来计算出适于输入图像的修正参数。 

下面具体说明。用式(5)表示包括未知场景在内的场景归属率矢 量，用式(7)表示按场景的误分类权重。在式(7)中，w0是未知场景中的误分类权重。w1～wn是n个场景中的每一个的误分类权重。 

[数学式7] 

w＝{w₀，w₁，w₂，w₃...w_n}    (7) 

当将对于场景c的修正参数设为kc、误分类系数设为rc时，合成修正参数可通过式(8)来计算。 

[数学式8] 

$k^{\′\′}=\frac{\underset{c=0}{\overset{n}{\mathrm{\Σ}}}(k_c\·p_c\·r_c)}{\underset{c=0}{\overset{n}{\mathrm{\Σ}}}{p}_c}---\left(8\right)$

误分类系数rc是反映按场景种类的、给误识别造成的不利影响的系数。式(9)示出了误分类系数rc的计算方法的一个例子。 

[数学式9] 

r_c＝1-w_c(1-p_c)    (9) 

具体来说，例如进行了如下设定：当将风景误认为夜景时输出图像质量变得极差，但是当将夜景误认为风景时没有太大影响。在该情况下，由于对夜景场景的分类错误对图像质量的影响更大，因此需要尽量降低夜景分类的误识别的影响。在这样的情况下，通过增大对夜景场景的误分类权重wc，在场景归属率低的情况下rc变小，从而能够降低对合成参数计算的影响。 

如此，将按场景的误分类权重存储在图像修正设备中，并利用场景归属率pc、未知场景归属率以及按场景的误分类权重来合成按场景的修正参数，由此能够利用误分类权重值来降低由于场景种类的误分类导致的不利影响。 

另外，本发明不限于上述的记载，可在不脱离本发明主旨的范围内进行适当的改变。 

产业上的实用性 

本发明可以应用于将输入的图像修正后输出的任意的设备，例如带相 机功能的便携式电话机、数码相机、计算机设备、打印机等。 

在本发明的所有公开(包括权利要求书)范围内，可基于其基本技术构思对实施例或实施方式进行变更或调整。另外，可在本发明的权利要求书的范围内，对各种公开要素进行多种组合或选择。即，本发明当然包含本领域技术人员按照包括权利要求书在内的所有公开内容以及技术构思可得到的各种变形和修改。 

Claims (4)

1.一种图像修正方法，其特征在于，包括以下步骤：

场景归属率计算步骤，用于从输入图像的特征量求出多个场景归属率，所述多个场景归属率规定属于各种类的场景的概率；

修正参数计算步骤，用于使用所述多个场景归属率和未知场景归属率来计算合成修正参数，其中，所述未知场景归属率规定属于未知场景的概率，所述合成修正参数是按场景的修正参数的加权平均；以及

图像修正步骤，用于使用所述合成修正参数对所述输入图像实施图像修正处理，

在所述修正参数计算步骤中，还使用对于按场景的误分类的权重值来计算所述合成修正参数。

2.如权利要求1所述的图像修正方法，其特征在于，所述修正参数为彩度强调量。

3.如权利要求1所述的图像修正方法，其特征在于，误分类对于图像质量的影响越大，所述权重值就取越大的值。

4.一种图像修正设备，其特征在于，包括：

场景归属率计算装置，其从输入图像的特征量求出多个场景归属率，所述多个场景归属率规定属于各种类的场景的概率；

未知场景归属率指定装置，其指定未知场景归属率，所述未知场景归属率规定属于未知场景的概率；

按场景的修正参数的存储装置，其存储按场景的修正参数；

修正参数合成装置，其利用所述多个场景归属率和所述未知场景归属率来计算合成修正参数，所述合成修正参数是所述修正参数的加权平均；

图像修正装置，其使用所述合成修正参数对所述输入图像实施图像修正处理；

按场景的误分类权重的存储装置，其存储对于按场景的误分类的权重值，

所述修正参数合成装置还利用所述权重值来计算所述合成修正参数。

Images