CN100499733C - 图像修正设备和方法 - Google Patents

Abstract

检测出由输入图像数据表示的图像中包含预定多种对象类型中的哪些对象类型。根据图像数据在特征计算电路中计算与所检测到的对象类型相关的特征。按照所计算出来的特征，计算每种对象类型的增益。使用针对每种对象类型输入的重要程度对所述增益进行加权和求平均。根据由加权平均获得的可运用增益修正输入图像数据。

Description

图像修正设备和方法

技术领域

本发明涉及一种图像修正设备和方法并且涉及一种图像修正程序。

背景技术

日本专利申请公开第2000—196890号公开了一种方法，该方法检测包含在输入图像中的面部图像区域，并且以这样一种方式进行图像转换(图像修正)：所检测到的面部图像的平均密度要落在预定的目标密度范围内。

虽然使用日本专利申请公开第2000—196890号中介绍的方法能够将面部图像区域的密度修正为处于目标密度范围内的密度，但是却不能将其它类型的重要对象(比如蓝天或日落景色)的密度修正为期望的密度。

发明内容

因此，本发明的目的是这样安排本发明：可以针对存在多种对象类型的图像运用适当的图像修正。

本发明的另一个目的是以这样一种方式对存在多种对象类型的图像实施修正：从整体上为该图像获得期望的图像颜色(明亮度)。

按照本发明的第一个方面的图像修正设备包括：重要性输入构件，用于接受与预定多个对象类型中的各类型相关的重要程度的输入；对象类型检测构件，用于根据供应给它的图像数据检测由这一图像数据表示的图像中包含所述预定多个对象类型当中的哪些对象类型；输入特征值计算构件，用于根据图像数据并且针对由所述对象类型检测构件检测到的对象类型中的各类型，通过为每种对象类型选定的计算处理，计算输入特征值；修正值计算构件，用于根据由所述输入特征值计算构件计算出来的输入特征值和为每种对象类型选定的目标特征值计算与所检测到的对象类型中的各类型相关的修正值；可运用修正值计算构件，用于计算通过使用由所述重要性输入构件针对对象类型中的各类型接收的重要程度进行的由所述修正值计算构件计算出来的修正值的加权平均获得的可运用修正值；和图像修正构件，用于根据由所述可运用修正值计算构件计算出来的可运用修正值修正图像数据。

要检测的多种对象类型是预先确定的。将可根据图像数据认定的多种对象的类型(也可以称为照相场景的类型)设定为所述对象类型，设定这些对象类型是为了在图形修正中进行不同的修正(由经验可知，执行不同的修正处理会得到合乎要求的修正图像)。例如，可以将“蓝色天空”、“人类面部”、“水下”、“高饱和度”、“日落景色”和“亮色调”设定为所述多种对象类型。

用于检测由所供应的图像数据表示的图像中包含哪些预定对象类型的处理(对象类型检测处理)可以是使用预先针对对象类型中的各类型设定的用于认定的数据来执行。例如，准备多个代表对象类型“蓝色天空”的图像数据项目(蓝色天空样本图像)并且计算适当的认定条件[特征类型及其范围(色调范围、亮度范围、饱和度范围等)]，以便从这些样本图像中的各个图像中提取出蓝色天空像素(这是训练处理)。从所供应的图像数据中提取出一个或多个特征值。如果所提取的一个或多个特征值符合通过训练处理获得的认定条件，则判定由所供应的图像数据表示的图像包含对象类型“蓝色天空”。

每个对象类型选定的输入特征值是根据图像数据针对所检测到的特征类型中的各类型计算出来的。输入特征值是专属于与对象类型中的各类型相关的对象类型的特征值(量)，并且用于计算这些特征值的处理对于每种对象类型是各不相同的。例如，如果对象类型是“蓝色天空”，则可以采用包含在由所供应的图像数据表示的图像中的蓝色天空图像部分的像素的R、G、B值中的各个值的平均值作为与对象类型“蓝色天空”相关的输入特征值。如果对象类型是“日落景色”，则可以采用包含在由所供应的图像数据表达的图像中的日落景色图像部分的像素[日落景色(黄色)像素]的R、G、B值中的各个值的平均值作为与对象类型“日落景色”相关的输入特征值。在任何情况下，都需要按照由预定多个对象类型表达的图像的特征为每种对象类型唯一选定计算(多个)输入特征值的方法。

修正值是用于将输入特征值修正为目标特征值的值。通过将由所供应的图像数据中获得的输入特征值修正为目标特征值，可以获得具有期望(目标)特征值的图像。如果输入特征值按照修正值得到修正，则该输入特征值就变成了目标特征值。可以计算出来的修正值包括可以用在图像修正中的各种不同的修正值，例如，密度(亮度)灰度级修正值、饱和度修正值和其它修正值。输入特征值与目标特征值之间的比值(增益)也包含在按照本发明得出的修正值中。

按照本发明，应用于图像数据的可运用修正值是根据每种对象类型的重要程度，对针对所检测到的对象类型(即，包含在由要加以处理的图像数据表示的图像中的对象类型)中的各类型获得的修正值进行加权平均的结果。为每种对象类型获得的修正值将基于所供应的图像数据的输入特征值修正为目标特征值。由于针对所检测到的多个对象类型中的各类型计算出来的多个修正值是针对所接收到的重要程度来进行加权和平均的，因此应用于图像数据的可运用修正值是这样的：使得多个对象类型的各类型的输入特征值从总体上逼近与输入特征值相应的目标特征值。可以从总体图像的角度出发，将所供应的图像的颜色(或明亮度)修正为期望的图像颜色(或明亮度)。

按照本发明，当把注意力放在各个单个的特征类型上时，不能使输入特征值完美地与目标特征值一致。不过，就包含多种对象类型的图像而言，可以针对多种对象类型中的任何一种执行使输入特征值可靠地逼近目标特征值的图像修正。

此外，按照本发明，在加权平均的计算中使用了针对各对象类型供应的重要程度。可以获得高度反映出与用户认为重要的对象类型相关的修正值的可运用修正值。结果，可以获得用来实现与用户喜好相符的图像修正的可运用修正值。

修正值和可运用修正值可以专属于多种颜色的彩色图像数据中的各种颜色(例如，RGB)，或者可以由多种颜色的彩色图像数据中的各种颜色共享。

在一种实施方式中，该设备此外还包括逐个对象类型存在概率计算构件，用于计算代表由图像数据表示的图像中包含代表多种对象类型中的各图像的确信程度高低的存在概率，该计算是针对多种对象类型中的每种对象类型进行的。在这种情况下，可运用修正值计算构件使用所述第一种重要程度和按照由所述存在概率计算构件计算出来的对象类型中的各类型的存在概率获得的第二种重要程度，对由所述修正值计算构件计算出来的与对象类型中的各类型相关的修正值进行加权和求平均。

除了输入的第一种重要程度之外，在加权平均中还使用了与存在概率相符的第二种重要程度。因此在用户喜好得到满足的同时，实现了与所供应的图像数据的内容(存在对象类型的概率)相符的图像修正。

在另一种实施方式中，该设备此外还包括逐个对象类型面积计算构件，用于针对每种检测到的对象类型计算代表对象类型的图像在由图像数据表示的图像中占据的面积。所述可运用修正值计算构件使用所述第一种重要程度和按照由所述面积计算构件计算出来的与对象类型中的各类型相关的面积获得的第三种重要程度，对由所述修正值计算构件计算出来的与对象类型中的各类型相关的修正值进行加权和求平均。因此在满足用户喜好的同时，实现了与对象类型占据由所供应的图像数据表示的图像的面积相符的图像修正。

优选地，图像修正设备此外还包括：参数输入构件，用于接受改变目标特征值的参数的输入；和目标特征值修改构件，用于根据由所述参数输入构件输入的参数修改目标特征值。由于目标特征值依据用户的希望得到了修改，因此可以使由图像数据表示的图像在进行了修正之后符合用户的喜好。所输入的参数可以是以数字值的形式接收的，或者是以摘要表示的形式接收的(强调质量或出品率，等)。

按照本发明的第二个方面的图像修正设备包括：重要性输入构件，用于接受与预定多个对象类型中的各类型相关的重要程度的输入；对象类型检测构件，用于根据供应给它的图像数据检测由这一图像数据表示的图像中包含所述预定多个对象类型当中的哪些对象类型；输入特征值计算构件，用于根据图像数据并且针对由所述对象类型检测构件检测到的对象类型中的各类型，通过为每种对象类型选定的计算处理，计算输入特征值；条件判断构件，用于判断由所述输入特征值计算构件计算出来的每种对象类型的输入特征值是否满足为每种对象类型选定的指定条件；修正值计算构件，用于针对由所述条件判断构件判定不满足指定条件的输入特征值所对应的对象类型计算修正值，这个修正值是这样的：使得与这种对象类型相关的输入特征值变成满足指定条件；可运用修正值计算构件，用于计算通过使用由所述重要性输入构件针对对象类型中的各类型接收的重要程度进行的由所述修正值计算构件计算出来的修正值的加权平均获得的可运用修正值；和图像修正构件，用于根据由所述可运用修正值计算构件计算出来的可运用修正值修正图像数据。

按照本发明的第二个方面，修正值是根据对应于每种检测到的对象类型的输入特征值是否满足指定条件而计算出来的。在与一种检测到的对象类型相关的输入特征值满足指定条件的情况下，没有必要修正与这种对象类型相关的输入特征值。如果与一种检测到的对象类型相关的输入特征值不满足指定条件，则将针对这一对象类型计算使得预定条件得到满足的修正值。指定条件还可以通过预先执行的训练处理来确定。

在本发明的另一个方面中也是，根据所接收到的重要程度对所计算出来的多个修正值进行加权和求平均，因此应用于图像数据的可运用修正值以这样的方式修正图像数据：针对已经计算出来的不满足指定条件的输入特征值所对应的对象类型，这些输入特征值将会变得逼近指定条件。实现了符合用户喜好的图像修正。可以从总体图像的角度出发，将所供应的图像的颜色(或明亮度)修正为期望的图像颜色(或明亮度)。

最好，图像修正设备还包括：参数输入构件，用于接受改变预定条件的参数的输入；和条件修改构件，用于根据由所述参数输入构件输入的参数修改预定条件。

本发明还给出了与前面介绍的第一和第二图像修正设备相应的图像修正方法和图像修正程序。

附图说明

附图1是图解说明图像修正系统的硬件构成的框图；

附图2是图解说明按照第一实施方式的图像修正设备的电路结构的框图；

附图3是图解说明对象类型检测电路、逐个对象类型输入特征值计算电路和逐个对象类型目标特征值/颜色转换条件计算电路的功能的功能框图；

附图4是图解说明由对象类型检测电路、逐个对象类型输入特征值计算电路和逐个对象类型目标特征值/颜色转换条件计算电路针对对象类型“蓝色天空”执行处理的流程的流程图；

附图5图解说明检测条件表的内容；

附图6以曲线图形式图解说明蓝色天空提取条件；

附图7图解说明特征值计算条件表的内容；

附图8图解说明与对象类型“蓝色天空”相关的边界函数；

附图9图解说明与对象类型“蓝色天空”相关的边界函数；

附图10图解说明修正函数；

附图11a图解说明与特征类型“夜景”(阴影)、特征类型“夜景”(高亮)和特征类型“面部”相关的修正函数，附图11b图解说明由可运用增益决定的修正函数；

附图12图解说明用于输入用户愿望的屏显的实例；

附图13是图解说明按照第一实施方式的修改方案的图像修正设备的电路结构的框图；

附图14是图解说明按照第二实施方式的图像修正设备的电路结构的框图；

附图15是图解说明逐个对象类型存在概率计算电路、逐个对象类型输入特征值计算电路和逐个对象类型目标特征值/颜色转换条件计算电路的功能的功能框图；

附图16图解说明存在概率计算表的内容；

附图17图解说明创建存在概率计算表的流程；和

附图18是图解说明存在概率和与存在概率相应的重要程度之间的关系的曲线图。

具体实施方式

第一实施方式

附图1是图解说明图像处理系统的硬件构成的框图。附图2是图解说明包含在图像处理系统中的图像处理设备1与存储单元4合在一起的电路结构的框图。

图像处理系统包括图像处理设备1、与图像处理设备1相连的输入单元2(键盘、鼠标等)、显示单元3(CRT显示器、液晶显示器等)、存储单元4(硬盘等)和打印机5。

已经将图像数据存储在与图像处理设备1相连的存储单元4中。由输入单元2指定的图像数据会从存储单元4中读出并且经由输入接口(未示出)输入到图像处理设备1中。(下面将会把输入到图像处理设备1的图像数据称为“输入图像数据”，并且下面将会把由输入图像数据表示的图像称为“输入图像”。)当然可以这样安排：将记录在CD-ROM、DVD-ROM、存储卡或者其它记录介质中而不是存储单元4中的图像数据输入到图像处理设备1中。在这种情况下，要将CD-ROM驱动器或DVD-ROM驱动器等连在图像处理系统的图像处理设备1上。还可以这样安排：将通过网络传输的图像数据输入到图像处理设备1中。在这种情况下，要将用于通过网络发送和接收图像数据的收发器(调制解调器等)连在图像处理设备1上。

图像处理设备1具有对象类型检测电路11、逐个对象类型输入特征值计算电路12、逐个对象类型目标特征值/颜色转换条件计算电路13、颜色转换条件综合电路14和图像修正电路15。

对象类型检测电路11是用于检测(认定出)包含在由输入图像数据表示的输入图像中的对象类型的电路。首先将输入到图像处理设备1中的输入图像数据供应给对象类型检测电路11。在第一实施方式中，对象类型检测电路11检测输入图像中是否包含“蓝色天空”、“日落景色”、“面部”、“高饱和度”、“水下”、“亮色调”和“夜景”这七种对象类型中的各种类型。检测条件表21与对象检测电路11相连。根据存储在检测条件表21中的数据，在对象类型检测电路11中检测输入图像中包含哪些对象类型。后文中将详细介绍由对象类型检测电路11进行的处理和检测条件表21的内容。

逐个对象类型输入特征值计算电路12是用于计算专属于与输入图像数据所表示的输入图像有关的各对象类型的指定特征值(例如，平均RGB值、RGB色散值等)的电路。下面将会把逐个对象类型输入特征值计算电路12使用输入图像数据计算出来的特征值称为“输入特征值”。特征值计算表22与逐个对象类型输入特征值计算电路12相连。逐个对象类型输入特征值计算电路12通过查阅特征值计算表22来计算专属于每种特征类型的输入特征值。后文中将会详细介绍由逐个对象类型输入特征值计算电路12进行的处理和特征值计算表22的内容。

逐个对象类型目标特征值/颜色转换条件计算电路13是用于计算每种对象类型所对应的目标特征值(例如，RGB值)的电路。目标特征值依据逐个对象类型输入特征值计算电路12中计算出来的输入特征值和由图像处理系统的操作员(用户)使用输入单元2输入的参数(下面称为“输入参数”)而不同。

通过计算(选定)目标特征值，采用目标特征值(例如，RGB值)与输入特征值(例如，RGB值)之间的比值作为对象类型的增益(获得与各R、B、G分量相关的增益系数)。可以将逐个对象类型目标特征值/颜色转换条件计算电路13称为这样的电路：计算(选定)与输入特征值相应的目标特征值，由此计算与对象类型检测电路11检测到的各对象类型相关的增益。

边界函数表23(其中存储着代表为各种对象类型选定的边界函数的数据)与逐个对象类型目标特征值/颜色转换条件计算电路13相连。目标特征值(增益)是根据边界函数表23计算(选定)的。后文中将会详细介绍由逐个对象类型目标特征值/颜色转换条件计算电路13进行的处理和边界条件表23的内容。

颜色转换条件综合电路14是用于根据在逐个对象类型目标特征值/颜色转换条件计算电路13中获得的与检测到的各个对象类型相关的增益(与各R、G、B分量相关的增益系数)和由图像处理系统的操作员(用户)使用输入单元2输入的与各个对象类型相关的重要程序Wi计算出的增益(R、G、B中的每一个所对应的增益)来计算增益的电路。在后文中将介绍由颜色转换条件综合电路14进行的处理的细节。

图像修正电路15是用于根据由颜色转换条件综合电路14计算出来的增益(可运用增益系数)修正(转换)构成输入图像的各个像素的RGB值的电路。

附图3是图解说明对象类型检测电路11、逐个对象类型输入特征值计算电路12和逐个对象类型目标特征值/颜色转换条件计算电路13功能的功能框图。

在第一实施方式中，“对象类型”是涉及到七种对象类型(照相场景)的通称，即“蓝色天空”、“日落景色”、“面部”、“高饱和度”、“水下”、“亮色调”和“夜景”，这在前面已经提到过。根据从存储单元4中读出的要加以处理的图像数据，在对象类型检测电路11中检测由这一图像数据代表的图像是否包含这七种类型的对象(功能块11a到11g)。

适应性修改逐个对象类型输入特征值计算电路12，以使其能够计算与七种对象类型“蓝色天空”、“日落景色”、“面部”、“高饱和度”、“水下”、“亮色调”和“夜景”中的各类型相关的输入特征值(功能块12a到12g)。将哪些值用作输入特征值依据每种对象类型而不同。针对将哪些值用作输入特征值的定义存储在特征值计算表22(后文中介绍)中。

与逐个对象类型输入特征值计算电路12中计算出来的每种对象类型的输入特征值相应的目标特征值(增益)是在逐个对象类型目标特征值/颜色转换条件计算电路13中计算出来的(选定的)(功能块13a到13g)。

将为每种检测出来的对象类型计算出的增益(Gri、Ggi、Gbi)从逐个对象类型目标特征值/颜色转换条件计算电路13供应到颜色转换条件综合电路14(见附图2)，据此计算单独一个增益(可运用增益)。

现在将在把注意力放在对象类型“蓝色天空”上的情况下介绍由对象类型检测电路11、逐个对象类型输入特征值计算电路12和逐个对象类型目标特征值/颜色转换条件计算电路13执行的处理(由功能块11a、12a和13a进行的处理)，“蓝色天空”是能够由第一实施方式的图像处理设备1检测到的对象类型之一。

附图4是图解说明由对象类型检测电路11、逐个对象类型输入特征值计算电路12和逐个对象类型目标特征值/颜色转换条件计算电路13针对对象类型“蓝色天空”执行的处理(功能块11a、12a和13a)的流程的流程图。

从存储单元4中读出要加以处理的图像数据(输入图像数据)。将所读出的输入图像数据供应给对象类型检测电路11(步骤31)。

对象类型检测电路11查阅检测条件表21。附图5图解说明检测条件表21的内容。

与对象类型中的各类型相关的表示像素提取条件的数据和表示检测条件的数据已经存储在检测条件表21中。在蓝色天空检测功能11a中使用由与对象类型“蓝色天空”相关的像素提取条件和检测条件组成的集合。

存储在检测条件表21中的像素提取条件为从构成输入图像的像素当中提取表示对象类型中的各类型的像素选定条件。

现在将介绍表示针对对象类型“蓝色天空”选定的像素提取条件的数据(蓝色天空像素提取条件)。

在第一实施方式中，认为蓝色天空像素是构成输入图像的像素当中满足下列等式的像素：

380°≤H≤351°

s≥0.25Smax

Y≥0.25Ymax

YmaxS≥(Ymax-Y)Smax              …等式1

其中H、S和Y分别代表色调、饱和度和亮度。亮度Y是按照下列等式根据各个像素的RGB值计算出来的；

Y＝(19R+38G+7B)/64               …等式2

此外，饱和度S是按照下列等式根据各个像素的RGB值计算出来的：

S＝SQRT(Cr²+Cb²)                 …等式3

这里等式3中的Cr、Cb是按照下列等式计算出来的：

Cr＝R-Y

Cb＝B-Y                         …等式4

此外，等式1中的Ymax和Smax分别代表整个输入图像内的最大亮度和最大饱和度。

附图6图解说明具有曲线图形式的蓝色天空像素提取条件(蓝色天空像素提取条件.dat)(前面列出的等式1)，在该曲线图中，沿着垂直和水平轴分别标绘出了亮度Y和饱和度S。属于由等式1决定的区域的像素，即，属于由附图6中的阴影表示的区域的像素，是与对象类型“蓝色天空”相关的提取像素(下面称为“蓝色天空像素”)，这些像素是构成输入图像的像素当中的像素。根据存储在检测条件表21中的蓝色天空像素提取条件，从构成输入图像的像素当中提取出蓝色天空像素(步骤32)。

计算出根据检测条件表21中的蓝色天空像素提取条件提取出来的蓝色天空像素的数量并且计算所计算出来的蓝色天空像素的数量与像素总数的比值(步骤33)。

判断所计算出来的蓝色天空像素的数量与像素总数的比值(即，蓝色天空像素占输入图像的百分比(面积比))是否等于或大于指定值(步骤34)。为了进行这一判断，要查阅存储在检测条件表21中的与对象类型“蓝色天空”相关的检测条件。

参照附图5，与对象类型“蓝色天空”相关的检测条件是蓝色天空面积比Asky≥0.01。因此，就对象类型“蓝色天空”而言，要判断蓝色天空像素的数量(面积比)是否符合这一条件。

如果蓝色天空面积比Asky小于指定值(蓝色天空面积比<0.01)，则按照不是包含对象类型“蓝色天空”的图像那样来处理由输入图像数据表示的输入图像(步骤34中的“否”；步骤35)。在这种情况下，从对象类型检测电路11向逐个对象类型输入特征值计算电路12和逐个对象类型目标特征值/颜色转换条件计算电路13供应代表输入图像不包含蓝色天空图像这一情况的数据。在这种情况下，逐个对象类型输入特征值计算电路12和逐个对象类型目标特征值/颜色转换条件计算电路13不执行与对象类型“蓝色天空”相关的处理。就是说，不计算与对象类型“蓝色天空”相关的目标特征值(增益)。

如果蓝色天空面积比等于或大于指定值(蓝色天空面积比Asky≥0.01)(步骤34中的“是”)，则按照包含对象类型“蓝色天空”的图像那样来处理输入图像。

像素提取条件和检测条件可以通过训练处理来设定。例如，准备多个要将对象类型判定为“蓝色天空”的图像(蓝色天空样本图像)，并且得出从这多个蓝色天空样本图像中共同提取的特征值及其(多个)范围(例如，色调范围、亮度范围、饱和度范围、面积比等)。根据所得出的特征值及其范围决定像素提取条件和检测条件。当然，也可以这样安排：可以人工修改通过训练处理获得的条件(像素提取条件和检测条件)。

在输入图像是包含对象类型“蓝色天空”的图像的情况下，在逐个对象类型输入特征值计算电路12和逐个对象类型目标特征值/颜色转换条件计算电路13中执行下面给出的处理。

将输入图像数据供应给逐个对象类型输入特征值计算电路12。通过查阅特征值计算表22，逐个对象类型输入特征值计算电路12计算针对对象类型“蓝色天空”选定的(多个)特征值(这是由蓝色天空输入特征值计算功能12a执行的处理)。

附图7图解说明特征值计算表22的内容。

针对各对象类型，在特征计算表22中存储着与所要计算的特征值相关的定义。按照存储在特征值计算表22中的定义，逐个对象类型输入特征值计算电路12根据输入图像数据计算各个对象类型的特征值。

参照附图7，在特征值计算表22中定义了计算蓝色天空像素的各个颜色R、G、B的平均值这一实情作为特征值计算条件。逐个对象类型输入特征值计算电路12计算由输入图像数据表示的图像中与蓝色天空像素相关的各颜色R、G、B的平均值(Rave、Gave、Bave)(使用对象类型检测电路11中检测到的颜色天空像素)(步骤36)。

将所计算出来的蓝色天空像素的RGB平均值(Rave、Gave、Bave)作为输入特征值供应给逐个对象类型目标特征值/颜色转换条件计算电路13。

逐个对象类型目标特征值/颜色转换条件计算电路13根据逐个对象类型输入特征值计算电路12中计算出来的输入特征值和为每种对象类型选定的并且存储在边界函数表23中的边界函数数据每对象类型地计算目标特征值(增益)。执行下面给出的处理。

由与对象类型“蓝色天空”相关的输入特征值(Rave、Gave、Bave)计算出饱和度S和亮度Y(步骤37)。饱和度S是根据前面列出的等式3和4计算出来的。亮度Y是根据前面列出的等式2计算出来的。

就特征类型“蓝色天空”而言，逐个对象类型目标特征值/颜色转换条件计算电路13根据存储在边界函数表23中的与对象类型“蓝色天空”相关的边界函数数据以及由与对象类型“蓝色天空”相关的输入特征值(Rave、Gave、Bave)计算出来的饱和度S和亮度Y计算目标特征值和增益。

附图8以曲线图形式图解说明由与对象类型“蓝色天空”相关的边界函数数据表示的边界函数，在该曲线图中，分别沿着垂直和水平轴标绘出亮度Y和饱和度S。与对象类型“蓝色天空”相关的边界函数Fsky(s)是通过试验手段针对对象类型“蓝色天空”得出的。

举例来说，假设依照由输入特征值(Rave、Gave、Bave)获得的饱和度S和亮度Y的标绘点是附图8中所示的函数图中的点A(Sa，Ya)的位置。点A(Sa，Ya)处于由边界函数Fsky(S)定义的外侧区域内。在这种情况下，对象类型“蓝色天空”即使不加以修正也具有足够的明亮度。因此，就对象类型“蓝色天空”而言，可以判定没有必要执行修正处理。就是说，认定目标特征值等于输入特征值。与对象类型“蓝色天空”相关的增益Gsky变为“1”(步骤38中的“否”)。

假设依照由输入特征值(Rave、Gave、Bave)获得的饱和度S和亮度Y的标绘点是附图8中所示的函数图中的点B(Sb，Yb)的位置。点B(Sb，Yb)处于由边界函数Fsky(S)定义的内侧区域内。在这种情况下，如果将输入特征值(Rave、Gave、Bave)原样用作目标特征值(即，增益Gsky＝1)，则包含对象类型“蓝色天空”的输入图像将会看起来很暗。在这种情况下，求出边界函数Fsky(S)与连接原点(0，0)和由输入特征值(Rave、Gave、Bave)获得的标绘点B(Sb，Yb)的直线之间的交点(St，Yt)。按照下列等式求出与对象类型“蓝色天空”相关的增益Gsky(步骤38中的“是”；步骤39)：

Gsky＝St/Sb                         …等式5

这样，使用边界函数Fsky(S)计算出了与对象类型“蓝色天空”相关的增益Gsky。可以这样讲：边界函数Fsky(s)代表规定了是否应当对对象类型“蓝色天空”应用修正的条件。此外，如果应当进行修正，则可以这样讲：该函数是规定修正值(增益)的函数。

就对象类型“蓝色天空”而言，采用按照等式5获得的增益Gsky作为与各个颜色R、G、B相关的公共增益。与对象类型“蓝色天空”相关的目标特征值是(Gsky·Rave、Gsky·Gave、Gsky·Bave)。

当然，目标特征值也是可以每对象类型地预先确定的。在这种情况下，修正值(增益)是使用预定目标特征值和计算出来的输入特征值计算出来的。

前面提到的边界函数(目标特征值)可以由使用输入单元2输入的参数来改变。附图9图解说明改变与对象类型“蓝色天空”相关的边界函数Fsky(S)的方式。

在希望通过使对象类型“蓝色天空”变得更亮来对其进行修正的情况下(高明亮度修正)，使用输入单元2进行表示“加强对象类型‘蓝色天空’的明亮度”的数据输入。例如，通过使用鼠标之类的装置滑动显示在显示单元3的显示屏上的滑动条来输入明亮度修正的程度。

如果操作员进行了上述输入来调亮对象类型“蓝色天空”，则存储在边界函数表23中的与“蓝色天空”相关的边界函数Fsky变成由附图9中所示的单点划线表示的函数。如果由输入特征值获得的饱和度S和亮度Y处于由该单点划线表示的边界线的内侧，则计算将这一标绘点修正使得落在由该单点划线表示的边界函数上的增益Gsky(>1)。反之，如果操作员试图使对象类型“蓝色天空”比标准状态暗一些，则使用输入单元2进行表示“减弱对象类型‘蓝色天空’的明亮度”的输入。边界函数Fsky将变成由双点划线表示的函数。

附图10图解说明运用了增益Gsky的修正函数(直线增益线)。在附图10中，点划线代表增益为“1”时的修正函数，而实线代表运用了增益Gsky(>1)的修正函数。

就对象类型“蓝色天空”而言，照相场景是户外拍摄的场景。因此，对各个颜色R、G、B共用的增益Gsky是在没有考虑白平衡的情况下得出的。就另一种对象类型而言，例如，特征类型“面部”，可以这样安排：在考虑白平衡的前提下(将R、G、B之间的比例采取为指定比例)，针对各种颜色R、G、B单独计算增益(目标特征值)。在任何情况下，用于修正与各种颜色R、G、B相关的输入特征值的增益(Gri、Ggi、Gbi)(其中i表示各个检测到的对象类型)都是针对检测到的各种对象类型来计算的。

下面将介绍颜色转换条件综合电路14。

颜色转换条件综合电路14是这样一个电路：使用由逐个对象类型目标特征值/颜色转换条件计算电路13供应的逐个对象类型增益(Gri、Ggi、Gbi)和从输入单元2输入的逐个对象类型重要程度Wi来计算新的增益(“可运用增益”)，以使与各种对象类型相关的输入特征值总体上逼近与各种对象类型相关的目标特征值。

颜色转换条件综合电路14根据由逐个对象类型目标特征值/颜色转换条件计算电路13供应的逐个对象类型增益(Gri、Ggi、Gbi)和由操作员从输入单元2输入的逐个对象类型重要程度Wi按照下列等式计算可运用增益(Gr、Gg、Gb)：

Gr＝∑(Wi·Gri)/∑Wi

Gg＝∑(Wi·Ggi)/∑Wi

Gr＝∑(Wi·Gbi)/∑Wi                   …等式6

将使用一个曲线图来介绍由颜色转换条件综合电路14计算出来的可运用增益。附图11a是针对包含特征类型“夜景”和特征类型“面部”的输入图像图解说明R分量所对应的输入—输出关系(增益函数)的曲线图。这些输入—输出函数是由逐个对象类型目标特征值/颜色转换条件计算电路13中计算出来的与特征类型“夜景”和“面部”中的各类型相关的R分量对应的增益表示的。应当注意，就对象类型“夜景”而言，输入特征值和目标特征值是针对阴影和高亮中的每一种获得的(见附图7)。在附图11a所示的曲线图中，与对象类型“夜景”(阴影)相关的输入特征值和目标特征值由实心圆表示，而与对象类型“夜景”(高亮)相关的输入特征值和目标特征值由空心圆表示。与对象类型“面部”相关的输入特征值和目标特征值由三角形表示。

在附图11b中示出了由通过运用前面给出的等式6获得的与R分量相关的可运用增益Gr决定的输入—输出关系(增益函数)。采用通过运用等式6求算增益(Gri、Ggi、Gbi)的加权平均值的结果(是针对每种对象类型获得的)作为要运用于输入图像数据的可运用增益(Gr、Gg、Gb)。获得了总体上逼近各个相应的目标特征值的可运用增益(Gr、Gg、Gb)(据此，与各种检测到的对象类型相关的输入特征值也将总体上逼近相应的目标特征值)。此外，由于加权平均值遵循由操作员输入的重要程度Wi，因此可运用增益会较强地反映与操作者强调的对象类型相关的增益。

将由颜色转换条件综合电路14计算出来的可运用增益(Gr、Gg、Gb)供应给图像修正电路15。图像修正电路15使用可运用增益(Gr、Gg、Gb)修正构成由从存储单元4中读出的图像数据表示的图像的每个像素的RGB值。从图像处理设备1中输出经过修正的图像数据并且将其供应给显示单元3或打印机5。

第一种修改方案

可以这样安排：除了按照前面介绍的实施方式进行的处理之外，还使用输入单元2和显示单元3接受用户的请求并且修改各种对象类型所对应的检测精度和目标特征值(增益)。附图12图解说明显示在显示单元3的显示屏上的用于输入用户希望的屏幕显示的实例。

使用输入单元2选择“打印—强调出品率”、“打印—强调质量”、“照片—强调出品率”和“照片—强调质量”中的任何一种。图像处理设备1中的处理依照用户的选择(希望)发生变化。

如果用户选择“打印—强调质量”或“照片—强调质量”，则图像处理设备1中的处理是以这样的方式执行的：与选择“打印—强调出品率”或“照片—强调出品率”的情况相比，可以获得质量较高的修正结果。例如，即使在将判断输入图像中是否包含对象类型“面部”的过程中使用的面积比(见附图4的步骤34)修订为较小值并且结果造成输入图像中包含面积较小的面部图像的情况下，也确定输入图像包含对象类型“面部”。就是说，可以进行向下达到较小尺寸面部的检测。相反，如果选择了“打印—强调出品率”或“照片—强调出品率”，则在图像处理设备1中执行强调处理速度的处理。

此外，如果用户选择了“照片—强调出品率”或“照片—强调质量”，则增益是以这样的方式调节的：与选择“打印—强调出品率”或“打印—强调质量”的情况相比，要使增益函数的斜率(见附图11b)大一些。

第二种修改方案

表示第一实施方式的另一种修改方案(第二修改方案)的附图13是图解说明前面介绍的与附图2相应的图像处理设备1的电路结构以及存储单元4的框图。

在第二种修改方案中，对象信息是从输入单元2输入并且供应给对象类型检测电路11的。从输入单元2输入的对象信息是例如与输入图像中是否存在各种对象类型相关的信息或者代表输入图像中存在的对象类型所处位置的数据等。

举例来说，假设预先知道(图像处理系统的操作员已经搞清楚)要接受图像处理的输入图像中不存在对象类型“面部”。在这种情况下，不需要进行用于在对象类型检测电路11中检测对象类型“面部”的处理、用于在逐个对象类型输入特征值计算电路12中计算与对象类型“面部”相关的输入特征值的处理和用于在逐个对象类型目标特征值/颜色转换条件计算电路13中计算与对象类型“面部”相关的目标特征值和增益的处理。如果从输入单元2供应到对象类型检测电路11的对象类型信息包含代表对象类型“面部”不存在这一实情的数据，则对象类型检测电路11不执行与对象类型“面部”相关的检测处理，并且在逐个对象类型输入特征值计算电路12和逐个对象类型目标特征值/颜色转换条件计算电路13中也不执行与对象类型“面部”相关的处理。结果，图像处理设备1的处理速度可以得到提高并且最终获得的可运用增益的精度也能够得到提高。

在预先知道要接受图像处理的输入图像中存在例如对象类型“面部”的情况下，可以将存在于输入图像中的对象类型“面部”所处的区域[面部在输入图像中的位置(区域)]插入在从输入单元2输入的对象信息中。在这种情况下，对象类型检测电路11也不执行与对象类型“面部”相关的检测处理。此外，逐个对象类型输入特征值计算电路12从输入图像中提取包含在从输入单元2供应的对象类型“面部”的存在区域(指定区域)内的像素作为与对象类型“面部”相关的像素(面部像素)(跳过附图4中步骤32的处理)。

在输入图像数据包含标签信息并且该标签信息包含与对象类型存在与否(对象类型“面部”存在与否)相关的信息的情况下，可以这样安排：根据标签信息而不是从输入单元2输入的对象信息来控制图像处理设备1。

第二实施方式

附图14是图解说明按照第二实施方式的图像处理设备1A的电路结构以及存储单元4的框图。这个设备与第一实施方式的图像处理设备1(附图2)的不同之处在于，提供了逐个对象类型存在概率计算电路51来取代对象类型检测电路11。还与第一实施方式的图像处理设备1有一点不同，提供了存在概率计算表52来取代检测条件表21。

附图15是图解说明逐个对象类型存在概率计算电路51、逐个对象类型输入特征值计算电路12和逐个对象类型目标特征值/颜色转换条件计算电路13的功能的功能框图。

逐个对象类型存在概率计算电路51是用于针对每种预定的对象类型计算在输入图像中存在的概率(评估对象类型存在所依据的概率、置信度或确定度)的电路。

逐个对象类型存在概率计算电路51计算输入图像中是否包含“蓝色天空”、“日落景色”、“面部”、“高饱和度”、“水下”、“亮色调”和“夜景”这七种对象类型，并且如果输入图像中包含对象类型，则计算包含该对象类型的概率程度(置信度，确定度)有多高(附图15中的功能块51a到51g)。而且，如果输入图像不包含前面提到的七种对象类型中的任何一种(下面将会把这种情况称为对象类型“超出检测范围”)，则逐个对象类型存在概率计算电路51也计算出现这种情况的概率(置信度，确定度)(附图15中的功能块51h)。

附图16图解说明逐个对象存在概率计算电路51中进行的存在概率计算中使用的存在概率计算表52的内容。

在存在概率计算表52中与“蓝色天空”、“日落景色”、“面部”、“高饱和度”、“水下”、“亮色调”和“夜景”这七种对象类型中的各种类型相应地存储着要在存在概率计算中使用的特征的类型和认定指标。

存储在存在概率计算表52中的数据(要在存在概率计算中使用的特征类型和认定指标)是通过训练处理获得的。

参照附图17，在与对象类型“水下”相关的训练处理中，首选准备多个包含对象类型“水下”的图像(称为“水下样本图像”)和多个不包含对象类型“水下”的图像(称为“非水下图像”)(见附图17的左侧)。然后，选择一种特征值类型，例如R值平均值，使用所述多个水下样本图像计算所选择的特征值类型(R值平均值)，并且创建其频率柱状图。类似地，使用所述多个非水下样本图像计算所选择的特征值类型(R值平均值)，并且创建它的频率柱状图(见附图17的中间)。

如果在是使用多个水下样本图像创建的频率柱状图与使用多个非水下样本图像创建的频率柱状图之间有与特征值一致的频率柱状图偏离，则可以认为所选择的特征值类型是适合于在水下样本图像与非水下样本图像之间进行区分的特征值类型。计算这两个创建的柱状图的相应特征值与特征值频率值的比值的逻辑值。所计算出来的逻辑值就是“认定指标”(见附图17的右侧)。

就输入图像数据而言，逐个对象类型存在概率计算电路51计算与存储在存在概率计算表52中的特征值类型相关的特征值并且获得与所计算出的特征值相应的认定指标。如果所获得的认定指标是正的认定指标，则输入图像是水下图像的概率很高，并且可以说，这个值的绝对值越大，这种概率越大。相反，如果所获得的认定指标是负的认定指标，则输入图像不包含水下图像的概率很高，并且可以说，这个值的绝对值越大，这种概率越大。

逐个对象类型存在概率计算电路51使用存储在存在概率计算表52中的数据计算与“蓝色天空”、“日落景色”、“面部”、“高饱和度”、“水下”、“亮色调”和“夜景”这七种对象类型中的各类型相关的存在概率(上面提到的认定指标或者基于认定指标的0到1值)。对象类型“超出检测范围”的存在概率是按照下列公式计算出来的：

Pot＝1-MAX(1-P₁，P₂，…，P₇)                 …等式7

其中P₁，P₂，…，P₇代表与“蓝色天空”、“日落景色”、“面部”、“高饱和度”、“水下”、“亮色调”和“夜景”这七种对象类型中的各类型相关的存在概率，并且MAX(1-P₁，P₂，…，P₇)代表P₁，P₂，…，P₇中的最大值。

由逐个对象类型存在概率计算电路51计算出来的与“蓝色天空”、“日落景色”、“面部”、“高饱和度”、“水下”、“亮色调”和“夜景”这七种对象类型相关的存在概率以及与对象类型“超出检测范围”相关的存在概率用在前面介绍的加权处理(等式6)之中。

就是说，在第二实施方式的图像处理设备1A中，使用下面的标准化重要程度Wa来取代第一实施方式的重要程度Wi(见等式6)：

Wa＝Wi·Wpi                  …等式(8)

这里Wpi是符合由逐个对象类型存在概率计算电路51获得的每种检测到的对象类型的每个存在概率pi数字值(取决于存在概率的重要程度)。例如，Wpi是根据附图18中所示的曲线(转换曲线)计算出来的。在第二实施方式的图像处理设备1A中，用于修正输入图像数据的可运用增益(Gr、Gg、Gb)比较强烈地反映出了操作员强调的对象类型相关的增益并且比较强烈地反映了与在输入图像中存在的概率较高的对象类型相关的增益。

当然，可以将附图18中所示的转换曲线做得对于每种对象类型都有所不同。

可以这样安排：按照下列等式得出前面提到的标准化重要程度Wa：

Wa＝Wi·Wpi·Wsi                    …等式9

这里Wsi是基于输入图像被各种检测到的对象类型占据的面积的值(取决于面积的重要程度)。要在可运用增益中比较强烈地反映出与输入图像中占据较大面积的对象类型相关的增益。

在第二实施方式中也是，以类似于第一实施方式的第一种修改方案的方式，来满足按照用户针对图像修正的希望改变图像处理设备1中的处理。按照类似于第一实施方式的第二种修改方案的方式，可以这样安排：根据从外部供应的对象信息(与输入图像中是否存在各种对象类型相关的信息等)来支持图像处理设备1A中的处理。

虽然在第一和第二实施方式中，图像处理设备1、1A是由硬件电路实现的，但是也可以这样安排：将其一部分或全部用软件来实现。

Claims (6)

1.一种图像修正设备，包括：

重要性输入构件，用于接受与预定的多个对象类型中的各类型相关的重要程度的输入；

对象类型检测构件，用于根据提供给它的图像数据检测由这一图像数据表示的图像中包含的所述预定的多个对象类型当中的哪些对象类型；

输入特征值计算构件，用于根据图像数据并且针对由所述对象类型检测构件检测到的对象类型中的各类型，通过为每种对象类型选定的计算处理，计算输入特征值；

修正值计算构件，用于根据由所述输入特征值计算构件计算出来的输入特征值和为每种对象类型选定的目标特征值计算与所检测到的对象类型中的各类型相关的修正值；

可运用修正值计算构件，用于计算通过使用由所述重要性输入构件针对对象类型中的各类型接收的第一种重要程度进行的由所述修正值计算构件计算出来的与对象类型中的各类型相关的修正值的加权平均获得的可运用修正值；

图像修正构件，用于根据由所述可运用修正值计算构件计算出来的可运用修正值修正图像数据；以及

逐个对象类型存在概率计算构件，用于计算代表由图像数据表示的图像中包含代表多种对象类型中的各图像的确信程度高低的存在概率，该计算是针对多种对象类型中的每种对象类型进行的；

其中所述可运用修正值计算构件使用所述第一种重要程度和按照由所述存在概率计算构件计算出来的对象类型中的各类型的存在概率获得的第二种重要程度，对由所述修正值计算构件计算出来的与对象类型中的各类型相关的修正值进行加权和求平均。

2.按照权利要求1所述的图像修正设备，还包括逐个对象类型面积计算构件，用于针对每种检测到的对象类型计算代表对象类型的图像在由图像数据表示的图像中占据的面积；

其中所述可运用修正值计算构件使用所述第一种重要程度和按照由所述面积计算构件计算出来的与对象类型中的各类型相关的面积获得的第三种重要程度，对由所述修正值计算构件计算出来的与对象类型中的各类型相关的修正值进行加权和求平均。

3.按照权利要求1所述的图像修正设备，此外还包括：

参数输入构件，用于接受改变目标特征值的参数的输入；和

目标特征值修改构件，用于根据由所述参数输入构件输入的参数修改目标特征值。

4.一种图像修正方法，包括：

接受与预定多个对象类型中的各类型相关的重要程度的输入；

用所供应的图像数据检测由这一图像数据表示的图像中包含所述预定多个对象类型当中的哪些对象类型；

根据图像数据并且针对所检测到的对象类型中的各类型，通过为每种对象类型选定的计算处理，计算输入特征值；

根据所计算出来的输入特征值和为每种对象类型选定的目标特征值计算与所检测到的对象类型中的各类型相关的修正值；

计算通过使用针对对象类型中的各类型接收到的第一种重要程度进行的所计算出来的与对象类型中的各类型相关的修正值的加权平均获得的可运用修正值；

根据由所计算出来的可运用修正值修正图像数据；以及

计算代表由图像数据表示的图像中包含代表多种对象类型中的各图像的确信程度高低的存在概率，该计算是针对多种对象类型中的每种对象类型进行的；

其中使用所述第一种重要程度和按照计算出来的对象类型中的各类型的存在概率获得的第二种重要程度，对计算出来的与对象类型中的各类型相关的修正值进行加权和求平均。

5.一种图像修正设备，包括：

重要性输入构件，用于接受与预定的多个对象类型中的各类型相关的重要程度的输入；

对象类型检测构件，用于根据提供给它的图像数据检测由这一图像数据表示的图像中包含所述预定的多个对象类型当中的哪些对象类型；

输入特征值计算构件，用于根据图像数据并且针对由所述对象类型检测构件检测到的对象类型中的各类型，通过为每种对象类型选定的计算处理，计算输入特征值；

条件判断构件，用于判断由所述输入特征值计算构件计算出来的每种对象类型的输入特征值是否满足为每种对象类型选定的指定条件；

修正值计算构件，用于针对由所述条件判断构件判定不满足指定条件的输入特征值所对应的对象类型计算修正值，这个修正值是这样的：使得与这种对象类型相关的输入特征值变成满足指定条件；

可运用修正值计算构件，用于计算通过使用由所述重要性输入构件针对对象类型中的各类型接收的第一种重要程度进行的由所述修正值计算构件计算出来的与对象类型中的各类型相关的修正值的加权平均获得的可运用修正值；

图像修正构件，用于根据由所述可运用修正值计算构件计算出来的可运用修正值修正图像数据；以及

逐个对象类型存在概率计算构件，用于计算代表由图像数据表示的图像中包含代表多种对象类型中的各图像的确信程度高低的存在概率，该计算是针对多种对象类型中的每种对象类型进行的；

其中所述可运用修正值计算构件使用所述第一种重要程度和按照由所述存在概率计算构件计算出来的对象类型中的各类型的存在概率获得的第二种重要程度，对由所述修正值计算构件计算出来的与对象类型中的各类型相关的修正值进行加权和求平均。

6.一种图像修正方法，包括：

接受与预定的多个对象类型中的各类型相关的重要程度的输入；

根据所提供的图像数据检测由这一图像数据表示的图像中包含所述预定的多个对象类型当中的哪些对象类型；

根据图像数据并且针对所检测到的对象类型中的各类型，通过为每种对象类型选定的计算处理，计算输入特征值；

判断每种计算出来的对象类型的输入特征值是否满足为每种对象类型选定的指定条件；

针对判定不满足指定条件的输入特征值所对应的对象类型计算修正值，这个修正值是这样的：使得与这种对象类型相关的输入特征值变成满足指定条件；

计算通过使用针对对象类型中的各类型接收到的第一种重要程度进行的所计算出来的与对象类型中的各类型相关的修正值的加权平均获得的可运用修正值；

根据所计算出来的可运用修正值修正图像数据；以及

计算代表由图像数据表示的图像中包含代表多种对象类型中的各图像的确信程度高低的存在概率，该计算是针对多种对象类型中的每种对象类型进行的；

其中使用所述第一种重要程度和按照计算出来的对象类型中的各类型的存在概率获得的第二种重要程度，对计算出来的与对象类型中的各类型相关的修正值进行加权和求平均。

Images