CN102194215A - 图像处理设备、方法以及程序 - Google Patents

Abstract

本发明涉及一种图像处理设备、方法以及程序。该图像处理设备包括：环境向量生成单元，其被配置为获取表示环境的信息，将信息数字化，并且生成环境向量；变换参数计算单元，其被配置为对预先准备的用于图像变换的多个变换参数当中由环境向量所指定的若干个变换参数进行加权加法；以及变换图像生成单元，其被配置为使用通过加权加法而获得的变换参数，针对要被处理的原始图像执行图像变换，以便生成变换图像。

Description

图像处理设备、方法以及程序

技术领域

本发明涉及一种图像处理设备和方法以及程序，并且更具体地涉及一种能够更有效地向用户呈现图像而无需繁杂的操作的图像处理设备和方法以及程序。

背景技术

在相关技术中，已知一种被称为数字相框的、用于显示从存储在记录介质(诸如闪存)上的图像当中所选择的任意图像或者用于显示幻灯片放映中的图像(也就是说，依次显示多个图像)的图像再现设备。

最近，还提出了一种不仅用于显示幻灯片放映中的图像、也用于显示经受图像变换的图像以便增强娱乐性的图像再现设备。例如，作为这样的图像再现设备，有用于将图像变换为绘画风格的设备。在该图像再现设备中，图像被变换为艺术性地表现的图像(诸如由用户所选定的水彩画模式或者油画模式)。

作为呈现图像的方法，有在从图像文件的准备起所经过的时间内以分阶段的方式将所显示的图像进行灰度化的方法(例如，参见日本未审查的专利申请公布第2009-141678号)或者执行图像的颜色变换以便达到接近于由关键词检索所获得的模型图像的色调的方法(例如，参见日本未审查的专利申请公布第2009-171176号)。

发明内容

然而，在将图像变换为绘画风格的方法中，用户必须不方便地逐一设置图像变换模式。在该方法中，图像变换模式可能被自动设置为依次的或者随机的。然而，在该情况中，可能没有选择适合于图像观看环境的模式。

在将图像以分阶段的方式进行灰度化和显示的方法中，用户直观地知道所经过的时间，但是图像可能没有被有效地显示。在使用模型图像来执行图像的颜色变换的方法中，用户使用键盘等来输入关键词以便执行检索，并且从很多图像当中找到所需要的图像。因而，繁杂的操作是必须的。

所需要的是更有效地向用户呈现图像而无需繁杂的操作。

根据本发明的实施例，提供了一种图像处理设备，其包括：环境向量生成装置，其用于获取表示环境的信息，将信息数字化，并且生成环境向量；变换参数计算装置，其用于对预先准备的用于图像变换的多个变换参数当中由环境向量所指定的若干个变换参数进行加权加法；以及变换图像生成装置，其用于使用通过加权加法而获得的变换参数，针对要被处理的原始图像执行图像变换，以便生成变换图像。

变换图像生成装置可以执行色调校正处理或几何变形处理中的至少一个作为图像变换。

变换参数可以是表示目标颜色分布的信息，并且变换图像生成装置可以通过针对原始图像执行色调校正，使得原始图像的颜色分布成为目标颜色分布，来生成变换图像。

表示目标颜色分布的信息可以包括对目标三维高斯模型进行定义的信息，并且变换图像生成装置可以获得与在代表原始图像的颜色分布的三维高斯模型的归一化(normalized)本征向量空间中原始图像的目标像素的位置相对应的、在目标三维高斯模型的归一化目标本征向量空间中的位置，并且根据该位置指定在归一化之前的目标本征向量空间中目标像素的位置，以便计算在色调校正之后目标像素的像素值。

变换参数计算装置可以记录包括变换参数和包括环境向量的环境向量空间中代表与变换参数相关联的位置或区域的位置信息的数据库，并且对与由位置信息所代表的位置或区域当中位于由环境向量生成装置所生成的环境向量的终点附近的预定数目的位置或区域相关联的变换参数进行加权加法。

变换参数计算装置可以基于具有元数据的学习图像来生成表示目标颜色分布的信息作为变换参数，根据元数据生成环境向量，并且将根据学习图像所获得的变换参数与环境向量空间中的位置或区域相关联。

变换参数计算装置可以使用其中将权重应用于每个分量的环境向量来指定进行加权加法后的变换参数。

变换图像生成装置可以包括：对象映射生成装置，其被配置为从原始图像中提取预定特征的特征量、并且生成代表原始图像的每个区域的对象相似度的对象映射；对象指定装置，其用于使用对象映射来指定包括原始图像的对象的对象区域；以及显示区域确定装置，其修剪原始图像的包括对象区域并且具有由变换参数所决定的尺寸或形状的区域，并且将该区域设置为变换图像。

根据本发明的另一实施例，提供了一种图像处理方法或程序，其包括：获取表示环境的信息，将信息数字化，并且生成环境向量；对预先准备的用于图像变换的多个变换参数当中由环境向量所指定的若干个变换参数进行加权加法；以及使用通过加权加法而获得的变换参数，针对要被处理的原始图像执行图像变换，以便生成变换图像。

在本发明的实施例中，获取表示环境的信息，将信息数字化，并且生成环境向量，对预先准备的用于图像变换的多个变换参数当中由环境向量所指定的若干个变换参数进行加权加法，以及使用通过加权加法而获得的变换参数来针对要被处理的原始图像执行图像变换，从而生成变换图像。

根据本发明的实施例，有可能更有效地向用户呈现图像而无需繁杂的操作。

附图说明

图1是说明根据本发明的图像处理设备的要点的图；

图2是说明由图像处理设备进行的原始图像的变换的图；

图3是示出根据本发明的实施例的图像处理设备的配置示例的图；

图4是示出图像变换单元的配置示例的图；

图5是说明图像变换处理的流程图；

图6是说明变换参数的获取的图；

图7是说明色调校正处理的流程图；

图8是说明色调校正的图；

图9是说明变换参数的数据库的构建的图；

图10是说明通过变换参数进行的变换示例的图；

图11是示出图像变换单元的配置示例的图；

图12是说明图像变换处理的流程图；

图13是说明图像变形处理的流程图；

图14是说明对象映射的图；

图15是说明变换图像的生成的图；

图16是示出图像变换单元的配置示例的图；

图17是说明图像变换处理的流程图；以及

图18是示出计算机的配置示例的框图。

具体实施方式

下文中，将参照附图描述本发明的实施例。

图像处理设备的要点

如图1中所示，根据本发明的图像处理设备11根据图像处理设备11的环境(也就是说，图像处理设备11所处的当前环境)，针对图像执行变换处理，并且向用户呈现作为结果而获得的图像。

图像处理设备11的环境指的是如图2左侧所示的日期和时刻、星期几、天气、季节、温度、图像处理设备11到用户的距离、周围照度等，并且图像处理设备11获取表示这样的环境的信息并且生成环境向量。该环境向量包括通过将作为环境的、诸如时刻和用户观看距离的元素进行数字化而获得的数字化的元素。

图像处理设备11使用所生成的环境向量来选择用来对要显示的图像(下文中称为原始图像)进行变换的变换参数。例如，如图2的中间部分所示，如果针对原始图像执行色调变换，则变换参数是用于指定代表图像的颜色分布的三维高斯模型的色调变换参数。

例如，原始图像的色调通过该色调变换参数被校正为对应于当前时刻的色调。具体地，如果当前时刻是傍晚或者夜间，则原始图像的色调被校正为诸如日落或夜景的图片的色调。

如果针对原始图像执行几何变形处理，则变换参数是代表放大率的变形参数，放大率用于指定在变形处理之后所显示的原始图像的区域。例如，通过该变形参数，将原始图像放大到与从图像处理设备11到用户的距离(下文中，称为观看距离)相对应的缩放倍率。

在变形参数的选择中，可以使用代表不仅用于显示环境向量也用于显示变形的图像等的显示单元的规格的显示区域信息。

如果选择了变换参数，则图像处理设备11使用变换参数执行针对原始图像的变换处理。具体地，执行使用色调变换参数作为变换参数的色调校正处理、使用变形参数作为变换参数的变形处理等。如果使用这样的变换处理将原始图像变换为变换图像，则图像处理设备11显示所获得的变换图像。

图像处理设备11获取表示当前环境的信息，生成环境向量，使用由环境向量所指定的变换参数来将原始图像变换为变换图像，并且显示变换图像。

图像处理设备11使用由环境向量所决定的变换参数来执行适合于环境的图像变换，以便在防止用户厌倦的同时以多种变化来显示图像。因为变换参数是根据环境向量选择的，所以有可能更简单和有效地向用户显示变换图像而不需用于指定变换参数的繁杂操作。

因为变换参数是根据环境向量选择的，所以有可能有效且恒定地将各种环境(诸如时刻、天气、温度或者是否存在观看者)与由变换参数所决定的变换处理相关联。

原始图像的变换处理不限于色调变换(色调校正)或者几何变形，而是可以执行任何变换处理。可以执行作为变换处理的诸如色调校正和几何变形的多个变换处理以便生成变换图像。

第一实施例

图像处理设备的配置

接着，将描述图像处理设备11的详细配置示例。图3是示出图像处理设备11的配置示例的图。

图像处理设备11包括例如数字相框等，并且包括环境获取单元21、存储器22、再现单元23、图像变换单元24和图像显示单元25。

环境获取单元21包括例如手表、温度计、照度计、湿度计、全球定位系统(GPS)器件、电子罗盘、照相机、传感器等。环境获取单元21测量用户观看距离或者通过网络(未示出)从诸如服务器的器件来获取图像处理设备11所位于的区域的当前时刻的天气，以便生成环境向量并且将环境向量提供给再现单元23。

存储器22是记录原始图像的非易失记录介质。再现单元23包括例如微处理器等，并且控制图像处理设备11的整体操作。例如，再现单元23使用来自环境获取单元21的环境向量来获取变换参数，并且将变换参数和从存储器22所读取的原始图像提供给图像变换单元24，以便获取环境并且生成变换图像。再现单元23将从图像变换单元24所获取的变换图像提供给图像显示单元25，以便显示变换图像。

图像变换单元24从再现单元23接收变换参数和原始图像，使用变换参数将原始图像变换为变换图像，并且将变换图像提供给再现单元23。图像显示单元25包括例如液晶显示器，并且显示从再现单元23所提供的变换图像。

图像变换单元的配置

图3的图像变换单元24具有图4中所示的配置。

图像变换单元24包括颜色空间变换单元51、本征向量计算单元52、位置指定单元53和颜色空间逆变换单元54。

颜色空间变换单元51对从再现单元23所提供的原始图像的颜色空间进行变换，并且将颜色空间提供给本征向量计算单元52。本征向量计算单元52获得在从颜色空间变换单元51所提供的进行颜色空间变换之后的原始图像的三维高斯模型，计算所获得的三维高斯模型的本征值和本征向量，并且将原始图像、本征值和本征向量提供给位置指定单元53。

位置指定单元53使用来自本征向量计算单元52的原始图像、本征值和本征向量以及来自再现单元23的变换参数，执行对原始图像的每个像素的像素值的映射，并且将所获得的经映射的原始图像提供给颜色空间逆变换单元54。颜色空间逆变换单元54将来自位置指定单元53的原始图像逆变换到原始颜色空间，并且将作为结果所获得的变换图像提供给再现单元23。

图像变换处理的描述

接着，将描述图像处理设备11的操作。

如果由图像处理设备11显示图像，则用户可以选择固定显示模式、幻灯片放映模式和自动变换模式中的任一种作为显示模式。

用户可以操纵设置在图像处理设备11的壳体的侧部的按钮(未示出)，以便设置显示模式并且记录再现单元23中的设置。因而，即使没有在再现图像的同时逐个设置显示模式，也有可能以所设置的模式再现图像。显示模式的设置不限于按钮操纵，并且可以通过远程控制器的操纵来执行。

例如，如果用户指示开始图像的显示，则再现单元23以所记录的显示模式开始图像再现。具体地，如果设置了固定显示模式，则再现单元23从存储器22读取一个由用户所选定的原始图像，并且将原始图像提供给图像显示单元25并将其显示在图像显示单元25上。也就是说，在固定显示模式中，由用户所选定的原始图像持续地显示而不变化。

如果设置了幻灯片放映模式，则再现单元23依次从存储器22读取原始图像，并且将原始图像提供给图像显示单元25并将其显示在图像显示单元25上。因而，在幻灯片放映模式中，原始图像依次地显示。

如果设置了自动变换模式，则图像处理设备11执行图像变换处理以便将原始图像变换为变换图像，并且以幻灯片放映模式显示变换图像。下文中，将参照图5的流程图描述图像处理设备11的图像变换处理。

在步骤S11中，再现单元23从存储器22读取要被显示的原始图像。

在步骤S12中，环境获取单元21获取表示当前时刻处的图像处理设备11的环境的信息，并且生成环境向量并将其提供给再现单元23。

例如，在获取当前时刻作为环境时，环境获取单元21将0到100的数字值分配给从0到24的时刻作为环境向量的分量。

可以设置当前时刻处图像处理设备11的周围天气作为环境向量的分量。在该情况下，例如，可以分别将关于环境向量的天气分量的值“0”、“50”和“100”分配给“良好”、“多云”和“下雨”天气。因此，例如，如果通过有线或无线网络获取了表示“下雨”的信息作为关于设置有图像处理设备11的区域的天气，则环境获取单元21生成具有值“100”的环境向量作为天气分量。

可以对从一月一日到十二月三十一日的日期进行数字化，并且可以将当前日期设置为环境向量的分量。在该情况下，例如，如果日期是一月一日，则将日期分量的值设置为“0”，如果日期是十二月三十一日，则将日期分量的值设置为“100”，并且如果日期是其它的日期，则将日期分量的值设置为从0到100的范围内的任一个值作为环境向量的分量的值。

环境向量的每个分量的值的范围是任意设置的。只要表示了图像处理设备11的环境，则可以使用诸如温度或湿度、图像处理设备11的纬度/经度、电子罗盘的指向等的环境向量的任何分量。

在步骤S13中，再现单元23使用从环境获取单元21所提供的环境向量来获取变换参数。

具体地，在再现单元23中预先设置的只读存储器(ROM)(未示出)中记录如下数据库：其中变换参数与由环境向量所定义的多维环境向量空间内的点(下文中，称为布置点)相关联。也就是说，该数据库包括表示布置点的信息，在布置点中，事先准备的变换参数与包括环境向量的集合的环境向量空间中的变换参数相关联。

再现单元23通过参考数据库来计算在这样的布置点和由环境向量所表示的位置(也就是说，环境向量的终点)之间的欧几里得距离，并且选择与具有最短欧几里得距离的布置点相关联的变换参数。

例如，如图6中所示，环境向量J1是包括分量Jx和分量Jy的二维环境向量。在图6的示例中，变换参数与二维环境向量空间的布置点P1至布置点P6相关联，二维环境向量空间包括分量Jx和分量Jy并且具有原点O作为基准。

此时，再现单元23从与变换参数相关联的布置点P1至布置点P6当中，选择与最靠近由环境向量空间中的环境向量J1所表示的点(位置)的布置点相关联的变换参数。在图6的示例中，因为环境向量J1是具有原点O作为起点并且具有点P7作为终点的向量，所以选择与最靠近点P7的布置点P5相关联的变换参数。

在图6中，布置点P1至布置点P6周围的虚线表示位于与两个相邻布置点的距离相等处的边界线。因此，如果环境向量J1的终点在由这些边界线所围绕的区域内，则选择对应于区域内的布置点的变换参数。

如果在环境向量中存在具有循环数值的分量(下文中，称为循环分量)，则在选择变换参数时，可以针对循环分量如下地获得环境向量和布置点的分量之间的距离。

也就是说，再现单元23获得环境向量的终点和布置点的循环分量的值之间的差的绝对值作为通常的减法结果。接着，再现单元23将循环分量可以取的值的范围的最大值加到环境向量的终点和布置点的循环分量的值中的较小者上，并且获得循环分量的值之间的差的绝对值作为校正之后的减法结果。再现单元23使用通常的减法结果和校正之后的减法结果中的较小者作为循环分量的距离。

具体地，如果循环分量是表示当前时刻的从0到24的值并且每个时刻的值是循环分量的值，则00:00和24:00具有相同的值。

例如，如果获得01:00和23:00之间的差，则差为22(22小时的距离)。但是，在实践中，差为2(2个小时的距离)。因此，如果将循环分量可以取的最大值24(24:00)加到作为1点钟和23:00中的较小者的1点钟上并且随后获得1点钟和23:00之间的差，则获得|(1+24)-23|＝2(2个小时的距离)，并且可以获得循环分量的校正的距离。

像这样的循环分量一样，除时刻之外还可以考虑由电子罗盘或者陀螺仪传感器所获得的角度的距离。此外，在再现单元23中预先记录表示环境向量的每个分量是否是循环分量的信息作为环境向量的分量的属性。

尽管在以上描述中选择与最靠近环境向量的终点的布置点相对应的变换参数，但是可以根据多个布置点的变换参数来计算最终的变换参数。

例如，可以根据与环境向量的终点的距离对环境向量的终点附近的多个布置点的变换参数进行加权平均(加权加法)，并且将其设置为最终的变换参数。在该情况下，例如，随着与环境向量的终点的距离变短，对预定数量的布置点的变换参数进行加权加法。通过根据从布置点到环境向量的终点的距离对所有布置点的变换参数进行加权平均所获得的值可以是最终的变换参数。

如果不存在其与环境向量的终点的距离小于预定阈值的布置点，则可以选择不经受变换处理(色调校正)的变换参数。在该情况下，变换图像成为原始图像。

可以将权重应用于环境向量的每个分量，使得指定的分量变得重要。例如，如果环境向量的所有分量具有相同的权重，则将权重“1”应用于每个分量，并且如果指定的分量需要被忽略，则将权重“0”应用于该分量。可以使用这样的权重来计算环境向量的终点和布置点之间的欧几里得距离，并且用权重除每个分量的距离，使得可以调节作为所选择的变换参数的目标三维高斯模型。具体地，即使在权重乘法之前获得预定分量的距离“10”时，如果权重是1，则最终的距离为10(＝10/1)，但是，如果权重是“0.5”，则最终的距离为20(＝10/0.5)。因而，使用具有大的权重的环境向量分量的距离的靠近性变得重要。

尽管在以上描述中环境向量的终点和布置点之间的距离为欧几里得距离，但是其可以是马氏距离(Mahalanobis距离)。在该情况下，在环境向量空间中，将变换参数布置为诸如高斯函数的空间扩展而非点，并且选择具有与环境向量的终点的最短马氏距离的变换参数。

返回图5的流程图的描述，如果在步骤S13中获取了变换参数，则再现单元23将变换参数和从存储器22所读取的原始图像提供给图像变换单元24，并且随后处理前进到步骤S14。

在步骤S14中，图像变换单元24执行色调校正处理，并且使用从再现单元23所提供的变换参数将来自再现单元23的原始图像变换为变换图像。图像变换单元24将所获得的变换图像提供给再现单元23。

例如，假设变换参数是图像的像素的像素值的平均值和代表这些像素的像素值的方差的协方差矩阵，该变换参数定义了目标的三维高斯模型(下文中，称为目标三维高斯模型)。在该情况下，图像变换单元24获得原始图像的颜色分布的三维高斯模型，并且使用所获得的三维高斯模型和目标三维高斯模型执行原始图像的色调校正。也就是说，校正原始图像的每个像素的像素值的色调，使得变换图像的颜色分布成为以目标三维高斯模型所代表的分布。

换言之，变换参数是用于将代表原始图像的颜色分布的三维高斯模型修改为所需要的形状的参数，基于变换参数修改三维高斯模型，并且根据该修改来改变原始图像的颜色。以下将描述色调校正处理的细节。

在步骤S15中，再现单元23将从图像变换单元24所提供的变换图像提供给图像显示单元25，并将其显示在图像显示单元25上。因而，使用变换参数校正了其色调的原始图像(也就是说，通过图像变换所获得的变换图像)显示在图像显示单元25上。

在步骤S16中，再现单元23确定是否完成处理。例如，如果用户操纵图像处理设备11以便指示将完成图像显示处理，则确定完成处理。

在步骤S16中，如果确定未完成处理，则处理返回步骤S11，并且重复上述处理。也就是说，读取下一个原始图像，使其经受色调校正，并且将其显示。因此，在图像变换处理中，以幻灯片放映模式显示校正了其色调的原始图像，直到指示完成处理为止。

相反地，如果在步骤S16中确定完成了处理，则图像处理设备11的每个单元停止处理，并且完成图像变换处理。

以这种方式，图像处理设备11获取表示环境的信息，生成环境向量，并且使用环境向量选择适合于当前环境的变换参数。图像处理设备11使用变换参数将原始图像变换为变换图像，并且显示变换图像。

因此，图像处理设备11可以根据环境指定变换参数而无需使用户执行任何操作。因而，有可能针对原始图像执行适合于环境的色调校正，以便获得具有多种变化的变换图像，并且作为结果，更有效地呈现原始图像。色调校正处理的描述

接着，将参照图7的流程图描述与图5的步骤S14的处理相对应的色调校正处理。

在步骤S41中，颜色空间变换单元51将从再现单元23所提供的原始图像的像素的像素值变换为Lαβ空间的像素值。

此处，Lαβ空间是包括照度分量L和色调(颜色)的分量(α，β)的三维颜色空间。例如，如果原始图像的像素的像素值包括R(红)、G(绿)和B(蓝)的各个颜色的分量的值，则将原始图像的像素的像素值从分量R、G和B的值变换为分量L、α和β的值。颜色空间变换单元51将从RGB空间的图像变换到了Lαβ空间的图像的原始图像提供给本征向量计算单元52。

例如在“High Dynamic Range Imaging：Acquisition，Display，and Image-Based Lighting(The Morgan Kaufmann Series in Computer Graphics)，Erik Reinhard，Greg Ward，Sumanta Pattanaik，Paul Debevec”中描述了从RGB空间到Lαβ空间的变换，并且用于从RGB空间到Lαβ空间的变换的系数是可以适当改变的。

这样的颜色空间的变换的优势在于，执行到分量之间具有低相关性的三维空间(颜色空间)的映射，使得甚至在独立地对三个轴的值(分量的值)进行变换时，也减少了作为结果所获得的图像的劣化。例如，如果将原始图像变换到Lαβ空间，则甚至在改变像素的照度分量时，变换图像也不因为仅改变像素的亮度而不充分地影响α分量和β分量而变得不自然。此外，在不执行原始图像的颜色空间的变换的情况下，可以使用原始图像的颜色空间(诸如R、G和B或者Y、Cb和Cr)来执行处理。

在步骤S42中，本征向量计算单元52使用从颜色空间变换单元51所提供的原始图像，获得代表原始图像的颜色分布的三维高斯模型。也就是说，计算出原始图像的像素的像素值的平均值和协方差矩阵。

在步骤S43中，位置指定单元53将由作为从再现单元23所提供的变换参数的像素值的平均值和协方差矩阵所定义的三维高斯模型设置为原始图像的三维高斯模型的变换之后的目标三维高斯模型。

在步骤S44中，本征向量计算单元52基于原始图像的协方差矩阵来计算原始图像的三维高斯模型的本征值和本征向量，并且将原始图像、本征值和本征向量提供给位置指定单元53。

此处，由Lαβ空间中的分量(也就是说，分量L、α和β)(特别地，分量L、α和β的线性耦合)来代表本征向量。例如，如果获得本征向量u、本征向量v和本征向量w作为本征向量，则根据这些本征向量和本征值来定义原始图像的三维本征向量空间。也就是说，包括具有本征值的长度的本征向量的空间是本征向量空间。下文中，由(u，v，w)代表本征向量空间中特定点的本征向量u、本征向量v和本征向量w的分量的值(也就是说，该点的坐标(位置))。

在步骤S45中，位置指定单元53使用来自本征向量计算单元52的原始图像、本征值和本征向量，计算原始图像的像素在本征向量空间中的位置(u，v，w)(也就是说，像素的像素值)。因为原始图像的每个像素具有分量L、α和β作为像素值，所以根据这些分量的值获得本征向量空间中的分量u、v和w的值。

在步骤S46中，位置指定单元53根据所获得的原始图像的每个像素在本征向量空间中的位置(u，v，w)，计算该像素在目标三维高斯模型的本征向量空间(下文中，称为目标本征向量空间)中的位置(u’，v’，w’)。

具体地，位置指定单元53对原始图像的三维高斯模型的本征向量空间进行归一化，并且根据在本征向量空间中像素的位置(u，v，w)来计算在归一化之后的本征向量空间中像素的位置(ru，rv，rw)。

位置指定单元53根据目标三维高斯模型的协方差矩阵获得目标三维高斯模型的本征向量和本征值，并且对由本征向量和本征值所定义的目标本征向量空间进行归一化。

此处，由(u’，v’，w’)指代目标本征向量空间中特定点的本征向量u’、本征向量v’和本征向量w’的分量的值(也就是说，该点的坐标(位置))。由(ru’，rv’，rw’)指代归一化之后的目标本征向量空间中特定点的位置(坐标)。

目标本征向量空间中的分量u’、v’和w’和归一化之后的目标本征向量空间中的分量ru’、rv’和rw’分别由Lαβ空间中的分量L、α和β表示。因此，归一化之后的目标本征向量空间中特定点的分量ru’、rv’和rw’中的每个可以使用归一化之后的本征向量空间中的分量ru、rv和rw来表示。

因此，位置指定单元53针对原始图像的每个像素，根据归一化之后的本征向量空间中像素的位置(ru，rv，rw)来计算归一化之后的目标本征向量空间中像素的位置(ru’，rv’，rw’)。

位置指定单元53根据归一化之后的目标本征向量空间中原始图像的每个像素的位置(ru’，rv’，rw’)，计算归一化之前的目标本征向量空间中原始图像的每个像素的位置(u’，v’，w’)。

在步骤S47中，位置指定单元53针对原始图像的每个像素，根据目标本征向量空间中像素的位置(u’，v’，w’)来计算像素在Lαβ空间中的位置(也就是说，分量L、α和β的值)。所获得的分量L、α和β的值是像素在Lαβ空间中的像素值(也就是说，经色调校正的像素值)。

包括如上所述而获得的像素的图像是具有目标三维高斯分布作为颜色分布的图像，并且该图像是变换图像。也就是说，通过基于由变换参数所指定的目标三维高斯模型的像素的映射处理，原始图像被变换为具有以目标三维高斯模型所代表的颜色分布的变换图像。

现在将着眼于二维分量，描述上述步骤S42至S47的处理。

也就是说，例如，如图8的左上侧上所示，假设本征向量空间SV是根据原始图像的三维高斯模型获得的。该本征向量空间SV包括具有本征值作为长度的本征向量u和具有本征值作为长度的本征向量v。

在图中，本征向量空间SV的两个轴(箭头)代表各自具有本征值作为长度的本征向量u和本征向量v，并且代表本征向量空间SV的椭圆代表了原始图像的像素的颜色的近似分布状态。

原始图像的像素当中由本征向量空间SV中的坐标(u，v)所表示的像素Gp(点Gp)被映射到图的右上侧上所示的目标本征向量空间SV’。

目标本征向量空间SV’包括根据由变换参数所指定的目标三维高斯模型所获得的、各自具有本征值作为长度的本征向量u’和本征向量v’。此外，本征向量空间SV’的两个轴(箭头)代表各自具有本征值作为长度的本征向量u’和本征向量v’，并且代表本征向量空间SV’的椭圆代表了以目标三维高斯模型所代表的原始图像的像素的颜色的近似分布状态。

首先，位置指定单元53对本征向量空间SV和目标本征向量空间SV’进行归一化，使得构成这些向量空间的本征向量具有相同长度。因而，有可能获得归一化之后的本征向量空间rSV和目标本征向量空间rSV’。

本征向量空间rSV和目标本征向量空间rSV’的两个轴(箭头)代表归一化的本征向量u和本征向量v以及归一化的本征向量u’和本征向量v’。

下文中，归一化之后的本征向量u和本征向量v分别称为本征向量ru和本征向量rv，并且归一化之后的本征向量u’和本征向量v’分别称为本征向量ru’和本征向量rv’。

在本征向量空间SV和目标本征向量空间SV’中，因为本征向量是正交的，所以本征向量空间的归一化将本征向量一致化(unify)为单位圆。因而，本征向量空间rSV和目标本征向量空间rSV’成为具有相同尺寸的向量空间。

接着，位置指定单元53获得由本征向量空间SV中的坐标(u，v)所代表的点Gp在本征向量空间rSV中的位置。作为结果，例如，假设获得由坐标(ru，rv)所代表的点Gq作为对应于点Gp的本征向量空间rSV中的点。

如果获得了点Gq，则位置指定单元53如图中的中央靠下侧中所示地叠加本征向量空间rSV和目标本征向量空间rSV’，以便获得目标本征向量空间rSV’中的点Gq的坐标(ru’，rv’)。

因为本征向量空间rSV和目标本征向量空间rSV’的各自的本征向量是通过Lαβ空间中的分量L、α和β获得的，所以点Gq的本征向量ru’的分量可以根据点Gq的本征向量ru和本征向量rv的分量获得。相似地，点Gq的本征向量rv’的分量可以根据点Gq的本征向量ru和本征向量rv的分量获得。因而，可以获得目标本征向量空间rSV’中的点Gq的坐标(ru’，rv’)。

位置指定单元53获得由目标本征向量空间rSV’中的坐标(ru’，rv’)所代表的点Gq在目标本征向量空间SV’中的位置。作为结果，例如，假设获得由坐标(u’，v’)所代表的点Gp’作为对应于点Gq的目标本征向量空间SV’中的点。

如果可以获得目标本征向量空间SV’中的点Gp’的坐标(u’，v’)，则位置指定单元53根据该坐标计算点Gp’在Lαβ空间中的分量L、α和β的值，作为映射之后的像素的像素值。

以这种方式，位置指定单元53对本征向量空间SV和目标本征向量空间SV’进行归一化(一致化)。位置指定单元53获得作为结果所获得的本征向量空间rSV和目标本征向量空间rSV’之间的位置对应关系，以便执行像素Gp在本征向量空间SV和目标本征向量空间SV’之间的坐标变换(映射处理)，从而获得像素Gp’。

通过对本征向量空间进行归一化，可以将本征向量空间SV中的每个点线性映射为本征向量空间rSV中的点。因而，可以执行本征向量空间SV和目标本征向量空间SV’之间的坐标变换，使得本征向量空间SV中的像素之间的相对位置关系甚至在映射之后的目标本征向量空间SV’中也成为相同的位置关系。作为结果，有可能获得其中每个位置的像素的像素值和相邻像素的像素值之间的相对位置关系成为与原始图像相同的关系的变换图像并且实现色调校正而无劣化。

例如，当将原始图像变换为变换图像时，假设将两个像素的像素值从像素值R1和R2变换到像素值R1’和R2’。此时，执行像素值的映射处理，使得针对变换之前和之后的像素值满足R1’/R1＝R2’/R2。因而，例如，甚至在变换之后的变换图像上，原始图像上的梯形区域仍必然成为梯形区域，并且可以在保持图像的像素的像素值之间的相对关系的同时将像素的颜色分布改变为所需要的分布。

如参照图8所述的、对本征向量空间进行归一化以便执行坐标变换的处理可以被应用于等于或大于二维的特定维的空间。

返回图7的流程图的描述，在步骤S47中，如果获得了以目标三维高斯模型所代表的颜色分布的变换图像，则位置指定单元53将所获得的变换图像提供给颜色空间逆变换单元54，并且处理前进到步骤S48。

在步骤S48中，颜色空间逆变换单元54将从位置指定单元53所提供的变换图像的每个像素的像素值从Lαβ空间的像素值逆变换到RGB空间的像素值。因而，有可能获得其中每个像素具有分量R、G和B的值作为像素值的变换图像。如果执行了颜色空间的逆变换，则颜色空间逆变换单元54将所获得的变换图像提供给再现单元23，并且完成色调校正处理。如果完成了色调校正处理，则其后，处理前进到图5的步骤S15。

以这种方式，图像变换单元24使用适合于环境的变化参数，针对原始图像执行色调校正，并且生成变换图像。

因此，有可能根据当前环境来针对原始图像执行色调校正、并且获得具有与天气或时刻的环境相适应的气氛的变换图像。因而，有可能实现季节感或者时间气氛。例如，有可能执行色调校正以便将风景的相片(原始图像)从白天的相片变换为傍晚或者夜间的相片。如果显示以这种方式所获得的变换图像，则用户观看所显示的变换图像以便直观地知道当前时刻或者天气。

尽管描述了执行色调校正处理的情况作为变换处理的示例，但是也可以执行原始图像的对比度或柔和度的调节、噪声的降低、动态范围的变换、亮度或颜色的调节等。

变换参数的数据库的构建的描述

如上所述，变换参数可以对应于环境向量空间中的点(布置点)，或者可以分布在具有预定范围的区域中。例如，在变换参数对应于环境向量空间中的区域的情况下，通过使用成为教师数据(学习图像)的图像集合来确定变换参数的分布。

下文中，将描述该情况下的变换参数的数据库的构建的示例。此外，变换参数是定义目标三维高斯模型的平均值和协方差矩阵。可以仅根据图像来计算由该变换参数所代表的三维高斯模型。

例如，作为示例的元数据信息的可交换图像文件格式(Exif)信息用来将例如代表三维高斯模型的变换参数与环境向量空间相关联。Exif信息是被附加到图像的关于图像的信息，并且例如，Exif信息包括图像的成像日期和时刻、关于成像期间的GPS位置的信息、成像器件的设置信息等。

如果提供了用于构建变换参数的数据库的图像(下文中，称为学习图像)，则再现单元23根据学习图像来计算三维高斯模型(也就是说，平均值和协方差矩阵)作为变换参数。再现单元23使用附加到学习图像的元数据信息来生成变换参数的环境向量。

例如，如果环境向量包括代表季节的值Jx和代表时刻的值Jy的两个分量(元素)，则再现单元23根据学习图像的元数据信息来指定当学习图像被成像时的季节和时刻，并且计算环境向量的季节分量的值Jx和时刻分量的值Jy。再现单元23将由所获得的环境向量所指定的环境向量空间中的点设置为布置点，并且将布置点与变换参数相关联。

学习图像可以从图像处理设备11的外部来接收，或者预先记录在存储器22中的一个学习图像可以由再现单元23读取。

通过将事先准备的相片或者准备的相片集中的每个相片设置为学习图像，可以为每个根据一个学习图像所获得的变换参数确定布置点，或者将环境向量空间中的接近的布置点分割(分组)到一个组中。

例如，如果执行了学习图像的分割，则再现单元23针对多个学习图像中的每个来计算环境向量，并且将每个学习图像与环境向量空间相关联。

作为结果，例如，假设获得了图9中所示的结果。在图9中，垂直轴和水平轴指代环境向量的季节分量Jx和时刻分量Jy，并且包括Jx分量和Jy分量并且具有原点O作为基准的二维坐标系是环境向量空间。

在图9的示例中，一个矩形代表一个学习图像，并且这样的学习图像被布置在由环境向量所决定的环境向量空间中的位置(也就是说，包括Jx分量和Jy分量的坐标位置)处。

如果每个学习图像与环境向量空间相关联，则再现单元23使用每个学习图像的环境向量来分割学习图像。例如，通过k邻近方向等来执行分割。在图9的示例中，将学习图像分组(分割)为三个组Gr1至Gr3。组Gr1和组Gr2中的每个包括多个学习图像，并且组Gr3包括一个学习图像。

再现单元23针对包括一个图像的组Gr3，将由学习图像的环境向量所决定的点设置为布置点，并且将根据学习图像所获得的变换参数与该布置点相关联。

再现单元23针对包括多个学习图像的组Gr1，将包括所有由学习图像的环境向量所决定的点的区域设置为布置区域，并且将一个变换参数与布置区域相关联。与布置区域相关联的变换参数是例如属于组Gr1的学习图像的变换参数的平均值、加权平均值等。类似于组Gr1，再现单元23针对组Gr2，根据多个学习图像获得布置区域和与该布置区域相关联的变换参数。

再现单元23根据所输入的学习图像来构建与环境向量空间的每个布置点或者布置区域相关联的变换参数，以便获得例如如图10中所示的、根据环境的时刻或者季节来实现色调校正的变换参数。在图10中，水平方向示出环境向量的时刻分量Jy。

在图10的示例中，根据在上午成像的学习图像所获得的变换参数与环境向量空间中的每个季节的上午时刻的区域VR1相关联。因此，如果获得了该区域VR1中所包括的环境向量，则通过与区域VR1相关联的变换参数将原始图像变换为取明亮的黄色着色的色调的图像。

根据在每个季节的白天中成像的学习图像所获得的变换参数与环境向量空间中的季节春天、夏天、秋天和冬天的白天的区域VR2至VR5相关联。因此，如果获得了区域VR2至VR5中所包括的环境向量，则通过与区域VR2至VR5中的每个相关联的变换参数来使原始图像经受色调校正。

例如，在使用区域VR2的变换参数的变换中，原始图像被变换为取淡粉色着色的色调的图像，并且在使用区域VR3的变换参数的变换中，使原始图像经受色调校正使得强调蓝色。在使用区域VR4的变换参数的变换中，原始图像被变换为取红色着色的色调的图像，并且在使用区域VR5的变换参数的变换中，使原始图像经受色调校正使得强调白色。以这种方式，强调每个季节的色调的变换参数与环境向量空间中白天的每个季节的区域相关联。

根据在傍晚成像的学习图像所获得的变换参数与环境向量空间中每个季节的傍晚时刻的区域VR6相关联。因此，如果获得了区域VR6中所包括的环境向量，则通过与区域VR6相关联的变换参数来将原始图像变换为取红色着色的色调的图像。

根据在夜间成像的学习图像所获得的变换参数与环境向量空间中每个季节的夜间时刻的区域VR7相关联。因此，如果获得了区域VR7中所包括的环境向量，则通过与区域VR7相关联的变换参数来将原始图像变换为具有受抑制的饱和度的整体暗色调的图像。

以这种方式，再现单元23根据学习图像构建并记录变换参数的数据库，并且使用所获得的变换参数用于将原始图像变换为变换图像。

当构建变换参数的数据库时，可以从预定的图像集合中仅选择可用的图像作为学习图像以便构建数据库。在该情况下，例如，如果再现单元23或者用户仅选择具有良好外观的图像以便构建数据库，则有可能通过使用变换参数的原始图像的色调校正来获得具有更好外观的变换图像。

第二实施例

图像变换单元的配置

可以执行几何变形处理作为使用变换参数的变换处理。在该情况下，图3的图像变换单元24例如如图11中所示地配置。

图11中所示的图像变换单元24包括对象映射生成单元81、对象指定单元82和显示区域确定单元83。

对象映射生成单元81基于从再现单元23所提供的原始图像，生成代表原始图像的每个区域中的对象的区域相似度的对象映射，并且将对象映射提供给对象指定单元82。此处所述的术语“对象”指的是估计用户会感兴趣的原始图像上的物体，例如，假设用户会感兴趣的物体是诸如位于中央部分的更多颜色的区域或者聚焦区域中的物体。

对象指定单元82使用从对象映射生成单元81所提供的对象映射来指定原始图像上的对象的区域，并且将指定结果提供给显示区域确定单元83。显示区域确定单元83使用从对象指定单元82所提供的对象的指定结果和来自再现单元23的原始图像和变换参数，修剪包括原始图像上的对象的指定区域，将指定区域设置为变换图像，并且将指定区域提供给再现单元23。

图像变换处理的描述

甚至在如图11中所示地配置图像变换单元24的情况下，如果用户指示以设置了自动变换模式的状态来显示原始图像，则图像处理设备11执行图像变换处理并且以幻灯片放映模式来显示根据原始图像所获得的变换图像。

下文中，将参照图12的流程图描述如图11中所示地配置图像变换单元24的情况下的图像变换处理。

步骤S71至步骤S73的处理等同于图5的步骤S11至步骤S13的处理，并且因而将省略其描述。由再现单元23所获取的变换参数是例如用于指定其中在原始图像上显示变换图像的区域的放大率等。

如果在步骤S73中获取了变换参数，则再现单元23将原始图像提供给对象映射生成单元81和显示区域确定单元83，并且将变换参数提供给显示区域确定单元83。

在步骤S74中，图像变换单元24执行图像变形处理。尽管以下将描述图像变形处理的细节，但是在该图像变形处理中，使用变换参数并且将原始图像几何变形以便生成变换图像。

如果生成了变换图像，则此后执行步骤S75和步骤S76的处理，并且完成图像变换处理。然而，这些处理等同于图5的步骤S15和步骤S16的处理，并且因而将省略其描述。

以这种方式，图像处理设备11获取表示环境的信息，生成环境向量，并且使用环境向量选择适合于当前环境的变换参数。图像处理设备11使用变换参数将原始图像几何变形，并且显示所获得的变换图像。

因此，图像处理设备11可以根据环境指定变换参数而不使用户执行特定的操作，并且可以使用该变换参数，根据诸如时刻、观看距离等的环境来将原始图像变形。

例如，如果根据使用照相机所捕获的图像而将用户和图像处理设备11之间的距离识别为表示环境的信息，则当用户离远时放大并显示对象，也就是说，根据诸如用户的观看距离的环境来将原始图像变形。因此，有可能更有效地显示原始图像。例如，如果显示诸如全景图像的大的原始图像，则有可能在居中显示没有原始图像的对象的背景区域时实现具有轻松气氛的幻灯片放映。

图像变形处理的描述

接着，将参照图13的流程图描述与图12的步骤S74的处理相对应的图像变形处理。

在步骤S101中，对象映射生成单元81使用从再现单元23所提供的原始图像来生成对象映射，并且将对象映射提供给对象指定单元82。

例如，对象映射生成单元81为原始图像的诸如照度、颜色、边缘等的每个特征提取原始图像的每个区域的特征的特征量，并且根据所提取的特征量来生成代表原始图像的每个区域的对象相似度的特征量映射。

如果特征是照度，则特征量映射是代表原始图像的预定位置的照度和该位置的相邻区域的平均照度之间的差的信息(图像)。通常，因为图像中的其周围的照度差大的区域吸引观看图像的人，所以该区域是对象区域的可能性高。因此，在照度设置为特征的特征量映射中，照度的较大的差(也就是说，具有大的像素值的像素)代表具有较高的可能性是对象区域的区域。相似地，甚至在其它特征的特征量映射中，具有较大像素值的像素也代表更像对象的区域。

对象映射生成单元81使用预定权重对以这种方式所获得的多个特征量映射进行加权加法，并且生成对象映射。也就是说，对位于每个特征量映射的相同位置处的像素的像素值进行加权加法，以将其变成对象映射的像素的像素值。

对象映射生成单元81通过预定的阈值将所获得的对象映射的每个像素的像素值二值化作为最终的对象映射。也就是说，如果对象映射的像素的像素值大于或等于阈值，则像素的最终的像素值是“1”，并且如果像素值小于阈值，则像素的最终的像素值是“0”。因此，在对象映射中，包括具有“1”的像素值的像素的区域被看作对象区域。

例如，如果使用图14中所示的原始图像IP执行上述处理，则可以获得如图的右侧上所示的二值图像的对象映射SM。在图14的示例中，花朵基本上显示在原始图像IP的中心，并且与原始图像IP的花朵相同位置的像素的像素值在根据原始图像IP所获得的对象映射SM中是“1”。为此，在使用对象映射SM的对象检测中，将花朵区域指定为对象区域。

例如在“Learning to Detect A Salient Obj ect，Tie Liu，Jian Sun，Nan-Ning Zheng，Xiaoou Tang，Heung-Yeung Shum，Computer Vision and Pattern Recognition，2007.CVPR′07.IEEE Conference，公布日期：2007年六月17-22日”中描述了生成对象映射的方法。

返回图13的流程图的描述，在步骤S102中，对象指定单元82使用从对象映射生成单元81所提供的对象映射来指定原始图像的对象区域。

例如，对象指定单元82将包括各自具有像素值“1”的多个相邻像素的区域设置为对象映射中的对象区域，并且指定对象区域周围的最小矩形区域(下文中，称为最小矩形区域)。

对象指定单元82获取代表变换图像的长宽比的显示区域信息。例如，可以预先在对象指定单元82中记录显示区域信息，或者可以从图像显示单元25等获取诸如图像显示单元25的显示屏幕的尺寸的物理信息、或者用于划分其它信息和屏幕并且显示变换图像等的屏幕设置信息，以便计算变换图像的长宽比。

对象指定单元82获得对象映射的最小矩形区域的长宽比，以垂直方向或水平方向放大最小矩形区域使得最小矩形区域的长宽比等于变换图像的长宽比，并且执行长宽比的调节。对象指定单元82将位于与长宽比调节之后的最小矩形区域相同位置的原始图像的区域设置为对象显示区域，并且将表示对象显示区域的信息提供给显示区域确定单元83。

在长宽比调节时，对象指定单元82基本上使用最小矩形区域的中心作为基点来放大最小矩形区域。然而，如果调节之后的最小矩形区域超出了对象映射，则以移动基点的状态来放大最小矩形区域。

在步骤S103中，显示区域确定单元83使用从对象指定单元82所提供的表示对象显示区域的信息和来自再现单元23的变换参数来生成变换图像。

例如，如图15的左侧上所示，在对象映射SM上，从中心略向右移动的区域被看作最小矩形区域MR，并且最小矩形区域MR周围具有指定的长宽比的区域DR(更具体地，是位于与区域DR相同位置处的原始图像的区域)是对象显示区域。

在该情况下，显示区域确定单元83将对象映射SM上从指定长宽比的最大的区域ER1到区域DR之间具有指定长宽比的区域(更具体地，位于与该区域相同位置处的原始图像的区域)设置为变换图像。

也就是说，作为区域ER1内的区域，包括区域DR的区域是变换图像区域。在图15的示例中，因为对象映射SM(也就是原始图像)的长宽比等于变换图像的长宽比，所以对象映射SM的整个区域是区域ER1。

由变换参数确定变换图像区域。具体地，变换参数的放大率具有从“0.0”到“1.0”的值。在该情况下，如果放大率是“0.0”，则区域DR是变换图像区域，并且如果放大率是“1.0”，则区域ER1是变换图像区域。

如果放大率具有从“0.0”到“1.0”的值，则作为具有由该值所确定的尺寸并且具有指定长宽比的区域，区域ER1内包括区域DR的区域是变换图像区域。例如，如果放大率是“0.5”，则图中区域ER1内包括区域DR的区域ER2是变换图像区域。此处，因为放大率“0.5”是放大率“1.0”的一半，所以区域ER2的尺寸是区域DR和区域ER1之间的尺寸(平均值)。

将其中显示变换图像的区域设置为具有由放大率所确定的尺寸的区域的处理是根据放大率以缩放倍数来放大区域DR的处理。基本上使用区域DR的中心位置作为基点来执行区域DR的放大。然而，如果通过放大区域DR超出了对象映射SM，则在从基点位置移动的同时执行放大处理，使得放大之后的区域DR(也就是说，变换图像区域)不超出对象映射SM。

例如，如果区域DR、区域ER2和区域ER1由作为变换参数的放大率来指定，则位于与这些区域相同的位置处的原始图像的区域是变换图像。因而，如图的右侧上所示，有可能获得变换图像OP1、变换图像OP2和变换图像OP3。

例如，在放大率是“0.0”的情况下(也就是，在区域DR是变换图像区域的情况下)所获得的变换图像OP1中，作为对象的花朵在图像中显示得大。具体地，通过将位于与区域DR相同的位置处的原始图像的区域放大到与图像显示单元25的显示屏幕相同尺寸而获得的图像是变换图像OP1。

例如，在放大率是“1.0”的情况下(也就是，在区域ER1是变换图像区域的情况下)所获得的变换图像OP3中，作为对象的花朵在图像中显示得小于变换图像OP1的花朵，使得也显示了位于花朵附近的对象。

在获得从图像处理设备11到用户的距离(也就是说，观看距离)作为环境向量的情况下，如果根据观看距离确定放大率，则当观看距离短时对象显示得小。也就是说，可以以适合于观看距离的尺寸来显示对象。

为了获得观看距离作为环境向量，例如，用作环境获取单元21的照相机捕捉图像处理设备11前的图像，根据由环境获取单元21所获得的图像来检测人脸，并且根据所检测的脸部的尺寸来获得观看距离。

如果以这种方式获得变换图像，则显示区域确定单元83将所获得的变换图像提供给再现单元23，并且完成图像变形处理。如果完成了图像变形处理，则此后处理前进到图12的步骤S75。

以这种方式，图像变换单元24修剪具有由变换参数所决定的尺寸的区域(其包括原始图像的对象)，并且将该区域设置为变换图像，从而将原始图像变换成变换图像。因而，有可能以根据环境的尺寸来显示对象。

尽管在以上描述中描述了具有根据放大率的尺寸的对象的区域是变换图像的情况作为原始图像的几何变形处理，但是本发明不限于放大或缩小对象的区域，并且可以考虑图像的旋转、以及其组合等。此外，可以执行从原始图像当中修剪具有由变换参数所决定的形状的区域并且将该区域设置为变换图像的处理、或者使用高级图像处理(诸如网格变形(meshwarping)或接缝焊接(seam carving))的变形处理。例如，作为包括原始图像的对象的区域，具有由变换参数所决定的尺寸和形状的区域可以被修剪并被看作变换图像。

第三实施例

图像变换单元的配置

尽管在以上描述中描述了仅执行色调校正处理或变形处理中的任一个作为将原始图像变换为变换图像的变换处理的示例，但是可以执行这两者。

在该情况下，图像处理设备11的图像变换单元24例如如图16中所示地配置。

图16的图像变换单元24包括颜色空间变换单元51、本征向量计算单元52、位置指定单元53、颜色空间逆变换单元54、对象映射生成单元81、对象指定单元82和显示区域确定单元83。在图16中，与图4和11相对应的部分由相同附图标记指代，并且将适当地省略其描述。

在图16的图像变换单元24中，图11中所示的对象映射生成单元81至显示区域确定单元83被连接到图4中所示的颜色空间变换单元51至颜色空间逆变换单元54的下一级。在图像变换单元24中，来自再现单元24的原始图像被提供给颜色空间变换单元51，并且来自再现单元23的变换参数被提供给位置指定单元53和显示区域确定单元83。

颜色空间逆变换单元54将通过颜色空间的逆变换所获得的色调校正之后的图像提供给对象映射生成单元81和显示区域确定单元83，并且对象映射生成单元81根据色调校正之后的图像生成对象映射。显示区域确定单元83使用从对象指定单元82所提供的指定对象的结果、来自颜色空间逆变换单元54的色调校正之后的图像、和变换参数来生成变换图像，并且将变换图像提供给再现单元23。

图像变换处理的描述

接着，将参照图17的流程图描述在如图16中所示地配置图像变换单元24的情况下所执行的图像变换处理。

步骤S141至S144的处理等同于图5的步骤S11至步骤S14的处理，并且将省略其描述。

在步骤S143中，获取平均值、协方差矩阵和放大率作为变换参数。在步骤S144的色调校正处理中，使原始图像经受色调校正，使得获得以目标三维高斯模型所代表的颜色分布，目标三维高斯模型由作为变换参数的平均值和协方差矩阵所定义。从颜色空间逆变换单元54将经受了色调校正的原始图像提供给对象映射生成单元81和显示区域确定单元83。

此后，执行步骤S145至步骤S147的处理，并且完成图像变换处理。在步骤S145至步骤S147的处理中，执行与图12的步骤S74至步骤S76相同的处理。

也就是说，根据经受了色调校正的原始图像生成对象映射，并且由对象映射所指定的、颜色校正之后的原始图像的对象的区域被修剪并被看作变换图像。由作为变换参数的放大率来确定所剪裁的区域的尺寸。

以这种方式，图像处理设备11使用变换参数，针对原始图像来执行色调校正处理和图像变形处理，并且生成变换图像。

上述系列处理可以由硬件或者软件来执行。如果由软件来执行系列处理，则将构成软件的程序从程序记录介质中安装在其中安装有专用硬件的计算机中，或者安装在例如能够通过安装各种类型的程序来执行各种功能的通用个人计算机中。

图18是示出用于通过程序来执行上述系列处理的计算机的硬件配置示例的框图。

在计算机中，中央处理单元(CPU)301、只读存储器(ROM)302和随机读取存储器(RAM)303通过总线304彼此连接。

输入/输出接口305连接到总线304。包括键盘、鼠标、麦克风等的输入单元306，包括显示器、扬声器等的输出单元307，包括硬盘、非易失存储器等的记录单元308，包括网络接口等的通信单元309和用于驱动可移除介质311(诸如磁盘、光盘、磁光盘和半导体存储器)的驱动器310连接到输入/输出接口305。

在具有以上配置的计算机中，CPU 301将例如记录在记录单元308上的程序通过输入/输出接口305和总线304载入RAM 303并执行程序，从而执行上述系列处理。

由计算机(CPU 301)所执行的程序例如是记录在作为包括磁盘(包括软盘)、光盘(致密盘只读存储器(CD-ROM)、数字多功能盘(DVD)等)、磁光盘、半导体存储器等的套装介质(package media)的可移除介质311上的，或者是通过有线或无线传送介质(诸如局域网、因特网和数字卫星广播)提供的。

程序可以通过在驱动器310中安装可移除介质311来经由输入/输出接口305安装在记录单元308中。程序可以由通信单元309经由有线或无线传送介质来接收，并且安装在记录单元308中。程序可以预先安装在ROM 302或者记录单元308中。

由计算机所执行的程序可以是用于按本说明书中所述的顺序以时间序列来执行处理的程序，或者是用于以必要的时序(诸如在调用时)或者并行执行处理的程序。

本申请包括与2010年3月19日向日本专利局提交的日本优先权专利申请JP 2010-065116中所公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

本领域的技术人员应当理解，可以在所附权利要求或其等价物的范围内根据设计需要或其它因素进行各种修改、组合、子组合和变更。

Claims (11)

1.一种图像处理设备，其包括：

环境向量生成装置，其用于获取表示环境的信息，将所述信息数字化，并且生成环境向量；

变换参数计算装置，其用于对预先准备的用于图像变换的多个变换参数当中由所述环境向量所指定的若干个变换参数进行加权加法；以及

变换图像生成装置，其用于使用通过所述加权加法而获得的变换参数，针对要被处理的原始图像执行图像变换，以便生成变换图像。

2.根据权利要求1所述的图像处理设备，其中，所述变换图像生成装置执行色调校正处理或几何变形处理中的至少一个作为所述图像变换。

3.根据权利要求2所述的图像处理设备，其中：

所述变换参数是表示目标颜色分布的信息，并且

所述变换图像生成装置通过针对所述原始图像执行色调校正，使得所述原始图像的颜色分布成为所述目标颜色分布，来生成所述变换图像。

4.根据权利要求3所述的图像处理设备，其中：

表示所述目标颜色分布的信息包括对目标三维高斯模型进行定义的信息，并且

所述变换图像生成装置获得与在代表所述原始图像的颜色分布的三维高斯模型的归一化本征向量空间中所述原始图像的目标像素的位置相对应的、在所述目标三维高斯模型的归一化目标本征向量空间中的位置，并且根据该位置指定在归一化之前的所述目标本征向量空间中所述目标像素的位置，以便计算在所述色调校正之后所述目标像素的像素值。

5.根据权利要求3所述的图像处理设备，其中，所述变换参数计算装置记录包括所述变换参数和包括环境向量的环境向量空间中代表与所述变换参数相关联的位置或区域的位置信息的数据库，并且对与由所述位置信息所代表的位置或区域当中位于由所述环境向量生成装置所生成的所述环境向量的终点附近的预定数目的位置或区域相关联的所述变换参数进行所述加权加法。

6.根据权利要求5所述的图像处理设备，其中，所述变换参数计算装置基于具有元数据的学习图像来生成表示所述目标颜色分布的信息作为所述变换参数，根据所述元数据生成所述环境向量，并且将根据所述学习图像所获得的所述变换参数与由所述环境向量所指定的所述环境向量空间中的位置或区域相关联。

7.根据权利要求5所述的图像处理设备，其中，所述变换参数计算装置使用其中将权重应用于每个分量的所述环境向量来指定进行所述加权加法后的所述变换参数。

8.根据权利要求2所述的图像处理设备，其中，所述变换图像生成装置包括：

对象映射生成装置，其用于从所述原始图像中提取预定特征的特征量、并且生成代表所述原始图像的每个区域的对象相似度的对象映射；

对象指定装置，其用于使用所述对象映射来指定包括所述原始图像的对象的对象区域；以及

显示区域确定装置，其用于修剪所述原始图像的包括所述对象区域并且具有由所述变换参数所决定的尺寸或形状的区域，并且将所述区域设置为所述变换图像。

9.一种图像处理设备的图像处理方法，所述图像处理设备包括：

环境向量生成装置，其用于获取表示环境的信息，将所述信息数字化，并且生成环境向量；

变换参数计算装置，其用于对预先准备的用于图像变换的多个变换参数当中由所述环境向量所指定的若干个变换参数进行加权加法；以及

变换图像生成装置，其用于使用通过所述加权加法而获得的变换参数，针对要被处理的原始图像执行图像变换，以便生成变换图像，

所述图像处理方法包括以下步骤：

使所述环境向量生成装置生成所述环境向量；

使所述变换参数计算装置对由所述环境向量所指定的所述变换参数进行加权加法；以及

使所述变换图像生成装置通过所述图像变换来生成所述变换图像，所述图像变换使用通过所述加权加法而获得的所述变换参数。

10.一种用于在计算机上执行包括以下步骤的处理的程序：

获取表示环境的信息，将所述信息数字化，并且生成环境向量；

对预先准备的用于图像变换的多个变换参数当中由所述环境向量所指定的若干个变换参数进行加权加法；以及

使用通过所述加权加法而获得的变换参数，针对要被处理的原始图像执行图像变换，以便生成变换图像。

11.一种图像处理设备，其包括：

环境向量生成单元，其被配置为获取表示环境的信息，将所述信息数字化，并且生成环境向量；

变换参数计算单元，其被配置为对预先准备的用于图像变换的多个变换参数当中由所述环境向量所指定的若干个变换参数进行加权加法；以及

变换图像生成单元，其被配置为使用通过所述加权加法而获得的变换参数，针对要被处理的原始图像执行图像变换，以便生成变换图像。

Images