CN102737368A - 图像处理设备、方法和程序 - Google Patents

Abstract

本公开涉及图像处理设备、方法和程序。根据本公开的图像处理设备包括：深度控制信号生成单元，其基于输入图像的每个区域中的主体的深度位置，生成控制所述输入图像的每个区域的感觉的强调程度的深度控制信号；脸皮肤区域控制信号生成单元，其基于所述输入图像中的人脸皮肤区域，生成控制所述输入图像中的每个区域的感觉的强调程度的脸皮肤区域控制信号；人区域控制信号生成单元，其基于所述输入图像中的人的区域，生成控制所述输入图像中的每个区域的感觉的强调程度的人区域控制信号；以及控制信号合成单元，其合成所述深度控制信号、所述脸皮肤区域控制信号和所述人区域控制信号以生成控制信号。

Description

图像处理设备、方法和程序

技术领域

本公开涉及图像处理设备、方法和程序，具体地涉及能够获得更加自然的图像而没有不适的图像处理设备、方法和程序。

背景技术

迄今，为了获得较高质量的图像，已使用了相对于图像执行感觉调整的图像处理。例如，作为这样的图像处理，已提议了控制从图像中检测的脸区域的感觉的过程以及保持陡峭边缘部分不变并强调除了边缘之外的区域的过程(例如参见日本待审专利申请公布第2001-298621号)。

发明内容

然而，在上面描述的技术中，存在可能无法获得自然图像而没有不适的时候。例如，在控制脸区域的感觉的图像处理中，由于除了脸区域之外的区域的感觉未被控制，所以与脸区域相比，其它区域的锐度可能被过分强调。这样做时，当作为整体捕捉图像的场景时，就集中在诸如人之类的高度感兴趣的区域上的人类视觉特性而言，深度感丧失，并且图像具有不适感。

特别地，在使用诸如立体图像(3D图像)之类的视差来显示深度的显示设备中，相对于视差使用增强等创建的图像变得不自然，并且对于观察者识别的透视感具有不良影响。

另外，在用于强调非边缘区域的图像处理中，作为整体的图像的对比度和锐度被强调；然而，由于针对诸如前景和背景之类的每个区域的对比度和锐度的强调可能未被控制，所以存在可能无法获得足够自然的图像的情况。

希望获得更加自然的图像而没有不适。

根据本公开的实施例的图像处理设备包括：深度控制信号生成单元，其基于输入图像的每个区域中的主体的深度位置，生成控制所述输入图像的每个区域的感觉的强调程度的深度控制信号；脸皮肤区域控制信号生成单元，其基于所述输入图像中的人脸皮肤区域，生成控制所述输入图像中的每个区域的感觉的强调程度的脸皮肤区域控制信号；人区域控制信号生成单元，其基于所述输入图像中的人的区域，生成控制所述输入图像中的每个区域的感觉的强调程度的人区域控制信号；以及控制信号合成单元，其合成所述深度控制信号、所述脸皮肤区域控制信号和所述人区域控制信号以生成控制信号。

在图像处理设备中，可以进一步提供图像处理单元，其基于所述控制信号调整所述输入图像的每个区域的感觉并生成输出图像。

在图像处理单元中，可以基于所述控制信号放大或衰减所述输入图像的边缘分量。

在图像处理单元中，可以基于所述控制信号放大所述输入图像的纹理分量。

在图像处理单元中，可以基于除了所述控制信号之外的控制信号来放大或衰减所述输入图像的边缘分量。

在图像处理单元中，可以提供：预测系数选择单元，其针对所述输出图像的每个区域选择在基于所述控制信号生成所述输出图像中使用的预测系数；以及预测计算单元，其基于所述输入图像和所述预测系数，生成与所述输入图像相比具有更高分辨率的输出图像。

在图像处理单元中，可以相对于所述控制信号放大或衰减所述输入图像的色度分量。

在图像处理设备中，进一步提供兴趣区域控制信号生成单元，其基于所述输入图像中的被估计为高度感兴趣的区域生成控制所述输入图像中的每个区域的感觉的强调程度的兴趣区域控制信号，并且所述控制信号合成单元可以合成所述深度控制信号、所述脸皮肤区域控制信号、所述人区域控制信号和所述兴趣区域控制信号以生成控制信号。

在脸皮肤区域控制信号生成单元中，基于从所述输入图像中的人脸区域的检测结果，指定所述人脸皮肤区域，并且生成所述脸皮肤区域控制信号。在没有从过程对象的输入图像中检测到人脸区域的情况下，基于以前输入图像中的人脸皮肤区域的特定结果，可以在过程对象的输入图像中指定人脸皮肤区域。

在人区域控制信号生成单元中，使用从所述输入图像中的人脸区域的检测结果或所述输入图像的人脸皮肤区域的特定结果中的至少一个，可以指定所述输入图像中的人的区域并生成所述人区域控制信号。

本公开的一个实施例的图像处理方法或程序包括：基于输入图像的每个区域中的主体的深度位置，生成控制所述输入图像的每个区域的感觉的强调程度的深度控制信号；基于所述输入图像中的人脸皮肤区域，生成控制所述输入图像中的每个区域的感觉的强调程度的脸皮肤区域控制信号；基于所述输入图像中的人的区域，生成控制所述输入图像中的每个区域的感觉的强调程度的人区域控制信号；以及合成所述深度控制信号、所述脸皮肤区域控制信号和所述人区域控制信号以生成控制信号。

在本公开的实施例中，基于输入图像的每个区域中的主体的深度位置生成深度控制信号以控制输入图像的每个区域的感觉的强调程度，基于输入图像中的人脸皮肤区域生成脸皮肤区域控制信号以控制输入图像的每个区域的感觉的强调程度，并且基于输入图像中的人区域生成人区域控制信号以控制输入图像的每个区域的感觉的强调程度；深度控制信号、脸皮肤区域控制信号和人区域控制信号被合成以生成控制信号。

根据本公开的实施例，可以获得更加自然的图像而没有不适。

附图说明

图1是示出图像处理设备的实施例的配置例子的示图。

图2是示出图像处理单元的配置例子的示图。

图3是描述图像处理的流程图。

图4是描述控制信号的生成的示图。

图5是描述控制信号的生成的示图。

图6是描述调整过程的流程图。

图7是示出图像处理设备的另一个配置例子的示图。

图8是示出图像处理设备的另一个配置例子的示图。

图9是描述图像处理的流程图。

图10是示出图像处理单元的配置例子的示图。

图11是描述调整过程的流程图。

图12是示出图像处理单元的配置例子的示图。

图13是描述调整过程的流程图。

图14是示出图像处理单元的配置例子的示图。

图15是描述调整过程的流程图。

图16是示出图像处理单元的配置例子的示图。

图17是描述调整过程的流程图。

图18是示出计算机的配置例子的示图。

具体实施方式

下面参考附图来给出对向其应用本公开的实施例的描述。

<第一实施例>

[图像处理设备的配置例子]

图1是示出图像处理设备的实施例的配置例子的示图。

图像处理设备11执行图像处理以相对于输入图像的图像信号调整输入图像的感觉，并且输出以这样的方式获得的图像信号。输入图像可以是静态图像，也可以是活动图像。

图像处理设备11配置有深度检测单元21、脸检测单元22、深度控制信号生成单元23、脸皮肤区域控制信号生成单元24、人区域控制信号生成单元25、控制信号合成单元26和图像处理单元27。

深度检测单元21基于供应的输入图像生成示出输入图像上的每个区域(主体)的深度位置的深度信息，并且执行将其供应给深度控制信号生成单元23。脸检测单元22基于供应的输入图像检测输入图像上的人脸区域，并且将示出检测结果的脸检测信息供应给脸皮肤区域控制信号生成单元24和人区域控制信号生成单元25。例如，脸检测信息包括指定诸如输入图像上的脸存在与否、脸区域在输入图像上的位置和脸区域的尺寸之类的输入图像上的脸区域的信息。

基于来自深度检测单元21的深度信息，深度控制信号生成单元23生成深度控制信号，该深度控制信号示出了在相对于输入图像执行的感觉的调整过程期间相对于输入图像的每个区域的感觉的强调程度，并且执行将其供应给控制信号合成单元26。这里，深度控制信号用于根据输入图像的每个区域中的主体的深度位置来控制针对这些区域中的每一个的感觉的强调程度。

基于从脸检测单元22供应的脸检测信息，脸皮肤区域控制信号生成单元24生成示出输入图像的人脸皮肤区域的脸皮肤地图，并且执行将其供应给人区域控制信号生成单元25。进一步，在相对于输入图像的感觉的调整过程期间，脸皮肤区域控制信号生成单元24基于脸皮肤地图生成示出相对于输入图像的每个区域的感觉的强调程度的脸皮肤区域控制信号，并且执行将其供应给控制信号合成单元26。这里，脸皮肤区域控制信号用于根据作为脸皮肤的输入图像的每个区域的可能性来控制针对这些区域中的每一个的感觉的强调程度。

基于来自脸检测单元22的脸检测信息和来自脸皮肤区域控制信号生成单元24的脸皮肤地图，人区域控制信号生成单元25生成人区域控制信号，该人区域控制信号示出了在相对于输入图像的感觉的调整过程期间相对于输入图像的每个区域的感觉的强调程度，并且执行将其供应给控制信号合成单元26。这里，人区域控制信号用于根据作为人区域的输入图像的每个区域的可能性来控制针对这些区域中的每一个的感觉的强调程度。

通过合成来自深度控制信号生成单元23的深度控制信号、来自脸皮肤区域控制信号生成单元24的脸皮肤区域控制信号和来自人区域控制信号生成单元25的人区域控制信号，控制信号合成单元26生成控制信号，并且执行将其供应给图像处理单元27。

基于从控制信号合成单元26供应的控制信号，图像处理单元27执行相对于供应的输入图像的感觉的调整，并且输出作为结果获得的图像(以下称之为输出图像)。亦即，根据控制信号，输入图像的每个像素的增益调整被执行并被设置为输出图像。

这里，调整输入图像的感觉的过程例如是调整锐度和对比度、色度以及分辨率产生程度等中的一个。

[图像处理单元的配置例子]

另外，如图2所示配置图1的图像处理单元27。

亦即，图像处理单元27配置有高通滤波器51、调整放大器52和加法器53。图2的图像处理单元27执行增强过程以增加相对于输入图像的锐度作为图像的感觉的调整过程。

高通滤波器51相对于供应的输入图像使用高通滤波器来执行滤波过程，并且将作为结果获得的高通分量(高通信号)供应给调整放大器52。

基于从控制信号合成单元26供应的控制信号，调整放大器52放大或衰减从高通滤波器51供应的高通分量，并且执行将其供应给加法器53。在下文中，通过调整放大器52放大或衰减的高通分量也可以被称为校正的高通分量。

加法器53将从调整放大器52供应的校正高通分量相加到供应的输入图像，并且输出作为结果获得的输出图像。

[图像处理的描述]

接下来对图像处理设备11的操作给予描述。

当图像处理设备11被供应以输入图像并被指示以调整相对于输入图像的感觉时，图像处理被执行，输入图像被转换成输出图像，并且被输出。下面参考图3的流程图来对使用图像处理设备11的图像处理给予描述。

在步骤S11中，深度检测单元21基于供应的输入图像生成深度信息，并且执行将其供应给深度控制信号生成单元23。

例如，深度检测单元21使用滤波过程等从输入图像中提取高通分量，并且将输入图像分成几块。然后，通过针对每个块计算块中每个位置中的高通分量的值的绝对值之和(集成值)，深度检测单元21生成深度信息。

一般而言，在其中用户从前侧观看(定位)主体的区域中，亦即在前景区域中，以及在其中焦点集中在图像上的区域中，包括的高通分量变得更大，并且希望对应于这样的区域的深度信息的值(高通分量的集成值)会增加。因此，可以估计的是，当输入图像上的区域中的深度信息值大时，(可视)主体区域当由观察输入图像的用户观看时进一步至前侧。另外，关于相对于图像的深度位置的估计方法，例如在日本待审专利申请公布第2007-208399号中描述了细节。

在步骤S12中，脸检测单元22基于供应的输入图像从输入图像中检测人脸，并且生成示出检测结果的脸检测信息。脸检测单元22将生成的脸检测信息供应给脸皮肤区域控制信号生成单元24和人区域控制信号生成单元25。

在步骤S13中，深度控制信号生成单元23基于从深度检测单元21供应的深度信息生成深度控制信号，并且执行将其供应给控制信号合成单元26。

例如，深度控制信号生成单元23将相同尺寸(分辨率)的图像设置为输入图像，并且基于深度信息确定深度控制图像的每个像素的像素值。例如，与深度控制图像的像素相对应的位置的深度信息的值越大，其像素的像素值就越大。进一步，深度控制图像的像素的像素值可以设置成具有负值。

深度控制信号生成单元23将以这样的方式获得的深度控制图像的图像信号设置为深度控制信号，并且执行将其供应给控制信号合成单元26。

以这种方式，当根据输入图像的每个主体的深度位置，通过确定深度控制图像的每个像素的像素值，使用深度控制图像(深度控制信号)对输入图像的锐度的强调程度执行控制时，可以获得更加自然的输出图像而没有不适。换言之，与输入图像的远侧的主体相比，前侧的主体的锐度被强调得更多，这适配于以更大的锐度观看更近的对象的人类视觉特性，由此可以获得自然的输出图像。

在步骤S14中，脸皮肤区域控制信号生成单元24基于从脸检测单元22供应的脸检测信息生成脸皮肤区域控制信号，并且执行将其供应给控制信号合成单元26。

例如，脸皮肤区域控制信号生成单元24从脸检测单元22获取输入图像，并且基于根据脸检测信息指示的输入图像上可能成为人脸的区域的每个像素的像素值，针对可能成为脸的区域生成像素亮度直方图和颜色直方图。这里，颜色直方图例如可以被设置为二维UV直方图等。

接下来，脸皮肤区域控制信号生成单元24基于生成的亮度直方图和颜色直方图将输入图像上可能成为脸皮肤的由像素构成的区域设置为人脸皮肤区域(脸皮肤区域)，并且生成脸皮肤地图，其示出了输入图像上的脸皮肤区域。

更加具体地，脸皮肤区域控制信号生成单元24例如设置恒定范围，其中亮度值与亮度直方图和颜色直方图中的亮度值范围和UV值范围一样高。这里，脸皮肤区域控制信号生成单元24将输入图像上的像素中的亮度值是亮度值范围之内的值并且UV值(色差值)是UV值范围之内的值的像素设置为可能成为脸皮肤的像素。

脸皮肤区域控制信号生成单元24将生成的脸皮肤地图供应给人区域控制信号生成单元25。例如，随着与那些像素相同的位置中的输入图像的像素是脸皮肤区域像素的可能性增加，脸皮肤地图上的像素的像素值具有较高值。以这种方式，通过使用亮度直方图和颜色直方图来估计脸皮肤区域，可以获得稳健的脸皮肤地图。

另外，脸皮肤区域控制信号生成单元24将与输入图像相同尺寸的图像设置为脸皮肤区域控制图像，并且基于脸皮肤地图确定脸皮肤区域控制图像的每个像素的像素值。例如，脸皮肤区域控制图像的像素的像素值被设置为相对于与像素相同位置处的脸皮肤地图的像素的像素值预先确定的值。脸皮肤区域控制信号生成单元24将以这种方式获得的脸皮肤区域控制图像的图像信号供应给控制信号合成单元26作为脸皮肤区域控制信号。

这样一来，当根据输入图像的每个区域成为脸的可能性、通过确定脸皮肤区域控制图像的每个像素的像素值、使用脸皮肤区域控制信号来控制输入图像的锐度的强调程度时，就可以获得更加自然的输出图像而没有不适。换言之，通过适当地强调输入图像中可能成为脸的区域的锐度，可以获得更加自然的输出图像。

进而，当输入图像是活动图像时，代替只是输入图像的当前帧的亮度直方图和颜色直方图，在生成当前帧的脸皮肤地图时可以使用关于在当前帧以前的帧确定的亮度直方图和颜色直方图。

在这样的情况下，由于可以根据以前帧和当前帧的直方图来估计输入图像上的脸皮肤区域，所以可以以更高的精度来估计脸皮肤区域，而不考虑脸检测单元22中的脸检测精度。

例如，当在预定帧的输入图像中转向前方的人脸在下一帧中转向侧面时，在脸检测单元22中可能不再能够从输入图像中检测到脸。甚至在这样的情况下，由于可以从以前(过去)帧的亮度和颜色直方图中理解脸皮肤区域的亮度和颜色，所以当具有与以前帧的脸皮肤区域相同的颜色和亮度的区域被检测为当前帧的输入图像中的脸皮肤区域时，可以获得稳健的脸皮肤地图。

在步骤S15中，基于来自脸检测单元22的脸检测信息和来自脸皮肤区域控制信号生成单元24的脸皮肤地图，人区域控制信号生成单元25生成人区域控制信号，并且执行将其供应给控制信号合成单元26。

例如，根据具有人的头部和肩膀大小的人体形的形状特性，人区域控制信号生成单元25扩展脸检测信息所指示的输入图像上可能成为人脸的区域和脸皮肤地图所指示的输入图像上可能成为脸皮肤的区域，并且扩展的区域被设置为可能是人的区域。亦即，从可能是人的区域和可能成为脸皮肤的区域中估计人的轮廓的区域。这样一来，基于输入图像的每个区域中成为人区域的可能性，人区域控制信号生成单元25就生成了人区域控制图像。

更加具体地，当输入图像是静态图像时，生成仅使用脸检测信息的人区域控制图像，并且当输入图像是活动图像时，使用脸检测信息和脸皮肤地图两者、或者仅使用脸检测信息来生成人区域控制图像。

例如，当使用连续帧的脸检测信息检测到可能是人脸并且稳定地处在近似相同位置的区域时，可能成为人脸的区域被仅使用脸检测信息来扩展并被设置为可能是人的区域。

进一步，当使用脸检测信息和脸皮肤地图两者来生成人区域控制图像时，例如即使当从脸检测单元22中没有检测到脸时，也可以从稳健的脸皮肤地图中以良好的精度检测到可能是人的区域。

人区域控制信号生成单元25将与输入图像相同尺寸的图像设置为人区域控制图像，并且基于输入图像上的每个区域是人的可能性来确定人区域控制图像的每个像素的像素值。例如，关于人区域控制图像的像素的像素值，当与输入图像上的像素相同的位置是可能成为人的区域时，像素值被设置为预先确定的预定值，并且当与输入图像上的像素相同的位置不是可能成为人的区域时，像素值被设置为比上述预定值小的值。

这里，甚至在可能成为人的区域中，人区域控制图像的像素的像素值也可以被设置，以便成为与脸区域、衣服区域以及人的部位区域相对应的不同值。

人区域控制信号生成单元25将以这种方式获得的人区域控制图像的图像信号供应给控制信号合成单元26作为人区域控制信号。

以这种方式，当根据输入图像的每个区域成为人区域的可能性、通过确定人区域控制图像的每个像素的像素值、使用人区域控制信号来控制输入图像的锐度的强调程度时，可以获得更加自然的输出图像而没有不适。亦即，与其它区域中的相比，在更大程度上强调输入图像中可能成为人的区域的锐度，这适配于以更大的锐度观看更感兴趣的对象的人类视觉特性，由此可以获得自然的输出图像。

在步骤S16中，控制信号合成单元26合成来自深度控制信号生成单元23的深度控制信号、来自脸皮肤区域控制信号生成单元24的脸皮肤区域控制信号和来自人区域控制信号生成单元25的人区域控制信号，并且生成控制信号。

例如，如图4所示，相对于输入图像IP1，深度控制图像CN1、脸皮肤区域控制图像CN2和人区域控制图像CN3被设置以被获得。

图4所示的例子中，在输入图像IP1中包括了人，并且在深度控制图像CN1中，像素在附图中越低，则像素的像素值越大。换言之，在输入图像IP1的附图中，上侧在附图中是远景，而下侧则是近景。

另外，在脸皮肤区域控制图像CN2中，人脸皮肤区域中像素的像素值是根据成为脸皮肤可能性的预定值，并且其它区域像素的像素值为零。另外，在人区域控制图像CN3中，人区域中像素的像素值是根据成为人区域可能性的预定值，并且其它区域像素的像素值为零。

控制信号合成单元26对与深度控制图像CN1、脸皮肤区域控制图像CN2和人区域控制图像CN3相同的位置中像素的像素值进行加权并相加在一起，并且将作为结果获得的值设置为控制图像CP1像素的像素值。接下来，以这种方式获得的控制图像CP1的图像信号被设置为控制信号。

例如，根据使用将要在图像处理单元27中实现的图像处理的优先集合，确定在对深度控制图像CN1、脸皮肤区域控制图像CN2和人区域控制图像CN3进行加权并相加在一起时的权重。特别地，当调整输入图像IP1的锐度时，每个权重被确定，以便脸皮肤区域控制图像CN2的权重被最大化，而深度控制图像CN1的权重则被最小化。

在由图像处理单元27执行的对应于输入图像IP1的图像处理中，在其中控制图像CP1像素的像素值大的区域中，在与那些区域相同的位置中的输入图像IP1的区域中更加强烈地强调锐度。进一步，例如当控制图像CP1的像素具有负值作为像素值时，在与具有负像素值的像素相同的位置中的输入图像IP1的区域中，图像处理被执行以便减少锐度。

同样如图5所示，例如当输入图像IP11中不包括人时，在深度控制图像CN11、脸皮肤区域控制图像CN12和人区域控制图像CN13被加权并相加在一起之后，进一步执行适当的增益调整并设置控制图像CP11。

在图5所示的例子中，由于输入图像IP11中不包括人，所以脸皮肤区域控制图像CN12和人区域控制图像CN13的全部像素的像素值都为零。因此，基本上只使用深度控制图像CN11来生成控制图像CP11。

在这样的情况下，深度控制图像CN11像素的像素值的可获得范围被收窄到分配给脸皮肤区域控制图像CN12和人区域控制图像CN13的像素值的程度，并且输入图像IP11的锐度可能未被充分强调。

这样一来，当输入图像IP11中不包括人时，在深度控制图像CN11至人区域控制图像CN13被加权并相加在一起之后，进一步执行适当的增益调整并设置控制图像CP11。特别地，在控制图像CP11的像素当中，具有小像素值的像素被调整，以便像素值变得更小，并且具有大像素值的像素被调整，以便像素值变得更大。

进一步，例如基于脸皮肤区域控制图像CN12和人区域控制图像CN13像素的像素值，确定输入图像IP11中是否包括人。特别地，例如在脸皮肤区域控制图像CN12和人区域控制图像CN13的全部像素的像素值都是预定阈值或更小的情况下，确定输入图像IP11中不包括人。

另外，例如通过用户选择其中包括人作为主体的肖像模式或其中不包括人的风景模式等，也可以指定输入图像IP11中是否包括人。

返回到图3的流程图的描述，当控制信号合成单元26生成控制信号时，生成的控制信号被供应给图像处理单元27，并且过程前进到步骤S17。

在步骤S17中，图像处理单元27执行调整过程并生成输出图像，输出图像然后被输出。这里，稍后将会描述调整过程的细节；然而在调整过程中，基于从控制信号合成单元26供应的控制信号来调整输入图像的感觉，并且生成输出图像。在执行了调整过程并生成输出图像之后，图像处理结束。

如上所述，图像处理设备11根据深度信息和脸检测信息来生成深度控制信号、脸皮肤区域控制信号和人区域控制信号，并且基于对这些信号进行合成的控制信号来执行输入图像的感觉调整。

以这种方式，通过根据输入图像中的每个主体的深度、脸皮肤区域和人轮廓区域而针对输入图像的每个区域适当地确定感觉的调整程度(强调程度)，可以获得更加自然的输出图像而没有不适。

例如，在锐度被调整作为感觉调整的情况下，通过锐化通常感兴趣的人的区域并产生与其它区域的不同，同时适当地校正皮肤的感觉，可以获得接近于人类视觉特性的高质量输出图像。进一步，由于甚至在没有检测到人的区域中也根据透视法来控制锐度，所以可以获得具有深度感的高质量图像。

[对调整过程的描述]

接下来，参考图6中的流程图，关于与图3的步骤S17的过程相对应的调整过程给予描述。在调整过程中，执行对输入图像的锐度进行调整的增强过程。

在步骤S41中，相对于供应的输入图像使用高通滤波器，高通滤波器51执行滤波过程，并且从输入图像中提取高通分量。高通滤波器51将使用滤波过程获得的高通分量供应给调整放大器52。

在步骤S42中，基于从控制信号合成单元26供应的控制信号，调整放大器52针对输入图像的每个区域放大或衰减来自高通滤波器51的高通分量，并且将作为结果获得的校正的高通分量供应给加法器53。

例如，高通分量是输入图像中仅提取高通分量的图像的图像信号(高通信号)，并且相对于这个图像的每个像素的像素值，基于与这些像素相同位置处的控制信号相加控制图像像素的像素值，从而设置校正的高通分量。因此，当控制图像像素的像素值为正时，根据值的大小放大高通分量，并且当控制图像像素的像素值为负时，根据值的大小衰减高通分量。

在步骤S43中，加法器53将从调整放大器52供应的校正的高通分量相加到供应的输入图像，并且输出作为结果获得的输出图像。通过将通过针对每个区域放大或衰减高通分量而获得的校正的高通分量相加到输入图像，根据区域的特性放大或衰减输入图像的每个区域的锐度。以这种方式，获得了具有立体效果并且对其而言针对每个区域调整锐度的高质量输出图像。

当输出图像被输出时，调整过程结束，并且相应地当图3的步骤S17也结束时，图像处理结束。

如上面提到的那样，通过基于控制信号放大或衰减输入图像的高通分量，图像处理单元27执行每个区域的锐度调整。当使用控制信号时，可以针对每个区域调整锐度，并且具有优越的立体效果的锐度控制是可能的。因此，例如在关于与很感兴趣的人相对应的皮肤和其它部位的最优图像处理中，以及在诸如风景之类的具有深度的图像处理中，可以针对每个区域执行适当的感觉调整。结果，相对于单独图像的场景，可以适应性表达接近于人类视觉特性的自然的深度感。

<修改1>

[图像处理设备的配置例子]

这里，输入图像不限于二维平面图像，而可以是由左眼图像和右眼图像构成的立体图像。这里，左眼图像是在观察立体图像期间被显示以便以用户的左眼来观察的图像，而右眼图像则是在观察立体图像期间被显示以便以用户的右眼来观察的图像。

当输入图像是立体图像时，例如如图7所示来配置图像处理设备。另外，在图7中，与图1中的情况相对应的部分具有相同的标号，并且会省略其描述。

图7的图像处理设备81配置有深度检测单元21、脸检测单元22、深度控制信号生成单元23、脸皮肤区域控制信号生成单元24、人区域控制信号生成单元25、控制信号合成单元26、图像处理单元27、深度检测单元91、脸检测单元92、深度控制信号生成单元93、脸皮肤区域控制信号生成单元94、人区域控制信号生成单元95、控制信号合成单元96和图像处理单元97。

亦即，图像处理设备81被配置，以便图像处理设备11进一步设置有深度检测单元91至图像处理单元97。进一步，在图像处理设备81中，作为输入图像，立体图像被供应给深度检测单元21、脸检测单元22、图像处理单元27、深度检测单元91、脸检测单元92和图像处理单元97。

这里，从深度检测单元91至图像处理单元97的单元执行与从深度检测单元21至图像处理单元27的单元相同的过程。然而，在深度检测单元21至图像处理单元27中，关于左眼图像执行处理，而在深度检测单元91至图像处理单元97中，则关于右眼图像执行处理。

进一步，例如在深度检测单元21和深度检测单元91中，基于立体图像根据立体匹配等在左眼图像和右眼图像之间检测视差，并且基于检测结果生成深度信息。特别地，例如在深度检测单元21中，关于左眼图像的每个像素，检测与其相对应的右眼图像的像素，并且根据各个像素之间的距离针对每个像素计算视差。类似地，在深度检测单元91中，关于右眼图像的每个像素，检测与其相对应的左眼图像的像素，并且针对每个像素计算视差。

因此，即使输入图像是立体图像，也可以针对每个区域适当地调整立体图像的感觉。特别地，在立体图像中，根据深度信息针对每个区域准确地控制感觉调整的控制，并且可以表达优越的立体效果。

第二实施例>

[图像处理设备的配置例子]

进一步，在上文中，对检测人区域以便调整很感兴趣区域的感觉的例子给予了描述；然而，一般而言，可以检测高度感兴趣的其它区域，并且相对于那些区域执行感觉调整。

在这样的情况下，例如如图8所示配置图像处理设备。另外，在图8中，与图1中的情况相对应的部分具有相同的标号，并且会省略其描述。

图8的图像处理设备121配置有深度检测单元21、脸检测单元22、深度控制信号生成单元23、脸皮肤区域控制信号生成单元24、人区域控制信号生成单元25、控制信号合成单元26、图像处理单元27、兴趣区域检测单元131和兴趣区域控制信号生成单元132。

兴趣区域检测单元131从供应的输入图像中检测被估计为通常是用户焦点的区域(以下称之为兴趣区域)，并且将表明检测结果的兴趣区域信息供应给兴趣区域控制信号生成单元132。

基于从兴趣区域检测单元131供应的兴趣区域信息，兴趣区域控制信号生成单元132在对应于输入图像的感觉的调整过程期间生成表明与输入图像的每个区域相对应的感觉的强调程度的兴趣区域控制信号，并且执行将其供应给控制信号合成单元26。这里，兴趣区域控制信号是用于根据每个区域是兴趣区域的可能性、亦即根据兴趣水平针对每个区域控制感觉的强调程度的信号。

控制信号合成单元26合成来自深度控制信号生成单元23的深度控制信号、来自脸皮肤区域控制信号生成单元24的脸皮肤区域控制信号、来自人区域控制信号生成单元25的人区域控制信号和来自兴趣区域控制信号生成单元132的兴趣区域控制信号，并且生成控制信号。控制信号合成单元26将生成的控制信号供应给图像处理单元27。

[图像处理的描述]

接下来，参考图9中的流程图，对图像处理设备121所执行的图像处理给予描述。这里，由于步骤S71和步骤S72的过程与图3的步骤S11和步骤S12的过程相同，所以会省略其描述。

在步骤S73中，兴趣区域检测单元131从供应的输入图像中检测兴趣区域，并且将兴趣区域信息供应给兴趣区域控制信号生成单元132。

例如，当输入图像是活动图像时，兴趣区域检测单元131使用过程目标的当前帧的输入图像和以前帧的输入图像来检测输入图像的每个区域的运动矢量(以下称之为局部运动矢量)。另外，兴趣区域检测单元131基于输入图像计算输入图像的背景的运动矢量作为全局运动矢量。例如，全局运动矢量被设置为输入图像的左右边缘区域的运动矢量的平均值等。

进而，兴趣区域检测单元131针对输入图像的每个区域计算全局运动矢量和局部运动矢量之间的差，并且计算表明每个区域是兴趣区域的可能性程度的兴趣程度。兴趣程度表明了用户的眼睛被吸引到输入图像上的区域的程度，换言之即兴趣水平程度。

基于输入图像的每个区域的兴趣程度以及在输入图像的图像捕捉时的诸如遥摄、倾斜和变焦之类的摄影操作，兴趣区域检测单元131检测输入图像上的兴趣区域，并且将表明兴趣区域的兴趣区域信息供应给兴趣区域控制信号生成单元132。这里，关于兴趣区域的检测，例如可以在日本待审专利申请公布第2008-53775号等中找到详细的描述。

在检测兴趣区域之后，执行从步骤S74至步骤S76的过程；然而，由于这些过程与图3的从步骤S13至步骤S15的过程相同，所以省略其描述。

在步骤S77中，基于从兴趣区域检测单元131供应的兴趣区域信息，兴趣区域控制信号生成单元132生成兴趣区域控制信号，并且执行将其供应给控制信号合成单元26。

例如，兴趣区域控制信号生成单元132将与输入图像相同尺寸的图像设置为兴趣区域控制图像，并且基于兴趣区域信息来计算兴趣区域控制图像的每个像素的像素值。例如，与输入图像上的兴趣区域相同位置中的兴趣区域控制图像像素的像素值被设置为大值，并且与输入图像上不是兴趣区域的区域相同的位置中的兴趣区域控制图像像素的像素值被设置为小值。

以这种方式，当根据输入图像的兴趣区域的位置、通过确定兴趣区域控制图像的每个像素的像素值、使用兴趣区域控制图像(兴趣区域控制信号)来控制输入图像的锐度的强调程度时，可以获得更加自然的输出图像而没有不适。换言之，高度感兴趣的区域的锐度被进一步强调，由此可以获得适配密切观察的对象显得更加锐利的人类视觉特性的自然输出图像。

兴趣区域控制信号生成单元132将以这种方式获得的兴趣区域控制图像的图像信号供应给控制信号合成单元26作为兴趣区域控制信号。

在步骤S78中，控制信号合成单元26合成来自深度控制信号生成单元23的深度控制信号、来自脸皮肤区域控制信号生成单元24的脸皮肤区域控制信号、来自人区域控制信号生成单元25的人区域控制信号和来自兴趣区域控制信号生成单元132的兴趣区域控制信号，并且生成控制信号。然后，控制信号合成单元26将生成的控制信号供应给图像处理单元27。

在生成控制信号之后，执行步骤S79的过程并且图像处理结束；然而，由于步骤S79的过程与图3的步骤S17的过程相同，所以省略其描述。

如上所述，通过根据输入图像中的每个主体的深度、脸皮肤区域和人轮廓区域而针对输入图像的每个区域适当地确定感觉的调整程度，可以获得更加自然的输出图像而没有不适。特别地，通过根据兴趣区域确定感觉的调整程度，甚至在除了人之外的高度感兴趣的主体存在于输入图像中的情况下，适合于人类视觉特性的优越图像显示也是可能的。

<第三实施例>

[图像处理单元的配置例子]

上面在图像处理单元27中，关于执行锐度调整作为输入图像的感觉调整的情况给予了描述；然而，还可以与锐度一样调整对比度。

在这样的情况下，例如如图10所示来配置图1的图像处理单元27。亦即，图像处理单元27配置有非线性类型滤波器161、减法单元162、放大器163和加法器164。在图像处理单元27中，关于输入图像执行锐度和对比度调整，并且生成输出图像。

非线性类型滤波器161关于供应的输入图像使用由ε滤波器等构成的非线性类型滤波器执行滤波过程，并且将作为结果获得的图像(以下称之为平滑图像)供应给减法单元162和加法器164。这里，在其中输入图像的像素值陡峭变化的部分、亦即边缘部分保持不变的情况下，非线性类型滤波器对整个输入图像进行平滑。

减法单元162减去来自非线性类型滤波器161的平滑图像，并且将作为结果获得的纹理分量供应给放大器163。基于从控制信号合成单元26供应的控制信号，放大器163针对输入图像的每个区域放大从减法单元162供应的纹理分量，并且执行将其供应给加法器164。下面，通过放大器163放大的输入图像的纹理分量被适当地称为校正的纹理分量。

加法器164将从放大器163供应的校正的纹理分量相加到从非线性类型滤波器161供应的平滑图像，并且输出作为结果获得的输出图像。

[对调整过程的描述]

顺便提及，甚至在如图10所示地配置图像处理单元27的情况下，也通过图像处理设备11来执行参考图3描述的图像处理。进一步，在图像处理的步骤S17的调整过程中，执行输入图像的锐度和对比度的调整。

下面参考图11中的流程图，关于图10的图像处理单元27所执行的调整过程给予描述。该调整过程对应于图3的步骤S17。

在步骤S101中，非线性类型滤波器161关于供应的输入图像使用非线性类型滤波器执行滤波过程，并且将作为结果获得的平滑图像供应给减法单元162和加法器164。

在滤波过程中，在输入图像的边缘部分保持不变的情况下对整个输入图像进行平滑。在滤波过程期间，当非线性滤波的抽头长度延长时，低通振幅分量包括在纹理分量和校正的纹理分量中。例如可以在日本待审专利申请公布第2001-298621号中找到滤波过程的详细描述。

在步骤S102中，减法单元162从供应的输入图像中减去来自非线性类型滤波器161的平滑图像，并且从输入图像中提取纹理分量。这里，通过从输入图像中省去包括边缘的分量来获得纹理分量。减法单元162将获得的纹理分量供应给放大器163。

在步骤S103中，基于从控制信号合成单元26供应的控制信号，放大器163针对输入图像的每个区域放大从减法单元162供应的纹理分量，并且将作为结果获得的校正的纹理分量供应给加法器164。

例如，纹理分量是通过从输入图像中省去包括边缘的分量而获得的图像之图像信号。关于图像的每个像素的像素值，通过相加与像素相同位置中的控制图像像素的像素值，将纹理分量设置为校正的纹理分量。

在步骤S104中，加法器164将从放大器163供应的校正的纹理分量相加到从非线性类型滤波器161供应的平滑图像，并且输出作为结果获得的输出图像。

以这种方式获得的输出图像是通过针对每个区域调整输入图像的锐度和对比度而获得的图像。当适当地强调纹理分量而没有改变输入图像的边缘分量时，就调整了输入图像的锐度和对比度。

当从加法器164将输出图像输出时，调整过程结束，由此图3的步骤S17也结束并且图像处理结束。

如上面提到的那样，基于控制信号通过放大输入图像的纹理分量，图像处理单元27执行每个区域的锐度和对比度的调整。当使用这样的控制信号时，可以针对每个区域执行具有立体效果的锐度和对比度的优越控制。

进而，针对以下给予了描述：在图10的图像处理单元27中，校正的纹理分量被相加到平滑图像并被设置为输出图像；然而，可以是如下情况：校正的纹理分量被相加到输入图像并被设置为输出图像。

<第四实施例>

[图像处理单元的配置例子]

另外，针对以下给予了描述：在图10的图像处理单元27中，关于纹理分量执行锐度和对比度的调整；然而，可以是如下情况：同样关于边缘分量执行锐度调整。

在这样的情况下，例如如图12所示地配置图像处理设备11的图像处理单元27。另外，在图12中，针对与图10的情况相对应的部分给予相同的标号，并且省略其描述。

亦即，图像处理单元27配置有非线性类型滤波器161、减法单元162、放大器163、加法器164、高通滤波器191、调整放大器192和加法器193。亦即，图12的图像处理单元27被配置成使得图10的图像处理单元27进一步设置有从高通滤波器191至加法器193的部件。

高通滤波器191关于从非线性类型滤波器161供应的平滑输入图像使用高通滤波器来执行滤波过程，并且将作为结果获得的边缘分量供应给调整放大器192。

基于从控制信号合成单元26供应的控制信号，调整放大器192针对输入图像的每个区域放大或衰减从高通滤波器191供应的边缘分量，并且执行将其供应给加法器193。这里，对于在生成供应给放大器163的控制信号时使用的权重而言，使用不同的权重来生成供应给调整放大器192的控制信号。

下面，在调整放大器192中放大或衰减的输入图像的边缘分量适当时也可以被称为校正的边缘分量。

加法器193将从调整放大器192供应的校正的边缘分量相加到从加法器164供应的图像，并且输出作为结果获得的输出图像。

[对调整过程的描述]

在如图12所示地配置图像处理单元27的情况下，通过图像处理设备11执行参考图3描述的图像处理；然而，在步骤S16中，控制信号合成单元26生成两个不同的控制信号，并且分别将信号供应给放大器163和调整放大器192。

换言之，通过根据预定权重对深度控制信号、脸皮肤区域控制信号和人区域控制信号进行加权并相加，控制信号合成单元26生成控制信号，并且执行将其供应给放大器163。进一步，通过根据对于上面描述的预定权重而言不同的权重对深度控制信号、脸皮肤区域控制信号和人区域控制信号进行加权并相加，控制信号合成单元26生成控制信号，并且执行将其供应给调整放大器192。

进一步，在这样的图像处理中的调整过程的步骤S17中，输入图像的纹理分量和边缘分量被分别放大或衰减，并且执行锐度和对比度调整。

下面参考图13中的流程图，关于使用图12的图像处理单元27执行的调整过程给予描述。该调整过程对应于图3的步骤S17。

由于步骤S131至步骤S134的过程与图11的步骤S101至步骤S104的过程相同，所以会省略其描述。

然而，在步骤S131中，非线性类型滤波器161将通过滤波过程获得的平滑图像供应给减法单元162、加法器164和高通滤波器191。进一步，在步骤S134中，加法器164将来自放大器163的校正的纹理分量相加到来自非线性类型滤波器161的平滑图像，并且将获得的图像供应给加法器193。

在步骤S135中，高通滤波器191关于从非线性类型滤波器161供应的平滑输入图像使用高通滤波器来执行滤波过程，并且提取输入图像的边缘分量。高通滤波器191将提取的边缘分量供应给调整放大器192。

在步骤S136中，基于来自控制信号合成单元26的控制信号，调整放大器192针对输入图像的每个区域放大或衰减来自高通滤波器191的边缘分量，并且执行将其供应给加法器193。亦即，基于控制信号相对于边缘分量的图像的每个像素的像素值对控制图像像素的像素值进行相加，并且设置为校正的边缘分量。

在步骤S137中，加法器193将从调整放大器192供应的校正的边缘分量相加到从加法器164供应的并且对其相加了校正的纹理分量的平滑图像，并且输出作为结果获得的输出图像。当来自加法器193的输出图像被输出时，调整过程结束，由此图3的步骤S17也结束并且图像处理结束。

以这种方式，通过不仅调整输入图像的纹理分量，而且还独立于纹理分量调整每个区域的边缘分量的锐度，可以执行对边缘的更加适当的强调控制，并且可以获得具有立体效果的优越输出图像。

<第五实施例>

[图像处理单元的配置例子]

另外，在图像处理单元27中，执行超分辨率处理，并且输入图像被转换成具有高分辨率的输出图像。在这一点上，可以适应性控制根据控制信号的每个区域中的超分辨率效果的程度，换言之即超分辨率效果的状态。

在这样的情况下，例如如图14所示地配置图1的图像处理设备11的图像处理单元27。

亦即，图14的图像处理单元27配置有类抽头提取单元221、自适应动态范围控制(ADRC)处理单元222、类分类单元223、预测系数维护单元224、预测抽头提取单元225和预测计算单元226。在图像处理单元27中，输入图像被供应给类抽头提取单元221和预测抽头提取单元225。

类抽头提取单元221把将要从这一点生成的输出图像(输出图像是将要从这一点计算的图像，并且由于在当前阶段并不存在，所以实际上是假定)的像素相继地设置为吸引注意力的兴趣像素。类抽头提取单元221提取供应的输入图像中的与兴趣像素相同位置附近的几个像素，作为用于在多个类中之一当中对兴趣像素进行分类的类抽头，并且执行将其供应给ADRC处理单元222。

ADRC处理单元222对从类抽头提取单元221供应的类抽头执行ADRC处理，并且将已对其执行了ADRC处理的类抽头供应给类分类单元223。

基于从ADRC处理单元222供应的类抽头，类分类单元223对兴趣像素的类进行分类，结果生成表明被分类的兴趣像素类的类代码。进一步，基于从控制信号合成单元26供应的控制信号，类分类单元223生成预测系数集合ID，其表明在预测系数维护单元224中记录的由多个预测系数构成的预测系数集合当中使用哪个预测系数集合。

换言之，在预测系数维护单元224中，记录了针对每个类代码的由预测系数构成的多个预测系数集合。预测系数被用来预测兴趣像素并且通过研究而预先计算。进一步，当预测系数甚至针对相同类代码的预测系数也配置不同的预测系数集合时，预测系数的值不同，并且可以获得如下兴趣像素：针对所述兴趣像素，例如对于每个预测系数集合而言，诸如锐度之类的超分辨率效果和感觉的程度不同。

类分类单元223将指定预测系数集合的预测系数集合ID和类代码供应给预测系数维护单元224。预测系数维护单元224将从类分类单元223供应的根据类代码和预测系数集合ID指定的预测系数供应给预测计算单元226。

预测抽头提取单元225在供应的输入图像中提取与兴趣像素相同位置附近的几个像素，作为用于预测兴趣像素的像素值的预测抽头，并且执行将其供应给预测计算单元226。预测计算单元226将从预测系数维护单元224供应的预测系数乘以从预测抽头提取单元225供应的预测抽头、换言之即配置预测抽头的像素之像素值，执行兴趣像素的像素值的预测计算，并且生成输出图像。预测计算单元226输出生成的输出图像。

[对调整过程的描述]

顺便提及，甚至在如图14所示地配置图像处理单元27的情况下，也通过图像处理设备11来执行参考图3描述的图像处理。进一步，在图像处理的步骤S17的调整处理中，输入图像被转换成与输入图像相比具有更高分辨率的输出图像。

下面参考图15中的流程图，对图14的图像处理单元27所执行的调整过程给予描述。该调整过程对应于图3的步骤S17。

在步骤S161中，图像处理单元27选择将要从这一点生成的输出图像的像素中之一，并且将该像素设置为兴趣像素。

在步骤S162中，类抽头提取单元221从供应的输入图像中提取类抽头，并且执行将其供应给ADRC处理单元222。

在步骤S163中，ADRC处理单元222对从类抽头提取单元221供应的类抽头执行ADRC处理，并且执行将其供应给类分类单元223。

例如，ADRC处理单元222检测配置类抽头的像素之像素值中的最大者MAX和最小值MIN，并且将检测的像素值中的最大者MAX和最小值MIN之间的差DR设置为配置类抽头的像素组的局部动态范围。

基于动态范围DR，ADRC处理单元222对配置类抽头的像素(的像素值)执行1比特再量化。亦即，ADRC处理单元222从配置类抽头的每个像素的像素值中减去最小值MIN，并且将减去的值除以DR/2(量化)。然后，ADRC处理单元222将位流供应给类分类单元223，在所述位流中，按照预定顺序排列以上述方式获得的配置类抽头的1比特的每个像素的像素值。

在步骤S164中，基于从ADRC处理单元222供应的位流，类分类单元223执行兴趣像素的类分类。例如，类分类单元223将从ADRC处理单元222供应的位流设置为类代码那样。

另外，基于从控制信号合成单元26供应的控制信号，类分类单元223基于控制图像的像素当中的与兴趣像素相同位置附近的像素之像素值选择预测系数集合ID。例如，其中获得控制图像像素的像素值的范围被分成几个范围，并且预测系数集合ID与划分的范围中的每一个相关联。类分类单元223选择与控制信号所示出的像素之像素值所属的范围相关联的预测系数集合ID。

类分类单元223将以这种方式选择的预测系数集合ID和类代码供应给预测系数维护单元224。这样一来，预测系数维护单元224就将预先记录的每个预测系数集合的预测系数当中的由来自类分类单元223的预测系数集合ID和类代码所指定的预测系数供应给预测计算单元226。亦即，属于预测系数集合ID所指定的预测系数集合的预测系数当中的类代码所指定的预测系数被选择并输出。

在步骤S165中，预测抽头提取单元225在供应的输入图像中提取与兴趣像素相同位置附近的几个像素作为预测抽头，并且执行将其供应给预测计算单元226。

在步骤S166中，预测计算单元226将从预测系数维护单元224供应的预测系数乘以从预测抽头提取单元225供应的预测抽头的像素之像素值，并且对兴趣像素的像素值执行预测计算。亦即，乘以预测系数的像素值之和被设置为兴趣像素的像素值。

在步骤S167中，图像处理单元27确定是否关于输出图像的全部像素都执行了预测计算。例如，在输出图像的全部像素都被设置为兴趣像素并且其像素值被计算的情况下，确定相对于全部像素都执行了预测计算。

在步骤S167中，在确定尚未针对全部像素都执行了预测计算的情况下，过程返回到步骤S161并且重复上述过程。

另一方面，在步骤S167中，在确定针对全部像素都执行了预测计算的情况下，过程前进到步骤S168。

在步骤S168中，预测计算单元226输出由设置为兴趣像素的每个像素的像素值构成的输出图像，从而完成调整过程。当调整过程结束时，图3的步骤S17也结束并且图像处理结束。

以这种方式，由于在图像处理单元27中基于输出图像的每个区域中的控制信号来选择预测系数集合，所以可以调整针对每个区域的超分辨率效果的程度、亦即分辨率创建的程度，并且可以获得具有立体效果的优越输出图像。

<第六实施例>

[图像处理单元的配置例子]

进一步，可以根据控制信号调整输入图像的色度。在这样的情况下，例如如图16所示地配置图1的图像处理设备11的图像处理单元27。

亦即，图16中的图像处理单元27配置有分离单元251、色度调整放大器252和合成单元253。在这个例子中，输入图像的图像信号由亮度信号(Y信号)和色度信号(CbCr信号)构成。

分离单元251将供应的输入图像分成亮度分量(亮度信号)和色度分量(色度信号)，将亮度分量供应给合成单元253，并且将色度分量供应给色度调整放大器252。

基于从控制信号合成单元26供应的控制信号，色度调整放大器252针对输入图像的每个区域放大或衰减从分离单元251供应的色度分量(色差分量)，并且执行将其供应给合成单元253。合成单元253输出由来自分离单元251的亮度分量和来自色度调整放大器252的色度分量构成的图像作为输出图像。

[对调整过程的描述]

顺便提及，甚至在如图16所示地配置图像处理单元27的情况下，也通过图像处理设备11来执行参考图3描述的图像处理。进一步，在图像处理的步骤S17的调整处理中，执行输入图像的色度分量的调整。

下面参考图17中的流程图，对图16的图像处理单元27所执行的调整过程给予描述。该调整过程对应于图3的步骤S17。

在步骤S191中，分离单元251将供应的输入图像分成亮度分量和色度分量，将亮度分量供应给合成单元253，并且将色度分量供应给色度调整放大器252。

在步骤S192中，基于从控制信号合成单元26供应的控制信号，色度调整放大器252针对输入图像的每个区域放大或衰减从分离单元251供应的色度分量，并且执行将其供应给合成单元253。例如，相对于色度分量的图像的每个像素的像素值，与像素相同位置中的控制图像像素的像素值被相加并设置为校正的色度分量。

在步骤S193中，合成单元253输出由来自分离单元251的亮度分量的亮度信号和来自色度调整放大器252的色度分量的色度信号构成的图像信号作为输出图像的图像信号。

通过针对每个区域调整输入图像的色度，获得以这种方式获得的输出图像。当输出图像从合成单元253输出时，调整过程结束，由此图3的步骤S17也结束并且图像处理结束。

如上面提到的那样，基于控制信号，通过放大或衰减输入图像的色度分量，图像处理单元27执行每个区域的色度的调整。当使用这样的控制信号时，可以针对每个区域执行具有立体效果的色度的优越控制。

上面描述的系列过程可以通过硬件来执行，或者可以通过软件来执行。在系列处理通过软件来执行的情况下，配置软件的程序例如可以从程序记录介质安装到其中安装了专用硬件的计算机或能够通过安装各种类型的程序来执行各种类型的功能的通用个人计算机等。

图18是示出根据程序来执行上面描述的系列处理的计算机的硬件的配置例子的框图。

在计算机中，中央处理单元(CPU)301、只读存储器(ROM)302和随机存取存储器(RAM)303通过总线304相互连接。

总线304进一步连接到输入输出接口305。输入输出接口305连接到：输入单元306如键盘、鼠标或麦克风；输出单元307如显示器或扬声器；记录单元308如硬盘或非易失性存储器；通信单元309如网络接口；以及驱动器310，其驱动可移动介质311如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，CPU 301例如通过以下来执行上面描述的系列处理：通过输入输出接口305和总线304将记录单元308中记录的程序加载到RAM 303中，并且执行该程序。

由计算机(CPU 301)执行的程序记录在可移动介质311上，该可移动介质311是打包介质如磁盘(包括柔性盘)、光盘(紧致盘-只读存储器(CD-ROM)或数字通用盘(DVD)等)、磁光盘或半导体存储器等，所述程序或者通过有线或无线传输介质如局域网、因特网或数字卫星广播共享。

这里，通过将可移动介质311安装在驱动器310中，可以通过输入输出接口305将程序安装在记录单元308中。另外，可以通过有线或无线传输介质在通信单元309中接收程序并将程序安装在记录单元308中。进而，可以预先将程序安装在ROM 302和记录单元308中。

另外，由计算机执行的程序可以按时间顺序执行本说明书中描述的序列中的处理，或者可以并行地或在适当时刻如在调用时执行处理。

进一步，本公开的实施例并不限于上面描述的实施例，并且各种修改在不背离本公开的主旨的范围之内都是可能的。

进而，本公开可以采用以下配置。

[1]

一种图像处理设备，包括：深度控制信号生成单元，其基于输入图像的每个区域中的主体的深度位置，生成控制所述输入图像的每个区域的感觉的强调程度的深度控制信号；脸皮肤区域控制信号生成单元，其基于所述输入图像中的人脸皮肤区域，生成控制所述输入图像中的每个区域的感觉的强调程度的脸皮肤区域控制信号；人区域控制信号生成单元，其基于所述输入图像中的人的区域，生成控制所述输入图像中的每个区域的感觉的强调程度的人区域控制信号；以及控制信号合成单元，其合成所述深度控制信号、所述脸皮肤区域控制信号和所述人区域控制信号以生成控制信号。

[2]

根据上述[1]所述的图像处理设备，进一步设置有图像处理单元，其基于所述控制信号调整所述输入图像的每个区域的感觉并生成输出图像。

[3]

根据上述[2]所述的图像处理设备，其中，所述图像处理单元基于所述控制信号放大或衰减所述输入图像的边缘分量。

[4]

根据上述[2]所述的图像处理设备，其中，所述图像处理单元基于所述控制信号放大所述输入图像的纹理分量。

[5]

根据上述[4]所述的图像处理设备，其中，所述图像处理单元基于除了所述控制信号之外的不同控制信号来放大或衰减所述输入图像的边缘分量。

[6]

根据上述[2]所述的图像处理设备，其中，所述图像处理单元设置有：预测系数选择单元，其针对所述输出图像的每个区域选择在基于所述控制信号生成所述输出图像中使用的预测系数；以及预测计算单元，其基于所述输入图像和所述预测系数，生成与所述输入图像相比具有更高分辨率的输出图像。

[7]

根据上述[2]所述的图像处理设备，其中，所述图像处理单元放大或衰减所述输入图像的色度分量。

[8]

根据上述[1]或[2]所述的图像处理设备，进一步包括：兴趣区域控制信号生成单元，其基于所述输入图像中的被估计为高度感兴趣的区域生成控制所述输入图像中的每个区域的感觉的强调程度的兴趣区域控制信号，其中，所述控制信号合成单元合成所述深度控制信号、所述脸皮肤区域控制信号、所述人区域控制信号和所述兴趣区域控制信号，并且生成控制信号。

[9]

根据上述[1]至[8]中任何一项所述的图像处理设备，其中，基于从所述输入图像中的人脸区域的检测结果，所述脸皮肤区域控制信号生成单元指定所述人脸皮肤区域并且生成所述脸皮肤区域控制信号，并且当没有从过程对象的输入图像中检测到人脸区域时，基于以前输入图像中的人脸皮肤区域的特定结果在过程对象的输入图像中指定人脸皮肤区域。

[10]

根据上述[9]所述的图像处理设备，其中，使用从所述输入图像中的人脸区域的检测结果或所述输入图像的人脸皮肤区域的特定结果中的至少一个，所述人区域控制信号生成单元指定所述输入图像中的人的区域并生成所述人区域控制信号。

本公开包含与2011年3月29日向日本专利局申请的日本优先权专利申请JP 2011-073042中公开的主题有关的主题，该专利申请的整体内容通过引用结合于此。

本领域技术人员应当理解的是，取决于设计要求和其它因素，可以进行各种修改、组合、再组合和变更，它们都处在所附权利要求或其等效含义的范围之内。

Claims (12)

1.一种图像处理设备，包括：

深度控制信号生成单元，其基于输入图像的每个区域中的主体的深度位置，生成控制所述输入图像的每个区域的感觉的强调程度的深度控制信号；

脸皮肤区域控制信号生成单元，其基于所述输入图像中的人脸皮肤区域，生成控制所述输入图像中的每个区域的感觉的强调程度的脸皮肤区域控制信号；

人区域控制信号生成单元，其基于所述输入图像中的人的区域，生成控制所述输入图像中的每个区域的感觉的强调程度的人区域控制信号；以及

控制信号合成单元，其合成所述深度控制信号、所述脸皮肤区域控制信号和所述人区域控制信号以生成控制信号。

2.根据权利要求1所述的图像处理设备，进一步包括：

图像处理单元，其基于所述控制信号调整所述输入图像的每个区域的感觉并生成输出图像。

3.根据权利要求2所述的图像处理设备，其中，所述图像处理单元基于所述控制信号放大或衰减所述输入图像的边缘分量。

4.根据权利要求2所述的图像处理设备，其中，所述图像处理单元基于所述控制信号放大所述输入图像的纹理分量。

5.根据权利要求4所述的图像处理设备，其中，所述图像处理单元基于除了所述控制信号之外的控制信号来放大或衰减所述输入图像的边缘分量。

6.根据权利要求2所述的图像处理设备，其中，所述图像处理单元设置有：

预测系数选择单元，其针对所述输出图像的每个区域选择在基于所述控制信号生成所述输出图像中使用的预测系数；以及

预测计算单元，其基于所述输入图像和所述预测系数，生成与所述输入图像相比具有更高分辨率的输出图像。

7.根据权利要求2所述的图像处理设备，其中，所述图像处理单元基于所述控制信号放大或衰减所述输入图像的色度分量。

8.根据权利要求1所述的图像处理设备，进一步包括：

兴趣区域控制信号生成单元，其基于所述输入图像中的被估计为高度感兴趣的区域生成控制所述输入图像中的每个区域的感觉的强调程度的兴趣区域控制信号，

其中，所述控制信号合成单元合成所述深度控制信号、所述脸皮肤区域控制信号、所述人区域控制信号和所述兴趣区域控制信号以生成控制信号。

9.根据权利要求1所述的图像处理设备，其中，基于从所述输入图像中的人脸区域的检测结果，所述脸皮肤区域控制信号生成单元指定所述人脸皮肤区域并且生成所述脸皮肤区域控制信号，并且当没有从过程对象的输入图像中检测到人脸区域时，基于以前输入图像中的人脸皮肤区域的特定结果在过程对象的输入图像中指定人脸皮肤区域。

10.根据权利要求9所述的图像处理设备，其中，使用从所述输入图像中的人脸区域的检测结果或所述输入图像的人脸皮肤区域的特定结果中的至少一个，所述人区域控制信号生成单元指定所述输入图像中的人的区域并生成所述人区域控制信号。

11.一种图像处理设备的图像处理方法，所述图像处理设备包括：

深度控制信号生成单元，其基于输入图像的每个区域中的主体的深度位置，生成控制所述输入图像的每个区域的感觉的强调程度的深度控制信号；

脸皮肤区域控制信号生成单元，其基于所述输入图像中的人脸皮肤区域，生成控制所述输入图像中的每个区域的感觉的强调程度的脸皮肤区域控制信号；

人区域控制信号生成单元，其基于所述输入图像中的人的区域，生成控制所述输入图像中的每个区域的感觉的强调程度的人区域控制信号；以及

控制信号合成单元，其合成所述深度控制信号、所述脸皮肤区域控制信号和所述人区域控制信号以生成控制信号，其中，

所述深度控制信号生成单元生成所述深度控制信号，

所述脸皮肤区域控制信号生成单元生成所述脸皮肤区域控制信号，

所述人区域控制信号生成单元生成所述人区域控制信号，并且

所述控制信号合成单元生成控制信号。

12.一种程序，使计算机执行包括以下步骤的方法：

基于输入图像的每个区域中的主体的深度位置，生成控制所述输入图像的每个区域的感觉的强调程度的深度控制信号；

基于所述输入图像中的人脸皮肤区域，生成控制所述输入图像中的每个区域的感觉的强调程度的脸皮肤区域控制信号；

基于所述输入图像中的人的区域，生成控制所述输入图像中的每个区域的感觉的强调程度的人区域控制信号；以及

合成所述深度控制信号、所述脸皮肤区域控制信号和所述人区域控制信号以生成控制信号。

Images