CN103516996A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本申请涉及图像处理装置、图像处理方法和程序。本发明公开了一种图像处理装置，包括：检测部，检测输入图像的构图；第一产生部，产生第一信息，其中依据所述第一信息控制基于由所述检测部检测的构图的图像处理的强度；第二产生部，检测对应于输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中依据所述第二信息控制所述平坦部分的图像处理的强度；第三产生部，检测输入图像的前景部分，以及产生第三信息，其中依据所述第三信息控制所述前景部分的图像处理的强度；以及图像处理部，依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开涉及图像处理装置、图像处理方法和程序。更具体而言，本公开涉及控制执行图像处理的强度的图像处理装置、该图像处理装置使用的图像处理方法和该图像处理装置使用的程序。

背景技术

已知执行用于增加以低分辨率显示的输入图像的信息量的超分辨率处理的装置，因而将结果的输入图像转换为以高分辨率显示的高清晰度图像。此外，还已知执行使向其提供的输入图像经历插值处理以进一步增加分辨率的增强处理和用于强调边缘的滤波处理的装置，因而将结果的输入图像转换为以更高分辨率显示的增强的图像。

提出了一种技术，其中，当执行该超分辨率处理或者增强处理时，以改善S/N（信号/噪声）比、深度感和立体效果为目的，进行平坦检测以抑制平坦部分的噪声，因而控制平坦部分的超分辨率和增强强度。此外，日本专利公开号2010-72982和2009-251839提出的技术也是依据基于深度检测计算的深度信息来控制超分辨率和增强强度。

发明内容

在以下情况下难以仅通过平坦检测来进行抑制：当存在太多噪声而无法在噪声降低处理中去除时，或者当存在具有强振幅的噪声时。当试着去除（抑制）该噪声时，不期望被抑制的纹理和边缘也会被抑制，作为结果，难以执行适当的噪声抑制处理。

当依据画面内的频率信息执行了深度检测/抑制处理等时，该处理变为局部处理。因此，可能难以整体采取画面的构图信息，从而存在的削弱深度感和立体效果的可能性。

因此，期望的是执行用于适当的噪声减小的图像处理和不削弱深度感和立体效果的图像处理。

为了解决上述问题做出了本公开，因此期望提供一种能够执行适当的图像处理的图像处理、该图像处理使用的图像处理方法和该图像处理使用的程序。

为了达到上述期望，首先，根据本公开的实施例，提供一种图像处理装置，包含：检测部，检测输入图像的构图；第一产生部，产生第一信息，其中所述第一信息控制基于由所述检测部检测的构图的图像处理的强度；第二产生部，检测输入图像的像素值的变化小的平坦部分（例如，在一个示例中，输入图像的像素值的变化小于或等于10%的部分被检测为平坦部分），以及产生第二信息，其中所述第二信息控制对所述平坦部分的图像处理的强度；第三产生部，检测输入图像的前景部分，以及产生第三信息，其中所述第三信息控制对所述前景部分的图像处理的强度；以及图像处理部，依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

第二，优选的是图像处理装置可以还包含第四产生部，把第一信息和第二信息合成，从而产生第四信息；以及第五产生部，把第三信息和第四信息合成，从而产生第五信息，其中，所述图像处理部依据基于第五信息的强度执行图像处理。

第三，优选的是图像处理装置可以还包含第四产生部，通过获得第一信息和第二信息的最小值来把第一信息和第二信息合成，从而产生第四信息；以及第五产生部，通过获得第三信息和第四信息的最大值来把第三信息和第四信息合成，从而产生第五信息，其中，所述图像处理部依据基于第五信息的强度执行图像处理。

第四，优选的是所述第一产生部基于由所述检测部检测的构图的可靠性来设定依据第一信息控制的图像处理的强度的最大值和最小值，从而产生落入所设定的强度的范围内的第一信息。

第五，优选的是当基于由所述检测部检测到的构图将输入图像分割为多个部分时，所述第一产生部检测成为分割的边界的线，并且产生使强度以线为边界急剧变化的第一信息（例如，在一个示例中，强度的变化大于或等于30%被视为急剧变化）。

第六，优选的是所述图像处理部执行的图像处理是以下处理的至少一种：超分辨率处理、增强处理、噪声降低处理、信噪比改善处理、以及深度感和立体效果改善处理。

第七，根据本公开的实施例，提供一种用于图像处理装置对输入图像执行图像处理的图像处理方法，所述方法包括：检测输入图像的构图；产生第一信息，其中第一信息控制基于所检测的构图的图像处理的强度；检测输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中第二信息控制对所述平坦部分的图像处理的强度；检测输入图像的前景部分，以及产生第三信息，其中依据第三信息控制对所述前景部分的图像处理的强度；以及依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

第八，根据本公开的实施例，提供一种程序，依据所述程序使控制对输入图像进行图像处理的图像处理装置的计算机执行处理，包括：检测输入图像的构图；产生第一信息，其中第一信息控制基于所检测的构图的图像处理的强度；检测输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中第二信息控制对所述平坦部分的图像处理的强度；检测输入图像的前景部分，以及产生第三信息，其中第三信息控制对所述前景部分的图像处理的强度；以及依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

在根据本公开的上述实施例的图像处理装置、图像处理方法和程序中，利用控制图像处理器以对输入图像进行图像处理的计算机，检测到输入图像的构图。此外，分别产生第一信息、第二信息和第三信息，其中根据第一信息控制基于由此检测的构图的图像处理的强度，根据第二信息控制对平坦部分的图像处理的强度，第三信息控制对所述前景部分的图像处理的强度。此外，依据基于第一信息、第二信息和第三信息的强度，执行预定的多个图像处理。

如上所述，根据本公开，能够执行适当的图像处理。图像处理包含超分辨率处理、增强处理、噪声降低处理、S/N比改善处理、深度感和立体效果改善处理。因此，可以适当执行这些图像处理。

附图说明

图1是示出根据本公开的实施例的图像处理装置的配置的框图；

图2A至2C分别是解释构图的视图；

图3A至3C分别是解释构图掩模的视图；

图4A至4C分别是解释构图掩模的视图；

图5是解释构图掩模的视图；

图6是解释掩模的视图；

图7是解释在图1所示的图像处理装置的操作中的掩模产生处理的流程图；

图8是解释在图1所示的图像处理装置的操作中的构图掩模产生处理的流程图；以及

图9是解释记录介质的框图。

具体实施方式

下文，参考附图详细说明本公开的实施例。要注意的是，下文依据以下顺序进行说明。

1.图像处理装置的配置

2.构图掩模

3.平坦掩模、前景掩模、背景掩模和构图适应性掩模

4.图像处理装置的操作

5.记录介质

1.图像处理装置的配置

图1是示出根据本公开的实施例的图像处理装置的配置的框图。图1所示的图像处理装置11是整合至装置（诸如电视机或者录像机）的一部分、用于处理运动图像或者静止图像的装置；或者作为不同于上述装置的装置，在处理完成后向上述装置提供信号。

图1所示的图像处理装置11的组成包括构图检测部21、构图掩模产生部22、背景掩模产生部23、平坦掩模产生部24、前景掩模产生部25、构图适应性掩模产生部26和图像处理部27。

图像处理装置11配置为使得图像处理部27通过使用由构图检测部21、构图掩模产生部22、背景掩模产生部23、平坦掩模产生部24、前景掩模产生部25和构图适应性掩模产生部26从输入图像产生的掩模，执行预定处理。

已输入至图像处理装置11的输入信号被提供至构图检测部21、平坦掩模产生部24、前景掩模产生部25和图像处理部27中的每一个。构图检测部21检测对应于输入信号的图像的构图，并将与构图相关的检测结果提供给构图掩模产生部22。构图掩模产生部22基于向其提供的与构图相关的检测结果，产生构图掩模。

2.构图掩模

下面参考图2A至2C，针对由构图检测部21检测的构图进行说明。当如图2A的上段所示的图像51作为构图检测部21中处理的对象时，图像51被检测为具有上/下构图。参考图2A的上段所示的图像，图像51是通过拍摄天空位于上侧并且树木和喷泉位于下侧的画面获得的图像。风景等的上侧是远景并且其下侧是近景的图像被检测为具有上/下构图。

要注意的是，风景等的下侧是远景并且其上侧是近景的图像也被检测为具有上/下构图。如图2A的下段所示的上/下构图被处理为适于分割为画面上侧部52和画面下侧部53的构图。被处理为上/下构图意味着在下一阶段在构图掩模产生部22中产生上/下构图的掩模。之后参考图3A至3C说明掩模。

当如图2B的上段所示的图像61作为构图检测部21中处理的对象时，图像61被检测为具有如图2B的下段所示的左/右构图。参考图2B的上段所示的图像61，图像61是通过拍摄其中人位于右侧并且背景（诸如湖泊等）位于左侧的画面获得的图像。如上所述，风景等的左侧是远景并且其右侧是近景的图像被检测为具有左/右构图。

要注意的是，风景等的左侧是近景且其右侧是远景的图像也被检测为具有左/右构图。如图2B的下侧所示的左/右构图是适于分割为画面左侧部62和画面右侧部63的构图。

当如图2C的上段所示的图像71作为构图检测部21中处理的对象时，图像71被检测为具有如图2C的下段所示的中/外构图。参考图2C的上段所示的图像71，图像71是通过拍摄其中人位于中心附近并且背景分别位于左侧和右侧的画面获得的图像。如上所述，风景等的中心附近是近景并且其右侧和左侧各自是远景的图像被检测为具有中/外构图。

要注意的是，风景等的中心附近是远景并且其右侧和左侧各自是近景的图像也检测为具有中/外构图。如图2C的下侧所示，中/外构图被处理为适于分割为画面外侧部72、画面中部73和画面外侧部74的构图。

以这种方式，构图检测部21检测输入图像的构图。尽管构图的检测可以通过将图像分离为远景和近景进行，但构图还可以通过使用任何其他适当的方法来检测。此外，尽管在参考图2A至2C的描述中，举例了3个构图进行说明，还可以检测其它构图。在这种情况下，下面，在假设检测上述3种构图的情况下继续进行说明。

图3A至3C是分别示出构图掩模产生部22中产生的构图掩模的示例的视图。图3A所示的构图掩模101是当图像被检测为具有图2A所示的上/下构图时产生的掩模。图3B所示的构图掩模102是当图像被检测为具有图2B所示的左/右构图时产生的掩模。另外，图3C所示的构图掩模103是当图像被检测为具有图2C所示的中/外构图时产生的掩模。

图3A至3C分别示出的构图掩模中的每一个都是用于控制对图像执行图像处理（诸如超分辨率、增强和噪声去除）的强度的掩模。当图3A至3C分别示出的构图掩模中的任何一个被应用于诸如超分辨率或者增强的图像处理时，执行处理使得像图3A至3C的右侧所示的标尺那样，强度随着颜色变淡（接近白色）而变强，强度随着颜色变深（接近黑色）而变弱。

此外，当图3A至3C分别示出的任何构图掩模例如被应用于诸如噪声去除的图像处理时，尽管标尺未在图3A至3C示出，执行处理使得强度随着颜色变淡（接近白色）而变弱，并且强度随着颜色变深（接近黑色）而变强。例如，对于定位在对应于较淡颜色位置的像素而言，通过使用弱滤波器来执行用于噪声去除的处理。另一方面，对于定位在对应于较深颜色位置的像素，通过使用强滤波器来执行用于噪声去除的处理。

如上所述，图3A至3C分别示出的构图掩模是可以对不同图像处理（诸如超分辨率、增强和噪声去除）通用的掩模、并且是可以控制适于要应用的图像处理的强度的掩模。如上所述，图3A至3C分别示出的构图掩模中浅颜色和深颜色之间的处理强度的关系在以下两种情况中是不同的，一种情况是构图掩模被应用于诸如超分辨率和增强的图像处理的情况，另一种情况是构图掩模被应用于噪声去除处理的情况。因此，下面，通过举例构图掩模被应用于诸如超分辨率和增强的图像处理的情况，继续进行说明。

此外，诸如超分辨率和增强的图像处理的强度含有2层含义：诸如超分辨率和增强的图像处理时的强度本身；以及超分辨率和增强的抑制的强度。然而，在这种情况下，主要基于以下假定继续进行说明：诸如超分辨率和增强的图像处理的强度是诸如超分辨率和增强的图像处理时的强度本身。

用于上/下构图且在图3A所示的构图掩模101是强度从下侧逐步变化的掩模。另外，构图掩模101是强度从强变弱的掩模。用于左/右构图且在图3B所示的构图掩模102是强度从右侧逐步变化的掩模。另外，构图掩模102是强度从强变弱的掩模。另外，用于中/外构图且在图3C所示的构图掩模103是强度从中心向左侧和右侧各自逐步变化的掩模。另外，构图掩模103是强度从强变弱的掩模。

依据输入图像来设定构图掩模101至103各自的强度变化程度。这方面将在下面参考图4A至4C说明。尽管在参考图4A至4C进行说明的说明之中和之后，是通过举例上/下构图进行的说明，但该说明也适用于左/右构图和中/外构图中的每一种。

图4A所示的构图掩模101-1是强度均匀变化，使得强度从画面中的下侧到上侧连续减弱的掩模。尽管构图掩模101-1对应具有上/下构图的图像，但构图掩模101-1也适用于在画面上侧部52和画面下侧部53之间不存在清晰的边界线的图像（参考图2A）。

图4B所示的构图掩模101-2是强度变化，使得强度从画面的下侧到上侧减弱的掩模。然而，构图掩模101-2是强度以线L1为边界急剧变化的掩模。此外，图4C所示的构图掩模101-3是强度均匀变化，使得画面中强度从下侧到上侧连续减弱的掩模。然而，构图掩模101-3是强度以线L2为边界急剧变化的掩模。

要注意的是，尽管在这种情况下，在假定强度以线为边界急剧变化的情况下继续进行说明，但强度被设置为使得强度于分别在该线之前和之后具有一定程度的宽度的区域内急剧变化，因此不意味着以线为边界设置完全不同的强度。

尽管构图掩模101-2和构图掩模101-3分别是强度以线L1和线L2为边界急剧改变的构图掩模，但线L1和线L2的位置彼此不同。线L1和线L2是作为处理对象的图像适于清楚地分离为画面上侧部52和画面下侧部53的图像的情况下的线，并且还是检测到画面上侧部52和画面下侧部53之间的边界线的情况下的线。

也就是说，图4B所示的构图掩模101-2是从适于用沿水平方向由线L1组成的线分离为上侧和下侧的图像产生的掩模。同样，图4C所示的构图掩模101-3是从适于用沿水平方向由线L2组成的线分离为上侧和下侧的图像产生的掩模。

如上所述，在构图检测部21（参考图1）中，检测作为处理对象的图像被检测为上/下构图、左/右构图还是中/外构图。另外，在作为处理对象的图像的检测中，例如在作为处理对象的图像被检测为具有上/下构图的情况下，进一步检测水平线。

此外，在作为处理对象的图像被检测为具有左/右构图的情况下，检测使画面左侧部62和画面右侧部63彼此分离的、沿垂直方向的线。另外，在作为处理对象的图像被检测为具有中/外构图的情况下，检测如下2条线：使画面外侧部72和画面中部73彼此分离的、沿垂直方向的线、以及使画面中部73和画面外侧部74彼此分离的、沿垂直方向的线。以这种方式，检测适于对应构图的线。

然而，每个掩模中强度的变化程度根据可靠性而改变。下面参考图5针对构图掩模进行描述，每个构图掩模中强度的变化程度根据可靠性而改变。可靠性包含正确检测构图的可靠性、和正确估计线的可靠性。

当可靠性高时，像图5的右侧所示的构图掩模101D那样，强度基于已被检测到的构图和线而改变。在这种情况下，构图掩模101D作为构图掩模，使得最大强度与最小强度之间的差异变大。也就是说，如果可靠性高，那么所应用的构图掩模使得在下一阶段的图像处理时强烈反映该构图掩模的影响。

另一方面，当可靠性低时，强度不基于已被检测到的构图和线而改变。在这种情况下，掩模101A被作为这样一种构图掩模，其中最大强度与最小强度之间的差异相对于强度设定为零。也就是说，如果可靠性低，那么所应用的构图掩模使得在下一阶段的图像处理时不反映该构图掩模的影响。

要注意的是，当针对图像没有检测到构图时，由于可靠性被处理为低，所以图5所示的构图掩模101A被用作构图掩模。此处，针对图像没有检测到构图的情况代表的情况是，针对图像没有检测到图3A至3C分别示出的三种构图掩模（即上/下构图、左/右构图和中/外构图）中的任何一种。当其他构图也各自作为检测对象时，如果包含这些构图在内的任何构图已被检测到，那么确定已针对图像检测到构图。另一方面，如果没有检测到包含这些构图在内的构图中的任何一种，那么确定针对图像没有检测到构图。

图5的中央所示的构图掩模101B和构图掩模101C分别是设定了与可靠性对应的强度（强度之间的差异）的掩模。例如，当可靠性是100时，使用构图掩模101D，因此，使用最大强度与最小强度之间的差异被设定为100的掩模。另一方面，当可靠性是0时，使用构图掩模101A，因此，使用最大强度与最小强度之间的差异设定为0的掩模。

此外，例如，当可靠性是40时，使用构图掩模101B，因此，使用最大强度与最小强度之间的差异设定为40的掩模。另外，当可靠性是80时，使用构图掩模101C，因此，使用最大强度与最小强度之间的差异设定为80的掩模。

以这种方式，可以根据可靠性来设定构图掩模中强度的最大值和最小值。也就是说，在这种情况下，最大强度设定为恒定值，最小值设定为使得最小强度随着构图可靠性变低而接近最大强度。在该情况下，例如，还可以采用一种过程，使得产生这样一种构图掩模，在该掩膜中，强度的最小值被设定，强度在这样设定的最小值与设定为恒定值的最大值之间的强度的范围内变化。要注意的是，该基于可靠性设定强度仅仅是示例，因此还可以基于可靠性与任何其他适当因素相关地设定强度。

可靠性例如从经由二分法获得的平坦程度、频带、幅度、或者2个颜色信息之间的差异获得。构图可靠性对于因为差异大所以构图估计可以清楚进行的图像设定为高。另一方面，构图可靠性对于因为差异小所以构图估计不可靠的图像设定为低。构图可靠性可以设定在0至100%的数值。

作为特殊的情况，当需要尽管差异大，但不使可靠性高时，使构图可靠性低。例如，当确定为尽管在上/下比较中差异大，但图像是在上侧部也有很多纹理和边缘的图像，构图可靠性设定为低。

此外，作为特殊的情况，当需要尽管差异小，但使可靠性高时，使构图可靠性高。例如，当确定为尽管在上/下构图中差异小，但构图是上侧部有蓝色天空的风景构图，构图可靠性设定为高。

要注意的是，如何设定构图可靠性仅仅是示例，因此构图可靠性还可以通过利用任何其他适当设定方法来设定。

如上所述，在构图检测部21中检测构图，并由构图掩模产生部22产生对应于检测到的构图的构图掩模。

3.平坦掩模、前景掩模、背景掩模和构图适应性掩模

接下来，现在参考图6，对于在平坦掩模产生部24中产生的平坦掩模（参考图1），在前景掩模产生部25中产生的前景掩模，在背景掩模产生部23中产生的背景掩模，在构图适应性掩模产生部26中产生的构图适应性掩模进行说明。

如图6所示，图像51被提供至构图检测部21、平坦掩模产生部24、以及前景掩模产生部25中的每一个，首先，以如上所述的方式由构图检测部21和构图掩模产生部22这两者检测构图，因而产生构图掩模101。在这种情况下，基于以下假定继续进行说明：检测到上/下构图并产生了强度沿线L1急剧变化的构图掩模101。

平坦掩模产生部24产生平坦掩模201，用于在图像处理时（例如当执行噪声降低处理时）抑制平坦部分的噪声。平坦部分是例如存在于图6的平坦掩模201上部的空的部分，也是亮度等变化较小的部分。该部分是像素值大致均一且图像中边缘的数量较小的部分。

前景掩模产生部25产生用于强调边缘和纹理的前景掩模401。边缘部分例如是图6所示的前景掩模401中建筑与天空之间的边界部分。尽管前景掩模401是用于强调边缘和纹理的掩模，但前景掩模401是完全不强调蚊式噪声的掩模。

平坦掩模产生部24和前景掩模产生部25基于平坦程度、频带、幅度、颜色信息等，产生平坦掩模201或者前景掩模401。

背景产生部23将构图掩模产生部22中产生的构图掩模101、与在平坦掩模产生部24中产生的平坦掩模201合成，因而产生背景掩模301。例如通过获得构图掩模101和平坦掩模201的最小值（Min）来进行该合成。要注意的是，尽管假定在通过获得最小值（Min）并在层方面彼此叠加最小值（Min）来实现这种情况下的合成的假设而继续进行说明，但该还可以基于2个掩模的加权平均或者加权相加来实现合成。

这样产生的背景掩模301是不强调模糊部分，但是强调附近侧的掩模，因而，增强深度感和立体效果。

构图适应性掩模产生部26将背景掩模产生部23中产生的背景掩模301与前景掩模产生部25中产生的前景掩模401合成，因而产生构图适应性掩模501。例如通过获得背景掩模301和前景掩模401的最大值（Max）来进行该合成。要注意的是，尽管假定在通过获得最大值（Max），并在层方面彼此叠加最大值（Max）来实现这种情况下的合成而继续进行说明，但该合成还可以基于2个掩模的加权平均或者加权相加来实现。

在构图适应性掩模产生部26中产生的构图适应性掩模501被提供至图像处理部27。

要注意的是，基于以下假定来进行说明：合成构图掩模101和平坦掩模201以产生背景掩模301，这样产生的背景掩模301和前景掩模401被进一步合成以产生构图适应性掩模501。然而，要合成的掩模的组合、合成的顺序、如何进行合成等绝不限于这些组合、顺序、以及如何进行合成。

例如，还可以采用如下过程：获得构图掩模101和前景掩模401的最大值（Max），因而进行合成，然后通过执行从合成的掩模减去平坦掩模201的处理来产生对应于构图适应性掩模501的最终掩模。此外，例如还可以采用如下过程：获得平坦掩模201和前景掩模401的最小值（Min），因而进行合成，然后通过获得构图掩模101与合成的掩模之间的平均值来产生对应于构图适应性掩模501的最终掩模。

以如上所述的方式，多张掩模被合成以产生一张掩模，即这种情况下的构图适应性掩模501，由此该掩模具有多张掩模的优点。另外，在图像处理中可以使用该掩模。

在图像处理部27执行的图像处理中，用于对每个像素的超分辨率处理和增强处理的强度控制是通过使用采用了构图信息的构图适应性掩模501进行的。另外，执行处理以改善S/N比、深度感和立体效果。

此外，控制的对象还可以设定为将在下面说明的处理。

对于S/N比提升、深度感和立体效果提升有效的图像处理可以通过改变强度来执行，类似于用于对每个像素的超分辨率和增强的强度控制的情况，从而：

（i）基于用于噪声降低（NR）的强度设定，改善S/N比的处理；

（ii）基于对比度处理，改善深度感和立体效果的处理；以及

（iii）基于颜色校正（色差、饱和度），改善深度感和立体效果的处理。

在执行这种图像处理时，控制哪些像素以多大强度执行处理的信息是构图适应性掩模501。因此，构图掩模101、平坦掩模201、前景掩模301、背景掩模401和构图适应性掩模501分别是控制用于图像处理的强度的五条信息。

因此，即使通过使用一张掩模执行了图像处理，由于掩模自身是控制用于图像处理的强度的信息，因此图像处理能够以对应于所关注的掩模的强度执行。实施例的图像处理装置11中的掩模是以该方式控制用于图像处理的强度的信息。因此，尽管在形式不是掩模的形式时，也可以适用本公开的技术，只要除了掩模以外的形式对应于控制用于图像处理的强度的信息。

4.图像处理装置的操作

现在参考图7和8的流程图，详细说明图1所示的图像处理装置11的操作。首先，参考图7所示的流程图，说明在图像处理装置11中执行的掩模产生处理。

在步骤S11的处理中，执行构图掩模产生处理。构图检测部21和构图掩模产生部22这两者以参考图8的流程图说明的方式执行构图掩模产生处理。首先，下面继续说明图7所示的流程图。

在步骤S12的处理中，产生平坦掩模201。平坦掩模201由平坦掩模产生部24产生。如上参考图6所述，平坦掩模产生部24基于平坦程度、频带、幅度、颜色信息等，产生平坦掩模。

在步骤S13的处理中，产生前景掩模401。前景掩模401由前景掩模产生部25产生。如上参考图6所述，前景掩模产生部25基于平坦程度、频带、幅度、颜色信息等，产生前景掩模401。

在步骤S14中的处理中，产生背景掩模301。背景掩模301由背景掩模产生部23产生。如上参考图6所述，背景掩模产生部23获得构图掩模101和平坦掩模201的最小值（Min）以将构图掩模101和平坦掩模201合成，因而产生背景掩模301。

在步骤S15的处理中，产生构图适应性掩模501。构图适应性掩模501由构图适应性掩模产生部26产生。如上参考图6所述，构图适应性掩模产生部26获得背景掩模301和前景掩模401的最大值（Max）以将背景掩模301和前景掩模401合成，因而产生构图适应性掩模501。

以该方式产生的构图适应性掩模501被提供至图像处理部27。另外，对与输入图像对应的数据执行对应于由构图适应性掩模501设定的级别的图像处理，结果数据然后在下一阶段输出至处理部（未示出）。

现在参考图8，说明图7所示的流程图的步骤S11的处理中执行的构图掩模产生处理。在步骤S31的处理中，构图检测部21估计（检测）向其输入的图像的构图。画面被分割为2个部分，根据平坦程度、频带、幅度和颜色信息，估计画面的粗略构图（图2所示的上/下构图、左/右构图或者中/外构图），因而进行输入图像的构图的估计。要注意的是，当任何构图都不可用时，进行设定使得就整个表面构图方面不应用任何构图掩模。

在步骤S32的处理中，计算构图可靠性。用于构图可靠性的计算可以在构图检测部21和构图掩模产生部22中的任何一个中进行。根据经由二分法获得的平坦程度、频带、幅度、2条颜色信息之间的差异，获得0至100%的构图可靠性。对于每个差异较大因此构图估计可以清楚进行的图像而言，构图可靠性设定为高。另一方面，对于每个差异较小因此构图估计不可靠的图像而言，构图可靠性设定为低。

在步骤S33的处理中，构图掩模101由构图掩模产生部22产生。如上参考图2A-2C至图5所述，构图掩模101例如产生为均匀地抑制超分辨率和增强的强度的掩模。此外，抑制的强度根据步骤S32中的处理获得的构图可靠性的计算的结果而改变。例如，当构图可靠性设定为低时，产生没有执行抑制处理、或者仅执行弱抑制处理的构图掩模101。

此外，还可以产生构图掩模101，使得如上参考图4A至4C所述，基于平坦程度、频带和幅度检测水平线，抑制从含有该水平线的部分突然提高，由此可以进一步改善S/N比、深度感和立体效果。关于该处理，也类似于构图可靠性的情况，可以获得使构图掩模中抑制的强度较陡的可靠性，因此可以改变使构图掩模中抑制的强度较陡的强烈程度。

该处理可以根据需要执行，因而产生构图掩模101。

在步骤S34的处理中，由构图掩模产生部22执行稳定处理。由于运动图像响应或者构图检测结果的变化，构图掩模101可能突然改变。当构图掩模101突然改变时，出于防止构图掩模101随着该改变突然改变的目的，通过执行无限脉冲响应（IIR）处理，进行时间常数控制使得缓慢执行该改变达到目标的构图掩模101，因而实现稳定性。

通过执行该处理，构图掩模101被产生然后被提供给背景掩模产生部23。之后，操作前进至步骤S12中的处理。另外，通过执行如上所述的预定的各个处理，构图适应性掩模501被产生然后被提供给图像处理部27。

按照如上所述的方式，利用本公开的技术，使用了通过获得基于构图检测产生的构图掩模101和平坦掩模201的最小值而获得的掩模。因此，对于部分画面（在诸如风景的画面上侧）可以甚至抑制（去除）无法通过噪声降低去除的噪声，例如甚至无法由用于压缩变形的随机噪声降低、或者MPEG噪声降低去除的噪声等，或者甚至无法由平坦掩模抑制的噪声。

例如，在诸如像图6所示的图像51那样的风景的画面上侧的部分画面中有很多平坦部分，该部中的随机噪声、蚊式噪声、构图变形等非常明显，因此视觉上会被观看者看到。然而，通过使用平坦掩模201，可以进行针对该平坦部分强烈进行噪声去除的控制。此外，通过使用构图掩模101，可以进行剧烈执行针对这种平坦部分的处理的控制。作为结果，可以去除噪声，因而改善S/N比。

此外，利用本公开的技术，使用的掩模是通过获得基于构图检测产生的构图掩模101和平坦掩模201的最小值而获得的。因此，可以防止强调构图中的失焦部分（模糊部分），使得景深较浅。

例如，当超分辨率和增强被强烈应用于象图2B所示的图像61那样的失焦部分（模糊部分）时，削弱了深度感和立体效果这两者，另外使色阶恶化。作为结果，质量等级变得更差。然而，可以按照下列方式进行控制，该方式通过使用构图掩模102（参考图2B）使得防止超分辨率和增强被强烈应用于失焦部分（模糊部分）。

例如，当图2B所示的图像61作为处理的对象时，图像61被确定为具有左/右构图。因此，产生构图掩模102，其中按照以下方式把强度设定为弱，使得防止超分辨率和增强被强烈应用于与图像61的失焦的背景部分对应的画面左侧部62。因此，通过使用这样的构图掩模102来进行超分辨率和增强，由此可以执行图像处理，使得防止失焦部分的深度感和立体效果被削弱。

此外，使用通过向背景掩模301增加前景掩模401而获得的掩模。因此，即使当构图掩模101是使得抑制被均匀提高的掩模时，也可以防止无法强调前景的边缘和纹理的情形。换言之，要强调的边缘和纹理被强调，由此可以防止图像成为通过执行图像处理给观看者带来整个图像模糊的印象的图像的情形。

例如，边缘和纹理这两者都存在于图2A所示的图像51的风景的部分（诸如建筑等）中。然而在这种情况下，针对每个像素使用前景掩模401，以仅强调边缘和纹理，结果是蚊式噪声和振铃效应（ringing）没有被强调，处理边界不被观看到，因此可以实现与在对象单元中产生的掩模中的效果相同的效果。

此外，利用本公开的技术，可以抑制噪声和失焦部分这两者，它们在风景等的画面的上侧的平坦部分中是明显的。在现有图像质量调整下，该部分中的噪声强调和阶调（gradation）恶化明显。因此，可以仅整体地减弱超分辨率和增强的强度，或者仅通过模糊整个屏幕采取措施以使噪声不明显。然而根据本公开的技术，由于超分辨率和增强的强度可以在考虑到构图的情况下部分地、最佳地受到控制，所以超分辨率和增强的效果可以进一步提高以供使用。

如上所述，利用本公开的技术，构图掩模101是一种粗略的构图掩模，其把握整个画面的特征，使得当例如像风景等的上侧那样具有上/下构图（比如远景）时，由于画面的区域位于上侧，从而均匀地提高了抑制。由于仅需要做出该构图掩模101，因此可以获得鲁棒（robust）的效果。

例如，对于构图的检测而言，当试着做出依据每个区域的频率信息而控制的精细的构图掩模时，也许无法在整个画面上采取构图信息，或者使得处理边界可见。因此，鲁棒性质降低。然而，如上所述，根据本公开的技术，可以获得鲁棒效果。

5.记录介质

上述一系列处理可以通过硬件或者软件执行。当由软件执行一系列处理时，构成软件的程序安装在计算机中。此处，计算机例如包含整合在专用的硬件中的计算机、以及可以通过在其中安装各种类型的程序来执行各种类型的功能的通用个人计算机。

图9是示出用于依据程序执行上述一系列处理的计算机的硬件配置的示例的框图。在计算机中，中央处理单元（CPU）1001、只读存储器（ROM）1002和随机存取存储器（RAM）1003彼此经由总线1004连接。输入/输出接口1005被进一步连接至总线1004。输入部1006、输出部1007、存储部1008、通信部1009和驱动器1010连接至输入/输出接口1005。

输入部1006的组成包括键盘、鼠标、麦克风等。输出部1007的组成包括显示器设备、扬声器等。存储部1008的组成包括硬盘、非易失性存储器等。通信部1009的组成包括网络接口等。驱动器1010驱动可移动介质1011，诸如磁盘、光盘、磁光盘、或者半导体存储器。

利用以如上所述方式配置的计算机，为了执行程序，例如CPU1001将存储在存储部1008中的程序经由输入/输出接口1005和总线1004载入RAM1003，因而执行上述一系列处理。

计算机（CPU1001）执行的程序例如可以记录在作为提供的封装介质等的可移动介质1011中。此外，程序可以经由有线或者无线传输介质诸如局域网（LAN）、互联网、或者数字卫星广播提供。

在计算机中，程序可以通过将可移动介质1011装载至驱动器1010，经由输入/输出接口1005安装在存储部1008中。此外，程序可以经由有线或者无线传输介质由通信部1009接收，以安装在存储部1008。此外，程序可以之前安装在ROM1002或者存储部1008中。

要注意的是，计算机执行的程序可以是以时间序列方式按照说明书中描述的顺序执行预定处理的程序，或者可以是并行执行或者在需要的定时（诸如当作出调用时）执行预定处理的程序。

在该说明书中，系统意味着由多个设备或者单元组成的整个仪器。

要注意的是，本公开的实施例绝不限于上述实施例，在没有脱离本公开的主题的范围内，可以做出各种类型的改变。

要注意的是，本公开的技术还可以采用下面的构成。

（1）一种图像处理装置，包括：

检测部，检测输入图像的构图；

第一产生部，产生第一信息，其中所述第一信息控制基于由所述检测部检测的构图的图像处理的强度；

第二产生部，检测输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中所述第二信息控制对所述平坦部分的图像处理的强度；

第三产生部，检测输入图像的前景部分，以及产生第三信息，其中所述第三信息控制对所述前景部分的图像处理的强度；以及

图像处理部，依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

（2）在段落（1）中说明的图像处理装置，还包含：

第四产生部，把第一信息和第二信息合成，从而产生第四信息；以及

第五产生部，把第三信息和第四信息合成，从而产生第五信息，

其中，所述图像处理部依据基于第五信息的强度执行图像处理。

（3）在段落（1）中说明的图像处理装置，还包含：

第四产生部，通过获得第一信息和第二信息的最小值来把第一信息和第二信息合成，从而产生第四信息；以及

第五产生部，通过获得第三信息和第四信息的最大值来把第三信息和第四信息合成，从而产生第五信息，

其中，所述图像处理部依据基于第五信息的强度执行图像处理。

（4）在任何一个段落（1）至（3）中说明的图像处理装置，其中，所述第一产生部基于由所述检测部检测的构图的可靠性来设定依据第一信息控制的图像处理的强度的最大值和最小值，从而产生落入所设定的强度的范围内的第一信息。

（5）在任何一个段落（1）至（4）中说明的图像处理装置，其中，当基于由所述检测部检测到的构图将输入图像分割为多个部分时，所述第一产生部检测成为分割的边界的线，并且产生使强度以线为边界急剧变化的第一信息。

（6）在任何一个段落（1）至（5）中说明的图像处理装置，其中，所述图像处理部执行的图像处理是以下处理的至少一种：超分辨率处理、增强处理、噪声降低处理、信噪比改善处理、以及深度感和立体效果改善处理。

（7）一种用于图像处理装置对输入图像执行图像处理的图像处理方法，所述方法包括：

检测输入图像的构图；

产生第一信息，其中第一信息控制基于所检测的构图的图像处理的强度；

检测输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中第二信息控制对所述平坦部分的图像处理的强度；

检测输入图像的前景部分，以及产生第三信息，其中依据第三信息控制对所述前景部分的图像处理的强度；以及

依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

（8）一种程序，控制使输入图像经历图像处理的图像处理装置的计算机依据所述程序执行处理，包括：

检测输入图像的构图；

产生第一信息，其中第一信息控制基于所检测的构图的图像处理的强度；

检测输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中第二信息控制对所述平坦部分的图像处理的强度；

检测输入图像的前景部分，以及产生第三信息，其中第三信息控制对所述前景部分的图像处理的强度；以及

依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

本公开含有2012年6月22日向日本专利局提交的日本优先权专利申请日本2012-140387中公开的相关素材，其整个内容并入本文作参考。

Claims (8)

1.一种图像处理装置，包括：

检测部，检测输入图像的构图；

第一产生部，产生第一信息，其中所述第一信息控制基于由所述检测部检测的构图的图像处理的强度；

第二产生部，检测输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中所述第二信息控制对所述平坦部分的图像处理的强度；

第三产生部，检测输入图像的前景部分，以及产生第三信息，其中所述第三信息控制对所述前景部分的图像处理的强度；以及

图像处理部，依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

2.根据权利要求1的图像处理装置，还包括：

第四产生部，把第一信息和第二信息合成，从而产生第四信息；以及

第五产生部，把第三信息和第四信息合成，从而产生第五信息，

其中，所述图像处理部依据基于第五信息的强度执行图像处理。

3.根据权利要求1的图像处理装置，还包括：

第四产生部，通过获得第一信息和第二信息的最小值来把第一信息和第二信息合成，从而产生第四信息；以及

第五产生部，通过获得第三信息和第四信息的最大值来把第三信息和第四信息合成，从而产生第五信息，

其中，所述图像处理部依据基于第五信息的强度执行图像处理。

4.根据权利要求1的图像处理装置，其中，所述第一产生部基于由所述检测部检测的构图的可靠性来设定依据第一信息控制的图像处理的强度的最大值和最小值，从而产生落入所设定的强度的范围内的第一信息。

5.根据权利要求1的图像处理装置，其中，当基于由所述检测部检测到的构图将输入图像分割为多个部分时，所述第一产生部检测成为分割的边界的线，并且产生使强度以线为边界急剧变化的第一信息。

6.根据权利要求1的图像处理装置，其中，所述图像处理部执行的图像处理是以下处理的至少一种：超分辨率处理、增强处理、噪声降低处理、信噪比改善处理、以及深度感和立体效果改善处理。

7.一种用于图像处理装置对输入图像执行图像处理的图像处理方法，所述方法包括：

检测输入图像的构图；

产生第一信息，其中第一信息控制基于所检测的构图的图像处理的强度；

检测输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中第二信息控制对所述平坦部分的图像处理的强度；

检测输入图像的前景部分，以及产生第三信息，其中依据第三信息控制对所述前景部分的图像处理的强度；以及

依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

8.一种程序，依据所述程序使控制对输入图像进行图像处理的图像处理装置的计算机执行处理，包括：

检测输入图像的构图；

产生第一信息，其中第一信息控制基于所检测的构图的图像处理的强度；

检测输入图像的像素值的变化小的平坦部分，以及产生第二信息，其中第二信息控制对所述平坦部分的图像处理的强度；

检测输入图像的前景部分，以及产生第三信息，其中第三信息控制对所述前景部分的图像处理的强度；以及

依据基于第一信息、第二信息和第三信息的强度，执行图像处理。

Images