CN101543041B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理装置、一种图像处理方法、一种图像处理方法的程序以及具有记录在其上的图像处理方法的程序的一种记录介质，并且本发明适用于例如显示装置，并且与过去相比改善了细节的纹理。本发明从输入图像(S1)提取纹理成分(S4)，减少纹理成分(S4)以生成细微纹理成分(S3)，并且执行该细微纹理成分(S3)和输入图像(S1)的图像组合。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及一种图像处理装置、一种图像处理方法、一种图像处理方法的程序以及具有记录在其上的图像处理方法的程序的一种记录介质，并且适用于例如显示装置。本发明通过从输入图像提取纹理成分、减少纹理成分以生成细微纹理成分、以及执行该细微纹理成分和输入图像的图像组合，与过去相比改善了细节的纹理。

背景技术

迄今为止，在诸如显示装置的各种视频图像装置中，已经提出通过增强包括在亮度信号中的高频成分、边缘成分等来改善图像质量的各种方法。例如，在日本未审专利申请公开号8-56316中提出了阻止噪声的增加并且增强对比度的方法。

然而在这些常规的技术中，存在尽管显示图像的鲜艳度等能够增加，但是不能改善如草、花、树叶以及岩石表面的细节的纹理的问题。

特别地，当基于SDTV(标准清晰度电视)系统的视频信号通过执行缩放而格式转换成基于HDTV(高清晰度电视)系统的视频信号时，诸如草、花、树叶、以及岩石表面的这些细节的纹理丢失。常规的技术存在不能改善这些细节的纹理的问题。

专利引用1：日本未审专利申请公开号8-56316

发明内容

技术问题

已经考虑到前述的观点而做出本发明，本发明提供了能够改善细节的纹理的一种图像处理装置、一种图像处理方法、一种图像处理方法的程序以及具有记录在其上的图像处理方法的程序的一种记录介质。

为解决上述的问题，本发明权利要求1适用于一种图像处理装置，包括：纹理提取单元，其从输入图像提取纹理成分；细微纹理生成单元，其对通过分割输入图像形成的每个块，通过减少每个块的纹理成分生成基本块，并且重复地在块中排列基本块，从而生成细微纹理成分，其中纹理成分的空间频率已经增加；混合单元，其执行细微纹理成分和输入图像的图像组合；以及纹理增加量控制单元，其在混合单元中设置图像组合比。

另外，本发明权利要求2适用于一种图像处理方法，包括：纹理提取步骤，从输入图像提取纹理成分；细微纹理生成步骤，对通过分割输入图像形成的每个块，通过减少每个块的纹理成分生成基本块，并且重复地在块中排列基本块，从而生成细微纹理成分，其中纹理成分的空间频率已经增加；混合步骤，执行细微纹理成分和输入图像的图像组合；以及纹理增加量控制步骤，在混合步骤中设置图像组合比。

另外，本发明权利要求13适用于一种图像处理方法的程序，包括：纹理提取步骤，从输入图像提取纹理成分；细微纹理生成步骤，对通过分割输入图像形成的每个块，通过减少包括纹理成分的块生成基本块，并且重复地在块中排列基本块，从而生成细微纹理成分，其中纹理成分的空间频率已经增加；混合步骤，执行细微纹理成分和输入图像的图像组合；以及纹理增加量控制步骤，在混合步骤中设置图像组合比。

另外，权利要求14适用于具有记录在其上的图像处理方法的程序的一种记录介质。该程序包括：纹理提取步骤，从输入图像提取纹理成分；细微纹理生成步骤，对通过分割输入图像形成的每个块，通过减少包括纹理成分的块生成基本块，并且重复地在块中排列基本块，从而生成细微纹理成分，其中纹理成分的空间频率已经增加；混合步骤，执行细微纹理成分和输入图像的图像组合；以及纹理增加量控制步骤，在混合步骤中设置图像组合比。

使用权利要求1、权利要求2、权利要求13、或者权利要求14的结构，通过减少包括从输入图像提取的纹理成分的块来生成基本块。在原始块中重复地排列该基本块以生成细微纹理成分。在该细微纹理成分和输入图像上执行图像组合以生成输出图像。这能够增加由于纹理成分的空间频率，并且改善了细节的纹理。另外，使用图像组合比的设置，在边缘等中的不便的处理能够被避免。

根据本发明，能够改善细节的纹理。

附图说明

图1是示出本发明的实施例的视频信号处理装置的方框图。

图2是示出图1中的细微纹理生成单元的方框图。

图3包括提供来描述图2中的平铺(tiling)单元的操作的示意图。

图4是示出图2中的差别扩散单元中的误差滤波器的示意图。

图5是提供来描述图2中的差别扩散单元的操作的示意图。

图6是提供来描述图1中的峰值抑制单元的示意图。

图7是示出图1中的纹理增加量控制单元的方框图。

图8是示出图7中的波动增益计算单元的方框图。

图9是提供来描述图8中的波动增益计算单元的操作的特性曲线图。

图10是提供来描述图7中的梯度分析单元的操作的示意图。

图11是提供来给出从图10继续的描述的示意图。

图12是提供来描述图7中的纹理度计算单元的操作的示意图。

图13是提供来给出从图12继续的描述的示意图。

图14是提供来描述图7中的边缘分析单元的操作的示意图。

图15是提供来给出从图14继续的描述的示意图。

图16是提供来描述图7中的活度分析单元的操作的示意图。

图17是提供来给出从图16继续的描述的示意图。

图18是提供来描述图7中的活度比分析单元的操作的示意图。

参照的解释：

1：视频信号处理装置，2：纹理生成单元，3：纹理提取单元，4、21：低通滤波器，5、12、22：减法电路，6：细微纹理生成单元，7、27、28、31：平铺单元，8：不均匀性减少单元，9：差别扩散单元，10：减法单元，11：误差滤波器，15：纹理组合单元，16：纹理增加量控制单元，17：混合单元，18：峰值检测单元，19：峰值抑制单元，20：波动增益计算单元，23：增益设置单元，25：梯度分析单元，26：纹理度计算单元，29：边缘分析单元，30：活度计算单元，32：活度分析单元，33：活度比计算单元，34：活度比分析单元，35：乘法电路

具体实施方式

此后，将根据需要参照附图描述本发明的各实施例。

实施例1

(1)实施例的结构

图1是示出本发明的实施例的图像处理装置的方框图。该视频信号处理装置1包含在诸如显示装置的各种图像装置中，改善基于输入视频信号S1输入图像的图像质量，并且输出了输出视频信号S2。注意在此后，描述的是具有该视频信号处理装置1的1个处理信道，并且只有输入视频信号S1的亮度信号要由该视频信号处理装置1处理。然而，具有该图像处理装置的处理可以包括3个处理信道，并且亮度信号和色度信号的处理可以在独立的信道上执行。或者，构成原色的颜色信号和补色的颜色信号的各个颜色信号的处理可以在各个信道上执行。

此处在该实施例中，视频信号处理装置1配置为具有处理器，其通过执行预定的程序来处理输入视频信号S1。在该实施例中，该程序通过提前安装来提供。然而替代地，该程序可以通过将其记录在诸如光盘、磁盘或者存储卡的记录介质上来提供，或者该程序可以通过经由诸如因特网的网络下载来提供。或者，视频信号处理装置1可以配置为具有硬件。

该视频信号处理装置1在诸如草、花、树叶、或者岩石表面的背景、前景等的均匀部分中，从输入视频信号S1提取详细的结构成分(此后称为纹理成分)。视频信号处理装置1减少该提取的纹理成分以生成具有更高空间频率的细微纹理成分S3。另外，视频信号处理装置1执行图像组合，以便将该细微纹理成分S3粘贴到原始的输入视频信号S1，从而改善输入视频信号S1的细节的纹理，并且输出基于输出视频信号S2的输出图像。注意在此处，作为该详细的结构成分的纹理成分是关于大规模的结构信号成分的相对成分，其表现了视频图像的每个部分的特性。因此，频带根据要处理的输入视频信号而变得不同、并且在基于输入视频信号的视频图像的每个部分中更加不同。然而在该实施例中，通过使用具有固定的特性的滤波器从输入视频信号提取高频成分，从输入视频信号提取纹理成分。

因此，在视频信号处理装置1中，纹理生成单元2通过从输入视频信号S1提取高频成分来提取纹理成分，并且通过减少该提取的纹理成分生成细微纹理成分S3。也就是说，在纹理生成单元2中，纹理提取单元3将输入视频信号S1输入到二维的低通滤波器(LPF)4中，在此从输入视频信号S1提取低频成分。纹理提取单元3用减法电路5从输入视频信号S1减去该低频成分，以从输入视频信号S1提取纹理成分S4。

细微纹理生成单元6减少该纹理成分S4以生成细微纹理成分。也就是说，如图2中所示，在细微纹理生成单元6中，平铺单元7对通过分割输入图像形成的每个块，减少每个块的纹理成分，以形成基本块。另外，该基本块在原始块中重新排列，从而减少了纹理成分S4，以生成细微纹理成分S5。

更具体地，例如如图3(A)中所示，平铺单元7对纹理成分S4设置具有水平方向中的8×2个像素和垂直方向中的8×2个像素的块BL。注意组成1个块BL的像素数目能够根据需要而进行各种设置。另外，前述不限于将输入图像平均分割的情况。例如，分割的尺寸可以根据输入视频信号S1的均匀度等而变化。注意在分割的尺寸根据例如均匀度而变化的情况下，该部分越均匀，块的尺寸就越大。另外，当用具有亮度信号和色度信号等的3个信道执行处理时，块BL的位置可以基于逐一信道而偏移，使得边界在每个信道中不与块BL重叠。

平铺单元7对每个块BL剪掉块BL的中央部分BLA，并且如图3(B)中所示，通过执行缩放减少该剪掉部分BLA以形成基本块BBL。根据输入视频信号S1的均匀度或者纹理成分S4的均匀度，平铺单元7改变该剪掉部分BLA的尺寸，从而改善图像质量。具体地，均匀度越高，剪掉部分BLA就越大。注意在图3(B)中的该实例中，16像素×16像素块BL的中央部分、具有水平方向中和垂直方向中的8×n/d像素的部分BLA被剪掉。该剪掉部分BLA被缩放，以生成8像素×8像素的基本块BBL。

如图3(C)中所示，平铺单元7将该基本块BBL重新排列在对应的原始块BL中，从而生成细微纹理成分S5。

不均匀性减少单元8(图2)减少了细微纹理成分S5之间的不均匀性，并且输出细微纹理成分S6。此处如同通过图3(D)中阴影部分所指示，不均匀性减少单元8只在邻近基本块BBL的边界的像素上基于低通滤波器的特性执行滤波处理，从而尽可能多地减少高频成分的劣化，并且减少块边界中的不均匀性。具体地，注意对只邻近在水平方向延伸的边界的像素(其由附图标记G1所示)使用垂直方向的低通滤波器来执行滤波处理，该低通滤波器的抽头(tap)系数是1、2和1。另外，对只邻近在垂直方向延伸的边界的像素(其由附图标记G2所示)使用水平方向的低通滤波器来执行滤波处理，该低通滤波器的抽头系数是1、2和1。另外，对在邻近垂直方向和水平方向延伸的边界的像素(其由附图标记G3所示)使用水平方向和垂直方向的低通滤波器来执行滤波处理，该低通滤波器的权重系数是1、2和1。

差别扩散单元9将从该不均匀性减少单元8输出的细微纹理成分S6和原始的纹理成分S4之间的差别值扩散到外围像素中，从而生成细微纹理成分S7。也就是说，在差别扩散单元9中，减法单元10从不均匀性减少单元8输出的细微纹理成分S6减去原始纹理成分S4，从而计算由以下等式指示的差别err。注意在此处，g(i，j)是在位置(i，j)处目标像素的纹理成分S4的值，而f(i，j)是从不均匀性减少单元8输出的细微纹理成分S6的值。

等式1：

err＝f(i，j)-g(i，j)                ..........(1)

差别扩散单元9将该差别err输入到Floyd & Steinberg的误差滤波器11中，其具有图4中示出的特性。在减法电路12中，从不均匀性减少单元8输出的细微纹理成分S6减去该误差滤波器11的输出。因此，差别扩散单元9将差别err扩散到外围像素中，如由以下等式所指示的。注意用于扩散差别值的该滤波器不限于Floyd & Steinberg滤波器，而是各种滤波器可适用。

等式2：

f(i+1，j)＝f(i+1，j)-7/16×err

f(i-1，j+1)＝f(i-1，j+1)-3/16×err

f(i，j+1)＝f(i，j+1)-5/16×err

f(i+1，j+1)＝f(i+1，j+1)-1/16×err  ..........(2)

注意在此处，左边部分f(i+1，j)、f(i-1，j+1)、f(i，j+1)和f(i+1，j+1)是在位置(i，j)处的目标像素的差别err的差别扩散已经执行后邻近的像素的细微纹理成分值，而右边部分f(i+1，j)、f(i-1，j+1)、f(i，j+1)和f(i+1，j+1)是在差别扩散已经执行前邻近的像素的细微纹理成分值。另外，该目标像素和邻近的像素之间的关系在图5中示出。

细微纹理生成单元6将从不均匀性减少单元8输出并且在误差扩散处理之前的细微纹理成分S6、以及从减法电路12输出并且已经进行误差扩散处理的细微纹理成分S7输出到纹理组合单元15(图1)。

纹理组合单元15使用从纹理增加量控制单元16输出的纹理度texness和texness_tiling以及波动增益g_fluct执行以下等式的处理，从而组合细微纹理成分S6和S7以生成细微纹理成分S3。此处，Tex_{no err diff}是在误差扩散处理之前的细微纹理成分S6的值，而Tex_err diff是已经进行误差扩散处理的细微纹理成分S7的值。另外，纹理度texness和texness_tiling是分别指示作为纹理成分的细微纹理成分S6和S7的概率的参数。另外，波动增益g_fluct是用于阻止由于基本块的序列导致的不自然性的增益。在该实施例中，波动增益g_fluct根据输入视频信号S1的高频成分的量生成。另外，min(A，B)是用于从A和B选择较小值的函数。

等式3：

synthesized tex.＝g_fluct×(β×Tex._{no_err_diff}+(1-β)×Tex._{err_diff})

β＝min(texness，texness_tiling)        ............(3)

因此，纹理组合单元15补充地改变还没有进行误差扩散的细微纹理成分S6的成分量以及已经进行误差扩散的细微纹理成分S7的成分量，将这些细微纹理成分S6和S7组合，并且基于已经进行更适宜地处理的细微纹理成分S6和S7输出细微纹理成分S3(合成纹理)。具体地，纹理组合单元15增加还没有在诸如草、花、树叶、或者岩石表面的详细的结构部分中进行误差扩散的细微纹理成分S6的成分量，并且增加在各种目标或者边缘之间的边界中已经进行误差扩散的细微纹理成分S7的成分量。

混合单元17使用从纹理增加量控制单元16输出的增益tex gain和混合比α、执行以下等式的算术处理，以便组合细微纹理成分S3(纹理)和输入视频信号S1(入)，以便将从纹理生成单元2输出的细微纹理成分S3粘贴到输入视频信号S1，并且输出视频信号S9(出)。注意在此处，增益tex gain是限定在该视频信号处理装置1中的处理程度的参数。在该实施例中，增益tex gain由用户操作来输入。然而，增益tex gain可以根据例如诸如动画或电影的输入视频信号S1的属性、根据输入视频信号S1的原始源基于SDTV或HDTV、或者进一步取决于输入视频信号S1的诸如均匀度的分析而自动设置。

等式4：

out＝in+tex_gain×α×texture        ..........(4)

峰值检测单元18接收从混合单元17输出的视频信号S9，并且检测来自邻近像素的亮度级的升高量。也就是说，如图6中所示，峰值检测单元18从外围的像素ul到ur、l、r和bl到br中间检测具有最高亮度值的像素，从目标像素C的亮度值减去该检测像素的亮度值，并且输出差别值。

峰值抑制单元19确定由峰值检测单元18使用预定的阈值检测的差别值，并且检测其亮度值相比于外围的像素突然升高的目标像素。峰值抑制单元19将二维的低通滤波器施加于其亮度值与外围的像素相比突然地升高的该目标像素，从而导致该亮度值下降。因此，局部升高的亮度值逐个像素被抑制，并且输出了输出视频信号S2。注意对该已经局部升高的亮度值的抑制，诸如用某个外围像素的像素值取代亮度值的各种技术能够适用。

通过处理输入视频信号S1，纹理增加量控制单元16计算并且输出纹理度texness和texness_tiling、波动增益g_fluct、以及混合比α。也就是说，如图7中所示，在纹理增加量控制单元16中，波动增益计算单元20处理输入视频信号S1，并且输出波动增益g_fluct。此处如图8中所示，波动增益计算单元20将输入视频信号S1输入到低通滤波器(LPF)21以提取低频成分。在减法电路22中，从输入视频信号S1减去该低频成分，以检测输入视频信号S1的高频成分。

增益设置单元23确定该高频成分的信号级。如图9中所示，增益设置单元23设置波动增益g_fluct，使得当与低通滤波器21的输出值有关的输入视频信号S1的信号级位于最大值fluct diff max和最小值-fluct diff min的范围内时，增益与减法电路22的输出值成正比地增加，并且当输入视频信号S1的信号级位于该最大值fluct diff max和该最小值-fluct diff min的范围之外时，增益分别变成该最大值fluct diff max和该最小值-fluct diff min。简言之，注意波动增益g_fluct细微地改变像素值，使得在基本块序列中的像素值的变化变得更接近自然图像中的像素值的变化。因此，波动增益g_fluct不限于由基于图9中所示的特性来生成，并且波动增益g_fluct能够根据各种输入视频信号S1的高频成分的量、输入视频信号S1的信号级等来生成。例如，如同由图9中的虚线所指示，波动增益g_fluct可以基于在最大值fluct diff max和最小值-fluct diff min之间前后偏移的特性来设置。

梯度分析单元25处理输入视频信号S1，以计算亮度梯度矩阵的本征值λ1和λ2，从而检测指示目标像素的边缘性的参数。也就是说，梯度分析单元25对输入视频信号S1的每个像素检测边缘梯度方向和垂直于该边缘梯度方向的边缘方向，像素值的梯度在该边缘梯度方向最大。

此处，如图10中所示，梯度分析单元25使用围绕目标像素的范围W内的像素值执行算术处理，从而生成由以下等式逐像素表示的亮度梯度矩阵G。注意在此处，图10对应于这样的实例，其中在该范围W中设置围绕目标像素的x方向中和y方向中的±3个像素。

等式5：

$G={\∫}_W{g}^T\mathrm{g\; w\; d\; A}$

$=\underset{W}{\mathrm{\Σ}}\left(\begin{array}{cc}{g}_x^{(i,j)}{g}_x^{(i,j)}{w}^{(i,j)}& g_x^{(i,j)}{g}_y^{(i,j)}{w}^{(i,j)}\\ g_x^{(i,j)}{g}_y^{(i,j)}{w}^{(i,j)}& g_y^{(i,j)}{g}_y^{(i,j)}{w}^{(i,j)}\end{array}\right)$

$\≡\left(\begin{array}{cc}{G}_{\mathrm{xx}}& G_{\mathrm{xy}}\\ G_{\mathrm{xy}}& G_{\mathrm{yy}}\end{array}\right)\·\·\·\·\·\·\left(5\right)$

注意在此处，w^(i，j)是由等式(6)代表的高斯加权，并且g是由等式(7)在图像亮度I的x方向中使用偏微分g_x、并且在图像亮度I的y方向中使用偏微分g_y代表的亮度梯度：

等式6：

$w^{(i,j)}=\exp (-\frac{i^2+j^2}{{2\mathrm{\σ}}^2})\·\·\·\·\·\·\left(6\right)$

等式7：

$g=(g_x,g_y)$

$=(\frac{\∂I}{\∂x},\frac{\∂I}{\∂y})\·\·\·\·\·\·\left(7\right)$

因此，梯度分析单元25通过对围绕目标像素的预定的范围w相对于目标像素执行加权处理来检测亮度梯度。

通过处理亮度梯度矩阵G，如图11中所示，梯度分析单元25分别检测指示作为其中像素值的梯度最大的方向的边缘梯度方向v1、以及其中垂直于该边缘梯度方向v1的边缘方向v2中的像素值的梯度的扩散的本征值λ1和λ2。

具体地，梯度分析单元25通过执行以下等式的算术处理来检测本征值λ1和λ2(λ1≥λ2)：

等式8：

$\mathrm{\λ}1=\frac{G_{\mathrm{xx}}+G_{\mathrm{yy}}+\sqrt{a}}{2}\·\·\·\·\·\·\left(8\right)$

等式9：

$\mathrm{\λ}2=\frac{G_{\mathrm{xx}}+G_{\mathrm{yy}}-\sqrt{a}}{2}\·\·\·\·\·\·\left(9\right)$

注意a基于以下等式：

等式10：

$a=G_{\mathrm{xx}}^2+4G_{\mathrm{xy}}^2-2G_{\mathrm{xx}}{G}_{\mathrm{yy}}+G_{\mathrm{yy}}^2\·\·\·\·\·\·\left(10\right)$

如图12中所示，纹理度计算单元26计算对比度的参数f，由于在值1处饱和的特性，f的值随着边缘梯度方向v1的本征值λ1的值变小而增加。此处，当该边缘梯度方向v1中的本征值λ1的值大的时候，意味着该像素值在其中像素值的梯度最大的方向中的梯度大。如此，能够说目标像素是具有强对比度的部分。因此，能够说该目标像素作为涉及诸如草、花、树叶或者岩石表面的详细的结构的部分的概率低，并且能够说纹理度低。因此在该情况下，纹理度计算单元26计算对比度的参数f，使得随着该本征值λ1增加，f的值从值1接近到值0。

另外，如图13中所示，纹理度计算单元26将垂直于边缘梯度方向v1的方向v2中的本征值λ2除以边缘梯度方向v1中的本征值λ1，从而计算商值λ2/λ1。纹理度计算单元26生成边缘对齐度的参数g，使得该商值λ2/λ1变成在预定值ave处具有值1的峰值，并且随着商值λ2/λ1远离该预定值ave，商值λ2/λ1的值下降。

此处，当目标像素是边缘时，对齐的方向越多，该商值λ2/λ1就变得越小。另外，相反地，当存在更多的噪声成分和边缘交叉时，该值增加。因此，当商值λ2/λ1的值相当小或者相当大时，能够说该目标像素作为涉及诸如草、花、树叶、或者岩石表面的详细结构的部分的概率低，以及能够说纹理度低。因此，纹理度计算单元26基于商值λ2/λ1计算边缘对齐度的参数g，使得随着作为涉及详细结构的部分的概率增加，参数g的值从值0到值1。

纹理度计算单元26将这两个参数f和g相乘，并且输出纹理度texness。

如同在平铺单元7中一样，平铺单元27处理该纹理度texness，并且输入对应于从平铺单元7输出的细微纹理成分S5的纹理度texness_tiling。注意在该情况下，图像梯度单元和纹理计算单元可以另外提供，并且使用该图像梯度单元和该纹理计算单元，可以处理从平铺单元7输出的细微纹理成分S5或者从不均匀性减少单元8输出的细微纹理成分S6，以获得纹理度texness_tiling。

如同在平铺单元7一样，平铺单元28处理从梯度分析单元25输出的本征值λ1和λ2，并且计算对应于从平铺单元7输出的细微纹理成分S5的本征值λ1t和λ2t。注意在该情况下，如同关于平铺单元27已经进行了以上的描述，图像梯度单元可以另外提供，并且可以处理从平铺单元7输出的细微纹理成分S5或者从不均匀性减少单元8输出的细微纹理成分S6，以获得对应于细微纹理成分S5的本征值λ1t和λ2t。

边缘分析单元29处理这些λ1、λ2、λ1t和λ2t，以生成基于边缘的加权系数α_type-E，其值随着作为边缘的概率增加而下降。也就是说，如图14中所示，边缘分析单元29基于本征值λ1生成在从值1到值0的范围内的参数S，其中参数S的值随着对比度在边缘梯度方向v1中增加、以及作为边缘的概率增加而增加。另外，如图15中所示，边缘分析单元29基于本征值λ2和λ1的商值λ2/λ1生成参数t，其值随着亮度梯度变得对齐以及作为边缘的概率增加而增加。边缘分析单元29将从这些本征值λ1和λ2生成的参数S和t相乘，以生成指示在输入视频信号S1中的目标像素的边缘性的参数edgeness。

另外，边缘分析单元29类似地处理对应于细微纹理成分S5的本征值λ1t和λ2t，以在细微纹理成分S5中生成指示目标像素的边缘性的参数edgeness_tile。

边缘分析单元29通过执行以下等式的算术处理来处理这两个参数edgeness和edgeness_tile，以生成基于边缘的加权的系数α_type-E，使得视频信号S9的细微纹理成分S3的成分量在诸如边缘的部分中下降。

等式11：

α_type-E＝1.0-max(edgeness，edgeness_tile)    ..........(11)

活度计算单元30通过执行以下等式的算术处理来处理输入视频信号S1，以计算关于邻近像素的差别act(x，y)的绝对值。注意在此处，d(x，y)是在位置(x，y)处目标像素的像素值。另外，d(x+1，y)和d(x，y+1)是在水平方向和垂直方向中邻近像素的像素值。

等式12：

h_act(x，y)＝|d(x，y)-d(x+1，y)|

v_act(x，y)＝|d(x，y)-d(x，y+1)|

act(x，y)＝h_act+v_act                ..........(12)

对于每个目标像素，活度计算单元30在围绕目标像素的水平方向和垂直方向中设置了具有m个像素和n个像素的区域，并且通过执行以下等式的算术处理来处理该差别act(x，y)的绝对值，从而用在该区域内的最大值act_max和最小值act_min之间的差别值act_max-act_min计算活度act_blk raw和通过将该活度act_blk raw标准化而获得的标准活度act_blk norm。注意∑的范围是该具有m个像素和n个像素的区域。

等式13：

${\mathrm{act}}_{\mathrm{blk}\_\mathrm{raw}}(x,y)=\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}\mathrm{act}(x+m,y+n)$

$\mathrm{ac}{t}_{\mathrm{blk}\_\mathrm{norm}}(x,y)=\frac{1}{{\mathrm{act}}_{\max }-{\mathrm{act}}_{\min }}\×{\mathrm{act}}_{\mathrm{blk}\_\mathrm{raw}}(x,y)\·\·\·\·\·\·\left(13\right)$

如同在平铺单元7中一样，平铺单元31处理由活度计算单元30获得的活度act_blk raw，并且计算对应于从平铺单元7输出的细微纹理成分S5的活度act_tile raw。注意在该情况下，如同关于平铺单元27已经进行了描述，图像梯度单元和活度计算单元可以另外提供，并且可以处理从平铺单元7输出的细微纹理成分S5或者从不均匀性减少单元8输出的细微纹理单元，以计算活度act_tile raw。

活度分析单元32接收由活度计算单元30获得的标准化活度act_blk norm，并且如图16中所示，在从值1到值0的范围内生成参数α_act norm，其值根据标准化活度值act_blk norm的增加而增加。因此活度分析单元32生成参数α_act norm，其值随活度增加而增加。

另外，活度分析单元32将活度act_tile raw除以活度act_blk raw，以如图17中所示，在从值1到值0的范围内生成参数α_act ratio，其值随商值增加而下降。此处，当边缘、孤立点等存在于检测活度的区域中时，该商值在数值上增加。相反，当如此的边缘、孤立点等不存在时、以及当在区域范围内的像素值的变化均匀时，该商值根据涉及这些像素值的变化的频率成分变为小于值1的值。因此，活度分析单元32生成参数α_act ratio，其值随着存在于环境中的边缘、孤立点等的概率增加而下降。

活度分析单元32将以此方式计算的两个参数α_act norm和α_act ratio相乘，并且从而输出基于活度的加权的系数α_activity，使得视频信号S9的细微纹理成分S3的比率在像素值的变化是恒定的部分中增加。

通过执行以下等式的算术处理，活度比计算单元33在基本块中将目标像素的活度act_tile raw除以各个像素的活度act_tile raw的平均值，以计算活度比ratio_pix vs blk：

等式14：

活度比分析单元34接收该活度比ratio_pix vs blk，并且如图18中所示，在从值1到值0的范围内生成加权的系数α_pix vs blk，其值随着该比ratio_pix vs blk的增加而下降。此处，当不同种类的纹理成分在基本块中存在时，该比ratio_{pix vs  blk}在数值上增加。具体地，该情况对应于这样的情况，例如，存在涉及草和花的详细结构的部分以及涉及岩石等的详细结构的部分的混合。因此，活度比分析单元34生成加权系数α_pix vs blk，其值随着不同种类的纹理成分的存在的概率增加而下降，并且生成加权系数α_pix vs blk，使得视频信号S9的细微纹理成分的比率在像素值的变化是恒定的部分中增加。

通过执行以下等式的算术处理，乘法电路35将由边缘分析单元29、活度分析单元32、以及活度比分析单元34获得的加权的系数α_type-E、α_activity以及α_pix vs blk相乘，以获得混合比α：

等式15：

α＝α_type-E×α_activity×α_{pix_vs_blk}    ..........(15)

(2)实施例的操作

在前述结构中，在纹理提取单元3中从输入视频信号S1(图1)提取高频成分，从而提取作为草、花、树叶、岩石表面等的详细结构成分的纹理成分。此处，即使在其中颜色和亮度基本均匀的部分(如背景和前景)，以此方式提取的高频成分也在自然的图像中细微地变化。因为这些细微的变化，所以诸如草、花、树叶、以及岩石表面的细节的纹理表现在自然的图像中。

因此，当这些纹理成分劣化时，诸如草、花、树叶、以及岩石表面的细节缺失纹理。为了改善这些纹理，尽管纹理能够通过增强高频成分而得到一定程度的改善，但是如果涉及这些诸如草、花、树叶、以及岩石表面的详细结构的频率成分缺失，那么只有噪声量增加，而纹理根本不能被改善。

特别地，例如当基于SDTV系统的视频信号通过执行缩放而格式转换为基于HDTV系统的视频信号时，涉及这些纹理的高频成分由于分辨率的提高而相对缺失。因而，纹理被显著破坏。

因此，在此实施例中，在细微纹理生成单元6(图2和图3)中，该纹理成分S4在块BLA的增量中减少以生成基本块BBL。另外，该基本块BBL重复地粘贴到原始块BL以生成细微纹理成分S5，其中空间频率与原始的纹理成分S4相比增加。另外，该细微纹理成分S5由非均匀减少单元8、纹理组合单元15等处理，以生成细微纹理成分S3。执行原始输入视频图像S1与该细微纹理成分S3的图像组合。因此，在该视频图像处理装置1中，即使当涉及诸如草、花、树叶、以及岩石表面的详细结构的频率成分自身缺失，高频成分的空间频率也能被提高，以便补偿这些缺失的成分。这能够改善细节的纹理。

然而，当细节的纹理要通过以此方式重复基本块BBL而提高时，除了诸如草、花、以及树叶的详细结构之外的边缘成分等要被类似地处理。这导致了各种不便的发生。

因此，在该视频信号处理装置1中，在输入视频信号S1和细微纹理成分S3之间的图像组合比由纹理增加量控制单元16控制。因此，避免在边缘等的不便的处理，从而改善纹理。

更具体地，在该视频信号处理装置1中，当要在平铺单元7中生成细微纹理成分时(图3)，选择性地减少块BL的中央部分BLA以生成基本块BBL。也就是说，可以发现，当简单地减少块BL以生成基本块BBL时，由于块BBL的重复而出现非自然性；相反地，当选择地减少块BL的中央部分BLA以便以此方式生成基本块BBL时，印象(impression)能够更接近自然图像的印象。因此，在该视频信号处理装置1中，能够改善纹理以更接近自然印象。

另外，该中央部分BLA设置为根据均匀度等在大小上变化。此处，最终该大小上的变化对应于用于生成基本块BBL的减少比的变化。这要改变在细微纹理成分中增加的空间频率。因此，空间频率能够通过根据均匀度改变该中央部分BLA的大小而足够增加，从而增强了高频。这还能能够改善纹理以更接近自然印象。

另外，在不均匀减少单元8中，对由平铺单元7生成的细微纹理成分S5执行滤波处理，从而抑制了在细微纹理成分S5的基本块BBL之间的不均匀性。因此，在该视频信号处理装置1中，能够使得涉及基本块BBL的重复的周期性成分不明显，并且由于这些周期性成分的非自然性能够被有效地避免。在该处理中，不均匀性减少单元8通过只在邻近基本块BBL的边界的像素上执行滤波处理而抑制不均匀性。这尽可能地阻止了高频成分的减少并且抑制了不均匀性(图3)。

另外，在此后的差别值扩散单元9中，关于原始纹理成分S4的差别err被扩散到目标像素的外围像素中。因此，通过重复基本块BBL以及校正像素值来增加空间频率，生成细微纹理成分S7，使得像素值不变成与原始纹理成分S4差别很大。因此，在其中该差别已经被扩散的细微纹理成分S7的情况下，即使当细微纹理成分S7已经通过以此方式重复基本块而生成时，细微纹理成分S7也具有原始纹理成分S4的变化趋势的像素值。这也能避免非自然性以及改善纹理以更接近自然印象。

在该视频信号处理装置1中，其中该差别已经被扩散的细微纹理成分S7和原始的细微纹理成分S6由纹理组合单元15组合。在该组合处理中，组合比根据纹理度texness和texness_tiling而变化。因此，将这些细微纹理成分S6和S7组合，使得原始的细微纹理成分S6在诸如草、花和树叶的详细结构部分中增加，并且其中差别已经被扩散的细微纹理成分S7在诸如边缘的部分中增加，因而能够改善纹理而不会不自然。

另外，增益使用波动增益g_fluct而变化，使得在基本块的序列中的像素值的变化能够更接近自然图像中的像素值的变化。这也能够改善纹理而不会不自然。

相反地，在纹理增加量控制单元16中(图7)，在输入视频信号S1中，在梯度分析单元25中检测其中像素值的梯度最大的边缘梯度方向v1以及垂直于该边缘梯度方向v1的边缘方向v2。对这些梯度方向v1和v2，分别检测指示像素值的梯度的扩散的本征值λ1和λ2(图10和图11)。另外，这些本征值λ1和λ2由平铺单元28处理，从而获得对应于从平铺单元7输出的细微纹理成分S5的本征值λ1t和λ2t。因此，在输入视频信号S1中逐像素检测指示边缘的参数λ1、λ2、λ1t和λ2t。

关于输入视频信号S1，在这些参数λ1、λ2、λ1t和λ2t当中，参数λ1和λ2由纹理度计算单元26和平铺单元27依次处理(图12和图13)，从而获得纹理度texness和texness_tiling。

另外，在边缘分析单元29中处理参数λ1、λ2、λ1t和λ2t(图14和图15)，从而生成加权系数α_type-E，使得细微纹理成分S3的比率在边缘部分下降。基于该加权系数α_type-E，在混合单元17中设置细微纹理成分S3和输入视频信号S1之间的组合比。因此，在该视频信号处理装置1中，输入视频信号S1的比率在边缘部分增加，因此在诸如边缘的部分，不通过重复基本块来增强高频成分成为可能。因此，能够有效地避免图像质量的劣化，并且改善能够纹理。

另外，在活度计算单元30中获得输入视频信号S1的活度。该活度由平铺单元31处理，从而获得对应于从平铺单元7输出的细微纹理成分S5的活度。关于该输入视频信号，这些活度由活度分析单元32(图16和图17)处理，从而生成基于活度的加权系数α_activity，使得细微纹理成分S3的比例在像素值的变化是恒定的部分中增加。基于该加权系数α_activity，比在混合单元17中设置细微纹理成分S3和输入视频信号S1之间的组合比。因此在该实施例中，不通过在边缘、孤立点等中重复基本块来增强高频成分成为可能。因此，能够有效地避免图像质量的劣化，并且改善能够纹理。

另外，关于输入视频信号S1，活度比计算单元33中获得输入视频信号S1的活度和对应于细微纹理成分S5的活度之间的比率。此后，基于该比率在活度比分析单元34中生成加权系数α_pix vs blk，使得细微纹理成分的比率在像素值的变化是恒定的部分中增加(图18)。基于该加权系数α_pix vs blk，在混合单元17中设置细微纹理成分S3和输入视频信号S1之间的组合比。因此，在该实施例中，当在基本块中存在不同种类的纹理成分时，不通过重复基本块来增强高频成分成为可能。因此，能够有效地避免图像质量的劣化，并且改善能够纹理。

基于这些加权系数α_type-E、α_activity、以及α_pix vs blk，输入图像信号S1与细微纹理成分S3的图像组合在混合单元17中执行，从而生成视频信号S9。此处，即使当以此方式通过检测各种参数而改变组合比、以及生成细微纹理成分S3的技术进一步改进时，亮度级显著增加的像素以点状方式分布在从该混合单元17输出的视频信号S9中。因此，图像质量的劣化被察觉。

因此，在视频信号处理装置1中，此后在峰值检测单元18中检测与附近像素相比其亮度值已经升高的像素。另外，基于该检测结果，此后在峰值抑制单元19中抑制亮度值的升高。因此，在该视频信号处理装置1中，避免亮度级显著提高的像素的点状分布，并且避免了图像质量的劣化。

(1)实施例的有益效果

根据前述的结构，通过从输入图像提取高频成分、减少高频成分以生成细微纹理成分、以及执行该细微纹理成分和输入图像的图像组合，与过去相比，能够改善细节的纹理。

另外，当提取和减少高频成分时，选择性地减少块的中央部分以生成基本块。因此，能够生成更接近自然图像的细微纹理成分。这能够改善纹理以更接近自然印象。

另外，使用滤波处理，在细微纹理成分的基本块之间的不均匀性被抑制。因此，能够有效地避免由于在基本块中的周期性的成分的非自然性。

另外，通过将相对于高频成分的细微纹理成分的差别值扩散到外围的像素中，原始的纹理成分的像素值的变化能够反映在细微纹理成分中。这也能够避免非自然性，并且改善纹理以更接近自然印象。

另外，通过组合和处理其中该差别已经被扩散的细微纹理成分和原始的细微纹理成分，使用组合比的控制，能够将这些细微纹理成分组合，使得原始的细微纹理成分在诸如草、花、或者树叶的详细结构部分中增加，以及其中差别已经被扩散的细微纹理成分在诸如边缘的部分中增加。因此，能够改善纹理而不会不自然。

具体地，根据指示作为纹理的概率的纹理度，通过改变组合比，能够改善纹理而不会不自然。

另外，通过改变增益以及基于该增益校正细微纹理成分，能够使得像素值的变化更靠近自然图像的像素值的变化。这也能够改善纹理而不会不自然。

另外，通过检测指示输入图像中的目标像素的边缘的参数、以及设置图像组合比使得细微纹理成分的比率在边缘部分中下降，不通过重复在诸如边缘的部分中的基本块来增强高频成分成变得可能。因此，能够有效地避免图像质量的劣化，并且能够改善纹理。

另外，通过检测输入图像的活度、以及设置图像组合比，使得在像素值的变化是恒定的部分中细微纹理成分的比率增加，不通过在边缘、孤立点等重复基本块来增加高频成分变得可能。因此，能够有效地避免图像质量的劣化，并且能够改善纹理。

另外，通过计算输入图像的活度和细微纹理成分的活度之间的比率、以及基于该比率设置图像组合比，使得细微纹理成分的比率在像素值的变化是恒定的部分中增加，在不同种类的纹理成分存在的情况下，不通过重复基本块来增加高频成分变得可能。因此，能够有效地避免图像质量的劣化，并且能够改善纹理。

另外，通过抑制输出的图像中的亮度值的峰值，能够避免亮度级显著增加的像素的点状分布，因此能够避免图像质量的劣化。

实施例2

在上述实施例中，注意已经描述了这样的情况，其中通过简单地从输入视频信号提取高频成分来提取纹理成分。然而，本发明不限于此。各种技术广泛地适用于提取纹理成分的技术，如提取高频成分的滤波器的特性动态变化，并且提取纹理成分的情况。

也就是说，诸如草、花、树叶、或者岩石表面的在背景、前景等的均匀部分中详细结构成分变成例如在缩小的视频图像中具有相当高频率的高频成分。相反地，在放大的图像中，详细结构成分均匀地分布在低频段中。因此，例如在像素值的变化小的相对均匀的部分中，纹理成分能够通过提取低频成分来提取。相反，在像素值的变化大的部分中，纹理部分能够通过提取高频段中的成分来提取。

因此，通过动态地改变滤波器的特性以及提取纹理成分，能够进一步改善纹理。例如，这对应于通过在输入视频图像信号的每个部分中执行频率分析并且根据频谱分布在滤波器的截止频率的每个部分中切换来提取纹理成分的情况，或者通过基于色调、亮度值、均匀度等确定每个部分的属性、以及基于该属性在滤波器的截止频率的每个部分中切换来提取纹理成分的情况。

另外，在上述实施例中，已经描述了其中通过处理输入视频信号来处理作为运动图像的输入图像的情况。但是，本发明不限于此。本发明广泛适用于其中处理静止的图像的情况。

另外，在上述实施例中，已经描述了其中本发明应用于显示装置的情况。但是，本发明不限于此。本发明广泛适用于用于各种视频图像信号的记录/再现装置、处理装置、编辑装置、处理程序等。

产业可应用性

本发明适用于例如诸如显示装置的视频图像装置。

Claims (12)

1.一种图像处理装置，其特征在于包括：

纹理提取单元，其从输入图像提取纹理成分；

细微纹理生成单元，其对于通过分割所述输入图像形成的每个块，通过减少每个块的所述纹理成分生成基本块，并且重复地在块中排列所述基本块，从而生成细微纹理成分，其中所述纹理成分的空间频率已经增加；

混合单元，其执行所述细微纹理成分和所述输入图像的图像组合；以及

纹理增加量控制单元，其在混合单元中设置图像组合比。

2.一种图像处理方法，其特征在于包括：

纹理提取步骤，从输入图像提取纹理成分；

细微纹理生成步骤，对于通过分割所述输入图像形成的每个块，通过减少每个块的所述纹理成分生成基本块，并且重复地在块中排列所述基本块，从而生成细微纹理成分，其中所述纹理成分的空间频率已经增加；

混合步骤，执行所述细微纹理成分和所述输入图像的图像组合以生成输出图像；以及

纹理增加量控制步骤，在混合步骤中设置图像组合比。

3.根据权利要求2所述的图像处理方法，其特征在于

所述细微纹理生成步骤

通过选择性地减少块的中央部分生成所述基本块。

4.根据权利要求2所述的图像处理方法，其特征在于

所述细微纹理生成步骤包括：

不均匀性抑制步骤，通过执行所述细微纹理成分的滤波处理，抑制在所述细微纹理成分中的基本块之间的不均匀性。

5.根据权利要求2所述的图像处理方法，其特征在于

所述细微纹理生成步骤包括：

差别扩散步骤，将关于所述纹理成分的所述细微纹理成分的差别值扩散到外围像素中。

6.根据权利要求2所述的图像处理方法，其特征在于

所述细微纹理生成步骤包括：

差别扩散步骤，将关于所述纹理成分的所述细微纹理成分的差别值扩散到外围像素中；以及

组合步骤，组合所述细微纹理成分，其中所述差别已经在对所述细微纹理成分的所述差别扩散步骤中被扩散，

其中在所述混合步骤中处理的所述细微纹理成分是在所述组合步骤中合成的所述细微纹理成分。

7.根据权利要求6所述的图像处理方法，其特征在于

所述组合步骤

根据指示作为纹理的概率的纹理度改变组合比。

8.根据权利要求2所述的图像处理方法，其特征在于

所述细微纹理生成步骤

将所述细微纹理成分乘以波动增益，并且输出乘积。

9.根据权利要求2所述的图像处理方法，其特征在于

所述纹理增加量控制步骤包括：

边缘检测步骤，检测指示所述输入图像中的目标像素的边缘性的参数；以及

边缘分析步骤，分析在所述边缘检测步骤中检测的所述参数，并且设置所述图像组合比，使得所述细微纹理成分的比例在边缘部分中下降。

10.根据权利要求2所述的图像处理方法，其特征在于

所述纹理增加量控制步骤包括：

活度检测步骤，检测所述输入图像的活度；以及

活度分析步骤，分析所述活度，并且设置所述图像组合比，使得所述细微纹理成分的比例在像素值的变化是恒定的部分中增加。

11.根据权利要求2所述的图像处理方法，其特征在于

所述纹理增加量控制步骤包括：

活度检测步骤，检测所述输入图像的活度；以及

细微纹理成分活度检测步骤，检测所述细微纹理成分的活度；

活度比计算步骤，计算所述输入图像的所述活度和所述细微纹理成分的所述活度之间的比率；以及

活度比分析步骤，基于所述比率设置所述图像组合比，使得所述细微纹理成分的比例在像素值的变化是恒定的部分中增加。

12.根据权利要求2所述的图像处理方法，其特征在于包括：峰值抑制步骤，抑制所述输出图像中的像素值的峰值。

Images