CN104243992A

CN104243992A - 图像处理装置及图像处理方法

Info

Publication number: CN104243992A
Application number: CN201410264455.4A
Authority: CN
Inventors: 樋渡咲; 大川浩司
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-06-13
Filing date: 2014-06-13
Publication date: 2014-12-24
Anticipated expiration: 2034-06-13
Also published as: JP2015002368A; JP6226578B2; US20140369617A1; CN104243992B; US10123021B2

Abstract

本发明提供一种图像处理装置及图像处理方法。针对不容易感知到可见劣化的块减小代码量，而对容易感知到图像质量的劣化的块分配大量代码，从而抑制为了实现高质量图像而进行处理的块的数量，由此抑制总代码量的增加。以块为单位对输入图像进行编码。计算块的块评价值。将块划分为N个子块，其中，N等于或大于2，并且针对各个子块计算子块评价值。基于块评价值和子块评价值，对块的量化参数进行控制。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及一种图像处理装置、图像处理方法及程序，尤其涉及一种对图像的代码量进行自适应控制的技术。

背景技术

已知H.264/MPEG-4AVC(下文中称为H.264)作为在将运动图像编码为压缩形式(ITU-TH.264(03/2010)，Advanced video coding for genericaudio visual services(用于通用视听服务的高级视频编码))时使用的编码方法。在H.264中，以块为单位对图像进行编码。在进行编码时，在对图像进行量化时使用的量化参数针对各块可变。

在国际公布第WO 02/080574号中公开的技术中，基于指示要压缩的图像的复杂度或者平滑度的指标值，对编码进行控制，使得在图像单调且平滑的区域中实现高图像质量，因此可在视觉上容易感知由于压缩而产生的图像质量劣化(下文中，这种区域被称为平坦区域)。此外，在国际公布第WO 02/080574号中公开的技术中，对编码进行控制，使得针对图像复杂的区域降低图像质量(下文中，这种区域被称为不平坦区域)。基于关注的块中的各个像素的亮度与在该块上取得的亮度的平均值的差，来评价图像的复杂度。在国际公布第WO 02/080574号中公开的技术中，通过以上述方式对图像质量进行自适应控制，来优化图像质量。

此外，在国际公布第WO 02/080574号中公开的技术中，将各个块划分为子块，并且针对各个子块确定用于平坦区域的判断的指标值，从而使得即使在块包括平坦区域和不平坦区域两者的情况下，也能够检测到平坦区域。

下面，参照图6，描述根据在国际公布第WO 02/080574号中公开的技术，基于平坦区域判断来对图像质量进行控制。图6例示了在白色背景中包括黑色对象的图像，其中，由实线表示的正方形表示各自包括16×16个像素的块。附图标记601表示白色背景中的块(白色块)中的一个。该块中的所有像素具有类似的大的像素值，因此该块的复杂度低。附图标记603表示黑色对象的块(黑色块)中的一个。在该块中，所有像素具有小的像素值，因此该块的复杂度低。附图标记602表示位于白色块和黑色块之间的边界上的块。块602包括黑色和白色像素两者，因此各个像素的亮度与该块的亮度的平均值的差较大，因此该块的复杂度高。因此，在简单地基于各个块的复杂度进行平坦区域的判断，并且基于判断结果确定量化参数的情况下，将具有高复杂度的块的量化参数设置为大。然而，在诸如块602的位于边界上的块中，通常容易感知到图像质量劣化，因此希望将量化参数设置为小。

如果将各个块划分为如图6中的虚线所表示的各自包括8×8个像素的子块，则块602中的两个子块中的所有像素为黑色，而块602中的另外两个子块中的所有像素为白色。也就是说，当以子块为单位评价复杂度时，复杂度与块601或者块603的复杂度类似。通过以上述方式以子块为单位确定复杂度，能够更准确地确定是否为因位于边界上而容易感知到图像质量劣化的块，因此能够抑制另外由于将量化参数设置为大的值而产生的图像质量的劣化。

然而，在国际公布第WO 02/080574号中公开的技术中，用于检测平坦区域的指标值被计算为与存在子块同样多的次数，这导致计算成本增加。此外，在国际公布第WO 02/080574号中公开的技术中，对包括被确定为平坦区域的子块的任意块进行编码，使得获得高图像质量，这导致为了获得高图像质量而进行处理的块的数量增加。在这种情况下，对平坦区域进行编码以具有高图像质量导致总代码量增加，这意味着在代码量受限制的情况下，针对平坦区域难以实现高图像质量。

下面，参照图11和图12，描述在国际公布第WO 02/080574号中公开的技术中控制图像质量的问题。在图11中，根据以块为单位确定的复杂度来布置块1101至1107。按照块是否是平坦区域，基于其复杂度来对各个块进行评价，并且确定其量化参数。图12例示了在基于将各个块划分为的四个子块中的各个的复杂度来进行量化参数的分类和确定的情况下获得的结果。在以子块为单位确定复杂度的情况下，在子块内，除了块1105中的子块之外的任意子块的像素的像素值相等，因此复杂度低。也就是说，被确定为平坦区域的块的数量增加，因此将量化参数设置为低，以在编码时实现高图像质量。其结果是，总代码量增加。

发明内容

本公开提供一种对不容易感知图像质量的劣化的块减少代码量，而对容易感知图像质量的劣化的块分配大量代码的技术。此外，抑制为了实现高图像质量而进行处理的块的数量，从而防止总代码量增加。

根据实施例的图像处理装置包括：评价单元，其被配置为基于与图像帧中的具有预定大小的块相对应的图像数据，确定所述块的评价值，并且基于与从所述块中划分的多个子块相对应的图像数据，确定所述多个子块的评价值；以及确定单元，其被配置为基于所述块的评价值和所述多个子块的评价值，确定在对与所述块相对应的所述图像数据进行编码时使用的编码参数。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据第一实施例的图像处理装置的配置的框图。

图2是根据第一实施例的帧编码的流程图。

图3是根据第一实施例的生成块辨别信息的处理的流程图。

图4是根据本发明的生成量化参数的处理的流程图。

图5是例示根据第二实施例的依据块大小控制图像质量的方式的图。

图6是例示根据现有技术的对象和子块的图。

图7是例示根据第一实施例的辨别块的方式的图。

图8是例示根据第三实施例的图像处理装置的配置的框图。

图9是例示根据第五实施例的辨别块的方式的图。

图10是例示根据第五实施例的通过评价值定义区域的方式的图。

图11是例示根据现有技术的通过块的复杂度对块进行分类的方式的图。

图12是例示根据现有技术的通过子块的复杂度对块进行分类的方式的图。

图13是根据第三实施例的帧编码的流程图。

图14是例示根据实施例的可用作图像处理装置的计算机的硬件配置的示例的图。

具体实施方式

下面，参照附图详细描述本发明的示例性实施例。请注意，下面描述的示例仅仅作为示例，本发明不限于下面描述的这些示例。

第一实施例

下面，参照附图描述本发明的第一实施例。图1是例示根据第一实施例的图像处理装置的框图。

在图1中，附图标记101表示被配置为计算输入图像的评价值的块评价值计算单元。以块为单位向块评价值计算单元101输入图像，并且块评价值计算单元101计算各个块的块评价值。附图标记102表示被配置为基于多个块评价值生成块辨别信息的块辨别单元。附图标记103表示被配置为基于块辨别信息确定针对块的量化参数的控制单元。附图标记104表示被配置为对输入图像进行编码的编码单元。以块为单位向编码单元104输入图像，并且编码单元104基于由控制单元103生成的量化参数对块进行解码，从而生成编码数据流。子块评价值计算单元105以块为单位接收图像的输入。子块评价值计算单元105将各个块划分为多个子块，并且针对各个子块计算子块评价值。

下面，参照图2所示的流程图，详细描述图像处理装置的操作。在本实施例中，以帧为单位输入运动图像数据，并且将各个帧划分为块，并按照光栅扫描顺序对各个帧进行处理。然而，本实施例不限于此。例如，可以将各个帧划分为片，并且可以以片为单位输入图像。此外，在本实施例中，假设各个块具有16×16个像素的大小。然而，本实施例不限于此。例如，块大小可以为8×8个像素、32×32个像素、32×16个像素等。

在步骤S201中，块评价值计算单元101计算输入块的块评价值。块评价值是在对关注的块进行编码时获得的图像质量指标值。这里，图像质量指标指示对块进行编码时的量化误差影响人的视觉的程度。计算评价值以确定该程度。在本实施例中，计算块内的像素的亮度的平均值以及块的亮度的复杂度，作为块评价值。亮度的复杂度由属于块的各个像素的亮度值与该块的亮度的平均值的差值(绝对值)的总和给出。然而，根据本实施例的图像处理装置不限于此，而可以使用表示量化误差影响人的视觉的程度的任意指标。例如，可以计算亮度的方差或色差的平均值、复杂度、方差等，或者可以使用诸如运动矢量、预测误差等的编码结果作为指标。此外，计算的块评价值的类型的数量不限于两种，而除了亮度的平均值和复杂度之外，还可以计算诸如色差的平均值的其它块评价值。

此外，在步骤S201中，子块评价值计算单元105将输入块划分为多个子块，并且计算子块评价值。与块评价值相同，子块评价值是在对关注的子块进行编码时获得的图像质量指标值。在本实施例中，亮度的复杂度由属于关注的子块的各个像素的亮度值与该子块的亮度的平均值的差的值(绝对值)的总和给出。此外，在本实施例中，在针对各个子块确定亮度的复杂度之后，计算其最小值，作为子块评价值。注意，根据本实施例的图像处理装置中的子块评价值的方法不限于上述方法。可以允许使用指示影响人的视觉的程度的任意指标，并且指标不限于各个子块的最小值。

在步骤S202中，块辨别单元102基于块评价值生成对关注的块的块辨别信息。稍后将描述生成块辨别信息的方法的详情。

在步骤S203中，控制单元103基于子块评价值和块辨别信息，依据块的属性来生成量化参数。稍后将描述生成量化参数的方法的详情。

在步骤S204中，编码单元104基于量化参数对块进行编码，从而生成编码数据流。

在步骤S205中，确定是否针对帧中的所有块完成了编码。在针对所有块完成了编码(步骤S205：是)的情况下，结束对帧进行编码的处理。另一方面，在未针对所有块完成编码(步骤S205：否)的情况下，处理流程进行到步骤S201，以对下一个块进行编码。

下面，详细描述根据本实施例的(步骤S202中的)生成块辨别信息的方法。在本实施例中，在生成块辨别信息时，使用两个块评价值，一个块评价值指示在块上取得的亮度的平均值S₁，另一个指示亮度的复杂度S₂。此外，针对各个评价值S₁和S₂定义阈值矩阵T₁和T₂。注意，针对k个评价值S₁、S₂、...、Sk中的相应的一个，定义并存储一个阈值矩阵T_i。图7例示了根据亮度的平均值和复杂度辨别块的方式的示例。水平轴表示复杂度S₂，并且垂直轴表示亮度的平均值S₁。作为辨别结果，将块分类到72个区域中的一个中。T₁和T₂各自包括定义区域的阈值的集合。在图7所示的示例中，T₁＝{T₁[1],T₁[2],T₁[3],T₁[4],T₁[5],T₁[6],T₁[7],T₁[8],T₁[9]}，并且T₂＝{T₂[1],T₂[2],T₂[3],T₂[4],T₂[5],T₂[6],T₂[7],T₂[8]}。由定义关注的块的评价值所属的区域的阈值的集合，来表示块辨别信息P。例如，在图7所示的示例中，阴影区域的块辨别信息P是P＝{T₁[6],T₂[5]}。

下面，参照图3所示的流程图，详细描述生成块辨别信息的方法(在步骤S202中)。首先，在步骤S301中，将变量i初始化为1，并且在步骤S302中，将变量j初始化为1。接下来，在步骤S303中，确定评价值S_i是否属于由阈值T_i[j]定义的区域。在评价值S_i属于由阈值T_i[j]定义的区域(步骤S303：是)的情况下，处理流程进行到步骤S306，但是否则，处理流程进行到步骤S304。在步骤S304中，将变量i递增1。

接下来，在步骤S305中，确定是否将评价值S_i与所有阈值(属于阈值阵列T_i的所有阈值)进行了比较。在针对所有阈值完成比较(步骤S305：是)的情况下，处理流程进行到步骤S306，但是否则，处理流程进行到步骤S303。在步骤S306中，将评价值S_i分类到的区域的阈值代入到评价值S_i的块辨别信息P_i中(到块辨别信息P的第i个元素中)，并且处理流程进行到步骤S307。在步骤S307中，将变量i递增1，并且处理流程进行到步骤S308。在步骤S308中，确定变量i是否大于k，也就是说，是否针对所有k个评价值完成了与阈值的比较。在针对所有k个评价值完成了比较(步骤S308：是)的情况下，处理流程进行到步骤S309，但是否则(步骤S308：否)，处理流程进行到步骤S302。

在步骤S309中，将对各个评价值进行分类的阈值的集合代入块辨别信息P，并且结束生成块辨别信息的处理。以上述方式生成的块辨别信息指示按照评价值将关注的块进行分类的图7的网格区域的位置。对各个块辨别信息定义属性，并且对块辨别信息定义对于该属性最优的量化参数。

在本实施例中，在确定关注的块的图像质量的劣化程度时，使用生成的块辨别信息。例如，与具有高空间频率的图像相比，人眼对具有低空间频率的图像的图像质量的劣化更敏感。具有低复杂度的块的空间频率低，因此在这种块中，人眼容易感知到由于量化误差而产生的图像质量的劣化。另一方面，具有高复杂度的块具有高空间频率，在这种块中不容易感知到图像质量的劣化。对于亮度的平均值，如同复杂度，人眼容易感知到暗区域中的图像质量的劣化，同时人眼不容易感知到亮区域中的图像质量的劣化。基于这些评价值中的多个，例如以将靠近图7的图形左下端的区域的量化参数设置为小的方式，来确定量化参数，以抑制图像质量的劣化。另一方面，因为不容易感知到图像质量的劣化，因此针对靠近图7的图形的右上端的区域，将量化参数设置为大，从而抑制总代码量的增加。因此，能够提高人眼感知到的图像质量，同时基本保持比特率。

接下来，参照图4所示的流程图，详细描述生成量化参数的方法(在步骤S203中)。首先，在步骤S401中，确定在步骤S202中生成的块辨别信息是否满足特定条件。在满足特定条件(步骤S401：是)的情况下，然后在步骤S402中，基于子块评价值确定对于子块的特性最优的量化参数。

这里，当满足特定条件时，这意味着作为基于以块为单位的图像质量指标确定块辨别信息的结果，确定要以子块为单位进行图像质量指标的评价。例如，当确定关注的块在图7的右上区域中的区域中(也就是说，关注的块中的像素的亮度的平均值等于或大于第一阈值，并且亮度的复杂度等于或大于第二阈值)时，也就是说，当确定关注的块在不容易感知到图像质量的劣化，并因此允许使用大的量化参数的这种区域中时，这发生。然而，即使在确定针对特定块允许使用大的量化参数的情况下，也存在该块包括诸如上面所描述的平坦子块，因此如果使用大的量化参数，则可能出现容易感知到的图像质量劣化的可能性。

为了避免上述情形，在步骤S402中，基于子块评价值生成量化参数。在步骤S401中确定不满足特定条件(步骤S401：否)的情况下，也就是说，在确定对关注的块的评价指示出现了容易感知到的图像质量的劣化的情况下，处理流程进行到步骤S403。在步骤S403中，在不使用子块评价值的情况下生成量化参数。

对步骤S402或者步骤S403中的生成量化参数的方法没有特别的限制。例如，从描述块辨别结果与量化参数之间的一一对应关系的查找表等中检索量化参数。

在步骤S402或者步骤S403中的处理中，对于可见劣化不大的块，减少代码量，而对容易感知到劣化的块分配大量代码，从而实现高图像质量，因此改善视觉上可感知到的图像质量。此外，通过仅针对一部分块以子块为单位进行评价，能够抑制进行实现高图像质量的处理的块的数量的增加。

在本实施例中，作为示例，使用两种类型的评价指标(即亮度的平均值和复杂度)作为块辨别信息的评价指标，并且基于评价指标在二维空间中的位置设置量化参数。注意，评价值的类型可以增加到k种类型(k>2)，并且空间可以扩展为k维空间。

第二实施例

下面，描述根据第二实施例的图像处理装置。在该第二实施例中，图像处理装置的配置与图1所示的根据第一实施例的图像处理装置的配置相同。在本实施例中，在图2所示的流程图中例示的图像处理装置的操作处理中，计算块评价值的处理(在步骤S201中)与第一实施例中的处理不同。

在步骤S201中，块评价值计算单元101计算输入块的块评价值。除了在第一实施例中描述的块评价值之外，还针对将块进一步划分为的M个子块中的各个获得指标值，其中，M是等于或小于N的整数，并且使用获得的多个指标值中的最小值作为块评价值。在本实施例中，针对各个子块计算像素值的方差，并且选择多个方差中的最小值作为指标值。然而，本实施例中的指标不限于此。此外，在步骤S201中，子块评价值计算单元105将输入块划分为N个子块，并且计算子块评价值。子块评价值计算单元的其它操作处理与上述根据第一实施例的处理类似。

步骤S202和之后的步骤中的处理与上述根据第一实施例的处理类似，因此省略对其的进一步描述。此外，图3所示的流程图中的步骤S202中的生成块辨别信息的方法和图4所示的流程图中的步骤S203中的生成量化参数的方法与根据第一实施例的方法类似，因此省略对其的进一步描述。

如上所述，通过根据将块划分为的M个子块的指标值针对一部分或者所有块计算评价值，也就是说，通过改变在计算评价指标时使用的块的大小，能够依据输入的图像对图像质量进行控制。下面，参照图5，对依据在计算评价指标时使用的块大小对图像质量进行控制的方式给出描述。

在图5中，附图标记501表示要拍摄的图像的场景，并且附图标记502表示该场景的子区域。下面，对子区域502中的平坦区域中的白色部分和黑色部分之间的边界处的图像质量的可见劣化给出讨论。附图标记511表示将场景501划分为由虚线表示的12(水平)×8(垂直)个块的块编码的结果。下文中，该编码结果被称为编码结果A。子区域502包括经过编码的四个块512、513、514和515。在块编码结果521中，将被摄体501划分为经过编码的6(水平)×4(垂直)个块，也就是说，块的数量减少到垂直方向和水平方向中的各个上的一半，如虚线所示。下文中，该编码结果被称为编码结果B。由块522对子区域502进行编码。这里，假设在编码结果A和编码结果B之间，各个块的大小(包括在块中的像素的数量)相同。在块编码结果531和块532的情况下，编码结果B的块大小在水平方向和垂直方向两者上扩展了2倍，使得再现的场景的图像的大小与编码结果A类似。

在编码结果A和B两者中，在以块为单位进行平坦区域判断的情况下，在编码结果A中，仅通过亮度的复杂度，判断子区域中的块515的一部分(所有像素为黑色)是平坦区域，响应于此，进行对图像质量的适当控制。在块512和513的情况下，这些块的大多数像素为白色，因此也判断为这些块是平坦区域。然而，在编码结果B中，子区域由一个块给出，因此以块为单位仅根据亮度的复杂度，难以判断块512和513是平坦区域。也就是说，当将编码结果A和编码结果B视为具有相同的大小时，编码结果A和编码结果B之间的子区域中的图像质量的控制的差异，可能导致在编码结果B中容易感知到可见图像质量的劣化。因此，为了对图像质量进行控制，以在编码结果B中实现与编码结果A类似的图像质量，希望减小计算评价指标的块(子块)的大小。

在包括H.264的许多处理方法中，将用作编码单位的块的大小指定为固定值，因此划分的块的数量与图像的大小成比例。也就是说，划分的块的数量随着图像大小而增加，并且场景被划分为更大数量的块。根据上面的讨论，为了有效地抑制可见图像质量的劣化，希望依据图像大小改变计算评价指标的块(子块)的大小。

第三实施例

下面，参照图8所示的框图，描述根据第三实施例的图像处理装置。在图8中，单元101、102和104的功能与图1所示的单元101、102和104类似，因此省略对其的进一步描述。

附图标记803表示被配置为基于块辨别信息确定块的量化参数的控制单元。附图标记805表示被配置为以块为单位接收图像的输入，将各个块划分为多个子块，并且针对各个子块计算子块评价值的子块评价值计算单元。与根据第一实施例的控制单元103不同，根据本实施例的控制单元803基于块辨别信息进行关于是否计算子块评价值的确定，并且向子块评价值计算单元805通知确定结果。基于通知的确定结果，子块评价值计算单元805计算子块评价值。

参照图13所示的流程图，详细描述根据本实施例的图像处理装置的操作。在图13中，在步骤S1301中，块评价值计算单元801计算输入块的块评价值。与在第一实施例中相同，块评价值是在对关注的块进行编码时获得的图像质量指标值。在本实施例中，计算在块上取得的像素的亮度的平均值以及亮度的复杂度，作为块评价值。亮度的复杂度由属于块的各个像素的亮度值与该块的亮度的平均值的差值(绝对值)的总和给出。

在步骤S1301中，与根据第一实施例的步骤S201不计算子块评价值不同，但是在本实施例中，在稍后描述的步骤S1305中计算子块评价值。

步骤S1302与图2中的步骤S202类似，因此省略其描述。接下来，在步骤S1303中，控制单元803确定辨别信息是否满足特定条件。在满足特定条件(步骤S1303：是)的情况下，处理流程进行到步骤S1305，但是否则处理流程进行到步骤S1304。这里，与在根据第一实施例的步骤S401中相同，当作为基于以块为单位的图像质量指标确定块辨别信息的结果，确定要以子块为单位进行图像质量指标的评价时，满足该特定条件。

在步骤S1304中，因为确定了不进行以子块为单位的图像质量指标的评价，因此仅基于在步骤S1301中计算出的块评价值生成量化参数。另一方面，在步骤S1305中，因为确定了要进行以子块为单位的图像质量指标的评价，因此子块评价值计算单元805计算子块评价值。子块评价值与根据第一实施例的子块评价值类似，因此省略对其的进一步描述。

接下来，进行步骤S1306和步骤S1307。这些步骤分别与图4中的步骤S402和图2中的步骤S204类似，因此省略对其的进一步描述。

接下来，在步骤S1307中，确定针对帧中的所有块是否完成了编码。在针对所有块完成了编码(步骤S1307：是)的情况下，结束对该帧的编码处理，但是否则处理流程返回到步骤S1301以对下一个块进行编码。

在本实施例中，与第一实施例不同，仅在辨别信息满足特定条件的情况下，在步骤S1304中生成子块指标值。在辨别信息不满足特定条件的情况下，在确定量化参数时，不使用子块指标值。因此，总是计算子块指标值将是冗余的。在本实施例中，仅当要进行量化参数的确定时，子块评价值计算单元805工作，因此与第一实施例相比，实现了电力消耗的减少。

第四实施例

下面，描述根据第四实施例的图像处理装置。在该第四实施例中，图像处理装置的配置与图8所示的根据第三实施例的图像处理装置的配置相同。在本实施例中，在图13所示的流程图中例示的图像处理装置的操作处理中，计算块评价值的处理(在步骤S1301中)与第三实施例中的处理不同。

在步骤S1301中，块评价值计算单元801计算输入块的块评价值。对于用作块评价值的指标值，除了在第三实施例中使用的指标值之外，还如下确定指标值。也就是说，将关注的块进一步划分为M个子块，其中，M是等于或大于2的整数，并且针对各个子块确定指标值，并使用获得的所有指标值中的最小值作为块评价值。

在本实施例中，作为示例，而非限制，针对各个子块获取像素值的方差，并且选择获取的方差中的最小的方差作为指标值。在步骤S1305中，子块评价值计算单元805将输入块划分为N个子块，其中，N是大于M的整数，并且计算子块评价值。子块评价值计算单元805的其它操作处理与上述根据第三实施例的处理类似。步骤S1302中的处理和之后的处理与上述根据第三实施例的处理类似，因此省略对其的进一步描述。

通过根据针对各个子块计算出的指标值计算一部分或者全部块评价值，也就是说，通过改变在计算评价指标值时使用的块大小，能够依据输入图像对图像质量进行控制。

在本实施例中，与第二实施例不同，仅在辨别信息满足特定条件的情况下，在步骤S1304中生成子块指标值。在辨别信息不满足特定条件的情况下，在确定量化参数时，不使用子块指标值。因此，总是计算子块指标值是冗余的。在本实施例中，仅当要进行量化参数的确定时，子块评价值计算单元805工作，因此与第二实施例相比，实现了电力消耗的减少。

第五实施例

下面，描述根据第五实施例的图像处理装置。在该第五实施例中，图像处理装置的配置与图1所示的根据第一实施例的图像处理装置的配置相同。此外，根据本发明的图像处理装置的操作与根据第一实施例的图2、图3和图4中的流程图所示的操作类似，因此省略对其的进一步描述。

在本实施例中，评价值S₁和S₂以及相应的阈值阵列T₁和T₂与根据第一实施例的评价值S₁和S₂以及相应的阈值阵列T₁和T₂类似。然而，本实施例与第一实施例的不同之处在于，定义在辨别关注的块时使用的块属性类别的区域的数量不是72个，而是13个(区域R₁、R₂、...、R₁₃)。

在本实施例中，将由根据第一实施例的图7中的阈值阵列T₁和T₂定义的一些区域并入数量较小的较大的区域中，并且简单地通过与阈值进行比较来辨别关注的块，其结果是，与第一实施例相比，在大多数情况下减小处理负荷。更具体来说，在第一实施例中，进行多达72次的比较，以辨别关注的块为72个区域中的一个。另一方面，在本实施例中，如图10所示，仅进行多达13次的比较，以通过按照R₁、R₂、...、R₁₃的顺序依次与R₁、R₂、...、R₁₃进行比较，来辨别关注的块。在本实施例中，将一些区域并入总共13个较大的区域中，但是组的总数不限于13。相反，可以增加区域的数量，以使得能够更精细地控制图像质量。

第六实施例

在先前的实施例中，假设通过硬件来实现图1和图8所示的处理单元。作为另选方案，可以通过计算机程序来实现图1和图8所示的处理单元。

图14是例示可用作根据上述实施例中的一个的图像处理装置的计算机的硬件配置的示例的框图。CPU 1401使用存储在RAM 1402或者ROM1403中的计算机程序和数据，对计算机进行总体控制，并且执行根据上述实施例中的一个的图像处理装置的处理。也就是说，CPU 1401用作图1或者图8所示的处理单元。RAM 1402具有用于临时存储从外部存储设备1406加载的计算机程序或数据、经由接口(I/F)1407从外部获取的数据等的存储区域。RAM 1402还包括CPU 1401在执行各种处理时使用的工作区域。RAM 1402可以根据需要提供帧存储器、其它各种区域。在ROM 1403中，存储与计算机相关联的设置数据、引导程序等。操作单元1404包括键盘、鼠标等，并由计算机的用户用于向CPU 1401输入各种命令。显示单元1405输出CPU 1401进行的处理的结果。显示单元1405可以是诸如液晶显示器的显示装置。外部存储设备1406是以硬盘驱动器为代表的大容量信息存储装置。在外部存储设备1406中，存储操作系统(OS)、使得CPU 1401能够实现图1或者图8所示的功能的计算机程序等。外部存储设备1406可以用作用于存储要处理的各种类型的图像数据和/或作为处理结果输出的编码数据的存储装置。可以在CPU 1401的控制下，将存储在外部存储设备1406中的计算机程序、数据等加载到RAM1402中，并且由CPU 1401进行处理。I/F 1407可以连接到诸如LAN、因特网等的网络、诸如投影装置、显示装置等的各种装置，从而使得计算机能够经由I/F 1407输入和输出各种信息。上面描述的单元经由总线1408彼此连接。上面描述的操作中的一部分或者全部主要由CPU 1401根据图2、图3、图4和/或图13所示的流程图控制，从而实现上述功能中的一部分或者全部。

这些实施例使得能够针对不容易感知到视觉劣化的块减少代码量，而对劣化敏感的块分配大量代码，从而改善在视觉上可感知的图像质量。不针对所有块进行对子块水平的辨别，因此能够减小计算处理负荷，并且抑制为了实现高图像质量而处置的块的数量的增加。

其它实施例

本发明的实施例还能够由读出并执行记录在存储介质(例如非易失性计算机可读存储介质)上的用于执行本发明的一个或多个上述实施例的功能的计算机可执行指令的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质中读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令的方法来实现。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的一个或多个，并且可以包括单独的计算机或单独的计算机处理器的网络。例如可以从网络或存储介质向计算机提供计算机可执行指令。存储介质例如可以包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(例如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型例以及等同结构和功能。

Claims

1.一种图像处理装置，该图像处理装置包括：

评价单元，其被配置为基于与图像帧中的具有预定大小的块相对应的图像数据，确定所述块的评价值，并且基于与从所述块中划分的多个子块相对应的图像数据，确定所述多个子块的评价值；以及

确定单元，其被配置为基于所述块的评价值和所述多个子块的评价值，确定在对与所述块相对应的所述图像数据进行编码时使用的编码参数。

2.根据权利要求1所述的图像处理装置，其中，所述评价单元基于所述块中的多个像素的亮度的平均值与所述块中的所述多个像素中的各个的亮度的差的总和，来确定所述评价值。

3.根据权利要求1所述的图像处理装置，其中，所述评价单元基于第一评价参数和第二评价参数来确定所述评价值，所述第一评价参数基于所述块中的所述多个像素的亮度的所述平均值来确定，并且所述第二评价参数基于所述块中的所述多个像素中的各个的亮度与所述平均值的差的总和来确定。

4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

条件判断单元，其被配置为判断所述块的所述评价值是否满足第一条件，并且判断从所述块中划分的所述多个子块中的各个的所述评价值是否满足第二条件，

其中，所述确定单元确定从满足所述第一条件的所述块中划分的所述多个子块中的各个的编码参数，使得基于与比不满足所述第二条件的第二子块的图像数据低的图像质量相对应的编码参数，对满足所述第二条件的第一子块的图像数据进行编码。

5.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

大小获取单元，其被配置为获取与被配置为显示基于所述图像数据的图像的显示单元相关联的大小信息，以及

子块确定单元，其被配置为基于所述大小信息确定所述块被划分为的所述多个子块的大小，使得与在由所述大小获取单元获取的所述大小信息指示预定大小的情况下相比，在由所述大小获取单元获取的所述大小信息指示小于所述预定大小的大小的情况下，所述块被划分为的子块的数量更大。

6.根据权利要求1所述的图像处理装置，其中，在所述块的所述评价值满足预定条件的情况下，所述评价单元基于与所述块的所述多个子块相对应的所述图像数据，确定所述多个子块的所述评价值，而在所述块的所述评价值不满足所述预定条件的情况下，所述评价单元不确定所述块的所述多个子块的所述评价值。

7.根据权利要求1所述的图像处理装置，其中，

所述评价单元确定所述块的所述评价值，使得所述块的所述评价值是从所述块中划分的各个M个子块的评价值中的最小评价值，并且在所确定的从所述块中划分的所述块的评价值满足预定条件的情况下，所述评价单元确定从所述块中划分的N个子块中的各个的评价值，并且

所述确定单元基于所述N个子块中的各个的所述评价值，确定在对与所述块相对应的所述图像数据进行编码时使用的所述编码参数，

其中，M是等于或大于2的整数，并且N是大于M的整数。

8.一种图像处理方法，该图像处理方法包括：

基于与图像帧中的具有预定大小的块相对应的图像数据，确定所述块的评价值，并且基于与从所述块中划分的多个子块相对应的图像数据，确定所述多个子块的评价值；以及

基于所确定的所述块的评价值和所确定的所述多个子块的评价值，确定在对与所述块相对应的所述图像数据进行编码时使用的编码参数。

9.根据权利要求8所述的图像处理方法，其中，基于所述块中的多个像素的亮度的平均值与所述块中的所述多个像素中的各个的亮度的差的总和，来确定所述评价值。

10.根据权利要求8所述的图像处理方法，其中，基于第一评价参数和第二评价参数来确定所述评价值，所述第一评价参数基于所述块中的所述多个像素的亮度的所述平均值来确定，并且所述第二评价参数基于所述块中的所述多个像素中的各个的亮度与所述平均值的差的总和来确定。

11.根据权利要求8所述的图像处理方法，所述图像处理方法还包括：

判断所述块的所述评价值是否满足第一条件，并且判断从所述块中划分的所述多个子块的所述评价值是否满足第二条件，

其中，确定从满足所述第一条件的所述块中划分的所述多个子块中的各个的所述编码参数，使得基于与比不满足所述第二条件的第二子块的图像数据低的图像质量相对应的编码参数，对满足所述第二条件的第一子块的图像数据进行编码。

12.根据权利要求8所述的图像处理方法，所述图像处理方法还包括：

获取与被配置为显示基于所述图像数据的图像的显示单元相关联的大小信息，并且

基于所述大小信息确定所述块被划分为的所述多个子块的大小，使得与在所获取的大小信息指示预定大小的情况下相比，在所获取的大小信息指示小于所述预定大小的大小的情况下，所述块被划分为的子块的数量更大。

13.根据权利要求8所述的图像处理方法，其中，在确定所述评价值时，在所述块的评价值满足预定条件的情况下，基于与所述块的所述多个子块相对应的所述图像数据，确定所述多个子块的所述评价值，而在所述块的所述评价值不满足所述预定条件的情况下，不确定所述块的所述多个子块的所述评价值。

14.根据权利要求8所述的图像处理方法，其中，在确定所述评价值时，确定所述块的所述评价值，使得所述块的所述评价值是从所述块中划分的各个M个子块的评价值中的最小评价值，并且在所确定的所述块的评价值满足预定条件的情况下，确定从所述块中划分的N个子块中的各个的评价值，并且基于所述N个子块中的各个的所述评价值，确定在对与所述块相对应的所述图像数据进行编码时使用的所述编码参数，

其中，M是等于或大于2的整数，并且N是大于M的整数。