CN102905125B - 运动图像编码设备和运动图像编码方法 - Google Patents

Abstract

本发明涉及一种运动图像编码设备和运动图像编码方法。所述运动图像编码设备将图像划分为多个块，并且编码所述图像；确定要用于所述块的每一个的编码模式；对于在所确定的编码模式中编码的所述多个块的每一个的系数基于速率信息确定将所述块中的系数替换为“0”的位置；确定要处理的块是否是第一块，对于所述第一块，不允许参考向上相邻块的像素值；对于在被确定为所述第一块的所述块中进行正交变换或量化后的DC分量的块的系数，将所确定的位置改变为在其减少要被替换为“0”的系数的数量的位置；以及基于所改变的位置来替换在被确定为所述第一块的所述块中进行正交变换或量化后的DC分量的所述块的系数。

Description

运动图像编码设备和运动图像编码方法

技术领域

在此所述的实施例涉及运动图像编码设备和运动图像编码方法。

背景技术

一般而言，图像数据，特别是运动图像数据，具有大的数据量。因此，当从发送设备向接收设备发送图像数据时，或者当在存储单元中存储图像数据时，预先执行运动图像编码。“运动图像编码”表示用于将特定数据序列转换为另一个数据序列的编码处理，并且表示压缩数据量的处理。作为典型的运动图像编码方法，可以引用H.264/AVC（ITU-T H.264/ISO/IECMPEG-4AVC）。

运动图像信号具有亮度信号和色差信号。例如，对于YUV（YCbCr）信号执行运动图像编码。存在依赖于色差信号相对于亮度信号的信息量的色彩格式，即4:2:0、4:2:2和4:4:4等。

运动图像包括多个画面。在运动图像编码中，一般而言，画面被划分为多个块（宏块），并且，形成具有多个宏块的切片（slice）。宏块包括例如16×16像素。一个画面包括一个或多个切片。

根据H.264/AVC，为了符合在标准中定义的档次，存在一个画面被划分为多切片的情况。作为档次，可以引用例如高10档次或高4:2:2档次等的情况。

在包括H.264/AVC的运动图像编码中，当编码宏块时，一般地分类，存在两种类型的预测方法，即，帧内预测（内预测）和帧间预测（间预测）。

根据帧内预测，使用在帧中的目标宏块的周围像素，并且编码像素差。此时，不执行跨切片边界的预测。另一方面，根据帧间预测，参考已经编码的画面，并且，编码运动矢量和像素差。

存在依赖于编码方法的三种类型的画面。仅通过帧内预测来编码I画面。使用帧内预测和帧间预测来编码P画面，但是已经编码的画面的参考方向限于前向。使用帧内预测和帧间预测来编码B画面，并且作为用于已经编码的画面的参考方向，可以选择前向和后向两者。

接下来，将描述帧内预测。根据帧内预测，可以参考左、上和左上的相邻的已经编码的块的像素值。作为要用于编码亮度信号的编码方法，根据在帧内预测的各个块大小来从帧内16×16、帧内8×8和帧内4×4的编码模式进行选择。对于这些编码模式，分别规定了可以被参考以用于预测的相邻像素的方向。根据帧内16×16，可以从4个方向模式进行选择。根据帧内8×8和帧内4×4，可以从9个方向模式进行选择。

关于要用于编码色差信号的编码方法，在4:2:0格式的情况下仅以8×8块为单位来执行预测，并且，可以从4个方向模式选择预测方向。相同或类似的方式适用于4:2:2格式的情况。

图1A、1B、1C和1D描述了根据色差信号的帧内预测的预测方向，如在图1A、1B、1C和1D中所示，存在根据帧内预测的用于色差信号的4种类型的预测方向，即，周围像素平均预测（DC预测）（图1A）、水平预测（图1B）、垂直预测（图1C）和平面预测（图1D）。仅在周围像素平均预测（DC预测）的情况下，将内部像素划分为4×4块，并且在每一个块中，在参考上和左周围像素值的同时，获得平均值。以下，用于色差信号的帧内预测也被简称为“色差帧内”。

现在描述正交变换和系数切割。一般而言，在图像信号中，在相邻像素之间的相关高。当使用正交变换时，在变换系数的频率分量中出现偏移，并且，计算从低频向高频的各个系数。最低频率分量被称为直流（DC）分量，并且，其他分量被称为交流（AC）分量。

一般而言，高频分量（绝对值）小于低频分量（绝对值）。根据H.264/AVC，将离散余弦变换（DCT）或离散哈达马变换（DHT）用作正交变换，并且，以4×4像素为单位或以8×8像素为单位来执行正交变换。

图2描述了以4×4像素为单位的DCT的示例。在图2的示例中，将16×16像素亮度宏块11划分为16个4×4像素块，并且对于16个块的每一个执行DCT。在从DCT获得的块（例如，在图2中的块13）中，DC分量（在图2的示例中的20）的系数较大，而其他的AC分量系数较小。

在图2中描述的块12表示在DCT之前的4×4像素块。当对于块12的系数执行DCT时，将该系数变换为块13的系数。在块13中的左上系数对应于DC分量20的系数。

根据量化参数来量化在进行DCT后的系数。量化参数被设置使得可以保证指定的比特率。这样的控制方法被称为“速率控制”，并且根据测试模型5（TM5）的方法是其常见方法（参见URL：http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html）。

关于量化参数，在标准中确定最大值，并且，不允许设置大于最大值的值。因此，为了实现低视频速率操作，存在一种方法，其中，将变换系数强制地改变为“0”，同时图像质量因此变差。这样的方法被称为“系数切割”。系数切割表示将系数替换为“0”。

作为执行“系数切割”的技术，存在例如一种技术，其中，基于要处理的块的估计的代码量和目标代码量对于特定的块执行调整使得量化系数被替换为“0”。

专利文献

专利文献No.1：日本公开专利公布No.2010-87771

在“系数切割”的情况下，当切割低频的DC分量的系数时，图像质量相当大地变差。因此，一般而言，通过从高频的AC分量执行“系数切割”来降低在图像质量上的变差。图3描述了系数切割的一个示例。如图3中所述，将在块13中的AC分量21、22和23的系数替换为在块14中的“0”。在图3的示例中，对于在进行正交变换后的频率分量执行“系数切割”。然而，也可能对于在进行量化后的系数执行“系数切割”。

另一方面，正交变换方法根据各个“在帧内预测中的块大小”（即，“帧内块大小”）而不同如下。

根据如上所述的帧内16×16，执行4×4整数精度DCT。因此，编码总共16个块。然后，对于包括如此获得的16个DC分量的块执行进一步的4×4 DHT。因此，在该情况下，因此编码总共17个块。

根据如上所述的帧内8×8，将16×16宏块划分为4个8×8块，并且对于各个4个块执行8×8整数精度的DCT的正交变换。

根据如上所述的帧内4×4，将16×16宏块划分为16个4×4块，并且，对于各个16个块执行4×4整数精度DCT的正交变换。

根据如上所述的色差帧内，在4:2:0的情况下，宏块大小是8×8。因此，对于4个4×4块执行整数精度DCT的正交变换。而且，对于DC分量执行2×2 DHT。在4:2:2的情况下，宏块大小是8×16，并且，对于8个4×4块执行整数精度DCT的正交变换。而且，在该情况下，对于DC分量执行2×4 DHT。

图4描述了对于8×8像素宏块执行色差帧内的示例。在图4中描述的宏块31包括8×8像素。将宏块31划分为4个4×4块，并且对于4个块执行DCT处理。收集各个4个块41、42、43和44的DC分量，并且，产生块32。块32是包括2×2 DC分量的块。对于块32执行DHT，并且获得块33。在进行DHT后的块33的频率系数然后被量化和编码。

接下来，将描述在H.264/AVC的情况下的“切片划分”。图5描述了将1920×1088画面划分为4个切片的示例。一个切片包括一个或多个块。在此，为了简化说明，要编码的画面是包括切片的I画面。仅通过帧内预测来编码I画面。

根据H.264/AVC的标准，在高4:2:2档次中图像大小是1920×1088的情况下，将画面划分为4个或更多个切片。

在此，现在将考虑低于切片边界的宏块线。而且，可以将画面边界看作与切片边界相同或类似。边界分别在第0、第17、第34和第51宏块线上存在，如图5中所示。

关于低于各个切片边界的这些宏块线的每条，因为根据标准不允许跨切片边界的预测，所以不允许参考在向上的相邻块线上的宏块中的像素值。

因此，根据H.264/AVC的标准，选择了使用图1A和1B上述的“周围像素平均预测”或“水平预测”。在选择周围像素平均预测的情况下，因为不允许参考在向上相邻的块中的像素值，所以结果，仅参考在水平方向上的像素值，并且执行预测。结果，对于低于各个切片边界的宏块线，编码误差可能较为显著地出现。

根据色差帧内，如上所述，执行DCT和DHT的正交变换，并且除了AC分量的块之外存在其中收集DC分量的块。此时，在根据现有技术执行“系数切割”的情况下，也切割在DC分量中的系数。因此，编码误差可以更显著地出现。此外，也在帧内16×16的情况下，因为产生DC分量的块，所以在根据现有技术执行“系数切割”的情况下与在色差帧内中的问题相同的问题可能出现。

在以低比特率来执行编码的情况下，因为由“系数切割”引起的编码误差的影响，所以线形噪声（在图像质量上的变差）可能沿着块线边界可见。也关于P画面和B画面，因为可以执行“帧内预测”，所以相同的问题可能出现。

发明内容

因此，本公开旨在即使当以低比特率来执行控制时，也能改善块的图像质量，对于该块，不允许参考向上相邻的块的像素值。

根据本发明的一个实施例，一种运动图像编码设备包括：编码部，其被配置来将图像划分为多个块，并且编码所述图像的所述多个块；模式确定部，其被配置来确定所述块的每一个的编码模式；位置确定部，其被配置来对于根据由所述模式确定部确定的所述编码模式编码的所述块的系数基于速率信息确定将所述块的系数替换为“0”的位置；块确定部，其被配置来确定要处理的块是否是第一块，对于所述第一块，不允许参考向上相邻块的像素值；改变部，其被配置来对于在被确定为所述第一块的要处理的块中进行正交变换或量化后的DC分量的块的系数将由所述位置确定部确定的所述位置改变为在其减少要被替换为“0”的系数的数量的位置；以及系数切割部，其被配置来基于由所述改变部改变的所述位置来替换在被确定为所述第一块的要处理的块中进行正交变换或量化后的DC分量的所述块的系数。

附图说明

图1A、1B、1C和1D图示用于色差信号的帧内预测的预测方向；

图2描述了以4×4像素为单位的DCT的示例；

图3描述了系数切割的示例；

图4描述了对于8×8像素宏块执行色差帧内的示例；

图5描述了将1920×1088画面划分为4个切片的示例；

图6是根据本发明的实施例1的运动图像编码设备的配置的一个示例的框图；

图7是描述根据实施例1的改变部的配置的一个示例的框图；

图8A、8B、8C和8D描述了在级别上的系数切割的一个示例；

图9A和9B描述了系数切割位置改变的一个示例；

图10是描述根据实施例1的编码处理的一个示例的流程图；

图11是描述根据实施例1的改变处理的一个示例的流程图；

图12和13是描述根据实施例的1的编码模式改变处理的示例的流程图。

图14和15是描述根据实施例1的系数切割位置改变处理的示例的流程图；

图16是描述根据本发明的实施例2的运动图像编码设备的配置的一个示例的框图；

图17是描述根据实施例2的编码处理的一个示例的流程图；

图18是描述根据实施例2的由模式确定部执行的模式确定处理的一个示例的流程图；以及

图19是描述图像处理设备的配置的一个示例的框图。

具体实施方式

现在使用附图来详细描述本发明的实施例。

[实施例1]

<配置>

图6是描述根据本发明的实施例1的运动图像编码设备100的配置的一个示例的框图。在图6中描述的运动图像编码设备100包括预测误差信号产生部101、正交变换部102、量化/系数切割部103、熵编码部104、逆量化部105、逆正交变换部106、解码图像产生部107、解码图像存储部108、模式确定部109、边界确定部110、位置确定部111、改变部112和预测信号产生部113。下面将描述各个部分的功能。

预测误差信号产生部101将在输入图像数据中的要编码的画面划分为16×16像素块（宏块），并且获得要编码的块。预测误差信号产生部101使用要编码的块的块数据和从预测信号产生部113输出的预测图像的块数据来产生预测误差信号。预测误差信号产生部101向正交变换部102输出所产生的预测误差信号。

正交变换部102对于从预测误差信号产生部101获得的预测误差信号执行正交变换处理。正交变换部102向量化/系数切割部103输出包括由正交变换处理分离的水平和垂直方向的频率分量的频率信号。频率信号指示在正交变换后的系数。

量化/系数切割部103对于直到基于从改变部112获得的“系数切割位置”而指定的频率分量的、从正交变换部102获得的频率信号执行“系数切割”。“系数切割”表示如上所述的用于将系数替换为“0”的处理。“系数切割位置”是用于确定系数的位置，执行替换为“0”直到该系数。

量化/系数切割部103对于对其已经这样执行“系数切割”的频率信号执行量化，并且向熵编码部104和逆量化部105输出已经从而进行量化的信号（量化信号）。量化信号指示在进行量化后的系数。

熵编码部104对于从量化/系数切割部103获得的量化信号执行熵编码（可变长度编码），并且将如此编码的信号输出为流。“熵编码”表示用于根据符号出现的频率来分配可变长度代码的方法。

逆量化部105对于从量化/系数切割部103获得的量化信号执行逆量化。逆量化部105向逆正交变换部106输出已经进行了逆量化的频率信号。

逆正交变换部106对于从逆量化部105获得的频率信号执行逆正交变换处理。逆正交变换部106向解码图像产生部107输出已经进行逆正交变换处理的信号。逆量化部105和逆正交变换部106因此本地执行解码处理。通过这个解码处理，可以获得等于在编码前的预测误差信号的信号。

解码图像产生部107将作为从预测信号产生部113获得的预测信号的块数据和从由逆量化部105和逆正交变换部106执行的解码处理获得的预测误差信号相加在一起。解码图像产生部107通过相加处理来产生对于当前的要编码的画面预测的块数据（解码图像），并且向解码图像存储部108输出所产生的块数据。

解码图像存储部108将从解码图像产生部107获得的块数据存储为新参考画面数据。解码图像存储部108向模式确定部109和预测信号产生部113输出作为解码图像的参考画面数据。

模式确定部109确定例如在I画面的情况下的“在帧内预测中的块大小”。特定的确定方法是一种用于计算在各个编码模式中获得的预测图像的块和要编码的块之间的“绝对差的和”（SAD），并且选择SAD变为最小的编码模式的方法。

此外，模式确定部109例如在P画面或B画面的情况下通过与在帧间预测中的SAD作比较来确定帧内预测或帧间预测，并且向改变部112输出所确定的编码模式。

边界确定部110获得边界位置信息和要编码的块的位置信息，并且确定要编码的块是否低于特定边界。边界确定部向改变部112输出确定结果。

边界位置信息是用于指示画面或切片的边界位置的信息。切片的边界位置信息可以作为用户在编码时确定如何划分画面的结果被设置，或者可以根据编码标准基于要在一个切片中包括的宏块的数量被设置。

此外，边界确定部110可以向改变部112输出作为确定结果的标记信息。标记信息可以当要编码的块低于特定边界时具有值“1”，并且当要编码的块不低于特定边界时具有值“0”。替代地，边界确定部110可以向改变部112输出作为确定结果的位置信息。位置信息可以指示要编码的块相对于特定边界在什么位置。

特定边界例如是切片边界或画面边界，并且指示使得不允许参考与其相邻的向上的块的像素值的边界。在切片边界的情况下，根据编码标准，不允许参考跨切片边界的向上的相邻像素值。在画面边界的情况下，参考向上的相邻的像素值是不可能的，因为没有向上的相邻的像素值。

位置确定部111在当使用通过速率控制计算的量化参数时已经基于速率信息确定不可能满足指定的目标速率的情况下确定是否执行“系数切割”。基于通信带等来确定速率信息。

在执行“系数切割”的情况下，位置确定部111确定系数切割位置，并且向改变部112输出用于指示所确定的系数切割位置的信息（也可以被称为“系数切割位置信息”）。

基于从边界确定部110获得的确定结果、从位置确定部111获得的系数切割位置信息和所确定的编码模式，改变部112确定是否改变编码模式和系数切割位置。

图7是根据实施例1的改变部112的一个示例的框图。改变部112包括模式改变部201和位置改变部202。

模式改变部201基于所确定的编码模式、边界确定部110的确定结果信息（例如，用于指示要编码的块是否低于特定边界的标记信息）和系数切割位置信息来确定是否改变由模式确定部109确定的编码模式。

在其中例如（称为“条件1”）要编码的块低于特定边界，所确定的编码模式是帧内16×16的编码模式，并且已经设置了执行“系数切割”的位置（系数切割位置）的情况下，模式改变部201将当前编码模式改变为特定编码模式。特定编码模式例如是除了帧内16×16的当前编码模式之外的帧内8×8的编码模式或帧内4×4的编码模式。

上述的“条件1”是从通过逻辑与操作组合的下面的条件获得的条件。

-要编码的块低于特定边界。

-所确定的编码模式是帧内16×16的编码模式。

-要执行“系数切割”。

为什么当满足条件1时改变编码模式的原因是为了防止对于DC分量的块执行“系数切割”的目的。模式改变部201向预测信号产生部113输出改变的编码模式。

在已经确定未满足条件1的情况下，模式改变部201向预测信号产生部113原样输出由模式确定部109确定的编码模式。

位置改变部202基于用于指示要编码的块是否低于特定边界的标记信息、系数切割位置信息和所确定的编码模式来改变系数切割位置。例如，在其中所确定的编码模式是“色差帧内”，要编码的块低于特定边界，并且要执行“系数切割”的情况下，位置改变部202改变系数切割位置信息，使得可以减少在DC分量的块上的“系数切割”的数量。

例如，位置改变部202改变系数切割位置信息，使得可以减少要替换为“0”的系数的数量。替代地，位置改变部202可以改变系数切割位置，使得可以不对于DC分量的块执行“系数切割”。

对于DC分量的块，位置改变部202向量化/系数切割部103输出如此改变的系数切割位置信息。对于除了DC分量的块之外的块，位置改变部202例如不改变系数切割位置信息，并且向量化/系数切割部103输出还没有被改变的系数切割位置信息。

注意，位置改变部202可以对于亮度信号和色差信号两者执行系数切割位置改变。在模式改变部201不执行上述的模式改变处理的情况下，对于亮度信号和色差信号两者执行系数切割位置改变。

另一方面，在模式改变部201执行上述的模式改变处理的情况下，足够的是，位置改变部202对于色差信号执行系数切割位置改变，因为对于在特定边界下的块的亮度信号不产生DC分量的块（因为作为上述的模式改变处理的结果，要通过除了帧内16×16的编码模式之外的编码模式执行编码）。

图8A、8B、8C和8D描述了在级别上的“系数切割”的一个示例。图8A、8B和8C分别描述了位置（级别0）、位置（级别2）和位置（级别4）的情况的示例。在图8A、8B和8C中（也对于下述的图9A和9B相同），被填充半色调点的系数是要被替换为“0”（进行“系数切割”）的那些。

例如，将考虑在图8D中所述的、其中纵轴y＝0至3并且横轴x＝0至3的4×4的块的情况。此时，每一个位置[x][y]将被x+y表达。然后，如图8D中所述，例如，左上位置被“0”（＝0+0）表达，并且右下位置被“6”（＝3+3）表达。

假定用于指示“系数切割位置”的级别被N（0至4）表示，并且在位置[x][y]处的频率信号将被频率信号[x][y]表示。量化/系数切割部103当已经获得作为系数切割位置信息的级别N时执行“系数切割”如下。

当N＝1时，将在x+y=6的位置处的频率信号[x][y]替换为“0”。

当N＝2时，将在x+y=5至6的各个位置处的频率信号[x][y]替换为“0”（参见图8B）。

当N＝3时，将在x+y=4至6的各个位置处的频率信号[x][y]替换为“0”。

当N＝4时，将在x+y=3至6的各个位置处的频率信号[x][y]替换为“0”（参见图8C）。

当N＝0时，不执行“系数切割”（参见图8A）。

图9A和9B描述了系数切割位置改变的一个示例。在图9A和9B中所述的示例中，对于在图9A中描述的DC分量51的块，位置改变部202将系数切割位置从级别4改变为级别2。在图9B中描述的DC分量52的块是在进行系数切割位置改变后的块。如图9A和9B中所述，位置改变部202可以对于DC分量的系数减少要替换为“0”的系数的数量。

返回图6，预测信号产生部113基于从改变部112获得的编码模式和从解码图像存储部108获得的解码图像来产生预测信号。预测信号产生部113向预测误差产生部101和解码图像产生部107输出所产生的预测信号。

由此，有可能对于对其不允许参考向上相邻的块的像素值的块减少被执行“系数切割”的DC分量的数量。因此，有可能改善图像质量。因此，在特定边界处，有可能即使在使得执行“系数切割”的低速率控制时减少线形噪声。

<操作>

接下来，将描述根据本发明的实施例1的运动图像编码设备100的操作。图10是描述根据实施例1的编码处理的一个示例的流程图。在图10中描述的处理是要对于每一个块执行的编码处理。

在步骤S101中，边界确定部110基于边界位置信息和要编码的块的位置信息确定要编码的块相对于特定边界的位置，并且向改变部112输出确定结果。确定结果是用于指示要编码的块是否是低于特定边界的块的标记信息等。

此外，位置确定部111从速率信息确定系数切割位置，并且向改变部112输出系数切割位置信息。例如，位置确定部111在已经确定不可能通过经由速率控制计算的量化参数满足指定目标速率的情况下确定是否执行“系数切割”。

位置确定部111可以将在量化参数变为标准的量化参数的最大值时相对于阈值的最大值的连续出现的次数用作确定参考。作为具体示例，量化参数的最大值的连续出现的次数被QP_COUNT表示，并且，用于确定系数切割位置的参数被QP_TH表示。在该情况下，位置确定部111可以通过下面的公式（1）来获得系数切割位置：

“系数切割位置”＝QP_COUNT/QP_TH    ...(1)

作为QP_COUNT和QP_TH的具体值，通过实验等来设置适当值。

作为另一种方法，位置确定部111可以通过下述方式来确定系数切割位置：累积已经编码的宏块的信息量，并且确定每一个宏块的目标速率的阈值被超过多少。例如，位置确定部111可以通过下面的公式(2)和(3)来确定系数切割位置。

“宏块的信息量的平均值”＝“宏块的累积信息量”/“累积的宏块的数量”                        ...（2）

“系数切割位置”＝αד宏块的信息量的平均值”/“每一个宏块的目标速率”

                          ...(3)

α表示用于调整的系数，并且，通过实验等来设置其适当值。

一般，位置确定部111确定系数切割位置使得从最高频率分量逐渐地执行“系数切割”。例如，位置确定部111可以使用由使用例如图8A、8B、8C、8D、9A和9B上述的级别N表达的系数切割位置。在这个示例中，如图8A、8B和8C中所述，系数切割位置变得越大，则被替换为“0”的系数的数量变得越大。

在步骤S102中，模式确定部109例如对于I画面确定在帧内预测中的块大小。模式确定部109可以计算在各个编码模式中获得的预测图像的块和要编码的块之间的绝对差（SAD）的和，并且选择对于其SAD变为最小的编码模式。

此外，在P画面或B画面的情况下，模式确定部109执行与在帧间预测中SAD的比较，并且确定是否使用帧内预测或帧间预测。模式确定部109向改变部112输出所确定的编码模式。在该情况下，在各个编码模式中的SAD值被表达如下：

SAD 8×8：在帧内8×8中的SAD值

SAD 4×4：在帧内4×4中的SAD值

SAD 16×16：在帧内16×16中的SAD值

SAD帧间：在帧间预测中的SAD值

然后，在该情况下，模式确定部109获得

Min(SAD inter、Min(SAD 16×16、Min(SAD 8×8、SAD 4×4)))

模式确定部109然后在该情况下选择与Min(SAD inter、Min(SAD 16×16、Min(SAD 8×8、SAD 4×4)))对应的编码模式。注意，“Min(A、B)”表示A和B的各个值的最小者。

在步骤S103中，改变部112从自边界确定部110获得的位置信息、所确定的编码模式和系数切割位置信息确定是否改变编码模式。改变部112向预测信号产生部113输出基于确定结果确定的编码模式。

改变部112从自边界确定部110获得的位置信息、改变部112已经如此确定的编码模式和系数切割位置信息确定是否改变系数切割位置。改变部112向量化/系数切割部103输出已经根据确定而改变或未改变的系数切割位置信息。下面将描述步骤S103的细节。

在步骤S104中，预测信号产生部113基于根据由改变部112进行的确定而已经改变或未改变的编码模式和解码的图像来产生预测信号。预测信号产生部113向预测误差信号产生部101输出所产生的预测信号。

预测误差信号产生部101计算在要编码的块（原始图像）和预测信号之间的差，并且产生预测误差信号。所产生的预测信号被正交变换部102进行正交变换，并且因此变为频率信号。

在步骤S105中，量化/系数切割部103使用系数切割位置信息（已经根据由改变部112进行的确定而改变或未改变）作为阈值来对于在进行正交变换后或在进行量化后的频率信号（系数）执行“系数切割”。量化/系数切割部103例如对于在正交变换后的频率信号执行“系数切割”。

量化/系数切割部103获得由系数切割位置信息指示的“系数切割”的级别，并且根据所获得的级别来执行“系数切割”。例如，量化/系数切割部103根据由系数切割位置信息指示的级别N来执行“系数切割”，如在图8A、8B、8C和8D中所述。

量化/系数切割部103对于已经进行了正交变换和“系数切割”的频率信号执行使用预定量化步长Q（对应于上述的量化参数）的量化。替代地，量化/系数切割部103可以对于已经进行正交变换的频率信号执行量化，然后，对于已经因此进行量化的信号执行“系数切割”。

在步骤S106中，熵编码部104对于从量化/系数切割部103获得的量化信号执行熵编码（可变长度编码），并且将编码的信号输出为流。

在步骤S107中，逆量化部105、逆正交变换部106和解码图像产生部107产生解码的图像。

具体地说，逆量化部105对于从量化/系数切割部103获得的量化信号执行逆量化。逆量化部105向逆正交变换部106输出已经进行了逆量化的频率信号。

逆正交变换部106产生从作为被执行的正交变换的逆变换的结果执行的解码处理获得的预测误差信号，并且向解码图像产生部107输出预测误差信号。

解码图像产生部107将作为从预测信号产生部113获得的预测信号的块数据和已经进行了由逆量化部105和逆正交变换部106执行的解码处理的预测误差信号相加在一起，并且产生解码的图像。

已经进行了解码处理的块数据的图像数据被存储在解码图像存储部108中。解码图像存储部108将本地解码的块数据（解码的图像）存储为新参考画面数据，并且将其向模式确定部109和预测信号产生部113输出。

（改变处理）

接下来，将描述在步骤S103中的改变处理。图11是描述根据实施例1的改变处理的一个示例的流程图。在图11的步骤S201中，边界确定部110确定要编码的块是否是低于特定边界的块。当要编码的块低于特定边界时（步骤S201的是），处理进行到步骤S202。当要编码的块不低于特定边界时（步骤S201的否），不执行改变处理。

特定边界指示使得不允许参考与其相邻的向上的块的像素值的边界，并且例如是画面边界或切片边界。

在步骤S202中，模式改变部201基于所确定的编码模式、边界确定部110的确定结果和系数切割位置信息来执行包括关于是否改变所确定的编码模式的确定的编码模式改变处理。将在下面描述编码模式改变处理的细节。

在步骤S203中，位置改变部202基于系数切割位置信息、所确定的编码模式和边界确定部110的确定结果来执行包括关于是否改变系数切割位置信息的确定的系数切割位置改变处理。将在下面描述系数切割位置改变处理的细节。

由此，有可能对于低于诸如画面边界或切片边界的特定边界的块执行编码模式改变处理和系数切割位置改变处理。

（编码模式改变处理）

接下来，将描述编码模式改变处理。图12是描述根据实施例1的编码模式改变处理的示例的流程图。在图12的步骤S301中，模式改变部201确定当前编码模式是否是帧内16×16的编码模式。当当前编码模式是帧内16×16的编码模式时（步骤S301的是），处理进行到步骤S302。当当前编码模式不是帧内16×16的编码模式时（步骤S301的否），不改变当前编码模式。

在步骤S302中，模式改变部201基于系数切割位置信息来确定是否要执行“系数切割”。当要执行“系数切割”时（步骤S302的是），处理进行到步骤S303。当不执行“系数切割”时（步骤S302的否），不改变当前的编码模式。

在步骤S303中，模式改变部201获得当模式确定部109已经确定编码模式时已经使用的编码模式，将SAD 4×4（即，在帧内4×4中的SAD）与SAD 8×8（即，在帧内8×8中的SAD）作比较，并且确定SAD 4×4是否更小。

当SAD 4×4更小时（步骤S303的是），处理进行到步骤S304。当SAD4×4大于或等于SAD 8×8时（步骤S303的否），处理进行到步骤S305。

在步骤S304，模式改变部201将当前编码模式改变为帧内4×4。

在步骤S305中，模式改变部201将当前编码模式改变为帧内8×8。注意，可以省略步骤S302。

由此，有可能防止对于低于特定边界的块选择其中产生DC分量的块的帧内16×16的编码模式。

图13是用于描述根据实施例1的编码模式改变处理的另一个示例的流程图。步骤S401和S402与图12的步骤S301和S302相同或类似，因此，将省略其重复的描述。

当步骤S402的确定结果为是时，模式改变部201将当前编码模式改变为帧内8×8的编码模式。注意，可以省略步骤S402。

这是因为由于在帧内16×16的情况下包括在块中的像素值被估计为平坦，所以假定通过帧内8×8而不是帧内4×4来获得较高的效率。因此，有可能省略获得编码代价并且确定编码模式的处理。

（系数切割位置改变处理）

接下来，将描述系数切割位置改变处理。图14是描述根据实施例1的系数切割位置改变处理的示例的流程图。在图14的步骤S501中，位置改变部202确定当前编码模式是否是色差帧内。即，位置改变部202确定当前编码模式是否是用于色差信号的帧内预测。

当当前编码模式是色差帧内时（步骤S501的是），处理进行到步骤S502。当当前编码模式不是色差帧内时（步骤S501的否），不改变系数切割位置。

在步骤S502中，因为当当前编码模式是色差帧内时没有改变编码模式的空间，位置改变部202改变系数切割位置。此时，位置改变部202分别单独改变DC分量的块和AC分量的块的系数切割位置。

关于用于AC分量的块的系数切割位置信息，位置改变部202向量化/系数切割部103原样地输出由位置确定部111确定的系数切割位置。关于用于DC分量的块的系数切割位置信息，位置改变部202选择系数切割位置使得用于AC分量的块的系数切割位置变得大于或等于（≧）用于DC分量的块的系数切割位置。注意如上所述，系数切割位置变得越大，则替换为“0”的系数的数量变得越大。

因此，位置改变部202改变用于DC分量的块的系数切割位置，以例如满足下面的公式（4）：

“用于DC分量的块的系数切割位置”＝“用于AC分量的块的系数切割位置”/“位置调整参数”           ...(4)

对于“位置调整参数”，通过实验等来设置比“1”大的适当值（例如“2”）。

图15是描述根据实施例1的系数切割位置改变处理的另一个示例的流程图。图15的步骤S601与图14的步骤S501相同或类似，因此，将省略其重复说明。

在步骤S602中，位置改变部202预先对于用于DC分量的块的系数切割位置设置最大值MAXDC_TH（阈值）。位置改变部202确定用于AC分量的块的系数切割位置是否大于阈值MAXDC_TH。当满足该条件时（步骤S602的是），处理进行到步骤S603。当未满足这个条件时（步骤S602的否），不改变系数切割位置。

在步骤S603中，位置改变部202将用于DC分量的块的系数切割位置改变为阈值MAXDC_TH。汇总步骤S602和S603，位置改变部202通过下面的公式（5）来获得用于DC分量的块的系数切割位置：

“用于DC分量的块的系数切割位置”＝MIN(MAXDC_TH，“用于AC分量的块的系数切割位置”)

而且，除了图14和15的上述方法之外，位置改变部202可以执行使得不切割任何DC分量的操作。不切割任何DC分量表示没有系数要被替换为“0”。通过这些方法，如图9A和9B中所述，改变用于DC分量的系数切割位置使得减少被替换为“0”的系数的数量。进一步注意，替代地，位置改变部202可以增加用于AC分量的、要被替换为“0”的系数的数量，以补偿如上所述的不对于DC分量执行“系数切割”。

注意，在低于特定边界的宏块线上，作为通过根据实施例1的上述方法减少被替换为“0”的系数的数量的结果，信息量与正常的“系数切割”方式相比而言变大。然而，有可能作为增大由位置确定部111对于接着的宏块线确定的系数切割位置的级别N的结果来控制整个信息量。

因此，根据实施例1，有可能改善在不允许参考向上的相邻块的像素值的块中的图像质量。由此，有可能甚至在使得执行“系数切割”的低速率控制时减少在画面或切片边界上的线形噪声。

[实施例2]

接下来，将描述根据本发明的实施例2的运动图像编码设备300。根据实施例2，当确定要使用的编码模式时，在要编码的块低于特定边界的情况下，确定使用除了分离为DC分量和AC分量的各个块的编码模式之外的编码模式。

<配置>

图16是描述根据实施例2的运动图像编码设备300的配置的一个示例的框图。在图16的配置中，向与在图6中描述的那些部分相同或类似的部分提供相同的附图标号，并且将省略其重复说明。

模式确定部301基于要编码的块的块数据、画面信息（用于指示要编码的块是I画面、P画面或B画面的）、解码图像和由边界确定部110获得的位置信息来确定要使用的编码模式。在例如要编码的块是I画面并且是低于特定边界的块的情况下，当执行正交变换时，模式确定部301选择和确定使用除了其中将要编码的块分离为DC分量的块和AC分量的块的编码模式之外的编码模式。

在该情况下，假定作为示例的H.264/AVC，模式确定部301确定使用除了16×16大小的帧内编码模式（帧内16×16）之外的编码模式。除了帧内16×16之外的编码模式例如包括8×8大小的帧内编码模式（帧内8×8）和4×4大小的帧内编码模式（帧内4×4）。

对于帧内8×8和帧内4×4的各个编码模式，模式确定部301将在要编码的块和预测图像之间的绝对差的和（SAD）彼此作比较，并且确定使用具有较小的SAD的编码模式。模式确定部301向预测信号产生部113和改变部302输出所确定的编码模式。

改变部302基于从边界确定部110获得的位置信息、所确定的编码模式和系数切割位置信息来执行系数切割位置改变处理。改变部302的系数切割位置改变处理与如上所述根据实施例1的位置改变部202的系数切割位置改变处理相同或类似。

由此，使得由模式确定部301执行的缩小编码模式及确定要使用的编码模式更容易，因此，可以减少信息处理量。此外，因为使用由模式确定部301确定的编码模式来执行编码，所以改变部302不必执行编码模式改变处理，诸如如上所述的实施例1的图11的步骤S202的编码模式改变处理，并且因此，可以减少信息处理量。

<操作>

接下来，将描述根据实施例2的运动图像编码设备300的操作。图17是描述根据实施例2的编码处理的一个示例的流程图。步骤S701与图10的步骤S101相同或类似。

在步骤S702中，模式确定部301例如对于I画面确定在帧内预测中的块大小。在其中要编码的块的位置低于特定边界的情况下，模式确定部301选择除了用于分离为AC分量的块和DC分量的块以执行编码的编码模式之外的编码模式。为了这个目的，模式确定部301计算在各个编码模式中获得的预测图像的块和要编码的块之间的绝对差的和（SAD），并且选择具有最小SAD的编码模式。

此外，在P画面或B画面的情况下，模式确定部301执行与在帧间预测中的SAD的比较，并且确定是否使用帧内预测或帧间预测。此时，在要编码的块低于特定边界的情况下，模式确定部301确定使用例如帧内16×16之外的编码模式。将使用图18来下面描述模式确定部301的这个编码模式确定处理的细节。模式确定部301向改变部302和预测信号产生部113输出所确定的编码模式。

在步骤S703，改变部302执行在图14或图15中描述的系数切割位置改变处理。

步骤S704和随后的步骤与图10的步骤S104和随后步骤相同或类似，并且因此，将省略其重复描述。

（编码模式确定处理）

接下来，将描述由模式确定部301执行的编码模式确定处理。图18是用于描述根据实施例2的由模式确定部301执行的编码模式确定处理的一个示例的流程图。

在步骤S801中，模式确定部301确定要编码的块是否是低于特定边界的块（以下也被称为特定块）。当要编码的块是特定块时（步骤S801的是），处理进行到步骤S802。当要编码的块不是特定块时（步骤S801的否），处理进行到步骤S805。

步骤S802至S804与图12的步骤S303至S305相同或类似，并且因此将省略其重复说明。

在步骤S805中，模式确定部301确定具有对于各个编码模式计算的编码代价的最小者的编码模式。

由此，对于低于画面边界或切片边界的宏块不选择分离为AC分量和DC分量以执行编码的模式。因此，减少其中对于DC分量执行“系数切割”的情况，并且有可能甚至以低速率控制来改善图像质量。

注意，在上述实施例1和2中，也可能仅对于I画面执行上述的改变处理，并且/或者，也可能仅对于B画面不执行上述的改变处理。

[实施例3]

图19是描述图像处理设备400的配置的一个示例的框图。图像处理设备400是作为各个实施例上述的运动图像编码设备的一个示例。如图19中所述，图像处理设备400包括控制部401、主存储部402、辅助存储部403、驱动单元404、网络I/F部406、输入部407和显示部408。各个部分和单元通过总线410相互连接，使得它们可以相互地执行数据发送和接收。

控制部401是在计算机中的中央处理单元（CPU），用于执行各个部分和单元的控制，并且对于数据执行逻辑和/或算术运算或修改数据。此外，控制部401是算术和逻辑运算单元，其执行在主存储部402或辅助存储部403中存储的运动图像编码程序，从输入部407或存储部分接收数据，对于数据执行算术和/或逻辑运算或修改数据，并且向显示部408或存储部分输出数据。

控制部401通过执行运动图像编码程序来实现根据实施例1和2上述的运动图像编码处理。

主存储部402是只读存储器（ROM）或随机存取存储器（RAM）等，并且是存储或暂时保持诸如作为控制部401执行的基本软件的操作系统（OS）、应用软件的程序（其可以包括运动图像编码程序）和数据的存储器。

辅助存储部403是：硬盘驱动器（HDD）等；以及存储器，其存储关于应用软件等的数据。

驱动单元404从诸如软盘的记录介质405读取程序（其可以是运动图像编码程序），并且在存储部中安装该程序。

此外，记录介质405存储特定程序（其可以是运动图像编码程序），并且经由驱动单元404在图像处理设备400中安装在记录介质405中存储的特定程序。图像处理设备400可以执行在图像处理设备400中如此安装的特定程序。

网络I/F部406是用于在图像处理设备400和外围设备之间的通信的接口，该外围设备具有通信功能并且经由使用诸如有线或无线电路或线路的数据传输路径建立的局域网（LAN）或广域网（WAN）等的网络连接。

输入部407具有：键盘，其包括光标键、数字输入和各种功能按键等；鼠标，用于选择在显示部408的屏幕上的按键；以及滑动板等。此外，输入部407作为用户界面，其使得用户提供操作指令和向控制部401输入数据等。

显示部408包括阴极射线管（CRT）或液晶显示器（LCD）等，并且根据由控制部401输入的显示数据来执行显示。

因此，在实施例中上述的运动图像编码处理可以被实现为要由计算机执行的运动图像编码程序。可以作为从服务器等安装并且通过计算机执行运动图像编码程序的结果来实现上述的图像编码处理（包括运动图像编码处理）或图像解码处理。

此外，也可能运动图像编码程序被存储在记录介质405中，通过计算机或便携终端来读取其中存储运动图像编码程序的记录介质405，并且通过计算机或便携终端来实现上述的图像编码处理（包括运动图像编码处理）或图像解码处理。注意，作为记录介质405的具体示例，可以引用各种类型的记录介质，例如：用于光学地、电子地或磁地记录信息的记录介质、诸如致密盘只读存储器（CD-ROM）、软盘和磁光盘等；半导体存储器，用于电子地记录信息，诸如只读存储器（ROM）和快闪存储器等。此外，可以在一个或多个集成电路中实现上面对于各个实施例描述的上述的图像编码处理（包括运动图像编码处理）或图像解码处理。

本公开旨在改善不允许参考向上相邻的块的像素值的块的图像质量，即使当以低比特率执行控制时。

在此所述的所有示例和条件语言意欲用于教育目的，以帮助读者明白本发明和由发明人为了将本领域发展而贡献的概念，并且被解释为不限于这样的具体描述的示例和条件，在说明书的这样的示例的组织也不涉及本发明的优劣的示出。虽然已经详细描述了本发明的实施例，但是应当明白，可以在不偏离本发明的精神和范围的情况下对于其进行各种改变、替代和更改。

Claims (6)

1.一种运动图像编码设备，包括：

编码部，其被配置来将图像划分为多个块，并且编码所述图像的所述多个块；

模式确定部，其被配置来对于所述多个块的每一个确定要由所述编码部使用的编码模式；

预测信号产生部，其被配置来基于所确定的编码模式和解码图像产生所述多个块的要处理的块的预测信号；

预测误差信号产生部，其被配置来基于所述要处理的块的块数据和所述预测信号产生预测误差信号；

正交变换部，其被配置来基于通过对所述预测误差信号执行正交变换而得到的系数产生直流分量的块和交流分量的块；

量化部，其被配置来执行包括在所述直流分量的块和交流分量的块中的系数的量化；

位置确定部，其被配置来对于所述系数基于速率信息确定将所述块的系数替换为“0”的位置；

块确定部，其被配置来确定所述多个块的要处理的块是否是第一块，对于所述第一块，不允许参考向上相邻块的像素值；

改变部，其被配置来对于在被确定为所述第一块的所述要处理的块中进行正交变换或量化后的DC分量的块的系数改变由所述位置确定部确定的所述位置，以减少要被替换为“0”的系数的数量；以及

系数切割部，其被配置来基于由所述改变部改变的所述位置来替换在被确定为所述第一块的所述要处理的块中进行正交变换或量化后的DC分量的所述块的系数。

2.根据权利要求1所述的运动图像编码设备，其中

在要用于编码所述要处理的块的所述编码模式是用于分离为DC分量的块和AC分量的块以执行所述编码的第一编码模式的情况下，所述改变部被配置来将要用于编码所述要处理的块的所述第一编码模式改变为在除了所述第一编码模式之外的多个编码模式中的编码模式。

3.根据权利要求2所述的运动图像编码设备，其中

所述改变部被配置来将要用于编码所述要处理的块的所述第一编码模式改变为在除了所述第一编码模式之外的一个或多个编码模式中具有最低编码代价的编码模式。

4.根据权利要求1所述的运动图像编码设备，其中

所述模式确定部被配置来获得所述块确定部的确定结果，并且在所述要处理的块是所述第一块的情况下确定使用在多个编码模式中的、除了分离为DC分量的块和AC分量的块以执行所述编码的第一编码模式之外的编码模式。

5.根据权利要求1至4的任何一项所述的运动图像编码设备，其中

所述第一块是低于切片边界的块。

6.一种运动图像编码方法，包括：

将图像划分为多个块，并且编码所述图像的所述多个块；

对于所述块的每一个确定要用于所述编码的编码模式；

基于所确定的编码模式和解码图像产生所述多个块的要处理的块的预测信号；

基于要处理的块的块数据和所述预测信号产生预测误差信号；

基于通过对所述预测误差信号执行正交变换而得到的系数产生直流分量的块和交流分量的块；

执行包括在所述直流分量的块和交流分量的块中的系数的量化；

对于所述系数，基于速率信息确定将所述块的系数替换为“0”的位置；

确定所述多个块的要处理的块是否是第一块，对于所述第一块，不允许参考向上相邻块的像素值；

对于在被确定为所述第一块的所述要处理的块中进行正交变换或量化后的DC分量的块的系数，改变所确定的位置以减少要被替换为“0”的系数的数量；以及

基于所改变的位置来替换在被确定为所述第一块的所述要处理的块中进行正交变换或量化后的DC分量的所述块的系数。