CN102883159B - 图像编码方法以及图像解码方法 - Google Patents

Abstract

提供进行编码效率更高的帧内预测的图像编码方法。以块为单位对图像数据进行编码的图像编码方法包含∶预测步骤，预测对象块，从而生成预测块；减法步骤，算出对象块和预测块之间的差分；编码步骤，对在减法步骤算出的差分进行编码；解码步骤，对编码后的差分进行解码；以及加法步骤，对解码后的差分和预测块进行加法运算，从而生成解码块；预测步骤包含∶边缘检测步骤，检测在对应于与对象块邻近的块的、已经生成的解码块内与像素值的梯度正交的边缘的方向；以及预测块生成步骤，沿着检测出的边缘的方向，对对应于与对象块邻近的块中包含的像素的、已经生成的解码图像数据进行外插或内插，从而生成预测块。

Description

图像编码方法以及图像解码方法

本申请是于2009年9月10日进入中国国家阶段的国际申请号为PCT/JP2009/000150、中国申请号为200980000159.0的申请的分案申请

技术领域

本发明涉及∶以更佳的编码效率来对图像以及视频数据进行压缩编码的图像编码方法；将压缩编码后的图像以及视频数据复原的图像解码方法；对应的图像编码装置以及图像解码装置。

背景技术

包含通过互联网的视频会议、数字视频广播以及用于视频内容的流播放(streaming)的、例如用于视频点播类型的服务的应用程序的数量越来越增加，这些应用程序依赖于视频信息的发送。在视频数据被发送或被记录时，大量数据通过带宽有限的以往的传输路被发送，或者，大量数据被记忆在数据容量有限的以往的存储介质中。为了向以往的传输通道以及存储介质发送以及记忆视频信息，而必要压缩或减少数字数据量。

于是，为了视频数据的压缩，而开发了多个视频编码标准。这些视频编码标准是，例如，以H．26x来示出的ITU(国际电信联盟)－T标准，以及以MPEG(运动图像专家组)－x来示出的ISO／IEC(国际标准化组织／国际电工委员会)标准。目前，最新且最先进的视频编码标准是，以H．264／MPEG－4AVC来示出的标准(参见非专利文献1)。

成为几乎所有的这些标准的基础的编码方法，基于包含以以下的(a)～(d)来示出的主要阶段的预测编码。

(a)为了以块级来对各个视频帧进行数据压缩，而将视频帧分割为像素的块。

(b)通过根据预先编码后的视频数据预测各个块，从而确定时间以及空间冗余度。

(c)通过从视频数据减去预测数据，从而去除确定了的冗余度。

(d)通过进行傅立叶变换、量化以及熵编码，从而压缩剩余的数据。

在当前的视频编码标准中，用于预测各个宏块的预测模式不同。大部分的视频编码标准，为了根据已经编码以及解码的帧预测视频数据，而利用运动检测以及运动补偿(帧间预测)。或者，也可以对相同帧的相邻的块进行外插来得到块数据(帧内预测)。H．264／AVC标准，例如，对用于进行外插的参考像素、或对像素被进行外插的方向，定义不同的几种帧内预测模式。

图1A以及图1B是示出按照H．264／AVC标准来规定的帧内预测模式的图。如图1A示出，通过对位于被预测的对象块10的上方和左方的13个参考像素20进行外插，从而预测4×4像素的对象块10。通过进行该预测，从而生成与对象块10相对应的预测块。此时，为了执行外插，图1B所示的可取的八个外插方向(帧内预测方向)之中的一个被选择。或者，也可以直流预测模式被选择。在直流预测模式中，为了预测对象块10而利用参考像素的平均值。

在帧内预测中，为了减少存在于自然图像中的空间冗余度，而执行4×4、8×8或16×16像素的尺寸的子块的空间预测。为了预测对象块的像素值，而利用已被编码的周边块的像素值(参考像素的像素值)。根据预先定义的预测模式，对这些参考像素进行外插。在H．264／AVC标准中，为了4×4以及了8×8尺寸的子块而存在九个预测模式，为了16×16像素尺寸的宏块而存在四个预测模式。

针对比8×8像素小的子块，九个预测模式由适于预测方向性构造的八个预测方向(参见图1B)、和所谓直流预测模式构成。在直流预测模式中，以作为周边参考像素的平均值的单一值来，预测对象块的所有的像素。在方向模式中，参考像素沿着对应的方向被重复。例如，在垂直模式的情况下，紧靠对象块的上方的行的参考像素在垂直方向被重复(被进行外插)。另一方面，在水平模式的情况下，紧靠对象块的左方的列的像素在水平方向被重复(被进行外插)。剩余的模式是，同样派生出的斜方向模式。

非专利文献1∶ISO／IEC14496－10“MPEG－4Part10AdvancedVideoCoding”

但是，在以往的技术中存在的问题是，在对象块中包含锐利的直线的边缘、且不能生成适当的预测块的情况下，代码量增多、或在编码图像内产生失真。具体而言，存在以下的问题。

以往的预先定义的帧内预测方向有限。也就是，帧内预测方向被限制为图1B示出的八个方向。因此，在所述以往的技术中，只能执行基于八个方向之中的任一个方向的帧内预测。

在有锐利的直线的边缘的情况下，从图1B的八个方向中选择具有与边缘的角度最接近的角度的帧内预测模式，根据被选择的方向的预测模式，预测对象块。但是，在预测模式的角度与边缘的真正的角度稍微不同的情况下，预测块中还包含与边缘的实际方向不同方向的边缘。因此，在从对象块减去预测块而算出的差分图像中，尤其在最远离参考像素的像素产生大的高频成分。

对于高频成分，通常，为了进行编码而需要很多比特，因此发生的代码量增多。或者，若为了抑制代码量的发生而削减高频成分，在编码图像内则产生失真。

发明内容

于是，为了解决所述问题，本发明的目的在于，提供对图像以及视频数据进行编码的图像编码方法、和对所编码的图像以及视频数据进行解码的图像解码方法，使得实现更高的编码效率、抑制编码失真。

为了解决所述问题，本发明的图像编码方法，以块为单位对图像数据进行编码，所述图像编码方法包含∶分割步骤，将所述图像数据分割为多个块；预测步骤，预测对象块，从而生成预测块，所述对象块是所述多个块之中的一个块；减法步骤，算出所述对象块和所述预测块之间的差分；编码步骤，对在所述减法步骤算出的差分进行编码；解码步骤，对在所述编码步骤编码后的差分进行解码；以及加法步骤，对在所述解码步骤解码后的差分和所述预测块进行加法运算，从而生成解码块，所述预测步骤包含∶边缘检测步骤，检测在对应于与所述对象块邻近的块的、已经生成的解码块内与像素值的梯度正交的边缘的方向；以及预测块生成步骤，沿着在所述边缘检测步骤检测出的边缘的方向，对对应于与所述对象块邻近的块中包含的像素的、已经生成的解码图像数据进行外插或内插，从而生成所述预测块。

据此，能够将在对象块的周边的块检测出的边缘的方向作为预测方向来生成预测块。因此，特别是，在对象图片包含锐利的边缘的情况下，能够生成比利用以往的预先定义的方向预测模式而生成的预测块更适当的预测块。据此，由于作为对象块和预测块之间的差分的预测残差变小，因此能够抑制编码失真，并且，能够提高编码效率。

并且，也可以是，在所述预测块生成步骤中，对所述解码图像数据进行线形的外插或内插，从而生成所述预测块。

并且，也可以是，在所述预测块生成步骤中，以构成所述预测块的预测像素为单位，算出所述解码图像数据中包含的多个解码像素的像素值之中的至少二个解码像素的像素值的加权加法总和，对算出的加权加法总和进行外插或内插，从而生成所述预测块；用于算出所述加权加法总和的权重是根据在所述边缘检测步骤检测出的边缘的方向而被决定的。

据此，在通过作为预测值的算出的对象的预测像素、且在检测出的边缘的方向的直线上没有整数像素的情况下，通过算出近旁的像素的加权加法总和，从而也能够算出适当的预测值。

并且，也可以是，所述权重的每一个与所述预测像素的位置相对应而被决定。具体而言，也可以是，所述权重的每一个的值被决定为，所述预测像素和用于生成预测块的所述解码像素之间的距离越小，值就越大。

并且，也可以是，在所述边缘检测步骤中，检测具有相互不同的方向的至少二个边缘各自的方向；在所述预测块生成步骤中，以所述预测像素为单位，合成用于沿着所述至少二个边缘的各个方向进行外插或内插的、所述多个解码像素的像素值，对合成后的像素值进行外插或内插，从而生成所述预测块。

据此，在对象块的周边的块中检测出多个边缘的情况下，也能够沿着多个边缘的每个方向算出预测值，因此能够算出适当的预测值。

并且，也可以是，在所述预测块生成步骤中，以所述预测像素为单位，所述多个解码像素的像素值的每一个乘以权重来算出所述加权加法总和，对算出的所述加权加法总和进行外插或内插，从而生成所述预测块；所述权重的每一个的值被决定为，从与该权重相对应的解码像素、到所述至少二个边缘之中的任一方被检测出的解码块的距离越小，值就越大。

并且，也可以是，所述权重的每一个的值被决定为，从与该权重相对应的解码像素、到所述至少二个边缘之中的任一方的延长线的距离越小，值就越大。

并且，也可以是，所述预测步骤还包含预测模式选择步骤，从包含边缘预测模式的多个预测模式中选择一个预测模式；在所述预测块生成步骤中，在所述边缘预测模式被选择的情况下，沿着以所述边缘检测模式检测出的边缘的方向，对所述解码图像数据进行外插或内插，从而生成所述预测块。

据此，在检测出边缘的情况下，能够执行沿着边缘的方向进行外插或内插的边缘预测模式；在没有检测到边缘的情况下，能够执行通常的预测模式。

并且，也可以是，所述多个预测模式还包含直流预测模式和预先定义的多个方向预测模式；在所述预测块生成步骤中，在所述直流预测模式被选择的情况下，算出所述解码图像数据的平均值，从而生成所述预测块，在所述多个方向预测模式之中的一个被选择的情况下，沿着与被选择的方向预测模式相对应的方向，对所述解码图像数据进行外插，从而生成所述预测块。

并且，也可以是，在所述预测模式选择步骤中，在所述边缘检测步骤检测出边缘的方向的情况下，从所述边缘预测模式和所述多个方向预测模式中选择一个预测模式；在所述边缘检测步骤没有检测到边缘的方向的情况下，从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

据此，在检测出边缘的情况下，能够选择边缘预测模式和方向预测模式，以作为预测模式的候补的最佳的预测模式；在没有检测到边缘的情况下，能够选择直流预测模式和方向预测模式，以作为预测模式的候补的最佳的预测模式。而且，在检测出边缘的情况下，通常对象块为平坦的可能性低，且以直流预测模式生成的预测块和对象块之间的差分变大。据此，在检测出边缘的情况下，因编码效率变低而直流预测模式被选择的情况几乎没有，因此能够从预测模式的候补中排除直流预测模式。

并且，也可以是，在所述编码步骤中，进一步，在所述预测模式选择步骤选择所述多个方向预测模式之中的一个的情况下，对示出被选择的方向预测模式的模式指示进行编码；在所述直流预测模式或所述边缘预测模式被选择的情况下，对示出所述直流预测模式以及所述边缘预测模式之中的任一个模式的模式指示进行编码。

据此，由于能够将以往的示出直流预测模式的信息作为示出边缘预测模式的信息利用，因此，在编码时不需要重新对示出边缘预测模式的信息进行编码，能够提高编码效率。如上所述，在像检测出边缘的情况等那样的、边缘预测模式会被选择的情况下，直流预测模式被选择的可能性低。并且，在直流预测模式会被选择的情况下，边缘预测模式被选择的可能性也低。据此，由于作为预测模式的候补需要边缘预测模式和直流预测模式这两者的情况几乎没有，因此也能够将示出直流预测模式的信息作为示出边缘预测模式的信息分配。

并且，也可以是，在所述预测模式选择步骤中，在所述边缘检测步骤检测出边缘的方向、且检测出的边缘的方向指向所述对象块的情况下，从所述边缘预测模式和所述多个方向预测模式中选择一个预测模式；在所述边缘检测步骤没有检测到边缘的方向的情况下，或者，在检测出边缘的方向、且检测出的边缘的方向不指向所述对象块的情况下，从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

并且，也可以是，所述边缘检测步骤包含∶梯度矢量算出步骤，算出对应于与所述对象块邻近的块的、且与已经生成(编码以及解码)的解码块的多个像素的每一个相对应的梯度矢量；矢量判定步骤，判定在所述梯度矢量算出步骤算出的梯度矢量中是否存在满足条件的至少一个梯度矢量，该条件为范数(norm)超过预先规定的阈值、且与该梯度矢量正交的正交矢量指向所述对象块；以及边缘方向决定步骤，在所述矢量判定步骤判定为满足所述条件的梯度矢量存在至少一个的情况下，检测与满足所述条件的至少一个梯度矢量正交的正交矢量的方向作为边缘的方向。

据此，由于不是根据对象块检测出边缘，而利用周边的块能够检测出边缘，因此不需要将示出边缘的方向的信息等对边缘预测模式需要的信息传输到解码器方。因此，能够更提高编码效率。

并且，也可以是，在所述边缘方向决定步骤中，根据满足所述条件的至少一个梯度矢量中具有最大的范数的梯度矢量的方向，检测所述边缘的方向。

并且，也可以是，在所述边缘方向决定步骤中，根据将满足所述条件的至少一个梯度矢量中至少一个梯度矢量的方向平均化而得到的方向，检测所述边缘的方向。

并且，本发明的图像解码方法，以块为单位对包含编码后的预测残差的图像数据进行解码，所述图像解码方法包含∶解码步骤，对对象块的所述预测残差进行解码；预测步骤，预测所述对象块，从而生成预测块；加法步骤，对在所述预测步骤所生成的预测块、和在所述解码步骤解码后的预测残差进行加法运算，从而生成解码块，所述预测步骤包含∶边缘检测步骤，检测在对应于与所述对象块邻近的块的、已经生成的解码块内与像素值的梯度正交的边缘的方向；以及预测块生成步骤，沿着在所述边缘检测步骤检测出的边缘的方向，对对应于与所述对象块邻近的块中包含的像素的、已经生成的解码图像数据进行外插或内插，从而生成所述预测块。

据此，能够将在对象块的周边的块检测出的边缘的方向作为预测方向来生成预测块。因此，特别是，在对象图片包含锐利的边缘的情况下，能够生成比利用以往的预先定义的方向预测模式而生成的预测块更适当的预测块。据此，由于作为对象块和预测块之间的差分的预测残差变小，因此能够抑制编码失真。

并且，也可以是，在所述预测块生成步骤中，以构成所述预测块的预测像素为单位，算出所述解码图像数据中包含的多个解码像素的像素值之中的至少二个解码像素的像素值的加权加法总和，对算出的加权加法总和进行外插或内插，从而生成所述预测块；用于算出所述加权加法总和的权重是根据在所述边缘检测步骤检测出的边缘的方向而被决定的。

据此，在通过作为预测值的算出的对象的预测像素、且在检测出的边缘的方向的直线上没有整数像素的情况下，通过算出近旁的像素的加权加法总和，从而也能够算出适当的预测值。

并且，也可以是，在所述边缘检测步骤中，检测具有相互不同的方向的至少二个边缘各自的方向；在所述预测块生成步骤中，以所述预测像素为单位，合成用于沿着所述至少二个边缘的各个方向进行外插或内插的、所述多个解码像素的像素值，对合成后的像素值进行外插或内插，从而生成所述预测块。

据此，在对象块的周边的块中检测出多个边缘的情况下，也能够沿着多个边缘的每个方向算出预测值，因此能够算出适当的预测值。

并且，也可以是，所述预测步骤还包含预测模式选择步骤，从包含边缘预测模式的多个预测模式中选择一个预测模式；在所述预测块生成步骤中，在所述边缘预测模式被选择的情况下，沿着以所述边缘检测模式检测出的边缘的方向，对所述解码图像数据进行外插或内插，从而生成所述预测块。

据此，在检测出边缘的情况下，能够执行沿着边缘的方向进行外插或内插的边缘预测模式；在没有检测到边缘的情况下，能够执行通常的预测模式。

并且，也可以是，在所述预测模式选择步骤中，在所述边缘检测步骤检测出边缘的方向的情况下，从所述边缘预测模式和所述多个方向预测模式中选择一个预测模式；在所述边缘检测步骤没有检测到边缘的方向的情况下，从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

据此，在检测出边缘的情况下，能够选择边缘预测模式和方向预测模式，以作为预测模式的候补的最佳的预测模式；在没有检测到边缘的情况下，能够选择直流预测模式和方向预测模式，以作为预测模式的候补的最佳的预测模式。

并且，也可以是，所述图像数据还包含示出预测模式的预测模式指示；在所述预测模式选择步骤中，在所述预测模式指示示出所述直流预测模式或所述边缘预测模式的情况下，进一步，在所述边缘检测步骤检测出边缘的方向的情况下，选择所述边缘预测模式，在所述边缘检测步骤没有检测到边缘的方向的情况下，选择所述直流预测模式。

据此，由于能够将以往的示出直流预测模式的信息作为示出边缘预测模式的信息，来对编码后的比特流准确地进行解码，因此，在编码时不需要重新对示出边缘预测模式的信息进行编码，能够提高编码效率。

并且，也可以是，所述边缘检测步骤包含∶梯度矢量算出步骤，算出对应于与所述对象块邻近的块的、且与已经生成的解码块的多个像素的每一个相对应的梯度矢量；矢量判定步骤，判定在所述梯度矢量算出步骤算出的梯度矢量中是否存在满足条件的至少一个梯度矢量，该条件为范数超过预先规定的阈值、且与该梯度矢量正交的正交矢量指向所述对象块；以及边缘方向决定步骤，在所述矢量判定步骤判定为满足所述条件的梯度矢量存在至少一个的情况下，检测与满足所述条件的至少一个梯度矢量正交的正交矢量的方向作为边缘的方向。

据此，由于不是根据对象块检测出边缘，而利用周边的块能够检测出边缘，因此不从编码器方传输示出边缘的方向的信息等对边缘预测模式需要的信息，也能够对比特流准确地进行解码。

而且，除了可以以图像编码方法以及图像解码方法来实现本发明以外，还可以以将该图像编码方法以及图像解码方法中包含的各个步骤作为处理单元的图像编码装置以及图像解码装置来实现本发明。并且，也可以以使计算机执行这些步骤的程序来实现本发明。进而，也可以以记录有该程序的计算机可读的CD－ROM(CompactDisc-ReadOnlyMemory∶光盘只读存储器)等的录介质、以及示出该程序的信息、数据或信号来实现本发明。而且，当然可以将这些程序、信息、数据以及信号，经由互联网等通信网络分发。

并且，也可以构成所述的图像编码装置以及图像解码装置的构成要素的一部分或全部，由一个系统LSI(LargeScaleIntegration∶大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，系统LSI是由微处理器、ROM以及RAM(RandomAccessMemory∶随机存取存储器)等构成的计算机系统。

根据本发明，由于能够更正确地预测对象块，因此能够抑制编码失真，且能够提高编码效率。

附图说明

图1A是示出适用根据以往的H．264／AVC标准的帧内预测的、对象块和参照像素的关系的一个例子的图。

图1B是示出根据以往的H．264／AVC标准的帧内预测组中包含的预测方向的图。

图2是示出进行本实施例的混合编码的图像编码装置的结构的一个例子的方框图。

图3是示出本实施例的图像编码装置包括的帧内预测模式决定部的详细结构的一个例子的图。

图4是示出检测边缘、且推测检测出的边缘的方向的方法的概要图。

图5是示出本实施例的图像解码装置的结构的一个例子的方框图。

图6是示出本实施例的图像解码装置包括的帧内预测部的详细结构的一个例子的方框图。

图7是示出本实施例中的边缘检测处理的流程图。

图8是示出本实施例中的预测模式组的决定处理的流程图。

图9是示出基于本实施例中的帧内预测的图像或视频数据的编码处理的流程图。

图10是示出本实施例中的边缘的角度的算出处理的流程图。

图11A是示出利用本实施例中的已经编码以及解码的图像数据的外插、且根据边缘预测模式来生成预测块的处理的概要图。

图11B是示出示出利用本实施例中的已经编码以及解码的图像数据的外插、且根据边缘预测模式来生成预测块的处理的不同概要图。

图12是示出示出利用本实施例中的已经编码以及解码的图像数据的内插的边缘预测的概要图。

图13是示出通过本实施例中的边缘预测模式来生成预测块的方法的流程图。

图14是示出根据基于本实施例中的至少二个边缘的边缘预测模式来生成预测块的方法的概要图。

图15是示出根据本实施例中的帧内预测对图像以及视频数据进行解码的处理的流程图。

图16是示出本实施例中的帧内预测方法的流程图。

图17A是示出Foreman序列(CIF)的开头的10帧的速率／失真曲线的图。

图17B是示出Spincalendar序列(720p)的速率／失真曲线的图。

图18是示出利用边缘预测模式而编码的块的比率和比特率减少率的图。

图19是示出进行本实施例的图像编码装置的不同结构的一个例子的方框图。

图20是示出本实施例中的存储器所存储的像素的一个例子的概要图。

符号说明

10对象块

20参考像素

30周边块

40、41、61、62边缘

50、51、52、65、66边缘的方向

63、64对象像素

71、72像素群

100、500图像编码装置

101、304帧存储器

102减法部

103频率转换部

104量化部

105、505可变长度编码部

106、301反量化部

107、302反频率转换部

108、303加法部

109、509参考图片存储器

110、510帧内预测模式决定部

111运动检测部

112、305帧内预测部

113、306运动补偿部

114、115、308、309开关

116，307控制部

117概率表保持部

118编码模式判定部

120差分编码部

130差分解码部

201、401边缘检测部

202、402方向判定部

203、403范数判定部

204预测模式组决定部

205预测模式选择部

300图像解码装置

404预测模式判定部

405预测块生成部

519阈值决定部

具体实施方式

本实施例的图像解编码装置以及图像解码装置也可以利用一种边缘预测模式，在该边缘预测模式中，在对图像以及视频数据进行编码以及解码时，检测位于对象块的周边的周边块中包含的边缘，利用检测出的边缘的方向，以作为帧内预测方向。也就是，在本实施例中，在通过帧内预测对包含锐利的边缘的图片进行编码时，能够进行考虑到边缘的方向的帧内预测编码。

图2是示出进行本实施例的混合编码的图像编码装置100的结构的一个例子的方框图。该图示出的图像编码装置100包括帧存储器101、减法部102、频率转换部103、量化部104、可变长编码部105、反量化部106、反频率转换部107、加法部108、参考图片存储器109、帧内预测模式决定部110、运动检测部111、帧内预测部112、运动补偿部113、开关114和115、控制部116、概率表保持部117、以及编码模式决定部118。而且，如图2示出，差分编码部120包含频率转换部103和量化部104。并且，差分解码部130包含反量化部106和反频率转换部107。

以下，按照图像编码装置100对由多个帧构成的输入视频数据进行编码时的工作，说明各个处理部的处理。

输入视频数据的各个图片被存储在帧存储器101中。各个图片被分割为多个块，并以块为单位(例如，以水平16像素、垂直16像素的宏块为单位)从帧存储器101被输出。而且，输入视频数据也可以是逐行(Progressive)方式以及交错(Interlace)方式之中的任一方。

通过帧内预测模式或帧间预测模式的任一方来编码各个宏块。首先，说明通过帧内预测模式来编码对象宏块的情况。

在帧内预测模式(帧内预测)的情况下，从帧存储器101输出的宏块，输入到帧内预测模式决定部110(此时，控制部116使开关114连接于端子“a”)。帧内预测模式决定部110，决定对输入后的宏块如何执行帧内预测。具体而言，帧内预测模式决定部110，需要决定帧内预测块尺寸(以下的尺寸之中的一个∶水平4像素×垂直4像素，水平8像素×垂直8像素，水平16像素×垂直16像素)、和帧内预测方向，以作为帧内预测模式(IPM∶Intra－PredictionMode)。对于帧内预测模式决定部110的详细结构，在后面利用图3进行说明。

例如，也可以是，利用参考像素20，并根据预先定义的八个帧内预测方向，预测图1A示出的对象块10(水平4像素×垂直4像素)。在此假设，用于帧内预测的参考像素20(在图1A中，在对角方向带阴影线的四角形)，已被编码以及解码，并且被存储在参考图片存储器109。示出所决定的帧内预测模式IPM的信息，被输出到帧内预测部112和编码模式决定部118。

帧内预测部112，根据帧内预测模式决定部110所决定的帧内预测模式IPM，从参考图片存储器109取得用于帧内预测的参考像素(帧内参考像素)。而且，帧内预测部112，通过对参考像素的像素值进行外插或内插，从而生成所帧内预测的图像IP，并且，将生成的帧内预测图像IP输出到减法部102(此时，控制部116使开关114连接于端子“a”)。

减法部102，从帧存储器101接受输入视频数据中包含的图片的宏块(对象宏块)、以及帧内预测部112所生成的帧内预测图像IP。而且，减法部102，通过算出对象宏块和帧内预测图像IP之间的差分(也记载为预测残差)，从而生成差分图像，并且，将生成的差分图像输出到频率转换部103。

频率转换部103，通过对减法部102所生成的差分图像执行离散余弦转换等的频率转换，从而生成频率转换系数，并且，将生成的频率转换系数输出。

量化部104，将频率转换部103所生成的频率转换系数量化，并将量化后的频率转换系数QT输出。在此，量化是，频率转换系数除以预先设定的值(量化步骤)的处理。假设，由控制部116提供该量化步骤(也可以是，输入到控制部116的控制信号CTL中包含量化步骤)。量化频率转换系数QT，被输出到可变长编码部105和反量化部106。

反量化部106，将量化频率转换系数QT反量化，将反量化后的频率转换系数输出到反频率转换部107。此时，与由量化部104的量化时所使用的量化步骤相同的量化步骤，从控制部116输入到反量化部106。

反频率转换部107，通过对反量化后的频率转换系数进行反频率转换，从而生成所解码的差分图像LDD。反频率转换部107，将生成的解码差分图像LDD输出到加法部108。

加法部108，通过对解码差分图像LDD和预测图像IP或MP进行加法运算，从而生成解码图像LD。加法部108，将生成的解码图像LD存储到参考图片存储器109。在以后的编码中使用参考图片存储器109所存储的解码图像LD，以作为参考图像。

可变长编码部105，对从量化部104输入的量化频率转换系数QT执行可变长编码，对经由编码模式决定部118从帧内预测模式决定部110输入的示出帧内预测模式IPM的信息进行同样的处理，从而输出也被参考为编码序列的比特流。

在此，作为用于可变长编码部105的可变长编码方法的一种方法有，编码运动图像的国际标准H．264中采用的上下文自适应算术编码方法。上下文自适应算术编码方法是，根据可变长编码的对象数据和已经执行可变长编码(上下文自适应)的数据，切换用于进行算术编码的概率表的方法。例如，利用用于帧内预测的块尺寸、和用于频率转换的块尺寸等，以作为用于执行量化频率转换系数QT的可变长编码的上下文。在此，概率表保持部117保持概率表。

其次，说明通过帧间预测模式来编码对象宏块的情况。

在帧间预测模式(帧间预测)的情况下，从帧存储器101输出的宏块，输入到运动检测部111(此时，控制部116使开关114连接于端子“b”)。运动检测部111，针对输入后的宏块，检测针对参考图片(参考图片存储器109所保持的所重构的图片，且与所编码的图片不同的图片)的运动(运动矢量)。一般而言，在运动检测中选择以下示出的运动矢量。也就是，具有所编码的块和预测图像之间的最小差分值、和运动矢量的代码量的权重的最小总和的运动矢量。所检测的运动矢量，被输出到运动补偿部113和编码模式决定部118。

运动补偿部113，根据运动检测部111所决定的运动矢量，从参考图片存储器109取得用于帧间预测的参考图像(帧间参考图像)。而且，运动补偿部113，生成预测图像MP，并将生成的预测图像MP输出到减法部102(此时，控制部116使开关114连接于端子“b”)。

减法部102、频率转换部103、量化部104、反量化部106、反频率转换部107、以及加法部108所执行的处理，与在帧内预测的情况下说明了的处理相同。因此，在此省略对于这些处理的说明。

编码模式决定部118，利用帧内预测模式决定部110、运动检测部111、量化部104、帧存储器101、以及加法部108等的输出，决定所编码的宏块的编码模式。在此，将图片内预测编码和图片间预测编码之中的任一方，用于编码对象的宏块的编码。一般而言，编码模式决定部118，通过选择具有使所生成的比特量和编码失真的权重总和为最小的值的编码模式，从而决定编码模式。在选择作为编码模式的图片内预测编码的情况下，编码模式决定部118，将编码模式MD、和示出帧内预测模式IPM的信息(帧内预测块尺寸、帧内预测方向等)输出到可变长编码部105。另一方面，在选择作为编码模式的图片间预测编码的情况下，编码模式决定部118，将编码模式MD和运动矢量MV输出到可变长编码部105。

例如，也可以是，为了决定用于编码对象块的最佳预测模式，而用H．264标准的比特率和编码失真的成本函数被利用。针对各个预测模式，差分图像被正交转换、被量化、被可变长编码。而且，针对各个预测模式，计算比特率和编码失真。而且，作为成本函数，例如利用公式1所示的拉格朗日(Lagrange)成本函数J。

(公式1)

J=D+λ·R

在公式1中∶R为用于编码差分图像(也记载为预测残差)和预测模式信息的比特率；D为编码失真；λ为按照为了编码而选择的量化参数QP来算出的拉格朗日乘数。编码模式决定部118，选择使最低的成本函数J变为最低的预测模式，以作为预测对象块时的预测模式。

而且，编码模式决定部118包括存储器，该存储器为了选择最佳的预测模式而暂时存储成本函数J。

可变长编码部105，对从量化部104输入的量化频率转换系数QT、从编码模式决定部118输出的编码模式MD、以及帧内预测模式IPM或运动矢量MV执行可变长编码，并输出比特流。

在此，在可变长编码部105利用上下文自适应算术编码对运动矢量MV进行编码的情况下，可以利用变更概率表的方法，该概率表依赖于编码后的周边块的运动矢量的尺寸(上下文)。在此，概率表保持部117保持概率表。

预测模式，为了在解码器(例如，后述的图像解码装置300(参见图5))方再现在视频数据的编码处理中由编码器(图像编码装置100)方所执行的预测，而包含解码器所需要的全部信息。因此，预测模式，以宏块为单位定义编码模式，即，定义帧内预测以及帧间预测之中的哪一方被适用。进而，预测模式包含关于宏块如何被子分割了的信息。根据H．264／AVC，例如在帧内预测的情况下，也可以由16×16像素构成的宏块被子分割为8×8或4×4像素的块。

依赖编码模式，预测模式还包含用于运动补偿的运动矢量的组、或确定为了对对象块进行帧内预测而适用了的帧内预测模式的信息。

接着，利用图3说明本实施例的内预测模式决定部110的详细结构。

图3是示出帧内预测模式决定部110的详细结构的一个例子的方框图。如该图示出，帧内预测模式决定部110包括边缘检测部201、方向判定部202、范数判定部203、预测模式组决定部204、以及预测模式选择部205。

边缘检测部201，从参考图片存储器109读出参考图像，检测读出的参考图像中包含的边缘。例如，边缘检测部201，算出参考图像的梯度矢量场，并评价给予边缘的最大值的梯度的范数，从而进行检测。边缘的方向是，与对应的梯度的方向正交的矢量的方向。

而且，用于边缘检测处理的参考图像是，属于与对象块直接相邻的块的像素中的、已被编码以及解码的块中包含的像素。利用公式2示出的垂直以及水平索贝尔(Sobel)算子，并根据邻近像素算出梯度值。

(公式2)

${\mathrm{Sobel}}_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ ${\mathrm{Sobel}}_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

边缘检测部201，以像素为单位，利用垂直索贝尔算子以及水平索贝尔算子，从而分别算出对应的像素的垂直方向以及水平方向的梯度的大小(梯度值)。通过进行算出的垂直方向以及水平方向的梯度值的矢量合成等，从而决定每个像素的梯度的方向。

图4是示出检测边缘、且推测检测出的边缘的方向的方法的概要图。向左下方向带阴影线的区域示出，为了计算梯度而考虑的周边块30的像素。边缘检测部201，针对图4的向左下方向带阴影线的像素的每一个，利用公式2算出梯度值。而且，根据算出的梯度值算出梯度的方向，决定与梯度的方向正交的方向，以作为边缘的方向。将此时与梯度的方向正交的方向的矢量，也记载为边缘矢量。而且，边缘矢量的范数，例如，与检测出该边缘矢量的像素的边梯度矢量的范数相同。

反回到图3，方向判定部202，判定边缘检测部201检测出的边缘的方向，是否指向帧内预测的对象块。例如，在检测出图4示出的边缘40的情况下，由于对象块10中包含边缘40的延长线，因此，方向判定部202，判定为边缘40指向帧内预测的对象块10。另一方面，在检测出图4示出的边缘41的情况下，由于对象块10中不包含边缘40的延长线，因此，方向判定部202，判定为边缘40不指向帧内预测的对象块10。

范数判定部203，算出由方向判定部202判定为指向帧内预测的对象块的边缘的范数，判定算出的范数是否大于预先设定的阈值。边缘的范数是，边缘矢量或梯度矢量的范数。范数判定部203，在算出的范数大于阈值的情况下，判定为检测出边缘。在算出的范数在阈值以下的情况下，判定为没有检测到边缘。而且，例如，此时所利用的阈值，通过比较不同的最大矢量范数、和包含锐利的边缘以及平滑的区域这两者的不同序列之间的差异，并根据经验，从而被选择。

预测模式组决定部204，按照是否检测出边缘，决定在编码对象块时利用的预测模式的组。具体而言，决定是与以往相同由直流预测模式和八个方向模式组成的预测模式组(以往的预测模式组)、还是由边缘预测模式和八个方向模式组成的预测模式组(新的预测模式组)。

在边缘矢量的范数在阈值以下的情况下，由于没有检测到边缘，因此，预测模式组决定部204，决定H．264视频编码标准中所利用的以往的九个预测模式组，以作为能够利用的预测模式组。

在边缘矢量(或者，梯度矢量)的范数为大于阈值的情况下，由于检测出边缘，因此，预测模式组决定部204，决定新的预测模式组，以作为能够利用的预测模式组。而且，在检测出边缘的情况下，由于对象块处于包含方向性强的构造的倾向，因此，可以认为直流预测模式不是适于预测对象块的候补。因此，直流预测模式被置换为边缘预测模式。然而，H．264视频编码标准的剩余的八个预测模式组被保持。它们是，尤其在之前的块(检测出边缘的块)和对象块之间变更了边缘的方向时有用的。

预测模式选择部205，从预测模式组决定部204所决定的预测模式组中选择一个预测模式组。

如上所述，本实施例的图像编码装置100包括新的边缘预测模式，，以作为在编码对象块时选择的预测模式。进而，为了根据边缘预测模式对对象块进行帧内编码，而从对象块的周边的块中检测边缘，并将检测出的边缘的方向作为帧内预测方向，从而进行帧内预测编码。对于本实施例的图像编码装置100的具体工作，在后面利用流程图进行说明。

其次，说明本实施例的图像解码装置300的结构。

图5是示出本实施例的图像解码装置300的结构的一个例子的方框图。该图示出的图像解码装置300包括反量化部301、反频率转换部302、加法部303、帧存储器304、帧内预测部305、运动补偿部306、控制部307、开关308以及开关309。

以下，按照图像解码装置300对比特流(编码后的视频数据)进行解码时的工作，说明各个处理部的处理。本实施例的图像解码装置300，以块为单位将包含预测残差的编码视频数据作为帧内或帧间预测编码块之中的任一方，从而进行解码。编码模式MD输入到控制部307，示出帧内预测模式IPM或运动矢量MV的信息输入到开关308，量化频率转换系数QT输入到反量化部301。

控制部307，根据编码模式MD控制开关308以及309。在编码模式MD示出帧内预测编码的情况下，开关308连接于端子“a”，示出帧内预测模式IPM的信息输入到帧内预测部305。在编码模式MD示出帧间预测编码的情况下，开关308连接于端子“b”，运动矢量MV输入到运动补偿部306。

在对象块为帧内预测编码块的情况下，开关308以及309连接于端子“a”。而且，示出帧内预测模式的信息输入到帧内预测部305，量化频率转换系数QT输入到反量化部301。而且，量化频率转换系数QT，相当于编码器(例如，图像编码装置100)所编码的预测误差。

帧内预测部305，根据输入后的帧内预测模式，从帧存储器304取得帧内预测参考像素，生成帧内预测后的图像(预测块)，从而向加法器303输出帧内预测图像。

反量化部301，将量化频率转换系数QT反量化，将反量化后的频率转换系数输出到反频率转换部302。而且，反频率转换部302，对反量化后的频率转换系数进行反频率转换，从而生成解码后的差分图像LDD。

加法部303，对解码差分图像LDD和帧内预测图像IP进行加法运算，从而生成解码图像LD。生成的解码图像LD，被存储到帧存储器304。而且，在以后的解码中使用帧存储器304所存储的解码图像，以作为参考图片。并且，解码图像被输出，使得构成解码视频数据。

在对象块为帧间预测编码块的情况下，开关308以及309连接于端子“b”。而且，示出运动矢量MV的信息输入到运动补偿部306，量化频率转换系数QT输入到反量化部301。

运动补偿部306，根据输入后的运动矢量MV，从帧存储器304取得参考像素，生成预测后的图片，从而向加法部303输出预测图片。

反量化部301、反频率转换部302以及加法部303的处理，与在帧内预测块的情况下说明了的处理相同。解码图像LD被存储到帧存储器304。在以后的解码中使用帧存储器304所存储的解码图像，以作为参考图片。并且，解码图像被输出，使得构成解码视频数据。

接着，利用图6说明本实施例的帧内预测部305的详细结构。

图6是示出本实施例的帧内预测部305的详细结构的一个例子的图。如该图示出，帧内预测部305包括边缘检测部401、方向判定部402、范数判定部403、预测模式判定部404、以及预测块生成部405。

边缘检测部401，在预测模式判定部404判定帧内预测模式为边缘预测模式或直流预测模式的情况下，从帧存储器304中读出参考图像，并检测读出的参考图像中包含的边缘。对于具体边缘检测处理，与边缘检测部201，在后面进行详细说明。

方向判定部402，判定边缘检测部401检测出的边缘的方向，是否指向帧内预测的对象块。对于具体边缘方向判定处理，与方向判定部202，在后面进行详细说明。

范数判定部403，算出由方向判定部402判定为指向帧内预测的对象块的边缘的范数，判定算出的范数是否大于预先设定的阈值。而且，优选的是，此时利用的阈值，与在编码时的范数判定处理中利用的阈值相同的阈值。因此，在阈值不是装置所固有的值的情况下，被编码装置输出。对于具体范数判定处理，与范数判定部203，在后面进行详细说明。

预测模式判定部404，取得比特流中包含的示出帧内预测模式IPM的信息，判定预测模式为边缘预测模式或直流预测模式。在是边缘预测模式或直流预测模式的任一方的情况下，预测模式判定部404，使边缘检测部401进行缘检测处理。而且，根据范数判定部403的判定结果，向预测块生成部405通知帧内预测模式是直流预测模式、还是边缘预测模式。

而且，在不是边缘预测模式也不是直流预测模式的情况下，即，在是以往的方向预测模式(图1B)的情况下，预测模式判定部404，向预测块生成部405通知帧内预测模式是方向预测模式。

预测块生成部405，根据从预测模式判定部404通知来的帧内预测模式生成预测块。具体而言，从帧存储器304中读出参考图像，并对读出的参考图像进行外插或内插，从而生成预测块。生成后的预测块，经由开关309被输出到加法部303。

如上所述，本实施例的图像解码装置300包括新的边缘预测模式，，以作为在解码对象块时选择的预测模式。进而，为了根据边缘预测模式解码对象块，而从对象块的周边的块中检测边缘，将检测出的边缘的方向作为帧内预测方向，从而进行帧内预测解码。对于本实施例的图像解码装置300的具体工作，在后面利用流程图进行说明。

接着，说明本实施例的图像编码装置100的工作。首先，以下利用图7说明边缘检测处理。图7是示出本实施例的边缘检测处理的流程图。

对为了算出梯度而考虑的所有的像素(例如，图4的向左下方向带阴影线的像素)执行边缘检测处理(S101)。

边缘检测部201，通过适用公式2的索贝尔算子，从而算出对象像素位置的梯度矢量(S102)。而且，边缘检测部201，算出与所算出的梯度矢量正交的边缘矢量，检测所算出的边缘矢量的方向(S103)。

其次，方向判定部202，判定梯度是否示出穿过对象块的边缘，即，判定与梯度矢量正交的边缘矢量是否指向预测的对象块(S104)。在边缘矢量不指向预测的对象块(S104的“否”)、且有下个像素的情况下(S105的“是”)，进入下个像素的处理。也就是，对下个像素反复进行从梯度矢量的算出(S102)开始的处理。

在边缘矢量指向预测的对象块的情况下(S104的“是”)，范数判定部203，算出梯度矢量的范数(S106)。而且，范数判定部203，判定算出的范数是否大于预先规定的阈值(S107)。在算出的范数在阈值以下(S107的“否”)、且有下个像素的情况下(S105的“是”)，进入下个像素的处理。也就是，对下个像素反复进行从梯度矢量的算出(S102)开始的处理。

在算出的范数大于阈值的情况下(S107的“是”)，范数判定部203，判定算出的范数是否大于已经决定的所有的梯度矢量中具有最大范数的梯度矢量的范数(S108)。在算出的范数大于最大范数的情况下(S108的“是”)，设定该梯度矢量，以作为新的最大矢量(S109)。

而且，范数判定部203，与算出的范数和最大范数的比较结果无关，而将像素的矢量和位置存储到存储器(S110)。此时，优选的是，存储到存储器的像素的矢量为边缘矢量。并且，例如，存储器是在范数判定部203内部包括的存储器。

而且，在有下个像素的情况下(S105的“是”)，进入下个像素的处理。也就是，对下个像素反复进行从梯度矢量的算出(S102)开始的处理。

如上所述，对位于对象块(对象块10)的周边的周边块(周边块30)中包含的、且作为边缘检测处理的对象的所有的像素(图4的向左下方向带阴影线的像素)，执行边缘检测处理，并检测出边缘的像素的位置和其边缘矢量被存储到存储器。

并且，根据本实施例，用于图像数据的块的编码的帧内预测模式组，依赖于对邻近的、已经编码以及解码的块执行的边缘检测处理的结果。也就是，不从对象块检测边缘，而从周边块检测边缘，根据其检测结果决定编码对象块时的帧内预测模式组。

而且，在图像解码装置300执行所述边缘检测处理的情况下，也与所述相同。具体而言，边缘检测部401、方向判定部402以及范数判定部403分别执行，边缘检测部201、方向判定部202以及范数判定部203分别进行的处理。

接着，利用图8说明决定帧内预测模式组的处理。图8是示出决定适当的帧内预测模式组的处理的流程图。

首先，边缘检测部201、方向判定部202以及范数判定部203执行图7的边缘检测处理(S201)。其次，预测模式组决定部204，判定是否存储有至少一个边缘矢量，即，判定是否存在与指向对象块的边缘相对应的方向的、具有大于阈值的范数的矢量。

在存储有一个边缘矢量的情况下，即，在检测出边缘的情况下(S202的“是”)，帧内预测模式组决定部204，选择新的预测模式组，以作为能够利用的帧内预测模式组(S203)。如上所述，新的预测模式组，由以往的八个预测方向(H．264编码标准的方向性预测模式)、和新的边缘预测模式构成。

在没有存储边缘矢量的情况下，即，在没有检测到边缘的情况下(S202的“否”)，帧内预测模式组决定部204，选择以往的预测模式的组，以作为能够利用的帧内预测模式组(S204)。如上所述，以往的预测模式组，由H．264编码标准的以往的九个预测模式构成，即，由以往的八个预测方向和以往的直流预测模式构成。

如上所述，本实施例的图像编码装置100，按照是否检测边缘，决定帧内预测模式组。也就是，在检测出边缘的情况下，选择包含边缘预测模式的帧内预测模式组，在没有检测到边缘的情况下，选择包含直流预测模式的帧内预测模式组。

而且，在后续的处理中，预测模式选择部205，为了利用帧内预测部112执行帧内预测，而从能够利用的帧内预测模式的组中选择一个帧内预测模式。

接着，利用图9说明基于本实施例的图像编码装置100的帧内预测的编码处理。图9是示出在本实施例中根据帧内预测对图像或视频数据进行编码的处理的流程图。

图9示出的编码处理，以16×16像素的宏块为单位被执行(S301)。进而，以将宏块分割为能够分割的尺寸的分割尺寸为单位(4×4像素、8×8像素、16×16像素)被执行(S302)。进而，以将分割尺寸分割的块为单位(4×4像素)被执行(S303)。

帧内预测模式决定部110执行用图8说明了的处理，预测模式组决定部204选择合适的帧内预测模式组(S304)。而且，对帧内预测模式组中包含的各个预测模式，执行以下的处理(S305～S314)，从而最佳的预测模式被选择。

具体而言，首先，预测模式选择部205，选择帧内预测模式组中包含的九个预测模式之中的一个预测模式，以作为与对象块B相对应的对象预测模式(S305)。选择的对象预测模式，被输出到帧内预测部112。

帧内预测部112，根据对象预测模式，生成与对象块B相对应的预测块B_pred(S306)。生成的预测块B_pred，被输出到减法部102。

减法部102，算出对象块B和预测块B_pred的差分，即，算出预测残差(预测误差)B_res＝B－B_pred(S307)。算出的预测残差B_res，被输出到频率转换部103。

频率转换部103，对算出的预测残差B_res进行频率转换，并将频率转换后的预测残差(频率转换系数)输出到量化部104。量化部104，将频率转换后的预测残差量化(S308)。通过量化而得到的量化频率转换系数QT，被输出到反量化部106和可变长编码部105。

反量化部106，将量化频率转换系数QT反量化，并将反量化后的频率转换系数输出到反频率转换部107。而且，反频率转换部107，通过对反量化后的频率转换系数进行反频率转换，从而生成解码后的差分块B_resq(S309)。所生成的差分块B_resq，被输出到加法部108。加法部108，通过对差分块B_resq和预测块B_pred进行加法运算，从而生成解码块B_pred＋B_resq。

编码模式决定部118，算出编码失真D＝B－(B_pred＋B_resq)、和比特率R＝R_res＋R_mode，编码失真D＝B－(B_pred＋B_resq)是作为原始块的对象块B和重构块B_pred＋B_resq的差分，比特率R＝R_res＋R_mode是为了对预测残差B_res和预测模式进行编码而需要的比特率的总和(S310)。进而，编码模式决定部118，利用算出的编码失真D和比特率R，算出成本函数J＝D＋λR(S311)。

编码模式决定部118，判定算出的成本函数J的对象值是否小于已经存储的成本函数的最小值Jmin(S312)。在算出的成本函数J小于最小值Jmin的情况下(S312的“是”)，编码模式决定部118，将对象预测模式和对象分割尺寸存储到存储器，并将已经存储的最小值Jmin更新为这次算出的成本函数J的对象值(S313)。

接着，在有下个预测模式的情况下，即，在所决定的预测模式组中包含的多个预测模式中有还未算出成本函数J的预测模式的情况下(S314的“是”)，预测模式选择部205，选择还未算出成本函数J的一个预测模式。而且，将被选择的预测模式为对象预测模式，反复进行从预测块的生成处理(S306)开始的处理。

在算出对所有的预测模式的成本函数J的情况下(S314的“否”)，并且，在有下个块的情况下(S315的“是”)，将下个块作为对象块，反复进行从预测模式组的决定处理(S304)开始的处理。而且，有下个块的情况是指，在一个宏块中包含的所有的块中有还未算出成本函数的块的情况。

在没有下个块的情况下(S315的“否”)，并且，在有下个分割尺寸的情况下(S316的“是”)，以下个分割尺寸来分割宏块，按通过分割而得到的每个块反复进行以上的处理。而且，有下个分割尺寸的情况是指，在能够分割一个宏块的多个分割尺寸中有还未进行每个块的处理的分割尺寸的情况。例如，能够将一个宏块分割为三种分割尺寸(4×4像素、8×8像素、16×16像素)，直到对三种分割尺寸的每一个的、每个块的处理完成为止，反复进行处理(S302～S316)。

若对所有的分割尺寸的处理完成(S316的“否”)，编码模式决定部118，则选择具有成本函数最低的值的分割尺寸、和对应的预测模式(S317)。示出选择的分割尺寸和预测模式的信息，被输出到可变长编码部105。

最后，可变长编码部105，对被选择的分割尺寸、预测模式以及对应的残差进行编码，并将因编码而生成的结果写入到输出比特流(S318)。而且，可变长编码部105，例如利用统计性编码器进行编码。

此时，在多个方向预测模式被选择的情况下，示出要编码的预测模式的信息(模式指示)为示出被选择的方向预测模式的信息，在直流预测模式或边缘预测模式被选择的情况下，示出要编码的预测模式的信息(模式指示)为示出直流预测模式以及边缘预测模式之中的任一方的信息。也就是，可变长编码部105，将一个代码字分配给直流预测模式和边缘预测模式这两者。

而且，在有下个宏块的情况下(S319的“是”)，对下个宏块进行以上示出的处理(S301～S319)。

如上所述，本实施例的图像编码装置100，按每个块决定预测模式，编码输入视频数据。如上所述，在选择预测模式之前决定预测模式组。在本实施例中，作为选择的候补的预测模式组有以往的预测模式组和新的预测模式组，新的预测模式组中包含边缘预测模式，以取代直流预测模式。

示出作为新的预测模式的边缘预测模式的信息，利用与示出直流预测模式的信息相同的代码字被编码。因此，在接受了该代码字的解码器方，判定是直流预测模式还是边缘预测模式。据此，由于不需要将新的代码字分配给示出边缘预测模式的信息，因此能够防止代码量的增加。

以下，更详细说明新的边缘预测模式。

如上所述，按周边块中包含的、作为梯度的算出处理的对象的每个像素算出梯度，帧内预测部112，利用具有最大范数的矢量、和与得到了具有最大范数的矢量的像素相邻的像素的矢量，算出边缘的角度。具体而言，对相邻像素的每一个，比较对应的边缘矢量(或者，梯度矢量)的范数、和最大矢量的范数。只在相邻像素的边缘矢量的范数大于最大矢量的范数的50％的情况下，为了利用而将该相邻像素的边缘矢量存储到存储器。而且，帧内预测部112，算出存储到存储器的最大矢量、和周边矢量的每个角度的平均，以作为新的边缘预测模式的方向的角度α。具体而言，根据以下的图10示出的流程图执行。

图10是示出本实施例中的边缘的角度的算出处理的流程图。该处理，依赖于利用图7说明了的边缘检测处理的结果。进行图7示出的边缘检测处理的结果为，判定为大于阈值的一个以上的边缘矢量、和对应的像素的位置被存储。

范数判定部203，算出通过边缘检测处理检测出的最大边缘矢量的角度，并存储到存储器(S401)。而且，对与算出了最大边缘矢量的像素相邻的所有的像素，执行以下的处理(S402)。也就是，范数判定部203，将与算出了最大边缘矢量的像素相邻的像素中的一个像素的位置作为对象像素位置，执行以下的处理。

其次，范数判定部203，判定范数判定部203具有的存储器是否存储与对象像素位置相对应的边缘矢量(S403)。也就是，判定是否存储有具有大于阈值的范数、且指向对象块的边缘矢量。

在存储有边缘矢量的情况下(S403的“是”)，范数判定部203算出该矢量的范数(S404)。而且，范数判定部203，比较算出的范数和最大边缘矢量的范数(S405)。在算出的范数大于最大范数的50％的情况下(S405的“是”)，范数判定部203，算出对象像素位置的矢量的角度，并存储到存储器(S406)。

对所有的对象像素位置，执行以上的处理(S403～S406)。在没有下个像素的情况下，即，在对所有的对象像素位置的处理结束的情况下(S407的“否”)，范数判定部203，取存储器所存储的角度的平均，从而算出边缘的角度(S408)。

而且，如图10示出的决定检测出的边缘的角度的所述处理，只是一个例子。本发明，不限制检测边缘或决定其方向的任何特定的方法。例如，也可以只根据最大边缘矢量决定边缘的角度。或者，也可以是，根据跟多的数量或跟少的数量的邻近的矢量、或根据沿着边缘的其它的矢量的方向，决定边缘的角度。并且，假想了存储器存储的矢量是边缘矢量，但也可以是梯度矢量。

在预测模式选择部205选择了边缘预测模式的情况下，帧内预测部112，将如上决定的边缘的角度作为预测方向，即，将边缘的方向作为预测方向，生成预测块。而且，也可以是，帧内预测部112进行以上的边缘的角度算出处理。此时，帧内预测部112具有相当于边缘检测部201、方向判定部202以及范数判定部203的处理部。

而且，在图像解码装置300执行所述边缘的角度算出处理的情况下，也与所述相同。具体而言，边边缘检测部401、方向判定部402以及范数判定部403分别执行，边缘检测部201、方向判定部202以及范数判定部203分别进行的处理。

接着，对于根据本实施例的边缘预测模式生成预测块的工作，利用图11A～图13进行说明。

图11A、图11B以及图12是示出本实施例的边缘预测模式的概要图。根据该模式，通过沿着某方向对已经编码以及解码的视频数据进行外插或内插，从而预测对象块。在以往的方向的帧内预测模式(图1B)中，帧内预测的方向为固定，而在边缘预测模式中，沿着任意的方向能够预测对象块。根据本实施例，通过检测已经编码以及解码的图像数据内的边缘，从而决定预测的方向。

图11A是检测出的边缘的方向50穿过对象块10的上边界的情况的图。如图11A示出，通过对已经编码以及解码的视频数据进行外插，从而预测对象块10，具体而言，通过沿着检测出的边缘的方向50使参考像素20连续，从而预测对象块10。也就是，帧内预测部112，将依据边缘的方向决定的参考像素20的像素值(或者，依据二个以上的参考像素20算出的插值)，作为构成预测块的像素的像素值(预测值)，从而构成预测块。

帧内预测部112，为了确保边缘的锐利性，而利用参考像素20之间的线形插值，从而算出像素的预测值。如图11A示出，沿着所决定的角度α的参考像素的平行移动，与整数像素位置不一致。

针对在位置(x、y)预测的各个像素，依赖由边缘的方向50示出的边缘的角度α，能够发现参考位置x－δ_x。并且，通过对二个周边的整数参考像素a和b进行线形插值，从而算出参考位置的参考值。如此所算出的参考值被利用，以作为被预测的像素的预测值p。而且，能够利用的参考像素是，与对象块10直接相邻的参考像素20。

根据公式3算出预测值p，以作为二个参考像素的像素值a和b的加权加法总和。

(公式3)

p=w_aa+w_bb

而且，其中w_a＝δ_x－floor(δ_x)、w_b＝ceil(δ_x)－δ_x、且δ_x＝ycotα。

依据检测出的边缘的角度α、和块内被预测的像素的位置(x、y)，算出水平方向的增加量δ_x。而且，在图11A中，位置(0、0)是，与对象块10相邻的参考像素20的左上角的位置。因此，在该图中示出，预测值p的像素位置为(3、2)。

在通过像素的、且与检测出的边缘平行的线(边缘的方向51)不穿过对象块的上边界而穿过对象块的左边界的情况下，利用与公式3类似的公式。图11A是检测出的边缘的方向51穿过对象块10的左边界的情况的图。在此，垂直方向的增量量为δ_y，根据公式4，利用参考像素值c和d，从而算出对位置(x、y)的像素的预测值p。

(公式4)

p=w_cc+w_dd

而且，其中w_c＝δ_y－floor(δ_y)、w_d＝ceil(δ_y)－δ_y、δ_y＝xtanα。

而且，在图11B中，位置(0、0)是，与对象块10相邻的参考像素20的左上角的位置。因此，在该图中示出，预测值p的像素位置为(4、4)。

如图12示出，在通过像素、且与检测出的边缘平行的线(边缘的方向52)，不仅穿过对象块的左边界，还穿过其上边界或位于对象块的右边的块的上边界的情况下，也可以存在有关联的二个参考位置(a以及b、和c以及d)。在此情况下，也可以不通过进行外插，而通过对已经编码以及解码的视频数据进行内插，从而预测对象块10，使得双方的参考位置被用于预测。预测值是，二个参考位置的所插值的像素值的线形插值的结果。

具体而言，例如，如公式5，也可以算出预测值p，以作为四个参考像素值a、b、c以及d的加权加法总和。

(公式5)

$p=\frac{w_{\mathrm{up}}}{w_{\mathrm{up}}+w_{\mathrm{left}}}(w_{a}a+w_{b}b)+\frac{w_{\mathrm{up}}}{w_{\mathrm{up}}+w_{\mathrm{left}}}(w_{c}c+w_{d}d)$

而且，其中w_up＝N－y、w_left＝N－x，且N＝4或N＝8，N依赖于块尺寸。

作为其它的例子，也可以算出二个参考位置的真正的插值，即，算出作为二个参考位置之间的欧几里得距离的w_up和w_left。

如上所述，在本实施例中，帧内预测部112，沿着检测出的边缘的方向，对对应于与对象块邻近的块中包含的像素相对应的、已经生成(编码以及解码)的解码图像数据(即，参考像素(也记载为解码像素))进行外插或内插，从而生成预测块。此时，外插或内插是线形的外插或内插。

更具体而言，按构成预测块的每个预测像素，算出多个参考像素的像素值的至少二个加权加法总和(参见公式3、公式4或公式5)，对算出的加权加法总和进行外插或内插，从而生成预测块。此时，根据边缘的方向决定权重(w_a、w_b、w_c以及w_d)。例如，从与权重相对应的参考像素，到通过预测像素且边缘的方向的直线(边缘的方向50等)的距离越小，决定的值就越大。

图13是示出根据本实施例中的边缘预测模式算出预测值(即，生成预测块)的方法的流程图。

首先，例如，根据利用图10说明了的处理，帧内预测部112决定边缘的角度(S501)。对被预测的对象块的所有的像素，执行以下的处理(S502)。

帧内预测部112，例如，如图11A示出，根据对象像素，判定在所决定的角度指向的方向是否有上方的参考像素(S503)。在有上方的参考像素的情况下(S503的“是”)，帧内预测部112，根据公式3算出上方的参考值r_up(S504)。而且，在此，在公式3中将p置换为r_up，从而算出上方的参考值r_up。

接着，帧内预测部112，例如，如图11B示出，根据对象像素，判定在所决定的角度指向的方向是否有左边的参考像素(S505)。在有左边的参考像素的情况下(S505的“是”)，帧内预测部112，根据公式4算出左边的参考值r_left(S506)。而且，在此，在公式4中将p置换为r_left，从而算出左边的参考值r_left。

而且，帧内预测部112，根据上方的参考值以及左边的参考值的利用可能性，算出对象像素的预测值p(S507)。在能够利用两者的情况下，通过p＝(w_upr_up＋w_leftrleft)／(w_up＋w_left)，算出预测值p。在只能利用上方的参考值或左边的参考值的情况下，预测值p分别为p＝r_up以及p＝r_left。在两者都不能利用的情况下，根据已经预测的邻近像素的平均值算出预测值p，即，根据公式6算出预测值p。

(公式6)

p(x，y)=13[p(x-1，y-1)+p(x-1，y)+p(x，y-1)]

而且，在公式6中表示，p(x、y)为位置(x、y)的预测值。

在有下个像素的情况下(S508的“是”)，反复进行以上的处理(S503～S507)。也就是，直到算出对对象块中包含的所有的像素的预测值为止，反复进行以上的处理。

如上所述，本实施例的图像编码装置100，在选择边缘预测模式的情况下，沿着检测出的边缘的方向算出预测值，从而能够生成预测块。

而且，在图像解码装置300执行所述预测值的算出处理的情况下，也与所述相同。具体而言，帧内预测部305执行帧内预测部112进行的处理。

并且，如上所述，在本实施例中，沿着一个方向生成预测块，但也可以沿着多个方向生成预测块。

图14是示出在本实施例中预测像素根据二个以上的方向被预测的情况的概要图。例如，如该图示出，在不相邻的二个对象像素63以及64中检测出方向不同、却指向对象块的方向的二个强烈的边缘61以及62的情况下，也可以是，通过在二个方向的任一方向，对已经解码的参考像素20进行外插或内插，或者，更优选的是在合并了二个边缘的方向65以及66的方向，对已经解码的参考像素20进行外插或内插，从而预测像素值。例如，也可以是，通过如公式5算出加权加法总和，从而决定合并了二个边缘的方向65以及66的方向。此时，根据第一以及第二边缘的方向65以及66(角度)，分别算出水平方向的增加量δ_x以及垂直方向的增加量δ_y。

而且，在本实施例中，用于预测的边缘以及方向的数量不受限制，并且，合成各个结果的方法也不受限制。

为了保护这些多个边缘的每个锐利性，而可以根据从被预测的各个预测像素到检测出的边缘的每一个的笔直的延长线的距离，计算用于算出加权加法总和的权重。例如，对于各个权重，从与权重相对应的参考像素(图14的a、b、c以及d)到至少二个边缘的任一方的延长线的距离越小，决定的值就越大。

特别是，对于权重w_left以及w_up，也可以针对在对象块的左边的块检测出的边缘(或，边缘的延长线)通过的所有的像素，分别被设定为1以及0。反而，对于权重w_left以及w_up，也可以针对在对象块的上边的块检测出的边缘(或，边缘的延长线)通过的所有的像素，分别被设定为1以及0。例如，对于各个权重，从与权重相对应的参考像素(图14的a、b、c以及d)到至少检测出二个边缘之中的任一方的解码块的距离越小，决定的值就越大。而且，如上所述，也可以根据从预测像素的距离，设定对剩余的像素的权重，即，设定对检测出的任何边缘(或，边缘的延长线)不通过的像素的权重。

其次，利用图15说明利用本实施例的图像解码装置300的帧内预测的解码处理。图15是示出根据本实施例中的帧内预测对图像以及视频数据进行解码的处理的流程图。

按16×16像素的每个宏块执行，图15示出的解码处理(S601)。首先，分割尺寸从输入比特流中被读出，即，利用统计性解码器被解码(S602)。而且，根据分割尺寸，按照对象宏块的每个块，执行解码处理(S603)。

从输入比特流中读出，对象块的预测模式、和示出所编码的预测误差的残差信息(S604)。所读出的预测模式，经由控制部307和开关308，被输出到帧内预测部305或运动补偿部306。残差信息被输出到反量化部301。

其次，帧内预测部305或运动补偿部306，根据所读出的预测模式，生成与对象块相对应的预测块(S605)。而且，特别是，对于该预测块的生成处理中的帧内预测部305执行的处理，在后面利用图16进行更详细的说明。

反量化部301，将残差信息反量化，并将反量化后的残差信息输出到反频率转换部302。而且，反频率转换部107，对反量化后的残差信息进行反频率转换(S606)。通过进行反频率转换而得到的解码差分图像，被输出到加法部303。

加法部303，通过对预测块和解码差分图像进行加法运算，从而重新构成对象块(S607)。帧内预测部305或运动补偿部306使用加法部303所生成的解码图像，以作为参考图片。

而且，在有下个块的情况下(S608的“是”)，对下个块反复进行从预测模式和预测残差的读出处理(S604)开始的处理。在没有下个块(S608的“否”)、且在有下个宏块的情况下(S609的“是”)，对下个宏块反复进行从分割尺寸的读出处理(S602)开始的处理。

其次，利用图16说明本实施例的图像解码装置300的帧内预测处理。图16是示出本实施例中的帧内预测处理的流程图。而且，该图示出的帧内预测处理是，在生成预测块时(图15的S605)由帧内预测部305进行的。

预测模式判定部404，判定预测模式是否为2，即，判定预测模式示出直流预测模式或边缘预测模式(S701)。在预测模式为2的情况下(S701的“是”)，边缘检测部401、方向判定部402以及范数判定部403执行边缘检测处理(图7)(S702)。

在检测出边缘的情况下(S703的“是”)，预测模式判定部404，选择边缘预测模式，预测块生成部405，根据边缘预测模式生成预测块(S704)。而且，此时的预测块的生成处理，与利用图13说明的处理相同。

在没有检测到边缘的情况下(S703的“否”)，预测模式判定部404，选择直流预测模式，预测块生成部405，根据以往的直流预测模式生成预测块(S705)。

在预测模式不是2的情况下(S701的“否”)，预测模式判定部404，选择预测模式示出的方向预测模式，预测块生成部405，根据以往的方向预测模式生成预测块(S706)。

如上所述，本实施例的图像解码装置300，判定对象块的预测模式，在帧内预测模式的模式为2的情况下，即，在预测模式示出直流预测模式还是边缘预测模式的情况下，进行边缘检测处理。而且，在检测出边缘的情况下，判断预测模式为边缘预测模式，在没有检测到边缘的情况下，判断预测模式为直流预测模式。

据此，能够对根据边缘预测模式所编码的比特流正确地进行解码。并且，由于总是进行边缘检测处理，而限制进行边缘检测处理的情况，因此能够减轻图像解码装置300的处理负担，从而防止对解码处理花费很多时间。

如上所述，本实施例的图像编码装置100以及图像解码装置300，在进行帧内预测时能够利用新的边缘预测模式。据此，特别是，在对包含锐利的线形边缘的编码对象图片进行编码时，能够更提高编码效率。

并且，本实施例的图像编码装置100，对示出新的边缘预测模式的信息进行编码，以作为示出直流预测模式的信息。也就是，在将以往的直流预测模式和新的边缘预测模式传输时，利用完全相同的代码。据此，因导入新的边缘预测模式而引起的代码量不会增加。

进而，本实施例的图像编码装置100，为了根据对象块的周边的块检测边缘的方向，也不对边缘的方向等的、边缘预测模式所需要的信息进行编码。进而，图像解码装置300，与图像编码装置100相同，具备进行边缘检测处理的处理部，从而也不需要传输边缘预测模式所需要的信息。

因此，具备本实施例的图像编码装置100和图像解码装置300的编解码装置，能够避免导入新的帧内预测模式时附加任何传输开销(overhead)。

图17A、图17B以及图18是用于说明由本实施例的图像编码装置100的效果的图。图17A是示出对Foreman序列(CIF∶CommonIntermediateFormat(分辨率352×288))的开头的10帧进行编码时的PSNR(PeakSignal－to－NoiseRatio∶峰值信号噪比)和比特率之间的关系的图。图17B是示出对Spincalendar序列进行编码时的PSNR和比特率之间的关系的图。并且，图18是示出利用对各种序列的边缘预测模式而编码的块的比率和比特率减少率的图。

例如，在对Spincalendar序列进行编码的情况下，由于比特率的减少率超过8％，因此，示出针对包含较多的锐利的边缘的序列，充分提高了编码效率。并且，在对Foreman序列进行编码的情况下，得知与对300帧(序列的全部)进行时相比，在只对开头的10帧进行时，更提高了编码效率(减少了6．44％的比特率)。这是因为，在Foreman序列中，在序列的开头包含较多的锐利的线形边缘的缘故。在这些帧中，边缘预测模式被选择的情况较多(平均为块的15％左右)，能够适当地检测边缘。另一方面，序列的末尾几乎没有边缘。在这些帧中，几乎不利用边缘预测模式(平均为块的3～4％左右)。因此，在序列整体的平均比特率的减少率为3．37％。

所述内容还示出，边缘预测的执行大大依赖于图像内容。也就是，对于几乎没有边缘、或包含模糊的边缘的图像，几乎不利用边缘预测模式。与以往的编码方法相比，本实施例的图像编码方法，针对像上述那样的序列，没有好处也没有坏处。这是因为，针对预测模式组，几乎总是利用直流预测模式的缘故。这些图像，以H．264的以往的九个预测模式来被编码。

下个表示出，从比特率的减少率和所模拟的序列的PSNR改进度的角度来看的高精度边缘预测技术的结果。

(表1)

如表1示出，在不同序列之间，结果大不同。虽然，边缘预测模式的使用频度、和最后的增益之间没有线形的关系，但是，最佳的增益是针对包含以边缘预测模式来简单地被预测的很多边缘的图像得到的。

以上，对于本发明的图像编码装置、图像解码装置以及这些方法，根据实施例进行了说明，但是，本发明不仅限于这些实施例。只要不脱离本发明的宗旨，本领域技术人员想到的该实施例的各种变形例，就包含在本发明的范围内。

例如，根据本实施例，利用索贝尔算子算出梯度，从而进行了边缘的检测。但是，本发明不仅限于此。只要算出检测出的边缘的方向性，就可以利用任何边缘检测工具，而取代索贝尔算子。索贝尔算子只不过是能够进行的边缘检测技术的一个例子。

(公式7)

${\mathrm{Prewitt}}_x=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right],$ ${\mathrm{Prewitt}}_y=\left[\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right]$

并且，也可以针对进行了低通滤波(LPF∶LowPassFilter)处理的块算出梯度。具体而言，能够利用折叠构成低通滤波器的滤波系数、和索贝尔算子或蒲瑞维特算子而得到的运算子，从而算出梯度。因此，例如，在本实施例中，边缘检测部201或401也可以，从只索贝尔算子、只蒲瑞维特算子、索贝尔算子和低通滤波器的合成滤波器、或蒲瑞维特算子和低通滤波器的合成滤波器这四种滤波器中选择，从而算出梯度。例如，根据来自外部的用户的指示、或对象图片的特征，来决定选择哪种滤波器。例如，在对象图片中包含很多噪声的情况下，即，在对象图片不是平坦的图像的情况下，利用包含低通滤波器的滤波器。

并且，在本实施例的图像编码装置100中，范数判定部203或403，利用预先规定的阈值来进行范数的判定，但也可以以序列、图片、切片、或块为单位进行变更。在此情况下，需要将决定的阈值包含在比特流中，从而传输到解码器方。例如，按照决定阈值的单位，将示出阈值的信息包含在序列参数集(SPS)、图像参数集(PPS)、或切片头(SH)等中。

图19是示出与本实施例不同的图像编码装置500的结构的一个例子的方框图。该图的图像编码装置500与图2的图像编码装置100相比，取代可变长编码部105而包括可变长编码部505，取代参考图片存储器109而包括参考图片存储器509，取代帧内预测模式决定部110而包括帧内预测模式决定部510，进一步包括新的阈值决定部519。以下，省略与图2的图像编码装置100相同之处，以不同之处为中心进行说明。

并且，如图19示出，图像编码装置500，也可以从外部接受边缘检测标志。边缘检测标志是用于切换边缘检测处理的有效或无效的标志。例如，能够以序列、图片、或切片为单位切换边缘检测处理的有效或无效。

可变长编码部505，除了可变长编码部105的处理以外，还将阈值决定部519所决定的阈值和边缘检测标志包含在比特流中。例如，示出阈值的信息以及边缘检测标志被包含在SPS、PPS、SH等。

参考图片存储器509，存储加法部108所生成的解码图像LD。而且，除了帧内预测模式决定部510、运动检测部111、帧内预测部112以及运动补偿部113以外，还向阈值决定部519输出存储的解码图像LD、以作为参考图片。

帧内预测模式决定部510，除了进行帧内预测模式决定部110的处理以外，还接受边缘检测标志。而且，帧内预测模式决定部510，按照接受的边缘检测标志，切换边缘检测处理的有效或无效。具体而言，在边缘检测标志示出边缘检测处理的有效的情况下，进行与所述的帧内预测模式决定部110同样的处理。在边缘检测标志示出边缘检测处理的无效的情况下，总是将帧内预测模式组设定为包含以往的直流预测模式和八个方向预测模式的帧内预测模式组。也就是，不进行边缘的检测处理。

并且，帧内预测模式决定部510，利用阈值决定部519所决定的阈值进行范数的判定。对于，具体的范数的判定处理，由于与所述内容相同，因此省略说明。

阈值决定部519，从参考图片存储器509读出参考图片，算出读出的参考图片的图像特征量，从而决定阈值。参考图片的图像特征量是，例如进行边缘检测处理的参考图片的分散、强度等。例如，分散越大，决定的用于范数判定的阈值的值就越大。分散大意味着，参考图片中包含很多噪声，导致边缘的错误检测的可能性大。因此，通过使用于范数判定的阈值变大，从而能够使导致边缘的错误检测的可能性变小。

并且，阈值决定部519，也可以根据针对之前的图片的边缘检测处理决定阈值。例如，检测出的针对之前的图片不同方向的边缘越多，决定的阈值的值就越大。检测出的不同方向的边缘多，这意味着，存在因噪声等的影响而没有检测到正确的边缘的可能性，因此，通过使用于范数判定的阈值变大，从而能够使导致边缘的错误检测的可能性变小。

如上所述，图19示出的图像编码装置500，由于能够适应性地变更阈值，因此能够决定更适当的阈值，从而生成更适当的预测块。据此，能够减少编码失真等。

并且，针对不能充分地得到本发明的效果的平坦的图像等，由于能够使边缘检测处理无效，因此能够减轻图像解码装置100的处理负担，从而提高编码处理的速度。

并且，由于将边缘检测标志还传输到解码器方，因此，能够防止在解码器方对没有进行边缘检测处理的比特流进行边缘检测处理。

而且，在本实施例的图像解码装置300中，为了进行边缘检测处理，而需要除了将图1A示出的参考像素20的数据存储到帧存储器304以外，还将包含参考像素20的块中包含的所有的像素的数据存储到帧存储器304。对此，也可以是，在对周边的块进行解码的同时，即，在得到梯度的算出所需要的参考像素的像素值的同时，进行梯度的算出处理，只将梯度的算出处理结果存储到帧存储器304。此时，例如，只存储超过阈值的范数(或，梯度值)，从而更能够节约存储器资源。或者，也可以只存储各个块的最大范数和其像素位置。

在此情况下，如图20示出，与以往或所述的说明相同，对象块10的正上面的像素群72中包含的像素被存储，以作为生成预测块时被参考的参考像素。进而，不将周边块30中包含的像素值，而将针对作为算出边缘的方向的对象的像素群71的像素算出的范数(或，梯度值)，存储到帧存储器304或范数判定部403具备的存储器。

据此，能够有效利用图像解码装置300具备的存储器资源。

并且，也可以将算出预测值的所述方法，置换为正式考虑检测出的边缘的方向的、本发明的范围内的其它的任何方法。具体而言，也可以利用比所述说明中利用了的参考像素多的参考像素、或利用其它的像素，而取代与所预测的对象块邻近的参考像素。

并且，本发明不仅限于H．264视频编码标准，也不仅限于所述的以往的帧内预测模式组。实际上，也可以在利用空间预测的基于块的任何视频编码器上利用本发明的边缘预测模式。特别是，也可以不置换直流预测模式而利用边缘预测模式，而作为H．264／AVC的附加模式而利用边缘预测模式。

并且，也可以与不同于结合了边缘预测模式和直流预测模式而得到的所述传输的传输机构一起利用本发明的边缘预测模式。例如，也可以以与直流预测模式无关的专用代码字来传输边缘预测模式，或可以以预先定义的方向预测模式的一个以上的组合来传输边缘预测模式。

并且，本发明不仅限于视频编码应用程序，而可以用于基于块的静止图像编码。

而且，本发明，可以以如上所述的图像编码装置、图像解码装置以及其方法来实现，也可以以用于使计算机执行本实施例的图像编码方法以及图像解码方法的每一个的程序来实现。并且，也可以以记录该程序的、计算机可读的CD－ROM等记录介质来实现。进而，也可以以示出该程序的信息、数据或信号来实现。而且，当然可以将这些程序、信息、数据以及信号互联网等通信网络分发。

并且，本发明也可以使构成图像编码装置以及图像解码装置的每一个的构成要素的一部分或全部由一个系统LSI构成。系统LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，系统LSI是由微处理器、ROM以及RAM等构成的计算机系统。

也就是，本发明涉及图像以及视频数据的编码以及解码，尤其涉及根据已经编码以及解码的块的图像数据预测对象块的、新的空间预测模式。根据该预测模式，通过考虑到边缘的正确的方向，从而能够对包含锐利的边缘的块进行可靠性高的预测。进而，根据本发明，不需要附加传输开销。这是因为∶(1)根据已经编码的块推测边缘的方向；(2)能够将新的预测模式置换为针对包含锐利的边缘的块的、以往的直流预测模式的缘故。

本发明的图像编码方法以及图像解码方法具有能够更提高编码效率的效果，例如能够利用于数字照相机、数字电视机、BD(Blu－rayDisc∶蓝光光盘)刻录器等。

Claims (33)

1.一种图像编码方法，以块为单位对图像数据进行编码，所述图像编码方法包含∶

分割步骤，将所述图像数据分割为多个块；

预测步骤，预测对象块，从而生成预测块，所述对象块是所述多个块之中的一个块；

减法步骤，算出所述对象块和所述预测块之间的差分；

编码步骤，对在所述减法步骤算出的差分进行编码；

解码步骤，对在所述编码步骤编码后的差分进行解码；以及

加法步骤，对在所述解码步骤解码后的差分和所述预测块进行加法运算，从而生成解码块，

所述预测步骤包含∶

梯度矢量算出步骤，算出对应于与所述对象块邻近的块的、且与已经生成的解码块的多个像素的每一个相对应的梯度矢量；

边缘检测步骤，检测在所述梯度矢量算出步骤算出的梯度矢量中的满足条件的梯度矢量，该条件为梯度矢量的值超过预先规定的阈值、且与该梯度矢量正交的边缘矢量指向所述对象块，检测与满足所述条件的所述梯度矢量正交的矢量方向作为边缘的方向；以及

预测块生成步骤，沿着在所述边缘检测步骤检测出的所述边缘的方向，对对应于与所述对象块邻近的块中包含的像素的、已经生成的解码图像数据进行外插或内插，从而生成所述预测块。

2.如权利要求1所述的图像编码方法，

在所述预测块生成步骤中，对所述解码图像数据进行线形的外插或内插，从而生成所述预测块。

3.如权利要求2所述的图像编码方法，

在所述预测块生成步骤中，以构成所述预测块的预测像素为单位，算出所述解码图像数据中包含的多个解码像素的像素值之中的至少二个解码像素的像素值的加权加法总和，对算出的加权加法总和进行外插或内插，从而生成所述预测块，

用于算出所述加权加法总和的权重是根据在所述边缘检测步骤检测出的所述边缘的方向而被决定的。

4.如权利要求3所述的图像编码方法，

所述权重的每一个的值被决定为，从与该权重相对应的解码像素到所述预测像素的距离越小，值就越大。

5.如权利要求4所述的图像编码方法，

在所述边缘检测步骤中，检测具有相互不同的方向的至少二个边缘各自的方向，

在所述预测块生成步骤中，以所述预测像素为单位，合成用于沿着所述至少二个边缘的各个方向进行外插或内插的、所述多个解码像素的像素值，对合成后的像素值进行外插或内插，从而生成所述预测块。

6.如权利要求5所述的图像编码方法，

在所述预测块生成步骤中，以所述预测像素为单位，所述多个解码像素的像素值的每一个乘以权重来算出所述加权加法总和，对算出的所述加权加法总和进行外插或内插，从而生成所述预测块，

所述权重的每一个的值被决定为，从与该权重相对应的解码像素、到所述至少二个边缘之中的任一方被检测出的解码块的距离越小，值就越大。

7.如权利要求6所述的图像编码方法，

所述权重的每一个的值被决定为，从与该权重相对应的解码像素、到所述至少二个边缘之中的任一方的延长线的距离越小，值就越大。

8.如权利要求1所述的图像编码方法，

所述预测步骤还包含预测模式选择步骤，从包含边缘预测模式的多个预测模式中选择一个预测模式，

在所述预测块生成步骤中，在所述边缘预测模式被选择的情况下，沿着以所述边缘检测模式检测出的所述边缘的方向，对所述解码图像数据进行外插或内插，从而生成所述预测块。

9.如权利要求8所述的图像编码方法，

所述多个预测模式还包含直流预测模式和预先定义的多个方向预测模式，

在所述预测块生成步骤中，在所述直流预测模式被选择的情况下，算出所述解码图像数据的平均值，从而生成所述预测块，在所述多个方向预测模式之中的一个被选择的情况下，沿着与被选择的方向预测模式相对应的方向，对所述解码图像数据进行外插，从而生成所述预测块。

10.如权利要求9所述的图像编码方法，

在所述预测模式选择步骤中，

在所述边缘检测步骤检测出所述边缘的方向的情况下，从所述边缘预测模式和所述多个方向预测模式中选择一个预测模式，

在所述边缘检测步骤没有检测到所述边缘的方向的情况下，从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

11.如权利要求10所述的图像编码方法，

在所述编码步骤中，进一步，

在所述预测模式选择步骤选择所述多个方向预测模式之中的一个的情况下，对示出被选择的方向预测模式的模式指示进行编码，

在所述直流预测模式或所述边缘预测模式被选择的情况下，对示出所述直流预测模式以及所述边缘预测模式之中的任一个模式的模式指示进行编码。

12.如权利要求9所述的图像编码方法，

在所述预测模式选择步骤中，

在所述边缘检测步骤检测出所述边缘的方向的情况下，从所述边缘预测模式和所述多个方向预测模式中选择一个预测模式，

在所述边缘检测步骤没有检测到所述边缘的方向的情况下，或者，在检测出边缘、且检测出的边缘的方向不指向所述对象块的情况下，从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

13.如权利要求9所述的图像编码方法，

在所述边缘检测步骤没有检测到所述边缘的方向的情况下，或者，在检测出边缘、且检测出的边缘的方向不指向所述对象块的情况下，

在所述预测模式选择步骤中，

从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

14.如权利要求1所述的图像编码方法，

在所述边缘检测步骤中，根据满足所述条件的至少一个梯度矢量中具有最大的值的梯度矢量的方向，检测所述边缘的方向。

15.如权利要求1所述的图像编码方法，

在所述边缘检测步骤中，根据将满足所述条件的至少一个梯度矢量中至少一个梯度矢量的方向平均化而得到的方向，检测所述边缘的方向。

16.一种图像解码方法，以块为单位对包含编码后的预测残差的图像数据进行解码，所述图像解码方法包含∶

解码步骤，对对象块的所述预测残差进行解码；

预测步骤，预测所述对象块，从而生成预测块；

加法步骤，对在所述预测步骤所生成的预测块、和在所述解码步骤解码后的预测残差进行加法运算，从而生成解码块，

所述预测步骤包含∶

梯度矢量算出步骤，算出对应于与所述对象块邻近的块的、且与已经生成的解码块的多个像素的每一个相对应的梯度矢量；

边缘检测步骤，检测在所述梯度矢量算出步骤算出的梯度矢量中的满足条件的梯度矢量，该条件为梯度矢量的值超过预先规定的阈值、且与该梯度矢量正交的边缘矢量指向所述对象块，检测与满足所述条件的所述梯度矢量正交的矢量方向作为边缘的方向；以及

预测块生成步骤，沿着在所述边缘检测步骤检测出的所述边缘的方向，对对应于与所述对象块邻近的块中包含的像素的、已经生成的解码图像数据进行外插或内插，从而生成所述预测块。

17.如权利要求16所述的图像解码方法，

在所述预测块生成步骤中，对所述解码图像数据进行线形的外插或内插，从而生成所述预测块。

18.如权利要求17所述的图像解码方法，

在所述预测块生成步骤中，以构成所述预测块的预测像素为单位，算出所述解码图像数据中包含的多个解码像素的像素值之中的至少二个解码像素的像素值的加权加法总和，对算出的加权加法总和进行外插或内插，从而生成所述预测块，

用于算出所述加权加法总和的权重是根据在所述边缘检测步骤检测出的所述边缘的方向而被决定的。

19.如权利要求18所述的图像解码方法，

所述权重的每一个的值被决定为，从与该权重相对应的解码像素到所述预测像素的距离越小，值就越大。

20.如权利要求19所述的图像解码方法，

在所述边缘检测步骤中，检测具有相互不同的方向的至少二个边缘各自的方向，

在所述预测块生成步骤中，以所述预测像素为单位，合成用于沿着所述至少二个边缘的各个方向进行外插或内插的、所述多个解码像素的像素值，对合成后的像素值进行外插或内插，从而生成所述预测块。

21.如权利要求20所述的图像解码方法，

在所述预测块生成步骤中，以所述预测像素为单位，所述多个解码像素的像素值的每一个乘以权重来算出所述加权加法总和，对算出的所述加权加法总和进行外插或内插，从而生成所述预测块，

所述权重的每一个的值被决定为，从与该权重相对应的解码像素、到所述至少二个边缘之中的任一方被检测出的解码块的距离越小，值就越大。

22.如权利要求21所述的图像解码方法，

所述权重的每一个的值被决定为，从与该权重相对应的解码像素、到所述至少二个边缘之中的任一方的延长线的距离越小，值就越大。

23.如权利要求16所述的图像解码方法，

所述预测步骤还包含预测模式选择步骤，从包含边缘预测模式的多个预测模式中选择一个预测模式，

在所述预测块生成步骤中，在所述边缘预测模式被选择的情况下，沿着以所述边缘检测模式检测出的所述边缘的方向，对所述解码图像数据进行外插或内插，从而生成所述预测块。

24.如权利要求23所述的图像解码方法，

所述多个预测模式还包含直流预测模式和预先定义的多个方向预测模式，

在所述预测块生成步骤中，在所述直流预测模式被选择的情况下，算出所述解码图像数据的平均值，从而生成所述预测块，在所述多个方向预测模式之中的一个被选择的情况下，沿着与被选择的方向预测模式相对应的方向，对所述解码图像数据进行外插，从而生成所述预测块。

25.如权利要求24所述的图像解码方法，

在所述预测模式选择步骤中，

在所述边缘检测步骤检测出所述边缘的方向的情况下，从所述边缘预测模式和所述多个方向预测模式中选择一个预测模式，

在所述边缘检测步骤没有检测到所述边缘的方向的情况下，从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

26.如权利要求25所述的图像解码方法，

所述图像数据还包含示出预测模式的预测模式指示，

在所述预测模式选择步骤中，在所述预测模式指示示出所述直流预测模式或所述边缘预测模式的情况下，进一步，在所述边缘检测步骤检测出所述边缘的方向的情况下，选择所述边缘预测模式，在所述边缘检测步骤没有检测到所述边缘的方向的情况下，选择所述直流预测模式。

27.如权利要求24所述的图像解码方法，

在所述预测模式选择步骤中，

在所述边缘检测步骤检测出所述边缘的方向的情况下，从所述边缘预测模式和所述多个方向预测模式中选择一个预测模式，

在所述边缘检测步骤没有检测到所述边缘的方向的情况下，或者，在检测出边缘、且检测出的边缘的方向不指向所述对象块的情况下，从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

28.如权利要求24所述的图像解码方法，

在所述边缘检测步骤没有检测到所述边缘的方向的情况下，或者，在检测出边缘、且检测出的边缘的方向不指向所述对象块的情况下，

在所述预测模式选择步骤中，

从所述直流预测模式和所述多个方向预测模式中选择一个预测模式。

29.如权利要求16所述的图像解码方法，

在所述边缘检测步骤中，根据满足所述条件的至少一个梯度矢量中具有最大的值的梯度矢量的方向，检测所述边缘的方向。

30.如权利要求16所述的图像解码方法，

在所述边缘检测步骤中，根据将满足所述条件的至少一个梯度矢量中至少一个梯度矢量的方向平均化而得到的方向，检测所述边缘的方向。

31.一种图像编码装置，以块为单位对图像数据进行编码，所述图像编码装置包括∶

分割单元，将所述图像数据分割为多个块；

预测单元，预测对象块，从而生成预测块，所述对象块是所述多个块之中的一个块；

减法单元，算出所述对象块和所述预测块之间的差分；

编码单元，对所述减法单元算出的差分进行编码；

解码单元，对所述编码单元编码后的差分进行解码；以及

加法单元，对所述解码单元解码后的差分和所述预测块进行加法运算，从而生成解码块，

所述预测单元具有∶

梯度矢量算出部，算出对应于与所述对象块邻近的块的、且与已经生成的解码块的多个像素的每一个相对应的梯度矢量；

边缘检测部，检测在所述梯度矢量算出部算出的梯度矢量中的满足条件的梯度矢量，该条件为梯度矢量的值超过预先规定的阈值、且与该梯度矢量正交的边缘矢量指向所述对象块，检测与满足所述条件的所述梯度矢量正交的矢量方向作为边缘的方向；以及

预测块生成部，沿着所述边缘检测部检测出的所述边缘的方向，对对应于与所述对象块邻近的块中包含的像素的、已经生成的解码图像数据进行外插或内插，从而生成所述预测块。

32.一种图像解码装置，以块为单位对包含编码后的预测残差的图像数据进行解码，所述图像解码装置包括∶

解码单元，对对象块的所述预测残差进行解码；

预测单元，预测所述对象块，从而生成预测块；

加法单元，对所述预测单元所生成的预测块、和所述解码单元解码后的预测残差进行加法运算，从而生成解码块，

所述预测单元具有∶

梯度矢量算出部，算出对应于与所述对象块邻近的块的、且与已经生成的解码块的多个像素的每一个相对应的梯度矢量；

边缘检测部，检测在所述梯度矢量算出部算出的梯度矢量中的满足条件的梯度矢量，该条件为梯度矢量的值超过预先规定的阈值、且与该梯度矢量正交的边缘矢量指向所述对象块，检测与满足所述条件的所述梯度矢量正交的矢量方向作为边缘的方向；以及

预测块生成部，沿着所述边缘检测部检测出的所述边缘的方向，对对应于与所述对象块邻近的块中包含的像素的、已经生成的解码图像数据进行外插或内插，从而生成所述预测块。

33.一种编解码装置，包括权利要求31所述的图像编码装置、和权利要求32所述的图像解码装置。