CN101361370B - 图像编码/图像解码方法以及图像编码/图像解码装置 - Google Patents

图像编码/图像解码方法以及图像编码/图像解码装置 Download PDF

Info

Publication number
CN101361370B
CN101361370B CN2006800512728A CN200680051272A CN101361370B CN 101361370 B CN101361370 B CN 101361370B CN 2006800512728 A CN2006800512728 A CN 2006800512728A CN 200680051272 A CN200680051272 A CN 200680051272A CN 101361370 B CN101361370 B CN 101361370B
Authority
CN
China
Prior art keywords
prediction
pixel
predict
signal
predictive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800512728A
Other languages
English (en)
Other versions
CN101361370A (zh
Inventor
谷沢昭行
中條健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101361370A publication Critical patent/CN101361370A/zh
Application granted granted Critical
Publication of CN101361370B publication Critical patent/CN101361370B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明提供了图像编码/图像解码方法以及图像编码/图像解码装置。该图像编码方法包括：将对应于一帧的输入图像信号分割成多个像素块信号的步骤；利用数量根据预测像素和已编码的参考像素之间的距离而变化的参考像素来执行根据为多个预测模式中的每一个指定的方向对预测像素进行外插的帧内预测，由此生成预测图像信号和预测模式信息的预测信号生成步骤；从像素块信号和预测图像信号计算预测误差信号的步骤；利用预测误差信号来选择一个预测模式的预测模式选择步骤；以及利用基于所选择的预测模式的预测误差信号来执行编码处理的编码步骤。

Description

图像编码/图像解码方法以及图像编码/图像解码装置 
技术领域
本发明涉及用于运动图像或静止图像的图像编码方法和图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序。 
背景技术
近年来，人们希望将与现有技术相比编码效率大幅提高的视频编码方法推进为与ITU-T和ISO/IEC相关的ITU-TRec.H.264和ISO-IEC14496-10(以下称为“H.264”)。例如ISO/IECMPEG-1、2、4，ITU-TH.261、H.263的传统编码系统在正交变换频域(DCT系数)上执行帧内预测，以减少变换系数的编码位的数量。与常规的视频编码系统(ISO/IECMPEG-1、2、4)的帧内预测相比，H.264通过采用空间区域(像素区域)中的方向预测(非专利文献1)来实现高预测效率。 
在H.264高规格(high profile)等中，针对辉度信号定义了三种帧内预测系统，并可以以宏块(16×16像素块)为单位选择其中的一个系统。这些预测系统分别被称为4×4像素预测、8×8像素预测以及16×16像素预测。 
针对16×16像素预测，定义了四个编码模式，其分别被称为垂直预测、水平预测、DC预测以及平面预测。经过解块滤波器之前的、周围的被解码的宏块的像素值被用作参考像素值，并被用于预测处理。 
4×4像素预测将宏块中的辉度信号分成16个4×4像素块，并为每个4×4像素块选择九个模式中的一个。除了利用可用参考像素的平均值进行预测的DC预测(模式2)之外，九个模式中的每个均具有以22.5度为单位的预测方向，并利用参考像素在预测方向上外插宏块， 来生成预测值。对每一个宏块，4×4像素预测的模式信息需要16个信息项。因为4×4像素预测的预测处理单位小，因此可以对具有复杂纹理的图像执行比较高效的预测。然而，该4×4像素预测仅仅通过简单地在预测方向上复制内插值来执行预测，因此存在如下问题：当相对于参考像素的距离增大时，预测误差增大。 
8×8像素预测将宏块中的辉度信号分成四个8×8像素块，并为每个8×8像素块选择九个模式中的任一个。8×8像素预测模式是利用与4×4像素预测相同的框架进行设计的，8×8像素预测模式对已编码的参考像素执行三抽头的滤波，并包括通过平坦化用于预测的参考像素对编码失真进行平均化的处理。但是，与4×4像素预测相似，存在如下问题：随着相对于参考像素的距离的增加，预测越来越不正确。由于与4×4像素预测相比，相对于参考像素的距离变长，所以存在如下问题：对具有复杂纹理的图像，无法预期预测精度。 
8×8像素预测是仅由H.264高规格规定的预测单位，并且是特别为了提高高分辨率图像的编码效率而引入的。在4×4像素预测中使用4×4像素变换器/量化块大小，而在8×8像素预测中使用8×8像素变换器/量化块大小。换句话说，通过预测块形状来限定变换器/量化块大小。由于针对预测块形状要考虑主规格(main profile)和高规格的兼容性，在一个标准中，8×8像素预测和4×4像素预测无法共存于一个宏块中。 
为了减少模式信息的编码位的数量，H.264的4×4像素预测或8×8像素预测通过利用相邻块的模式信息的相关水平来预测模式信息，从而减少编码位的数量。在模式信息的预测正确时，编码1位的标志，而在不正确时，进一步编码3位的数据，由此减少了模式信息的编码位的数量。然而，如果在宏块中几乎不产生误差信号时选择4×4像素预测，则必须编码最少16位(最多64位)，这导致编码效率大幅降低。 
JP-A 2003-323736(特开)提出了一种通过在帧内进行块匹配，并从编码的参考图像填补预测块的预测值来执行预测的系统。该系统 是一种假定帧中的任意编码块的图像与要预测的块的图像相似的预测方法，并具有如下问题：在帧中的块的相关性低时，预测精度差。必须对示出预测中使用的参考图像的位置的位移量进行编码，这导致模式信息的编码位的数量增加。 
发明内容
如上所述，在通过H.264高规格中规定的方法从编码的参考图像生成基于预测模式的内插像素，并通过在由预测模式规定的预测方向上复制内插像素来生成预测图像信号的情况下，存在如下问题：随着预测像素和参考像素之间的在预测方向上的距离增加，预测误差增大，这导致预测块形状在宏块中不能共存，并且无法减少模式信息的编码位的数量。 
本发明的一个方面提供了一种图像编码方法，包括：将输入图像分割成多个像素块信号；执行内部预测，其中利用数量根据预测像素和参考像素之间的距离而变化的参考像素，在分别表示一个预测方向的多个预测模式下外插或内插预测像素；通过外插或内插预测像素来生成预测图像信号；从像素块信号和预测图像信号计算预测误差信号；利用预测误差信号选择所述多个预测模式中的一个预测模式；以及基于所选择的预测模式，利用预测误差信号执行熵编码。 
本发明的第二个方面提供了一种图像解码方法，包括：对输入的编码图像信号进行解码，以生成包括预测模式信息的解码图像信号；根据基于解码图像信号的预测模式信息的所选预测模式以及已编码的参考像素和预测像素之间的距离，来改变用于预测的参考像素的数量和预测像素生成的过程；利用以像素为单位外插解码图像信号的图像内预测，来生成预测图像信号；根据解码图像信号来生成预测误差信号；以及通过将预测图像信号和预测误差信号相加来生成重构图像。 
附图说明
图1是根据第一实施例的视频编码装置的框图。 
图2是根据该实施例的帧内预测器的框图。 
图3是根据该实施例的视频编码装置的流程图。 
图4A是示出与该实施例相关的预测顺序的概要的图。 
图4B是示出与该实施例相关的块形状的概要的图。 
图4C是示出与该实施例相关的块形状的概要的图。 
图4D是示出与该实施例相关的块形状的概要的图。 
图4E是示出与该实施例相关的块形状的概要的图。 
图5A是示出与该实施例相关的方向预测的图。 
图5B是示出与该实施例相关的方向预测中的预测块和参考图像之间的关系的图。 
图5C是示出与该实施例相关的预测方法的图。 
图5D是示出与该实施例相关的预测方法的图。 
图6A是示出与该实施例相关的像素适应预测中的预测块和参考图像之间的关系的图。 
图6B是示出与该实施例相关的像素适应垂直预测的图。 
图6C是示出与该实施例相关的像素适应预测的图。 
图7是示出在根据该实施例的像素适应垂直预测时使用的参考图像的数量和滤波系数的加权表的图。 
图8是示出在根据该实施例的预测模式中使用的相邻块的图。 
图9是示出根据该实施例的方向预测和像素适应预测的图。 
图10是示出根据第二实施例的视频编码装置的结构的框图。 
图11是示出根据该实施例的帧内预测器的结构的框图。 
图12是示出根据该实施例的视频编码装置的流程图。 
图13是示出根据该实施例的语法(syntax)结构的示意图。 
图14是示出根据该实施例的序列参数集语法的数据结构的图。 
图15是示出根据该实施例的图像参数集语法的数据结构的图。 
图16是示出根据该实施例的片头部(slice header)语法的数据结构的图。 
图17是示出根据该实施例的宏块层语法的数据结构的图。 
图18是示出根据该实施例的序列参数集语法的数据结构的图。 
图19是示出根据该实施例的图像参数集语法的数据结构的图。 
图20是示出根据该实施例的片头部语法的数据结构的图。 
图21A是示出根据该实施例的宏块层语法的数据结构的图。 
图21B是示出根据该实施例的宏块预测语法的数据结构的图。 
图22是示出根据第三实施例的视频编码装置的结构的框图。 
图23是示出根据该实施例的序列参数集语法的数据结构的图。 
图24是示出根据该实施例的图像参数集语法的数据结构的图。 
图25是示出根据该实施例的片头部语法的数据结构的图。 
图26是示出根据该实施例的宏块层语法的数据结构的图。 
图27是示出根据该实施例的mb_type的数据结构的图。 
图28A是示出根据该实施例的块大小切换的数据结构的图。 
图28B是示出根据该实施例的块大小切换的数据结构的图。 
图29是示出根据第四实施例的视频解码装置的框图。 
图30是示出根据该实施例的视频解码装置的帧内预测器的结构的框图。 
图31是示出根据第五实施例的视频解码装置的结构的框图。 
具体实施方式
下面将参考附图详细说明视频编码方法、视频编码装置、视频解码方法以及视频解码装置。 
(第一实施例) 
图1示出的视频编码装置100被配置成将视频信号分成多个像素块，并对其进行编码。该视频编码装置100准备有预测图像信号的生成方法和块大小彼此不同的多个帧预测模式。帧内预测是将预测限于一帧内、并利用已编码的参考像素对待预测块进行预测的预测系统。在本实施例中假设，如图4A所示，从左上到右下执行编码处理。 
输入到视频编码装置100的视频信号被用图像分割器101分割成多个像素块，作为输入图像信号115。被分割的输入图像信号115的 一部分被输入到帧内预测器102，并经由模式选择器103和变换器/量化器104最终用编码处理器107进行编码，从而输出编码数据113。 
该图像分割器101将视频信号分割成多个像素块，以为每个像素块生成一个16×16像素块，如图4B所示。该16×16像素块被称为宏块，其成为下述编码处理的基本处理块大小。视频编码装置100以该宏块为单位对视频信号进行编码。 
帧内预测器102利用临时存储在参考图像存储器106中的参考像素，对于所有可选择的预测模式以宏块为单位对图像信号进行外插，以生成预测图像信号114。换句话说，帧内预测器102利用图像内预测(例如帧内预测)，针对可对预测像素块执行的所有模式，生成预测图像信号114。然而，当像H.264(4×4像素预测(参考图4C)或8×8像素预测(参考图4D))的帧内预测一样只有在宏块中生成局部解码图像才能进行下一个预测时，可以在帧内预测器102中进行变换和量化、以及逆量化和逆变换。然而，预测图像信号是仅用帧内预测器102生成的。 
利用帧内预测器102生成的预测图像信号114被发送到模式选择器103。该模式选择器103通过从输入图像信号115减去预测图像信号114来生成预测误差信号116。模式选择器103根据利用帧内预测器102预测的模式信息和所生成的预测误差信号116，来选择预测模式。利用由下式表示的成本来具体地说明该实施例。 
K＝SAD+λ×OH                (1) 
其中，OH表示模式信息，SAD表示预测误差信号的绝对值和，λ是常数，并且根据量化宽度或量化参数的值来确定λ。利用以该方式获得的成本来确定预测模式。将使成本K最小的预测模式选择为最佳预测模式。 
在该实施例中，利用模式信息和预测误差的绝对值和。然而，也可以仅利用模式信息或仅利用预测误差的绝对值和来选择预测模式。对模式信息和预测误差的绝对值和可以进行阿达玛变换(Hadmardtransform)，或者可以利用与其相似的值。另外，可以利用输入图像 信号的活动性(activity)来获得成本，并可以利用量化宽度和量化参数来获得成本函数。 
模式选择器103与变换器/量化器104连接，并且用模式选择器103选择的模式信息和预测误差信号被输入到变换器/量化器104。变换器/量化器104对输入的预测误差信号执行正交变换，以生成变换系数数据。变换器/量化器104在本实施例中利用DCT等将预测误差信号变换成系数，但是也可以利用例如小波变换或独立分量分析的技术将预测误差信号变换成系数。变换器/量化器104对变换系数进行量化。利用编码控制器108来设定量化所需的量化参数。 
被量化的变换系数117与例如预测信息109的、和预测方法相关的信息以及量化参数一起被输出到编码处理器107。编码处理器107对被量化的变换系数和输入的预测信息等执行熵编码(哈夫曼编码或算术编码)。利用复用器111将用编码处理器107进行了熵编码的数据和预测信息109等进行多路复用，并经由输出缓冲器112将其作为编码数据113输出。 
逆量化器/逆变换器105根据用编码控制器108设定的量化参数，对用变换器/量化器104进行了量化的变换系数117进行逆量化，并对变换系数进行逆变换(例如逆DCT)，由此将变换系数解码为预测误差信号116。 
利用加法器118，将用逆量化器/逆变换器105解码的预测误差信号116与从模式选择器103提供的选择预测模式的预测图像信号114相加。相加信号变成解码的图像信号119并被输入到参考图像存储器106。参考图像存储器106将解码的图像信号119累积为参考图像。在用帧内预测器102生成预测误差信号时，参考被累积在参考图像存储器106中的参考图像。 
编码循环(图1中按帧内预测器102→模式选择器103→变换器/量化器104→逆量化器/逆变换器105→参考图像存储器的顺序执行的处理)对应于对宏块中可选择的所有预测模式执行编码处理时的一个循环。在完成了针对预测宏块的编码循环时，输入下一个块的输入图 像信号115以进行编码。 
编码控制器108对编码位的数量执行反馈控制、量化特性控制和模态控制等。另外，编码控制器108执行对编码位的数量进行控制的速率控制、对预测单元的控制以及对编码的整体控制。 
上述的各部分的功能可以由存储在计算机中的程序实现。 
下面参考图2来解释用于实现根据本实施例的视频编码方法的视频编码装置100的帧内预测器。适当地省略了对与图1相似的部分的说明。 
帧内预测器102包括内部模式选择器204、内部变换器/量化器206、内部逆量化器/逆变换器207以及内部参考图像存储器209，用以在与宏块大小相比要小的块大小中进行预测。像素适应预测单元201和方向预测单元202均包括多个预测模式，但是预测方法彼此不同。固定模式预测单元203利用像素适应预测单元201和方向预测单元202的预测方法来对预测块进行预测，但是执行预测模式中的不发送宏块级别的模式信息的一种预测模式。 
下面详细说明方向预测单元202和像素适应预测单元201。这些预测单元利用在参考图像存储器106中保持的已解码的参考像素，对预测块进行预测。如图5A所示，存在九个预测模式，并且除了模式2之外，它们具有彼此相差22.5度的预测方向。画出了除模式2之外的模式0、1、3至8，而模式2描述用方向预测单元202进行的DC预测。图9示出用方向预测单元202执行的方向预测的模式名称以及用像素适应预测单元201执行的像素适应预测的模式名称。图5B示出4×4像素预测的预测块和参考像素之间的关系。大写字母A至M的像素是参考像素，而小写字母a至p的像素是预测像素。 
首先，说明方向预测单元202的预测方法。当选择模式2的DC预测时，方向预测单元202根据下式(2)计算预测像素。 
H＝(A+B+C+D)，V＝(I+J+K+L)         (2) 
a至p＝(H+V+4)＞＞3 
在无法使用参考像素时，通过可用参考像素的平均值对预测像素 进行预测。如果没有可用参考像素，则利用编码装置的最大辉度值的半值(如果是8位的话为128)来计算预测值。在选择了其它模式时，方向预测单元202利用在图5A所示的预测方向上复制对参考像素进行内插而得到的预测值的预测方法。更具体地说，根据下式(3)来描述在选择模式0(垂直预测)时生成预测值的方法。 
a，e，i，m＝A 
b，f，j，n＝B 
c，g，k，o＝C 
d，h，l，p＝D      (3) 
仅在参考像素A至D可用时，才能选择该预测模式。图5C示出了该预测方法的细节。在垂直方向上将参考像素A至D的亮度值复制到预测像素上，并将其填补为预测值。 
根据下式(4)说明在选择了预测模式4(正交右下预测)时的预测方法。 
d＝(B+(C＜＜1)+D+2)＞＞2 
c，h＝(A+(B＜＜1)+C+2)＞＞2 
b，g，l＝(M+(A＜＜1)+B+2)＞＞2 
a，f，k，p＝(I+(M＜＜1)+A+2)＞＞2 
e，j，o＝(J+(I＜＜1)+M+2)＞＞2 
i，n＝(K+(J＜＜1)+I+2)＞＞2 
m＝(L+(K＜＜1)+J+2)＞＞2            (4) 
仅在参考像素A至D以及I至M可用时，才能选择该预测模式。图5D详细示出了该预测模式。将用三抽头滤波器生成的值复制在右下45度方向上的预测像素上，并将其填补为预测值。 
对于预测模式0、2、4之外的预测方法，使用与上述大致相似的配置。换句话说，从预测方向上可用的参考像素生成内插值，并执行根据预测方向将该值复制到预测像素的预测。 
下面说明像素适应预测单元201。像素适应预测单元201通过根据预测像素和参考像素之间的距离来改变使用参考像素的数量，由此 执行预测。预测值以像素为单位改变。帧内预测是利用图像的空间相关性的预测，并基于相邻像素的亮度值相似的假设来生成预测值。在预测像素和可用参考像素之间的距离增加时，该假设不成立，这导致倾向于增加预测误差。由于该原因，在预测像素和参考像素之间的距离增加时，通过根据增加的距离而增加可用像素的数量来减小预测误差。另外，通过根据距离改变可用参考像素的加权表，可以生成高精度的预测值。 
预测模式类似于图5A中说明的预测模式。图6A示出参考像素和预测块之间的关系。图6A和图5B示出的参考像素和预测像素一一对应。但是，为了有利于预测式的说明，对这些像素赋予不同的索引。参考像素是x00至x08、x09、x18、x27和x36这13个像素。预测像素是x10至x13、x19至x22、x28至x31以及x37至x40这16个像素。x14至x17、x23至x26、x32至x35以及x41至x44这16个像素是预测辅助像素，并用于提高预测精度。 
下面详细说明与像素适应垂直预测(模式0)有关的预测值生成方法。图6B示出像素适应垂直预测的方法。从图6B可以看出，在参考像素和预测像素之间的距离增加时，利用数量增多的参考像素确定预测值。例如，在预测像素x10在预测方向上距离参考像素一个像素时，利用三个参考像素x00、x01和x02计算预测值。在预测像素x20在预测方向上距离参考像素两个像素时，利用五个参考像素x00、x01、x02、x03和x04计算预测值。在预测像素x30在预测方向上距离参考像素三个像素时，利用七个参考像素x00、x01、x02、x03、x04、x05和x06计算预测值。在预测像素x40在预测方向上距离参考像素四个像素时，利用九个参考像素x00、x01、x02、x03、x04、x05、x06、x07和x08计算预测值。 
下面根据下式(5)具体说明预测值生成方法。在像素适应垂直预测中，利用下式(5)计算预测像素。 
X(n)＝(X(n-d-1)+(X(n-d)＜＜1)+X(n-d+1)+2)＞＞2      (5) 
其中，n表示与图6A所示的预测像素位置(x10至x13、x19至 x22、x28至x31和x37至x40)对应的索引。d由下式给出。 
d＝(blk-num＜＜1)+1         (6) 
其中，blk_num在4×4像素块中为4，在8×8像素块中为8。 
可以想到，该预测系统不仅利用已编码的参考像素预测像素，而且利用已编码的预测像素预测下一个像素。图6示出该概念。为了获得预期的预测像素，该预测系统就像利用与参考像素的距离近一个像素的预测像素来执行预测。如果将预测值代入到式(5)，并展开式(5)，则得到如图6B所示的预测方法。 
如果根据参考像素和预测像素之间的距离展开式(5)，则可以得到下面的预测式(7)。 
X ( n ) = Σ i = - L L h i X ( n - v i ) - - - ( 7 )
L表示参考像素和预测像素之间的距离。Vi表示根据相应的预测模式确定的索引。hi表示滤波系数，并且抽头的数量根据L而改变。关于像素适应垂直预测，具体说明hi和Vi。图7示出在4×4像素预测中根据参考像素和预测图像之间的距离而使用的权重滤波系数hi(加权表)的例子。 
通过利用三个像素的下式(8)，预测在预测方向上距离参考像素一个像素的预测像素。 
X(n)＝(X(n-d-1)+(X(n-d)＜＜1)+X(n-d+1)+2)＞＞2       (8) 
其中，n表示与L＝1(x10至x13)对应的索引。滤波系数为hi＝(1，2，1)，并对应于Vi＝(d+1，d，d-1)。 
通过利用五个像素的下式(9)，预测距离参考像素达两个像素的预测像素。 
X(n)＝(X(n-(d＜＜1)-2)+(X(n-(d＜＜1)-1)＜＜2)+ 
      (6X(n-(d＜＜1)))+(X(n-(d＜＜1)+1)＜＜2)+ 
      X(n-(d＜＜1)+2)+8)＞＞4                   (9) 
其中，n表示与L＝2(x19至x22)对应的索引。滤波系数为hi＝(1，4，6，4，1)，并对应于Vi＝(2d+2，2d+1，2d，2d-1，2d-2)。 
通过利用七个像素的下式(10)，预测距离参考像素达三个像素 的预测像素。 
X(n)＝(X(n-3d-3)+(6X(n-3d-2))+(15X(n-3d-1))+ 
      (20X(n-3d))+(15X(n-3d+1))+(6X(n-3d+2))+ 
      X(n-3d+3)+32)＞＞6                       (10) 
其中，n表示与L＝3(x28至x31)对应的索引。滤波系数为hi＝(1，6，15，20，15，6，1)，并对应于Vi＝(3d+3，3d+2，3d+1，3d，3d-1，3d-2，3d-3)。 
通过利用九个像素的下式(11)，预测距离参考像素达四个像素的预测像素。 
X(n)＝(X(n-(d＜＜2)-4)+(X(n-(d＜＜2)-3)＜＜3)+ 
      (28X(n-(d＜＜2)-2))+(56X(n-(d＜＜2)-1))+ 
      (70X(n-(d＜＜2)))+(56X(n-(d＜＜2)+1))+ 
      (28X(n-(d＜＜2)+2))+(X(n-(d＜＜2)+3)＜＜3)+ 
      X(n-(d＜＜2)+4)+128)＞＞8                    (11) 
其中，n表示与L＝4(x37至x40)对应的索引。滤波系数为hi＝(1，8，28，56，70，56，28，8，1)，并对应于Vi＝(4d+4，4d+3，4d+2，4d+1，4d，4d-1，4d-2，4d-3，4d-4)。 
通过展开式(5)得到用于预测的参考像素、参考像素的数量和加权表。利用该表计算预测像素的内插值。在计算像素x31的内插值时，使用图7的表中的L＝3时的滤波系数hi＝(1，6，15，20，15，6，1)。根据式(9)，得到以下的预测式(12)。 
X(31)＝(X(01)+(6X(02))+(15X(03))+ 
       (20X(04))+(15X(05))+(6X(06))+X(07)+32)＞＞6     (12) 
在没有相应的参考像素时，通过将最后的参考像素值代入到预测式中来执行预测。在预测像素x19时，无法利用像素x00的左侧的参考像素。然而，由于可以利用参考像素x09，因此根据下式(13)执行预测。 
X(19)＝(X(09)+X(00)＜＜1)+(5X(01))+ 
       (X(02)＜＜2)+X(03)+8)＞＞4       (13) 
在此情况下，通过确定用于式(5)中的预测的像素并展开必要的预测值而得到式(12)。 
利用下式(14)表示像素适应水平预测(模式1)的预测式。 
X(n)＝(X(n-d-1)+(X(n-1)＜＜1)+X(n+d-1)+2)＞＞2   ...(14) 
利用下式(15)表示像素适应相邻预测(模式2)的预测式。 
X(n)＝(X(n-1)+X(n+d)+1)＞＞1                     ...(15) 
利用下式(16)表示像素适应正交左下预测(模式3)的预测式。 
X(n)＝(X(n-d)+(X(n-d+1)＜＜1)+X(n-d+2)+2)＞＞2   ...(16) 
利用下式(17)表示像素适应正交右下预测(模式4)的预测式。 
X(n)＝(X(n-d)+(X(n-d-1)＜＜1)+X(n-1)+2)＞＞2     ...(17) 
利用下式(18)表示像素适应垂直左预测(模式5)的预测式。 
X(n)＝(X(n-d)+(X(n-d-1)+1)＞＞1                  ...(18) 
利用下式(19)表示像素适应水平下预测(模式6)的预测式。 
X(n)＝(X(n-d-1)+X(n-1)+1)＞＞1                   ...(19) 
利用下式(20)表示像素适应垂直左预测(模式7)的预测式。 
X(n)＝(X(n-d)+X(n-d+1)+1)＞＞1                   ...(20) 
利用下式(21)表示像素适应水平上预测(模式8)的预测式。 
X(n)＝(X(n-1)+X(n+d-1)+1)＞＞1                   ...(21) 
与像素适应垂直预测类似地，为了计算预测像素值，将必要的预测出的图像代入该式并展开。结果，确定了必要的参考像素、参考像素的数量以及加权表。 
在没有参考像素时，与像素适应垂直预测相似地填补参考像素。在利用像素适应水平预测对像素x37进行预测时，无法利用参考像素x45。因此，如下式(22)所示，利用像素x36填补该参考像素。 
X(37)＝(X(36)+(X(36)＜＜1)+X(27)+2)＞＞2＝ 
       (3X(36)+X(27)+2)＞＞2               (22) 
这样，由于通过根据预测像素和参考像素之间的距离来改变使用参考像素的数量，从而完成了更高精度的预测，因此可以提高编码效率。预测精度的提高使得预测图像接近输入图像。因此，这是在视觉 上效果好的预测系统。 
随后，详细说明固定模式预测单元203。固定模式预测单元203预测模式信息，并根据确定的预测模式执行像素适应预测或方向预测。利用相邻预测块的模式信息来预测所述模式信息。图8示出了在4×4像素预测的情况下相邻块之间的关系。假设与预测块C的左侧相邻的块为A，并且与预测块C的上侧相邻的块为B。在这两个预测模式被限定为prev_left_mode和prev_upper_mode时，利用下式(23)确定块C的预测模式。 
current_mode＝min(prev_left_mode，prev_upper_mode)   ...(23) 
其中，current_mode表示预测块C的预测模式。函数min(A，B)表示与A和B中较小者的值。由于根据周围块的预测模式信息来预测预测块的预测模式信息，因此该模式是可以大幅减少对预测模式信息进行编码所需的编码位的数量的编码模式之一。根据下述的ex_direct_intra标志，确定利用像素适应预测单元201生成预测图像还是利用方向预测单元202生成预测图像，并根据由编码控制器108提供的ex_direct_intra标志信息进行确定。 
在本实施例中，根据相邻预测块A和B的预测模式信息确定当前预测块的预测模式信息。作为本实施例的变型例，可以根据周围预测块的预测模式信息进行确定。可以利用预测块B的右侧的块、预测块的上侧的块、预测块A的左侧的块以及预测块A的上侧的块的预测模式信息，来确定当前预测块的预测模式。例如，可以将周围预测块的预测模式中的最频繁的预测模式、周围预测块的预测模式的中值、或周围预测块的预测模式的平均值确定为当前预测块的预测模式。 
下面详细说明图2示出的帧内预测器102的操作。在输入图像信号115被输入到帧内预测器102时，该信号被输入到像素适应预测单元201、方向预测单元202和固定模式预测单元203中。利用像素适应预测单元201、方向预测单元202和固定模式预测单元203中的每一个，根据预测模式和预测块形状，生成相应的预测图像信号114。 
然后，如果从编码控制器108输入用于禁止预测的预测禁止信息， 则相应的预测单元不生成预测图像信号。更具体地，在预测禁止信息被输入到像素适应预测单元201时，从像素适应预测单元201不生成预测图像信号114。在预测禁止信息被输入到方向预测单元202时，从方向预测单元202不生成预测图像信号114。在预测禁止信息被输入到固定模式预测单元203时，从固定模式预测单元203不生成预测图像信号114。 
在预测禁止信息被输入到预测单元中的一个时，相应的预测单元不与预测切换开关205连接。不允许将预测禁止信息同时输入到像素适应预测单元201和方向预测单元202。 
由各个预测单元预测的预测图像信号114和预测模式信息被输入到内部模式选择器204。内部模式选择器204生成预测误差信号116，该预测误差信号116是从输入图像信号115减去预测图像信号114而获得的。内部模式选择器204根据由各个预测单元预测的模式信息和所生成的预测误差信号116来选择模式。 
利用在式(1)中使用的成本来选择预测模式。内部模式选择器204向编码控制器108发送模式信息，该模式信息表示所选择的预测模式是用像素适应预测单元201预测的预测模式、还是用方向预测单元201预测的预测模式。在使用像素适应预测时，下述的ex_adaptive_intra_flag为真(TRUE)，而在使用方向预测时，该标志为假(FALSE)。编码控制器108根据给定的模式信息，控制预测切换开关205。根据ex_direct_intra_flag确定固定模式预测是否被执行。在该标志为真时，执行固定模式预测，而在该标志为假时，不执行该预测。 
在ex_adaptive_intra_flag为真时，预测切换开关205连接到像素适应预测单元201。在ex_adaptive_intra_flag为假时，预测切换开关205连接到方向预测单元202。在ex_direct_intra_flag为真时，编码控制器108将切换开关205连接到固定模式判定单元203。 
在所有像素块中的预测完成时，内部模式选择器204从帧内预测器102输出宏块的预测图像信号114和模式信息。 
预测切换开关205连接到内部变换器/量化器206。用内部模式选择器204选择的模式信息和预测误差信号114经由切换开关205被输入到内部变换器/量化器206。内部变换器/量化器206利用离散余弦变换等将输入的预测误差信号114变换为变换系数，并生成专员系数数据。可以利用例如小波变换或独立分量分析的变换，对预测误差信号114进行变换。内部变换器/量化器206对变换系数进行量化。用编码控制器108设定量化所需的量化参数。 
内部逆量化器/变换器207根据用编码控制器108设定的量化参数，对用内部变换器/量化器206量化的变换系数117进行逆量化，并对经逆量化的变换系数进行逆变换(例如，逆DCT)，并输出预测误差信号116。利用内部加法器208，将用内部逆量化器/逆变换器207解码的预测误差信号116与用内部模式选择器204选择的模式的预测图像信号114相加。相加信号作为解码图像信号119被输入到内部参考图像存储器209。 
内部参考图像存储器209将解码图像信号119作为参考图像累积。在用像素适应预测单元201、方向预测单元202或固定模式预测单元203生成预测图像信号114等时，参考累积在内部参考图像存储器209中的参考图像。内部预测循环(按图2中的像素适应预测单元201、方向预测单元202或固定模式预测单元203→内部模式选择器204→预测切换开关205→内部变换器/量化器206→内部逆变换器/逆量化器207→内部参考图像存储器209的顺序执行的处理)对应于对在宏块的像素块中可选择的所有预测模式执行编码处理时的一个循环。 
在例如在4×4像素预测中切换像素适应预测、方向预测和固定模式预测时，总共执行16×3次内部预测循环。在此情况下，编码控制器108首先将预测切换开关205连接到像素适应预测单元201，以执行16次内部预测环，并确定像素适应预测中以宏块为单位的最佳模式组合。 
编码控制器108将预测切换开关205连接到方向预测单元202，以执行16次内部预测循环。编码控制器108将预测切换开关205连接 到固定模式预测单元203，根据内部标志的状态确定使用哪个预测方法来执行固定模式预测，并根据确定的预测方法来执行预测。以这种方式获得的三个模式被输入到模式选择器103，以便选择宏块的最佳模式。 
类似地，在8×8像素预测的情况中，执行4×3次内部预测循环。由于16×16像素预测不需要生成局部解码图像，故无需执行内部预测循环。因此，从帧内预测器102原样输出用像素适应预测单元201或方向预测单元202预测的模式和预测图像信号。在终止了针对宏块的内部预测循环时，输入下一个宏块的输入图像信号115以进行编码。 
下面参考图3说明用视频编码装置100执行的视频编码方法。 
在将视频信号的一帧输入到视频编码装置100时(步骤S1)，图像分割器101将一帧分割为多个宏块，并进一步将其分割为多个像素块(步骤S2)。将一个被分割的宏块作为输入图像信号115输入到帧内预测器102。然后，模式选择器103对表示模式的索引和成本进行初始化(步骤S3)。 
帧内预测器102利用输入图像信号115，生成预测块可选的预测模式的预测图像信号114(步骤S4)。模式选择器103计算预测图像信号114和输入图像信号115之间的差别，以生成预测误差信号116。根据预测模式的编码位数量OH和预测误差信号116的绝对值和SAD，来计算成本(步骤S5)。 
模式选择器103确定计算出的成本是否比最小成本min_cost小(步骤S6)。在计算出的成本小于最小成本(是)时，模式选择器103将最小成本更新为计算出的成本，并将所选择的编码模式保持为best_mode索引(步骤S7)。在计算出的成本大于最小成本min_cost(否)时，表示模式编号的索引增加，并确定增加的索引是否为最后一个模式(步骤S8)。 
在索引大于表示最后一个模式的编号的MAX(是)时，best_mode的编码模式信息和预测误差信号116被发送到变换器/量化器104，以被变换和量化(步骤S9)。经量化的变换系数117被输入到编码处理 器107，并与预测信息109和预测切换信息110一起被编码处理器107进行熵编码(步骤S10)。在索引小于表示最后一个模式的编号的MAX(否)时，生成由下一个索引表示的编码模式的预测图像信号114(步骤S4)。 
在best_mode下执行编码时，将经量化的变换系数117输入到逆量化器/逆变换器105并对其执行逆量化和逆变换，由此将其解码为预测误差信号116。利用加法器118将该解码的预测误差信号116与预测图像信号114相加，以生成解码图像信号119。将该解码图像信号119存储在参考图像存储器106中作为参考图像。 
确定对一个帧的编码是否终止(步骤S11)。在编码处理完成(是)时，将下一个帧输入到视频编码装置100，并再次执行编码处理。在对一个帧的编码未完成(否)时，将下一个像素块的输入图像信号输入到帧内预测器102，以继续编码处理。 
如上所述，本实施例的视频编码装置100对运动视频进行编码。 
在本实施例的像素适应预测中，利用图7所示的滤波器的加权表来计算预测像素。在该情况下，按参考像素和预测像素之间的距离的增序，对预测像素进行预测，并将通过预测获得的像素值存储在存储器中。在预测图像和参考图像之间的距离增加时，可以将该像素值用作参考像素。因此，可以按照参考像素和预测像素在预测方向上的距离的增序，确定生成预测像素的顺序。例如在图6A的像素适应垂直预测(模式0)中从上到下生成预测像素时，在L＝2的预测时可以参考用L＝1生成的预测像素。类似地，在像素适应水平预测(模式1)中，在从左到右的方向上生成预测像素。将所生成的预测像素保存在存储器中，并随时用作下一个预测的参考像素。结果，可以抑制计算离参考像素的距离远的预测像素的预测值的运算成本，并可以减少硬件成本。 
在该实施例中，对于4×4像素预测，详细描述像素适应帧内预测。对于8×8像素块、16×16像素块以及色差信号可以执行类似的预测。特别地，由于随着像素块大小的增加，参考像素和预测像素之间的距 离增加，因此像素适应预测提供良好效果。根据距离，增加用于预测的参考像素的数量，但是为了减少运算成本，也可以减少用于预测的参考像素的数量。对于每个预测像素，可以有多个用于预测的滤波器的组合。 
在该实施例中，描述如下情况：待处理帧被分割为多个分别具有16×16像素大小的矩形块，并且这些块按从左上到右下的顺序被编码。然而，编码顺序也可以为另一顺序。可以从右下到左上对帧进行编码，也可以从帧的中心开始按螺旋形状对其进行编码。可以从右上到左下对帧进行编码，也可以从外围向中心的对其进行编码。 
在该实施例中，描述了如下情况：按照16×16的块将待处理帧分割为多个宏块，并根据8×8像素块或4×4像素块进行帧内预测。然而，待处理块无需具有均一的块形状，而可以具有例如16×8像素、8×16像素、8×4像素、4×8像素等的块大小。例如，可以在相似的框架内实现8×4像素预测或2×2像素预测。 
另外，变换量化块无需具有均一的块大小，而可以具有例如16×8像素、8×16像素、8×4像素、4×8像素的块大小。另外，在一个宏块中，无需采取均一的块大小。在宏块中可以设置不同的块大小。例如，如图4E所示，8×8像素预测和4×4像素预测可以共存在宏块中。在该情况下，随着分割块的数量的增加，对分割块进行编码所需的编码位的数量增加，但是可以实现更高预测效率的帧内预测，并且可以减少预测误差。因此，可以考虑变换系数的编码位数量和局部解码图像之间的平衡，来选择块大小。 
在该实施例中，仅用帧内预测说明了预测模式。然而，可以利用使用帧之间的相关性来执行预测的帧间预测。该预测系统可被用作在帧间编码中对片进行编码时选择的帧内预测。在该情况下，帧内预测和帧间预测无需以宏块为单位进行切换，而可以对每8×8像素块进行切换，并且可以以8×4像素块为单位进行分割。 
在该实施例中，设置有变换器/量化器104和逆量化器/逆变换器105，但是不需要总是对所有的预测误差信号进行变换/量化和逆量化/ 逆变换。可以用编码处理器107对预测误差信号原样地进行编码，并且可以省略量化/逆量化处理。类似地，不需要执行变换/逆变换处理。 
下面将描述对用于在像素适应预测和方向预测之间进行切换的ex_adaptive_intra_flag和用于执行固定模式预测的ex_direct_intra_flag进行编码的方法。 
在图13中示意性地示出了在该实施例中使用的语法(syntax)的结构。该语法主要由三个部分(即高级语法(1301)、片级语法(1304)以及宏块级语法(1307))构成。高级语法(1301)由与片相比更高层的语法信息填充。片级语法(1304)由对于每个片必要的信息指定。宏块级语法(1307)由每个宏块所需的量化参数的模式信息或改变值指定。 
每个语法由更详细的语法构成。换句话说，高级语法(1301)由例如序列参数集语法(1302)和图像参数集语法(1303)的序列以及图像级的语法构成。片级语法(1304)由片头部语法(1305)和片数据语法(1306)构成。宏块级语法(1307)由宏块层语法(1308)和宏块预测语法(1309)构成。 
在该实施例中，必要的语法信息是序列参数集语法(1302)、图像参数集语法(1303)、片头部语法(1305)以及宏块层语法(1308)。下面对各个语法进行解释。 
图14的序列参数集语法中所示的ex_adaptive_intra_in_seq_flag是指示像素适应预测是否对每个序列改变的标志。在该标志为真时，可以以序列为单位，切换像素适应预测和方向预测。在该标志为假时，在序列中不能使用像素适应预测。 
图15的图像参数集语法中所示的ex_adaptive_intra_in_pic_flag是指示像素适应预测是否对每个图像改变的标志。在该标志为真时可以以图像为单位切换像素适应预测和方向预测。在该标志为假时，在图像中无法使用像素适应预测。 
图16的片头部语法中所示的ex_adaptive_intra_in_slice_flag是指示像素适应预测是否对每个片改变的标志。在该标志为真时，可以以 片单位在像素适应预测和方向预测之间切换。在该标志为假时，在片中无法使用像素适应预测。 
图17的宏块层语法中所示的ex_adaptive_intra_flag是指示在宏块中是否使用了像素适应预测的标志。在该标志为真时，像素适应预测被使用。在该标志为假时，方向预测被使用。该标志在ex_adaptive_intra_in_seq_flag、ex_adaptive_intra_in_pic_flag以及ex_adaptive_intra_in_slice_flag中的至少一个为真时有效。仅在帧内预测中能够使用宏块预测类型。 
图18的序列参数集语法中所示的ex_direct_intra_in_seq_flag是指示固定模式预测是否对每个序列改变的标志。在该标志为真时，可以以序列为单位在使用与不使用固定模式预测之间进行切换。在该标志为假时，在序列中无法使用固定模式预测。 
图19的图像参数集语法中所示的ex_direct_intra_in_pic_flag是指示固定模式预测是否对每个图像改变的标志。在该标志为真时，可以以图像为单位切换固定模式预测的使用与不使用。在该标志为假时，在图像中无法使用固定模式预测。 
图20的片头部语法中所示的ex_direct_intra_in_slice_flag是指示固定模式预测是否对每个片改变的标志。在该标志为真时，可以以片为单位在固定模式预测的使用与不使用之间进行切换。在该标志为假时，在片中无法使用固定模式预测。 
图21A的宏块层语法中所示的ex_direct_intra_flag是指示在宏块中是否使用了固定模式预测的标志。在该标志为真时，固定模式预测被使用。在该标志为假时，无法使用固定模式预测。该标志仅在ex_direct_intra_in_seq_flag、ex_direct_intra_in_pic_flag以及ex_direct_intra_in_slice_flag中的至少一个为真时有效。仅在帧内预测中能够使用宏块预测类型。 
图21B示出宏块预测语法。在该语法中存储对应的宏块中的预测模式信息。在选择了除固定模式预测以外的预测模式时，该语法设定对应的预测模式信息。 
在ex_direct_intra_flag为真时，不使用在该语法中所示的prev_intra4x4_pred_mode_flag。prev_intra4x4_pred_mode_flag是指示通过相邻预测块估计的预测模式(current_mode)是否与为预测对象块实际选择的预测模式(pred_mode)相一致的标志。在它们彼此一致(即该标志为真)时，不使用rem_intra4x4_pred_mode。在它们彼此不一致时，进一步使用rem_intra4x4_pred_mode。rem_intra4×4_pred_mode表示current_mode和为预测对象块实际选择的预测模式(pred_mode)之间的失配量。在pred_mode比current_mode大时，存储rem_intra4x4_pred_mode＝current_mode的值。在pred_mode等于或小于current_mode时，存储rem_intra4x4_pred_mode＝current_mode+1的值。 
在ex_direct_intra_flag和ex_adaptive_intra_flag都为真时，使用不发送像素适应预测中的模式信息的编码模式。在ex_direct_intra_flag为真且ex_adaptive_intra_flag为假时，使用不发送方向预测中的模式信息的编码模式。 
本实施例提高了远离参考像素的预测像素的预测精度，并减小了预测误差。 
(第二实施例(编码)) 
在图10所示的根据第二实施例的视频编码装置1000中，向第一实施例的视频编码装置添加了临时编码/编码位数计数器1001、编码失真测量单元1002以及编码切换开关1003。由于帧内预测器和模式选择器在功能上与第一实施例不同，因此为它们分配了与第一实施例不同的附图标记。在本实施例中，使用相同的附图标记来指定与图1相同的结构元件，并且为了简短起见，省略了进一步的说明。 
用图像分割器101将输入到视频编码装置1000的视频信号分割成多个像素块。每个块作为输入图像信号115被输入到帧内预测器1004。帧内预测器1004利用临时存储在参考图像存储器106中的参考图像，针对在宏块中可选择的所有预测模式生成预测图像信号114。然而，在像H.264(4×4像素预测(图4C)或8×8像素预测(图4D))的帧 内预测那样，除非在宏块中生成局部解码图像，否则无法执行下一个预测时，帧内预测器1004可以执行变换和量化以及逆量化和逆变换。 
用帧内预测器1004生成的预测图像信号114被发送到模式选择器1005。模式选择器1005生成预测误差信号116，该预测误差信号116是通过从输入图像信号115中减去预测图像信号114而获得的。模式选择器1005接收用临时编码/编码位数测量单元1001累积的编码位的数量1006和用编码失真测量单元1002计算出的编码失真1007，并计算编码成本。通过下式(24)来计算编码成本。 
J＝D+λ×R    (24) 
其中，R表示编码位的数量，D是编码失真，λ是常数并且根据量化宽度和量化参数的值来确定。根据以该方式获得的成本来选择模式。将提供的成本J的值最小的模式选择为最佳模式。 
在该实施例中，使用了编码位的数量1006和编码失真1007。然而，可以仅使用编码位的数量或仅使用编码失真来选择模式。可以利用输入图像信号115的活动性来计算成本，并且可以利用量化宽度和量化参数来计算成本函数。将利用视觉频率特性或敏感度等进行了加权的编码失真用作编码成本。 
模式选择器1005与变换器/量化器104相连接。用模式选择器1005选择的模式信息和预测误差信号116被输入到变换器/量化器104。变换器/量化器104通过对预测误差信号116进行变换和量化而输出经量化的变换系数117。 
变换系数117被发送到临时编码切换开关1003。在用编码控制器108将临时编码标志设为真时，临时编码切换开关1003将变换器/量化器104的输出连接到临时编码/编码位数测量单元1001。将变换系数117输入到临时编码/编码位数测量单元1001，并对其进行临时熵编码。在该情况下，临时编码/编码位数测量单元1001累积编码位的数量，并计算因实际编码而导致的编码位的总数量的估计值，但是不输出编码的数据。用临时编码/编码位数测量单元1001计得的编码位的数量1006被发送到编码失真测量单元1002。 
编码失真测量单元1002不仅接收按照用逆量化器/逆变换器105解码的预测误差信号116与预测图像信号114的和而生成的解码图像信号119作为输入信号，而且还接收输入图像信号115，并计算解码图像信号119和输入图像信号115的平方误差(编码失真1007)。编码失真测量单元1002将作为输入的编码位的数量1006和通过计算获得的编码失真1007发送到模式选择器1005。 
临时编码循环(按图10中的帧内预测器1004→模式选择器1005→变换器/量化器104→临时编码切换开关1003→临时编码/编码位数测量单元1001→编码失真测量单元1002的顺序执行的处理)对应于对宏块可选择的一个预测模式执行编码处理时的一个循环。在存在十种模式时，将临时编码循环重复10次。在对在宏块中可选择的所有模式终止了临时编码循环时，模式选择器1005将编码控制器108的临时编码标志设置为假。 
在用编码控制器108将临时编码标志设置为假时，临时编码切换开关1003将变换器/量化器104的输出连接到编码处理器107。此时，模式选择器1005针对所有的模式计算编码成本，并将模式中给出最小编码成本的一个模式的模式信息和变换系数117发送到编码处理器107。编码处理器107根据由输入的模式信息规定的方法，对被量化的变换系数117进行实际编码。在该情况下，要被最终编码的数据已在临时编码时进行了一次编码。因此，在存储器中存储了在临时编码时编码成本为优选的模式的模式信息和变换系数，编码处理器107可以执行读出存储在存储器中的编码数据并对其进行复制的处理，而无需执行编码。 
在对对象宏块完成了编码循环时，下一个块的输入图像信号115被输入到帧内预测器1004，以便对下一个块进行编码。编码控制器108执行编码位的数量的反馈控制、量化特性控制、模式控制等，并执行用于控制编码位的数量的速率控制、对预测器的控制以及对整个编码的控制。 
可以利用由计算机存储的程序来实现上述各部分的功能。 
下面，参考图11所示的帧内预测器1004来描述根据本实施例的视频编码方法。在本实施例中，使用相同的附图标记来指示与图2相同的结构元件，并且为了简短起见，省略了进一步的描述。 
在输入图像信号115被输入到帧内预测器1004时，该信号被输入到像素适应预测单元201、方向预测单元202以及固定模式预测单元203。利用像素适应预测单元201、方向预测单元202以及固定模式预测单元203中的每一个，生成对应于预测模式和预测块形状的预测图像信号114。 
用预测器201、202、203预测的预测图像信号114和预测模式信息被分别输入到内部模式选择器1104。内部模式选择器1104通过从输入图像信号115减去预测图像信号114来生成预测误差信号116。内部模式选择器1104根据用内部临时编码/编码位数计数器1101计算出的编码位的数量1105以及用内部编码失真测量单元1102计算出的内部编码失真，利用式(24)来计算内部编码成本，并将提供的编码成本J的值最小的模式选择为最佳模式。 
在该实施例中，利用内部编码位的数量1105和内部编码失真1006来确定模式。然而，可以仅利用内部编码位的数量或仅利用编码失真来确定模式。可以利用输入图像信号的活动性来计算成本，并且可以利用量化宽度和量化参数来计算成本函数。将利用视觉频率特性或敏感度等进行了加权的编码失真用作编码成本。 
内部模式选择器1104向编码控制器108发送模式信息，该模式信息指示所选择的模式是用像素适应预测单元201预测的模式、用方向预测单元202预测的模式、还是用固定模式预测单元203预测的模式。编码控制器108根据给定的模式信息来控制预测切换开关205。 
用内部模式选择器1104选择的模式信息和预测误差信号被输入到内部变换器/量化器206。变换器/量化器206对输入的预测误差信号116执行正交变换，以生成变换系数数据117。变换器/量化器206对该变换系数进行量化。用编码控制器108来设定量化所需的量化参数。 
编码控制器108参考临时编码标志，并将内部临时编码切换开关 1103连接到内部临时编码/编码位数测量单元1001，由此将该模式的变换系数和模式信息提供到内部临时编码/编码位数测量单元1101。内部临时编码/编码位数测量单元1101对这些输入数据进行熵编码。在该情况下，内部临时编码/编码位数测量单元1101累积编码位的数量，并且计算因实际编码而导致的编码位的总数的估计值，但是不输出编码的数据。用内部临时编码/编码位数测量单元1101测量的内部编码位的数量1105被发送到内部编码失真测量单元1102。 
内部编码失真测量单元1102不仅接收将用内部逆量化器/逆变换器207解码的预测误差信号116与预测图像信号114相加而生成的解码图像信号119作为输入信号，而且还接收输入图像信号115，并计算解码图像信号119和输入图像信号115的平方误差(内部编码失真1106)。内部编码失真测量单元1102将作为输入而接收的内部编码位的数量1105和通过计算而获得的内部编码失真1106发送到内部模式选择器1104。 
内部临时编码循环(按图11中的各个预测单元→内部模式选择器1104→预测切换开关205→内部变换器/量化器206→内部临时编码切换开关1103→内部临时编码/编码位数测量单元1101→内部编码失真测量单元1102的顺序执行的处理)对应于对宏块可选择的一个预测模式执行编码处理时的一个循环。在存在十种模式时，将该内部临时编码循环重复十次。在对在像素块能选择的所有模式终止了内部临时编码循环时，内部模式选择器1104将编码控制器108的临时编码标志设置为假。 
在例如执行4×4像素预测时，对一个4×4像素块执行像素适应预测、方向预测以及固定模式预测。在该情况下，临时编码循环重复9+9+1次。在4×4像素预测中，对16个块执行上述预测，内部临时编码循环重复16×(9+9+1)次。 
在用编码控制器108将临时编码标志设置为假时，内部临时编码切换开关1103将内部变换器/量化器206的输出连接到帧内预测器1004的外部。此时，内部模式选择器1104对所有的模式计算编码成 本，并将模式中给出最小编码成本的一个模式的模式信息和变换系数117发送到帧内预测器1004的外部。 
下面，参考图12描述由视频编码装置1000执行的视频编码方法。 
在将运动视频输入到视频编码装置1000时(步骤S001)，图像分割器101将运动视频的一个帧分割为多个宏块。将一个被分割的宏块作为输入图像信号115输入到帧内预测器(步骤S002)。此时，模式选择器1005和内部模式选择器1104对指示模式和成本的索引进行初始化(步骤S003)。 
帧内预测器1004利用输入图像信号115，针对预测块可选择的模式生成预测图像信号114(步骤S004)。模式选择器1005计算预测图像信号114和输入图像信号115之间的误差，以生成预测误差信号116。变换器/量化器104对预测误差信号116进行变换和量化，并将经量化的变换系数117输入到临时编码/编码位数测量单元1001。临时编码/编码位数测量单元1001对变换系数进行临时编码(步骤S005)，并累积编码位的数量。对变换系数进行局部编码，并用编码失真测量单元1002计算输入图像信号和解码图像信号的平方误差。根据编码位数量R和编码失真D来计算编码成本(步骤S006)。 
模式选择器1005确定所计算的编码成本是否小于最小编码成本min_cost(步骤S007)。在结果为小于时(是)，模式选择器1005将最小编码成本更新为该编码成本，将对应于所计算的编码成本的编码模式保持为best_mode索引，并在临时存储中存储临时编码数据(步骤S008)。在所计算的编码成本大于最小编码成本min_cost时(否)，模式选择器1005使指示模式编号的索引增加，并确定增加后的索引是否指示最后模式(步骤S009)。 
在索引大于指示最后模式的编号的MAX时(是)，用编码处理器107将索引与编码模式信息best_mode、预测信息109以及预测重组信息110一起进行熵编码(步骤S010)。在索引小于指示最后模式的编号的MAX(即，确定为否)时，生成由下一个索引指示的编码模式的预测图像信号115(步骤S004)。 
在best_mode中执行编码时，将经量化的变换系数117输入到逆量化器/逆变换器105，以对其进行逆量化和逆变换。用加法器118将被解码的预测误差信号116和从模式选择器1004提供的best_mode的预测图像信号114相加，并将其作为解码图像信号119存储在参考图像存储器106中。 
然后，确定是否完成了一个帧的编码(步骤S011)。在完成了编码时(是)，将下一个帧的输入图像信号输入到图像分割器101中，并对下一个帧执行编码处理。在没有完成一个帧的编码处理时(否)，将下一个宏块的输入信号输入到帧内预测器1004，并继续编码处理。 
利用视频编码装置1000如上所述执行该实施例的视频编码方法。根据本实施例，通过利用临时编码和索引，可以对每个块充分地分配编码位的数量，由此提高了编码效率。 
(第三实施例(编码)) 
在图22中示出的第三实施例中，向第二实施例添加了第一帧内预测器2202和第二帧内预测器2203。由于图像分割器2201在功能上与第二实施例不同，因此对它们赋予与第二实施例不同的附图标记。在图10的实施例中，使用相同的附图标记来指示与图1的实施例中相同的结构元件，并且为了简短起见，省略了对其进一步的描述。 
在图22所示的视频编码装置2200中，第一帧内预测器2202和第二帧内预测器2203的区别仅在于预测块的大小，而预测方法与图11所示的帧内预测器1004相同。图像分割器2201将输入视频信号分割成多个像素块。此时，宏块被分割成不同的块形状。一个宏块被分割成16个4×4像素块，另一宏块被分割成4个8×8像素块。将各个被分割的块输入到第一帧内预测器2202和第二帧内预测器2203作为输入图像信号115。第一帧内预测器2202执行4×4像素预测。创建四个预测图像，每个预测图像由8×8像素块构成，其中8×8像素块由聚集在一起的四个4×4像素块构成。第二帧内预测器2203执行8×8像素预测。换句话说，第二帧内预测器2203执行4次8×8像素预测。在完成针对第一个8×8像素块的预测时，基于4×4像素预测的预测图像 信号和基于8×8像素预测的预测图像信号被输入到模式选择器1005。模式选择器1005根据给定系统来计算编码成本，并从计算出的编码成本中选择表示最小编码成本的预测模式。经由变换器/量化器104和逆量化器/逆变换器105，将对应于所选择的模式的解码图像累积在参考图像存储器106中。 
在确定了第一个8×8像素块的模式时，类似地执行下一个8×8像素块的预测。换句话说，可以在宏块中以8×8像素为单位，切换4×4像素预测和8×8像素预测。图4E示出改变宏块中的预测块大小的示例。在确定了所有四个8×8像素块的模式时，编码控制器108将临时编码切换开关1003连接到编码处理器107以执行编码。此时，同时对指示是利用4×4像素预测还是8×8像素预测来对8×8像素块进行编码的信息进行编码。用编码处理器107在宏块中将该信息编码为4位的数据。 
下面，描述改变预测信息所需的块大小切换信息的语法。 
图23的序列参数集语法中所示的ex_adaptive_blocksize_in_seq_flag是指示块大小切换预测是否对每个序列改变的标志。在该标志为真时，可以以序列为单位在块大小切换预测的使用和不使用进行切换。在该标志为假时，在序列中不能使用块大小切换预测。 
图24的图像参数集语法中所示的ex_adaptive_blocksize_in_pic_flag是指示块大小切换预测是否对每个图像改变的标志。在该标志为真时，可以以图像为单位在块大小切换预测的使用和不使用之间进行切换。在该标志为假时，在图像中无法使用块大小切换预测。 
图25的片头部语法中所示的ex_adaptive_blocksize_in_slice_flag是指示块大小切换预测是否对每个片改变的标志。在该标志为真时，可以以片为单位在块大小切换预测的使用和不使用之间进行切换。在该标志为假时，在片中无法使用块大小切换预测。 
图26的宏块层语法中所示的ex_adaptive_blocksize_mode是4位 的数据，并且对应于块大小切换信息。图28A以对应于A、B、C和D的顺序示出8×8像素块是4×4像素预测还是8×8像素预测。例如在ex_adaptive_blocksize_mode为1100时，如图28B所示，可以看出块A和B是按8×8像素预测进行编码的，而块C和D是按4×4像素预测进行编码的。该数据在ex_adaptive_blocksize_in_seq_flag、ex_adaptive_blocksize_in_pic_flag和ex_adaptive_blocksize_in_slice_flag中的至少一个为真时有效。 
不按宏块层发送语法，而可以按宏块类型发送该语法。图27示出针对宏块类型给出块大小切换信息的示例。在mb_type为0时，仅通过4×4像素预测对宏块进行预测。在mb_type为1时，仅通过8×8像素预测对宏块进行预测。在mb_type表示1到5时，执行块大小切换预测。Intra_A_B_C_D示出哪个块被8×8像素预测所使用。图28A示出块A、B、C和D的位置。在例如mb_type为3时，示出通过8×8像素预测对块A和B进行预测。在mb_type为6时，示出执行16×16像素预测。可以通过以该方式针对mb_type给出块大小切换信息并对高选择频率的模式给予小索引，来获得高效率的预测。 
如上所述，该实施例在多个可选择的编码模式中的每一个中，以8×8像素为单位实际执行临时编码处理，选择与基于每个8×8像素块的模式的编码数据的编码位的数量和其编码失真而计算出的编码成本中的最小编码成本相对应的模式，并根据所选择的模式输出编码的数据。这样，由于通过对宏块中的每个8×8像素块改变预测块大小来执行模式选择，因此可以根据预测方法来选择能够实现高编码效率的编码的块形状。换句话说，可以根据像素块的内容来执行优选的编码。 
这样，由于无需对所有的各个模式执行具有大负载的编码，而只需在所选择的模式中执行该编码，因此可以抑制操作负载的增加。换句话说，该实施例允许选择高速的优选模式，并且可以实现高速和高压缩效率的视频编码。 
如上所述，在以所选择的模式对像素块进行编码的情况下，只需在所选择的模式下生成被解码的视频信号。在用于确定预测模式的循环中，并不总是需要执行编码。。 
将说明与视频编码装置对应的视频解码装置。 
(第四实施例(解码)) 
根据图29中示出的视频解码装置，从视频编码装置发送、经由传送系统或记录介质系统传送的编码数据被一次存储在输入缓冲器901中。用解复用器902对每个帧根据语法将编码数据分割成多个像素块，然后将它们输入到码串解码器903。码串解码器903根据图13所示的语法结构，对高级语法、片级语法和宏块级语法中的每一个，对编码数据的每个语法的码串进行解码。结果，重构了经量化的变换系数、量化矩阵、量化参数、预测模式信息以及预测切换信息。 
由逆量化器/逆变换器904利用重构的信息中的量化矩阵和量化参数，对经量化的变换系数进行逆量化，并对其进行正交逆变换(例如，离散余弦逆变换)。下面描述正交逆变换。然而，在用编码器执行了小波变换时，逆量化器/逆变换器904可以执行与正交逆变换对应的逆量化和小波逆变换。将用逆量化器/逆变换器904进行了变换的系数作为误差信号911发送到加法器905。加法器905将从帧内预测器907输出的预测信号916和误差信号911相加，并将相加信号作为解码信号912输入到参考图像存储器906。将解码信号912发送到输出缓冲器913，并在由解码控制器908控制的定时输出。 
将用码串解码器903解码的预测模式信息909和预测切换信息910输入到帧内预测器907。将已解码的参考信号914从参考图像存储器906读取到帧内预测器907。帧内预测器907根据输入的信息生成预测信号916，并将其输入到加法器905。解码控制器908控制输入缓冲器901、输出缓冲器913或解码定时等。 
下面参考图30描述根据本实施例的执行视频解码方法的视频解码装置900的帧内预测器907。在图30的实施例中，使用相同的附图标记来指示与图29的实施例相同的结构元件，并且为了简短起见，省略了对其的进一步的描述。 
在将用码串解码器903解码的预测模式信息909和预测切换信息910输入到帧内预测器907时，这些信息被一次发送到预测控制器3007。根据预测切换信息910来控制预测切换开关3001。更具体地讲，将ex_adaptive_intra_flag和ex_direct_intra_flag输入到预测控制器3007作为预测切换信息。ex_adaptive_intra_flag是指示是通过像素适应预测还是方向预测对图像进行预测的标志。如果该标志为真，则预测切换开关3001被连接到像素适应预测单元3002。如果该标志为假，则预测切换开关3001被连接到方向预测单元3003。ex_direct_intra_flag是指示是否执行固定模式预测的标志。如果该标志为真，则不管ex_adaptive_intra_flag的状态为何，都将预测切换开关3001连接到固定模式预测单元。在根据各个信息切换了预测切换开关3001时，参考信号914被输入到帧内预测器907。 
通过预测改变开关3001将参考信号914输入到与标志对应的预测单元。在将参考信号914输入到像素适应预测单元3002时，预测控制器3007将预测模式信息909输入到像素适应预测单元3002。像素适应预测单元3002根据该信息执行像素适应预测，并生成预测信号916。在将参考信号914输入到方向预测单元3003时，预测控制器3007将预测模式信息909输入到方向预测单元3003。方向预测单元3003根据该信息执行方向预测，并生成预测信号916。在将参考信号914输入到固定模式预测单元3004时，预测控制器3007将预测模式信息909输入到固定模式预测单元3004。固定模式预测单元3004根据该信息执行固定模式预测，并生成预测信号916。将由预测单元3002、3003和3004以该方式选择性地预测的预测信号916输出到帧内预测器907的外部。 
随后，将描述预测单元3002、3003和3004中的每一个的预测方法。这些预测单元均利用存储在参考图像存储器906中的已解码的参考信号914对待预测块进行预测。如图5A所示，存在九个预测模式，这九个预测模式具有每个相差22.5度的预测方向。这些模式被规定为模式0到模式8，并且模式2是方向预测单元3003中的DC预测。图9示出了用方向预测单元3003进行的方向预测模式的名称和用像素适 应预测单元3002进行的像素适应预测模式的名称。图5B示出了4×4像素预测的参考像素和预测块之间的关系。大写字母A至M的像素为参考像素，小写字母a至p的像素为预测像素。 
首先描述方向预测单元3003的预测方法。在选择了模式2的DC预测时，方向预测单元3003利用式(2)计算预测像素。在无法使用参考像素时，通过可用参考像素的平均值来执行预测。如果没有可用参考像素，则通过编码装置的最高辉度值的半值(如果是8位的话为128)来计算预测值。如果选择了另一模式，方向预测单元3003使用在图5A所示的预测方向上复制通过参考像素进行内插而得到的预测值的预测方法。例如在选择了模式0(垂直预测)时，预测值生成方法使用式(3)。仅当可以利用参考像素A至D时，才能选择该模式。在该预测方法中，如图5C所示将参考像素A至D的亮度值原样地沿垂直方向复制，并将其填补为预测值。 
除预测模式0和2以外的预测方法使用与上述近似的框架，并通过下述方式执行预测：从在预测方向上可用参考像素生成内插值，并根据预测方向复制该值。 
下面描述像素适应预测单元3002。预测模式与参考图5A描述的模式相同。像素适应预测单元3002在根据预测像素和参考像素之间的距离而改变可用参考像素的数量的同时执行预测，其中预测值是以像素为单位改变的。通过根据距离来改变使用的参考像素的加权表，可以生成更高精度的预测值。 
图6A示出参考像素和预测块之间的关系。图6A和5B所示的参考像素和预测像素彼此一一对应。然而，对这些像素给予不同的索引，以便解释预测式。存在13个参考像素：x00至x08、x09、x18、x27和x36。存在16个预测像素：x10至x13、x19至x22、x28至x31以及x37至x40。16个像素x14至x17、x23至x26、x32至x35以及x41至x44是预测辅助像素，并且用于提高预测精度。 
下面详细描述像素适应垂直预测(模式0)中的预测值生成方法。图6B示出像素适应垂直预测的预测方法。从图6B可以看出，随着参 考像素和预测像素之间的距离的增加，利用数量增加的参考像素来确定预测值。 
下面具体描述预测值生成方法。像素适应垂直预测利用式(5)计算预测像素。n表示与图6A所示的预测像素(x10至x13、x19至x22、x28至x31以及x37至x40)中的一个对应的索引。d由式(6)给出。根据参考像素和预测像素之间的距离展开式(5)，则得出例如式(7)的预测式。L表示参考像素和预测像素之间的距离。Vi是根据对应的预测模式确定的索引。hi表示滤波系数，并且抽头的数量根据L改变。 
利用3个参考像素，通过式(8)计算在预测方向上距离参考像素1个像素的预测像素。其中，n表示对应于L＝1(像素x10至x13)的索引。滤波系数是hi＝(1、2、1)，并对应于Vi＝(d+1、d、d-1)。 
利用5个参考像素，通过式(9)预测在预测方向上距离参考像素2个像素的预测像素。n表示对应于L＝2(像素x19至x22)的索引。滤波系数是hi＝(1、4、6、4、1)，并对应于Vi＝(2d+2、2d+1、2d、2d-1、2d-2)。 
利用7个参考像素，通过式(10)预测在预测方向上距离参考像素3个像素的预测像素。n表示对应于L＝3(像素x28至x31)的索引。滤波系数是hi＝(1、6、15、20、15、6、1)，并对应于Vi＝(3d+3、3d+2、3d+1、3d、3d-1、3d-2、3d-3)。 
利用9个参考像素，通过式(10)预测在预测方向上距离参考像素4个像素的预测像素。n表示对应于L＝4(像素x37至x40)的索引。滤波系数是hi＝(1、8、28、56、70、56、28、8、1)，并对应于Vi＝(4d+4、4d+3、4d+2、4d+1、4d、4d-1、4d-2、4d-3、4d-4)。 
下面描述各个模式的预测式。像素适应水平预测(模式1)利用式(14)执行预测。像素适应左上预测(模式2)利用式(15)执行预测。像素适应正交左下预测(模式3)利用式(16)执行预测。像素适应正交右下预测(模式4)利用式(17)执行预测。像素适应垂直左预测(模式5)利用式(18)执行预测。像素适应水平下预测(模式6)利用式(19)执行预测。像素适应垂直左预测(模式7)利用式 (20)执行预测。像素适应水平上预测(模式8)利用式(21)执行预测。为了计算预测像素值，将所需的预测图像代入公式并展开。结果，确定所需的参考像素、参考像素的数量和加权表。 
在没有参考像素时，与像素适应垂直预测类似地填补参考像素。在通过像素适应水平预测来预测像素x37时，无法利用参考像素x45。因此，用像素x36来填补该参考像素。 
如上所述，通过像素适应预测单元3002执行该预测图像生成方法。 
下面，详细描述固定模式预测单元3004。固定模式预测单元3004预测模式信息，并在所确定的预测模式下执行像素适应预测或方向预测。模式信息的预测使用与预测对象块相邻的预测块的模式信息。 
图8示出在4×4像素预测中预测对象块和相邻块的关系。假定与预测对象块C的左方相邻的块为A，并且与其上方相邻的块为B。在将这两个预测模式给出为prev_left_mode和prev_upper_mode时，通过式(23)确定该块的预测模式。current_mode指示预测对象块的预测模式。函数min(A，B)表示块A和B中较小的一个的值。这样，由于根据周围块的预测模式信息对预测对象块的预测模式信息进行预测，因此编码模式是可大幅减少对预测模式信息进行编码所需的编码位的数量的编码模式之一。 
通过ex_direct_intra_flag来确定是利用像素适应预测单元201还是利用方向预测单元202来生成预测图像。根据从编码控制器108给出的ex_direct_intra标志来确定。 
在本实施例中，根据相邻预测块A和B的预测模式信息来确定当前预测块的预测模式信息。作为本实施例的变型，可以根据周围预测块的预测模式信息来进行确定。可以利用在预测块B的右侧的块、在预测块B的上侧的块、在预测块A的左侧的块以及在预测块A的上侧的块的预测模式信息，来确定当前预测块的预测模式。例如，可以将周围预测块的预测模式中最频繁的预测模式、周围预测块的预测模式的中值、或周围预测块的预测模式的平均值确定为当前预测块的预 测模式。 
对用于在像素适应预测和方向预测之间进行切换的预测切换信息的语法进行解码的解码方法、ex_adaptive_intra_flag、用于预测固定模式的语法以及ex_direct_intra_flag与图13至21所示的编码方法相同。 
(第五实施例(解码)) 
参考图31来描述与第二实施例相关的解码装置3100。在该实施例中，将第四实施例的帧内预测器907改变为第一帧内预测器3102和第二帧内预测器3103。新引入块大小切换开关3101。在本实施例中，使用相同的附图标记来指示与图29的实施例相同的结构元件，并且为了简短起见，省略了对其的进一步描述。 
将用码串解码器903解码的预测模式信息909、预测切换信息910以及块大小切换信息915发送到块大小切换开关3101和解码控制器908。解码控制器908根据块大小切换信息，将块大小切换开关3101连接到适当的接点。 
更具体地讲，根据从码串解码器903给出的ex_adaptive_blocksize_mode来确定块大小。 
该信息由4位构成，并且指示针对宏块中的8×8像素是执行4×4像素预测还是8×8像素预测。这些位从左上到右下顺序地分配，并且如图28A所示以对应于A、B、C和D的顺序排列。在ex_adaptive_blocksize_mode的值为1100时，如图28B所示，为块A和B分配8×8像素预测，而为块C和D分配4×4像素预测。 
如果每个位的值为0，则解码控制器903将块大小切换开关3101的第一输出端连接到第一帧内预测器3102。第一帧内预测器3102对4个4×4像素块执行4×4像素预测，并将预测图像发送到加法器905。 
如果对应于8×8像素块的每个位的值为1，则解码控制器908将块大小切换开关3101的第二输出端连接到第二帧内预测器3103。第二帧内预测器3103对一个8×8像素块执行8×8像素预测，并将预测图像发送到加法器905。 
第一帧内预测器3102和第二帧内预测器3103在内部结构上与图30类似，并根据输入的预测切换信息来执行确定了块大小的预测，并各自输出预测信号。 
解码控制器908执行对块大小切换开关的控制，以及对输入缓冲器901和输出缓冲器913的控制或对解码定时的控制。在本实施例中改变预测信息时所需的块大小切换信息的语法与图24至26所示的语法相同。不从宏块层获得块大小切换信息，而可以从宏块类型获得块大小且换信息。 
图27示出从宏块类型获取块大小切换信息的示例。在mb_type为0时，仅通过4×4像素预测来对宏块进行预测。在mb_type为1时，仅通过8×8像素预测来对宏块进行预测。在mb_type为1至5时，执行宏块大小预测。Intra_A_B_C_D示出哪个块利用8×8像素预测。图28A示出块A、B、C和D的位置。 
根据本实施例，可以对每个块生成高精度的预测图像。在执行帧内预测时，预测模式可以针对每个序列、每个片或每个宏块改变，所以可以生成考虑到主观图像质量的预测图像。 
在本实施例中描述了视频编码，但是也可以将本发明应用于静止图像编码。 
根据本发明，在减少硬件成本的同时在帧内预测中减少了预测误差，提高了编码效率，并且能够生成充分考虑了视觉特性的预测图像。 
工业实用性 
可以在各个领域(例如，视频、音频设备、移动设备、广播、信息终端、网络)中将本发明应用于运动图像、静止图像、语音等的编码和解码。 

Claims (36)

1.一种图像编码方法，包括：
将对应于一幅图像的输入图像信号分割成多个像素块信号的步骤；
利用数量随着预测像素和已编码的参考像素之间的距离增大而增加的参考像素，在由多个预测模式中的每一个限定的方向上，对所述预测像素进行外插，来执行各个内部预测，以生成预测图像信号和预测模式信息的预测信号生成步骤；
从所述像素块信号和所述预测图像信号计算预测误差信号的步骤；
利用所述预测误差信号来选择所述多个预测模式中的一个预测模式的步骤；以及
基于所选择的预测模式，利用所述预测误差信号执行熵编码的步骤。
2.如权利要求1所述的图像编码方法，还包括在特定的像素块大小中改变对应于所述预测模式的预测像素块信号的块大小的步骤。
3.如权利要求1所述的图像编码方法，还包括在特定的像素块大小中在所述预测模式信息的编码和不编码之间进行切换的步骤。
4.如权利要求1所述的图像编码方法，其中，所述预测信号生成步骤包括：根据参考像素和预测像素之间的距离来改变用于预测的滤波系数的加权表的步骤。
5.如权利要求1所述的图像编码方法，其中，所述编码包括：将所述预测误差信号变换成变换系数并对其进行量化以生成变换系数数据的步骤。
6.如权利要求1所述的图像编码方法，其中，所述预测信号生成步骤包括：在以像素为单位对预测像素进行外插时，在所述预测图像信号的使用和不使用之间进行适应性切换的步骤。
7.如权利要求1所述的图像编码方法，其中，所述预测信号生成步骤包括：在以一个像素为单位对预测像素进行外插时，在所述已编码的参考像素的使用和不使用之间进行适应性切换的步骤。
8.如权利要求1所述的图像编码方法，其特征在于，所述预测信号生成步骤包括在以像素为单位进行外插时在如下的各个内部预测的执行和不执行之间进行转换的步骤，其中，在所述各个内部预测中，在每个序列、每个图像或每个片中利用数量随着预测像素和已编码的参考像素之间的距离增大而增加的像素，在由多个预测模式中的每一个限定的方向上对预测像素进行外插。
9.如权利要求1所述的图像编码方法，还包括根据所述像素块信号的量化块大小在所述预测模式之间进行切换的步骤。
10.如权利要求1所述的图像编码方法，还包括根据输入图像信号的分辨率在所述预测模式之间进行切换的步骤。
11.如权利要求1所述的图像编码方法，其中，所述预测模式选择步骤包括：编码位数计算步骤，根据所选择的预测模式，在对所述预测误差信号进行编码时计算编码位的数量；以及编码失真计算步骤，根据所选择的预测模式对所述预测误差信号进行局部解码以生成局部解码的图像信号，并计算表示局部解码的图像和所述输入图像信号之间的差异的编码失真。
12.如权利要求1所述的图像编码方法，其中，所述预测信号生成步骤包括下述步骤：在以一个像素为单位进行外插时，根据由所述预测模式规定的预测方向，改变预测像素生成的过程，并将所述已编码的参考像素和外插得到的预测像素临时存储在存储器中以用于下一预测。
13.一种图像解码方法，包括：
对输入的编码图像信号进行解码以生成包括预测模式信息的解码图像信号的步骤；
根据基于所述解码图像信号的预测模式信息的所选预测模式，随着已解码的参考像素和预测像素之间的距离增大而增加用于预测的参考像素的数量并改变预测像素生成的过程的步骤；
利用以一个像素为单位外插所述解码图像信号的内部预测来生成预测图像信号的预测图像信号生成步骤；
根据所述解码图像信号来生成预测误差信号的预测误差信号生成步骤；以及
通过将所述预测图像信号和所述预测误差信号相加来生成重构图像的重构图像生成步骤。
14.根据权利要求13所述的图像解码方法，还包括：块大小选择步骤，在特定的像素块大小中，对于每个预测模式，改变对应于该预测模式的预测像素块的大小。
15.根据权利要求13所述的图像解码方法，还包括：模式信息选择步骤，在特定的像素块大小中，对预测模式进行预测，并在已预测的预测模式信息的解码和不解码之间进行切换。
16.根据权利要求13所述的图像解码方法，其中，所述预测图像信号生成步骤包括：在以一个像素为单位执行用于进行外插的内部预测时，根据参考像素和预测像素之间的距离来改变用于预测的滤波系数的加权表的步骤。
17.根据权利要求13所述的图像解码方法，其中，所述预测误差信号生成步骤包括：逆量化/逆变换步骤，根据已解码的系数执行逆量化，并对经逆量化的变换系数执行逆变换，由此生成所述预测误差信号。
18.根据权利要求13所述的图像解码方法，其中，所述预测图像信号生成步骤包括：在已预测的预测图像信号的使用和不使用之间进行适应性切换的步骤。
19.根据权利要求13所述的图像解码方法，其中，所述预测图像信号生成步骤包括：在已解码的参考图像的使用和不使用之间进行适应性切换的步骤。
20.根据权利要求13所述的图像解码方法，其中，所述预测图像信号生成步骤包括：对于每个序列、每个图像或每个片，在以像素为单位进行外插时在如下的内部预测的执行和不执行之间进行转换的步骤，其中，在所述内部预测中，在每个序列、每个图像或每个片中利用数量随着预测像素和已解码的参考像素之间的距离增大而增加的像素，在由多个预测模式中的每一个限定的方向上对预测像素进行外插。
21.根据权利要求13所述的图像解码方法，还包括：根据所述图像块信号的量化参数的值小或大，在所述预测模式之间进行切换的步骤。
22.根据权利要求13所述的图像解码方法，还包括：根据所述输入图像信号的分辨率高或低，在所述预测模式之间进行切换的步骤。
23.根据权利要求13所述的图像解码方法，其中，生成预测图像信号包括如下步骤：在以一个像素为单位执行外插时，根据由所述预测模式规定的预测方向改变预测像素生成的过程，并将所述已编码的参考像素和外插得到的预测像素临时存储在存储器中以用于下一预测。
24.一种图像编码装置，包括：
图像分割器，将对应于一幅图像的输入图像信号分割成多个像素块信号；
预测信号生成器，通过利用数量随着预测像素和已编码的参考像素之间的距离增大而增加的参考像素，根据由多个预测模式中的每一个限定的方向对预测像素进行外插，来执行各个内部预测，从而生成预测图像信号和预测模式信息；
选择器，利用从所述像素块信号和所述预测图像信号计算出的预测误差信号来选择所述多个预测模式中的一个预测模式；以及
编码器，基于所选择的预测模式，利用所述预测误差信号执行熵编码。
25.一种图像解码装置，包括：
解码器，对输入的编码图像信号进行解码；
预测信号生成器，通过根据基于所述解码图像信号的预测模式信息的所选预测模式，随着已解码的参考像素和预测像素之间的距离增大而增加用于预测的参考像素的数量并改变预测像素生成的过程，并执行以一个像素为单位进行外插的内部预测，从而生成预测图像信号；
预测误差信号生成器，根据所述解码图像信号来生成预测误差信号；以及
重构图像生成器，通过将所述预测图像信号和所述预测误差信号相加来生成重构图像。
26.一种图像编码方法，包括：
选择输入图像中的待编码块的预测模式的步骤；
通过根据所选择的预测模式在预测方向上对预测像素进行外插来生成所述待编码块的预测图像信号的内部预测步骤；
从所述待编码块和所述预测图像信号计算预测误差信号的步骤；和
通过对所述预测误差信号和指示预测模式的预测模式信息进行编码来生成编码数据的步骤，
其中，在所述内部预测步骤中的外插利用已编码的参考像素，并且所述参考像素的数量随着所述预测像素与所述参考像素中的一个参考像素之间在离开所述预测像素的预测方向上的距离增大而增加。
27.根据权利要求26所述的方法，还包括：在以序列、图像、片或宏块为单位对预测模式信息进行编码和不编码之间进行切换的步骤。
28.根据权利要求26所述的方法，其中，所述内部预测步骤包括根据所述距离而改变用于预测的滤波系数的加权表的步骤。
29.一种图像解码方法，包括：
通过对编码数据进行解码来获得待解码块的预测误差信号和预测模式信息的步骤；
通过根据所述预测模式信息在预测方向上对预测像素进行外插来生成所述待解码块的预测图像信号的内部预测步骤；和
通过将所述预测图像信号和所述预测误差信号相加来生成所述待解码块的重构图像的步骤，
其中，在所述内部预测步骤中的外插利用已解码的参考像素，并且所述参考像素的数量随着所述预测像素与所述参考像素中的一个参考像素之间在离开所述预测像素的预测方向上的距离增大而增加。
30.根据权利要求29所述的方法，其中，所述内部预测步骤随着所述距离的增大而增加参考像素的数量。
31.根据权利要求29所述的方法，其中，所述内部预测步骤包括根据所述距离而改变用于预测的滤波系数的加权表的步骤。
32.一种图像编码装置，包括：
选择器，用于选择输入图像中的待编码块的预测模式；
内部预测信号产生器，用于通过根据所选择的预测模式在预测方向上对预测像素进行外插来生成所述待编码块的预测图像信号；
计算器，用于从所述待编码块和所述预测图像信号计算预测误差信号；和
编码数据产生器，用于通过对所述预测误差信号和指示预测模式的预测模式信息进行编码来生成编码数据，
其中，在所述内部预测信号产生器中的外插利用已编码的参考像素，并且所述参考像素的数量随着所述预测像素与所述参考像素中的一个参考像素之间在离开所述预测像素的预测方向上的距离增大而增加。
33.根据权利要求32所述的装置，还包括一开关，用于在以序列、图像、片或宏块为单位对预测模式信息进行编码和不编码之间进行切换。
34.根据权利要求32所述的装置，其中，所述内部预测信号产生器包括根据所述距离而改变用于预测的滤波系数的加权表的改变器。
35.一种图像解码装置，包括：
解码器，用于通过对编码数据进行解码来获得待解码块的预测误差信号和预测模式信息；
内部预测单元，用于通过根据所述预测模式信息在预测方向上对预测像素进行外插来生成所述待解码块的预测图像信号；和
重构图像生成器，用于通过将所述预测图像信号和所述预测误差信号相加来生成所述待解码块的重构图像，
其中，在所述内部预测单元中的外插利用已解码的参考像素，并且所述参考像素的数量随着所述预测像素与所述参考像素中的一个参考像素之间在离开所述预测像素的预测方向上的距离增大而增加。
36.根据权利要求35所述的装置，其中，所述内部预测单元包括根据所述距离而改变用于预测的滤波系数的加权表的改变器。
CN2006800512728A 2005-11-30 2006-11-27 图像编码/图像解码方法以及图像编码/图像解码装置 Expired - Fee Related CN101361370B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP347121/2005 2005-11-30
JP2005347121 2005-11-30
PCT/JP2006/323606 WO2007063808A1 (ja) 2005-11-30 2006-11-27 画像符号化／画像復号化方法及び画像符号化／画像復号化装置

Publications (2)

Publication Number Publication Date
CN101361370A CN101361370A (zh) 2009-02-04
CN101361370B true CN101361370B (zh) 2010-12-01

Family

ID=38092141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800512728A Expired - Fee Related CN101361370B (zh) 2005-11-30 2006-11-27 图像编码/图像解码方法以及图像编码/图像解码装置

Country Status (10)

Country Link
US (1) US8149910B2 (zh)
EP (1) EP1965589A1 (zh)
JP (1) JP5044415B2 (zh)
KR (1) KR100977101B1 (zh)
CN (1) CN101361370B (zh)
AU (1) AU2006320064B2 (zh)
BR (1) BRPI0619193A2 (zh)
CA (1) CA2631336A1 (zh)
RU (2) RU2369038C1 (zh)
WO (1) WO2007063808A1 (zh)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
KR101365569B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
CA2676709C (en) 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
AU2012204067B2 (en) * 2007-06-04 2015-04-09 Ntt Docomo, Inc. Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
JP5188875B2 (ja) 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
WO2008156548A1 (en) * 2007-06-12 2008-12-24 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
CN103281542B (zh) * 2007-06-29 2017-07-14 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
KR101681443B1 (ko) * 2007-10-16 2016-11-30 톰슨 라이센싱 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
JP2011501555A (ja) 2007-10-16 2011-01-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
KR101375664B1 (ko) * 2007-10-29 2014-03-20 삼성전자주식회사 영상의 디퓨전 특성을 이용한 영상 부호화/복호화 방법 및장치
KR101439847B1 (ko) 2008-01-02 2014-09-16 삼성전자주식회사 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치
KR101456279B1 (ko) * 2008-01-03 2014-11-04 한국전자통신연구원 참조 블록 파형 정보에 기반하여 인트라 영상을 부호화하는 장치 및 복호화 하는 장치
US8295356B2 (en) * 2008-03-07 2012-10-23 International Business Machines Corporation Method and system for coding mode selection in video compression systems
JP2009218742A (ja) 2008-03-07 2009-09-24 Canon Inc 画像符号化装置
JP5206070B2 (ja) * 2008-03-28 2013-06-12 富士通株式会社 復号装置および復号方法
JP5166339B2 (ja) * 2008-03-28 2013-03-21 三星電子株式会社 画像のイントラ予測モード情報の符号化及び／又は復号化方法及び装置
WO2009122463A1 (ja) * 2008-03-31 2009-10-08 富士通株式会社 画像データ圧縮装置、復元装置、圧縮方法、復元方法及びプログラム
WO2009136066A1 (fr) * 2008-04-15 2009-11-12 France Telecom Prediction d'images par determination prealable d'une famille de pixels de reference, codage et decodage utilisant une telle prediction
EP2277306A4 (en) * 2008-04-22 2014-07-16 Core Logic Inc DEVICE AND METHOD FOR CORRECTING MOVEMENT IMAGES
KR101379187B1 (ko) * 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
JP5225388B2 (ja) 2008-10-22 2013-07-03 日本電信電話株式会社 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010050106A1 (ja) * 2008-10-27 2010-05-06 パナソニック株式会社 画像符号化方法、画像符号化装置および撮像システム
JP5394212B2 (ja) * 2008-12-19 2014-01-22 トムソン ライセンシング データを挿入する方法、挿入されたデータを読み出す方法
KR101567974B1 (ko) * 2009-01-05 2015-11-10 에스케이 텔레콤주식회사 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
US9503728B2 (en) * 2009-01-15 2016-11-22 Renesas Electronics Corporation Image processing device, decoding method, intra-frame decoder, method of decoding intra-frame and intra-frame encoder
JP5686499B2 (ja) * 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
CA2756419C (en) 2009-03-23 2016-05-17 Ntt Docomo, Inc. Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
EP2422520A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
JP5326828B2 (ja) 2009-06-03 2013-10-30 富士通株式会社 動画像符号化装置及び動画像符号化方法
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
EP2452501B1 (en) * 2009-07-10 2020-09-02 Samsung Electronics Co., Ltd. Spatial prediction method and apparatus in layered video coding
KR101479129B1 (ko) * 2009-10-01 2015-01-06 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
WO2011043797A2 (en) 2009-10-05 2011-04-14 Thomson Licensing Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
CN101827270B (zh) * 2009-12-16 2011-12-14 香港应用科技研究院有限公司 一种帧内预测中获取像素预测值的方法
CN102118613B (zh) * 2009-12-31 2012-11-21 华为技术有限公司 视频解码和编码方法及装置
EP3595316B1 (en) * 2010-01-08 2022-03-30 Nokia Technologies Oy Apparatus and method for video coding and decoding
EP2524504A1 (en) 2010-01-14 2012-11-21 Dolby Laboratories Licensing Corporation Buffered adaptive filters
JP2011166218A (ja) * 2010-02-04 2011-08-25 Victor Co Of Japan Ltd 画像信号符号化装置、画像信号符号化方法、画像信号復号装置、及び、画像信号復号方法
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
CN102215384B (zh) * 2010-04-02 2014-03-26 富士通株式会社 图像压缩方法和系统
CN102823248B (zh) 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
CN103813163B (zh) * 2010-04-08 2017-03-01 株式会社东芝 图像解码方法以及图像解码装置
US20110249735A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US8644375B2 (en) 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8306343B2 (en) * 2010-04-09 2012-11-06 Newport Media, Inc. Optimized prediction based image compression
US8619857B2 (en) * 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US20110249734A1 (en) * 2010-04-09 2011-10-13 Segall Christopher A Methods and Systems for Intra Prediction
EP2375751A1 (en) * 2010-04-12 2011-10-12 Panasonic Corporation Complexity reduction of edge-detection based spatial interpolation
US8463059B2 (en) * 2010-04-23 2013-06-11 Futurewei Technologies, Inc. Two-layer prediction method for multiple predictor-set intra coding
US20110310967A1 (en) * 2010-06-22 2011-12-22 Lei Zhang Method and System for Video and Image Coding Using Pattern Matching for Intra-Prediction
BR122020008881B1 (pt) * 2010-07-15 2021-08-10 Kabushiki Kaisha Toshiba Métodos de codificação e de decodificação de imagem
PT3661211T (pt) 2010-07-20 2021-09-24 Ntt Docomo Inc Método de descodificação de previsão de imagem
JP2012028858A (ja) * 2010-07-20 2012-02-09 Sony Corp 画像処理装置及び画像処理方法
JP5318827B2 (ja) * 2010-07-29 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、方法およびプログラム、並びに、画像予測復号装置、方法およびプログラム
KR101373814B1 (ko) 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
WO2012035640A1 (ja) * 2010-09-16 2012-03-22 株式会社 東芝 動画像符号化方法及び動画像復号化方法
KR101583199B1 (ko) * 2010-09-27 2016-01-07 엘지전자 주식회사 블록 분할 방법 및 복호화 장치
KR101563833B1 (ko) * 2010-09-30 2015-10-27 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
CN107257465B (zh) 2010-12-08 2020-08-04 Lg 电子株式会社 由编码装置和解码装置执行的内预测方法及可读存储介质
US10045046B2 (en) 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
FR2969456A1 (fr) * 2010-12-15 2012-06-22 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image mettant en œuvre une selection des pixels a predire, programme d'ordinateur correspondant
PL2661892T3 (pl) 2011-01-07 2022-08-16 Nokia Technologies Oy Przewidywanie ruchu w kodowaniu wideo
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
US9299133B2 (en) 2011-01-12 2016-03-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
MX2018013536A (es) * 2011-02-10 2021-06-23 Velos Media Int Ltd Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
KR20120103517A (ko) * 2011-03-10 2012-09-19 한국전자통신연구원 인트라 예측 방법 및 그 장치
CN106454381B (zh) 2011-03-11 2019-05-28 索尼公司 图像处理装置和方法
CA3017176C (en) 2011-06-28 2020-04-28 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
HUE031000T2 (en) * 2011-06-28 2017-06-28 Samsung Electronics Co Ltd Video decoding method using intra prediction
CN106941608B (zh) * 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
SG11201400294SA (en) * 2011-10-17 2014-09-26 Toshiba Kk Encoding device, decoding device, encoding method, and decoding method
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9036704B2 (en) * 2011-10-24 2015-05-19 Infobridge Pte. Ltd. Image decoding method using intra prediction mode
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
CN103765890A (zh) 2011-11-08 2014-04-30 株式会社东芝 图像编码方法、图像解码方法、图像编码装置和图像解码装置
EP2618309A1 (en) * 2012-01-19 2013-07-24 Siemens Aktiengesellschaft Methods and devices for pixel-prediction for compression of visual data
US9210438B2 (en) * 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
MY172126A (en) * 2012-02-29 2019-11-14 Sony Corp Image processing device and method
JP2013223149A (ja) * 2012-04-17 2013-10-28 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US9510019B2 (en) 2012-08-09 2016-11-29 Google Inc. Two-step quantization and coding method and apparatus
US9332266B2 (en) 2012-08-24 2016-05-03 Industrial Technology Research Institute Method for prediction in image encoding and image encoding apparatus applying the same
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9253483B2 (en) 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
CN104838650B (zh) * 2012-09-28 2018-03-30 日本电信电话株式会社 帧内预测编码方法、帧内预测解码方法、帧内预测编码装置、帧内预测解码装置以及记录程序的记录介质
CN104704827B (zh) 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
JP6055555B2 (ja) * 2012-11-13 2016-12-27 インテル コーポレイション 次世代ビデオのためのビデオコーデックアーキテクチャ
CN102984523B (zh) * 2012-12-14 2015-12-09 北京大学 一种多方向的帧内预测编解码方法及装置
WO2014120368A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
AU2014245686B2 (en) * 2013-03-29 2016-09-15 JVC Kenwood Corporation Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, and image decoding program
JP2016519898A (ja) * 2013-04-08 2016-07-07 ジーイー ビデオ コンプレッション エルエルシー コンポーネント間予測
US20140327737A1 (en) * 2013-05-01 2014-11-06 Raymond John Westwater Method and Apparatus to Perform Optimal Visually-Weighed Quantization of Time-Varying Visual Sequences in Transform Space
US9565440B2 (en) * 2013-06-25 2017-02-07 Vixs Systems Inc. Quantization parameter adjustment based on sum of variance and estimated picture encoding cost
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
CN113784124B (zh) * 2014-01-01 2024-03-19 上海天荷电子信息有限公司 使用多种形状子块进行精细划分的块匹配编码和解码方法
JP6607956B2 (ja) * 2015-05-29 2019-11-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド ビデオ処理方法及びビデオ処理システム
CN108702502A (zh) * 2016-02-16 2018-10-23 三星电子株式会社 用于减小帧内预测误差的帧内预测方法和用于其的装置
RU2631992C2 (ru) * 2016-02-25 2017-09-29 Кабусики Кайся Тосиба Способ кодирования изображения и способ декодирования изображения
CN116708777A (zh) * 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
WO2018026166A1 (ko) 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN114531585B (zh) 2016-10-04 2023-03-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
AU2016426405B2 (en) 2016-10-14 2021-11-25 Huawei Technologies Co., Ltd Devices and methods for video coding
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
CN116437105A (zh) 2017-05-19 2023-07-14 松下电器（美国）知识产权公司 解码装置和编码装置
US10856010B2 (en) 2017-09-08 2020-12-01 FG Innovation Company Limited Device and method for coding video data based on multiple reference lines
EP3780603A4 (en) * 2018-03-30 2022-07-06 Nippon Hoso Kyokai INTRA-PREDICTION DEVICE, IMAGE CODING DEVICE, IMAGE DECODING DEVICE AND PROGRAM

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086487A (en) * 1988-11-24 1992-02-04 Canon Kabushiki Kaisha Method and apparatus for image encoding in which reference pixels for predictive encoding can be selected based on image size
CN1523896A (zh) * 2003-09-12 2004-08-25 浙江大学 视频编解码中运动矢量的预测方法和装置
CN1638484A (zh) * 2003-12-26 2005-07-13 株式会社Ntt都科摩 图像编码装置、方法及程序和图像解码装置、方法及程序
CN1638486A (zh) * 2004-01-06 2005-07-13 三星电子株式会社 预测编码设备、预测编码方法、及其计算机可读记录介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603320B2 (ja) * 1988-11-24 1997-04-23 キヤノン株式会社 画像符号化方法
JPH06181523A (ja) * 1992-12-14 1994-06-28 Ricoh Co Ltd 予測符号化方式の符号化装置および復号化装置
AU2003248913A1 (en) * 2003-01-10 2004-08-10 Thomson Licensing S.A. Defining interpolation filters for error concealment in a coded image
JP2005159947A (ja) 2003-11-28 2005-06-16 Matsushita Electric Ind Co Ltd 予測画像生成方法、画像符号化方法および画像復号化方法
JP2005311473A (ja) * 2004-04-16 2005-11-04 Sharp Corp 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
US8467447B2 (en) * 2004-05-07 2013-06-18 International Business Machines Corporation Method and apparatus to determine prediction modes to achieve fast video encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086487A (en) * 1988-11-24 1992-02-04 Canon Kabushiki Kaisha Method and apparatus for image encoding in which reference pixels for predictive encoding can be selected based on image size
CN1523896A (zh) * 2003-09-12 2004-08-25 浙江大学 视频编解码中运动矢量的预测方法和装置
CN1638484A (zh) * 2003-12-26 2005-07-13 株式会社Ntt都科摩 图像编码装置、方法及程序和图像解码装置、方法及程序
CN1638486A (zh) * 2004-01-06 2005-07-13 三星电子株式会社 预测编码设备、预测编码方法、及其计算机可读记录介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平6-181523A 1994.06.28

Also Published As

Publication number Publication date
AU2006320064A1 (en) 2007-06-07
JP5044415B2 (ja) 2012-10-10
US20070121731A1 (en) 2007-05-31
KR20080067363A (ko) 2008-07-18
RU2408161C1 (ru) 2010-12-27
BRPI0619193A2 (pt) 2011-09-20
KR100977101B1 (ko) 2010-08-23
AU2006320064B2 (en) 2010-09-09
RU2369038C1 (ru) 2009-09-27
JPWO2007063808A1 (ja) 2009-05-07
EP1965589A1 (en) 2008-09-03
US8149910B2 (en) 2012-04-03
CN101361370A (zh) 2009-02-04
CA2631336A1 (en) 2007-06-07
WO2007063808A1 (ja) 2007-06-07

Similar Documents

Publication Publication Date Title
CN101361370B (zh) 图像编码/图像解码方法以及图像编码/图像解码装置
RU2414093C2 (ru) Способ и устройство, и программа кодирования/декодирования видео
CN102792688B (zh) 用于视频的数据压缩
CN101513071B (zh) 用于确定解码视频块中的期望失真的方法及设备
CN101390401B (zh) 借助伪影评价的提高的图像/视频质量
CN100566411C (zh) 消除块效应的方法、介质和滤波器
US20090310677A1 (en) Image encoding and decoding method and apparatus
CN101527848B (zh) 图像编码设备
CN106034235B (zh) 计算编码失真度和编码模式控制的方法及其系统
CN103299637A (zh) 运动图像编码装置、运动图像译码装置、运动图像编码方法以及运动图像译码方法
CN103118252A (zh) 运动图像编码装置以及运动图像译码装置
CN101822061A (zh) 视频编码方法以及视频解码方法
CN101828400A (zh) 插补滤波方法、图像编码方法、图像解码方法、插补滤波装置、程序及集成电路
CN101009839A (zh) 基于正交变换和向量量化的视频编码/解码的方法和设备
CN101779463B (zh) 用于处理图像的方法以及相应的电子设备
CN101371584A (zh) 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
CN107295341A (zh) 视频编码方法
CN102986220A (zh) 用高分辨率的参考帧的视频编码
WO2008149327A2 (en) Method and apparatus for motion-compensated video signal prediction
CN102215392B (zh) 用于估计像素值的帧内预测方法或装置
CN115118976A (zh) 一种图像编码方法、可读介质及其电子设备
CN102986223A (zh) 图像处理设备、图像处理方法和程序
JP2011205602A (ja) 符号化装置、復号装置及びプログラム
CN112075078A (zh) 合成式预测及限制性合并
WO2024077553A1 (zh) 视频编解码方法、装置、设备、系统、及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101201

Termination date: 20161127

CF01 Termination of patent right due to non-payment of annual fee