CN102282851B - 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置 - Google Patents

Abstract

本发明提供一种图像处理装置。其采用解码器，所述解码器在从数据流抽取的向量信息所示的预测块与解码对象块之间存在像素重叠的情况下，代替该重叠部分，将位于从重叠部分开始基于上述向量信息的向量的成倍数增加位置并且位于解码处理已结束的部分的像素信息作为预测信号，在根据上述数据流所得到的差分图像数据上加上上述预测信号，来生成再现图像数据。该解码器被用于帧内解码装置、编码装置的局部解码器等中。根据图像反复模式的原理，成倍数增加的位置的像素成为类似的像素，因此能够进行效率良好的解码处理。

Description

图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置

技术领域

本发明涉及在动态图像或静止图像的帧内进行解码的帧内解码装置、进而涉及将其解码方法应用于帧内预测编码中的帧内编码装置等的编/解码技术。

背景技术

以往，在动态图像编码领域的技术中已知有，根据MPEG(Moving Picture Experts Group)而被标准化的MPEG-2、MPEG-4标准，和在已被ITU-T(International Telecommunication Union、Telecommunication Standardization Sector)标准化的H.264(文章与上述MPEG-4 Part.10相同)标准中代表的编码方式。

动态图像的编码大体上分为对根据时间上先后的图像(以下，将编码或者解码处理中的、构成动态图像的1幅画面称为“图像”。“图像”也能够表示逐行扫描信号、隔行扫描信号中的“帧”、“场”的任一个，例如，“图像”在以帧单位进行编码时表示“帧”，在以场单位进行处理的情况下表示“场”。此外，直接使用在编码领域中通常已被名称化的“帧间”、“帧存储器”，但不特别限定于隔行扫描信号的“帧”，根据当时的处理模式也表示“帧”、“场”中的一个)的差进行编码的帧间编码和单独对一个图像进行编码的帧内编码。通常，帧内编码后的图像的代码量大于帧间编码后的图像的代码量。但是，帧内编码是除了在图像内容(顺序)的开头需要以外，还需要提高再现时的随机访问性、用于错误时的恢复的方式，通常以0.5秒到2秒的间隔、即每隔15帧到60帧周期性地被选择。

编码处理是对图像进行细分后的块(通常为16像素×16行、在MPEG中称为“宏块”。以下，“块”用作进行本发明的处理的处理单位的总称。在本发明的处理单位与MPEG中的宏块的尺寸不同的情况下，为了与宏块进行明确区别，也将上述定义的块称为“子块”)成为处理单位。在帧内编码中，按每个块使用在同一图像内且已被编码后的图像信号(像素)的值来生成预测信号，要进行编码的块的信号与预测信号的差值被正交变换和量化，被转换成代码而进行编码处理。同时，根据生成预测信号后的识别信号而被编码。

在下述非专利文献1和2中示出了作为预测信号的生成方法的图1所示的8种方法、和使用要编码的块的周围像素的平均值的方法共9种方法。在图1所示的方法中，作为从现在开始要编码的编码块200的预测信号根据图像内容的方向而定义了8个方向的预测方法。例如，图1的(1)是图像的内容在纵向相关性强，即非常适用于纵线的情况的方法，通过在复制方向212的方向上反复复制与编码块200相邻的编码完成的信号211来生成预测信号。这里，在预测中使用的像素信号211是纵向为1像素宽度、横向为与块的横向相同的像素数的区域。同样地，图1的(2)～(8)通过根据编码结束的信号(分别为斜线部分)在箭头方向复制像素信号值，来生成预测信号。在图1的(2)～(8)的任一个预测中使用的像素信号(斜线部分)的区域是1个像素宽度，属于编码结束的像素信号的区域，并且与未编码区域相接(在该像素的8附近的任一个存在属于未解码区域的像素)。根据编码的这些处理，对表示使用了哪一个方向的预测的识别信号进行编码。

在专利文献1和专利文献2中作为预测方法公开有如下方法：使用向量(以下，在未特别指定的情况下，将表示画面内的像素位置的信息简称为“向量”或者“预测向量”。在需要与在所谓的运动补偿帧间编码中使用的“运动向量”相区别的情况下，称为“画面内向量”)指示生成预测信号的位置的方法。在图2中，1图像由编码完成区域130和未编码区域140构成，在对编码块100进行编码时，从编码完成区域130中选择适合成为预测信号的块信号(预测块110)，将其位置通过来自编码块100的2维相对位置(预测向量120)示出。在图中，在块左上的像素(由较小的四边形进行图示)的相对位置上表示向量120。此时，取编码块100内的各像素信号与对应的预测块120内的像素信号的差，对该差分信号被正交变换、量化后的信号和预测向量进行编码。解码处理的情况也与此相同，只要将未编码区域140作为未解码区域，将编码块100作为成为解码对象的解码块，将编码完成区域130作为解码完成区域，在根据向量信息从解码完成区域所得到的预测信号上加上差分信息形成再现图像即可。

此外，在专利文献1和专利文献2中，如图3所示，示出预测块110与编码块100重叠的情况下的预测方法。此时，预测块110的右下部分(重叠部200)的编码处理未结束，因此不存在成为预测信号的数据。在专利文献1中，作为该重叠部200的信号，示出固定值(例如，表示灰色的信号值)、周围像素210的像素值的平均值、根据周围像素210预测的信号值(例如图1的(2)的方法)。这里，周围像素210属于编码完成区域130，并且与重叠部200相接(在该像素的8个附近的任一个中存在属于重叠部像素的像素)。在图3中，在进行解码处理的情况下，解码完成区域130的预测块110与未解码区域140中的解码对象的编码块100的重叠部分200的解码处理未结束，因此不存在成为预测信号的数据。

非专利文献1：ITU-T H.264、SERIES H：AUDIOVISUAL ANDMULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video、Advanced video coding for generic audiovisualservices

非专利文献2：ISO/IEC 14496-10、Information technology-Codingof audio-visual objects-Part 10：Advanced Video Coding(与非专利文献1相同的内容)

专利文献1：美国专利申请公开第2003/0202588号说明书

专利文献2：日本特开平6-351001号公报

发明内容

上述非专利文献1、2的预测方法连续有编码完成区域(解码完成区域)的图像和编码块内的图像(例如，将编码完成区域(解码完成区域)的图像和编码块内连接起来的直线或边缘的图像)，并且，在其方向与图1的8个方向一致时预测效率提高。反之，存在例如在为周期性的离散模式那样地不连续的图像、或者在连续的方向与图1的8个方向不一致的情况下，编码效率压缩率得不到提高的问题。

另一方面，在专利文献1的方法中，也能够应对图像中存在周期性模式的情况，并且，也能够精确地指定其方向，但具有以下问题。即，如图3所示，在编码块100和预测块110重叠的情况下，重叠部分的处理采用与非专利文献1、2相同的方法，因此编码效率(压缩率)得不到提高。通常，图像信号的像素间距离越近，则相关性越高，在编码块100附近存在最佳的预测块110的概率也越高，但专利文献1的方法，或者将专利文献1的方法与非专利文献1、2组合后的方法存在预测向量120的大小越小，则未预测到的重叠区域200越大这样的问题。

本发明的目的在于提供使用预测向量从编码块的附近生成了预测信号时也不会使预测效率降低的图像编解码技术。

进而，具体的目的在于提供能够提高针对预测块与编码块的重叠部分的预测效率、有助于提高画质的图像编解码技术。

本发明的上述目的、其他目的以及新特征将从本说明书的记述和附图中得到明确。

简单说明本发明所公开的发明中具有代表性的技术方案如下。

即，采用一种解码器，其在由从数据流抽取的向量信息所示的预测块与解码对象块之间存在像素重叠的情况下，代替该重叠部分，将位于距离重叠部分为基于上述向量信息的向量成倍数增加的位置、并且解码处理已结束的部分的像素信息作为预测信号，在由上述数据流所得到的差分图像数据上加上上述预测信号来生成再现图像数据。该解码器在帧内解码装置、编码装置的局部解码器等中被采用。该技术方案主要着眼于根据图像的反复模式的原理而成倍数增加的位置处的像素成为类似像素。

简单说明本发明所公开的发明中具有代表性技术方案所得到的效果如下。

即，能够提高帧内编码的预测效率，其结果，能够降低差分信号的数据量(例如预测误差功率)，降低该图像的代码量。通常，帧内编码的代码量比帧间编码多，因此作为图像流整体具有能够削减代码量，减少用于得到一定画质的代码量的效果，或者根据一定的代码量再现高画质的图像的效果。

附图说明

图1是示出以往的帧内预测的图。

图2是示出使用了以往的向量的帧内预测的图。

图3是示出在使用了向量的帧内预测中，在编码块和预测块中存在重叠的图。

图4是示出本发明中编码块和预测块的重叠部分的处理的图。

图5是示出本发明中基于预测向量的位置进行的分类的图。

图6是示出本发明中与预测向量的位置对应的重叠部分的处理的图。

图7是示出本发明的第一个实施方式的图像解码装置的结构框图。

图8是图7中预测信号生成电路1040的详细结构框图。

图9是图8的预测信号生成电路1040变形例的详细结构框图。

图10是本发明第二实施方式的预测信号生成算法的流程图。

图11是示出本发明中基于预测向量的位置的1个其他分类的图。

图12是示出图11中区域(F)(G)的预测信号生成处理的图。

图13是示出本发明中解码完成区域的变形例的图。

图14是示出图13中区域(F’)(G’)(D’)的预测信号生成处理的图。

图15是示出进行本发明的处理的块的处理顺序的图。

图16是示出本发明的半像素预测的图。

图17是实现图16的处理的预测信号生成电路的结构框图。

图18是图17的处理的时序图。

图19是第三实施方式的图像编码装置的结构框图。

图20是本发明的数据流的结构图。

图21是应用了本发明的光盘再现装置的结构框图。

标号说明

100编码块

110预测块

120预测向量

130解码完成区域

140未解码区域

200重叠区域

1001图像解码装置

1010输入数据流

1020解码电路

1030预测向量

1040预测信号生成电路

1080预测信号

1200向量倍增电路

1250控制电路

1460块存储器

3000半像素处理电路

具体实施方式

1.实施方式的概要

首先，对本发明所公开的发明中具有代表性的实施方式说明概要。在对代表性的实施方式进行的概要说明中，标以括号参照的附图中的附图标记只不过是例示其包含在标以括号的构成要素的概念中。

(1)本发明具有代表性的实施方式的图像处理装置(图7、8、9)具有解码器，在由从数据流抽取的向量信息所示的预测块与解码对象块之间存在像素重叠的情况下，代替该重叠部分，将位于距离重叠部分为基于上述向量信息的向量的成倍数增加的位置并且解码处理已结束的部分的像素信息作为预测信号，根据上述数据流所得到的差分图像数据与上述预测信号相加而生成再现图像数据。

根据上述(1)，在预测块与解码对象块之间存在像素重叠的情况下，代替解码未完成的该重叠部分，将解码处理已结束的部分的像素信息用作预测信号，因此能够提高预测效率、降低代码量以及实现高画质。并且，根据基于上述向量信息的距离的成倍数增加，获取解码处理已结束的部分的像素信息，因此其控制容易。不仅能够应用于解码，也能够容易地应用于编码的局部解码中。

(2)本发明具有代表性的实施方式的解码方法(图10)包括下述处理：在由从数据流抽取的向量信息所示的预测块与解码对象块之间存在像素重叠的情况下，代替该重叠部分，将位于距离重叠部分为基于上述向量信息的向量的成倍数增加的位置并且解码处理已结束的部分的像素信息作为预测信号；和根据上述数据流所得到的差分图像数据与上述预测信号相加来生成再现图像数据。

(3)本发明的其他实施方式的帧内解码装置(图7、8、9)包括：抽取部(1020)，从数据流(1010)抽取表示预测块的向量信息；判定部(1250)，判定由上述向量信息所示的各像素数据是被包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；像素位置计算部(1300、1320、1400、1420)，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域的像素位置；预测信号生成部(1450、1460)，对于由上述向量信息所示的像素数据，根据由上述像素位置计算部所计算出的像素位置的像素数据、和被判定为包含在上述解码处理结束的区域中的像素数据，生成预测图像数据；以及图像再现部，对上述预测图像数据加上根据上述数据流所得到的差分图像数据来生成再现图像数据。

(4)项3的帧内解码装置还具有对基于上述向量信息的向量进行成倍数增加的倍增部(1200)，上述像素位置计算部使用上述被成倍数增加后的向量，计算解码处理已结束的区域的像素数据的像素位置。

(5)在项3的帧内解码装置中，上述预测信号生成部(1461、3000)对于上述计算出的像素位置的像素数据、和由上述向量信息所示的像素数据中上述解码处理已结束的区域的像素数据，计算对多个像素之间进行插补的像素数据，生成预测图像数据(图17，半像素)。

(6)在项3的帧内解码装置中，上述像素位置计算部在预定范围内计算像素位置(图14的访问范围的限制)。

(7)在项6的帧内解码装置中，预定的范围根据从上述数据流抽取的信号来进行设定(基于数据流的访问范围的指定)。

(8)在项3的帧内解码装置中，上述数据流是静止图像或动态图像的数据流。

(9)本发明的其他实施方式的解码方法(图10)，包括下述处理：抽取处理，从数据流抽取表示预测块的向量信息；判定处理，判定由上述向量信息所示的各像素数据是包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；像素位置计算处理，根据被判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域中的像素位置；预测信号生成处理，对于由上述向量信息所示的像素数据，根据通过上述像素位置计算处理进行上述计算后的像素位置的像素数据、和包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据；以及图像再现处理，在上述预测图像数据上加上由上述数据流所得到的差分图像数据，来生成再现图像数据。

(10)更具体的解码方法(图10)包括下述处理：第一处理，从数据流抽取表示预测块的向量信息；第二处理，判定由上述向量信息所示的各像素数据包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；第三处理，对基于上述向量信息的向量进行成倍数增加；第四处理，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于上述成倍数增加后的向量的位置并且位于上述解码处理已结束的区域中的像素位置；第五处理，根据由上述第四处理所计算的像素位置的像素数据、和根据上述第二处理判定为包含上述解码处理已结束的区域中的像素数据，生成预测图像数据；以及第六处理，对上述预测图像数据加上根据上述数据流得到的差分图像数据来生成再现图像数据。

(11)本发明的另一其他实施方式的图像编码装置(图19、编码器)，其将图像数据分为多个块，从在相同画面数据内已编码的区域中选择与进行编码处理的块类似的块来作为预测信号，对表示与进行上述编码处理的块类似的块和预测信号之间的相对位置的向量信息、以及与进行上述编码处理的块类似的块与预测信号之间的差分信号进行编码。该图像编码装置作为局部编码器而包括：判定部，判定由上述向量信息所示的各像素数据包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；像素位置计算部，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域中的像素位置；以及预测信号生成部，针对由上述向量信息所示的像素数据，根据在上述像素位置计算部计算出的像素位置的像素数据、和判定为包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据。

(12)本发明的另一其他的实施方式的帧内解码装置是同时存在被帧间编码的块和被帧内编码的块的装置。该帧间解码装置包括：抽取部，在判定为根据数据流生成的块是帧内模式的情况下，从数据流中抽取表示预测块的向量信息；判定部，判定由上述向量信息所示的各像素数据包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；像素位置计算部，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域中的像素位置；预测信号生成部，针对由上述向量信息所示的像素数据，根据在上述像素位置计算部所计算出的像素位置的像素数据、和判定为包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据；以及图像再现部，在上述预测图像数据上加上由上述数据流得到的差分图像数据来生成再现图像数据。

(13)本发明的又一其他实施方式的帧内解码装置(能够进行预测信号的变形)包括：抽取部，从数据流抽取表示预测块的向量信息；判定部，判定由上述向量信息所示的各像素数据是处于解码处理已结束的区域和解码处理未结束的区域中的哪一个；像素位置计算部，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域的像素位置；预测信号生成部，针对由上述向量信息所示的像素数据，根据在上述像素位置计算部计算的像素位置的像素数据、和判定为包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据；预测信号变换部，利用由数据流所示的方法变换在上述预测信号生成部生成的预测图像数据；以及图像再现部，在上述预测信号变换部变换的预测图像数据上加上从数据流所得到的差分图像数据，来生成再现图像数据。

2.实施方式的详细

进一步详细说明实施方式。此外，在用于说明实施发明的方式的所有附图中，对具有相同功能的要素标以相同的符号，省略其反复说明。

在说明实施方式的详细内容之前，简要说明本发明的原理。以下，以帧内的解码为主体进行说明。

为了说明本发明的原理，在图4中，将图3的预测块110、和作为被编码的解码对象的编码块(以下也简称为编码块)100分离，进而与要生成的预测信号130一起描绘。预测块110中的210区域是属于未解码区域的缺损区域。缺损区域即是与编码区域左上部的区域220相同的区域。因此，若正确进行基于预测块的预测，则编码块中的区域220的预测信号相当于预测块内的区域200。即，区域220与区域200的每个像素的差分信号较小，2个区域的数据类似。另一方面，如之前已说明那样，缺损区域210的信号与区域220的信号相同，因此缺损区域210与预测块内的区域200类似。在本发明中，利用这些性质，如以下那样生成预测信号130。(1)将相当于存在解码完成区域的信号的区域(区域200和区域230)的像素信号作为预测信号，(2)相当于未解码区域的区域(区域220)复制区域200的信号而作为预测信号。

这也就是相当于预测块内的区域220根据如向量121所示那样为原来的向量120的2倍的向量的位置进行预测。

图5、图6示出向量指示的位置和此时的预测信号的生成方法。在将编码块设为水平W像素、垂直W像素时，在向量指示的位置位于图5的区域500、510、520、530、540时，在预测块内产生缺损区域。图6示出在将这些区域依次设为(A)、(B)、(C)、(D)、(E)时各个区域中的预测信号的生成例。此外，在图5中，作为向量指示的位置，表示为与编码块左上方的像素(以四边形图示)对应的像素的位置。此外，在向量表示区域590(H)时，由于在预测块中不产生缺损区域，因此能够使用以往的预测方法。

图6的(A)(B)(E)是向量表示图5的区域500、510、540的情况的例子。在该例子中，预测信号分为201、211、212这3个区域。区域201是预测块内的解码完成区域部的像素信号111。区域211是从区域211的位置开始使原来的预测向量120成为2倍后的运动向量121所指示的位置，即相当于区域111的部分。同样，区域212是距离区域212的位置为预测向量120的3倍的向量122所指示的相当于区域111的部分。区域211和区域212的预测信号分别表示在预测块的上述例中使用到原来的预测向量3倍为止的向量的例子，但在3倍向量的位置的像素是未解码区域的情况下，以下将倍数增为4倍、5倍来进行，使用相当于解码完成区域的像素的最小的增加倍数。

这里，在图6中，(C)(D)模式的情况与(A)(B)(E)的情况具有不同的特性。(A)(B)(E)的情况是在生成预测块的区域211、区域212时，分别使用了使向量成为2倍、3倍后的像素，但实际上能够利用预测块的区域201的信号。但是，在(C)(D)的情况下不能够直接使用区域200的信号，需要获取相当于解码完成区域的区域112和区域113的信号。这是由于预测向量是相当于图5的区域520、530的情况，编码块的右侧即图5的区域530的下部是未解码区域。

图7是示出本发明的帧内图像解码装置的一个实施方式的结构的框图。

在被输入的数据流1010中，在构成图像的各块的每一个中包含有预测向量、和相对于预测信号的差分信号的信息。在解码电路1020中从数据流1010中抽取预测向量1030和差分信息1100。差分信息1100通过逆量化电路1110、逆正交变换电路1120而被变换成差分信号1125。与此并行，在本发明的预测信号生成电路1040中，基于预测向量1030生成帧存储器1070的解码完成区域的指定地址1050，获取该地址的像素信号1060，根据使用图5、图6所说明的原理生成预测块的像素信号1080。所生成的预测块的像素信号1080在图像再现电路1130中与差分信号1125相加，再现相应块的图像。所再现出的图像被写入帧存储器1070，作为以后的块的图像再现时的预测图像生成的候选而使用。在1个画面的解码处理结束之后，所生成的图像信号作为输出信号1150被输出，被显示在电视机等显示装置等中。

图8是图7中的预测信号生成电路1040的详细电路。在预测信号生成电路1040内，通过像素位置信息生成电路1300，生成在编码块内之后进行处理的像素的像素位置信息1310。这里，生成的位置信息1310是块内的水平像素位置X和垂直像素位置Y的信息，例如，在块左上方的像素中为X＝0、Y＝0。在向量倍增电路1200中，生成使被输入的预测向量1030成为由信号1210指示的倍数(N倍)后的倍增向量1230。初始状态下的N值是1。倍增向量1230(在初始状态下与预测向量1030相同)在加法电路1320中与像素位置信息1310相加，计算预测块的像素位置1330。此时，将预测向量的水平成分设为Vx，将垂直成分设为Vy时，倍增向量的水平成分N×Vx和水平像素位置信息X、垂直成分N×Vy和垂直像素位置信息Y分别被独立相加，预测块的像素位置以编码块左上方的像素为基准，水平为X+N×Vx，垂直为Y+N×Vy。此外，这些值也可成为负值。

另一方面，控制电路1250在初始状态下输出1(N＝1)来作为倍增信号1210。控制电路1250根据倍增向量1230和像素位置信息1310判断相应的预测块的像素是否位于解码完成区域。判定通过以下方法进行。

在X+N×Vx＜0且Y+N×Vy＜Wy-1时位于解码完成区域，

在X+N×Vx＞＝0且Y+N×Vy＜0时位于解码完成区域，

上述以外的情况位于未解码区域。

这里，Wx是块在水平方向的大小，Wy是块在垂直方向的大小。

在判定结果为“未解码区域”的情况下，控制电路1250使倍增信号1210步进，直到判定结果成为“解码完成区域”为止。即，例如图6中，在为(A)～(E)中任一个的情况下，在像素位于区域211时，输出N＝2，在像素位于区域212时输出N＝3。

预测块的像素位置1330在地址生成电路1420中与画面内的该块的块位置生成电路1400所生成的块位置1410相加，进而，变换成帧存储器上的相应地址1050。被变换的地址1050指示的像素信号1060被输入时，像素信号被临时存储于缓存器1450之后，在适当的定时作为预测信号1080输出。

在1个像素的处理结束时，像素位置信息生成电路1300使编码块内的此后进行处理的像素的像素位置信息1310向下一像素位置步进，控制电路1250将倍增信号1210复位为1(N＝1)，进行下一像素的处理。

在块内的所有像素的处理结束时，块位置生成电路1400使块位置1410向下一块位置步进。

在图8的说明中，说明了在倍增电路1200中进行运动向量的N倍的计算，但在倍增电路1200中不需要有乘法器。因为倍数(N的值)为1、2、3，每次步进1，因此在倍增电路内，能够通过先临时保持预测向量，在倍数增加1时，对所保持的向量值加上预测向量来实现。由此，能够实现电路的减少。

此外，代替倍增电路1200部，也可以配置变换表，其将成为基准的向量的大小和倍数N作为输入，输出与输入相对应的新向量。通过使用变换表，能够进行非线性处理，即某一定范围内使基准的向量成倍数增加，在其以外的范围内进行不同倍率或固定值(剪辑)的处理。

此外，在用于生成预测信号的像素位置指示画面外的位置的情况下，通过预先确定以下方法的任一个来进行应对。

(1)禁止参照画面外像素进行预测(在编码侧进行限制，解码侧不进行特别的应对)。

(2)在参照画面外像素的情况下，根据预先确定的预定方法生成该像素。例如，如MPEG-4那样，在参照的坐标(x，y)为x＜0(画面左端外)时，使用(0，y)的像素。

(3)在参照画面外像素的状态下，使用其他预测像素生成方法(参照图14(D’)的说明)。

图9是图7的预测信号生成电路1040的其他实施方式。与图8的预测信号生成电路的不同点在于不采用缓存器1450而设置有块存储器1460。在图6的说明中是下述实施方式，在图6(A)(B)(E)所说明的、在生成缺损区域的预测信号时，利用预测块的区域201的信号。即，将预测块的信号存储到块存储器1460中，在预测块内的像素访问中完成预测的情况下，不进行帧存储器1070的访问，而输出存储在块存储器1460中的信号。

在图9中，访问帧存储器1070而得到的信号、即从解码完成区域获取的信号1060被存储到与块存储器1460的块内位置对应的地址上。此时，控制电路1301作为倍增信号1210而输出0(N＝0)，从而块存储器的地址1330与块内的像素位置信息1310相同，能够向预定位置写入信号1060。

另一方面，在读出时，从解码完成区域所获取的像素的情况与上述写入时相同地从块存储器读出为N＝0。在输出未解码区域的像素的情况下，将从原帧存储器读出时的N值减1后的值作为增加倍数1210来生成块存储器的地址1330，从而能够读出临时读入的像素、即图7的区域211的相应位置的数据。由此，能够降低对帧存储器1070的访问次数，伴随着帧存储器的访问的功率削减，能够实现帧存储器的总线宽度的降低。此外，在对块存储器的访问比帧存储器的访问快速的情况下，能够缩短处理时间、或者进行工作频率的低频率化，有助于进一步降低功率。

此外，在图6的(C)(D)的情况下，由于所述数据不存在于块存储器内，因此能够除去部分条件省略对图9中的帧存储器1070的访问。

以上实施方式的说明是将本发明安装到硬件上的例子，但本发明也能够安装到软件上。通过图10说明基于本发明的预测像素生成算法。

图10是用于生成本发明中1个块的预测像素信号的算法的流程图。在每次处理块内的1个像素时，在步骤1500中，保持被输入到变量VEC中的预测向量的值。在步骤1510中，将变量VEC的值(向量值)与该像素的位置相加而得到预测信号位置。此时，像素位置、预测信号位置均是2维坐标，在与向量值的相加中，分别独立计算水平成分、垂直成分。使用计算出的预测像素位置来调查预测像素位置是否是位于解码完成区域。调查的方法通过在图8的说明时所示的不等式来实施。若预测像素位置不位于解码完成区域内，则在步骤1540中，使变量VEC与预测向量值相加。即，对应于使在硬件说明时使用的增加倍数N步进为N+1的处理。使用新的VEC，再次进行解码完成区域内外的判定，到预测像素位置成为解码完成区域内为止在处置步骤1540继续变更VEC(使N步进)。若在判定处理步骤1530中判定为预测像素位置位于解码完成区域内，则在步骤1550中，读出预测像素位置的信号，将读出的像素作为该像素的预测信号。对块内的所有像素实施这些处理，在判定步骤1560，在块内所有像素的处理结束的时刻，结束1个块的预测像素信号生成处理。

图11和图12是说明本发明的变形例的图。在图11中，是许可在图5中无相应的、图11的区域600(F)和区域610(G)的处理的变形例。在(F)(G)中，预测向量为图的下方，因此不能利用使已说明的预测向量成倍数增加的方法来进行应对。

图12是预测向量朝向下方时，即预测向量指示图11的区域600和区域610时的处理的说明图。在图12中，圆圈表示解码完成区域的像素，四边形表示编码块内的像素位置。在图12的(F)的情况下，与从图的编码块100的A到M相对应的预测图像能够在从解码完成区域的像素a到1中生成。但是，在求出与编码块100的P、Q、R、S对应的像素时，根据下述公式到指示解码完成区域为止来缩小预测向量。

Vx’＝max(Vx/(2^N)，1)

Vy’＝Vy/(2^N)

这里，max(u，v)返回u与v中较大一方的值，“/”是向接近0的方向舍去小数的除法，2^N是2的N次方。

此外，在图11中，水平右方向是X的正向，垂直下方向是Y的正向。即，表示区域600和区域610的预测向量的情况为Vx＜0、Vy＞0。

使N的值从1开始每次步进1，将在由Vx’、Vy’指示的像素成为表示解码完成区域的像素时的像素信号作为预测信号。例如，在图12的(F)的像素P的例子中，若初始的预测向量120为(Vx，Vy)＝(-3，1)，则在N＝1时，退化向量141为(Vx’，Vy’)＝(1，0)，为了指示像素1，将像素1的值作为预测值。

在预测向量为区域610的情况下，如图12的(G)所示，也在相同的处理中生成预测信号。在图12的(G)的例子中，若预测向量120为(Vx，Vy)＝(-5，2)，则在N＝1时，像素K的退化向量142为(Vx’，Vy’)＝(-2，1)，像素h为预测像素，在N＝2时，像素P的退化向量143为(Vx’，Vy’)＝(-1，0)，像素t为预测像素。

这样，通过使用退化后的向量，在预测向量指示图11的区域600和区域610时，不能应对周期性的图像模式，但能够正确进行在朝向画面右上方具有连续性的图像(直线等)的预测，与之前的实施方式相比能够得到更高的编码效率。

图13和图14是说明本发明的其他实施方式的图。在图5、图11中，假设在编码块左侧，编码块下边和解码完成区域的边界在垂直方向上高度相同，此外，在右方向上，解码完成区域无止境地连续。但是，在实际的编码、解码中，如图13所示，存在编码块下边和解码完成区域的边界的垂直位置不同，解码完成区域右侧被限制的情况。若为左侧垂直位置，则例如相当于下述情况，即：在使图13的编码块为编码100之后，使编码块的下部先编码(这种情况下，为图10的dY＝W)。此外，右侧限制相当于画面端。

图14的(F’)(G’)是预测向量为区域620和区域630时的例子。这种情况通过以下方法计算预测块的像素信号。

步骤1：根据下述公式，使N0步进为1、2、…，判定相应的像素是否为解码完成区域的像素。若是属于解码完成区域的像素，则使该像素的信号值为预测值，省略以下所有的步骤2。

Vx’＝N0×Vx

Vy’＝N0×Vy

在步骤1中，在N0不满足下述不等式时，结束步骤1移至步骤2。

N0×Vy+Y＞W+dY

这里，X是从处理像素的编码块内的块左上像素起的水平相对位置，Y是垂直相对位置。

步骤2：针对满足上述不等式的N0，将相对位于块左上像素以下的位置的像素值作为预测值。

(-1、min(W+dY-1，Y+(Vy×(1+X))/(-Vx)))

这里，min(a、b)返回a、b中较小一方的值。此外，在区域(F’)(G’)中为Vx＜0。

对于上述公式，在图14的(F’)(G’)中，例如为编码块内像素151的情况下，从像素151起向预测向量120的方向延长的点相当于与解码完成区域最先交叉的像素153。此外，编码块内像素152的预测像素信号从像素152起在预测向量120的延长方向上不存在解码完成区域，即在上述公式的min的()内选择W+dY-1的项，使用像素154。

图14的(D’)说明运动向量位于区域(D’)时的预测像素信号生成。在图14的(D’)的例子中，原来作为区域211和区域212的预测而被使用的区域215和区域216属于未解码区域。这种情况下，在区域211和区域212中作为预测值而使用区域110的像素值。

图14的(D’)说明了在具有画面右端的情况等在不可抗力的作用下右侧的解码完成区域被限制的情况，但由于限制对画面右方的像素访问，因此也能够假想地设置在图13中的右侧边界660。在图13中，通过使dX的值始终为固定值(例如为8)，能够限制在针对1个块的、预测信号的生成中使用的像素的范围，能够减轻访问存储器的负担。

在预测信号的生成中使用的像素的限制范围被记述在例如被输入的数据流中。在解码的处理之前，从数据流抽取限制范围的信息，被抽取的限制范围的信息被用于以后的数据流的解码处理。这样，通过在数据流中记述限制范围，能够根据对数据流进行解码的装置的处理能力，改变限制范围。例如，在处理能力高的解码装置中再现的数据流中，能够设定更大的限制范围，提高编码效率。此外，限制范围的信息被记述在图20的流信息4000或者帧信息4100中。在被记述于流信息4000的情况下取与在该流整体中相同的限制范围，在被记述于帧信息4100的情况下，能够按帧改变限制范围。

图15是示出块预测的顺序的图。在MPEG等图像编码中，亮度信号为16像素×16行的宏块成为编码处理单位。图15示出进行本发明的画面内向量预测的块(子块)尺寸比宏块小时的处理顺序。图15表示子块尺寸为宏块的纵横的1/4、即4像素×4行的例子。在图15的(1)中，是如图中示出宏块内的子块那样从左上方向右方向扫描的例子。此外，图15的(2)是按8像素×8行使子块的处理完成的扫描顺序，分别在子块4、8、12结束的时刻集中包含这些8像素×8行的数据，因此与8像素×8行单位的处理同时使用时的处理效率变高。另一方面，在生成图15的(1)、例如子块5的预测信号的情况下，与该子块的右方向(图13的区域650(D’))相当的部分为子块2、3，在生成图15的(2)的相同位置子块3的预测信号的情况下，与区域D’相对应的区域仅为子块2的左端1像素宽度的区域，图15的(2)能够实现更高的预测效率。

预测向量的信息按每个子块而被解码。在相邻的子块中，预测向量也类似的情况较多，因此预测向量信息被发送与相邻的子块的预测向量的差量。例如，在图15的(1)的子块6中，作为相邻且已解码完成的子块使用子块5、子块2、子块3的向量。在将这些3个子块的向量分别设为(Vax，Vay)(Vbx，Vby)(Vcx，Vcy)时，之后要解码的子块6的向量的预测信号(Vpx，Vpy)如下。

Vpx＝Median(Vax，Vbx，Vcx)

Vpy＝Median(Vay，Vby，Vcy)

这里，Median(a，b，c)是以升序排列a、b、c时的第二个(中央)的值。

该向量的预测信号(Vpx、Vpy)与被解码的差分信号相加而得到预测向量信号。此外，在子块位于宏块的边界的情况下(例如子块1)预先保持周边宏块的子块的预测向量，使用它们生成向量的预测信号来得到预测向量值。此外，宏块与画面边界相连，在不存在相应位置的子块的情况下，通过使不存在的向量值为(0，0)来同样地求出。此外，也可以是，在相应位置的子块不存在的情况下，在不存在的子块数为1时使不存在的向量为(0、0)，在不存在的子块数为2时将存在的子块(1块)的向量作为预测信号，在不存在的子块数为3(1个也不存在)时使预测信号为(0，0)。

图16和图17是计算预测块的信号值的变形例。图16和图17是使用与在MPEG等的运动补偿帧间预测中使用的半像素预测相当的预测、即像素间隔的1/2精度的向量的例子。

图16是画面内向量为半像素精度的情况的处理的例子。向量120在图16中相当于(-2.5，-1.5)，例如编码块100内的像素A的预测像素的位置成为像素位置700。此时的预测信号值A’如下。

A’＝(a+b+f+g+2)＞＞2

这里，a、b、f、g分别是图16所示的像素的信号值，＞＞是位移位运算。＞＞2表示右移位2位即1/4的运算。上述公式中的+2是在进行1/4的除法时，其商针对(a+b+f+g)＞＞2进行四舍五入而使用的。

在块的重叠部，例如像素位置701、即像素T的预测信号值T’如下。

T’＝(A’+B’+F’+G’+2)＞＞2

A’、B’、F’、G’是像素A、B、F、G的各像素的预测值。

在进行半像素预测的情况下，预测所需的像素与使用了整数精度的向量的预测的情况相比，在水平或垂直或者水平垂直双方使用大于1个像素宽的像素。因此，在之前说明的预测像素生成方法的各种判定中，需要以用于生成1个预测像素所需的像素均位于解码完成区域内为判定基准。

图17是进行图16的处理的预测信号生成电路1041的框图，图18是进行图16的处理时的图预测信号生成电路1041的工作时序图。像素位置信息生成电路1301输出图18的时序图的信号1310所示的像素位置信息。在图16的例子的情况下，由于编码块的尺寸为4像素×4行，因此在图8、图9的电路的情况下，像素位置信息1310的水平、垂直成分均为从0到3的范围内的值，但为了进行半像素预测处理，如图16所示，需要与编码块的尺寸相比，在水平、垂直各大1个像素的区域的信息。通过该输入，预测信号生成电路1041进行与之前在图8、图9中所说明的处理相同的处理，其结果，在图18的1060所示的定时得到与图16的预测信号生成相关的解码完成区域的像素，即，像素a、b、c、d、e、f、g、h、i、j、k、l、m、q、r、s、u、w、z。这些像素信号1060被存储在块存储器1461中。块存储器1461在举例的情况下具有5像素×5行的25个像素的容量，写入2个系统的输入(1060，3021)中任一个的信号，同时输出独立的2个系统的信号(3040，3070)。此外，省略了选择是否写入2系统输入中任一方的信息的信号线等。此外，这里，“同时”的含义是表示例如在从图18的时刻3100到时刻3110的处理单位期间，读出或者写入的处理完成，将上述单位期间分为多个期间(例如3个期间)，在各个期间，也可以依次进行写入、读出1、读出2。

从块存储器1461读出在图18的3040和3070所示的定时写入的2个像素信号，例如在时刻3100，对信号3040读出图16的像素a的信号，在图3070读出像素f的信号。这些信号在延迟电路3050、3080中分别被延迟处理单位期间，而成为信号3060、3090。即，在时刻3110，对信号3060、3040、3090、3070分别输入像素a、b、f、g的信号，在半像素处理电路3000中使用这4个像素，在图16的像素A的预测中使用的预测信号A’作为预测信号1080而被生成。此外，在预测向量的水平、垂直中任一方的成分正好为整数精度的值的情况下，使用上述4个像素中所需的2个像素，此外，在水平、垂直双方为整数精度的情况下，仅使用信号3060。这样，在预测向量的水平、垂直的一方或者双方为整数精度的信号的情况下，由于存在不在预测信号生成中使用的像素，因此也可以从帧存储器读出这些像素。

所生成的预测信号1080作为预测信号被输出，并且，其中在其他预测信号的生成中所需的信号在延迟电路3020中被延迟必要的时间(在此例中为处理单位期间的5倍)之后，作为信号3021而被写入块存储器1461。被写入的定时是图18的3021所示的定时，与像素m连续，作为正好在图16的画面上连续的像素位置的定时而被写入。此外，根据信号3021而被写入的信号是像素A’、B’、F’、G’、K’、L’。经由这些信号3021而被写入的信号也与经由信号1060而被写入的信号相同地在以后的预测信号生成处理中使用。

在这样的半像素预测中，作为预测位置能够指定更正确的精度，因此预测效率得到进一步提高。此外，在编码块与预测块的重叠部分大的情况下，预测块的右下部分的像素(例如在图16、图18的1080中为M’、P’、S’、T’)不是实际存在的像素，因此与其他的预测信号相比，含有误差的概率变高，但在本发明的方法中，例如在像素T的预测信号T’的生成中使用A’、B’、F’、G’，进而，在生成这些信号中使用像素a、b、c、f、g、h、k、l、m这9个像素的信号，因此能够降低基于各个像素的预测误差，防止预测效率的降低。

图19是本发明的第二实施方式，示出将本发明应用于编码装置时的结构。

所输入的图像信号2010被划分成块并被输入。被输入的信号2010在差分电路2020中按每个像素取与后述的预测信号2200的差量，之后，经由正交变换电路2030、量化电路2040而被变换成信号2100之后，在代码电路2050中被变换成代码，作为数据流2060而被输出。同时，信号2100经由逆量化电路2110、逆正交变换电路2120而被逆变换成差分信号之后，在加法电路2130中，按每个像素与之前的预测信号2200相加，能够得到与在解码装置中得到的图像信号相同的图像信号(局部解码图像)。局部解码图像被写入帧存储器2140中，被用于以后的预测信号2200生成处理。

预测信号2200在预测模式决定电路2150中如以下那样生成。被输入的图像信号(编码块)2010被输入到预测模式决定电路2150。预测模式决定电路2150准备多个成为相应编码块的预测信号的候选的预测向量，将这些作为预测候选向量2220而依次输入预测信号生成电路2240。预测信号生成电路与在之前的实施方式中已说明的预测信号生成电路1040、1041进行相同的处理，根据帧存储器的编码完成区域(相当于之前的实施方式的解码完成区域)的像素信号生成基于指定的预测候选向量的预测信号2230。预测模式决定电路2150按每个像素取输入信号2010(编码块信号)与预测块信号(2230)的差分，计算预测误差。然后，在计算所有的预测候选向量的预测误差之后，将预测误差最小(最类似)的预测候选向量作为预测向量2160，并且输出与预测向量2160对应的预测信号2200。此外，预测向量2160的信息在代码电路2050中与数据流2060重叠。

此外，在计算预测误差最小的预测向量2160时，预测信号使用了被存储在帧存储器2140中的局部解码图像，但代替局部解码图像，也可以使用被输入的图像信号2010。但是，这种情况下，为了防止解码装置中的误差的存储，需要根据局部解码图像生成预测信号2200。使用输入图像进行最佳向量的探索方法中，越是高画质的编码，局部解码图像和输入图像越接近，因此预测的效率越高。此外，在处理某个块的情况下，若在向量的探索中使用局部解码图像，则直到其之前被编码处理的块的局部解码图像生成完成为止，即，直到之前的块的编码处理完全结束为止，不能开始下一块的向量的探索。另一方面，若在向量的探索中使用输入图像，则能够在不等待之前的块的编码处理完成的情况下，开始下一向量探索，因此能够同时执行向量探索处理和其以后的编码处理，在各处理中被允许的处理允许时间变长(例如若向量探索处理和其以后的编码处理花费相同的时间，则通过对它们进行并行处理，处理允许时间变为2倍)。处理允许时间变长，则能够以更低的时钟频率执行相同的处理，因此功耗变小，并且能够削减电路。此外，若以相同的时钟频率执行，则在单位时间内能够处理更多的像素，因此能够实现分辨率更高的图像处理、帧率更高的图像处理、多个图像的同时处理、或者这些的组合。

图20是图19的编码装置2001所生成的数据流2060的结构例，相当于图7的输入数据流1010。数据流呈层级，在最高位层级中连接与流整体相关的信息4000，配置帧数据。帧数据例如帧数据4002如位于图20的中层那样由宏块(MB)数据4100～4104构成，在开头配置帧信息4100。MB数据例如4102如位于图20的下层那样从宏块的模式信息MB模式信息4200开始。MB模式在为本发明所示的方法的模式的情况下，配置预定数量的用于生成预测信号的向量信息(4201～4204)。该向量的数量例如图15那样，在宏块被分成16块的情况下为16个向量。划分数由MB信息指定。与预定数量的向量相接，配置宏块的差分信息。

图21是应用了本发明的机器的例子，是记录图像的光盘的再现装置的框图。根据本发明所生成的数据流被记录在光盘1中。光盘驱动器2从光盘1读出的图像的数据流1010被提供到解码器1001。解码器1001利用之前所示的方法，将根据输入数据流1010再现的图像信息输出为输出信号1150。被输出的输出信号1150在监视器3再现。

以上根据实施方式具体说明了本发明人所完成的发明，但本发明不限于此，当然能够在不脱离其要旨的范围内进行各种变更。

对已说明的实施方式、各实施方式的变形例应用了下述变形例或者下述变形例的组合的情况均包括在本发明中。

本实施方式示出了应用于帧内编码的例子，但也能够应用于帧间编码和帧内编码同时存在的编码和解码中。

再有，也能够应用于帧间编码中的、帧内编码模式的块中。即，在判断为在帧间编码中，某个块(或者宏块)与基于运动补偿帧间预测的预测相比，基于本发明的画面内向量预测更适合的块在对选择了画面内向量预测的信息添加数据流之后，利用本发明的实施方式所示的方法，使用在相同画面上已被编码的区域的像素来生成预测信号，对其差分信号进行变换、代码处理。由此，与对所述块进行通常的帧内编码的情况相比，能够以更少的代码量进行编码。这种情况下，在向量的预测信号生成中，在不存在相邻的块的预测向量的情况下，能够使用在图15的项中说明的代码方法。

此外，能够在解码处理中，从数据流中抽取选择了画面内向量预测的信息进行判定之后，与本实施方式相同地对所述块进行解码处理。此时，利用画面内向量预测对所述块进行编码在图20的MB模式4200中被示出。

本发明不仅能够应用于动态图像编码，也能够应用于静止图像编码。

在本发明的实施方式中，以逐行扫描图像为前提进行了说明，但也能够应用于隔行扫描信号。此时，在实施方式中，“图像”表示帧图像、或者场图像。

在帧图像单位的编码、或者解码中也能够按每个块(宏块)组合切换帧模式和场模式进行处理的帧/场使用编码与本发明。作为本发明的画面内向量，通过切换并使用帧向量(表示帧单位的块的向量)/场向量(表示场单位的块的向量)，能够直接使用实施方式。对帧向量/场向量进行切换的信号可以按每个块(子块)进行施加，也可以在宏块整体内指定1个切换信号，进而还可以与宏块的编码模式信息连动。

在隔行扫描信号的帧图像中，按每一行配置时刻不同的1个场图像来构成画面，因此在画面中存在变化时成为画面内的边缘部等按每一行交替呈月牙形错开的图像。在本发明中，能够效率良好地预测这样的周期性模式，因此与不能应对周期性模式的现有方法相比，编码效率更高。

在之前的实施方式中，以直接将预测块使用为预测信号为前提，但以下的情况也包含在本发明中。

(1)对预测块的信号乘以系数而成为预测信号。其与画面内的亮度变化对应，例如，即使在周期性模式的图像为由于照明的关系而逐渐变暗的图像的情况下，也不会发生预测效率降低的情况。此外，通过将该处理应用于重叠部的预测像素，能够实现更高的预测效率。

(2)对预测块的信号施加放大或缩小的处理而成为预测信号。需要按照放大、缩小的倍率来改变预测块的尺寸(在以2倍放大的情况下，预测块的大小为通常的1/2)。预测块的放大、缩小在图像内的物体宽度(线宽)等变化的情况下，能够得到更高的编码效率。此外，即使在更大的块中进行处理，由于能够应对图像的变换，因此也能够不降低编码效率，相反能够减小对预测向量进行编码的重叠，提高编码效率。

(3)使预测块的信号旋转而成为预测信号。旋转能够是任意角度的旋转和限定角度的旋转。例如通过将角度限定为90度、180度、270度，与任意角度相比，旋转处理变得容易，并且表示旋转的度数的信息的代码量也减小。预测块的旋转对组合有纵横复杂的图案的图像、包括如树木细小叶片那样朝向各种方向的形状不固定的物体的图像的编码是有效的。

工业实用性

本发明能够广泛应用于对动态图像或静止图像的编解码技术中。

Claims (13)

1.一种图像处理装置，其特征在于，具有解码器，所述解码器在从数据流抽取的向量信息所示的预测块与解码对象块之间存在像素重叠的情况下，代替该重叠部分，将位于距重叠部分为基于上述向量信息的向量的成倍数增加的位置并且解码处理已结束的部分的像素信息作为预测信号，将从上述数据流所得到的差分图像数据与上述预测信号相加而生成再现图像数据。

2.一种解码方法，其特征在于，包括下述处理：

在从数据流抽取的向量信息所示的预测块与解码对象块之间存在像素重叠的情况下，代替该重叠部分，将位于距重叠部分为基于上述向量信息的向量的成倍数增加的位置并且解码处理已结束的部分的像素信息作为预测信号；

从上述数据流所得到的差分图像数据与上述预测信号相加来生成再现图像数据。

3.一种帧内解码装置，其特征在于，包括：

抽取部，从数据流抽取表示预测块的向量信息；

判定部，判定由上述向量信息所示的各像素数据是被包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；

像素位置计算部，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域的像素位置；

预测信号生成部，对由上述向量信息所示的像素数据，根据由上述像素位置计算部所计算的像素位置的像素数据和被判定为包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据；以及

图像再现部，对上述预测图像数据加上从上述数据流所得到的差分图像数据来生成再现图像数据。

4.根据权利要求3所述的帧内解码装置，其特征在于，

还具有对基于上述向量信息的向量进行成倍数增加的倍增部，

上述像素位置计算部使用上述成倍数增加后的向量，计算解码处理已结束的区域的像素数据的像素位置。

5.根据权利要求3所述的帧内解码装置，其特征在于，

上述预测信号生成部对于上述计算出的像素位置的像素数据、和由上述向量信息所示的像素数据中上述解码处理已结束的区域的像素数据，计算在多个像素之间进行插补的像素数据，生成上述预测图像数据。

6.根据权利要求3所述的帧内解码装置，其特征在于，

上述像素位置计算部在像素的限制范围内计算像素位置。

7.根据权利要求6所述的帧内解码装置，其特征在于，

上述像素的限制范围根据从上述数据流抽取出的信号来设定。

8.根据权利要求3所述的帧内解码装置，其特征在于，

上述数据流是静止图像或动态图像的数据流。

9.一种帧内解码方法，其特征在于，包括下述处理：

抽取处理，从数据流抽取表示预测块的向量信息；

判定处理，判定由上述向量信息所示的各像素数据是包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；

像素位置计算处理，根据被判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域中的像素位置；

预测信号生成处理，对于由上述向量信息所示的像素数据，根据通过上述像素位置计算处理进行上述计算得到的像素位置的像素数据、和包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据；以及

图像再现处理，在上述预测图像数据上加上从上述数据流所得到的差分图像数据，来生成再现图像数据。

10.一种帧内解码方法，其特征在于，包括下述处理：

第一处理，从数据流抽取表示预测块的向量信息；

第二处理，判定由上述向量信息所示的各像素数据包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；

第三处理，对基于上述向量信息的向量进行成倍数增加；

第四处理，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于上述成倍数增加后的向量的位置并且位于上述解码处理已结束的区域中的像素位置；

第五处理，根据由上述第四处理计算出的像素位置的像素数据、和根据上述第二处理判定为包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据；以及

第六处理，对上述预测图像数据加上从上述数据流得到的差分图像数据来生成再现图像数据。

11.一种帧内编码装置，

将图像数据分为多个块，

从相同画面数据内已编码的区域中选择与进行编码处理的块类似的块来作为预测信号，

对表示与进行上述编码处理的块类似的块和预测信号之间的相对位置的向量信息、以及与进行上述编码处理的块类似的块与预测信号之间的差分信号进行编码，

上述帧内编码装置的特征在于，该帧内编码装置作为局部编码器而包括：

判定部，判定由上述向量信息所示的各像素数据包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；

像素位置计算部，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域中的像素位置；以及

预测信号生成部，针对由上述向量信息所示的像素数据，根据在上述像素位置计算部计算出的像素位置的像素数据、和判定为包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据。

12.一种帧内解码装置，同时存在被帧间编码的块和被帧内编码的块，其特征在于，包括：

抽取部，在判定为根据数据流生成的块是帧内模式的情况下，从数据流中抽取表示预测块的向量信息；

判定部，判定由上述向量信息所示的各像素数据包含在解码处理已结束的区域和解码处理未结束的区域中的哪一个；

像素位置计算部，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域中的像素位置；

预测信号生成部，针对由上述向量信息所示的像素数据，根据在上述像素位置计算部所计算出的像素位置的像素数据、和判定为包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据；以及

图像再现部，在上述预测图像数据上加上由上述数据流得到的差分图像数据来生成再现图像数据。

13.一种帧内解码装置，其特征在于，包括：

抽取部，从数据流抽取表示预测块的向量信息；

判定部，判定由上述向量信息所示的各像素数据是处于解码处理已结束的区域和解码处理未结束的区域中的哪一个；

像素位置计算部，根据判定为包含在上述解码处理未结束的区域中的像素数据，计算位于基于上述向量信息的大小的成倍数增加的位置并且位于上述解码处理已结束的区域的像素位置；

预测信号生成部，针对由上述向量信息所示的像素数据，根据在上述像素位置计算部计算出的像素位置的像素数据、和判定为包含在上述解码处理已结束的区域中的像素数据，生成预测图像数据；

预测信号变换部，进行以下任意一种变换：对上述预测信号生成部生成的预测图像数据乘以系数的变换、对上述预测信号生成部生成的预测图像数据施加放大或缩小的处理的变换、使上述预测信号生成部生成的预测图像数据旋转的变换；以及

图像再现部，在上述预测信号变换部变换的预测图像数据上加上从数据流所得到的差分图像数据，来生成再现图像数据。