CN1922885A - 图象解码装置和图象编码装置 - Google Patents

图象解码装置和图象编码装置 Download PDF

Info

Publication number
CN1922885A
CN1922885A CN200580006054.8A CN200580006054A CN1922885A CN 1922885 A CN1922885 A CN 1922885A CN 200580006054 A CN200580006054 A CN 200580006054A CN 1922885 A CN1922885 A CN 1922885A
Authority
CN
China
Prior art keywords
decoding
image
piece
execution unit
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200580006054.8A
Other languages
English (en)
Inventor
工藤慎太郎
西孝启
井口雅保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1922885A publication Critical patent/CN1922885A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

图象解码装置(100)具有：把各块依次解码的可变长解码部(111)；帧存储器(102)；对解码的各块进行滤波处理的解块滤波处理部(119)；每次把块解码时，把该块存储到帧存储器(102)中，并且对那里存储的块执行滤波处理的第一执行状态的开关(103、104)；每次把块解码时，对该块进行滤波处理的第二执行状态的开关(103、104)；切换开关(103、104)的第一执行状态和第二执行状态的控制部101。提供在变更各块的解码顺序时，也能除去块变形，并且能抑制处理速度的下降的图象解码装置。

Description

图象解码装置和图象编码装置
技术领域
[0001]
本发明涉及以块单位把编码的图象解码的图象解码装置，特别是涉及对解码的块进行滤波处理的图象解码装置。
背景技术
[0002]
在移动图象的压缩技术中，作为标准规格，有ITU(国际电气通信联合电气通信标准化部门)的H.261、H.263、H.264、ISO(国际标准化机构)的MPEG(Moving Picture Experts Group)-1、MPEG-2、MPEG-4。
[0003]
在这些移动图象压缩方式中，把图象分割为快，对各块进行编码。通过对各块进行编码，提高压缩效率，但是解码的图象容易发生块变形。在H.264中，为了除去与块关联的噪声，采用在解码或画面间预测中使用的参照图象中，以块单位除去噪声的解块滤波处理。
[0004]
图1是用于说明进行解块滤波处理的部位的说明图。
[0005]
在16×16象素构成的宏模块中，如图1所示，对4×4象素构成的块的边缘进行H.264的解块滤波处理。如图1的(a)的粗实线所示，对于亮度的垂直方向的各边缘(垂直边缘)，进行解块滤波处理，并且如图1的(a)的粗虚线所示，对于色差的一部分的垂直边缘，进行解块滤波处理。如图1(b)的粗实线所示，对亮度的水平方向的各边缘(水平边缘)，进行解块滤波处理，并且如图1(b)的粗虚线所示，对于色差的一部分的水平边缘，进行解块滤波处理。
[0006]
另外，在解块滤波处理中，使用接着该边缘的8象素。根据滤波代码(disable_deblocking_filter_idc)的值决定是否进行解块滤波处理。当滤波代码为0时，对宏模块的所述各边缘进行解块滤波处理。而当滤波代码为1时，对宏模块的任意边缘都不进行解块滤波处理。另外，滤波代码为2时，对不在片段边界的宏模块的所述各边缘进行解块滤波处理。
[0007]
解块滤波处理分为各边缘的滤波强度的计算、滤波处理的有无判定中使用的阈值α、β的计算、滤波处理。
[0008]
图2是用于说明滤波强度的计算、阈值的计算、滤波处理的说明图。
[0009]
各边缘的滤波强度如图2所示，使用包含象素p0的块的信息、包含象素q0的块的信息计算。另外，在各边缘中，使用含象素p0的块的量子化系数、包含象素q0的块的量子化系数计算各边缘中滤波处理的有无判定中使用的阈值α、β。对于由4×4象素构成的块的边缘，使用夹着该边缘的8象素进行滤波处理。这样的滤波处理如图1所示，以宏模块单位，按垂直边缘、水平边缘的顺序进行。这时，在宏模块的边缘的滤波处理中，使用位于处理对象的宏模块的左和上的宏模块，即已经进行解块滤波处理的宏模块的象素。因此，在H.264中，从地址小的宏模块按顺序进行解块滤波处理。这里，地址是从图象的左上端按照水平扫描的顺序分配给各宏模块的编号。
[0010]
可是，在所述H.264中，规定片段组，把图象划分为几个区域，在其中分配片段，从而构成片段组。片段是在片段组内不重叠，按地址小的顺序分配的长度一个以上的宏模块的组。
[0011]
图3A、图3B和图3C是片段组的说明图。
[0012]
图中，块表示宏模块，其中的编号是该宏模块所属的片段组的ID。例如宏模块MB中所示的数字“1”表示宏模块MB所属的片段组的ID。片段组的类型规定为7种，用slice_group_map_type表示片段组的类型。
[0013]
图3A表示slice_group_map_type为0的片段组，按水平扫描顺序连续的宏模块作为片段组构成。图3B表示slice_group_map_type为1的片段组，该片段组中，属于同一片段组的宏模块不相邻。图3C表示slice_group_map_type为2的片段组，该片段组中，把各片段组划分为矩形区域，从上粘贴这些片段组。
[0014]
片段组的类型规定片段组的划分方法，编码器根据该规定分配片段组。另外，片段组的数量按各轮廓规定，在基线轮廓中为1~7个，在主轮廓中为1个，在扩展轮廓中为1~7个(例如，参照非专利文献1)。
[0015]
上述的片段组分割为包含宏模块而构成的片段。
[0016]
图3D是表示片段组中包含的片段的图。
[0017]
例如如图3D所示，片段组SG包含片段S1、片段S2、片段S3。片段S1由地址0~19的各宏模块构成，片段S2由地址20~44的各宏模块构成，片段S3由地址45~64的各宏模块构成。
[0018]
在以往的图象解码装置中，按照片段的开始宏模块的地址小的顺序，把各片段解码。例如图象编码装置如图3D所示，首先把具有地址0的开始宏模块的片段S1解码，接着把具有地址20的开始宏模块的片段S2解码，接着把具有地址45的开始宏模块的片段S3解码。另外，图象解码装置把一个片段解码时，从片段的开始宏模块(图3D中的斜线表示的宏模块)按地址小的顺序对各宏模块进行解码。此外，以下把按片段的开始宏模块的地址小的顺序把各片段解码的解码顺序即把解码对象的宏模块解码时位于解码对象宏模块的左和上的宏模块(具有比解码对象宏模块还小的地址的宏模块)已经解码的解码顺序称作地址处理顺序。
[0019]
然后图象解码装置对解码的宏模块进行解块滤波处理。这里，各片段以及宏模块的解码的顺序成为上述的地址处理顺序，所以图象解码装置通过管道处理，进行宏模块的解码处理和解块滤波处理。
[0020]
图4是用于说明管道处理的说明图。
[0021]
一般在用于特定处理的专用硬件中，常常分担处理内容，构成管道，进行并行处理。管道处理是依次同时进行不同的作业，不无用地等待进行处理的单元，一个接一个地执行，从而实现高速化的手法。
[0022]
管道处理如图4所示，由前处理和后处理构成。按数据1、数据2、数据3的顺序处理各数据。首先，对数据1进行前处理，接着同时进行对数据1的后处理、对数据2的前处理。通过采用这样的结构，与对数据1、数据2、数据3进行前处理后，对这些数据进行后处理时相比，能缩短处理时间，能实现高速化。此外，在数据1的后处理中，使用数据2的前处理的结果时，无法并行处理数据1的后处理和数据2的前处理，当然变不成管道。
[0023]
这里，所述以往的图象解码装置把上述的前处理作为对宏模块的解码处理进行，把上述的后处理作为对宏模块的解块滤波处理进行。
[0024]
在以往的图象解码装置中，各片段和宏模块的解码顺序总为地址处理顺序，所以通过管道处理进行宏模块的解码处理和解块滤波处理，实现处理速度的高速化。
非专利文献1：H.264 MPEG-4AVC规格书
[0025]
可是，有时各片段的解码顺序不是地址处理顺序。
[0026]
在所述的H.264中，规定表示片段的解码顺序并不局限于变为地址处理顺序的arbitrary slice order。该arbitrary slice order的使用在主轮廓中进行，在基线轮廓和扩展轮廓中允许。在允许arbitrary slice order时，并不局限于按片段的开始宏模块的地址小的顺序把各片段解码，有可能从宏模块的开始地址比其他片段大的片段解码。
[0027]
这时，即使对于位于片段边界的宏模块要进行解块滤波处理，有时对于位于处理对象的宏模块的左和上的宏模块还未进行解码处理和解块滤波处理。
[0028]
因此，如果假定允许arbitrary slice order，图象解码装置按各宏模块把图象中包含的全部片段解码，构成解码的一个图象后，有必要对各宏模块进行解块滤波处理。即允许arbitrary slice order时，图象解码装置无法通过管道处理进行解码处理和解块滤波处理。
[0029]
图5是表示与所述的H.264的arbitrary slice order对应的图象解码装置的结构的框图。
[0030]
该图象解码装置800把编码信号解码，具有可变长解码部801、逆量子化部802、逆正交变换部803、存储器804、面内预测部805、加法部806、开关807、帧存储器808、解块滤波处理部809、帧存储器810、移动补偿部811。
[0031]
在这样构成的图象解码装置800中，在把I图象的编码信号解码的内部模式时，编码信号由可变长解码部801解码为量子化值，由逆量子化部802解码为频率成分，由逆正交变换部803解码为预测误差。另外，使用存储器804中存储的左宏模块、上宏模块、左上宏模块、右上宏模块的象素，在面内预测部805生成预测图象，由加法部806把预测误差和预测图象相加。结果，生成解码的宏模块即再构成图象。这里，在内部模式时，开关807连接面内预测部805和加法部806。再构成图象存储到存储器804，并且存储到帧存储器808中。而且，图象中包含的全部宏模块的再构成图象存储到帧存储器808后，解块滤波处理部809从图象的左上端宏模块的再构成图象按照地址顺序，对各再构成图象进行除去块变形的解块滤波处理，把处理完毕的再构成图象存储到帧存储器810中。存储在帧存储器810中的进行了解块滤波处理的图象作为解码图象信号对监视器输出。
[0032]
另外，把P图象和B图象的编码信号解码的之间模式时，编码信号由可变长解码部801解码为量子化值，由逆量子化部802解码为频率成分，由逆正交变换部803解码为移动补偿误差。而由移动补偿部811生成移动补偿图象，由加法部806把移动补偿误差和移动补偿图象相加。结果，生成解码的宏模块即再构成图象。这里，在之间模式时，开关807连接移动补偿部811和加法部806。再构成图象存储到存储器804，并且存储到帧存储器808中。而且，图象中包含的全部宏模块的再构成图象存储到帧存储器808后，解块滤波处理部809从图象的左上端宏模块的再构成图象按照地址顺序，对各再构成图象进行除去块变形的解块滤波处理，把处理完毕的再构成图象存储到帧存储器810中。存储在帧存储器810中的进行了解块滤波处理的图象作为解码图象信号对监视器输出。
[0033]
这里，解块滤波处理部809在滤波代码为1时，对再构成图象不进行任何处理，把再构成图象存储到帧存储器810中。
[0034]
图6是表示图象解码装置800的处理流程的程序流程图。
[0035]
首先，图象解码装置800通过对编码信号表示的图象的编码的全部宏模块进行解码处理，把编码的全部宏模块分别解码为再构成图象(循环1的步骤S822)。然后全部宏模块解码为再构成图象后，图象解码装置800对循环1中解码的全部再构成图象进行解块滤波处理(循环2的步骤S824)。即图象解码装置800对图象以宏模块单位进行解块滤波处理。
[0036]
图7是表示与H.264的arbitrary slice order对应的图象编码装置的结构的框图。
[0037]
该图象编码装置900把输入图象信号编码，具有存储器901、面内预测部902、减法部903、开关904、正交变换部905、量子化部906、可变长编码部907、逆量子化部908、逆正交变换部909、加法部910、帧存储器911、解块滤波处理部912、帧存储器913、移动检测部914、移动补偿部915。
[0038]
这样构成的图象编码装置900按各宏模块处理输入图象信号表示的图象。在把输入图象信号表示的图象作为I图象编码的内部模式(内部预测)时，使用存储器901中存储的左宏模块、上宏模块、左上宏模块、右上宏模块的再构成图象，由面内预测部902生成预测图象，由减法部903输出输入图象信号的宏模块的图象和预测图象的差分即预测误差。这里，开关904在内部模式时连接面内预测部902和减法部903。由正交变换部905把预测误差变换为频率成分，由基于量子化部906的量子化压缩编码为量子化值。对量子化值通过可变长编码部907进行编码，编码的结果成为输出。另外，基于量子化部906的量子化值由逆量子化部908解码为频率成分，由逆正交变换部909解码为预测误差。预测误差由加法部910与预测图象相加。结果，生成解码的宏模块即再构成图象，存储在存储器901中。另外，把再构成图象也存储在帧存储器911中。而且，把图象中包含的全部宏模块的再构成图象存储到帧存储器911中后，解块滤波处理部912从图象的左上端宏模块的再构成图象按顺序对各再构成图象进行除去块变形的解块滤波处理，把处理完毕的再构成图象存储到帧存储器913中。
[0039]
另外，在把输入图象信号表示的图象作为P图象或B图象编码的之间模式(面间预测)时，由移动检测部914生成移动向量，由移动补偿部915生成预测图象，由减法部903计算减法部903宏模块的图象和预测图象的差分即移动补偿误差。这里，在之间模式时，开关904连接移动补偿部915和减法部903。此外，移动检测部914从帧存储器913中存储的解码图象查找与编码对象宏模块的图象相比，差分最小的图象区。即移动检测部914在P图象时，从前方的参照图象查找所述图象区，在B图象时，从前方和后方的双方向参照图象查找所述图象区。然后，移动检测部914把查找的图象区和输入图象信号的编码对象宏模块之间的移动量作为移动向量计算，输出移动向量。移动检测部914输出表示参照的图象位于编码对象图象的前方、位于后方、或位于双方向的宏模块的预测类型。移动补偿部915从由移动检测部914输出的移动向量和预测类型计算预测图象，输出。
[0040]
从减法部903输出的移动补偿误差由正交变换部905变换为频率成分，由基于量子化部906的量子化压缩编码为量子化值。对量子化值，由可变长编码部907进行编码，编码的结果成为输出。另外，基于量子化部906的量子化值由逆量子化部908解码为频率成分，由逆正交变换部909解码为移动补偿误差，由加法部910与预测图象相加。结果，生成解码的宏模块即再构成图象，存储在存储器901中。另外，把再构成图象也存储在帧存储器911中。而且，把图象中包含的全部宏模块的再构成图象存储到帧存储器911中后，解块滤波处理部912从图象的左上端宏模块的再构成图象按顺序对各再构成图象进行除去块变形的解块滤波处理，把处理完毕的再构成图象存储到帧存储器913中。
[0041]
这里，解块滤波处理部912在滤波代码为1时，对再构成图象不进行任何处理，把再构成图象存储到帧存储器913中。
[0042]
图5所示的图象解码装置以及图7所示的图象编码装置900在解码顺序不是地址处理顺序时，也能进行解块滤波处理。
[0043]
可是，在图5所示的图象解码装置以及图7所示的图象编码装置900中，解码的顺序是地址处理顺序时，在进行解块滤波处理之前，对图象中包含的全部宏模块进行解码处理，把解码的宏模块(再构成图象)全部存储到存储器中，所以具有处理速度变慢的问题。
[0044]
存储再构成图象的存储器是外部存储器，在解码处理以外的其他处理中也使用该外部存储器时，如上所述，如果把全部再构成图象存储到外部存储器中，则外部存储器中存储的数据量多，所以解码处理全体的数据传送的比例提高，分配给其他处理的时间减少。因此，连接图象解码装置和外部存储器的总线的总线宽度小时，或者图象解码装置的处理能力低时，全部解码处理超过给定时间(为了处理1帧能使用的时间)的事态发生，无法进行顺利的图象解码。
[0045]
另外，在进行解块滤波处理之前，把全部再构成图象存储到存储器中，所以无法以宏模块单位，通过管道处理(并行处理)进行解码处理(再构成图象之前的处理)和解块滤波处理。另外，使用解块滤波处理的图象，把下一图象编码或解码，在图象单位中，无法通过管道处理(并行处理)进行解码处理(再构成图象之前的处理)和解块滤波处理。
发明内容
[0046]
因此，本发明是为了解决有关的问题而提出的，其目的在于，提供在变更各块的解码的顺序时，也能除去块变形，并且能抑制处理速度的下降的图象解码装置和图象编码装置。
[0047]
为了实现所述的目的，本发明的图象解码装置以块单位把编码的图象解码，其特征在于，包括：把构成编码的图象的各块依次解码的解码部件；用于存储由所述解码部件解码的各块的存储部件；对由所述解码部件解码的各块进行滤波处理的滤波部件；把由所述解码部件每次把块解码时解码的所述块存储到存储部件中，并且使所述滤波部件对所述存储部件中存储的块进行滤波处理的第一执行部件；对于由所述解码部件每次把块解码时解码的所述块，使所述滤波部件进行滤波处理的第二执行部件；切换基于所述第一执行部件的动作与基于所述第二执行部件的动作的切换控制部件。具体而言，所述切换控制部件按照由所述解码部件依次解码的各块的顺序，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。例如，所述切换控制部件在由所述解码部件依次解码的各块的顺序为从位于所述图象的边上的块连续解码的规定顺序时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作，当由所述解码部件依次解码的各块的顺序不是所述规定顺序时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
[0048]
据此，由所述解码部件依次解码的各块的顺序为从位于所述图象的边上的块连续解码的规定顺序即地址解码顺序时，例如由开关构成的第二执行部件在每次由解码部件解码时，就使滤波部件对该块执行滤波处理。结果，通过管道处理能进行解码处理和滤波处理，与把解码的各块存储到存储部件中后，对该块进行滤波处理时相比，能提高处理速度。此外这时，没必要在存储部件中存储块，所以能抑制对存储部件的数据传送量，能顺利进行全体的处理。另外，由解码部件依次解码的各块的顺序不是规定顺序即不是地址解码顺序时，例如由开关构成的第一执行部件在由解码部件每次把块解码时，把该块存储到存储部件中，并且使滤波部件对存储部件中存储的块进行滤波处理。结果，依次解码的各块的顺序不是地址解码顺序时，滤波部件对块也能进行滤波处理。在本发明中，即使变更各块的解码的顺序时，也能除去块变形，并且能抑制处理速度的下降。
[0049]
另外，所述切换控制部件的特征在于：按照由所述解码部件在单位时间内应该解码的块数，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。所述切换控制部件在由所述解码部件在单位时间内应该解码的块数比给定值多时，进行基于所述第一执行部件的动作，执行基于所述第二执行部件的动作，当所述块数为所述给定值以下时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
[0050]
根据主轮廓或基线轮廓等轮廓，在单位时间内应该解码的块数不同，根据该数量，能判别依次解码的各块的顺序是规定顺序，还是该顺序有可能不是规定顺序。因此，象本发明那样，按照块数切换基于第一执行部件的动作和基于第二执行部件的动作，也能取得与上述同样的效果。即在变更各块的解码顺序时，能除去块变形，并且能抑制处理速度的下降。
[0051]
另外，所述切换控制部件的特征在于：由所述解码部件依次解码的各块的顺序不是从位于所述图象的边上的块连续解码的规定顺序时，根据表示成为所述滤波处理的对象的所述各块的部位的滤波信息，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
[0052]
据此，依次解码的各块的顺序即使不是规定顺序，当滤波信息disable_deblocking_filter_idc的值为2时，即片段边界从滤波处理的对象偏离时，图象中包含的多个片段无论以怎样的顺序解码，切换控制部件执行基于第二执行部件的动作，就能通过管道处理，进行解码处理和滤波处理，能提高处理速度。
[0053]
另外，所述切换控制部件的特征在于：按照多个所述编码的图象构成的编码信号的种类，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。例如所述切换控制部件根据所述编码信号的种类，当判断为应该从位于所述图象的边上的块把各块连续解码时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作，当不能得出所述判断时，进行基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
[0054]
根据编码信号表示的主轮廓和基线轮廓等轮廓，有时能判断为应该从位于所述图象的边上的块把各块连续解码。因此，象本发明那样，按照编码信号的种类，即轮廓，切换基于第一执行部件的动作和基于第二执行部件的动作，也能取得与上述同样的效果。即变更各块的解码顺序时，能除去块变形，并且能抑制处理速度的下降。
[0055]
另外，所述切换控制部件的特征在于：取得表示是否应该从位于所述图象的边上的块把各块连续解码的外部信号，当所述外部信号表示应该连续解码时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作，当所述外部信号表示不应该连续解码时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
[0056]
当允许arbitrary slice order时，并不一定从位于所述图象的边上的片段把各片段连续解码。因此，象本发明那样，按照表示是否允许arbitrary sliceorder的外部信号，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作，也能取得与上述同样的效果。即变更各块的解码顺序时，能除去块变形，并且能抑制处理速度的下降。
[0057]
此外，本发明不仅能作为这样的图象解码装置实现，还能作为包含与图象解码装置同样的结构的图象编码装置、基于它们的处理方法、程序、存储该程序的存储媒体、集成电路实现。
[0058]
本发明的图象解码装置在变更各块的解码顺序时，能除去块变形，并且能抑制处理速度的下降。
附图说明
[0059]
图1是用于说明进行解块滤波处理的部位的说明图。
图2是用于说明滤波强度的计算、阈值的计算、滤波处理的说明图。
图3A是片段组的说明图。
图3B是其他片段组的说明图。
图3C是其他片段组的说明图。
图3D是表示片段组中包含的片段的图。
图4是用于说明管道处理的说明图。
图5是表示与H.264的arbitrary slice order对应的图象解码装置的结构的框图。
图6是表示图象解码装置的处理流程的程序流程图。
图7是表示与H.264的arbitrary slice order对应的图象编码装置的结构的框图。
图8是表示本发明实施例1的图象解码装置的结构的框图。
图9是表示图象解码装置的处理流程的程序流程图。
图10是表示变形例的图象解码装置的处理流程的程序流程图。
图11是表示对各图象判别滤波代码的值的图象解码装置的处理流程的程序流程图。
图12是表示本发明实施例2的图象编码装置的结构的框图。
图13是表示图象编码装置的处理流程的程序流程图。
图14是表示变形例的图象编码装置的处理流程的程序流程图。
图15是表示对各图象判别滤波代码的值的图象编码装置的处理流程的程序流程图。
图16是表示本发明实施例2的变形例2的图象编码装置的处理流程的程序流程图。
图17A是用于存储由计算机系统实现本发明的图象解码装置以及图象编码装置的程序的记录媒体的说明图(实施例3)。
图17B是用于存储由计算机系统实现本发明的图象解码方法以及图象编码方法的程序的记录媒体的其他说明图(实施例3)。
图17C是用于存储由计算机系统实现本发明的图象解码方法以及图象编码方法的程序的记录媒体的其他说明图(实施例3)。
图18是表示本发明实施例4的实现内容发送服务的内容供给系统的全体结构的框图。
图19是表示使用图象编码装置和图象解码装置的移动电话的图。
图20是移动电话的框图。
图21是表示数字广播用系统的例子的图。
符号的说明。
[0060]
100-图象解码装置；101-控制部；102、120-帧存储器；103、104、117-开关；111-可变长解码部；112-逆量子化部；113-逆正交变换部；114-存储器；115-面内预测部；116-加法部；119-解块滤波处理部；120-帧存储器；121-移动补偿部；200-图象编码装置；201-控制部；202、223-帧存储器；203、204、214-开关；205-设定部；211-存储器；212-面内预测部；213-减法部；215-直流变换部；216-量子化部；217-可变长编码部；218-逆量子化部；219-逆正交变换部；220-加法部；222-解块滤波处理部；224-移动检测部；225-移动补偿部。
具体实施方式
[0061]
下面参照附图说明本发明实施例。
[0062]
(实施例1)
图8是表示本发明实施例1的图象解码装置100的结构的框图。
[0063]
图象解码装置100是在变更以块单位进行的解码的顺序时，也能除去块变形，并且能抑制处理速度的下降，具有可变长解码部111、逆量子化部112、逆正交变换部113、存储器114、面内预测部115、加法部116、开关117、解块滤波处理部119、帧存储器120、控制部101、帧存储器102、开关103、开关104。
[0064]
可变长解码部111按编码信号表示的图象的各宏模块，对该宏模块进行可变长解码处理，把处理结果的量子化值对逆量子化部112输出。
[0065]
这里，可变长解码部111取得表示片段或宏模块的解码顺序的顺序通知信息，根据顺序通知信息表示的顺序，进行对各宏模块的可变长解码处理。顺序通知信息表示解码的顺序是地址处理顺序或解码的顺序是任意的。以下把任意的解码的顺序称作不定顺序。
[0066]
可变长解码部111在顺序通知信息表示地址处理顺序时，对码信号表示的编码图象的各片段，进行按片段的开始宏模块的地址小的顺序的可变长解码处理。然后可变长解码部111在各片段内，片段的开始宏模块按地址小的顺序进行对各宏模块的可变长解码处理。而当顺序通知信息表示不定顺序时，可变长解码部111按照给定的规定，用与上述的地址处理顺同样的顺序、或与地址处理顺不同的顺序，对各宏模块进行可变长解码处理。
[0067]
逆量子化部112对从可变长解码部111输出的量子化值进行逆量子化，把量子化值变换为频率成分。
[0068]
逆正交变换部113在编码对象图象为I图象的内部模式中，把从逆量子化部112输出的频率成分变换为图象数据的预测误差，在编码对象图象为P图象或B图象的之间模式中，把频率成分变换为图象数据的移动补偿误差。
[0069]
开关117在内部模式中把面内预测部115与加法部116连接，在之间模式中，把移动补偿部121与加法部116连接。
[0070]
加法部116在内部模式中把从面内预测部115输出的预测图象与预测误差相加，从而把编码信号表示的编码的宏模块解码为再构成图象。另外，加法部116在之间模式中，把从移动补偿部121输出的移动补偿图象与移动补偿误差相加，从而把编码信号表示的编码的宏模块解码为再构成图象。
[0071]
存储器114存储从加法部116输出的再构成图象。
[0072]
面内预测部115从存储器114中存储的多个再构成图象取出对于解码对象宏模块，位于左的宏模块、位于上的宏模块、位于左上的宏模块、位于右上的宏模块各自再构成图象。然后面内预测部115使用这些再构成图象生成解码对象宏模块的预测图象。
[0073]
控制部101取得上述的顺序通知信息，根据顺序通知信息，控制开关103和开关104。
[0074]
控制部101在顺序通知信息表示地址处理顺序时，控制开关103和开关104，直接把加法部116和解块滤波处理部119连接。而当顺序通知信息表示不定顺序时，控制部101首先控制开关103，使帧存储器102与加法部116连接。连接在加法部116上的帧存储器102逐次积蓄从加法部116输出的再构成图象。然后，如果在帧存储器102中存储1图象的全部再构成图象，控制部101就控制开关104，使帧存储器102与解块滤波处理部119连接。
[0075]
解块滤波处理部119如果由开关103和开关104与加法部116连接，就在加法部116每次输出再构成图象时，对该再构成图象进行解块滤波处理。另外，解块滤波处理部119如果由开关104与帧存储器102连接，就对帧存储器102中存储的1图象的全部再构成图象，从图象的左上端的宏模块按地址小的顺序进行解块滤波处理。
[0076]
然后，解块滤波处理部119把解块滤波处理的再构成图象依次存储到帧存储器120中。据此，在帧存储器120中，把1图象的再构成图象作为解码图象存储。另外，把解码图象作为解码图象信号对监视器等输出。
[0077]
此外，解块滤波处理部119对处理对象的再构成图象(宏模块)进行解块滤波处理时，从帧存储器120取得位于该再构成图象的左和上的已经解块滤波处理的再构成图象，使用取得的再构成图象。
[0078]
移动补偿部121把帧存储器120中存储的解码图象作为参照图象取得，取得移动向量。然后移动补偿部121把参照图象中由移动向量表示的图象区作为解码对象宏模块的移动补偿图象生成，输出该移动补偿图象。
[0079]
本实施例的图象解码装置100在顺序通知信息表示地址处理顺序时，对各宏模块，通过管道处理进行解码处理(生成再构成图象的之前的处理)和解块滤波处理。然后，当顺序通知信息表示不定顺序时，图象解码装置100对各宏模块进行解码处理，1图象的再构成图象存储到帧存储器102中后，进行解块滤波处理。
[0080]
这里，作为上述的顺序通知信息，使用例如H.264中的轮廓信息。
[0081]
在编码信号中包含的轮廓信息表示基线轮廓或扩展轮廓时，该轮廓信息表示逐次解码的宏模块的顺序是不定顺序。另外，当轮廓信息表示主轮廓时，该轮廓信息表示逐次解码的宏模块的顺序是地址处理顺序。
[0082]
在基线轮廓和扩展轮廓中，逐次解码的宏模块的顺序是不定顺序的理由中，不仅是允许arbitrary slice order的理由，还有能在1~7个的范围中设定片段组的数的理由。即片段组的数为多个时，如图3B所示，对于解码对象宏模块，左相邻和上相邻的宏模块由时分别与解码对象宏模块属于不同片段组。这时，在解码对象宏模块的解码时，位于左相邻和上相邻的宏模块有可能不解码，所以逐次解码的宏模块的顺序变为不定顺序。
[0083]
图9是表示本实施例的图象解码装置100的处理流程的程序流程图。
[0084]
图象解码装置100首先对解码对象图象判别顺序通知信息是否表示地址处理顺序(步骤S100)。当判别为表示地址处理顺序时(步骤S100的Y)，图象解码装置100对解码对象的各宏模块，按地址处理顺序进行解码处理(步骤S102)，对解码的宏模块(再构成图象)进行解块滤波处理(步骤S104)。即图象解码装置100通过管道处理进行步骤S102的解码处理和步骤S104的解块滤波处理，对解码对象图象的全部宏模块重复进行这些处理(循环2)。
[0085]
而判别为顺序通知信息不表示地址处理顺序，即表示不定顺序时(步骤S100的N)，图象解码装置100以给定的顺序对解码对象的各宏模块进行解码处理(步骤S106)，把解码的宏模块(再构成图象)逐次存储到帧存储器102中(步骤S108)。图象解码装置100对解码对象图象的全部宏模块重复进行步骤S106的解码处理和步骤S108的存储处理(循环3)。然后，图象解码装置100对帧存储器102中存储的1图象的各再构成图象，从图象的左上端的再构成图象按地址小的顺序进行解块滤波处理(步骤S110)。
[0086]
图象解码装置100对编码信号的全部编码的图象进行步骤S100～S110的处理(循环1)。
[0087]
根据本实施例，在多个禁止片段组和arbitrary slice order的主轮廓中，保证依次解码的宏模块的顺序是按地址小的顺序(地址解码顺序)，所以即使全部宏模块不作为再构成图象解码，对于逐次解码为再构成图象的滤波处理前的宏模块，也能实施解块滤波处理。因此，能降低解码处理全体的数据传送的比例。另外，对逐次解码的再构成图象进行的解块滤波处理能与生成再构成图象之前的处理(解码处理)并列处理。据此，能提高处理速度。
[0088]
另外，在允许多个片段组和arbitrary slice order的基线轮廓中，不保证依次解码的宏模块的顺序是地址解码顺序。在本实施例中，在这样的基线轮廓中，通过在帧存储器102中逐次存储再构成图象，对各再构成图象能进行解块滤波处理。
[0089]
(变形例)
这里，说明所述的实施例1的变形例。
[0090]
所述实施例的图象解码装置100只根据顺序通知信息，判别是否通过管道处理进行解码处理和解块滤波处理，但是本变形例的图象解码装置根据顺序通知信息和滤波代码(disable_deblocking_filter_idc)，判别。
[0091]
本变形例的图象解码装置在顺序通知信息表示地址处理顺序时，进行与所述实施例同样的处理，但是在地址处理顺序表示不定顺序时，进行与滤波代码的值对应的处理。
[0092]
具体而言，本变形例的图象解码装置在滤波代码为0时，进行与所述的实施例中顺序通知信息表示不定顺序是同样的处理。即图象解码装置的控制部通过控制开关103，把帧存储器102与加法部116连接，把1图象的再构成图象存储到帧存储器102。然后，控制部通过控制开关104，把帧存储器102与解块滤波处理部119连接。结果，解块滤波处理部119对帧存储器102中存储的再构成图象进行解块滤波处理。据此，在滤波代码为0时，对全部宏模块(再构成图象)的边缘进行解块滤波处理。
[0093]
在滤波代码为1时，本变形例的图象解码装置的控制部通过控制开关103和开关104，直接连接加法部116和解块滤波处理部119。然后，控制部对解块滤波处理部119禁止解块滤波处理。结果，从加法部116输出的再构成图象通过开关103和开关104，通过解块滤波处理部119，存储到帧存储器120。据此，在滤波代码为1时，对全部宏模块(再构成图象)边缘，不进行解块滤波处理。
[0094]
在滤波代码为2时，本变形例的图象解码装置的控制部与上述同样，通过控制开关103和开关104，直接连接加法部116和解块滤波处理部119。然后，控制部使解块滤波处理部119进行对片段边界的解块滤波处理。结果，解块滤波处理部119对从加法部116输出的位于片段边界的再构成图象(宏模块)中除了片段边界的边缘(例如位于再构成图象的内部的4×4象素构成的块的边缘)进行解块滤波处理。另外，解块滤波处理部119对从法部116输出的不在片段边界的再构成图象的全部边缘即图1所示的各垂直边缘和水平边缘进行解块滤波处理。
[0095]
据此，在滤波代码为2时，对各宏模块(再构成图象)通过管道处理进行解码处理和解块滤波处理。
[0096]
图10是表示本变形例的图象解码装置的处理流程的程序流程图。
[0097]
本变形例的图象解码装置首先对解码对象图象，判别顺序通知信息是否表示地址处理顺序(步骤S200)。当判别为表示地址处理顺序时(步骤S200的Y)，图象解码装置对解码对象的各宏模块，按地址处理顺序进行解码处理(步骤S202)，对解码的宏模块(再构成图象)进行解块滤波处理(步骤S204)。即图象解码装置通过管道处理进行步骤S202的解码处理和步骤S204的解块滤波处理，对解码对象图象的全部宏模块重复进行这些处理(循环2)。
[0098]
而顺序通知信息不表示地址处理顺序时(步骤S200的N)，对各片段判别滤波代码的值是0，还是1，还是2(步骤S206)。这里，当判别为滤波代码的值是0时，图象解码装置以给定的顺序对解码对象的各宏模块进行解码处理(步骤S208)，把解码的宏模块(再构成图象)逐次存储到帧存储器102中(步骤S210)。图象解码装置对片段内的全部宏模块重复进行步骤S208的解码处理和步骤S210的存储处理(循环4)。
[0099]
另外，当在步骤S206中判别为滤波代码的值是1时，图象解码装置以给定的顺序对解码对象的各宏模块进行解码处理(步骤S214)。图象解码装置对片段内的全部宏模块重复进行步骤S214的解码处理(循环5)。
[0100]
另外，当在步骤S206中判别为滤波代码的值是2时，图象解码装置对解码对象的各宏模块进行解码处理(步骤S216)，判别该宏模块是否为位于片段边界的块(步骤S218)。然后图象解码装置在判别为位于片段边界的块(步骤S218的Y)时，对除去解码的宏模块(再构成图象)的段落边界的边缘进行解块滤波处理(步骤S219)，当判别为不是位于片段边界的块时(步骤S218的N)，对解码的宏模块(再构成图象)的全部边缘进行解块滤波处理(步骤S220)。即图象解码装置通过管道处理进行步骤S216的解码处理和步骤S219、S220的解块滤波处理。图象解码装置对段落内的全部宏模块重复进行步骤S216～S220的处理(循环6)。
[0101]
图象解码装置对解码对象图象中包含的全部片段进行步骤S206～S220的处理(循环3)，对步骤S210中存储到帧存储器102中的各再构成图象，按地址小的顺序进行解块滤波处理(步骤S222)。而且，图象解码装置对编码信号表示的编码的图象进行步骤S200～S222的处理(循环1)。
[0102]
此外，在上述中，图象解码装置对各片段判定滤波代码的值，但是可以对各图象判定滤波代码的值。
[0103]
图11是表示对各图象判别滤波代码的值的图象解码装置的处理流程的程序流程图。
[0104]
图象解码装置首先对解码对象图象判别顺序通知信息是否表示地址处理顺序(步骤S250)。在判别为表示地址处理顺序时(步骤S250的Y)，图象解码装置对解码对象的各宏模块，按地址处理顺序进行解码处理(步骤S252)，对解码的宏模块(再构成图象)进行解块滤波处理(步骤S254)。即图象解码装置通过管道处理进行步骤S252的解码处理和步骤S254的解块滤波处理，对解码对象图象的全部宏模块进行这些处理(循环2)。
[0105]
而当顺序通知信息表示不代表地址处理顺序的不定顺序时(步骤S250的N)，图象解码装置判别滤波代码的值是0，还是1，还是2(步骤S256)。这里，当判别为滤波代码的值是0时，图象解码装置以给定的顺序对解码对象的各宏模块进行解码处理(步骤S258)，把解码的宏模块(再构成图象)逐次存储到帧存储器102中(步骤S260)。图象解码装置对解码对象图象的全部宏模块重复进行步骤S258的解码处理和步骤S260的存储处理(循环3)。然后图象解码装置对帧存储器102中存储的1图象的各再构成图象，从图象的左上端的再构成图象，按地址小的顺序进行解块滤波处理(步骤S262)。
[0106]
另外，在步骤S256中判别为滤波代码的值是1时，图象解码装置以给定的顺序对解码对象的各宏模块进行解码处理(步骤S264)。图象解码装置对解码对象图象的全部宏模块重复进行解码处理(循环4)。
[0107]
另外，在步骤S256中判别为滤波代码的值是2时，图象解码装置对解码对象的各宏模块进行解码处理(步骤S266)，判别该宏模块是否为位于片段边界的块(步骤S268)。然后，图象解码装置在判别为位于片段边界的块(步骤S268的Y)时，对除去解码的宏模块(再构成图象)的段落边界的边缘进行解块滤波处理(步骤S269)，当判别为不是位于片段边界的块时(步骤S268的N)，对解码的宏模块(再构成图象)的全部边缘进行解块滤波处理(步骤S270)。即图象解码装置通过管道处理进行步骤S266的解码处理和步骤S269、S270的解块滤波处理。图象解码装置对解码对象图象的全部宏模块重复进行步骤S266～S270的处理(循环5)。
[0108]
图象解码装置对编码信号表示的全部编码的图象进行这样的步骤S250～S270的处理(循环1)。
[0109]
图象解码装置在明确滤波代码以图象单位固定，不以片段单位变更时，对各片段不判别滤波代码的值，就进行处理。
[0110]
此外，在实施例1和变形例中，控制部101把1图象的全部再构成图象存储到帧存储器102后，控制开关104，把帧存储器102与解块滤波处理部119连接，但是在把1图象的全部再构成图象存储前，可以控制开关104。
[0111]
控制部101如果在帧存储器120中存储对帧存储器102中存储的再构成图象(滤波对象宏模块)进行解块滤波处理所必要的解块滤波处理完毕的宏模块(滤波处理完毕的宏模块)，就控制开关104。据此，控制部101使解块滤波处理部119对滤波对象宏模块执行解块滤波处理。
[0112]
另外，控制部101在对于滤波对象宏模块，不需要滤波处理完毕的宏模块时，就控制开关104，使解块滤波处理部119对滤波对象宏模块执行解块滤波处理。
[0113]
具体而言，对于滤波对象宏模块必要的滤波处理完毕的宏模块是(1)对于图象上端的滤波对象宏模块，左相邻的宏模块；(2)对于图象左端的滤波对象宏模块，位于上相邻和右上的宏模块；或者(3)对于滤波对象宏模块，位于左相邻、上相邻和右上的宏模块。另外，不需要滤波处理完毕的宏模块的滤波对象宏模块是位于图象的左上端的宏模块。
[0114]
这时，能逐次进行解块滤波处理，能增加与生成再构成图象之前的处理(解码处理)能并行执行的处理。
[0115]
此外，在H.264的解码中，使用宏模块适应帧和半帧解码时，对于滤波对象宏模块，可以把上相邻的宏模块、右上的宏模块、左相邻的宏模块分别变为上相邻的宏模块对、右上的宏模块对、左相邻的宏模块对。据此，能取得与上述同样的效果。
[0116]
此外，在实施例1及其变形例中，作为逐次解码的宏模块的顺序是否为地址处理顺序的信息(顺序通知信息)，使用流(编码信号)中包含的轮廓信息，但是可以从外部取得表示逐次解码的宏模块的顺序是否为地址处理顺序的信息。
[0117]
此外，在基线轮廓时，逐次解码的宏模块的顺序一般是不定顺序，但是即使为基线轮廓，在所谓的1段广播时，不允许多个片段和arbitraryslice order，逐次解码的宏模块的顺序是地址解码顺序。
[0118]
只用轮廓信息，无法正确判定逐次解码的宏模块的顺序是否为地址解码顺序。另外，是否使用arbitrary slice order的信息在流内不存在，所以只用流内的信息无法判断逐次解码的宏模块的顺序是否为地址解码顺序。
[0119]
因此，从外部取得表示逐次解码的宏模块的顺序是否为地址解码顺序的信息即表示是否允许arbitrary slice order的信息。据此，图象解码装置能正确判断逐次解码的宏模块的顺序是否为地址解码顺序。即与只用轮廓信息判断是否为地址解码顺序时相比，判断为地址解码顺序的情况增多。结果，当判断为地址解码顺序时，对于逐次解码的滤波处理前的宏模块，能进行解块滤波处理，能降低解码处理全体的数据传送的比例。另外，解块滤波处理能与生成再构成图象之前的处理(解码处理)并行进行。据此，处理进一步高速化，能实现低耗电，长时间的解码成为可能。他适合于数字广播等长时间使用的情况。
[0120]
此外，在实施例1及其变形例中，虽然设置存储解块滤波处理前的再构成图象的帧存储器102、存储解块滤波处理后的再构成图象的帧存储器913，但是，可以用一个帧存储器构成2个存储器。
[0121]
另外，在实施例1及其变形例中，轮廓信息为顺序通知信息，按照轮廓信息，控制开关103和开关104，但是可以按照单位时间内应该解码的宏模块数，控制开关103和开关104。
[0122]
在基线轮廓时，与主轮廓时相比，单位时间内应该解码的宏模块数少。因此，如果宏模块数为给定值以下，编码信号表示的轮廓是基线轮廓，如果宏模块数比给定值多，编码信号表示的轮廓是就能判断为主轮廓。
[0123]
因此，即使这样按照单位时间内应该解码的宏模块数，控制开关103和开关104，也能取得与上述同样的效果。
[0124]
另外，在实施例1及其变形例中，如图9和图10所示，对各图象判别是否为地址处理顺序，但是可以对各片段或序列判别，也可以在开始对编码信号的处理时只1度判别。
[0125]
(实施例2)
图12是表示本发明实施例2的图象编码装置200的结构的框图。
[0126]
图象编码装置200在以块单位进行的编码和解码的顺序变更时，也能除去块变形，并且抑制处理速度的下降，具有：存储器211、面内预测部212、减法部213、开关214、正交变换部215、量子化部216、可变长编码部217、逆量子化部218、逆正交变换部219、加法部220、解块滤波处理部222、帧存储器223、移动检测部224、移动补偿部225、控制部201、帧存储器202、开关203、开关204、设定部205。
[0127]
减法部213计算输入图象信号表示的宏模块的图象和通过开关214取得的预测图象的差分，输出计算结果的预测误差。
[0128]
正交变换部215把由减法部213计算的预测误差变换为频率成分。
[0129]
量子化部216对从正交变换部215输出的频率成分进行量子化，把频率成分压缩编码为量子化值。
[0130]
可变长编码部217对从量子化部216输出的量子化值进行可变长编码，把编码的结果作为编码信号输出。
[0131]
逆量子化部218对从量子化部216输出的量子化值进行逆量子化，把量子化值变换为频率成分。
[0132]
逆正交变换部219把从逆量子化部218输出的频率成分变换为图象数据的预测误差。
[0133]
加法部220把从逆正交变换部219输出的预测误差和通过开关214取得的预测图象相加，输出解码的宏模块即再构成图象。
[0134]
存储器211存储从加法部220输出的再构成图象。
[0135]
开关214在内部模式中，把面内预测部212与减法部213连接，在之间模式中，把移动补偿部225与减法部213连接。
[0136]
面内预测部212从存储器211中存储的再构成图象取出对于编码对象宏模块，位于左的宏模块、位于上的宏模块、位于左上的宏模块、位于右上的宏模块各自的再构成图象。然后，面内预测部212使用这些再构成图象生成编码对象宏模块的预测图象。
[0137]
设定部205根据基于用户的操作、或预先规定的处理方法，设定编码条件，把编码条件通知控制部201。
[0138]
这里，上述的编码条件表示例如H.264中的轮廓。
[0139]
编码条件表示基线轮廓或扩展轮廓时，该编码条件表示逐次编码以及解码的宏模块的顺序是不定顺序。另外，编码条件表示主轮廓时，编码条件表示逐次编码以及解码的宏模块的顺序是地址处理顺序。
[0140]
控制部201根据由设定部205设定的编码条件，控制开关203和开关204。
[0141]
控制部201在编码条件表示地址处理顺序时，控制开关203和开关204，直接连接加法部220和解块滤波处理部222。而当编码条件表示不定顺序时，控制部201首先控制开关203，使帧存储器202与加法部220连接。连接在加法部220上的帧存储器202逐次存储从加法部220输出的再构成图象。然后，如果在帧存储器202中存储1图象的全部再构成图象，控制部201就控制开关204，把帧存储器202与解块滤波处理部222连接。
[0142]
解块滤波处理部222如果由开关203和开关204与加法部220连接，就在加法部220每次输出再构成图象时，对该再构成图象进行解块滤波处理。另外，解块滤波处理部222如果由开关204与帧存储器202连接，就对帧存储器202中存储的1图象的全部再构成图象，从图象的左上端的宏模块，按地址小的顺序进行解块滤波处理。
[0143]
然后，解块滤波处理部222把解块滤波处理的再构成图象存储到帧存储器223。据此，在帧存储器223中，把1图象的再构成图象作为解码图象存储。
[0144]
此外，解块滤波处理部222对处理对象的再构成图象(宏模块)进行解块滤波处理时，从帧存储器223取得位于该再构成图象的左以及上的已经解块滤波处理的再构成图象，使用取得的再构成图象。
[0145]
移动检测部224在之间模式时，通过把帧存储器223中存储的解码对象作为参照图象参照，检测输入图象信号表示的编码对象宏模块的图象的移动，把检测结果的移动向量对移动补偿部225以及帧存储器223输出。移动检测部914把表示参照图象位于编码对象图象的前方、后方、或双方向的宏模块的预测类型与移动向量一起输出。
[0146]
移动检测部224把存储在帧存储器223中的解码图象作为参照图象取得，并且取得从移动检测部224输出的移动向量。然后，移动补偿部121把由参照图象中由移动向量表示的图象区作为编码对象宏模块的预测图象生成，输出该预测图象。
[0147]
本实施例的图象编码装置200在编码条件表示地址处理顺序时，通过管道处理，对各宏模块，进行编码处理、解码处理、解块滤波处理。而且，在编码条件表示不定顺序时，图象编码装置200对编码的各宏模块进行解码处理，把1图象的再构成图象存储到帧存储器202后，进行解块滤波处理。
[0148]
图13是表示本实施例的图象编码装置200的处理流程的程序流程图。
[0149]
图象编码装置200首先设定编码条件(步骤S300)。然后，图象编码装置200对编码对象图象，判别编码条件是否表示地址处理顺序(步骤S302)。当判别为地址处理顺序时(步骤S302的Y)，图象编码装置200对编码对象的各宏模块，按地址处理顺序进行编码处理以及解码处理(步骤S304)，对解码的宏模块(再构成图象)进行解块滤波处理(步骤S306)。即图象编码装置200通过管道处理进行步骤S304的编码处理以及解码处理和步骤S306的解块滤波处理，对编码对象图象的全部宏模块反复进行这些处理(循环2)。
[0150]
而判别为编码条件不表示地址处理顺序即表示不定顺序时(步骤S302的N)，图象编码装置200以给定顺序对编码对象的各宏模块进行编码处理以及解码处理(步骤S308)，把解码的宏模块(再构成图象)逐次存储到帧存储器202(步骤S310)。图象编码装置200对编码对象图象的全部宏模块反复进行步骤S308的编码处理以及解码处理和步骤S310的存储处理(循环3)。然后，图象编码装置200对存储在帧存储器202中的1图象的各再构成图象，从图象的左上端的再构成图象，按地址小的顺序进行解块滤波处理(步骤S312)。
[0151]
图象编码装置200对编码信号表示的全部图象进行这样的步骤S300～S312的处理(循环1)。
[0152]
(变形例1)
这里，说明所述实施例2的变形例1。
[0153]
所述实施例2的图象编码装置200只根据编码条件，判别是否通过管道处理进行编码处理、解码处理和解块滤波处理，但是本变形例的图象编码装置根据编码条件和滤波代码(disable_deblocking_filter_idc)，判别。
[0154]
本变形例的图象编码装置在编码条件表示地址处理顺序时，进行与所述实施例同样的处理，但是编码条件表示不定顺序时，进行与滤波代码的值对应的处理。
[0155]
具体而言，本变形例的图象编码装置在滤波代码为0时，进行与所述实施例中编码条件表示不定顺序时同样的处理。即图象编码装置控制部通过控制开关203，把帧存储器202与加法部220连接，把1图象的再构成图象存储在帧存储器202中。然后，控制部通过控制开关204，把帧存储器202与解块滤波处理部222连接。结果，解块滤波处理部222对帧存储器202中存储的再构成图象进行解块滤波处理。据此，在滤波代码为0时，对全部宏模块(再构成图象)的边缘进行解块滤波处理。
[0156]
在滤波代码为1时，本变形例的图象编码装置的控制部通过控制开关203和开关204，把加法部220与解块滤波处理部222直接连接。然后，控制部对解块滤波处理部222禁止解块滤波处理。结果，从加法部220输出的再构成图象通过开关203和开关204，通过解块滤波处理部222存储到帧存储器223中。据此，在滤波代码为1时，对全部宏模块(再构成图象)的边缘不进行解块滤波处理。
[0157]
在滤波代码为2时，本变形例的图象编码装置的控制部与上述同样，通过控制开关203和开关204，把加法部220与解块滤波处理部222直接连接。然后，控制部使解块滤波处理部222禁止对片段边界的解块滤波处理。结果，解块滤波处理部222对从加法部220输出的位于片段边界的再构成图象(宏模块)中除了片段边界的边缘(例如位于再构成图象内部的4×4象素的块的边缘)进行解块滤波处理。另外，解块滤波处理部222对从加法部220输出的不在片段边界的再构成图象的全部边缘即图1所示的各垂直边缘和水平边缘进行解块滤波处理。
[0158]
据此，在滤波代码为2时，对各宏模块(再构成图象)，通过管道处理进行编码处理、解码处理和解块滤波处理。
[0159]
图14是表示本变形例的图象编码装置的处理流程的程序流程图。
[0160]
本变形例的图象编码装置首先设定编码条件(步骤S400)。然后图象编码装置对编码对象图象判别编码条件是否表示地址处理顺序(步骤S402)。当判别为编码条件表示地址处理顺序时(步骤S402的Y)，图象编码装置对编码对象的各宏模块，按地址处理顺序进行编码处理和解码处理(步骤S404)，对解码的宏模块(再构成图象)进行解块滤波处理(步骤S406)。即图象编码装置通过管道处理进行步骤S404的编码处理以及解码处理和步骤S406的解块滤波处理，对编码对象图象的全部宏模块重复进行这些处理(循环2)。
[0161]
而判别为编码条件不表示地址处理顺序，即表示不定顺序时(步骤S402的N)，图象编码装置对各片段判断滤波代码的值是0，还是1，还是2(步骤S408)。这里，当滤波代码的值判别为0时，图象编码装置以给定的顺序对编码对象的各宏模块进行编码处理以及解码处理(步骤S410)，把解码的宏模块(再构成图象)逐次存储在帧存储器202中(步骤S412)。图象编码装置对片段内的全部宏模块反复进行步骤S410的编码处理以及解码处理和步骤S412的存储处理(循环4)。
[0162]
另外，步骤S408中判别滤波代码的值为1时，图象编码装置以给定的顺序对编码对象的各宏模块进行编码处理以及解码处理(步骤S416)。图象编码装置对片段内的全部宏模块反复进行步骤S416的编码处理以及解码处理(循环5)。
[0163]
另外，步骤S408中判别滤波代码的值为2时，图象编码装置对编码对象的宏模块进行编码处理以及解码处理(步骤S418)，判别该宏模块是否是位于片段边界的块(步骤S420)。然后，图象编码装置判别为是位于片段边界的块时(步骤S420的Y)，对除去解码的宏模块(再构成图象)的片段边界的边缘进行解块滤波处理(步骤S421)，在判别为不是位于片段边界的块时(步骤S420的N)，对解码的宏模块(再构成图象)的全部边缘进行解块滤波处理(步骤S422)。即图象编码装置通过管道处理进行步骤S418的编码处理以及解码处理和步骤S421、S422的解块滤波处理。图象编码装置对片段内的全部宏模块反复进行步骤S418～S422的处理(循环6)。
[0164]
图象编码装置对编码对象图象中包含的全部片段进行步骤S408～S422的处理(循环3)，在步骤S412中，对帧存储器202中存储的各再构成图象，按地址小的顺序进行解块滤波处理(步骤S424)。然后，图象编码装置对输入图象信号表示的全部图象进行步骤S400～S424的处理(循环1)。
[0165]
此外，在上述中，图象解码装置对各片段判别滤波代码的值，但是也可以对各图象判别滤波代码的值。
[0166]
图15是表示对各图象判别滤波代码的值的图象编码装置的处理流程的程序流程图。
[0167]
图象编码装置首先设定编码条件(步骤S450)。然后图象编码装置对编码对象图象判别编码条件是否表示地址处理顺序(步骤S452)。当判别为表示地址处理顺序时(步骤S452的Y)，图象编码装置对编码对象的各宏模块，按地址处理顺序进行编码处理和解码处理(步骤S454)，对解码的宏模块(再构成图象)进行解块滤波处理(步骤S456)。即图象编码装置通过管道处理进行步骤S454的编码处理以及解码处理和步骤S456的解块滤波处理，对编码对象图象的全部宏模块重复进行这些处理(循环2)。
[0168]
而判别为编码条件不表示地址处理顺序，即表示不定顺序时(步骤S452的N)，图象编码装置判断滤波代码的值是0，还是1，还是2(步骤S458)。这里，当滤波代码的值判别为0时，图象编码装置以给定的顺序对编码对象的各宏模块进行编码处理以及解码处理(步骤S460)，把解码的宏模块(再构成图象)逐次存储在帧存储器202中(步骤S462)。图象编码装置对编码对象图象的全部宏模块反复进行步骤S460的编码处理以及解码处理和步骤S462的存储处理(循环3)。然后图象编码装置对帧存储器202中存储的1图象的各再构成图象，从图象的左上端的再构成图象，按地址小的顺序进行解块滤波处理(步骤S464)。
[0169]
另外，步骤S458中判别滤波代码的值为1时，图象编码装置以给定的顺序对编码对象的各宏模块进行编码处理以及解码处理(步骤S466)。图象编码装置对编码对象图象的全部宏模块反复进行步骤S466的编码处理以及解码处理(循环4)。
[0170]
另外，步骤S458中判别滤波代码的值为2时，图象编码装置对编码对象的宏模块进行编码处理以及解码处理(步骤S418)，判别该宏模块是否是位于片段边界的块(步骤S470)。然后，图象编码装置判别为是位于片段边界的块时(步骤S470的Y)，对除去解码的宏模块(再构成图象)的片段边界的边缘进行解块滤波处理(步骤S471)，在判别为不是位于片段边界的块时(步骤S470的N)，对解码的宏模块(再构成图象)的全部边缘进行解块滤波处理(步骤S472)。即图象编码装置通过管道处理进行步骤S468的编码处理以及解码处理和步骤S471、S472的解块滤波处理。图象编码装置对编码对象图象的全部宏模块反复进行步骤S468～S472的处理(循环5)。
[0171]
图象编码装置对输入图象信号表示的全部图象进行这样的步骤S450～S472的处理(循环1)。
[0172]
图象编码装置在明确滤波代码以图象单位固定，不以片段单位变更时，对各片段不判别滤波代码的值，就进行处理。
[0173]
(变形例2)
这里，说明所述实施例2的变形例2。
[0174]
所述实施例的图象编码装置200如图12的步骤S302所示，对各编码对象图象判别是否为地址处理顺序，但是本变形例的图象编码装置不对各编码对象图象判别，对全部编码对象图象，只1度判别是否为地址处理顺序。
[0175]
图16是表示本变形例2的图象编码装置的处理流程的程序流程图。
[0176]
图象编码装置首先设定编码条件(步骤S500)。然后图象编码装置判别编码条件是否表示地址处理顺序(步骤S502)。当判别为当判别为表示地址处理顺序时(步骤S502的Y)，图象编码装置对编码对象图象中包含的各宏模块，按地址处理顺序进行编码处理和解码处理(步骤S504)，对解码的宏模块(再构成图象)进行解块滤波处理(步骤S506)。图象编码装置对编码对象图象的全部宏模块反复进行步骤S504的编码处理以及解码处理和步骤S506的解块滤波处理(循环2)。图象编码装置对输入图象信号表示的全部图象反复进行这些处理(循环1)。
[0177]
而判别为编码条件不表示地址处理顺序，即表示不定顺序时(步骤S502的N)，图象编码装置以给定的顺序对编码对象的各宏模块进行编码处理以及解码处理(步骤S508)，把解码的宏模块(再构成图象)逐次存储到帧存储器202(步骤S510)。图象编码装置对编码对象图象的全部宏模块反复进行步骤S508的处理和步骤S510的处理(循环4)。然后，图象编码装置对帧存储器202中存储的1图象的各再构成图象，从图象的左上端的再构成图象，按地址小的顺序进行解块滤波处理(步骤S512)。图象编码装置对输入图象信号表示的全部图象反复进行步骤S508～S512的处理(循环3)。
[0178]
此外，实施例2及其变形例的图象编码装置包含实施例1及其变形例的图象编码装置的功能，所以实施例1及其变形例中说明的各事项也完全适合于实施例2及其变形例。
[0179]
在实施例2及其变形例中，设置存储解块滤波处理之前的再构成图象的帧存储器202、存储解块滤波处理之后的再构成图象的帧存储器223，但是可以用一个帧存储器构成这2个存储器。
[0180]
(实施例3)
通过把用于实现所述实施例1以及实施例2所示的图象解码装置或图象编码装置的程序记录到软盘等存储媒体中，能在独立的计算机系统中简单实施所述实施例1以及实施例2所示的处理。
[0181]
图17A～图17C是使用存储用于实现所述实施例1以及实施例2所示的图象解码装置或图象编码装置的程序的软盘，通过计算机系统实施时的说明图。
[0182]
图17B表示从软盘的盒正面观察的外观、截面构造、软盘，图17A表示记录媒体主体即软盘的物理格式的例子。软盘FD内置在盒子F内，在该判的表面，从外周向着内周，把多个磁道Tr形成同心圆，各磁道在角度方向分割为16个扇区。因此，在存储所述程序的软盘中，在分配给所述软盘FD的区域中记录作为所述程序的图象解码方法和图象编码方法。
[0183]
另外，图17C表示用于在软盘FD上进行所述程序的记录再现的结构。在软盘FD上记录所述程序时，从计算机系统Cs把作为所述程序的图象解码方法或图象编码方法通过软盘驱动器写入。另外，通过软盘内的程序在计算机系统中构筑所述图象解码方法时，通过软盘驱动器从软盘读出程序，传送给计算机系统。
[0184]
此外，在所述说明中，使用软盘作为记录媒体进行说明，但是使用光盘也能同样进行。另外，记录媒体并不局限于此，如果是IC卡、ROM等能记录程序的部件，也能同样进行。
[0185]
(实施例5)
这里，说明所述实施例所示的图象解码装置和图象编码装置的应用例和使用它的系统。
[0186]
图18是表示实现内容发送系统的内容供给系统ex100的全体结构的框图。把通信服务的提供区分割为所需的大小，在各单元内分别设置固定无线电台即基地电台ex107～ex110。
[0187]
内容供给系统ex100在因特网ex101上通过因特网服务提供商ex102以及电话网ex104、基地电台ex107～ex110，连接计算机ex111、PDA(Personaldigital assistant)ex112、相机ex113、移动电话ex114、带相机的移动电话ex115等各仪器。
[0188]
可是，内容供给系统ex100并不局限于图18的组合，可以组合任意，连接。另外，可以不通过固定无线电台即基地电台ex107～ex110，各仪器直接与电话网ex104连接。
[0189]
相机ex113是数字相机等能拍摄动画的仪器。另外，移动电话可以是PDC(Personal digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或GSM(Global System for Mobile Communications)方式的移动电话、或PHS(Personal Handyphone System)等，可以是任意的。
[0190]
另外，流服务器ex103从相机ex113通过基地电台ex109、电话网ex104连接，使用相机ex113能进行基于用户发送的编码处理的数据的现场发送。拍摄的数据的编码处理可以用相机ex113进行，也可以用进行数据的发送处理的服务器进行。另外，用相机ex116拍摄的动画数据通过计算机ex111对流服务器ex103发送。相机ex116是数字相机等能拍摄静止画面、动画的仪器。这时，动画数据的编码可以由相机ex116进行，也可以由计算机ex111进行。另外，编码处理在计算机ex111或相机ex116具有的LSIex117中处理。此外，可以把图象编码和图象编码的软件组入用计算机ex111可读取的记录媒体即任意存储媒体(CD-ROM、软盘、硬盘)。可以用带相机的移动电话ex115发送动画数据。这时的动画数据是用移动电话ex115具有的LSI编码处理的数据。
[0191]
在内容供给系统ex100中，用户把由相机ex113、相机ex116拍摄的内容(例如拍摄音乐实况的图象)与所述实施例同样编码处理，发送给流服务器ex103，流服务器ex103对有要求的客户机，发送所述内容数据。作为客户机，有能把所述编码的数据解码的计算机ex111、PDAex112、相机ex112、相机ex113、移动电话ex114。通过这样，内容供给系统ex100能在客户机接收编码的数据，再现，在客户机以实时接受，解码，再现，从而成为能实现个人广播的系统。
[0192]
构成该系统的各仪器的编码、解码中可以使用所述各实施例所示的图象编码装置或图象解码装置。
[0193]
作为一个例子，说明移动电话。
[0194]
图19是表示使用所述实施例中说明的图象编码装置和图象解码装置的移动电话ex115的图。移动电话ex115具有：与基地电台ex110之间收发电波的天线ex201；CCD相机等能拍摄图象、静止画面的相机部ex203；显示把由相机部ex203拍摄的图象、由天线ex201接收的图象解码的数据的液晶显示器等显示部ex202；由操作键ex204群构成的主体部；用于输出声音的扬声器等声音输出部ex208；用于输入声音的麦克风等声音输入部ex205；保存拍摄的动画或静止画面数据、接收的邮件的数据、动画的数据或静止画面数据等编码的数据或解码的数据的记录媒体ex207；用于把记录媒体ex207安装到移动电话ex115上的插口部ex206。记录媒体ex207是SD卡等在塑料盒内收藏能进行电改写或删除的非易失性存储器EEPROM(Electrically Erasable and Programmable Read Only Memory)的一种即闪存。
[0195]
参照图20说明移动电话ex115。移动电话ex115对于统一控制具有显示部EX202和操作键ex204的主体部各部的主控制部ex311，通过同步总线ex313，相互连接电源电路部ex310、操作输入控制部ex304、图象编码部ex312、相机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图象解码部ex309、多路复用分离部ex308、记录再现部ex307、调制解调部ex306和声音处理部ex305。
[0196]
如果通过用户的操作，结束通话以及电源键变为接通状态，电源电路部ex310就从电池组对各部供给电力，把带相机的数字移动电话ex115变为可工作的状态。
[0197]
移动电话ex115根据CPU、ROM以及RAM构成的主控制部ex311的控制，把在语音通话模式时由声音输入部ex205采集的声音信号由声音处理部ex305变换为数字声音数据，把它由调制解调部ex306进行频谱扩散处理，由收发电路部ex301进行数字模拟变换处理以及频率变换处理后，通过天线ex201发送。另外，移动电话ex115把在语音通话模式时由天线ex201收到的接收数据放大，进行频率变换处理和模拟数字变换处理，由调制解调部ex306进行频谱逆扩散处理，由声音处理部ex305变换为模拟声音数据后，它它通过声音输出部ex208输出。
[0198]
在数据通信模式时发送电子邮件时，由主体部的操作键ex204的操作输入的电子邮件的文本数据通过操作输入控制部ex304对主控制部ex311发送。主控制部ex311把文本数据用调制解调部ex306进行频谱扩散处理，由收发电路部ex301进行数字模拟变换处理以及频率变换处理后，通过天线ex201向基地电台ex110发送。
[0199]
在数据通信模式时发送图象数据时，把由相机部ex203拍摄的图象数据通过相机接口部ex303对图象编码部ex312供给。另外，在不发送图象数据时，把由相机部ex203拍摄的图象数据通过相机接口部ex303、LCD控制部ex302在显示部ex202直接显示。
[0200]
图象编码部ex312是具有本发明中说明的图象编码装置的结构，把从相机部ex203供给的图象数据通过所述实施例中表示的图象编码装置中使用的编码方法压缩编码，变换为编码图象数据，把它对多路复用分离部ex308发送。此外同时，移动电话ex115把相机部ex203在拍摄时由声音输入部ex205收集的声音通过声音处理部ex305作为数字的声音数据对多路复用分离部ex308发送。
[0201]
多路复用分离部ex308把从图象编码部ex312供给的编码图象数据和从声音处理部ex305供给的声音数据以给定的方式多路复用，把结果取得的多路复用数据由调制解调部ex306进行频谱扩散处理，由收发电路部ex301进行数字模拟变换处理以及频率变换处理后，通过天线ex201发送。
[0202]
在数据通信模式时，收到与主页链接的动画图象文件的数据，把通过天线ex201从基地电台ex110接收的接收数据由调制解调部ex306进行频谱逆扩散处理，把结果取得的多路复用数据对多路复用分离部ex308发送。
[0203]
另外，在把通过天线ex201接收的多路复用数据解码时，多路复用分离部ex308通过分离多路复用数据，划分为图象数据的位流和声音数据的位流，通过同步总线ex313把该编码图象数据提供给图象解码部ex309，并且把该声音数据提供给声音处理部ex305。
[0204]
图象解码部ex309是具有本发明说明的图象解码装置的结构，把图象数据的位流通过所述实施例中表示的编码方法所对应的解码方法解码，生成再现动画图象数据，把它通过LCD控制部ex302提供给显示部ex202，据此，显示与主页链接的动画图象文件中包含的动画数据。这时，声音处理部ex305同时把声音数据变换为模拟声音数据后，把它提供给声音输出部ex208，据此，再现与主页链接的动画图象文件中包含的声音数据。
[0205]
此外，并不局限于所述的系统的例子，最近，基于卫星、地面波的数字广播成为话题，如图21所示，在数字广播用系统中能嵌入所述实施例的图象编码装置或图象解码装置的至少任意一个。具体而言，广播电台ex409中，图象信息的位流通过电波向通信或广播卫星ex410传送。收到它的广播卫星ex410发射广播电波，由具有卫星广播接收设备的家庭的天线ex406接收该电波，由电视(接收机)ex401或机顶盒(STB)ex407等装置把位流解码，再现它。另外，在读取记录媒体CD或DVD等存储媒体ex402中记录的位流，解码的再现装置ex403中也能安装所述实施例中表示的图象解码装置。这时，再现的图象信号在监视器ex404上显示。另外，也考虑在有线电视的电缆ex405或卫星/地面波广播的天线ex406上连接的机顶盒ex407内安装图象解码装置，用电视的监视器ex408把它再现的结构。这时，可以不是机顶盒，在电视内可以嵌入图象解码装置。另外，在具有天线ex411的汽车ex412，从卫星ex410或基地电台ex107接收信号，在汽车ex412具有的汽车导航系统ex413等的显示装置再现动画。
[0206]
也能用所述实施例中表示的图象编码装置把图象信号编码，记录到记录媒体中。作为具体例，有在DVD盘ex421上记录图象信号的DVD记录器、在硬盘上记录的盘记录器等记录器ex420。也能在SD卡ex422上记录。记录器ex420如果具有所述实施例中表示的图象解码装置，就能再现DVD盘ex421或SD卡ex422上记录的图象信号，用监视器ex408显示。
[0207]
此外，汽车导航系统ex413的结构考虑到在图20所示的结构中，除去相机部ex203、相机接口部ex303、图象编码部ex312的结构，在计算机ex111或电视(接收机)ex401中也考虑同样的事情。
[0208]
另外，考虑所述移动电话ex114等终端除了具有编码器和解码器双方的收发类型的终端，还只有编码器的发送终端、只有解码器的接收终端等3种安装形式。
[0209]
在上述的任意仪器和系统中都能使用所述实施例中表示的图象编码装置或图象解码装置，据此，能取得所述实施例中说明的效果。
[0210]
另外，本发明并不局限于所述实施例，在不脱离本发明的范围的前提下，能进行各种变形或修正。
[0211]
此外，框图(图8和图12)的各功能块作为集成电路实现。它们可以个别变为1芯片，也可以包含一部分或全部地变为1芯片。(例如存储器以外的功能块变为1芯片)
[0212]
这里为LSI，但是根据集成度的不同，有时也称作IC、系统LSI、超大LSI、超级LSI。
[0213]
另外，集成电路化的手法并不局限于LSI，可以用专用电路或通用处理器实现。在LSI制造后，可以利用可编程的FPGA(Field Programmable GateArray)、能再构成LSI内部的电路单元的连接和设定的可重新配置处理器。
[0214]
如果由于半导体技术的进步或派生的其他技术，出现替代LSI的集成电路化的技术，当然可以使用该技术进行功能块的集成化。生物技术的应用也有可能。
[0215]
另外，各功能块中，存储成为编码或解码的对象的数据的部件不变为1芯片，可以采用其他结构。
产业上的可利用性
[0216]
本发明的图象解码装置以及图象编码装置具有在变更各块的解码顺序时，也能除去块变形，并且能抑制处理速度的下降的效果，能应用于移动电话、DVD(Digital Versatile Disk)装置、个人电脑等。

Claims (20)

1.一种图象解码装置，以块单位把编码的图象解码，其特征在于，包括：
把构成编码的图象的各块依次解码的解码部件；
用于存储由所述解码部件解码的各块的存储部件；
对由所述解码部件解码的各块进行滤波处理的滤波部件；
把由所述解码部件每次把块解码时解码的所述块存储到所述存储部件中，并且使所述滤波部件对所述存储部件中存储的块进行滤波处理的第一执行部件；
对于由所述解码部件每次把块解码时解码的所述块，使所述滤波部件进行滤波处理的第二执行部件；以及
切换基于所述第一执行部件的动作与基于所述第二执行部件的动作的切换控制部件。
2.根据权利要求1所述的图象解码装置，其特征在于：
所述切换控制部件，按照由所述解码部件依次解码的各块的顺序，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
3.根据权利要求2所述的图象解码装置，其特征在于：
所述切换控制部件，在由所述解码部件依次解码的各块的顺序为从位于所述图象的边上的块连续解码的规定顺序时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作；
当由所述解码部件依次解码的各块的顺序不是所述规定顺序时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
4.根据权利要求1所述的图象解码装置，其特征在于：
所述切换控制部件，按照由所述解码部件在单位时间内应该解码的块数，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
5.根据权利要求4所述的图象解码装置，其特征在于：
所述切换控制部件，在由所述解码部件在单位时间内应该解码的块数比给定值多时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作；
当所述块数为所述给定值以下时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
6.根据权利要求2所述的图象解码装置，其特征在于：
所述切换控制部件，在由所述解码部件依次解码的各块的顺序不是从位于所述图象的边上的块连续解码的规定顺序时，根据表示成为所述滤波处理的对象的所述各块的部位的滤波信息，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
7.根据权利要求1所述的图象解码装置，其特征在于：
所述切换控制部件，按照多个所述编码的图象构成的编码信号的种类，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
8.根据权利要求7所述的图象解码装置，其特征在于：
所述切换控制部件，根据所述编码信号的种类，当判断为应该从位于所述图象的边上的块把各块连续解码时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作；
当不能得出所述判断时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
9.根据权利要求1所述的图象解码装置，其特征在于：
所述切换控制部件，取得表示是否应该从位于所述图象的边上的块把各块连续解码的外部信号；
当所述外部信号表示应该连续解码时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作，当所述外部信号表示不应该连续解码时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
10.一种图象编码装置，以块单位把图象编码，其特征在于，包括：
把构成图象的各块依次编码的编码部件；
每次由所述编码部件把块编码时，把编码的块依次解码的解码部件；
用于存储由所述解码部件解码的各块的存储部件；
对由所述解码部件解码的各块进行滤波处理的滤波部件；
把每次由所述解码部件把块解码时解码的所述块存储到所述存储部件，并且对所述存储部件中存储的块，使所述滤波部件执行滤波处理的第一执行部件；
对每次由所述解码部件把块解码时解码的所述块，使所述滤波部件执行滤波处理的第二执行部件；以及
切换基于所述第一执行部件的动作与基于所述第二执行部件的动作的切换控制部件。
11.根据权利要求10所述的图象编码装置，其特征在于：
所述切换控制部件，按照由所述解码部件依次解码的各块的顺序，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
12.根据权利要求11所述的图象编码装置，其特征在于：
所述切换控制部件，在由所述解码部件依次解码的各块的顺序为从位于所述图象的边上的块连续解码的规定顺序时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作；
当由所述解码部件依次解码的各块的顺序不是所述规定顺序时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
13.根据权利要求10所述的图象编码装置，其特征在于：
所述切换控制部件，按照由所述编码部件及所述解码部件在单位时间内应该编码和解码的块数，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
14.根据权利要求11所述的图象编码装置，其特征在于：
所述切换控制部件，在由所述解码部件依次解码的各块的顺序不是从位于所述图象的边上的块连续解码的规定顺序时，根据表示成为所述滤波处理的对象的所述各块的部位的滤波信息，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
15.根据权利要求10所述的图象编码装置，其特征在于：
所述切换控制部件，按照基于所述编码部件的编码的手法，切换基于所述第一执行部件的动作与基于所述第二执行部件的动作。
16.根据权利要求15所述的图象编码装置，其特征在于：
所述切换控制部件，根据所述编码的手法，当判断为应该从位于所述图象的边上的块把各块连续解码时，禁止基于所述第一执行部件的动作，执行基于所述第二执行部件的动作；
当不能得出所述判断时，禁止基于所述第二执行部件的动作，执行基于所述第一执行部件的动作。
17.一种图象解码方法，以块单位把编码的图象解码，其特征在于，包括：
把构成编码的图象的各块依次解码的解码步骤；
把每次由所述解码步骤把块解码时解码的所述块存储在存储媒体中，并且对所述存储部件中存储的块进行滤波处理的第一处理步骤；
对每次由所述解码步骤把块解码时解码的所述块进行滤波处理的第二处理步骤；以及
切换基于所述第一处理步骤的动作与基于所述第二处理步骤的动作的切换控制步骤。
18.一种图象编码方法，以块单位把图象编码，其特征在于，包括：
把构成图象的各块依次编码的编码步骤；
每次由所述编码步骤把块编码时，把编码的块依次解码的解码步骤；
把每次由所述解码步骤把块解码时解码的所述块存储在存储媒体中，并且对所述存储部件中存储的块进行滤波处理的第一处理步骤：
对每次由所述解码步骤把块解码时解码的所述块进行滤波处理的第二处理步骤；以及
切换基于所述第一处理步骤的动作与基于所述第二处理步骤的动作的切换控制步骤。
19.一种集成电路，以块单位把编码的图象解码，其特征在于，包括：
把构成编码的图象的各块依次解码的解码部件；
用于存储由所述解码部件解码的各块的存储部件；
对由所述解码部件解码的各块进行滤波处理的滤波部件；
把由所述解码部件每次把块解码时解码的所述块存储到所述存储部件中，并且使所述滤波部件对所述存储部件中存储的块进行滤波处理的第一执行部件；
对于由所述解码部件每次把块解码时解码的所述块，使所述滤波部件进行滤波处理的第二执行部件；以及
切换基于所述第一执行部件的动作与基于所述第二执行部件的动作的切换控制部件。
20.一种集成电路，以块单位把图象编码，其特征在于，包括：
把构成图象的各块依次编码的编码部件；
每次由所述编码部件把块编码时，把编码的块依次解码的解码部件；
用于存储由所述解码部件解码的各块的存储部件；
对由所述解码部件解码的各块进行滤波处理的滤波部件；
把每次由所述解码部件把块解码时解码的所述块存储到所述存储部件，并且对所述存储部件中存储的块，使所述滤波部件执行滤波处理的第一执行部件；
对每次由所述解码部件把块解码时解码的所述块，使所述滤波部件执行滤波处理的第二执行部件；以及
切换基于所述第一执行部件的动作与基于所述第二执行部件的动作的切换控制部件。
CN200580006054.8A 2004-08-05 2005-08-02 图象解码装置和图象编码装置 Pending CN1922885A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP229932/2004 2004-08-05
JP2004229932 2004-08-05

Publications (1)

Publication Number Publication Date
CN1922885A true CN1922885A (zh) 2007-02-28

Family

ID=35787138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580006054.8A Pending CN1922885A (zh) 2004-08-05 2005-08-02 图象解码装置和图象编码装置

Country Status (5)

Country Link
US (1) US20070183508A1 (zh)
EP (1) EP1777965A1 (zh)
JP (1) JPWO2006013854A1 (zh)
CN (1) CN1922885A (zh)
WO (1) WO2006013854A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364403B (zh) * 2007-08-09 2011-07-20 索尼株式会社 图像处理装置及其控制方法
CN101729895B (zh) * 2008-10-14 2013-01-09 辉达公司 解码流水线中的第二去块器
CN104350747A (zh) * 2012-06-22 2015-02-11 松下电器（美国）知识产权公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN107112019A (zh) * 2014-12-26 2017-08-29 索尼公司 信号处理装置、信号处理方法、以及程序

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1999965A4 (en) * 2006-03-28 2012-10-03 Samsung Electronics Co Ltd METHOD, MEDIUM AND SYSTEM FOR ENCODING AND / OR DECODING AN IMAGE
JP4847222B2 (ja) * 2006-06-12 2011-12-28 日本電信電話株式会社 動画像のフィルタ処理方法，装置，フィルタ処理プログラムおよびその記録媒体
EP2151124A4 (en) * 2007-04-26 2010-12-29 Polycom Inc UNBLOCK FILTER ARRANGEMENTS
TWI330987B (en) * 2007-05-18 2010-09-21 Via Tech Inc Method and apparatus for determining whether adjacent macroblocks are located in the same slice
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
CN101803388B (zh) 2008-05-23 2012-11-21 松下电器产业株式会社 图像解码装置、图像解码方法、图像编码装置、以及图像编码方法
WO2009150808A1 (ja) * 2008-06-10 2009-12-17 パナソニック株式会社 画像復号装置および画像符号化装置
US8325796B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8861586B2 (en) 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
US8724694B2 (en) 2008-10-14 2014-05-13 Nvidia Corporation On-the spot deblocker in a decoding pipeline
US9179166B2 (en) 2008-12-05 2015-11-03 Nvidia Corporation Multi-protocol deblock engine core system and method
US8761538B2 (en) 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
KR101118091B1 (ko) * 2009-06-04 2012-03-09 주식회사 코아로직 비디오 데이터 처리 장치 및 방법
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US9241167B2 (en) * 2012-02-17 2016-01-19 Microsoft Technology Licensing, Llc Metadata assisted video decoding
JP6490896B2 (ja) * 2013-12-17 2019-03-27 株式会社メガチップス 画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0984005A (ja) * 1995-09-14 1997-03-28 Mitsubishi Electric Corp 画像伸張装置
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
CN1298171C (zh) * 2001-09-18 2007-01-31 松下电器产业株式会社 图像的编码方法和图像的译码方法
JP2003304538A (ja) * 2002-04-11 2003-10-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置及びそれらの方法
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7738563B2 (en) * 2004-07-08 2010-06-15 Freescale Semiconductor, Inc. Method and system for performing deblocking filtering

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364403B (zh) * 2007-08-09 2011-07-20 索尼株式会社 图像处理装置及其控制方法
CN101729895B (zh) * 2008-10-14 2013-01-09 辉达公司 解码流水线中的第二去块器
CN104350747A (zh) * 2012-06-22 2015-02-11 松下电器（美国）知识产权公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN104350747B (zh) * 2012-06-22 2017-11-21 威勒斯媒体国际有限公司 图像解码方法、图像解码装置及图像编解码装置
CN107749992A (zh) * 2012-06-22 2018-03-02 威勒斯媒体国际有限公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN107749992B (zh) * 2012-06-22 2020-06-09 威勒斯媒体国际有限公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN107112019A (zh) * 2014-12-26 2017-08-29 索尼公司 信号处理装置、信号处理方法、以及程序
CN107112019B (zh) * 2014-12-26 2021-03-16 索尼公司 信号处理装置、信号处理方法、以及存储有程序的计算机可读存储介质

Also Published As

Publication number Publication date
JPWO2006013854A1 (ja) 2008-05-01
US20070183508A1 (en) 2007-08-09
WO2006013854A1 (ja) 2006-02-09
EP1777965A1 (en) 2007-04-25

Similar Documents

Publication Publication Date Title
CN1922885A (zh) 图象解码装置和图象编码装置
CN1922887A (zh) 图象编码方法和图象解码方法
CN1568622A (zh) 动态图像的编码方法及解码方法
CN1277419C (zh) 运动矢量的计算方法
CN1293762C (zh) 图象编码方法及图象解码方法
CN1666532A (zh) 图像编码方法和图像解码方法
CN1301014C (zh) 可变长度编码方法以及可变长度解码方法
CN1178460C (zh) 图象编码方法和图象编码装置
CN1976455A (zh) 图像编码方法及图像编码装置
CN1522544A (zh) 可变长度编码方法及可变长度解码方法
CN101035289A (zh) 可变长度解码方法及装置
CN1830214A (zh) 编码模式决定装置、图像编码装置、编码模式决定方法和编码模式决定程序
CN1640148A (zh) 动态图像编码方法及动态图像解码方法
CN1515078A (zh) 可变长度编码方法,可变长度译码方法,存储介质,可变长度编码设备,可变长度译码设备,和位流
CN1823368A (zh) 媒体数据显示装置、媒体数据显示方法及媒体数据显示程序
CN1271862C (zh) 动画图象编码方法和动画图象译码方法
CN1926882A (zh) 运动补偿装置
CN1198288A (zh) 图像预测编码装置和方法、图像预测解码装置和方法以及记录媒体
CN1204753C (zh) 基于相邻像素预测的帧内预测方法
CN1685733A (zh) 动态画像的编码方法及解码方法
CN1509575A (zh) 图像编码方法及图像译码方法
CN1739299A (zh) 图像编码方法
CN1946185A (zh) 可变长度编码方法以及可变长度解码方法
CN1849627A (zh) 视觉处理装置、视觉处理方法、视觉处理程序以及半导体装置
CN1494325A (zh) 块组编码结构及基于块组结构的自适应分阶段预测编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication