CN105847814B - 图像编码方法及图像编码装置 - Google Patents

图像编码方法及图像编码装置 Download PDF

Info

Publication number
CN105847814B
CN105847814B CN201610334858.0A CN201610334858A CN105847814B CN 105847814 B CN105847814 B CN 105847814B CN 201610334858 A CN201610334858 A CN 201610334858A CN 105847814 B CN105847814 B CN 105847814B
Authority
CN
China
Prior art keywords
image
boundary
filtering
prediction
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610334858.0A
Other languages
English (en)
Other versions
CN105847814A (zh
Inventor
笹井寿郎
西孝启
柴原阳司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Publication of CN105847814A publication Critical patent/CN105847814A/zh
Application granted granted Critical
Publication of CN105847814B publication Critical patent/CN105847814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像编码方法，按照每个块对输入图像进行编码来生成图像编码信号，该图像编码方法包括：预测步骤，按照将处理对象块进行分割得到的每个区域即每个预测单位进行预测处理，由此生成所述处理对象块的预测图像；边界滤波步骤，在所述预测图像中，在变换单位的边界和所述预测单位的边界不一致时，进行针对所述预测单位的边界之中位于所述变换单位内的边界的滤波处理，所述变换单位是将处理对象块进行分割得到的区域并且是频率变换处理的处理单位；以及差分步骤，通过计算所述滤波处理后的预测图像与所述输入图像的差分，生成所述处理对象块的差分图像。

Description

图像编码方法及图像编码装置
本申请是申请日为2011年4月12日、申请号为201180018525.2、名称为“图像编码方法和图像解码方法”的中国专利申请的分案申请。
技术领域
本发明涉及通过对输入图像与预测图像的差分信号进行频率变换及量化，将动态图像信号进行压缩编码的图像编码方法，以及对这样被压缩编码后的动态图像信号进行解码的图像解码方法。
背景技术
在以被称为H.26x的ITU－T标准或被称为MPEG－x的ISO/IEC标准为代表的现有的图像编码方法中，按照预先确定的单位来分割画面，并按照该分割单位进行编码。例如，在H.264/MPEG－4AVC方式(例如，参照非专利文献1)中，按照被称为宏块的水平16像素、垂直16像素的单位对画面(图片：picture)进行处理。并且，在进行运动补偿的情况下，将宏块分割为块(最小为水平4像素、垂直4像素)，按每个块使用不同的运动矢量进行运动补偿，并对与原信号之间的差分信号进行频率变换，将差分信号集中在低频区域中并进行量化，由此能够将信息压缩。通常，关于变换块的大小，较大者能够有效利用相关性，从这一点讲比较有利。
【现有技术文献】
【非专利文献】
【非专利文献1】ISO/IEC 14496-10“MPEG-4 Part 10Advanced Video Coding”
发明概要
发明要解决的问题
但是，在上述现有的方式中，在宏块内又分割为小块，对该每个小块进行运动补偿。并且，按被分割后的每个小块进行频率变换。具体地讲，例如在将宏块分割为水平4像素、垂直4像素单位的小块的情况下，运动补偿及频率变换均是按照水平4像素、垂直4像素的单位进行的。在这种情况下，只能利用受限制的空间内的相关关系，很难通过频率变换将差分信号集中在低频区域中。因此，通过量化来削减信息的效率下降，其结果是存在导致编码效率的下降的问题。
另一方面，在使频率变换的块尺寸大于运动补偿的块尺寸的情况下，在频率变换的块中包含运动补偿的块的边界。在这种情况下，在运动补偿块的边界处有时产生陡峻的边缘，因而很难通过频率变换将差分信号集中在低频区域中。因此，与前述相同地，通过量化来削减信息的效率下降，其结果是存在导致编码效率的下降的问题。
发明内容
本发明正是为了解决上述问题而提出的，其目的在于，提供一种图像编码方法及图像编码装置，在按照将处理对象块进行分割得到的每个区域即每个预测单位进行预测处理来生成处理对象块的预测图像的情况下，能够提高编码效率。
用于解决问题的手段
为了解决上述问题，本发明的一个方式的图像编码方法，按照每个块对输入图像进行编码来生成图像编码信号，其特征在于，该图像编码方法包括：预测步骤，按照将处理对象块进行分割得到的每个区域即每个预测单位进行预测处理，由此生成所述处理对象块的预测图像；边界滤波步骤，在所述预测图像中，在变换单位的边界和所述预测单位的边界不一致时，进行针对所述预测单位的边界之中位于所述变换单位内的边界的滤波处理，所述变换单位是将处理对象块进行分割得到的区域并且是频率变换处理的处理单位；以及差分步骤，通过计算所述滤波处理后的预测图像与所述输入图像的差分，生成所述处理对象块的差分图像。
这样，即使是预测单位的边界位于变换单位内，也能够对该边界进行滤波处理。由此，能够使在预测单位的边界处产生的像素值的急剧变化变平滑，能够减小输入图像与预测图像的差分图像的值。并且，不需要像现有技术那样减小变换单位来使预测单位的边界不位于变换单位内，因而即使是在预测单位较小的情况下，也能够增大变换单位。其结果是，能够大幅削减编码量，能够提高编码效率。
并且，为了解决上述问题，本发明的一个方式的图像解码方法，对按照每个块将图像进行编码得到的图像编码信号进行解码，该图像解码方法包括：逆变换步骤，按照将处理对象块进行分割得到的每个区域即每个变换单位进行逆频率变换处理，由此生成所述处理对象块的解码差分图像；预测步骤，按照将所述处理对象块进行分割得到的每个区域即每个预测单位进行预测处理，由此生成所述处理对象块的预测图像；比较步骤，将所述变换单位和所述预测单位进行比较，由此检测所述预测单位的边界之中位于所述变换单位内的边界；边界滤波步骤，在所生成的所述预测图像中，进行针对所检测到的所述边界的滤波处理；以及相加步骤，将所述滤波处理后的预测图像和所述解码差分图像相加，由此生成所述处理对象块的解码图像。
由此，能够对利用上述图像编码方法进行编码得到的图像编码信号进行解码。
另外，也可以是，本发明以具有处理部的图像编码装置来实现，该处理部执行上述图像编码方法中包含的各个步骤的处理。并且，也可以是，本发明以具有处理部的图像解码装置来实现，该处理部执行上述图像解码方法中包含的各个步骤的处理。
发明效果
根据本发明，通过对位于变换单位内的预测单位的边界进行滤波处理，能够提高编码效率。
附图说明
图1A是表示本发明的实施方式1的图像编码装置的功能结构的框图。
图1B是表示本发明的实施方式1的图像编码方法的特征性处理流程的流程图。
图2是表示处理对象块的分割方法的一例的图。
图3是用于说明运动补偿的示意图。
图4是表示本发明的实施方式1的边界滤波处理的流程的流程图。
图5是表示与分割方法对应的变换单位的一例的图。
图6是用于说明处理对象边界的图。
图7是用于说明包括处理对象边界的图像的特征的示意图。
图8是用于说明滤波处理的图。
图9A是表示本发明的实施方式2的图像解码装置的功能结构的框图。
图9B是表示本发明的实施方式2的图像解码方法的特征性处理流程的流程图。
图10是表示本发明的实施方式2的边界滤波处理的流程的流程图。
图11是表示本发明的实施方式3的滤波对象像素的确定方法的处理流程的流程图。
图12是用于说明本发明的实施方式4的滤波处理的一例的示意图。
图13是表示本发明的实施方式5的图像编码装置的功能结构的框图。
图14是表示本发明的实施方式5的边界滤波部的动作的流程图。
图15是表示针对分割方法的变换单位的变换尺寸候选的一例的示意图。
图16是表示变换尺寸的确定方法的处理流程的流程图。
图17是表示本发明的实施方式6的图像解码装置的功能结构的框图。
图18是表示本发明的实施方式6的滤波信息解码处理的流程的流程图。
图19是表示滤波信息中包含变换单位的信息时的解码处理的流程的流程图。
图20是表示本发明的实施方式7的图像编码方法的编码序列的结构图。
图21是用于说明滤波信息在编码序列中的记述方法的一例的示意图。
图22是表示本发明的实施方式8的图像编码装置的功能结构的框图。
图23是表示本发明的实施方式9的图像解码装置的功能结构的框图。
图24是实现内容分发服务的内容供给系统的整体结构图。
图25是数字广播用系统的整体结构图。
图26是表示电视机的结构例的模块图。
图27是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
图28是表示作为光盘的记录介质的构造例的图。
图29是表示复用数据的结构的图。
图30是示意地表示各流在复用数据中怎样被复用的图。
图31是更详细地表示在PES包序列中视频流怎样被保存的图。
图32是表示复用数据的TS包和源包的构造的图。
图33是表示PMT的数据结构的图。
图34是表示复用数据信息的内部结构的图。
图35是表示流属性信息的内部结构的图。
图36是表示识别影像数据的步骤的图。
图37是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。
图38是表示切换驱动频率的结构的图。
图39是表示识别影像数据、切换驱动频率的步骤的图。
图40是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图41A是表示将信号处理部的模块共用的结构的一例的图。
图41B是表示将信号处理部的模块共用的结构的另一例的图。
具体实施方式
(实施方式1)
图1A是表示本发明的实施方式1的图像编码装置100的功能结构的框图。图像编码装置100按照每个块对输入图像进行编码，并生成图像编码信号。
如图1A所示，图像编码装置100具有帧存储器101、运动检测部102、参照图片用存储器103、编码控制部104、边界滤波部105、差分部106、变换部107、量化部108、可变长编码部109、逆量化部110、逆变换部111、加法部112。
帧存储器101保存输入图像。并且，参照图片用存储器103保存重建图像。另外，帧存储器101和参照图片用存储器103也可以是与图像编码装置100连接的外部存储器。即，图像编码装置100不一定具有帧存储器101和参照图片用存储器103。并且，图像编码装置100也不需要将帧存储器101和参照图片用存储器103分别设为独立的存储器，例如，也可以是以共用一个存储器的形式来构成帧存储器101和参照图片用存储器103。
运动检测部102针对每个预测单位进行运动估计，由此检测每个预测单位的运动矢量MV。其中，预测单位是指将处理对象块进行分割得到的区域，即预测处理的处理单位。所检测到的运动矢量MV被输出给编码控制部104和可变长编码部109。
编码控制部104根据所检测到的运动矢量，按照每个预测单位进行运动补偿，由此生成处理对象块的运动补偿图像作为预测图像。具体地讲，编码控制部104首先按照每个预测单位，根据该预测单位的运动矢量从参照图片用存储器读出参照图像。并且，编码控制部104将所读出的各个预测单位的参照图像进行合成，由此生成运动补偿图像。
这样，由运动检测部102和编码控制部104生成预测图像。即，运动检测部102和编码控制部104按照每个预测单位进行预测处理，由此生成处理对象块的预测图像。
并且，编码控制部104将所生成的预测图像(运动补偿图像)MC输出给边界滤波部105。另外，编码控制部104生成用于将处理对象块进行分割来得到预测单位的分割方法IC，并输出给可变长编码部109。
边界滤波部105将变换单位和预测单位进行比较，由此检测预测单位的边界之中位于变换单位内的边界。并且，边界滤波部105在所生成的预测图像中进行针对所检测到的边界的滤波处理。
其中，变换单位是指将处理对象块进行分割得到的区域，也是频率变换处理的处理单位。另外，针对边界的滤波处理是指修正边界附近的像素的像素值的处理，以便使与边界垂直的方向上的像素值的变化变平滑。
另外，优选边界滤波部105不进行针对变换单位的边界的滤波处理。即，优选边界滤波部105不对虽然是预测单位的边界、但与变换单位的边界重复的边界进行滤波处理。这是因为通常在生成参照图片时对于变换单位的边界进行解块滤波(deblocking filter)。
滤波处理后的预测图像PR被输出给差分部106和加法部112。
差分部106通过计算滤波处理后的预测图像与输入图像的差分，生成处理对象块的差分图像。具体地讲，差分部106在处理对象块的各个像素中，计算滤波处理后的预测图像与输入图像之间的像素值的差分值，并生成将计算出的差分值作为像素值的差分图像。并且，该差分图像RS被输出给变换部107。
变换部107按照每个变换单位进行差分图像的频率变换处理。频率变换处理例如是以DCT(Discrete Cosine Transform：离散余弦变换)为代表的正交变换处理。通过频率变换处理而生成的变换系数被输出给量化部108。
量化部108对通过频率变换处理而生成的变换系数进行量化，由此生成量化系数QC。所生成的量化系数QC被输出给可变长编码部109和逆量化部110。
可变长编码部109对量化系数QC和运动矢量MV和分割方法IC进行可变长编码，由此生成图像编码信号。
逆量化部110对由量化部108生成的量化系数进行逆量化。并且，逆变换部111对由逆量化部110进行的逆量化的结果进行逆频率变换，由此生成解码差分图像。并且，这样生成的解码差分图像DR被输出给加法部112。
加法部112将解码差分图像和预测图像进行相加，由此生成重建图像。并且，这样生成的重建图像DC被输出给参照图片用存储器103。即，重建图像DC被用作在以后进行图片的编码时的参照图像而保存在参照图片用存储器103中。
下面，说明由如上所述构成的图像编码装置100执行的图像编码方法。
图1B是表示本发明的实施方式1的图像编码方法的特征性处理流程的流程图。
在图1B所示的流程图开始之前，输入图像被保存在帧存储器101中。并且，在参照图片用存储器103中已经存储有已编码图像的解码图像(重建图像)，该重建图像被用作在对处理对象块进行编码时的参照图片。
被保存在帧存储器101中的处理对象块，按照由编码控制部104指示的分割方法被分割为预测单位。下面，将预测单位称为分割区域。
图2是表示本发明的实施方式1的处理对象块的分割方法的一例的图。
在本实施方式中，如图2(a)～(d)所示，处理对象块被分割为8×8像素、4×4像素、8×2像素或者2×8像素的分割区域。即，由编码控制部104指示的分割方法包括图2(a)～(d)所示的4种方法。
在这种状态下，通过按每个分割区域进行预测处理，生成处理对象块的预测图像(步骤S101)。该步骤S101相当于预测步骤。
具体地讲，运动检测部102针对每个分割区域进行运动估计，由此检测各个分割区域的运动矢量(步骤S101a)。更具体地讲，运动检测部102对于各个分割区域的图像，进行针对在参照图片用存储器103中保存的参照图片的运动检测。在运动检测中，在参照图片内的预先确定的范围(例如水平方向±32像素、垂直方向±24像素的长方形的区域的范围)中，检测针对分割区域的图像的评价值例如为最小的参照图片内的位置。运动检测部102根据这样检测到的位置来检测运动矢量。
其中，评价值是用于确定参照图片的值。作为评价值，例如能够采用相互对应的像素间的像素值的绝对值差分和。并且，作为评价值，例如也能够采用绝对值差分和与运动矢量的编码量的加权和等。
运动检测部102按照每种分割方法，针对各个分割区域的图像进行运动检测，并检测该分割区域的运动矢量。另外，运动检测部102确定最佳的分割方法(例如在采用最小值作为最佳值的基准的情况下，针对各个分割区域的评价值之和为最小的分割方法)。并且，运动检测部102将所确定的分割方法输出给编码控制部104，将利用该分割方法进行分割得到的各个分割区域的运动矢量MV输出给可变长编码部109。并且，所确定的分割方法和运动矢量被输出给编码控制部104。
然后，编码控制部104根据由运动检测部102检测到的运动矢量，生成处理对象块的运动补偿图像作为预测图像(步骤S101b)。具体地讲，编码控制部104从参照图片用存储器103中读出针对各个分割区域的参照图像，将所读出的参照图像合成，由此生成预测图像。所生成的预测图像MC被输出给边界滤波部105。
例如，在图3中，在处理对象块300被分割为分割区域301和分割区域302的情况下，编码控制部104从参照图片取得参照图像303和参照图像304，并生成处理对象块300的预测图像(运动补偿图像)。预测图像被按照处理块单位(例如水平16像素、垂直16像素)进行处理。
然后，边界滤波部105在所生成的预测图像中，对分割区域的边界进行滤波处理(步骤S102)。关于该边界滤波部105的动作，将使用图4～图7进行详细说明。
图4是表示本发明的实施方式1的边界滤波处理的流程的流程图。具体地讲，图4是用于说明边界滤波部105根据从编码控制部104取得的分割方法，对预测图像进行滤波处理时的动作的流程图。
边界滤波部105从编码控制部104取得预测图像MC和与该预测图像MC对应的分割方法(步骤S401)。
然后，边界滤波部105判定分割区域的边界是否位于变换单位内(步骤S402)。即，边界滤波部105将变换单位和分割区域进行比较，由此检测分割区域的边界之中位于变换单位内的边界(下面，称为“处理对象边界”)。
具体地讲，边界滤波部105根据与预测图像MC对应的分割方法来取得分割区域的形状信息。并且，边界滤波部105例如按照图5所示，将预先根据分割方法而确定的变换单位和分割区域进行比较，并判定分割区域的边界是否位于变换单位内。
使用图6更详细地说明步骤S402的比较处理。图6(a)是表示处理对象块中的变换单位的边界的图。并且，图6(b)是表示处理对象块中的分割区域的边界的图。并且，图6(c)是表示通过变换单位的边界与分割区域的边界的比较而检测到的处理对象边界的图。在图6(c)中，处理对象边界用阴影线示出。
例如，如图5所示，在分割方法和变换单位是一对一对应的情况下，边界滤波部105将针对分割方法的最小分割宽度和变换单位进行比较，在最小分割宽度小于变换单位的一边的长度的情况下，判定在变换单位内产生参照图像MC的分割区域的边界。
在此，在未检测到处理对象边界的情况下(步骤S402：否)，在处理对象块的预测图像中不进行滤波处理而结束边界滤波处理。
另一方面，在检测到处理对象边界的情况下(步骤S402：是)，边界滤波部105进行针对处理对象边界(例如图6(c)所示的处理对象边界)的滤波处理(步骤S403)。在此，使用图7和图8详细说明步骤S403的针对处理对象边界的滤波处理。
图7是用于说明包括处理对象边界的图像的特征的示意图。
图7(a)表示原图像701和预测图像702和差分图像706。原图像701是在帧存储器101中保存的输入图像中所包含的处理对象块的图像。预测图像702是通过对分割区域703、704、705分别进行运动补偿而得到的图像。差分图像706是表示原图像701与预测图像702的差分的图像。
如预测图像702所示，在按照每个分割区域进行运动补偿的情况下，在各个分割区域703、704、705中图像的特性往往是不同的。因此，在原图像701与预测图像702的差分信号即差分图像706中，能够观察到分割区域的边界附近的像素的值增大这种特征。
图7(b)表示在差分图像706中包括物体边界而且跨越分割区域的部分707的像素值的分布。并且，图7(c)表示包括与部分707相同的物体边界、但是不跨越分割区域的部分708的像素值的分布。在图7(b)和(c)中，横轴表示与分割区域的边界垂直的方向的像素位置，纵轴表示像素值。
在图7(b)中，在中央部分存在起因于分割区域的边界的较大的值的变化，在右侧附近能够观察到起因于物体边界的平缓的值的变化。另一方面，在图7(c)中的右侧附近能够观察到起因于物体边界的平缓的值的变化。
其中，在图7(a)所示的用粗线包围的两个区域709是变换单位的情况下，对如图7(b)所示具有较大的差分值的图像进行变换处理。在以进行图像编码时使用的DCT(Discrete Cosine Transform：离散余弦变换)为代表的正交变换处理中，能够对自然图像中较多包含的、包括空间上的平缓的像素值的空间性变化的图像(如图7(c)所示的包括起因于自然图像的物体边界的像素值的空间性变化的图像)进行高效变换，但是不能对如图7(b)所示的包括表示急剧的像素值的变化的边缘的图像进行高效变换。
因此，在步骤S402，边界滤波部105检测如图7(d)所示的处理对象边界710。并且，边界滤波部105对预测图像702之中的该处理对象边界710附近的图像进行滤波处理。即，边界滤波部105进行针对处理对象边界的滤波处理。
其中，成为进行滤波处理的对象的图像不是差分图像，而是预测图像。这是因为在对输入图像与预测图像的差分图像进行了滤波处理的情况下，很难将通过滤波处理而丢失的成分复原。例如，在进行了将差分图像之中比一定频率高的频率的频率成分置换为零的滤波处理的情况下，即使以非常高的精度对滤波处理后的差分图像进行量化，也很难将通过滤波处理而丢失的高频率的频率成分复原。即，很难将接近输入图像的图像复原。
另一方面，在对预测图像进行了滤波处理的情况下，对滤波处理后的预测图像与输入图像的差分图像进行频率变换而得到的变换系数被量化。因此，在以非常高的精度进行了量化的情况下，能够将接近输入图像的图像复原。
如上所述，此处的滤波处理是以将自然图像中不包含的急剧的边缘变平滑为目的。使用图8说明对与处理对象边界相邻接的像素进行的滤波处理。
图8是用于说明滤波处理的图。在图8中示出了处理对象边界附近的像素的像素值。其中，横轴表示与处理对象边界垂直的方向的像素的位置，纵轴表示像素值。像素p3、像素p2、像素p1、像素p0、像素q0、像素q1、像素q2、像素q3的像素值分别为p3、p2、p1、p0、q0、q1、q2、q3。
图8(a)表示输入图像的像素值，图8(b)表示预测图像的像素值，图8(c)表示针对图8(b)中的处理对象边界的附近的像素实施了滤波处理后的预测图像的像素值。
如图8(a)～(c)所示，滤波处理后的预测图像与滤波处理前的参照图像相比更接近输入图像。其结果是，差分图像中包含的差分值减小，因而能够高效地进行变换处理，能够高效地进行编码。
如以上说明的那样，边界滤波部105按照用于使像素值的变化变平滑的规定的方法，对处理对象边界的附近像素进行滤波处理。并且，边界滤波部105将滤波处理后的预测图像PR输出给差分部106和加法部112。
返回到图1B的说明。
差分部106计算输入图像和预测图像PR的对应像素的像素值的差分值，并生成残差图像RS(步骤S103)。该残差图像RS相当于差分图像。
变换部107对残差图像RS进行频率变换(步骤S104)。变换部107将通过频率变换而得到的变换系数输出给量化部108。
另外，关于作为滤波处理的对象的、处理对象边界的附近像素的确定方法，将在实施方式3中进行详细说明，关于针对附近像素的滤波处理的方法将在实施方式4中进行详细说明。
如上所述，本实施方式1的图像编码装置100在对输入图像进行编码时，将输入图像分割为正方形区域即作为编码处理的处理单位的块(编码单位)。并且，图像编码装置100对于这样分割出的块，按照预先确定的分割方法再分割为多个分割区域。并且，图像编码装置100针对各个分割区域进行运动检测及运动补偿，由此生成处理对象块的预测图像。在此，图像编码装置100检测分割区域的边界之中、与后级的针对差分信号的变换处理的处理单位即变换单位不一致的边界，作为处理对象边界。并且，图像编码装置100在预测图像中对处理对象边界进行滤波处理。
通过进行这种动作，即使是预测单位(分割区域)的边界位于变换单位内，也能够对该边界进行滤波处理。由此，能够使在预测单位的边界处产生的像素值的急剧变化变平滑，能够减小输入图像与预测图像的差分图像的值。并且，不需要像过去那样减小变换单位来使预测单位(分割区域)的边界不位于变换单位内，因而即使是在预测单位较小的情况下，也能够增大变换单位。其结果是，能够大幅削减编码量，能够提高编码效率。
在本实施方式中，仅对预测单位的边界之中位于变换单位内的预测单位的边界进行滤波处理。因此，与对预测单位的边界全部进行滤波处理的情况相比，能够削减处理量。另外，在解码图像或者参照图像中，也能够抑制与针对变换单位的边界进行的编码失真去除滤波(解块滤波)重复地进行滤波处理，能够抑制由于多次滤波处理而造成的画质的恶化(图像的模糊)。
另外，关于分割方法和变换单位，不需要限定为图5所示的分割方法和变换单位。例如，在诸如预测单位的一部分与变换单位的一部分相互重复的情况下，本实施方式的图像编码方法通过对位于变换单位内的预测单位的边界进行滤波处理，能够发挥与上述相同的效果。
另外，在本实施方式中，图像编码装置100针对位于变换单位内的分割区域的边界全部进行滤波处理，但不一定需要全部进行滤波处理。例如，在相互邻接的两个分割区域中，在从运动矢量相同、而且在参照图片内相邻接的区域取得参照图像的情况下，也可以跳过针对这两个分割区域之间的边界的滤波处理。这样，能够削减滤波处理的处理量，抑制预测图像被过剩地实施滤波处理，能够抑制起因于滤波处理的画质的恶化(图像的模糊)。
另外，也可以将表示跳过滤波处理的信息记述为流的头(header)信息。这样，能够根据图像的特征控制滤波器的ON/OFF，能够将解码图像的画质保持为高画质。另外，关于滤波头信息的发送方法，将在其它实施方式中进行详细说明。
另外，在图1B的预测处理(步骤S101)中，也可以进行帧内预测处理来取代运动检测处理(步骤S101a)和运动补偿处理(步骤S101b)。即，在预测处理(步骤S101)中，编码控制部104根据已编码块的重建图像，按照每个预测单位进行帧内预测，由此生成处理对象块的帧内预测图像作为预测图像。在这种情况下，图像编码装置100也可以不具有运动检测部102。
另外，图像编码装置100不一定需要具有图1A所示的全部处理部，例如，也可以是仅具有用于执行图1B所示的图像编码方法中包含的各个步骤的处理的处理部。
(实施方式2)
图9A是表示本发明的实施方式2的图像解码装置900的功能结构的框图。图像解码装置900对将对象图像进行编码得到的图像编码信号进行解码，并生成解码图像。图像解码装置900具有可变长解码部901、逆量化部902、逆变换部903、加法部904、解码控制部905、边界滤波部906、运动补偿部907、参照图片用存储器908。
在本实施方式中，输入编码序列BS是由本发明的实施方式是图像编码装置100生成的图像编码信号。即，输入编码序列BS是按照每个块对输入图像进行编码而得到的图像编码信号。
参照图片用存储器908保存已解码的图像即解码图像。另外，参照图片用存储器908也可以是与图像解码装置900连接的外部存储器。即，图像解码装置900不一定具有参照图片用存储器908。
可变长解码部901通过对输入编码序列BS进行可变长解码，取得量化系数和分割方法和运动矢量。分割方法是用于将处理对象块分割为多个预测单位(分割区域)的方法。所取得的量化系数QC被输出给逆量化部902，分割方法IC被输出给解码控制部905，运动矢量MV被输出给运动补偿部907。
逆量化部902对量化系数进行逆量化。并且，逆变换部903按照每个变换单位对逆量化部902的逆量化结果进行逆频率变换，由此生成解码差分图像。这样生成的解码差分图像DR被输出给加法部904。
解码控制部905取得处理对象块的分割方法IC，并输出给边界滤波部906和运动补偿部907。
运动补偿部907取得用于将处理对象块分割为预测单位的分割方法。另外，运动补偿部907按照根据所取得的分割方法进行分割得到的每个预测单位来取得运动矢量。并且，运动补偿部907根据所取得的运动矢量，按照每个预测单位进行运动补偿，由此生成处理对象块的运动补偿图像作为预测图像。即，运动补偿部907按照将处理对象块进行分割得到的每个区域即每个预测单位进行预测处理，由此生成处理对象块的预测图像。
即，运动补偿部907根据分割方法和运动矢量，从参照图片用存储器908取得参照图像，由此生成处理对象块的运动补偿图像。在此，在处理对象块被分割的情况下，按照每个分割区域(预测单位)来记述运动矢量。因此，运动补偿部907按照该运动矢量对于每个分割区域取得参照图像，并将所取得的参照图像进行合成，由此生成运动补偿图像。
例如，如图3所示，在处理对象块300被分割为分割区域301和分割区域302的情况下，运动补偿部907从参照图片用存储器908取得参照图像303和参照图像304，并生成运动补偿图像作为预测图像MC。并且，运动补偿部907将预测图像MC输出给边界滤波部906。
边界滤波部906将变换单位和预测单位进行比较，由此检测预测单位的边界之中位于变换单位内的边界。并且，边界滤波部906在所生成的预测图像中进行针对所检测到的边界的滤波处理。
另外，关于变换单位，例如可以根据预测单位和变换单位的预先确定的对应关系来确定。并且，例如也可以相对于预测单位而独立地确定变换单位。
加法部904将滤波处理后的预测图像和解码差分图像相加，由此生成处理对象块的解码图像。
下面，说明由如上所述构成的图像解码装置900执行的图像解码方法。
图9B是表示本发明的实施方式2的图像解码方法的特征性处理流程的流程图。
在图9B所示的流程图开始之前，在参照图片用存储器908中已经存储有解码图像。该解码图像被用作对编码序列进行解码时的参照图片。
首先，逆变换部903按照每个变换单位进行逆频率变换处理，由此生成上述处理对象块的解码差分图像(步骤S901)。
然后，运动补偿部907按照将处理对象块进行分割得到的每个区域即每个预测单位进行预测处理，由此生成处理对象块的预测图像(步骤S902)。具体地讲，运动补偿部907首先按照每个预测单位来取得运动矢量(步骤S902a)。然后，运动补偿部907根据所取得的运动矢量，按每个预测单位进行运动补偿，由此生成处理对象块的运动补偿图像作为预测图像(步骤S902b)。
边界滤波部906在所生成的预测图像中进行针对预测单位的边界的滤波处理(步骤S903)。关于该边界滤波部906的动作，使用图10进行说明。
图10是表示本发明的实施方式2的边界滤波处理的流程的流程图。具体地讲，图10是用于说明边界滤波部906根据从解码控制部905取得的分割方法，对预测图像进行滤波处理时的动作的流程图。
边界滤波部906从运动补偿部907取得处理对象块的预测图像，再从解码控制部905取得处理对象块的分割方法(步骤S1001)。
然后，边界滤波部906判定分割区域的边界是否位于变换单位内(步骤S1002)。即，边界滤波部105将变换单位和分割区域进行比较，由此检测分割区域的边界之中位于变换单位内的边界。
具体地讲，边界滤波部906根据分割方法来取得分割区域的形状信息。并且，边界滤波部906例如按照图5所示，将根据分割方法预先确定的变换单位和分割区域进行比较，并判定分割区域的边界是否位于变换单位内。该比较处理与实施方式1的步骤S402相同，因而省略详细说明。
在此，在未检测到处理对象边界的情况下(步骤S1002：否)，在处理对象块的预测图像中不进行滤波处理，结束边界滤波处理。
另一方面，在检测到处理对象边界的情况下(步骤S1002：是)，边界滤波部906进行针对处理对象边界(例如图6(c)所示的处理对象边界)的滤波处理(步骤S1003)。关于该步骤S1003的滤波处理，与实施方式1的步骤S403相同，因而省略详细说明。边界滤波部105将滤波处理后的预测图像PR输出给加法部904。
然后，加法部904将解码差分图像DR和滤波处理后的预测图像PR相加，由此生成处理对象块的解码图像DC(步骤S904)。这样生成的解码图像DC被输出给参照图片用存储器908。即，解码图像DC是输出图像，并且是在以后进行解码时使用的参照图片。
如上所述，本发明的实施方式2的图像解码装置900在对利用本发明的实施方式1的图像编码方法生成的编码序列进行解码时，取得各个处理对象块的分割信息。并且，图像解码装置900按照该分割信息、以及在编码序列中记述的运动矢量或者已经被解码的周围运动矢量，按每个预测单位进行运动补偿，由此生成处理对象块的运动补偿图像作为预测图像。在这样生成的预测图像中，针对位于预测单位内的分割区域的边界进行滤波处理。并且，图像解码装置900将滤波处理后的预测图像和解码差分图像相加，由此生成解码图像。
通过进行这种动作，能够正确地对利用本发明的实施方式1的图像编码方法生成的编码序列进行解码。
另外，关于分割方法和变换单位，不需要限定为图5所示的分割方法和变换单位。在分割区域的边界位于变换单位内的情况下，能够发挥与上述相同的效果。
另外，在本实施方式中，图像解码装置900与实施方式1相同地，针对位于变换单位内的分割区域的边界全部进行滤波处理，但不一定需要全部进行滤波处理。例如，在相互邻接的两个分割区域中，在从运动矢量相同、而且在参照图片内邻接的区域取得参照图像的情况下，也可以跳过针对这两个分割区域之间的边界的滤波处理。这样，能够削减滤波处理的处理量，抑制预测图像被过剩地实施滤波处理，能够抑制起因于滤波处理的画质的恶化(图像的模糊)。
另外，在表示跳过滤波处理的信息被记述在流的头信息中的情况下，通过对该信息进行解码，能够根据图像的特征控制滤波器的ON/OFF，能够将解码图像的画质保持为高画质。另外，关于滤波头信息的发送方法，将在其它实施方式中进行详细说明。
另外，与实施方式1相同地，关于作为滤波处理的对象的、处理对象边界的附近像素的确定方法，将在实施方式3中进行详细说明，关于针对附近像素的滤波处理的方法将在实施方式4中进行详细说明。
另外，图像解码装置900不一定需要具有图9A所示的全部处理部，例如，也可以是仅具有用于执行图9B所示的图像解码方法中包含的各个步骤的处理的处理部。
(实施方式3)
在本发明的实施方式3中，说明针对实施方式1及实施方式2中的处理对象边界的滤波处理。尤其要详细说明作为滤波处理的对象的像素即滤波对象像素的确定方法。
在此，要进行滤波处理的部分是位于变换单位内的预测单位的边界(处理对象边界)。此时，关于处理对象边界的附近的像素、即作为滤波处理的对象的像素即滤波对象像素的确定方法，使用图8所示的在滤波处理方向上排列一列的像素p3、p2、p1、p0、q0、q1、q2、q3进行详细说明。另外，像素p3、p2、p1、p0、q0、q1、q2、q3的像素值分别为p3、p2、p1、p0、q0、q1、q2、q3。
图11是表示本发明的实施方式3的滤波对象像素的确定方法的处理流程的流程图。首先，边界滤波部105或者906(下面代表性地记述边界滤波部105)取得在流的头信息中记述的表示滤波器的ON/OFF的滤波信息。并且，边界滤波部105判定滤波信息是否是表示滤波器OFF的信息(步骤S1101)。
在此，在滤波信息是表示滤波器OFF的信息的情况下(步骤S1101：是)，边界滤波部105确定为处理对象边界的附近的全部像素都不是滤波对象像素(步骤S1102)。另一方面，在滤波信息是表示滤波器ON的信息的情况下(步骤S1101：否)，边界滤波部105将像素p0和像素q0确定为滤波对象像素(步骤S1103)。然后，边界滤波部105将像素p1和像素p0的像素值的差分的绝对值与预先确定的阈值TH进行比较(步骤S1104)。其中，阈值TH例如是根据(式1)赋予的值。
【数式1】
TH＝0.8·(2(QP+Offset)/6+1) (式1)
其中，QP是表示量化精度的量化参数。并且，Offset表示调整参数，被记述在文件头信息中。
另外，确定为在量化参数QP越大时阈值TH越大即可，不一定需要根据(式1)来确定。并且，阈值TH也可以记述在文件头信息中。
在此，在差分的绝对值小于阈值TH的情况下(步骤S1104：是)，边界滤波部105还将像素p1确定为滤波对象像素(步骤S1105)。另一方面，在差分的绝对值为阈值TH以上的情况下(步骤S1104：否)，进入到后面的步骤S1106。
然后，边界滤波部105与步骤S1104相同地将像素q1和像素q0的像素值的差分的绝对值与阈值TH进行比较(步骤S1106)。其中，该阈值TH采用与步骤S1104相同的值。
在此，在差分的绝对值小于阈值TH的情况下(步骤S1106：是)，边界滤波部105还将像素q1确定为滤波对象像素(步骤S1107)，并结束滤波对象像素的确定处理。另一方面，在差分的绝对值为阈值TH以上的情况下(步骤S1106：否)，原样地结束滤波对象像素的确定处理。
另外，作为一例，阈值TH是根据(式1)所示的量化参数QP而变化的值，但也可以是根据与处理对象边界邻接的预测单位间的运动矢量的差分而变化的值。例如，也可以确定为在运动矢量的X成分的差分的绝对值与Y成分的差分的绝对值之和MVD越大时，阈值TH越大。
在运动矢量的差分较大的情况下，认为处理对象边界中的图像特性的变化不同。因此，通过根据运动矢量的差分来改变阈值TH，能够按照图像的特性来确定滤波对象像素。
并且，也可以确定为使阈值TH根据上述MVD和量化参数QP双方而变化。
利用上述的方法确定滤波对象像素。
另外，在此边界滤波部105只对像素p0、p1、q0、q1进行是否确定为滤波对象像素的判定，但还可以对像素p2、像素q2进行判定。在这种情况下，边界滤波部105以邻接像素是滤波对象像素(例如p1)为前提，将差分的绝对值(例如|p2－p1|)与阈值进行比较，由此能够判定是否确定为滤波对象像素。
另外，在步骤S1101，对表示滤波器的ON/OFF的滤波信息被记述在流的头信息中的情况进行了说明，但不一定需要将这种滤波信息记述在头信息中。例如，如果预先按照编码方法、解码方法来确定滤波器的ON/OFF，则也可以不在头信息中记述滤波信息。在这种情况下，能够削减头信息。
另外，例如也可以在头信息中记述表示边界像素数的滤波信息。在这种情况下，在图11中的步骤S1101，边界滤波部105按照滤波信息所表示的像素数来确定滤波对象像素。例如，在像素数为1的情况下，边界滤波部105可以将像素p0、q0确定为滤波对象像素。另外，例如，在像素数为2的情况下，边界滤波部105可以将像素p1、p0、q0、q1确定为滤波对象像素。由此，能够大幅削减边界滤波部105的处理量。
另外，关于头信息的发送方法将在其它实施方式中详细说明。
(实施方式4)
在本发明的实施方式4中，说明针对实施方式1及实施方式2中的处理对象边界的滤波处理。具体地讲，详细说明针对在实施方式3中确定的滤波对象像素的滤波处理。
在此，假设已经按照实施方式3所示的方法确定了滤波对象像素。并且，使用图8所示的在滤波处理方向上排列一列的像素索引p3、p2、p1、p0、q0、q1、q2、q3来说明滤波处理。另外，像素p3、p2、p1、p0、q0、q1、q2、q3的像素值分别为p3、p2、p1、p0、q0、q1、q2、q3。并且，下面说明由实施方式1的图像编码装置100进行滤波处理的情况。
图12是用于说明本发明的实施方式4的滤波处理的一例的示意图。在图12中，处理对象块1200被分割为水平4像素、垂直8像素的分割区域1201和分割区域1202。处理对象块1200是变换单位，分割区域1201和分割区域1202是预测单位。
在这种情况下，编码控制部104从参照图片用存储器103取得参照图像1203和参照图像1204。并且，编码控制部104将参照图像1203和参照图像1204进行合成，并生成处理对象块的预测图像(运动补偿图像)。
例如，当在所有的行中滤波对象像素是像素p0和q0的情况下，边界滤波部105使用与参照图像1203邻接的参照图像区域1205和与参照图像1204邻接的参照图像区域1206进行滤波处理。例如，边界滤波部105将按照像素单位计算所重复的区域(处理对象块1200之中用交叉影线示出的部分)而得到的平均值确定为滤波处理后的像素值。
另外，在此，边界滤波部105通过计算两个参照图像的平均值，确定与处理对象边界邻接的像素的像素值。但是，边界滤波部105也可以进行如(式2)所示的滤波处理。
【数式2】
其中，d0、d1、d2表示按照距处理对象边界的每个距离而确定的滤波系数，取0.5～1之间的值。例如，d0＝0.5，d1＝0.75，d2＝0.875。这些数值可以预先确定为在图像编码方法或者图像解码方法中共同的值，也可以记述在流的头信息中。
在增大滤波器的强度(增强平滑度)的情况下，可以将滤波系数d0、d1、d2设为接近0.5的值。
另外，边界滤波部105也可以按照将(式2)变形得到的(式3)，通过下移(shiftdown)及上移(shift up)来进行滤波处理。例如，关于(式2)中的d0＝0.5，d1＝0.75，d2＝0.875，在(式3)中可以表现为A＝1，B＝1，C＝1，D＝3，E＝2，F＝1，G＝7，H＝3，I＝1。这样，在按照(式3)进行滤波处理的情况下，能够削减头信息的信息量，而且能够削减滤波处理的处理量。
【数式3】
通过上述示出的方法，边界滤波部105能够对所确定的滤波对象像素进行滤波处理。另外，边界滤波部105在从参照图片用存储器103取得参照图像时，通过取得比分割区域(预测单位)大的区域的图像，由此能够减少存储器访问。
另外，边界滤波部105也可以利用与上述不同的方法进行滤波处理。边界滤波部105也可以按照例如(式4)进行滤波处理。其中，像素q1、像素q0、像素p0及像素p1的滤波处理后的像素值分别表示为q’1、q’0、p’0及p’1。
【数式4】
其中，c0,0、c0,1、c0,2、c0,3、c1,0、c1,1、c1,2、c1,3表示滤波系数，例如用(式5)表示。
【数式5】
利用(式5)的滤波系数实现的滤波处理用于使处理对象边界中的像素值的变化变平滑，如同将图8(b)的图像变为图8(c)的图像那样。另外，滤波系数不限于(式5)，也可以设定为例如诸如(式6)那样简单的值。
【数式6】
在这种情况下，作为较强的滤波器(增强平滑度)进行动作。在利用这些方法进行滤波处理的情况下，能够减少运动补偿用的像素数据的取得量，能够减少处理量。
另外，在此对距处理对象边界的距离为2像素为止的像素是滤波对象像素的情况进行了说明，但在距处理对象边界的距离为3像素的像素是滤波对象像素的情况下，通过增加滤波系数，也能够进行与上述相同的滤波处理。
另外，滤波器的类型及滤波器的系数或者表示滤波器的强度的代码也可以记述在头信息中。这样，在变换单位内能够清除自然图像中不存在的急剧的边缘。其结果是，能够使预测图像接近输入图像，因而通过变换处理能够高效地变换差分图像，能够削减编码量。
另外，在此对处理对象边界为水平方向及垂直方向的情况进行了说明，但在处理对象边界为倾斜方向的情况下，也能够进行与上述相同的处理。
另外，关于滤波头信息的发送方法将在其它实施方式中详细说明。
(实施方式5)
下面说明本发明的实施方式5。在本实施方式中，图像编码装置从多个滤波处理的方法中确定最佳的滤波处理的方法，将表示所确定的滤波处理的方法的滤波信息记述在图像编码信号中。
图13是表示本发明的实施方式5的图像编码装置的功能结构的框图。如图13所示，图像编码装置1300具有帧存储器1301、运动检测部1302、参照图片用存储器1303、编码控制部1304、边界滤波部1305、差分部1306、变换部1307、量化部1308、可变长编码部1309、逆量化部1310、逆变换部1311、加法部1312、滤波信息记述部1313。图像编码装置1300在图1所示的图像编码装置100具有的构成要素的基础上，还具有滤波信息记述部1313。
另外，与图像编码装置100共同的处理块中、除边界滤波部1305和可变长编码部1309之外的处理块，进行与实施方式1相同的动作，因而省略说明。
关于边界滤波部1305的动作，使用图14进行说明。图14是用于说明边界滤波部1305根据分割方法对预测图像MC进行滤波处理时的动作的流程图。
边界滤波部1305从编码控制部1304取得预测图像MC和与该预测图像MC对应的分割方法(步骤S1401)。
然后，边界滤波部1305判定分割区域的边界是否位于变换单位内(步骤S4402)。即，边界滤波部1305将变换单位和分割区域进行比较，由此检测分割区域的边界之中位于变换单位内的边界。
具体地讲，边界滤波部1305根据与预测图像MC对应的分割方法来取得分割区域的形状信息。并且，边界滤波部1305例如按照图5所示，将根据分割方法预先确定的变换单位和分割区域进行比较，并判定分割区域的边界(处理对象边界)是否位于变换单位内。另外，步骤S1402的处理与在实施方式1中说明的步骤S402的处理相同，因而省略详细说明。
在此，在未检测到处理对象边界的情况下(步骤S1402：否)，在处理对象块的预测图像中不进行滤波处理而结束边界滤波处理。
另一方面，在检测到处理对象边界的情况下(步骤S1402：是)，边界滤波部1305对于针对处理对象边界(例如图6(c)所示的处理对象边界)的多个方法的滤波处理分别计算评价值(步骤S1403)。在此，边界滤波部1305按照在实施方式4中说明的滤波处理的每种方法来求出评价值。关于滤波处理的方法，例如包括无滤波器、(式2)的滤波处理(系数(0.5，0.7，0.825))、(式2)的滤波处理(系数(0.5，0.5，0.5))、以及(式5)的滤波处理这4种方法。该方法的组合也是一例，例如也可以是多种方法的组合。
作为评价值，能够采用滤波处理后的预测图像和输入图像的差分绝对值和、与滤波方法及滤波系数的编码量的加权和。在这种情况下，评价值越小，评价越高。
并且，评价值也可以是变换单位的变换处理(例如在进行编码时使用的变换或者阿达玛变换(Hadamard Transform)等)后的值之和。由此，还能够适当评价滤波处理的效果。
边界滤波部1305从多种滤波处理的方法中，确定具有评价最高的评价值(此处是值最小的评价值)的滤波处理的方法(方法及系数)。并且，边界滤波部1305将表示所确定的滤波处理的方法的滤波信息输出给滤波信息记述部1313(步骤S1404)。
另外，在所确定的滤波处理的方法是“不进行滤波处理”这种结果的情况下(步骤S1405：否)，边界滤波部1305不进行滤波处理，将运动补偿图像(预测图像PR)原样输出给加法部1312和差分部1306。另一方面，在进行滤波处理的情况下(步骤S1405：是)，边界滤波部1305根据在步骤S1404所确定的方法，对处理对象边界进行滤波处理(步骤S1406)，并将滤波处理后的预测图像PR输出给加法部1312和差分部1306。
滤波信息记述部1313将从边界滤波部1305得到的滤波信息作为滤波头信息输出给可变长编码部1309。另外，关于滤波信息记述部1313的动作以及滤波头信息的记述方法，将在其它实施方式中详细说明。
通过上述的本实施方式的图像编码方法，能够从多个滤波处理的方法中确定滤波效果较高的滤波处理的方法。并且，按照这样确定的滤波处理的方法，能够对位于变换单位内的预测单位的边界进行滤波处理。其结果是，能够使输入图像与预测图像的差分更小，能够削减编码量。
另外，边界滤波部1305对于滤波处理的方法，针对所有组合来计算评价值，但也可以是，在评价值低于预先确定的阈值时，中止以后的评价值的计算，而将此时的滤波处理的方法确定为最佳的滤波处理的方法。这样，能够削减用于确定滤波处理的方法的处理量。
另外，如图13所示，通过在边界滤波部1305和变换部1307之间传递变换单位TU，能够实现考虑了有无边界滤波处理的变换单位的变更。
图15是表示针对分割方法的变换单位的变换尺寸候选的一例的示意图。并且，图16是表示变换尺寸的确定方法的处理流程的流程图。
首先，边界滤波部1305针对图15所示的变换尺寸依次判定分割方法所表示的分割区域(预测单位)的边界是否位于变换单位内(步骤S1601)。例如，在变换尺寸为8×8的情况下，位于水平方向的3条边界被检测为处理对象边界，并判定为分割区域的边界位于变换单位内。
在此，在分割区域的边界位于变换单位内的情况下(步骤S1601：是)，边界滤波部1305按照图14所示的方法来确定成为最佳评价值的滤波处理的方法，并保存该滤波处理的方法和评价值(步骤S1602)。在此，例如在位于变换单位内的分割区域的边界有3条的情况下，边界滤波部1305可以根据3条边界的评价值之和，确定滤波处理的方法。
另一方面，在分割区域的边界不在变换单位内的情况下(步骤S1601：否)，边界滤波部1305计算评价值并进行保存(步骤S1603)。例如，在变换尺寸为2×2的情况下，由于分割区域的边界不在变换单位内，因而计算变换尺寸为2×2时的评价值。在这种情况下，也能够采用与前述相同的评价值的计算方法(绝对差分和，或者按照变换单位将差分值进行变换得到的值之和与变换尺寸信息及滤波信息的编码量的加权和)。
如果计算出了所有变换尺寸的评价值，边界滤波部1305根据评价值确定变换单位的变换尺寸及滤波处理的方法(步骤S1604)。所确定的变换尺寸与滤波信息一起输出给滤波信息记述部1313，并作为流的头信息记述在编码序列中。
根据以上所述，能够确定用于使输入图像与滤波处理后的预测图像的差分更小的、分割方法及变换尺寸及滤波处理的方法。
另外，边界滤波部1305对于变换尺寸是针对所有组合来计算评价值，但也可以是，在低于预先确定的阈值时中止以后的评价值的计算，而将此时的滤波处理的方法确定为最佳的变换尺寸。这样，能够削减处理量。
(实施方式6)
图17是表示本发明的实施方式6的图像解码装置的功能结构的框图。该图像解码装置1700对由实施方式5的图像编码装置1300生成的编码序列进行解码。
图像解码装置1700具有可变长解码部1701、逆量化部1702、逆变换部1703、加法部1704、解码控制部1705、边界滤波部1706、运动补偿部1707、参照图片用存储器1708、滤波信息解码部1709。在此，本实施方式的图像解码装置1700构成为在实施方式2的图像解码装置900中追加了滤波信息解码部1709，除解码控制部1705和边界滤波部1706的动作之外，全部是进行相同的动作。
图18是表示本发明的实施方式6的滤波信息解码处理的流程的流程图。滤波信息解码部1709从可变长解码部1701取得滤波信息的编码序列并进行解码(步骤S1801)。滤波信息解码部1709将通过进行解码而得到的滤波边界确定信息(用于导出滤波边界确定用的阈值的偏置(offset)值或者阈值或者边界像素数)及滤波处理方法及强度或者系数，输出给解码控制部1705(步骤S1802)。另外，解码控制部1705将所得到的滤波边界确定用的信息输出给边界滤波部1706，在滤波处理方法是(式2)所示的方法的情况下，改变来自运动补偿部的图像取得方法。通过进行上述的动作，能够正确地对利用实施方式5的图像编码方法生成的编码序列进行解码。
另外，关于图像编码方法是在编码序列中记述变换单位尺寸(变换尺寸)时的动作的流程如图19所示。
滤波信息解码部1709从可变长解码部1701取得滤波信息及变换单位尺寸的编码序列，并将变换单位尺寸和滤波信息进行解码(步骤S1901)。滤波信息解码部1709将通过进行解码而得到的变换单位尺寸输出给解码控制部1705。解码控制部1705将变换单位尺寸输出给逆变换部1703(步骤S1902)。并且，滤波信息解码部1709将通过进行解码而得到的滤波边界确定信息及滤波处理方法(系数或者强度)输出给解码控制部1705(步骤S1903)。
通过进行这种动作，在变换处理单位被记述在编码序列中的情况下，也能够利用本发明的解码方法正确将编码序列进行解码。
(实施方式7)
在本发明的实施方式7中说明将滤波确定用的信息、表示滤波处理用的变换单位尺寸等的滤波头信息FltStr记述为流的头信息，并进行编码及解码的方法。
图20是本发明的实施方式7的图像编码方法的编码序列BS的结构图。图20(a)表示与由至少1个画面构成的动态图像序列对应的编码信号。该编码信号由全部画面的数据即序列数据SeqData、和对于全部画面的所有数据共同的数据即序列头SeqHdr构成。
滤波头信息FltStr是指包括滤波确定用的信息、滤波处理用的变换单位尺寸等的信息。例如，滤波头信息FltStr包括用于针对变换单位内的处理对象边界将滤波器设为ON/OFF的信息(例如NO_TU_MC_FLT_FLG＝0(OFF)、NO_TU_MC_FLT_FLG＝1(ON))。另外，在滤波器为ON的情况下，滤波头信息FltStr包括在计算滤波确定用的阈值时使用的OFFSET值或者阈值TH或者距处理对象边界的附近像素数作为滤波确定用的信息，还包括滤波处理的方法和滤波系数或者滤波强度的号码作为滤波处理用的信息。并且，也可以是，不需要全部包括这些信息，而是一部分的信息采用按照图像编码方法及图像解码方法而预先确定的值。并且，也可以是，按照图21所示的变换单位尺寸来切换表2101、2102等，并发送代表这些信息的组合的代码号码。另外，在此所说滤波方法的重叠(overlap)型是指根据(式2)所示的计算式进行处理，所说滤波器抽头(tap)型是指根据(式4)所示的计算式进行处理。并且，在图21的示例中，表的切换是采用了变换单位的尺寸，但不限于此。
在序列头中包含滤波头信息FltStr。
图20(b)表示序列数据SeqData的构造。序列数据SeqData包括与1个画面对应的图片的编码信号即图片信号PicStr。
图20(c)表示图片信号PicStr的构造。图片信号PicStr由1个画面的数据即图片数据PicData、和对于1个整体画面共同的数据即图片头PicHdr构成。在图片头PicHdr中包含滤波头信息FltStr。
图20(d)表示图片数据PicData的构造。图片数据PicData包括由多个块单位的集合构成的切片(slice)的编码信号即切片信号SliceStr。
图20(e)表示切片信号SliceStr的构造。切片信号SliceStr由1个切片的数据即切片数据SliceData、和对于1个切片的所有数据共同的数据即切片头SliceHdr构成。通过使在切片头SliceHdr中包含滤波头信息FltStr，能够正确地对按照切片数据SliceData单位接收到的编码信号进行解码。
另外，当在序列数据SeqData中包含多个图片信号PicStr的情况下，也可以是仅在一部分的图片头PicHdr中包含滤波头信息FltStr，以取代在全部的图片头PicHdr中包含滤波头信息FltStr。同样，当在图片数据PicData中包含多个切片信号SliceStr的情况下，也可以是仅在一部分的切片头SliceHdr中包含滤波头信息FltStr，以取代在全部的切片头SliceHdr中包含滤波头信息FltStr。如果滤波头信息FltStr的内容在各个切片中是共同的，则当如图20(e)所示在切片头SliceHdr中没有滤波头信息FltStr的情况下，通过代用其它切片头SliceHdr的滤波头信息FltStr，能够抑制由于滤波头信息FltStr的重复而造成的比特数的增加。
另外，在编码序列BS不是通过连续的比特流、而是通过细碎的数据的单位即包等进行传输的情况下，也可以将头部和头部以外的数据部分开独立传输。在这种情况下，如图20所示头部和数据部不会成为1个比特流。但是，在采用包的情况下，即使传输头部和数据部的顺序不连续，也仅仅是与数据部对应的头部通过与数据部不同的包进行传输的，即使不会成为1个比特流，在概念上也与在图20中说明的比特流的情况相同。
另外，在本实施方式的解码方法中，利用上述的方法进行编码而得到的编码序列BS，按照下面的步骤被进行解码。首先，取得包含于序列头SeqHdr中的滤波头信息FltStr，并保存各个信息。然后，取得包含于图片头PicHdr中的滤波头信息FltStr，并更新各个信息。在此，在没有滤波头信息FltStr的情况下、或者一部分没有的情况下，原样保存包含于序列头SeqHdr中的信息。同样，取得包含于切片头SliceHdr中的滤波头信息FltStr，并更新各个信息。
通过这样进行处理，能够正确地将上述编码序列进行解码。
(实施方式8)
在本发明的实施方式8中说明这样的图像编码方法，即：在帧内预测图像中，在预测单位的边界位于变换单位内的情况下，与运动补偿图像的情况相同地对该边界进行滤波处理。
图22是表示本发明的实施方式8的图像编码装置的功能结构的框图。如图22所示，图像编码装置2200具有差分部2201、变换/量化部2202、逆量化/逆变换部2203、加法部2204、编码失真去除部2205、参照图片用存储器2206、帧内预测部2207、运动补偿预测部2208、运动检测部2209、开关2210、可变长编码部2211、边界滤波部2212。参照图片用存储器2206也可以构成为与图像编码装置2200连接的外部存储器的形式。
输入图像被输入到图像编码装置2200中。在参照图片用存储器2206中已经存储有已编码图像的解码图像(重建图像)，该解码图像被用作在对输入图像进行编码时的参照图片。
另外，差分部2201与差分部106相同地进行动作，变换/量化部2202与变换部107及量化部108相同地进行动作，逆量化/逆变换部2203与逆量化部110及逆变换部111相同地进行动作，加法部2204与加法部112相同地进行动作，参照图片用存储器2206与参照图片用存储器103相同地进行动作，边界滤波部2212与边界滤波部105相同地进行动作，运动检测部2209与运动检测部102相同地进行动作。另外，在生成运动补偿图像作为预测图像MC的情况下，运动补偿预测部2208、帧内预测部2207及开关2210与编码控制部104相同地进行动作。
差分部2201生成利用后述的方法生成的预测图像PR与输入图像的差分图像，将所生成的差分图像输出给变换/量化部2202。变换/量化部2202对所输入的差分图像实施变换、量化处理，由此生成量化信号QD，将所生成的量化信号QD输出给逆量化/逆变换部2203和可变长编码部2211。逆量化/逆变换部2203对所输入的量化信号QD实施逆量化/逆变换处理，并生成解码差分图像，将所生成的解码差分图像输出给加法部2204。加法部2204将从逆量化/逆变换部2203取得的解码差分图像与预测图像PR相加，由此生成重建图像，将所生成的重建图像输出给编码失真去除部2205。
在此，编码失真去除部2205针对变换单位的边界进行用于去除编码失真(解块滤波器)的处理(例如，对变换单位的边界实施(式4)所示的滤波处理等)。另外，编码失真去除部2205也能够省略处理。
关于预测图像MC的生成，大致划分为运动补偿预测和帧内预测，并由开关2210进行切换。
说明通过帧内预测来生成预测图像MC的情况。帧内预测部2207从参照图片用存储器2206取得参照图片。并且，帧内预测部2207根据所取得的参照图片，按照预先确定的方法(例如使邻接的像素沿水平或者垂直方向延伸)进行帧内预测，由此生成处理对象块的帧内预测图像，并输出给开关2210的“a”。在通过开关2210选择了“a”的情况下，帧内预测图像被作为预测图像MC输出给边界滤波部2212。另外，帧内预测的分割方法被输出给边界滤波部2212。在帧内预测的分割区域的边界位于变换单位内的情况下，边界滤波部2212检测该边界作为处理对象边界，并对该边界进行滤波处理。
说明通过运动补偿预测来生成预测图像MC的情况。运动检测部2209根据参照图片检测与包含于处理对象块中的预测单位对应的区域。并且，运动检测部2209将表示所检测到的区域的位置的运动矢量MV输出给运动补偿预测部2208和可变长编码部2211。另外，关于检测区域的方法，能够采用输入图像和参照图片内的检测对象图像的差分和、与运动矢量MV的加权和等，在这种情况下，运动检测部2209从预先确定的参照图片内的搜索区域(例如水平32像素、垂直16像素内)中搜索取最小的值的区域的位置，并输出表示所搜索到的区域的位置的运动矢量MV。
运动补偿预测部2208按照每个预测单位来取出利用所取得的运动矢量MV表示的参照图片内的图像，并作为处理对象块的运动补偿图像输出给开关2210的“b”。
在通过开关2210选择了“b”的情况下，运动补偿图像被作为预测图像MC输出给边界滤波部2212。另外，运动补偿的分割方法被输出给边界滤波部2212。在这种情况下，边界滤波部2212与其它实施方式相同地进行动作。
开关2210按照预先确定的方法来切换作为预测图像MC是输出帧内预测图像还是输出运动补偿图像。即，开关2210选择帧内预测图像和输出运动补偿图像中的一方作为预测图像MC。例如，也可以是，开关2210将输入图像和帧内预测图像的差分和、与输入图像和运动补偿图像的差分和进行比较，将差分和较小的一方的图像作为预测图像MC进行输出。将预测图像PR的生成方法的信息作为预测图像生成信息CI输出给可变长编码部2211。
另外，也可以是，在对编码序列追加由边界滤波部2212确定的滤波信息的情况下，边界滤波部2212将滤波信息与预测图像生成信息CI一起输出给可变长编码部2211。
可变长编码部2211对量化信号QD、运动矢量MV及预测图像生成信息CI实施可变长编码处理，并作为编码序列BS进行输出。
通过采取这种结构，能够在帧内预测中实现在实施方式1中说明的针对位于变换单位内的预测单位的边界的滤波处理。因此，在进行帧内预测时，也能够减小差分信号，削减编码量。
另外，图像编码装置2200具有帧内预测部2207和运动补偿预测部2208，但也可以只具有帧内预测部2207。在这种情况下，将不需要运动检测部2209和开关2210。
(实施方式9)
在本发明的实施方式9中说明这样的图像解码方法，即：当在帧内预测图像中预测单位的边界位于变换单位内的情况下，与运动补偿图像的情况相同地，对该边界进行滤波处理。
图23是表示本发明的实施方式9的图像解码装置的功能结构的框图。如图23所示，图像解码装置2300具有可变长解码部2301、逆量化/逆变换部2302、加法部2303、编码失真去除部2304、参照图片用存储器2305、帧内预测部2306、运动补偿预测部2307、开关2308、边界滤波部2309。参照图片用存储器2305也可以构成为与图像解码装置2300连接的外部存储器的形式。
在此，在参照图片用存储器2305已经存储了已解码的图像，该图像被用作在对输入图像进行解码时的参照图片。
另外，逆量化/逆变换部2302与逆量化部902及逆变换部903相同地进行动作，加法部2303与加法部904相同地进行动作，参照图片用存储器2305与参照图片用存储器908及边界滤波部906相同地进行动作。并且，运动补偿部907作为运动补偿预测部2307和参照图片用存储器2305来表现，解码控制部905作为运动补偿预测部2307和帧内预测部2306和开关2308来表现。
编码序列BS被输入图像解码装置2300。可变长解码部2301对编码序列进行可变长解码，并取得预测图像生成信息CI和运动信息MV和量化信号QD。并且，可变长解码部2301将预测图像生成信息CI输出给开关2308和边界滤波部2309，将运动信息MV输出给运动补偿预测部2307，将量化信号QD输出给逆量化/逆变换部2302。
逆量化/逆变换部2302对量化信号QD实施逆量化/逆变换处理，并生成解码差分图像输出给加法部2303。加法部2303将解码差分图像和后述的预测图像PR相加，并输出给编码失真去除部2304。
编码失真去除部2304对所输入的信号实施编码失真去除处理，并作为解码图像输出给参照图片用存储器2305。
在此，编码失真去除部2304对变换单位的边界进行用于去除编码失真(解块)的处理(例如，对变换处理单位的边界实施(式4)示出的滤波处理等)，也能够省略。
另外，关于预测图像的生成方法，根据预测图像生成信息CI，与实施方式8所示的图像编码装置相同地，根据从参照图片用存储器2305取得的参照图片，由帧内预测部2306或者运动信息MV和运动补偿预测部2307生成。所生成的图像被输出给边界滤波部2309，针对位于变换处理单位内的预测图像边界进行滤波处理。另外，在对于编码序列将滤波信息进行了编码的情况下，由可变长解码部2301进行解码，并与预测图像生成信息CI一起输入边界滤波部2309，实施基于滤波信息的滤波处理。
通过采取这种结构，能够正确地将对于帧内预测实施了在实施方式8中说明的针对变换处理单位内的预测边界的滤波处理而得到的编码序列解码。
(实施方式10)
通过将用来实现上述各实施方式所示的图像编码方法或图像解码方法的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明在上述各实施方式中示出的图像编码方法及图像解码方法的应用例和使用它的系统。
图24是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是，内容供给系统ex100并不限定于图24那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。
在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现。
另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。
此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限定于内容供给系统ex100的例子，如图25所示，在数字广播用系统ex200中也能够装入上述实施方式的至少图像编码装置或图像解码装置的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的图像编码方法编码后的数据。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现。
此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的图像解码装置或图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入图像解码装置。
图26是表示使用在上述各实施方式中说明的图像解码方法及图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图27中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。
在图28中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图26所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
这样，将在上述各实施方式中表示的图像编码方法或图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
(实施方式11)
也可以通过将在上述各实施方式中示出的图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的图像编码方法或装置根据需要而适当切换，来生成影像数据。
这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。
图29是表示复用数据的结构的图。如图29所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的图像编码方法或装置编码。音频流由杜比AC－3、DolbyDigital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图30是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图31更详细地表示在PES包序列中怎样保存视频流。图17的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图17的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图32表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图32下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。
此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图33是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图34所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图34所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图35所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外，在图36中表示本实施方式的图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的图像解码方法进行解码。
这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的图像编码方法或装置、或者图像解码方法或装置用在上述任何设备、系统中。
(实施方式12)
在上述各实施方式中示出的图像编码方法及装置、图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图37中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。
此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式13)
在将通过在上述各实施方式中示出的图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
为了解决该问题，电视机ex300、LSIex500等的图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图38表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲，驱动频率切换部ex803由图37的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图37的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图40所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
图39表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。
这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
(实施方式14)
在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题，采用将用来执行在上述各实施方式中示出的图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图41A的ex900表示该结构例。例如，在上述各实施方式中示出的图像解码方法和依据MPEG4－AVC标准的图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在分割区域的边界的滤波处理方面具有特征，因此可以考虑例如对于分割区域的边界的滤波处理使用专用的解码处理部ex901，对于除此之外的熵编码、解块滤波、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。
此外，用图41B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的图像解码方法和其他的以往标准的图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。
这样，对于在本发明的图像解码方法和以往的标准的图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
产业上的可利用性
根据本发明，能够提高编码效率，能够应用于存储、传输、通信等各种用途。例如，能够应用于电视机、数字视频记录器、汽车导航、便携电话、数字照相机、数字视频摄像机等高清晰度的信息显示设备或摄像设备，且应用价值高。
标号说明
100、1300、2200图像编码装置；101、1301帧存储器；102、1302、2209运动检测部；103、908、1303、1708、2206、2305参照图片用存储器；104、1304编码控制部；105、906、1305、1706、2212、2309边界滤波部；106、1306、2201差分部；107、1307变换部；108、1308量化部；109、1309、2211可变长编码部；110、902、1310、1702逆量化部；111、903、1311、1703逆变换部；112、904、1312、1704、2204、2303加法部；900、1700、2300图像解码装置；901、1701、2301可变长解码部；905、1705解码控制部；907、1707运动补偿部；1313滤波信息记述部；1709滤波信息解码部；2210、2308开关；2202变换/量化部；2203、2302逆量化/逆变换部；2205、2304编码失真去除部；2207、2306帧内预测部；2208、2307运动补偿预测部。

Claims (7)

1.一种图像编码方法，按照每个块对输入图像进行编码来生成图像编码信号，其特征在于，
该图像编码方法包括：
预测步骤，按照将处理对象块进行分割得到的每个区域即每个预测单位进行预测处理，由此生成所述处理对象块的预测图像；
边界滤波步骤，在所述预测图像中，在变换单位的边界和所述预测单位的边界不一致时，进行针对所述预测单位的边界之中位于所述变换单位内的边界的滤波处理，所述变换单位是将所述处理对象块进行分割得到的区域并且是频率变换处理的处理单位；以及
差分步骤，通过计算所述滤波处理后的预测图像与所述输入图像的差分，生成所述处理对象块的差分图像。
2.根据权利要求1所述的图像编码方法，其特征在于，
在所述边界滤波步骤中不进行针对所述变换单位的边界的滤波处理。
3.根据权利要求1所述的图像编码方法，其特征在于，
所述图像编码方法还包括：
滤波信息记述步骤，将表示所述边界滤波步骤中的滤波处理的方法的滤波信息记述在所述图像编码信号中。
4.根据权利要求1～3中任意一项所述的图像编码方法，其特征在于，
所述预测步骤包括：
运动检测步骤，通过按照每个所述预测单位进行运动估计，按每个所述预测单位检测运动矢量；以及
运动补偿步骤，通过根据所检测到的所述运动矢量按每个所述预测单位进行运动补偿，生成所述处理对象块的运动补偿图像作为所述预测图像。
5.根据权利要求1～3中任意一项所述的图像编码方法，其特征在于，
所述预测步骤包括：
帧内预测步骤，通过根据已编码块的重建图像按每个所述预测单位进行帧内预测，生成所述处理对象块的帧内预测图像作为所述预测图像。
6.根据权利要求1～3中任意一项所述的图像编码方法，其特征在于，
所述预测步骤包括：
运动检测步骤，通过按照每个所述预测单位进行运动估计，按每个所述预测单位检测运动矢量；
运动补偿步骤，通过根据所检测到的所述运动矢量按每个所述预测单位进行运动补偿，生成所述处理对象块的运动补偿图像；
帧内预测步骤，通过根据已编码块的重建图像按每个所述预测单位进行帧内预测，生成所述处理对象块的帧内预测图像；以及
编码方法切换步骤，将所述运动补偿图像和所述帧内预测图像进行比较，并选择所述运动补偿图像和所述帧内预测图像中的一方作为所述预测图像。
7.一种图像编码装置，按照每个块对输入图像进行编码来生成图像编码信号，其特征在于，
该图像编码装置包括：
预测机构，按照将处理对象块进行分割得到的每个区域即每个预测单位进行预测处理，由此生成所述处理对象块的预测图像；
边界滤波机构，在所述预测图像中，在变换单位的边界和所述预测单位的边界不一致时，进行针对所述预测单位的边界之中位于所述变换单位内的边界的滤波处理，所述变换单位是将所述处理对象块进行分割得到的区域并且是频率变换处理的处理单位；以及
差分机构，通过计算所述滤波处理后的预测图像与所述输入图像的差分，生成所述处理对象块的差分图像。
CN201610334858.0A 2010-04-13 2011-04-12 图像编码方法及图像编码装置 Active CN105847814B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010092679 2010-04-13
JP2010-092679 2010-04-13
CN201180018525.2A CN102835114B (zh) 2010-04-13 2011-04-12 图像解码方法及图像解码装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180018525.2A Division CN102835114B (zh) 2010-04-13 2011-04-12 图像解码方法及图像解码装置

Publications (2)

Publication Number Publication Date
CN105847814A CN105847814A (zh) 2016-08-10
CN105847814B true CN105847814B (zh) 2019-01-08

Family

ID=44798483

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610334858.0A Active CN105847814B (zh) 2010-04-13 2011-04-12 图像编码方法及图像编码装置
CN201180018525.2A Active CN102835114B (zh) 2010-04-13 2011-04-12 图像解码方法及图像解码装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180018525.2A Active CN102835114B (zh) 2010-04-13 2011-04-12 图像解码方法及图像解码装置

Country Status (4)

Country Link
US (5) US9445129B2 (zh)
JP (3) JP5705833B2 (zh)
CN (2) CN105847814B (zh)
WO (1) WO2011129100A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445129B2 (en) * 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US10708589B2 (en) * 2014-03-19 2020-07-07 Samsung Electronics Co., Ltd. Video encoding and decoding method and apparatus involving boundary filtering
US10681371B2 (en) * 2015-06-07 2020-06-09 Lg Electronics Inc. Method and device for performing deblocking filtering
MY197611A (en) 2015-09-25 2023-06-28 Huawei Tech Co Ltd Apparatus and method for video motion compensation
WO2017052409A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
EP3348058B1 (en) * 2015-09-25 2021-09-15 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
MX2018003688A (es) * 2015-09-25 2018-08-01 Huawei Tech Co Ltd Aparato y metodo para compensacion de movimiento de video.
CN108141603B (zh) 2015-09-25 2020-12-15 华为技术有限公司 视频编解码方法及视频编解码器
EP3244614A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method and a device for decoding an intra predicted block of a picture and corresponding coding method and coding device
EP3244617A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method and device for deblocking filtering a boundary within an intra predicted block
KR102614070B1 (ko) * 2016-08-31 2023-12-14 엘지디스플레이 주식회사 터치 패널 및 터치 패널 일체형 유기 발광 표시 장치
US11057624B2 (en) 2016-10-14 2021-07-06 Industry Academy Cooperation Foundation Of Sejong University Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
CN116405669A (zh) 2016-10-14 2023-07-07 世宗大学校产学协力团 影像解码/编码方法、传送比特流的方法及记录介质
JP6919424B2 (ja) * 2017-08-31 2021-08-18 沖電気工業株式会社 映像符号化装置、映像復号装置、及び映像処理システム
WO2019243498A1 (en) 2018-06-21 2019-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking of video picture boundaries
JP6835177B2 (ja) * 2018-11-30 2021-02-24 株式会社Ｊｖｃケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム
CN112738509B (zh) * 2021-03-30 2021-07-09 浙江华创视讯科技有限公司 视频编码方法、视频解码方法、存储介质以及电子设备
CN116778021B (zh) * 2023-08-22 2023-11-07 北京大学 医学图像生成方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
CN101938657A (zh) * 2010-10-07 2011-01-05 西安电子科技大学 高效视频编码中编码单元自适应划分方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970206B1 (en) * 2000-04-20 2005-11-29 Ati International Srl Method for deinterlacing interlaced video by a graphics processor
WO2003003749A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
US20060204115A1 (en) * 2003-03-03 2006-09-14 Dzevdet Burazerovic Video encoding
CN1240025C (zh) 2003-04-25 2006-02-01 北京工业大学 基于视频内容的视频编码方法
US7630440B2 (en) * 2003-05-28 2009-12-08 Broadcom Corporation Context adaptive binary arithmetic code decoding engine
JP4262014B2 (ja) * 2003-07-31 2009-05-13 キヤノン株式会社 画像撮影装置および画像処理方法
JP4194479B2 (ja) * 2003-11-20 2008-12-10 キヤノン株式会社 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US7873746B2 (en) * 2007-07-27 2011-01-18 Lagavulin Limited User interface for a portable, image-processing transmitter
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
KR20110001990A (ko) * 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
US9445129B2 (en) * 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
KR20110125153A (ko) * 2010-05-12 2011-11-18 에스케이 텔레콤주식회사 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
JP2012169762A (ja) * 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像復号化装置およびその方法とプログラム
US9729879B2 (en) * 2011-03-10 2017-08-08 Hfi Innovation Inc. Method and apparatus of deblocking filter
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
WO2013062194A1 (ko) * 2011-10-24 2013-05-02 (주)인터앱 복원 블록을 생성하는 방법 및 장치
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
CA3206389A1 (en) * 2012-01-17 2013-07-25 Gensquare Llc Method of applying edge offset
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
US10827178B2 (en) * 2014-05-28 2020-11-03 Arris Enterprises Llc Content aware scheduling in a HEVC decoder operating on a multi-core processor platform
US9877043B2 (en) * 2014-06-19 2018-01-23 Vid Scale Inc. Methods and systems for intra block copy coding with block vector derivation
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
CN101938657A (zh) * 2010-10-07 2011-01-05 西安电子科技大学 高效视频编码中编码单元自适应划分方法

Also Published As

Publication number Publication date
JPWO2011129100A1 (ja) 2013-07-11
JP5859692B2 (ja) 2016-02-10
US10554973B2 (en) 2020-02-04
CN102835114B (zh) 2016-06-15
CN102835114A (zh) 2012-12-19
CN105847814A (zh) 2016-08-10
JP2016059074A (ja) 2016-04-21
JP5705833B2 (ja) 2015-04-22
US20130034165A1 (en) 2013-02-07
US9445129B2 (en) 2016-09-13
US10834397B2 (en) 2020-11-10
JP2015128311A (ja) 2015-07-09
US9906791B2 (en) 2018-02-27
US20180124401A1 (en) 2018-05-03
WO2011129100A1 (ja) 2011-10-20
US10237553B2 (en) 2019-03-19
US20190166364A1 (en) 2019-05-30
US20200128244A1 (en) 2020-04-23
US20160309148A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
CN105847814B (zh) 图像编码方法及图像编码装置
CN103444181B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103688539B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置
CN104335582B (zh) 动态图像编解码方法以及动态图像编解码装置
CN106851269B (zh) 图像解码方法及装置、图像编码方法及装置、编解码装置
CN103718558B (zh) 运动图像编码方法及装置、解码方法及装置和编解码装置
CN103563379B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN104025598B (zh) 图像编码方法、图像编码装置
CN107105243B (zh) 图像编码解码装置
CN103703774B (zh) 滤波方法、解码方法、以及编码方法
CN103636209B (zh) 图像解码方法和图像解码装置
CN104160701B (zh) 图像编码方法、图像解码方法、图像编码装置、及图像解码装置
CN103069805B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN107087186B (zh) 图像解码方法及图像解码装置
CN103563373B (zh) 图像编码方法及图像编码装置
CN103621088B (zh) 图像解码方法和图像解码装置
CN103202020B (zh) 动态图像解码方法以及动态图像解码装置
CN103053161B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN105245903B (zh) 图像解码方法和图像解码装置
CN107197247A (zh) 图像编码方法及图像编码装置
CN103119943B (zh) 图像编码方法及图像解码方法
CN103636226A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置
CN104509116A (zh) 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181130

Address after: American New York

Applicant after: Sun patent hosting Co.

Address before: American California

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant