CN105325000B - 图像编码装置、图像编码方法、图像解码装置和图像解码方法 - Google Patents

图像编码装置、图像编码方法、图像解码装置和图像解码方法 Download PDF

Info

Publication number
CN105325000B
CN105325000B CN201480032901.7A CN201480032901A CN105325000B CN 105325000 B CN105325000 B CN 105325000B CN 201480032901 A CN201480032901 A CN 201480032901A CN 105325000 B CN105325000 B CN 105325000B
Authority
CN
China
Prior art keywords
picture
prediction
block
intra
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480032901.7A
Other languages
English (en)
Other versions
CN105325000A (zh
Inventor
峯泽彰
服部亮史
宫泽之
宫泽一之
守屋芳美
关口俊
关口俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN105325000A publication Critical patent/CN105325000A/zh
Application granted granted Critical
Publication of CN105325000B publication Critical patent/CN105325000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

为了解决显示装置中显示处理变得复杂这样的课题，具有：编码单元，其将特定帧的第一场作为仅通过内部预测进行预测的内部图片进行编码，并且，按照所述特定帧的第一场、所述特定帧的第二场、与所述特定帧的第一场相比编码顺序在后且显示顺序在前的图片、与所述特定帧的第一场相比编码顺序和显示顺序均在后的图片的顺序进行编码；以及复用单元，其将表示所述特定帧的第一场是能够从比特流的中途开始解码的图片的信息复用到所述比特流。

Description

图像编码装置、图像编码方法、图像解码装置和图像解码方法
技术领域
本发明涉及高效地对图像进行编码的图像编码装置、图像编码方法、图像解码装置和图像解码方法。
背景技术
例如，在下面的非专利文献1中记载的现有的图像编码装置中，将输入的彩色图像分割为规定大小的最大编码块，并进一步将最大编码块分层分割为更细小的编码块。
并且，通过将该编码块进一步分割为更细小的预测块，实施针对该预测块的画面内预测和/或运动补偿预测，由此生成预测误差。
并且，在编码块内将该预测误差分层地分割为变换块，对各自的变换系数进行熵编码，由此达成较高的压缩率。
在现有的图像编码装置中，为了实现利用时间相关性的高效编码，例如通过图37等的编码构造，从已经编码的图片中搜索与编码对象块之间的相关性较高的块，实现利用将作为其搜索对象的块作为预测值的运动补偿预测的编码。一般情况下，将作为此时的搜索(参照)对象的图片称为参照图片。特别是如图37所示，公知参照在显示顺序中过去和未来双方的图片的运动补偿即双向预测能够实现高精度的预测。但是，通过这样使图片间具有参照关系，将在各图片的解码中产生依赖性，无法实现从编码比特流的中途进行解码的序列的中途再现。
因此，在应用图37等的利用双向运动补偿预测的编码构造的情况下，有时要准备用于即使从编码比特流的中途进行解码也能够正确再现的随机接入点。例如考虑设定在图37的显示顺序中编号8(在解码(编码)顺序中编号1)的灰色(网格)图片是非专利文献1中记载的能够随机接入的图片(非专利文献1记载的Intra Random Access Point(IRAP)图片)的情况。在非专利文献1中，将与IRAP图片相比解码顺序(在解码装置中为解码顺序，与编码装置中的编码顺序意思相同)在后且显示顺序在前的图片(在图37的显示顺序中编号1～7的图片)定义为“leading picture(首位图片)”，将与IRAP图片相比解码顺序和显示顺序均在后的图片(在图37的显示顺序中编号9～16的图片)定义为“trailing picture(末位图片)”。当在图37的显示顺序中编号8(在解码(编码)顺序中编号1)的灰色(网格)图片是一种IRAP图片即CRA(Clean Random Access)图片的情况下，在从CRA图片开始解码时，无法保证能够对首位图片进行正确解码，但是，始终能够对末位图片进行正确解码。为了保证该动作，定义相关的各图片的限制事项。具体而言，在非专利文献1中，禁止利用首位图片作为末位图片的参照图片，还禁止存在与IRAP图片相比显示顺序在后且解码顺序在前的图片。进而，在非专利文献1中定义成首位图片必须在末位图片之前解码(编码)。在这种定义下，通过使用CRA图片，在从编码比特流的中途开始解码时，只要从CRA开始进行解码，则始终能够对与CRA图片相比显示顺序在后的图片进行正确解码，能够实现编码序列的中途再现。并且，在CRA图片的情况下，仅保证能够对末位图片进行正确解码，因此，首位图片能够进行包含CRA图片的双向预测，能够抑制由于插入能够随机接入的图片而导致的编码效率的降低。
现有技术文献
非专利文献
非专利文献1：B.Bross,W.-J.Han,J.-R.Ohm,G.J.Sullivan,Y.-K.Wang andT.Wiegand,“High Efficiency Video Coding(HEVC)text specification draft 10(forFDIS&Consent)”,doc.JCTVC-L1003,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,12th Meeting,2013
发明内容
发明要解决的课题
由于现有的图像编码装置如上所述地构成，因此，对于1帧由1个图片构成的逐行(progressive)视频，能够实现如下的随机接入：即使从编码比特流的中途起，也能够通过从特定图片开始解码，对在显示顺序中从该图片起的图片进行正确解码。另一方面，在1帧由顶场和底场这两个场构成的隔行(interlace)视频的情况下，有时将该场设定成作为编码单位的图片，并且，利用考虑到由两个场构成的帧的场对构造对参照构造进行编码。图33示出使用双向预测的场对构造的一例。在本例中，在想要设定图33的在显示顺序中编号32(在解码(编码)顺序中编号18)的灰色所示的顶场作为能够随机接入的图片的情况下，相当于首位图片的图片的一部分参照在显示顺序中编号32的顶场和在显示顺序中编号33的底场，因此，需要是对在显示顺序中编号32的顶场进行解码后立即对末位图片即在显示顺序中编号33的底场进行解码然后再对首位图片进行解码这样的解码顺序，但是，根据非专利文献1的首位图片必须在末位图片之前解码(编码)这样的定义，无法将在显示顺序中编号32的顶场设定成CRA图片。换言之，当基于非专利文献1的首位图片必须在末位图片之前解码(编码)这样的定义时，在对被设定成CRA图片的在显示顺序中编号32的顶场进行解码后，无法立即对末位图片即在显示顺序中编号33的底场进行解码，因此，无法采取图33的参照构造。因此，在想要在非专利文献1的定义范围内实现使用CRA图片的随机接入的情况下，例如，需要变更成首位图片不参照在显示顺序中编号33的底场的参照构造，并且在首位图片解码后对在显示顺序中编号33的底场进行解码，或者，需要将在显示顺序中编号33的底场定义成CRA图片。因此，在前者的情况下，与图33的参照构造相比，首位图片的参照图片受到限制，因此存在预测效率降低这样的课题。在后者的情况下，在从编码比特流的开头进行再现的情况下从顶场开始再现，在从编码比特流的中途进行再现的情况下从底场进行再现。即，与编码比特流的解码开始位置无关，无法始终从相同场进行解码，在显示装置中，需要应对这种再现，存在显示处理变得复杂这样的课题。
本发明正是为了解决上述课题而完成的，其目的在于，得到一种图像编码装置、图像编码方法、图像解码装置和图像解码方法，在隔行视频的场对编码中，也能够生成与编码比特流的解码开始位置无关而能够始终从相同场正确再现的编码比特流并进行编码。
用于解决课题的手段
在本发明的图像编码装置中，各帧由第一场和第二场这两个场构成，将各场作为图片进行编码，其特征在于，所述图像编码装置具有：编码单元，其将特定帧的第一场作为仅通过内部预测进行预测的内部图片进行编码，并且，按照所述特定帧的第一场、所述特定帧的第二场、与所述特定帧的第一场相比编码顺序在后且显示顺序在前的图片、与所述特定帧的第一场相比编码顺序和显示顺序均在后的图片的顺序进行编码；以及复用单元，其将表示所述特定帧的第一场是能够从比特流的中途开始解码的图片的信息复用到所述比特流。
发明效果
根据本发明，在隔行视频的场对编码中，也生成与编码比特流的解码开始位置无关而能够始终从相同场正确再现的编码比特流，因此，在隔行视频的场对编码中，显示解码图像的显示装置也与编码比特流的解码开始位置无关而始终从相同场起进行显示即可，具有能够简易地进行显示处理的效果。
附图说明
图1是示出本发明的实施方式1的图像编码装置的结构图。
图2是示出本发明的实施方式1的图像编码装置的处理内容(图像编码方法)的流程图。
图3是示出本发明的实施方式1的图像解码装置的结构图。
图4是示出本发明的实施方式1的图像解码装置的处理内容(图像解码方法)的流程图。
图5是示出最大编码块被分层地分割为多个编码块的示例的说明图。
图6的(a)是示出分割后的编码块以及预测块的分布的说明图，(b)是示出通过分层分割来分配编码模式m(Bn)的情况的说明图。
图7是示出编码块Bn内的各预测块Pi n可选择的内部预测模式的一例的说明图。
图8是示出在li n＝mi n＝4的情况下生成预测图像生成块内的像素的预测值时使用的像素的一例的说明图。
图9是示出以预测图像生成块内的左上像素为原点的相对坐标的说明图。
图10是示出量化矩阵的一例的说明图。
图11是示出本发明的实施方式1的在图像编码装置的环路滤波部中使用多个环路滤波处理的情况下的结构例的说明图。
图12是示出本发明的实施方式1的在图像解码装置的环路滤波部中使用多个环路滤波处理的情况下的结构例的说明图。
图13是示出编码比特流的一例的说明图。
图14是示出像素自适应偏移处理的类别分类方法的索引的说明图。
图15是示出16×16像素尺寸的正交变换中的变换系数的编码顺序的说明图。
图16是示出16×16像素尺寸的正交变换中的变换系数的分布的一例的说明图。
图17是示出平均值预测时的滤波处理的滤波器切换区域的说明图。
图18是示出平均值预测时的滤波处理的参照像素配置的说明图。
图19是示出场编码时对内部预测图像的滤波处理的说明图。
图20是示出实施YUV4:2:0格式的信号中的亮度信号以及色差信号的压缩处理时的变换块尺寸的说明图。
图21是示出实施YUV4:2:2格式的信号中的亮度信号以及色差信号的压缩处理时的变换块尺寸的说明图。
图22是示出实施YUV4:4:4格式的信号中的亮度信号以及色差信号的压缩处理时的变换块尺寸的说明图。
图23是示出色差信号的内部预测参数与色差内部预测模式的对应示例的说明图。
图24是示出不使用LM模式的情况下的色差信号的内部预测参数与色差内部预测模式的对应示例的说明图。
图25是示出在YUV4:2:0格式的信号中亮度信号和色差信号使用相同的方向性预测的情况的说明图。
图26是示出在YUV4:2:2格式的信号中亮度信号和色差信号使用相同的方向性预测的情况的说明图。
图27是示出YUV4:4:4格式与YUV4:2:2格式之间的关系的说明图。
图28是示出与在YUV4:4:4格式的信号中亮度信号和色差信号使用相同的方向性预测等效的、YUV4:2:2格式下的方向性预测的示例的说明图。
图29是示出YUV4:2:2格式的信号的方向性预测的预测方向矢量的说明图。
图30是示出方向性预测与角度之间的关系的说明图。
图31是示出在YUV4:2:2格式的信号中亮度信号的内部预测模式索引与色差信号的内部预测模式索引之间的关系的说明图。
图32是示出内部预测模式索引与tanθ之间的关系的说明图。
图33是示出在隔行信号的场对编码中使用双向预测的编码构造的一例的说明图。
图34是示出在隔行信号的场对编码中使用双向预测的编码构造的一例的说明图。
图35是示出在隔行信号的场对编码中使用双向预测的编码构造的一例的说明图。
图36是示出在隔行信号的场对编码中使用双向预测的编码构造的一例的说明图。
图37是示出使用双向预测的编码构造的一例的说明图。
图38是示出Recovery Point SEI Message的语法的说明图。
具体实施方式
实施方式1
图1是示出本发明的实施方式1的图像编码装置的结构图。
被该实施方式1的图像编码装置作为处理对象的视频信号是视频帧由水平/垂直的二维数字采样(像素)串构成的任意的视频信号，包含由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意颜色空间的彩色视频信号、单色图像信号、红外线图像信号等。
各像素的灰度可以是8位，也可以是10位、12位等的灰度。
并且，由于静态图像信号能够被解释为仅由1帧构成的视频信号，因此当然输入信号也可以不是视频信号而是静态图像信号。
在下面的说明中，为了方便起见，在没有特别指定的情况下，设输入的视频信号是如下格式的信号：相对于亮度成分Y，2个色差成分U、V在纵横方向上均被子采样为1/2的YUV4:2:0格式；相对于亮度成分Y，2个色差成分U、V在横向上被子采样为1/2的YUV4:2:2格式；或者2个色差成分U、V与亮度成分Y采样数相同的YUV4:4:4格式。并且，关于由红色(R)、绿色(G)、蓝色(B)这三原色的信号构成的RGB4:4:4格式的信号，将各个信号视为YUV4:4:4格式的信号而进行与YUV4:4:4格式相同的编码。但是，关于RGB4:4:4格式的各信号(RGB)如何与YUV4:4:4格式的各信号(YUV)对应并不作限定(可以任意设定)。并且，在YUV4：4：4格式信号或RGB4：4：4格式信号的情况下，也可以将各信号视为单色图像信号而分别独立地进行单色(YUV4：0：0)编码并生成比特流。这样，能够以各信号并列的方式进行编码处理。
另外，将与视频的各帧对应的处理数据单位称为“图片(picture)”，在该实施方式1中，“图片”作为被依次扫描(图像顺序扫描(progressive scan))的视频帧的信号进行说明。但是，在视频信号为隔行(interlace)信号的情况下，“图片”也可以是作为构成视频帧的单位的场(field)图像信号。
在图1中，片分割部14在输入视频信号作为输入图像时，实施依照由编码控制部2决定的片分割信息将该输入图像分割为一个以上的被称为“片(slice)”的部分图像的处理。片的分割单位能够细小至后文叙述的编码块单位。
每当输入由片分割部14分割得到的片时，块分割部1实施如下处理：将该片分割为由编码控制部2决定的最大尺寸的编码块即最大编码块，并且将该最大编码块分层分割为各个编码块，直至达到由编码控制部2决定出的上限层数。
即，块分割部1实施根据由编码控制部2决定的分割将片分割为各个编码块并输出该编码块的处理。并且，各个编码块被分割为作为预测处理单位的一个或多个预测块。
编码控制部2实施如下处理：决定作为实施编码处理时的处理单位的编码块的最大尺寸，并且决定分层分割最大尺寸的编码块时的上限分层数，由此决定各个编码块的尺寸。
另外，编码控制部2实施从可选择的一个以上的编码模式(表示预测处理单位的预测块的尺寸等不同的一个以上的内部编码模式、预测块的尺寸等不同的一个以上的帧间(Inter)编码模式)中选择适用于从块分割部1输出的编码块的编码模式的处理。作为选择方法的例子，有从可选择的一个以上的编码模式中选择对从块分割部1输出的编码块的编码效率最高的编码模式的方法。
另外，编码控制部2实施如下处理：在编码效率最高的编码模式是内部编码模式的情况下，按照每个预测块决定以该内部编码模式对编码块实施内部预测处理时使用的内部预测参数，其中，该预测块是上述内部编码模式所示的预测处理单位；在编码效率最高的编码模式是帧间编码模式的情况下，按照每个预测块决定以该帧间编码模式对编码块实施帧间预测处理时使用的帧间预测参数，其中，该预测块是上述帧间编码模式所示的预测处理单位。
另外，编码控制部2实施决定提供给变换/量化部7以及逆量化/逆变换部8的预测差分编码参数的处理。预测差分编码参数包含表示编码块中的成为正交变换处理单位的变换块的分割信息的变换块分割信息、规定进行变换系数量化时的量化步阶大小的量化参数等。
在此，图20是示出实施YUV4:2:0格式的信号中的亮度信号以及色差信号的压缩处理(变换处理、量化处理)时的变换块尺寸的说明图。
如图20所示，变换块尺寸由以四叉树(Quadtree)状对编码块进行分层分割的情况来决定。
例如，根据在分割变换块的情况下和不分割变换块的情况下的编码量、考虑到编码误差的评价尺度等，来决定是否分割变换块以使评价值最小，由此能够从编码量和编码误差折衷的观点出发来决定最佳的变换块的分割形状。
关于亮度信号，例如，如图20所示，构成为编码块被分层分割为一个或多个正方形的变换块。
关于色差信号，如图20所示，在输入信号格式为YUV4:2:0信号的情况下，与亮度信号同样地，构成为编码块被分层分割为一个或多个正方形的变换块。
在该情况下，色差信号的变换块尺寸在纵横方向上均为对应的亮度信号的变换块的一半的尺寸。
如图21所示，在输入信号格式为YUV4:2:2信号的情况下，进行与亮度信号同样的四叉树状的分层分割。并且，分割后的块的形状成为垂直方向的像素数为水平方向的像素数的2倍的长方形，因此通过进一步在上下方向上对分割后的块一分为二，成为由2个与YUV4:2:0信号的色差信号相同块尺寸(纵横方向上均为亮度信号的变换块的一半的尺寸)的变换块构成。
另外，如图22所示，在输入信号格式为YUV4:4:4信号的情况下，色差信号的变换块始终进行与亮度信号的变换块同样的分割，构成为相同尺寸的变换块。
亮度信号的变换块的分割信息例如作为表示是否按照每层进行分割的变换块分割标志输出给可变长度编码部13。
切换开关3实施如下处理：如果由编码控制部2决定的编码模式为内部编码模式，则将从块分割部1输出的编码块输出给内部预测部4，如果由编码控制部2决定的编码模式为帧间编码模式，则将从块分割部1输出的编码块输出给运动补偿预测部5。
内部预测部4实施如下处理：在编码控制部2选择内部编码模式作为与从切换开关3输出的编码块对应的编码模式的情况下，参照存储在内部预测用存储器10中的局域解码图像，实施利用由编码控制部2决定的内部预测参数的内部预测处理(帧内预测处理)，生成内部预测图像。另外，内部预测部4构成内部预测单元。
即，内部预测部4对于亮度信号实施使用亮度信号的内部预测参数的内部预测处理(帧内预测处理)，生成亮度信号的预测图像。
另一方面，对于色差信号，在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预测模式的情况下(内部预测参数示出亮度色差公共内部预测模式(DM模式)的情况下)，实施与亮度信号相同的帧内预测，生成色差信号的预测图像。
另外，在色差信号的内部预测参数示出垂直方向预测模式或水平方向预测模式的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。
另外，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式(LM模式)的情况下，使用与预测图像的生成对象块的上侧和左侧相邻的多个像素的亮度信号和色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相关性参数和与作为预测处理对象的色差信号的块对应的亮度信号，生成色差信号的预测图像。
另外，也可以构成为：在输入信号格式为YUV4:4:4信号的情况下，实施上述DM模式或者上述LM模式的处理而不选择其它预测模式。
在YUV4:4:4信号的情况下，亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。
另外，在输入信号格式为YUV4:2:2信号的情况下，如图27所示，如果亮度信号为正方形的块，则色差信号成为与亮度信号相比水平方向的像素数为亮度信号的1/2的长方形的块。因此，如图28所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了使亮度信号和色差信号成为同一方向的预测，在垂直方向预测和水平方向预测以外的方向性预测的情况下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。
具体而言，如图29所示，在设亮度信号的预测方向矢量为VL＝(dxL，dyL)的情况下，色差信号的预测方向矢量为VC＝(dxL/2，dyL)。即，如图30所示，在设预测方向的角度为θ的情况下，设亮度信号的预测方向的角度为θL、色差信号的预测方向的角度为θC，则需要在满足tanθC＝2tanθL的关系的预测方向上进行预测。
为了能够正确实施亮度信号和色差信号进行同一方向的预测的上述DM模式，在输入信号格式为YUV4:2:2信号的情况下，将用于亮度信号的内部预测模式的索引变换为用于预测色差信号的内部预测模式的索引，基于与变换后的索引对应的内部预测模式，实施色差信号的预测处理。具体而言，可以构成为准备索引的变换表，参照该变换表来变换索引，也可以构成为预先准备变换式，依照该变换式来变换索引。
通过这样构成，对方向性预测处理自身不进行变更而仅变换索引，即能够实施与YUV4:2:2信号的格式对应的色差信号的适当预测。
运动补偿预测部5实施如下处理：在由编码控制部2选择帧间编码模式作为与从切换开关3输出的编码块对应的编码模式的情况下，对编码块与存储在运动补偿预测帧存储器12中的1帧以上的局域解码图像进行比较来搜索运动矢量，使用该运动矢量和由编码控制部2决定的将要参照的帧编号等帧间预测参数，实施对该编码块的帧间预测处理(运动补偿预测处理)而生成帧间预测图像。
减法部6实施如下处理：从块分割部1输出的编码块中减去由内部预测部4生成的内部预测图像或者由运动补偿预测部5生成的帧间预测图像，将表示作为其减法结果的差分图像的预测差分信号输出给变换/量化部7。
变换/量化部7实施如下处理：参照由编码控制部2决定的预测差分编码参数中包含的变换块分割信息，以变换块为单位实施针对从减法部6输出的预测差分信号的正交变换处理(例如，DCT(离散余弦变换)或DST(离散正弦变换)、预先对特定的学习序列进行基底设计的KL变换等正交变换处理)来计算变换系数，并且参照该预测差分编码参数中包含的量化参数，对该变换块单位的变换系数进行量化，并对逆量化/逆变换部8以及可变长度编码部13输出作为量化后的变换系数的压缩数据。
变换/量化部7也可以在对变换系数进行量化时，使用按照每个变换系数对根据上述量化参数计算出的量化步阶大小进行缩放(scaling)的量化矩阵，来实施变换系数的量化处理。
在此，图10是示出4×4DCT量化矩阵的一例的说明图。
图中的数字表示各变换系数的量化步阶大小的缩放值。
例如，为了抑制编码比特率，如图10所示，通过对越高域的变换系数越将量化步阶大小缩放为较大的值，由此能够对复杂的图像区域等中产生的高域的变换系数进行抑制，抑制编码量，且能够在不遗漏很大程度地影响主观品质的低域系数信息的状态下进行编码。
如此，在想要控制每个变换系数的量化步阶大小的情况下，使用量化矩阵即可。
另外，量化矩阵能够使用在各正交变换尺寸下按照每个颜色信号和/或每个编码模式(内部编码或帧间编码)独立的矩阵，能够分别选择从已编码量化矩阵、和作为初始值预先在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵中选择，或者使用新的量化矩阵。
因此，变换/量化部7对各正交变换尺寸按照每个颜色信号和/或每个编码模式对要编码的量化矩阵参数设定表示是否使用新的量化矩阵的标志信息。
另外，在使用新的量化矩阵的情况下，对要编码的量化矩阵参数设定图10所示的量化矩阵的各缩放值。
另一方面，在不使用新的量化矩阵的情况下，对要编码的量化矩阵参数，设定从作为初始值在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵或者已编码的量化矩阵中指定要使用的矩阵的索引。但是，当不存在可参照的已编码量化矩阵的情况下，成为仅可选择在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵。
逆量化/逆变换部8实施如下处理：参照由编码控制部2决定的预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对从变换/量化部7输出的压缩数据进行逆量化，并且对逆量化后的压缩数据即变换系数实施逆正交变换处理，计算与从减法部6输出的预测差分信号相当的局域解码预测差分信号。另外，在变换/量化部7使用量化矩阵实施量化处理的情况下，在逆量化处理时同样参照该量化矩阵实施对应的逆量化处理。
加法部9实施如下处理：将由逆量化/逆变换部8计算出的局域解码预测差分信号与由内部预测部4生成的内部预测图像或由运动补偿预测部5生成的帧间预测图像进行相加，计算与从块分割部1输出的编码块相当的局域解码图像。
内部预测用存储器10是存储加法部9计算出的局域解码图像的记录介质。
环路滤波部11实施如下处理：对加法部9计算出的局域解码图像实施规定的滤波处理，输出滤波处理后的局域解码图像。
具体而言，进行降低产生于变换块的边界或预测块的边界的失真的滤波(去块滤波(deblocking filter))处理、以像素为单位自适应地加上偏移(像素自适应偏移)的处理、自适应地切换维纳滤波器(Wiener filter)等线性滤波器进行滤波处理的自适应滤波处理等。
但是，环路滤波部11对上述的去块滤波处理、像素自适应偏移处理以及自适应滤波处理，分别决定是否进行处理，将各处理的有效标志作为头信息输出给可变长度编码部13。另外，在使用多个上述的滤波处理时，依序实施各滤波处理。图11示出使用多个滤波处理的情况下的环路滤波部11的结构例。
一般而言，使用的滤波处理的种类越多，图像质量越高，但另一方面处理负荷也升高。即，图像质量与处理负荷存在折衷的关系。并且，各滤波处理的图像质量改善效果因滤波处理对象图像的特性而异。因此，依照图像编码装置容许的处理负荷和/或编码处理对象图像的特性决定要使用的滤波处理即可。例如，当想要在图11的结构的基础上削减无法处理情形的情况下，可以考虑仅由去块滤波处理和像素自适应偏移处理构成。
在此，在去块滤波处理中，能够将在对块边界施加的滤波强度的选择中使用的各种参数从初始值开始进行变更。在进行变更的情况下，将该参数作为头信息输出给可变长度编码部13。
在像素自适应偏移处理中，最开始先将图像分割为多个块，将对该块单位不进行偏移处理的情况也定义为类别分类方法之一，从预先准备的多个类别分类方法中选择一个类别分类方法。
接着，通过选择出的类别分类方法，对块内的各像素进行类别分类，按照每个类别计算补偿编码失真的偏移值。
最后，进行对局域解码图像的亮度值加上该偏移值的处理，由此改善局域解码图像的图像质量。
因此，在像素自适应偏移处理中，将块分割信息、表示各块的类别分类方法的索引、确定块单位的各类别的偏移值的偏移信息作为头信息输出给可变长度编码部13。
另外，也可以是，在像素自适应偏移处理中，例如，始终分割为最大编码块这样的固定尺寸的块单位，按照每个该块选择类别分类方法，进行每个类别的自适应偏移处理。在该情况下，不需要上述的块分割信息，能够削减与块分割信息所需的编码量相应的编码量，提高编码效率。
在自适应滤波处理中，利用规定的方法对局域解码图像进行类别分类，按照属于各类别的每个区域(局域解码图像)，设计对叠加后的失真进行补偿的滤波器，使用该滤波器，实施该局域解码图像的滤波处理。
然后，将按照每个类别设计的滤波器作为头信息输出给可变长度编码部13。
作为类别分类方法，存在在空间上将图像等间隔地进行划分的简单方法、以块为单位根据图像的局域性特性(分散等)进行分类的方法。
另外，在自适应滤波处理中使用的类别数可以作为公共的值预先设定在图像编码装置以及图像解码装置中，也可以作为要编码的参数。
与前者相比，后者能够自由设定要使用的类别数，因此图像质量改善效果提高，但另一方面，为了对类别数进行编码，会增加相应的编码量。
另外，在进行像素自适应偏移处理以及自适应滤波处理的情况下，需要如图11所示由环路滤波部11参照视频信号，因此需要变更图1的图像编码装置，使得视频信号被输入环路滤波部11。
运动补偿预测帧存储器12是存储环路滤波部11的滤波处理后的局域解码图像的记录介质。
可变长度编码部13对从变换/量化部7输出的压缩数据、编码控制部2的输出信号(最大编码块内的块分割信息、编码模式、预测差分编码参数、内部预测参数或者帧间预测参数)、以及从运动补偿预测部5输出的运动矢量(编码模式为帧间编码模式的情况下)进行可变长度编码来生成编码数据。
另外，如图13所示，可变长度编码部13对序列级头(sequence level header)、图片级头(picture level header)进行编码作为编码比特流的头信息，与图片数据一起生成编码比特流。
其中，图片数据由1个以上的片数据构成，各片数据是将片级头(slice levelheader)和该片内的上述编码数据汇总而得到的。
序列级头是将图像尺寸、颜色信号格式、亮度信号和/或色差信号的信号值的位深度、序列单位下的环路滤波部11的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的有效标志信息、量化矩阵的有效标志信息等序列单位普遍共用的头信息汇总而得到的。
图片级头是将要参照的序列级头的索引和/或运动补偿时的参照图片数、熵编码的概率表初始化标志、量化矩阵参数等以图片为单位设定的头信息汇总而得到的。
片级头是将表示该片位于图片的哪个位置的位置信息、表示参照哪个图片级头的索引、片的编码类型(全内部编码、帧间编码等)、表示是否进行环路滤波部11中的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的标志信息等片单位的参数汇总而得到的。
在此，在输入信号是隔行视频信号且采取图33的编码构造的情况下，通过将图33的在显示顺序中编号32(在解码(编码)顺序中编号18)的灰色所示的顶场设定成能够随机接入的图片，能够生成与编码比特流的解码开始位置无关而能够始终从顶场正确再现的编码比特流。
但是，在非专利文献1中，定义成首位图片必须在末位图片之前解码(编码)，图33的在显示顺序中编号32的灰色所示的顶场无法作为CRA图片等在非专利文献1中定义的能够随机接入的图片(非专利文献1记载的Intra Random Access Point(IRAP)图片)进行编码。在此，基于非专利文献1的规格，下述说明将图33的在显示顺序中编号32的灰色所示的顶场设定成能够随机接入的图片的方法。
具体而言，将在显示顺序中编号32的灰色所示的顶场作为non-IRAP图片(非IRAP图片)，仅使用内部预测进行编码。然后，作为例如非专利文献1记载的SupplementalEnhancement Information(SEI)等编码比特流的补充信息，对图33的在显示顺序中编号32的灰色所示的顶场是随机接入点这样的信息进行编码。例如，根据作为非专利文献1记载的SEI之一的具有图38所示的语法的Recovery Point SEI Message，将图33的在显示顺序中编号32的灰色所示的顶场设定成恢复点(recovery_poc_cnt)的图片。并且，此时，与针对末位图片的限制同样，与该恢复点图片(在显示顺序中编号32的灰色所示的顶场)相比编码(解码)顺序和显示顺序均在后的图片，禁止预测参照与该恢复点图片相比显示顺序在前的图片。但是，由于该恢复点图片是non-IRAP图片，因此，在非专利文献1的规格基准下，作为首位图片与末位图片的关系，不存在首位图片必须在末位图片之前解码(编码)这样的制约。因此，能够在对在显示顺序中编号32的顶场进行编码后立即对相当于末位图片的在显示顺序中编号33的底场进行编码，然后，对与相当于首位图片的该恢复点图片相比编码(解码)顺序在后且显示顺序在前的图片进行编码。即，能够按照图33所示的编码(解码)顺序进行编码。这样，不使用CRA图片、首位图片、末位图片，就能够在图33的使用双向预测的场对构造中，生成与编码比特流的解码开始位置无关而能够始终从顶场正确再现的编码比特流。
在此，叙述Recovery Point SEI Message的具体的使用方法的一例。首先，赋予Recovery Point SEI Message作为希望能够随机接入的图片(图33的在显示顺序中编号32的灰色所示的顶场)的上位头。即，在上述希望能够随机接入的图片的接入单元内赋予上述SEI。在此，接入单元是非专利文献1中定义的包含一个图片的编码数据的数据接入单位。进而，关于赋予的Recovery Point SEI Message，图38所示的各语法的值如下所述。
■recovery_poc_cnt＝0
■exact_match_flag＝1
■broken_link_flag＝0
在此，recovery_poc_cnt为0表示赋予本SEI的接入单元的图片是恢复点图片，exact_match_flag为1表示在从恢复点进行解码的情况下能够对与恢复点图片相比显示顺序在后的图片进行正确解码。由此，表示赋予本SEI的接入单元的图片是能够随机接入的恢复点图片。并且，在从位于恢复点之前的IRAP图片开始解码的情况下，能够对与恢复点图片相比编码(解码)顺序在后的图片进行正确解码，因此，设broken_link_flag为0(本标志为1的情况表示无法正确解码，本标志为0的情况表示没有明确说明将要发生什么)。
进而，作为缓存管理信息，在各IRAP图片的接入单元内赋予Buffering periodSEI message作为SEI的情况下，与IRAP图片的接入单元同样，在恢复点图片的接入单元内也赋予Buffering period SEI message。这样，能够进行与IRAP图片的情况相同的缓存管理。
另外，在图38的说明中，对将随机接入点这样的信息设定成SEI的情况进行了说明，但是，如果能够利用上位头进行设定，则不限于此。具体而言，存在如下方法：作为属于IRAP图片的新的图片类型，定义仅仅连续的一个末位图片能够在首位图片之前编码的特别的IRAP图片，利用该新的IRAP图片对在显示顺序中编号32的顶场进行编码；以及新定义能够在首位图片之前编码的特别的末位图片，将在显示顺序中编号32的顶场作为CRA图片等IRAP图片进行编码，并且将在显示顺序中编号33的底场作为上述定义的特别的末位图片进行编码。并且，进行上述编码处理、上述复用处理的是图1中的可变长度编码部13具有的编码单元和复用单元。
作为定义特别的IRAP图片和/或特别的末位图片的具体例之一，存在如下方法：针对非专利文献1中示出各图片的定义的NAL单元，分别定义表示是上述特别的图片的新的NAL单元。
另外，在图33的例子中，成为从顶场进行解码的结构，但是，在构成为始终从底场先编码的情况下，通过如上所述构成编码比特流，也能够生成与编码比特流的解码开始位置无关而能够始终从底场正确再现的编码比特流。
并且，关于使用双向预测的场对构造，图33只不过是一例，能够构成各种参照构造，与其结构无关，如上所述，将能够随机接入的图片作为非IRAP图片进行编码，针对哪个图片是能够随机接入的图片的信息，使用SEI等补充信息进行编码比特流生成，由此，能够生成与编码比特流的解码开始位置无关而能够始终从顶场正确再现的编码比特流。例如，关于图34的在显示顺序中编号32的灰色所示的顶场，也能够同样设定成随机接入点。并且，在图35、图36所示的根据非专利文献1记载的暂时ID构成在显示时间方向上具有可扩展性的参照构造的情况下，通过与上述同样构成编码比特流，在暂时ID＝0的层中，也能够生成与编码比特流的解码开始位置无关而能够始终从底场正确再现的编码比特流。
并且，上述说明了对表示能够随机接入的信息进行编码的例子，但是，也可以不对这样的信息进行编码，而是在场对构造中，在顶场为IRAP图片的情况下，以仅仅成对的底场能够在首位图片之前编码(解码)的方式变更首位图片和末位图片的制约，通过始终将能够随机接入的图片作为IRAP图片进行编码来实现随机接入。
在图1的例子中，假定作为图像编码装置的结构要素的块分割部1、编码控制部2、切换开关3、内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、内部预测用存储器10、环路滤波部11、运动补偿预测帧存储器12、可变长度编码部13以及片分割部14分别由专用的硬件(例如，安装有CPU的半导体集成电路、单片机等)构成，但也可以是，在由计算机构成图像编码装置的情况下，在计算机的存储器中存储记述有块分割部1、编码控制部2、切换开关3、内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波部11、可变长度编码部13以及片分割部14的处理内容的程序，该计算机的CPU执行存储在该存储器中的程序。
图2是示出本发明的实施方式1的图像编码装置的处理内容(图像编码方法)的流程图。
图3是示出本发明的实施方式1的图像解码装置的结构图。
在图3中，可变长度解码部31在输入由图1的图像编码装置生成的编码比特流时，由该比特流解码出序列级头、图片级头、片级头等各头信息，并且，由该编码比特流可变长度解码出表示被分层分割而成的各个编码块的分割状況的块分割信息。此时，在头信息包含表示将YUV4：4：4格式信号和/或RGB4：4：4格式信号的各信号视为单色图像信号而分别独立地进行单色(YUV4：0：0)编码的信息的情况下，能够针对各颜色信号的编码比特流分别独立地进行解码处理。
此时，在包含非专利文献1记载的Supplemental Enhancement Information(SEI)等补充信息的情况下，在该补充信息包含特定图片是随机接入点这样的信息的情况下，通过由该图片进行解码，能够进行随机接入。例如，在图33的编码构造中，在非专利文献1的规格基准下，将在显示顺序中编号32的灰色所示的顶场作为非IRAP图片进行解码的情况下，该在显示顺序中编号32的灰色所示的顶场不会被识别为能够随机接入的图片，但是，根据作为非专利文献1记载的SEI之一的具有图38所示的语法的Recovery Point SEI Message，当示出在显示顺序中编号32的灰色所示的顶场被设定成恢复点(recovery_poc_cnt)的情况下，该在显示顺序中编号32的灰色所示的顶场能够被识别为能够随机接入的图片。进而，由于该在显示顺序中编号32的灰色所示的顶场是非IRAP图片，因此，在非专利文献1的规格基准下，首位图片和末位图片的制约即首位图片必须在末位图片之前解码(编码)这样的处理也不是必须的，能够对以如下方式生成的编码比特流进行正确解码：对在显示顺序中编号32的顶场进行解码后立即对末位图片即在显示顺序中编号33的底场进行解码，然后对首位图片进行解码，即使从上述顶场开始解码，也能够对在显示顺序中该顶场之后的场进行正确解码并再现。
作为Recovery Point SEI Message的具体一例可举出如下情况：在希望能够随机接入的图片(在显示顺序中编号32的灰色所示的顶场)的接入单元内对上述SEI进行解码，如下所述对图38所示的各语法的值进行解码。
■recovery_poc_cnt＝0
■exact_match_flag＝1
■broken_link_flag＝0
上述语法表示的意思如在图像编码装置的说明中所述，通过将该SEI作为补充信息进行解码，判明对象图片能够随机接入。
并且，在不是作为SEI等补充信息，而是将容许这种编码构造的特别的图片定义成新的NAL单元的类型等进行编码的图像编码装置的情况下，与对应的图像解码装置同样，也构成为将特别的图片定义成新的NAL单元的类型等，通过对上述信息进行解码，能够识别出编号32的顶场能够随机接入。
另外，在图33的例子中，成为从顶场进行解码的结构，但是，在构成为始终从底场先编码的编码比特流中，根据非IRAP图片和SEI等补充信息，在从补充信息所示的特定底场进行解码时，也能够对在显示顺序中从本特定底场起的场进行正确解码。
并且，在图35、图36所示的、根据非专利文献1记载的暂时ID构成在显示时间方向上具有可扩展性的参照构造的情况下，也与上述同样，在编号32的灰色所示的顶场为非IRAP图片，根据SEI等补充信息对编号32的灰色所示的顶场是随机接入点这样的信息进行解码的情况下，在暂时ID＝0的层中，与编码比特流的解码开始位置无关，能够始终从底场正确解码。
并且，上述说明了对表示能够随机接入的信息进行编码的例子，但是，也可以不对这样的信息进行编码，而是在场对构造中，在顶场为IRAP图片的情况下，在以仅仅成对的底场能够在首位图片之前解码的方式变更首位图片和末位图片的制约后的图像编码装置的情况下，对应的图像解码装置制定相同的制约，由此，实现始终使用IRAP图片的随机接入。
在上述头信息中包含的量化矩阵的有效标志信息示为“有效”的情况下，可变长度解码部31对量化矩阵参数进行可变长度解码，确定量化矩阵。具体而言，在按照各正交变换尺寸下的每个颜色信号和/或每个编码模式，量化矩阵参数作为初始值示出在图像编码装置和图像解码装置中预先准备的公共的量化矩阵或已解码的量化矩阵(并非新的量化矩阵)的情况下，参照指定是上述矩阵中的哪个量化矩阵的索引信息来确定量化矩阵，在量化矩阵参数示出使用新的量化矩阵的情况下，将量化矩阵参数中包含的量化矩阵确定为要使用的量化矩阵。
另外，可变长度解码部31实施如下处理：参照各头信息确定片分割状态，并且确定各片的片数据中包含的最大编码块，参照块分割信息确定作为对最大编码块进行分层分割来进行解码处理的单位的编码块，对与各个编码块相关的压缩数据、编码模式、内部预测参数(编码模式为内部编码模式的情况下)、帧间预测参数(编码模式为帧间编码模式的情况下)、运动矢量(编码模式为帧间编码模式的情况下)以及预测差分编码参数进行可变长度解码。
逆量化/逆变换部32实施如下处理：参照由可变长度解码部31进行可变长度解码而得到的预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对由可变长度解码部31可变长度解码出的压缩数据进行逆量化，并且对逆量化后的压缩数据即变换系数实施逆正交变换处理，计算与图1的从逆量化/逆变换部8输出的局域解码预测差分信号相同的解码预测差分信号。
在此，根据上述变换块分割信息确定编码块中的变换块的分割状态。例如，在YUV4:2:0格式的信号的情况下，如图20所示，变换块尺寸由以四叉树状对编码块进行分层分割的情况来决定。
关于亮度信号，例如，如图20所示，构成为编码块被分层分割为一个或多个正方形的变换块。
关于色差信号，如图20所示，在输入信号格式为YUV4:2:0信号的情况下，与亮度信号同样地，构成为编码块被分层分割为一个或多个正方形的变换块。在该情况下，色差信号的变换块尺寸在纵横方向上均为对应的亮度信号的变换块的一半尺寸。
如图21所示，在输入信号格式为YUV4:2:2信号的情况下，进行与亮度信号同样的四叉树状的分层分割。并且，分割后的块的形状成为垂直方向的像素数为水平方向的像素数的2倍的长方形，因此通过进一步将分割后的块在上下方向上一分为二，成为由2个与YUV4:2:0信号的色差信号相同块尺寸(纵横方向上均为亮度信号的变换块的一半尺寸)的变换块构成。
如图22所示，在输入信号格式为YUV4:4:4信号的情况下，色差信号的变换块始终进行与亮度信号的变换块同样的分割，构成为相同尺寸的变换块。
另外，在由可变长度解码部31可变长度解码出的各头信息示出在该片中使用量化矩阵实施逆量化处理的情况下，使用量化矩阵进行逆量化处理。
具体而言，使用根据各头信息确定的量化矩阵进行逆量化处理。
切换开关33实施如下处理：如果由可变长度解码部31可变长度解码出的编码模式为内部编码模式，则向内部预测部34输出由可变长度解码部31可变长度解码出的内部预测参数，如果由可变长度解码部31可变长度解码出的编码模式为帧间编码模式，则向运动补偿部35输出由可变长度解码部31可变长度解码出的帧间预测参数以及运动矢量。
内部预测部34实施如下处理：在根据由可变长度解码部31可变长度解码出的块分割信息确定的编码块的编码模式为内部编码模式的情况下，参照存储在内部预测用存储器37中的解码图像，实施使用从切换开关33输出的内部预测参数的内部预测处理(帧内预测处理)，生成内部预测图像。另外，内部预测部34构成内部预测单元。
即，内部预测部34对于亮度信号，实施针对亮度信号的上述使用内部预测参数的内部预测处理(帧内预测处理)，生成亮度信号的预测图像。
另一方面，对于色差信号，在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预测模式的情况下(内部预测参数示出亮度色差公共内部预测模式(DM模式)的情况下)，实施与亮度信号同样的帧内预测，生成色差信号的预测图像。
另外，在色差信号的内部预测参数示出垂直方向预测模式或者水平方向预测模式的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。
另外，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式(LM模式)的情况下，使用与预测图像的生成对象块的上侧及左侧相邻的多个像素的亮度信号以及色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相关性参数以及与作为预测处理对象的色差信号的块对应的亮度信号，生成色差信号的预测图像。
另外，在图像编码装置构成为在输入信号格式为YUV4:4:4信号时实施上述DM模式或者上述LM模式的处理而不选择其它预测模式的情况下，图像解码装置也为同样的结构，使得能够对由该图像编码装置生成的比特流进行解码。
YUV4:4:4信号的亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。
另外，在输入信号格式为YUV4:2:2信号情况下，如图27所示，如果亮度信号为正方形的块，则色差信号成为与亮度信号相比水平方向的像素数为亮度信号的1/2的长方形的块。因此，如图28所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了亮度信号和色差信号为同一方向的预测，在进行垂直方向预测和水平方向预测以外的方向性预测的情况下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。
具体而言，如图29所示，在将亮度信号的预测方向矢量设为VL＝(dxL，dyL)的情况下，色差信号的预测方向矢量为VC＝(dxL/2，dyL)。即，如图30所示，在设预测方向的角度为θ的情况下，设亮度信号的预测方向的角度为θL、色差信号的预测方向的角度为θC，则需要在满足tanθC＝2tanθL的关系的预测方向上进行预测。
因此，为了能够正确实施亮度信号和色差信号进行同一方向的预测的上述DM模式，在输入信号格式为YUV4:2:2信号的情况下，将用于亮度信号的内部预测模式的索引变换为用于预测色差信号的内部预测模式的索引，实施基于与变换后的索引对应的内部预测模式的色差信号预测处理。具体而言，可以构成为通过准备索引的变换表并参照该变换表来变换索引，也可以构成为预先准备变换式，依照该变换式来变换索引。
通过这样构成，不变更方向性预测处理自身而仅变换索引，即能够实施与YUV4:2:2信号的格式对应的色差信号的适当预测。
运动补偿部35实施如下处理：在由可变长度解码部31可变长度解码出的块分割信息确定的编码块的编码模式为帧间编码模式的情况下，参照存储在运动补偿预测帧存储器39中的解码图像，实施使用帧间预测参数和从切换开关33输出的运动矢量的帧间预测处理(运动补偿预测处理)，生成帧间预测图像。
加法部36实施如下处理：对由逆量化/逆变换部32计算出的解码预测差分信号、与由内部预测部34生成的内部预测图像或由运动补偿部35生成的帧间预测图像进行相加，计算与图1的从加法部9输出的局域解码图像相同的解码图像。
内部预测用存储器37是将由加法部36计算出的解码图像作为在内部预测处理中使用的参照图像进行存储的记录介质。
环路滤波部38实施如下处理：对加法部36计算出的解码图像实施规定的滤波处理，输出滤波处理后的解码图像。
具体而言，进行降低产生于变换块的边界和/或预测块的边界的失真的滤波(去块滤波)处理、以像素为单位自适应地加上偏移(像素自适应偏移)的处理、自适应地切换维纳滤波器等线性滤波器进行滤波处理的自适应滤波处理等。
但是，环路滤波部38分别针对上述的去块滤波处理、像素自适应偏移处理以及自适应滤波处理，参照由可变长度解码部31可变长度解码出的各头信息，确定是否在该片中进行以上处理。
此时，在进行2个以上的滤波处理的情况下，例如，如果图像编码装置的环路滤波部11如图11所示构成，则环路滤波部38如图12所示构成。当然，如果图像编码装置的环路滤波部11由去块滤波处理和像素自适应偏移处理构成，则环路滤波部38也由去块滤波处理和像素自适应偏移处理构成。
在此，在去块滤波处理中，参照由可变长度解码部31可变长度解码出的头信息，当存在将在对块边界施加的滤波强度的选择中使用的各种参数从初始值开始进行变更的信息的情况下，根据该变更信息，实施去块滤波处理。在不存在变更信息的情况下，依照预定的方法实施去块滤波处理。
在像素自适应偏移处理中，根据由可变长度解码部31可变长度解码出的像素自适应偏移处理的块分割信息对解码图像进行分割，以该块为单位，参照由可变长度解码部31可变长度解码出的示出块单位的类别分类方法的索引，在该索引并非是示出“不进行偏移处理”的索引的情况下，以块为单位依照上述索引所示的类别分类方法对块内的各像素进行类别分类。
另外，作为类别分类方法的候选，预先准备与环路滤波部11的像素自适应偏移处理的类别分类方法的候选相同的候选。
然后，参照确定块单位的各类别的偏移值的偏移信息，执行对解码图像的亮度值加上偏移的处理。
但是，在构成为在图像编码装置的环路滤波部11的像素自适应偏移处理中不对块分割信息进行编码而始终将图像分割为固定尺寸的块单位(例如，最大编码块单位)，按照每个该块选择类别分类方法，进行每个类别的自适应偏移处理的情况下，在环路滤波部38中，同样按照与环路滤波部11相同的固定尺寸的块单位，实施像素自适应偏移处理。
在自适应滤波处理中，使用由可变长度解码部31可变长度解码出的每个类别的滤波器，利用与图1的图像编码装置相同的方法进行类别分类后，根据该类别分类信息进行滤波处理。
运动补偿预测帧存储器39是将环路滤波部38的滤波处理后的解码图像作为在帧间预测处理(运动补偿预测处理)中使用的参照图像进行存储的记录介质。
在图3的例子中，假定作为图像解码装置的结构要素的可变长度解码部31、逆量化/逆变换部32、切换开关33、内部预测部34、运动补偿部35、加法部36、内部预测用存储器37、环路滤波部38以及运动补偿预测帧存储器39分别由专用的硬件(例如，安装有CPU的半导体集成电路、单片机等)构成，但也可以是，在图像解码装置由计算机构成的情况下，在计算机的存储器中存储记述有可变长度解码部31、逆量化/逆变换部32、切换开关33、内部预测部34、运动补偿部35、加法部36以及环路滤波部38的处理内容的程序，该计算机的CPU执行存储在该存储器中的程序。
图4是示出本发明的实施方式1的图像解码装置的处理内容(图像解码方法)的流程图。
接着对动作进行说明。
在该实施方式1中，对图像编码装置和对从该图像编码装置输出的编码比特流进行解码的图像解码装置进行说明，其中，该图像编码装置将视频的各帧图像作为输入图像，实施根据已编码的临近像素进行的内部预测或者临近帧间的运动补偿预测，对得到的预测差分信号进行基于正交变换/量化的压缩处理，然后，进行可变长度编码生成编码比特流。
图1的图像编码装置的特征在于：自适应地面对视频信号的空间/时间方向上的局域性变化，将视频信号分割为多种尺寸的块，进行帧内/帧间自适应编码。
一般而言，视频信号具有在空间/时间上信号的复杂度呈局域性变化的特性。从空间上观察，在某个视频帧上，例如，存在如下的图案共存情况：既有天空或墙壁等在比较广阔的图像区域中具有均匀的信号特性的图案，也有人物或者包含细小纹理的绘画等在较小的图像区域内有复杂的纹理图案的图案。
从时间上观察同样，天空或墙壁在时间方向上的局域性的图案变化较小，运动的人物或物体的轮廓在时间上进行刚体/非刚体的运动，因而时间上的变化较大。
编码处理是通过时间/空间性预测来生成信号功率和/或熵较小的预测差分信号，削减整体的编码量的处理，但是如果能将预测中使用的参数尽可能均等地应用于较大的图像信号区域，则能够减小该参数的编码量。
另一方面，对于时间/空间上变化较大的图像信号模式，如果将相同的预测参数应用于较大的图像区域，则预测的错误增加，因此预测差分信号的编码量增加。
因此，希望在时间/空间上变化较大的区域中减小应用相同的预测参数进行预测处理的块尺寸，增加预测中使用的参数的数据量来降低预测差分信号的功率/熵。
在该实施方式1中，为了进行这种适合于视频信号的一般性性质的编码，采取最开始从规定的最大块尺寸开始预测处理等，分层对视频信号的区域进行分割，按照分割后的每个区域自适应地进行预测处理、该预测差分的编码处理的结构。
先对图1的图像编码装置的处理内容进行说明。
首先，编码控制部2决定成为编码对象的图片(当前图片)的片分割状态，并且决定图片的编码中使用的最大编码块的尺寸和分层分割最大编码块的层数上限(图2的步骤ST1)。
作为最大编码块的尺寸的决定方法，例如，可以根据输入图像的视频信号的分辨率，对全部图片定为相同尺寸，也可以将输入图像的视频信号的局域性的运动复杂度的不同作为参数进行定量化，对运动激烈的图片定为较小的尺寸，对运动较少的图片定为较大的尺寸。
作为分割层数的上限的决定方法，例如，存在根据输入图像的视频信号的分辨率，对全部图片定为相同层数的方法，以及在输入图像的视频信号的运动激烈的情况下，设定成加深层数使得能够检测出更细微的运动，在运动较少的情况下，设定成抑制层数的方法等。
另外，上述的最大编码块的尺寸和分层分割最大编码块的层数的上限可以编码为序列级头等，也可以不进行编码而在图像解码装置侧也进行相同的决定处理。
前者虽然增加头信息的编码量，但在图像解码装置侧无需进行上述决定处理，因此在能够抑制图像解码装置的处理负荷的基础上，能够在图像编码装置侧找出最佳值进行发送。
后者相反，在图像解码装置侧进行上述决定处理，因此虽然图像解码装置的处理负荷增加，但头信息的编码量不增加。
另外，在将上述最大编码块的尺寸和分层分割最大编码块的层数的上限编码为序列级头等的情况下，也可以替代分割层数的上限而对编码块的最小块尺寸进行编码。即，将最大编码块分割至分割层数的上限时的块尺寸为编码块的最小块尺寸，因此在图像解码装置侧，能够根据最大编码块的尺寸和编码块的最小块尺寸确定分割层数的上限。
并且，编码控制部2从可利用的一个以上的编码模式中选择与将被分层分割的各个编码块对应的编码模式(步骤ST2)。
即，编码控制部2按照每个最大编码块尺寸的图像区域，分层地分割为具有编码块尺寸的编码块，直至之前决定的分割层数的上限为止，并决定针对各个编码块的编码模式。
编码模式有一个或多个内部编码模式(总称为“INTRA”)、1个或多个帧间编码模式(总称为“INTER”)，编码控制部2从该图片可利用的全部编码模式中或者从其子集中选择与各个编码块对应的编码模式。
但是，由后述的块分割部1分层分割的各个编码块进一步被分割为作为进行预测处理的单位的一个或多个预测块，预测块的分割状态也作为信息包含在编码模式中。即，编码模式是识别具有怎样的预测块分割的内部或帧间编码模式的索引。
编码控制部2进行的编码模式的选择方法是公知技术，因此省略详细的说明，例如有：使用可利用的任意的编码模式，实施对编码块的编码处理来验证编码效率，从可利用的多个编码模式中选择编码效率最佳的编码模式的方法等。
另外，编码控制部2按照各个编码块的每一个，决定压缩差分图像时使用的量化参数以及变换块分割状态，并且决定实施预测处理时使用的预测参数(内部预测参数或者帧间预测参数)。
但是，在编码块进一步被分割为进行预测处理的预测块单位的情况下，按照每个预测块选择预测参数(内部预测参数或者帧间预测参数)。
在此，图20是示出实施4:2:0格式信号的亮度信号以及色差信号的压缩处理(变换处理、量化处理)时的变换块尺寸的说明图。
如图20所示，变换块尺寸由以四叉树状将编码块分层分割的情况来决定。
例如，能够基于考虑到在分割变换块的情况和不分割变换块的情况下的编码量、编码误差的评价尺度等，决定是否将变换块以使得评价值最小的方式进行分割，由此从编码量和编码误差的折衷观点出发决定最佳的变换块的分割形状。
关于亮度信号，如图20所示，例如构成为编码块被分层分割为一个或多个正方形的变换块。
关于色差信号，如图20所示，构成为在输入信号格式为YUV4:2:0信号的情况下，与亮度信号同样地，编码块被分层分割为一个或多个正方形的变换块。在该情况下，色差信号的变换块尺寸在纵横方向上均为对应的亮度信号的变换块的尺寸的一半。
如图21所示，在输入信号格式为YUV4:2:2信号的情况下，进行与亮度信号同样的四叉树状的分层分割。并且，分割后的块的形状成为垂直方向的像素数为水平方向的像素数的2倍的长方形，因此通过对分割后的块进一步在上下方向上一分为二，成为由2个与YUV4:2:0信号的色差信号相同块尺寸(纵横方向上均为亮度信号的变换块的尺寸的一半)的变换块构成。
另外，如图22所示，构成为在输入信号格式为YUV4:4:4信号的情况下，色差信号的变换块始终进行与亮度信号的变换块同样的分割而成为相同尺寸的变换块。
编码控制部2对变换/量化部7、逆量化/逆变换部8以及可变长度编码部13输出包含示出编码块中的变换块的分割信息的变换块分割信息和/或规定进行变换系数的量化时的量化步阶大小的量化参数等的预测差分编码参数。
另外，编码控制部2根据需要对内部预测部4输出内部预测参数。
另外，编码控制部2根据需要对运动补偿预测部5输出帧间预测参数。
片分割部14当输入视频信号作为输入图像时，依照由编码控制部2决定的片分割信息将该输入图像分割为一个以上的部分图像即片(slice)。
每当从片分割部14输入各片时，块分割部1将该片分割为由编码控制部2决定的最大编码块尺寸，并进一步将分割后的最大编码块分层分割为由编码控制部2决定的编码块，并输出该编码块。
在此，图5是示出最大编码块被分层分割为多个编码块的示例的说明图。
在图5中，最大编码块是记为“第0层”的亮度成分具有尺寸(L0，M0)的编码块。
以最大编码块为出发点，按四叉树构造分层进行分割，直至另外规定的预定深度为止，由此得到编码块。
在深度n时，编码块为尺寸(Ln，Mn)的图像区域。
其中，Ln和Mn相同也可，不同亦可，但在图5中示出的是Ln＝Mn的情形。
下面，将由编码控制部2决定的编码块尺寸定义为编码块的亮度成分的尺寸(Ln，Mn)。
因为进行四叉树分割，因此(Ln+1，Mn+1)＝(Ln/2，Mn/2)始终成立。
另外，对于RGB信号等全部颜色成分具有相同采样数的彩色视频信号(4:4:4格式)，全部颜色成分的尺寸均为(Ln，Mn)，而在处理4:2:0格式的情况下，对应的色差成分的编码块尺寸为(Ln/2，Mn/2)。
下面，设第n层的编码块表示为Bn，编码块Bn可选择的编码模式表示为m(Bn)。
在由多个颜色成分构成的彩色视频信号的情况下，编码模式m(Bn)可以构成为按照每个颜色成分使用分别独立的模式，也可以构成为对全部颜色成分使用公共模式。下面，在没有特别指出的情况下，设为编码模式是指对YUV信号的4:2:0格式的编码块的亮度成分的编码模式来进行说明。
如图5所示，编码块Bn被块分割部1分割为表示预测处理单位的一个或多个预测块。
下面，将属于编码块Bn的预测块表述为Pi n(i为第n层的预测块编号)。图5示出P0 0和P1 0的例子。
编码块Bn内的预测块的分割如何进行，作为信息包含在编码模式m(Bn)中。
预测块Pi n全部依照编码模式m(Bn)进行预测处理，但能够按照每个预测块Pi n选择单独的预测参数(内部预测参数或者帧间预测参数)。
编码控制部2例如对最大编码块生成图6所示的块分割状态，确定编码块。
图6的(a)中虚线围起的矩形表示各编码块，各编码块内的斜线覆盖的块表示各预测块的分割状态。
图6的(b)利用四叉树图示出对图6的(a)的示例通过分层分割而分配编码模式m(Bn)的状态。图6的(b)中用方框围起的节点是被分配有编码模式m(Bn)的节点(编码块)。
该四叉树图的信息与编码模式m(Bn)一起被从编码控制部2输出到可变长度编码部13而复用于比特流。
切换开关3在由编码控制部2决定的编码模式m(Bn)为内部编码模式的情况下(m(Bn)∈INTRA的情况下)，对内部预测部4输出从块分割部1输出的编码块Bn。
另一方面，在由编码控制部2决定的编码模式m(Bn)为帧间编码模式的情况下(m(Bn)∈INTER的情况下)，对运动补偿预测部5输出从块分割部1输出的编码块Bn。
内部预测部4在由编码控制部2决定的编码模式m(Bn)为内部编码模式(m(Bn)∈INTRA的情况下)并从切换开关3接收到编码块Bn时(步骤ST3)，参照存储在内部预测用存储器10中的局域解码图像，使用由编码控制部2决定的内部预测参数，实施针对该编码块Bn内的各预测块Pi n的内部预测处理，生成内部预测图像PINTRAi n(步骤ST4)。
具体内容如后所述，但在执行生成内部预测图像的处理时，使用与预测对象块相邻的已编码像素，因此必须始终以变换块为单位进行生成内部预测图像的处理，以使预测处理中使用的与预测对象块相邻的像素已编码完成。
因此，编码模式为内部编码模式的编码块的可选择变换块的块尺寸被限制为预测块的尺寸以下，此外，在变换块小于预测块的情况下(预测块内存在多个变换块的情况下)，以变换块为单位，实施使用由该预测块决定的内部预测参数的内部预测处理而生成内部预测图像的处理。
另外，图像解码装置需要生成与内部预测图像PINTRAi n完全相同的内部预测图像，因此在内部预测图像PINTRAi n的生成中使用的内部预测参数被从编码控制部2输出到可变长度编码部13而复用于比特流。
内部预测部4的处理内容的具体内容如后所述。
运动补偿预测部5在由编码控制部2决定的编码模式m(Bn)为帧间编码模式(m(Bn)∈INTER的情况下)并从切换开关3接收到编码块Bn时(步骤ST3)，对该编码块Bn内的各预测块Pi n与存储在运动补偿预测帧存储器12中的滤波处理后的局域解码图像进行比较来搜索运动矢量，使用该运动矢量和由编码控制部2决定的帧间预测参数，实施针对该编码块Bn内的各预测块Pi n的帧间预测处理，生成帧间预测图像PINTERi n(步骤ST5)。
另外，图像解码装置需要生成与帧间预测图像PINTERi n完全相同的帧间预测图像，因此在帧间预测图像PINTERi n的生成中使用的帧间预测参数被从编码控制部2输出到可变长度编码部13而复用于比特流。
并且，由运动补偿预测部5搜索出的运动矢量也被输出到可变长度编码部13而复用于比特流。
减法部6在从块分割部1接收到编码块Bn时，从该编码块Bn内的预测块Pi n中减去由内部预测部4生成的内部预测图像PINTRAi n或者由运动补偿预测部5生成的帧间预测图像PINTERi n中的任意一方，对变换/量化部7输出示出作为其相减结果的差分图像的预测差分信号ei n(步骤ST6)。
变换/量化部7在从减法部6接收到预测差分信号ei n时，参照由编码控制部2决定的预测差分编码参数中包含的变换块分割信息，以变换块为单位实施对该预测差分信号ei n的正交变换处理(例如，DCT(离散余弦变换)或DST(离散正弦变换)、预先对特定的学习序列实施基底设计的KL变换等正交变换处理)，计算变换系数。
并且，变换/量化部7参照该预测差分编码参数中包含的量化参数，对该变换块单位的变换系数进行量化，将作为量化后的变换系数的压缩数据输出给逆量化/逆变换部8以及可变长度编码部13(步骤ST7)。此时，也可以使用按照每个变换系数对根据上述量化参数计算出的量化步阶大小进行缩放的量化矩阵来实施量化处理。
量化矩阵能够在各正交变换尺寸下使用按照每个颜色信号和/或每个编码模式(内部编码或帧间编码)独立的矩阵，能够分别从作为初始值在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵和已编码的量化矩阵中选择、或者使用新的量化矩阵。
因此，变换/量化部7针对各正交变换尺寸按照每个颜色信号和/或每个编码模式，对要进行编码的量化矩阵参数设定表示是否使用新的量化矩阵的标志信息。
并且，在使用新的量化矩阵的情况下，对要进行编码的量化矩阵参数设定图10所示的量化矩阵的各个缩放值。
另一方面，在不使用新的量化矩阵的情况下，对要进行编码的量化矩阵参数设定从作为初始值在图像编码装置以及图像解码装置中预先准备的公共的量化矩阵或已编码的量化矩阵中指定要使用的矩阵的索引。但是，在不存在可参照的已编码量化矩阵的情况下，仅可选择图像编码装置以及图像解码装置中预先准备的公共的量化矩阵。
然后，变换/量化部7将已设定的量化矩阵参数输出给可变长度编码部13。
逆量化/逆变换部8在从变换/量化部7接收到压缩数据时，参照由编码控制部2决定的预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对该压缩数据进行逆量化。
当变换/量化部7在量化处理中使用量化矩阵的情况下，在逆量化处理时也参照该量化矩阵，实施对应的逆量化处理。
并且，逆量化/逆变换部8以变换块为单位实施针对逆量化后的压缩数据即变换系数的逆正交变换处理(例如，逆DCT、逆DST、逆KL变换等)，计算与从减法部6输出的预测差分信号ei n相当的局域解码预测差分信号并输出给加法部9(步骤ST8)。
加法部9在从逆量化/逆变换部8接收到局域解码预测差分信号时，将该局域解码预测差分信号与由内部预测部4生成的内部预测图像PINTRAi n或由运动补偿预测部5生成的帧间预测图像PINTERi n中的任意一方进行相加，由此计算局域解码图像(步骤ST9)。
另外，加法部9对环路滤波部11输出该局域解码图像，并且将该局域解码图像存储于内部预测用存储器10中。
该局域解码图像成为下面的内部预测处理时使用的已编码图像信号。
环路滤波部11在从加法部9接收到局域解码图像时，对该局域解码图像实施规定的滤波处理，将滤波处理后的局域解码图像存储于运动补偿预测帧存储器12(步骤ST10)。
具体而言，执行降低产生于变换块的边界和/或预测块的边界的失真的滤波(去块滤波)处理、以像素为单位自适应地加上偏移(像素自适应偏移)的处理、自适应地切换维纳滤波器等线性滤波器来进行滤波处理的自适应滤波处理等。
但是，环路滤波部11对上述的去块滤波处理、像素自适应偏移处理以及自适应滤波处理，分别决定是否进行处理，将各处理的有效标志作为序列级头的一部分以及片级头的一部分输出给可变长度编码部13。另外，在使用多个上述的滤波处理时，依序实施各滤波处理。图11示出使用多个滤波处理的情况下的环路滤波部11的结构例。
一般而言，使用的滤波处理的种类越多，图像质量越高，但另一方面处理负荷也升高。即，图像质量与处理负荷存在折衷的关系。并且，各滤波处理的图像质量改善效果因滤波处理对象图像的特性而异。因此，依照图像编码装置容许的处理负荷和/或编码处理对象图像的特性决定要使用的滤波处理即可。
在此，在去块滤波处理中，能够将在选择对块边界施加的滤波强度时使用的各种参数从初始值开始进行变更。在要进行变更的情况下，将该参数作为头信息输出给可变长度编码部13。
在像素自适应偏移处理中，最开始先将图像分割为多个块，将不以该块为单位进行偏移处理的情况也定义为类别分类方法之一，并从预先准备的多个类别分类方法中选择一个类别分类方法。
接着，根据选择出的类别分类方法，对块内的各像素进行类别分类，按照每个类别计算补偿编码失真的偏移值。
最后，进行对局域解码图像的亮度值加上该偏移值的处理，由此改善局域解码图像的图像质量。
作为类别分类方法，存在按局域解码图像的亮度值的大小进行分类的方法(称为BO方法)和按照每个边缘的方向根据各像素的周围状况(周围区域是否为边缘部等)进行分类的方法(称为EO方法)。
这些方法是预先作为公共方法而准备在图像编码装置以及图像解码装置中的，例如如图14所示，将不进行偏移处理的情况也定义为类别分类方法之一，以上述块为单位选择表示利用这些方法中的哪个方法进行类别分类的索引。
因此，像素自适应偏移处理将块的分割信息、表示块单位的类别分类方法的索引以及块单位的偏移信息作为头信息输出给可变长度编码部13。
另外，在像素自适应偏移处理中，也可以例如始终分割为最大编码块这样的固定尺寸的块单位，按照每个该块选择类别分类方法，进行每个类别的自适应偏移处理。在该情况下，无需上述块分割信息，能够削减与块分割信息所需的编码量相应的编码量，提高编码效率。
并且，在自适应滤波处理中，利用规定的方法对局域解码图像进行类别分类，按照属于各类别的每个区域(局域解码图像)，设计对叠加的失真进行补偿的滤波器，使用该滤波器，实施该局域解码图像的滤波处理。
并且，将按照每个类别设计的滤波器作为头信息输出给可变长度编码部13。
在此，作为类别分类方法，存在在空间上将图像等间隔地进行划分的简单方法、以块为单位根据图像的局域特性(分散等)进行分类的方法。并且，在自适应滤波处理中使用的类别数可以预先在图像编码装置以及图像解码装置中设定成公共值，也可以作为要进行编码的参数之一。
与前者相比，后者能够自由设定要使用的类别数，因此能够提高图像质量改善效果，但另一方面，为了对类别数进行编码，会增加相应的编码量。
反复执行步骤ST3～ST9的处理直至对被分层分割后的全部编码块Bn的处理结束，在对全部编码块Bn的处理结束时，转入步骤ST13的处理(步骤ST11、ST12)。
可变长度编码部13对从变换/量化部7输出的压缩数据、从编码控制部2输出的最大编码块内的块分割信息(以图6的(b)为例的四叉树信息)、编码模式m(Bn)以及预测差分编码参数、从编码控制部2输出的内部预测参数(编码模式为内部编码模式的情况)或者帧间预测参数(编码模式为帧间编码模式的情况)、以及从运动补偿预测部5输出的运动矢量(编码模式为帧间编码模式的情况)进行可变长度编码，生成示出这些数据的编码结果的编码数据(步骤ST13)。
此时，作为被量化的正交变换系数的压缩数据的编码方法，将变换块进一步分割为被称作Coefficient Group(CG，系数组)的4×4像素单位的块(编码子块)，以CG为单位实施系数的编码处理。
图15示出16×16像素的变换块中的系数的编码顺序(扫描顺序)。
这样，对4×4像素单位的16个CG从右下的CG开始依序进行编码处理，并且关于各CG，对CG内的16个系数从右下的系数开始依序进行编码。
具体而言，首先，对表示CG内的16个系数中是否存在有效(非零)系数的标志信息进行编码，接着，仅在CG内存在有效(非零)系数的情况下，按上述顺序对表示CG内的各系数是否为有效(非零)系数进行编码，最后对有效(非零)系数，按顺序对其系数值信息进行编码。以CG为单位按上述顺序执行以上处理。
此时，设为以使得有效(非零)系数尽量连续发生的方式有偏重的扫描顺序，更能够提高熵编码的编码效率。
关于正交变换后的系数，以位于左上的直流成分为起始，越接近左上侧，越表示频率成分低的系数，因此如图16所示，一般而言，越接近左上侧，有效(非零)系数的发生越频繁，因此，如图15所示，从右下侧开始依序编码能够高效地进行编码。
此外，上面对16×16像素的变换块进行了说明，设对8×8像素、32×32像素的变换块等16×16像素以外的块尺寸也同样实施CG(编码子块)单位的编码处理。
并且，如图13所示，可变长度编码部13作为编码比特流的头信息对序列级头、图片级头进行编码，与图片数据一起生成编码比特流。
其中，图片数据由一个以上的片数据构成，各片数据是汇总片级头和该片内的上述编码数据而得到的。
序列级头是汇总一般对序列单位而言相同的头信息而得到的，其中，该头信息包含图像尺寸、颜色信号格式、亮度信号和/或色差信号的信号值的位深度、以序列为单位的环路滤波部11的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的有效标志信息、量化矩阵的有效标志信息、表示是否进行场编码的标志等。
图片级头是汇总按图片单位设定的头信息而得到的，其中，该头信息包含参照的序列级头的索引、运动补偿时的参照图片数、熵编码的概率表初始化标志等。
片级头是汇总片单位的参数而得到的，其中，该片单位的参数包含表示该片位于图片的什么位置的位置信息、表示参照哪个图片级头的索引、片的编码类型(全内部编码、帧间编码等)、表示是否进行环路滤波部11中的各滤波处理(自适应滤波处理、像素自适应偏移处理、去块滤波处理)的标志信息等。
接着，对内部预测部4的处理内容具体地进行说明。
如上所述，内部预测部4参照预测块Pi n的内部预测参数，实施针对该预测块Pi n的内部预测处理，生成内部预测图像PINTRAi n，在此，对生成亮度信号中的预测块Pi n的内部预测图像的内部处理进行说明。
图7是示出编码块Bn内的各预测块Pi n可选择的内部预测模式的一例的说明图，示出内部预测模式的索引值和该内部预测模式示出的预测方向矢量。上述内部预测模式的索引值示出内部预测参数。
另外，也可以构成为内部预测模式数根据作为处理对象的块的尺寸而不同。
较大尺寸的块的内部预测效率低，因此，可选择的内部预测方向数少，较小尺寸的块可选择的内部预测方向数多，由此能够抑制运算量。
首先，生成内部预测图像的处理使用与作为处理对象的块相邻的已编码像素，因此，如上所述，该处理必须以变换块为单位进行。
在此，将生成内部预测图像的变换块称为预测图像生成块。因此，内部预测部4以预测图像生成块为单位实施下文描述的内部预测图像生成处理，生成预测块Pi n的内部预测图像。
设预测图像生成块的尺寸为li n×mi n像素。
图8是示出在li n＝mi n＝4的情况下生成预测图像生成块内的像素的预测值时使用的像素的一例的说明图。
图8中设预测图像生成块上面的已编码像素(2×li n+1)个和左面的已编码像素(2×mi n)个为预测中使用的像素，但预测中使用的像素可以多于图8所示的像素也可少于图8所示的像素。
并且，在图8中，在预测中使用预测图像生成块附近的1行或者1列的像素，但也可以在预测中使用2行或者2列或者更多的像素。
在针对预测图像生成块所属的预测块Pi n的内部预测模式的索引值为0(平面(Planar)预测)的情况下，使用与预测图像生成块上面相邻的已编码像素和与预测图像生成块左侧相邻的已编码像素，将根据这些像素与预测图像生成块内的预测对象像素之间的距离而内插的值作为预测值，生成预测图像。
在针对预测图像生成块所属的预测块Pi n的内部预测模式的索引值为1(平均值(DC)预测)的情况下，将与预测图像生成块上面相邻的已编码像素和与预测图像生成块左侧相邻的已编码像素的平均值作为预测图像生成块内的像素的预测值，生成预测图像。
并且，对于位于预测图像生成块的上端以及左端的图17的区域A、B、C，进行对块边界进行平滑的滤波处理而生成最终的预测图像。例如，依照下述的式(1)，在图18的滤波器的参照像素配置中使用下述的滤波系数来实施滤波处理。
S′(p0)＝a0S(p0)+a1S(p1)+a2S(p2) (1)
·区域A(区块Pi n左上的像素)
a0＝1/2，a1＝1/4，a2＝1/4
·区域B(区域A以外的区块Pi n上端的像素)
a0＝3/4，a2＝1/4，(a1＝0)
·区域C(区域A以外的区块Pi n左端的像素)
a0＝3/4，a1＝1/4，(a2＝0)
其中，在式(1)中，an(n＝0，1，2)表示对参照像素施加的滤波系数，pn(n＝0，1，2)表示包含滤波处理对象像素p0的滤波器的参照像素，S’(p0)表示滤波处理对象像素p0的滤波处理后的预测值，S(pn)(n＝0，1，2)表示包含滤波处理对象像素p0的参照像素的滤波处理前的预测值。
并且，也可以限定进行上述滤波处理的预测图像生成块的块尺寸。
一般而言，在仅块端进行滤波处理而使预测值变化的情况下，在较大块尺寸的块的情况下，预测值由于滤波处理而改变的区域所占的比例小，因此由于该预测值的变化而产生的预测残余信号的变化由非常高的频率成分来表示，为了对该高频成分进行编码，存在产生编码效率恶化的倾向。并且，通过使编码效率优先而不对该高频成分进行编码，由此存在无法复原块端的预测残余信号的变化而在块边界产生失真的倾向。
另一方面，在较小块尺寸的块的情况下，预测值由于滤波处理而改变的区域所占的比例大，因此由于该预测值的变化而产生的预测残余信号的变化不会如较大块尺寸的块时那样以高频成分来表示，能够适当地对残余信号进行编码，通过本滤波处理，能够提高块边界的连续性，相应地提高解码图像的质量。
因此，例如对于32×32像素以上的块尺寸的预测图像生成块不应用上述的滤波处理，而仅对尺寸小于32×32像素的块应用上述滤波处理，由此能够相比现有的平均值预测提高预测性能，并能够抑制运算量的增加。
另外，也可以根据变换块尺寸来限定进行上述滤波处理的预测图像生成块的块尺寸。
例如，对于max(16，MaxTUsize)以上的块尺寸的预测图像生成块不应用上述滤波处理，而仅对小于max(16，MaxTUsize)的块应用上述滤波处理。
其中，max(α，β)表示α和β中的最大值(例如，若α＝1、β＝2，则max(α，β)＝2)，“MaxTUsize”表示可取的最大的变换块尺寸，“16”表示规定的块尺寸(16×16像素)。
即，对于max(16，MaxTUsize)以上的块尺寸的预测图像生成块不应用上述滤波处理，而仅对小于max(16，MaxTUsize)的块应用上述滤波处理，即，在MaxTUsize为32的情况下max(16，32)＝32，仅对32×32像素块不应用上述滤波处理，而对16×16像素、8×8像素、4×4像素块实施上述滤波处理。
同样，在MaxTUsize为16的情况下，max(16，16)＝16，仅对16×16像素块不应用上述滤波处理，而对8×8像素、4×4像素块实施上述滤波处理。
并且，在MaxTUsize为8的情况下，max(16，8)＝16，仅对16×16像素块不应用上述滤波处理，而对8×8像素、4×4像素块实施上述滤波处理，因此在不存在16×16像素块的MaxTUsize为8的情况下，在全部的像素块(8×8、4×4)中实施上述滤波处理。
同样，在MaxTUsize为4的情况下，max(16，4)＝16，仅对16×16像素块不应用上述滤波处理，而对8×8像素、4×4像素块实施上述滤波处理，因此在只存在4×4像素块的MaxTUsize为4的情况下，在全部的像素块(4×4)中实施上述滤波处理。
通过这样处理，一般而言在进行高效率的编码时，例如，在“天空”等平坦区域，实施尽量大尺寸的正交变换处理，因此在这样的区域中，进行基于MaxTUsize的块尺寸的变换处理。
另一方面，在这样的较大的块中，如上所述，存在由于滤波处理而在解码图像的块边界产生失真的倾向，因此为了抑制这样的失真，对于人的视觉特性中敏感度特别高的平坦部不进行滤波处理，并对存在通过减小块尺寸而能够高效进行编码的倾向的复杂区域部等较小块尺寸的块进行上述滤波处理，由此能够得到提高预测效率、提高解码图像质量的效果。
并且，在序列级头具有表示是否进行场编码的标志且上述标志为有效的情况下，如图19所示，不对预测图像生成块的上端实施滤波处理。
在场编码的情况下，垂直方向的像素间的相关性低，因此存在由于预测图像生成块的上端处的滤波处理使得预测效率恶化的可能性。因此，仅对区域A、C进行滤波处理，区域B不进行滤波处理，能够抑制预测效率的降低且削减运算量。
虽然上文中设为在序列级头的表示是否进行场编码的标志为有效的情况下，仅对区域A、C进行滤波处理，但也可以是区域A也进行与区域C相同的滤波处理。这样，通过不使用像素间的相关性低的垂直方向上的像素，能够进一步降低预测效率恶化的可能性并削减滤波处理所需的运算量。或者，也可以是，在更重视削减运算量的情况下，区域A也不进行滤波处理而仅对区域C进行滤波处理。
在对于预测图像生成块所属的预测块Pi n的内部预测模式的索引值为26(垂直方向预测)的情况下，根据下述式(2)计算预测图像生成块内的像素的预测值来生成预测图像。
其中，坐标(x，y)为以预测图像生成块内的左上像素为原点的相对坐标(参照图9)，S’(x，y)为坐标(x，y)下的预测值，S(x，y)为坐标(x，y)下的已编码像素的亮度值(解码后的亮度值)。并且，在计算出的预测值超出亮度值可取的范围的情况下，对数值进行缩减使得预测值收于该范围内。
另外，式(2)的第一行的式子意味着将如下的滤波处理后的值作为预测值：对MPEG-4AVC/H.264下的垂直方向预测的预测值S(x，-1)加上相邻的已编码像素的垂直方向的亮度值的变化量S(-1，Y)-S(-1，-1)的1/2的值而对块边界进行平滑。式(2)的第二行的式子示出与MPEG-4AVC/H.264下的垂直方向预测相同的预测式。
在针对预测图像生成块所属的预测块Pi n的内部预测模式的索引值为10(水平方向预测)的情况下，根据下述的式(3)计算预测图像生成块内的像素的预测值来生成预测图像。
其中，坐标(x，y)是以预测图像生成块内的左上像素为原点的相对坐标(参照图9)，S’(x，y)是坐标(x，y)下的预测值，S(x，y)是坐标(x，y)下的已编码像素的亮度值(解码后的亮度值)。并且，在计算出的预测值超出亮度值可取的范围的情况下，对数值进行缩减使得预测值收于该范围内。
另外，式(3)的第一行的式子意味着将如下的滤波处理后的值作为预测值：对MPEG-4AVC/H.264下的水平方向预测的预测值S(-1，Y)加上相邻的已编码像素的水平方向的亮度值的变化量S(x，-1)-S(-1，-1)的1/2的值而对块边界进行平滑。式(3)的第二行的式子示出与MPEG-4AVC/H.264下的水平方向预测相同的预测式。
但是，也可以限定进行式(2)的垂直方向预测、式(3)的水平方向预测的预测图像生成块的块尺寸。
一般而言，当仅块端进行加上与预测方向的亮度值的变化量成比例的值的滤波处理而使预测值变化的情况下，在较大块尺寸的块的情况下，预测值由于上述的预测图像生成块的块端的滤波处理而改变的区域所占的比例小，因此由于该预测值的变化而产生的预测残余信号的变化由频率非常高的频率成分来表示，为了对该高频成分进行编码，存在产生编码效率恶化的倾向。并且，使编码效率优先而不对该高频成分进行编码，由此存在无法复原块端的预测残余信号的变化而在块边界产生失真的倾向
另一方面，在较小块尺寸的块的情况下，预测值由于上述滤波处理而改变的区域所占的比例大，因此由于该预测值的变化而产生的预测残余信号的变化不会如较大块尺寸的块时那样以高频成分来表示，能够适当地对残余信号进行编码，通过本滤波处理，能够提高块边界的连续性，相应地提高解码图像的质量。
因此，例如对于32×32像素以上的块尺寸的预测图像生成块，与预测对象像素的坐标无关地，始终使用式(2)以及式(3)的第二行的式子(不进行预测图像生成块的块端的滤波处理)，而仅对尺寸小于32×32像素的块应用进行上述滤波处理的式(2)以及式(3)，由此能够相比现有的垂直方向预测、水平方向预测提高预测性能并抑制运算量的增加。
也可以另外根据变换块尺寸限定进行式(2)的垂直方向预测、式(3)的水平方向预测的预测图像生成块的块尺寸。
例如，对于max(16，MaxTUsize)以上的块尺寸的预测图像生成块，与预测对象像素的坐标无关地，始终使用式(2)以及式(3)的第二行的式子(不进行预测图像生成块的块端的滤波处理)，而仅对小于max(16，MaxTUsize)的块应用进行上述滤波处理的式(2)以及式(3)。
其中，max(α，β)示出α和β中的最大值(例如，若α＝1、β＝2，则max(α，β)＝2)，“MaxTUsize”示出可取的最大的变换块尺寸，“16”示出规定的块尺寸(16×16像素)。
即，对于max(16、MaxTUsize)以上的块尺寸的预测图像生成块，不应用上述滤波处理，而仅对小于max(16，MaxTUsize)的块应用上述滤波处理，即，在MaxTUsize为32的情况下，max(16，32)＝32，仅32×32像素块不应用上述滤波处理，而对16×16像素、8×8像素、4×4像素块实施上述滤波处理。
同样，在MaxTUsize为16的情况下，max(16，16)＝16，仅16×16像素块不应用上述滤波处理，而对8×8像素、4×4像素块实施上述滤波处理。
并且，在MaxTUsize为8的情况下，max(16，8)＝16，仅16×16像素块不应用上述滤波处理，而对8×8像素、4×4像素块实施上述滤波处理，因此在16×16像素块不存在的MaxTUsize为8的情况下，在全部的像素块(8×8、4×4)中实施上述滤波处理。
同样，在MaxTUsize为4的情况下，max(16，4)＝16，仅16×16像素块不应用上述滤波处理，而对8×8像素、4×4像素块实施上述滤波处理，因此在只存在4×4像素块的MaxTUsize为4的情况下，在全部的像素块(4×4)中实施上述滤波处理。
通过这样处理，一般而言在进行高效率的编码时，例如，在“天空”等平坦区域，实施尽量大尺寸的正交变换处理，因此在这样的区域中，进行基于MaxTUsize的块尺寸的变换处理。
另一方面，在这样的较大的块中，如上所述，存在由于滤波处理而在解码图像的块边界产生失真的倾向，因此为了抑制这样的失真，对于人的视觉特性中敏感度特别高的平坦部不进行滤波处理，并对存在通过减小块尺寸而能够高效进行编码的倾向的复杂区域部等较小块尺寸的块进行上述滤波处理，由此，能够得到提高预测效率、提高解码图像质量的效果。
另外，对上述动作在平均值预测的情况下、垂直方向预测的情况下、水平方向预测的情况下进行了说明，但在使用这些预测以外的预测的情况下也能得到同样的效果。
并且，在序列级头具有表示是否进行场编码的标志且上述标志有效的情况下，水平方向预测替代式(3)而使用式(4)。
S′(x，y)＝S(-1，y) (4)
即，如图19所示，对预测图像生成块的上端不实施滤波处理(在平均值预测以及垂直方向预测的情况下，仅对预测图像生成块的左端实施滤波处理，在水平方向预测的情况下，不实施滤波处理)。
在场编码的情况下，垂直方向上的像素间的相关性低，因此预测图像生成块的上端的滤波处理导致块边界的连续性提高，可能会带来预测效率的恶化。因此，通过不进行上述滤波处理，能够抑制预测效率的降低并削减运算量。
另外，也可以在图片级头中准备序列级头的表示是否进行场编码的标志，根据各图片的垂直方向的像素间的相关性，以开启/关闭(ON/OFF)来切换平均值(DC)预测以及水平方向预测的预测图像生成块上端的滤波处理。
通过这样处理，能够实现图片单位的自适应控制，提高预测效率。另外，在要实现图片单位的自适应地切换帧编码和场编码的编码的情况下，需要针对图片级头准备上述标志。
另外，在该实施方式1中，对根据序列级头或图片级头的表示是否进行场编码的标志来切换预测图像生成块上端的滤波处理的开启/关闭的情况进行了说明，但也可以是，在序列级头或图片级头的表示是否进行场编码的标志之外，另外定义表示是否进行本切换处理的标志，根据该表示是否进行切换处理的标志，切换预测图像生成块上端的滤波处理的开启/关闭。
并且，在该实施方式1中，对之前说明的编码顺序的切换和上述滤波处理的切换分别单独进行了说明，但也可以将它们组合起来进行设定。
在内部预测模式的索引值为0(平面预测)、1(平均值预测)、26(垂直方向预测)、10(水平方向预测)以外的情况下，根据索引值所示的预测方向矢量υp＝(dx，dy)，生成预测图像生成块内的像素的预测值。
如图9所示，以预测图像生成块的左上像素为原点，将预测图像生成块内的相对坐标设定成(x，y)，则预测中使用的参照像素的位置成为下述的L与相邻像素的交点。
其中，k为负实数。
在参照像素位于整数像素位置的情况下，将该整数像素作为预测对象像素的预测值，在参照像素不位于整数像素位置的情况下，将根据与参照像素相邻的整数像素生成的插值像素作为预测值。
在图8的例子中，参照像素不位于整数像素位置，因此将根据与参照像素相邻的2个像素内插而得到的值作为预测值。另外，也可以是，并非仅根据相邻的2个像素而是根据相邻的2个像素以上的像素生成插值像素来作为预测值。
通过增多在插值处理中使用的像素，具有提高插值像素的插值精度的效果，但插值处理所需的运算的复杂度也增加，因此在即使运算负荷大也追求较高的编码性能的图像编码装置的情况下，优选根据更多的像素生成插值像素。
通过以上所述的处理，以预测图像生成块为单位，生成针对预测块Pi n内的亮度信号的全部像素的预测像素，输出内部预测图像PINTRAi n。
另外，为了复用于比特流，在内部预测图像PINTRAi n的生成中使用的内部预测参数(内部预测模式)被输出给可变长度编码部13。
另外，与之前说明的MPEG-4AVC/H.264下的8×8像素块的内部预测时对参照像素实施的平滑处理同样地，即使在构成为在内部预测部4中，将生成预测图像生成块的预测图像时的参照像素，作为对与预测图像生成块相邻的已编码像素进行平滑处理后的像素的情况下，也能够进行与上述的示例同样的针对预测图像的滤波处理。由此，能够去除对参照像素的滤波处理导致的参照像素的噪声，将其用于进行预测，能够提高预测的精度。
或者，也可以是仅在进行针对预测图像的滤波处理的平均值预测、垂直方向预测、水平方向预测以外的预测时，实施上述针对参照像素的滤波处理。由此，针对各预测模式最多仅进行一个滤波处理即可，能够抑制运算量的增加。
在上文中，对于亮度信号的预测图像生成处理进行了说明，针对色差成分的预测图像如下这样生成。
针对预测块Pi n的色差信号，实施基于色差信号的内部预测参数(内部预测模式)的内部预测处理，将在内部预测图像的生成中使用的内部预测参数输出给可变长度编码部13。
图23是示出色差信号的内部预测参数(索引值)与色差内部预测模式的对应示例的说明图。
在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预测模式的情况下(内部预测参数示出亮度色差公共内部预测模式(DM模式)的情况下)，实施与亮度信号同样的帧内预测，生成色差信号的预测图像。
并且，在色差信号的内部预测参数示出垂直方向预测模式或水平方向预测模式的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。
并且，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式(LM模式)的情况下，使用与预测图像的生成对象块的上侧以及左侧相邻的多个像素的亮度信号和色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相关性参数以及与作为预测处理对象的色差信号块对应的亮度信号，生成色差信号的预测图像。
另外，在输入信号格式为YUV4:4:4信号的情况下，构成为实施上述DM模式或上述LM模式的处理而不选择其它预测模式。在YUV4:4:4信号中，在亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。
当然，在YUV4:4:4信号的情况下同样，也可以构成为对色差信号能够选择与亮度信号不同的方向性预测模式。
并且，在输入信号格式为YUV4:2:2信号的情况下，如图27所示，如果亮度信号为正方形的块，则色差信号与亮度信号相比成为水平方向的像素数为亮度信号的1/2的长方形的块。因此，如图28所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了使亮度信号和色差信号成为同一方向的预测，在进行垂直方向预测和水平方向预测以外的方向性预测的情况下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。
具体而言，如图29所示，在设亮度信号的预测方向矢量为VL＝(dxL，dyL)的情况下，色差信号的预测方向矢量成为VC＝(dxL/2，dyL)。即，如图30所示，在设预测方向的角度为θ的情况下，亮度信号的预测方向的角度为θL、色差信号的预测方向的角度为θC，则需要在满足tanθC＝2tanθL的关系的预测方向上进行预测。
因此，为了能够正确实施亮度信号和色差信号进行同一方向的预测的上述DM模式，在输入信号格式为YUV4:2:2信号的情况下，将亮度信号中使用的内部预测模式的索引变换为色差信号的预测中使用的内部预测模式的索引，实施基于与变换后的索引对应的内部预测模式的色差信号的预测处理。
图31示出图7的内部预测模式下的内部预测模式索引的变换例。
图31的变换表是在设预测方向的角度为θ时(参照图30)内部预测模式的方向性预测为图32所示的tanθ的角度的情况下，变换成与tanθC＝2tanθL这一关系最接近的角度θC的表的例子。
如上所述，变换处理的实现可以构成为，准备索引的变换表并参照该变换表，由此来变换索引，也可以构成为准备变换式，依照该变换式来变换索引。
通过这样构成，不变更方向性预测处理自身而仅变换索引，即能够实施与YUV4:2:2信号的格式对应的色差信号的适当预测。
并且，也可以构成为不对色差信号进行上述LM模式。作为此时的色差信号的内部预测参数(索引值)和色差内部预测模式的对应例子，可以举出图24。
这样，通过不使用LM模式，预测对象像素的亮度信号与色差信号之间的依存性消失，因此亮度信号和色差信号的预测处理的并行成为可能，能够实现高速的运算处理。
并且，在色差信号中，对于色差信号的垂直方向预测以及水平方向预测，不进行块边界的滤波处理，可以应用与MPEG-4AVC/H.264同样的预测方法。通过这样不进行滤波处理，能够实现预测处理的运算量的降低。
接着，对图3的图像解码装置的处理内容具体地进行说明。
可变长度解码部31在输入由图1的图像编码装置生成的编码比特流时，对该比特流实施可变长度解码处理(图4的步骤ST21)，对由1帧以上的图片构成的序列单位的头信息(序列级头)以及图片单位的头信息(图片级头)、环路滤波部38使用的滤波器参数以及量化矩阵参数进行解码。
此时，在上述头信息包含的量化矩阵的有效标志信息示出“有效”的情况下，可变长度解码部31对量化矩阵参数进行可变长度解码，确定量化矩阵。
具体而言，按照各正交变换尺寸的每个颜色信号和/或每个编码模式，量化矩阵参数示出作为初始值的图像编码装置以及图像解码装置中预先准备的公共的量化矩阵或者已被解码的量化矩阵(并非新的量化矩阵)的情况下，参照量化矩阵参数中包含的指定上述矩阵中的哪个量化矩阵的索引信息来确定量化矩阵，在量化矩阵参数示出使用新的量化矩阵的情况下，将量化矩阵参数中包含的量化矩阵确定为要使用的量化矩阵。
然后，由构成图片单位的数据的片数据解码出片分割信息等片单位的头信息(片级头)，对各片的编码数据进行解码。
并且，可变长度解码部31通过与图像编码装置同样的步骤，决定由图1的图像编码装置的编码控制部2决定的最大编码块尺寸以及分割层数的上限(步骤ST22)。
例如，在根据视频信号的分辨率决定最大编码块尺寸和/或分割层数的上限的情况下，根据解码后的帧尺寸信息，通过与图像编码装置同样的步骤来决定最大编码块尺寸。
最大编码块尺寸以及分割层数的上限在被图像编码装置侧复用于序列级头等的情况下，使用由上述头解码出的值。但是，在编码块的最小块尺寸替代分割层数的上限被编码的情况下，通过对其进行解码来决定分割层数的上限。即，在将最大编码块分割至上述最小块尺寸的情况下，成为分割层数的上限。
可变长度解码部31以决定出的最大编码块为单位，对图6所示的最大编码块的分割状态进行解码。根据解码后的分割状态，分层确定编码块(步骤ST23)。
接着，可变长度解码部31对分配给编码块的编码模式进行解码。根据解码后的编码模式中包含的信息，将编码块进一步分割为一个或多个作为预测处理单位的预测块，对分配给预测块单位的预测参数进行解码(步骤ST24)。
即，可变长度解码部31在分配给编码块的编码模式为内部编码模式的情况下，按照编码块中包含的、成为预测处理单位的一个以上的预测块的每一个，对内部预测参数进行解码。
另一方面，在分配给编码块的编码模式为帧间编码模式的情况下，按照编码块中包含的、成为预测处理单位的一个以上的预测块的每一个，对帧间预测参数以及运动矢量进行解码(步骤ST24)。
并且，可变长度解码部31根据预测差分编码参数中包含的变换块分割信息，按照每个变换块对压缩数据(变换/量化后的变换系数)进行解码(步骤ST24)。
此时，与图1的图像编码装置的可变长度编码部13进行的压缩数据的编码处理同样地，实施CG单位的系数的解码处理。
因此，如图15所示，成为对于4×4像素单位的16个CG从右下的CG开始依序进行解码处理，并且，各CG对于CG内的16个系数从右下的系数开始依序进行解码。
具体而言，首先，对CG内的16个系数中是否存在有效(非零)系数的标志信息进行解码，接下来仅在解码出的标志信息示出在CG中存在有效(非零)系数的情况下按照上述顺序对CG内的各系数是否为有效(非零)系数进行解码，最后对示出有效(非零)系数的系数，依序对该系数值信息进行解码。以CG为单位按照上述顺序进行该处理。
如果由可变长度解码部31可变长度解码出的编码模式m(Bn)为内部编码模式(m(Bn)∈INTRA的情况下)，则切换开关33向内部预测部34输出由可变长度解码部31可变长度解码出的预测块单位的内部预测参数。
另一方面，如果由可变长度解码部31可变长度解码出的编码模式m(Bn)为帧间编码模式(m(Bn)∈INTER的情况下)，则切换开关33向运动补偿部35输出由可变长度解码部31可变长度解码出的预测块单位的帧间预测参数以及运动矢量。
在由可变长度解码部31可变长度解码出的编码模式m(Bn)为内部编码模式(m(Bn)∈INTRA)的情况下(步骤ST25)，内部预测部34接收从切换开关33输出的预测块单位的内部预测参数，通过与图1的内部预测部4同样的步骤，参照存储在内部预测用存储器37中的解码图像，实施使用上述内部预测参数的针对编码块Bn内的各预测块Pi n的内部预测处理，生成内部预测图像PINTRAi n(步骤ST26)。
但是，在由可变长度解码部31解码出的序列级头具有表示是否进行场编码的标志且上述标志有效的情况下，与图1的图像编码装置同样地，不进行平均值(DC)预测以及水平方向预测的预测图像生成块上端的滤波处理。通过这样处理，能够生成与图1的图像编码装置生成的流相同的预测图像。
另外，在图1的图像编码装置中，在图片级头中准备有序列级头的表示是否进行场编码的标志的情况下，根据该图片级头的表示是否进行场编码的标志的值，以图片为单位，以开启/关闭来切换平均值(DC)预测以及水平方向预测的预测图像生成块上端的滤波处理。
通过这样处理，能够生成与上述构成的图1的图像编码装置生成的流相同的预测图像。
并且，内部预测部34对于亮度信号，实施针对亮度信号的使用上述内部预测参数的内部预测处理(帧内预测处理)，生成亮度信号的预测图像。
另一方面，对于色差信号，实施基于色差信号的内部预测参数的内部预测处理，生成色差信号的预测图像。
图23是示出色差信号的内部预测参数(索引值)和色差内部预测模式的对应示例的说明图。
在色差信号的内部预测参数示出使用与针对亮度信号的内部预测模式相同的预测模式的情况下(内部预测参数示出亮度色差公共内部预测模式(DM模式)的情况下)，实施与亮度信号同样的帧内预测，生成色差信号的预测图像。
并且，在色差信号的内部预测参数示出垂直方向预测模式或者水平方向预测模式的情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。
并且，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模式(LM模式)的情况下，利用与预测图像的生成对象块的上侧以及左侧相邻的多个像素的亮度信号和色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相关性参数和与作为预测处理对象的色差信号的块对应的亮度信号，生成色差信号的预测图像。
另外，在图像编码装置构成为，在输入信号格式为YUV4:4:4信号时，实施上述DM模式或者上述LM模式的处理而不选择其它预测模式的情况下，图像解码装置也为同样的结构，以能够对由该图像编码装置生成的比特流进行解码。
YUV4:4:4信号的亮度信号的边缘位置与色差信号的边缘位置之间存在较高的相关性关系，因此禁止对色差信号应用与亮度信号不同的预测模式，由此能够削减该色差信号的内部预测模式的信息量，提高编码效率。
并且，在输入信号格式为YUV4:2:2信号的情况下，如图27所示，如果亮度信号为正方形的块，则色差信号成为与亮度信号相比其水平方向的像素数为亮度信号的1/2的长方形的块。因此，如图28所示，在将YUV4:4:4信号变换为YUV4:2:2信号时，为了亮度信号和色差信号为同一方向的预测，在进行垂直方向预测和水平方向预测以外的方向性预测的情况下，使YUV4:2:2信号的色差信号的预测方向不同于亮度信号的预测方向。
具体而言，如图29所示，在将亮度信号的预测方向矢量设为VL＝(dxL，dyL)的情况下，色差信号的预测方向矢量为VC＝(dxL/2，dyL)。即，如图30所示，在设预测方向的角度为θ的情况下，设亮度信号的预测方向的角度为θL、色差信号的预测方向的角度为θC，需要在满足tanθC＝2tanθL的关系的预测方向上进行预测。
因此，为了能够正确实施亮度信号和色差信号进行同一方向的预测的上述DM模式，在输入信号格式为YUV4:2:2信号的情况下，将对亮度信号使用的内部预测模式的索引变换为在色差信号的预测中使用的内部预测模式的索引，实施基于与变换后的索引对应的内部预测模式的色差信号的预测处理。
图31示出图7的内部预测模式中的内部预测模式索引的变换示例。
图31的变换表是在预测方向的角度为θ时(参照图30)，内部预测模式的方向性预测成为图32所示的tanθ的角度的情况下，变换为最接近tanθC＝2tanθL这一关系的角度θC的表的例子。
如上所述，变换处理的实现可以构成为准备索引的变换表并参照该变换表，由此来变换索引，也可以构成为准备变换式，依照该变换式来变换索引。
通过这样构成，不变更方向性预测处理自身而仅变换索引，即能够实施与YUV4:2:2信号的格式对应的色差信号的适当预测。
并且，在图像编码装置构成为对色差信号不进行上述LM模式的情况下，图像解码装置也为同样的结构，以能够对由该图像编码装置生成的比特流进行解码。
作为此时的色差信号的内部预测参数(索引值)与色差内部预测模式的对应示例，可以举出图24。
这样，通过不使用LM模式，预测对象像素的亮度信号与色差信号之间的依存性消失，因此亮度信号和色差信号的预测处理的并行成为可能，能够实现高速的运算处理。
并且，在图像编码装置构成为与MPEG-4AVC/H.264同样的预测方法，关于色差信号，对色差信号的垂直方向预测以及水平方向预测不进行块边界的滤波处理的情况下，图像解码装置也为同样的结构，以能够对由该图像编码装置生成的比特流进行解码。
这样，通过不进行滤波处理，能够实现预测处理的运算量的降低。
运动补偿部35在由可变长度解码部31可变长度解码出的编码模式m(Bn)为帧间编码模式(m(Bn)∈INTER)的情况下(步骤ST25)，接收从切换开关33输出的预测块单位的运动矢量和帧间预测参数，参照存储在运动补偿预测帧存储器39中的滤波处理后的解码图像，实施利用该运动矢量和帧间预测参数的针对编码块Bn内的各预测块Pi n的帧间预测处理，生成帧间预测图像PINTERi n(步骤ST27)。
逆量化/逆变换部32在从可变长度解码部31接收到压缩数据以及预测差分编码参数时，通过与图1的逆量化/逆变换部8同样的步骤，参照该预测差分编码参数中包含的量化参数以及变换块分割信息，以变换块为单位对该压缩数据进行逆量化。
此时，参照由可变长度解码部31可变长度解码出的各头信息，在各头信息示出在该片中利用量化矩阵实施逆量化处理的情况下，利用量化矩阵进行逆量化处理。
此时，参照由可变长度解码部31可变长度解码出的各头信息，确定在各正交变换尺寸下按照每个颜色信号和/或每个编码模式(内部编码还是帧间编码)使用的量化矩阵。
并且，逆量化/逆变换部32以变换块为单位实施针对逆量化后的压缩数据即变换系数的逆正交变换处理，计算与从图1的逆量化/逆变换部8输出的局域解码预测差分信号相同的解码预测差分信号(步骤ST28)。
加法部36对由逆量化/逆变换部32计算出的解码预测差分信号加上由内部预测部34生成的内部预测图像PINTRAi n或由运动补偿部35生成的帧间预测图像PINTERi n中的任意一方，计算解码图像，并将该解码图像输出给环路滤波部38，并且将该解码图像存储在内部预测用存储器37中(步骤ST29)。
该解码图像成为之后的内部预测处理时使用的已解码图像信号。
环路滤波部38在针对全部编码块Bn的步骤ST23～ST29的处理完成时(步骤ST30)，对从加法部36输出的解码图像实施规定的滤波处理，将滤波处理后的解码图像存储在运动补偿预测帧存储器39中(步骤ST31)。
具体而言，执行降低在变换块的边界和/或预测块的边界产生的失真的滤波(去块滤波)处理、以像素为单位自适应地加上偏移(像素自适应偏移)的处理、自适应地切换维纳滤波器等线性滤波器来进行滤波处理的自适应滤波处理等。
但是，环路滤波部38对上述的去块滤波处理、像素自适应偏移处理以及自适应滤波处理，分别决定是否参照由可变长度解码部31可变长度解码出的各头信息在该片中进行处理。
此时，在进行2个以上的滤波处理的情况下，例如，在图像编码装置的环路滤波部11如图11所示构成的情况下，环路滤波部38如图12所示构成。
在此，在去块滤波处理中，参照由可变长度解码部31可变长度解码出的头信息，当存在将在选择施加给块边界的滤波强度时使用的各种参数从初始值开始进行变更的信息的情况下，根据该变更信息，实施去块滤波处理。在不存在变更信息的情况下，依照预定的方法实施去块滤波处理。
在像素自适应偏移处理中，根据由可变长度解码部31可变长度解码出的像素自适应偏移处理的块分割信息进行分割，以该块为单位，参照由可变长度解码部31可变长度解码出的示出块单位的类别分类方法的索引，在该索引并非示出“不进行偏移处理”的索引的情况下，依照上述索引所示的类别分类方法以块为单位对块内的各像素进行类别分类。
并且，作为类别分类方法的候选，预先准备与环路滤波部11的像素自适应偏移处理的类别分类方法的候选相同的候选。
然后，环路滤波部38参照确定块单位的各类别的偏移值的、由可变长度解码部31可变长度解码出的偏移信息，执行对解码图像的亮度值加上偏移的处理。
在自适应滤波处理中，使用由可变长度解码部31可变长度解码出的每个类别的滤波器，通过与图1的图像编码装置相同的方法进行类别分类后，根据该类别分类信息进行滤波处理。
该环路滤波部38的滤波处理后的解码图像成为运动补偿预测用的参照图像并且成为再现图像。
根据以上可知，根据该实施方式1，在隔行视频的场对编码中，也构成为生成与编码比特流的解码开始位置无关而能够始终从相同场正确再现的编码比特流，因此，在隔行视频的场对编码中，显示解码图像的显示装置也构成为与编码比特流的解码开始位置无关而始终从相同场起进行显示即可，发挥能够简易地进行显示处理的效果。
并且，根据该实施方式1，发挥如下效果：在隔行视频的场对解码中，也能够对与编码比特流的解码开始位置无关而能够始终从相同场正确再现的编码比特流进行正确解码。
另外，本发明在其发明的范围内可进行实施方式中的任意的结构要素的变形或者实施方式中的任意的结构要素的省略。
产业上的可利用性
如上所述，关于本发明的图像编码装置、图像编码方法、图像解码装置和图像解码方法，在隔行视频的场对编码中，也能够生成与编码比特流的解码开始位置无关而能够始终从相同场正确再现的编码比特流并进行编码，因此，在动态图像编码装置和动态图像解码装置等中是有用的。
标号说明
1：块分割部；2：编码控制部；3：切换开关；4：内部预测部(内部预测单元)；5：运动补偿预测部；6：减法部；7：变换/量化部；8：逆量化/逆变换部；9：加法部；10：内部预测用存储器；11：环路滤波部；12：运动补偿预测帧存储器；13：可变长度编码部；14：片分割部；31：可变长度解码部；32：逆量化/逆变换部；33：切换开关；34：内部预测部(内部预测单元)；35：运动补偿部；36：加法部；37：内部预测用存储器；38：环路滤波部；39：运动补偿预测帧存储器。

Claims (4)

1.一种图像编码装置，各帧由第一场和第二场这两个场构成，将各场作为图片进行编码，其特征在于，该图像编码装置具有：
编码设定单元，其进行如下设定：将多个所述帧中的特定帧的第一场作为第一图片进行编码，该第一图片既是仅通过内部预测进行预测的内部图片又是非IRAP(non-IntraRandom Access Point)图片，并且，按照所述第一图片、使用所述第一图片进行预测并且编码顺序在后的所述特定帧的第二场即第二图片、根据所述第一图片或所述第二图片进行预测并且与所述第一图片相比编码顺序在后且显示顺序在前的第三图片的顺序进行编码；以及
复用单元，其将表示所述特定帧的所述第一场即所述第一图片是能够从比特流的中途开始解码的图片的信息复用到所述比特流。
2.一种图像编码方法，各帧由第一场和第二场这两个场构成，将各场作为图片进行编码，其特征在于，该图像编码方法具有：
编码设定步骤，进行如下设定：将多个所述帧中的特定帧的第一场作为第一图片进行编码，该第一图片既是仅通过内部预测进行预测的内部图片又是非IRAP(non-IntraRandom Access Point)图片，并且，按照所述第一图片、使用所述第一图片进行预测并且编码顺序在后的所述特定帧的第二场即第二图片、根据所述第一图片或所述第二图片进行预测并且与所述第一图片相比编码顺序在后且显示顺序在前的第三图片的顺序进行编码；以及
复用步骤，将表示所述特定帧的所述第一场即所述第一图片是能够从比特流的中途开始解码的图片的信息复用到所述比特流。
3.一种图像解码装置，其特征在于，
该图像解码装置具有解码单元，该解码单元对各帧由第一场和第二场这两个场构成，将各场作为图片进行编码而得到的比特流进行解码，得到表示多个所述帧中的特定帧的第一场即第一图片是能够从所述比特流的中途开始解码的图片的信息，并且，在所述第一图片既是内部图片又是非IRAP(non-Intra Random Access Point)图片并且从由所述信息确定的所述特定帧的第一场开始解码的情况下，能够对所述特定帧的所述第一场即所述第一图片、根据所述第一图片预测并且编码顺序在后的所述特定帧的所述第二场即第二图片、根据所述第一图片或所述第二图片预测并且与所述第一图片相比编码顺序在后且显示顺序在前的第三图片进行解码。
4.一种图像解码方法，其特征在于，
该图像解码方法具有解码步骤，在该解码步骤中，对各帧由第一场和第二场这两个场构成，将各场作为图片进行编码而得到的比特流进行解码，得到表示多个所述帧中的特定帧的第一场即第一图片是能够从所述比特流的中途开始解码的图片的信息，并且，在所述第一图片既是内部图片又是非IRAP(non-Intra Random Access Point)图片并且从由所述信息确定的所述特定帧的第一场开始解码的情况下，能够对所述特定帧的所述第一场即所述第一图片、根据所述第一图片预测并且编码顺序在后的所述特定帧的所述第二场即第二图片、根据所述第一图片或所述第二图片预测并且与所述第一图片相比编码顺序在后且显示顺序在前的第三图片进行解码。
CN201480032901.7A 2013-06-12 2014-06-11 图像编码装置、图像编码方法、图像解码装置和图像解码方法 Active CN105325000B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-123391 2013-06-12
JP2013123391 2013-06-12
JP2013174670 2013-08-26
JP2013-174670 2013-08-26
PCT/JP2014/003107 WO2014199634A1 (ja) 2013-06-12 2014-06-11 画像符号化装置、画像符号化方法、画像復号装置及び画像復号方法

Publications (2)

Publication Number Publication Date
CN105325000A CN105325000A (zh) 2016-02-10
CN105325000B true CN105325000B (zh) 2019-01-08

Family

ID=52021946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480032901.7A Active CN105325000B (zh) 2013-06-12 2014-06-11 图像编码装置、图像编码方法、图像解码装置和图像解码方法

Country Status (7)

Country Link
US (1) US10034019B2 (zh)
EP (1) EP3010232A4 (zh)
JP (4) JP6022060B2 (zh)
KR (1) KR101728285B1 (zh)
CN (1) CN105325000B (zh)
BR (1) BR112015030508B1 (zh)
WO (1) WO2014199634A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015001762A1 (ja) * 2013-07-05 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
CN105765978B (zh) * 2013-10-11 2019-01-29 韩国电子通信研究院 用于编码/解码图像的方法和使用其的装置
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US10484711B2 (en) * 2014-06-18 2019-11-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
KR20160105203A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법
WO2018150934A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 画像処理装置および方法
WO2018168484A1 (ja) * 2017-03-15 2018-09-20 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
US10764582B2 (en) * 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
KR200486759Y1 (ko) 2017-08-31 2018-06-27 김종문 기능성 칫솔
US11044490B2 (en) * 2017-09-28 2021-06-22 Sharp Kabushiki Kaisha Motion compensation filter apparatus, image decoding apparatus, and video coding apparatus
JP2019149753A (ja) * 2018-02-28 2019-09-05 株式会社Ｊｖｃケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム
EP3900345A4 (en) * 2018-12-20 2022-03-02 Telefonaktiebolaget LM Ericsson (publ) NORMATIVE DISPLAY OF A RECOVERY POINT
US11889118B2 (en) * 2019-02-24 2024-01-30 Sharp Kabushiki Kaisha Systems and methods for signaling types of pictures and associated information in video coding
US11533474B2 (en) 2019-03-11 2022-12-20 Dolby Laboratories Licensing Corporation Video coding using reference picture resampling supporting region of interest
BR112020019362A2 (pt) 2019-03-11 2021-09-21 Dolby Laboratories Licensing Corporation Codificação de vídeo escalável de taxa de quadros
BR122021025013A2 (pt) * 2019-05-20 2022-03-15 Panasonic Intellectual Property Corporation Of America Método de codificação, método de decodificação e mídia legível por computador não transitória
JP2022543627A (ja) 2019-08-06 2022-10-13 ドルビー ラボラトリーズ ライセンシング コーポレイション 描画面サイズ拡張可能ビデオコーディング
CN113132734B (zh) * 2019-12-31 2023-05-26 杭州海康威视数字技术股份有限公司 一种编码、解码方法、装置及其设备
CN113329269A (zh) * 2020-02-28 2021-08-31 杭州海康威视数字技术股份有限公司 视频编码、解码方法、装置、电子设备及存储介质
CN112752104B (zh) * 2021-04-06 2021-06-08 浙江华创视讯科技有限公司 图像补偿方法、装置、存储介质及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JP3187097B2 (ja) 1991-10-17 2001-07-11 株式会社東芝 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置
JP3356413B2 (ja) * 1992-12-14 2002-12-16 ソニー株式会社 画像復号化方法及び装置
US6104754A (en) * 1995-03-15 2000-08-15 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
KR100945985B1 (ko) * 2004-12-28 2010-03-09 닛본 덴끼 가부시끼가이샤 동화상 부호화 방법 및 이것을 이용한 장치와, 컴퓨터프로그램
JP2010041354A (ja) * 2008-08-05 2010-02-18 Victor Co Of Japan Ltd 動画像符号化方法、符号化装置及び符号化プログラム
JP5489557B2 (ja) 2009-07-01 2014-05-14 パナソニック株式会社 画像符号化装置及び画像符号化方法
DK2728861T3 (en) 2011-07-02 2017-10-23 Samsung Electronics Co Ltd Method and apparatus for multiplexing and demultiplexing video data to identify the reproduction state of video data.
WO2015001762A1 (ja) * 2013-07-05 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High-level Syntax: Marking process for non-TMVP pictures;Bin Li et al.;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 7th Meeting: Geneva, CH, 21-30 November, 2011，JCTVC-G398》;20111122;全文
Random access support for HEVC;Akira Fujibayashi et al.;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 4th Meeting: Daegu, Korea, 20-28 January, 2011, JCTVC-D234》;20110115;全文

Also Published As

Publication number Publication date
JP2017005723A (ja) 2017-01-05
JP6022060B2 (ja) 2016-11-09
BR112015030508B1 (pt) 2023-11-07
EP3010232A4 (en) 2017-01-25
EP3010232A1 (en) 2016-04-20
BR112015030508A2 (pt) 2017-07-25
CN105325000A (zh) 2016-02-10
JPWO2014199634A1 (ja) 2017-02-23
KR20160019098A (ko) 2016-02-18
US10034019B2 (en) 2018-07-24
US20160094860A1 (en) 2016-03-31
JP6573689B2 (ja) 2019-09-11
KR101728285B1 (ko) 2017-04-18
JP2017005722A (ja) 2017-01-05
WO2014199634A1 (ja) 2014-12-18
JP6218896B2 (ja) 2017-10-25
JP2018137741A (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
CN105325000B (zh) 图像编码装置、图像编码方法、图像解码装置和图像解码方法
CN105981389B (zh) 图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法
JP7055230B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体
CN105872566B (zh) 图像编码装置和方法、以及图像译码装置和方法
CN104904213B (zh) 可缩放及多视角视频译码中的高级残差预测
CN104412593B (zh) 图像解码装置以及图像编码装置
JP6716836B2 (ja) 動画像符号化データ
CN109792516A (zh) 图像和视频编解码中用于帧内色度编解码的方法及装置
JP6807987B2 (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
CN109479130A (zh) 基于几何变换的自适应环路滤波
CN108605126A (zh) 从用于视频译码的固定滤波器预测滤波器系数
CN105103547A (zh) 彩色图像编码装置、彩色图像解码装置、彩色图像编码方法以及彩色图像解码方法
CN107105262A (zh) 对帧内预测模式进行解码的方法
CN110366850A (zh) 基于帧内预测模式处理图像的方法和用于该方法的设备
JP6373008B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6362370B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2014204311A (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JP2014090327A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014090326A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant