CN105791834B - 图像解码装置和图像解码方法 - Google Patents

图像解码装置和图像解码方法 Download PDF

Info

Publication number
CN105791834B
CN105791834B CN201610161628.9A CN201610161628A CN105791834B CN 105791834 B CN105791834 B CN 105791834B CN 201610161628 A CN201610161628 A CN 201610161628A CN 105791834 B CN105791834 B CN 105791834B
Authority
CN
China
Prior art keywords
frame
prediction
block
luminance signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610161628.9A
Other languages
English (en)
Other versions
CN105791834A (zh
Inventor
中村博哉
福岛茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011139677A external-priority patent/JP5614381B2/ja
Priority claimed from JP2011139678A external-priority patent/JP5678818B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN105791834A publication Critical patent/CN105791834A/zh
Application granted granted Critical
Publication of CN105791834B publication Critical patent/CN105791834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00042—Monitoring, i.e. observation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明涉及图像解码装置和图像解码方法。帧内预测部(103)在对图像信号按预先设定的最小编码块单位进行帧内预测时，若被设定了将亮度信号水平和垂直分割的分割模式，则根据色差格式，按所设定的最小编码块内的色差信号的帧内预测的预测块单位进行色差信号的帧内预测。第2编码比特串生成部(113)生成亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息的编码串。

Description

图像解码装置和图像解码方法
本分案申请是申请号为201280030889.7、申请日为2012年6月14日、申请人为JVC建伍株式会社的发明专利的分案申请，该发明专利申请的发明名称为“图像编码装置、图像编码方法及图像编码程序、以及图像解码装置、图像解码方法及图像解码程序”。
技术领域
本发明涉及图像编码及解码技术，特别涉及画面内编码及解码技术。
背景技术
作为动图像的压缩编码方式的代表，有MPEG－4AVC/H.264标准。在MPEG－4AVC/H.264中，按将图片分割成多个矩形块后的宏块单位进行编码。宏块的尺寸不拘泥于图像尺寸，按亮度信号被规定为16×16像素。此外，宏块中还包含色差信号，但宏块所含的色差信号的尺寸根据所编码的图像的色差格式而不同，在色差格式为4：2：0时，按色差信号为8×8像素，在色差格式为4：2：2时，按色差信号为8×16像素，在色差格式为4：4：4时，按色差信号为16×16像素。
色差格式用X：Y：Z来表示1个亮度信息与2个色差信息共3个信号的被采样后的像素数的比率。MPEG－4AVC/H.264中作为编码及解码的对象的图像的色差格式有4：2：0、4：2：2、4：4：4、及单色。
图3是说明图像的各色差格式的图。×表示图像的画面平面上的亮度信号的像素的位置，○表示色差信号的像素的位置。
图3的(a)所示的4：2：0是相对于亮度信号，色差信号在水平、垂直两方向上按二分之一密度采样后的色差格式。此外，4：2：0也有在图3的(e)所示的位置被采样到色差信号的时候。
图3的(b)所示的4：2：2是相对于亮度信号，色差信号在水平方向上按二分之一密度、垂直方向上按相同密度采样后的色差格式。
图3的(c)所示的4：4：4是亮度信号、色差信号都按相同密度采样后的色差格式。
图3的(d)所示的单色是无色差信号、仅由亮度信号构成的色差格式。
此外，亮度信号和色差信号为共用运动补偿等编码信息而被作为集(set)进行编码和解码，但在4：4：4时，还准备有将1个亮度信号和2个色差信号独立地作为3个单色进行编码及解码的方式。
在AVC/H.264方式下，采用了从编码/解码对象图片内的已编码·解码了的块进行预测的方法。将该方法称为帧内预测。此外，采用了将已编码·解码了的图片作为参照图片，预测相对于参照图片的运动的运动补偿。将该通过运动补偿来预测运动的方法称为帧间预测。
首先，说明在AVC/H.264方式的帧内编码中的帧内预测时切换帧内预测模式的单位。图4的(a)～(c)是用于说明切换帧内预测模式的单位的图。在AVC/H.264方式的帧内编码中，作为切换帧内预测模式的单位，准备有“4×4帧内预测”、“16×16帧内预测”、“8×8帧内预测”三种。
在“4×4帧内预测”时，将宏块(亮度信号16×16像素块、色差信号8×8像素块)的亮度信号16分割成4×4像素块，按分割后的4×4像素单位从9种4×4帧内预测模式中选择模式，依次进行帧内预测(图4的(a))。
在“16×16像素帧内预测”时，按亮度信号的16×16像素块单位从4种16×16帧内预测模式中选择模式，进行帧内预测(图4的(b))。
在“8×8像素帧内预测”时，将宏块的亮度信号4分割成8×8像素块，按分割后的8×8像素单位从9种8×8帧内预测模式中选择模式，依次进行帧内预测(图4的(c))。
此外，关于色差信号的帧内预测，在色差格式为4：2：0或4：2：2时，按宏块单位从4种色差信号的帧内预测模式中选择模式，进行帧内预测。
接下来，说明AVC/H.264方式的帧间编码中的进行帧间预测的单位。图5的(a)～(h)是用于说明宏块分区和子宏块分区的图。在此，为简化说明，仅描绘了亮度信号的像素块。在MPEG系列中，宏块是按正方形区域规定的。一般，在包括AVC/H.264方式的MPEG系列中，将按16×16像素(水平16像素、垂直16像素)规定的块称为宏块。此外，在AVC/H.264方式中，将按8×8像素规定的块称为子宏块。所谓宏块分区，是指为运动补偿预测而将宏块进一步分割后的各个小块。所谓子宏块分区，是指为运动补偿预测而将子宏块进一步分割后的各个小块。
图5的(a)是表示宏块由1个宏块分区构成的图，该1个宏块分区由16×16像素的亮度信号和与之对应的2个色差信号构成。在此，将该构成称为16×16模式的宏块类型。
图5的(b)是表示宏块由2个宏块分区构成的图，该2个宏块分区由16×8像素(水平16像素、垂直8像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区纵向排列。在此，将该构成称为16×8模式的宏块类型。
图5的(c)是表示宏块由2个宏块分区构成的图，该2个宏块分区由8×16像素(水平8像素、垂直16像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区横向排列。在此，将该构成称作8×16模式的宏块类型。
图5的(d)是表示宏块由4个宏块分区构成的图，该4个宏块分区由8×8像素的亮度信号和与之对应的2个色差信号构成。该4个宏块分区纵横各2个地排列。将该构成称作8×8模式的宏块类型。
图5的(e)是表示子宏块由1个子宏块分区构成的图，该1个子宏块分区由8×8像素的亮度信号和与之对应的2个色差信号构成。在此，将该构成称作8×8模式的子宏块类型。
图5的(f)是表示子宏块由2个子宏块分区构成的图，该2个子宏块分区由8×4像素(水平8像素、垂直4像素)的亮度信号和与之对应的2个色差信号构成。该2个子宏块分区纵向排列。将该构成称作8×4模式的子宏块类型。
图5的(g)是表示子宏块由2个子宏块分区构成的图，该2个子宏块分区由4×8像素(水平4像素、垂直8像素)的亮度信号和与之对应的2个色差信号构成。该2个宏块分区横向排列。在此，将该构成称作4×8模式的子宏块类型。
图5的(h)是表示子宏块由4个子宏块分区构成的图，该4个子宏块分区由4×4像素的亮度信号和与之对应的2个色差信号构成。该4个子宏块分区纵横各2个地排列。在此，将该构成称作4×4模式的子宏块类型。
在AVC/H.264编码方式中，采取了能从以上运动补偿块尺寸中选择并使用的方案。首先，作为宏块单位的运动补偿块尺寸，能从16×16、16×8、8×16及8×8模式的宏块类型中选择任一者。在8×8模式的宏块类型被选择时，作为子宏块单位的运动补偿块尺寸，能从8×8、8×4、4×8、4×4模式的子宏块类型中选择任一者。
【在先技术文献】
【非专利文献】
【非专利文献1】ISO/IEC 14496-10 Information technology--Coding ofaudio-visual objects--Part 10:Advanced Video Coding
发明内容
〔发明所要解决的课题〕
在对图像信号的帧内预测模式的相关信息进行编码时，将亮度信号的帧内预测模式的相关信息和色差信号的帧内预测模式的相关信息编码而排列到编码比特串内，但此时，若没有根据色差格式对帧内预测模式进行编码，则处理效率会变差。
本发明是鉴于这种状况而研发的，其目的在于，提供一种能通过与色差格式相应的亮度信号和色差信号的帧内预测来高效地对图像信号进行编码的图像编码及解码技术。
〔用于解决课题的手段〕
为解决上述课题，本发明一个方案的图像编码装置是一种按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码的图像编码装置，包括：亮度信号帧内预测部(103)，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；色差信号帧内预测部(103)，在设定有上述分割模式、且色差格式为4：2：0的情况下，不将上述最小编码块的色差信号分割地设定色差信号的预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及编码串生成部(113)，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
本发明的另一方案也是图像编码装置。该装置是一种按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码的图像编码装置，包括：亮度信号帧内预测部(103)，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；色差信号帧内预测部(103)，在设定有上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小编码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并针对上述色差信号的各个预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及编码串生成部(113)，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
本发明再一个方案还是图像编码装置。该装置是一种按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码的图像编码装置，包括：
亮度信号帧内预测部(103)，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；色差信号帧内预测部(103)，在设定有上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小编码块的色差信号水平地分割后的第1及第2色差信号的预测块，并针对上述色差信号的各个预测块，分别根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及编码串生成部(113)，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
本发明再一个方案是图像编码方法。该方法是一种按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码的图像编码方法，包括：亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：2：0的情况下，不将上述最小编码块的色差信号分割地设定色差信号的预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
本发明的另一个方案也是图像编码方法。该方法是一种按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码的图像编码方法，包括：亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小编码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并针对上述色差信号的各个预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
本发明的再一个方案还是图像编码方法。该方法是一种按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码的图像编码方法，包括：亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小编码块的色差信号水平地分割后的第1及第2色差信号的预测块，并针对上述色差信号的各个预测块，分别根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
本发明一个方案的图像解码装置是将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码的图像解码装置，包括：编码串解码部(203)，在对图像信号按预先设定的最小解码块单位进行帧内预测时，在取得水平和垂直地分割亮度信号的分割模式、且色差格式为4：2：0的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；亮度信号帧内预测部(206)，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及色差信号帧内预测部(206)，在被设定了上述分割模式、且色差格式为4：2：0的情况下，不分割上述最小解码块的色差信号地设定色差信号的预测块，并根据基于解码出的与帧内色差预测模式相关的信息而得到的帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
本发明的另一方案也是图像解码装置。该装置是将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码的图像解码装置，包括：编码串解码部(203)，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：4：4的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；亮度信号帧内预测部(206)，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及色差信号帧内预测部(206)，在被设定了上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小解码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并根据基于解码出的上述色差信号的各预测块的与帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
本发明的再一个方案还是图像解码装置。该装置是将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码的图像解码装置，包括：编码串解码部(203)，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：2：2的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；亮度信号帧内预测部(206)，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及色差信号帧内预测部(206)，在被设定了上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小解码块的色差信号水平分割后的第1及第2色差信号的预测块，并根据基于解码出的上述色差信号的各预测块的与帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
本发明的再一个方案还是图像解码装置。该装置对与帧内预测模式相关的信息进行解码，以块为单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，包括：编码串解码部，在对图像信号以编码块为单位进行帧内预测时，在获取将亮度信号以水平和垂直进行分割的分割模式、且色差格式为4：2：0的情况下，从排列了与所述编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式相关的编码信息的编码串中，解码出与所述第1～第4亮度信号的预测块的帧内亮度预测模式相关的信息，接着，解码出与色差信号的预测块的帧内色差预测模式相关的信息；亮度信号帧内预测部，在设定有所述分割模式的情况下，设定将所述编码块的亮度信号以水平和垂直进行分割后的第1～第4亮度信号的预测块，根据基于解码出的与所述亮度信号的各预测块的帧内亮度预测模式相关的信息来得到的各帧内亮度预测模式，基于周围的已解码的亮度信号的块来预测亮度信号；以及色差信号帧内预测部，在设定有所述分割模式、且色差格式为4：2：0的情况下，不分割所述色差信号而设定色差信号的预测块，并根据基于解码出的与帧内色差预测模式相关的信息而得到的帧内色差预测模式，基于周围的已解码的色差信号的块来预测色差信号，所述色差信号帧内预测部在根据帧内亮度预测模式来设定帧内色差预测模式的模式下，将表示所述编码块内的第1亮度信号的预测块的帧内亮度预测模式的值用作表示所述编码块内的色差信号的预测块的帧内色差预测模式的值，由此设定帧内色差预测模式。
本发明的再一个方案是图像解码方法。该方法是将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码的图像解码方法，包括：编码串解码步骤，在对图像信号按预先设定的最小解码块单位进行帧内预测时，在取得水平和垂直地分割亮度信号的分割模式、且色差格式为4：2：0的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：2：0的情况下，不分割上述最小解码块的色差信号地设定色差信号的预测块，并根据基于解码出的与帧内色差预测模式相关的信息而得到的帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
本发明的再一个方案也是图像解码方法。该方法是将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码的图像解码方法，包括：编码串解码步骤，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：4：4的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小解码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并根据基于解码出的上述色差信号的各预测块的与帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
本发明的再一个方案还是图像解码方法。该方法是将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码的图像解码方法，包括：编码串解码步骤，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：2：2的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小解码块的色差信号水平分割后的第1及第2色差信号的预测块，并根据基于解码出的上述色差信号的各预测块的与帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
本发明的再一个方案还是图像解码方法。该方法对与帧内预测模式相关的信息进行解码，以块为单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，包括：编码串解码步骤，在对图像信号以编码块为单位进行帧内预测时，在获取将亮度信号以水平和垂直进行分割的分割模式、且色差格式为4：2：0的情况下，从排列了与所述编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式相关的编码信息的编码串中，解码出与所述第1～第4亮度信号的预测块的帧内亮度预测模式相关的信息，接着，解码出与色差信号的预测块的帧内色差预测模式相关的信息；亮度信号帧内预测步骤，在设定有所述分割模式的情况下，设定将所述编码块的亮度信号以水平和垂直进行分割后的第1～第4亮度信号的预测块，根据基于解码出的与所述亮度信号的各预测块的帧内亮度预测模式相关的信息来得到的各帧内亮度预测模式，基于周围的已解码的亮度信号的块来预测亮度信号；以及色差信号帧内预测步骤，在设定有所述分割模式、且色差格式为4：2：0的情况下，不分割所述色差信号而设定色差信号的预测块，并根据基于解码出的与帧内色差预测模式相关的信息而得到的帧内色差预测模式，基于周围的已解码的色差信号的块来预测色差信号，在所述色差信号帧内预测步骤中，在根据帧内亮度预测模式来设定帧内色差预测模式的模式下，将表示所述编码块内的第1亮度信号的预测块的帧内亮度预测模式的值用作表示所述编码块内的色差信号的预测块的帧内色差预测模式的值，由此设定帧内色差预测模式。
此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的实施方式，作为本发明的方案也是有效的。
〔发明效果〕
通过本发明，能通过与色差格式相应的亮度信号和色差信号的帧内预测来高效地对图像信号进行编码及解码。
附图说明
图1是表示实施方式的图像编码装置的构成的功能块图。
图2是表示实施方式的图像解码装置的构成的功能块图。
图3是说明图像的色差格式的图。
图4是说明AVC/H.264方式的切换帧内预测模式的单位的图。
图5是说明AVC/H.264方式的进行帧间预测的单位的图。
图6是说明本实施例中规定的树块、及编码块的图。
图7是说明本实施例中规定的分割模式的图。
图8是说明本实施例中规定的帧内预测模式的值和预测方向的图。
图9是用于说明本实施例中规定的块的位置的一个例子的图。
图10是说明按序列参数集对色差格式信息进行编码时的、句法的定义的一个例子的图，该序列参数集是对本实施例中规定的序列(sequens)整体的编码的相关信息进行编码的首部。
图11是说明本实施例中规定的帧内预测时的N×N分割的编码块的色差信号的分割方法的图。
图12是表示实施方式的图像编码装置的第2编码比特串生成部的构成的功能块图。
图13是表示实施方式的图像解码装置的第2编码比特串解码部的构成的功能块图。
图14是本实施例中规定的基于解码侧所用的句法要素的值、和与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，算出帧内色差预测模式的值的变换表。
图15是本实施例中规定的色差格式为4：2：2，基于与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，算出帧内色差预测模式的值的变换表。
图16是本实施例中规定的基于编码侧所用的帧内色差预测模式的值、和与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，算出与帧内色差预测模式相关的句法要素的值的变换表。
图17是表示实施方式的N×N分割时的与帧内亮度预测模式、及帧内色差预测模式相关的句法要素的熵编码或解码顺序的图。
图18是本实施例中规定的用于预测块的编码信息的编码及解码的句法规则的一个例子。
图19是本实施例中规定的用于预测块的编码信息的编码及解码的句法规则的不同于图18的另一例。
图20是说明实施方式的第2编码比特串生成部所进行的编码块、及预测块单位的编码处理的处理步骤的流程图。
图21是说明实施方式的图20的步骤S1003、步骤S1007、步骤S1011、步骤S1014中所使用的共通的编码处理步骤的流程图。
图22是说明实施方式的图20的步骤S1005、步骤S1009、步骤S1013、步骤S1016中所使用的共通的编码处理步骤的流程图。
图23是说明实施方式的第2编码比特串解码部所进行的编码块、及预测块单位的解码处理的处理步骤的流程图。
图24是实施方式的图23的步骤S2003、步骤S2007、步骤S2010、步骤S2013中所采用的共通的解码处理步骤的流程图。
图25是说明在实施方式的图23的步骤S2005、步骤S2009、步骤S2012、步骤S2015中也采用的共通的解码处理步骤的流程图。
图26是说明在实施方式的图25的步骤S2202中采用的帧内色差预测模式的值的计算处理步骤的流程图。
图27是说明色差格式为4：2：2时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。
图28是说明色差格式为4：2：0时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。
具体实施方式
在本实施方式中，关于动图像的编码，特别按将图片分割成任意尺寸、形状的矩形后的块单位，利用帧内预测、和基于已解码的图片进行运动补偿的帧间预测来削减码量，所述帧内预测在编码中是基于已编码和已解码的周围块的像素值进行预测、在解码中是基于已经解码(以下称作已解码)的周围块的像素值进行预测。
首先，定义在本实施例中使用的技术及技术用语。
(色差格式)
关于在实施方式的说明中作为编码及解码的对象的图像的色差格式，假定有在AVC/H.264方式中也被作为对象的单色、4：2：0、4：2：2及4：4：4，将亮度信号和色差信号作为集来进行编码和解码。但在关于色差信号的说明中，省略单色的情况的说明。此外，关于在4：4：4时对亮度信号和色差信号独立进行编码的方法，在本实施例中视作单色。
(关于树块(tree block)、编码块)
在实施方式中，如图6所示，在画面内按任意的相同尺寸的正方矩形单位进行均等分割。将该单位定义为树块，作为用于确定图像内的编码/解码对象块(在编码中为编码对象块、在解码中为解码对象块)的地址管理的基本单位。除单色外，树块由1个亮度信号和2个色差信号构成。树块的尺寸可根据图片尺寸、画面内的纹理而按2的幂的尺寸自由设定。对于树块，根据画面内的纹理，为使编码处理最佳，可以根据需要将树块内的亮度信号及色差信号阶层地4分割(纵横各2分割)，使之成为块尺寸小的块。将该块分别定义为编码块，作为进行编码及解码时的处理的基本单位。除单色外，编码块也由1个亮度信号和2个色差信号构成。编码块的最大尺寸与树块的尺寸相同。将成为编码块的最小尺寸的编码块称作最小编码块，可以按2的幂的尺寸自由设定。
在图6中，编码块A是不分割树块、作为1个编码块的情况。编码块B是将树块4分割后的编码块。编码块C是对将树块4分割后的块再进行4分割而成的编码块。编码块D是对将树块4分割后的块再阶层地两次4分割而成的编码块，是最小尺寸的编码块。
在实施方式的说明中，色差格式为4：2：0，将树块的尺寸针对亮度信号设定为64×64像素、针对色差信号设定为32×32像素，将最小的编码块的尺寸针对亮度信号设定为8×8像素、针对色差信号设定为4×4像素。在图6中，编码块A的尺寸针对亮度信号为64×64像素、针对色差信号为32×32像素，编码块B的尺寸针对亮度信号为32×32像素、针对色差信号为16×16像素，编码块C的尺寸针对亮度信号为16×16像素、针对色差信号为8×8像素，编码块D的尺寸针对亮度信号为8×8像素、针对色差信号为4×4像素。此外，在色差格式为4：4：4时，各编码块的亮度信号和色差信号的尺寸变得相等。在色差格式为4：2：2时，编码块A的尺寸针对色差信号为32×64像素，编码块B的尺寸针对色差信号为16×32像素，编码块C的尺寸针对色差信号为8×16像素，作为最小编码块的编码块D的尺寸针对色差信号为4×8像素。
(关于预测模式)
按照编码块单位，切换基于已编码/解码的周围的图像信号进行预测的帧内预测、和基于已编码/解码的图像的图像信号进行预测的帧间预测。将识别该帧内预测和帧间预测的模式定义为预测模式(PredMode)。预测模式(PredMode)以值的形式表现帧内预测(MODE_INTRA)或帧间预测(MODE_INTER)，能选择并编码。
(关于分割模式、预测块)
在将画面内分割成块进行帧内预测及帧间预测时，为使切换帧内预测及帧间预测的方法的单位更小，根据需要而将编码块分割进行预测。将用于识别该编码块的亮度信号和色差信号的分割方法的模式定义为分割模式(PartMode)。进而，将该分割后的块定义为预测块。如图7所示，根据编码块的亮度信号的分割方法定义4种分割模式(PartMode)。将不分割编码块的亮度信号、视为1个预测块时(图7的(a))的分割模式(PartMode)定义为2N×2N分割(PART_2Nx2N)；将对编码块的亮度信号进行水平方向2分割、成为2个预测块时(图7的(b))的分割模式(PartMode)定义为2N×N分割(PART_2NxN)；将对编码块的亮度信号进行垂直方向分割、使编码块成为2个预测块时(图7的(c))的分割模式(PartMode)定义为N×2N分割(PART_Nx2N)；将使编码块的亮度信号通过水平和垂直的均等分割而成为4个预测块时(图7的(d))的分割模式(PartMode)定义为N×N分割(PART_NxN)。此外，除帧内预测(MODE_INTRA)的N×N分割(PART_NxN)外，针对各分割模式(PartMode)分别与亮度信号的纵横的分割比率同样地对色差信号也进行分割。帧内预测(MODE_INTRA)的N×N分割(PART_NxN)的编码块的色差信号的纵横分割比率根据色差格式的种类而不同，对此将在后面说明。
在编码块内部，为确定各预测块，按编码顺序对存在于编码块内部的预测块分配从0开始的编号。将该编号定义为分割索引PartIdx。图7的编码块的各预测块中所记载的数字表示该预测块的分割索引PartIdx。在图7的(b)所示的2N×N分割(PART_2NxN)中，使上方的预测块的分割索引PartIdx为0，使下方的预测块的分割索引PartIdx为1。在图7的(c)所示的N×2N分割(PART_Nx2N)中，使左侧的预测块的分割索引PartIdx为0，使右侧的预测块的分割索引PartIdx为1。在图7的(d)所示的N×N分割(PART_NxN)中，使左上的预测块的分割索引PartIdx为0，使右上的预测块的分割索引PartIdx为1，使左下的预测块的分割索引PartIdx为2，使右下的预测块的分割索引PartIdx为3。
在预测模式(PredMode)为帧内预测(MODE_INTRA)时，除作为最小编码块的编码块D(在本实施例中，针对亮度信号为8×8像素)外，分割模式(PartMode)定义了2N×2N分割(PART_2Nx2N)，仅作为最小编码块的编码块D，分割模式(PartMode)定义了2N×2N分割(PART_2Nx2N)和N×N分割(PART_NxN)。
在预测模式(PredMode)为帧间预测(MODE_INTER)时，除作为最小编码块的编码块D外，分割模式(PartMode)定义了2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、及N×2N分割(PART_Nx2N)，仅作为最小编码块的编码块D，分割模式(PartMode)在2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、及N×2N分割(PART_Nx2N)基础上还定义了N×N分割(PART_NxN)。此外，在最小的编码块以外不定义N×N分割(PART_NxN)的理由，是在最小编码块以外，无法将编码块4分割后表现更小的编码块。
(关于帧内预测、帧内预测模式)
在帧内预测中，根据同一画面内的周围的已解码的块的像素的值来预测处理对象块的像素的值。在本实施例的编码装置及解码装置中，从34种帧内预测模式中选择，进行帧内预测。图8是说明本实施例中规定的帧内预测模式的值和预测方向的图。实线箭头所指示的方向表示帧内预测的预测方向、即帧内预测中参照的方向，参照相邻的块的箭头所指示的方向的已解码的像素，进行箭头始点的像素的帧内预测。编号表示帧内预测模式的值。帧内预测模式(intraPredMode)除定义了从上方的已解码块沿垂直方向预测的垂直预测(帧内预测模式intraPredMode＝0)、从左侧的已解码块沿水平方向预测的水平预测(帧内预测模式intraPredMode＝1)、从周围的已解码块算出平均值来进行预测的平均值预测(帧内预测模式intraPredMode＝2)、从周围的已解码块按斜向45度角度进行预测的平均值预测(intraPredMode＝3)外，还定义从周围的已解码块按各种各样的角度沿斜向进行预测的30种角度预测(帧内预测模式intraPredMode＝4…33)。
针对亮度信号、色差信号分别准备帧内预测模式，将亮度信号用的帧内预测模式定义为帧内亮度预测模式、将色差信号用的帧内预测模式定义为帧内色差预测模式。在帧内亮度预测模式的编码和解码中，利用与周边块的帧内亮度预测模式的相关性，采取如下方式：在编码侧被判定为能从周边块的帧内亮度预测模式进行预测时，传输用于确定要参照的块的信息，在被判定为与从周边块的帧内亮度预测模式进行预测相比、对帧内亮度预测模式设定其它值更佳时，进一步将帧内亮度预测模式的值编码或解码。通过从周边块的帧内亮度预测模式预测编码·解码对象块的帧内亮度预测模式，能削减要传输的码量。另一方面，在帧内色差预测模式的编码和解码中，利用与同色差信号的预测块处于相同位置的亮度信号的预测块的帧内亮度预测模式的相关性，采取如下方式：在编码侧被判定为能从帧内亮度预测模式进行预测时，从帧内亮度预测模式的值预测帧内色差预测模式的值，在判定为与从帧内亮度预测模式进行预测相比、对帧内色差预测模式设定独自的值更佳时，将帧内色差预测模式的值编码或解码。通过从帧内亮度预测模式预测帧内色差预测模式，能削减要传输的码量。
(变换块)
同以往一样，在本实施方式中采用DCT(离散余弦变换)、DST(离散正弦变换)等将离散信号变换到频域的正交变换及其逆变换，来谋求码量的削减。按将编码块阶层地4分割后的变换块单位进行变换或逆变换。在实施方式中，定义32×32像素、16×16像素、8×8像素、4×4像素的四种变换尺寸，进行32×32变换、16×16变换、8×8变换、4×4变换、以及各自的逆变换。
(树块、编码块、预测块、变换块的位置)
关于本实施例中说明的树块、编码块、预测块、变换块等各块的位置，以亮度信号的画面最左上方的亮度信号像素的位置为原点(0，0)，用(x，y)二维坐标表示各个块的区域所包含的最左上方的亮度信号像素的位置。关于坐标轴的朝向，在水平方向上以右方向为正向、在垂直方向上以下方向为正向，单位是亮度信号的1像素单位。不仅是在亮度信号和色差信号的图像尺寸(像素数)相同的色差格式为4：4：4时，在亮度信号和色差信号的图像尺寸(像素数)不同的色差格式为4：2：0、4：2：2时，也将色差信号的各块的位置用该块的区域所包含的亮度信号的像素的坐标来表示，单位是亮度信号的1像素。通过这样设计，除能确定色差信号的各块的位置外，仅比较坐标的值就能明确亮度信号的块与色差信号的块的位置的关系。图9是用于说明色差格式为4：2：0时的本实施例中规定的块的位置的一个例子的图。图9的×表示图像的画面平面上的亮度信号像素的位置，○表示色差信号像素的位置。图9的虚线四边形是8×8像素的亮度信号的块E，同时也是4×4像素的色差信号的块F。▲是虚线所示的8×8像素的亮度信号的块E的最左上方的亮度信号像素的位置。因此，▲成为虚线所示的8×8像素的亮度信号的块E的位置，▲所示的像素的亮度信号的坐标成为虚线所示的8×8像素的亮度信号的块E的坐标。同样地，▲也是虚线所示的4×4像素的色差信号的块F的区域中所包含的最左上方的亮度信号像素的位置。因此，▲也成为虚线所示的4×4像素的色差信号的块F的位置，▲所示的像素的亮度信号的坐标成为虚线所示的4×4像素的色差信号的块F的坐标。在实施方式中，与色差格式的种类及块的形状、大小无关，仅在所定义的亮度信号的块的坐标与色差信号的块的坐标的x分量和y分量的值都相同时，定义为这些块处于相同位置。
图1是表示实施方式的图像编码装置的构成的块。实施方式的图像编码装置包括色差格式设定部101、图像存储器102、帧内预测部103、帧间预测部104、编码方法决定部105、残差信号生成部106、正交变换·量化部107、逆量化·逆正交变换部108、解码图像信号重叠部109、解码图像存储器111、第1编码比特串生成部112、第2编码比特串生成部113、第3编码比特串生成部114、编码比特串多路化部115。
色差格式设定部101设定编码对象的图像信号的色差格式。可以根据被提供给色差格式设定部101的编码图像信号判断色差格式后设定色差格式，也可以从外部设定。仅亮度信号，被设定为4：2：0、4：2：2或4：4：4的色差格式的信息被提供给第1编码比特串生成部112，并被提供给第2编码比特串生成部113，进行基于色差格式的编码处理。在此并未图示的是，在图1的图像存储器102、帧内预测部103、帧间预测部104、编码方法决定部105、残差信号生成部106、正交变换·量化部107、逆量化·逆正交变换部108、解码图像信号重叠部109、第3编码比特串生成部114中也基于该设定的色差格式进行编码处理，在编码信息保存存储器110、解码图像存储器111中，基于该设定的色差格式进行管理。
在图像存储器102中临时保存按时间顺序供给来的编码对象的图像信号。图像存储器102中所保存的编码对象的图像信号被按编码顺序重排后，按与设定相应的多个组合被分割成各编码块单位，进而被分割成各预测块单位后，提供给帧内预测部103、帧间预测部104。
帧内预测部103按与多个编码块单位中的各分割模式(PartMode)相应的预测块单位，从解码图像存储器111所保存的已解码的图像信号，针对编码对象预测块的亮度信号、色差信号分别进行与多个帧内亮度预测模式及帧内色差预测模式相应的各帧内预测，得到帧内预测信号。帧内色差预测模式限于根据色差格式而从帧内亮度预测模式预测出的值、或作为代表性的帧内预测模式的0(垂直方向)、1(水平方向)、2(平均值)、3(斜45度)进行选择。关于从帧内亮度预测模式预测帧内色差预测模式的方法，将在后面说明。
从按预测块单位供给的编码对象的信号针对每个像素减去预测块单位的帧内预测信号，得到预测残差信号。利用该预测残差信号算出用于评价码量和畸变量的评价值，并按预测块单位从多个帧内预测模式中选择码量和畸变量方面最佳的模式，作为该预测块的帧内预测的候选，将与所选择的帧内预测模式对应的帧内预测信息、帧内预测信号、及帧内预测的评价值提供给编码方法决定部105。关于进行帧内预测的预测处理单位，将在后面说明。
帧间预测部104按与多个编码块单位中的各个分割模式(PartMode)相应的单位、即预测块单位，从解码图像存储器111中所保存的已解码的图像信号进行多个帧间预测模式(L0预测、L1预测、双预测)、及与参照图像相应的各帧间预测，得到帧间预测信号。此时，进行运动矢量检索，并根据检索出的运动矢量进行帧间预测。在双预测时，通过将2个帧间预测信号按各像素分别平均或加权相加，来进行双预测的帧间预测。从按预测块单位供给的编码对象的信号按各像素分别减去预测块单位的帧间预测信号，得到预测残差信号。利用该预测残差信号算出用于评价码量和畸变量的评价值，并按预测块单位从多个帧间预测模式中选择在码量及畸变量方面最佳的模式，作为该预测块的帧间预测的候选，将与所选择的帧间预测模式对应的帧间预测信息、帧间预测信号、及帧间预测的评价值提供给编码方法决定部105。
编码方法决定部105基于针对多个编码块单位中的各预测块分别选择的帧内预测信息所对应的帧内预测评价值、及与帧间预测信息对应的帧间预测评价值，决定最佳的编码块的分割方法、预测模式(PredMode)、分割模式(PartMode)，并将包含与决定相应的帧内预测信息或帧间预测信息的编码信息提供给第2编码比特串生成部113，并保存到编码信息保存存储器110中，将与决定相应的帧内预测或帧间预测出的预测信号提供给残差信号生成部106及解码图像信号重叠部109。
残差信号生成部106将要编码的图像信号按每像素减去帧内预测或帧间预测出的预测信号，生成残差信号，提供给正交变换·量化部107。
正交变换·量化部107根据量化参数对供给来的残差信号进行DCT、DST等变换到频域的正交变换及量化，生成正交变换和量化后的残差信号，提供给第3编码比特串生成部114、及逆量化·逆正交变换部108。
第1编码比特串生成部112按照句法要素的意思、定义导出方法的语义(Semantic)规则，算出关于序列、图片、及片(slice)单位的编码信息的句法要素的值，对算出的各句法要素的值按照句法规则进行基于可变长度编码、算术编码等的熵编码，生成第1编码比特串，将被编码后的第1编码比特串提供给编码比特串多路化部115。关于色差格式的句法要素的值也在第1编码比特串生成部112中被算出。根据从色差格式设定部101供给的色差格式信息，算出关于色差格式的句法要素。图10是按序列参数集对色差格式信息进行编码时的、句法的定义的一个例子的图，该序列参数集是对本实施例中规定的序列(sequens)整体的编码的相关信息进行编码的首部。句法要素chroma_format_idc表示色差格式的种类。句法要素chroma_format_idc的意思是，值为0时表示单色、为1表示4：2：0、为2时表示4：2：2、为3时表示4：4：4。此外，句法要素separate_colour_plane_flag的意思是表示亮度信号和色差信号是否被分别编码，在separate_colour_plane_flag的值为0时，表示亮度信号被与2个色差信号建立对应地编码。句法要素chroma_format_idc的值为1时，表示亮度信号和2个色差信号被分别编码。仅在句法要素chroma_format_idc的值为3、即色差格式为4：4：4时，能将chroma_format_idc的值设定为0或1，在这以外的色差格式时，使句法要素separate_colour_plane_flag的值总是为0地被编码。
第2编码比特串生成部113按照句法要素的意思、定义导出方法的语义规则，除编码块单位的编码信息外还针对每个预测块算出关于编码方法决定部105所决定的编码信息的句法要素的值。具体来说，除编码块的分割方法、预测模式(PredMode)、分割模式(PartMode)等编码块单位的编码信息外，还算出关于预测块单位的编码信息的句法要素的值。预测模式(PredMode)为帧内预测时，算出与包含帧内亮度预测模式及帧内色差预测模式的帧内预测模式相关的句法要素的值，在预测模式(PredMode)为帧间预测时，算出帧间预测模式、确定参照图像的信息、运动矢量等关于帧间预测信息的句法要素的值。对所算出的各句法要素的值，按照句法规则进行基于可变长度编码、算术编码等的熵编码，生成第2编码比特串，将被编码后的第2编码比特串提供给编码比特串多路化部115。关于在第2编码比特串生成部113中进行的与帧内亮度预测模式及帧内色差预测模式相关的句法要素的算出、以及与熵编码处理相关的详细的处理内容，将在后面说明。
第3编码比特串生成部114对被正交变换及量化后的残差信号按照规定的句法规则进行基于可变长度编码、算术编码等的熵编码，生成第3编码比特串，将第3编码比特串提供给编码比特串多路化部115。
在编码比特串多路化部115中，将第1编码比特串、第2编码比特串、及第3编码比特串按照规定的句法规则多路化，生成比特流，输出被多路化后的比特流。
逆量化·逆正交变换部108对从正交变换·量化部107供给的被正交变换和量化后的残差信号进行逆量化和逆正交变换，算出残差信号，提供给解码图像信号重叠部109。解码图像信号重叠部109根据编码方法决定部105的决定，将被帧内预测或帧间预测出的预测信号与被逆量化·逆正交变换部108逆量化及逆正交变换后的残差信号重叠，生成解码图像，保存到解码图像存储器111中。此外，有时也对解码图像施以使编码所引起的块畸变等减少的滤波处理后保存到解码图像存储器111中。
图2是表示与图1的图像编码装置对应的实施方式的图像解码装置的构成的功能块。实施方式的图像解码装置包括编码比特串分离部201、第1编码比特串解码部202、第2编码比特串解码部203、第3编码比特串解码部204、色差格式管理部205、帧内预测部206、帧间预测部207、逆量化·逆正交变换部208、解码图像信号重叠部209、编码信息保存存储器210、解码图像存储器211、以及开关212、213。
提供给编码比特串分离部201的比特流按照规定的句法的规则分离，表示序列、图片、及片单位的编码信息的第1编码比特串被提供给第1编码比特串解码部202，包含编码块单位的编码信息的第2编码比特串被提供给第2编码比特串解码部203，包含被正交变换和量化后的残差信号的第3编码比特串被提供给第3编码比特串解码部204。
第1编码比特串解码部202按照句法规则对供给来的第1编码比特串进行熵解码，得到与序列、图片、及片单位的编码信息相关的各句法要素的值。按照句法要素的意思、定义导出方法的语义规则，根据与解码后的序列、图片、及片单位的编码信息相关的句法要素的值，算出序列、图片、及片单位的编码信息。第1编码比特串解码部202是与编码侧的第1编码比特串生成部112对应的编码比特串解码部，具有从包含被第1编码比特串生成部112编码后的序列、图片、及片单位的编码信息的编码比特串复原出各个编码信息的功能。关于在第1编码比特串生成部112中被编码后的色差格式信息，根据通过在第1编码比特串解码部202中对第2编码比特串进行熵解码而得到的与色差格式信息相关的句法要素的值来算出。按照图10所示的句法规则及语义规则，根据句法要素chroma_format_idc的值确定色差格式的种类，句法要素chroma_format_idc的值为0时表示单色、为1时表示4：2：0、为2时表示4：2：2、为3时表示4：4：4。此外，在句法要素chroma_format_idc的值为3时，解码句法要素separate_colour_plane_flag，判别亮度信号和色差信号是否为分别被编码的。所算出的色差格式信息被提供给色差格式管理部205。
色差格式管理部205管理供给来的色差格式信息。供给来的色差格式信息被提供给第2编码比特串解码部203，进行基于色差格式信息的编码块及预测块的编码信息的计算处理。此外，虽然图中并未明示，但在第3编码比特串解码部204、图2的帧内预测部206、帧间预测部207、逆量化·逆正交变换部208、解码图像信号重叠部209中也进行基于该色差格式信息的解码处理，在编码信息保存存储器210、解码图像存储器211中基于该色差格式信息被进行管理。
第2编码比特串解码部203按照句法规则对被供给来的第1编码比特串进行熵解码，得到与编码块、及预测块单位的编码信息相关的各句法要素的值。按照句法要素的意思、定义导出方法的语义规则，根据供给来的与编码块单位及预测块单位的编码信息相关的句法要素的值，算出编码块单位及预测块单位的编码信息。第2编码比特串解码部203是与编码侧的第2编码比特串生成部113对应的编码信息计算部，具有从被第2编码比特串生成部113编码的编码块、及包含预测块单位的编码信息的第2编码比特串复原出各个编码信息的功能。具体来说，从按规定的句法规则解码第2编码比特串而得到的各句法要素，得到编码块的分割方法、预测模式(PredMode)、分割模式(PartMode)，此外，在预测模式(PredMode)为帧内预测时，还得到包含帧内亮度预测模式及帧内色差预测模式的帧内预测模式。另一方面，在预测模式(PredMode)为帧间预测时，得到帧间预测模式、确定参照图像的信息、运动矢量等帧间预测信息。在预测模式(PredMode)为帧内预测时，通过开关212，将包含帧内亮度预测模式及帧内色差预测模式的帧内预测模式提供给帧内预测部206，在预测模式(PredMode)为帧间预测时，通过开关212，将帧间预测模式、确定参照图像的信息、运动矢量等帧间预测信息提供给帧间预测部207。关于在第2编码比特串解码部203中进行的熵解码处理、以及基于与帧内亮度预测模式和帧内色差预测模式相关的句法要素的帧内亮度预测模式和帧内色差预测模式的值的计算处理，将在后面说明其详细处理。
第3编码比特串解码部204将供给来的编码比特串解码，算出被正交变换和量化后的残差信号，将被正交变换和量化后的残差信号提供给逆量化·逆正交变换部208。
帧内预测部206根据供给的包含帧内亮度预测模式和帧内色差预测模式的帧内预测模式，从解码图像存储器211中所保存的已解码的周边块通过帧内预测生成预测图像信号，介由开关213将预测图像信号提供给解码图像信号重叠部209。关于进行帧内预测的单位，将在后面说明。另外，在本实施方式中，在从帧内亮度预测模式的值预测帧内色差预测模式的值时，根据色差格式，帧内色差预测模式的导出方法不同。此时，使用由根据色差格式而不同的方法导出的帧内预测模式进行帧内预测。关于帧内色差预测模式的导出方法，将在后面说明。
帧间预测部207使用供给来的帧间预测模式、确定参照图片的信息、运动矢量等帧间预测信息，从解码图像存储器211中所保存的已解码的参照图片通过利用了运动补偿的帧间预测来生成预测图像信号，介由开关213将预测图像信号提供给解码图像信号重叠部209。此外，在双预测时，对L0预测、L1预测的2个运动补偿预测图像信号适应性地乘以权重系数地进行重叠，生成最终的预测图像信号。
逆量化·逆正交变换部208对被第3编码比特串解码部204解码后的被正交变换和量化了的残差信号进行逆正交变换及逆量化，得到被逆正交变换和逆量化后的残差信号。
解码图像信号重叠部209通过将由帧内预测部206或帧间预测部207预测出的预测图像信号，与被逆量化·逆正交变换部208逆正交变换和逆量化后的残差信号重叠，来解码出解码图像信号，保存到解码图像存储器211中。在向解码图像存储器211保存时，也有时对解码图像施以用于减少编码所导致的块畸变等的滤波处理后保存到解码图像存储器211中。被保存到解码图像存储器211中的解码图像信号按输出顺序输出。
接下来，详细说明作为实施方式的发明点之一的帧内预测的预测处理单位。
首先，说明本实施例中的正交变换的最小单位。在图像编码中，利用低频分量的画质劣化容易显著，但高频分量的画质劣化不易显著这样的特性，通过将高频分量比低频分量更粗地进行量化，来削减码量。但是，由于2×2变换难以充分地分出频率分量，故码量的削减效果较差。此外，若帧内预测、变换、量化各自的处理单位过小，则对应的处理单位的数量会増大，故处理变得复杂。因此，在本实施例中，使正交变换的最小单位为4×4像素。
接下来，说明本实施例中的帧内预测的最小单位、即帧内预测时的预测块的最小尺寸。在帧内预测时，根据同一画面内的周围的已解码的块的像素值来预测处理对象块的像素值，故需要在后续的块的编码、解码处理前使解码处理完成。具体来说，使用帧内预测出的预测信号算出残差信号，对该残差信号进行正交变换、量化、及逆量化、逆变换，并与预测信号重叠，由此，解码处理完成，成为后续的块能进行帧内预测的状态。因此，帧内预测需要按与最小变换块的尺寸相同或比其大的单位来进行。因为若以比最小变换块的尺寸小的单位进行帧内预测，则其后无法进行正交变换，不能进行解码处理。因此，在本实施例中，使帧内预测的最小单位、即帧内预测时的预测块的最小尺寸也同正交变换的最小单位一样，为4×4像素。
接下来说明本实施例中的编码块的最小尺寸。关于最小编码块，预测模式(PredMode)为帧内预测(MODE_INTRA)和帧间预测时分割模式(PartMode)都定义了N×N分割。N×N分割是使编码块的亮度信号通过水平和垂直的均等分割而成为4个预测块的分割模式(PartMode)，但在本实施例中，由于将帧内预测的最小单位定为4×4像素，故编码块的最小尺寸针对亮度信号定为8×8像素。
接下来，说明帧内预测时的N×N分割的编码块的色差信号的分割方法。图11是说明帧内预测时的N×N分割的编码块的色差信号的分割方法的图。
在色差格式为4：2：0时，若编码块的最小尺寸针对亮度信号为8×8像素，则编码块的最小尺寸针对色差信号成为4×4像素，不能再进行分割。因此，在本实施方式中，若色差格式为4：2：0，则在预测模式为帧内预测、分割模式(PartMode)为N×N分割时，如图11的(a)所示那样，针对亮度信号，将编码块通过水平和垂直的均等分割而作为4个预测块，按4×4像素单位进行帧内预测，但针对色差信号，如图11的(b)所示那样，不分割编码块地作为1个预测块，按与亮度信号的预测块的尺寸相同的4×4像素单位进行帧内预测。此外，将色差信号的预测块的分割索引PartIdx设定为0。
另外，在色差格式为4：2：2时，若编码块的最小尺寸针对亮度信号为8×8像素，则编码块的最小尺寸针对色差信号成为4×8像素，故虽然能水平地均等分割，但不能垂直地均等分割。因此，在本实施方式中，若色差格式为4：2：2，则在预测模式为帧内预测、分割模式(PartMode)为N×N分割时，如图11的(a)所示那样，针对亮度信号，使编码块通过水平和垂直的均等分割而作为4个预测块、按4×4像素单位进行帧内预测，但针对色差信号，如图11的(c)所示那样，将编码块仅水平均等分割、不进行垂直分割，作为2个预测块，同样按4×4像素单位进行帧内预测。此外，将色差信号的预测块的分割索引PartIdx按编码顺序(从上至下的顺序)设定为0和2。之所以将下面的块的分割索引PartIdx定为2，是因为色差信号的下面的预测块与亮度信号的分割索引PartIdx为2的预测块处于同一位置。
所谓色差信号的预测块与亮度信号的预测块处于同一位置，是指在以预测块的左上端的像素的坐标为基准位置时，色差信号的预测块与亮度信号的预测块的基准位置相同。
此外，在色差格式为4：4：4时，若编码块的最小尺寸针对亮度信号为8×8像素，则编码块的最小尺寸针对色差信号成为8×8像素，故同亮度信号一样，能通过水平和垂直的均等分割而使之成为4个预测块。因此，在本实施方式中，若色差格式为4：4：4，则在预测模式为帧内预测、分割模式(PartMode)为N×N分割时，如图11的(a)所示那样，针对亮度信号，将编码块通过水平和垂直的均等分割而作为4个预测块、按4×4像素单位进行帧内预测，并且，针对色差信号，如图11的(c)所示那样，将编码块通过水平和垂直的均等分割而作为4个预测块、按4×4像素单位进行帧内预测。此外，同亮度信号一样，色差信号的预测块的分割索引PartIdx也按编码顺序(左上、右上、左下、右下的顺序)定为0、1、2、3。
在实施方式中，不论色差格式的种类如何，若亮度信号的预测块的分割索引PartIdx与色差信号的预测块的分割索引PartIdx的值相同，则表示亮度信号的预测块的位置的坐标(预测块的最左上的像素的坐标)与表示色差信号的预测块的位置的坐标(预测块的最左上的像素的坐标)也相同，故处于相同位置。
接下来，考虑如下情况：在色差格式为4：2：0时，按帧间预测的N×N分割，将编码块针对亮度信号、色差信号都进行4分割，使得亮度信号为4×4像素、色差信号为2×2像素的预测块。在帧间预测时，亮度信号、色差信号都使用共通的编码信息进行基于运动补偿的帧间预测。但在色差格式为4：2：0的色差信号的运动补偿中，亮度信号使用将基准的运动矢量值的大小在水平、垂直分量上都缩放至一半量后的值。在帧间预测时，与帧内预测不同、不使用同一图像内的周边块的解码信号，故能使用比正交变换处理单位小的帧间预测处理单位。因此，能按比预测块大的单位进行正交变换，故即使针对色差信号也将编码块4分割、按2×2像素单位进行帧间预测，也未必需要按2×2像素单位进行正交变换，可以在进行4个预测块的帧间预测后、结合4个预测块，算出4×4像素单位的残差信号，按4×4像素单位进行正交变换。
接下来考虑如下情况：在色差格式为4：2：2时，按帧间预测的N×N分割，将编码块针对亮度信号、色差信号都进行4分割，使得亮度信号为4×4像素、色差信号为2×4像素的预测块。在帧间预测时，亮度信号、色差信号都使用共通的编码信息进行基于运动补偿的帧间预测。但在色差格式为4：2：2的色差信号的运动补偿中，亮度信号使用基准的运动矢量值的垂直分量的值大小不变、水平分量缩放为一半量后的值。同色差格式为4：2：0时一样，能按比预测块大的单位进行正交变换，故即使针对色差信号也将编码块4分割而按2×4像素单位进行帧间预测，也未必需要按2×2像素单位进行正交变换，可以在进行4个预测块的帧间预测后、将水平方向排列的2个预测块分别结合，算出2个4×4像素单位的残差信号，按4×4像素单位进行正交变换。
因此，在帧间预测的N×N分割时，无论色差格式的种类如何，针对亮度信号、色差信号都进行水平、垂直均等分割而使之成为4个预测块。
接下来，以作为实施方式特征的涉及帧内预测模式的发明点为中心，说明在图1的第2编码比特串生成部113中进行的编码块、及预测块单位的编码信息的编码处理。图12是表示图1的第2编码比特串生成部113的构成的功能块图。
如图12所示，图1的第2编码比特串生成部113由编码块单位的与编码信息相关的句法要素计算部121、与帧内亮度预测模式相关的句法要素计算部122、与帧内色差预测模式相关的句法要素计算部123、与帧间预测信息相关的句法要素计算部124、帧内预测模式编码控制部125、熵编码部126构成。在构成第2编码比特串生成部113的各部中，进行与色差格式设定部101所供给的色差格式信息相应的处理，并进行与编码块单位的预测模式、分割模式(PartMode)等编码信息相应的处理。
编码块单位的与编码信息相关的句法要素计算部121算出编码块单位的与编码信息相关的句法要素的值，将算出的各句法要素的值提供给熵编码部126。与判别编码块的帧内预测(MODE_INTRA)或帧间预测(MODE_INTER)的预测模式(PredMode)、以及判别预测块的形状的分割模式(PartMode)相关的句法要素的值，在该编码块单位的编码信息的句法要素计算部121中被算出。
与帧内亮度预测模式相关的句法要素计算部122在编码块的预测模式(PredMode)为帧内预测(MODE_INTRA)时，分别算出亮度信号的预测块的与帧内亮度预测模式相关的句法要素的值，将算出的各句法要素的值提供给熵编码部126。与帧内亮度预测模式相关的句法要素是作为表示能否从周边块的帧内亮度预测模式进行预测的标志的句法要素prev_intra_luma_pred_flag[x0][y0]、作为指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]、以及表示预测块单位的帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]。x0和y0是表示预测块的位置的坐标。在与帧内亮度预测模式相关的句法要素的值的计算中，若利用与编码信息保存存储器110中所保存的周边块的帧内亮度预测模式的相关性，能从周边块的帧内亮度预测模式进行预测，则将作为表示使用该值的标志的句法要素prev_intra_luma_pred_flag[x0][y0]设定为1(真)，对作为指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]设定用于确定参照目标的值，若不能进行预测，则将prev_intra_luma_pred_flag[x0][y0]设定为0(假)，对表示要编码的帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]设定用于确定帧内亮度预测模式的值。
此外，根据分割块，在编码块内的预测块的帧内亮度预测模式的数量不同、且分割模式(PartMode)为2N×2N分割时，针对每个编码块算出1集预测块的与帧内亮度预测模式相关的句法要素的值，在分割模式为N×N分割时，针对每个编码块算出4集预测块的与帧内亮度预测模式相关的句法要素的值。
与帧内色差预测模式相关的句法要素计算部123在编码块的预测模式(PredMode)为帧内预测(MODE_INTRA)时，算出色差信号的预测块的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值，将算出的句法要素intra_chroma_pred_mode[x0][y0]的值提供给熵编码部126。在与帧内色差预测模式相关的句法要素的值的计算中，若利用与跟色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的相关性，帧内色差预测模式能从与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式进行预测，则从帧内亮度预测模式的值预测帧内色差预测模式的值，若不能从帧内亮度预测模式预测帧内色差预测模式，则对帧内色差预测模式设定作为代表性的帧内预测模式的0(垂直方向)、1(水平方向)、2(平均值)、3(斜45度)的某一值，通过采用该方式来削减码量。
在此，说明在解码侧根据帧内亮度预测模式的值和与帧内色差预测模式相关的句法要素的值预测帧内色差预测模式的值的方法。图14是根据本实施例中规定的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值、和与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值来计算帧内色差预测模式的值的变换表，利用该变换表，在解码侧算出帧内色差预测模式的值。
在句法要素intra_chroma_pred_mode[x0][y0]的值为0时，根据色差格式，从与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值预测帧内色差预测模式的值。
在色差格式为4：2：0或4：4：4、句法要素intra_chroma_pred_mode[x0][y0]的值为0时，与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值直接成为帧内色差预测模式的值。
在色差格式为4：2：2、句法要素intra_chroma_pred_mode[x0][y0]的值为0时，通过图15所示的变换表，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值算出帧内色差预测模式的值。图15是本实施例中规定的色差格式为4：2：2，用于从与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值预测帧内色差预测模式的值的变换表。
说明在色差格式为4：2：2时，在从帧内亮度预测模式的值预测帧内色差预测模式的值时，不像4：2：0和4：4：4那样直接作为其值，而是利用图15的变换表来进行计算的理由。在色差格式为4：2：2时，如图3的(b)所示那样，相对于亮度信号，色差信号是按水平方向二分之一密度、垂直方向相同密度进行采样的色差格式。因此，针对帧内亮度预测模式的各个预测方向，若按水平方向缩放为二分之一倍后的预测方向、或其附近的预测方向进行色差信号的帧内预测，则与色差信号的预测块相同位置的预测块的亮度信号的帧内预测等价、或接近等价。
对此，参照图27进行更详细的说明。图27是说明色差格式为4：2：2时的亮度信号、及色差信号的帧内预测的预测方向的对应关系的图。在图27中，×表示亮度信号的像素的位置，○表示色差信号的像素的位置。在4：2：2时，相对于亮度信号、色差信号在水平方向上被按1/2进行采样(样本化)。图27的(a)表示4：2：2的亮度信号和色差信号的被采样后的像素的位置。标号P1是被帧内预测的像素、标号P2是帧内预测时所参照的像素(实际上由于滤波，也参照其相邻的像素)。标号2701所示的像素P1至像素P2的箭头表示亮度信号的像素P1的帧内预测方向，同时表示色差信号的像素P1的帧内预测方向。
图27的(b)表示水平方向上被按1/2采样后的色差信号的像素的排列。在此，在色差信号的帧内预测时，若不进行水平方向1/2的缩放，则色差信号的像素P1的帧内预测方向会成为标号2702所示的箭头的方向，在色差信号的像素排列中，会误参照标号P3的像素。但正确的参照目标是标号P2的像素。因此，将亮度信号的帧内预测方向进行水平方向1/2倍的缩放，作为色差信号的帧内预测方向，由此，如标号2703所示那样，算出色差信号的排列中的正确的帧内预测方向，取得该帧内预测方向上的正确的参照目标、即上侧相邻的像素(实际上由于滤波，也参照其相邻的像素)。
在图27的(a)、(b)中，说明了参照预测块的上侧相邻的像素的情况，但在参照左侧相邻的像素时也是一样。在左侧相邻的像素时，通过将亮度信号的帧内预测方向在垂直方向上缩放为2倍(这与垂直方向缩放为1/2倍的情况相比，在求取帧内预测的方向的意义上是等价的)，来算出色差信号的排列中的正确的帧内预测方向，并取得该帧内预测方向上的正确的参照目标、即左侧相邻的像素(也包含一部分上侧相邻的像素)。
因此，在图15的变换表中，如图8的虚线箭头所示，参照目标在水平方向(水平轴上)上排列的帧内亮度预测模式的值为3、18、10、19、4，20、11、21、0、22、12，23，5，24、13、25、6时，选择最接近将这些值在水平方向上缩放为二分之一倍而算出的预测方向的预测方向的帧内色差预测模式的值，将帧内色差预测模式的值分别定为19、4、20、20、11、11、21、0、0、0、22、12、12、23、23、5、24。此外，将帧内预测的预测方向在水平方向上缩放为二分之一倍，与在垂直方向上缩放为2倍是等价的。因此，若相对于帧内亮度预测模式的各个预测方向，按垂直方向缩放为2倍后的预测方向、或其附近的预测方向进行色差信号的帧内预测，则等价、或接近等价于与色差信号的预测块相同位置的预测块的亮度信号的帧内预测。因此，在图15的变换表中，如图8所示，在参照目标沿垂直方向(垂直轴上)排列的帧内亮度预测模式的值为26、14，27、7、28、15、29、1、30、16、31、8、32、17、33、9时，选择最接近通过在垂直方向上缩放为2倍而算出的预测方向的预测方向的帧内色差预测模式的值，将帧内色差预测模式的值定为10、18、3、26、27、28、15、1、16、31、32、33、9、9、9、9。
另一方面，若色差格式为4：2：0或4：4：4，则在从帧内亮度预测模式的值预测帧内色差预测模式的值时，由于亮度信号的帧内预测方向与色差信号的帧内预测方向一致，故无需将帧内亮度预测模式的值变换成帧内色差预测模式的值。参照图28对此进行说明。图28是说明色差格式为4：2：0时的亮度信号及色差信号的帧内预测的预测方向的对应关系的图。图28的(a)是表示色差格式为4：2：0时的亮度信号和色差信号的配置的图，色差信号按相对于亮度信号水平、垂直都为1/2地被采样(样本化)。标号2704所示的像素P4至像素P5的箭头表示亮度信号的像素P4的帧内预测方向。标号2705所示的像素P1至像素P2的箭头表示色差信号的像素P1的帧内预测方向。标号2704所示的像素P4至像素P5的箭头和标号2705所示的像素P1至像素P2的箭头朝向相同的方向，帧内预测方向相同。此时，在图28的(b)所示的色差信号的排列中，亮度信号的帧内预测方向直接就如标号2706所示那样是色差信号的帧内预测方向，能正确地参照色差信号的像素P1的参照目标的像素P2。
此外，在帧内预测部103中也考虑以上的点，在预测帧内色差预测模式的值时，根据色差格式，从与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值预测帧内色差预测模式的值。即，在色差格式为4：2：0或4：4：4、预测帧内色差预测模式的值时，将与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值直接作为帧内色差预测模式的值。在色差格式为4：2：2、预测帧内色差预测模式的值时，通过图15所示的变换表，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值算出帧内色差预测模式的值。
在句法要素intra_chroma_pred_mode[x0][y0]的值为1至4时，使用图14的变换表，在解码侧通过句法要素intra_chroma_pred_mode[x0][y0]的值和与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值的组合，来算出帧内色差预测模式的值。
在句法要素intra_chroma_pred_mode[x0][y0]的值为1时，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，帧内色差预测模式的值取0或1的值。
在句法要素intra_chroma_pred_mode[x0][y0]的值为2时，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，帧内色差预测模式的值取1或2的值。
在句法要素intra_chroma_pred_mode[x0][y0]的值为3时，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，帧内色差预测模式的值取2或3的值。
在句法要素intra_chroma_pred_mode[x0][y0]的值为4时，帧内色差预测模式的值取3的值。
图16是根据帧内色差预测模式的值和与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，算出与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值的变换表，图16的变换表对应于图14的变换表。使用该图16所示的变换表，在编码侧算出句法要素intra_chroma_pred_mode[x0][y0]的值。
在帧内色差预测模式的值为0时，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，句法要素intra_chroma_pred_mode[x0][y0]的值取0或1的值。
在帧内色差预测模式的值为1时，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，句法要素intra_chroma_pred_mode[x0][y0]的值取0、1或2的值。
在帧内色差预测模式的值为2时，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，句法要素intra_chroma_pred_mode[x0][y0]的值取0、2或3的值。
在帧内色差预测模式的值为3时，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，句法要素intra_chroma_pred_mode[x0][y0]的值取0、3或4的值。
在帧内色差预测模式的值为4至33时，表示帧内色差预测模式被从相同位置的预测块的帧内亮度预测模式的值来预测，句法要素intra_chroma_pred_mode[x0][y0]的值取0的值。但在色差格式为4：2：2、预测帧内色差预测模式的值时，在帧内预测部103中，利用图15所示的变换表，根据与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值来算出帧内色差预测模式的值，故帧内色差预测模式的值仅可取4、5、9、10、11、12、15、16、18、19、20、21、22、23、24、26、27、28、31、32、33的某一值。
此外，在确定与色差信号的预测块相同位置的亮度信号的预测块时，也可以通过参照用于确定各个预测块的分割索引PartIdx来进行确定，还可以通过参照表示各个预测块的位置的坐标来进行确定。
此外，根据从色差格式设定部101供给的分割模式与色差格式的组合，编码块内的预测块的帧内色差预测模式的数量不同。在分割模式为2N×2N分割时，与色差格式的种类无关地、针对每个编码块算出1个预测块的与帧内色差预测模式相关的句法要素的值。
在分割模式为N×N分割、色差格式为4：2：0时，针对每个编码块算出1个预测块的与帧内亮度预测模式相关的句法要素的值。在分割模式为N×N分割、色差格式为4：2：2时，针对每个编码块算出2个预测块的与帧内亮度预测模式相关的句法要素的值。在分割模式为N×N分割、色差格式为4：4：4时，针对每个编码块算出4个预测块的与帧内亮度预测模式相关的句法要素的值。
帧间预测信息的句法要素计算部124在编码块的预测模式(PredMode)为帧间预测(MODE_INTER)时，算出预测块单位的与帧间预测信息相关的句法要素的值，并将所算出的各句法要素的值提供给熵编码部126。预测块单位的帧间预测信息包括帧间预测模式(L0预测、L1预测、双预测)、多个确定参照图像的索引、运动矢量等信息。
熵编码部126按照既定的句法规则，对
从编码块单位的与编码信息相关的句法要素计算部121供给的编码块单位的与编码信息相关的句法要素的值、
从与帧内亮度预测模式相关的句法要素计算部122供给的亮度信号的预测块的与帧内亮度预测模式相关的句法要素的值、
从与帧内色差预测模式相关的句法要素计算部123供给的色差信号的预测块的与帧内色差预测模式相关的句法要素的值、以及
从帧间预测信息的句法要素计算部124供给的预测块单位的与帧间预测信息相关的句法要素的值进行熵编码。此时，帧内预测模式编码控制部125根据分割模式和色差格式控制帧内亮度预测模式和帧内色差预测模式的熵编码的顺序，熵编码部126按该帧内预测模式编码控制部125所指示的顺序，进行帧内亮度预测模式和帧内色差预测模式的熵编码处理。
下面说明由帧内预测模式编码控制部125控制的熵编码部126中的、N×N分割时的帧内亮度预测模式和帧内色差预测模式的熵编码的顺序。图17是表示实施方式的N×N分割时的与帧内亮度预测模式及帧内色差预测模式相关的句法要素的熵编码或解码顺序的图。图17的(a)、图17的(b)、图17的(c)表示色差格式分别为4：2：0、4：2：2、4：4：4时的熵编码及解码顺序。此外，L0、L1、L2、L3表示亮度信号的分割索引PartIdx分别为0、1、2、3的与帧内亮度预测模式相关的句法要素，C0、C1、C2、C3表示色差信号的分割索引PartIdx分别为0、1、2、3的预测块的帧内色差预测模式的相关句法要素。
在色差格式为4：2：0时，在L0、L1、L2、L3被编码后，C0被编码。(C1、C2、C3不存在，不被编码。)
在色差格式为4：2：2时，L0、L1、L2、L3被编码，然后C0、C2被编码。(C1、C3不存在，不被编码。)
在色差格式为4：4：4时，L0、L1、L2、L3被编码，然后按C0、C1、C2、C3的顺序被编码。
即，在相同编码块中所含的帧间亮度预测模式连续被编码后，帧内色差预测模式连续被编码。
接下来，以作为实施方式特征的关于帧内预测模式的发明点为中心，说明图2的第2编码比特串解码部203中进行的编码块、及预测块单位的编码信息的解码处理。图13是表示图2的第2编码比特串解码部203的构成的功能块图。
如图13所示，图2的第2编码比特串解码部203由帧内预测模式解码控制部221、熵解码部222、编码块单位的编码信息计算部223、帧内亮度预测模式计算部224、帧内色差预测模式计算部225、帧间预测信息计算部226构成。在构成第2编码比特串解码部203的各部中，进行与从色差格式管理部205供给的色差格式信息相应的处理，并进行与编码块单位的预测模式、分割模式等编码信息相应的处理。
熵解码部222按照既定的句法规则对从编码比特串分离部供给的编码块、及包含预测块单位的编码信息的编码比特串进行熵解码，得到编码块单位的与编码信息相关的句法要素的值、亮度信号的预测块的与帧内亮度预测模式相关的句法要素的值、色差信号的预测块的与帧内色差预测模式相关的句法要素的值、以及预测块单位的与帧间预测信息相关的句法要素的值。此时，帧内预测模式解码控制部221根据分割模式和色差格式控制帧内亮度预测模式和帧内色差预测模式的熵解码的顺序，熵解码部222按该帧内预测模式解码控制部221所指示的顺序进行帧内亮度预测模式和帧内色差预测模式的熵解码处理。帧内预测模式解码控制部221是与编码侧的帧内预测模式编码控制部125对应的控制部，根据分割模式和色差格式，设定与帧内预测模式编码控制部125所设定的帧内预测模式的编码顺序相同的帧内预测模式的解码顺序，并控制熵解码部222的帧内预测模式的解码顺序。熵解码部222是与编码侧的熵编码部126对应的解码部，按与熵编码部126中所使用的句法规则相同的规则进行熵解码处理。即，按与图17所示的编码顺序相同的顺序进行帧内预测模式的解码处理。即，在属于同一编码块的帧间亮度预测模式被连续解码后，帧内色差预测模式被连续解码。
解码得到的编码块单位的与编码信息相关的句法要素的值被提供给编码块单位的编码信息计算部223，亮度信号的预测块的与帧内亮度预测模式相关的句法要素的值被提供给帧内亮度预测模式计算部224，色差信号的预测块的与帧内色差预测模式相关的句法要素的值被提供给帧内色差预测模式计算部225，预测块单位的与帧间预测信息相关的句法要素的值被提供给帧间预测信息计算部226。
编码块单位的编码信息计算部223从所供给的编码块单位的与编码信息相关的句法要素的值算出编码块单位的编码信息，介由开关212提供给帧内预测部206或帧间预测部207。
编码块单位的编码信息计算部223是同编码侧的编码块单位的与编码信息相关的句法要素计算部121对应的编码信息计算部，按照同一语义规则进行计算。与判别编码块的帧内预测(MODE_INTRA)或帧间预测(MODE_INTER)的预测模式(PredMode)、及判别预测块的形状的分割模式(PartMode)相关的值在该编码块单位的编码信息计算部223中被算出。
帧内亮度预测模式计算部224在编码块单位的编码信息计算部223算出的编码块的预测模式(PredMode)为帧内预测(MODE_INTRA)时，从所供给的亮度信号的预测块的与帧内亮度预测模式相关的句法要素的值算出亮度信号的预测块的帧内亮度预测模式，提供给帧内色差预测模式计算部225，并介由开关212提供给帧内预测部206。帧内亮度预测模式计算部224是同编码侧的与帧内亮度预测模式相关的句法要素计算部122对应的编码信息计算部，按照同一语义规则进行计算。与帧内亮度预测模式相关的句法要素是作为表示能否从周边块的帧内亮度预测模式进行预测的标志的句法要素prev_intra_luma_pred_flag[x0][y0]、作为指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]、及表示预测块单位的帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]。在帧内亮度预测模式的计算中，若能利用与编码信息保存存储器210中保存的周边块的帧内亮度预测模式的相关性，从周边块的帧内亮度预测模式进行预测，则作为表示使用该值的标志的句法要素prev_intra_luma_pred_flag[x0][y0]成为1(真)，将作为指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]所指示的周边预测块的帧内亮度预测模式作为该预测模式的帧内亮度预测模式。若句法要素prev_intra_luma_pred_flag[x0][y0]为0(假)，则不从周边预测块预测帧内亮度预测模式，而是从解码出的表示帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]的值来算出帧内亮度预测模式。
此外，根据分割模式，编码块内的预测块的帧内亮度预测模式的数量不同，在分割模式为2N×2N分割时，针对每个编码块算出1集的预测块的帧内亮度预测模式的值，在分割模式为N×N分割时，针对每个编码块算出4集的预测块的帧内亮度预测模式的值。
帧内色差预测模式计算部225在编码块单位的编码信息计算部223所算出的编码块的预测模式(PredMode)为帧内预测(MODE_INTRA)时，根据所供给的色差信号的预测块的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值、和从帧内亮度预测模式计算部供给的帧内亮度预测模式的值，算出帧内色差预测模式的值，并介由开关212提供给帧内预测部206。帧内色差预测模式计算部225是同编码侧的与帧内色差预测模式相关的句法要素计算部123对应的编码信息计算部，按照同一语义规则进行计算。在帧内色差预测模式的值的计算中，若利用与跟色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的相关性，在编码侧被判定帧内色差预测模式能从与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式进行预测，则从帧内亮度预测模式的值预测帧内色差预测模式的值，若被判定与从帧内亮度预测模式预测相比、对帧内色差预测模式设定独自的值更好，则对帧内色差预测模式设定作为代表性的帧内预测模式的0(垂直方向)、1(水平方向)、2(平均值)、3(斜45度)的某一值，通过采用该方案，码量被削减。
图14是从句法要素intra_chroma_pred_mode[x0][y0]的值和与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值算出帧内色差预测模式的值的变换表，利用该变换表算出帧内色差预测模式的值。此外，如在编码侧说明的那样，在句法要素intra_chroma_pred_mode[x0][y0]的值为0时，根据色差格式，从与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值预测帧内色差预测模式的值。在色差格式为4：2：0或4：4：4、句法要素intra_chroma_pred_mode[x0][y0]的值为0时，与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值直接成为帧内色差预测模式的值。在色差格式为4：2：2、句法要素intra_chroma_pred_mode[x0][y0]的值为0时，通过图15所示的变换表，从与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值算出帧内色差预测模式的值。图15是本实施例中规定的色差格式为4：2：2、用于从与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值预测帧内色差预测模式的值的变换表。
帧间预测信息计算部226在编码块的预测模式(PredMode)为帧间预测(MODE_INTER)时，从预测块单位的与帧间预测信息相关的句法要素的值算出帧间预测信息，并将算出的帧间预测信息的值介由开关212提供给帧间预测部207。帧间预测信息计算部226是与编码侧的帧间预测信息的句法要素计算部124对应的编码信息计算部，按照同一语义规则进行计算。所算出的预测块单位的帧间预测信息包括帧间预测模式(L0预测、L1预测、双预测)、多个确定参照图像的索引、运动矢量等信息。
接下来，以作为实施方式特征的关于帧内预测模式的发明点为中心，说明本实施例中所用的句法规则。图18是编码侧的熵编码部126、及解码侧的熵解码部222中所使用的用于预测块的编码信息的编码及解码的句法规则的一个例子。图18的x0和y0是表示亮度信号的预测块的位置的坐标。图18表示按照预测块单位，在预测模式(PredMode)为帧内预测(MODE_INTRA)、且IntraChroma标志为0(假)时，进行1组预测块单位的与帧内亮度预测模式相关的句法要素的熵编码或熵解码的情况。IntraChroma标志在帧内预测中与帧内色差预测模式相关的信息被编码时成为1(真)，在此之外时为0(假)。在预测模式(PredMode)为帧内预测(MODE_INTRA)且IntraChroma标志为0(假)时，进行prev_intra_luma_pred_flag[x0][y0]的熵编码或熵解码，在句法要素prev_intra_luma_pred_flag[x0][y0]为1(真)时，进行句法要素mpm_idx[x0][y0]的熵编码或熵解码，在句法要素prev_intra_luma_pred_flag[x0][y0]为0(假)时，进行句法要素rem_intra_luma_pred_mode[x0][y0]的熵编码或熵解码。若分割模式为2N×2N分割，则在针对编码块、对1组与帧内亮度预测模式相关的句法要素进行熵编码或熵解码时，IntraChroma标志成为0(假)，适用本句法的规则。若分割模式为N×N分割，则在每次对图17所示的与帧内亮度预测模式相关的句法要素P0、P1、P2、P3分别进行熵编码或熵解码时，IntraChroma标志成为0(假)，适用本句法的规则。
另一方面，在帧内预测(MODE_INTRA)且IntraChroma标志为1(真)时，表示进行与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的熵编码或熵解码。若分割模式为2N×2N分割，则在针对编码块、对1组与帧内色差预测模式相关的句法要素进行熵编码或熵解码时，IntraChroma标志成为1(真)，适用本句法的规则。若分割模式为N×N分割，则根据色差格式，在每次对图17所示的与帧内色差预测模式相关的句法要素C0、C1、C2、C3分别进行熵编码或熵解码时，IntraChroma标志成为1(真)，适用本句法的规则。
接下来，说明不同于图18所示的句法规则的其它句法规则的例子。图19是与编码侧的熵编码部126、及解码侧的熵解码部222中所用的用于预测块的编码信息的编码及解码的句法规则的图18不同的另一例。图19的x0和y0是表示亮度信号的预测块的位置的坐标。图19表示按预测块单位，在预测模式(PredMode)为帧内预测(MODE_INTRA)时，进行1组预测块单位的与帧内亮度预测模式相关的句法要素的熵编码或熵解码的情况。在预测模式(PredMode)为帧内预测(MODE_INTRA)时，进行prev_intra_luma_pred_flag[x0][y0]的熵编码或熵解码，在句法要素prev_intra_luma_pred_flag[x0][y0]为1(真)时，进行句法要素mpm_idx[x0][y0]的熵编码或熵解码，在句法要素prev_intra_luma_pred_flag[x0][y0]为0(假)时，进行句法要素rem_intra_luma_pred_mode[x0][y0]的熵编码或熵解码。若分割模式为2N×2N分割，则在针对编码块进行1组与帧内亮度预测模式相关的句法要素的熵编码或熵解码时，适用本句法的规则。若分割模式为N×N分割，则在每次对图17所示的与帧内亮度预测模式相关的句法要素P0、P1、P2、P3分别进行熵编码或熵解码时，适用本句法的规则。
进而，表示了在预测模式(PredMode)为帧内预测(MODE_INTRA)时，根据分割模式(PartMode)、色差格式(ChromaArrayType)及分割索引(PartIdx)，进行0至4个与帧内色差预测模式相关的句法要素的熵编码或熵解码。ChromaArrayType是表示色差格式的变量，0表示单色(本来在4：4：4时也包含将亮度信号和色差信号独立编码的模式，但该情况在本实施例中视为单色)，1表示4：2：0，2表示4：2：2，3表示4：4：4。
表示了在预测模式(PredMode)为帧内预测(MODE_INTRA)、分割模式(PartMode)为2N×2N分割(PART_2Nx2N)、色差格式(ChromaArrayType)不为单色(0)时，进行预测块单位的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的熵编码或熵解码的情况。在分割模式为2N×2N分割时，在针对编码块进行1组与帧内亮度预测模式相关的句法要素的熵编码或熵解码后，在针对编码块进行1组与帧内亮度预测模式相关的句法要素的熵编码或熵解码时，适用本句法的规则。
另一方面，在预测模式(PredMode)为帧内预测(MODE_INTRA)、分割模式(PartMode)为N×N分割(PART_NxN)、分割索引(PartIdx)为3时，适用以下说明的句法规则。首先，在色差格式(ChromaArrayType)不为单色(0)、即色差格式为4：2：0、4：2：2、或4：4：4时，进行分割索引PartIdx为0的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x1][y1]的熵编码或熵解码，然后，在色差格式(ChromaArrayType)为4：4：4(3)时，进行分割索引PartIdx为1的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y1]的熵编码或熵解码，然后，在色差格式(ChromaArrayType)为4：2：2(2)或4：4：4(3)时，进行分割索引PartIdx为2的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x1][y0]的熵编码或熵解码，然后，在色差格式(ChromaArrayType)为4：4：4(3)时，进行分割索引PartIdx为3的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的熵编码或熵解码。在分割模式为N×N分割时，在对图17所示的分割索引(PartIdx)为3的与预测块的帧内亮度预测模式相关的句法要素P3进行熵编码或熵解码后，在分别对与色差格式相应的数量的与帧内色差预测模式相关的句法要素C0、C1、C2、C3进行熵编码或熵解码时，适用本句法的规则。
接下来，以作为实施方式特征的关于帧内预测模式的发明点为中心，说明在图1的第2编码比特串生成部113中进行的编码块、及预测块单位的编码信息的编码处理的处理步骤。图20是说明在图1的第2编码比特串生成部113中进行的编码块、及预测块单位的编码处理的处理步骤的流程图。
首先，在编码侧，在编码块单位的与编码信息相关的句法要素计算部121中计算与包含编码块的预测模式和分割模式等的编码信息相关的句法要素的值，并在熵编码部126中进行熵编码(S1001)。然后，若编码块的预测模式(PredMode)不为帧内预测(MODE_INTRA)(S1002的NO)，则进入步骤S1017，在与帧间预测信息相关的句法要素计算部124中根据分割模式针对每个预测块计算与帧间信息相关的句法要素的值，并在熵编码部126中进行熵编码(S1017)，结束本编码处理。若编码块的预测模式(PredMode)为帧内预测(MODE_INTRA)(S1002的YES)，则进而步骤S1003以后的帧内预测模式的编码处理。
然后，若编码块的预测模式为帧内预测，则在与帧内亮度预测模式相关的句法要素计算部122、及熵编码部126中，进行亮度信号的分割索引PartIdx为0的预测块的帧内亮度预测模式的编码处理(S1003)。
在此，利用图21的流程图说明在与帧内亮度预测模式相关的句法要素计算部122、及熵编码部126中进行的亮度信号的预测块的帧内亮度预测模式的编码处理步骤。图21是表示在与帧内亮度预测模式相关的句法要素计算部122、及熵编码部126中进行的亮度信号的预测块的帧内亮度预测模式的编码处理步骤的流程图。首先，在与帧内亮度预测模式相关的句法要素计算部122中算出亮度信号的预测块的与帧内亮度预测模式相关的各句法要素的值(S1101)。此时，将帧内亮度预测模式的值与周边块的帧内亮度预测模式相比较，若存在具有相同值的预测块，则将句法要素prev_intra_luma_pred_flag[x0][y0]的值设定为1(真)，对作为指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]设定用于确定参照目标的值；若不存在具有相同值的预测块，则将句法要素prev_intra_luma_pred_flag[x0][y0]的值设定为0(假)，对表示帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]设定用于确定帧内亮度预测模式的值。然后，在熵编码部126中对亮度信号的预测块的与帧内亮度预测模式相关的各句法要素的值进行熵编码(S1102)，结束本编码处理。此外，图21的编码处理步骤除是图20的步骤S1003的编码处理步骤外，还是步骤S1005、步骤S1006、步骤S1007中所采用的共通的编码处理步骤。
再次返回图20，接下来，若编码块的分割模式不为N×N分割、即分割模式为2N×2N(S1004的NO)，则仅存在分割索引PartIdx为0的预测块，没有更多的应编码的亮度信号的预测块的帧内预测模式，故跳过步骤S1005至S1007的处理，进入步骤S1008以后的色差信号的预测块的帧内预测模式的编码处理。
另一方面，若编码块的分割模式为N×N分割(S1004的YES)，则进入分割索引PartIdx比0大的亮度信号的预测块的帧内预测模式的编码处理。首先，在图21的编码处理步骤中进行亮度信号的分割索引PartIdx为1的预测块的帧内亮度预测模式的编码处理(S1005)。然后，在图21的编码处理步骤中进行亮度信号的分割索引PartIdx为2的预测块的帧内亮度预测模式的编码处理(S1006)。然后，在图21的编码处理步骤中进行亮度信号的分割索引PartIdx为3的预测块的帧内亮度预测模式的编码处理(S1007)。
接下来，若色差格式为4：2：0、4：2：2或4：4：4(S1008的YES)，则在与帧内色差预测模式相关的句法要素计算部123及熵编码部126中进行色差信号的分割索引PartIdx为0的预测块的帧内色差预测模式的编码处理(S1009)。此外，在色差格式不是4：2：0、4：2：2、或4：4：4的情况下、即色差格式为单色时(S1008的NO)，由于不存在色差信号的预测块，故跳过步骤S1009以后的步骤，结束本编码处理。
在此，利用图22的流程图说明在与帧内色差预测模式相关的句法要素计算部123、及熵编码部126中进行的色差信号的预测块的帧内色差预测模式的编码处理步骤。图22是表示在与帧内色差预测模式相关的句法要素计算部123及熵编码部126中进行的色差信号的预测块的帧内色差预测模式的编码处理步骤的流程图。首先，在与帧内色差预测模式相关的句法要素计算部123中算出色差信号的预测块的与帧内色差预测模式相关的各句法要素的值(S1201)。此时，利用图16所示的变换表，根据帧内色差预测模式的值和与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，算出与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值。然后，在熵编码部126中对色差信号的预测块的与帧内色差预测模式相关的各句法要素的值进行熵编码(S1202)，结束本编码处理。此外，图22的编码处理步骤除是图20的步骤S1009的编码处理步骤外，还是步骤S1012、步骤S1014、步骤S1016中所使用的共通的编码处理步骤。
再次回到图20，接下来，若编码块的分割模式不为N×N分割、即分割模式为2N×2N(S1010的NO)，则仅存在分割索引PartIdx为0的预测块，没有更多应编码的色差信号的预测块的帧内预测模式，故跳过步骤S1011以后的处理，结束本编码处理。
接下来，若色差格式为4：4：4(S1011のYES)，则在图22的编码处理步骤中进行与色差信号的分割索引PartIdx为1的预测块的帧内色差预测模式的编码处理(S1012)。若色差格式不为4：4：4、即色差格式为4：2：0或4：2：2(S1011的NO)，则不存在色差信号的分割索引PartIdx为1的预测块，故跳过步骤S1012，进入下面的步骤S1013。
接下来，若色差格式为4：2：2或4：4：4(S013的YES)，则在图22的编码处理步骤中进行色差信号的分割索引PartIdx为2的预测块的帧内色差预测模式的编码处理(S1014)。若色差格式不为4：2：2或4：4：4、即色差格式为4：2：0(S1013的NO)，则不存在色差信号的分割索引PartIdx为2的预测块，故跳过步骤S1014，进入下面的步骤S1015。
接下来，若色差格式为4：4：4(S1015的YES)，则在图22的编码处理步骤中进行色差信号的分割索引PartIdx为3的预测块的帧内色差预测模式的编码处理(S1016)，结束本编码处理。若色差格式为4：4：4以外、即色差格式为4：2：0或4：2：2(S1015的NO)，则不存在色差信号的分割索引PartIdx为3的预测块，故跳过步骤S1016，结束本编码处理。
根据本编码处理，按图17所示的顺序，在属于同一编码块的帧内亮度预测模式被连续编码后，帧内色差预测模式被连续编码，在解码侧计算帧内色差预测模式时，通过参照与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式来进行计算处理，故通过参照帧内亮度预测模式，能提高帧内色差模式的编码效率。进而，根据本编码处理，在从帧内亮度预测模式的值预测帧内色差预测模式的值时，根据色差格式而变更帧内色差预测模式的导出方法，由此，能按与色差格式相应的恰当的预测方向进行帧内预测，故能使编码效率提高。具体来说，在色差格式为4：2：0或4：4：4时，将帧内亮度预测模式的值作为帧内色差预测模式的值，在色差格式为4：2：2时，利用图15的变换表将帧内亮度预测模式的值变换成帧内色差预测模式的值，并按照这些帧内色差预测模式的值进行帧内预测，由此，能按恰当的预测方向进行帧内预测，故与残差信号相关的编码效率提高，能提高整体的编码效率。
接下来，以作为实施方式特征的关于帧内预测模式的发明点为中心，说明在图2的第2编码比特串解码部203中进行的编码块、及预测块单位的编码信息的解码处理的处理步骤。图23是说明在图2的第2编码比特串解码部203中进行的编码块、及预测块单位的解码处理的处理步骤的流程图。
首先，在解码侧，由熵解码部222对编码比特串进行熵解码，得到与包含编码块的预测模式和分割模式等的编码信息相关的句法要素的值，在编码块单位的编码信息计算部223中，从解码出的各句法要素的值，计算包含编码块的预测模式和分割模式等的编码信息的值(S2001)。然后，若编码块的预测模式(PredMode)不为帧内预测(MODE_INTRA)(S2002的NO)，则进入步骤S2017，在熵解码部222中进行熵解码，根据分割模式，针对每个预测块得到与帧间信息相关的句法要素的值，在帧间预测信息计算部226中根据分割模式针对每个预测块计算帧间信息的值(S2017)，结束本解码处理。若编码块的预测模式(PredMode)为帧内预测(MODE_INTRA)(S2002的YES)，则进入步骤S2003以后的帧内预测模式的解码处理。
接下来，在编码块的预测模式为帧内预测时，在熵解码部222及帧内亮度预测模式计算部224中进行亮度信号的分割索引PartIdx为0的预测块的帧内亮度预测模式的解码处理(S2003)。
在此，利用图24的流程图说明在熵解码部222及帧内亮度预测模式计算部224中进行的亮度信号的预测块的帧内亮度预测模式的解码处理步骤。图24是表示在熵解码部222及帧内亮度预测模式计算部224中进行的亮度信号的预测块的帧内亮度预测模式的解码处理步骤的流程图。首先，在熵解码部222中对编码比特串进行熵解码，得到亮度信号的预测块的与帧内亮度预测模式相关的各句法要素的值(S2101)。然后，在帧内亮度预测模式的帧内亮度预测模式计算部224中，从步骤S2101所解码出的各句法要素的值，算出亮度信号的预测块的帧内亮度预测模式的值(S2102)。此时，若句法要素prev_intra_luma_pred_flag[x0][y0]的值为1(真)，则将作为用于指示预测源的预测块的索引的句法要素mpm_idx[x0][y0]所指示的周边预测块的帧内亮度预测模式作为该预测模式的帧内亮度预测模式。若句法要素prev_intra_luma_pred_flag[x0][y0]的值为0(假)，则从表示帧内亮度预测模式的句法要素rem_intra_luma_pred_mode[x0][y0]的值算出帧内亮度预测模式，并结束本解码处理。此外，图24的解码处理步骤除是图23的步骤S2003中使用的解码处理步骤外，还是步骤S2005、步骤S2006、步骤S2007中所使用的共通的解码处理步骤。
再次返回图23，接下来，若编码块的分割模式不是N×N分割、即分割模式是2N×2N(S2004的NO)，则仅存在分割索引PartIdx为0的预测块，没有更多应解码的帧内预测模式，故跳过步骤S2005至S2007的处理，进入步骤S2008以后的色差信号的预测块的帧内预测模式的解码处理。
另一方面，若编码块的分割模式为N×N分割(S2004的YES)，则进入分割索引PartIdx大于0的预测块的帧内预测模式的解码处理。首先，在图24的解码处理步骤中进行亮度信号的分割索引PartIdx为1的预测块的帧内亮度预测模式的解码处理(S2005)。然后，在图24的处理步骤中进行亮度信号的分割索引PartIdx为2的预测块的帧内亮度预测模式的解码处理(S2006)。然后，在图24的处理步骤中进行亮度信号的分割索引PartIdx为3的预测块的帧内亮度预测模式的解码处理(S2007)。
接下来，在色差格式为4：2：0、4：2：2或4：4：4时(S2008的YES)，在熵解码部222及帧内色差预测模式计算部225中进行色差信号的分割索引PartIdx为0的预测块的帧内色差预测模式的解码处理(S2009)。若色差格式不是4：2：0、4：2：2或4：4：4，即色差格式是单色(S2008的NO)，则不存在色差信号的预测块，故跳过步骤S2009以后的步骤，结束本解码处理。
在此，利用图25的流程图说明在熵解码部222及帧内色差预测模式计算部225中进行的色差信号的预测块的帧内色差预测模式的解码处理步骤。图25是表示在熵解码部222、及帧内色差预测模式计算部225中进行的色差信号的预测块的帧内色差预测模式的解码处理步骤的流程图。首先，在熵解码部222中对编码比特串进行熵解码，得到色差信号的预测块的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值(S2201)。然后，在帧内色差预测模式计算部225中算出色差信号的预测块的帧内色差预测模式的值(S2202)。在此，利用图26的流程图说明在帧内色差预测模式计算部225中进行的色差信号的预测块的帧内色差预测模式的计算处理步骤。图26是表示在图25的步骤S2202中进行的帧内色差预测模式的计算处理步骤的流程图。首先，判定色差信号的预测块的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值是否为0(S2301)，若值为0(S2301的YES)，则进入步骤S2302。若色差格式为4：2：0或4：4：4(S2302的YES)，则将与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值直接作为帧内色差预测模式的值(步骤S2303)，结束本计算处理。另一方面，若色差格式为4：2：0或4：4：4、即为4：2：2(S2302的NO)，则利用图15所示的变换表，从与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，算出帧内色差预测模式的值(步骤S2304)，结束本计算处理。另一方面，在intra_chroma_pred_mode[x0][y0]的值为0以外的情况下(S2301的NO)，利用图14的变换表，将帧内亮度预测模式的值变换成帧内色差预测模式的值(步骤S2305)，结束本计算处理。此时，根据步骤S2201解码出的与帧内色差预测模式相关的句法要素intra_chroma_pred_mode[x0][y0]的值和与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值，利用图14所示的变换表算出句法要素的值，结束本计算处理。图25的解码处理步骤除是图23的步骤S2009中使用的解码处理步骤外，还是步骤S2012、步骤S2014、步骤S2016中所使用的共通的解码处理步骤。
再次回到图23，接下来，若编码块的分割模式不为N×N分割、即分割模式为2N×2N(S2010的NO)，则仅存在分割索引PartIdx为0的预测块，没有更多应解码的色差信号的预测块的帧内预测模式，故跳过步骤S2011以后的处理，结束本解码处理。
接下来，若色差格式为4：4：4(S2011的YES)，则在图25的处理步骤中进行色差信号的分割索引PartIdx为1的预测块的帧内色差预测模式的解码处理(S2012)。此外，若色差格式不为4：4：4、即色差格式为4：2：0或4：2：2(S2011的NO)，则不存在色差信号的分割索引PartIdx为1的预测块，故跳过步骤S2012，进入下一步骤S2013。
接下来，若色差格式为4：2：2或4：4：4(S2013的YES)，则在图25的处理步骤中进行色差信号的分割索引PartIdx为2的预测块的帧内色差预测模式的解码处理(S2014)。若色差格式既非4：2：2也非4：4：4、即色差格式为4：2：0(S2013的NO)，则不存在色差信号的分割索引PartIdx为2的预测块，故跳过S2014，进入下一步骤S2015。
接下来，若色差格式为4：4：4(S2015的YES)，则在图25的处理步骤中进行色差信号的分割索引PartIdx为3的预测块的帧内色差预测模式的解码处理(S2016)，结束本解码处理。若色差格式为4：4：4以外的情况、即色差格式为4：2：0或4：2：2(S2015的NO)，则不存在色差信号的分割索引PartIdx为3的预测块，故跳过步骤S2016，结束本解码处理。
根据本解码处理，按图17所示的顺序，在属于同一编码块的帧内亮度预测模式连续被编码后，帧内色差预测模式被连续解码，在计算帧内色差预测模式时，通过参照与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式来进行计算处理，故通过参照帧内亮度预测模式，能提高帧内色差模式的编码效率。此外，根据本解码处理，在从帧内亮度预测模式的值预测帧内色差预测模式的值时，根据色差格式而变更帧内色差预测模式的导出方法，由此能按与色差格式相应的恰当的预测方向进行帧内预测，故能提高编码效率。具体来说，在色差格式为4：2：0或4：4：4时，将帧内亮度预测模式的值作为帧内色差预测模式的值，在色差格式为4：2：2时，利用图15的变换表将帧内亮度预测模式的值变换成帧内色差预测模式的值，并按照这些帧内色差预测模式的值进行帧内预测，由此能按恰当的预测方向进行帧内预测，故与残差信号相关的编码效率提高，能提高整体的编码效率。
作为本发明的图像编码装置的再一种方案，有以下方案。
一种图像编码装置，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，包括：
亮度信号帧内预测部(103)，在对图像信号按预测块单位进行帧内预测时，设定亮度信号的预测块，根据帧内亮度预测模式，从周围的已编码的亮度信号的块预测亮度信号，
色差信号帧内预测部(103)，设定色差信号的预测块，根据帧内色差预测模式，从周围的已编码的色差信号的块预测色差信号，
编码串生成部(113)，在对与上述色差信号的预测块的帧内色差预测模式相关的信息进行编码时，从与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，算出包含对帧内色差预测模式的值进行预测的模式的与帧内色差预测模式相关的句法要素，将与帧内亮度预测模式相关的句法要素和与帧内色差预测模式相关的句法要素编码，生成编码串。
上述图像编码装置的特征在于，上述编码串生成部(113)在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：0或4：4：4，则将帧内亮度预测模式的值作为帧内色差预测模式的值。
上述图像编码装置的特征在于，上述帧内预测部(103)在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：2，则将使帧内亮度预测模式的帧内预测方向在水平方向缩放为1/2倍或在垂直方向缩放为2倍后的帧内预测方向用于色差信号的帧内预测。
上述图像编码装置的特征在于，上述编码串生成部(113)在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：2，则将使帧内亮度预测模式的帧内预测方向在水平方向上述缩放为1/2倍或垂直方向上缩放为2倍后的帧内预测方向所对应的帧内预测模式的值或接近该帧内预测方向的帧内预测方向所对应的帧内预测模式的值，作为帧内色差预测模式的值。
作为本发明的图像编码方法的再一种方案，有以下方案。
一种图像编码方法，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，包括：
亮度信号帧内预测步骤，在对图像信号按预测块单位进行帧内预测时，设定亮度信号的预测块，根据帧内亮度预测模式，从周围的已编码的亮度信号的块预测亮度信号，
色差信号帧内预测步骤，设定色差信号的预测块，根据帧内色差预测模式，从周围的已编码的色差信号的块预测色差信号，
编码串生成步骤，在对与上述色差信号的预测块的帧内色差预测模式相关的信息进行编码时，从与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，算出包含对帧内色差预测模式的值进行预测的模式的与帧内色差预测模式相关的句法要素，将与帧内亮度预测模式相关的句法要素和与帧内色差预测模式相关的句法要素编码，生成编码串。
上述图像编码方法的特征在于，上述编码串生成步骤在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：0或4：4：4，则将帧内亮度预测模式的值作为帧内色差预测模式的值。
上述图像编码方法的特征在于，上述帧内预测步骤在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：2，则将使帧内亮度预测模式的帧内预测方向在水平方向缩放为1/2倍或在垂直方向缩放为2倍后的帧内预测方向用于色差信号的帧内预测。
上述图像编码方法的特征在于，上述编码串生成步骤在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：2，则将使帧内亮度预测模式的帧内预测方向在水平方向上述缩放为1/2倍或垂直方向上缩放为2倍后的帧内预测方向所对应的帧内预测模式的值或接近该帧内预测方向的帧内预测方向所对应的帧内预测模式的值，作为帧内色差预测模式的值。
作为本发明的图像解码装置的再一种方案，有以下方案。
一种图像解码装置，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码部(203)，在对图像信号按预测块单位进行帧内预测时，从被编码有亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息的编码串中，解码出帧内亮度预测模式、及色差信号的预测块的与帧内色差预测模式相关的句法要素，并算出亮度信号的预测块的帧内亮度预测模式的值，从与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，预测帧内色差预测模式的值，
亮度信号帧内预测部(206)，根据针对上述亮度信号的每个预测块所取得的帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号，以及
色差信号帧内预测部(206)，根据针对上述色差信号的每个预测块所取得的帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
上述图像解码装置的特征在于，上述编码串解码部(203)在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：0或4：4：4，则将帧内亮度预测模式的值作为帧内色差预测模式的值。
上述图像解码装置的特征在于，色差信号帧内预测部(206)在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：2，则将使帧内亮度预测模式的帧内预测方向在水平方向上缩放为1/2倍或在垂直方向上缩放为2倍后的帧内预测方向用于色差信号的帧内预测。
上述图像解码装置的特征在于，上述编码串解码部(203)在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：2，则将使帧内亮度预测模式的帧内预测方向在水平方向上缩放为1/2倍或在垂直方向上缩放为2倍后的帧内预测方向所对应的帧内预测模式的值、或接近该帧内预测方向的帧内预测方向所对应的帧内预测模式的值，作为帧内色差预测模式的值。
作为本发明的图像解码方法的再一种方案，有以下方案。
一种图像解码方法，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码步骤，在对图像信号按预测块单位进行帧内预测时，从被编码有亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息的编码串中，解码出帧内亮度预测模式、及色差信号的预测块的与帧内色差预测模式相关的句法要素，并算出亮度信号的预测块的帧内亮度预测模式的值，从与色差信号的预测块相同位置的亮度信号的预测块的帧内亮度预测模式的值，预测帧内色差预测模式的值，
亮度信号帧内预测步骤，根据针对上述亮度信号的每个预测块所取得的帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号，以及
色差信号帧内预测步骤，根据针对上述色差信号的每个预测块所取得的帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
上述图像解码方法的特征在于，上述编码串解码步骤在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：0或4：4：4，则将帧内亮度预测模式的值作为帧内色差预测模式的值。
上述图像解码方法的特征在于，色差信号帧内预测步骤在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：2，则将使帧内亮度预测模式的帧内预测方向在水平方向上缩放为1/2倍或在垂直方向上缩放为2倍后的帧内预测方向用于色差信号的帧内预测。
上述图像解码方法的特征在于，上述编码串解码步骤在从与上述色差信号的预测块相同位置的帧内亮度预测模式预测帧内色差预测模式时，若色差格式为4：2：2，则将使帧内亮度预测模式的帧内预测方向在水平方向上缩放为1/2倍或在垂直方向上缩放为2倍后的帧内预测方向所对应的帧内预测模式的值、或接近该帧内预测方向的帧内预测方向所对应的帧内预测模式的值，作为帧内色差预测模式的值。
以上所述的实施方式的图像编码装置所输出的动图像的编码流具有特定的数据格式，以使得能根据实施方式中采用的编码方法进行解码，与图像编码装置对应的图像解码装置能解码该特定的数据格式的编码流。
为在图像编码装置与图像解码装置间传输编码流而采用有线或无线的网络时，可以将编码流变换成适于通信路径的传输方式的数据形式。此时，设置将图像编码装置输出的编码流变换成适于通信路径的传输方式的数据形式的编码数据并发送于网络的图像发送装置、和从网络接收编码数据并复原成编码流提供给图像解码装置的图像接收装置。
图像发送装置包括对图像编码装置输出的编码流进行缓存的存储器、将编码流打包的包处理部、以及介由网络发送被打包后的编码数据的发送部。图像接收装置包括介由网络接收被打包了的编码数据的接收部、对接收到的编码数据进行缓存的存储器、以及对编码数据进行包处理而生成编码流提供给图像解码装置的包处理部。
以上关于编码和解码的处理当然能作为使用了硬件的传输、存储、接收装置来实现，还能通过被存储于ROM(只读存储器)或闪存存储器等中的固件、计算机等的软件来实现。该固件程序、软件程序可以记录在计算机等可读取的记录介质中来提供，也可以通过有线或无线的网络从服务器提供，还可以作为地面波或卫星数字广播的数据播放来提供。
以上基于实施方式说明了本发明。本领域技术人员当理解实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，并且这样的变形例也包含在本发明的范围内。
〔项目1〕一种图像编码装置，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，包括：
亮度信号帧内预测部，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测部，在设定有上述分割模式、且色差格式为4：2：0的情况下，不将上述最小编码块的色差信号分割地设定色差信号的预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成部，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
〔项目2〕如项目1所述的图像编码装置，其特征在于，
上述色差信号帧内预测部在根据帧内亮度预测模式设定帧内色差预测模式的模式下，将表示上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式的值用于表示上述最小编码块内的色差信号的预测块的帧内色差预测模式的值，由此设定帧内色差预测模式。
〔项目3〕一种图像编码装置，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，包括：
亮度信号帧内预测部，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测部，在设定有上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小编码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并针对上述色差信号的各个预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成部，将上述最小编码块的与预测模式相关的信息编码，并生成按
上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、
处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式
的顺序将与预测模式相关的信息排列后的编码串。
〔项目4〕如项目3所述的图像编码装置，其特征在于，
上述色差信号帧内预测部在根据帧内亮度预测模式设定帧内色差预测模式的模式下，将表示上述最小编码块内的第1、第2、第3、第4亮度信号的预测块的帧内亮度预测模式的值用于表示分别处于与之相同的基准位置的上述最小编码块内的第1、第2、第3、第4色差信号的预测块的帧内色差预测模式的值，由此设定第1、第2、第3、第4色差信号的预测块的帧内色差预测模式。
〔项目5〕一种图像编码装置，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，包括：
亮度信号帧内预测部，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测部，在设定有上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小编码块的色差信号水平地分割后的第1及第2色差信号的预测块，并针对上述色差信号的各个预测块，分别根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成部，将上述最小编码块的与预测模式相关的信息编码，并生成按
上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式
的顺序将与预测模式相关的信息排列后的编码串。
〔项目6〕如项目5所述的图像编码装置，其特征在于，
上述色差信号帧内预测部在根据帧内亮度预测模式设定帧内色差预测模式的模式下，将表示上述最小编码块内的第1、第3亮度信号的预测块的帧内亮度预测模式的值，按照预先设定的变换规则变换成表示分别处于与之相同的基准位置的上述最小编码块内的第1、第2色差信号的预测块的帧内色差预测模式的值，由此设定第1、第2色差信号的预测块的帧内色差预测模式。
〔项目7〕一种图像编码方法，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，包括：
亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：2：0的情况下，不将上述最小编码块的色差信号分割地设定色差信号的预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
〔项目8〕一种图像编码方法，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，包括：
亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小编码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并针对上述色差信号的各个预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按
上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、
处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式
的顺序将与预测模式相关的信息排列后的编码串。
〔项目9〕一种图像编码方法，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，包括：
亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小编码块的色差信号水平地分割后的第1及第2色差信号的预测块，并针对上述色差信号的各个预测块，分别根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按
上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式
的顺序将与预测模式相关的信息排列后的编码串。
〔项目10〕一种图像编码程序，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，使计算机执行以下步骤：
亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：2：0的情况下，不将上述最小编码块的色差信号分割地设定色差信号的预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序将与预测模式相关的信息排列后的编码串。
〔项目11〕一种图像编码程序，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，使计算机执行以下步骤：
亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小编码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并针对上述色差信号的各个预测块，根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按
上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、
处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式
的顺序将与预测模式相关的信息排列后的编码串。
〔项目12〕一种图像编码程序，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测编码，并将与帧内预测模式相关的信息编码，其特征在于，使计算机执行以下步骤：
亮度信号帧内预测步骤，在对图像信号按预先设定的最小编码块单位进行帧内预测时，在设定有水平和垂直地分割亮度信号的分割模式的情况下，设定将上述最小编码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，针对上述亮度信号的各个预测块，分别根据帧内亮度预测模式从周围的已编码的亮度信号的块预测亮度信号；
色差信号帧内预测步骤，在设定有上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小编码块的色差信号水平地分割后的第1及第2色差信号的预测块，并针对上述色差信号的各个预测块，分别根据帧内色差预测模式从周围的已编码的色差信号的块预测色差信号；以及
编码串生成步骤，将上述最小编码块的与预测模式相关的信息编码，并生成按
上述最小编码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式
的顺序将与预测模式相关的信息排列后的编码串。
〔项目13〕一种图像解码装置，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码部，在对图像信号按预先设定的最小解码块单位进行帧内预测时，在取得水平和垂直地分割亮度信号的分割模式、且色差格式为4：2：0的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测部，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测部，在被设定了上述分割模式、且色差格式为4：2：0的情况下，不分割上述最小解码块的色差信号地设定色差信号的预测块，并根据基于解码出的与帧内色差预测模式相关的信息而得到的帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔项目14〕如项目13所述的图像解码装置，其特征在于，
上述色差信号帧内预测部在根据帧内亮度预测模式设定帧内色差预测模式的模式下，将表示上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式的值用于表示上述最小解码块内的色差信号的预测块的帧内色差预测模式的值，由此设定帧内色差预测模式。
〔项目15〕一种图像解码装置，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码部，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：4：4的情况下，从按
上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、
处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式
的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测部，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测部，在被设定了上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小解码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并根据基于解码出的与上述色差信号的各预测块的帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔项目16〕如项目15所述的图像解码装置，其特征在于，
上述色差信号帧内预测部在根据帧内亮度预测模式设定帧内色差预测模式的模式下，将表示上述最小解码块内的第1、第2、第3、第4亮度信号的预测块的帧内亮度预测模式的值用于表示分别处于与之相同的基准位置的上述最小解码块内的第1、第2、第3、第4色差信号的预测块的帧内色差预测模式的值，由此设定第1、第2、第3、第4色差信号的预测块的帧内色差预测模式。
〔项目17〕一种图像解码装置，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码部，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：2：2的情况下，从按
上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式
的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测部，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测部，在被设定了上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小解码块的色差信号水平分割后的第1及第2色差信号的预测块，并根据基于解码出的与上述色差信号的各预测块的帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔项目18〕如项目17所述的图像解码装置，其特征在于，
上述色差信号帧内预测部在根据帧内亮度预测模式设定帧内色差预测模式的模式下，将表示上述最小解码块内的第1、第3亮度信号的预测块的帧内亮度预测模式的值，按预先设定的变换规则变换成表示分别处于与之相同的基准位置的上述最小解码块内的第1、第2色差信号的预测块的帧内色差预测模式的值，由此设定第1、第2色差信号的预测块的帧内色差预测模式。
〔项目19〕一种图像解码方法，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码步骤，在对图像信号按预先设定的最小解码块单位进行帧内预测时，在取得水平和垂直地分割亮度信号的分割模式、且色差格式为4：2：0的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：2：0的情况下，不分割上述最小解码块的色差信号地设定色差信号的预测块，并根据基于解码出的与帧内色差预测模式相关的信息而得到的帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔项目20〕一种图像解码方法，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码步骤，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：4：4的情况下，从按
上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、
处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式
的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小解码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并根据基于解码出的与上述色差信号的各预测块的帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔项目21〕一种图像解码方法，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码步骤，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：2：2的情况下，从按
上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式
的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小解码块的色差信号水平分割后的第1及第2色差信号的预测块，并根据基于解码出的与上述色差信号的各预测块的帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔项目22〕一种图像解码程序，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，使计算机执行以下步骤：
编码串解码步骤，在对图像信号按预先设定的最小解码块单位进行帧内预测时，在取得水平和垂直地分割亮度信号的分割模式、且色差格式为4：2：0的情况下，从按上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：2：0的情况下，不分割上述最小解码块的色差信号地设定色差信号的预测块，并根据基于解码出的与帧内色差预测模式相关的信息而得到的帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔项目23〕一种图像解码程序，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，使计算机执行以下步骤：
编码串解码步骤，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：4：4的情况下，从按
上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第2亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第3色差信号的预测块的帧内色差预测模式、
处于与第4亮度信号的预测块相同的基准位置的第4色差信号的预测块的帧内色差预测模式
的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：4：4的情况下，设定将上述最小解码块的色差信号水平和垂直地分割后的第1～第4色差信号的预测块，并根据基于解码出的与上述色差信号的各预测块的帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔项目24〕一种图像解码程序，将与帧内预测模式相关的信息解码，按块单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，使计算机执行以下步骤：
编码串解码步骤，在按预先设定的最小解码块单位对图像信号进行帧内预测时，在取得了将亮度信号水平和垂直地分割的分割模式、且色差格式为4：2：2的情况下，从按
上述最小解码块内的第1亮度信号的预测块的帧内亮度预测模式、
第2亮度信号的预测块的帧内亮度预测模式、
第3亮度信号的预测块的帧内亮度预测模式、
第4亮度信号的预测块的帧内亮度预测模式、
处于与第1亮度信号的预测块相同的基准位置的第1色差信号的预测块的帧内色差预测模式、
处于与第3亮度信号的预测块相同的基准位置的第2色差信号的预测块的帧内色差预测模式
的顺序排列有与预测模式相关的编码信息的编码串中，按该顺序解码出亮度信号的预测块的与帧内亮度预测模式相关的信息和色差信号的预测块的与帧内色差预测模式相关的信息；
亮度信号帧内预测步骤，在被设定了上述分割模式的情况下，设定将上述最小解码块的亮度信号水平和垂直地分割后的第1～第4亮度信号的预测块，并根据基于解码出的上述亮度信号的各预测块的与帧内亮度预测模式相关的信息而得到的各帧内亮度预测模式，从周围的已解码的亮度信号的块预测亮度信号；以及
色差信号帧内预测步骤，在被设定了上述分割模式、且色差格式为4：2：2的情况下，设定将上述最小解码块的色差信号水平分割后的第1及第2色差信号的预测块，并根据基于解码出的与上述色差信号的各预测块的帧内色差预测模式相关的信息而得到的各帧内色差预测模式，从周围的已解码的色差信号的块预测色差信号。
〔标号说明〕
101色差格式设定部、102图像存储器、103帧内预测部、104帧间预测部、105编码方法决定部、106残差信号生成部、107正交变换·量化部、108逆量化·逆正交变换部、109解码图像信号重叠部、110编码信息保存存储器、111解码图像存储器、112第1编码比特串生成部、113第2编码比特串生成部、114第3编码比特串生成部、115编码比特串多路化部、121编码块单位的编码信息的句法要素计算部、122帧内亮度预测模式的句法要素计算部、123帧内色差预测模式的句法要素计算部、124帧间预测信息的句法要素计算部、125帧内预测模式编码控制部、126熵编码部、201编码比特串分离部、202第1编码比特串解码部、203第2编码比特串解码部、204第3编码比特串解码部、205色差格式管理部、206帧内预测部、207帧间预测部、208逆量化·逆正交变换部、209解码图像信号重叠部、210编码信息保存存储器、211解码图像存储器、212开关、213开关、221帧内预测模式解码控制部、222熵解码部、223编码块单位的编码信息计算部、224帧内亮度预测模式计算部、225帧内色差预测模式计算部、226帧间预测信息计算部。
〔工业可利用性〕
本发明能利用于图像编码及解码技术、特别能利用于画面内编码及解码技术。

Claims (2)

1.一种图像解码装置，对与帧内预测模式相关的信息进行解码，以块为单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码部，在对图像信号以编码块为单位进行帧内预测时，在获取将亮度信号以水平和垂直进行分割的分割模式、且色差格式为4：2：0的情况下，从排列了与所述编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式相关的句法要素的编码串中，解码出与所述第1亮度信号的预测块的帧内亮度预测模式相关的句法要素、与第2亮度信号的预测块的帧内亮度预测模式相关的句法要素、与第3亮度信号的预测块的帧内亮度预测模式相关的句法要素、与第4亮度信号的预测块的帧内亮度预测模式相关的句法要素，接着，解码出与色差信号的预测块的帧内色差预测模式相关的句法要素；
帧内亮度预测模式计算部，基于与各个所述亮度信号的预测块的帧内亮度预测模式相关的句法要素，计算出各个亮度信号的预测块的帧内亮度预测模式的值；
帧内色差预测模式计算部，基于根据与帧内色差预测模式相关的句法要素的值以及与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值计算出帧内色差预测模式的变换表，从与所述色差信号的预测块的帧内色差预测模式相关的句法要素以及所述第1亮度信号的预测块的帧内亮度预测模式的值，计算出所述色差信号的预测块的帧内色差预测模式的值；
亮度信号帧内预测部，在设定有所述分割模式的情况下，设定将所述编码块的亮度信号以水平和垂直进行分割后的第1～第4亮度信号的预测块，根据所述第1～第4亮度信号的预测块的帧内亮度预测模式，基于周 围的已解码的亮度信号的块来预测亮度信号；以及
色差信号帧内预测部，在设定有所述分割模式、且色差格式为4：2：0的情况下，不分割所述色差信号而设定色差信号的预测块，并根据所述色差信号的预测块的帧内色差预测模式，基于周围的已解码的色差信号的块来预测色差信号，
所述帧内色差预测模式计算部根据与色差信号的预测块的帧内色差预测模式有关的句法要素的值，将表示所述编码块内的第1亮度信号的预测块的帧内亮度预测模式的值用作表示所述编码块内的色差信号的预测块的帧内色差预测模式的值，由此能够设定帧内色差预测模式，并且能够设定表示预测方向是垂直方向的垂直预测的值作为所述色差信号的预测块的帧内色差预测模式的设定值之一。
2.一种图像解码方法，对与帧内预测模式相关的信息进行解码，以块为单位对包含亮度信号和色差信号的图像信号进行帧内预测解码，其特征在于，包括：
编码串解码步骤，在对图像信号以编码块为单位进行帧内预测时，在获取将亮度信号以水平和垂直进行分割的分割模式、且色差格式为4：2：0的情况下，从排列了与所述编码块内的第1亮度信号的预测块的帧内亮度预测模式、第2亮度信号的预测块的帧内亮度预测模式、第3亮度信号的预测块的帧内亮度预测模式、第4亮度信号的预测块的帧内亮度预测模式、处于与第1亮度信号的预测块相同的基准位置的色差信号的预测块的帧内色差预测模式相关的句法要素的编码串中，解码出与所述第1亮度信号的预测块的帧内亮度预测模式相关的句法要素、与第2亮度信号的预测块的帧内亮度预测模式相关的句法要素、与第3亮度信号的预测块的帧内亮度预测模式相关的句法要素、与第4亮度信号的预测块的帧内亮度预测模式相关的句法要素，接着，解码出与色差信号的预测块的帧内色差预测模式相关的句法要素；
帧内亮度预测模式计算步骤，基于与各个所述亮度信号的预测块的帧内亮度预测模式相关的句法要素，计算出各个亮度信号的预测块的帧内亮度预测模式的值；
帧内色差预测模式计算步骤，基于根据与帧内色差预测模式相关的句法要素的值以及与色差信号的预测块相同位置的预测块的帧内亮度预测模式的值计算出帧内色差预测模式的变换表，从与所述色差信号的预测块的帧内色差预测模式相关的句法要素以及所述第1亮度信号的预测块的帧内亮度预测模式的值，计算出所述色差信号的预测块的帧内色差预测模式的值；
亮度信号帧内预测步骤，在设定有所述分割模式的情况下，设定将所述编码块的亮度信号以水平和垂直进行分割后的第1～第4亮度信号的预测块，根据基于解码出的与所述亮度信号的各预测块的帧内亮度预测模式相关的信息来得到的各帧内亮度预测模式，基于周围的已解码的亮度信号的块来预测亮度信号；以及
色差信号帧内预测步骤，在设定有所述分割模式、且色差格式为4：2：0的情况下，不分割所述色差信号而设定色差信号的预测块，并根据所述第1～第4亮度信号的预测块的帧内色差预测模式，基于周围的已解码的色差信号的块来预测色差信号，
在所述帧内色差预测模式计算步骤中，根据与色差信号的预测块的帧内色差预测模式有关的句法要素的值，将表示所述编码块内的第1亮度信号的预测块的帧内亮度预测模式的值用作表示所述编码块内的色差信号的预测块的帧内色差预测模式的值，由此能够设定帧内色差预测模式，并且能够设定表示预测方向是垂直方向的垂直预测的值作为所述色差信号的预测块的帧内色差预测模式的设定值之一。
CN201610161628.9A 2011-06-23 2012-06-14 图像解码装置和图像解码方法 Active CN105791834B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-139678 2011-06-23
JP2011139677A JP5614381B2 (ja) 2011-06-23 2011-06-23 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2011139678A JP5678818B2 (ja) 2011-06-23 2011-06-23 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2011-139677 2011-06-23
CN201280030889.7A CN103621087B (zh) 2011-06-23 2012-06-14 图像解码装置及图像解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280030889.7A Division CN103621087B (zh) 2011-06-23 2012-06-14 图像解码装置及图像解码方法

Publications (2)

Publication Number Publication Date
CN105791834A CN105791834A (zh) 2016-07-20
CN105791834B true CN105791834B (zh) 2018-01-02

Family

ID=47422264

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201610987042.8A Active CN107071428B (zh) 2011-06-23 2012-06-14 图像编码装置和图像编码方法
CN201610161890.3A Active CN105812806B (zh) 2011-06-23 2012-06-14 图像解码装置和图像解码方法
CN201280030889.7A Active CN103621087B (zh) 2011-06-23 2012-06-14 图像解码装置及图像解码方法
CN201610161628.9A Active CN105791834B (zh) 2011-06-23 2012-06-14 图像解码装置和图像解码方法
CN201610162619.1A Pending CN105791835A (zh) 2011-06-23 2012-06-14 图像编码装置和图像编码方法
CN201610162707.1A Active CN105812807B (zh) 2011-06-23 2012-06-14 图像编码装置和图像编码方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201610987042.8A Active CN107071428B (zh) 2011-06-23 2012-06-14 图像编码装置和图像编码方法
CN201610161890.3A Active CN105812806B (zh) 2011-06-23 2012-06-14 图像解码装置和图像解码方法
CN201280030889.7A Active CN103621087B (zh) 2011-06-23 2012-06-14 图像解码装置及图像解码方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201610162619.1A Pending CN105791835A (zh) 2011-06-23 2012-06-14 图像编码装置和图像编码方法
CN201610162707.1A Active CN105812807B (zh) 2011-06-23 2012-06-14 图像编码装置和图像编码方法

Country Status (5)

Country Link
US (7) US8938003B2 (zh)
KR (5) KR101668575B1 (zh)
CN (6) CN107071428B (zh)
TW (5) TW201635791A (zh)
WO (1) WO2012176406A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101668575B1 (ko) 2011-06-23 2016-10-21 가부시키가이샤 제이브이씨 켄우드 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9300964B2 (en) 2013-01-24 2016-03-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
JP6112031B2 (ja) * 2013-03-29 2017-04-12 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法及び画像復号プログラム
HUE056673T2 (hu) * 2013-03-29 2022-02-28 Jvckenwood Corp Képdekódoló készülék, képdekódoló eljárás és képdekódoló program
AU2013202653A1 (en) 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
JP6171627B2 (ja) * 2013-06-28 2017-08-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム
CN107409208B (zh) * 2015-03-27 2021-04-20 索尼公司 图像处理装置、图像处理方法以及计算机可读存储介质
CN118714296A (zh) * 2016-10-04 2024-09-27 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
KR102488123B1 (ko) * 2016-12-26 2023-01-12 에스케이텔레콤 주식회사 인트라 예측을 이용한 영상의 부호화 및 복호화
WO2018124686A1 (ko) * 2016-12-26 2018-07-05 에스케이텔레콤 주식회사 인트라 예측을 이용한 영상의 부호화 및 복호화
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
CN108429910B (zh) * 2017-02-15 2021-09-10 扬智科技股份有限公司 图像压缩方法
EP3643063A1 (en) * 2017-06-21 2020-04-29 Vid Scale, Inc. Adaptive quantization for 360-degree video coding
CN107295348A (zh) * 2017-07-31 2017-10-24 南通海鑫信息科技有限公司 一种图像编码方法
CA3185207A1 (en) 2018-03-25 2019-10-03 B1 Institute Of Image Technology, Inc. Image encoding/decoding method and device
WO2019185808A1 (en) * 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intra-prediction mode concept for block-wise picture coding
RU2752011C1 (ru) * 2018-04-01 2021-07-21 Б1 Инститьют Оф Имидж Текнолоджи, Инк. Способ и оборудование для кодирования/декодирования изображения
US10819979B2 (en) * 2018-09-06 2020-10-27 Tencent America LLC Coupled primary and secondary transform
EP3850840A1 (en) 2018-09-13 2021-07-21 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Affine linear weighted intra predictions
CN110944180B (zh) * 2018-09-21 2023-04-28 华为技术有限公司 色度块预测方法及装置
CN109547791B (zh) * 2018-10-26 2020-12-22 西安科锐盛创新科技有限公司 图像帧内预测方法及其装置
CN112997481B (zh) * 2018-11-16 2024-01-12 寰发股份有限公司 带有约束的亮度-色度单独的编码树编解码的方法和设备
CN118741097A (zh) 2018-12-12 2024-10-01 数码士有限公司 使用当前图片参考的视频信号处理方法和设备
WO2020171681A1 (ko) * 2019-02-19 2020-08-27 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
WO2020184936A1 (ko) * 2019-03-08 2020-09-17 정병득 비디오 신호의 부호화 또는 복호화 방법 및 장치
TWI826969B (zh) * 2019-03-11 2023-12-21 弗勞恩霍夫爾協會 具輪廓與位階相依寫碼選項之編碼器與解碼器、編碼方法及解碼方法
CN113661712A (zh) * 2019-03-12 2021-11-16 夏普株式会社 在视频编码中用于执行帧内预测编码的系统和方法
CN113615179B (zh) 2019-03-13 2024-02-09 Lg 电子株式会社 图像编码/解码方法和装置以及发送比特流的方法
KR20210118951A (ko) * 2019-03-15 2021-10-01 엘지전자 주식회사 크로마 포맷에 대한 정보를 시그널링 하는 방법 및 장치
WO2021025416A1 (ko) * 2019-08-04 2021-02-11 엘지전자 주식회사 신택스 결합을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220054360A (ko) 2019-09-25 2022-05-02 엘지전자 주식회사 컬러 포맷에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021132404A1 (ja) * 2019-12-26 2021-07-01 日本放送協会 符号化装置、復号装置、及びプログラム
US20230079960A1 (en) * 2021-09-15 2023-03-16 Tencent America LLC On propagating intra prediction mode information of ibc block by using block vector

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777283A (zh) * 2004-12-31 2006-05-24 上海广电（集团）有限公司 一种基于微块的视频信号编/解码方法
CN1784015A (zh) * 2004-12-02 2006-06-07 中国科学院计算技术研究所 一种帧内图像预测编码方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
BR0306987A (pt) * 2002-11-20 2004-12-14 Matsushita Electric Ind Co Ltd Método de prognóstico de imagem em movimento, método e aparelho de codificação de imagem em movimento e método e aparelho de decodificação de imagem em movimento
US20060104357A1 (en) * 2003-01-20 2006-05-18 Dzevdet Burazerovic Video coding
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
KR100964401B1 (ko) * 2003-10-23 2010-06-17 삼성전자주식회사 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
CN101159874A (zh) * 2004-09-08 2008-04-09 华为技术有限公司 基于帧内编码的图像色度预测方法
CN100426868C (zh) * 2005-01-25 2008-10-15 中国科学院计算技术研究所 一种帧内图像的亮度预测编码方法
WO2006112992A1 (en) * 2005-04-13 2006-10-26 Thomson Licensing Luma-chroma coding with one common or three distinct spatial predictors
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
CN101867820B (zh) * 2005-09-20 2013-05-29 三菱电机株式会社 图像解码装置以及图像解码方法
US7773633B2 (en) 2005-12-08 2010-08-10 Electronics And Telecommunications Research Institute Apparatus and method of processing bitstream of embedded codec which is received in units of packets
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US8139875B2 (en) * 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN102057678A (zh) * 2008-06-10 2011-05-11 松下电器产业株式会社 解码装置、解码方法及接收装置
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
CN101621687B (zh) * 2008-08-18 2011-06-08 深圳市铁越电气有限公司 H.264到avs视频码流转换方法及其装置
US8660193B2 (en) * 2009-01-12 2014-02-25 Maxim Integrated Products, Inc. Parallel, pipelined, integrated-circuit implementation of a computational engine
TW201041404A (en) * 2009-03-06 2010-11-16 Sony Corp Image processing device and method
CN101964906B (zh) * 2009-07-22 2012-07-04 北京工业大学 基于纹理特性的快速帧内预测方法和装置
KR101789634B1 (ko) * 2010-04-09 2017-10-25 엘지전자 주식회사 비디오 데이터 처리 방법 및 장치
CN105763875B (zh) * 2010-07-15 2019-05-14 三菱电机株式会社 图像解码装置及其方法和图像编码装置及其方法
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
CN103392341A (zh) * 2010-12-23 2013-11-13 三星电子株式会社 用于对图像预测单元的帧内预测模式进行编码的方法和装置，以及用于对图像预测单元的帧内预测模式进行解码的方法和装置
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
KR101668575B1 (ko) 2011-06-23 2016-10-21 가부시키가이샤 제이브이씨 켄우드 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
JP5725107B2 (ja) 2013-08-30 2015-05-27 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1784015A (zh) * 2004-12-02 2006-06-07 中国科学院计算技术研究所 一种帧内图像预测编码方法
CN1777283A (zh) * 2004-12-31 2006-05-24 上海广电（集团）有限公司 一种基于微块的视频信号编/解码方法

Also Published As

Publication number Publication date
CN105812807B (zh) 2018-01-16
KR20160013257A (ko) 2016-02-03
CN105791835A (zh) 2016-07-20
US10009607B2 (en) 2018-06-26
TWI563827B (zh) 2016-12-21
KR20140024957A (ko) 2014-03-03
TWI563826B (zh) 2016-12-21
CN103621087B (zh) 2016-12-07
CN107071428A (zh) 2017-08-18
US10412384B2 (en) 2019-09-10
KR101675707B1 (ko) 2016-11-11
US20160249060A1 (en) 2016-08-25
TW201635791A (zh) 2016-10-01
US20180352224A1 (en) 2018-12-06
TWI552578B (zh) 2016-10-01
CN105812806A (zh) 2016-07-27
CN107071428B (zh) 2019-12-27
CN103621087A (zh) 2014-03-05
KR101588143B1 (ko) 2016-01-22
CN105791834A (zh) 2016-07-20
US20180249157A1 (en) 2018-08-30
TW201309028A (zh) 2013-02-16
US20160323574A1 (en) 2016-11-03
TW201635793A (zh) 2016-10-01
US9363521B2 (en) 2016-06-07
US20160323588A1 (en) 2016-11-03
CN105812806B (zh) 2019-04-26
KR20150074201A (ko) 2015-07-01
TW201635790A (zh) 2016-10-01
KR101729463B1 (ko) 2017-04-21
KR101668583B1 (ko) 2016-10-21
US10869033B2 (en) 2020-12-15
WO2012176406A1 (ja) 2012-12-27
US20140105276A1 (en) 2014-04-17
US20150156499A1 (en) 2015-06-04
CN105812807A (zh) 2016-07-27
US8938003B2 (en) 2015-01-20
KR101668575B1 (ko) 2016-10-21
TWI562603B (zh) 2016-12-11
KR20160130869A (ko) 2016-11-14
TW201635792A (zh) 2016-10-01
KR20150074200A (ko) 2015-07-01
TWI562604B (zh) 2016-12-11

Similar Documents

Publication Publication Date Title
CN105791834B (zh) 图像解码装置和图像解码方法
CN106101717B (zh) 视频信号的处理方法和设备
CN105915901B (zh) 动图像解码装置以及动图像解码方法
CN104137542B (zh) 在视频译码过程中对与残余视频数据相关联的变换系数进行译码的方法、设备以及计算机可读介质
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN103843345B (zh) 编码设备、解码设备、编码方法和解码方法
CN103118252B (zh) 运动图像编码装置以及运动图像译码装置
CN103339940B (zh) 运动图像编码方法以及运动图像解码方法
TWI580251B (zh) Image coding apparatus, image coding method and image coding program
CN103959774B (zh) 用于高效视频编码的运动信息的有效存储
CN110326294A (zh) 使用二次变换编码/解码视频信号的方法和设备
CN109155855A (zh) 用于视频译码的仿射运动预测
CN106105204A (zh) 在颜色空间变换译码中修改位深度
CN103227923A (zh) 图像解码方法以及图像解码装置
CN105900420A (zh) 选择运动向量精度
CN109889830A (zh) 图像解码装置
CN107181951A (zh) 视频解码设备以及视频解码方法
CN105637868A (zh) 用于确定合并模式的方法和装置
CN109937570A (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN107251556A (zh) 用于运动搜索中低复杂度四分之一像素产生的方法及设备
CN107258081A (zh) 对使用非正方形分割编码视频数据的优化
CN107005710A (zh) 多视点图像编码/解码方法和装置
CN105794208B (zh) 编码解码图像方法、编码解码图像设备及相应计算机可读介质
CN107071445A (zh) 一种全景视频帧内预测编码方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant