CN114830647A - 图像编码方法和图像解码方法 - Google Patents

图像编码方法和图像解码方法 Download PDF

Info

Publication number
CN114830647A
CN114830647A CN202080089063.2A CN202080089063A CN114830647A CN 114830647 A CN114830647 A CN 114830647A CN 202080089063 A CN202080089063 A CN 202080089063A CN 114830647 A CN114830647 A CN 114830647A
Authority
CN
China
Prior art keywords
prediction
image
intra
block
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080089063.2A
Other languages
English (en)
Inventor
清水拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN114830647A publication Critical patent/CN114830647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的对图像进行编码的图像编码方法，包括：预测图像生成步骤，对于编码对象块进行将画面内块复制预测的预测图像与画面内块复制预测以外的帧内预测的预测图像合成的合成处理来生成合成预测的预测图像；和编码步骤，对所述预测图像生成步骤中生成的预测图像与所述编码对象块的图像的像素值之间的差进行编码，在所述合成处理中，对所述画面内块复制预测的预测图像和所述画面内块复制预测以外的所述帧内预测的预测图像进行加权处理，使用与所述编码对象块相邻的相邻块的信息来决定所述加权处理中的所述帧内预测的预测图像的加权参数。

Description

图像编码方法和图像解码方法
技术领域
本发明涉及对图像进行编码的图像编码技术或对图像进行解码的图像解码技术。
背景技术
作为使图像、声音信息数字数据化并记录、传输的方法，以往制定了H.264/AVC(Advanced Video Coding)和H.265/HEVC(High Efficiency Video Coding)标准等。ISO/IEC MPEG和ITU-T VCEG正在进行实现进一步超过它们的压缩率的称为VVC(VersatileVideo Coding)的下一代方式的研究(参考非专利文献1)。
现有技术文献
非专利文献
非专利文献1：Xiaozhong Xu and Shan Liu,“Recent advances in videocoding beyond the HEVC standard”SIP(2019),vol.8
发明内容
发明要解决的课题
作为VVC的技术候选之一，对于使用将关于同一编码/解码对象块的帧间预测图像与帧内预测图像合成得到的预测图像进行了研究。
但是，仅使用将帧间预测图像与帧内预测图像单纯平均合成得到的预测图像，码量的减少并不充分。
本发明是鉴于上述课题得出的，本发明的目的在于提供一种更优选的图像编码技术、图像解码技术。
用于解决课题的技术方案
为了达成上述目的，本发明的一个实施方式例如构成为以下所述即可，即，包括：预测图像生成步骤，对于编码对象块进行将画面内块复制预测的预测图像与画面内块复制预测以外的帧内预测的预测图像合成的合成处理来生成合成预测的预测图像；和编码步骤，对所述预测图像生成步骤中生成的预测图像与所述编码对象块的图像的像素值之间的差进行编码，在所述合成处理中，对所述画面内块复制预测的预测图像和所述画面内块复制预测以外的所述帧内预测的预测图像进行加权处理，使用与所述编码对象块相邻的相邻块的信息来决定所述加权处理中的所述帧内预测的预测图像的加权参数。
发明效果
根据本发明，能够提供一种更优选的图像编码技术、图像解码技术。
附图说明
图1是本发明的实施例1的图像编码装置的一例的说明图。
图2是本发明的实施例2的图像解码装置的一例的说明图。
图3是本发明的实施例1的图像编码方法的一例的说明图。
图4是本发明的实施例2的图像解码方法的一例的说明图。
图5是本发明的实施例3的数据记录介质的一例的说明图。
图6是本发明的一个实施例的帧内预测的种类的一例的说明图。
图7是本发明的一个实施例的平面预测的一例的说明图。
图8是本发明的一个实施例的合成预测的处理的一例的说明图。
图9是本发明的一个实施例的合成预测的处理的一例的说明图。
图10是本发明的一个实施例的合成预测的处理的一例的说明图。
图11是本发明的一个实施例的合成预测的处理的一例的说明图。
图12是本发明的一个实施例的矩阵加权帧内预测的一例的说明图。
图13是本发明的一个实施例的合成预测的处理的一例的说明图。
图14是本发明的一个实施例的合成预测的处理的一例的说明图。
图15是本发明的一个实施例的合成预测的处理的一例的说明图。
图16是本发明的一个实施例的画面内块复制预测的一例的说明图。
图17是本发明的一个实施例的合成预测的处理的一例的说明图。
图18是本发明的一个实施例的合成预测的处理的一例的说明图。
具体实施方式
以下，参考附图说明本发明的实施例。
另外，各附图中，附加了同一附图标记的构成要素具有相同功能。
本说明书的各记载和各附图中的“0vec”或“0矢量”表示各成分的值是0的矢量，或者变换、设定为这样的矢量。
另外，本说明书的各记载和各附图中的“不可参照”表示因为块位置位于画面的范围外等而不能取得块的信息。“可参照”指的是能够取得块的信息，块的信息中包括像素值、矢量、参照帧编号、和/或预测模式等信息。
另外，本说明书的各记载和各附图中的“残差成分”这一表达也包括与“预测误差”同样的含义。
另外，本说明书的各记载和各附图中的“区域”这一表达也包括与“图像”同样的含义。
另外，本说明书的各记载和各附图中的“与标志一起传输”这一表达也包括“包括在标志中地传输”这样的含义。
(实施例1)
首先，对于本发明的实施例1参考附图进行说明。
在图1中示出本发明的实施例的图像编码装置的框图的一例。
图像编码装置例如具有图像输入部101、块分割部102、模式管理部103、帧内预测部104、帧间预测部105、合成预测部120、块处理部106、变换/量化部107、逆量化/逆变换部108、图像合成/滤波部109、编码图像管理部110、熵编码部111、数据输出部112。
以下详细说明图像编码装置的各构成要素的动作。
其中，图像编码装置的各构成要素的动作，例如可以如下所述地视为各构成要素的自主的动作。另外，例如也可以通过控制部和存储部存储的软件协作而实现。
首先，图像输入部101取得并输入作为编码对象的原图像。接着，块分割部102将所输入的原图像分割为被称为CTU(Coding Tree Unit)的一定尺寸的块，进而对输入的图像进行分析，由此将各CTU与其特征相应地分割为更详细的块。这些作为编码的单位的块被称为CU(Coding Unit)。CTU向CU的分割，被四叉树(Quadtree)、三叉树(Ternary tree)、二叉树(Binary tree)等树结构管理。也可以将CU的内部进一步分割为用于预测的子块和用于频率变换、量化等的TU(Transform Unit)。
模式管理部103管理决定各CU的编码的方法的模式。使用多种帧内预测方式、帧间预测方式、合成预测方式进行编码处理，决定对该CU进行编码效率最高的模式。效率最高的模式，指的是相对于一定的码量能够使编码误差最小的模式。存在有多个最优的模式的情况，与状况相应地适当选择即可。哪个模式效率高的判断，是将帧内预测部104、帧间预测部105或合成预测部120进行的多个模式的预测处理、以及利用其它处理部进行的残差成分和各种标志的码量计测、以及解码时的再现图像误差预测组合进行的。一般而言，模式按CU单位决定，但也可以将CU分割为子块，对其分别决定模式。
关于编码对象块(CU或子块)的预测方法，有帧内(intra)预测、帧间(inter)预测和将帧内预测与帧间预测组合而成的合成预测，它们分别由帧内预测部104、帧间预测部105、合成预测部120进行。帧内预测使用在编码对象块之前进行编码的同一帧的信息，帧间预测使用在编码对象帧之前进行编码的、再现时间上之前或之后的帧的信息。此处，关于帧内预测部104、帧间预测部105和合成预测部120，为了说明而仅记载了1个，但也可以对于每个编码模式、每个帧分别具备。
帧内预测部104进行画面内预测处理。另外，在“预测处理”中，进行预测图像的生成。画面内预测处理使用在编码对象块之前进行了编码的同一帧的信息来预测编码对象块的像素。帧内预测中，包括DC(Direct Current：直流)预测、角度预测、平面预测、矩阵预测、跨分量预测、多线预测、画面内块复制等。关于帧内预测模式的传输，根据已编码块的帧内预测模式进行可能性最高的模式的推定等。
帧间预测部105进行画面间预测处理。另外，在“预测处理”中进行预测图像的生成。画面间预测处理使用在编码对象帧之前进行了编码的、再现时间上之前或之后的帧的信息来预测编码对象块的像素。帧间预测中，包括运动补偿预测、合并模式预测、基于仿射变换的预测、基于三角形块分割的预测、光流预测、基于解码器方运动预测的预测等。
合成预测部120进行生成将帧内预测得到的预测图像与帧间预测得到的预测图像合成得到的合成预测图像的合成预测。关于合成预测部120中使用的帧内预测得到的预测图像，使用上述帧内预测部104可进行的各种画面内预测处理的预测图像即可。关于合成预测部120中使用的帧间预测得到的预测图像，使用上述帧间预测部105可进行的各种画面内预测处理的预测图像即可。合成方法的详情在后文中叙述。
块处理部106对于各编码对象块，求出帧内预测部104通过帧内预测而生成的预测图像、帧间预测部105通过帧间预测而生成的预测图像、或合成预测部120通过合成预测生成的预测图像、与从块分割部102得到的编码对象块的原图像之间的差(差分)并计算残差成分并输出。
变换/量化部107对于从块处理部106输入的残差成分进行频率变换和量化处理，输出系数组。频率变换使用DCT(Discrete Cosine Transform)、DST(Discrete SineTransform)、或将它们变换为能够用整数运算处理的形式等即可。系数组被发送至为了生成用于预测的解码图像而还原图像的过程、和输出数据用的过程双方。变换和量化也可以根据模式的指定而跳过。
逆量化/逆变换部108为了生成将从变换/量化部107取得的系数组用于预测的解码图像而进行逆量化和逆变换，输出还原得到的残差成分。逆量化、逆变换分别进行与变换/量化部的量化、变换对应的相反方向的处理即可。逆量化和逆变换也可以根据模式的指定而跳过。
图像合成/滤波部109将由帧内预测部104生成的预测图像、由帧间预测部105生成的预测图像、或由合成预测部120生成的预测图像、与用逆量化/逆变换部108还原的残差成分合成，进而进行环路滤波等处理而生成解码图像。
解码图像管理部110保持解码图像，管理为了帧内预测、帧间预测或合成预测而参照的图像、模式的信息等。
熵编码部111对模式的信息和系数组的信息进行熵编码处理并作为比特串输出。作为熵编码方式，使用CABAC(Context Adaptive Binary Arithmetic Code)等方式即可。可以组合使用可变长度编码、固定长度编码。上下文的判断中参照规定的表即可。
数据输出部112对记录介质和传输通路输出编码后的数据。
接着，使用图3对于本发明的实施例1的图像编码装置中的编码方法的流程进行说明。
首先，在步骤301中输入作为编码对象的原图像，分析图像的内容而决定分割方法，并分割为块。图像内容的分析可以按图像整体进行，也可以组合多帧进行，也可以按将图像分割得到的切片(slice)或图块(tile)、砖块(brick)、CTU等各块单位进行。块的分割一般是分割为一定尺寸的CTU之后，用树结构分割为CU。
接着，在步骤302中，对步骤301中取得的原图像的编码对象块进行帧内预测。帧内预测模式如上所述。按各帧内预测模式对于多个模式进行预测。
接着，在步骤303中，对于步骤301中取得的原图像的编码对象块进行帧间预测。帧间预测模式如上所述。按各帧间预测模式对于多个模式进行预测。
接着，在步骤320中，对于步骤301中取得的原图像的编码对象块进行合成预测。合成预测模式的详情在后文中叙述。
接着，在步骤304中，与各模式对应地，对于帧内预测、帧间预测、合成预测后的编码对象块的图像分离出残差成分，进行残差成分的变换处理和量化处理、熵编码处理，计算出编码数据。
接着，在步骤305中，与各模式对应地，进行逆量化、逆变换处理，将残差成分与预测图像合成，由此进行解码图像的生成。对于解码图像，与帧内预测和帧间预测中的预测数据和各种编码数据一同管理，用于其它编码对象块的预测。
接着，在步骤306中，对各模式进行比较，决定能够效率最高地进行编码的模式。模式中存在帧内预测模式、帧间预测模式、合成预测模式等，将其总称为编码模式。模式选择方法如上所述。
在步骤307中，按照所决定的编码模式，输出编码对象块的编码数据。对于图像整体反复进行上述各编码对象块的编码过程，进行图像的编码。
接着，对于本实施例的合成预测模式进行说明。其中，关于基于该合成预测模式的预测图像生成处理，在编码方、解码方进行相同的处理。从而，关于本实施例的合成预测模式的以下说明中，只要没有特别声明，就在编码方和解码方进行相同的处理。
本实施例的合成预测模式通过对帧内预测得到的帧内预测图像与帧间预测得到的帧间预测图像进行加权平均，而生成合成预测得到的预测图像。具体而言，设帧间预测像素为Pinter、帧内预测像素为Pintra，用以下式1计算出预测图像的各预测像素Pcom(以下称为合成预测像素)。
Pcom＝(w*Pintra+(4–w)*Pinter)/4 ……式1
即，式1的处理是使用加权参数w的、帧间预测像素与帧内预测像素的加权平均处理。另外，该处理也可以表达为加权相加。
关于本实施例的合成预测模式中使用的帧间预测图像，可以将上述帧间预测模式中可以使用的全部帧间预测得到的预测图像作为候选。另外，也可以在上述帧间预测模式中，仅将合并模式得到的预测图像作为对象。
关于本实施例的合成预测模式中使用的帧内预测图像，可以将上述帧内预测模式中可以使用的全部帧内预测得到的预测图像作为候选。另外，也可以在上述帧内预测模式中，仅将角度预测、DC预测、平面预测得到的预测图像作为对象。
此处，本实施例的合成预测模式中，与生成合成预测模式中使用的帧内预测图像的帧内预测的种类相应地决定用于计算合成预测像素的加权参数w。即，与不同的帧内预测各自的特征相应地，变更帧内预测图像与帧间预测图像的加权平均中的、帧内预测图像的权重，由此实现更优选的预测图像的生成。
以下，说明本实施例的合成预测模式中的加权参数w的决定处理的具体例。
首先，对于本实施例的合成预测模式中使用的帧内预测图像的生成中使用的候选中包括的帧内预测、即角度预测、DC预测、平面预测，使用图6和图7进行说明。
在图6中示出角度预测的预测方向。角度预测是对于预测对象像素、分别参照用图示的各预测方向指示的相邻像素进行预测的预测方法。该预测是单方向预测，也能够进行将相邻像素值向各预测方向的相反方向复制的预测。各预测方向能够用编号识别，例如像图示的预测方向2～66这样设定。本图中，示出了作为代表性的预测方向的2(左下方向)、18(左水平方向(水平方向))、34(左上方向)、50(上方向(垂直方向))、66(右上方向)。本图中，为了使说明简化而省略了其他预测方向的记载，但从预测方向2直到预测方向66地，随着预测方向编号增加地在顺时针的旋转方向上定义预测方向。角度预测是基于相邻像素值的单方向预测。
因此，具有对于条形图案等图案在规定方向上延伸的图像能够减小预测残差的倾向。预测残差减小则压缩率提高。在编码方选择角度预测时，是对用角度预测中预测残差减小的图像进行编码时，这是图案在规定方向上延伸的图像的可能性高。这样，在编码方对于编码对象块选择角度预测时，对于相邻的块也采用使用与编码对象块相同的预测方向或者与编码对象块的预测方向相近的预测方向的角度预测的可能性高。这是因为只要图案在规定方向上延伸的图像中的图案的延伸持续，与编码对象块相同的预测方向或者与编码对象块的预测方向相近的预测方向的角度预测中预测残差减小的可能性就高。这也能够表达为预测精度高的可能性高。
该情况下，相邻的多个块中，反复选择相同的预测方向的角度预测或者与该方向相近的预测方向的角度预测的可能性高。即，也可以认为角度预测是与相邻块的预测方法的近似性比较高的帧内预测。另外，“与编码对象块的预测方向相近的预测方向”具体而言可以定义为预测方向的编号是编码对象块的预测方向的编号的±1的预测方向。或者，具体而言也可以定义为预测方向的编号是编码对象块的预测方向的编号的±2的预测方向。
另外，在图6中，进而示出了DC预测的编号是1。DC预测是生成仅与频域的DC成分相当的预测图像的预测方法。即，DC预测的预测图像内的像素值全部是恒定值。DC预测是不基于相邻像素值的预测方法。但是，具有在DC预测中能够减小预测残差的倾向的图像是一定亮度较广范围地扩展的平面的图案等。这样，在编码方对于编码对象块选择DC预测时，对于相邻的块也采用与编码对象块相同的DC预测的可能性高。这是因为只要一定亮度的平面的图案在周围方向上相连，相同的DC预测中预测残差减小的可能性就高。
这也能够表达为预测精度高的可能性高。该情况下，相邻的多个块中，反复选择相同的DC预测的可能性高。即，虽然DC预测是不基于相邻像素值的预测方法，但可以认为是与相邻块的预测方法的近似性比较高的帧内预测。
另外，在图6中，进而示出了平面预测的编号是0。在图7中示出平面预测的具体的预测方法。平面预测中，使用编码对象块的右上相邻像素(处理710)，在编码对象块的右侧边界生成参考像素(处理711)。接着，通过使用该右侧参考像素和与该右侧参考像素相对的左侧相邻像素的线性插值生成各预测像素来生成第一预测图像(图7(A))(处理712)。
另外，使用编码对象块的左下相邻像素(处理720)，在编码对象块的下侧边界生成参考像素(处理721)。接着，通过使用该下侧参考像素和与该下侧参考像素对向的上侧相邻像素的线性插值生成各预测像素来生成第二预测图像(图7(B))(处理722)。然后，对这样生成的第一预测图像(图7(A))与第二预测图像(图7(B))求平均而生成最终预测图像。平面预测是这样通过对用线性插值生成的第一预测图像(图7(A))与第二预测图像(图7(B))求平均而生成非线性曲面的预测图像这一点上具有特征的帧内预测。
平面预测是基于相邻像素值的预测。但是，因为平面预测中生成的预测图像是特征性的非线性曲面，所以与相邻块的预测方法的近似性并不高。如上所述，角度预测和DC预测中预测残差减小的情况下，反复进行与相邻块相同的预测方法的可能性高。与此相对，需要使平面预测的预测图像的特征性的非线性曲面反复的图案的图像并不多。
因此，平面预测可以认为是与相邻块的预测方法的近似性比较低的帧内预测。另外，在编码方对于编码对象块选择平面预测时，是角度预测和DC预测中预测残差未充分减小的图像的可能性高。角度预测和DC预测中预测残差未充分减小的图像不是单纯的图案的可能性高，所以对于角度预测和DC预测中预测残差不减小的图像的平面预测得到的预测残差，与角度预测和DC预测中预测残差减小时的预测残差相比更大的可能性高。这也可以表达为预测精度低的可能性高。
如使用图6和图7所说明，本实施例的合成预测模式中能够使用的角度预测、DC预测、平面预测是分别具有不同的特征的帧内预测。于是，本实施例的合成预测模式中，关注这样的帧内预测的每个种类的特征，进行与帧内预测的种类相应地决定式1的加权参数w的值的控制。使用图8说明本实施例的合成预测模式中的w决定处理。
图8表示本实施例的合成预测模式中的w决定例。在图8中，示出了w决定例1、w决定例2、w决定例3这3个例子。它们是分别不同的决定方法的例子。各决定方法中，分别按每个条件从1、2、3中决定w的值。式1中，w的值越大，则合成预测模式中的帧内预测的加权越大。反之，式1中，w的值越小，则合成预测模式中的帧内预测的加权越小。以下对于这些决定例进行说明。
w决定例1中，合成预测模式中使用的帧内预测是平面预测的情况下决定为w＝1。合成预测模式中使用的帧内预测是角度预测且预测方向是水平方向(18)或垂直方向(50)的情况下决定为w＝3。合成预测模式中使用的帧内预测是角度预测且预测方向是2～17或51～66的情况下决定为w＝3。合成预测模式中使用的帧内预测是角度预测且预测方向是19～49的情况下决定为w＝3。合成预测模式中使用的帧内预测是DC预测的情况下决定为w＝3。
即，w决定例1中，决定方法是使与相邻块的预测方法的近似性比较低的帧内预测即平面预测与角度预测和DC预测相比取更小的w的值。也能够表达为因为平面预测的预测图像是特征性的非线性曲面，预测精度低的可能性高，所以优选使其取合成预测模式中最小的加权。
与此相对，w决定例1中，关于与相邻块的预测方法的近似性比较高的帧内预测即角度预测，在任意的预测方向上，都选择比平面预测时的w的值更大的w的值即3。决定方法是使与相邻块的预测方法的近似性比较高的帧内预测即角度预测与平面预测相比取更大的w的值。也能够表达为因为角度预测的预测图像是简单的单方向预测面，预测精度高的可能性高，所以优选使其在合成预测模式中取比较大的加权。
另外，w决定例1中，关于与相邻块的预测方法的近似性比较高的帧内预测即DC预测，选择比平面预测时的w的值更大的w的值即3。决定方法是使与相邻块的预测方法的近似性比较高的帧内预测即DC预测与平面预测相比取更大的w的值。也可以表达为因为DC预测的预测图像是简单的恒定值平面，预测精度高的可能性高，所以优选使其在合成预测模式中取比较大的加权。
这样，w决定例1与帧内预测的种类相应地决定w的值。此时，设定为平面预测是最小的值。另外，在角度预测中，设定为对于任意预测方向w的值都是恒定的。即，w决定例1中，w的值并不与角度预测的预测方向相应地变化。
接着，w决定例2中，合成预测模式中使用的帧内预测是平面预测的情况下决定为w＝1。合成预测模式中使用的帧内预测是角度预测且预测方向是水平方向(18)或垂直方向(50)的情况下决定为w＝2。合成预测模式中使用的帧内预测是角度预测且预测方向是2～17或51～66的情况下决定为w＝3。合成预测模式中使用的帧内预测是角度预测且预测方向是19～49的情况下决定为w＝3。合成预测模式中使用的帧内预测是DC预测的情况下决定为w＝3。
即，w决定例2中，决定方法与w决定例1同样是使与相邻块的预测方法的近似性比较低的帧内预测即平面预测与角度预测和DC预测相比取更小的w的值。理由与w决定例1同样。w决定例2中，与相邻块的预测方法的近似性比较高的帧内预测即角度预测中，在任意预测方向上，都选择比平面预测时的w的值更大的w的值即2或3。决定方法是使与相邻块的预测方法的近似性比较高的帧内预测即角度预测与平面预测相比取更大的w的值。
也能够表达为因为角度预测的预测图像是简单的单方向预测面，预测精度高的可能性高，所以优选使其在合成预测模式中取比较大的加权。但是，w决定例2中，与w决定例1不同，即使同样是角度预测，也与预测方向相应地改变w的值。
具体而言，预测方向是水平方向(18)或垂直方向(50)的情况下使w＝2，与角度预测中的其他预测方向的w＝3相比设定为更低的加权。这是因为水平方向(18)的预测方向时参照像素仅有左侧相邻块的像素，与相邻块的预测方向的近似性仅限定于左侧相邻块的可能性高，认为综合的与相邻块的预测方向的近似性与其他预测方向相比更低。
另外，同样地，因为垂直方向(50)的预测方向时参照像素仅有上侧相邻块的像素，与相邻块的预测方向的近似性仅限定于上侧相邻块的可能性高，认为综合的与相邻块的预测方向的近似性与其他预测方向相比更低。另外，w决定例2中，与w决定例1同样地，关于与相邻块的预测方向的近似性比较高的帧内预测即DC预测，选择比平面预测时的w的值更大的w的值即3。理由与w决定例1同样。
这样，w决定例2与帧内预测的种类相应地决定w的值。另外，帧内预测是角度预测的情况下，也考虑预测方向地决定w的值。另外，设定为平面预测取最小的值。
w决定例3相对于w决定例2，在合成预测模式中使用的帧内预测是角度预测且预测方向2～17或51～66的情况下决定为w＝2这一点上不同，其他方面是共通的。角度预测且预测方向2～17或51～66的情况下，预测方向的角度不是完全的水平方向或完全的垂直方向，所以认为与上侧相邻块和左侧相邻块中的任意一方都存在预测方法的近似性。
但是，参照像素中包括的像素，是上侧相邻块的像素或左侧相邻块的像素中的任一者。预测方向2～17或51～66的情况下，与参照像素中包括上侧相邻块的像素和左侧相邻块的像素双方的预测方向19～49相比，存在综合的与相邻块的预测方法的近似性更低的可能性。于是，w决定例3中，预测方向2～17或51～66的情况下，决定为w＝2，使其与预测方向19～49的情况相比加权更小。
根据以上说明的图8的合成预测模式中的w的决定例，能够与合成预测模式中使用的帧内预测的每个种类的特征相应地，更适当地决定帧内预测图像与帧间预测图像的合成中的帧内预测图像的加权。
如以上所说明地，进行本申请的一个实施例中的编码处理。
根据以上说明的实施例1的图像编码装置和图像编码方法，能够实现更优选的合成预测模式。
另外，实施例1的图像编码装置和图像编码方法能够应用于使用它们的记录装置、移动电话、数码相机等。
根据以上说明的本发明的实施例1的图像编码装置和图像编码方法，能够减少编码数据的码量，防止对该编码数据进行解码的情况下的解码图像的画质劣化。即，能够实现高压缩率和更好的画质。
即，根据本发明的实施例1的图像编码装置和图像编码方法，能够提供一种更优选的图像编码技术。
(实施例2)
接着，在图2中示出本发明的实施例2的图像解码装置的框图的一例。
图像解码装置例如包括流分析部201、块管理部202、模式判断部203、帧内预测部204、帧间预测部205、合成预测部220、系数分析部206、逆量化/逆变换部207、图像合成/滤波部208、解码图像管理部209、图像输出部210。
以下详细说明图像解码装置的各构成要素的动作。
其中，图像解码装置的各构成要素的动作，例如可以如下所述地视为各构成要素的自主的动作。另外，例如也可以通过控制部和存储部存储的软件协作而实现。
首先，流分析部201分析输入的编码流。此处，流分析部201也进行从分组提取数据的处理和各种头、标志的信息取得处理。
另外，此时，对流分析部201输入的编码流，例如是由实施例1的图像编码装置和图像编码方法生成的编码流。其生成方法如实施例1所示，所以省略说明。也可以是从实施例3所示的数据记录介质读取的编码流。其记录方法在后文中叙述。
接着，块管理部202按照由流分析部201分析得到的块分割的信息管理块的处理。一般而言编码后的图像被分割为块，各编码对象块被树结构等管理。关于块的处理顺序，大多按光栅扫描顺序进行，但按锯齿扫描等任意决定的顺序处理即可。块的分割方法如实施例1所述。
接着，模式判断部203对于各编码对象块，进行由标志等指定的编码模式的判别。以下解码处理进行与该判别结果的编码模式对应的处理。以下说明关于各编码模式的处理。
首先，编码模式是帧内编码的情况下，帧内预测部204进行基于帧内预测的预测图像的生成。帧内预测模式如实施例1所述。基于预测的预测图像的生成处理原则上在编码方和解码方是相同的处理。
编码模式是基于帧间预测的编码的情况下，帧间预测部205进行基于帧间预测的预测图像的生成。帧间预测模式如实施例1所述。基于预测的预测图像的生成处理原则上在编码方和解码方是相同的处理。
编码模式是基于合成预测的编码的情况下，合成预测部220进行基于合成预测的预测图像的生成。合成预测模式如实施例1所述。基于预测的预测图像的生成处理原则上在编码方和解码方是相同的处理。
另一方面，系数分析部206分析输入编码流中包括的各编码对象块的编码数据，进行熵编码后的数据的解码，输出包括残差成分的系数组的编码数据。此时，进行与模式判别部203的判别结果的编码模式对应的处理。
逆量化/逆变换部207对包括残差成分的系数组的编码数据进行逆量化处理和逆变换，还原得到残差成分。逆量化、逆变换的方法如上所述。逆量化和逆变换也可以根据模式的指定而跳过。
如上所述还原得到的残差成分，被图像合成/滤波部208与从帧内预测部204、帧间预测部205或合成预测部220输出的预测图像合成，进而进行环路滤波等处理而作为解码图像输出。
解码图像管理部209保持解码图像，管理为了帧内预测、帧间预测或合成预测而参照的图像、模式的信息等。
最后解码得到的图像被图像输出部210输出，进行图像的解码。
接着，使用图4对于本发明的实施例2的图像解码装置中的图像解码方法的流程进行说明。
首先，在步骤401中，取得作为解码对象的编码流，进行数据的分析。另外，按照分析得到的块分割的信息对块的处理进行管理。块的分割方法如实施例1所述。
接着，在步骤402中，使用步骤401中分析得到的编码模式的信息，判断关于该编码数据中包括的1个编码单位(块单位或像素单位等)的编码模式。此处，是帧内编码模式的情况下前进至步骤403，是帧间编码模式的情况下前进至步骤404，是合成编码模式的情况下前进至步骤420。
在步骤403中，按照由编码模式指定的方法用帧内预测进行预测图像的生成。帧内预测模式如实施例1所述。
在步骤404中，按照由编码模式指定的方法用帧间预测进行预测图像的生成。帧间预测模式如实施例1所述。
在步骤420中，按照由编码模式指定的方法用合成预测进行预测图像的生成。合成预测模式如实施例1所述。
在步骤405中，按照由编码模式指定的方法分析各编码对象块的编码数据，进行熵编码后的数据的解码，输出包括残差成分的系数组的编码数据。进而，对包括残差成分的系数组的编码数据进行逆量化处理和逆变换，还原得到残差成分。逆量化、逆变换的方法如上所述。逆量化和逆变换也可以根据模式的指定而跳过。
在步骤406中，对于各编码对象块，将用帧内预测、帧间预测或合成预测等生成的预测图像、与还原得到的残差成分合成，进而进行环路滤波等处理，由此生成解码图像。对于图像整体进行上述按编码对象块单位进行的解码的过程，由此生成解码图像。
在步骤407中输出、显示生成的解码图像。
本实施例的解码方的合成预测模式中的处理，与实施例1中使用式1、图6、图7和图8说明的合成预测模式中的处理实质上相同，所以省略反复说明。另外，实施例1的合成预测模式的说明中的“编码对象块”这一表达，在解码方的合成预测模式的处理中替换为“解码对象块”即可。
本实施例的解码方的合成预测模式中，如上所述，进行使用式1的帧间预测像素与帧内预测像素的加权平均处理。另外，本实施例的解码方的合成预测模式中，如上所述，用如图8所示的决定处理决定加权参数w。由此，能够与合成预测模式中使用的帧内预测的每个种类的特征相应地，更适当地决定帧内预测图像与帧间预测图像的合成中的帧内预测图像的加权。
另外，本实施例中，在举例示出的以外，也可以将编码模式中使用的块的尺寸等作为参数，对各编码模式细分而将规定的编码流作为解码对象流。
如以上所说明地，进行本申请的一个实施例的解码处理。
另外，实施例2的图像解码装置和图像解码方法能够应用于使用它们的再现装置、移动电话、数码相机等。
根据以上说明的本发明的实施例2的图像解码装置和图像解码方法，能够对码量少的编码数据更高画质地进行解码。
即，根据本发明的实施例2的图像解码装置和图像解码方法，能够提供一种更优选的图像解码技术。
(实施例3)
接着，在图5中示出本发明的实施例3的数据记录介质的一例。
本发明的本实施例的编码流是用实施例1的图像编码装置或图像编码方法生成的编码流。其生成方法如实施例1所示，所以省略说明。
此处，本实施例的编码流例如在数据记录介质501中作为数据串502记录。数据串502例如作为符合规定语法的编码流记录。
首先，对于编码流，导出被划分为称为NAL(Network Abstraction Layer)单元503的一定大小的单位的比特串。NAL单元的比特串按照可变长度编码等一定规则被读取，变换为RBSP(Raw Byte Sequence Payload)。RBSP的数据由序列参数集504、图像参数集505、解码参数集、视频参数集等信息和切片数据506构成。
在各切片的内部，例如包括关于各块的信息507。在关于块的信息的内部，例如存在按每个块记录各自的编码模式的区域，设其为编码模式标志508。
根据以上说明的本发明的实施例3的数据记录介质，能够减少码量，防止画质劣化。即，能够实现一种记录压缩率高、画质更好的编码流的数据记录介质。
另外，用此后说明的各实施例中的图像编码装置或图像编码方法生成的编码流，也能够用本实施例中以上所述的结构记录在本实施例的数据记录介质中。
(实施例4)
接着，对于本发明的实施例4，参考附图进行说明。
本发明的实施例4在实施例1的图像编码装置和图像编码方法中变更了合成预测的处理中的加权参数w的决定处理。
具体而言，使加权参数w的决定处理从图8所示的加权参数w的决定处理变更为图9所示的加权参数w的决定处理。实施例4的图像编码装置和图像编码方法中，除图9所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例1的图像编码装置和图像编码方法相同。因此，对于这些与实施例1的图像编码装置和图像编码方法相同的方面省略反复说明。
在图9中示出本发明的实施例4的图像编码装置和图像编码方法中的合成预测的处理中的加权参数w的决定处理的一例。另外，因为在解码方也进行同样的加权参数w的决定处理，所以对于预测对象块用“编码(解码)对象块”这样的表达进行说明。
图9的例子中，与图8的例子不同，在进行决定加权参数w的处理时，不仅考虑编码(解码)对象块的帧内预测模式，也考虑多个相邻块的预测模式的组合。此处，本实施例中，作为多个相邻块的一例，考虑编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块的预测模式的组合。
即，图8的例子中，仅与编码(解码)对象块的帧内预测模式相应地决定了加权参数w，但图9的例子中，即使编码(解码)对象块的帧内预测模式相同，只要多个相邻块的预测模式的组合不同则也改变加权参数w。
实施例1中，已经说明了与相邻块的预测方法的近似性取决于编码(解码)对象块的帧内预测模式的种类而分别不同。具体而言，对于平面预测、角度预测中预测方向是18或50的情况、角度预测中预测方向是2～17或51～66的情况、角度预测中预测方向是2～17或51～66的情况、角度预测中预测方向是19～49的情况、DC预测分别说明了与相邻块的预测方法的近似性的特征。
图9中，对于这些帧内预测模式的种类的每种特征，与多个相邻块的预测模式的组合相应地决定加权参数w。
作为多个相邻块的预测模式的组合的具体条件，考虑(1)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块都不可用的情况、(2)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块的一方不可用且另一方是帧间预测的情况、(3)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块双方都是帧间预测的情况、(4)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块的一方不可用且另一方是帧内预测的情况、(5)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块的一方是帧间预测且另一方是帧内预测的情况、(6)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块双方都是帧内预测的情况这样(1)～(6)的条件。
具体而言，对于(1)～(6)的每个条件，如下所述地决定。
首先，编码(解码)对象块的帧内预测模式是平面预测的情况下，如图9所示地决定w即可。具体而言，在条件(1)～(3)下使w＝1，在条件(4)～(6)下使w＝2。如实施例1所说明，平面预测是与相邻块的预测方法的近似性比较低的帧内预测。
但是，相邻块中存在可用的帧内预测块的情况下，也存在与编码(解码)对象块同样的平面预测的可能性，所以与相邻块的预测方法的近似性略微改善。从而，对于条件(4)～(6)，优选与条件(1)～(3)相比增大加权。另外，作为变形例，也可以在条件(1)～(5)下使w＝1，仅在条件(6)下使w＝2。因为平面预测在其处理中使用对象块的上侧相邻像素、左侧相邻像素双方，所以仅在多个相邻块的预测模式双方都是帧内预测的情况下预测方法的近似性改善，变形例使用了这一原理。
接着，编码(解码)对象块的帧内预测模式是角度预测且预测方向是18或50的情况下，如图9所示地决定w即可。具体而言，在条件(1)～(3)下使w＝1，在条件(4)～(6)下使w＝2。帧内预测模式是角度预测且预测方向是18或50的情况下，帧内预测与水平方向或垂直方向的某一方的相邻块具有预测方法的近似性。
因此，对于存在可用的帧内预测块的条件(4)～(6)，优选与条件(1)～(3)相比增大加权。但是，与相邻块的预测方法的近似性的效果限定于水平方向或垂直方向的某一方。因此，即使是多个相邻块双方都是可用的帧内预测的条件(6)，与多个相邻块中仅一方是可用的帧内预测的条件(4)(5)相比，与相邻块的预测方法的近似性的效果也不变。从而，本图的例子中，在条件(6)下也使w＝2。
接着，编码(解码)对象块的帧内预测模式是角度预测且预测方向是2～17或51～66的情况和角度预测且预测方向是2～17或51～66的情况下，如图9所示地决定w即可。具体而言，在条件(1)～(3)下使w＝1，在条件(4)、(5)下使w＝2，在(6)下使w＝3。帧内预测模式是角度预测且预测方向是2～17或51～66的情况和角度预测且预测方向是2～17或51～66的情况下，因为预测方向是斜方向，所以帧内预测与上侧相邻的块和左侧相邻的块双方都具有预测方法的近似性。从而，存在相邻块中可用的帧内预测块越增加、与相邻块的预测方法的近似性越高的倾向。因此，优选如上所述相邻块中可用的帧内预测块越增加，则将加权参数w的值设定为越大。
接着，编码(解码)对象块的帧内预测模式是DC预测的情况下，如图9所示地决定w即可。具体而言，在条件(1)～(3)下使w＝2，在条件(4)～(6)下使w＝3。如实施例1所说明，在编码方的处理中选择DC预测时，编码对象图像是一定亮度较大范围地扩展的平面的图案的可能性高。因为相邻块中包括可用的帧内预测块时该可能性特别高，所以优选使w＝3。但是，本图的例子中，在相邻块中不包括可用的帧内预测块的情况下，编码对象图像是一定亮度较广范围地扩展的平面的图案的可能性略微降低，所以使w＝2。
根据以上说明的图9的加权参数w的决定处理，在合成预测的处理中的式1的加权参数w的决定中，不仅考虑编码(解码)对象块的帧内预测模式，也考虑多个相邻块的预测模式的组合，由此能够更优选地决定加权参数w。
另外，通过将多个相邻块的预测模式的组合作为条件，无需传输新的标志就能够进行优选的条件设定。
另外，图9的例子中，无论编码(解码)对象块的预测模式是哪个预测模式，都与条件(1)相比在(6)下使加权w增大。这是因为无论编码(解码)对象块的预测模式是哪个预测模式，都存在如果相邻块中可用的帧内预测块增加、则至少与相邻块的预测方法的近似性提高的倾向。
另外，图9的例子中，对于合成预测中使用的帧内预测，平面预测和DC预测均未被指定的情况下，与多个相邻块中不存在可用的帧内预测块的情况相比，在多个相邻块中存在可用的帧内预测块的情况下，使加权w增大。
另外，作为图9的变形例，也可以如图10所示，在DC预测的条件(4)、(5)下使w＝2。图10的例子中，在DC预测时w＝3的仅有条件(6)。这是认为仅在多个相邻块双方都是可用的帧内预测的条件(6)下、编码对象图像是一定亮度较大范围地扩展的平面的图案的可能性高的例子。图10的例子除DC预测的条件(4)、(5)以外与图9相同，所以省略反复说明。
根据以上说明的本发明的实施例4的图像编码装置和图像编码方法，能够更优选地对图像进行编码。
(实施例5)
接着，对于本发明的实施例5进行说明。
本发明的实施例5在实施例2的图像解码装置和图像解码方法中变更了合成预测的处理中的加权参数w的决定处理。
具体而言，使加权参数w的决定处理从图8所示的加权参数w的决定处理变更为图9或图10所示的加权参数w的决定处理。实施例5的图像解码装置和图像解码方法使用图9或图10所示的加权参数w的决定处理，除图9或图10所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例2的图像解码装置和图像解码方法相同。因此，对于这些与实施例2的图像解码装置和图像解码方法相同的方面省略反复说明。
另外，图9或图10的加权参数w的决定处理的详情如实施例4所说明，所以省略反复说明。
以上说明的本发明的实施例5的图像解码装置和图像解码方法中，如图9或图10所示，在合成预测的处理中的式1的加权参数w的决定中，不仅考虑编码(解码)对象块的帧内预测模式，也考虑多个相邻块的预测模式的组合，由此能够更优选地决定加权参数w。
根据以上说明的本发明的实施例5的图像解码装置和图像解码方法，能够更优选地对图像进行解码。
(实施例6)
接着，对于本发明的实施例6，参考附图进行说明。
本发明的实施例6在实施例1或实施例4的图像编码装置和图像编码方法中，新设定用于指定在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的标志，进行该标志的设定控制和使用该标志的预测模式的决定控制。
实施例1或实施例4的图像编码装置和图像编码方法中，作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的例子，举出了合并模式为例进行了说明。另外，说明了作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的例子、也可以使用合并模式以外的预测模式的帧间预测。
对此，本发明的实施例6提出了该预测模式的决定方法的更具体的处理。
具体而言，设定图11所示的合成预测模式的帧间预测指定标志，在编码方进行该标志的设定。另外，在解码方，使用该标志进行在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的决定控制。
实施例6的图像编码装置和图像编码方法中，除图11所示的与合成预测模式的帧间预测指定标志相关的处理以外的其他结构、动作、处理都与实施例1或实施例4的图像编码装置和图像编码方法相同。因此，对于这些与实施例1或实施例4的图像编码装置和图像编码方法相同的方面省略反复说明。
在图11中示出本发明的实施例6的图像编码装置和图像编码方法中的合成预测模式的帧间预测指定标志的设定控制和在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的决定控制的一例。
图11的例子中，设定1比特的信息作为合成预测模式的帧间预测指定标志。在编码方，能够执行(1)不传输合成预测模式的帧间预测指定标志的1比特、(2)将该1比特设定为0并传输、(3)将该1比特设定为1并传输这样的3种处理。
与此相对，在解码方，(1)在编码方没有传输合成预测模式的帧间预测指定标志的1比特的情况下，将合成预测的处理中与帧内预测图像合成的预测图像的预测模式判断为合并模式。这样，即使不追加1比特的信息也能够指定合并模式。合并模式自身是与相邻块的预测方法的近似性非常高的预测模式，所以大多情况下合并模式可能是优选的选项。
与此相对，(2)在编码方将合成预测模式的帧间预测指定标志的1比特设定为0并传输的情况下，在解码方，对于在合成预测的处理中与帧内预测图像合成的预测图像的预测模式，如果解码对象块的正左方相邻块可用且是帧间预测则选择与正左方相邻块相同的帧间预测模式。另外，如果解码对象块的正左方相邻块不满足该条件，则选择合并模式作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式。
这样，作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式，能够选择解码对象块的正左方相邻块的预测模式作为合并模式以外的预测模式。这在使用解码对象块的正左方相邻块的预测模式与合并模式相比编码效率更高的情况下是优选的。
另外，(3)在编码方将合成预测模式的帧间预测指定标志的1比特设定为1并传输了的情况下，在解码方，对于在合成预测的处理中与帧内预测图像合成的预测图像的预测模式，如果解码对象块的正上方相邻块可用且是帧间预测，则选择与正上方相邻块相同的帧间预测模式。
另外，如果解码对象块的正上方相邻块不满足该条件，则选择合并模式作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式。这样，作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式，能够选择解码对象块的正上方相邻块的预测模式作为合并模式以外的预测模式。这在使用解码对象块的正上方相邻块的预测模式与合并模式相比编码效率更高的情况下是优选的。
根据以上说明的图11的合成预测模式的帧间预测指定标志的设定控制和在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的决定控制，能够更优选地设定和决定合并模式和其他预测模式作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式。特别是，仅设定1比特的标志，就能够加入合并模式以外的预测模式作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式，是优选的。另外，对于与相邻块的预测方法的近似性非常高的合并模式，无需传输指定合成预测模式中的帧间预测的特别的(或专用的)标志就能够设定和决定，对于抑制传输信息的增加是优选的。
根据以上说明的本发明的实施例6的图像编码装置和图像编码方法，能够更优选地对图像进行编码。
(实施例7)
接着，对于本发明的实施例7进行说明。
本发明的实施例7在实施例2或实施例5的图像解码装置和图像解码方法中，新设定指定在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的标志，进行该标志的设定控制和使用该标志的预测模式的决定控制。
具体而言，用图11所示的方法决定在合成预测的处理中与帧内预测图像合成的预测图像的预测模式。除图11所示的使用指定在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的标志进行的预测模式的决定处理以外的其他结构、动作、处理都与实施例2或实施例5的图像解码装置和图像解码方法相同。因此，对于这些与实施例2或实施例5的图像解码装置和图像解码方法相同的方面省略反复说明。
另外，图11所示的使用指定在合成预测的处理中与帧内预测图像合成的预测图像的预测模式的标志进行的预测模式的决定处理的详情如实施例6所说明，所以省略反复说明。
以上说明的本发明的实施例7的图像解码装置和图像解码方法中，能够更优选地决定合并模式和其他预测模式作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式。特别是，仅设定1比特的标志，就能够加入合并模式以外的预测模式作为在合成预测的处理中与帧内预测图像合成的预测图像的预测模式，是优选的。另外，对于与相邻块的预测方法的近似性非常高的合并模式，无需传输指定合成预测模式中的帧间预测的特别的(或专用的)标志就能够决定，对于抑制来自编码方的传输信息的增加是优选的。
根据以上说明的本发明的实施例7的图像解码装置和图像解码方法，能够更优选地对图像进行解码。
(实施例8)
接着，对于本发明的实施例8，参考附图进行说明。
本发明的实施例8在实施例1的图像编码装置和图像编码方法中，也支持矩阵加权帧内预测得到的预测图像作为在合成预测的处理中使用的帧内预测图像。另外，本实施例中的矩阵加权帧内预测是实施例1中作为“矩阵预测”说明的预测处理的一例。
具体而言，将用图12说明的矩阵加权帧内预测用作合成预测的处理的帧内预测图像。进而，使加权参数w的决定处理从图8所示的加权参数w的决定处理变更为图13所示的加权参数w的决定处理。实施例8的图像编码装置和图像编码方法除用图12说明的矩阵加权帧内预测和图13所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例1的图像编码装置和图像编码方法相同。因此，对于这些与实施例1的图像编码装置和图像编码方法相同的方面省略反复说明。
首先，使用图12对于矩阵加权帧内预测进行说明。另外，因为在解码方也进行同样的矩阵加权帧内预测，所以对于预测对象块用“编码(解码)对象块”这样的表达进行说明。矩阵加权帧内预测通过使用编码(解码)对象块的相邻块的边界像素、和由模式指定的矩阵进行的矢量运算进行像素的预测。矩阵加权帧内预测的处理在边界像素准备处理之后经过(1)下采样处理、(2)矢量运算(加权矩阵运算)处理、(3)上采样处理而生成预测图像。
首先，作为边界像素准备处理，对于编码(解码)对象块，从正左方相邻的块取得1线的边界像素，作为正左方边界像素列。另外，从正上方相邻的块取得1线的边界像素，作为正上方边界像素列。此处，边界像素不可用的情况下，用与现有的帧内预测相同的方法生成。如果正左方、正上方的边界像素中不存在任何解码像素，则设为1<<(Bitdepth-1)的中值。从左下的像素起按上方向、右方向的顺序向右上扫描，将最初存在的像素复制至左下的像素。再次从左下起向上方向扫描，如果不存在像素则复制其下方的像素。同样地从左上起向右方向扫描，如果不存在像素则复制其左方的像素。
接着，作为(1)下采样处理，对于正左方边界像素列和正上方边界像素列，分别对于每2个像素取平均，成为缩小正左方边界像素列和缩小正上方边界像素列。
接着，作为(2)矢量运算(加权矩阵运算)，对于缩小正左方边界像素列和缩小正上方边界像素列，用根据编码(解码)对象块的尺寸和指定的模式决定的方法将其合成，生成缩小边界矢量。接着，对于上述缩小边界矢量进行使用由矩阵加权帧内预测模式指定的矩阵进行的矢量运算，生成缩小预测矢量。基于缩小预测矢量生成解码对象块的子采样位置的预测像素。
接着，作为(3)上采样处理，根据边界像素列和缩小边界像素列、以及子采样位置的预测像素进行线性插值，生成编码(解码)对象块的预测像素整体。
接着，在图13中示出本发明的实施例8的图像编码装置和图像编码方法中的合成预测的处理中的加权参数w的决定处理的一例。另外，因为在解码方也进行同样的加权参数w的决定处理，所以对于预测对象块用“编码(解码)对象块”这样的表达进行说明。
图13中的合成预测的处理中的加权参数w的决定处理中，对于图8中的加权参数w的决定处理，追加了在合成预测的处理中使用的帧内预测是矩阵加权帧内预测的情况下的加权参数w的决定处理。具体而言，追加了图13的表的最右列。此处，矩阵加权帧内预测中，预测图像取决于在矩阵加权帧内预测模式中对编码(解码)对象块由标志指定的加权矩阵而变化。上述标志在编码方指定，并传输至解码方。由此，在解码方也能够判别在编码方指定的加权矩阵。因此，矩阵加权帧内预测是与相邻块的预测方法的近似性并不高的帧内预测。但是，因为使用正上方相邻块的边界像素列和正左方相邻块的边界像素列双方，所以矩阵加权帧内预测的预测图像与相邻块的预测图像的近似性自身比较高。另外，矩阵加权帧内预测取决于由标志指定的加权矩阵而能够与图像相应地提高预测精度，所以与难以提高预测精度的平面预测相比倾向不同。从而，使用矩阵加权帧内预测作为合成预测中使用的帧内预测的情况下，如图13所示，将加权参数w决定为w＝3即可。即，选择比平面预测时的w的值更大的w的值即可。
根据以上说明的图13的合成预测模式中的w的决定例，在使用矩阵加权帧内预测作为合成预测模式中使用的帧内预测的种类的选项的情况下，也能够更优选地决定帧内预测图像与帧间预测图像的合成中的帧内预测图像的加权。
根据以上说明的实施例8的图像编码装置和图像编码方法，能够实现更优选的合成预测模式，能够更优选地对图像进行编码。
(实施例9)
接着，对于本发明的实施例9进行说明。
本发明的实施例9在实施例2的图像解码装置和图像解码方法中，也支持矩阵加权帧内预测得到的预测图像作为在合成预测的处理中使用的帧内预测图像。另外，本实施例中的矩阵加权帧内预测是实施例2中作为“矩阵预测”说明的预测处理的一例。矩阵加权帧内预测的处理的详情如实施例8所说明，所以省略反复说明。
具体而言，使加权参数w的决定处理从图8所示的加权参数w的决定处理变更为图13所示的加权参数w的决定处理。实施例9的图像解码装置和图像解码方法使用图13所示的加权参数w的决定处理，除图13所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例2的图像解码装置和图像解码方法相同。因此，对于这些与实施例2的图像解码装置和图像解码方法相同的方面省略反复说明。
另外，图13的加权参数w的决定处理的详情如实施例8所说明，所以省略反复说明。
以上说明的本发明的实施例9的图像解码装置和图像解码方法中，如图13所示，在使用矩阵加权帧内预测作为合成预测模式中使用的帧内预测的种类的选项的情况下，也能够更优选地决定帧内预测图像与帧间预测图像的合成中的帧内预测图像的加权。
根据以上说明的本发明的实施例9的图像解码装置和图像解码方法，能够实现更优选的合成预测模式，能够更优选地对图像进行解码。
(实施例10)
接着，对于本发明的实施例10，参考附图进行说明。
本发明的实施例10在实施例4的图像编码装置和图像编码方法中，为了使用矩阵加权帧内预测作为合成预测的处理的帧内预测图像，而变更了合成预测的处理中的加权参数w的决定处理。此处，矩阵加权帧内预测的处理的详情如实施例8所说明，所以省略反复说明。
具体而言，使加权参数w的决定处理从图10所示的加权参数w的决定处理变更为图14所示的加权参数w的决定处理。图14所示的加权参数w的决定处理的表中，在图10所示的加权参数w的决定处理之外，也在表的最右列设置了矩阵加权帧内预测的列。实施例10的图像编码装置和图像编码方法中，除图14的加权参数w的决定处理以外的其他结构、动作、处理都与实施例4的图像编码装置和图像编码方法相同。因此，对于这些与实施例4的图像编码装置和图像编码方法相同的方面省略反复说明。
图14的加权参数w的决定处理的例子中，具体而言，在条件(1)、(2)、(4)下使w＝1，在条件(3)、(5)、(6)下使w＝3。矩阵加权帧内预测如实施例8所说明，在预测图像的生成中，使用正上方的相邻块的边界像素列和正左方的相邻块的边界像素列双方。因此，在上侧相邻块和左侧相邻块双方可用的情况下，矩阵加权帧内预测的预测图像与相邻块的预测图像的近似性高。因此，在上侧相邻块和左侧相邻块双方可用的条件(3)、(5)、(6)下使w＝3。与此相对，在条件(1)、(2)、(4)下，上侧相邻块和左侧相邻块中的至少1个块不可用，所以使加权参数w＝1。这样，能够仅在推定矩阵加权帧内预测的预测图像与相邻块的预测图像的近似性高时增大加权参数w，更优选。
另外，图14的例子中，无论编码(解码)对象块的预测模式是哪个预测模式，都与条件(1)相比在(6)下使加权w增大。这是因为无论编码(解码)对象块的预测模式是哪个预测模式，都存在如果相邻块中可用的帧内预测块增加、则至少与相邻块的预测方法的近似性提高的倾向。
另外，图14的例子中，对于合成预测中使用的帧内预测，平面预测和DC预测均未被指定的情况下，与多个相邻块中不存在可用的帧内预测块的情况相比，在多个相邻块中存在可用的帧内预测块的情况下，使加权w增大。
另外，作为图14的变形例，也可以如图15所示，在条件(2)、(4)下将合成预测中的矩阵加权帧内预测的加权设为w＝2。图14的例子中，条件(1)、(2)、(4)下都使加权参数w＝1。但是，条件(1)是上侧相邻块和左侧相邻块都不可用的条件，条件(2)、(4)是上侧相邻块和左侧相邻块中的仅至少一方不可用，状况不同。条件(2)、(4)中，上侧相邻块和左侧相邻块中的另一方的块可用，所以与条件(1)相比预测精度应当更高。从而，如图15所示，使条件(2)、(4)的加权参数比条件(1)更大，这样是更优选的。
图15的例子除矩阵加权帧内预测的条件(2)、(4)以外都与图14相同，所以省略反复说明。
即，根据本发明的实施例10的图像编码装置和图像编码方法，在使用矩阵加权帧内预测作为合成预测的处理的帧内预测图像的情况下，也能够更优选地决定加权参数。
根据以上说明的本发明的实施例10的图像编码装置和图像编码方法，能够更优选地对图像进行编码。
(实施例11)
接着，对于本发明的实施例11进行说明。
本发明的实施例11在实施例5的图像解码装置和图像解码方法中，为了使用矩阵加权帧内预测作为合成预测的处理的帧内预测图像，而变更了合成预测的处理中的加权参数w的决定处理。此处，矩阵加权帧内预测的处理的详情如实施例8所说明，所以省略反复说明。
具体而言，使加权参数w的决定处理从图10所示的加权参数w的决定处理变更为图14或图15所示的加权参数w的决定处理。图14或图15所示的加权参数w的决定处理的表中，在图10所示的加权参数w的决定处理之外，也在表的最右列设置了矩阵加权帧内预测的列。实施例11的图像解码装置和图像解码方法使用图14或图15所示的加权参数w的决定处理，除图14或图15所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例5的图像解码装置和图像解码方法相同。因此，对于这些与实施例5的图像解码装置和图像解码方法相同的方面省略反复说明。
另外，图14或图15中的加权参数w的决定处理的详情如实施例10所说明，所以省略反复说明。
即，根据本发明的实施例11的图像解码装置和图像解码方法，在使用矩阵加权帧内预测作为合成预测的处理的帧内预测图像的情况下，也能够更优选地决定加权参数。
根据以上说明的本发明的实施例11的图像解码装置和图像解码方法，能够更优选地对图像进行解码。
(实施例12)
接着，对于本发明的实施例12，参考附图进行说明。
本发明的实施例12在实施例1的图像编码装置和图像编码方法中，也支持画面内块复制预测得到的预测图像作为合成预测的处理中使用的帧内预测图像。另外，本实施例中的画面内块复制预测是实施例1中作为“画面内块复制”说明的预测处理的一例。
具体而言，将用图16说明的画面内块复制预测得到的预测图像用作合成预测的处理的帧内预测图像。进而，使加权参数w的决定处理从图8所示的加权参数w的决定处理变更为图17所示的加权参数w的决定处理。实施例12的图像编码装置和图像编码方法中，除用图16说明的画面内块复制预测和图17所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例1的图像编码装置和图像编码方法相同。因此，对于这些与实施例1的图像编码装置和图像编码方法相同的方面省略反复说明。
首先，使用图16对于画面内块复制预测进行说明。
图16的(A)是说明画面内块复制预测的处理的图。另外，因为在编码方和解码方都进行画面内块复制预测，所以将同一图16的(A)用于说明。因此，使用相同的附图标记，在编码方和解码方分别使用编码对象图像1600和解码对象图像1600这样的表达。另外，在编码方和解码方分别使用编码对象块1610和解码对象块1610这样的表达。
首先，在编码方，在同一编码对象图像1600内(时间上相同的图像内)搜索与编码对象图像1600中的编码对象块1610的差小的块。搜索范围限制在适当的范围内即可。通过上述搜索，决定差最小的类似块1620。计算出从编码对象块1610指向类似块1620的矢量作为块矢量。将类似块1620作为编码对象块1610中的画面内块复制预测的预测图像。使用该预测图像进行预测处理并进行编码。块矢量从编码方传输至解码方。
在解码方，使用从编码方传输的块矢量，确定与解码对象块1610对应的类似块1620。类似块1620是在与解码对象块1610时间上相同的图像内即解码对象图像1600内、由块矢量指出的块。将这样确定的类似块1620用作解码对象块1610的画面内块复制预测的预测图像。由此，在解码方也能够实现使用块复制预测的解码处理。
对于以上说明的画面内块复制预测有效的例子，使用图16的(B)和(C)进行说明。
图16的(B)是编码/解码对象块和类似块的一例。例如，在同一图像内存在相同的文字，其一方包括在编码/解码对象块中的情况下，如果用块矢量指出存在相同的文字的位置，则预测精度高。
图16的(C)是编码/解码对象块和类似块的一例。例如，在同一图像内存在相同的图形标记或图形，其一方包括在编码/解码对象块中的情况下，如果用块矢量指出存在相同的图形标记或图形的位置，则预测精度高。
画面内块复制预测的处理如上所述。画面内块复制预测中，并不是使用相邻块的预测像素和预测方法的信息，所以与相邻块中的其他帧内预测(角度预测等)的预测方法的近似性并不特别高。但是，画面内块复制预测中，前提是通过编码方的搜索处理确定预测精度高的类似块并进行处理。因此，是与其他帧内预测相比具有更高的预测精度的预测处理。
接着，在图17中示出本发明的实施例12的图像编码装置和图像编码方法中的合成预测的处理中的加权参数w的决定处理的一例。另外，因为在解码方也进行同样的加权参数w的决定处理，所以对于预测对象块用“编码(解码)对象块”这样的表达进行说明。
图17中的合成预测的处理中的加权参数w的决定处理中，对于图8中的加权参数w的决定处理，追加了合成预测的处理中使用的帧内预测是画面内块复制预测的情况下的加权参数w的决定处理。具体而言，追加了图17的表的最右列。此处，如上所述，画面内块复制预测是与其他帧内预测相比具有更高的预测精度的预测处理。从而，在使用画面内块复制预测作为合成预测中使用的帧内预测的情况下，如图17所示，将加权参数w决定为w＝3即可。该情况下，画面内块复制预测的w的值是比平面预测时的w的值更大的值。
根据以上说明的图17的合成预测模式中的w的决定例，在使用画面内块复制预测作为合成预测模式中使用的帧内预测的种类的选项的情况下，也能够更优选地决定帧内预测图像与帧间预测图像的合成中的帧内预测图像的加权。
根据以上说明的实施例12的图像编码装置和图像编码方法，能够实现更优选的合成预测模式，能够更优选地对图像进行编码。
(实施例13)
接着，对于本发明的实施例13进行说明。
本发明的实施例13在实施例2的图像解码装置和图像解码方法中，也支持画面内块复制预测得到的预测图像作为合成预测的处理中使用的帧内预测图像。画面内块复制预测的处理的详情如实施例12所说明，所以省略反复说明。
具体而言，使加权参数w的决定处理从图8所示的加权参数w的决定处理变更为图17所示的加权参数w的决定处理。实施例13的图像解码装置和图像解码方法使用图17所示的加权参数w的决定处理，除图17所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例2的图像解码装置和图像解码方法相同。因此，对于这些与实施例2的图像解码装置和图像解码方法相同的方面省略反复说明。
另外，图17的加权参数w的决定处理的详情如实施例12所说明，所以省略反复说明。
以上说明的本发明的实施例13的图像解码装置和图像解码方法中，如图17所示，在使用画面内块复制预测作为合成预测模式中使用的帧内预测的种类的选项的情况下，也能够更优选地决定帧内预测图像与帧间预测图像的合成中的帧内预测图像的加权。
根据以上说明的本发明的实施例13的图像解码装置和图像解码方法，能够实现更优选的合成预测模式，能够更优选地对图像进行解码。
(实施例14)
接着，对于本发明的实施例14，参考附图进行说明。
本发明的实施例14在实施例10的图像编码装置和图像编码方法中，也支持画面内块复制得到的预测图像作为合成预测的处理中使用的帧内预测图像。另外，本实施例中的画面内块复制预测是实施例1中作为“画面内块复制”说明的预测处理的一例。此处，画面内块复制预测的处理的详情如实施例12所说明，所以省略反复说明。
具体而言，能够将用图16所说明的画面内块复制预测得到的预测图像用作合成预测的处理的帧内预测图像。进而，对于加权参数w的决定处理，在图14或图15所示的加权参数w的决定处理中的某一方的决定处理之外，也使用图18所示的加权参数w的决定处理。即，在实施例14的图像编码装置和图像编码方法中，使用平面预测、角度预测、DC预测或矩阵加权帧内预测的预测图像作为合成预测的处理中使用的帧内预测图像的情况下，使用图14或图15所示的加权参数w的决定处理。在实施例14的图像编码装置和图像编码方法中，使用画面内块复制预测的预测图像作为合成预测的处理中使用的预测图像的情况下，使用图18所示的加权参数w的决定处理。
实施例14的图像编码装置和图像编码方法中，除已说明的图16的画面内块复制预测和本实施例中说明的图18所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例10的图像编码装置和图像编码方法相同。因此，对于这些与实施例10的图像编码装置和图像编码方法相同的方面省略反复说明。
接着，在图18中示出在本发明的实施例14的图像编码装置和图像编码方法中的合成预测的处理中使用画面内块复制预测的预测图像作为预测图像的情况下的加权参数w的决定处理的一例。另外，因为在解码方也进行同样的加权参数w的决定处理，所以对于预测对象块用“编码(解码)对象块”这样的表达进行说明。
在实施例12中，说明了画面内块复制预测是与其他帧内预测相比具有更高的预测精度的预测处理，但与相邻块中的其他帧内预测(角度预测等)的预测方法的近似性并不特别高。
因此，在图18中的加权参数w的决定处理中，与图14或图15所示的加权参数w的决定处理不同，使用以下条件(1)、(7)、(8)作为条件。具体而言，这些条件是(1)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块都不可用的情况，(7)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块的一方不可用且另一方是画面内块复制预测的情况，(8)编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块双方都是画面内块复制预测的情况。画面内块复制预测与相邻块中的其他帧内预测(角度预测等)的预测方法的近似性不高，但相邻块是画面内块复制预测的情况下，如图16的(B)和(C)所说明的、文字、图形标记、图形等连续地包括在相邻图像中的可能性高。这样，考虑编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块中包括的画面内块复制预测的块的数量地决定加权参数w是优选的。图18采用了该原理。具体而言，在条件(1)下使w＝2，在条件(7)、(8)下使w＝3。即，编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块中的至少某一方是画面内块复制预测的情况下，判断为文字、图形标记、图形等连续地包括在图像中的可能性高。另外，如以上所说明，因为画面内块复制预测自身的预测精度高，所以在条件(7)、(8)下将加权参数w设定为较高的w＝3。与此相对，编码(解码)对象块的正上方相邻的块和编码(解码)对象块的正左方相邻的块这2个相邻块都不可用的情况下，如图16的(B)和(C)所说明的、文字、图形标记、图形等连续地包括在相邻图像中的可能性不高。因此，在条件(1)下与条件(7)、(8)相比将加权参数w设定为更小，使w＝2。此处，不使w＝1，是为了与预测精度并不高的平面预测的条件(1)的加权参数(w＝1)相比设定为更大的值。
另外，在实施例14的图像编码装置和图像编码方法中，使用画面内块复制预测以外的帧内预测得到的预测图像作为合成预测的处理中使用的帧内预测图像的情况下，不是使用图18所示的加权参数w的决定处理，而是使用图14或图15所示的加权参数w的决定处理即可。图14或图15所示的加权参数w的决定处理与实施例10相同，所以省略反复说明。即，实施例14的图像编码装置和图像编码方法中，与合成预测的处理中使用的帧内预测图像是画面内块复制预测的预测图像还是其他帧内预测的预测图像相应地，使用判断条件不同的加权参数w的决定处理。
即，根据本发明的实施例14的图像编码装置和图像编码方法，在使用画面内块复制预测作为合成预测的处理的帧内预测图像的情况下，也能够更优选地决定加权参数。
根据以上说明的本发明的实施例10的图像编码装置和图像编码方法，能够更优选地对图像进行编码
(实施例15)
接着，对于本发明的实施例15进行说明。
本发明的实施例15是与实施例14的图像编码装置和图像编码方法对应的图像解码装置和图像解码方法。本发明的实施例15在实施例11的图像解码装置和图像解码方法中，也支持画面内块复制预测得到的预测图像作为合成预测的处理中使用的帧内预测图像。另外，本实施例中的画面内块复制预测是实施例1中作为“画面内块复制”说明的预测处理的一例。此处，画面内块复制预测的处理的详情如实施例12所说明，所以省略反复说明。
具体而言，能够将用图16说明的画面内块复制预测得到的预测图像用作合成预测的处理的帧内预测图像。进而，对于加权参数w的决定处理，在图14或图15所示的加权参数w的决定处理中的某一方的决定处理之外，也使用图18所示的加权参数w的决定处理。
实施例15的图像解码装置和图像解码方法使用图14或图15所示的加权参数w的决定处理和图18所示的加权参数w的决定处理，与图14、图15和图18所示的加权参数w的决定处理以外的其他结构、动作、处理都与实施例11的图像解码装置和图像解码方法相同。因此，对于这些与实施例11的图像解码装置和图像解码方法相同的方面省略反复说明。
另外，图14或图15中的加权参数w的决定处理的详情如实施例10所说明，所以省略反复说明。
另外，图18中的加权参数w的决定处理的详情如实施例14所说明，所以省略反复说明。
即，根据本发明的实施例15的图像解码装置和图像解码方法，在使用画面内块复制预测作为合成预测的处理的帧内预测图像的情况下，也能够更优选地决定加权参数。
根据以上说明的本发明的实施例15的图像解码装置和图像解码方法，能够更优选地对图像进行解码。
(实施例16)
接着，对于本发明的实施例16进行说明。
本发明的实施例16对实施例1、4、6、8、10的图像编码装置和图像编码方法中说明的帧间预测图像与帧内预测图像的合成预测的处理进行扩展，进行画面内块复制预测的预测图像与其他帧内预测的预测图像的合成预测。画面内块复制预测的处理的详情如实施例12所说明，所以省略反复说明。
本实施例的合成预测模式通过对画面内块复制预测得到的画面内块复制预测图像、与其他帧内预测得到的帧内预测图像进行加权平均，由此生成合成预测得到的预测图像。
具体而言，将实施例1中说明的式1变更为画面内块复制预测与帧内预测图像的合成预测即下式2。
Pcom＝(w*Pintra+(4-w)*Pibcintra)/4 ……式2
此处，式2中，Pcom是合成预测像素，Pibcintra是画面内块复制预测像素，Pintra是其他帧内预测像素。
本实施例的图像编码装置和图像编码方法中的合成预测处理这样地将画面内块复制预测的预测图像与其他帧内预测的预测图像合成而生成合成预测图像，将其用于编码处理。
画面内块复制预测在编码方计算块搜索的结果的矢量，在解码方使用该矢量得到预测图像，所以虽然是画面内预测，但同时也具有接近于帧间预测的性质。从而，存在代替实施例1、4、6、8、10的图像编码装置和图像编码方法中说明的、帧间预测图像与帧内预测图像的合成预测的处理地，通过进行画面内块复制预测与其他帧内预测图像的合成预测的处理而能够更优选地进行编码的情况。另外，也可以构成为与实施例1、4、6、8、10的图像编码装置和图像编码方法的帧间预测图像与帧内预测图像的合成预测处理之间切换地使用。
另外，本实施例中，除了使合成预测的处理的对象从帧间预测图像与帧内预测图像的组合变更为画面内块复制预测的预测图像与其他帧内预测的预测图像的组合以外的结构、动作、处理都与实施例1、4、6、8、10的图像编码装置和图像编码方法相同。因此，对于与实施例1、4、6、8、10的图像编码装置和图像编码方法相同的方面省略反复说明。
另外，式2中的加权参数w的决定处理也如上述实施例1、4、6、8、10的图像编码装置和图像编码方法所说明，使用相邻块的信息进行即可。
如上所述，根据本发明的实施例16的图像编码装置和图像编码方法，能够将画面内块复制预测的预测图像与其他帧内预测的预测图像的合成预测图像用于预测处理，能够更优选地对图像进行编码。
(实施例17)
接着，对于本发明的实施例17进行说明。
本发明的实施例17是与实施例16的图像编码装置和图像编码方法对应的图像解码装置和图像解码方法。具体而言，对实施例2、5、7、9、11的图像解码装置和图像解码方法中说明的帧间预测图像与帧内预测图像的合成预测的处理进行扩展，进行画面内块复制预测的预测图像与其他帧内预测的预测图像的合成预测。画面内块复制预测的处理的详情如实施例12所说明，所以省略反复说明。
本实施例的合成预测模式与实施例16同样，通过对画面内块复制预测得到的画面内块复制预测图像、与其他帧内预测得到的帧内预测图像进行加权平均，由此生成合成预测得到的预测图像。
另外，除了使合成预测的处理的对象从帧间预测图像与帧内预测图像的组合变更为画面内块复制预测的预测图像与其他帧内预测的预测图像的组合以外的结构、动作、处理都与实施例2、5、7、9、11的图像解码装置和图像解码方法相同。因此，对于与实施例2、5、7、9、11的图像解码装置和图像解码方法相同的方面省略反复说明。
另外，式2中的加权参数w的决定处理也如上述实施例2、5、7、9、11的图像解码装置和图像解码方法所说明，使用相邻块的信息进行即可。
如上所述，根据本发明的实施例17的图像解码装置和图像解码方法，能够将画面内块复制预测的预测图像与其他帧内预测的预测图像的合成预测图像用于预测处理，能够更优选地对图像进行解码。
另外，将以上说明的各图、各方法等的实施例任意组合，也可以成为本发明的一个实施方式。
根据以上说明的本发明的各实施例，能够减少码量，防止画质劣化。即，能够实现高压缩率和更好的画质。
附图标记说明
101…图像输入部，102…块分割部，103…模式管理部，104…帧内预测部，105…帧间预测部，106…块处理部，107…变换/量化部，108…逆量化/逆变换部，109…图像合成/滤波部，110…解码图像管理部，111…熵编码部，112…数据输出部，201…流分析部，202…块管理部，203…模式判断部，204…帧内预测部，205…帧间预测部，206…系数分析部，207…逆量化/逆变换部，208…图像合成/滤波部，209…解码图像管理部，210…图像输出部，120…合成预测部，220…合成预测部。

Claims (4)

1.一种对图像进行编码的图像编码方法，其特征在于，包括：
预测图像生成步骤，对于编码对象块进行将画面内块复制预测的预测图像与画面内块复制预测以外的帧内预测的预测图像合成的合成处理来生成合成预测的预测图像；和
编码步骤，对所述预测图像生成步骤中生成的预测图像与所述编码对象块的图像的像素值之间的差进行编码，
在所述合成处理中，对所述画面内块复制预测的预测图像和所述画面内块复制预测以外的所述帧内预测的预测图像进行加权处理，使用与所述编码对象块相邻的相邻块的信息来决定所述加权处理中的所述帧内预测的预测图像的加权参数。
2.一种对图像进行编码的图像编码方法，其特征在于，包括：
预测图像生成步骤，对于编码对象块，将画面内块复制预测的预测图像作为第一预测图像，将画面内块复制预测以外的帧内预测的预测图像作为第二预测图像，进行将所述第一预测图像与所述第二预测图像合成的合成处理来生成合成预测的预测图像；和
编码步骤，对所述预测图像生成步骤中生成的预测图像与所述编码对象块的图像的像素值之间的差进行编码，
在所述预测图像生成步骤中为了生成所述第二预测图像而能够使用的画面内块复制预测以外的帧内预测的种类包括平面预测，
在所述合成处理中，对所述第一预测图像和所述第二预测图像进行加权处理，在所述加权处理的处理状态中，存在用于生成所述第二预测图像的所述帧内预测的种类是平面预测且所述第二预测图像的加权被设定为最小的状态。
3.一种对将图像编码得到的编码流进行解码的图像解码方法，其特征在于，包括：
预测图像生成步骤，对于解码对象块进行将画面内块复制预测的预测图像与画面内块复制预测以外的帧内预测的预测图像合成的合成处理来生成合成预测的预测图像；和
解码图像生成步骤，基于所述预测图像生成步骤中生成的预测图像和所述解码对象块的差图像来生成解码图像，
在所述合成处理中，对所述画面内块复制预测的预测图像和所述画面内块复制预测以外的所述帧内预测的预测图像进行加权处理，使用与所述解码对象块相邻的相邻块的预测模式的信息来决定所述加权处理中的所述帧内预测的预测图像的加权参数。
4.一种对将图像编码而得到的编码流进行解码的图像解码方法，其特征在于，包括：
预测图像生成步骤，对于解码对象块，将画面内块复制预测的预测图像作为第一预测图像，将画面内块复制预测以外的帧内预测的预测图像作为第二预测图像，进行将所述第一预测图像与所述第二预测图像合成的合成处理来生成合成预测的预测图像；和
解码图像生成步骤，基于所述预测图像生成步骤中生成的预测图像和所述解码对象块的差图像来生成解码图像，
在所述预测图像生成步骤中为了生成所述第二预测图像而能够使用的帧内预测的种类包括平面预测，
在所述合成处理中，对所述第一预测图像和所述第二预测图像进行加权处理，在所述加权处理的处理状态中，存在用于生成所述第二预测图像的所述帧内预测的种类是平面预测且所述第二预测图像的加权被设定为最小的状态。
CN202080089063.2A 2019-12-26 2020-12-25 图像编码方法和图像解码方法 Pending CN114830647A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-235340 2019-12-26
JP2019235340A JP2021103871A (ja) 2019-12-26 2019-12-26 画像符号化方法および画像復号方法
PCT/JP2020/048742 WO2021132568A1 (ja) 2019-12-26 2020-12-25 画像符号化方法および画像復号方法

Publications (1)

Publication Number Publication Date
CN114830647A true CN114830647A (zh) 2022-07-29

Family

ID=76575571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080089063.2A Pending CN114830647A (zh) 2019-12-26 2020-12-25 图像编码方法和图像解码方法

Country Status (4)

Country Link
US (1) US20230028160A1 (zh)
JP (1) JP2021103871A (zh)
CN (1) CN114830647A (zh)
WO (1) WO2021132568A1 (zh)

Also Published As

Publication number Publication date
JP2021103871A (ja) 2021-07-15
WO2021132568A1 (ja) 2021-07-01
US20230028160A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
US11936858B1 (en) Constrained position dependent intra prediction combination (PDPC)
KR102628889B1 (ko) 인트라 모드 jvet 코딩
JP4955216B2 (ja) グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法
US11457233B2 (en) Motion information storage for video coding and signaling
US11601668B2 (en) System and method of motion information storage for video coding and signaling
KR20200057082A (ko) 적응적 동일하지 않은 가중 평면 예측
KR100682929B1 (ko) 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법
CN114830646A (zh) 图像编码方法和图像解码方法
CN114830642A (zh) 图像编码方法和图像解码方法
CN114830647A (zh) 图像编码方法和图像解码方法
CN114830644A (zh) 图像编码方法和图像解码方法
CN114830641A (zh) 图像编码方法和图像解码方法
CN114830643A (zh) 图像编码方法和图像解码方法
CN114830645A (zh) 图像编码方法和图像解码方法
US11997305B2 (en) System and method of motion information storage for video coding and signaling
CN114830650A (zh) 图像编码方法和图像解码方法
CN114788270A (zh) 图像编码方法和图像解码方法
US20220377354A1 (en) Image encoding method and image decoding method
US20240137546A1 (en) Coding enhancement in cross-component sample adaptive offset
CN114450949A (zh) 图像编码方法、图像编码装置、图像解码方法和图像解码装置
CN115086671A (zh) 资源受约束的视频编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination