CN112335243A - 影像编码/解码方法及装置 - Google Patents

影像编码/解码方法及装置 Download PDF

Info

Publication number
CN112335243A
CN112335243A CN201980041239.4A CN201980041239A CN112335243A CN 112335243 A CN112335243 A CN 112335243A CN 201980041239 A CN201980041239 A CN 201980041239A CN 112335243 A CN112335243 A CN 112335243A
Authority
CN
China
Prior art keywords
reference pixel
information
prediction
block
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980041239.4A
Other languages
English (en)
Other versions
CN112335243B (zh
Inventor
文柱禧
河在玟
元栋载
任星元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academy Cooperation Foundation of Sejong University
Original Assignee
Industry Academy Cooperation Foundation of Sejong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academy Cooperation Foundation of Sejong University filed Critical Industry Academy Cooperation Foundation of Sejong University
Priority to CN202510380625.3A priority Critical patent/CN119996698A/zh
Priority to CN202510380622.XA priority patent/CN119922307A/zh
Priority to CN202510381148.2A priority patent/CN119922309A/zh
Priority to CN202510381083.1A priority patent/CN119922308A/zh
Publication of CN112335243A publication Critical patent/CN112335243A/zh
Application granted granted Critical
Publication of CN112335243B publication Critical patent/CN112335243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种影像编码方法及影像解码方法。适用本发明的影像解码方法，可以包括：重建参考像素行信息的步骤；以上述参考像素行信息为基础，选择多个参考像素行中的至少一个参考像素行的步骤；以及通过以所选择的上述参考像素行为基础对当前区块执行画面内预测，生成针对上述当前区块的预测区块的步骤。

Description

影像编码/解码方法及装置
技术领域
本发明涉及一种影像编码/解码方法及装置，尤其涉及一种用于执行利用多个重建像素行的画面内预测的影像编码/解码方法及装置。
背景技术
近年来，互联网中对如视频等多媒体数据的需求正在急剧增加。但是，目前信道(Channel)带宽(Bandwidth)的发展速度却难以充分满足急剧增加的多媒体数据量。为此，国际标准化机构即国际电联电信标准化部门(ITU-T)的视频编码专家组(VCEG，VideoCoding Expert Group)以及国际标准化组织/国际电工委员会(ISO/IEC)的动态图像专家组(MPEG，Moving Picture Expert Group)于2014年02月制定了视频压缩标准即高效率视频编码(HEVC，High Efficiency Video Coding)第1版。
在高效率视频编码(HEVC)中，对如画面内预测(或帧内预测)、画面间预测(或帧间预测)、变换、量化、熵编码以及环路滤波等多种技术做出了定义。
发明内容
技术问题
本发明的目的在于提供一种利用多个参考像素行执行画面内预测的影像编码/解码方法及装置。
此外，本发明的目的在于提供一种用于高效地执行熵编码以及解码的影像编码/解码方法及装置。
此外，本发明的目的在于提供一种用于对通过适用本发明的影像编码方法或装置生成的比特流进行存储的记录介质。
此外，本发明的目的在于提供一种用于对通过适用本发明的影像解码方法或装置解码的比特流进行存储的记录介质。
本发明拟达成的技术课题并不限定于在上述内容中提及的技术课题，具有本发明所属技术领域之一般知识的人员将可以通过下述记载进一步明确理解未被提及的其他技术课题。
技术手段
适用本发明之一方面的影像解码方法，可以包括：重建参考像素行信息的步骤；以上述参考像素行信息为基础，选择多个参考像素行中的至少一个参考像素行的步骤；以及通过以所选择的上述参考像素行为基础对当前区块执行画面内预测，生成针对上述当前区块的预测区块的步骤。
在适用本发明的影像解码方法中，上述参考像素行信息可以以区块单位被解码。
在适用本发明的影像解码方法中，上述预测区块可以通过执行上述当前区块的上端参考像素与上述当前区块的左侧参考像素之间的加权和的方式生成。
在适用本发明的影像解码方法中，上述上端参考像素以及上述左侧参考像素可以以上述当前区块的预测方向为基础而选择。
在适用本发明的影像解码方法中，上述上端参考像素以及上述左侧参考像素存在于与上述当前区块相邻的第1参考像素行上，而上述上端参考像素以及上述左侧参考像素可以以上述当前区块内的当前像素的坐标为基础而选择。
在适用本发明的影像解码方法中，当上述当前区块内的左上端像素的坐标为(0，0)且上述当前像素的坐标为(x，y)时，上述上端参考像素的坐标可以是(x+y+1，-1)，而上述左侧参考像素的坐标可以是(-1，x+y+1)。
在适用本发明的影像解码方法中，用于上述加权和的权重可以以从上述当前区块内的当前像素到上述上端参考像素以及上述左侧参考像素为止的距离为基础来决定。
在适用本发明的影像解码方法中，可以对上述上端参考像素以及上述左侧参考像素中的从上述当前像素的距离更近的参考像素适用更大的权重。
适用本发明之另一方面的影像编码方法，可以包括：选择多个参考像素行中的至少一个参考像素行的步骤；通过以所选择的上述参考像素行为基础对当前区块执行画面内预测，生成针对上述当前区块的预测区块的步骤；以及对与所选择的上述参考像素行相关的参考像素行信息进行编码的步骤。
在适用本发明的影像编码方法中，上述参考像素行信息可以以区块单位被编码。
在适用本发明的影像编码方法中，上述预测区块可以通过执行上述当前区块的上端参考像素与上述当前区块的左侧参考像素之间的加权和的方式生成。
在适用本发明的影像编码方法中，上述上端参考像素以及上述左侧参考像素可以以上述当前区块的预测方向为基础而选择。
在适用本发明的影像编码方法中，上述上端参考像素以及上述左侧参考像素存在于与上述当前区块相邻的第1参考像素行上，而上述上端参考像素以及上述左侧参考像素可以以上述当前区块内的当前像素的坐标为基础而选择。
在适用本发明的影像编码方法中，当上述当前区块内的左上端像素的坐标为(0，0)且上述当前像素的坐标为(x，y)时，上述上端参考像素的坐标可以是(x+y+1，-1)，而上述左侧参考像素的坐标可以是(-1，x+y+1)。
在适用本发明的影像编码方法中，用于上述加权和的权重可以以从上述当前区块内的当前像素到上述上端参考像素以及上述左侧参考像素为止的距离为基础来决定。
在适用本发明的影像编码方法中，可以对上述上端参考像素以及上述左侧参考像素中的从上述当前像素的距离更近的参考像素适用更大的权重。
适用本发明之又一方面的影像编码方法，可以包括：接收编解码参数的步骤；执行概率初始化的步骤；决定上述编解码参数的二进制信息的步骤；对上述二进制信息进行编码的步骤；以及根据上述编解码参数的特性对概率表进行更新的步骤。
在适用本发明的影像编码方法中，上述编解码参数的特性以及上述概率表可以分别存在K个，而上述K可以是2以上。
在适用本发明的影像编码方法中，上述K个概率表可以具有相互相同或不同的初始概率信息，与上述初始概率信息是否相同或不同相关的信息可以在区块的上一级中用信号发送(signaling)。
在适用本发明的影像编码方法中，上述编解码参数的特性可以是第2次变换的执行与否。
在适用本发明的影像编码方法中，上述第2次变换的执行与否可以根据当前系数的位置处于第1次变换区域还是第2次变换区域来决定。
在适用本发明的影像编码方法中，上述第2次变换区域可以以扫描顺序上的最后一个不为0的系数的位置为基准决定。
在适用本发明的影像编码方法中，上述第2次变换区域可以是根据当前区块的左上端系数的位置以及上述最后一个不为0的系数的位置确定的子区块区域。
在适用本发明的影像编码方法中，与上述第2次变换区域相关的信息可以通过比特流来用信号发送(signaling)。
在适用本发明的影像编码方法中，上述编解码参数的特性可以是当前区块的预测模式。
在适用本发明的影像编码方法中，上述编解码参数的特性可以是第2次变换的执行与否以及当前区块的预测模式，而在对上述编解码参数进行编码时可以使用4个概率表。
适用本发明之又一方面的影像解码方法，可以包括：接收比特流的步骤；执行概率初始化的步骤；对编解码参数的二进制信息进行解码的步骤；决定上述编解码参数的信息的步骤；以及根据上述编解码参数的特性对概率表进行更新的步骤。
在适用本发明的影像解码方法中，上述编解码参数的特性以及上述概率表可以分别存在K个，而上述K可以是2以上。
在适用本发明的影像解码方法中，上述K个概率表可以具有相互相同或不同的初始概率信息，与上述初始概率信息是否相同或不同相关的信息可以在区块的上一级中用信号发送(signaling)。
在适用本发明的影像解码方法中，上述编解码参数的特性可以是第2次变换的执行与否。
在适用本发明的影像解码方法中，上述第2次变换的执行与否可以根据当前系数的位置处于第1次变换区域还是第2次变换区域来决定。
在适用本发明的影像解码方法中，上述第2次变换区域可以以扫描顺序上的最后一个不为0的系数的位置为基准决定。
在适用本发明的影像解码方法中，上述第2次变换区域可以是根据当前区块的左上端系数的位置以及上述最后一个不为0的系数的位置确定的子区块区域。
在适用本发明的影像解码方法中，与上述第2次变换区域相关的信息可以通过比特流来用信号发送(signaling)。
在适用本发明的影像解码方法中，上述编解码参数的特性可以是当前区块的预测模式。
在适用本发明的影像解码方法中，上述编解码参数的特性可以是第2次变换的执行与否以及当前区块的预测模式，而在对上述编解码参数进行解码时可以使用4个概率表。
适用本发明之又一方面的计算机可读取的记录介质，可以对通过适用本发明的影像编码方法和/或装置生成的比特流进行存储。
适用本发明之又一方面的计算机可读取的记录介质，可以对通过适用本发明的影像解码方法和/或装置解码的比特流进行存储。
技术效果
本发明可以提供一种利用多个参考像素行执行画面内预测的影像编码/解码方法及装置。
此外，本发明可以提供一种利用以多个预测信息为基础生成的多个预测区块对当前区块进行预测的方法及装置。
此外，本发明可以提供一种用于高效地执行熵编码以及解码的影像编码/解码方法及装置。
此外，本发明可以通过减少在对视频进行编码时所生成的编码信息的量而提升编码效率。
此外，本发明可以通过高效地选择在执行上下文自适应算数编码以及解码时适用于各个符号的编码或解码的概率信息而提升算数编码以及算数解码性能。
此外，本发明可以提供一种用于对通过适用本发明的影像编码方法/装置生成的比特流进行存储的计算机可读取的记录介质。
此外，本发明可以提供一种用于对通过适用本发明的影像解码方法和/或装置解码的比特流进行存储的计算机可读取的记录介质。
附图说明
图1是对影像编码装置的构成进行概要性图示的例示图。
图2是对影像编码装置的预测部的一实施例进行图示的例示图。
图3是用于对在影像编码装置中对编码信息进行编码的一实施例进行说明的示意图。
图4是对影像解码装置的构成进行图示的例示图。
图5是对影像解码装置的预测部的构成进行图示的例示图。
图6是用于对在影像解码装置中对编码信息进行解码的一实施例进行说明的示意图。
图7是用于对利用多个参考像素行的画面内预测的一实施例进行说明的示意图。
图8是用于对利用多个参考像素行的画面内预测的另一实施例进行说明的示意图。
图9是对利用一个以上的参考像素行的影像编码装置的画面内预测部进行图示的例示图。
图10是对利用一个以上的参考像素行的影像解码装置的画面内预测部进行图示的例示图。
图11是用于对按照适用本发明的一实施例对预测模式信息进行编码的方法进行说明的示意图。
图12是用于对按照适用本发明的一实施例对预测模式信息进行解码的方法进行说明的示意图。
图13是用于对适用本发明之另一实施例的影像编码装置的画面内预测部进行说明的示意图。
图14是用于对适用本发明之另一实施例的影像解码装置的画面内预测部进行说明的示意图。
图15是用于对按照适用本发明的一实施例对预测模式信息进行编码的方法进行说明的示意图。
图16是用于对按照适用本发明的一实施例对预测模式信息进行解码的方法进行说明的示意图。
图17是用于对按照适用本发明的另一实施例执行画面内预测的方法进行说明的示意图。
图18是用于对适用本发明之另一实施例的影像编码装置的画面内预测部进行说明的示意图。
图19是用于对适用本发明之另一实施例的影像解码装置的画面内预测部进行说明的示意图。
图20是用于对按照适用本发明的一实施例对预测模式信息进行编码的方法进行说明的示意图。
图21是用于对按照适用本发明的一实施例对预测模式信息进行解码的方法进行说明的示意图。
图22是用于对影像编码装置的变换部的动作进行说明的示意图。
图23是用于对影像编码/解码装置的逆变换部的动作进行说明的示意图。
图24是用于对变换区块的编码方法的一实施例进行说明的示意图。
图25是用于对变换区块的解码方法的一实施例进行说明的示意图。
图26是用于对上下文自适应二进制化算数编码方法的一实施例进行说明的示意图。
图27是用于对上下文自适应二进制化算数解码方法的一实施例进行说明的示意图。
图28是对根据周边系数信息适用不同概率信息的一实例进行图示的示意图。
图29是对更新的概率信息的一实例进行图示的示意图。
图30是用于对按照适用本发明的一实施例自适应具体状况的上下文自适应二进制化算数编码方法进行说明的示意图。
图31是用于对按照适用本发明的一实施例自适应具体状况的上下文自适应二进制化算数解码方法进行说明的示意图。
图32是用于对适用本发明之一实施例的影像编码装置的变换部的动作进行说明的示意图。
图33是用于对适用本发明之一实施例的影像编码/解码装置的逆变换部的动作进行说明的示意图。
图34是对适用本发明之一实施例的变换区块内的第2次变换区域进行图示的例示图。
图35是用于对适用本发明之一实施例的变换区块的编码方法进行说明的示意图。
图36是用于对适用本发明之一实施例的变换区块的解码方法进行说明的示意图。
具体实施方式
接下来，将参阅本说明书的附图对适用本发明的实施例进行详细的说明，以便于具有本发明所属技术领域之一般知识的人员可以轻易地实施本发明。但是，本发明可以以多种不同的形态实现，并不限定于在本说明书中进行说明的实施例。此外，在附图中为了可以对本发明进行明确的说明而对与说明无关的部分进行了省略，而且在整个说明书中为类似的部分分配了类似的附图编号。
在整个说明书中，当记载为某个部分与其他部分“连接”时，不仅包括直接连接的情况，还包括在两者之间介有其他元件且电气连接的情况。
此外，在整个说明书中，当记载为某个部分“包括”某个构成要素时，除非另有明确的相反记载，否则并不是表示排除其他构成要素，而是表示还可以包括其他构成要素。
此外，在对不同的构成要素进行说明时可能会使用如第1、第2等术语，但是上述构成要素并不因为上述术语而受到限定。上述术语只是用于对一个构成要素与其他构成要素进行区分。
此外，在与本说明书中说明的装置及方法相关的实施例中，可以对装置中的一部分构成或方法中的一部分步骤进行省略。此外，可以对装置中的一部分构成或方法中的一部分步骤的顺序进行变更。此外，可以向装置中的一部分构成或方法中的一部分步骤插入其他构成或其他步骤。
此外，适用本发明之第1实施例中的一部分构成或一部分步骤可以被附加到适用本发明的第2实施例，或者替代第2实施例中的一部分构成或一部分步骤。
而且，适用本发明的实施例中所包含的构成部只是为了表示出互不相同的特定功能而单独进行了图示，并不是表示各个构成部由相互分离的硬件或一个软件构成单位构成。即，虽然为了说明的便利而对各个构成部进行了罗列记载，但是既可以将各个构成部中的至少两个构成部合并成一个构成部，也可以将一个构成部分割成多个构成部并使其执行对应的功能。如上所述的各个构成部的合并实施例以及分割实施例，在不脱离本发明之本质的前提下也包含于本发明的权利要求范围之内。
首先，将对本申请中所使用的术语进行简单说明如下。
在接下来的内容中进行说明的解码装置(Video Decoding Apparatus)可以包含于如民间安保摄像头、民安安保系统、军用安保摄像头、军用安保系统、个人计算机(PC，Personal Computer)、笔记本计算机、便携式多媒体播放器(PMP，Portable MultimediaPlayer)、无线通信终端(Wireless Communication Terminal)、智能手机(Smart Phone)、电视(TV)应用服务以及服务伺服器等服务终端中的装置，可以是配备有如用于与使用者终端、有线无线通信网络等各种设备执行通信的通信调制解调器、用于对执行影像解码或执行解码用画面间或画面内预测的各种程序以及数据进行存储的存储器、用于通过执行程序而进行演算以及控制的微处理器等的各种装置。
此外，利用编码器编码成比特流(bitstream)的影像可以实时或非实时地通过如互联网、近距离无线通信网、无线局域网、无线宽带接入服务(WiBro)网络、移动通信网络等有线无线通信网络或通过如线缆、通用串行总线(USB，Universal Serial Bus)等各种通信接口传送到影像解码装置并通过解码重建成影像进行播放。或者，利用编码器生成的比特流可以被存储到存储器中。上述存储器可以包括易失性存储器以及非易失性存储器。在本说明书中，存储器可以表现为存储有比特流的记录介质。
通常，视频可以由一系列的图像(Picture)构成，而各个图像可以被分割成如区块(Block)等编解码单元(coding unit)。此外，具有本实施例所属技术领域之一般知识的人员应该可以理解，在下述内容中所记载的图像这一术语，也可以被替换成如影像(Image)、帧(Frame)等具有相同含义的其他术语。此外，具有本实施例所属技术领域之一般知识的人员应该可以理解，在下述内容中所记载的编解码单元这一术语，也可以被替换成如单位区块、区块等具有相同含义的其他术语。
接下来，将参阅附图对适用本发明的实施例进行更为详细的说明。在对本发明进行说明的过程中，对相同构成要素的重复说明将被省略。
图1是对影像编码装置的构成进行概要性图示的例示图。
影像编码装置100，可以包括影像分割部101、画面内预测部102、画面间预测部103、减法运算部104、变换部105、量化部106、熵编码部107、逆量化部108、逆变换部109、加法运算部110、滤波部111以及存储器112。
在各个装置中，可以为了选择最适当的信息而对率失真代价(RD-Cost，ateDistortion-Cost)进行比较。率失真代价(RD-Cost)是指利用原始区块与重建区块之间的失真信息以及预测模式传送时所产生的比特量计算出的代价值。此时为了计算出代价值，可以使用如绝对误差和(SAD，Sum of Absolute Difference)、绝对变化误差和(SATD，Sumof Absolute Transformed Difference)、误差平方和(SSE，Sum of Square for Error)等。
在图1中图示的构成部只是为了表示出互不相同的特定功能而单独进行了图示，并不是表示各个构成部由相互分离的硬件或一个软件构成单位构成。即，虽然为了说明的便利而对各个构成部进行了罗列记载，但是既可以将各个构成部中的至少两个构成部合并成一个构成部，也可以将一个构成部分割成多个构成部并使其执行对应的功能，如上所述的各个构成部的合并实施例以及分割实施例，在不脱离本发明之本质的前提下也包含于本发明的权利要求范围之内。
此外，一部分构成要素在本发明中并不是用于执行本质性功能的必要构成要素，而只是用于提升其性能的可选构成要素。本发明可以仅包括除只是用于提升其性能的构成要素之外的用于实现本发明之本质的必要构成部，而仅包括除只是用于提升其性能的可选构成要素之外的必要构成要素的结构也包含于本发明的权利要求范围之内。
影像分割部100可以将输入影像分割成至少一个区块。此时，所输入的影像可以具有如图像、条带、并行区块、片段等多种形态以及大小。区块可以是指编码单位(CU)、预测单位(PU)或变换单位(TU)。上述分割可以以四叉树(Quad tree)、二叉树(Binary tree)以及三叉树分割(Ternary tree)中的至少一个为基础执行。四叉树是将上级区块分割成宽度以及高度均为上级区块的一半的四个下级区块的方式。二叉树是将上级区块分割成宽度或高度中的任一个为上级区块的一半的两个下级区块的方式。三叉树是以宽度或高度中的任一个为基准将上级区块分割成三个下级区块的方式。通过执行以如上所述的二叉树以及三叉树为基础的分割，区块不仅可以具有正方形形态，还可以具有非正方形形态。
预测部102、103可以包括用于执行画面间预测的画面间预测部103以及用于执行画面内预测的画面内预测部102。可以在决定对预测单位使用画面间预测还是画面内预测之后，再决定基于各个预测方法的具体信息(例如，画面内预测模式、运动向量、参考图像等)。此时，用于执行预测的处理单位与用于确定预测方法以及具体内容的处理单位可以互不相同。例如，预测方法以及预测模式等可以以预测单位进行确定，而预测则可以以变换单位执行。
所生成的预测区块以及原始区块之间的残差值(残差区块)可以被输入到变换部105。此外，在预测过程中使用的预测模式信息以及运动向量信息等可以在与残差值一起在熵编码部107中进行编码之后再传递到解码器中。在使用特定的编码模式的情况下，也可以直接对原始区块进行编码并传送到解码部，而不通过预测部102、103生成预测区块。
画面内预测部102可以以当前图像内的像素信息即当前区块周边的参考像素信息为基础生成预测区块。当需要执行画面内预测的当前区块的周边区块的预测模式为画面间预测时，可以将适用画面间预测的周边区块中所包含的参考像素替换成适用画面内预测的周边其他区块内的参考像素。即，在参考像素不可用的情况下，可以将不可用的参考像素信息替换成可用的参考像素中的至少一个参考像素使用。
在画面内预测中，预测模式可以包括根据预测方向使用参考像素信息的定向预测模式以及不使用方向信息的非定向模式。用于对亮度信息进行预测的模式以及用于对色差信息进行预测的模式可以互不相同。在对色差信息进行预测时，可以使用在对亮度信息进行预测的过程中所使用的画面内预测模式信息或所预测到的亮度信号信息。
画面内预测部102可以包括自适应帧内平滑(AIS，Adaptive Intra Smoothing)滤波器、参考像素插值部以及均值(DC)滤波器。自适应帧内平滑(AIS)滤波器是用于对当前区块的参考像素进行滤波的滤波器，可以根据当前预测单位的预测模式自适应地决定滤波器的适用与否。在当前区块的预测模式为不执行自适应帧内平滑(AIS)滤波的模式时，可以不适用自适应帧内平滑(AIS)滤波器。
当预测单位的画面内预测模式为以对参考像素进行插值的像素值为基础执行画面内预测的模式时，画面内预测部102的参考像素插值部可以通过对参考像素进行插值而生成分数单位位置上的参考像素。在当前预测单位的预测模式为不对参考像素进行插值而生成预测区块的预测模式时，可以不对参考像素进行插值。在当前区块的预测模式为均值(DC)模式时，均值(DC)滤波器可以通过滤波生成预测区块。
画面间预测部103利用保存在存储器112中的已重建参考影像以及运动信息生成预测区块。运动信息可以包括如运动向量、参考图像索引、列表1预测标志以及列表0预测标志等。
可以生成包含在预测部102、103中生成的预测单位与预测单位的原始区块之间的差异值即残差值(Residual)信息的残差区块。所生成的残差区块可以被输入到变换部105中进行变换。
画面间预测部103可以以当前图像的前一个图像或后一个图像中的至少一个图像的信息为基础推导出预测区块。此外，也可以以当前图像内的已完成编码的一部分区域的信息为基础，推导出针对当前区块的预测区块。适用本发明之一实施例的画面间预测部103，可以包括参考图像插值部、运动预测部以及运动补偿部。
在参考图像插值部中，可以从存储器112接收参考图像信息并在参考图像中生成整数像素以下的像素信息。对于亮度像素，可以使用为了以1/4像素单位生成整数像素以下的像素信息而对滤波系数进行变更的基于离散余弦变换的8抽头插值滤波器(DCT-basedInterpolation Filter)。对于色差像素，可以使用为了以1/8像素单位生成整数像素以下的像素信息而对滤波系数进行变更的基于离散余弦变换的4抽头插值滤波器(DCT-basedInterpolation Filter)。
运动预测部可以以通过参考图像插值部进行插值的参考图像为基础执行运动预测。作为用于计算出运动向量的方法，可以使用如全搜索区块匹配算法(FBMA，Fullsearch-based Block Matching Algorithm)、三步搜索算法(TSS，Three Step Search)、新三步搜索算法(NTS，New Three-Step Search Algorithm)等多种方法。运动向量可以以插值的像素为基础，具有1/2或1/4像素单位的运动向量值。在运动预测部中，可以通过不同的运动预测方法对当前预测单位的预测区块进行预测。作为运动预测方法，可以使用如跳过(Skip)法、合并(Merge)法、高级运动向量预测(AMVP，Advanced Motion VectorPrediction)法等多种方法。
减法运算部104通过对当前需要进行编码的区块以及在画面内预测部102或画面间预测部103中生成的预测区块进行减法运算而生成当前区块的残差区块。
变换部105可以利用如离散余弦变换(DCT)、离散正弦变换(DST)、卡洛南-洛伊变换(KLT，Karhunen Loeve Transform)等变换方法对包含残差数据的残差区块进行变换。此时，可以以为了生成残差区块而使用的预测单位的画面内预测模式为基础决定变换方法。例如，可以根据帧内预测模式，在水平方向上使用离散余弦变换(DCT)，而在垂直方向上使用离散正弦变换(DST)。或者，也可以根据当前区块的纵横比、大小等，在水平方向以及垂直方向上使用互不相同的变换技法。
量化部106可以对在变换部105中变换成频率区域的值进行量化。量化系数可以根据区块或根据影像的重要程度进行变更。在量化部106中计算出的值，可以被提供到逆量化部108以及熵编码部107中。
上述变换部105和/或量化部106，可以被选择性地包含到影像编码装置100中。即，影像编码装置100可以对残差区块的残差数据执行变换或量化中的至少一个，也可以跳过变换以及量化而对残差区块进行编码。即使是在影像编码装置100中没有执行变换或量化中的某一个或变换以及量化均没有执行的情况下，被输入到熵编码部107中的区块通常都会被称之为变换区块。
熵编码部107对输入数据进行熵编码。在执行熵编码时，可以使用如指数哥伦布码(Exponential Golomb)、基于上下文自适应的可变长编码(CAVLC，Context-AdaptiveVariable Length Coding)以及基于上下文自适应的二进制算术编码(CABAC，Context-Adaptive Binary Arithmetic Coding)等多种编码方法。
熵编码部107可以对如变换区块的系数信息、区块类型信息、预测模式信息、分割单位信息、预测单位信息、传送单位信息、运动向量信息、参考帧信息、区块的插值信息、滤波信息等多种信息进行编码。变换区块的系数，可以以变换区块内的子区块单位进行编码。
为了对变换区块的系数进行编码，可以对如用于表示逆扫描顺序上的第一个不为0的系数的位置的语法元素(syntax element)即Last_sig、用于表示子区块内是否包含至少一个不为0的系数的标志即Coded_sub_blk_flag、用于表示是否为不为0的系数的标志即Sig_Coeff_flag、用于表示系数的绝对值是否大于1的标志即Abs_greater1_flag、用于表示系数的绝对值是否大于2的标志即Abs_greater2_flag以及用于表示系数的符号的标志即Sign_flag等多种语法元素进行编码。对于没有通过上述语法元素进行编码的系数的剩余值，可以通过语法元素remaining_coeff进行编码。
在逆量化部108以及逆变换部109中，将对在量化部106中进行量化的值进行逆量化，并对在变换部105进行变换的值进行逆变换。在逆量化部108以及逆变换部109中生成的残差值(Residual)，可以与通过预测部102、103中所包含的运动推测部、运动补偿部以及画面内预测部102预测出的预测单位进行合并，从而生成重建区块(Reconstructed Block)。加法运算部110通过对在预测部102、103中生成的预测区块以及通过逆变换部109生成的残差区块进行加法运算而生成重建区块。
滤波部111可以包括去块滤波器、偏移补正部、自适应环路滤波器(ALF，AdaptiveLoop Filter)中的至少一个。
去块滤波器可以从重建图像中去除因为区块之间的边界而造成的区块失真。为了判定是否需要执行去块，可以以包含于区块中的若干个列或行中所包含的像素为基础，判定是否需要对当前区块适用去块滤波器。在对区块适用去块滤波器时，可以根据所需要的去块滤波强度适用强滤波器(Strong Filter)或弱滤波器(Weak Filter)。此外，在适用去块滤波器的情况下，可以在执行垂直滤波以及水平滤波时对水平方向滤波以及垂直方向滤波进行并行处理。
偏移补正部可以以像素单位对执行去块之后的影像以及原始影像之间的偏移进行补正。为了对特定图像进行偏移补正，可以使用将影像中所包含的像素划分成一定数量的区域之后决定需要执行偏移的区域并对相应的区域适用偏移的方法，或者在考虑到各个像素的边缘信息的前提下适用偏移的方法。
自适应环路滤波(ALF，Adaptive Loop Filtering)可以以对滤波的重建影像以及原始影像进行比较的值为基础执行。可以在将影像中所包含的像素划分成特定的组之后决定需要适用于相应的组中的一个滤波器，从而在各个组中分别执行不同的滤波。对于与是否适用自适应环路滤波(ALF)相关的信息，亮度信号可以按照各个编解码单位(CodingUnit，CU)进行传送，而且可以根据各个区块对所适用的自适应环路滤波器(ALF)的形状以及滤波系数进行变更。此外，与适用对象区块的特性无关，可以适用相同形态(固定形态)的自适应环路滤波器(ALF)。
存储器112可以对通过滤波部111计算出的重建区块或图像进行存储，而所存储的重建区块或图像可以在执行画面间预测时提供至预测部102、103。
图2是对影像编码装置的预测部的一实施例进行图示的例示图。
在当前区块的预测模式为画面内预测模式的情况下，画面内预测部201可以通过从当前区块的周边推导出参考像素并对参考像素进行滤波而生成参考像素。参考像素是利用当前区块周边的重建像素决定。在当前区块的周边无法利用一部分重建像素或没有重建像素的情况下，可以将可利用的参考像素填充到无法利用的区域，或者利用像素可具有的值的范围中的中间值进行填充。在推导出所有的参考像素之后，可以利用自适应帧内平滑(AIS，Adaptive Intra Smoothing)滤波器对参考像素进行滤波。
画面内预测模式探索部202可以决定M个画面内预测模式中的某一个模式。其中，M表示画面内预测模式的总数量。画面内预测模式包括定向预测模式以及非定向预测模式。
可以利用所决定的预测模式以及滤波的参考像素生成预测区块。可以通过对不同的画面内预测模式的率失真代价(RD-Cost)进行比较而选择代价最低的一个画面内预测模式。
画面间预测部203可以根据对运动信息进行推导的方法，分为合并(Merge)候选探索部204以及高级运动向量预测(AMVP)候选探索部206。合并(Merge)候选探索部204将当前区块周边的重建区块中使用画面间预测的参考区块设定为合并(Merge)候选。合并(Merge)候选在编码/解码装置中利用相同的方法进行推导且使用相同的数量。合并(Merge)候选的数量可以从编码装置传送到解码装置，或者使用预先约定的数量。在无法从当前区块周边的重建参考区块中推导出约定数量的合并(Merge)候选的情况下，可以将与当前图像不同的图像中与当前区块相同的位置上的区块的运动信息作为合并(Merge)候选使用。或者，也可以通过以当前图像为基准对历史方向的运动信息以及未来方向的运动信息进行组合而推导出不足的合并(Merge)候选。或者，也可以将其他参考图像中的相同位置上的区块设定为合并(Merge)候选。
高级运动向量预测(AMVP)候选探索部206可以通过运动推测部207决定当前区块的运动信息。运动推测部207从重建图像搜索与当前区块作为类似的预测区块。
在执行画面间预测的情况下，可以利用合并(Merge)候选探索部204以及高级运动向量预测(AMVP)候选探索部206中的一个决定当前区块的运动信息，而运动补偿部208以所决定的运动信息为基础生成预测区块。
图3是用于对在影像编码装置中对编码信息进行编码的一实施例进行说明的示意图。
在步骤S301中，将对跳过(SKIP)模式的动作信息进行编码。在跳过模式中对当前区块进行预测时使用合并(Merge)模式，而在解码装置中将针对当前区块的预测区块作为重建区块使用。在画面间预测的步骤S302中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S302中判定跳过(SKIP)模式动作时(是，Yes)，在步骤S307中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。当在步骤S302中判定跳过(SKIP)模式不动作时(否，No)，在步骤S303中，将对预测模式进行编码。在步骤S304中，将对预测模式是画面间预测模式还是画面内预测模式进行判定。当在S304中判定预测模式为画面间预测模式时(是，Yes)，在步骤S305中，将对合并(MERGE)模式的动作信息进行编码。在步骤S306中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S306中判定合并(MERGE)模式动作时(是，Yes)，将跳转到步骤S307并对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。当在步骤S306中判定合并(MERGE)模式不动作时(否，No)，在步骤S308中，将对预测方向进行编码。其中，预测方向可以是历史方向、未来方向以及双方向中的某一个。在步骤S309，将对预测方向是否为未来方向进行判定。当在步骤S309中判定预测方向不为未来方向时(是，Yes)，在步骤S310中，将对历史方向的参考图像索引信息进行编码。在步骤S311中，将对历史方向的运动向量差值(MVD，MotionVector Difference)信息进行编码。在步骤S312中，将对历史方向的运动向量预测(MVP，Motion Vector Predictor)信息进行编码。当在步骤S309中判定预测方向为未来方向或双方向时(否，No)，在完成步骤S312之后，在步骤S313中，将对预测方向是否为历史方向进行判定。当在步骤S313中判定预测方向不为历史方向时(是，Yes)，在步骤S314中，将对未来方向的参考图像索引信息进行编码。在步骤S315中，将对未来方向的运动向量差值(MVD)信息进行编码。在步骤S316中，将对未来方向的运动向量预测(MVP)信息进行编码，然后结束本流程图。在步骤S305至步骤S316中执行的信息的编码，可以被称之为画面间预测部模式信息编码。
当在S304中判定预测模式为画面内预测模式时(否，No)，在步骤S317中，将对最有可能模式(MPM，Most Probable Mode)的动作信息进行编码。最有可能模式(MPM)是指，在利用当前区块周边的重建的画面内预测模式等构成最有可能模式(MPM)候选画面内预测模式之后，当最有可能模式(MPM)候选画面内预测模式中包括在影像编码装置中决定的当前区块的最佳画面内预测模式信息时对最有可能模式(MPM)候选画面内预测模式的索引信息进行传送的方法。在步骤S318中，将对最有可能模式(MPM)的动作与否进行判定。最有可能模式(MPM)是在当前区块周边的重建区块的预测模式中包括与当前区块的预测模式相同的模式的情况下，对索引信息进行编码的模式。当在步骤S318中判定最有可能模式(MPM)动作时(是，Yes)，在步骤S319中，将对最有可能模式(MPM)候选画面内预测模式的索引信息进行编码。当在步骤S318中判定最有可能模式(MPM)不动作时(否，No)，在步骤S320中，将对除最有可能模式(MPM)候选画面内预测模式之外的剩余的画面内预测模式中亮度(Luma)的最佳画面内预测模式信息进行编码。
在步骤S319以及步骤S320结束之后，将对色差(Chroma)的最佳画面内预测模式信息进行编码，然后结束本流程图。其中，用于执行步骤S308至步骤S316的模块可以被称之为运动信息编码部。此外，用于执行步骤S317至步骤S320的模块可以被称之为亮度画面内预测模式编码部。
图4是对影像解码装置400的构成进行图示的例示图。
影像解码装置400可以包括熵解码部401、逆量化部402、逆变换部403、加法运算部404、滤波部405、存储器406以及预测部407、408。
当通过影像编码装置100生成的影像比特流被输入到影像解码装置200中时，可以按照与影像编码装置100执行的过程相反的过程对所输入的比特流进行解码。
熵解码部401可以按照与在影像编码装置100的熵编码部407中执行的熵编码相反的步骤执行熵解码。例如，可以对应于在影像编码器中执行的方法，适用如指数哥伦布码(Exponential Golomb)、基于上下文自适应的可变长编码(CAVLC，Context-AdaptiveVariable Length Coding)以及基于上下文自适应的二进制算术编码(CABAC，Context-Adaptive Binary Arithmetic Coding)等多种方法。熵解码部401可以对如上所述的语法元素即Last_sig、Coded_sub_blk_flag、Sig_coeff_flag、Abs_greater1_flag、Abs_greater2_flag、Sign_flag以及remaining_coeff进行解码。此外，熵解码部401可以对与在影像编码装置100中执行的画面内预测以及画面间预测相关的信息进行解码。
逆量化部402通过对量化变换区块执行逆量化而生成变换区块。按照与图1中的逆量化部108实质相同的方式工作。
逆变换部403通过对变换区块执行逆变换而生成残差区块。此时，可以以与预测方法(画面间或画面内预测)、区块的大小和/或形态以及画面内预测模式等相关的信息为基础决定变换方法。逆变换部403按照与图1中的逆变换部109实质相同的方式工作。
加法运算部404通过对在画面内预测部407或画面间预测部408中生成的预测区块以及通过逆变换部403生成的残差区块进行加法运算而生成重建区块。加法运算部404按照与图1中的加法运算部110实质相同的方式工作。
滤波部405用于减少在重建区块中产生的各种类型的噪声。
滤波部405可以包括去块滤波器、偏移补正部以及自适应环路滤波器(ALF)。
可以从影像编码装置100接收与是否对相应的区块或图像适用了去块滤波器相关的信息，以及与在适用了去块滤波器的情况下是适用了强滤波器还是弱滤波器相关的信息。在影像解码装置400的去块滤波器中可以接收从影像编码装置100提供的与去块滤波器相关的信息，然后在影像解码装置400中对相应区块执行去块滤波。
偏移补正部可以以在执行编码时适用于影像的偏移补正的类型以及偏移值信息等为基础对重建影像执行偏移补正。
自适应环路滤波器(ALF)可以以从影像编码装置100提供的自适应环路滤波器(ALF)适用与否信息、自适应环路滤波器(ALF)系数信息等为基础适用于编码单位。如上所述的自适应环路滤波器(ALF)信息可以以包含于特定的参数集中的方式提供。滤波部205按照与图1中的滤波部111实质相同的方式工作。
存储器406对通过加法运算部404生成的重建区块进行存储。按照与图1中的存储器112实质相同的方式工作。
图5是对影像解码装置的预测部的构成进行图示的例示图。
画面内预测部501可以生成参考像素，而画面内预测模式决定部502可以以信令过来的信息为基础决定画面内预测模式。可以以所生成的参考像素以及画面内预测模式为基础生成预测区块。影像解码装置并不需要执行在影像编码装置中执行的预测模式决定过程。
画面间预测部503只是不执行图2中的决定最佳预测模式的过程，但是以信令过来的信息为基础对预测模式进行解码并以此为基础生成预测区块的过程，实质上与影像编码装置的画面间预测部相同。
图6是用于对在影像解码装置中对编码信息进行解码的一实施例进行说明的示意图。
在步骤S601中，将对跳过(SKIP)模式的动作信息进行解码。在步骤S602中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S602中判定跳过(SKIP)模式动作时(是，Yes)，在步骤S607中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。当在步骤S602中判定跳过(SKIP)模式不动作时(否，No)，在步骤S603中，将对预测模式进行解码。在步骤S604中，将对预测模式是画面间预测模式还是画面内预测模式进行判定。当在S604中判定预测模式为画面间预测模式时(是，Yes)，在步骤S605中，将对合并(MERGE)模式的动作信息进行解码。在步骤S606中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S606中判定合并(MERGE)模式动作时(是，Yes)，将跳转到步骤S607并对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。当在步骤S606中判定合并(MERGE)模式不动作时(否，No)，在步骤S608中，将对预测方向进行解码。其中，预测方向可以是历史方向、未来方向以及双方向中的某一个。在步骤S609，将对预测方向是否为未来方向进行判定。当在步骤S609中判定预测方向不为未来方向时(是，Yes)，在步骤S610中，将对历史方向的参考图像索引信息进行解码。在步骤S611中，将对历史方向的运动向量差值(MVD，Motion Vector Difference)信息进行解码。在步骤S612中，将对历史方向的运动向量预测(MVP，Motion Vector Predictor)信息进行解码。当在步骤S609中判定预测方向为未来方向或双方向时(否，No)，在完成步骤S612之后，在步骤S613中，将对预测方向是否为历史方向进行判定。当在步骤S613中判定预测方向不为历史方向时(是，Yes)，在步骤S614中，将对未来方向的参考图像索引信息进行解码。在步骤S615中，将对未来方向的运动向量差值(MVD)信息进行解码。在步骤S616中，将对未来方向的运动向量预测(MVP)信息进行解码，然后结束本流程图。当在S604中判定预测模式为画面内预测模式时(否，No)，在步骤S617中，将对最有可能模式(MPM)的动作信息进行解码。在步骤S618中，将对最有可能模式(MPM)的动作与否进行判定。当在步骤S618中判定最有可能模式(MPM)动作时(是，Yes)，在步骤S619中，将对最有可能模式(MPM)候选画面内预测模式的索引信息进行解码。当在步骤S618中判定最有可能模式(MPM)不动作时(否，No)，在步骤S620中，将对除最有可能模式(MPM)候选画面内预测模式之外的剩余的画面内预测模式中亮度(Luma)的最佳画面内预测模式信息进行解码。在步骤S619以及步骤S620结束之后，将对色差(Chroma)的最佳画面内预测模式信息进行解码，然后结束本流程图。
(实施例1)
图7是用于对利用多个参考像素行的画面内预测的一实施例进行说明的示意图。
在图7所示的实例中，当前的编码对象区块的大小为4×4，而画面内预测模式为右上端对角方向模式。
图8是用于对利用多个参考像素行的画面内预测的另一实施例进行说明的示意图。
图9是对利用一个以上的参考像素行的影像编码装置的画面内预测部进行图示的例示图。
接下来，将参阅图7以及图8对图9中的画面内预测部进行详细的说明。在作为当前区块的预测模式选择画面内预测的情况下，在参考像素生成部901中，将对各个参考像素行执行参考像素生成以及滤波。参考像素生成部901可以执行与图2中的画面内预测部201相同的过程。
接下来，将在假想参考像素生成决定部902中决定假想参考像素行的使用与否以及假想参考像素行生成位置。作为假想参考像素行，可以沿着预测方向在整数参考像素行之间生成假想参考像素行并作为参考像素使用。假想参考像素行可以在整数位置的参考像素行之间生成1个以上。此时，实数位置可以是对2个整数位置参考像素行距离进行等分的位置，也可以是与判定为最佳整数位置参考像素行接近的位置。假想参考像素行信息可以在编码/解码装置中使用相同的预先设定的值，也可以在上级报头中进行传送。上级报头是指如视频参数等级、序列参数等级、图像参数等级以及条带等级等包含区块信息的上级报头信息。或者，也可以对各个区块分别传送可以生成的假想参考像素行信息。
在图8中，参考像素行信息0可以代表第1行，参考像素行信息1可以代表第2行，参考像素行信息2可以代表第3行，而参考像素行信息3可以代表第4行。作为生成假想参考像素行的方法，将以在第3行以及第4行之间生成实数参考像素行即第3.5行的方法为例进行详细的说明。如图8所示，在预测方向穿过参考像素E以及F的情况下，将E以及F像素值的平均值设定为第3.5行的G像素值。
在参考像素行组合决定部903中，选择参考像素行组合K。参考像素行组合是指将1个以上的参考像素行信息构成为一个组的组合。在图7中，参考像素行信息0代表第1行，参考像素行信息1代表第2行，参考像素行信息2代表第3行，而参考像素行信息3代表第4行。K可以是参考像素行组合的索引，而各个索引可以表示1个以上的参考像素行的组合。与K个参考像素行组合相关的信息，可以在编码/解码装置中设定为相同的值，也可以在上级报头中进行传送。或者，也可以对各个区块直接传送与索引K对应的参考像素行信息。例如，可以设定为当K为0时作为参考像素行只使用第1行，当K为1时作为参考像素行使用第1行以及第2行，而当K为2时作为参考像素行使用第1行以及第3行。索引K所表示的组合不仅可以包括参考像素行，也可以包括假想参考像素行。
接下来，将参阅图7对预测区块的生成方法进行详细的说明。在本例示中，通过K使用4个参考像素行。为了计算出预测区块内的A像素、B像素、C像素以及D像素的像素值，可以使用4个参考像素行。A行、B行、C行以及D行分别表示A像素、B像素、C像素以及D像素的预测方向。例如，可以将A行、B行、C行以及D行穿过的参考像素值的平均值作为各个像素的预测值使用。或者，也可以为各个参考像素行适用权重并作为像素的预测值使用。适用权重的方法，例如可以如数学式1所示。
【数学式1】
P＝α·P1-β·P2
在数学式1中，P代表适用权重的预测像素值，P1以及P2代表可用的参考像素。此外，α以及β代表权重信息。例如，可以为更接近当前区块的参考像素行适用更高的权重。适用于不同的参考像素行的权重，可以在编码/解码装置中预先设定为相同的值，也可以在上级报头中进行传送。或者，也可以对各个区块分别传送所适用的权重信息。
画面内预测模式决定部904可以执行与图2中的画面内预测模式探索部202相同的过程。影像编码装置的画面内预测部900中的所有过程，是利用率失真代价(RD-Cost)对代价进行比较之后选择某一个画面内预测模式，例如选择最佳画面内预测模式的预测信息。
图10是对利用一个以上的参考像素行的影像解码装置的画面内预测部进行图示的例示图。
在作为当前预测模式选择画面内预测的情况下，参考像素生成部1001可以执行参考像素生成以及滤波。假想参考像素生成决定部1002可以对从编码装置传送过来的假想参考像素行进行重建，而参考像素行组合决定部1003可以对组合索引K进行重建。画面内预测模式决定部1004可以对画面内预测模式进行重建，并利用重建的一个以上的参考像素行生成预测区块。
图11是用于对按照适用本发明的一实施例对预测模式信息进行编码的方法进行说明的示意图。
图11是在结合图3进行说明的实施例的基础上，添加了假想参考像素行信息编码步骤即步骤S1105以及参考像素行组合编码步骤即步骤S1106。除步骤S1105以及步骤S1106之外的过程，与图3中的实施例完全相同。
图12是用于对按照适用本发明的一实施例对预测模式信息进行解码的方法进行说明的示意图。
图12是在结合图6进行说明的实施例的基础上，添加了假想参考像素行信息解码步骤即步骤S1205以及参考像素行组合解码步骤即步骤S1206。除步骤S1205以及步骤S1206之外的过程，与图6中的实施例完全相同。
(实施例2)
图13是用于对适用本发明之另一实施例的影像编码装置的画面内预测部进行说明的示意图。
在作为当前区块的预测模式选择画面内预测的情况下，根据画面内预测模式的传送与否，生成预测区块的方法也将发生变更。画面内预测信息可以是用于表示是否将画面内预测模式从编码装置传送到解码装置的信息。
在对画面内预测模式进行传送的情况下，可以在选择模式编码部1301之后通过参考像素生成部1303、假想参考像素生成决定部1304、参考像素行组合决定部1305以及画面内预测模式决定部1306生成预测区块。参考像素生成部1303、假想参考像素生成决定部1304、参考像素行组合决定部1305以及画面内预测模式决定部1306，可以分别与图9中的参考像素生成部901、假想参考像素生成决定部902、参考像素行组合决定部903以及画面内预测模式决定部904对应。
在不对画面内预测模式进行传送的情况下，可以在选择解码器侧帧内模式推导(DIMD，Decoder-side Intra prediction mode derivation)编码部1302之后通过在编码装置以及解码装置中执行相同的过程而生成预测区块。
接下来，将利用图7中的例示内容对在选择解码器侧帧内模式推导(DIMD)编码部的情况下决定最佳预测模式的方法进行详细的说明。在图7中，参考像素行信息0代表第1行，参考像素行信息1代表第2行，参考像素行信息2代表第3行，而参考像素行信息3代表第4行。对利用最佳参考像素行组合的最佳画面内预测模式进行查找的过程，可以通过对利用当前所选择的参考像素行组合根据各个画面内预测模式生成的预测区块以及利用之前的参考像素行组合根据各个画面内预测模式生成的预测区块之间的失真信息进行比较而选择两个预测区块最类似的画面内预测模式的方式执行。最佳参考像素行组合的选择，可以从K以及K-1中在编码/解码装置中通过相同的方法进行选择，也可以在上级报头中进行传送。或者，也可以对各个区块分别传送选择当前参考像素行组合以及之前的参考像素行组合中的哪一个。例如，在图7中的当前K代表第4参考像素行且K-1代表第3参考像素行的情况下，通过对利用K按照各个画面内预测模式生成的预测区块以及利用K-1按照各个画面内预测模式生成的预测区块之间的失真进行比较，可以将失真最少的画面内预测模式决定为最佳画面内预测模式。此时，为了对失真进行比较，可以使用如绝对误差和(SAD)、误差平方和(SSE)、绝对变化误差和(SATD)等。
图14是用于对适用本发明之另一实施例的影像解码装置的画面内预测部进行说明的示意图。
在作为当前预测模式选择画面内预测的情况下，根据画面内预测信息，预测区块的生成方法也将发生变更。
在将画面内预测模式从编码装置传送到解码装置的情况下，可以在选择模式解码部1401之后通过参考像素生成部1403、假想参考像素生成决定部1404、参考像素行组合决定部1405以及画面内预测模式决定部1406生成预测区块。参考像素生成部1403、假想参考像素生成决定部1404、参考像素行组合决定部1405以及画面内预测模式决定部1406，可以分别与图10中的参考像素生成部1001、假想参考像素生成决定部1002、参考像素行组合决定部1003以及画面内预测模式决定部1004对应。
在不将画面内预测模式从编码装置传送到解码装置的情况下，可以选择解码器侧帧内模式推导(DIMD)解码部1402，而接下来的过程可以与参阅图13进行说明的编码装置中的过程相同。
图15是用于对按照适用本发明的一实施例对预测模式信息进行编码的方法进行说明的示意图。
图15是在结合图3进行说明的实施例的基础上，添加了解码器侧帧内模式推导(DIMD)信息编码步骤S1505、假想参考像素行编码步骤即步骤S1506以及参考像素行组合编码步骤即步骤S1507。除上述所添加的步骤之外的过程，与图3中的实施例完全相同。
图16是用于对按照适用本发明的一实施例对预测模式信息进行解码的方法进行说明的示意图。
图16是在结合图4进行说明的实施例的基础上，添加了解码器侧帧内模式推导(DIMD)信息解码步骤S1605、假想参考像素行解码步骤即步骤S1606以及参考像素行组合解码步骤即步骤S1607。除上述所添加的步骤之外的过程，与图6中的实施例完全相同。
解码器侧帧内模式推导(DIMD)信息，可以是用于通知将画面内预测模式传送到解码装置还是通过在编码/解码装置中执行相同的过程而决定最佳预测模式的信息。
(实施例3)
图17是用于对按照适用本发明的另一实施例执行画面内预测的方法进行说明的示意图。
在图17所示的实例中，编码对象区块的大小为4×4，而画面内预测模式为右上端方向模式。
图18是用于对适用本发明之另一实施例的影像编码装置的画面内预测部进行说明的示意图。
图18中的画面内预测部可以利用单方向或双方向预测模式生成预测区块。
图18中的实施例的双方向预测及画面内预测模式决定部1804是在图9中的实施例的画面内预测模式决定部904的基础上，添加了双方向预测，而图18中的实施例的其他构成与图9中的实施例相同。
接下来，将参阅图17对适用本实施例的预测区块的生成方法进行详细的说明。可以根据画面内预测模式，执行单方向或双方向预测。在单方向预测的情况下，可以根据画面内预测模式利用一侧方向的参考像素行生成预测区块。在双方向预测的情况下，如图17所示，可以利用通过选择为单方向预测的参考像素以及上述单方向预测方向的相反方向的参考像素行选择的参考像素之间的权重和生成预测区块。例如，在单方向为右上方向且第1参考像素行可用的情况下，可以选择位于当前区块内像素的右上方向的第1参考像素行上的参考像素。此外，可以选择位于右上方向的相反方向即左下方向的第1参考像素行上的参考像素。通过对所选择的参考像素进行加权和，可以而推导出像素的预测值。
适用于所选择的各个参考像素中的权重可以相同，也可以互不相同。例如，可以根据当前区块中需要进行编解码的预测像素以及参考像素之间的距离，在距离相对较近的参考像素中适用比距离相对较远的参考像素更高的权重。或者，在双方向预测的情况下，可以在单方向预测的参考像素中适用比相反方向的参考像素更高的权重。适用于不同的参考像素行的权重，可以在编码/解码装置中预先设定为相同的值，也可以在上级报头中进行传送。或者，也可以对各个区块分别传送所适用的权重并在编码/解码装置中使用相同的值。
在执行双方向预测时，对于没有重建参考像素的区域，可以通过利用周边参考像素值进行填充或差值而作为参考像素使用。例如，可以通过对H像素以及I像素值进行填充而作为没有参考像素的区域，例如当前区块的右侧区域以及下侧区域的参考像素使用。此时，右侧区域以及下端区域重叠的部分，可以利用如H像素以及I像素的平均值进行填充。
或者，也可以利用H组的平均值或加权平均值、I组的平均值或加权平均值进行填充。例如，适用于加权平均值的权重可以是1:2:1。或者，可以在首先利用H组的加权平均值以及I组的加权平均值执行填充之后，再根据画面内预测模式对利用单方向预测的参考像素的亮度变化填充的值进行滤波。
上述H组可以包括H像素及其相邻像素。例如，H组可以包括H像素和H像素的左侧相邻像素以及右侧相邻像素。同理，I组可以包括I像素及其相邻像素。例如，I组可以包括I像素和I像素的上端相邻像素以及下端相邻像素。
在图17的例示中，为了说明的便利，作为在双方向预测时对没有重建像素的区域的填充，仅对1个参考像素行进行了说明。但是本发明并不限定于此，对没有重建像素的区域的填充，也可以对多个参考像素行中的一部分或全部执行。
图18中的影像编码装置的画面内预测部，可以为了决定最佳预测信息而在各个过程中对率失真代价(RD-Cost)进行比较。
图19是用于对适用本发明之另一实施例的影像解码装置的画面内预测部进行说明的示意图。
在作为当前预测模式选择画面内预测的情况下，参考像素生成部1901可以推导出参考像素并执行滤波。假想参考像素生成决定部1902可以以从编码装置传送过来的信息为基础决定假想参考像素行，而参考像素行组合决定部1903可以决定最佳参考像素行组合。双方向预测及画面内预测模式决定部1904可以决定画面内预测模式并以此为基础生成预测区块。
图20是用于对按照适用本发明的一实施例对预测模式信息进行编码的方法进行说明的示意图。
图20是在结合图3进行说明的实施例的基础上，添加了假想参考像素行信息编码步骤即步骤S2005、参考像素行组合编码步骤即步骤S2006以及双方向预测信息编码步骤即步骤S2007。除上述所添加的步骤之外的过程，与图3中的实施例完全相同。
图21是用于对按照适用本发明的一实施例对预测模式信息进行解码的方法进行说明的示意图。
图21是在结合图6进行说明的实施例的基础上，添加了假想参考像素行信息解码步骤即步骤S2105、参考像素行组合解码步骤即步骤S2106以及双方向预测信息解码步骤即步骤S2107。除上述所添加的步骤之外的过程，与图6中的实施例完全相同。
图22是用于对影像编码装置的变换部的动作进行说明的示意图。
残差区块(差分区块)可以通过在第1次变化部中进行变换而生成变换区块。此时，作为变换技术可以使用如离散余弦变换(DCT)、离散正弦变换(DST)等，在编码/解码装置中可以通过预先设定的方法使用相同的变换技术，也可以在上级报头中对与所使用的变换技术相关的变换技术信息进行传送。或者，也可以对各个区块分别传送变换技术信息。上级报头是指如视频参数等级、序列参数等级、图像参数等级以及条带等级等包含区块信息的上级报头信息。
上述变换技术信息可以包括用于表示对区块的水平方向以及水平方向分别适用哪种变换技术的信息。此外，上述变换技术信息可以包括用于表示是否可以对区块的水平方向以及水平方向分别适用不同的变换技术的信息。上述变换技术信息可以对帧间模式以及帧内模式分别进行传送。
变换技术可以以当前区块的大小(水平或垂直中的某一侧长度或两侧长度)、形态、纵横比、预测模式(画面间预测或画面内预测)、画面间预测的预测模式中的至少一个为基础决定。
图23是用于对影像编码/解码装置的逆变换部的动作进行说明的示意图。
逆量化区块可以通过在第1次逆变换部中进行逆变换而生成重建差分区块。
图24是用于对变换区块的编码方法的一实施例进行说明的示意图。
图24中的变换区块的编码方法，可以通过影像编码装置100的熵编码部107执行。
首先，在步骤S2201中，首先将在按照逆扫描顺序对变换系数进行扫描时的第一个不为0的系数设定为基准系数，并对其位置信息即Last_sig进行编码。
在步骤S2202中，将选择包含基准系数的子区块，并对相应子区块内的变换系数信息进行编码。在步骤S2203中，在不是包含基准系数的子区块的情况下，在对变换区块内的系数进行编码之前对子区块信息进行编码。子区块信息即Coded_sub_blk_flag是用于表示当前子区块内是否包含至少一个不为0的系数的标志。接下来，在步骤S2204中，将对不为0的系数信息进行编码。其中，不为0的系数信息即Sig_coeff_flag用于表示存在于子区块内的各个系数的值是否为0。
接下来，在步骤S2205中，将对超过N的系数信息进行编码。其中，超过N的系数信息用于表示存在于子区块内的所有系数的各个系数的绝对值是否分别超过1到N的值。作为N，可以在编码以及解码时使用任意预先设定的值，但是也可以对N的值进行编码并在编码以及解码时使用相同的值。作为超过N的系数信息的数量，可以使用任意预先设定的值，但是也可以根据基准系数位置使用不同的值。例如，在将N设定为3的情况下，对于子区块内的判定为不为0的所有系数，将对各个系数的绝对值是否为大于1的值进行编码。为此，将使用用于表示系数的绝对值是否大于1的标志即Abs_greater1_flag。接下来，仅对于判定为大于1的系数，将对是否为大于2的值进行编码。为此，将使用用于表示系数的绝对值是否大于2的标志即Abs_greater2_flag。最后，仅对于判定为大于2的系数，将对是否为大于3的值进行编码。为此，将使用用于表示系数的绝对值是否大于3的标志即Abs_greater3_flag。
接下来，在步骤S2206中，将对用于表示判定为不为0的各个系数是负数还是正数的符号信息进行编码。符号信息可以使用Sign_flag。接下来，在步骤S2207中，仅对于判定为大于N的系数，将减去N之后的剩余值定义为残差系数信息并对上述系数的剩余值信息即remaining_coeff进行编码。
接下来，在步骤S2209中，将对是否有下一个子区块存在进行确认之后，当存在时在步骤S2210中，将移动到下一个子区块，然后在步骤S2203中，将对子区块信息进行编码。在步骤S2208中，将对相应的子区块信息即Coded_sub_blk_flag进行确认，而在确认Coded_sub_blk_flag的值为真时，对不为0的系数信息即Sig_coeff_flag进行编码。如果相应的子区块信息即Coded_sub_blk_flag的值为假，表示相应的子区块内没有需要进行编码的系数存在，因此对是否有下一个子区块存在进行确认。或者，在移动到下一个子区块之后，当相应的子区块为位于最低频一侧的子区块时，可以在假定有不为0的系数存在的前提下不对子区块信息进行编码以及解码，而是直接在编码以及解码时设定为相同的值。
图25是用于对变换区块的解码方法的一实施例进行说明的示意图。
图25中的变换区块的解码方法，与图24中的变换区块的编码方法对应。图25中的变换区块的解码方法，可以通过图4中的影像解码装置400的熵解码部401执行。
在步骤S2301中，将对在逆扫描顺序上第一个出现的不为0的变换系数即基准系数的位置信息即Last_sig进行解码。
在步骤S2302中，将选择包含基准系数的子区块，接下来在步骤S2303中，将对子区块信息即Coded_sub_blk_flag进行解码。接下来，在步骤S2304中，将对不为0的系数信息即Sig_coeff_flag进行解码。接下来，在步骤S2305中，将对超过N的系数信息进行解码。其中，在超过N的系数信息中，可以包含如上所述的如Abs_greater1_flag、Abs_greater2_flag以及Abs_greater3_flag等。
接下来，在步骤S2306中，将对判定为不为0的各个系数的系数符号信息即Sign_flag进行解码。在步骤S2307中，将仅对判定为大于N的系数的相当于减去N之后的剩余值的残差系数信息即remaing_coeff进行解码。接下来，在步骤S2309中，将对是否有下一个子区块存在进行确认之后，当存在时在步骤S2310中，将移动到下一个子区块，然后在步骤S2303中，将对子区块信息即Coded_sub_blk_flag进行解码。在步骤S2308中，将对相应的子区块信息即Coded_sub_blk_flag进行确认，当确认为真时对不为0的系数信息即Sig_coeff_flag进行解码，但是如果为假，表示相应的子区块内没有需要进行解码的系数存在，因此对是否有下一个子区块存在进行确认。
通过对需要进行编码的信息的二进制化过程，执行上下文自适应二进制化算数过程。上下文自适应二进制化算数过程，是指对区块内的编码信息进行符号化并通过根据情况利用概率信息适用不同的符号发生概率而执行编码的过程。在本例示中为了说明的便利，作为符号仅使用0以及1，但是符号的数量也可以是N个(N为2以上的自然数)。
概率信息是指在二进制化信息中0以及1的发生概率。两种信息的发生概率可以与之前的重建信息相同或者不同。或者，也可以根据之前的重建信息采用M个概率信息。此时，M个概率信息可以以概率表的形态表示。
图26是用于对上下文自适应二进制化算数编码方法的一实施例进行说明的示意图。
首先，在步骤S2401中，将对概率进行初始化。对概率进行初始化，是指将二进制化信息按照概率信息中所设定的概率划分成概率区间的过程。其中，关于使用哪一种概率信息，可以在编码装置或解码装置中根据任意预先设定的规则使用相同的条件，也可以单独地对概率信息进行编码。初始概率区间可以按照预先设定的规则在编码/解码过程中决定为相同的值。或者，也可以在对初始概率区间重新进行编码之后使用。或者，也可以不对概率进行初始化而直接调用之前使用过的编解码参数的概率区间以及概率信息。
在步骤S2402中，将在决定需要进行编码的当前编解码参数的二进制信息之后，在步骤S2403中，将当前编解码参数的二进制化信息利用图26中的步骤S2402之前的步骤为止的概率区间状态以及相同编解码参数的之前的概率信息进行编码。接下来，在步骤S2404中，可以为了下一个需要进行编码的二进制信息而对概率信息以及概率区间进行更新。接下来，在步骤S2405中，在有下一个需要进行编码的编解码参数信息存在的情况下，在步骤S2406中，将移动到下一个编解码参数信息，并重复执行如上所述的过程。在没有下一个需要进行编码的编解码参数信息存在的情况下，结束本流程图。
图27是用于对上下文自适应二进制化算数解码方法的一实施例进行说明的示意图。
接下来，在步骤S2502中，解码装置利用概率信息以及区间对编解码参数的二进制信息进行解码，接下来在步骤S2503中，决定当前编解码参数的信息。除此之外的图27中的解码方法与图26中的解码方法对应，所以在此将省略其详细的说明。
在上述说明的图26以及图12的步骤S2403以及步骤S2502中，对于各个编解码参数可以利用周边的已重建信息(或编解码参数)从预先设定的M个概率信息中选择使用最佳概率信息进行编码或解码。
例如，作为编解码参数的概率信息，也可以根据变换区块的大小使用信息发生概率较高的概率信息。
或者，可以根据当前需要进行编码或解码的系数的周边系数信息适用不同的概率信息，也可以利用之前编码或解码的信息的概率信息选择当前需要进行编码或解码的信息的概率信息。
图28是对根据周边系数信息适用不同概率信息的一实例进行图示的示意图。
图29是对更新的概率信息的一实例进行图示的示意图。
图28是在当前系数的Sig_coeff_flag信息值的编码以及解码中使用的概率信息表的例示。在当前需要进行编码或解码的系数以及相邻的系数中，当具有与当前系数的Sig_coeff_flag信息值相同信息值的系数数量为1个时，将为当前系数分配索引8。此时，当前系数的Sig_coeff_flag的二进制信息即符号1的概率将为61％而符号0的概率将为39％。当具有与当前系数的Sig_coeff_flag信息值相同信息值的周边系数数量为2个时，将为当前系数分配索引5，此时，当前系数的Sig_coeff_flag的二进制信息即符号1的概率将为71％而符号0的概率将为29％。而当具有与当前系数的Sig_coeff_flag信息值相同信息值的周边系数数量为3个时，将为当前系数分配索引2，则当前系数的Sig_coeff_flag的二进制信息即符号1的概率将为87％而符号0的概率将为13％。
在利用如图28所示的概率信息表对当前系数进行编码或解码之后，可以按照如图29所示的方式对概率信息进行更新。
此外，对于不为0的系数信息即Sig_coeff_flag，越接近低频区域，就可以使用不为0的系数信息即Sig_coeff_flag的发生概率较高的概率信息。
此外，关于超过N的系数信息的概率信息，可以利用前一个编码/解码的超过N的系数信息的概率信息对当前的超过N的系数信息的概率信息进行设定，或者直接使用以子区块单位进行第一个编码/解码的超过N的系数信息的概率信息。如上所述，超过N的系数信息可以包括如Abs_greater1_flag、Abs_greater2_flag以及Abs_greater3_flag等。
此外，子区块信息即Coded_sub_blk_flag可以利用周边的编码/解码的M个子区块的概率信息，也可以利用前一个编码/解码的子区块的概率信息。
(实施例1)
图30是用于对按照适用本发明的一实施例自适应具体状况的上下文自适应二进制化算数编码方法进行说明的示意图。
图30是在图26所示的过程的基础上，添加了步骤S2804、步骤S2805以及步骤S2806的过程。从步骤S2804到步骤S2806的过程，是利用K个编解码参数信息的概率表，根据之前编码的编解码参数的特性分别独立地对概率进行更新的过程。A以及B分别表示编解码参数的特性，A、B特性可以根据各个需要进行编码的信息进行变更。在本实施例中为了说明的便利而仅对2个编解码参数特性进行了例示，但是也可以有K个特性存在。此时，K个概率表可以具有相互相同的初始概率信息，也可以具有互不相同的初始概率信息。与作为K个初始概率表独立使用相同的概率信息表还是独立使用互不相同的概率信息表，可以在编码/解码装置中按照预先设定的方法决定，也可以在上级报头中进行传送。或者，也可以对各个区块分别进行传送。图30中除步骤S2804到步骤S2806的剩余的过程，与图26相同。
图31是用于对按照适用本发明的一实施例自适应具体状况的上下文自适应二进制化算数解码方法进行说明的示意图。
图31是在图27所示的过程的基础上，添加了步骤S2904、步骤S2905以及步骤S2906的过程。从步骤S2904到步骤S2906的过程，是利用K个编解码参数信息的概率表，根据之前解码的编解码参数的特性分别独立地对概率进行更新的过程。图31中除步骤S2904到步骤S2906的剩余的过程，与图27相同。
图32是用于对适用本发明之一实施例的影像编码装置的变换部的动作进行说明的示意图。
图34是对适用本发明之一实施例的变换区块内的第2次变换区域进行图示的例示图。
图32中的第1次变换部，将执行与图22中的第1次变换部相同的过程。第2次变换部可以对在第1次变换部中生成的变换区块的全部或一部分区域执行第2次变换。第2次变换部的使用与否，可以对各个区块从编码装置中进行传送，也可以在编码/解码装置中按照预先设定的规则设定为相同的值。或者，也可以在上级报头中进行传送。此时，第2次变换的适用与否以及变换区域信息可以通过对率失真代价(RD-Cost)进行比较而决定。
第2次变换区域信息如图34所示，可以以在扫描顺序上最后一个出现的不为0的系数即T 3201为基准进行设定。
图33是用于对适用本发明之一实施例的影像编码/解码装置的逆变换部的动作进行说明的示意图。
第2次逆变换部通过对第2次变换信息进行解码而决定是否执行第2次逆变换。在不执行第2次逆变换的情况下，可以通过直接执行第1次逆变换而生成重建差分区块。在执行第2次逆变换的情况下，可以通过对第2次变换区域信息进行解码而仅对第2次变换区域执行逆变换。接下来，再通过对整体区块执行第1次逆变换而生成重建差分区块。
图35是用于对适用本发明之一实施例的变换区块的编码方法进行说明的示意图。
图35中的变换区块的编码方法，可以通过影像编码装置100的熵编码部107执行。
在从步骤S3301到步骤S3310中，将执行与图24中的步骤S2201到步骤S2210相同的过程。在对第2次变换信息进行编码之后适用第2次变换的情况下，将对变换区域信息进行编码。而在不适用第2次变换的情况下，结束过程。
图36是用于对适用本发明之一实施例的变换区块的解码方法进行说明的示意图。
图36中的变换区块的解码方法，可以通过影像解码装置400的熵解码部401执行。
在从步骤S3401到步骤S3410中，将执行与图25中的步骤S2301到步骤S2310相同的过程。在对第2次变换信息进行解码之后适用第2次变换的情况下，将对变换区域信息进行解码。而在不适用第2次变换的情况下，结束过程。
接下来，将参阅图28、图29、图32以及图33，对图30以及图31中的实施例进行详细的说明。
在将第2次变换设定为编解码参数的特性时，可以根据量化变换区块内的当前系数的位置分别使用2个变换系数信息的概率表。例如，在对Sig_coeff_flag信息的概率信息进行推导时，在当前系数存在于第2次变换区域内的情况下，可以使用图28中的概率表2600，而在当前系数存在于第1次变换区域内的情况下，可以使用图28中的概率表2601独立地对Sig_coeff_flag信息的概率信息进行更新(S2805、S2806、S2905、S2906)。
图29中的概率表2700是在图28中的初始概率表2600的基础上根据当前系数周边的不为0的系数(non-zero coefficient)的数量将概率表索引信息决定为5并对概率信息进行更新的结果。
图29中的概率表2701是在图28中的初始概率表2601的基础上根据当前系数周边的不为0的系数(non-zero coefficient)的数量将概率表索引信息决定为8并对概率信息进行更新的结果。
利用与上述例示相同的原理，如Abs_greater1_flag、Abs_greater2_flag、Coded_sub_blk_flag等与量化变换系数相关的其他信息，也可以根据当前系数位于第2次变换区域还是位于第1次变换区域而自适应或独立地使用概率表。
在图30以及图31中，也可以将编解码参数特性决定为预测信息。
在将预测信息设定为编解码参数的特性时，可以根据当前区块的预测模式分别使用2个变换系数信息的概率表。例如，在对Sig_coeff_flag信息的概率信息进行推导时，在当前区块的预测模式为画面内预测的情况下，可以使用图28中的概率表2600，而在当前区块的预测模式为画面间预测的情况下，可以使用图28中的概率表2601独立地对Sig_coeff_flag信息的概率信息进行更新(S2805、S2806、S2905、S2906)。
图29中的概率表2700是在图28中的初始概率表2600的基础上根据当前系数周边的不为0的系数(non-zero coefficient)的数量将概率表索引信息决定为5并对概率信息进行更新的结果。
图29中的概率表2701是在图28中的初始概率表2601的基础上根据当前系数周边的不为0的系数(non-zero coefficient)的数量将概率表索引信息决定为8并对概率信息进行更新的结果。
利用与上述例示相同的原理，如Abs_greater1_flag、Abs_greater2_flag、Coded_sub_blk_flag等与量化变换系数相关的其他信息，也可以根据当前区块的预测模式而自适应或独立地使用概率表。
或者，在图30以及图31中，也可以将编解码参数特性决定为预测信息以及第2次变换。在将预测信息以及第2次变换设定为编解码参数的特性时，可以根据当前区块的预测模式以及当前系数的位置分别使用4个变换系数信息的概率表。例如，在对Sig_coeff_flag信息的概率信息进行推倒时，在当前区块的预测模式为画面内预测且当前系数的位置位于第2次区域的情况下，可以使用概率表1，而在当前区块的预测模式为画面内预测且当前系数的位置位于第1次区域时，可以使用概率表2执行概率信息的推导以及更新。例如，在当前区块的预测模式为画面间预测且当前系数的位置位于第2次区域的情况下，可以使用概率表3，而在当前区块的预测模式为画面间预测且当前系数的位置位于第1次区域时，可以使用概率表4执行概率信息的推导以及更新。
利用与上述例示相同的原理，如Abs_greater1_flag、Abs_greater2_flag、Coded_sub_blk_flag等与量化变换系数相关的其他信息，也可以根据当前区块的预测模式以及当前系数的第2次变换与否而自适应或独立地使用概率表。
本公开的多种不同的实施例并不是对所有可能的组合进行罗列的结果，只是用于对本公开的代表性的形态进行说明，在多种不同的实施例中进行说明的事项可以独立适用或以对两种以上进行组合的方式适用。
此外，本公开中的多种不同的实施例可以通过硬件、固件(firmware)、软件或上述之结合等实现。在通过硬件实现时，可以通过一个或多个专用集成电路(ACICs，Application Specific Integrated Circuits)、数字信号处理器(DSPs，Digital SignalProcessors)、数字信号处理装置(DSPDs，Digital Signal Processing Devices)、可编程逻辑器件(PLDs，Programmable Logic Devices)、现场可编程门阵列(FPGAs，FieldProgrammable Gate Arrays)、通用处理器(general processor)、控制器、微控制器以及微处理器等实现。
本公开的范围包括可供适用多种不同实施例的方法中的动作在装置或计算机上执行的软件或设备可执行的指令(例如操作系统、应用程序、固件(firmware)、程序等)，以及存储有如上所述的软件或指令等的装置或计算机可执行的非暂时性计算机可读介质(non-transitory computer-readable medium)。
产业可用性
本发明可以用于对影像进行编码/解码。

Claims (17)

1.一种影像解码方法，其特征在于，包括：
重建参考像素行信息的步骤；
以上述参考像素行信息为基础，选择多个参考像素行中的至少一个参考像素行的步骤；以及
通过以所选择的上述参考像素行为基础对当前区块执行画面内预测，生成针对上述当前区块的预测区块的步骤。
2.根据权利要求1所述的影像解码方法，其特征在于：
上述参考像素行信息以区块单位被解码。
3.根据权利要求1所述的影像解码方法，其特征在于：
上述预测区块通过执行上述当前区块的上端参考像素与上述当前区块的左侧参考像素之间的加权和的方式生成。
4.根据权利要求3所述的影像解码方法，其特征在于：
上述上端参考像素以及上述左侧参考像素以上述当前区块的预测方向为基础而选择。
5.根据权利要求3所述的影像解码方法，其特征在于：
上述上端参考像素以及上述左侧参考像素存在于与上述当前区块相邻的第1参考像素行上，
而上述上端参考像素以及上述左侧参考像素以上述当前区块内的当前像素的坐标为基础而选择。
6.根据权利要求5所述的影像解码方法，其特征在于：
当上述当前区块内的左上端像素的坐标为(0，0)且上述当前像素的坐标为(x，y)时，
上述上端参考像素的坐标为(x+y+1，-1)，
而上述左侧参考像素的坐标为(-1，x+y+1)。
7.根据权利要求3所述的影像解码方法，其特征在于：
用于上述加权和的权重以从上述当前区块内的当前像素到上述上端参考像素以及上述左侧参考像素为止的距离为基础来决定。
8.根据权利要求7所述的影像解码方法，其特征在于：
对上述上端参考像素以及上述左侧参考像素中的从上述当前像素的距离更近的参考像素适用更大的权重。
9.一种影像编码方法，其特征在于，包括：
选择多个参考像素行中的至少一个参考像素行的步骤；
通过以所选择的上述参考像素行为基础对当前区块执行画面内预测，生成针对上述当前区块的预测区块的步骤；以及
对与所选择的上述参考像素行相关的参考像素行信息进行编码的步骤。
10.根据权利要求9所述的影像编码方法，其特征在于：
上述参考像素行信息以区块单位被编码。
11.根据权利要求9所述的影像编码方法，其特征在于：
上述预测区块通过执行上述当前区块的上端参考像素与上述当前区块的左侧参考像素之间的加权和的方式生成。
12.根据权利要求11所述的影像编码方法，其特征在于：
上述上端参考像素以及上述左侧参考像素以上述当前区块的预测方向为基础而选择。
13.根据权利要求11所述的影像编码方法，其特征在于：
上述上端参考像素以及上述左侧参考像素存在于与上述当前区块相邻的第1参考像素行上，
而上述上端参考像素以及上述左侧参考像素以上述当前区块内的当前像素的坐标为基础而选择。
14.根据权利要求13所述的影像编码方法，其特征在于：
当上述当前区块内的左上端像素的坐标为(0，0)且上述当前像素的坐标为(x，y)时，
上述上端参考像素的坐标为(x+y+1，-1)，
而上述左侧参考像素的坐标为(-1，x+y+1)。
15.根据权利要求11所述的影像编码方法，其特征在于：
用于上述加权和的权重以从上述当前区块内的当前像素到上述上端参考像素以及上述左侧参考像素为止的距离为基础来决定。
16.根据权利要求15所述的影像编码方法，其特征在于：
对上述上端参考像素以及上述左侧参考像素中的从上述当前像素的距离更近的参考像素适用更大的权重。
17.一种计算机可读取的记录介质，其特征在于：
所述计算机可读取的记录介质包含比特流，所述比特流通过影像解码装置接收并进行解码，从而用于对影像进行重建，
上述比特流包含参考像素行信息，
上述参考像素行信息用于通过进行重建而从多个参考像素行中选择至少一个参考像素行，
所选择的上述参考像素行用于通过对当前区块执行画面内预测而生成针对上述当前区块的预测区块。
CN201980041239.4A 2018-06-18 2019-06-18 影像编码/解码方法及装置 Active CN112335243B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202510380625.3A CN119996698A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510380622.XA CN119922307A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510381148.2A CN119922309A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510381083.1A CN119922308A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2018-0069608 2018-06-18
KR20180069607 2018-06-18
KR10-2018-0069607 2018-06-18
KR20180069608 2018-06-18
PCT/KR2019/007330 WO2019245261A1 (ko) 2018-06-18 2019-06-18 영상 부호화/복호화 방법 및 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202510380625.3A Division CN119996698A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510381083.1A Division CN119922308A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510380622.XA Division CN119922307A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510381148.2A Division CN119922309A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法

Publications (2)

Publication Number Publication Date
CN112335243A true CN112335243A (zh) 2021-02-05
CN112335243B CN112335243B (zh) 2025-04-15

Family

ID=68984257

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202510380622.XA Pending CN119922307A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510380625.3A Pending CN119996698A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN201980041239.4A Active CN112335243B (zh) 2018-06-18 2019-06-18 影像编码/解码方法及装置
CN202510381083.1A Pending CN119922308A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510381148.2A Pending CN119922309A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202510380622.XA Pending CN119922307A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510380625.3A Pending CN119996698A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202510381083.1A Pending CN119922308A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法
CN202510381148.2A Pending CN119922309A (zh) 2018-06-18 2019-06-18 影像解码/编码方法和传输比特流的方法

Country Status (3)

Country Link
US (3) US11792426B2 (zh)
CN (5) CN119922307A (zh)
WO (1) WO2019245261A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363632A (zh) * 2021-12-10 2022-04-15 浙江大华技术股份有限公司 帧内预测方法、编解码方法、编解码器、系统、电子设备和存储介质
WO2024082722A1 (zh) * 2022-10-20 2024-04-25 腾讯科技（深圳）有限公司 一种视频处理方法及相关设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118612425A (zh) * 2018-09-07 2024-09-06 有限公司B1影像技术研究所 对图像进行编码/解码的方法和传输比特流的方法
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
CN114071161B (zh) * 2020-07-29 2023-03-31 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
US12418644B2 (en) 2021-05-19 2025-09-16 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
CN118042158A (zh) * 2022-11-14 2024-05-14 杭州海康威视数字技术股份有限公司 一种图像编解码方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140092980A1 (en) * 2011-06-20 2014-04-03 MediaTeck Singapore Pte. Ltd. Method and apparatus of directional intra prediction
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
US20170347103A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction coding for intra coding
KR20180041575A (ko) * 2016-10-14 2018-04-24 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
KR20180041577A (ko) * 2016-10-14 2018-04-24 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026718A (ko) * 2015-07-28 2018-03-13 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20170089777A (ko) * 2016-01-27 2017-08-04 한국전자통신연구원 예측을 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
US10523949B2 (en) * 2016-05-25 2019-12-31 Arris Enterprises Llc Weighted angular prediction for intra coding
CN116684579A (zh) * 2016-08-03 2023-09-01 株式会社Kt 用于对视频进行编码和解码的方法和装置
US10742975B2 (en) * 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
US20200236361A1 (en) * 2017-07-18 2020-07-23 Lg Electronics Inc. Intra prediction mode based image processing method, and apparatus therefor
US10856010B2 (en) * 2017-09-08 2020-12-01 FG Innovation Company Limited Device and method for coding video data based on multiple reference lines
CN110710215A (zh) * 2017-09-08 2020-01-17 株式会社Kt 视频信号处理方法及装置
US20190110052A1 (en) * 2017-10-06 2019-04-11 Futurewei Technologies, Inc. Bidirectional intra prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140092980A1 (en) * 2011-06-20 2014-04-03 MediaTeck Singapore Pte. Ltd. Method and apparatus of directional intra prediction
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
US20170347103A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction coding for intra coding
KR20180041575A (ko) * 2016-10-14 2018-04-24 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
KR20180041577A (ko) * 2016-10-14 2018-04-24 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363632A (zh) * 2021-12-10 2022-04-15 浙江大华技术股份有限公司 帧内预测方法、编解码方法、编解码器、系统、电子设备和存储介质
WO2024082722A1 (zh) * 2022-10-20 2024-04-25 腾讯科技（深圳）有限公司 一种视频处理方法及相关设备

Also Published As

Publication number Publication date
US20250254358A1 (en) 2025-08-07
CN119922308A (zh) 2025-05-02
CN119922307A (zh) 2025-05-02
CN119996698A (zh) 2025-05-13
US11792426B2 (en) 2023-10-17
US20210195238A1 (en) 2021-06-24
US20230379494A1 (en) 2023-11-23
WO2019245261A1 (ko) 2019-12-26
US12309423B2 (en) 2025-05-20
CN112335243B (zh) 2025-04-15
CN119922309A (zh) 2025-05-02

Similar Documents

Publication Publication Date Title
CN112335243B (zh) 影像编码/解码方法及装置
CN114827601B (zh) 对视频进行解码的方法和设备以及对视频进行编码的方法和设备
KR102194295B1 (ko) 움직임 벡터 리스트 설정 방법 및 이러한 방법을 사용하는 장치
US12192455B2 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored thereon
CN112839225B (zh) 对视频信号进行编解码的方法
CN117354536A (zh) 用于处理视频信号的方法和设备
US10477227B2 (en) Method and apparatus for predicting and restoring a video signal using palette entry and palette mode
WO2012134246A2 (ko) 엔트로피 디코딩 방법 및 이를 이용하는 디코딩 장치
KR20160039549A (ko) 비디오 신호 처리 방법 및 장치
US20180213222A1 (en) Method and device for processing video signal
KR20160093565A (ko) 비디오 신호 처리 방법 및 장치
KR20160093564A (ko) 비디오 신호 처리 방법 및 장치
KR20250156668A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102927140B1 (ko) 영상 부호화/복호화 방법 및 장치
JP2022106982A (ja) 画像の符号化／復号化方法及び装置
KR101743665B1 (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
HK40124834A (zh) 影像解码/编码方法和传输比特流的方法
CN113273191A (zh) 影像编码/解码方法及装置
KR20190142751A (ko) 영상 부호화/복호화 방법 및 장치
KR20260039670A (ko) 영상 부호화/복호화 방법 및 장치
CN118947113A (zh) 影像编码/解码方法以及装置
KR20210037205A (ko) 효율적인 화면 내 예측 화소 생성을 통한 영상 부호화 및 복호화 방법과 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment
TG01 Patent term adjustment