CN115134594A - 用于执行帧间预测的图像编解码方法、比特流存储方法 - Google Patents

用于执行帧间预测的图像编解码方法、比特流存储方法 Download PDF

Info

Publication number
CN115134594A
CN115134594A CN202210551282.9A CN202210551282A CN115134594A CN 115134594 A CN115134594 A CN 115134594A CN 202210551282 A CN202210551282 A CN 202210551282A CN 115134594 A CN115134594 A CN 115134594A
Authority
CN
China
Prior art keywords
block
prediction
current
reference picture
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210551282.9A
Other languages
English (en)
Other versions
CN115134594B (zh
Inventor
郑济昌
金起佰
黄雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN202210551282.9A priority Critical patent/CN115134594B/zh
Publication of CN115134594A publication Critical patent/CN115134594A/zh
Application granted granted Critical
Publication of CN115134594B publication Critical patent/CN115134594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了用于执行帧间预测的图像编解码方法、比特流存储方法。用于执行帧间预测的图像解码方法包括：解码指示包括当前块的当前画面是否包括在参考画面列表中的信息；生成用于当前块的参考画面列表0和参考画面列表1；基于参考画面列表0和参考画面列表1指定当前块的参考画面；和使用参考画面对当前块执行帧间预测。

Description

用于执行帧间预测的图像编解码方法、比特流存储方法
本申请是申请日为2016年6月7日、申请号为201680045604.5、发明名称为“用于编码和解码帧内预测的方法和设备”的发明专利申请的分案申请。
技术领域
本发明涉及图像编码和解码技术，并且更具体地涉及用于执行帧内预测中的参考像素构建和最可能模式构建的编码和解码方法和设备。
背景技术
随着互联网和移动终端的普及和信息及通信技术的发展，多媒体数据的使用正在迅速增加。因此，为了在各种系统中通过图像预测来执行各种服务或任务，对于图像处理系统的性能和效率的提高的需求大大增加，但是能够满足这种需求的研究和开发是不充分的。
利用根据上述现有技术的图像编码和解码方法和设备，需要图像处理特别是图像编码或图像解码的性能提高。
发明内容
技术问题
本发明旨在解决上述问题，并且本发明的目的在于提供改进帧内预测模式的图像编码/解码方法。
本发明的其他目的在于提供改进帧内预测模式的图像编码/解码设备。
技术方案
为了实现本发明的目的，根据本发明的一方面的用于执行帧内预测的图像编码方法包括：考虑到当前块和相邻块的每个的预测模式确定相邻块内的边界像素是否可用作当前块的参考像素，基于所确定的结果获得当前块的参考像素，基于所获得的参考像素通过执行帧内预测来生成预测块，以及使用所生成的预测块解码当前块。
这里，当边界像素被确定为不可用作当前块的参考像素时，可以通过获得由预先确定的像素值组成的参考像素来执行获得参考像素。
这里，可以通过指示预先定义的标志是否考虑相邻块的预测模式来执行确定边界像素是否可用作参考像素。
这里，可以通过在相邻块的预测模式是帧内预测时通过确定边界像素可用作当前画面的参考像素来执行确定边界像素是否可用作参考像素。
这里，可以通过在相邻块的预测模式是帧间预测时通过确定边界像素不可用作当前画面的参考像素来执行确定边界像素是否可用作参考像素。
这里，当相邻块的预测模式是帧间预测时，考虑相邻块的参考画面，可以通过确定边界像素是否可用作当前画面的参考像素来执行确定边界像素是否可用作参考像素。
这里，可以从存储当前画面之前的参考画面的数据的列表0或者存储当前画面之后的参考画面的数据的列表1中选择参考画面，并且从列表0或列表1中选择当前画面。
这里，当相邻块的参考画面是当前画面时，边界像素可以被确定为可用作当前画面的参考像素。
这里，如果相邻块的参考画面不是当前画面，则可以确定边界像素不可用作当前画面的参考像素。
这里，当相邻块的参考画面是I画面时，边界像素可被确定为可用作当前画面的参考像素。
为了实现本发明的其它目的，根据本发明的另一方面的用于执行帧内预测的图像解码方法包括：接收包括关于当前块和与当前块相邻的块的预测模式的数据的比特流，通过从接收到的比特流中提取数据来确认相邻块的预测模式，考虑到相邻块的预测模式确定相邻块内的边界像素是否可用作当前块的参考像素，根据所确定的结果获得当前块的参考像素，基于所获得的参考像素通过执行帧内预测来生成预测块，以及使用所生成的预测块解码当前块。
这里，当边界像素被确定为不可用作当前块的参考像素时，可以通过获得由预设像素值构建的参考像素来执行获得参考像素。
这里，确定边界像素是否可用作参考像素可以指示预设标志是否考虑相邻块的预测模式。
这里，可以通过在相邻块的预测模式是帧内预测时通过确定边界像素可用作当前画面的参考像素来执行确定边界像素是否可用作参考像素。
这里，可以通过在相邻块的预测模式是帧间预测时通过确定边界像素不可用作当前画面的参考像素来执行确定边界像素是否可用作参考像素。
这里，考虑相邻块的参考画面，可以通过确定边界像素是否可用作当前画面的参考像素来执行确定边界像素是否可用作参考像素。
这里，可以从存储当前画面之前的参考画面的数据的列表0或者存储当前画面之后的参考画面的数据的列表1中选择参考画面，并且当前画面可以包括在列表0或列表1中。
这里，当相邻块的参考画面是当前画面时，可以确定边界像素可用作当前画面的参考像素。
这里，当相邻块的参考画面不是当前画面时，可以确定相邻块中的像素不可用作当前画面的参考像素。
这里，当相邻块的参考画面是I画面时，可以确定相邻块中的像素可用作当前画面的参考画面。
为了实现本发明的其他目的，在根据本发明的另一方面的包括一个或多个处理器的图像解码设备中，一个或多个处理器可以接收包括关于当前块和与当前块相邻的块的预测模式的数据的比特流，从接收到的比特流中提取数据以确认相邻块的预测模式，考虑到相邻块的预测模式确定相邻块内的边界像素是否可用作当前块的参考像素，基于所确定的结果获得当前块的参考像素，基于所获得的参考像素通过执行帧内预测来生成预测块，以及使用所生成的预测块解码当前块。
为了实现本发明的目的，根据本发明的一方面的用于执行帧内预测的图像编码方法包括：确定当前块的左块和上块的每个是否可以被用于构建当前块的参考像素，基于所确定的结果选择最可能模式MPM(most probable mode，最可能模式)候选组，确定从MPM候选组中的帧内预测模式导出的预测块的冗余，当确定冗余存在时使用与左块相邻或与上块相邻的替代块的预测模式选择MPM组，以及基于所选择的MPM组对当前块执行帧内预测模式编码。
这里，可以通过当左块和上块存在于图像边界之外或者利用帧间预测进行编码时确定为不可用以及在其他情况下确定为可用来执行确定每个块是否可以被使用。
在此，MPM候选组可以从左块和上块当中确定为可用的块的帧内预测模式、针对被确定为不可用的块预先确定的帧内预测模式、平面预测模式、垂直预测模式和DC预测模式中选择。
这里，当左块和上块都可用时，可以通过基于针对位于当前块的左下方、左方、左上方、上方和右上方的块当中的两个或多个连续块中的参考像素值计算的方差值确定冗余来执行确定冗余。
确定冗余可以包括当左块和上块中的至少一个不可用时选择通过仅参考不可用块与当前块之间的边界像素而构建的帧内预测模式，以及当所选择的预测模式中的至少两个被包括在MPM候选组中时确定冗余存在。
这里，可以从位于当前块的左下方、左上方和右上方的相邻块中选择替代块。
这里，当用一个或多个块构建相邻块时，可以在一个或多个块当中以顺时针或逆时针优先级来选择替代块。
这里，可以在位于当前块的左下方、左上方和右上方的相邻块当中以顺时针或逆时针优先级来选择替代块。
根据本发明的另一方面，用于执行帧内预测的图像解码方法可以包括：从接收到的比特流中提取关于当前块的预测模式是否被包括在最可能模式MPM组中的数据；基于该数据确定当前块的预测模式是否被包括在MPM组中；当确定当前块的预测模式被包括在MPM组中时从接收到的比特流中提取当前块的MPM组索引数据；基于所提取的MPM组索引数据确认MPM组中的、当前块的预测模式；以及基于所确认的预测模式对当前块执行帧内预测。
这里，MPM组可以通过以下各项来选择：确定当前块的左块和上块是否可以被用于构建当前块的参考像素；基于所确定的结果选择最可能模式MPM候选组；确定从MPM候选组中的帧内预测模式导出的预测块的冗余；以及当确定冗余存在时使用与左块相邻或与上块相邻的替代块的预测模式。
这里，可以通过当左块和上块中的每一个存在于图像边界之外或者用帧间预测编码时确定为不可用以及在其他情况下确定为可用来执行确定块是否可以被使用。
在此，MPM候选组可以从左块和上块当中确定为可用的块的帧内预测模式、针对被确定为不可用的块的预先确定的帧内预测模式、平面预测模式、垂直预测模式和DC预测模式中选择。
这里，当左块和上块都可用时，可以通过基于针对位于当前块的左下方、左方、左上方、上方和右上方的块当中的两个或多个连续块中的参考像素值计算的方差值确定冗余来执行确定预测块的冗余。
这里，确定预测块的冗余可以在当左块和上块中的至少一个不可用时选择通过仅参考不可用块与当前块之间的边界像素而构建的帧内预测模式，以及当选择的预测模式中的至少两个被包括在MPM候选组中时确定冗余存在。
这里，可以从位于当前块的左下方、左上方和右上方的相邻块中选择替代块。
当用一个或多个块构建相邻块时，可以在一个或多个块当中以顺时针或逆时针优先级来选择替代块。
这里，可以从位于当前块的左下方、左上方和右上方的相邻块当中以顺时针或逆时针优先级来选择替代块。
为了实现目的，在根据本发明的其他方面的包括一个或多个处理器的图像解码设备中，一个或多个处理器可以：从接收到的比特流中提取与当前块的预测模式是否包括在最可能模式MPM组中有关的数据；基于该数据确定当前块的预测模式是否被包括在MPM组中；当确定当前块的预测模式被包括在MPM组中时从接收到的比特流中提取当前块的MPM组索引数据，基于所提取的MPM组索引数据确认对于MPM组中的当前块的预测模式，以及基于所确认的预测模式对当前块执行帧内预测。
这里，MPM组可以通过以下各项来选择：确定当前块的左块和上块是否可以被用于构建当前块的参考像素；基于所确定的结果选择MPM候选组；确定从MPM候选组中的帧内预测模式导出的预测块的冗余；以及当确定冗余存在时使用与左块相邻或与上块相邻的替代块的预测模式。
这里，可以通过当左块和上块中的每一个存在于图像边界之外或者用帧间预测编码时确定为不可用以及在其他情况下确定为可用来执行确定块是否可以被使用。
确定预测块的冗余可以在当左块和上块中的至少一个不可用时选择通过仅参考不可用块与当前块之间的边界像素而构建的帧内预测模式，以及当选择的预测模式中的至少两个被包括在MPM候选组中时确定冗余存在。
有益效果
当如上述使用根据本发明的实施例的图像编码/解码方法和设备时，通过实现帧内预测中的参考像素构建和最可能模式构建的改进，可以提高预测的精度。
此外，在帧内预测中，可以通过提高预测的精度来提高画面的编码效率。
附图说明
图1是根据本发明的实施例的图像编码和解码系统的概念图。
图2是根据本发明的实施例的图像编码设备的构建图。
图3是根据本发明的实施例的图像解码设备的构建图。
图4是示出根据本发明的实施例的图像编码和解码方法中的P切片的帧间预测的示例性视图。
图5是示出根据本发明的实施例的图像编码和解码方法中的B切片的帧间预测的示例性视图。
图6是示出根据本发明的实施例的图像编码和解码方法中的在单一方向上生成预测块的情况的示例性视图。
图7是根据本发明的实施例的图像编码和解码方法中的参考画面列表的构建的示例性视图。
图8是示出根据本发明的实施例的在图像编码和解码方法中从参考画面列表执行帧间预测的情况的另一示例的示例性视图。
图9是示出根据本发明的实施例的在图像编码方法中的帧内预测的示例性视图。
图10是示出根据本发明的实施例的图像编码方法中的P切片或者B切片中的预测原理的示例性视图。
图11是示出获得预测块的过程的示例性视图。
图12是示出本发明的实施例在编码单元中使用语法(syntax)的根据本发明的实施例的图像编码方法的主程序的示例性视图。
图13是示出当在当前画面中通过块匹配生成预测块时支持对称类型划分或非对称类型划分作为帧间预测的示例的示例性视图。
图14是示出在帧间预测中可以支持2N×2N和N×N的示例性视图。
图15是示出根据本发明的实施例的帧内预测中的相邻块的编码模式的示例性视图。
图16a是示出根据本发明的实施例的在考虑帧内预测中的相邻块的编码模式的情况下是否使用参考像素的示例性视图。
图16b是示出根据本发明的实施例的在不考虑帧内预测中的相邻块的编码模式的情况下是否使用参考像素的示例图。
图17是示出根据本发明的实施例的帧内预测中的相邻块的编码模式的另一示例性视图。
图18a是示出根据本发明的实施例的帧内预测中相邻块的编码模式是帧内预测的情况的示例性视图。
图18b是示出根据本发明示例性实施例的帧内预测中考虑相邻块的编码模式和参考画面的情况的示例性视图。
图18c是示出根据本发明的实施例的帧内预测中不考虑相邻块的编码模式的情况的另一示例性视图。
图19a是示出了当可用的相邻块位于左下端时获得参考像素的方法的示例性视图。
图19b是示出了当可用的相邻块位于右上端时获得参考像素的方法的示例性视图。
图19c是示出了当可用的相邻块位于左下端和右上端时获得参考像素的方法的示例性视图。
图19d是示出了当可用的相邻块位于左下端和右上端时获得参考像素的方法的示例性视图。
图20是根据本发明的实施例的图像编码方法的流程图。
图21是示出了HEVC(high efficiency video coding，高效率视频编码)的帧内预测模式的示例图。
图22a是示出了用于在参考像素构建步骤中预测当前块的参考像素的示例性视图。
图22b是示出了相邻块的附加的像素被包括在参考像素候选组中的示例性视图。
图23a、图23b、图24a和图24b是示出了能够被包括在参考像素构建步骤中、具有更宽参考像素的当前块的各种模式方向的示例性视图。
图25是示出了针对通用当前预测单元(或预测块)确定最可能模式的过程的流程图。
图26是确定当前预测单元(或块)的预测模式的示例性视图。
图27是分组预测模式的示例性视图。
图28至图32是使用除了上块和左块以外的相邻块来为预测模式构建MPM的情况的示例性视图。
图33是当当前块和相邻块都可用时最可能模式(MPM)被构建为替代块的情况的示例性视图。
图34是示出根据本发明的实施例的用于执行帧内预测的图像编码方法的流程图。
具体实施方式
虽然本发明能够进行各种修改和改变，但是其具体实施例在附图中以示例的方式示出，并且将在此详细描述。然而，应当理解的是，本发明不限于具体实施例，而是包括落入本发明的精神和范围内的所有修改、等同物和替换方案。
诸如第一、第二、A、B等的术语可以被用来描述各种组件，但是这些组件不应该被这些术语所限制。这些术语仅用于区分一个组件和另一组件的目的。例如，在不脱离本发明的范围的情况下，第一组件可以被称为第二组件，并且相似地，第二组件也可以被称为第一组件。术语“和/或”包括多个相关的所列项目的任何组合或多个相关的所列项目中的任一个。
应当理解的是，当元件被称为“连接”或“耦合”到另一个元件时，其可以直接连接或耦合到另一组件，但是应当理解的是，其他组件可以存在于它们之间。另一方面，当元件被称为“直接连接”或“直接耦合”到另一元件时，应当理解的是，在它们之间不存在其它元件。
在此使用的术语仅用于描述特定实施例的目的，而不意图限制本发明。除非上下文另有明确规定，否则单数形式包括复数指示物。在本申请中，术语“包括”或“具有”等被用于指定存在所陈述的特征、图、步骤、操作、元件、部分或其组合，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、组件、部分或其组合。
除非另有定义，否则在此使用的包括技术或科学术语的所有术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。诸如在常用字典中定义的术语应该被解释为具有与相关领域的上下文含义一致的含义，并且除非在本申请中明确地定义，否则不应该被解释为意义上的理想的或过度地形式。
通常，运动画面可以由一系列画面组成，并且每个画面可以被划分为诸如块的预先确定的区域。此外，划分的区域可以被称为诸如编码树单元(coding tree unit，CTU)、编码单元(coding unit，CU)、预测单元(prediction unit，PU)和变换单元(transform unit，TU)的各种尺寸或项(term)以及块。每个单元可以用一个亮度块和两个色差块构建，其可以根据颜色格式不同地构建。此外，可以根据颜色格式来确定亮度块和色差块的尺寸。例如，在4：2：0的情况下，色差块的尺寸可以具有亮度块的宽度和高度的1/2的长度。对于这些单元，可以参考诸如现有HEVC或H.264/AVC的项。在本发明中，这些块和项是以混合的方式使用的，但是可以根据标准技术对其进行不同的理解，并且根据这些标准技术应当将其理解为用于编码和解码处理的对应项或单元。
此外，当编码或解码当前块或当前像素时参考的画面、块或像素被称为参考画面、参考块或参考像素。本实施例所属领域的技术人员将理解，可以使用下面描述的术语“画面”来代替具有等同含义的诸如图像、帧等的其他术语。
在下文中，将参考附图详细描述本发明的优选实施例。为了便于彻底理解本发明，对于附图中的相同组成元件使用相同的附图标号，并且省略对于相同组成元件的重复说明。
图1是根据本发明的实施例的图像编码和解码系统的概念图。
参考图1，图像编码设备12和解码设备11可以通过诸如个人计算机(personalcomputer，PC)、笔记本电脑、个人数字助理(personal digital assistant，PDA)、便携式多媒体播放器(portable multimedia player，PMP)、便携式游戏机(PlayStation Portable，PSP)、无线通信终端、智能手机、电视机等的用户终端，或者诸如应用服务器和服务服务器的服务器终端来实施，并且可以包括：诸如用于与各种机器或有线/无线通信网络执行通信的通信调制解调器的通信设备；用于对图像进行编码或解码或存储用于编码或解码的帧间或帧内预测的各种程序和数据的存储器18；用于经由程序运行来计算和控制的处理器14等。此外，由视频编码设备12编码为比特流的视频可以被发送到视频解码设备，然后由视频解码设备解密，以通过诸如因特网、局域无线通信网络、无线LAN网络、WiBro网络、移动通信网络等的有线或无线通信网络，或者诸如电缆、通用串行总线(universal serial bus，USB)等的各种通信接口实时或非实时地重建和再现为图像。
此外，作为比特流的由视频编码设备编码的图像可以通过计算机可读记录介质从编码设备发送到解码设备。
图2是根据本发明的实施例的图像编码设备的框图。图3是根据本发明的实施例的图像解码设备的框图。
如图2中所示，根据本实施例的图像编码设备20包括预测单元200、减法单元205、变换单元210、量化单元215、去量化单元220、逆变换单元225、加法单元230、滤波器235、解码画面缓冲器240和熵编码单元245。
如图3中所示，根据本实施例的图像解码设备30包括熵解码单元305、预测单元310、去量化单元315、逆变换单元320、加法单元325、滤波器单元330和解码画面缓冲器335。
图像编码设备20和图像解码设备30可以分开配置，但是根据实施方式可以将它们组合成一个图像编码和解码设备。在这种情况下，图像编码设备20的预测单元200、去量化单元220、逆变换单元225、加法单元230、滤波器235和存储器240与图像解码设备30的预测单元310、去量化单元315、逆变换单元320、加法单元325、滤波器单元330和存储器335是以所公开的顺序基本上相同的技术元件，它们可以包括相同的结构，或者可以是被实施以执行至少相同的功能。此外，当熵编码部分245反向地执行其功能时，熵编码部分245可以对应于熵解码单元305。因此，在下面对技术元件及其操作原理的描述中，将省略对对应技术元件的重复描述。
由于图像解码设备30对应于将在图像编码设备20中执行的图像编码方法应用于解码的计算设备，所以下面的描述将集中于图像编码设备20。
计算设备可以包括存储实施图像编码方法和/或图像解码方法的程序或软件模块的存储器，以及耦合到存储器并运行程序的处理器。图像编码设备可以被称为编码器，并且图像解码设备可以被称为解码器。
下面将更详细地描述本实施例的图像编码设备的每个组件。
这里，图像编码设备20还可以包括划分单元。划分单元将输入图像划分为预先确定的尺寸的块(M×N)。这里，M或N是大于1的任意自然数。详细地说，划分单元可以用画面划分单元和块划分单元构建。可以根据图像的特征和分辨率确定块的尺寸或类型，并且通过画面划分单元支持的块的尺寸或类型可以是水平长度和垂直长度被表示为2的幂的M×N正方形类型(256×256、128×128、64×64、32×32、16×16、8×8、4×4等)或M×N矩形类型。例如，对于具有高分辨率的8k UHD图像，输入图像可以被划分为256×256，对于1080p HD图像，输入图像可以被划分为128×128，对于WVGA图像，输入图像可以被划分为16×16。
关于这样的块的尺寸或类型的信息可以被设置为以序列、画面、切片等为单元，并且相关信息可以被发送到解码器。也就是说，可以以序列参数集、画面参数集、切片头或其组合为单元来设置。
这里，序列指示通过收集若干相关场景而构成的构成单元(constituent unit)。画面被称为在一个场景或画面中的一系列亮度(Y)分量或亮度+色度(Y、Cb、Cr)分量的总和，并且一个画面的范围可以是一帧或一域。
切片可以指同一访问单元中的一个独立切片片段和若干从属切片片段。访问单元是指与单一编码画面相关联的网络抽象层(network abstraction layer，NAL)单元的集合。NAL单元是在H.264/AVC和HEVC标准中以网络友好的格式构建的视频压缩比特流的语法结构。通常，一个切片单元被构建为一个NAL单元，并且构成一个帧的NAL的集合或NAL被认为是系统标准中的一个访问单元。
返回到画面划分单元的描述，可以通过显式标志来制作与块的尺寸或类型(M×N)相关的信息，并且具体可以包括块类型信息、当块是正方形时的一个长度信息、当块是矩形时的每个长度信息、或者宽度与长度之间的差值信息。例如，如果M和N由k的幂组成(假设k为2)(M＝2m，N＝2n)，则与m和n相关的信息可以通过诸如一元二值化和截断型一元二值化的各种方法编码，以使相关信息被发送到解码设备。可替代地，由画面划分单元支持的可允许划分最小尺寸Minblksize可以发送I×J(为了便于说明，如果I＝2i，J＝2j，则假设I＝J)、m-I或n-j的信息。作为另一示例，当M和N彼此不同时，可以发送m和n之间的差值(|m-n|)。可替代地，由画面划分单元支持的最大可允许划分尺寸Maxblksize可以发送I×J(为了便于说明，如果I＝2i，J＝2j，则假设I＝J)、i-m或n-j的信息。
在隐式的情况下，例如，当存在相关信息的语法但不能被编码器或解码器验证时，编码器或解码器可以遵循预设的默认设置。例如，当确认块类型信息时不能确认相关语法时，可以将块类型设置为正方形类型，这是默认设置。可替代地，在确认块尺寸信息的步骤中，具体地，在如以上示例中那样通过与最小可允许划分尺寸Minblksize的差值来确认块尺寸信息的步骤中，当可以识别与差值相关的语法但不能识别与最小可允许划分尺寸Minblksize相关的语法时，该信息可以从与预设的最小可允许划分尺寸Minblksize相关的默认值中获得。
如上所述，画面划分单元中的块的尺寸或类型可以作为来自编码器或解码器的相关信息来显式地发送，或者根据图像的特征和分辨率等隐式地确定。
如上所述，通过画面划分单元划分和确定的块可以被用作基本编码单元。由画面划分单元划分和确定的块可以是构成诸如画面、切片和瓦片的高级别单元的最小单元，并且可以是诸如编码块、预测块、变换块、量化块、熵块和环路内滤波块的块的最大单元，但是一些块不限于此，并且可以是例外的。
例如，诸如环路内滤波块的一些块可以被应用为比上述块的尺寸大的单元。
块划分单元在诸如编码、预测、变换、量化、熵和环路内滤波的块上执行划分。划分单元被包括在每个分量中以执行其功能。例如，变换单元210可以包括变换块划分单元，并且量化单元215可以包括量化块划分单元。块划分单元中的初始块的尺寸或类型可以由先前级别或更高级别的块的划分结果来确定。例如，在编码块的情况下，可以将通过作为先前级的画面划分单元而获得的块设置为初始块。可替代地，在预测块的情况下，可以将通过作为预测块的更高级别的编码块的划分过程而获得的块设置为初始块。可替代地，在变换块的情况下，可以将通过作为变换块的更高级别的编码块的划分过程而获得的块设置为初始块。用于确定初始块的尺寸或类型的条件不总是固定的，并且部分可能会被改变或者存在特殊情况。此外，还可能根据诸如先前级别或更上级别的块的划分状态(例如，编码块的尺寸、编码块的类型等)和当前级别的设置条件(例如，支持的变换块的尺寸、变换块的类型等)的至少一个因素的组合来影响当前级别的划分过程(例如，是否可以划分、可划分块的类型等)。
块划分单元可以支持基于四叉树的划分方案。也就是说，该块可以被划分成四个块，每个块在划分之前的块中具有水平和垂直线上的1/2的长度。这表示可以重复执行划分，直到达到允许的划分深度限制dep_k(dep_k表示允许的划分的数量，允许的划分深度限制的块的尺寸是M>>k、N>>k)。
此外，可以支持基于二叉树的划分方案。这指示水平和垂直线中的一个可以被划分成具有与划分之前的块相比的1/2长度的两个块。四叉树划分和二叉树划分的情况可以是对称分割(symmetric partition)或非对称分割(asymmetric partition)，并且可以根据编码器或解码器的设置来确定选择了哪个划分方案。将在本发明的图像编码方法中主要描述对称分割方案。
划分标志(div_flag)可以指示每个块是否被划分。如果对应的值为1，则执行划分，如果该值为0，则不执行划分。可替代地，如果对应的值为1，则执行划分并允许附加的划分，并且如果该值为0，则不执行划分，并且不允许附加的划分。根据诸如最小可允许划分尺寸和可允许划分深度限制的条件，标志可以仅考虑是否执行划分并且可以不考虑是否执行附加的划分。
划分标志可以在四叉树划分中使用，也可以在二叉树划分中使用。在二叉树划分中，可以根据块的划分深度、编码模式、预测模式、尺寸、类型和种类(编码、预测、变换、量化、熵、环路内滤波等中的一个，或亮度和色度中的一个)以及诸如切片类型、划分可允许深度限制、最小和最大可允许划分尺寸中的至少一个因素或其组合来确定划分方向。
在这种情况下，根据与划分标志对应的划分方向，块可以仅在块的水平方向上被1/2划分，或者仅在垂直方向上被1/2划分。例如，当假设块支持M×N(M>N)并且M大于N时，支持水平划分，并且当假设当前划分深度(dep_curr)小于允许执行附加的划分的可允许划分深度限制时，划分标志被分配1比特，使得当对应的值为1时执行水平划分，并且当值为0时不执行进一步划分。划分深度可以是用于四叉树划分和二叉树划分的一个划分深度以及用于四叉树划分和二叉树划分的每个划分深度。可允许划分深度限制可以是用于四叉树划分和二叉树划分的一个可允许划分深度限制，以及用于四叉树划分和二叉树划分的每个可允许划分深度限制。
作为另一示例，如果块是M×N(M>N)并且N等于预先确定的最小可允许划分尺寸并且不支持水平划分，则划分标志被分配1比特，使得当值为1时执行垂直划分，并且如果值为0，则不执行进一步的划分。
并且，可以分别支持用于水平划分或垂直划分的标志(div_h_flag、div_v_flag)，并且可以根据标志支持二进制划分。水平划分标志(div_h_flag)或垂直划分标志(div_v_flag)指示是否允许每个块的水平或垂直划分。当水平划分标志(div_h_flag)或垂直划分标志为1时执行水平或垂直划分，并且当标志为0时不执行水平或垂直划分。或者当每个标志为1时，执行水平或垂直划分，并且允许附加的水平或垂直划分。当值为0时，不执行水平或垂直划分，并且可能不允许进一步水平或垂直划分。根据诸如最小可允许划分尺寸和可允许划分深度限制的条件，标志可以考虑是否执行划分，或者可以不考虑是否执行附加的划分。可替代地，可以支持用于水平划分或垂直划分的标志(div_flag/h_v_flag)，并且可以根据该标志来支持二进制划分。划分标志(div_flag)可以指示是否执行水平或垂直划分，并且划分方向标志(h_v_flag)可以指示水平或垂直划分方向。当划分标志(div_flag)为1时，执行划分并且根据划分方向标志(h_v_flag)执行水平或垂直划分，并且当该值为0时不执行水平或垂直划分。如果该值为1，则根据水平划分标志(h_v_flag)执行水平或垂直划分，并且允许附加的水平或垂直划分。当该值为0时，不执行水平或垂直划分，并且认为不允许进一步的水平或垂直划分。根据诸如最小可允许划分尺寸和可允许划分深度限制的条件，标志可以考虑是否执行划分，并且不考虑是否执行附加的划分。
这些划分标志可以分别支持水平和垂直划分，并且也支持根据标志的二叉树划分。并且，当划分方向被预先确定时，如以上示例，可以只使用两个划分标志中的一个，或者可以使用两个划分标志。
例如，当标志全部被允许时，块的可能类型可以被划分成M×N、M/2×N、M×N/2和M/2×N/2中的任何一个。在这种情况下，标志可以被编码为00、01、10和11(按照div_h_flag/div_v_flag的顺序)。以上情况是划分标志可以被重叠的设置的示例，而不是划分标志不可以被重叠的设置的示例。例如，也有可能可以将划分块类型划分成M×N、M/2×N和M×N/2，并且在这种情况下，上述标志被编码为00、01、10(按照div_h_flag/div_v_flag的顺序)，或者被编码为00、10和11(按照div_flag/h_v_flag的顺序，h_v_flag是指示划分方向是水平还是垂直的标志)。这里，重叠表示水平划分和垂直划分两者同时执行。上述的四叉树划分和二叉树划分可以根据编码器或解码器的设置单独或组合使用。例如，可以根据块尺寸或类型来确定四叉树或二叉树划分。也就是说，当块类型是M×N并且M大于N时执行水平划分，当块类型是M×N并且N大于M时，可以根据垂直划分来支持二进制划分，并且当块类型为M×N并且N和M相同时，可以支持四叉树划分。
作为另一示例，如果块的尺寸(M×M)大于或等于块划分阈值(Thrblksize)，则可以支持二叉树划分；如果小于，则可以支持四叉树划分。
在另一示例中，当块(M×N)的M或N大于或等于第一最小可允许划分尺寸(Minblksize1)时支持四叉树划分，并且当块(MxN)的M或N大于或等于第二最小可允许划分尺寸(Minblksize2)时可以支持二叉树划分。当能够由最大可允许划分尺寸和最小可允许划分尺寸定义的第一划分支持范围和第二划分支持范围重叠时，可以根据编码器或解码器的设置给予第一或第二划分方法的优先级。在这个示例中，第一划分方法是四叉树划分，第二划分方法是二叉树划分。例如，当第一最小可允许划分尺寸(Minblksize1)为16，第二最大可允许划分尺寸(Maxblksize2)为64，并且划分前的块为64×64时，有可能在第一划分支持范围和第二划分支持范围两者内，使得四叉树划分和二叉树划分被允许。当根据设置优先考虑第一划分方法(在本示例中为四叉树划分)时，执行四叉树划分，并且当划分标志(div_flag)为1时允许附加的四叉树划分，并且可以考虑当划分标志(div_flag)为1时不执行四叉树划分并且不再执行四叉树划分。根据如最小可允许划分尺寸和可允许划分深度限制的这样的条件，标志可以仅考虑是否执行划分，并且可以不考虑是否执行进一步的划分。当划分标志(div_flag)为1时，由于该块被划分成具有比第一最小可允许划分尺寸(Minblksize 1)大的32×32的尺寸的4个块，所以可以继续四叉树划分。如果标志为0，则不执行进一步的四叉树划分，并且当前块尺寸(64×64)在第二划分支持范围内，由此有可能执行二叉树划分。如果划分标志(按照div_flag/h_v_flag的顺序)为0，则不执行进一步划分。如果划分标志为10或11，则可以执行水平划分或垂直划分。如果划分之前的块为32×32并且划分标志(div_flag)为0，使得不执行进一步的四叉树划分，并且如果第二最大可允许划分尺寸(Maxblksize2)为16，则当前块的尺寸(32×32)不在第二划分支持范围内，使得不再支持划分。在以上描述中，划分方法的优先级可以根据切片类型、编码模式、亮度和色度分量等的至少一个或其组合来确定。
作为另一示例，可以根据亮度和色度分量来支持各种设置。例如，由亮度分量确定的四叉树或二叉树划分结构也可以用在色度分量中，而不用编码或解码附加的信息。可替代地，当支持亮度分量和色度分量的独立划分时，对于亮度分量可以支持四叉树+二叉树划分，并且对于色度分量可以支持四叉树划分。可替代地，当在亮度和色度分量中支持四叉树+二叉树划分时，划分支持范围可以是或不是与亮度和色度分量相同或成比例的。例如，如果颜色格式是4：2：0，则色度分量的划分支持范围可以是亮度分量的划分支持范围的N/2。
作为另一示例，可以根据切片的类型进行不同的设置。例如，I切片可以支持四叉树划分，P切片可以支持二叉树划分，并且B切片可以支持四叉树+二叉树划分。
四叉树划分和二叉树划分可以根据如以上示例中的各种条件来设置和支持。上述示例不限于上述条件，并且可以包括条件彼此颠倒的情况，可以包括在以上示例中提及的一个或多个因素或其组合，并且还可以被变换成另一示例。可以根据划分方法(四叉树、二叉树)、切片类型、亮度和色度分量、编码模式等中的至少一个因素或其组合来确定可允许划分深度限制。此外，可以根据划分方法(四叉树)、切片类型、亮度和色度分量、编码模式等中的至少一个因素或其组合，以及可以被表示为划分支持范围的最大值和最小值的相关信息来确定划分支持范围。当与其相关的信息用显示标志构建时，可以表示最大值和最小值的每个的长度信息，或者最小值和最大值之间的差值信息。例如，当最大值和最小值由k(假设k是2)的幂组成时，最大值和最小值的幂信息可以通过各种二值化进行编码并发送到解码设备。可替代地，可以发送最大值和最小值的幂之间的差值。此时发送的信息可以是最小值的幂信息和幂的差异信息。
根据以上描述，可以以诸如序列、画面、切片、瓦片、块等为单元生成并发送与标志相关的信息。
以上示例中所示的划分标志可以通过四叉树或二叉树或两种树方案的混合来表示块划分信息，并且可以通过诸如一元二值化和截断型一元二值化的各种方法来对划分标志进行编码从而将相关信息发送到解码设备。用于表示块的划分信息的划分标志的比特流结构可以从一个或多个扫描方法中选择。例如，你可以基于划分深度顺序(从dep0到dep_k)构建划分标志的比特流，你也可以基于是否执行划分来构建划分标志的比特流。基于划分深度顺序的方法允许基于初始块获得当前级别深度的划分信息，然后在下一级别获得划分信息。基于是否执行划分的方法表示在基于初始块的划分块中优选地获得附加的划分信息，并且可以包括并选择在以上示例中未示出的其他扫描方法。并且，根据该实施方式，块划分单元可以生成并表示除了上述划分标志以外的预先定义的类型的块候选组的索引信息。块候选的类型可以包括M×N、M/2×N、M×N/2、M/4×N、3M/4×N、M×N/4、M×3N/4、M/2×N/2等，例如，作为可以包括在划分之前的块中的划分块的类型。当如上所述确定了划分块的候选组时，划分块类型的索引信息可以通过诸如固定长度二值化、切断-截断型二值化、截断型二值化等的各种方法来编码。可以根据诸如划分深度、编码模式、预测模式、尺寸、类型、种类(sort)和切片类型、可允许划分深度限制以及最大和最小可允许划分尺寸等中的至少一个因素或其组合来确定划分块的候选组。为了进一步描述，假设(M×N、M/2×N/2)为候选列表1、(M×N、M/2×N、M×N/2和M/2×N/2)为候选列表2、(M×N、M/2×N、M×N/2)为候选列表3、(M×N、M/2×N、M×N/2、M/4×N、3M/4×N、M×N/4、M×3N/4、M/2×N/2)为候选列表4。例如，在M×N的情况下，当(M＝N)时，可以支持候选列表2的划分块候选，并且当(M≠N)时可以支持候选列表3的划分块候选。
作为另一示例，有可能支持当M×N的M或N大于或等于边界值blk_th时的候选列表2的划分块候选，以及当M或N小于边界值blk_th时的候选列表4的划分块候选。可替代地，有可能支持当M或N等于或大于或等于第一边界值blk_th_1时的候选列表1的划分块候选，当M或N小于第一边界值blk_th_1并且大于或等于第二边界值blk_th_2时的候选列表1的划分块候选，以及当M或N小于第二边界值blk_th_2时的候选列表4的划分块候选。
作为另一示例，当编码模式是帧内预测时，可以支持候选列表2的划分块候选，并且当编码模式是帧间预测时，可以支持候选列表4的划分块候选。
即使当如上所述支持划分块候选时，根据每个块的二值化的比特构建可以相同或不同。例如，如在划分标志的情况下，当支持的划分块候选根据块的尺寸或类型被限制时，根据块候选的二值化的比特构建可以变化。例如，在(M>N)的情况下，有可能根据水平划分来支持块类型，即，M×N、M×N/2和M/2×N/2，其中根据划分块候选组M×N、M/2×N、M×N/2、M/2×N/2的M×N/2的索引的二进制比特以及当前条件的M×N/2可能彼此不同。根据用于编码、预测、变换、量化、熵和环路内滤波等的块的类型，可以使用划分标志方法或划分索引方法中的一个来表示与块的划分和类型相关的信息。并且，用于支持划分和块的类型的块尺寸限制和可允许划分深度限制可以根据每个块的类型而不同。
块单元的编码或解码过程可以在编码块确定之后根据预测块确定、变换块确定、量化块确定、熵块确定和环路内滤波确定的过程来执行。编码或解码过程的顺序并不总是固定的，有些顺序可能会改变或排除。每个块的尺寸和类型根据块的尺寸和类型的每个候选的编码成本(encoding cost)来确定，并且可以对诸如每个确定的块的图像数据和每个确定的块的尺寸和类型的划分相关信息进行编码。
预测单元200可以使用作为软件模块的预测模块来实施，并且可以针对要被编码的块使用帧内预测方案或帧间预测方案来生成预测块。这里，预测块是被理解为与要用像素差的项(term)来编码的块紧密匹配的块，并且可以通过包括绝对差之和(sum ofabsolute difference，SAD)和平方差之和(sum of square difference，SSD)的各种方法来确定。并且，此时，可以生成在解码图像块时使用的各种语法。预测块可以根据编码模式被分类为帧内块和帧间块。
帧内预测(帧内预测)是使用空间相关性的预测技术。它指的是使用在当前画面中通过先前被编码和解码而重建的块的参考像素来预测当前块的方法。换句话说，帧内预测可以使用通过预测和重建而重建的亮度值作为编码器和解码器中的参考像素。帧内预测对于具有连续性的平坦区域和具有恒定方向性的区域是有效的，并且因为它使用空间相关性，所以它可以用于保证随机访问和防止误差扩散的目的。
帧间预测使用通过参考用一个或多个过去或将来画面编码的图像来通过使用时间相关来去除数据的冗余的压缩技术。也就是说，帧间预测可以通过参考一个或多个过去或将来画面来生成具有高相似度的预测信号。编码器可以使用帧间预测来搜索与参考画面中要编码的块具有高相关性的块，并且将所选择的块的位置信息和残差信号(residuesignal)发送到解码器，并且解码器可以使用发送图像的所选择的信息生成与编码器相同的预测块，并且补偿所发送的残差信号以构建重建图像。
图4是示出根据本发明的实施例的图像编码和解码方法中的P切片的帧间预测的示例性视图。图5是示出根据本发明的实施例的图像编码和解码方法中的B切片的帧间预测的示例性视图。
在本实施例的视频编码方法中，由于帧间预测从具有高时间相关性的先前编码的画面来生成预测块，所以可以提高编码效率。当前(t)可以指要被编码的当前画面，并且可以包括具有比当前画面的画面顺序计数POC更早的第一时间距离(t-1)的第一参考画面t-1，以及比基于画面或画面顺序计数POC的时间流的第一时间距离更早的第二参考画面t-2。
如图4中所示，在本实施例的视频编码方法中能够采用的帧间预测的情况下，通过当前画面当前(t)的当前块与参考画面t-1和t-2的参考块的块匹配，在具有高相关性的块上执行运动预测以从更早编码的参考画面t-1和t-2中找到最佳预测块。为了执行准确的预测，基于在两个相邻像素之间布置至少一个子像素的结构来执行内插过程，找到最佳预测块，然后执行运动补偿，从而找到结果预测块。
如图5中所示，能够在本实施例的视频编码方法中采用的帧间预测允许从已经在时间上基于当前画面当前(t)在两个方向上编码的参考画面t-1和t+1中生成预测块。此外，可以从一个或多个参考画面生成两个预测块。
当通过帧间预测对图像进行编码时，最佳预测块的运动向量信息和参考画面信息被编码。在该实施例中，当在单向或双向方向上生成预测块时，参考块列表被不同地构建，使得可以从对应的参考画面列表生成预测块。基本上，存在于当前画面之前的参考画面被分配给列表0，并且存在于当前画面之后的参考画面被分配给列表1。当参考画面列表0可能没有被填充到参考画面列表0的可允许参考画面编号时，可以分配存在于比当前画面更晚的参考画面。相似地，当参考画面列表1不能被填充到参考画面列表1的可允许参考画面编号时，可以分配存在于比当前画面更晚的参考画面。相似地，当构建参考画面列表1时，当参考画面列表1不满足参考画面列表时，可以分配存在于当前画面之前的参考画面。
图6是示出根据本发明的实施例的图像编码和解码方法中在单一方向上生成预测块的情况的示例性视图。
参考图6，在根据本实施例的图像编码和解码方法中，可以从先前编码的参考画面t-1、t-2中找到预测块，并且还可以从在当前画面当前(t)中已经编码的区域中找到预测块。
也就是说，根据本实施例的图像编码和解码方法可以被实施为使得不仅从具有时间上高相关性的先前编码的画面t-1、t-2中生成预测块，而且找到具有空间上高相关性的预测块。找到具有这种空间相关性的预测块可以对应于以帧内预测方式找到预测块。为了从在当前画面中完成编码的区域执行块匹配，本实施例的图像编码方法可以构建用于与帧内预测模式混合的预测候选相关的信息的语法。
例如，当支持n(n是任意自然数)个帧内预测模式时，向帧内预测候选组添加一个模式以支持n+1个模式，并且可以使用满足2M-1≤n+1≤2M的M个固定比特来编码预测模式。此外，可以实施选择诸如高效率视频编码HEVC的最可能模式MPM的具有高概率的预测模式的候选组中的一个。它也可以在更高级别的预测模式编码中被优选地编码。
当通过当前画面中的块匹配生成预测块时，本实施例的视频编码方法可以构建用于与帧间预测模式混合的相关信息的语法。附加的相关预测模式信息可以是运动或位移相关信息。运动或位移相关信息可以包括各种向量候选当中的最佳候选信息、最佳候选向量和实际向量之间的差值、参考方向、参考画面信息等。
图7是根据本发明的实施例的图像编码和解码方法中的参考画面列表构建的示例性视图。图8是示出根据本发明的实施例的图像编码和解码方法中从参考画面列表执行帧间预测的情况的另一示例的示例性视图。
参考图7，根据本发明的实施例的图像编码方法可以根据参考画面列表(参考列表0、参考列表1)对当前画面当前(t)的当前块执行帧间预测。
参考图7和图8，参考画面列表0可以由比当前画面(t)更早的参考画面构建，其中t-1和t-2指示分别具有比当前画面(t)的画面顺序计数POC更早的第一时间距离(t-1)和第二时间距离(t-2)的参考画面。此外，参考画面列表1可以由比当前画面(t)更晚的参考画面组成，其中t+1和t+2指示分别具有比当前画面(t)的POC更晚的第一时间距离(t+1)和第二时间距离(t+2)的参考画面。
参考画面列表构建的上述示例示出了其中参考画面列表由具有时间距离(在该示例中基于POC)的差为1的参考画面组成的示例，但是可以被构建为使得在参考画面之间的时间距离的差是不同的。这可以在稍后描述的参考画面列表构建的示例中被确认。
可以根据切片类型(I、P或B)从列表中的参考画面执行预测。当在当前画面(当前(t))中经由块匹配生成预测块时，可以将当前画面添加到参考画面列表(参考列表0、参考列表1)以执行帧间预测编码。
如图8中所示，有可能将当前画面(t)添加到参考画面列表0或将当前画面(t)添加到参考画面列表1。也就是说，可以通过将时间距离(t)的参考画面添加到比当前画面(t)更早的参考画面来构建参考画面列表0，并且可以通过将时间距离(t)的参考画面添加到比当前画面(t)更晚的参考画面来构建参考画面列表1。
例如，当构建参考画面列表0时，可以将当前画面之前的参考画面分配给参考画面列表0，然后可以将当前画面(t)分配给参考画面列表0。当构建参考画面列表1时，可以将参考画面分配给参考画面列表1，然后可以将当前画面(t)分配给参考画面列表1。可替代地，当构建参考画面列表0时，分配当前画面(t)，然后可以分配当前画面之前的参考画面。当构建参考画面列表1时，分配当前画面(t)，然后可以分配当前画面之后的参考画面。可替代地，当构建参考画面列表0时，可以分配当前画面之前的参考画面，可以分配当前画面之后的参考画面，然后可以分配当前画面(t)。相似地，当构建参考画面列表1时，可以分配当前画面之后的参考画面，可以分配当前画面之前的参考画面，然后可以分配当前画面(t)。以上示例不限于上述情况，而是可以包括条件彼此颠倒的情况，并且可以被变换为其他情况的示例。
可以在编码器或解码器中设置是否在每个参考画面列表中包括当前画面(例如，不添加到列表、仅添加到列表0、仅添加到列表1、或添加到列表0和1)，并且与其相关的信息可以以序列、画面、切片等为单元发送。可以通过诸如固定长度二值化、切断-截断型二值化、截断型二值化等的方法来编码信息。
与图7的方法不同，本实施例的图像编码和解码方法允许通过对当前画面(t)执行块匹配来选择预测块，配置包括关于预测块的相关信息的参考画面列表，以及通过使用参考画面列表对图像执行编码和解码。
在参考画面列表构建中，每个列表的构建顺序和规则以及每个列表的参考画面的可允许数量可以被不同地设置，其中它们可以根据当前画面是否被包括在列表中(包括当前画面作为帧间预测中的参考画面)、切片类型、列表重建参数(其可以分别应用于列表0和1，并且可以一起应用于列表0和1)、画面的组的位置(group of picture，GOP)、时间层信息(时间id)等的至少一个因素，或者它们中的至少一个的组合来确定，并且相关信息可以以诸如序列、画面等为单元显式地发送。例如，在P切片的情况下，无论当前画面是否被包括在列表中，参考画面列表0可以遵循列表构建规则A，并且在B切片的情况下，在列表中的包括当前画面的参考画面列表0可以遵循列表构建规则B，参考画面列表1可以遵循列表构建规则C，并且不包括当前画面的参考画面列表0可以遵循列表构建规则D，并且参考画面列表1可以遵循列表构建规则E，其中列表构建规则中的B和D以及C和E构建可以是相同的。列表构建规则可以以与参考画面列表构建示例中所描述的相同或修改的方式来构建。作为另一示例，当在列表中包括当前画面时，可以设置第一可允许参考画面数量，并且当在列表中不包括当前画面时，可以设置第二可允许参考画面数量。第一可允许参考画面数量和第二可允许参考画面数量可以彼此相同或不同，并且第一可允许参考画面数量和第二可允许参考画面数量之间的差可以默认设置为1。作为另一示例，当在列表中包括当前画面并且应用列表重建参数时，切片A中的所有参考画面可以是列表重建候选组，并且切片B中的仅一些参考画面可以被包括在列表重建候选组中。在这种情况下，可以根据当前画面是否被包括在列表中、时间层信息、切片类型、画面的组的位置(GOP)等来对切片A或B进行分类。可以根据参考画面或参考画面索引的画面顺序计数(POC)、参考预测方向(比当前画面更早和更晚)、是否存在当前画面等来确定是否被包括在候选组中的因素。
根据上述构建，由于在当前画面中可以使用用帧间预测编码的参考块，所以即使在I切片的运动估计中也可以允许或使用帧间预测。
并且，在构建参考画面列表时，根据切片类型，索引分配或列表构建顺序可以不同。在I切片的情况下，通过提高当前画面(t)中的优先级级别来使用低索引(例如，idx＝0，1，2)，并且可以通过使参考画面列表的可允许参考画面数量C最大化的二值化(固定长度二值化、切断-截断型二值化、截断型二值化等)来减少图像编码中的比特的量。在P切片或B切片的情况下，当确定通过在当前画面中执行块匹配来选择当前块的参考画面作为预测候选的概率小于通过其他参考画面选择预测候选的概率时，图像编码中的比特的量可以经由各种方法来减少，其中通过将当前画面的块匹配的优先级向后设置，使用高索引(例如，idx＝C，C-1)将对应的参考画面列表的参考画面的可允许数量设置为最大。在以上示例中，当前画面的优先级设置可以以与参考画面列表构建示例中所描述的相同或修改的方式来构建。通过不根据切片类型(例如，I切片)构建参考画面列表，可以省略与参考画面相关的信息。例如，可以通过现有的帧间预测来生成预测块，但是帧间预测信息可以用通过在帧间预测模式中从运动信息中排除参考画面信息而获得的信息来表示。
在当前画面中执行块匹配的方法可以根据切片类型确定是否支持块匹配。例如，当前块中的块匹配由I切片支持，而不是P切片或B切片，或者其他变形是可能的。此外，支持当前画面中的块匹配的方法可以确定是否支持以画面、切片、瓦片等为单元的块匹配，或者基于画面的组的位置(GOP)、时间层信息(时间ID)等。这样的设置信息可以以序列、画面、切片等为单元从图像编码过程或编码器发送到解码器。此外，即使在高级别单元中存在上述设置信息或语法并且打开设置相关操作的情形下，当在低级别单元中存在相同的设置信息或语法时，低级别单元的设置信息可以具有优于高级别单元中的设置信息的优先级。例如，当以序列、画面或切片处理相同或相似的设置信息时，画面单元可以具有优于序列单元的优先级，并且切片单元可以具有优于画面单元的优先级。
图9是示出根据本发明的实施例的在图像编码方法中的帧内预测的示例性视图。
参考图9所示，根据本发明的实施例的帧内预测方法包括参考样本填充、参考样本滤波、帧内预测和边界滤波。
参考像素填充步骤可以是参考像素构建步骤的示例，参考像素滤波步骤可以被称为参考像素滤波器单元，帧内预测可以包括预测块生成步骤和预测模式编码步骤，并且边界滤波可以是后处理滤波器步骤的实施例。
也就是说，在本实施例的图像编码设备中执行的帧内预测可以包括参考像素构建步骤、参考像素滤波步骤、预测块生成步骤、预测模式编码步骤和后处理滤波步骤。根据诸如块尺寸、块类型、块位置、预测模式、预测方法、量化参数和上述可以改变为不同顺序的顺序的各种环境因素，可以省略上述过程中的一个或一些并且可以添加其它过程。
可以实施参考像素构建步骤、参考像素滤波步骤、预测块生成步骤、预测模式编码步骤和后处理滤波步骤，使得存储在存储器中的软件模块由连接到存储器的处理器运行。因此，在下面的描述中，为了便于描述，作为由实现每个步骤的软件模块和执行它的处理器的组合所生成的功能单元或执行该功能单元的功能的构建单元，参考像素构建单元、预测块生成单元、预测模式编码单元和后处理滤波器单元将被称为每个步骤的执行主体。
更具体地，参考像素构建单元通过参考像素填充来构建用于预测当前块的参考像素。当参考像素不存在或不可用时，参考像素填充可以执行诸如复制来自最近的可用像素的值的方法以使得该值被用作参考像素。解码画面缓冲器(decoded picture buffer，DPB)可以被用于复制该值。
也就是说，帧内预测使用当前画面的先前编码的块的参考像素来执行预测。为此，在参考像素构建步骤中，主要将当前块的相邻像素、诸如左方、左上方、上方和右上方的块的相邻像素作为参考像素。当将诸如反向z扫描的扫描用作编码顺序扫描方法时，用于参考像素的相邻块的候选组仅仅是其中块的编码顺序遵循光栅扫描或z扫描的示例，并且除上述块以外的诸如右方、右下方和下方的块的相邻像素也可以用作参考像素。
此外，取决于实施方式，根据帧内预测的逐步构建，除了直接相邻的像素以外的附加的像素可以与替代的或现有的参考像素混合。
此外，当在帧内预测模式当中的具有方向的模式下进行预测时，可以通过以整数单元对参考像素执行线性内插来生成以十进制单元的参考像素。用于通过存在于整数单元的位置中的参考像素执行预测的模式包括具有垂直、水平、45度和135度的一些模式，并且不需要针对上述预测模式生成以十进制单元的参考像素的过程。除了上述预测模式以外的具有其它方向的预测模式被内插有诸如1/2、1/4、1/8、1/16、1/32和1/64的1/2的幂的内插精度，并且可以具有1/2的倍数的精度。这是因为可以根据所支持的预测模式的数量或预测模式的预测方向来确定内插精度。在画面、切片、瓦片、块等中可以总是支持固定的内插精度，并且可以根据块的尺寸、块的类型、所支持的模式的预测方向来支持自适应内插精度。此时，预测模式的方向可以通过基于特定线(例如，坐标平面上的正x轴)在由模式指示的方向上的倾斜信息或角度信息来表示。
作为内插方法，可以通过直接相邻的整数像素执行线性内插，但是也可以支持其他的内插方法。为了内插的目的，可以支持一个或多个滤波器种类和抽头的数量，例如，6抽头维纳滤波器、8抽头卡尔曼滤波器等，并且可以根据块尺寸、预测方向等来确定要执行哪种内插。此外，可以以序列、画面、切片、块等为单元发送相关信息。
参考像素滤波器单元可以在参考像素被构建之后通过减少编码处理中的剩余劣化而对参考像素执行滤波以达到提高预测效率的目的。参考像素滤波器单元可以根据块的尺寸、类型和预测模式隐式地或显式地确定滤波器的类型以及是否应用滤波。也就是说，即使在相同抽头的滤波器中，也可以根据滤波器类型来不同地确定滤波器系数。例如，可以使用诸如[1，2，1]/4和[1，6，1]/8的3抽头滤波器。
此外，参考像素滤波器单元可以通过确定是否另外传送比特来确定是否应用滤波。例如，在隐式的情况下，参考像素滤波器单元可以根据外围参考块中的像素的特征(离散、标准偏差等)来确定是否应用滤波。
此外，当相关标志满足在残差系数、帧内预测模式等中预先确定的隐藏条件时，参考像素滤波器单元可以确定是否应用滤波。例如，滤波器的抽头数量是诸如对于小块(blk)的[1，2，1]/4的3抽头和诸如对于大块(blk)的[2，3，6，3，2]/16的5抽头，可以根据是否执行滤波、是否执行一次滤波、是否执行两次滤波来确定应用的次数。
并且，参考像素滤波器单元基本上可以将滤波应用于与当前块最相邻的参考像素。也可以在滤波过程中考虑除了最相邻的参考像素以外的附加的参考像素。例如，可以通过替换最近的参考像素来将滤波应用于附加的参考像素，或者可以通过将附加的参考像素与最近的参考像素混合来应用滤波。
可以固定地或者自适应地应用滤波，并且这可以根据当前块的尺寸或相邻块的尺寸、当前块或相邻块的编码模式、当前块或相邻块的块边界性质(例如，其是编码单元的边界或变换单元的边界)、当前块或相邻块的预测模式或方向、当前块或相邻块的预测方法、量化参数等的至少一个因素或其组合来确定。可以做出确定使得编码器或解码器具有相同的设置(隐式地)，或者(显式地)考虑编码成本。通常，应用的滤波器是低通滤波器。取决于上述各种因素，可以确定滤波器抽头的数量、滤波器系数、滤波器标志是否被编码以及滤波器应用的数量。其信息以序列、切片、块等为单元来设置，并将相关信息发送到解码器。
预测块生成单元可以经由使用帧内预测中的参考像素的外插方法、诸如参考像素或平面模式的平均值DC的内插方法以及参考像素的复制方法来生成预测块。在复制参考像素时，可以复制一个参考像素以生成一个或多个预测像素，或可以复制一个或多个参考像素以生成一个或多个预测像素，并且复制的参考像素的数量可以等于或小于预测像素的数量。
可以根据预测方法对方向预测方法和非方向预测方法进行分类。特别地，方向预测方法可以被分类为线性方向方法和弯曲方向方法。线性定向方法使用外插方法使得通过位于预测方向线上的参考像素来生成预测块的像素。弯曲方向方法使用外插方法使得通过位于预测方向线上的参考像素来生成预测块的像素，并且考虑块的详细方向性(例如，边<边>)来参考允许像素单元的部分预测方向被改变的方法。在本发明的图像编码和解码方法中的方向预测模式的情况下，将主要描述线性方向方法。并且，在方向预测方法的情况下，相邻预测模式之间的间隔可以相等或不相等，这可以根据块的尺寸或类型来确定。例如，当当前块通过块划分单元获得尺寸和类型为M×N的块时，如果M和N相同，则预测模式之间的间隔可以是均匀的，并且如果M和N不同，则预测模式之间的间隔可以是不均匀的。作为另一示例，当M大于N时，具有垂直方向性的模式可以允许在接近垂直模式(90度)的预测模式之间分配更精细的间隔，并且将更宽的间隔分配给不接近垂直模式的模式。当N大于M时，具有水平方向性的模式可以允许在接近水平模式(180度)的预测模式之间分配更精细的间隔，并且将更宽的间隔分配给不接近水平的预测模式的模式。以上示例不限于上述情况，而是可以包括条件彼此颠倒的情况，并且也允许其他情况的示例。在这种情况下，可以基于指示每个模式的方向性的数值来计算预测模式之间的间隔，并且可以通过方向的倾斜信息或角度信息来数值地表达预测模式的方向性。
此外，预测块也可以通过除了上述方法以外的使用空间相关性的其他方法来生成。例如，通过使用诸如运动搜索的帧间预测方法和使用当前画面作为参考画面的补偿来生成参考块作为预测块。预测块生成步骤可以根据预测方法使用参考像素生成预测块。也就是说，可以根据预测方法通过诸如现有帧内预测方法的外插、内插、复制和平均的方向预测或非方向预测来生成预测块，可以使用帧间预测方法来生成预测块，并且可以由其他附加的方法来生成预测块。
可以在编码器或解码器的相同设置下支持帧内预测方法，并且可以根据切片类型、块尺寸、块类型等来确定帧内预测方法。可以根据上述预测方法中的至少一个或其组合来支持帧内预测方法。可以根据所支持的预测方法来构建帧内预测模式。所支持的帧内预测模式的数量可以根据预测方法、切片类型、块尺寸、块类型等来确定。可以以序列、画面、切片、块等为单元设置和发送相关信息。
经由预测模式编码执行的预测模式编码步骤可以将根据每个预测模式的编码成本在编码成本方面是最佳的模式确定为当前块的预测模式。
作为示例，为了减少预测模式比特的目的，预测模式编码单元可以使用一个或多个相邻块模式用于预测当前块模式。预测模式可以被包括在可能与候选块模式相同的最可能模式(MPM)的候选组中，并且相邻块的模式可以被包括在候选组中。例如，诸如当前块的左方、左上方、左下方、上方和右上方块的块的预测模式可以被包括在上述候选组中。
预测模式的候选组可以根据相邻块的位置、相邻块的优先级、划分块的优先级、相邻块的尺寸或类型、预设特定模式(在色度块的情况下)以及亮度块的预测模式等的至少一个因素或其组合来构建，并且可以以序列、画面、切片、块等为单元发送相关信息。
例如，当与当前块相邻的块被划分成两个或多个块时，有可能在编码器或解码器的相同设置下确定被划分的块当中的哪一个块模式被包括作为当前块的模式预测候选中。例如，当前块(M×M)的相邻块的左块在块划分单元中执行四叉树划分以使得划分块为三个块，并且当从上到下方向包括M/2×M/2、M/4×M/4和M/4×M/4块时，基于块尺寸，M/2×M/2块的预测模式可以被包括作为当前块的模式预测候选。作为另一示例，当前块(N×N)的邻居块当中的上块在块划分单元中执行二叉树划分以使得划分块为三个，并且当从左到右方向包括N/4×N，N/4×N和N/2×N块时，根据预先确定的顺序(从左到右分配的优先级)，来自左方的第一N/4×N块的预测模式可以被包括作为当前块的模式预测候选。
作为另一示例，当与当前块相邻的块的预测模式是方向预测模式时，与对应模式的预测方向(在模式方向的倾斜信息或角度信息方面)相邻的预测模式可以被包括在当前块的模式预测候选组中。此外，根据预测模式构建或相邻块的组合，可以优选地包括预先确定的模式(平面、DC、垂直、水平等)。此外，可以优选地包括在相邻块的预测模式当中具有高出现频率的预测模式。优先级顺序不仅表示被包括在当前块的模式预测候选组中的可能性，而且表示在候选组构建中被分配更高的优先级或索引的可能性(也就是说，在二值化过程中被分配更少比特的更高概率)。
作为另一示例，当当前块的模式预测候选组的最大数量是k时，其中左块由其长度小于当前块的垂直长度的m个块组成，并且上块由其长度小于当前块的水平长度的n个块组成，如果相邻块的划分块的总和(m+n)大于k，则有可能根据预先确定的顺序(从左到右、从上到下)填充候选组，并且如果相邻块的划分块的和(m+n)大于候选组的最大值k，则诸如相邻块的预测模式中的相邻块以外的相邻块(左块、上块等)的块的预测模式可以被包括当前块的在模式预测候选组中。以上示例不限于上述情况，而是可以包括条件彼此颠倒的情况，并且也允许其他情况的示例。
以这种方式，用于预测当前块模式的候选块不限于特定块位置，而是可以利用来自位于左方、左上方、左下方、上方和右上方的块中的至少一个块的预测模式信息。如以上示例中那样，可以考虑各种因素来构建当前块的预测模式候选组。
预测模式编码单元可以将可能与当前块的模式相同的最可能模式(MPM)候选组(在本示例中称为候选组1)和在其他情况下的模式候选组(在本示例中称为候选组2)进行分类。预测模式编码过程可以根据当前块的预测模式属于候选组中的哪个候选组而改变。全部预测模式可以由候选组1的预测模式和候选组2的预测模式的总和组成。候选组1的预测模式的数量和候选组2的预测模式的数量是根据预测模式的总数、块类型等中的至少一个因素或其组合来确定的。根据候选组可以应用相同的二值化或其他二值化。例如，可以对候选组1应用固定长度二值化，并且对候选组1可以应用切断-截断型二值化。在以上描述中，尽管候选组的数量被例示为两个，但是有可能扩展到例如具有与当前块的模式相同的高概率的第一模式候选组、具有与当前块相同的高概率的第二模式候选组、以及在其他情况下的模式候选组，并且也允许其变形。
考虑与当前块和相邻块之间的边界相邻的参考像素与当前块中的像素之间的高度相关性，在由后处理滤波器单元执行的后处理滤波步骤中，在先前过程中生成的预测块的一些预测像素可以被替换为通过对与边界相邻的一个或多个参考像素和一个或多个预测像素进行滤波而生成的值，并且预测像素可以被替换为通过将与块边界相邻的参考像素之间的特征数字化而获得的值(例如，像素值的差、倾斜信息等)应用于滤波过程而生成的值，以及除了上述方法以外并且具有相似目的的其他方法(通过参考像素校正预测块的一些预测像素)可以被添加。在后处理滤波器单元中，可以隐式地或显式地确定一种滤波器以及是否应用滤波。可以在编码器或解码器中设置在后处理滤波器中使用的参考像素和当前像素的位置和数量、所应用的一种预测模式等，并且可以以序列、画面、切片等为单元发送相关信息。
此外，在后处理滤波步骤中，可以如在块边界滤波中那样在预测块生成之后执行附加的后处理步骤。此外，在获得残差信号之后，考虑相似于边界滤波的相邻预测像素的特征，可以将残差信号和通过变换过程、量化过程和去量化过程获得的预测信号相加而重建的当前块执行后处理滤波步骤。
最后，通过上述过程选择或获得预测块。从过程中获得的信息可以包括与预测模式有关的信息，并且可以在获得预测块之后被发送到变换单元210以用于对残差信号进行编码。
图10是示出根据本发明的实施例的图像编码方法中的P切片或者B切片中的预测原理的示例性视图。
参考图10，根据本实施例的图像编码方法可以包括运动估计步骤和内插步骤。可以将在运动估计步骤中生成的关于运动向量、参考画面索引和参考方向的信息发送到内插步骤。在运动估计步骤和内插步骤中，可以使用存储在解码画面缓冲器(DPB)中的值。
也就是说，图像编码设备可以执行运动估计以在先前编码的画面中找到与当前块相似的块。此外，图像编码设备可以对参考画面执行内插以用于比十进制单元的精度更精细的预测。最后，图像编码设备通过预测器获得预测块，其中在该过程中获得的信息包括运动向量、参考画面索引或参考索引、参考方向等，然后可以进行残差信号编码。
在本实施例中，在P切片或B切片中执行帧内预测，使得能够实现图9所示的支持帧间预测和帧内预测的组合方法。
图11是示出了获得预测块的过程的示例性视图。
参考图11，根据本发明的示例性实施例的图像编码方法包括参考样本填充、参考样本滤波、帧内预测、边界滤波、运动估计和内插的步骤。
在图像编码设备支持当前画面中的块匹配的情况下，I切片中的预测方法可以通过图11中所示的构建来实施，而不是图9中所示的构建。也就是说，图像编码设备不仅可以使用I切片中的预测模式，而且还可以使用仅在P切片或B切片中出现的诸如运动向量、参考画面索引和参考方向的信息，以生成预测块。然而，由于参考画面是当前画面的特征，可能存在可以部分省略的信息。例如，当参考画面是当前画面时，可以省略参考画面索引和参考方向。
此外，在图像编码设备中，当应用内插时，由于因为诸如计算机图形的人造图像的性质，与十进制单元匹配的块可能不是需要的，所以在编码器中设置是否进行块匹配，并且可以设置诸如序列、画面和切片的单元。
例如，图像编码设备可以不根据编码器的设置对用于帧间预测的参考画面执行内插，并且可以执行各种设置，诸如仅当在当前画面中执行块匹配时不内插。也就是说，有可能根据是否执行参考画面的内插来设置本实施例的图像编码设备。此时，可以确定是否对构成参考画面列表的所有参考画面或一些参考画面执行内插。例如，当因为参考块的图像为人造图像的特征而不需要在十进制单元中执行块匹配时，图像编码设备不执行内插，并且对于特定的当前块，当因为自然图像而需要在十进制单元中执行块匹配时执行内插。
并且，图像编码设备可以设置是否将块匹配应用于以块为单元执行内插的参考画面。例如，当混合自然图像和人造图像时，对参考画面执行内插。当可以通过搜索人造图像的一部分获得最佳的运动向量时，运动向量可以以特定的单元(这里，假设为整数单元)来表示，并且当可以通过选择性地搜索自然图像的一部分获得最佳的运动向量时，运动向量可以以其他特定的单元(这里，假设为1/4单元)来表示。
图12是示出在编码单元中使用语法的根据本发明的实施例的图像编码方法的主程序的示例性视图。
参考图12，curr_pic_BM_enabled_flag表示允许当前画面中的块匹配的标志，并且可以以序列和画面为单元来定义和发送。此时，通过对当前画面执行块匹配来生成预测块的过程可以表示通过帧间预测进行操作的情况。可以假设，作为不对残差信号进行编码的帧间技术的cu_skip_flag是仅由I切片以外的P切片或者B切片支持的标志。在这种情况下，当curr_pic_BM_enabled_flag开启时I切片也可以在帧间预测模式下支持块匹配(block matching，BM)。
也就是说，本实施例的图像编码设备在通过块匹配来生成当前画面上的预测块时能够支持跳过，并且在块匹配以外的屏幕上技术的情况下能够支持跳过。取决于这种条件，I切片中可能不支持跳过。可以根据编码器设置来确定是否执行跳过。
例如，当I切片支持跳过时，可以通过块匹配而没有通过链接到作为特定标志的if(cu_skip_flag)的预测单元的prediction_unit()对残差信号编码来将预测块直接重建作为重建块。此外，图像编码设备将通过当前画面中的块匹配使用预测块的方法分类为帧间预测技术，并且可以通过作为特定标志的pred_mode_flag来处理这样的分类。
也就是说，如果pred_mode_flag为0，则图像编码设备将预测模式设置为帧间预测模式(MODE_INTER)，并且如果pred_mode_flag为1，则可以将预测模式设置为帧内预测模式(MODE_INTRA)。这是一种与现有技术相似的帧内技术，但是它可以被分类为I切片中的帧内技术或帧间技术以将其与现有结构区分开来。也就是说，本实施例的图像编码设备可以在不使用I切片中的时间相关的情况下而使用时间相关结构。part_mode表示关于在编码单元中划分的块的尺寸和类型的信息。
图13是示出了当在当前画面中通过块匹配生成预测块时支持对称类型划分或非对称类型划分作为帧间预测的示例的示例性视图。
参考图13，在通过当前画面中的块匹配来生成预测块的情况下，如在帧间预测中那样，根据本示例性实施例的图像编码方法可以支持诸如2N×2N、2N×N和N×2N的对称类型和诸如nLx2N、nRx2N、2NxnU和2NxnD的非对称分割。可以根据块划分单元的划分方法来确定各种块尺寸和类型。
图14是示出在帧间预测中可以支持2N×2N和N×N的示例性视图。
参考图14，根据本实施例的图像编码方法可以如在传统帧内预测中使用的预测块类型那样支持2N×2N和N×N。这是在块划分单元或划分方法中通过四叉树划分方法根据预先定义的块候选组支持的正方形、以及可以通过在帧内预测中将矩形形状添加到二叉树划分方法或预先定义的块候选组而支持的其他块类型的示例，其中可以在编码器中设置该设置。编码器还可以设置是否仅在对当前画面执行块匹配时应用跳过，是否也对现有的帧内预测应用跳过，或者是否对新的帧内预测应用跳过。与其相关的信息可以以序列、画面、切片等为单元来发送。
减法单元205可以通过从要被编码的当前块的像素值中减去从预测单元200生成的预测块的像素值以导出像素差值来生成残差块。
变换单元210从减法单元205接收作为当前块与通过帧内预测或帧间预测生成的预测块之间的差值的残差块，并将残差块变换到频域。通过变换过程，残差块的每个像素对应于变换块的变换系数。变换块的尺寸和类型可以具有等于或小于编码单元的尺寸。并且，变换块的尺寸和类型可以与预测单元相同或比预测单元更小。图像编码设备可以通过对几个预测单元进行分组来执行变换过程。
变换块的尺寸或类型可以通过块划分单元来确定，并且可以根据块划分来支持正方形或矩形形状的变换。块划分操作可以受到编码器或解码器所支持的变换相关设置(所支持的变换块的尺寸、类型等)的影响。
每个变换块的尺寸和类型根据每个变换块的尺寸和类型的每个候选的成本来确定，并且诸如所确定的每个变换块的图像数据以及所确定的每个变换块的尺寸和类型的划分信息可以被编码。
变换可以通过一维变换矩阵(DCT、DST等)来执行。每个变换矩阵可以自适应地用于水平和垂直单元。自适应使用的示例可以通过诸如块的尺寸、块的类型、块的种类(亮度和色度)、编码模式、预测模式信息、量化参数和相邻块的编码信息的各种因素来确定。
例如，在帧内预测的情况下，当预测模式是水平的时，可以在垂直方向上使用基于DCT的变换矩阵，并且可以在水平方向上使用基于DST的变换矩阵。当预测模式是垂直的时，可以在水平方向上使用基于DCT的变换矩阵，并且可以在垂直方向上使用基于DST的变换矩阵。变换矩阵不限于以上描述中所说明的。与其相关的信息可以使用隐式或显式方法来确定，并且可以根据相邻块的块尺寸、块类型、编码模式、预测模式、量化参数、编码信息等中的一个或多个因素或其组合来确定，并且相关信息可以以序列、画面、切片、块等为单元发送。
这里，考虑使用显式方法的情况，当用于水平和垂直方向的两个或多个变换矩阵被用作候选组时，可以分别传送关于用于每个方向的变换矩阵的信息，或者可以传送使用两对或多对作为候选组的关于变换矩阵被用于水平和垂直方向的每一个的信息、以及关于变换矩阵被用于水平和垂直方向的信息。
此外，考虑到图像的特征，可以省略部分变换或整体变换。例如，可以省略水平或垂直分量中的一个或两个。由于帧内预测或帧间预测不能很好地执行，因此当当前块与预测块之间的差很大(也就是说，当残差分量很大时)时，可能会增加由于变换而导致的编码损失。这可以根据编码模式、预测模式信息、块的尺寸、块的类型、块的种类(亮度和色度)、量化参数、相邻块的编码信息的至少一个因素或其组合来确定。上述条件可以使用隐式或显式方法来表示，并且与其相关的信息可以以序列、画面、切片等为单元来发送。
量化单元215执行由变换单元210变换的残差分量的量化。量化参数是基于块来确定的，并且量化参数可以以序列、画面、切片、块等为单元来设置。
例如，量化单元215可以使用从诸如当前块的左方、左顶部、顶部、右顶部和左底部的相邻块导出的一个或多个量化参数来预测当前量化参数。
当不存在从相邻块预测的量化参数时，也就是说，当块位于画面、切片等的边界处时，量化单元215可以从以序列、画面、切片等为单元发送的基本参数中输出或发送差值。当存在从相邻块估计的量化参数时，可以使用对应块的量化参数来发送差值。
要导出量化参数的块的优先级可以被预设，或者可以以序列、画面、切片等为单元被发送。残差块可以通过静区均匀阈值量化(dead zone uniform thresholdquantization，DZUTQ)、量化加权矩阵或改进方案来量化。有可能使用一个或多个量化方案作为候选，并且可以通过编码模式、预测模式信息等来确定方案。
例如，量化单元215可以设置量化加权矩阵以应用于帧间编码、帧内编码单元等，并且还可以根据帧内预测模式来设置不同的加权矩阵。假设块的尺寸等于尺寸为M×N的量化块尺寸，量化加权矩阵可以通过改变每个频率分量的每个位置的量化系数来构建。量化单元215可以选择各种现有的量化方法中的一个，并且可以在编码器或解码器的相同设置下使用。与其相关的信息可以以序列、画面、切片等为单元来发送。
同时，图2和3中所示的去量化单元220和315以及逆变换单元225和320可以通过反向地执行逆变换单元210和量化单元215中的过程来实施。也就是说，去量化单元220可以对由量化单元215生成的量化变换系数进行去量化，并且逆变换单元225能够反向地变换去量化的变换系数以生成重建的残差块。
图2和图3中所示的加法单元230和324可以通过将从预测器生成的预测块的像素值添加到重建的残差块的像素值来生成重建块。重建块可以被存储在编码和解码画面缓冲器240和335中，并被提供给预测单元和滤波器单元。
可以将诸如去块滤波器、采样自适应偏移(sample adaptive offset，SAO)、自适应环路滤波器(adaptive loop filter，ALF)等的环路内滤波器应用于重建块。去块滤波器可以对重建块进行滤波以消除在编码和解码期间出现的块边界之间的失真。SAO是滤波器过程，其相对于残差块在逐像素的基础上用偏移重建原始图像和重建图像之间的差。ALF可以执行滤波以最小化预测块和重建块之间的差。ALF可以通过去块滤波器基于重建块和当前块之间的比较值执行滤波。
熵编码单元245可以对通过量化单元215量化的变换系数进行熵编码。例如，可以执行诸如上下文自适应可变长度编码(context adaptive variable length coding，CAVLC)、上下文自适应二进制运算编码(context adaptive binary arithmetic coding，CABAC)、基于语法的上下文自适应二进制运算编码(syntax-based context adaptivebinary arithmetic coding，SBAC)、概率区间划分熵(probability intervalpartitioning entropy，PIPE)编码等的技术。
熵编码部分245可以包括通过对量化系数进行编码而获得的比特流和对编码的比特流进行解码作为编码数据所需要的各种信息。编码数据可以包括编码块类型、量化系数、对量化块进行编码的比特流以及预测所需的信息。在量化系数的情况下，可以在一个维度上扫描二维量化系数。量化系数可以根据图像的特征而变化。特别地，在帧内预测的情况下，由于系数的分布可以根据预测模式具有特定分布，所以可以不同地设置扫描方法。
此外，可以根据要被编码的块的尺寸来不同地设置熵编码部分245。扫描图案可以被预设为具有诸如锯齿形、对角线和光栅的各种图案中的至少一个或者被设置为具有诸如锯齿形、对角线和光栅的各种图案中的至少一个的候选，可以通过编码模式、预测模式信息等来确定，并且可以在编码器和解码器的相同的设置下使用。与其相关的信息可以以序列、画面、切片等为单元来发送。
输入到熵编码部分245的量化的块(在下文中称为量化块)的尺寸可以等于或小于变换块的尺寸。此外，量化块可以被划分为两个或多个子块。当量化块被划分时，划分块中的扫描图案可被设置为与现有量化块的扫描图案相同或不同。
例如，当现有量化块的扫描图案被称为锯齿形时，可以将锯齿形应用到所有子块，或者可以将锯齿形图案应用于位于包括DC分量的块的左上方的子块，并且可以将对角线图案应用于其他块。这也可以根据编码模式、预测模式信息等来确定。
熵编码部分245中的扫描图案的开始位置基本上是从左上角开始，但是根据图像的特征，可以从右上角、右下角或左下角开始。关于哪一个或多个候选组已经被选择的信息可以以序列、画面、切片等为单元来发送。熵编码技术可以用作编码技术，但是不限于此。
同时，图2和图3中所示的去量化单元220的去量化和逆变换单元225的逆变换是与量化单元215的量化和变换单元210的变换反向地构建，并且可以通过组合基本滤波器235和330来实施。
在下文中，将更详细地描述上述参考像素的形成。
当根据本发明的实施例执行帧内预测时，必须检查相邻块的参考像素的可用性。参考像素的可用性可以基于相邻块的位置、划分块中的当前块的位置、相邻块的边界特征等中的至少一个因素或其组合来确定。例如，当通过块划分单元将M×M块划分成四个M/2×M/2块(在该示例中，在光栅扫描方向上分配0、1、2和3索引)，以及当前块是数量为3的M/2×M/2块时，尽管位于特定方向(在该示例中，在本示例中是右上角和左下角)上的相邻块属于以画面、切片或瓦片为单元作为当前块，对应块还没有被编码使得确定了块是不可用的，由此块的参考像素可能不被使用。作为另一示例，可以根据当前块与相邻块之间的边界特征(切片、瓦片的边界等)来确定是否使用相邻块的参考像素。
使用在相邻块中的参考像素的另一示例可以支持用于确定是否在编码器/解码器中使用具有高误差传播概率的数据的设置，以便避免在P切片或B切片的情况下随时间的误差传播。根据该设置信息，有可能确定是否使用具有高误差传播概率的数据以用于生成预测块，并且HEVC的诸如constrained_intra_pred_flag(CIP)的标志可以执行相似的角色。该标志可以确定是否使用在使用帧内预测块生成中参考的相邻块当中具有高误差传播概率的帧间预测模式编码的相邻块。如果标志为0，则可以不使用用帧间预测编码的块的参考像素，并且如果标志为1，则可以使用用帧间预测编码的块的参考像素。
以下示例示出了在当标志不为零时生成预测块的情况。标志的附加设置导致参考像素不可用，而不管误差传播可能性如何，由此任何参考像素可能不被用于预测。在这种情况下，由于预测块可以不使用任何参考像素，所以可以通过填充预设值(例如，比特深度的像素值范围的中间值)来生成预测块。可替代地，有可能基于预先定义的值来生成应用边缘信息的预测块。例如，如果预先定义的值是A，则基于M×N块中的任意像素，用(A+B)填充包括任意像素的右方区域，用(A-C)填充另一区域，以生成预测块，B和C表示用于表示边缘信息的参数。
此外，通过标志的附加设置，可以通过用帧间预测编码的相邻块的数量、相邻块的参考像素的数量等来确定误差传播概率。根据该确定，有可能确定是否使用通过帧内预测编码的块的参考像素。例如，如果与当前块相邻的M个相邻块中的少于N个块是用帧间预测进行编码的块，则该块的参考像素可以不被用于生成预测块，并且用帧内预测编码的(M-N)个块的参考像素也可以不被用于生成预测块。由于作为确定标准的块的数量可能受到块的尺寸或类型的影响，所以可以用存在于要用于预测当前块的位置处的参考像素的数量来替换，并且可以考虑其他因素。
所生成的预测块可以根据是否使用参考像素而受到影响。例如，如果根据是否使用参考像素，当前块的相邻块中的至少一个是可用的，则不可用块的参考像素可以由从可用块的参考像素中导出(例如，复制、平均等)的像素来替换。作为另一示例，当根据是否使用参考像素而不存在可用块时，不可用块的参考像素可以用预先定义的值(例如，比特深度的像素值范围的中间值)来替换。
可以根据编码器或解码器的设置来禁止从可用块导出的值的替代。在这种情况下，可能不会使用从对应块导出的预测模式。
在下文中，将参考附图更详细地描述这些内容。
图15是示出根据本发明的实施例的帧内预测中的相邻块的编码模式的示例性视图。
参考图15，有可能根据当前块的相邻块的编码模式来确定对应块的参考像素是否被用于生成预测块。在这种情况下，相邻块可以是通过块划分单元获得的M×M的正方形形状或M×N的矩形形状，并且可以根据编码模式用帧内预测或帧间预测中的一个进行编码。如图15中所示，当当前块是中间块时，位于左上方的块用帧间预测(帧间)被编码，位于上端的两个块用帧内预测(帧内)被编码，并且位于右上方的块用帧间预测、帧内预测以及从其中的左侧的帧内预测被编码。
用帧间预测编码的块可以根据参考画面进一步分类。用图15的帧间预测编码的块的表达式ref＝t指示参考画面是当前画面。
将在上面的假设下描述图16a和图16b。
图16a是根据本发明的实施例的用于说明在考虑帧内预测中的相邻块的编码模式时是否使用参考像素的示例图。图16b是根据本发明的实施例的用于说明在不考虑帧内预测中的相邻块的编码模式时是否使用参考像素的示例性视图。
在以下示例中，是否考虑相邻块的编码模式将使用CIP标志进行说明。具体地，当CIP标志指示1时，用特定编码模式(在该示例中为帧间预测)编码的块可以被不用于预测当前块，并且当该标志指示0时，用特定编码模式编码的块可以被用于预测当前块。
参考图16a，如果CIP标志为1并且用帧间预测(帧间)编码相邻块，则对应块的参考像素可能不被用于预测当前块。用阴影线指示的用帧内预测(帧内)编码的块的相邻块的参考块可以用于预测当前块。
这里，可以使用能够用作参考像素的块内的与当前块相邻的像素作为参考像素，并且可以包括其他附加的像素。
参考图16b，如果CIP标志为0，则可以使用编码块的参考像素以用于预测当前块。也就是说，可以使用当前块的左上方、右上方、左上方、左方和左下方内与当前块相邻的像素用作参考像素。
图17是示出根据本发明的实施例的帧内预测中的相邻块的编码模式的另一示例性视图。
参考图17，相邻块用帧内预测和帧间预测中的一个进行编码。当相邻块用帧间预测编码时，ref＝t指示参考画面是当前画面，ref＝t-1指示参考画面是比当前画面紧接着更早的画面，ref＝t-2指示参考画面是比当前画面第二早的画面，并且可以根据帧间预测的参考方向添加另一个参考画面。右上方的块表示位于画面范围外的块。
在如图17中所示的编码状态下，将参考图18a至图18c描述确定作为参考像素的可用性的示例。
图18a是根据本发明的实施例的用于说明相邻块的编码模式是帧内预测的情况的示例性视图。图18b是根据本发明示例性实施例的用于说明在帧内预测中考虑相邻块的编码模式和参考画面的情况的示例性视图。图18c是根据本发明的实施例的用于说明在帧内预测中不考虑相邻块的编码模式的情况的另一示例性视图。
参考图18a，在图17的编码模式中用帧内预测编码的相邻块可以显示在阴影区域。
由于用帧内预测编码阴影块，所以对应块中的像素可以用作参考像素。
并且在这种情况下，是否考虑相邻块的编码模式可以根据CIP标志来指示，并且可以是CIP标志为1的情况的示例。
参考图18b，如上所述，在图17的编码模式状态下用帧内预测编码的块中的像素可以被用作参考像素。
然而，在图18b中，即使相邻块用帧间预测编码，当相邻块的参考画面是当前画面时，这样的块中的像素也可以被用作参考像素。可替代地，当相邻块的参考画面是当前画面时，对应块的像素可不被用作参考像素。
因为当相邻块的参考画面是当前画面时，画面之间在时间上不会出现误差传播，所以可以使用像素。相反，因为当当前画面中参考的块是从先前或之后画面中编码的块时可能出现误差传播，所以可以不使用像素。
如上所述，可以根据相邻块的位置、相邻块的编码模式、划分块中的当前块的位置、当前块和相邻块的边界特征的至少一个因素或其组合来确定是否使用参考像素，并且参考画面可以被添加到上述因素。具体而言，考虑到相邻块的参考画面的索引、或画面顺序计数(POC)，有可能确定是否使用对应块的参考像素以用于预测当前块。在以上示例中，尽管参考画面被指定为当前画面，但是其可以被扩展为具有不同索引或画面顺序计数(POC)的参考画面。并且，即使当帧间预测的参考方向是单向预测(L0，L1)和双向预测时，也可以构建对于参考画面索引L0和L1的各种设置。
因此，不仅可以将在图18a中阴影化的块内(帧内预测块)的像素，而且也可以将用帧间预测编码的块内的像素作为参考像素来使用。
并且在这种情况下，由于是否考虑相邻块的编码模式可以根据CIP标志来指示，所以它可以是用于解释标志为1的情况的示例。
参考图18c，原则上可以将相邻块中的所有相邻像素用作参考像素。
然而，由于位于中央的当前块的右上方处的区域是没有图像数据的区域或图像外的区域，所以它可以对应于在任何情况下都不可用的区域。
以上参考图15至图18c描述的示例总结如下。
首先，可以确定当前块的相邻块的参考像素的可用性。
当确定所有相邻块中的参考像素不可用时，可以获得由预先定义的像素值组成的参考像素。例如，参考像素可以由像素的表示范围的中间值组成。更具体地，由于可以将值分配给具有1<<(比特深度-1)的参考像素，并且比特深度表示用于表示像素的比特的数量，所以所例示的值可以表示像素的表示值的中间值。
当确定至少一个相邻块可用时，可以考虑相邻块(左方、顶部、左顶部、右顶部和左底部等)的编码模式。
此外，有可能使用预设标志指示是否考虑编码模式。
例如，相邻块中的所有像素可以被用作参考像素，而不考虑编码模式，并且此时预设标志可以指示不考虑编码模式。
这里，如果相邻块的编码模式是帧间预测，则确定相邻块不可用，使得相邻块中的像素可能不被用于参考像素。
并且，即使相邻块的编码模式是帧间预测，通过检查参考画面，当相邻块的参考画面是当前画面时，像素可以被用作参考像素。
这里，可以从存储早于当前画面的参考画面的数据的列表0或者存储晚于当前画面的参考画面的数据的列表1中选择参考画面，并且当前画面可以被包括在列表0或列表1中。
并且，即使相邻块的编码模式是帧间预测，通过检查参考画面，当相邻块的参考画面是I画面(除了P或B以外)时，像素可以被用作参考像素。
然而，以上约束条件应该被理解为考虑到特定条件来确定相邻块中的像素是否可以被用作参考像素的示例。也就是说，相邻块的编码模式是帧间预测，并且有可能通过参考该相邻块的运动信息的运动向量、参考画面信息等来确定作为参考像素的可用性。在这种情况下，可以以序列、画面、切片等为单元设置上述例示的条件。
根据本发明的实施例的参考像素的可用性确定可以根据以下流程来执行。
首先，确认与当前块相邻的块是否位于画面、切片或瓦片的边界之外。然后，可以确认相邻块是否被编码。然后，检查相邻块的切片类型，并且如果类型是I切片，则可以将相邻块内的边界像素设置为可用作当前块的参考像素。如果类型是P切片，则该模式是单向预测。因此，通过检查参考画面列表0(ref_idx_l0)来确认参考画面。当参考画面是当前画面时，当前画面的参考像素可以被设置为可用。然而，这应该被理解为一个示例。当当前画面不是参考画面时，参考像素可以被设置为不可用。如果类型是B切片，则在通过确认预测模式是单向_L0、单向_L1还是双向来确认当前画面是否被用作参考画面之后，可以确认参考画面是否可用。
图19a是用于说明当可用的相邻块位于左下方时获得参考像素的方法的示例性视图。图19b是用于说明当可用的相邻块位于右上端时获得参考像素的方法的示例性视图。图19c是用于说明当可用的相邻块位于左下端和右上端时获得参考像素的方法的示例性视图。图19d是用于说明当可用的相邻块位于左下端和右上端时获得参考像素的方法的示例性视图。
参考图19a至图19d，阴影像素可以表示确定相邻块可用的块内的相邻像素，并且箭头方向可以指示由参考像素构成的方向。
如上所述，尽管相邻块可以被确定为可用，但是也可以被确定为不可用。因此，被确定为不可用的块中的像素可能不被用作参考像素，并且在这种情况下，如何构建不可用块中的相邻像素可能是成问题的。
参考图19a和图19b，当只有位于当前块的右上方或左下方的像素可用作参考像素时，与不可用区域接触的像素被复制并填充到不可用区域当中与当前块相邻的像素中。
参考图19c，当在当前块的右上方和左下方都存在可用区域时，可以通过复制任意一个可用区域的像素、通过获得两侧的像素的平均值(诸如<从下到上，从左到右>，<从左到右和从顶到底>或<从低到顶和从右到左>)或通过线性内插来填充像素。
参考图19d，当可用作参考像素的区域被混合时，可以用经由在一个方向(左方向、下方向)上的复制的像素值来填充像素；当两侧(诸如当前块的上端)存在可用区域时，可以用通过使用诸如内插和平均的两侧的像素生成的值来填充像素；并且当在当前块的诸如左侧或左下端的一侧存在可用区域时，可以用经由复制获得的值来填充像素。
更具体地，参考在图19d，位于右方的、包括位于当前块的右上方的P(-1，-1)和P(blk_size，-1)的像素可能是可用的。从P(0，-1)到P(blk_size-1，-1)的值可能不可用。在这种情况下，如果分配了平均值，则有可能将其分配为P(x，y){x为0到blk_size-1，y为1}＝{P(-1，-1)+P(blk_size，-1)}+1/2。此时，blk_size可以表示块尺寸。
位于底部的、包括P(-1，0)的像素可能不可用。此时，P(x，y){x为1，y为0到2*blk_size-1}可以被分配有P(-1，-1)。
此外，有可能根据参考像素的位置来确定是否执行内插。如图19c中所示，即使在两侧存在可用区域，当可用区域的位置没有通过垂直线连接时内插可能被限制。具体地，当比较可用区域的两端的坐标时，当x和y两者不匹配时(诸如P(-1，a)和P(b，-1))，内插可能被限制。当x和y中的一个彼此匹配时(诸如P(a，-1)，P(b，-1))，可以执行内插。
此外，即使在如图19d中所示的两侧存在可用区域，当可用区域的位置位于垂直线上时，可以执行内插。
图20是根据本发明的实施例的图像编码方法的流程图。
参考图20，用于执行帧内预测的图像编码方法包括：考虑到当前块和相邻块中的每一个的预测模式，确定相邻块内的边界像素是否可用作当前块的参考像素(步骤S110)；根据所确定的结果获得当前块的参考像素(S120)；基于所获得的参考像素通过帧内预测生成预测块(S130)；以及使用所生成的预测块编码当前块(S140)。
这种情况下的每个步骤的描述可以参考图15至图18c，并且因此将省略其详细描述。
根据本发明的实施例的用于执行帧内预测的图像解码方法包括以下步骤：接收包括关于当前块和与当前块相邻的块的预测模式的数据的比特流；从接收到的比特流中提取数据以确认相邻块的预测模式；考虑到相邻块的预测模式确定相邻块内的边界像素是否可用作当前块的参考像素；根据所确定的结果获得当前块的参考像素；基于所获得的参考像素生成帧内预测的预测块；以及使用所生成的预测块解码当前块。
这里，当边界像素被确定为不可用作当前块的参考像素时，获得参考像素可以获得由预设像素值构建的参考像素。
这里，确定边界像素是否可用作参考像素可以指示预设标志是否考虑相邻块的预测模式。
这里，当相邻块的预测模式是帧内预测时，确定边界像素是否可用作参考像素可确定边界像素可用作当前画面的参考像素。
这里，当相邻块的预测模式是帧间预测时，确定边界像素是否可用作参考像素可以确定边界像素不可用作当前画面的参考像素。
这里，当相邻块的预测模式是帧间预测时，考虑相邻块的参考画面，确定边界像素是否可用作参考像素可以确定边界像素是否可用作当前画面的参考像素。
这里，可以从存储早于当前画面的参考画面的数据的列表0或者存储晚于当前画面的参考画面的数据的列表1中选择参考画面，并且当前画面可以被包括在列表0或列表1中。
这里，当相邻块的参考画面是当前画面时，可以确定边界像素可用作当前画面的参考画面。
这里，当相邻块的参考画面不是当前画面时，可以确定相邻块中的像素不可用作当前画面的参考画面。
这里，当相邻块的参考画面是I画面时，可以确定相邻块中的像素可用作当前画面的参考画面。
在根据本发明的实施例的包括一个或多个处理器的图像解码设备中，一个或多个处理器可以：接收包括关于当前块和与当前块相邻的块的预测模式的数据的比特流；以及，通过从接收到的比特流中提取数据来确认相邻块的预测模式；考虑到相邻块的预测模式确定相邻块内的边界像素是否可用作当前块的参考像素；基于所确定的结果获得当前块的参考像素；基于所获得的参考像素生成帧内预测的预测块；以及使用所生成的预测块解码当前块。
图21是示出HEVC的帧内预测模式的示例图。
参考图21，亮度分量(Intra_fromLuma，35)总共有35种预测模式。可能存在具有包括平面(Intra_planar，0)和平均(Intra_DC，1)的各种方向的预测模式。对于每个预测模式，每个箭头的方向可以指示使用参考像素构建预测块的方向。
图22a是用于说明在参考像素构建步骤中用于当前块预测的参考像素的示例图。
参考图22a，基于当前块的在左方、左上方、左下方、上方和右上方的块的像素(A0～P0，X0)可以被包括在参考像素候选组中。例如，在M×N块的情况下，基于左上方坐标的p[0，-1]～p[(2×M)-1，-1]、p[-1，0]～p[(2×N)-1]和p[-1，-1]的像素可以被包括在候选组中。这里，p[0，-1]对应于A0，p[2×M-1，-1]对应于H0，并且p[-1，-1]对应于X0。在以上示例中，2×(M+N)+1个参考像素可以被包括在候选组中，并且可以根据块的尺寸、块的类型、预测模式、预测方法、切片类型等至少一个因素及其组合来确定。例如，根据预测模式，一些参考像素可以被添加到候选组或从中排除。作为另一示例，根据预测方案，一些参考像素可以被添加到候选组或者从中排除。
图22b是用于说明相邻块的附加的像素被包括在参考像素候选组中的示例性视图。
参考图22b，例如，在M×N块的情况下，基于块的左上方坐标的p[-1，-2]～p[(2×M)-1，-2]、p[-2，-1]～p[-2，(2×N)-1]和p[-1，-1]的像素可以被包括在新的参考像素候选组中。像素可以被分类为第一参考像素线(A0～P0，X0)和附加的参考像素线以表示与现有参考像素的差异，并且可以包括其他附加的参考像素线作为新的参考像素候选组。参考像素线的顺序可以基于参考像素与当前块之间的距离来确定。
参考像素线可以被共同地应用于左方、左上方、左下方、上方和右上方的块的像素，并且可以由一个相邻块或者两个或多个相邻块单元构建。例如，当相对于在左方的块的像素构建像素线(pixel line)时，可以在参考像素线L上构建对应块的像素。当相对于左上方、上方和右上方的块构建像素线时，可以在参考像素线U中构建对应块的像素。将基于共同应用于相邻块的参考像素线来描述该示例。
可以根据块、块的类型、预测模式和预测方法的一个或多个因素或其组合来确定是否添加除了现有参考像素线以外的附加参考像素线。此外，是否使用现有的参考像素线以及是否使用附加的参考像素线可以具有各种构建的组合。例如，总是使用现有的参考像素线，可以确定是否使用附加的像素行，并且可以分别确定是否使用每个现有的参考像素线以及是否使用附加的像素行中的每一个。此外，当有多于两个的附加的像素行时，相对于上述设置各种组合是可能的。并且，当参考像素线不被共同地而是部分地应用于相邻块时，有可能具有与上述设置相关的各种组合。
此外，可以设置参考像素线的可允许范围。也就是说，可以在编码器/解码器中设置关于参考像素线将被添加多少的信息(最大值)，并且这可以根据当前或相邻块的类型、当前或相邻块的尺寸等的一个因素或其组合来确定。如果参考像素线的顺序是小的数字，则优先级可能较高，但是其上的假设可能不会导致相关信息的二值化过程。参考像素线的索引信息或标识符信息可以在预先确定的条件下生成。参考像素线索引或标识符信息可以通过诸如一元二值化、切断一元二值化等各种方法来二值化，并且可以根据参考像素线中的可允许的最大值信息来确定二值化。
当相邻块被共同应用于参考像素线构建或其他时，相对于上述设置的各种组合是可能的。可以以序列、画面、切片块等为单元发送与参考像素线相关的信息。编码/解码的信息可以被包括在预测模式编码步骤中的预测模式信息中。
在通过上述过程构建参考像素候选组之后，执行检查是否使用相邻块的参考像素的过程。是否使用参考像素可以由诸如相邻块位置、相邻块的编码模式、相邻块的参考图像、划分块中的当前块的位置以及当前块和相邻块的边界特征中的至少一个因素或其组合来确定。当前块的预测可以使用参考像素候选组当中通过该过程被确定为可用的像素以及通过该过程被确定为不可用的像素位置的替换的像素值来执行。
在以在帧内预测模式当中的具有方向性的模式进行预测的情况下，可以通过对整数像素的参考像素使用各种内插方法来以十进制单位生成参考像素。当如以上示例中那样添加参考像素线时，可以在内插过程中支持两个或多个参考像素线的参考像素。不仅可以应用在现有的两个像素之间内插分数像素的一维滤波，而且还可以应用在四个像素之间内插分数像素的二维滤波。
在参考像素滤波步骤中，将根据具有更宽参考像素的情况来描述对从参考像素构建步骤中获得的参考像素应用滤波的过程。
图23a、图23b、图24a和图24b是示出对于可包括在参考像素构建步骤中、具有更宽参考像素的当前块的各种模式方向的图。这是为了解释上述各种预测模式的方向的目的，并不限于此。可以在假设第一参考像素线(A0～P0，X0)和第二参考像素线(A1～P1，X1，X10，X01，X11)被构建为参考像素候选组的情况下来进行说明。
当在参考像素候选组中仅包括第一参考像素线时，可以将滤波应用于包括在参考像素候选组中的像素，也就是说，当前块的最相邻像素。当附加的参考像素线被包括在参考像素候选组中时，可以应用考虑附加的参考像素的滤波。
图23a示出了第二参考像素线的参考像素的模式(垂直)的示例性视图，更具体地，位于从当前块的顶部的第二行的参考像素A1、B1、C1和D1被参考为使得通过对参考像素应用滤波而生成的像素被应用于预测，以及第一参考像素线的参考像素的模式的示例性视图，具体地，位于第一行的参考像素A0、B0、C0和D0使得通过对参考像素应用滤波而生成的像素被应用于预测。
图23b示出了第二参考像素线的参考像素的模式(水平)的示例性视图，具体地，位于当前块的左方的第二行的参考像素I1、J1、K1和L1被参考为使得通过应用所生成的参考像素而生成的像素被应用于预测，以及第一参考像素线的参考像素的模式的示例性视图，具体地，参考像素I0、J0、K0和L0使得通过对参考像素应用滤波而生成的像素被应用于预测。
图24a示出了第二参考像素线的参考像素的模式(通向左下端的方向模式)的示例性视图，具体地，位于从当前块的右上端的第二行的参考像素C1、D1、E1、F1、G1和H1被参考为使得通过对参考像素应用滤波而生成的像素被应用于预测，以及第一参考像素线的参考像素的模式的示例性视图，更具体地，位于从当前块的右上端的第一行上的参考像素B0、C0、D0、E0、F0、G0和H0也被参考为使得通过对参考像素应用滤波而生成的像素被应用于预测。
图24b示出了第二参考像素线的参考像素的模式(通向右下端的方向模式)的示例性视图，具体地，参考像素J1、I1、X01、X11、X10、A1和B1被参考为使得通过对参考像素应用滤波而生成的像素被应用于预测，以及第一参考像素线的参考像素的模式的示例性视图，具体地，位于当前块的左上方的参考像素K0、J0、I0、X0、A0、B0和C0使得通过对参考像素应用滤波而生成的像素被应用于预测。
当对第一参考像素线的参考像素应用滤波时，可以根据当前块的模式执行自适应滤波。当第二参考像素线的参考像素也被应用于滤波时，不仅根据当前块的模式执行自适应滤波，而且应用于滤波的参考像素也可以是自适应的。也就是说，当前块的相邻像素上的滤波可以独立于预测模式方向，并且当第二参考像素线的参考像素也被包括在滤波过程中时，可以将如图22a、图22b、图23a和图23b中所示的模式的方向线上的像素应用于滤波。
在预测块生成步骤中，将根据具有更宽参考像素的情况来描述对从参考像素构建步骤中获得的参考像素应用滤波的过程。
在将第一参考像素线作为参考像素候选组的方向预测方法的情况下，可以使用最相邻的参考像素以用于生成预测块。如果支持除了第一参考像素线以外的附加的参考像素线，则可以确定用于生成预测块生成的参考像素。例如，根据预测模式，预测块可以被生成为第一参考像素、预测块可以被生成为第二参考像素、并且预测块可以被生成为第一参考像素线和第二参考像素线的预测像素。
在下文中，将更详细地描述预测模式编码步骤。
在这种情况下，将以HEVC标准来描述以下示例，并且相关设置(预测模式的数量、预测模式方向等)不限于以下描述的示例。由于在HEVC的情况下有35种模式，所以在确定最佳模式之后，需要对有效模式信息进行编码。通常，当图像被划分为几个块时，相邻块通常具有相似的特征。因此，当当前块的模式被编码时，相邻块信息被利用。HEVC基于左方和顶部块的预测模式对当前块的预测模式进行编码。
图25是示出了针对通用当前预测单元(或预测块)的最佳模式确定过程的流程图。在此，最可能模式(MPM)是具有作为当前预测单元的预测模式的高可能性的预测模式。由于当前预测单元周围的预测单元可能具有与当前预测单元的模式相似的模式，所以可以从外围块的模式中选择模式。
参考图25，基于当前预测单元(PU)，将左侧的预测单元的预测模式称为left_PU_MPM，并且将上侧的预测单元的预测模式表示为Above_PU_MPM。具体地，当左预测单元的预测模式不同于上预测单元的预测模式时，第一最可能模式MPM[0]被确定为左预测单元的预测模式，第二最可能模式MPM[1]被确定为上预测单元的预测模式，并且第三最可能模式MPM[2]被确定为不重叠的平面、DC和垂直模式中的一个。另一方面，当左预测单元的预测模式与上预测单元的预测模式相同时，确定相同的预测模式是否小于模式2。如果预测模式小于模式2，则平面、DC和垂直模式被设置为最可能模式，并且当预测模式更大或者相同时，可以将左预测单元的预测模式、一个比它更小的模式、以及一个比它更大的模式分别设置为第一、第二和第三最可能模式(MPM)。
总之，如图25中所示，具有高可能性的作为当前块的预测模式的模式可以被分类为最可能模式(MPM)集或组并且被编码。当当前块具有与相邻块相同的特征时，使得出现相邻块的预测模式与当前块的预测模式相同或相似的情况时，选择MPM组的一个模式的可能性是高的，使得可以分配短比特，从而执行有效编码。如果不出现这种情况，则可以通过对除了所有模式当中的最可能模式(MPM)以外的剩余模式进行二值化并选择其中的一个来编码当前块的预测模式。在HEVC的情况下，最佳模式(MPM)的组中的模式的数量是三个，使得使用一个或两个比特来执行编码。如果未在最可能模式(MPM)组中选择，则使用固定长度的5比特执行编码。根据本发明的实施例不限制将模式用作对左和上预测单元的最可能模式(MPM)，并且可以利用来自左方、左上方和上方、右上方和左下方的块中的一个或多个块的模式信息。并且，在将这些块中的一个被划分为两个或多个块的情况下，有可能对划分块当中的哪个块被参考的信息设置优先级。例如，在当前块是2N×2N并且N×N的两个划分块位于左方的情况下，根据设置规则，则可以使用上方N×N的模式，或者可以使用下方N×N的模式。
由最可能模式(MPM)选择的模式的数量也可以在编码/解码设备中预设，或者以序列、画面、切片等为单元进行发送。此外，可以通过使用诸如固定长度或可变长度的各种二值化方法来表示对于模式的数量的二值化。此外，对于未被分类为最可能模式(MPM)的模式的二值化，可以使用各种二值化方法。此外，为了对未被分类为最可能模式(MPM)的模式进行有效二值化，可以设置MPM候选组。例如，M模式的M-2N可以被二值化为最可能模式(MPM)组，并且2N模式可以被二值化为未被分类为最可能模式(MPM)的候选组。例如，如果有19种模式，则可以选择N作为1、2、3、4中的一个，并且最可能模式(MPM)组中的模式可以表示为可变长度(如果N是4，则可以是三)，并且未被分类为最可能模式(MPM)的候选组可以被表示为固定长度(4比特)。
在下文中，将描述根据本发明的实施例的用于确定当前预测单元(或块)的最可能模式(MPM)的具体示例。为了便于说明，假设具有与当前块相同块类型和尺寸的块位于相邻块中。还假设根据相邻块的参考像素的可用性确定为不可用的块的模式是DC。
首先，为了获得相邻块的模式信息，需要检查对应块的边界像素作为参考像素的可用性。例如，需要检查模式是否位于画面或切片的边界线上，或者编码方式是否相同。在该示例中，无论参考画面是什么，如果编码模式是帧间预测模式，则对应块的参考像素被设置为不可用。(如在HEVC中一样，左和上模式被用作MPM)当左块通过块匹配在当前画面中生成预测块并且用帧间预测方法进行编码时，可以将对应块的参考像素确定为不可用。当上块用帧内预测进行编码时，对应块的模式(垂直)可以被包括在MPM候选中。由于左块的参考像素不可用，所以可以将对应块的模式设置为DC并且包括在MPM候选中。
可用参考像素和不可用参考像素可以通过检查相邻块的参考像素的可用性的过程来分类。被确定为不可用的参考像素可以用预先定义的值(例如，比特深度的像素值的范围的中间值)或从被确定为可用的参考像素中导出的替代值来填充。可以通过使用可用于帧内预测的参考像素的像素值和不可用参考像素的替代值来生成预测块。
图26是用于确定当前预测单元(或块)的预测模式的示例性视图。
参考图26，可用的参考像素可以以黑色显示，而不可用的参考像素可以以无色显示。不可用参考像素可以由预先定义的值或从可用的像素导出的值来替换。在图26中，块A、B、C和D的不可用参考像素的像素值可以用通过复制块E的右上方中的像素值而获得的值来填充。也就是说，块A、B、C和D的所有参考像素可以与块E的右上方中的像素具有相同的值。例如，使用块B和C作为参考像素来生成预测块的所有模式可以构建预测块的所有的预测像素作为相同的像素值(块E的右上方的像素值)。
这里，由于块A或块B被确定为不可用，所以块可以具有如之前假设的DC模式。在这种情况下，由于块A的预测模式被设置为DC，并且块B的模式也被设置为DC，所以有可能降低被确定为最可能模式(MPM)的模式(出现两个DC)是当前块的预测模式的可能性。因此，可以通过用当前块相邻的可用块的预测模式替换来使用该模式。
参考图26，块A的模式可以替代块E的预测模式。通过使用作为块E的预测模式和块B的预测模式的DC，有可能增加当前块的预测模式被选择为MPM的一种模式的可能性。根据图25的流程图有可能设置MPM[0]＝平面模式、MPM[1]＝DC模式、以及MPM[2]＝垂直模式，这是一个通用的方法。假设块E的右边界中的像素是可用的(图中的黑色单元)，并且边界像素顶部的像素值被复制到上述不可用块的边界像素以执行帧内预测，则从平面、DC和垂直生成所有相同的预测块，由此可能出现模式冗余。因此，如上所述，使用替代块的预测模式可以具有更有利的效果。
再次参考图26，如果执行受约束的帧内预测，则图26中显示为黑色的块E的边界像素的右上像素值被复制到块A的边界像素以执行帧内预测。还假设块E的模式不是DC。在此假设下，如果预测块是用包括平面和DC的垂直、水平、组2、组3和组4(针对每个预测模式组参考以下描述的图27)的模式生成的，则有可能生成其中用预测模式生成的所有预测块的像素值是一个值(块E的右上像素值)的预测块。这可能是因为所有被复制到相同的像素值。因此，参考图25的流程图，当通过替换块A并根据最可能模式(MPM)编码来选择块E的预测模式时，候选组可以被分类为作为块E的预测模式的left_PU_MPM，以及作为块B的预测模式(即DC)的Above_PU_MPM，由于Left_PU_MPM和Above_PU_MPM彼此不同，所以MPM[0]＝块E的预测模式、MPM[1]＝DC、MPM[2]＝平面或垂直(根据块E的模式确定)。
当块E的预测模式是平面、DC、垂直、水平以及组2至4中的一个，MPM[0]是平面、DC、垂直、水平以及组2至4中的一个，MPM[1]是DC，那么如果块E的模式不是平面，则MPM[2]是平面，并且如果块E的模式是平面，则MPM[2]是垂直。然而，当如上所述用平面、DC、垂直、水平以及组2、3和4的模式生成预测块时，生成相同的预测块(如果参考像素由像素值100构建，无论何种模式被用来生成预测块，所有像素值都为100)，使得MPM以重叠模式被管理。
因此，当块E的预测模式是平面、DC、垂直、水平以及组2至4(组2、3、4)中的一个时，MPM[0]被确定为平面、DC、垂直、水平、组2至4中的一个，MPM[1]被确定为是属于组1的模式中的一个，并且MPM[2]被确定为与属于组1的MPM[1]不重叠的块中的一个。这是因为除非在块E的边界处的参考像素全部由相同的像素值组成，否则对于每一个模式预测块可以稍微不同(至少一个像素)。这里，编码可以经由对于未被选择为最可能模式(MPM)的预测模式用现有的固定的5比特的二值化或者经由仅对于组1中的模式的二值化来执行。例如，由于模式2到9(组1)存在8个模式(通过减去包括在MPM中的2而减少到6)，所以可以用比固定的5比特更短的比特经由各种二进制化方法来执行编码。
当块E的模式是组1的模式中的一个时，MPM[0]是块E的预测模式，MPM[1]是DC，并且MPM[2]是与组1(由于由DC生成的预测块或由平面、垂直、水平、组2、3和4生成的预测块相同，所以从组1开始)的块E的预测模式不重叠的一个模式。在这种情况下，可以如上所述通过二值化来执行编码。
图27是示出对于预测模式分组的图。
参考图27，可以假设预测模式被分类为平面、DC、垂直、水平、组1、组2、组3和组4。可以允许各种各样的设置将预测模式分组为2个或多个组，并且下面的分组在相似的方向性的设置的情况下进行分类。
在这种情况下，预测模式2至9是针对组1的，预测模式11至17是针对组2的，预测模式18至25是针对组3的，以及预测模式27至34是针对组4的。此外，预测模式0可以表示平面，预测模式1可以表示DC，预测模式10可以表示水平，并且预测模式26可以表示垂直。
在这种预测模式的前提下，在下文中将进一步描述该实施例。
图28至图32是使用除了上块和左块以外的相邻块来为预测模式构建MPM的情况的示例性视图。
参考图28，可以通过替代块A来使用块E的预测模式，并且可以通过替代块B来使用块D的预测模式。
参考图29，可以通过替代块A来使用块D的预测模式，并且可以通过替代块B来使用块C的预测模式。
参考图30，块A的预测模式被原样使用，并且可以通过替代块B来使用块E的预测模式。
参考图31，块B的预测模式被原样使用，并且可以通过替代块B来使用块C的预测模式。
参考图32，块A可以用块E的预测模式替换，块B可以用块D的预测模式替换，块A可以用块D的预测模式替换，并且块B可以用块C的预测模式替换，并且块A可以用块E的预测模式替换，并且块B可以用块C的预测模式替换。也就是说，可用块的预测模式可以被各种组合替换。
以上示例被描述为当由于受限的帧内预测而块不可用时的示例，但是当所有相邻块可用时也可以应用它。如果相邻块的参考像素相似或相同(例如，在计算机捕捉屏幕的情况下)，则通过改变最可能模式(MPM)的候选组设置也有可能进行编码。这种情况将在下面描述。
图33是当当前块和相邻块都可用时最可能模式(MPM)被构建为替代块的情况的示例性视图。
参考图33，黑色像素被用作参考像素，其中在与块A、B、C和D的边界处的像素没有像素值或像素值的类似值的变化，并且块E的边界处的像素被改变。
在这种状态下，即使使用在图27中所示的组2至4中的任何预测模式，则生成相同或相似的预测块，使得可能出现最可能模式(MPM)候选组的冗余。
首先，有可能对块进行分类，该块对每个块的参考像素值的方差σA、σB、σC、σD和σE小于阈值(Th)。假设方差σA、σB、σC、σD和σE小于边界值，并且块E的方差σE大于图33中的边界值，当两个或多个连续块的方差小于边界值时，可能出现最可能模式(MPM)候选组的冗余。例如，如果块B和块C的参考像素具有相同或相似的值，则仅使用块B和块C生成的预测模式的组4和通过垂直模式生成的预测块可以被视为具有相同或相似的值。因此，组4和垂直模式可以执行冗余去除过程。如果块A和块C的参考像素相同或相似，则仅使用块A和块C生成的预测模式不存在，因此不需要考虑。
首先，由于从使用块A、D和B的参考像素生成的预测模式的水平、组2、组3和垂直中生成的预测块具有相同且相似的值，所以可以确定出现冗余。
由于假设从使用块B和C的参考像素生成的预测模式的垂直和组4中生成的预测块具有相同和相似的值，所以可以确定在模式中出现冗余。
由于假设从使用块A、D、B、C的参考像素生成的预测模式的水平、组2、组3、垂直、组4、组4和DC平面中生成的预测块具有相同的预测块，所以可以确定在模式中出现冗余。也就是说，可以确认连续块的方差被计算(σADB、σBC、σADBC)，其小于边界值。
在图33的情况下，确认了A、D、B、C的方差小于边界值并导致最可能的冗余。然后，可以通过如以上所述去除冗余来重置MPM候选组。为了说明以上示例而提到方差，但不限于此。
当块A的预测模式不同于块B的预测模式时，参考图25，MPM[0]＝块A的预测模式，MPM[1]＝块B的预测模式，MPM[2]＝平面、DC或垂直中的一个(根据块A的预测模式和块B的预测模式)。如果两个块中的一个在组1中，并且另一个在其它情况下，则块A的预测模式是通过比较上述方差值来分类以生成相同的预测块的水平、组2、组3、垂直、组4、DC，平面中的一个，并且当模式是组1的模式中的一个时，块B的预测模式可以被构建为在MPM[0]＝块A的预测模式、MPM[1]＝块B的预测模式、以及MPM[2]＝组1的模式当中不与块B的预测模式重叠。如果两种模式都属于组1，则MPM[0]＝块A的预测模式，MPM[1]＝块B的预测模式，以及MPM[2]＝平面。如果两种模式都不属于组1，则MPM[0]＝块A的预测模式，MPM[1]＝组1的模式中的一个，MPM[2]＝与MPM[1]重叠的组1的模式中的一个。如果块A的预测模式和块B的预测模式相同，并且这两个模式大于模式2(不是DC和平面)并且离开图25的中心，可以将其配置为：MPM[0]＝块A的预测模式和MPM[1]＝组1的预测模式中的一个以及如果两种模式是水平、组2、3和垂直的与MPM[2]＝MPM[1]不重叠的模式中的一个。否则，可以配置MPM[0]＝块A的预测模式、MPM[1]＝块A的预测模式a、MPM[2]＝块A的预测模式+1。如果两个模式相同且两个模式小于模式2(DC和平面之一)，则MPM[0]＝平面、MPM[1]＝组1的模式中的一个、MPM[2]是不与MPM[1]重叠的组1的模式中的一个。
图34是示出根据本发明的实施例的用于执行帧内预测的图像编码方法的流程图。
参考图34，用于执行帧内预测的图像编码方法包括：确定当前块的左块和上块中的每一个在当前块的参考像素配置中是否可用(S210)；基于所确定的结果选择最可能模式MPM候选组(S220)；确定从MPM候选组中的帧内预测模式导出的预测块的冗余(S230)；如果确定冗余存在则使用与左块相邻或与上块相邻的替代块的预测模式选择MPM组(S240)；以及基于所选择的MPM组对于当前块执行帧内预测模式编码(S250)。
这里，确定每个块是否可用(S210)可以在左块和上块存在于图像边界之外或者用帧间预测进行编码时确定为不可用，以及可以在其他情况下确定为可用。
在此，MPM候选组可以包括对于左块和上块当中确定为可用的块的帧内预测模式、对于被确定为不可用的块预先确定的帧内预测模式、平面预测模式、平面预测模式、垂直预测模式和DC预测模式中的至少一个。
这里，确定冗余(S230)可以在当左块和上块都可用时，基于针对位于当前块的左下方、左方、左上方、上方和右上方的块当中的两个或多个连续块中的参考像素值计算的方差值来确定冗余。例如，选择并分组两个或多个连续块，并且计算所选择的组的方差值。如果计算的方差值小于边界值，则可以确定存在冗余。
确定冗余(S230)可以包括当左块和上块中的至少一个不可用时选择通过仅参考不可用块与当前块之间的边界像素而构建的帧内预测模式，以及当选择的预测模式中的至少两个被包括在MPM候选组中时确定冗余存在。
这里，可以从位于当前块的左下方、左上方和右上方的相邻块中选择替代块。
在此，如果相邻块由一个或多个块组成时，可以在一个或多个块当中以顺时针或逆时针优先级来选择替代块。
这里，可以从位于当前块的左下方、左上方和右上方的相邻块当中以顺时针或逆时针优先级来选择替代块。
用于执行帧内预测的图像解码方法可以包括：从接收到的比特流中提取关于当前块的预测模式是否被包括在最可能模式MPM组中的数据；基于数据确定当前块的预测模式是否被包括在MPM组中；当确定当前块的预测模式被包括在MPM组中时从接收到的比特流中提取当前块的MPM组索引数据；基于所提取的MPM组索引数据确认MPM组中的当前块的预测模式；以及基于所确认的预测模式对当前块执行帧内预测。
这里，MPM组可以通过以下各项来选择：确定当前块的左块和上块是否可以被用于构建当前块的参考像素；基于所确定的结果选择最可能模式MPM候选组；确定从MPM候选组中的帧内预测模式导出的预测块的冗余；以及当确定冗余存在时使用与左块相邻或与上块相邻的替代块的预测模式。
这里，确定块是否可以被使用在当左块和上块中的每一个存在于图像边界之外或者用帧间预测进行编码时可以确定为不可用的，以及可以在其他情况下确定为可用的。
这里，MPM候选组可以从左块和上块当中确定为可用的块的帧内预测模式、对于被确定为不可用的块预先确定的帧内预测模式、平面预测模式、预测模式和DC预测模式中选择。
这里，当左块和上块都可用时，可以通过基于针对位于当前块的左下方、左方、左上方、上方和右上方的块当中的两个或多个连续块中的参考像素值计算的方差值确定冗余来执行确定预测块的冗余。
这里，确定预测块的冗余可以通过当左块和上块中的至少一个不可用时选择通过仅参考不可用块与当前块之间的边界像素而构建的帧内预测模式来执行，以及当选择的预测模式中的至少两个被包括在MPM候选组中时确定冗余存在。
这里，可以从位于当前块的左下方、左上方和右上方的相邻块中选择替代块。
这里，当用一个或多个块构建相邻块时，可以在一个或多个块当中以顺时针或逆时针优先级来选择替代块。
这里，可以从位于当前块的左下方、左上方和右上方的相邻块当中以顺时针或逆时针优先级来选择替代块。
在根据本发明的其他方面的包括一个或多个处理器的图像解码设备中，一个或多个处理器可以：从接收到的比特流中提取与当前块的预测模式是否包括在最可能模式MPM组中相关的数据；基于数据确定当前块的预测模式是否被包括在MPM组中；当确定当前块的预测模式被包括在MPM组中时从接收到的比特流中提取当前块的MPM组索引数据；基于所提取的MPM组索引数据确认MPM组中的当前块的预测模式；以及基于所确认的预测模式对当前块执行帧内预测。
这里，MPM组可以通过以下各项来选择：确定当前块的左块和上块是否可以被用于构建当前块的参考像素；基于所确定的结果选择MPM候选组；确定从MPM候选组中的帧内预测模式导出的预测块的冗余；以及当确定冗余存在时使用与左块相邻或与上块相邻的替代块的预测模式。
这里，确定块是否可以被使用可以通过当左块和上块中的每一个存在于图像边界之外或者用帧间预测进行编码时确定为不可用来执行，以及可以在其他情况下确定为可用。
确定预测块的冗余可以通过当左块和上块中的至少一个不可用时选择通过仅参考不可用块与当前块之间的边界像素而构建的帧内预测模式来执行，以及当选择的预测模式中的至少两个被包括在MPM候选组中时确定冗余存在。
根据上述实施例，有可能提供在诸如MPEG-2、MPEG-4和H.264的国际编解码器或其他编解码器(在其中帧内预测被使用)中的通常可用的高性能和效率的图像编码和解码技术、使用这种编解码器的媒介和图像工业。
将来，预期将被应用于当前的高效率图像编码技术(HEVC)和使用诸如H.264/AVC和帧内预测的标准编解码器的图像处理。
虽然已经参考本发明的示例性实施例具体示出和描述了本发明，但是本领域普通技术人员将会理解，可以在不脱离如由以下权利要求所定义的本发明的精神和范围的情况下进行各种改变和修改，可以理解的是。

Claims (3)

1.一种用于执行帧间预测的图像解码方法，所述方法包括：
解码指示包括当前块的当前画面是否包括在参考画面列表中的信息；
生成用于所述当前块的参考画面列表0和参考画面列表1；
基于所述参考画面列表0和所述参考画面列表1指定所述当前块的参考画面；和
使用所述参考画面对所述当前块执行帧间预测，
其中所述参考画面列表0和所述参考画面列表1分别包括在所述当前画面之前解码的画面中的至少一个，
所述参考画面列表0和所述参考画面列表1根据所述信息分别还包括所述当前画面，
所述参考画面列表0是通过依次分配所述当前画面之前的参考画面、所述当前画面之后的参考画面和所述当前画面来生成的，
所述参考画面列表1是通过依次分配所述当前画面之后的参考画面、所述当前画面之前的参考画面和所述当前画面来生成的，
所述信息以画面为单元进行解码，以及
所述帧间预测是通过基于所述当前块的相邻块导出的运动向量信息来执行的。
2.一种用于执行帧间预测的图像编码方法，所述方法包括：
生成用于当前块的参考画面列表0和参考画面列表1；
基于所述参考画面列表0和所述参考画面列表1指定所述当前块的参考画面；
使用所述参考画面对所述当前块执行帧间预测；和
编码指示包括所述当前块的当前画面是否包括在参考画面列表中的信息；
其中所述参考画面列表0和所述参考画面列表1分别包括在所述当前画面之前解码的画面中的至少一个，
所述参考画面列表0和所述参考画面列表1根据所述信息分别还包括所述当前画面，
所述参考画面列表0是通过依次分配所述当前画面之前的参考画面、所述当前画面之后的参考画面和所述当前画面来生成的，
所述参考画面列表1是通过依次分配所述当前画面之后的参考画面、所述当前画面之前的参考画面和所述当前画面来生成的，
所述信息以画面为单元进行编码，以及
用于所述当前块的所述帧间预测的运动向量信息是基于所述当前块的相邻块导出的。
3.一种比特流存储方法，包括：
生成比特流，所述比特流包括指示包括当前块的当前画面是否包括在参考画面列表中的信息和用于所述当前块的预测的运动向量信息；和
存储所述比特流，
其中，
所述当前块是使用参考画面和所述运动向量信息进行预测的，
所述当前块的所述参考画面是基于参考画面列表0和参考画面列表1中的至少一个来指定的，
所述参考画面列表0和所述参考画面列表1分别包括在所述当前画面之前解码的画面中的至少一个，
所述参考画面列表0和所述参考画面列表1根据所述信息分别还包括所述当前画面，
所述参考画面列表0是通过依次分配所述当前画面之前的参考画面、所述当前画面之后的参考画面和所述当前画面来生成的，
所述参考画面列表1是通过依次分配所述当前画面之后的参考画面、所述当前画面之前的参考画面和所述当前画面来生成的，
所述信息以画面为单元进行编码，以及
所述运动向量信息是基于所述当前块的相邻块导出的。
CN202210551282.9A 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法 Active CN115134594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210551282.9A CN115134594B (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2015-0079878 2015-06-05
KR20150079896 2015-06-05
KR20150079878 2015-06-05
KR10-2015-0079896 2015-06-05
CN202210551282.9A CN115134594B (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法
CN201680045604.5A CN107925759B (zh) 2015-06-05 2016-06-07 用于编码和解码帧内预测的方法和设备
PCT/KR2016/006013 WO2016195460A1 (ko) 2015-06-05 2016-06-07 화면 내 예측에 대한 부호화/복호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680045604.5A Division CN107925759B (zh) 2015-06-05 2016-06-07 用于编码和解码帧内预测的方法和设备

Publications (2)

Publication Number Publication Date
CN115134594A true CN115134594A (zh) 2022-09-30
CN115134594B CN115134594B (zh) 2024-07-23

Family

ID=57440896

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201680045604.5A Active CN107925759B (zh) 2015-06-05 2016-06-07 用于编码和解码帧内预测的方法和设备
CN202210563176.2A Pending CN115134596A (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法
CN202210551282.9A Active CN115134594B (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法
CN202210551885.9A Pending CN115134595A (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法
CN202210568332.4A Pending CN115134591A (zh) 2015-06-05 2016-06-07 图像编解码方法、比特流存储方法
CN202210551268.9A Active CN115134593B (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201680045604.5A Active CN107925759B (zh) 2015-06-05 2016-06-07 用于编码和解码帧内预测的方法和设备
CN202210563176.2A Pending CN115134596A (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202210551885.9A Pending CN115134595A (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法
CN202210568332.4A Pending CN115134591A (zh) 2015-06-05 2016-06-07 图像编解码方法、比特流存储方法
CN202210551268.9A Active CN115134593B (zh) 2015-06-05 2016-06-07 用于执行帧间预测的图像编解码方法、比特流存储方法

Country Status (4)

Country Link
US (3) US20180160113A1 (zh)
EP (3) EP4013051A1 (zh)
CN (6) CN107925759B (zh)
WO (1) WO2016195460A1 (zh)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2596767B (en) 2015-08-28 2022-07-06 Kt Corp Method and device for processing video signal
EP3376764A4 (en) * 2015-11-12 2019-12-04 LG Electronics Inc. METHOD AND DEVICE FOR COEFFICIENT-INDUCED INTRAPREDICATION IN A BILDCODING SYSTEM
EP3396953A4 (en) * 2016-02-16 2019-01-16 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR ENCODING / DECODING AN IMAGE
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
CN113810709A (zh) * 2016-04-29 2021-12-17 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
CN116962721A (zh) * 2016-05-04 2023-10-27 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测的方法
KR20180040319A (ko) * 2016-10-12 2018-04-20 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
CN109314790A (zh) * 2016-05-23 2019-02-05 佳稳电子有限公司 影像处理方法、利用其的影像解码及编码方法
CN117221588A (zh) * 2016-06-22 2023-12-12 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的传输方法
WO2018012366A1 (ja) * 2016-07-13 2018-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法
WO2018037853A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置及び画像符号化装置
CN117176948A (zh) * 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
EP3306938A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for binary-tree split mode coding
CN117615132A (zh) * 2016-10-14 2024-02-27 世宗大学校产学协力团 影像编码/解码方法及比特流的传送方法
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
KR102331220B1 (ko) * 2016-12-27 2021-12-01 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN116170584A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10904568B2 (en) 2017-03-09 2021-01-26 Kt Corporation Video signal processing method and device for intra prediction of coding or prediction blocks based on sample position based parameters
CN110583017B (zh) * 2017-04-28 2023-10-31 英迪股份有限公司 图像编码/解码方法和装置、以及存储比特流的记录介质
US10630978B2 (en) * 2017-05-12 2020-04-21 Blackberry Limited Methods and devices for intra-coding in video compression
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN110546956B (zh) * 2017-06-30 2021-12-28 华为技术有限公司 一种帧间预测的方法及装置
JP6956543B2 (ja) * 2017-07-03 2021-11-02 日本放送協会 決定装置、符号化装置、復号装置及びプログラム
CN117336511A (zh) * 2017-07-06 2024-01-02 Lx 半导体科技有限公司 图像编码方法、图像解码方法、发送方法和数字存储介质
CN111034196B (zh) * 2017-08-21 2023-11-17 韩国电子通信研究院 用于对视频进行编码/解码的方法和设备以及存储比特流的记录介质
US10641957B2 (en) 2017-08-29 2020-05-05 Juniper Networks, Inc. Smooth waveguide structures and manufacturing methods
WO2019059482A1 (ko) * 2017-09-19 2019-03-28 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
WO2019096221A1 (en) * 2017-11-17 2019-05-23 Fg Innovation Ip Company Limited Device and method for coding video data based on adjusted intra mode list
KR102402539B1 (ko) * 2017-11-28 2022-05-27 한국전자통신연구원 양방향 인트라 예측 방법 및 장치
CN111602400B (zh) 2018-01-15 2024-04-19 有限公司B1影像技术研究所 用于色度分量的帧内预测编码/解码方法和装置
CA3090465A1 (en) 2018-02-08 2019-08-15 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US10694195B2 (en) * 2018-03-07 2020-06-23 Tencent America LLC Methods and apparatus for palette coding
US20210006799A1 (en) 2018-03-27 2021-01-07 Kt Corporation Video signal processing method and device
EP3787287A4 (en) 2018-04-24 2022-04-13 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND APPARATUS, AND VIDEO DECODING METHOD AND APPARATUS
CN118018725A (zh) * 2018-05-10 2024-05-10 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
WO2019234613A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with partition into 3 sub-blocks by horizontal and vertical splits
CN110620926B (zh) * 2018-06-20 2022-01-04 浙江大学 一种帧内预测模式编解码方法及装置
IL279503B2 (en) 2018-06-25 2024-09-01 Guangdong Oppo Mobile Telecommunications Corp Ltd Interior-frame and device prediction method
EP3815361A1 (en) * 2018-06-26 2021-05-05 InterDigital VC Holdings, Inc. Multiple reference intra prediction using variable weights
CA3104630A1 (en) * 2018-06-27 2020-01-02 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN112425161A (zh) * 2018-07-11 2021-02-26 英迪股份有限公司 基于帧内预测的视频编码方法和装置
EP3808091A1 (en) * 2018-07-20 2021-04-21 Huawei Technologies Co., Ltd. Method and apparatus of reference sample interpolation for bidirectional intra prediction
KR20210027486A (ko) 2018-08-27 2021-03-10 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측 방법 및 장치
EP3844950A4 (en) * 2018-08-28 2022-05-25 FG Innovation Company Limited DEVICE AND METHOD FOR ENCODING VIDEO DATA
CN117729327A (zh) * 2018-09-03 2024-03-19 华为技术有限公司 用于帧内预测的方法和装置
CN118055231A (zh) * 2018-09-06 2024-05-17 Lg 电子株式会社 使用mpm列表的基于帧内预测的图像编码方法及其装置
EP3834410A4 (en) 2018-09-13 2021-11-03 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR INTRAPREDICTION
US11445216B2 (en) * 2018-09-14 2022-09-13 Lg Electronics Inc. Image prediction method and apparatus for performing intra prediction
AU2019344407B2 (en) * 2018-09-21 2022-07-07 Huawei Technologies Co., Ltd. Intra prediction mode derivation based on neighboring blocks
WO2020061784A1 (zh) * 2018-09-25 2020-04-02 北京大学 编码方法、解码方法、编码设备和解码设备
US11095885B2 (en) * 2018-10-05 2021-08-17 Tencent America LLC Mode list generation for multi-line intra prediction
CN118264817A (zh) 2018-10-09 2024-06-28 华为技术有限公司 图像和视频译码的设备和方法
CN118214860A (zh) 2018-10-12 2024-06-18 英迪股份有限公司 图像解码和编码方法、数字存储介质、发送比特流的方法
CN118158431A (zh) * 2018-10-12 2024-06-07 韦勒斯标准与技术协会公司 使用多假设预测的视频信号处理方法和装置
CN109561314B (zh) * 2018-10-26 2020-12-22 嘉兴奥恒进出口有限公司 带宽压缩的自适应模板预测方法
CN109413420B (zh) * 2018-10-26 2020-10-13 吉林建筑大学 带宽压缩中复杂纹理的双模式选择预测方法
WO2020108640A1 (en) * 2018-11-29 2020-06-04 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods of most probable mode list construction for blocks with multi-hypothesis prediction
US11323748B2 (en) * 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
WO2020139006A2 (ko) 2018-12-28 2020-07-02 한국전자통신연구원 화면 내 예측 모드 유도 방법 및 장치
CN118694927A (zh) * 2018-12-28 2024-09-24 英迪股份有限公司 对图像进行解码、编码的方法和非暂态计算机可读存储介质
CN118660160A (zh) * 2018-12-28 2024-09-17 有限公司B1影像技术研究所 对图像进行编码/解码的方法和计算机可读存储介质
WO2020171647A1 (ko) * 2019-02-21 2020-08-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치
CN112740677A (zh) 2019-02-28 2021-04-30 株式会社 Xris 用于对图像信号进行编码/解码的方法及其装置
WO2020183849A1 (ja) * 2019-03-08 2020-09-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3941047A4 (en) 2019-03-12 2022-12-28 LG Electronics Inc. METHOD AND DEVICE FOR ENCODING/DECODING VIDEO AND METHOD FOR TRANSMISSION OF BITSTREAM
CN110210283B (zh) * 2019-04-09 2021-05-14 深圳市梦网视讯有限公司 一种基于换装应用的图像处理方法和系统
KR20210145754A (ko) * 2019-04-12 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 산출
WO2020224660A1 (en) * 2019-05-09 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for screen content coding
EP3989547A4 (en) 2019-06-21 2023-04-19 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE
JP7401566B2 (ja) 2019-06-24 2023-12-19 ヒョンダイ モーター カンパニー 動画データのイントラ予測コーディングのための方法及び記録媒体
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
KR20220032520A (ko) 2019-07-20 2022-03-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 팔레트 모드 사용 지시의 조건 종속적인 코딩
CN114145013B (zh) 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
US12081735B2 (en) 2019-07-25 2024-09-03 Wilus Institute Of Standards And Technology Inc. Video signal processing method and device
WO2021018166A1 (en) * 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
CN113794883B (zh) * 2019-08-23 2022-12-23 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US20220224932A1 (en) * 2019-09-23 2022-07-14 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bitstream
CN113794878B (zh) * 2019-09-23 2022-12-23 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2021110568A1 (en) * 2019-12-05 2021-06-10 Interdigital Vc Holdings France, Sas Intra sub partitions for video encoding and decoding combined with multiple transform selection, matrix weighted intra prediction or multi-reference-line intra prediction
CN113709501B (zh) * 2019-12-23 2022-12-23 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
EP4084477A4 (en) * 2019-12-26 2023-12-20 LG Electronics Inc. IMAGE CODING/DECODING METHOD AND DEVICE FOR PERFORMING PDPC AND METHOD FOR TRANSMITTING A BIT STREAM
JP7444998B2 (ja) * 2019-12-31 2024-03-06 エルジー エレクトロニクス インコーポレイティド リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
US11831900B2 (en) * 2021-03-29 2023-11-28 Ati Technologies Ulc Video encoding/decoding using detected pattern of pixel intensity differences
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer
WO2023277487A1 (ko) * 2021-06-29 2023-01-05 주식회사 케이티 화면내 예측 기반의 비디오 신호 부호화/복호화 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
CN114513661B (zh) * 2022-04-20 2022-09-06 宁波康达凯能医疗科技有限公司 一种基于方向检测的帧内图像模式决策方法与系统

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128749A (ja) * 2002-09-30 2004-04-22 Toshiba Corp 動画像符号化方法及び復号化方法
US20090129465A1 (en) * 2007-11-09 2009-05-21 Thomson Licensing Methods and apparatus for adaptive reference filtering (arf) of bi-predictive pictures in multi-view coded video
US20100220785A1 (en) * 2009-02-27 2010-09-02 Stmicroelectronics S.R.I. Video coding method and device, related scalable bitstream and computer program product
US20110286679A1 (en) * 2009-01-22 2011-11-24 Ntt Docomo, Inc. Image encoding/decoding system
CN102668561A (zh) * 2009-12-17 2012-09-12 瑞典爱立信有限公司 用于视频编码的方法和设备
WO2012148128A2 (ko) * 2011-04-24 2012-11-01 엘지전자 주식회사 인터 예측 방법과 이를 이용한 인코딩 방법, 디코딩 방법 및 장치
US20130028322A1 (en) * 2010-04-08 2013-01-31 Ntt Docomo, Inc. Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method
US20130114742A1 (en) * 2011-11-08 2013-05-09 Nokia Corporation Reference picture handling
KR20130050863A (ko) * 2011-11-08 2013-05-16 삼성전자주식회사 참조리스트를 이용하는 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US20130148722A1 (en) * 2011-12-09 2013-06-13 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
US20130271571A1 (en) * 2010-12-27 2013-10-17 Telefonaktiebolaget L M Ericsson (Publ) Method and Arrangement for Processing of Encoded Video
CN103392340A (zh) * 2011-03-14 2013-11-13 联发科技股份有限公司 推导时间运动向量预测的方法与装置
CN103416062A (zh) * 2011-01-07 2013-11-27 三星电子株式会社 能够执行双向预测和单向预测的视频预测方法及其装置、视频编码方法及其装置以及视频解码方法及其装置
CN103444181A (zh) * 2011-04-12 2013-12-11 松下电器产业株式会社 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
US20140003521A1 (en) * 2011-03-11 2014-01-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding images and method and apparatus for decoding
CN103765899A (zh) * 2011-06-15 2014-04-30 韩国电子通信研究院 用于编码和解码可伸缩视频的方法以及使用其的设备
CN103931189A (zh) * 2011-09-22 2014-07-16 Lg电子株式会社 用信号发送图像信息的方法和装置，以及使用其的解码方法和装置
US20140286416A1 (en) * 2011-11-11 2014-09-25 LG Electronics Inc. a corporation Method and device for transmitting image information, and decoding method and device using same
CN104081770A (zh) * 2012-01-20 2014-10-01 株式会社泛泰 帧内预测模式映射方法和使用该方法的装置
US20140307795A1 (en) * 2013-04-10 2014-10-16 Qualcomm Incorporated Backward view synthesis prediction
CN104170390A (zh) * 2012-01-19 2014-11-26 Vid拓展公司 用于视频编码参考图像列表的用信号发送和建构的方法及装置
US20150010083A1 (en) * 2013-07-08 2015-01-08 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
KR20150011740A (ko) * 2013-07-15 2015-02-02 주식회사 케이티 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
US7999830B1 (en) * 2006-04-07 2011-08-16 Dell Products L.P. Rendering changed portions of composited images
KR101370892B1 (ko) * 2006-11-13 2014-03-26 엘지전자 주식회사 영상블록에 대한 레이어간 모션 예측 방법
US8923399B2 (en) * 2007-01-24 2014-12-30 Lg Electronics Inc. Method and an apparatus for processing a video signal
CN106454379B (zh) * 2010-09-30 2019-06-28 三菱电机株式会社 运动图像编码装置及其方法、运动图像解码装置及其方法
KR101756442B1 (ko) * 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CN102595118B (zh) * 2011-01-14 2015-04-08 华为技术有限公司 一种编解码中的预测方法和预测器
JP6108309B2 (ja) * 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
EP2728872A4 (en) * 2011-07-01 2016-05-11 Samsung Electronics Co Ltd VIDEO CODING METHOD WITH INTRAPRADICATION ON THE BASIS OF A TEST PROCESS FOR UNIFORM REFERENCE POSSIBILITY, VIDEO DECODING METHOD AND DEVICE THEREFOR
EP2560386A1 (en) * 2011-08-15 2013-02-20 MediaTek, Inc Video processing apparatus and method
WO2013023518A1 (en) * 2011-08-17 2013-02-21 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction using non-square blocks
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
JP6017574B2 (ja) * 2011-10-24 2016-11-02 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 参照ピクチャマーキング
WO2013066045A1 (ko) * 2011-10-31 2013-05-10 엘지전자 주식회사 참조 픽처 리스트 초기화 방법 및 장치
US9363513B2 (en) * 2011-12-14 2016-06-07 Intel Corporation Methods, systems, and computer program products for assessing a macroblock candidate for conversion to a skipped macroblock
CN103200400B (zh) 2012-01-09 2018-03-16 中兴通讯股份有限公司 一种图像层和分片层的编解码方法、编解码器和电子设备
CN110650336B (zh) * 2012-01-18 2022-11-29 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
KR20130105114A (ko) * 2012-03-16 2013-09-25 주식회사 아이벡스피티홀딩스 인트라 예측 모드에서의 영상 복호화 방법
CN104221384A (zh) * 2012-04-13 2014-12-17 夏普株式会社 用于发送和接收长期参考画面指示符的设备
US20150071351A1 (en) * 2012-04-15 2015-03-12 Samsung Electronics Co., Ltd. Inter prediction method in which reference picture lists can be changed and apparatus for the same
WO2013157791A1 (ko) * 2012-04-15 2013-10-24 삼성전자 주식회사 인터 예측의 참조영상을 결정하는 방법과 그 장치
CN104396244B (zh) * 2012-04-16 2019-08-09 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机可读存储介质
EP2843946A4 (en) 2012-04-25 2016-01-20 Samsung Electronics Co Ltd MULTILOSYVIEW VIDEO COORDINATION METHOD USING A REFERENCE FILMS FOR MULTILOOK VIEW VIEW AND DEVICE THEREFOR, AND MULTIPLE VIDEO VIDEO CODING METHODS USING A REFERENCE FILMS FOR MULTILOOK VIEWS AND METHOD THEREFOR
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
AU2013285746B2 (en) * 2012-07-02 2015-09-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding video and method and apparatus for decoding video determining inter-prediction reference picture list depending on block size
CN102790908A (zh) * 2012-07-30 2012-11-21 四川长虹电器股份有限公司 一种基于epg实现节目推荐的方法
WO2014088316A2 (ko) * 2012-12-04 2014-06-12 인텔렉추얼 디스커버리 주식회사 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR102219841B1 (ko) * 2012-12-10 2021-02-25 한국전자통신연구원 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
WO2014107083A1 (ko) * 2013-01-07 2014-07-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
GB2511288A (en) * 2013-01-09 2014-09-03 Canon Kk Method, device, and computer program for motion vector prediction in scalable video encoder and decoder
US10136119B2 (en) * 2013-01-10 2018-11-20 Qualcomm Incoporated View synthesis in 3D video
EP2936816B1 (en) * 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
US9641853B2 (en) 2013-04-15 2017-05-02 Futurewei Technologies, Inc. Method and apparatus of depth prediction mode selection
KR102262064B1 (ko) * 2013-06-12 2021-06-08 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US9451254B2 (en) 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
KR20150043990A (ko) * 2013-10-15 2015-04-23 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US20150110181A1 (en) 2013-10-18 2015-04-23 Samsung Electronics Co., Ltd. Methods for palette prediction and intra block copy padding
KR20150048077A (ko) * 2013-10-25 2015-05-06 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR101908205B1 (ko) * 2014-02-21 2018-10-15 미디어텍 싱가폴 피티이. 엘티디. 인트라 화상 블록 카피에 기초한 예측을 이용하는 비디오 코딩 방법
KR20170066457A (ko) 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128749A (ja) * 2002-09-30 2004-04-22 Toshiba Corp 動画像符号化方法及び復号化方法
US20090129465A1 (en) * 2007-11-09 2009-05-21 Thomson Licensing Methods and apparatus for adaptive reference filtering (arf) of bi-predictive pictures in multi-view coded video
US20110286679A1 (en) * 2009-01-22 2011-11-24 Ntt Docomo, Inc. Image encoding/decoding system
US20100220785A1 (en) * 2009-02-27 2010-09-02 Stmicroelectronics S.R.I. Video coding method and device, related scalable bitstream and computer program product
CN102668561A (zh) * 2009-12-17 2012-09-12 瑞典爱立信有限公司 用于视频编码的方法和设备
US20130028322A1 (en) * 2010-04-08 2013-01-31 Ntt Docomo, Inc. Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method
US20130271571A1 (en) * 2010-12-27 2013-10-17 Telefonaktiebolaget L M Ericsson (Publ) Method and Arrangement for Processing of Encoded Video
CN103416062A (zh) * 2011-01-07 2013-11-27 三星电子株式会社 能够执行双向预测和单向预测的视频预测方法及其装置、视频编码方法及其装置以及视频解码方法及其装置
US20140003521A1 (en) * 2011-03-11 2014-01-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding images and method and apparatus for decoding
CN103392340A (zh) * 2011-03-14 2013-11-13 联发科技股份有限公司 推导时间运动向量预测的方法与装置
CN103444181A (zh) * 2011-04-12 2013-12-11 松下电器产业株式会社 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
WO2012148128A2 (ko) * 2011-04-24 2012-11-01 엘지전자 주식회사 인터 예측 방법과 이를 이용한 인코딩 방법, 디코딩 방법 및 장치
CN103765899A (zh) * 2011-06-15 2014-04-30 韩国电子通信研究院 用于编码和解码可伸缩视频的方法以及使用其的设备
CN103931189A (zh) * 2011-09-22 2014-07-16 Lg电子株式会社 用信号发送图像信息的方法和装置，以及使用其的解码方法和装置
KR20130050863A (ko) * 2011-11-08 2013-05-16 삼성전자주식회사 참조리스트를 이용하는 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US20130114742A1 (en) * 2011-11-08 2013-05-09 Nokia Corporation Reference picture handling
US20140286416A1 (en) * 2011-11-11 2014-09-25 LG Electronics Inc. a corporation Method and device for transmitting image information, and decoding method and device using same
US20130148722A1 (en) * 2011-12-09 2013-06-13 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
CN104170390A (zh) * 2012-01-19 2014-11-26 Vid拓展公司 用于视频编码参考图像列表的用信号发送和建构的方法及装置
CN104081770A (zh) * 2012-01-20 2014-10-01 株式会社泛泰 帧内预测模式映射方法和使用该方法的装置
US20140307795A1 (en) * 2013-04-10 2014-10-16 Qualcomm Incorporated Backward view synthesis prediction
US20150010083A1 (en) * 2013-07-08 2015-01-08 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
KR20150011740A (ko) * 2013-07-15 2015-02-02 주식회사 케이티 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAO PANG 等: "Non-CE2: Intra block copy with Inter signaling，JCTVC-S0113-v4", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 19TH MEETING: STRASBOURG, FR, 17–24 OCT. 2014》, 20 October 2014 (2014-10-20) *
RAJAN JOSHI 等: "High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 1，JCTVC-R1005-v3", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 18TH MEETING: SAPPORO, JP, 30 JUNE – 9 JULY 2014》, 26 September 2014 (2014-09-26) *
XIAOZHONG XU 等: "CE2: Test 5 – Intra BC unified with Inter using intra_bc_flag ，JCTVC-S0122", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 19TH MEETING: STRASBOURG, FR, 17–24 OCT. 2014》, 15 October 2014 (2014-10-15) *

Also Published As

Publication number Publication date
US11368675B2 (en) 2022-06-21
CN115134594B (zh) 2024-07-23
EP3654646A1 (en) 2020-05-20
US12088788B2 (en) 2024-09-10
US20220321875A1 (en) 2022-10-06
CN107925759A (zh) 2018-04-17
CN115134593A (zh) 2022-09-30
CN115134593B (zh) 2024-07-23
CN115134596A (zh) 2022-09-30
CN107925759B (zh) 2022-06-03
CN115134591A (zh) 2022-09-30
US20200021801A1 (en) 2020-01-16
CN115134595A (zh) 2022-09-30
EP3306920A4 (en) 2019-01-16
EP3306920A1 (en) 2018-04-11
US20180160113A1 (en) 2018-06-07
WO2016195460A1 (ko) 2016-12-08
EP4013051A1 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
CN107925759B (zh) 用于编码和解码帧内预测的方法和设备
KR101988888B1 (ko) 화면 내 예측 모드에 대한 부호화/복호화 방법 및 장치
KR102558270B1 (ko) 적응적인 디블록킹 필터링에 관한 부호화/복호화 방법 및 장치
EP3306935A1 (en) Image encoding and decoding method and image decoding device
KR101966195B1 (ko) 화면내 예측에서의 참조 화소 구성에 관한 부호화/복호화 방법 및 장치
KR101782156B1 (ko) 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치
KR20220082791A (ko) 움직임 예측 정보를 유도하는 방법 및 장치
KR20170110556A (ko) 움직임 벡터 차분치를 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
KR101782153B1 (ko) 움직임 벡터 후보 선택 방법 및 이를 이용하는 영상 부호화／복호화 방법
KR20220024304A (ko) 움직임 벡터 정밀성을 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
KR20230108527A (ko) 예측을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20230148749A (ko) 머신 비전을 위한 피쳐 맵 부호화/복호화 방법, 장치 및 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40081649

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant