CN102124739B - 图像编码方法及其装置、图像解码方法及其装置 - Google Patents

图像编码方法及其装置、图像解码方法及其装置 Download PDF

Info

Publication number
CN102124739B
CN102124739B CN200980131662.XA CN200980131662A CN102124739B CN 102124739 B CN102124739 B CN 102124739B CN 200980131662 A CN200980131662 A CN 200980131662A CN 102124739 B CN102124739 B CN 102124739B
Authority
CN
China
Prior art keywords
data
group
processing unit
unit
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980131662.XA
Other languages
English (en)
Other versions
CN102124739A (zh
Inventor
陈建乐
李再出
李相来
千岷洙
李教爀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201410334485.8A priority Critical patent/CN104093019B/zh
Publication of CN102124739A publication Critical patent/CN102124739A/zh
Application granted granted Critical
Publication of CN102124739B publication Critical patent/CN102124739B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本发明涉及基于动态确定的数据处理单位的图像编码及解码。本发明公开如下的图像编码方法：针对分类为基本块的图像数据，将图像数据分类为包括至少一个基本块的组、及包括至少一个基本块并包括在组中的子组，为了编码预定组，确定组的编码模式，该编码模式表示根据组、子组及基本块中的一个数据处理单位编码预定组的数据的方式，并根据所确定的编码模式编码组的数据。图像编码过程中的各个具体过程考虑组的编码模式而进行。

Description

图像编码方法及其装置、图像解码方法及其装置
技术领域
本发明涉及图像的编码及解码。
背景技术
现有的MPEG2、MPEG4、H.264/AVC等基于块的视频编解码方式中，宏块大小固定为16×16。尤其，对于H.264/AVC，为了更加准确地进行估计或预测，有时也细分为8×8以下的4×4块加以使用。
附图说明
图1示出根据本发明一实施例的图像编码装置的框图；
图2示出根据本发明一实施例的图像解码装置的框图；
图3示出本发明中所提出的数据处理单位——“组”的概念；
图4示出本发明中所提出的数据处理单位——“子组”的一例；
图5示出本发明中所提出的数据处理单位——“子组”的另一例；
图6示出根据本发明一实施例的编码模式的语法(syntax)；
图7示出对各数据处理单位的编码方式的一例；
图8示出根据本发明一实施例确定组编码模式的编码方法的流程图；
图9示出根据本发明一实施例读取编码模式而进行解码的方法的流程图；
图10示出本发明中可使用的数据处理单位的层级结构；
图11示出根据本发明的另一实施例的读取超级宏块及宏块单位的编码模式的语法；
图12示出根据本发明的另一实施例，编码模式为跳跃模式时的运动矢量估计方式；
图13示出本发明的另一实施例的对应各数量据处理单位的编解码处理顺序；
图14示出本发明的另一实施例的频率系数的排列方式；
图15比较根据已有编码方式及本发明的另一实施例的CBP(Coded BlockPattern，编码块样式)及与系数块大小相关的语法编码方式；
图16示出本发明的另一实施例的CBP相关语法；
图17示出本发明的另一实施例的B帧的编码模式；
图18示出根据本发明一实施例的图像编码方法的流程图；
图19示出根据本发明一实施例的图像解码方法的流程图；
图20a、20b、20c、20d、20e以及20f分别示出考虑根据一实施例动态确定的数据处理单位的图像编码装置100的变形实施例的框图；
图20g示出考虑根据本发明一实施例动态确定的数据处理单位的图像编码方法的流程图；
图21针对考虑根据本发明一实施例的大型数据处理单位的运动估计，示出按照数据处理单位的扫描方式；
图22示出在考虑根据本发明一实施例的大型数据处理单位的运动估计中，相邻的相邻数据处理单位的利用可能性；
图23a示出根据本发明一实施例的大型数据处理单位中简化的层级数据处理单位；
图23b示出考虑根据本发明一实施例的大型数据处理单位的语法；
图24a、图24b以及图24c示出根据本发明一实施例的跳跃组的各种组成方式；
图25a及图25b示出根据本发明一实施例的大型数据处理单位内的运动矢量导出方式和小型数据处理单位的运动矢量导出方式；
图26a及图26b示出针对根据本发明一实施例的大型数据处理单位的色度分量的各种运动估计方式；
图27示出针对根据本发明一实施例的大型数据处理单位的色度分量的数据处理单位的大小的导出方式；
图28示出利用考虑根据本发明一实施例的大型数据处理单位的编码块样式的方法的流程图；
图29a以及图29b示出扫描考虑根据本发明一实施例的大型数据处理单位的编码块样式的各种方式；
图30a、30b、30c、30d、30e以及图30f分别示出考虑根据一实施例动态确定的数据处理单位的图像解码装置200的变形实施例的框图；
图31a、31b、31c、31d、31e以及图31f分别示出考虑根据一实施例动态确定的数据处理单位的图像编码方法1800的变形实施例的流程图；
图32a、32b、32c、32d、32e以及图32f分别示出考虑根据一实施例动态确定的数据处理单位的图像解码方法19100的变形实施例的流程图。
发明内容
技术问题
本发明涉及基于动态确定的数据处理单位的图像编码及解码。
技术方案
根据本发明一实施例的图像编码方法包括如下步骤：针对分类为基本块的图像，将所述图像数据分类为包括至少一个基本块的组、及包括至少一个基本块并包括在所述组中的子组；为了编码预定组，确定所述预定组的编码模式，该编码模式表示根据所述组、子组及基本块中的一个数据处理单位编码预定组的数据的方式；以及根据所述确定的编码模式编码所述预定组的数据。
本发明的最佳实施方式
根据本发明一实施例的图像编码方法包括如下步骤：针对分类为基本块的图像，将所述图像数据分类为包括至少一个基本块的组、包括至少一个基本块并包括在所述组中的子组及基本块；为了对预定组进行编码，确定所述预定组的编码模式，该编码模式表示根据所述组、子组及基本块中的一个数据处理单位对预定组的数据进行编码的方式；以及，根据所述确定的编码模式编码所述预定组的数据。
根据一实施例的图像编码方法，可进一步包括对表示所述预定组的编码模式的标志进行编码的步骤。
根据一实施例的图像编码方法的所述数据分类步骤可包括确定表示所述组中所包括的基本块数量的组大小以及由包括在所述组中的基本块所形成的组形状的步骤。
根据一实施例的图像编码方法的所述数据分类步骤可包括基于表示所述组中所包括的子组数量的等级以及所述基本块的扫描顺序，确定所述组的子组的步骤。
根据一实施例的图像编码方法的所述编码模式可以包括关于数据处理单位种类的信息、关于所述数据处理单位大小的信息、关于预测模式的信息中的至少一个，所述关于数据处理单位种类的信息表示所述组单位、所述子组单位、所述基本块单位中的哪一个为用于对所述组的数据进行编码的数据处理单位，所述关于数据处理单位大小的信息表示所述数据处理单位所包括的基本块数量，所述关于预测模式的信息表示为进行对所述数据处理单位的运动估计而确定对应所述数据处理单位的参考信息的方式。
根据一实施例的图像编码方法的所述编码模式确定步骤可以包括如下步骤：按照所述组的各个预定数据处理单位，根据至少一个预测模式进行针对所述数据处理单位的编码；计算按照所述预定数据处理单位及预测模式的组合进行编码所引起的误差率；确定对应于计算出的所述误差率中的最小误差率的所述预定数据处理单位的预测模式。
根据一实施例的图像编码方法的所述编码模式确定步骤可以包括如下步骤：比较考虑到按照所述组内数据处理单位的预测模式的编码误差率，将对应于最小误差率的数据处理单位及预测模式的组合确定为所述组的编码模式。
根据一实施例的图像编码方法还可以包括将组单位及子组单位中一个数据进行经频率变换的系数以多个基本块单位重新排列的步骤。
根据一实施例的所述图像编码方法还可以包括对表示所述频率变换的系数是否重新排列为基本块单位的标志进行编码的步骤。
根据一实施例的所述图像编码方法还可以包括将表示用于对所述组内数据进行频率变换的数据处理单位的标志编码的步骤。
根据一实施例的所述数据分类步骤中，可以按照所述图像数据的图片、序列及组中的一个的数据单位分别确定所述组单位大小、形状及最大等级。
根据本发明一实施例的图像解码方法，包括如下步骤：接收编码为基本块、包括至少一个基本块的组、及包括至少一个基本块并包括在所述组中的子组中的一个数据处理单位的数据进行解析；从所述解析的数据，读取表示以所述组、子组及基本块中的一个数据处理单位对预定组的数据进行编码的方式的所述预定组的编码模式；基于所述读取的编码模式对所述预定组的数据进行解码。
根据一实施例的图像解码方法的所述编码模式读取步骤可以包括如下步骤：从所述解析的数据，读取设定为用于解码的数据处理单位的组的形状、表示包括在所述组内的基本块的数量的组的大小以及关于所述组内子组的最大数量的最大等级信息；利用关于所述组的形状及所述组的大小的信息，确定作为分类所述解析的图像数据而进行解码的数据处理单位的组。
根据一实施例的图像解码方法，所述组单位可以分别按照所述图像数据的图片、序列及组中的一个数据单位进行设定。
根据一实施例的图像解码方法，所述子组可以基于表示包括在所述组中的子组数量的等级及所述基本块的扫描顺序进行设定。
根据一实施例的图像解码方法的所述编码模式读取步骤可以包括如下步骤：从针对所述预定组的数据提取编码模式标志，该编码模式标志表示所述预定组的编码模式；利用所述编码模式标志读取所述预定组的编码模式。
根据一实施例的图像解码方法中，所述组的编码模式可以包括关于数据处理单位种类的信息、关于所述数据处理单位大小的信息、关于预测模式的信息中的至少一个，所述关于数据处理单位种类的信息表示编码所述组的数据的数据处理单位为所述组、所述子组、所述基本块中的哪一个，所述关于数据处理单位大小的信息表示所述数据处理单位所包括的基本块数量，所述关于预测模式的信息表示为进行对所述数据处理单位的运动估计而确定对应于所述数据处理单位的参考信息的方式。
根据一实施例的图像解码方法的所述组解码步骤可以包括如下步骤：基于所述编码模式的关于所述数据处理单位种类的信息及关于大小的信息，确定所要进行解码的数据处理单位；基于所述编码模式的关于预测模式的信息确定所述数据处理单位的预测模式；基于所述确定的数据处理单位及预测模式，对所述组的图像数据进行解码。
根据一实施例的图像解码方法中，所述编码模式可以在对所述组的编码中，按照所述组内的数据处理单位，针对根据至少一个预测模式的预定数据处理单位的进行编码来计算按照预测模式的编码误差率，按照所述数据处理单位，确定对应于按照所述预测模式的编码误差率中的最小误差率的所述预定数据处理单位及预测模式的组合，按照所述组内的数据处理单位及预测模式的组合比较编码误差率，选择具有最小误差率的数据处理单位及预测模式的组合来设定为所述组的编码模式。
根据一实施例的图像解码方法中，所述基本块单位的解码处理顺序可以为折线扫描方式。
根据一实施例的图像解码方法，还可以包括将多个基本块的进行频率变换的系数重新排列为组单位及子组单位中的一个的步骤。
根据一实施例的图像解码方法还可以包括从所述解析的数据，读取表示所述组单位及子组单位中一个的数据进行频率变换的系数是否重新排列为基本块单位的标志的步骤。
根据一实施例的图像解码方法，还可以包括从所述解析的数据读取标志的步骤，该标志为表示用于所述组内数据的频率变换的数据处理单位。
根据本发明一实施例的图像编码装置，包括：数据分类部，针对分类为基本块的图像，将所述图像数据分类为包括至少一个基本块的组、包括至少一个基本块并包括在所述组中的子组及基本块；组编码模式确定部，为了编码所述组，确定组单位、子组单位及基本块单位中的至少一个数据处理单位及表示根据所述至少一个数据处理单位的所述组的数据的编码方式的所述组的编码模式；组编码部，根据所述确定的编码模式编码所述组的数据。
根据本发明一实施例的图像解码装置，包括：接收部，接收编码为基本块、包括至少一个基本块的组、及包括至少一个基本块并包括在所述组中的子组中的一个数据处理单位的数据并进行解析；组编码模式读取部，从所述解析的数据，读取表示以所述组、子组及基本块中的一个数据处理单位编码预定组的数据的方式的所述预定组的编码模式；组解码部，基于所述读取的编码模式解码所述预定组的数据。
根据一实施例，一旦确定表示对图像的数据处理单位的种类及运动估计方式的编码模式，则考虑对应于编码模式的数据处理单位及运动预测模式来对图像进行编码。
根据本发明一实施例利用动态确定的数据处理单位编码图像的方法还包括如下步骤：基于对应于所述确定的组的编码模式的大型数据处理单位进行用于所述输入图像的编码的频率变换及量化；基于所述大型数据处理单位，进行用于所述输入图像的编码的运动估计；基于所述大型数据处理单位，进行用于所述输入图像的编码的环路滤波；基于所述大型数据处理单位，进行用于所述输入图像的编码的熵编码。
根据一实施例，一旦读取表示对图像的数据处理单位的种类及运动估计方式的编码模式，则考虑对应于编码模式的数据处理单位及运动预测模式来解码图像。
根据本发明一实施例利用动态确定的数据处理单位解码图像的方法还包括如下步骤：基于对应于所述读取的组的编码模式的大型数据处理单位，进行用于所述组的数据的解码的熵解码；基于所述大型数据处理单位，进行用于所述组的数据的解码的反量化及逆频率变换；基于所述大型数据处理单位，进行用于所述组的数据的解码的运动估计；基于所述大型数据处理单位，进行用于所述组的数据的解码的环路滤波。
根据本发明一实施例利用动态确定的数据处理单位编码图像的装置还包括：频率变换及量化部，基于对应于所述确定的组的编码模式的大型数据处理单位进行用于所述输入图像的编码的频率变换及量化；运动估计部，基于所述大型数据处理单位，进行用于所述输入图像的编码的运动估计；环路滤波部，基于所述大型数据处理单位，进行用于所述输入图像的编码的环路滤波；熵编码部，基于所述大型数据处理单位，进行用于所述输入图像的编码的熵编码。
根据本发明一实施例利用动态确定的数据处理单位解码图像的装置还包括：熵解码部，基于对应于所述读取的组的编码模式的大型数据处理单位，进行用于所述组的数据的解码的熵解码；逆量化及逆频率变换部，基于所述大型数据处理单位，进行用于所述组的数据的解码的逆量化及逆频率变换；运动估计部，基于所述大型数据处理单位，进行用于所述组的数据的解码的运动估计；环路滤波部，基于所述大型数据处理单位，进行用于所述组的数据的解码的环路滤波。
在根据一实施例的所述图像编码方法或所述解码方法中，基于用于所述运动估计的数据处理单位的大小，可以确定用于所述频率变换的数据处理单位的大小。
关于根据一实施例的所述图像编码方法及所述图像解码方法的运动估计的执行，可以基于所述大型数据处理单位确定用于顺序运动估计的对每个数据处理单位的扫描顺序，并可以确定是否可以将位于当前数据处理单位的右侧上端的相邻数据处理单位利用为参照块(Neighbor availability)。
根据一实施例，基于所述大型数据处理单位的运动估计可以利用所述大型数据处理单位中的正方形块形状的数据处理单位。基于所述正方形块形状的数据处理单位的用于频率变换的数据处理单位的大小可以限制为小于等于所述正方形块形状数据处理单位的预定大小。
根据一实施例，基于所述大型数据处理单位的运动估计可以包括所述大型数据处理单位的帧内预测，并且可以包括基于利用复平面型的帧内模式而进行的所述大型数据处理单位的帧内预测。根据一实施例，基于所述大型数据处理单位，可以预先设定能够以帧内模式进行运动估计的数据处理单位。
根据一实施例的基于所述大型数据处理单位的运动估计可以包括基于所述大型数据处理单位的以帧内模式及帧间模式相混合形式的预测模式进行的运动估计，用于帧间模式的运动估计的运动矢量可以基于所述大型数据处理单位进行确定。并且，可以对应于基于所述大型数据处理单位确定的运动矢量而导出用于帧间模式的运动矢量预测器。
关于根据一实施例的基于所述大型数据处理单位的运动估计，可以基于所述大型数据处理单位确定扩展形式的跳跃模式。并且，可以确定包括有相邻的至少一个跳跃模式的数据处理单位的跳跃组，对于包括在同一跳跃组中的所有数据处理单位同时以跳跃模式进行运动估计。
根据一实施例的基于所述大型数据处理单位的所述频率变换可以包括基于所述大型数据处理单位的以大型块为基础的整数离散余弦变换。并且，对当前数据处理单位的色度分量，可以以基于所述大型数据处理单位而确定的预定大小进行频率变换。为了减少因根据一实施例的基于大型数据处理单位的频率变换而产生的计算量负担，可以采用变形形式的频率变换。
根据一实施例的基于所述大型数据处理单位的熵编码可以根据基于所述大型数据处理单位而确定的每个数据处理单位的大小来利用层级的编码块样式(Coded Block Pattern)。
根据一实施例的基于所述大型数据处理单位的熵编码对所述当前数据处理单位可以按照基于所述当前数据处理单位的量化系数中存在非零的量化系数的概率而分类的每个区域扫描编码块样式。可以基于所述当前数据处理单位的分类的每个区域的编码块样式，仅扫描包含不为零的系数的区域的系数的带(Strip)。并且，表示所述包含非零的系数的区域的系数的带的表达可以编码为包括在比特流中，在比特流的解码过程中可以读取表示是包含不为零的系数的区域的系数带的表达。
根据一实施例的所述熵编码或熵解码可以基于所述大型数据处理单位利用基于上下文的自适应二进制算术编码(Context-based Adaptive BinaryArithmetic Code：CABAC))或基于上下文的自适应可变长度编码(Context-based Adaptive Variable Length Code：CABAC))。
根据一实施例的基于所述大型数据处理单位的熵编码或熵解码可以利用针对基于所述大型数据处理单位的帧内模式或色度成分确定为单一语境的编码块样式。
根据一实施例的基于所述大型数据处理单位的环路滤波可以包括基于所述大型数据处理单位的针对数据处理单位内部的小型数据处理单位的去块滤波的进行与否。并且，对所述当前数据处理单位的去块滤波中，可以排除对所述当前数据处理单位内部的小型数据处理单位的左侧边界或上端边界的去块滤波、对以预定大小的数据处理单位进行频率变换的所述当前数据处理单位内部的小型数据处理单位的边界的去块滤波。
并且，根据一实施例的所述环路滤波中，对所述当前数据处理单位的色度成分的去块滤波中，可以排除对所述当前数据处理单位内部的小型数据处理单位的色度分量的边界的去块滤波。根据一实施例的所述环路滤波在针对以帧间模式及帧内模式相混合的形式进行运动估计的所述当前数据处理单位的去块滤波中，可以排除对所述当前数据处理单位内部的小型数据处理单位的边界的去块滤波。
关于根据一实施例的所述环路滤波的执行，可以针对所述当前数据处理单位内部的至少一个小型数据处理单位的边界，分别设定每个边界的去块滤波的强度。
根据一实施例的所述环路滤波可以包括基于所述大型数据处理单位，针对大型大小的当前数据处理单位进行的用于减小振铃效应的附加滤波。
本发明包括记录有用于实现根据本发明一实施例利用动态确定的数据处理单位的图像编码方法的程序的计算机可读取的记录介质。
本发明包括记录有用于实现根据本发明一实施例利用动态确定的数据处理单位的图像解码方法的程序的计算机可读取的记录介质。
具体实施方式
以下，说明本发明的实施例的目次，以便于理解本说明书。
首先，[[I.数据处理单位的动态确定]]中将具体描述根据一实施例动态确定的数据处理单位及编码模式。
[[II.基于动态确定的数据处理单位的图像编码装置]]中，将描述根据先前动态确定的数据处理单位及编码模式对图像进行编码的装置。
有关基于根据一实施例动态确定的数据处理单位的图像编码装置的各个具体操作，将在[[III.运动估计进程]]、[[III-1.帧内预测]]、[[III-2.帧间预测]]、[[IV.频率变换及量化]]、[[V.熵编码]]中具体描述。
[[VII.基于动态确定的数据处理单位的图像解码装置]]中将具体描述与基于根据一实施例动态确定的数据处理单位的图像编码装置对应的基于根据一实施例动态确定的数据处理单位的图像解码装置。
[[.基于动态确定的数据处理单位的图像解码方法及图像解码方法]]中将具体描述基于根据一实施例动态确定的数据处理单位的图像编码方法及与其对应的图像解码方法。
[[I.数据处理单位的动态确定]]
图1示出根据本发明一实施例的图像编码装置的框图。
根据一实施例的图像编码装置100包括数据分类部110、组编码模式确定部120、组编码部130。
当输入的图像数据以基本块为单位被分类时，数据分类部110基于基本块将图像数据分类为包括至少一个基本块的组、及包括至少一个基本块并包括在组中的子组以及基本块，将经分类的数据输出到组编码模式确定部120及组编码部130。
基本块、组、子组为用于对图像数据进行编码处理的数据处理单位的种类。
组可具有表示基本块数量的“大小”及由包括在组中的子组所形成的“形状”的属性。子组由表示组内的子组数量的“等级(level)”及组内的基本块之间的“扫描顺序”来确定。可以对每个组、图片(picture)、序列(sequence)分别确定包括大小、形状、最大等级、扫描顺序中的至少一个的组的属性。
以下将结合图3具体描述组的确定方式，结合图4及图5具体描述子组的确定方式。
组编码模式确定部120确定组的编码模式，该编码模式包括有关根据用于对组进行编码的数据处理单位，即组单位、子组单位及基本块单位中的至少一个数据处理单位的组内数据编码方式的信息。
组编码模式确定部120的一实施例中，可以确定按照数据分类部110所分类的组、子组、基本块中的各数据处理单位对各个组的数据进行编码而产生的误差率，并基于各个组的各个数据处理单位的误差率确定该组的编码模式。由此，根据基于针对各个数据处理单位的组的误差率动态确定的数据处理单位来编码图像数据。
组编码模式确定部120所确定的编码模式包括关于数据处理单位种类的信息、关于数据处理单位大小的信息、关于预测模式的信息中的至少一个，所述关于数据处理单位种类的信息表示使用组单位、子组单位、基本块单位中的哪一个单位来对组的数据进行编码，关于数据处理单位大小的信息表示数据处理单位所包括的基本块数量，关于预测模式的信息表示确定为进行基于数据处理单位的运动估计所需的参照信息的方式。
组编码模式确定部120可以针对组的数据按照各个数据处理单位，分别计算按照基本块单位编码时的误差率、按照子组单位编码时的误差率、按照组单位编码时的误差率并相互比较，将误差率最小的数据处理单位确定为该组的编码处理单位。即，针对每个组单位、子组单位、基本块单位均进行编码及计算误差率的过程。
并且，组编码模式确定部120的一实施例中，比较各个数据处理单位按照各种预测模式编码时的误差率，从而针对各个数据处理单位分别确定误差率最小的预测模式。
例如，组编码模式确定部120可以将组的数据针对每个数据处理单位均分别以跳跃模式、帧间模式、帧内模式的预测模式进行编码，并针对各个预测模式计算编码误差率并进行比较，将所发生的误差率最小的预测模式确定为该数据处理单位的代表预测模式。即，针对每个组单位、子组单位、基本块单位均进行根据各个预测模式进行编码时的误差率比较及基于此的预测模式确定过程。
组编码模式确定部120可以针对每个数据处理单位比较预测模式的误差率，将具有最小误差率的数据处理单位确定为针对该组的数据的代表数据处理单位。基于产生最小误差率的代表数据处理单位及代表预测模式的组合，关于该组的代表数据处理单位的种类、大小、代表预测模式的信息被确定为该组的编码模式。
组编码部130根据组编码模式确定部120所确定的针对每个组的编码模式对由数据分类部110输入的图像数据进行编码而输出。图像编码装置100除了对图像数据进行编码，还可以对表示组编码模式的标志(flag)进行编码并输出组编码模式标志。
根据本发明一实施例的图像编码装置100可以用基本块之间的折线扫描(zigzag scanning)方式代替基本块之间的光栅扫描方式，由此编码一个图片内的数据。
根据一实施例的图像编码装置100可以将组单位及子组单位中一个数据频率变换的系数以多个基本块单位重新排列。根据一实施例的图像编码装置100可以按照基本块或子组单位对图像数据进行频率变换。此时，用于进行频率变换的数据处理单位可以与用于进行运动估计的数据处理单位不一致。
根据一实施例的图像编码装置100可以将表示对预定数据处理单位的数据是否频率变换的系数按照可变的数据处理单位重新排列的标志进行编码。
图2示出根据本发明一实施例的图像解码装置的框图。
根据一实施例的图像解码装置200包括接收部210、组编码模式读取部220、组解码部230。基本块、组、子组、编码模式等概念与针对根据一实施例的图像编码装置100的前述说明中相同。
接收部210接收用基本块、组、子组中的一个数据处理单位编码的数据并解析，提取要解码的信息，输出到组编码模式读取部220及组编码部230。
组编码模式读取部220从接收部210所解析的数据中读取组的编码模式，并输出到组解码部230。组编码模式读取部220可以从解析的数据读取关于组的形状、大小、最大等级的信息，并利用所读取的组的形状及大小信息来确定预定的组。组的属性可以按照组、图片、序列等数据单位分别设定。
另一实施例的组编码模式读取部220可以从解析的数据提取表示预定组的编码模式的组编码模式标志，并利用组编码模式标志读取预定组的编码模式。所读取的各个组的编码模式包括对各个组的数据进行解码时要用到的关于数据处理单位的种类、大小、预测模式等的信息。
组解码部230利用从组编码模式读取部220输入的各个组的编码模式，对接收部210所接收的各个组的数据进行解码并输出。
组解码部230可以基于编码模式中关于数据处理单位的种类及大小的信息，确定用于组的数据解码的组内数据处理单位，并基于编码模式中关于预测模式的信息确定该数据处理单位的预测模式。组解码部230可以基于由编码模式确定的数据处理单位及预测模式解码该组的数据。
组解码部230可以根据基本块单位的折线扫描方式扫描一个图片的数据，从而读取各个组的编码模式并进行解码。
一实施例的图像解码装置200也可以将多个基本块的频率变换的系数按照组单位及子组单位中的一个重新排列。一实施例的图像解码装置200可以对按照基本块或子组单位分类的数据进行频率逆变换。
图像解码装置200还可以从解析的数据提取表示组单位及子组单位中一个数据频率变换的系数是否在编码过程中按照基本块单位重新排列的标志。可以基于系数重新排列与否标志，在解码过程中将系数重新排列为组单位及子组单位中的一个。
图3示出本发明中所提出的数据处理单位——“组”的概念。
随着能够处理大容量数据的硬件及网络环境的构建，相比于大容量数据，现有的宏块单位作为收录有用信息的单位有可能相对较小。例如，在SD(Standard Definition)级以上的HD(High-Definition)级分辨率及其以上的分辨率下，由于较小的宏块，可能会使实际适用于纹理编码的比特被分配到作为宏块模式、运动矢量等的宏块符号(macroblock symbol)的附加信息，从而导致率失真代价(Rate-Distortion Cost：RD cost)降低。
本发明引入包括至少一个基本块的组单位作为数据处理单位。
基本块300是包括至少一个数据的单位。例如，可以为MPEG或H.264的8×8、16×16宏块等。
组是包括至少一个基本块的单位，其形状及表示基本块的个数的组大小可以任意确定。例如，可以取大小为16且呈正方形形状的组310，大小为8且呈长方形形状的组320、325，大小为13且呈菱形的组330等。这种组的形状大小，可以按照图像数据的图片、图片序列单位设定为保持一致，也可以针对每个组均分别设定。
图4示出本发明中所提出的数据处理单位——“子组”的一例。
组内的子组包括组内的至少一个基本块，确定子组的第一确定方式为按照等级及扫描顺序确定的方式。图4示出呈正方形形状、组大小为16、最大等级为4的组。
首先，根据组内的子组数量可以分类为等级为4的组410、420、450，等级为2的组430、460，等级为1的组440。
并且，根据组内的基本块的扫描顺序可以分类为折线扫描顺序的组410，垂直扫描顺序的组420、430、440，光栅扫描顺序的组450、460。
由此，对于大小为16、呈正方形形状的组410，若取等级4并采用折线扫描顺序来设定子组，则可以形成大小为4、呈正方形形状的四个子组。对于组420，若取等级4并采用垂直扫描顺序来设定子组，则可以形成大小为4、呈长方形形状的四个子组422、424、426、428。同样地，对于组450，若取等级4并采用光栅扫描顺序来设定子组，则可以形成大小为4、呈长方形形状的四个子组452、454、456、458。
对于大小为4、呈正方形形状的组430，若取等级2并采用垂直扫描顺序来设定子组，则可以形成大小为8、呈长方形形状的两个子组432、434。同样地，对于组460，若取等级2并采用光栅扫描顺序来设定子组，则可以形成大小为8、呈长方形形状的两个子组462、464。
对于大小为16、呈正方形形状的组440，若取等级1并采用垂直扫描顺序来设定子组，则可以形成大小为16、呈正方形形状的一个子组445。
图4中，在每个等级中都设定有各种扫描顺序，但是也可以针对各个等级分别设定预定的扫描顺序。并且，用于频率变换的数据处理单位可以是大小在先前定义的组、子组的大小以下的单位。
图5示出本发明中所提出的数据处理单位——“子组”的另一例。
确定子组的第二确定方式为将按照组内基本块的扫描顺序所排列出的基本块的序列根据等级加以区分的方式。图5中以呈正方形形状、组大小为16的组500、550为例，具体描述子组的第二确定方式。
呈正方形形状、组大小为16的组500，可以按照折线扫描顺序以基本块1、2、5、9、6、3、4、7、10、13、14、11、8、12、15、16的顺序重新排列出基本块的序列510。当组500的等级为3时，基本块序列510可以分类为包括基本块1、2、5、9、6的第一子组，包括3、4、7、10、13的第二子组，包括基本块14、11、8、12、15、16的第三子组。由此，若将组500按照折线扫描顺序分类为等级3的子组，则如同组520分类子组。
作为另一例，呈正方形形状、组大小为16的组550，可以按照逆折线扫描顺序以基本块4、8、3、2、7、12、16、11、6、1、5、10、15、14、9、13的顺序重新排列出基本块的序列560。当组550的等级为4时，基本块序列560可以分类为包括基本块4、8、3、2的第一子组，包括7、12、16、11的第二子组，包括基本块6、1、5、10的第三子组，包括基本块15、14、9、13的第四子组。由此，若将组550按照逆折线扫描顺序分类为等级4的子组，则可以如同组570分类子组。
图6示出根据本发明一实施例的编码模式的语法(syntax)。
示出在根据一实施例的图像解码装置200的组编码模式读取部220中，根据表示预定组的编码模式的语法来读取组编码模式的过程的流程图。
在步骤610中，组编码模式读取部220确认表示预定组的数据是否被编码为组单位的跳跃模式的标志Group_SKIP。若“Group_SKIP”标志值为1，则对该组的数据以组单位的跳跃模式进行解码(步骤620)。若“Group_SKIP”标志值为0，则移动到步骤630。
在步骤630，组编码模式读取部220判断是否设定了根据等级的子组。若是，则组编码模式读取部220检查子组单位的解码方式(步骤640)。若没有设定子组，则组编码模式读取部220检查基本块单位的解码方式(步骤650)。
在优选实施例中，等级应大于1，并小于组大小。因为，若等级为1，就是与组相同的数据处理单位。
组编码模式读取部220确认表示相应组的数据是否被编码为子组单位的跳跃模式的标志Subgroup_SKIP(步骤640)。若“Subgroup_SKIP”标志值为1，则组解码部230以子组单位的跳跃模式进行解码(步骤660)。若“Subgroup_SKIP”标志值为0，则组解码部230以跳跃模式之外的预测模式进行子组单位的解码(步骤670)。
为了保证针对组单位的跳跃模式的差异性，在优选实施例中，不能使所有子组的“Subgroup_SKIP”标志值都设定为1。
在优选实施例中，对于子组单位的解码Subgroup_Mode，一般模式根据等级及扫描顺序进行确定。此时，等级应当小于或等于最大等级。
组编码模式读取部220确认表示相应组的数据是否被编码为基本块单位的跳跃模式的标志Unit_SKIP(步骤650)。若“Unit_SKIP”标志值为1，则组解码部230以基本块单位的跳跃模式进行解码(步骤680)。若“Unit_SKIP”标志值为0，则组解码部230以跳跃模式之外的预测模式进行基本块单位的解码(步骤690)。
在优选实施例，为了保证针对子组单位或组单位的跳跃模式的差异性，在优选实施例中，不能使所有基本块的“Unit_SKIP”标志值都设定为1。
图7示出按照数据处理单位的编码方式的一示例。
根据情况，可以任意地确定组内的按照数据处理单位的编码方式。以下，将描述正方形形态、组大小为4、最大等级为2的组710的按照数据处理单位的编码方式的一示例。
大小为4、最大等级为2的组710中，当等级为2时，根据扫描顺序可以设定垂直扫描顺序的子组720、光栅扫描顺序的子组730，当等级为1时设定子组740。
对基本块700的编码方式中，可采用16×16跳跃模式作为跳跃模式(Unit_Skip)。此外，在基本块700的编码方式中，可采用16×16、8×8、4×4帧内模式和16×16、16×8、8×16、8×8、4×8、8×4、4×4帧间模式中的一个作为一般模式(Unit_Mode)。
对等级为1的子组740的编码方式中，一般模式(Subgroup_Mode)可采用32×32帧间模式和32×32帧内模式中的一个。对子组720、730的编码方式中，一般模式(Subgroup_Mode)可采用16×32帧间模式和32×16帧间模式中的一个。
对组710的编码模式，可设定32×32跳跃模式作为跳跃模式(Group_SKIP)。
图8示出根据本发明一实施例的确定组的编码模式的编码方法的流程图。
参照图8，将描述对于按照数据处理单位的编码模式，确定最佳数据处理单位和预测模式的方式。
流程图800是关于为了确定预定组的编码模式，图像编码装置100，特别是，图像编码模式确定部120进行的进程的流程图。
基于从所要编码的数据获得的关于组的形状、大小、最大等级的信息，确定所要编码的数据中的预定组(步骤810)。可以按图片、序列和组为单位设定组的形状、大小、最大等级信息。
然后，执行按照数据处理单位的编码。
首先，以组单位的跳跃模式执行编码(步骤820)，计算率失真代价(RateDistortion Cost)作为组单位的跳跃模式的编码引起的误差率(步骤830)。例如，计算对于32×32组的32×32跳跃模式的编码引起的RD代价。
执行基本块单位的编码(步骤840)。可分别以跳跃模式，帧内模式、帧间模式执行基本块单位的编码。由于对组内的每个基本块都要执行基本块单位的编码，所以重复执行步骤840，重复次数与相应于组的大小的组内的基本块的数量相同。
计算根据基本块单位的编码引起的RD代价(步骤850)。例如，在以16×16跳跃模式、16×16/8×8/4×4帧内模式、16×16/16×8/8×16/8×8/4×8/8×4/4×4帧间模式等按照基本块单位编码的结果而计算出的RD代价中，搜索到具有最小RD代价的基本块单位。即，选择相应于基本块单位的最小RD代价的基本块大小和预测模式的组合。
执行子组(sub-group)单位的编码(步骤860)。为了设定子组而确认等级(level)(步骤862)，确认扫描顺序(步骤864)，对相关等级的每个子组执行编码(步骤860)。可以分别以帧内模式、帧间模式执行子组单位的编码。由于对组内的每个子组都要执行子组单位的编码，所以根据等级，重复执行步骤862、864、860，重复次数与等级数相同。
计算根据子组单位的编码引起的RD代价(步骤870)。对于每个子组，确定帧内模式、帧间模式的编码中RD代价最小的最佳预测模式；在所有子组中，确定RD代价最小的子组和预测模式的组合。例如，根据等级，32×32帧间模式/32×32帧内模式或16×32/32×16帧间模式等按照子组单位编码的结果而计算出的RD代价中，搜索到具有最小RD代价的子组单位。即，选择相应于子组单位的最小RD代价的子组大小和预测模式的组合。
图像编码模式确定部120对在步骤830计算的组单位的RD代价、在步骤850选择的基本块单位组合的RD代价、在步骤870选择的子组单位组合的RD代价进行比较，选择最低RD代价(步骤880)。
图像编码模式确定部120，基于与在步骤880选择的最低RD代价对应的数据处理单位或数据处理单位的大小和预测模式组合，确定相关组的编码模式(步骤890)。例如，组的编码模式包括表示有关组单位、子组单位、基本块单位中的哪个单位的数据处理单位的种类的信息；有关数据处理单位的大小(32×32、32×16、16×32、16×16、16×8、8×16、8×8、4×8、8×4、4×4)的信息；有关预测模式(跳跃模式、帧内模式、帧间模式等)的信息。
图9示出根据本发明的一实施例的读取编码模式来进行解码的方法的流程图。
流程图900示出图像解码装置200，特别是组编码模式读取部220为了预定组的解码而读取组的编码模式的进程的流程图
组编码模式读取部220从所要解码的数据获得关于组的形状、大小、最大等级的信息，从而确定所要解码的数据中的预定组(步骤910)。可按图片、序列(sequence)或组单位设定有关组的形状、大小、最大等级的信息。
组编码模式读取部220确认表示预定组是否以组单位的跳跃模式被编码的标志Group_Skip(步骤920)。当确认结果是组单位的跳跃模式时，对于相关组按跳跃模式进行解码(步骤930)。当确认结果，不是组单位的跳跃模式时，转到步骤940。
在步骤940，组编码模式读取部220确定组的等级。如果确认结果，子组没有按等级设定，则组编码模式读取部220检查基本块单位的解码方式(步骤990)。当确定等级时，组编码模式读取部220确认子组的等级(步骤960)，并确定扫描顺序(步骤970)。组编码模式读取部220对根据等级和扫描顺序确定的子组执行解码(步骤950)。由于对组内的每个子组都要进行解码，所以重复执行子组的解码过程(步骤960、970、950)，重复次数与组内的等级的数量相同。
组编码模式读取部220确认表示基本块单位的预测模式的标志Unit_mode(步骤990)。根据确认结果，依照所确定的预测模式，组编码模式读取部220对相关基本块执行解码(步骤980)。如果“Subgroup_SKIP”标志值为0，则组编码模式读取部220依照步骤670以将跳跃模式除外的预测模式对相关子块执行解码。由于对组内每个基本块都要进行解码，所以重复执行基本块的解码过程(步骤990、980)，重复次数与组大小相同。
以下，将详细描述对于在本发明提供的基于组、子组、基本块的动态数据处理单位的编码和解码的各种实施例。
在本发明的一实施例中，帧间模式的运动矢量估计方式的一个实施例为可将当前数据处理单位的所有周围数据处理单位的运动矢量的中间值(median value)确定为当前数据处理单位的运动矢量。
在本发明的一实施例中，可考虑组、子组、基本块等的大小来分别确定帧间模式的运动矢量估计方式。例如，根据数据处理单位的大小，可不同地设定将要参照的周围块的大小、种类。
在本发明的一实施例中，帧内模式的运动矢量估计方式的示例为，可参照处于当前数据处理单位的任意角度或方向的相邻五个像素，将五个相邻像素值的加权平均值(weighted average)预测为当前像素值。
在本发明的一实施例中，帧内模式的运动估计方式的示例为，可按照用于将预定组频率转换处理的数据处理单位重新排列预定组的数据，以用作参照像素。帧内模式的估计方式的另一示例为，可利用梯度(gradation，▽)来表示运动矢量的x轴变化量和y轴的变化量。
32×32帧内模式的块的运动估计方式的一个示例为，可利用运动矢量等的两个估计信号的加权平均来估计当前块。通过按照像素将更大加权值给予最近的参照像素的方式来获得加权平均。
在本发明的一实施例中，可将表示组单位的跳跃模式的标志集合为图片单位而一次性处理。在优选的实施例中，仅对B图片一次性处理表示组单位的跳跃模式的标志。
本发明的一实施例中，提出作为与跳跃模式相对比的方式的导出当前数据处理单位的信息的方式。例如，不是通过信号传输(signaling)，而是导出运动矢量和纹理信息(texture information)。此外，可以信号传输(signaling)运动矢量信息，而导出纹理信息，或者可以信号传输(signaling)纹理信息，而导出运动矢量信息。可以进行仅信号传输(signaling)DC信息的预测模式。按照量化参数(Quantization parameter，Qp)可以定义多种的运动信息导出方式。
在本发明的一实施例中，跳跃模式的数据处理单位可构成层级结构(hierarchical structure)。例如，如果跳跃模式的32×32块内的16×16块也是跳跃模式，则可以设定表示32×32跳跃标志和16×16跳跃标志的层级结构的标志。此外，可以形成作为跳跃模式的基本块的集合的组。
根据本发明的实施例中，为了应对逐渐增加的视频内容的分辨率，可通过将现有的宏块的大小扩展为更有效率的大小来提高视频压缩性能。
以下，参照图10至图17，与现有的H.264音视频(A/V)编解码方式相比，详细描述将本发明中提供的组、子组、基本块的层级概念实现为32×32数据的超宏块(super macroblock，表示为“SMB”或“S-MB”)单位、16×16宏块(以下，表示为“MB”)单位、8×8宏块单位的层级结构的本发明的另一实施例。
图10示出在本发明中可用的数据处理单位的层级结构。
数据处理单位的层级结构1000可具有3层结构。第一层1010是具最大大小的32×32超宏块，可以具有例如，一个32×32跳跃模式的情况、一个32×32帧间模式的情况、包括两个32×16帧间模式的情况、包括两个16×32帧间模式的情况、包括四个16×16帧间模式的情况。对于第一层1010，可以执行16×16块、8×8块和4×4块单位的频率转换。
第二层1020对应于从第一层1010的超宏块中划分的16×16宏块。例如，第二层1020的16×16宏块可以具有例如，一个16×16帧内模式的情况、一个16×16跳跃模式的情况、一个16×16帧间模式的情况、包括两个16×8帧间模式的情况、包括两个8×16帧间模式的情况、包括四个8×8帧间模式的情况。对于第二层1020可以执行8×8块和4×4块单位的频率转换。
第三层1030对应于从第二层1020中的划分的8×8块。例如，第三层1030的8×8宏块可以具有一个8×8跳跃模式的情况、一个8×8帧间模式的情况、包括两个8×4帧间模式的情况、包括两个4×8帧间模式的情况、包括四个4×4帧间模式的情况。对于第三层1030可以执行4×4块单位的频率转换。
根据本发明提供的宏块的扩展型结构，不仅能够以用于大容量的视频数据的32×32超宏块模式进行编解码，也能够以8×8以下的宏块模式进行处理。此外，在本发明提供的宏块的扩展型层级结构中，由于跳跃模式或帧内模式、16×16以下的宏块单位等的处理可以采用与现有的编解码方式相同的方式，因此可以减少构建新的编解码系统所需要的费用和时间。
图11示出根据本发明的另一实施例的读取基于超宏块和宏块单位的编码模式的语法(syntax)。
根据图像解码装置200的另一实施例，组编码模式读取部220为了判断当前组的编码模式，首先确认表示是否以超宏块单位的跳跃模式编码的标志SMB_SKIP(步骤1110)。如果“SMB_SKIP”值为1，则组解码部230以32×32超宏块单位的跳跃模式执行通过运动估计的解码(步骤1120)。
如果“SMB_SKIP”值为0，则组编码模式读取部220判断当前组是否以超宏块单位编码(步骤1130)。如果根据步骤1130的判断，不是跳跃模式，而是以预测模式进行了超宏块单位的编码，则将该判断结果传送到组解码部230，组解码部230根据“SMB_mode”，以32×32帧间模式、32×16帧间模式、16×32帧间模式、16×16帧间模式的超宏块单位执行通过运动估计的解码(步骤1140)。
根据优选实施例，通过16×16帧间模式的宏块单位的运动估计方式可以与现有的通过16×16帧间模式的宏块单位的运动估计方式相同。
如果根据步骤1130的判断，判断出当前组没有以超宏块单位帧间模式编码，则组编码模式读取部220确认表示组是否以宏块单位的跳跃模式编码的标志MB_SKIP(步骤1150)。
如果根据步骤1150的判断，以宏块单位的跳跃模式进行了编码，则将该判断结果传送给组解码部230，组解码部230根据“MB_SKIP”以16×16宏块单位执行通过跳跃模式的运动估计的解码(步骤1160)。
如果根据步骤1150的判断，不是以宏块单位的跳跃模式进行了编码，则将该判断结果传送给组解码部230，组解码部230根据“MB_SKIP”以16×16帧内模式、16×16帧间模式、16×8帧间模式、8×16帧间模式、8×8帧间模式等宏块单位或小于8×8宏块的子宏块单位执行解码(步骤1170)。
图12示出根据本发明的另一实施例的在编码模式为跳跃模式的情况下的运动矢量估计方式。
根据另一实施例的图像编码装置100和图像解码装置200，为了预测作为跳跃模式的块的运动矢量，可以使用基于超宏块单位的运动矢量估计方式或基于宏块单位的运动矢量估计方式。
基于超宏块单位的运动矢量估计方式的一个示例为，32×32跳跃模式的超宏块可以利用周围块的运动矢量来估计运动矢量。周围块可以是超宏块或者宏块。例如，根据以下数学式1预测超宏块的运动矢量。
[数学式1]
MV＝Median(MVa，MVb，MVc)
Median(.)函数是输出所输入的中间值的函数。即，超宏块的运动矢量MV 1020被确定为周围块的左侧块的运动矢量MVa 1220、上端块的运动矢量MVb1225、右侧上端块的运动矢量MVc 1230中具有中间值的运动矢量。
基于宏块单位的运动矢量估计方式的一个示例为，16×16跳跃模式的宏块可以利用周围块的运动矢量来估计宏块的运动矢量。例如，根据以下的数学式2、3、4和5可以预测宏块的运动矢量。
[数学式2]
MV0＝Median(MVa，MVb，MVc)
[数学式3]
MV1＝Median(MV0，MVc，MVd)
[数学式4]
MV2＝Median(MVe，MV0，MV1)
[数学式5]
MV3＝Median(MV0，MV1，MV2)
16×16跳跃模式的宏块MV0 1240、MV1 1245、MV2 1250、MV3 1255被确定为各自的周围的块中的左侧块的运动矢量、上端块的运动矢量、右侧上端块的运动矢量中的具有中间值的运动矢量。即，MV0 1240根据数学式2被确定为MVa 1260、MVb 1265、MVc 1270的中间值，MV1 1245根据数学式3被确定为MV0 1240、MVc 1270、MVd 1275的中间值，MV2 1250根据数学式4被确定为MVe 1280、MV0 1240、MV1 1245的中间值，MV3 1255根据数学式5被确定为MV2 1250、MV0 1240、MV1 1245的中间值。
根据另一实施例的图像编码装置100可以将表示运动矢量估计方式是超宏块单位的运动矢量估计还是宏块单位的运动矢量估计的标志有规则地插入到片段(slice)或预定数据单位。根据另一实施例的图像解码装置200可以从片段或预定数据单位提取有关运动矢量估计方式的标志，并将该标志用于超宏块或宏块的运动矢量估计。
图13示出本发明的另一实施例的按照数据处理单位的编解码处理顺序。
在本发明中，为了支持具有三层层级结构的扩展的宏块模式，在图像的编码或解码步骤中代替沿水平方向按照宏块扫描的光栅扫描方式1310而引入按照16×16宏块折线型扫描顺序1320。
例如，当前宏块可以是，在如块1330的16×16宏块的集合中的一个(16×16MB)块、包括在如块1340的32×32超宏块(32×32S-MB)中的宏块、包括在如块1350的32×16或16×32超宏块对(32×16/16×32S-MB)中的宏块、包括在如块1370的32×16或16×32半超宏块(half-super macroblock)(32×16/16×32S-MB_half)中的宏块、如块1360的16×16宏块(16×16MB)等。
本发明的图像编码装置100的组编码模式确定部120，对于每个32×32超宏块，通过比较一个32×32超宏块的情况和四个16×16宏块的情况的RD代价来确定以32×32超宏块模式和16×16宏块模式中的一个进行编码。
由于通过宏块的折线型扫描方式，不需要大幅改变现有的编码或解码系统的结构，而仅改变扫描方式来进行使用，因此可以利用现有的编码或解码方式来容易地实现本发明。
此外，利用如块1370的32×16或16×32半超宏块或如1360的16×16宏块等来可以容易地处理不符合超宏块单位的图像的边界部分。
图14示出本发明的另一实施例的频率系数的排列方式。
本发明中，在图像编码过程和解码过程中，将16×16块的频率系数1400根据交织方式可以重新排列为8×8宏块1450。能够以8×8宏块单位对重新排列为8×8宏块单位的系数进行熵编码或熵解码。
将16×16块的系数以交织方式重新排列的方式的一个示例为，根据16×16块的系数位置，将16×16块的系数重新排列为左侧上端、右侧上端、左侧下端、右侧下端的8×8宏块。
根据系数的重新排列顺序，16×16块中的2×2块的系数中，左上端的系数被布置到左侧上端的8×8宏块1460。即，16×16块的系数1410被布置为左侧上端的8×8宏块1460的系数1462。
此外，16×16块中的2×2块的系数中，右侧上端的系数被布置到右侧上端的8×8宏块1470。即，16×16块的系数1430被布置为右侧上端的8×8宏块1470的系数1472。
同样地，16×16块中的2×2块的系数中，左侧下端的系数被布置到左下端的8×8宏块1480。即，16×16块的系数1420被布置为左侧下端的8×8宏块1480的系数1482。
最后，16×16块中的2×2块的系数中，右侧下端的系数被布置到右侧下端的8×8宏块1490。即，16×16块的系数1440被布置为右侧下端的8×8宏块1490的系数1492。
图15将现有编码方式与根据本发明的另一实施例的与编码块样式(CBP，Coded Block Patten)和系数块大小相关的语法编码方式相比较。
一般考虑编码块样式(CBP)的系数的编码方式1510将确认CBP值(步骤1520)，如果CBP值为0，则结束考虑CBP的系数的编码过程。如果CBP值不为0，则对表示系数块大小的标志TFlag进行编码(步骤1530)，通过对当前系数编码(步骤1540)来完成考虑CBP的系数的编码。如果与现有的编码方式相同地列出频率以8×8或4×4块单位被转换的系数，则“TFlag”标志可以表示是8×8单位的系数还是4×4块单位的系数。
根据本发明提供的考虑编码块样式的编码方式1550，确认CBP值(步骤1520)，如果CBP值为0，则结束考虑CBP的系数的编码。如果CBP值不为0，则对表示当前系数是8×8还是4×4块单位的系数的标志TFlag8进行编码(步骤1560)，如果基于“TFlag8”标志的值的判断结果(步骤1570)，当前系数是4×4块单位的系数，则对系数进行编码(步骤1590)来结束系数的编码。
如果基于“TFlag8”标志的值的判断结果(步骤1570)，当前系数不是4×4块单位的系数，则对表示当前系数是8×8还是16×16系数的标志(Tflag16)进行编码(步骤1580)，对当前系数进行编码(步骤1590)来结束系数的编码。
因此，本发明利用与排列有频率变换的系数的数据处理单位相关的两个标志(Tflag8、Tflag16)，执行基于可变的块大小的通过频率变换的编码和通过频率逆变换的解码。
对于频率变换，本发明的一实施例不仅可以引入频率变换的系数的排列块的大小，还可以引入整数单位的频率变换。通过8×8交织方式系数块可以减少块结束(EOB，End of Block)长度。此外，当“Tfalg8”标志值为1时，用于16×16帧间模式的开销(overhead)仅附加地需要1比特。由于各种大小的块导致能量压缩效率增加，因此频率转换的频度也可能降低。
图16示出与本发明的另一实施例的CBP相关的语法。
根据本发明的另一实施例的图像编码装置100引入层级结构的CBP编码方式。针对非跳跃模式的宏块，对表示CBP信息是否已被编码的标志(MB_CBP_flag)进行编码(步骤1600)。如果基于“MB_CBP_flag”标志的判断结果(步骤1610)，“MB_CBP_flag”标志值为0，则由于不需要更多的附加信息，因此结束CBP编码过程。如果基于“MB_CBP_flag”标志的判断结果(步骤1610)，“MB_CBP_flag”标志值为1，则执行对于相关宏块的CBP的编码(步骤1620)。
根据本发明的另一实施例的图像解码装置200可通过提取插入到所接收的数据中的“MB_CBP_flag”标志来判断对作为解码对象的宏块是否需要CBP的解码。
图17示出根据本发明的另一实施例的B帧的编码模式。
本发明的图像编码装置100和图像解码装置200可以引入超宏块单位的直接模式(S-MB DERECT mode)作为用于B帧的编码模式。如果当前超宏块的编码模式是直接模式，则应执行纹理编码。
例如，32×32超宏块1710的每个16×16宏块1720、1730、1740、1750所包含的表示是否是CBP编码的标志MB_CBP_FLAG表示相关宏块1720、1730、1740、1750是跳跃模式还是直接模式的编码。
即，由于“MB_CBP_FLAG”标志为1的宏块1720、1750是直接模式的宏块1760、1790，所以可以按与遵循H.264标准的直接模式相同的运动估计方式估计运动矢量。
相反，由于“MB_CBP_FLAG”标志为0的宏块1730、1740是跳跃模式的宏块1770、1780，所以不需要更多的用于运动矢量的估计的信息。
图像编码装置100和图像解码装置200的另一示例为可以基于量化参数、分辨率、序列特性确定用于动态范围划分方式的块单位。此外，不仅沿水平方向、垂直方向，还可以沿各种方向分类数据处理单位。
上述的三层的层级结构中，第一等级不仅包括跳跃模式和帧间模式的超宏块，还可以包括帧内模式和帧间模式组合的预测模式的超宏块。
可以按照图片、序列、片段、宏块等各种数据单位设定编码模式或数据处理单位，最大或最小基本块大小以及分层等级来表示编码模式或数据处理单位。数据处理单位的层级结构的二元树(binary tree)结构可分化到n元树结构。
在图像编码装置100和图像解码装置200的另一示例中，可以按照用于运动估计的块的大小、用于频率变换的块的大小、用于去块滤波(deblockingfiltering)的块的大小的顺序，将块的大小顺序地维持为小或相同。此外，可以统一地或分别地表示用于运动估计的数据处理单位和用于频率变换的数据处理单位。
由任意组形成的帧内或帧间模式的宏块可形成为包括任意数量的基本块的组。此时，可以基于组的大小执行块的预测，或着可以基于组的大小执行频率转换。
组可以由任意数量的跳跃模式的宏块形成。
图18示出根据本发明的一实施例的图像编码方法的流程图。
在步骤1810，按照包括组、子组和基本块的扩展的概念分类以基本块分类的图像数据。组可以具有表示基本块的数量的大小、形状和最大等级的属性，可以按等级和扫描顺序设定子组。
在步骤1820，确定组的编码模式，该组的编码模式包括关于用于对组进行编码的作为数据处理单位的组单位、子组单位和基本块单位中的至少一个的信息以及关于通过所述至少一个数据处理单位对组的数据进行编码的方式的信息。
可以基于误差率来确定组的编码模式。其中，该误差率产生于按照组内的各个数据处理单位执行的对于组的数据的编码。对于每个组，通过将组单位的编码误差率、组内的所有子组的编码误差率中的最低误差率、组内的所有基本块的编码误差率中的最低误差率相比较来选择最佳的数据处理单位和预测模式。每个组的编码模式包括有关相关组的最佳数据处理单位和预测模式的信息。
在步骤1830，根据确定的编码模式对每个组的数据进行编码。不仅表示图像数据和每个组的编码模式的信息，还有关于组内的频率变换的系数是否按预定数据单位重新排列的信息、CBP编码信息等可被编码并插入到传送数据。
图19示出根据本发明的一实施例的图像解码方法的流程图。
在步骤1910，接收以基本块、组和子组中的一个数据单位编码的数据，从接收的数据解析解码所需的信息。从接收的数据解析将成为解码对象的图像数据，且还可解析图像的解码所必需的参数。
在步骤1920，从在步骤1910解析的数据读取预定组的编码模式，其中，该预定组的编码模式表示通过组、子组和基本块中的一个数据处理单位对预定组的数据进行编码的方式。
为了确定组，从解析的数据提取并读取表示组的大小、形状、最大等级的信息。如果组被确定，提取并读取每个组的编码模式。
在步骤1930，对与读取的编码模式对应的预定组的数据进行解码。
利用从预定组的编码模式提取并读取的关于以哪个数据处理单位进行解码的信息、关于相关数据处理单位的大小和形状的信息、关于运动估计的信息，对预定组的数据进行解码。
[[Ⅱ.基于动态确定的数据处理单位的图像编码装置]]
图20a、图20b、图20c、图20d、图20e和图20f分别示出根据一实施例的考虑动态确定数据处理单位的图像编码装置100的变形的实施例的框图。
为了根据基于在组编码模式确定部120所确定的组的编码模式的数据处理单位和预测模式，对组的数据进行编码，根据一实施例的图像编码装置100的组编码部130执行频率变换和量化、包括帧内预测和帧间预测的运动估计、环路滤波(in-loop filtering)、熵编码。
根据一实施例的图像编码装置100动态地确定组的数据处理单位。因此，组的数据处理单位可以是组、子组、基本块的层级结构中的一个。
由于根据一实施例的图像编码装置100动态地确定的数据处理单位可以不是现有的图像编码格式中定义的数据处理单位，所以需要与现有的图像编码进程具有区别的独有的进程。例如，当使用大小大于16×16或8×8宏块的大型数据处理单位时，组编码部130应通过考虑大型数据处理单位的进程来执行图像编码操作。
图20a示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑大型数据处理单位的频率变换和量化时的框图。
根据一实施例的图像编码装置100的组编码部130的第一实施例包括考虑大型数据处理单位的频率变换和量化部2003、包括帧内预测部和帧间预测部的运动估计部133、环路滤波部137和熵编码部139。
为了以基于组编码模式确定部120所确定的编码模式的大型数据处理单位执行频率变换和量化，根据组编码部130的第一实施例的考虑大型数据处理单位的频率变换和量化部2001执行基于大型数据处理单位的整数离散余弦变换和量化。
为了以基于组编码模式确定部120所确定的编码模式的大型数据处理单位执行频率变换和量化，根据组编码部130的第一实施例的考虑大型数据处理单位的频率变换和量化部2001对大型数据处理单位的色度分量执行离散余弦变换和量化。
为了减少由基于大型数据处理单位的离散余弦变换可能增加的计算量的负荷，根据组编码部130的第一实施例的考虑大型数据处理单位的频率变换和量化部2003可以执行能够进行低复杂度的计算的离散余弦变换。
图20b示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑大型数据处理单位的运动估计进程时的框图。
根据一实施例的图像编码装置100的组编码部130的第二实施例，包括频率变换和量化部131、通过考虑大型数据处理单位的进程的运动估计部2003、环路滤波部137和熵编码部139。基于考虑大型数据处理单位的进程，可以执行帧内预测和帧间预测。
根据组编码部130的第二实施例的考虑大型数据处理单位的进程的运动估计部2003，通过考虑基于组编码模式确定部120所确定的编码模式的大型数据处理单位，能够预先确定用于运动估计的大型数据处理单位和用于频率变换的大型数据处理单位的组合。优选地，用于频率变换的数据处理单位的大小应小于用于运动估计的数据处理单位的大小。
根据组编码部130的第二实施例的考虑大型数据处理单位的进程的运动估计部2003通过考虑大型数据处理单位能够确定用于每个数据处理单位的运动估计的扫描方式和可以将相邻块用作参照块的可能性(Neighboravailability)。
根据组编码部130的第二实施例的考虑大型数据处理单位的进程的运动估计部2003考虑大型数据处理单位，为了节省表示编码模式的比特的传送量，可以利用仅采用正方形的数据处理单位的简约的编码模式。
图20c是示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑大型数据处理单位的帧内预测时的框图。
根据一实施例的图像编码装置100的组编码部130的第3实施例包括频率变换和量化部131、考虑大型数据处理单位的帧内预测部2004、帧间预测部135、环路滤波部137和熵编码部139。
根据组编码部130的第三实施例的考虑大型数据处理单位的帧内预测部2004可以附加的定义对预定大型数据处理单位执行帧内预测的帧内模式。
为了大型数据处理单位的更准确的运动估计，根据组编码部130的第三实施例的考虑大型数据处理单位的帧内预测部2004在帧内模式中引入利用复平面(complex plain)的预测模式。
根据组编码部130的第三实施例的考虑大型数据处理单位的帧内预测部2004可以限定能够进行帧内预测的大型数据处理单位的种类。
图20d是示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑大型数据处理单位的帧间预测时的框图。
根据一实施例的图像编码装置100的组编码部130的第四实施例包括频率变换和量化部131、帧内预测部134、考虑大型数据处理单位的帧间预测部2005、环路滤波部137和熵编码部139。
根据组编码部130的第四实施例的考虑大型数据处理单位帧间预测部2005可引入帧间预测和帧内预测混合存在的混合模式作为大型数据处理单位的预测模式。
根据组编码部130的第四实施例的考虑大型数据处理单位帧间预测部2005按照大型数据处理单位确定运动矢量(MV)，并基于此可导出运动矢量预测器(MVP)。
根据组编码部130的第四实施例的考虑大型数据处理单位帧间预测部2005能够新引入对于大型数据处理单位的跳跃模式，并设定包括多个跳跃模式的数据处理单位的跳跃组。可以对属于跳跃组的跳跃模式的所有数据处理单位一并执行跳跃(skip)处理。
图20e是示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑大型数据处理单位的环路滤波时的框图。
根据一实施例的图像编码装置100的组编码部130的第五实施例包括频率变换和量化部131、包括帧内预测和帧间预测的运动估计部133、环路滤波部2007和熵编码部139。
根据组编码部130的第五实施例的考虑大型数据处理单位的环路滤波部2007确定关于大型数据处理单位内部的小型处理单位的边界(boundary)的滤波，并且可以调节滤波强度。
根据组编码部130的第5实施例的考虑大型数据处理单位的环路滤波部2007可以执行用于减小大型数据处理单位内部的振铃效应(ringing effect)的环路滤波。
图20f是示出当针对根据一实施例的图像编码装置100的组编码部130应用考虑大型数据处理单位的熵编码时的框图。
根据一实施例的图像编码装置100的组编码部130的第六实施例包括频率变换和量化部131、包括帧内预测和帧间预测的运动估计部133、环路滤波部137和考虑大型数据处理单位的熵编码部2009。
根据组编码部130的第六实施例的考虑大型数据处理单位的熵编码部2009定义关于大型数据处理单位的编码块样式。此外，熵编码部2009基于在数据处理单位内存在非0的编码块样式的概率，扫描编码块样式。
根据组编码部130的第六实施例的考虑大型数据处理单位的熵编码部2009针对大型数据处理单位应用基于上下文的自适应二进制算术编码(CABAC)或基于上下文的可变长度编码(CAVLC)。
根据组编码部130的第六实施例的考虑大型数据处理单位的熵编码部2009可以对大型数据处理单位设定编码块样式的新的上下文。
上述的组编码部130的第一实施例至第六实施例是按照每个编码过程通过考虑大型数据处理单位来执行的独有的进程。以下，将参照图20g描述，在图像编码的全部过程中的基于大型数据处理单位中的一个的大型块对图像序列进行编码的方法。
图20g示出考虑根据本发明一实施例动态确定的数据处理单位的图像编码方法的流程图。
根据一实施例的图像编码方法2000，利用层级结构的块2020中与预定编码模式对应的块来执行对输入图像序列2010的编码。块的层级结构2020与参照图10描述的组、子组、基本块的层级结构相同。
根据一实施例的图像编码方法2000经过频率变换和量化步骤s2030、运动估计步骤s2040、环路滤波步骤s2080、熵编码步骤s2090输出图像比特流s2098。运动估计步骤s2040包括基于预定进程2050的帧内预测步骤s2060和帧间预测步骤s2070。
根据一实施例的图像编码方法s2000考虑大型块，因此频率变换和量化步骤s2030、用于运动估计的处理2050、帧内预测步骤s2060、帧间预测步骤s2070、环路滤波步骤s2080、熵编码步骤s2090也可以执行考虑大型块的独有进程。
例如，频率变换和量化步骤s2030的考虑大型块的独有进程可以包括基于大型块的整数离散余弦变换和量化2032、对于大型块的色度分量的离散余弦变换和量化2034、用于基于大型块的离散余弦变换的低复杂度计算2036中的至少一个。
用于运动估计的进程2050的考虑大型块的独有进程可以包括用于运动估计的大型块和用于频率变换的大型块的组合2052、用于运动估计的块扫描方式和相邻块参照可能性2054、层级结构的大型块的简化模式2056中的至少一个。
帧内预测步骤s2060的考虑大型块的独有进程可以包括基于大型块的帧内模式的引入2062、用于帧内预测的复平面的引入2064、能够预测的帧内模式的确定2066中的至少一个。
帧间预测步骤s2070的考虑大型块的独有进程可以包括帧内模式和帧间模式混合的预测模式的引入2072、大型块的运动矢量(MV)的确定方式和运动矢量估计器(MVP)的导出方式2074、大型块的新的跳跃模式和跳跃块的引入2076中的至少一个。
环路滤波步骤s2080的考虑大型块的独有进程可以包括对于大型块内部的边界是否进行滤波和滤波强度确定2082、大型块内部的振铃效应减少滤波2084中的至少一个。
熵编码步骤s2090的考虑大型块的独有进程可以包括对于大型块的编码块样式(CBP)的引入和编码块样式扫描方式2092、考虑大型块的基于上下文的自适应二进制算术编码(CABAC)或基于上下文的可变长度度编码(CAVLC)的引入2094、对于大型块的编码块样式的上下文(context)设定方式2096中的至少一个。
参照图20a至图20g描述的考虑大型数据处理单位的图像编码装置100或图像编码方法2000，没有大改现有的图像编码格式，而是通过添加或替换来应用考虑大型数据处理单位的独有进程来对图像进行编码。
以上，参照图20a至图20g仅对图像编码进行了描述，但是优选地，考虑大型数据处理单位的独有进程也可以应用到与图像编码相应的图像解码。因此，将在以下详细描述的每个过程的独有进程不仅可以应用于图像编码，还可以应用于图像解码。
[[Ⅲ.运动估计进程]]
以下，将详细描述根据一实施例的图像编码装置100的组编码部130的运动估计部133的独有进程和根据一实施例的图像编码方法2000的用于运动估计的进程2050。此外，与根据一实施例的图像编码装置100对应的图像解码装置也能应用以下的用于运动估计的进程。
根据一实施例的用于运动估计的进程特征在于用于运动估计的大型数据处理单位和用于频率变换的数据处理单位的组合、用于运动估计的块扫描方式和相邻块的相邻块参照可能性、大型块的简化模式。
第一，随着用于运动估计的数据处理单位扩大到现有的16×16或8×8宏块以上，用于运动估计的数据处理单位的最大大小以下的范围内，用于频率变换的数据处理单位与用于运动估计的数据处理单位成比例地扩大。
即，当用于运动估计的数据处理单位是32×32或16×16宏块时，基于用于运动估计的数据处理单位的用于频率变换的数据处理单位可被组合为32×32、16×16、8×8、4×4块中的一个。
第二，以下将参照图21和图22详细描述用于运动估计的块扫描方式和相邻块的相邻块参照可能性。
图21示出根据本发明一实施例的考虑大型数据处理单位的用于运动估计的各个数据处理单位的扫描方式。如同前参照图13描述超宏块的单位的扫描方式，通过折线扫描方式检索一个帧1320内的大型数据处理单位的编码模式。
如同图13，帧1320内部的超宏块沿横向和竖向整齐排列，从而各个块以64×64大型块单位排列。根据一实施例的运动估计方式，除如图13所示的排列方式之外，还可应用于如同图21的帧2100内的超宏块没有整齐排列的情况。
例如，帧2100的第一扫描对象2110可以不是正方形的超宏块。以折线型扫描的正方形超宏块2140不是必须要整齐地排列。虽然超宏块2120和超宏块2130是相邻块，但是它们没有沿一列排列。
此外，即使无法以正方形的超宏块(32×32S-MB，32×16/16×32S-MB)形式扫描，但是在能够以长方形的超宏块(32×16/16×32S-MB_half)形式扫描的位置，以16×16宏块2140单位扫描。
当扫描对象块如帧同1320整齐排列时，能够采用与现有的相邻预测和上下文(context)相同的方式，将相邻块利用于参照块。但是扫描对象块如同帧2100没有整齐排列时，由于参照块随情况变动，所以可将当前块的运动向量预测器或帧内预测器设定为指向最邻近位置的相同大小的块。
仅正方形的块(32×32S-MB，32×16/16×32S-MB，16×16MB)能被设定的简化模式中，可以控制附加的产生的计算复杂度(complexity)和信令(signaling)。
图22示出根据本发明的一实施例的考虑大型数据处理单位的运功估计中，邻近的相邻数据处理单位的利用可能性。作为数据处理单位的示例，利用了现有的16×16MB宏块2200和32×32超宏块2250。
运动矢量预测器(MVP)和帧内预测执行中，可根据是否为已扫描的周围块和位置索引(index)单位来确定能否将上端右侧的相邻块用作参照块(以下，称作相邻块参照可能性(neighbor availability))。
图22中，通过参照正方形的块用作数据处理单位时的情况，仅描述相邻块参照可能性。将一个帧内的块分类为能够按作为最小数据单位的4×4块参照上端右侧的邻近块的第一块群2202、仅在4×4索引的情况下无法参照上端右侧的邻近块的第二块群2204、仅在8×8索引的情况下无法参照上端右侧的邻近块的第二块群2206、仅在16×16索引的情况下无法参照上端右侧的邻近块的第四块群2208。
例如，在现有16×16宏块2200的情况下，4×4块a1、a2、a3、b1、b2、b3、c1、c2、c3、d1、d2相当于能够参照上端右侧的邻近块的第一块群2202。4×4块a4、b4、c4、d4相应于仅在4×4块的情况下无法参照上端右侧的邻近块的第二块群2204。4×4块d2相应于仅在8×8块的情况下无法参照上端右侧的邻近块的第三块群2206。
因此，现有16×16宏块2200的情况下，关于邻近块参照可能性，可分类为第一块群2202、第二块群2204、第三块群2206。
根据一实施例引入大型数据处理单位的情况下，为了确定参照块，除4×4或8×8索引之外，添加了16×16索引。因此，可以存在仅在16×16索引的情况下无法参照上端右侧的邻近块的第四块群2208。
在32×32超宏块2250的情况下，4×4块A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D3、E1、E2、E3、F1、F2、F3、G1、G2、G3、H1、H3、I1、I2、I3、J1、J2、J3、K1、K2、K3、L1、L3、M1、M2、M3、N1、N3、O1、O2、O3、P1、P3相应于能够参照上端右侧的邻近块的第一块群2202。
4×4块A4、B4、C4、D4、E4、F4、G4、H4、I4、J4、K4、L4、M4、N4、O4、P4相应于仅在4×4块的情况下无法参照上端右侧的邻近块的第二块群2204。4×4块D2、H2、L2、P2相应于仅在8×8块的情况下无法参照上端右侧的邻近块的第三块群2206。
另外，4×4块N2相应于仅在16×16块的情况下无法参照上端右侧的邻近块的第四块群2208。
上端右侧的邻近块的参照可能性可用作用于确定运动矢量估计器或帧内预测器的条件或运动矢量估计器或帧内预测器的导出函数的输入变量。因此，当根据一实施例引入大型数据处理单位时，作为用于确定运动矢量估计器或帧内预测器的条件或运动矢量估计器或帧内预测器的导出函数的输入变量，可添加基于16×16索引的上端右侧的邻近块参照可能性。
第三，以下将参照图23a和图23b描述仅对正方形的数据处理单位应用的简化的编码模式。
图23a示出根据本发明的一实施例的大型数据处理单位中简化的层级数据处理单位。
根据图10所述的数据处理单位中的层级结构1000，根据一实施例的数据处理单位包括正方形的块(32×32、16×16、8×8、4×4)和长方形的块(32×16、16×32、16×8、8×16、8×4、4×8)。根据数据处理单位的层级结构1000，可以进行基于各种数据处理单位的编码。
根据一实施例的图像编码装置100，可被简化为仅包括正方形块的数据处理单位的层级结构2310。
第一层2310可以包括帧内模式的32×32超宏块、跳跃模式的32×32超宏块、帧间模式的32×32超宏块、16×16宏块。能够以32×32、16×16、8×8、4×4块单位中的至少一个单位对第一层2310进行频率变换。
第二层2320可以包括帧内模式的16×16宏块、跳跃模式的16×16宏块、帧间模式的16×16宏块、帧间模式的8×8宏块。能够以16×16、8×8、4×4块单位中的至少一个单位对第二层2320进行频率变换。
第三层2330可以包括跳跃模式的8×8宏块、帧间模式的8×8宏块、帧间模式的4×4宏块。能够以8×8、4×4块单位中的至少一个单位对第三层2330进行频率变换。
根据简化的数据处理单位的层级结构2310，分别存在相同的大小或形状的帧间模式或帧内模式的块。此外，由于编码模式的数量减少，因此可节省表示编码模式的比特。
图23b示出根据本发明一实施例的考虑大型数据处理单位的语法。语法2350包括根据预定数据处理单位的编码模式的各种信息。
“mode”值2352表示编码模式。“ref_idx/mvd”值2354表示参照索引和运动矢量的变化。“transform_size_flag”值2358表示用于频率变换的数据处理单位。“residual()”值2360表示关于残差分量的信息。
根据简化的数据处理单位的层级结构2310，可以节省“mode”值2352的比特。此外，如果限制用于根据编码模式的频率变换的数据处理单位的大小，则可以改变语法2350中“coded_block_pattern”值2356和“transform_size_flag”值2358。
[[Ⅲ-1.帧内预测]]
根据一实施例的图像编码装置100的帧内预测部2004和根据一实施例的图像编码方法2000的帧内预测步骤s2060可以引入考虑大型数据处理单位的独有的进程。
第一，添加基于大型块的帧间模式2062。例如，可以添加帧内模式的32×32超宏块、帧内模式的16×16宏块。
第二，可以引入用于更加精巧的帧内预测的利用复平面的预测模式。
第三，可以个别地确定表示按照各个数据处理单位可以进行帧内预测的编码模式。
[[Ⅲ-2.帧间预测]]
根据一实施例的图像编码装置100的帧间预测部2005和根据一实施例的图像编码方法2000的帧间预测步骤s2070可以引入考虑大型数据处理单位的独有的进程。
第一，对任意的大型数据处理单位可以设定帧内模式和帧间模式混合的预测模式。此外，按大型数据处理单位内的下位数据处理单位，可以混合设定帧内模式或帧间模式。
第二，新定义针对大型数据处理单位的跳跃模式，可以引入包括至少一个跳跃模式的数据处理单位的跳跃模式。例如，通过以下的图24a至24c提供跳跃模式的32×32超宏块、包括多个跳跃模式的32×32超宏块跳跃组。
图24a、图24b和图24c示出根据本发明的一实施例的跳跃模式的各种构成方式。为了便于说明，利用32×32超宏块作为图24a、图24b和图24c的大型数据处理单位。
根据一实施例的图像编码和图像解码，对于作为跳跃模式的块进行跳跃处理时，可以将相邻的作为跳跃模式的块组合为跳跃组并对该跳跃组同时进行跳跃处理。因此，当扫描一个帧时读取到跳跃组，应判断邻近的块是否为包括在同一跳跃组中的跳跃模式的块。
因此，需要用于表示预定块是否为跳跃模式以及是否包括于跳跃组的标志。在图24a、图24b和图24c示出的一实施例为，使用跳跃模式标志作为表示预定块是跳跃模式以及是否包括于跳跃组的标志。如果跳跃模式标志为“0”，则表示相关块是非跳跃模式的块；如果跳跃模式标志为“2”，则表示相关块是跳跃组的开始块；如果跳跃模式标志为“1”，则表示相关块是属于跳跃组的块。
关于根据一实施例的跳跃模式，为了检索作为帧内的跳跃模式的块并扫描跳跃组，可以选定跳跃组的位置。此外，可以限制包括相邻的跳跃模式的块的跳跃组的最大大小。
因此，基于根据一实施例的大型数据处理单位的帧间预测中，能够以跳跃组的位置固定以及大小被固定的情况(图24a的帧2400)，跳跃组的位置固定以及以任意大小形成的情况(图24b的帧2440)、跳跃组可位于所有位置以及以任意大小形成的情况(图24c的帧2470)处理跳跃。
图24a的第一帧2400中，跳跃组的大小被固定为64×64块。因此，为了检索跳跃组，对于每个64×64块检索位于左侧上端的32×32超宏块是否是跳跃模式即可。例如，32×32超宏块2412的跳跃模式标志表示为“0”，所以不是跳跃模式，可以确认包括超宏块2412的64×64块2410不是跳跃组。
作为64×64块2410的下一扫描顺序，检索64×64块2420的左侧上端超宏块，如果跳跃模式标志为“0”，可以确认64×64块2420也不是跳跃组。
由于超宏块2432的跳跃模式标志表示为“2”，所以超宏块2432被确认为是跳跃模式的开始块。由于第一帧2400的跳跃组的大小被固定为64×64块，因此将超宏块2432包括在左侧上端的64×64块2430是跳跃组。此外，可以预测64×64块2430内的其它超宏块2434等均是标志为“1”的跳跃模式的块。
当参照图24a而示出的固定位置和固定大小的跳跃组时，由于只要确认固定位置的32×32块的跳跃模式标志为“0”还是“2”，就可以确认相邻块是否为跳跃模式，所以当仅从编码端发送固定位置的相关块的跳跃模式标志时，解码端接收并能够识别相关帧的所有块是否为跳跃模式。
虽然图24b的帧2440中，跳跃组的大小未固定，但是跳跃组的开始位置已被固定。即，跳跃组可以从位于每个64×64块的左侧上端的32×32块开始，因此当扫描帧2440时，只要确认位于每个64×64块的左侧上端的32×32块的跳跃模式标志为“0”还是“2”即可。例如，当扫描出64×64块2450的左侧上端的32×32块的跳跃模式标志为“0”时，确认64×64块2450不是跳跃组。
另外，若扫描位于其它64×64块的左侧上端的32×32块2461，因为其跳跃模式标志为“2”，因此确定从32×32块2461开始的跳跃组2460。通过扫描相邻于32×32块2461的右侧方向及下端方向的32×32块的跳跃模式标志，可以确认跳跃模式标志连续为“1”的32×32块2462、2463、2464、2465、2466、2467、2468、2469和32×32块2461属于同一个跳跃组2460。
而且，扫描帧2440的过程中需要确认固定位置的32×32块的跳跃模式标志，但是无需对通过先前扫描已确认包含于预定跳跃组的块进行扫描。例如，虽然由于32×32块2463、2467、2469分别位于个别64×64块的左侧上端，因此是需要扫描跳跃模式标志的固定位置的块，但是根据先前的扫描顺序，已确认为是属于跳跃组2460的块。于是，不扫描32×32块2463、2467、2469，而扫描下一个位置。
参照图24b，当跳跃组为示例的固定位置及固定大小时，从编码端发送固定位置的32×32块的跳跃模式标志以及跳跃组的大小，并在解码端接收。解码端可以读取相关帧的块的跳跃模式标志，从而识别相关块是否是跳跃模式。虽然是固定位置的块，但是由于跳跃模式标志为“1”，所以表示属于其它跳跃组的块，无需单独收发跳跃模式标志。
图24c的帧2470没有固定跳跃组的大小，也没有固定跳跃组开始的位置。因此，当扫描帧2470时，所有32×32块的跳跃模式标志都需要确认。
例如，32×32块2472的跳跃模式标志为“0”，因此下一个顺序扫描最为靠近的32×32块2474。根据扫描的进行过程，依次扫描所有的32×32块，直到检索出跳跃模式标志为“2”的32×32块。
另外，如果扫描出跳跃模式标志为“2”的32×32块2482，则应确定从32×32块2482开始的跳跃组2480。扫描相邻于32×32块2482的右侧方向及下端方向的32×32块的跳跃模式标志，可确认跳跃模式标志连续为“1”的32×32块都和32×32块2482包含于相同的跳跃组2480。
确定跳跃组2480之后，无需扫描属于跳跃组2480的32×32块而直接跳过，对不属于跳跃组2480的下一个32×32块2492进行扫描。同样地，可以确定以32×32块2492开始的跳跃组2490。
参照图24c，当跳跃组为示例的固定位置及任意大小时，从编码端可以发送所有位置的32×32块的跳跃模式标志及跳跃组的大小，从而在解码端接收。编码端利用跳跃模式标志，可以识别相关帧的每个块是否为跳跃模式。但是，已确认为包含其它跳跃组的32×32块无需单独收发跳跃模式标志。
因此，本发明根据参照图24a、24b、24c叙述的各种实施例，其跳跃模式的块可以按组进行跳跃处理，因此能够节约用于表示各个块的跳跃模式的比特；且无需扫描所有块就能有效地检索出跳跃模式。
第三，根据帧间预测的运动矢量(MV)能够以大型数据处理单位确定，运动矢量预测器(MVP)也能够以大型数据处理单位导出。
图25a及25b示出根据本发明的一实施例的大型数据处理单位内的运动矢量导出方式和小型数据处理单位的运动矢量导出方式。
以大型数据处理单位导出根据一实施例的帧间预测产生的运动矢量(MV)及运动矢量预测器(MVP)。但是，在图25a及25b中公开了一种无需添加大型数据处理单位的个别的编码模式，而通过利用现有的数据处理单位(16×16宏块)的运动矢量来导出大型数据处理单位(16×16宏块的组，即32×32块)的运动矢量的方法。
例如，对于根据一实施例的大型数据处理单位的32×32超宏块2500的帧间预测，可以估计或导出针对作为帧间模式的32×32超级宏块(帧间32×32)的运动矢量mvs。
另外，在没有单独定义大型数据处理单位的编码模式的图像编码或图像解码过程中，可以利用宏块的运动矢量来导出超宏块的运动矢量。
例如，当16×16宏块2502、2504、2506、2508的运动矢量分别为mv0、mv1、mv2、mv3时，可以利用mv0导出mv1、mv2、mv3。作为示例，可根据以下数学式6预测mv1、mv2、mv3。
[数学式6]
mv1＝mv2＝mv3＝f(mv0)，(在此，f(x)＝median(x，neighbors))
median(x，y)函数是求x及y的中间值的函数，输入变量“neighbors”表示相邻的大型数据处理单位的代表运动矢量。16×16宏块的运动矢量可以估计为代表16×16宏块2502的运动矢量mv0及相邻的32×32块的代表运动矢量的中间值。
因此，根据图25a，无需按照16×16宏块测量所有的运动矢量，可将一个运动矢量视为每个16×16宏块的运动矢量，并且可由16×16宏块的运动矢量预测32×32超级宏块单位的运动矢量mvs。
在图25a，为了在编码端与解码端之间执行32×32块的运动矢量的信号传输(signaling)，需要传送用于信号传输(signaling)一个宏块的运动矢量mv0(或是32×32块的运动矢量mvs)的附加标志。而且，解码端通过利用所接收的运动矢量的三次导出过程，能够导出没有信号传输的其余运动矢量mv1、mv2、mv3。
图25b中提出利用16×16宏块运动矢量来估计32×32块的运动矢量的另一个方式。另一个预测方式是将32×32块2510子采样为16×16宏块，利用子采样的块的运动矢量来估计32×32块的运动矢量。
例如，左侧上端像素2512、右侧上端像素2514、左侧下端像素2516、右侧下端像素2518能够分别依次映射到左侧上端宏块2522、右侧上端宏块2524、左侧下端宏块2526、右侧下端宏块2528，从而产生子采样的16×16宏块2522、2524、2526、2528。
子采样的16×16宏块2522、2524、2526、2528的各个运动矢量mv0′、mv1′、mv2′、mv3′可通过如下公式导出。
[数学式7]
mv0′＝mv1′＝mv2′＝mv3′
因此，16×16宏块2522、2524、2526、2528的各个运动矢量mv0′、mv1′、mv2′、mv3′，只要测量出其中一个运动矢量，则其余运动矢量也可以导出来。
可由16×16宏块2522、2524、2526、2528的代表运动矢量MV(＝mv1′＝mv2′＝mv3′＝mv0′)预测32×32块2510的运动矢量。或者，利用运动矢量预测器来预测运动矢量(MV)，其中，该运动矢量预测器利用mv0′、mv1′、mv2′、mv3′。因此，在图25b，为了在编码端与解码端之间执行32×32块的运动矢量的信号传输(signaling)，需要传输用于信号传输(signaling)一个宏块的运动矢量(mv0′、mv1′、mv2′、mv3′中的一个)的信令的附加标志。
[[Ⅳ.频率变换及量化]]
根据一实施例的图像编码装置100的频率变换和量化部2001及根据一实施例的图像编码方法2000的频率变换和量化步骤s2030可以引入考虑大型数据处理单位的独有进程。
根据一实施例的图像编码或图像解码中，由于按照编码模式的数据处理单位可能比现有的宏块大小大，所以除了作为现有频率变换的数据处理单位的8×8或4×4以外，可以引入其它的数据处理单位。
据此，根据一实施例的图像编码及图像解码，(i-1)可以引入8×8或4×4以外的基于大型块的整数离散余弦变换和量化；(i-2)对于基于大型块的色度分量的离散余弦变换，考虑到色彩标准，数据处理单位的大小根据亮度可能会产生变化。并且，(i-3)为了减少基于大型块的离散余弦变换产生的计算负担，可以引入用于低复杂度计算的变形形态的离散余弦变换。
图26a及26b示出根据本发明的一实施例的用于大型数据处理单位的色度分量的多种运动估计方式。在后面说明(i-2)对于基于大型块的色度分量的离散余弦变换2034。亮度和色差信号(YUV)色彩标准格式包含YUV 420格式及YUV 444格式。图26a用于说明对于YUV 420格式的按照预测模式的频率变换方式，图26b用于说明对于YUV 444格式的按照预测模式的频率变换方式。以对于亮度分量按照预测模式的数据处理单位为32×32超级宏块为示例。
图26a的框图2600作为考虑到大型数据处理单位的频率变换及量化部2001的一实施例，示出对于YUV 420格式的色度分量，可按照预测模式使用的频率变换方式。
YUV 420格式是分配于各个Y分量、U分量、V分量的比特量的比率为4∶1∶1，被分配到相当于U、V分量的各个色度分量的比特量是被分配到相当于Y分量的亮度分量的比特量的四分之一以下。由此，优选地将色度分量的数据处理单位的大小设定成对于亮度分量的数据处理单位大小的四分之一以下。例如，优选地将用于色度分量的频率变换的数据处理单位的最大大小设成32×32块的四分之一，即16×16块。
对于帧内模式2610，(i)执行8×8块的帧内方向预测2612之后，执行4×4离散余弦变换及2×2哈达姆(Hadamard)变换2614，即在执行8×8频率变换的现有方式中可增加(ii)16×16块的帧内方向预测2616后，执行16×16离散余弦变换2618的新数据处理单位。
并且，对于帧间模式2620，执行N×M块的帧间预测2622之后，(i)执行4×4离散余弦变换及2×2哈达姆(Hadamard)变换2624，即在执行8×8频率变换的现有方式时可同时增加(ii)执行16×16离散余弦变换2628的新数据处理单位。
根据帧内模式2610或帧间模式2620的运动估计以及频率变换之后，通过量化2630及熵编码2640，可以对根据一实施例的大型数据处理单位的色度分量执行编码。
图26b的框图2650是考虑到大型数据处理单位的频率变换和量化部2001的另一个实施例，示出对于YUV 444格式的色度分量，可按照预测模式适用的频率变换方式。
YUV 444格式中，分别分配于Y分量、U分量、V分量的比特量的比率为4∶4∶4，因此分别分配于色度分量的比特和分配于亮度分量的比特相同。例如，对于亮度分量的数据处理单位的最大大小为32×32块，因此对于色度分量的数据处理单位的最大大小也可能为32×32块。
对于帧内模式2660，(i)执行8×8块的帧内方向预测2661之后，执行4×4离散余弦变换及2×2哈达姆(Hadamard)变换2662，即在执行8×8频率变换的现有方式中可增加：(ii)执行16×16块的帧内方向预测2663后，执行16×16离散余弦变换2664的新数据处理单位；(iii)执行32×32块的帧内方向预测2665之后，执行32×32离散余弦变换2666的新数据处理的单位。
并且，对于帧间模式2670，在执行N×M块的帧间预测2672之后，(i)在执行4×4离散余弦变换及2×2哈达姆(Hadamard)变换2674，即在执行8×8频率变换的现有方式中，可增加(ii)执行16×16离散余弦变换2628的新数据处理单位。
根据帧内模式2660或帧间模式2670的运动估计以及频率变换之后，通过量化2680及熵编码2690，可以对根据一实施例的大型数据处理单位的色度分量执行编码。
图27示出详细整理根据参照图26a及26b示出的框图2600、2650的预测模式和频率变换块的关系的表格。据此，可按照各个预测模式，根据对于亮度分量的频率变换块的大小导出对于色度分量的频率变换块的大小。
图27示出对于根据本发明的一实施例的大型数据处理单位的色度分量，导出其数据处理单位的大小的方式。对于(i-1)基于大型块的整数离散余弦变换及量化2032及(i-2)对基于大型块的色度分量的离散余弦变换2034将在后面描述。
对于YUV 420格式，用于色度分量的频率变换块的大小为用于亮度分量的频率变换块的四分之一以下。但是，频率变换块的最小大小为8×8块。
对于YUV 420格式，用于帧内模式亮度分量的离散余弦变换的数据处理单位包含32×32、16×16、8×8、4×4。因此，当用于YUV 420格式的帧内模式的亮度分量的离散余弦变换块为32×32块时，导出的相关色度分量的离散余弦变换块可以为16×16块。而且，当用于YUV 420格式的帧内模式的亮度分量的离散余弦变换块为16×16、8×8、4×4块时，导出的相关色度分量的离散余弦变换块可以是作为最小数据单位的8×8块。
对于YUV 420格式，用于帧间模式亮度分量的离散余弦变换的数据处理单位包含16×16、8×8、4×4。因此，当用于YUV 420格式的帧间模式的亮度分量的离散余弦变换块为16×16、8×8、4×4块时，导出的相关色度分量的离散余弦变换块可以是作为最小数据单位的8×8块。
对于YUV 444格式帧内模式，用于色度分量的频率变换块的大小可能与用于亮度分量的频率变换块相同。同样地，频率变换块的最小大小为8×8块。
对于YUV 444格式，用于帧内模式亮度分量的离散余弦变换的数据处理单位包含32×32、16×16、8×8、4×4。因此，当用于YUV 444格式的帧内模式的亮度分量的离散余弦变换块为32×32块及16×16块时，分别导出的相关色度分量的离散余弦变换块可以为32×32块及16×16块。
并且，当用于YUV 444格式帧内模式亮度分量的离散余弦变换的数据处理单位为8×8、4×4块时，导出的相关色度分量的离散余弦变换块可以为最小数据单位的8×8块。
用于YUV 444格式帧间模式亮度分量的离散余弦变换的数据处理单位包含16×16、8×8、4×4。因此，当用于YUV 444格式帧间模式亮度分量的离散余弦变换块为16×16块时，导出的相关色度分量的离散余弦变换块可以为16×16块。而且，当用于YUV 444格式帧间模式亮度分量的离散余弦变换块为8×8、4×4块时，导出的相关色度分量的离散余弦变换块可以为最小数据单位的8×8块。
由此，从用于亮度分量离散余弦变换的数据处理单位可以导出用于色度分量的数据处理单位。仅利用YUV色彩标准格式中的YUV420格式及YUV444格式说明按照预测模式的频率变换，但是根据一实施例动态确定的数据处理单位的图像编码及图像解码不限于YUV420格式及YUV444图像格式。
[[Ⅴ.环路滤波]]
根据一实施例的图像编码装置100的环路滤波部2007及根据一实施例的图像编码方法2000的环路滤波步骤s2080可以引入考虑到大型数据处理单位的独有处理。
根据一实施例的图像编码或图像解码的大型数据处理单位的大小有可能大于现有宏块的大小，因此需要考虑对大型数据处理单位内部的滤波。
由此，关于根据一实施例的考虑到大型数据处理单位的环路滤波的独有进程可以包含：确定是否对于大型数据处理单位内部的小型数据处理单位边界进行滤波及对每个边界的滤波强度的确定方式；减少根据大型数据处理单位编码的振铃效应的滤波。
根据一实施例，考虑到大型数据处理单位的环路滤波中，确定是否关于大型数据处理单位内部的小型数据处理单位边界进行滤波及对每个边界的滤波强度的确定方式可以通过现有图像编码或图像解码中的环路滤波所使用的环路滤波关联标志，进行如下说明。
根据现有方式，对于每个16×16宏块或8×8宏块，判断是否对边界进行执行环路滤波。例如，现有H.264图像编解码格式中设定环路滤波关联标志。环路滤波关联标志包含：表示对当前宏块及相邻左侧宏块之间的边界是否执行环路滤波的第一标志(“filterLeftMbEdgeFlag”)；及表示对当前宏块及相邻上端宏块之间的边界是否执行环路滤波的第二标志(“filterTopMbEdgeFlag”)。
并且，为了减少在16×16或8×8宏块内部中通过基于8×8或4×4块的频率变换产生的块效应(block artifact)，循环过滤关联标志包含表示在16×16或8×8宏块中是否执行环路滤波的第三标志(“filterInternalEdgeflag”)。
而且，环路滤波关联标志包含能够表示对色度分量的块边界是否执行环路滤波的第四标志(“chromaEdgeflag”)。
根据一实施例的图像编码或图像解码用比16×16或8×8宏块大的大型数据处理单位进行编码，因此，为了利用现有的环路滤波关联标志，在用于执行循环过滤的条件中添加是否在大型数据处理单位内执行循环过滤。
例如，根据一实施例的图像编码或图像解码中，若当前边界为大型数据处理单位内部的边界，则将第一、第二、第四标志设为“0”；若当前边界为大型数据处理单位的外部边界，则将第一、第二、第四标志设为“1”。即，将环路滤波关联标志可设成对包含于大型数据处理单位内部的宏块不执行环路滤波。
并且，在根据一实施例的图像编码或图像解码的环路滤波中，当通过16×16宏块进行频率变换时，第三标志可以被设成“0”。即，在16×16宏块单位的编码模式中以16×16宏块进行频率变换时，可将环路滤波关联标志设成对16×16宏块内部不进行环路滤波，以减少频率变换引起的块效应。
对于帧内模式及帧间模式混合的预测模式的宏块时，环路滤波关联标志可包含表示对互不相同预测模式的相邻块之间的边界是否执行环路滤波的第五标志(“mixedModeEdgeFlag”)。
大型数据处理单位的内部中可以存在帧内模式及帧间模式相邻的块，因此根据一实施例的图像编码或图像解码的环路滤波中，第五标志的条件可添加当前数据处理单位是否为大型处理数据单位。而且，每个大型数据处理单位的小型数据处理单位的边界可个别地设定环路滤波强度。
根据一实施例的图像编码机图像解码以大型数据处理单位执行各种进程，因此除了块效应之外还可能产生振铃效应。因此，根据一实施例的图像编码及图像解码的环路滤波中，可执行用于减少根据大型数据处理单位的编码的振铃效应的滤波。
[[Ⅵ.熵编码]]
根据一实施例的图像编码装置100的熵编码部2009及根据一实施例的图像编码方法2000的熵编码步骤s2090可以引入考虑到大型数据处理单位的独有进程。
根据一实施例，考虑到大型数据处理单位的用于熵编码或解码的独有进程包含：考虑到大型数据处理单位的层级编码块样式(coded block pattern：CBP)及编码块样式的扫描方式的引入2092；考虑到大型数据处理单位的基于上下文的自适应二进制算术编码(CABAC)或基于上下文的自适应变长编码(CAVLC)的引入2094；对于帧内模式或色度分量的数据处理单位的、对于编码块样式的单一上下文的引入2096。
图28示出利用根据本发明一实施例的考虑到大型数据处理单位的编码块样式的方法的流程图。
根据一实施例的熵编码及熵解码不仅可以利用针对作为现有编码块样式的8×8块的编码块样式(CBP8)，还可以利用考虑到大型数据处理单位的层级编码块样式。
例如，当根据一实施例的数据处理单位的编码模式为32×32超宏块的帧间模式(Inter_32×32)、32×16超宏块的帧间模式(Inter_32×16)、16×32超宏块的帧间模式(Inter_16×32)等的大于等于16×16块的帧间模式的数据处理单位的编码模式时，添加对16×16块的编码块样式(CBP16)。因此，可以根据包含CBP16及CBP8的层级编码块样式执行熵编码或解码。
因此，对于Inter_32×32、Inter_32×16、Inter_16×32的编码模式的熵编码，应从CBP16开始编码(步骤2800)。首先，在步骤2810判断对于亮度分量的CBP16(Luma_CBP16)是否为“1”，若为“0”则结束用于熵编码的纹理处理操作。若对于亮度分量的CBP16(Luma_CBP16)为“1”，则在步骤2820对表示数据处理单位大小的标志(Tr_type)进行编码之后，在步骤2830中对CBP8进行编码。在步骤2840中执行对亮度分量的纹理处理。
在步骤2850判断对色度分量的CBP16(Chroma_CBP16)是否为“1”，在步骤2860执行对于色度分量的纹理处理。
根据一实施例，利用CBP16的熵编码方法的流程图2800示出针对大于等于16×16块的帧间模式的数据处理单位的编码模式添加对16×16块的编码块样式(CBP16)的情况，但是在数据处理单位附加地被变形时也可以存在考虑到数据处理单位的变形的编码块样式。
图29a及图29b示出扫描根据本发明的一实施例的考虑到大型数据处理单位的编码块样式的多种方式。对于考虑到大型数据处理单位的编码块样式(CBP)的扫描方式2092将在后面描述。
根据一实施例的熵编码扫描数据处理单位2900，并检索不为“0”的编码块样式。现有扫描方式以交叉方式扫描8×8正方形块。
根据一实施例的熵编码引入以从数据处理单位2900的左侧上端朝向右侧下端的对角线为中心，折线往返并扫描的方式。位于数据处理单位2900内的左侧上端的编码块样式不为0的概率高，因此可以提高对不为0的有效比特进行编码的熵编码的效率。
为了根据一实施例的编码块样式的扫描效率，可将数据处理单位2900划分为多个边界2910、2920、2930、2940、2950、2960、2970。优选地，根据折线扫描方式，在边界之间区域的带中检索不为0的编码块样式(表示有“x”的位置)，并且仅对包含有不为0的编码块样式的带进行编码。
即，根据一实施例的编码块样式的扫描方式扫描数据处理单位2900，并对在边界2910之前的第一区域、边界2910及2920之间的第二区域、边界2920及2930之间的第三区域、边界2930及2940之间的第四区域、边界2940及2950之间的第五区域、边界2950及2960之间的第六区域、边界2960及2970之间的第七区域、边界2970之后的第八区域中包含有非“0”编码块样式的区域的带进行编码。
一实施例中，通过图29a和图29b分别示出为了节约传输比特，表示包含非“0”编码块样式的区域的带的两种方式。
图29a中定义“有效带”及“结束带”，可表示从有效带的区域到结束带的区域中至少一个区域的带为有效数据。图29b中定义“结束带”，可表示直至“结束带”的区域，至少一个区域的数据为有效数据。
对于图29a，为了确定数据处理单位2900的编码块样式的扫描区域，在语法上分别定义表示有效带及结束带的标志即可。在有效带的区域及结束带的区域之间即使存在无效带，也无需表示无效带的标志，更无需表示未结束的带的标志。因此，对于一数量据处理单位2900的传输比特仅需要两个比特。该两个比特与编码块样式关联，分别表示有效带及结束带的标志。
对于图29b，为了确定数据处理单位2900的编码块样式的扫描区域，在语法上仅定义表示结束带的标志即可。不需要表示结束带的区域之前的未结束的带的标志。因此，对于一数量据处理单位2900的传输比特，仅需要用于表示结束带的标志的一个比特，该一个比特与编码块样式关联。
随着大型数据处理单位的编码模式的引入，根据一实施例的熵编码可以定义对帧内模式或色度分量的大型数据处理单位的新编码块样式及新编码块样式的单一上下文。
例如，根据一实施例的大型数据处理单位编码模式可以新包含32×32超宏块的帧内模式Inter_32×32、16×16宏块的帧内模式Inter_16×16、用于16×16宏块的色度分量的帧内模式Cr_16×16、Cb_16×16。
帧内模式的大型数据单位中内部的所有数据都为0的概率非常小。因此，与利用相邻数据处理单位的上下文相比较，当前数据处理单位的编码块样式的上下文，按各个大型数据处理单位设定对编码块样式的一个上下文。
与对现有帧间模式的8×8宏块的编码块样式的上下文相同的方式设定帧间模式的编码块样式的上下文。因此，利用作为帧间模式的相邻8×8宏块的上下文，可以确定当前8×8宏块的上下文。
根据一实施例的解码端中，通过基于大型数据处理单位的熵解码对编码的图像比特流进行解码时，需要考虑到大型数据处理单位的熵解码。例如，根据一实施例的解码端通过利用按照16×16宏块的编码块样式的熵解码来恢复图像。
[[Ⅶ.动态确定通过数据处理单位的图像解码装置]]
图30a、30b、30c、30d、30e及30f示出分别根据一实施例而考虑到动态确定的数据处理单位的图像解码装置200的变形实施例的框图。
为了在根据一实施例的图像解码装置200应用大型数据处理单位，组解码部230考虑到大型数据处理单位，通过熵解码、逆量化及逆频率变换、帧内预测及运动补偿、环路滤波，生成恢复图像。
接收部210可以接收从图像编码装置100传输的图像比特流，组编码模式读取部220可以从图像比特流读取编码模式。可从语法、标志等读取编码模式。组解码部230基于所读取的编码模式对组数据进行编码。
为了考虑到动态确定的数据处理单位的解码，根据一实施例的组解码部230可以执行区别于现有图像编解码格式的独有进程。考虑到动态确定的数据处理单位中的大型数据处理单位的独有进程与参照图21至图29b说明的技术相对应。以下，说明对组解码部230的各个过程的独有进程。
图30a示出对于根据一实施例的图像解码装置200的组解码部230应用考虑到大型数据处理单位的熵解码时的框图。
根据一实施例的图像解码装置200的组解码部230的第一实施例包含考虑到大型数据处理单位的熵解码部3010、帧内预测部及运动补偿部233、逆量化及逆频率变换部237及环路滤波部239。
根据组解码部230的第一实施例的考虑到大型数据处理单位的熵解码部3010可以通过基于从组编码模式读取部220读取的编码模式的大型数据处理单元，执行熵解码。熵解码部3010中执行的熵解码是对在[[Ⅵ.熵编码]]中所述的熵编码的比特流进行解码的操作。
参照图28至图29b说明的编码块样式可应用于根据一实施例的熵解码部3010。可通过沿着非“0”编码块样式产生的概率高的方向扫描并编码获得读取的编码块样式。
根据组解码部230的第一实施例的考虑到大型数据处理单位的熵解码部3010为了根据大型数据处理单执行熵解码，对大型数据处理单位可以利用基于上下文的自适应二进制算术编码(CABAC)或基于上下文的自适应变长编码(CAVLC)。
根据组解码部230的第一实施例的考虑到大型数据处理单位的熵解码部3010可以对基于大型数据处理单位的编码块样式新设定的上下文进行解码。
图30b示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型数据处理单位的运动估计进程时的框图。
根据一实施例的图像解码装置200的组解码部230的第二实施例包含熵解码部231、根据考虑到大型数据处理单位的处理的帧内预测部及运动补偿部3030、逆量化及逆频率变换部237、及环路滤波部239。
根据组解码部230的第二实施例的根据考虑到大型数据处理单位的进程的帧内预测部及运动补偿部3030可以通过基于从组编码模式读取部220读取的编码模式的大型数据处理单位，根据进程执行运动估计或补偿。根据一实施例，考虑到大型数据处理单位的进程已在[[Ⅲ.运动估计处理]]中进行了说明。
根据一实施例的数据处理单位可以通过用于运动估计的大型数据处理单位及用于频率变换的数据处理单位的组合来确定。
根据组解码部230的第二实施例的根据考虑到大型数据处理单位的进程的帧内预测部及运动补偿部3030可以利用用于对考虑到大型数据处理单元而确定的每个数据处理单位的运动估计的扫描方式及相邻块的相邻块参照可能性。已参照图13、21及图22描述了用于按照数据处理单位的运动估计的扫描方式及相邻块的相邻块参照可能性的优选实施例。
根据组解码部230的第二实施例的根据考虑到大型数据处理单位的进程的帧内预测部及运动补偿部3030可以利用仅使用正方形形态的大型数据处理单位的简化的编码模式。已参照图23a及23b描述简化的编码模式的优选实施例。
图30c示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型数据处理单位的帧内预测时的框图。
根据一实施例的图像解码装置200的组解码部230的第三实施例包含熵解码部231、考虑到大型数据处理单位的帧内预测部3040及运动补偿部235、逆量化及频率逆变换部237、环路滤波部239。优选地，根据[[Ⅲ-1帧内预测]]中所述的一实施例的独有进程对图像进行编码时，在图像解码装置200中也基于[[Ⅲ-1帧内预测]]中所述的进程进行解码。
根据组解码部230的第三实施例的考虑到大型数据处理单位的帧内预测部3040可以利用对预定的大型数据处理单位增加的帧内模式。例如，帧内预测部3040可以利用帧内模式的32×32超宏块、帧内模式的16×16超宏块等。
为了实现更加准确的大型数据处理单位的运动估计，根据组解码部230的第三实施例的考虑到大型数据处理单位的帧内预测部3040可以引入在帧内模式中利用复平面(complex plain)的预测模式。
根据组解码部230的第三实施例，考虑到大型数据处理单位的帧内预测部3040可以仅利用有限种类的大型数据处理单位来执行帧内预测。
图30d示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型数据处理单位的运动补偿时的框图。
根据一实施例的图像解码装置200的组解码部230的第四实施例包含熵解码部231、帧内预测部234及考虑到大型数据处理单位的运动补偿部3050、逆量化及逆频率变换部237、环路滤波部239。优选地，对于通过根据一实施例的大型数据处理单位编码的图像，优选地，基于根据一实施例的[[Ⅱ-2帧间预测]]中所述的独有进程执行运动估计及运动补偿。
根据组解码部230的第四实施例的考虑到大型数据处理单位的运动补偿部3050能够引入可以混合帧间模式及帧内模式的混合模式作为大型数据处理单位的预测模式。
根据组解码部230的第四实施例的考虑到大型数据处理单位的运动补偿部3050可以利用按照大型数据处理单位确定的运动矢量(MV)及运动矢量预测器(MVP)。
根据组解码部230的第四实施例的考虑到大型数据处理单位的运动补偿部3050可以利用按大型数据处理单位定义的新跳跃模式，并对包含多个跳跃模式的数据处理单位的跳跃组同时进行跳跃处理。
图30e示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型数据处理单位的逆量化及逆频率变换时的框图。
根据一实施例的图像解码装置200的组解码部230的第五实施例包含：熵解码部231；帧内预测部及运动补偿部233、考虑到大型数据处理单位的逆量化及逆频率变换部3070；及环路滤波部239。优选地，考虑到大型数据处理单位的逆量化及逆频率变换部3070执行根据[[Ⅳ.频率变换及量化]]中所述的一实施例的频率变换及量化方法的逆过程。
根据组解码部230的第五实施例的考虑到大型数据处理单位的逆量化及逆频率变换部3070为了通过大型数据处理单位执行逆量化及逆频率变换，可以执行基于大型数据处理单位的整数离散余弦逆变换及逆量化。
根据组解码部230的第五实施例的考虑到大型数据处理单位的逆量化及逆频率变换部3070为了通过大型数据处理单位执行逆频率变换及逆量化，可以对大型数据处理单位的色度分量执行余弦逆转换及逆量化。
根据组解码部230的第五实施例的考虑到大型数据处理单位的逆量化及逆频率变换部3070为了减少因基于大型数据处理单位的离散余弦逆变换可能增加的计算量的负担，可以执行指向低复杂度计算的离散余弦逆变换。
图30f示出对根据一实施例的图像解码装置200的组解码部230应用考虑到大型数据处理单位的环路滤波时的框图。
根据一实施例的图像解码装置200的组解码部230的第六实施例包含熵解码部231、帧内预测部及运动补偿部233、逆量化及逆频率变换部237、考虑到大型数据处理单位的环路滤波部3090。优选地，考虑到大型数据处理单位的环路滤波部3090执行与根据[[Ⅴ.环路滤波]]中所述的一实施例的环路滤波所对应的操作。
根据组解码部230的第六实施例的考虑到大型数据处理单位的环路滤波部2007可以确定是否对大型数据处理单位内部的小型处理单位的边界进行滤波。并且，可以对大型数据处理单位内部的小型处理单位按照边界调整滤波强度。
根据组解码部230的第六实施例的考虑到大型数据处理单位的环路滤波部2007为了减少大型数据处理单位内部的振铃效应，可以执行环路滤波。
参照图30a至30f而说明的组解码部230的第一实施例至第六实施例，根据读取的编码模式，可以利用现有32×32、16×16、8×8块之外的数据处理单位对组的数据进行编码。特别是，考虑到大型数据处理单位而改变现有图像编解码格式的语法，由此对现有图像编解码格式可以应用根据大型数据处理单位的多种处理。
[[Ⅷ.通过动态确定的数据处理单位的图像编码方法及图像解码方法]]
图31a、31b、31c、31d、31e及31f示出分别根据一实施例的考虑到动态确定数据处理单位的图像编码方法1800的变形实施例的流程图。
对于图31a、31b、31c、31d、31e及31f，共同之处在于在步骤1810中，以基本块分类的图像数据分类为包含组、子组及基本块的扩展概念。并且，在步骤1820中确定为对组进行编码而利用的有关数据处理单位的信息及组的编码模式。在此，组的编码模式可以包含考虑到大型数据处理单位的编码模式。
在步骤1830中，为对组进行编码，可以执行频率变换及量化、运动估计、环路滤波、熵编码过程。参照图31a至31f，叙述用于组的编码的按各个过程的独有进程。
图31a示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应用考虑到大型数据处理单位的频率变换及量化时的流程图。
在步骤1831中，通过根据考虑到大型数据处理单位的编码模式的频率变换及量化，对组的数据进行编码。为了考虑到大型数据处理单位的频率变换及量化，可以执行基于大型块的整数离散余弦变换及量化2032、对于大型块的色度分量的离散余弦变换及量化2034、用于基于大型块的离散余弦变换的低复杂度计算2036中的至少一个。
图31b示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应用考虑到大型数据处理单位的处理的运动估计时的流程图。
在步骤1833中，通过根据考虑到大型数据处理单位的编码模式的运动估计，对组的数据进行编码。为了考虑到大型数据处理单位的运动估计处理，可以执行用于运动估计的大型块及用于频率变换的大型块的组合2052、用于运动估计的块扫描方式及相邻块的相邻块参照可能性2054、大型块的简化模式2056中的至少一个。
图31c示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应用考虑到大型数据处理单位的帧内预测时的流程图。
在步骤1834中，通过根据考虑到大型数据处理单位的编码模式的帧内预测，对组的数据进行编码。为了考虑到大型数据处理单位的帧内预测，可以执行基于大型块的帧内模式2062、用于帧内预测的复平面的引入2064、能够预测的帧内模式的确定2066中的至少一个。
图31d示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应用考虑到大型数据处理单位的帧间预测时的流程图。
在步骤1835中，通过根据考虑到大型数据处理单位的编码模式的帧间预测，对组的数据进行编码。为了考虑到大型数据处理单位的帧间预测，可以执行帧内模式及帧间模式混合的预测模式的引入2072、大型块的运动矢量(MV)的确定方式及运动矢量预测器(MVP)的导出方式2074、大型块的新跳跃模式及跳跃组的引入2076中的至少一个。
图31e示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应用考虑到大型数据处理单位的环路滤波时的流程图。
在步骤1837中，通过根据考虑到大型数据处理单位的编码模式的环路滤波，对组的数据进行编码。为了考虑到大型数据处理单位的环路滤波，可以执行确定对于大型块内部的边界是否进行滤波及滤波强度确定2082、大型块内部的振铃效应减少滤波2084中的至少一个。
图31f示出对于根据本发明一实施例的图像编码方法1800的组编码步骤1830应用考虑到大型数据处理单位的熵编码时的流程图。
在步骤1839中，通过根据考虑到大型数据处理单位的编码模式的熵编码，对组的数据进行编码。为了考虑到大型数据处理单位的熵编码，可以执行对于编码块样式(CBP)的引入及编码块样式扫描方式2092、考虑到大型块的基于上下文的自适应二进制算术编码(CABAC)或基于上下文的自适应变长编码(CAVLC)的引入2094、对于大型块的编码块样式的上下文设定2096中的至少一个。
图32a、32b、32c、32d、32e及32f是示出分别根据一实施例的考虑到动态确定数据处理单位的图像解码方法1900的变形实施例的流程图。
对于图32a、32b、32c、32d、32e及32f，共同之处在于，在步骤1910中接收图像比特流，并进行解析。接收的图像比特流包含以基本块、组、子组单位编码的数据。并且，在步骤1920中读取表示组的编码方式的组的编码模式。组的编码模式可以包含组的数据处理单位、及帧内模式、帧间模式、跳跃模式等的运动估计模式。
步骤1930中，为对组进行解码，可以执行熵解码、逆频率变换及逆量化、运动估计及补偿、环路滤波过程。参照图32a至32f，叙述用于对组进行解码的按各个过程的独有进程。
图32a是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考虑到大型数据处理单位的熵解码时的流程图。
在步骤1931中，通过考虑到大型数据处理单位的熵解码，对组的数据进行解码。为了执行考虑到大型数据处理单位的熵解码，可以利用基于大型数据处理单位的编码块样式。考虑到大型数据处理单位的熵解码可以利用对大型数据处理单位的基于上下文的自适应二进制算术编码(CABAC)或基于上下文的自适应变长编码(CAVLC)。
为了执行考虑到大型数据处理单位的熵解码，可以利用对基于大型数据处理单位的编码块样式新设定的上下文，对编码块样式进行解码。
图32b是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考虑到大型数据处理单位的运动估计处理时的流程图。
在步骤1933中，根据考虑到大型数据处理单位的进程执行运动估计或补偿，对组的数据进行解码。可以通过用于运动估计的大型数据处理单位及用于频率变换的数据处理单位的组合来确定根据一实施例的数据处理单位。可以利用用于考虑到大型数据处理单位而确定的按照数据处理单位的运动估计的扫描方式及相邻块的相邻块参照可能性。
根据一实施例、为了帧内估计及运动补偿而考虑到大型数据处理单位的进程可以利用仅使用正方形形态的大型数据处理单位的简化的编码模式。
图32c是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考虑到大型数据处理单位的帧内预测时的流程图。
在步骤1934中，通过根据考虑到大型数据处理单位的编码模式的帧内预测对组的数据进行解码。根据一实施例，考虑到大型数据处理单位的帧内预测步骤可以利用对大型数据处理单位附加的帧内模式。考虑到大型数据处理单位的帧内模式可以引入利用复平面(complex plain)的预测模式。考虑到大型数据处理单位的帧内预测可以仅对有限种类的大型数据处理单位执行。
图32d是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考虑到大型数据处理单位的运动补偿时的流程图。
在步骤1935中，通过根据考虑到大型数据处理单位的编码模式的运动补偿对组的数据进行解码。为了考虑到大型数据处理单位的运动补偿，可以利用帧间预测及帧内预测混合的混合模式作为大型数据处理单位的预测模式。
为了运动补偿，可以利用按照大型数据处理单位确定的运动矢量(MV)及运动矢量预测器(MVP)。可以利用按照大型数据处理单位定义的新跳跃模式，并且对于包含多个跳跃模式处理单位的跳跃组进行跳跃处理。
图32e是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考虑到大型数据处理单位的逆量化及逆频率变换时的流程图。
在步骤1937中，通过根据考虑到大型数据处理单位的编码模式的逆量化及逆频率变换，对组的数据进行解码。
为了考虑到大型数据处理单位的逆量化及逆频率变换，可以执行基于大型数据处理单位的整数离散余弦逆变换及逆量化。对大型数据处理单位的色度分量可以执行离散余弦逆变换及逆量化。为了减少根据基于大型数据处理单位的离散余弦逆变换可能增加的计算量的负担，可以执行倾向于低复杂度计算的离散余弦逆变换。
图32f是示出对于根据一实施例的图像解码方法1900的组解码步骤1930应用考虑到大型数据处理单位的环路滤波时的流程图。
在步骤1939中，通过考虑到大型数据处理单位的环路滤波，对组的数据进行解码。
为了执行考虑到大型数据处理单位的环路滤波，可以确定是否对大型数据处理单位内部的小型处理单位的边界是否执行滤波。并且，可以调节对大型数据处理单位内部的小型数据处理单位按照边界的滤波强度。而且，为了减少大型数据处理单位内部的振铃效应，可以执行环路滤波。
另外，如前所述，本发明的实施例可以用计算机能够执行的程序实现，并且利用计算机可读的记录介质，可在运行所述程序的通用数据计算机上实现。而且，所述计算机可读的记录介质包含如磁性存储介质(例如只读存储器、软盘、硬盘等)、光记录介质(例如CD-ROM、DVD)及载波(例如通过因特网的传输)的存储介质。
到此为止，以优选实施例为中心描述本发明。对于属于本发明的技术领域的拥有一般知识的人应理解，在不超过本发明的本质特性的范围内可以以变形形态实现。因此，公开的实施例应以限定的观点去考虑，而应该以阐明的目的的观点考虑。本发明的范围不以说明书的内容作限定，而以权利要求书的内容作限定，在与其等同的范围内的所有的不同都应解释为包含于本发明。

Claims (41)

1.一种图像编码方法，其特征在于包括如下步骤： 
针对分类为基本块的图像数据，将所述图像数据分类为包括至少一个基本块的组、包括至少一个基本块并包括在所述组中的子组及基本块； 
为了编码预定组，确定使编码误差率最小化的所述预定组的编码模式，该编码模式表示根据所述组、子组及基本块中的一个数据处理单位对预定组的数据进行编码的方式；以及 
根据确定的所述预定组的编码模式对所述预定组的数据编码。 
2.如权利要求1所述的图像编码方法，其特征在于所述图像编码方法还包括对表示所述预定组的编码模式的标志进行编码的步骤。 
3.如权利要求1所述的图像编码方法，其特征在于所述数据分类步骤包括确定表示所述组中所包括的基本块数量的组大小以及由包括在所述组中的基本块所形成的组形状的步骤。 
4.如权利要求1所述的图像编码方法，其特征在于所述数据分类步骤包括基于表示所述组中所包括的子组数量的等级以及所述基本块的扫描顺序，确定所述组的子组的步骤。 
5.如权利要求1所述的图像编码方法，其特征在于所述编码模式包括关于数据处理单位种类的信息、关于所述数据处理单位大小的信息、关于预测模式的信息中的至少一个，所述关于数据处理单位种类的信息表示所述组单位、所述子组单位、所述基本块单位中的哪一个为用于对所述组的数据进行编码的数据处理单位，所述关于数据处理单位大小的信息表示所述数据处理单位所包括的基本块数量，所述关于预测模式的信息表示为进行对所述数据处理单位的运动估计而确定对应所述数据处理单位的参照信息的方式。 
6.如权利要求1所述的图像编码方法，其特征在于所述编码模式确定步骤包括如下步骤： 
按照所述组的各个预定数据处理单位，根据至少一个预测模式进行针对所述数据处理单位的编码； 
计算按照所述预定数据处理单位及预测模式的组合进行编码所引起的误差率； 
确定对应于计算出的所述误差率中的最小误差率的所述预定数据处理单 位的预测模式。 
7.如权利要求6所述的图像编码方法，其特征在于所述编码模式确定步骤包括如下步骤： 
比较考虑到按照所述组内数据处理单位的预测模式的编码误差率，将与最小误差率对应的数据处理单位及预测模式的组合确定为所述组的编码模式。 
8.如权利要求1所述的图像编码方法，其特征在于所述图像编码方法还包括将组单位及子组单位中一个数据经频率变换的系数以多个基本块单位重新排列的步骤。 
9.如权利要求1所述的图像编码方法，其特征在于所述图像编码方法还包括对表示用于对所述组内数据进行频率变换的数据处理单位的标志进行编码的步骤。 
10.如权利要求1所述的图像编码方法，其特征在于所述数据分类步骤中，按照所述图像数据的图片、序列及组中的一个的数据单位分别确定所述组单位大小、形状及最大等级。 
11.如权利要求1所述的图像编码方法，其特征在于所述编码步骤包括如下步骤： 
基于对应于所述确定的预定组的编码模式的大型数据处理单位进行用于所述图像数据的编码的频率变换及量化； 
基于所述大型数据处理单位，进行用于所述图像数据的编码的运动估计； 
基于所述大型数据处理单位，进行用于所述图像数据的编码的环路滤波； 
基于所述大型数据处理单位，进行用于所述图像数据的编码的熵编码。 
12.如权利要求11所述的图像编码方法，其特征在于所述编码步骤中，基于用于所述运动估计的数据处理单位的大小，确定用于所述频率变换的数据处理单位的大小。 
13.如权利要求11所述的图像编码方法，其特征在于进行运动估计的步骤包括通过基于所述大型数据处理单位的运动估计进程进行帧内预测或帧间预测， 
基于所述大型数据处理单位的运动估计进程为以下运动估计进程中的至少一个： 
依照用于基于所述大型数据处理单位的顺序运动估计的确定的按数据处 理单位的扫描顺序的运动估计处理； 
为了基于所述大型数据处理单位的所要执行的对所述图像数据的运动估计，确定位于当前数据处理单位的右侧上端的相邻数据处理单位的参照可能性的运动估计进程； 
基于所述大型数据处理单位，利用所述大型数据处理单位中的正方形块形状的数据处理单位的运动估计进程。 
14.如权利要求11所述的图像编码方法，其特征在于所述进行运动估计的步骤包括基于所述大型数据处理单位进行帧内预测的步骤， 
基于所述大型数据处理单位的帧内预测包括以下帧内预测中的至少一个： 
基于复平面型帧内模式以所述大型数据处理单位进行的帧内预测； 
基于所述大型数据处理单位，以为了能够以帧内模式进行运动估计而预先设定的数据处理单位进行的帧内预测；以及 
基于所述大型数据处理单位，以帧内模式及帧间模式相混合形式的预测模式进行的帧内预测。 
15.如权利要求11所述的图像编码方法，其特征在于所述进行运动估计的步骤包括基于所述大型数据处理单位进行帧间预测的步骤， 
基于所述大型数据处理单位的帧间预测包括以下帧间预测中的至少一个： 
确定用于针对当前数据处理单位的帧间模式的运动估计的运动矢量的帧间预测； 
基于所述大型数据处理单位，导出对应于所述运动矢量的运动矢量预测器的帧间预测；以及 
基于所述大型数据处理单位确定扩展形式的跳跃模式，从而对包括有相邻的至少一个跳跃模式的数据处理单位的跳跃组同时进行跳跃处理的帧间预测。 
16.如权利要求11所述的图像编码方法，其特征在于所述进行频率变换及量化的步骤包括进行以下变换中的至少一个： 
基于所述大型数据处理单位的以大型块为基础的整数离散余弦变换； 
基于所述大型数据处理单位而对当前数据处理单位的色度分量进行的频率变换；以及 
为了减少考虑所述大型数据处理单位的频率变换所产生的计算量负担而采用变形形式的频率变换。 
17.如权利要求11所述的图像编码方法，其特征在于进行熵编码的步骤中进行以下项目中的至少一个： 
利用针对当前数据处理单位进行频率变换及量化而产生的量化系数，基于所述大型数据处理单位根据按照数据处理单位的大小来层级确定的编码块样式； 
根据基于所述当前数据处理单位的量化系数中存在非零的量化系数的概率的顺序的编码块样式的扫描； 
基于所述大型数据处理单位变形的基于上下文的自适应二进制算术编码或基于上下文的自适应可变长度编码； 
基于所述大型数据处理单位，针对帧内模式或色度分量的大型数据处理单位的编码块样式确定的单一上下文。 
18.如权利要求11所述的图像编码方法，其特征在于进行环路滤波的步骤中，基于所述大型数据处理单位确定以下去块滤波中至少一种滤波的进行与否： 
针对大型数据处理单位内部的小型数据处理单位边界的去块滤波； 
针对以预定数据处理单位进行频率变换的所述大型数据处理单位内部的小型数据处理单位的边界的去块滤波； 
针对所述大型数据处理单位内部的小型数据处理单位的色度分量的边界的去块滤波；以及 
针对以帧间模式及帧内模式相混合的形式进行运动估计的所述大型数据处理单位内部的小型数据处理单位的边界的去块滤波， 
针对所述大型数据处理单位内部的至少一个小型数据处理单位的边界，分别设定按照边界的去块滤波的强度， 
基于所述大型数据处理单位，针对大型大小的当前数据处理单位进行用于减小振铃效应的附加滤波。 
19.一种图像解码方法，其特征在于包括如下步骤： 
接收编码为基本块、包括至少一个基本块的组、及包括至少一个基本块并包括在所述组中的子组中的一个数据处理单位的图像数据并进行解析； 
从所述解析的数据，读取表示以所述组、子组及基本块中的一个数据处 理单位编码预定组的数据的方式的所述预定组的编码模式； 
基于所述读取的编码模式解码所述预定组的数据。 
20.如权利要求19所述的图像解码方法，其特征在于所述编码模式读取步骤包括如下步骤： 
从所述解析的数据，读取设定为用于解码的数据处理单位的组的形状、表示包括在所述组内的基本块的数量的组的大小以及关于所述组内子组的最大数量的最大等级信息； 
利用关于所述组的形状及所述组的大小的信息，确定作为分类所述解析的图像数据而进行解码的数据处理单位的组。 
21.如权利要求20所述的图像解码方法，其特征在于所述组单位分别按照所述图像数据的图片、序列及组中的一个数据单位进行设定。 
22.如权利要求19所述的图像解码方法，其特征在于所述子组基于表示包括在所述组中的子组数量的等级及所述基本块的扫描顺序进行设定。 
23.如权利要求19所述的图像解码方法，其特征在于所述编码模式读取步骤包括如下步骤： 
从针对所述预定组的数据提取编码模式标志，该编码模式标志表示所述预定组的编码模式；以及 
利用所述编码模式标志读取所述预定组的编码模式。 
24.如权利要求19所述的图像解码方法，其特征在于所述组的编码模式包括关于数据处理单位种类的信息、关于所述数据处理单位大小的信息、关于预测模式的信息中的至少一个，所述关于数据处理单位种类的信息表示编码所述组的数据的数据处理单位为所述组、所述子组、所述基本块中的哪一个，所述关于数据处理单位大小的信息表示所述数据处理单位所包括的基本块数量，所述关于预测模式的信息表示为进行对所述数据处理单位的运动估计而确定与所述数据处理单位对应的参照信息的方式。 
25.如权利要求24所述的图像解码方法，其特征在于所述组解码步骤包括如下步骤： 
基于所述编码模式的关于所述数据处理单位种类的信息及关于大小的信息，确定所要进行解码的数据处理单位； 
基于所述编码模式的关于预测模式的信息确定所述数据处理单位的预测模式；以及 
基于所述确定的数据处理单位及预测模式，解码所述组的图像数据。 
26.如权利要求24所述的图像解码方法，其特征在于所述编码模式中，在对所述组的编码中，按照所述组内的数据处理单位，针对根据至少一个预测模式的预定数据处理单位进行编码来计算按照预测模式下的编码误差率， 
对按照所述数据处理单位，确定对应于按照所述预测模式下的编码误差率中的最小误差率的所述预定数据处理单位及预测模式的组合， 
按照所述组内的数据处理单位及预测模式的组合比较编码误差率，选择具有最小误差率的数据处理单位及预测模式的组合来设定为所述组的编码模式。 
27.如权利要求19所述的图像解码方法，其特征在于所述基本块单位的解码处理顺序为折线扫描方式。 
28.如权利要求19所述的图像解码方法，其特征在于所述图像解码方法还包括将多个基本块的进行频率变换的系数重新排列为组单位及子组单位中的一个的步骤。 
29.如权利要求20所述的图像解码方法，其特征在于所述图像解码方法还包括从所述解析的数据读取标志的步骤，该标志为表示用于所述组内数据的频率变换的数据处理单位。 
30.如权利要求19所述的图像解码方法，其特征在于所述解码步骤包括如下步骤： 
基于对应于所述读取的组的编码模式的大型数据处理单位，进行用于所述组的数据的解码的熵解码； 
基于所述大型数据处理单位，进行用于所述组的数据的解码的逆量化及频率逆变换； 
基于所述大型数据处理单位，进行用于所述组的数据的解码的运动估计； 
基于所述大型数据处理单位，进行用于所述组的数据的解码的环路滤波。 
31.如权利要求30所述的图像解码方法，其特征在于所述解码步骤中基于用于所述运动估计的数据处理单位的大小来确定用于所述频率变换的数据处理单位的大小。 
32.如权利要求30所述的图像解码方法，其特征在于所述进行运动估计的步骤利用以下项目中的至少一个： 
为基于所述大型数据处理单位确定的顺序运动估计、按照数据处理单位 确定的扫描顺序； 
基于所述大型数据处理单位确定的、位于当前数据处理单位的右侧上端的相邻数据处理单位的参考可能性； 
所述大型数据处理单位中仅利用正方形块形状的数据处理单位的简化模式。 
33.如权利要求30所述的图像解码方法，其特征在于所述进行运动估计的步骤包括基于所述大型数据处理单位进行帧内预测的步骤， 
所述帧内预测步骤利用以下项目中的至少一个来进行用于所述组的数据的解码的运动估计： 
基于复平面型帧内模式以所述大型数据处理单位进行的帧内预测； 
基于所述大型数据处理单位，为了能够以帧内模式进行运动估计而预先设定的数据处理单位； 
基于所述大型数据处理单位，帧内模式及帧间模式相混合形式的预测模式。 
34.如权利要求30所述的图像解码方法，其特征在于所述进行运动估计的步骤包括基于所述大型数据处理单位进行帧间预测的步骤， 
所述帧间预测步骤包括利用以下项目中的至少一个来进行帧间预测的步骤： 
为针对基于所述大型数据处理单位确定的当前数据处理单位的帧间模式的运动估计而确定的运动矢量； 
基于所述大型数据处理单位，对应于所述运动矢量而导出的运动矢量预测器；以及 
包括基于所述大型数据处理单位确定的扩展形式的跳跃模式以及相邻的至少一个跳跃模式的数据处理单位的跳跃组。 
35.如权利要求30所述的图像解码方法，其特征在于进行逆量化及频率逆变换的步骤进行以下变化中的至少一个： 
基于所述大型数据处理单位的以大型块为基础的整数离散余弦逆变换； 
基于所述大型数据处理单位的对大型数据处理单位的色度成分进行的逆频率变换； 
为了减少考虑所述大型数据处理单位的逆频率变换所产生的计算量负担而采用变形形式的逆频率变换。 
36.如权利要求30所述的图像解码方法，其特征在于所述进行熵解码的步骤利用以下项目中的至少一个： 
基于所述大型数据处理单位，根据每个数据处理单位的大小来确定的层级编码块样式； 
基于所述大型数据处理单位的量化系数中存在不为零的量化系数的概率扫描的编码块样式； 
对根据考虑所述大型数据处理单位的基于上下文的自适应二进制算术编码或基于上下文的自适应可变长编码来熵编码的数据进行熵解码； 
基于所述大型数据处理单位，针对帧内模式或色度成分的大型数据处理单位的以单一上下文确定的编码块样式。 
37.如权利要求30所述的图像解码方法，其特征在于所述进行环路滤波的步骤中，基于所述大型数据处理单位确定以下去块滤波中至少一种滤波的进行与否： 
针对大型大小的当前数据处理单位内部的小型数据处理单位的去块滤波； 
针对以预定大小的数据处理单位进行频率变换的所述当前数据处理单位内部的小型数据处理单位的边界的去块滤波； 
针对所述当前数据处理单位内部的小型数据处理单位的色度成分的边界的去块滤波；以及 
针对以帧间模式及帧内模式相混合的形式进行运动估计的所述当前数据处理单位内部的小型数据处理单位的边界的去块滤波， 
针对所述当前数据处理单位内部的至少一个小型数据处理单位的边界，分别设定按照边界的去块滤波的强度， 
基于所述大型数据处理单位，针对大型大小的当前数据处理单位进行用于减小振铃效应的附加滤波。 
38.一种图像编码装置，其特征在于包括： 
数据分类部，针对分类为基本块的图像数据，将所述图像数据分类为包括至少一个基本块的组、包括至少一个基本块并包括在所述组中的子组及基本块； 
组编码模式确定部，为了编码所述组，确定使编码误差率最小化的组单位、子组单位及基本块单位中的至少一个数据处理单位及表示根据所述至少 一个数据处理单位的所述组的数据的编码方式的所述组的编码模式； 
组编码部，根据所述确定的编码模式编码所述组的数据。 
39.如权利要求38所述的图像编码装置，其特征在于所述组编码部包括： 
频率变换及量化部，基于对应于所述确定的组的编码模式的大型数据处理单位进行用于所述图像数据的编码的频率变换及量化； 
运动估计部，基于所述大型数据处理单位，进行用于所述图像数据的编码的运动估计； 
环路滤波部，基于所述大型数据处理单位，进行用于所述图像数据的编码的环路滤波； 
熵编码部，基于所述大型数据处理单位，进行用于所述图像数据的编码的熵编码。 
40.一种图像解码装置，其特征在于包括： 
接收部，接收编码为基本块、包括至少一个基本块的组、及包括至少一个基本块并包括在所述组中的子组中的一数据处理单位的数据并进行解析； 
组编码模式读取部，从所述解析的数据，读取表示以所述组、子组及基本块中的一数据处理单位编码预定组的数据的方式的所述预定组的编码模式； 
组解码部，基于所述读取的编码模式解码所述预定组的数据。 
41.如权利要求40所述的图像解码装置，其特征在于所述组解码部包括： 
熵解码部，基于对应于所述读取的组的编码模式的大型数据处理单位，进行用于所述组的数据的解码的熵解码； 
逆量化及逆频率变换部，基于所述大型数据处理单位，进行用于所述组的数据的解码的逆量化及逆频率变换； 
运动估计部，基于所述大型数据处理单位，进行用于所述组的数据的解码的运动估计；以及 
环路滤波部，基于所述大型数据处理单位，进行用于所述组的数据的解码的环路滤波。 
CN200980131662.XA 2008-06-13 2009-06-03 图像编码方法及其装置、图像解码方法及其装置 Expired - Fee Related CN102124739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410334485.8A CN104093019B (zh) 2008-06-13 2009-06-03 图像解码方法和图像解码设备

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US6117508P 2008-06-13 2008-06-13
US61/061,175 2008-06-13
US8233808P 2008-07-21 2008-07-21
US61/082,338 2008-07-21
KR1020080102464A KR20090129926A (ko) 2008-06-13 2008-10-20 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR10-2008-0102464 2008-10-20
KR1020090040890A KR101599879B1 (ko) 2008-06-13 2009-05-11 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR10-2009-0040890 2009-05-11
PCT/KR2009/002942 WO2009151232A2 (ko) 2008-06-13 2009-06-03 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410334485.8A Division CN104093019B (zh) 2008-06-13 2009-06-03 图像解码方法和图像解码设备

Publications (2)

Publication Number Publication Date
CN102124739A CN102124739A (zh) 2011-07-13
CN102124739B true CN102124739B (zh) 2014-08-13

Family

ID=41689802

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410334485.8A Active CN104093019B (zh) 2008-06-13 2009-06-03 图像解码方法和图像解码设备
CN200980131662.XA Expired - Fee Related CN102124739B (zh) 2008-06-13 2009-06-03 图像编码方法及其装置、图像解码方法及其装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410334485.8A Active CN104093019B (zh) 2008-06-13 2009-06-03 图像解码方法和图像解码设备

Country Status (7)

Country Link
US (2) US20110090967A1 (zh)
EP (2) EP2293567A4 (zh)
JP (3) JP5670885B2 (zh)
KR (2) KR20090129926A (zh)
CN (2) CN104093019B (zh)
AU (3) AU2009258401A1 (zh)
WO (1) WO2009151232A2 (zh)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8126046B2 (en) * 2006-06-30 2012-02-28 Intel Corporation Flexible macroblock ordering and arbitrary slice ordering apparatus, system, and method
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CA3159686C (en) * 2009-05-29 2023-09-05 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
KR20110001990A (ko) * 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
CN104796717B (zh) * 2009-07-01 2018-11-06 汤姆森特许公司 用于视频编码器和解码器的方法和装置
JP5841944B2 (ja) 2009-09-04 2016-01-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． スケーラブルな画像符号化および復号化
NO331356B1 (no) * 2009-10-16 2011-12-12 Cisco Systems Int Sarl Fremgangsmater, dataprogrammer og anordninger for koding og dekoding av video
US9467705B2 (en) * 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101703327B1 (ko) 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
WO2011126282A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
JP5368631B2 (ja) 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
PT3244612T (pt) 2010-04-13 2018-11-14 Ge Video Compression Llc Codificação de mapas de significância e blocos de coeficientes de transformada
CN105704490B (zh) * 2010-04-16 2018-07-31 Sk电信有限公司 视频编码设备
KR101813189B1 (ko) 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
WO2011129672A2 (ko) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101791078B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
WO2011129671A2 (ko) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
CN106067973B (zh) 2010-05-19 2019-06-18 Sk电信有限公司 视频解码设备
US10091529B2 (en) 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
MY184131A (en) * 2010-07-09 2021-03-19 Samsung Electronics Co Ltd Method and apparatus for entropy encoding/decoding a transform coefficient
US20120014441A1 (en) * 2010-07-15 2012-01-19 Sharp Laboratories Of America, Inc. Parallel video coding based on boundaries
JP5707412B2 (ja) * 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
MX2013001774A (es) 2010-09-30 2013-03-18 Panasonic Corp Metodo de decodificacion de imagen, metodo de codificacion de imagen, aparato de decodificacion de imagen, aparato codificacion de imagen, programa, y circuito integrado.
MX2013003691A (es) * 2010-09-30 2013-04-24 Samsung Electronics Co Ltd Metodo de codficacion de video para codificar simbolos de estructura jerarquica y dispositivo para esto, y metodo de decodificacion de video para decodificar simbolos de estructura jerarquica y dispositivo para esto.
KR101483179B1 (ko) * 2010-10-06 2015-01-19 에스케이 텔레콤주식회사 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
CN104811706B (zh) 2011-01-06 2017-10-27 三星电子株式会社 视频的编码方法和装置及视频的解码方法和装置
JP2012147127A (ja) * 2011-01-07 2012-08-02 Sony Corp 画像処理装置および方法
US8925027B2 (en) * 2011-01-20 2014-12-30 Vidyo, Inc. Participant aware configuration for video encoder
EP2685718B1 (en) * 2011-03-10 2018-08-29 Sharp Kabushiki Kaisha Image decoding apparatus
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
EP4228264A1 (en) 2011-06-23 2023-08-16 Sun Patent Trust Image decoding device, image encoding device
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
KR101675707B1 (ko) 2011-06-23 2016-11-11 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
WO2012176465A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
TWI581615B (zh) 2011-06-24 2017-05-01 Sun Patent Trust A decoding method, a coding method, a decoding device, an encoding device, and a coding / decoding device
EP2725793A4 (en) 2011-06-27 2014-12-03 Panasonic Ip Corp America IMAGE DECODING METHOD, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, AND IMAGE ENCODING / DECODING DEVICE
CN102857746B (zh) * 2011-06-28 2017-03-29 中兴通讯股份有限公司 环路滤波编解码方法及装置
ES2797423T3 (es) 2011-06-28 2020-12-02 Samsung Electronics Co Ltd Procedimiento de codificación y decodificación de vídeo usando codificación aritmética con una señalización bidimensional del último coeficiente significativo
RU2602671C2 (ru) 2011-06-28 2016-11-20 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
KR102006032B1 (ko) * 2011-06-29 2019-07-31 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
JP2013012995A (ja) * 2011-06-30 2013-01-17 Sony Corp 画像処理装置および方法
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
EP2727354A1 (en) * 2011-06-30 2014-05-07 Huawei Technologies Co., Ltd Encoding of prediction residuals for lossless video coding
EP2728871A4 (en) * 2011-06-30 2016-01-13 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING MOTION INFORMATION WITH A CRASHING MODE AND DECODING METHOD AND DEVICE THEREFOR
CN107181948B (zh) 2011-06-30 2020-03-13 太阳专利托管公司 图像编码方法、图像编码装置及图像编码解码装置
RU2714371C2 (ru) 2011-07-11 2020-02-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
JP5352016B2 (ja) * 2011-07-18 2013-11-27 パナソニック株式会社 画像符号化方法、符号化方法および符号化装置
WO2013018296A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
CN107197254B (zh) * 2011-09-09 2020-03-03 太阳专利托管公司 解码方法及解码装置
ES2773691T3 (es) * 2011-09-14 2020-07-14 Samsung Electronics Co Ltd Procedimiento y dispositivo de codificación de una unidad de predicción (PU) según su tamaño y dispositivo de decodificación correspondiente
US9185404B2 (en) 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
PL230821B1 (pl) * 2011-10-17 2018-12-31 Kt Corp Sposób i urządzenie do kodowania/dekodowania obrazu
RU2646308C1 (ru) * 2011-10-17 2018-03-02 Кт Корпорейшен Способ декодирования видеосигнала
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
FR2982447A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2013077713A1 (ko) * 2011-11-27 2013-05-30 엘지전자 주식회사 변환 계수 재정렬 방법 및 이를 이용하는 장치
CN103200400B (zh) 2012-01-09 2018-03-16 中兴通讯股份有限公司 一种图像层和分片层的编解码方法、编解码器和电子设备
WO2013129822A1 (ko) 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
KR20130098122A (ko) 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
KR20130116754A (ko) * 2012-04-16 2013-10-24 주식회사 팬택 엔트로피 부복호화 방법 및 이러한 방법을 사용하는 장치
US9124872B2 (en) * 2012-04-16 2015-09-01 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
EP2966866A4 (en) * 2013-04-05 2016-10-26 Samsung Electronics Co Ltd VIDEO CODING METHOD AND DEVICE THEREFOR, AND VIDEO CODING METHOD AND DEVICE THEREFOR
US9877048B2 (en) * 2014-06-09 2018-01-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC)
CN107005710B (zh) * 2014-10-07 2020-03-31 三星电子株式会社 多视点图像编码/解码方法和装置
US20160127731A1 (en) * 2014-11-03 2016-05-05 National Chung Cheng University Macroblock skip mode judgement method for encoder
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
KR20180040827A (ko) * 2016-10-13 2018-04-23 디지털인사이트 주식회사 부호화 유닛의 그룹을 사용하는 비디오 코딩 방법 및 장치
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
KR102390413B1 (ko) 2017-03-03 2022-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018160034A1 (ko) * 2017-03-03 2018-09-07 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10735754B2 (en) 2017-04-26 2020-08-04 Google Llc Chromatic aberration modeling in image compression and enhancement
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
KR20210011378A (ko) 2018-05-23 2021-02-01 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
WO2020262901A1 (ko) 2019-06-24 2020-12-30 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
WO2023022543A1 (ko) * 2021-08-18 2023-02-23 엘지전자 주식회사 채널간 상관도에 기반한 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100196838B1 (ko) * 1995-12-23 1999-06-15 전주범 블럭벌 상관 관계에 의한 부호화 장치
US6633611B2 (en) 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
AUPP248298A0 (en) * 1998-03-20 1998-04-23 Canon Kabushiki Kaisha A method and apparatus for hierarchical encoding and decoding an image
JP2002513251A (ja) 1998-04-29 2002-05-08 センサーマティック・エレクトロニクス・コーポレーション 情報システムでの情報圧縮方法。
US6522694B1 (en) * 1998-10-09 2003-02-18 Matsushita Electric Industrial Co., Ltd. Programmable filter for removing stuffing bits from an MPEG-2 bit-stream
WO2001015459A1 (en) * 1999-08-24 2001-03-01 Fujitsu Limited Time-varying image processor, its method, and recorded medium
CN1213611C (zh) * 2000-04-04 2005-08-03 皇家菲利浦电子有限公司 利用小波变换的视频编码方法
US6870963B2 (en) * 2001-06-15 2005-03-22 Qualcomm, Inc. Configurable pattern optimizer
JP2003319394A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
JP2003319391A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
US7302006B2 (en) * 2002-04-30 2007-11-27 Hewlett-Packard Development Company, L.P. Compression of images and image sequences through adaptive partitioning
KR100999221B1 (ko) 2003-02-21 2010-12-07 파나소닉 주식회사 픽처 코딩 방법 및 디코딩 방법
KR100510137B1 (ko) * 2003-04-30 2005-08-26 삼성전자주식회사 고속 움직임 추정을 위한 참조 픽쳐 및 블록 모드 결정방법, 그 장치, 블록 모드 결정 방법 및 그 장치
US7362810B2 (en) * 2003-05-13 2008-04-22 Sigmatel, Inc. Post-filter for deblocking and deringing of video data
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
KR101014660B1 (ko) 2003-10-24 2011-02-16 삼성전자주식회사 인트라 예측 방법 및 장치
US7400681B2 (en) * 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
JP2007528675A (ja) * 2004-03-09 2007-10-11 トムソン リサーチ ファンディング コーポレイション Ａｖｃ用解像度低下更新モード
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
FR2872974A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage adaptatif
JP4026622B2 (ja) * 2004-07-06 2007-12-26 日産自動車株式会社 ハイブリッド車両の制御装置
JP2006054846A (ja) * 2004-07-12 2006-02-23 Sony Corp 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
US8948266B2 (en) * 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
KR100647294B1 (ko) * 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
KR101215614B1 (ko) 2005-09-09 2012-12-26 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
BRPI0706407B1 (pt) * 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
US8213495B2 (en) * 2006-02-06 2012-07-03 Panasonic Corporation Picture decoding method and picture decoding apparatus
JP2007243427A (ja) * 2006-03-07 2007-09-20 Nippon Hoso Kyokai <Nhk> 符号化装置及び復号化装置
KR100736104B1 (ko) * 2006-04-06 2007-07-06 삼성전자주식회사 독립적 파싱을 지원하는 비디오 코딩 방법 및 장치
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
JP4250638B2 (ja) * 2006-06-30 2009-04-08 株式会社東芝 動画像符号化装置及びその方法
BRPI0715770B1 (pt) * 2006-08-25 2020-03-10 Interdigital Vc Holdings, Inc. Método, aparelho e mídia de armazenamento para particionamento com menor resolução
JP2008092137A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 画像符号化装置及び画像符号化方法
US7545293B2 (en) * 2006-11-14 2009-06-09 Qualcomm Incorporated Memory efficient coding of variable length codes
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8483282B2 (en) * 2007-10-12 2013-07-09 Qualcomm, Incorporated Entropy coding of interleaved sub-blocks of a video block

Also Published As

Publication number Publication date
KR20090129926A (ko) 2009-12-17
CN104093019B (zh) 2018-09-28
KR101599879B1 (ko) 2016-03-07
EP2293567A4 (en) 2014-10-01
JP5670885B2 (ja) 2015-02-18
WO2009151232A3 (ko) 2010-03-04
US9924174B2 (en) 2018-03-20
EP2953368A1 (en) 2015-12-09
EP2293567A2 (en) 2011-03-09
AU2014210684B2 (en) 2016-03-03
WO2009151232A2 (ko) 2009-12-17
KR20090129939A (ko) 2009-12-17
CN104093019A (zh) 2014-10-08
CN102124739A (zh) 2011-07-13
AU2014210591B2 (en) 2016-03-03
AU2009258401A1 (en) 2009-12-17
AU2014210684A1 (en) 2014-09-04
JP2016165148A (ja) 2016-09-08
US20110090967A1 (en) 2011-04-21
JP6336513B2 (ja) 2018-06-06
AU2014210591A1 (en) 2014-08-28
JP2015035825A (ja) 2015-02-19
US20150146796A1 (en) 2015-05-28
JP2011523321A (ja) 2011-08-04

Similar Documents

Publication Publication Date Title
CN102124739B (zh) 图像编码方法及其装置、图像解码方法及其装置
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN103190151B (zh) 帧间预测编码方法
US9596472B2 (en) Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding
CN105723707A (zh) 用于视频译码的色彩残差预测
KR20110017783A (ko) 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN104221380A (zh) 用于并行运动估计的共同空间候选块
JP2002315004A (ja) 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
CN103959775A (zh) 帧内模式视频译码
KR20110017721A (ko) 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20110046016A (ko) 레지듀얼 블록의 부호화 방법 및 장치, 복호화 방법 및 장치
JPH10304364A (ja) インターレースされたデジタルビデオ用のイントラ−マクロブロックのｄｃ及びａｃ係数予測
KR20190033541A (ko) 변환 기반 잔차 코딩을 이용한 예측 화상 코딩
CN106031173A (zh) 视频译码中的闪烁检测及缓解
KR20170044599A (ko) 움직임 추정을 이용한 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140813