CN103843344A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN103843344A
CN103843344A CN201280048091.5A CN201280048091A CN103843344A CN 103843344 A CN103843344 A CN 103843344A CN 201280048091 A CN201280048091 A CN 201280048091A CN 103843344 A CN103843344 A CN 103843344A
Authority
CN
China
Prior art keywords
unit
size
coding
control information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280048091.5A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103843344A publication Critical patent/CN103843344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及使得可以将编码效率的降低最小化的图像处理装置和方法。本图像处理装置具有：最小编码单位信息获得单元，其在具有将图像数据中的帧分割成多层结构的编码单位被用作处理单位的同时，在对通过对图像数据编码获得的编码数据的解码时，获得指示最小编码单位的大小的信息；以及控制信息获得单元，其根据由最小编码单位信息获得单元获得的信息所指示的最小编码单位的大小，获得用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息。本公开可应用到图像处理装置。

Description

图像处理装置和方法
技术领域
本公开涉及图像处理装置和方法，并且涉及用于执行运动预测和补偿处理的图像处理装置和方法。
背景技术
近年来，依照诸如MPEG(Moving Picture Experts Group，运动图片专家组)之类的为了此时高效率的信息传送和累积的目的而利用图像信息特有的冗余性通过诸如离散余弦变换之类的正交变换和运动补偿来执行压缩的体系、数字地处理图像信息的装置在广播台等的信息分发和一般家庭的信息接收中都已普及了。
特别地，MPEG2(ISO(国际标准化组织)/IEC(国际电工委员会)13818-2)被定义为通用的图像编码体系，是一种覆盖了隔行扫描图像和非隔行扫描图像以及标准分辨率图像和高分辨率图像的标准，并且当前被广泛用于专业用途和消费用途的宽广应用。例如，由于使用MPEG2压缩体系，所以可以通过向具有720×480像素的标准分辨率的隔行扫描图像分配4至8Mbps的码量(比特率)并且向具有1920×1088像素的高分辨率的隔行扫描图像分配18至22Mbps的码量来实现高压缩率和令人满意的图像质量。
MPEG2主要打算用于适合于广播目的的高图像质量编码，但不对应于低于MPEG1的码量(比特率)，或者详细地说，不对应于处于更高压缩率的编码体系。随着便携终端的普及，设想到对于这种编码体系的需求从此时起将会增加，并且与此相应已建立了MPEG4编码体系的标准化。关于图像编码体系，规范于1998年12月作为ISO/IEC14496-2被认可为国际标准。
另外，近年来，原本以电视会议的图像编码为目的，被称为H.26L(ITU-T(国际电信联盟电信标准化部)Q6/16VCEG(Video CodingExpert Group，视频编码专家组))的标准的设定已有了发展。H.26L与诸如MPEG2或MPEG4之类的传统编码体系相比对于其编码和解码要求更高的计算量，但已知实现了更高的编码效率。另外，当前，作为关于MPEG4的活动之一，通过把H.26L不支持的功能作为增强压缩视频编码的联合模型包含进来，来进行用于实现更高编码效率的基于这个H.26L的标准化。
作为标准化的日程，于2003年3月建立了名为H.264和MPEG-4Part10(高级视频编码，以下将称为AVC)的国际标准。
顺便说一下，在AVC中，基于宏块和子宏块的层次结构被规定为编码的处理单位(编码单位)。然而，将此宏块大小设定为16像素×16像素对于可作为下一代编码体系的对象的诸如UHD(Ultra HighDefinition，超高清晰度；4000像素×2000像素)之类的大图像帧不是最优的。
鉴于上述情况，在与PostAVC编码体系相对应的HEVC(HighEfficiency Video Coding，高效率视频编码)中，编码单位(CU(CodingUnit))取代宏块被规定为编码单位(例如，参见NPL1)。
在HEVC的情况下，在序列参数集合SPS(Sequence ParameterSet)中，CU的最大大小(LCU(Largest Coding Unit，最大编码单位))和最小大小(SCU(Smallest Coding Unit，最小编码单位))由被称为log2_min_coding_block_size_minus3和log2_diff_max_min_coding_block_size的两个语法元素来规定。
另外，在这个SPS中规定了预测单位(PU(Prediction Unit))。这个PU指示出帧内预测(intra prediction)中的帧内预测块的大小(处理单位)并且指示出帧间预测(inter prediction)中的运动补偿块的大小(处理单位)。另外，在SPS中还规定了变换单位(TU(Transform Unit))。这个TU指示出正交变换的大小(处理单位)。
在帧间预测PU(Inter Prediction Unit，帧间预测单位)的情况下，对于具有2N×2N大小的CU可以设定四种类型的大小，包括2N×2N、2N×N、N×2N和N×N。
顺便说一下，在SPS中，定义了对应于与这个帧间预测单位大小有关的标志信息的inter_4x4_enable_flag。在这个标志的值为“0”的情况下，在图像压缩信息中的帧间预测单位中禁止使用4×4块大小。
引文列表
非专利文献
NPL1：Benjamin Bross，Woo-Jin Han，Jens-Rainer Ohm，Gary J.Sullivan，Thomas Wiegand，″Working Draft4of High-EfficiencyVideo Coding″，JCTVC-F803_d0，Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG116th Meeting：Torino，IT，14-22July，2011
发明内容
技术问题
顺便说一下，在log2_min_coding_block_size_minus3指定的SCU的大小不是8×8的情况下，也就是说，在log2_min_coding_block_size_minus3！＝0的情况下，作为PU不存在inter4x4(具有4×4块大小的帧间预测PU不存在)。
然而，在NPL1中描述的方法的情况下，在这种情况下也在SPS中传送inter_4x4_enable_flag。详细地说，传送了冗余信息，从而担心不必要地降低了编码效率。
本公开是鉴于上述情况而作出的，并且目的是通过根据SCU的大小设定控制inter_4x4_enable_flag的传送来抑制由inter_4x4_enable_flag引起的编码效率的降低。
解决问题的方案
根据本公开的一个方面，一种图像处理装置包括：最小编码单位信息获得单元，其在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码图像数据获得的编码数据的解码中，获得指示作为最小的编码单位的最小编码单位的大小的信息；以及控制信息获得单元，其根据由最小编码单位信息获得单元获得的信息所指示的最小编码单位的大小，获得用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息。
控制信息获得单元在由最小编码单位信息获得单元获得的信息所指示的最小编码单位的大小不是最小大小的情况下，可省略对控制信息的获得。
控制信息可被设定为一标志，该标志用于指定通过对最小编码单位可以取的最小大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为帧间预测单位的最小大小。
最小编码单位可以取的最小大小可被设定为8×8。
此外，根据本公开的一方面，一种用于图像处理装置的图像处理方法包括：使得最小编码单位信息获得单元在对图像数据的编码中获得指示作为最小的编码单位的最小编码单位的大小的信息，其中图像数据的编码是在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及使得控制信息获得单元根据所获得的信息所指示的最小编码单位的大小获得用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息。
根据本公开的另一方面，一种图像处理装置包括：控制信息设定单元，其在图像数据的编码中，根据作为最小的编码单位的最小编码单位的大小，设定用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中图像数据的编码是在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及传送单元，其传送由控制信息设定单元设定的控制信息。
控制信息设定单元在最小编码单位的大小不是其自身可以取的最小大小的情况下可省略对控制信息的设定。
控制信息可被设定为一标志，该标志用于指定通过对最小编码单位可以取的最小大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为帧间预测单位的最小大小。
最小编码单位可以取的最小大小可被设定为8×8。
还可提供设定最小编码单位的大小的最小编码单位设定单元，控制信息设定单元可根据由最小编码单位设定单元设定的最小编码单位的大小来设定控制信息，并且传送单元还可传送指示由最小编码单位设定单元设定的最小编码单位的大小的信息。
还可提供最大编码单位设定单元，其设定作为最大的编码单位的最大编码单位的大小并且还根据所设定的最大编码单位的大小和由最小编码单位设定单元设定的最小编码单位的大小来设定指示最大编码单位的大小的信息，并且传送单元还可传送指示由最大编码单位设定单元设定的最大编码单位的大小的信息。
传送单元可将控制信息以存储在序列参数集合中的形式加以传送。
此外，根据本公开的另一方面，一种用于图像处理装置的图像处理方法包括：使得控制信息设定单元在图像数据的编码中，根据作为最小的编码单位的最小编码单位的大小，设定用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中图像数据的编码是在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及使得传送单元传送所设定的控制信息。
根据本公开的另外一方面，一种图像处理装置包括：控制信息获得单元，其在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码图像数据获得的编码数据的解码中，获得用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息；以及帧间预测单位设定单元，其在遵循由控制信息获得单元获得的控制信息的同时设定帧间预测单位的最小大小。
此外，根据本公开的另外一方面，一种用于图像处理装置的图像处理方法包括：使得控制信息获得单元在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码图像数据获得的编码数据的解码中，获得用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息；以及使得帧间预测单位设定单元在遵循所获得的控制信息的同时设定帧间预测单位的最小大小。
根据本公开的另一方面，一种图像处理装置包括：控制信息设定单元，其在图像数据的编码中，设定用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中图像数据的编码是在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及传送单元，其传送由控制信息设定单元设定的控制信息。
控制信息设定单元可在不考虑最小编码单位的大小的情况下设定控制信息。
控制信息可被设定为一标志，该标志用于指定通过对最小编码单位的大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为帧间预测单位的最小大小。
传送单元可将控制信息以存储在序列参数集合中的形式加以传送。
此外，根据本公开的另一方面，一种用于图像处理装置的图像处理方法包括：使得控制信息设定单元在图像数据的编码中，设定用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中图像数据的编码是在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及使得传送单元传送所设定的控制信息。
根据本公开的一方面，在对图像数据的编码中获得指示作为最小的编码单位的最小编码单位的大小的信息，其中图像数据的编码是在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的，并且根据所获得的信息所指示的最小编码单位的大小，获得用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息。
根据本公开的另一方面，在图像数据的编码中，根据作为最小的编码单位的最小编码单位的大小，设定用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中图像数据的编码是在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的，并且传送所设定的控制信息。
根据本公开的另外一方面，在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码图像数据获得的编码数据的解码中，获得用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，并且在遵循所获得的控制信息的同时设定帧间预测单位的最小大小。
根据本公开的另一方面，在图像数据的编码中，设定用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中图像数据的编码是在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的，并且传送所设定的控制信息。
发明的有利效果
根据本公开，可以处理图像。特别地，可以抑制编码效率的降低。
附图说明
图1是图像编码装置的主要配置示例的框图。
图2是用于描述编码单位的配置示例的说明图。
图3示出了HEVC序列参数集合的语法的示例。
图4示出了应用了本技术的序列参数集合的语法的示例。
图5是单位大小设定单元的主要配置示例的框图。
图6是用于描述编码处理的流程的示例的流程图。
图7是用于描述单位大小设定处理的流程的示例的流程图。
图8是图像解码装置的主要配置示例的框图。
图9是单位大小设定解码单元的主要配置示例的框图。
图10是用于描述解码处理的流程的示例的流程图。
图11是用于描述单位大小设定解码处理的流程的示例的流程图。
图12示出应用了本技术的序列参数集合的语法的另一示例。
图13是单位大小设定单元的另一配置示例的框图。
图14是用于描述单位大小设定处理的流程的另一示例的流程图。
图15是单位大小设定解码单元的另一配置示例的框图。
图16是用于描述单位大小设定解码处理的流程的另一示例的流程图。
图17是计算机的主要配置示例的框图。
图18是电视装置的主要配置示例的框图。
图19是移动终端设备的主要配置示例的框图。
图20是记录和再现装置的主要配置示例的框图。
图21是图像拍摄装置的主要配置示例的框图。
具体实施方式
以下，将对用于实现本公开的实施例(以下称为实施例)给出描述。注意将按以下顺序进行描述。
1.第一实施例(图像编码装置·图像解码装置)
2.第二实施例(图像编码装置·图像解码装置)
3.第三实施例(计算机)
4.第四实施例(电视接收机)
5.第五实施例(移动电话设备)
6.第六实施例(记录和再现装置)
7.第七实施例(图像拍摄装置)
<1.第一实施例>
[图像编码装置]
图1是与应用了本技术的图像处理装置相对应的图像编码装置的主要配置示例的框图。
图1所示的图像编码装置100例如像HEVC(高效率视频编码)编码体系、H.264和MPEG(运动图片专家组)4Part10(AVC(高级视频编码))编码体系中那样对运动图像的图像数据编码。
如图1所示，图像编码装置100包括A/D转换单元101、画面重排列缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106和累积缓冲器107。图像编码装置100还包括逆量化单元108、逆正交变换单元109、计算单元110、环路滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测和补偿单元115、预测图像选择单元116和率控制单元117。图像编码装置100还包括单位大小设定单元121。
A/D转换单元101对输入的图像数据执行A/D转换，并将转换后的图像数据(数字数据)提供到画面重排列缓冲器102以存储。画面重排列缓冲器102根据GOP(Group Of Picture，图片组)把按显示顺序的帧的存储图像按用于编码的帧顺序重排列，并且把按重排列的帧顺序的图像提供给计算单元103。画面重排列缓冲器102对于与编码处理的处理单位(编码单位)相对应的每个部分区域把各个帧图像提供给计算单元103。
另外，对于每个部分区域，画面重排列缓冲器102还把按重排列的帧顺序的图像提供给帧内预测单元114和运动预测和补偿单元115。
计算单元103从读出自画面重排列缓冲器102的图像中减去经由预测图像选择单元116从帧内预测单元114或运动预测和补偿单元115提供来的预测图像，并将其差别信息输出给正交变换单元104。例如，在执行帧内编码的图像的情况下，计算单元103从读出自画面重排列缓冲器102的图像中减去从帧内预测单元114提供来的预测图像。另外，例如，在执行帧间编码的图像的情况下，计算单元103从读出自画面重排列缓冲器102的图像中减去从运动预测和补偿单元115提供来的预测图像。
正交变换单元104对从计算单元103提供来的差别信息应用正交变换，例如离散余弦变换或卡洛(Karhunen-Loeve)变换。注意，这个正交变换的方法是任意的。正交变换单元104把从正交变换获得的变换系数提供给量化单元105。
量化单元105对从正交变换单元104提供来的变换系数进行量化。量化单元105把量化的变换系数提供给无损编码单元106。
无损编码单元106按任意的编码体系对在量化单元105中量化的变换系数进行编码。由于系数数据是在率控制单元117的控制下被量化的，所以这个码量是由率控制单元117设定的目标值(或近似该目标值)。
另外，无损编码单元106从帧内预测单元114获得包括指示帧内预测的模式等的信息的帧内预测信息，并且从运动预测和补偿单元115获得包括指示帧间预测的模式、运动向量信息等的信息的帧间预测信息。此外，无损编码单元106获得在环路滤波器111中使用的滤波器系数等。
无损编码单元106还从单位大小设定单元121获得与单位大小有关的设定信息。例如，无损编码单元106获得在单位大小设定单元121中设定的log2_min_coding_block_size_minus3或log2_diff_max_min_coding_block_size作为与单位大小有关的设定信息。另外，如下文将描述的，无损编码单元106根据情形从单位大小设定单元121获得inter_4x4_enable_flag。
无损编码单元106按任意的编码体系对这各种信息编码以设定为编码数据的头部信息的一部分(复用)。例如，无损编码单元106把以上所述的log2_min_coding_block_size_minus3、log2_diff_max_min_coding_block_size和inter_4x4_enable_flag包括在序列参数集合(SPS(Sequence Parameter Set))中。
无损编码单元106把通过编码获得的编码数据提供给累积缓冲器107以累积。例如，例示了可变长度编码、算术编码等作为无损编码单元106的编码体系。作为可变长度编码，例如，例示了由H.264/AVC体系定义的CAVLC(Context-Adaptive Variable Length Coding，情境自适应可变长度编码)等。作为算术编码，例如，例示了CABAC(Context-Adaptive Binary Arithmetic Coding，情境自适应二进制算术编码)等。
累积缓冲器107临时保存从无损编码单元106提供来的编码数据。累积缓冲器107例如在预定的时机把保存的编码数据以比特流的形式输出到图中未示出的后级的记录装置(记录介质)、传送路径等。详细地说，对通过图像编码装置100对图像数据编码获得的编码数据解码的装置(以下其也将被称为解码方的装置)被提供以经编码的各种信息。
另外，在量化单元105中量化的变换系数也被提供给逆量化单元108。逆量化单元108按与量化单元105执行的量化相对应的方法对量化的变换系数执行逆量化。逆量化单元108把获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109按与正交变换单元104执行的正交变换相对应的方法对从逆量化单元108提供来的变换系数执行逆正交变换。逆正交变换输出(本地恢复的差别信息)被提供给计算单元110。
计算单元110把经由预测图像选择单元116从帧内预测单元114或运动预测和补偿单元115提供来的预测图像与从逆正交变换单元109提供来的逆正交变换结果亦即本地恢复的差别信息相加，并获得本地重建的图像(以下，其将被称为重建图像)。重建图像被提供给环路滤波器111或帧存储器112。
环路滤波器111包括解块滤波器、自适应环路滤波器等，并且适当地对从计算单元110提供来的重建图像执行滤波处理。例如，环路滤波器111对重建图像执行解块滤波处理，以去除重建图像的块失真。另外，例如，环路滤波器111利用维纳滤波器(Wiener Filter)对其解块滤波处理结果(被执行了块失真去除的重建图像)执行环路滤波处理以进行图像质量改善。
注意，环路滤波器111还可对重建图像执行其他任意滤波处理。另外，环路滤波器111适当地把关于滤波处理中使用的滤波器系数之类的信息提供给无损编码单元106，并且该信息也可被编码。
环路滤波器111将滤波处理结果(以下，其将被称为解码图像)提供给帧存储器112。
帧存储器112存储从计算单元110提供来的重建图像和从环路滤波器111提供来的解码图像两者。在预定的时机或基于来自外部例如帧内预测单元114的请求，帧存储器112把存储的重建图像经由选择单元113提供给帧内预测单元114。另外，在预定的时机或基于来自外部例如运动预测和补偿单元115的请求，帧存储器112把存储的解码图像经由选择单元113提供给运动预测和补偿单元115。
选择单元113指示从帧存储器112输出的图像的提供目的地。例如，在帧内预测的情况下，选择单元113从帧存储器112读出未被执行滤波处理的图像(重建图像)，以将其作为周边像素提供给帧内预测单元114。
另外，例如，在帧间预测的情况下，选择单元113从帧存储器112读出被执行了滤波处理的图像(解码图像)，并将其作为参考图像提供给运动预测和补偿单元115。
当从帧存储器112获得位于处理对象区域周边的周边区域中的图像(周边图像)时，帧内预测单元114通过利用周边图像的像素值，在预测单位(PU(Prediction Unit))基本上被用作处理单位的同时，执行帧内预测(图像帧内预测)以生成预测图像。帧内预测单元114以预先准备的多种模式(帧内预测模式)执行此帧内预测。
帧内预测单元114在所有候选帧内预测模式中生成预测图像，并且利用从画面重排列缓冲器102提供的输入图像评估各个预测图像的成本函数值，以选择最优模式。当选择了最优帧内预测模式时，帧内预测单元114把在最优模式中生成的预测图像提供给预测图像选择单元116。
另外，帧内预测单元114适当地把包括诸如最优帧内预测模式之类的与帧内预测有关的信息的帧内预测信息提供给无损编码单元106以供编码。
运动预测和补偿单元115利用从画面重排列缓冲器102提供来的输入图像和从帧存储器112提供来的参考图像在PU(帧间PU)被用作处理单位的同时执行运动预测(帧间预测)，并且根据检测到的运动向量执行运动补偿处理，以生成预测图像(帧间预测图像信息)。运动预测和补偿单元115以预先准备的多种模式(帧间预测模式)执行这种帧间预测。
运动预测和补偿单元115基于由单位大小设定单元121设定的与单位大小有关的信息来设定各个PU的大小，并且在该PU被用作处理单位的同时执行处理。
运动预测和补偿单元115在所有候选帧间预测模式中生成预测图像，并评估各个预测图像的成本函数值，以选择最优模式。当选择了最优帧间预测模式时，运动预测和补偿单元115把在最优模式中生成的预测图像提供给预测图像选择单元116。
另外，运动预测和补偿单元115把包括诸如最优帧间预测模式之类的与帧间预测有关的信息的帧间预测信息提供给无损编码单元106以供编码。
预测图像选择单元116选择要提供给计算单元103和计算单元110的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择单元116选择帧内预测单元114作为预测图像的提供源，并把从帧内预测单元114提供来的预测图像提供给计算单元103和计算单元110。另外，例如，在帧间编码的情况下，预测图像选择单元116选择运动预测和补偿单元115作为预测图像的提供源，并把从运动预测和补偿单元115提供来的预测图像提供给计算单元103和计算单元110。
率控制单元117基于累积在累积缓冲器107中的编码数据的码量来控制量化单元105的量化操作率，以免发生上溢或下溢。
单位大小设定单元121执行与运动预测和补偿单元115和解码方的装置的运动预测和补偿单元要参考的单位大小有关的设定。单位大小设定单元121把设定的信息提供给运动预测和补偿单元115。同样，单位大小设定单元121把设定的信息提供给无损编码单元106以通过添加(复用)到编码数据等来传送。
[编码单位]
以下，首先将描述HEVC编码体系中定义的编码单位(CodingUnit)。
编码单位(CU)也被称为编码树块(CTB(Coding Tree Block))，并且是与AVC中的宏块扮演类似角色的以图片为单位的图像的具有多层结构的部分区域。详细地说，CU是编码处理的单位(编码单位)。宏块的大小固定在16×16像素，而CU的大小不是固定的并且是在每个序列的图像压缩信息中指定的。
具体地，具有最大大小的CU被称为最大编码单位(LCU(LargestCoding Unit))，并且具有最小大小的CU被称为最小编码单位(SCU(Smallest Coding Unit))。也就是说，LCU是最大编码单位，并且SCU是最小编码单位。这些区域的大小例如是在图像压缩信息中包括的序列参数集合中指定的，但分别限于方形和由2的幂表示的大小。详细地说，通过对一定级别的(方形)CU进行4分割成为2×2而获得的各个区域对应于低一级别的(方形)CU。
图2示出了HEVC中定义的编码单位(Coding Unit)的示例。在图2的示例中，LCU的大小是128(2N(N＝64))，并且最大层次深度是5(深度＝4)。在split_flag的值是“1”的情况下，大小为2N×2N的CU被分割成与低一级别相对应的大小为N×N的CU。
另外，CU被分割成作为与帧内预测或帧间预测的处理单位相对应的区域(以图片为单位的图像的部分区域)的预测单位(PredictionUnit(PU))，并且还被分割成作为与正交变换的处理单位相对应的区域(以图片为单位的图像的部分区域)的变换单位(TransformUnit(TU))。
在帧间预测的PU(帧间预测单位)的情况下，对于大小为2N×2N的CU，可设定四类大小，包括2N×2N、2N×N、N×2N和N×N。详细地说，对于单个CU，可以分别定义与该CU具有相同大小的一个PU以及通过对该CU进行垂直或水平二分割而获得的两个PU或者通过对该CU进行垂直和水平二分割而获得的四个PU。
图像编码装置100在这种以图片为单位的图像的部分区域被设定为处理单位的同时执行与编码相关的各个处理。在下文中，将描述图像编码装置100把HEVC定义的CU设定为编码单位的情况。详细地说，LCU对应于最大编码单位，并且SCU对应于最小编码单位。然而，要注意，图像编码装置100进行的编码的各个处理的处理单位不限于此，而是任意的。例如，AVC中定义的宏块或子宏块也可被设定为处理单位。
注意，在下文中，“(部分)区域”包括上述各种区域的全部(例如，宏块、子宏块、LCU、CU、SCU、PU、TU，等等)(也可以是其中的一些)。当然，可以包括除了上述单位以外的其他单位，并且适当地排除根据描述的内容不可行的单位。
[参数传送]
图3示出了HEVC编码体系中的序列参数集合的语法的示例。在HEVC编码体系的情况下，如图3所示，诸如log2_min_coding_block_size_minus3或log2_diff_max_min_coding_block_size之类的参数被存储在序列参数集合中。log2_min_coding_block_size_minus3是用于定义SCU的大小的参数，并且SCU的大小由“2的幂的指数-3”来表示。例如，在SCU的大小被设定为8×8的情况下，log2_min_coding_block_size_minus3的值被设定为“0”(因为8＝23，3-3＝0)。此外，例如，在SCU的大小被设定为16×16的情况下，log2_min_coding_block_size_minus3的值被设定为“1”(因为16＝24，4-3＝1)。
注意，SCU可以取的大小的范围是任意的，但在下文中，将在SCU可以取的大小的范围的下限(可设定的最小大小)被设定为8×8的同时给出描述。
log2_diff_max_min_coding_block_size是用于定义LCU的大小的参数，并且LCU的大小由与SCU的大小的相对比率(2的幂的指数)来表示。例如，在相对于8×8的SCU，LCU被设定为64×64的情况下，log2_diff_max_min_coding_block_size的值被设定为“3”(64＝8×23)。此外，例如，在相对于8×8的SCU，LCU被设定为128×18的情况下，log2_diff_max_min_coding_block_size的值被设定为“4”(128＝8×24)。
另外，在HEVC编码体系的情况下，如图3所示，inter_4x4_enabled_flag被存储在序列参数集合中。inter_4x4_enabled_flag是用于控制帧间预测的处理单位(PU(帧间PU))的最小大小的控制信息。更具体而言，其是用于定义是否应用4×4作为帧间预测的编码单位的最小大小(是否禁止)的标志。4×4是SCU的最小大小(8×8)被垂直和水平分别2分割的情况下的大小。遵循用户接受或拒绝设定，inter_4x4_enabled_flag的值被设定为“0”或“1”。
在由log2_min_coding_block_size_minus3指定的SCU的大小不是最小(例如，8×8)的情况下，也就是说，在log2_min_coding_block_size_minus3！＝0的情况下，作为PU不存在inter4×4(具有4×4块大小的帧间预测PU不存在)。详细地说，在此情况下，inter_4x4_enabled_flag是不必要的(在运动预测和补偿处理中不参考此inter_4x4_enabled_flag的值)。
然而，在NPL 1中描述的方法的情况下，即使在这种情况下inter_4x4_enable_flag也被包括在序列参数集合中并在SPS中传送。详细地说，传送了冗余的(不必要的)信息，并且因此，担心编码效率可能不必要地降低。
inter_4x4_enable_flag的值必要的时间只是SCU的大小被设定为4×4的情况，详细地说，只是log2_min_coding_block_size_minus3＝＝0的情况。
鉴于上述情况，图像编码装置100根据SCU的大小设定(详细地说，log2_min_coding_block_size_minus3的值)来控制是否传送inter_4x4_enable_flag。更具体而言，仅在单位大小设定单元121设定SCU和LCU的大小并且SCU被设定为8×8的情况下，也就是仅在log2_min_coding_block_size_minus3＝＝0的情况下，才设定inter_4x4_enable_flag。在SCU被设定为大于8×8的大小的情况下(在log2_min_coding_block_size_minus3！＝0的情况下)，单位大小设定单元121省略inter_4x4_enable_flag的设定。在inter_4x4_enable_flag被设定的情况下，单位大小设定单元121把这个inter_4x4_enable_flag提供给无损编码单元106以包括在SPS中并传送给解码方的装置。
详细地说，图像编码装置100像图4所示的示例那样设定SPS的语法。如图4的语法所示，仅在log2_min_coding_block_size_minus3＝＝0的情况下，inter_4x4_enable_flag才被包括在SPS中。
利用此配置，在SCU的大小不是最小的情况下，省略inter_4x4_enable_flag的传送，并且图像编码装置100因此可抑制由inter_4x4_enable_flag引起的编码效率的不必要的降低。
[单位大小设定单元]
图5是单位大小设定单元121的主要配置示例的框图。如图5所示，单位大小设定单元121包括SCU大小设定单元151、LCU大小设定单元152和标志设定单元153。
SCU大小设定单元151设定运动预测和补偿单元115进行的帧间预测的SCU大小。例如，SCU大小设定单元151基于诸如用户设定、硬件性能或档次级别之类的任意信息来设定SCU大小。SCU大小设定单元151把指示出设定的SCU大小的信息提供给运动预测和补偿单元115、LCU大小设定单元152和标志设定单元153。
另外，SCU大小设定单元151根据以上述方式设定的SCU大小来设定log2_min_coding_block_size_minus3的值。例如，SCU大小设定单元151把所设定的SCU大小的“2的幂的指数-3”设定为log2_min_coding_block_size_minus3的值。只要log2_min_coding_block_size_minus3唯一地指示SCU大小即可，而值的计算方法是任意的。SCU大小设定单元151把所设定的log2_min_coding_block_size_minus3提供给无损编码单元106以存储在序列参数集合(SPS)中并传送到解码方的装置。
LCU大小设定单元152设定运动预测和补偿单元115进行的帧间预测的LCU大小。例如，LCU大小设定单元152基于在SCU大小设定单元151中设定的SCU大小和诸如用户设定、硬件性能或档次级别之类的任意信息来设定LCU大小。LCU大小设定单元152把设定的LCU大小提供给运动预测和补偿单元115。
另外，LCU大小设定单元152根据所设定的LCU大小和SCU大小来设定log2_diff_max_min_coding_block_size的值。例如，LCU大小设定单元152把LCU大小与SCU大小的相对比率(2的幂的指数)设定为log2_diff_max_min_coding_block_size。LCU大小设定单元152把这样设定的参数log2_diff_max_min_coding_block_size提供给无损编码单元106以存储在序列参数集合(SPS)中并传送到解码方的装置。
标志设定单元153执行与运动预测和补偿单元115执行的帧间预测的最小单位大小有关的设定。详细地说，标志设定单元153设定inter_4x4_enabled_flag的值。inter_4x4_enabled_flag是指示出是否应用与最小单位大小相对应的4×4大小的标志。如上所述，由于SCU的最小大小是8×8，所以最小单位大小是与最小SCU被垂直和水平分别2分割的情况中的大小相对应的4×4。
标志设定单元153基于诸如用户指令、硬件性能或档次级别之类的信息判定是否应用最小单位大小(设定inter_4x4_enabled_flag的值)。
然而，要注意，标志设定单元153仅在SCU大小为8×8的情况下才执行inter_4x4_enabled_flag的设定。在SCU大小大于8×8的情况下，标志设定单元153省略inter_4x4_enabled_flag的设定。
注意，标志设定单元153从SCU大小设定单元151获得log2_min_coding_block_size_minus3并且可以仅在该值为0的情况下才执行inter_4x4_enabled_flag的设定。换言之，在log2_min_coding_block_size_minus3！＝0的情况下，标志设定单元153可省略inter_4x4_enabled_flag的设定。
标志设定单元153把设定的inter_4x4_enabled_flag提供给运动预测和补偿单元115。另外，标志设定单元153还把设定的inter_4x4_enabled_flag提供给无损编码单元106以存储在序列参数集合(SPS)中并传送到解码方的装置。
利用此配置，单位大小设定单元121可仅在必要的情况下才执行inter_4x4_enabled_flag的传送。因此，图像编码装置100可以抑制编码效率的不必要降低。
[编码处理的流程]
接下来，将描述如上所述的图像编码装置100执行的各个处理的流程。首先，将参考图6来描述编码处理的流程。
在步骤S101中，单位大小设定单元121执行与单位大小有关的设定。例如，单位大小设定单元121设定SCU和LCU的大小并且执行对要在包括在序列参数集合中的同时传送的诸如log2_min_coding_block_size_minus3、log2_diff_max_min_coding_block_size和inter_4x4_enabled_flag之类的信息的设定。
在步骤S102中，A/D转换单元101执行输入图像的A/D转换。在步骤S103中，画面重排列缓冲器102存储经A/D转换的图像并执行从用于显示各个图片的顺序到用于执行编码的顺序的重排列。
在步骤S104中，帧内预测单元114在帧内预测模式中执行帧内预测处理。在步骤S105中，运动预测和补偿单元115在帧间预测模式中执行用于执行运动预测和运动补偿的帧间运动预测处理。
在步骤S106中，预测图像选择单元116基于从帧内预测单元114和运动预测和补偿单元115输出的各个成本函数值来决定最优预测模式。详细地说，预测图像选择单元116选择由帧内预测单元114生成的预测图像和由运动预测和补偿单元115生成的预测图像之一。
在步骤S107中，计算单元103计算由步骤S102中的处理重排列的图像与由步骤S106中的处理选择的预测图像之间的差别。差别数据的数据量与原始图像数据相比减少了。因此，与直接对图像编码的情况相比，可以压缩数据量。
在步骤S108中，正交变换单元104执行由步骤S103中的处理生成的差别信息的正交变换。具体而言，执行诸如离散余弦变换或卡洛变换之类的正交变换，并且输出变换系数。在步骤S109中，量化单元105对由步骤S108中的处理获得的正交变换系数进行量化。
由步骤S109中的处理量化的差别信息被以如下方式进行本地解码。也就是说，在步骤S110中，逆量化单元108通过与步骤S108中的量化相对应的方法对由步骤S108中的处理量化的正交变换系数执行逆量化。在步骤S111中，逆正交变换单元109通过与步骤S108中的处理相对应的方法对由步骤S110中的处理获得的正交变换系数执行逆正交变换。
在步骤S112中，计算单元110把预测图像与本地解码的差别信息相加，并且生成本地解码图像(与到计算单元103的输入相对应的图像)。在步骤S113中，环路滤波器111对由步骤S112中的处理生成的图像执行滤波。据此，去除了块失真等。
在步骤S114中，帧存储器112存储已由步骤S113中的处理执行了块失真的去除等的图像。注意，没有被环路滤波器111执行滤波处理的图像也被从计算单元110提供到帧存储器112并存储。
存储在帧存储器112中的这个图像用于步骤S104中的处理或步骤S105中的处理。
在步骤S115中，无损编码单元106对由步骤S109中的处理量化的变换系数进行编码，并生成编码数据。也就是说，对差别图像(在帧间预测的情况下是二维差别图像)执行诸如可变长度编码或算术编码之类的无损编码。
注意，无损编码单元106对与步骤S106中的处理选择的预测图像的预测模式有关的信息进行编码以添加到通过对差别图像编码获得的编码数据。例如，在选择了帧内预测模式的情况下，无损编码单元106对帧内预测模式信息编码。另外，例如，在选择了帧间预测模式的情况下，无损编码单元106对帧间预测模式信息编码。例如，这些信息被添加(复用)到编码数据，作为头部信息等。
另外，无损编码单元106对与步骤S101中设定的单位大小有关的信息(log2_min_coding_block_size_minus3、log2_diff_max_min_coding_block_size和inter_4x4_enabled_flag，等等)进行编码以在包括在序列参数集合(SPS)中的同时添加(复用)到编码数据。
在步骤S116中，累积缓冲器107累积由步骤S115中的处理生成的编码数据。累积在累积缓冲器107中的编码数据被适当地读出，并经由任意传送路径(不仅包括通信路径，而且包括存储介质等)被传送到解码方的装置。
在步骤S117中，率控制单元117基于由步骤S116中的处理累积在累积缓冲器107中的压缩图像来控制量化单元105的量化操作率，以免发生上溢或下溢。
当步骤S117中的处理完成时，编码处理结束。
[单位大小设定处理的流程]
接下来，参考图7的流程图，将描述在图6的步骤S101中执行的单位大小设定处理的流程。
当单位大小设定处理开始时，SCU大小设定单元151在步骤S131中设定SCU大小。在步骤S132中，SCU大小设定单元151基于在步骤S131中设定的SCU大小来设定指示SCU大小的参数log2_min_coding_block_size_minus3。
在步骤S133中，SCU大小设定单元151把由步骤S132中的处理设定的log2_min_coding_block_size_minus3提供给无损编码单元106以传送到解码方的装置。
在步骤S134中，LCU大小设定单元152设定LCU大小。在步骤S135中，LCU大小设定单元152基于在步骤S131中设定的SCU大小和在步骤S134中设定的LCU大小来设定指示LCU大小的参数log2_diff_max_min_coding_block_size。
在步骤S136中，SCU大小设定单元151把由步骤S135中的处理设定的log2_diff_max_min_coding_block_size提供给无损编码单元106以传送给解码方的装置。
在步骤S137中，标志设定单元153判定由步骤S131中的处理设定的SCU大小是否是可能值范围内最小的(8×8)。在判定其为最小(即8×8)的情况下，标志设定单元153使处理前进到步骤S138。
在步骤S138中，标志设定单元153设定inter_4x4_enabled_flag。在步骤S139中，标志设定单元153把由步骤S138中的处理设定的inter_4x4_enabled_flag提供给无损编码单元106以传送给解码方的装置。当步骤S139中的处理结束时，标志设定单元153结束单位大小设定处理并使处理返回到图6。
另外，在步骤S137中，在判定由步骤S131中的处理设定的SCU大小不是可能值范围内最小的情况下，标志设定单元153结束单位大小设定处理并使处理返回到图6。
由于如上所述执行各个处理，所以图像编码装置100可以仅在必要的情况下才传送inter_4x4_enabled_flag，并且可抑制由冗余信息的传送引起的编码效率的不必要降低。
[图像解码装置]
图8是与应用了本技术的图像处理装置相对应的图像解码装置的主要配置示例的框图。图8所示的图像解码装置200对应于上述图像编码装置100，并且对由图像编码装置100对图像数据编码生成的比特流(编码数据)正确地解码来生成解码图像。
如图8所示，图像解码装置200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、环路滤波器206、画面重排列缓冲器207和D/A转换单元208。图像解码装置200还包括帧存储器209、选择单元210、帧内预测单元211、运动预测和补偿单元212和选择单元213。
图像解码装置200还包括单位大小设定解码单元221。
累积缓冲器201累积传送来的编码数据，并在预定的时机将编码数据提供给无损解码单元202。无损解码单元202按照与图1的无损编码单元106的编码体系相对应的体系对从累积缓冲器201提供来的由无损编码单元106编码的信息进行解码。无损解码单元202通过解码获得的差别图像的量化系数数据提供给逆量化单元203。
另外，无损解码单元202参考通过对编码数据解码获得的与最优预测模式有关的信息，并判定是帧内预测模式被选择为最优预测模式还是帧间预测模式被选择为最优预测模式。详细地说，无损解码单元202判定在所传送的编码数据中采用的预测模式是帧内预测还是帧间预测。
无损解码单元202基于判定结果把与预测模式有关的信息提供给帧内预测单元211或运动预测和补偿单元212。例如，在帧内预测模式在图像编码装置100中被选择为最优预测模式的情况下，无损解码单元202把从编码方提供来的与所选帧内预测模式有关的信息所对应的帧内预测信息提供给帧内预测单元211。另外，例如，在帧间预测模式在图像编码装置100中被选择为最优预测模式的情况下，无损解码单元202把从编码方提供来的与所选帧间预测模式有关的信息所对应的帧间预测信息提供给运动预测和补偿单元212。
无损解码单元202还从添加(复用)到编码数据的序列参数集合(SPS)中提取与单位大小有关的信息以提供给单位大小设定解码单元221。
逆量化单元203按照与图1的量化单元105的量化体系相对应的体系(与逆量化单元108类似的体系)对无损解码单元202通过解码获得的量化系数数据执行逆量化。逆量化单元203把通过这种逆量化获得的系数数据提供给逆正交变换单元204。
逆正交变换单元204按照与图1的正交变换单元104的正交变换体系相对应的体系对从逆量化单元203提供来的系数数据执行逆正交变换。逆正交变换单元204通过此逆正交变换处理获得与图像编码装置100中执行正交变换之前时的差别图像相对应的差别图像。
通过逆正交变换获得的差别图像被提供给计算单元205。另外，经由选择单元213向计算单元205提供来自帧内预测单元211或运动预测和补偿单元212的预测图像。
计算单元205把差别图像与预测图像相加，并且获得重建图像，该重建图像对应于图像编码装置100的计算单元103减去预测图像之前时的图像。计算单元205把重建图像提供给环路滤波器206。
环路滤波器206通过对提供来的重建图像适当地应用包括解块滤波处理、自适应环路滤波处理等在内的环路滤波处理来生成解码图像。例如，环路滤波器206对重建图像执行解块滤波处理，以去除块失真。另外，例如，环路滤波器206通过利用维纳滤波器(Wiener Filter)对解块滤波处理结果(被执行了块失真的去除的重建图像)执行环路滤波处理来进行图像质量改善。
注意，环路滤波器206执行的滤波处理的类型是任意的，并且除上述滤波处理以外的其他滤波处理也可被执行。另外，环路滤波器206可利用从图1的图像编码装置100提供来的滤波器系数来执行滤波处理。
环路滤波器206把与滤波处理结果相对应的解码图像提供给画面重排列缓冲器207和帧存储器209。注意，也可省略由环路滤波器206进行的这个滤波处理。详细地说，计算单元205的输出也可在没有滤波处理的情况下被存储在帧存储器209中。例如，帧内预测单元211使用此图像中包括的像素的像素值来作为周边像素的像素值。
画面重排列缓冲器207对提供来的解码图像执行重排列。也就是说，由图1的画面重排列缓冲器102按编码顺序重排列的帧序列被重排列成原始显示顺序。D/A转换单元208对从画面重排列缓冲器207提供来的解码图像执行D/A转换，以输出到图中未示出的显示器以便显示。
帧存储器209存储提供来的重建图像和解码图像。另外，帧存储器209在预定的时机或基于来自帧内预测单元211、运动预测和补偿单元212等的外部请求把存储的重建图像或解码图像经由选择单元210提供给帧内预测单元211或运动预测和补偿单元212。
帧内预测单元211基本上执行与图2的帧内预测单元114相似的处理。然而，要注意，帧内预测单元211仅对在编码时通过帧内预测生成了预测图像的区域执行帧内预测。
运动预测和补偿单元212基于从无损解码单元202提供来的帧间预测信息执行帧间预测(包括运动预测和运动补偿)，以生成预测图像。注意，运动预测和补偿单元212基于从无损解码单元202提供来的帧间预测信息，仅对在编码时执行了帧间预测的区域执行帧间预测。另外，运动预测和补偿单元212利用由单位大小设定解码单元221设定的SCU大小和LCU大小以及inter_4×4_enabled_flag来设定帧间PU大小(预测处理单位的区域)并执行帧间预测。
帧内预测单元211或运动预测和补偿单元212对于预测处理单位的每个区域把生成的预测图像经由选择单元213提供给计算单元205。
选择单元213把从帧内预测单元211提供来的预测图像或从运动预测和补偿单元212提供来的预测图像提供给计算单元205。
单位大小设定解码单元221获得在无损解码单元202中用编码数据的序列参数集合(SPS)提取并解码的与单位大小有关的信息。单位大小设定解码单元221基于所获得的信息重建SCU大小、LCU大小和inter_4x4_enabled_flag的值。单位大小设定解码单元221把这些重建值提供给运动预测和补偿单元212。运动预测和补偿单元212利用这些信息执行帧间预测。
注意，仅在SCU大小为8×8的情况下参考标志inter_4x4_enabled_flag。详细地说，在其他情况下，此标志是不必要的(不被参考)。如上所述，图像编码装置100仅在运动预测和补偿单元212中参考inter_4x4_enabled_flag的情况下才传送此标志。
与此相对，单位大小设定解码单元221基于重建的SCU大小来正确地掌握此标志是否被传送。因此，单位大小设定解码单元221可以正确地对inter_4x4_enabled_flag解码。详细地说，单位大小设定解码单元221可以在运动预测和补偿单元212要参考inter_4x4_enabled_flag的值的情况下对inter_4x4_enabled_flag解码以提供给运动预测和补偿单元212。因此，即使在以上述方式省略了inter_4x4_enabled_flag的不必要传送的情况下，运动预测和补偿单元212也可以正确地执行帧间预测。如上所述，图像解码装置200可实现对inter_4x4_enabled_flag的更有效传送控制，并且可以实现对由冗余信息的传送引起的编码效率降低的抑制。
[单位大小设定解码单元]
图9是图8的单位大小设定解码单元221的主要配置示例的框图。如图9所示，单位大小设定解码单元221包括SCU大小解码单元251、LCU大小解码单元252和标志解码单元253。
SCU大小解码单元251获得在无损解码单元202中从log2_min_coding_block_size_minus3中提取的序列参数集合并基于该值重建编码时在帧间预测中采用的SCU大小。
从图像编码装置100提供来的log2_min_coding_block_size_minus3是唯一地指示编码时在帧间预测中采用的SCU大小的信息。例如，SCU大小的“2的幂的指数-3”被设定为log2_min_coding_block_size_minus3。因此，SCU大小解码单元251可容易地从此值重建SCU大小。SCU大小解码单元251把指示出重建的SCU大小的信息提供给运动预测和补偿单元212、LCU大小解码单元252和标志解码单元253。
LCU大小解码单元252获得在无损解码单元202中从序列参数集合中提取的log2_diff_max_min_coding_block_size并基于该值和从SCU大小解码单元251提供来的指示SCU大小的信息来重建编码时在帧间预测中采用的LCU大小。
从图像编码装置100提供来的log2_diff_max_min_coding_block_size是在SCU大小被设定为基准的情况下指示编码时在帧间预测中采用的LCU大小的信息。例如，LCU大小与SCU大小的相对比率(2的幂的指数)被设定为此log2_diff_max_min_coding_block_size。因此，LCU大小解码单元252可根据此值和从SCU大小解码单元251提供来的SCU大小来容易地重建LCU大小。LCU大小解码单元252把指示出重建的LCU大小的信息提供给运动预测和补偿单元212。
标志解码单元253基于从SCU大小解码单元251提供来的指示SCU大小的信息获得在无损解码单元202中从序列参数集合中提取的inter_4x4_enabled_flag。
由于inter_4x4_enabled_flag仅在SCU大小是8×8的情况下被传送，所以标志解码单元253通过参考SCU大小来确认inter_4x4_enabled_flag的传送与否。随后，在判定传送了inter_4x4_enabled_flag的情况下，也就是说，在判定SCU大小是8×8的情况下，标志解码单元253从无损解码单元202获得inter_4x4_enabled_flag并将其提供给运动预测和补偿单元212。注意，在判定没有传送inter_4x4_enabled_flag的情况下，也就是说，在判定SCU大小不是8×8的情况下，标志解码单元253不获得inter_4x4_enabled_flag。
利用此配置，单位大小设定解码单元221可对包括在序列参数集合中传送的与单位大小有关的各种信息进行正确的解码，并且可向运动预测和补偿单元212提供必要的信息。据此，运动预测和补偿单元212可正确地执行帧间预测处理。因此，图像解码装置200可实现对inter_4x4_enabled_flag的更有效的传送控制，并且可实现对编码效率降低的抑制。
[解码处理的流程]
接下来，将描述上述图像解码装置200执行的各个处理的流程。首先，参考图10，将描述解码处理的流程的示例。
当解码处理开始时，在步骤S201中，累积缓冲器201累积传送来的编码数据。在步骤S202中，无损解码单元202对从累积缓冲器201提供来的编码数据进行解码。也就是说，由图1的无损编码单元106编码的I图片、P图片和B图片被解码。
此时，运动向量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)和诸如所述标志和量化参数之类的信息也被解码。
在预测模式信息是帧内预测模式信息的情况下，预测模式信息被提供给帧内预测单元211。在预测模式信息是帧间预测模式信息的情况下，与预测模式信息相对应的运动向量信息被提供给运动预测和补偿单元212。
在步骤S203中，单位大小设定解码单元221执行对序列参数集合中包括的与单位大小有关的各种信息解码的单位大小解码设定处理。
在步骤S204中，逆量化单元203对通过无损解码单元202的解码获得的量化正交变换系数执行逆量化。逆量化单元203利用由步骤S203中的处理重建的量化参数来执行逆量化。
在步骤S205中，逆正交变换单元204按照与图1的正交变换单元104相对应的方法，对通过由逆量化单元203进行的逆量化获得的正交变换系数执行逆正交变换。据此，与图1的正交变换单元104的输入(计算单元103的输出)相对应的差别信息从而被解码。
在步骤S206中，帧内预测单元211或运动预测和补偿单元212在与从无损解码单元202提供来的预测模式信息相对应的同时各自对图像执行预测处理。也就是说，在帧内预测模式信息被从无损解码单元202提供来的情况下，帧内预测单元211在帧内预测模式中执行帧内预测处理。另外，在帧间预测模式信息被从无损解码单元202提供来的情况下，运动预测和补偿单元212利用通过步骤S203中的处理获得的与单位大小有关的各种信息来执行帧间预测处理(包括运动预测和运动补偿)。
在步骤S207中，计算单元205把通过步骤S206中的处理获得的预测图像与通过步骤S204中的处理获得的差别信息相加。这样，解码了原始图像数据。
在步骤S208中，环路滤波器206适当地对通过步骤S207中的处理获得的重建图像执行包括解块滤波处理、自适应环路滤波处理等等在内的环路滤波处理。
在步骤S209中，画面重排列缓冲器207执行解码图像数据的帧重排列。也就是说，被图像编码装置100(图1)的画面重排列缓冲器102为了编码而重排列的解码图像数据的帧顺序被重排列成原始显示顺序。
在步骤S210中，D/A转换单元208在画面重排列缓冲器207中重排列了帧的解码图像数据执行D/A转换。解码图像数据被输出到图中未示出的显示器，并且图像被显示。
在步骤S211中，帧存储器209存储通过步骤S208中的处理滤波的解码图像。
接下来，将参考图11描述在图10的步骤S203中执行的单位大小设定解码处理的流程的示例。
当单位大小设定解码处理开始时，在步骤S231中，SCU大小解码单元251获得在步骤S202中解码的log2_min_coding_block_size_minus3。在步骤S232中，SCU大小解码单元251使用通过步骤S231中的处理获得的log2_min_coding_block_size_minus3的值来设定(重建)SCU大小。
在步骤S233中，LCU大小解码单元252获得在步骤S202中解码的log2_diff_max_min_coding_block_size。在步骤S234中，LCU大小解码单元252基于在步骤S232中重建的SCU大小和通过步骤S233中的处理获得的log2_diff_max_min_coding_block_size的值来设定LCU大小。
在步骤S235中，标志解码单元253判定通过步骤S232中的处理获得的SCU大小是否是可能值的范围内最小的(8×8)。在判定SCU大小是最小的(8×8)的情况下，标志解码单元253使处理前进到步骤S236。
在步骤S236中，标志解码单元253获得在步骤S202中解码的inter_4x4_enabled_flag。当步骤S236中的处理结束时，标志解码单元253结束单位大小设定解码处理，并使处理返回到图10。
另外，在步骤S235中，在判定SCU大小不是最小的(8×8)的情况下，标志解码单元253结束单位大小设定解码处理，并使处理返回到图10。
由于如上所述执行各种处理，所以单位大小设定解码单元221可以对包括在序列参数集合中传送的与单位大小有关的各种信息进行正确的解码，并且可向运动预测和补偿单元212提供必要的信息。据此，运动预测和补偿单元212可以正确地执行帧间预测处理。因此，图像解码装置200可实现对inter_4x4_enabled_flag的更有效传送控制并且可实现对由冗余信息的传送引起的编码效率降低的抑制。
注意，以上已在SCU的最小大小被设定为8×8的同时给出了描述，但SCU的大小的范围是任意的。详细地说，SCU的最小大小可不是8×8。因此，用于定义作为帧间预测的单位(PU(帧间PU))的大小是否应用(是否禁止)inter_4x4_enabled_flag的单位大小可被设定为在SCU的(在可能值的范围内的)最小SCU被垂直和水平分别2分割的情况下的大小。
例如，在SCU的最小大小是16×16的情况下，inter_4x4_enabled_flag可以是用于定义是否应用(是否禁止)8×8的标志。换言之，取代inter_4x4_enabled_flag，可以使用用于定义是否应用(是否禁止)8×8的inter_8x8_enabled_flag。
<2.第二实施例>{185}
[单位大小设定单元]
以上，在inter_4x4_enabled_flag是用于定义SCU的最小大小被垂直和水平分别2分割的情况下的大小是否被应用(是否被禁止)作为帧间预测的单位的大小的标志的同时给出了描述。
取代这种inter_4x4_enabled_flag，例如，像图12所示的示例中那样，可以传送指示出通过把任意大小SCU(2N×2N)进行4分割获得的大小为N×N的区域是否可被设定为帧间预测的PU的标志。
图12示出了序列参数集合的语法的示例。在图12中的示例的情况下，取代inter_4x4_enabled_flag，规定了smallest_inter_NxN_enabled_flag。smallest_inter_NxN_enabled_flag是用于在任意大小SCU被设定为基准的同时控制作为帧间预测的处理单位的帧间PU的最小大小的信息。更具体而言，smallest_inter_NxN_enabled_flag是指示出对于大小为2N×2N的SCU，是否许可N×N的大小作为帧间PU的最小大小的标志。
详细地说，在此情况下，无论SCU的大小如何，此smallest_inter_NxN_enabled_flag都一定被传送到解码方。因此，图像解码装置200不需要确定SCU大小，并且可通过参考此smallest_inter_NxN_enabled_flag来容易地定义PU大小可以取的值的范围。
此情况下的图像编码装置100基本上具有与图1中的上述示例的情况类似的配置。然而，要注意，单位大小设定单元121的配置是不同的。
[单位大小单元]
图13是此情况下的单位大小设定单元121的主要配置示例的框图。如图13所示，此情况下的单位大小设定单元121包括与图5的示例基本上类似的配置，但取代标志设定单元153，包括标志设定单元353和PU大小设定单元354。
标志设定单元353基于诸如用户设定、硬件性能或档次级别之类的信息，判定在SCU被进行4分割(垂直和水平分别2分割)的情况下的部分区域的大小(N×N)是否被许可作为帧间预测的PU大小，并且设定与指示该判定结果的标志信息相对应的smallest_inter_NxN_enabled_flag。标志设定单元353把设定的smallest_inter_NxN_enabled_flag提供给PU大小设定单元354。另外，标志设定单元353把设定的smallest_inter_NxN_enabled_flag提供给无损编码单元106以存储在序列参数集合(SPS)中并传送到解码方的装置。
PU大小设定单元354根据smallest_inter_NxN_enabled_flag的值来决定帧间PU大小的最小大小。例如，利用此标志，如果指定在SCU被垂直和水平分别2分割的情况下的部分区域的大小(N×N)被许可作为帧间预测的PU大小，则PU大小设定单元354将N×N设定为PU的最小大小。另外，如果指定在SCU被垂直和水平分别2分割的情况下的部分区域的大小(N×N)不被许可作为帧间预测的PU大小，则PU大小设定单元354将2N×N或N×2N设定为PU的最小大小。PU大小设定单元354把指示PU的最小大小的信息提供给运动预测和补偿单元115。运动预测和补偿单元115通过把PU设定为具有大于设定值的大小来执行帧间预测。
利用此配置，由于单位大小设定单元121可向解码方传送不考虑SCU的大小来参考的smallest_inter_NxN_enabled_flag，所以图像编码装置100可以抑制由冗余信息传送引起的编码效率的降低。
[单位大小设定处理的流程]
将参考图14来描述此情况下的单位大小设定处理的流程的示例。如图14所示，在此情况下，也与图7的步骤S131至步骤S136中的各个处理类似地执行步骤S301至步骤S306中的各个处理。
在步骤S307中，标志设定单元353不考虑SCU的大小，基于任意信息来设定smallest_inter_NxN_enabled_flag。在步骤S308中，标志设定单元353把smallest_inter_NxN_enabled_flag提供给无损编码单元106以作为序列参数集合传送到解码方。
在步骤S309中，PU大小设定单元354在遵循由步骤S307中的处理设定的smallest_inter_NxN_enabled_flag的同时设定PU大小的下限(最小大小)。例如，利用此标志，如果指定在SCU被垂直和水平分别2分割的情况下的部分区域的大小(N×N)被许可作为帧间预测的PU大小，则PU大小设定单元354将N×N设定为PU的最小大小。另外，如果指定在SCU被垂直和水平分别2分割的情况下部分区域的大小(N×N)不被许可作为帧间预测的PU大小，则PU大小设定单元354将2N×N或N×2N设定为PU的最小大小。这个值被运动预测和补偿单元115用于帧间预测。
当步骤S309中的处理结束时，PU大小设定单元354结束单位大小设定处理，并且使处理返回到图6。
由于如上所述执行了处理，所以图像编码装置100可以抑制由冗余信息传送引起的编码效率的降低。
[单位大小设定解码单元]
接下来，将描述此情况下的图像解码装置。此情况下的图像解码装置200基本上具有与图8中的上述示例的情况类似的配置。然而，要注意，单位大小设定解码单元221的配置是不同的。
图15是此情况下的单位大小设定解码单元221的主要配置示例的框图。如图15所示，此情况下的单位大小设定解码单元221基本上具有与图9中的示例的情况类似的配置，但取代标志解码单元253包括标志解码单元453和PU大小设定单元454。
标志解码单元453获得在无损解码单元202中从序列参数集合中提取的smallest_inter_NxN_enabled_flag。标志解码单元453将所获得的smallest_inter_NxN_enabled_flag提供给PU大小设定单元454。
PU大小设定单元454在遵循提供来的smallest_inter_NxN_enabled_flag的同时设定PU大小的下限(最小大小)。例如，利用此标志，如果指定在SCU被垂直和水平分别2分割的情况下的部分区域的大小(N×N)被许可作为帧间预测的PU大小，则PU大小设定单元454将N×N设定为PU的最小大小。另外，如果指定在SCU被垂直和水平分别2分割的情况下的部分区域的大小(N×N)不被许可作为帧间预测的PU大小，则PU大小设定单元454将2N×N或N×2N设定为PU的最小大小。PU大小设定单元454把指示PU的最小大小的信息提供给运动预测和补偿单元212。运动预测和补偿单元212通过把PU设定为具有大于设定值的大小来执行帧间预测。
利用此配置，由于单位大小设定解码单元221可以获得与SCU的大小无关的传送的smallest_inter_NxN_enabled_flag并基于该值来设定PU大小的下限，所以图像解码装置200可以实现对由冗余信息的传送引起的编码效率降低的抑制。
[单位大小设定解码处理的流程]
将参考图16来描述此情况下的单位大小设定解码处理的流程的示例。如图16所示中，在此情况下，也与图11的步骤S231至步骤S234中的各个处理类似地执行步骤S401至步骤S404中的各个处理。
在步骤S405中，标志解码单元453获得smallest_inter_NxN_enabled_flag。在步骤S406中，PU大小设定单元454在遵循步骤S405中的获得的smallest_inter_NxN_enabled_flag的同时设定PU大小的下限(最小大小)。例如，利用此标志，如果指定在SCU被垂直和水平分别2分割的情况下的部分区域的大小(N×N)被许可作为帧间预测的PU大小，则PU大小设定单元454将N×N设定为PU的最小大小。另外，如果指定在SCU被垂直和水平分别2分割的情况下的部分区域的大小(N×N)不被许可作为帧间预测的PU大小，则PU大小设定单元454将2N×N或N×2N设定为PU的最小大小。这个值被运动预测和补偿单元212用于帧间预测。
当步骤S406中的处理结束时，PU大小设定单元454结束单位大小设定处理，并且使处理返回到图10。
由于如上所述执行了处理，所以图像解码装置200可以实现对由冗余信息的传送引起的编码效率降低的抑制。
<3.第三实施例>
[计算机]
上述一系列处理可以由硬件执行并且可以由软件执行。在此情况下，例如，其可被配置为图17所示的计算机。
在图17中，计算机800的CPU(中央处理单元)801在遵循存储在ROM(只读存储器)802中的程序或从存储单元813加载到RAM(随机访问存储器)803中的程序的同时执行各种处理。RAM803还适当地存储CPU801执行各种处理等所必要的数据。
CPU801、ROM802和RAM803经由总线804相互连接。输入和输出接口810也连接到此总线804。
以下组件连接到输入和输出接口810：由键盘、鼠标等构成的输入单元811，由包括CRT(阴极射线管)、LCD(液晶显示器)等的显示器和扬声器等构成的输出单元812，由硬盘等构成的存储单元813、以及由调制解调器等构成的通信单元814。通信单元814经由包括互联网在内的网络执行通信处理。
驱动器815根据需要也连接到输入和输出接口810，并且诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质821被适当地安放。从其中读出的计算机程序根据需要被安装到存储单元813中。
在由软件来执行上述一系列处理的情况下，构成软件的程序是从网络或记录介质安装的。
如图17所示，与装置主体分开地，此记录介质例如不仅由包括磁盘(包括柔性盘)、光盘(包括CD-ROM(致密盘-只读存储器)或DVD(数字多功能盘))、磁光盘(包括MD(袖珍盘))、半导体存储器等在内的其上记录有程序以被传播来向用户分发程序的可移除介质821构成，而且由其上记录有程序以在预先包含在装置主体中的状态中传播给用户的ROM802、存储单元813中包括的硬盘之类的等等构成。
注意，计算机执行的程序可以是按照本说明书中描述的顺序以时序方式执行处理的程序，或者是并行地或者在执行调用时之类的必要时机执行处理的程序。
另外，在本说明书中，用于描述记录介质上记录的程序的步骤当然包括按描述的顺序以时序方式执行的处理，但在不一定要以时序方式执行处理时，也包括并行或单独执行的处理。
另外，在本说明书中，系统表示由多个设备(装置)构成的整个装置。
另外，在上文中，描述为单个装置(或处理单元)的配置可被分割成配置为多个装置(或处理单元)。相反，在上文中描述为多个装置(或处理单元)的配置也可被集成在一起以配置为单个装置(或处理单元)。另外，当然可向各个装置(或各个处理单元)的配置添加除了上述配置以外的其他配置。另外，如果作为系统整体上的配置和操作基本相同，则某个装置(或处理单元)的配置的一部分也可被包括在另一装置(或另一处理单元)的配置中。详细地说，本技术的实施例不限于上述实施例，在不脱离本技术的要旨的范围内可进行各种修改。
根据上述实施例的图像编码装置100(图1)和图像解码装置200(图8)可应用到各种电子装置，包括卫星广播、诸如有线TV之类的有线广播、互联网分发、通过蜂窝通信分发到终端等等中的发送机和接收机，在诸如光盘、磁盘和闪存之类的介质上记录图像的记录装置，或者从这些存储介质再现图像的再现装置，等等。以下，将描述四个应用例。
<4.第四实施例>
[电视装置]
图18示出应用了上述实施例的电视装置的示意性配置的示例。电视装置900设有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从经由天线901接收的广播信号中提取期望频道的信号，并对提取的信号进行解调。随后，调谐器902把通过解调获得的编码比特流输出给解复用器903。也就是说，调谐器902接收其中编码有图像的编码流，并且在电视装置900中具有作为传送单元的角色。
解复用器903从编码比特流中分离出观看对象节目的视频流和音频流，并将各个分离出的流输出到解码器904。另外，解复用器903从编码比特流中提取诸如EPG(电子节目指南)之类的辅助数据，并将提取的数据提供给控制单元910。注意，在编码比特流被加扰的情况下，解复用器903可执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。随后，解码器904把通过解码生成的视频流输出到视频信号处理单元905。另外，解码器904把通过解码生成的音频流输出到音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，并在显示单元906上显示视频。另外，视频信号处理单元905可在显示单元906上显示经由网络提供的应用画面。另外，视频信号处理单元905可根据设定对视频数据执行诸如噪声去除之类的附加处理。此外，视频信号处理单元905还可生成诸如菜单、按钮或光标之类的GUI(图形用户界面)的图像，并将所生成的图像重叠在输出图像上。
显示单元906被从视频信号处理单元905提供来的驱动信号所驱动，并在显示装置(例如，液晶显示器、等离子显示器、OELD(有机电致发光显示器)(有机EL显示器)等)的视频画面上显示视频或图像。
音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大之类的再现处理，并从扬声器908输出音频。另外，音频信号处理单元907可对音频数据执行诸如噪声去除之类的附加处理。
外部接口909是用于将电视装置900连接到外部装置或网络的接口。例如，经由外部接口909接收的视频流或音频流可被解码器904解码。也就是说，外部接口909也在电视装置900中具有作为传送单元的角色，以接收编码有图像的编码流。
控制单元910包括诸如CPU之类的处理器，以及诸如RAM、ROM等等之类的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据、经由网络获得的数据，等等。存储器存储的程序例如在电视装置900激活时被CPU读取，并被执行。CPU例如根据从用户接口911输入的操作信号通过执行程序来控制电视装置900的操作。
用户接口911连接到控制单元910。用户接口911例如包括供用户操作电视装置900的按钮和开关、遥控信号的接收单元，等等。用户接口911通过经由这些构成元件检测用户执行的操作来生成操作信号，并将生成的操作信号输出到控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。
在这样构造的电视装置900中，解码器904具有根据上述实施例的图像解码装置200(图8)的功能。因此，解码器904可以根据SCU大小(log2_min_coding_block_size_minus3的值)判定是否传送了inter_4x4_enabled_flag。因此，电视装置900可以实现对由冗余信息的传送引起的编码效率降低的抑制。
<5.第五实施例>
[移动电话设备]
图19示出应用了上述实施例的移动电话设备的示意性配置的示例。移动电话设备920设有天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、解复用单元928、读写单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、读写单元929、显示单元930和控制单元931相互连接。
移动电话设备920在包括语音谈话模式、数据通信模式、图像拍摄模式和电视电话模式在内的各种操作模式中执行诸如音频信号的发送与接收、电子邮件或图像数据的发送与接收、图像的拍摄和数据记录之类的操作。
在语音谈话模式中，由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923把模拟音频信号转换成音频数据，并对转换后的音频数据执行A/D转换以加以压缩。随后，音频编解码器923把压缩后的音频数据输出到通信单元922。通信单元922对音频数据执行编码和调制，以生成发送信号。随后，通信单元922把生成的发送信号经由天线921发送到基站(未示出)。另外，通信单元922对经由天线921接收的无线信号执行放大和频率转换，以对接收信号进行接收。随后，通信单元922对接收信号执行解调和解码以生成音频数据，并将生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据执行解压缩并执行D/A转换，以生成模拟音频信号。随后，音频编解码器923把生成的音频信号提供给扬声器924以输出音频。
另外，在数据通信模式中，例如，控制单元931根据用户经由操作单元932的操作生成构成电子邮件的字符数据。另外，控制单元931在显示单元930上显示字符。另外，控制单元931根据经由操作单元932来自用户的发送指令生成电子邮件数据，并将生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据执行编码和调制，以生成发送信号。随后，通信单元922把生成的发送信号经由天线921发送到基站(未示出)。另外，通信单元922对经由天线921接收的无线信号执行放大和频率转换，并获得接收信号。随后，通信单元922对接收信号执行解调和解码以重建电子邮件数据，并将重建的电子邮件数据输出到控制单元931。控制单元931在显示单元930上显示电子邮件数据的内容，并且还将电子邮件数据存储在读写单元929的存储介质中。
读写单元929包括任意的可读和可写存储介质。例如，存储介质可以是诸如RAM或闪存之类的内置型存储介质，或者也可以是诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡之类的外部安放型存储介质。
另外，在图像拍摄模式中，例如，相机单元926拍摄被摄体的图像以生成图像数据，并将生成的图像数据输出到图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码，并将编码流存储在读写单元929的存储介质中。
另外，在电视电话模式中，例如，解复用单元928把经图像处理单元927编码的视频流与从音频编解码器923输入的音频流进行复用，并将复用的流输出到通信单元922。通信单元922对该流执行编码和调制，以生成发送信号。随后，通信单元922把生成的发送信号经由天线921发送到基站(未示出)。另外，通信单元922对经由天线921接收的无线信号执行放大和频率转换，以获得接收信号。这些发送信号和接收信号可包括编码比特流。随后，通信单元922对接收信号执行解调和解码以重建流，并将重建的流输出到解复用单元928。解复用单元928从输入流中分离出视频流和音频流，并且将视频流输出到图像处理单元927，并将音频流输出到音频编解码器923。图像处理单元927对视频流进行解码，以生成视频数据。视频数据被提供给显示单元930，并且一系列图像被显示单元930显示。音频编解码器923对音频流执行解压缩和D/A转换，以生成模拟音频信号。随后，音频编解码器923把生成的音频信号提供给扬声器924以输出音频。
在这样构成的移动电话设备920中，图像处理单元927具有根据上述实施例的图像编码装置100(图1)的功能和图像解码装置200(图8)的功能。因此，对于在移动电话设备920中编码和解码的图像，图像处理单元927可以遵循SCU大小仅在必要的情况下才执行inter_4x4_enabled_flag的传送。因此，移动电话设备920可抑制由冗余信息的传送引起的编码效率的不必要降低。
另外，在上文中，以移动电话设备920的形式给出了描述，但例如，只要装置具有与此移动电话设备920类似的图像拍摄功能和通信功能，例如PDA(个人数字助理)、智能电话、UMPC(超级移动个人计算机)、上网本或笔记本个人计算机，就可以与移动电话设备920的情况类似地将应用了本技术的图像编码装置和图像解码装置应用到任何装置。
<6.第六实施例>
[记录和再现装置]
图20示出应用了上述实施例的记录和再现装置的示意性配置的示例。记录和再现装置940例如对接收到的广播节目的音频数据和视频数据进行编码，以将其记录在记录介质上。另外，记录和再现装置940例如可对从另一装置获得的音频数据和视频数据进行编码，以将其记录在记录介质上。另外，记录和再现装置940例如根据用户的指令在监视器和扬声器上再现记录介质上记录的数据。此时，记录和再现装置940对音频数据和视频数据进行解码。
记录和再现装置940设有调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏上显示)948、控制单元949和用户接口950。
调谐器941从经由天线(未示出)接收的广播信号中提取期望频道的信号，并对提取的信号进行解调。随后，调谐器941把通过解调获得的编码比特流输出到选择器946。也就是说，调谐器941在记录和再现装置940中具有作为传送单元的功能。
外部接口942是用于将记录和再现装置940连接到外部装置或网络的接口。外部接口942例如可以是IEEE1394接口、网络接口、USB接口、闪存接口，等等。例如，经由外部接口942接收的视频数据和音频数据被输入到编码器943。也就是说，外部接口942在记录和再现装置940中具有作为传送单元的功能。
在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。随后，编码器943把编码比特流输出到选择器946。
HDD944在内部硬盘上记录其中压缩有诸如视频和音频之类的内容数据的编码比特流、各种程序和其他数据。另外，HDD944在再现视频和音频时从硬盘读出这些数据。
盘驱动器945对于安放的记录介质执行数据的记录和读取。安放到盘驱动器945的记录介质例如可以是DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW，等等)、蓝光(注册商标)盘，等等。
选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出到HDD944或盘驱动器945。另外，选择器946在再现视频和音频时，把从HDD944或盘驱动器945输入的编码比特流输出到解码器947。
解码器947对编码比特流进行解码，以生成视频数据和音频数据。随后，解码器947把生成的视频数据输出到OSD948。另外，解码器904把生成的音频数据输出到外部扬声器。
OSD948再现从解码器947输入的视频数据，以显示视频。另外，OSD948可将诸如菜单、按钮或光标之类的GUI的图像重叠在显示的视频上。
控制单元949包括诸如CPU之类的处理器，和诸如RAM或ROM之类的存储器。存储器存储由CPU执行的程序、程序数据，等等。存储器存储的程序例如在激活记录和再现装置940时被CPU读取并被执行。在执行程序的同时，CPU例如根据从用户接口950输入的操作信号来控制记录和再现装置940的操作。
用户接口950连接到控制单元949。用户接口950例如包括供用户操作记录和再现装置940的按钮和开关，遥控信号的接收单元，等等。用户接口950通过经由这些构成元件检测用户的操作来生成操作信号，并将所生成的操作信号输出到控制单元949。
在这样构成的记录和再现装置940中，编码器943具有根据上述实施例的图像编码装置100(图1)的功能。另外，解码器947具有根据上述实施例的图像解码装置200(图8)的功能。因此，对于在记录和再现装置940中编码和解码的图像，编码器943和解码器947可以在遵循SCU大小的同时仅在必要的情况下执行inter_4x4_enabled_flag的传送。因此，记录和再现装置940可抑制由冗余信息的传送引起的编码效率的不必要降低。
<7.第七实施例>
[图像拍摄装置]
图21示出应用了上述实施例的图像拍摄装置的示意性配置的示例。图像拍摄装置960拍摄被摄体的图像以生成图像数据，并对图像数据编码以记录在记录介质上。
图像拍摄装置960设有光学块961、图像拍摄单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971和总线972。
光学块961连接到图像拍摄单元962。图像拍摄单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969和控制单元970相互连接。
光学块961包括聚焦透镜、光圈机构，等等。光学块961将被摄体的光学图像聚焦在图像拍摄单元962的图像拍摄面上。图像拍摄单元962包括诸如CCD、CMOS之类的图像传感器，并且通过光电转换把聚焦在图像拍摄面上的光学图像转换成作为电信号的图像信号。随后，图像拍摄单元962把图像信号输出到信号处理单元963。
信号处理单元963对从图像拍摄单元962输入的图像信号执行各种相机信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963把相机信号处理后的图像数据输出到图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码以生成编码数据。随后，图像处理单元964把生成的编码数据输出到外部接口966或介质驱动器968。另外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。随后，图像处理单元964把生成的图像数据输出到显示单元965。另外，图像处理单元964可以把从信号处理单元963输入的图像数据输出到显示单元965并显示图像。另外，图像处理单元964可以把从OSD969获得的显示用数据重叠在图像上以输出到显示单元965。
OSD969生成诸如菜单、按钮或光标之类的GUI的图像，并将生成的图像输出到图像处理单元964。
外部接口966例如被构成为USB输入和输出端子。外部接口966例如在打印图像时将图像拍摄装置960连接到打印机。另外，一驱动器根据需要连接到外部接口966。诸如磁盘或光盘之类的可移除介质被安放，并且从可移除介质读出的程序可被安装到图像拍摄装置960中。另外，外部接口966还可被构成为连接到诸如LAN或互联网之类的网络的网络接口。也就是说，外部接口966在图像拍摄装置960中具有作为传送单元的角色。
安放到介质驱动器968的记录介质例如可以是诸如磁盘、磁光盘、光盘或半导体存储器之类的任意的可读和可写可移除介质。另外，介质驱动器968以固定方式被安放到记录介质，并且可构成诸如内置硬盘驱动器或SSD(固态驱动器)之类的非便携存储单元。
控制单元970包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器存储由CPU执行的程序、程序数据，等等。存储器存储的程序例如在图像拍摄装置960激活时被CPU读取并被执行。在执行程序的同时，CPU例如根据从用户接口971输入的操作信号来控制图像拍摄装置960的操作。
用户接口971连接到控制单元970。用户接口971例如包括供用户操作图像拍摄装置960的按钮、开关，等等。用户接口971通过经由这些构成元件检测用户的操作来生成操作信号，并将所生成的操作信号输出到控制单元970。
在这样构造的图像拍摄装置960中，图像处理单元964具有根据上述实施例的图像编码装置100(图1)的功能和图像解码装置200(图11)的功能。因此，对于在图像拍摄装置960中编码和解码的图像，图像处理单元964可在遵循SCU大小的同时仅在必要的情况下才执行inter_4x4_enabled_flag的传送。因此，图像拍摄装置960可抑制由冗余信息的传送引起的编码效率的不必要降低。
当然，应用了本技术的图像编码装置和图像解码装置也可被应用到除了上述装置以外的其他装置和系统。
注意，在本说明书中，描述了量化参数被从编码方传送到解码方的示例。根据传送量化矩阵参数的方法，可以传送或记录与编码比特流相关联的单独数据，而不复用在编码比特流上。这里，术语“关联”指的是比特流中包括的图像(其也可以是图像的一部分，例如片或块)在解码时可以与对应于相关图像的信息相链接。也就是说，该信息可在与图像(或比特流)不同的传送路径上传送。另外，该信息可记录在与图像(或比特流)不同的记录介质上(或同一记录介质中的不同记录区域上)。此外，信息和图像(或比特流)可按任意的单位与彼此关联，例如多个帧、一个帧或者一帧内的一部分。
以上，已参考附图详细描述了本公开的优选实施例，但本公开的技术范围并不限于这些示例。本公开的技术领域的普通技术人员在权利要求的范围中限定的技术构思的范围内可以显而易见地设想到各种修改例或替换例，并且当然可理解这些属于本公开的技术范围。
注意，本技术也可采取以下配置。
(1)一种图像处理装置，包括：
最小编码单位信息获得单元，其在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码所述图像数据获得的编码数据的解码中，获得指示作为最小的所述编码单位的最小编码单位的大小的信息；以及
控制信息获得单元，其根据由所述最小编码单位信息获得单元获得的信息所指示的所述最小编码单位的大小，获得用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息。
(2)根据(1)所述的图像处理装置，
其中，所述控制信息获得单元在由所述最小编码单位信息获得单元获得的信息所指示的所述最小编码单位的大小不是最小大小的情况下，省略对所述控制信息的获得。
(3)根据(1)所述的图像处理装置，
其中，所述控制信息是一标志，该标志用于指定通过对所述最小编码单位可以取的最小大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为所述帧间预测单位的最小大小。
(4)根据(1)所述的图像处理装置，
其中，所述最小编码单位可以取的最小大小是8×8。
(5)一种用于图像处理装置的图像处理方法，该图像处理方法包括：
使得最小编码单位信息获得单元在对图像数据的编码中获得指示作为最小的编码单位的最小编码单位的大小的信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
使得控制信息获得单元根据由所获得的信息所指示的所述最小编码单位的大小获得用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息。
(6)一种图像处理装置，包括：
控制信息设定单元，其在图像数据的编码中，根据作为最小的编码单位的最小编码单位的大小，设定用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
传送单元，其传送由所述控制信息设定单元设定的所述控制信息。
(7)根据(6)所述的图像处理装置，
其中，所述控制信息设定单元在所述最小编码单位的大小不是其自身可以取的最小大小的情况下省略对所述控制信息的设定。
(8)根据(6)所述的图像处理装置，
其中，所述控制信息是一标志，该标志用于指定通过对所述最小编码单位可以取的最小大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为所述帧间预测单位的最小大小。
(9)根据(6)所述的图像处理装置，
其中，所述最小编码单位可以取的最小大小是8×8。
(10)根据(6)所述的图像处理装置，还包括：
最小编码单位设定单元，其设定所述最小编码单位的大小，其中
所述控制信息设定单元根据由所述最小编码单位设定单元设定的所述最小编码单位的大小来设定所述控制信息，并且
所述传送单元还传送指示由所述最小编码单位设定单元设定的所述最小编码单位的大小的信息。
(11)根据(10)所述的图像处理装置，还包括：
最大编码单位设定单元，其设定作为最大的编码单位的最大编码单位的大小并且还根据所设定的所述最大编码单位的大小和由所述最小编码单位设定单元设定的所述最小编码单位的大小来设定指示所述最大编码单位的大小的信息，
其中，所述传送单元还传送指示由所述最大编码单位设定单元设定的所述最大编码单位的大小的信息。
(12)根据(6)所述的图像处理装置，
其中，所述传送单元将所述控制信息以存储在序列参数集合中的形式加以传送。
(13)一种用于图像处理装置的图像处理方法，该图像处理方法包括：
使得控制信息设定单元在图像数据的编码中，根据作为最小的编码单位的最小编码单位的大小，设定用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
使得传送单元传送所设定的控制信息。
(14)一种图像处理装置，包括：
控制信息获得单元，其在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码所述图像数据获得的编码数据的解码中，获得用于在作为最小的所述编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息；以及
帧间预测单位设定单元，其在遵循由所述控制信息获得单元获得的所述控制信息的同时设定所述帧间预测单位的最小大小。
(15)一种用于图像处理装置的图像处理方法，该图像处理方法包括：
使得控制信息获得单元在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码所述图像数据获得的编码数据的解码中，获得用于在作为最小的所述编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息；以及
使得帧间预测单位设定单元在遵循所获得的控制信息的同时设定所述帧间预测单位的最小大小。
(16)一种图像处理装置，包括：
控制信息设定单元，其在图像数据的编码中，设定用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
传送单元，其传送由所述控制信息设定单元设定的所述控制信息。
(17)根据(16)所述的图像处理装置，
其中，所述控制信息设定单元在不考虑所述最小编码单位的大小的情况下设定所述控制信息。
(18)根据(16)所述的图像处理装置，
其中，所述控制信息是一标志，该标志用于指定通过对所述最小编码单位的大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为所述帧间预测单位的最小大小。
(19)根据(16)所述的图像处理装置，
其中，所述传送单元将所述控制信息以存储在序列参数集合中的形式加以传送。
(20)一种用于图像处理装置的图像处理方法，该图像处理方法包括：
使得控制信息设定单元在图像数据的编码中，设定用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
使得传送单元传送所设定的控制信息。
附图标记列表
100  图像编码装置
121  单位大小设定单元
151  SCU大小设定单元
152  LCU大小设定单元
153  标志设定单元
200  图像解码装置
221  单位大小设定解码单元
251  SCU大小解码单元
252  LCU大小解码单元
253  标志解码单元
353  标志设定单元
354  PU大小设定单元
453  标志解码单元
454  PU大小设定单元

Claims (20)

1.一种图像处理装置，包括：
最小编码单位信息获得单元，其在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码所述图像数据获得的编码数据的解码中，获得指示作为最小的所述编码单位的最小编码单位的大小的信息；以及
控制信息获得单元，其根据由所述最小编码单位信息获得单元获得的信息所指示的所述最小编码单位的大小，获得用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息。
2.根据权利要求1所述的图像处理装置，
其中，所述控制信息获得单元在由所述最小编码单位信息获得单元获得的信息所指示的所述最小编码单位的大小不是最小大小的情况下，省略对所述控制信息的获得。
3.根据权利要求1所述的图像处理装置，
其中，所述控制信息是一标志，该标志用于指定通过对所述最小编码单位可以取的最小大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为所述帧间预测单位的最小大小。
4.根据权利要求1所述的图像处理装置，
其中，所述最小编码单位可以取的最小大小是8×8。
5.一种用于图像处理装置的图像处理方法，该图像处理方法包括：
使得最小编码单位信息获得单元在对图像数据的编码中获得指示作为最小的编码单位的最小编码单位的大小的信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
使得控制信息获得单元根据由所获得的信息所指示的所述最小编码单位的大小获得用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息。
6.一种图像处理装置，包括：
控制信息设定单元，其在图像数据的编码中，根据作为最小的编码单位的最小编码单位的大小，设定用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
传送单元，其传送由所述控制信息设定单元设定的所述控制信息。
7.根据权利要求6所述的图像处理装置，
其中，所述控制信息设定单元在所述最小编码单位的大小不是其自身可以取的最小大小的情况下省略对所述控制信息的设定。
8.根据权利要求6所述的图像处理装置，
其中，所述控制信息是一标志，该标志用于指定通过对所述最小编码单位可以取的最小大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为所述帧间预测单位的最小大小。
9.根据权利要求6所述的图像处理装置，
其中，所述最小编码单位可以取的最小大小是8×8。
10.根据权利要求6所述的图像处理装置，还包括：
最小编码单位设定单元，其设定所述最小编码单位的大小，
其中，所述控制信息设定单元根据由所述最小编码单位设定单元设定的所述最小编码单位的大小来设定所述控制信息，并且
其中，所述传送单元还传送指示由所述最小编码单位设定单元设定的所述最小编码单位的大小的信息。
11.根据权利要求10所述的图像处理装置，还包括：
最大编码单位设定单元，其设定作为最大的编码单位的最大编码单位的大小并且还根据所设定的所述最大编码单位的大小和由所述最小编码单位设定单元设定的所述最小编码单位的大小来设定指示所述最大编码单位的大小的信息，
其中，所述传送单元还传送指示由所述最大编码单位设定单元设定的所述最大编码单位的大小的信息。
12.根据权利要求6所述的图像处理装置，
其中，所述传送单元将所述控制信息以存储在序列参数集合中的形式加以传送。
13.一种用于图像处理装置的图像处理方法，该图像处理方法包括：
使得控制信息设定单元在图像数据的编码中，根据作为最小的编码单位的最小编码单位的大小，设定用于控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
使得传送单元传送所设定的控制信息。
14.一种图像处理装置，包括：
控制信息获得单元，其在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码所述图像数据获得的编码数据的解码中，获得用于在作为最小的所述编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息；以及
帧间预测单位设定单元，其在遵循由所述控制信息获得单元获得的所述控制信息的同时设定所述帧间预测单位的最小大小。
15.一种用于图像处理装置的图像处理方法，该图像处理方法包括：
使得控制信息获得单元在具有将图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时，在对通过编码所述图像数据获得的编码数据的解码中，获得用于在作为最小的所述编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息；以及
使得帧间预测单位设定单元在遵循所获得的控制信息的同时设定所述帧间预测单位的最小大小。
16.一种图像处理装置，包括：
控制信息设定单元，其在图像数据的编码中，设定用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
传送单元，其传送由所述控制信息设定单元设定的所述控制信息。
17.根据权利要求16所述的图像处理装置，
其中，所述控制信息设定单元在不考虑所述最小编码单位的大小的情况下设定所述控制信息。
18.根据权利要求16所述的图像处理装置，
其中，所述控制信息是一标志，该标志用于指定通过对所述最小编码单位的大小在垂直和水平方向上分别进行2分割而获得的区域是否被应用为所述帧间预测单位的最小大小。
19.根据权利要求16所述的图像处理装置，
其中，所述传送单元将所述控制信息以存储在序列参数集合中的形式加以传送。
20.一种用于图像处理装置的图像处理方法，该图像处理方法包括：
使得控制信息设定单元在图像数据的编码中，设定用于在作为最小的编码单位的最小编码单位的大小被设定为基准的同时控制作为帧间预测的处理单位的帧间预测单位的最小大小的控制信息，其中所述图像数据的编码是在具有将所述图像数据的图片分割成多个部分的多层结构的编码单位被设定为处理单位的同时执行的；以及
使得传送单元传送所设定的控制信息。
CN201280048091.5A 2011-10-07 2012-09-27 图像处理装置和方法 Pending CN103843344A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011223250A JP2013085096A (ja) 2011-10-07 2011-10-07 画像処理装置および方法
JP2011-223250 2011-10-07
PCT/JP2012/074853 WO2013051453A1 (ja) 2011-10-07 2012-09-27 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN103843344A true CN103843344A (zh) 2014-06-04

Family

ID=48043614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280048091.5A Pending CN103843344A (zh) 2011-10-07 2012-09-27 图像处理装置和方法

Country Status (7)

Country Link
US (1) US10397583B2 (zh)
EP (1) EP2765772A4 (zh)
JP (1) JP2013085096A (zh)
CN (1) CN103843344A (zh)
AR (1) AR088055A1 (zh)
TW (1) TW201330638A (zh)
WO (1) WO2013051453A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681788A (zh) * 2016-04-07 2016-06-15 北京中星微电子有限公司 视频编码方法和视频编码装置
CN113424530A (zh) * 2018-12-28 2021-09-21 索尼集团公司 图像处理装置和方法
CN114205621A (zh) * 2018-02-28 2022-03-18 三星电子株式会社 编码方法及其装置以及解码方法及其装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603413B1 (ko) * 2014-03-28 2016-03-28 경희대학교 산학협력단 깊이 정보를 이용한 비디오 부호화 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1569460B1 (en) * 2002-11-25 2013-05-15 Panasonic Corporation Motion compensation method, image encoding method, and image decoding method
US6979400B2 (en) * 2003-07-10 2005-12-27 Zodiac Pool Care, Inc. Automatic swimming pool cleaners with shaped floats and water-temperature or -pressure indicators and water-circulation systems incorporating such indicators
JP3880985B2 (ja) * 2004-08-05 2007-02-14 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
JP4250638B2 (ja) * 2006-06-30 2009-04-08 株式会社東芝 動画像符号化装置及びその方法
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
EP2393296A1 (en) * 2009-01-29 2011-12-07 Panasonic Corporation Image coding method and image decoding method
CN104717502B (zh) * 2009-04-08 2018-06-22 夏普株式会社 运动图像编码装置以及运动图像解码装置
KR20110061468A (ko) * 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
US20120300850A1 (en) * 2010-02-02 2012-11-29 Alex Chungku Yie Image encoding/decoding apparatus and method
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
US8942282B2 (en) * 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
EP3849194B1 (en) * 2010-09-27 2022-08-03 LG Electronics, Inc. Method for partitioning block and decoding device
US8965139B2 (en) * 2010-09-29 2015-02-24 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
JP5855570B2 (ja) * 2010-09-30 2016-02-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US8654860B2 (en) * 2010-11-01 2014-02-18 Mediatek Inc. Apparatus and method for high efficiency video coding using flexible slice structure
US8526495B2 (en) * 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
US9380314B2 (en) * 2010-12-20 2016-06-28 Texas Instruments Incorporated Pixel retrieval for frame reconstruction
US9049452B2 (en) * 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
US20130016769A1 (en) * 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
CN103797794B (zh) * 2011-09-16 2017-11-03 寰发股份有限公司 用于编码的方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681788A (zh) * 2016-04-07 2016-06-15 北京中星微电子有限公司 视频编码方法和视频编码装置
CN105681788B (zh) * 2016-04-07 2019-05-03 中星技术股份有限公司 视频编码方法和视频编码装置
CN114205621A (zh) * 2018-02-28 2022-03-18 三星电子株式会社 编码方法及其装置以及解码方法及其装置
CN113424530A (zh) * 2018-12-28 2021-09-21 索尼集团公司 图像处理装置和方法
CN113424530B (zh) * 2018-12-28 2024-05-24 索尼集团公司 图像处理装置和方法

Also Published As

Publication number Publication date
TW201330638A (zh) 2013-07-16
EP2765772A1 (en) 2014-08-13
WO2013051453A1 (ja) 2013-04-11
US10397583B2 (en) 2019-08-27
US20140247874A1 (en) 2014-09-04
JP2013085096A (ja) 2013-05-09
AR088055A1 (es) 2014-05-07
EP2765772A4 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
TWI703858B (zh) 圖像處理裝置、圖像處理方法、電腦程式及記錄媒體
JP5922245B2 (ja) クロマ成分のための適応ループフィルタ処理
CN103220512A (zh) 图像处理器和图像处理方法
RU2663359C1 (ru) Устройство и способ обработки изображений
KR20120126108A (ko) 비디오 코딩을 위한 적응적 모션 분해능
CN103563374A (zh) 图像处理设备及方法
CN103563364A (zh) 图像处理设备及方法
CN102812708A (zh) 图像处理设备和方法
CN106878745B (zh) 图像处理设备和图像处理方法
CN104471944A (zh) 图像处理装置和方法
CN104054346A (zh) 图像处理装置和方法
CN103636214A (zh) 图像处理设备及图像处理方法
JP6497562B2 (ja) 画像符号化装置および方法
CN102939759A (zh) 图像处理设备和方法
CN104662901A (zh) 图像处理装置及方法
CN103548355A (zh) 图像处理装置及方法
CN103907353A (zh) 图像处理设备和方法
CN102792693A (zh) 图像处理设备和方法
CN103535041A (zh) 图像处理装置和方法
CN104641646A (zh) 图像处理设备和图像处理方法
CN103748878A (zh) 图像处理装置和方法
CN103828367A (zh) 图像处理设备及方法
CN103843344A (zh) 图像处理装置和方法
CN103636219A (zh) 图像处理装置和方法
US10382752B2 (en) Image processing device and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140604