CN109155863B - 编码装置、解码装置、编码方法及解码方法 - Google Patents

编码装置、解码装置、编码方法及解码方法 Download PDF

Info

Publication number
CN109155863B
CN109155863B CN201780030426.3A CN201780030426A CN109155863B CN 109155863 B CN109155863 B CN 109155863B CN 201780030426 A CN201780030426 A CN 201780030426A CN 109155863 B CN109155863 B CN 109155863B
Authority
CN
China
Prior art keywords
arithmetic coding
decoding
binarized data
data sequence
bit sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780030426.3A
Other languages
English (en)
Other versions
CN109155863A (zh
Inventor
西孝启
远间正真
安倍清史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN109155863A publication Critical patent/CN109155863A/zh
Application granted granted Critical
Publication of CN109155863B publication Critical patent/CN109155863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

编码装置(100)是将图像信息编码的编码装置，具备存储器(162)和能够对存储器(162)访问的电路(160)；能够对存储器(162)访问的电路(160)根据图像信息，按照用于算术编码的二值化，导出二值化数据序列；输出包含二值化数据序列、并且包含表示是否对二值化数据序列应用了算术编码的应用信息的比特序列；在比特序列的输出中，输出包含没有被应用算术编码的二值化数据序列、并且表示对于二值化数据序列没有应用算术编码的信息作为应用信息的比特序列。

Description

编码装置、解码装置、编码方法及解码方法
技术领域
本发明涉及将图像信息编码的编码装置等。
背景技术
在作为以往的编码方式的H.265中，为了将图像信息有效率地编码而使用算术编码。
现有技术文献
非专利文献
非专利文献1：H.265(ISO/IEC 23008－2HEVC(High Efficiency Video Coding))
发明内容
发明要解决的课题
但是，有因为通过算术编码或算术解码发生的处理延迟而难以在短时间中进行图像信息的编码或解码的情况。
所以，本发明提供一种能够对通过算术编码等发生的处理延迟的削减进行支援的编码装置等。
用来解决课题的手段
有关本发明的一技术方案的编码装置，是将图像信息编码的编码装置，具备：存储器；以及电路，能够对上述存储器访问；能够对上述存储器访问的上述电路根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列；输出包含上述二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的比特序列；在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列、并且表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列。
另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的非暂时性的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
发明效果
有关本发明的一技术方案的编码装置等能够对通过算术编码等发生的处理延迟的削减进行支援。
附图说明
图1是表示有关实施方式1的编码装置的功能结构的框图。
图2是表示实施方式1的块划分的一例的图。
图3是表示与各变换类型对应的变换基函数的表。
图4A是表示在ALF中使用的滤波器的形状的一例的图。
图4B是表示在ALF中使用的滤波器的形状的另一例的图。
图4C是表示在ALF中使用的滤波器的形状的另一例的图。
图5是表示帧内预测的67个帧内预测模式的图。
图6是用来说明沿着运动轨迹的2个块间的图案匹配(双向匹配)的图。
图7是用来说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的图。
图8是用来说明假定了等速直线运动的模型的图。
图9是用来说明基于多个邻接块的运动矢量的子块单位的运动矢量的导出的图。
图10是表示有关实施方式1的解码装置的功能结构的框图。
图11是表示有关实施方式1的编码装置中的熵编码部的详细的功能结构的框图。
图12是表示有关实施方式1的解码装置中的熵解码部的详细的功能结构的框图。
图13是表示包括有关实施方式1的编码装置及解码装置的编解码系统的功能结构的框图。
图14是表示有关实施方式1的编码装置的实现例的框图。
图15是表示有关实施方式1的编码装置的第1编码动作例的流程图。
图16是表示有关实施方式1的编码装置的第2编码动作例的流程图。
图17是表示有关实施方式1的解码装置的实现例的框图。
图18是表示有关实施方式1的解码装置的第1解码动作例的流程图。
图19是表示有关实施方式1的解码装置的第2解码动作例的流程图。
图20是实现内容分发服务的内容供给系统的整体结构图。
图21是表示分级编码(Scalable Coding)时的编码构造的一例的图。
图22是表示分级编码时的编码构造的一例的图。
图23是表示web页的显示画面例的图。
图24是表示web页的显示画面例的图。
图25是表示智能电话的一例的图。
图26是表示智能电话的结构例的框图。
具体实施方式
(作为本发明的基础的认识)
在作为以往的编码方式的H.265中，为了将图像信息有效率地编码而使用算术编码。具体而言，采用被称作CABAC的上下文自适应二值算术编码方式。
例如，在上下文自适应二值算术编码方式中，通过二值化，将多值信号变换为作为由0或1表现的值的数据序列的二值化数据序列。并且，按照数据类别等的上下文，从规定的多个发生概率中选择0或1的发生概率，按照所选择的发生概率对二值化数据序列应用二值算术编码。并且，按照二值化数据序列中包含的0或1的值将发生概率更新。
即，在上下文自适应二值算术编码方式中，按照可变的发生概率进行二值算术编码。此外，在上下文自适应二值算术编码方式中，对于特定的数据类别等，按照固定的发生概率进行二值算术编码。
通过这样的算术编码，能得到较高的编码效率。换言之，通过这样的算术编码能得到较高的压缩率。
但是，在这样的算术编码以及与这样的算术编码对应的算术解码中，使用复杂的处理，发生处理延迟。因而，难以在短时间中进行图像信息的编码或解码。
所以，有关本发明的一技术方案的编码装置，是将图像信息编码的编码装置，具备：存储器；以及电路，能够对上述存储器访问；能够对上述存储器访问的上述电路，根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列；以及输出包含上述二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的比特序列；在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列、并且包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列。
由此，编码装置能够将算术编码跳过。因而，编码装置能够对通过算术编码发生的处理延迟的削减进行支援。此外，编码装置能够有效地利用关于算术编码的二值化的资源。此外，编码装置能够输出可根据应用信息识别算术编码的应用状态的比特序列。
例如也可以是，上述电路对如下动作进行切换：(i)第1动作，在上述比特序列的输出中，输出包含被应用了上述算术编码的上述二值化数据序列、并且包含表示对于上述二值化数据序列应用了上述算术编码的信息作为上述应用信息的上述比特序列；以及(ii)第2动作，在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列、并且包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列。
由此，编码装置能够自适应地切换是否进行算术编码，能够自适应地跳过算术编码。
此外，例如也可以是，上述电路输出包含以包括1个以上的图片的单位总括性地表示是否对上述二值化数据序列应用了上述算术编码的上述应用信息的上述比特序列。
由此，编码装置能够抑制关于应用信息的代码量及处理量的增加。
此外，有关本发明的一技术方案的编码装置是将图像信息编码的编码装置，具备：存储器；以及电路，能够对上述存储器访问；能够对上述存储器访问的上述电路，根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列；输出包含上述二值化数据序列的比特序列；以及对如下动作进行切换：(i)第1动作，在上述比特序列的输出中，输出包含被应用了上述算术编码的上述二值化数据序列的上述比特序列；以及(ii)第2动作，在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列的上述比特序列。
由此，编码装置能够自适应地切换是否进行算术编码，能够自适应地跳过算术编码。因而，编码装置能够对通过算术编码发生的处理延迟的削减进行支援。此外，编码装置能够有效地利用关于算术编码的二值化的资源。
例如也可以是，上述电路，输出包含上述二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的上述比特序列；以及对如下动作进行切换：(i)第1动作，在上述比特序列的输出中，输出包含被应用了上述算术编码的上述二值化数据序列、并且包含表示对于上述二值化数据序列应用了上述算术编码的信息作为上述应用信息的上述比特序列；以及(ii)第2动作，在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列、并且包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列。
由此，编码装置能够输出可根据应用信息识别算术编码的应用状态的比特序列。
此外，例如也可以是，上述电路以包括1个以上的图片的单位总括性地切换上述第1动作和上述第2动作。
由此，编码装置能够抑制关于算术编码的应用状态的切换的处理量的增加。
此外，有关本发明的一技术方案的解码装置是将图像信息解码的解码装置，具备：存储器；以及电路，能够对上述存储器访问；能够对上述存储器访问的上述电路，取得包含根据上述图像信息按照用于算术编码的二值化而导出的二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的比特序列；以及根据包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列中所包含的、没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息。
由此，解码装置能够跳过算术解码。因而，解码装置能够对通过算术解码发生的处理延迟的削减进行支援。此外，解码装置能够有效地利用关于算术解码的二值化的资源。此外，解码装置能够根据可根据应用信息识别算术编码的应用状态的比特序列导出图像信息。
例如也可以是，上述电路对如下动作进行切换：(i)第1动作，在上述图像信息的导出中，根据包含表示对于上述二值化数据序列应用了上述算术编码的信息作为上述应用信息的上述比特序列中所包含的、被应用了上述算术编码的上述二值化数据序列，导出上述图像信息；以及(ii)第2动作，在上述图像信息的导出中，根据包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列中所包含的、没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息。
由此，解码装置能够自适应地切换是否进行算术编码，能够自适应地跳过算术编码。
此外，例如也可以是，上述电路取得包含以包括1个以上的图片的单位总括性地是否对上述二值化数据序列应用了上述算术编码的上述应用信息的上述比特序列。
由此，解码装置能够抑制关于应用信息的代码量及处理量的增加。
此外，有关本发明的一技术方案的解码装置是将图像信息解码的解码装置，具备：存储器；以及电路，能够对上述存储器访问；能够对上述存储器访问的上述电路，取得包含根据上述图像信息按照用于算术编码的二值化而导出的二值化数据序列的比特序列；根据上述二值化数据序列导出上述图像信息；以及对如下动作进行切换：(i)第1动作，在上述图像信息的导出中，根据包含在上述比特序列中的、被应用了上述算术编码的上述二值化数据序列，导出上述图像信息；以及(ii)第2动作，在上述图像信息的导出中，根据包含在上述比特序列中的、没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息。
由此，解码装置能够自适应地切换是否进行算术编码，能够自适应地跳过算术编码。因而，解码装置能够对通过算术解码发生的处理延迟的削减进行支援。此外，解码装置能够有效地利用关于算术解码的逆二值化的资源。
例如也可以是，上述电路，取得包含上述二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的上述比特序列；以及对如下动作进行切换：(i)第1动作，在上述图像信息的导出中，根据包含表示对于上述二值化数据序列应用了上述算术编码的信息作为上述应用信息的上述比特序列中所包含的、被应用了上述算术编码的上述二值化数据序列，导出上述图像信息；以及(ii)第2动作，在上述图像信息的导出中，根据包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列中所包含的、没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息。
由此，解码装置能够取得可根据应用信息识别算术编码的应用状态的比特序列，导出图像信息。
此外，例如也可以是，上述电路以包括1个以上的图片的单位总括性地切换上述第1动作和上述第2动作。
由此，解码装置能够抑制关于算术编码的应用状态的切换的处理量的增加。
此外，有关本发明的一技术方案的编码方法是将图像信息编码的编码方法，根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列；以及输出包含上述二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的比特序列；在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列、并且包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列。
由此，执行该编码方法的装置等能够跳过算术编码。因而，执行该编码方法的装置等能够对通过算术编码发生的处理延迟的削减进行支援。此外，执行该编码方法的装置等能够有效地利用关于算术编码的二值化的资源。此外，执行该编码方法的装置等能够输出可根据应用信息识别算术编码的应用状态的比特序列。
此外，有关本发明的一技术方案的编码方法是将图像信息编码的编码方法，根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列；输出包含上述二值化数据序列的比特序列；以及对如下动作进行切换：(i)第1动作，在上述比特序列的输出中，输出包含被应用了上述算术编码的上述二值化数据序列的上述比特序列；以及(ii)第2动作，在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列的上述比特序列。
由此，执行该编码方法的装置等能够自适应地切换是否进行算术编码，能够自适应地跳过算术编码。因而，执行该编码方法的装置等能够对通过算术编码发生的处理延迟的削减进行支援。此外，执行该编码方法的装置等能够有效地利用关于算术编码的二值化的资源。
此外，有关本发明的一技术方案的解码方法是将图像信息解码的解码方法，取得包含根据上述图像信息按照用于算术编码的二值化而导出的二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的比特序列；以及根据包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列中所包含的、没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息。
由此，执行该解码方法的装置等能够跳过算术解码。因而，执行该解码方法的装置等能够对通过算术解码发生的处理延迟的削减进行支援。此外，执行该解码方法的装置等能够有效地利用关于算术解码的逆二值化的资源。此外，执行该解码方法的装置等能够取得可根据应用信息识别算术编码的应用状态的比特序列，导出图像信息。
此外，有关本发明的一技术方案的解码方法是将图像信息解码的解码方法，取得包含根据上述图像信息按照用于算术编码的二值化而导出的二值化数据序列的比特序列；根据上述二值化数据序列导出上述图像信息；以及对如下动作切换：(i)第1动作，在上述图像信息的导出中，根据包含在上述比特序列中的、被应用了上述算术编码的上述二值化数据序列，导出上述图像信息；以及(ii)第2动作，在上述图像信息的导出中，根据包含在上述比特序列中的、没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息。
由此，执行该解码方法的装置等能够自适应地切换是否进行算术编码，能够自适应地跳过算术编码。因而，执行该解码方法的装置等能够对通过算术解码发生的处理延迟的削减进行支援。此外，执行该解码方法的装置等能够有效地利用关于算术解码的逆二值化的资源。
进而，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的非暂时性的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下，参照附图对实施方式具体地进行说明。
另外，以下说明的实施方式都是表示包含性或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
(实施方式1)
[编码装置的概要]
首先，说明有关实施方式1的编码装置的概要。图1是表示有关实施方式1的编码装置100的功能结构的框图。编码装置100是将运动图像/图像将以块单位编码的运动图像/图像编码装置。
如图1所示，编码装置100是将图像以块单位编码的装置，具备划分部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、块存储器118、环路滤波器部120、帧存储器122、帧内预测部124、帧间预测部126和预测控制部128。
编码装置100例如由通用处理器及存储器实现。在此情况下，当保存在存储器中的软件程序被处理器执行时，处理器作为划分部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、环路滤波器部120、帧内预测部124、帧间预测部126及预测控制部128发挥功能。此外，编码装置100也可以作为与划分部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、环路滤波器部120、帧内预测部124、帧间预测部126及预测控制部128对应的专用的1以上的电子电路实现。
以下，对编码装置100中包含的各构成要素进行说明。
[划分部]
划分部102将输入运动图像中包含的各图片(picture)划分为多个块(block)，将各块向减法部104输出。例如，划分部102首先将图片划分为固定尺寸(例如128×128)的块。有时将该固定尺寸的块称作编码树单元(CTU)。并且，划分部102基于递归性的四叉树(quadtree)及/或二叉树(binary tree)块划分，将固定尺寸的块分别划分为可变尺寸(例如64×64以下)的块。有时将该可变尺寸的块称作编码单元(CU)、预测单元(PU)或变换单元(TU)。另外，在本实施方式中，不需要将CU、PU及TU区别，也可以是图片内的一部分或全部的块成为CU、PU、TU的处理单位。
图2是表示实施方式1的块划分的一例的图。在图2中，实线表示四叉树块划分的块边界，虚线表示二叉树块划分的块边界。
这里，块10是128×128像素的正方形块(128×128块)。将该128×128块10首先划分为4个正方形的64×64块(四叉树块划分)。
将左上的64×64块再垂直地划分为2个矩形的32×64块，将左方的32×64块再垂直地划分为2个矩形的16×64块(二叉树块划分)。结果，将左上的64×64块划分为2个16×64块11、12和32×64块13。
将右上的64×64块级别地划分为2个矩形的64×32块14、15(二叉树块划分)。
将左下的64×64块划分为4个正方形的32×32块(四叉树块划分)。将4个32×32块中的左上的块及右下的块进一步划分。将左上的32×32块垂直地划分为2个矩形的16×32块，将右方的16×32块再级别地划分为2个16×16块(二叉树块划分)。将右下的32×32块级别地划分为2个32×16块(二叉树块划分)。结果，将左下的64×64块划分为16×32块16、2个16×16块17、18、2个32×32块19、20和2个32×16块21、22。
不将右下的64×64块23划分。
如以上这样，在图2中，将块10基于递归性的四叉树及二叉树块划分而划分为13个可变尺寸的块11～23。有时将这样的划分称作QTBT(quad－tree plus binary tree：四叉树加二叉树)划分。
另外，在图2中，将1个块划分为4个或2个块(四叉树或二叉树块划分)，但划分并不限定于此。例如，也可以将1个块划分为3个块(三叉树块划分)。有时将包括这样的三叉树块划分的划分称作MBT(multi type tree：多类型树)划分。
[减法部]
减法部104以由划分部102划分后的块单位，从原信号(原样本)减去预测信号(预测样本)。即，减法部104计算编码对象块(以下，称作当前块)的预测误差(也称作残差)。并且，减法部104将计算出的预测误差向变换部106输出。
原信号是编码装置100的输入信号，是表示构成运动图像的各图片的图像的信号(例如亮度(luma)信号及2个色差(chroma)信号)。以下，有时也将表示图像的信号称作样本。
[变换部]
变换部106将空间域的预测误差变换为频率域的变换系数，将变换系数向量化部108输出。具体而言，变换部106对于例如空间域的预测误差进行预先设定的离散余弦变换(DCT)或离散正弦变换(DST)。
另外，变换部106也可以从多个变换类型之中自适应地选择变换类型，使用与所选择的变换类型对应的变换基函数(transform basis function)将预测误差变换为变换系数。有时将这样的变换称作EMT(explicit multiple core transform：显式多核变换)或AMT(adaptive multiple transform：自适应多重变换)。
多个变换类型例如包括DCT－II、DCT－V、DCT－VIII、DST－I及DST－VII。图3是表示与各变换类型对应的变换基函数的表。在图3中，N表示输入像素的数量。从这些多个变换类型中的变换类型的选择，既可以基于例如预测的种类(帧内(intra)预测及帧间(inter)预测)，也可以依存于帧内预测模式。
将表示是否应用这样的EMT或AMT的信息(例如称作AMT标志)及表示所选择的变换类型的信息以CU级别进行信号化。另外，这些信息的信号化并不需要限定于CU级别，也可以是其他的级别(例如，序列级别、图片级别、切片(slice)级别、瓦片(tile)级别或CTU级别)。
此外，变换部106也可以将变换系数(变换结果)再变换。有时将这样的再变换称作AST(adaptive secondary transform：自适应二次变换)或NSST(non－separablesecondary transform：不可分二次变换)。例如，变换部106按照在与帧内预测误差对应的变换系数的块中包含的每个子块(例如4×4子块)进行再变换。表示是否应用NSST的信息及关于在NSST中使用的变换矩阵的信息以CU级别进行信号化。另外，这些信息的信号化并不一定需要限定于CU级别，也可以是其他的级别(例如，序列级别、图片级别、切片级别、瓦片级别或CTU级别)。
[量化部]
量化部108将从变换部106输出的变换系数量化。具体而言，量化部108将当前块的变换系数以规定的扫描顺序扫描，基于与扫描出的变换系数对应的量化参数(QP)将该变换系数量化。接着，量化部108将当前块的量化的变换系数(以下，称作量化系数)向熵编码部110及逆量化部112输出。
规定的顺序是用于变换系数的量化/逆量化的顺序。例如，将规定的扫描顺序以频率的升序(以从低频到高频的顺序)或降序(从高频到低频的顺序)定义。
所谓量化参数，是定义量化步长(量化宽度)的参数。例如，如果量化参数的值增加，则量化步长也增加。即，如果量化参数的值增加，则量化误差增大。
[熵编码部]
熵编码部110通过将作为来自量化部108的输入的量化系数进行可变长编码，生成编码信号(编码比特流)。具体而言，熵编码部110例如将量化系数二值化，将二值信号算术编码。
[逆量化部]
逆量化部112将作为来自量化部108的输入的量化系数逆量化。具体而言，逆量化部112将当前块的量化系数以规定的扫描顺序进行逆量化。并且，逆量化部112将当前块的逆量化的变换系数向逆变换部114输出。
[逆变换部]
逆变换部114通过将作为来自逆量化部112的输入的变换系数逆变换，将预测误差复原。具体而言，逆变换部114通过对变换系数进行与变换部106的变换对应的逆变换，将当前块的预测误差复原。并且，将逆变换部114复原后的预测误差向加法部116输出。
另外，复原后的预测误差由于通过量化而丢失了信息，所以与减法部104计算出的预测误差不一致。即，在复原后的预测误差中包含有量化误差。
[加法部]
加法部116通过将作为来自逆变换部114的输入的预测误差与作为来自预测控制部128的输入的预测信号相加而重构当前块。并且，加法部116将重构的块向块存储器118及环路滤波器部120输出。有时也将重构块称作本地解码块。
[块存储器]
块存储器118是用来保存作为在帧内预测中参照的块的、编码对象图片(以下称作当前图片)内的块的存储部。具体而言，块存储器118保存从加法部116输出的重构块。
[环路滤波器部]
环路滤波器部120对由加法部116重构的块实施环路滤波，将滤波后的重构块向帧存储器122输出。所谓环路滤波器，是在编码循环内使用的滤波器(循环内滤波器)，例如包括解块滤波器(DF)、样本自适应偏移(SAO)及自适应环路滤波器(ALF)等。
在ALF中，采用用来将编码失真除去的最小二乘误差滤波器，例如采用按照当前块内的每个2×2子块，基于局部的梯度(gradient)的方向及活性度(activity)从多个滤波器中选择的1个滤波器。
具体而言，首先将子块(例如2×2子块)分类为多个类(class)(例如15或25类)。基于梯度的方向及活性度进行子块的分类。例如，使用梯度的方向值D(例如0～2或0～4)和梯度的活性值A(例如0～4)计算分类值C(例如C＝5D+A)。并且，基于分类值C将子块分类为多个类(例如15或25类)。
梯度的方向值D例如通过将多个方向(例如水平、垂直及2个对角方向)的梯度比较来导出。此外，梯度的活性值A例如通过将多个方向的梯度相加、将相加结果量化来导出。
基于这样的分类的结果，从多个滤波器中决定用于子块的滤波器。
作为在ALF中使用的滤波器的形状，例如采用圆对称形状。图4A～图4C是表示在ALF中使用的滤波器的形状的多个例子的图。图4A表示5×5钻石形滤波器，图4B表示7×7钻石形滤波器，图4C表示9×9钻石形滤波器。将表示滤波器的形状的信息以图片级别进行信号化。另外，表示滤波器的形状的信息的信号化不需要限定于图片级别，也可以是其他级别(例如，序列级别、切片级别、瓦片级别、CTU级别或CU级别)。
ALF的开启/关闭(ON/OFF)例如以图片级别或CU级别来决定。例如，关于亮度，以CU级别决定是否应用ALF，关于色差，以图片级别决定是否应用ALF。将表示ALF的开启/关闭的信息以图片级别或CU级别进行信号化。另外，表示ALF的开启/关闭的信息的信号化并不需要限定于图片级别或CU级别，也可以是其他级别(例如，序列级别、切片级别、瓦片级别或CTU级别)。
将可选择的多个滤波器(例如15或25以内的滤波器)的系数集以图片级别进行信号化。另外，系数集的信号化不需要限定于图片级别，也可以是其他级别(例如，序列级别、切片级别、瓦片级别、CTU级别、CU级别或子块级别)。
[帧存储器]
帧存储器122是用来保存在帧间预测中使用的参照图片的存储部，也有被称作帧缓存的情况。具体而言，帧存储器122将由环路滤波器部120滤波后的重构块保存。
[帧内预测部]
帧内预测部124通过参照保存在块存储器118中的当前图片内的块进行当前块的帧内预测(也称作画面帧内预测)，生成预测信号(帧内预测信号)。具体而言，帧内预测部124通过参照与当前块邻接的块的样本(例如亮度值、色差值)进行帧内预测而生成帧内预测信号，将帧内预测信号向预测控制部128输出。
例如，帧内预测部124使用预先规定的多个帧内预测模式中的1个进行帧内预测。多个帧内预测模式包括1个以上的非方向性预测模式和多个方向性预测模式。
1个以上的非方向性预测模式包括例如由H.265/HEVC(High－Efficiency VideoCoding)标准(非专利文献1)规定的Planar(平面)预测模式及DC预测模式。
多个方向性预测模式包括例如由H.265/HEVC标准规定的33个方向的预测模式。另外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个方向性预测模式)。图5是表示帧内预测中的67个帧内预测模式(2个非方向性预测模式及65个方向性预测模式)的图。实线箭头表示由H.265/HEVC标准规定的33个方向，虚线箭头表示追加的32个方向。
另外，在色差块的帧内预测中，也可以参照亮度块。即，也可以基于当前块的亮度成分来预测当前块的色差成分。有时将这样的帧内预测称作CCLM(cross－componentlinear model：跨分量线性模型)预测。也可以将这样的参照亮度块的色差块的帧内预测模式(例如被称作CCLM模式)作为色差块的帧内预测模式之一添加。
帧内预测部124也可以基于水平/垂直方向的参照像素的梯度将帧内预测后的像素值修正。有时将伴随着这样的修正的帧内预测称作PDPC(position dependent intraprediction combination：位置相关镇内预测组合)。将表示PDPC的应用的有无的信息(例如称作PDPC标志)例如以CU级别进行信号化。另外，该信息的信号化并不需要限定于CU级别，也可以是其他的级别(例如，序列级别、图片级别、切片级别、瓦片级别或CTU级别)。
[帧间预测部]
帧间预测部126通过参照保存在帧存储器122中的、而且是与当前图片不同的参照图片进行当前块的帧间预测(也称作画面帧间预测)，生成预测信号(帧间预测信号)。将帧间预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部126关于当前块或子块以参照图片内进行运动估计(motion estimation)。并且，帧间预测部126通过使用由运动估计得到的运动信息(例如运动矢量)进行运动补偿，生成当前块或子块的帧间预测信号。并且，帧间预测部126将所生成的帧间预测信号向预测控制部128输出。
运动补偿中使用的运动信息被信号化。在运动矢量的信号化中，也可以使用预测运动矢量(motion vector predictor)。即，也可以将运动矢量与预测运动矢量之间的差信号化。
另外，也可以不仅是通过运动估计得到的当前块的运动信息，也使用邻接块的运动信息来生成帧间预测信号。具体而言，也可以通过将基于由运动估计得到的运动信息的预测信号与基于邻接块的运动信息的预测信号加权相加，以当前块内的子块单位生成帧间预测信号。有时将这样的帧间预测(运动补偿)称作OBMC(overlapped block motioncompensation：重叠块运动补偿)。
在这样的OBMC模式中，将表示用于OBMC的子块的尺寸的信息(例如称作OBMC块尺寸)以序列级别进行信号化。此外，将表示是否应用OBMC模式的信息(例如称作OBMC标志)以CU级别进行信号化。另外，这些信息的信号化的级别并不需要限定于序列级别及CU级别，也可以是其他的级别(例如图片级别、切片级别、瓦片级别、CTU级别或子块级别)。
另外，也可以不将运动信息信号化而在解码装置侧将其导出。例如，也可以使用在H.265/HEVC标准中规定的合并(merge)模式。此外，例如也可以通过在解码装置侧进行运动估计来导出运动信息。在此情况下，不使用当前块的像素值而进行运动估计。
这里，对在解码装置侧进行运动估计的模式进行说明。有时将在该解码装置侧进行运动估计的模式称作PMMVD(pattern matched motion vector derivation：模式匹配运动矢量推导)模式或FRUC(frame rate up－conversion：帧速率向上转换)模式的情况。
首先，选择在合并列表中包含的候选的1个，作为图案匹配的搜索的开始位置。作为图案匹配，使用第1图案匹配或第2图案匹配。有时将第1图案匹配及第2图案匹配分别称作双向匹配(bilateral matching)及模板匹配(template matching)。
在第1图案匹配中，在作为不同的2个参照图片内的2个块的、沿着当前块的运动轨迹(motion trajectory)的2个块之间进行图案匹配。
图6是用来说明沿着运动轨迹的2个块间的图案匹配(双向匹配)的图。如图6所示，在第1图案匹配中，通过在作为沿着当前块(Cur block)的运动轨迹的2个块的、且是不同的2个参照图片(Ref0，Ref1)内的2个块的对(pair)之中搜索最匹配的对，导出2个运动矢量(MV0，MV1)。
在连续的运动轨迹的假定之下，指示2个参照块的运动矢量(MV0，MV1)相对于当前图片(Cur Pic)与2个参照图片(Ref0，Ref1)之间的时间上的距离(TD0，TD1)成比例。例如，在当前图片在时间上位于2个参照图片之间，并且从当前图片到2个参照图片的时间上的距离相等的情况下，在第1图案匹配中，导出镜像对称的双向的运动矢量。
在第2图案匹配中，在当前图片内的模板(在当前图片内与当前块邻接的块(例如上及/或左邻接块))与参照图片内的块之间进行图案匹配。
图7是用来说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的图。如图7所示，在第2图案匹配中，通过在参照图片(Ref0)内搜索与在当前图片(CurPic)内邻接于当前块(Cur block)的块最匹配的块，导出当前块的运动矢量。
将表示是否应用这样的FRUC模式的信息(例如称作FRUC标志)以CU级别进行信号化。此外，在应用FRUC模式的情况下(例如FRUC标志为真的情况下)，将表示图案匹配的方法(第1图案匹配或第2图案匹配)的信息(例如称作FRUC模式标志)以CU级别进行信号化。另外，这些信息的信号化并不需要限定于CU级别，也可以是其他的级别(例如，序列级别、图片级别、切片级别、瓦片级别、CTU级别或子块级别)。
另外，也可以用与运动估计不同的方法，在解码装置侧导出运动信息。例如，也可以基于假定了等速直线运动的模型，以像素单位，使用周边像素值来计算运动矢量的修正量。
这里，对基于假定了等速直线运动的模型导出运动矢量的模式进行说明。有将该模式称作BIO(bi－directional optical flow：双向光学流)模式的情况。
图8是用来说明假定了等速直线运动的模型的图。在图8中，(vx，vy)表示速度矢量，τ0、τ1分别表示当前图片(Cur Pic)与2个参照图片(Ref0，Ref1)之间的时间上的距离。(MVx0，MVy0)表示与参照图片Ref0对应的运动矢量，(MVx1，MVy1)表示与参照图片Ref1对应的运动矢量。
此时，在速度矢量(vx，vy)的等速直线运动的假定下，将(MVx0，MVy0)及(MVx1，MVy1)分别表示为(vxτ0，vyτ0)及(－vxτ1，－vyτ1)，以下的光流等式(1)成立。
[数式1]
Figure GDA0002944560210000181
这里，I(k)表示运动补偿后的参照图像k(k＝0、1)的亮度值。该光流等式表示：(i)亮度值的时间微分、(ii)水平方向的速度及参照图像的空间梯度的水平成分的乘积、以及(iii)垂直方向的速度及参照图像的空间梯度的垂直成分的乘积之和等于零。基于该光流等式与埃尔米特插值(Hermite interpolation)的组合，将从合并列表等得到的块单位的运动矢量以像素单位进行修正。
另外，也可以通过与基于假定了等速直线运动的模型的运动矢量的导出不同的方法，在解码装置侧导出运动矢量。例如，也可以基于多个邻接块的运动矢量以子块单位导出运动矢量。
这里，对基于多个邻接块的运动矢量以子块单位导出运动矢量的模式进行说明。有时将该模式称作仿射运动补偿预测(affine motion compensation prediction)模式。
图9是用来说明基于多个邻接块的运动矢量的子块单位的运动矢量的导出的图。在图9中，当前块包括16个4×4子块。这里，基于邻接块的运动矢量导出当前块的左上角控制点的运动矢量v0，基于邻接子块的运动矢量导出当前块的右上角控制点的运动矢量v1。并且，使用2个运动矢量v0及v1，通过以下的式(2)，导出当前块内的各子块的运动矢量(vx，vy)。
[数式2]
Figure GDA0002944560210000182
这里，x及y分别表示子块的水平位置及垂直位置，w表示预先设定的权重系数。
在这样的仿射运动补偿预测模式中，左上及右上角控制点的运动矢量的导出方法也可以包含不同的几个模式。将表示这样的仿射运动补偿预测模式的信息(例如称作仿射标志)以CU级别进行信号化。另外，表示该仿射运动补偿预测模式的信息的信号化并不需要限定于CU级别，也可以是其他的级别(例如，序列级别、图片级别、切片级别、瓦片级别、CTU级别或子块级别)。
[预测控制部]
预测控制部128选择帧内预测信号及帧间预测信号的某个，将所选择的信号作为预测信号向减法部104及加法部116输出。
[解码装置的概要]
接着，对能够将从上述编码装置100输出的编码信号(编码比特流)解码的解码装置的概要进行说明。图10是表示有关实施方式1的解码装置200的功能结构的框图。解码装置200是将运动图像/图像以块单位进行解码的运动图像/图像解码装置。
如图10所示，解码装置200具备熵解码部202、逆量化部204、逆变换部206、加法部208、块存储器210、环路滤波器部212、帧存储器214、帧内预测部216、帧间预测部218和预测控制部220。
解码装置200例如由通用处理器及存储器实现。在此情况下，当保存在存储器中的软件程序被处理器执行时，处理器作为熵解码部202、逆量化部204、逆变换部206、加法部208、环路滤波器部212、帧内预测部216、帧间预测部218及预测控制部220发挥功能。此外，解码装置200也可以由与熵解码部202、逆量化部204、逆变换部206、加法部208、环路滤波器部212、帧内预测部216、帧间预测部218及预测控制部220对应的专用的1个以上的电子电路实现。
以下，对解码装置200中包含的各构成要素进行说明。
[熵解码部]
熵解码部202将编码比特流进行熵解码。具体而言，熵解码部202例如将编码比特流算术解码为二值信号。接着，熵解码部202将二值信号多值化(debinarize)。由此，熵解码部202以块单位将量化系数向逆量化部204输出。
[逆量化部]
逆量化部204将作为来自熵解码部202的输入的解码对象块(以下称作当前块)的量化系数逆量化。具体而言，逆量化部204关于当前块的量化系数，分别基于与该量化系数对应的量化参数将该量化系数逆量化。并且，逆量化部204将当前块的逆量化的量化系数(即变换系数)向逆变换部206输出。
[逆变换部]
逆变换部206通过将作为来自逆量化部204的输入的变换系数进行逆变换，将预测误差复原。
例如在从编码比特流解读出的信息表示应用EMT或AMT的情况下(例如AMT标志是真)，逆变换部206基于表示被解读后的变换类型的信息将当前块的变换系数逆变换。
此外，例如在从编码比特流解读出的信息表示应用NSST的情况下，逆变换部206将变换后的变换系数(变换结果)进行再变换。
[加法部]
加法部208通过将作为来自逆变换部206的输入的预测误差与作为来自预测控制部220的输入的预测信号相加而重构当前块。并且，加法部208将重构后的块向块存储器210及环路滤波器部212输出。
[块存储器]
块存储器210是用来将作为在帧内预测中参照的块的、而且是解码对象图片(以下称作当前图片)内的块保存的存储部。具体而言，块存储器210将从加法部208输出的重构块保存。
[环路滤波器部]
环路滤波器部212对由加法部208重构后的块实施环路滤波，将滤波后的重构块向帧存储器214及显示装置等输出。
在从编码比特流解读出的表示ALF的开启/关闭的信息表示ALF的开启的情况下，基于局部性的梯度的方向及活性度从多个滤波器中选择1个滤波器，将所选择的滤波器对重构块应用。
[帧存储器]
帧存储器214是用来将在帧间预测中使用的参照图片保存的存储部，有时也称作帧缓存。具体而言，帧存储器214将由环路滤波器部212滤波后的重构块保存。
[帧内预测部]
帧内预测部216通过基于从编码比特流解读出的帧内预测模式，参照保存在块存储器210中的当前图片内的块进行帧内预测，生成预测信号(帧内预测信号)。具体而言，帧内预测部216通过参照与当前块邻接的块的样本(例如亮度值、色差值)进行帧内预测而生成帧内预测信号，将帧内预测信号向预测控制部220输出。
另外，在色差块的帧内预测中选择了参照亮度块的帧内预测模式的情况下，帧内预测部216也可以基于当前块的亮度成分来预测当前块的色差成分。
此外，在从编码比特流解读出的信息表示PDPC的应用的情况下，帧内预测部216基于水平/垂直方向的参照像素的梯度将帧内预测后的像素值修正。
[帧间预测部]
帧间预测部218参照保存在帧存储器214中的参照图片，预测当前块。将预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部126通过使用从编码比特流解读出的运动信息(例如运动矢量)进行运动补偿，生成当前块或子块的帧间预测信号，将帧间预测信号向预测控制部128输出。
另外，在从编码比特流解读出的信息表示应用OBMC模式的情况下，帧间预测部218不仅是由运动估计得到的当前块的运动信息，也使用邻接块的运动信息，生成帧间预测信号。
此外，在从编码比特流解读出的信息表示应用FRUC模式的情况下，帧间预测部218通过按照从编码流解读出的图案匹配的方法(双向匹配或模板匹配)进行运动估计，导出运动信息。并且，帧间预测部218使用被导出的运动信息进行运动补偿。
此外，帧间预测部218在应用BIO模式的情况下，基于假定了等速直线运动的模型导出运动矢量。此外，在从编码比特流解读出的信息表示应用仿射运动补偿预测模式的情况下，帧间预测部218基于多个邻接块的运动矢量以子块单位导出运动矢量。
[预测控制部]
预测控制部220选择帧内预测信号及帧间预测信号的某个，将所选择的信号作为预测信号向加法部208输出。
[编码装置中的熵编码部的详细情况]
图11是表示有关实施方式1的编码装置100中的熵编码部110的详细的功能结构的框图。熵编码部110通过对从量化部108输出的量化系数应用可变长编码，生成比特序列，将所生成的比特序列输出。该比特序列与编码后的图像信息对应，也被称作编码信号、编码比特流或编码比特序列。
在图11的例子中，熵编码部110具备二值化部132、切换部134、中间缓存136、算术编码部138、切换部140和复用部142。并且，熵编码部110通过生成比特序列并将所生成的比特序列输出，将所生成的比特序列向输出缓存144保存。将向输出缓存144保存后的比特序列适当从输出缓存144输出。熵编码部110也可以包括输出缓存144。
[熵编码部中的二值化部]
二值化部132将量化系数等二值化。具体而言，二值化部132将量化后的频率变换系数等变换为例如用0或1表现的值的数据序列，将得到的数据序列输出。以下，将该数据序列也称作二值化数据序列。此外，由二值化部132进行的二值化是用于算术编码的二值化，更具体而言，是用来进行二值算术编码的二值化。即，二值化部132按照用于算术编码的二值化，导出图像信息的二值化数据序列。
另外，作为二值化的方式，有一元二值化(unary binarization)、截断一元二值化(truncated unary binarization)、一元/k阶指数哥伦布结合二值化、固定长二值化及表参照等。
此外，例如通过二值化部132中的二值化及算术编码部138中的算术编码，进行上下文自适应二值算术编码方式的熵编码。将上下文自适应二值算术编码方式也称作CABAC。可以将由二值化部132进行的二值化也表现为用于上下文自适应二值算术编码方式的二值化。
[熵编码部中的切换部]
切换部134及140按照模式信息连动地动作，切换是否对二值化数据序列应用算术编码。例如，切换部134及140按照从编码装置100的外部给出的模式信息，切换是否对二值化数据序列应用算术编码。模式信息也可以从用户或上位系统等作为指示给出。
例如，该模式信息有选择地表示第1模式及第2模式。即，模式信息表示从第1模式及第2模式中选择的一方的模式。并且，例如在第1模式中，对于二值化数据序列应用算术编码，在第2模式中，对于二值化数据序列不应用算术编码。
具体而言，在模式信息表示第1模式的情况下，切换部134通过将从二值化部132输出的二值化数据序列向中间缓存136输出，将二值化数据序列保存到中间缓存136中。并且，算术编码部138对保存在中间缓存136中的二值化数据序列应用算术编码，将应用了算术编码后的二值化数据序列输出。切换部140将从算术编码部138输出的二值化数据序列向复用部142输出。
另一方面，在模式信息表示第2模式的情况下，切换部134将从二值化部132输出的二值化数据序列原样向切换部140输出。并且，切换部140将从切换部134输出的二值化数据序列向复用部142输出。即，将算术编码旁路(bypass)。另外，为了避免与作为算术编码的一形态的旁路算术编码的混淆，有把将算术编码旁路表现为将算术编码跳过的情况。
模式信息及模式也可以表现为延迟模式信息及延迟模式。具体而言，第1模式是通常模式，第2模式是低延迟模式。并且，在第2模式中，与第1模式相比削减了处理延迟。
[熵编码部中的中间缓存]
中间缓存136是用来将二值化数据序列保存的存储部，也被称作中间存储器。在由算术编码部138进行的算术编码中发生延迟。此外，延迟量根据二值化数据序列的内容而波动。由中间缓存136将延迟量的波动吸收，平滑地进行后续的处理。另外，将数据向中间缓存136等的存储部输入与向存储部保存数据对应，从存储部输出数据与从存储部读出数据对应。
[熵编码部中的算术编码部]
算术编码部138进行算术编码。具体而言，算术编码部138将保存在中间缓存136中的二值化数据序列读出，对二值化数据序列应用算术编码。算术编码部138也可以对二值化数据序列应用与上下文自适应二值算术编码方式对应的算术编码。
例如，算术编码部138按照数据类别等的上下文选择值的发生概率，按照所选择的发生概率进行算术编码，按照算术编码的结果将发生概率更新。即，算术编码部138按照可变的发生概率进行算术编码。将按照可变的发生概率进行的算术编码也称作上下文适应算术编码。
此外，算术编码部138也可以关于特定的数据类别等，按照固定的发生概率进行算术编码。具体而言，算术编码部138作为0或1的发生概率，也可以按照50％的发生概率进行算术编码。将按照固定的发生概率进行的算术编码也称作旁路算术编码。
[熵编码部中的复用部]
复用部142将模式信息与二值化数据序列复用，生成包含模式信息及二值化数据序列的比特序列。并且，复用部142通过将比特序列向输出缓存144输出，将比特序列向输出缓存144保存。将保存在输出缓存144中的比特序列适当从输出缓存144输出。即，复用部142经由输出缓存144将比特序列输出。
例如，模式信息也可以作为上位的参数而包含在比特序列中。具体而言，模式信息既可以包含在比特序列的SPS(序列参数集)中，也可以包含在比特序列的PPS(图片参数集)中，也可以包含在比特序列的切片头中。将比特序列中包含的模式信息用1个以上的比特表现。
并且，二值化数据序列也可以包含在切片数据中。这里，二值化数据序列既可以是被应用了算术编码的二值化数据序列，也可以是没有被应用算术编码的二值化数据序列。
此外，比特序列中包含的模式信息也可以表现为是否对比特序列中包含的二值化数据序列应用算术编码的应用信息。换言之，模式信息也可以作为表示是否对二值化数据序列应用了算术编码的应用信息而包含在比特序列中。该应用信息可以表示比特序列包含被应用了算术编码的二值化数据序列、或者比特序列包含没有被应用算术编码的二值化数据序列。
另外，在上位系统中交换了模式信息的情况下、或预先设定了模式信息的情况下等，也可以在比特序列中不包含模式信息。即，在此情况下，也可以不进行复用。
[输出缓存]
输出缓存144是用来保存比特序列的存储部，也被称作CPB(Coded PictureBuffer：编码图片缓存)或输出存储器。通过编码装置100将图像信息编码而得到的比特序列被保存在输出缓存144中。并且，将保存在输出缓存144中的比特序列适当输出，与例如编码音频信号等复用。
[解码装置中的熵解码部的详细情况]
图12是表示有关实施方式1的解码装置200中的熵解码部202的详细的功能结构的框图。熵解码部202通过对经由输入缓存232输入的比特序列进行熵解码，导出量化系数等。该比特序列例如是由编码装置100生成的比特序列，可以具有上述的数据结构。
在图12的例子中，熵解码部202具备分离部234、切换部236、算术解码部238、中间缓存240、切换部242和逆二值化部244。熵解码部202也可以包含输入缓存232。
[输入缓存]
输入缓存232是用来保存比特序列的存储部，也被称作CPB或输入存储器。将由解码装置200解码的比特序列例如从编码音频信号等分离，保存到输入缓存232中。并且，解码装置200将保存在输入缓存232中的比特序列读出，将比特序列解码。
[熵解码部中的分离部]
分离部234从输入缓存232取得比特序列，将模式信息和二值化数据序列从比特序列分离，将模式信息和二值化数据序列输出。即，分离部234经由输入缓存232取得包含模式信息和二值化数据序列的比特序列，将比特序列中包含的模式信息和二值化数据序列输出。二值化数据序列既可以是被应用了算术编码的二值化数据序列，也可以是没有被应用算术编码的二值化数据序列。
如上述那样，模式信息也可以表现为是否对比特序列中包含的二值化数据序列应用算术编码的应用信息。并且，在上位系统中交换了模式信息的情况下、或预先设定了模式信息的情况下等，也可以在比特序列中不包含模式信息。在此情况下，也可以不进行模式信息的分离及输出。此外，模式信息也可以从解码装置200的外部、具体而言从用户或上位系统等作为指示给出。
[熵解码部中的切换部]
切换部236及242按照从分离部234等得到的模式信息而连动动作，切换是否对二值化数据序列应用算术解码。例如，在模式信息有选择地表示的第1模式及第2模式中的第1模式中，对二值化数据序列应用算术解码，在第2模式中，不对二值化数据序列应用算术解码。
具体而言，在模式信息表示第1模式的情况下，切换部236将从分离部234输出的二值化数据序列向算术解码部238输出。并且，算术解码部238对二值化数据序列应用算术解码，通过将被应用了算术解码的二值化数据序列输出，将被应用了算术解码的二值化数据序列保存到中间缓存240中。切换部242适当取得保存在中间缓存240中的二值化数据序列，将从中间缓存240取得的二值化数据序列向逆二值化部244输出。
另一方面，在模式信息表示第2模式的情况下，切换部236将从分离部234输出的二值化数据序列原样向切换部242输出。并且，切换部242将从切换部236输出的二值化数据序列向逆二值化部244输出。即，将算术解码旁路。另外，为了避免与作为算术编码的一形态的旁路算术解码的混淆，有时把将算术解码旁路表现为将算术解码跳过。
[熵解码部中的算术解码部]
算术解码部238进行算术解码。具体而言，算术解码部238对被应用了算术编码的二值化数据序列应用算术解码，通过将被应用了算术解码的二值化数据序列输出，将被应用了算术解码的二值化数据序列保存到中间缓存240中。被应用了算术解码的二值化数据序列与没有被应用算术编码的原来的二值化数据序列对应。算术编码部138也可以对二值化数据序列应用与上下文自适应二值算术编码方式对应的算术解码。
例如，算术解码部238按照数据类别等的上下文选择值的发生概率，按照所选择的发生概率进行算术解码，按照算术解码的结果将发生概率更新。即，算术解码部238按照可变的发生概率进行算术解码。将按照可变的发生概率进行的算术解码也称作上下文适应算术解码。
此外，算术解码部238也可以对特定的数据类别等按照固定的发生概率进行算术解码。具体而言，算术解码部238也可以作为0或1的发生概率而按照50％的发生概率进行算术解码。将按照固定的发生概率进行的算术解码也称作旁路算术解码。
[熵解码部中的中间缓存]
中间缓存240是用来将算术解码后的二值化数据序列保存的存储部，也被称作中间存储器。在由算术解码部238进行的算术解码中，发生延迟。此外，延迟量根据二值化数据序列的内容而波动。由中间缓存240将延迟量的波动吸收，平滑地进行后续的处理。
[熵解码部中的逆二值化部]
逆二值化部244通过对二值化数据序列进行逆二值化，导出量化系数等。具体而言，逆二值化部244将例如用0或1表现的值的二值化数据序列变换为量化的频率变换系数等，将量化的频率变换系数等向逆量化部204输出。此外，由逆二值化部244进行的逆二值化是与用于算术编码的二值化对应的逆二值化，更具体地讲是与用来进行二值算术编码的二值化对应的逆二值化。
此外，例如通过由算术解码部238中的算术解码及逆二值化部244中的逆二值化进行上下文自适应二值算术编码方式的熵解码。即，逆二值化部244也可以进行遵循上下文自适应二值算术编码方式的逆二值化。此外，将逆二值化也称作多值化。
[编解码系统]
图13是表示包括有关实施方式1的编码装置100及解码装置200的编解码系统300的功能结构的框图。编解码系统300具备发送装置150及接收装置250，进行图像信息的编码、发送、接收及解码。发送装置150具备发送控制部152、编码装置100及输出缓存144，进行图像信息的编码及发送。接收装置250具备接收控制部252、输入缓存232及解码装置200，进行已编码的图像信息的接收及解码。
例如，在开始图像信息的传送、即图像信息的收发之前，在发送装置150与接收装置250之间进行关于编解码能力的信息的交换。编解码能力是指关于图像信息的编码及解码的能力。由此，决定包括上述第1模式或第2模式等的编码方式。
在图13的例子中，在开始图像信息的收发之前，发送控制部152与接收控制部252进行关于编码装置100及解码装置200的编解码能力的信息的交换。并且，发送控制部152和接收控制部252决定包括第1模式或第2模式等的编码方式。
例如，也可以按照在编码装置100及解码装置200的两者中支持的模式，将进行算术编码的第1模式或不进行算术编码的第2模式决定为在编码及解码中使用的模式。在支持第1模式及第2模式的两者的情况下，也可以按照预先设定的优先顺位，将第1模式或第2模式决定为在编码及解码中使用的模式。
例如，在第1模式中，发生处理延迟，但抑制了代码量的增加或画质的劣化。在第2模式中抑制了处理延迟，但发生代码量的增加或画质的劣化。因而，也可以在以抑制代码量的增加或画质的劣化为优先的环境中，将第1模式预先设定为将比第2模式优先的模式。此外，在以抑制处理延迟为优先的环境中，也可以将第2模式预先设定为比第1模式优先的模式。
发送控制部152将所决定的编码方式向编码装置100通知，接收控制部252将所决定的编码方式向解码装置200通知。编码装置100按照被通知的编码方式将图像信息编码，解码装置200以与被通知的编码方式对应的解码方法将图像信息解码。
例如，发送控制部152将表示从第1模式及第2模式中决定的模式的模式信息作为指示向编码装置100通知。接收控制部252将表示从第1模式及第2模式中决定的相同的模式的模式信息作为指示向解码装置200通知。
编码装置100按照被作为指示而通知的模式信息，将在切片数据中包含被应用了算术编码的二值化数据序列或没有被应用算术编码的二值化数据序列的比特序列输出。解码装置200按照作为指示被通知的模式信息，根据包含在比特序列的切片数据中且被应用了算术编码的二值化数据序列、或包含在比特序列的切片数据中且没有被应用算术编码的二值化数据序列导出图像信息。
另外，在编解码系统300中，在固定地使用包括第1模式或第2模式等的编码方式的情况下，也可以不进行编解码能力的交换。发送控制部152及接收控制部252也可以将包括第1模式或第2模式等的编码方式固定地向编码装置100及解码装置200通知。或者，也可以是编码装置100及解码装置200将包括第1模式或第2模式等的编码方式作为内部的参数固定地保持。
此外，在由编码标准规定的多个配置文件(profile)中的规定的配置文件中，也可以将在编码及解码中使用的模式总是固定为第1模式及第2模式中的一方的模式。
此外，也可以将模式信息作为上位的参数包含在比特序列的SPS、PPS或切片头等中。由此，解码装置200能够按照比特序列中包含的模式信息，切换是否对比特序列中包含的二值化数据序列应用算术解码。
此外，也可以使用表示由H.265规定的低延迟HRD模式的low_delay_hrd_flag等作为模式信息。或者，模式信息也可以是与low_delay_hrd_flag等不同的信息。在此情况下，由于分别地切换算术编码的应用和HRD模式，所以能够更灵活地使延迟量适合于上位层的应用等。
[编码装置的实现例]
图14是表示有关实施方式1的编码装置100的实现例的框图。编码装置100具备电路160及存储器162。例如，图1及图11所示的编码装置100的多个构成要素由图14所示的电路160及存储器162实现。
电路160是进行信息处理的电路，是能够对存储器162访问的电路。例如，电路160是将图像信息编码的专用或通用的电子电路。电路160也可以是CPU那样的处理器。此外，电路160也可以是多个电子电路的集合体。此外，例如电路160也可以起到除图1及图11所示的编码装置100的多个构成要素中的用来存储信息的构成要素以外的多个构成要素的作用。
存储器162是存储用于电路160将图像信息编码的信息的通用或专用的存储器。存储器162也可以是电子电路，也可以连接在电路160上。此外，存储器162也可以是多个电子电路的集合体。此外，存储器162既可以是磁盘或光盘等，也可以表现为存储设备或记录介质等。此外，存储器162既可以是非易失性存储器，也可以是易失性存储器。
例如，在存储器162中，既可以存储编码的图像信息，也可以存储与编码的图像信息对应的比特序列。此外，在存储器162中，也可以用于电路160将图像信息编码的程序。
此外，例如电路160也可以起到图1及图11所示的编码装置100的多个构成要素中的用来存储信息的构成要素的作用。具体而言，存储器162也可以起到图1所示的块存储器118及帧存储器122的作用，也可以起到图11所示的中间缓存136的作用。
另外，在编码装置100中，也可以不安装图1及图11等所示的多个构成要素的全部，也可以不进行上述多个处理的全部。图1及图11等所示的多个构成要素的一部分也可以包含在其他装置中，上述多个处理的一部分也可以由其他装置执行。
并且，在编码装置100中，也可以安装着图1及图11等所示的多个构成要素中的一部分，通过进行上述多个处理的一部分，来对通过算术编码发生的处理延迟的削减进行支援。
[编码装置的第1编码动作例]
图15是表示有关实施方式1的编码装置100的第1编码动作例的流程图。例如，通过由图14所示的编码装置100的电路160进行图15所示的动作，将图像信息编码。
如图15那样，首先，电路160根据图像信息，按照用于算术编码的二值化导出二值化数据序列(S101)。另外，图像信息是表示图像的信息。具体而言，图像信息也可以是表示通过进行上述的变换、量化及预测等而从图像得到的量化系数的信息。或者，图像信息也可以是表示不进行上述变换、量化及预测等而从图像得到的像素值的信息。
并且，电路160将包括没有被应用算术编码的二值化数据序列的比特序列输出(S102)。
具体而言，电路160将包含二值化数据序列、并且包含表示是否对二值化数据序列应用了算术编码的应用信息的比特序列输出。此时，电路160将包含没有被应用算术编码的二值化数据序列、并且包含表示没有对二值化数据序列应用算术编码的信息作为应用信息的比特序列输出。
由此，编码装置100能够将算术编码跳过。因而，编码装置100能够对通过算术编码发生的处理延迟的削减进行支援。此外，编码装置100能够有效地利用关于算术编码的二值化的资源。此外，编码装置100能够将算术编码的应用状态可以根据应用信息来识别的比特序列。
另外，关于编码装置100进行的动作，也可以并不限定于上述的变换、量化及预测等的其他动作。例如，编码装置100也可以不进行其他动作。关于编码装置100进行的动作，即使不限定其他动作，编码装置100也能够对通过算术编码发生的处理延迟的削减进行支援。
或者，例如，电路160也可以切换第1动作和第2动作。在第1动作中，电路160将包含被应用了算术编码的二值化数据序列、并且包含表示对二值化数据序列应用了算术编码的信息作为应用信息的比特序列输出。在第2动作中，电路160的输出包含没有被应用算术编码的二值化数据序列、并且表示对于二值化数据序列没有应用算术编码的信息作为应用信息的比特序列。
由此，编码装置100能够自适应地切换是否进行算术编码，能够将算术编码自适应地跳过。此外，电路160通过将第1动作和第2动作切换，能够以不同的时机进行第1动作及第2动作的两者。另外，由电路160进行的第1动作及第2动作分别可以表现为第1输出动作及第2输出动作。
此外，例如电路160也可以以包含1个以上的图片的单位总括性地切换第1动作和第2动作。由此，编码装置100能够抑制关于算术编码的应用状态的切换的处理量的增加。
此外，例如电路160既可以按照从编码装置100的外部给出的信息来切换第1动作和第2动作，也可以按照保持在编码装置100的内部中的信息来切换第1动作和第2动作。由此，电路160能够按照编码装置100的外部或内部的信息适当地切换第1动作和第2动作。
此外，例如电路160也可以将包括以包含1个以上的图片的单位而总括性地表示是否对输出二值化数据序列应用算术编码的应用信息的比特序列输出。换言之，应用信息也可以以包括1个以上的图片的单位而总括性地表示比特序列是否包括被应用了算术编码的二值化数据序列、比特序列是否包括没有被应用算术编码的二值化数据序列。由此，编码装置100能够抑制关于应用信息的代码量及处理量的增加。
[编码装置的第2编码动作例]
图16是表示有关实施方式1的编码装置100的第2编码动作例的流程图。例如，通过由图14所示的编码装置100的电路160进行图16所示的动作，将图像信息编码。
如图16那样，首先，电路160根据图像信息按照用于算术编码的二值化导出二值化数据序列(S111)。该动作与图15的导出处理(S101)相同。
并且，电路160切换第1动作和第2动作(S112)。在第1动作中，电路160输出包含被应用了算术编码的二值化数据序列的比特序列(S113)。在第2动作中，电路160输出包含没有被应用算术编码的二值化数据序列的比特序列(S114)。
由此，编码装置100能够自适应地切换是否进行算术编码，能够将算术编码自适应地跳过。因而，编码装置100能够对通过算术编码发生的处理延迟的削减进行支援。此外，编码装置100能够将有关算术编码的二值化的资源有效地利用。此外，电路160通过切换第1动作和第2动作，能够将第1动作及第2动作的两者以不同的时机进行。
另外，关于编码装置100进行的动作，也可以并不限定于上述变换、量化及预测等的其他动作。例如，编码装置100也可以不进行其他动作。关于编码装置100进行的动作，即使不限定其他动作，编码装置100也能够对通过算术编码发生的处理延迟的削减进行支援。
或者，例如电路160也可以输出包含二值化数据序列、并且包含表示是否对二值化数据序列应用了算术编码的应用信息的比特序列。
并且，在第1动作中，电路160也可以输出包含被应用了算术编码的二值化数据序列、并且包含表示对二值化数据序列应用了算术编码的信息作为应用信息的比特序列。并且，在第2动作中，电路160也可以输出包含没有被应用算术编码的二值化数据序列、并且包含表示没有对二值化数据序列应用算术编码的信息作为应用信息的比特序列。
由此，编码装置100能够输出可根据应用信息识别算术编码的应用状态的比特序列。
此外，例如电路160与第1编码动作例同样，既可以按照从编码装置100的外部给出的信息切换第1动作和第2动作，也可以按照保持在编码装置100的内部中的信息切换第1动作和第2动作。
此外，例如电路160与第1编码动作例同样，也可以以包含1个以上的图片的单位总括性地切换第1动作和第2动作。此外，例如电路160与第1编码动作例同样，也可以输出包含应用信息的比特序列，该应用信息以包含1个以上的图片的单位而总括性地表示是否对二值化数据序列应用了算术编码。
[解码装置的实现例]
图17是表示有关实施方式1的解码装置200的实现例的框图。解码装置200具备电路260及存储器262。例如，图10及图12所示的解码装置200的多个构成要素通过图17所示的电路260及存储器262实现。
电路260是进行信息处理的电路，是能够对存储器262访问的电路。例如，电路260是将图像信息解码的通用或专用的电子电路。电路260也可以是CPU那样的处理器。此外，电路260也可以是多个电子电路的集合体。此外，例如电路260也可以起到除了图10及图12所示的解码装置200的多个构成要素中的用来存储信息的构成要素以外的、多个构成要素的作用。
存储器262是存储用于电路260将图像信息解码的信息的通用或专用的存储器。存储器262也可以是电子电路，也可以连接在电路260上。此外，存储器262也可以是多个电子电路的集合体。此外，存储器262也可以是磁盘或光盘等，也可以表现为存储设备或记录介质等。此外，存储器262既可以是非易失性存储器，也可以是易失性存储器。
例如，在存储器262中，既可以存储与编码的图像信息对应的比特序列，也可以存储与解码的比特序列对应的图像信息。此外，在存储器262中，也可以存储电路260用于将图像信息解码的程序。
此外，例如电路260也可以起到图10及图12所示的解码装置200的多个构成要素中的用于存储信息的构成要素的作用。具体而言，存储器262也可以起到图10所示的块存储器210及帧存储器214的作用，也可以起到图12所示的中间缓存240的作用。
另外，在解码装置200中，也可以不安装图10及图12等所示的多个构成要素的全部，也可以不进行上述多个处理的全部。图10及图12等所示的多个构成要素的一部分也可以包含在其他装置中，上述多个处理的一部分也可以由其他装置执行。
并且，也可以在解码装置200中安装图10及图12等所示的多个构成要素中的一部分，通过进行上述多个处理的一部分，来对通过算术解码发生的处理延迟的削减进行支援。
[解码装置的第1解码动作例]
图18是表示有关实施方式1的解码装置200的第1解码动作例的流程图。例如，通过由图17所示的解码装置200的电路260进行图18所示的动作，将图像信息解码。
如图18那样，首先，电路260取得包含根据图像信息按照用于算术编码的二值化导出的二值化数据序列的比特序列(S201)。具体而言，电路260取得包含根据图像信息按照用于算术编码的二值化导出的二值化数据序列、并且包含表示是否对二值化数据序列应用了算术编码的应用信息的比特序列。
并且，电路260根据没有被算术编码的二值化数据序列导出图像信息(S202)。具体而言，电路260根据在比特序列中作为应用信息而包含表示没有对二值化数据序列应用算术编码的信息的二值化数据序列、而且是没有被应用算术编码的二值化数据序列，导出图像信息。
由此，解码装置200可以将算术解码跳过。因而，解码装置200能够对通过算术解码发生的处理延迟的削减进行支援。此外，解码装置200能够将关于算术解码的逆二值化的资源有效地利用。此外，解码装置200能够取得可根据应用信息识别算术编码的应用状态的比特序列，导出图像信息。
另外，关于解码装置200进行的动作，也可以并不限定上述变换、量化及预测等的其他动作。例如，解码装置200也可以不进行其他动作。关于解码装置200进行动作，即使不限定其他动作，解码装置200也能够对通过算术解码发生的处理延迟的削减进行支援。
或者，例如电路260也可以切换第1动作和第2动作。在第1动作中，电路260根据在作为应用信息而包含表示对于二值化数据序列应用了算术编码的信息的比特序列中包含的、被应用了算术编码的二值化数据序列，导出图像信息。在第2动作中，电路260根据在作为应用信息而包含表示对于与二值化数据序列没有应用算术编码的信息作为应用信息的比特序列中包含的、没有被应用了算术编码的二值化数据序列，导出图像信息。
由此，解码装置200能够自适应地切换是否进行算术解码，能够将算术解码自适应地跳过。此外，解码装置200能够按照应用信息来切换第1动作和第2动作。此外，电路260通过切换第1动作和第2动作，能够将第1动作及第2动作的两者以不同的时机进行。另外，由电路260进行的第1动作及第2动作也能够分别表现为第1导出动作及第2导出动作。
此外，例如电路260既可以按照从解码装置200的外部给出的信息来切换第1动作和第2动作，也可以按照保持在解码装置200的内部中的信息来切换第1动作和第2动作。由此，电路260也可以按照解码装置200的外部或内部的信息而适当地切换第1动作和第2动作。
此外，例如电路260也可以以包括1个以上的图片的单位总括性地切换第1动作和第2动作。由此，解码装置200能够抑制关于算术编码的应用状态的切换的处理量的增加。
此外，例如电路260也可以取得以包括1个以上的图片的单位总括性地表示对于二值化数据序列是否应用了算术编码的应用信息的比特序列。换言之，应用信息以包括1个以上的图片的单位总括性地表示比特序列包含被应用了算术编码的二值化数据序列、或者比特序列包含没有被应用算术编码的二值化数据序列。由此，解码装置200能够抑制关于应用信息的代码量及处理量的增加。
[解码装置的第2解码动作例]
图19是表示有关实施方式1的解码装置200的第2解码动作例的流程图。例如，通过由图17所示的解码装置200的电路260进行图19所示的动作，将图像信息解码。
如图19那样，首先，电路260取得包含根据图像信息按照用于算术编码的二值化导出的二值化数据序列的比特序列(S211)。
接着，电路260切换第1动作和第2动作(S212)。在第1动作中，电路260根据包含在比特序列中、被应用了算术编码的二值化数据序列，导出图像信息(S213)。在第2动作中，电路260根据包含在比特序列中、没有被应用算术编码的二值化数据序列，导出图像信息(S214)。
由此，解码装置200能够自适应地切换是否进行算术解码，能够自适应地将算术解码跳过。因而，解码装置200能够对通过算术解码发生的处理延迟的削减进行支援。此外，解码装置200能够有效地利用关于算术解码的逆二值化的资源。此外，电路260通过切换第1动作和第2动作，能够将第1动作及第2动作的两者以不同的时机进行。
另外，关于解码装置200进行的动作，也可以并不限定上述变换、量化及预测等的其他动作。例如，解码装置200也可以不进行其他动作。关于解码装置200进行动作，即使不限定其他动作，解码装置200也能够对通过算术解码发生的处理延迟的削减进行支援。
或者，例如电路260也可以取得包含二值化数据序列、并且包含表示对于二值化数据序列是否应用了算术编码的应用信息的比特序列。
并且，在第1动作中，电路260也可以根据在包含表示对二值化数据序列应用了算术编码的信息作为应用信息的比特序列中包含的、被应用了算术编码的二值化数据序列，来导出图像信息。并且，在第2动作中，电路260也可以根据在包含表示对二值化数据序列没有应用算术编码的信息作为应用信息的比特序列中包含的、没有被应用算术编码的二值化数据序列，来导出图像信息。
由此，解码装置200能够取得可根据应用信息识别算术编码的应用状态的比特序列，来导出图像信息。此外，解码装置200可以按照应用信息来切换第1动作和第2动作。
此外，例如电路260与第1解码动作例同样，既可以按照从解码装置200的外部给出的信息来切换第1动作和第2动作，也可以按照保持在解码装置200的内部中的信息来切换第1动作和第2动作。
此外，例如电路260与第1解码动作例同样，也可以以包括1个以上的图片的单位总括性地切换第1动作和第2动作。此外，例如电路260与第1解码动作例同样，也可以取得包含以包括1个以上的图片的单位总括性地表示是否对二值化数据序列应用了算术编码的应用信息的比特序列。
[补充]
本实施方式的编码装置100及解码装置200特别对要求在短时间中进行编码及解码的实时通信系统等是有用的。具体而言，编码装置100及解码装置200对于电视会议系统或电子镜等是有用的。例如，在这些系统环境中，使用不进行算术编码及算术解码的第2模式。
此外，基本上以包括1个以上的图片的单位总括性地进行算术编码的应用有无的切换。但是，也可以以更细小的单位进行算术编码的应用有无的切换。例如，在特定的数据类别中，也可以将算术编码及算术解码跳过。更具体地讲，也可以代替旁路算术编码及旁路算术解码而进行算术编码及算术解码的跳过。
此外，例如也可以进行上下文算术编码、旁路算术编码、算术编码的跳过的切换。同样，也可以进行上下文算术解码、旁路算术解码和算术解码的跳过的切换。
此外，表示是否对二值化数据序列应用了算术编码的应用信息，既可以用1比特的标志表现，也可以用其他形式表现。例如，通过将表示对二值化数据序列应用了算术编码的信息追加到比特序列中，比特序列可以包含追加的信息作为应用信息。或者，通过将表示对二值化数据序列没有应用算术编码的信息追加到比特序列中，比特序列可以包含追加的信息作为应用信息。
此外，应用信息也可以作为与其他信息共用的信息而包含在比特序列中。例如，在表示图片的类别的信息包含在比特序列中，并且根据图片的类别来切换算术编码的应用有无的情况下，也可以表示图片的类别的信息是应用信息。
此外，可以将本实施方式的编码装置100及解码装置200分别作为图像编码装置及图像解码装置利用。或者，可以将编码装置100及解码装置200分别作为熵编码装置及熵解码装置利用。即，编码装置100及解码装置200也可以分别仅与熵编码部110及熵解码部202对应。
此外，在本实施方式中，各构成要素也可以由专用的硬件构成，或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
具体而言，编码装置100及解码装置200分别也可以具备处理电路(ProcessingCircuitry)、和电连接在该处理电路上的、能够从该处理电路访问的存储装置(Storage)。例如，处理电路与电路160或260对应，存储装置与存储器162或262对应。
处理电路包括专用的硬件及程序执行部的至少一方，使用存储装置执行处理。此外，存储装置在处理电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。
这里，实现本实施方式的编码装置100或解码装置200等的软件是以下这样的程序。
即，该程序使计算机执行编码方法，所述编码方法是将图像信息编码的编码方法，根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列；输出包含上述二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的比特序列；在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列、并且表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列。
或者，该程序使计算机执行编码方法，所述编码方法是将图像信息编码的编码方法，根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列；输出包含上述二值化数据序列的比特序列；切换：(i)第1动作，在上述比特序列的输出中，输出包含被应用了上述算术编码的上述二值化数据序列的上述比特序列；(ii)第2动作，在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列的上述比特序列。
或者，该程序使计算机执行解码方法，所述解码方法是将图像信息解码的解码方法，取得包含根据上述图像信息按照用于算术编码的二值化导出的二值化数据序列、并且包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息的比特序列；根据包含表示对于上述二值化数据序列没有应用上述算术编码的信息作为上述应用信息的上述比特序列中包含的上述二值化数据序列、而且是没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息。
或者，该程序使计算机执行解码方法，所述解码方法是将图像信息解码的解码方法，取得包含根据上述图像信息按照用于算术编码的二值化导出的二值化数据序列的比特序列；根据上述二值化数据序列导出上述图像信息；切换：(i)第1动作，在上述图像信息的导出中，根据包含在上述比特序列中的上述二值化数据序列、而且是被应用了上述算术编码的上述二值化数据序列，导出上述图像信息；(ii)第2动作，在上述图像信息的导出中，根据包含在上述比特序列中的上述二值化数据序列、而且是没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息。
此外，各构成要素也可以如上述那样是电路。这些电路既可以作为整体构成1个电路，也可以是分别不同的电路。此外，各构成要素既可以由通用的处理器实现，也可以由专用的处理器实现。
此外，也可以将特定的构成要素执行的处理由其他的构成要素执行。此外，也可以将执行处理的顺序变更，也可以将多个处理并行地执行。此外，编码解码装置也可以具备编码装置100及解码装置200。
在说明中使用的第1及第2等的序数也可以适当替换。此外，也可以对构成要素等新赋予序数，也可以去除。
以上，基于实施方式对有关一个或多个技术方案的编码装置100及解码装置200进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在一个或多个技术方案的范围内。
(实施方式2)
在以上的各实施方式中，功能块分别通常可以通过MPU及存储器等实现。此外，功能块的各自的处理通常通过处理器等的程序执行部将记录在ROM等的记录介质中的软件(程序)读出并执行来实现。该软件既可以通过下载等来分发，也可以记录到半导体存储器等的记录介质中来分发。另外，当然也能够将各功能块用硬件(专用电路)实现。
此外，在各实施方式中说明的处理既可以通过使用单一的装置(系统)集中处理来实现，或者也可以通过使用多个装置进行分散处理来实现。此外，执行上述程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，也可以进行分散处理。
本发明并不限定于以上的实施例，能够进行各种各样的变更，它们也包含在本发明的范围内。
进而，这里说明在上述各实施方式中表示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有使用图像编码方法的图像编码装置、使用图像解码方法的图像解码装置、以及具备两者的图像编码解码装置。关于系统中的其他结构，根据情况能够适当地变更。
[使用例]
图20是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置作为固定无线局的基站ex106、ex107、ex108、ex109、ex110。
在该内容供给系统ex100中，在因特网ex101上经由因特网服务提供商ex102或通信网ex104、以及基站ex106～ex110，连接着计算机ex111、游戏机ex112、照相机ex113、家电ex114及智能电话ex115等的各设备。该内容供给系统ex100也可以将上述的某些要素组合而连接。也可以不经由作为固定无线站的基站ex106～ex110，各设备直接连接在电话线、有线电视或光通信等的通信网ex104上。此外，各设备也可以经由电话网或近距离无线等直接或间接地相互连接。此外，流媒体服务器ex103经由因特网ex101等与计算机ex111、游戏机ex112、照相机ex113、家电ex114及智能电话ex115等的各设备连接。此外，流媒体服务器ex103经由卫星ex116与飞机ex117内的热点内的终端等连接。
另外，也可以代替基站ex106～ex110而使用无线接入点或热点等。此外，流媒体服务器ex103既可以不经由因特网ex101或因特网服务提供商ex102直接与通信网ex104连接，也可以不经由卫星ex116而直接与飞机ex117连接。
照相机ex113是能够进行数字照相机等的静止图像摄影及运动图像摄影的设备。此外，智能电话ex115是与通常被称作2G、3G、3.9G、4G、及今后被称作5G的移动通信系统的方式对应的智能电话机、便携电话机或PHS(Personal Handyphone System)等。
家电ex118是电冰箱或在家庭用燃料电池同时发热发电(cogeneration)系统中包含的设备等。
在内容供给系统ex100中，通过将具有摄影功能的终端经由基站ex106等连接到流媒体服务器ex103上，能够进行现场分发等。在现场分发中，终端(计算机ex111、游戏机ex112、照相机ex113、家电ex114、智能电话ex115及飞机ex117内的终端等)对于用户使用该终端摄影的静止图像或运动图像内容进行在上述各实施方式中说明的编码处理，将通过编码得到的影像数据和将与影像对应的声音编码的声音数据复用，将得到的数据向流媒体服务器ex103发送。即，各终端作为有关本发明的一技术方案的图像编码装置发挥功能。
另一方面，流媒体服务器ex103将对于有请求的客户端发送的内容数据进行流分发。客户端是能够将被上述编码处理的数据进行解码的计算机ex111、游戏机ex112、照相机ex113、家电ex114、智能电话ex115或飞机ex117内的终端等。接收到被分发的数据的各设备将接收到的数据解码处理并再现。即，各设备作为有关本发明的一技术方案的图像解码装置发挥功能。
[分散处理]
此外，流媒体服务器ex103也可以是多个服务器或多个计算机、是将数据分散处理或记录而分发的结构。例如，流媒体服务器ex103也可以由CDN(Contents DeliveryNetwork)实现，通过将分散在世界中的许多边缘服务器与边缘服务器间相连的网络实现内容分发。在CDN中，根据客户端而动态地分配在物理上较近的边缘服务器。并且，通过将内容向该边缘服务器高速缓存及分发，能够减少延迟。此外，在发生了某种错误的情况下或因通信量的增加等而通信状态变化的情况下，能够用多个边缘服务器将处理分散、或将分发主体切换为其他的边缘服务器、或绕过发生了故障的网络的部分而继续分发，所以能够实现高速且稳定的分发。
此外，并不停留在分发自身的分散处理，摄影的数据的编码处理既可以由各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，通常在编码处理中进行2次处理循环。在第1次的循环中检测帧或场景单位下的图像的复杂度或代码量。此外，在第2次的循环中进行维持画质而使编码效率改善的处理。例如，通过终端进行第1次的编码处理、接受到内容的服务器侧进行第2次的编码处理，能够在减少各终端中的处理负荷的同时使内容的质和效率改善。在此情况下，如果有大致实时地接收并解码的要求，则也可以将终端进行的第一次的已编码数据由其他终端接收并再现，所以也能够进行更灵活的实时分发。
作为其他的例子，照相机ex113等从图像进行特征量提取，将关于特征量的数据作为元数据压缩并向服务器发送。服务器例如根据特征量判断对象的重要性而切换量化精度等，进行与图像的意义对应的压缩。特征量数据对于服务器中的再次压缩时的运动矢量预测的精度及效率改善特别有效。此外，也可以由终端进行VLC(可变长编码)等的简单的编码，由服务器进行CABAC(上下文自适应二值算术编码方式)等处理负荷较大的编码。
作为其他的例子，在体育场、购物中心或工厂等中，有存在由多个终端将大致相同的场景摄影的多个影像数据的情况。在此情况下，使用进行了摄影的多个终端、以及根据需要而使用没有进行摄影的其他终端及服务器，例如以GOP(Group of Picture)单位、图片单位或将图片分割的瓦片单位等分别分配编码处理而进行分散处理。由此，能够减少延迟而更好地实现实时性。
此外，由于多个影像数据是大致相同场景，所以也可以由服务器进行管理及/或指示，以将由各终端摄影的影像数据相互参照。或者，也可以是服务器将来自各终端的已编码数据接收而在多个数据间变更参照关系，或将图片自身修正或替换而重新编码。由此，能够生成提高了一个一个数据的质和效率的流。
此外，服务器也可以进行将影像数据的编码方式变更的转码后将影像数据分发。例如，服务器也可以将MPEG系的编码方式变换为VP类，也可以将H.264变换为H.265。
这样，编码处理能够由终端或1个以上的服务器进行。由此，以下作为进行处理的主体而使用“服务器”或“终端”等的记载，但也可以将由服务器进行的处理的一部分或全部用终端进行，也可以将由终端进行的处理的一部分或全部用服务器进行。此外，关于这些，对于解码处理也是同样的。
[3D，多角度]
近年来，将由相互大致同步的多个照相机ex113及/或智能电话ex115等的终端摄影的不同场景、或将相同场景以不同的角度摄影的图像或影像合并而利用的情况正在增加。将由各终端摄影的影像基于另外取得的终端间的相对的位置关系、或影像中包含的特征点一致的区域等来合并。
服务器不仅是将二维的运动图像进行编码，也可以基于运动图像的场景解析等自动地或在用户指定的时刻而将静止图像编码并向接收终端发送。服务器还在能够取得摄影终端间的相对的位置关系的情况下，不仅是二维的运动图像，还能够基于从虽然是相同场景但从不同的角度摄影的影像，生成该场景的三维形状。另外，服务器也可以将由点云(point cloud)等生成的三维的数据另外编码，也可以基于使用三维数据将人物或对象识别或跟踪的结果，从由多个终端摄影的影像中选择或重构而生成向接收终端发送的影像。
这样，用户既能够任意地选择与各摄影终端对应的各影像而欣赏场景，也能够欣赏从使用多个图像或影像重构的三维数据切取了任意视点的影像的内容。进而，与影像同样，也可以将声音也从多个不同的角度收音，服务器匹配于影像而将来自特定的角度或空间的声音与影像复用并发送。
此外，近年来，Virtual Reality(VR：虚拟现实)及Augmented Reality(AR：增强现实)等将现实世界与虚拟世界建立对应的内容也正在普及。在VR的图像的情况下，服务器分别制作右眼用及左眼用的视点图像，既可以通过Multi－View Coding(MVC：多视点编码)等进行在各视点影像间容许参照的编码，也可以相互不参照而作为不同的流编码。在不同的流的解码时，可以根据用户的视点相互同步地再现，以再现虚拟的三维空间。
在AR的图像的情况下，也可以是，服务器在现实空间的照相机信息中，基于三维的位置或用户的视点的运动而叠加虚拟空间上的虚拟物体信息。解码装置取得或保持虚拟物体信息及三维数据，根据用户的视点的运动而生成二维图像，通过平滑地相连来制作叠加数据。或者，解码装置也可以除了虚拟物体信息的委托以外还将用户的视点的运动发送给服务器，服务器根据保持在服务器中的三维数据，匹配于接收到的视点的运动而制作叠加数据，将叠加数据编码并向解码装置分发。另外，叠加数据在RGB以外还具有呈现透过度的α值，服务器将根据三维数据制作出的对象以外的部分的α值设定为0等，在该部分透过的状态下进行编码。或者，服务器也可以如色度键那样将规定的值的RGB值设定为背景，生成对象以外的部分为背景色的数据。
同样，分发的数据的解码处理既可以由作为客户端的各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，也可以是某个终端先向服务器发收发请求，由其他终端接收与该请求对应的内容并进行解码处理，将已解码的信号向具有显示器的装置发送。通过不论可通信的终端自身的性能如何都将处理分散而选择适当的内容，能够再现画质较好的数据。此外，作为其他的例子，也可以由TV等接收较大的尺寸的图像数据，并且由欣赏者的个人终端将图片被分割后的瓦片等一部分区域解码并显示。由此，能够在使整体像共有化的同时，在手边确认自己的负责领域或想要更详细地确认的区域。
此外，在今后不论室内外都能够使用近距离、中距离或长距离的多个无线通信的状况下，预想利用MPEG－DASH等的分发系统标准，一边对连接中的通信切换适当的数据一边无缝地接收内容。由此，用户不仅是自身的终端，还能够一边自由地选择设置在室内外的显示器等的解码装置或显示装置一边实时地切换。此外，能够基于自身的位置信息等，一边切换解码的终端及显示的终端一边进行解码。由此，也能够在向目的地的移动中一边使地图信息显示在埋入有可显示的设备的旁边的建筑物的壁面或地面的一部分上一边移动。此外，还能够基于能够将编码数据从接收终端以短时间高速缓存到能够访问的服务器中、或复制到内容分发服务的边缘服务器中等的向网络上的编码数据的访问容易性，来切换接收数据的比特率。
[分级编码]
关于内容的切换，使用图21所示的、使用应用在上述各实施方式中表示的运动图像编码方法压缩编码的分级(scalable)的流进行说明。服务器作为单独的流也可以具有内容相同而品质不同的多个流，但也可以是如图示那样利用通过分层进行编码而实现的时间/空间上的分级的流的特征来切换内容的结构。即，通过解码侧根据性能这样的内在因素和通信频带的状态等的外在因素来决定解码到哪个层，解码侧能够自由地切换解码低分辨率的内容和高分辨率的内容。例如在想要将在移动中用智能电话ex115视听的影像接着在回家后用因特网TV等的设备视听的情况下，该设备只要将相同的流解码到不同的层就可以，所以能够减轻服务器侧的负担。
进而，在如上述那样按照每个层将图片编码、实现在基础层的上位存在扩展层的分级性的结构以外，也可以是扩展层包含基于图像的统计信息等的元信息，解码侧通过基于元信息将基础层的图片进行超析像来生成高画质化的内容。所谓超析像，是相同分辨率下的SN比的改善及分辨率的扩大的哪种都可以。元信息包括用来确定在超析像处理中使用的线性或非线性的滤波系数的信息、或确定在超析像处理中使用的滤波处理、机器学习或最小2乘运算中的参数值的信息等。
或者，也可以是根据图像内的对象等的意义将图片分割为瓦片等，解码侧通过选择进行解码的瓦片而仅将一部分的区域解码的结构。此外，通过将对象的属性(人物、车、球等)和影像内的位置(同一图像中的坐标位置等)作为元信息保存，解码侧能够基于元信息确定希望的对象的位置，决定包括该对象的瓦片。例如，如图22所示，将元信息使用与HEVC中的SEI消息等像素数据不同的数据保存构造保存。该元信息例如表示主对象的位置、尺寸或色彩等。
此外，也可以将流、序列或随机访问单位等以由多个图片构成的单位保存元信息。由此，解码侧能够取得特定人物在影像内出现的时刻等，通过与图片单位的信息匹配，能够确定对象存在的图片、以及图片内的对象的位置。
[Web页的优化]
图23是表示计算机ex111等中的web页的显示画面例的图。图24是表示智能电话ex115等中的web页的显示画面例的图。如图23及图24所示，有web页包含多个作为向图像内容的链接的链接图像的情况，根据阅览的设备而其可见方式不同。在画面上能看到多个链接图像的情况下，在用户明示地选择链接图像之前、或链接图像接近于画面的中央附近或链接图像的整体进入到画面内之前，显示装置(解码装置)作为链接图像而显示各内容具有的静止图像或I图片，或用多个静止图像或I图片等显示gif动画那样的影像，或仅接收基础层而将影像解码及显示。
在由用户选择了链接图像的情况下，显示装置将基础层最优先地解码。另外，如果在构成web页的HTML中有表示是分级的内容的信息，则显示装置也可以解码到扩展层。此外，在为了确保实时性而在选择之前或通信频带非常紧张的情况下，显示装置可以通过仅将前方参照的图片(I图片、P图片、仅进行前方参照的B图片)解码及显示，由此来减少开头图片的解码时刻与显示时刻之间的延迟(从内容的解码开始到显示开始的延迟)。此外，显示装置也可以将图片的参照关系强行地忽视而将全部的B图片及P图片设为前方参照而较粗地解码，随着时间经过而接收到的图片增加，进行正常的解码。
[自动行驶]
此外，在为了车的自动行驶或行驶支援而收发二维或三维的地图信息等的静止图像或影像数据的情况下，接收终端也可以除了属于1个以上的层的图像数据以外，还作为元信息而接收天气或施工的信息等，将它们建立对应而解码。另外，元信息既可以属于层，也可以只与图像数据复用。
在此情况下，由于包含接收终端的车、无人机或飞机等在移动，所以接收终端通过将该接收终端的位置信息在接收请求时加以发送，能够一边切换基站ex106～ex110一边进行无缝的接收及解码。此外，接收终端根据用户的选择、用户的状况或通信频带的状态，能够动态地切换将元信息以何种程度接收、或将地图信息以何种程度更新。
如以上这样，在内容供给系统ex100中，客户端能够将用户发送的已编码的信息实时地接收并解码、再现。
[个人内容的分发]
此外，在内容供给系统ex100中，不仅是由影像分发业者提供的高画质、长时间的内容，还能够进行由个人提供的低画质、短时间的内容的单播或多播分发。此外，可以想到这样的个人的内容今后也会增加。为了使个人内容成为更好的内容，服务器也可以在进行编辑处理后进行编码处理。这例如可以通过以下这样的结构实现。
在摄影时实时或储存而摄影后，服务器根据原图像或已编码数据，进行摄影错误、场景搜索、意义的解析及对象检测等的识别处理。并且，服务器基于识别结果，进行手动或自动地将焦点偏差或手抖动等修正、或在明亮度比其他图片低或焦点没有对上的场景等的重要性较低的场景删除、或将对象的边缘强调、或使色调变化等的编辑。服务器基于编辑结果，将编辑后的数据编码。此外，已知如果摄影时刻过长则视听率会下降，服务器也可以根据摄影时间，不仅是如上述那样重要性较低的场景，还将运动较少的场景等基于图像处理结果自动地裁剪，以成为特定的时间范围内的内容。或者，服务器也可以基于场景的意义解析的结果而生成摘要并编码。
另外，也有在个人内容中原样被写入构成著作权、著作者人格权或肖像权等的侵害的内容的情形，也有共享的范围超过了想要的范围等对于个人而言不便的情况。由此，例如服务器也可以将画面的周边部的人的脸、或家中等强行地变更为不对焦的图像而进行编码。此外，服务器也可以识别在编码对象图像内是否拍摄到与预先登录的人物不同的人物的脸，在拍摄到的情况下，进行对脸的部分施加马赛克等的处理。或者，作为编码的前处理或后处理，也可以从著作权等的观点而用户指定想要将图像加工的人物或背景区域，服务器进行将所指定的区域替换为别的影像、或将焦点模糊化等的处理。如果是人物，则能够在运动图像中跟踪人物的同时，将脸的部分的影像替换。
此外，由于数据量较小的个人内容的视听其实时性的要求较强，所以虽然也取决于带宽，但解码装置首先将基础层最优先地接收并进行解码及再现。解码装置也可以在此期间中将扩展层接收，在再现被循环的情况等2次以上被再现的情况下，也包括扩展层而将高画质的影像再现。这样，如果是进行了分级的编码的流，则能够提供虽然在未选择时或刚开始看的阶段是较粗糙的运动图像但流逐渐变得流畅而图像变好那样的体验。在分级编码以外，如果将在第1次被再现的较粗糙的流、和参照第1次的运动图像被编码的第2次的流构成为1个流，也能够提供同样的体验。
[其他的使用例]
此外，这些编码或解码处理通常在各终端具有的LSIex500中处理。LSIex500既可以是单芯片也可以是由多芯片构成的结构。另外，也可以将图像编码或解码用的软件装入到能够由计算机ex111等读取的某种记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而，在智能电话ex115带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是用智能电话ex115具有的LSIex500编码处理后的数据。
另外，LSIex500也可以是将应用软件下载并将其激活的结构。在此情况下，终端首先判定该终端是否与内容的编码方式对应、或是否具有特定服务的执行能力。在终端不与内容的编码方式对应的情况下、或不具有特定服务的执行能力的情况下，终端将编解码器或应用软件下载，然后进行内容取得及再现。
此外，并不限于经由因特网ex101的内容供给系统ex100，也能够在数字广播用系统中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码化装置(图像解码装置)的某种。由于利用卫星等使广播用的电波承载将影像与声音复用的复用数据而收发，所以相对于内容供给系统ex100的容易单播的结构，有适合多播的差异，但关于编码处理及解码处理能够进行同样的应用。
[硬件结构]
图25是表示智能电话ex115的图。此外，图26是表示智能电话ex115的结构例的图。智能电话ex115具有用来在与基站ex110之间收发电波的天线ex450、能够拍摄影像及静止图像的照相机部ex465、显示由照相机部ex465摄影的影像、以及由天线ex450接收到的影像等被解码后的数据的液晶显示器等的显示部ex458。智能电话ex115还具备作为操作面板等的操作部ex466、用来输出声音或音响的作为扬声器等的声音输出部ex457、用来输入声音的作为麦克风等的声音输入部ex456、能够将摄影的影像、静止图像、录音的声音、或接收到的影像或静止图像、邮件等的编码的数据或解码的数据保存的存储器部ex467、或者作为与SIMex468的接口部的插槽部ex464，所述SIMex468用来确定用户，进行以网络为代表向各种数据的访问的认证。
此外，综合控制显示部ex458及操作部ex466等的主控制部ex460、与电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、照相机接口部ex463、显示器控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464存储器部ex467经由总线ex470相互连接。
电源电路部ex461如果通过用户的操作使电源键成为开启状态，则通过从电池组对各部供给电力，将智能电话ex115启动为能够动作的状态。
智能电话ex115基于具有CPU、ROM及RAM等的主控制部ex460的控制，进行通话及数据通信等的处理。在通话时，将由声音输入部ex456集音的声音信号通过声音信号处理部ex454变换为数字声音信号，将其用调制/解调部ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理之后经由天线ex450发送。此外，将接收数据放大而实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。在数据通信时，将通过主体部的操作部ex466等的操作输入的文本、静止图像或影像数据经由操作输入控制部ex462向主控制部ex460送出，同样进行收发处理。在数据通信模式时，在发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将保存在存储器部ex467中的影像信号或从照相机部ex465输入的影像信号通过在上述各实施方式中表示的运动图像编码方法压缩编码，将编码后的影像数据向复用/分离部ex453送出。此外，声音信号处理部ex454将在由照相机部ex465摄像影像、静止图像等的过程中由声音输入部ex456集音的声音信号编码，将编码后的声音数据向复用/分离部ex453送出。复用/分离部ex453将已编码影像数据和已编码声音数据以规定的方式复用，由调制/解调部(调制/解调电路部)ex452及发送/接收部ex451实施调制处理及变换处理，经由天线ex450发送。
在接收到添附有影像及或声音的电子邮件、或链接在网页等上的影像的情况下，为了将经由天线ex450接收到的复用数据解码，复用/分离部ex453通过将复用数据分离而将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过用与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法将影像信号解码，经由显示器控制部ex459从显示部ex458将在链接的运动图像文件中包含的影像或静止图像显示。此外，声音信号处理部ex454将声音信号解码，从声音输出部ex457输出声音。另外，由于实时流媒体正在普及，所以根据用户的状况，也可能发生声音的再现在社会上不适合的场合。因此，作为初始值，优选的是不将声音信号再现而仅将影像数据再现的结构。也可以仅在用户进行了将影像数据点击等操作的情况下将声音同步地再现。
此外，这里以智能电话ex115为例进行了说明，但作为终端，可以考虑除了拥有编码器及解码器两者的收发型终端以外，还有仅具有编码器的发送终端、仅具有解码器的接收终端的3种安装形式。进而，在数字广播用系统中，假设将在影像数据中复用了声音数据等的复用数据接收、发送而进行了说明，但也可以在复用数据中在声音数据以外还复用了与影像关联的字符数据等，也可以不是将复用数据而是将影像数据自身接收或发送。
另外，假设包括CPU的主控制部ex460控制编码或解码处理而进行了说明，但终端具备GPU的情况也较多。由此，也可以做成通过由CPU和GPU共用化的存储器、或管理地址以便能够共同使用的存储器、发挥GPU的性能而将较大的区域一起处理的结构。由此，能够缩短编码时间，确保实时性而实现低延迟。特别是，如果将运动估计、解块滤波、SAO(SampleAdaptive Offset)及变换/量化的处理不是由CPU而是由GPU以图片等的单位一起进行，则是有效率的。
产业上的可利用性
本发明例如可以在电视接收机、数字视频记录机、车载导航仪、便携电话、数字照相机、数字摄像机、视频会议系统或电子镜等中利用。
标号说明
100 编码装置
102 划分部
104 减法部
106 变换部
108 量化部
110 熵编码部
112、204 逆量化部
114、206 逆变换部
116、208 加法部
118、210 块存储器
120、212 环路滤波器部
122、214 帧存储器
124、216 帧内预测部
126、218 帧间预测部
128、220 预测控制部
132 二值化部
134、140、236、242 切换部
136、240 中间缓存
138 算术编码部
142 复用部
144 输出缓存
150 发送装置
152 发送控制部
160、260 电路
162、262 存储器
200 解码装置
202 熵解码部
232 输入缓存
234 分离部
238 算术解码部
244 逆二值化部
250 接收装置
252 接收控制部
300 编解码系统

Claims (4)

1.一种编码装置，将图像信息编码，其特征在于，
具备：
存储器；以及
电路，能够对上述存储器访问；
能够对上述存储器访问的上述电路，
根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列，上述算术编码包括按照可变发生概率进行的上下文自适应算术编码和按照固定发生概率进行的旁路算术编码；
输出包含上述二值化数据序列的比特序列；
对如下动作进行切换：(i)第1动作，在上述比特序列的输出中，输出包含被应用了上述算术编码的上述二值化数据序列的上述比特序列；以及(ii)第2动作，在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列的上述比特序列；
在由编码标准规定的多个配置文件中的规定的配置文件用于上述图像信息的编码的情况下，动作被固定为上述第1动作及上述第2动作中的一方；
在上述动作没有被固定为上述第1动作及上述第2动作中的一方的情况下，上述比特序列包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息；
在上述动作被固定为上述第1动作及上述第2动作中的一方的情况下，上述比特序列不包含上述应用信息。
2.一种解码装置，将图像信息解码，其特征在于，
具备：
存储器；以及
电路，能够对上述存储器访问；
能够对上述存储器访问的上述电路，
取得包含根据上述图像信息按照用于算术编码的二值化而导出的二值化数据序列的比特序列，上述算术编码包括按照可变发生概率进行的上下文自适应算术编码和按照固定发生概率进行的旁路算术编码；
根据上述比特序列中所包含的上述二值化数据序列，导出上述图像信息；
对如下动作进行切换：(i)第1动作，在上述图像信息的导出中，根据上述比特序列中所包含的、被应用了上述算术编码的上述二值化数据序列，导出上述图像信息；以及(ii)第2动作，在上述图像信息的导出中，根据上述比特序列中所包含的、没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息；
在由编码标准规定的多个配置文件中的规定的配置文件用于上述图像信息的解码的情况下，动作被固定为上述第1动作及上述第2动作中的一方；
在上述动作没有被固定为上述第1动作及上述第2动作中的一方的情况下，上述比特序列包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息；
在上述动作被固定为上述第1动作及上述第2动作中的一方的情况下，上述比特序列不包含上述应用信息。
3.一种编码方法，将图像信息编码，其特征在于，
根据上述图像信息，按照用于算术编码的二值化，导出二值化数据序列，上述算术编码包括按照可变发生概率进行的上下文自适应算术编码和按照固定发生概率进行的旁路算术编码；
输出包含上述二值化数据序列的比特序列；
对如下动作进行切换：(i)第1动作，在上述比特序列的输出中，输出包含被应用了上述算术编码的上述二值化数据序列的上述比特序列；以及(ii)第2动作，在上述比特序列的输出中，输出包含没有被应用上述算术编码的上述二值化数据序列的上述比特序列；
在由编码标准规定的多个配置文件中的规定的配置文件用于上述图像信息的编码的情况下，动作被固定为上述第1动作及上述第2动作中的一方；
在上述动作没有被固定为上述第1动作及上述第2动作中的一方的情况下，上述比特序列包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息；
在上述动作被固定为上述第1动作及上述第2动作中的一方的情况下，上述比特序列不包含上述应用信息。
4.一种解码方法，将图像信息解码，其特征在于，
取得包含根据上述图像信息按照用于算术编码的二值化而导出的二值化数据序列的比特序列，上述算术编码包括按照可变发生概率进行的上下文自适应算术编码和按照固定发生概率进行的旁路算术编码；
根据上述比特序列中所包含的上述二值化数据序列，导出上述图像信息；
对如下动作进行切换：(i)第1动作，在上述图像信息的导出中，根据上述比特序列中所包含的、被应用了上述算术编码的上述二值化数据序列，导出上述图像信息；以及(ii)第2动作，在上述图像信息的导出中，根据上述比特序列中所包含的、没有被应用上述算术编码的上述二值化数据序列，导出上述图像信息；
在由编码标准规定的多个配置文件中的规定的配置文件用于上述图像信息的解码的情况下，动作被固定为上述第1动作及上述第2动作中的一方；
在上述动作没有被固定为上述第1动作及上述第2动作中的一方的情况下，上述比特序列包含表示是否对上述二值化数据序列应用了上述算术编码的应用信息；
在上述动作被固定为上述第1动作及上述第2动作中的一方的情况下，上述比特序列不包含上述应用信息。
CN201780030426.3A 2016-05-20 2017-05-10 编码装置、解码装置、编码方法及解码方法 Active CN109155863B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662339212P 2016-05-20 2016-05-20
US62/339212 2016-05-20
PCT/JP2017/017629 WO2017199800A1 (ja) 2016-05-20 2017-05-10 符号化装置、復号装置、符号化方法及び復号方法

Publications (2)

Publication Number Publication Date
CN109155863A CN109155863A (zh) 2019-01-04
CN109155863B true CN109155863B (zh) 2022-09-20

Family

ID=60325771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780030426.3A Active CN109155863B (zh) 2016-05-20 2017-05-10 编码装置、解码装置、编码方法及解码方法

Country Status (7)

Country Link
US (1) US11166026B2 (zh)
EP (1) EP3461131A4 (zh)
JP (1) JP7199221B2 (zh)
KR (1) KR102442406B1 (zh)
CN (1) CN109155863B (zh)
TW (1) TWI729135B (zh)
WO (1) WO2017199800A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12132926B2 (en) 2019-03-22 2024-10-29 Rosedale Dynamics Llc DMVR and BDOF based inter prediction method and apparatus thereof

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139283A1 (ja) * 2017-01-30 2018-08-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2019138981A1 (ja) * 2018-01-12 2019-07-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2020094057A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
CN111247798B (zh) * 2019-01-10 2022-03-15 深圳市大疆创新科技有限公司 对三维数据点集进行编码或解码的方法和设备
WO2020171644A1 (ko) * 2019-02-22 2020-08-27 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측에 기반한 영상 디코딩 방법 및 그 장치
CN113491121B (zh) 2019-02-24 2022-12-06 北京字节跳动网络技术有限公司 对视频数据进行编解码的方法、设备及计算机可读介质
KR20210114060A (ko) 2019-03-13 2021-09-17 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
EP3944623A4 (en) 2019-03-22 2022-06-08 LG Electronics Inc. METHOD AND DEVICE FOR DMVR-BASED INTERPREDICTION
US11140409B2 (en) 2019-03-22 2021-10-05 Lg Electronics Inc. DMVR and BDOF based inter prediction method and apparatus thereof
JP7079377B2 (ja) * 2019-03-25 2022-06-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
WO2020235586A1 (ja) * 2019-05-20 2020-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2021006196A1 (ja) * 2019-07-10 2021-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN114145020A (zh) * 2019-08-29 2022-03-04 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
KR20220054591A (ko) * 2019-08-30 2022-05-03 소니 세미컨덕터 솔루션즈 가부시키가이샤 부호화 장치, 부호화 방법, 복호 장치, 복호 방법 및 프로그램
JP7431549B2 (ja) * 2019-10-01 2024-02-15 キヤノン株式会社 符号化装置、撮像装置、制御方法、及びプログラム
US11357020B2 (en) 2020-02-06 2022-06-07 International Business Machines Corporation Connecting computer processing systems and transmitting data
US11290575B2 (en) * 2020-02-06 2022-03-29 International Business Machines Corporation Connecting computer processing systems and transmitting data
US11405766B2 (en) 2020-02-06 2022-08-02 International Business Machines Corporation Connecting computer processing systems and transmitting data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040535A (zh) * 2004-11-09 2007-09-19 松下电器产业株式会社 转换成中间格式的两步算术解码
CN104054342A (zh) * 2012-01-19 2014-09-17 夏普株式会社 针对于hevc中的cabac的高吞吐量编码

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3337365B2 (ja) * 1996-01-23 2002-10-21 株式会社リコー 多値画像データ伝送装置
US20060126744A1 (en) * 2004-12-10 2006-06-15 Liang Peng Two pass architecture for H.264 CABAC decoding process
KR100776195B1 (ko) * 2005-08-09 2007-11-16 (주)씨앤에스 테크놀로지 빠른 ｃａｖｌｃ를 위한 ｈ.264 디코딩 방법
CN100466739C (zh) * 2005-10-12 2009-03-04 华为技术有限公司 Cabac解码系统及方法
JP4878262B2 (ja) * 2006-10-31 2012-02-15 キヤノン株式会社 エントロピー符号化装置
JP4785706B2 (ja) * 2006-11-01 2011-10-05 キヤノン株式会社 復号装置及び復号方法
US7839311B2 (en) * 2007-08-31 2010-11-23 Qualcomm Incorporated Architecture for multi-stage decoding of a CABAC bitstream
US8805099B2 (en) * 2011-06-22 2014-08-12 Panasonic Intellectual Property Corporation Of America Image decoding method and image coding method
JP2013009167A (ja) * 2011-06-24 2013-01-10 Mitsubishi Electric Corp エントロピー符号化装置、エントロピー復号装置、エントロピー符号化方法及びエントロピー復号方法
US9088796B2 (en) * 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding
US9503717B2 (en) * 2012-01-09 2016-11-22 Texas Instruments Incorporated Context adaptive binary arithmetic coding (CABAC) with scalable throughput and coding efficiency
WO2015008478A1 (en) * 2013-07-15 2015-01-22 Sharp Kabushiki Kaisha Modified coding for a transform skipped block for cabac in hevc
JP5521083B2 (ja) * 2013-04-18 2014-06-11 パナソニック株式会社 画像符号化装置
US20190020877A1 (en) * 2016-01-21 2019-01-17 Sony Corporation Image processing apparatus and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040535A (zh) * 2004-11-09 2007-09-19 松下电器产业株式会社 转换成中间格式的两步算术解码
CN104054342A (zh) * 2012-01-19 2014-09-17 夏普株式会社 针对于hevc中的cabac的高吞吐量编码

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Fast bypass mode for CABAC》;Ryoji Hattori ET AL;《2012 Picture Coding Symposium》;20120509;说明书第Ⅱ节，附图1-2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12132926B2 (en) 2019-03-22 2024-10-29 Rosedale Dynamics Llc DMVR and BDOF based inter prediction method and apparatus thereof

Also Published As

Publication number Publication date
TWI729135B (zh) 2021-06-01
US20190089958A1 (en) 2019-03-21
KR102442406B1 (ko) 2022-09-13
TW201806392A (zh) 2018-02-16
WO2017199800A1 (ja) 2017-11-23
EP3461131A1 (en) 2019-03-27
JP7199221B2 (ja) 2023-01-05
JPWO2017199800A1 (ja) 2019-03-14
CN109155863A (zh) 2019-01-04
KR20190008224A (ko) 2019-01-23
EP3461131A4 (en) 2019-03-27
US11166026B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
CN109155863B (zh) 编码装置、解码装置、编码方法及解码方法
CN110786011B (zh) 编码装置、解码装置、编码方法和解码方法
CN110710205A (zh) 编码装置、解码装置、编码方法和解码方法
CN111684805B (zh) 编码装置、解码装置、编码方法和解码方法
CN109479135B (zh) 编码装置、解码装置、编码方法及解码方法
CN112425171A (zh) 编码装置、解码装置、编码方法和解码方法
CN111066325A (zh) 编码装置、解码装置、编码方法和解码方法
CN110999292A (zh) 编码装置、解码装置、编码方法及解码方法
CN113678443A (zh) 编码装置、解码装置、编码方法和解码方法
CN113056909A (zh) 编码装置、解码装置、编码方法和解码方法
CN112119637A (zh) 编码装置、解码装置、编码方法和解码方法
CN112292857A (zh) 编码装置、解码装置、编码方法和解码方法
CN111345039A (zh) 编码装置、解码装置、编码方法和解码方法
CN110692242A (zh) 编码装置、解码装置、编码方法和解码方法
CN113711600A (zh) 编码装置、解码装置、编码方法和解码方法
CN113170179A (zh) 编码装置、解码装置、编码方法和解码方法
CN113940071A (zh) 编码装置、解码装置、编码方法和解码方法
CN113170103A (zh) 编码装置、解码装置、编码方法和解码方法
CN111886865A (zh) 编码装置、解码装置、编码方法和解码方法
JP2023126387A (ja) 符号化装置及び符号化方法
CN113728638A (zh) 编码装置、解码装置、编码方法和解码方法
CN113383544A (zh) 编码装置、解码装置、编码方法和解码方法
CN112640465A (zh) 编码装置、解码装置、编码方法和解码方法
CN113302922A (zh) 编码装置、解码装置、编码方法和解码方法
CN113366852A (zh) 编码装置、解码装置、编码方法和解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant