CN106063275A - 图像编码装置和方法及图像处理装置和方法 - Google Patents

图像编码装置和方法及图像处理装置和方法 Download PDF

Info

Publication number
CN106063275A
CN106063275A CN201580011410.9A CN201580011410A CN106063275A CN 106063275 A CN106063275 A CN 106063275A CN 201580011410 A CN201580011410 A CN 201580011410A CN 106063275 A CN106063275 A CN 106063275A
Authority
CN
China
Prior art keywords
bit stream
unit
picture
information
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580011410.9A
Other languages
English (en)
Other versions
CN106063275B (zh
Inventor
田中润
田中润一
今村明弘
中神央二
名云武文
荒木祐
荒木祐一
藤本勇司
服部忍
河野雅
河野雅一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202010187013.XA priority Critical patent/CN111432209A/zh
Publication of CN106063275A publication Critical patent/CN106063275A/zh
Application granted granted Critical
Publication of CN106063275B publication Critical patent/CN106063275B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开内容涉及使能够较容易地实现比特流的耦接的图像编码装置和方法以及图像处理装置和方法。本发明提供了：设置单元，其基于与图像数据的要被处理的当前画面的位置以及对所述图像数据的要被处理的当前画面的参考有关的信息来设置与假设参考解码器有关的头信息；以及编码单元，其对图像数据进行编码，以生成包括图像数据的编码数据以及由所述设置单元设置的头信息的比特流。本公开内容适用于例如图像处理装置、图像编码装置等。

Description

图像编码装置和方法及图像处理装置和方法
技术领域
本公开内容涉及图像编码装置和方法及图像处理装置和方法，更具体地，涉及使能够较容易地实现比特流的接合的图像编码装置和图像编码方法及图像处理装置和图像处理方法。
背景技术
在运动图像的常规编辑中，运动图像被接合。由于数字信号处理中运动图像数据的数据量通常巨大，所以通常在使用之前对运动图像数据进行编码(压缩)。图像数据的一般编码方法的示例包括运动图像专家组(MPEG)、高级视频编码(AVC)和高效视频编码(HEVC)。
在使用如上编码的运动图像数据以上面描述的方式接合运动图像的情况下，根据多于一个比特流来生成一个比特流。在这样的比特流生成中，可以对每个比特流进行解码和解压缩，然后接合所述比特流。可以对接合之后的运动图像进行编码以生成一个比特流。在那种情况下，因为比特流的数据量变得较大，所以处理负荷可能变得较大。
鉴于以上，作为用于当以帧精度对如上编码的运动图像数据进行剪辑和编辑时缩短编码时间并且防止图像品质劣化的技术，已经开发了智能渲染编辑(例如，参见专利文献1和专利文献2)。
同时，在AVC和HEVC中，引入假设参考解码器(HRD)的概念以在没有任何中断的情况下传送比特流。编码器需要以这样的方式生成比特流以不使假设参考解码器中断。这还应用在上述智能渲染编辑中的编码中。
引用列表
专利文献
专利文献1：日本专利申请公开第2008-22361号
专利文献2：日本专利申请公开第2008-131147号
发明内容
本发明要解决的问题
然而，在智能渲染编辑中，在运动图像的预定编码部分被简单编码的情况下不考虑接合比特流之间的关系。因此，在接合的部分上(在接合之后的整个比特流中)不能保证避免假设参考解码器的中断。即，存在不能对接合后的比特流正确地解码的风险。
为了对接合后的比特流正确地解码，需要执行麻烦的操作如适当地重写包括在比特流中的与假设参考解码器有关的信息。
鉴于那些情况做出了本公开内容，使能够较容易地实现比特流的接合。
问题的解决方案
本技术的一个方面是图像编码装置，所述图像编码装置包括：设置单元，其根据关于位置的信息和关于参考的信息来设置与假设参考解码器有关的头信息，所述关于位置的信息和所述关于参考的信息是针对图像数据的要被处理的当前画面的；以及编码单元，其对图像数据进行编码并且生成包括图像数据的编码数据以及由设置单元设置的头信息的比特流。
设置单元可以对表示空单元类型的信息进行设置。
设置单元还可以对表示比特流接合的信息进行设置。
设置单元还可以对表示比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息进行设置。
在当前画面是第一个画面时，设置单元可以将表示空单元类型的信息设置为表示IDR画面的值，将表示比特流接合的信息设置为“真”，并且将表示比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
在当前画面是最后一个画面时，设置单元可以将表示空单元类型的信息设置为表示不属于临时子层并且不被参考的拖尾画面的值，将表示比特流接合的信息设置为“假”，并且将表示比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
在当前画面既不是第一个画面也不是最后一个画面而是参考画面时，设置单元可以将表示空单元类型的信息设置为表示不属于临时子层并且不被参考的拖尾画面的值，将表示比特流接合的信息设置为“假”，并且将表示比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
在当前画面既不是第一个画面也不是最后一个画面并且也不是参考画面时，设置单元可以将表示空单元类型的信息设置为表示不属于临时子层的非参考画面的值，将表示比特流接合的信息设置为“假”，并且将表示比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置间的差的信息设置为最小值。
图像编码装置还可以包括速度控制单元，所述速度控制单元根据关于当前画面的位置的信息、表示用于调整假设参考解码器的部分的信息以及表示生成的代码量的信息来设置目标代码量值。
此外，本技术的一个方面是图像编码方法，所述图像编码方法包括：根据关于位置的信息和关于参考的信息来设置与假设参考解码器有关的头信息，所述关于位置的信息和所述关于参考的信息是针对图像数据的要被处理的当前画面的；以及对图像数据进行编码并且生成包括图像数据的编码数据和所设置的头信息的比特流。
本技术的另一个方面是包括更新单元的图像处理装置，所述更新单元更新与假设参考解码器有关的头信息，所述头信息被包括在包含通过对图像数据进行编码而生成的编码数据的比特流中，所述更新使能够实现所述比特流与另外的比特流的接合。
更新单元可以对比特流进行重新编码，以适当地调整比特流的结尾处的编码画面缓冲器的位置与接合比特流的起始处的编码画面缓冲器的位置之间的关系。
更新单元可以用与先前不可丢弃画面对应的值来更新表示比特流的结尾处的空单元类型的信息。
更新单元可以用适合于比特流接合的值来更新与从编码画面缓冲器进行读出有关的信息。
更新单元可以对比特流的结尾处的先前不可丢弃画面进行搜索，并且根据所述搜索的结果来更新比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差。
更新单元可以用适合于比特流接合的值来更新与从比特流的结尾处的编码画面缓冲器和解码画面缓冲器进行读出有关的信息。
更新单元可以用适合于比特流接合的值来更新与从比特流的起始处的编码画面缓冲器和解码画面缓冲器进行读出有关的信息。
更新单元可以用根据表示从要被接合的比特流的结尾处的编码画面缓冲器进行读出的延迟的信息的值来更新表示从接合比特流的起始处的访问单元的编码画面缓冲器进行读出的延迟的信息。
图像处理装置还可以包括接合单元，所述接合单元将由更新单元更新的比特流与另外的比特流接合。
此外，本技术的另一方面是图像处理方法，所述图像处理方法包括：更新与假设参考解码器有关的头信息，所述头信息被包括在包含通过对图像数据进行编码而生成的编码数据的比特流中，所述更新使能够实现所述比特流与另外的比特流的接合。
在本技术的一个方面中，根据关于位置的信息和关于参考的信息来设置与假设参考解码器有关的头信息，所述关于位置的信息和所述关于参考的信息是针对图像数据的要被处理的当前画面的，并且通过对图像数据进行编码来生成包括图像数据的编码数据和所设置的头信息的比特流。
在本技术的另一个方面中，对被包括在包含通过对图像数据进行编码而生成的编码数据的比特流中的与假设参考解码器有关的头信息进行更新，使得可以将所述比特流与另外的比特流接合。
本发明的效果
根据本公开内容，可以对图像数据进行编码或处理。具体地，可以更容易地接合比特流。
附图说明
图1是用于说明智能渲染编辑的示例的图。
图2是用于说明智能渲染编辑的示例的图。
图3是用于说明假设参考解码器的示例的图。
图4是用于说明智能渲染编辑的示例的图。
图5是用于说明智能渲染编辑的示例的图。
图6是示出了图像编码装置的特定示例结构的框图。
图7是示出了速度控制单元的特定示例结构的框图。
图8是用于说明与假设参考解码器有关的参数的图。
图9是用于说明编码处理中的示例流程的流程图。
图10是用于说明空单元类型确定处理中的示例流程的流程图。
图11是用于说明速度控制处理中的示例流程的流程图。
图12是用于说明HRD跟踪处理中的示例流程的流程图。
图13是用于说明目标比特确定处理中的示例流程的流程图。
图14是用于说明智能渲染编辑的示例的图。
图15是示出了比特流接合装置的特定示例结构的框图。
图16是用于说明比特流接合处理中的示例流程的流程图。
图17是用于说明缓冲器确定处理中的示例流程的流程图。
图18是用于说明空单元类型重写处理中的示例流程的流程图。
图19是用于说明缓冲时段重写处理中的示例流程的流程图。
图20是用于说明智能渲染编辑的示例的图。
图21是示出了比特流接合装置的特定示例结构的框图。
图22是用于说明比特流接合处理中的示例流程的流程图。
图23是用于说明先前不可丢弃画面搜索处理中的示例流程的流程图。
图24是用于说明缓冲时段重写处理中的示例流程的流程图。
图25是用于说明智能渲染编辑的示例的图。
图26是示出了比特流接合装置的特定示例结构的框图。
图27是用于说明比特流接合处理中的示例流程的流程图。
图28是用于说明prev_Cpb_removable_delay搜索处理中的示例流程的流程图。
图29是用于说明缓冲时段重写处理中的示例流程的流程图。
图30是用于说明画面定时SEI重写处理中的示例流程的流程图。
图31是用于说明智能渲染编辑的示例的图。
图32是示出了计算机的特定示例结构的框图。
图33是示意性示出了电视设备的示例结构的框图。
图34是示意性示出了便携式电话设备的示例结构的框图。
图35是示意性示出了记录/再现设备的示例结构的框图。
图36是示意性示出了成像设备的示例结构的框图。
图37是示意性示出了视频装置的示例结构的框图。
图38是示意性示出了视频处理器的示例结构的框图。
图39是示意性示出了视频处理器的另一示例结构的框图。
具体实施方式
下面是对用于执行本公开内容的模式(在下文中称为实施方式)的描述。将按照下面的顺序来说明。
1.第一实施方式(图像编码装置)
2.第二实施方式(比特流接合装置)
3.第三实施方式(比特流接合装置)
4.第四实施方式(比特流接合装置)
5.第五实施方式(计算机)
6.第六实施方式(示例应用)
7.第七实施方式(装置、单元、模块和处理器)
<1.第一实施方式>
<智能渲染编辑>
在运动图像的常规编辑中，运动图像被接合。由于数字信号处理中运动图像数据的数据量通常巨大，所以通常在使用之前对运动图像数据进行编码(压缩)。图像数据的一般编码方法的示例包括运动图像专家组(MPEG)、高级视频编码(AVC)和高效视频编码(HEVC)。
在使用如上编码的运动图像数据以上述方式对运动图像进行接合的情况下，根据多于一个比特流来生成一个比特流。在这样的比特流生成中，可以对每个比特流进行解码和解压缩，然后接合所述比特流。可以对接合之后的运动图像进行编码以生成一个比特流。在那种情况下，因为比特流的数据量变得较大，所以处理负荷可能也变得较大。
鉴于以上，如在专利文献1和专利文献2中所公开的，作为用于当以帧精度对如上编码的运动图像数据进行剪辑和编辑时缩短编码时间并且防止图像品质劣化的技术，已经开发了智能渲染编辑。
在AVC和HEVC中，引入了假设参考解码器(HRD)的概念以在没有任何中断的情况下传送比特流。编码器需要以这样的方式生成比特流，以不使假设参考解码器中断。这还应用于上述智能渲染编辑中的编码中。
然而，在智能渲染编辑中，在对运动图像的预定编码部分进行简单编码的情况下没有考虑接合比特流之间的关系。因此，在接合部分上(在接合之后的整个比特流中)不能保证避免假设参考解码器的中断。为了对接合之后的比特流正确地进行解码，需要执行麻烦的操作如适当地重写与包括在比特流中的假设参考解码器有关的信息。
图1示出了对通过根据AVC对图像数据进行编码形成的比特流进行接合的情况下的示例。图1中的A示出了关于接合之前的相应比特流(流A和流B)的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。在图1所示的接合中，将流B的起始连接至流A的结尾。图1中的B示出了关于作为接合之后的比特流的流A+B的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。
在下文中，还将在这样的接合中要使用的流A称为要被接合的比特流(流)，并且还将流B称为接合比特流(流)。
如图1中的B所示，在这个示例的情况下，在作为接合比特流的流B的起始处的CpbRemovalDelay需要比作为要被接合的比特流的流A的结尾处的CpbRemovalDelay大“+1”。因此，用户必须检查流A的结尾处的CpbRemovalDelay并且更新流B的起始处的CpbRemovalDelay，这导致麻烦的操作。
图2示出了对通过根据HEVC对图像数据进行编码形成的比特流进行接合的情况下的示例。与图1中的A一样，图2中的A示出了关于接合之前的相应比特流(流A和流B)的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。图2所示的接合以与图1相同的方式来进行。即，将流B的起始连接至流A的结尾。与图1中的B一样，图2中的B示出了关于作为接合之后的比特流的流A+B的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。
如图2所示，在HEVC中，将concatenation_flag添加至缓冲时段补充增强信息(SEI)，以便于比特流接合。在concatenation_flag为1的情况下，比特流已经被接合，计算表示移除编码画面缓冲器(Cpb)的定时的AuNominalRemovalTime的方法被改变。此时，由画面定时SEI表示的au_cpb_removal_delay_minus1典型地在计算中不被使用。
在HEVC比特流的情况下，简单地将concatenation_flag转变为1，以根据HRD在不中断的情况下由两个接合比特流生成流。
图3示出了在concatenation_flag为1的情况下计算AuNominalRemovalTime的实际方法的示例。如可以从该计算看到的，在不使用画面定时SEI的au_cpb_removal_delay_minus1的情况下实现了无缝接合。
如上所述，在HEVC中，存在使用concatenation_flag可以容易地接合比特流的情况。然而，比特流不总是如此容易地被接合。
图4示出了生成重新排序以根据AVC将B画面包括在比特流的接合中的情况下的示例。与图1中的A一样，图4中的A示出了关于接合之前的相应比特流(流A和流B)的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。与图1中的B一样，图4中的B示出了关于作为接合之后的比特流的流A+B的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。在这种情况下，可以通过与图1中的处理相同的处理来接合比特流。
另一方面，在生成重新排序以根据HEVC将B画面包括在比特流的接合中的情况下，与根据AVC的处理相比，该处理可能变得更复杂。图5示出了这样的情况下的示例。与图2中的A一样，图5中的A示出了关于接合之前的相应比特流(流A和流B)的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。与图2中的B一样，图5中的B示出了关于作为的接合之后的比特流的流A+B的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。
如图5所示，在该示例情况下，将作为接合比特流的流B的concatenation_flag设置为1，并且在瞬时解码刷新(IDR)画面中将cpb_removal_delay设置为0。用户需要检查作为要被接合的比特流的流A的结尾处的prevNonDiscardablePic的位置并且重写流B的auCpbRemovalDelayDeltaMinus1。即，需要执行麻烦的操作。在图5所示的示例情况下，流A的结尾处的prevNonDiscardablePic是(n+3)画面(nal_unit_type为TRAIL_R)，因此，流B的auCpbRemovalDelayDeltaMinus1为2。
鉴于以上，在根据HEVC的比特流接合之前适当地设置语法，使得可以更容易地接合比特流。
<图像编码装置>
当对图像数据进行编码时，例如，根据关于图像数据的当前画面的位置的信息和关于参考的信息来设置与假设参考解码器有关的头信息，并且生成包括通过对图像数据进行编码而形成的编码数据以及以上面的方式设置的头信息的比特流。
头信息表示在层级水平(序列、画面、片段、片、最大编码单元、编码单元等)中的每一个中的数据设置之前要被解析(或者要被参考)的信息或者独立于每个层级水平中的数据设置的要被解析(或者要被参考)的信息。例如，头信息可以是视频参数集(VPS)、序列参数集(SPS)、画面参数集(PPS)、片段头、空单元类型(nal_unit_type)、补充增强信息(SEI)等。头信息不仅包括作为比特流的语法明确定义的信息而且包括位于层级水平中的每一个的起始处的信息。
图6是示出了作为应用了本技术的图像处理装置的实施方式的图像编码装置的示例结构的框图。例如，图6中所示的图像编码装置100使用HEVC预测处理或者与HEVC兼容的预测处理对运动图像的图像数据进行编码。
图6所示的图像编码装置100包括屏幕重新布置缓冲器111、算术操作单元112、正交变换单元113、量化单元114、无损编码单元115、积聚缓冲器116、逆量化单元117和逆正交变换单元118。图像编码装置100还包括算术操作单元119、帧内预测单元120、环路滤波器121、帧存储器122、帧间预测单元123和预测图像选择单元124。
图像编码装置100还包括速度控制单元125和nal_unit_type确定单元126。
屏幕重新布置缓冲器111按照显示的顺序来存储输入图像数据的相应帧的图像，根据画面的组(GOP)将所存储的帧的图像的显示顺序变成帧的编码顺序，并且将具有重新布置的帧顺序的图像提供至算术操作单元112。屏幕重新布置缓冲器111还将具有重新布置的帧顺序的图像提供至帧内预测单元120和帧间预测单元123。
算术操作单元112从于屏幕重新布置缓冲器111读取的图像减去经由预测图像选择单元124从帧内预测单元120或帧间预测单元123提供的预测图像，并且将差信息(残差数据)提供至正交变换单元113。当要对图像执行帧内编码时，例如，算术操作单元112从于屏幕重新布置缓冲器111读取的图像减去从帧内预测单元120提供的预测图像。当对图像执行帧间编码时，例如，算术操作单元112从于屏幕重新布置缓冲器111读取的图像减去从帧间预测单元123提供的预测图像。
正交变换单元113对从算术操作单元112提供的残差数据执行正交变换如离散余弦变换或Karhunen-Loeve变换。正交变换单元113将通过正交变换获得的变换系数提供至量化单元114。
量化单元114对从正交变换单元113提供的变换系数进行量化。量化单元114根据关于从速度控制单元125提供的目标代码量值的信息来设置量化参数，然后执行量化。量化单元114将经量化的变换系数提供至无损编码单元115。
无损编码单元115使用适当的编码技术对通过量化单元114量化的变换系数进行编码。此外，无损编码单元115从帧内预测单元120获得表示帧内预测模式等的信息，并且从帧间预测单元123获取表示帧间预测模式的信息、表示差运动矢量信息的信息等。无损编码单元115还获取信息如在nal_unit_type确定单元126处设置的concatenation_flag和nal_unit_type。
无损编码单元115通过适当的编码技术对那些条信息进行编码，以获得关于编码数据的头信息的一部分(也称为编码流)。无损编码单元115将通过所述编码获得的编码数据提供至积聚缓冲器单元116，并且将编码数据积聚在积聚缓冲器单元116中。
例如，要由无损编码单元115使用的编码技术可以是可变长度编码或算术编码。例如，可变长度编码可以是H.264/AVC中指定的基于上下文的自适应变长编码(CAVLC)。例如，算术编码可以是基于上下文的自适应二进制算术编码(CABAC)。
积聚缓冲器116临时保持从无损编码单元115提供的编码数据。积聚缓冲器116在预定时间将保持在其中的编码数据输出至图像编码装置100的外面。即，积聚缓冲器116还用作传送编码数据的传送单元。
还将通过量化单元114量化的变换系数提供至逆量化单元117。逆量化单元117通过与由量化单元114执行的量化兼容的方法对经量化的变换系数进行逆量化。逆量化单元117将通过逆量化获得的变换系数提供至逆正交变换单元118。
逆正交变换单元118通过与由正交变换单元113执行的正交变换处理兼容的方法对所提供的从逆量化单元117提供的变换系数执行逆正交变换。逆正交变换单元118将经历了逆正交变换(恢复的残差数据)的输出提供至算术操作单元119。
算术操作单元119通过将经由预测图像选择单元124从帧内预测单元120或帧间预测单元123提供的预测图像添加至从逆正交变换单元118提供的恢复的残差数据来获得局部重构图像(在下文中称为重构图像)。重构图像被提供至帧内预测单元120和环路滤波器121。
帧内预测单元120使用作为参考图像从算术操作单元119提供的重构图像的当前画面中的像素值来执行帧内预测(屏幕内预测)以生成预测图像。帧内预测单元120以预先准备的帧内预测模式来执行帧内预测。
帧内预测单元120以所有候选帧内预测模式生成预测图像，通过使用从屏幕重新布置缓冲器111提供的输入图像来估计相应的预测图像的成本函数值并且选择最佳模式。在选择最佳帧内预测模式之后，帧内预测单元120将在最佳模式下生成的预测图像提供至预测图像选择单元124。
如上所述，帧内预测单元120视情况而定将表示所采用的帧内预测模式的帧内预测模式信息等提供至无损编码单元115，使得帧内预测模式信息等被编码。
环路滤波器121包括去块滤波器、自适应环路滤波器等，并且对从算术操作单元119提供的重构的图像执行适当的滤波处理。例如，环路滤波器121通过对重构图像执行去块滤波处理从该重构图像移除块失真。环路滤波器121还通过使用维纳滤波器对去块滤波处理的结果(已经移除了块失真的重构图像)执行环路滤波处理来提高图像品质。
环路滤波器121还可以对重构图像执行任意其他适当的滤波处理。在需要时，环路滤波器121还可以为无损编码单元115提供信息如用于滤波处理的滤波系数，使得可以对所述信息进行编码。
环路滤波器121为帧存储器122提供滤波处理的结果(在下文中将该结果称为解码图像)。
环路滤波器121还可以对重构图像执行任意其他适当的滤波处理。在需要时，环路滤波器121还可以为无损编码单元115提供信息如滤波处理中使用的滤波系数，使得可以对所述信息进行编码。
帧存储器122存储所提供的解码图像，并且在预定时间将所存储的解码图像作为参考图像提供至帧间预测单元123。
帧间预测单元123使用从屏幕重新布置缓冲器111提供的输入图像和从帧存储器122读取的参考图像来执行帧间预测处理。更具体地，帧间预测单元123通过进行运动预测来检测运动矢量，并且根据所述运动矢量执行运动补偿处理，以生成预测图像(帧间预测图像信息)。
帧间预测单元123以所有候选帧间预测模式生成预测图像。帧间预测单元123通过使用从屏幕重新布置缓冲器111提供的输入图像以及关于生成的差运动矢量等的信息来估计相应的预测图像的成本函数值，然后选择最佳模式。在选择了最佳帧间预测模式之后，帧间预测单元123将在最佳模式下生成的预测图像提供至预测图像选择单元124。
帧间预测单元123为无损编码单元115提供用于在所采用的帧间预测模式下执行对表示所采用的帧间预测模式和编码数据的信息进行解码中的处理的必要信息，使得无损编码单元115可以对所述信息等进行编码。例如，所述必要信息包括关于生成的差运动矢量的信息以及作为表示预测运动矢量的索引的标记的预测运动矢量信息。
预测图像选择单元124选择要被提供至算术操作单元112和算术操作单元119的预测图像的提供者。在帧内编码的情况下，例如，预测图像选择单元124将帧内预测单元120选作预测图像提供者，并且将从帧内预测单元120提供的预测图像提供至算术操作单元112和算术操作单元119。在帧间编码的情况下，例如，预测图像选择单元124将帧间预测单元123选作预测图像提供者，并且将从帧间预测单元123提供的预测图像提供至算术操作单元112和算术操作单元119。
根据积聚在积聚缓冲器116中的编码数据的代码量，速度控制单元125对量化单元114的量化操作速度进行控制，以不使上溢或下溢。
nal_unit_type确定单元126从屏幕重新布置缓冲器111获得表示当前画面是否是流的第一个画面的信息(isFirstPicture)、表示当前画面是否是流的最后一个画面的信息(isLastPicture)以及表示当前画面是否要被参考的信息(isReferencePicture)(当前画面是否是参考画面)。
nal_unit_type确定单元126对表示比特流接合的信息(concatenation_flag)、表示比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息(auCpbRemovalDelayMinus1)以及表示空单元类型的信息(nal_unit_type)进行设置。
更具体地，在当前画面是流的第一个画面的情况下，例如，nal_unit_type确定单元126将concatenation_flag设置为“1(或真)”，将auCpbRemovalDelayMinus1设置为“0(或者最小值)”，并且将nal_unit_type设置为IDR_W_RADL或者IDR_N_LP(或者表示IDR画面的值)。
在当前画面不是流的第一个画面而是最后一个画面的情况下，例如，nal_unit_type确定单元126将concatenation_flag设置为“0(或者假)”，将auCpbRemovalDelayMinus1设置为“0(或者最小值)”，并且将nal_unit_type设置为TRAIL_R(或者表示不属于临时子层但要被参考的拖尾画面的值)。
此外，在当前画面既不是流的第一个画面也不是最后一个画面而是参考画面的情况下，例如，nal_unit_type确定单元126将concatenation_flag设置为“0(或者假)”，将auCpbRemovalDelayMinus1设置为“0(或者最小值)”，并且将nal_unit_type设置为TRAIL_R(或者表示不属于临时子层但要被参考的拖尾画面的值)。
在当前画面既不是流的第一个画面也不是最后一个画面并且也不是参考画面的情况下，例如，nal_unit_type确定单元126将concatenation_flag设置为“0(或者假)”，将auCpbRemovalDelayMinus1设置为“0(或者最小值)”，并且将nal_unit_type设置为TRAIL_N(或者表示不属于临时子层的非参考画面的值)。
nal_unit_type确定单元126将上面设置的多条信息(concatenation_flag、auCpbRemovalDelayMinus1、nal_unit_type等)提供至无损编码单元115，使得那些条信息被包括在将要在无损编码单元115处生成的比特流中。
<速度控制单元>
图7是示出了速度控制单元125的特定示例结构的框图。如图7所示，速度控制单元125包括HRD跟踪单元141和目标比特确定单元142。
HRD跟踪单元141从屏幕重新布置缓冲器111获取关于当前画面的位置的信息以及表示当前部分是否是用于调整假设参考解码器的部分的信息。更具体地，HRD跟踪单元141获取关于当前画面的位置的信息如表示当前画面是否是流的最后一个画面的信息(isLastPicture)。HRD跟踪单元141还获取表示当前部分是否是用于调整假设参考解码器的部分的信息如编码画面缓冲器(CPB)的跟踪速度(trace_rate)、帧速率(frame_rate)、CPB大小(cpb_size)等。如图8所示，这些参数是与编码画面缓冲器(CPB)有关的信息。HRD跟踪单元141还从积聚缓冲器116获取表示生成的代码量(生成的比特)的信息。
根据与假设参考解码器(HRD)有关的控制信息以及生成的代码量，HRD跟踪单元141计算表示编码画面缓冲器(CPB)的位置的信息(cpb_pos)。HRD跟踪单元141将所计算的表示CPB位置的信息(cpb_pos)提供至目标比特确定单元142。
目标比特确定单元142从HRD跟踪单元141获取表示CPB位置的信息(cpb_pos)。目标比特确定单元142还经由HRD跟踪单元141从屏幕重新布置缓冲器111获取表示结尾处期望的CPB位置的信息(target_cpb_pos)以及表示当前时段是否是用于调整CPB的结尾的时段的信息(isAdjustPeriod)。
根据那些条信息，目标比特确定单元142针对生成的代码量来计算作为表示目标值的信息的目标比特。目标比特确定单元142将所计算的目标比特提供至量化单元114。
图像编码装置100以上述方式设置相应的参数，以生成满足下面描述的条件的比特流。
-要被接合的比特流的结尾处的nal_unit_type满足用于prevNonDiscardablePic的条件(如TRAIL_R)。
-要被接合的比特流的结尾处的cpb的位置高于接合比特流的起始处的cpb的位置。根据语法，initial_cpb_removal_delay的值高。
-接合比特流的起始为concatenation_flag＝1。
-适当地设置接合比特流的起始处的auCpbRemovalDelayDeltaMinus1(例如，auCpbRemovalDelayDeltaMinus1＝0)。
当满足那些条件时，可以以简单方式将比特流与另外的比特流接合。即使用户没有适当地重写包括在每个比特流中的假设参考解码器信息，仍然可以对那些比特流进行接合，使得作为接合的结果而获得的比特流将不会中断假设参考解码器。即，图像编码装置100通过考虑随后的接合来执行编码。因此，图像编码装置100可以在这样的状态下生成关于准备与另外的比特流接合的比特流。
<编码处理的流程>
接下来，将描述要由图像编码装置100执行的每个处理中的示例流程。首先参照图9所示的流程图来描述编码处理中的示例流程。
当编码处理开始时，在步骤S101中，屏幕重新布置缓冲器111按照显示的顺序来存储输入运动图像的相应帧(画面)的图像，并且将相应画面的显示的顺序变成对相应画面进行编码的顺序。
在步骤S102中，屏幕重新布置缓冲器111生成各种类型的头信息如视频参数集(VPS)、序列参数集(SPS)、画面参数集(PPS)、片段头和SEI。
在步骤S103中，帧内预测单元120执行帧内预测处理以生成预测图像。在步骤S104中，帧间预测单元123执行帧间预测处理以生成预测图像。
在步骤S105中，预测图像选择单元124根据成本函数值等来选择通过步骤S103中的帧内预测处理生成的预测图像或者通过步骤S104中的帧间预测处理生成的预测图像。
在步骤S106中，算术操作单元112计算具有通过步骤S101中的处理重新布置的帧顺序的输入图像与通过步骤S105中的处理选择的预测图像之间的差。即，算术操作单元112生成输入图像与预测图像之间的残差数据。与原始图像数据的数据量相比，以这种方式计算的残差数据具有较小的数据量。因此，可以使数据量小于图像被直接编码的情况下的数据量。
在步骤S107中，正交变换单元113对通过步骤S106中的处理生成的残差数据执行正交变换。
在步骤S108中，量化单元114对通过步骤S107中的处理获得的正交变换系数进行量化。
在步骤S109中，逆量化单元117使用与量化的特性兼容的特性对通过步骤S108中的处理量化并生成的系数(也称为量化系数)进行逆量化。
在步骤S110中，逆正交变换单元118对通过步骤S109中的处理获得的正交变换系数执行逆正交变换。
在步骤S111中，算术操作单元119将通过步骤S105中的处理选择的预测图像添加至通过步骤S110中的处理存储的残差数据，以生成重构图像的图像数据。
在步骤S112中，环路滤波器121对通过步骤S111中的处理生成的重构图像的图像数据执行环路滤波处理。因此，将块失真等从重构图像移除。
在步骤S113中，帧存储器122对通过步骤S112中的处理获得的解码图像数据进行存储。
在步骤S114中，nal_unit_type确定单元126执行空单元类型(nal_unit_type)确定处理，以对表示比特流接合的信息(concatenation_flag)、表示比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息(auCpbRemovalDelayMinus1)以及表示空单元类型的信息(nal_unit_type)进行设置。
在步骤S115中，无损编码单元115对通过步骤S108中的处理获得的量化系数进行编码。即，对与残差数据对应的数据执行无损编码如可变长度编码或算术编码。
无损编码单元115还对关于通过步骤S105中的处理选择的预测图像的预测模式的信息进行编码，并且将编码信息添加至通过对差图像进行编码获得的编码数据。即，无损编码单元115还对从帧内预测单元120提供的最佳帧内预测模式信息或者从帧间预测单元123提供的最佳帧间预测模式信息进行编码，并且将编码信息添加至编码数据(要被包括在比特流中)。
无损编码单元115还对在步骤S114中设置的表示比特流接合的信息(concatenation_flag)、表示比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息(auCpbRemovalDelayMinus1)以及表示空单元类型的信息(nal_unit_type)进行编码，并且将编码信息添加至编码数据(要被包括在比特流中)。
在步骤S116中，积聚缓冲器116对通过步骤S115中的处理获得的编码数据等进行存储。在适当的时候，积聚在积聚缓冲器116中的编码数据等作为比特流被读取并且经由传送路径或记录介质被传送至解码测。
在步骤S117中，根据通过步骤S116中的处理积聚在积聚缓冲器116中的编码数据的代码量(生成的代码量)，速度控制单元125对量化单元114的量化操作速度进行控制以不使上溢或下溢。速度控制单元125还将关于量化参数的信息提供至量化单元114。
当步骤S117中的处理完成时，编码处理结束。
<空单元类型确定处理的流程>
现在参照图10中所示的流程图来描述在图9中的步骤S114中执行的空单元类型确定处理中的示例流程。
当空单元类型确定处理开始时，在步骤S131中，nal_unit_type确定单元126从在步骤S102中生成的头信息获取isFirstPicture。在步骤S132中，nal_unit_type确定单元126从在步骤S102中生成的头信息获取isLastPicture。在步骤S133中，nal_unit_type确定单元126从在步骤S102中生成的头信息获取isReferencePicture。
在步骤S134中，nal_unit_type确定单元126将concatenation_flag设置为“0(假)”。在步骤S135中，nal_unit_type确定单元126将auCpbRemovalDelayMinus1设置为“0(最小值)”。
在步骤S136中，nal_unit_type确定单元126确定isFirstPicture的值是否为真。如果确定isFirstPicture的值为真或者如果确定当前画面是流的第一个画面，则处理进行至步骤S137。
在步骤S137中，nal_unit_type确定单元126将concatenation_flag设置为“1(真)”。在步骤S138中，nal_unit_type确定单元126还将当前画面的空单元类型(nal_unit_type)设置为IDR_W_RADL或IDR_N_LP(表示IDR画面的值)。当步骤S138中的处理完成时，空单元类型确定处理结束，并且所述处理返回至图9。
如果在步骤S136中确定isFirstPicture的值为假，并且确定当前画面不是流的第一个画面，则处理进行至步骤S139。
在步骤S139中，nal_unit_type确定单元126确定isLastPicture的值是否为真。如果确定isLastPicture的值为真或者如果确定当前画面是流的最后一个画面，则所述处理进行至步骤S140。
在步骤S140中，nal_unit_type确定单元126将当前画面的空单元类型(nal_unit_type)设置为TRAIL_R(或者表示不属于临时子层并且要被参考的拖尾画面的值)。当步骤S140中的处理完成时，空单元类型确定处理结束，并且所述处理返回至图9。
如果在步骤S139中确定isLastPicture的值为假并且确定当前画面不是流的最后一个画面，则所述处理进行至步骤S141。
在步骤S141中，nal_unit_type确定单元126确定isReferencePicture的值是否为真。如果确定isReferencePicture的值为真或者如果确定当前画面是参考画面，则所述处理进行至步骤S142。
在步骤S142中，nal_unit_type确定单元126将当前画面的空单元类型(nal_unit_type)设置为TRAIL_R(或者表示不属于临时子层并且要被参考的拖尾画面的值)。当步骤S142中的处理完成时，空单元类型确定处理结束，并且所述处理返回至图9。
如果在步骤S141中确定isReferencePicture的值为假并且确定当前画面不是参考画面，则所述处理进行至步骤S143。
在步骤S143中，nal_unit_type确定单元126将当前画面的空单元类型(nal_unit_type)设置为TRAIL_N(或者表示不属于临时子层的非参考画面的值)。当步骤S143中的处理完成时，空单元类型确定处理结束，并且所述处理返回至图9。
<速度控制处理的流程>
现在参照图11所示的流程图来描述在步骤S117中要执行的速度控制处理中的示例流程。
当速度控制处理开始时，在步骤S151中，HRD跟踪单元141执行HRD跟踪处理以计算CPB位置。在步骤S152中，目标比特确定单元142执行目标比特确定处理以计算目标比特。
当步骤S152中的处理完成时，速度控制处理结束，并且所述处理返回至图9。
<HRD跟踪处理的流程>
现在参照图12中的流程图来描述在图11中的步骤S151中要执行的HRD跟踪处理中的示例流程。
当HRD跟踪处理开始时，在步骤S161中，HRD跟踪单元141从在步骤S102中生成的头信息获取trace_rate。在步骤S162中，HRD跟踪单元141从在步骤S102中生成的头信息获取frame_rate。在步骤S163中，HRD跟踪单元141从在步骤S102中生成的头信息获取cpb_size。
在步骤S164中，HRD跟踪单元141使用trace_rate和编码画面缓冲器(CPB)的初始移除延迟(从输入至CBP的比特流的起始的时刻直到第一访问单元(AU)的移除时刻的时段)根据下面所示的表达式(1)来初始化CPB位置。
cpb_pos＝trace_rate＊initial_cpb_removal_delay/90000...(1)
在步骤S165中，HRD跟踪单元141获取每个图像中生成的代码(generated_bits)的量。在步骤S166中，HRD跟踪单元141从在步骤S102中生成的头信息获取isLastPicture。
在步骤S167中，HRD跟踪单元141使用在步骤S165中获取的generated_bits根据下面所示的表达式(2)来更新CPB位置(cpb_pos)(或者减去与移除相当的量)
cpb_pos-＝generated_bits...(2)
在步骤S168中，HRD跟踪单元141使用trace_rate和frame_rate根据下面所示的表达式(3)来更新CPB位置(cpb_pos)(或者添加与缓冲器中的增加相当的量)。
cpb_pos+＝trace_rate/frame_rate...(3)
在步骤S169中，HRD跟踪单元141使用cpb_size根据下面所示的表达式(4)来执行剪辑处理。
cpb_pos＝min(cpb_pos，cpb_size)...(4)
在步骤S170中，HRD跟踪单元141确定isLastPicture是否为真。如果确定isLastPicture为假并且确定当前画面不是流的最后一个画面，则所述处理返回至步骤S165，并且重复此后的步骤。即，对每个画面执行步骤S165到步骤S170中的处理。
如果在步骤S170中确定isLastPicture为真并且确定当前画面是流的最后一个画面，则HRD跟踪处理结束，并且所述处理返回至图11。
<目标比特确定处理的流程>
现在参照图13中的流程图来描述在图11中的步骤S152中执行的目标比特确定处理的示例流程。
当目标比特确定处理开始时，在步骤S181中，目标比特确定单元142获取表示在HRD跟踪处理中计算的CPB位置的信息(cpb_pos)(图12)。在步骤S182中，目标比特确定单元142还从在步骤S102中生成的头信息获取表示在结尾处期望的CPB位置的信息(target_cpb_pos)。在步骤S183中，目标比特确定单元142还从在步骤S102中生成的头信息获取表示当前时段是否是用于调整CPB的结尾的时段的信息(isAdjustPeriod)。
在步骤S184中，目标比特确定单元142计算作为表示所生成的代码量的目标值的信息的目标比特。可以通过任何适当的方法来计算该目标比特。
在步骤S185中，目标比特确定单元142确定isAdjustPeriod是否为真以及cpb_pos是否表示比target_cpb_pos更低的位置(isAdjustPeriod&&cpb_pos<target_cpb_pos)。
如果确定isAdjustPeriod为真并且cpb_pos表示比target_cpb_pos更低的位置，则所述处理进行至步骤S186。
在步骤S186中，目标比特确定单元142根据下面所示的表达式(5)来计算目标比特，以使CPB落入在结尾处期望的位置中。
target bit-＝gain＊(target_cpb_pos-cpb_pos_...(5)
在此，优选地，增益的值朝图像的结尾变得较大。在该点计算的目标比特被提供至量化单元114并且然后被使用。即，量化单元114使用该目标比特执行量化。当步骤S186中的处理完成时，目标比特确定处理结束，所述处理返回至图11。
如果在步骤S185中确定isAdjustPeriod为假或者如果cpb_pos表示比target_cpb_pos更高的位置(cpb_pos≥target_cpb_pos)，则跳过步骤S186中的处理，并且目标比特确定处理结束。然后所述处理返回至图11。
<比特流接合>
图14示出了将由执行上述处理的图像编码装置100生成的比特流接合的情况下的示例。图14中的A示出了关于接合之前的相应的比特流(流A和流B)的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。在图14所示的接合中，流B的起始被连接至流A的结尾。图14中的B示出了关于作为接合之后的比特流的流A+B的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。
如图14所示，执行操作，使在流B中concatenation_flag为1，使在这种情况下在IDR中cpb_removal_delay为0。将流A的最后一个画面的nal_unit_type设置为TRAIL_R，使得prevNonDiscardablePic变为流A的结尾处的画面。只要Initial_cpb_removal_delay是正确值，就可以利用这个操作以简单的方式来连接比特流。即，通过执行上述相应的处理，图像编码装置100可以在这样的状态下生成准备与另外的比特流接合的比特流。
<2.第二实施方式>
<比特流接合装置>
在上述实施方式中，当通过对图像数据进行编码来生成比特流时，使比特流处于准备与另外的比特流接合的这样的状态。然而，在比特流接合之前的任意时刻，可以使比特流处于准备与另外的比特流接合的这样的状态。
例如，可以在紧接着比特流接合之前执行这样的操作。下面是对这样的操作的示例的描述。图15是示出了比特流接合装置的特定示例结构的图。图15中所示的比特流接合装置200是执行处理以通过智能渲染编辑接合比特流的装置。例如，比特流接合装置200接收流A和流B的输入，通过将流B的起始连接至流A的结尾生成流A+B，并且输出流A+B。
如图15所示，比特流接合装置200包括缓冲器确定单元211、nal_unit_type重写单元212、缓冲时段重写单元213和比特流接合单元214。
缓冲器确定单元211执行缓冲器确定处理，并且视情况而定执行重新编码，使得在流A+B中CPB将不会中断。nal_unit_type重写单元212将流A的结尾处的nal_unit_type重写为与prevNonDiscardablePic对应的值。缓冲时段重写单元213重写缓冲时段SEI的语法。例如，缓冲时段重写单元213将流B的起始处的concatenation_flag重写为“1(真)”，并且将流B的起始处的auCpbRemovalDelayMinus1重写为“0(最小值)”。比特流接合单元214将具有如上更新的相应的假设参考解码器信息的比特流(如流A和流B)接合。
通过这样做，比特流接合装置200对接合之前的相应的参数进行设置，以生成满足下面描述的条件的比特流。
-要被接合的比特流的结尾处的nal_unit_type满足用于prevNonDiscardablePic的条件(如TRAIL_R)。
-要被接合的比特流的结尾处的cpb的位置高于接合比特流的起始处的cpb的位置。根据语法，initial_cpb_removal_delay的值高。
-接合比特流的起始为concatenation_flag＝1。
-适当地设置接合比特流起始处的auCpbRemovalDelayDeltaMinus1(例如，auCpbRemovalDelayDeltaMinus1＝0)。
当满足那些条件时，就变得可以以简单的方式将比特流与另外的比特流接合。即使用户并没有适当地重写包括在每个比特流中的假设参考解码器信息，仍然可以将那些比特流接合，使得作为接合的结果而获得的比特流将不会中断假设参考解码器。即，比特流接合装置200使要被接合的比特流处于比特流可以更容易地被接合的这样的状态。然后，比特流接合装置200将那些比特流接合。因此，可以更容易地将比特流接合。
<比特流接合处理的流程>
接下来，将描述要由比特流接合装置200执行的每个处理的示例流程。首先参考图16中的流程图来描述比特流接合处理的示例流程。
当比特流接合处理开始时，在步骤S201中，比特流接合装置200的缓冲器确定单元211获取流A，并且在步骤S202中获取流B。
在步骤S203中，缓冲器确定单元211执行缓冲器确定处理，并且调整每个比特流的CPB位置。
在步骤S204中，nal_unit_type重写单元212执行空单元重写处理，并且将流A的结尾处的nal_unit_type重写为与prevNonDiscardablePic对应的值。
在步骤S205中，缓冲时段重写单元213执行缓冲时段重写处理，并且将流B的起始处的concatenation_flag重写为“1(真)”，将流B的起始处的auCpbRemovalDelayMinus1重写为“0(最小值)”。
在步骤S206中，比特流接合单元214将具有如上更新的相应的假设参考解码器信息的比特流接合。例如，比特流接合单元214将流B的起始连接至流A的结尾。
在步骤S207中，比特流接合单元214将接合的比特流(流A+B)输出至比特流接合装置200的外部。
当步骤S207中的处理完成时，比特流接合处理结束。
<缓冲器确定处理的流程>
现在参考图17所示的流程图来描述在图16中的步骤S203中执行的缓冲器确定处理的示例流程。当缓冲器确定处理开始时，在步骤S221中，缓冲器确定单元211计算流A的结尾处的CPB的位置(cpb_pos_A)。在步骤S222中，缓冲器确定单元211计算流B的结尾处的CPB的位置(cpb_pos_B)。
在步骤S223中，缓冲器确定单元211确定“cpb_pos_A<cpb_pos_B”是否为真。如果确定“cpb_pos_A<cpb_pos_B”为真，则处理进行至步骤S224。
在步骤S224中，为了防止假设参考解码器中断，缓冲器确定单元211执行重新编码，使得cpb_pos_A变得大于cpb_pos_B。可以以任何适当的方式来执行所述重新编码。例如，缓冲器确定单元211可以对流A进行重新编码。在此，可以对画面的任何适当的范围进行重新编码。例如，仅流A的最后一个画面可以被重新编码，或者流A的最后几个画面可以被重新编码。在那种情况下，相应的画面的压缩率可能朝结尾变得较高。可替选地，流B可以被重新编码。
当步骤S224中的处理完成时，所述处理返回至图16。如果在步骤S223中确定“cpb_pos_A<cpb_pos_B”为假，则跳过步骤S224中的处理，并且缓冲器确定处理结束。然后，所述处理返回至图16。
<空单元类型重写处理的流程>
现在参照图18中所示的流程图来描述要在图16中的步骤S204中执行的空单元类型重写处理的示例流程。当空单元类型重写处理开始时，在步骤S241中，nal_unit_type重写单元212检查(参考)作为流A的结尾处的nal_unit_type的nal_unit_type_A。
在步骤S242中，nal_unit_type重写单元212根据在步骤S241中进行的检查的结果来确定nal_unit_type_A是否与prevNonDiscardablePic对应。如果确定nal_unit_type_A与prevNonDiscardablePic不对应，则所述处理进行至步骤S243。
在步骤S243中，nal_unit_type重写单元212确定将nal_unit_type_A重写为与prevNonDiscardablePic对应的nal_unit_type。当步骤S243中的处理完成时，空单元类型重写处理结束，并且所述处理返回至图16。
如果在步骤242中确定nal_unit_type_A与prevNonDiscardablePic对应，则跳过步骤S243中的处理，并且空单元类型重写处理结束。然后，所述处理返回至图16。
<缓冲时段重写处理的流程>
现在参照图19所示的流程图来描述要在图16中的步骤S205中执行的缓冲时段重写处理的示例流程。
当缓冲时段重写处理开始时，缓冲时段重写单元213检查流B中的第一缓冲时段SEI。在步骤S261中，缓冲时段重写单元213确定比特流B中的第一缓冲时段SEI的concatenation_flag是否为“1(真)”。如果确定concatenation_flag为“0(假)”，则处理进行至步骤S262。
在步骤S262中，缓冲时段重写单元213将concatenation_flag重写为“1(真)”。在步骤S262中的处理完成之后，所述处理进行至步骤S263。
如果在步骤S261中确定concatenation_flag为“1(真)”，则跳过步骤S262中的处理，并且所述处理进行至步骤S263。
在步骤S263中，缓冲时段重写单元213确定流B中的第一缓冲时段SEI的auCpbRemovalDelayDeltaMinus1是否为“0(最小值)”。如果确定auCpbRemovalDelayDeltaMinus1不为“0(最小值)”，则所述处理进行至步骤S264。
在步骤S264中，缓冲时段重写单元213将auCpbRemovalDelayDeltaMinus1设置为“0(最小值)”。当步骤S264中的处理完成时，缓冲时段重写处理结束，并且所述处理返回至图16。
如果在步骤S263中确定流B中的第一缓冲时段SEI的auCpbRemovalDelayDeltaMinus1为“0(最小值)”，则跳过步骤S264中的处理，并且缓冲时段重写处理结束。然后，所述处理返回至图16。
<比特流接合>
图20示出了执行上述处理的比特流接合装置200接合比特流的情况下的示例。图20中的A示出了关于在接合之前的相应的比特流(流A和流B)的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。在图20所示的接合中，流B的起始被连接至流A的结尾。图20中的B示出了关于作为接合之后的比特流的流A+B的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。
如图20所示，执行操作，在这种情况下，使在流B中concatenation_flag为1，使在IDR中cpb_removal_delay为0。将流A的最后一个画面的nal_unit_type设置为TRAIL_R，使得prevNonDiscardablePic变为流A的结尾处的画面。于是，可以以简单的方式来连接比特流。即，比特流接合装置200可以通过执行上述相应的处理更容易地接合比特流。
<3.第三实施方式>
<比特流接合装置>
图21是示出了比特流接合装置的另一特定示例结构的图。与比特流接合装置200的情况一样(图15)，图21所示的比特流接合装置300是通过智能渲染编辑来执行处理以接合比特流的装置。例如，比特流接合装置300接收流A和流B的输入，通过将流B的起始连接至流A的结尾来生成流A+B并且输出流A+B。
如图21所示，比特流接合装置300包括缓冲器确定单元211、prevNonDiscardablePic搜索单元312、缓冲时段重写单元213和比特流接合单元214。
prevNonDiscardablePic搜索单元312对prevNonDiscardablePic的位置进行搜索。在这种情况下，缓冲时段重写单元213将流B的起始处的concatenation_flag重写为“1(真)”，并且将流B的auCpbRemovalDelayDeltaMinus1重写为“auCpbRemovalDelayDelta-1”。
通过这样做，比特流接合装置300对接合之前的相应的参数进行设置，以生成满足下面描述的条件的比特流。
-要被接合的比特流的结尾处的cpb的位置高于接合比特流的起始处的cpb的位置。根据语法，initial_cpb_removal_delay的值高。
-接合比特流的起始为concatenation_flag＝1。
-适当地设置接合比特流的起始处的auCpbRemovalDelayDeltaMinus1(例如，auCpbRemovalDelayDeltaMinus1＝2)。
当满足那些条件时，可以以简单的方式将比特流与另外的比特流接合。即使用户没有适当地重写包括在每个比特流中的假设参考解码器信息，仍然可以将那些比特流接合，使得作为接合的结果获得的比特流将不会中断假设参考解码器。即，比特流接合装置300使要被接合的比特流处于在比特流可以更容易地被接合的这样的状态。然后，比特流接合装置300将那些比特流接合。因此，可以更容易地接合比特流。
<比特流接合处理的流程>
接下来，将描述要由比特流接合装置300执行的每个处理的示例流程。首先参照图22中的流程图来描述比特流接合处理的示例流程。
当比特流接合处理开始时，在步骤S301中，比特流接合装置300的缓冲器确定单元211获取流A，并且在步骤S302中获取流B。
在步骤S303中，缓冲器确定单元211执行与图16中的步骤S203中的缓冲器确定处理相同的缓冲器确定处理(图17)，并且调整每个比特流的CPB位置。
在步骤S304中，prevNonDiscardablePic搜索单元312执行先前不可丢弃画面搜索处理，并且对prevNonDiscardablePic的位置进行搜索。
在步骤S305中，缓冲时段重写单元213执行缓冲时段重写处理，并且执行处理如将流B的起始处的concatenation_flag重写为“1(真)”。
与图16中的步骤S206一样，在步骤S306中，比特流接合单元214将具有如上更新的相应的假设参考解码器信息的比特流接合。例如，比特流接合单元214将流B的起始连接至流A的结尾。
与图16中的步骤S206一样，在步骤S307中，比特流接合单元214将接合的比特流(流A+B)输出至比特流接合装置200的外部。
当步骤S307中的处理完成时，比特流接合处理结束。
<先前不可丢弃画面搜索处理的流程>
现在参考图23所示的流程图来描述要在图22中的步骤S304中执行的先前不可丢弃画面搜索处理的示例流程。
当先前不可丢弃画面搜索处理开始时，在步骤S321中，prevNonDiscardablePic搜索单元312检查流A的结尾处的prevNonDiscardablePic的位置。
在步骤S322中，prevNonDiscardablePic搜索单元312计算比特流的结尾处的访问单元(AU)的位置与prevNonDiscardablePic之间的差auCpbRemovalDelayDelta。
当完成步骤S322时，先前不可丢弃画面搜索处理结束，并且所述处理返回至图22。
<缓冲时段重写处理的流程>
现在参考图24所示的流程图来描述要在图22中的步骤S305中执行的缓冲时段重写处理的示例流程。
当缓冲时段重写处理开始时，缓冲时段重写单元213检查流B中的第一缓冲时段SEI。在步骤S341中，缓冲时段重写单元213确定流B中的第一缓冲时段SEI的concatenation_flag是否为“1(真)”。如果确定concatenation_flag为“0(假)”，则处理进行至步骤S342。
在步骤S342中，缓冲时段重写单元213将concatenation_flag重写为“1(真)”。在步骤S342中的处理完成之后，所述处理进行至步骤S343。
如果在步骤S341中确定concatenation_flag为“1(真)”，则跳过步骤S342中的处理，并且所述处理进行至步骤S343。
在步骤S343中，缓冲时段重写单元213将流B中的第一缓冲时段SEI的auCpbRemovalDelayDeltaMinus1重写为“auCpbRemovalDelayDelta-1”。当步骤S343中的处理完成时，缓冲时段重写处理结束，并且所述处理返回至图22。
<比特流接合>
图25示出了执行上述处理的比特流接合装置300将比特流接合的情况下的示例。图25中的A示出了关于接合之前的相应的比特流(流A和流B)的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。在图25所示的接合中，流B的起始被连接至流A的结尾。图25中的B示出了关于作为接合之后的比特流的流A+B的(位于连接部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。
如图25所示，执行操作，在这种情况下，使在比特流B中concatenation_flag为1，使在IDR中cpb_removal_delay为0。此外，检查流A的结尾处的prevNonDiscardablePic的位置，并且重写auCpbRemovalDelayDeltaMinus1。于是，可以以简单的方式连接比特流。即，比特流接合装置300可以通过执行上述相应的处理来更容易地接合比特流。
<4.第四实施方式>
<比特流接合装置>
图26是示出了比特流接合装置的另一个特定示例结构的图。与比特流接合装置200的情况一样(图15)，图26所示的比特流接合装置400是通过智能渲染编辑执行处理以接合比特流的装置。例如，比特流接合装置400接收流A和流B的输入，通过将流B的起始连接至流A的结尾来生成流A+B，并且输出流A+B。
如图26所示，比特流接合装置300包括缓冲器确定单元211、prevNonDiscardablePic搜索单元312、prevCpbRemovalDelay搜索单元413、缓冲时段重写单元414、画面定时SEI重写单元415和比特流接合单元214。
prevCpbRemovalDelay搜索单元413对prevCpbRemovalDelay进行搜索。缓冲时段重写单元414重写缓冲时段SEI的语法。画面定时SEI重写单元415重写画面定时SEI的语法。
通过这样做，比特流接合装置400对接合之前的相应的参数进行设置，以生成满足下面描述的条件的比特流。
-要被接合的比特流的结尾处的cpb的位置高于接合比特流的起始处的cpb的位置。根据语法，initial_cpb_removal_delay的值高。
-接合比特流的起始为concatenation_flag＝0。
-适当地设置接合比特流的起始处的auCpbRemovalDelayDeltaMinus1(例如，auCpbRemovalDelayDeltaMinus1＝2)。
-接合比特流的起始处的au_cpb_removal_delay_minus1比要被接合的比特流的结尾处的au_cpb_removal_delay_minus1大+1。
当满足那些条件时，可以变为以简单的方式将比特流与另外的比特流接合。即使用户没有适当地重写包括在每个比特流中的假设参考解码器信息，仍然可以将那些比特流接合，使得作为接合的结果获得的比特流将不会中断假设参考解码器。即，比特流接合装置400使要被接合的比特流处于比特流可以更容易地被接合的这样的状态。然后，比特流接合装置400将那些比特流接合。因此，可以更容易地接合比特流。
<比特流接合处理的流程>
接下来，将描述要由比特流接合装置400执行的每个处理的示例流程。首先参考图27中的流程图来描述比特流接合处理的示例流程。
当比特流接合处理开始时，在步骤S401中，比特流接合装置200的缓冲器确定单元211获取流A，并且在步骤S402中获取流B。
在步骤S403中，缓冲器确定单元211执行与图16中的步骤S203中的缓冲器确定处理相同的缓冲器确定处理(图17)，并且调整每个比特流的CPB位置。
与图22中的步骤S304一样，在步骤S404中，prevNonDiscardablePic搜索单元312执行先前不可丢弃画面搜索处理，并且对prevNonDiscardablePic的位置进行搜索。
在步骤S405中，prevCpbRemovalDelay搜索单元413执行先前Cpb移除延迟搜索处理，并且对prevCpbRemovalDelay的位置进行搜索。
在步骤S406中，缓冲时段重写单元414执行缓冲时段重写处理，并且将流B的起始处的concatenation_flag重写为“0(真)”，将流B的起始处的auCpbRemovalDelayDeltaMinus1重写为“auCpbRemovalDelayDelta-1”。
在步骤S407中，画面定时SEI重写单元415执行画面定时SEI重写处理，并且重写画面定时SEI的语法。
在步骤S408中，比特流接合单元214将具有如上更新的相应的假设参考解码器信息的比特流接合。例如，比特流接合单元214将流B的起始连接至流A的结尾。
在步骤S409中，比特流接合单元214将接合的比特流(流A+B)输出至比特流接合装置200的外部。
当步骤S409中的处理完成时，比特流接合处理结束。
<先前Cpb移除延迟搜索处理的流程>
现在参照图28所示的流程图来描述要在图27中的步骤S405中执行的先前Cpb移除延迟搜索处理的示例流程。
当先前Cpb移除延迟搜索处理开始时，在步骤S421中，prevCpbRemovalDelay搜索单元413对要被接合的流A的最后一个画面定时SEI的au_cpb_removal_delay_minus1中的prevCpbRemovalDelay进行设置。
当步骤S421中的处理完成时，先前Cpb移除延迟搜索处理结束，并且所述处理返回至图27。
<缓冲时段重写处理的流程>
现在参照图29所示的流程图来描述要在图27中的步骤S406中执行的缓冲时段重写处理的示例流程。
当缓冲时段重写处理开始时，在步骤S441中，缓冲时段重写单元414确定接合流B中的第一缓冲时段SEI的concatenation_flag的值是否为“1(真)”。如果确定concatenation_flag为“1”，则所述处理进行至步骤S442。
在步骤S442中，缓冲时段重写单元414将concatenation_flag的值重写为“0(假)”。在步骤S442中的处理完成之后，所述处理进行至步骤S443。如果在步骤S441中确定concatenation_flag不为“1”(或者如果确定concatenation_flag为“0”)，则跳过步骤S442中的处理，并且所述处理进行至步骤S443。
在步骤S443中，缓冲时段重写单元414将auCpbRemovalDelayDeltaMinus1的值重写为“auCpbRemovalDelayDelta-1”(或者auCpbRemovalDelayDeltaMinus1＝auCpbRemovalDelayDelta-1)。
当步骤S443中的处理完成时，缓冲时段重写处理结束，并且所述处理返回至图27。
<画面定时SEI重写处理的流程>
现在参照图30所示的流程图来描述要在图27中的步骤S407中执行的画面定时SEI重写处理的示例流程。
当画面定时SEI重写处理开始时，在步骤S461中，画面定时SEI重写单元415将接合流B的第一个画面定时SEI的au_cpb_removal_delay_minus1重写为“prevCpbRemovalDelay+1”。
当步骤S461中的处理完成时，画面定时SEI重写处理结束，并且所述处理返回至图27。
<比特流接合>
图31示出了执行上述处理的比特流接合装置400将比特流接合的情况下的示例。图31中的A示出了关于接合之前的相应的比特流(流A和流B)的(位于连接的部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。在图31所示的接合中，流B的起始被连接至流A的结尾。图31中的B示出了关于作为接合之后的比特流的流A+B的(位于连接的部分附近的)帧中的一些帧的参数(如与假设参考解码器有关的参数)的示例。
如图31所示，执行操作，在这种情况下，使在流B中concatenation_flag为0，使在IDR中au_cpb_removal_delay_minus1为0。使流B的起始处的au_cpb_removal_delay_minus1比流A的结尾处prevCpbRemovalDelay的大+1。然后，检查流A的结尾处的prevNonDiscardablePic的位置，并且重写auCpbRemovalDelayDeltaMinus1。
于是，可以以简单的方式连接比特流。即，比特流接合装置400可以通过执行上述相应的处理更容易地接合比特流。
<附加信息>
可以将在上述接合时要执行的处理中要使用的信息添加至比特流。例如，必须对如上所述的prevNonDiscardablePic进行搜索，原因是prevNonDiscardablePic在比特流中的位置不清楚。然而，为了搜索prevNonDiscardablePic，需要参考关于开始于比特流的结尾的相应的画面的信息。这可能导致处理负荷的增加。
为了应对此问题，可以预先将表示哪个画面是prevNonDiscardablePic的信息添加至比特流。使用这样的信息，根据所述信息来搜索prevNonDiscardablePic变得更容易，并且可以防止处理负荷的增加。
可以将表示prevNonDiscardablePic的信息添加在比特流中的任意位置。例如，可以将所述信息置于访问单元(AU)的起始处。可以将所述信息置于GOP的起始处。可以将相同的信息置于两个或更多个位置处，如AU的起始和GOP的起始。可以在编辑期间对比特流进行部分地剪裁。因为在多于一个位置设置相同的信息，所以可以防止由于这样的编辑而丢失信息。
此外，例如，可以将指定搜索prevNonDiscardablePic的范围的信息作为附加信息添加至比特流。因为根据这样的信息来限制搜索范围，所以可以防止处理负荷的不必要的增加。
当然可以将任何适当的信息添加至比特流，并且这样的信息不限于上述示例。
本技术的应用的范围可以包括可以对图像数据进行编码的任意图像编码装置以及可以将图像数据的比特流接合的任意图像处理装置。
还可以将本技术应用于被用于经由网络介质如卫星广播、有线电视广播、因特网或便携式电话设备接收通过正交变换如离散余弦变换以及运动补偿像MPEG、H.26x等压缩的图像信息(比特流)的装置。本技术还可以应用于当对存储介质如光盘或磁盘或者闪速存储器上的压缩图像信息进行处理时被使用的装置。
<5.第五实施方式>
<计算机>
上述一系列处理可以由硬件来执行或者可以由软件来执行。当所述一系列处理由软件来执行时，将形成软件的程序安装在计算机中。在此，例如，计算机可以是包括在专用硬件中的计算机或者可以是可以在各种类型的程序被安装至其中时执行各种类型的功能的通用个人计算机。
图32是示出了根据程序执行上述一系列处理的计算机的硬件的示例配置的框图。
在图32所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804彼此连接。
输入/输出接口810也被连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815被连接至输入/输出接口810。
输入单元811由键盘、鼠标、麦克风、触摸板、输入终端等形成。输出单元812由显示器、扬声器、输出终端等形成。存储单元813由硬盘、RAM盘、非易失性存储器等形成。通信单元814由网络接口等形成。驱动器815对可移除介质821如磁盘、光盘、磁光盘或半导体存储器进行驱动。
在具有上述结构的计算机中，CPU 801经由输入/输出接口810和总线804将存储在存储单元813中的程序加载至RAM 803中，并且执行程序，使得上述一系列处理被执行。当需要时，RAM 803还存储用于CPU 801执行各种处理等必须的数据。
例如，可以将要由计算机(CPU 801)执行的程序记录在作为要被使用的封装介质的可移除介质821上。在那种情况下，当可移除介质821被安装在驱动器815上时，可以经由输入/输出接口810将程序安装至存储单元813中。
可替选地，可以经由有线或无线传输介质如局域网、因特网或数字卫星广播来提供该程序。在那种情况下，可以通过通信单元814来接收程序，并且可以将程序安装至存储单元813中。
此外，可以将该程序预先安装至ROM 802或存储单元813中。
要由计算机执行的程序可以是用于根据本说明书中描述的次序以时间顺序执行处理的程序，或者可以是用于并行执行处理或者当需要时如当存在调用时执行处理的程序。
在本说明书中，描述要被记录在记录介质中的程序的步骤包括要并行执行或者如果无需按照时间顺序则彼此独立的处理以及根据本文中描述的次序要以时间顺序执行的处理。
在本说明书中，系统表示部件(装置、模块(部分)等)的集成，并且不是所有部件需要被设置在同一壳体内。鉴于以上，被安置在不同的壳体中并且经由网络彼此连接的装置形成系统，并且具有安置在一个壳体中的模块的一个装置也是系统。
此外，可以将上述任一结构作为一个装置(或者一个处理单元)划分成两个或更多个装置(或处理单元)。相反地，可以将上述任意结构作为两个或更多个装置(或处理单元)组合成一个装置(或处理单元)。此外，当然可以将除了上述那些部件以外的部件添加至所述装置(或处理单元)中的任意所述装置(或处理单元)的结构。此外，只要系统的结构和功能作为整体基本上相同，就可以将装置(或处理单元)的一些部件包括在另一装置(或处理单元)的结构中。
尽管上面参照附图已经描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于那些示例。对本公开内容的技术领域的普通技术人员而言显而易见的是，在本文中所要求的技术精神的范围内，可以做出各种改变或修改，并且应当理解，那些改变或修改在本公开内容的技术范围内。
例如，可以在一个功能经由网络在装置之间共享并且处理通过彼此协作的装置来执行的云计算结构中实现本技术。
参照上述流程图描述的相应的步骤可以由一个装置来执行或者可以在多个装置之间共享。
在多于一个处理被包括在一个步骤中的情况下，包括在所述步骤中的处理可以由一个装置来执行或者可以在多个装置之间共享。
可以将根据上述实施方式的图像编码装置和比特流接合装置应用于各种电子装置如卫星广播中的发送器和接收器、有线广播如有线电视、经由因特网的分发、经由蜂窝通信至终端的分发等、被配置成在介质如光盘、磁盘和闪速存储器中记录图像的记录装置以及被配置成从存储介质再现图像的再现装置。下面将描述应用的四个示例。
<6.第六实施方式>
<第一示例应用：电视接收器>
图33示意性地示出了应用了上述实施方式的电视设备的示例结构。电视设备900包括天线901、调谐器902、分离器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911和总线912。
调谐器902从经由天线901接收的广播信号提取期望通道的信号并且对所提取的信号进行解调。然后，调谐器902将通过解调获得的编码比特流输出至分离器903。即，调谐器902用作接收编码图像的编码流的电视设备900中的传输单元。
分离器903将要从编码比特流被观看的当前节目的视频流和音频流分开，并且将分开的流输出至解码器904。分离器903还从编码比特流提取辅助数据如电子节目指南(EPG)并且将提取的数据提供至控制单元910。如果编码比特流被加扰，则分离器903可以对编码比特流进行解扰。
解码器904对从分离器903输入的视频流和音频流进行解码。然后，解码器904将通过解码生成的视频数据输出至视频信号处理单元905。解码器904还将通过解码生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，并且将所述视频数据显示在显示单元906上。视频信号处理单元905还可以将经由网络提供的应用屏幕显示在显示单元906上。此外，取决于设置，视频信号处理单元905可以执行附加处理如对视频数据的噪声移除。视频信号处理单元905还可以生成图形用户界面(GUI)如菜单、按钮或光标的图像，并且将生成的图像叠加到输出图像上。
显示单元906由从视频信号处理单元905提供的驱动信号来驱动，并且将视频或图像显示在显示装置(如液晶显示器、等离子显示器或有机电致发光显示器(OELD))的视频屏幕上。
音频信号处理单元907执行再现处理如D/A转换和对从解码器904输入的音频数据的放大，并且通过扬声器908输出音频。此外，音频信号处理单元907可以执行附加处理如对音频数据的噪声移除。
外部接口单元909是用于将电视设备900连接至外部装置或网络的接口。例如，经由外部接口单元909接收的视频流或音频流可以由解码器904来解码。即，外部接口单元909还用作接收编码图像的编码流的电视设备900中的传输单元。
控制单元910包括处理器如CPU和存储器如RAM或ROM。存储器存储要由CPU执行的程序、程序数据、EPG数据、经由网络获得的数据等。例如，当电视设备900被激活时，存储在存储器中的程序被读取并且由CPU来执行。CPU例如通过执行所述程序根据从用户接口单元911输入的操作信号来控制电视设备900的操作。
用户接口单元911被连接至控制单元910。例如，用户接口单元911包括用于用户操作电视设备900的按钮和开关以及用于接收远程控制信号的接收单元。用户接口单元911经由这些部件检测用户操作，生成操作信号，并且将生成的操作信号输出至控制单元910。
总线912将调谐器902、分离器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909和控制单元910彼此连接。
例如，在具有上述结构的电视设备900中，视频信号处理单元905可以具有上述图像编码装置100的功能。例如，视频信号处理单元905可以通过上述方法对从解码器904提供的图像数据进行编码。例如，视频信号处理单元905将作为编码的结果获得的编码数据(比特流)提供至外部接口单元909，并且使外部接口单元909将编码数据输出至电视设备900的外部。因此，电视设备900可以使通过对当前图像进行编码生成的比特流处于关于与另外的比特流更容易地进行接合的这样的状态，然后输出所述比特流。
可替选地，例如，视频信号处理单元905可以具有上述比特流接合装置之一(比特流接合装置200到400之一)的功能。例如，视频信号处理单元905能够根据在第二实施方式到第四实施方式中描述的方法通过执行智能渲染编辑来接合比特流。于是，电视设备900(视频信号处理单元905)可以更容易地接合比特流。例如，视频信号处理单元905将以此方式获得的编码数据(比特流)提供至外部接口单元909，并且可以使外部接口单元909将编码数据输出至电视设备900的外部。
<第二示例应用：便携式电话设备>
图34示意性示出了应用了上述实施方式的便携式电话设备的示例结构。便携式电话设备920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921被连接至通信单元922。扬声器924和麦克风925被连接至音频编解码器923。操作单元932被连接至控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931彼此连接。
便携式电话设备920以包括语音电话模式、数据通信模式、成像模式和视频电话模式的各种操作模式执行操作如音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像的捕获、数据的记录等。
在语音电话模式下，将通过麦克风925生成模拟音频信号提供至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，对转换的音频数据执行A/D转换，并且对所述音频数据进行压缩。然后，音频编解码器923将压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成要被发送的信号。然后，通信单元922经由天线921将要被发送的生成的信号发送至基站(未示出)。通信单元922还对经由天线921接收的音频信号执行放大和频率转换并且获取接收的信号。然后，通信单元922对接收的信号进行解调和解码以生成音频数据，并且将生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据执行解压缩和D/A转换以生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924以从该扬声器924输出音频。
在数据通信模式下，控制单元931根据用户经由操作单元932的操作来生成文本数据包括电子邮件。控制单元931还在显示单元930上显示文本。控制单元931还响应于用户经由操作单元932的进行传输的指令而生成电子邮件数据，并且将生成的电子邮件数据输出至通信单元922。通信单元922对所述电子邮件数据进行编码和调制以生成传输信号。然后，通信单元922经由天线921将要被发送的生成的信号发送至基站(未示出)。通信单元922还对经由天线921接收的音频信号执行放大和频率转换，并且获取接收的信号。然后，通信单元922对接收的信号进行解调和解码以恢复电子邮件数据，并且将恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示单元930上，并且将电子邮件数据提供至记录/再现单元929以将数据写到所述记录/再现单元929的存储介质中。
记录/再现单元929包括可读/可写存储介质。例如，存储介质可以是内部存储介质如RAM或闪速存储器。或者可以是外部安装的存储介质如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储卡。
在成像模式下，相机单元926通过捕获对象的图像来生成图像数据，并且将生成的图像数据输出至图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码，并且将编码流提供至记录/再现单元929，以将编码流写到记录/再现单元929的存储介质中。
此外，在图像显示模式下，记录/再现单元929读取记录在存储介质中的编码流，并且将所述编码流输出至图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码，并且将图像数据提供至显示单元930以显示图像。
在视频电话模式下，复用/分离单元928将通过图像处理单元927编码的视频流与从音频编解码器923输入的音频流复用，并且将复用的流输出至通信单元922。通信单元922对所述流进行编码和调制以生成要被发送的信号。然后，通信单元922经由天线921将要被发送的生成的信号发送至基站(未示出)。通信单元922还对经由天线921接收的音频信号执行放大和频率转换并且获取接收的信号。发送信号和接收信号每个包括编码比特流。通信单元922通过对接收信号进行解调和解码来恢复流，并且将恢复的流输出至复用/分离单元928。复用/分离单元928将来自输入流的视频流和音频流分开，并且将视频流输出至图像处理单元927以及将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供至显示单元930，显示单元930显示一系列图像。音频编解码器923对音频流执行解压缩和D/A转换以生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924以从扬声器924输出音频。
例如，在具有上述结构的便携式电话设备920中，图像处理单元927可以具有上述图像编码装置100的功能。即，图像处理单元927可以通过上述方法对图像数据进行编码。因此，便携式电话设备920可以输出或记录已经通过对图像数据进行编码生成的并且使处于与另外的比特流更容易地接合的这样的状态的比特流。
可替选地，例如，图像处理单元927可以具有上述比特流接合装置之一(比特流接合装置200到400之一)的功能。例如，图像处理单元927能够根据第二实施方式到第四实施方式中描述的方法通过执行智能渲染编辑来接合比特流。于是，便携式电话设备920(图像处理单元927)可以更容易地接合比特流。例如，图像处理单元927可以将以此方式获得的编码数据(比特流)提供至记录/再现单元929，并且使记录/再现单元929将编码数据写到它的存储介质中或者经由通信单元922发送编码数据。
<第三示例应用：记录/再现设备>
图35示意性示出了应用了上述实施方式的记录/再现设备的示例结构。例如，记录/再现设备940对接收的广播节目的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质上。例如，记录/再现设备940可以对从另外的装置获得的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质上。例如，记录/再现设备940还对记录在监视器上的记录介质中以及响应于来自用户的指令而通过扬声器的数据进行再现。在这种情况下，记录/再现设备940对音频数据和视频数据进行解码。
记录/再现设备940包括调谐器941、外部接口(I/F)单元942、编码器943、硬盘驱动器(HDD)单元944、磁盘驱动器945、选择器946、解码器947、屏幕显示(OSD)单元948、控制单元949和用户接口(I/F)单元950。
调谐器941从经由天线(未示出)接收的广播信号提取期望通道的信号，并且对提取的信号进行解调。调谐器941将通过解调获得的编码比特流输出至选择器946。即，调谐器941用作记录/再现设备940中的传输单元。
外部接口单元942是用于将记录/再现设备940连接至外部装置或网络的接口。例如，外部接口单元942可以是电气和电子工程师协会(IEEE)1394接口、网络接口、USB接口或者闪速存储器接口。例如，将经由外部接口单元942接收的视频数据和音频数据输入至编码器943。即，外部接口单元942具有作为记录/再现设备940中的传输单元的角色。
如果从外部接口单元942输入的视频数据和音频数据没有被编码，则解码器943对所述视频数据和所述音频数据进行编码。然后，编码器943将编码比特流输出至选择器946。
HDD单元944记录压缩内容数据如视频图像和声音、各种程序和内部硬盘中的其他数据的编码比特流。HDD单元944还从硬盘读取数据以再现视频图像和声音。
硬盘驱动器945将数据记录在安装在其上的记录介质中并且从安装在其上的记录介质读取数据。例如，安装在硬盘驱动器945上的记录介质可以是数字多功能盘(DVD)(如数码影音DVD、DVD随机存取存储器(DVD-RAM)、可记录DVD(DVD-R)、可重写DVD(DVD-RW)、可记录DVD(DVD+R)或者可重写DVD(DVD+RW))或者蓝光(注册商标名称)盘。
在记录视频图像和声音时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将选择的编码比特流输出至HDD单元944或者磁盘驱动器945。在再现视频图像和音频时，选择器946将从HDD单元944或磁盘驱动器945输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器947将生成的视频数据输出至OSD单元948。解码器947还将生成的音频数据输出至外部扬声器。
OSD单元948再现从解码器947输入的视频数据并且显示视频图像。OSD单元948还可以将GUI图像如菜单、按钮或光标叠加到要被显示的视频图像上。
控制单元949包括处理器如CPU和存储器如RAM和ROM。存储器存储要由CPU执行的程序、程序数据等。例如，当记录/再现设备940被激活时，存储在存储器中的程序由CPU读取并执行。例如，通过执行所述程序，CPU根据从用户接口单元950输入的操作信号来控制记录/再现设备940的操作。
用户接口单元950被连接至控制单元949。例如，用户接口单元950包括用户操作记录/再现设备940的按钮和开关以及用于接收远程控制信号的接收单元。用户接口单元950检测用户经由这些部件执行的操作，生成操作信号并且将生成的操作信号输出至控制单元949。
在具有这样的结构的记录/再现设备940中，编码器943可以具有上述图像编码装置100的功能。即，编码器943可以通过上述方法对图像数据进行编码。因此，记录/再现设备940可以输出或记录已经通过对图像数据进行编码生成并且使处于关于与另外的比特流更容易接合的这样的状态的比特流。
可替选地，例如，编码器943可以具有上述比特流接合装置之一(比特流接合装置200到400之一)的功能。例如，编码器943根据第二实施方式到第四实施方式中描述的方法不仅能够对图像数据进行编码而且能够通过执行智能渲染编辑接合比特流。于是，记录/再现设备940(编码器943)可以更容易地接合比特流。
<第四示例应用：成像设备>
图36示意性示出了应用了上述实施方式的成像设备的示例结构。成像设备960通过对对象进行成像来生成图像，对图像数据进行编码，并且将所述图像数据记录在记录介质上。
成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(I/F)单元966、存储单元967、介质驱动器968、OSD单元969、控制单元970、用户接口(I/F)单元971、总线972。
光学块961被连接至成像单元962。成像单元962被连接至信号处理单元963。显示单元965被连接至图像处理单元964。用户接口单元971被连接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970彼此连接。
光学块961包括聚焦透镜和光圈。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)，并且通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种类型的相机信号处理如拐点校正(knee correction)、伽马校正和颜色校正。信号处理单元963将经历相机信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码以生成编码数据。然后，图像处理单元964将生成的编码数据输出至外部接口单元966或介质驱动器968。图像处理单元964还对从外部接口单元966或介质驱动器968输入的编码数据进行解码以生成图像数据。图像处理单元964将生成的图像数据输出至显示单元965。图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以显示图像。图像处理单元964还可以将从OSD单元969获取的用于显示的数据叠加到要被输出至显示单元965的图像上。
OSD单元969可以生成GUI图像如菜单、按钮或光标，并且将生成的图像输出至图像处理单元964。
例如，外部接口单元966被形成为USB输入/输出终端。例如，在打印图像时，外部接口单元966将成像设备960连接至打印机。必要时，也将驱动器连接至外部接口单元966。将可移除介质如磁盘或光盘安装在驱动器上，使得可以将从可移除介质读取的程序安装至成像设备960中。此外，外部接口单元966可以是与网络如LAN或因特网连接的网络接口。即，外部接口单元966具有作为成像设备960中的传输装置的角色。
要被安装在介质驱动器968上的记录介质可以是可读/可写可移除介质如磁盘、磁光盘、光盘或半导体存储器。可替选地，可以以固定方式将记录介质安装在介质驱动器968上以形成不能移动的存储单元如内部硬盘驱动器或固态驱动器(SSD)。
控制单元970包括处理器如CPU和存储器如RAM和ROM。存储器存储要由CPU执行的程序、程序数据等。当成像设备960被激活时，例如，存储在存储器中的程序由CPU读取并执行。例如，CPU通过执行所述程序根据从用户接口单元971输入的操作信号来控制成像设备960的操作。
用户接口单元971被连接至控制单元970。例如，用户接口单元971包括用于用户操作成像设备960的按钮和开关。用户接口单元971经由这些部件检测由用户执行的操作，生成操作信号并且将生成的操作信号输出至控制单元970。
在具有这样的结构的成像设备960中，图像处理单元964可以具有上述图像编码装置100的功能。即，图像处理单元964可以通过上述方法对图像数据进行编码。因此，成像设备960可以输出或记录已经通过对图像数据进行编码生成并且使处于关于与另外的比特流更容易接合的这样的状态的比特流。
可替选地，例如，图像处理单元964可以具有上述比特流接合装置之一(比特流接合装置200到400之一)的功能。例如，图像处理单元964能够根据在第二实施方式到第四实施方式中描述的方法通过执行智能渲染编辑来接合比特流。于是，成像设备960(图像处理单元964)可以更容易地接合比特流。
还可以将本技术应用于HTTP流如MPEG DASH，所述HTTP流使用基于片段从彼此清晰度不同的编码数据的预定块中选择的适当的编码数据。即，可以在编码数据的这样的块中共享与编码和解码有关的信息。
<7.第七实施方式>
<实施方式的其他示例>
虽然上面已经描述了应用了本技术的装置、系统等的示例，但是本技术不限于此，并且可以被实现为要被安装在上面的装置或系统中的装置上的任意结构，如作为系统大规模集成(LSI)等的处理器、使用处理器等的模块、使用模块等的单元以及具有添加至所述单元的其他功能的装置(或者装置中的结构)。
<视频装置>
现在参照图37来描述本技术被实现为装置的情况下的示例。图37示意性地示出了应用了本技术的视频装置的示例结构。
近年来，电子装置已经变成多功能的。如今，在许多情况下，在电子装置的开发和制造的过程中，不仅销售或提供这样的电子装置中的一个结构，或者制造具有一种功能的结构，而且通过将具有相关功能的结构进行组合来制造具有多种功能的一个装置。
图37所示的视频装置1300是这样的多功能结构，并且通过将具有与图像编码和解码(或者编码或解码，或者编码和解码两者)有关的功能的装置以及具有和所述功能有关的另外的功能的装置进行组合来形成。
如图37所示，视频装置1300包括模块如视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314以及具有相关功能的设备如连通器1321、相机1322和传感器1323。
模块通过集成彼此相关的部件的功能来形成，并且用作具有集成的功能的部件。尽管其特定物理结构不受限制，但是可以通过在线路板等上设置具有相应的功能的电子电路元件如处理器、寄存器和电容器并且在所述线路板等上对具有相应的功能的电子电路元件如处理器、寄存器和电容器进行集成来形成模块。可替选地，可以通过将模块与另外的模块、处理器等进行组合来形成新模块。
在图37所示的示例情况下，视频模块1311通过对具有和图像处理有关的功能的结构进行组合来形成，并且包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。
例如，处理器通过由片上系统(SoC)将具有预定功能的结构集成至半导体芯片中来形成，并且将一些处理器称为系统大规模集成(LSI)。具有预定功能的结构可以是逻辑电路(硬件结构)，可以是包括CPU、ROM和RAM以及要由这些部件执行的程序(软件结构)的结构，或者可以是通过将两个结构进行组合而形成的结构。例如，处理器可以包括逻辑电路、CPU、ROM和RAM，所述功能之一可以由逻辑电路(硬件结构)来实现，而其他功能可以通过由CPU执行的程序(软件结构)来实现。
图37中的应用处理器1331是执行与图像处理有关的应用的处理器。要由应用处理器1331执行的应用不仅可以执行算术处理而且在必要时可以对视频模块1311内部和外部的结构如视频处理器1332进行控制以实现预定功能。
视频处理器1332是具有与图像编码和解码(编码和/或解码)有关的功能的处理器。
宽带调制解调器1333通过对要通过经由宽带网络如因特网或公用电话网进行的有线或无线(或者有线和无线)宽带通信被传输的数据(数字信号)执行数字调制等来获取模拟信号，或者通过对模拟信号进行解调将通过宽带通信接收的模拟信号转换成数据(数字信号)。宽带调制解调器1333对信息如要由视频处理器1332处理的图像数据、通过对图像数据进行编码生成的流、应用程序和设置数据进行处理。
RF模块1334是对要经由天线发送或接收的射频(RF)信号执行频率转换、调制/解调、放大、滤波等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。例如，RF模块1334还通过对经由前端模块1314接收的RF信号执行频率转换等来生成基带信号。
如由图37中的虚线1341所示的，应用处理器1331和视频处理器1332可以被集成并且形成为一个处理器。
外部存储器1312是在视频模块1311外部设置的模块并且具有要由视频模块1311使用的存储设备。外部存储器1312的存储设备可以由任意物理结构来实现。一般地，存储装置通常用于存储大量数据如基于帧的图像数据。因此，优选地，存储装置由相对便宜的、大容量的半导体存储器如动态随机存取存储器(DRAM)来实现。
电源管理模块1313管理并控制至视频模块1311(视频模块1311中的相应的结构)的电源。
前端模块1314是为RF模块1334提供前端功能的模块(天线的发送端和接收端处的电路)。例如，如图37所示，前端模块1314包括天线单元1351、滤波器1352和放大单元1353。
天线单元1351包括发送和接收无线电信号的天线以及天线周围的外围结构。天线单元1351发送作为无线电信号从放大单元1353提供的信号，并且将作为电信号(RF信号)接收的无线电信号提供至滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波等，并且将处理的RF信号提供至RF模块1334。放大单元1353对从RF模块1334提供的RF信号进行放大，并且将放大的RF信号提供至天线单元1351。
连通器1321是具有与至外部的连接有关的功能的模块。连通器1321可以具有任意种类的物理结构。例如，连通器1321包括具有与除了宽带调制解调器1333与其兼容的通信标准以外的标准兼容的通信功能的结构以及外部输入/输出终端等。
例如，连通器1321可以包括具有与无线通信标准如蓝牙(注册商标名称)、IEEE802.11(如无线保真(Wi-Fi：注册商标名称))、近场通信(NFC)或红外数据协会(IrDA)兼容的通信功能的模块以及发送和接收与所述标准兼容的信号的天线等。可替选地，连通器1321可以包括具有与电缆通信标准如通用串行总线(USB)或高清晰度多媒体接口(注册商标名称)(HDMI)兼容的通信功能的模块以及与所述标准兼容的终端。此外，连通器1321可以具有一些其他数据(信号)传输功能等如模拟输入/输出终端。
连通器1321可以包括作为数据(信号)传输目的地的装置。例如，连通器1321可以包括在记录介质如磁盘、光盘、磁光盘或者半导体存储器上执行数据读出和写入的驱动器(不仅包括可移除介质的驱动器，而且包括硬盘、固态驱动器(SSD)、网络附接存储器(NAS)等)。连通器1321还可以包括图像或声音输出装置(监视器、扬声器等)。
相机1322是具有对对象进行成像并且获取该对象的图像数据的功能的模块。将通过由相机1322执行成像而获取的图像数据提供至视频处理器1332并且对所述图像数据进行编码。
传感器1323是具有传感器功能的模块，如声音传感器、超声波传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、震动传感器或温度传感器。例如，由传感器1323检测的数据被提供至应用处理器1331并且由应用来使用。
可以将上面作为模块描述的结构实现为处理器，并且可以将上面作为处理器描述的结构实现为模块。
在具有上述结构的视频装置1300中，如稍后将描述的，可以将本技术应用于视频处理器1332。因此，可以将视频装置1300实现为应用了本技术的装置。
<视频处理器的示例结构>
图38示意性示出了应用了本技术的视频处理器1332(图37)的示例结构。
在图38所示的示例情况下，视频处理器1332具有接收视频信号和音频处的输入并且通过预定方法对这些信号进行编码的功能以及对编码视频数据和音频数据进行解码并且再现和输出视频信号和音频信号的功能。
如图38所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。视频处理器1332还包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。视频处理器1332还包括音频编码器1410、音频解码器1411、复用器(MUX)1412、分离器(DMUX)1413和流缓冲器1414。
例如，视频输入处理单元1401获取从连通器1321(图37)输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403根据经由视频输出处理单元1404的输出目的地处的格式对图像数据执行图像放大/缩小处理，或者与第一图像放大/缩小单元1402一样执行格式转换、图像放大/缩小处理等。例如，视频输出处理单元1404对图像数据执行格式转换、至模拟信号的转换等，并且将结果作为再现视频信号输出至连通器1321。
帧存储器1405是在视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407之间共享的图像数据存储器。帧存储器1405被实现为半导体存储器如DRAM。
存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写在访问管理表1406A中的访问帧存储器1405的调度对访问帧存储器1405的写和读进行控制。存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来更新访问管理表1406A。
编码/解码引擎1407执行图像数据编码处理以及对作为由编码图像数据生成的数据的视频流进行解码的处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且顺序地将编码图像数据作为视频流写入视频ES缓冲器1408A中。此外，例如，编码/解码引擎1407顺序地从视频ES缓冲器1408B读取视频流并且对所述视频流进行解码，顺序地将解码的视频流作为图像数据写入帧存储器1405中。在编码和解码中，编码/解码引擎1407使用帧存储器1405作为工作区。例如，当开始对宏块的处理时，编码/解码引擎1407还将同步信号输出至存储器控制单元1406。
视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲，并且将视频流提供至复用器(MUX)1412。视频ES缓冲器1408B对从分离器(DMUX)1413提供的视频流进行缓冲，并且将视频流提供至编码/解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，并且将音频流提供至复用器(MUX)1412。音频ES缓冲器1409B对从分离器(DMUX)1413提供的音频流进行缓冲，并且将音频流提供至音频解码器1411。
音频编码器1410例如对从连通器1321等输入的音频信号执行数字转换，并且通过预定方法如MPEG音频方法或音频编码3(AC3)对音频信号进行编码。音频编码器1410顺序地将作为通过对音频信号进行编码生成的数据的音频流写入音频ES缓冲器1409A中。例如，音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，执行至模拟信号的转换，并且将结果作为再现音频信号提供至连通器1321等。
复用器(MUX)1412将视频流与音频流复用。在此复用(或者任何格式可以用于要通过复用生成的比特流)中可以使用任何方法。在此复用中，复用器(MUX)1412还可以将预定的头信息等添加至比特流。即，复用器(MUX)1412可以通过执行复用来转换流格式。例如，复用器(MUX)1412将视频流与音频流复用，以将所述格式转换成用于传送作为比特流的传输流的格式。此外，例如，复用器(MUX)1412将视频流与音频流复用，以将数据转换成用于记录的文件格式的数据(文件数据)。
分离器(DMUX)1413通过与由复用器(MUX)1412执行的复用兼容的方法对通过将视频流与音频流复用而生成的比特流进行分离。具体地，分离器(DMUX)1413从于比特流缓冲器1414读取的比特流提取视频流和音频流(或者将视频流与音频流分开)。即，分离器(DMUX)1413可以通过执行分离(通过复用器(MUX)1412执行的转换的逆转换)来转换流格式。例如，分离器(DMUX)1413经由流缓冲器1414获取从连通器1321、宽带调制解调器1333等提供的传输流，并且对传输流进行分离以将传输流转换成视频流和音频流。此外，例如，分离器(DMUX)1413经由流缓冲器1414通过连通器1321获取从任意种类的记录介质读取的文件数据，并且对文件数据进行分离以将所述文件数据转换成视频流和音频流。
流缓冲器1414对比特流进行缓冲。例如，比特流缓冲器1414对从复用器(MUX)1412提供的传输流进行缓冲，并且在预定时间或者响应于来自外部的请求等将传输流提供至连通器1321、宽带调制解调器1333等。
此外，例如，流缓冲器1414对从复用器(MUX)1412提供的文件数据进行缓冲，并且在预定时间或者响应于来自外部的请求等将所述文件数据提供至连通器1321等，以将文件数据记录在任意种类的记录介质中。
此外，流缓冲器1414对经由连通器1321、宽带调制解调器1333等获得的传输流进行缓冲，并且在预定时间或者响应于来自外部的请求等将传输流提供至分离器(DMUX)1413。
此外，流缓冲器1414对从连通器1321等中的任意种类的记录介质读取的文件数据进行缓冲，并且在预定时间或者响应于来自外部的请求等将文件数据提供至分离器(DMUX)1413。
接下来，将描述具有上面的结构的视频处理器1332的示例操作。例如，在视频输入处理单元1401中以预定格式如4:2:2Y/Cb/Cr格式将从连通器1321等输入至视频处理器1332的视频信号转换成数字图像数据，并且将数字图像数据顺序地写入帧存储器1405中。还将数字图像数据读入第一图像放大/缩小单元1402或者第二图像放大/缩小单元1403中，使所述数字图像数据经历至预定格式如4:2:0Y/Cb/Cr格式的格式转换、放大/缩小处理，并且再将所述数字图像数据写入帧存储器1405中。图像数据由编码/解码引擎1407来编码，并且作为视频流被写入视频ES缓冲器1408A中。
同时，从连通器1321等输入至视频处理器1332的音频信号由音频编码器1410来编码，并且作为音频流被写入音频ES缓冲器1409A中。
视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流被读入复用器(MUX)1412中，然后被复用，并且被转换成传输流或文件数据。由复用器(MUX)1412生成的传输流由流缓冲器1414进行缓冲，然后经由连通器1321、宽带调制解调器1333等被输出至外部网络。由复用器(MUX)1412生成的文件数据由流缓冲器1414进行缓冲，被输出至连通器1321等，并且被记录至任意种类的记录介质中。
同时，经由连通器1321、宽带调制解调器1333等从外部网络输入至视频处理器1332的传输流由流缓冲器1414进行缓冲，并且然后由分离器(DMUX)1413进行分离。此外，从连通器1321等中的任意种类的记录介质读取并且被输入至视频处理器1332的文件数据由流缓冲器1414进行缓冲，然后由分离器(DMUX)1413进行分离。即，被输入至视频处理器1332的传输流或文件数据由分离器(DMUX)1413划分成视频流和音频流。
音频流经由音频ES缓冲器1409B被提供至音频解码器1411，然后被解码以再现音频信号。同时，视频流被写入视频ES缓冲器1408B中，然后由编码/解码引擎1407顺序地读取和解码，并且被写入帧存储器1405中。解码图像数据经历第二图像放大/缩小单元1403的放大/缩小处理，并且被写入帧存储器1405中。然后，解码图像数据被读入视频输出处理单元1404中，经历至预定格式如4:2:2Y/Cb/Cr格式的格式转换，还被转换成模拟信号，使得视频信号被再现和输出。
在将本技术应用于具有上面的结构的视频处理器1332的情况下，将根据上述相应的实施方式的本技术应用于编码/解码引擎1407。即，例如，编码/解码引擎1407可以具有根据上述实施方式中的每一个的图像编码装置的功能。可替选地，例如，编码/解码引擎1407可以具有根据上述实施方式的比特流接合装置的功能。例如，编码/解码引擎1407能够根据在第二实施方式到第四实施方式中描述的方法通过执行智能渲染编辑来接合比特流。于是，视频处理器1332可以达到与上面参照图1到图31描述的效果相同的效果。
在编码/解码引擎1407中，本技术(或者根据上述相应的实施方式的图像编码装置和比特流接合装置的功能)可以由硬件如逻辑电路来实现，可以由软件如嵌入式程序来实现，或者可以由硬件和软件两者来实现。
<视频处理器的另一示例结构>
图39示意性示出了应用了本技术的视频处理器1332的另一示例结构。在图39所示的示例情况下，视频处理器1332具有通过预定方法对视频数据进行编码和解码的功能。
更具体地，如图39所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。视频处理器1332还包括编解码器引擎1516、存储器接口1517、复用器/分离器(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511对视频处理器1332中的相应的处理单元如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的操作进行控制。
如图39所示，例如，控制单元1511包括主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的相应的处理单元的操作的程序等。主CPU 1531根据程序等生成控制信号，并且将所述控制信号提供至相应的处理单元(或者控制相应的处理单元的操作)。副CPU 1532充当主CPU 1531的辅助。例如，副CPU 1532执行要由主CPU 1531执行的程序等的子处理、子程序等。系统控制器1533对主CPU 1531和副CPU1532的操作如指定要由主CPU 1531和副CPU 1532执行的程序进行控制。
例如，在控制单元1511的控制下，显示接口1512将图像数据输出至连通器1321。例如，显示接口1512将数字图像数据转换成模拟信号，并且将图像数据作为再现视频信号或数字图像数据按原样输出至连通器1321的监视器装置等。
在控制单元1511的控制下，显示引擎1513对图像数据执行各种转换处理如格式转换、大小转换和色域转换，以遵守将显示图像的监视器装置等的硬件规范。
在控制单元1511的控制下，图像处理引擎1514对图像数据执行预定图像处理如用于提高图像品质的滤波。
内部存储器1515是在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间共享的存储器，并且被布置在视频处理器1332中。例如，内部存储器1515用于显示引擎1513、图像处理引擎1514和编解码器引擎1516之间的数据交换。在必要时(例如，响应于请求)，内部存储器1515对从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据进行存储，并且将所述数据提供至显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任意存储装置来实现。一般地，内部存储器1515通常用于存储少量数据如基于块的图像数据和参数。因此，优选地，内部存储器1515由容量相对小(与外部存储器1312相比)但是响应速度高的半导体存储器如静态随机存取存储器(SRAM)来实现。
编解码器引擎1516执行与图像数据的编码和解码有关的处理。编解码器引擎1516能够与任意编码/解码方法兼容，而且可兼容的方法的数量可以是一个或者可以是两个或更多个。例如，编解码器引擎1516具有能够与编码/解码方法兼容的编解码器功能，并且可以对图像数据进行编码或者通过从那些方法中选择的方法对编码数据进行解码。
在图39所示的示例中，编解码器引擎1516包括MPEG-2视频1514、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视图)1545和MPEG-DASH 1551作为用于与编解码器有关的处理的功能块。
MPEG-2视频1541是通过MPEG-2对图像数据进行编码或解码的功能块。AVC/H.2641542是通过AVC对图像数据进行编码或解码的功能块。HEVC/H.265 1543是通过HEVC对图像数据进行编码或解码的功能块。HEVC/H.265(可缩放)1544是通过HEVC对图像数据执行可缩放编码或可缩放解码的功能块。HEVC/H.265(多视图)1545是通过HEVC对图像数据执行多视图编码或多视图解码的功能块。
MPEG-DASH 1551是通过HTTP(MPEG-DASH)由MPEG动态自适应流发送和接收图像数据的功能块。MPEG-DASH是用于使用超文本传输协议(HTTP)处理视频流的技术，其特征之一在于：基于片段从彼此清晰度不同的预定编码数据块中选择适当的编码数据块并传输适当的编码数据。MPEG-DASH 1551生成与标准兼容的比特流并且对流的传输执行控制等。至于对图像数据进行编码/解码，MPEG-DASH 1551通过上述HEVC/H.265(多视图)1545使用MPEG-2视频1541。
存储器接口1517是外部存储器1312的接口。经由存储器接口1517将从图像处理引擎1514和编解码器引擎1516提供的数据提供至外部存储器1312。同时，经由存储器接口1517将从外部存储器1312读取的数据提供至视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
复用器/分离器(MUX DMUX)1518对与图像有关的多种种类的数据如编码数据、图像数据和视频信号的比特流进行复用或分离。在此复用/分离中可以使用任何方法。例如，在复用时，复用/分离(MUX DMUX)1518不仅可以将数据块集成为一个，而且可以将预定头信息等添加至所述数据。在分离时，复用器/分离器(MUX DMUX)1518不仅可以将一个数据集划分成块，而且可以将预定的头信息等添加至每个划分的数据块。即，复用器/分离器(MUXDMUX)1518可以通过执行复用/分离来转换数据格式。例如，复用器/分离器(MUX DMUX)1518可以通过对比特流进行复用将比特流转换成作为按照用于传送的格式的比特流的传输流，或者可以将比特流转换成按照用于记录的文件格式的数据(文件数据)。当然，逆变换还可以通过分离。
网络接口1519是宽带调制解调器1333、连通器1321等的接口。视频接口1520是连通器1321、相机1322等的接口。
接下来，将描述该视频处理器1332的示例操作。当经由连通器1321、宽带调制解调器1333等从外部网络接收传输流时，传输流经由网络接口1519被提供至复用器/分离器(MUX DMUX)1518，所述传输流被分离并且由编解码器引擎1516进行解码。例如，通过由编解码器引擎1516执行的解码获得的图像数据经历通过图像处理引擎1514的预定图像处理，经历通过显示引擎1513的预定转换，并且经由显示接口1512被提供至连通器1321等，使得图像显示在监视器上。此外，通过由编解码器引擎1516执行的解码获得的图像数据再由编解码器引擎1516来编码，由复用器/分离器(MUX DMUX)1518复用和转换成文件数据，经由视频接口1520被输出至连通器1321等，并且被记录至任意种类的记录介质中。
此外，通过对图像数据进行编码而生成并且由连通器1321等从记录介质(未示出)读取的编码数据的文件数据经由视频接口1520被提供至复用器/分离器(MUX DMUX)1518，所述文件数据被分离并且由编解码器引擎1516进行解码。通过由编解码器引擎1516执行的解码获得的图像数据经历通过图像处理引擎1514的预定图像处理，经历通过显示引擎1513的预定转换，并且经由显示接口1512被提供至连通器1321等，使得图像显示在监视器上。此外，通过由编解码器引擎1516执行的解码获取的图像数据再由编解码器引擎1516进行编码，由复用器/分离器(MUX DMUX)1518复用并且被转换成传输流，经由网络接口1519被提供至连通器1321、宽带调制解调器1333等，被传输至另外的设备(未示出)。
例如，使用内部存储器1515或外部存储器1312来进行视频处理器1332中的相应的处理单元之间的图像数据和其他数据的交换。例如，电源管理模块1313对至控制单元1511的电源供给进行控制。
在将本技术应用于具有上面的结构的视频处理器1332的情况下，将根据上述相应实施方式的本技术应用于编解码器引擎1516。即，例如，编解码器引擎1516可以具有构成根据上述实施方式中的每一个的图像编码装置的功能块。可替选地，例如，编解码器引擎1516可以具有根据上述实施方式的比特流接合装置的功能。例如，编解码器引擎1516能够根据第二实施方式到第四实施方式中描述的方法通过执行智能渲染编辑来接合比特流。于是，视频处理器1332可以达到与上面参照图1到图31描述的效果相同的效果。
在编解码器引擎1516中，本技术(或者根据上述相应的实施方式的图像编码装置和比特流接合装置的功能)可以由硬件如逻辑电路来实现，可以由软件如嵌入式程序来实现，或者可以由硬件和软件两者来实现。
虽然上面已经描述了视频处理器1332的两个示例结构，但是除了上述两个示例结构以外，视频处理器1332还可以具有任意适当的结构。可以将视频处理器1332形成为单个半导体芯片，或者可以形成为多个半导体芯片。例如，可以将视频处理器1332形成为半导体被堆叠的三维堆叠LSI。可替选地，视频处理器1332可以由LSI来实现。
<设备的示例应用>
可以将视频装置1300包括在对图像数据进行处理的各种设备中。例如，可以将视频装置1300包括在电视设备900(图33)、便携式电话设备920(图34)、记录/再现设备940(图35)、成像设备960(图36)等中。因为视频装置1300被包括在设备中，所以所述设备可以达到与上面参照图1到图31描述的效果相同的效果。
只要一部分包括视频处理器1332，就可以将上述视频装置1300中的结构的所述部分实现为应用了本技术的结构。例如，可以将视频处理器1332实现为应用了本技术的视频处理器。此外，可以将由虚线1341表示的处理器、视频模块1311等实现为应用了本技术的处理器、模块等。此外，可以将视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314组合成应用了本技术的视频单元1361。可以达到与上面参照图1到图31描述的效果相同的效果。
也就是说，与视频装置1300一样，可以将包括视频处理器1332的任意结构包括在对图像数据进行处理的各种种类的设备中。例如，可以将视频处理器1332、由虚线1341表示的处理器、视频模块1311或者视频单元1361包括在电视设备900(图33)、便携式电话设备920(图34)、记录/再现设备940(图35)、成像设备960(图36)等中。与视频装置1300中的情况一样，因为应用了本技术的结构中的任一个被包括在设备中，所以所述设备可以达到与上面参照图1到图31描述的效果相同的效果。
在本说明书中，已经描述了以下示例：将各种信息块与编码流复用并且将所述各种信息块从编码测发送至解码测。然而，传输信息的方法不限于上面的示例。例如，在未与编码比特流复用的情况下，可以将信息块作为与编码比特流关联的分开的数据来发送或记录。注意，术语“关联”表示使得包括在比特流中的图像(其可能是图像的一部分如片段或块)能够被连接至与解码时的图像相对应的信息。即，可以经由与图像(或比特流)的传输路径不同的传输路径发送所述信息。可替选地，除了用于图像(或比特流)的记录介质以外，还可以将所述信息记录在记录介质中(或者同一记录介质中的不同区域中)。此外，可以将信息和图像(或比特流)与任意单元中如一些帧、一个帧或帧的一部分的单元中的每一个其他单元关联。
本技术还可以按照下面的形式。
(1)一种图像编码装置，包括：
设置单元，被配置成根据关于位置的信息和关于参考的信息来设置与假设参考解码器有关的头信息，所述关于位置的信息和所述关于参考的信息是针对作为图像数据的处理对象的当前画面的；以及
编码单元，被配置成对所述图像数据进行编码并且生成包括所述图像数据的编码数据以及由所述设置单元设置的头信息的比特流。
(2)根据(1)以及(3)到(9)中任一项所述的图像编码装置，其中，所述设置单元对表示空单元类型的信息进行设置。
(3)根据(1)、(2)以及(4)到(9)中任一项所述的图像编码装置，其中，所述设置单元还对表示比特流接合的信息进行设置。
(4)根据(1)到(3)以及(5)到(9)中任一项所述的图像编码装置，其中，所述设置单元还对表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息进行设置。
(5)根据(1)到(4)以及(6)到(9)中任一项所述的图像编码装置，其中，
当所述当前画面是第一个画面时，
所述设置单元将所述表示空单元类型的信息设置为表示IDR画面的值，
将所述表示比特流接合的信息设置为“真”，并且
将所述表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
(6)根据(1)到(5)以及(7)到(9)中任一项所述的图像编码装置，其中，
当所述当前画面是最后一个画面时，
所述设置单元将所述表示空单元类型的信息设置为表示要被参考的拖尾画面的值，所述拖尾画面不属于临时子层，
将所述表示比特流接合的信息设置为“假”，并且
将所述表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
(7)根据(1)到(6)、(8)和(9)中任一项所述的图像编码装置，其中，
当所述当前画面既不是第一个画面也不是最后一个画面而是参考画面时，
所述设置单元将所述表示空单元类型的信息设置为表示要被参考的的拖尾画面的值，所述拖尾画面不属于临时子层，
将所述表示比特流接合的信息设置为“假”，并且
将所述表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
(8)根据(1)到(6)、(7)和(9)中任一项所述的图像编码装置，其中，
当所述当前画面既不是第一个画面也不是最后一个画面并且也不是参考画面时，
所述设置单元将所述表示空单元类型的信息设置为表示非参考画面的值，所述非参考画面不属于临时子层，
将所述表示比特流接合的信息设置为“假”，并且
将所述表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
(9)根据(1)到(8)中任一项所述的图像编码装置，还包括：
速度控制单元，被配置成根据关于所述当前画面的位置的信息、表示用于调整所述假设参考解码器的部件的信息以及表示生成的代码量的信息来设置目标代码量值。
(10)一种图像编码方法，包括：
根据关于位置的信息和关于参考的信息来设置与假设参考解码器有关的头信息，所述关于位置的信息和所述关于参考的信息是针对作为图像数据的处理对象的当前画面的；以及
对所述图像数据进行编码并且生成包括所述图像数据的编码数据和所设置的头信息的比特流。
(11)一种图像处理装置，包括：
更新单元，被配置成更新与假设参考解码器有关的头信息，所述头信息被包括在包含通过对图像数据进行编码而生成的编码数据的比特流中，所述更新使得所述比特流与另外的比特流的接合成为可能。
(12)根据(11)以及(13)到(19)中任一项所述的图像处理装置，其中，所述更新单元对所述比特流进行重新编码，以适当地调整要被接合的比特流的结尾处的编码画面缓冲器的位置与接合比特流的起始处的编码画面缓冲器的位置之间的关系。
(13)根据(11)、(12)以及(14)到(19)中任一项所述的图像处理装置，其中，所述更新单元用与先前不可丢弃画面对应的值来更新表示所述比特流的结尾处的空单元类型的信息。
(14)根据(11)到(13)以及(15)到(19)中任一项所述的图像处理装置，其中，所述更新单元用适合于比特流接合的值来更新与从编码画面缓冲器进行读出有关的信息。
(15)根据(11)到(14)以及(16)到(19)中任一项所述的图像处理装置，其中，所述更新单元对所述比特流的结尾处的先前不可丢弃画面进行搜索，并且根据所述搜索的结果来更新所述比特流的结尾处的访问单元的位置与所述先前不可丢弃画面的位置之间的差。
(16)根据(11)到(15)以及(17)到(19)中任一项所述的图像处理装置，其中，所述更新单元用适合于比特流接合的值来更新与从所述比特流的结尾处的编码画面缓冲器和解码画面缓冲器进行读出有关的信息。
(17)根据(11)到(16)、(18)和(19)中任一项所述的图像处理装置，其中，所述更新单元用适合于比特流接合的值来更新与从所述比特流的起始处的编码画面缓冲器和解码画面缓冲器进行读出有关的信息。
(18)根据(11)到(17)以及(19)中任一项所述的图像处理装置，其中，所述更新单元用根据表示从要被接合的比特流的结尾处的编码画面缓冲器进行读出的延迟的信息的值来更新表示从所述接合比特流的起始处的访问单元的编码画面缓冲器进行读出的延迟的信息。
(19)根据(11)到(18)中任一项所述的图像处理装置，还包括：
接合单元，被配置成将由所述更新单元更新的比特流与另外的比特流接合。
(20)一种图像处理方法，包括：
更新与假设参考解码器有关的头信息，所述头信息被包括在包含通过对图像数据进行编码而生成的编码数据的比特流中，所述更新使得所述比特流与另外的比特流的接合成为可能。
附图标记列表
100 图像编码装置
125 速度控制单元
126 Nal_unit_type确定单元
141 HRD跟踪单元
142 目标比特确定单元
200 比特流接合装置
211 缓冲器确定单元
212 Nal_unit_type重写单元
213 缓冲时段重写单元
214 比特流接合单元
300 比特流接合装置
312 PrevNonDiscardablePic搜索单元
400 比特流接合装置
413 PrevCpbRemovalDelay搜索单元
414 缓冲时段重写单元
415 画面定时SEI重写单元

Claims (20)

1.一种图像编码装置，包括：
设置单元，被配置成根据关于位置的信息和关于参考的信息来设置与假设参考解码器有关的头信息，所述关于位置的信息和所述关于参考的信息是针对作为图像数据的处理对象的当前画面的；以及
编码单元，被配置成对所述图像数据进行编码并且生成包括所述图像数据的编码数据以及由所述设置单元设置的头信息的比特流。
2.根据权利要求1所述的图像编码装置，其中，所述设置单元对表示空单元类型的信息进行设置。
3.根据权利要求2所述的图像编码装置，其中，
所述设置单元还对表示比特流接合的信息进行设置。
4.根据权利要求3所述的图像编码装置，其中，
所述设置单元还对表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息进行设置。
5.根据权利要求4所述的图像编码装置，其中，
当所述当前画面是第一个画面时，
所述设置单元将所述表示空单元类型的信息设置为表示IDR画面的值，
将所述表示比特流接合的信息设置为“真”，并且
将所述表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
6.根据权利要求4所述的图像编码装置，其中，
当所述当前画面是最后一个画面时，
所述设置单元将所述表示空单元类型的信息设置为表示要被参考的拖尾画面的值，所述拖尾画面不属于临时子层，
将所述表示比特流接合的信息设置为“假”，并且
将所述表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
7.根据权利要求4所述的图像编码装置，其中，
当所述当前画面既不是第一个画面也不是最后一个画面而是参考画面时，
所述设置单元将所述表示空单元类型的信息设置为表示要被参考的的拖尾画面的值，所述拖尾画面不属于临时子层，
将所述表示比特流接合的信息设置为“假”，并且
将所述表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
8.根据权利要求4所述的图像编码装置，其中，
当所述当前画面既不是第一个画面也不是最后一个画面并且也不是参考画面时，
所述设置单元将所述表示空单元类型的信息设置为表示非参考画面的值，所述非参考画面不属于临时子层，
将所述表示比特流接合的信息设置为“假”，并且
将所述表示所述比特流的结尾处的访问单元的位置与先前不可丢弃画面的位置之间的差的信息设置为最小值。
9.根据权利要求1所述的图像编码装置，还包括：
速度控制单元，被配置成根据关于所述当前画面的位置的信息、表示用于调整所述假设参考解码器的部分的信息以及表示生成的代码量的信息来设置目标代码量值。
10.一种图像编码方法，包括：
根据关于位置的信息和关于参考的信息来设置与假设参考解码器有关的头信息，所述关于位置的信息和所述关于参考的信息是针对作为图像数据的处理对象的当前画面的；以及
对所述图像数据进行编码并且生成包括所述图像数据的编码数据和所设置的头信息的比特流。
11.一种图像处理装置，包括：
更新单元，被配置成更新与假设参考解码器有关的头信息，所述头信息被包括在包含通过对图像数据进行编码而生成的编码数据的比特流中，所述更新使得所述比特流与另外的比特流的接合成为可能。
12.根据权利要求11所述的图像处理装置，其中，
所述更新单元对所述比特流进行重新编码，以适当地调整要被接合的比特流的结尾处的编码画面缓冲器的位置与接合比特流的起始处的编码画面缓冲器的位置之间的关系。
13.根据权利要求11所述的图像处理装置，其中，
所述更新单元用与先前不可丢弃画面对应的值来更新表示所述比特流的结尾处的空单元类型的信息。
14.根据权利要求11所述的图像处理装置，其中，
所述更新单元用适合于比特流接合的值来更新与从编码画面缓冲器进行读出有关的信息。
15.根据权利要求11所述的图像处理装置，其中，
所述更新单元对所述比特流的结尾处的先前不可丢弃画面进行搜索，并且根据所述搜索的结果来更新所述比特流的结尾处的访问单元的位置与所述先前不可丢弃画面的位置之间的差。
16.根据权利要求11所述的图像处理装置，其中，
所述更新单元用适合于比特流接合的值来更新与从所述比特流的结尾处的编码画面缓冲器和解码画面缓冲器进行读出有关的信息。
17.根据权利要求11所述的图像处理装置，其中，
所述更新单元用适合于比特流接合的值来更新与从所述比特流的起始处的编码画面缓冲器和解码画面缓冲器进行读出有关的信息。
18.根据权利要求17所述的图像处理装置，其中，
所述更新单元用根据表示从要被接合的比特流的结尾处的编码画面缓冲器进行读出的延迟的信息的值来更新表示从所述接合比特流的起始处的访问单元的编码画面缓冲器进行读出的延迟的信息。
19.根据权利要求11所述的图像处理装置，还包括：
接合单元，被配置成将由所述更新单元更新的比特流与另外的比特流接合。
20.一种图像处理方法，包括：
更新与假设参考解码器有关的头信息，所述头信息被包括在包含通过对图像数据进行编码而生成的编码数据的比特流中，所述更新使得所述比特流与另外的比特流的接合成为可能。
CN201580011410.9A 2014-03-07 2015-02-24 图像编码装置和方法及图像处理装置和方法 Expired - Fee Related CN106063275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010187013.XA CN111432209A (zh) 2014-03-07 2015-02-24 图像编码装置、方法及计算机可读存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014045741 2014-03-07
JP2014-045741 2014-03-07
PCT/JP2015/055142 WO2015133325A1 (ja) 2014-03-07 2015-02-24 画像符号化装置および方法、並びに、画像処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010187013.XA Division CN111432209A (zh) 2014-03-07 2015-02-24 图像编码装置、方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN106063275A true CN106063275A (zh) 2016-10-26
CN106063275B CN106063275B (zh) 2020-05-19

Family

ID=54055134

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010187013.XA Withdrawn CN111432209A (zh) 2014-03-07 2015-02-24 图像编码装置、方法及计算机可读存储介质
CN201580011410.9A Expired - Fee Related CN106063275B (zh) 2014-03-07 2015-02-24 图像编码装置和方法及图像处理装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010187013.XA Withdrawn CN111432209A (zh) 2014-03-07 2015-02-24 图像编码装置、方法及计算机可读存储介质

Country Status (6)

Country Link
US (2) US10375406B2 (zh)
EP (2) EP3518541B1 (zh)
JP (3) JP6468279B2 (zh)
KR (1) KR102307283B1 (zh)
CN (2) CN111432209A (zh)
WO (1) WO2015133325A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133325A1 (ja) * 2014-03-07 2015-09-11 ソニー株式会社 画像符号化装置および方法、並びに、画像処理装置および方法
MX2022003561A (es) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Gestión de mensajes de sei de anidamiento escalable.
CN112839226B (zh) * 2019-11-25 2024-02-23 深信服科技股份有限公司 一种图像编码、解码方法、相关装置及存储介质
US20220408098A1 (en) * 2021-06-18 2022-12-22 Tencent America LLC Block-wise entropy coding method in neural image compression

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787640A (zh) * 2004-12-06 2006-06-14 诺基亚有限公司 视频编码、译码和假想参考译码器
CN101658038A (zh) * 2007-04-12 2010-02-24 汤姆森许可贸易公司 针对可缩放视频编码的视频可用信息的方法和设备
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3668556B2 (ja) * 1996-06-13 2005-07-06 ソニー株式会社 ディジタル信号符号化方法
JP3748234B2 (ja) * 2001-05-30 2006-02-22 日本ビクター株式会社 Ｍｐｅｇデータ記録方法
JP4229149B2 (ja) 2006-07-13 2009-02-25 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム
JP2008131147A (ja) 2006-11-17 2008-06-05 Sony Corp 画像処理装置および方法、並びにプログラム
KR101455161B1 (ko) 2007-01-08 2014-10-28 톰슨 라이센싱 비디오 스트림 스플라이싱을 위한 방법 및 장치
US9197888B2 (en) * 2012-03-13 2015-11-24 Dolby Laboratories Licensing Corporation Overlapped rate control for video splicing applications
US9661341B2 (en) * 2013-01-07 2017-05-23 Microsoft Technology Licensing, Llc Syntax and semantics for buffering information to simplify video splicing
WO2015133325A1 (ja) * 2014-03-07 2015-09-11 ソニー株式会社 画像符号化装置および方法、並びに、画像処理装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1787640A (zh) * 2004-12-06 2006-06-14 诺基亚有限公司 视频编码、译码和假想参考译码器
CN101658038A (zh) * 2007-04-12 2010-02-24 汤姆森许可贸易公司 针对可缩放视频编码的视频可用信息的方法和设备
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GARY J. SULLIVAN 等: "HRD issue for bitstream splicing", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: GENEVA, CH, 14–23 JAN. 2013(JCTVC-L0328)》 *

Also Published As

Publication number Publication date
EP3116230A1 (en) 2017-01-11
EP3116230A4 (en) 2017-10-18
KR102307283B1 (ko) 2021-09-30
US20190281314A1 (en) 2019-09-12
JP2019071666A (ja) 2019-05-09
KR20160130990A (ko) 2016-11-15
JPWO2015133325A1 (ja) 2017-04-06
CN111432209A (zh) 2020-07-17
JP6646883B2 (ja) 2020-02-14
JP2019071665A (ja) 2019-05-09
JP6468279B2 (ja) 2019-02-13
US20170013267A1 (en) 2017-01-12
US10375406B2 (en) 2019-08-06
CN106063275B (zh) 2020-05-19
EP3116230B1 (en) 2019-05-08
EP3518541A1 (en) 2019-07-31
WO2015133325A1 (ja) 2015-09-11
EP3518541B1 (en) 2021-01-20
US10764594B2 (en) 2020-09-01
JP6690741B2 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
CN106210746B (zh) 图像解码装置和方法
EP3565249A1 (en) Image processing apparatus and method
CN104620586B (zh) 图像处理装置和方法
CN109644269A (zh) 图像处理设备、图像处理方法和程序
CN105900424B (zh) 解码装置、解码方法、编码装置以及编码方法
CN104704823B (zh) 图像处理装置和方法
CN109068141A (zh) 编码设备和编码方法
CN109417621A (zh) 图像处理装置及方法
CN104104967B (zh) 图像处理设备及图像处理方法
CN106576176A (zh) 图像编码设备和方法以及图像解码设备和方法
CN109804632A (zh) 图像处理装置和图像处理方法
CN105594208A (zh) 解码装置、解码方法、编码装置以及编码方法
CN105874801B (zh) 解码设备和解码方法、以及编码设备和编码方法
JP6646883B2 (ja) 画像符号化装置および方法、並びに、プログラム
CN107079149A (zh) 图像处理装置和方法
CN110169071A (zh) 图像处理装置和图像处理方法
CN109076217A (zh) 图像处理装置和图像处理方法
CN105850134A (zh) 图像处理装置及方法
CN109691100A (zh) 图像处理设备和图像处理方法
CN110476427A (zh) 编码装置和编码方法以及解码装置和解码方法
CN105659609A (zh) 图像处理设备和方法
WO2018168484A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
CN103460696B (zh) 图像处理装置和方法
CN104854869B (zh) 图像处理装置及方法
CN106105226B (zh) 图像编码装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200519

CF01 Termination of patent right due to non-payment of annual fee