CN104412589B - 视频编码/解码设备、方法和程序 - Google Patents

视频编码/解码设备、方法和程序 Download PDF

Info

Publication number
CN104412589B
CN104412589B CN201380033533.3A CN201380033533A CN104412589B CN 104412589 B CN104412589 B CN 104412589B CN 201380033533 A CN201380033533 A CN 201380033533A CN 104412589 B CN104412589 B CN 104412589B
Authority
CN
China
Prior art keywords
picture
display
video
enabled
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380033533.3A
Other languages
English (en)
Other versions
CN104412589A (zh
Inventor
青木启史
蝶野庆
蝶野庆一
塚田正人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to CN201710983749.6A priority Critical patent/CN107749985B/zh
Priority to CN201710984928.1A priority patent/CN107743231B/zh
Priority to CN201710985971.XA priority patent/CN107743232B/zh
Priority to CN201710987197.6A priority patent/CN107743233B/zh
Publication of CN104412589A publication Critical patent/CN104412589A/zh
Application granted granted Critical
Publication of CN104412589B publication Critical patent/CN104412589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频编码器(101)对输入运动视频中的图像数据执行基于预测的编码，从而生成编码的图片的视频比特流。刷新控制器(102)将图片的部分区域指明为刷新单位区域，并且通过在图片中的每个图片中移位刷新单位区域来刷新图片。显示使能区域编码器(103)在刷新过程中对图片中的每个图片中的显示使能区域进行编码，从而生成显示使能区域信息比特流。复用器(104)对视频比特流和显示使能区域信息比特流进行复用。

Description

视频编码/解码设备、方法和程序
技术领域
本发明涉及视频编码技术，特别地，涉及使用自适应预测编码的视频编码技术，其通过自适应地切换图片内编码和图片间预测编码来执行压缩。
背景技术
视频具有大量信息，因此，在视频作为数字数据被记录和传输时有必要以高效率执行对视频的压缩编码。为了实现高效率压缩，各种基本技术被用于视频压缩编码。
存在作为用于视频压缩编码的基本技术之一的预测编码技术。预测编码技术是一种用于在视频中的相应像素被顺序编码时通过使用一个或多个时间上和/或空间上邻近的像素来生成当前将被编码的像素的预测值的并且对在原始信号与预测的信号之间的差分信号进行编码而非直接对原始信号进行编码的技术。一般而言，因为视频中的像素中的每个像素与时间上和/或空间上邻近的像素具有高相关性，因此可以通过使用预测编码技术执行高效率压缩。
预测编码技术之一被称为图片内预测编码，其通过参考在同一图片中包括的一组像素来执行预测，并且另一技术被称为图片间预测编码，其通过参考在不同图片(被称作参考图片)中包括的一组像素来执行预测。一般而言，因为视频内存在一定运动，因此图片间预测编码技术通常与运动补偿技术一起被使用以用于通过使用空间位移信息来增加预测效率。注意，“图片”表示屏幕的处理单位，其在交错格式的视频图像以场为单位被编码的情况下对应于场，而它在非交错格式(逐行格式)的视频图像被编码并且交错格式的视频图像被以帧为单位编码的情况下对应于帧。
一般而言，在视频中、特别地在时间上比在空间上存在更高的相关性。因此，预测编码技术中的图片间预测编码技术特别地可以实现高效率压缩。另一方面，存在当基于在前景和背景之间的定位关系中的移动或者通过编辑的屏幕改变而在整个或者部分屏幕中显著减少时间相关性时的情况。因此，在非专利文献1中描述的包括ISO/IEC 14496-10高级视频编码(AVC)的一般视频编码格式实现了用于通过自适应地切换图片间预测编码和图片内预测编码或者通过自适应地切换图片间预测编码、图片内预测编码和没有预测的图片内编码之一来对作为通过细分图片而获得的单位的部分图像进行编码的自适应预测编码方法。单位的尺寸根据视频编码格式而变化，但是包括垂直方向上的16个像素和水平方向上的16个像素的矩形区域(被称作宏块)通常被使用。在下文中，图片内编码可被称作内编码。
在使用自适应预测编码方法的情况下，由于图片之间的相关性的差异，造成预测效率的差异。结果，造成压缩效率的差异。结果，发生代码量在每一个图片中变化的情形。此外，该变化不论用来传输通过压缩编码获得的数据群组(被称作比特流)的传输路径的传输频带如何都发生。因此，一般视频编码设备和一般视频解码设备包括用于存储比特流以便吸收代码量的变化以及确保预定传输频带中的传输的缓冲存储器。缓冲存储器在AVC标准中被称为编码的图片缓冲区(CPB)。缓冲存储器的容量根据编码设备和解码设备被应用于的系统的特性而极大不同，但是，例如，与0.5秒乘以传输比特率相对应的容量通常被提供。
在包括电视广播的频道切换或者存储型内容的特殊重放的各种情况下，在对视频进行重新编码和传输时要求在比特流的中间开始解码，即，随机存取。当在通过图片间预测编码生成的比特流的中间开始解码时，视频由于基于非解码的参考图片的图片间预测过程而无法被正常解码。因此，实现自适应预测编码的一般视频编码设备执行用于适当插入内编码的编码控制(被称作刷新)以便即使在比特流的中间开始解码时也在预定时间段内获得正常的解码的视频。
刷新方法之一是用于插入其中整个图片由图片内编码进行编码的图片(被称作内编码图片)的即时刷新。图14图示了即时刷新的操作的示例。在附图中，由虚线边界所指示的区域是作为刷新控制的单位的图片群组，并且该群组被称为刷新图片群组(RGOP)。在图14中图示的操作示例中，视频编码设备每隔四个图片插入一个内编码的图片并且进行控制以使得在该内编码的图片之后的三个图片不将在紧接在前的内编码的图片之前编码的图片用作参考图片，也就是说，在刷新图片群组内执行图片间预测。以这种方式，即使当在比特流中间开始解码时，解码设备也可以通过从每个刷新图片群组中的头一个内图片开始解码过程来获得正确的解码的图像。在上面的非专利文献1中描述的AVC中，限制后续图片以使得后续图片不参考在其之前编码的图片的内编码图片被称为即时解码刷新(IDR)图片并且特殊图片标识符被指派给比特流中的IDR图片。符合AVC标准的视频编码设备可以通过将刷新图片群组中的头一个图片编码为IDR图片来向视频解码设备正确地通知为了刷新而开始解码的正确定时。
然而，存在即时刷新增加传输延迟的问题。如上所述，一般而言，在视频中、特别地在时间上存在高相关性。因此，无法采用图片间预测的内编码的图片需要比其他图片更大的编码量以便维持预定的图像质量。在图片之间的生成的代码量的更大差异使为视频编码设备和视频解码设备提供的缓冲存储器的所需容量增大。缓冲存储器的容量的增大造成在编码设备与解码设备之间的传输延迟的增加。因此，即时刷新不适用于需要高实时属性的使用，诸如通过视频的设备远程控制。
另一方面，作为满足对于传输延迟中的减少的需求的刷新方法，存在一种按照通过划分屏幕获得的部分区域(被称作区段)来逐步刷新屏幕并且跨多个图片执行刷新直到刷新完成为止的方法(被称作逐步刷新)。典型逐步刷新之一是例如在专利文献1中公开的内切片刷新。切片是图片中的编码单元块的集合并且指代独立于图片中的其他编码单元块的区段。内切片指代其中为切片中的所有编码单元选择帧内编码并且不执行使用包括同一帧中的另一个切片的其他切片中的像素的预测的切片。内切片刷新执行其中图片中的切片的一部分被编码为内切片的这样的刷新并且进行控制以使得连续图片中的每个图片中被编码为内切片的区域被移动以使得图片中的任何区域在预定时间段内被编码为内切片至少一次。
图15图示了内切片刷新的操作的示例。在时间t处的图片由下面的P(t)指示。在图15中，P(ti-4)、P(ti)和P(ti+4)是逐步刷新的起始帧并且四个图片被刷新直到刷新完成为止。从刷新开始到其结束的时段(在图15中，对应于4个图片)被称为刷新时段。在图15中，由黑色颜料指示的部分区域示出了内切片。在刷新时段期间，通过将屏幕中的所有区域中的每个区域设置为内切片至少一次来执行图像的刷新。
在图15中所图示的内切片刷新中，为了确定地刷新，以与在图15中图示的即时刷新相同的方式向用于也在内切片外部的预测的可参考范围施加限制。在图15中，由虚线边界指示的区域构成部分区域的群组，其是用于刷新控制的单位，并且被称作刷新区段群组(RGOS)。像即时刷新中的刷新图片群组一样，每个刷新区段群组被限制为不参考从具有属于该刷新区段群组的区域的第一图片之前的图片开始的不同刷新区段群组。对如上所述编码的比特流进行接收和解码的视频解码设备可以通过从刷新时段内的头一个图片开始解码来在刷新时段的结束位置之后获得图片的正确的解码的图像而没有整个屏幕中的干扰。在下文中，刷新时段内的头一个图片被称作同步起始图片。当从同步起始图片执行编码时可从其中获得正确的解码的图像而没有整个屏幕中的干扰的第一图片被称作同步完成图片。
顺带提及，逐步刷新不一定需要使用内切片并且通常通过限制在刷新区段群组之间的预测参考关系而被实现。图16图示了一般逐步刷新的示例。为了确定地刷新，由虚线边界指示的属于每个刷新区段群组的区域被限制为不参考从该刷新区段群组中的头一个图片之前的图片开始的不同刷新区段群组。另外，更一般而言，当确保在刷新完成之后的解码的图像足够类似于从比特流的开始解码的图像时，属于每个刷新区段群组的区域可以参考从该刷新区段群组中的头一个帧之前的帧开始的另一个刷新区段群组。
在逐步刷新中，由刷新引起的代码量的增加被分布到整个刷新时段。也就是说，不同于即时刷新的内编码图片，不存在造成整个屏幕中的代码量的增加的图片。因此，图片之间的代码量的变化比使用即时刷新的情况下的更加被减少。结果，缓冲存储器的所需容量减小，并且另外，在编码设备与解码设备之间的传输延迟被降低。
在另一方面，在使用逐步刷新的情况下，不同于IDR图片，不存在明确的刷新起点。因此，通过使用逐步刷新来生成比特流的视频编码设备将关于同步起始图片和同步完成图片(刷新信息)的信息复用到比特流上并且将该比特流传送到解码设备以使得解码设备可以从同步起始图片开始解码并且还从同步完成图片重新开始图像显示。
在非专利文献1中描述的AVC中，作为编码设备将刷新信息传送到解码设备的手段，被称为恢复点补充增强信息消息(恢复点SEI消息)的数据群组被定义。符合AVC的编码设备通过将消息复用到比特流上来将恢复点SEI消息传送到解码设备。符合AVC的解码设备可以根据恢复点SEI消息从同步起始图片开始解码并且从同步完成图片重新开始图像显示。恢复点SEI消息包括关于同步起始图片和同步完成图片的信息并且对应于即时刷新和逐步刷新两者。
图17上的列表示出了构成用来从符合AVC的编码设备向符合AVC的解码设备传送刷新信息的恢复点SEI消息的语法元素。
recovery_frame_cnt是用于通知同步完成图片的参数。也就是说，例如，在图14中图示的P(ti-4)、P(ti)和P(ti+4)和例如在图15中图示的P(ti-1)、P(ti+3)和P(ti+7)被通知。视频解码设备通过恢复点SEI消息本身的存在而被通知成对同步起始图片。也就是说，符合AVC的视频解码设备从恢复点SEI消息所关联于的同步起始图片开始解码并且继续解码直到由recovery_frame_cnt所指示的同步完成图片为止，由此获得解码的图像而没有整个屏幕中的干扰。因此，视频解码设备可以只选择并显示对于使用逐步刷新生成的比特流没有干扰的图像。
exact_match_flag是用于通知在从同步起始图片开始解码的情况下的解码的图像是否与在由recovery_frame_cnt所指示的同步完成图片中从它的开始接收并解码比特流的情况下的解码的图像完全匹配的参数。
broken_link_flag是用于通知当从同步起始图片开始解码时在由recovery_frame_cnt所指示的同步完成图片之前存在的图片群组中是否有可能将发生视觉不可接受程度的干扰的参数。
changing_slice_group_idc是用于通知当从同步起始图片开始解码时在由recovery_frame_cnt所指示的同步完成图片之前存在的图片群组中是否存在即使省略解码处理也不影响刷新完成的部分区域的参数。
参考图17中的列表的与传统刷新信息的复用的示例有关的描述结束。
引用列表
专利文献
PLT 1：JP 2007-221411A(第0005和0006段)
非专利文献
NPL 1：ISO/IEC 14496-10Information technology coding of audio-visualobjects Part 10:Advance Video Coding，2010年12月15日
发明内容
技术问题
当逐步刷新被使用时，在同步起始图片与同步完成图片之间的图片中部分完成屏幕的刷新。当需要被即时通知给观看者的重要信息存在于完成刷新的部分区域中时，优选地开始部分地显示完成刷新的区域，而非等待同步完成图片。然而，没有用于允许视频解码设备容易地知道屏幕中完成刷新的部分的手段，当这种方法被使用时，通过恢复点SEI消息来通知同步起始图片和同步完成图片。因此，存在视频解码设备在同步完成图片之前无法执行显示的问题，也就是说，发生显示的延迟。
在另一方向，当对于每个刷新区段群组的参考区域限制被严格保持时，视频解码设备在解码期间可以知道针对作为预测单元的部分图像中的每个部分图像在预测过程中参考的范围。因此，视频解码设备可以通过计算获得刷新的部分区域。然而，在视频解码设备使用预测参考范围信息通过计算获得刷新的部分区域的情况中，则这造成视频解码设备的计算量增加的问题。
当对于每个刷新区段群组的参考区域限制不被严格保持时，也就是说，当恢复点SEI消息的exact_match_flag被设置为0时，解码器即使使用预测参考范围信息通过计算也无法知道刷新的部分区域。因此，为了解码器使用预测参考范围信息通过计算知道刷新的部分区域，预测参考范围在视频编码设备中需要被限制。也就是说，在视频解码设备使用预测参考范围信息通过计算获得刷新的部分区域的情况下，发生视频压缩效率被降低的这样的问题，由此在不一定需要解码的图像的完全匹配的系统中相对降低视频质量。
本发明鉴于这样的问题而被这样做出，并且其目的是提供能够在逐步刷新中向解码设备通知屏幕中在同步完成图片之前可以开始被显示的部分区域而不增加解码设备的计算量的视频编码设备、视频编码方法和程序。
本发明的另一目的是提供能够在逐步刷新中向解码设备通知屏幕中的在同步完成图片之前可以开始被显示的部分区域而不降低视频质量的视频编码设备、视频编码方法和程序。
本发明的另一目的是提供能够在通过使用逐步刷新生成的比特流被解码并且视频被重放时在同步完成图片之前开始部分地显示而不增加计算量的视频解码设备、视频解码方法和程序。
本发明的另一目的是提供能够在通过使用逐步刷新生成的比特流被解码并且视频被重放时在同步完成图片之前开始部分地显示高质量视频的视频解码设备、视频解码方法和程序。
问题的解决方案
根据本发明的视频编码设备包括：视频编码装置，用于基于预测对输入移动图像的图像数据进行编码以及生成编码的图片的视频比特流；刷新控制装置，用于进行刷新以使得图片中的部分区域被假定为将被刷新的单位区域并且将被刷新的单位区域在逐图片的基础上被移动；显示使能区域编码装置，用于对用于每个图片的显示使能区域进行编码以及在刷新时生成显示使能区域信息比特流；复用装置，用于对视频比特流和显示使能区域信息比特流进行复用。
根据本发明的视频解码设备包括：解复用装置，用于对包括视频数据的比特流和包括将被解码的图像中的显示使能区域信息的比特流进行解复用；视频解码装置，用于基于预测对解复用的视频比特流进行解码以及生成图像数据；视频输出控制装置，用于基于解复用的显示使能区域信息来限制图像数据的输出区域；以及显示使能区域解码装置，用于根据预定方法对解复用的显示使能区域信息比特流进行解码以及提取显示使能区域信息的至少一部分。
根据本发明的视频编码方法包括：基于预测对输入移动图像的图像数据进行编码并且生成编码的图片的视频比特流；进行刷新以使得图片中的部分区域被假定为将被刷新的单位区域并且将被刷新的单位区域在逐图片的基础上被移动；对用于每个图片的显示使能区域进行编码并且在刷新时生成显示使能区域信息比特流；以及对视频比特流和显示使能区域信息比特流进行复用。
根据本发明的视频解码方法包括：对包括视频数据的比特流和包括将被解码的图像中的显示使能区域信息的比特流进行解复用；基于预测对解复用的视频比特流进行解码并且生成图像数据；基于解复用的显示使能区域信息来限制所述图像数据的输出区域；以及根据预定方法对解复用的显示使能区域信息比特流进行解码并且提取所述显示使能区域信息的至少一部分。
根据本发明的视频编码程序使计算机执行：基于预测对输入移动图像的图像数据进行编码并且生成编码的图片的视频比特流的视频编码过程；进行刷新以使得图片中的部分区域被假定为将被刷新的单位区域并且将被刷新的单位区域在逐图片的基础上被移动的刷新控制过程；对用于每个图片的显示使能区域进行编码并且在刷新时生成显示使能区域信息比特流的显示使能区域编码过程；以及对视频比特流和显示使能区域信息比特流进行复用的复用过程。
根据本发明的视频解码程序使计算机执行：对包括视频数据的比特流和包括将被解码的图像中的显示使能区域信息的比特流进行解复用的解复用过程；基于预测对解复用的视频比特流进行解码并且生成图像数据的视频解码过程；基于解复用的显示使能区域信息来限制图像数据的输出区域的视频输出控制过程；以及根据预定方法对解复用的显示使能区域信息比特流进行解码并且提取显示使能区域信息的至少一部分的显示使能区域解码过程。
本发明的有利效果
根据本发明，当视频解码设备在由视频编码设备生成的比特流的中间对其进行接收和重放时，可以在同步完成图片之前开始部分显示，由此降低显示延迟。
附图说明
[图1]其描绘了图示了根据本发明的第一示例性实施例的视频编码设备的配置示例的框图。
[图2]其描绘了图示了第一示例性实施例的视频编码设备的操作示例的流程图。
[图3]其描绘了图示了通过逐步刷新进行视频编码的示例的说明图。
[图4]其描绘了图示了复用显示使能区域信息的示例的说明图。
[图5]其描绘了图示了复用显示使能区域信息的另一示例的说明图。
[图6]其描绘了图示了复用显示使能区域信息的另一示例的说明图。
[图7]其描绘了图示了复用显示使能区域信息的另一示例的说明图。
[图8]其描绘了图示了根据本发明的第二示例性实施例的视频解码设备的配置示例的框图。
[图9]其描绘了图示了第二示例性实施例的视频解码设备的操作示例的流程图。
[图10]其描绘了图示了根据本发明的第三示例性实施例的视频编码设备的配置示例的框图。
[图11]其描绘了图示了根据本发明的第四示例性实施例的视频编码设备的配置示例的框图。
[图12]其描绘了图示了第四示例性实施例的视频编码设备的操作示例的流程图。
[图13]其描绘了图示了使用根据本发明的程序的信息处理系统的示例的框图。
[图14]其描绘了图示了即时刷新的操作示例的说明图。
[图15]其描绘了图示了内切片刷新的操作示例的说明图。
[图16]其描绘了图示了一般化逐步刷新的示例的说明图。
[图17]其描绘了图示了构成恢复点补充增强信息消息的语法元素的示例的说明图。
具体实施方式
下面将参考附图来描述本发明的示例性实施例。
(第一示例性实施例)
图1是根据本发明的第一示例性实施例的视频编码设备的框图。如图所示，第一示例性实施例的视频编码设备包括视频编码器101、刷新控制器102、显示使能区域编码器103和复用器104。本示例性实施例的特征在于对从刷新控制器102获得的每个图片的显示使能区域信息进行编码以用于提供给复用器104的显示使能区域编码器103。
视频编码器101对输入视频中的图片中的每个图片执行编码并且将视频的比特流供应给复用器104。
当自适应预测编码在视频编码器101中被执行时，刷新控制器102将控制信号供应给视频编码器101以使得预测限制在刷新区段群组之间被保持以便执行预期的刷新。刷新控制器102将从刷新区段群组获得的每个图片的显示使能区域信息供应给显示使能区域编码器103。
显示使能区域编码器103对从刷新控制器102供应的显示使能区域信息进行编码并将编码的显示使能区域信息作为显示使能区域信息比特流供应给复用器104。
复用器104对从视频编码器101获得的视频比特流和从显示使能区域编码器103获得的显示使能区域信息比特流进行复用并将复用的比特流输出作为比特流。
下面将参考图2的流程图来描述第一示例性实施例的视频编码设备的视频编码过程。
在步骤S10001中，刷新控制器102将定义刷新操作的控制信息供应给视频编码器101和显示使能区域编码器103。
在步骤S10002中，视频编码器101对输入视频的相应的图片进行编码并且将其视频比特流供应给复用器104。
在步骤10003中，在当前将被编码的图片是在同步起始图片与同步完成图片之间的图片时，过程前进到步骤S10004。在当前将被编码的图片不是在同步起始图片与同步完成图片之间的图片时，步骤S10004的处理被跳过并且过程前进到步骤S10005。
在步骤S10004中，显示使能区域编码器103对定义每个图片的显示使能区域的信息进行编码并将其比特流输出给复用器104。
在步骤S10005中，复用器104对从视频编码器101供应的视频比特流和从显示使能区域编码器103供应的显示使能区域信息比特流进行复用并且输出比特流。
在步骤S10006中，当在步骤S10005中输出的比特流对应于所要编码的最后图片时，视频编码完成。在比特流不对应于最后图片的情况下，过程返回到S10001。
根据上面的配置，在其中视频编码设备通过使用逐步刷新来生成比特流的情况下，视频编码设备可以生成比特流以使得当视频解码设备在比特流中间接收并重放比特流时视频解码设备可以在同步完成图片之前开始部分显示并且降低显示延迟。这是因为视频解码设备可以在同步完成图片之前知道在图片中可被部分显示的区域，这是因为复用器104从显示使能区域编码器103接收定义每个图片中的显示使能起始区域的控制信息、在比特流上复用控制信息并将该控制信息传输给视频解码设备。
(示例)
下面将描述上面的第一示例性实施例的视频编码设备的具体示例。
在本示例中，针对其中用于每个帧的空间分辨率为320x 240像素的逐行视频，通过在水平方向上按5均匀划分图片而获得的64x240像素区域中的最左区域被设置为内编码区段，并且刷新被执行以使得内编码区段被移位以便在5个图片中彼此不重叠。
图3图示了其中刷新被执行的具体实例。在图3中，在时间ti处的图片P(ti)被假定为同步起始图片，并且P(ti+4)被假定为同步完成图片。在时间t处的图片P(t)中的刷新完成区段指示从时间ti到时间t被设置为内编码区段一次的区域。在这种情况下，图片P(ti)、P(ti+1)、P(ti+2)、P(ti+3)和P(ti+4)的相应的显示使能区域从图片的左边起分别是64x 240像素、128x 240像素、192x240像素、256x 240像素和320x 240像素的矩形区域。显示使能区域编码器103对相应的显示使能区域进行编码以用于供应给复用器104。
例如，根据非专利文献1中对“语法功能、类别和描述符的规范(Specification ofsyntax functions,categories,and descriptors)”的描述，上述显示使能区域的信息可以作为补充增强信息消息的一部分(被称作部分显示使能区域补充增强信息消息)被复用到比特流上。
下面将描述对图4的列表中的显示使能区域信息的复用的示例。
假定部分显示使能区域补充增强信息消息所关联于的图片的图片编号在利用由通过下面的公式1获得的图片编号RecvStartPicOrderCnt定义的被假定为同步起始图片的图片开始解码的情况下是CurrPicOrderCnt，则recovery_starting_poc_cnt指示在部分显示使能区域补充增强信息消息中表示的显示使能区域被应用。
RecvStartPicOrderCnt＝CurrPicOrderCnt-recovery_starting_poc_cnt(公式1)
partial_recovery_cnt_minus1表示在部分显示使能区域补充增强信息消息中存在的矩形区域的数目。部分显示使能区域补充增强信息消息所关联于的图片中的显示使能区域作为显示使能矩形区域的并集(union)而被获得。
exact_match_flag[i]指示在从由RecvStartPicOrderCnt定义的图片开始解码的情况下的解码的图像是否与在在显示使能矩形区域中接收比特流并从它的开始进行解码的情况下的解码的图像完全匹配。在exact_match_flag[i]的解码的值为1的情况下，表明针对显示使能矩形区域中的所有像素实现了解码的图像的完全匹配。在exact_match_flag[i]的解码的值为0的情况下，表明针对显示使能矩形区域中的所有像素有可能将不会实现解码的图像的完全匹配。
recovery_rect_left_offset[i]、recovery_rect_right_offset[i]、recovery_rect_top_offset[i]和recovery_rect_bottom_offset[i]是指明显示使能矩形区域在屏幕上的位置的一组参数。假定解码的图像中的左上像素的水平坐标和垂直坐标两者都被设置为0，并且解码的图像中的右下像素的水平坐标和垂直坐标在以CurrPicOrderCnt定义的图片中的矩形区域的左上像素水平坐标、左上像素垂直坐标、右下像素水平坐标和右下像素垂直坐标是CurrRecvRectLeft[i]、CurrRecvRectRight[i]、CurrRecvRectTop[i]和CurrRecvRectBottom[i]时被分别设置为PicWidthInSamples-1和PicHeightInSamples–1，其中CurrRecvRectLeft[i]、CurrRecvRectRight[i]、CurrRecvRectTop[i]和CurrRecvRectBottom[i]的值是通过下面的公式2被计算。
CurrRecvRectLeft[i]＝recovery_rect_left_offset[i]
CurrRecvRectRight[i]＝PicWidthInSamples-1-recovery_rect_right_offset[i]
CurrRecvRectTop[i]＝recovery_rect_top_offset[i]
CurrRecvRectBottom[i]＝PicHeightInSamples-1–recovery_rect_bottom_offset[i](公式2)
现在，对图4中的显示使能区域信息的复用示例的描述结束。
本示例是如下示例，其中在逐图片的基础上针对从同步起始图片到同步完成图片的图片对显示使能区域信息直接编码并且将其作为补充增强信息消息复用在比特流上。然而，根据本发明，例如，针对第一图片，显示使能区域信息作为在图4中示出的部分显示使能区域补充增强信息消息而被复用，并且，针对后续的图片，显示使能区域的更新信息可以作为在图5中示出的部分显示使能区域更新补充增强信息消息而在逐图片的基础上被复用在比特流上。
下面将描述图5的列表中的显示使能区域信息的复用示例。
partial_recovery_ref_poc_cnt指示，假定部分显示使能区域更新补充增强信息消息所关联于的图片的图片编号是CurrPicOrderCnt，则图片的显示使能区域参考由与通过下面的公式3计算出的图片编号PartRecvRefPicOrderCnt定义的图片相关联的部分显示使能区域补充增强信息消息或者部分显示使能区域更新补充增强信息消息定义的另一显示使能区域被计算。
PartRecvRefPicOrderCnt＝CurrPicOrderCnt-partial_recovery_ref_poc_cnt(公式3)
exact_match_flag[i]指示在其中从由RecoveryStartingPicOrderCnt定义的图片开始解码的情况下的解码的图像是否与在其中在显示使能矩形区域中接收比特流并从它的开始进行解码的情况下的解码图像完全匹配。在其中exact_match_flag[i]的解码值为1的情况下，表明针对显示使能矩形区域中的所有像素实现了解码的图像的完全匹配。在exact_match_flag[i]的解码值为0的情况下，表明针对显示使能矩形区域中的所有像素有可能将不会实现解码的图像的完全匹配。
recovery_rect_left_offset_decr[i]、recovery_rect_right_offset_decr[i]、recovery_rect_top_offset_decr[i]和recovery_rect_bottom_offset_decr[i]是用于更新图片中的显示使能矩形区域在屏幕上的位置的一组参数。假定在由PartRecvRefPicOrderCnt定义的图片中确定的第i个显示使能矩形区域中的左上像素水平坐标、左上像素垂直坐标、右下像素水平坐标和右下像素垂直坐标是RefRecvRectLeft[i]、RefRecvRectRight[i]、RefRecvRectTop[i]和RefRecvRectBottom[i]，则在以CurrPicOrderCnt定义的图片中的矩形区域中的左上像素水平坐标CurrRecvRectLeft[i]、左上像素垂直坐标CurrRecvRectRight[i]、右下像素水平坐标CurrRecvRectTop[i]和右下像素垂直坐标CurrRecvRectBottom[i]的值通过下面的公式4被计算。
CurrRecvRectLeft[i]＝RefRecvRectLeft[i]-recovery_rect_left_offset_decr[i]
CurrRecvRectRight[i]＝RefRecvRectRight[i]+recovery_rect_right_offset_decr[i]
CurrRecvRectTop[i]＝RefRecvRectTop[i]-recovery_rect_top_offset_decr[i]
CurrRecvRectBottom[i]＝RefRecvRectBottom[i]+recovery_rect_bottom_offset_decr[i](公式4)
针对recovery_rect_left_offset_decr[i]、recovery_rect_right_offset_decr[i]、recovery_rect_top_offset_decr[i]和recovery_rect_bottom_offset_decr[i]，当每个变量在比特流上不存在时，其值被认为是0。
现在，对图5中的显示使能区域更新信息的复用示例的描述结束。
另外，本示例是如下示例，其中显示使能区域信息作为独立于图4和图5中的其他补充增强信息消息的补充增强信息消息被复用到比特流上。然而，根据本发明，例如，在同步起始图片中，如在图6的列表中图示的部分显示使能区域的信息可被叠加在图17的列表中图示的恢复点补充增强信息消息上，并且可被复用在比特流上。
下面将描述在图6的列表中图示的显示使能区域信息的复用示例。
partital_recovery_info_present_flag是指示部分显示使能区域的信息在相关的补充增强信息消息中是否存在的参数。
因为在图6的列表中显示的其他参数与在图4和图17的列表中显示的参数相同，因此其描述在这里被省略。
现在，对图6中的显示使能区域信息的复用示例的描述结束。
另外，在对本发明的第一示例性实施例的视频编码设备的视频编码过程的以上描述中，针对具有显示使能区域的每个图片对显示使能区域信息进行编码并将显示使能区域信息复用在比特流上的操作示例被图示。然而，根据本发明，在同步起始图片中的显示使能区域信息在如在图7的列表中图示的同步完成图片之前可被叠加在恢复点补充增强信息消息上并且可被复用在比特流上，或者显示使能区域信息可以每隔若干图片被编码并复用在比特流上。
下面将描述在图7中示出的显示使能区域信息的复用示例。
partial_recovery_update_info_present_flag[i]是指示第i个显示使能区域的更新信息是否存在于同步起始图片之后的图片中的参数。
因为在图7的列表中图示的其他参数与在图6和图17的列表中显示的参数相同，因此其描述在这里被省略。
现在，对图7中的显示使能区域信息的复用示例的描述结束。
本示例是如下示例，其中针对每个图片将显示使能区域信息复用作为补充增强信息消息。然而，根据本发明，显示使能区域信息可被与例如用于整个比特流的编码和解码的序列参数集复用在一起，或者显示使能区域信息可被与例如图片参数集复用在一起。
此外，在本示例中，显示使能区域信息针对从同步起始图片到同步完成图片的所有图片而被编码并且被复用在比特流上。然而，本发明不限于对从同步起始图片到同步完成图片的用于所有图片的显示使能区域信息的编码，并且显示使能区域信息可以针对从同步起始图片到同步完成图片的某些图片而被选择性地编码并且可被复用在比特流上。
在本示例中，通过以没有重叠的均匀间隔在屏幕中从左向右移位内编码区段来执行刷新。然而，本发明不限于上面的刷新，并且刷新方向可被任意选择。例如，可以在诸如从右到左、从上到下、从左上到右下、从图片中央到左和右或者沿着从图片中央的涡流形状的任意方向上执行刷新。此外，为了刷新而移位内编码区段的方法是任意的。内编码区段的大小可以针对各个图片而变化并且相同区域在刷新时段期间可被设置为内编码区段两次或更多次。此外，如从在此描述的逐步刷新的描述知道的，本发明不限于基于内编码区段的刷新，并且可以使用诸如限制图片间预测编码的预测范围的方法之类的任意方法来执行刷新。
尽管在本示例中显示使能区域被编码为距离图片的上边缘、下边缘、左边缘和右边缘的偏移值并且被复用在比特流上，但是本发明不限于其中显示使能区域被编码为距离图片的上边缘、下边缘、左边缘和右边缘的偏移值的配置，并且显示使能区域可以通过使用任意表达方法而被编码。
尽管显示使能区域信息根据在非专利文献1中描述的AVC的描述方法而被复用，但是本发明不限于AVC的使用，并且可以应用于其他视频编码方法或者可以应用于替代二维视频的任意维视频编码方法。
在本示例中，尽管显示使能区域作为二维图像上的矩形区域集合而被编码并且被复用在比特流上，但是本发明不限于对作为二维图像上的矩形区域集合的显示使能区域的编码，并且显示使能区域可以通过使用替代矩形区域集合的任意表达方法而被编码或者可以作为任意维的区域而被编码。
对本发明的第一示例性实施例的视频编码设备的描述现在结束。
(第二示例性实施例)
图8是根据本发明第二示例性实施例的视频解码设备的框图。如在图8中图示的，第二示例性实施例的视频解码设备包括解复用器201、视频解码器202、显示使能区域解码器203和视频输出控制器204。本示例性实施例的特征在于提供了对每个图片中的显示使能区域的信息进行解码和输出的显示使能区域解码器203并且还提供了解释显示使能区域并且执行控制以使得除显示使能区域之外的解码的图像不被输出的视频输出控制器204。
解复用器201对比特流进行解复用、提取视频比特流和显示使能区域信息比特流，并且将视频比特流提供给视频解码器202，并且将显示使能区域信息比特流供应给显示使能区域解码器203。
视频解码器202对视频比特流进行解码并且将获得的重构的图像供应给视频输出控制器204。
显示使能区域解码器203对显示使能区域信息比特流进行解码并且将获得的显示使能区域信息供应给视频输出控制器204。
视频输出控制器204进行控制以使得针对从视频解码器202供应的重构的图像不显示从显示使能区域解码器203获得的显示使能区域外部的图像，并且将处理结果作为解码的视频输出。
下面将参考图9的流程图来描述第二示例性实施例的视频解码设备的视频解码过程。
在步骤S20001中，解复用器201对比特流进行解复用、提取视频比特流和显示使能区域信息比特流，并且将视频比特流供应给视频解码器202，并将显示使能区域信息比特流供应给显示使能区域解码器203。
在步骤S20002中，视频解码器202对视频比特流进行解码并且将获得的重构的图像提供给视频输出控制器204。
在步骤S20003中，当显示使能区域信息与图片相关联时，过程前进到步骤S20004。当显示使能区域信息不与图片相关联时，步骤S20004的处理被跳过并且处理前进到步骤S20005。
在步骤S20004中，显示使能区域解码器203对显示使能区域信息比特流进行解码并且将获得的显示使能区域信息提供给视频输出控制器204。
在步骤S20005中，视频输出控制器204进行控制以使得针对从视频解码器202供应的重构的图像不显示从显示使能区域解码器203获得的显示使能区域外部的图像，并且将处理结果作为解码的视频输出。
在步骤S20006中，当在步骤S20002中解码的比特流对应于所要解码的最后图片时，视频解码结束。在比特流不对应于最后图片的情况下，处理返回到S20001。
根据上面的配置，当接收通过使用逐步刷新生成的比特流并在其中间进行重放时，视频解码设备在不通过计算从预测参考范围获得显示使能区域的情况下部分地开始显示，而非等待同步完成图片的解码，由此降低了显示延迟。这是因为视频输出控制器204可以进行控制以使得显示使能区域外部的图像不被输出为解码的视频，这是因为视频解码设备接收作为来自视频编码设备的比特流的定义显示使能区域的信息，并且解复用器201将该信息供应给显示使能区域解码器203。
现在，对本发明的第二示例性实施例的视频解码设备的描述结束。
(第三示例性实施例)
图10是根据本发明第三示例性实施例的视频编码设备的框图。如在图10中图示的，第三示例性实施例的视频编码设备与在图1中图示的第一示例性实施例的视频编码设备相比的相似之处在于相同的组件被包括，但是不同之处在于控制信号被供应给显示使能区域编码器103而非视频编码器101。因为第三示例性实施例的视频编码设备的组件之中的刷新控制器102和复用器104的操作与第一示例性实施例的视频编码设备中的那些设备的操作相同，因此下面将针对剩余块给出描述。
视频编码器101对构成输入视频的图片中的每个图片进行编码并且将视频的比特流提供给复用器104。此外，与其中完成刷新的区域有关的信息被供应给显示使能区域编码器103。
显示使能区域编码器103基于从刷新控制器102供应的显示使能区域信息和从视频编码器101供应的刷新完成区域信息来计算显示使能区域信息并对其进行编码，并且将显示使能区域信息作为显示使能区域信息比特流供应给复用器104。
第三示例性实施例的视频编码设备的视频编码过程如同第一示例性实施例的视频编码设备的视频编码过程一样由图2的流程图表示。在这种情况下，对第三示例性实施例的视频编码设备的视频编码过程的流程的描述将被省略。
根据上面的配置，获得如下效果，其中比第一示例性实施例的视频编码设备的显示使能区域更宽的显示使能区域可被传送到视频解码设备。这是因为在独立于从刷新控制器102供应的控制信号而最终选择内编码并且由此通过在视频编码器101中完成刷新来生成显示使能区域的情况下，显示使能区域编码器103可以对更宽的显示使能区域进行解码并将显示使能区域供应给复用器104。
现在，对本发明的第三示例性实施例的视频编码设备的描述结束。
(第四示例性实施例)
图11是根据本发明第四示例性实施例的视频编码设备的框图。如在图11中图示的，第四示例性实施例的视频编码设备与在图1中图示的第一示例性实施例的视频编码设备相比的不同之处在于显示使能区域编码控制器105被新包括作为其组件。因为第四示例性实施例的视频编码设备的组件之中的视频编码器101、刷新控制器102和复用器104的操作与第一示例性实施例的视频编码设备中的那些设备的操作相同，因此下面将针对剩余块给出描述。
显示使能区域编码控制器105将用于控制对显示使能区域信息的编码的控制信号供应给显示使能区域编码器103。
显示使能区域编码器103对从刷新控制器102供应的显示使能区域信息之中的被从显示使能区域编码控制器105供应的控制信号指示对其进行编码的信息进行编码，并且将该信息作为显示使能区域信息比特流供应给复用器104。
下面将参考图12的流程图来描述第四示例性实施例的视频编码设备的视频编码过程。
在步骤S10001中，刷新控制器102将定义刷新操作的控制信息提供给视频编码器101和显示使能区域编码器103。
在步骤S10002中，视频编码器101对输入视频中的相应的图片进行编码并且将它的视频比特流提供给复用器104。
在步骤10003中，在当前将被编码的图片是在同步起始图片与同步完成图片之间的图片的情况下，过程前进到步骤S10007。在当前将被编码的图片不是从同步起始图片到同步完成图片的图片的情况下，步骤S10007和步骤S10004的处理被跳过并且过程前进到步骤S10005。
在步骤S10007中，当当前显示使能区域是将被编码的区域时，过程前进到步骤S10004。否则，步骤S10004的处理被跳过并且过程前进到步骤S10005。
在步骤S10004中，显示使能区域编码器103对定义每个图片的显示使能区域的信息进行编码并将它的比特流输出给复用器104。
在步骤S10005中，复用器104对从视频编码器101供应的视频比特流和从显示使能区域编码器103供应的显示使能区域信息比特流进行复用并且将复用的比特流作为比特流输出。
在步骤S10006中，当在步骤S10005中输出的比特流对应于所要编码的最后图片时，视频编码完成。在该比特流不对应于最后图片的情况下，处理返回到S10001。
根据上面的配置，除通过第一示例性实施例的视频编码设备获得的效果之外，如下这样的效果被获得：当视频编码设备向视频解码设备通知在同步完成图片之前可以开始显示的部分区域时，视频数据的压缩效率的降低可被相对抑制。这是因为，由于显示使能区域编码控制器105限制所要编码的显示使能区域，因此传送显示使能区域信息所需的数据量可被减少。
现在，对本发明的第四示例性实施例的视频编码设备的描述结束。
如从对本发明的示例性实施例的描述而明显的，本发明可以通过硬件或者计算机程序被实现。
在图13中图示的信息处理系统包括处理器1001、程序存储器1002以及存储介质1003和1004。存储介质1003和存储介质1004可以是分离的存储介质，或是在同一存储介质中包括的存储区域。作为存储介质，诸如硬盘之类的磁存储介质可被用作存储介质。
在图13中图示的信息处理系统中，程序存储器1002存储用于实现在图1、图8、图10和图11中图示的相应的框的功能的程序。处理器1001根据在程序存储器1002中存储的程序来执行过程以实现在图1、图8、图10和图11中图示的视频编码设备或者视频解码设备的功能。
前面提到的示例性实施例中的部分或者全部可被描述为下面提到的补充说明，但是本发明的结构不限于以下结构。
(补充说明1)
一种视频编码设备包括：视频编码装置，用于基于预测对输入移动图像的图像数据进行编码以及生成编码的图片的视频比特流；刷新控制装置，用于进行刷新以使得图片中的部分区域被假定为将被刷新的单位区域并且将被刷新的单位区域在逐图片的基础上被移动；显示使能区域编码装置，用于在刷新时对用于每个图片的显示使能区域进行编码以及生成显示使能区域信息比特流；以及复用装置，用于对视频比特流和显示使能区域信息比特流进行复用。
(补充说明2)
根据补充说明1所述的视频编码设备，其中显示使能区域编码装置通过使用在将被编码的图片中的显示使能区域与过去被编码的图片中的显示使能区域之间的差异来生成所述显示使能区域信息比特流。
(补充说明3)
根据补充说明1或2所述的视频编码设备，还包括显示使能区域编码控制装置，用于控制是否要对显示使能区域进行编码，其中显示使能区域编码装置选择被显示使能区域编码控制装置确定为将被编码的显示使能区域并对其进行编码。
(补充说明4)
根据补充说明1至3中任一补充说明所述的视频编码设备，其中所述刷新控制装置通过内编码来执行刷新。
(补充说明5)
根据补充说明1至4中任一补充说明所述的视频编码设备，其中刷新控制装置在由多个图片配置的预测限制范围内移位将被刷新的单位区域，并且视频编码装置在基于预测执行编码时排除超出预测限制范围的通过图片内预测或者图片间预测得到的预测的值。
(补充说明6)
一种视频解码设备包括：解复用装置，用于对包括视频数据的比特流和包括将被解码的图像中的显示使能区域信息的比特流进行解复用；视频解码装置，用于基于预测对解复用的视频比特流进行解码以及生成图像数据；视频输出控制装置，用于基于解复用的显示使能区域信息来限制图像数据的输出区域；以及显示使能区域解码装置，用于根据预定方法对解复用的显示使能区域信息比特流进行解码以及提取显示使能区域信息的至少一部分。
(补充说明7)
根据补充说明6所述的视频解码设备，其中显示使能区域信息比特流至少包括在将被解码的图片中的显示使能区域与过去解码的图片中的显示使能区域之间的差异，并且显示使能区域解码装置从显示使能区域信息比特流提取在将被解码的图片中的显示使能区域与过去被解码的图片中的显示使能区域之间的差异并且获得将被解码的图片中的显示使能区域。
(补充说明8)
一种视频编码方法包括：基于预测对输入移动图像的图像数据进行编码并且生成编码的图片的视频比特流；进行刷新以使得图片中的部分区域被假定为将被刷新的单位区域并且将被刷新的单位区域在逐图片的基础上被移动；对用于每个图片的显示使能区域进行编码并且在刷新时生成显示使能区域信息比特流；以及对视频比特流和显示使能区域信息比特流进行复用。
(补充说明9)
根据补充说明8所述的视频编码方法，还包括通过使用在将被编码的图片中的显示使能区域与过去编码的图片中的显示使能区域之间的差异来生成显示使能区域信息比特流。
(补充说明10)
根据补充说明8或9所述的视频编码方法，还包括控制是否要对显示使能区域进行编码，以及选择被所述控制确定为将被编码的显示使能区域并对其进行编码。
(补充说明11)
根据补充说明8至10中任一补充说明所述的视频编码方法，还包括在图片刷新被执行时内编码的刷新。
(补充说明12)
根据补充说明8至11中任一补充说明所述的视频编码方法，其中当图片刷新被执行时，在由多个图片配置的预测限制范围内移位将被刷新的单位区域，并且在基于预测执行编码时排除在预测限制范围外的通过图片内预测或者图片间预测的预测值。
(补充说明13)
一种视频解码方法包括：对包括视频数据的比特流和包括将被解码的图像中的显示使能区域信息的比特流进行解复用；基于预测对解复用的视频比特流进行解码并且生成图像数据；基于解复用的显示使能区域信息来限制图像数据的输出区域；以及根据预定方法对解复用的显示使能区域信息比特流进行解码并且提取所述显示使能区域信息的至少一部分。
(补充说明14)
根据补充说明13所述的视频解码设备，还包括从显示使能区域信息比特流提取在将被解码的图片中的显示使能区域与过去被解码的图片中的显示使能区域之间的差异并且获得将被解码的图片中的显示使能区域，该显示使能区域信息比特流至少包括在将被解码的图片中的显示使能区域与过去被解码的图片中的显示使能区域之间的差异。
(补充说明15)
一种视频编码程序，其使计算机执行：基于预测对输入移动图像的图像数据进行编码并且生成编码的图片的视频比特流的视频编码过程；进行刷新以使得图片中的部分区域被假定为将被刷新的单位区域并且将被刷新的单位区域在逐图片的基础上被移动的刷新控制过程；对用于每个图片的显示使能区域进行编码并且在刷新时生成显示使能区域信息比特流的显示使能区域编码过程；以及对视频比特流和显示使能区域信息比特流进行复用的复用过程。
(补充说明16)
根据补充说明15所述的视频编码程序，其中在显示使能区域编码过程中，使计算机执行通过使用在将被编码的图片中的显示使能区域与过去被编码的图片中的显示使能区域之间的差异来生成显示使能区域信息比特流。
(补充说明17)
根据补充说明15或16所述的视频编码程序，其中使计算机执行控制是否要对显示使能区域进行编码的显示使能区域编码控制过程，并且在显示使能区域编码过程中执行选择被显示使能区域编码控制过程确定为将被编码的显示使能区域并对其进行编码。
(补充说明18)
根据补充说明15至17中任一补充说明所述的视频编码程序，其中在刷新控制过程中，使计算机通过内编码执行刷新。
(补充说明19)
根据补充说明15至18中任一补充说明所述的视频编码程序，其中在刷新控制过程中，使计算机执行在由多个图片配置的预测限制范围内移位将被刷新的单位区域，并且在视频编码过程中，使计算机执行在基于预测执行编码时排除在预测限制范围外的通过图片内预测或者图片间预测的预测的值。
(补充说明20)
一种视频解码程序，其使计算机执行：对包括视频数据的比特流和包括将被解码的图像中的显示使能区域信息的比特流进行解复用的解复用过程；基于预测对解复用的视频比特流进行解码并且生成图像数据的视频解码过程；基于解复用的显示使能区域信息来限制图像数据的输出区域的视频输出控制过程；以及根据预定方法对解复用的显示使能区域信息比特流进行解码并且提取显示使能区域信息的至少一部分的显示使能区域解码过程。
(补充说明21)
根据补充说明20所述的视频解码程序，其中在显示使能区域解码过程中，使计算机执行从显示使能区域信息比特流提取在将被解码的图片中的显示使能区域与过去被解码的图片中的显示使能区域之间的差异并且获得将被解码的图片中的显示使能区域，该显示使能区域信息比特流至少包括在将被解码的图片中的显示使能区域与过去被解码的图片中的显示使能区域之间的差异。
尽管已经参考示例性实施例和示例描述了本发明，但是本发明不限于前面提到的示例性实施例和示例。可以对本发明的结构和细节做出在本发明范围内的本领域技术人员可以理解的各种改变。
本申请要求基于在2012年6月25日提交的日本专利申请第2012-141924号的优先权，该申请的公开内容被整体结合于此。
标号列表
101 视频编码器
102 刷新控制器
103 显示使能区域编码器
104 复用器
105 显示使能区域编码控制器
201 解复用器
202 视频解码器
203 显示使能区域解码器
204 视频输出控制器

Claims (2)

1.一种视频解码设备，包括：
解复用装置，所述解复用装置用于将包括图片的编码的区段的图像数据的视频比特流和补充-增强-信息解复用，所述补充-增强-信息具有指示所述编码的区段中的、其中刷新在所述图片中已完成的区段的信息；
视频解码装置，所述视频解码装置用于基于预测对来自解复用的所述视频比特流的所述数据解码；以及
显示使能区域提取装置，所述显示使能区域提取装置用于从解复用的所述补充-增强-信息提取所述信息。
2.一种视频解码方法，包括：
对包括图片的编码的区段的图像数据的视频比特流和补充-增强-信息解复用，所述补充-增强-信息具有指示所述编码的区段中的、其中刷新在所述图片中已完成的区段的信息；
基于预测对来自解复用的所述视频比特流的所述数据解码；以及
从解复用的所述补充-增强-信息提取所述信息。
CN201380033533.3A 2012-06-25 2013-05-31 视频编码/解码设备、方法和程序 Active CN104412589B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710983749.6A CN107749985B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710984928.1A CN107743231B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710985971.XA CN107743232B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710987197.6A CN107743233B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012141924 2012-06-25
JP2012-141924 2012-06-25
PCT/JP2013/003458 WO2014002385A1 (ja) 2012-06-25 2013-05-31 映像符号化／復号装置、方法、プログラム

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN201710985971.XA Division CN107743232B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710983749.6A Division CN107749985B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710984928.1A Division CN107743231B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710987197.6A Division CN107743233B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法

Publications (2)

Publication Number Publication Date
CN104412589A CN104412589A (zh) 2015-03-11
CN104412589B true CN104412589B (zh) 2017-11-17

Family

ID=49782587

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201710984928.1A Active CN107743231B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710985971.XA Active CN107743232B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710987197.6A Active CN107743233B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201380033533.3A Active CN104412589B (zh) 2012-06-25 2013-05-31 视频编码/解码设备、方法和程序
CN201710983749.6A Active CN107749985B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201710984928.1A Active CN107743231B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710985971.XA Active CN107743232B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法
CN201710987197.6A Active CN107743233B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710983749.6A Active CN107749985B (zh) 2012-06-25 2013-05-31 视频解码设备和视频解码方法

Country Status (9)

Country Link
US (5) US10511862B2 (zh)
EP (1) EP2866438A4 (zh)
JP (3) JP6194884B2 (zh)
KR (5) KR101687092B1 (zh)
CN (5) CN107743231B (zh)
AU (1) AU2013282644B2 (zh)
CA (1) CA2876110C (zh)
HK (1) HK1207225A1 (zh)
WO (1) WO2014002385A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
KR102312681B1 (ko) * 2015-03-17 2021-10-13 한화테크윈 주식회사 영상 처리 시스템 및 방법
KR102513784B1 (ko) 2015-10-07 2023-03-23 에스케이온 주식회사 리튬 이차 전지
CN112534810A (zh) * 2018-08-06 2021-03-19 夏普株式会社 运动图像解码装置以及运动图像编码装置
CN112956206B (zh) * 2018-08-29 2024-07-30 夏普株式会社 发送逐渐刷新的方法
WO2020054784A1 (ja) * 2018-09-11 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2020054781A1 (ja) * 2018-09-11 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
JP7399977B2 (ja) * 2019-03-11 2023-12-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
US20210136378A1 (en) * 2020-12-14 2021-05-06 Intel Corporation Adaptive quality boosting for low latency video coding
WO2022168516A1 (ja) * 2021-02-08 2022-08-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568200A (en) 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
JP4189430B2 (ja) 1996-09-02 2008-12-03 株式会社東芝 情報伝送システムにおける復号化・逆多重化装置
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
CN1941905A (zh) 1996-09-02 2007-04-04 株式会社东芝 编解码设备及编码/多路复用设备和解码/多路分解设备
KR100604105B1 (ko) 1998-09-21 2006-07-26 소니 가부시끼 가이샤 부호화 장치 및 방법, 복호 장치 및 방법, 및 기록 매체
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
AU2003205899A1 (en) 2002-02-21 2003-09-09 British Telecommunications Public Limited Company Video processing
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US8184660B2 (en) * 2005-09-15 2012-05-22 Lsi Corporation Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure
JP4649615B2 (ja) 2006-02-16 2011-03-16 国立大学法人三重大学 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
US7898535B2 (en) * 2006-10-31 2011-03-01 Dell Products, Lp System and method for providing dynamic refresh rates for displays
JP4181598B2 (ja) * 2006-12-22 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
KR101115547B1 (ko) * 2007-04-24 2012-03-05 노키아 코포레이션 미디어 파일들에서의 다중 디코딩 시각들을 시그날링
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP5437807B2 (ja) * 2007-09-18 2014-03-12 富士通株式会社 動画像符号化装置および動画像復号装置
KR101401967B1 (ko) * 2007-12-04 2014-06-27 삼성전자주식회사 암호화된 데이터 스트림의 트릭 플레이 방법 및 장치
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
JP5050964B2 (ja) * 2008-03-31 2012-10-17 富士通株式会社 復号装置，復号方法および復号プログラム
JP4935746B2 (ja) 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
US8780986B2 (en) * 2008-06-06 2014-07-15 Apple Inc. Refresh pixel group selection and coding adjustment
US9807422B2 (en) 2009-09-03 2017-10-31 Nec Corporation Video encoding device, video encoding method, and video encoding program
CN105847813B (zh) * 2010-07-13 2018-11-06 日本电气株式会社 视频解码装置和视频解码方法
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
JP4749508B2 (ja) 2010-11-18 2011-08-17 三洋電機株式会社 画像復号方法
MY166191A (en) * 2011-06-30 2018-06-07 Ericsson Telefon Ab L M Absolute or explicit reference picture signaling
JP5760953B2 (ja) * 2011-10-31 2015-08-12 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、及び動画像符号化方法
KR102162119B1 (ko) * 2012-06-29 2020-10-06 지이 비디오 컴프레션, 엘엘씨 비디오 데이터 스트림 개념
US9491456B2 (en) * 2012-09-24 2016-11-08 Qualcomm Incorporated Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9479782B2 (en) * 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
GB2513303B (en) * 2013-04-16 2017-06-07 Canon Kk Method and device for partitioning an image
US10212435B2 (en) * 2013-10-14 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US9866869B2 (en) * 2014-03-17 2018-01-09 Qualcomm Incorporated POC value design for multi-layer video coding

Also Published As

Publication number Publication date
US11706457B2 (en) 2023-07-18
EP2866438A1 (en) 2015-04-29
US11412261B2 (en) 2022-08-09
HK1207225A1 (zh) 2016-01-22
JP2018164293A (ja) 2018-10-18
CN104412589A (zh) 2015-03-11
US10728579B2 (en) 2020-07-28
CN107743233B (zh) 2020-10-16
KR20150013902A (ko) 2015-02-05
KR20190053290A (ko) 2019-05-17
CN107749985A (zh) 2018-03-02
JP6358377B2 (ja) 2018-07-18
CN107743233A (zh) 2018-02-27
US20200322638A1 (en) 2020-10-08
EP2866438A4 (en) 2015-12-02
CA2876110A1 (en) 2014-01-03
CN107749985B (zh) 2020-05-15
CN107743232A (zh) 2018-02-27
CA2876110C (en) 2020-06-02
JP2017216735A (ja) 2017-12-07
JPWO2014002385A1 (ja) 2016-05-30
US11695961B2 (en) 2023-07-04
KR101687092B1 (ko) 2016-12-15
KR20180063354A (ko) 2018-06-11
US20220109881A1 (en) 2022-04-07
US10511862B2 (en) 2019-12-17
KR101781774B1 (ko) 2017-09-25
KR101979559B1 (ko) 2019-05-16
AU2013282644B2 (en) 2016-05-12
KR101865014B1 (ko) 2018-06-05
KR20160145205A (ko) 2016-12-19
WO2014002385A1 (ja) 2014-01-03
CN107743232B (zh) 2020-12-04
US20220109880A1 (en) 2022-04-07
US20190327493A1 (en) 2019-10-24
CN107743231B (zh) 2020-10-16
JP6194884B2 (ja) 2017-09-13
JP6648783B2 (ja) 2020-02-14
US20150181240A1 (en) 2015-06-25
AU2013282644A1 (en) 2015-01-22
KR20170109082A (ko) 2017-09-27
CN107743231A (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
CN104412589B (zh) 视频编码/解码设备、方法和程序
CN106464869A (zh) 调色板表初始化和管理的方法
CN102438147B (zh) 帧内同步立体视频多参考帧模式视间预测编码及解码方法
KR20140053189A (ko) 영상처리시스템, 송신장치, 수신장치, 송신방법, 수신방법 및 컴퓨터 프로그램
JP5957769B2 (ja) 映像処理装置及び映像処理方法
KR101553846B1 (ko) 영상 합성을 위한 프레임 동기화 장치 및 그 방법
CN103024409A (zh) 视频编码方法、视频编码器、视频解码方法与视频解码器
CN105432086A (zh) 处理视频信号的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1207225

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1207225

Country of ref document: HK