CN107852518A - 使伴随消息数据包括在压缩视频比特流中的系统和方法 - Google Patents

使伴随消息数据包括在压缩视频比特流中的系统和方法 Download PDF

Info

Publication number
CN107852518A
CN107852518A CN201580079064.8A CN201580079064A CN107852518A CN 107852518 A CN107852518 A CN 107852518A CN 201580079064 A CN201580079064 A CN 201580079064A CN 107852518 A CN107852518 A CN 107852518A
Authority
CN
China
Prior art keywords
message
video
adjoint
frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580079064.8A
Other languages
English (en)
Inventor
蔡家扬
吴刚
王凯
林裕华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RealNetworks Asia Pacific Co Ltd
Original Assignee
RealNetworks Asia Pacific Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RealNetworks Asia Pacific Co Ltd filed Critical RealNetworks Asia Pacific Co Ltd
Publication of CN107852518A publication Critical patent/CN107852518A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文描述用于将消息数据插入到表示未编码视频帧的编码比特流中以及从表示未编码视频帧的编码比特流中提取消息数据的方法和系统。获得未编码视频帧以及用于包括在编码比特流中的至少一个伴随消息，并且编码未编码视频帧，由此生成编码比特流的视频数据有效载荷。获得对应于伴随消息(多个伴随消息)的消息大小，并且生成编码比特流的帧报头。帧报头可包括：消息使能标志、消息计数标志、对应于伴随消息中的每一个的至少一个消息大小标志以及对应于伴随消息(多个伴随消息)的内容的消息数据。消息计数标志表示包括在帧报头中的伴随消息的数量，并且每个消息大小标志表示相应伴随消息的大小。

Description

使伴随消息数据包括在压缩视频比特流中的系统和方法
技术领域
本公开涉及视频信号的编码和解码，并且更具体地，涉及将伴随消息数据插入压缩视频比特流中以及从压缩视频比特流提取伴随消息数据。
背景技术
数字多媒体(诸如，数字图像、语音/音频、图形以及视频)的到来显著改进了各种应用并且由于相对易用性而开拓了崭新的应用，通过该数字多媒体，已经能够进行内容的可靠存储、通信、传输以及搜索和访问。总体上，数字多媒体的应用已存在许多，涵盖包括娱乐、信息、医疗和安全的广泛范围，并且以许多方式使社会受益。如通过诸如照相机和麦克风的传感器捕获的多媒体通常是模拟的，并且以脉冲编码调制(PCM)的形式的数字化的处理使其数字化。然而，仅在数字化之后，所得数据量可相当巨大，因为这是重建扬声器和/或TV显示器所需的模拟表示所必需的。因此，大量数字多媒体内容的有效通信、存储和/或传输需要其从原始PCM形式压缩为压缩表示。因此，用于压缩多媒体的许多技术已被发明。多年来，视频压缩技术已变得非常复杂直到它们可通常在保持高的心理视觉质量的同时实现10与100之间的高压缩因子的点，通常类似于未压缩数字视频。
迄今为止，在视频压缩的艺术与科学中已取得巨大进步(如通过诸如MPEG-1、MPEG-2、H.263、MPEG-4第2部分、MPEG-4AVC/H.264、MPEG-4SVC和MVC的过多的标准主体驱动视频编码标准以及诸如Windows Media视频、RealVideo、On2VP等的行业驱动专有标准展现的)。然而，消费者对于更高质量、更高清晰度以及现在3D(立体)视频的不断增加的欲望，无论何时何地都可访问使得通过空中广播、电缆/卫星、有线和移动网络，经由诸如DVD/BD的各种装置向一系列客户端设备(诸如，PC/膝上型电脑、TV、机顶盒、游戏控制台、便携式媒体播放器/设备、智能手机以及可穿戴计算设备)的传送成为必需，这推动了对更高级别的视频压缩的期望。在标准主体驱动的标准中，这由ISO MPEG在高效率视频编码中最近开始的努力所证明，期望该努力将新的技术贡献与来自ITU-T标准委员会多年来对H.265视频压缩所作的探索性工作的技术组合起来。
所有前述标准采用总体帧间预测编码框架，该框架涉及通过将帧首先划分为子单元(即，编码块、预测块和变换块)，通过补偿视频帧之间的运动来降低时间冗余。运动矢量被分配至相对于过去解码帧(其可以是按照显示顺序的过去帧或未来帧)的将被编码帧的每个预测块；这些运动矢量随后被传输至解码器并且用于生成与过去解码帧差分并且逐块编码(通常通过变换编码)的运动补偿预测帧。在过去的标准中，这些块通常为十六乘十六像素。
然而，帧大小已大大增加，并且许多移动设备具有显示高于“高清晰度”(或“HD”)帧大小(诸如，2048×1530像素)的能力。因此，需要更大尺寸的块来有效编码用于这些帧大小的运动矢量。然而，也可期望能够对相对小规模(例如，4×4像素)执行预测和变换。
在最先进的视频压缩技术中，运动补偿是编码解码器设计中的必需部分。基本概念是通过使用块匹配方法来移除相邻图片之间的时间依赖性。如果编码块可在基准图片中找到另一类似块，则只有这两个编码块之间的差异(被称为“残余”或“残余信号”)被编码。此外，表示这两个匹配块之间的空间距离的运动矢量(MV)也被编码。因此，只有残余和MV被编码，而不是编码块中的整个样本都被编码。通过移除该类型的时间冗余，视频样本可被压缩。
为了进一步压缩视频数据，在已应用帧间或帧内预测技术之后，残余信号的系数通常从空间域变换为频域(例如，使用离散余弦变换(“DCT”)或离散正弦变换(“DST”))。对于自然发生的图像，诸如通常构成人类可感知视频序列的图像类型，低频能量总是比高频能量更强。因此，与残余信号在空间域中相比，频域中的残余信号获得更好的能量集中。在正向变换之后，与任意运动矢量和相关语法信息一起，系数被量子化和熵编码。对于每一帧的未编码视频数据，对应编码系数和运动矢量构成视频数据有效载荷，并且相关语法信息构成与视频数据有效载荷相关联的帧报头。
在解码器侧上，逆量化和逆变换应用于系数以恢复空间残余信号。反向预测处理然后可被执行以便生成重塑版本的原始未编码视频序列。这些是对大多数视频压缩标准(如果不是所有视频压缩标准)共用的典型预测/变换/量化处理。
在常规视频编码/解码系统中，比特流的帧报头级别处的所有元素设计为用于向下游解码器传输编码相关的语法信息。然而，编码器的操作者可期望向下游解码系统提供额外信息，诸如，与被传输的材料的版权相关的信息、标题、作者姓名、数字版权管理(“DRM”)等。
附图说明
图1示出根据至少一个实施方式的示例性视频编码/解码系统。
图2示出根据至少一个实施方式的示例性编码设备的若干组件。
图3示出根据至少一个实施方式的示例性解码设备的若干组件。
图4示出根据至少一个实施方式的示例性软件实现视频编码器的功能框图。
图5示出根据至少一个实施方式的示例性软件实现视频解码器的框图。
图6示出根据至少一个实施方式的消息插入例程的流程图。
图7示出根据至少一个实施方式的消息提取例程的流程图。
具体实施方式
接下来的详细说明主要根据通过常规计算机组件(包括处理器、用于处理器的存储器存储设备、连接的显示设备和输入设备)的操作的处理和象征性表示来表示。此外，这些处理和操作可在异构分布式计算环境中利用常规计算机组件，包括远程文件服务器、计算机服务器和存储器存储设备。这些常规分布式计算组件中的每一个经由通信网络通过处理器可访问。
短语“在一个实施方式中”、“在各种实施方式中”、“在一些实施方式中”等重复使用。这些短语不必指代相同实施方式。术语“包括(comprising)”、“具有(having)”和“包含(including)”是同义的，除非以另外方式表示。
在典型“混合”视频编码方法的背景下描述各种实施方式，因为它使用图片间/图片内预测和变换编码。编码器首先将图片(或帧)分为用于视频序列中的第一图片的被称为编码块的块状区域，并且使用图片内预测编码图片。图片内预测是当图片中的编码块的预测值仅基于该图片中的信息时。对于后续图片，可使用图片间预测，在图片间预测中，从其他图片生成预测信息。周期性地，后续图片可仅使用编码内预测来编码，例如允许编码视频的解码在视频序列的第一图片以外的点处开始。在完成预测方法之后，表示图片的数据可存储在解码图像缓冲器中以用于在其他图片的预测中使用。
本领域普通技术人员将认识到，在各种实施方式中，以下描述的消息插入/提取技术可集成为许多其他常规视频编码/解码处理，例如，使用由I-、P-、B-图片编码组成的传统图像结构的编码/解码处理。在其他实施方式中，以下描述的技术可集成在使用除了I-和P-图片以外的其他结构的视频编码中，诸如分层B-图片、单向B-图片和/或B-图片替代。
现在详细参考如附图所示的实施方式的描述。尽管实施方式结合附图和相关描述进行描述，但是并非旨在将范围限于本文公开的实施方式。相反，旨在覆盖所有替代、变型和等同物。在替代实施方式中，在不将范围限于本文公开的实施方式的情况下，额外设备或示出设备的组合可添加或结合。
图1示出根据至少一个实施方式的示例性视频编码/解码系统100。编码设备200(图2所示和以下描述的)和解码设备300(图3所示和以下描述的)与网络104进行数据通信。解码设备200可通过直接数据连接(诸如，存储区域网(“SAN”)、高速串行总线)和/或经由其他合适通信技术或经由网络104(如通过图1中的虚线表示的)与未编码视频源108进行数据通信。类似地，编码设备300可通过直接数据连接(诸如，存储区域网(“SAN”)、高速串行总线)和/或经由其他合适通信技术或经由网络104(如通过图1中的虚线表示的)与可选编码视频源112进行数据通信。在一些实施方式中，编码设备200、解码设备300、编码视频源112和/或未编码视频源108可包括一个或多个复制和/或分布式物理或逻辑设备。在许多实施方式中，可存在比所示出的更多的编码设备200、解码设备300、未编码视频源108和/或编码视频源112。
在各种实施方式中，编码设备200可以是通常能够通过网络104例如从解码设备300接受请求并且因此提供响应的联网计算设备。在各种实施方式中，解码设备300可以是具有形状因子(form factor)的联网计算设备，诸如，移动电话；手表、眼镜或其他可穿戴计算设备；专用媒体播放器；计算平板电脑；机动车辆音响主机(head unit)；音频视频点播(AVOD)系统；专用媒体控制台；游戏设备、“机顶盒”、数字视频记录器、电视机或通用计算机。在各种实施方式中，网络104可包括互联网、一个或多个局域网(“LAN”)、一个或多个广域网(“WAN”)、蜂窝数据网络和/或其他数据网络。在各种点处，网络104可以是有线和/或无线网络。
参考图2，示出示例性编码设备200的若干组件。在一些实施方式中，编码设备可包括比图2所示的更多组件。然而，不需要示出所有这些一般常规组件来公开示例性实施方式。如图2所示，示例性编码设备200包括用于连接至网络(诸如网络104)的网络接口204。示例性编码设备200也包括处理单元208、存储器212、可选用户输入214(例如，字母数字键盘、小键盘(key pad)、鼠标或其他点控设备、触摸屏和/或麦克风)以及可选显示器216，所有这些经由总线220与网络接口204一起互连。存储器212通常包括RAM、ROM以及永久大容量存储设备，诸如磁盘驱动、闪存等。
示例性编码设备200的存储器212存储操作系统224以及用于大量软件服务的程序代码，该软件服务可以是诸如软件实现帧间视频编码器400(以下参考图4描述)，其具有用于执行伴随消息插入例程(accompanying-message insertion routine)600(以下参考图6描述)的指令。存储器212也可存储可表示未编码的音频/视觉媒体作品(诸如通过非限制性实例，电影和/或电视情节)的副本的视频数据文件(未示出)。这些和其他软件组件可使用与非暂时性计算机可读介质232(诸如，软盘、带、DVD/CD-ROM驱动器、存储卡等)相关联的驱动机制(未示出)加载至编码设备200的存储器212。尽管已描述示例性编码设备200，但是编码设备可以是能够与网络120通信并执行用于实现视频编码软件(诸如示例性软件实现视频编码器400)以及伴随消息插入例程600的指令的大量联网计算设备中的任一个。
在操作中，操作系统224管理编码设备200的硬件和其他软件资源，并且为软件应用(诸如，软件实现帧间视频编码器400)提供通用服务。对于硬件功能(诸如经由网络接口204的网络通信、经由输入214接收数据、经由显示器216输出数据以及为各种软件应用(诸如，软件实现帧间视频编码器400)分配存储器212)，操作系统224用作在编码设备上执行的软件与硬件之间的媒介。
在一些实施方式中，编码设备200可进一步包括用于与未编码视频源108通信的专门未编码视频接口236，诸如高速串行总线等。在一些实施方式中，编码设备200可经由网络接口204与未编码视频源108通信。在其他实施方式中，未编码视频源108可驻留在存储器212或计算机可读介质232中。
尽管已描述了通常符合常规通用计算设备的示例性编码设备200，但是编码设备200可以是能够编码视频的大量设备中的任一个，例如，视频记录设备、视频协同处理器和/或加速器、个人计算机、游戏控制台、机顶盒、手提或可穿戴计算设备、智能电话或任意其他合适设备。
通过非限制性实例，编码设备200可操作以促进点播媒体服务(未示出)。在至少一个非限制性、示例性实施方式中，点播媒体服务可操作编码设备200以促进在线点播媒体商店基于每个作品和/或订阅向用户提供媒体作品(诸如，视频内容)的数字副本。点播媒体服务可从未编码视频源108获得这些媒体作品的数字副本。
参考图3，示出示例性解码设备300的若干组件。在一些实施方式中，解码设备可包括比图3所示的更多组件。然而，不需要示出所有这些一般常规组件来公开示例性实施方式。如图3所示，示例性解码设备300包括用于连接至网络(诸如网络104)的网络接口304。示例性解码设备300也包括处理单元308、存储器312、可选用户输入314(例如，字母数字键盘、小键盘、鼠标或其他点控设备、触摸屏和/或麦克风)、可选显示器316以及可选扬声器318，所有这些经由总线320与网络接口304一起互连。存储器312通常包括RAM、ROM以及永久大容量存储设备，诸如磁盘驱动、闪存等。
示例性解码设备300的存储器312可存储操作系统324以及用于大量软件服务的程序代码，该软件服务可以是诸如，具有用于执行伴随消息提取例程700(以下参考图7描述)的软件实现视频解码器500(以下参考图5描述)。存储器312也可存储可表示已编码的音频/视觉媒体作品(诸如通过非限制性实例，电影和/或电视情节)的副本的视频数据文件(未示出)。这些和其他软件组件可使用与非暂时性计算机可读介质332(诸如，软盘、带、DVD/CD-ROM驱动器、存储卡等)相关联的驱动机制(未示出)加载至解码设备300的存储器312。尽管已描述了示例性解码设备300，但是解码设备可以是能够与网络(诸如，网络120)通信并且执行用于实现视频解码软件(诸如软件实现视频解码器500)以及伴随消息提取例程700的指令的大量联网计算设备中的任一个。
在操作中，操作系统324管理解码设备300的硬件和其他软件资源，并且为软件应用(诸如，软件实现视频解码器500)提供通用服务。对于硬件功能(诸如经由网络接口304的网络通信、经由输入314接收数据、经由显示器316和/或可选扬声器318输出数据以及分配存储器312)，操作系统324用作在编码设备上执行的软件与硬件之间的媒介。
在一些实施方式中，解码设备300可进一步包括例如用于与编码视频源116通信的可选编码视频接口336，诸如高速串行总线等。在一些实施方式中，解码设备300可经由网络接口304与编码视频源(诸如，编码视频源116)通信。在其他实施方式中，编码视频源116可驻留在存储器312或计算机可读介质332中。
尽管已描述通常符合常规通用计算设备的示例性解码设备300，但是解码设备300可以是能够解码视频的大量设备中的任一个，例如，视频记录设备、视频协同处理器和/或加速器、个人计算机、游戏控制台、机顶盒、手提或可穿戴计算设备、智能电话或任意其他合适设备。
通过非限制性实例，解码设备300可操作以促进点播媒体服务。在至少一个非限制性、示例性实施方式中，点播媒体服务可基于每个作品和/或订阅，向操作解码设备300的用户提供媒体作品(诸如，视频内容)的数字副本。解码设备可经由网络104经由例如编码设备200从未编码视频源108获得这些媒体作品的数字副本。
图4示出根据至少一个实施方式的采用运动补偿预测技术和伴随消息插入能力的软件实现帧间视频编码器400(此后，“编码器400”)的总体功能框图。视频序列的一个或多个未编码视频帧(vidfrms)可按照显示顺序提供至定序器404。
定序器404可向每个未编码视频帧分配预测编码图片类型(例如，I、P或B)，并且将帧序列重新排列为编码顺序。定序未编码视频帧(seqfrms)然后可按照编码顺序输入至块索引器408和消息插入器410。
对于定序的未编码视频帧(seqfrms)中的每一个，块索引器408可确定针对当前帧的最大编码块(“LCB”)大小(例如，六十四乘六十四像素)，并且将未编码帧划分为编码块(cblks)阵列。给定帧内的单独编码块的大小可改变，例如，从八乘八像素改变为多达针对当前帧的LCB大小。
每个编码块然后可一次一个地输入至差分器，并且与从先前编码的编码块生成的相应预测信号块(pred)进行差分。编码块(cblks)也可提供至运动估计器416(以下讨论)。在差分器412中差分之后，产生的残余信号(res)可通过变换器420正向变换为频域表示，产生变换系数(tcof)块。变换系数(tcof)块然后可被发送至量化器424，该量化器424产生随后可被发送至熵编码器428以及本地解码环路430的量子化系数(qcf)块。
在本地解码环路430的开始，逆量化器432可解量化变换系数(tcof′)块，并且将它们传递至逆变换器436以生成解量化残余块(res′)。在加法器440中，可将来自运动补偿预测器442的预测块(pred)与解量化残余块(res′)相加以生成本地解码块(rec)。本地解码块(rec)然后可被发送至帧组装器和解块滤波处理器444，其降低块效应并且组装恢复帧(recd)，该组装恢复帧可用作用于运动估计器416和运动补偿预测器442的基准帧。
熵编码器428编码量子化变换系数(qcf)、差分运动矢量(dmv)以及其他数据，生成编码视频比特流448。对于每一帧的未编码视频序列，编码视频比特流448可包括编码图片数据(例如，编码量子化变换系数(qcf)和差分运动矢量(dmv))，以及编码帧报头(例如，语法信息，诸如针对当前帧的LCB大小)。
根据至少一个实施方式并且如以下参考图6更详细描述的，一个或多个消息(msgs)可与视频序列并行获得，以用于包含(inclusion)到编码视频比特流448。消息数据(msgs)可通过消息插入器410接收并且形成为用于插入至比特流448的帧报头的伴随消息数据包(msg-data)。一个或多个消息可与视频序列的具体帧(vidfrms)相关联，并且因此可结合至帧报头或那些帧的报头。通过消息插入器410获得的消息与视频序列的一个或多个帧相关联，并且被提供至熵编码器428以用于插入至编码视频比特流。
图5示出根据至少一个实施方式的采用运动补偿预测技术和伴随消息提取能力、且适于与解码设备(诸如，解码设备300)一起使用的相应软件实现帧间视频解码器500(此后“解码器500”)的总体功能框图。解码器500可类似于编码器400处的本地解码环路455进行工作。
具体地，将要被解码的编码视频比特流504提供至熵解码器508，该熵解码器508可解码量子化系数(qcf)块、差分运动矢量(dmv)块、伴随消息数据包(msg-data)块以及其他数据的块。
量子化系数块(qcf)然后可通过逆量化器512逆量子化，产生解量化系数(tcof′)。解量化系数(tcof′)然后可通过逆变换器516在频域外逆变换，产生解码残余块(res′)。
加法器520可添加通过使用相应运动矢量(mv)获得的运动补偿预测块(pred)。产生的解码视频(dv)可在帧组装器和解块滤波处理器524中解块过滤。
在帧组装器和解块滤波处理器528的输出处的块(recd)形成视频序列的重建帧，其可从解码器500输出并且也可用作运动补偿预测器532(用于解码后续编码块)的基准帧。运动补偿预测器536以与编码器400的运动补偿预测器442类似的方式进行工作。
与上述解码处理并行并且以下参考图7更详细地描述的，利用编码视频比特流504接收的任意伴随消息数据(msg-data)被提供至消息提取器540。消息提取器540处理伴随消息数据(msg-data)以重建包括在编码视频比特流中的一个或多个伴随消息(msgs)，诸如以以上参考图4以及以下参考图6描述的方式。一旦从编码视频比特流提取伴随消息(多个伴随消息)，则可将伴随消息(多个伴随消息)提供至解码设备300的其他组件，诸如操作系统324。伴随消息(多个伴随消息)可包括至解码设备的关于如何处理伴随消息(多个伴随消息)的其他部分的指令，诸如使得解码设备300显示关于被解码的视频序列的信息，或者使得针对被解码的视频序列采用特定数字版权管理系统(诸如，通过授予许可或拒绝许可解码设备300在非暂时性存储介质中存储视频序列的副本)。
图6示出适于与视频编码器(诸如，编码器400)一起使用的、具有伴随消息插入能力600(此后，“伴随消息插入例程600”)的视频编码例程的实施方式。如本领域普通技术人员将认识的，在图6中并未示出视频编码处理中的所有事件。相反，为了清楚，仅示出与描述伴随消息插入例程600的伴随消息插入方面合理相关的那些步骤。本领域普通技术人员也将认识到，本实施方式仅仅是示例性实施方式，并且在不偏离如通过以下权利要求限定的更宽发明构思的范围的情况下，可对本实施方式做出改变。
在执行框604处，伴随消息插入例程600获得未编码视频序列。在开始循环框608开始，每一帧的未编码视频序列被依次处理。在执行框612处，当前帧被编码。
与执行框612并行，在决定框620处，如果利用当前帧未获得伴随消息，则伴随消息插入例程600进行至以下描述的执行框644。
返回决定框620，如果利用当前帧获得一个或多个伴随消息，则在执行框624中，伴随消息插入例程600在帧报头中设置自定义消息使能标志。例如，在至少一个实施方式中，自定义消息使能标志可以是长度为一位且具有两个可能值，其中，一个可能值表示伴随消息存在于当前帧的帧报头中，并且第二可能值表示没有伴随消息存在于当前帧的帧报头中。
在执行框628处，伴随消息插入例程600在帧报头中设置消息计数标志。例如，在至少一个实施方式中，消息计数标志可以是长度为两位且具有四个可能值，其中，每个可能值表示包括在当前帧的帧报头中的伴随消息的计数(例如，“00”可表示一个伴随消息，“01”可表示两个伴随消息等)。
在执行框636处，针对包括在当前帧的帧报头中的每个伴随消息，伴随消息插入例程600在帧报头中设置自定义消息长度标志。例如，自定义消息长度标志可以是具有四个可能值的两位长的标志，其中，每个可能值表示当前伴随消息的长度(例如，“00”可表示两个字节的消息长度，“01”可表示四个字节的消息长度，“10”可表示十六个字节的消息长度，并且“11”可表示三十二个字节的消息长度)。
在执行框640处，伴随消息插入例程600然后可编码当前帧的帧报头中的伴随消息(多个伴随消息)。
在执行框644处，伴随消息插入例程600可编码在当前帧的帧报头中的帧语法元素。
在执行框648处，伴随消息插入例程600可提供编码帧报头和编码帧，以用于包含在编码比特流中。
在结束循环框652处，伴随消息插入例程600循环回至开始循环框608以处理如刚刚描述的未编码视频序列中的任意剩余帧。
伴随消息插入例程600在终止框699处结束。
图7示出适于与至少一个实施方式(诸如，解码器500)一起使用的、具有伴随消息提取能力700(此后，“伴随消息提取例程700”)的视频解码例程。如本领域普通技术人员将认识的，在图7中并未示出视频解码处理中的所有事件。相反，为了清楚，仅示出并描述与描述例程700的伴随消息提取方面合理相关的那些步骤。本领域普通技术人员也将认识到，本实施方式仅仅是示例性实施方式，并且在不偏离如通过以下权利要求限定的更宽发明构思的范围的情况下，可对本实施方式做出改变。
在执行框704处，伴随消息提取例程700获得编码视频数据的比特流。
在执行框706处，伴随消息提取例程700例如通过解译比特流的对应于帧报头的部分，识别比特流的表示未编码视频序列的单独帧的部分。
以开始循环框708开始，编码视频数据中的每个识别出的帧被依次处理。在执行框712处，当前帧的帧报头被解码。在执行框714处，当前帧的视频数据有效载荷被解码。
并行于执行框714，在决定框715处，如果当前帧的帧报头中的消息使能标志未设置，则伴随消息提取例程可继续至以下描述的执行框748。
返回至决定框715，如果当前帧的帧报头中的消息使能标志被设置，则在执行框720处，伴随消息提取例程700读取当前帧的帧报头中的消息计数标志以确定多少伴随消息被包括在帧报头中。如上所述，消息计数标志可以是长度为两位且具有四个可能值，其中，所接收的对应于伴随消息的数目的值存在于当前帧的帧报头中。
在执行框728处，伴随消息提取例程700读取针对包括在当前帧的帧报头中的伴随消息(多个伴随消息)的消息大小标志(多个标志)。如上所述，消息大小标志可以是长度为两位且具有四个可能值，其中，每个可能值表示当前伴随消息的长度(例如，“00”可表示两个字节的消息长度，“01”可表示四个字节的消息长度，“10”可表示十六个字节的消息长度，并且“11”可表示三十二个字节的消息长度)。
在执行框732处，伴随消息提取例程700例如通过从帧报头中拷贝由与伴随消息相关联的消息大小标志表示的适当位数，从当前帧的帧报头中提取伴随消息(多个伴随消息)。
在执行框736处，伴随消息提取例程700然后可例如向解码设备(诸如，解码设备300)的操作系统提供伴随消息(多个伴随消息)。
在执行框748处，伴随消息提取例程700然后可向例如解码设备(诸如，解码设备300)的显示器提供解码帧。
在结束循环框752中，伴随消息提取例程700返回至开始循环框708以处理如刚刚描述的未编码视频序列中的任意剩余帧。
伴随消息提取例程700在终止框799处结束。
虽然本文已示出并描述具体实施方式，但是本领域普通技术人员将理解的是，在不偏离本公开的范围的情况下，替代和/或等同实现方式可代替所示出和描述的具体实施方式。本申请旨在覆盖本文所讨论的实施方式的任何修改或变型。

Claims (20)

1.一种将消息数据插入到表示未编码视频帧序列的编码比特流中的视频编码器设备实现方法，所述方法包括：
获得所述未编码视频帧序列的未编码视频帧；
编码所述未编码视频帧以生成视频数据有效载荷；
获得伴随消息；
确定所述伴随消息的消息大小；
为所述视频数据有效载荷编码帧报头；以及
提供所述帧报头以及所述视频数据有效载荷作为所述编码比特流的部分；并且
其中，所述帧报头包括：消息使能标志，所述消息使能标志表示所述伴随消息包含在所述帧报头中；消息计数标志，所述消息计数标志表示伴随消息的计数，所述伴随消息包括包含在所述帧报头中的所述伴随消息；消息大小标志，所述消息大小标志表示所述消息大小；以及所述伴随消息。
2.根据权利要求1所述的视频编码器设备实现方法，其中，所述消息大小标志表示所述伴随消息的四个可能消息大小中的一个。
3.根据权利要求2所述的视频编码器设备实现方法，其中，所述四个可能消息大小是两个字节、四个字节、十六个字节和三十二个字节。
4.根据权利要求1所述的视频编码器设备实现方法，其中，所述消息计数标志表示多达四个伴随消息包含在所述帧报头中。
5.根据权利要求1所述的视频编码器设备实现方法，其中，所述伴随消息包括表示与所述未编码视频帧相关的信息的数据。
6.根据权利要求5所述的视频编码器设备实现方法，其中，所述未编码视频帧序列构成视听制品，并且所述伴随消息包括识别所述视听制品的作者的数据。
7.根据权利要求5所述的视频编码器设备实现方法，其中，所述未编码视频帧序列构成视听制品，并且所述伴随消息包括识别所述视听制品的标题的数据。
8.根据权利要求5所述的视频编码器设备实现方法，其中，所述未编码视频帧序列构成视听制品，并且所述伴随消息包括与所述视听制品的版权相关的数据。
9.根据权利要求5所述的视频编码器设备实现方法，其中，所述未编码视频帧序列构成视听制品，并且所述伴随消息包括与许可以呈现从所述编码比特流重构的所述视听制品的副本相关的数据。
10.根据权利要求5所述的视频编码器设备实现方法，其中，所述未编码视频帧序列构成视听制品，并且所述伴随消息包括与许可以在非暂时性存储介质中存储所述视听制品的副本相关的数据。
11.一种从表示视频帧序列的编码比特流中提取消息数据的视频解码器设备实现方法，所述方法包括:
从所述编码比特流中获得视频数据有效载荷；
解码所述视频数据有效载荷以生成所述视频帧序列的视频帧的表示；
从所述编码比特流中获得帧报头；
解码所述帧报头；以及
提供所述视频帧的所述表示以及伴随消息；并且
其中，所述帧报头包括：消息使能标志，所述消息使能标志表示所述伴随消息存在于所述帧报头中；消息计数标志，所述消息计数标志表示伴随消息的计数，所述伴随消息包括包含在所述帧报头中的所述伴随消息；消息大小标志，所述消息大小标志与所述伴随消息相关联并且表示所述伴随消息的消息大小；以及所述伴随消息。
12.根据权利要求11所述的视频解码器设备实现方法，其中，所述消息大小标志表示第一伴随消息的四个可能消息大小中的一个。
13.根据权利要求12所述的视频解码器设备实现方法，其中，所述四个可能消息大小是两个字节、四个字节、十六个字节和三十二个字节。
14.根据权利要求11所述的视频解码器设备实现方法，其中，所述消息计数标志表示多达四个伴随消息包含在所述帧报头中。
15.根据权利要求11所述的视频解码器设备实现方法，其中，第一伴随消息包括表示与所述视频帧相关的信息的数据。
16.根据权利要求15所述的视频解码器设备实现方法，其中，所述视频帧序列构成视听制品，并且所述伴随消息包括识别所述视听制品的作者的数据。
17.根据权利要求15所述的视频解码器设备实现方法，其中，所述视频帧序列构成视听制品，并且所述伴随消息包括识别所述视听制品的标题的数据。
18.根据权利要求15所述的视频解码器设备实现方法，其中，所述视频帧序列构成视听制品，并且所述伴随消息包括与所述视听制品的版权相关的数据。
19.根据权利要求15所述的视频解码器设备实现方法，其中，所述视频帧序列构成视听制品，并且所述伴随消息包括与许可以呈现从所述编码比特流重构的所述视听制品的副本相关的数据。
20.根据权利要求15所述的视频解码器设备实现方法，其中，所述视频帧序列构成视听制品，并且所述伴随消息包括与许可以在非暂时性存储介质中存储所述视听制品的副本相关的数据。
CN201580079064.8A 2015-03-31 2015-03-31 使伴随消息数据包括在压缩视频比特流中的系统和方法 Pending CN107852518A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075598 WO2016154929A1 (en) 2015-03-31 2015-03-31 Accompanying message data inclusion in compressed video bitsreams systems and methods

Publications (1)

Publication Number Publication Date
CN107852518A true CN107852518A (zh) 2018-03-27

Family

ID=57004713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079064.8A Pending CN107852518A (zh) 2015-03-31 2015-03-31 使伴随消息数据包括在压缩视频比特流中的系统和方法

Country Status (6)

Country Link
US (1) US20180109816A1 (zh)
EP (1) EP3278563A4 (zh)
JP (1) JP6748657B2 (zh)
KR (1) KR20180019511A (zh)
CN (1) CN107852518A (zh)
WO (1) WO2016154929A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3586508A4 (en) * 2017-02-23 2020-08-12 RealNetworks, Inc. RESIDUAL TRANSFORMATION AND INVERSE TRANSFORMATION IN VIDEO ENCODING SYSTEMS AND METHODS

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020102954A1 (en) * 2000-12-26 2002-08-01 Shigeru Kaneko Broadcast receiver
CN1529513A (zh) * 2003-09-26 2004-09-15 上海广电（集团）有限公司中央研究院 视频信号的分层编码和解码方法
CN1708121A (zh) * 2004-06-10 2005-12-14 三星电子株式会社 包含音频/视频流的信息存储介质和再现方法及其设备
CN102256175A (zh) * 2011-07-21 2011-11-23 深圳市茁壮网络股份有限公司 一种数字电视节目附加信息的插入呈现方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809138B2 (en) * 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
KR100420740B1 (ko) * 1999-02-05 2004-03-02 소니 가부시끼 가이샤 인코딩 장치, 인코딩 방법, 디코딩 장치, 디코딩 방법,코딩 시스템, 코딩 방법
JP2001290938A (ja) * 2000-03-24 2001-10-19 Trw Inc フルモーション・ビジュアル製品用の統合化デジタル・プロダクション・ライン
US6687384B1 (en) * 2000-03-27 2004-02-03 Sarnoff Corporation Method and apparatus for embedding data in encoded digital bitstreams
US8428117B2 (en) * 2003-04-24 2013-04-23 Fujitsu Semiconductor Limited Image encoder and image encoding method
JP4201780B2 (ja) * 2005-03-29 2008-12-24 三洋電機株式会社 画像処理装置、画像表示装置および方法
US9203816B2 (en) * 2009-09-04 2015-12-01 Echostar Technologies L.L.C. Controlling access to copies of media content by a client device
JP5377387B2 (ja) * 2010-03-29 2013-12-25 三菱スペース・ソフトウエア株式会社 パッケージファイル配信システム、パッケージファイル配信システムのパッケージファイル配信方法、パッケージファイル配信サーバ装置、パッケージファイル配信サーバプログラム、パッケージファイル再生端末装置およびパッケージファイル再生端末プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020102954A1 (en) * 2000-12-26 2002-08-01 Shigeru Kaneko Broadcast receiver
CN1529513A (zh) * 2003-09-26 2004-09-15 上海广电（集团）有限公司中央研究院 视频信号的分层编码和解码方法
CN1708121A (zh) * 2004-06-10 2005-12-14 三星电子株式会社 包含音频/视频流的信息存储介质和再现方法及其设备
CN102256175A (zh) * 2011-07-21 2011-11-23 深圳市茁壮网络股份有限公司 一种数字电视节目附加信息的插入呈现方法和系统

Also Published As

Publication number Publication date
EP3278563A1 (en) 2018-02-07
WO2016154929A1 (en) 2016-10-06
EP3278563A4 (en) 2018-10-31
JP6748657B2 (ja) 2020-09-02
US20180109816A1 (en) 2018-04-19
KR20180019511A (ko) 2018-02-26
JP2018516474A (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
US10531086B2 (en) Residual transformation and inverse transformation in video coding systems and methods
CN105432083A (zh) 混合向后兼容的信号编码和解码
US10735729B2 (en) Residual transformation and inverse transformation in video coding systems and methods
US20190268619A1 (en) Motion vector selection and prediction in video coding systems and methods
CN105519108B (zh) 量化矩阵编码的加权预测方法和装置
US10659779B2 (en) Layered deblocking filtering in video processing systems and methods
CN107852518A (zh) 使伴随消息数据包括在压缩视频比特流中的系统和方法
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
US20190379890A1 (en) Residual transformation and inverse transformation in video coding systems and methods
JP2014504119A5 (zh)
TWI573440B (zh) 高階視訊編解碼晶片以及高階視訊編解碼方法
Pescador et al. A DSP based SVC IP STB using open SVC decoder
JPH0993133A (ja) 符号化形式変換装置
US20220239915A1 (en) Perceptual adaptive quantization and rounding offset with piece-wise mapping function
JP2004312689A (ja) Ｍｐｅｇビデオ復号化方法及びｍｐｅｇビデオ復号化器
Awad et al. Video over Cellular Mobile Device based on Hybrid Technique
Vaidya et al. DCT based image compression for low bit rate video processing and band limited communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327