CN114930835A - 变换系数为水印提供嵌入式信令的用途 - Google Patents

变换系数为水印提供嵌入式信令的用途 Download PDF

Info

Publication number
CN114930835A
CN114930835A CN202080083191.6A CN202080083191A CN114930835A CN 114930835 A CN114930835 A CN 114930835A CN 202080083191 A CN202080083191 A CN 202080083191A CN 114930835 A CN114930835 A CN 114930835A
Authority
CN
China
Prior art keywords
signal
information
decoder
data
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080083191.6A
Other languages
English (en)
Inventor
西蒙尼·费拉拉
圭多·梅迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V-Nova Ltd
Original Assignee
V-Nova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB201914215A external-priority patent/GB201914215D0/en
Priority claimed from GB201914414A external-priority patent/GB201914414D0/en
Priority claimed from GB201914416A external-priority patent/GB201914416D0/en
Priority claimed from GB201915553A external-priority patent/GB201915553D0/en
Priority claimed from GBGB2000430.5A external-priority patent/GB202000430D0/en
Priority claimed from GBGB2001408.0A external-priority patent/GB202001408D0/en
Priority claimed from GBGB2006183.4A external-priority patent/GB202006183D0/en
Priority claimed from GBGB2010015.2A external-priority patent/GB202010015D0/en
Application filed by V-Nova Ltd filed Critical V-Nova Ltd
Publication of CN114930835A publication Critical patent/CN114930835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本文描述的实例涉及对信号进行解码和编码。本发明提出了一种对信号的一个或多个部分执行信号解码操作的方法。所述执行至少部分地基于嵌入在一个或多个值中的信息，所述一个或多个值在编码数据流内传输的一个或多个编码数据层中接收，其中所述值与旨在由解码器处理以导出所述信号的元素的变换系数相关联，并且其中所述信息包含与所述信号相关联的水印信息的指示。

Description

变换系数为水印提供嵌入式信令的用途
技术领域
本发明涉及用于处理信号的方法，以非限制性实例而言，如视频、图像、高光谱图像、音频、点云、3DoF/6DoF和体积信号。处理数据可以包括但不限于在分级(基于层)编码格式的上下文中获得、导出、编码、输出、接收并重构信号(其中该信号以随后较高的质量等级分层解码)，利用并结合重构数据的后续层(“梯级”)。不同层的信号可以通过不同基本流以不同的编码格式(以非限制性实例而言，例如，传统的基于单层DCT的编解码器、ISO/IECMPEG-5第2部分低复杂度增强视频编码SMPTE VC-62117等)进行编码，基本流可以复用或可以不复用在单个位流中。
背景技术
在基于层的编码格式中，如ISO/IEC MPEG-5第2部分LCEVC(以下简称“LCEVC”)或SMPTE VC-62117(以下简称“VC-6”)，信号被分解为从原始信号采样率的最高梯级到采样率通常比原始信号低的最低梯级的多个“梯级”(也称为“分级层”)数据，每个梯级对应于信号的“质量等级”(本文也称为“LoQ”)。在非限制性实例中，当信号是视频流的帧时，最低梯级可以是原始帧的缩略图，例如视频流中的低分辨率帧，甚至仅是单个图像元素。其它梯级含有有关应用于重构再现以便产生最终输出的校正的信息。梯级可以基于残差信息，例如特定质量等级的原始信号的版本和相同质量等级的信号的重构版本之间的差异。最低梯级可以不包含残差信息，但可以包含原始信号的最低采样。给定质量等级的解码信号通过以下方式进行重构：首先对最低梯级(因此以第一最低质量等级重构该信号)进行解码，然后预测第二质量等级——下一较高质量等级信号的再现，然后对相应的第二梯级重构数据(也称为第二质量等级“残差数据”)进行解码，然后将预测数据与重构数据组合，以便重构第二较高质量等级信号的再现，等等，直到重构给定质量等级。
重构该信号可以包含对残差数据进行解码，并使用该残差数据来校正特定质量等级的版本，该版本导出自较低质量等级的信号版本。不同梯级的数据可以使用不同的编码格式进行编码，并且不同的质量等级的采样率(例如，针对图像或视频信号的情况的分辨率)可以不同。后续梯级可以指信号的相同信号分辨率(即，采样率)，或指越来越高的信号分辨率。这些方法的实例更详细地描述在LCEVC和VC-6的可用规范中。
数字水印技术在本领域中是已知的。一个实例数字水印技术是先进电视制式委员会(ATSC)视频水印发射标准A/335。定义本标准的文献，例如，如2016年9月20日发布的文献，通过引用并入本文。
在A/335中，视频信号的顶部一行或两行用于嵌入水印信息。在A/335中，修改这些行内的像素的亮度值以携带水印信息。接收器提取视频信号的每一帧的前一行或前两行，并应用一组阈值操作来恢复编码数据。
A/335和类似的数字水印方法的一个问题是其要求嵌入数据经受各种压缩和代码转换操作，以及通过传统的消费型高清晰度多媒体接口(HDMI)的传送。为了实现鲁棒性，在接收器处应用更复杂的阈值操作。A/335也不旨在防篡改或不可擦除；其可以被中介机构有意地消除。
发明内容
本文所示的非限制性实施例将信号称为样本序列(即，二维图像、视频帧、视频场、声音帧等)。在说明中，术语“图像”、“图片”或“平面”(旨在具有“超平面”的最广泛含义，即，具有任意维数和给定采样网格的元素阵列)将经常用于标识沿样本序列的信号样本的数字再现，其中每个平面对于其每个维度(例如，X和Y)都具有给定的分辨率，并且包含一组平面元素(或“元素”或“象素”或二维图像的显示元素，通常称为“像素”、体积图像的显示元素通常称为“体素”等)，其特征在于一个或多个“值”或“设置”(以非限制性实例而言，例如，合适的颜色空间中的颜色设置、指示密度等级的设置、指示温度等级的设置、指示音频音调的设置、指示幅度的设置、指示深度的设置、指示阿尔法通道透明度等级的设置等)。每个平面元素由一合适组的坐标标识，指示所述元素在图像的采样网格中的整数位置。信号维度可以仅包括空间维度(例如，在图像的情况下)或还可以包括时间维度(例如，在如视频信号等随时间演变的信号的情况下)。
作为非限制性实例，信号可以是图像、音频信号、多声道音频信号、遥测信号、视频信号、3DoF/6DoF视频信号、体积信号(例如，医学成像、科学成像、全息成像等)、体积视频信号，甚至超过四个维度的信号。
为简单起见，本文所示的非限制性实施例通常指显示为设置的2D平面(例如，合适的颜色空间中的2D图像)的信号，例如视频信号。术语“图片”、“帧”或“场”将与术语“图像”互换使用，以便指示视频信号在时间上的样本：针对由帧构成的视频信号(逐行视频信号)示出的任何概念和方法也可以容易地适用于由场构成的视频信号(隔行视频信号)，反之亦然。尽管这里示出的实施例集中在图像和视频信号上，但本领域技术人员可以容易地理解相同的概念和方法也适用于任何其它类型的多维信号(例如，音频信号、体积信号、立体视频信号、3DoF/6DoF视频信号、全光信号、点云等)。
本文描述的实施例允许解码器可以使用的上下文信息的有效生成、信号传递和利用。上下文信息可以连同残差数据一起使用以适当地控制信号重构。此类信息可以有效地嵌入编码信号的一个或多个梯级残差数据的系数中，从而避免对额外信令开销的需要。另外，对于本文描述的一些非限制性实施例，在分级编码方案的上下文中以较低信号分辨率应用某些非必要的信号增强操作也生成解码器装置所需处理能力的实质性降低。
根据第一非限制性实施例，信号处理器(例如，计算机处理器硬件)被配置成接收数据并对其进行解码(“解码器”)。解码器获得第一(较低)质量等级信号的再现，并产生第二(较高)质量等级信号的预测再现，该第二质量等级的分辨率(即，信号采样率)高于第一质量等级。然后，解码器接收并解码应用于信号的预测再现的一梯级残差数据，以便产生第二质量等级信号的校正再现。当解码特定组的残差数据系数并找到特定组的量化符号时，解码器不将所述符号解释为残差数据，而是根据接收到的符号执行水印操作。
这样，根据本发明的非限制性方面，嵌入信息可以包含与信号相关联的特征的指示，其中所述特征是水印信息。例如，所述特征可以用于标识和确认生成数据流的编码器和/或含有与编码的时间和位置有关的信息。
在一些非限制性实施例中，水印信息能用于例如标识信号的性质。水印信息可以指示解码器应当发起对解码信号的水印的应用。在其它非限制性实施例中，该特征对应于与信号相关联的状态。该状态包含与信号相关联的依从性信息。以非限制性实例而言，依从性信息可以包含以下信息中的任何信息：生成信号的方式、用于生成信号的特定编码器版本、与信号相关联的许可信息和/或生成信号的编码器版本。依从性信息对于解码器在检测到依从性信息与记录不匹配时发起如生成所述信号的有效许可等依从性动作可能是有用的。在这种情况下，例如，解码器可以对信号发起依从性流程，如中断信号的显示或回放、向传输信号的源发送请求以获得有效许可等。
在其它非限制性实施例中，所述特征标识信号中的对象。在非限制性实施例中，所述特征允许标识视频中对应于解码器已知的唯一标识符的对象。
作为非限制性实例，该特征可以包含与信号的一个或多个元素相关联的标记。该标记可以包含信号的元素是否可以由信号的最终用户选择的标识。在其它非限制性实施例中，标记可以包含信号的元素是否可以与信号的最终用户要采取的动作相关的标识，例如点击所述元素和/或链接到不同的信号/网页。在另一非限制性实施例中，标记包含属于一个分类的信号的元素的标识，例如视频分类或对象分类。以非限制性实例而言，该元素可以表示人，并且标记会标识那个人是谁。可替代地，该元素可以表示对象，并且标记可以标识那是什么对象。可替代地，该标记可以识别对象属于哪一类。一般而言，该分类可以包含所述元素与标识符类的关联，如该元素所属的类别。
在其它非限制性实施例中，保留符号用于嵌入作为部分编码流的不同的次级信号，所述不同的次级信号通过给定公钥进行编码，并且仅能由了解次级信号的存在和对应于用于加密次级信号的公钥的私钥两者的解码器进行解码。
在一些非限制性实施例中，解码字节流中的位向解码器发信号指示额外信息可能已嵌入在一些残差数据系数中，因此特定残差数据集中的特定符号集不应被解释为实际残差数据，而是被解释为例如告知信号重构操作的上下文信息。在非限制性实施例中，一些保留符号对应于信号的特定区域，即，由此可以将水印有差别地应用于重构信号的局部区块。
在一些非限制性实施例中，解码器基于解码器装置在任何时间可用的处理能力以不同的方式实施信号重构操作(包括有时根本不实施这些信号重构操作)。
在一些非限制性实施例中，在应用解码自含有嵌入信息的该梯级数据的残差数据前，该解码器基于上下文数据环内应用信号处理操作。在其它非限制性实施例中，在已将第二质量等级信号的初步再现与解码残差数据结合后，解码器应用信号处理操作。在其它非限制性实施例中，在已产生最终(最高)质量等级信号的再现后，解码器在解码过程结束时应用所述信号处理操作。
在一些非限制性实施例中，对残差数据和嵌入上下文信息进行编码的格式是MPEG-5第2部分LCEVC(“低复杂度增强视频编码”)。在其它非限制性实施例中，对残差数据和嵌入上下文信息进行编码的格式是SMPTE VC-6ST-2117。使用水印信息的信号处理操作可以是未在LCEVC或VC-6视频编码标准中的一个或多个定义的操作，例如包含仍然与标准兼容的所谓的非标准操作。本实例因此可被实施为对前述标准的可选扩展，或其它基于层的分级编码方案。
根据第二非限制性实施例，信号处理器(例如，计算机处理器硬件)被配置成接收数据并对其进行编码(“编码器”)。编码器产生第一(较低)质量等级信号的再现，并用第一编码方法对其进行编码。然后，编码器产生第二(较高)质量等级信号的预测再现，并相应地以产生并编码应用于第二质量等级信号的预测再现的一梯级的第二质量等级残差数据，以便产生第二质量等级信号的校正再现。在这些实施例中，编码器利用该梯级残差数据的一组残差数据中的一组保留符号向解码器发信号传递水印信息。
在一些非限制性实施例中，切换编码字节流中的位以便向解码器发信号指示给定组残差数据中的给定组符号应被解释为实际残差数据还是被解释为告知如待由解码器应用的水印处理等信号重构操作的额外上下文信息。
在一些非限制性实施例中，上下文信息嵌入在不止一个梯级的残差数据中。
在一些非限制性实施例中，用于对残差数据和嵌入上下文信息进行编码的格式是MPEG-5第2部分LCEVC(“低复杂度增强视频编码”)。在其它非限制性实施例中，用于对残差数据和嵌入上下文信息进行编码的格式是SMPTE VC-6ST-2117。
根据其它非限制性实施例，上下文信号信息嵌入在以非分级编码格式生成的编码数据中。在非限制性实施例中，使用量化系数中的一组保留符号将符号以宏块级嵌入。
其它特征和优点从以下参照附图仅以实例方式给出的说明中将变得显而易见。
附图说明
图1示出了根据实施例的解码系统的实例的框图；
图2示出了根据实施例的分级编码系统的实例的框图；
图3示出了根据实施例的分级解码系统的框图；
图4示出了根据实施例的分级解码系统的另一实例的框图；
图5示出了根据实施例的编码和解码系统的另一实例的框图；和
图6示出了根据实施例的设备的实例的框图。
具体实施方式
参考图1，示出了在解码系统内实施的方法的实例。接收并处理一组量化符号100-1至100-N。这些量化符号包含量化变换系数，其中量化可以是可选的并且/或基于编码配置最大程度地变化。量化符号可以包含由关于后面的图描述的编码流中的一个或多个产生的符号。在本文描述的实例中，信息嵌入在一个或多个编码数据层中接收的一个或多个值中，其中所述值与旨在由解码器处理以导出信号的元素的变换系数相关联。实例量化和变换系数符号的接收描述在LCEVC和VC-6中。根据符号100-1是否作为保留符号，该解码器遵循两种不同的方法。在这种情况下，术语“保留符号”可以被认为是指被保留以携带如水印信息等上下文信息的符号。
如果符号100-1不作为保留符号，例如旨在携带用于重构该信号的残差数据，则其解码遵循针对该组中其它符号所实施的正常流程：根据框110进行去量化和逆变换，产生一组解码数据130。所述解码数据借助于解码操作150进一步处理以产生解码信号160。例如，该正常流程可以是在如LCEVC或VC-6等解码规范中描述的流程。
如果符号100-1要作为保留符号，则其解码遵循如比较框105所示的不同流程。在框120处，嵌入信息由处理符号100-1进行解码，以产生水印信息140。在框170处，解码信号160连同水印信息140一起处理，其中执行一个或多个额外操作170。这些操作可以包含增强操作，如基于水印信息140确定是否中断解码信号的显示，和/或发起依从性流程，如检查编码器是否被恰当许可和/或已正确生成符号100-1至100-N。额外操作170的输出可以包含信号的增强重构180。例如，可以处理与信号的一个或多个元素相关联的标记以启用用户的动作，该一个或多个元素在水印信息内编码。这里的元素可以指视频帧的像素或区域。例如，观看重构视频的用户能够实施关于带标记元素的动作。在其它情况下，信号的增强重构可以包括基于水印信息的修改内容。
在一些非限制性实施例中，解码位或字节流(未示出)中的位向解码器发信号指示符号100-1将被解释为保留符号。例如，如下面更详细描述的，该位可以包含在全局配置信息中被“接通”或“断开”的“用户数据”标志。在一些非限制性实施例中，解码器基于在处理时解码器装置可用的处理能力以不同方式实施信号处理操作(包括有时根本不实施信号处理操作)，如额外操作170。
参考图2，示出了在编码系统内实施的方法的实例，在这种情况下实施了基于层的分级编码方法。图2中的框可以由实例编码器实施。质量等级#2(例如，全分辨率和质量)的源信号200由下采样器210接收并处理，产生下采样信号200-1。下采样信号200-1由编码器220处理，该编码器应用给定编码方法(在一些非限制性实施例中也是基于层的分级编码方法，而在其它非限制性实施例中是非分级编码方法)，产生编码数据225。编码器220可以被称为“基本”解码器。
编码数据225和下采样信号200-1由LOQ#1残差数据生成器230处理，以产生编码数据235和LOQ#1信号的再现237。LOQ#1残差数据生成器230可以通过从下采样信号200-1中减去基于编码数据225的重构来生成残差信号。LOQ#1残差数据生成器230也可以通过应用编码单元变换并量化该变换的输出对所述残差信号进行编码。还可以应用进一步的熵编码阶段。变换和量化的输出可以包含被修改成包括嵌入信令的(量化)变换系数。LOQ#1信号的再现237由LOQ#2初步再现生成器240进一步处理，以产生LOQ#2信号的初步再现245。例如，这可以包含用可选修改对LOQ#1信号的再现进行上采样237，以生成LOQ#2分辨率和/或采样率的信号。
LOQ#2信号的初步再现245连同源信号200由LOQ#2残差生成器260一起处理，以产生编码数据265。编码数据265可以包含由LOQ#2残差生成器260通过从源信号200中减去LOQ#2信号的初步再现而生成的残差信号。LOQ#2残差信号生成器260可以对LOQ#1生成器230应用类似的操作，但要根据第二质量等级(例如，更高的分辨率)的残差信号。
然后，编码数据225、235和265集由多路复用器(Mux)270处理，以产生以梯级编码数据编码的信号280。尽管所有三个编码数据集在图2中都被多路复用，但是在其它实例中，子集可以被多路复用，例如编码数据235和265可以与编码数据225分开传输。在VC-6中，编码数据流可以包含所有编码数据225、235、265集；在LCEVC中，编码(增强)数据流可以包含编码数据235和265，并且编码数据225可以形成单独的基本流。
在某些描述的实施例中，当对第一质量等级信号进行编码时，LOQ#1残差生成器230产生利用一组保留符号的编码数据235，以便向解码器发信号传递水印信息。这可以包含从如背景技术中讨论的A/335的已知水印标准转换的水印信息。如在本领域中已知的和在A/335的标准文献中解释的，水印信息可以包含嵌入在容噪信号中以供解码器使用的数据。水印信息的用途多种多样。这些用途包括支持与信号相关联的编程元素，如支持交互性、动态内容替换或覆盖、服务使用监视和内容标识所需的那些编程元素。水印信息的常见用途是标识与信号和/或信号内的元素相关联的知识产权的所有权。应当注意，本文对元素的引用包括对与信号中可由人类观察者辨别的对象相关联的像素或平面元素的引用。水印信息，也称为数字水印，也可用于验证被编码信号的真实性或完整性。该水印信息可以在编码过程期间添加并且在解码过程期间提取。
在一种情况下，LOQ#1残差生成器230用嵌入信令数据替换特定变换系数(例如，通过乘以变换矩阵生成的向量中的特定元素)的量化变换系数值。只有一个系数的值可以被修改，其它系数可以保持未修改并且按照用于标准化解码程序的比较编码进行编码。可以选择使重构信号的变化最小化的系数，如用于2×2或4×4哈达玛变换的H或HH系数。
在一些非限制性实施例中，LOQ#1残差生成器230切换编码位流或字节流中的特定位，以向解码器发信号指示编码数据集235中的给定组符号是要被解释为实际残差数据还是要被解释为告知信号解码操作的额外上下文信息。在一些非限制性实施例中，方法230和260根据用保留系数发信号传递的信息来实施环内信号处理操作，以便从编码数据265重构该信号。
参考图3，示出了在解码系统内实施的方法的实例，也实施了基于层的分级编码方法。图3中的框可以由实例解码器实施。编码数据225由较低LOQ解码器300接收并处理。如图2所示的那样，编码数据225可以通过解多路复用从编码器接收的以梯级编码数据编码的信号280来获得。较低LOQ解码器300可以称为基本解码器。较低LOQ解码器300输出LOQ#1信号的初步再现310。
然后，LOQ#1信号的初步再现310连同编码数据235一起由LOQ#1的重构器320处理，以便产生LOQ#1信号的再现337。如图2所示的那样，编码数据235可以通过解多路复用从编码器接收的以梯级编码数据编码的信号280来获得。LOQ#1信号的再现337对应于图2中LOQ#1信号的再现237。编码数据235可以由LOQ#1重构器320解码，然后与LOQ#1信号的初步再现310结合。在一种情况下，编码数据235可以包含如本文其它实例中描述的残差数据。解码可以包含应用如图1和4中的框110和410所示的操作。
LOQ#1信号的再现337随后由LOQ#2初步再现生成器340(其可以对应于图2中的LOQ#2初步再现生成器240)处理以产生LOQ#2信号的初步再现345。LOQ#2信号的初步再现345由LOQ#2重构器360处理，产生LOQ#2信号的最终再现370。
在一些非限制性实施例中，当对编码数据235内的特定组数据进行编码并找到特定组量化符号时，解码器不将所述符号解释为残差数据，而是根据接收到的符号来执行信号处理操作。
在一些非限制性实施例中，解码字节流(图3中未示出)中的位向LOQ#1重构器320和/或LOQ#2重构器360发信号指示额外信息可能已嵌入在一些残差数据系数中，更具体地说，特定组残差数据(或所述符号的部分)中的特定组量化符号不应被解释为实际残差数据，而是解释为告知信号增强操作的上下文信息。
在一些非限制性实施例中，解码器基于在解码时解码器装置可用的处理能力以不同方式实施信号处理操作(包括有时根本不实施这些信号处理操作)。例如，只当处理能力可用时，才可以从保留符号中提取标记和/或分类。
在一些非限制性实施例中，在应用解码自含有嵌入水印信息的梯级数据的残差数据前，解码器环内应用基于水印信息的信号处理方法。在其它非限制性实施例中，在已将第二质量等级信号的初步再现与解码残差数据结合后，解码器环内应用基于水印信息的信号处理方法。在其它非限制性实施例中，在已产生最终(最高)质量等级信号的再现后，解码器在解码过程结束时应用基于水印信息的信号处理方法。在又一非限制性实施例中，解码器既环内应用又在解码过程结束时应用基于水印信息的信号处理方法。稍后描述关于图4的某些实例。
在优选实例中，编码器或解码器是基于层的分级编码方案或格式的一部分。基于层的分级编码方案的实例包括LCEVC：MPEG-5第2部分LCEVC(“低复杂度增强视频编码”)和VC-6：SMPTE VC-6ST-2117，前者描述在PCT/GB2020/050695(和相关联的标准文献)中，后者描述在PCT/GB2018/053552(和相关联的标准文献)中，所有这些文献通过引用并入本文。然而，本文所示的概念不必限于这些特定的分级编码方案。本领域技术人员将了解上述编码器和解码器方法如何应用于LCEVC中的基本层和增强层(例如，LOQ#1对应于基本层且LOQ#2对应于增强层)。这样，在某些情况下，编码数据235、编码数据265和相应的嵌入上下文信息的编码格式是MPEG-5第2部分LCEVC。在这种情况下，编码数据235和编码数据265可以包含不同的增强子层。在这种情况下，嵌入上下文信息可以被称为“用户数据”，因为其可以包含根据标准重构信号所需的数据之外的信息。在其它情况下，编码数据235、编码数据265和相应的嵌入上下文信息的编码格式是SMPTE VC-6 ST-2117。同样，嵌入上下文信息可以包含根据标准的定义来重构信号所不需要的的数据。应当注意，如从如LCEVC和VC-6等基于层的编码方法中已知的，对视频数据的“帧”的引用还包括对颜色数据的一个或多个平面(例如，亮度和色度平面)的引用。
参考图4，示出了在解码系统内实施的方法的实例，该解码系统也实施了基于层的分级编码方法。该方法是图2所示方法的变型。在该变型中，水印信息可以用于处理LOQ#1信号的初步再现(如图3中的310)和LOQ#2信号的再现(如图3中的370)中的一个或多个。这样，水印信息可以与一个或多个质量等级相关联，包括基本质量等级。
如图2所示，在图4中，量化符号400-1连同其它量化符号400-2至400-N一起被接收并处理。量化符号可以表示编码数据235等级的残差数据流。解码器检查符号400-1是否应当作为保留符号。根据符号400-1是否作为保留符号，解码器遵循两种不同的方法。
如果符号400-1不作为保留符号，则其解码遵循对该组中的其它符号实施的正常流程：根据框410进行去量化和逆变换，产生一组解码残差数据420。所述残差数据(例如，以非限制性实施例而言，连同信号样本的残差部分的其它残差数据一起)借助于重构器450进一步处理以产生LOQ#1信号的再现460。
如果符号400-1要作为保留符号，则其解码遵循不同的流程。在框430处，发起解码嵌入信息430的操作以处理符号400-1以产生水印信息435。在该实例中，水印信息可以用于控制以下各项中的一项或多项：额外操作440、重构器450和额外操作480。例如，水印信息435可以包含依从性信息，并且额外操作440和480可以包含对LOQ#1信号的初步再现310和LOQ#2信号的再现470执行的各自的依从性流程。例如，水印信息可以指示用户只被允许访问较低分辨率的视频信号；在这种情况下，水印信息435可以指示可以处理LOQ#1信号的初步再现310以输出LOQ#1信号的再现460，但是不输出LOQ#2信号的再现470(例如，要限制LOQ#2信号的最终再现490)。在这种情况下，如果用户不被允许对任一视频流进行任何访问，那么LOQ#1信号的初步再现310和LOQ#2信号的再现470都可以基于水印信息435被限制或不被输出。在其它情况下，水印信息435可以包含与不同质量等级的信号的元素相关联的标记。额外操作440和480因此可以包含生成与主信号相关联的元数据信号(例如，视频信号中的像素的一组标记)，其允许用户发起关于元素的动作，如点击LOQ#1信号的初步再现310和LOQ#2信号的再现470中的一个或多个的再现内的元素。例如，水印信息435可以包含与在信号内示出的对象相关联的信息，如动作者或产品的特定模型，允许最终用户点击与该对象相关联的像素并被提供关于该对象的进一步信息。
更详细地，额外操作440处理LOQ#1信号的初步再现310和水印信息435。这产生了LOQ#1信号的处理初步再现445。该处理初步再现445连同残差数据420一起由重构器450进一步处理，产生LOQ#1信号的增强再现460。例如，重构器450可以包含与图3中LOQ#1的重构器320所执行的那些流程类似的流程，并且LOQ#1信号的增强再现460可以对应于图3中LOQ#1信号的再现337。LOQ#1信号的增强再现460可以通过添加残差数据420以及通过由额外操作440执行的LOQ#1信号的初步再现310的任何处理来增强。在一种情况下，解码嵌入信息框430可以为量化符号400-1提取水印数据435和残差数据，例如量化符号400-1可以携带水印数据435和残差数据。这例如可以通过对量化符号400-1的位进行分区并将较高水平的量化应用于表示残差数据的变换系数的原始符号来实现。例如，解码嵌入信息框430可以执行类似于去量化和逆变换框410的操作，或可以可替代地将量化符号400-1的零水印分量传回去量化和逆变换框410以导出残差数据。在任何情况下，重构器450可以另外接收量化符号400-1的残差数据。
重构器450因此生成LOQ#1信号的增强再现460，其由解码操作465进一步处理以产生LOQ#2信号的再现470。解码操作465可以是与图2中LOQ#2初始再现生成器340和LOQ#2重构器360相关联的操作。因此，可以看到LOQ#2信号的再现470对应于图3中的再现370。在图4中，LOQ#2信号的再现470连同水印信息435由额外操作480一起处理，以便产生LOQ#2信号的最终再现490。如上所述，额外操作480可以包含实施依从性流程以限制LOQ#2信号的最终再现490的输出以及/或生成如LOQ#2信号的最终再现490的元素的标记等附加元数据。额外操作480可以包含基于依从性流程的结果中断LOQ#2信号的最终再现490的显示。
在某些情况下，如果量化符号400-1仍然携带变换系数值(例如，通过在水印信息和变换系数值之间分割位容量)并且/或变换系数被选为来自被发现视觉影响减小的较大(例如，4×4)变换的系数(例如，4×4哈达玛变换中的HH系数)，那么对所得输出信号(例如，LOQ#2信号的最终再现490)的视觉影响被最小化。另外，如果变换系数值的精确度降低或在LOQ#1等级被替换，那么LOQ#2残差生成器260能够生成变成编码数据265的残差数据，该编码数据校正LOQ#2信号的初步再现245和LOQ#2源信号200之间的差异。这就是对如A/335等水印标准的改进，其中在图像的顶部有明显的黑色或灰色线条和像素变化。
所提出的加水印方法的额外好处是水印作为编码的一部分执行，所以不会被后续的编码或压缩破坏或修改。例如，如A/335等比较水印标准将水印信息应用于LOQ#2源信号200，其中该带水印信号随后进行编码。这意味着在接收机处需要更复杂的阈值处理，因为原始亮度值可以作为编码和解码流程(例如，如果这是有损流程)的一部分而进行修改。目前描述的方法也更安全，因为访问和改变图片信息更困难；可以保护编码和解码操作并且/或水印信息本身可以被加密(例如，使用公共密钥密码术)。
参考图5，示出了在利用本文描述的创新方法的编码和解码系统内实施的方法的实例。图5示出了所提出的嵌入水印信息的方法如何与传统解码器一起使用。编码器510处理原始信号500以产生数据流520。编码器510可以如参照图2所解释的对数据流520进行编码，并且可以将水印信息嵌入在数据流520内传输的一个或多个编码数据层中接收的一个或多个值中，其中所述值与旨在由解码器处理以导出信号的元素的变换系数相关联，例如关于图2或图4所描述的。
数据流520由两个解码器处理。解码器530-0根据由编码器510在保留符号内发信号传递的信息来实施信号处理方法，从而解码重构信号540-0。重构信号540-0可以用元数据来增强，如导出自保留符号内的水印信息的标记或分类信息。
在图5中，解码器530-1也对重构信号540-1进行重构，但忽略由编码器510在保留符号内发信号传递的信息。在一些非限制性实施例中，重构信号540-1是用于给定目的的信号的完全可行的重构，使得由解码器530-0执行的额外操作完全可选。例如，解码器530-1可以是应用LCEVC标准中提出的解码流程的解码器，而解码器530-0可以是实施非标准解码流程(在某些情况下，除了LCEVC标准中提出的解码流程)的解码器。因此，可以基于水印信息提供额外功能，同时保持符合LCEVC标准。
在一些非限制性实施例中，解码器530-0有时可以决定忽略由编码器510在保留符号内发信号传递的部分信息。例如，解码器530-0可以基于包括信号的分辨率和帧速率、解码时的处理能力载荷和电池电量状态中的一个或多个的信息来定义是否忽略保留符号内发信号传递的部分信息。
在某些情况下，实现了后向兼容性，例如，如上所述的后向兼容性，因为解码器530-1将保留符号视为正常量化变换系数值并对其进行适当解码。在基于层的分级格式中应用的校正意味着可以校正任何错误。可替代地，编码数据流520中的位用于向解码器530发信号指示一个或多个值应被解释为所述信息而不是变换系数的实际量化值。在又一种情况下，可以在保留符号和(量化)变换系数值之间共享分配给特定变换系数值的位深度(例如，深度D为8或16位)。例如，变换系数值的n个最低有效位(其中n小于位深度，例如为2或6位)可以用于携带保留符号(即水印信息)，这表示应用于携带该符号的变换系数值的更积极的量化，但仍然使粗等级的信息(D-n位)能够被传输并用于重构残差数据。通过选择被确定(例如，通过实验)为在重构输出中感知力较低的变换系数(例如，2×2或4×4哈达玛变换中的H或HH)，可以进一步最小化视觉影响。
参考图6，示出了设备600的实例的示意性框图。
设备600的实例包括但不限于移动计算机、个人计算机系统、无线装置、基站、电话装置、台式计算机、膝上型计算机、笔记本电脑、上网本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、应用服务器、存储装置、消费型电子装置，如相机、摄像机、移动装置、视频游戏机、手持式视频游戏装置、外围装置，如交换机、调制解调器、路由器、车辆等或通常任何类型的计算或电子装置。
在该实例中，设备600包含被配置成处理信息和/或指令的一个或多个处理器612。一个或多个处理器612可以包含中央处理单元(CPU)。一个或多个处理器612与总线611耦合。由一个或多个处理器612执行的操作可以由硬件和/或软件实行。一个或多个处理器612可以包含多个协同定位的处理器或多个全异地定位的处理器。
在该实例中，设备600包含被配置成存储用于一个或多个处理器612的信息和/或指令的计算机可用存储器613。计算机可用存储器613与总线611耦合。计算机可用存储器613可以包含易失性和非易失性存储器中的一个或多个。易失性存储器可以包含随机存取存储器(RAM)。非易失性存储器可以包含只读存储器(ROM)。
在该实例中，设备600包含被配置成存储信息和/或指令的一个或多个外部数据存储单元680。一个或多个外部数据存储单元680经由I/O接口614与设备600耦合。一个或多个数据存储单元680可以例如包含磁盘或光盘和盘驱动器或固态驱动器(SSD)。
在该实例中，设备600还包含经由I/O接口614耦合的一个或多个输入/输出(I/O)装置616，该I/O接口被配置成向和/或从一个或多个处理器612传达信息。设备600还包含至少一个网络接口617。I/O接口614和网络接口617都耦合到系统总线611。至少一个网络接口617可以使得设备600能够经由一个或多个数据通信网络690进行通信。数据通信网络的实例包括但不限于因特网和局域网(LAN)。一个或多个I/O装置616可以使用户能够经由一个或多个输入装置(未示出)向设备600提供输入。一个或多个I/O装置616可以使信息能够经由一个或多个输出装置(未示出)提供给用户。
在图6中，(信号)处理器应用程序640-2被示为加载到存储器1513中。这可以作为(信号)处理器过程640-1由处理器612执行，以实施本文所述的方法(例如，实施合适的编码器或解码器)。设备600还可以包含为清楚起见未示出的额外特征，包括操作系统和额外数据处理模块。(信号)处理器过程640-1可以通过存储在计算机可用非易失性存储器内的存储器位置中的计算机程序代码、一个或多个数据存储单元内的计算机可读存储介质和/或其它有形计算机可读存储介质来实施。有形计算机可读存储介质的实例包括但不限于：光学介质(例如，CD-ROM、DVD-ROM或蓝光)、闪存卡、软盘或硬盘或能够在至少一个ROM或RAM或可编程ROM(PROM)芯片中存储如固件或微代码等计算机可读指令或作为专用集成电路(ASIC)的任何其它介质。
设备600因而可以包含可以由一个或多个处理器执行的数据处理模块。数据处理模块可以被配置成包括实施本文描述的至少一些操作的指令。在操作期间，一个或多个处理器启动、运行、执行、解释或以其它方式执行指令。
尽管本文参考附图描述的实例的至少一些方面包含在处理系统或处理器中执行的计算机过程，但是本文描述的实例还扩展到计算机程序，例如载体上或载体中的计算机程序，其适于将实例付诸实践。载体可以是任何能够承载程序的实体或装置。应当理解，设备600可以包含更多、更少和/或与图6所示的组件不同的组件。设备600可以位于单个位置或可以分布在多个位置。此类位置可以是本地或远程的。
如本文实例中所描述的，信号处理器(例如，计算机处理器硬件)被配置成接收数据并对其进行解码(“解码器”)。解码器获得第一(较低)质量等级信号的再现，并检测指定水印信息的保留符号。解码器重构第二(下一较高)质量等级信号的再现，并可以使用水印信息对再现应用进一步处理。
在这里描述的某些实例中，保留符号可以作为编码数据流的所谓用户数据来携带。在这些实例中，信号处理信息被嵌入在编码数据流中传输的一个或多个编码数据层中接收的一个或多个值中。值与变换系数相关联，这些变换系数经处理以在解码期间导出信号的元素，例如，这些值可以包含由编码变换生成的一组不同变换系数内的预定义变换系数的值。
编码数据流的位流中的位可用于发信号传递用户数据的存在。该位可以包含用户_数据_启用位，其可以存在于编码数据流的全局配置报头中。在某些实例中，代替系数中的一个的用户数据的编码可如下配置。如果该位设置为“0”，那么解码器将该数据解释为相关的变换系数。如果该位设置为“1”，那么包含在相关系数中的数据被视为用户数据，且解码器被配置成忽略该数据，或相关系数被视为携载用户数据且执行提取该数据的相关过程。例如，如果该位设置为“1”，则这可以指示正在传输水印信息。
以此方式传输的用户数据可以用于使解码器能够获得补充信息，包括，例如，各种特征提取和推导。尽管这里要求保护的实例涉及水印信息，但是也可以使用用户数据来用信号传递其它与标准化实施方案之外的实施方案相关的可选参数。
在一种情况下，用户_数据_启用变量可以是k位变量。例如，用户_数据_启用可以包含具有以下值的2位变量：
用户_数据_启用 类型值
0 禁用
1 启用2位
2 启用6位
3 保留
在这种情况下，可以将指定水印信息的用户数据嵌入到一个或多个解码系数数据集的最后n个(最低)有效位中(例如，在编码残差系数数据内)。
如在本文实例中所描述的，当启用用户数据例如以传输信号处理信息时，那么可以修改变换系数的“环内”处理。这两个实例示出在图2和4中。此外，也可以调整变换系数的解码，使得当启用用户数据时，在对变换系数进行逆变换前将特定变换系数(例如，H或HH)的值设置为0。在上表中陈述的情况下，在将n个最低有效位提取为保留符号之后，如果n＝2(例如，用户_数据_启用＝1)，则用于携载用户数据的变换系数的值可右移(例如，位移)2位(＞＞2)，或如果n＝6(例如，用户_数据_启用＝1)，则右移(例如，位移)6位(＞＞6)。在一种情况下，如果变换系数的值在长度上是D位，其中D＞n，n是以位为单位的用户数据的长度(例如，上表中的2或6)，那么变换系数的剩余D-n位可以用于携载变换系数的值(例如，与全D位表示相比，量化程度更高的整数值)。在这种情况下，用户数据和变换系数的值可以在D位上进行划分。在其它更简单的情况下，可以提取用户数据，并且可以将变换系数的值设置为0(即，使得变换系数的值对逆变换的输出没有影响)。
在某些实例中，用于实施保留符号的用户数据可以根据定义的语法来格式化。该定义的语法可以将用户数据划分为报头数据和有效载荷数据。在这种情况下，用户数据的解码可以包含对在一个或多个编码数据层中接收的第一组值进行解析以提取报头数据，以及对在一个或多个编码数据层中接收的第二后续组值进行解析以提取有效载荷数据。报头数据可以设置为第一组定义的位数。例如，在上述以2或6位值定义用户数据的实例中，前x个值可以包含报头数据。在一种情况下，x可以等于1，使得用户数据的第一值(例如，给定视频帧或平面的第一编码单元或数据块的变换系数值)定义报头数据(例如，第一值的2或6位定义报头数据)。
在某些实例中，报头数据可以至少指示是否启用水印操作。通常，报头数据可以指示水印信息的全局参数，而有效载荷数据可以指示水印信息的局部参数，即由此可以将水印信息局部化到包含m×m个残差数据块(例如，2×2或4×4个块)的一个或多个编码单元。由于水印信息被封装在特定编码单元的保留符号内，因此标记和/或分类(例如)可以应用于信号的局部化区域。例如，标记可以指示视频信号的局部区域将被修改和/或替换的位置。
本文描述的技术可以以软件或硬件来实施，或者可以使用软件和硬件的组合来实施。这些技术可以包括配置设备以实行和/或支持任何或所有本文描述的技术。
以上实施例应理解为说明性实例。设想另外的实施例。
应理解，关于任一个实施例描述的任何特征可单独使用，或者与所描述的其它特征结合使用，并且还可与任何其它实施例的一个或多个特征结合使用，或者与任何其它实施例的任何组合结合使用。此外，在不脱离由所附权利要求书限定的本发明的范围的情况下，还可采用上文未描述的等效者和修改。

Claims (24)

1.一种对信号的一个或多个部分执行信号解码操作的方法，
其中所述执行至少部分地基于嵌入在一个或多个值中的信息，所述一个或多个值在编码数据流内传输的一个或多个编码数据层中接收，
其中所述值与旨在由解码器处理以导出信号的元素的变换系数相关联，
其中所述信息包含与所述信号相关联的水印信息的指示。
2.根据权利要求1所述的方法，其中所述一个或多个值由所述解码器解释以导出所述信息，而不是导出变换系数的值。
3.根据权利要求1或2所述的方法，其中所述编码数据流包含在编码位流中，并且其中所述编码位流中的位用于向所述解码器发信号指示一个或多个值应被解释为所述信息而不是变换系数的实际量化值。
4.根据上述权利要求中的任一项所述的方法，其中所述信号借助于基于层的分级格式进行编码。
5.根据权利要求4所述的方法，其中所述嵌入信令包括在分辨率低于所述信号的全分辨率的残差层中。
6.根据权利要求5所述的方法，其中基于所述嵌入信令执行的所述信号解码操作中的至少一个在分辨率低于全分辨率的所述信号的中间再现上环内执行。
7.根据上述权利要求中的任一项所述的方法，其中所述解码器基于待由所述解码器装置使用的处理能力或电池耗电量的目标等级选择性地实施信号解码操作。
8.根据上述权利要求中的任一项所述的方法，其中所述水印信息指示所述解码器应当发起对所述解码信号的水印操作的应用。
9.根据上述权利要求中任一项所述的方法，其中所述水印信息包含与所述信号相关联的依从性信息。
10.根据权利要求9所述的方法，其中所述依从性信息包含以下信息中的任何一个信息：生成所述信号的方式、用于生成所述信号的特定编码器版本、与所述信号相关联的许可信息和/或生成所述信号的所述编码器版本。
11.根据权利要求9至10中任一项所述的方法，其包含：在对所述水印信息进行解码时，提示所述解码器对所述信号发起依从性流程。
12.根据权利要求11所述的方法，其中所述依从性流程包含发起所述信号的显示的中断。
13.根据上述权利要求中任一项所述的方法，其中所述水印信息包含与所述信号的一个或多个元素相关联的标记。
14.根据权利要求13所述的方法，其中所述标记包含所述信号的元素是否可以由所述信号的最终用户选择的标识。
15.根据权利要求13或14所述的方法，其中所述标记标识所述信号的元素是否与所述信号的所述最终用户要采取的动作相关。
16.根据权利要求15所述的方法，其中所述动作包含点击所述元素。
17.根据权利要求13所述的方法，其中所述标记标识属于一类对象的所述信号的元素。
18.一种对信号进行编码的方法，其包含：
通过保留给定系数群的一个或多个量化符号来编码用于信号重构的变换系数，以提供用于待对所述信号的一个或多个部分执行的信号解码操作的嵌入信令信息，其中所述信息包含与所述信号相关联的水印信息的指示。
19.根据权利要求18所述的方法，其中所述编码使用基于层的分级编码方法。
20.根据权利要求18或19所述的方法，其包含：
切换所述信号的编码位流中的至少一个位以向所述解码器指示给定组残差数据中的给定组符号是被解释为残差数据还是被解释为携带水印信息的额外嵌入信令信息。
21.根据上述权利要求中任一项所述的方法，其中对所述信号的至少一部分和所述水印信息进行编码的所述格式是MPEG-5第2部分LCEVC(“低复杂度增强视频编码”)。
22.根据上述权利要求中的任一项所述的方法，其中对所述信号的至少一部分和所述水印信息进行编码的所述格式是SMPTE VC-6 ST-2117。
23.一种解码器，其被配置成当从属于权利要求1时执行根据权利要求1至17或21至21中任一项所述的方法。
24.一种编码器，其被配置成执行权利要求16至22中任一项所述的方法。
CN202080083191.6A 2019-10-02 2020-10-02 变换系数为水印提供嵌入式信令的用途 Pending CN114930835A (zh)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
GB201914215A GB201914215D0 (en) 2019-10-02 2019-10-02 Video coding technology
GB1914215.7 2019-10-02
GB201914414A GB201914414D0 (en) 2019-10-06 2019-10-06 Video coding technology
GB1914414.6 2019-10-06
GB201914416A GB201914416D0 (en) 2019-10-06 2019-10-06 Use of embedded signalling in tiered hierarchical coding
GB1914416.1 2019-10-06
GB201915553A GB201915553D0 (en) 2019-10-25 2019-10-25 Video Coding technology
GB1915553.0 2019-10-25
GB2000430.5 2020-01-12
GBGB2000430.5A GB202000430D0 (en) 2020-01-12 2020-01-12 Video Coding technologies
GBGB2001408.0A GB202001408D0 (en) 2020-01-31 2020-01-31 Video coding technology
GB2001408.0 2020-01-31
US202062984261P 2020-03-02 2020-03-02
US62/984,261 2020-03-02
GB2006183.4 2020-04-27
GBGB2006183.4A GB202006183D0 (en) 2020-04-27 2020-04-27 Video coding technology
GB2010015.2 2020-06-30
GBGB2010015.2A GB202010015D0 (en) 2020-06-30 2020-06-30 Use of embedded signalling for backward-compatible scaling improvements and super-resolution signalling
PCT/GB2020/052421 WO2021064414A1 (en) 2019-10-02 2020-10-02 Use of transformed coefficients to provide embedded signalling for watermarking

Publications (1)

Publication Number Publication Date
CN114930835A true CN114930835A (zh) 2022-08-19

Family

ID=75337770

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202080083206.9A Pending CN115191116A (zh) 2019-10-02 2020-10-02 使用嵌入信令来校正信号损伤
CN202080083185.0A Pending CN114788283A (zh) 2019-10-02 2020-10-02 用于向后兼容的分级改进的嵌入式信令以及超分辨率信令的用途
CN202080083191.6A Pending CN114930835A (zh) 2019-10-02 2020-10-02 变换系数为水印提供嵌入式信令的用途

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202080083206.9A Pending CN115191116A (zh) 2019-10-02 2020-10-02 使用嵌入信令来校正信号损伤
CN202080083185.0A Pending CN114788283A (zh) 2019-10-02 2020-10-02 用于向后兼容的分级改进的嵌入式信令以及超分辨率信令的用途

Country Status (8)

Country Link
US (2) US20220385911A1 (zh)
EP (4) EP4042695A1 (zh)
CN (3) CN115191116A (zh)
DK (1) DK4038883T3 (zh)
FI (1) FI4038883T3 (zh)
GB (3) GB2603873B (zh)
PL (1) PL4038883T3 (zh)
WO (3) WO2021064414A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2601368B (en) * 2020-11-27 2023-09-20 V Nova Int Ltd Video decoding using post-processing control
GB2601362B (en) 2020-11-27 2023-08-16 V Nova Int Ltd Video encoding using pre-processing
US11765011B2 (en) * 2021-07-06 2023-09-19 Huawei Technologies Co., Ltd. Method and apparatus for transmitting and receiving data
US20230114562A1 (en) * 2021-10-08 2023-04-13 Comcast Cable Communications, Llc Methods, systems, and apparatuses for content-adaptive multi-layer coding based on neural networks
GB2607123B (en) * 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method
GB2614763B (en) * 2022-03-29 2024-05-01 V Nova Int Ltd Upsampling filter for applying a predicted average modification
GB202205928D0 (en) * 2022-04-22 2022-06-08 V Nova Int Ltd Methods, bitstreams, apparatuses, computer programs and computer-readable media
WO2024016106A1 (en) * 2022-07-18 2024-01-25 Intel Corporation Low-complexity enhancement video coding using multiple reference frames
JP2024047918A (ja) * 2022-09-27 2024-04-08 シャープ株式会社 動画像符号化装置、動画像復号装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4455487B2 (ja) * 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
US8731064B2 (en) * 2006-09-11 2014-05-20 Apple Inc. Post-processing for decoder complexity scalability
US20100278231A1 (en) * 2009-05-04 2010-11-04 Imagine Communications Ltd. Post-decoder filtering
US8699582B2 (en) * 2010-10-06 2014-04-15 Qualcomm Incorporated Context-based adaptations of video decoder
HUE044124T2 (hu) * 2011-04-22 2019-09-30 Dolby Int Ab Eljárás és berendezés adatok veszteséges tömörítõ kódolására
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
CA2873499A1 (en) 2012-05-14 2013-11-21 Luca Rossato Encoding and reconstruction of residual data based on support information
TWI558183B (zh) * 2012-07-09 2016-11-11 Ｖｉｄ衡器股份有限公司 功率知覺視訊解碼及串流
CA2909445C (en) * 2013-04-15 2024-02-20 Luca Rossato Hybrid backward-compatible signal encoding and decoding
KR101953855B1 (ko) * 2014-04-01 2019-03-04 후아웨이 테크놀러지 컴퍼니 리미티드 다중 계층 구조 부호화 유닛에서의 데이터 은닉을 위한 방법 및 장치
US9445131B1 (en) 2015-01-23 2016-09-13 Faroudja Enterprises, Inc. De-blocking and de-banding filter with adjustable filter strength for video and image processing
US10819997B2 (en) * 2016-01-20 2020-10-27 Arris Enterprises Llc Encoding video data according to target decoding device decoding complexity
GB2573486B (en) 2017-12-06 2022-12-21 V Nova Int Ltd Processing signal data using an upsampling adjuster
WO2019111006A1 (en) 2017-12-06 2019-06-13 V-Nova International Ltd Methods and apparatuses for hierarchically encoding and decoding a bytestream
EP3776477A4 (en) * 2018-04-09 2022-01-26 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
US11736688B2 (en) * 2019-06-21 2023-08-22 Qualcomm Incorporated Adaptive loop filter signalling

Also Published As

Publication number Publication date
WO2021064414A1 (en) 2021-04-08
GB2604292A (en) 2022-08-31
GB2605029B (en) 2023-12-20
PL4038883T3 (pl) 2024-04-29
EP4038883B1 (en) 2023-12-13
CN115191116A (zh) 2022-10-14
WO2021064412A1 (en) 2021-04-08
GB2603873A (en) 2022-08-17
GB202206301D0 (en) 2022-06-15
GB202206300D0 (en) 2022-06-15
GB2603873B (en) 2023-12-27
FI4038883T3 (fi) 2024-03-15
CN114788283A (zh) 2022-07-22
US20220345753A1 (en) 2022-10-27
US20220385911A1 (en) 2022-12-01
DK4038883T3 (en) 2024-03-18
EP4038883A1 (en) 2022-08-10
WO2021064413A1 (en) 2021-04-08
GB2604292B (en) 2023-12-20
EP4221221A1 (en) 2023-08-02
EP4042695A1 (en) 2022-08-17
GB2605029A (en) 2022-09-21
EP4038879A1 (en) 2022-08-10
GB202206302D0 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
EP4038883B1 (en) Use of transformed coefficients to provide embedded signalling for watermarking
CN105432083B (zh) 混合向后兼容的信号编码和解码的方法和系统
US8861879B2 (en) Method and apparatus for encoding and decoding image based on skip mode
US6606393B1 (en) Message authentication code using image histograms
TWI508540B (zh) 一種資料處理方法和系統
US7630512B2 (en) Method for performing recoverable video and image watermarking which survives block-based video and image compression
JPH11284843A (ja) ウォ―タマ―クをディジタル画像シ―ケンスのビットストリ―ム表現に組み込むための方法及び装置
US9712845B2 (en) Media content processing method
US20070064937A1 (en) Method and apparatus for encoding or decoding a bitstream
Weng et al. Pairwise IPVO-based reversible data hiding
US12010329B2 (en) Embedding data within transformed coefficients using bit partitioning operations
Caldelli et al. Joint near-lossless compression and watermarking of still images for authentication and tamper localization
JP5139995B2 (ja) ストリームに透かしを入れる方法及び装置
Maung et al. Authentication of MP4 file by perceptual hash and data hiding
TW202127895A (zh) 用於深度資料之編碼方案
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
US20220360806A1 (en) Use of transformed coefficients to provide embedded signalling for watermarking
KR102036077B1 (ko) 비저블 워터마크가 삽입되는 영상을 처리하는 방법 및 그 영상 처리 장치
Sajiyya et al. Information Hiding in H. 264 Compressed Video
Babel et al. WG1N5315-Response to Call for AIC evaluation methodologies and compression technologies for medical images: LAR Codec
JP2003152978A (ja) 電子透かし装置、電子透かし方法及び電子透かしプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination