CN104769936A - 处理数字内容 - Google Patents

Abstract

描述了用于对数字内容、诸如视频或音频内容进行加扰的方法和装置，通过将数字内容划分成以原始布置而陈列的块，并且将所述块从原始布置重排序成经加扰的布置。附加的操纵变换、诸如旋转和映像可以应用于单独的块。然后可以实行随后的压缩步骤。还描述了用于实行对数字内容的对应解扰的方法和装置。

Description

处理数字内容

技术领域

本发明涉及用于处理数字内容的方法和装置，例如涉及被布置成对诸如视频之类的数字内容进行加扰（scramble）的内容源，以及被布置成对数字内容进行解扰（descramble）的一个或多个内容接收器。

背景技术

在现有技术中描述了用于诸如视频和音频数据之类的数字内容的各种失真技术。这样的失真技术可以使内容变得表面上完全无序，或者可以使其在某种程度上不可理解，这取决于由分发内容的一方需要什么。这样的失真技术经常称作加扰，并且倾向于与加密不同，因为加扰技术对于强力逆向工程攻击更加易受损坏。在大多数实际的应用中，加扰被添加作为除加密之外的另外的保护或控制层。

US 7,050,588描述了一种内容失真技术，其在潜在有损的内容压缩步骤之前应用。在传输到接收器并且由接收器解码之后，接收器复原模块通过使用在失真过程期间所生成的一些控制参数来对失真进行修正。为了减少带宽，压缩方案通常可以移除其效果随后对于回放经解压缩的内容的人而言不可检测的内容元素。然而，由于压缩的有损本质，复原模块在与内容失真步骤所输出的略微不同的数据上进行操作，其可能导致人员将检测到的、在由接收器输出的内容中的残余误差。

内容失真通常还使得随后的压缩和解压缩不太高效。这是因为，压缩技术利用的原始内容中的空间和时间相关性降低或丢失。为了改进内容失真技术的有效性，因此，与现有编码器和解码器技术的紧密集成经常是合期望的，使得在现有内容解码器中的硬件加速技术的部署和使用复杂化。许多内容失真技术因此被设计成在压缩步骤之内或之后工作，例如通过改变MPEG基本（elementary）流中DCT系数和运动向量的符号或次序。

本发明解决有关的现有技术的问题和限制。

发明内容

本发明提供了内容变换过程，其将数字内容细分成许多更小的元素，其可以称作块或铺块（tile），这些然后以非标准次序被放置，例如用于随后的编码以及传输给接收器。特定的接收器元件（诸如分离的解扰或“修整”模块）可以然后用于实现逆变换，例如在使用标准内容解码器以执行解码过程之后。接收器元件基于与经加扰的内容相关联的重排序控制信息而将内容块或铺块重排序回到它们的原始次序。

数字内容可以例如是音频或视频数据。在示例性视频变体中，加扰器模块将原始视频窗口拆分成许多小的内容元素（块或铺块）。每个块是（优选相等大小的）子窗口。加扰器模块根据使用映射参数的映射方案来调换这些块。接收器解扰模块通过使用映射方案的倒转（inverse）、例如基于相同的映射参数而将经解码的子窗口（块）移动回到它们的正确位置。在变体方案中，解扰器模块可以对每个块进行滤波以移除在每个块周围的用于减少压缩/解压缩伪像（artefact）的边界帧（像素区域）。在又一变体中，接收器使用内容流解复用（demultiplexing）模块，其将内容流拆分成多个分离的内容流，例如每一个承载来自一系列帧中每一个的特定块，并且将这些流转发到一组标准内容解码器过程。解码器过程的输出然后通过解扰器（修整）模块进行处理。

对于音频内容，所述块可以是音频时间片段，并且加扰于是可以涉及将这些音频时间片段移动到不同的时间位置。正如视频情况一样，源过程可以将重叠边界添加至所述块，其通过接收器中的内容解扰模块（修整模块）进行滤波。

本发明因此提供一种压缩友好的加扰技术，其可以在压缩之前应用于诸如内容的视频，并且在其中将操作在数字内容上的压缩和解压缩编解码器不可用于修改的情况下可以是尤其有用的。将包括来自原始的块布置中的相邻块的边缘的内容的重叠区域添加到块可以用于减少在经解压缩和解扰的数字内容中的边缘伪像。

特别地，本发明提供一种处理数字内容的方法，包括：对数字内容进行加扰，所述加扰包括将数字内容划分成块（其还可以称作铺块），所述块以原始布置而陈列（set out）并且将所述块从原始布置重排序成经加扰的布置；并且输出经加扰的数字内容，其中所述块以经加扰的布置被排序。该处理可以例如在源、服务器、头端或发射器处实行以例如用于通过广播、传输或写在可读媒介上而将数字内容递送给接收器。数字内容还可以被加密（如果需要的话），通常在加扰之后以及在如下讨论的任何随后的编码或压缩之后。

加扰的步骤还可以包括在多个块中的每一个上实行不同的变换操纵，例如涉及块内的数字内容的移动，诸如通过镜像或旋转，或者通过数字内容数据的数学变换，这样的通过以各种方式的色彩映射。

经加扰的数字内容可以被编码，例如包括输出步骤之前的压缩。这样的编码和/或压缩可以取决于内容的类型，例如涉及用于视频和音频数据的MPEG压缩方案。如果数字内容包括一系列帧（例如，视频或音频帧），并且划分的步骤将每个帧划分成一个或多个块的组，其中将所述块分组成跨多系列帧而持续的这些组，那么压缩或编码的步骤可以通过使用用于跨多系列帧的一个或多个块的每个组的分离的压缩或编码过程来实行。例如，分离的压缩或编码过程可以用于帧的每个块。

加扰的步骤可以包括将数字内容划分成彼此重叠的块，例如使得所述块中的至少一些包括至少一个重叠区域，所述重叠区域包含来自至少一个相应的相邻块的相邻边缘的数字内容，其中相邻是就重排序之前块的原始布置而言。为了帮助改进压缩的效能并且减少经解扰的数据中块之间的边缘伪像，包括重叠区域的块可以被定大小以对应于宏块大小，其将在经加扰的数字内容的随后的压缩中使用。

数字内容可以是音频内容、视频内容或其它类型的。如果数字内容是包括多个视频帧的视频内容，那么加扰可以包括将每个视频帧划分成多个块。块可以在单个帧内被重排序，或者另外跨两个或多个帧而被重排序。典型地，每个块将对应于邻接的多个视频帧像素或视频帧像素的区域，尽管注意到，块可以承载对于特定交错场或特定色彩场的内容数据。

输出的经加扰的（并且典型地经编码/压缩的）数字内容可以被递送到一个或多个接收器（或客户端），所述接收器（或客户端）也被提供有解扰信息，从而使得接收器能够对经加扰的数字内容进行去扰（unscramble）。这样的解扰信息因此包括这样的数据：所述数据准许接收器对块重排序进行逆向以及对同样已经实行的任何变换操纵进行逆向。该数据可以以各种方式被递送作为映射方案的参数，例如以内容流或其它数字内容格式与经加扰的数据相组合，并且例如通过例如加密而被变得迷乱（obfuscated）。

本发明因此还提供处理数字内容的方法，包括：接收作为经加扰的数字内容的数字内容，其中数字内容的块已经在接收之前从原始布置被重排序成经加扰的布置；对数字内容进行解扰，所述解扰包括将所述块重排序回到它们原始的布置；并且以它们的原始布置输出重排序的块。例如，输出的重排序的块可以被组合成视频或其它内容流以用于在接收器处或别处显示或回放。所接收的经加扰的内容可以已经被处置或者具有如在上文中所讨论的或如在本文档中的别处所描述的属性。如果数字内容也已经被加密，那么在接收器处也实行合适的解密步骤。解扰可以通过使用如以上提及的解扰信息来实行，其中递送该信息的一些不同方式被指出。解扰信息可以接收自实行加扰的实体或接收自某种其它实体。

不同的变换操纵可以在接收之前被应用于所接收的数字内容的多个块中的每一个，并且解扰的步骤然后还可以包括使变换操纵逆向。

如果经加扰的数字内容在到达接收器之前被压缩或编码，那么所述方法还可以包括对经加扰的数字内容进行解压缩或解码。如果数字内容包括一系列帧（例如视频或音频帧），并且每个帧包括一个或多个块的组，其中将所述块分组成跨多系列帧而持续的这些组，然后解压缩或解码的步骤可以通过使用用于跨多系列帧的一个或多个块的每个组的分离的解压缩或解码过程来实行。例如，分离的解压缩或解码过程可以用于帧的每个块。

如果所接收的经加扰的数字内容的块中的至少一些包括至少一个重叠区域，所述重叠区域包含从根据原始布置是相邻的至少一个相应的相邻块得到的数字内容，那么所述方法还可以包括在以它们的原始布置输出重排序的块之前修改所接收的块以移除重叠区域。这可以以各种方式进行，例如通过简单地废弃重叠区域，或者重叠数据可以用于改进输出的数字内容，例如通过修改每个相应的相邻块的数字内容，通过组合相应的相邻块的数字内容与对应的重叠区域的数字内容。重叠数据和经重叠的数据可以被组合，这例如通过使用可以是取决于相关重叠像素的定位的权重，或通过使用合适的滤波器，诸如用于视频内容的基于空间像素的滤波器。

本发明还提供了被布置成实施所讨论的方法的装置。例如，这样的装置可以提供源，诸如头端、服务器或发射器，其被布置成处理数字内容以供通过传输、广播或其它形式的递送而输出，并且包括加扰器，所述加扰器被布置成将数字内容划分成以原始布置而陈列的块，并且将所述块从原始布置重排序成经加扰的布置。这样的装置还可以提供客户端，诸如接收器或播放器，其被布置成处理从上文的源所接收的数字内容，并且包括解扰器，所述解扰器被布置成将所述块重排序回到它们的原始布置。这样的客户端可以例如被实现为PC或平板计算机，被实现为电话、机顶盒、光盘播放器或以其它方式实现。本发明还提供了一种系统，其包括至少一个这样的源和一个或多个这样的客户端。

本发明还提供一种对应于所述方法和装置的软件应用，和对应的计算机可读介质，例如承载计算机程序代码的计算机可读介质，所述计算机程序代码被布置成在计算机设备上实施这样的软件应用。

附图说明

现在将仅仅作为示例、参考附图来描述本发明的实施例，在所述附图中：

图1示出用于从包括加扰器12的源向包括解扰器52的一个或多个接收器递送内容的系统；

图2A图示出所述源可以如何配置成使用多个编码器过程并且形成复用的内容流；

图2B图示了接收器可以如何配置成使用多个解码器；

图3示出了用于递送内容的系统，其中加扰和解扰被分别集成到源和接收器的编码器和解码器中；

图4示出了视频数据的帧的块172可以如何从原始布置170被加扰至经加扰的布置174，以及重叠区域178可以如何被添加到块的边缘；

图5图示出可以被应用到块172、174作为加扰过程的部分的另外的操纵变换；

图6图示出了音频流的加扰；

图7示出了可以被用于实行加扰过程的步骤；

图8示出了可以被用于实行解扰过程的步骤；

图9用于讨论重叠区，所述重叠区被添加到块作为加扰过程的部分以便减少编码和解码之后的边缘伪像，并且图示帧边缘的处置；

图10图示了空间填充曲线，其可以用于生成排列（permutation）来定义用于加扰和解扰过程的映射；

图11图示了用于使用在接收器处使块的重叠区域和经重叠的区域调和中的加权系数；以及

图12示出了通过使用去块滤波器、根据相邻块重叠区域的示例像素计算。

具体实施方式

现在参考图1，图示了一种用于发射和接收数字内容的系统，其包括源10和一个或多个接收器50。源对内容进行准备以供传输到一个或多个接收器，例如作为诸如数据网络、陆地或卫星TV或无线电广播之类的传输介质5上的一个或多个单播或广播，或者使用数据存储介质，诸如CD、DVD或其它持久性数字数据存储器。

源10包括加扰器12、编码器14和定义映射功能16。加扰器12包括加扰器重排序功能18。在源10处接收数字内容，并且将其传递到加扰器12。加扰器重排序功能18将内容视为被划分成以原始布置存在于所接收的数字内容中的多个块，并且将块重排序成经加扰的布置，其被传递到编码器14以供编码，在这之后，内容通过源10输出。编码器14可以例如被布置成实行内容的压缩，例如是MPEG编码器，所述MPEG编码器被布置成将内容结构化成MPEG流。以下讨论内容可以被划分成块的方式的示例。

加扰器重排序功能18根据由定义映射功能16所定义的映射方案而对内容的块进行重排序。映射方案可以被传送到加扰器，例如通过使用由定义映射功能16生成的并且被传递到加扰器12的映射参数。映射方案的详细示例将在以下讨论。定义映射功能可以位于除了在源中或源处之外的别处。方案还可以被传送到接收器，用于对内容进行解扰的目的，也通过使用映射参数，尽管被传递到源中的加扰器和被传递到接收器的实际参数不需要是相同的，只要用于对经加扰的内容进行解扰的充足的信息被传送到接收器50即可。将映射方案传送到接收器50的映射参数或其它数据可以以各种方式被发送到接收器，例如通过使用相同或不同的传输介质，其与经编码的加扰的内容组合或与其分离。

接收器50包括解码器54和解扰器52。解码器54例如可以被布置成实行内容的解压缩，例如是MPEG解码器，所述MPEG解码器被布置成接受MPEG流和提取该流的分量。解码的内容被传递到解扰器52，其包括解扰器重排序功能58，所述解扰器重排序功能58被布置成将内容的块重排序回到它们的原始布置。重排序因此使用已经由定义映射功能16所定义的映射方案（以逆向的方式），所述映射方案可以已经例如通过使用如以上讨论的映射参数被传送到解扰器。接收器50然后输出经解码和解扰的内容，例如用于在视频或音频再现设备上的再现。

如图1中所图示的，源10处的加扰器12还可以包括边界生成功能20和/或加扰器变换功能22。边界生成功能20扩展所述块中至少一些的一个或多个边界以便与在原始布置中相邻的一个或多个其它的相邻块的边界重叠。典型地但是不一定地，所有的块可以以该方式被扩展以与相邻块重叠并且由此在每个块中提供重叠边界区，其中内容数据在相邻的块之间被复制。接收器50然后包括互补的边界移除功能60，其使得内容能够在解扰器52处被重构，其省略块之间的重叠。以此方式使用相邻块之间的重叠的优点是相邻块之间的边缘伪像（其可能作为通过编码器14和解码器54而将内容作为块处理的结果而发生）可以在解扰器所输出的内容中被减少。这可以部分地因为边缘伪像在解扰器所移除的块的重叠部分中是最强的，但是另外加扰器可以联合地在由边界移除功能所实行的滤波或类似步骤中使用相邻块的对应重叠部分，其示例将稍后讨论。

加扰器变换功能22可以将一个或多个变换操纵应用于一个或多个块，变换操纵例如通过定义映射功能所定义的映射方案所指定。变换操纵的细节可以通过以上已经讨论的映射参数而被传送到加扰器12。合适的变换操纵将取决于所处理的内容的种类，但是对于视频数据而言可以包括用于特定块的色彩映射、图像镜像和图像旋转。一些合适的变换操纵在下文中更详细地讨论。由加扰器变换功能22所实行的变换操纵在接收器中通过解扰器变换功能62而被逆向。

图2A更详细地图示了一种方式，以所述方式图1的加扰器12的输出可以被编码并且形成为内容流以用于递送到接收器50。根据图2A，由加扰器12所处理的多个内容块（包括通过加扰器重排序功能18进行重排序、通过加扰器变换功能22进行操纵，和按需通过边界生成功能20进行边界生成）通过拆分器功能24被拆分成对应的多个基本流，所述拆分器功能24将每个这样的流传递到分离的编码器过程14.1-14.n。如果例如内容被分组成帧，并且每个帧由加扰器划分成块，那么分离的编码器过程中的每一个可以被分配到特定帧中或每个帧中的块中分离的一个，尽管可以使用块到编码器过程的其它分布。在由编码器过程14.1-14.n对块进行编码之后，编码器过程的输出然后通过使用复用器25被组合成单个内容流26。如果编码器过程是MPEG编码器过程，那么复用器可以将编码的块组合成单个MPEG内容流。不管编码和内容流类型如何，复用器还可以将定义映射功能16或加扰器12所提供的映射参数或其它数据组合到内容流26中，以供传输到接收器50以用于在对内容进行解扰时使用。典型地，这样包括的映射参数或其它数据将在流内被保护，例如通过加密，以使得只有合适地经授权的接收器能够恢复映射参数或其它数据。可以实现该保护的方式对技术人员而言是熟悉的，例如来自与数字权限管理和类似的技术领域有关的现有技术。

图2B图示了由如图2A中所示的被布置的源10所生成的内容流26如何可以被合适地适配的接收器50处置。特别地，图2B的接收器50包括解复用器55，用于将来自内容流26的分离的块拆分成分离的基本流，并且将这些递送到分离的解码器过程54.1-54.n（例如MPEG解码器过程）。解码的块的基本流然后被传递到解扰器52，其中混合器功能64对流进行组合并且所述块被处理，如上文以及本文档中别处所讨论的。注意到，解复用是内容递送系统中的常见操作，并且可以已经很好地受到与特定内容格式有关的标准所支持。

如以上所讨论的将帧的每个块分离成分离的内容流并且使用分离的编码器并且然后解码器过程以用于每个块可以改进加扰器和解扰器自编码器和解码器的实现细节的独立性（以及重排序和块变换操纵的独立性）。为了在单个编码器过程和单个解码器过程的情况下实现加扰器和解扰器，可能要求在对于要使用的特定编码器/解码器具有更多考虑的情况下实现加扰器/解扰器。例如，包含重排序的块的视频内容在块之间具有非常突出的边缘，其用实行压缩的大多数视频编码器难以很好地编码，从而导致在解码之后在块边缘周围的值得注意的伪像。例如通过使用图1、2A和2B的边界生成功能20和边界移除功能60所实现的重叠块边界的使用可以将伪像减少到某一水平，在所述水平处单个编码器和解码器过程可以用于帧的所有块，因为大量的边缘伪像失真将被包含在重叠边界中。

如果单个编码器和解码器过程被用于编码/解码帧的多个块，那么有利地块和/或重叠边界区域的形状和大小可以被选择以便最佳地减少产生自编码的边缘伪像，并且优化结果产生的经加扰和经编码的内容的带宽。编码器和解码器的细节可以因此很大程度上确定块和边界区域的最优尺寸。

在图1、2A和2B中，映射方案由加扰器12应用到内容，并且经加扰的内容随后被传递到一个或多个编码器以用于编码。在图3中所图示的布置中，源10处的加扰代替地被集成到编码器114中。编码过程116在任何块重排序或变换操纵发生之前在内容上进行操作，并且代替地，块重排序和变换操纵被实行，作为内容流构建过程118的部分，以根据由定义映射功能16所定义的映射方案而产生内容流26，如已经描述的那样。编码器114可以添加一些附加的经编码的数据以在映射方案已经在接收器50中被逆向之后提供最优结果。根据映射方案，在接收器50处，解码器可以将内容的解扰并入到解码器154中，在内容被传递到解码功能158用于解码和输出之前作为内容流读取功能156的部分。

图4图示了如何可以通过加扰器12和解扰器62将视频内容作为块进行处置。图4的帧170示出了在空间上被划分成25个块172（其出于方便和清楚而被定数目）的单个视频帧。块172的其它数目可以用于单个视频帧，例如从10到10000个块每帧可以被发现为在各种实现方式中是合适的。每个块优选地包含与像素的邻接组有关的数据。尽管被示出为帧170中彼此相同大小的矩形，但是块不需要在形状上是直线性的，并且在单个帧内或帧之间不需要是完全相同的形状和/或大小。此外，块可以包含与对应于用于视频内容的特定采样或子采样方案的一个或多于一个的色度和/或亮度组有关的数据，并且如果用于视频内容的话则可以包含与交错的视频方案的仅仅一个或两个场（field）有关的数据。

而帧170图示出以对应于源10所接收的内容的原始布置的视频帧的块，帧174示出根据定义映射功能16所定义的映射方案、通过加扰器重排序功能18进行重排序之后的视频帧的相同的块172。映射方案定义在帧170的原始布置和帧174的经加扰的布置之间的映射。这样的方案的简单示例可以包括查找表，其把根据帧170的原始布置的块的定位与根据帧174的经加扰的布置的对应的块的定位联系起来。

图4的帧176示出在边界生成功能20已经对块进行扩展以添加对应于来自相邻块的相邻边缘的内容的重叠区域178之后的如存在于帧174中的块的相同的经加扰的布置。这导致略微较大的帧大小，但是如上文所讨论的，接收器50中的解扰器62移除了重叠边界178。边界帮助使编码伪像免于在重叠边界已经由边界移除功能60移除之后是可见的。

图5图示出单独块172的变换操纵中的一些，其可以关于视频或其它二维数据、由加扰器变换功能22实行，并且对应地由解扰器变换功能62逆向，这根据定义映射功能16所定义的映射方案。可以在其它种类的数据上实行类似的变换操纵。图5中所示的变换操纵包括视频像素的块的竖直180和水平182翻转（镜像），以及视频像素的块的竖直184和水平186旋转（利用图像数据的卷绕的方向移位）。

重映射单独像素的值而不移动那些像素的变换操纵也可以被使用，例如通过使用可逆变换而改变像素的颜色、亮度和/或色度值。这样的变换操纵的一些示例在Pazarci和Dipcin（关于消费电子（Consumer Electronics）的IEEE会报，Vol.48 No.2，2002年五月）中被阐述。在可以用于改变要加扰的视频的色彩的另一这样的变换操纵中，YUV色彩方案的U和V分量根据线性、可逆、参数化的变换而被修改，诸如：

其中，U和V代表特定像素的U和V分量的原始值，并且Um和Vm是U和V分量的经修改的像素值。乘因子的值应当在0.5和0.9之间，这取决于所需的迷乱度，其中较小的值给出更多的图像迷乱。加法因子b的值可以在从0到255*（1－f _o ）中的任何地方。和b的不同值可以被选择以用于不同的块、帧、或帧的不同组。在解扰过程期间，以上变换被逆向以得到原始U和V值。该类型的变换操纵，其使用像素色彩值的线性变换，还可以独立地用作视频加密技术，例如没有附加地使用本文描述的重排序技术。

除了块的重排序之外的单独块172的变换操纵可以提供附加的复杂性以用于强力失真的移除攻击，但是在具有对映射方案的相关方面的了解的情况下可以高效地实现操纵。

图6示出当内容是音频数据时，如上所讨论的映射方案可以如何被应用于内容。帧190示出以原始布置的一系列音频数据块192，并且帧194示出在根据适合的映射方案的重排序之后的相同块。音频数据的帧可以例如对应于特定的时间分段或间隔。帧196示出相同的帧，其中以上文已经讨论的方式添加了重叠边界198，以便最小化由块192的重排序所引起的音频编码和解码伪像。诸如旋转和镜像之类的操纵可以以如用于视频块的类似方式应用于音频数据块。

现在将更详细地描述可以实现以上实施例的方式。图7示出加扰过程的实现，例如，如由图1和2A中所示的加扰器12所实现。过程以下述阶段来进行：

1.    块划分和扩充（expansion）步骤210将每个原始的视频帧212划分成具有像素的大小的块。对于每个块，块划分和扩充步骤210扩充任何块的四个边缘以生成大小的重叠的块，其中N=R+L，M=T+B，L=左边重叠宽度，R=右边重叠宽度，T=顶部重叠高度，并且B=底部重叠高度。视频帧被扩充以使得重叠的块在经加扰的帧中将不彼此重叠；

2.    排列生成步骤214从排列的种子216生成排列。该种子216或生成该种子216的材料被传输到接收器侧以用于使用在解扰过程中。该种子对于每个视频帧可以新生成一次，每相互关连的视频序列一次，每视频一次，或者最通常地是在这些选项中间的某处；

3.    开始点生成步骤218基于开始点的种子220而生成用于块交换的随机开始点。开始点的该种子220还被传输到接收器侧以用于使用在解扰过程中；

4.    重叠的块交换的步骤222被用于对重叠的块进行重排序并且根据排列和随机开始点（其一起定义映射方案）而实行操纵，诸如翻转和旋转。该步骤可以典型地与以上步骤1中的视频帧扩充同时实行；

5.    在步骤4中生成的经加扰的视频帧224被输出。

注意到，如以上已经讨论的，块不需要是规则的形状和/或大小。L、R、T和B的值可以不同于彼此，但是必须被传送到接收器处的解扰器、由接收器处的解扰器得到、或者由接收器处的解扰器已知。

经加扰的视频帧224在传输到接收器50之前通常经历编码，例如包括压缩。在接收器50处，压缩的视频首先被解码（典型地涉及解压缩）并且然后被解扰。图8示出了合适的解扰过程的实现，例如，如由图1和2B中所示的解扰器62所实现。过程以下述阶段来进行：

1.    通过块划分步骤230将经加扰的视频帧224划分成大小为像素的块；

2.    由排列生成步骤232从排列的预定义的种子216生成排列，其与用于以上加扰过程的步骤（2）相同；

3.    由开始点生成步骤234、通过使用开始点的种子220而生成用于块重排序的随机开始点，其与用于以上加扰过程的步骤（3）相同；

4.    通过使用重叠的像素计算步骤236来计算重叠的区域中的像素值；

5.    通过使用一起指示映射方案的排列和随机开始点，倒转的块交换和帧收缩步骤238将块重排序回到原始布置，使在加扰阶段中在块上实行的操纵逆向，并且通过重叠像素的合适的移除而使帧大小收缩到原始大小；

6.    在步骤5中生成的经解扰的视频帧240于是被输出。

在关于图8的过程的变体中，在随后的重叠的像素计算和帧收缩步骤之前，实行倒转的块交换步骤。

注意到，以上操作可以在单个操作中、在多个阶段中执行，通过使用多个存储器缓冲器或多个交互点，其具有接收器平台解码和渲染能力以挫败对于获取经解扰的帧或者对解扰过程进行逆向工程的尝试。

在以上的加扰过程中，每个原始视频帧首先被划分成大小为像素的非重叠的块。这些块然后按N和/或M像素被扩充以使得它们与其相邻块重叠。在图9中，图示了被划分成块172的示例性原始视频帧212，其中以虚线示出了原始帧中经扩充的重叠块的重叠区250中的一些。此处示出的扩充作为示例在每个块的右侧和底侧，尽管可以在每个块的任何数目的侧处实行扩充。经扩充的块中的每一个通过N行或M列的像素与其它扩充的块重叠。每个块，包括可能没有在加扰过程中从原始布置被重排序的那些，应当被扩充以便保持经加扰的帧以保留经扩充的帧的形状和纵横比。

如已经讨论的，对帧进行加扰，这通过对帧内（并且可选地帧之间）的块的位置进行重排序，并且还可选地通过将变换操纵应用于每个经扩充的块，诸如重取向。然而，在经加扰的帧中，经扩充的块并不彼此重叠；它们相邻。这意味着，重叠的区域中的像素在经加扰的帧中出现2或4次。因此，经加扰的帧的大小大于原始帧。在块重叠的方向上的图像的边缘252、254以至少N×M像素而被使得去扰，并且具有小于的大小的结果产生的块（诸如图9中的底部和右边缘部分）被使得不改变。

当使用MPEG和使用宏块的类似类型的编码方案时，为了是压缩友好的，经扩充的块（包括它们的重叠区）的大小SB应当优选地被宏块大小可除尽，并且用于块划分的开始点应当落在x和y二者方向上的宏块大小的倍数上。对于H.264编码和压缩，宏块大小是每个方向上16像素，因此和因此应当各自是16的倍数，例如32、48、64、80等等。

视频帧可以典型地由多个分离的分量构成，例如分离的分量诸如在YUV、Y’UV和其它方案（包括YCbCr）中所存在的色彩和色度分量，并且针对交错的视频的分离的场（field）分量。

对于YUV类型方案，块大小可以取决于色彩采样格式。如果视频是以4:4:4色彩格式，那么所有的Y、U和V分量具有相同大小。块大小和加扰步骤于是可以对于所有三个分量是相同的。如果视频是以4:2:0色彩格式，则对于U和V分量的块大小将是Y分量的那些的四分之一，并且对于水平和竖直方向二者的重叠区域将是Y分量的那些的一半。

为了对经加扰的视频进行压缩，一些视频编码器可能要求经加扰的帧的大小必须是宏块大小的倍数，例如16的倍数。如果必要，为了实现这个，经加扰的帧可以通过充填（pad）被放大到合适的尺寸，所述充填例如通过使用恒定值或者通过拷贝数据像素的最后的列或行。

所描述的重叠的块交换技术的优点是它高效地减少块化的伪像。潜在的缺点是经加扰的帧大于原始帧，并且因而用于压缩的数据量可能增加。例如，如果经扩充的块是80像素方形，其包括沿所有边缘两个像素宽的重叠区域，并且视频格式是720p（具有1280×720的大小），则数据量按数据充填之前大约5%和数据充填之后大约7%增加。然而，根据由本发明人所实行的试验，在压缩之后，视频的大小比加扰之前仅仅大了大约0.2%。

现在将描述实现图7和8的排列、或以另外的方式实现以上描述的根据映射方案的块重排序的示例性技术。该技术利用空间填充曲线，并且在该特定示例中，利用Hilbert（希尔伯特）曲线，其扫描大小的图像的每个像素。Hilbert曲线从不对多于三个接连的像素维持相同方向。用于实现排列的其它选项包括使用随机化的空间填充曲线或随机化的块排列。

图10示出了3阶Hilbert空间填充曲线的示例。通过使用本技术，要在映射方案中使用的空间填充曲线的特定形式可以由图7和8中所示的排列的种子216来定义。空间填充曲线上的每个点于是表示经扩充的像素块。映射方案然后规定每个块与其在曲线上的两个近邻块中的一个、并且仅一个交换位置。曲线上的任何一个点可以被选择作为用于块交换的开始点，并且该点可以由开始点的种子220定义。

用于作为加扰和解扰过程的部分的对块进行重排序的各种其它算法，例如包括非相邻、随机化块交换，对于技术人员而言将是显而易见的。

图8包括了倒转块交换和帧收缩的步骤238。该步骤包括将块从经加扰的布置重排序回到原始布置，并且将包括重叠区域的经扩充的块带回到它们的原始大小。可以使用更复杂的方案，其利用重叠的区域中的数据，而不是仅仅废弃重叠的区域。根据一个这样的方案，重叠的区域中每个像素的最终解扰的值通过相关的经扩充的块中的对应像素的加权平均来确定。块的重叠旨在减少从编码阶段中的压缩所产生的块的边缘处的视频伪像，并且在去扰的视频中产生从一个块到另一个的平滑过渡。为此，随像素的位置而变化的加权系数可以用于确定最终像素值。例如，更接近于块边缘的像素可以被指派更小的加权系数。

图11示出了用于2像素宽和高的块172之间的重叠250的加权系数的示例。用于经扩充的块中第一和最后列（行）上的像素的权重是1/3并且用于第二和倒数第二列（行）上的像素的权重是2/3。经扩充的块的每个拐角处的4个像素重叠了3个其它的经扩充的块。用于这些拐角像素的权重分别是4/9、2/9、2/9和1/9。

技术人员将领会到，可以使用并且可以选择各种可替换的加权方案，例如使用重叠区域宽度和高度，其动态地基于映射方案的种子输入（例如，所描述的排列种子）或基于图像数据本身的方面或属性。对于读者还应当清楚的是，众多配置是可能的，其中在单个或多个步骤中、利用单个或多个存储器缓冲器而进行解扰块重排序、重叠操作和图像重定大小。

对于使用YUV类型色彩方案的视频，用以恢复原始U和V分量的解扰步骤可以与用于恢复Y分量的相同，通过使用加权平均来确定重叠的区域中的像素值。如果视频是以4:4:4色彩格式，则U和V加权系数还可以与用于Y分量的那些相同。如果它是以4:2:0格式，则对于图11中示出的示例而言U和V分量中的每个块只有一列（行）重叠。在该情况中，用于经扩充的块中的拐角像素的权重是0.25。用于其它重叠的像素的权重是0.5。

用于从使用YUV或类似格式的经加扰的视频帧中恢复U和V分量的另一方法是上采样U和V分量至与Y分量相同的大小。然后，相同的方法和加权系数可以应用于所有的Y、U和V分量。下采样然后可以被应用以将大小减小到对于4:2:0格式数据的Y分量的一半。

在使用如上所述的加权方案之外或替代于使用如上所述的加权方案来组合来自相邻块的重叠区的像素，去块滤波器可以被用于进一步移除块化失真。然而，它不一定是被要求的。根据一个这样的去块滤波器，在去扰的输出视频帧中的像素被计算为滤波器窗口内的所有像素的加权平均，例如，如可以由以下等式所表示的：

其中，L是滤波器长度，N是重叠的区域长度，F[i]是滤波器因子，Wa[n]和Wb[n]是重叠的加权因子，并且a[n]和b[n]是相邻块像素。如果像素a[n]或b[n]不在重叠的区域中，则它们的权重是1。

图12示出了使用这样的去块滤波器、根据相邻块重叠区域的示例像素计算。第一块a[n]与相邻第二块b[n]相邻，其中两个块都具有互相的两像素重叠。用于重叠重构的权重以分别用于两个块的Wa[n]和Wb[n]来表示。用F[n]来表示用于去块滤波器的权重。去块滤波器窗口的长度在该示例中是5像素。像素reconstructed[M](重构的[M])因此用以下等式来计算：

在一些情况下，从源传输到接收器的经加扰的帧需要具有与内容数据的原始帧相同的大小。例如，许多平板计算机设备不能处理具有大于1080p的像素分辨率的视频，在该情况中，为了向充当接收器的这样的设备发送1080p视频，经加扰的帧大小不能超过原始帧大小。在这些和其它情况中，存在各种选项可用于减小经加扰的内容的大小，例如保持经加扰的内容中的帧大小与去扰的内容中是相同大小。

以下讨论假定原始、去扰的内容的帧可以持有大小的经扩充的块的最大W列和H行。用于不超过原始帧大小的第一选项于是为在加扰之前下采样原始帧。在如上所述的解扰过程之后，上采样被应用于解扰的图像以返回到原始帧大小。在图7和8的上下文中，该解决方案可以通过以下来实行：在块划分和扩充步骤210之前向图7的过程添加对原始视频帧的下采样步骤，和通过在倒转块交换和帧收缩步骤238之后向图8添加上采样步骤。

第二解决方案是在加扰之前对原始帧的边界区域进行局部下采样，例如通过对首先的（W-1）×N列和最后（W-1）×N列进行水平下采样，和对首先的（H-1）×M行和最后（H-1））×M行进行竖直下采样，在该情况中，下采样率是2:1。低通滤波应当在实行下采样之前被应用于这些列和行。利用该局部下采样，帧的大小被减小到W×（SB-N）+N列和H×（SB-N）+N行的像素。经加扰的帧的大小然后与原始帧的大小相同。在以上描述的解扰过程之后，上采样被应用于边界区域以重构被下采样的像素的列和行。下采样和上采样可以通过以下实现：在块划分和扩充步骤210之前向图7的过程添加对原始视频帧的下采样步骤，并且通过在倒转块交换和帧收缩步骤238之后向图8添加上采样步骤。

第三选项是从原始帧裁剪首先的（W-1）×N/2列、最后（W-1）×N/2列、首先的（H-1））×M/2行、和最后（H-1））×M/2行的像素。此处，N是块与其相邻块重叠的列数（M是行）。然后通过使用上述技术对经裁剪的帧进行加扰。由于经裁剪的帧具有列和行的像素，其在加扰过程中被划分成 大小的个块。因而，经加扰的帧具有与原始帧相同的大小。

上述内容加扰技术通过使用具有用YUV格式编码的像素色彩的一些1080p HD视频序列进行测试。包括重叠区域的块的大小是SB_x=112和SB_y=112像素。环绕每个块的重叠的边界区域在所有方向上是两像素宽。3阶空间填充曲线被选择用于排列，其具有8×8个点。没有额外的去块滤波器被应用来增强视频质量。经加扰的帧大小是大于原始视频，其中没有子采样被应用来降低该效应。具有编解码器的ffmpeg编码器被用于编码和解码目标视频，其具有12 Mbps的最大比特率和5 Mbps的平均比特率。

解码和解扰的视频序列的峰值信噪比（PSNR）被计算并且彼此相比较以检查加扰技术对压缩效率的影响。测试结果被示出在以下阐述的表1和2中。将看到，由加扰所引起的PSNR降对于所有Y、U和V分量是可忽略的。

将理解的是，可以对所描述的实施例做出变化和修改，而不偏离如在所附权利要求中所限定的发明范围。例如，要理解的是，与任一个实施例相关地描述的任何特征可以单独使用，或与关于该实施例或其它实施例所描述的其它特征相组合。

表1

表2

Claims (29)

1.一种处理数字内容的方法，包括：

对数字内容进行加扰，加扰包括将数字内容划分成以原始布置而陈列的块并且将块从原始布置重排序成经加扰的布置；和

输出经加扰的数字内容，其中所述块以经加扰的布置被排序。

2.根据权利要求1所述的方法，其中加扰步骤还包括在多个块中的每一个上实行不同的变换操纵。

3.根据权利要求2所述的方法，其中变换操纵包括块内的数字内容的移动。

4.根据任何前述权利要求所述的方法，还包括在输出步骤之前压缩经加扰的数字内容。

5.根据权利要求4所述的方法，其中数字内容包括一系列帧，划分步骤将每个帧划分成一个或多个块的组，所述组跨多系列帧而持续，并且压缩步骤通过使用用于一个或多个块的每个组的分离的压缩过程而被实行。

6.根据任何前述权利要求所述的方法，其中加扰步骤包括将数字内容划分成块，以使得块中的至少一些包括至少一个重叠区域，所述重叠区域包含来自根据原始布置是相邻的至少一个相应的相邻块的数字内容。

7.根据权利要求6所述的方法，其中包括一个或多个重叠区域的块被定尺寸以对应于宏块，以供在随后对经加扰的数字内容的压缩中使用。

8.根据任何前述权利要求所述的方法，其中数字内容是音频内容。

9.根据权利要求1至7中任一项所述的方法，其中数字内容是包括多个视频帧的视频内容，并且加扰包括将每个视频帧划分成多个所述块。

10.根据权利要求9中任何所述的方法，其中每个块对应于视频帧的邻接的多个像素。

11.根据任何前述权利要求所述的方法，还包括，在输出步骤之后，将经加扰的数字内容递送到接收器，并且向接收器提供解扰信息，从而使得接收器能够对经加扰的数字内容进行解扰。

12.一种处理数字内容的方法，包括：

接收作为经加扰的数字内容的数字内容，其中数字内容的块在接收之前已经从原始布置被重排序至经加扰的布置；

对数字内容进行解扰，解扰包括将所述块重排序回到它们原始的布置；以及

以其原始布置而输出经重排序的块。

13.根据权利要求12所述的方法，其中不同的变换操纵在接收的数字内容被接收之前应用于所述接收的数字内容的多个块中的每一个，并且解扰的步骤还包括使变换操纵逆向。

14.根据权利要求12或13所述的方法，其中经加扰的数字内容在接收之前被压缩，并且所述方法还包括在接收之后对经加扰的数字内容进行解压缩。

15.根据权利要求14所述的方法，其中数字内容包括一系列帧，每个帧被划分成一个或多个所述块的组，所述组跨多系列帧而持续，并且解压缩的步骤通过使用用于一个或多个块的每个组的分离的解压缩过程而被实行。

16.根据权利要求12至15中任一项所述的方法，其中所接收的经加扰的数字内容在接收之前根据权利要求1至10中任一项而被处理。

17.根据权利要求12至16中任一项所述的方法，其中所接收的经加扰的数字内容的块中的至少一些包括至少一个重叠区域，所述重叠区域包含从根据原始布置是相邻的至少一个相应的相邻块得到的数字内容，所述方法还包括修改所接收的块以在以其原始布置而输出经重排序的块之前移除重叠区域。

18.根据权利要求17所述的方法，还包括修改每个相应的相邻块的数字内容，这通过组合相应的相邻块的数字内容与对应的重叠区域的数字内容。

19.根据权利要求12至18中任一项所述的方法，其中数字内容是包括多个视频帧的视频内容，并且多个块中的每一个对应于视频帧的邻接区域。

20.根据权利要求12至19中任一项所述的方法，还包括接收解扰信息，其中解扰数字内容的步骤根据所述解扰信息来实行。

21.被布置成实施根据权利要求1至20中任一项所述的步骤的装置。

22.用于处理数字内容的装置，包括被布置成加扰数字内容的加扰器，所述加扰包括将数字内容划分成以原始布置而陈列的块并且将所述块从原始布置重排序成经加扰的布置，所述装置被布置成输出经加扰的数字内容，其中所述块以经加扰的布置被排序。

23.根据权利要求22所述的装置，其中加扰器还被布置成在多个块中每一个上实行不同的变换操纵。

24.根据权利要求22或23所述的装置，还包括编码器，所述编码器被布置成在输出之前对经加扰的数字内容进行压缩。

25.用于处理作为经加扰的数字内容而接收的数字内容的装置，其中数字内容的块已经从原始布置被重排序成经加扰的布置，所述装置包括解扰器，所述解扰器被布置成解扰数字内容，所述解扰包括将所述块重排序回到它们原始的布置，所述装置还被布置成以其原始布置而输出经重排序的块。

26.根据权利要求25所述的装置，其中不同的变换操纵在接收的数字内容被接收之前应用于所述接收的数字内容的多个块中的每一个，并且解扰器还被布置成使变换操纵逆向。

27.根据权利要求25或26所述的装置，还包括解码器，所述解码器被布置成在解扰之前对经加扰的数字内容进行解压缩。

28.根据权利要求27所述的装置，其中数字内容包括一系列帧，每个帧被划分成一个或多个所述块的组，所述组跨多系列帧而持续，并且解码器被布置成通过使用用于一个或多个块的每个组的分离的解码过程来实行解压缩。

29.根据权利要求25至28中任一项所述的装置，其中所接收的经加扰的数字内容的块中的至少一些包括至少一个重叠区域，所述重叠区域包含从根据原始布置是相邻的至少一个相应的相邻块中得到的数字内容，解扰器还被布置成修改所接收的块以移除重叠区域。