CN107592579B - 用于保护实时安全性和安全相关视频数据的装置和方法 - Google Patents

Abstract

描述用于在视频帧(例如，视频内容)内生成和检测水印的系统，以确定是否发生了数据中断。在一个或多个实现中，系统包括通信地耦合到视频源的生成模块和被配置为接收多个视频水印的水印检测模块。水印检测模块被配置为确定嵌入在当前(例如，第二)视频帧中的水印是否与嵌入在先前(例如，第一)视频帧中的水印不同。水印检测模块被配置为当嵌入在当前(例如，第二)视频帧中的水印与嵌入在先前(例如，第一)视频帧中的水印没有不同时生成错误信号以指示数据中断事件已经发生。

Description

用于保护实时安全性和安全相关视频数据的装置和方法

背景技术

数字水印可以包括嵌入在噪声容限信号中的标记，例如音频、视频或图像数据。通常，数字水印被隐蔽地嵌入或隐藏在载波信号中，其中隐藏的水印与信号相关。数字水印通常在某些条件下可以被检测到，例如当使用特定算法时。数字水印可用于追踪版权侵犯、视频认证、社交网络上的内容管理、源跟踪或用于广播监控。

附图说明

具体实施方式参考附图进行说明。在说明书和附图中在不同实例中使用相同的附图标记可以指示相似或相同的项目。

图1是示出了根据本公开的示例实现的用于将水印嵌入(例如，插入)视频流和检测水印的系统的框图。

图2是示出了根据本公开的示例实现的水印生成电路的框图。

图3是根据本公开的示例性实现的嵌入到视频流中的示例水印的示意图。

图4是用于生成水印的示例性水印基函数和基于水印基函数的检测滤波器的响应的示意图。

图5是示出了根据本公开的示例实现的水印提取和检测电路的框图。

图6是示出了根据本公开的示例实现的匹配滤波器电路的框图。

图7是示出了根据本公开的示例性实现的错误检测电路的框图。

具体实施方式

概述

视频内容的数字水印是将辅助信息编码成视频内容的数字表示的过程，其可以稍后用于识别内容。如本文所描述的，可以利用数字水印(例如，水印)来识别相关视频数据(例如，感兴趣的视频)，并且如果视频被识别为相关，则识别数据中断(例如，“冻结”视频)是否已发生。如果发生数据中断，则当前公开的系统可以中断处理器和/或中断在显示器处显示视频。

使用数字水印的一种技术可以包括在图像中通常在角像素中插入至少一个唯一的帧计数器。然而，该技术容易受图像处理的影响，图像处理将修改图像，其中处理修改数字值(例如滤波)或消除图像的部分(例如裁剪)。另一种数字水印技术包括计算每个帧或帧的分量的循环冗余校验(CRC)。这种技术可能会在显示器上产生静态图像的假警报，例如GPS馈给。第三种数字水印技术可以使用具有安全密钥的频域水印和潜在的用于检测冻结帧出现的嵌入式帧计数器。然而，这种技术在计算上是昂贵的。

因此，描述了用于在视频流(例如，视频内容)内生成和检测改变水印的时间的系统，以确定是否已发生数据中断。在一个或多个实现中，系统包括被配置为接收多个视频水印的水印检测模块。水印检测模块被配置为确定嵌入在当前(例如，第二)视频帧中的水印是否与嵌入在先前(例如，第一)视频帧中的水印不同。水印检测模块被配置为当嵌入在当前(例如，第二)视频帧中的水印与嵌入在先前(例如，第一)视频帧中的水印没有不同时生成错误信号以指示数据中断事件已经发生。在一些实现中，水印可以被嵌入在视频帧的色度部分的一个或多个最低有效位中。

本文所描述的用于数字水印的系统和方法对大多数图像处理是免疫的。空间水印被过采样，使得图像被调整大小，仍然可以在放大或缩小的图像中检测基函数。滤波和数据恢复电路(DLL)使能通过图像调整大小进行检测。过采样也使系统免受图像旋转。另外，空间水印是高度对称以及高度冗余的。水印的对称性使得能够免受图像进行垂直或水平翻转的影响，冗余有助于裁剪和视频叠加。此外，空间水印通常比典型的图像行短得多，并且在每行上重复。因此，每个图像通常具有数千份水印副本，这种冗余使图像免受图像裁剪的影响。此外，利用可配置的增益和过采样率来增强冗余度，这使得系统能够免受视频压缩(例如，显示流压缩(DSC))和图像增强处理的影响，例如锐化和对比度调整。

系统的输出处理利用冗余来对变化的水印的检测滤波。检测处理步骤包括基于行和帧的处理。匹配的滤波器阈值最小化虚假警报，并且水印检测计数器使得能够进行检测到其基函数的可靠的基于帧的传播。另外，基于帧的处理可以实现冻结帧和冻结处理器帧缓冲。

此外，与使用频域水印并需要图像缓冲器和复杂数字处理的其他系统不同，本文所述的系统是硬件高效的。这里的系统不需要行或帧缓冲器，并且还很好地映射到流水线数字处理。

示例的实现

图1示出了用于水印视频数据的示例系统100和用于检测水印的示例系统114的框图。使用水印中视频帧到帧变化的缺失来检测数据中断(例如，“冻结”数据)。例如，如本文所述的系统114被配置为检测视频流(例如，视频数据)的数据中断。例如，如果在车辆的备用照相机(例如，图像捕获设备)处生成的视频数据被中断(例如，“冻结”)并且车辆操作者未被通知，则可能导致事故。在另一示例中，如果在监视摄像机处生成的视频数据被中断(例如，“冻结”)，则中断的视频数据将导致无效的视频监视系统。在一个或多个实现中，系统100被配置为用至少两个不同的水印图案对视频数据进行编码(例如，嵌入)。

如图1所示，系统100包括转换模块102。在一个或多个实现中，转换模块102通信地耦合到一个或多个图像捕获设备(例如，摄像机或其他视频源)。一个或多个图像捕获设备被配置为生成表示由图像捕获设备捕获的图像的数据。例如，图像捕获设备可以被配置为生成视频数据(例如，视频帧)。如本文所述，系统100被配置为用至少两个在交替帧上不同的水印图案来编码所捕获的视频数据，使得系统114可以确定是否存在数据中断。在示例实现中，图像捕获设备被配置为捕获包括红绿蓝(RGB)视频数据(例如，表示视频帧的数据)的视频数据。因此，图像捕获设备102生成包括RGB视频数据部分的视频数据(例如，视频帧数据)，包括帧和/或行同步数据(例如，VSYNCH、HSYNCH)的控制数据部分，以及数据有效部分。转换模块102被配置为将RGB视频数据(例如RGB视频帧)转换为YUV颜色空间。例如，转换模块102被配置为将RGB视频数据转换为相应的YUV视频数据。可以理解，可选的YUV输入视频也可以由系统100和114支持。

系统100包括用于将水印生成并嵌入到相应的YUV视频数据中的水印生成模块104。在一个或多个实现中，水印生成模块104被配置为用水印位流来替换YUV视频数据的色度部分(U或V)的最低有效位(LSB)。基函数包括用于生成水印的数字位模式。在一个或多个实现中，可以利用具有改变的极性特性的多个水印基函数。基函数可以被过采样以增加冗余并减少频率内容，并且要替换的LSB的数量可以用作增益控制。

图2示出了根据本公开的示例实现的示出水印生成(经由水印生成模块104)的框图。在一个或多个实现中，将最低有效位掩码应用于色度数据部分。水印可以基于与时间反转版本连接以使水印时间对称的随机位模式(参见图3，对于示例的嵌入[例如插入]水印)。图3示出了具有正极性和负极性的示例性水印。如图所示，水印是水平和垂直对称的。此外，水印在行内和跨行都是冗余的(见图3)。在一些实现中，可以在每个HSYNC处重新启动水印。因此，水印可以是水平和垂直的冗余和对称的。本公开使得水印对于与过采样组合时的图像翻转或旋转的图像处理是鲁棒的。图4示出了示例性水印基函数和基于示例的水印基函数的示例响应。例如，图4所示的水印基函数包括具有时间对称性的基于“PRBS-5”的64位固定模式。

在一个或多个实现中，如图5所示，水印检测器500从YUV视频数据502的色度部分的LSB提取水印，并通过水印检测模块504(例如，U或Y分量)用滤波器进行检测。例如，滤波器可以包括匹配滤波器。在一些实现中，滤波器包括配置(例如，优化成)到预期水印的有限脉冲响应(FIR)滤波器。滤波器的输出可以与可编程阈值进行比较，以最小化不正确的比较。

在一个或多个实现中，可以利用多个水印基函数，并且每个视频帧可以改变水印的极性，这将允许系统114检测由视频处理系统116利用片上系统(SOC)内的多帧缓冲器118引起的冻结视频数据。水印检测模块114还可以基于在视频帧内包含(或不存在)水印来确定相应视频帧是否相关(例如，安全相关的视频帧等)。水印检测模块114被配置为连续监测视频帧以通过连续监测水印和水印的时间变化来确定是否发生了数据中断。水印检测模块114被配置为如果视频被确定为相关(例如，视频包括水印)并且水印和/或极性特性不改变(例如，水印和/或水印的极性特性从视频帧到视频帧没有变化)，则生成错误信号。

返回参考图1，水印生成模块104输入和颜色转换模块102和110可通信地耦合到选择器112。选择器112使能支持RGB或YUV格式且使不相关的视频数据绕过水印生成模块。

如图1所示，水印检测模块106还包括通信地耦合到选择器124的转换模块120和122，其也耦合到输入。选择器124使得支持RGB或YUV格式，并且不相关的视频数据绕过水印检测模块。

图5和图6示出了用于通过水印检测模块106提取和检测嵌入在视频数据内的水印的示例框图。在一个或多个实现中，从视频数据的色度(U或V)部分的最低有效位提取502水印。将所提取的水印信号与定义的阈值506(例如，固定阈值、可编程阈值)进行比较。在某些实例中，图像处理可能导致与水印相关联的高频噪声。这样，可以对水印进行过采样以减少提取的表示水印的位流内的高频噪声模式的实例。在一些实现中，可以利用滤波器(例如盒式车载滤波器508)来减少检测期间高频噪声模式的检测(见图5)。

捕获的图像的修改(例如，图像的调整大小、图像的重新定向)可以改变水印的频率特性。因此，诸如延迟锁定环(DLL)的时钟和数据恢复电路512可以用于恢复水印位流。如图5所示，可以在系统504内利用并联连接的时钟和数据恢复电路组，以支持一系列图像修改。各个时钟和数据恢复电路512与相应的匹配滤波器514连接以检测水印和/或水印极性特性。然而，应当理解，系统106可以根据系统114的要求并入任何数量的时钟和数据恢复电路以及相应的匹配滤波器。在一些实现中，匹配滤波器利用+1/-1编码位流实现以在系统114内提供存储器和硬件高效的实现。在一些实现中，乘法器可以利用具有最小化加法器树604(参见图6)的单个XOR电路602。

图6示出了匹配滤波器600的示例实现。在一个或多个实现中，匹配滤波器被配置为生成表示视频帧是否包括具有特定基函数和极性的水印的输出信号。

如图7所示，在实现中，匹配滤波器的输出信号被组合和滤波以最小化生成假警报。在一个实现中，使用滤波器来检测水印704的存在、水印706的极性以及水印710的基函数。组合的输出信号可以使用计数器和/或可编程阈值708进行滤波。

可以在错误检测处理702中使用VSYNC信号(例如，基于帧的信号)来确定水印是否存在并且在帧到帧的基础上进行改变。在存在水印并且在从视频帧到视频帧不变化的情况下，生成712指示不改变的水印的错误信号。在一个或多个实现中，错误信号可用于中断处理器和/或被利用以中断显示器上的视频显示。例如，当安全性相关视频流(例如，其中嵌入有水印的视频流)被冻结时，错误信号可用于中断表示从备用摄像机捕获的图像的视频帧的显示。在实现中，该信号可以用于使视频流或显示空白，以防止冻结的视频数据被显示给系统操作者，

在一个或多个实现中，SOC 116可以通过系统114来路由非相关静态视频流(例如映射)，但是不生成与该非相关静态数据有关的错误信号，因为非相关静态视频流不含水印。

另外，一些视频流/处理系统将视频流路由通过视频处理器116，用于将多个源视频路由到不同的显示器。这些类型的视频处理架构可以包括在输入和/或输出处的多个视频图像帧缓冲器118。如果发生错误，则输出帧缓冲器118仍然可以生成多个唯一且有效的视频图像。因此，当处理多个有效的重复图像数据时，检测图像或帧的部分的变化CRC的系统可能不检测数据中断。系统114可配置为利用比处理器内的视频帧缓冲器的数量更多的水印。即使基于帧的处理被中断，这些水印的利用也允许检测。例如，如果视频帧处理系统具有双帧缓冲器，并且生成器被配置为生成四(4)个唯一水印，则上述输出检测处理检测到水印基函数不跨越生成的四(4)个水印功能。

另外，其他视频流/处理系统可以显著地修改表示原始捕获的图像的数据。例如，图像裁剪可以移除或移动包含唯一标识符(例如，图像计数器)的修改的像素。

如上所述，本公开描述了将水印嵌入到相关视频帧中。空间水印可以被过采样，使得如果图像被调整大小，仍然可以在改变的图像中检测到基函数。例如，上述滤波和数据恢复电路能够检测水印。此外，水印的过采样还使得系统114能够在图像旋转的情况下检测水印。空间水印是对称的和冗余的。例如，对称性可以提供在图像的垂直或水平翻转的情况下检测水印，并且冗余可以使得能够检测通过裁剪和/或视频覆盖改变的图像内的水印。例如，空间水印可以比图像行短，并且可以嵌入在每一行中。另外，系统114可以采用可配置增益(例如，与水印相对应的可编程增益)和可配置的过采样率(例如，用于采样水印的可编程过采样率)。在一些实例中，增益和过采样率包括固定增益和固定的过采样率。

系统114还利用冗余来对变化的水印的检测滤波。例如，水印的检测可以包括基于行和帧的处理。此外，利用用于匹配的滤波器的定义的阈值可以使假报警最小化，并且水印检测计数器使得能够实现检测到基函数的基于帧的传播。系统114不需要行或帧缓冲器。

结论

尽管已经以结构特征和/或过程操作特有的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于上述具体特征或动作。相反，上述具体特征和动作被公开为实现权利要求的示例形式。

某些实现在此被描述为包括逻辑或多个组件、模块或机构。模块可以构成软件模块(例如，存储或以其他方式实现在机器可读介质或传输介质中的代码)、硬件模块或其任何合适的组合。“硬件模块”是能够执行某些操作并且可以以某种物理方式配置或布置的有形(例如非暂时)单元。在各种示例实现中，一个或多个计算机系统(例如，独立计算机系统、客户计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或一组处理器)可以由软件(例如，应用或应用部分)配置为用于执行如本文所述的某些操作的硬件模块。

在一些实现中，硬件模块可以机械、电子地或其任何适当的组合来实现。例如，硬件模块可以包括被永久配置为执行某些操作的专用电路或逻辑。例如，硬件模块可以是专用处理器，例如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。例如，硬件模块可以包括包含在通用处理器或其他可编程处理器内的软件。应当理解，在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中机械地实现硬件模块的决定可以由成本和时间考虑来驱动。

因此，短语“硬件模块”应被理解为包括有形实体，并且这样的有形实体可以被物理地构造、永久配置(例如，硬连线)或者临时配置(例如，编程)以便以某种方式操作或执行本文所述的某些操作。如本文所使用的，“硬件实现的模块”是指硬件模块。考虑到其中硬件模块被临时配置(例如，编程)的实现，每个硬件模块不需要在任何一个时刻被配置或实例化。例如，在硬件模块包括由软件配置成为专用处理器的通用处理器的情况下，通用处理器可以被配置为在不同时间相应地不同的专用处理器(例如，包括不同的硬件模块)。因此，软件(例如，软件模块)可以相应地配置一个或多个处理器，例如在一个时刻构成特定的硬件模块，并且在不同的时刻构成不同的硬件模块。

硬件模块可向其他硬件模块提供信息和从其他硬件模块接收信息。因此，所描述的硬件模块可以被认为是通信耦合的。在多个硬件模块同时存在的情况下，可以通过在两个或更多个硬件模块之间或之中的信号传输(例如，通过适当的电路和总线)实现通信。在其中多个硬件模块在不同时间被配置或实例化的实现中，可以例如通过存储和检索多个硬件模块具有访问权的存储器结构中的信息来实现这种硬件模块之间的通信。例如，一个硬件模块可以执行操作并将该操作的输出存储在其通信耦合到的存储器设备中。然后，另外的硬件模块可以在稍后的时间对存储器设备存取以检索和处理存储的输出。硬件模块还可以发起与输入或输出设备的通信，并且可以对资源(例如，信息的集合)进行操作。

至少部分地由临时配置(例如通过软件)或永久配置为执行相关操作的一个或多个处理器来执行本文描述的示例性方法的各种操作。无论是临时还是永久配置，这些处理器可以构成操作以执行本文所述的一个或多个操作或功能的处理器实现的模块。如本文所使用的，“处理器实现的模块”是指使用一个或多个处理器实现的硬件模块。

类似地，本文描述的方法可以至少部分地由处理器实现，处理器是硬件的示例。例如，方法的至少一些操作可由一个或多个处理器或处理器实现的模块执行。如本文所使用的，“处理器实现的模块”是指其中硬件包括一个或多个处理器的硬件模块。此外，一个或多个处理器还可以操作以支持在“云计算”环境中或作为“软件即服务”(SaaS)的相关操作的性能。例如，可以由一组计算机(作为包括处理器的机器的示例)来执行至少一些操作，其中这些操作可经由网络(例如，因特网)以及经由一个或多个适当的接口(例如，应用程序接口(API))来访问。

Claims (20)

1.一种用于检测冻结视频流的系统，包括：

视频源处的水印生成模块，其被配置为用在交替帧上不同的至少两个水印图案来编码多个视频帧；以及

水印检测模块，其通信地耦合到所述水印生成模块，所述水印检测模块被配置为接收多个水印，所述水印检测模块被配置为确定嵌入在所述多个视频帧的当前视频帧中的水印是否与嵌入在所述多个视频帧的先前视频帧中的水印不同，所述水印检测模块被配置为当嵌入在所述当前视频帧中的水印与嵌入在所述先前视频帧中的水印没有不同时，生成错误信号。

2.根据权利要求1所述的系统，其中，所述水印生成模块被配置为基于时变水印基函数生成水印，并且将所述水印嵌入到所述多个视频帧中的色度部分中。

3.根据权利要求2所述的系统，其中，所述水印被嵌入到所述色度部分的至少一个最低有效位(LSB)中。

4.根据权利要求1所述的系统，其中，所述水印检测模块还被配置为确定嵌入在所述多个视频帧的当前视频帧中的所述水印的极性特性是否与嵌入在所述多个视频帧的先前视频帧中的水印的极性特性没有不同，并且所述水印检测模块被配置为当嵌入所述当前视频帧中的所述水印的极性特性与嵌入在所述先前视频帧中的所述水印的极性特性没有不同时生成错误信号。

5.如权利要求1所述的系统，其中，所述视频帧包括YUV视频帧。

6.根据权利要求5所述的系统，还包括被配置为接收红-绿-蓝RGB视频帧并且将所述RGB视频帧转换成相对应的YUV视频帧的第一转换模块。

7.根据权利要求6所述的系统，还包括被配置为接收所述YUV视频帧并且将所述YUV视频帧转换成相对应的RGB视频帧的第二转换模块。

8.如权利要求1所述的系统，其中，所述水印包括可编程水印。

9.如权利要求1所述的系统，其中，所述水印包括水平对称水印。

10.如权利要求1所述的系统，其中，所述水印包括垂直对称水印。

11.如权利要求1所述的系统，其中，所述水印基函数被过采样。

12.根据权利要求1所述的系统，其中，所述水印检测模块利用时钟和数据恢复电路。

13.根据权利要求1所述的系统，其中，所述水印检测模块利用匹配的滤波器。

14.根据权利要求1所述的系统，其中，所述水印检测模块利用使用单一位数据编码实现的匹配的滤波器。

15.根据权利要求1所述的系统，其中，所述水印检测模块被配置为对基于行的检测和基于帧的阈值进行组合以最小化假警报。

16.根据权利要求1所述的系统，其中，所述水印检测模块被配置为如果检测的水印不跨越水印基函数集或极性中的至少一个，则利用基于帧的处理来生成警报。

17.一种用于检测冻结视频流的系统，包括：

视频源处的水印生成模块，其被配置为用在交替帧上不同的至少两个水印图案来编码多个视频帧，所述水印生成模块包括：第一转换模块，其被配置为接收红-绿-蓝RGB视频帧，并且将所述RGB视频帧转换成相对应的YUV视频帧；以及

水印检测模块，其通信地耦合到所述水印生成模块，所述水印检测模块被配置为接收多个水印，所述水印检测模块被配置为确定嵌入在所述多个视频帧的当前视频帧中的水印是否与嵌入在所述多个视频帧中的先前视频帧中的水印不同，所述水印检测模块被配置为当嵌入在所述当前视频帧中的水印与嵌入在所述先前视频帧中的水印没有不同时生成错误信号，所述水印检测模块包括第二转换模块，所述第二转换模块被配置为接收所述YUV视频帧并且将所述YUV视频帧转换成相对应的RGB视频帧。

18.根据权利要求17所述的系统，其中，所述水印检测模块使用时钟和数据恢复电路。

19.一种用于检测冻结视频流的系统，包括：

视频源处的水印生成模块，其被配置为用在交替帧上不同的至少两个水印图案来编码多个视频帧，所述水印生成模块被配置为基于时变水印基函数生成水印，并且将水印嵌入到所述多个视频帧的色度部分中；以及

检测模块，其通信地耦合到所述水印生成模块，所述检测模块被配置为接收多个水印，所述水印检测模块被配置为确定嵌入在所述多个视频帧的当前视频帧中的水印是否与嵌入在所述多个视频帧的先前视频帧中的水印不同，所述水印检测模块被配置为当嵌入在所述当前视频帧中的水印与嵌入在所述先前视频帧中的水印没有不同时生成错误信号，所述检测模块包括第二转换模块，所述第二转换模块被配置为接收YUV视频帧并且将所述YUV视频帧转换成相对应的RGB视频帧。

20.根据权利要求19所述的系统，其中，所述水印被嵌入到所述色度部分的至少一个最低有效位(LSB)中。

Images