CN101022550A - 流媒体的数字水印信息嵌入方法 - Google Patents

Abstract

本发明提供一种视频流媒体的数字水印信息嵌入方法，其中流媒体服务器从视频流媒体的帧中选择至少一个需要嵌入数字水印信息的关键位置；将所述数字水印信息模拟成为视频流媒体的视频帧；将所述模拟的视频帧嵌入到所述选择的关键位置；所述嵌入数字水印信息的视频流媒体通过网络方式传输至客户端，由客户端解析所述嵌入的数字水印信息；所述客户端按照数字水印信息的内容和包含的指令从客户端采集各类信息，并反馈给相应的中心服务器或服务器集群。从而在不改变原有流媒体基本格式的前提下，通过在视频数据的部分帧之间嵌入数字水印信息，达到计算复杂度低且更大限度的降低对原有视频图像质量的影响。

Description

流媒体的数字水印信息嵌入方法

技术领域

本发明涉及流媒体处理技术领域，更具体而言，涉及一种在流媒体中嵌入水印信息的方法。

背景技术

近年来，随着数字化技术的进步和internet的迅速发展，多媒体信息的交流达到了前所未有的深度和广度，其内容和形式愈加丰富。目前文字、音频和视频三位一体化的信息和娱乐服务成为主流，而带内容的主体变成了“流媒体(Streaming media)”而非网页。

流媒体技术是指采用流式传输的方式将多媒体信息(文本、图片、声音以及视频等文件，还有实时的音频/视频源)经过各种压缩方式分成一个个包，由视频服务器按照特定的顺序将各种多媒体信息连续、实时发送出去，客户端可以一边接收数据一边播放，而不必等多媒体信息全部下载完毕，多媒体信息的剩余部分在后台从服务器内继续接收。然而，对于客户端用户而言，不仅仅希望在网络上快速获取所需多媒体信息，同时还希望所获得的信息是安全可靠的；对于流媒体服务器的多媒体信息提供商而言，除了实现快速安全的信息传播以满足客户要求，还要防止所发布的信息是无法非法复制，更重要的是得到客户端的信息反馈，达到对用户信息的统计监测等用途。

目前控制客户端进行信息反馈等操作一般都是通过服务器集中向所有客户端发送命令或者客户端定时向服务器反馈信息的方式来实现。采用服务器集中向客户端发送命令的方式缺点在于当客户端数量很大时，命令的集中发送效率低，且服务器负载大；采用客户端定时反馈信息时，缺点在于客户端反馈的信息内容种类较为固定，不方便实现服务器随时采集需要收集的信息。而提供流媒体信息的服务器端所需要做到的是防止非法信息拷贝，发布安全可靠的多媒体信息，并收集客户端信息。通过在流媒体中嵌入数字水印的方法可以有效的实现以上所述的功能。其中数字水印技术是通过一定的算法将一些标志性信息嵌到多媒体数字作品内容中或者软件程序的代码、动态数据结构或者数据中，并且不影响原内容的价值和使用。数字水印技术的最初目的为的是为了实现数字作品的版权保护，随着研究的不断深入，其应用领域得到了极大扩展，概括起来，数字水印技术目前主要应用在版权保护、拷贝保护、盗版跟踪、真伪鉴别、保密通信等方面。

现有应用于音视频的数字水印的嵌入方式主要有三种。一种是在原始视频码流中，即编码压缩之间将水印信号嵌入图像。按这种途径嵌入的水印信息，水印不易遭破坏，但计算量大，算法复杂，如图1所示。另一种是在编码过程中，利用编码器提供的信息进行，基本不增加编码器的运算复杂度，但该方式对于已压缩的视频文件需要一个完全或部分解压，嵌入水印信息以及再编码的过程。还有一种是在压缩码流中，多数以替代法或者覆盖法嵌入数字水印；其中在覆盖法中水印信号通常嵌入在时域(音频)、空域(图像)、空时域(视频)或变换域(离散余弦变换DCT，离散小波变换等)；而在替代法中就是将数字水印信息替换原始媒体中最不重要的位置，这样的算法简单速度快，但对图像的质量影响最大，客户端在解析水印信息时需要原始媒体数据。所述覆盖法直接把数字水印信息嵌入到图像数据的时、空域，如嵌入到DCT(离散余弦变换)系数，如图2所示。但是，这样在客户端解析水印信息时，需要先对视频数据解码；还有是结合视频压缩编码，把水印嵌入到预测帧(P、B帧)编码中，虽然客户端可以避免对视频数据解码的要求而直接对视频数据实施水印信息的解析，但处理负担比前一种重。在利用覆盖法的嵌入水印信息方面存在有很多不同的方案，例如，在日本富士通株式会社在中国所申请的专利号为ZL 98108421.4的专利文献中，公开了随机选择水印信息嵌入各帧的位置，并将数字水印信息覆盖帧中的局部图像，并需要记录嵌入水印信息的帧号和插入的位置，用以恢复被覆盖局部图像的原图像。

然而，现有的应用于流媒体的数字水印技术很少涉及服务器端与客户端的信息交流，即数字水印所携带的附加信息并不能帮助服务器端获取客户端信息，以进行数据统计。现有的数字水印技术侧重于版权保护，嵌入方法往往不能完全保证流媒体画面质量，而且在某种程度上改变了原有数据的内容。

发明内容

本发明的目的在于，提供一种流媒体的数字水印嵌入方法，以克服现有数字水印技术中算法计算复杂度高、破坏原有多媒体文件内容和无法对视频信息在客户端情况进行统计的问题。

一种视频流媒体的数字水印信息嵌入方法，包括步骤：

流媒体服务器从视频流媒体的帧中选择至少一个需要嵌入数字水印信息的关键位置；

将所述数字水印信息模拟成为视频流媒体的视频帧；

将所述模拟的视频帧嵌入到所述选择的关键位置；

所述嵌入数字水印信息的视频流媒体通过网络方式传输至客户端，由客户端解析所述嵌入的数字水印信息；

所述客户端按照数字水印信息的内容和包含的指令从客户端采集各类信息，并反馈给相应的中心服务器或服务器集群。

其中，所述关键位置是在视频主帧与其相邻的视频差量帧之间的位置，或者在任意两个相邻的视频差量帧之间的位置。更佳地，所述关键位置是在视频差量帧在前而视频主帧在后之间的位置。

其中，所述数字水印信息模拟的视频帧为视频差量帧。

本发明还提供一种视频流媒体的数字水印信息嵌入装置，包括：

从视频流媒体的帧中选择至少一个需要嵌入数字水印信息关键位置的选择装置；

将所述数字水印信息模拟成为视频流媒体视频帧的模拟装置；

将所述模拟的视频帧嵌入到所述选择关键位置的嵌入装置；以及

将所述通过嵌入装置嵌入数字水印信息的视频流媒体以网络方式传输至客户端的传输装置。

其中，所述选择装置所选择的关键位置是在视频主帧与其相邻的视频差量帧之间的位置，或者在任意两个相邻的视频差量帧之间的位置。

其中，所述数字水印信息包含控制操作命令信息和/或描述信息。所述控制操作命令信息包括采集客户端IP地址信息、采集客户端操作系统信息、采集客户端在线时间信息中的一种或多种；所述描述信息包括视频流媒体内容唯一标识ID、视频流媒体配置信息、服务统计中心地址、流媒体内容的来源、有效时间信息中的一种或多种。

另外，本发明还提供一种视频流媒体的数字水印信息嵌入的系统，该系统包括至少一流媒体服务器和一客户端，所述流媒体服务器通过网络方式与客户端连接；至少一统计中心服务器，该统计中心服务器与所述客户端以网络方式连接；和所述至少一流媒体服务器将所述数字水印信息模拟成视频帧并嵌入所述视频流媒体关键位置的方法；所述至少一客户端通过网络传输方式接收所述嵌入数据水印信息的视频流媒体，并解析所述数字水印信息的方法；以及所述至少一客户端按照数字水印信息的内容和包含的指令从所述客户端采集各类信息，并反馈给所述至少一统计中心服务器的方法。

本发明提供的视频流媒体的数字水印信息嵌入方法、装置及系统，在不改变原有流媒体基本格式的前提下，通过在视频数据的部分帧之间嵌入数字水印信息，达到计算复杂度低且更大限度的降低对原有视频图像质量的影响，实现在客户端无需特殊处理，即无需水印信息提取，利用常用的播放器软件就能正常观看，具有高可实施性和高实用性，提供高质量的网络流媒体播放；而在特定客户端环境下，通过数字水印信息所携带的关于视频内容的信息和采集用户信息的指令等，将用户状态信息反馈给指定服务器，有效的收集客户端的信息，并对所述信息进行有目的的统计和实时监控；同时监控流媒体的播放状态并获取流媒体服务提供商感兴趣的信息。

附图说明

图1是现有技术中数字水印嵌入及其提取过程示意图；

图2是现有技术中采用覆盖法嵌入数字水印方案示意图；

图3是本发明数字水印嵌入及其提取过程示意图；

图4是本发明数字水印中包含的内容信息示意图；

图5是本发明流媒体中数字水印嵌入的关键位置示意图；

图6是本发明嵌入成水印差量帧的示意图；

图7是本发明将数字水印信息模拟成水印差量帧的过程示意图；

图8是本发明嵌入数字水印信息的硬件实施方式结构图；

图9是本发明视频流媒体嵌入数字水印信息及工作流程图；

图10是本发明特殊客户端解析数字水印的过程示意图；

图11是本发明应用于视频流媒体广告统计系统中的总体结构及流程图；

图12是本发明应用于视频流媒体内容统计系统中的总体结构及流程图；

图13是本发明应用于视频流媒体内容及广告统计系统中的总体结构及流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

如本领域技术人员所知，所述流媒体包括视频流媒体和音频流媒体，本实施例主要以视频流媒体为例，详细说明本发明嵌入数字水印的方法。

如前所述，视频流媒体通过视频服务器和网络传输到客户端，并通过客户端的流媒体播放器进行播放。所述视频流媒体的内容由大量的帧组成，结合图1和图2示出了视频流媒体的标准格式，其帧包括主帧和差量帧，所述主帧是指在视频文件中画面上的每个像素都有数据表示的帧，其显示的基本图，并作为后续差量帧的参考图，即单独一个主帧是一副完整的画面；而差量帧记录只是主帧之间存在变化的像素的帧，单独的差量帧不能呈现一副完整的画面，因此差量帧必须基于前面的主帧和差量帧进行处理才能呈现出一副完整的画面。所述视频流媒体的原始数据经过编码压缩转成流格式以便在网络上传播，此时视频流媒体的格式为主帧(即关键帧)以及不定数量的差量帧，接着又是一幅主帧和不定数量的差量帧，如此继续。其中主帧显示基本图，并作为所述差量帧的参考图，对动态图像的显示起着决定性作用，同时相邻图像帧都具有相关性。所述相邻图像帧包括两种情况，即主帧与差量帧相邻、差量帧与差量帧相邻。

本发明所述的视频流媒体可以单独的视频流媒体，也可以是音视频流媒体，而不包括单纯的音频流媒体，因为纯音频流媒体与视频流媒体处理上方法完全不同。为方便起见，涉及部分以下统称为视频流。

图3示出了本实施例传输流媒体数据的过程，其中原始视频流经过流媒体服务器的编码器压缩并嵌入数字水印信息后，经网络传输至客户端，所述客户端通过提取数字水印信息和/或解码器解码重建视频后，由所述客户端的流媒体播放器播放，从而完成视频流媒体数据的传输过程。

所述流媒体服务器是指各类流媒体的中心服务器或服务器集群，具体来说，包括各类提供流媒体数据的服务器设备或设备集群。所述服务器集群是将多台服务器以一种方式连接起来，在这种方式中所有的服务器可以被当作一种中心计算机一样控制，这样对于流媒体网络，可以有效的实现负载平衡和容错性。所述负载平衡是在多台机器中自动为每台机器分配基本平均的负载的过程。所述的容错性是指即使有硬件或软件错误发生的情况下网络可以维持工作的能力。

所述客户端在硬件表现上是指播放各类流媒体的各类数据处理设备，如PC、手持式设备等；而在软件表现上是指运行于各类数据处理设备、能够播放各类流媒体的播放器。

所述客户端包括普通客户端和特殊客户端。所述普通客户端是指接收以各种传播模式和各种传输协议传播的视频流媒体数据，并将接收到的数据直接输送给通用媒体播放器进行视频解码播放的客户端。该普通客户端至少包括数据接收模块和视频播放模块，其中数据接收模块负责接收视频流数据，视频播放模块负责解码及播放视频流数据，所述视频播放模块可以是通用的视频播放器，即不是为指定应用专门开发的播放器，例如Windows MediaPlayer、Real Player、QuickTime Player等。

所述特殊客户端是指接收以各种传播模式和各种传输协议传播的视频流媒体数据，并从接收到的数据中解析出嵌入的数字水印信息，根据数字水印信息中携带的控制命令信息和其它状态信息，进行指定的信息采集操作，并将采集到的信息按照数字水印信息中指定的目的地址反馈；同时将接收的视频流媒体数据输送给通用媒体播放器或其它类型媒体播放器进行视频解码及播放的客户端。该特殊客户端包括数据接收模块、水印信息提取模块、信息采集模块、信息反馈模块和视频播放模块。其中数据接收模块负责接收视频流数据，水印信息提取模块负责从接收到的视频流数据中解析出嵌入的数字水印信息，信息采集模块负责根据数字水印信息所携带的控制命令信息对用户本地设备进行指定信息的采集，信息反馈模块负责将采集到的用户本地信息根据数字水印信息所携带的统计中心服务器的地址反馈给统计服务中心，视频播放模块负责解码及播放视频流数据，所述视频播放模块可以是通用的视频播放器或其它类型的视频播放器，例如Windows Media Player、RealPlayer、QuickTime Player等。

所述统计中心服务器可以独立的服务器或服务器集群，也可以是所述流媒体服务器，该统计中心服务器与客户端通过网络方式连接。

其中，所述数字水印信息的内容如图4所示，包含了各种控制操作命令信息和/或各种描述信息，其中所述控制操作命令信息包括但不限于采集客户端IP地址信息、采集客户端操作系统信息、采集客户端在线时间信息等信息中的一种或多种；所述描述信息包括但不限于视频流媒体内容的唯一标识ID、视频流媒体配置信息(即视频文件头)、服务统计中心地址(即用来统一收集客户端反馈信息的服务器地址)、流媒体内容的来源、有效时间等自定义信息中的一种或多种。所述的数字水印信息包括视频流媒体配置信息(即视频文件头)的情况特别适合于基于P2P模式的流媒体传播。

所述数字水印信息还可以是任何自定义的所需要描述的信息，例如流媒体内容的来源、有效时间等。同时，所述数字水印信息包括的各个内容之间是相互独立的，即数字水印信息可以包括不同内容，视频水印差量帧可以包括不同的数字水印信息。所述数字水印信息的大小理论上可是任意整数位字节，其可能包含所需的足够多的信息量；但是为了保证视频流媒体的网络传输速度以及其播放画质要求，应根据实际情况限制数字水印信息的大小。

图5是嵌入数字水印信息的示意图，如前所述，在所述编码器对原始视频流压缩过程中或压缩后，形成主帧与差量帧相邻、差量帧与差量帧相邻的一系列流媒体数据，所述数字水印信息是嵌入在所述流媒体数据的“关键位置”处。该关键位置可以是每个视频主帧前面的一个视频差量帧与所述视频主帧之间(差量帧在前，主帧在后)，也可以是任意两个相邻视频差量帧之间，还可以是每个视频主帧与相邻视频主帧的视频差量帧之间(主帧在前，差量帧在后)。所述关键位置的数量由流媒体数据的长度决定。尤其在视频差量帧在前而视频主帧在后之间的关键位置，且使嵌入数字水印信息与主帧之间的采样时间之差为0～25/1000秒最佳。

同时，在嵌入所述数字水印信息过程中，将要嵌入的数据信息根据具体实际要求进行压缩、加密，并将该嵌入的数字水印信息模拟成一个视频差量帧(下称为“视频水印差量帧”)，如图6所示。其中，该视频水印差量帧可以包括不同的数字水印信息，也可以是多个不同内容的数字水印信息。该视频水印差量帧可以嵌入到任意的关键位置，也可以是所有关键位置，还可以是任意间隔的关键位置，即嵌入的视频水印差量帧的数量不受限制，可以根据具体的传输或统计等要求进行自定义的设置。

所述将数字水印信息模拟成视频差量帧的方式如图7所示，流媒体服务器首先提取需要嵌入水印差量帧的前一个差量帧(也可以是该视频中任何一个差量帧)，复制出一个新的差量帧，并将复制出新的差量帧中的视频内容数据删除，而保留原有差量帧头信息，然后在视频内容数据部分加入水印信息，同时根据加入的水印信息的大小，对差量帧头上对应的帧长度描述位进行更改，并对差量帧头信息中采样时间位进行更改，即完成模拟一个视频水印差量帧。其中，插入的水印信息通过标签头、标签尾进行封装，且每一对标签头、尾一一对应，完成模拟后的视频水印差量帧即可嵌入所述关键位置。

上述嵌入数字水印信息的过程也可通过硬件方式实现，图8是所述硬件方式实施的结构示意图，在所述流媒体服务器中包括选择装置、模拟装置、嵌入装置和传输装置，所述选择装置从视频流媒体的帧中选择一个或多个需要嵌入数字水印信息的关键位置；所述模拟装置将所述数字水印信息模拟成为视频流媒体视频帧，即视频水印差量帧，其模拟过程如图7所示；所述嵌入装置将所述模拟的视频水印差量帧嵌入到所述选择关键位置中；所述传输装置将所述通过嵌入装置嵌入数字水印信息的视频流媒体以网络方式传输至客户端。

所述选择装置所选择的关键位置是在视频主帧与其相邻的视频差量帧之间的位置，或者在任意两个相邻的视频差量帧之间的位置。

而在现有技术中，一般选择在不规则间隔的帧中加入数字水印信息，这将导致被选定帧的原有内容遭到修改，其局部图像被帧中的数字水印信息所覆盖，其视频质量无法得到保证，原因是所选定的不规则间隔帧的帧类型不能确定，即无法确定是差量帧还是主帧，若选定嵌入数字水印信息的为主帧，则对视频画面有较大影响；若选定嵌入数字水印信息的为差量帧，则可能察觉不到视频画面的微小变化；为了弥补这种缺陷，客户端必须安装特定的客户端程序或软件，才能恢复原有图像。而本发明将将所述数字水印信息嵌入到所述关键位置的主要目的是防止流媒体的帧数据不被修改，从而保证了所播放视频的质量；同时，还可以防止所述嵌入的数字水印信息不被非法检测和篡改。因此，本发明的数字水印嵌入方式可以使视频流媒体在前述的通用播放器中即可正常播放，而不会影响其播放视频的质量。

所述对原始视频流和数字水印信息进行压缩的压缩算法可以采用无损压缩算法，也可以是有损压缩算法，例如Huffman编码、算术编码LZW(Lempel-Ziv-Welch)等。所述对数字水印信息进行加密的加密算法可以采用包括但不限于各种对称加密算法，例如DES算法、3DES算法、RC2和RC4算法、IDEA算法等；所述加密算法还可以包括各种非对称加密算法，例如RSA算法、ECC(新型椭圆曲线算法)；以及各种Hash算法。目前基于视频传输的流媒体信息加密技术一般有信息加密、信息隐藏、信息伪装夹带及内容数字版权加密保护等。对需要嵌入的数据信息，依据具体实际应用要求，可以采用单独进行压缩的方案以减小视频水印差量帧的大小，也可以采用单独进行加密的方案以实现数字水印信息在网络上的安全传播，以及采用同时压缩、加密的方案。

结合图9所示，上述包括视频水印差量帧的视频流媒体通过网络方式传播到各客户端后，若该客户端为特殊客户端，则所述特殊客户端在播放接收到的流媒体视频的过程中，解析视频水印差量帧的数字水印信息，并将数字水印信息的内容以及按照数字水印信息中所包含的指令从客户端自身采集各类信息，通过所述数字水印信息中包含的服务统计中心的地址，反馈给相应的中心服务器或服务器集群。若该客户端为普通客户端，则所述普通客户端只是播放所接收到的流媒体视频，而对包含数字水印信息的视频水印差量帧不作处理。但是，由于相邻帧之间的相关性，视频水印差量帧嵌入所述关键位置时，对其余帧(包括主帧和差量帧)的影响非常小。但为了达到最小的影响效果，嵌入关键位置的所述视频水印差量帧与后面的主帧之间的采样时间之差越小，对原有的视频流媒体的图像质量影响越小，其最佳采样时间之差的范围是0～25/1000秒。

所述解析视频水印差量帧的数字水印信息的方式和过程结合图10所示，所述特殊客户端解析数字水印信息的过程屏蔽了视频主帧与差量帧的区别，只是将视频流当成普通的数据流进行解析，当解析到所述数字水印信息的标签头和标签尾时，即可读取出其中完整的数字水印信息。而从标签头到标签尾这部分嵌入的数据在读取之后仍然保留在数据流中，不作删除操作。

其中，采集的客户端自身各类信息包括但不限于客户端节点的IP地址、客户端使用的媒体播放器、设备硬件及应用软件信息、偏好的视频内容等相关信息中的一种或多种，还可以是其它需要的信息。

所述网络传输可以采用C/S模式(Client/Server，客户端/流媒体服务器模式，也被称为集中模式)的传播方式，也可以是P2P(即Peer-to-Peer，点对点模式，也被成为对等网络模式)的传播方式。上述传播方式可以是基于UDP传输协议，也可以是基于TCP传输协议的。其中，所述UDP传输协议包括所有在UDP协议上进行封装的协议，所述TCP协议包括所有在TCP协议上进行封装的协议。

以下通过三种应用实施方式进一步说明本发明。

图11是本发明应用到视频流媒体广告统计系统中的总体结构及流程的详细说明。

如图11所示，所述流媒体服务器将某一段广告视频流媒体生成为广告数字水印信息并对其进行压缩和加密，然后将其模拟成一个或多个广告水印差量帧，分别嵌入到所述广告视频流媒体中的各个关键位置，如图5所示的关键位置1、关键位置2、关键位置3，……，关键位置n等，从而形成完整的携带广告的视频流媒体节目。该广告数字水印信息包括控制命令信息、描述信息、采集客户端IP地址信息、采集客户端操作系统信息、采集客户端视频观看时间、广告内容唯一标识ID、服务统计中心地址、广告内容描述信息以及广告视频配置信息，该广告数字水印信息的大小根据情况而定，如可以限制在512字节(byte)或2M之内。由于上述的各种信息是相互独立的，因此各部分信息可以任意组合成为广告数字水印信息，从而生成的广告数字水印信息可以为一个或多个，且分别包含广告数字水印的各种信息，从而可以分别以广告水印差量帧的方式嵌入到所述广告视频流媒体的各个关键位置。当然，也可以将完全相同的广告数字水印信息以广告水印差量帧的方式嵌入到所述广告视频流媒体的所有关键位置。例如，视频流媒体的配置信息可以单独压缩，并模拟成广告水印差量帧，也可以和广告唯一标识ID组合，压缩并模拟成广告水印差量帧，插入到所述正常流媒体的各关键位置，并且将与所示主帧的采样时间之差设为0.1ms。

以上所述生成广告数字水印信息以及模拟、嵌入数字水印信息的过程也可以通过图8所示的硬件实施方式完成。

上述广告视频流媒体通过网络方式传输到各个客户端，该客户端可以是任意数量的普通客户端和/或特殊客户端。本实施方式中，所述网络传播方式可以是基于UDP的传输协议，并以P2P的传播方式发送到客户端。基于UDP的传输协议可以实现相对快速的视频流媒体传播，基于P2P的流媒体传播方式，可以通过合理的使用客户端空闲的资源提供部分服务，有效的降低中心服务器的负载，同时使带宽的资源大大增加。用户数量多，消耗的资源多，但新增的用户又提供新的资源，客户端节点向中心服务器发送请求，中心服务器收到客户端节点的请求后，将客户端节点的IP地址，端口号等信息发送给它的相应子客户端节点，并记录下客户端节点在P2P网络中的信息；所述客户端节点从相应的其它客户端节点中接收到数据包，从其中把流媒体数据提取出来，然后缓存到自己的缓存区；同时，还要把数据转发给自己的子客户端节点，子客户端节点接收到数据后也继续缓存和转发，以此类推，直到所有的客户端节点都接收到流媒体数据。

在如图11所示的特殊客户端，所述特殊客户端的视频流接收模块接收到包含广告数字水印信息的广告视频流，特殊客户端的水印信息提取模块从接收到的广告视频流数据中经解压和解密后解析出数字水印信息，即从视频流数据的广告水印差量帧中解析出广告数字水印信息；所述特殊客户端的信息采集模块按照广告数字水印信息中包含的控制命令信息进行客户端的信息采集，采集的信息包括但不限于特殊客户端所在设备的IP地址、本地操作系统信息、视频观看时间等，而信息反馈模块根据广告数字水印信息中包含的服务器统计中心地址，将采集到的客户信息反馈给相应的中心服务器或服务器集群；同时，而所述特殊客户端的视频播放模块即负责播放包含广告内容在内的所述广告视频流。

上述特殊客户端除采集和反馈信息以外，还能通过解析广告数字水印信息中的广告内容唯一标识ID和广告内容描述信息，获得用户观看了何种广告，何时观看，然后将上述信息反馈给统计中心服务器，这将是很有价值的信息，以此可以提高广告视频流发布统计的有效性。而现有P2P视频技术只能将广告发布给普通客户端，但对广告视频流是否被收看等相关信息无法捕捉。

另外，所述特殊客户端根据获取的本地用户的IP地址用于确定不同的具体用户、广告视频流的播放时间以用于记录用户的观看时间等，并将所述获取信息与广告内容唯一标识ID匹配，由信息反馈模块发送到统计中心服务器。所述统计中心服务器根据反馈的信息，实现不同用途的广告信息统计，以达到不同的目标。例如根据广告内容唯一标识ID的记录次数，统计某个具体广告的播放次数，提供流媒体服务商感兴趣的广告统计信息；以及根据用户来自的地域、操作系统、流媒体播放器、收看的广告内容及其时间等具体信息评估用户偏好，实现基于内容或时间的目标发送即更有效的进行广告视频流的播放，提供流媒体赞助商感兴趣的功能。

而对于普通客户端，由于其没有提取所述广告数字水印信息的能力，只能实现播放正常视频流和插播的广告视频。

图12是本发明应用到视频流媒体内容统计系统中的总体结构及流程的详细说明。

如图12所示，所述流媒体服务器将某一段视频流媒体生成为节目内容数字水印信息并进行压缩和加密，然后将其模拟成一个或多个视频节目水印差量帧，分别嵌入到正常的视频流媒体中的各个关键位置，如图5所示的关键位置1、关键位置2、关键位置3，……，关键位置n等，从而形成完整的视频内容流媒体节目。其中所述节目内容数字水印信息包括控制命令信息、描述信息、采集客户端IP地址信息、采集客户端操作系统信息、采集客户端视频观看时间、视频内容唯一标识ID、服务统计中心地址、视频内容描述信息以及视频内容配置信息，该节目内容数字水印信息的大小根据情况而定，如可以限制在512字节(byte)之内或2M之内。由于上述的各种信息是相互独立的，因此各部分信息可以任意组合成为节目内容数字水印信息，从而生成的节目内容数字水印信息可以为一个或多个，分别包含数字水印的各种信息，因此可以分别以视频节目水印差量帧的方式嵌入到正常视频流媒体的各个关键位置。当然，也可以将完全相同的节目内容数字水印信息以视频节目水印差量帧的方式嵌入到正常视频流媒体的所有关键位置。例如，视频内容配置信息可以单独压缩，并模拟成视频节目水印差量帧，也可以和视频内容唯一标识ID组合，压缩并模拟成视频节目水印差量帧，插入到所述正常视频流媒体的各关键位置，并且将与所示主帧的采样时间之差设为1ms。

以上所述生成广告数字水印信息以及模拟、嵌入数字水印信息的过程也可以通过图8所示的硬件实施方式完成。

上述视频节目流媒体通过网络方式传输到各个客户端，该客户端可以是任意数量的普通客户端和/或特殊客户端。在本实施例中，所述网络传输方式是基于TCP的传输协议，并以C/S的传播方式发送到客户端，基于TCP的传输协议可以实现相对可靠的视频流媒体传播。

所述特殊客户端的视频流接收模块接收到包含节目内容数字水印信息的视频流，特殊客户端的水印信息提取模块从接收到的视频流数据中经解压和解密后解析出数字水印信息，即从所述正常视频流媒体的节目水印差量帧中解析出节目内容数字水印信息；所述特殊客户端的信息采集模块按照节目内容数字水印信息中包含的控制命令信息进行客户端的信息采集，采集的信息包括但不限于特殊客户端所在设备的IP地址、本地操作系统信息、视频观看时间等，而信息反馈模块根据节目内容数字水印信息中包含的服务器统计中心地址，将采集到的客户信息反馈给相应的中心服务器或服务器集群；同时，而所述特殊客户端的视频播放模块即负责播放正常视频流。

上述特殊客户端除采集和反馈信息以外，还能通过解析到视频流的视频内容唯一标识ID和视频内容描述信息，获得用户观看了何种视频节目，何时观看，然后将上述信息反馈给统计中心服务器，由此可以提高各个视频节目收视率统计信息的有效性。而现有视频技术只能将视频内容发布给普通客户端，但对视频流是否被收看、收看效果如何等相关信息无法捕捉。

而对于普通客户端，由于其没有提取所述节目内容数字水印信息的能力，只能实现播放节目内容视频流。

图13是本发明应用到视频流媒体内容及广告统计系统中的总体结构及流程的详细说明。

如图13所示，所述流媒体服务器将某一段视频流媒体节目和所需要投放的广告视频流分别生成为节目内容数字水印信息和广告数字水印信息并进行压缩和加密，然后分别将其模拟成一个或多个视频节目水印差量帧和广告水印差量帧，并分别嵌入到正常的视频流媒体中的各个关键位置；其中所述广告水印差量帧嵌入到广告视频流的各个关键位置，所述视频节目水印差量帧嵌入到内容节目视频流的各个关键位置，从而形成节目内容视频与广告视频组合而成的组合视频流。这样，即可实现将广告视频流媒体插入到节目内容视频流媒体中，形成完整的携带广告的播放节目，一并通过网络方式传输到客户端，以供客户端用户观看。

其中所述节目内容水印信息包括控制命令信息、描述信息、采集客户端IP地址信息、采集客户端操作系统信息、采集客户端视频观看时间、视频内容唯一标识ID、服务统计中心地址、视频内容描述信息以及视频内容配置信息。所述广告数字水印信息包括控制命令信息、描述信息、采集客户端IP地址信息、采集客户端操作系统信息、采集客户端视频观看时间、广告内容唯一标识ID、服务统计中心地址、广告内容描述信息以及广告视频配置信息。

以上所述生成广告数字水印信息以及模拟、嵌入数字水印信息的过程也可以通过图8所示的硬件实施方式完成。

上述组合视频流媒体通过网络方式传输到各个客户端，该客户端可以是任意数量的普通客户端和/或特殊客户端。在本实施例中，所述网络传输方式是基于UDP的传输协议，并以P2P的传播方式发送到客户端，基于UDP的传输协议可以实现相对快速的视频流媒体传播。

所述特殊客户端的视频流接收模块接收到包含节目内容数字水印信息和广告数字水印信息的视频流，特殊客户端的水印信息提取模块解析出节目内容数字水印信息和广告数字水印信息；所述特殊客户端的信息采集模块按照节目内容数字水印信息和广告数字水印信息中包含的控制命令信息进行客户端的信息采集，采集的信息包括但不限于特殊客户端所在设备的IP地址、本地操作系统信息、视频观看时间、广告内容、广告播放时间等，而信息反馈模块根据节目内容数字水印信息和广告数字水印信息中包含的服务器统计中心地址，将采集到的客户信息共同或者分别反馈给相应的中心服务器或服务器集群；同时，而所述特殊客户端的视频播放模块负责播放包含广告内容在内的节目内容视频流。

上述方法的实施，不仅可以有效地收集客户端播放流媒体的各类信息，并对所收集的各类信息进行有目的的统计和实时监控。更重要的是，可以将广告内容插入到正常的视频流媒体中播放，并掌握广告内容播放各类信息，

而对于普通客户端来说，由于其没有提取所述节目内容数字水印信息和广告数字水印信息的能力，只能实现播放正常的视频流。

Claims (18)

1.一种视频流媒体的数字水印信息嵌入方法，包括步骤：

流媒体服务器从视频流媒体的帧中选择至少一个需要嵌入数字水印信息的关键位置；

将所述数字水印信息模拟成为视频流媒体的视频帧；

将所述模拟的视频帧嵌入到所述选择的关键位置。

2.如权利要求1所述的数字水印信息嵌入方法，其特征在于，还包括步骤：

所述嵌入数字水印信息的视频流媒体通过网络方式传输至客户端，由客户端解析所述嵌入的数字水印信息。

3.如权利要求2所述的数字水印信息嵌入方法，其特征在于，还包括步骤：

所述客户端按照数字水印信息的内容和包含的指令从客户端采集各类信息，并反馈给相应的中心服务器或服务器集群。

 4.如权利要求1所述的数字水印信息嵌入方法，其特征在于，所述关键位置是在视频主帧与其相邻的视频差量帧之间的位置，或者在任意两个相邻的视频差量帧之间的位置。

5.如权利要求1至4任一权利要求所述的数字水印信息嵌入方法，其特征在于，所述关键位置是在视频差量帧在前而视频主帧在后之间的位置。

6.如权利要求1至4任一权利要求所述的数字水印信息嵌入方法，其特征在于，所述数字水印信息模拟的视频帧为视频差量帧。

7.如权利要求1至4任一权利要求所述的数字水印信息嵌入方法，其特征在于，所述选择的需要嵌入数字水印信息的关键位置是连续的，或者是随机选择的。

8.如权利要求1至4任一权利要求所述的数字水印信息嵌入方法，其特征在于，所述数字水印信息包含控制操作命令信息和/或描述信息。

9.如权利要求8所述的数字水印信息嵌入方法，其特征在于，所述控制操作命令信息包括采集客户端IP地址信息、采集客户端操作系统信息、采集客户端在线时间信息中的一种或多种；所述描述信息包括视频流媒体内容唯一标识ID、视频流媒体配置信息、服务统计中心地址、流媒体内容的来源、有效时间信息中的一种或多种。

10.一种视频流媒体的数字水印信息嵌入装置，包括：

从视频流媒体的帧中选择至少一个需要嵌入数字水印信息关键位置的选择装置；

将所述数字水印信息模拟成为视频流媒体视频帧的模拟装置；

将所述模拟的视频帧嵌入到所述选择关键位置的嵌入装置；以及

将所述通过嵌入装置嵌入数字水印信息的视频流媒体以网络方式传输至客户端的传输装置。

11.如权利要求10所述的数字水印信息嵌入装置，其特征在于，所述选择装置所选择的关键位置是在视频主帧与其相邻的视频差量帧之间的位置，或者在任意两个相邻的视频差量帧之间的位置。

12.如权利要求10所述的数字水印信息嵌入装置，其特征在于，所述模拟装置将数字水印信息模拟的视频帧为视频差量帧。

13.如权利要求10至12任一权利要求的数字水印信息嵌入装置，其特征在于，所述数字水印信息包含控制操作命令信息和/或描述信息。

14.如权利要求13所述的数字水印信息嵌入装置，其特征在于，所述控制操作命令信息包括采集客户端IP地址信息、采集客户端操作系统信息、采集客户端在线时间信息中的一种或多种；所述描述信息包括视频流媒体内容唯一标识ID、视频流媒体配置信息、服务统计中心地址、流媒体内容的来源、有效时间信息中的一种或多种。

15.一种视频流媒体的数字水印信息嵌入的系统，包括：

至少一流媒体服务器和一客户端，所述流媒体服务器通过网络方式与客户端连接；

至少一统计中心服务器，该统计中心服务器与所述客户端以网络方式连接；和

所述至少一流媒体服务器将所述数字水印信息模拟成视频帧并嵌入所述视频流媒体关键位置的方法；

所述至少一客户端通过网络传输方式接收所述嵌入数据水印信息的视频流媒体，并解析所述数字水印信息的方法；以及

所述至少一客户端按照数字水印信息的内容和包含的指令从所述客户端采集各类信息，并反馈给所述至少一统计中心服务器的方法。

16.一种视频流媒体的数字水印信息嵌入的系统，包括：

至少一流媒体服务器和一客户端，所述流媒体服务器通过网络方式与客户端连接；

至少一统计中心服务器，该统计中心服务器与所述客户端以网络方式连接；

其中所述流媒体服务器包括从视频流媒体的帧中选择至少一个需要嵌入数字水印信息关键位置的选择装置；将所述数字水印信息模拟成为视频流媒体视频帧的模拟装置；将所述模拟的视频帧嵌入到所述选择关键位置的嵌入装置；以及将所述通过嵌入装置嵌入数字水印信息的视频流媒体以网络方式传输至客户端的传输装置。

17.如权利要求15或16所述的数字水印信息嵌入的系统，其特征在于，所述客户端为特殊客户端，以解析所述数字水印信息，并根据所述数字水印信息的控制命令进行信息采集并向所述统计中心服务器反馈所述采集的信息。

18.如权利要求17所述的数字水印信息嵌入的系统，其特征在于，所述特殊客户端包括数据接收模块、水印信息提取模块、信息采集模块、信息反馈模块和视频播放模块。

Images