CN1988669B - 流媒体监播中的数字标记构造及验证方法 - Google Patents

Abstract

本发明的目的在于提供一种数据流媒体监播中的数字标记构造方法和数字标记验证方法，包括以下步骤：1)将帧图像进行分块变换，获得分块集合I₁，I₂，...，I_n；2)按照系统密钥生成伪随机数，对块进行随机分组，序列元素两两一组构成块对<I_i，I_j>；3)将数字标记序列扩展为4n长序列，即m₁，m₂，...，m_4n；再分块的最高频分解系数中，按照每4个分解系数构成一组，每组存储一位标记信息，融合步骤分为组内编码和组间编码；4)进行合成处理。将这种数字标记序列融合于待监视的流媒体数据中用于数字产品的发行和播放，在含有该标记的流媒体被播放或传播过程中，就可以通过检测数据流并提取标记中已编码的信息，确定待监视数据来源，从而实现视/音频产品的认定与跟踪。

Description

流媒体监播中的数字标记构造及验证方法

技术领域

本发明涉及流媒体监播中的数字标记构造方法、数字标记验证方法及流媒体监播系统，特别涉及对视/音频流媒体构造隐藏信息的方法、验证所构造的隐藏信息的方法及能够对流媒体数据构造隐藏信息并进行验证的系统。

背景技术

电视是目前最重要的传播媒体之一，也是最能影响企业形象和消费行为的媒体，有关调查表明，目前中国已有近400座电视台，承载着2,000套节目的制作和播出，每日看电视的人超过10个亿。电视的普及与市场经济的发展，也极大地促进了电视广告产业的发展，目前每年电视媒体广告总投放量已过1,000亿，电视广告收入已经成为各电视台的主要经济来源，即使在多种经营比较发达的电视台，广告收入在全部经营收入中所占的比重也高达90％以上，广告收入已成为电视台赖以生存和发展的经济基础。随着企业广告投入的日益加大，在巨大的经济效益和激烈地广告播放时间竞争面前，广告漏播、断播，剪裁广告内容，改变播放时间、次数等损害广告客户利益的事件时有发生。

面对如此巨大的电视广告投放量，以及剧烈的广告播放时间竞争，对广告监播业务的需求也日趋增大，传统的广告监播业务还停留在人工查看的方式，采用录像/录音机(或硬盘录象机)录制节目并保存，广告监测人员通过回放录音/录像，记录出现的广告信息，这种方式需要大量人力成本，工作效率低、成本高，准确性无法保证，已经逐渐被自动化监播系统所取代。然而，目前所使用的自动监播系统普遍采用音频(视频)特征提取和音频(视频)检索算法加以实现，虽能实现高检测率的存在性监播，但受音频固有特征影响大，易出现误检，特别是面对以秒为单位的广告时间(5-30秒)，在时间精确性、以及首帧检测率上，仍然不能满足电视广告精确计时的要求。本发明将改变被动式的特征提取策略，采用主动性的信息隐藏技术，实现完全准确的检测方式。特别是数字化电视的出现与普及，所带来的音/视频保真度的增加，将更适于这种基于隐藏技术的检测和监视方式。

电影拷贝的播映过程中也存在与此类似的问题，即电影拷贝盗版，目前以网络中的盗版拷贝传播与扩散最为严重，危害也最大，严重影响了知识产权保护与版权保护的实施。此外，在手机彩信、眩铃等特色服务中，也存在着面向版权保护的监播服务需求。目前尚无比较理想的技术能防范这种盗版行为，而采用隐藏技术的保护方案，将跟踪信息预存于电影拷贝中，依靠隐藏技术的不可感知与鲁棒性，实现拷贝盗版的监视与跟踪，必将是一种合理而又有效的电影拷贝监播技术。

发明内容

本发明的目的在于提供一种流媒体监播中的数字标记构造及验证方法，该流媒体监播中的数字标记构造、验证方法及流媒体监播系统通过构造出一种能对特定监视信息进行编码的具有容错性和连续性的数字标记序列，再利用基于信息隐藏的鲁棒数字水印与数字指纹技术，将这种数字标记序列融合于待监视的流媒体数据中用于数字产品的发行和播放，在含有该标记的流媒体被播放或传播过程中，就可以通过检测数据流并提取标记中已编码的信息，确定待监视数据来源，从而实现视/音频产品的认定与跟踪。该方法可用于视/音频流媒体的电视广告监播、电影版权保护、网络视/音频数据监控中，实现对视频、音频、光盘等产品的跟踪与保护，保证跟踪和监播中的准确性、实时性、连续性，并提高数字化产品的监播效率。

本发明的技术方案概述如下：

一种数字标记构造方法，包括以下步骤：

1)抽取待跟踪流媒体的数据帧的步骤，该步骤对流媒体数据进行固定格式的采样和变换，并以帧为单位提取每帧数据；具体包括：将流媒体分解出连续帧图像，对于待嵌入标记序列m₁，m₂，…，m_k；将帧图像进行分块变换，获得分块集合I₁，I₂，…，I_n；

2)编码和构造数字标记序列的步骤，在该步骤中，信息编码算法依据编码参数对跟踪信息进行编码，并根据编码结果构造出检测标记序列；具体包括：按照系统密钥生成伪随机数，对块进行随机分组，保证每组序列元素不重复，序列元素两两一组构成块对<I_i，I_j>；

3)标记融合步骤，该步骤将所述检测标记序列通过融合技术分别依附于已抽取的数据帧中，生成含检测标记序列的数据帧；具体包括：将数字标记序列扩展为4n长序列，即m₁，m₂，…，m_4n；再分块的最高频分解系数中，按照每4个分解系数构成一组，每组存储一位标记信息，融合步骤分为组内编码和组间编码：

组内编码，对分块中的任一组分解系

其中，下标k₁，…，k₄通过生成伪随机数来确定，元素按照压缩标准的门限T_k乘以抗压缩因子，获得量化后的分解系数，采用下述公式获得量化后的分解系数

其中，Round是取整函数，计算这四个整数最低有效位的异或，获得比特值b_i，选择每组4个中保真度最小的一个进行嵌入；

组间编码，对一个块对中对应的两个组，根据待嵌入标记信息m_l，通过修改保真度最小的整数的最低有效位实现标记嵌入；

4)合成可跟踪数据流的步骤，该步骤将含检测标记序列的数据帧合成为可跟踪的数据流，具体包括：反复进行分块嵌入测试，直至所有比特被正确嵌入图像，进行反变换，得到时域内的帧图像，即为输出的含数字标记序列的拷贝。

所述步骤1)将图像进行8×8分块DCT变换。

通过下述计算四个整数最低有效位的异或，获得比特值b_i：

其中，LSB表示求取最低有效位。

合成操作之后进行感知嵌入，实现信息隐藏的不可感知。

采用Watson视觉感知模型求取感知缩放因子，对嵌入后系数进行控制。

一种数字标记验证方法，其步骤包括：

1)抽取待验证流媒体的数据帧的步骤，该步骤对流媒体数据进行固定格式的采样和变换，并以帧为单位提取检测标记；具体包括：待检测帧图像进行变换后提取块，由输入的密钥通过生成伪随机数进行分组，保证每组序列元素不重复，序列元素两两一组构成块对<I_i，I_j>；

2)译码的步骤，具体为分组译码，分别进行组内译码和组间译码：组内译码，对提取块I_i中的任一组分解系

下标k₁，…，k₄通过生成伪随机数来确定，元素

按照压缩标准的门限T_k乘以抗压缩因子获得量化后的分解系数

即

Round是取整函数，再计算这四个整数最低有效位的异或，获得比特值b_i：

组间译码，对一个块对<I_i，I_j>中对应的两个组

和

根据两组量化系数最低比特的异或值大小，确定嵌入标记序列信息；

将分组译码后的结果进行序列合成，得到整个嵌入序列；

3)校验与纠错的步骤，对得到的标记序列进行存在性检验和完整性检测，并进行纠错；

4)比对步骤，将纠错后的标记序列与存储的相应跟踪信息进行比对，如果相似性超过预先设定的可信度，则可判定该流媒体为待跟踪流媒体。

验证数字标记方法中，对得到的标记序列进行存在性检验，存在性检测依靠嵌入强度判定和序列统计特性来实现，针对起始与结束帧，如果未通过检验，则输出非检验帧标志；否则，序列继续完成完整性检验。

验证数字标记方法中，对得到的标记序列进行完整性检测：首先按比例大者去除嵌入中的序列扩展，再采用编码数据中的校验码进行纠错，对纠错后的数据检查格式完整性，如果格式无效，则输出数据无效标志；否则完整性存在，输出检测成功标志，输出该帧序列并提取出隐藏的标记序列。

验证数字标记方法中，对得到的标记序列进行纠错，采用了容错算法，具体步骤为：

9-1)在开始后，在每一标记流长度内，将帧序号按照升序进行排序；

9-2)判断是否出现无效帧号

如果出现无效帧号记入x，则依次将其进行左或右置换，确定出升序较好的一种，并回到步骤9-1)操作；

9-3)对正常的帧序号，检查序列是否已到结尾：

如果没有到结尾返回步骤9-1)；

如果到达结尾，则从头开始顺序搜索无效帧号x；

9-4)发现无效帧号x并在此序号两侧分别搜索到有效序号，将这两个序号相减并减1，获得无效帧个数；

9-5)判断无效帧个数是否等于连续出现的未检测帧数目：

如果无效帧个数不等于连续出现的未检测帧数目，表明出现帧丢失，记录在帧丢失存储器；

如果，无效帧个数等于连续出现的未检测帧数目，则顺序对未检测帧填补帧号，并判断是否到达序列结尾，如果没有到达结尾，继续搜索无效帧号x，如果到达序列结尾则输出连续帧号，并结束运行，输出完整帧序列。

本发明的技术效果在于，所述的数字标记的构造方法能有效构造出可检测的鲁棒性标记序列，达到对流媒体进行监视与跟踪的目的，并采用不可感知的信息融合与隐藏技术，检测标记序列在视/音频媒体中的生存性、稳定性都得到了增强，特别是抗压缩和抗噪声性能显著；其次，将序列编码技术应用于检测标记序列构造中，采用容错编码与译码、概率检测与比对技术，使检测标记序列的抗攻击性能、与验证可靠性都得到增强，检测误警率、漏报率得到很好地控制，对几何失真(旋转、缩放、位移)也具有很好的性能；同时，与一般相关水印中的随机序列不同，所生成的检测标记序列是一种信息编码，保证解码后信息能起到标识客体的作用，能用以解决版权争议、许可权管理和版权监控等问题，为视/音频产品的播放、销售、监控提供一种简单易行的方法，同时，该方法也能够为法庭仲裁提供一定的依据。

上述数字标记验证方法的技术效果在于提供了一种实时的、精确的、可追溯的监播与跟踪功能。当含数字标记的产品混杂在正常数据流中，该功能不仅能准确地区分出该产品，而且能通过标记识别出具体的产品性质，包括来源、种类、所属关系、许可关系等，起到“可追溯”的作用；所谓精确，是指对首帧检测率、末帧检测率、数据流时长的检测准确性；在此基础上，实时性是通过快速提取、译码、校验过程实现的，并可补助于硬件加以实现。

综上所述，本发明的方法和体统提供了较好扩展性和适应性，以满足各种应用要求。在可跟踪的数字流产品种类上，本发明不仅涵盖以视频、音频为主的数据流媒体，而且可采用不同的隐蔽融合技术，将其应用于软件、光盘、文本等媒体的监视中；在保护形式上，检测标记序列的构造与检测技术，即可以应用于如前所述的基于媒体内容的数据嵌入方法，也可以采用基于存储结构的数据隐秘耦合方法；在应用环境上，本方明适用于各种广播电视网络中的广告监播系统构建、以及各种版权管理系统(DRM)的构建，包括：互联网环境下的P2P网络电影下载服务，DVD光盘盗版鉴别、基于无线通信(如手机)的多媒体服务；也可用在录音、摄像产品的设计中，实现对源作品的版权保护。

附图说明

图1是本发明的流媒体监播系统的面向视/音频数据流的实施例的结构示意图；

图2是本发明的流媒体监播方法的检测标记序列编码与嵌入的流程图；

图3是本发明的流媒体监播方法的检测标记序列译码与检测的流程图；

图4是本发明的流媒体监播方法的检测标记序列容错处理的流程图；

图5是本发明的检测标记序列所经受的异常处理与容错处理过程的示意图。

具体实施方式

以下参照附图，详细描述本发明的流媒体监播系统作为电视广告监播系统的最佳实施例。

图1是本发明的流媒体监播系统的面向视/音频数据流的实施例的结构示意图；在本实施例的流媒体监播系统中，针对客户指定监播的电视广告片，首先用媒体标记装置在其视频流中自动执行本发明中的数字标记构造方法，实现待监播广告片的生成，并送至电视台播出，再由流媒体监播系统进行监播。要求能保证不间断、实时地检测出该广告片的播放，并要准确地记录每次播放的起始时间、时间长度等信息，在此基础上，本实施例实现了对播放情况的实况存储、记录、查询、统计等功能。

本发明的流媒体监播系统，包括：信号采集装置20，部署于监播系统前端，用以获取指定格式的数据流媒体，内含调频、搜索与锁定模块210、采样与格式变换模块220，最终输出固定分辨率、采样周期、数据长度等的视/音频数据流；媒体标记装置30，该装置对于来自信号采集装置20的数据流构造出适应不同监播任务的检测标记序列13，并将其标记于流媒体数据文件中，该装置包括：决策编码模块310，该模块针对不同的媒体种类、产品内容、指标要求、和播放方式上的差异，制定编码形式、编码规则和标记策略，并通过编码算法依照编码规则进行编码，输出检测标记序列13；标记融合模块320，该模块依据标记策略将检测标记序列隐藏于待监播的流媒体数据中，以此对流媒体数据进行标记；数据流合成模块330，该步骤将含检测标记序列的数据帧合成为可跟踪的视/音频数据流；内容监视装置40，该内容监视装置40包括：数据流预处理模块410，该模块对流媒体数据进行固定格式的采样和变换，并以帧为单位提取检测标记；信息提取模块430，该模块按照特定的码元编码对检测标记序列进行译码，得到跟踪信息，并由连续获得的跟踪信息构成跟踪信息序列；标记检测模块420，对得到的跟踪信息序列进行校验与纠错，将纠错后的跟踪信息与存储在存储器装置中的相应跟踪信息进行比对，如果相似性超过预先设定的可信度，则可判定该流媒体为待跟踪流媒体。

分类存储装置60，该装置用于将内容监视装置40的检测输出结果与已存储的标记记录进行分析、比较，并将结果存储于特定的数据库中，包括：信息校正模块510，用于根据视/音频数据流信息的连续性，对提取出的信息进行校正与纠错；信息分类模块520，根据已存储的标记记录对校正后检测信息进行检索、识别、分类；记录存储模块530，对上述分类信息进行分类存储；分析报告装置60，该装置支持用户友好界面的监视结果分析、报警、显示、报表输出等功能，该分析报告装置包括：统计分析模块610，用以实现监视记录的查询、统计、分析；信息显示模块620，对用户的监视记录进行分析并输出结果，以及输出报警和图形显示；报告输出模块630，输出用户查询结果的记录打印和分析报表。

待监播流媒体11输入到信号采集装置20中的采样和格式变换模块220，获得指定格式的帧图像序列，其中，格式包括目前常见的MPEG1、MPEG2、MPEG4等；并由媒体标记装置30中的标记决策模块310对系统操作员输入的跟踪信息12进行分析，获得编码形式、编码规则、标记策略；再由信息编码模块320根据这些规则与策略进行编码，获得该广告片的检测标记序列；然后，标记融合模块330将此检测标记序列元素逐一嵌入到信号采集装置20输出的帧图像中，并通过数据流合成装置340的标准视/音频编码器将上述连续帧图像合成出含有视觉不可感知标记的拷贝；最后，将跟踪信息、可检测拷贝等送分类存储装置50中记录存储模块530保存。

上述过程中的检测标记序列含有以下内容：

字段	长度	功能
			数据头Header	8-bit	OxAA开始标志
厂商序号SerialNo	8-bit	厂商序列号

字段	长度	功能
			产品号Product	4-bit	厂商产品号
版本号Version	4-bit	产品版本号
			帧序号FrameNo	16-bit或32-bit	图像帧序号
校验码Verify	16-bit	纠错码
			数据尾Trail	8-bit	0x55结束标志

为了实现以上功能，针对目前的MPEG系列标准，实施例采用分块DCT下的一种水印算法实现检测标记序列的不可感知嵌入，具体方法如下：

从运行时间上考虑，将原始的RGB图像变换到YCbCr图像(4:2:2或4:4:4)，并将检测标记序列(水印/指纹)嵌入于Y域内，这样只须一次水印嵌入，提高了嵌入效率；然后再将YCbCr图像变换RGB图像，使得检测标记序列分布到RGB三色调中，不仅增强检测标记隐藏的鲁棒性，也减少了检测标记的检测时间。

在将流媒体分解出连续帧图像后，嵌入算法采用分块DCT水印算法如图2所示。对于待嵌入检测标记序列m₁，m₂，…，m_k，首先，将图像进行8×8分块DCT变换(步骤3010)，获得分块集合I₁，I₂，…，I_n；其次，按照系统密钥生成伪随机数(步骤3030)，进行分组(步骤3020)，并保证该序列元素不重复，序列元素两两一组构成DCT块对，如<I_i，I_j>；然后进行标记融合步骤3040，如果实施例期望在每个DCT块对中嵌入8bit信息，先将标记序列扩展为4n长序列，即m₁，m₂，…，m_4n，再在8×8分块的32个最高频分解系数中，按照每4个分解系数构成一组，每组存储一位标记信息。具体而言，标记融合步骤3040可分为组内编码(步骤3050)和组间编码(步骤3060)两部分：

a)组内编码(步骤3050)：对分块I_i中的任一组分解系

其中，下标k₁，…，k₄通过生成伪随机数(步骤3030)来确定，元素

按照压缩标准的门限T_k(需乘以抗压缩因子)，获得量化后的分解系数：

$I_{i,k_l}^{\&prime;}=\mathrm{Round}\left(\frac{I_{i,k_l}}{T_{k_l}}\right)$

其中，Round是取整函数。计算这四个整数最低有效位的异或，获得比特值b_i：

$b_i=\underset{l=1}{\overset{4}{\&CirclePlus;}}\mathrm{LSB}\left(I_{i,k_l}^{\&prime;}\right)$

其中，LSB表示求取最低有效位。并选择每组4个中保真度最小的一个进行嵌入。

b)组间编码(步骤3060)：对一个DCT块对<I_i，I_j>中对应的两个组和

根据待嵌入标记信息m_l，通过修改保真度最小的整数的最低有效位实现标记比特嵌入。即若m_l＝1，就不必须使每组异或和满足b_i＝b_j；而若m_l＝0，保证b_i≠b_j，这种关系可表示如下：

$\left\{\begin{array}{cc}{b}_i=b_j& m_l=1\\ b_i\&NotEqual;b_j& m_l=0\end{array}\right.$

编码的结果是得到两组新系数和

。需要说明的是，这种改动量是很小的，仅需要改变两组分解系数中保真度影响最小的那一个系数，即对应的分解系数。

在完成每个8×8分块DCT的嵌入之后，需要对每块进行合成(步骤3070)，合成过程是指反复多次的分块DCT与IDCT嵌入测试，目的是避免量化噪声对嵌入的影响，直至所有比特被正确地嵌入到图像中。

合成操作之后可以补助必要的感知嵌入(步骤3080)阶段，这里采用Watson视觉感知模型求取感知缩放因子，适当地对DCT嵌入后系数进行控制，实现信息隐藏的不可感知。最后进行DCT反变换(IDCT)(步骤3090)，得到时域内的帧图像，即为输出的含检测标记序列的拷贝。

所述的分类存储装置50中保存的信息包括：

字段	长度	功能
			厂商序号SerialNo	8-bit	厂商序列号
产品号Product	4-bit	厂商产品号
			版本号Version	4-bit	产品版本号
编码版本号Encode	8-bit	编码器序号
			帧数FrameNo	32-bit	帧总数
校验码类型ECC	16-bit	纠错码
			嵌入算法号Embed	8-bit	嵌入算法序号
检测算法号Detect	8-bit	检测算法序号
			密钥Key	64-bit	嵌入/检测密钥(DES)
拷贝序号CopyNo	16-bit	拷贝存储序号

对于有线电视网络或互联网(Internet)10中一路待检测的数据流，先将其送入信号采集装置20中的调频、搜索与锁定模块210进行通信信道处理，并由采样与格式变换器220转化为指定格式的帧图像序列；然后，帧图像序列送至内容监视装置40中的数据流预处理模块410，完成图像的扭曲/缩放校正、噪声抑制、帧同步、前后向图像预测识别、图像格式变换(如，将图像从空间域经离散余弦变换(DCT)变换到频域)等预处理；再由标记检测模块420根据检测算法抽取出检测标记序列，如果该检测标记序列有效，则送信息提取模块430由译码算法提取出跟踪信息，输出到分类存储装置50，并启动该装置。

为了实现上述标记检测功能，实施例所采用的检测算法如图3所示。与前述嵌入算法相对应，首先，待检测帧图像进行DCT变换(步骤4010)后提取8×8分块，由输入的密钥通过生成伪随机数(步骤4030)进行分组(步骤4020)，分组后系数完成分组译码(步骤4040)阶段，与嵌入过程相对应，分组译码(步骤4040)分别进行组内译码(步骤4050)和组间译码(步骤4060)：

a)组内译码(步骤4050)：类似于嵌入过程中的组内编码，对分块I_i中的任一组分解系

下标k₁，…，k₄通过生成伪随机数(步骤4030)来确定，元素

按照压缩标准的门限T_k(需乘以抗压缩因子)，获得量化后的分解系数，即再计算这四个整数最低有效位的异或，获得比特值b_i：

$b_i=\underset{l=1}{\overset{4}{\&CirclePlus;}}\mathrm{LSB}\left(I_{i,k_l}^{\&prime;}\right)$

b)组间译码(步骤4060)：对一个DCT块对<I_i，I_j>中对应的两个组和

根据两组量化系数最低比特的异或值大小，确定嵌入信息。即若每组异或和满足b_i＝b_j，则m_l＝1；反之，若有b_i≠b_j，则m_l＝0。这种关系可表示如下：

$m_l=\left\{\begin{array}{cc}1& b_i=b_j\\ 0& b_i\&NotEqual;b_j\end{array}\right.$

经过两次译码后，将每组译码后结果进行序列合成(步骤4070)完成字符串链接与组合，得到整个嵌入序列。对该序列依次进行存在性检验(步骤4075)和完整性检验(步骤4085)，过程如下：

a)存在性检验(步骤4075)：存在性主要针对起始与结束帧，如果未通过检验，则输出非检验帧标志(步骤4080)；否则，序列继续完成完整性检验(步骤4085)，存在性检测依靠嵌入强度判定和序列统计特性来实现，如：统计已检测序列中的0/1比例，无效序列中0/1出现概率均近似0.5；也可直接与首帧数据的不变部分进行比对(数据头Header、数据尾Trail)，满足指定检测门限即为有效。

b)完整性检测(步骤4085)：首先按比例大者去除嵌入中的序列扩展，再采用编码数据中的校验码(Verify)进行纠错，对纠错后的数据检查格式完整性，如果格式无效，则输出数据无效标志(步骤4090)；否则完整性存在，输出检测成功标志(步骤4095)，输出该帧序列并提取出隐藏的检测标记序列。

内容监视装置40将获取的检测标记序列送往分类存储装置50后，先由信息校正器510对隐藏的检测标记序列进行容错、序列化处理，获得完整的跟踪信息；信息分类器520再将该信息与数据库中的广告片记录相比较，确定广告片厂家、帧丢失等信息，并将这些信息以及捕获的广告片片段送记录存储模块530中保存。

视/音频数据流与单帧数据不同之处，在于视/音频数据流在存储上需要经受较为严重的压缩和变换处理，最常见的是：帧交换、帧重复、帧删除、干扰。为了保证检测出的检测标记序列的有效性，需要对其进行容错、序列化处理。在实施例中，根据MPEG压缩算法图像帧频率为25Hz或30Hz。以30Hz为例，虽然协议允许编码自由选择I图像的频率和位置，但一般要保证1秒钟内使用2次I图像，由于I图像中的标记检测通常是无错的，因此，以连续两次I图像为分割提取隐藏标记流，即以15帧左右为提取的标记流长度。在此基础上，可以设定如下的容错处理前提条件：

①连续的重复帧信息个数不多于3；

②连续的交换帧信息个数不大于2，即仅有一次交换发生；

③连续出现未检测数目不大于2。

本实施例所采用的容错算法及其实例分别如图4和图5所示。具体容错算法步骤如下：

首先，在开始(步骤5010)后，在每一标记流长度内，将帧序号按照升序进行排序(步骤5020)；判断是否出现无效帧号(步骤5030)，如果出现无效帧号记入x，则试探性依次将其进行左或右置换(步骤5040)，确定出升序较好的一种，并回到执行帧序列重排序(步骤5020)操作；否则，对正常的帧序号，检查序列是否已到结尾(步骤5050)，如果没有到结尾返回帧序列重排序(步骤5020)，如果到达结尾，则前进到步骤5060，从头开始顺序搜索无效帧号x，并在此序号两侧分别搜索到有效序号(可能含有连续x)，将这两个序号相减并减1，获得无效帧个数(步骤5070)，判断无效帧个数是否等于连续出现的未检测帧数目(步骤5075)，如果无效帧个数不等于连续出现的未检测帧数目，表明出现帧丢失，前进到步骤5080，记录在帧丢失存储器；如果，无效帧个数等于连续出现的未检测帧数目，则顺序对未检测帧填补帧号(步骤5085)，并前进到步骤5090，判断是否到达序列结尾，如果没有到达结尾，返回到步骤5060继续搜索无效帧号x，如果到达序列结尾则前进到步骤5095，输出连续帧号，并结束运行；这样可以恢复帧重复、干扰。

如果容错过程正常结束，该算法输出完整的帧序列。一个实例如图6所示，在图上半部分表示原始帧序列经历了帧交换、帧重复、帧删除、干扰四种处理，下半部分表示容错算法的步骤，可见本发明所提供的算法能够有效除去这四类处理。

如上所述的记录存储模块530中保存的记录为：

对于正常的用户浏览和查询操作，分析报告装置60予以响应。首先，统计分析模块610从分类存储装置中的记录存储模块530中获取相应记录，实现通常的统计分析功能，如，时间汇总，播放频率，误差统计等；再由信息显示模块620进行友好界面的显示输出；根据用户要求，也可由报告输出模块630以图表形式打印输出监播结果。

本发明的方法和体统提供了较好扩展性和适应性，以满足各种应用要求。在可跟踪的产品种类上，本发明不仅涵盖以视频、音频为主的流媒体，而且可采用不同的隐蔽融合技术，将其应用于软件、光盘、文本等媒体的监视中；在保护形式上，检测标记序列的构造与检测技术，即可以应用于如前所述的基于媒体内容的数据嵌入方法，也可以采用基于存储结构的数据隐秘耦合方法；在应用环境上，本方明适用于各种广播电视网络中的广告监播系统构建、以及各种版权管理系统(DRM)的构建，包括：互联网环境下的P2P网络电影下载服务，DVD光盘盗版鉴别；也可用在录音、摄像产品的设计中，实现对源作品的版权保护。

Claims (9)

1.一种数字标记构造方法，其特征在于，包括以下步骤：

1)抽取待跟踪流媒体的数据帧的步骤，该步骤对流媒体数据进行固定格式的采样和变换，并以帧为单位提取每帧数据；具体包括：将流媒体分解出连续帧图像，对于待嵌入标记序列m₁，m₂，…，m_k；将帧图像进行分块变换，获得分块集合I₁，I₂，…，I_n；

2)编码和构造数字标记序列的步骤，在该步骤中，信息编码算法依据编码参数对跟踪信息进行编码，并根据编码结果构造出检测标记序列；具体包括：按照系统密钥生成伪随机数，对块进行随机分组，保证每组序列元素不重复，序列元素两两一组构成块对<I_i，I_j>；

3)标记融合步骤，该步骤将所述检测标记序列通过融合技术分别依附于已抽取的数据帧中，生成含检测标记序列的数据帧；具体包括：将数字标记序列扩展为4n长序列，即m₁，m₂，…，m_4n；在分块的最高频分解系数中，按照每4个分解系数构成一组，每组存储一位标记信息，然后进行组内编码和组间编码：

组内编码，对分块中的任一组分解系其中，下标k₁，…，k₄通过生成伪随机数来确定，元素

按照压缩标准的门限T_k乘以抗压缩因子，获得量化后的分解系数，采用下述公式获得量化后的分解系数

其中，Round是取整函数，计算这四个整数最低有效位的异或，获得比特值b_i，选择每组4个中保真度最小的一个进行嵌入；

组间编码，对一个块对中对应的两个组，根据待嵌入标记信息m_l，通过修改保真度最小的整数的最低有效位实现标记嵌入；

4)合成可跟踪数据流的步骤，该步骤将含检测标记序列的数据帧合成为可跟踪的数据流，具体包括：反复进行分块嵌入测试，直至所有比特被正确嵌入图像，进行反变换，得到时域内的帧图像，即为输出的含数字标记序列的拷贝。

2.如权利要求1所述的数字标记构造方法，其特征在于，所述步骤1)将图像进行8×8分块DCT变换。

3.如权利要求1所述的数字标记构造方法，其特征在于，通过下述公式计算四个整数最低有效位的异或，获得比特值b_i：其中，LSB表示求取最低有效位。

4.如权利要求1所述的数字标记构造方法，其特征在于，合成操作之后进行感知嵌入，实现信息隐藏的不可感知。

5.如权利要求4的所述的数字标记构造方法，其特征在于，采用Watson视觉感知模型求取感知缩放因子，对嵌入后系数进行控制。

6.一种数字标记验证方法，其步骤包括：

1)抽取待验证流媒体的数据帧的步骤，该步骤对流媒体数据进行固定格式的采样和变换，并以帧为单位提取检测标记；具体包括：待检测帧图像进行变换后提取块，由输入的密钥通过生成伪随机数进行分组，保证每组序列元素不重复，序列元素两两一组构成块对<I_i，I_j>；

2)译码的步骤，具体为分组译码，分别进行组内译码和组间译码：

组内译码，对提取块I_i中的任一组分解系下标k₁，…，k₄通过生成伪随机数来确定，元素按照压缩标准的门限T_k乘以抗压缩因子获得量化后的分解系数

即

Round是取整函数，再计算这四个整数最低有效位的异或，获得比特值b_i；

组间译码，对一个块对<I_i，I_j>中对应的两个组

和根据两组量化系数最低比特的异或值大小，确定嵌入标记序列信息；

将分组译码后的结果进行序列合成，得到整个嵌入序列；

3)校验与纠错的步骤，对得到的标记序列进行存在性检验和完整性检测，并进行纠错；

4)比对步骤，将纠错后的标记序列与存储的相应跟踪信息进行比对，如果相似性超过预先设定的可信度，则可判定该流媒体为待跟踪流媒体。

7.如权利要求6的所述的数字标记验证方法，其特征在于，对得到的标记序列进行存在性检验，存在性检测依靠嵌入强度判定和序列统计特性来实现，针对起始与结束帧，如果未通过检验，则输出非检验帧标志；否则，序列继续完成完整性检验。

8.如权利要求6的所述的数字标记验证方法，其特征在于，对得到的标记序列进行完整性检测：首先按比例大者去除嵌入中的序列扩展，再采用编码数据中的校验码进行纠错，对纠错后的数据检查格式完整性，如果格式无效，则输出数据无效标志；否则完整性存在，输出检测成功标志，输出该帧序列并提取出隐藏的标记序列。

9.如权利要求6的所述的数字标记验证方法，其特征在于，对得到的标记序列进行纠错，采用了容错算法，具体步骤为：

9-1)在开始后，在每一标记流长度内，将帧序号按照升序进行排序；

9-2)判断是否出现无效帧号：如果出现无效帧号记入x，则依次将其进行左或右置换，确定出升序较好的一种，并回到步骤9-1)操作，否则执行步骤9-3)；

9-3)对正常的帧序号，检查序列是否已到结尾：如果没有到结尾返回步骤9-1)；如果到达结尾，则从头开始顺序搜索无效帧号x；

9-4)发现无效帧号x并在此序号两侧分别搜索到有效序号，将这两个序号相减并减1，获得无效帧个数；

9-5)判断无效帧个数是否等于连续出现的未检测帧数目：如果无效帧个数不等于连续出现的未检测帧数目，表明出现帧丢失，记录在帧丢失存储器；如果，无效帧个数等于连续出现的未检测帧数目，则顺序对未检测帧填补帧号，并判断是否到达序列结尾，如果没有到达结尾，继续搜索无效帧号x，如果到达序列结尾则输出连续帧号，并结束运行，输出完整帧序列。

Images