CN102647617B - 一种前端装置及在前端实现视频指纹预处理的方法 - Google Patents

Abstract

本发明公开一种前端装置及在前端实现视频指纹预处理的方法，其通过传送流生成单元生成传送流，并将传送流一路传入整合单元，另一路传入视频基本码流获取单元；通过视频基本码流获取单元对传送流解复用，获得视频基本码流，并将视频基本码流传入指纹位置信息添加单元；通过指纹位置信息添加单元将解析出的视频指纹位置信息嵌入到视频基本码流；通过指纹部分编码单元生成指纹部分编码信息；通过整合单元将嵌入视频指纹位置信息的视频基本码流、传送流以及指纹部分编码信息进行复用整合，从而生成新的传送流。本发明降低了终端的工作消耗，减少了终端处理视频指纹的时间。

Description

一种前端装置及在前端实现视频指纹预处理的方法

技术领域

本发明涉及数字电视技术领域，尤其涉及一种前端装置及在前端实现视频指纹预处理的方法。

背景技术

数字技术的不断进步与广泛应用，促进了数字电视媒体行业的迅速发展，利用数字技术对数字电视节目进行摄制、存储、传输以及播放已经相当普及。电视节目的数字化极大地降低了整个行业的物资和人力成本，并且带来了更多的数字化特有的效果。但是，安全问题一直是困扰数字电视节目的一大难题。对数字电视节目的版权持有者来说，每年因为盗版而为其带来了很大的经济损失，数字电视节目的良性发展要求行业内必须具有完善、健全的安全管理机制，否则无法避免盗版现象的发生。尽管数字电视的条件接收技术已很完善，并已经广泛的应用在全球的数字电视系统中，但是该系统仅能对数字电视节目的传输过程进行保护，一旦节目被解密后输出，就将脱离保护，即当数字电视节目的内容最终被合法用户解密后进行录制或者通过摄像机进行翻拍，盗版内容将很容易被拷贝和分发。

为了给解密后的数字电视节目的内容提供进一步的保护、对盗版内容进行追踪并找到盗版的源头，视频数字指纹技术就应运而生了，并且成为当前数字电视相关行业的关注点之一。其中，视频数字指纹简称视频指纹，它是根据授权用户的个人信息生成的某种序列符号，这种携带着用户独有信息的序列号被称为指纹，又因为指纹被嵌入到数字电视节目的视频中，所以称为视频指纹。传统的视频指纹技术是前端将数字视频通过分发网络发给不同的终端用户，在终端不同的用户拥有自己不同的视频指纹，终端将这些视频指纹整合到数字视频(数字电视节目)中后播放给用户。由于不同的用户必然得到不同的视频指纹，那么每个授权用户的版本都会有细微的差别。由于每个用户的视频指纹具有唯一性，当某个授权用户发生盗版行为时，我们就可以通过视频中的视频指纹信息抓住这个恶意盗版者，从而保护数字视频的版权。

传统的视频指纹技术是在终端完成包括视频指纹的预处理及视频指纹嵌入在内的全部视频指纹处理操作，但是，终端的处理器(CPU)仅进行视频、音频解码以及同步播出处理能力就将近饱和，如果再进行视频指纹位置生成和视频指纹编码这些视频预处理操作时，终端的处理器将超负荷工作，从而影响视频播放效率，难以保证视频播放的实时性。

发明内容

针对上述技术问题，本发明的目的在于提供一种前端装置及在前端实现视频指纹预处理的方法，其降低了终端处理视频指纹的复杂度，减少了终端处理视频指纹的时间。

为达到上述目的，本发明是通过以下技术方案来实现的：

一种前端装置，包括：传送流(TS)生成单元、视频基本码流(ES)获取单元、指纹位置信息添加单元、指纹部分编码单元和整合单元；

所述传送流生成单元，用于生成传送流，并将所述传送流一路传入整合单元，另一路传入视频基本码流获取单元；

所述视频基本码流获取单元，与传送流生成单元连接，用于对传入的传送流解复用，获得视频基本码流，并将所述视频基本码流传入指纹位置信息添加单元；

所述指纹位置信息添加单元，与视频基本码流获取单元连接，用于将视频基本码流分为两路，一路进行视频指纹的嵌入位置分析，获得视频指纹位置信息，并将所述视频指纹位置信息嵌入另一路视频基本码流中后传入整合单元；

所述指纹部分编码单元，与整合单元连接，用于生成指纹部分编码信息，并将所述指纹部分编码信息传入整合单元；

所述整合单元，与指纹位置信息添加单元连接，用于将视频基本码流、传送流以及指纹部分编码信息进行复用整合，生成新的传送流。

特别的，所述指纹位置信息添加单元，用于

利用视频解码器对视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息。

特别的，所述指纹位置信息添加单元包括：

条带起始码分析单元，用于分析视频基本码流获取单元传入的视频基本码流，获得所述视频基本码流每帧的帧起始码之后的第一个条带起始码，并将所述条带起始码传入嵌入单元；

指纹位置信息获取单元，用于利用视频解码器对视频基本码流获取单元传入的视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息；

嵌入单元，与条带起始码分析单元及指纹位置信息获取单元连接，用于根据传入的当前帧的视频指纹位置信息以及当前帧的帧起始码之后的第一个条带起始码，将视频指纹位置信息嵌入到视频基本码流中，并将嵌入视频指纹位置信息的视频基本码流传入整合单元。

特别的，所述整合单元具体用于

将嵌入单元传入的视频基本码流取代传送流生成单元传入的传送流中原有的视频基本码流，生成嵌入有视频指纹位置信息的传送流，然后将所述嵌入视频指纹位置信息的传送流与指纹部分编码单元传入的指纹部分编码信息进行复用整合，生成新的传送流。

本发明还公开了一种在前端实现视频指纹预处理的方法，包括如下步骤：

A、传送流生成单元生成传送流，并将所述传送流一路传入整合单元，另一路传入基本码流获取单元；

B、视频基本码流获取单元对传入的传送流解复用，获得视频基本码流，并将所述视频基本码流传入指纹位置信息添加单元；

C、指纹位置信息添加单元将视频基本码流分为两路，一路进行视频指纹的嵌入位置分析，获得视频指纹位置信息，并将所述视频指纹位置信息嵌入另一路视频基本码流中后传入整合单元；

D、指纹部分编码单元生成指纹部分编码信息，并将所述指纹部分编码信息传入整合单元；

E、整合单元将视频基本码流、传送流以及指纹部分编码信息进行复用整合，生成新的传送流。

特别的，所述步骤C中对视频基本码流进行视频指纹的嵌入位置分析具体包括：

利用视频解码器对视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息。

特别的，所述步骤C具体包括：

C1、条带起始码分析单元分析传入的视频基本码流，获得所述视频基本码流每帧的帧起始码之后的第一个条带起始码，并将所述条带起始码传入嵌入单元；

C2、指纹位置信息获取单元利用视频解码器对视频基本码流获取单元传入的视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息；

C3、嵌入单元根据传入的当前帧的视频指纹位置信息以及当前帧的帧起始码之后的第一个条带起始码，将视频指纹位置信息嵌入到视频基本码流中，并将嵌入视频指纹位置信息的视频基本码流传入整合单元。

特别的，所述步骤E具体包括：

E1、整合单元将嵌入单元传入的视频基本码流取代传送流生成单元传入的传送流中原有的视频基本码流，生成嵌入视频指纹位置信息的传送流；

E2、整合单元将所述嵌入视频指纹位置信息的传送流与指纹部分编码单元传入的指纹部分编码信息进行复用整合，生成新的传送流。

本发明通过指纹位置信息添加单元将解析出的视频指纹位置信息嵌入到视频基本码流中，通过指纹部分编码单元生成指纹部分编码信息，通过整合单元将嵌入视频指纹位置信息的视频基本码流、传送流以及指纹部分编码信息进行复用整合，生成新的传送流；降低了终端的工作消耗，减少了终端处理视频指纹的时间，保证了视频播放的实时性。

附图说明

图1为本发明实施例提供的前端装置框图；

图2为本发明实施例提供的在前端实现视频指纹预处理的方法流程图；

图3为本发明实施例提供的添加视频指纹位置信息流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步说明。

请参照图1所示，图1为本发明实施例提供的前端框图。

本实施例中应用于数字电视网络的前端装置包括：传送流生成单元、视频基本码流获取单元、指纹位置信息添加单元、指纹部分编码单元以及整合单元。所述指纹位置信息添加单元包括：条带起始码分析单元、指纹位置信息获取单元以及嵌入单元。

所述传送流生成单元，用于生成传送流，并将所述传送流一路传入整合单元，另一路传入视频基本码流获取单元。其中，所述传送流(TS)是以传送流包为基本单元的一种数据流，其目的是为了在有可能发生严重错误的情况下进行一道或多道程序编码数据的传送和存储。传送流由一道或多道节目组成，每道节目由一个或多个原始流和一些其他流复合在一起，包括视频流、音频流、节目特殊信息流和其他数据包。

传送流生成单元通过视频编码器和打包器将原始视频以及音频处理为打包的基本码流(PES)，再通过传送流复用器将打包的基本码流处理为传送流，并分两路处理所述传送流，一路传入整合单元，另一路传入视频基本码流获取单元。

所述视频基本码流获取单元，与传送流生成单元连接，用于对传入的传送流解复用，获得视频基本码流，并将所述视频基本码流传入指纹位置信息添加单元。其中，所述基本码流(ES)由经视频编码器编码后的视频基本码流以、音频基本码流等数据组成。

对传送流解复用的具体过程如下：解复用器从传送流中解析出打包的视频基本码流，再通过视频解码器对打包的视频基本码流进行处理，获得视频基本码流。

所述指纹位置信息添加单元，与视频基本码流获取单元连接，用于将视频基本码流分为两路，一路进行视频指纹的嵌入位置分析，获得视频指纹位置信息，并将所述视频指纹位置信息嵌入另一路视频基本码流中后传入整合单元。

在接收到视频基本码流后，指纹位置信息添加单元将对传入的视频基本码流分两路进行处理，一路传入条带起始码分析单元，另一路传入指纹位置信息分析单元。

所述条带起始码分析单元，用于分析传入的视频基本码流，获得所述视频基本码流每帧的帧起始码之后的第一个条带起始码，并将所述条带起始码传入嵌入单元。

视频基本码流由若干帧视频基本码流数据构成，每帧视频基本码流数据放置视频指纹的位置位于帧起始码之后的第一个条带起始码之前，为了使嵌入单元能够将视频指纹位置信息中每帧视频指纹位置信息数据精确嵌入到视频基本码流每帧的视频基本码流数据中，就需要对构成视频基本码流的每帧视频基本码流数据进行分析，获取每帧视频基本码流数据帧起始码之后的第一个条带起始码。

所述指纹位置信息获取单元，用于利用视频解码器对传入的视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息。

在接收到视频基本码流后，指纹位置信息获取单元利用添加有指纹位置信息算法的视频解码器对视频基本码流的每帧视频基本码流数据进行视频指纹的嵌入位置分析，获得与每帧视频基本码流数据对应的若干帧视频指纹位置数据，所述若干帧视频位置数据构成视频指纹位置信息。在数字电视网络中，如果要在视频基本码流中嵌入视频指纹，终端首先需要获取视频指纹位置信息，也即视频指纹嵌入视频基本码流中的位置，然后根据视频基本码流的每帧视频基本码流数据中嵌入的视频指纹位置数据，将视频指纹嵌入到原始视频中。

所述嵌入单元，与条带起始码分析单元及指纹位置信息获取单元连接，用于根据传入的当前帧的视频指纹位置信息以及当前帧的帧起始码之后的第一个条带起始码，将视频指纹位置信息嵌入到视频基本码流中，并将嵌入视频指纹位置信息的视频基本码流传入整合单元。

嵌入单元根据视频基本码流每帧的帧起始码之后的第一个条带起始码，将每帧视频指纹位置数据嵌入到对应的每帧视频基本码流数据中，并以保留位起始码开头，其中，所述保留位与视频指纹位置信息位于帧起始码之后，第一个条带起始码之前。

所述指纹部分编码单元，与整合单元连接，用于根据发行量及共谋数进行编码，生成指纹部分编码信息，并将指纹部分编码信息传入整合单元，其中，所述发行量是指终端需要所述原始视频的用户数量，所述共谋数是指嵌入视频指纹后的原始视频能够承受共谋攻击的最大数量。

盗版用户在发布数字视频之前可能对数字视频做出各种攻击，希望抹去能够标识自己的视频指纹，而共谋攻击就是常用的一种攻击方式。共谋攻击是指参与共谋的用户利用嵌入了不同视频指纹的拷贝生成一份新的拷贝，从而使新拷贝中提取出的视频指纹是一个无效的数字指纹或是无辜用户的视频指纹。

为了在一定程度上防止共谋攻击，指纹部分编码单元将根据共谋数以及终端的用户的数量进行编码，生成指纹部分编码信息，然后，通过整合单元将指纹部分编码信息整合到传送流中，当传送流传入终端后，终端将根据用户信息以及传送流中的指纹部分编码信息再次进行编码，最终生成能够唯一标识用户的视频指纹。

所述整合单元，与指纹位置信息添加单元连接，用于将视频基本码流、传送流以及指纹部分编码信息进行复用整合，生成新的传送流。

在接收到嵌入单元传入的视频基本码流、传送流生成单元传入的传送流以及指纹部分编码单元传入的指纹部分编码信息后，整合单元将用嵌入单元传入的视频基本码流替换掉传送流中原有的视频基本码流，生成嵌入视频指纹位置信息的传送流，然后，将所述嵌入视频指纹位置信息的传送流与指纹部分编码信息进行复用整合，生成新的传送流。

请参照图2所示，图2为本发明实施例提供的在前端实现视频指纹预处理的方法流程图。

本实施例中在前端实现视频指纹预处理的方法包括如下步骤：

步骤S201、传送流生成单元生成传送流，并将所述传送流一路传入整合单元，另一路传入视频基本码流获取单元。

传送流生成单元通过视频编码器和打包器将原始视频以及音频处理为打包的基本码流，再通过传送流复用器将打包的基本码流处理为传送流，并分两路处理所述传送流，一路传入整合单元，另一路传入视频基本码流获取单元。

步骤S202、视频基本码流获取单元对传入的传送流解复用，获得视频基本码流，并将所述视频基本码流传入指纹位置信息添加单元。

对传送流解复用的具体过程如下：解复用器从传送流中解析出打包的视频基本码流，再通过视频解码器对打包的视频基本码流进行处理，获得视频基本码流。

步骤S203、指纹位置信息添加单元将视频基本码流分为两路，一路进行视频指纹的嵌入位置分析，获得视频指纹位置信息，并将所述视频指纹位置信息嵌入另一路视频基本码流中后传入整合单元。

如图3所示，具体处理过程如下：

步骤S2031、条带起始码分析单元分析传入的视频基本码流，获得所述视频基本码流每帧的帧起始码之后的第一个条带起始码，并将所述条带起始码传入嵌入单元。

视频基本码流由若干帧视频基本码流数据构成，每帧视频基本码流数据放置视频指纹的位置位于帧起始码之后的第一个条带起始码之前，为了使嵌入单元能够将视频指纹位置信息中每帧视频指纹位置信息数据精确嵌入到视频基本码流每帧的视频基本码流数据中，就需要对构成视频基本码流的每帧视频基本码流数据进行分析，获取每帧视频基本码流数据帧起始码之后的第一个条带起始码。

步骤S2032、指纹位置信息获取单元利用视频解码器对传入的视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息。

在接收到视频基本码流后，指纹位置信息获取单元利用添加有指纹位置信息算法的视频解码器对视频基本码流的每帧视频基本码流数据进行视频指纹的嵌入位置分析，获得与每帧视频基本码流数据对应的若干帧视频指纹位置数据，所述若干帧视频位置数据构成视频指纹位置信息。在数字电视网络中，如果要在视频基本码流中嵌入视频指纹，终端首先需要获取视频指纹位置信息，也即视频指纹嵌入视频基本码流中的位置，然后根据视频基本码流的每帧视频基本码流数据中嵌入的视频指纹位置数据，将视频指纹嵌入到对应的视频基本码流数据中。

步骤S2033、嵌入单元根据传入的帧起始码及条带起始码，将视频指纹位置信息嵌入到视频基本码流中，并将嵌入视频指纹位置信息的视频基本码流传入整合单元。

嵌入单元根据传入的帧起始码及条带起始码将每帧视频指纹位置数据嵌入到对应的每帧视频基本码流数据的保留位中，其中，所述保留位与视频指纹位置信息位于帧起始码之后，条带起始码之前。

步骤S204、指纹部分编码单元根据发行量及共谋数进行编码，生成指纹部分编码信息，并将所述指纹部分编码信息传入整合单元，其中，所述发行量是指终端需要所述原始视频的用户数量，所述共谋数是指嵌入视频指纹后的原始视频能够承受共谋攻击的最大数量。

指纹部分编码单元根据预设的参与共谋攻击的用户数量以及终端的用户的数量进行编码，生成指纹部分编码信息，然后，通过整合单元将指纹部分编码信息整合到传送流中，当传送流传入终端后，终端将根据用户信息以及传送流中的指纹部分编码信息再次进行编码，最终生成能够唯一标识用户的视频指纹。

步骤S205、整合单元将视频基本码流、传送流以及指纹部分编码信息进行复用整合，生成新的传送流。

在接收到嵌入单元传入的视频基本码流、传送流生成单元传入的传送流以及指纹部分编码单元传入的指纹部分编码信息后，整合单元将用嵌入单元传入的视频基本码流替换掉传送流中原有的视频基本码流，生成嵌入视频指纹位置信息的传送流，然后，将所述嵌入视频指纹位置信息的传送流与指纹部分编码信息进行复用整合，生成新的传送流。

本发明在前端完成视频指纹位置信息的嵌入以及指纹部分编码信息的生成，降低了终端的工作消耗，减少了终端处理视频指纹的时间，保证了视频播放的效率和实时性。

上述仅为本发明的较佳实施例及所运用技术原理，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (8)

1.一种前端装置，其特征在于，包括：传送流(TS)生成单元、视频基本码流(ES)获取单元、指纹位置信息添加单元、指纹部分编码单元和整合单元；

所述传送流生成单元，用于生成传送流，并将所述传送流一路传入整合单元，另一路传入视频基本码流获取单元；

所述视频基本码流获取单元，与传送流生成单元连接，用于对传入的传送流解复用，获得视频基本码流，并将所述视频基本码流传入指纹位置信息添加单元；

所述指纹位置信息添加单元，与视频基本码流获取单元连接，用于将视频基本码流分为两路，一路进行视频指纹的嵌入位置分析，获得视频指纹位置信息，并将所述视频指纹位置信息嵌入另一路视频基本码流中后传入整合单元；

所述指纹部分编码单元，与整合单元连接，用于根据终端需要原始视频的用户数量及共谋数进行编码，生成指纹部分编码信息，并将所述指纹部分编码信息传入整合单元；

所述整合单元，与指纹位置信息添加单元连接，用于将视频基本码流、传送流以及指纹部分编码信息进行复用整合，生成新的传送流。

2.根据权利要求1所述的前端装置，其特征在于，所述指纹位置信息添加单元，用于

利用视频解码器对视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息。

3.根据权利要求2所述的前端装置，其特征在于，所述指纹位置信息添加单元包括：

条带起始码分析单元，用于分析视频基本码流获取单元传入的视频基本码流，获得所述视频基本码流每帧的帧起始码之后的第一个条带起始码，并将所述条带起始码传入嵌入单元；

指纹位置信息获取单元，用于利用视频解码器对视频基本码流获取单元传入的视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息；

嵌入单元，与条带起始码分析单元及指纹位置信息获取单元连接，用于根据传入的当前帧的视频指纹位置信息以及当前帧的帧起始码之后的第一个条带起始码，将视频指纹位置信息嵌入到视频基本码流中，并将嵌入视频指纹位置信息的视频基本码流传入整合单元。

4.根据权利要求3所述的前端装置，其特征在于，所述整合单元具体用于

将嵌入单元传入的视频基本码流取代传送流生成单元传入的传送流中原有的视频基本码流，生成嵌入有视频指纹位置信息的传送流，然后将所述嵌入视频指纹位置信息的传送流与指纹部分编码单元传入的指纹部分编码信息进行复用整合，生成新的传送流。

5.一种在前端实现视频指纹预处理的方法，其特征在于，包括如下步骤：

A、传送流生成单元生成传送流，并将所述传送流一路传入整合单元，另一路传入基本码流获取单元；

B、视频基本码流获取单元对传入的传送流解复用，获得视频基本码流，并将所述视频基本码流传入指纹位置信息添加单元；

C、指纹位置信息添加单元将视频基本码流分为两路，一路进行视频指纹的嵌入位置分析，获得视频指纹位置信息，并将所述视频指纹位置信息嵌入另一路视频基本码流中后传入整合单元；

D、指纹部分编码单元根据终端需要原始视频的用户数量及共谋数进行编码，生成指纹部分编码信息，并将所述指纹部分编码信息传入整合单元；

E、整合单元将视频基本码流、传送流以及指纹部分编码信息进行复用整合，生成新的传送流。

6.根据权利要求5所述的在前端实现视频指纹预处理的方法，其特征在于，所述步骤C中对视频基本码流进行视频指纹的嵌入位置分析具体包括：

利用视频解码器对视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息。

7.根据权利要求6所述的在前端实现视频指纹预处理的方法，其特征在于，所述步骤C具体包括：

C1、条带起始码分析单元分析传入的视频基本码流，获得所述视频基本码流每帧的帧起始码之后的第一个条带起始码，并将所述条带起始码传入嵌入单元；

C2、指纹位置信息获取单元利用视频解码器对视频基本码流获取单元传入的视频基本码流进行视频指纹的嵌入位置分析，获得视频指纹位置信息；

C3、嵌入单元根据传入的当前帧的视频指纹位置信息以及当前帧的帧起始码之后的第一个条带起始码，将视频指纹位置信息嵌入到视频基本码流中，并将嵌入视频指纹位置信息的视频基本码流传入整合单元。

8.根据权利要求7所述的在前端实现视频指纹预处理的方法，其特征在于，所述步骤E具体包括：

E1、整合单元将嵌入单元传入的视频基本码流取代传送流生成单元传入的传送流中原有的视频基本码流，生成嵌入视频指纹位置信息的传送流；

E2、整合单元将所述嵌入视频指纹位置信息的传送流与指纹部分编码单元传入的指纹部分编码信息进行复用整合，生成新的传送流。