CN101299690A - 一种多媒体内容的监测方法、系统及装置 - Google Patents

Abstract

本发明实施例公开了一种多媒体内容监测系统，该系统包括：内容获取模块，用于获取待监测的多媒体相关实体上的多媒体内容；指纹生成模块，用于计算所述多媒体内容的内容指纹数据；指纹存储模块，用于存储样本内容指纹数据；指纹匹配模块，用于将所述内容指纹数据与所述指纹存储模块中的样本内容指纹数据进行匹配；执行模块，用于根据所述指纹匹配模块的匹配结果执行预设的操作。本发明实施例还公开了一种多媒体内容监测的方法及装置。采用本发明，能够达到对多媒体相关实体上的多媒体内容进行有效监测的目的。

Description

一种多媒体内容的监测方法、系统及装置

技术领域

本发明涉及多媒体应用领域，尤其涉及一种多媒体内容的监测方法、系统及装置。

背景技术

随着互联网带宽的快速增长，音视频等多媒体业务逐渐成为互联网主要的业务之一。

在多媒体业务的发展过程中，出现了对发布、使用或传输多媒体内容的主体，如音视频共享网站、内容分发网络(CDN)的CDN服务节点等进行监测，并在监测到某主体发布、使用或传输具有一定特征的多媒体内容时，进行相关操作的需求，比如，音视频共享网站需要监测网民上传的不健康或非法的多媒体内容，并将不健康或非法的多媒体内容进行过滤删除；版权保护系统需要监测其他主体对正版多媒体内容的使用情况进而据此进行计费等相关操作。

目前，音视频共享网站主要采用人工审查的方式来保证上传内容的健康性，但面对互联网上的海量信息，人工审查的方式难免存在漏洞，使一些非法或不健康的多媒体内容得以在网上流传，从而产生很大的负面影响。

传统的版权保护采用DRM或数字水印技术，将原始多媒体内容进行加密或嵌入水印，使用该多媒体内容的主体需要经过版权拥有者的授权，才能使用经过加密或嵌入水印的多媒体内容。然而，这种被动的以授权方式来进行版权保护的方式会带来多媒体文件处理的互操作性问题，互操作性问题使得各种版权保护系统没有得到大规模的应用和普及。为了在避免互操作性问题的前提下实现版权保护，需要采取主动的对其他主体使用正版多媒体内容的情况进行监测的方式来进行版权保护。

然而，现有技术中并没有给出对多媒体内容进行有效监测的方案，使得互联网上多媒体内容的健康性和合法性的不到保证，版权保护系统不能够得到大规模的应用和普及。

发明内容

本发明实施例提供一种多媒体内容的监测方法、系统及装置，用以解决现有技术中无法对多媒体内容进行有效监测的问题。

本发明实施例提供一种多媒体内容的监测方法，该方法包括：

获取待监测的多媒体相关实体上的多媒体内容；

计算所述多媒体内容的内容指纹数据；

将所述内容指纹数据与保存的样本内容指纹数据进行匹配，并根据匹配结果执行预设的操作。

本发明实施例提供一种多媒体内容监测系统，该系统包括：

内容获取模块，用于获取待监测的多媒体相关实体上的多媒体内容；

指纹生成模块，用于计算所述多媒体内容的内容指纹数据；

指纹存储模块，用于存储样本内容指纹数据；

指纹匹配模块，用于将所述内容指纹数据与所述指纹存储模块中的样本内容指纹数据进行匹配；

执行模块，用于根据所述指纹匹配模块的匹配结果执行预设的操作。

本发明实施例提供一种多媒体内容的监测装置，该装置包括：

内容获取单元，用于获取待监测的多媒体相关实体上的多媒体内容；

指纹生成单元，用于计算所述多媒体内容的内容指纹数据；

指纹存储单元，用于存储样本内容指纹数据；

指纹匹配单元，用于将所述指纹生成单元计算得到的内容指纹数据与所述指纹存储单元中的样本内容指纹数据进行匹配；

执行单元，用于根据所述指纹匹配单元的匹配结果执行预设的操作。

本发明中，通过获取待监测的多媒体相关实体上的多媒体内容，并将该多媒体内容的内容指纹数据与保存的样本内容指纹数据进行匹配，然后根据匹配结果执行预设的操作，实现了对多媒体相关实体上的多媒体内容进行监测的目的。

附图说明

图1为本发明实施例提供的系统结构示意图；

图2为本发明实施例提供的一种样本内容指纹数据的获得方法流程示意图；

图3为本发明实施例提供的另一种样本内容指纹数据的获得方法流程示意图；

图4为本发明实施例提供的系统为外部视频共享网站发布系统服务的流程示意图；

图5为本发明实施例提供的系统为外部版权管理系统服务的流程示意图；

图6为本发明实施例提供的系统为外部互联网内容健康性监测系统服务的流程示意图；

图7为本发明实施例提供的方法流程示意图；

图8为本发明实施例提供的装置结构示意图。

具体实施方式

为了有效的对多媒体内容的发布、使用或传输进行监测，以保证多媒体内容的健康性、合法性、以及进行有效的版权保护，本发明实施例提供一种多媒体内容监测系统，本系统从待监测的多媒体相关实体上获取多媒体内容，将该多媒体内容的内容指纹数据与指纹数据库中的样本内容指纹数据进行匹配，并根据匹配结果执行设定的操作。多媒体相关实体是指对发布、使用或传输多媒体内容的实体，包括但不限于：音视频共享网站、内容分发网络(CDN)的CDN服务节点。

多媒体内容的内容指纹数据是指可以标识该多媒体内容的高度压缩的信息，该信息是通过抽取多媒体内容的内容特征而得到的。内容指纹数据具有如下两个特征：

其一，鲁棒性：对多媒体内容的编辑处理不会影响该多媒体内容的内容指纹数据，比如，对原始音频的音调、音速进行改变，或对原始视频的帧率、分辨率等放大、缩小、旋转后所生成的新的音频或视频，其内容指纹数据与原始音频或视频的内容指纹数据相比不会发生变化；

其二，分辨性：内容接近但并不相同的多媒体内容的内容指纹数据不相同，比如两段同一个人在不同时期讲话所录制的节目的内容指纹数据并不相同。

参见图1，本发明实施例提供的多媒体内容监测系统，具体包括：

内容获取模块10，用于获取待监测的多媒体相关实体上的多媒体内容；

指纹生成模块11，用于计算内容获取模块获取的多媒体内容的内容指纹数据；

指纹存储模块12，用于存储样本内容指纹数据；

指纹匹配模块13，用于将指纹生成模块计算得到的内容指纹数据与指纹存储模块中的样本内容指纹数据进行匹配；

执行模块14，用于根据指纹匹配模块的匹配结果执行预设的操作。

本系统中，内容获取模块在获取待监测的多媒体相关实体上的多媒体内容时，可以获取多媒体内容的全部数据，为了减少数据传输量，也可以获取多媒体内容的部分数据。具体获取方式有如下两种方式：

一种是由外部实体通过本系统提供的接口将待监测的多媒体相关实体上的多媒体内容送入本系统，本系统中的内容获取模块直接从接收到的数据中获取多媒体内容；

另一种是外部实体通过本系统提供的接口将待监测的多媒体相关实体的地址信息送入本系统，本系统中的内容获取模块根据该地址信息下载多媒体相关实体上的多媒内容。相应的，该系统进一步包括：接口模块15，用于接收外部实体输入的待监测的多媒体相关实体的地址信息；内容获取模块10则根据接口模块接收到的地址信息下载待监测的多媒体相关实体上的多媒体内容。该地址信息可以是统一资源定位(URL)标识等。

本系统中，指纹生成模块计算多媒体内容的内容指纹数据，可以采用如下现有的方法：

对音频内容来说，其内容指纹数据可以通过将音频内容分割成帧，然后对每一帧的音频数据变换或匹配到某种模型，再抽取变换系数或者模型参数，变换系数或者模型参数包括：傅立叶系数、线性预测系数(LPC)、Mel倒谱系数(MFCC)等，最后对这些系数使用隐马尔科夫模型(HMM)以及量化进一步压缩以得到该音频内容的内容指纹数据。

对视频内容来说，其内容指纹数据的生成主要有两种方法：基于全局统计信息的方法和基于局部信息的方法。前者包括如抽取时间域上镜头切换的特征、将视频分块然后计算帧内块间以及帧间的亮度/色度差、将视频分块然后计算帧内块间以及帧间的亮度/色度大小并排序，以及基于视频帧颜色直方图的特征抽取等方法。基于局部信息的方法主要是抽取视频内容中的一些特殊点的信息，比如基于兴趣点、基于亮度质点运动方向等的特征抽取方法。

本系统中，指纹存储模块可以数据库形式实现，数据库可以基于现有的关系型数据库建立，也可以采用普通文件系统或者采用其他自定义的数据格式。指纹存储模块中存储的样本内容指纹数据可以通过如下两种方式获得：

第一种，如图2所示，外部实体将获得的样本内容指纹数据输入指纹存储模块，外部实体获得样本内容指纹数据的方式可以为：首先，外部实体从本系统或其他系统下载媒体指纹计算客户端程序；然后，使用媒体指纹计算客户端程序计算样本多媒体内容的内容指纹数据；接着，将计算得到的内容指纹数据通过本系统提供的接口送入本系统；最后，本系统将接收到的内容指纹数据作为样本内容指纹数据存入指纹存储模块。外部实体可以通过本系统提供的接口查询指纹存储模块中的保存结果。

第二种，如图3所示，首先，外部实体通过本系统提供的接口将样本多媒体内容的地址信息送入本系统；然后，本系统根据接收到的样本多媒体内容的地址信息，下载样本多媒体内容；接着，计算下载到的样本多媒体内容的内容指纹数据；最后，将计算得到的内容指纹数据作为样本内容指纹数据存入指纹存储模块。外部实体可以通过本系统提供的接口查询指纹存储模块中的保存结果。相应的，内容获取模块10进一步用于：获取样本多媒体内容；指纹生成模块11进一步用于：计算样本多媒体内容的内容指纹数据，将该内容指纹数据作为样本内容指纹数据保存在指纹存储模块中。

本系统中，指纹匹配模块在将指纹生成模块计算得到的内容指纹数据与指纹存储模块中的样本内容指纹数据进行匹配时，匹配方法可以是，将计算得到的内容指纹数据与指纹存储模块中的样本内容指纹数据逐一进行比较，比较时计算两个内容指纹数据的相似度(距离)，根据计算结果判断这两个内容指纹数据是否匹配成功；匹配方法还可以是，利用指纹存储模块建立的索引查找与计算得到的内容指纹数据较为接近的样本内容指纹数据，然后再将计算得到的内容指纹数据与查找到的样本内容指纹数据逐一进行比较，比较时计算两个内容指纹数据的相似度(距离)，根据计算结果判断这两个内容指纹数据是否匹配成功。

本系统中，执行模块根据指纹匹配模块的匹配结果执行预设的操作，具体可以是，在指纹匹配模块匹配成功时执行预设的操作，或者，在指纹匹配模块匹配失败时执行预设的操作。预设的操作包括以下操作中的一个操作或任意多个操作的组合：通过本系统的接口向外部实体发布匹配结果和/或发出告警通知、阻止多媒体相关实体对多媒体内容进行传输、在多媒体相关实体删除多媒体内容。

本文中提及的外部实体包括但不限于：用户终端、音视频共享网站发布系统、版权管理系统、互联网内容健康性监测系统等。下面以音视频共享网站发布系统、版权管理系统和互联网内容健康性监测系统为例说明本系统的工作流程：

实施例一：

本实施例中，如图4所示，多媒体内容监测系统为音视频共享网站发布系统提供服务，具体包括如下步骤：

步骤S01：视频共享网站发布系统接收网民等上传的视频文件；

步骤S02：视频共享网站发布系统将接收到的视频文件上传给多媒体内容监测系统进行健康性判别；

步骤S03：多媒体内容监测系统的内容获取模块接收视频共享网站发布系统上传的视频文件，指纹生成模块计算该视频文件的内容指纹数据，指纹匹配模块将该内容指纹数据与指纹存储模块中的样本内容指纹数据进行匹配，并将匹配结果送给执行模块，执行模块根据匹配结果生成该视频文件是否健康的判断结果；

步骤S04：将判断结果发送给视频共享网站；

步骤S05：视频共享网站根据收到的判断结果决定将该视频文件进行删除或发布。

实施例二：

本实施例中，如图5所示，多媒体内容监测系统为版权管理系统提供服务，具体包括如下步骤：

步骤S11：版权管理系统将版权拥有者进行了版权登记的正版多媒体内容的地址信息上传给多媒体内容监测系统；

步骤S12：多媒体内容监测系统的接口模块接收版权管理系统上传的地址信息，内容获取模块按照该地址信息下载到正版多媒体内容，指纹生成模块计算该正版多媒体内容的内容指纹数据，并将计算得到的内容指纹数据作为样本内容指纹数据存入指纹存储模块；

步骤S13：多媒体内容监测系统的内容获取模块获取互联网中待监测网站上最新出现的多媒体内容；

步骤S14：指纹生成模块计算该多媒体内容的内容指纹数据，指纹匹配模块将该内容指纹数据与指纹存储模块中的内容指纹数据进行匹配，并将匹配结果送入执行模块，执行模块根据匹配结果生成包含待监测网站对正版多媒体内容使用信息的版权使用情况报告；

步骤S15：将版权使用情况报告发送给版权管理系统；

步骤S16：版权管理系统将版权使用情况报告转发给版权拥有者和/或根据该报告对待监测网站进行计费等。

实施例三：

本实施例中，如图6所示，多媒体内容监测系统为互联网内容健康性监测系统提供服务，具体包括如下步骤：

步骤S21：互联网内容健康性监测系统将互联网管理部门输入的不健康多媒体内容上传给多媒体内容监测系统；

步骤S22：多媒体内容监测系统的内容获取模块接收到互联网内容健康性监测系统上传的不健康多媒体内容，指纹生成模块计算该不健康多媒体内容的内容指纹数据，并将计算得到的内容指纹数据作为样本内容指纹数据存入指纹存储模块；

步骤S23：多媒体内容监测系统的内容获取模块获取互联网中待监测网站上最新出现的多媒体内容；

步骤S24：指纹生成模块计算该多媒体内容的内容指纹数据，指纹匹配模块将该内容指纹数据与指纹存储模块中的内容指纹数据进行匹配，并将匹配结果送入执行模块，执行模块根据匹配结果生成包含待监测网站对不健康多媒体内容使用信息的内容健康情况报告；

步骤S25：将内容健康情况报告发送给互联网内容健康性监测系统；

步骤S26：互联网内容健康性监测系统将报告转发给互联网管理部门，互联网管理部门可以根据该报告采取相应的措施。

关于本系统中各个模块的设置，本系统中的接口模块、内容获取模块和指纹生成模块可以设置在同一物理实体中，指纹存储模块、指纹匹配模块和执行模块则分别设置在不同的物理实体中。比如，接口模块、内容获取模块和指纹生成模块设置在一个用户终端中，指纹存储模块、指纹匹配模块和执行模块设置在网络侧不同的服务器中，指纹生成模块生成的内容指纹数据可以通过信息传输网络发送给指纹存储模块。

作为另外一种方式，本系统中的接口模块、内容获取模块、指纹生成模块、指纹存储模块、指纹匹配模块和执行模块可以分布式设置在不同的物理实体中，该物理实体可以是网络侧的服务器，具体可以是内容分发网络(ContentDelivery Network，CDN)中的Cache服务器，本系统作为CDN的一部分，以CDN扩展服务的形式供外部实体使用；本系统中的内容获取模块可以从Cache服务器获取多媒体内容，然后由指纹生成模块计算该多媒体内容的内容指纹数据。

本系统对外部实体所提供的接口可以采用WebService接口，也可以采用其他接口。本系统中的内容获取模块和执行模块通过该接口与外部进行通信。

外部实体在使用本系统提供的服务时，需要首先向本系统申请多媒体内容监测账号，并将样本多媒体内容或该内容的地址信息，以及待监测的多媒体相关实体的地址信息和设定的操作信息送入本系统；本系统直接计算样本多媒体内容的内容指纹数据或在按照地址信息获取样本多媒体内容后计算其内容指纹数据，再将计算得到的内容指纹数据作为样本内容指纹数据进行保存，外部实体可以通过本系统提供的接口查询、增加、删除或修改保存的样本指纹数据；本系统定时按照待监测的多媒体相关实体的地址信息获取待监测的多媒体相关实体上最新出现的多媒体内容，计算该多媒体内容的内容指纹数据，并将该内容指纹数据与保存的样本指纹数据进行匹配，并根据匹配结果执行设定的操作。

参见图7，本发明实施例还提供一种多媒体内容的监测方法，该方法包括以下步骤：

步骤70：获取待监测的多媒体相关实体上的多媒体内容。

这里，获取多媒体内容的具体方法可以是，接收输入的待监测的多媒体相关实体的地址信息，根据该地址信息下载待监测的多媒体相关实体上的多媒体内容；还可以是，直接从接收到的输入数据中获取待监测的多媒体相关实体上的多媒体内容。

步骤71：计算获取到的多媒体内容的内容指纹数据。

步骤72：将计算得到的内容指纹数据与保存的样本内容指纹数据进行匹配，并根据匹配结果执行预设的操作。

这里，保存的样本内容指纹数据通过如下方式获得：

直接从接收到的输入数据中获取样本内容指纹数据；或者，首先，获取样本多媒体内容；然后，计算样本多媒体内容的内容指纹数据，并将该内容指纹数据作为样本内容指纹数据进行保存。获取样本多媒体内容的方法可以是，按照输入的样本多媒体内容的地址信息获取样本多媒体内容，或者直接从接收到的输入数据中获取样本多媒体内容。

根据匹配结果执行预设的操作具体可以是，在指纹匹配成功时执行预设的操作，或者，在指纹匹配失败时执行预设的操作。预设的操作包括以下操作中的一个操作或任意多个操作的组合：向外部实体发布匹配结果和/或发出告警通知、阻止多媒体相关实体对多媒体内容进行传输、在多媒体相关实体删除多媒体内容等。

参见图8，本发明实施例还提供一种多媒体内容的监测装置，该装置具体包括：

内容获取单元80，用于获取待监测的多媒体相关实体上的多媒体内容；

指纹生成单元81，用于计算内容获取单元获取的多媒体内容的内容指纹数据；

指纹存储单元82，用于存储样本内容指纹数据；

指纹匹配单元83，用于将指纹生成单元计算得到的内容指纹数据与指纹存储单元中的样本内容指纹数据进行匹配；

执行单元84，用于根据指纹匹配单元的匹配结果执行预设的操作。

本装置进一步包括：接口单元85，用于接收外部实体输入的待监测的多媒体相关实体的地址信息；内容获取单元80根据接口单元接收到的地址信息下载待监测的多媒体相关实体上的多媒体内容。

内容获取单元80进一步用于：获取样本多媒体内容；指纹生成单元81进一步用于：计算样本多媒体内容的内容指纹数据，将该内容指纹数据作为样本内容指纹数据保存在指纹存储单元中。

综上，本发明的有益效果在于：

本发明实施例提供的方案中，通过获取待监测的多媒体相关实体上的多媒体内容，并将该多媒体内容的内容指纹数据与保存的样本内容指纹数据进行匹配，然后根据匹配结果执行预设的操作，实现了对多媒体相关实体上的多媒体内容进行监测的目的。

本发明实施例提供的系统利用多媒体内容指纹以及指纹匹配查询技术，可以服务于互联网内容审查、版权监视以及互联网内容健康性监视，以解决这些领域中的技术问题，并能够极大地简化这些系统的复杂性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1、一种多媒体内容监测系统，其特征在于，该系统包括：

内容获取模块，用于获取待监测的多媒体相关实体上的多媒体内容；

指纹生成模块，用于计算所述多媒体内容的内容指纹数据；

指纹存储模块，用于存储样本内容指纹数据；

指纹匹配模块，用于将所述内容指纹数据与所述指纹存储模块中的样本内容指纹数据进行匹配；

执行模块，用于根据所述指纹匹配模块的匹配结果执行预设的操作。

2、如权利要求1所述的系统，其特征在于，该系统进一步包括：

接口模块，用于接收外部输入的待监测的多媒体相关实体的地址信息；

所述内容获取模块用于：根据所述地址信息下载待监测的多媒体相关实体上的多媒体内容。

3、如权利要求1所述的系统，其特征在于，所述内容获取模块进一步用于：获取样本多媒体内容；

所述指纹生成模块进一步用于：计算所述样本多媒体内容的内容指纹数据，将所述内容指纹数据作为样本内容指纹数据保存在所述指纹存储模块中。

4、如权利要求1所述的系统，其特征在于，所述执行模块用于：

在所述指纹匹配模块匹配成功时，执行以下操作中的一个操作或任意多个组合的操作：

向外部实体发布匹配结果和/或发出告警通知、阻止所述多媒体相关实体对所述多媒体内容进行传输、在所述多媒体相关实体删除所述多媒体内容。

5、如权利要求4所述的系统，其特征在于，所述外部实体包括：

外部用户终端、版权管理系统、互联网内容健康性监测系统。

6、如权利要求1所述的系统，其特征在于，所述内容获取模块和所述执行模块通过WebService接口与外部进行通信。

7、如权利要求1-5之一所述的系统，其特征在于，该系统中的模块设置在内容分发网络CDN的服务器中。

8、一种多媒体内容的监测方法，其特征在于，该方法包括：

获取待监测的多媒体相关实体上的多媒体内容；

计算所述多媒体内容的内容指纹数据；

将所述内容指纹数据与保存的样本内容指纹数据进行匹配，并根据匹配结果执行预设的操作。

9、如权利要求8所述的方法，其特征在于，该方法进一步包括：

获取样本多媒体内容；

计算所述样本多媒体内容的内容指纹数据，将所述内容指纹数据作为样本内容指纹数据进行保存。

10、如权利要求8所述的方法，其特征在于，所述获取待监测的多媒体相关实体上的多媒体内容包括：

接收输入的待监测的多媒体相关实体的地址信息，根据所述地址信息下载待监测的多媒体相关实体上的多媒体内容；或者，

从接收到的上传数据中获取所述待监测的多媒体相关实体上的多媒体内容。

11、如权利要求8所述的方法，其特征在于，所述预设的操作包括：

发出告警通知、发布匹配结果、阻止所述多媒体相关实体对所述多媒体内容进行传输、在所述多媒体相关实体删除所述多媒体内容中的一个或任意组合。

12、一种多媒体内容的监测装置，其特征在于，该装置包括：

内容获取单元，用于获取待监测的多媒体相关实体上的多媒体内容；

指纹生成单元，用于计算所述多媒体内容的内容指纹数据；

指纹存储单元，用于存储样本内容指纹数据；

指纹匹配单元，用于将所述指纹生成单元计算得到的内容指纹数据与所述指纹存储单元中的样本内容指纹数据进行匹配；

执行单元，用于根据所述指纹匹配单元的匹配结果执行预设的操作。

13、如权利要求12所述的装置，其特征在于，该装置进一步包括：

接口单元，用于接收外部输入的待监测的多媒体相关实体的地址信息；

所述内容获取单元用于，根据所述接口单元接收到的地址信息下载待监测的多媒体相关实体上的多媒体内容。

14、如权利要求12所述的装置，其特征在于，所述内容获取单元进一步用于：获取样本多媒体内容；

所述指纹生成单元进一步用于，计算所述样本多媒体内容的内容指纹数据，将该内容指纹数据作为样本内容指纹数据保存在所述指纹存储单元中。

Images