CN112347303A - 媒体视听信息流监测监管数据样本及其标注方法 - Google Patents

Abstract

本发明公开了一种媒体视听信息流监测监管数据样本及其标注方法，每一个视听信息流经过监测监管平台，实时采样、标注、转码后衍生出一段多媒体信息流，取名为：视听信息流监测监管数据样本，具体样本格式为：镜头序列前缀以及依次排列在镜头序列前缀后的多个镜头数据，任一个镜头的格式包括镜头前缀以及依次设置在镜头前缀后面的多个关键帧序列；该方案可以建立视听信息流监测监管大数据集(堆、库)，利用大数据分析和机器智能算法对大数据样本进行分析并学习和揭示其中的统计特征和舆论泛起模式(规律)，提高视听信息流监测监管效率。对移动互联网上发布的海量短视频可以建立机器索引和内容分类标准，为提高搜索视频内容提供厚实的技术基础。

Description

媒体视听信息流监测监管数据样本及其标注方法

技术领域

本发明属于广播电视、互联网等媒体数据处理领域，具体涉及一种媒体视听信息流监测监管数据样本及其标注方法。

背景技术

互联网尤其是移动互联网、高速数据处理能力以及高速数据存储和传输能力使得大数据采集成为可能，以此为基础的大数据分析开始应用到各个邻域，成为解决不确定(随机)问题的有力工具和方法。

广播电视、互联网新媒体视听信息流监测监管的大数据是如何的？它是图像中的像素点、还是一帧图像、还是一段视频流？形式如何？

目前广电部尚未有或颁布广播电视、互联网新媒体视听信息流监测监管数据样本的标准，各个国家、省市地方监管部门还是各自为政，依据监管需求和功能，检测图像质量、声音质量、内容安全违规违法事态，之后出相应统计报表；显然，这种方法不能形成大数据，不会有经验的积累，更不会有大数据分析和AI技术的应用基础。

发明内容

本发明所要解决的技术问题是：提供一种媒体视听信息流监测监管数据样本及其标注方法，解决了现有技术中广播电视、互联网新媒体视听信息流监测监管数据没有统一标准，难以形成大数据的问题。

本发明为解决上述技术问题采用以下技术方案：

一种媒体视听信息流监测监管数据样本，所述样本格式定义为：

镜头序列前缀以及依次排列在镜头序列前缀后的多个镜头数据，任一个镜头的格式包括镜头前缀以及依次设置在镜头前缀后面的多个关键帧序列；其中，镜头序列前缀包括镜头数量、帧数、镜头数据属性，镜头前缀包括序列号、时间轴坐标、帧数、镜头属性、镜头内容描述。

镜头数据属性包括时间、内容、名称、节目流出处、有关内容监测报告。

镜头属性包括颜色空间坐标矢量、亮度分布矢量、几何特征点矢量。

镜头内容描述包括语音转文本关键词、画面文字提取识别的关键词、人工输入关键词。

关键帧可以是初始TS流中的I帧、也可以是每间隔一段时间后的抽帧；存储格式为静止图像格式。

媒体视听信息流监测监管数据样本的标注方法，包括如下步骤：

步骤1、计算每帧图像的图像属性特征，首先计算颜色类属性，构成颜色矢量并对其进行标注，然后，计算SIFT_Sobel特征点属性，构成SIFT_Sobel特征矢量并进行标注；

步骤2、镜头聚类分析计算，将一段视听信息媒体流分割成镜头序列；

步骤3、对镜头序列中的每一个镜头进行标注。

步骤1中计算颜色类属性，构成颜色矢量并对其进行标注的具体过程如下：

步骤a、在一帧图像内选择％65左右像素点构成集合，在颜色域内对该集合的像素点进行颜色聚类运算；

步骤b、引入类别数的限制参数C1，引入每个颜色类最少个数的限制参数C2，按最近邻颜色距离规则聚类每一像素点；按最近邻颜色类规则合并颜色类，使得帧内颜色聚类的类别数为C1或小于C1；

步骤c、计算每个颜色类的中心坐标、计算每个颜色类的半径、统计每个颜色类的像素点个数，构成颜色矢量及其标注。

步骤1中计算SIFT_Sobel特征点属性，构成SIFT_Sobel特征矢量并进行标注的具体过程如下：

步骤A、利用基于高斯微分函数来提取图像中不变的特征点，即SIFT特征点；

步骤B、利用高斯平滑和微分求导来计算图像中灰度近似边缘的特征点，即Soble特征点；

步骤C、采用FPGA实现的SIFT_Sobel算子，提取每一帧图像的SIFT_Sobel特征点；

步骤D、将步骤C中的特征点按坐标排序按最近邻规则取Count个点；

步骤E、以步骤D中的Count个点为中心、按窗口W x W、计算亮度平均值，构成SIFT_Sobel特征矢量及其标注。

步骤2中镜头聚类分析计算的具体过程如下：

步骤2.1、根据理论模型和统计经验，建立基于颜色矢量、SIFT_Sobel特征点及亮度分布的图像相似度估计模型；

步骤2.2、将每一帧图像的特征进行聚类分析计算，将一段视听信息媒体流分割成镜头序列。

步骤3中每一个镜头的组成包括：

序列号、时间轴坐标、帧数、图像属性数据表、镜头内容描述；其中，图像属性数据表包括颜色坐标、亮度分布、几何特征，镜头内容描述包括语音转文本关键词、画面文字提取识别的关键词、人工输入关键词。

与现有技术相比，本发明具有以下有益效果：

1、本发明提出的方案可以建立视听信息流监测监管大数据集(堆、库)，利用大数据分析和机器智能算法对大数据样本进行分析并学习和揭示其中的统计特征和舆论泛起模式(规律)，可以提高视听信息流监测监管效率。

2、本发明提出的方案对移动互联网上发布的海量短视频可以建立机器索引和内容分类标准，为提高搜索视频内容提供厚实的技术基础。

3、对移动互联网中的短视频流监测监管需要建立大数据，统一监测监管数据样本格式和存储传输标准，对于互联网的舆论监测、舆论导向掌控具有重大意义。

附图说明

图1为本发明媒体视听信息流监测监管数据样本的标注方法的流程图。

图2为本发明颜色矢量及其标注的格式结构示意图。

图3为本发明SIFT_Sobel特征矢量及其标注的格式结构示意图。

具体实施方式

下面对本发明的结构及工作过程作进一步说明。

本发明提出一种广播电视、互联网新媒体视听信息流监测监管数据样本的格式和标注方法，每一个视听信息流(或CCTV-1 24小时节目流或手机新媒体的一段短视频流)经过监测监管(系统)平台，实时采样、标注、转码后衍生出一段多媒体信息流，取名为：视听信息流监测监管数据样本。

一种媒体视听信息流监测监管数据样本，所述样本格式定义为：

镜头序列前缀以及依次排列在镜头序列前缀后的多个镜头数据，任一个镜头的格式包括镜头前缀以及依次设置在镜头前缀后面的多个关键帧序列；其中，镜头序列前缀包括镜头数量、帧数、镜头数据属性，镜头前缀包括序列号、时间轴坐标、帧数、镜头属性、镜头内容描述。

具体实施例一，

一种媒体视听信息流监测监管数据样本，包括镜头序列前缀以及依次排列在镜头序列前缀后的n个镜头数据，具体格式为：

镜头序列前缀镜头1镜头2镜头3…镜头n；其中，

镜头序列前缀的格式为：镜头数量、帧数、其他镜头数据属性(时间、内容、名称、节目流出处、有关内容监测报告等)；

任意一个镜头的格式定义为：镜头前缀关键帧1关键帧2关键帧3…关键帧k；

镜头前缀的格式为：序列号时间轴坐标帧数镜头属性镜头内容描述；

其中，镜头属性包括颜色空间坐标矢量、亮度分布矢量、几何特征点矢量、运动轨迹；

镜头内容描述包括语音转文本关键词、画面文字提取识别的关键词、人工输入关键词。

关键帧可以是初始TS流中的I帧、也可以是每间隔一段时间后的抽帧(每秒几帧)；存储格式可以为jpeg或其他静止图像格式。

媒体视听信息流监测监管数据样本的标注方法，包括如下步骤：

步骤1、计算每帧图像的图像属性特征，首先计算颜色类属性，构成颜色矢量并对其进行标注，然后，计算SIFT_Sobel特征点属性，构成SIFT_Sobel特征矢量并进行标注；

步骤2、镜头聚类分析计算，将一段视听信息媒体流分割成镜头序列；

步骤3、对镜头序列中的每一个镜头进行标注。

具体实施例二，

媒体视听信息流监测监管数据样本的标注方法，包括如下步骤：

步骤1、计算每帧图像的图像属性特征，首先计算颜色类属性，构成颜色矢量并对其进行标注，然后，计算SIFT_Sobel特征点属性，构成SIFT_Sobel特征矢量并进行标注；其中，颜色矢量及其标注的具体过程如下：

步骤a、在一帧图像内选择％65左右像素点(基于某一规则的感兴趣区域内)构成集合，在颜色域内对该集合的像素点进行颜色聚类运算；颜色空间的坐标系可以是CIE1931为基础的各类颜色表达空间，如：CIE-RGB、YUV、YCbCr、RGB、HSV等；

步骤b、帧内颜色聚类运算：引入一个类别数的限制参数C1(例如：5)，该参数能够防止聚类过程时的类别数无序增长；引入一个每个颜色类最少个数的限制参数C2(例如：7％)，按最近邻颜色距离规则聚类每一像素点；按最近邻颜色类(集合)规则合并颜色类，使得帧内颜色聚类的类别数为C1或小于C1；

步骤c、计算每个颜色类的中心坐标、计算每个颜色类的半径、统计每个颜色类的像素点个数，构成颜色矢量及其标注

{Color1((x,y,z),Radius,count)；Color2((x,y,z),Radius,count)；…ColorC1(…)；}。

计算SIFT_Sobel特征点属性，构成SIFT_Sobel特征矢量并进行标注的具体过程如下：

步骤A、利用基于高斯微分函数来提取图像中对尺度、旋转等不变的特征点，即SIFT特征点；

步骤B、利用高斯平滑和微分求导来计算图像中灰度近似边缘的特征点，即Soble特征点；

步骤C、采用FPGA实现的SIFT_Sobel算子，提取每一帧图像的SIFT_Sobel特征点；

步骤D、将步骤C中的特征点按坐标排序按最近邻规则取Count个点(例如：Count＝23)；

步骤E、以步骤D中的Count个点为中心、按窗口W x W(W可取3或5或7或11)、计算亮度平均值(归一化)Av，构成SIFT_Sobel特征矢量及其标注

{((x1,y1),Av1),…((xc,yc),Avc)}

该矢量表征了图像几何特征内容和亮度分布的属性。

步骤2、镜头聚类分析计算，将一段视听信息媒体流分割成镜头序列；具体过程如下：

步骤2.1、根据理论模型和统计经验，建立基于颜色矢量、SIFT_Sobel特征点及亮度分布的图像相似度估计模型；

步骤2.2、将每一帧图像的特征(颜色矢量、亮度矢量、几何特征矢量)进行聚类分析计算，将一段视听信息媒体流分割成(聚类为)镜头序列。

聚类后的镜头：时间相关、颜色空间相关、亮度分布相关、几何特征相关、内容相关；

是从前一个光学(环境)状态转换到后一个光学(环境)状态转换之间的完整片段。

步骤3、对镜头序列中的每一个镜头进行标注，每一个镜头的组成包括：

序列号、时间轴坐标、帧数、图像属性数据表(段)、镜头内容描述；其中，图像属性数据表(段)包括颜色坐标、亮度分布、几何特征，镜头内容描述包括语音转文本关键词、画面文字提取识别的关键词、人工输入关键词。

以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的部分应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种媒体视听信息流监测监管数据样本，其特征在于：所述样本格式定义为：

镜头序列前缀以及依次排列在镜头序列前缀后的多个镜头数据，任一个镜头的格式包括镜头前缀以及依次设置在镜头前缀后面的多个关键帧序列；其中，镜头序列前缀包括镜头数量、帧数、镜头数据属性，镜头前缀包括序列号、时间轴坐标、帧数、镜头属性、镜头内容描述。

2.根据权利要求1所述的媒体视听信息流监测监管数据样本，其特征在于：镜头数据属性包括时间、内容、名称、节目流出处、有关内容监测报告。

3.根据权利要求1所述的媒体视听信息流监测监管数据样本，其特征在于：镜头属性包括颜色空间坐标矢量、亮度分布矢量、几何特征点矢量。

4.根据权利要求1所述的媒体视听信息流监测监管数据样本，其特征在于：镜头内容描述包括语音转文本关键词、画面文字提取识别的关键词、人工输入关键词。

5.根据权利要求1所述的媒体视听信息流监测监管数据样本，其特征在于：关键帧可以是初始TS流中的I帧、也可以是每间隔一段时间后的抽帧；存储格式为静止图像格式。

6.基于权利要求1至5中任一项所述媒体视听信息流监测监管数据样本的标注方法，其特征在于：包括如下步骤：

步骤1、计算每帧图像的图像属性特征，首先计算颜色类属性，构成颜色矢量并对其进行标注，然后，计算SIFT_Sobel特征点属性，构成SIFT_Sobel特征矢量并进行标注；

步骤2、镜头聚类分析计算，将一段视听信息媒体流分割成镜头序列；

步骤3、对镜头序列中的每一个镜头进行标注。

7.根据权利要求6所述的媒体视听信息流监测监管数据样本的标注方法，其特征在于：步骤1中计算颜色类属性，构成颜色矢量并对其进行标注的具体过程如下：

步骤a、在一帧图像内选择％65左右像素点构成集合，在颜色域内对该集合的像素点进行颜色聚类运算；

步骤b、引入类别数的限制参数C1，引入每个颜色类最少个数的限制参数C2，按最近邻颜色距离规则聚类每一像素点；按最近邻颜色类规则合并颜色类，使得帧内颜色聚类的类别数为C1或小于C1；

步骤c、计算每个颜色类的中心坐标、计算每个颜色类的半径、统计每个颜色类的像素点个数，构成颜色矢量及其标注。

8.根据权利要求6所述的媒体视听信息流监测监管数据样本的标注方法，其特征在于：步骤1中计算SIFT_Sobel特征点属性，构成SIFT_Sobel特征矢量并进行标注的具体过程如下：

步骤A、利用基于高斯微分函数来提取图像中不变的特征点，即SIFT特征点；

步骤B、利用高斯平滑和微分求导来计算图像中灰度近似边缘的特征点，即Soble特征点；

步骤C、采用FPGA实现的SIFT_Sobel算子，提取每一帧图像的SIFT_Sobel特征点；

步骤D、将步骤C中的特征点按坐标排序按最近邻规则取Count个点；

步骤E、以步骤D中的Count个点为中心、按窗口W x W、计算亮度平均值，构成SIFT_Sobel特征矢量及其标注。

9.根据权利要求6所述的媒体视听信息流监测监管数据样本的标注方法，其特征在于：步骤2中镜头聚类分析计算的具体过程如下：

步骤2.1、根据理论模型和统计经验，建立基于颜色矢量、SIFT_Sobel特征点及亮度分布的图像相似度估计模型；

步骤2.2、将每一帧图像的特征进行聚类分析计算，将一段视听信息媒体流分割成镜头序列。

10.根据权利要求6所述的媒体视听信息流监测监管数据样本的标注方法，其特征在于：步骤3中每一个镜头的组成包括：

序列号、时间轴坐标、帧数、图像属性数据表、镜头内容描述；其中，图像属性数据表包括颜色坐标、亮度分布、几何特征，镜头内容描述包括语音转文本关键词、画面文字提取识别的关键词、人工输入关键词。

Images