CN103095995A

CN103095995A - 媒体文件的自动技检方法和系统

Info

Publication number: CN103095995A
Application number: CN2013100081860A
Authority: CN
Inventors: 姚毅; 朱懿; 杨国鹏; 盛少谦; 韩士藤
Original assignee: SHANGHAI SIHUA TECH Co Ltd
Current assignee: Xi'an Sihua Information Technology Co., Ltd
Priority date: 2013-01-09
Filing date: 2013-01-09
Publication date: 2013-05-08
Anticipated expiration: 2033-01-09
Also published as: CN103095995B

Abstract

本发明提供了一种基于Codec的媒体文件自动技检方和系统，支持对系统层、视频、音频、图片及字幕文件进行技检，可通过接口设置来获得内容管理平台传递的技检命令和技审的文件，并通过管理平台下达的判断规则对待检测文件进行审核。审核内容包括以下方面：文件类型、时长、文件长度、MD5、码率、帧率、分辨率、节目信息、音频声道数、采样率、语言、字符集、元数据信息以及是否存在解码错误等。

Description

媒体文件的自动技检方法和系统

技术领域

本发明涉及媒体文件的自动审核，更具体地，涉及基于Codec对媒体文件进行深度技检。

背景技术

媒体文件在电视台播放之前，需要经过政审和技审。政审主要从内容上审核媒体文件是否符合国家相关要求，是否适合在公共媒体上播放。而技审也称技检，主要从技术角度审核媒体文件是否适合播放，包括审核媒体文件是否完整，图像质量是否清晰，是否出现码赛克等问题。目前，技检过程大多依靠人力逐个文件地操作，不仅花费大量的人力和时间，准确性也很难保证。此外，对通用元数据信息的提取也依靠手工录入，效率低下且容易出错。

发明内容

提供本发明内容是为了介绍将在以下具体实施方式中进一步描述的基于Codec的深度技检方法和系统。本发明内容并不旨在标识所要求保护的主题的必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

本发明提供了一种基于Codec的媒体文件自动技检方法，支持对系统层、视频、音频、图片及字幕文件进行技检，可通过接口设置来获得内容管理平台传递的技检命令和技审的文件，并通过管理平台下达的判断规则对待检测文件进行审核。审核内容包括以下方面：文件类型、时长、文件长度、MD5、码率、帧率、分辨率、节目信息、音频声道数、采样率、语言、字符集、元数据信息以及是否存在解码错误等。

根据本发明的一个实施例，提供了一种媒体文件的自动技检方法，包括：接收来自用户输入的技检请求以及技检策略配置；响应于所述技检请求以及所述技检策略配置对所述媒体文件进行自动技检；以及返回技检结果。

根据本发明的又一实施例，提供了一种媒体文件的自动技检系统，包括：管理系统，其接收来自用户输入的技检请求以及技检策略配置并将其发送给技检模块；以及技检模块，其接收来自管理系统的技检请求以及技检策略配置，并且响应于所述技检请求以及所述技检策略配置对所述媒体文件进行技检，并将技检结果返回给所述管理系统。

本发明的技检方法和系统所实现的技术效果包括：全自动文件检查，提高媒体文件检查结果的一致性和准确性，并能发现一些通过人工审核而无法发现的错误；技检格式多样化，同时支持系统层、视频文件、音频文件、图片及字幕信息的检测；可以自动提取节目信息，包括：元数据信息、MD5、视频属性、音频属性、图片类型、字幕信息以及文件本身存在错误时的提示信息。并可按照提示的信息对技检的文件进行归类，便于片源的整理；以及可执行诸如音量检测、静帧检测、黑屏检测之类的深度技检。

附图说明

参考以下附图描述了自动技检方法和系统的各实施例。在各附图中，使用相同的标号来指示相同的特征和组件：

图1是根据本发明的一个实施例的媒体文件技检系统的结构图。

图2是根据本发明的一个实施例的供用户设置技检策略的管理平台的示图。

图3是根据本发明的一个实施例的媒体文件技检方法的流程图。

图4是根据本发明的一个实施例的媒体文件技检方法中的技检过程的流程图。

图5是根据本发明的一个实施例的技检模块的结构图。

具体实施方式

下面结合附图详细描述本发明的具体实施方式。

图1示出了根据本发明的一个实施例的基于Codec的媒体文件技检系统100的结构图。在本实施例中，技检系统100包括管理系统102和技检模块104。技检模块104可接收单一的本地文件或网络文件，或者由多个文件组成的队列。技检模块104可对接收到的媒体文件进行技检。技检包括提取媒体文件基本信息、系统层异常信息检测、ES层异常信息检测（包括视频、音频、图片、字幕）、基于Codec对视频和音频进行深度技检等。

其中，系统层技检支持的格式包括但不限于：

Jpeg、Gif、Tiff、Png、Bitmap；

Wave、Program system（PS）、Transport system（TS）、mp4、Avi、Asf、Real、Flv、Ogg、Mkv、Divx、Bink；

MPEG-1 system audio、AAC、AMR、AC-3、DTS、APE、FLAC；

MEPG-1 system video、MEPG-2 system video、MEPG-4 system video、H263、H264、VC-1、H261；

SRT、SSA、VOBSUB、MICRO、CD等格式。

视频技检支持的格式包括但不限于：YUV、RGB、mpeg1、mpeg2、mpeg4、H261、H263、H264、Real video、VC-1、Microsoft Video、AVS、Sorenson、On2vp、Bink、Flash Screen、DV、INDEO、CINEPAK、Theora、Snow、Apple等格式。

音频技检支持的格式包括但不限于：PCM、MPEG-1 Parts 3 audio（mp1、mp2、mp3）、AAC、Amr、Ac-3、Dts、Real audio、wma、Vorbis、QDM2、Ape、Flac、Avs、Midi、Bink、WavPack、Dsp_Group、WxWare、ATRAC、Speex、Mac、DV、Celp、TTA、Apple等。

图片技检支持的格式包括但不限于：JPEG、GIF、Tiff、Png、Flic、Tga等。

字幕技检支持的格式包括但不限于：Srt、Ssa、DVDSUB、Atsc、Micro DVD、Text、Usf等。

管理系统102可接收来自用户输入的技检请求以及技检策略配置。在一个实施例中，管理系统102可向用户提供如图2所示的图形用户界面。

在用户界面中，用户可在审核策略信息框中设置策略的相关信息，包括但不限于中文名称、英文名称、内容提供商、内容格式。在示出的实施例中，内容提供商和内容格式分别通过下拉菜单来提供，其中可预设内容提供商名称以及视频、音频等内容格式供用户选择。在需要技审的字段框中，用户可针对各种参数设置各种策略，参数包括但不限于视频编码格式、音频编码格式、帧速率、时长、帧高、帧宽、宽高比、码率、文件格式等。用户可以从这些参数中选择想要检测的项目并进行设置。对于无需检测的参数，用户可在下拉菜单中选择忽略并通过。可以理解，以上仅仅是根据本发明的管理系统的用户界面的一个示例，本领域的技术人员完全可以采用任何已知的方式来为用户提供策略输入的接口。

再次回到图1，在用户设置了技审策略之后，管理系统104将技审命令发送给技检模块102。当技检完成后，技检模块102将技检结果发送给管理系统104，供呈现给用户。其中，根据本发明的一个实施例，技检模块102和管理系统104间的接口可采用http协议＋可扩展标记语言（XML）模式，但也可以是任何已知的接口语言。

图3示出了根据本发明的一个实施例的媒体文件技检方法300的流程图。在框302，接收来自用户输入的技检请求以及技检策略配置。在框304，响应于所述技检请求以及所述技检策略配置对所述媒体文件进行自动技检。在框306，返回技检结果。以下描述的图4将更详细地描述对所述媒体文件进行自动技检的具体步骤。

图4示出了根据本发明的一个实施例的媒体文件技检方法中的技检过程的流程图。方法400从框402开始，在框404，分析媒体文件并获取媒体文件的基本信息。分析的内容包括但不限于：节目信息、系统层信息、视频信息、音频信息、字幕信息、元数据信息。获取的文件属性包括但不限于：系统层格式、文件大小、MD5信息以及元数据信息；具体的节目数量；每路节目包含的时长、比特率、具体音频数目、视频数目、字幕数目；每路音频的格式、声道数、采样率、位数、语言、音量；每路视频的格式、分辨率、码率、帧率、宽高比；每路字幕的格式、语言。分析媒体文件并获取媒体文件的基本信息可包括读取媒体文件的头文件或元数据，从中读取相应的基本信息。

在框406，对媒体文件进行系统层异常信息检测。系统层异常信息包括但不限于：摘要错误、没有媒体数据、媒体数据不完整、媒体数据存在错误、没有索引、时间戳异常。其中，时间戳检查针对采集自卫星信号的码流中经常出现PTS/DTS跳变的情况，检查内容包括PTS/DTS是否符合规范。

在框408，对媒体文件进行视频、音频、字幕解码。

在框410，对经解码的视频数据、音频数据以及字幕数据进行ES层异常信息检测。ES指编码数据流，包括视频数据流或音频数据流。每个ES都由若干个存取单元（AU）组成，每个视频AU或音频AU都是由头部和编码数据两部分组成，1个AU相当于编码的1幅视频图像或1个音频帧，也可以说，每个AU实际上是编码数据流的显示单元，即相当于解码的1幅视频图像或1个音频帧的取样。ES层异常信息检测进一步包括但不限于：视频ES检测（例如，检测是否存在马赛克）、音频ES检测（例如，检测音频是否有噪音）以及字幕ES检测（例如，检测字幕数据是否不完整）。媒体文件以及媒体文件中的视频ES数据、音频ES数据、字幕ES数据都有指定的国家标准。对媒体文件进行系统层和ES层异常信息检测可包括分析相关数据是否匹配或符合对应的国际标准，如果不匹配或不符合，则将给出对应的异常信息。

在框412，根据从管理系统接收的技检命令对用户想要进行的各种技检项目对经解码的视频数据和音频数据进行深度检测。以下给出几项示例的深度检测项目。

1、黑屏检测

1）输入参数

a、相似度similarity(1-1000)

b、持续时间duration

2）单帧图像是否为黑色图像的检测算法

a、黑色像素的Y、Cb、Cr的值分别为0x00、0x80、0x80；

b、根据输入的相似度similarity计算像素差异容忍度pixel-diff-toleration=255*similarity/1000；

c、在图像的Y、Cb、Cr部分都选取M*N条长度都是16的直线，这些直线按照一定的间隔铺满整幅图像；

d、选取图像里M*N中所有的像素，如果全部满足下述条件，那么认为该帧图像是黑色图像，否则不是。

Y：|pixel-0x00|≤pixel-diff-toleration

Cb：|pixel-0x80|≤pixel-diff-toleration

Cr：|pixel-0x80|≤pixel-diff-toleration

其中pixel为像素值，pixel-diff-toleration为像素差异容忍度。

3）如果连续许多帧图像都是黑色图像，而且黑色图像持续时间≥duration，那么认为出现了黑屏。其中duration为输入的参数。

2、静帧检测

1）输入参数

a、相似度similarity(1-1000)

b、持续时间duration

2）单帧图像是否为静止图像的检测算法

a、根据输入的相似度similarity计算像素差异容忍度pixel-diff-toleration=255*similarity/1000；

b、在图像的Y部分都选取M*N条长度都是16的直线，这些直线按照一定的间隔铺满整幅图像；

c、选取图像里M*N中所有的像素，如果全部满足下述条件，那么认为该帧图像是静止图像，否则不是。

|pixel-pixel’|≤pixel-diff-toleration

其中pixel为像素值，pixel’为前一幅图像对应位置的像素值，pixel-diff-toleration为像素差异容忍度。

3）如果连续许多帧图像都是静止图像，而且静止图像持续时间≥duration，那么认为出现了静帧。其中duration为输入的参数

3、音量检测

1）将返回一个取值范围是0-1000的音量值volume，值越大，说明音量越大。

2）Volume=|sample_volume_max|*1000/2^{(bits_per_sample-1)}，其中sample_volume_max为媒体文件中出现的最大音量值，bits_per_sample为每个音频sample所占用的比特数。

最后，在框414，媒体文件基本信息、系统层异常信息、ES层异常信息以及深度技检结果信息可被收集并上报给管理系统104。可以理解的是，以上描述的方法的各步骤的顺序仅为示例而非限定，相反，提取媒体文件基本信息、系统层异常信息检测、ES层异常信息检测和视频、音频的深度检测可按任何适当顺序进行或可同时进行。

图5示出了根据本发明的一个实施例的可用于实现图1中的技检模块102的示例结构图。技检模块102可包括媒体文件解析器502，用于对媒体文件进行基本信息提取以及检测系统层异常信息。技检模块102还包括视频ES缓冲区504、音频ES缓冲区506以及字幕ES缓冲区508，分别用于缓存媒体文件中包含的视频编码数据、音频编码数据以及字幕数据。技检模块102还包括视频解码器510、音频解码器512以及字幕解码器514，分别对缓存在视频ES缓冲区504、音频ES缓冲区506以及字幕ES缓冲区508中的视频编码数据、音频编码数据以及字幕数据进行解码。经解码的视频数据、音频数据以及字幕数据可用于进行ES层异常信息检测。同时，经解码的视频数据、音频数据可被分别存储在视频YUV缓冲区516以及音频PCM缓冲区518中。技检模块102还包括深度技检器520。深度技检器520可根据从管理系统接收的技检命令对用户想要进行的各种技检项目对经解码的视频数据和音频数据进行深度检测。技检模块102还包括技检结果上报器522，用于收集媒体文件基本信息、系统层异常信息、ES层异常信息以及深度技检结果信息，并上报给管理系统104。

以上说明书、示例和数据提供了对各实施方式组成的制造和使用的全面描述。尽管用结构特征和/或方法动作专用的语言描述了本主题，但是可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求和各实施例的示例形式而公开的。

Claims

1.一种媒体文件的自动技检方法，包括：

接收来自用户输入的技检请求以及技检策略配置；

响应于所述技检请求以及所述技检策略配置对所述媒体文件进行技检；以及

返回技检结果。

2.如权利要求1所述的方法，其特征在于，所述响应于所述技检请求以及所述技检策略配置对所述媒体文件进行技检进一步包括：

分析所述媒体文件并获取所述媒体文件的基本信息；

对所述媒体文件进行系统层异常信息检测；

对所述媒体文件进行解码；

对经解码的媒体文件进行ES层异常信息检测；以及

对经解码的媒体文件进行深度检测。

3.如权利要求2所述的方法，其特征在于，所述媒体文件的基本信息包括以下的至少一项：元数据信息、MD5、视频属性、音频属性、图片类型、字幕信息以及所述媒体文件本身存在错误时的提示信息。

4.如权利要求2所述的方法，其特征在于，所述系统层异常信息包括以下的至少一项：摘要错误、没有媒体数据、媒体数据不完整、媒体数据存在错误、没有索引以及时间戳异常。

5.如权利要求2所述的方法，其特征在于，所述ES层异常信息包括以下的至少一项：检测视频是否存在马赛克、检测音频是否有噪音以及检测字幕数据是否不完整。

6.如权利要求2所述的方法，其特征在于，所述深度技检包括以下的至少一项：黑屏检测、静帧检测以及音量检测。

7.如权利要求1所述的方法，其特征在于，所述返回技检结果进一步包括收集并上报所述媒体文件的基本信息、所述系统层异常信息、所述ES层异常信息以及所述深度技检的结果信息。

8.一种媒体文件的自动技检系统，包括：

管理系统（102），其接收来自用户输入的技检请求以及技检策略配置并将其发送给技检模块（104）；以及

技检模块（104），其接收来自管理系统（102）的技检请求以及技检策略配置，并且响应于所述技检请求以及所述技检策略配置对所述媒体文件进行技检，并将技检结果返回给所述管理系统（102）。

9.如权利要求8所述的系统，其特征在于，进所述技检模块（104）进一步包括：

媒体文件解析器（502），用于对所述媒体文件进行分析并获取媒体文件的基本信息以及检测系统层异常信息；

视频ES缓冲区（504）、音频ES缓冲区（506）以及字幕ES缓冲区（508），用于分别缓存所述媒体文件中包含的视频编码数据、音频编码数据以及字幕数据；

视频解码器（510）、音频解码器（512）以及字幕解码器（514），用于分别对所述视频编码数据、所述音频编码数据以及所述字幕数据进行解码，并检测ES层异常信息；

视频YUV缓冲区（516）以及音频PCM缓冲区（518），用于分别存储经解码的视频编码数据和经解码的音频编码数据；

深度技检器（520），用于根据所述技检请求以及所述技检策略配置对所述经解码的视频编码数据和所述经解码的音频编码数据进行深度检测，并生成深度技检结果信息；以及

技检结果上报器（522），用于收集所述媒体文件的基本信息、所述系统层异常信息、所述ES层异常信息以及所述深度技检结果信息，并上报给所述管理系统（102）。

10.如权利要求8所述的系统，其特征在于，所述管理系统（102）和所述技检模块（104）之间的接口采用http协议＋可扩展标记语言模式。