CN102098450B - 一种对实时信号或者流自动检测实现全自动收录的方法 - Google Patents
一种对实时信号或者流自动检测实现全自动收录的方法 Download PDFInfo
- Publication number
- CN102098450B CN102098450B CN 201010582953 CN201010582953A CN102098450B CN 102098450 B CN102098450 B CN 102098450B CN 201010582953 CN201010582953 CN 201010582953 CN 201010582953 A CN201010582953 A CN 201010582953A CN 102098450 B CN102098450 B CN 102098450B
- Authority
- CN
- China
- Prior art keywords
- signal
- stream
- successive frame
- frame
- quiet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及一种对实时信号或者流自动检测实现全自动收录的方法。所述方法使用的硬件包括:采集专用线路,与所述信号采集线路连接的板卡,所述的板卡插接在信号采集服务器上,信号检测采集器,所述该采集器安置在信号采集服务器上,该信号检测采集器包括信号检测装置、反馈装置、控制装置、采集装置。所述方法的步骤包括:接收信号的步骤;缓存的步骤;信号检测的步骤;反馈的步骤;控制的步骤;信号采集的步骤。本发明采用信号检测装置,通过接收信号或流的检测,判定哪些是有效信号或流,哪些是无效信号或流,有选择的采集素材,节省了大量人力物力。使采编人员从恼人的毫无技术含量的素材挑选工作中解放出来,节省了大量的磁盘空间,缩短了节目制作的周期。
Description
技术领域
本发明涉及一种对实时信号或者流自动检测实现全自动收录的方法,是一种计算机视音频数字处理的方法,是一种数字电视新闻的信号采集和制作的方法,是一种分析视音频信号或流是否有用而确定是否对其进行录制的方法。
背景技术
电视台为满足电视节目,特别是新闻电视节目制作的需要,电视台通过专用线路与其他电视台交换电视节目,为此电视台的信号采集部门(一般称作收录科室)每天需要收录大量其他电视台或通讯社的信号内容。传统上,电视台将外来信号接收后录制到磁带上供后续使用,现在由于技术的进步,大多使用视频服务器等数字设备,直接将外来的有效信号接收后转换成数字视音频文件存储下来,供后续使用,这个过程通常也称之为“采集”。在与某个电视台或通讯社的专用节目交换线路上,不是每时每刻都有有效信号,通常是时断时续的有效信号。在很多情况下,收到的信号并无用处,是一些空白或黑屏等等。而有效信号往往是突发传送的,无法预知的,并且是全天候的。白天监控人员较多还可以人工识别并控制收录,以达到有效的收录,但在夜间,无人值守的时候,则难以控制。比如北京某电视台或者新闻组织预定了CNN的新闻,CNN在当地的白天时间不固定的把信号传给北京,不会通知北京方面何时在传输信号。而此时,可能北京时间正好是夜里。为了解决这个问题,现在大部分电视台在夜间都采用全面录制的方法,即不管是否为有效信号还是无效信号全部录制下来,所述的无效信号指的是信号图像静止,没有图像内容、没有声音内容,如静帧(活动图像静止,只显示一幅静止画面)、黑屏、静音(无声音)等等,这些采集成素材后在节目制作的环节中不可能使用的信号;有效信号指的是信号声音画面内容播放连续,没有长时间的静帧、黑屏、静音等现象的、采集之后可以用于编辑制作的信号。全面录制的方法一个晚上往往采集10几个小时的素材,白天再进行挑选有效素材,这样的工作流程虽然实现了无人值守,但是有两个弊端:首先是从10几个小时的素材中挑选有效素材,费时费力。再则全面录制,非常浪费存储空间。10小时的标清电视节目素材,大概120GB~200GB磁盘空间;10个小时高清电视节目素材,大概需要500GB~1TB(1000GB)的磁盘空间。其中可能只有不到1/10是有效素材,磁盘资源浪费十分严重。一条采集专用线路上即需要预留这样多的磁盘空间,数十条上百条的采集专用线路所需要的预留磁盘空间就十分可观了。
需要指出的是,此处所说的信号,其传输的内容既可以是无压缩的视音频信号(例如SDI数字视音频或者模拟视音频等),也可以是经过压缩的视音频数据(例如TS码流等)。如果内容为TS码流等压缩视音频数据时,行业内也常简称为“流”,所以本文件中以“信号或流”来统称上述两种情况,为了叙述方便,本文中有些地方将“信号或流”简称为“信号”,实际处理中,可以认为信号和流的处理过程基本是等价的。
发明内容
为了克服现有技术的问题,本发明提出了一种对实时信号或者流自动检测实现全自动收录的方法。所述的方法通过对节目交换所使用的采集专用线路上的数字图像和声音信号或流的检测,确定是否为有效信号或流,通过控制装置决定是否开始采集或停止正在进行的采集。所述的方法实现功能就是采集设备自动识别画面内容和声音内容的有效性来控制采集的开始和停止。当采集专用线路传送的是黑场、静帧等无效信号的时候停止采集,当有有效信号的时候,自动触发采集;或者根据自定义设置的情况,根据不同的画面内容进行自动触发采集,比如根据彩条信号触发采集,或根据活动画面触发采集等等,实现全自动收录的功能。
本发明的目的是这样实现的:一种对实时信号或者流自动检测实现全自动收录的方法,所述方法使用的硬件包括:采集专用线路,与采集专用线路连接的插接在信号采集服务器上的视音频I/O板卡,所述的信号采集服务器上设置有信号检测采集器和硬盘,所述的信号检测采集器包括:信号检测装置、反馈装置、控制装置、采集装置,所述方法的步骤如下:
接收信号的步骤:用于视音频I/O板卡接收采集专用线路上的信号或流,不论是有效信号或流还是无效信号或流,所有信号或流一律接收并数字化处理成视音频数据,发送给信号检测采集器;
信号检测的步骤:用于信号检测采集器的信号检测装置通过信号检测法对来自视音频I/O板卡的视音频数据进行分析检测,得出信号是否有变化的结果,并将结果传输至反馈装置,信号或流变化的情况有两种:一种是无效信号或流变为有效信号或流,一种是有效信号或流变为无效信号或流;
反馈的步骤:用于反馈装置将信号检测装置得出的信号或流内容是否有变化的结果传输给控制装置;
控制的步骤:用于控制装置通过确认反馈装置发来的信号或流内容是否有变化的结果,控制采集装置采集或者停止采集,如果是“无效信号或流变为有效信号或流”则发出采集装置开始采集的指令,如果是“有效信号或流变为无效信号或流”则发出采集装置停止采集的指令;
信号采集的步骤:用于信号采集装置根据信号的格式所设置的参数,将来自视音频I/O板卡的音视频数据形成视音频文件并记录到硬盘上;
其特点是:
信号检测的步骤中的信号检测法使用设置在信号检测装置中的特性匹配器,所述的特性匹配器中保存有连续帧变化差度阈值、彩条特征匹配样本、黑场阈值、静音电平阈值、无声频率阈值,所述信号检测法如下:
检测连续帧中的图像变化:如果连续帧各帧之间的图像差异大于连续帧变化差度阈值,则认定在确定的连续帧时间范围内图像是活动的,如果连续帧各帧之间的图像差异小于连续帧变化差度阈值,则认定在确定的连续帧时间范围内图像是不活动的,连续帧为静帧,由此确定信号或流是否变化;
检测连续帧中的声音:如果连续帧中的声音的电平大于静音电平阈值并且声音的频率在有声频率阈值范围之内,则认定连续帧有声,如果连续帧中的声音电平小于静音电平阈值或声音的频率在有声频率阈值范围之外,则认定连续帧时间范围内为无声或静音,由此确定信号或流是否变化;
检测连续帧中的彩条:如果连续帧中的图像与彩条特征匹配样本符合,则认定连续帧是彩条图像,如果连续帧中的图像与彩条特征匹配样本不符合,则认定连续帧不是彩条图像,由此确定信号或流是否变化;
检测连续帧中的黑场:对连续帧中的各帧图像上的各个检测点进行黑场检测,如果各个检测点的亮度均小于黑场阈值,则认定连续帧是黑场,如果连续帧中的检测点有一点大于黑场阈值,则认定连续帧不是黑场,由此确定信号或流是否变化;
检测还包括:黑场加静音、黑场加无声、静帧加静音、静帧加无声四种复合检测,以确定信号或流是否变化。
本发明产生的有益效果是:本发明采用信号检测装置,通过对电视信号或流的检测,判定哪些是有效信号或流,哪些是无效信号或流,有选择的采集信号或流,节省了大量人力物力。使采编人员从恼人的毫无技术含量的信号挑选工作中解放出来,节省了大量的磁盘空间,缩短了节目制作的周期。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明的实施例一所述方法使用的系统示意图;
图2是本发明的实施例一所述方法的流程图;
图3是本发明的实施例二所述方法的黑场检测示意图。
具体实施方式
实施例一:
本实施例是一种对实时信号或者流自动检测实现全自动收录的方法,所述方法使用的硬件,如图1所示,包括:采集专用线路,与所述信号采集线路连接的视音频I/O板卡,所述的视音频I/O板卡插接在信号采集服务器上。
采集专用线路:采集专用线路的“专用”有两个层面的意思:一个是技术层面,采集的链路是同轴电缆,卫星接收机或者其它电视接收设备将接收的射频信号转成数字信号后,通过同轴电缆输出给采集板卡。一个是业务层面,通常情况下,来自各大电视新闻机构的视频图像源都是专门架设的,在日常保障和传输的重要性方面优于其他普通信号。
视音频I/O板卡:视音频I/O板卡是插接在服务器主板扩展槽上的扩展卡,主要将输入的数字或模拟串行信号或流转换成视音频数据并输入到系统的物理内存中。
信号检测采集器也被设置在信号采集服务器之中,负责分析处理视音频I/O板卡传输过来的视音频数据,如果是有效信号或流则采集并记录成视音频文件。如果是无效信号或流则停止采集或不采集。信号检测采集器可以是软件系统,也可以是硬件系统,可以作为软件安装在信号采集服务器的操作系统中,也可以制作作为硬件作为扩展板卡插接在信号采集服务器的扩展槽上,或者直接在视音频I/O板卡上,但这样做板卡的成本太高,不易形成产品。
信号检测采集器中包括信号检测装置、反馈装置、控制装置、采集装置。信号检测装置实时对信号或流进行特征检测,发现信号或流内容有变化时,通过反馈装置通知控制装置,控制装置会根据反馈装置提供的信息判断是否采集,实现信号或流的自动化采集。
信号检测装置:信号检测主要是根据视音频I/O板卡输出的数据,在采集过程中程序会完成一次有效检测所需的帧的数量,实时地进行特征匹配或边缘检测。
反馈装置:主要是根据不同的检测条件,将检测结果实时反馈给控制装置。
控制装置:主要是根据反馈装置提供的反馈信息发出控制指令,控制采集装置开始采集或者停止采集。
采集装置:根据设置的参数将来自视音频I/O板卡的音视频数据形成视音频文件并记录到指定的物理存储上。
信号采集服务器:所述的信号采集服务器包括计算机系统通常配备的软硬件设施:操作系统、CPU、内存、硬盘等。视音频I/O板卡、信号检测采集器、硬盘都需要设置在信号采集服务器中。
本实施例所述方法的步骤如下,流程如图2所示:
接收信号的步骤:用于板卡接收采集专用线路上的信号或流,不论是有效信号或流还是无效信号或流,所有信号或流一律接收并数字化处理成视音频数据。将接收到并数字化处理成视音频数据的信号或流以帧为单元存入板卡缓存。这一步骤十分重要,可以将所有接收到的信号或流放入缓存中,一旦出现有用的信号或流时不至于丢失。
然后把采集的视音频数据都传送给信号检测采集器。
信号检测采集器主要是进行信号检测,采集等工作。
信号检测的步骤:用于信号检测装置通过信号检测法对存储在物理内存上的视音频数据进行分析检测,得出信号或流内容是否有变化的结果,并将结果传输至反馈装置,信号变化的情况有两种:一种是无效信号或流变为有效信号或流,一种是有效信号或流变为无效信号或流。这个步骤是周而复始的进行着的。信号检测装置对存储在物理内存上的视音频数据进行分析,不管信号或流为有效信号或流还是无效信号或流,将只保留最后5帧视音频数据,释放其他视音频数据,接着将后面进入缓存的视音频数据与前面5帧视音频数据进行检测,检测完后还是只保留最后5帧视音频数据,释放其他视音频数据。此检测在系统工作期间持续进行。
本步骤是本实施例的关键,只有信号检测的正确才能保证正确的判断有效素材还是无效素材,保证素材采集的质量。信号检测法有多种方法,最常用并且容易实施的是边缘检测法和特征匹配法。
边缘检测法是实时抽取画面中的图形轮廓进行比较判断。边缘检测法中具体检测类型有图形轮廓、台标比对,图形轮廓是抽取视频图像中一帧画面中的轮廓,然后和下一帧的画面进行比对。台标比对需要有两路信号画面,一个被测信号中有台标,该信号与另一标准信号画面实时进行台标比对,发现另一信号中也出现台标,开始采集。
特征匹配法则是通过信号中的已知的阈值参数和检测点进行比较判断。本实施例通过在采集过程中收集一次有效检测所需的帧的数量(本实施例称为连续帧),与保存的比对样本特征阈值进行比较,如果符合特征样本,则判断为是,并反馈结果。本实施例所述的连续帧指的是在一定时间范围内的数帧图像,连续帧包含两层概念,一是有多个相互前后连续衔接的图像帧,二是这些连续的图像帧播出的时间。
本实施例在对图像进行检测时需要对不同的情况设置针对性的检测阈值或样本,包括:针对图像是否连续变化的连续帧变化差度阈值、针对彩条检测的彩条特征匹配样本、针对黑场检测的黑场阈值、针对静音检测的静音电平阈值、针对无声检测的无声频率阈值。
本实施例的具体检测内容和评判依据是:
1.彩条:
一般情况下,在有效素材图像开始传输前,有的内容提供商会播放彩条信号,所以把全部标准的彩条信号收集起来,作为特征检测匹配的样本,本实施例称为彩条特征匹配样本。一旦检测出一段时间内连续接收到信号符合彩条特征匹配样本,则反馈,触发打开有效信号的输出。基本原则是:连续检测75帧~125帧彩条信号符合彩条特征匹配样本,判断为有内容,打开有效信号的输出,75帧~125帧等于3秒~5秒的时间,之所以选择这个时间,原因是:避免刚刚检测出1帧~5帧数据就作出判断,防止误判断,也要防止检测时间过长,而导致有效内容没有及时打开有效信号的输出。
本实施例收集的彩条样本是:
标清制式:
PAL/NTSC 75%,PAL/NTSC 100%,SMPTE_NTSC、和Special。
高清制式:
1080/50i 中国/香港/新加坡/澳大利亚。
1080/60i 韩国/台湾,
1080/59.94i 北美CBS/NBC/日本,
720/60P 北美ABC,
720/24P北美FOX,
720/30P北美FOX,
720/25P,
各种都包含75%和100%彩条。
以上彩条内容已经覆盖了当前世界范围内应用的绝大部分彩条信号模式,基本保证信号或流中有彩条内容就会被检测识别出来。
2.声音检测:
在实际情况中,有些时候传输的信号是声音信号或流,那么也是需要打开有效信号或流的输出。如何判断此时的传输是声音信号,这个评定的标准很多。本实施例采取的标准有三个:电平、频率、时间。电平是评定声音高低的标准,如果低于一个某个阀值,可以认为此时是无声的,不需要采集。本实施例设置这个电平标准是-20DB,本实施例称为:静音电平阈值。频率是评定音频信号是否可用的标准,因为人耳可听范围是20HZ~20KHZ之间,超出这个范围,人耳听不到,可以认为此时声音不可听,不需要采集。本实施例将小于20HZ和大于20KHZ的频率称为无声频率阈值。如果某个音频信号达到以上标准了,也需要持续一段时间,如果瞬时跳变,同样认为是跳变,不需要采集。可以这个时间设置在3秒~5秒中。根据以上条件,对于音频信号检测的原则是:当输入信号中的音频信号电平高于-20DB且声音频率在20HZ-20KHZ之间,持续时间超过3秒钟判断为有正常音频信号,此时打开有效信号或流的输出。
3. 黑场+静音
在一般的业务场景中,当没有画面内容的时候,画面是黑场信号,也就是黑屏。所以把出现黑场信号作为判断关闭有效信号的输出的特征。在判定达到特征值的标准是:黑场阈值BEF值、持续时间、静音。黑场阈值是评定是否是黑场的标准,如果低于黑场阈值,可以认为此时是黑场信号。为了防止发生误判的可能性,把执行时间设置成3秒~5秒。同时为了保证声音信号的正确采集,还把是否静音作为判断的考量。根据以上条件,对于黑场信号检测的原则是当信号中的视频部分连续检测75帧~125帧(3秒~5秒)电平低于黑场阈值同时音频部分电平低于 -20DB,且时长3秒~5秒,判断为没有内容,关闭有效信号的输出。
4.黑场+无声:
根据上文描述,对于黑场信号的另一条原则是当输入信号中的视频部分连续检测75帧~125帧黑场(3秒~5秒)同时声音频率<20Hz或者>20kHz,时长3秒~5秒,判断为没有内容,关闭有效信号的输出。
5.静帧+静音:
在实际的业务场景中,当没有画面内容的时候,画面是测试信号静帧图像或其它静帧画面图像,如果这个时候也没有其他声音信号,判定为关闭有效信号的输出。对于静帧信号检测的原则是当信号或流中的视频部分连续检测75帧~125帧(3秒~5秒)图像静止同时音频部分电平低于 -20DB,时长延续3秒~5秒,判断为没有内容,关闭有效信号或流的输出。
6.静帧+不可听:
根据上文描述,对于静帧信号的另一条原则是当输入信号中的视频部分连续检测75帧~125帧(3秒~5秒)图像静止同时声音频率<20Hz或者>20kHz,判断为没有内容,关闭有效信号或流的输出。
7.活动图像:
对比某段时间内连续帧之间的变化,如果差异度大于某个阈值,认定为这两帧图像是不同的,如果某段时间内图像连续变化,则说明这是活动图像。检测标准是当输入信号或流中的视频部分连续检测75帧~125帧(3秒~5秒)活动变化,判断为有内容,打开有效信号或流的输出。
反馈的步骤:用于反馈装置将信号检测装置得出的信号是否有变化的结果传输给控制装置。这个步骤一直在进行,不断的反馈,使信号或流的采集与否始终在控制装置的控制下进行。
反馈装置得到检测信号或流的结果,共有四种状态
1. 信号或流一直为有效信号或流,反馈装置向控制装置发送信号正常的反馈信息,
2. 有效信号或流变为无效信号或流,反馈装置向控制装置发送信号错误的反馈信息。
3. 信号或流一直为无效信号或流,反馈装置向控制装置发送信号错误的反馈信息。
4. 信号或流由无效信号或流变为有效信号或流,反馈装置向控制装置发送信号正常的反馈信息,
总之,由于信号或流的变化是不确定的,所以检测装置、反馈装置、控制装置需要一直处于工作状态,反馈装置根据不同的检测结果,实时向控制装置提交反馈信息,控制根据装置根据反馈的结果进行信号或流是否继续进行采集。
控制的步骤:用于控制装置通过确认反馈装置发来的信号或流是否有变化的结果,经过延时(75帧~125帧或3秒~5秒)打开或者关闭有效信号或流的输出,如果是“无效信号或流变为有效信号或流”则向采集装置发出开始采集的指令。如果是“有效信号或流变为无效信号或流”则向采集装置发出停止采集的指令。
说明几点:
1,对于检测出黑场时间的限制,虽然是对黑场信号每帧图像进行检测的,但是不会判断出一帧后就马上就停止关闭有效信号或流的输出,而是要有一个持续时间,至少75帧,也就是3秒钟,即一个连续帧的时间。假如不到3秒钟是不会关闭有效信号或流的输出的,主要是防止误检的发生。
2,对于检测出音频信号的限制,即使发生了黑场和静帧也不能关闭有效信号或流的输出,如果有音频信号则认为是有效信号或流,要继续执行采集工作。因为要采集正常的音频信号。如果黑场和静帧信号发生的时候,同时声音信号也是被判定是无声或静音,并持续3秒钟以上,则判断可关闭有效信号或流的输出。
3,对静帧图像时间的限制,虽然对静帧信号每帧图像进行检测,但是不会判断出一帧后就马上就停止采集,而是要有一个持续时间,至少连续帧,也就是3秒钟。假如不到3秒钟是不会判断为静帧的,主要是防止误检的发生。
4,对于彩条信号持续时间的限制,虽然对彩条信号每帧图像进行检测,但是不会判断出一帧后就马上就判断为有效信号或流,而是要有至少一个连续帧持续时间,即至少75帧,也就是3秒钟。假如不到3秒钟不会判断成是有效信号或流,主要是防止误检的发生。
5,对于活动图像持续时间的限制,虽然对信号或流每帧图像进行检测的,但是不会判断出两帧相邻图像变化后就马上就判断为有效信号或流,而是要有至少一个连续帧时间,至少75帧,也就是3秒钟。假如不到3秒钟不会打开有效信号或流的输出,主要是防止误检的发生。
需要说明的是,以上都提及75帧~125帧,是指PAL制下的情况,中国的电视制式就是PAL制式。在N制的时候由于一秒是30帧,所以类似的检测标准3秒~5秒就是90帧~150帧了。
信号采集的步骤:用于信号采集装置根据素材信号或流的格式所设置的参数,将素材信号或流采集到硬盘上。
格式设置:格式设置指的是编码格式,是为适应各个电视台的所使用的各种编码格式。目前在电视台常用的格式设置有DV50、Mpeg2_I、Mpeg2_IBP等。这些格式的参数主要由图像大小、颜色格式 、视频码率、扫描格式、 音频格式和音频码率等组成。
实施例二:
本实施例是实施例一的改进,是实施例关于信号检测法的细化。本实施例所述的信号检测法是特征匹配法,所述的信号检测法使用设置在信号检测装置中的特性匹配器,所述的特性匹配器中保存有连续帧变化差度阈值、彩条特征匹配样本、黑场阈值、静音电平阈值、无声频率阈值,所述信号检测法如下:
检测连续帧中的图像变化:如果连续帧各帧之间的图像差异大于连续帧变化差度阈值,则认定在确定的连续帧时间范围内图像是活动的,如果连续帧各帧之间的图像差异小于连续帧变化差度阈值,则认定在确定的连续帧时间范围内图像是不活动的,连续帧为静帧,由此确定素材信号是否变化。
静帧的定义以及检测原理:如果F1到Fn帧的连续画面的差异都小于容差范围E,则认为F1到Fn为静帧。
静帧检测的算法和参数:由于静帧检测是属于帧间检测。因此检测开始时,首先将第一帧画面检测点的颜色进行保存作为对后续帧进行检测的参照帧。得到第二帧画面后,对检测点进行逐个比较,将误差进行累加。如果误差大于指定的范围E,则认为不是静帧。并将这一帧替换参照帧,静帧检测重新开始。如果误差在指定范围以内,则认为可能是相似帧。只有当连续的n帧画面都是相似帧时,这时才能做出是静帧的结论。静帧检测也有检测点阵,但是与帧内检测的点阵有所不同。帧内检测时,每帧的检测点阵可以不同。而帧间检测时,每帧的检测点阵必须相同。
静帧检测的参数有三个:静帧时间(帧数)、误差范围、检测点阵的选取。
影响检测效果和效率的因素:判为相似帧需要对所有检测点进行运算,而判为非相似帧只需要一个误差大的检测点。所以画面相似度越高,检测速度越慢。视频帧经有损压缩保存到文件后画面有随机性的损失,特别是连续帧经过压缩算法处理可能只出现一帧关键帧,其他帧的画面损失更大。当再次解码进行检测时,出现漏判的可能性很大,一般可通过增大误差范围来减少漏判的可能,但这样会导致误判的增加。当输入信号中的视频部分连续检测 75—125帧(3秒~5秒)活动变化,判断为有内容。
检测连续帧中的声音:如果连续帧中的声音大于静音电平阈值或在无声频率阈值范围之内,则认定连续帧有声,如果连续帧中的声音小于静音电平阈值或在无声频率阈值范围之外,则认定连续帧时间范围内为无声或静音,由此确定声音信号是否变化。
静音检测的定义以及检测原理:如果一段时间T内的声音是普通人耳所无法察觉的,则认为这段时间为静音。人耳能听见的声音受响度和频率两个条件的限制。普通人耳能接受的频率范围为20Hz~20kHz,在这个范围之外的声音,普通人是无法听到的。静音检测除了要设定最小响度,还要设置频率范围。
静音检测的算法和参数:计算T时间内的音频的频谱,如果大于最小响度的频点都在指定频段之外,或者指定频段内各频点的响度都小于最小响度,则认为该段时间内是静音的。
检测连续帧中的彩条:如果连续帧中的图像与彩条特征匹配样本符合,则认定连续帧是彩条图像,如果连续帧中的图像与彩条特征匹配样本不符合,则认定连续帧不是彩条图像,由此确定信号是否变化。
彩条的定义以及检测原理:目前电视制式分为标清信号和高清信号两大类,每大类各有多种制式标准,每种制式又分成75%彩条和100%彩条,要对彩条信号进行分析,就必须采样目前世界范围内应用最广泛的全部彩条信号。在本实施例中采纳的是:
标清制式:
PAL、NTSC 、SMPTE_NTSC、和Special。
高清制式:
1080/50i 中国/香港/新加坡/澳大利亚,
1080/60i 韩国/台湾,
1080/59.94i 北美CBS/NBC/日本,
720/60P 北美ABC,
720/24P北美FOX,
720/30P北美FOX,
720/25P,
如果被检测帧的图案以及颜色与指定彩条相同,则认为是被检测帧是彩条。
连续检测75帧~125帧彩条,判断为有内容,打开有效信号的输出,75帧~125帧等于3秒~5秒的时间,之所以选择这个时间,原因是:避免刚刚检测出1帧~5帧数据就作出判断,防止误判断,也要防止检测时间过长,而导致有效信号或流没有被及时录制。
彩条检测的算法和参数:由于彩条的视频图像是有图案的,因此检测过程相对黑场与彩帧的检测要复杂一些。首先可以根据每种彩条的图案将画面分割成若干个单一色矩形,然后对待这些矩形块就可以进行类似于彩帧的检测。如果每个矩形块都是指定的彩帧,那么该图像就认为是彩条。对于最后一种彩条,它最下部是渐变灰度,实际检测中是取固定位置的竖线作为点阵进行检测。
彩条检测的参数有两个:彩条种类、容差范围。其中彩条种类这个参数包含了对彩条图案以及各个分块矩形中的颜色的表达。
影响彩条检测效果和效率的因素:从上面的算法可知,如果一帧画面是指定彩条,那么所有检测点检测完以后才能确认。如果不是指定彩条,那么只要遇到一个不符合条件的点就可以认为不是指定彩条。因此,当非全画面逐点检测时,理论上会出现误检的可能,但不会出现漏检。检测点越多,检测越精确,检测速度越慢。检测效率与画面内容有很大关系。如果画面是彩帧,检测效率最低;如果被检测的第一个点就不是指定颜色点,效率最高。
检测连续帧中的黑场:对连续帧中的各帧图像上的各个检测点进行黑场检测,如果各个检测点的亮度均小于黑场阈值,则认定连续帧是黑场,如果连续帧中的检测点有一点大于黑场阈值,则认定连续帧不是黑场,由此确定信号是否变化。
黑场的定义以及检测原理:如果画面中各点的亮度都小于某个固定值,就称为黑场。这里把这个固定值称为黑场阈值(BFF)。
黑场检测的算法和参数:YUV信号中的Y正好表示亮度。因此如果画面中各个检测点的Y值都小于等于BFF,那么就认为是黑场。为8bit的YUV信号设置的黑场阈值一般设为16。
其中16是亮度值,YUV亮度范围0到255,Y对应于亮度,其可视范围为Y[16,235]因此将16设置为黑场阈值。
对黑场检测的具体实现过程做了如下优化和配置:检测范围可以进行配置。可以指定画面中的一个矩形区域作为检测区域。检测点可以进行配置。可以对画面中的每一点进行检测,也可以由外部指定一个点阵,按照点阵中点的位置进行检测,以提高检测速度。点阵由固定点与随机点构成。
图3为黑场检测示意图。图中的白框表示指定的检测范围,该范围以外的部分不进行检测。检测范围内的圈和点表示检测点阵,只有圈和点所在的位置才会被检测。点阵中的点组成一个固定点阵,每帧画面中的这些点都会被检测到。而圈表示随机点阵,随机点阵是不断变换的。黑场检测的参数有两个:黑场阈值、检测点阵的选取。
影响黑场检测效果和效率的因素:从上面的算法可知,如果一帧画面是黑场,那么所有检测点检测完以后才能确认为黑场。如果不是黑场,那么只要遇到一个非黑场点就可以认为不是黑场。因此,当非全画面逐点检测时,理论上会出现误检(不是黑场检测成为了黑场)的可能,但不会出现漏检。检测点越多,检测越精确,检测速度越慢。检测效率与画面内容有很大关系。如果画面是黑场,检测效率最低;如果被检测的第一个点就不是黑场点,效率最高。
检测还包括:黑场加静音、黑场加无声、静帧加静音、静帧加无声四种复合检测,以确定素材信号是否变化。对检测时间和音频信息进行了约定,是在黑场且静音(或不可听)持续3秒种以上的时候才进行停止采集判定,这样的优点是避免了正常声音信号的采集中断以及其他误检的可能性。
实施例三:
本实施例是实施例二的改进,是实施例二关于连续帧长度的变化。本实施例所述的连续帧的长度为75帧~125帧。
连续帧长度75帧~125帧的时间范围大约是3秒~5秒,小于75帧,时间短,容易出现误判,大于125秒时间判断会降低检测效率。
一般情况下,选定的是75帧~125帧这个区间,因为在PAL制式下,一帧也就代表1/25秒,一帧画面内容的缺失甚至是不被人眼察觉的。而且机器也容易出现误检的情况,为了保证没有误检的情况发生,设置这个时间开关是3秒钟以上,但是另一方面,这个时间也不能太长,太长的话失去了及时处理的效果,所以限制在5秒种之内。
实施例四:
本实施例是实施例二的改进,是实施例二关于彩条特征匹配样本的细化。本实施例所述的彩条特征匹配样本包括:
标清制式:
PAL/NTSC 75%、PAL/NTSC 100%、SMPTE_NTSC、Special;
高清制式:
1080/50i 中国/香港/新加坡/澳大利亚;
1080/60i 韩国/台湾;
1080/59.94i 北美;
CBS/NBC/日本;
720/60P 北美ABC;
720/24P北美FOX;
720/30P北美FOX;
720/25P;
以上高清制式彩条都包含75%和100%彩条。
实施例五:
本实施例是实施例二的改进,是实施例二关于黑场阈值的细化。本实施例所述的黑场阈值在8bit的YUV信号设置为16。
16是亮度值,YUV亮度范围0到255,Y对应于亮度,其可视范围为Y[16,235]因此将16设置为黑场阈值。
实施例六:
本实施例是实施例二的改进,是实施例二关于无声频率阈值的细化。本实施例所述的无声频率阈值为小于20Hz,大于20KHz。
普通人耳能接受的频率范围为20Hz~20kHz,在这个范围之外的声音,普通人是无法听到,因此将其设置为无声频率阈值。
实施例七:
本实施例是实施例二的改进,是实施例二关于静音电平阈值细化。本实施例所述的静音电平阈值小于-20db。
对于通常的电视机来说,接收节目的声音的电平至少应大于-20db普通人耳才能够听到声音,小于-20db这个数值则听不到了,因此设置-20db为静音电平阈值。
最后应说明的是,以上仅用以说明本发明的技术方案而非限制,尽管参照较佳布置方案对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案(比如各个步骤的前后顺序、检测步骤中的检测法等)进行修改或者等同替换,而不脱离本发明技术方案的精神和范围。
Claims (6)
1.一种对实时信号或者流自动检测实现全自动收录的方法,所述方法使用的硬件包括:采集专用线路,与采集专用线路连接的插接在信号采集服务器上的视音频I/O板卡,所述的信号采集服务器上设置有信号检测采集器和硬盘,所述的信号检测采集器包括:信号检测装置、反馈装置、控制装置、采集装置,所述方法的步骤如下:
接收信号的步骤:用于视音频I/O板卡接收采集专用线路上的信号或流,不论是有效信号或流还是无效信号或流,所有信号或流一律接收并数字化处理成视音频数据,发送给信号检测采集器;
信号检测的步骤:用于信号检测采集器的信号检测装置通过信号检测法对来自视音频I/O板卡的视音频数据进行分析检测,得出信号或流是否有变化的结果,并将结果传输至反馈装置,信号或流变化的情况有两种:一种是无效信号或流变为有效信号或流,一种是有效信号或流变为无效信号或流;
反馈的步骤:用于反馈装置将信号检测装置得出的信号内容是否有变化的结果传输给控制装置;
控制的步骤:用于控制装置通过确认反馈装置发来的信号或流内容是否有变化的结果,控制采集装置采集或者停止采集,如果是“无效信号或流变为有效信号或流”则发出采集装置开始采集的指令,如果是“有效信号或流变为无效信号或流”则发出采集装置停止采集的指令;
信号采集的步骤:用于信号采集装置根据信号的格式所设置的参数,将来自视音频I/O板卡的音视频数据形成视音频文件并记录到硬盘上;
其特征在于:
信号检测的步骤中的信号检测法使用设置在信号检测装置中的特性匹配器,所述的特性匹配器中保存有连续帧变化差度阈值、彩条特征匹配样本、黑场阈值、静音电平阈值、无声频率阈值,所述信号检测法如下:
检测连续帧中的图像变化:如果连续帧各帧之间的图像差异大于连续帧变化差度阈值,则认定在确定的连续帧时间范围内图像是活动的,如果连续帧各帧之间的图像差异小于连续帧变化差度阈值,则认定在确定的连续帧时间范围内图像是不活动的,连续帧为静帧,由此确定信号或流是否变化;
检测连续帧中的声音:如果连续帧中的声音的电平大于静音电平阈值并且声音的频率在有声频率阈值范围之内,则认定连续帧有声,如果连续帧中的声音电平小于静音电平阈值或声音的频率在有声频率阈值范围之外,则认定连续帧时间范围内为无声或静音,由此确定信号或流是否变化;
检测连续帧中的彩条:如果连续帧中的图像与彩条特征匹配样本符合,则认定连续帧是彩条图像,如果连续帧中的图像与彩条特征匹配样本不符合,则认定连续帧不是彩条图像,由此确定信号或流是否变化;
检测连续帧中的黑场:对连续帧中的各帧图像上的各个检测点进行黑场检测,如果各个检测点的亮度均小于黑场阈值,则认定连续帧是黑场,如果连续帧中的检测点有一点大于黑场阈值,则认定连续帧不是黑场,由此确定信号或流是否变化;
检测还包括:黑场加静音、黑场加无声、静帧加静音、静帧加无声四种复合检测,以确定信号或流是否变化。
2.根据权利要求1所述的方法,其特征在于,所述的连续帧的长度在信号或流为PAL制式时为75帧~125帧,在信号或流为N制式时为90帧~150帧。
3.根据权利要求1所述的方法,其特征在于,所述的彩条特征匹配样本包括:
标清制式:
PAL/NTSC 75%、PAL/NTSC 100%、SMPTE_NTSC、Special;
高清制式:
1080/50i 中国/香港/新加坡/澳大利亚;
1080/60i 韩国/台湾;
1080/59.94i 北美;
CBS/NBC/日本;
720/60P 北美ABC;
720/24P北美FOX;
720/30P北美FOX;
720/25P;
以上高清制式彩条都包含75%和100%彩条。
4.根据权利要求1所述的方法,其特征在于,所述的黑场阈值在8bit的YUV信号设置为16。
5.根据权利要求1所述的方法,其特征在于,所述的有声频率阈值为大于20Hz,且小于20KHz。
6.根据权利要求1所述的方法,其特征在于,所述的静音电平阈值为-20db。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010582953 CN102098450B (zh) | 2010-12-10 | 2010-12-10 | 一种对实时信号或者流自动检测实现全自动收录的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010582953 CN102098450B (zh) | 2010-12-10 | 2010-12-10 | 一种对实时信号或者流自动检测实现全自动收录的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102098450A CN102098450A (zh) | 2011-06-15 |
CN102098450B true CN102098450B (zh) | 2012-12-26 |
Family
ID=44131297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010582953 Active CN102098450B (zh) | 2010-12-10 | 2010-12-10 | 一种对实时信号或者流自动检测实现全自动收录的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102098450B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104754324B (zh) * | 2015-01-09 | 2017-01-18 | 北京正奇联讯科技有限公司 | 视频彩条检测方法及装置 |
CN105025308B (zh) * | 2015-08-10 | 2019-03-19 | 北京中科大洋科技发展股份有限公司 | 一种基于碎片文件的ip流收录方法 |
CN105427870B (zh) * | 2015-12-23 | 2019-08-30 | 北京奇虎科技有限公司 | 一种针对停顿的语音识别方法和装置 |
CN113691755B (zh) * | 2021-08-17 | 2023-04-14 | 杭州海康威视数字技术股份有限公司 | 硬盘录像机及同轴音频数据的检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100370818C (zh) * | 2000-05-23 | 2008-02-20 | 皇家菲利浦电子有限公司 | 广告间歇检测装置 |
CN101072370A (zh) * | 2006-05-09 | 2007-11-14 | 罗燕海 | 一种防止非法信号进入广播电视播出设备的控制装置 |
CN101472099B (zh) * | 2007-12-26 | 2011-09-28 | 北京同步科技有限公司 | 节目定时收录系统 |
CN100586170C (zh) * | 2008-01-28 | 2010-01-27 | 四川金网通电子科技有限公司 | 一种非法干扰信号监控方法 |
CN101815222B (zh) * | 2009-02-25 | 2012-03-28 | 北大方正集团有限公司 | 一种视频彩条检测方法及装置 |
CN101783969A (zh) * | 2009-09-30 | 2010-07-21 | 西安交通大学 | 一种数字电视信号质量综合监测装置 |
-
2010
- 2010-12-10 CN CN 201010582953 patent/CN102098450B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102098450A (zh) | 2011-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11496231B2 (en) | Methods and apparatus to detect a blank frame in a digital video broadcast signal | |
CA2551998C (en) | Methods and apparatus to distinguish a signal originating from a local device from a broadcast signal | |
CN105979359B (zh) | 基于内容检测的视频输出控制方法及装置 | |
CN102098450B (zh) | 一种对实时信号或者流自动检测实现全自动收录的方法 | |
CN109862383A (zh) | 一种基于帧特征实现视频播放监测的方法及系统 | |
JPS6324786A (ja) | 放送セグメントの認識方法および装置 | |
CN102176758A (zh) | 一种视频质量诊断系统及其实现方法 | |
CN105100733A (zh) | 拼接显示装置的视频播放方法和系统 | |
CN110536174B (zh) | 一种对影院播放内容进行智能监播的方法及系统 | |
CN102176747A (zh) | 基于智能网络电视的视频监控系统 | |
CN105532011A (zh) | 同时显示和监控视频节目的方法和装置 | |
CN103079054A (zh) | 一种视频信号监控系统及监控方法 | |
CN102779539A (zh) | 视频万能转码系统和方法 | |
CN104954884B (zh) | 一种同屏展现实时报警和历史报警信息的方法和系统 | |
US20230119783A1 (en) | Methods and apparatus to monitor a split screen media presentation | |
US20140123166A1 (en) | Loudness log for recovery of gated loudness measurements and associated analyzer | |
CN103106911A (zh) | 视频显示装置、视频记录装置、视频处理装置以及方法 | |
CN102378035B (zh) | 一种机顶盒的测试方法及系统 | |
CN211908998U (zh) | 一种无线微波远程视频监控传输系统 | |
CN111372071B (zh) | 一种搜集视频图像异常信息的方法及装置 | |
CN112312208A (zh) | 多媒体信息的处理方法、装置、存储介质和电子设备 | |
CN104780359A (zh) | 一种机顶盒拷机自动检测、判断并录制的可编程测试系统及测试方法 | |
CN112822500B (zh) | 直播场景视频自动制作系统 | |
CN204697148U (zh) | 直播室综合监测系统 | |
CN104254002A (zh) | 一种用于多地多频道的实时广告监播系统与方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |