CN1968250A - 一种视频码流审查方法、系统和设备 - Google Patents

一种视频码流审查方法、系统和设备 Download PDF

Info

Publication number
CN1968250A
CN1968250A CNA2006100813110A CN200610081311A CN1968250A CN 1968250 A CN1968250 A CN 1968250A CN A2006100813110 A CNA2006100813110 A CN A2006100813110A CN 200610081311 A CN200610081311 A CN 200610081311A CN 1968250 A CN1968250 A CN 1968250A
Authority
CN
China
Prior art keywords
module
content
bit stream
examination
basic layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100813110A
Other languages
English (en)
Other versions
CN1968250B (zh
Inventor
罗忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN2006100813110A priority Critical patent/CN1968250B/zh
Priority to PCT/CN2007/001548 priority patent/WO2007131445A1/zh
Publication of CN1968250A publication Critical patent/CN1968250A/zh
Application granted granted Critical
Publication of CN1968250B publication Critical patent/CN1968250B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/166—Passage/non-passage of the television signal, e.g. jamming, band suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及多媒体通信技术，提供一种视频码流审查方法、系统和相关设备，以解决现有技术中如何基于分层编码技术方便实现视频码流深度内容审查的问题。本发明技术方案利用了分层编码机制的码流多层结构中基本层和增强层的关系，产生审查用码流，审查用码流包括基本层码流，或者还可以包括部分增强层码流，通过专用的审查设备审查并转发审查用码流，该专用审查设备在审查出审查用码流中包含有害内容时，切断向用户转发审查用码流，用户端无法解码重构原始视频流，从而达到控制有害内容传播的目的。本发明技术方案可以分别用于直播模式和存储内容播放模式。

Description

一种视频码流审查方法、系统和设备
技术领域
本发明涉及多媒体通信技术，特别涉及一种多媒体通信过程中，一种基于分层编码实现的视频码流审查方法、系统和相关设备。
背景技术
流媒体(Streaming Media)作为一种基本的多媒体通信形式，派生出了众多的多媒体通信业务形式：会议电视/可视电话，IPTV(Internet ProtocolTelevision，IP电视)，VOD(Video on Demand，视频点播)，即时通信等。因此流媒体将成为NGN(Next Generation Network，下一代网络)上的基本通信形式。尤其是近几年来国内外IPTV业务的快速兴起，流媒体在网络上的应用也在急速发展。
流媒体上的一类业务比如IPTV和VOD都是以提供视频音频内容为功能的。内容的范围非常广阔，包括影视节目、新闻、体育比赛、演唱会等。各个国家，尤其是我国，对于内容的安全和监控一直是高度重视的，都有相关的法律。从保护未成年人角度出发，各国也有相关的规定。同时，在运营商/ISP(Internet Service Provider，因特网服务提供商)和内容提供商那里也有这样的需求。国内即将大规模开展IPTV的运营，那么首先一个问题是如何保证有效的内容监控和过滤，实现有害内容的过滤。不解决这个问题，IPTV在国内的运营将无从谈起，国家相关部门也不可能发放牌照。因此，这个问题的解决对于推动IPTV产业的发展有着重要的意义。对于内容安全，通常的理解包括两个方面：
1、对于内容的保护，防止内容被没有权限的用户接收；
比如防止盗看电视节目等。对于这类入侵，有很多成熟技术，比如加密(Encryption)和加扰(Scrambling)、认证鉴权、以及数字版权管理DRM(DigitalRight Management)等；
2、对于有害和非法内容的入侵的防范，保护的对象是内容攻击的对象，通常是受众。
这需要对于内容进行实时的审查，借鉴目前在广播电视行业的做法，主要是把电视节目码流(一般都是按照DVB-T，Digital Video Broadcasting-Terrestrial传送的，视频音频的压缩格式是MPEG-2、MPEG＝Moving Picture ExpertsGroup，一个国际标准组织)在从节目源(比如卫星)传送到用户电视机/STB的路径上设置检查节点，进行人工审查。当然随着技术的进步，有些内容的审查可以有系统自动完成或者半自动(人机结合)来完成。人工审查一旦发现节目内容有问题，就要采取措施，停止该节目码流的传送，并且(多数情况下)用一个临时替代的节目来替代被中断的内容有害的节目，比如公益广告或者字幕公告等等。当然人工判断需要集合内容的上下文，并且反应和处置需要一定的时间，因此必须有一个延迟装置来提供这个延时，比如5秒钟。
所谓内容过滤，就是对于内容的某些属性进行处理和判断，这些内容属性可以包括：内容提供商的名字、内容的URL(Universal Resource Locator通用资源定位器，网址是一类重要的URL)、内容提供服务器的IP地址等，以及媒体流以数据包封装情况下的数据包的包头(packet header)信息、包中的信息等。可以看出，这种处理和过滤也是按照由浅入深的层次进行的。
现有技术一主要是依据内容的外部特征，或者叫做浅层特征来进行内容过滤。其中最典型的例子是URL过滤，其原理如图1所示：内容过滤设备位于网络上的核心网和边缘接入网之间，那么是来自内容源的媒体流到达接收端之间的必由之路关口，在实际中，可以和企业网的代理、NAT(Network AddressTranslator，网络地址翻译设备)/FW(Firewall，防火墙)放在同一个网络位置，对于宽带家庭用户的情况，可以和BAS(Broadband Administration System，宽带管理系统)/BRAS(Broadband Registration and Admission System，宽带注册和准入系统)、DISLAM放在同一个位置，或者放在ISP的POP(Point ofPresence，存在点)上。
过滤设备自己有内部数据库，存有多个内容源URL的信息，根据这个数据库就可以判断一部分内容源是否有害，并屏蔽有害内容源、放行无害内容源。同时，还有很多提供第三方服务的内容分级服务商，他们的数据库更加丰富和专业，内容过滤设备也可以和这种第三方服务商连接，使用他们的服务来进行URL过滤。
现有技术一存在如下问题：
1、错杀问题：根据URL过滤，可能把无害的内容过滤掉了，比如有的网站提供视频节目点播，其中有些节目是有害的，但是有些是健康的电影，仅根据URL无法区分；
2、错放问题：有些URL可能因为在分级体制中被认为是资质优良的网站，可能也会出问题(被黑客攻击冒充其网址，或者自己有违法的企图等)；
3、采用URL过滤，通常也还需要第三方的评级体系，这样的评级体系是有的，有些收费的评级服务商专门提供评级服务。但是他们的结果也不能完全准确和穷尽网络上所有的内容。并且网络上的内容也是经常变化的，任何一个评级体系也不可能及时跟上这些变化。
对于要求非常高的应用场景，比如面向全国公众的IPTV，如果一旦有有害内容尤其是政治敏感内容入侵成功，造成的危害是巨大的。必须做到万无一失，因此采用浅层次的过滤都是不可靠的。必须采用最深层次的内容过滤，即视频音频数据本身的过滤，比如对于图像的识别，识别其中的有害场景(暴力、色情等)、有害文字信息(字幕)、特定人物的面孔等等。
要达到很高的过滤正确率，必须深入到最深的层次，即内容数据本身。这个方面属于目前研究热点，深度包过滤DPF(Deep Packet Filtering)。
现有技术二深度DPF基于人工的深度内容设别，这种情况下，内容过滤设备能够对于媒体流进行解码并将内容播放出来(假设加密不是问题，因为加密的问题可以通过通信设备的合法监听要求解决)，供人工监控者审查。如果发现有问题，监控者立即采取措施，切断有害内容，同时切换到一段无害的内容比如公益广告等。当然在内容过滤设备之后必须有一个相当大容量的延迟设备，来延迟有害内容，给监控人员一定的判断和反应处置时间(比如5秒)。当然，这个过程目前也可以采用自动或者人机结合半自动的方法实现，其实现原理如图2所示。
现有技术二的基本思想是对的，并且在广播电视领域实际应用了多年，效果还是不错的。但是要用于IP(Internet Protocol)网络上的流媒体内容服务的内容审查，还需要进行相当多的改进和完善。问题主要有：
1、IP网络的情况比广播电视网络在结构和网络拓扑上要复杂得多，节目也要多得多，被审查的节目如果都传送到网络中心来，则占用过多通信资源；
2、IP网络的内容源多、节目多，如果在进行审查时都进行集中的解码处理，则解码的处理量太大，对审查设备的容量要求过高，现有设备无法满足。
分层视频编码(layered video coding)是一种把视频数据流进行分层压缩编码的方法，主要思想是输出多个编码层，最主要的部分是基本层(base layer)，基本层之上有多个增强层(enhancement layer)，基本层和增强层可以分开发送(可以走不同的网络路径)。在接收端，基本层可以独立解码重构出基本层视频，但是增强层必须依赖于基本层和/或者其下面的增强层，才能解码重构出各自对应的视频。在接收端，解码重构出来的基本层和各个增强层视频码流按照由具体分层编码方法规定的规则进行叠加，从而得到总的视频码流。分层编码有很多好处，最显著的是能够增强流媒体业务对于各种网络条件(静态的差别和动态的变化)的适应性，比如节目源可以输出一个基本层其比特率为384kpbs，和一个增强层其比特率为768kbps，那么如果用户的接入带宽大于1024kbps，就可以接收基本层加上增强层，如果小于1024kbps，只能接收基本层。这是异质(heterogeneous)网络存在静态差异的情况。网络更加普遍的情况是动态变化，比如因为网络拥塞，造成带宽的降低，原来用户可以接收基本层和增强层，但是带宽降低后，只能接收基本层。但是用户仍然能够看，如果不采用分层编码，只有一个层，有可能带宽降低后，用户就无法收看了。
如图3所示，图3给出了分层视频编码的原理示意图，该图概括了当前各种主要的分层编码技术。一般来说，有三种不同的分层编码机制：
1、时间分层编码
丢弃一些编码帧，降低单位时间内的编码帧数，也就是所谓的帧率，从而达到降低比特率的目的。如果这些帧是所谓的双向预测帧(也叫做B帧)的话，那么这些B帧可以组成一个增强层，因为B帧的编码和解码依赖其它帧，比如帧内编码帧(I帧)和预测编码帧(P帧)，但是其它帧并不依赖B帧。因此刚好符合基本层和增强层之间的依赖关系。因此形成时间分层编码的方法是：基本层编码只包含I帧和P帧；然后在这些I帧和P帧之间通过双向预测的方法产生B帧，从而形成增强层，根据需要可以加入任意数量的B帧。
2、SNR分层编码
基本层的编码质量可以比较低，从而导致比较低的重够图像的信号噪声比(SNR＝Signal-to-Noise Ratio)。一般来说，通过增大量化参数(QP＝QuantizationParameter)进行粗量化，可以降低基本层的SNR，得到较低的比特率。而基本层的重构残差被送入增强层进行编码。在增强层中，如果进行帧内编码，得到EI帧，如果进行帧间预测编码，得到EP帧。
3、空间分层编码
空间分层编码和SNR分层编码类似，只是在由基本层重构残查形成增强层编码输入数据之前，要进行空间上的放大，在视频编码的技术语言中叫做上采样(Upsampling)。一般情况，导致图像在水平和垂直方向上各自放大kh，kv倍。当然，一般情况下，kh，kv相等。否则图像变形，比例失调。但是在特殊应用中，可以不相等。典型的应用是把基本层的图像在水平和垂直方向各自放大2倍，如果基本层是QCIF图像，那么增强层就是CIF图像。
对应于图3，为了概括以上三种机制，引入了编码端的分解变换T，和解码端的合成变换R。只要定义合适的变换T和R，不同的分层编码都适用于这个基本框架。比如对于空间分层编码，分解变换T就是求差获得重构残差，然后再进行上采样；而合成变换R首先把低层的重构帧进行上采样再和高层的重构帧进行叠加。
以上三种基本的机制，广泛应用于ITU-T H.263/H.263+、H.264、MPEG-2、MPEG-4等主要的视频压缩编码标准中。在这三种基本机制之上，还有其它变种技术，比如所谓的FGS(Fine Granularity Scalability，精细粒度分层编码)，就是在增强层不是按照常规的编码方法，而是对于运动预测残差进行DCT(Discrete Cosine Transform离散余弦变换)后，按照比特平面(bit plane)方式进行编码，得到可以为任意位置进行截断都能正常解码的所谓嵌入式码流，从而可以为增强层提供非常细的带宽粒度和更好的网络条件适应性。但是因为精细粒度分层编码需要计算复杂，因此其实用性较低。
发明内容
本发明提供一种视频码流审查方法、系统和相关设备，以解决现有技术中如何基于分层编码技术实现视频码流深度内容审查的问题。
为解决上述问题，本发明提供如下技术方案：
一种视频码流审查方法，内容源将原始视频码流进行分层编码为基本层码流和至少一层增强层码流，在传输所述视频码流时，所述方法包括如下步骤：
A、将所述基本层码流转发给审查设备，将所述增强层码流进行延迟处理后发送给用户接收端；
B、审查设备审查所述基本层码流中是否包含有害内容，如果否再将该基本层码流转发给用户接收端，否则切断向用户接收端转发该基本层码流。
其中：直播模式时，所述步骤A中，内容源直接发送或转发分层编码的相应码流；所述步骤B中，审查设备根据需要的视频质量，通知内容源相应提高/降低所述基本层码流的编码质量，或者在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流。
存储内容播放模式时，所述步骤A中，所述内容源先将产生的所述基本层码流和增强层码流分别存储到对应的基本层码流轨道和增强层轨道；流媒体服务器从所述基本层码流轨道中读出所述基本层码流并转发给审查设备，读出所述增强层码流并进行延迟处理后发送给用户终端；所述步骤B中，审查设备根据需要的视频质量，通知流媒体服务器在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流。
审查设备的审查方法包括：解码所述基本层码流图像并输入自动识别装置，自动识别装置将预存的有害内容数据库中的有害内容与所述基本层码流图像中包含的相关内容进行比较分析来进行有害内容的自动识别；和/或将所述基本层码流图像显示给监控者来进行有害内容的人工识别。
当人工识别和自动识别同时进行时，如果二者的识别结果出现不一致，则优先执行自动识别装置或监控者的判决结果。
或者，当人工识别和自动识别同时进行时，由自动识别装置和监控者分别根据预先设定的规则，为识别出的有害内容给出相应的有害程度分值，然后对两个分值进行加权处理后得到最终执行的判决结果，当仅收到一方为认定的有害内容给出的分值时，默认另一方为该内容给出的分值为零。
具体所述的加权处理方法为：
               SI＝(WM×SM+WH×SH)/(WM+WH)
其中，WM和WH表示自动识别装置和监控者的权值，WM和WH之间的相对大小表示了对识别结果的信任度，SM和SH分别自动识别装置和监控者给出的分数，如果SI大于一个给定值，则判决结果为有害，否则判决结果为无害，WM、WH和给定值分别根据经验值设定。
所述方法中，审查设备切断转发所述基本层码流的同时，启动转发备用无害视频码流。
所述方法还同时包括：审查设备录制并保存指定时段的基本层码流和用于增强审查效果和准确性的增强层码流。
所述方法还同时包括：将有害内容的识别情况记录在日志中并生成日志报告。
所述方法中，用户接收端接收到所有增强层码流和基本层码流时，解码重构所述原始视频码流。
当基于空间分层视频编码方法时，内容源先根据设定比例对原始视频码流进行缩小处理后，再进行分层编码。
本发明还提供一种视频码流审查系统，包括：视频输入设备、视频编码设备和流媒体服务器，还包括审查设备；
所述视频编码设备将视频输入设备采集的原始视频码流的分层编码为基本层码流和至少一个增强层码流，并将所述基本层码流通过通信网络转发给审查设备，同时将所有增强层码流经进行延迟处理后通过通信网络发送给用户接收端；审查设备审查所述基本层码流中是否包含有害内容，如果否再通过通信网络将该基本层码流转发给用户接收端，否则切断向用户接收端转发该基本层码流。
其中，所述视频编码设备包括：
编码器，编码所述基本层码流和增强层码流，将所述基本层码流直接转发给审查设备；
第一延迟模块，将所述增强层码流进行延迟处理后发送给用户接收端。
所述审查设备还包括：通信模块，通信连接视频编码设备，审查设备根据需要的视频质量，通知视频编码设备相应提高/降低所述基本层码流的编码质量，或者在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流，并同时将用于增强审查效果和准确性的增强层码流进行延迟处理后转发给用户接收端。
所述视频码流审查系统还包括：视频内容数据库，保存所述基本层码流和增强层码流，其中，所述基本层码流保存在设定的基本层码流轨道中，所述增强层码流保存在设定的增强层码流轨道中；所述流媒体服务器包括：码流读取模块和第二延迟模块，码流读取模块从所述基本层码流轨道中读出所述基本层码流并转发给审查设备，从所述增强层码流轨道中读取增强层码流并通过所述第二延迟模块进行延迟处理后发送给用户接收端。
所述审查设备还包括：通信模块，通信连接视频编码设备流媒体服务器，审查设备根据需要的视频质量，通知流媒体服务器在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流，并同时将用于增强审查效果和准确性的增强层码流进行延迟处理后转发给用户接收端。
所述审查设备包括：
第三延迟模块，对接收到的所有码流进行延迟处理后转发给用户接收端；
审查模块，审查接收到的所有码流，在审查出该码流中包含有害内容时输出相应的控制信号；
开关模块，连接在所述第三延迟模块之后；
主控模块，连接在所述审查模块和开关模块之间，根据所述控制信号触发断开所述开关模块。
所述审查模块中具体包括人工识别子模块和/或自动识别子模块，其中：
所述人工识别子模块中具体包括：解码单元、增强处理单元、显示单元和指令接收单元，所述解码单元解码接收到的所有码流图像，所述图像通过增强处理单元处理后在显示单元上显示给监控者，监控者人工识别出该图像中包含有害内容时，通过所述指令接收单元触发所述主控单元输出所述控制信号；
所述自动识别子模块中具体包括：自动识别单元和有害内容数据库，自动识别单元根据所述有害内容数据库中的有害内容与接收到的所有码流中包含的相关内容进行对比分析来进行有害内容的自动识别，并在识别出有害内容时自动触发所述主控单元输出所述控制信号。
当所述审查模块中同时包括人工识别子模块和自动识别子模块时，该审查模块中还包括：审查方式切换模子块，根据主控模块的控制选择启动所述人工识别子模块和/或自动识别子模块；以及判决子模块，同时接收所述指令接收单元和自动识别单元的输出信号，并根据设定的判决原则判定是否触发所述主控单元输出所述控制信号。
所述审查模块中还包括以下主要结构：
判决原则存储子模块，连接在所述判决子模块和主控模块之间，存储通过主控模块输入的判决原则。
内容录制模块，连接所述第三延迟模块，用于录制指定时段该第三延迟模块输出的所有码流。
所述审查设备还包括：
日志记录模块，分别连接其它模块或子模块，用于生成并输出所述审查设备的运行状态日志；
决策支持知识库，连接主控模块，用于存储特定或临时的有害内容文字、人脸图像以及相关的法律法规文件。
视频替换内容库，连接在所述开关模块，存储无害备用视频内容。
本发明同时还提供用于上述系统的一种视频编码设备、流媒体服务器和审查设备。
本发明的有益效果如下：
本发明技术方案利用了分层编码机制的码流多层结构中基本层和增强层的关系，产生审查用码流，审查用码流包括基本层码流，或者还可以包括部分增强层码流，通过专用的审查设备审查并转发审查用码流，该专用审查设备在审查出审查用码流中包含有害内容时，切断向用户转发审查用码流，用户端的无法解码重构原始视频流，从而达到控制有害内容传播的目的；基于分层编码技术形成的审查用码流的数据量较少，不会因为转发过程对系统造成负担；
进一步，可以在分层编码中，灵活设置各层的比特率，只要总的比特率达到一定水平，重构的视频码流的质量就能达到较高水平。因此，为了降低审查用码流造成的开销，可以将基本层码流设置得较低，已达到进一步减轻系统负担的效果；
本发明技术方案可以分别用于直播模式和存储内容播放模式，为现有基于分层编码技术实现的流媒体业务提供了通用的深度内容审查方案，保证了目前IPTV、数字电视等流媒体业务的内容安全，有效防止了有害内容通过流媒体业务的扩散。
附图说明
图1为现有基于内容的URL进行过滤的原理示意图；
图2为现有流媒体内容的深度审查原理示意图；
图3为分层视频编码原理示意图；
图4为实现本发明技术构思的审查系统结构示意图；
图5和图6为本发明所述审查设备的一种结构示意图；
图7为本发明技术方法基于空间分层编码技术实现时的分层编码原理示意图。
具体实施方式
本发明基于现有分层编码技术。通过基本层来产生审查码流，由审查设备对于审查码流进行审查，审查没有问题时，审查设备再向接收用户接收端转发该基本层码流，增强层码流则不经过审查设备，直接发送给用户接收端，用户终端接收到所有基本层加上增强层后，可以进行解码重构总的视频码流并收看节目，用户终端收不到基本层，就无法解码重构收看节目。
实现本发明技术构思的审查系统结构示意图如图4所示，主要包括内容源的相关设备、内容数据库、流媒体服务器。审查设备和用户接收端设备，其中：
实线部分为直播模式的审查实现流程，直播模式下，内容源直接将审查用的基本码流直接发送给通过流媒体服务器发送给内容审查设备，剩余增强码流延迟发送给用户接收端，审查设备审查基本码流中不包含有害内容时，再将基本码流转发给用户接收端，如果基本码流中不包含有害内容，则不将基本码流转发给用户接收端，这样，用户接收端收不到基本码流时，无法解码重构原始视频码流。这一过程中，审查设备可以根据需要的视频质量，通知内容源相应提高/降低基本层码流的编码质量，或者在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流。如果是后者，相应用于审查的码流中还包括一部分增强码流。
虚线部分为存储内容播放模式的审查实现流程，存储内容播放模式下，内容源先将产生的基本层码流和增强层码流分别存储到对应的基本层码流轨道和增强层轨道；流媒体服务器再播放该视频内容时，从基本层码流轨道中读出基本层码流并转发给审查设备，读出增强层码流并进行延迟处理后发送给用户终端；同样，这一过程中，审查设备根据需要的视频质量，通知流媒体服务器在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流，相应用于审查的码流中还包括一部分增强码流。
下面详细说明该系统主要包括的如下几部分设备的具体结构：
一、内容源
内容源设备包括采集视频码流的视频输入设备和视频编码设备，该视频输入设备一般为摄像机，本发明的技术构思基于分层编码技术实现，因此视频编码设备的基于分层编码技术对原始视频码流编码为基本码流和至少一层增强码流。
仍参阅图4所示，视频编码设备的主要包括以下结构：
编码器，编码器将原始视频流分层编码为基本层码流和至少一层增强层码流；
直播模式时，直接通过通信网络向流媒体服务器输出基本层码流，通过第一延迟模块经进行延迟处理后输出增强层码流；或者向流媒体服务器直接输出基本层码流和部分增强层码流，通过第一延迟模块进行延迟处理后输出剩余的增强层码流。
流媒体服务器将审查用的码流转发给审查设备，将非审查用的码流直接发送给用户接收端。
当然，直播模式下，可以同时将视频内容存储到内容数据库中，存放方法为：将基本码流存放在设定的基本层码流轨道中，将增强层码流存放在设定的增强层层码流轨道中。
二、流媒体服务器
在直播模式下，流媒体服务器仅承担转发功能，不进行延迟处理，在播放存储内容模式下，流媒体服务器需要对非审查用的进行延迟处理。
仍参阅图4所示，流媒体服务器包括视频码流读取模块，还包括连接视频码流读取模块的第二延迟模块，视频码流读取模块从外部连接的内容数据库中读取基于分层编码的基本层码流和至少一层增强层码流，然后：
直接输出基本层码流，通过第二延迟模块经进行延迟处理后输出增强层码流；或者
直接输出基本层码流和部分增强层码流，通过第二延迟模块经进行延迟处理后输出剩余的增强层码流。
三、审查设备
如图5，基于分层编码实现视频码流内容审查的审查设备，包括：通信模块，通信连接其他网络设备；还包括：
第三延迟模块，接收基本层码流、或者基本层码流和部分增强层码流，并对接收到的所有码流进行延迟处理后转发给用户接收端；
审查模块，审查接所有延迟转发的码流，在审查出码流中包含有害内容时输出相应的控制信号；
开关模块，连接在第三延迟模块之后；
主控模块，连接在审查模块和开关模块之间，根据控制信号触发断开开关模块。
如图6所示，审查模块中具体包括人工识别子模块和/或自动识别子模块：
人工识别子模块中具体包括：解码单元、增强处理单元、显示单元和指令接收单元，解码单元解码接收到的所有码流图像。通过增强处理单元处理后在显示单元上显示给监控者，监控者人工识别出该图像中包含有害内容时，通过指令接收单元触发主控单元输出控制信号；
自动识别子模块中具体包括：自动识别单元和有害内容数据库，自动识别单元根据有害内容数据库中的有害内容与接收到的所有码流中包含的相关内容进行对比分析来进行有害内容的自动识别，并在识别出有害内容时自动触发主控单元输出控制信号。
当审查模块中同时包括人工识别子模块和自动识别子模块时，该审查模块中还包括：
审查方式切换子模块，根据主控模块的控制选择启动人工识别子模块和/或自动识别子模块；
判决子模块，同时接收指令接收单元和自动识别单元的输出信号，并根据设定的判决原则判定是否触发主控单元输出控制信号；
判决原则存储子模块，连接在判决模块和主控模块之间，存储通过主控模块输入的判决原则；
决策支持知识库，连接主控模块，用于存储特定或临时的有害内容文字、人脸图像，例如刚收到的恐怖分子图像等，以及相关的发了法规文件。
审查设备还包括：内容录制模块，连接第三延迟模块的输出端，用于录制指定时段该第三延迟模块输出的所有码流。
审查设备还包括：日志记录模块，分别连接其它模块或子模块，用于生成并输出审查设备的运行状态日志。
审查设备还包括：视频替换内容库，连接在开关模块，存储无害备用视频内容。
上述视频编码设备、流媒体服务器和审查设备组成的审查系统如图4所示，内容源将原始视频码流进行分层编码为基本层码流和至少一层增强层码流，在直播模式下，本发明技术方案实施例的流程包括如下步骤：
1、内容源将基本层码流转发给审查设备，将增强层码流进行延迟处理后发送给用户接收端；
2、审查设备审查基本层码流中是否包含有害内容，如果否再将该基本层码流转发给用户接收端，否则切断向用户接收端转发该基本层码流。
并且，直播模式时，审查设备根据需要的视频质量，通知内容源相应提高/降低基本层码流的编码质量，或者在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流。
在存储内容播放模式下，内容源先将产生的基本层码流和增强层码流分别存储到对应的基本层码流轨道和增强层轨道；流媒体服务器从基本层码流轨道中读出基本层码流并转发给审查设备，读出增强层码流并进行延迟处理后发送给用户终端；
审查设备可以根据需要的视频质量，通知流媒体服务器在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流。
其中，审查设备的审查方法包括：
解码基本层码流图像并输入自动识别装置，自动识别装置将预存的有害内容数据库中的有害内容与基本层码流图像中包含的相关内容进行比较分析来进行有害内容的自动识别；和/或
将基本层码流图像显示给监控者来进行有害内容的人工识别。
当人工识别和自动识别同时进行时，如果二者的识别结果出现不一致，则优先执行自动识别装置或监控者的判决结果。
当人工识别和自动识别同时进行时，由自动识别装置和监控者分别根据预先设定的规则，为识别出的有害内容给出相应的有害程度分值，然后对两个分值进行加权处理后得到最终执行的判决结果，当仅收到一方为认定的有害内容给出的分值时，默认另一方为该内容给出的分值为零。
上述加权处理方法为：
            SI＝(WM×SM+WH×SH)/(WM+WH)
其中，WM和WH表示自动识别装置和监控者的权值，WM和WH之间的相对大小表示了对识别结果的信任度，SM和SH分别自动识别装置和监控者给出的分数，如果SI大于一个给定值，则判决结果为有害，否则判决结果为无害，WM、WH和给定值分别根据经验值设定。
本发明中，有害内容至少包括如下之一：有害图像、有害叠加文字或符号、特定人脸图像。
本发明中，审查设备切断转发基本层码流的同时，启动转发备用无害视频码流。
审查设备还可以录制并保存指定时段的基本层码流和用于增强审查效果和准确性的增强层码流；并将有害内容的识别情况记录在日志中并生成日志报告。
当基于空间分层视频编码方法时，内容源先根据设定比例对原始视频码流进行缩小处理后，再进行分层编码。
本发明技术方案主要基于现有三种主流分层编码技术实现：
1、基于时间分层视频编码方法
对于基本层设置比较低的帧率，比如5帧每秒(5fps)，按照帧内编码模式和帧间预测编码模式进行编码产生基本层，然后再按照双向预测模式编码，产生增强层。使得增强层加上基本层达到25fps(对于PAL制式)，30fps(对于NTSC制式)。
2、基于SNR分层视频编码方法
控制基本层编码的量化参数等影响因素，使得基本层的比特率低于Rb(比如128kbps)，再形成第一增强层，或者叫做主增强层(Prime EnhancementLayer)。比特率为Rpe(比如384kbps)，然后在主增强层基础上，在形成若干个辅助增强层(Secondary Enhancement Layer)，起比特率分别为Rse1、Rse2、......、Rsek......。
因为基本层在本方面中，仅仅是为了提供该节目的审查，只要能够看清图像轮廓等基本信息就可以了，比特率要尽可能低，用户单独接收到基本层无法满足收看节目要求，因此必须结合主增强层才能正常收看节目。当然如果网络带宽充裕，用户可以接受更多甚至全部增强层，观看高清晰度的节目。在以上的例子中，可以设置Rb＝128kbps，Rpe＝384kbps，Rse1＝512kbps。那么如果用户是ADSL(Asymmetric Digital Subscriber Line)接入宽带用户，可以保证512kbps，则可以接收到基本层和主增强层。如果用户是Ethernet接入宽带用户，则可以接收基本层和全部增强层，得到最好的视频质量。
3、基于空间分层视频编码方法
为了降低基本层的比特率，在基于空间分层编码的审查码流产生方案中，本发明首先对于原始视频数据流进行缩小，技术术语叫做下采样(Down-sampling)，导致图像在水平和垂直方向上各自缩小kh，kv倍。这样做的好处是进一步降低审查码流的比特率，比如在SNR分层情况下，如果128kbps是能够提供审查需要的视频质量的比特率，如果我们在空间分层编码中，首先把图像降低到原来1/4大小(水平和垂直方向各自降低2倍)，那么应该在32kbps左右就可以提供审查需要的视频质量了。原理如图7所示。其中变换U表示求差后再进行上采样。变换D表示下采样。
在流媒体业务中，两种最重要的业务服务模式是存储内容(storage)的播放和现场直播(live)。
1、存储内容播放情况
视频内容事先经过压缩编码以视频流媒体文件形式存储在内容数据库中，在视频文件内部，基本层码流和增强层码流可以分别放置在两个不同的媒体轨道上，原理参阅图4所示，首先由视频编码设备产生基本层编码码流和各个增强层编码码流，然后写入到视频文件并存储到内容数据库中。
在需要播放时，流媒体服务器从视频文件中分别读取审查轨道和增强层轨道的视频数据，然后将增强层数据通过一个延迟时间可以设定的延迟环节，在发送到网络上去，而审查码流直接发送，不需要经过延迟。
流媒体服务器(streaming server)从文件中读出数据，按照文件中的辅助信息进行打包和发送这些包，辅助信息一般提供关于打包的规则，和文件中多个媒体轨道(media track，比如视频是一个轨道，音频一个轨道，文本一个轨道等等)之间的同步信息，从而流媒体服务器知道在任何一个特定时间段[t，t+Δt]内应该如何从哪些轨道上读出哪些和多少数据进行打包和发送。这种情况下，视频编码器负责进行分层编码，然后生成视频文件。流媒体服务器负责从视频文件中读取数据，按照辅助信息的指示来进行打包发送：
(1)提取审查用码流的数据进行打包发送，发送到审查设备；
这里，审查用码流可能仅包括基本层码流、或者包括基本层码流和部分增强审查效果和准确性的增强层码流，根据审查设备的指示增加或减少增强层码流的具体数量。
(2)提取非审查用的增强层码流进行打包发送，直接发送到用户终端；
(3)保持各个媒体轨道之间的时间同步。
(4)要求对于审查用码流打包发送在时间上领先增强层码流一个提前量，比如5秒或者10秒。这是因为审查码流比增强层码流要多经过一个审查过程进行审查，尤其是人工审查需要一定的提前量，以便一旦审查到有害内容，有足够多时间来采取措施。这种提前量可以通过把增强层码流延迟相应的时间来实现，因为所谓提前和落后都是相对的。
2、直播情况
视频编码器直接将编码后的视频流按照审查用码流(基本码流或基本码流和部分增强码流)和非审查用码流(全部或剩余部分增强码流)区分开来打包发送给流媒体服务器，流媒体服务器只要进行转发就可以了。编码器在输出非审查视频编码码流时通过一个延迟环节延迟设定的时间，再发送到网络上去，而审查用码流直接发送，不需要经过延迟。
内容审查设备一旦收到来自流媒体服务器的审查视频流，就要对其进行审查，审查可以有两种基本方式：
1、人工审查：就是通过人工对于解码并且显示在屏幕上的视频审查内容进行审查，凭借审查人员的经验，按照国家的法律法规或者社会约定的一些原则来判断被审查内容是否有害。
2、自动审查：通过机器进行自动的内容审查。有很多种方法，比如通过视频镜头的识别处理，识别特定的有害场景，比如暴力色情等；也可以通过提取视频中的叠加文字比如字幕等来进行文字的识别，来判定是否存在内容有害的文字信息；也可以进行人脸的识别来发现是否有特定人物出现在画面中，比如恐怖分子、台独分子等的反动宣传等。这些自动审查，在最新的技术进步推动下，已经日趋成熟和实用，并且很多方法，比如叠加文字的定位和识别不需要对于审查码流进行解码就能够进行，因此可以大大提高效率，其实用性进一步提高。
当然有的时候，也可以进行人工审查和机器审查同时进行，再把其结果进行融合。比如一种识别结果不可靠的时候，可能需要两者同时进行来融合。比如，如果审查码流质量较差，显示图像模糊，人眼无法清晰辨别的时候，可以借助机器；还有一种情况，比如出现了一个人工审查人员认为可以的人脸，但是无法判定是否为需要控制的对象，借助自动审查来识别，如果决策支持知识库中有该人的脸，就可以准确识别其姓名属性等。
对于两种审查的结果要进行融合，可以采用多种方式来进行信息的融合。比如加权平均等方法。
在进行了审查后，如果发现内容没有问题，就让审查码流通过，转发到用户终端，用户终端结合收到的多个增强层进行解码重构，得到可以观看的内容视频。
如果审查发现有问题，那么需要对于有害内容卡断，从而用户终端的节目收视就会中断，为了弥补“黑屏”的问题。内容审查设备可以采发送替代视频内容给用户终端，比如公益广告等，来自内容审查设备中的视频替换内容库。同时对于有害的内容还要进行录制，以备后期追查，法律取证等。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (30)

1、一种视频码流审查方法，内容源将原始视频码流进行分层编码为基本层码流和至少一层增强层码流，在传输所述视频码流时，所述方法包括如下步骤：
A、将所述基本层码流转发给审查设备，将所述增强层码流进行延迟处理后发送给用户接收端；
B、审查设备审查所述基本层码流中是否包含有害内容，如果否再将该基本层码流转发给用户接收端，否则切断向用户接收端转发该基本层码流。
2、如权利要求1所述的方法，其特征在于，直播模式时，
所述步骤A中，内容源直接发送或转发分层编码的相应码流；
所述步骤B中，审查设备根据需要的视频质量，通知内容源相应提高/降低所述基本层码流的编码质量，或者在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的部分增强层码流。
3、如权利要求1所述的方法，其特征在于，存储内容播放模式时，
所述步骤A中，所述内容源先将产生的所述基本层码流和增强层码流分别存储到对应的基本层码流轨道和增强层轨道；流媒体服务器从所述基本层码流轨道中读出所述基本层码流并转发给审查设备，读出所述增强层码流并进行延迟处理后发送给用户终端；
所述步骤B中，审查设备根据需要的视频质量，通知流媒体服务器在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流。
4、如权利要求1所述的方法，其特征在于，步骤B中，审查设备的审查方法包括：
解码所述基本层码流图像并输入自动识别装置，自动识别装置将预存的有害内容数据库中的有害内容与所述基本层码流图像中包含的相关内容进行比较分析来进行有害内容的自动识别；和/或
将所述基本层码流图像显示给监控者来进行有害内容的人工识别。
5、如权利要求4所述的过滤方法，其特征在于，当人工识别和自动识别同时进行时，如果二者的识别结果出现不一致，则优先执行自动识别装置或监控者的判决结果。
6、如权利要求4所述的过滤方法，其特征在于，当人工识别和自动识别同时进行时，由自动识别装置和监控者分别根据预先设定的规则，为识别出的有害内容给出相应的有害程度分值，然后对两个分值进行加权处理后得到最终执行的判决结果，当仅收到一方为认定的有害内容给出的分值时，默认另一方为该内容给出的分值为零。
7、如权利要求6所述的过滤方法，其特征在于，所述的加权处理方法为：
              SI＝(WM×SM+WH×SH)/(WM+WH)
其中，WM和WH表示自动识别装置和监控者的权值，WM和WH之间的相对大小表示了对识别结果的信任度，SM和SH分别自动识别装置和监控者给出的分数，如果SI大于一个给定值，则判决结果为有害，否则判决结果为无害，WM、WH和给定值分别根据经验值设定。
8、如权利要求1所述的过滤方法，其特征在于，所述的有害内容至少包括如下之一：有害图像、有害叠加文字或符号、特定人脸图像。
9、如权利要求1所述的过滤方法，其特征在于，所述步骤B中，审查设备切断转发所述基本层码流的同时，启动转发备用无害视频码流。
10、如权利要求2或3所述的过滤方法，其特征在于，所述方法还同时包括：审查设备录制并保存指定时段的基本层码流和用于增强审查效果和准确性的增强层码流。
11、如权利要求1所述的过滤方法，其特征在于，所述方法还同时包括：将有害内容的识别情况记录在日志中并生成日志报告。
12、如权利要求1所述的方法，其特征在于，步骤B之后还包括如下步骤：用户接收端接收到所有增强层码流和基本层码流时，解码重构所述原始视频码流。
13、如权利要求1所述的方法，其特征在于，当基于空间分层视频编码方法时，内容源先根据设定比例对原始视频码流进行缩小处理后，再进行分层编码。
14、一种视频码流内容审查的系统，包括：视频输入设备、视频编码设备和流媒体服务器，其特征在于，所述视频码流审查系统还包括审查设备；
所述视频编码设备将视频输入设备采集的原始视频码流的分层编码为基本层码流和至少一个增强层码流，并将所述基本层码流通过通信网络转发给审查设备，同时将所有增强层码流进行延迟处理后通过通信网络发送给用户接收端；审查设备审查所述基本层码流中是否包含有害内容，如果否再通过通信网络将该基本层码流转发给用户接收端，否则切断向用户接收端转发该基本层码流。
15、如权利要求14所述的系统，其特征在于，所述视频编码设备包括：
编码器，编码所述基本层码流和增强层码流，将所述基本层码流直接转发给审查设备；
第一延迟模块，将所述增强层码流进行延迟处理后发送给用户接收端。
16、如权利要求15所述的系统，其特征在于，所述审查设备还包括：通信模块，通信连接视频编码设备，审查设备根据需要的视频质量，通知视频编码设备相应提高/降低所述基本层码流的编码质量，或者在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流，并同时将用于增强审查效果和准确性的增强层码流进行延迟处理后转发给用户接收端。
17、如权利要求14所述的系统，其特征在于，
所述视频码流审查系统还包括：视频内容数据库，保存所述基本层码流和增强层码流，其中，所述基本层码流保存在设定的基本层码流轨道中，所述增强层码流保存在设定的增强层码流轨道中；
所述流媒体服务器包括：码流读取模块和第二延迟模块，码流读取模块从所述基本层码流轨道中读出所述基本层码流并转发给审查设备，从所述增强层码流轨道中读取增强层码流并通过所述第二延迟模块进行延迟处理后发送给用户接收端。
18、如权利要求17所述的系统，其特征在于，所述审查设备还包括：通信模块，通信连接视频编码设备流媒体服务器，审查设备根据需要的视频质量，通知流媒体服务器在转发该基本层码流的同时，增加/减少转发用于增强审查效果和准确性的增强层码流，并同时将用于增强审查效果和准确性的增强层码流进行延迟处理后转发给用户接收端。
19、如权利要求14-18任意之一所述的系统，其特征在于，所述审查设备包括：
第三延迟模块，对接收到的所有码流进行延迟处理后转发给用户接收端；
审查模块，审查接收到的所有码流，在审查出该码流中包含有害内容时输出相应的控制信号；
开关模块，连接在所述第三延迟模块之后；
主控模块，连接在所述审查模块和开关模块之间，根据所述控制信号触发断开所述开关模块。
20、如权利要求19所述的系统，其特征在于，所述审查模块中具体包括人工识别子模块和/或自动识别子模块，其中：
所述人工识别子模块中具体包括：解码单元、增强处理单元、显示单元和指令接收单元，所述解码单元解码接收到的所有码流图像，所述图像通过增强处理单元处理后在显示单元上显示给监控者，监控者人工识别出该图像中包含有害内容时，通过所述指令接收单元触发所述主控单元输出所述控制信号；
所述自动识别子模块中具体包括：自动识别单元和有害内容数据库，自动识别单元根据所述有害内容数据库中的有害内容与接收到的所有码流中包含的相关内容进行对比分析来进行有害内容的自动识别，并在识别出有害内容时自动触发所述主控单元输出所述控制信号。
21、如权利要求20所述的系统，其特征在于，当所述审查模块中同时包括人工识别子模块和自动识别子模块时，该审查模块中还包括：
审查方式切换模子块，根据主控模块的控制选择启动所述人工识别子模块和/或自动识别子模块；以及
判决子模块，同时接收所述指令接收单元和自动识别单元的输出信号，并根据设定的判决原则判定是否触发所述主控单元输出所述控制信号。
22、如权利要求20所述的系统，其特征在于，所述审查模块中还包括判决原则存储子模块，连接在所述判决子模块和主控模块之间，存储通过主控模块输入的判决原则。
23、如权利要求14-18任意之一所述的系统，其特征在于，所述审查设备还包括如下之一或任意组合：
内容录制模块，连接所述第三延迟模块，用于录制指定时段该第三延迟模块输出的所有码流；
日志记录模块，分别连接其它模块或子模块，用于生成并输出所述审查设备的运行状态日志；
决策支持知识库，连接主控模块，用于存储特定或临时的有害内容文字、人脸图像以及相关的法律法规文件；
视频替换内容库，连接在所述开关模块，存储无害备用视频内容。
24、一种视频编码设备，包括编码器，其特征在于，还包括：所述视频编码设备还包括连接所述编码器的第一延迟模块，所述编码器基于将原始视频流分层编码为基本层码流和至少一层增强层码流，然后：
直接输出所述基本层码流，通过所述第一延迟模块经进行延迟处理后输出所述增强层码流；或者
直接输出所述基本层码流和部分增强层码流，通过所述第一延迟模块进行延迟处理后输出剩余的增强层码流。
25、一种流媒体服务器，包括视频码流读取模块，其特征在于，所述流媒体服务器还包括连接所述视频码流读取模块的第二延迟模块，所述视频码流读取模块从外部数据库中读取基于分层编码的基本层码流和至少一层增强层码流，然后：
直接输出所述基本层码流，通过所述第二延迟模块经进行延迟处理后输出所述增强层码流；或者
直接输出所述基本层码流和部分增强层码流，通过所述第二延迟模块经进行延迟处理后输出剩余的增强层码流。
26、一种审查设备，被审查的原始视频码流由内容源进行分层编码为基本层码流和至少一层增强层码流，所述审查设备包括：通信模块，通信连接其他网络设备；其特征在于，
第三延迟模块，接收所述基本层码流、或者基本层码流和部分增强层码流，并对接收到的所有码流进行延迟处理后转发给用户接收端；
审查模块，审查接所有延迟转发的码流，在审查出所述码流中包含有害内容时输出相应的控制信号；
开关模块，连接在所述第三延迟模块之后；
主控模块，连接在所述审查模块和开关模块之间，根据所述控制信号触发断开所述开关模块。
27、如权利要求26所述的审查设备，其特征在于，所述审查模块中具体包括人工识别子模块和/或自动识别子模块，其中：
所述人工识别子模块中具体包括：解码单元、增强处理单元、显示单元和指令接收单元，所述解码单元解码接收到的所有码流图像，所述图像通过增强处理单元处理后在显示单元上显示给监控者，监控者人工识别出该图像中包含有害内容时，通过所述指令接收单元触发所述主控单元输出所述控制信号；
所述自动识别子模块中具体包括：自动识别单元和有害内容数据库，自动识别单元根据所述有害内容数据库中的有害内容与接收到的所有码流中包含的相关内容进行对比分析来进行有害内容的自动识别，并在识别出有害内容时自动触发所述主控单元输出所述控制信号。
28、如权利要求27所述的审查设备，其特征在于，当所述审查模块中同时包括人工识别子模块和自动识别子模块时，该审查模块中还包括：
审查方式切换子模块，根据主控模块的控制选择启动所述人工识别子模块和/或自动识别子模块；
判决子模块，同时接收所述指令接收单元和自动识别单元的输出信号，并根据设定的判决原则判定是否触发所述主控单元输出所述控制信号。
29、如权利要求28所述的审查设备，其特征在于，所述审查模块中还包括判决原则存储子模块，连接在所述判决模块和主控模块之间，存储通过主控模块输入的判决原则。
30、如权利要求26-29任意之一所述的审查设备，其特征在于，所述审查设备还包括如下之一或任意组合：
内容录制模块，连接所述第三延迟模块，用于录制指定时段该第三延迟模块输出的所有码流；
日志记录模块，分别连接其它模块或子模块，用于生成并输出所述审查设备的运行状态日志；
决策支持知识库，连接主控模块，用于存储特定或临时的有害内容文字、人脸图像以及相关的法律法规文件；
视频替换内容库，连接在所述开关模块，存储无害备用视频内容。
CN2006100813110A 2006-05-16 2006-05-16 一种视频码流审查方法、系统和设备 Expired - Fee Related CN1968250B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2006100813110A CN1968250B (zh) 2006-05-16 2006-05-16 一种视频码流审查方法、系统和设备
PCT/CN2007/001548 WO2007131445A1 (en) 2006-05-16 2007-05-14 A method, a system and a apparatus for censoring video code stream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2006100813110A CN1968250B (zh) 2006-05-16 2006-05-16 一种视频码流审查方法、系统和设备

Publications (2)

Publication Number Publication Date
CN1968250A true CN1968250A (zh) 2007-05-23
CN1968250B CN1968250B (zh) 2010-04-21

Family

ID=38076795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100813110A Expired - Fee Related CN1968250B (zh) 2006-05-16 2006-05-16 一种视频码流审查方法、系统和设备

Country Status (2)

Country Link
CN (1) CN1968250B (zh)
WO (1) WO2007131445A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009124489A1 (zh) * 2008-04-09 2009-10-15 华为技术有限公司 视频编码处理方法、系统及装置
CN102523441A (zh) * 2011-12-22 2012-06-27 北京工业大学 基于比特敏感度的h.264压缩域比特平面加密方法
CN107659538A (zh) * 2016-07-25 2018-02-02 北京优朋普乐科技有限公司 一种视频处理的方法及设备
CN108184167A (zh) * 2017-12-20 2018-06-19 东莞市纽格力信息技术有限公司 一种基于电视机顶盒的管控方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706507A (en) * 1995-07-05 1998-01-06 International Business Machines Corporation System and method for controlling access to data located on a content server
JPH09275548A (ja) * 1996-04-05 1997-10-21 Nippon Telegr & Teleph Corp <Ntt> ディジタル映像分離配送方法及びシステム
JP2001268505A (ja) * 2000-03-17 2001-09-28 Sony Tektronix Corp 映像編集システム
WO2003036979A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using adaptive content filtering
US7483487B2 (en) * 2002-04-11 2009-01-27 Microsoft Corporation Streaming methods and systems
CN100442845C (zh) * 2006-03-08 2008-12-10 北京北大方正电子有限公司 一种低码流的视频素材审看的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009124489A1 (zh) * 2008-04-09 2009-10-15 华为技术有限公司 视频编码处理方法、系统及装置
CN102523441A (zh) * 2011-12-22 2012-06-27 北京工业大学 基于比特敏感度的h.264压缩域比特平面加密方法
CN102523441B (zh) * 2011-12-22 2014-04-02 北京工业大学 基于比特敏感度的h.264压缩域比特平面加密方法
CN107659538A (zh) * 2016-07-25 2018-02-02 北京优朋普乐科技有限公司 一种视频处理的方法及设备
CN108184167A (zh) * 2017-12-20 2018-06-19 东莞市纽格力信息技术有限公司 一种基于电视机顶盒的管控方法及系统

Also Published As

Publication number Publication date
CN1968250B (zh) 2010-04-21
WO2007131445A1 (en) 2007-11-22

Similar Documents

Publication Publication Date Title
CN1968408A (zh) 一种视频码流过滤方法和过滤节点
CN1968409A (zh) 实现流媒体内容审查的用户终端设备及审查方法
TWI435607B (zh) 以媒體檔案發信號通知感興趣區域可縮放性資訊之技術
US9253240B2 (en) Providing sequence data sets for streaming video data
TWI612798B (zh) 影像處理裝置、影像處理裝置方法、記錄媒體及程式
CN1236616C (zh) 变换活动图像编码方式的方法及其装置
CN110036641A (zh) 虚拟现实视频中的用信号表示的感兴趣区域或视点的优选呈现
KR101676553B1 (ko) 비디오 파일들에서 코딩된 비디오 데이터를 저장 또는 프로세싱하는 방법, 장치, 및 컴퓨터 판독가능 저장 매체
CN1968137A (zh) 一种媒体流审查系统及审查码流生成节点设备
CN1223200C (zh) 图像编码方法、图像解码方法以及其装置
CN1781315A (zh) 用于编码图像序列的方法
CN1633185A (zh) 视频信号编码/解码方法和装置及对应的无线电电信装置
CN1856111A (zh) 视频信号编解码方法、编解码器及其相关的设备
CN1650627A (zh) 用于在mp4中支持avc的方法和设备
CN102598688A (zh) 流式传输经编码视频数据
CN1875636A (zh) 视频发送装置以及视频接收装置
CN1890974A (zh) 用于mpeg－2系统中的改进缩放性支持的系统和方法
JP2010525658A (ja) イントラ予測のための適応参照画像データ生成
CN1476248A (zh) 压缩图像数据从发送端传输到接收端的视频数据收发系统
CN1617593A (zh) 发信号通知视频流中的有效入口点
CN1960260A (zh) 为不同类型的终端提供iptv业务的方法和iptv业务系统
CN1781314A (zh) 图像编码方法
CN1655622A (zh) 视频通信设备与视频通信方法
CN1653818A (zh) 用于在mp4中支持avc的方法和设备
CN1714554A (zh) 视听媒体编码系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100421

Termination date: 20140516