CN1968137A - 一种媒体流审查系统及审查码流生成节点设备 - Google Patents

一种媒体流审查系统及审查码流生成节点设备 Download PDF

Info

Publication number
CN1968137A
CN1968137A CNA2006100790227A CN200610079022A CN1968137A CN 1968137 A CN1968137 A CN 1968137A CN A2006100790227 A CNA2006100790227 A CN A2006100790227A CN 200610079022 A CN200610079022 A CN 200610079022A CN 1968137 A CN1968137 A CN 1968137A
Authority
CN
China
Prior art keywords
code stream
examination
module
video
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006100790227A
Other languages
English (en)
Inventor
罗忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CNA2006100790227A priority Critical patent/CN1968137A/zh
Priority to PCT/CN2007/000115 priority patent/WO2007128185A1/zh
Publication of CN1968137A publication Critical patent/CN1968137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17345—Control of the passage of the selected programme
    • H04N7/17354—Control of the passage of the selected programme in an intermediate station common to a plurality of user terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6334—Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及多媒体通信技术，特别涉及一种多媒体通信过程中，对来自流媒体源的媒体流进行审查的审查系统和一种用于该审查系统的审查码流生成节点，以解决如何对现有流媒体业务实现深度内容审查的问题。本发明所述的审查系统包括审查码流生成节点，用于延迟转发来自流媒体源的媒体流，并根据该媒体流生成审查码流；审查中心，通过通信方式连接所述审查码流生成节点，用于审查从所述审查码流生成节点接收的所述审查码流，并在识别出该审查码流中包含有害内容时向所述审查码流生成节点发送断开转发所述媒体流的控制信号。本发明所述的审查码流生成节点主要包括视、音频码流延迟模块和视、音频审查码流生成模块。

Description

一种媒体流审查系统及审查码流生成节点设备
技术领域
本发明涉及多媒体通信技术，特别涉及一种多媒体通信过程中，对来自流媒体源的媒体流进行审查的审查系统和一种用于该审查系统的审查码流生成节点。
背景技术
流媒体(Streaming Media)作为一种基本的多媒体通信形式，派生出了众多的多媒体通信业务形式：会议电视/可视电话，IPTV，VOD，即时通信等等。因此流媒体将成为NGN(Next Generation Network，下一代网络)上的基本通信形式。尤其是近几年来国内外IPTV(Internet Protocol Television，IP电视)业务的快速兴起，流媒体在网络上的应用也在急速发展。
流媒体上的一类业务比如IPTV和VOD(Video on Demand，视频点播)，都是以提供视频音频内容为功能的。内容的范围非常广阔，包括影视节目、新闻、体育比赛、演唱会等等。各个国家，尤其是我国，对于内容的安全和监控一直是高度重视的，都有相关的法律。从保护未成年人角度出发，各国也有相关的规定。同时，在运营商/ISP(Internet Service Provider，因特网服务提供商)和内容提供商那里也有这样的需求。国内即将大规模开展IPTV的运营，那么首先一个问题是如何保证有效的内容监控和过滤，实现有害内容的过滤。不解决这个问题，IPTV在国内的运营将无从谈起，国家相关部门也不可能发放牌照。因此，这个问题的解决对于推动IPTV产业的发展有着重要的意义。对于内容安全，通常的理解包括两个方面：
1、对于内容的保护，防止内容被没有权限的用户接收；
比如防止盗看电视节目等。对于这类入侵，有很多成熟技术，比如加密(Encryption)和加扰(Scrambling)、认证鉴权、以及数字版权管理DRM(DigitalRight Management)等。
2、对于有害和非法内容的入侵的防范，保护的对象是内容攻击的对象，通常是受众。
这需要对于内容进行实时的审查，借鉴目前在广播电视行业的做法，主要是把电视节目码流(一般都是按照DVB-T，Digital Video Broadcasting-Terrestrial传送的，视频音频的压缩格式是MPEG-2、MPEG＝Moving Picture ExpertsGroup，一个国际标准组织)在从节目源(比如卫星)传送到用户电视机/STB的路径上设置检查节点，进行人工审查。当然随着技术的进步，有些内容的审查可以有系统自动完成或者半自动(人机结合)来完成。人工审查一旦发现节目内容有问题，就要采取措施，停止该节目码流的传送，并且(多数情况下)用一个临时替代的节目来替代被中断的内容有害的节目，比如公益广告或者字幕公告等等。当然人工判断需要集合内容的上下文，并且反应和处置需要一定的时间，因此必须有一个延迟装置来提供这个延时，比如5秒钟。
所谓内容过滤，就是对于内容的某些属性进行处理和判断，这些内容属性可以包括：内容提供商的名字、内容的URL(Universal Resource Locator通用资源定位器，网址是一类重要的URL)、内容提供服务器的IP地址等，以及媒体流以数据包封装情况下的数据包的包头(packet header)信息、包中的信息等。可以看出，这种处理和过滤也是按照由浅入深的层次进行的。
现有技术一主要是依据内容的外部特征，或者叫做浅层特征来进行内容过滤。其中最典型的例子是URL过滤，其原理如图1所示：内容过滤设备位于网络上的核心网和边缘接入网之间，那么是来自内容源的媒体流到达接收终端之间的必由之路关口，在实际中，可以和企业网的代理、NAT(Network AddressTranslator，网络地址翻译设备)/FW(Firewall，防火墙)放在同一个网络位置，对于宽带家庭用户的情况，可以和BAS(Broadband Administration System，宽带管理系统)/BRAS(Broadband Registration and Admission System，宽带注册和准入系统)、DISLAM放在同一个位置，或者放在ISP的POP(Point ofPresence，存在点)上。
过滤设备自己有内部数据库，存有多个内容源URL的信息，根据这个数据库就可以判断一部分内容源是否有害，并屏蔽有害内容源、放行无害内容源。同时，还有很多提供第三方服务的内容分级服务商，他们的数据库更加丰富和专业，内容过滤设备也可以和这种第三方服务商连接，使用他们的服务来进行URL过滤。
现有技术一存在如下问题：
1、错杀问题：根据URL过滤，可能把无害的内容过滤掉了，比如有的网站提供视频节目点播，其中有些节目是有害的，但是有些是健康的电影，仅根据URL无法区分；
2、错放问题：有些URL可能因为在分级体制中被认为是资质优良的网站，可能也会出问题(被黑客攻击冒充其网址，或者自己有违法的企图等)；
3、采用URL过滤，通常也还需要第三方的评级体系，这样的评级体系是有的，有些收费的评级服务商专门提供评级服务。但是他们的结果也不能完全准确和穷尽网络上所有的内容。并且网络上的内容也是经常变化的，任何一个评级体系也不可能及时跟上这些变化。
对于要求非常高的应用场景，比如面向全国公众的IPTV，如果一旦有有害内容尤其是政治敏感内容入侵成功，造成的危害是巨大的。必须做到万无一失，因此采用浅层次的过滤都是不可靠的。必须采用最深层次的内容过滤，即视频音频数据本身的过滤，比如对于图像的识别，识别其中的有害场景(暴力、色情等)、有害文字信息(字幕)、特定人物的面孔等等。
要达到很高的过滤正确率，必须深入到最深的层次，即内容数据本身。这个方面属于目前研究热点，深度包过滤DPF(Deep Packet Filtering)。
现有技术二深度DPF基于人工的深度内容设别，这种情况下，内容过滤设备能够对于媒体流进行解码并将内容播放出来(假设加密不是问题，因为加密的问题可以通过通信设备的合法监听要求解决)，供人工监控者审查。如果发现有问题，监控者立即采取措施，切断有害内容，同时切换到一段无害的内容比如公益广告等。当然在内容过滤设备之后必须有一个相当大容量的延迟设备，来延迟有害内容，给监控人员一定的判断和反应处置时间(比如5秒)。当然，这个过程目前也可以采用自动或者人机结合半自动的方法实现，其实现原理如图2所示。
现有技术二的基本思想是对的，并且在广播电视领域实际应用了多年，效果还是不错的。但是要用于IP(Internet Protocol)网络上的流媒体内容服务的内容审查，还需要进行相当多的改进和完善。问题主要有：
1、IP网络的情况比广播电视网络在结构和网络拓扑上要复杂得多，节目也要多得多，被审查的节目如果都传送到网络中心来，则占用过多通信资源；
2、IP网络的内容源多、节目多，如果在进行审查时都进行集中的解码处理，则解码的处理量太大，对审查设备的容量要求过高，现有设备无法满足。
发明内容
本发明提供一种多媒体通信过程中，对媒体流进行审查的审查系统和一种用于该审查系统的审查码流生成节点，以解决如何对现有流媒体业务实现深度内容审查的问题。
本发明所述的媒体流内容审查系统包括：
审查码流生成节点，用于延迟转发来自流媒体源的媒体流，并根据该媒体流生成审查码流；
审查中心，通信连接所述审查码流生成节点，用于审查从所述审查码流生成节点接收的所述审查码流，并在识别出该审查码流中包含有害内容时向所述审查码流生成节点发送断开转发所述媒体流的控制信号。
其中，所述的审查码流生成节点中包括：
第一通信模块，用于通信连接所述审查中心，向所述审查中心发送所述审查码流并接收所述控制信号；
主控模块，用于控制所述审查码流生成节点的运行并执行所述审查中心的控制信号。
所述的审查码流生成节点还包括：
视频码流延迟模块，用于延迟转发所述媒体流中的视频码流；
视频审查码流生成模块，用于根据所述视频码流生成相应的视频审查码流并通过所述第一通信模块发送给所述审查中心进行审查；
第一开关模块，连接所述视频码流延迟模块的输出端，所述主控模块接收到所述控制信号时触发该第一开关模块断开转发所述视频码流。
所述视频审查码流生成模块至少包括如下之一：
第一子模块，用于对所述视频码流进行场景分割后，复制每一个场景中包含第一个帧的数据包或者第一个帧以及前后一定数目帧的数据包，然后将复制的数据包顺序组合为所述视频审查码流；
第二子模块，用于复制所述视频码流中包含每一个帧内编码帧的数据包或者该帧内编码帧以及前后一定数目帧的数据包，然后将复制的数据包顺序组合为所述视频审查码流；
第三子模块，用于将所述视频码流进行降低空间分辨率的处理后形成所述视频审查码流；
第四子模块，用于将所述视频码流进行降低帧率的处理后形成所述视频审查码流；
第五子模块，用于利用加大的量化步长重新将所述视频码流进行量化处理后形成所述视频审查码流。
当所述视频审查码流生成模块中包含有第一子模块、第二子模块或第五子模块时，被包含的每一个子模块同时连接所述视频码流延迟模块；或者被包含的每一个子模块之前连接有数据缓存模块，用于缓存设定时段的视频码流。
当所述视频审查码流生成模块中包含有第三子模块、第四子模块或第五子模块时，所述的审查码流生成节点还包括：视频底层处理公共模块，分别连接视频码流延迟模块和被包含的每一个子模块，用于存储公用视频处理程序。
所述的审查码流生成节点还包括：
音频码流延迟模块，用于延迟转发所述媒体流中的音频码流；
音频审查码流生成模块，用于根据所述音频码流生成相应的音频审查码流并通过所述第一通信模块发送给所述审查中心进行审查；
第二开关模块，连接所述音频码流延迟模块的输出端，所述主控模块接收到所述控制信号时触发该第二开关模块断开所述音频码流的转发。
所述的审查码流生成节点还包括：音频底层处理公共模块，分别连接音频码流延迟模块和音频审查码流生成模块，用于存储公用音频处理程序。
所述音频审查码流生成模块中至少包括如下之一：
音频码流复制子模块，用于将所述音频码流直接复制为所述音频审查码流；
音频码流节选子模块，用于根据设定的间隔时间段节选所述音频码流，并利用节选出的音频码流顺序组合为所述音频审查码流；
音频码流编码转换子模块，用于将所述音频码流重新编码转换为低比特率的音频审查码流。
所述审查码流生成节点还包括：
内容录制模块，用于录制指定时段的媒体流。
替换视频源库，连接所述第一开关模块的输入端，该第一开关模块在断开所述视频码流的同时，接通该替换视频源库；和/或
视频协议转换模块，连接所述第一开关模块的输出端，用于对该第一开关模块输出的视频码流进行编码协议转换的处理。
替换音频源库，连接所述第二开关模块的输入端，该第二开关模块在断开所述音频码流的同时，接通该替换音频源库；和/或
音频协议转换模块，连接所述第二开关模块的输出端，用于对该第二开关模块输出的音频码流进行编码协议转换的处理。
日志报告模块，分别连接该系统的其它模块，用于生成系统的运行日志。
所述第一通信模块还同时连接通信连接所述审查码流生成节点的控制设备。
所述审查中心包括：
第二通信模块，用于通信连接所述第一通信模块，接收所述审查码流并发送所述控制信号；
解码还原模块，用于解码并还原所述审查码流；
有害内容识别模块，用于识别还原的审查码流中是否包含有害内容；
判决模块，连接在所述有害内容识别模块和第二通信模块之间，用于在识别出有害内容时产生所述控制信号并通过所述第二通信模块发送。
所述有害内容识别模块中包括：
自动识别子模块，用于对有害内容进行自动识别；和/或
人工识别子模块，用于对有害内容进行人工识别。
所述审查中心分级设置，用于逐级审查所述媒体流中是否包含有害内容。
本发明的有益效果如下：
本发明所述技术方案将审查中心和审查码流生成节点有机的结合为流媒体审查系统中，由审查码流生成节点根据大量原始码流生成数据量相对较少的审查码流并发送给审查中心，实现了对现有大容量流媒体业务进行深度内容审查，解决了目前IPTV或数字电视等流媒体业务的内容安全问题；
本发明的审查码流生成节点有效利用了现有媒体流的处理技术，生成的审查码流的数据量仅为原始码流的几十分之一甚至更少，因此仅占用很少的带宽，不会对现有系统造成负担；
本发明所述技术方案中，审查中心可以应用自动识别技术审查视频码流，因此提高了识别效率，极大的降低了人工审查成本；
本发明所述技术方案中，审查中心根据网络情况集中设置，不用跟随媒体流内容源的增减而变化，因此节省了设备投入，组网更加灵活。
附图说明
图1为现有基于内容的URL进行过滤的原理示意图；
图2为现有流媒体内容的深度审查原理示意图；
图3为本发明所述审查系统的结构示意图；
图4为视频序列中帧和场景的关系示意图；
图5为场景、帧和视频码流中数据包之间的对应关系示意图；
图6-图8为用于图3所述审查系统的一种审查码流生成节点结构示意图。
具体实施方式
本发明所述技术方案的原理如图3所示，将审查中心设置在运营商的核心网络中心，该审查中心与周边的审查码流生成节点通信连接，审查码流生成节点可以单独设置，也可以和其它现有网络实体合并设置，例如：媒体网关或媒体资源服务器等。审查码流生成节点可能相联的网络有：
1、本运营商的接入网络，可以有多个；
2、其它运营商的核心网络，可以有多个；
3、互联网(Internet)。
流媒体内容服务的内容源(由流媒体服务器和周边设备组成，比如web服务器，负载均衡设备等)可以直接通过本运营商的接入网接入到核心网，也可以通过其它运营商的核心网络或互联网接入到本运营商的核心网，当然还有一种情况，就是内容源可能布署在本运营商核心网中央，和内容审查中心在相同的网络位置。
除了上述最后一种情况，当审查码流生成节点单独设置时，可以连接在媒体网关之前或之后，当审查码流生成节点和媒体网关合并设置时，可以由审查码流生成节点直接承担媒体网关的功能，这样来自内容源的媒体流必须经过各自所对应的审查码流生成节点，一般情况下，审查码流生成节点仅仅进行编码转换，包括两种情况：
1、跨协议的编码转换，比如MPEG-2和MPEG-4之间、MPEG-2和H.264之间的转换等；
2、同一个协议内部的编码转换，比如在H.264中，从高比特率转换到低比特率(接入网需要较低的比特率，比如用户如果用的是ISDN接入，2B+D，最高速率只能支持到128kbps，如果来自内容源的节目流为768kbps，那么就需要进行这种转换)。
在本发明中，审查码流生成节点除了完成上述常规功能外，还需要能够根据原始内容媒体流，产生一个审查媒体流发送给审查中心。这样做的必要性在于：首先审查码流是必要的，因为审查码流生成节点是分散在网络边缘的，不可能在每个审查码流生成节点位置派专业审查人员来进行审查，审查最好是集中在少数几个审查中心进行。这样就要求审查码流生成节点把关于内容的一个“浓缩”或者“摘要”版本发送到内容审查中心去。这种审查码流要求能够包含原始内容码流的在内容审查方面需要的全部信息，同时又要有尽可能低的比特率，避免给网络因为审查带来额外的开销。如果开销只有原始内容码流的几十分之一甚至更低，那么是可以接受的。
产生的审查媒体流可以同样看成是一种特殊的编码转换，该编码转换的要求是：
1、尽可能保持原始内容码流的信息，至少在人工观看的时候，能够判定内容的性质；
2、比特率尽可能低。
因此，本发明在通常的审查码流生成节点上增加了一项功能，根据设定的编码转化方法，利用原始码流产生审查码流并发送给审查中心。根据后面的具体方案，我们可以看到，在某些情况下，审查码流的产生需要对于原始码流进行解码，然后再进行特殊的编码；或者部分解码，在进行特殊处理和编码；或者完全不需要解码等等。凡是需要解码的情况下，解码都和审查码流生成节点原有的编码转换需要的解码重用，或者大部分重用，尽量减少计算负担。
来自各处审查码流生成节点的审查媒体流被汇总到内容审查中心后，审查中心可以对审查码流进行人工识别或自动识别，如果有害，则要采取措施，命令有问题内容所经过的审查码流生成节点进行如下处理：
1、切断有害内容码流；
2、用无害的备用替换内容码流进行替换，这样用户仍然可以看到内容，最常用的方式是插播广告等；
当然，如果运营商的网络很大，审查中心也可以分级设置，一个审查中心负责网络一部分。仍参阅图3所示，存在一个最高的1级审查中心，另外，最高审查中心中的审查专家的权成最高，对于存在疑问的内容，如果下面的2级审查中心无法判定，可以交给最高审查中心利用人工识别进行判定。
2级或更低级的审查中心可以进行自动或者半自动的内容审查，如果无法确定，可以有1级审查中心最后进行人工判定。
媒体流中一般都包括视频码流和对应的音频码流，下面首先给出音频审查码流的产生方法，基于现有技术，音频审查码流的产生方法可以包括以下三种：
一、每隔时间周期T，从原始音频码流中抽取播放时间长度L的音频数据包，发送给内容审查中心。因为音频每单位时间采样点数固定，比如44.1KHz等，包和播放时间严格对应，比如每个数据包对于20ms或者30ms时间等，上述方法很好实现。对于审查人员他们每隔时间周期T，听到长度为L的一段声音；
二、因为声音中加入有害的内容可能很短，周期检查容易漏掉。这种情况下，可以发送全部的音频码流，相当于把原始音频码流复制一份转发到内容审查中心；
三、要求全部监听的情况下，为了降低带宽的消耗，可以进行编码转换，比如把256kbps的MP3或者AAC(Advanced Audio Codec，MPEG-2/MPEG-4标准中的音频编码部分标准)转换成G.723.1，这样比特率降低到5.3/6.3kbps。虽然很多宽频带音频信息(音乐等)损失了，但是有害内容主要是人的语音，因此影响不大。
视频审查码流的产生方法较为复杂，可以包括以下几种：
一、基于场景分割的视频审查码流产生方法
理想的情况下，是对于视频的每个镜头或者叫做场景都抽去一帧代表图像组成审查视频流。每个场景中的图像变化都不是很大，这样的抽检是最好的。
参阅图4，图4所示为视频序列中帧和场景的关系示意图，对于通过过滤节点的视频码流，首先分割成不同的场景(Scene)，将原来作为一个由多个帧(Frame)组成的视频序列，分割成不同场景组成的场景序列。一个场景包含不等个数的帧，每个场景内部的各个帧在背景和前景上基本相同，只是存在一定的运动。可以理解成一个镜头，镜头切换的时候，产生新的场景。
对于分割场景，必须说明的是，场景本来是在视频内容拍摄(镜头切换)和制作(加入特效比如两个镜头之间的3D过渡效果等)的时候已经产生了的。在过滤节点上进行场景分割就是要把视频码流中的码流分成一段一段的，每一段对应于原来的一个场景。当然因为目前的场景设别技术还不能做到100％的识别精度，因此可能最终在过滤节点上分割出来的场景和视频码流中固有的场景不完全一致，但是不影响本发明的应用。
参阅图5，图5为场景、帧和视频码流中数据包之间的对应关系示意图，因为视频码流是从流媒体服务器(Streaming Media Server)等设备发出来的，是在压缩后进行了打包(Packetization，和具体的打包协议无关)的，包是按照时间顺序发出的，每个包都有对应的序列号或者时间戳(Time Stamp等)，根据这些信息就过滤节点就可以正确重构包的原来顺序，从而把包和场景进行对应。因此，最终是一个场景对应于一系列的视频数据包。
其实，内容审查只要审查每个场景的第一帧就可以了，这样就能够把所有的场景分割出来，在一个场景第一帧和下一个场景第一帧之间的所有帧都属于该场景。一般来说，一个场景中存在至少一个I帧(帧内编码帧)，所谓I帧是对于P(预测编码帧)帧和B帧(双向预测编码帧)而言的。I帧的编码完全由其本身决定，而不需要依赖其他帧，而P帧要依赖其前面的参考帧才能解码，B帧则要依赖其前后的参考帧才能解码。因此I帧的解码最为简单。只要是基于DCT变换+熵编码思想的压缩编码标准中，比如ITU H.26x系列和MPEG系列，I帧的解码都只需要进行反熵编码，去量化和反DCT变换就可以了，不需要运动补偿。因此解码的计算量最少。其他类型的帧，比如P帧，要从视频码流中解码该P帧，则需要解码其前面若干个P帧，一直到前面离它最近的一个I帧。但是对于I帧，则只需要解码该I帧本身。两相比较，解码的复杂度相差巨大。其实在编码器中，虽然标准一般没有强制规定，但是一般来说，在场景发生变化时都会加入I帧，场景的第一帧往往就是I帧。对于H.264这类新的标准中，视频码流中可能没有完整的I帧，而只是一个帧的某个部分进行帧内编码比如一个条带(Slice)可以独立进行帧内编码。对于可能不存在完整I帧的这种情况，可以定义一些修正的选取准则：比如选取存在帧内编码条带或者宏块MB(Macroblock)最多的帧。对于一般的编码协议，都有标识机制来标识I帧或者帧内编码的条带等。比如在ITU的H.264标准中，是通过瞬时解码刷新IDR(Instantaneous Decoding Refresh)标志来标识的。因此过滤节点依据这些具体的标识就可以正确提取I帧或者帧内编码的条带/宏块等。
对于分割场景，必须说明的是，场景本来是在视频内容拍摄(镜头切换)和制作(加入特效比如两个镜头之间的3D过渡效果等)的时候已经产生了的。在内容过滤节点上进行场景分割就是要把视频码流中的码流分成一段一段的，每一段对应于原来的一个场景。当然因为目前的场景设别技术还不能做到100％的识别精度，因此可能最终在内容过滤节点上分割出来的场景和视频码流中固有的场景不完全一致。但是不影响本发明的应用。
也有可能在一个场景内(镜头比较长)，存在多个I帧，那么规定选取第一个I帧。于是，把每个场景内的第一个I帧对应的数据包复制一份转发给内容审查中心。
本发明用到的场景分割技术一般包括以下两种：
1、通过视频数据包中的结构信息(比如运动向量)等对于图像中的运动区域进行估计，可以判断多大区域在运动、运动方向，运动模式(单向运动，往复运动等等)，运动幅度大小等，从而判断哪些帧在运动模式上比较相似，运动模式相似的帧一般属于同一个场景；
2、通过视频码流的统计信息进行分析，将视频码流中比特率看成关于时间的随机过程，然后进行统计建模(Statistical Modelling)，从而利用统计模型估算场景的开始和结束的位置。
以上两种技术都不需要解码，因此都具有很高的效率。
二、根据视频码流中的所有I帧生成视频审查码流的方法
对于一般的编码协议，都有标识机制来标识I帧或者帧内编码的条带等。比如在ITU的H.264标准中，是通过IDR(instantaneous decoding refresh即瞬时解码刷新)标志来标识的。因此审查码流生成节点依据这些具体的标识就可以正确提取I帧或者帧内编码的条带/宏块等。本方法就是在原始码流中，根据I帧在数据包头信息中含有的标志，识别I帧，顺序复制转发给内容审查中心。
根据上述两种方法生成的是视频审查码流被发送到审查中心后，审查中心可以基于现有技术可以在一定程度上实现有害内容的自动识别，并可以结合人工识别的方法。
具体识别方法为，从视频审查码流中一次获取一个I帧，解码该I帧并还原该I帧图像，然后对该帧图像进行识别，包括以下两种识别方式：
1、人工识别，将I帧图像显示出来供人类监控者察看以实现人工过滤功能；
2、自动识别，将I帧图像输入自动识别模块中，利用有害内容数据库进行自动的比对识别，如果发现马上切断视频码流的播放并报告给人类监控者进行处理，现有技术中可以进行自动识别的有害内容包括下述方面：
a、对于有害的图像内容进行自动识别，比如淫秽、暴力等场景，该图像识别技术属于成熟的已有技术；
b、对于有害的叠加文字或者符号进行识别。首先经过处理，将文字或者符号所在区域定位出来，然后识别是垂直方向还是水平方向，再具体进行文字和背景的分割，最后把处理的结果送入一个已有的光学文字识别OCR(OpticalCharacter Recognition)模块进行识别。将识别结果和数据库进行匹配，如果和数据库中的有害判断条件匹配成功，则确定为有害叠加文字或者符号，该叠加文字或者符号的识别技术属于成熟的已有技术；
c、对于图像中可能存在的特定人脸进行识别，将该帧图像直接送入已有的人脸识别模块进行识别。当然已有人脸识别模块的数据库中的数据由内容监控部门自行建立，其中可以根据需要存储各类人脸：嫌疑犯、重要人物、恐怖分子等，该人脸识别技术属于成熟的已有技术。
当人工识别和自动识别同时采用时，可以定义判断条件：
1、完全以自动识别模块的识别结果为准。
2、完全以人类监控者的识别结果为准。
3、介于两者之间的，要同时参考以上两种识别结果，给出联合判决。一个实施例是：基于分数的加权平均。自动识别模块和人类监控者不但要判定是否有害，还有给出有害的分数，比如从0-100，有害程度越高，分数越高，0表示无害。那么将自动识别模块的分数和人类监控者的分数加权相加如下：
               SI＝(WM×SM+WH×SH)/(WM+WH)
其中WM和WH表示自动识别模块和人类监控者的权值。两者之间的相对大小表示了更加信任自动识别模块还是人类，SM和SH分别表示自动识别模块和人类给出的分数。如果最终得到的综合分数SI大于一个给定的值，比如50，那么联合判决是有害，否则是无害，如果仅有一方识别出有害内容并给出了有害内容的分值，则可以默认另一方对该内容给出的分值为0。
三、基于重新量化DCT系数的视频审查码流产生办法
对于每一帧的DCT系数进行重新量化，用比原来量化步长大的新量化步长对于从数据包中提取的DCT系数进行量化，达到降低数据量的结果，具体步骤包括：
1、提取每个数据包中的DCT系数，按照数据包结构信息中的量化步长进行反量化；
2、按照新的量化步长进行重新量化，得到新的DCT系数量化结果；
3、将量化结果打包发送给内容审查中心，同时要注意变更数据包中结构信息中的量化步长为新的量化步长。
同时，还可以通过在上述步骤1-3中丢弃原来视频的色度分量对应的DCT系数(U，V/CbCr分量)，只进一步降低数据量。如果按照4∶2∶2采样率计算，通过丢弃色度分量系数，又至少可以降低一半的数据量。
四、基于降低图像分辨率的视频审查码流产生办法
这种技术可以在不需要对于原始媒体流完全解码的情况下，将图像的分辨率降低，比如从原来的CIF(Common Interchange Format)图像降低到QCIF(Quarter CIF)，原则上可以把数据量降低到1/r。r是分辨率降低的倍数，r＝rh*rv，即等于水平方向和垂直方向分辨率降低倍数的乘积。
五、基于降低帧率的视频审查码流产生办法
将原始内容码流的帧率降低，一般是丢弃视频序列中的P帧和B帧还有PB帧。通过丢弃这些帧达到降低帧率，从而降低比特率的目的。2.2.4节只选择I帧，等于是把全部其他类型的帧丢弃，可以算作是这种情况的一个特例。丢弃帧的方法，不需要对于原始码流完全解码。
根据上述分生成的审查码流，数据量仅为原始码流的几十分之一甚至更少，因此仅占用很少的带宽，不会对现有系统造成负担。
在上述方法一、方法二和方法五中，审查中心对于视频审查码流进行审查时，例如确定视频码流中的场景性质、定位字幕或者其它叠加文字图形符号信息等，需要相继的若干帧来精确分析，才能达到识别的目的。对于由I帧或者场景中第一帧，或者通过降低帧率等方法获得的视频审查码流发送给审查中心后，审查中心需要在审查过程中反馈是否需要补充某个帧的前后的相邻帧。如果没有这些相邻帧，审查中心不能精确进行分析和识别，为避免上述情况，可以有以下解决方法：
1、对于方法一、方法二，可以根据经验，直接截取所述I帧或第一帧以及前后一定数目相邻几帧生成视频审查码流，例如前后相邻的各2帧或3帧，一般不多于5帧，以免审查码流中的数据太多，对系统造成负担；
2、对于方法一、方法二和方法五，审查中心在审查过程中，对于无法清楚识别的内容，通知审查码流生成节点发送相应的相邻帧数据包给审查中心。
审查码流生成节点接到通知后，可以从延迟发送的原始视频码流中截取相应的相邻帧数据包并发送给审查中心；或者，审查码流生成节点中再建立一个缓存模块，对于每个时刻t，缓存t时刻至t-δ时刻之间时间窗口内的所有视频码流数据包。这个时间窗口其实是一个滑动窗口，随着时刻t的变化，不断丢弃过时的数据，纳入新的数据。
这个缓存模块其实缓存固定时间长度δ的数据，因为压缩码流在单位时间内的数据量是变化的，因此缓存中数据量也是随时间变化的。那么如果在时刻t0产生的视频审查码流数据包被审查中心接收，如果发现仅仅凭借视频审查码流中的数据无法精确识别，审查中心则通过通信方式请求视频审查码流生成节点发送对应帧的相邻帧，比如前面的1-ka帧，共ka帧，后面的1-kp帧共kp帧，因为存在时间对应关系，因为单位时间内的帧数是可控制的，因此可以得到对应的时间对应关系，所需要的时间是t0-ta，到t0+tp。如果视频审查码流生成节点来自审查中心的请求并开始处理的时刻是t0+td，那么只要满足：
                       ta，＞δ-td并且Tp，＞td
审查码流生成节点就可以在缓存中找到需要的相邻帧对应的数据包，把这些数据包发送给审查中心就可以了。参数δ决定了缓存数据量的大小(虽然不是严格的，因为压缩码流在单位时间内的数据量是变化的，因此缓存中数据量也是随时间变化的。)，它越大对于请求前后相邻帧的命中率越高，但是对于视频审查码流生成节点设备的成本和效率的影响越大，因此必须有一种折衷。另外，随着相关的识别处理技术的日益发展，需要的ka和kp将会越来越小，对应的ta和tp也将会越来越小，从而对于δ大小的要求会随着技术进步日益降低。甚至可以到0，即完全不需要缓存。缓存模块是根据每个时刻t和参数δ，根据数据包上的时间戳信息来决定哪些数据包需要缓存的。当然在实现中，也可以采用前后多少帧来作为度量的单位。比如就规定缓存当前处理帧前面的ka帧和后面的kp帧。
上述方法中，需要在视频审查码流生成节点和审查中心之间的通信中，增加对于如下信令的支持：审查中心告诉视频审查码流生成节点，需要发送前后相邻帧数据的请求和相应的参数：ta和tp或者等价的ka和kp。
上述五种方法可以单独使用，也可以配合使用，例如：对根据方法一生成的视频审查码流进一步利用方法四进行降低分辨率的处理后再发送，可以有很多种组合应用模式，这里不一一描述。
如果审查码流生成节点对延迟转发的视频码流的处理方法和正在采用的视频审查码流的生成方法一样时，可以直接延迟转发视频审查码流，不再进行重复处理。
如图6所示，图6为本发明提出的用于实现媒体流内容审查的审查码流生成节点的一种结构示意图，包括：
主控模块，该模块是本装置的中心模块，起到控制全部其它模块运行的作用，和其它所有模块或子模块都有连线；
通信模块，作为常规的审查码流生成节点，受到审查码流生成节点控制设备的控制，那么审查码流生成节点和它的这个控制设备之间要交换信息。控制命令和数据上报采用的通信协议可以是H.248/MGCP(Media Gateway ControlProtocol)等。同时，作为具有内容审查功能的审查码流生成节点，还要和媒体审查中心进行通信，接受后者的控制，并且向后者上报信息。因为，内容审查设备之间的信令在国际标准组织中是没有定义的(因为是全新的东西)，因此，可以采用两种办法解决信令问题：完全重新定义一套；或者基于H.248/MGCP等协议进行扩展，定义新的Package(包)、Profile和Method(方法)等。
该审查码流生成节点还包括与视频审查相关的第一部分，该第一部分具体包括：
1、视频码流延迟模块，用于延迟转发来自流媒体服务器的视频码流，延迟的时间长度可以设定，或者采用缺省的延迟时间长度。目的是为了给视频审查码流得产生、传送到内容审查中心、审查人员进行判断和反应并且下达命令、再到审查码流生成节点接到命令后采取动作这个整个过程预留充分的时间；
2、视频审查码流生成模块，连接所述通信模块，用于根据所述视频码流生成相应的视频审查码流并通过所述通信模块发送；
3、第一开关模块，连接所述主控模块，用于根据该主控模块的触发信号断开所述视频码流的转发；
4、替换视频源库，连接所述第一开关模块，该第一开关模块在断开所述视频码流的同时，接通该替换视频源库，该替换视频源库中保存有多个可供用于替换有害内容的无害内容片断，比如公益广告、提示字幕、动画短片等等。替换的命令由主控模块发出，当然主控模块又是在内容审查中心的命令下进行控制的，内容审查中心的命令通过通信模块发送到主控模块；
5、视频协议转换模块，连接所述第一开关模块，用于对该第一开关模块输出的视频码流进行编码协议转换，该模块采用已有技术，对于输入视频码流进行所需要的编码转换。包括但是不限于下述处理：
a、压缩编码协议之间的转换，比如MPEG-2到H.264等；
b、同一种编码协议内部编码参数之间的转换：帧率、空间分辨率等；
c、错误健壮性(Error Resilient)的编码转换：通过审查码流生成节点的转换，使得原来没有加传送保护措施的输入视频码流加上要求的传送保护措施，比如FEC等；或者原来保护强度的调整；
d、其它编码转换：比如插入叠加文字和图形符号，如本地运营商台标等。
根据前述的视频审查码流生成方法，该视频审查码流生成模块中可以至少包括如下之一子模块：
第一子模块，用于对所述视频码流进行场景分割后，提取出每个场景的开始图像帧和结束图像帧，然后复制每一个场景中包含第一个帧或者第一个帧以及前后一定数目帧的数据包，该一定数目根据识别精度等因素确定，利用复制的I帧数据包生成所述视频审查码流，对于没有完整I帧的情况需要特殊处理，比如选择帧内编码条带或者宏块最多的那个帧)；
第二子模块，用于复制所述视频码流中包含每一个I帧或者该I帧以及前后一定数目帧的数据包，然后利用复制的I帧数据包生成所述视频审查码流；
第三子模块，用于将所述视频码流进行降低空间分辨率的处理后形成所述视频审查码流；设定r是整体空间分辨率降低的倍数，r＝rh*rv，即等于水平方向和垂直方向分辨率降低倍数的乘积，对于输入的视频流不需要完全进行解码。在一般情况下，rh和rv都是整数，但是，rh和rv也可以是任意有理数(对于无理数比如sqrt(2)、sqrt(3)等可以用有理数近似，比如sqrt(2)＝1.414、sqrt(3)＝1.732等)；
第四子模块，用于将所述视频码流进行降低帧率的处理后形成所述视频审查码流，本模块对于输入的视频流不需要完全进行解码，降低的倍数r必须是整数；
第五子模块，用于利用加大的量化步长重新将所述视频码流进行量化处理后形成所述视频审查码流。
参阅图7所示，图7给出了其中一种并行连接示意图，事实上，视频审查码流生成模块中只要包含其中一个子模块，就可以完成本发明的目的。
上述每一个子模块中分别存储有相应的处理程序，并分别连接到主控模块，主控模块可以调用其中之一用于生成视频审查码流，或调用其中可以组合应用的子模块对视频审查码流进行分步处理，尽量降低视频审查码流中包含的数据量。
参阅图6、图7所示，当前的视频审查码流由第一子模块、第二子模块或第五子模块产生时，第一子模块、第二子模块或第五子模块分别连接视频码流延迟模块，在收到审查中心的通知时，从中截取需要的数据包并通过通信模块再发送给审查中心。
当然，如前所述，视频审查码流生成模块中还可能包括：
数据缓存模块，分别连接在第一子模块、第二子模块或第五子模块之前，用于缓存固定时间长度δ的数据，当当前的视频审查码流是由视频审查码流生成第一子模块、第二子模块或第五子模块产生时，如果审查中心需要缓存数据，则第一子模块、第二子模块或第五子模块从数据缓存模块中获取相应的数据包。
如果审查码流生成节点中已经包含了第三子模块、第四子模块或第五子模块，已经包含的子模块的输出端还可以直接连接到视频延迟模块的输入端，这样，根据主控模块的控制，当视频审查码流的生成方式和视频码流的常规协议转换的处理方法相同时，为避免重复处理，根据主控模块的控制，视频协议转换模块可以停止工作，视频延迟模块直接将视频审查码流进行延迟转发给目的地。
审查码流生成节点中还可以包括与音频审查相关的第二部分，该第二部分具体包括：
6、音频码流延迟模块，用于延迟转发来自流媒体服务器的音频码流；延迟的时间长度可以设定，或者采用缺省的延迟时间长度。目的是为了给音频审查码流得产生、传送到内容审查中心、审查人员进行判断和反应并且下达命令、再到审查码流生成节点接到命令后采取动作这个整个过程预留充分的时间；
7、音频审查码流生成模块，连接所述通信模块，用于根据所述音频码流生成相应的音频审查码流并通过所述通信模块发送；
8、第二开关模块，连接所述主控模块，用于根据该主控模块的触发信号断开所述音频码流的转发。
9、替换音频源库，连接所述第二开关模块，该第二开关模块在断开所述音频码流的同时，接通该替换音频源库；该替换音频源库中保存有多个可供用于替换有害内容的无害音频内容片断，比如音乐、语音公益广告等等。替换的命令由主控模块发出，当然主控模块又是在内容审查中心的命令下进行控制的，内容审查中心的命令通过通信模块发送到主控模块；
10、音频协议转换模块，连接所述第二开关模块，用于对该第二开关模块输出的音频码流进行编码协议转换。
根据前述的音频审查码流生成方法，音频审查码流生成模块中至少包括如下之一子模块：
音频码流复制子模块，用于将所述音频码流直接复制为所述音频审查码流；
音频码流节选子模块，用于根据设定的间隔时间段节选所述音频码流，并利用节选出的音频码流生成所述音频审查码流；
音频码流编码转换子模块，用于将所述音频码流重新编码转换为低比特率的音频审查码流。
参阅图8，图8给出了同时包含三个模块的连接示意图，事实上，音频审查码流生成模块中只要包含其中一个子模块，就可以实现本发明的目的。
同样，上述任何一个子模块中分别存储有相应的处理程序，并同时连接主控模块，主控模块可以调用其中一个子模块执行当前处理，其中每一个子模块的输出端可以直接连接音频延迟模块的输入端，当音频审查码流生成方法和音频协议转换模块采用的处理方法相同时，为避免重复处理，根据主控模块的控制，音频协议转换模块停止工作，音频延迟模块直接将音频审查码流延迟转发给目的地。
本发明的审查码流生成节点还包括：
11、内容录制模块，用于录制并保存指定时段的媒体流，对于指定的视频音频流进行指定时间范围的录制，以备以后检索(比如查找违法犯罪证据等)使途。内容审查中心可以通过指令指定对于哪个视频或者音频流进行录制，从什么时候开始到什么时候结束；
12、日志报告模块，分别连接该审查码流生成节点的其他模块或子模块，用于生成审查码流生成节点的运行日志和报告生成；
13、视频底层处理公共模块，分别相关模块或子模块连接，用于存储公共处理程序。因为在视频编码转换过程中，不同的技术可能都使用到一些公共的技术模块。比如下采样、熵编码和熵解码、量化和反量化、DCT和反DCT等。同样在审查码流生成过程中，也需要使用到这些公共模块。因此为了提高效率，把这些技术提取出来，形成一个公共模块。
14.音频频底层处理公共模块，分别相关模块或子模块连接，用于存储公共处理程序。因为在音频编码转换过程中，不同的技术可能都使用到一些公共的技术模块。比如下采样、熵编码和熵解码、量化和反量化、预测参数估计等等。同样在审查码流生成过程中，也需要使用到这些公共模块。因此为了提高效率，把这些技术提取出来，形成一个公共模块。
审查中心可以采用分级设置的方法，每一级审查中心一般包括以下主要结构：
主控模块，用于控制审查中心的运行；
通信模块，用于和审查码流生成节点或上一级审查中心进行通信；
解码还原模块，用于解码并还原所述审查码流；当然，这里分别包括视频审查码流解码还原子模块和音频审查码流解码还原子模块；
有害内容识别模块，用于识别还原的审查码流中是否包含有害内容；
判决模块，连接所述有害内容识别模块用于在识别出有害内容时产生所述控制信号并通过所述第二通信模块发送给所述审查码流生成节点。
相应的，有害内容识别模块也可以分别包括有害视频内容识别子模块和有害声音识别子模块；
根据具体的识别方式，视频有害内容识别子模块可以包括：自动识别子单元，用于对有害内容进行自动识别；和/或人工识别单元，用于对有害内容进行人工识别，这时，必须包括用于接收识别结果的操作单元；
音频有害内容识别中包括音频播放装置和用于接收识别结果的操作单元。
对于在核心网内部的内容源，其网络位置更加靠近某个内容审查中心，该内容源发出的内容媒体流首先经过内容审查中心，再到达审查码流生成节点。这种情况下，审查码流如果由下面的审查码流生成节点产生，效率就比较低了。为了解决这个问题，可以在和这个内容源相连的审查中心中内置一个审查码流生成节点，或者在内容源和审查中心之间连接一个审查码流生成节点，用于生成该内容源的审查码流并发送给审查中心。
本发明的上述方法中，有害内容的特定分级标准和相应的识别标准根据实际应用场景确定，具体标准或识别方法并不限定本发明的保护范围。
通过本发明的应用，可以解决目前IPTV，数字电视等多媒体业务中的内容安全问题，保证这些业务提供的安全可靠，既给电信广电运营商/内容提供商和设备厂商带来巨大的经济利益，也同时保证了社会特别是未成年人不受有害视频内容的毒害，社会效益更为显著。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (28)

1、一种媒体流内容审查系统，其特征在于，包括：
审查码流生成节点，用于延迟转发来自流媒源的媒体流，并根据该媒体流生成审查码流；
审查中心，通信连接所述审查码流生成节点，用于审查从所述审查码流生成节点接收的所述审查码流，并在识别出该审查码流中包含有害内容时向所述审查码流生成节点发送断开转发所述媒体流的控制信号。
2、如权利要求1所述的系统，其特征在于，所述的审查码流生成节点中包括：
第一通信模块，用于通信连接所述审查中心，向所述审查中心发送所述审查码流并接收所述控制信号；
主控模块，用于控制所述审查码流生成节点的运行并执行来自所述审查中心的控制信号。
3、如权利要求2所述的系统，其特征在于，所述的审查码流生成节点包括：
视频码流延迟模块，用于延迟转发所述媒体流中的视频码流；
视频审查码流生成模块，用于根据所述视频码流生成相应的视频审查码流并通过所述第一通信模块发送给所述审查中心进行审查；
第一开关模块，连接所述视频码流延迟模块的输出端，所述主控模块接收到所述控制信号时触发该第一开关模块断开转发所述视频码流。
4、如权利要求3所述的系统，其特征在于，所述视频审查码流生成模块至少包括如下之一：
第一子模块，用于对所述视频码流进行场景分割后，复制每一个场景中包含第一个帧的数据包或者第一个帧以及前后一定数目帧的数据包，然后将复制的数据包顺序组合为所述视频审查码流；
第二子模块，用于复制所述视频码流中包含每一个帧内编码帧的数据包或者该帧内编码帧以及前后一定数目帧的数据包，然后将复制的数据包顺序组合为所述视频审查码流；
第三子模块，用于将所述视频码流进行降低空间分辨率的处理后形成所述视频审查码流；
第四子模块，用于将所述视频码流进行降低帧率的处理后形成所述视频审查码流；
第五子模块，用于利用加大的量化步长重新将所述视频码流进行量化处理后形成所述视频审查码流。
5、如权利要求4所述的系统，其特征在于，当所述视频审查码流生成模块中包含有第一子模块、第二子模块或第五子模块时，被包含的每一个子模块同时连接所述视频码流延迟模块；或者被包含的每一个子模块之前连接有数据缓存模块，用于缓存设定时段的视频码流。
6、如权利要求4所述的系统，其特征在于，当所述视频审查码流生成模块中包含有第三子模块、第四子模块或第五子模块时，所述的审查码流生成节点还包括：视频底层处理公共模块，分别连接视频码流延迟模块和被包含的每一个子模块，用于存储公用视频处理程序。
7、如权利要求2或3所述的系统，其特征在于，所述的审查码流生成节点包括：
音频码流延迟模块，用于延迟转发所述媒体流中的音频码流；
音频审查码流生成模块，用于根据所述音频码流生成相应的音频审查码流并通过所述第一通信模块发送给所述审查中心进行审查；
第二开关模块，连接所述音频码流延迟模块的输出端，所述主控模块接收到所述控制信号时触发该第二开关模块断开所述音频码流的转发。
8、如权利要求7所述的系统，其特征在于，所述的审查码流生成节点还包括：音频底层处理公共模块，分别连接音频码流延迟模块和音频审查码流生成模块，用于存储公用音频处理程序。
9、如权利要求7所述的系统，其特征在于，所述音频审查码流生成模块中至少包括如下之一：
音频码流复制子模块，用于将所述音频码流直接复制为所述音频审查码流；
音频码流节选子模块，用于根据设定的间隔时间段节选所述音频码流，并利用节选出的音频码流顺序组合为所述音频审查码流；
音频码流编码转换子模块，用于将所述音频码流重新编码转换为低比特率的音频审查码流。
10、如权利要求2所述的系统，其特征在于，所述的审查码流生成节点包括：内容录制模块，用于录制指定时段的媒体流。
11、如权利要求10所述的系统，其特征在于，所述内容录制模块中包括：视频内容录制子模块和音频内容录制子模块。
12、如权利要求3或4所述的系统，其特征在于，所述的审查码流生成节点包括：
替换视频源库，连接所述第一开关模块的输入端，该第一开关模块在断开所述视频码流的同时，接通该替换视频源库；和/或
视频协议转换模块，连接所述第一开关模块的输出端，用于对该第一开关模块输出的视频码流进行编码协议转换的处理。
13、如权利要求7所述的系统，其特征在于，所述的审查码流生成节点包括：
替换音频源库，连接所述第二开关模块的输入端，该第二开关模块在断开所述音频码流的同时，接通该替换音频源库；和/或
音频协议转换模块，连接所述第二开关模块的输出端，用于对该第二开关模块输出的音频码流进行编码协议转换的处理。
14、如权利2所述的系统，其特征在于，所述的审查码流生成节点还包括：日志报告模块，分别连接该系统的其它模块，用于生成系统的运行日志。
15、如权利2所述的系统，其特征在于，所述第一通信模块还同时连接通信连接所述审查码流生成节点的控制设备。
16、如权利2所述的系统，其特征在于，所述审查中心包括：
第二通信模块，用于通信连接所述第一通信模块，接收所述审查码流并发送所述控制信号；
解码还原模块，用于解码并还原所述审查码流；
有害内容识别模块，用于识别还原的审查码流中是否包含有害内容；
判决模块，连接在所述有害内容识别模块和第二通信模块之间，用于在识别出有害内容时产生所述控制信号并通过所述第二通信模块发送。
17、如权利16所述的系统，其特征在于，所述有害内容识别模块中包括：
自动识别子模块，用于对有害内容进行自动识别；和/或
人工识别子模块，用于对有害内容进行人工识别。
18、如权利16或17所述的系统，其特征在于，所述审查中心分级设置，用于逐级审查所述媒体流中是否包含有害内容。
19、一种审查码流生成节点，包括实现通信的通信模块和用于控制所述审查码流生成节点运行的主控模块，其特征在于，该审查码流生成节点还包括第一部分和/或第二部分，其中：
所述第一部分包括：
视频码流延迟模块，用于延迟转发来自流媒体源的视频码流；
视频审查码流生成模块，用于根据所述视频码流生成相应的视频审查码流并通过所述第一通信模块发送；
第一开关模块，连接所述视频码流延迟模块的输出端，用于根据所述主控模块的触发信号断开转发所述视频码流；
所述第二部分包括：
音频码流延迟模块，用于延迟转发来自流媒体源的音频码流；
音频审查码流生成模块，用于根据所述音频码流生成相应的音频审查码流并通过所述第一通信模块发送；
第二开关模块，连接所述音频码流延迟模块的输出端，用于根据所述主控模块的触发信号断开转发所述音频码流。
20、如权利要求19所述的审查码流生成节点，其特征在于，当该审查码流生成节点中包括所述视频审查码流生成模块时，该视频审查码流生成模块至少包括如下之一：
第一子模块，用于对所述视频码流进行场景分割后，复制每一个场景中包含第一个帧的数据包或者第一个帧以及前后一定数目帧的数据包，然后将复制的数据包顺序组合为所述视频审查码流；
第二子模块，用于复制所述视频码流中包含每一个帧内编码帧的数据包或者该帧内编码帧以及前后一定数目帧的数据包，然后将复制的数据包顺序组合为所述视频审查码流；
第三子模块，用于将所述视频码流进行降低空间分辨率的处理后形成所述视频审查码流；
第四子模块，用于将所述视频码流进行降低帧率的处理后形成所述视频审查码流；
第五子模块，用于利用加大的量化步长重新将所述视频码流进行量化处理后形成所述视频审查码流。
21、如权利要求20所述的审查码流生成节点，其特征在于，当所述视频审查码流生成模块中包含有第一子模块、第二子模块或第五子模块时，被包含的每一个子模块同时连接所述视频码流延迟模块；或者被包含的每一个子模块之前连接有数据缓存模块，用于缓存设定时段的视频码流。
22、如权利要求20所述的审查码流生成节点，其特征在于，当所述视频审查码流生成模块中包含有第三子模块、第四子模块或第五子模块时，所述的审查码流生成节点还包括：视频底层处理公共模块，分别连接视频码流延迟模块和被包含的每一个子模块，用于存储公用视频处理程序。
23、如权利要求19所述的审查码流生成节点，其特征在于，当该审查码流生成节点中包括所述音频审查码流生成模块时，该音频审查码流生成模块中至少包括如下之一：
音频码流复制子模块，用于将所述音频码流直接复制为所述音频审查码流；
音频码流节选子模块，用于根据设定的间隔时间段节选所述音频码流，并利用节选出的音频码流顺序组合为所述音频审查码流；
音频码流编码转换子模块，用于将所述音频码流重新编码转换为低比特率的音频审查码流。
24、如权利要求19所述的审查码流生成节点包，其特征在于，所述的审查码流生成节点还包括：音频底层处理公共模块，分别连接音频码流延迟模块和音频审查码流生成模块，用于存储公用音频处理程序。
25、如权利要求19所述的审查码流生成节点，其特征在于，所述审查码流生成节点还包括：内容录制模块，用于录制指定时段的媒体流。
26、如权利要求19所述的审查码流生成节点，其特征在于，当该审查码流生成节点中包括所述视频审查码流生成模块时，所述审查码流生成节点还包括：
替换视频源库，连接所述第一开关模块的输入端，该第一开关模块在断开所述视频码流的同时，接通该替换视频源库；和/或
视频协议转换模块，连接所述第一开关模块的输出端，用于对该第一开关模块输出的视频码流进行编码协议转换的处理。
27、如权利要求19所述的审查码流生成节点，其特征在于，当该审查码流生成节点中包括所述音频审查码流生成模块时，所述审查码流生成节点还包括：
替换音频源库，连接所述第二开关模块的输入端，该第二开关模块在断开所述音频码流的同时，接通该替换音频源库；和/或
音频协议转换模块，连接所述第二开关模块的输出端，用于对该第二开关模块输出的音频码流进行编码协议转换的处理。
28、如权利19-27任意之一所述的审查码流生成节点，其特征在于，所述审查码流生成节点还包括：日志报告模块，分别连接该审查码流生成节点的其他模块或子模块，用于生成审查码流生成节点的运行日志。
CNA2006100790227A 2006-04-30 2006-04-30 一种媒体流审查系统及审查码流生成节点设备 Pending CN1968137A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNA2006100790227A CN1968137A (zh) 2006-04-30 2006-04-30 一种媒体流审查系统及审查码流生成节点设备
PCT/CN2007/000115 WO2007128185A1 (fr) 2006-04-30 2007-01-11 Système et procédé de censure de flux multimédia et appareil de noeud de génération de flux de code de censure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2006100790227A CN1968137A (zh) 2006-04-30 2006-04-30 一种媒体流审查系统及审查码流生成节点设备

Publications (1)

Publication Number Publication Date
CN1968137A true CN1968137A (zh) 2007-05-23

Family

ID=38076703

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006100790227A Pending CN1968137A (zh) 2006-04-30 2006-04-30 一种媒体流审查系统及审查码流生成节点设备

Country Status (2)

Country Link
CN (1) CN1968137A (zh)
WO (1) WO2007128185A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164083A (zh) * 2011-04-18 2011-08-24 中兴通讯股份有限公司 令牌桶的刷新方法及装置
CN103945272A (zh) * 2013-01-23 2014-07-23 腾讯科技（北京）有限公司 一种视频交互方法、装置和系统
CN105933289A (zh) * 2016-04-08 2016-09-07 苏州花坞信息科技有限公司 一种在线广播平台
CN108124191A (zh) * 2017-12-22 2018-06-05 北京百度网讯科技有限公司 一种视频审核方法、装置及服务器
CN110007894A (zh) * 2019-03-29 2019-07-12 百度在线网络技术（北京）有限公司 用于发送音频信息的方法及装置
CN111327912A (zh) * 2018-12-13 2020-06-23 中国电信股份有限公司 直播处理方法、装置、系统和计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101494617B (zh) 2008-01-23 2010-12-15 华为技术有限公司 一种内容分类的方法、系统及装置
US10659509B2 (en) * 2016-12-06 2020-05-19 Google Llc Detecting similar live streams ingested ahead of the reference content
US10944805B1 (en) * 2020-08-05 2021-03-09 Agora Lab, Inc. Scalable multi-level collaborative content moderation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195135A (en) * 1991-08-12 1993-03-16 Palmer Douglas A Automatic multivariate censorship of audio-video programming by user-selectable obscuration
US6731788B1 (en) * 1999-01-28 2004-05-04 Koninklijke Philips Electronics N.V. Symbol Classification with shape features applied to neural network
US8949878B2 (en) * 2001-03-30 2015-02-03 Funai Electric Co., Ltd. System for parental control in video programs based on multimedia content information

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164083A (zh) * 2011-04-18 2011-08-24 中兴通讯股份有限公司 令牌桶的刷新方法及装置
CN102164083B (zh) * 2011-04-18 2016-02-10 中兴通讯股份有限公司 令牌桶的刷新方法及装置
CN103945272A (zh) * 2013-01-23 2014-07-23 腾讯科技（北京）有限公司 一种视频交互方法、装置和系统
CN103945272B (zh) * 2013-01-23 2018-03-06 腾讯科技（北京）有限公司 一种视频交互方法、装置和系统
CN105933289A (zh) * 2016-04-08 2016-09-07 苏州花坞信息科技有限公司 一种在线广播平台
CN108124191A (zh) * 2017-12-22 2018-06-05 北京百度网讯科技有限公司 一种视频审核方法、装置及服务器
CN108124191B (zh) * 2017-12-22 2019-07-12 北京百度网讯科技有限公司 一种视频审核方法、装置及服务器
CN111327912A (zh) * 2018-12-13 2020-06-23 中国电信股份有限公司 直播处理方法、装置、系统和计算机可读存储介质
CN110007894A (zh) * 2019-03-29 2019-07-12 百度在线网络技术（北京）有限公司 用于发送音频信息的方法及装置

Also Published As

Publication number Publication date
WO2007128185A1 (fr) 2007-11-15

Similar Documents

Publication Publication Date Title
CN1968408A (zh) 一种视频码流过滤方法和过滤节点
CN1968137A (zh) 一种媒体流审查系统及审查码流生成节点设备
CN1968409A (zh) 实现流媒体内容审查的用户终端设备及审查方法
CN1254104C (zh) 广播节目记录方法、通信控制设备以及移动通信设备
CN1236616C (zh) 变换活动图像编码方式的方法及其装置
CN1875636A (zh) 视频发送装置以及视频接收装置
CN1650627A (zh) 用于在mp4中支持avc的方法和设备
CN101031061A (zh) 元数据产生设备、信息处理设备、成像设备及安全系统
CN1735193A (zh) 数字广播系统中管理数据的接收状态的装置和方法
CN1655622A (zh) 视频通信设备与视频通信方法
CN101076122A (zh) 通信装置和方法、通信发送接收装置和方法
CN1841984A (zh) 通信处理装置、数据通信系统以及通信处理方法
CN101035279A (zh) 一种在视频资源中使用信息集的方法
CN1934865A (zh) 调整编码器和解码器中缓冲器的大小
CN1366775A (zh) 压缩视频的代码转换方法
CN101060622A (zh) 数字信号编、解码装置、数字信号算术编、解码方法
CN1714554A (zh) 视听媒体编码系统
CN101035334A (zh) 用于移动电话的多媒体处理设备和方法
CN1960260A (zh) 为不同类型的终端提供iptv业务的方法和iptv业务系统
CN1745551A (zh) 通信控制装置、通信终端装置、服务器装置和通信控制方法
CN102598688A (zh) 流式传输经编码视频数据
CN1843013A (zh) 用于管理流式媒体服务的方法
CN1478355A (zh) 视频编码
CN1321945A (zh) 内容提供装置和方法以及记录介质
CN1653818A (zh) 用于在mp4中支持avc的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication