CN102547794B

CN102547794B - Wap手机传媒色情图像、视频及不良内容的识别监管平台

Info

Publication number: CN102547794B
Application number: CN201210008536.9A
Authority: CN
Inventors: 周翬; 孙晓峰; 陈永军; 汤怀礼; 赵慧琴; 张晨民
Original assignee: Zhengzhou Jinhui Computer System Engineering Co Ltd
Current assignee: Zhengzhou Jinhui Computer System Engineering Co Ltd
Priority date: 2012-01-12
Filing date: 2012-01-12
Publication date: 2015-05-06
Anticipated expiration: 2032-01-12
Also published as: CN102547794A

Abstract

本发明涉及一种手机互联网信息内容的识别、监管系统平台。一种WAP手机传媒色情图像、视频及不良内容的识别监管平台，包括至少一个图像采集检测主服务器和至少一个图像采集检测从服务器，WAP业务数据镜像口从CDMA或GSM网络中镜像WAP业务数据，传送到图像采集检测主服务器和图像采集检测从服务器，所述图像采集检测主服务器和从服务器通过内部数据网连接后台数据库和监控终端，系统软件架构包括采集控制层、数据审核层、数据管理层、数据呈现层。本发明WAP手机传媒色情图像识别与监管平台，率先在WAP网关处用旁路监听方法解决了手机互联网海量淫秽图像、视频及不良信息的识别、监管的难题。

Description

WAP手机传媒色情图像、视频及不良内容的识别监管平台

技术领域

本发明涉及一种手机互联网信息内容的识别、监管系统平台，特别是涉及一种WAP手机传媒不良内容的识别、监管平台。

背景技术

移动通信网和互联网是当前信息产业的两大支柱，且随着通讯技术的进步不断迅猛发展的。而手机互联网具有将这两大领域结合的优势与能力，引发了我国手机互联网用户的迅猛发展，随着3G技术的进步和3G业务的广泛开展，带宽明显增加，手机互联网开始渗透和融合到社会、生活、学习、娱乐和产业的各个环节，权威人士估计,到2011年底我国手机互联网用户数将会超过传统互联网，届时将达到4亿以上。由于手机不受时间、地点、环境的限制随时随地都可以上网，十分方便，加上交互的便利性,因而赶时尚的青少年自然成为手机上网的主力军。19岁以下的青少年，约占我国手机网民总数的40％。

然而近年来，淫秽色情内容正猛烈地向手机互联网渗透,由于暴利的驱使,监管的困难,大量的手机WAP网站被淫秽内容染指。赤裸裸的色情图像和视频，只要通过手机上网就唾手可得,甚至推送到你的手机上,引诱你下载浏览。

“目前大多数WAP网站公布的同时在线人数都达到了5位数，而一线门户网站基本都在6位数以上”。再加上手机传播的低成本、私密性和易用性，互动性，非常容易将色情图像与他人分享，手机色情内容传播的广泛性远远超过想象。这对青少年具有相当大的吸引力，更容易诱使鉴别能力差、受好奇心驱使的未成年人误入歧途，诱发犯罪。据调查，北京市60%以上的中学生手机上都有赤裸裸的色情图片，没有的反被说成是OUT。为逃避监管，色情WAP网站会设置IP地址访问权限，只允许手机用户访问，或只允许手机用户通过移动梦网服务访问非法WAP网站，电脑模拟器访问不到淫秽色情WAP网站的实际内容。通过设置IP地址访问权限来逃避WAP网站的监管。手机互联网正在取代电脑网络成为学生接触色情信息的主要渠道。而家长监管远较PC机为难。

手机互联网淫秽色情图像、视频等不良信息具有以下特点：1）手机互联网上手机上传或浏览下载的数据信息是要经过WAP网关转换，带宽窄，图像传输速率低，但用户多，总量大；2）隐蔽性强，采取伪装措施，发现难；3）地址跳转快；4）很多涉黄网站是通过搜索引擎和导航网站来传播；5）许多藏身于境外；6）手机网站主要面向手机用户访问使用，有的网站限制、屏蔽来自互联网的访问，致使人工监管难度加大。

因此，采用人工方式进行观看肯定不能满足信息膨胀的需求，同时采用拨测方式对数据进行主动采集，也会因为手机互联网特殊的环境遇到种种困难，使得监管效果达不到指定要求。因此手机互联网服务已成为国家网络安全的巨大隐患。日本的3G运营后，9000万手机网民每天下载的成人影视常常使3G网络超载。过去的人工监管方法已无能为力。而当前对手机互联网色情图片与视频内容的自动识别技术又特别缺乏，无法进行有效的监控和管理。

2009年新疆乌鲁木齐“75”事件中，境内外“三股势力”利用手机互联网大肆制造、散播谣言，制造民族矛盾，利用网络视频挑起民族仇恨，煽动暴动。因此手机互联网服务已成为国家网络安全的巨大隐患。“75”事件凸显了加强信息监督管理、保障信息安全的重要性和紧迫性。政府应当建立和完善网络信息安全监控体系，对网上传播的信息进行严格识别，提高信息系统的安全防御能力和处理信息安全突发事件的能力，使其有效防控互联网、手机互联网犯罪，做到及时识别发现、及时监管、及时处理。防止事态扩大。

因此对手机互联网不良图像、视频内容及危害国家安全内容，只有用高技术手段智能识别过滤，构建基础防线才能根本解决这一难题，而此前这是空白。

发明内容

本发明基于上述技术背景，针对WAP手机图像数据海量的存在及其特点，提出一种旁路监听的WAP手机传媒色情图像识别与监管平台。

本发明所采用的技术方案：

一种WAP手机传媒色情图像、视频及不良内容的识别监管平台，所述识别、监管平台包括至少一个图像采集检测主服务器和至少一个图像采集检测从服务器，WAP业务数据镜像口从CDMA或GSM网络中镜像WAP业务数据，传送到图像采集检测主服务器和图像采集检测从服务器，所述图像采集检测主服务器和从服务器通过内部数据网连接后台数据库和监控终端，系统软件架构包括采集控制层、数据审核层、数据管理层、数据呈现层，其中

采集控制层：将采集到的高带宽数据经协议解析还原为原始的图像帧和文本信息, 进行不良内容访问阻断与提醒，并在前端将URL去重，将完全相同的不良图像去重,以提高检测速度，然后将还原的图片、视频、文字内容通过接口送至数据审核层；

数据审核层：分别对文字、图像、视频进行自动审核，并将获取的不良信息内容传输到数据管理层；

数据管理层：实现系统全局数据的统一管理和多维数据统计；

呈现层：对全局数据进行审计，阻断不良内容、封锁不良网址，给出需要的审计报表。

所述的WAP手机传媒色情图像、视频及不良内容的识别监管平台，设有完备的自身管理和其他接口，接口包括：预留向其他系统同步黑名单接口和数据上传到第三方系统的北向接口。

所述的WAP手机传媒色情图像、视频及不良内容的识别监管平台，数据审核层包括区域肤色分割加人脸识别的图像识别算法模型和网络视频识别算法模型；所述网络视频识别算法模型，采用基于Directshow的通用视频解码技术识别网络视频流；然后通过滑动窗口技术，按一定的策略获取视频流的关键帧，最后对关键帧采用前述的图像识别算法进行识别，当视频段的中所识别的关键帧为不良图像达到一个确定数量时便判为该视频为不良视频，低于该数量为正常视频或可疑视频。

所述的WAP手机传媒色情图像、视频及不良内容的识别监管平台，WAP业务数据镜像口将来自无线协议栈的请求翻译到WWW协议栈中并加以优化；通过图像采集检测服务器对手机色情图像及危害国家安全内容进行识别，得出“正常图像”、“可疑图像”、“色情图像”三种结论，并以监控终端上的实时检测报告方式进行报警；然后将色情图像、危害国家安全的内容及查到的对应网址记录在案在后台数据库中，后台数据库建有经筛选的全局的海量标准的色情图像样本集，其中的色情图像按色情指数进行排列。

所述的WAP手机传媒色情图像、视频及不良内容的识别监管平台，图像采集检测服务器包括高速采集核心算法和图像视频快速识别核心算法以及与核心算法相匹配的FPGA高速采集运算卡，采集识别与硬卡合一，以加快采集识别速度；图像采集检测服务器采集10G光口电口的HTTP、FTP、WAP、GPRS、RADIUS、P2P的BT、电驴、QQLIVE、PLIVE等多协议数据，并解析还原为应用层的图像视频文字内容。

本发明的有益积极效果：

1、本发明WAP手机传媒色情图像识别与监管平台，率先在WAP网关处用旁路监听方法解决了手机互联网海量淫秽图像、视频及不良信息的识别、监管的难题。系统结构包括硬件架构和软件架构，代替人工智能识别所有图片、文字内容是否含有淫秽色情及其它不良内容。自动完成采集、识别、保存记录、触发操作等动作。从CDMA（或GSM）网络中镜像采集WAP业务数据，对数据解析还原成WAP图像帧或视频流后通过命令调度进行图像、视频文字识别，得出正常图像、视频，色情图像、视频和可疑图像、视频，单台图片审计设备识别速度是每秒200帧, 解决了人工根本无法全面审核的困境，提高了手机上网内容审核效率。所有图像、视频、文字的采集、识别由“金惠图像采集检测服务器”来完成。

2、本发明WAP手机传媒色情图像识别与监管平台，首次提出了整个识别监管平台四层次的软件架构，实现监管平台对WAP手机互联网不良内容的监管。系统软件架构分为采集控制层、数据审核层、数据管理层和呈现层及相应的接口，给出了每层的软件模块，为识别监管系统的软件开发提供了规范。访问记录取证详细、定位准确。系统支持所有的淫秽内容的取证，能够详细记录内容提供商的IP地址、SP代码、内容提供时间和访问时间等信息。

3、本发明WAP手机传媒色情图像识别与监管平台，开发了基于FPGA的硬件平台，将图像采集、识别算法与硬件并行处理匹配，即解决了数据的高速运算，又保护了核心算法。系统全面覆盖移动手机上网业务，不存在任何技术盲区。系统同时支持2G手机和3G手机上网检测，支持IDC监测、支持网关接口电路监测，全面支持移动网络内容安全保障。

4、本发明提出了基于因果的镜头边界检测方法，满足了视频识别实时性的要求，首次建立了手机互联网视频识别算法模型；对分辨率低的小手机图像提出了“基于区域分割的肤色检测加人脸识别的算法模型”，使对色情图像的正确识别率＞90%，对正常图像的误判率＜10%，识别速度200幅/秒（双核CPU图像检测服务器），达到国内外领先水平。

5、本发明系统基于网络旁路监测、内容还原和内容识别技术，能够有效地抓取、还原和识别WAP网关、IDC机房服务器流入和流出流量中的色情图像、视频及不良信息，能准确分析并截获不良信息的数量、来源(域名和IP地址)和内容性质，以及访问者IP地址和访问时间。系统的应用领域包括：(一) 部署到IDC机房，监测IDC机房的托管主机和虚拟空间。(二) 部署到运营商互联网出口，监测用户访问的互联网上的淫秽内容，采取屏蔽服务器地址的方式打击淫秽内容供应商。(三) 为相关部门配备便携式网络视频、图片侦测工具，满足互联网内容安全监管的需求。

目前，国际、国内没有该项目相似技术与产品，是国内移动运营商、公安、文化、教育等系统急需的高技术产品。

附图说明

图1：本发明手机传媒色情图像、视频及不良内容的识别、监管平台CMDA网络旁路监听监控点的布暑示意图；

图2：本发明手机传媒色情图像、视频及不良内容的识别、监管平台GSM网络旁路监听监控点的布暑示意图；

图3：本发明识别、监管平台系统物理结构；

图4：本发明手机传媒色情图像、视频识别、监管平台的软件架构；

图5：基于肤色区域分割加人脸识别的图像检测算法模型；

图6：视频内容提取关键帧。

具体实施方式

实施例一：参见图1～图5，本发明WAP手机传媒色情图像、视频及不良内容的识别、监管平台，包括至少一个图像采集检测主服务器和至少一个图像采集检测从服务器，WAP业务数据镜像口从CDMA或GSM网络中镜像WAP业务数据，传送到图像采集检测主服务器和图像采集检测从服务器，所述图像采集检测主服务器和从服务器通过内部数据网连接后台数据库和监控终端，系统软件架构包括采集控制层、数据审核层、数据管理层、数据呈现层，其中

采集控制层：将采集到的高带宽数据经协议解析还原为原始的图像帧和文本信息, 进行不良内容访问阻断与提醒，并在前端将URL去重，将完全相同的不良图像去重,以提高检测速度，然后将还原的图片、视频、文字内容通过接口送至数据审核层；实现了10G(光口或电口)高带宽WAP上网数据采集，手机用户访问CMNET数据采集，支持IDC机房出口数据采集，支持移动出口电路和网关电路出口采集。能够采集和还原用户上网浏览的多种网络协议下（HTTP、FTP、BBS、WAP、GRPS及P2P的BT、电驴、Plive、Qqlive等多种应用协议）的文字、图像、视频等内容。

数据审核层：在该层分别对文字、图像、视频进行自动审核；并将获取的不良信息内容传输到数据管理层；数据审核层获取的不良的信息内容，特别是淫秽色情的图像、视频内容、危害国家安全的内容及相应的IP地址、URL、SP代码和查找到的不良信息源的物理地址，都要传到数据管理层。

数据管理层：实现了系统全局数据的统一管理和多维数据统计。全局(13个或更多省直辖市的“中国移动分公司”)不良的信息内容通过网络传到北京总公司，去掉重复的图像、视频及相应的IP地址后在J2EE平台下按色情指数统一建库，为快速检索非结构性的图像数据，我们采用科学的建库方法。并建有多种要求的统计报表，作为管理的基础数据和各分公司共享的统一参考数据。对于危害国家安全的内容的敏感内容，单独列项管理。

数据呈现层：该层对全局数据进行全面审计，阻断不良内容、封锁不良网址，给出需要的审计报表。审计的主要内容是上网行为分析，发现扑捉敏感信息，并跟踪定位。对违法网站访问内容、时间、次数等进行统计分析和历史对比分析。对网站访问、远程终端访问、数据库访问、即时通信、论坛文章、微博文章、P2P下载等进行关联分析。

WAP协议网关将来自无线协议栈的请求（例如：WSP、WTP、WTLS、WDP等）翻译到WWW协议栈（HTTP、SSL和TCP/IP）中并加以优化；通过图像采集检测主服务器和从服务器对手机色情图像及危害国家安全内容进行识别，得出“正常图像”、“可疑图像”、“色情图像”等三种结论，以监控终端上的实时检测报告方式进行报警。将色情图像、危害国家安全的内容及查到的对应网址记录在案在数据库中，其中的色情图像按色情指数进行排列。

系统设有完备的自身管理和其他接口，接口包括：预留向其他系统同步黑名单的接口和数据上传到第三方系统的北向接口，例如提供给公安部门管理系统的接口。接口为系统的软件开发提供了规范化的模块。

实施例二：参见图1～图6，本实施例WAP手机传媒色情图像、视频及不良内容的识别、监管平台，根据网络带宽的大小与数据量的多少，来配置“金惠图像采集检测服务器”的数量。数据审核层对文字、图像、视频进行自动审核。智能识别不良信息，并提供了人工审核干预机制。

1、数据审核层将审核后的不良信息的URL自动加入黑名单库,并查找到对应的IP地址、SP代码及确切的物理地址，以搜索到传播嫌疑人。

2、采用基于关键字库的关键字比对识别文字，采用本公司研发的基于完整知识库和推理引擎的语义分析来识别文本语义。

3、由于识别的图像是低分辨率、手机小图像，我们在基于内容的网络色情图像和不良图像检测系统（已授权专利（CN200510048577.0）基础上提出了一种在高级语义指导下的区域肤色分割加人脸识别的算法模型，在高级语义指导标注下，不断修改区域肤色分割算法的特征参数，得到语义模型,再去识别图像，会得到最高的识别正确率。被肤色检测器检测为肤色占空比大的图像，有可能是人脸，需要送入人脸检测器进行进一步判别。

4、在本层，采用网络视频识别算法对手机视频内容识别，一旦确定是视频流后便分析、识别是否为不良视频，先对视频进行解码，采用基于Directshow的通用视频解码技术，支持常见的网络视频编码格式；然后通过改进的滑动窗口技术，按一定的策略，获取视频流的关键帧，见图6。最后对关键帧采用前述的图像识别算法进行识别，当视频段的中所识别的关键帧为不良图像达到一个确定数量时便判为该视频为不良视频，低于该数量为正常视频或可疑视频。对于网络内容特别是对可疑的图像、视频内容也可人工审核识别。

Claims

1.一种WAP手机传媒色情图像、视频及不良内容的识别监管平台，其特征是：所述识别监管平台包括至少一个图像采集检测主服务器和至少一个图像采集检测从服务器，WAP业务数据镜像口从CDMA或GSM网络中镜像WAP业务数据，传送到图像采集检测主服务器和图像采集检测从服务器，所述图像采集检测主服务器和从服务器通过内部数据网连接后台数据库和监控终端，系统软件架构包括采集控制层、数据审核层、数据管理层、数据呈现层，其中

数据管理层：实现系统全局数据的统一管理和多维数据统计；将全局不良的信息内容通过网络进行传送，去掉重复的图像、视频及相应的IP地址后在J2EE平台下按色情指数统一建库，并建有统计报表，作为管理的基础数据和共享的统一参考数据；对于危害国家安全的敏感内容，单独列项管理；

呈现层：对全局数据进行审计，阻断不良内容、封锁不良网址，给出需要的审计报表；

数据审核层包括区域肤色分割加人脸识别的图像识别算法模型和网络视频识别算法模型；所述图像识别算法模型在高级语义指导标注下，不断修改区域肤色分割算法的特征参数，得到语义模型，再去识别图像，得到最高的识别正确率，被肤色检测器检测为肤色占空比大的图像，有可能是人脸，需要送入人脸检测器进行进一步判别；所述网络视频识别算法模型，采用基于Directshow的通用视频解码技术识别网络视频流；然后通过滑动窗口技术，按一定的策略获取视频流的关键帧，最后对关键帧采用前述的图像识别算法进行识别，当视频段的中所识别的关键帧为不良图像达到一个确定数量时便判为该视频为不良视频，低于该数量为正常视频或可疑视频；

WAP业务数据镜像口将来自无线协议栈的请求翻译到WWW协议栈中并加以优化；通过图像采集检测服务器对手机色情图像及危害国家安全内容进行识别，得出“正常图像”、“可疑图像”、“色情图像”三种结论，并以监控终端上的实时检测报告方式进行报警；然后将色情图像、危害国家安全的内容及查到的对应网址记录在案在后台数据库中，后台数据库建有经筛选的全局的海量标准的色情图像样本集，其中的色情图像按色情指数进行排列。

2.根据权利要求1所述的WAP手机传媒色情图像、视频及不良内容的识别监管平台，其特征是：设有完备的自身管理和其他接口，接口包括：预留向其他系统同步黑名单接口和数据上传到第三方系统的北向接口。

3.根据权利要求1所述的WAP手机传媒色情图像、视频及不良内容的识别监管平台，其特征是：图像采集检测服务器包括高速采集核心算法和图像视频快速识别核心算法以及与核心算法相匹配的FPGA高速采集运算卡，采集识别与硬卡合一，以加快采集识别速度；图像采集检测服务器采集10G光口电口的HTTP、FTP、WAP、GPRS、RADIUS、P2P的BT、电驴、QQLIVE、PLIVE多协议数据，并解析还原为应用层的图像视频文字内容。