CN116033194A - 基于移动终端的非法内容管控方法及系统 - Google Patents
基于移动终端的非法内容管控方法及系统 Download PDFInfo
- Publication number
- CN116033194A CN116033194A CN202211615735.6A CN202211615735A CN116033194A CN 116033194 A CN116033194 A CN 116033194A CN 202211615735 A CN202211615735 A CN 202211615735A CN 116033194 A CN116033194 A CN 116033194A
- Authority
- CN
- China
- Prior art keywords
- illegal
- content
- mobile terminal
- candidate
- contents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012552 review Methods 0.000 claims abstract description 49
- 230000009471 action Effects 0.000 claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 238000011161 development Methods 0.000 claims abstract description 7
- 238000007726 management method Methods 0.000 claims description 51
- 230000000903 blocking effect Effects 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000003016 pheromone Substances 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Landscapes
- Telephonic Communication Services (AREA)
Abstract
本发明提供一种非法内容管控方法以及系统，涉及数据处理技术领域。该非法内容管控方法应用于内置在移动终端中的软件代码开发工具包SDK模块，并且包括：实时侦听、抽样检测用户在所述移动终端浏览的内容，初步判断用户浏览的内容是否为非法内容；当初步判断用户浏览的内容为非法内容时，将所述内容作为候选非法内容上报到服务器；接收所述服务器反馈的控制指令，并执行相应的控制动作。本发明的技术方案通过提供可嵌入移动终端的SDK模块对非法内容进行初步判断，与服务器的智能和/或人工复审相结合，能够对移动终端进行安全强化，提高离线/在线的非法内容鉴定能力，实现从生产源头及用户终端进行内容的实时监控，能够做到对非法、不良内容的及时屏蔽。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于移动终端的非法内容管控方法及系统。
背景技术
随着5G的发展，移动互联网内容空前繁荣和发展，移动智能终端(如手机、Pad平板电脑、个人电脑、游戏机、车载终端等)已经成为人们日常生活的必需品。随着“三千兆”(千兆5G、千兆宽带、千兆Wi-Fi)业务的发展，各种文字、图片、音频、尤其是视频直播/点播(短视频，远程办公，在线教育等)等业务发展十分迅速，为移动终端用户提供了实现随时随地现场直播、点播的可能，内容也十分丰富多彩。热点内容、短视频、直播带货等往往可以短时间内吸引大量的用户观看，为用户提供了新的生活、娱乐方式。
然而各个移动互联网络信息内容服务平台APP的文字、图片、音频、视频直播/点播，短视频点播、微视频直播的内容良莠不齐，为了更多吸引流量，获得利益，很多APP内容服务平台往往对内容的管控失之过松。非法内容也会短时间内对用户形成不良的影响，有必要进行非法文字、图片、音视频等内容的统一监管。
现有的移动终端内容管控手段，主要是由内容运营平台实施自我管控，如在服务器端对用户上传的内容或正在直播的内容进行审核，在移动终端APP中设置青少年模式，接受用户事后投诉等，这些手段难以做到对移动终端所有浏览内容的实时监控、实时处理、全网覆盖，不能有效地对移动终端上播放的互联网有害/非法信息内容进行及时监管、限制访问或账户清理。此外，现有的针对非法内容的鉴定方法，往往只是单纯针对视频或音频等的单独检测方法，如截取影像中的静态图片，进行静态图像分析，并没有一套完整涵盖视频、音频、图片、文字的统一完整的非法内容管控方案，且常常会发生误判、错判的情况。
可见，目前缺乏一套对移动终端的实时浏览的内容进行实时监控，实时预警，实时处理的有效系统和方法，尤其是对青少年毒害深的非法内容，做不到及时准确检测，及时预警。所以，设计一种针对移动终端的实时浏览非法内容的检测管控系统和方法，对净化网络环境，具有十分重要的现实意义。
发明内容
为了至少部分解决现有技术中存在的上述不能及时准确检测及时预警的问题而完成了本发明。
根据本发明的第一方面，提供一种非法内容管控方法，应用于SDK(软件代码开发工具包)模块，所述SDK模块内置于移动终端，所述非法内容管控方法包括：实时侦听、抽样检测用户在所述移动终端浏览的内容，初步判断用户浏览的内容是否为非法内容；当初步判断用户浏览的内容为非法内容时，将所述内容作为候选非法内容上报到服务器；接收所述服务器反馈的控制指令，并执行相应的控制动作。
可选地，所述服务器反馈的控制指令为所述服务器对所述移动终端的所述SDK模块上报的内容判定为符合非法内容认定标准后发出的非法内容阻断控制命令，所述控制动作为阻断用户的非法内容浏览网络链接。
可选地，所述服务器反馈的控制指令为所述服务器对所述移动终端的所述SDK模块上报的内容判定为符合非法内容认定标准后发出的非法内容阻断控制命令，所述控制动作为阻断用户的非法内容浏览网络链接。
可选地，所述初步判断所述用户浏览的内容是否为非法内容，包括：对抽样检测的所述用户浏览的内容按照视频、音频、图片和文字四个类别进行分类；对分类后的内容按照与每个类别对应的预定标准进行识别打分；基于对分类后的内容进行识别打分的结果进行综合评判打分；以及根据所述综合评判打分的结果判断所述用户浏览的内容是否为非法内容。
可选地，基于对分类后的内容进行识别打分的结果进行综合评判打分，包括计算下式：
Ktotal＝WvideoKvideo+WvoiceKvoice+WpictureKpicture+WtextKtext
其中：
Ktotal为综合评判分值；
Kvideo，Kvoice，Kpicture，Ktext分别为与视频、音频、图片、文字对应的评判分值；
Wvideo，Wvoice，Wpicture，Wtext分别为与视频、音频、图片、文字对应的评判权重值，所述权重值满足归一化要求。
可选地，所述Wvideo，Wvoice，Wpicture，Wtext的取值依据实际检测到的非法内容的类型，所占的比例确定。
根据本发明的第二方面，提供一种移动终端，所述移动终端内置SDK模块，其特征在于，所述SDK模块用于执行根据权利要求1至6中任一项所述的非法内容管控方法。
根据本发明的第三方面，提供一种非法内容管控方法，应用于服务器，所述非法内容管控方法包括：接收移动终端内置的SDK模块上报的候选非法内容，所述候选非法内容是用户正在浏览的经所述SDK模块初步判断为非法的内容；对所述候选非法内容进行鉴定评判；若评判结果为非法，申请对所述候选非法内容进行人工复审；接收人工复审结果，若人工复审结果为认定所述候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将所述非法内容阻断控制指令发送给所述移动终端的所述SDK模块。
根据本发明的第四方面，提供了一种用于非法内容管控的服务器，所述服务器：
接收移动终端内置的SDK模块上报的候选非法内容，所述候选非法内容是用户正在浏览的经所述SDK模块初步判断为非法的内容；
对所述候选非法内容进行鉴定评判；
若评判结果为非法，申请对所述候选非法内容进行人工复审；
接收人工复审结果，若人工复审结果为认定所述候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将所述非法内容阻断控制指令发送给所述移动终端的所述SDK模块。
根据本发明的第五方面，提供一种非法内容管控方法，包括：由移动终端中内置的SDK模块，实时侦听、抽样检测用户在所述移动终端浏览的内容，并初步判断所述用户浏览的内容是否为非法内容；所述SDK模块在初步判断用户浏览的内容为非法内容时，将所述内容作为候选非法内容上报到服务器；所述服务器接收移动终端上报的候选非法内容；对所述候选非法内容进行鉴定评判；若评判结果为非法，所述服务器发出告警信息，并申请对所述候选非法内容进行人工复审；对所述候选非法内容进行人工复审，以人工判断所述候选非法内容是否符合非法内容认定标准；所述服务器接收人工复审的结果，若人工复审的结果为所述非法内容符合非法内容认定标准，则所述服务器触发非法内容阻断控制指令，并将所述阻断控制指令发送给所述移动终端；以及所述移动终端的SDK模块接收所述服务器反馈的控制指令，并执行相应的控制动作。
可选地，对所述候选非法内容进行人工复审，包括：对所述候选非法内容进行至少两级人工复审。
根据本发明的第六方面，提供一种非法内容管控系统，所述非法内容管控系统包括：移动终端、服务器；所述移动终端内置SDK模块，所述SDK模块用于：实时侦听、抽样检测用户在所述移动终端浏览的内容；初步判断所述用户浏览的内容是否为非法内容；当初步判断用户浏览的内容为非法内容时将所述内容作为候选非法内容上报到服务器；以及接收所述服务器反馈的控制指令，并执行相应的控制动作；所述服务器用于：接收所述移动终端的所述SDK模块上报的候选非法内容；对所述候选非法内容进行鉴定评判；若评判结果为非法，所述服务器发出告警信息，并申请对所述候选非法内容进行人工复审；接收人工复审结果，若复审结果为认定所述候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将所述阻断控制指令发送给所述移动终端的SDK模块。
本发明通过提供可嵌入移动终端的SDK模块对非法内容进行初步判断，与服务器的智能和/或人工复审相结合，能够对移动终端进行安全强化，提高离线/在线的非法内容鉴定能力，实现从生产源头及用户终端进行内容的实时监控，能够做到对非法、不良内容的及时屏蔽。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种非法内容管控方法的流程示意图；
图2为一种在线视频图像内容识别方法及过程；
图3为本发明实施例提供的另一种非法内容管控方法的流程示意图；
图4为本发明实施例提供的非法内容管控系统的结构示意图；
图5为本发明实施例提供的又一种非法内容管控方法的流程示意图；
图6为本发明实施例提供的再一种非法内容管控方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，以下结合附图对本发明的具体实施例和实施方式进行详细说明。应当理解的是，此处所描述的具体实施例和实施方式仅用于说明和解释本发明，并不用于限制本发明。此外需要说明的是，在不冲突的情况下，各实施例和各实施方式中的特征可以彼此结合。
本发明实施例提供了基于移动终端的非法内容管控方法和非法内容管控系统。非法内容大体上来说是不符合法律法规、风俗道德等的内容，比如涉及暴力色情等非法的有害内容。
图1为本发明实施例提供的一种非法内容管控方法的流程示意图。所述非法内容管控方法应用于软件代码开发工具包(Software Development Kit)SDK模块。
如图1所示，所述非法内容管控方法包括由SDK模块执行的如下步骤S1至S3。
步骤S1.实时侦听、抽样检测用户在移动终端浏览的内容，初步判断用户浏览的内容是否为非法内容。
在本实施例中，移动终端可以包括手机、电脑、Pad等设备。如后文中所介绍，是否为非法内容的判断可以基于预定的标准进行判断。
SDK模块是用于生成、提取、比对信息素的开发工具包，可内置于移动终端的操作系统(例如Android、iOS、Windows等)中，并可由各App模块调用。如下文所述，在本发明实施例中，该SDK模块可用于对用户浏览的内容(视频、音频、图片、文字或其组合)进行实时侦听、抽样送检；阻断用户的非法内容浏览网络链接，并发出警告提示；通过移动终端的通讯接口与服务器进行数据通讯(上报候选非法内容、接收服务器反馈的指令等)。
步骤S2.当初步判断用户浏览的内容为非法内容时，将该内容作为候选非法内容上报到服务器。
在一个实施方式中，当SDK模块初步判断用户浏览的内容为非法内容后，SDK模块可通过终端的通讯接口将用户浏览的内容抽样作为候选非法内容发送至服务器进行判断。服务器可以是由网络运营商、终端制造厂商或应用程序发行商等提供的服务器、服务器集群或云平台。
如下文所详述，服务器可以针对该用户的非法内容抽样进一步进行智能鉴定评判，并可以进一步申请人工内容审核，以确保检测的准确性和安全性，还可以提请更高级的复审，减少人工评判的随意性，进行层层把关，高层进行最终非法内容判定。
步骤S3.接收服务器反馈的控制指令，并执行相应的控制动作。
在一个具体实施方式中，服务器反馈的控制指令可以为服务器对移动终端的SDK模块上报的内容判定为符合非法内容认定标准后发出的非法内容阻断控制命令，控制动作可以为阻断用户的非法内容浏览网络链接，从而对非法内容进行及时屏蔽。
相应地，如果服务器对移动终端的SDK模块上报的内容判定为不符合非法内容认定标准，服务器可向SDK模块返回误报指令，从而SDK模块不对用户浏览的内容进行屏蔽。
根据本发明实施例提供的非法内容管控方法，通过提供可嵌入移动终端的SDK模块对非法内容进行初步判断，与服务器的智能和/或人工复审相结合，能够对移动终端(如苹果、安卓和PC端的用户端/主播端APP)进行安全强化，提高离线/在线的非法内容鉴定能力，实现从生产源头及用户终端进行内容的实时监控，能够做到对非法、不良内容的及时屏蔽，早发现、早隔离。
在一个具体实施方式中，步骤S1中初步判断用户浏览的内容是否为非法内容，可以包括如下步骤S11至S14。
S11.对抽样检测的用户浏览的内容按照视频、音频、图片和文字四个类别进行分类。
S12.对分类后的内容按照与每个类别对应的预定标准进行识别打分。预定标准可以是领域内公认的非法内容的认定标准。
S13.基于对分类后的内容进行识别打分的结果进行综合评判打分。例如可以根据如后文所述的计算分值。
S14.根据综合评判打分的结果判断用户浏览的内容是否为非法内容。例如判定超过预定标准的内容判定为非法内容，不超过预定标准的内容判定为不是非法内容，即合法的。
判断内容是否非法的核心问题之一是对非法内容的识别准确度和评判打分标准。因为用户对网络内容的访问往往同时涉及文字、图片、音频、视频的浏览动作，而且所有内容(文字，图片，音频、视频等)都有可能涉及到非法有害内容，所以对后台获取到的用户内容可先进行分类，然后针对每一分类进行识别打分，最后再综合评判打分，以求准确识别和判定用户的非法网络内容浏览行为，以便采取和实施告警及内容网络阻断动作。
在一个具体实施方式中，基于对分类后的内容进行识别打分的结果进行综合评判打分，可以包括计算下式：
Ktotal＝WvideoKvideo+WvoiceKvoice+WpictureKpicture+WtextKtext
其中：
Ktotal为综合评判分值；
Kvideo，Kvoice，Kpicture，Ktext分别为与视频、音频、图片、文字对应的评判分值；
Wvideo，Wvoice，Wpicture，Wtext分别为与视频、音频、图片、文字对应的评判权重值，所述权重值满足归一化要求。Wvideo，Wvoice，Wpicture，Wtext的取值可以依据实际检测到的非法内容的类型(如是视频、音频、图片还文字)，不同类型所占的比例确定。
对于非法视频内容识别，普遍的做法是对所监测的视频流的关键帧(图像)序列、音频、字幕文字的分离提取，各自识别评判，最后再综合识别判定打分的过程，从而得出针对视频识别的打分，从而判定是否为非法直播、点播(含小视频)等内容。如图2给出了一种在线视频图像内容识别方法及过程。目前主流的视频行为检测算法一般采用基于深度学习的CNN(卷积神经网络)算法及其改进算法进行非法图像、影像、视频内容的识别。一般而言视频特征提取的越多，识别的准确率也相应越高，但付出的计算资源代价也越大。
在一个实施方式中，可通过如下方式确定视频流的行为特征。在针对视频流关键帧图像的行为认知研究中，卷积神经网络提取的图像特征被应用于行为分类。在视频的行为认知问题中，卷积神经网络可以保持其二维结构并通过堆叠关键帧I帧的连续时间片段的特征进行学习、建立沿时间轴变化的2D卷积神经网络、或者逐帧提取特征并输入循环神经网络RNN，从而识别出人体目标部位的运动轨迹及行为，进而做出行为判断，以进一步确认识别结果是否准确、可靠，并给出相应的判定分值。
对于非法音频内容的识别，语音识别本质上是一种模式识别的过程，未知语音的模式与已知语音的参考模式逐一进行比较，最佳匹配的参考模式被作为识别结果。目前的主流语音识别系统多采用隐马尔科夫模型((Hidden Markov Model，HMM)，如GMM-HMM或者CNN/DNN-HMM。根据训练语音库的特征参数训练出声学模型参数，识别时将待识别的语音特征参数与声学模型匹配，得到识别结果。在自然语言识别等领域，主要用到的是RNN(Recurrent Neural Network,循环神经网络)。这两种算法本质上都是向量和矩阵运算。
语音信号经过预处理后，逐帧提取语音特征，传统的提取特征类型方法包括梅尔频率倒谱系数MFCC(Mel Frequency Cepstrum Coefficient)法等，在声学模型(如隐马尔科夫模型HMM，Hidden Markov Model等)、语言模型(如N-gram、循环神经网络语言模型RNNLM(Recurrent Neural Network Language Modeling)等)以及发音词典的共同指导下，找到最为匹配的词序列作为识别结果输出。当前采用人工智能的神经网络方法逐步取代了HMM方法。
对于非法图像/图片的识别，目前计算机视觉技术图像诊断识别，主要包括图像采集、图像处理、特征提取、分类识别等方面。典型的应用有人脸识别、视频监控和光学字符识别OCR等。目前，图像识别主要有三种识别方法：统计模式识别、结构模式识别、模糊模式识别。
在一个实施方式中，可通过如下方式确定图像的画面颜色。画面图像对于计算机来说就是一组标准化多阶二维数组矩阵，颜色空间有RGB(Red，Green，Blue)、HIS(Hue，Intensity，Saturation)、HSV(Hue，Saturation，Value)等颜色空间模型。通过对目标图像的像素的分块、遍历，可以获取每个位置坐标处像素的RGB三个通道数值。通过和标准颜色空间数值进行比对，从而获得画面的颜色。画面颜色的获取一般采用一般直方图法、全局/局部累加直方图法、颜色参量的统计特征法，基于小波的分块图像颜色特征提取法等。
在一个实施方式中，可通过如下方式确定目标图像的背景噪声干扰消除。在尽量保留图像原有信息的基础上，过滤掉图像内部的背景噪声，即对图像进行平滑处理也叫模糊处理，基本原理是将噪声所在像素点的像素值处理为其周围临近像素点的值的近似值，主要有均值滤波，方框滤波，高斯滤波，中值滤波，双边滤波等滤波算法，目的是去除非关键特征物体的信息干扰，集中提升目标图像特征识别的效率和准确度。
在一个实施方式中，可通过如下方式确定目标图像的场景信息。采用卷积神经网络CNN(Convolutional Neural Networks)深度学习方法，通过对关键帧I帧图像中除人体以外的周围环境中特征物体的学习，特征提取及分类、训练、匹配比对提取的大量的物体特征值标准库，推断当事人所处的当前环境，如室内、室外等，并进行分类处理，以便获取更多场景方面的辅助判定信息，有助于更加准确的进行图像内容识别，判断图像的内容性质。
在一个实施方式中，可通过如下方式确定目标图像的皮肤裸露度。首先通过深度学习人像特征提取算法如FCN算法(Fully Convolutional Networks For SemanticSegmentation)或基于边缘轮廓特征的贝叶斯模型等算法，抠出人体图像，通过计算面部、四肢图像区域，与整个肤色区域的面积比例和具体的分布，来判断是否属于非法视频，并给出相应的匹配权重和分值。
在一个实施方式中，可通过如下方式确定图像中的人体目标部位。首先通过深度学习卷积神经网络CNN(Convolutional Neural Networks)或多层反馈循环神经网络RNN(Recurrent Neural Network)等人体特征提取算法识别出人体及人体目标部位，通过同人体特征数据集进行比对评判，给出非法识别结果及打分。人体特征数据集包含所有类型的人像图，有各种姿态，各种人体比例，非常多样化，可以用于更加精细和复杂的人体特征识别或抠图场景。例如Helen Parsing dataset是将关键点检测数据集Helen Dataset进行了标注后得到的人脸图像分割数据集，包含2000张训练图像和330张测试图像，并且在不断细化、新增。
实践表明，深度学习是一种高效的图像特征提取方法，它能够提取数据中更加抽象的特征，实现对数据更本质的刻画，同时深层模型具有更强的建模和推广能力。
对于非法文字的识别，主要包括TXT文字的关键字词、上下文语义所涉及内容的判别，借助上下文关系词典库的共同指导下，找到最为匹配的词序列作为识别结果输出。
在数字图像光学字符文本识别OCR(Optical Character Recognition)过程中，由于所截取图像的不可控性，总会存在一定角度的倾斜。倾斜角度要满足一定范围：θ≤d/L(θ即倾斜角度，d为文本行距，L为文本行长)，若超出这个范围，则可能将下(上)一行的文字拼接到本行，替代原有文字，产生误断。通常来讲：θ应在2度以内。为了避免或者是纠正这种问题，就需要对图像进行预处理，进行倾斜检测，常用检测方法有投影法，Hough变换法(1962年由Paul Hough提出)等。
在一个实施方式中，可通过如下方式确定图像中文字的版面分析值。图像版面分析中，主要是判定像素区域是文本还是图像，分析字幕文字的排版横纵规律性，文字小、字间距等特征，传统的方法是通过轮廓投影，连通域标记，机器学习等方法，对于倾斜，模糊，扭曲等低质量图像目前主要采用深度学习方法，如全卷积网络FCN(Fully ConvolutionalNetworks for Semantic Segmentation)、faster-RCNN(Region-based ConvolutionalNeural Networks)法等。
在一个实施方式中，可通过如下方式确定图像中的目标文字。图像中目标文字提取，在对图像进行预处理的基础上，首先进行文字检测，可使用Canny算法进行边缘检测得到字符图像轮廓边缘图，接着进行图像映射校正变换Warping，然后对图像中的文字进行字符切割，每行都包含一行文字，然后根据水平方向的直方图，按列分割每一行，得到被行列分割的图像，此时分割的每一个区域包含一个完整的文字串，然后对每一个区域进行扩张操作从而修复断裂字符，最后，使用连通区域标记算法从左到右分割文字字符，从而完成目标文字识别。
在一个实施方式中，可通过如下方式确定图像中上下文关系校验。这里同样可采用语言模型(如N-gram、循环神经网络语言模型RNNLM(Recurrent Neural NetworkLanguage Modeling)等)以及上下文关系词典库的共同指导下，找到最为匹配的词序列作为识别结果输出。
基于相同的技术构思，本公开实施例还相应提供一种移动终端，该移动终端内置SDK模块，所述SDK模块用于执行本发明上述实施例中的非法内容管控方法。
本实施例的移动终端能够获得与以上实施例相同的技术效果，在此不再赘述。
本发明的实施例还提供了一种应用于服务器的非法内容管控方法。
图3为本发明实施例提供的应用于服务器的非法内容管控方法的流程示意图。该非法内容管控方法包括如下步骤S31至S34。
S31.接收移动终端内置的SDK模块上报的候选非法内容，该候选非法内容是用户正在浏览的经SDK模块初步判断为非法的内容。
S32.对所述候选非法内容进行鉴定评判。
在一个具体实施方式中，服务器对非法内容的判定方法可以参照上述图1所示实施方式中的判定方法进行，如对浏览内容进行分类、打分，与预定标准进行比对判定。
在另一个具体实施方式中，若SDK模块上报的候选非法内容为直播业务视频流片段，可参照由本申请人申请的发明专利CN202011593579.9中的方法，由服务器对候选非法内容是否非法进行判定。具体可以为：提取作为候选非法内容的直播业务视频流片段中的目标画面组、语音数据和字幕数据；根据所述目标画面组中包含的第一特征集合，确定画面得分；根据所述语音数据中包含的第二特征集合，确定语音得分；根据所述字幕数据中包含的第三特征集合，确定字幕得分；根据所述画面得分、所述语音得分和所述字幕得分，确定综合得分；确定所述综合得分大于或等于目标得分时，判定此候选非法内容非法。
S33.若步骤S32的评判结果为非法，发出告警信息，并申请对候选非法内容进行人工复审。
在一个具体实施方式中，可以对候选非法内容进行至少两级人工复审，如进行初级人工复审和高级人工复审，通过进行层层把关，减少人工评判的随意性。
S34.接收人工复审结果，若人工复审结果为认定候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将非法内容阻断控制指令发送给移动终端的SDK模块，以便及时对非法、不良内容进行屏蔽。
根据本实施例的应用于服务器的非法内容管控方法可以与前述实施例中应用于移动终端的非法内容管控方法相结合，从而能够对移动终端进行安全强化，提高离线/在线的非法内容鉴定能力，实现从生产源头及用户终端进行内容的实时监控，以便对非法、不良内容进行及时屏蔽。
基于相同的技术构思，本发明还提供一种用于非法内容管控的服务器，该服务器：
接收移动终端内置的SDK模块上报的候选非法内容，候选非法内容是用户正在浏览的经SDK模块初步判断为非法的内容；
对候选非法内容进行鉴定评判；
若评判结果为非法，申请对候选非法内容进行人工复审；
接收人工复审结果，若人工复审结果为认定候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将非法内容阻断控制指令发送给移动终端的SDK模块。
基于相同的技术构思，本公开实施例还相应提供一种非法内容管控系统。如图4所示，该非法内容管控系统包括移动终端100和服务器200。
移动终端内置SDK模块101，SDK模块101用于：实时侦听、抽样检测用户在移动终端100浏览的内容；初步判断用户浏览的内容是否为非法内容；当初步判断用户浏览的内容为非法内容时将该内容作为候选非法内容上报到服务器200；以及接收服务器200反馈的控制指令，并执行相应的控制动作。
服务器200用于：接收移动终端100的SDK模块101上报的候选非法内容；对候选非法内容进行鉴定评判；若评判结果为非法，服务器200发出告警信息，并申请对候选非法内容进行人工复审；接收人工复审结果，若复审结果为认定候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将阻断控制指令发送给移动终端100的SDK模块101。
非法内容的判定方法同样也可以参照上述图1所示实施方式中的判定方法进行判定。
在一个具体实施方式中，可以对候选非法内容进行至少两级人工复审，如进行初级人工复审和高级人工复审。在有些实施方式中，除了进行初级人工复审和高级人工复审，还进行最高级的人工复审，进行层层把关，减少人工评判的随意性。
需要说明的是，移动终端100与服务器200之间的数据传输可以为但不限于通过5G网络、4G网络或光纤网络等进行的数据传输。
图5为本发明实施例提供的一种非法内容管控方法，该非法内容管控方法包括如下步骤S51至S55。
S51.由移动终端中内置的SDK模块，实时侦听、抽样检测用户在移动终端浏览的内容，并初步判断用户浏览的内容是否为非法内容；SDK模块在初步判断用户浏览的内容为非法内容时，将内容作为候选非法内容上报到服务器。
S52.服务器接收移动终端上报的候选非法内容；对候选非法内容进行鉴定评判；若评判结果为非法，服务器发出告警信息，并申请对候选非法内容进行人工复审。
S53.对候选非法内容进行人工复审，以人工判断候选非法内容是否符合非法内容认定标准。
S54.服务器接收人工复审的结果，若人工复审的结果为非法内容符合非法内容认定标准，则服务器触发非法内容阻断控制指令，并将阻断控制指令发送给移动终端。
S55.移动终端的SDK模块接收服务器反馈的控制指令，并执行相应的控制动作。
需要说明的是，目前针对非法视频，音频，图像及文字等内容的识别算法准确率普通在80％～95％左右，尚做不到100％的准确，存在误判/漏判的可能，所以优选为借助人工复审分析的方式以确保精准评判用户访问的内容是否合法合规。
在一个具体实施方式中，对候选非法内容进行人工复审，包括：对候选非法内容进行至少两级人工复审，如进行初级人工复审和高级人工复审。在有些实施方式中，除了进行初级人工复审和高级人工复审，还进行最高级的人工复审，进行层层把关，减少人工评判的随意性。
图6为本发明实施例提供的另一种非法内容管控方法的流程示意图。所述非法内容管控方法由移动终端内置SDK模块、服务器、相关人员协同实施。如图6所示，所述非法内容管控方法包括如下步骤1-7。
步骤1.移动终端内置SDK模块(非法内容检测模块)实时侦听、抽样检测用户浏览的内容(如视频，音频，图片、文字或其组合)。
步骤2.移动端非法内容鉴别模块初步检测用户浏览的内容是否为非法内容。
步骤3.一旦发现非法内容，立即上报后台远程服务平台；
步骤4.后台服务器的内容鉴定引擎及平台针对该用户的非法内容抽样进行详细鉴定、评定；
步骤5.反馈鉴定评判结果，发出告警信息，并申请人工内容审核，以确保检测的准确性(误报漏报等)和安全性；
步骤6.对报送的评判结果进行人工复审，减少误报的可能，并提请更高级的复审，减少人工评判的随意性，进行层层把关；
步骤7.高层进行最终非法内容判定；
步骤8.向下层人工复审人员传达最终的非法内容阻断指令；
步骤9.触发非法内容阻断控制指令；
步骤10.非法内容阻断控制指令下达至移动终端；
步骤11.内置SDK非法内容检测模块阻断用户的非法内容浏览网络链接，并发出警告提示。
综上所述，本发明实施例提供的非法内容管控方法及系统，通过内置于移动终端的SDK模块实时侦听、抽样检测用户在所述移动终端浏览的内容，通过合理的算法判断用户浏览的内容为非法内容后上报到服务器，服务器发出控制指令并执行相应的控制动作，从而净化网络环境、清理网络有害信息，实现从生产源头及用户终端内容的实时监控，早发现、早隔离，能够做到对不良内容的及时屏蔽。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种非法内容管控方法，应用于软件代码开发工具包SDK模块，所述SDK模块内置于移动终端，其特征在于，所述非法内容管控方法包括：
实时侦听、抽样检测用户在所述移动终端浏览的内容，初步判断用户浏览的内容是否为非法内容；
当初步判断用户浏览的内容为非法内容时，将所述内容作为候选非法内容上报到服务器；
接收所述服务器反馈的控制指令，并执行相应的控制动作。
2.根据权利要求1所述的非法内容管控方法，其特征在于，所述服务器反馈的控制指令为所述服务器对所述移动终端的所述SDK模块上报的内容判定为符合非法内容认定标准后发出的非法内容阻断控制命令，所述控制动作为阻断用户的非法内容浏览网络链接。
3.根据权利要求1或2所述的非法内容管控方法，其特征在于，所述初步判断所述用户浏览的内容是否为非法内容，包括：
对抽样检测的所述用户浏览的内容按照视频、音频、图片和文字四个类别进行分类；
对分类后的内容按照与每个类别对应的预定标准进行识别打分；
基于对分类后的内容进行识别打分的结果进行综合评判打分；以及
根据所述综合评判打分的结果判断所述用户浏览的内容是否为非法内容。
4.根据权利要求3所述的非法内容管控方法，其特征在于，基于对分类后的内容进行识别打分的结果进行综合评判打分，包括计算下式：
Ktotal＝WvideoKvideo+WvoiceKvoice+WpictureKpicture+WtextKtext
其中：
Ktotal为综合评判分值；
Kvideo，Kvoice，Kpicture，Ktext分别为与视频、音频、图片、文字对应的评判分值；
Wvideo，Wvoice，Wpicture，Wtext分别为与视频、音频、图片、文字对应的评判权重值，所述权重值满足归一化要求。
5.根据权利要求4所述的非法内容管控方法，其特征在于，所述Wvideo，Wvoice，Wpicture，Wtext的取值依据实际检测到的非法内容的类型，所占的比例确定。
6.一种移动终端，其特征在于，所述移动终端内置SDK模块，所述SDK模块用于执行根据权利要求1至5中任一项所述的非法内容管控方法。
7.一种非法内容管控方法，应用于服务器，其特征在于，所述非法内容管控方法包括：
接收移动终端内置的SDK模块上报的候选非法内容，所述候选非法内容是用户正在浏览的经所述SDK模块初步判断为非法的内容；
对所述候选非法内容进行鉴定评判；
若评判结果为非法，申请对所述候选非法内容进行人工复审；
接收人工复审结果，若人工复审结果为认定所述候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将所述非法内容阻断控制指令发送给所述移动终端的所述SDK模块。
8.一种用于非法内容管控的服务器，其特征在于，所述服务器：
接收移动终端内置的SDK模块上报的候选非法内容，所述候选非法内容是用户正在浏览的经所述SDK模块初步判断为非法的内容；
对所述候选非法内容进行鉴定评判；
若评判结果为非法，申请对所述候选非法内容进行人工复审；
接收人工复审结果，若人工复审结果为认定所述候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将所述非法内容阻断控制指令发送给所述移动终端的所述SDK模块。
9.一种非法内容管控方法，其特征在于，所述非法内容管控方法包括：
由移动终端中内置的SDK模块，实时侦听、抽样检测用户在所述移动终端浏览的内容，并初步判断所述用户浏览的内容是否为非法内容；所述SDK模块在初步判断用户浏览的内容为非法内容时，将所述内容作为候选非法内容上报到服务器；
所述服务器接收移动终端上报的候选非法内容；对所述候选非法内容进行鉴定评判；若评判结果为非法，所述服务器发出告警信息，并申请对所述候选非法内容进行人工复审；
对所述候选非法内容进行人工复审，以人工判断所述候选非法内容是否符合非法内容认定标准；
所述服务器接收人工复审的结果，若人工复审的结果为所述非法内容符合非法内容认定标准，则所述服务器触发非法内容阻断控制指令，并将所述阻断控制指令发送给所述移动终端；以及
所述移动终端的SDK模块接收所述服务器反馈的控制指令，并执行相应的控制动作。
10.根据权利要求9所述的非法内容管控方法，其特征在于，对所述候选非法内容进行人工复审，包括：对所述候选非法内容进行至少两级人工复审。
11.一种非法内容管控系统，其特征在于，所述非法内容管控系统包括：移动终端、服务器；
所述移动终端内置SDK模块，所述SDK模块用于：实时侦听、抽样检测用户在所述移动终端浏览的内容；初步判断所述用户浏览的内容是否为非法内容；当初步判断用户浏览的内容为非法内容时将所述内容作为候选非法内容上报到服务器；以及接收所述服务器反馈的控制指令，并执行相应的控制动作；
所述服务器用于：接收所述移动终端的所述SDK模块上报的候选非法内容；对所述候选非法内容进行鉴定评判；若评判结果为非法，所述服务器发出告警信息，并申请对所述候选非法内容进行人工复审；接收人工复审结果，若复审结果为认定所述候选非法内容符合非法内容认定标准，则触发非法内容阻断控制指令，并将所述阻断控制指令发送给所述移动终端的SDK模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211615735.6A CN116033194A (zh) | 2022-12-15 | 2022-12-15 | 基于移动终端的非法内容管控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211615735.6A CN116033194A (zh) | 2022-12-15 | 2022-12-15 | 基于移动终端的非法内容管控方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116033194A true CN116033194A (zh) | 2023-04-28 |
Family
ID=86075257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211615735.6A Pending CN116033194A (zh) | 2022-12-15 | 2022-12-15 | 基于移动终端的非法内容管控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116033194A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035280A (zh) * | 2007-04-19 | 2007-09-12 | 鲍东山 | 分级内容审核终端系统 |
| CN102377684A (zh) * | 2010-08-11 | 2012-03-14 | 腾讯科技（深圳）有限公司 | 一种自动阻断色情视频文件传输的方法、终端和系统 |
| CN102547794A (zh) * | 2012-01-12 | 2012-07-04 | 郑州金惠计算机系统工程有限公司 | Wap手机传媒色情图像、视频及不良内容的识别监管平台 |
| CN106454492A (zh) * | 2016-10-12 | 2017-02-22 | 武汉斗鱼网络科技有限公司 | 一种基于延时传送的直播色情内容审核系统及方法 |
| CN107306358A (zh) * | 2016-04-20 | 2017-10-31 | 中兴通讯股份有限公司 | 播放控制方法及装置 |
| CN109819267A (zh) * | 2018-12-30 | 2019-05-28 | 广东彼雍德云教育科技有限公司 | 一种在线云直、录播系统 |
-
2022
- 2022-12-15 CN CN202211615735.6A patent/CN116033194A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035280A (zh) * | 2007-04-19 | 2007-09-12 | 鲍东山 | 分级内容审核终端系统 |
| CN102377684A (zh) * | 2010-08-11 | 2012-03-14 | 腾讯科技（深圳）有限公司 | 一种自动阻断色情视频文件传输的方法、终端和系统 |
| CN102547794A (zh) * | 2012-01-12 | 2012-07-04 | 郑州金惠计算机系统工程有限公司 | Wap手机传媒色情图像、视频及不良内容的识别监管平台 |
| CN107306358A (zh) * | 2016-04-20 | 2017-10-31 | 中兴通讯股份有限公司 | 播放控制方法及装置 |
| CN106454492A (zh) * | 2016-10-12 | 2017-02-22 | 武汉斗鱼网络科技有限公司 | 一种基于延时传送的直播色情内容审核系统及方法 |
| CN109819267A (zh) * | 2018-12-30 | 2019-05-28 | 广东彼雍德云教育科技有限公司 | 一种在线云直、录播系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111881726B (zh) | 一种活体检测方法、装置及存储介质 | |
| CN108648746A (zh) | 一种基于多模态特征融合的开放域视频自然语言描述生成方法 | |
| CN108564052A (zh) | 基于mtcnn的多摄像头动态人脸识别系统与方法 | |
| US20120093362A1 (en) | Device and method for detecting specific object in sequence of images and video camera device | |
| CN108491821A (zh) | 基于图像处理和深度学习的车险事故鉴别方法、系统及存储介质 | |
| CN114465737B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN111191073A (zh) | 视频音频识别方法、设备、存储介质及装置 | |
| CN110991246A (zh) | 一种视频检测方法及系统 | |
| CN111914649A (zh) | 人脸识别的方法及装置、电子设备、存储介质 | |
| CN113449676B (zh) | 一种基于双路互促进解纠缠学习的行人重识别方法 | |
| CN116524725B (zh) | 一种智能驾驶的交通标志图像数据识别系统 | |
| KR102277929B1 (ko) | 얼굴 인식에 기반한 실시간 얼굴 마스킹 시스템 및 이를 이용한 실시간 얼굴 마스킹 방법 | |
| CN112989098A (zh) | 一种图像类侵权实体自动化检索方法、装置和电子设备 | |
| CN116189063B (zh) | 一种用于智能视频监控的关键帧优化方法及装置 | |
| CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
| CN116033194A (zh) | 基于移动终端的非法内容管控方法及系统 | |
| CN115661757A (zh) | 一种受电弓拉弧自动检测方法 | |
| CN112380999B (zh) | 一种针对直播过程中诱导性不良行为的检测系统及方法 | |
| CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
| CN113989886A (zh) | 基于人脸识别的船员身份验证方法 | |
| CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
| CN114697687B (zh) | 一种数据处理方法和装置 | |
| CN110956097A (zh) | 遮挡人体提取方法及模块、场景转换方法及装置 | |
| CN110891049A (zh) | 基于视频的账户登录方法、装置、介质、电子设备 | |
| CN114760484B (zh) | 直播视频识别方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |