CN110297991B - 基于大数据技术的色情数据删除方法及工作系统 - Google Patents
基于大数据技术的色情数据删除方法及工作系统 Download PDFInfo
- Publication number
- CN110297991B CN110297991B CN201910555789.XA CN201910555789A CN110297991B CN 110297991 B CN110297991 B CN 110297991B CN 201910555789 A CN201910555789 A CN 201910555789A CN 110297991 B CN110297991 B CN 110297991B
- Authority
- CN
- China
- Prior art keywords
- pornographic
- numbers
- data
- mobile phone
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000005516 engineering process Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000013480 data collection Methods 0.000 claims abstract description 3
- 238000013075 data extraction Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提出了一种基于大数据技术的色情数据删除方法及工作系统，包括如下步骤：S1，通过数据提取收集方式寻找疑似色情网站；S2，根据寻找的疑似色情网站中的信息进行色情号码识别与提取；S3，将识别与提取后的色情号码接入社交网络接口；S4，接入社交网络接口后，对色情号码相关信息进行可视化处理，向终端用户进行展示。
Description
技术领域
本发明涉及计算机数据挖掘领域，尤其涉及一种基于大数据技术的色情数据删除方法及工作系统。
背景技术
淫秽色情内容及其产业易导致社会风气败坏，引起各种各样的社会犯罪，损害身心健康，所以色情一直以来都是重点打击和监控的违法行为。
互联网对于色情内容如果没有相应的监管和识别，将会造成非常严重的社会问题，但是通过传统手段进行色情内容筛查以及分析，已经不能满足海量数据状态下的客观需求，传统方法筛选速度慢，删除不良网络内容的效率低下。这就亟需本领域技术人员解决相应的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于大数据技术的色情数据删除方法及工作系统。
为了实现本发明的上述目的，本发明提供了一种基于大数据技术的色情数据删除方法，其特征在于，包括如下步骤：
S1，通过数据提取收集方式寻找疑似色情网站；
S2，根据寻找的疑似色情网站中的信息进行色情号码识别与提取；
S3，将识别与提取后的色情号码接入社交网络接口；
S4，接入社交网络接口后，对色情号码相关信息进行可视化处理，向终端用户进行展示。
优选的，所述S1包括：
利用爬虫技术爬取疑似网站的所有文字，根据相关色情文字出现的频次来判定该网站是否色情；若是，则直接判定该网站上所有的相关网址链接为色情链接。
优选的，所述S2包括：
S2-1，对从色情网站上爬取下来的图片进行分类，将包含色情联系人手机号的图片定义为目标图片；
S2-2，对目标图片先使用CTPN算法进行文字定位监测，然后使用CNN算法进行CTC文字识别，提取出图片中的文字；
S2-3，对图片中的文字进行过滤，剔除不相关的文字，筛选出手机号码。
优选的，所述S3包括：
该接口通过使用Nginx，Springboot，Hbase，Spark和Hdfs的大数据框架技术，基于用户手机通讯数据构建社交网络，对色情号码社交网络查询提供实时服务。
优选的，所述S3还包括：
S3-1，通过使用Nginx和Springboot搭建了一个高可用的在线查询和数据上传服务；这里用到的是Nginx的反向代理，Nginx的代理过程，就是将请求发送给Nginx，然后将请求转发给后端服务器，后端服务器处理完毕之后将结果再发给Nginx，Nginx再把结果发送给客户端；Springboot服务主要实现数据上传和查询的具体逻辑实现，通过接收到Nginx转发过来的请求参数，使用Hbase提供的API去查询后端网络关系表和网络节点信息表，将查询结果整合后返回给客户端。
优选的，所述S3还包括：
S3-2，进行数据生成过程，通过使用Spark这个大数据并行计算框架完成海量关系网络数据的生成；该关系网络数据是通过将原始数据进行分区、清洗、去重、合并几个步骤生成，为了排除一些联系紧密程度很弱的数据，将网络中每个人联系最紧密的前100个的联系数据提取出来，然后存储到分布式文件存储系统Hdfs中；
S3-3，进行数据存储过程，通过使用Hbase这个高可靠性，高性能的分布式存储系统来存储海量的关系网络数据来提供实时查询；这里色情的关系网络数据存储主要采用了三张表，分别是主叫号码联系网络表，被叫号码联系网络表，网络节点信息表；网络关系表的表设计：Rowkey采用手机号码倒置+联系的手机号码，采用一个列族cf，每个列族下面多列的存储方式；网络节点信息表设计：Rowkey采用手机号码倒置，采用一个列族cf， 每个列族下面多列的存储方式；手机号码倒置使得高位散列，能够避免数据热点问题，使得每个RegionServer上的数据分布更均匀，能够发挥出分布式存储系统的优势。
优选的，所述S4包括：
S4-1，包括使用jqGrid插件完成色情网站数据列表的展示以及分页效果；使用echarts关系图展示色情号码与一阶联系号码之间的关联以及一级联系号码与二阶联系号码之间的关联；
S4-2，使用echarts雷达图展示色情号码通话总时长、灰分度、主叫总次数、被叫总次数与最近一次通话距今时间的分布结构；使用echarts柱状图展示色情号码近一年被呼叫以及主动呼叫的次数分布结构。
优选的，所述S4-1包括：
jqGrid展示基本数据；目前有两处地方设计列表展示：色情网站列表以及色情手机号码列表；色情网站列表主要是整理抓取的色情网址、色情手机号码个数以及与这些色情号码直接或间接联系的一阶联系号码个数与二阶联系号码个数，并根据前端需要展示的信息条数取出并展示；色情手机号码列表主要展示色情手机号码、色情手机号码的一阶联系号码个数、色情手机号码的二阶联系号码个数以及与色情手机联系的色情网址；同样的，数据在后台处理完成后根据前端需要展示的信息条数取出数据并展示。
优选的，所述S4-2包括：
首先echarts关系图展示一阶色情手机号码关联网络图和二阶色情手机号码关联网络图，其中二阶色情手机号码关联网络图与一阶色情手机号码关联网络图基本一致；关联网络图的亲密度分为4个区间：0-50、50-100、100-150、150-200；同时，为了提升分析清晰度，采用将色情号码结点的大小根据其一阶联系号码个数的改变而改变；
然后是echarts雷达图展示色情号码具体信息，展示色情号码的灰分度、通话总时长、最近一次通话距今时间、被叫总次数、主叫总次数；展示的具体信息：灰分度：色情号码的灰度分，最大值为100分；通话总时长：色情号码所有的通话时长的加总，单位为分钟，最大值取数据库中所有色情号码通话时长加总最大值；最近一次通话距今时间：色情号码最近一次通话时间距今时间，单位为天，最大值取自数据库中所有色情号码距今通话时间距今时间最大值；被叫总次数：色情号码被叫次数的加总，最大值取自数据库中所有色情号码被叫总次数最大值；主叫总次数：色情号码主叫次数的加总，最大值取自数据库中所有色情号码主叫总次数最大值；
最后echarts柱状图展示色情手机号码通话情况；计算当前月往前共12个月的月份；根据获取的12个月份整理该色情号码每个月的主叫次数与被叫次数并将整理完成的数据返回前端显示。
本发明还公开一种基于大数据技术的色情数据删除工作系统，包括上述的基于大数据技术的色情数据删除方法所生成的色清数据删除展示图，进行图形展示的工作系统，该工作系统用于展示数据展示列表、饼状展示图、线形展示图和柱状展示图的任意组合。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明以大数据爬虫技术为基础定位到色情网站，然后使用图像识别技术和文本过滤技术提取出色情号码，再根据提取的色情号码发掘其社交网络数据，最后将相关数据进行交互的可视化展示。本发明可以帮助相关部门对色情进行主动、实时的监控，可以有效遏制色情内容的来源渠道，实时监控网络淫秽色情数据，并有效的进行删除操作。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明总体工作流程图；
图2是手机号码显示列表图；
图3是本发明数据饼状图；
图4是本发明数据线形图；
图5是本发明数据柱状图；
图6是本发明工作系统展示图实施例。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1所示，下面详细介绍一下具体的技术实施方案：
1. 色情网站提取。首先找出图灵后台被判定为色情的图片，接着依次遍历所有色情图片，记录下色情图片中所有出现的相关网址和二维码。依次浏览疑似网页，利用爬虫技术将出现的网页上的所有文字爬取下来，将爬取文字和色情词汇库中的文字进行比对，如果色情词汇库中有5个词汇出现在该网页中，则判定该网页为色情网站。一旦该网站为认定为色情网站，则保存该网站上的所有网址链接，直接判定该链接为色情网站。同时将网页上的联系方式进行本地保存。
2. 色情号码识别与提取。首先是色情联系人手机号图片识别。从色情网站上爬取下来的图片既有包含色情联系人手机号的图片也有不包含手机号的其他的广告图片，我们使用了图像分类技术来区分包含手机号的图片和不包含手机号的图片。我们收集了从色情网站上爬取下来的图片，然后进行标注。将这些图片分为色情联系人手机号图片和非色情联系人手机号图片。采用自定义的深度残差神经网络进行训练，
1，收集色情联系人手机号图片和非色情联系人手机号图片数据各M张，制作图像识别训练集；
2，通过卷积核大小为3*3的卷积对图片进行操作；
假设图片的像素表示为
，
为图像像素值；
3*3的卷积操作的表达式如下：
其中
表示行，
表示列，
表示第h行k列的像素值；
表示卷积核中第1-h行，1-k列的值；
表示在图像
上运用卷积
的结果；
3，开始1*1的卷积操作；即应用卷积核大小为1*1的卷积核对第2步的输出进行卷积操作.
4，开始3*3的卷积操作；即应用卷积核大小为3*3的卷积核对第3步的输出进行卷积操作.
5，制作层间的连接.将第2步卷积操作的输出
累加到第4步的输出上.
6，然后进行全连接卷积操作；即应用卷积核大小和图片大小一致的卷积核对第5步的输出进行卷积操作；
7，进行归一化指数函数操作如下：
其中
表示输入图像的像素值；k为输出的像素值的个数，
是指对所有输出
的值取以e为底的指数后再求和；
是指输入为x像素值时的最终输出函数值；运用随机梯度下降方法来最小化分类误差；将训练好的模型用于色情联系人手机号图片识别。
其次是对色情联系人手机号图片进行文字识别。文字识别包括文本区域检测和文本行识别两步。文本区域检测使用CTPN，即Detecting Text in Natural Image withConnectionist Text Proposal Network，是一种开源的文字检测方法，它能够提取图片中的文字区域。本发明中使用CTPN做文本区域的检测与提取，方便下一步文字的识别。文本行识别使用CNN进行特征提取，CNN是指Convolutional Neural Network，即卷积神经网络，此处采用移动端高效快速的MobilenetV2做特征抽取。训练中还使用CTC作为损失函数，在训练的反向传播阶段采用梯度下降方法来更替权重.从而最小化训练误差.CTC即Connectionist Temporal Classification是一种损失函数，使用它的好处是不需要提前对齐文字标签即可训练。
最后是剔除不相关的文字，筛选出手机号码。包含手机号码的图片既有手机号也会有其他文字，为了过滤掉不相关文字，使用正则匹配的方式来筛选出手机号码。具体方法为：
a，对文字进行过滤，具体为去中划线，去逗号，去空格；
b，然后挑选位置上连续的文字，具体做法为设置阈值t，将文字按照坐标由左到右，由上至下的顺序排列，然后设文字的坐标为x1，x2，...xn，计算距离
d=xn- xn-1
若d>=t，则这两个文字判定为同一组，若d<t，则判定为不同组；
c，将同组的文字进行长度校验.校验规则为11位长度纯数字，如果有某一组文字满足这个条件，则把这组数字作为手机号输出。
3. 色情号码社交网络接口。首先是服务搭建与实现。通过使用Nginx和Springboot搭建了一个高可用的在线查询和数据上传服务。这里用到的是Nginx的反向代理，Nginx的代理过程，就是将请求发送给Nginx，然后将请求转发给后端服务器，后端服务器处理完毕之后将结果再发给Nginx，Nginx再把结果发送给客户端。Springboot服务主要实现数据上传和查询的具体逻辑实现，通过接收到Nginx转发过来的请求参数，使用Hbase提供的API去查询后端网络关系表和网络节点信息表，将查询结果整合后返回给客户端。
其次是数据生成。通过使用Spark这个大数据并行计算框架完成海量关系网络数据的生成。该关系网络数据是通过将原始数据进行分区、清洗、去重、合并几个步骤生成，为了排除一些联系紧密程度很弱的数据，将网络中每个人联系最紧密的前100个的联系数据提取出来，然后存储到分布式文件存储系统Hdfs中。
最后是数据存储。通过使用Hbase这个高可靠性，高性能的分布式存储系统来存储海量的关系网络数据来提供实时查询。这里色情的关系网络数据存储主要采用了三张表，分别是主叫号码联系网络表，被叫号码联系网络表，网络节点信息表。网络关系表的表设计：Rowkey采用手机号码倒置+联系的手机号码，采用一个列族cf，每个列族下面多列的存储方式。网络节点信息表设计：Rowkey采用手机号码倒置，采用一个列族cf， 每个列族下面多列的存储方式。手机号码倒置使得高位散列，能够避免数据热点问题，使得每个RegionServer上的数据分布更均匀，能够发挥出分布式存储系统的优势。
4. 色情号码相关信息分析与可视化。首先是jqGrid展示基本数据。目前有两处地方设计列表展示：色情网站列表以及色情手机号码列表。色情网站列表主要是整理抓取的色情网址、色情手机号码个数以及与这些色情号码直接或间接联系的一阶联系号码个数与二阶联系号码个数，并根据前端需要展示的信息条数取出并展示。色情手机号码列表主要展示色情手机号码、色情手机号码的一阶联系号码个数、色情手机号码的二阶联系号码个数以及与色情手机联系的色情网址。同样的，数据在后台处理完成后根据前端需要展示的信息条数取出数据并展示，例如图2。
如图3至图6所示，echarts关系图展示色情手机号码关联网络图（一阶）、色情手机号码关联网络图（二阶）。以色情手机号码关联网络图（一阶）来说明，色情手机号码关联网络图（二阶）与色情手机号码关联网络图（一阶）基本一致。关联网络图主要的展示成分是将色情号码作为中间点展示，并将该色情号码的所有一阶联系号码以圆的形式均匀分布于该色情号码周围：箭头指向代表的呼叫的方向。一阶联系号码结点的颜色代表了亲密度的大小。亲密度在展示时主要分为了4个区间：0-50、50-100、100-150、150-200。同时，为了提升箭头清晰度，采用技术方法，将色情号码结点的大小根据其一阶联系号码个数的改变而改变。
然后是echarts雷达图展示色情号码具体信息。该雷达图主要展示色情号码的灰分度、通话总时长、最近一次通话距今时间、被叫总次数、主叫总次数。以下说明展示的具体信息：灰分度：色情号码的灰度分，最大值为100分；通话总时长：色情号码所有的通话时长的加总，单位为分钟，最大值取数据库中所有色情号码通话时长加总最大值；最近一次通话距今时间：色情号码最近一次通话时间距今时间，单位为天，最大值取自数据库中所有色情号码距今通话时间距今时间最大值；被叫总次数：色情号码被叫次数的加总，最大值取自数据库中所有色情号码被叫总次数最大值；主叫总次数：色情号码主叫次数的加总，最大值取自数据库中所有色情号码主叫总次数最大值。
最后是echarts柱状图展示色情手机号码通话情况。首先计算当前月往前共12个月的月份。再根据获取的12个月份整理该色情号码每个月的主叫次数与被叫次数并将整理完成的数据返回前端显示。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (5)
1.一种基于大数据技术的色情数据删除方法，其特征在于，包括如下步骤：
S1，通过数据提取收集方式寻找疑似色情网站；
S2，根据寻找的疑似色情网站中的信息进行色情号码识别与提取；
S3，将识别与提取后的色情号码接入社交网络接口；
S4，接入社交网络接口后，对色情号码相关信息进行可视化处理，向终端用户进行展示；
所述S1包括：
利用爬虫技术爬取疑似网站的所有文字，根据相关色情文字出现的频次来判定该网站是否色情；若是，则直接判定该网站上所有的相关网址链接为色情链接；
所述S2包括：
S2-1，对从色情网站上爬取下来的图片进行分类，将包含色情联系人手机号的图片定义为目标图片；
S2-2，对目标图片先使用CTPN算法进行文字定位检测，然后使用CNN和CTC算法进行文字识别，提取出图片中的文字；
S2-3，对图片中的文字进行过滤，剔除不相关的文字，筛选出手机号码；
所述S3包括：
该接口通过使用Nginx，Springboot，Hbase，Spark和Hdfs的大数据框架技术，基于用户手机通讯数据构建社交网络，对色情号码社交网络查询提供实时服务；
所述S3还包括：
S3-1，通过使用Nginx和Springboot搭建了一个高可用的在线查询和数据上传服务；这里用到的是Nginx的反向代理，Nginx的代理过程，就是将请求发送给Nginx，然后将请求转发给后端服务器，后端服务器处理完毕之后将结果再发给Nginx，Nginx再把结果发送给客户端；Springboot服务主要实现数据上传和查询的具体逻辑实现，通过接收到Nginx转发过来的请求参数，使用Hbase提供的API去查询后端网络关系表和网络节点信息表，将查询结果整合后返回给客户端；
所述S3还包括：
S3-2，进行数据生成过程，通过使用Spark这个大数据并行计算框架完成海量关系网络数据的生成；该关系网络数据是通过将原始数据进行分区、清洗、去重、合并几个步骤生成，为了排除一些联系紧密程度很弱的数据，将网络中每个人联系最紧密的前100个的联系数据提取出来，然后存储到分布式文件存储系统Hdfs中；
S3-3，进行数据存储过程，通过使用Hbase这个高可靠性，高性能的分布式存储系统来存储海量的关系网络数据来提供实时查询；这里色情的关系网络数据存储主要采用了三张表，分别是主叫号码联系网络表，被叫号码联系网络表，网络节点信息表；网络关系表的表设计：Rowkey采用手机号码倒置+联系的手机号码，采用一个列族cf，每个列族下面多列的存储方式；网络节点信息表设计：Rowkey采用手机号码倒置，采用一个列族cf， 每个列族下面多列的存储方式；手机号码倒置使得高位散列，能够避免数据热点问题，使得每个RegionServer上的数据分布更均匀，能够发挥出分布式存储系统的优势。
2.根据权利要求1所述的基于大数据技术的色情数据删除方法，其特征在于，所述S4包括：
S4-1，包括使用jqGrid插件完成色情网站数据列表的展示以及分页效果；使用echarts关系图展示色情号码与一阶联系号码之间的关联以及一级联系号码与二阶联系号码之间的关联；
S4-2，使用echarts雷达图展示色情号码通话总时长、灰分度、主叫总次数、被叫总次数与最近一次通话距今时间的分布结构；使用echarts柱状图展示色情号码近一年被呼叫以及主动呼叫的次数分布结构。
3.根据权利要求1所述的基于大数据技术的色情数据删除方法，其特征在于，所述S4-1包括：
jqGrid展示基本数据；目前有两处地方设计列表展示：色情网站列表以及色情手机号码列表；色情网站列表主要是整理抓取的色情网址、色情手机号码个数以及与这些色情号码直接或间接联系的一阶联系号码个数与二阶联系号码个数，并根据前端需要展示的信息条数取出并展示；色情手机号码列表主要展示色情手机号码、色情手机号码的一阶联系号码个数、色情手机号码的二阶联系号码个数以及与色情手机联系的色情网址；同样的，数据在后台处理完成后根据前端需要展示的信息条数取出数据并展示。
4.根据权利要求2所述的基于大数据技术的色情数据删除方法，其特征在于，所述S4-2包括：
首先echarts关系图展示一阶色情手机号码关联网络图和二阶色情手机号码关联网络图，其中二阶色情手机号码关联网络图与一阶色情手机号码关联网络图基本一致；关联网络图的亲密度分为4个区间：0-50、50-100、100-150、150-200；同时，为了提升分析清晰度，采用将色情号码结点的大小根据其一阶联系号码个数的改变而改变；
然后是echarts雷达图展示色情号码具体信息，展示色情号码的灰分度、通话总时长、最近一次通话距今时间、被叫总次数、主叫总次数；展示的具体信息：灰分度：色情号码的灰度分，最大值为100分；通话总时长：色情号码所有的通话时长的加总，单位为分钟，最大值取数据库中所有色情号码通话时长加总最大值；最近一次通话距今时间：色情号码最近一次通话时间距今时间，单位为天，最大值取自数据库中所有色情号码距今通话时间距今时间最大值；被叫总次数：色情号码被叫次数的加总，最大值取自数据库中所有色情号码被叫总次数最大值；主叫总次数：色情号码主叫次数的加总，最大值取自数据库中所有色情号码主叫总次数最大值；
最后echarts柱状图展示色情手机号码通话情况；计算当前月往前共12个月的月份；根据获取的12个月份整理该色情号码每个月的主叫次数与被叫次数并将整理完成的数据返回前端显示。
5.一种基于大数据技术的色情数据删除工作系统，其特征在于，包括如权利要求1-4任一项所述的方法所生成的色清数据删除展示图，进行图形展示的工作系统，该工作系统用于展示数据展示列表、饼状展示图、线形展示图和柱状展示图的任意组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910555789.XA CN110297991B (zh) | 2019-06-25 | 2019-06-25 | 基于大数据技术的色情数据删除方法及工作系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910555789.XA CN110297991B (zh) | 2019-06-25 | 2019-06-25 | 基于大数据技术的色情数据删除方法及工作系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110297991A CN110297991A (zh) | 2019-10-01 |
| CN110297991B true CN110297991B (zh) | 2021-10-22 |
Family
ID=68028744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910555789.XA Expired - Fee Related CN110297991B (zh) | 2019-06-25 | 2019-06-25 | 基于大数据技术的色情数据删除方法及工作系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110297991B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104168395A (zh) * | 2014-08-26 | 2014-11-26 | 深圳市中兴移动通信有限公司 | 通话数据处理方法及装置 |
| CN107038452A (zh) * | 2016-01-13 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 电话号码识别方法及装置 |
| CN108898167A (zh) * | 2018-06-14 | 2018-11-27 | 北京奇虎科技有限公司 | 失信号码的显示方法及装置 |
| CN109801161A (zh) * | 2019-03-13 | 2019-05-24 | 上海诚数信息科技有限公司 | 智能信用和信息认证系统及方法 |
| CN109922065A (zh) * | 2019-03-10 | 2019-06-21 | 北京亚鸿世纪科技发展有限公司 | 恶意网站快速识别方法 |
| CN109977193A (zh) * | 2019-01-30 | 2019-07-05 | 浪潮软件集团有限公司 | 一种基于语义分析技术的赌博人员识别方法 |
-
2019
- 2019-06-25 CN CN201910555789.XA patent/CN110297991B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104168395A (zh) * | 2014-08-26 | 2014-11-26 | 深圳市中兴移动通信有限公司 | 通话数据处理方法及装置 |
| CN107038452A (zh) * | 2016-01-13 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 电话号码识别方法及装置 |
| CN108898167A (zh) * | 2018-06-14 | 2018-11-27 | 北京奇虎科技有限公司 | 失信号码的显示方法及装置 |
| CN109977193A (zh) * | 2019-01-30 | 2019-07-05 | 浪潮软件集团有限公司 | 一种基于语义分析技术的赌博人员识别方法 |
| CN109922065A (zh) * | 2019-03-10 | 2019-06-21 | 北京亚鸿世纪科技发展有限公司 | 恶意网站快速识别方法 |
| CN109801161A (zh) * | 2019-03-13 | 2019-05-24 | 上海诚数信息科技有限公司 | 智能信用和信息认证系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于国家高性能计算环境的生物医药应用服务社区的移动端服务开发;周超等;《科研信息化技术与应用》;20190331;第79-83页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110297991A (zh) | 2019-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Boundary-guided network for camouflaged object detection | |
| CN107562742B (zh) | 一种图像数据处理方法及装置 | |
| CN110162665B (zh) | 视频搜索方法、计算机设备及存储介质 | |
| CN105740773A (zh) | 基于深度学习和多尺度信息的行为识别方法 | |
| CN105095368B (zh) | 一种对新闻信息进行排序的方法及装置 | |
| CN106383887A (zh) | 一种环保新闻数据采集和推荐展示的方法及系统 | |
| CN112258254B (zh) | 基于大数据架构的互联网广告风险监测方法及系统 | |
| CN111460252A (zh) | 一种基于网络舆情分析的自动化搜索引擎方法及系统 | |
| CN111581956A (zh) | 基于bert模型和k近邻的敏感信息识别方法及系统 | |
| CN113961810A (zh) | 新闻推送方法、装置、计算机设备和存储介质 | |
| CN106844588A (zh) | 一种基于网络爬虫的用户行为数据的分析方法及系统 | |
| CN114663132A (zh) | 一种基于实时用户画像的智能营销方法及装置 | |
| CN113157998A (zh) | 通过ip巡检网站、并判断网站类别的方法、系统、设备及介质 | |
| CN114064723A (zh) | 关联规则挖掘方法、装置、计算机设备和存储介质 | |
| CN113239290A (zh) | 用于舆情监测的数据分析方法、装置和电子装置 | |
| Arora et al. | Big data: A review of analytics methods & techniques | |
| CN113946710B (zh) | 一种基于多模态与自监督表征学习的视频检索方法 | |
| US11830286B2 (en) | Data processing apparatus, data processing method, and non-transitory storage medium | |
| CN110297991B (zh) | 基于大数据技术的色情数据删除方法及工作系统 | |
| CN105677888A (zh) | 一种基于用户时间碎片的业务偏好识别方法 | |
| CN116723005A (zh) | 多态隐藏下的恶意代码隐式情报追踪方法及系统 | |
| Xia et al. | GCENet: Global contextual exploration network for RGB-D salient object detection | |
| Luo et al. | Critical minerals map feature extraction using deep learning | |
| CN115048504A (zh) | 信息推送方法、装置、计算机设备及计算机可读存储介质 | |
| Yang et al. | Research on human motion recognition based on data redundancy technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211022 |