CN106506528A - 一种大数据环境下的网络安全分析系统 - Google Patents

一种大数据环境下的网络安全分析系统 Download PDF

Info

Publication number
CN106506528A
CN106506528A CN201611105574.0A CN201611105574A CN106506528A CN 106506528 A CN106506528 A CN 106506528A CN 201611105574 A CN201611105574 A CN 201611105574A CN 106506528 A CN106506528 A CN 106506528A
Authority
CN
China
Prior art keywords
data
big data
module
safety analysis
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611105574.0A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Magic Joint Technology Co Ltd
Original Assignee
Shenzhen Magic Joint Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Magic Joint Technology Co Ltd filed Critical Shenzhen Magic Joint Technology Co Ltd
Priority to CN201611105574.0A priority Critical patent/CN106506528A/zh
Publication of CN106506528A publication Critical patent/CN106506528A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Abstract

本发明提供了一种大数据环境下的网络安全分析系统，包括：请求模块、认证模块、下载模块和安全分析模块。本发明的有益效果为：网络条件下大数据安全性大幅提高。

Description

一种大数据环境下的网络安全分析系统
技术领域
本发明涉及网络安全领域，具体涉及一种大数据环境下的网络安全分析系统。
背景技术
大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。目前大数据技术处于起步阶段，由于大数据平台的数据结构复杂性，并没有足够完善的数据安全防护及评价措施，如果用户进入数据库中，而这些数据中对于某些用户是不应该能够使用，或者过度使用的，这就给系统带来了极大的安全隐患。
发明内容
针对上述问题，本发明旨在提供一种大数据环境下的网络安全分析系统。
本发明的目的采用以下技术方案来实现：
提供了一种大数据环境下的网络安全分析系统，包括：
请求模块，用户通过客户端向认证服务器发送身份认证请求，客户端通过传感器采集用户的生物验证信息；
认证模块，认证服务器接收用户的身份认证请求，对用户进行身份认证；若用户通过身份认证，用户则通过客户端向大数据资源下载服务器发送大数据资源访问请求；否则，向客户端发送报警信息，禁止该用户访问网络，结束；
下载模块，大数据资源下载服务器根据所述大数据资源访问请求从网络中下载大数据资源，并将下载的大数据资源发送至客户端，所述下载模块包括数据采集模块、数据分类模块、分类检测模块和检测融合模块；
安全分析模块，通过安全分析服务器，对客户端获得的大数据资源进行数据安全分析，确定所述大数据资源的安全评级。
本发明的有益效果为：网络条件下大数据安全性大幅提高。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构连接示意图。
附图标记：
请求模块1、认证模块2、下载模块3、安全分析模块4。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种大数据环境下的网络安全分析系统，包括：
请求模块1，用户通过客户端向认证服务器发送身份认证请求，客户端通过传感器采集用户的生物验证信息；
认证模块2，认证服务器接收用户的身份认证请求，对用户进行身份认证；若用户通过身份认证，用户则通过客户端向大数据资源下载服务器发送大数据资源访问请求；否则，向客户端发送报警信息，禁止该用户访问网络，结束；
下载模块3，大数据资源下载服务器根据所述大数据资源访问请求从网络中下载大数据资源，并将下载的大数据资源发送至客户端，所述下载模块包括数据采集模块、数据分类模块、分类检测模块和检测融合模块；所述数据采集模块用于采集需要进行检测的数据；所述数据分类模块用于将由数据采集模块输出的数据划分为图像数据和文本数据，并对分类后的数据进行过滤处理；所述分类检测模块用于对分类后的数据进行分析检测；所述检测融合模块用于根据检测需求筛选所需的图像数据和文本数据。
安全分析模块4，通过安全分析服务器，对客户端获得的大数据资源进行数据安全分析，确定所述大数据资源的安全评级。
优选地，所述网络安全分析系统还包括：
安全防护模块，根据所述大数据资源的安全评级，对客户端执行相应的安全防护措施。
本优选实施例为大数据提供了安全防护。
优选地，所述生物验证信息包括：指纹信息、瞳孔信息、面部特征识别信息、以及语音识别信息中的至少两种。
本优选实施例通过至少两种信息验证，安全性更好。
优选的，所述采集需要进行检测的数据，包括：A、采集一定时间段内需要进行检测的数据，按设定的过滤规则对该数据进行初步过滤处理，所述设定的过滤规则包括删除包含特殊字符、推广相关的特殊汉字和网页链接的内容的数据；B、设所述一定时间段的时间范围为[ZB,ZE]，将[ZB,ZE]按照时间顺序平均分为n个子时间段，对每个子时间段内的数据进行重要度评估，评估公式定义为：式中，Yi为第i个子时间段的重要程度，YTi为设定的第i个子时间段的重要程度值，Fi为第i个子时间段的数据的数量，F为在[ZB,ZE]内的数据的数量；C、将各重要度按照由小到大进行排序，按照重要度的排列顺序，将数据依次发送至数据分类模块。
本优选实施例通过设定过滤规则，将不需要进行检测的数据进行删除，减少了检测后续处理的数据量；通过对各子时间段的数据进行重要度评估，并按照重要度的排列顺序，将数据依次发送至数据分类模块，使后续的模块能够预先处理重要程度高的数据，提高了检测的速度。
优选的，所述对分类后的数据进行过滤处理，包括：
A、提取文本数据，对该文本数据进行聚类处理，形成多个类别的文本数据集；
B、计算每个类别的文本数据集中的数据的数量，按照数量由少到大的顺序对多个文本数据集进行排序；
C、删除前18％的文本数据集，将剩余的文本数据集以及图像数据发送至分类检测模块。
本优选实施例进一步对文本数据进行聚类处理，过滤掉数量较少的文本数据集，减少了后续检测的数据量，从而进一步提高了检测的速度。
优选的，所述对该文本数据进行聚类处理，包括：
确定聚簇的个数K，包括：对该文本数据采用等距法设定k-means聚类算法的初始中心，得到聚类中心；在得到聚类中心后将相邻的聚类中心的中点作为分类的划分点，将各个对象加入到距离最近的类中，从而确定聚簇的个数K；将该文本数据划分为n个样本，对n个样本进行向量化，通过夹角余弦函数计算所有样本两两之间的相似度，得到相似度矩阵SIM：
SIM＝[sim(oi,oj)]n×n，i,j＝1,…,n
计算每一个样本与其它所有样本的相似度之和，求和公式为：
上述式子中，为样本oi与其它所有样本的相似度之和，sim(oi,oj)表示样本oi,oj间的相似度，i,j＝1,…,n；按降序排列设按从大到小排列的前4个值对应的样本为omax,omax-1,omax-2,omax-3，根据下列公式确定第一个初始的聚簇中心MED：
上述式子中，ωmax-μ表示omax-μ的重要度权值；对中的最大值对应的矩阵中行向量的元素进行升序排列，假设前k-1个最小的元素为SIMpq,q＝1,…,k-1，选择前k-1个最小的元素SIMpq相对应的样本作为剩余的k-1个初始的聚簇中心；计算剩余样本与各初始的聚簇中心之间的相似度，将剩余样本分发到相似度最高的聚簇中，形成变化后的k个聚簇；计算变化后的聚簇中各样本的均值，将其作为更新后的聚簇中心代替更新前的聚簇中心；若更新前的聚簇中心与更新后的聚簇中心相同，或者目标函数达到了最小值，停止更新，所述目标函数为：
上述式子中，Cl表示k个聚簇中的第l个聚簇，ox为第l个聚簇中的样本，为第l个聚簇的中心。
本优选实施例有效避免单一采取随机抽样方法所带来的偶然性,解决对该文本数据进行聚类处理时在选取k值以及初始化聚类中心时所存在的问题，提高了聚类稳定性，进一步提高了对文本数据进行过滤处理的精度。
优选的，所述分类检测模块包括图像数据检测单元和文本数据检测单元；所述图像数据检测单元基于语义特征对图像数据进行检测，具体为：采用小波变换的方法对图像进行分割，对区域低层特征进行提取，构造特征矩阵，再应用非负矩阵分解训练算法构造语义空间，将图像投影到该空间以获取图像语义特征；所述文本数据检测单元包括文本数据建模子单元、文本数据分类子单元、检测子单元，具体为：(1)文本数据建模子单元，用于使用构成文档的词项来表达文档的语义，其将n篇文档t1,t2,…,tn的每篇文档表示成m维特征向量v1,v2,…,vm，构成n×m的文档-特征矩阵：式中，m为构成文档的词项的数量；1≤i≤n,1≤j≤m,式中，di,j表示词项vj在文档ti中所占权重，f(ti,vj)表示词项vj在文档ti中出现的次数，f(vj)表示词项vj在所有文档中出现的次数总和；(2)文本数据分类子单元，用于对建模后的文本文档进行分类，具体包括：
a、将文本集中的文档随机映射到一个二维平面网格空间，每个网格中只能投影一篇文档，同时，在二维平面上放置一定数量的蚂蚁；
b、每只蚂蚁随机在二维网格空间移动，选择一个文档捡起，并携带它在二维网格空间随机移动，每移动一次，蚂蚁计算它所携带文档或者所在网格中的文档与周围环境的群体相似度，决定是否捡起或者放下该文档，将每个网格作为二维网格空间离散值，设蚂蚁所在位置为p，它所在环境的群体相似度定义为：
上述式子中，ti∈p(a×a)表示文档ti在位置p的边长a×a的邻域，r(ti,tj)表示两篇文档之间的文本距离，σ表示相似度因子，σ的取值范围是[1，2]，
上述式子中，m表示文档中词项数量；
c、捡起和放下，如果蚂蚁没有携带任何文档移动，那么它将捡起与周围环境群体相似度较低的文档；如果蚂蚁正在携带一篇文档移动，那么当蚂蚁处于空网格，并且这篇文档与周围环境的群体相似度较高时，它将放下这篇文档，捡起概率Pj(ti)和放下概率Pf(ti)定义为：
上述式子中，T1和T2为常数阈值，T1＝0.14，T1＝0.16；
d、b和c重复进行，经过一段时间，相似性高的文档将被聚集在同一区域。
本优选实施例对数据进行分类检测，能够充分利用不同类型数据特点，采用对应的方法进行检测，提高了检测的针对性；对文档进行建模，将非结构化的文本数据转换成可计算的结构化数据，同时便于后续对文档进行分类；文本数据分类子单元提高了检测效率，节约了检测时间。
本发明与传统网络安全分析系统的数据检测结果如下表所示：
数据检测速度 数据检侧准确率
本发明 0.21s 94.5％
传统网络安全分析系统 0.35s 85％
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (4)

1.一种大数据环境下的网络安全分析系统，其特征是，包括：
请求模块，用户通过客户端向认证服务器发送身份认证请求，客户端通过传感器采集用户的生物验证信息；
认证模块，认证服务器接收用户的身份认证请求，对用户进行身份认证；若用户通过身份认证，用户则通过客户端向大数据资源下载服务器发送大数据资源访问请求；否则，向客户端发送报警信息，禁止该用户访问网络，结束；
下载模块，大数据资源下载服务器根据所述大数据资源访问请求从网络中下载大数据资源，并将下载的大数据资源发送至客户端，所述下载模块包括数据采集模块、数据分类模块、分类检测模块和检测融合模块；
安全分析模块，通过安全分析服务器，对客户端获得的大数据资源进行数据安全分析，确定所述大数据资源的安全评级。
2.根据权利要求1所述的一种大数据环境下的网络安全分析系统，其特征是，所述网络安全分析系统还包括：
安全防护模块，根据所述大数据资源的安全评级，对客户端执行相应的安全防护措施。
3.根据权利要求2所述的一种大数据环境下的网络安全分析系统，其特征是，所述生物验证信息包括：指纹信息、瞳孔信息、面部特征识别信息、以及语音识别信息中的至少两种。
4.根据权利要求3所述的一种大数据环境下的网络安全分析系统，其特征是，所述采集需要进行检测的数据，包括：A、采集一定时间段内需要进行检测的数据，按设定的过滤规则对该数据进行初步过滤处理，所述设定的过滤规则包括删除包含特殊字符、推广相关的特殊汉字和网页链接的内容的数据；B、设所述一定时间段的时间范围为[ZB,ZE]，将[ZB,ZE]按照时间顺序平均分为n个子时间段，对每个子时间段内的数据进行重要度评估，评估公式定义为：式中，Yi为第i个子时间段的重要程度，YTi为设定的第i个子时间段的重要程度值，Fi为第i个子时间段的数据的数量，F为在[ZB,ZE]内的数据的数量；C、将各重要度按照由小到大进行排序，按照重要度的排列顺序，将数据依次发送至数据分类模块。
CN201611105574.0A 2016-12-05 2016-12-05 一种大数据环境下的网络安全分析系统 Pending CN106506528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611105574.0A CN106506528A (zh) 2016-12-05 2016-12-05 一种大数据环境下的网络安全分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611105574.0A CN106506528A (zh) 2016-12-05 2016-12-05 一种大数据环境下的网络安全分析系统

Publications (1)

Publication Number Publication Date
CN106506528A true CN106506528A (zh) 2017-03-15

Family

ID=58329306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611105574.0A Pending CN106506528A (zh) 2016-12-05 2016-12-05 一种大数据环境下的网络安全分析系统

Country Status (1)

Country Link
CN (1) CN106506528A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150982A (zh) * 2018-07-27 2019-01-04 湖南科技大学 一种数据传输方法
CN109753796A (zh) * 2018-12-07 2019-05-14 广东技术师范学院天河学院 一种大数据计算机网络安全防护装置及使用方法
CN110222495A (zh) * 2019-06-10 2019-09-10 苏州随身玩信息技术有限公司 基于身份识别进行讲解触发的方法、讲解权限认证方法
CN112187797A (zh) * 2020-09-28 2021-01-05 深圳市雁云信息技术有限公司 一种云数据的传输方法及系统
CN112491928A (zh) * 2020-12-14 2021-03-12 江西现代职业技术学院 一种计算机网络安全防护方法
CN112559561A (zh) * 2019-09-10 2021-03-26 联易软件有限公司 数据处理方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880873A (zh) * 2012-08-31 2013-01-16 公安部第三研究所 基于图像分割和语义提取实现人员行为识别的系统及方法
CN104715024A (zh) * 2015-03-03 2015-06-17 湖北光谷天下传媒股份有限公司 一种多媒体热点分析方法
CN105471842A (zh) * 2015-11-13 2016-04-06 四川九成信息技术有限公司 一种大数据环境下的网络安全分析方法
CN105574106A (zh) * 2015-12-14 2016-05-11 四川九成信息技术有限公司 一种大数据平台的网络信息分析处理方法
CN105610940A (zh) * 2015-12-29 2016-05-25 山东易构软件技术股份有限公司 高速公路大数据参数状态名单全路网下发系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880873A (zh) * 2012-08-31 2013-01-16 公安部第三研究所 基于图像分割和语义提取实现人员行为识别的系统及方法
CN104715024A (zh) * 2015-03-03 2015-06-17 湖北光谷天下传媒股份有限公司 一种多媒体热点分析方法
CN105471842A (zh) * 2015-11-13 2016-04-06 四川九成信息技术有限公司 一种大数据环境下的网络安全分析方法
CN105574106A (zh) * 2015-12-14 2016-05-11 四川九成信息技术有限公司 一种大数据平台的网络信息分析处理方法
CN105610940A (zh) * 2015-12-29 2016-05-25 山东易构软件技术股份有限公司 高速公路大数据参数状态名单全路网下发系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150982A (zh) * 2018-07-27 2019-01-04 湖南科技大学 一种数据传输方法
CN109150982B (zh) * 2018-07-27 2022-12-09 湖南科技大学 一种数据传输方法
CN109753796A (zh) * 2018-12-07 2019-05-14 广东技术师范学院天河学院 一种大数据计算机网络安全防护装置及使用方法
CN110222495A (zh) * 2019-06-10 2019-09-10 苏州随身玩信息技术有限公司 基于身份识别进行讲解触发的方法、讲解权限认证方法
CN112559561A (zh) * 2019-09-10 2021-03-26 联易软件有限公司 数据处理方法及相关装置
CN112559561B (zh) * 2019-09-10 2023-12-22 联易软件有限公司 数据处理方法及相关装置
CN112187797A (zh) * 2020-09-28 2021-01-05 深圳市雁云信息技术有限公司 一种云数据的传输方法及系统
CN112491928A (zh) * 2020-12-14 2021-03-12 江西现代职业技术学院 一种计算机网络安全防护方法

Similar Documents

Publication Publication Date Title
CN106506528A (zh) 一种大数据环境下的网络安全分析系统
CN107066616B (zh) 用于账号处理的方法、装置及电子设备
CN109799269A (zh) 基于动态特征重要度的电子鼻气体传感器阵列优化方法
CN103970752B (zh) 独立访问者数量估算方法和系统
CN109190698B (zh) 一种网络数字虚拟资产的分类识别系统及方法
CN109190588A (zh) 一种人口分类的方法及装置
CN106446124B (zh) 一种基于网络关系图的网站分类方法
WO2015081343A1 (en) Classification system for similar objects from digital images
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN110472652A (zh) 基于语义引导的少量样本分类方法
CN115688760B (zh) 一种智能化导诊方法、装置、设备及存储介质
CN106778851A (zh) 基于手机取证数据的社交关系预测系统及其方法
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
CN105912525A (zh) 基于主题特征的半监督学习情感分类方法
CN102411712B (zh) 基于笔迹的身份识别的方法及终端
CN104142960A (zh) 互联网数据分析系统
CN107741958A (zh) 一种数据处理方法及系统
CN110348516B (zh) 数据处理方法、装置、存储介质及电子设备
CN113779429A (zh) 交通拥堵态势预测方法、装置、设备及存储介质
CN111460315A (zh) 社群画像构建方法、装置、设备及存储介质
CN104966109A (zh) 医疗化验单图像分类方法及装置
CN106528870B (zh) 一种大数据智能分析系统
CN106875280A (zh) 一体化社区服务平台
CN106095987A (zh) 一种基于社区网络的内容个性化推送方法及系统
CN103258211A (zh) 一种手写体数字识别方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315

RJ01 Rejection of invention patent application after publication