CN115297023A - 改进型深度学习算法模型的互联网流量大数据分析方法 - Google Patents
改进型深度学习算法模型的互联网流量大数据分析方法 Download PDFInfo
- Publication number
- CN115297023A CN115297023A CN202211147416.7A CN202211147416A CN115297023A CN 115297023 A CN115297023 A CN 115297023A CN 202211147416 A CN202211147416 A CN 202211147416A CN 115297023 A CN115297023 A CN 115297023A
- Authority
- CN
- China
- Prior art keywords
- big data
- data
- internet
- internet traffic
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 238000007405 data analysis Methods 0.000 title claims abstract description 22
- 238000007418 data mining Methods 0.000 claims abstract description 13
- 238000003860 storage Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000005065 mining Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 42
- 239000010410 layer Substances 0.000 claims description 34
- 239000011541 reaction mixture Substances 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 19
- 230000002452 interceptive effect Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012300 Sequence Analysis Methods 0.000 claims description 3
- 239000012792 core layer Substances 0.000 claims description 3
- 238000013144 data compression Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012858 packaging process Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种改进型深度学习算法模型的互联网流量大数据分析方法,涉及数据信息处理技术领域;解决的技术问题是网络部署能力差,互联网流量计算能力滞后,采用的技术方案包括(S1)提取互联网流量大数据信息特征,采用数据挖掘模块对预设的互联网流量大数据按照挖掘规则分析互联网大数据特征;(S2)通过加密算法将数据挖掘模块输出的互联网流量大数据的样本进行加密存储;(S3)通过改进深度学习算法对存储的互联网流量大数据样本进行填充处理;(S4)根据填充处理的互联网流量大数据结果,在大数据分析系统中存储、显示或者应用。本发明大大提高了互联网流量计算能力和网络部署能力。
Description
技术领域
本发明涉及控制领域,且更确切地涉及一种改进型深度学习算法模型的互联网流量大数据分析方法。
背景技术
随着互联网、移动智能终端、物联网等信息与通信技术的迅猛发展,以及计算机存储和计算能力的不断提升,各种数据的爆炸式增长和持续获取成为可能,大数据时代悄然而至。相较于传统的数据,人们将大数据的特征总结为5个缺点不足,即体量大、速度快、模态多、难辨识和价值大密度低。如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题。
目前,目前,在互联网流量大数据分析中使用的深度学习方法是基于前馈神经网络的深度学习方法,而前馈神经网络的特点是同层神经元之间没有反馈连接,没有“ 时间参数”属性,所以基于前馈神经网络的深度学习方法只擅长处理静态数据,却无法处理动态数据(即与时间相关的数据),实时性较差,满足不了人们对互联网流量大数据分析日益增长的高要求。此外,当前在互联网流量大数据分析中,受各种故障的影响,网络流量监测设备监测的数据会有缺失,进而会因监测的数据不完整而严重影响后续互联网流量大数据分析的精度。
发明内容
针对上述问题,本发明改进型深度学习算法模型的互联网流量大数据分析方法,能够进行网络服务器的部署,实现网络数据的分析与处理。
为了实现上述技术效果,本发明采用以下技术方案:
一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于:所述方法包括以下步骤:
(S1)提取互联网流量大数据信息特征,采用数据挖掘模块对预设的互联网流量大数据按照挖掘规则分析互联网大数据特征;
(S2)通过加密算法将数据挖掘模块输出的互联网流量大数据的样本进行加密存储;
(S3)通过改进深度学习算法对存储的互联网流量大数据样本进行填充处理;
(S4)根据填充处理的互联网流量大数据结果,在大数据分析系统中存储、显示或者应用。
作为本发明的进一步技术方案,在(S1)步骤中,数据挖掘模块包括数据信息收集模块、信息预处理模块、统计处理模块、生成模式模块和知识表示模块;其中所述数据信息收集模块的输出端与信息预处理模块的输入端连接,所述信息预处理模块的输出端与统计处理模块的输入端连接,所述统计处理模块的输出端与生成模式模块的输入端连接,所述生成模式模块的输出端与知识表示模块的输入端连接;
数据信息收集模块采用单片机控制的采集模块从互联网流量大数据获取的原始数据;
信息预处理模块对原始信息采用SAR影像去噪声处理,采用数据间关联关系挖掘互联网流量大数据纠正不一致的数据信息;
统计处理模块按照改进深度学习算法训练和学习互联网流量大数据信息;
生成模式模块根据计算得到互联网流量大数据,按照指数分析法的统计学的原理获取重复发生的数据信息规律;
知识表示模块利用可视化和知识表示技术,向用户展示得到的规律。
作为本发明的进一步技术方案,加密存储采用面向隐私保护的新型技术于密码算法,所述面向隐私保护的新型技术于密码算法通过所有用户的公钥相加产生的新密匙,加密明文产生的密文,使用户私钥相加所得的新密匙来解密密文恢复明文,构成一对新的公钥于私钥来加密解密互联网流量大数据的数据。
作为本发明的进一步技术方案,改进深度学习算法步骤包括:
第一步:采用联合时间序列分析,输出互联网流量大数据的时间戳函数,函数公式(1)所示:
式(1)中,x(t)为互联网流量大数据的时间戳校;P(t)为互联网流量大数据的内频数;e为互联网流量大数据的时间戳编码;t为互联网流量大数据收到数据的时间点;为互联网流量大数据样本信号,n为互联网流量大数据的时间参数,在模糊信息的结构映射中,采用模型网络结构进行数据压缩,得到校对后的互联网流量大数据如公式(2):
式(2)中,L为互联网流量大数据的字符串;为异构性互联网流量大数据关键数据缓冲内存大小,为互联网流量大数据系统数据特征的相似系数,采用块匹配技术,得到互联网流量大数据系统交互的范围检测式如公式(3)所示:
式(3)中,H为互联网流量大数据的范围检测大小;A为互联网流量大数据系统数据的聚类截取水平;m为互联网流量大数据系统数据的簇数;
流量大数据系统交互大数据的特征分类属性判别函数如公式(4)所示:
根据互联网流量大数据特征分类属性判别结果进行流量大数据的信息匹配,得到特征分类信息熵表示为公式(5)所示:
式(6)中,D为互联网流量大数据信号频域的大小;d为互联网流量大数据查询的迭代步数;W为互联网流量大数据系统交互输出比特率,基于稳态识别技术,得到互联网流量大数据系统数据采样的模糊度函数如公式(7)所示:
在数据中,采用特征聚类的方法,得到流量大数据系统交互大数据的模糊特征提取公式如公式(8)所示:
对模糊特征进行约束控制,得到互联网流量大数据系统交互大数据特征分布点的模态函数为如公式(9)所示:
通过公式(1)~公式(9)完成了互联网流量大数据系统数据的关联匹配特征的提取,根据流量大数据系统数据的目标样本相似性特征对其进行重构,实现对互联网流量大数据系统交互的深度学习训练。
作为本发明的进一步技术方案,所述大数据分析系统包括:
应用层,所述应用层包括消费者终端、检测机构终端、生产方终端、加工方终端、物流公司终端和销售方终端,所述应用层采用B/S技术架构,对互联网流量大数据有明确需求的用户提供统一的信息查询和质量追溯服务支持;
数据层,所述数据层包括时间段模块、深度学习算法模块和分布式储存模块,所述数据层采用分布式组网机制使数据分布在不同阶段的数据库,实现互联网流量大数据全程正向追踪及逆向溯源数据信息共享;
核心层,所述核心层包括智能合约、共识机制,所述核心层在互联网流量大数据的质量监管条例、标准和相关管理办法内容以智能合约的形式内嵌于区块链中,实现互联网流量大数据质量规范化、标准化管理;
物理层,所述物理层包括购买书的数量检测、购买书的人数检测、打包书过程检测、物流数据、加工过程检测,所述物理层采用互联网技术,通过智能传感器、状态检测器、NB-IoT、RFID和摄像装置对互联网流量大数据进行数字管理,把采集信息推送至上层协议区块链追溯网络架构包括用户、系统界面和各节点。
作为本发明的进一步技术方案,所述应用层采用B/S技术架构,所述B/S模式以HTTP传输协议,客户端通过Browser访问Web服务器以及与之相连的后台数据库的技术及体系结构。
作为本发明的进一步技术方案,所述物理层包含智能传感器。
作为本发明的进一步技术方案,所述摄像装置为摄像机,所述摄像机把被摄对象的光学图像转变成相应的电信号后,便形成了被记录的信号源,录像系统把信号源送来的电信号通过电磁转换系统变成磁信号,并将其记录在录像带上,把录像带上的磁信号变成电信号,再经过放大处理后送到电视机的屏幕上成像。
本发明有益的积极效果在于:
区别于常规技术,本发明能够大大提高互联网流量计算能力和网络部署能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图,其中:
图1展示了一种改进型深度学习算法模型的互联网流量大数据分析方法流程图;
图2展示了一种改进型深度学习算法模型的互联网流量大数据分析系统示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的实施例仅用于说明和解释本发明,并不用于限定本发明;
如图1所示,一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于:所述方法包括以下步骤:
在具体实施例中,数据挖掘是指从大量的互联网流量大数据中通过深度学习算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。数据采集输入各种物理量经检测元件转换为电信号,这些信号经过模数转换变为数字量进入到计算机,再经过适当的变换计算转换为工程量,需要的信息参数经经加工、处理后,输出至磁盘等存储设备储存起来;所述数据预处理是指对收集到的数据进行分类或分组前的审查、筛选、排序和其他必要的处理,并推断出对某些特定的人有价值和有意义的数据;所述模型建立首先获取原始数据,然后对数据进行初步清洗,接下来进一步对数据进行探索分析,最后建立模型。
在具体实施例中,数据挖掘模块包括数据信息收集模块、信息预处理模块、统计处理模块、生成模式模块和知识表示模块;其中所述数据信息收集模块的输出端与信息预处理模块的输入端连接,所述信息预处理模块的输出端与统计处理模块的输入端连接,所述统计处理模块的输出端与生成模式模块的输入端连接,所述生成模式模块的输出端与知识表示模块的输入端连接;
数据信息收集模块采用单片机控制的采集模块从互联网流量大数据获取的原始数据;数据信息收集和处理即获取、汇集、加工、记录、存贮和显示数据的方法和系统。在具体实施例中,比如,在单片机控制下,对数据信息收集内容进行对比、分析和求解。
信息预处理模块对原始信息采用SAR影像去噪声处理,采用数据间关联关系挖掘互联网流量大数据纠正不一致的数据信息;数据预处理是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前,首先将不规则分布的测网经过插值转换为规则网的处理,以利于计算机的运算。另外,对于一些剖面测量数据,如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。数据预处理的目的在于提高数据纯洁度。
统计处理模块按照改进深度学习算法训练和学习互联网流量大数据信息;
生成模式模块根据计算得到互联网流量大数据,按照指数分析法的统计学的原理获取重复发生的数据信息规律;在具体实施例中,比如统计处理模块通过单片机,或者DSP处理技术,或者函数统计的方法,比如采用某个应用函数,以提高数据信息统计能力,或者按照一定的数据信息属性,实现数据信息分析与计算。
知识表示模块利用可视化和知识表示技术,向用户展示得到的规律。知识表示是指把知识客体中的知识因子与知识关联起来,便于人们识别和理解知识。知识表示是知识组织的前提和基础,任何知识组织方法都是要建立在知识表示的基础上。知识表示有主观知识表示和客观知识表示两种。在具体实施例中,可以采用计算机软件建模的模块实现实现表示,也还可以采用知识图谱的方式,或者函数指令或者其他方式。
(S1)提取互联网流量大数据信息特征,采用数据挖掘模块对预设的互联网流量大数据按照挖掘规则分析互联网大数据特征;
(S2)通过加密算法将数据挖掘模块输出的互联网流量大数据的样本进行加密存储;加密存储采用面向隐私保护的新型技术于密码算法,所述面向隐私保护的新型技术于密码算法通过所有用户的公钥相加产生的新密匙,加密明文产生的密文,使用户私钥相加所得的新密匙来解密密文恢复明文,构成一对新的公钥于私钥来加密解密互联网流量大数据的数据。
(S3)通过改进深度学习算法对存储的互联网流量大数据样本进行填充处理;改进深度学习算法步骤包括:
第一步:采用联合时间序列分析,输出互联网流量大数据的时间戳函数,函数公式(1)为:
式(1)中,x(t)为互联网流量大数据的时间戳校;P(t)为互联网流量大数据的内频数;e为互联网流量大数据的时间戳编码;t为互联网流量大数据收到数据的时间点;为互联网流量大数据样本信号,n为互联网流量大数据的时间参数,在模糊信息的结构映射中,采用模型网络结构进行数据压缩,得到校对后的互联网流量大数据如公式(2):
式(2)中,L为互联网流量大数据的字符串;为异构性互联网流量大数据关键数据缓冲内存大小,为互联网流量大数据系统数据特征的相似系数,采用块匹配函数,得到互联网流量大数据系统交互的范围检测式如公式(3)所示:
式(3)中,H为互联网流量大数据的范围检测大小;A为互联网流量大数据系统数据的聚类截取水平;m为互联网流量大数据系统数据的簇数;
流量大数据系统交互大数据的特征分类属性判别函数如公式(4)所示:
在具体实施例中,将互联网流量大数据特征点出现频率、互联网流量大数据特征维数以及互联网流量大数据信息通过数学函数的表达方式实现数据信息计算,以将宏观数据信息转换为微观数据分析,有利于提高互联网流量的计算能力,在具体实施例中,本发明的方法不仅局限于上述方案。
根据互联网流量大数据特征分类属性判别结果进行流量大数据的信息匹配,得到特征分类信息熵表示为公式(5)所示:
式(5)中,I为互联网流量大数据的信息熵;为互联网流量大数据特征干扰系数,在具体实施例中,互联网流量大数据的信息熵能够反映互联网流量大数据特征分类能力,大数据特征干扰系数能够反映出外界数据计算精度。考虑流量大数据系统输出的均衡性,得到信号的频域均衡式如公式(6)所示:
式(6)中,D为互联网流量大数据信号频域的大小;d为互联网流量大数据查询的迭代步数;W为互联网流量大数据系统交互输出比特率, 在具体实施例中,通过将互联网流量大数据信号频域的大小、互联网流量大数据查询的迭代步数以及互联网流量大数据系统交互输出比特率融合在数学函数中,能够有效提高数据信息的计算能力。
基于稳态识别技术,得到互联网流量大数据系统数据采样的模糊度函数如公式(7)所示:
式(7)中,G为互联网流量大数据采样的模糊度的大小;为互联网流量大数据系统的访问比特率,N为互联网流量大数据系统数据查询的空间匹配度,在具体实施例中,互联网流量大数据采样的模糊度的大小是反映数据信息采集的重要参数,比特率是指每秒传送的比特(bit)数,在通信和计算机领域,比特率(Bit rate,变量Rbit)是单位时间内传输或处理的比特的数量。比特率经常在通信领域用作连接速度、传输速度、信道容量、最大吞吐量和数字带宽容量的同义词。该参数能够有效地反映互联网流量大数据采样能力。在具体实施例中,数据信息采集是互联网流量数据信息的基础,在实现互联网基础数据进行分析时,根据用户请求特定的域名,对引入偏差的域名进行递归处理,并对递归处理的结果进行筛选,将特定域名的目的IP重定向后返回给客户;互联网流量分析时,
智能分析决策方法及系统,通过对DNS系统解析日志进行采集并存储,可以定期分析互联网热点资源,并依据分析结果,进行调度优化,使用户的访问请求尽可能多的命中网内资源,从而提升用户感知,并达到提升流量本网率和降低运营成本的效果,本发明能够合理控制网络流量流向,达到高效利用当前基础设施实现升级的目标,更好的保障服务的实现。
在数据中,采用特征聚类的方法,得到流量大数据系统交互大数据的模糊特征提取公式如公式(8)所示:
式(8)中,M为互联网流量大数据交互模糊度的大小;R m 为互联网流量大数据系统数据的查询响应率;为互联网流量大数据跟踪信道时变率,对模糊特征进行约束控制,得到互联网流量大数据系统交互大数据特征分布点的模态函数为如公式(9)所示:
通过公式(1)~公式(9)完成了互联网流量大数据系统数据的关联匹配特征的提取,根据流量大数据系统数据的目标样本相似性特征对其进行重构,实现对互联网流量大数据系统交互的深度学习训练。
(S4)根据填充处理的互联网流量大数据结果,在大数据分析系统中存储、显示或者应用。图2展示了一种改进型深度学习算法模型的互联网流量大数据分析系统示意图,在具体实施例中,所述大数据分析系统包括:应用层,所述应用层包括消费者终端、检测机构终端、生产方终端、加工方终端、物流公司终端和销售方终端,所述应用层采用B/S技术架构,对互联网流量大数据有明确需求的用户提供统一的信息查询和质量追溯服务支持;数据层,所述数据层包括时间段模块、深度学习算法模块和分布式储存模块,所述数据层采用分布式组网机制使数据分布在不同阶段的数据库,实现互联网流量大数据全程正向追踪及逆向溯源数据信息共享;核心层,所述核心层包括智能合约、共识机制,所述核心层在互联网流量大数据的质量监管条例、标准和相关管理办法内容以智能合约的形式内嵌于区块链中,实现互联网流量大数据质量规范化、标准化管理;物理层,所述物理层包括购买书的数量检测、购买书的人数检测、打包书过程检测、物流数据、加工过程检测,所述物理层采用互联网技术,通过智能传感器、状态检测器、NB-IoT、RFID和摄像装置对互联网流量大数据进行数字管理,把采集信息推送至上层协议区块链追溯网络架构包括用户、系统界面和各节点。
在具体实施例中,所述应用层采用B/S技术架构,所述B/S模式以HTTP传输协议,客户端通过Browser访问Web服务器以及与之相连的后台数据库的技术及体系结构。
在具体实施例中,所述物理层包含智能传感器。智能传感器是具有信息处理功能的传感器。智能传感器带有微处理机,具有采集、处理、交换信息的能力,是传感器集成化与微处理机相结合的产物。与一般传感器相比,智能传感器具有以下三个优点:通过软件技术可实现高精度的信息采集,而且成本低;具有一定的编程自动化能力;功能多样化。
在具体实施例中,所述摄像装置为摄像机,所述摄像机把被摄对象的光学图像转变成相应的电信号后,便形成了被记录的信号源,录像系统把信号源送来的电信号通过电磁转换系统变成磁信号,并将其记录在录像带上,把录像带上的磁信号变成电信号,再经过放大处理后送到电视机的屏幕上成像。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些具体实施方式仅是举例说明,本领域的技术人员在不脱离本发明的原理和实质的情况下,可以对上述方法和系统的细节进行各种省略、替换和改变;例如,合并上述方法步骤,从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围;因此,本发明的范围仅由所附权利要求书限定。
Claims (8)
1.一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于:所述方法包括以下步骤:
(S1)提取互联网流量大数据信息特征,采用数据挖掘模块对预设的互联网流量大数据按照挖掘规则分析互联网大数据特征;
(S2)通过加密算法将数据挖掘模块输出的互联网流量大数据的样本进行加密存储;
(S3)通过改进深度学习算法对存储的互联网流量大数据样本进行填充处理;
(S4)根据填充处理的互联网流量大数据结果,在大数据分析系统中存储、显示或者应用。
2.根据权利要求1所述的一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于:
在(S1)步骤中,数据挖掘模块包括数据信息收集模块、信息预处理模块、统计处理模块、生成模式模块和知识表示模块;其中所述数据信息收集模块的输出端与信息预处理模块的输入端连接,所述信息预处理模块的输出端与统计处理模块的输入端连接,所述统计处理模块的输出端与生成模式模块的输入端连接,所述生成模式模块的输出端与知识表示模块的输入端连接;
数据信息收集模块采用单片机控制的采集模块从互联网流量大数据获取的原始数据;
信息预处理模块对原始信息采用SAR影像去噪声处理,采用数据间关联关系挖掘互联网流量大数据纠正不一致的数据信息;
统计处理模块按照改进深度学习算法训练和学习互联网流量大数据信息;
生成模式模块根据计算得到互联网流量大数据,按照指数分析法的统计学的原理获取重复发生的数据信息规律;
知识表示模块利用可视化和知识表示技术,向用户展示得到的规律。
3.根据权利要求1所述的一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于:加密存储设置有密码算法,通过所有用户的公钥相加产生的新密匙,加密明文产生的密文,使用户私钥相加所得的新密匙来解密密文恢复明文,构成一对新的公钥于私钥来加密解密互联网流量大数据的数据。
4.根据权利要求1所述的一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于:改进深度学习算法步骤包括:
第一步:采用联合时间序列分析,输出互联网流量大数据的时间戳函数,函数公式(1)所示:
式(1)中,x(t)为互联网流量大数据的时间戳校;P(t)为互联网流量大数据的内频数;e为互联网流量大数据的时间戳编码;t为互联网流量大数据收到数据的时间点;为互联网流量大数据样本信号,n为互联网流量大数据的时间参数,在模糊信息的结构映射中,采用模型网络结构进行数据压缩,得到校对后的互联网流量大数据如公式(2):
式(2)中,L为互联网流量大数据的字符串;为异构性互联网流量大数据关键数据缓冲内存大小,为互联网流量大数据系统数据特征的相似系数,采用块匹配技术,得到互联网流量大数据系统交互的范围检测式如公式(3)所示:
式(3)中,H为互联网流量大数据的范围检测大小;A为互联网流量大数据系统数据的聚类截取水平;m为互联网流量大数据系统数据的簇数;
流量大数据系统交互大数据的特征分类属性判别函数如公式(4)所示:
根据互联网流量大数据特征分类属性判别结果进行流量大数据的信息匹配,得到特征分类信息熵表示为公式(5)所示:
式(6)中,D为互联网流量大数据信号频域的大小;d为互联网流量大数据查询的迭代步数;W为互联网流量大数据系统交互输出比特率,基于稳态识别技术,得到互联网流量大数据系统数据采样的模糊度函数如公式(7)所示:
在数据中,采用特征聚类的方法,得到流量大数据系统交互大数据的模糊特征提取公式如公式(8)所示:
对模糊特征进行约束控制,得到互联网流量大数据系统交互大数据特征分布点的模态函数为如公式(9)所示:
通过公式(1)~公式(9)完成了互联网流量大数据系统数据的关联匹配特征的提取,根据流量大数据系统数据的目标样本相似性特征对其进行重构,实现对互联网流量大数据系统交互的深度学习训练。
5.根据权利要求1所述的一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于,所述大数据分析系统包括:
应用层,所述应用层包括消费者终端、检测机构终端、生产方终端、加工方终端、物流公司终端和销售方终端,所述应用层采用B/S技术架构,对互联网流量大数据有明确需求的用户提供统一的信息查询和质量追溯服务支持;
数据层,所述数据层包括时间段模块、深度学习算法模块和分布式储存模块,所述数据层采用分布式组网机制使数据分布在不同阶段的数据库,实现互联网流量大数据全程正向追踪及逆向溯源数据信息共享;
核心层,所述核心层包括智能合约、共识机制,所述核心层在互联网流量大数据的质量监管条例、标准和相关管理办法内容以智能合约的形式内嵌于区块链中,实现互联网流量大数据质量规范化、标准化管理;
物理层,所述物理层包括购买书的数量检测、购买书的人数检测、打包书过程检测、物流数据、加工过程检测,所述物理层采用互联网技术,通过智能传感器、状态检测器、NB-IoT、RFID和摄像装置对互联网流量大数据进行数字管理,把采集信息推送至上层协议区块链追溯网络架构包括用户、系统界面和各节点。
6.根据权利要求5所述的一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于,所述应用层采用B/S技术架构,所述B/S模式以HTTP传输协议,客户端通过Browser访问Web服务器以及与之相连的后台数据库的技术及体系结构。
7.根据权利要求5所述的一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于,所述物理层包含智能传感器。
8.根据权利要求5所述的一种改进型深度学习算法模型的互联网流量大数据分析方法,其特征在于,所述摄像装置为摄像机,所述摄像机把被摄对象的光学图像转变成相应的电信号后,便形成了被记录的信号源,录像系统把信号源送来的电信号通过电磁转换系统变成磁信号,并将其记录在录像带上,把录像带上的磁信号变成电信号,再经过放大处理后送到电视机的屏幕上成像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211147416.7A CN115297023A (zh) | 2022-09-21 | 2022-09-21 | 改进型深度学习算法模型的互联网流量大数据分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211147416.7A CN115297023A (zh) | 2022-09-21 | 2022-09-21 | 改进型深度学习算法模型的互联网流量大数据分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115297023A true CN115297023A (zh) | 2022-11-04 |
Family
ID=83833074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211147416.7A Pending CN115297023A (zh) | 2022-09-21 | 2022-09-21 | 改进型深度学习算法模型的互联网流量大数据分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115297023A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116886295A (zh) * | 2023-08-04 | 2023-10-13 | 南京云朗软件有限公司 | 一种基于物联网的数据处理方法以及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107086925A (zh) * | 2017-03-07 | 2017-08-22 | 珠海城市职业技术学院 | 一种基于深度学习的互联网流量大数据分析方法 |
CN112559833A (zh) * | 2020-12-14 | 2021-03-26 | 苏州敏视达信息科技有限公司 | 一种基于深度学习的互联网流量大数据分析方法 |
CN113779473A (zh) * | 2021-08-06 | 2021-12-10 | 毛卫宁 | 一种基于人工智能的互联网大数据处理方法及系统 |
-
2022
- 2022-09-21 CN CN202211147416.7A patent/CN115297023A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107086925A (zh) * | 2017-03-07 | 2017-08-22 | 珠海城市职业技术学院 | 一种基于深度学习的互联网流量大数据分析方法 |
CN112559833A (zh) * | 2020-12-14 | 2021-03-26 | 苏州敏视达信息科技有限公司 | 一种基于深度学习的互联网流量大数据分析方法 |
CN113779473A (zh) * | 2021-08-06 | 2021-12-10 | 毛卫宁 | 一种基于人工智能的互联网大数据处理方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116886295A (zh) * | 2023-08-04 | 2023-10-13 | 南京云朗软件有限公司 | 一种基于物联网的数据处理方法以及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10412105B2 (en) | Automatic detection of network threats based on modeling sequential behavior in network traffic | |
Khare et al. | Big data in IoT | |
CN114362367B (zh) | 面向云边协同的输电线路监测系统和方法、识别系统和方法 | |
CN111506599B (zh) | 基于规则匹配和深度学习的工控设备识别方法及系统 | |
CN109905696A (zh) | 一种基于加密流量数据的视频服务体验质量的识别方法 | |
CN110046297B (zh) | 运维违规操作的识别方法、装置和存储介质 | |
Wang et al. | Automatic mobile app identification from encrypted traffic with hybrid neural networks | |
Fan et al. | An interactive visual analytics approach for network anomaly detection through smart labeling | |
CN115297023A (zh) | 改进型深度学习算法模型的互联网流量大数据分析方法 | |
CN110765329A (zh) | 一种数据的聚类方法和电子设备 | |
CN116933895B (zh) | 一种基于机器学习的物联网数据挖掘方法及系统 | |
CN115379308B (zh) | 一种基于卫星远程通信的物联网设备数据采集系统 | |
Hu et al. | Classification of Abnormal Traffic in Smart Grids Based on GACNN and Data Statistical Analysis | |
CN116232696A (zh) | 基于深度神经网络的加密流量分类方法 | |
CN115086018A (zh) | 视频前端设备聚类分析入侵检测方法 | |
Fu et al. | NSA-net: A NetFlow sequence attention network for virtual private network traffic detection | |
Guo et al. | Website fingerprinting attacks based on homology analysis | |
IL279697A (en) | System and method for detecting suspicious websites in information streams from proxy servers | |
CN113132291A (zh) | 一种边缘侧基于网络流量的异构终端特征生成及识别方法 | |
Qu et al. | A Network Data Reinforcement Method Based on the Multiclass Variational Autoencoder | |
Cao et al. | Flow monitoring system and abnormal log traffic mode detection based on artificial intelligence | |
Cai et al. | Interactive visualization of network anomalous events | |
Malhotra et al. | Deep learning-based attack detection in the internet of things | |
CN117593096B (zh) | 产品信息智能推送方法、装置、电子设备和计算机介质 | |
CN118337427A (zh) | 基于可解释性入侵检测网络的智能入侵检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221104 |
|
RJ01 | Rejection of invention patent application after publication |