CN110659405A - 一种基于云环境的网络信息采集方法 - Google Patents

一种基于云环境的网络信息采集方法 Download PDF

Info

Publication number
CN110659405A
CN110659405A CN201910913619.4A CN201910913619A CN110659405A CN 110659405 A CN110659405 A CN 110659405A CN 201910913619 A CN201910913619 A CN 201910913619A CN 110659405 A CN110659405 A CN 110659405A
Authority
CN
China
Prior art keywords
data
processing
cloud environment
network information
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910913619.4A
Other languages
English (en)
Inventor
韩冰
罗广超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuanbao Science And Technology Research Institute Co Ltd
Original Assignee
Nanjing Yuanbao Science And Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yuanbao Science And Technology Research Institute Co Ltd filed Critical Nanjing Yuanbao Science And Technology Research Institute Co Ltd
Priority to CN201910913619.4A priority Critical patent/CN110659405A/zh
Publication of CN110659405A publication Critical patent/CN110659405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本发明公开了一种基于云环境的网络信息采集方法，包括以下步骤，对初始数据进行采集，初始数据采集包括多个用于采集数据的传感器节点和结合节点，每个传感器节点分别对不同的数据进行采集，然后将采集到的数据输送到结合节点，建立回归模型，对采集到的初始数据进行回归处理，对回归的数据进行迭代处理，判断迭代处理是否达到预定范围，若达到则结束，若没有达到，则继续迭代；本发明通过回归模型对数据进行初步处理，筛分出需要的数据，并将需要的数据进行回归处理，处理后的数据为统一资源定位符，然后对回归处理后的数据进行迭代处理，保证处理后数据的准确性，信息采集更加的精确。

Description

一种基于云环境的网络信息采集方法
技术领域
本发明涉及云环境信息采集技术领域，具体为一种基于云环境的网络信息采集方法。
背景技术
云计算概念是由Google提出的，这是一个美丽的网络应用模式。狭义云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源；广义云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务，它具有超大规模、虚拟化、可靠安全等独特功效；云服务与云计算息息相关，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似，这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统，而这种服务类型是将网络中的各种资源调动起来，为用户服务。
随着科技的发展，计算机技术和无线传感器网络技术的发展，人类逐渐步入云环境时代，网络信息的采集是云环境下非常重要的一种，传统的网络信息采集一般都是通过多个节点对信息进行采集，然后处理后呈现出来，现有的信息采集后的处理方法较为简单，处理时经常性的发生数据混乱的情况，导致最终呈现的数据信息会存在误差，使用起来较为不便。
基于此，本发明设计了一种基于云环境的网络信息采集方法，以解决上述提到的问题。
发明内容
本发明的目的在于提供一种基于云环境的网络信息采集方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于云环境的网络信息采集方法，包括以下步骤：
S1，对初始数据进行采集，初始数据采集包括多个用于采集数据的传感器节点和结合节点，每个传感器节点分别对不同的数据进行采集，然后将采集到的数据输送到结合节点，当结合节点收到每个传感器输送来的数据后，结合节点将数据统一输送到回归模型；
S2，建立回归模型，对采集到的初始数据进行回归处理，回归模型能够对数据进行初步处理，筛分出需要的数据，并将需要的数据进行回归处理，处理后的数据为统一资源定位符；
S3，对回归的数据进行迭代处理，迭代处理将回归处理后的多个统一资源定位符向一个单一点进行收缩和汇聚，保证处理后数据的准确性，信息采集更加的精确；
S4，判断迭代处理是否达到预定范围，若达到则结束，若没有达到，则重复S3的步骤。
优选的，所述回归模型的计算函数为
Figure BDA0002215436820000021
xi(i＝1,2...,n)。
优选的，所述迭代函数为
Figure BDA0002215436820000022
优选的，所述传感器节点按照设定的周期t，t的时间设定可根据实际情况自行设定。
优选的，所述传感器节点和结合节点采用Spark语言编写，所述传感器节点和结合节点成星型分布。
优选的，所述迭代处理的预定范围为Y，Y的值可根据实际的采集情况进行设定。
与现有技术相比，本发明的有益效果是：本发明通过回归模型对数据进行初步处理，筛分出需要的数据，并将需要的数据进行回归处理，处理后的数据为统一资源定位符，然后对回归处理后的数据进行迭代处理，保证处理后数据的准确性，信息采集更加的精确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种基于云环境的网络信息采集方法技术方案：包括以下步骤：
对初始数据进行采集，初始数据采集包括多个用于采集数据的传感器节点和结合节点，每个传感器节点分别对不同的数据进行采集，然后将采集到的数据输送到结合节点，当结合节点收到每个传感器输送来的数据后，结合节点将数据统一输送到回归模型；
建立回归模型，对采集到的初始数据进行回归处理，回归模型能够对数据进行初步处理，筛分出需要的数据，并将需要的数据进行回归处理，处理后的数据为统一资源定位符；
对回归的数据进行迭代处理，迭代处理将回归处理后的多个统一资源定位符向一个单一点进行收缩和汇聚，保证处理后数据的准确性，信息采集更加的精确；
判断迭代处理是否达到预定范围，若达到则结束，若没有达到，则重复迭代处理的步骤。
其中，回归模型的计算函数为
Figure BDA0002215436820000041
xi(i＝1,2...,n)；迭代函数为
Figure BDA0002215436820000042
传感器节点按照设定的周期t，t的时间设定可根据实际情况自行设定；传感器节点和结合节点采用Spark语言编写，传感器节点和结合节点成星型分布；迭代处理的预定范围为Y，Y的值可根据实际的采集情况进行设定。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种基于云环境的网络信息采集方法，其特征在于，包括以下步骤：
S1，对初始数据进行采集，初始数据采集包括多个用于采集数据的传感器节点和结合节点，每个传感器节点分别对不同的数据进行采集，然后将采集到的数据输送到结合节点，当结合节点收到每个传感器输送来的数据后，结合节点将数据统一输送到回归模型；
S2，建立回归模型，对采集到的初始数据进行回归处理，回归模型能够对数据进行初步处理，筛分出需要的数据，并将需要的数据进行回归处理，处理后的数据为统一资源定位符；
S3，对回归的数据进行迭代处理，迭代处理将回归处理后的多个统一资源定位符向一个单一点进行收缩和汇聚，保证处理后数据的准确性，信息采集更加的精确；
S4，判断迭代处理是否达到预定范围，若达到则结束，若没有达到，则重复S3的步骤。
2.根据权利要求1所述的一种基于云环境的网络信息采集方法，其特征在于：所述回归模型的计算函数为
其中xi(i＝1,2...,n)。
3.根据权利要求1所述的一种基于云环境的网络信息采集方法，其特征在于：所述迭代函数为
Figure FDA0002215436810000012
4.根据权利要求1所述的一种基于云环境的网络信息采集方法，其特征在于：所述传感器节点按照设定的周期t，t的时间设定可根据实际情况自行设定。
5.根据权利要求1所述的一种基于云环境的网络信息采集方法，其特征在于：所述传感器节点和结合节点采用Spark语言编写，所述传感器节点和结合节点成星型分布。
6.根据权利要求1所述的一种基于云环境的网络信息采集方法，其特征在于：所述迭代处理的预定范围为Y，Y的值可根据实际的采集情况进行设定。
CN201910913619.4A 2019-09-25 2019-09-25 一种基于云环境的网络信息采集方法 Pending CN110659405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910913619.4A CN110659405A (zh) 2019-09-25 2019-09-25 一种基于云环境的网络信息采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910913619.4A CN110659405A (zh) 2019-09-25 2019-09-25 一种基于云环境的网络信息采集方法

Publications (1)

Publication Number Publication Date
CN110659405A true CN110659405A (zh) 2020-01-07

Family

ID=69039193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910913619.4A Pending CN110659405A (zh) 2019-09-25 2019-09-25 一种基于云环境的网络信息采集方法

Country Status (1)

Country Link
CN (1) CN110659405A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799512A (zh) * 2012-07-04 2012-11-28 南京邮电大学 一种基于向量自回归的云计算中虚拟机监控方法
CN103514369A (zh) * 2013-09-18 2014-01-15 上海交通大学 一种基于主动学习的回归分析系统及方法
CN104407688A (zh) * 2014-10-29 2015-03-11 哈尔滨工业大学深圳研究生院 基于树回归的虚拟化云平台能耗测量方法及系统
US20150234880A1 (en) * 2012-08-06 2015-08-20 Agt International Gmbh System and method for updating a data structure with sensor measurement data
CN106339357A (zh) * 2016-08-12 2017-01-18 北京同余科技有限公司 寻优参数化的网络信息安全检测系统和方法
CN106651036A (zh) * 2016-12-26 2017-05-10 东莞理工学院 空气质量预报系统
CN106997493A (zh) * 2017-02-14 2017-08-01 云数信息科技（深圳）有限公司 基于多维度数据的彩票用户流失预测方法及其系统
CN108562821A (zh) * 2018-05-08 2018-09-21 中国电力科学研究院有限公司 一种基于Softmax确定配电网单相接地故障选线的方法及系统
CN108597605A (zh) * 2018-03-19 2018-09-28 特斯联（北京）科技有限公司 一种个人健康生活大数据采集与分析系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799512A (zh) * 2012-07-04 2012-11-28 南京邮电大学 一种基于向量自回归的云计算中虚拟机监控方法
US20150234880A1 (en) * 2012-08-06 2015-08-20 Agt International Gmbh System and method for updating a data structure with sensor measurement data
CN103514369A (zh) * 2013-09-18 2014-01-15 上海交通大学 一种基于主动学习的回归分析系统及方法
CN104407688A (zh) * 2014-10-29 2015-03-11 哈尔滨工业大学深圳研究生院 基于树回归的虚拟化云平台能耗测量方法及系统
CN106339357A (zh) * 2016-08-12 2017-01-18 北京同余科技有限公司 寻优参数化的网络信息安全检测系统和方法
CN106651036A (zh) * 2016-12-26 2017-05-10 东莞理工学院 空气质量预报系统
CN106997493A (zh) * 2017-02-14 2017-08-01 云数信息科技（深圳）有限公司 基于多维度数据的彩票用户流失预测方法及其系统
CN108597605A (zh) * 2018-03-19 2018-09-28 特斯联（北京）科技有限公司 一种个人健康生活大数据采集与分析系统
CN108562821A (zh) * 2018-05-08 2018-09-21 中国电力科学研究院有限公司 一种基于Softmax确定配电网单相接地故障选线的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕依蓉 等: "基于梯度提升回归树的处理器性能数据挖掘研究", 《集成技术》 *
骆剑彬 等: "Spark云计算平台下的结构物理参数辨识", 《振动与冲击》 *

Similar Documents

Publication Publication Date Title
McChesney et al. Defog: fog computing benchmarks
CN102868726B (zh) 一种互联网信息发布方法及系统
CN107450961A (zh) 一种基于Docker容器的分布式深度学习系统及其搭建方法、工作方法
CN110083455B (zh) 图计算处理方法、装置、介质及电子设备
CN104954453A (zh) 基于云计算的数据挖掘rest服务平台
CN111327647B (zh) 一种容器对外提供服务的方法、装置及电子设备
CN106910045A (zh) 工作流引擎设计方法及系统
CN113590576A (zh) 数据库参数调整方法、装置、存储介质以及电子设备
US20210152433A1 (en) Systems and methods for determining entry points for mapping a network
CN110798517A (zh) 去中心化集群负载均衡方法、系统、移动终端及存储介质
US10182104B1 (en) Automatic propagation of resource attributes in a provider network according to propagation criteria
CN110581893A (zh) 数据传输方法、装置、路由设备、服务器及存储介质
CN113900810A (zh) 分布式图处理方法、系统及存储介质
CN109614271B (zh) 多个集群数据一致性的控制方法、装置、设备及存储介质
CN107395663B (zh) 数据获取方法及装置
CN111638939B (zh) 一种Kubernetes容器平台应用生命周期的管理系统和方法
CN116974948A (zh) 业务系统测试方法、系统、设备和介质
US7543300B2 (en) Interface for application components
CN110659405A (zh) 一种基于云环境的网络信息采集方法
Chen Design of computer big data processing system based on genetic algorithm
CN110909072B (zh) 一种数据表建立方法、装置及设备
CN114979279B (zh) 一种用于数据请求的微服务模块调度方法
CN112667393B (zh) 分布式任务计算调度框架搭建的方法、装置及计算机设备
CN107688582B (zh) 资源推荐模型的获取方法及装置
CN114584627A (zh) 一种具有网络监控功能的中台调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200107