CN112040434B - 一种基于传感器网络的复杂环境信息采集方法 - Google Patents

一种基于传感器网络的复杂环境信息采集方法 Download PDF

Info

Publication number
CN112040434B
CN112040434B CN202010861976.3A CN202010861976A CN112040434B CN 112040434 B CN112040434 B CN 112040434B CN 202010861976 A CN202010861976 A CN 202010861976A CN 112040434 B CN112040434 B CN 112040434B
Authority
CN
China
Prior art keywords
network
sensor
data
host
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010861976.3A
Other languages
English (en)
Other versions
CN112040434A (zh
Inventor
罗兴峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shuyun Information Technology Co ltd
Original Assignee
Hangzhou Shuyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shuyun Information Technology Co ltd filed Critical Hangzhou Shuyun Information Technology Co ltd
Priority to CN202010861976.3A priority Critical patent/CN112040434B/zh
Publication of CN112040434A publication Critical patent/CN112040434A/zh
Application granted granted Critical
Publication of CN112040434B publication Critical patent/CN112040434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明提供一种基于传感器网络的复杂环境信息采集方法，包括：在一个封闭网络环境中，先在环境中任选一台主机上安装并运行生成第一个具有传感器发现和安装功能的传感器进程；初始进程在运行中，通过扫描网段与采集本机交互的主机对端列表，形成网络环境中可能的待装机主机列表；数据分类合并以后，形成最小数据对象，回传到配合传感器网络的业务元数据主控集群；主控集群的控制台根据待装机列表数据，结合业务实际配置数据进行传感器装机判断，并在最终确认主机上授权安装新的传感器；新安装的传感器又进一步扩散，进行之前相同的发现传播过程，抓取得到更多的待装主机列表，直到同网络中都实现全覆盖。

Description

一种基于传感器网络的复杂环境信息采集方法
技术领域
本发明属于信息采集技术领域，尤其是涉及一种基于传感器网络的复杂环境信息采集系统及采集方法。
背景技术
在真实的互联网或者企业应用环境中，不断生长和变化的网络环境非常复杂，出于安全和业务保障的需要，存在大量弱连通的隔离网络孤岛，同时这些网络的环境，在内部又不断在发展，规模和结构都不断在变化。这样就伴生了如何管理和监控这些资源的难题。哪些地方网络内部有哪些主机在正常运转，哪些新的机器刚刚上架，哪些主机资源已经过期，是否进行了正式的下架处理或者报废信息维护。由于需要进行反复地人工确认，时时刻刻都在发生的变更，最终造成的结果就是，无法准确了解当前生产环境中应该有哪些主机在运转，这些机器运转的是否正常，下一刻数据是否还是当前这一刻的数据。
发明内容
本发明旨在解决上述技术问题，提供一种基于传感器网络的复杂环境信息采集方法。
为了达到上述目的，本发明采用如下技术方案：
一种基于传感器网络的复杂环境信息采集方法，包括：在一个封闭网络环境中，先在环境中任选一台主机上安装并运行生成第一个具有传感器发现和安装功能的传感器进程；初始进程在运行中，通过扫描网段与采集本机交互的主机对端列表，形成网络环境中可能的待装机主机列表；数据分类合并以后，形成最小数据对象，回传到配合传感器网络的业务元数据主控集群；主控集群的控制台根据待装机列表数据，结合业务实际配置数据进行传感器装机判断，并在最终确认主机上授权安装新的传感器；新安装的传感器又进一步扩散，进行之前相同的发现传播过程，抓取得到更多的待装主机列表，直到同网络中都实现全覆盖。
作为优选，传感器的发现模块和计算模块进行数据采集和数据归集的计算，针对持续运转的各隔离网络环境，每个传感器探测周围的主机，同时在自身主机中进行节点信息采集，信息采集得到原始数据后，根据监控的业务的需要，把时序数据归约合并成关键的核心统计结果。
作为优选，对于一个隔离网络区域，通过推举的机制，使得1个主机节点成为本区域的主节点，同时推举另一台主机作为区域次节点，在有外界网络连通能力时，进行核心数据的回传，当主或者次节点消失时，重新推举主和次节点。
作为优选，对于完全隔离的区域，在区域中运行一个数据应用控制台实例。
作为优选，对于定期连通外界的网络，采用增量数据回传机制。
作为优选，对于定期连通外界的网络，在本地启动一个数据应用控制台实例。
作为优选，传感器网络使用心跳数据、网络连通性探测数据以及配置管理系统CMDB的数据进行组合交叉判断：假设心跳数据为Dh，连通性数据为Dl，s1.当心跳为Dh=0并且Dl=0时，通过CMDB中的业务定义来进行判断，确认是否为应下架主机，如果符合下架的设定，则在控制中心标注传感器所在主机下架，传感器也做同时下架处理；s2.当Dh=0 连通性数据Dl正常，则判断为传感器故障，可作传感器故障进行进一步确认；s3.当Dh正常，而连通性数据Dl=0, 可以做网络连通性确认；s4.当Dh正常且连通性数据Dl也正常，主机正常，则配合CMDB作日常管理。
作为优选，s1中，结合CMDB进行的业务判断，以修正主机的最后状态和业务定义数据；如果主机发生非标准下架操作，结合配置管理中心和传感器网络的综合数据，以发现这种异常情况，修正主机配置的定义。
采用上述技术方案后，本发明具有如下优点：
本发明应用无线传感器思路的核心设计，用来进行针对主机服务器的数据收集，同时在临近传感器相互发送采集到数据的过程中，进行数据合并和降维，对合并和降维后的数据进行多份存储，实现无控制中心的管理架构，从而实现去中心化的自生长网络组织，达到能够动态匹配真实网络架构的目标。
附图说明
图1为传感器网络感知并添加新资源场景的步骤流程图；
图2为传感器网络结构与数据逻辑图；
图3为传感器网络主机故障发生与资源下架场景图。
具体实施方式
以下结合附图及具体实施例，对本发明作进一步的详细说明。
本实施例提供一种基于传感器网络的复杂环境信息采集方法，此方法在于将传感器网络模型应用于实际应用服务网络拓扑和主机数据的监控信息采集场景。
本发明可面对的复杂网络环境中的以下几种场合：能够进行实时连通的网络环境，间断性可以连通的准隔离网络，以及完全不能连通的隔离网络。例如：1. 同一云平台中的不同vpc；2. 同一云平台的不同region；3. 不同云平台的服务生产环境；4. 企业内部的私有部署环境；5. 自建IDC内部相互隔离的测试、研发、与准生产环境。
对于具有实时连通性的网络环境中，也有基于region+vpc甚至再加APP的两层或多层隔离网络。简单来说，在生产环境中分布着持续变化着的隔离网络环境。
正是因为要面对这种复杂的环境，我们需要用到传感器网络的自生长特性，简化问题的解决方案。因为自生长的特性就像自由流动的水，能够填满各个触及不到的角落，从而不用担心不可触达，只需设计好隔离网络的自动探索逻辑，同时配套的需要设计在这种机制下的业务管理方案。有3个管理场景需要配合应用来解决。
1.针对网络环境内部中在不确定的时间点，不断增加的主机资源，发现那些未被添加进入管理资源库的新主机。
2.针对正常运转中的网络环境，如何进行低功耗的监控数据汇总和计算。
3.针对正常下架主机和故障机异常心跳的管理如何来进行正确区分。
针对不断增加的网络环境和主机，发现需要采集信息的主机，形成需要安装传感器的主机列表是首要要解决的问题。
如图1所示，在一个新的封闭网络环境中，先在环境中任选一台主机上安装并运行生成第一个具有传感器发现和安装功能的传感器进程。初始进程在运行中，通过扫描网段与采集本机交互的主机对端列表，形成网络环境中可能的待装机主机列表，数据分类合并以后，形成最小数据对象，回传到配合传感器网络的业务元数据主控集群（本地网络和互联网各有一份独立元数据，只是范围的宽度有区别）。这时主控集群的控制台根据待装机列表数据，结合业务实际配置数据进行传感器装机判断，并在最终确认主机上授权安装新的传感器。而新安装的传感器，又进一步扩散，进行之前相同的发现传播过程，抓取得到更多的待装主机列表，直到同网络中都实现了全覆盖。整个过程可以通过如图1了解概况。这样传感器网络的自生长机制，可以让任何一个隔离的网络中，逐渐识别生成整个隔离网络的完整资源拓扑信息。且在后续运转中如果有新的主机出现，新的主机同样会被增加到传感器网络中，实现动态增长。
对于日常生产的运转过程中，传感器的发现模块和计算模块会不断进行数据采集和数据归集的计算。针对持续运转的各隔离网络环境，每个传感器探测周围的主机，同时在自身主机中进行节点信息采集。信息采集得到原始数据后，根据监控的业务的需要，把大量的时序数据，归约合并成关键的核心统计结果，这样就避免大量不必要的数据负载，降低传感器的运算和带宽负载，把最核心的精简数据予以必要的保存。并且通过多份数据存储容灾，保存多份备份数据到能够触达的相邻节点中，避免因为脆弱的主机发生故障时造成传感器采集的数据丢失。对于一个隔离网络区域，通过推举的机制，使得1个主机节点成为本区域的主节点，同时推举另一台主机作为区域次节点，在有外界网络连通能力时，进行核心数据的回传，实现多区域数据合并管理。当主或者次节点消失时，重新推举主和次节点，实现同样的功能。对于完全隔离的区域，可以考虑在区域中运行一个数据应用控制台实例，用于展现本网络内传感器网络的数据对象。对于定期连通外界的网络可以采用增量数据回传机制，同时依然可以考虑在本地启动一个数据应用控制台实例。整体的网络分布结构如图2所示。
如图3所示，对于下架的情况，会涉及到下架与故障的区分判断问题。在实际生产环境中，经常出现主机下架和主机故障的情况。传感器网络使用心跳数据、网络连通性探测数据以及配置管理系统CMDB的数据进行组合交叉判断，假设心跳数据为Dh，连通性数据为Dl：
s1.当心跳为Dh=0并且Dl=0时，再通过CMDB中的业务定义（比如业务下架时间定义）来进行判断，确认是否为应下架主机，如果符合下架的设定，则在控制中心标注传感器所在主机下架，传感器也做同时下架处理；
s2.当Dh=0 连通性数据Dl正常，则判断为传感器故障，可作传感器故障进行进一步确认；
s3.当Dh正常，而连通性数据Dl=0, 可以做网络连通性确认；
s4.当Dh正常且连通性数据Dl也正常，主机正常，则配合CMDB作日常管理。
s1情况中，结合CMDB进行的业务判断，能够修正主机的最后状态和业务定义数据。如果主机发生非标准下架操作，结合配置管理中心和传感器网络的综合数据，已经可以发现这种异常情况，从而有机会修正主机配置的定义。
本发明应用无线传感器思路的核心设计，用来进行针对主机服务器的数据收集，同时在临近传感器相互发送采集到数据的过程中，进行数据合并和降维，对合并和降维后的数据进行多份存储，实现无控制中心的管理架构，从而实现去中心化的自生长网络组织，达到能够动态匹配真实网络架构的目标。
除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。

Claims (8)

1.一种基于传感器网络的复杂环境信息采集方法，其特征在于，包括：
在一个封闭网络环境中，先在环境中任选一台主机上安装并运行生成第一个具有传感器发现和安装功能的传感器进程；
初始进程在运行中，通过扫描网段与采集本机交互的主机对端列表，形成网络环境中可能的待装机主机列表；
数据分类合并以后，形成最小数据对象，回传到配合传感器网络的业务元数据主控集群；
主控集群的控制台根据待装机列表数据，结合业务实际配置数据进行传感器装机判断，并在最终确认主机上授权安装新的传感器；
新安装的传感器又进一步扩散，进行之前相同的发现传播过程，抓取得到更多的待装主机列表，直到同网络中都实现全覆盖。
2.如权利要求1所述的基于传感器网络的复杂环境信息采集方法，其特征在于，传感器的发现模块和计算模块进行数据采集和数据归集的计算，针对持续运转的各隔离网络环境，每个传感器探测周围的主机，同时在自身主机中进行节点信息采集，信息采集得到原始数据后，根据监控的业务的需要，把时序数据归约合并成关键的核心统计结果。
3.如权利要求1所述的基于传感器网络的复杂环境信息采集方法，其特征在于，对于一个隔离网络区域，通过推举的机制，使得1个主机节点成为本区域的主节点，同时推举另一台主机作为区域次节点，在有外界网络连通能力时，进行核心数据的回传，当主或者次节点消失时，重新推举主和次节点。
4.如权利要求1所述的基于传感器网络的复杂环境信息采集方法，其特征在于，对于完全隔离的区域，在区域中运行一个数据应用控制台实例。
5.如权利要求1所述的基于传感器网络的复杂环境信息采集方法，其特征在于，对于定期连通外界的网络，采用增量数据回传机制。
6.如权利要求5所述的基于传感器网络的复杂环境信息采集方法，其特征在于，对于定期连通外界的网络，在本地启动一个数据应用控制台实例。
7.如权利要求1-6中的任意一项所述的基于传感器网络的复杂环境信息采集方法，其特征在于，传感器网络使用心跳数据、网络连通性探测数据以及配置管理系统CMDB的数据进行组合交叉判断：
假设心跳数据为Dh，连通性数据为Dl，
s1.当心跳为Dh=0并且Dl=0时，通过CMDB中的业务定义来进行判断，确认是否为应下架主机，如果符合下架的设定，则在控制中心标注传感器所在主机下架，传感器也做同时下架处理；
s2.当Dh=0 连通性数据Dl正常，则判断为传感器故障，可作传感器故障进行进一步确认；
s3.当Dh正常，而连通性数据Dl=0, 可以做网络连通性确认；
s4.当Dh正常且连通性数据Dl也正常，主机正常，则配合CMDB作日常管理。
8.如权利要求7所述的基于传感器网络的复杂环境信息采集方法，其特征在于，s1中，结合CMDB进行的业务判断，以修正主机的最后状态和业务定义数据；如果主机发生非标准下架操作，结合配置管理中心和传感器网络的综合数据，以发现这种异常情况，修正主机配置的定义。
CN202010861976.3A 2020-08-25 2020-08-25 一种基于传感器网络的复杂环境信息采集方法 Active CN112040434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010861976.3A CN112040434B (zh) 2020-08-25 2020-08-25 一种基于传感器网络的复杂环境信息采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010861976.3A CN112040434B (zh) 2020-08-25 2020-08-25 一种基于传感器网络的复杂环境信息采集方法

Publications (2)

Publication Number Publication Date
CN112040434A CN112040434A (zh) 2020-12-04
CN112040434B true CN112040434B (zh) 2022-04-19

Family

ID=73581170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010861976.3A Active CN112040434B (zh) 2020-08-25 2020-08-25 一种基于传感器网络的复杂环境信息采集方法

Country Status (1)

Country Link
CN (1) CN112040434B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289372A (en) * 1992-08-18 1994-02-22 Loral Aerospace Corp. Global equipment tracking system
US7047423B1 (en) * 1998-07-21 2006-05-16 Computer Associates Think, Inc. Information security analysis system
CN103607314A (zh) * 2013-12-10 2014-02-26 浪潮电子信息产业股份有限公司 一种使用snmp协议对服务器监控管理的系统
CN108141481A (zh) * 2015-09-03 2018-06-08 康维达无线有限责任公司 通信网络的增强型邻居发现

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171142B2 (en) * 2010-06-30 2012-05-01 Vmware, Inc. Data center inventory management using smart racks
WO2013072925A2 (en) * 2011-09-19 2013-05-23 Tata Consultancy Services Limited A computing platform for development and deployment of sensor data based applications and services
US8954573B2 (en) * 2012-04-11 2015-02-10 Mcafee Inc. Network address repository management
US10938663B2 (en) * 2018-05-07 2021-03-02 Servicenow, Inc. Discovery and management of devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289372A (en) * 1992-08-18 1994-02-22 Loral Aerospace Corp. Global equipment tracking system
US7047423B1 (en) * 1998-07-21 2006-05-16 Computer Associates Think, Inc. Information security analysis system
CN103607314A (zh) * 2013-12-10 2014-02-26 浪潮电子信息产业股份有限公司 一种使用snmp协议对服务器监控管理的系统
CN108141481A (zh) * 2015-09-03 2018-06-08 康维达无线有限责任公司 通信网络的增强型邻居发现

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Best practices for deploying a CMDB in large-scale environments;Alexander Keller et al.;《2009 IFIP/IEEE International Symposium on Integrated Network Management》;20090804;全文 *
动车组维修物联网及其关键技术研究;孙鹏;《中国博士学位论文全文数据库 工程科技II辑》;20140515;全文 *

Also Published As

Publication number Publication date
CN112040434A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
US7734960B2 (en) Method of managing nodes in computer cluster
CN102739435B (zh) 作为服务的故障检测与恢复
CN106656682B (zh) 集群心跳检测方法、系统及装置
CN106156318B (zh) 一种实现多节点数据库高可用的系统及方法
CN111949444A (zh) 一种基于分布式服务集群的数据备份与恢复系统及方法
EP4024765B1 (en) Method and apparatus for extracting fault propagation condition, and storage medium
CN105681404A (zh) 用于分布式缓存系统的元数据节点管理方法和装置
CN111858033A (zh) 基于集群和多进程的负载均衡方法
CN111769981A (zh) 去中心化架构主节点推选方法、数据文件传输方法、系统
CN114265753A (zh) 消息队列的管理方法、管理系统和电子设备
CN115080436A (zh) 测试指标确定方法、装置、电子设备及存储介质
CN111309515B (zh) 一种容灾控制方法、装置及系统
CN113489149B (zh) 基于实时状态感知的电网监控系统业务主节点选取方法
CN102387210B (zh) 一种基于快速同步网络的分布式文件系统监控方法
CN112040434B (zh) 一种基于传感器网络的复杂环境信息采集方法
CN112260902B (zh) 网络设备监控方法、装置、设备及存储介质
CN113765690A (zh) 集群切换方法、系统、装置、终端、服务器及存储介质
KR101559712B1 (ko) 자율적인 소셜 협업 그룹의 형성에 기초한 지능형 사물 서비스를 제공하는 방법
CN112799879B (zh) 节点的故障处理方法、装置、设备和存储介质
CN114124803B (zh) 设备管理方法、装置、电子设备及存储介质
CN114039836A (zh) Exporter采集器的故障处理方法及装置
CN114328036A (zh) 一种硬件故障检测方法、系统及相关设备
CN116185724A (zh) 一种数据采集器控制方法、装置、计算机设备及存储介质
US20220271990A1 (en) Method for providing high availability service through gnb reallocation and device therefor
US11848816B2 (en) Optimizing power consumption of M-IoT devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Collecting Complex Environmental Information Based on Sensor Networks

Effective date of registration: 20230720

Granted publication date: 20220419

Pledgee: Hangzhou Gaoxin Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU SHUYUN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023330001521