CN110572383A - 一种大数据监测方法 - Google Patents

一种大数据监测方法 Download PDF

Info

Publication number
CN110572383A
CN110572383A CN201910826919.9A CN201910826919A CN110572383A CN 110572383 A CN110572383 A CN 110572383A CN 201910826919 A CN201910826919 A CN 201910826919A CN 110572383 A CN110572383 A CN 110572383A
Authority
CN
China
Prior art keywords
data
monitoring
data center
comparison result
average value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910826919.9A
Other languages
English (en)
Other versions
CN110572383B (zh
Inventor
李庆芬
邓彬
吴远志
张洪
张建武
马斌
骆伟军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Institute of Technology
Original Assignee
Hunan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Institute of Technology filed Critical Hunan Institute of Technology
Priority to CN201910826919.9A priority Critical patent/CN110572383B/zh
Publication of CN110572383A publication Critical patent/CN110572383A/zh
Application granted granted Critical
Publication of CN110572383B publication Critical patent/CN110572383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种大数据监测方法包括步骤一、监测终端监测数据；步骤二、监测终端将监测数据与标准数据进行对比得到本地比对结果并存储，同时将监测数据上传至云数据中心；步骤三、云数据中心先将接收到的监测数据与标准数据进行对比得到远程比对结果，再将该远程比对结果发送至监测终端；步骤四、监测终端确定本地比对结果与远程比对结果是否相同；若不相同，云数据中心将作出异常响应，并重复步骤一至三；若相同，云数据中心将对监测数据进行分析计算，并将监测数据发送至大数据中心，还将大于最高预设阀值或小于最低预设阀值的监测数据以及平均值大于最高预平均值或小于最低预设平均值的监测数据和其平均值发送至监管平台。

Description

一种大数据监测方法
技术领域
本发明涉及数据监测技术领域，尤其指一种大数据监测方法。
背景技术
近年来，我国在互联网技术、产业、应用以及跨界融合等方面取得了积极进展，但也存在传统行业运用互联网的意识和能力不足等问题，尤其是表现于生态文明建设方面，亟待提高。在生态环境保护领域，“互联网+”的应用具有广阔的天地，生态产业的发展更需要“互联网+”融合的全方位支持，在对生态环境大数据进行分析时，数据的准确性至关重要，虽然目前界内已采用加密协议传输环境数据，但还是存在数据被恶意截获和解析的可能，难以保证环境监测结果的准确性，此外，对数据加密会增加数据传输的负担，降低通信效率。
发明内容
本发明的目的是提供一种可以有效保证监测数据的准确性的大数据监测方法。
为了解决上述技术问题，本发明采用如下技术方案：一种大数据监测方法，包括如下步骤：
步骤一、监测终端监测数据；
步骤二、监测终端将步骤一中监测到的监测数据与标准数据进行对比得到本地比对结果并存储，同时将监测数据上传至云数据中心；
步骤三、云数据中心先将接收到的监测数据与标准数据进行对比得到远程比对结果，再将该远程比对结果发送至监测终端；
步骤四、监测终端确定本地比对结果与远程比对结果是否相同；若不相同，云数据中心将作出异常响应，并重复步骤一至三；若相同，云数据中心将对监测数据进行分析计算，并将监测数据发送至大数据中心，还将大于最高预设阀值或小于最低预设阀值的监测数据以及平均值大于最高预平均值或小于最低预设平均值的监测数据和其平均值发送至监管平台。
进一步地，该大数据监测方法还包括：步骤五、大数据中心在所数据的数量达到预设数量要求时对数据进行大数据分析，并将分析结果反馈至监管平台。
进一步地，在步骤一中，所述监测终端自动地或被动地按照预设监测频率监测数据。
进一步地，在步骤二中，所述监测终端还将监测终端具有唯一性的属性信息上传至云数据中心，所述云数据中心根据该属性信息确定监测终端是否正常。
更进一步地，所述属性信息包括硬件信息、固件版本信息和位置信息，所述云数据中心以位置信息作为信息存储的标引，将监测终端的硬件信息和固件版本信息与内部存储的硬件信息和固件版本信息进行映射，若云数据中心没有存储对应的硬件信息或者存储有对应的硬件信息但存储的固件版本高于监测终端的固件版本，则云数据中心生成字符“regular”并作出异常响应，若云数据中心存储有对应的硬件信息且存储的固件版本不高于监测终端的固件版本，则云数据中心确定该监测终端正常。
更进一步地，在步骤四中，监测终端确定本地比对结果与远程比对结果相同时，向云数据中心反馈字符“normal”，确定本地比对结果与远程比对结果不相同时，向云数据中心反馈字符“correct”。
更进一步地，在步骤四中，云数据中心根据监测终端的反馈对监测数据进行分析时，若监测数据处于最低预设阀值与最高预设阀值之间，则将监测数据在FIFO数据栈进行入栈操作，若监测数据大于最高预设阀值或小于最低预设阀值，则将监测数据同时发送至云数据中心及监管平台，云数据中心再对FIFO数据栈内的监测数据进行出栈操作并计算监测数据的平均值，若监测数据的平均值处于最低预设平均值和最高预设平均值之间，则将监测数据发送至大数据中心，若监测数据的平均值大于最高预平均值或小于最低预设平均值，则将监测数据发送至大数据中心，同时将监测数据和其平均值发送至监管平台。
再进一步地，步骤四中所述异常响应包括向管理人员发出警报声。
再进一步地，所述监测终端与云数据中心之间采用断点数据主动续传的通信方法。
优选地，所述最低预设阈值、最高预设阈值、最高预设平均值、最低预设平均值由监管平台进行设置。
本发明提供的一种大数据监测方法通过利用云数据中心并采用数据对比手段来判断监测数据是否被篡改，可以实现在数据的传输过程中免加密处理，与传统的数据监测方法相比，该方法更能有效的保证大数据的准确性，通信效率也得到了提高。不仅如此，该方法还对监测终端的真伪性进行了判断，能进一步提高数据的准确性。另外，该方法通过对数据进行监测，利用大数据中心对监测数据进行大数据分析，并通过监管平台对监测数据进行实时监控，可以使数据的监管更加精细化，决策更加科学化。
附图说明
图1为本发明所涉大数据监测方法的流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
如图1所示，本实施方式提供的一种大数据监测方法，包括如下步骤：
步骤一、监测终端自动地或被动地按照预设监测频率开始监测数据，该监测终端具有唯一的属性信息，属性信息的唯一性可以通过唯一的编号信息（编号信息为设备出厂自带的）和位置信息来确定，当然，监测终端也可以采用其他的方式保证其唯一性，如果不能确保其唯一性，可能会有伪装的监测终端窃取监测数据。需要提出说明的是，目前，尚未发现有对监测终端的唯一性进行识别的现有技术，因此不能直接对监测终端的伪装性进行判断，然而通过映射的方式是可以间接判断监测终端的伪装性的。
步骤二、监测终端将步骤一中监测到的监测数据与标准数据（监测终端可以是内部存储有标准数据，也可以是从监管平台调用过来的标准数据）进行对比得到本地比对结果并存储，同时将监测数据和监测终端的属性信息上传至云数据中心，监测终端与云数据中心之间采用断点数据主动续传的通信方法，监测终端的属性信息包括硬件信息和固件版本信息，云数据中心在接收到监测终端发送的硬件信息、固件版本信息和位置信息后，对监测终端的伪装性进行判断，具体而言，云数据中心中存储有目标监测终端的硬件信息、固件版本信息和位置信息，云数据中心以监测终端的位置信息作为信息存储的标引，将监测终端的硬件信息和固件版本信息与内部存储的硬件信息和固件版本信息进行映射，若云数据中心没有存储对应的硬件信息或者存储有对应的硬件信息但存储的固件版本高于监测终端的固件版本，则云数据中心确定该监测终端为伪装的监测终端，云数据中心将生成字符“regular”并作出异常响应，异常响应包括向管理人员发出警报声，提示存在伪装的监测终端，若云数据中心存储有对应的硬件信息且存储的固件版本不高于监测终端的固件版本，则云数据中心接收该监测终端发送的监测数据。在此需要强调一点的是，位置信息是作为信息存储的一个标引，并不能作为判断监测终端是否为伪装终端的信息。
步骤三、云数据中心先将接收到的监测数据与标准数据（云数据中心可以是内部存储有标准数据，也可以是从监管平台调用过来的标准数据）进行对比得到远程比对结果，再将该远程比对结果发送至监测终端。
步骤四、监测终端确定本地比对结果与远程比对结果是否相同；若不相同，监测终端向云数据中心反馈字符“correct”，云数据中心作出异常响应，异常响应包括向管理人员发出警报声，提示监测数据被篡改，同时执行步骤一至三；若相同，监测终端向云数据中心反馈字符“normal”（值得一提的是，字符“normal”和字符“correct”均表示数据正常，因没有参照对象，而无法在反馈过程中被人篡改），云数据中心将对接收的监测数据进行分析，若监测数据大于最高预设阀值或小于最低预设阀值，则将监测数据同时发送至大数据中心及监管平台，若监测数据处于最低预设阀值与最高预设阀值之间，则先将监测数据在FIFO数据栈进行入栈操作，在实际应用过程中，监测终端可以是多个，相应的，设置多个FIFO数据栈，每个FIFO数据栈与每个采集终端一一对应，上述最低预设阀值、最高预设阀值均由监管平台设置，云数据中心再对FIFO数据栈内的监测数据进行出栈操作并计算监测数据的平均值，若监测数据的平均值处于最低预设平均值和最高预设平均值之间，则将监测数据发送至大数据中心，若监测数据的平均值大于最高预平均值或小于最低预设平均值，则将监测数据发送至大数据中心，同时将监测数据和其平均值发送至监管平台，其中，上述最低预设平均值、最高预平均值均由监管平台设置，平均值的计算周期与监测终端的数据监测周期同步。
步骤五、大数据中心在进行大数据分析时，对样本数据的数量有要求，当大数据中心在所数据的数量达到预设数量要求时即开始对数据进行大数据分析，并将分析结果反馈至监管平台，通过对数据的实时监控和大数据分析，可以对实时数据、长期数据进行全方位监测。
在传统的环境数据监测过程中，对于某些敏感数据，数据传输时可能全程被恶意窃取，出于某种目的，数据还可能会被人恶意篡改，使数据偏离真实值。为了解决上述问题，本实施方式先对监测终端的真伪性进行判断，确保所需监测数据由非伪装监测终端所传输，再利用数据对比手段来判断监测数据在传输过程中是否被篡改，有篡改则发出异常响应，警示管理人员，无篡改则正常接收数据并对其进行分析，如此，即使监测数据在传输过程中被篡改也能被及时发现，以防不真实的数据传输至大数据中心，因此，本实施方式所涉大数据监测方法在数据传输免加密的情况下，也可以有效降低数据被恶意窃取和篡改的可能性，既不影响通信效率，还提高了监测数据的准确性。
上述实施例为本发明较佳的实现方案，除此之外，本发明还可以其它方式实现，在不脱离本技术方案构思的前提下任何显而易见的替换均在本发明的保护范围之内。
为了让本领域普通技术人员更方便地理解本发明相对于现有技术的改进之处，本发明的一些附图和描述已经被简化，并且为了清楚起见，本申请文件还省略了一些其它元素，本领域普通技术人员应该意识到这些省略的元素也可构成本发明的内容。

Claims (10)

1.一种大数据监测方法，其特征在于，包括以下步骤：
步骤一、监测终端监测数据；
步骤二、监测终端将步骤一中监测到的监测数据与标准数据进行对比得到本地比对结果并存储，同时将监测数据上传至云数据中心；
步骤三、云数据中心先将接收到的监测数据与标准数据进行对比得到远程比对结果，再将该远程比对结果发送至监测终端；
步骤四、监测终端确定本地比对结果与远程比对结果是否相同；若不相同，云数据中心将作出异常响应，并重复步骤一至三；若相同，云数据中心将对监测数据进行分析计算，并将监测数据发送至大数据中心，还将大于最高预设阀值或小于最低预设阀值的监测数据以及平均值大于最高预平均值或小于最低预设平均值的监测数据和其平均值发送至监管平台。
2.根据权利要求1所述的大数据监测方法，其特征在于，还包括：
步骤五、大数据中心在所数据的数量达到预设数量要求时对数据进行大数据分析，并将分析结果反馈至监管平台。
3.根据权利要求1或2所述的大数据监测方法，其特征在于：在步骤一中，所述监测终端自动地或被动地按照预设监测频率监测数据。
4.根据权利要求3所述的大数据监测方法，其特征在于：在步骤二中，所述监测终端还将监测终端具有唯一性的属性信息上传至云数据中心，所述云数据中心根据该属性信息确定监测终端是否正常。
5.根据权利要求4所述的大数据监测方法，其特征在于：所述属性信息包括硬件信息、固件版本信息和位置信息，所述云数据中心以位置信息作为信息存储的标引，将监测终端的硬件信息和固件版本信息与内部存储的硬件信息和固件版本信息进行映射，若云数据中心没有存储对应的硬件信息或者存储有对应的硬件信息但存储的固件版本高于监测终端的固件版本，则云数据中心生成字符“regular”并作出异常响应，若云数据中心存储有对应的硬件信息且存储的固件版本不高于监测终端的固件版本，则云数据中心确定该监测终端正常。
6.根据权利要求1或2或4或5任意一项所述的大数据监测方法，其特征在于：在步骤四中，监测终端确定本地比对结果与远程比对结果相同时，向云数据中心反馈字符“normal”，确定本地比对结果与远程比对结果不相同时，向云数据中心反馈字符“correct”。
7.根据权利要求6所述的大数据监测方法，其特征在于：在步骤四中，云数据中心根据监测终端的反馈对监测数据进行分析时，若监测数据处于最低预设阀值与最高预设阀值之间，则将监测数据在FIFO数据栈进行入栈操作，若监测数据大于最高预设阀值或小于最低预设阀值，则将监测数据同时发送至云数据中心及监管平台，云数据中心再对FIFO数据栈内的监测数据进行出栈操作并计算监测数据的平均值，若监测数据的平均值处于最低预设平均值和最高预设平均值之间，则将监测数据发送至大数据中心，若监测数据的平均值大于最高预平均值或小于最低预设平均值，则将监测数据发送至大数据中心，同时将监测数据和其平均值发送至监管平台。
8.根据权利要求1或7所述的大数据监测方法，其特征在于：步骤四中所述异常响应包括向管理人员发出警报声。
9.根据权利要求8所述的大数据监测方法，其特征在于：所述监测终端与云数据中心之间采用断点数据主动续传的通信方法。
10.根据权利要求1或9所述的大数据监测方法，其特征在于：所述最低预设阈值、最高预设阈值、最高预设平均值、最低预设平均值由监管平台进行设置。
CN201910826919.9A 2019-09-03 2019-09-03 一种大数据监测方法 Active CN110572383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910826919.9A CN110572383B (zh) 2019-09-03 2019-09-03 一种大数据监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910826919.9A CN110572383B (zh) 2019-09-03 2019-09-03 一种大数据监测方法

Publications (2)

Publication Number Publication Date
CN110572383A true CN110572383A (zh) 2019-12-13
CN110572383B CN110572383B (zh) 2021-12-07

Family

ID=68777458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910826919.9A Active CN110572383B (zh) 2019-09-03 2019-09-03 一种大数据监测方法

Country Status (1)

Country Link
CN (1) CN110572383B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654876A (zh) * 2020-07-13 2020-09-11 博繁软件(广州)有限公司 基于公共站点的信息采集边缘计算网关
CN112102594A (zh) * 2020-10-13 2020-12-18 江西理工大学 一种即时型岩爆的监测预警系统及方法
CN114485801A (zh) * 2022-02-10 2022-05-13 广东电网有限责任公司 一种配电自动化主站系统运行质量的评价系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234424A (zh) * 2016-12-21 2018-06-29 青岛祥智电子技术有限公司 审计系统
CN109890001A (zh) * 2018-12-28 2019-06-14 苏州华盖信息科技有限公司 一种基于云服务的数据通信方法、装置及系统
US20190221051A1 (en) * 2018-01-15 2019-07-18 Kabushiki Kaisha Toshiba Electronic apparatus, method and server and method
CN110134068A (zh) * 2019-03-27 2019-08-16 苏州艾米妮娜工业智能技术有限公司 一种云智能设备的安全系统
CN110147470A (zh) * 2019-05-22 2019-08-20 武汉市公安局 一种跨机房数据比对系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234424A (zh) * 2016-12-21 2018-06-29 青岛祥智电子技术有限公司 审计系统
US20190221051A1 (en) * 2018-01-15 2019-07-18 Kabushiki Kaisha Toshiba Electronic apparatus, method and server and method
CN109890001A (zh) * 2018-12-28 2019-06-14 苏州华盖信息科技有限公司 一种基于云服务的数据通信方法、装置及系统
CN110134068A (zh) * 2019-03-27 2019-08-16 苏州艾米妮娜工业智能技术有限公司 一种云智能设备的安全系统
CN110147470A (zh) * 2019-05-22 2019-08-20 武汉市公安局 一种跨机房数据比对系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张卫江，周龙: "基于无线传感网络的西藏草原生态保护监测系统设计", 《高原农业》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654876A (zh) * 2020-07-13 2020-09-11 博繁软件(广州)有限公司 基于公共站点的信息采集边缘计算网关
CN112102594A (zh) * 2020-10-13 2020-12-18 江西理工大学 一种即时型岩爆的监测预警系统及方法
CN114485801A (zh) * 2022-02-10 2022-05-13 广东电网有限责任公司 一种配电自动化主站系统运行质量的评价系统

Also Published As

Publication number Publication date
CN110572383B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110572383B (zh) 一种大数据监测方法
US20200396119A1 (en) Intelligent network
CN103118003B (zh) 一种基于资产的风险扫描方法、装置及系统
JP2021513170A (ja) モバイルネットワークにおけるトラフィックデータから監視されないなりすまし検出
CN109768880A (zh) 一种面向电力监控系统的网络拓扑远方可视化监测方法
US20160119181A1 (en) Network state monitoring system
CN109714230A (zh) 一种流量监控方法、装置和计算设备
CN111654538B (zh) 基于区块链及大数据的通信处理方法及云边端计算服务器
CN114448830B (zh) 一种设备检测系统及方法
CN113452676B (zh) 一种检测器分配方法和物联网检测系统
CN108092847A (zh) 一种电力lte无线终端远程在线监控方法
WO2015014215A1 (en) Domain name resolution method, system and device
CN114785874B (zh) 基于多网络协议提供高可用传输通道的方法
CN109474540B (zh) 一种识别opc流量的方法及装置
CN104113510A (zh) 虚拟桌面系统及其消息数据的传输方法
US20140125817A1 (en) Connection problem determination method and connection problem determination apparatus for image input device
CN104348711B (zh) 消息接收装置及方法
US11190317B2 (en) Transmitting terminal, transmitting method, information processing terminal, and information processing method
CN113259954A (zh) 一种质差处理策略的确定方法、装置及电子设备
CN114500237B (zh) 一种通信方法和系统
CN116170445A (zh) 一种基于云计算的工业数据处理系统
US20230071309A1 (en) Privacy preserving vulnerability detection for devices
CN114584356A (zh) 网络安全监控方法及网络安全监控系统
CN103237304B (zh) 防监听方法、装置及系统
KR20220014796A (ko) 의도적 에러를 이용한 위변조 제어기 식별 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared