CN112788143A - 一种基于物联网的分布式数据采集汇总方法 - Google Patents

一种基于物联网的分布式数据采集汇总方法 Download PDF

Info

Publication number
CN112788143A
CN112788143A CN202110067063.9A CN202110067063A CN112788143A CN 112788143 A CN112788143 A CN 112788143A CN 202110067063 A CN202110067063 A CN 202110067063A CN 112788143 A CN112788143 A CN 112788143A
Authority
CN
China
Prior art keywords
data
database
data acquisition
acquisition
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110067063.9A
Other languages
English (en)
Inventor
王浩
蒋云钟
杨明祥
董宁彭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lantogis Ecological Technology Group Co Ltd
Original Assignee
Lantogis Ecological Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lantogis Ecological Technology Group Co Ltd filed Critical Lantogis Ecological Technology Group Co Ltd
Priority to CN202110067063.9A priority Critical patent/CN112788143A/zh
Publication of CN112788143A publication Critical patent/CN112788143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于物联网的分布式数据采集汇总方法，包括如下步骤：建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集。本发明在保证数据准确性的同时，能够减少数据采集的工作量，进一步提高数据的准确性及完整性，一次采集即可重复使用，降低了网络通信复杂度，提高了网络通信和数据存储效率。

Description

一种基于物联网的分布式数据采集汇总方法
技术领域
本发明涉及数据采集汇总技术领域，尤其涉及一种基于物联网的分布式数据采集汇总方法。
背景技术
随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。在第五代移动通信(5th Generation，5G)系统中，引入了网络数据分析功能(Network Data Analytics Function，NWDAF)。NWDAF能够从网络管理功能(OperationsAdministration and Maintenance，OAM)、应用功能(Application Function，AF)和5G网络功能(Network Function，NF)中采集网络数据，并对网络数据进行分析后反馈网络数据分析结果。然而，现有的数据采集汇总过程较为繁琐，网络数据管理复杂，不便于对数据进行过滤除杂。数据之间不互通，不共享。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于物联网的分布式数据采集汇总方法。
本发明提出的一种基于物联网的分布式数据采集汇总方法，包括如下步骤：
S1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；
S2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；
当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；
当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；
S3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；
S4用户通过客户端在汇总后的数据库中查询所需数据信息。
优选的，所述数据库连接有数据交换模块，所述数据交换模块包括基础数据库、交换工具和中间库，所述基础数据库是历史数据形成的历史数据库，所述交换工具用于将基础数据库中的存储数据按照标准进行清洗转换，并发送至中间库中，所述中间库将数据转换成满足要求是规范格式，并发送至汇总数据库中。
优选的，所述汇总数据库上设置有数据管理模块，所述数据管理模块用于对数据进行新增、删除、修改、查询、导入和导出操作。
优选的，所述数据采集设备上设置有数据审核模块，数据审核模块用于审核数据是否正确，且数据审核模块包括补录数据审核子单元和纠错数据审核子单元。
优选的，所述补录数据审核子模块中，补录数据来源网络传输数据，补录数据审核子模块审核补录数据，并录入审核结果，审核结果包括通过、不通过：若审核通过，数据则发送至数据库；若审核不通过，数据则发送至无效数据库。
优选的，所述纠错数据审核子模块中，纠错数据来源网络传输数据纠错；纠错数据审核子模块审核纠错数据，并录入审核结果，审核结果包括通过和不通过：若审核通过，则该纠错字段自动纠错并录入的正确数据覆盖原数据；若审核不通过，则该纠错字段仍采用原数据，不做变更。
优选的，所述数据采集设备的数据采集请求反馈信息为数据采集任务创建失败消息时，销毁数据采集任务。
优选的，所述步骤S3中数据分析模块对数据进行分类处理，并将分类处理后的数据分类发送至数据处理模块，数据处理模块剔除无用数据，并将有用数据转换成所需数据格式。
本发明中，所述一种基于物联网的分布式数据采集汇总方法，在保证数据准确性的同时，能够减少数据采集的工作量，进一步提高数据的准确性及完整性，一次采集即可重复使用，降低了网络通信复杂度，提高了网络通信和数据存储效率。
附图说明
图1为本发明提出的一种基于物联网的分布式数据采集汇总方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，一种基于物联网的分布式数据采集汇总方法，包括如下步骤：
S1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；
S2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；
当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；
当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；
S3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；
S4用户通过客户端在汇总后的数据库中查询所需数据信息。
本发明中，数据库连接有数据交换模块，数据交换模块包括基础数据库、交换工具和中间库，基础数据库是历史数据形成的历史数据库，交换工具用于将基础数据库中的存储数据按照标准进行清洗转换，并发送至中间库中，中间库将数据转换成满足要求是规范格式，并发送至汇总数据库中。
本发明中，汇总数据库上设置有数据管理模块，数据管理模块用于对数据进行新增、删除、修改、查询、导入和导出操作。
本发明中，数据采集设备上设置有数据审核模块，数据审核模块用于审核数据是否正确，且数据审核模块包括补录数据审核子单元和纠错数据审核子单元。
本发明中，补录数据审核子模块中，补录数据来源网络传输数据，补录数据审核子模块审核补录数据，并录入审核结果，审核结果包括通过、不通过：若审核通过，数据则发送至数据库；若审核不通过，数据则发送至无效数据库。
本发明中，纠错数据审核子模块中，纠错数据来源网络传输数据纠错；纠错数据审核子模块审核纠错数据，并录入审核结果，审核结果包括通过和不通过：若审核通过，则该纠错字段自动纠错并录入的正确数据覆盖原数据；若审核不通过，则该纠错字段仍采用原数据，不做变更。
本发明中，数据采集设备的数据采集请求反馈信息为数据采集任务创建失败消息时，销毁数据采集任务。
本发明中，步骤S3中数据分析模块对数据进行分类处理，并将分类处理后的数据分类发送至数据处理模块，数据处理模块剔除无用数据，并将有用数据转换成所需数据格式。
本发明：建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；用户通过客户端在汇总后的数据库中查询所需数据信息。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于物联网的分布式数据采集汇总方法，其特征在于，包括如下步骤：
S1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；
S2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；
当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；
当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；
S3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；
S4用户通过客户端在汇总后的数据库中查询所需数据信息。
2.根据权利要求1所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述数据库连接有数据交换模块，所述数据交换模块包括基础数据库、交换工具和中间库，所述基础数据库是历史数据形成的历史数据库，所述交换工具用于将基础数据库中的存储数据按照标准进行清洗转换，并发送至中间库中，所述中间库将数据转换成满足要求是规范格式，并发送至汇总数据库中。
3.根据权利要求1所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述汇总数据库上设置有数据管理模块，所述数据管理模块用于对数据进行新增、删除、修改、查询、导入和导出操作。
4.根据权利要求1所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述数据采集设备上设置有数据审核模块，数据审核模块用于审核数据是否正确，且数据审核模块包括补录数据审核子单元和纠错数据审核子单元。
5.根据权利要求4所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述补录数据审核子模块中，补录数据来源网络传输数据，补录数据审核子模块审核补录数据，并录入审核结果，审核结果包括通过、不通过：若审核通过，数据则发送至数据库；若审核不通过，数据则发送至无效数据库。
6.根据权利要求4所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述纠错数据审核子模块中，纠错数据来源网络传输数据纠错；纠错数据审核子模块审核纠错数据，并录入审核结果，审核结果包括通过和不通过：若审核通过，则该纠错字段自动纠错并录入的正确数据覆盖原数据；若审核不通过，则该纠错字段仍采用原数据，不做变更。
7.根据权利要求1所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述数据采集设备的数据采集请求反馈信息为数据采集任务创建失败消息时，销毁数据采集任务。
8.根据权利要求1所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述步骤S3中数据分析模块对数据进行分类处理，并将分类处理后的数据分类发送至数据处理模块，数据处理模块剔除无用数据，并将有用数据转换成所需数据格式。
CN202110067063.9A 2021-01-19 2021-01-19 一种基于物联网的分布式数据采集汇总方法 Pending CN112788143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110067063.9A CN112788143A (zh) 2021-01-19 2021-01-19 一种基于物联网的分布式数据采集汇总方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110067063.9A CN112788143A (zh) 2021-01-19 2021-01-19 一种基于物联网的分布式数据采集汇总方法

Publications (1)

Publication Number Publication Date
CN112788143A true CN112788143A (zh) 2021-05-11

Family

ID=75757529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110067063.9A Pending CN112788143A (zh) 2021-01-19 2021-01-19 一种基于物联网的分布式数据采集汇总方法

Country Status (1)

Country Link
CN (1) CN112788143A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009325A (zh) * 2023-08-30 2023-11-07 苏州智能交通信息科技股份有限公司 基于物联网平台的数据处理优化方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016019632A1 (zh) * 2014-08-05 2016-02-11 奥盈琦信信息技术（上海）有限公司 实现个人大数据收集、管理和授权的系统及方法
CN106452922A (zh) * 2016-11-30 2017-02-22 长春工业大学 一种应用于物联网的数据中心处理方法
CN110209723A (zh) * 2019-06-06 2019-09-06 广州商学院 一种基于物联网大数据的设备信息采集系统
CN111597174A (zh) * 2020-04-24 2020-08-28 重庆科技学院 一种分布式数据统计处理系统、方法、存储介质、终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016019632A1 (zh) * 2014-08-05 2016-02-11 奥盈琦信信息技术（上海）有限公司 实现个人大数据收集、管理和授权的系统及方法
CN106452922A (zh) * 2016-11-30 2017-02-22 长春工业大学 一种应用于物联网的数据中心处理方法
CN110209723A (zh) * 2019-06-06 2019-09-06 广州商学院 一种基于物联网大数据的设备信息采集系统
CN111597174A (zh) * 2020-04-24 2020-08-28 重庆科技学院 一种分布式数据统计处理系统、方法、存储介质、终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009325A (zh) * 2023-08-30 2023-11-07 苏州智能交通信息科技股份有限公司 基于物联网平台的数据处理优化方法及系统

Similar Documents

Publication Publication Date Title
US7657624B2 (en) Network usage management system and method
CN101853287B (zh) 数据压缩快速检索文件系统及其方法
US10691748B2 (en) Methods and apparatus to process call packets collected in a communications network
CN103546343B (zh) 网络流量分析系统的网络流量展示方法和系统
CN106790718A (zh) 服务调用链路分析方法及系统
CN105786998A (zh) 数据库中间件系统及利用其处理数据的方法
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN106873528B (zh) 一种数控机床维修可靠性数据采集系统及方法
CN113157994A (zh) 一种多源异构平台数据处理方法
CN112788143A (zh) 一种基于物联网的分布式数据采集汇总方法
CN112672086B (zh) 一种音视频设备数据采集、分析、预警系统
CN114301988A (zh) 分布式调用方法、装置、存储介质及电子设备
CN111143304B (zh) 一种基于请求链路的微服务系统异常日志分析方法
CN113067710A (zh) 在线用户查询方法、装置、计算机设备及存储介质
CN1504879A (zh) 实现跨平台和复杂统计计算报表的方法和系统
CN112650767B (zh) 一种数据过滤前置的数据交换方法及系统
CN114817256A (zh) 一种物联网快速统一存储系统
CN112800064A (zh) 一种基于Confluent社区开源版的实时大数据应用开发方法及系统
CN114636891A (zh) 一种安全高效的配网设备试验数据无线传输方法
CN114417796A (zh) 一种基于设备采点的动态报表统计方法及系统
US20130205015A1 (en) Method and Device for Analyzing Data Intercepted on an IP Network in order to Monitor the Activity of Users on a Website
CN115314572B (zh) 一种针对电力通信协议的协议转换方法、系统及设备
CN116896596A (zh) 一种支持多协议接入的物联网系统及接入方法
Li et al. An Efficient Configuration Management Framework of Data Collection System in Power Dispatching Automation
CN117667961A (zh) 一种流批一体化数据同步的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511