CN113886472A - 一种数据接入系统、接入方法、计算机设备和存储介质 - Google Patents

一种数据接入系统、接入方法、计算机设备和存储介质 Download PDF

Info

Publication number
CN113886472A
CN113886472A CN202110971748.6A CN202110971748A CN113886472A CN 113886472 A CN113886472 A CN 113886472A CN 202110971748 A CN202110971748 A CN 202110971748A CN 113886472 A CN113886472 A CN 113886472A
Authority
CN
China
Prior art keywords
data
module
monitoring
power
power terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110971748.6A
Other languages
English (en)
Inventor
魏飞
陈鑫
陈娟
张兆杰
翟术然
卢静雅
吕伟嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Marketing Service Center of State Grid Tianjin Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Marketing Service Center of State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Tianjin Electric Power Co Ltd, Marketing Service Center of State Grid Tianjin Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110971748.6A priority Critical patent/CN113886472A/zh
Publication of CN113886472A publication Critical patent/CN113886472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据接入系统、接入方法、计算机设备和存储介质，包括用电信息采集前置模块、一收双发模块和运维监控模块；其中：所述用电信息采集前置模块，用于将电力终端用电数据接入；该用电信息采集前置模块的输出端与一收双发模块相连接；所述一收双发模块用于将接收到的电力终端用电数据输出至oracle数据库和HBase数据库，所述一收双发模块的输出端与运维监控模块相连接；所述运维监控模块用于从oracle数据库和HBase数据库中采集电力终端用电数据，并对该电力终端用电数据的接入过程进行监控。本发明通过采集数据接入、一收双发及运维监控，有效解决海量数据高并发接入难、数据质量不高等问题。

Description

一种数据接入系统、接入方法、计算机设备和存储介质
技术领域
本发明属于数据接入技术领域，尤其是一种数据接入系统、接入方法、计算机设备和存储介质。
背景技术
用电信息采集系统作为智能电网重要的组成部分，国网公司自2009年以来，通过对采集系统的全面建设，有力的促进了智能量测技术的发展，有效提升电网智能化水平。
当前，新一轮的电力体制改革逐步推进，现有的用电信息采集系统的数据项、采集频度、数据完整性和及时性已不满足发展的需要，尤其是采集数据接入过程中，存在数据同时并行接入困难、新旧采集系统无法平稳过度、数据接入过程不稳定等问题。
发明内容
本发明的目的在于克服现有技术的不足，提出一种数据接入系统、接入方法、计算机设备和存储介质，能够有效解决数据同时并行接入难、数据质量不高等技术问题。
本发明解决其现实问题是采取以下技术方案实现的：
一种数据接入系统，包括用电信息采集前置模块、一收双发模块和运维监控模块；其中：
所述用电信息采集前置模块，用于将电力终端用电数据接入；该用电信息采集前置模块的输出端与一收双发模块相连接；
所述一收双发模块用于将接收到的电力终端用电数据分别输出至新、旧采集系统，再由新旧采集系统将电力终端用电数据分别输出至oracle数据库和HBase数据库，所述一收双发模块的输出端与运维监控模块相连接；
所述运维监控模块用于从oracle数据库和HBase数据库中采集电力终端用电数据，并对该电力终端用电数据的接入过程进行监控。
而且，所述用电信息采集前置模块包括EPOLL模块、Redis模块和分布式入库组件；其中：
所述EPOLL模块的输出端与Redis模块相连接，所述Redis模块的输出端与分布式入库组件相连接；所述EPOLL模块用于对电力终端用电数据进行同时并行采集；
所述Redis模块用于将所采集的电力终端用电数据进行分布式缓存；
所述分布式入库组件用于将分布式缓存的电力终端用电数据并行入库。
而且，所述分布式入库组件包括：数据清洗模块，用于对分布式缓存的电力终端用电数据中的错误数据进行过滤；数据分组模块，用于将清洗后的数据，根据数据特征对数据进行分组；并行入库模块，用于将分组后的数据进行多节点多进程的分布式并行入库。
而且，所述运维监控模块包括：接入数据监控模块、日志监控模块和缓存监控模块；所述接入数据监控模块用于将从oracle数据库和HBase数据库中采集电力终端用电数据发送至监控平台；所述日志监控模块，用于对电力终端用电数据接入操作系统日志进行监控；所述缓存监控模块用于对缓存数据进行监控。
一种数据接入方法，包括以下步骤：
获取电力终端用电数据；
将所述电力终端用电数据分别输出至新、旧采集系统，再由新旧采集系统将电力终端用电数据分别输出至oracle数据库和HBase数据库；
从oracle数据库和HBase数据库中采集电力终端用电数据，并对该电力终端用电数据的接入过程进行监控。
而且，所述获取电力终端用电数据的方法为：
对电力终端用电数据进行同时并行采集；
将采集的电力终端用电数据进行分布式缓存；
将分布式缓存的电力终端用电数据并行入库。
而且，所述对用电数据接入过程监控的方法为：
将从oracle数据库和HBase数据库中采集电力终端用电数据发送至监控平台进行监控，该监控平台用于存储、展示、告警，并设置采集监控的监控值；
对电力终端用电数据接入操作系统日志进行监控，使用syslog协议进行日志采集，并展示日志结构化信息。
而且，所述对用电数据接入过程监控的方法还包括以下步骤：
对key值数量、通信端口、Redis进程内存、终端连接数、操作命令执行次数的缓存数据进行监控。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求5至8中任一项所述的一种数据接入方法的步骤。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求5至8中任一项所述的一种数据接入方法的步骤。
本发明的优点和有益效果：
1、本发明针对采集数据接入过程中，存在的数据同时并行接入困难、新旧采集系统无法平稳过度、数据接入过程不稳定等问题，提出一种数据接入系统和方法，通过采集数据接入、一收双发及运维监控，有效解决海量数据高并发接入难、数据质量不高等问题。
2、本发明通过用电采集前置模块，有效解决海量数据高并发接入难的问题，高质量实现数据接入。
3、本发明通过一收双发模块，有效保障新、旧采集系统同时采集数据，为系统双轨运行提供技术条件，保障系统平稳过渡。
4、本发明通过数据接入运维监控模块，对接入过程进行有效监控，将被动分散的维护转变为主动集中的控制和管理，实现对接入数据的监控，有效提升数据质量。
附图说明
图1是本发明的系统构成及处理流程图。
具体实施方式
以下结合附图对本发明实施例作进一步详述：
一种数据接入系统，如图1所示，包括用电信息采集前置模块、一收双发模块和运维监控模块；其中：
所述用电信息采集前置模块，用于将电力终端用电数据接入；该用电信息采集前置模块的输出端与一收双发模块相连接；
所述一收双发模块用于将接收到的电力终端用电数据分别输出至新、旧采集系统，再由新旧采集系统将电力终端用电数据分别输出至oracle数据库和HBase数据库，所述一收双发模块的输出端与运维监控模块相连接；
所述运维监控模块用于从oracle数据库和HBase数据库中采集电力终端用电数据，并对该电力终端用电数据的接入过程进行监控。
所述用电信息采集前置模块包括EPOLL模块、Redis模块和分布式入库组件；其中：
所述EPOLL模块的输出端与Redis模块相连接，所述Redis模块的输出端与分布式入库组件相连接；所述EPOLL模块用于对电力终端用电数据进行同时并行采集；
所述Redis模块用于将所采集的电力终端用电数据进行分布式缓存；
所述分布式入库组件用于将分布式缓存的电力终端用电数据并行入库。
所述分布式入库组件包括：数据清洗模块，用于对分布式缓存的电力终端用电数据中的错误数据进行过滤；数据分组模块，用于将清洗后的数据，根据数据特征对数据进行分组；并行入库模块，用于将分组后的数据进行多节点多进程的分布式并行入库。
所述运维监控模块包括：接入数据监控模块、日志监控模块和缓存监控模块；所述接入数据监控模块用于将从oracle数据库和HBase数据库中采集电力终端用电数据发送至监控平台；所述日志监控模块，用于对电力终端用电数据接入操作系统日志进行监控；所述缓存监控模块用于对缓存数据进行监控。
一种数据接入方法，如图1所示，包括以下步骤：
获取电力终端用电数据；
所述获取电力终端用电数据的具体步骤包括：
(1)基于EPOLL模块实现对电力终端用电数据高并发采集；
面对海量的用电信息采集终端数据，通过基于LINUX/UNIX的EPOLL模块进行终端数据接入，EPOLL模块是Linux/UNIX内核为处理大批量文件描述符而作了改进的poll，内核和用户空间通过mmap共享一块内存来实现，省去不必要的内存拷贝，它能显著提高程序在大量并发连接的情况下的系统CPU利用率，实现单台服务器可接入终端10万以上连接。
(2)基于Redis模块的电力终端用电数据进行分布式缓存；
针对接入的用电基础数据和状态数据等两大类数据，采用Redis分布式缓存，一是将用电基础数据从生产库中加载Redis作为任务采集和报文解析处理；二是用电状态数据通过前置采集模块报文解析后的首先放入Redis分布式缓存中，然后从缓存写入生产库和分布式计算库。通过Redis分布式缓存，能够高性能读取数据、动态扩展节点、自动发现和切换故障节点，有效解决扩展性问题，减少应用服务器内存开销，减轻关系数据库的读写压力。
(3)基于分布式的数据入库组件完成电力终端用电数据并行入库；
通过分布式入库组件，完成入库集群服务实现数据并行入库，并在其中一个节点出现故障后能够通过其他节点完成入库。
①电力终端用电数据数据清洗组件
基于缓存数据，通过该模块可对错误数据(数据长度溢出、数据缺失等)进行过滤，对重复或不完整数据进行合并。
②电力终端用电数据数据分组模块
用采数据清洗后，通过数据分组模块，可根据数据特征对数据进行分组，相同特征的数据保证只有一个会话进行批量入库操作避免死锁。在进行批量入库之前，充分利用Oracle数据库以及Hbase分布式存储平台的批量操作进一步提高入库性能。批量操作的单位大小，以实际性能测试为准，可以通过配置文件进行动态修改和配置。
③基于分布式入库组件完成电力终端用电数据并行入库
多节点多进程的分布式并发入库提高入库效率。结合Kafka的分topic、分partition策略，将入库进程进行水平扩展，以入库数据的类型以及访问数据库表为标准进行分类，避免锁表或其它竞争隐患，充分提升入库效率。
将所述电力终端用电数据分别输出至新、旧采集系统，再由新旧采集系统将电力终端用电数据分别输出至oracle数据库和HBase数据库；
将所述电力终端用电数据分别输出至新、旧采集系统，使新、旧采集系统能够同时实现数据采集功能；
基于一收双发模块对接入数据进行数据分发，该模块可把电力终端用电数据、告警信息发送给新、旧用电信息采集系统，从而保障新、旧采集系统能够同时实现数据采集功能，为系统双轨运行提供技术条件，保障系统平稳过渡。
按照新、旧采集系统Oracle热数据库、HBase全量数据的数据存储规划，改造采集前置入库程序，按照入库策略分别将新、旧采集系统中的原始数据写入oracle数据库和HBase数据库。借助高性能分布式消息队列进行数据分发。一发：将用电信息采集前置入库程序提交的原始数据按照数据入库策略配置写入到oracle数据库；二发：将用电信息采集前置入库程序提交的全部原始数据写入到HBase数据库。
所述运维监控模块用于从oracle数据库和HBase数据库中采集电力终端用电数据，并对该电力终端用电数据的接入过程进行监控。
将电力终端用电数据接入运维监控模块，将被动分散的维护转变为主动集中的控制和管理，实现对接入数据的监控，有效提升数据质量。
(1)接入数据监控
根据相关规则将电力终端用电数据发送至监控平台，用于存储、展示、告警。并设置采集监控的监控值(1表示运行正常；0表示运行异常。)
(2)日志监控
对电力终端用电数据接入相关操作系统日志进行监控，使用syslog协议进行日志采集，并展示日志结构化信息，支持日志类型为：message日志、cron日志和secure日志。
(3)缓存监控
对key值数量、通信端口、Redis进程内存、终端连接数、主要操作命令执行次数等缓存数据进行监控。
本发明的工作原理为：
本发明基于新一代用电信息采集系统进行海量用电数据接入包括采集前置入库，重要特征在于基于用电采集前置模块实现实现大规模电力终端快速接入，使用基于linux平台epoll模块的Netty框架，结合Java多线程
(充分提升CPU使用性能)以及堆外内存管理技术(减少JVM的内存回收频度以节约不必要的CPU耗费)同时，将前置拆分为通信前置和采集前置两个独立的jar包，可以保证数据采集的高效处理。
1)一发双收
采集系统原始数据接入采用一收双发的方式进行，按照采集系统Oracle热数据库、HBase全量数据的数据存储规划，改造采集前置入库程序，按照入库策略分别将电力终端用电数据写入oracle数据库和HBase数据库。
借助高性能分布式消息队列进行数据分发。一收：将采集平台提交的原始数据按照数据入库策略配置写入到oracle数据库；二收：将采集平台提交的全部原始数据写入到Hbase分布式存储平台。
2)参数及档案缓存
在数据双收的过程中增加采集档案缓存，利用采集档案中数据载体对象的唯一主键与采集原始数据中的数据载体主键进行关联匹配，实现采集原始数据的业务化处理。
3)缓存数据读写
缓存中的采集档案通过档案业务需求，开发专门进行缓存档案读写程序，定时从oracle数据库(采集档案源头)进行采集档案的读取，然后再写入缓存中，用于采集原始数据的业务化处理。
4)会话缓存
采用内存数据库作为会话缓存工具，用来处理上下行任务数据得接收、业务化处理以及持久化处理。
5)采集档案同步
延用营销业务应用系统通过现有的接口方式将档案同步到Oracle数据库的采集档案初始化落地机制。为支撑大数据平台的离线计算、实时计算应用，增加从Oracle数据库中定时进行采集档案的增量同步，档案同步采用抽取方式。
档案同步抽取机制需要充分结合HBase中的实际业务应用场景需求，避免档案同步与业务存在冲突。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种数据接入系统，其特征在于：包括用电信息采集前置模块、一收双发模块和运维监控模块；其中：
所述用电信息采集前置模块，用于将电力终端用电数据接入；该用电信息采集前置模块的输出端与一收双发模块相连接；
所述一收双发模块用于将接收到的电力终端用电数据分别输出至新、旧采集系统，再由新、旧采集系统将电力终端用电数据分别输出至oracle数据库和HBase数据库，所述一收双发模块的输出端与运维监控模块相连接；
所述运维监控模块用于从oracle数据库和HBase数据库中采集电力终端用电数据，并对该电力终端用电数据的接入过程进行监控。
2.根据权利要求1所述的一种数据接入系统，其特征在于：所述用电信息采集前置模块包括EPOLL模块、Redis模块和分布式入库组件；其中：
所述EPOLL模块的输出端与Redis模块相连接，所述Redis模块的输出端与分布式入库组件相连接；所述EPOLL模块用于对电力终端用电数据进行同时并行采集；
所述Redis模块用于将所采集的电力终端用电数据进行分布式缓存；
所述分布式入库组件用于将分布式缓存的电力终端用电数据并行入库。
3.根据权利要求1所述的一种数据接入系统，其特征在于：所述分布式入库组件包括：数据清洗模块，用于对分布式缓存的电力终端用电数据中的错误数据进行过滤；数据分组模块，用于将清洗后的数据，根据数据特征对数据进行分组；并行入库模块，用于将分组后的数据进行多节点多进程的分布式并行入库。
4.根据权利要求1所述的一种数据接入系统，其特征在于：所述运维监控模块包括：接入数据监控模块、日志监控模块和缓存监控模块；所述接入数据监控模块用于将从oracle数据库和HBase数据库中采集电力终端用电数据发送至监控平台；所述日志监控模块，用于对电力终端用电数据接入操作系统日志进行监控；所述缓存监控模块用于对缓存数据进行监控。
5.一种数据接入方法，其特征在于：包括以下步骤：
获取电力终端用电数据；
将所述电力终端用电数据分别输出至新、旧采集系统，再由新旧采集系统将电力终端用电数据分别输出至oracle数据库和HBase数据库；
从oracle数据库和HBase数据库中采集电力终端用电数据，并对该电力终端用电数据的接入过程进行监控。
6.根据权利要求1所述的一种数据接入方法，其特征在于：所述获取电力终端用电数据的方法为：
对电力终端用电数据进行同时并行采集；
将采集的电力终端用电数据进行分布式缓存；
将分布式缓存的电力终端用电数据并行入库。
7.根据权利要求1所述的一种数据接入方法，其特征在于：所述对用电数据接入过程监控的方法为：
将从oracle数据库和HBase数据库中采集电力终端用电数据发送至监控平台进行监控，该监控平台用于存储、展示、告警，并设置采集监控的监控值；
对电力终端用电数据接入操作系统日志进行监控，使用syslog协议进行日志采集，并展示日志结构化信息。
8.根据权利要求1所述的一种数据接入方法，其特征在于：所述对用电数据接入过程监控的方法还包括以下步骤：
对key值数量、通信端口、Redis进程内存、终端连接数、操作命令执行次数的缓存数据进行监控。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求5至8中任一项所述的一种数据接入方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求5至8中任一项所述的一种数据接入方法的步骤。
CN202110971748.6A 2021-08-24 2021-08-24 一种数据接入系统、接入方法、计算机设备和存储介质 Pending CN113886472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110971748.6A CN113886472A (zh) 2021-08-24 2021-08-24 一种数据接入系统、接入方法、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110971748.6A CN113886472A (zh) 2021-08-24 2021-08-24 一种数据接入系统、接入方法、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113886472A true CN113886472A (zh) 2022-01-04

Family

ID=79011229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110971748.6A Pending CN113886472A (zh) 2021-08-24 2021-08-24 一种数据接入系统、接入方法、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113886472A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484195A (zh) * 2022-08-31 2022-12-16 朗新科技集团股份有限公司 用于电力信息采集的收发一体系统、用电管理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484195A (zh) * 2022-08-31 2022-12-16 朗新科技集团股份有限公司 用于电力信息采集的收发一体系统、用电管理系统

Similar Documents

Publication Publication Date Title
CN108681569B (zh) 一种数据自动分析系统及其方法
CN111077870A (zh) 一种基于流计算的opc数据实时采集监控智能系统及方法
CN107193266A (zh) 一种大数据的平台监控系统
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN103117878A (zh) 一种基于Nagios的分布式监控系统的设计方法
CN112084016B (zh) 一种基于flink的流计算性能优化系统及方法
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN107506381A (zh) 一种大数据分布式调度分析方法、系统装置及存储介质
CN110515938B (zh) 基于kafka消息总线的数据汇聚存储方法、设备和存储介质
CN113886472A (zh) 一种数据接入系统、接入方法、计算机设备和存储介质
Wang et al. A Data-Aware Remote Procedure Call Method for Big Data Systems.
CN108415355A (zh) 一种大数据的高效识别系统
CN113923540A (zh) 一种基于NB-lot网络的物联网表采集的分层集群处理方法
CN116644136A (zh) 一种增量和全量数据的数据采集方法、装置、设备及介质
CN115840656A (zh) 一种基于故障自愈的应用程序自动化运维方法和系统
CN113177084A (zh) 一种基于物联网的数据库储存方法
CN109508354A (zh) 一种并行处理系统
CN112434010A (zh) 一种用电信息采集系统主站数据库的交互方法
KR20220028875A (ko) 소규모 분산자원 중개거래 플랫폼 분산처리 기법
CN112308731A (zh) 一种采集系统多任务并发处理的云计算方法及系统
Fang et al. Research on Data Processing Architecture of NQI Service Platform in Intelligent Measurement Domain
CN105631053B (zh) 用于数据库的数据集成分发方法和数据集成分发装置
Jiang et al. The Software Architecture Design for the Test and Evaluation Platform of Distributed Photovoltaic Comprehensive Energy Efficiency
CN104391901B (zh) 一种存储单元网络大数据基础构架平台及其文件存取方法
CN111143280B (zh) 一种数据调度方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination