CN108270860A - 环境质量在线监测数据的采集系统及方法 - Google Patents

环境质量在线监测数据的采集系统及方法 Download PDF

Info

Publication number
CN108270860A
CN108270860A CN201810040457.3A CN201810040457A CN108270860A CN 108270860 A CN108270860 A CN 108270860A CN 201810040457 A CN201810040457 A CN 201810040457A CN 108270860 A CN108270860 A CN 108270860A
Authority
CN
China
Prior art keywords
data
environmental quality
center
monitoring
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810040457.3A
Other languages
English (en)
Inventor
戈燕红
舒少君
谭红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universtar Science and Technology Shenzhen Co Ltd
Original Assignee
Universtar Science and Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universtar Science and Technology Shenzhen Co Ltd filed Critical Universtar Science and Technology Shenzhen Co Ltd
Priority to CN201810040457.3A priority Critical patent/CN108270860A/zh
Publication of CN108270860A publication Critical patent/CN108270860A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种环境质量在线监测数据的采集系统及方法，所述采集系统包括数据采集客户端，数据接收服务端，数据计算中心和数据存储中心。本发明的技术方案使用Netty集群和Kafka消息队列集群作为数据接收服务端，使其具有高可用性，能够支撑上万站点的数据并发请求，同时保证数据的完整性，延缓客户端请求对数据计算中心的压力；使用Redis缓存设备信息、站点信息、数据规则等数据，以及使用Flink集群作为计算引擎，使其能够近实时的对数据进行解析校验；使用Hbase集群作为数据库，使其能够满足海量数据存储。本发明的技术方案大幅提升数据接收能力以及数据计算能力。

Description

环境质量在线监测数据的采集系统及方法
技术领域
本发明涉及环保大数据应用领域，特别是涉及一种针对环境质量在线监测数据采集系统和方法。
背景技术
随着生态环境问题的日渐突出，推进数据资源全面整合共享、提升数据获取能力、创新数据采集方式、提高对多种环境要素及各种污染源全面感知和实时监控能力成为必要趋势。然而，目前对环境质量监测站实时监测的数据采集还停留在比较传统的阶段，比如现有的采集系统直接使用socket服务端接收监测站客户端数据，当数据发送请求并发量比较大时，容易引起阻塞；使用普通java算法对监测数据进行解析和校验，使用普通关系型数据库对监测数据进行存储，当数据量比较大时，采集系统无法满足计算需求和存储需求。当采集系统某个功能出现异常时，容易引起整个系统功能异常而不能接收数据，导致在系统恢复前环境质量监测站发送来的数据全部丢失。随着环保业务不断地发展，环境质量监测站点不断增多，传统的采集系统无法处理日益增大的数据量。综上所述，现有的数据采集系统已不能满足对环境质量数据采集的实际需求，迫切需要一个更专业的能够支撑大数据业务需求的数据采集系统。
发明内容
本发明的目的提供一种处理环境质量监测站大量频繁发送数据的数据采集系统和方法，能够接收大量数据并发请求，并及时得到计算结果，以供环保应用系统使用。为了实现上述目的，本发明提供如下技术方案：一种环境质量在线监测数据的采集系统，包括数据采集客户端，数据接收服务端，数据计算中心和数据存储中心；所述数据采集客户端，用于实时或定时采集环境质量监测数据，并将数据发送到所述数据接收服务端；所述数据接收服务端，用于接收所述数据采集客户端发来的数据，并将所述数据发送到数据计算中心；所述数据计算中心，用于接受数据接收服务端的数据，进行计算，将计算后的结果数据以及不经处理的原始数据发送至数据存储中心；所述数据存储中心，用于存储所述数据计算中心计算结果和原始数据；所述数据接收服务端包括Netty数据接收集群和Kafka消息队列集群；所述Netty数据接收集群，用于接收环境质量数据采集客户端发送来的原始数据；所述Kafka消息队列集群，用于建立Netty数据接收集群与数据计算中心的数据通信。
优选地，上述采集系统还包括环境自动化监测站，布设于目标区域，用于实时检测目标区域环境质量生成环境质量监测数据；所述环境自动化监测站包括前置服务器，所述数据采集客户端部署于环境自动化监测站前置服务器，实时或定时采集环境自动化监测站的监测数据。
优选地，所述数据计算中心包括Redis数据存储集群和Flink计算集群；所述Redis数据存储集群，用于缓存数据校验规则、环境质量监测站站点信息以及监测因子信息；所述Flink计算集群，用于对所述Kafka消息队列集群中的数据结合Redis缓存数据进行实时计算。
优选地，所述数据存储中心包括构建在HDFS上的分布式存储系统Hbase，用于对来自于数据计算中心的数据进行存储。
一种环境质量在线监测数据的采集方法，应用上述环境质量在线监测数据的采集系统完成，步骤包括：
S1，数据采集客户端实时采集环境自动化监测站的监测数据，将监测数据发送至数据接收服务端；
S2,数据接收服务端接受数据采集客户端发送的监测数据，并将所述数据发送至数据计算中心；
S3,数据计算中心对来自数据接收服务端的数据进行计算，并将计算后的结果和原始数据发送至数据存储中心；
S4，数据存储中心存储数据计算中心发送的计算结果和原始数据。
优选地，所述步骤S1具体包括：数据采集客户端将采集的环境质量监测数据发送至数据接收服务端的Netty数据接收集群。
优选地，所述步骤S2具体包括：Netty数据接收集群接收环境质量监测站客户端发送来的原始数据，再将数据发送至Kafka消息队列集群；Kafka消息队列集群将来自Netty数据接收集群的数据进行缓存或者落盘存储。
优选地，所述步骤S3具体包括：将环境质量监测站站点信息、监测因子信息以及数据校验规则信息存入Redis数据存储集群；利用Flink计算集群对所述Kafka消息队列集群中的数据结合Redis数据存储集群中的环境质量监测站站点信息、监测因子信息进行解析计算，再结合Redis中数据规则信息依次对所述Kafka消息队列集群中的数据进行规则校验计算；将计算结果和原始数据发送至数据存储中心。
优选地，所述步骤S4具体包括：通过Hbase存储系统对来自于数据计算中心的数据进行存储。
本发明的技术方案提供了新的环境质量在线监测大数据的采集系统及方法，使用Netty集群和Kafka集群作为数据接收服务端，使其具有高可用性，能够支撑上万站点的数据并发请求，同时保证数据的完整性，延缓客户端请求对数据计算中心的压力；使用Redis缓存设备信息、站点信息、数据规则等数据，以及使用Fl ink集群作为计算引擎，使其能够近实时的对数据进行解析校验；使用Hbase集群作为数据库，使其能够满足海量数据存储。本发明的技术方案大幅提升数据接收能力以及数据计算能力。
附图说明
图1，本发明具体实施例中，环境质量在线监测大数据采集系统的结构示意图；
图2，本发明具体实施例中，环境质量在线监测大数据采集方法的流程图；
图3，本发明具体实施例中，环境质量在线监测大数据采集系统的架构示意图。
具体实施方式
为使技术人员更好地理解本发明，下面参照附图对本发明的实施例进行清楚、详细的说明，但不作为对本发明的限定。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在具体实施例中，环境质量在线监测数据的采集系统包括数据采集客户端、数据接收服务端、数据计算中心和数据存储中心。数据采集客户端部署于环境自动化监测站前置服务器，实时或定时采集环境自动化监测站设备的监测数据，在具体实施例中数据采集客户端使用Netty客户端向所述数据接收服务端发送环境质量监测站监测数据。在具体实施例中，数据接收服务端实时接收所述数据采集客户端发来的监测数据，并将数据发送至所述数据计算中心。为了应对大量频发的监测数据，本发明方案数据接收服务端使用Netty数据接收集群，接收来自所述数据采集客户端发送来的原始数据，并将原始数据发送到Kafka消息队列集群；Kafka消息队列集群，实现Netty数据接收集群与数据计算中心进行数据通信。Netty数据接收集群具有支持高并发的接收和数据推送能力，所述Kafka消息队列集群具有高可用性和高吞吐率而且还具备数据存储能力，两者结合能够保障在所述数据中心功能出现异常时正常接收数据，保障数据的完整性。在具体实施例，数据计算中心将来自所述数据接收服务端的数据进行解析和校验计算，并将计算结果和原始数据发送至所述数据存储中心。数据计算中心包括Redis数据存储集群和Flink计算集群；利用Redis缓存数据校验规则、环境质量监测站站点信息以及监测因子信息；利用Flink流式计算引擎，对所述Kafka消息队列集群中的数据结合Redis缓存数据进行实时计算。数据存储中心，存储数据计算中心发来的数据，以供环保业务系统使用。数据存储中心，利用Hbase对所述数据计算中心发送来的数据进行存储，以供环保应用系统使用。Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
如图2所示，在具体实施例中，本发明环境质量在线监测数据采集方法基于前述环境质量在线监测数据采集系统，具体包括如下步骤：
S1，数据采集客户端实时采集环境自动化监测站的监测数据，将监测数据发送至数据接收服务端；具体地，数据采集客户端部署于环境自动化监测站前置服务器，实时或定时采集环境自动化监测站的监测数据。环境自动化监测站，布设于目标区域，用于实时检测目标区域环境质量生成环境质量监测数据；环境质量数据包括目标区域的大气、水、土壤、生态、核与辐射等多种环境要素及各种污染源。数据采集客户端将采集的环境质量监测数据发送至数据接收服务端的Netty数据接收集群。
S2,数据接收服务端接受数据采集客户端发送的监测数据，并将所述数据发送至数据计算中心；数据接收服务端包括Netty数据接收集群和Kafka消息队列集群，在具体实施例中，Netty数据接收集群，接收来自所述数据采集客户端发送来的原始数据，并将原始数据发送到Kafka消息队列集群。Netty集群和Kafka集群作为数据接收服务端，能够支撑上万站点的数据并发请求，同时保证数据的完整性，实现流量削峰延缓客户端请求对数据计算中心的请求压力。
S3,数据计算中心对来自数据接收服务端的数据进行计算，并将计算后的结果和原始数据发送至数据存储中心。具体的计算过程为：将环境质量监测站站点信息、监测因子信息以及数据校验规则信息存入Redis数据存储集群；协议解析，读取Redis数据存储集群中的环境质量监测站站点信息、监测因子信息根据指定的协议算法进行协议解析，解析结果内容包括环境质量监测站站点名称、监测因子名称、监测值、数据发送时间等；数据规则校验，正确解析后，读取Redis数据存储集群中数据规则依次按照相应的规则算法对解析后的数据进行校验。其中协议指环境质量监测数据的传输标准，协议算法是根据不同的协议按照国家标准抽象出来的计算模型；数据规则是按照业务需求定义的数据检查规则，如连续5次重复值、空值、异常超标值等。本发明的采集方法，使用Redis缓存设备信息、站点信息、数据规则等数据，以及使用Flink集群作为计算引擎，使其能够近实时的对数据进行解析校验。
S4，数据存储中心利用一个构建在HDFS上的分布式存储系统Hbase对来自于数据计算中心的数据进行存储。使用Hbase集群作为数据库，使其能够满足海量数据存储。
在具体实施例中，如图3环境质量在线监测数据采集系统的架构示意图所示，环境质量在线监测数据采集系统架构分为五部分。第一部分为数据采集客户端，其中，所述数据采集客户端发送数据可以使用普通Socket、TCP、HTTP等方式，该部分部署在环境质量监测站前置服务器。第二部分为数据接收服务端，该部分主要包括Netty数据接收集群和Kafka消息队列集群，具体的，所述数据采集客户端将数据发送至Netty集群，Netty集群再将数据发送至Kafka集群。第三部分为数据计算中心，事先将环境质量监测站站点信息、监测因子信息以及数据校验规则信息存入Redis，利用Flink集群计算引擎对所述Kafka消息队列集群中的数据结合Redis站点信息、监测因子信息进行解析计算，再结合Redis中数据规则信息依次对所述Kafka消息队列集群中的数据进行规则校验计算，然后将计算结果和原始数据发送至数据存储中心。第四部分为数据存储中心，所述数据计算中心利用构建在HDFS上的分布式列存储系统Hbase实现。数据存储中心中存储的计算结果与原始数据可以提供给第五部分中的环保应用系统使用，如数据展示、预测分析等。本发明的技术方案中，Netty集群能够支持上万甚至百万的并发连接请求，Kafka集群能够对数据进行临时存储与发送，所以其能够满足环境质量在线监测大量站点频繁、密集发送数据的需求。本发明利用Hbase适用于海量数据存储，具有高可靠性、高性能、列存储、可伸缩的特点，以及利用Flink高效的计算优势，实现了一种针对环境质量在线监测大数据采集系统。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明及附图内容所作的技术延伸或再创造均包括在本发明的专利保护范围内。

Claims (9)

1.一种环境质量在线监测数据的采集系统，其特征在于，包括数据采集客户端，数据接收服务端，数据计算中心和数据存储中心；
所述数据采集客户端，用于实时或定时采集环境质量监测数据，并将数据发送到所述数据接收服务端；所述数据接收服务端，用于接收所述数据采集客户端发来的数据，并将所述数据发送到数据计算中心；所述数据计算中心，用于接受数据接收服务端的数据，进行计算，将计算后的结果数据以及不经处理的原始数据发送至数据存储中心；所述数据存储中心，用于存储所述数据计算中心计算结果和原始数据；
所述数据接收服务端包括Netty数据接收集群和Kafka消息队列集群；所述Netty数据接收集群，用于接收环境质量数据采集客户端发送来的原始数据；所述Kafka消息队列集群，用于建立Netty数据接收集群与数据计算中心之间的数据通信。
2.根据权利要求1所述环境质量在线监测数据的采集系统，其特征在于，还包括环境自动化监测站，布设于目标区域，用于实时检测目标区域环境质量生成环境质量监测数据；所述环境自动化监测站包括前置服务器，所述数据采集客户端部署于环境自动化监测站前置服务器，实时或定时采集环境自动化监测站的监测数据。
3.根据权利要求1所述环境质量在线监测数据的采集系统，其特征在于，所述数据计算中心包括Redis数据存储集群和Flink计算集群；
所述Redis数据存储集群，用于缓存数据校验规则、环境质量监测站站点信息以及监测因子信息；所述Flink计算集群，用于对所述Kafka消息队列集群中的数据结合Redis缓存数据进行实时计算。
4.根据权利要求1所述环境质量在线监测数据的采集系统，其特征在于，所述数据存储中心包括构建在HDFS上的分布式存储系统Hbase，用于对来自于数据计算中心的数据进行存储。
5.一种环境质量在线监测数据的采集方法，其特征在于，应用权利要求1-4任一所述的环境质量在线监测数据的采集系统完成，步骤包括：
S1，数据采集客户端实时采集环境自动化监测站的监测数据，将监测数据发送至数据接收服务端；
S2,数据接收服务端接受数据采集客户端发送的监测数据，并将所述数据发送至数据计算中心；
S3,数据计算中心对来自数据接收服务端的数据进行计算，并将计算后的结果和原始数据发送至数据存储中心；
S4，数据存储中心存储数据计算中心发送的计算结果和原始数据。
6.根据权利要求5所述的环境质量在线监测数据的采集方法，其特征在于，所述步骤S1具体包括：数据采集客户端将采集的环境质量监测数据发送至数据接收服务端的Netty数据接收集群。
7.根据权利要求5所述的环境质量在线监测数据的采集方法，其特征在于，所述步骤S2具体包括：Netty数据接收集群接收环境质量监测站客户端发送来的原始数据，再将数据发送至Kafka消息队列集群；Kafka消息队列集群将来自Netty数据接收集群的数据进行缓存或者落盘存储。
8.根据权利要求5所述的环境质量在线监测数据的采集方法，其特征在于，所述步骤S3具体包括：将环境质量监测站站点信息、监测因子信息以及数据校验规则信息存入Redis数据存储集群；利用Flink计算集群对所述Kafka消息队列集群中的数据结合Redis数据存储集群中的环境质量监测站站点信息、监测因子信息进行解析计算，再结合Redis中数据规则信息依次对所述Kafka消息队列集群中的数据进行规则校验计算；将计算结果和原始数据发送至数据存储中心。
9.根据权利要求5所述的环境质量在线监测数据的采集方法，其特征在于，所述步骤S4具体包括：通过Hbase存储系统对来自于数据计算中心的数据进行存储。
CN201810040457.3A 2018-01-16 2018-01-16 环境质量在线监测数据的采集系统及方法 Pending CN108270860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810040457.3A CN108270860A (zh) 2018-01-16 2018-01-16 环境质量在线监测数据的采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810040457.3A CN108270860A (zh) 2018-01-16 2018-01-16 环境质量在线监测数据的采集系统及方法

Publications (1)

Publication Number Publication Date
CN108270860A true CN108270860A (zh) 2018-07-10

Family

ID=62775715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810040457.3A Pending CN108270860A (zh) 2018-01-16 2018-01-16 环境质量在线监测数据的采集系统及方法

Country Status (1)

Country Link
CN (1) CN108270860A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257421A (zh) * 2018-08-30 2019-01-22 天津布尔科技有限公司 一种可以实现高并发且能够自由扩展的数据收发系统
CN109253758A (zh) * 2018-09-29 2019-01-22 上海嘉翊信息科技有限公司 全程实时电子秤式的油罐车智能监督管理系统
CN109656781A (zh) * 2018-12-20 2019-04-19 北京量子保科技有限公司 一种日志管理方法、系统、介质和电子设备
CN109710731A (zh) * 2018-11-19 2019-05-03 北京计算机技术及应用研究所 一种基于Flink的数据流多向处理系统
CN109857739A (zh) * 2019-01-28 2019-06-07 中国石油大学(华东) 一种基于RK(Redis and Kafka)的实时高效缓存机制
CN110809029A (zh) * 2019-10-17 2020-02-18 国电南瑞科技股份有限公司 一种基于内存队列的多种运维指标数据接收的管理方法
CN111241101A (zh) * 2020-01-09 2020-06-05 深圳市东深电子股份有限公司 一种分布式水利rtu数据采集系统及方法
CN112491965A (zh) * 2020-11-03 2021-03-12 南方电网数字电网研究院有限公司 一种基于Kafka及Netty框架的监控数据传输方法
CN113691601A (zh) * 2021-08-16 2021-11-23 深圳网联光仪科技有限公司 一种外接设备与服务终端之间的交互方法及相关设备
CN113886503A (zh) * 2021-08-24 2022-01-04 国网天津市电力公司营销服务中心 一种电力采集数据分布式存储方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160335287A1 (en) * 2015-05-14 2016-11-17 Alibaba Group Holding Limited Stream computing system and method
CN106657394A (zh) * 2017-02-10 2017-05-10 山东浪潮商用系统有限公司 一种基于物联网大数据的设备信息采集系统及方法
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160335287A1 (en) * 2015-05-14 2016-11-17 Alibaba Group Holding Limited Stream computing system and method
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN106657394A (zh) * 2017-02-10 2017-05-10 山东浪潮商用系统有限公司 一种基于物联网大数据的设备信息采集系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257421A (zh) * 2018-08-30 2019-01-22 天津布尔科技有限公司 一种可以实现高并发且能够自由扩展的数据收发系统
CN109253758A (zh) * 2018-09-29 2019-01-22 上海嘉翊信息科技有限公司 全程实时电子秤式的油罐车智能监督管理系统
CN109710731A (zh) * 2018-11-19 2019-05-03 北京计算机技术及应用研究所 一种基于Flink的数据流多向处理系统
CN109656781A (zh) * 2018-12-20 2019-04-19 北京量子保科技有限公司 一种日志管理方法、系统、介质和电子设备
CN109857739A (zh) * 2019-01-28 2019-06-07 中国石油大学(华东) 一种基于RK(Redis and Kafka)的实时高效缓存机制
CN110809029A (zh) * 2019-10-17 2020-02-18 国电南瑞科技股份有限公司 一种基于内存队列的多种运维指标数据接收的管理方法
CN111241101A (zh) * 2020-01-09 2020-06-05 深圳市东深电子股份有限公司 一种分布式水利rtu数据采集系统及方法
CN112491965A (zh) * 2020-11-03 2021-03-12 南方电网数字电网研究院有限公司 一种基于Kafka及Netty框架的监控数据传输方法
CN113691601A (zh) * 2021-08-16 2021-11-23 深圳网联光仪科技有限公司 一种外接设备与服务终端之间的交互方法及相关设备
CN113886503A (zh) * 2021-08-24 2022-01-04 国网天津市电力公司营销服务中心 一种电力采集数据分布式存储方法及系统

Similar Documents

Publication Publication Date Title
CN108270860A (zh) 环境质量在线监测数据的采集系统及方法
CN104424229B (zh) 一种多维度拆分的计算方法及系统
US20220294821A1 (en) Risk control method, computer device, and readable storage medium
CN106815254B (zh) 一种数据处理方法和装置
CN106791889B (zh) 一种视频处理方法及系统、分布式对象存储系统
CN102792299A (zh) 特定于用户的馈送推荐
CN103414608B (zh) 快速的web流量采集统计系统和方法
CN101360098A (zh) 用户行为属性确定方法、装置、系统及广告投放方法与系统
US11188443B2 (en) Method, apparatus and system for processing log data
CN106657426A (zh) 域名解析请求的处理方法、装置及服务器
CN108733821A (zh) 一种监控视频截图的分发与展示方法及系统
CN103546771B (zh) 一种基于智能终端的电视节目评论处理方法及系统
CN111459986A (zh) 数据计算系统及方法
CN111212301B (zh) 一种视频码率的匹配方法、存储介质及终端设备
CN101515945B (zh) 一种p2p资源文件的在线应用方法和系统
CN107491549A (zh) 一种数据处理方法及系统
CN109063158A (zh) 一种网站访问排名信息查询的方法、设备、系统及介质
CN111859127A (zh) 消费数据的订阅方法、装置及存储介质
CN114745364A (zh) 基于mqtt协议的车联网数据分发系统及方法
CN109213742A (zh) 日志采集方法及装置
CN102685155B (zh) 内容传送的方法、内容传送服务器及内容传送代理服务器
CN110909072B (zh) 一种数据表建立方法、装置及设备
CN102521360B (zh) 栅格数据传输方法及系统
CN109617960A (zh) 一种基于属性化分离的web AR数据呈现方法
Guo et al. Design and implementation of real-time management system architecture based on GraphQL

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180710

RJ01 Rejection of invention patent application after publication