CN112491965A - 一种基于Kafka及Netty框架的监控数据传输方法 - Google Patents

一种基于Kafka及Netty框架的监控数据传输方法 Download PDF

Info

Publication number
CN112491965A
CN112491965A CN202011212362.9A CN202011212362A CN112491965A CN 112491965 A CN112491965 A CN 112491965A CN 202011212362 A CN202011212362 A CN 202011212362A CN 112491965 A CN112491965 A CN 112491965A
Authority
CN
China
Prior art keywords
data
netty
client
kafka
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011212362.9A
Other languages
English (en)
Inventor
张华兵
陈华军
曹小明
黄海英
林志达
叶思斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Co Ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
China Southern Power Grid Co Ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Co Ltd, Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical China Southern Power Grid Co Ltd
Priority to CN202011212362.9A priority Critical patent/CN112491965A/zh
Publication of CN112491965A publication Critical patent/CN112491965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Kafka及Netty框架的监控数据传输方法，具体实施步骤如下：S1:用户通过云服务器调用Netty客户端连接服务端，Netty服务端通过获取使用每个Netty客户端独立的授权ID以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库获取数据并通过Netty服务端传入Kafka消息队列中，Netty服务端对客户端数据库进行检测，Kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；S2：用户得到授权进入客户端数据库，选择所需的数据进行传输，Netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储。本发明准确统计数据传输状态和过程信息，便与数据的查阅和审核，备份缓存数据调用前会与云存储数据进行对比审核，并通过人工进行审核，提高数据传输的准确性。

Description

一种基于Kafka及Netty框架的监控数据传输方法
技术领域
本发明涉及数据监控传输技术领域，尤其涉及一种基于Kafka及Netty框架的监控数据传输方法。
背景技术
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
随着物联网的发展，云数据存储以体量小、高并发等特点得到广泛应用，但是现有技术中存在一些缺陷：一、缺少对传输数据进行实时监控，难以准确统计数据传输状态和过程信息，二、缺少对备份缓存数据的校验，影响数据传输的准确性的问题，为此我们提出一种基于Kafka及Netty框架的监控数据传输方法。
发明内容
为了解决现有技术中难以准确统计数据传输状态和过程信息，并且缺少对备份缓存数据的校验，影响数据传输的准确性的问题，本发明提出一种基于Kafka及Netty框架的监控数据传输方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于Kafka及Netty框架的监控数据传输方法，具体实施步骤如下：
S1:用户通过云服务器调用Netty客户端连接服务端，Netty服务端通过获取使用每个Netty客户端独立的授权ID以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库并通过Nett服务端传入Kafka消息队列中，Netty服务端对客户端数据库进行检测，Kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
S2：用户得到授权进入客户端数据库，选择所需的数据进行传输，Netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储；
S3：所需的数据进行传输出现异常，Netty服务端对备份缓存数据进行审核，直接调用备份缓存数据重新传输，Netty服务端对数据传输状态进行监控，以web页面图形化方式显示；
S4：数据传输完成，对传输结果进行分析，Netty服务端对分析结果进行记录，以web页面图形化方式显示；
S5：web页面图形文件生成日志文件反馈给Kafka客户端。
优选的，在步骤S1中，Netty客户端对应的客户端数据库有唯一授权ID，云端服务器根据各个授权ID对相应的客户端的访问进行授权。
优选的，在步骤S1中，Netty服务端对数据库进行检测，对于初始授权ID进行新建客户端数据库。
优选的，在步骤S3中，Netty服务端对备份缓存数据进行初步审核，删除不在缓存期内的数据，Netty服务端再对备份缓存数据进行二次审核，将原始数据本地缓存与云端数据进行对比，未通过二次审核的数据经由通讯模块发送至专业人员，经由人工审核，Netty服务端对审核结果进行监控，以web页面图形化方式显示，审核完成，通过审核的数据进行传输。
优选的，通讯模块包括2/3/4G模块、wifi模块或蓝牙模块。
优选的，Netty服务端将本地日志数据和备份缓存数据反馈给客户端时，若数据量太大，基于Kafka可以充分利用磁盘顺序读写的高性能，完成数据的高并发写入。
与现有技术相比，本发明的有益效果是：
本发明中，Kafka客户端对应有唯一授权ID，提高了数据的存储安全性，并且在数据的传输和用户操作通过Netty服务端监控并以web页面图形化方式显示，并将web页面图形文件生成日志缓存数据储存，准确统计数据传输状态和过程信息，便与数据的查阅和审核，并且对备份缓存数据调用前会与云存储进行对比审核，并通过人工进行审核，提高数据传输的准确性。
附图说明
图1为本发明提出的一种基于Kafka及Netty框架的监控数据传输方法的数据传输框图；
图2为本发明提出的一种基于Kafka及Netty框架的监控数据传输方法的本备份缓存数据审核框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一：
参照图1，一种基于Kafka及Netty框架的监控数据传输方法，具体实施步骤如下：
S1:用户通过云服务器调用Netty客户端连接服务端，Netty服务端通过获取使用每个Netty客户端独立的授权ID以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库并通过Nett服务端传入Kafka消息队列中，Netty服务端对客户端数据库进行检测，Kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
S2：用户得到授权进入客户端数据库，选择所需的数据进行传输，Netty服务端(Netty框架)将选择的数据作为备份缓存数据在客户端数据库内存储；
S3：所需的数据进行传输出现异常，Netty服务端备份缓存数据进行审核，直接调用备份缓存数据重新传输，Netty服务端对数据传输状态进行监控，以web页面图形化方式显示；
S4：数据传输完成，对传输结果进行分析，Netty服务端对分析结果进行记录，以web页面图形化方式显示；
S5：web页面图形文件生成日志文件反馈给Netty客户端。
实施例二：
参照图1，一种基于Kafka及Netty框架的监控数据传输方法，具体实施步骤如下：
S1用户通过云服务器调用Netty客户端连接服务端，Netty服务端通过获取使用每个Netty客户端独立的授权ID以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库并通过Nett服务端传入Kafka消息队列中，Netty服务端对客户端数据库进行检测，Kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
S2：用户得到授权进入客户端数据库，选择所需的数据进行传输，Netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储；
S3：所需的数据进行传输出现异常，Netty服务端对备份缓存数据进行审核，直接调用备份缓存数据重新传输，Netty服务端对数据传输状态进行监控，以web页面图形化方式显示；
S4：数据传输完成，对传输结果进行分析，Netty服务端对分析结果进行记录，以web页面图形化方式显示；
S5：web页面图形文件生成日志文件反馈给Kafka客户端。
实施例三：
参照图1和图2，一种基于Kafka及Netty框架的监控数据传输方法，具体实施步骤如下：
S1:用户通过云服务器调用Netty客户端连接服务端，Netty服务端通过获取使用每个Netty客户端独立的授权ID以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库并通过Nett服务端传入Kafka消息队列中，Netty服务端对客户端数据库进行检测，Kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
S2：用户得到授权进入客户端数据库，选择所需的数据进行传输，Netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储；
S3：所需的数据进行传输出现异常，Netty扩展服务对备份缓存数据进行审核，Netty服务端对备份缓存数据进行初步审核，删除不在缓存期内的数据Netty服务端再对备份缓存数据进行二次审核，将原始数据本地缓存与云端数据进行对比，未通过二次审核的数据经由通讯模块发送至专业人员，通讯模块包括2/3/4G模块、wifi模块或蓝牙模块，经由人工审核，Netty服务端对审核结果进行监控，以web页面图形化方式显示，审核完成，通过审核的数据进行传输，直接调用备份缓存数据重新传输，Netty服务端对数据传输状态进行监控，以web页面图形化方式显示；
S4：数据传输完成，对传输结果进行分析，Netty服务端对分析结果进行记录，以web页面图形化方式显示；
S5：web页面图形文件生成日志文件存储在客户端服务器中，Netty服务端将本地日志数据和备份缓存数据反馈给客户端时，若数据量太大，基于Kafka可以充分利用磁盘顺序读写的高性能，完成数据的高并发写入。
本发明中，Netty客户端对应有唯一授权ID，提高了数据的存储安全性，并且在数据的传输和用户操作通过Netty服务端监控并以web页面图形化方式显示，并将web页面图形文件生成日志缓存数据储存，准确统计数据传输状态和过程信息，便与数据的查阅和审核，并且对备份缓存数据调用前会与云存储进行对比审核，并通过人工进行审核，提高数据传输的准确性。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于Kafka及Netty框架的监控数据传输方法，具体实施步骤如下：
S1:用户通过云服务器调用Netty客户端连接服务端，Netty服务端通过获取使用每个Netty客户端独立的授权ID以及客户端访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库获取数据并通过Netty服务端传入Kafka消息队列中，Netty服务端对客户端数据库进行检测，Kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
S2：用户得到授权进入客户端数据库，选择所需的数据进行传输，Netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储；
S3：所需的数据进行传输出现异常，Netty服务端对备份缓存数据进行审核，直接调用备份缓存数据重新传输到Kafka消息队列中，Kafka扩展服务对数据传输状态进行监控，以web页面图形化方式显示；
S4：数据传输完成，对传输结果进行分析，Kafka扩展服务对分析结果进行记录，以web页面图形化方式显示；
S5：web页面图形文件生成日志文件反馈给Netty客户端。
2.根据权利要求1所述的一种基于Kafka及Netty框架的监控数据传输方法，其特征在于，在步骤S1中，Netty客户端对应的客户端数据库有唯一授权ID，云端服务器根据各个授权ID对相应的客户端的访问进行授权。
3.根据权利要求1所述的一种基于Kafka及Netty框架的监控数据传输方法，其特征在于，在步骤S1中，Netty服务端对数据库进行检测，对于初始授权ID进行新建客户端数据库。
4.根据权利要求1所述的一种基于Kafka及Netty框架的监控数据传输方法，其特征在于，在步骤S3中，Netty服务端对备份缓存数据进行初步审核，删除不在缓存期内的数据，Netty服务端再对备份缓存数据进行二次审核，将原始数据本地缓存与云端数据进行对比，未通过二次审核的数据经由通讯模块发送至专业人员，经由人工审核，Kafka扩展服务对审核结果进行监控，以web页面图形化方式显示，审核完成，通过审核的数据进行传输。
5.根据权利要求4所述的一种基于Kafka及Netty框架的监控数据传输方法，其特征在于，通讯模块包括2/3/4G模块、wifi模块或蓝牙模块。
6.根据权利要求1或4所述的一种基于Kafka及Netty框架的监控数据传输方法，其特征在于，Netty服务端将本地日志数据和备份缓存数据反馈给客户端时，若数据量太大，基于Kafka可以充分利用磁盘顺序读写的高性能，完成数据的高并发写入。
CN202011212362.9A 2020-11-03 2020-11-03 一种基于Kafka及Netty框架的监控数据传输方法 Pending CN112491965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011212362.9A CN112491965A (zh) 2020-11-03 2020-11-03 一种基于Kafka及Netty框架的监控数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011212362.9A CN112491965A (zh) 2020-11-03 2020-11-03 一种基于Kafka及Netty框架的监控数据传输方法

Publications (1)

Publication Number Publication Date
CN112491965A true CN112491965A (zh) 2021-03-12

Family

ID=74928051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011212362.9A Pending CN112491965A (zh) 2020-11-03 2020-11-03 一种基于Kafka及Netty框架的监控数据传输方法

Country Status (1)

Country Link
CN (1) CN112491965A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505173A (zh) * 2021-07-08 2021-10-15 上海卓钢链科技有限公司 一种数据采集同步系统与同步方法
CN113691601A (zh) * 2021-08-16 2021-11-23 深圳网联光仪科技有限公司 一种外接设备与服务终端之间的交互方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160219089A1 (en) * 2015-01-23 2016-07-28 Ebay Inc. Systems and methods for messaging and processing high volume data over networks
CN105897772A (zh) * 2016-06-23 2016-08-24 深圳市清时捷科技有限公司 一种基于云计算的数据传输方法及其传输装置
CN108270860A (zh) * 2018-01-16 2018-07-10 宇星科技发展(深圳)有限公司 环境质量在线监测数据的采集系统及方法
CN109542733A (zh) * 2018-12-05 2019-03-29 焦点科技股份有限公司 一种高可靠的实时日志收集及可视化检索方法
CN109600395A (zh) * 2019-01-23 2019-04-09 山东超越数控电子股份有限公司 一种终端网络接入控制系统的装置及实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160219089A1 (en) * 2015-01-23 2016-07-28 Ebay Inc. Systems and methods for messaging and processing high volume data over networks
CN105897772A (zh) * 2016-06-23 2016-08-24 深圳市清时捷科技有限公司 一种基于云计算的数据传输方法及其传输装置
CN108270860A (zh) * 2018-01-16 2018-07-10 宇星科技发展(深圳)有限公司 环境质量在线监测数据的采集系统及方法
CN109542733A (zh) * 2018-12-05 2019-03-29 焦点科技股份有限公司 一种高可靠的实时日志收集及可视化检索方法
CN109600395A (zh) * 2019-01-23 2019-04-09 山东超越数控电子股份有限公司 一种终端网络接入控制系统的装置及实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
甄凯成等: "基于Netty和Kafka的物联网数据接入系统", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505173A (zh) * 2021-07-08 2021-10-15 上海卓钢链科技有限公司 一种数据采集同步系统与同步方法
CN113505173B (zh) * 2021-07-08 2024-03-19 上海卓钢链科技有限公司 一种数据采集同步系统与同步方法
CN113691601A (zh) * 2021-08-16 2021-11-23 深圳网联光仪科技有限公司 一种外接设备与服务终端之间的交互方法及相关设备

Similar Documents

Publication Publication Date Title
CN107341098B (zh) 软件性能测试方法、平台、设备及存储介质
WO2020088326A1 (zh) 接口运维的方法及装置
US10698745B2 (en) Adapter extension for inbound messages from robotic automation platforms to unified automation platform
CN112491965A (zh) 一种基于Kafka及Netty框架的监控数据传输方法
CN106095677A (zh) 基于Robot Framework实现的RESTful Webservice接口自动化测试方法
US20060190488A1 (en) System and method for determining information related to user interactions with an application
CN111522728A (zh) 自动化测试用例的生成方法、电子设备及可读存储介质
CN106294075A (zh) 一种对sql进行监控的方法、装置及系统
CN109615102A (zh) 一种实验室仪器资源共享管理方法及系统
CN112488652A (zh) 工单审核方法、系统、终端和存储介质
US20170154086A1 (en) Real-Time Change Data from Disparate Sources
WO2022052546A1 (zh) 舆情数据处理系统及方法、计算机存储介质、电子设备
CN106940643A (zh) 警民通app系统
CN113127356A (zh) 压测方法、装置、电子设备及存储介质
CN110399089B (zh) 数据存储方法、装置、设备和介质
CN112416902A (zh) 一种主机与数据库一键巡检方法
CN111311200B (zh) 大客咨询工单平台的管理方法及装置
CN103164324A (zh) 微博测试方法和装置
CN109101403A (zh) 一种对移动端产生sql进行实时监控的方法及系统
WO2022267865A1 (zh) 工作流创建方法、系统、电子设备和计算机可读存储介质
CN108509491B (zh) 一种企业尽职调查数据处理系统及方法
CN111221802A (zh) 一种基于大数据的数字资产风险管控系统及其方法
CN108416023B (zh) 一种模拟用户操作回写系统数据的方法
Li et al. Performance test and bottle analysis based on scientific research management platform
CN113886205A (zh) 数据库性能瓶颈定位分析方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230825

AD01 Patent right deemed abandoned