CN108390779A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN108390779A
CN108390779A CN201810140135.6A CN201810140135A CN108390779A CN 108390779 A CN108390779 A CN 108390779A CN 201810140135 A CN201810140135 A CN 201810140135A CN 108390779 A CN108390779 A CN 108390779A
Authority
CN
China
Prior art keywords
message queue
monitoring
data
monitoring data
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810140135.6A
Other languages
English (en)
Inventor
郑勇
任万明
赵绍祥
毛向明
王统敏
任兆蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Agricultural Information Center
Original Assignee
Shandong Agricultural Information Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Agricultural Information Center filed Critical Shandong Agricultural Information Center
Priority to CN201810140135.6A priority Critical patent/CN108390779A/zh
Publication of CN108390779A publication Critical patent/CN108390779A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种数据处理方法及装置，从消息队列中获取监控数据；根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。由于设置了多个监控节点，且设置的多个监控节点能够并行解析从消息队列中获取到的监控数据，因此提升了对监控数据的解析能力，减少了消息队列中监控数据的堆积，做到告警信息实时预警，保证了云上应用的稳定性和安全性。

Description

一种数据处理方法及装置
技术领域
本发明涉及云计算技术领域，更具体的说是涉及一种数据处理方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
农业行业的云计算管理平台架构，虚拟化资源池中的监控数据首先会推送到消息队列中，默认并没有限制每个队列每次处理消息的数量，这就会导致大量监控数据会同时占满消息队列等待消费者进行消费，数据监控组件作为消费者，默认只会启动单节点去消费消息队列中的监控数据，且数据监控组件是使用python语言编写的，python又只支持单线程的，从而导致在实际业务过程中，当业务量比较大时，数据监控组件无法及时消费消息队列中的大量监控数据，造成消息队列中大量未回应消息重新发回队列消费的情况，最终导致针对监控数据的处理存在严重的性能瓶颈，无法做到告警事件信息的及时预警，从而无法保证云上应用的稳定性和安全性。
发明内容
有鉴于此，本发明提供一种数据处理方法及装置，以解决现有技术中无法保证云上应用的稳定性和安全性的问题。
本发明提供了一种数据处理方法，包括：
从消息队列中获取监控数据；
根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。
优选地，所述从消息队列中获取监控数据包括：
从消息队列中获取预定数量的监控数据。
优选地，所述根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据之后，还包括：
根据解析结果，发出报警信息。
本发明还提供了一种数据处理装置，包括：
获取单元，用于从消息队列中获取监控数据；
解析单元，用于根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。
优选地，所述获取单元具体为：
从消息队列中获取预定数量的监控数据。
优选地，还包括：报警单元，用于根据解析结果，发出报警信息
应用本发明，具有如下有益效果：
本发明提供了一种数据处理方法及装置，从消息队列中获取监控数据；根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。由于设置了多个监控节点，且设置的多个监控节点能够并行解析从消息队列中获取到的监控数据，因此提升了对监控数据的解析能力，减少了消息队列中监控数据的堆积，做到告警信息实时预警，保证了云上应用的稳定性和安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种数据处理方法的流程示意图；
图2为本发明实施例中另一种数据处理方法的流程示意图；
图3为本发明实施例中一种数据处理装置的结构示意图。
具体实施方式
下面将参照本发明实施方式的方法的流程图和设备(或系统)的框图描述本发明的实施方式。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
根据本发明的实施方式，提出了一种基于全文搜索引擎的数据检索方法和装置。附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的实施方式，详细阐释本发明的原理和精神。
实施例一
参考图1，本发明实施例公开的一种数据处理方法包括以下步骤：
S101、从消息队列中获取监控数据；
虚拟化资源池中的监控数据会被推送到消息队列中，等待消费者进行消费。其中，监控节点即数据监控组件作为消费者，需要从消息队列中获取监控数据。
S102、根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。
通过修改数据监控组件源代码的方式，修改数据采集节点的数量，增加对监控数据解析处理的进程数，实现同时开启多个数据监控组件进程，并行解析消息队列中的监控数据。
在实际应用中，数据采集节点个数需要根据实际情况进行设置，因为每个数据监控组件的数据采集节点是非常耗CPU的，每个数据采集节点会占用一个CPU核心，所以在设置数据采集节点数量的时候，需要参考虚拟机的CPU核数，数据采集节点数量不要超过虚拟机的CPU配置。
由上可见，本发明实施例中从消息队列中获取监控数据；根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。由于设置了多个监控节点，且设置的多个监控节点能够并行解析从消息队列中获取到的监控数据，因此提升了对监控数据的解析能力，减少了消息队列中监控数据的堆积，做到告警信息实时预警，保证了云上应用的稳定性和安全性。
实施例二
本发明还提供了另一种数据处理方法，参见图2，所述数据处理方法包括：
S201、从消息队列中获取预定数量的监控数据；
通过限制从消息队列中获取的监控数据的数量，实现进一步限制消息队列中每个队列每次处理消息的数量，防止大量监控数据被拉入到消费者端即监控节点，然而消费者处理不了，结果导致大量未回应数据重新发回队列消费而反复回退刷盘的情况的产生。
S202、根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据；
本实施例中步骤S202的实现方式与实施例一中步骤S102的实现方式类似，此处不再赘述。
S203、根据解析结果，发出报警信息。
结合云平台所制定的监控指标，当解析结果表明超过监控指标设置的阈值后，发送报警信息进行及时预警，从而使云平台管理员及用户可以及时的对报警信息进行分析并制定相应对策，最终有效保障云上应用的稳定性和安全性。
由上可见，本发明实施例中从消息队列中获取监控数据；根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。由于设置了多个监控节点，且设置的多个监控节点能够并行解析从消息队列中获取到的监控数据，因此提升了对监控数据的解析能力，减少了消息队列中监控数据的堆积，做到告警信息实时预警，保证了云上应用的稳定性和安全性。
对应上述实施例一和实施例二公开的数据处理方法，本发明还提供了一种数据处理装置，参见图3，所述数据处理装置包括：
获取单元301、解析单元302和报警单元303；
获取单元301，用于从消息队列中获取监控数据；
可选地，获取单元301具体为从消息队列中获取预定数量的监控数据。
解析单元302，用于根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。
报警单元303，用于根据解析结果，发出报警信息。
由上可见，本发明实施例中从消息队列中获取监控数据；根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。由于设置了多个监控节点，且设置的多个监控节点能够并行解析从消息队列中获取到的监控数据，因此提升了对监控数据的解析能力，减少了消息队列中监控数据的堆积，做到告警信息实时预警，保证了云上应用的稳定性和安全性。
需要说明的是，本说明书中各个实施例可相互补充，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
另外，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种数据处理方法，其特征在于，包括：
从消息队列中获取监控数据；
根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述从消息队列中获取监控数据包括：
从消息队列中获取预定数量的监控数据。
3.根据权利要求1或2所述的数据处理方法，其特征在于，所述根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据之后，还包括：
根据解析结果，发出报警信息。
4.一种数据处理装置，其特征在于，包括：
获取单元，用于从消息队列中获取监控数据；
解析单元，用于根据预先设置的多个监控节点，分别解析从消息队列中获取到的监控数据。
5.根据权利要求4所述的数据处理装置，其特征在于，所述获取单元具体为：
从消息队列中获取预定数量的监控数据。
6.根据权利要求4或5所述的数据处理装置，其特征在于，还包括：报警单元，用于根据解析结果，发出报警信息。
CN201810140135.6A 2018-02-11 2018-02-11 一种数据处理方法及装置 Pending CN108390779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810140135.6A CN108390779A (zh) 2018-02-11 2018-02-11 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810140135.6A CN108390779A (zh) 2018-02-11 2018-02-11 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN108390779A true CN108390779A (zh) 2018-08-10

Family

ID=63068546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810140135.6A Pending CN108390779A (zh) 2018-02-11 2018-02-11 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN108390779A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105314A (zh) * 2018-10-29 2020-05-05 中国人民财产保险股份有限公司 一种保险数据清分系统
CN112003746A (zh) * 2020-08-20 2020-11-27 北京浪潮数据技术有限公司 一种基于分布式系统的告警管理方法、装置和介质
CN115086194A (zh) * 2022-05-20 2022-09-20 阿里巴巴（中国）有限公司 云应用的数据传输方法、计算设备及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491190A (zh) * 2013-09-30 2014-01-01 国家电网公司 一种面向大规模实时并发的充电机监控数据处理方法
CN103905533A (zh) * 2014-03-13 2014-07-02 广州杰赛科技股份有限公司 基于云存储的分布式告警监控方法和系统
US20160154678A1 (en) * 2014-11-28 2016-06-02 Canon Kabushiki Kaisha Reverting tightly coupled threads in an over-scheduled system
CN106209482A (zh) * 2016-09-13 2016-12-07 郑州云海信息技术有限公司 一种数据中心监控方法及系统
CN106792856A (zh) * 2016-12-27 2017-05-31 武汉虹信通信技术有限责任公司 一种基于设备级并行度的无线网元管理系统告警处理方法
CN107179942A (zh) * 2017-05-16 2017-09-19 中国电子科技集团公司第四十研究所 一种基于多线程的实时数据分析任务分发处理方法
CN107483288A (zh) * 2017-08-18 2017-12-15 郑州云海信息技术有限公司 一种监控服务智能调度方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491190A (zh) * 2013-09-30 2014-01-01 国家电网公司 一种面向大规模实时并发的充电机监控数据处理方法
CN103905533A (zh) * 2014-03-13 2014-07-02 广州杰赛科技股份有限公司 基于云存储的分布式告警监控方法和系统
US20160154678A1 (en) * 2014-11-28 2016-06-02 Canon Kabushiki Kaisha Reverting tightly coupled threads in an over-scheduled system
CN106209482A (zh) * 2016-09-13 2016-12-07 郑州云海信息技术有限公司 一种数据中心监控方法及系统
CN106792856A (zh) * 2016-12-27 2017-05-31 武汉虹信通信技术有限责任公司 一种基于设备级并行度的无线网元管理系统告警处理方法
CN107179942A (zh) * 2017-05-16 2017-09-19 中国电子科技集团公司第四十研究所 一种基于多线程的实时数据分析任务分发处理方法
CN107483288A (zh) * 2017-08-18 2017-12-15 郑州云海信息技术有限公司 一种监控服务智能调度方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105314A (zh) * 2018-10-29 2020-05-05 中国人民财产保险股份有限公司 一种保险数据清分系统
CN112003746A (zh) * 2020-08-20 2020-11-27 北京浪潮数据技术有限公司 一种基于分布式系统的告警管理方法、装置和介质
CN112003746B (zh) * 2020-08-20 2023-01-10 北京浪潮数据技术有限公司 一种基于分布式系统的告警管理方法、装置和介质
CN115086194A (zh) * 2022-05-20 2022-09-20 阿里巴巴（中国）有限公司 云应用的数据传输方法、计算设备及计算机存储介质
CN115086194B (zh) * 2022-05-20 2024-02-02 阿里巴巴（中国）有限公司 云应用的数据传输方法、计算设备及计算机存储介质

Similar Documents

Publication Publication Date Title
US8954971B2 (en) Data collecting method, data collecting apparatus and network management device
Bar-Noy et al. A unified approach to approximating resource allocation and scheduling
CN108566290B (zh) 服务配置管理方法、系统、存储介质和服务器
US8769346B2 (en) Method and apparatus for adaptive declarative monitoring
US11182140B2 (en) Active representation of a composite application
US10241835B2 (en) Scheduling storage and computing resources based on task types and service levels
CN108390779A (zh) 一种数据处理方法及装置
KR102199275B1 (ko) 분산 컴퓨팅 시스템에서의 적응적 리소스 관리
US9563849B2 (en) Behavioral rules discovery for intelligent computing environment administration
US11429448B2 (en) Background job processing framework
CN109726004B (zh) 一种数据处理方法及装置
US20110295841A1 (en) Virtual topological queries
JP2010134599A (ja) ストリームデータ処理制御方法、ストリームデータ処理装置及びストリームデータ処理制御プログラム
JP6470165B2 (ja) サーバ、システム及び探索方法
DE102012210425A1 (de) Verwendung einer dynamisch erzeugten inhaltsbezogenen Aktualitätsbewertung zum Bereitstellen von Empfehlungen zu aktuellen Inhalten
CN106557369A (zh) 一种多线程的管理方法及系统
US20170116526A1 (en) Automatic triggering of linear programming solvers using stream reasoning
CN107944004A (zh) Spark‑SQL调度的方法、系统、设备及存储介质
US20120078929A1 (en) Utilizing Metadata Generated During XML Creation to Enable Parallel XML Processing
US20120303640A1 (en) Self-Parsing XML Documents to Improve XML Processing
Berry et al. Maintaining connected components for infinite graph streams
US11169785B2 (en) Specification and execution of real-time streaming applications
US11294773B2 (en) Method, apparatus and computer program product for managing backup system
CN112751891B (zh) 一种基于kafka的消息处理方法、电子设备及存储介质
Verginadis et al. Data distribution and encryption modelling for PaaS-enabled cloud security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180810

RJ01 Rejection of invention patent application after publication