CN114035977A - 基于消息队列的电缆业务数据处理方法及装置 - Google Patents

基于消息队列的电缆业务数据处理方法及装置 Download PDF

Info

Publication number
CN114035977A
CN114035977A CN202111222577.3A CN202111222577A CN114035977A CN 114035977 A CN114035977 A CN 114035977A CN 202111222577 A CN202111222577 A CN 202111222577A CN 114035977 A CN114035977 A CN 114035977A
Authority
CN
China
Prior art keywords
processing
service data
node
cable
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111222577.3A
Other languages
English (en)
Inventor
陈喜东
黄应敏
王骞能
胡超强
邹科敏
邵源鹏
许翠珊
杨航
冯泽华
梁志豪
高伟光
严伟聪
徐兆良
游仿群
徐加健
徐秋燕
陆松记
李晋芳
牟文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Panyu Cable Group Co Ltd
Original Assignee
Guangzhou Panyu Cable Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Panyu Cable Group Co Ltd filed Critical Guangzhou Panyu Cable Group Co Ltd
Priority to CN202111222577.3A priority Critical patent/CN114035977A/zh
Publication of CN114035977A publication Critical patent/CN114035977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5021Priority
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请实施例公开了一种基于消息队列的电缆业务数据处理方法及装置。本申请实施例提供的技术方案,通过管理节点预先构建智能电缆各类型业务数据的处理规则,将处理规则分发至各个处理节点,并分别预先定义各个处理节点处理各类型业务数据的处理优先级信息,处理优先级信息标识了一个处理节点处理不同类型业务数据的先后顺序;管理节点接收智能电缆各个电缆节点上报的业务数据,将对应的业务数据放入消息队列;各个处理节点按照自身的处理优先级和对应的处理规则处理领取到的业务数据。采用上述技术手段,能够缓解系统后台的海量业务数据处理压力,提升业务数据处理效率,解决智能电缆的海量业务数据处理效率低下的技术问题。

Description

基于消息队列的电缆业务数据处理方法及装置
技术领域
本申请实施例涉及智能电缆技术领域,尤其涉及一种基于消息队列的电缆业务数据处理方法及装置。
背景技术
随着我国通讯业的飞速发展,电缆作为电能或信号输送的基础,其需求量也与日俱增。目前,为了较好的对电缆运行状态进行实时监控,实现对电缆更好的运行维护效果,电缆的运维设置也越来越趋向于智能化。智能电缆通过相关运行状态的检测设置,可以实现对电缆的电压、电流、局部电流等参数进行实时监测,甚至可以监测电缆故障,日常运行状态等,以此可较好地实现对电缆的运行管理,优化电缆的运维效果。除了运行监测数据之外,智能电缆在运行过程中,还会产生诸如服务请求、配置管理等多种类型的业务数据。服务器通过收集智能电缆各类型业务数据,可以实现智能电缆运行过程中的不同业务处理,实现更加智能化的电缆运行和管理。
但是,由于智能电缆线路众多,且覆盖范围相对较广,智能电缆在运行过程中会产生大量的业务数据。数据量庞大的业务数据会统一汇聚到系统后台服务器进行处理,会导致系统后台服务器较大的数据处理压力,影响业务数据的处理效率,进而影响智能电缆的正常运行。
发明内容
本申请实施例提供一种基于消息队列的电缆业务数据处理方法及装置,能够缓解系统后台的海量业务数据处理压力,提升业务数据处理效率,解决智能电缆的海量业务数据处理效率低下的技术问题。
在第一方面,本申请实施例提供了一种基于消息队列的电缆业务数据处理方法,包括:
管理节点预先构建智能电缆各类型业务数据的处理规则,将所述处理规则分发至各个处理节点,并分别预先定义各个所述处理节点处理各类型业务数据的处理优先级信息,所述处理优先级信息标识了一个所述处理节点处理不同类型业务数据的先后顺序;
管理节点接收智能电缆各个电缆节点上报的业务数据,所述业务数据包含对应的数据类型信息和数据发送时间戳;
所述管理节点按照所述数据发送时间戳将对应的业务数据放入消息队列;
各个所述处理节点按照自身的所述处理优先级信息依序从所述消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的所述处理规则处理领取到的业务数据。
进一步地,所述根据数据类型信息使用对应的所述处理规则处理领取到的业务数据,包括:
在业务数据处理过程中,实时根据处理异常的业务数据生成异常信息并上报至所述管理节点。
进一步地,在所述实时根据处理异常的业务数据生成异常信息并上报至所述管理节点之后,还包括:
所述管理节点基于所述异常信息更新对应的所述处理节点的所述处理规则,并将新的所述处理规则发送至对应的所述处理节点进行更新。
进一步地,在所述实时根据处理异常的业务数据生成异常信息并上报至所述管理节点之后,还包括:
所述处理节点统计设定时间段内的所述异常信息,基于统计结果确定异常电缆节点,并上报所述异常电缆节点至所述管理节点。
进一步地,在所述根据数据类型信息使用对应的所述处理规则处理领取到的业务数据之后,还包括:
所述处理节点依据设定的上报时序,周期性上报业务数据处理结果至所述管理节点存储,各个所述处理节点的所述上报时序不同。
进一步地,在所述根据数据类型信息使用对应的所述处理规则处理领取到的业务数据之后,还包括:
所述管理节点统计设定时间段内各类型业务数据的处理量,根据所述处理量调整各个所述处理节点对应的所述处理规则或处理优先级信息。
进一步地,在所述根据数据类型信息使用对应的所述处理规则处理领取到的业务数据之后,还包括:
在新增所述处理节点时,所述管理节点根据系统新增业务或者设定时间段内各类型业务数据的处理量,为新增的所述处理节点分配对应的处理规则。
在第二方面,本申请实施例提供了一种基于消息队列的电缆业务数据处理装置,包括:
构建模块,用于通过管理节点预先构建智能电缆各类型业务数据的处理规则,将所述处理规则分发至各个处理节点,并分别预先定义各个所述处理节点处理各类型业务数据的处理优先级信息,所述处理优先级信息标识了一个所述处理节点处理不同类型业务数据的先后顺序;
接收模块,用于通过管理节点接收智能电缆各个电缆节点上报的业务数据,所述业务数据包含对应的数据类型信息和数据发送时间戳;
队列模块,用于通过所述管理节点按照所述数据发送时间戳将对应的业务数据放入消息队列;
处理模块,用于通过各个所述处理节点按照自身的所述处理优先级信息依序从所述消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的所述处理规则处理领取到的业务数据。
在第三方面,本申请实施例提供了一种电子设备,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的基于消息队列的电缆业务数据处理方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于消息队列的电缆业务数据处理方法。
本申请实施例通过管理节点预先构建智能电缆各类型业务数据的处理规则,将处理规则分发至各个处理节点,并分别预先定义各个处理节点处理各类型业务数据的处理优先级信息,处理优先级信息标识了一个处理节点处理不同类型业务数据的先后顺序;管理节点接收智能电缆各个电缆节点上报的业务数据,业务数据包含对应的数据类型信息和数据发送时间戳;管理节点按照数据发送时间戳将对应的业务数据放入消息队列;各个处理节点按照自身的处理优先级信息依序从消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的处理规则处理领取到的业务数据。采用上述技术手段,能够缓解系统后台的海量业务数据处理压力,提升业务数据处理效率,解决智能电缆的海量业务数据处理效率低下的技术问题。
附图说明
图1是本申请实施例一提供的一种基于消息队列的电缆业务数据处理方法的流程图;
图2是本申请实施例一中的业务数据处理系统的结构示意图;
图3是本申请实施例二提供的一种基于消息队列的电缆业务数据处理装置的结构示意图;
图4是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一:
图1给出了本申请实施例一提供的一种基于消息队列的电缆业务数据处理方法的流程图,本实施例中提供的基于消息队列的电缆业务数据处理方法可以由基于消息队列的电缆业务数据处理设备执行,该基于消息队列的电缆业务数据处理设备可以通过软件和/或硬件的方式实现,该基于消息队列的电缆业务数据处理设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。一般而言,该基于消息队列的电缆业务数据处理设备可以是智能电缆的业务数据处理系统等处理设备。
下述以业务数据处理系统为执行基于消息队列的电缆业务数据处理方法的主体为例,进行描述。参照图1,该基于消息队列的电缆业务数据处理方法具体包括:
S110、管理节点预先构建智能电缆各类型业务数据的处理规则,将所述处理规则分发至各个处理节点,并分别预先定义各个所述处理节点处理各类型业务数据的处理优先级信息,所述处理优先级信息标识了一个所述处理节点处理不同类型业务数据的先后顺序。
具体的,本申请在进行业务数据处理时,通过管理节点统一接收智能电缆各个电缆节点上传的业务数据,基于接收到的业务数据,本申请实施例采用多个处理节点分别负责相应若干个业务类型的业务数据处理工作,以此来缓解系统的业务数据处理压力,实现海量业务数据的高效处理,提升智能电缆海量业务数据的处理效率。可以理解的是,智能电缆为了实现各类型业务服务,会在电缆沿线设置多个电缆节点,通过电缆节点执行运行监测、服务请求、配置管理等多种类型的业务工作。电缆节点会通过与管理节点交互执行这些业务工作,因此,需要管理节点对电缆节点上报的业务数据进行高效处理,以确保智能电缆的正常运行。
在此之前,管理节点预先根据业务数据的所有类型设置相应的处理规则。其中,处理规则用于进行相应类型业务数据的处理。举例而言,对应电流、电压等智能电缆运行监测数据,需要将这部分数据对应数据发送端的电缆节点ID进行存储,并基于监测数据进行数据分析生成对应电缆节点的监测曲线图。此外,根据实际需要,还可以基于当前电缆节点的监测数据进行大数据分析,预测该电缆节点未来的运行状态。则对于电缆节点的运行监测数据,需要设置运行监测数据存储、分析和预测的处理规则,以实现对这类型业务数据的处理。又例如,对于配置信息更新请求,需要根据配置信息更新请求返回最新版本配置信息至电缆节点。则对应这类型业务数据的处理,需要预先设置相应配置信息更新规则。基于此,管理节点预先对应不同类型的业务数据设置了相应的处理规则,将各类型业务数据的处理规则与处理节点绑定,构建映射关系。处理规则需要包含其所对应处理的业务数据的业务类型标识,以便于后续根据业务类型标识进行映射关系查询。基于已构建的映射关系,即可根据映射关系分配对应的处理规则至各个处理节点。根据实际业务处理需要,一个处理节点可以分配多个业务数据的处理规则,乃至所有类型业务数据的处理规则。而为了使各个处理节点明确自身主要处理的业务数据类型,需要分别预先定义各个处理节点处理各类型业务数据的处理优先级信息,通过处理优先级信息即可明确各个处理节点处理不同类型业务数据的先后顺序。
举例而言,对应A、B、C三种类型的业务数据,第一处理节点的处理优先级信息是“A-B-C”,表示其处理上述三种类型业务数据时,按照“A-B-C”的处理时序,优先从消息队列中领取“A”类型业务数据进行处理,只有在消息队列中“A”类型业务数据处理完后,才进一步进行“B”类型业务数据的处理,以此类推进行业务数据的处理。同样的,若第二处理节点的处理优先级信息是“B-A-C”,则优先从消息队列中领取“B”类型业务数据进行处理,只有在消息队列中“B”类型业务数据处理完后,才进一步进行“A”类型业务数据的处理,以此类推进行业务数据的处理。通过对应不同处理节点定义其处理不同业务数据的处理优先级信息,可以使不同类型的业务数据分配至相应的处理节点负责处理,保障各类型业务数据的高效处理。同时,处理节点在完成高优先级业务数据的处理后,还可以进行下一优先级的业务数据处理,以此可以充分利用处理节点的计算资源,进一步优化业务数据的处理效率。
需要说明的是,在进行处理规则配置时,对应一个处理节点,可以分发多个处理规则,可以根据处理节点的计算能力以及各类型业务数据的数据量进行适应性分配。可以理解的是,若一个处理节点的计算能力可以满足多种业务数据的处理,则可以分发多种处理规则至该处理节点,以便于充分利用该处理节点的算力,节省处理节点的布置成本,避免算力资源的浪费。同样的,对于一种类型的业务数据,若其数据量相对较大,单一处理节点难以满足该类型业务数据庞大数据量的处理,则需要将对应的处理规则分配至多个处理节点,后续在进行该类型业务数据分发时,由配置相应处理规则的各个处理节点按照自身当前算力适应性进行业务数据领取及处理。以此同样可以充分利用各处理节点的算力,避免业务数据处理不及时,单一处理节点存在较大处理压力的情况。
S120、管理节点接收智能电缆各个电缆节点上报的业务数据,所述业务数据包含对应的数据类型信息和数据发送时间戳;
S130、所述管理节点按照所述数据发送时间戳将对应的业务数据放入消息队列。
具体的,如图2所示,提供本申请实施例的业务数据处理系统的结构示意图。其中,业务数据处理系统包括电缆节点11、管理节点12和处理节点13。对应电缆节点11上报的业务数据,统一上报至管理节点12。管理节点12通过确定业务数据的数据发送时间戳,根据数据发送时间戳将对应的业务数据放入消息队列中,以供各个处理节点13从消息队列中领取业务数据进行处理。
需要说明的是,对应一条智能电缆线路,为了执行各类型业务操作,需要在智能电缆沿线设置多个电缆节点,由电缆节点执行运行监测、服务请求乃至配置管理等多种类型的业务操作。而对应电缆节点产生的各类型业务数据,则通过上传至管理节点,以便于管理节点对应进行处理。管理节点预先会确定各个电缆节点所产生业务数据的类型,对应各类型业务数据预配置处理规则,进而将处理规则分配给各个处理节点,以用于后续进行业务数据的分布处理。
进一步地,在完成处理规则分发之后,业务数据处理系统的运行过程中,电缆节点会产生大量的业务数据,业务数据在电缆节点生成后,会统一上报至管理节点,由管理节点统一进行业务数据的接收。本申请实施例中,对应每一个业务数据,均包含业务数据对应的数据类型信息和数据发送时间戳。电缆节点在上报业务数据至管理节点时,会在业务数据中添加当前业务数据的数据类型信息以及对应的数据发送时间戳,以便于后续管理节点进行业务数据的分发工作。
对应管理节点一端,在接收到业务数据后,首先解析出业务数据包含的数据类型信息和数据发送时间戳。然后根据数据发送时间戳将业务数据放入消息队列以供处理节点领取处理。可以理解的是,消息队列中,各类型业务数据按照数据发送时间戳进行排列。对于各个处理节点,则按照自身配置的处理优先级信息,确定优先处理的业务数据的数据类型信息。基于这一数据类型信息,在对应的消息队列中,依据消息队列排列顺序领取对应数据类型信息的业务数据进行处理,以此可以保障业务数据的有序处理,进一步提升业务数据处理效率。同时也确保了部分需要紧急处理的业务数据能够通过处理优先级设置提升处理效率,保障系统运行的稳定性。
S140、各个所述处理节点按照自身的所述处理优先级信息依序从所述消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的所述处理规则处理领取到的业务数据。
进一步地,对于各个处理节点,在依序从消息队列中领取到业务数据后,即可依据自身配置的处理规则进行业务数据处理。举例而言,对应智能电缆的运行监测数据,在接收到这部分业务数据后,处理节点根据处理规则首先对其进行整理存储,确定该业务数据的数据发送源,即对应的电缆节点ID,然后按照数据发送时间戳将该业务数据存储至对应电缆节点ID的存储区域中,以此完成对应电缆节点运行监测数据的存储,以便于进行智能电缆的运行维护。进一步地,基于该业务数据进行数据分析,判断当前电缆节点是否出现运行异常,并在出现运行异常时进行异常上报。进一步的,基于当前业务数据以及对应电缆节点的历史数据,可以生成对应电缆节点的监测曲线图,以便于后续管理节点在进行运行监控时对监测曲线图进行调用。此外,根据实际需要,还可以基于当前电缆节点的监测数据进行大数据分析,预测该电缆节点未来的运行状态。根据实际设置处理规则的各项具体处理内容,处理节点适应性进行业务数据的处理操作。并在完成处理后,对处理结果进行存储或者返回至管理节点。此外,对应一些服务请求类型的业务数据,处理节点在根据处理规则完成业务数据后,会将处理结果返回至相应的电缆节点,以便于电缆节点基于处理节点返回的处理结果进行相应服务请求的处理。以此,各个处理节点按照处理优先级信息指示的业务数据处理先后顺序,从消息队列中领取业务数据进行处理,以此实现本申请业务数据处理系统的数据处理。
在一个实施例中,所述处理节点依据设定的上报时序,周期性上报业务数据处理结果至所述管理节点存储,各个所述处理节点的所述上报时序不同。可以理解的是,对应业务数据的处理结果,需要周期性汇总至管理节点,以便于管理节点了解智能电缆各项业务的处理情况,并基于业务数据处理结果进行相关的运维管理操作。则处理节点在周期性上报业务数据处理结果时,按照不同的上报时序进行处理结果的上报。由于处理节点众多,如若在某一个统一的时间节点进行处理结果的统一上报,则会导致管理结果产生较大的数据接收和处理压力。因此,本申请实施例对应不同处理节点设置不同的处理结果上报时序,以实现处理结果的错峰上报。例如,按照处理节点的数量,将一天分为对应数量的时段,每一个处理节点在对应的时段上报处理结果。通过分时段上报处理结果,一方面缓解了管理节点的数据接收压力。同时,对于处理结果的存储或者处理,也相对较为稳定、高效。
可选的,在进行业务数据处理过程中,可能存在一些当前处理规则无法完成处理或者处理失败的业务数据,对应这部分业务数据,为了保障业务处理的稳定性和及时性,需要在业务数据处理过程中,实时根据处理异常的业务数据生成异常信息并上报至所述管理节点。异常信息指示了哪个业务数据出现了处理异常的情况,基于这一异常信息,管理节点会进一步进行该业务数据的重新处理,以确保数据处理成功。
进一步地,在处理异常信息时,所述管理节点轮循所有预存的所述处理规则处理所述异常信息,并在处理失败时,输出异常提示,以提示人工介入处理所述异常信息。可以理解的是,对于处理失败的业务数据,可能存在业务数据错误分配或者处理节点已有处理规则不足以处理对应业务数据的情况。那么在接收到异常信息后,管理节点首先会根据自身预先配置的所有处理规则进行异常信息处理,在依序轮循所有处理规则处理异常信息后,若成功处理异常信息,则异常信息处理流程结束。若未成功处理异常信息,表明当前系统已有处理规则无法处理异常,此时通过输出异常提示,以告知运维人员进行异常信息的人工处理。以此可以提升异常信息的处理效率,优化信息处理效果。
在一个实施例中,所述管理节点基于所述异常信息更新对应的所述处理节点的所述处理规则,并将新的所述处理规则发送至对应的所述处理节点进行更新。可以理解的是,对应已有处理规则无法处理的异常信息,在通过异常提示之后,可以由人工更新已有处理规则,通过处理规则更新以满足异常信息的处理。并且,在完成异常信息处理之后,为了保障之后对应处理节点可以独立完成业务数据处理,避免再次出现处理异常的情况,则进一步将更新后的处理规则同步至对应处理节点,以保障对应处理节点处理业务数据的稳定性和有效性。
此外,在轮循处理异常信息时,若发现存在处理规则可以处理异常信息,则在完成处理之后,将这一处理规则同步至处理异常的处理节点,以保障之后对应处理节点可以独立完成业务数据处理,避免再次出现处理异常的情况。
进一步地,对应业务数据处理系统在运行过程中,处理节点所产生的异常信息,所述处理节点统计设定时间段内的所述异常信息,基于统计结果确定异常电缆节点,并上报所述异常电缆节点至所述管理节点。可以理解的是,处理节点在产生异常信息时,表明已有处理规则无法处理该业务数据。若通过一段时间内的数据统计,发现处理节点在处理某一个电缆节点的业务数据时,经常会产生异常信息,则表明该电缆节点可能出现运行异常,导致其业务数据出现异常,出现高频次处理失败的情况。基于此,本申请实施例通过处理节点统计设定时间段内的所述异常信息,若设定时间段内某一个电缆节点的业务数据异常信息达到设定数量阈值,则确定该电缆节点为异常电缆节点,通过上报异常电缆节点至管理节点,以此可以便于管理节点及时处理电缆节点的异常情况,保障电缆节点的稳定运行。
在一个实施例中,所述管理节点统计设定时间段内各类型业务数据的处理量,根据所述处理量调整各个所述处理节点对应的所述处理规则或者处理优先级。可以理解的是,通过统计各类型业务数据的处理量,对于处理量较大的业务数据,可以适应性增加处理节点进行该业务数据的处理。对于处理量较少的业务数据,则其对应处理节点的算力相对充足,可以为其分配其他业务数据进行处理。基于此,本申请根据各类型业务数据的处理量,结合各个处理节点的计算能力,适应性为算力充足的处理节点分配处理量较大的业务数据的处理规则,以利用该处理节点处理对应业务数据,实现处理节点的算力均衡,进一步提升业务数据的处理效率,优化处理节点的利用率。另一方面,若处理节点已有对应业务数据的处理规则,但由于对应类型业务数据在该处理节点的处理优先级较低,则可以通过调整处理优先级信息,使处理节点优先处理这部分业务数据,以实现这部分业务数据的高效处理。此外,根据实际需要,当已有处理节点无法满足某一业务数据的处理时,还可以适应性新增处理节点,并为该处理节点配置处理量较大的业务数据的处理规则,以此来保障对应类型业务数据的高效处理,保障业务数据处理系统的稳定运行。
在一个实施例中,业务数据处理系统在新增所述处理节点时,所述管理节点根据系统新增业务或者设定时间段内各类型业务数据的处理量,为新增的所述处理节点分配对应的处理规则。可以理解的是,为了充分利用处理节点的计算资源,避免部分处理节点的计算资源浪费,同时又确保所有类型业务数据都能够及时处理,则在每新增一个处理节点时,需要对新增处理节点分配合适的处理规则。其中,若系统中新增了其他类型的业务数据,则优先分配新增业务的处理规则给该处理节点,以确保新增业务的业务数据可以稳定处理。此外,也可以根据设定时间段内各类型业务数据的处理量,确定处理量较大的业务数据类型,为新增处理节点分配该类型业务数据的处理规则,以使系统能够提供充足的计算资源处理较大处理量的业务数据。
上述,通过管理节点预先构建智能电缆各类型业务数据的处理规则,将处理规则分发至各个处理节点,并分别预先定义各个处理节点处理各类型业务数据的处理优先级信息,处理优先级信息标识了一个处理节点处理不同类型业务数据的先后顺序;管理节点接收智能电缆各个电缆节点上报的业务数据,业务数据包含对应的数据类型信息和数据发送时间戳;管理节点按照数据发送时间戳将对应的业务数据放入消息队列;各个处理节点按照自身的处理优先级信息依序从消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的处理规则处理领取到的业务数据。采用上述技术手段,能够缓解系统后台的海量业务数据处理压力,提升业务数据处理效率,解决智能电缆的海量业务数据处理效率低下的技术问题。
实施例二:
在上述实施例的基础上,图3为本申请实施例二提供的一种基于消息队列的电缆业务数据处理装置的结构示意图。参考图3,本实施例提供的基于消息队列的电缆业务数据处理装置具体包括:构建模块21、接收模块22、队列模块23和处理模块24。
其中,构建模块21用于通过管理节点预先构建智能电缆各类型业务数据的处理规则,将所述处理规则分发至各个处理节点,并分别预先定义各个所述处理节点处理各类型业务数据的处理优先级信息,所述处理优先级信息标识了一个所述处理节点处理不同类型业务数据的先后顺序;
接收模块22用于通过管理节点接收智能电缆各个电缆节点上报的业务数据,所述业务数据包含对应的数据类型信息和数据发送时间戳;
队列模块23用于通过所述管理节点按照所述数据发送时间戳将对应的业务数据放入消息队列;
处理模块24用于通过各个所述处理节点按照自身的所述处理优先级信息依序从所述消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的所述处理规则处理领取到的业务数据。
具体地,基于消息队列的电缆业务数据处理装置还包括:
异常上报模块,用于在业务数据处理过程中,实时根据处理异常的业务数据生成异常信息并上报至所述管理节点
周期上报模块,用于通过所述处理节点依据设定的上报时序,周期性上报业务数据处理结果至所述管理节点存储,各个所述处理节点的所述上报时序不同。
更新模块,用于通过所述管理节点基于所述异常信息更新对应的所述处理节点的所述处理规则,并将新的所述处理规则发送至对应的所述处理节点进行更新。
调整模块,用于所述管理节点统计设定时间段内各类型业务数据的处理量,根据所述处理量调整各个所述处理节点对应的所述处理规则或处理优先级信息。
新增模块,用于在新增所述处理节点时,所述管理节点根据系统新增业务或者设定时间段内各类型业务数据的处理量,为新增的所述处理节点分配对应的处理规则。
统计模块,用于通过所述处理节点统计设定时间段内的所述异常信息,基于统计结果确定异常电缆节点,并上报所述异常电缆节点至所述管理节点。
上述,通过管理节点预先构建智能电缆各类型业务数据的处理规则,将处理规则分发至各个处理节点,并分别预先定义各个处理节点处理各类型业务数据的处理优先级信息,处理优先级信息标识了一个处理节点处理不同类型业务数据的先后顺序;管理节点接收智能电缆各个电缆节点上报的业务数据,业务数据包含对应的数据类型信息和数据发送时间戳;管理节点按照数据发送时间戳将对应的业务数据放入消息队列;各个处理节点按照自身的处理优先级信息依序从消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的处理规则处理领取到的业务数据。采用上述技术手段,能够缓解系统后台的海量业务数据处理压力,提升业务数据处理效率,解决智能电缆的海量业务数据处理效率低下的技术问题。
本申请实施例二提供的基于消息队列的电缆业务数据处理装置可以用于执行上述实施例一提供的基于消息队列的电缆业务数据处理方法,具备相应的功能和有益效果。
实施例三:
本申请实施例三提供了一种电子设备,参照图4,该电子设备包括:处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个,该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器作31为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的基于消息队列的电缆业务数据处理方法对应的程序指令/模块(例如,基于消息队列的电缆业务数据处理装置中的构建模块、接收模块、队列模块和处理模块)。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的基于消息队列的电缆业务数据处理方法。
输入装置34可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的基于消息队列的电缆业务数据处理方法,具备相应的功能和有益效果。
实施例四:
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于消息队列的电缆业务数据处理方法,该基于消息队列的电缆业务数据处理方法包括:管理节点预先构建智能电缆各类型业务数据的处理规则,将所述处理规则分发至各个处理节点,并分别预先定义各个所述处理节点处理各类型业务数据的处理优先级信息,所述处理优先级信息标识了一个所述处理节点处理不同类型业务数据的先后顺序;管理节点接收智能电缆各个电缆节点上报的业务数据,所述业务数据包含对应的数据类型信息和数据发送时间戳;所述管理节点按照所述数据发送时间戳将对应的业务数据放入消息队列;各个所述处理节点按照自身的所述处理优先级信息依序从所述消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的所述处理规则处理领取到的业务数据。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的基于消息队列的电缆业务数据处理方法,还可以执行本申请任意实施例所提供的基于消息队列的电缆业务数据处理方法中的相关操作。
上述实施例中提供的基于消息队列的电缆业务数据处理装置、存储介质及电子设备可执行本申请任意实施例所提供的基于消息队列的电缆业务数据处理方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的基于消息队列的电缆业务数据处理方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于消息队列的电缆业务数据处理方法,其特征在于,包括:
管理节点预先构建智能电缆各类型业务数据的处理规则,将所述处理规则分发至各个处理节点,并分别预先定义各个所述处理节点处理各类型业务数据的处理优先级信息,所述处理优先级信息标识了一个所述处理节点处理不同类型业务数据的先后顺序;
管理节点接收智能电缆各个电缆节点上报的业务数据,所述业务数据包含对应的数据类型信息和数据发送时间戳;
所述管理节点按照所述数据发送时间戳将对应的业务数据放入消息队列;
各个所述处理节点按照自身的所述处理优先级信息依序从所述消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的所述处理规则处理领取到的业务数据。
2.根据权利要求1所述的基于消息队列的电缆业务数据处理方法,其特征在于,所述根据数据类型信息使用对应的所述处理规则处理领取到的业务数据,包括:
在业务数据处理过程中,实时根据处理异常的业务数据生成异常信息并上报至所述管理节点。
3.根据权利要求2所述的基于消息队列的电缆业务数据处理方法,其特征在于,在所述实时根据处理异常的业务数据生成异常信息并上报至所述管理节点之后,还包括:
所述管理节点基于所述异常信息更新对应的所述处理节点的所述处理规则,并将新的所述处理规则发送至对应的所述处理节点进行更新。
4.根据权利要求2所述的基于消息队列的电缆业务数据处理方法,其特征在于,在所述实时根据处理异常的业务数据生成异常信息并上报至所述管理节点之后,还包括:
所述处理节点统计设定时间段内的所述异常信息,基于统计结果确定异常电缆节点,并上报所述异常电缆节点至所述管理节点。
5.根据权利要求1所述的基于消息队列的电缆业务数据处理方法,其特征在于,在所述根据数据类型信息使用对应的所述处理规则处理领取到的业务数据之后,还包括:
所述处理节点依据设定的上报时序,周期性上报业务数据处理结果至所述管理节点存储,各个所述处理节点的所述上报时序不同。
6.根据权利要求1所述的基于消息队列的电缆业务数据处理方法,其特征在于,在所述根据数据类型信息使用对应的所述处理规则处理领取到的业务数据之后,还包括:
所述管理节点统计设定时间段内各类型业务数据的处理量,根据所述处理量调整各个所述处理节点对应的所述处理规则或处理优先级信息。
7.根据权利要求1所述的基于消息队列的电缆业务数据处理方法,其特征在于,在所述根据数据类型信息使用对应的所述处理规则处理领取到的业务数据之后,还包括:
在新增所述处理节点时,所述管理节点根据系统新增业务或者设定时间段内各类型业务数据的处理量,为新增的所述处理节点分配对应的处理规则。
8.一种基于消息队列的电缆业务数据处理装置,其特征在于,包括:
构建模块,用于通过管理节点预先构建智能电缆各类型业务数据的处理规则,将所述处理规则分发至各个处理节点,并分别预先定义各个所述处理节点处理各类型业务数据的处理优先级信息,所述处理优先级信息标识了一个所述处理节点处理不同类型业务数据的先后顺序;
接收模块,用于通过管理节点接收智能电缆各个电缆节点上报的业务数据,所述业务数据包含对应的数据类型信息和数据发送时间戳;
队列模块,用于通过所述管理节点按照所述数据发送时间戳将对应的业务数据放入消息队列;
处理模块,用于通过各个所述处理节点按照自身的所述处理优先级信息依序从所述消息队列中领取对应数据类型信息的业务数据,根据数据类型信息使用对应的所述处理规则处理领取到的业务数据。
9.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的基于消息队列的电缆业务数据处理方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的基于消息队列的电缆业务数据处理方法。
CN202111222577.3A 2021-10-20 2021-10-20 基于消息队列的电缆业务数据处理方法及装置 Pending CN114035977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111222577.3A CN114035977A (zh) 2021-10-20 2021-10-20 基于消息队列的电缆业务数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111222577.3A CN114035977A (zh) 2021-10-20 2021-10-20 基于消息队列的电缆业务数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN114035977A true CN114035977A (zh) 2022-02-11

Family

ID=80135144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111222577.3A Pending CN114035977A (zh) 2021-10-20 2021-10-20 基于消息队列的电缆业务数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN114035977A (zh)

Similar Documents

Publication Publication Date Title
CN110222091B (zh) 一种海量数据实时统计分析方法
CN109218355B (zh) 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法
CN105049268A (zh) 分布式计算资源分配系统和任务处理方法
CN107241281B (zh) 一种数据处理方法及其装置
Meng et al. State monitoring in cloud datacenters
CN109150738B (zh) 工业互联网资源管理方法及系统、可读存储介质和终端
CN104969213A (zh) 用于低延迟数据存取的数据流分割
CN114064309A (zh) 一种基于处理优先级的电缆业务数据处理方法及装置
CN112579304A (zh) 基于分布式平台的资源调度方法、装置、设备及介质
CN104735095A (zh) 一种云计算平台作业调度方法及装置
CN114281524A (zh) 一种智能电缆业务处理系统管理方法及装置
US20160344582A1 (en) Call home cluster
CN112416969B (zh) 分布式数据库中的并行任务调度系统
US9621438B2 (en) Network traffic management
CN104052677A (zh) 单一数据源的软负载均衡方法和装置
US7707080B2 (en) Resource usage metering of network services
US8725868B2 (en) Interactive service management
CN109302324A (zh) 一种私有云监控预警方法及系统
CN117076133B (zh) 云游戏平台异构资源分配方法、计算机装置及存储介质
CN110336884B (zh) 服务器集群更新方法和装置
CN114035977A (zh) 基于消息队列的电缆业务数据处理方法及装置
CN114064714A (zh) 一种智能电缆的海量业务数据处理方法及装置
CN114327863A (zh) 基于电缆业务数据类型的业务数据分布式处理方法及装置
CN114281523A (zh) 一种业务数据的分布式处理方法及装置
CN109271234B (zh) 一种监控信息收集方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination