CN113645151A - Dup设备消息管理方法及装置 - Google Patents

Dup设备消息管理方法及装置 Download PDF

Info

Publication number
CN113645151A
CN113645151A CN202111028613.2A CN202111028613A CN113645151A CN 113645151 A CN113645151 A CN 113645151A CN 202111028613 A CN202111028613 A CN 202111028613A CN 113645151 A CN113645151 A CN 113645151A
Authority
CN
China
Prior art keywords
dup
message
target
consumption rate
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111028613.2A
Other languages
English (en)
Inventor
莫志城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yunbao Intelligent Co ltd
Original Assignee
Shenzhen Yunbao Intelligent Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yunbao Intelligent Co ltd filed Critical Shenzhen Yunbao Intelligent Co ltd
Priority to CN202111028613.2A priority Critical patent/CN113645151A/zh
Publication of CN113645151A publication Critical patent/CN113645151A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/215—Flow control; Congestion control using token-bucket
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供一种DUP设备消息管理方法及装置，方法包括：通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率；根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接；根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备；本申请能够有效调节系统与DPU接口之间的吞吐量，保障自身系统稳定性。

Description

DUP设备消息管理方法及装置
技术领域
本申请涉及DPU设备领域，具体涉及一种DUP设备消息管理方法及装置。
背景技术
分配处理单元(DistributionPointUnit，简称为DPU)设备指放在分支点(DistributionPoint，简称为DP)节点的设备。网络侧是无源光网络(PassiveOpticalNetwork,简称为xPON)/以太网上联口，用户侧是VDSL2/G.FAST数字用户线(DigitalSubscriberLine，简称为DSL)接口。
现有技术中不同系统向DPU接口发送消息时，在业务量不稳定时对外的请求不稳定，容易出现瞬间的流量突刺，无法做到动态的自动调整外发速率。
发明内容
针对现有技术中的问题，本申请提供一种DUP设备消息管理方法及装置，能够有效调节系统与DPU接口之间的吞吐量，保障自身系统稳定性。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种DUP设备消息管理方法，包括：
通过设定选举规则从不同系统构成的分布式服务架构中确定一主节点系统，通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率；
根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接；
根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，并根据设定结构化数据格式对所述目标数据进行数据格式统一转换；
根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备。
进一步地，所述根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，还包括：
确定所述各系统的当前消息队列中目标数据中的校验字段并进行字段抽取，得到目标校验字段；
根据设定模式匹配算法和正则表达式将所述目标校验字段中的非法字段替换为相应的合法字段。
进一步地，所述根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备，还包括：
通过设定静态配置文件对各系统的路由入参进行服务路由标记；
根据所述服务路由标记确定所述各系统与所述DUP设备对应的通信汇路。
第二方面，本申请提供一种DUP设备消息管理装置，包括：
目标消息消费速率确定模块，用于通过设定选举规则从不同系统构成的分布式服务架构中确定一主节点系统，通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率；
DUP通信连接模块，用于根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接；
目标数据预处理模块，用于根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，并根据设定结构化数据格式对所述目标数据进行数据格式统一转换；
目标数据发送模块，用于根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备。
进一步地，所述目标数据预处理模块包括：
字段抽取单元，用于确定所述各系统的当前消息队列中目标数据中的校验字段并进行字段抽取，得到目标校验字段；
字段处理单元，用于根据设定模式匹配算法和正则表达式将所述目标校验字段中的非法字段替换为相应的合法字段。
进一步地，所述目标数据发送模块包括：
路由标记单元，用于通过设定静态配置文件对各系统的路由入参进行服务路由标记；
汇路确定单元，用于根据所述服务路由标记确定所述各系统与所述DUP设备对应的通信汇路。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的DUP设备消息管理方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的DUP设备消息管理方法的步骤。
由上述技术方案可知，本申请提供一种DUP设备消息管理方法及装置，通过调节系统与DPU接口之间的吞吐量，保障自身系统稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的DUP设备消息管理方法的流程示意图之一；
图2为本申请实施例中的DUP设备消息管理方法的流程示意图之二；
图3为本申请实施例中的DUP设备消息管理方法的流程示意图之三；
图4为本申请实施例中的DUP设备消息管理装置的结构图之一；
图5为本申请实施例中的DUP设备消息管理装置的结构图之二；
图6为本申请实施例中的DUP设备消息管理装置的结构图之三；
图7为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到现有技术中不同系统向DPU接口发送消息时，在业务量不稳定时对外的请求不稳定，容易出现瞬间的流量突刺，无法做到动态的自动调整外发速率的问题，本申请提供一种DUP设备消息管理方法及装置，通过调节系统与DPU接口之间的吞吐量，保障自身系统稳定性。
为了能够有效调节系统与DPU接口之间的吞吐量，保障自身系统稳定性，本申请提供一种DUP设备消息管理方法的实施例，参见图1，所述DUP设备消息管理方法具体包含有如下内容：
步骤S101：通过设定选举规则从不同系统构成的分布式服务架构中确定一主节点系统，通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率。
可选的，本申请可以通过设定选举规则或选举策略（例如所有系统中当前算力最大、所有系统中当前空闲运算资源最多）的方式从不同系统构成的分布式服务架构中确定一主节点系统，由于所有系统已经构成一分布式服务架构，因此该主节点系统可以通过分布式服务架构获取各系统的当前任务队列积压消息量。
具体的，所述设定分布式服务架构可以为zookeeper框架，通过zookeeper的选举机制，对各个系统的当前任务队列（MQ）积压消息数据量进行统计，同时，各个系统在zookeeper进行注册，由此zookeeper框架中的主节点系统能够动态感知各个系统当前的业务量（即当前任务队列积压消息量），结合系统节点数量以及预设任务执行时间，动态计算得到各个系统的目标消息消费速率，以此来保证多个系统整体对外稳定下发速率。
步骤S102：根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接。
可选的，本申请中各系统可以通过令牌桶算法控制各自对应的任务队列消息消费速率，分布式服务架构的主节点系统可以通过zookeeper实时下发给各系统节点自当前系统的目标消息消费速率，各系统节点获取所述目标消息消费速率后可以采用令牌桶算法控制各自对应的消息队列消费速率，最终保持多个系统对下游系统保持一个稳定下发速率，同时与DUP设备接口建立通信连接。
步骤S103：根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，并根据设定结构化数据格式对所述目标数据进行数据格式统一转换。
可选的，本申请可以根据预设模式匹配规则和正则匹配规则将所述各系统的当前消息队列中目标数据中的非法字段替换为相应的合法字段，得到经过非法字符清理过滤操作后的目标数据。
在一具体实施例中，本申请可以识别各系统的当前消息队列中的校验字段并进行字段抽取，得到目标校验字段，及可能存在非法字符的字段，然后根据设定模式匹配算法和正则表达式将无意义的非法字符转换或替代为相应的合法字符，以在转换过程中保护数据条目的完整性何准确性。
可选的，本申请还可以根据设定结构化数据格式对不同系统的所述目标数据进行数据格式统一转换，以此当对大量目标数据进行预处理时，保证实施过程的高效性。
步骤S104：根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备。
从上述描述可知，本申请实施例提供的DUP设备消息管理方法，能够通过调节系统与DPU接口之间的吞吐量，保障自身系统稳定性。
在本申请的DUP设备消息管理方法的一实施例中，参见图2，还可以具体包含如下内容：
步骤S201：确定所述各系统的当前消息队列中目标数据中的校验字段并进行字段抽取，得到目标校验字段；
步骤S202：根据设定模式匹配算法和正则表达式将所述目标校验字段中的非法字段替换为相应的合法字段。
可选的，本申请可以根据预设模式匹配规则和正则匹配规则将所述各系统的当前消息队列中目标数据中的非法字段替换为相应的合法字段，得到经过非法字符清理过滤操作后的目标数据。
在一具体实施例中，本申请可以识别各系统的当前消息队列中的校验字段并进行字段抽取，得到目标校验字段，及可能存在非法字符的字段，然后根据设定模式匹配算法和正则表达式将无意义的非法字符转换或替代为相应的合法字符，以在转换过程中保护数据条目的完整性何准确性。
在本申请的DUP设备消息管理方法的一实施例中，参见图3，还可以具体包含如下内容：
步骤S301：通过设定静态配置文件对各系统的路由入参进行服务路由标记；
步骤S302：根据所述服务路由标记确定所述各系统与所述DUP设备对应的通信汇路。
可选的，假定一系统服务为A1，另一系统为A2， 本申请中的DPU接口和A1、A2在通讯协议和报文接口层面保持一致，A1、A2服务经渠道接入DPU接口时，可以通过静态配置文件配置（白名单、按比例模取等）对单一或者多项路由入参进行服务路由标记，最后根据路由标记进行服务路由决策准确将各系统当前任务队列中经过处理后的目标数据发送至DPU接口。
具体可以包括：A1服务通过白名单方式进行分流，白名单内的路由标记流转至目标DPU接口，非白名单的路由标记至其他DPU接口，或者白名单内的路由标记流转至目标DPU接口的第一存储器中，非白名单的路由标记至目标DPU接口的第二存储器中，路由功能可按需组合其他的筛选分类参数进行路由分类标记。
为了能够有效调节系统与DPU接口之间的吞吐量，保障自身系统稳定性，本申请提供一种用于实现所述DUP设备消息管理方法的全部或部分内容的DUP设备消息管理装置的实施例，参见图4，所述DUP设备消息管理装置具体包含有如下内容：
目标消息消费速率确定模块10，用于通过设定选举规则从不同系统构成的分布式服务架构中确定一主节点系统，通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率；
DUP通信连接模块20，用于根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接；
目标数据预处理模块30，用于根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，并根据设定结构化数据格式对所述目标数据进行数据格式统一转换；
目标数据发送模块40，用于根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备。
从上述描述可知，本申请实施例提供的DUP设备消息管理装置，能够通过调节系统与DPU接口之间的吞吐量，保障自身系统稳定性。
在本申请的DUP设备消息管理装置的一实施例中，参见图5，所述目标数据预处理模块30包括：
字段抽取单元31，用于确定所述各系统的当前消息队列中目标数据中的校验字段并进行字段抽取，得到目标校验字段；
字段处理单元32，用于根据设定模式匹配算法和正则表达式将所述目标校验字段中的非法字段替换为相应的合法字段。
在本申请的DUP设备消息管理装置的一实施例中，参见图6，所述目标数据发送模块40包括：
路由标记单元41，用于通过设定静态配置文件对各系统的路由入参进行服务路由标记；
汇路确定单元42，用于根据所述服务路由标记确定所述各系统与所述DUP设备对应的通信汇路。
从硬件层面来说，为了能够有效调节系统与DPU接口之间的吞吐量，保障自身系统稳定性，本申请提供一种用于实现所述DUP设备消息管理方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor) 、存储器(memory) 、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现DUP设备消息管理装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的DUP设备消息管理方法的实施例，以及DUP设备消息管理装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，DUP设备消息管理方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块（即通信单元），可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图7为本申请实施例的电子设备9600的系统构成的示意框图。如图7所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图7是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，DUP设备消息管理方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：通过设定选举规则从不同系统构成的分布式服务架构中确定一主节点系统，通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率。
步骤S102：根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接。
步骤S103：根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，并根据设定结构化数据格式对所述目标数据进行数据格式统一转换。
步骤S104：根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备。
从上述描述可知，本申请实施例提供的电子设备，通过调节系统与DPU接口之间的吞吐量，保障自身系统稳定性。
在另一个实施方式中，DUP设备消息管理装置可以与中央处理器9100分开配置，例如可以将DUP设备消息管理装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现DUP设备消息管理方法功能。
如图7所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图7中所示的所有部件；此外，电子设备9600还可以包括图7中没有示出的部件，可以参考现有技术。
如图7所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器（ROM）、随机存取存储器（RAM）、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141（有时被称为缓冲器）。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能（如消息传送应用、通讯录应用等）的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块（发送机/接收机）9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块（发送机/接收机）9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的DUP设备消息管理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的DUP设备消息管理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：通过设定选举规则从不同系统构成的分布式服务架构中确定一主节点系统，通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率。
步骤S102：根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接。
步骤S103：根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，并根据设定结构化数据格式对所述目标数据进行数据格式统一转换。
步骤S104：根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过调节系统与DPU接口之间的吞吐量，保障自身系统稳定性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（装置）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种DUP设备消息管理方法，其特征在于，所述方法包括：
通过设定选举规则从不同系统构成的分布式服务架构中确定一主节点系统，通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率；
根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接；
根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，并根据设定结构化数据格式对所述目标数据进行数据格式统一转换；
根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备。
2.根据权利要求1所述的DUP设备消息管理方法，其特征在于，所述根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，还包括：
确定所述各系统的当前消息队列中目标数据中的校验字段并进行字段抽取，得到目标校验字段；
根据设定模式匹配算法和正则表达式将所述目标校验字段中的非法字段替换为相应的合法字段。
3.根据权利要求1所述的DUP设备消息管理方法，其特征在于，所述根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备，还包括：
通过设定静态配置文件对各系统的路由入参进行服务路由标记；
根据所述服务路由标记确定所述各系统与所述DUP设备对应的通信汇路。
4.一种DUP设备消息管理装置，其特征在于，包括：
目标消息消费速率确定模块，用于通过设定选举规则从不同系统构成的分布式服务架构中确定一主节点系统，通过所述主节点系统获取各系统的当前任务队列积压消息量，并根据所述各系统的当前任务队列积压消息量和设定任务执行时间确定所述各系统的目标消息消费速率；
DUP通信连接模块，用于根据所述各系统的目标消息消费速率和设定令牌桶算法确定各系统对应的任务队列消息消费速率，并与DUP设备接口建立通信连接；
目标数据预处理模块，用于根据设定模式匹配策略和正则匹配策略将所述各系统的当前消息队列中目标数据的非法字段替换为相应的合法字段，并根据设定结构化数据格式对所述目标数据进行数据格式统一转换；
目标数据发送模块，用于根据所述各系统对应的任务队列消息消费速率将当前消息队列中经过非法字段替换和数据格式统一转换后的目标数据通过所述DUP设备接口发送至DUP设备。
5.根据权利要求4所述的DUP设备消息管理装置，其特征在于，所述目标数据预处理模块包括：
字段抽取单元，用于确定所述各系统的当前消息队列中目标数据中的校验字段并进行字段抽取，得到目标校验字段；
字段处理单元，用于根据设定模式匹配算法和正则表达式将所述目标校验字段中的非法字段替换为相应的合法字段。
6.根据权利要求4所述的DUP设备消息管理装置，其特征在于，所述目标数据发送模块包括：
路由标记单元，用于通过设定静态配置文件对各系统的路由入参进行服务路由标记；
汇路确定单元，用于根据所述服务路由标记确定所述各系统与所述DUP设备对应的通信汇路。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至3任一项所述的DUP设备消息管理方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3任一项所述的DUP设备消息管理方法的步骤。
CN202111028613.2A 2021-09-02 2021-09-02 Dup设备消息管理方法及装置 Withdrawn CN113645151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111028613.2A CN113645151A (zh) 2021-09-02 2021-09-02 Dup设备消息管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111028613.2A CN113645151A (zh) 2021-09-02 2021-09-02 Dup设备消息管理方法及装置

Publications (1)

Publication Number Publication Date
CN113645151A true CN113645151A (zh) 2021-11-12

Family

ID=78425002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111028613.2A Withdrawn CN113645151A (zh) 2021-09-02 2021-09-02 Dup设备消息管理方法及装置

Country Status (1)

Country Link
CN (1) CN113645151A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124962A (zh) * 2021-11-30 2022-03-01 工银科技有限公司 多机房消息负载均衡处理方法及装置
CN117278396A (zh) * 2023-09-21 2023-12-22 中科驭数（北京）科技有限公司 Dpu网卡配置方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124962A (zh) * 2021-11-30 2022-03-01 工银科技有限公司 多机房消息负载均衡处理方法及装置
CN117278396A (zh) * 2023-09-21 2023-12-22 中科驭数（北京）科技有限公司 Dpu网卡配置方法及装置

Similar Documents

Publication Publication Date Title
CN111786885B (zh) 分布式全链路灰度路由方法及装置
CN111031058A (zh) 基于WebSocket的分布式服务器集群交互方法及装置
CN113645151A (zh) Dup设备消息管理方法及装置
CN112600878B (zh) 一种数据传输方法及装置
CN107968881A (zh) 终端设备广播处理方法及装置、终端设备及存储介质
CN112953908A (zh) 网络隔离配置方法、装置及系统
CN109857524B (zh) 流式计算方法、装置、设备及计算机可读存储介质
CN111445331A (zh) 交易撮合方法及装置
CN111464352A (zh) 调用链路数据处理方法及装置
CN112615753A (zh) 一种链路异常追踪方法、第一节点、第二节点以及链路
CN111767558B (zh) 数据访问监控方法、装置及系统
CN104935500A (zh) 基于网络通话的好友推荐方法和装置
CN112689012A (zh) 跨网络的代理通讯方法及装置
CN111679790A (zh) 远程软件开发存储空间分配方法及装置
CN111510493A (zh) 分布式数据传输方法及装置
CN111930624B (zh) 测试链路报文数据处理方法及装置
CN111782260B (zh) 灰度发布方法及灰度发布装置
CN113050985A (zh) 前端工程依赖自动注册方法及装置
CN112396511A (zh) 分布式风控变量数据处理方法、装置及系统
CN112559158A (zh) 微服务定时任务调度方法及装置
CN114374614B (zh) 网络拓扑配置方法及装置
CN107124353B (zh) 一种消息处理的方法、装置、计算机装置及存储介质
CN115562898A (zh) 分布式支付系统异常处理方法及装置
CN113434423B (zh) 接口测试方法及装置
CN112102058A (zh) 管会系统参数配置方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211112