CN112671933B - 一种数据处理方法及系统 - Google Patents

一种数据处理方法及系统 Download PDF

Info

Publication number
CN112671933B
CN112671933B CN202110200074.XA CN202110200074A CN112671933B CN 112671933 B CN112671933 B CN 112671933B CN 202110200074 A CN202110200074 A CN 202110200074A CN 112671933 B CN112671933 B CN 112671933B
Authority
CN
China
Prior art keywords
data
target
resource attribute
subscription request
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110200074.XA
Other languages
English (en)
Other versions
CN112671933A (zh
Inventor
蔡其星
姚杰
罗凯
李淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Supcon Technology Co Ltd
Original Assignee
Zhejiang Supcon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Supcon Technology Co Ltd filed Critical Zhejiang Supcon Technology Co Ltd
Priority to CN202110200074.XA priority Critical patent/CN112671933B/zh
Publication of CN112671933A publication Critical patent/CN112671933A/zh
Priority to PCT/CN2021/125578 priority patent/WO2022179140A1/zh
Application granted granted Critical
Publication of CN112671933B publication Critical patent/CN112671933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/566Grouping or aggregating service requests, e.g. for unified processing

Abstract

本发明提供一种数据处理方法及系统,当监听到第一消息队列中存在数据订阅请求时,从第一消息队列中获取数据订阅请求;调用目标采集服务对应的目标数据分发规则将数据订阅请求分发给目标采集服务,其中,目标采集服务为与订阅内容匹配的采集服务,数据交换中心预先集成有多个采集服务;接收目标采集服务基于数据订阅请求的订阅内容采集的资源属性数据包;基于预先设置的统一数据格式将资源属性数据包封装成目标资源属性数据;将目标资源属性数据发送至消息中间件中预先设置的第二消息队列,以便客户端从消息中间件中的第二消息队列中获取目标资源属性数据。基于本发明,能够降低客户端在获取资源属性数据时的复杂度和出错率。

Description

一种数据处理方法及系统
技术领域
本发明涉及计算机技术领域,更具体地说,涉及一种数据处理方法及系统。
背景技术
随着应用信息系统逐渐庞大,分布式控制系统(Distributed Control System,DCS)的应用越来越广泛,其中,分布式控制系统DCS包括多个子系统,每个子系统的资源属性数据主要包括模型变量、报警信息、画面信息、设备信息、实时数据信息等等。
在现有技术中,当客户想要获取分布式控制系统DCS的资源属性数据时,可以通过客户端打开web页面发送数据订阅请求,进而通过webSocket技术建立客户端与数据订阅请求对应的采集服务之间的通讯链路,以便该数据订阅请求对应的采集服务采集相应资源属性数据,并采用对应的通讯协议将采集的资源属性数据通过该通讯链路返回给客户端。
但是,这种方式需要建立每个采集服务与客户端之间的通讯链路,且不同的采集服务在返回资源属性数据采用的通讯协议不同,大大的增加了客户端在获取资源属性数据时的复杂度和出错率。
发明内容
本发明提供一种数据处理方法及系统,以降低客户端在获取资源属性数据时的复杂度和出错率为目的。
本发明第一方面公开一种数据处理方法,应用于数据交换中心,所述方法包括:
当监听到第一消息队列中存在数据订阅请求时,从所述第一消息队列中获取所述数据订阅请求,其中,所述第一消息队列预先设置于消息中间件中,所述数据订阅请求是客户端基于预先设置的统一数据格式发送的,所述数据订阅请求包括订阅内容;
调用目标采集服务对应的目标数据分发规则将所述数据订阅请求分发给所述目标采集服务,其中,所述目标采集服务为与所述订阅内容匹配的采集服务,所述数据交换中心预先集成有多个所述采集服务;
接收所述目标采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包;
基于所述预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据;
将所述目标资源属性数据发送至所述消息中间件中预先设置的第二消息队列,以便所述客户端从所述消息中间件中的所述第二消息队列中获取所述目标资源属性数据。
可选的,所述方法还包括:
接收所述客户端发送的数据订阅请求,其中,所述数据订阅请求中的订阅内容对应的采集服务为预设采集服务;
将所述数据订阅请求发送给所述预设采集服务;
接收所述预设采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包;
基于所述预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据,并将所述目标资源属性数据发送给所述客户端。
可选的,所述调用目标采集服务对应的目标数据分发规则将所述数据订阅请求分发给所述目标采集服务,包括:
根据预先设置的数据分发规则和采集服务之间的对应关系,确定与目标采集服务对应的目标数据分发规则;
调用所述目标数据分发规则将所述数据订阅请求分发给所述目标采集服务。
可选的,所述基于预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据,包括:
对所述资源属性数据包进行解析,提取出业务数据;
基于所述预先设置的统一数据格式将所述业务数据封装成目标资源属性数据。
可选的,在接收所述目标采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包之前,所述方法还包括:
若所述目标采集服务发生异常,或者所述数据交换中心发生异常,将所述数据订阅请求转发给与所述数据交换中心处于同一分布式控制系统的其他任一数据交换中心。
本发明第二方面公开一种数据处理系统,应用于数据交换中心,所述系统包括:
监听单元,用于当监听到第一消息队列中存在数据订阅请求时,从所述第一消息队列中获取所述数据订阅请求,其中,所述第一消息队列预先设置于消息中间件中,所述数据订阅请求是客户端基于预先设置的统一数据格式发送的,所述数据订阅请求包括订阅内容;
调用单元,用于调用目标采集服务对应的目标数据分发规则将所述数据订阅请求分发给所述目标采集服务,其中,所述目标采集服务为与所述订阅内容匹配的采集服务,所述数据交换中心预先集成有多个所述采集服务;
第一接收单元,用于接收所述目标采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包;
第一封装单元,用于基于所述预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据;
第一发送单元,用于将所述目标资源属性数据发送至所述消息中间件中预先设置的第二消息队列,以便所述客户端从所述消息中间件中的所述第二消息队列中获取所述目标资源属性数据。
可选的,所述系统还包括:
获取单元,用于接收所述客户端发送的数据订阅请求,其中,所述数据订阅请求中的订阅内容对应的采集服务为预设采集服务;
第二发送单元,用于将所述数据订阅请求发送给所述预设采集服务;
第二接收单元,用于接收所述预设采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包;
第二封装单元,用于基于所述预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据,并将所述目标资源属性数据发送给所述客户端。
可选的,所述调用单元,包括:
确定单元,用于根据预先设置的数据分发规则和采集服务之间的对应关系,确定与目标采集服务对应的目标数据分发规则;
调用子单元,用于调用所述目标数据分发规则将所述数据订阅请求分发给所述目标采集服务。
可选的,所述第一封装单元,包括:
解析单元,用于对所述资源属性数据包进行解析,提取出业务数据;
第三封装单元,用于基于所述预先设置的统一数据格式将所述业务数据封装成目标资源属性数据。
可选的,所述系统还包括:
转发单元,用于若所述目标采集服务发生异常,或者所述数据交换中心发生异常,将所述数据订阅请求转发给与所述数据交换中心处于同一分布式控制系统的其他任一数据交换中心。
本发明提供一种数据处理方法及系统,应用于数据交换中心,预先设置了统一数据格式,在数据交换中心中集成了多个采集服务,以及预先设置了每个采集服务对应的数据分发规则,客户端通过预先设置的统一数据格式将数据订阅请求发送至消息中间件中预先设置的第一消息队列后,数据交换中心便可通过相应的数据分发规则将消息队列中的数据订阅请求分发给相应的采集服务,并在采集服务返回相应的资源属性数据包后,根据预先设置的统一数据格式将资源属性数据包封装成资源属性数据,并发送至消息中间件中预先设置的第二消息队列中,客户端可以直接从消息中间件中预先设置的第二消息队列中获取相应的资源属性数据,不需要建立每个采集服务与客户端之间的通讯链路,实现了客户端与采集服务之间的解耦,降低客户端在获取资源属性数据时的复杂度,且客户端获取到资源属性数据中的数据的数据格式均是统一的,降低了客户端对所获取的资源属性数据进行处理的出错率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程示意图;
图2为本发明实施例提供的一种预先设置的数据分发规则与采集服务之间的对应关系示例图;
图3为本发明实施例提供的另一种数据处理方法的流程示意图;
图4为本发明实施例提供的一种数据处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
参见图1,示出了本发明实施例提供的一种数据处理方法的流程示意图,该数据处理方法应用于数据交换中心,该数据处理方法具体包括以下步骤:
S101:当监听到第一消息队列中存在数据订阅请求时,从第一消息队列中获取所述数据订阅请求,其中,第一消息队列预先设置于消息中间件中,数据订阅请求是客户端基于预先设置的统一数据格式发送的,数据订阅请求包括订阅内容。
在步骤S101中,预先设置有统一数据格式,预先设置的统一数据格式是基于protobuf的消息协议预先设置的。预先在消息中间件中设置数据交换中心监听的消息队列(为了便于区分,将消息中间件中预先设置的数据交换中心监听的消息队列称为第一消息队列),以便数据交换中心通过监听第一消息队列及时获取客户端基于预先设置的统一数据格式发送的数据订阅请求。
在具体执行步骤S101的过程中,客户端基于预先设置的统一数据格式将数据订阅请求发送至第一消息队列中,以便数据交换中心在监听到第一消息队列中存在数据订阅请求时,从第一消息队列中获取数据订阅请求。
在本申请实施例中,数据订阅请求至少包括订阅内容,数据订阅请求包括的订阅内容可以为实时数据、诊断数据、模型数据或者报警数据。其中,模型是用于定义与行业相关的生产及过程,使会话初始协议(Session Initiation Protocol,SIP)可以以一种对应实际生产结构的方式实现特定的行业系统。这种对应方式在SIP平台中被称为“组织模型”(Organization Modal, OM),这种模型的泛型表示被称为“组织模板”(OrganizationTemplate, OT);模型数据可以为变量,变量是模型空间原生的一类资源,它用于存储模型在运行过程中的状态。为了方便应用,模型空间中的变量可以直接关联至网络空间中指定设备提供的变量,称为“设备变量”,不与网络空间中指定设备关联的变更则被称为“原生变量”。
需要说明的是,数据订阅请求还可以包括发送该数据订阅请求的客户端的基本信息。
S102:调用目标采集服务对应的目标数据分发规则将数据订阅请求分发给目标采集服务,其中,目标采集服务为与订阅内容匹配的采集服务,数据交换中心预先集成有多个采集服务。
在步骤S102中,数据交换中心中预先集成有多个采集服务。其中,数据交换中心中集成的采集服务为实时数据服务、诊断子系统服务、模型服务、实时报警服务等等。
其中,实时数据服务提供测点的实时数据,支持100万点数据处理、100个客户端连接、按照分组订阅,并且每个分组支持10万点订阅上线,还支持不同分组订阅相同的位号。
诊断子系统服务是SIP平台的应用级服务,可以加载设备配置组态的诊断数据,订阅组态所有控制器的诊断数据,通过DDA服务接收来自控制器、网络设备、仪表、控制系统产生的诊断数据,并向数据交换中心推送诊断数据,还能够存储诊断数据,以及提供查询诊断历史数据的接口。
模型服务可以为各运行期服务提供获取模型数据的接口服务,具体的,提供查询报警定义的接口,供报警服务加载报警数据;提供查询事件定义的接口,供事件服务加载事件数据;提供查询日志定义的接口,供日志服务加载日志数据;提供查询模型资源树的接口,供监控服务生成画面树;提供查询画面详情的接口,供监控客户端生成画面;提供查询变量类型的接口,供监控客户端生成变量选择器;提供查询变量定义的接口,供实时数据服务创建变量对象;还能够响应组态发布事件,更新模型数据,以及提供TCP协议接口和HTTP协议接口。
报警服务可以加载报警数据,接收位号实时数据,实时计算并产生报警信息,将产生的报警信息实时分发给客户端;支持报警确认、手自动搁置、自动抑制等操作,以及客户端订阅报警。还可以实时记录报警信息,支持按报警源、报警等级等条件查询报警,以及接收来自DDA等第三方的报警数据。
在步骤S102中,针对实时数据服务、诊断子系统服务、模型服务、实时报警,预先设置有每个采集服务对应的数据分发规则。预先为实时数据服务、诊断子系统服务、模型服务以及实时报警设置的对应的数据分发规则如图2所示。
在具体执行步骤S102的过程中,在从第一消息队列中获取到数据订阅请求后,从预先集成的多个采集服务中确定与数据订阅请求的订阅内容匹配的采集服务(为了便于区分,将与数据订阅请求的订阅内容匹配的采集服务称为目标采集服务),进而根据预先设置的采集服务与数据分发规则之间的对应关系,确定与目标采集服务对应的目标数据分发规则,以便调用所确定的目标数据分发规则将该数据订阅请求分发给目标采集服务。
比如,预先设置的采集服务与数据分发规则之间的对应关系如图2所示,若从第一消息队列中获取到的数据订阅请求的订阅内容诊断数据,进而可以确定与该数据订阅请求的订阅内容匹配的采集服务为诊断服务(目标采集服务),从图2中可以知道,与诊断服务(目标采集服务)对应的目标数据分发规则为“diag://”,进而调用目标数据分发规则(“diag://”)将该数据订阅请求分发给诊断服务(目标采集服务)。
S103:接收目标采集服务基于数据订阅请求的订阅内容采集的资源属性数据包。
在具体执行步骤S103的过程中,在调用目标数据分发规则将数据订阅请求分发给目标采集服务后,目标采集服务可以根据数据订阅请求中的订阅内容采集相应的资源属性数据包,并将采集到的资源属性数据包返回给数据交换中心。
在本申请实施例中,数据交换中心与采集服务是通过TCP协议进行通讯的,当数据交换中心与采集服务之间的通讯断开时,数据交换中心可以重新生成新的TCP协议,进而根据重新生成的TCP协议与采集服务进行通讯。
S104:基于预先设置的统一数据格式将资源属性数据包封装成目标资源属性数据。
在具体执行步骤S104的过程中,在接收到目标采集服务基于数据订阅请求的订阅内容采集的资源属性数据包后,对接收到的资源属性数据包进行解析,进而提取出资源属性数据包中的业务数据,并根据预先设置的统一数据格式对提取出的业务数据进行封装得到目标资源属性数据。
S105:将目标资源属性数据发送至消息中间件中预先设置的第二消息队列,以便客户端从所述消息中间件中的第二消息队列中获取目标资源属性数据。
在具体执行步骤S105的过程中,预先在消息中间件中设置客户端监听的消息队列(为了便于区分,将客户端监听的的消息队列称为第二消息队列)。在基于预先设置的统一数据格式将资源属性数据包封装成目标资源属性数据后,将目标资源属性数据发送至消息中间件中的第二消息队列,以便客户端在监听到第二消息队列中存在目标资源属性数据时,从第二消息队列中获取相应的目标资源属性数据。
需要说明的是,客户端可以采用mqtt协议从第二消息队列中获取相应的目标资源属性数据。
进一步的,在本申请实施例中,若目标采集服务发生异常,或者数据交换中心发生异常,将数据订阅请求转发给与数据交换中心处于同一分布式控制系统的其他任一数据交换中心,其他任一数据交换中心在接收到该数据订阅请求后,执行本发明实施例提供的数据处理方法,将得到的目标资源属性数据发送消息中间件的第二消息队列中,以便客户端在监听到第二消息队列中存在目标资源属性数据时,从第二消息队列中获取相应的目标资源属性数据,能够在目标采集服务发生异常,或者数据交换中心发生异常时,不影响客户端获取相应的目标资源属性数据。
进一步的,在本申请实施例中,还可以记录所获取的数据订阅请求,可以在客户错误关闭或者退出客户端,或者客户端发生异常自动退出时,在下次接收该客户端发送的含有相同订阅内容的数据订阅请求时,自动将之前封装好的目标资源属性数据发送至消息中间件的第二消息队列中,以便客户端可以快速的获取到相应的目标资源属性数据。
本发明提供一种数据处理方法,应用于数据交换中心,预先设置了统一数据格式,在数据交换中心中集成了多个采集服务,以及预先设置了每个采集服务对应的数据分发规则,客户端通过预先设置的统一数据格式将数据订阅请求发送至消息中间件中预先设置的第一消息队列后,数据交换中心便可通过相应的数据分发规则将消息队列中的数据订阅请求分发给相应的采集服务,并在采集服务返回相应的资源属性数据包后,根据预先设置的统一数据格式将资源属性数据包封装成资源属性数据,并发送至消息中间件中预先设置的第二消息队列中,客户端可以直接从消息中间件中预先设置的第二消息队列中获取相应的资源属性数据,不需要建立每个采集服务与客户端之间的通讯链路,实现了客户端与采集服务之间的解耦,降低客户端在获取资源属性数据时的复杂度,且客户端获取到资源属性数据中的数据的数据格式均是统一的,降低了客户端对所获取的资源属性数据进行处理的出错率。
进一步的,在本申请实施例中,还可以在数据交换中心中集成历史数据服务,当客户端发送的数据订阅请求的订阅内容对应的采集服务为历史数据服务时,可通过以下方式获取相应的资源属性数据,参见图3,示出了本发明实施例提供的另一种数据处理方法的流程示意图,该数据处理方法应用于数据交换中心,该数据处理方法具体包括以下步骤:
S301:接收客户端发送的数据订阅请求,其中,数据订阅请求中的订阅内容对应的采集服务为预设采集服务。
在具体执行步骤S301的过程中,预设的采集服务为历史数据服务,若客户想要发送订阅内容为历史数据的数据订阅请求,客户端可以通过HTTP协议将该数据订阅请求发送给数据交换中心。
S302:将数据订阅请求发送给预设采集服务。
在具体执行步骤S302的过程中,在接收到客户端基于预先设置的统一数据格式发送的订阅内容为历史数据的数据订阅请求后,可以通过grpc进程将该数据订阅请求发送给预设采集服务,即通过grpc进程将该数据订阅请求发送给历史数据服务。
S303:接收预设采集服务基于数据订阅请求的订阅内容采集的资源属性数据包。
在具体执行步骤S303的过程中,将数据订阅请求发送给历史数据服务(预设采集服务)后,历史数据服务(预设采集服务)根据数据订阅请求中的订阅内容(历史数据)采集相应的资源属性数据包,并将采集的资源属性数据包返回给数据交换中心。
在本申请实施例中,数据交换中心与历史数据服务是通过TCP协议进行通讯的,当数据交换中心与历史数据服务之间的通讯断开时,数据交换中心可以重新生成新的TCP协议,进而根据重新生成的TCP协议与历史数据服务进行通讯。
S304:基于预先设置的统一数据格式将资源属性数据包封装成目标资源属性数据,并将目标资源属性数据发送给客户端。
在具体执行步骤S304的过程中,在接收到预设采集服务(历史数据服务)基于数据订阅请求的订阅内容采集的资源属性数据包后,对接收到的资源属性数据包进行解析,进而提取出资源属性数据包中的业务数据,并根据预先设置的统一数据格式对提取出的业务数据进行封装得到目标资源属性数据,并通过restful api接口将目标资源属性数据发送给客户端。
在本申请实施例中,数据交换中心当接收到客户端发送的数据订阅请求时,将该数据订阅请求发送给该数据订阅请求的订阅内容匹配的预设采集服务,以便该预设采集服务基于该数据订阅请求的订阅内容采集相应的资源属性数据包;当接收到预设采集服务返回的资源属性数据包时,基于预先设置的统一数据格式对该资源属性数据包进行封装得到目标资源属性数据,并将该目标资源属性数据发送给客户端,不需要建立采集服务与客户端之间的通讯链路,实现了客户端与采集服务之间的解耦,降低客户端在获取资源属性数据时的复杂度,且客户端获取到资源属性数据中的数据的数据格式均是统一的,降低了客户端对所获取的资源属性数据进行处理的出错率。
基于上述本发明实施例提供的一种数据处理方法,相应的,本发明实施例还提供一种数据处理系统,该数据处理系统应用于数据交换中心,参见图4,示出了本发明实施例提供的一种数据处理系统的结构示意图,该数据处理系统,包括:
监听单元41,用于当监听到第一消息队列中存在数据订阅请求时,从第一消息队列中获取数据订阅请求,其中,第一消息队列预先设置于消息中间件中,数据订阅请求是客户端基于预先设置的统一数据格式发送的,数据订阅请求包括订阅内容;
调用单元42,用于调用目标采集服务对应的目标数据分发规则将数据订阅请求分发给目标采集服务,其中,目标采集服务为与订阅内容匹配的采集服务,数据交换中心预先集成有多个采集服务;
第一接收单元43,用于接收目标采集服务基于数据订阅请求的订阅内容采集的资源属性数据包;
第一封装单元44,用于基于预先设置的统一数据格式将资源属性数据包封装成目标资源属性数据;
第一发送单元45,用于将目标资源属性数据发送至消息中间件中预先设置的第二消息队列,以便客户端从消息中间件中的第二消息队列中获取目标资源属性数据。
上述本发明实施例公开的数据处理系统中各个单元具体的原理和执行过程,与上述本发明实施例公开的数据处理方法相同,可参见上述本发明实施例公开的数据处理方法中相应的部分,这里不再进行赘述。
本发明提供一种数据处理系统,应用于数据交换中心,预先设置了统一数据格式,在数据交换中心中集成了多个采集服务,以及预先设置了每个采集服务对应的数据分发规则,客户端通过预先设置的统一数据格式将数据订阅请求发送至消息中间件中预先设置的第一消息队列后,数据交换中心便可通过相应的数据分发规则将消息队列中的数据订阅请求分发给相应的采集服务,并在采集服务返回相应的资源属性数据包后,根据预先设置的统一数据格式将资源属性数据包封装成资源属性数据,并发送至消息中间件中预先设置的第二消息队列中,客户端可以直接从消息中间件中预先设置的第二消息队列中获取相应的资源属性数据,不需要建立每个采集服务与客户端之间的通讯链路,实现了客户端与采集服务之间的解耦,降低客户端在获取资源属性数据时的复杂度,且客户端获取到资源属性数据中的数据的数据格式均是统一的,降低了客户端对所获取的资源属性数据进行处理的出错率。
进一步的,本发明实施例提供的数据处理系统还包括:
获取单元,用于接收客户端发送的数据订阅请求,其中,数据订阅请求中的订阅内容对应的采集服务为预设采集服务;
第二发送单元,用于将数据订阅请求发送给预设采集服务;
第二接收单元,用于接收预设采集服务基于数据订阅请求的订阅内容采集的资源属性数据包;
第二封装单元,用于基于预先设置的统一数据格式将资源属性数据包封装成目标资源属性数据,并将目标资源属性数据发送给客户端。
优选的,调用单元,包括:
确定单元,用于根据预先设置的数据分发规则和采集服务之间的对应关系,确定与目标采集服务对应的目标数据分发规则;
调用子单元,用于调用目标数据分发规则将数据订阅请求分发给目标采集服务。
优选的,第一封装单元,包括:
解析单元,用于对资源属性数据包进行解析,提取出业务数据;
第三封装单元,用于基于预先设置的统一数据格式将业务数据封装成目标资源属性数据。
进一步的,本发明实施例提供的数据处理系统还包括:
转发单元,用于若目标采集服务发生异常,或者数据交换中心发生异常,将数据订阅请求转发给与数据交换中心处于同一分布式控制系统的其他任一数据交换中心。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理方法,其特征在于,应用于数据交换中心,所述方法包括:
当监听到第一消息队列中存在数据订阅请求时,从所述第一消息队列中获取所述数据订阅请求,其中,所述第一消息队列预先设置于消息中间件中,所述数据订阅请求是客户端基于预先设置的统一数据格式发送的,所述数据订阅请求包括订阅内容;
调用目标采集服务对应的目标数据分发规则将所述数据订阅请求分发给所述目标采集服务,其中,所述目标采集服务为与所述订阅内容匹配的采集服务,所述数据交换中心预先集成有多个所述采集服务;
接收所述目标采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包;
基于所述预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据;
将所述目标资源属性数据发送至所述消息中间件中预先设置的第二消息队列,以便所述客户端从所述消息中间件中的所述第二消息队列中获取所述目标资源属性数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述客户端发送的数据订阅请求,其中,所述数据订阅请求中的订阅内容对应的采集服务为预设采集服务;
将所述数据订阅请求发送给所述预设采集服务;
接收所述预设采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包;
基于所述预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据,并将所述目标资源属性数据发送给所述客户端。
3.根据权利要求1所述的方法,其特征在于,所述调用目标采集服务对应的目标数据分发规则将所述数据订阅请求分发给所述目标采集服务,包括:
根据预先设置的数据分发规则和采集服务之间的对应关系,确定与目标采集服务对应的目标数据分发规则;
调用所述目标数据分发规则将所述数据订阅请求分发给所述目标采集服务。
4.根据权利要求1所述的方法,其特征在于,所述基于预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据,包括:
对所述资源属性数据包进行解析,提取出业务数据;
基于所述预先设置的统一数据格式将所述业务数据封装成目标资源属性数据。
5.根据权利要求1所述的方法,其特征在于,在接收所述目标采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包之前,所述方法还包括:
若所述目标采集服务发生异常,或者所述数据交换中心发生异常,将所述数据订阅请求转发给与所述数据交换中心处于同一分布式控制系统的其他任一数据交换中心。
6.一种数据处理系统,其特征在于,应用于数据交换中心,所述系统包括:
监听单元,用于当监听到第一消息队列中存在数据订阅请求时,从所述第一消息队列中获取所述数据订阅请求,其中,所述第一消息队列预先设置于消息中间件中,所述数据订阅请求是客户端基于预先设置的统一数据格式发送的,所述数据订阅请求包括订阅内容;
调用单元,用于调用目标采集服务对应的目标数据分发规则将所述数据订阅请求分发给所述目标采集服务,其中,所述目标采集服务为与所述订阅内容匹配的采集服务,所述数据交换中心预先集成有多个所述采集服务;
第一接收单元,用于接收所述目标采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包;
第一封装单元,用于基于所述预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据;
第一发送单元,用于将所述目标资源属性数据发送至所述消息中间件中预先设置的第二消息队列,以便所述客户端从所述消息中间件中的所述第二消息队列中获取所述目标资源属性数据。
7.根据权利要求6所述的系统,其特征在于,所述系统还包括:
获取单元,用于接收所述客户端发送的数据订阅请求,其中,所述数据订阅请求中的订阅内容对应的采集服务为预设采集服务;
第二发送单元,用于将所述数据订阅请求发送给所述预设采集服务;
第二接收单元,用于接收所述预设采集服务基于所述数据订阅请求的订阅内容采集的资源属性数据包;
第二封装单元,用于基于所述预先设置的统一数据格式将所述资源属性数据包封装成目标资源属性数据,并将所述目标资源属性数据发送给所述客户端。
8.根据权利要求6所述的系统,其特征在于,所述调用单元,包括:
确定单元,用于根据预先设置的数据分发规则和采集服务之间的对应关系,确定与目标采集服务对应的目标数据分发规则;
调用子单元,用于调用所述目标数据分发规则将所述数据订阅请求分发给所述目标采集服务。
9.根据权利要求6所述的系统,其特征在于,所述第一封装单元,包括:
解析单元,用于对所述资源属性数据包进行解析,提取出业务数据;
第三封装单元,用于基于所述预先设置的统一数据格式将所述业务数据封装成目标资源属性数据。
10.根据权利要求6所述的系统,其特征在于,所述系统还包括:
转发单元,用于若所述目标采集服务发生异常,或者所述数据交换中心发生异常,将所述数据订阅请求转发给与所述数据交换中心处于同一分布式控制系统的其他任一数据交换中心。
CN202110200074.XA 2021-02-23 2021-02-23 一种数据处理方法及系统 Active CN112671933B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110200074.XA CN112671933B (zh) 2021-02-23 2021-02-23 一种数据处理方法及系统
PCT/CN2021/125578 WO2022179140A1 (zh) 2021-02-23 2021-10-22 一种数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110200074.XA CN112671933B (zh) 2021-02-23 2021-02-23 一种数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN112671933A CN112671933A (zh) 2021-04-16
CN112671933B true CN112671933B (zh) 2022-04-26

Family

ID=75399318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110200074.XA Active CN112671933B (zh) 2021-02-23 2021-02-23 一种数据处理方法及系统

Country Status (2)

Country Link
CN (1) CN112671933B (zh)
WO (1) WO2022179140A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671933B (zh) * 2021-02-23 2022-04-26 浙江中控技术股份有限公司 一种数据处理方法及系统
CN113098978B (zh) * 2021-04-21 2023-04-07 上海微盟企业发展有限公司 一种数据传输方法、装置及介质
CN115150466B (zh) * 2022-06-29 2023-08-15 北京百度网讯科技有限公司 一种数据分发的实现方法、装置、电子设备及存储介质
CN115567577A (zh) * 2022-09-22 2023-01-03 三一海洋重工有限公司 起重机自动化数据通信系统、方法及起重机
CN115344331B (zh) * 2022-10-14 2023-02-10 杭州城市大脑有限公司 基于城市大脑一网统管的接口数据动态提取方法及装置
CN115361348B (zh) * 2022-10-19 2023-01-10 理工全盛(北京)科技有限公司 由数据采集设备执行的与web浏览器通信的方法
CN115580619B (zh) * 2022-11-25 2023-03-10 江苏金恒信息科技股份有限公司 数据处理系统和数据处理方法
CN115766689A (zh) * 2023-01-10 2023-03-07 理工全盛(北京)科技有限公司 web服务端与无人机探测及反制设备双向通信的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472042A (zh) * 2016-01-15 2016-04-06 中煤电气有限公司 Web端控制的消息中间件系统及其数据传送方法
CN105743812A (zh) * 2014-12-26 2016-07-06 英特尔公司 在单个连接上多路复用许多客户端流
CN106487560A (zh) * 2015-08-31 2017-03-08 北京国双科技有限公司 一种服务器配置信息的采集方法、装置及系统
CN107332787A (zh) * 2017-06-29 2017-11-07 北京奇艺世纪科技有限公司 一种消息分发方法和装置
CN107493251A (zh) * 2016-06-12 2017-12-19 深圳市斑点猫信息技术有限公司 一种登录目标服务器的方法及终端
CN107819824A (zh) * 2017-10-09 2018-03-20 中国电子科技集团公司第二十八研究所 一种城市数据开放与信息服务系统及服务方法
CN108076135A (zh) * 2017-10-31 2018-05-25 中国银联股份有限公司 基于安全模块的终端设备统一管理系统及其管理方法
CN110247971A (zh) * 2019-06-17 2019-09-17 福建天泉教育科技有限公司 减少消息中间件连接数量的方法及其系统
CN110912947A (zh) * 2018-09-14 2020-03-24 西安西拓电气股份有限公司 数据处理方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015488A1 (en) * 2003-05-30 2005-01-20 Pavan Bayyapu Selectively managing data conveyance between computing devices
US9800648B2 (en) * 2015-03-05 2017-10-24 International Business Machines Corporation Channel ownership in a publish-subscribe system
US10432704B2 (en) * 2016-03-23 2019-10-01 Sap Se Translation of messages using sensor-specific and unified protocols
CN106230896B (zh) * 2016-07-18 2019-09-03 深圳国泰安教育技术有限公司 一种消息推送方法、装置及系统
CN107577820A (zh) * 2017-09-30 2018-01-12 中国联合网络通信集团有限公司 数据处理的方法、设备及系统
CN109660607B (zh) * 2018-12-05 2021-08-27 北京金山云网络技术有限公司 一种业务请求分发方法、接收方法、装置及服务器集群
CN112671933B (zh) * 2021-02-23 2022-04-26 浙江中控技术股份有限公司 一种数据处理方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105743812A (zh) * 2014-12-26 2016-07-06 英特尔公司 在单个连接上多路复用许多客户端流
CN106487560A (zh) * 2015-08-31 2017-03-08 北京国双科技有限公司 一种服务器配置信息的采集方法、装置及系统
CN105472042A (zh) * 2016-01-15 2016-04-06 中煤电气有限公司 Web端控制的消息中间件系统及其数据传送方法
CN107493251A (zh) * 2016-06-12 2017-12-19 深圳市斑点猫信息技术有限公司 一种登录目标服务器的方法及终端
CN107332787A (zh) * 2017-06-29 2017-11-07 北京奇艺世纪科技有限公司 一种消息分发方法和装置
CN107819824A (zh) * 2017-10-09 2018-03-20 中国电子科技集团公司第二十八研究所 一种城市数据开放与信息服务系统及服务方法
CN108076135A (zh) * 2017-10-31 2018-05-25 中国银联股份有限公司 基于安全模块的终端设备统一管理系统及其管理方法
CN110912947A (zh) * 2018-09-14 2020-03-24 西安西拓电气股份有限公司 数据处理方法及装置
CN110247971A (zh) * 2019-06-17 2019-09-17 福建天泉教育科技有限公司 减少消息中间件连接数量的方法及其系统

Also Published As

Publication number Publication date
WO2022179140A1 (zh) 2022-09-01
CN112671933A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN112671933B (zh) 一种数据处理方法及系统
WO2002103521A1 (en) Real-time streaming media measurement system and method
US10834033B2 (en) Method and system for transferring messages between messaging systems
CN102271052A (zh) 网络系统、网络管理装置及网关装置
US20240056463A1 (en) Method and system to detect abnormal message transactions on a network
CN115834699A (zh) 一种服务调用链跟踪实现方法及系统
CN113010379A (zh) 电子设备监控系统
CN112381346A (zh) 一种基于api网关的产品工艺配方参数下发校验方法及系统
CN113848834B (zh) 一种基于边云协同的车间设备接入系统及方法
CN112714153B (zh) 基于物联网系统的兼容多种tcp的处理方法及装置
CN113765719A (zh) 物联网接入统一管理监控维护的即时实现方法
CN115883639A (zh) 一种web实时消息推送方法及装置、设备、存储介质
CN107612768B (zh) 基于Windows本地数据库访问流量采集方法及系统
CN105323098B (zh) 一种告警消息处理方法、装置及系统
CN106656543B (zh) 调度自动化系统中jms通道链接的监视及告警方法及系统
CN116055577B (zh) 协议转换方法、装置、设备及存储介质
CN112671822B (zh) 服务请求处理方法、装置、存储介质、服务器和系统
CN114157725B (zh) 设备联动的方法、装置、服务器、电子设备以及存储介质
CN116233178A (zh) 用于拧紧工件的数据处理系统
CN114244698B (zh) 一种基于mqtt的cpe管理配置方法
CN109314651B (zh) 用于高效http管理流程的面向管理信息库的协议
CN111526087B (zh) 一种基于物联网平台对各式网关的自动接入方法
JP3984181B2 (ja) エラー情報通知および処理方法
CN117557211A (zh) 基于流程自动化的财务业务智能处理方法、平台及介质
CN116566848A (zh) 一种针对运维管理系统的数据传输方法和采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant