CN113190571A - 一种基于消息采集和多维度分布的系统 - Google Patents

一种基于消息采集和多维度分布的系统 Download PDF

Info

Publication number
CN113190571A
CN113190571A CN202110564578.XA CN202110564578A CN113190571A CN 113190571 A CN113190571 A CN 113190571A CN 202110564578 A CN202110564578 A CN 202110564578A CN 113190571 A CN113190571 A CN 113190571A
Authority
CN
China
Prior art keywords
message
data
unit
service cluster
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110564578.XA
Other languages
English (en)
Other versions
CN113190571B (zh
Inventor
黄海平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuntong Intelligent Storage Technology Co ltd
Original Assignee
Shenzhen Kuntong Intelligent Storage Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuntong Intelligent Storage Technology Co ltd filed Critical Shenzhen Kuntong Intelligent Storage Technology Co ltd
Priority to CN202110564578.XA priority Critical patent/CN113190571B/zh
Publication of CN113190571A publication Critical patent/CN113190571A/zh
Application granted granted Critical
Publication of CN113190571B publication Critical patent/CN113190571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开一种基于消息采集和多维度分布的系统，设有消息采集服务集群、消息分发服务集群、业务服务集群和数据校验服务集群；消息采集服务集群接收设备上传的数据并对数据进行解密校验，解密校验之后的数据发送给消息分发服务集群；消息分发服务集群将获取解密校验之后的数据并进行填充处理，将填充之后的数据通过消息分发器发送给业务服务集群，业务服务集群通过消息分发服务集群获得拉取业务消息，本方案提供可承载高并发、高性能可集群部署的消息采集服务，可接入第三方消息中间件，增加服务性能和数据的安全性，分发服务可存储元数据，同时按照业务需要填充业务数据，自定义分发维度将消息分发给其他业务服务，对于异常消息做预警。

Description

一种基于消息采集和多维度分布的系统
技术领域
本发明属于互联网领域，尤其涉及到一种基于消息采集和多维度分布的系统。
背景技术
随着物联网的发展，设备和后台服务器通信要求越来越高，同时设备会不定期或时刻往服务器发送数据，有些数据可能非常重要，所以对通信的安全性、稳定性及数据的准确性要求很高，同时服务器接收数据所需承载的并发量也极大，并且后台服务收到消息后，需要先对数据进行校验、幂等、数据填充等，其中如果出现问题需要发出预警通知相关人员，没有问题后会按照多种维度进行数据的分发，维度可自定义，数据分发后还需要检查数据在其他业务服务中是否正确接收，基于现有的消息采集和消息分发的存在的问题，急需一种解决上述问题的一种基于消息采集和多维度分布的系统。
发明内容
本发明提供一种基于消息采集和多维度分布的系统,解决的上述问题。
为解决上述问题，本发明提供的技术方案如下：为解决上述问题，本发明提供的技术方案如下：一种基于消息采集和多维度分布的系统，设有消息采集服务集群、消息分发服务集群、业务服务集群和数据校验服务集群；消息采集服务集群接收设备上传的数据并对数据进行解密校验，解密校验之后的数据发送给消息分发服务集群；消息分发服务集群将获取解密校验之后的数据并进行填充处理，将填充之后的数据通过消息分发器发送给业务服务集群，业务服务集群通过消息分发服务集群获得拉取业务消息，消息分发服务集群通过数据校验服务集群获得相应的补偿消息。
优选的，所述消息采集服务集群设有数据接收单元、解密校验单元、预警单元和消息中间件；数据接收单元接收设备上的数据；解密校验单元对数据接收单元中的数据进行解密校验：若校验失败，则将数据直接打回，并将校验失败消息发送给预警单元，预警单元则发出预警通知消息，并进行问题排查；若校验成功，则将数据按照主题先发送给消息中间件，同时还会按照设备编号的维度再次发送一条库存变更消息给消息中间件的指定分区，消息中间件将消息上传至服务器中，以保证设备维度上的消息顺序，消息采集服务可抗高并发，支持集群部署。
进一步，解密校验：消息采集服务默认一个公钥（32位字符串组成），公钥会给到安卓开发员嵌入到机器程序中。机器上传数据会将公钥一起上传，同时上传的数据是经过公钥加密，解密校验后台先校验公钥是否相等，如果相等，解密校验后台并利用公钥解密，将解密的数据通过消息中间件接收。
优选的，主题包括不同业务维度的主题，是根据公司编号维度、机器编号维度、机器类型编号维度和时间日期维度的任意组合形成的一个主题。
优选的，库存变更顺序是指同一台设备要求上传的交易消息是有序的，这样可以保证后台服务得到的库存变更记录有序。
例如：通过在消息采集服务集群中的消息中间件收到数据后，数据按照当前机器的编号作为发送到服务器中kafka队列的key，key经过hash后会得到一个唯一值，这样保证了同一个设备的消息会发送到kafka的同一个分区。
优选的，消息分发服务集群设有原始数据单元、幂等单元、填充单元、全量数据单元和消息分发器；在数据进入到原始数据单元之前，需要经过幂等单元判断：若幂等单元失败时，发送幂等失败信息，幂等失败的消息会重新发回到服务器中的延迟消息队列，可自定义延迟时间；当幂等单元成功时，数据将保存在原始数据单元中；填充单元将对原始数据单元中的数据进行填充，并将填充后的数据分别发送给全量数据单元和数据大屏；消息分发器将全量数据单元中的多种维度的业务数据通过分发服务器发送给业务服务集群。
优选的，消息分发服务集群还设有补偿重发单元，当数据校验服务集群中的补偿消息通过分发服务器传输给补偿重发单元，补偿重发单元将补偿后的信息通过分发服务器发给业务服务集群。
优选的，数据校验服务集群设有比对单元、补偿单元和警报单元；比对单元会定时的分发校验信息，并与校验业务服务集群收到的业务数据进行比对校验：如果不一致比对将信息发送给补偿单元和警报单元，补偿单元发出的补偿消息和警报单元发出的警报信息两者都发送给相关人员。
补偿信息是由于下游业务系统处理某条消息失败，被数据校验服务检测到，数据校验服务就发送一条数据重新分发的消息通知给数据分发服务集群，分发服务集群收到通知后解析消息，并从当前分发服务数据库查询失败的那条消息重新分发给下游服务。
相对于现有技术的有益效果是，采用上述方案，本发明1.使用微服务架构模式，一站式解决消息采集、解密、接入第三方消息队列、原始数据保存、数据填充、数据分发、数据一致性校验、异常告警、数据补偿等问题；
2.独立消息采集服务用于设备数据的采集、解密和第三方消息中间件接入，服务支持集群、预警和高并发；
3.数据分发服务用于原始数据存储、数据填充、微服务内部数据接入、数据对维度分发、数据补偿发送、异常数据告警等，支持集群部署；
4.数据一致性校验服务，定期查询其他业务服务收到的分发消息是否一致，若不一致可发送补偿消息。
通过微服务架构模式，基于多种领域模型构建服务；提供了可承载高并发、高性能可集群部署的消息采集服务，支持自定义密钥，可接入第三方消息中间件，大大增加了服务性能和数据的安全性。分发服务可存储元数据，同时可按照业务需要填充各种业务数据，自定义分发维度将消息分发给其他业务服务，又支持微服务内部消息接收、补偿消息发送、消息重新分发等，对于异常消息可做预警。一致性校验服务可保证业务服务消息的完整性，不一致情况将发送补偿消息并发出预警通知相关人员排查。
附图说明
为了更清楚的说明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需使用的附图作简单介绍，显而易见的，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图之一；
图2为本发明的流程示意图之二；
图3为本发明的流程示意图之三；
图4为本发明的流程示意图之四。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本说明书所使用的术语“固定”、“一体成型”、“左”、“右”以及类似的表述只是为了说明的目的，在图中，结构相似的单元是用以相同标号标示。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。
如图1-4所示，本发明的一个实施例是：一种基于消息采集和多维度分布的系统，设有消息采集服务集群、消息分发服务集群、业务服务集群和数据校验服务集群；消息采集服务集群接收设备上传的数据并对数据进行解密校验，解密校验之后的数据发送给消息分发服务集群；消息分发服务集群将获取解密校验之后的数据并进行填充处理，将填充之后的数据通过消息分发器发送给业务服务集群，业务服务集群通过消息分发服务集群获得拉取业务消息，消息分发服务集群通过数据校验服务集群获得相应的补偿消息。
优选的，所述消息采集服务集群设有数据接收单元、解密校验单元、预警单元和消息中间件；数据接收单元接收设备上的数据；解密校验单元对数据接收单元中的数据进行解密校验：若校验失败，则将数据直接打回，并将校验失败消息发送给预警单元，预警单元则发出预警通知消息，并进行问题排查；若校验成功，则将数据按照主题先发送给消息中间件，同时还会按照设备编号的维度再次发送一条库存变更消息给消息中间件的指定分区，消息中间件将消息上传至服务器中，以保证设备维度上的消息顺序，消息采集服务可抗高并发，支持集群部署。
进一步，解密校验：消息采集服务默认一个公钥（32位字符串组成），公钥会给到安卓开发员嵌入到机器程序中。机器上传数据会将公钥一起上传，同时上传的数据是经过公钥加密，解密校验后台先校验公钥是否相等，如果相等，解密校验后台并利用公钥解密，将解密的数据通过消息中间件接收。
优选的，主题包括不同业务维度的主题，是根据公司编号维度、机器编号维度、机器类型编号维度和时间日期维度的任意组合形成的一个主题。
优选的，库存变更顺序是指同一台设备要求上传的交易消息是有序的，这样可以保证后台服务得到的库存变更记录有序。
例如：通过在消息采集服务集群中的消息中间件收到数据后，数据按照当前机器的编号作为发送到服务器中kafka队列的key，key经过hash后会得到一个唯一值，这样保证了同一个设备的消息会发送到kafka的同一个分区。
优选的，消息分发服务集群设有原始数据单元、幂等单元、填充单元、全量数据单元和消息分发器；在数据进入到原始数据单元之前，需要经过幂等单元判断：若幂等单元失败时，发送幂等失败信息，幂等失败的消息会重新发回到服务器中的延迟消息队列，可自定义延迟时间；当幂等单元成功时，数据将保存在原始数据单元中；填充单元将对原始数据单元中的数据进行填充，并将填充后的数据分别发送给全量数据单元和数据大屏；消息分发器将全量数据单元中的多种维度的业务数据通过分发服务器发送给业务服务集群。
优选的，消息分发服务集群还设有补偿重发单元，当数据校验服务集群中的补偿消息通过分发服务器传输给补偿重发单元，补偿重发单元将补偿后的信息通过分发服务器发给业务服务集群。
优选的，数据校验服务集群设有比对单元、补偿单元和警报单元；比对单元会定时的分发校验信息，并与校验业务服务集群收到的业务数据进行比对校验：如果不一致比对将信息发送给补偿单元和警报单元，补偿单元发出的补偿消息和警报单元发出的警报信息两者都发送给相关人员。
补偿信息是由于下游业务系统处理某条消息失败，被数据校验服务检测到，数据校验服务就发送一条数据重新分发的消息通知给数据分发服务集群，分发服务集群收到通知后解析消息，并从当前分发服务数据库查询失败的那条消息重新分发给下游服务。
实施例2：以超市为例：
设备共计3台，编号为SY1、SY2、SY3；服务器一台；
编号为SY1、SY2、SY3三台设备的数据传送给消息采集服务集群中的数据接收单元，解密校验单元对数据接收单元中的数据进行解密校验，先检验再解密（一个公钥（32位字符串组成），公钥会给到安卓开发员嵌入到机器程序中。机器上传消息会将公钥一起上传，同时上传的消息是经过公钥加密，后台先校验公钥是否相等，若解密失败，则将数据直接打回，并将解密失败消息发送给预警单元，预警单元则发出预警通知消息，并有工作人员进行问题排查；如果相等则接收消息并利用公钥解密，解密校验成功之后，则将按照SY1、SY2、SY3机器编码的主题将数据发送给消息中间件，消息中间件再将主题数据的内容按照产品的大类、小类等不同业务维度发送给服务器，并且消息中间件将库存变更顺序的数据同样发送给服务器中；
消息分发器对服务器中的相关联的不同业务维度的主题数据读取，在读取的过程中，首先需要对数据进行幂等判断，当通过幂等单元的判断结果是成功时，将主题数据上传到原始数据单元内，填充单元将原始数据单元中的数据进行各种业务字段的填充，形成新的填充数据并入库到全量数据单元中，消息分发器将填充数据发送给服务器；当幂等单元的判断结果是失败时，幂等失败的消息会重新发回到服务器中延迟消息队列，可自定义延迟时间。
业务服务集群将读取服务器中有关拉取业务的信息；
数据校验服务集群中的比对单元会定时发送校验信息，此校验信息与数据库中的业务数据进行校验比对，当两者一致时，比对单元在指定的时间内继续发送校验信息；当两者不一致时，比对信息将信息发送给补偿单元和警报单元，警报单元进行预警展示（警报或闪烁灯），补偿单元就发送一条正确的补偿数据给服务器，消息分发器获取服务器中的补偿消息，消息分发器中的补偿重发单元将补偿信息按照相应的分发算法重新发送到服务器中。获得分发服务收到通知后解析消息，并从当前分发服务数据库查询失败的那条消息重新分发给下游服务（例如：业务服务集群）；
补偿信息是由于下游的业务服务集群处理某条消息失败，被数据校验服务集群检测到，数据校验服务就发送一条数据重新分发的消息通知给数据分发服务，分发服务收到通知后解析消息，并从当前分发服务数据库查询失败的那条消息重新分发给下游服务（例如：业务服务集群）；
相对于现有技术的有益效果是，采用上述方案，本发明1.使用微服务架构模式，一站式解决消息采集、解密、接入第三方消息队列、原始数据保存、数据填充、数据分发、数据一致性校验、异常告警、数据补偿等问题；
2.独立消息采集服务用于设备数据的采集、解密和第三方消息中间件接入，服务支持集群、预警和高并发；
3.数据分发服务用于原始数据存储、数据填充、微服务内部数据接入、数据对维度分发、数据补偿发送、异常数据告警等，支持集群部署；
4.数据一致性校验服务，定期查询其他业务服务收到的分发消息是否一致，若不一致可发送补偿消息。
通过微服务架构模式，基于多种领域模型构建服务；提供了可承载高并发、高性能可集群部署的消息采集服务，支持自定义密钥，可接入第三方消息中间件，大大增加了服务性能和数据的安全性。分发服务可存储元数据，同时可按照业务需要填充各种业务数据，自定义分发维度将消息分发给其他业务服务，又支持微服务内部消息接收、补偿消息发送、消息重新分发等，对于异常消息可做预警。一致性校验服务可保证业务服务消息的完整性，不一致情况将发送补偿消息并发出预警通知相关人员排查。
需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于消息采集和多维度分布的系统，其特征在于，设有消息采集服务集群、消息分发服务集群、业务服务集群和数据校验服务集群；消息采集服务集群接收设备上传的数据并对数据进行解密校验，解密校验之后的数据发送给消息分发服务集群；消息分发服务集群将获取解密校验之后的数据并进行填充处理，将填充之后的数据通过消息分发器发送给业务服务集群，业务服务集群通过消息分发服务集群获得拉取业务消息，消息分发服务集群通过数据校验服务集群获得相应的补偿消息。
2.根据权利要求1所述一种基于消息采集和多维度分布的系统，其特征在于，所述消息采集服务集群设有数据接收单元、解密校验单元、预警单元和消息中间件；数据接收单元接收设备上的数据；解密校验单元对数据接收单元中的数据进行解密校验：若校验失败，则将数据直接打回，并将校验失败消息发送给预警单元，预警单元则发出预警通知消息，并进行问题排查；若校验成功，则将数据按照主题先发送给消息中间件，同时还会按照设备编号的维度再次发送一条库存变更消息给消息中间件的指定分区，消息中间件将消息上传至服务器中。
3.以保证设备维度上的消息顺序，消息采集服务可抗高并发，支持集群部署。
4.根据权利要求2所述一种基于消息采集和多维度分布的系统，其特征在于，主题是根据公司编号维度、机器编号维度、机器类型编号维度和时间日期维度的任意组合形成的一个主题。
5.根据权利要求2所述一种基于消息采集和多维度分布的系统，其特征在于，库存变更顺序是指同一台设备要求上传的交易消息是有序的，这样可以保证后台服务得到的库存变更记录有序。
6.根据权利要求1所述一种基于消息采集和多维度分布的系统，其特征在于，消息分发服务集群设有原始数据单元、幂等单元、填充单元、全量数据单元和消息分发器；在数据进入到原始数据单元之前，需要经过幂等单元判断：若幂等单元失败时，发送幂等失败信息，当幂等单元成功时，数据将保存在原始数据单元中；填充单元将对原始数据单元中的数据进行填充，并将填充后的数据分别发送给全量数据单元和数据大屏；消息分发器将全量数据单元中的多种维度的业务数据通过分发服务器发送给业务服务集群。
7.根据权利要求4所述一种基于消息采集和多维度分布的系统，其特征在于，消息分发服务集群还设有补偿重发单元，当数据校验服务集群中的补偿消息通过服务器传输给补偿重发单元，补偿重发单元将补偿后的信息通过服务器发给业务服务集群。
8.根据权利要求1所述一种基于消息采集和多维度分布的系统，其特征在于，数据校验服务集群设有比对单元、补偿单元和警报单元；比对单元会定时的分发校验信息，并与服务中的的业务数据进行比对校验：如果不一致比对将信息发送给补偿单元和警报单元，补偿单元发出的补偿消息和警报单元发出的警报信息两者都发送给相关人员。
CN202110564578.XA 2021-05-24 2021-05-24 一种基于消息采集和多维度分布的系统 Active CN113190571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110564578.XA CN113190571B (zh) 2021-05-24 2021-05-24 一种基于消息采集和多维度分布的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110564578.XA CN113190571B (zh) 2021-05-24 2021-05-24 一种基于消息采集和多维度分布的系统

Publications (2)

Publication Number Publication Date
CN113190571A true CN113190571A (zh) 2021-07-30
CN113190571B CN113190571B (zh) 2024-10-01

Family

ID=76984901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110564578.XA Active CN113190571B (zh) 2021-05-24 2021-05-24 一种基于消息采集和多维度分布的系统

Country Status (1)

Country Link
CN (1) CN113190571B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961329A (zh) * 2021-11-04 2022-01-21 深圳市坤同智能仓储科技有限公司 基于db轻量级kafka管理及定时任务队列系统
CN116847482A (zh) * 2023-07-03 2023-10-03 河北远东通信系统工程有限公司 一种基于数字集群通信系统的数据点名方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861823A (zh) * 2017-11-23 2018-03-30 国云科技股份有限公司 一种基于微服务架构的系统保障数据最终一致性的方法
CN109451072A (zh) * 2018-12-29 2019-03-08 广东电网有限责任公司 一种基于Kafka的消息缓存系统和方法
CN109768885A (zh) * 2018-12-28 2019-05-17 厦门中控生物识别信息技术有限公司 一种支持多协议分布式高并发通信服务端设备和通信方法
CN110022226A (zh) * 2019-01-04 2019-07-16 国网浙江省电力有限公司 一种基于面向对象的数据采集系统及采集方法
CN110083439A (zh) * 2019-05-23 2019-08-02 北京奥鹏远程教育中心有限公司 分布式事务系统
CN112650587A (zh) * 2020-12-25 2021-04-13 国网浙江省电力有限公司信息通信分公司 基于分布式统一收集分发编排任务方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861823A (zh) * 2017-11-23 2018-03-30 国云科技股份有限公司 一种基于微服务架构的系统保障数据最终一致性的方法
CN109768885A (zh) * 2018-12-28 2019-05-17 厦门中控生物识别信息技术有限公司 一种支持多协议分布式高并发通信服务端设备和通信方法
CN109451072A (zh) * 2018-12-29 2019-03-08 广东电网有限责任公司 一种基于Kafka的消息缓存系统和方法
CN110022226A (zh) * 2019-01-04 2019-07-16 国网浙江省电力有限公司 一种基于面向对象的数据采集系统及采集方法
CN110083439A (zh) * 2019-05-23 2019-08-02 北京奥鹏远程教育中心有限公司 分布式事务系统
CN112650587A (zh) * 2020-12-25 2021-04-13 国网浙江省电力有限公司信息通信分公司 基于分布式统一收集分发编排任务方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961329A (zh) * 2021-11-04 2022-01-21 深圳市坤同智能仓储科技有限公司 基于db轻量级kafka管理及定时任务队列系统
CN116847482A (zh) * 2023-07-03 2023-10-03 河北远东通信系统工程有限公司 一种基于数字集群通信系统的数据点名方法
CN116847482B (zh) * 2023-07-03 2024-02-06 河北远东通信系统工程有限公司 一种基于数字集群通信系统的数据点名方法

Also Published As

Publication number Publication date
CN113190571B (zh) 2024-10-01

Similar Documents

Publication Publication Date Title
CN110263585B (zh) 测试监管方法、装置、设备及存储介质
CN110825420B (zh) 分布式集群的配置参数更新方法、装置、设备及存储介质
US9965364B2 (en) Fault tolerant listener registration in the presence of node crashes in a data grid
CN100449548C (zh) 数据库同步方法及系统
CN104252500B (zh) 一种数据库管理平台的故障修复方法和装置
CN104718533B (zh) 企业设备的硬件故障管理系统、方法及架构
CN104715001A (zh) 用于对数据处理系统的集群中的共享资源执行写入操作的方法和系统
CN113190571A (zh) 一种基于消息采集和多维度分布的系统
CN106991035A (zh) 一种基于微服务架构的主机监控系统
CN104572357A (zh) 一种用于hdfs系统的备份和恢复方法
CN103917972A (zh) 用于在集群数据库环境中提供会话亲和性和改善的连通性的系统和方法
CN101647006A (zh) 用于数据备份的方法和系统
US11194769B2 (en) System and method for re-synchronizing a portion of or an entire source database and a target database
CN109542894B (zh) 用户数据集中存储方法、装置、介质和计算机设备
CN105933374B (zh) 一种移动终端数据备份方法、系统及移动终端
CN103761489A (zh) 用于检测文件的完整性的系统和方法
JP2007299284A (ja) ログ収集システム、クライアント装置、及びログ収集エージェント装置
CN111651525A (zh) 区块链数据存储方法和装置
CN109189749A (zh) 文件同步方法及终端设备
CN102521390B (zh) 一种基于功能插件的数据库管理监控系统
CN105659220A (zh) 数字电视网络中的测量响应趋势
CN107992491A (zh) 一种分布式文件系统、数据访问和数据存储的方法及装置
CN101467132B (zh) 用于在通信网络中分配数据处理单元的方法和系统
JP2007080167A (ja) ソフトウェア資源配信システムと方法およびプログラム
CN112269690A (zh) 一种数据备份的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant