CN112966051A - 一种基于分布式的数据交换系统及方法 - Google Patents
一种基于分布式的数据交换系统及方法 Download PDFInfo
- Publication number
- CN112966051A CN112966051A CN202110352312.9A CN202110352312A CN112966051A CN 112966051 A CN112966051 A CN 112966051A CN 202110352312 A CN202110352312 A CN 202110352312A CN 112966051 A CN112966051 A CN 112966051A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- exchange
- management module
- data exchange
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 29
- 238000012544 monitoring process Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 238000013467 fragmentation Methods 0.000 claims description 15
- 238000006062 fragmentation reaction Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Abstract
本发明公开了一种基于分布式的数据交换系统及方法，所述系统包括：异构数据接入模块、数据标准管理模块、交换配置管理模块、消息服务管理模块、数据交换集群模块，本发明利用集群管理技术、分布式计算技术，和传统的数据交换相比，解决了系统单点故障问题，提高了系统稳定性，大大提高了数据交换传输性能，充分发挥了已有资源的价值，适应当今电子政务领域对数据交换的需求，解决了系统重复建设、资源浪费等问题。
Description
技术领域
本发明涉及计算机信息技术领域技术领域，尤其是涉及一种基于分布式的数据交换系统及方法。
背景技术
随着近些年电子政务的快速发展，为打通信息孤岛，实现信息资源共享交换，各地市都在搭建自己的数据交换平台。然而在不同政务部门之间，经常会进行大量的数据转换和传输，传统方法一般采用单机作为数据交换服务器来处理，从而导致以下问题：
1、数据处理性能受限。单台服务器计算能力以及网络带宽有限，在遇到大量数据交换时服务器压力将会倍增，导致其他交换任务只能排队等待；
2、存在单点故障问题。服务器一旦出现宕机或者服务崩溃，所有数据交换任务都会停滞不前，将会造成非常严重的影响。
发明内容
本发明的目的在于提供一种基于分布式的数据交换系统及方法，旨在解决上述问题。
本发明提供一种基于分布式的数据交换系统，包括：
异构数据接入模块，用于接入数据提供方提供的各类异构数据源数据；
数据标准管理模块，用于根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据；
交换配置管理模块，用于进行数据交换任务的创建，对数据交换任务的参数配置，定义数据交换规则，根据所述数据交换规则进行任务分配，并将任务分配信息发送到消息服务管理模块，根据从所述消息服务管理模块获取的任务反馈信息进行任务处理状态的监控；
消息服务管理模块，用于将交换配置管理模块下发的任务分配信息通知给数据交换集群模块，接收数据交换集群模块的任务反馈信息并通知给所述交换配置管理模块，暂存需要进行传输的标准化数据；
数据交换集群模块，用于接收所述任务分配信息，获取所述参数配置，根据所述任务分配信息和所述参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块，从所述数据标准管理模块获取接收方相应格式的异构数据并发送到接收方，对任务处理状态及异常信息进行监控并通过任务反馈信息反馈给消息服务管理模块。
本发明提供一种基于分布式的数据交换方法，包括：
S1.通过异构数据接入模块接入数据提供方提供的各类异构数据源数据，通过数据标准管理模块根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；
S2.通过交换配置管理模块创建数据交换任务，配置数据交换任务的各项参数，定义数据交换规则，根据所述数据交换规则进行任务分配，并将任务分配信息通过消息服务管理模块将其通知给数据交换集群模块；
S3.通过数据交换集群模块接收所述任务分配信息，获取所述参数配置，根据所述任务分配信息和所述参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块；
S4.通过所述消息服务管理模块暂存需要进行传输的标准化数据，并通过所述数据标准管理模块根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据，通过所述数据交换集群模块获取接收方相应格式的异构数据并发送到接收方；
S5.通过所述数据交换集群模块对任务处理状态及异常信息进行监控并将任务反馈信息通过消息服务管理模块反馈给交换配置管理模块，通过所述交换配置管理模块根据所述任务反馈信息进行任务处理状态的监控。
本发明实施例还提供一种基于分布式的数据交换设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于分布式的数据交换方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于分布式的数据交换方法的步骤。
采用本发明实施例，通过数据标准建立和规范处理，实现了异构数据的格式转换，利用分布式的并行处理和集群管理技术，大大提高了数据交换的交换性能，同时提供了负载均衡和故障转移机制，最大发挥已有硬件资源的最大价值，避免资源浪费，同时解决了系统单点故障问题，对下发任务全程跟踪记录，实现了数据交换任务可追溯和可监控。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于分布式的数据交换系统示意图；
图2是本发明实施例的基于分布式的数据交换系统设计架构示意图；
图3是本发明实施例的基于分布式的数据交换过程示意图；
图4是本发明实施例的基于分布式的数据交换方法示意图；
图5是本发明实施例的基于分布式的数据交换设备示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
系统实施例
根据本发明实施例，提供了一种基于分布式的数据交换系统，图1是本发明实施例的基于分布式的数据交换系统示意图，如图1所示，根据本发明实施例的基于分布式的数据交换系统具体包括：
异构数据接入模块10，用于接入数据提供方提供的各类异构数据源数据；
异构数据接入模块10具体用于：负责与政务部门各类数据源对接，实现各类异构数据资源的接入，数据库的对接支持主流的Oracle、MySQL、MS SQL Server、DB2，以及国产数据库达梦、金仓、神通，同时支持HBase、MongoDB等非关系型数据库。
数据标准管理模块12，用于根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；根据交换配置管理模块14的控制将从消息服务管理模块16获取的标准化数据转化为接收方相应格式的异构数据；
数据标准管理模块12具体用于：根据数据的元数据建立异构数据与标准化数据的标准规范，基于所述标准规范进行异构数据源数据与标准化数据之间的格式转换。
具体的，数据标准管理模块12需要在系统接入异构数据时将异构数据根据标准规范转换为标准化数据，在数据交换完成后再将标准化数据根据标准规范转换为接收方对应格式的异构数据。
交换配置管理模块14，用于进行数据交换任务的创建，对数据交换任务的参数配置，定义数据交换规则，根据所述数据交换规则进行任务分配，并将任务分配信息发送到消息服务管理模块16，根据从所述消息服务管理模块16获取的任务反馈信息进行任务处理状态的监控；
交换配置管理模块14具体用于：创建数据交换任务，其中，所述数据交换任务的类型包括定时任务和临时任务；配置源、目标数据对象，选择执行任务的服务器集群，配置数据交换节点进程内并发规则：设置任务执行时的并发线程数量以及缓存的大小；配置任务分片规则：设置任务的拆解和分配机制，一般有平均分配和按负荷分配；分配数据交换任务，包括新创建的数据交换任务以及任务中断需要重新分配的数据交换任务；通过接收消息服务管理模块16发送的任务反馈信息监控任务处理状态，处理异常反馈，包括任务交换节点出现故障导致任务中断时及时重新分配任务以及交换节点进行交换的数据包较多导致流量较大时将任务重新分配给其他节点。
消息服务管理模块16，用于将交换配置管理模块14下发的任务分配信息通知给数据交换集群模块18，接收数据交换集群模块18的任务反馈信息并通知给所述交换配置管理模块14，暂存需要进行传输的标准化数据；
消息服务管理模块16具体用于：提供消息中间件服务，消息中间件中存有几类数据，一是要传输的数据：为数据交换提供一个传输通道；二是任务信息：交换配置模块14分配的任务信息及配置信息都存储在消息中间件；三是通知信息：主要是数据交换集群模块18在执行任务时反馈的任务执行状态信息以及异常信息。
数据交换集群模块18，用于接收所述任务分配信息，获取所述参数配置，根据所述任务分配信息和所述参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块16，从所述数据标准管理模块12获取接收方相应格式的异构数据并发送到接收方，对任务处理状态及异常信息进行监控并通过任务反馈信息反馈给消息服务管理模块16。
图2是本发明实施例的基于分布式的数据交换系统设计架构示意图，具体说明了如何设计和实现该基于分布式的数据交换系统，如图2所示，首先搭建平台的运行环境，包括：服务器、存储、网络、安全等基础设施；运行环境上层为数据接入模块，负责与政务部门业务数据源对接，实现各类数据资源采集；数据接入模块上层为数据标准管理模块，负责对数据进行标准化的管理，提供数据格式的转换，并将数据统一转换为设定的标准格式；数据标准管理模块之上是数据交换集群、消息服务管理和交换配置管理。数据交换集群是系统中创建的一组服务器集合，主要负责交换任务的计算和处理，并将任务处理结果反馈给系统。所有交换任务都在交换配置管理中定义，交换配置管理负责分发任务、汇聚结果、过程监控等。系统中所有的数据传输和消息提醒都由消息服务负责，为数据交换提供了传输通道。
图3是本发明实施例的基于分布式的数据交换系统的交换过程示意图，该基于分布式的数据交换系统在使用时，第一次使用需要由用户在交换配置管理中定义服务器集群、定制数据标准。然后创建交换任务，利用异构数据接入功能接入提供方数据源，经系统数据标准转换后转换成标准化数据在系统内传输，配置数据交换流程，选择服务器集群，配置交换任务分片规则以及异常处理方案，其中交换任务里需要配置数据交换频率，配置完成后启动该交换任务，系统即可按照指定的时间和频率对数据进行交换，同时也支持手动启动交换任务。交换任务启动后，系统后台将按照配置要求对任务进行分片下发，由服务器完成数据交换任务，所有流程产生的动态信息可通过流程监控功能看到，执行完成的流程将执行结果反馈给接收方，最终完成数据的分布式交换。
综上所述，采用本发明实施例，通过数据标准建立和规范处理，实现了异构数据的格式转换，利用分布式的并行处理和集群管理技术，大大提高了数据交换的交换性能，同时提供了负载均衡和故障转移机制，最大发挥已有硬件资源的最大价值，避免资源浪费，同时解决了系统单点故障问题，对下发任务全程跟踪记录，实现了数据交换任务可追溯和可监控。
方法实施例
根据本发明实施例，提供了一种基于分布式的数据交换方法，图4是本发明实施例的基于分布式的数据交换方法示意图，如图4所示，本发明实施例的基于分布式的数据交换方法具体包括：
S1.通过异构数据接入模块接入数据提供方提供的各类异构数据源数据，通过数据标准管理模块根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；
具体的，根据数据的元数据建立异构数据与标准化数据的标准规范，基于所述标准规范进行异构数据源数据与标准化数据之间的格式转换。
S2.通过交换配置管理模块创建数据交换任务，配置数据交换任务的各项参数，定义数据交换规则，根据数据交换规则进行任务分配，并将任务分配信息通过消息服务管理模块将其通知给数据交换集群模块；
其中，数据交换任务的类型包括定时任务和临时任务；
具体的，配置数据交换任务的各项参数时需要配置源、目标数据对象，选择执行任务的服务器集群，配置数据交换节点进程内并发规则和任务分片规则；
配置数据交换节点进程内并发规则时需要设置任务执行时的并发线程数量以及缓存的大小；设置任务分片规则时需设置任务的拆解和分配机制，任务分片规则一般有平均分配和按负荷分配。
分配数据交换任务包括分配新创建数据交换任务以及将故障节点中断的数据交换任务重新分配。
S3.通过数据交换集群模块接收任务分配信息，获取参数配置，根据任务分配信息和参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块。
S4.通过消息服务管理模块暂存需要进行传输的标准化数据，并通过数据标准管理模块根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据，通过数据交换集群模块获取接收方相应格式的异构数据并发送到接收方。
S5.通过数据交换集群模块对任务处理状态及异常信息进行监控并将任务反馈信息通过消息服务管理模块反馈给交换配置管理模块，通过交换配置管理模块根据任务反馈信息进行任务处理状态的监控；
任务处理状态的监控需要监控所有任务的运行情况，当监控到进行数据交换的某个节点故障导致任务中断时时，故障节点的数据交换任务将会重新分配给新的节点继续进行数据交换任务，实现故障转移；当监控到进行数据交换的某个节点流量过大，超过了用户定义的数据量时，此节点的任务将会分配给其他节点共同完成，实现任务流量控制，保持负载均衡。
装置实施例一
本发明实施例提供一种基于分布式的数据交换设备，如图5所示，包括：存储器50、处理器52及存储在所述存储器50上并可在所述处理器52上运行的计算机程序，所述计算机程序被所述处理器52执行时实现如下方法步骤：
S1.通过异构数据接入模块接入数据提供方提供的各类异构数据源数据，通过数据标准管理模块根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；
具体的，根据数据的元数据建立异构数据与标准化数据的标准规范，基于所述标准规范进行异构数据源数据与标准化数据之间的格式转换。
S2.通过交换配置管理模块创建数据交换任务，配置数据交换任务的各项参数，定义数据交换规则，根据数据交换规则进行任务分配，并将任务分配信息通过消息服务管理模块将其通知给数据交换集群模块；
其中，数据交换任务的类型包括定时任务和临时任务；
具体的，配置数据交换任务的各项参数时需要配置源、目标数据对象，选择执行任务的服务器集群，配置数据交换节点进程内并发规则和任务分片规则；
配置数据交换节点进程内并发规则时需要设置任务执行时的并发线程数量以及缓存的大小；设置任务分片规则时需设置任务的拆解和分配机制，任务分片规则一般有平均分配和按负荷分配。
分配数据交换任务包括分配新创建数据交换任务以及将故障节点中断的数据交换任务重新分配。
S3.通过数据交换集群模块接收任务分配信息，获取参数配置，根据任务分配信息和参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块。
S4.通过消息服务管理模块暂存需要进行传输的标准化数据，并通过数据标准管理模块根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据，通过数据交换集群模块获取接收方相应格式的异构数据并发送到接收方。
S5.通过数据交换集群模块对任务处理状态及异常信息进行监控并将任务反馈信息通过消息服务管理模块反馈给交换配置管理模块，通过交换配置管理模块根据任务反馈信息进行任务处理状态的监控；
任务处理状态的监控需要监控所有任务的运行情况，当监控到进行数据交换的某个节点故障导致任务中断时时，故障节点的数据交换任务将会重新分配给新的节点继续进行数据交换任务，实现故障转移；当监控到进行数据交换的某个节点流量过大，超过了用户定义的数据量时，此节点的任务将会分配给其他节点共同完成，实现任务流量控制，保持负载均衡。
装置实施例二
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器52执行时实现如下方法步骤：
S1.通过异构数据接入模块接入数据提供方提供的各类异构数据源数据，通过数据标准管理模块根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；
具体的，根据数据的元数据建立异构数据与标准化数据的标准规范，基于所述标准规范进行异构数据源数据与标准化数据之间的格式转换。
S2.通过交换配置管理模块创建数据交换任务，配置数据交换任务的各项参数，定义数据交换规则，根据数据交换规则进行任务分配，并将任务分配信息通过消息服务管理模块将其通知给数据交换集群模块；
其中，数据交换任务的类型包括定时任务和临时任务；
具体的，配置数据交换任务的各项参数时需要配置源、目标数据对象，选择执行任务的服务器集群，配置数据交换节点进程内并发规则和任务分片规则；
配置数据交换节点进程内并发规则时需要设置任务执行时的并发线程数量以及缓存的大小；设置任务分片规则时需设置任务的拆解和分配机制，任务分片规则一般有平均分配和按负荷分配。
分配数据交换任务包括分配新创建数据交换任务以及将故障节点中断的数据交换任务重新分配。
S3.通过数据交换集群模块接收任务分配信息，获取参数配置，根据任务分配信息和参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块。
S4.通过消息服务管理模块暂存需要进行传输的标准化数据，并通过数据标准管理模块根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据，通过数据交换集群模块获取接收方相应格式的异构数据并发送到接收方。
S5.通过数据交换集群模块对任务处理状态及异常信息进行监控并将任务反馈信息通过消息服务管理模块反馈给交换配置管理模块，通过交换配置管理模块根据任务反馈信息进行任务处理状态的监控；
任务处理状态的监控需要监控所有任务的运行情况，当监控到进行数据交换的某个节点故障导致任务中断时时，故障节点的数据交换任务将会重新分配给新的节点继续进行数据交换任务，实现故障转移；当监控到进行数据交换的某个节点流量过大，超过了用户定义的数据量时，此节点的任务将会分配给其他节点共同完成，实现任务流量控制，保持负载均衡。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于分布式的数据交换系统，其特征在于，包括：
异构数据接入模块，用于接入数据提供方提供的各类异构数据源数据；
数据标准管理模块，用于根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据；
交换配置管理模块，用于进行数据交换任务的创建，对数据交换任务的参数配置，定义数据交换规则，根据所述数据交换规则进行任务分配，并将任务分配信息发送到消息服务管理模块，根据从所述消息服务管理模块获取的任务反馈信息进行任务处理状态的监控；
消息服务管理模块，用于将交换配置管理模块下发的任务分配信息通知给数据交换集群模块，接收数据交换集群模块的任务反馈信息并通知给所述交换配置管理模块，暂存需要进行传输的标准化数据；
数据交换集群模块，用于接收所述任务分配信息，获取所述参数配置，根据所述任务分配信息和所述参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块，从所述数据标准管理模块获取接收方相应格式的异构数据并发送到接收方，对任务处理状态及异常信息进行监控并通过任务反馈信息反馈给消息服务管理模块。
2.根据权利要求1所述的基于分布式的数据交换系统，其特征在于，所述数据标准管理模块具体用于：根据数据的元数据建立异构数据与标准化数据的标准规范，基于所述标准规范进行异构数据源数据与标准化数据之间的格式转换。
3.根据权利要求1所述的一种基于分布式的数据交换系统，其特征在于，所述交换配置模块具体用于：
创建数据交换任务，其中，所述数据交换任务的类型包括定时任务和临时任务；
配置源、目标数据对象，选择执行任务的服务器集群，配置数据交换节点进程内并发规则和任务分片规则；
分配数据交换任务，其中，所述数据交换任务的类型包括：将新创建数据交换任务以及重新分配的数据交换任务；
通过接收消息服务管理模块发送的任务反馈信息监控任务处理状态，处理异常反馈。
4.根据权利要求3所述的基于分布式的数据交换系统，其特征在于，所述数据交换节点进程内并发规则具体包括：任务执行时的并发线程数量以及缓存的大小；所述任务分片规则具体包括：任务的拆解和分配机制，其中，所述任务分片规则一般分为平均分配和按负荷分配。
5.一种基于分布式的数据交换方法，基于权利要求1至4中任一项所述的一种基于分布式的数据交换系统，所述方法具体包括：
S1.通过异构数据接入模块接入数据提供方提供的各类异构数据源数据，通过数据标准管理模块根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；
S2.通过交换配置管理模块创建数据交换任务，配置数据交换任务的各项参数，定义数据交换规则，根据所述数据交换规则进行任务分配，并将任务分配信息通过消息服务管理模块将其通知给数据交换集群模块；
S3.通过数据交换集群模块接收所述任务分配信息，获取所述参数配置，根据所述任务分配信息和所述参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块；
S4.通过所述消息服务管理模块暂存需要进行传输的标准化数据，并通过所述数据标准管理模块根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据，通过所述数据交换集群模块获取接收方相应格式的异构数据并发送到接收方；
S5.通过所述数据交换集群模块对任务处理状态及异常信息进行监控并将任务反馈信息通过消息服务管理模块反馈给交换配置管理模块，通过所述交换配置管理模块根据所述任务反馈信息进行任务处理状态的监控。
6.根据权利要求5所述的一种基于分布式的数据交换方法，其特征在于，所述通过数据标准管理模块根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据具体包括：
根据数据的元数据建立异构数据与标准化数据的标准规范，基于所述标准规范进行异构数据源数据与标准化数据之间的格式转换。
7.根据权利要求6所述的一种基于分布式的数据交换方法，其特征在于，所述步骤S2具体包括：
创建数据交换任务，其中，所述数据交换任务的类型包括定时任务和临时任务；
配置源、目标数据对象，选择执行任务的服务器集群，配置数据交换节点进程内并发规则和任务分片规则；
分配数据交换任务，其中，所述数据交换任务的类型包括：将新创建数据交换任务以及重新分配的数据交换任务。
8.根据权利要求5所述的一种基于分布式的数据交换方法，其特征在于，所述数据交换节点进程内并发规则具体包括：任务执行时的并发线程数量以及缓存的大小；所述任务分片规则具体包括：任务的拆解和分配机制，其中，所述任务分片规则一般分为平均分配和按负荷分配。
9.一种基于分布式的数据交换设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求5至8中任一项所述的基于分布式的数据交换方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求5至8中任一项所述的基于分布式的数据交换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352312.9A CN112966051A (zh) | 2021-03-31 | 2021-03-31 | 一种基于分布式的数据交换系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352312.9A CN112966051A (zh) | 2021-03-31 | 2021-03-31 | 一种基于分布式的数据交换系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112966051A true CN112966051A (zh) | 2021-06-15 |
Family
ID=76280818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110352312.9A Pending CN112966051A (zh) | 2021-03-31 | 2021-03-31 | 一种基于分布式的数据交换系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966051A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115361382A (zh) * | 2022-08-10 | 2022-11-18 | 北京友友天宇系统技术有限公司 | 基于数据群组的数据处理方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142027A (zh) * | 2011-02-23 | 2011-08-03 | 南京智尚丰软件有限公司 | 数据整合的适配方法 |
| CN102938731A (zh) * | 2012-11-22 | 2013-02-20 | 北京锐易特软件技术有限公司 | 一种基于代理缓存适配模型的交换集成装置及方法 |
| CN103139251A (zh) * | 2011-11-29 | 2013-06-05 | 神州数码信息系统有限公司 | 一种城市级数据共享交换平台技术的方法 |
| CN103516814A (zh) * | 2013-10-23 | 2014-01-15 | 浪潮齐鲁软件产业有限公司 | 一种大数据量的数据交换方法 |
| CN106910146A (zh) * | 2017-02-28 | 2017-06-30 | 东北师范大学 | 一种基于流式处理技术的异构教育数据交换平台及方法 |
-
2021
- 2021-03-31 CN CN202110352312.9A patent/CN112966051A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142027A (zh) * | 2011-02-23 | 2011-08-03 | 南京智尚丰软件有限公司 | 数据整合的适配方法 |
| CN103139251A (zh) * | 2011-11-29 | 2013-06-05 | 神州数码信息系统有限公司 | 一种城市级数据共享交换平台技术的方法 |
| CN102938731A (zh) * | 2012-11-22 | 2013-02-20 | 北京锐易特软件技术有限公司 | 一种基于代理缓存适配模型的交换集成装置及方法 |
| CN103516814A (zh) * | 2013-10-23 | 2014-01-15 | 浪潮齐鲁软件产业有限公司 | 一种大数据量的数据交换方法 |
| CN106910146A (zh) * | 2017-02-28 | 2017-06-30 | 东北师范大学 | 一种基于流式处理技术的异构教育数据交换平台及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王剑冰: "一种分布式数据交换平台", 《科学家》 * |
| 薛辉等: "分布式数据交换平台在电子政务中设计与实现", 《湖南师范大学自然科学学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115361382A (zh) * | 2022-08-10 | 2022-11-18 | 北京友友天宇系统技术有限公司 | 基于数据群组的数据处理方法、装置、设备和存储介质 |
| CN115361382B (zh) * | 2022-08-10 | 2023-03-31 | 北京友友天宇系统技术有限公司 | 基于数据群组的数据处理方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220079958A (ko) | 블록체인 메시지 처리 방법 및 장치, 컴퓨터 및 판독 가능한 저장 매체 | |
| CN106571960B (zh) | 日志收集管理系统及方法 | |
| WO2016155496A1 (zh) | 一种基于时间的节点选举方法及装置 | |
| CN105956481B (zh) | 一种数据处理方法及其装置 | |
| CN104243405A (zh) | 一种请求处理方法、装置及系统 | |
| CN109271243B (zh) | 一种集群任务管理系统 | |
| CN110111092B (zh) | 一种支付通道的兼容系统 | |
| CN110300188B (zh) | 数据传输系统、方法和设备 | |
| US20160344582A1 (en) | Call home cluster | |
| CN112416969B (zh) | 分布式数据库中的并行任务调度系统 | |
| CN110096683A (zh) | 报表生成方法、系统、计算机装置及计算机可读存储介质 | |
| US11586602B1 (en) | System and method for real-time data acquisition and display | |
| CN111160873A (zh) | 基于分布式架构的跑批处理装置及方法 | |
| CN107220271A (zh) | 一种分布式数字资源存储处理与管理的方法及系统 | |
| CN116777182B (zh) | 半导体晶圆制造执行任务派工方法 | |
| CN109657005A (zh) | 一种分布式集群系统的数据缓存方法、装置及设备 | |
| CN112966051A (zh) | 一种基于分布式的数据交换系统及方法 | |
| CN110519354A (zh) | 一种分布式对象存储系统及其业务处理方法和存储介质 | |
| CN110620722B (zh) | 一种订单处理的方法和装置 | |
| CN112417050A (zh) | 数据同步方法和装置、系统、存储介质及电子装置 | |
| CN109510730A (zh) | 分布式系统及其监控方法、装置、电子设备及存储介质 | |
| CN109308219B (zh) | 任务处理方法、装置及分布式计算机系统 | |
| WO2023065900A1 (zh) | 设备状态消息处理方法及消息分发系统 | |
| CN108304293A (zh) | 一种基于大数据技术的软件系统监控方法 | |
| CN105162837A (zh) | 海量数据存储环境下提升i/o吞吐率的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210615 |