CN113377857A - 数据分发方法、装置、电子设备及可读存储介质 - Google Patents
数据分发方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113377857A CN113377857A CN202110752606.0A CN202110752606A CN113377857A CN 113377857 A CN113377857 A CN 113377857A CN 202110752606 A CN202110752606 A CN 202110752606A CN 113377857 A CN113377857 A CN 113377857A
- Authority
- CN
- China
- Prior art keywords
- data
- main data
- main
- interface
- data distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据同步技术领域,揭露一种数据分发方法,包括:利用主数据库中的格式转换模板,转换主数据源系统中的主数据格式,得到标准主数据;将主数据库与数据接收接口连接形成并联通信桥,在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;利用解析主数据分发指令得到的主数据需求字段,在主数据库中提取标准主数据,得到待分发主数据;利用主数据分发机制、通信监控机制和重推机制,将所述待分发主数据通过并联通信桥分发至对应的数据接收接口。本发明还提出一种数据分发装置、设备以及可读存储介质。本发明可以提高数据分发的效率及准确率。
Description
技术领域
本发明涉及数据同步技术领域,尤其涉及一种数据分发方法、装置、电子设备及可读存储介质。
背景技术
随着集团型企业的发展,与集团中上级单位对接的下级单位也呈现增多的趋势。
目前集团中上级单位与下级单位通常存在异构的数据系统,由于不同数据系统之间层次结构不同,导致在各级数据系统中存在异构的数据格式,每个数据系统中数据的属性划分、编码格式、描述规则等都有各自的标准,下级单位需要对上级单位分发的主数据执行数据格式转换,可能导致数据分发错误,从而准确率不高;且在数据分发的过程中数据分发的方式也不能区别开来,难以满足不同的下级单位对数据的时效和数据流量的要求。因此,这种数据分发方法效率低,工作量大,很难实现高效的数据分发效果。
发明内容
本发明提供一种数据分发方法、装置、电子设备及计算机可读存储介质,其主要目的在于提高数据分发的准确率及效率。
为实现上述目的,本发明提供的一种数据分发方法,包括:
从预构建的主数据源系统中采集原始主数据,将所述原始主数据存储至预构建的主数据库中,利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换,得到标准主数据;
将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥,并在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;
接收主数据分发指令,从所述主数据分发指令中解析得到主数据需求字段,根据所述主数据需求字段,在所述主数据库中提取对应的标准主数据,得到待分发主数据;
利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口,利用所述通信监控机制对所述数据接收接口进行监控,若所述数据接收接口未接收到所述待分发主数据,则利用所述重推机制将所述待分发主数据重推至所述数据接收接口。
可选地,所述所述从预构建的主数据源系统中采集原始主数据,包括:
构建所述主数据库的权限证明;
利用所述主数据源系统中的权限校验接口对所述权限证明执行校验,得到数据采集权限;
利用所述数据采集权限从预构建的主数据源系统中采集原始主数据。
可选地,所述将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥之前,所述方法还包括:
提取所述主数据接收系统的系统需求字段,利用所述系统需求字段建立接口定义;
根据所述接口定义,创建待测试接口;
利用预先构建的接口测试用例测试所述待测试接口,得到数据接收接口。
可选地,所述将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥,包括:
提取每个所述数据接收接口的接口地址;
连接所述接口地址与所述所述主数据库,形成所述并联通信桥。
可选地,所述在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制,包括:
根据所述系统需求字段,构建所述并联通信桥中每个通信桥的通信桥标识;
创建任务注册表,在所述任务注册表中利用所述通信桥标识,注册所述每个通信桥的数据分发方式,得到所述主数据分发机制;
对所述每个通信桥建立接口流量阈值,根据所述接口流量阈值对所述每个通信桥的数据流量进行监控,得到所述通信监控机制;
若所述通信监控机制检测到异常,则将所述待分发主数据重推至所述数据接收接口,得到所述重推机制。
可选地,所述利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口之前,所述方法还包括:
匹配所述系统需求字段和所述主数据需求字段,得到包含所述主数据需求字段的系统需求字段;
提取所述包含所述主数据需求字段的系统需求字段对应的数据接收接口。
可选地,所述利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换之前,所述方法还包括:
建立所述原始主数据的原始格式和所述标准主数据的标准格式之间的映射关系;
根据所述映射关系构建所述格式转换模板。
为了解决上述问题,本发明还提供一种数据分发装置,所述装置包括:
数据格式转换模块,用于从预构建的主数据源系统中采集原始主数据,将所述原始主数据存储至预构建的主数据库中,利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换,得到标准主数据;
并联通信桥构建模块,用于将所述主数据库与每个主数据接收系统的数据接收接口连接形成并联通信桥,并在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;
数据分发模块,用于接收主数据分发指令,从所述主数据分发指令中解析得到主数据需求字段,根据所述主数据需求字段,在所述主数据库中提取对应的标准主数据,得到待分发主数据;利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口,利用所述通信监控机制对所述数据接收接口进行监控,若所述数据接收接口未接收到所述待分发主数据,则利用所述重推机制将所述待分发主数据重推至所述数据接收接口。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个计算机程序;及
处理器,执行所述存储器中存储的计算机程序以实现上述所述的数据分发方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据分发方法。
本发明实施例通过预构建的数据转换模板对主数据源系统中的原始主数据进行格式转换,得到标准主数据,统一了异构的数据系统之间的格式,提高了数据分发的准确率;通过构建能分发所述标准主数据的并联通信桥,将所述待分发主数据分发至相应的数据接收接口,解决了异构的数据系统导致的数据需要频繁转换的问题,同时解决了数据分发方式单一性的问题,满足不同系统对数据的时效和流量的不同要求,提高了数据分发的效率。因此,本发明实施例所述数据分发方法、装置、电子设备及计算机可读存储介质可以提高数据分发的效率及准确率。
附图说明
图1为本发明一实施例提供的数据分发方法的流程示意图;
图2为本发明一实施例提供的数据分发装置的模块示意图;
图3为本发明一实施例提供的实现数据分发方法的电子设备的内部结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种数据分发方法。所述数据分发方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述数据分发方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示的本发明一实施例提供的数据分发方法的流程示意图,在本发明实施例中,所述数据分发方法包括:
S1、从预构建的主数据源系统中采集原始主数据,将所述原始主数据存储至预构建的主数据库中,利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换,得到标准主数据;
本发明实施例中,所述主数据源系统是现有存储和管理数据的应用系统,人员信息管理系统、供应商信息管理系统等。所述原始主数据指现有格式的核心业务数据,例如:人员信息数据、物料信息数据、供应商信息数据等。所述格式转换模板是基于可扩展标记语言(extensiblemarkup language,简称XML)构建的,可以将所述原始主数据的格式转换为预定义格式。
本发明实施例中,所述从预构建的主数据源系统中采集原始主数据,包括:
构建所述主数据库的权限证明;
利用所述主数据源系统中的权限校验接口对所述权限证明执行校验,得到数据采集权限;
利用所述数据采集权限从预构建的主数据源系统中采集原始主数据。
详细地,所述权限证明指在所述主数据源系统中采集所述原始主数据需要提供的身份证明,如登录所述主数据源系统的登录账号可作为所述权限证明。
本发明实施例中,所述利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换之前,所述方法还包括:
建立所述原始主数据的原始格式和所述标准主数据的标准格式之间的映射关系;
根据所述映射关系构建所述格式转换模板。
本发明实施例中,所述映射关系包括结构映射、语法映射和语义映射。
详细地,所述结构映射是整体描述数据格式转换前后在层次结构上的对应关系。所述结构映射包括目标组、目标行和目标列的规定标准。所述目标组表示可以按照数字所述原始主数据的分组进行标定;所述目标行表示所述原始主数据的行位置,可以设置“0”为默认行;所述目标列表示所述原始主数据的开始列与结束列,例如“3/7”表示所述开始列为3,所述结束列为7。若所述目标组、目标行和目标列都为空,则表示没有对应的数据。
所述语法映射指所述原始主数据在转换前后的编码规则、属性规则、数据载体、对齐方式的对应关系。所述编码规则指所述原始主数据的编码形式,例如:所述员工身份信息中的姓名可采用有含义和无含义编码结合的方式,所述编码格式可以为“ANSI-name”,采用有含义和无含义的编码格式可以提高编码的健壮性和可沿用性。所述属性规则指所述原始主数据的属性,例如:物料数量数据属于物料属性,员工信息数据属于员工属性。所述数据载体指记录所述原始主数据的文本格式,例如:txt。对齐方式指所述原始主数据的对齐标准规定,例如:“0”表示左对齐,“1”表示右对齐。
所述语义映射指所述原始主数据在转换前后的数据类型和转换规则的对应关系。所述数据类型指所述原始主数据以数字型或字符型表示的形式,例如:整数型、字符串型。所述转换规则指按照预构建的转换公式对所述原始主数据进行转换,例如所述物料信息中总物料数量是通过各种物料的数量累加得到的。
S2、将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥,并在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;
本发明实施例中,所述并联通信桥是连接所述主数据库和所述主数据接收系统的数据传输通道。根据所述数据接收接口的数量确定所述并联通信桥中通信桥的数量,例如:所述主数据接收系统为人员信息接收系统、物料信息接收系统、供应商信息接收系统,则对应的并联通信桥中通信桥的数量也为三个。
详细地,所述主数据分发机制包括:实时分发、非实时分发、全量分发和非全量分发四种方式。所述通信监控机制是对所述并联通信桥中的数据流量进行监控,若数据流量出现零值,则启动所述重推机制。
本发明实施例中,所述将所述主数据库与每个主数据接收系统的数据接收接口连接形成并联通信桥之前,所述方法还包括:
提取所述主数据接收系统的系统需求字段,利用所述系统需求字段建立接口定义;
根据所述接口定义,创建待测试接口;
利用预先构建的接口测试用例测试所述待测试接口,得到数据接收接口。
本发明实施例中,所述系统需求字段指所述主数据接收系统可以接收的主数据对应的字段。所述接口定义指定义所述数据接收接口的数据传输标准,例如:所述数据接收接口的地址、所述数据接收接口发送的请求参数类型、请求参数说明和返回参数说明等。
详细地,本发明实施例中,通过创建请求头,并利用所述请求头与所述接口定义,构建所述待测试接口。所述请求头指存放校验信息的字符串,利用所述请求头可以校验所述待测试接口的权限。
进一步地,所述接口测试用例的构建过程包括:根据所述系统需求字段建立参数请求方式,设计传输状态码;建立通用接口用例,接收业务逻辑用例,根据所述业务逻辑用例与所述通用接口用例,建立测试用例;根据所述传输状态码与所述测试用例构建所述接口测试用例。
其中,所述参数请求方式包括GET请求与POST请求。所述传输状态码指所述数据接收接口与所述主数据库之间数据传输的状态,例如:200表示数据传输成功,400表示请求数据有语法错误等;所述通用接口用例指常规的接口测试验证,例如:加密验证、异常验证等;所述业务逻辑用例指根据实际情况设计的用例,例如:登录5次失败,就需要等10分钟之后再登录等。
本发明实施例中,所述将所述主数据库与每个主数据接收系统的数据接收接口连接形成并联通信桥,包括:
提取每个所述数据接收接口的接口地址;
连接所述接口地址与所述所述主数据库,形成所述并联通信桥。
本发明实施例中,所述并联通信桥的传输模式可选择单工通信、半双工通信之一。其中,所述单工通信只支持所述主数据库向所述数据接收接口分发数据,为保证正确传输数据,接收端要对接收的数据进行校验,若校验出错,则通过所述重推机制发送请求重发的信号。所述半双工通信允许数据在两个方向上传输,但某一时刻只允许数据在一个方向上传输。例如某一时刻,只能由所述数据库向所述数据接收接口发送所述主数据。
本发明实施例中,所述在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制,包括:
根据所述系统需求字段,构建所述并联通信桥中每个通信桥的通信桥标识;
创建任务注册表,在所述任务注册表中利用所述通信桥标识,注册所述每个通信桥的数据分发方式,得到所述主数据分发机制;
对所述每个通信桥建立接口流量阈值,根据所述接口流量阈值对所述每个通信桥的数据流量进行监控,得到所述通信监控机制;
若所述通信监控机制检测到异常,则将所述待分发主数据重推至所述数据接收接口,得到所述重推机制。
本发明实施例中,所述任务注册表通过所述通信桥标识指示所述并联通信桥中每条通信桥的数据分发方式。
详细地,当所述通信监控机制检查到所述并联通信桥中传输的数据流量为0或其他异常情况导致所述数据接收接口未接收到数据时,则启动所述重推机制。
S3、接收主数据分发指令,从所述主数据分发指令中解析得到主数据需求字段,根据所述主数据需求字段,在所述主数据库中提取对应的标准主数据,得到待分发主数据;
本发明实施例中,所述主数据需求字段指根据所述主数据分发指令得到的需要分发的主数据所对应的字段。例如:需要分发的人员信息数据包括年龄、姓名和手机号码等字段。
本发明实施例中,当接收到所述主数据分发指令时,将自动解析出需要分发的主数据以及需要分发的主数据对应的字段,根据所述主数据对应的字段即可在所述主数据库中选择需要分发的主数据。
S4、利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口,利用所述通信监控机制对所述数据接收接口进行监控,若所述数据接收接口未接收到所述待分发主数据,则利用所述重推机制将所述待分发主数据重推至所述数据接收接口。
本发明实施例中,所述利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口之前,所述方法还包括:
匹配所述系统需求字段和所述主数据需求字段,得到包含所述主数据需求字段的系统需求字段;
提取所述包含所述主数据需求字段的系统需求字段对应的数据接收接口。
本发明实施例中,需要将所述待分发主数据分发至包含所述待分发主数据对应字段的数据接收接口。通过匹配所述系统需求字段和所述主数据需求字段可以有选择的将所述待分发主数据分发至对应的数据接收接口。例如:数据接收接口A可接收年龄字段和性别字段的主数据,数据接收接口B可接收姓名字段和年龄字段的主数据,则将年龄和性别主数据分发给所述数据接收接口A,将所述姓名和年龄主数据主数据分发至数据接收接口B。
本发明实施例通过预构建的数据转换模板对主数据源系统中的原始主数据进行格式转换,得到标准主数据,统一了异构的数据系统之间的格式,提高了数据分发的准确率;通过构建能分发所述标准主数据的并联通信桥,将所述待分发主数据分发至相应的数据接收接口,解决了异构的数据系统导致的数据需要频繁转换的问题,同时解决了数据分发方式单一性的问题,满足不同系统对数据的时效和流量的不同要求,提高了数据分发的效率。
如图2所示,是本发明数据分发装置的功能模块图。
本发明所述数据分发装置100可以安装于电子设备中。根据实现的功能,所述数据分发装置100可以包括数据格式转换模块101、并联通信桥构建模块102、数据分发模块103。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述数据格式转换模块101,用于从预构建的主数据源系统中采集原始主数据,将所述原始主数据存储至预构建的主数据库中,利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换,得到标准主数据;
所述目标矩阵构建模块102,用于将所述主数据库与每个主数据接收系统的数据接收接口连接形成并联通信桥,并在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;
所述数据分发模块103,用于接收主数据分发指令,从所述主数据分发指令中解析得到主数据需求字段,根据所述主数据需求字段,在所述主数据库中提取对应的标准主数据,得到待分发主数据;利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口,利用所述通信监控机制对所述数据接收接口进行监控,若所述数据接收接口未接收到所述待分发主数据,则利用所述重推机制将所述待分发主数据重推至所述数据接收接口。
本发明实施例所提供的数据分发装置100中的各个模块能够在使用时基于与上述图1所示的数据分发方法采用相同的手段,具体实施步骤在此不再赘述,关于各模块/单元的功能所产生技术效果与上述的图1所示的数据分发方法的技术效果相同的,即解决异构的数据系统导致的数据需要频繁转换的问题,同时解决了数据分发方式单一性的问题。
如图3所示,是本发明实现数据分发方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如数据分发程序。
其中,所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行数据分发程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如数据分发程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。
可选地,该电子设备还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的数据分发程序是多个计算机程序的组合,在所述处理器10中运行时,可以实现:
从预构建的主数据源系统中采集原始主数据,将所述原始主数据存储至预构建的主数据库中,利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换,得到标准主数据;
将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥,并在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;
接收主数据分发指令,从所述主数据分发指令中解析得到主数据需求字段,根据所述主数据需求字段,在所述主数据库中提取对应的标准主数据,得到待分发主数据;
利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口,利用所述通信监控机制对所述数据接收接口进行监控,若所述数据接收接口未接收到所述待分发主数据,则利用所述重推机制将所述待分发主数据重推至所述数据接收接口。
具体地,所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
进一步地,所述计算机可用存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
从预构建的主数据源系统中采集原始主数据,将所述原始主数据存储至预构建的主数据库中,利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换,得到标准主数据;
将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥,并在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;
接收主数据分发指令,从所述主数据分发指令中解析得到主数据需求字段,根据所述主数据需求字段,在所述主数据库中提取对应的标准主数据,得到待分发主数据;
利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口,利用所述通信监控机制对所述数据接收接口进行监控,若所述数据接收接口未接收到所述待分发主数据,则利用所述重推机制将所述待分发主数据重推至所述数据接收接口。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种数据分发方法,其特征在于,所述方法包括:
从预构建的主数据源系统中采集原始主数据,将所述原始主数据存储至预构建的主数据库中,利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换,得到标准主数据;
将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥,并在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;
接收主数据分发指令,从所述主数据分发指令中解析得到主数据需求字段,根据所述主数据需求字段,在所述主数据库中提取对应的标准主数据,得到待分发主数据;
利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口,利用所述通信监控机制对所述数据接收接口进行监控,若所述数据接收接口未接收到所述待分发主数据,则利用所述重推机制将所述待分发主数据重推至所述数据接收接口。
2.如权利要求1所述的数据分发方法,其特征在于,所述从预构建的主数据源系统中采集原始主数据,包括:
构建所述主数据库的权限证明;
利用所述主数据源系统中的权限校验接口对所述权限证明执行校验,得到数据采集权限;
利用所述数据采集权限从预构建的主数据源系统中采集原始主数据。
3.如权利要求1所述的数据分发方法,其特征在于,所述将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥之前,所述方法还包括:
提取所述主数据接收系统的系统需求字段,利用所述系统需求字段建立接口定义;
根据所述接口定义,创建待测试接口;
利用预先构建的接口测试用例测试所述待测试接口,得到数据接收接口。
4.如权利要求3所述的数据分发方法,其特征在于,所述将所述主数据库与预构建的每个主数据接收系统的数据接收接口连接形成并联通信桥,包括:
提取每个所述数据接收接口的接口地址;
连接所述接口地址与所述所述主数据库,形成所述并联通信桥。
5.如权利要求4所述的数据分发方法,其特征在于,所述在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制,包括:
根据所述系统需求字段,构建所述并联通信桥中每个通信桥的通信桥标识;
创建任务注册表,在所述任务注册表中利用所述通信桥标识,注册所述每个通信桥的数据分发方式,得到所述主数据分发机制;
对所述每个通信桥建立接口流量阈值,根据所述接口流量阈值对所述每个通信桥的数据流量进行监控,得到所述通信监控机制;
若所述通信监控机制检测到异常,则将所述待分发主数据重推至所述数据接收接口,得到所述重推机制。
6.如权利要求3所述的数据分发方法,其特征在于,所述利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口之前,所述方法还包括:
匹配所述系统需求字段和所述主数据需求字段,得到包含所述主数据需求字段的系统需求字段;
提取所述包含所述主数据需求字段的系统需求字段对应的数据接收接口。
7.如权利要求1至6中任意一项所述的数据分发方法,其特征在于,所述利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换之前,所述方法还包括:
建立所述原始主数据的原始格式和所述标准主数据的标准格式之间的映射关系;
根据所述映射关系构建所述格式转换模板。
8.一种数据分发装置,其特征在于,包括:
数据格式转换模块,用于从预构建的主数据源系统中采集原始主数据,将所述原始主数据存储至预构建的主数据库中,利用所述主数据库中的格式转换模板,对所述原始主数据执行格式转换,得到标准主数据;
并联通信桥构建模块,用于将所述主数据库与每个主数据接收系统的数据接收接口连接形成并联通信桥,并在所述并联通信桥中绑定预构建的主数据分发机制、通信监控机制和重推机制;
数据分发模块,用于接收主数据分发指令,从所述主数据分发指令中解析得到主数据需求字段,根据所述主数据需求字段,在所述主数据库中提取对应的标准主数据,得到待分发主数据;利用所述主数据分发机制,将所述待分发主数据通过所述并联通信桥分发至对应的数据接收接口,利用所述通信监控机制对所述数据接收接口进行监控,若所述数据接收接口未接收到所述待分发主数据,则利用所述重推机制将所述待分发主数据重推至所述数据接收接口。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的数据分发方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据分发方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110752606.0A CN113377857A (zh) | 2021-07-02 | 2021-07-02 | 数据分发方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110752606.0A CN113377857A (zh) | 2021-07-02 | 2021-07-02 | 数据分发方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113377857A true CN113377857A (zh) | 2021-09-10 |
Family
ID=77581012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110752606.0A Pending CN113377857A (zh) | 2021-07-02 | 2021-07-02 | 数据分发方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113377857A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114124527A (zh) * | 2021-11-23 | 2022-03-01 | 浙报融媒体科技(浙江)股份有限公司 | 数据分发方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050267930A1 (en) * | 2004-05-27 | 2005-12-01 | Samsung Electronics Co., Ltd. | Multi-processor architecture with high capacity I/O |
CN102637214A (zh) * | 2012-04-28 | 2012-08-15 | 中国工商银行股份有限公司 | 基于数据库服务间的通用数据同步方法及其系统 |
CN106257874A (zh) * | 2016-08-01 | 2016-12-28 | 上海海事大学 | 一种不稳定网络中大数据量远程采集方法与系统 |
CN107943958A (zh) * | 2017-11-24 | 2018-04-20 | 税友软件集团股份有限公司 | 一种个税主数据共享方法及系统 |
CN109299193A (zh) * | 2018-09-25 | 2019-02-01 | 深圳市佰仟金融服务有限公司 | 数据同步方法及相关设备 |
CN109508176A (zh) * | 2018-07-20 | 2019-03-22 | 苏州百捷信息科技有限公司 | 一种企业主数据管理平台 |
CN111640476A (zh) * | 2020-06-01 | 2020-09-08 | 山东健康医疗大数据有限公司 | 一种实验数据治理和管理的方法 |
-
2021
- 2021-07-02 CN CN202110752606.0A patent/CN113377857A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050267930A1 (en) * | 2004-05-27 | 2005-12-01 | Samsung Electronics Co., Ltd. | Multi-processor architecture with high capacity I/O |
CN102637214A (zh) * | 2012-04-28 | 2012-08-15 | 中国工商银行股份有限公司 | 基于数据库服务间的通用数据同步方法及其系统 |
CN106257874A (zh) * | 2016-08-01 | 2016-12-28 | 上海海事大学 | 一种不稳定网络中大数据量远程采集方法与系统 |
CN107943958A (zh) * | 2017-11-24 | 2018-04-20 | 税友软件集团股份有限公司 | 一种个税主数据共享方法及系统 |
CN109508176A (zh) * | 2018-07-20 | 2019-03-22 | 苏州百捷信息科技有限公司 | 一种企业主数据管理平台 |
CN109299193A (zh) * | 2018-09-25 | 2019-02-01 | 深圳市佰仟金融服务有限公司 | 数据同步方法及相关设备 |
CN111640476A (zh) * | 2020-06-01 | 2020-09-08 | 山东健康医疗大数据有限公司 | 一种实验数据治理和管理的方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114124527A (zh) * | 2021-11-23 | 2022-03-01 | 浙报融媒体科技(浙江)股份有限公司 | 数据分发方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112052370A (zh) | 报文生成方法、装置、电子设备及计算机可读存储介质 | |
CN112528307A (zh) | 服务请求校验方法、装置、电子设备及存储介质 | |
CN112506940B (zh) | 数据对账方法、装置、电子设备及存储介质 | |
CN112949278A (zh) | 数据核对方法、装置、电子设备及可读存储介质 | |
CN114881616A (zh) | 业务流程执行方法、装置、电子设备及存储介质 | |
CN113434674A (zh) | 数据解析方法、装置、电子设备及可读存储介质 | |
CN112115145A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN112579098A (zh) | 软件发布方法、装置、电子设备及可读存储介质 | |
CN114610747A (zh) | 数据查询方法、装置、设备及存储介质 | |
CN112579055A (zh) | 接口参数校验方法、装置及计算机可读存储介质 | |
CN112256783A (zh) | 数据导出方法、装置、电子设备及存储介质 | |
CN114519084A (zh) | 基于区块链的医疗数据检查方法、装置、设备及介质 | |
CN113377857A (zh) | 数据分发方法、装置、电子设备及可读存储介质 | |
CN113434542A (zh) | 数据关系识别方法、装置、电子设备及存储介质 | |
CN112104662B (zh) | 远端数据读写方法、装置、设备及计算机可读存储介质 | |
CN113360139A (zh) | 前端框架的集成方法、装置、电子设备及存储介质 | |
CN112580079A (zh) | 权限配置方法、装置、电子设备及可读存储介质 | |
CN112579452A (zh) | 软件自动化测试方法、装置、设备及存储介质 | |
CN112541688A (zh) | 业务数据校验方法、装置、电子设备及计算机存储介质 | |
CN113254446B (zh) | 数据融合方法、装置、电子设备及介质 | |
CN114237829B (zh) | 一种电力设备的数据采集与处理方法 | |
CN115145870A (zh) | 失败任务原因定位方法、装置、电子设备及存储介质 | |
CN113469649A (zh) | 项目进度分析方法、装置、电子设备及存储介质 | |
CN114691782A (zh) | 数据库表增量同步方法、装置及存储介质 | |
CN112667244A (zh) | 数据校验方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |