CN114547204A - 数据同步方法、装置、计算机设备和存储介质 - Google Patents
数据同步方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114547204A CN114547204A CN202210181852.XA CN202210181852A CN114547204A CN 114547204 A CN114547204 A CN 114547204A CN 202210181852 A CN202210181852 A CN 202210181852A CN 114547204 A CN114547204 A CN 114547204A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- synchronized
- data table
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及一种数据同步方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据;在根据所述元数据生成的同步配置数据中,提取待同步数据表标识;在业务库的数据表中,选取所述待同步数据表标识对应的目标数据表;将所述目标数据表的字段中的数据,同步至数据中心。采用本方法能够提高数据同步的效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据同步方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,经常需要将业务系统中的数据同步至数据中心,怎样准确确定需要进行同步的数据成为重要的问题。传统技术中,通过数据表间的关联关系确定需要同步的数据表。但在同步的数据表数量较多时,由于数据表间的关联关系比较复杂,需要较长时间才能确定需要进行同步的数据表,数据同步的效率低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高效率的数据同步方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种数据同步方法。所述方法包括:
响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据;
在根据所述元数据生成的同步配置数据中,提取待同步数据表标识;
在业务库的数据表中,选取所述待同步数据表标识对应的目标数据表;
将所述目标数据表的字段中的数据,同步至数据中心。
第二方面,本申请还提供了一种数据同步装置。所述装置包括:
获取模块,用于响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据;
提取模块,用于在根据所述元数据生成的同步配置数据中,提取待同步数据表标识;
选取模块,用于在业务库的数据表中,选取所述待同步数据表标识对应的目标数据表;
同步模块,用于将所述目标数据表的字段中的数据,同步至数据中心。
在一个实施例中,所述获取模块,还用于:
响应于针对候选领域模型的选取操作,在所述候选领域模型中,选取目标领域模型,并展示所述目标领域模型定义的全部业务实体;
响应于针对所述业务实体的选取操作,在所述业务实体中,选取目标业务实体;
在所述目标领域模型中,提取所述目标业务实体的元数据。
在一个实施例中,所述提取模块,还用于:
将所述元数据发送至同步配置终端;
接收所述同步配置终端根据所述元数据生成的同步配置数据;
在接收的所述同步配置数据中,提取待同步数据表标识。
在一个实施例中,所述装置还包括:
抽取模块,用于利用应用程序接口,从业务库中抽取所述目标数据表的字段中的数据;
存储模块,用于将抽取的数据存入缓存数据表;
同步模块,还用于将所述缓存数据表中的数据同步至数据中心。
在一个实施例中,所述业务库与所述数据中心分别部署在不同的公有云中。
在一个实施例中,所述装置还包括:
所述获取模块,还用于获取临时秘钥;所述临时秘钥仅在预设时间段有效;
加密模块,用于通过所述临时秘钥对所述目标数据表的字段中的数据进行加密,得到加密后数据;
所述同步模块,还用于将所述加密后数据同步至所述数据中心。
在一个实施例中,所述装置还包括:
所述提取模块,还用于从所述同步配置数据中提取待同步字段标识;
所述同步模块,还用于在所述目标数据表的字段中,选取所述待同步字段标识对应的待同步字段;将所述待同步字段中的数据同步至数据中心。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据;
在根据所述元数据生成的同步配置数据中,提取待同步数据表标识;
在业务库的数据表中,选取所述待同步数据表标识对应的目标数据表;
将所述目标数据表的字段中的数据,同步至数据中心。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据;
在根据所述元数据生成的同步配置数据中,提取待同步数据表标识;
在业务库的数据表中,选取所述待同步数据表标识对应的目标数据表;
将所述目标数据表的字段中的数据,同步至数据中心。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据;
在根据所述元数据生成的同步配置数据中,提取待同步数据表标识;
在业务库的数据表中,选取所述待同步数据表标识对应的目标数据表;
将所述目标数据表的字段中的数据,同步至数据中心。
上述数据同步方法、装置、计算机设备、存储介质和计算机程序产品,响应于针对目标业务实体的数据同步操作,从用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据。由于目标领域模型中定义了目标业务实体,通过目标业务实体的元数据可以确定目标业务实体所包含的数据表。从而可以根据目标业务实体的元数据进行同步配置,生成同步配置数据,以基于同步配置数据确定需要进行同步的数据表。在根据元数据生成的同步配置数据中,提取待同步数据表标识,在业务库的数据表中,选取待同步数据表标识对应的目标数据表,并将目标数据表的字段中的数据,同步至数据中心。从而可以快速的确定需要进行同步的数据表,相比于基于数据表间的关联关系确定需要进行同步的数据,提高了数据同步的效率,并且可以避免数据表的遗漏,准确性更高。此外,由于领域模型中定义了各业务实体关联的数据表,更直观的呈现出数据表间的关联关系,使同步的数据表中数据的可读性更高。
附图说明
图1为一个实施例中数据同步方法的应用环境图;
图2为一个实施例中数据同步方法的流程示意图;
图3为一个实施例中业务实体的示意图;
图4为一个实施例中数据同步界面示意图;
图5为一个实施例中数据同步方案示意图;
图6为一个实施例中数据同步原理示意图;
图7为一个实施例中通过数据同步工具进行数据同步的原理示意图;
图8为一个实施例中数据同步工具通过应用程序接口抽取数据的示意图;
图9为另一个实施例中数据同步方法的原理示意图;
图10为另一个实施例中数据同步方法的流程示意图;
图11为一个实施例中数据同步装置的结构框图;
图12为另一个实施例中数据同步装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的数据同步方法,可以应用于如图1所示的应用环境中。其中,服务器102响应于针对目标业务实体的数据同步操作,从用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据;在根据元数据生成的同步配置数据中,提取待同步数据表标识;在业务库的数据表中,选取待同步数据表标识对应的目标数据表;将目标数据表的字段中的数据,同步至数据中心104。业务库中可以存储业务系统中产生的数据,业务库可以集成在服务器102上,也可以放在云上或其他网络服务器上。
其中,服务器102可以用多个物理服务器构成的服务器集群来实现,可以用提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器来实现。
在一个实施例中,如图2所示,提供了一种数据同步方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
S202,响应于针对目标业务实体的数据同步操作,从用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据。
其中,业务实体是与业务相关的对象。例如可以是ERP(Enterprise ResourcePlanning,企业资源计划)业务系统中的单据(例如,“期初销售出库单”或者“销售出库单”等),或者业务实体也可以是进销存业务系统中的销售物品,或者业务实体也可以是社交业务系统中的社交账户等。业务实体可以包括一个或多个数据表,例如,“期初销售出库单”业务实体可以包括数据表A、数据表B等。目标业务实体可以是用户选取的一个或多个业务实体,例如,目标业务实体可以是“期初销售出库单”或者“销售出库单”等。如图3所示,业务实体中包括单据头、子单据头、单据体和子单据体。
其中,领域模型是描述业务用例实现的对象模型,又被称为概念模型、领域对象模型、分析对象模型。例如,领域模型可以是供应链模型、税务管理模型、员工服务模型等。领域模型中可以定义一个或多个业务实体,例如,供应链模型中定义了“期初销售出库单”、销售出库单”等业务实体。元数据是用于描述业务实体的数据,包括实体类型、业务实体关联的数据表标识、主键、主键类型等。
在一个实施例中,S202具体包括:响应于针对候选领域模型的选取操作,在候选领域模型中,选取目标领域模型,并展示目标领域模型定义的全部业务实体;响应于针对业务实体的选取操作,在业务实体中,选取目标业务实体;在目标领域模型中,提取目标业务实体的元数据。
其中,选取操作是可以是通过点击、拖动或者滑动等触发的操作。例如,如图4所示,数据同步界面中展示了“员工服务”、“财务会计”、“税务管理”等多个候选领域模型。选取操作是针对候选领域模型的点击操作,通过选取操作选取目标领域模型,所选取的目标领域模型例如可以是“供应链”。“供应链”可以包括“期初销售出库单”、“销售出库单”等业务实体。响应于针对业务实体的选取操作,在业务实体中选取目标业务实体,目标业务实体例如可以是“期初销售出库单”。服务器在“供应链”领域模型中,提取“期初销售出库单”的元数据。
S204,在根据元数据生成的同步配置数据中,提取待同步数据表标识。
其中,同步配置是配置需要进行同步的数据表、数据表中字段,形成同步配置方案的过程。例如,如图5所示,同步配置方案中包括待同步的字段标识、字段类型和字段描述。同步配置数据是用于记录同步配置方案的数据,可以是JSON(JavaScript ObjectNotation,JS对象简谱)格式的数据,或者也可以是其他格式的数据。同步配置数据中可以包括待同步的数据表标识、数据表中待同步的字段标识、字段类型和字段描述等。待同步数据表标识是用于表示待同步数据表的标识,可以由数字、字母、字符或者特殊符号中的一种或多种组成,例如待同步数据表标识为AS001。
在一个实施例中,服务器可以根据元数据生成同步配置数据,或者,服务器也可以通过数据同步工具将元数据发送至同步配置终端,以使同步配置终端根据元数据生成同步配置数据。
S206,在业务库的数据表中,选取待同步数据表标识对应的目标数据表。
其中,业务库为用于存储业务系统中数据的存储空间。在一个实施例中,服务器中运行了多个业务系统,各业务系统中产生的数据存储在对应的业务库中。服务器根据待同步数据表标识,在业务库中选取目标数据表。服务器中运行的多个业务系统可以分别部署在不同的公有云中,相应的业务库也部署在不同的公有云中。
S208,将目标数据表的字段中的数据,同步至数据中心。
其中,数据中心104可以用独立的服务器,或者是多个服务器组成的服务器集群来实现,例如大数据集群。在一个实施例中大数据集群可以是基于对象存储的大数据集群,对象存储是适用于存储任意类型文件的云存储方式,可以是S3(Simple Storage Service,简单存储服务)或者OBS(Object Storage Service,对象存储服务)等。服务器可以将从多个业务系统的业务库中抽取的数据,均同步至数据中心,以利用这些数据进行大数据分析,可以为企业经营决策使用。例如,如图6所示,服务器将从业务系统1-N的业务库中抽取的数据,均同步至数据中心。业务系统可以是企业管理系统,例如ERP(企业资源计划系统)、CRM(客户关系管理系统)、OA(办公自动化系统)等管理系统。
在一个实施例中,S208之前还包括:利用应用程序接口,从业务库中抽取目标数据表的字段中的数据;将抽取的数据存入缓存数据表;S208具体包括:将缓存数据表中的数据同步至数据中心。
其中,缓存数据表是暂时存储目标数据表的字段中数据的数据表。对于多个目标数据表的字段中的数据,均可以暂存在缓存数据表中,然后服务器再将缓存数据表中的数据同步至数据中心。
在一个实施例中,如图7所示,数据同步工具通过业务系统的应用程序接口访问业务系统,从业务系统的业务库中抽取数据,然后将抽取的数据存入缓存数据表,最后将缓存数据表中的数据上传至数据中心。其中,数据同步工具是用于执行数据同步任务的软件程序。数据同步工具可以访问业务系统的WebAPI(Web Application ProgrammingInterface,网络应用程序接口),通过WebAPI从业务库中抽取数据。
当业务系统的数据库与数据中心部署在不同的公有云中时,由于数据安全等原因,在业务库所属的业务系统往往不可能开放外网访问,如果通过Sqoop或者DataX等工具从业务库中抽取数据,则需要针对每个业务库,在该业务库对应的公有云中均部署一套数据中心,操作复杂且成本较高。而数据同步工具可以利用应用程序接口从业务库中抽取数据,从而在业务库与数据中心没有部署在同一个公有云中时,也可以将业务库中的数据同步至数据中心,提高了数据同步的效率。此外,如图8所示,数据同步工具利用应用程序接口,从业务库中抽取数据,而不是直接访问操作业务库的业务表,在业务库为了自身安全而不允许终端直接访问时,也不需要构建备库以使终端通过访问备库抽取数据,从而降低了业务系统的复杂度,提高了业务系统的运维效率,并且提高了业务库中数据的安全性。
上述实施例中,响应于针对目标业务实体的数据同步操作,基于用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据。由于目标领域模型中定义了目标业务实体,通过目标业务实体的元数据可以确定目标业务实体所包含的数据表。从而可以根据目标业务实体的元数据进行同步配置,生成同步配置数据,以基于同步配置数据确定需要进行同步的数据表。在根据元数据生成的同步配置数据中,提取待同步数据表标识,在业务库的数据表中,选取待同步数据表标识对应的目标数据表,并将目标数据表的字段中的数据,同步至数据中心。从而可以快速的确定需要进行同步的数据表,相比于基于数据表间的关联关系确定需要进行同步的数据,提高了数据同步的效率,并且可以避免数据表的遗漏,准确性更高。此外,由于领域模型中定义了各业务实体关联的数据表,更直观的呈现出数据表间的关联关系,使同步的数据表中数据的可读性更高。
在一个实施例中,S204具体包括:将元数据发送至同步配置终端;接收同步配置终端根据元数据生成的同步配置数据;在接收的同步配置数据中,提取待同步数据表标识。
其中,同步配置终端是用于进行同步配置的终端。在一个实施例中,如图7所示,数据同步工具将元数据发送至同步配置终端,同步配置终端根据元数据生成同步配置数据,然后将同步配置数据反馈至数据同步工具。在一个实施例中,数据同步工具通过HTTPS(Hyper Text Transfer Protocol over SecureSocket Layer,超文本传输安全协议)向同步配置终端发送元数据,同步配置终端通过HTTPS协议向数据同步工具反馈同步配置数据。
上述实施例中,使同步配置终端根据元数据生成同步配置数据,将同步配置任务从业务系统中分离出来,避免数据同步任务影响业务系统的正常运行,保证了业务系统的运行安全。
在一个实施例中,S208之前还包括:获取临时秘钥;临时秘钥仅在预设时间段有效;通过临时秘钥对目标数据表的字段中的数据进行加密,得到加密后数据;S208具体包括:将加密后数据同步至数据中心。
其中,临时秘钥是仅在预设时间段有效的秘钥,用于对同步数据进行加密。例如,临时秘钥仅在预设的一个小时内有效。服务器通过临时秘钥对目标数据表的字段中的数据进行加密,并将加密后的数据上传至数据中心。服务器可以在预设时间段之内完成数据同步,在预设时间段之后秘钥失效,从而可以避免由于秘钥泄露而导致的安全性问题。
上述实施例中,服务器通过临时秘钥对目标数据表的字段中的数据进行加密,并将加密后数据同步至数据中心,从而保证了数据的传输安全。并且由于数据加密时使用的是临时秘钥,临时秘钥在预设时间段之后即自动失效,因此即时秘钥被泄露也不会产生安全性问题。
在一个实施例中,S208之前还包括:从同步配置数据中提取待同步字段标识;S208具体包括:在目标数据表的字段中,选取待同步字段标识对应的待同步字段;将待同步字段中的数据同步至数据中心。
其中,字段是数据表中的列,每个字段均具有对应的字段标识。字段标识是用于识别字段的标志,可以是由数字、字符、字母或者特殊符号中的一种或多种组成。例如,字段标识可以是FID、FDate等。例如,数据表中第一列为“姓名”字段,第二列为“日期”字段等,“姓名”和“日期”分别为对应列的字段标识。服务器在目标数据表的字段中,选取待同步字段标识对应的待同步字段,并将待同步字段中的数据同步至数据中心。例如,服务器选取目标数据表中的“单据编号”字段、“修改日期”字段以及“销售组织”字段,并将选取的字段中的数据同步至数据中心。
上述实施例中,服务器从同步配置数据中提取待同步字段标识,在目标数据表的字段中,选取待同步字段标识对应的待同步字段,并将待同步字段中的数据同步至数据中心。从而可以根据同步配置数据快速确定待同步字段,提高了数据同步的效率。
在一个实施例中,如图9所示,SaaS(Software-as-a-Service,软件即服务)平台中部署了多个业务系统,各业务系统可以部署在相同的公有云中,也可以部署在不同的公有云中,各业务系统中产生的数据存储在对应的业务库中。服务器通过统一的数据同步工具从各业务系统对应的业务库中抽取数据。
数据同步工具基于用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据,并将元数据发送至同步配置终端。同步配置终端根据元数据生成同步配置数据,并将同步配置数据反馈给数据同步工具。数据同步工具从同步配置数据中,提取待同步数据表标识和待同步字段标识,在待同步数据表标识对应的数据表中选取待同步字段标识对应的待同步字段。数据同步工具分别通过各业务系统的WebAPI从业务系统的业务库中抽取待同步字段中的数据,并将抽取的数据存储在缓存数据表中,然后将缓存数据表中的数据同步至数据中心。
上述实施例中,服务器可以通过统一的数据同步工具,从部署在不同公有云的业务系统的业务库中抽取数据,从而在业务系统不开放外网访问时,也不需要在每个公有云中均部署一套数据中心,即可以通过数据同步工具将各业务系统中的数据同步至统一的数据中心中。并且数据同步工具通过WebAPI从业务库中抽取数据,而不是直接访问业务库,提高了数据安全性。
在一个实施例中,如图10所示,数据同步方法包括如下步骤:
S1002,响应于针对候选领域模型的选取操作,在候选领域模型中,选取目标领域模型,并展示目标领域模型定义的全部业务实体。
S1004,响应于针对业务实体的选取操作,在业务实体中,选取目标业务实体。
S1006,在目标领域模型中,提取目标业务实体的元数据。
S1008,将元数据发送至同步配置终端。
S1010,接收同步配置终端根据元数据生成的同步配置数据。
S1012,在接收的同步配置数据中,提取待同步数据表标识和待同步字段标识。
S1014,在业务库的数据表中,选取待同步数据表标识对应的目标数据表。
S1016,在目标数据表的字段中,选取待同步字段标识对应的待同步字段。
S1018,通过数据同步工具,利用应用程序接口,从业务库中抽取待同步字段中的数据。
S1020,将抽取的数据存入缓存数据表,并将缓存数据表中的数据同步至数据中心。
上述S1002至S1020的具体内容可以参考上文所述的具体实现过程。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据同步方法的数据同步装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据同步装置实施例中的具体限定可以参见上文中对于数据同步方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种数据同步装置,包括:获取模块1102、提取模块1104、选取模块1106和同步模块1108,其中:
获取模块1102,用于响应于针对目标业务实体的数据同步操作,从用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据;
提取模块1104,用于在根据元数据生成的同步配置数据中,提取待同步数据表标识;
选取模块1106,用于在业务库的数据表中,选取待同步数据表标识对应的目标数据表;
同步模块1108,用于将目标数据表的字段中的数据,同步至数据中心。
上述实施例中,响应于针对目标业务实体的数据同步操作,从用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据。由于目标领域模型中定义了目标业务实体,通过目标业务实体的元数据可以确定目标业务实体所包含的数据表。从而可以根据目标业务实体的元数据进行同步配置,生成同步配置数据,以基于同步配置数据确定需要进行同步的数据表。在根据元数据生成的同步配置数据中,提取待同步数据表标识,在业务库的数据表中,选取待同步数据表标识对应的目标数据表,并将目标数据表的字段中的数据,同步至数据中心。从而可以快速的确定需要进行同步的数据表,相比于基于数据表间的关联关系确定需要进行同步的数据,提高了数据同步的效率,并且可以避免数据表的遗漏,准确性更高。此外,由于领域模型中定义了各业务实体关联的数据表,更直观的呈现出数据表间的关联关系,使同步的数据表中数据的可读性更高。
在一个实施例中,获取模块1102,还用于:
响应于针对候选领域模型的选取操作,在候选领域模型中,选取目标领域模型,并展示目标领域模型定义的全部业务实体;
响应于针对业务实体的选取操作,在业务实体中,选取目标业务实体;
在目标领域模型中,提取目标业务实体的元数据。
在一个实施例中,提取模块1104,还用于:
将元数据发送至同步配置终端;
接收同步配置终端根据元数据生成的同步配置数据;
在接收的同步配置数据中,提取待同步数据表标识。
在一个实施例中,如图12所示,装置还包括:
抽取模块1110,利用应用程序接口,从业务库中抽取目标数据表的字段中的数据;
存储模块1112,用于将抽取的数据存入缓存数据表;
同步模块1108,还用于将缓存数据表中的数据同步至数据中心。
在一个实施例中,所述业务库与所述数据中心分别部署在不同的公有云中。
在一个实施例中,装置还包括:
获取模块1102,还用于获取临时秘钥;临时秘钥仅在预设时间段有效;
加密模块1114,用于通过临时秘钥对目标数据表的字段中的数据进行加密,得到加密后数据;
同步模块1108,还用于将加密后数据同步至数据中心。
在一个实施例中,装置还包括:
提取模块1104,还用于从同步配置数据中提取待同步字段标识;
同步模块1108,还用于在目标数据表的字段中,选取待同步字段标识对应的待同步字段;将待同步字段中的数据同步至数据中心。
上述数据同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据同步数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据同步方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:响应于针对目标业务实体的数据同步操作,从用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据;在根据元数据生成的同步配置数据中,提取待同步数据表标识;在业务库的数据表中,选取待同步数据表标识对应的目标数据表;将目标数据表的字段中的数据,同步至数据中心。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:响应于针对候选领域模型的选取操作,在候选领域模型中,选取目标领域模型,并展示目标领域模型定义的全部业务实体;响应于针对业务实体的选取操作,在业务实体中,选取目标业务实体;在目标领域模型中,提取目标业务实体的元数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将元数据发送至同步配置终端;接收同步配置终端根据元数据生成的同步配置数据;在接收的同步配置数据中,提取待同步数据表标识。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:利用应用程序接口,从业务库中抽取目标数据表的字段中的数据;将抽取的数据存入缓存数据表;将缓存数据表中的数据同步至数据中心。
在一个实施例中,所述业务库与所述数据中心分别部署在不同的公有云中。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取临时秘钥;临时秘钥仅在预设时间段有效;通过临时秘钥对目标数据表的字段中的数据进行加密,得到加密后数据;将加密后数据同步至数据中心。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:从同步配置数据中提取待同步字段标识;在目标数据表的字段中,选取待同步字段标识对应的待同步字段;将待同步字段中的数据同步至数据中心。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:响应于针对目标业务实体的数据同步操作,从用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据;在根据元数据生成的同步配置数据中,提取待同步数据表标识;在业务库的数据表中,选取待同步数据表标识对应的目标数据表;将目标数据表的字段中的数据,同步至数据中心。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:响应于针对候选领域模型的选取操作,在候选领域模型中,选取目标领域模型,并展示目标领域模型定义的全部业务实体;响应于针对业务实体的选取操作,在业务实体中,选取目标业务实体;在目标领域模型中,提取目标业务实体的元数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将元数据发送至同步配置终端;接收同步配置终端根据元数据生成的同步配置数据;在接收的同步配置数据中,提取待同步数据表标识。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:利用应用程序接口,从业务库中抽取目标数据表的字段中的数据;将抽取的数据存入缓存数据表;将缓存数据表中的数据同步至数据中心。
在一个实施例中,所述业务库与所述数据中心分别部署在不同的公有云中。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取临时秘钥;临时秘钥仅在预设时间段有效;通过临时秘钥对目标数据表的字段中的数据进行加密,得到加密后数据;将加密后数据同步至数据中心。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:从同步配置数据中提取待同步字段标识;在目标数据表的字段中,选取待同步字段标识对应的待同步字段;将待同步字段中的数据同步至数据中心。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:响应于针对目标业务实体的数据同步操作,从用于定义目标业务实体的目标领域模型,获取目标业务实体的元数据;在根据元数据生成的同步配置数据中,提取待同步数据表标识;在业务库的数据表中,选取待同步数据表标识对应的目标数据表;将目标数据表的字段中的数据,同步至数据中心。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:响应于针对候选领域模型的选取操作,在候选领域模型中,选取目标领域模型,并展示目标领域模型定义的全部业务实体;响应于针对业务实体的选取操作,在业务实体中,选取目标业务实体;在目标领域模型中,提取目标业务实体的元数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将元数据发送至同步配置终端;接收同步配置终端根据元数据生成的同步配置数据;在接收的同步配置数据中,提取待同步数据表标识。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过数据同步工具,利用应用程序接口,从业务库中抽取目标数据表的字段中的数据;将抽取的数据存入缓存数据表;将缓存数据表中的数据同步至数据中心。
在一个实施例中,对于至少两个业务库,各业务库分别部署在不同的公有云中。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取临时秘钥;临时秘钥仅在预设时间段有效;通过临时秘钥对目标数据表的字段中的数据进行加密,得到加密后数据;将加密后数据同步至数据中心。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:从同步配置数据中提取待同步字段标识;在目标数据表的字段中,选取待同步字段标识对应的待同步字段;将待同步字段中的数据同步至数据中心。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种数据同步方法,其特征在于,所述方法包括:
响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据;
在根据所述元数据生成的同步配置数据中,提取待同步数据表标识;
在业务库的数据表中,选取所述待同步数据表标识对应的目标数据表;
将所述目标数据表的字段中的数据,同步至数据中心。
2.根据权利要求1所述的方法,其特征在于,所述响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据包括:
响应于针对候选领域模型的选取操作,在所述候选领域模型中,选取目标领域模型,并展示所述目标领域模型定义的全部业务实体;
响应于针对所述业务实体的选取操作,在所述业务实体中,选取目标业务实体;
在所述目标领域模型中,提取所述目标业务实体的元数据。
3.根据权利要求1所述的方法,其特征在于,所述在根据所述元数据生成的同步配置数据中,提取待同步数据表标识包括:
将所述元数据发送至同步配置终端;
接收所述同步配置终端根据所述元数据生成的同步配置数据;
在接收的所述同步配置数据中,提取待同步数据表标识。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
利用应用程序接口,从业务库中抽取所述目标数据表的字段中的数据;
将抽取的数据存入缓存数据表;
所述将所述目标数据表的字段中的数据,同步至数据中心包括:
将所述缓存数据表中的数据同步至数据中心。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述业务库与所述数据中心分别部署在不同的公有云中。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取临时秘钥;所述临时秘钥仅在预设时间段有效;
通过所述临时秘钥对所述目标数据表的字段中的数据进行加密,得到加密后数据;
所述将所述目标数据表的字段中的数据,同步至数据中心包括:
将所述加密后数据同步至所述数据中心。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述同步配置数据中提取待同步字段标识;
所述将所述目标数据表的字段中的数据,同步至数据中心包括:
在所述目标数据表的字段中,选取所述待同步字段标识对应的待同步字段;
将所述待同步字段中的数据同步至数据中心。
8.一种数据同步装置,其特征在于,所述装置包括:
获取模块,用于响应于针对目标业务实体的数据同步操作,从用于定义所述目标业务实体的目标领域模型,获取所述目标业务实体的元数据;
提取模块,用于在根据所述元数据生成的同步配置数据中,提取待同步数据表标识;
选取模块,用于在业务库的数据表中,选取所述待同步数据表标识对应的目标数据表;
同步模块,用于将所述目标数据表的字段中的数据,同步至数据中心。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210181852.XA CN114547204A (zh) | 2022-02-25 | 2022-02-25 | 数据同步方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210181852.XA CN114547204A (zh) | 2022-02-25 | 2022-02-25 | 数据同步方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114547204A true CN114547204A (zh) | 2022-05-27 |
Family
ID=81678824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210181852.XA Pending CN114547204A (zh) | 2022-02-25 | 2022-02-25 | 数据同步方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114547204A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115328997A (zh) * | 2022-07-15 | 2022-11-11 | 深圳市数帝网络科技有限公司 | 数据同步方法、系统、设备及存储介质 |
CN115952185A (zh) * | 2023-03-10 | 2023-04-11 | 布比(北京)网络技术有限公司 | 一种数据处理方法及装置、设备及存储介质 |
-
2022
- 2022-02-25 CN CN202210181852.XA patent/CN114547204A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115328997A (zh) * | 2022-07-15 | 2022-11-11 | 深圳市数帝网络科技有限公司 | 数据同步方法、系统、设备及存储介质 |
CN115952185A (zh) * | 2023-03-10 | 2023-04-11 | 布比(北京)网络技术有限公司 | 一种数据处理方法及装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11397744B2 (en) | Systems and methods for data storage and processing | |
US11055442B2 (en) | Secure decentralized system utilizing smart contracts, a blockchain, and/or a distributed file system | |
US10339038B1 (en) | Method and system for generating production data pattern driven test data | |
CN107391758B (zh) | 数据库切换方法、装置及设备 | |
CN109997126A (zh) | 事件驱动提取、变换、加载(etl)处理 | |
WO2018053413A1 (en) | Methods and systems for endpoint device operating system in an asset intelligence platform | |
CN109964216A (zh) | 识别未知数据对象 | |
EP3173951B1 (en) | Integrated framework for secured data provisioning and management | |
CN114547204A (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
CN113254534B (zh) | 数据同步方法、装置及计算机存储介质 | |
Jeong et al. | Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions | |
CN107798037A (zh) | 用户特征数据的获取方法及服务器 | |
US20210157821A1 (en) | Blockchain-based data processing methods and apparatuses and computer devices | |
US10769307B2 (en) | Processing system using natural language processing for performing dataset filtering and sanitization | |
Zheng | Database as a service-current issues and its future | |
WO2014137258A1 (en) | Selection of data storage settings for an application | |
WO2019157122A1 (en) | Rf tag operating system with iot connector core | |
CN115544183A (zh) | 数据可视化方法、装置、计算机设备和存储介质 | |
CN107392560A (zh) | 一种基于互联网的Excel表格数据发布采集方法及系统 | |
Wang et al. | Cloud data integrity verification algorithm based on data mining and accounting informatization | |
US20220108404A1 (en) | Systems and methods for distributed ledger-based auditing | |
KR20190109664A (ko) | 빅 데이터 비식별화 처리 시스템 및 방법 | |
US11922239B1 (en) | System and method for abstraction of application programming interface creation without code | |
Khwaja | A real-time DBMS system for the immigration processing of large Hajj crowd | |
CN116226117A (zh) | 业务单据生成方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |