CN114138745A - 数据的集成方法、装置、存储介质及处理器 - Google Patents
数据的集成方法、装置、存储介质及处理器 Download PDFInfo
- Publication number
- CN114138745A CN114138745A CN202111425011.0A CN202111425011A CN114138745A CN 114138745 A CN114138745 A CN 114138745A CN 202111425011 A CN202111425011 A CN 202111425011A CN 114138745 A CN114138745 A CN 114138745A
- Authority
- CN
- China
- Prior art keywords
- target
- field
- value
- data
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据的集成方法、装置、存储介质及处理器。该方法包括:对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;若目标字段的值发生更改,确定目标对象被集成。通过本申请,解决了相关技术中系统间数据集成效率较低的问题。
Description
技术领域
本申请涉及数据集成技术领域,具体而言,涉及一种数据的集成方法、装置、存储介质及处理器。
背景技术
随着企业信息化系统的发展,企业生产运营数据分布在不同信息化系统中,在这种背景下,不可避免地需要各系统间进行数据交互或是数据集成。
当前各个系统的数据库通常是独立的,系统中数据间表结构及字段定义也各不相同。不同系统间集成都需要对数据字段进行映射定制,这种集成方式导致字段的修改都需要定制修改集成源程序。
针对相关技术中系统间数据集成效率较低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据的集成方法、装置、存储介质及处理器,以解决相关技术中系统间数据集成效率较低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种数据的集成方法。该方法包括:对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;若目标字段的值发生更改,确定目标对象被集成。
进一步地,将配置文件按照预设格式进行存储,得到目标对象包括:将配置文件读取到至目标系统内存中;在目标系统内存中将配置文件按照预设格式进行存储,得到目标对象。
进一步地,判断目标对象中目标字段的值是否发生更改包括:从目标对象中获取目标对象中每个列表的列表信息;判断列表信息中是否包括目标标识属性;在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改;在列表信息中不包括目标标识属性的情况下,将当前目标时间字段的值与目标时间字段的初始配置值进行比较,得到比较结果,根据比较结果确定目标对象中目标时间字段的值是否发生更改。
进一步地,在列表信息中不包括目标标识属性的情况下,将当前目标时间字段的值与目标时间字段的初始时间配置值进行比较,得到比较结果,根据比较结果确定目标对象中目标时间字段的值是否发生更改包括:从配置文件中获取目标时间字段的初始时间配置值,其中,初始配置值为原始数据的初次被集成的时间;判断当前目标时间字段的值是否大于初始时间配置值;若目标时间字段的值大于初始时间配置值,确定目标时间字段的值发生更改。
进一步地,在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改之前,该方法还包括:获取目标对象中的目标列表属性的映射关系;根据映射关系将目标对象中的列表数据写入目标数据库中。
进一步地,在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改包括:获取目标标识字段的初始标识配置值;将初始标识配置值更改为预设数值。
为了实现上述目的,根据本申请的另一方面,提供了一种数据的集成装置。该装置包括:配置单元,用于对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;存储单元,用于将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;判断单元,用于判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;更改单元,用于若目标字段的值发生更改,确定目标对象被集成。
进一步地,存储单元包括:读取模块,用于将配置文件读取到至目标系统内存中;存储模块,用于在目标系统内存中将配置文件按照预设格式进行存储,得到目标对象。
进一步地,判断单元包括:获取模块,用于从目标对象中获取目标对象中每个列表的列表信息;判断模块,用于判断列表信息中是否包括目标标识属性;第一确定模块,用于在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改;第二确定模块,用于在列表信息中不包括目标标识属性的情况下,将当前目标时间字段的值与目标时间字段的初始配置值进行比较,得到比较结果,根据比较结果确定目标对象中目标时间字段的值是否发生更改。
进一步地,第二确定模块包括:第一获取子模块,用于从配置文件中获取目标时间字段的初始时间配置值,其中,初始配置值为原始数据的初次被集成的时间;判断子模块,用于判断当前目标时间字段的值是否大于初始时间配置值;确定子模块,用于若目标时间字段的值大于初始时间配置值,确定目标时间字段的值发生更改。
进一步地,该装置还包括:获取单元,用于在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改之前,获取目标对象中的目标列表属性的映射关系;处理单元,用于根据映射关系将目标对象中的列表数据写入目标数据库中。
进一步地,第一确定模块包括:第二获取子模块,用于获取目标标识字段的初始标识配置值;更改子模块,用于将初始标识配置值更改为预设数值。
根据本申请实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述任意一项的方法。
根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时执行上述任意一项的方法。
通过本申请,采用以下步骤:对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;若目标字段的值发生更改,确定目标对象被集成。解决了相关技术中系统间数据集成效率较低的问题。通过判断目标对象中目标字段的值是否发生更改,若目标字段的值发生更改,确定目标对象被集成,进而达到了提高系统间数据集成效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的数据的集成方法的流程图;
图2是根据本申请实施例提供的数据的集成方法的数据配置图一;
图3是根据本申请实施例提供的数据的集成方法的数据配置图二;
图4是根据本申请实施例提供的数据的集成方法的字段映射配置页面示意图;
图5是根据本申请实施例提供的数据的集成方法的系统执行流程图;
图6是根据本申请实施例提供的数据的集成方法的业务时间同步示意图;
图7是根据本申请实施例提供的数据的集成装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请的实施例,提供了一种数据的集成方法。
图1是根据本申请实施例的数据的集成方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据。
具体的,将系统中的数据集成到不同的数据库中之前,需要对该数据(对应于本申请中的原始数据)进行配置,其中,配置文件的结构分别以图2以及图3进行表示。其中,两种配置文件的结构整体区别不大,只是针对上游数据的的同步标识状态有所不同。
需要说明的是,首先对图2以及图3的配置文件中相同的部分进行阐述,一个Table节点代表两个系统间一张数据表的映射关系配置,Table的tag属性值表示对应上游系统表的业务含义,Source属性值表示上游系统的表名,TargetModule属性值表示数据集成的下游系统简称,TargetTable属性值下游系统的表名,Table节点中的Column节点表示两个表中列的对应关系,Column节点中的Source属性值表示上游系统表中的一个字段,Target属性值表示相对应的下游系统表中的字段,Type属性值表示字段的类型,IsKey表示是否是主键。
然后对图2和图3的配置文件中差别的部分进行阐述,两个配置文件的差别仅在于Table节点是否有Field属性值。例如,在图2中存在Field属性值表示上游系统表的唯一标识,SyncFlag属性值时上游系统表中的一个字段,用于表示此条数据已经集成。集成后,依据Field属性值找到上游系统表数据,并将SyncFlag属性值的字段值进行修改。例如,在图3中没有Field属性值,SyncFlag属性值是上游系统表的一个时间字段,每次集成是依据此时间字段进行取值。
步骤S102,将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表。
具体的,本申请对数据进行系统集成时,需要将上述的配置文件内容进行按照预设格式进行存储,通过对存储后的目标对象进行集成,提升了系统的数据集成效率。
可选地,在本申请实施例提供的数据的集成方法中,将配置文件按照预设格式进行存储,得到目标对象包括:将配置文件读取到至目标系统内存中;在目标系统内存中将配置文件按照预设格式进行存储,得到目标对象。
具体的,字段动态映射的功能配置页面如图4所示,在系统集成系统启动后,会将动态映射的配置文件读到系统内存中,存为一个Table的列表,通过在集成系统中遍历列表中的Table,实现对每一个Table进行数据的集成,提升了系统的数据集成效率。例如,配置文件中Table和Column的数据格式(对应于本申请中的预设格式)可以如下所示:
步骤S103,判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段。
步骤S104,若目标字段的值发生更改,确定目标对象被集成。
例如,目标字段可以是图2中的SyncFlag属性对应的标识字段,也可以是图3中的SyncFlag属性对应的时间字段。
可选地,在本申请实施例提供的数据的集成方法中,判断目标对象中目标字段的值是否发生更改包括:从目标对象中获取目标对象中每个列表的列表信息;判断列表信息中是否包括目标标识属性;在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改;在列表信息中不包括目标标识属性的情况下,将当前目标时间字段的值与目标时间字段的初始配置值进行比较,得到比较结果,根据比较结果确定目标对象中目标时间字段的值是否发生更改。
具体的,由于系统的数据集成,要求上游的数据只能写一次到下游的表中,不能重复写入下游系统的表中,因此,对Table中的Field属性(对应于本申请中的目标标识属性,下同)是否为空的两种情况进行分析,若列表信息中包括Field属性,则对应于图2所示的配置文件对数据进行集成,并确定图2中的SyncFlag属性对应的字段的值发生更改,通过对Table中是否包含目标标识属性的灵活判断,避免了数据被重复集成,进一步提升了数据集集成效率。
可选地,在本申请实施例提供的数据的集成方法中,在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改包括:获取目标标识字段的初始标识配置值;将初始标识配置值更改为预设数值。
具体的,在列表信息中包括Field属性的情况下,将成功写入的上游数据的唯一标识Field对应字段的值记录下来,将记录下来的值作为条件,将上游表中SyncFlag属性对应的字段值改为1(对应于本申请中的预设数值),表示此条记录下的数据已经集成过,其中,配置文件中Field的属性值表示上游数据表的索引Id,SyncFlag的属性值表示同步标识字段(通常上游表中未集成时值为0,集成后值为1),通过对Table中是否包含目标标识属性的灵活判断,避免了数据被重复集成,进一步提升了数据集集成效率。
可选地,在本申请实施例提供的数据的集成方法中,在列表信息中不包括目标标识属性的情况下,将当前目标时间字段的值与目标时间字段的初始时间配置值进行比较,得到比较结果,根据比较结果确定目标对象中目标时间字段的值是否发生更改包括:从配置文件中获取目标时间字段的初始时间配置值,其中,初始配置值为原始数据的初次被集成的时间;判断当前目标时间字段的值是否大于初始时间配置值;若目标时间字段的值大于初始时间配置值,确定目标时间字段的值发生更改。
具体的,若列表信息中不包括Field属性,则对应于图3所示的配置文件对数据进行集成,获取当前目标时间字段的SyncFlag属性值与SyncFlag属性的初始配置值进行对比,若初始配置值为A,当前目标时间字段的SyncFlag属性值为B,若B大于A,则确定图3中的SyncFlag属性对应的字段的值发生更改,将此次FlagSync属性对应字段最大值写入到图3中读取时间记录的配置文件中,并替换内存中的读取时间值,通过选取目标时间字段的最大值作为同步业务的初始时间配置值,进一步提升了系统间的数据集成效率。
可选地,在本申请实施例提供的数据的集成方法中,在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改之前,该方法还包括:获取目标对象中的目标列表属性的映射关系;根据映射关系将目标对象中的列表数据写入目标数据库中。
具体的,在列表信息中包括Field属性的情况下,把SyncFlag属性值对应字段等于0作为读取条件,按照内存中Table对象中column列表的Source属性值作为要查询的字段,将数据读取到内存表,依据column的属性对应关系(对应于本申请中的映射关系),将读取的到数据的内存表转换为column列表Target属性值为表头的字段,由于配置的Target字段和下游数据库字段名完全一致,可以将数据直接写入下游数据库(对应于本申请中的目标数据库)的Table对象的TargetTable属性值对应表中,进而实现了对数据的高效集成。
需要说明的是,在列表信息中不包括Field属性的情况下,上述把上游表中的SyncFlag属性对应字段值大于初始时间配置值作为读取条件,然后根据上述目标对象中的目标列表属性的映射关系,将数据集成至下游数据库,除过与上述在列表信息中包括Field属性的情况下,数据的读取条件不同,其余操作相同,此处不进行详述。
可选地,图5是根据本申请实施例提供的数据的集成方法的系统执行流程图,如图5所示,在集成开始阶段,读取配置文件,判断配置文件的Table节点中是否包含Field属性,如果包含,设置读取条件为SyncFlag属性字段为0,如果不包含,读取记录业务时间初始值的配置文件,设置条件为SyncFlag属性对应字段值大于业务时间初始值,并读取Table对象中column列表的Source属性值作为要查询的字段,依据column的属性对应关系,将读取的到数据的内存表转换为column列表Target属性值为表头的字段,将数据集成至下游数据库之后,将配置文件的Table节点中包含Field属性的SyncFlag字段值置为1,将配置文件的Table节点中不包含Field属性的SyncFlag字段值中的最大值设置为同步业务时间初始值,并记录在对应配置文件中。
需要说明的是,如图6所示,本申请的整个系统集成逻辑是位于定时器内部处理逻辑中,在系统间的数据开始集成后,就可以按照定时器间隔的周期来定时地执行,进一步地实现两个系统间数据的自动集成。
综上,本申请实施例提供的数据的集成方法,通过对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;若目标字段的值发生更改,确定目标对象被集成。解决了相关技术中系统间数据集成效率较低的问题。通过判断目标对象中目标字段的值是否发生更改,若目标字段的值发生更改,确定目标对象被集成,进而达到了提高系统间数据集成效率的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据的集成装置,需要说明的是,本申请实施例的数据的集成装置可以用于执行本申请实施例所提供的用于数据的集成方法。以下对本申请实施例提供的数据的集成装置进行介绍。
图7是根据本申请实施例的数据的集成装置的示意图。如图7所示,该装置包括:配置单元701、存储单元702、判断单元703、更改单元704。
具体的,配置单元701,用于对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;
存储单元702,用于将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;
判断单元703,用于判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;
更改单元704,用于若目标字段的值发生更改,确定目标对象被集成。
综上,本申请实施例提供的数据的集成装置,通过配置单元701对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;存储单元702将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;判断单元703判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;更改单元704若目标字段的值发生更改,确定目标对象被集成,解决了相关技术中系统间数据集成效率较低的问题。通过判断目标对象中目标字段的值是否发生更改,若目标字段的值发生更改,确定目标对象被集成,进而达到了提高系统间数据集成效率的效果。
可选地,在本申请实施例提供的数据的集成装置中,存储单元包括:读取模块,用于将配置文件读取到至目标系统内存中;存储模块,用于在目标系统内存中将配置文件按照预设格式进行存储,得到目标对象。
可选地,在本申请实施例提供的数据的集成装置中,判断单元包括:获取模块,用于从目标对象中获取目标对象中每个列表的列表信息;判断模块,用于判断列表信息中是否包括目标标识属性;第一确定模块,用于在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改;第二确定模块,用于在列表信息中不包括目标标识属性的情况下,将当前目标时间字段的值与目标时间字段的初始配置值进行比较,得到比较结果,根据比较结果确定目标对象中目标时间字段的值是否发生更改。
可选地,在本申请实施例提供的数据的集成装置中,第二确定模块包括:第一获取子模块,用于从配置文件中获取目标时间字段的初始时间配置值,其中,初始配置值为原始数据的初次被集成的时间;判断子模块,用于判断当前目标时间字段的值是否大于初始时间配置值;确定子模块,用于若目标时间字段的值大于初始时间配置值,确定目标时间字段的值发生更改。
可选地,在本申请实施例提供的数据的集成装置中,该装置还包括:获取单元,用于在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改之前,获取目标对象中的目标列表属性的映射关系;处理单元,用于根据映射关系将目标对象中的列表数据写入目标数据库中。
可选地,在本申请实施例提供的数据的集成装置中,第一确定模块包括:第二获取子模块,用于获取目标标识字段的初始标识配置值;更改子模块,用于将初始标识配置值更改为预设数值。
数据的集成装置包括处理器和存储器,上述配置单元701、存储单元702、判断单元703、更改单元704等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来进行数据的集成。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现数据的集成方法。
本发明实施例提供了一种处理器,处理器用于运行程序,其中,程序运行时执行数据的集成方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;若目标字段的值发生更改,确定目标对象被集成。
处理器执行程序时还实现以下步骤:将配置文件读取到至目标系统内存中;在目标系统内存中将配置文件按照预设格式进行存储,得到目标对象。
处理器执行程序时还实现以下步骤:从目标对象中获取目标对象中每个列表的列表信息;判断列表信息中是否包括目标标识属性;在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改;在列表信息中不包括目标标识属性的情况下,将当前目标时间字段的值与目标时间字段的初始配置值进行比较,得到比较结果,根据比较结果确定目标对象中目标时间字段的值是否发生更改。
处理器执行程序时还实现以下步骤:从配置文件中获取目标时间字段的初始时间配置值,其中,初始配置值为原始数据的初次被集成的时间;判断当前目标时间字段的值是否大于初始时间配置值;若目标时间字段的值大于初始时间配置值,确定目标时间字段的值发生更改。
处理器执行程序时还实现以下步骤:在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改之前,获取目标对象中的目标列表属性的映射关系;根据映射关系将目标对象中的列表数据写入目标数据库中。
处理器执行程序时还实现以下步骤:获取目标标识字段的初始标识配置值;将初始标识配置值更改为预设数值。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:对原始数据进行配置,得到配置文件,其中,配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;将配置文件按照预设格式进行存储,得到目标对象,其中,目标对象中包括多个列表;判断目标对象中目标字段的值是否发生更改,其中,目标字段为以下之一:目标标识字段、目标时间字段;若目标字段的值发生更改,确定目标对象被集成。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:将配置文件读取到至目标系统内存中;在目标系统内存中将配置文件按照预设格式进行存储,得到目标对象。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:从目标对象中获取目标对象中每个列表的列表信息;判断列表信息中是否包括目标标识属性;在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改;在列表信息中不包括目标标识属性的情况下,将当前目标时间字段的值与目标时间字段的初始配置值进行比较,得到比较结果,根据比较结果确定目标对象中目标时间字段的值是否发生更改。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:从配置文件中获取目标时间字段的初始时间配置值,其中,初始配置值为原始数据的初次被集成的时间;判断当前目标时间字段的值是否大于初始时间配置值;若目标时间字段的值大于初始时间配置值,确定目标时间字段的值发生更改。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:在列表信息中包括目标标识属性的情况下,确定目标标识字段的值发生更改之前,获取目标对象中的目标列表属性的映射关系;根据映射关系将目标对象中的列表数据写入目标数据库中。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:获取目标标识字段的初始标识配置值;将初始标识配置值更改为预设数值。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据的集成方法,其特征在于,包括:
对原始数据进行配置,得到配置文件,其中,所述配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;
将所述配置文件按照预设格式进行存储,得到目标对象,其中,所述目标对象中包括多个列表;
判断所述目标对象中目标字段的值是否发生更改,其中,所述目标字段为以下之一:目标标识字段、目标时间字段;
若所述目标字段的值发生更改,确定所述目标对象被集成。
2.根据权利要求1所述的方法,其特征在于,将所述配置文件按照预设格式进行存储,得到目标对象包括:
将所述配置文件读取到至目标系统内存中;
在所述目标系统内存中将所述配置文件按照预设格式进行存储,得到目标对象。
3.根据权利要求1所述的方法,其特征在于,判断所述目标对象中目标字段的值是否发生更改包括:
从所述目标对象中获取目标对象中每个列表的列表信息;
判断所述列表信息中是否包括目标标识属性;
在所述列表信息中包括目标标识属性的情况下,确定所述目标标识字段的值发生更改;
在所述列表信息中不包括目标标识属性的情况下,将当前所述目标时间字段的值与所述目标时间字段的初始配置值进行比较,得到比较结果,根据所述比较结果确定所述目标对象中目标时间字段的值是否发生更改。
4.根据权利要求3所述的方法,其特征在于,在所述列表信息中不包括目标标识属性的情况下,将当前所述目标时间字段的值与所述目标时间字段的初始时间配置值进行比较,得到比较结果,根据所述比较结果确定所述目标对象中目标时间字段的值是否发生更改包括:
从所述配置文件中获取目标时间字段的初始时间配置值,其中,所述初始配置值为所述原始数据的初次被集成的时间;
判断当前所述目标时间字段的值是否大于所述初始时间配置值;
若所述目标时间字段的值大于所述初始时间配置值,确定所述目标时间字段的值发生更改。
5.根据权利要求3所述的方法,其特征在于,在所述列表信息中包括目标标识属性的情况下,确定所述目标标识字段的值发生更改之前,所述方法还包括:
获取所述目标对象中的目标列表属性的映射关系;
根据所述映射关系将所述目标对象中的列表数据写入目标数据库中。
6.根据权利要求3所述的方法,其特征在于,在所述列表信息中包括目标标识属性的情况下,确定所述目标标识字段的值发生更改包括:
获取所述目标标识字段的初始标识配置值;
将所述初始标识配置值更改为预设数值。
7.一种数据的集成装置,其特征在于,包括:
配置单元,用于对原始数据进行配置,得到配置文件,其中,所述配置文件包括以下之一:标识属性的字段数据、时间属性的字段数据;
存储单元,用于将所述配置文件按照预设格式进行存储,得到目标对象,其中,所述目标对象中包括多个列表;
判断单元,用于判断所述目标对象中目标字段的值是否发生更改,其中,所述目标字段为以下之一:目标标识字段、目标时间字段;
更改单元,用于若所述目标字段的值发生更改,确定所述目标对象被集成。
8.根据权利要求7所述的装置,其特征在于,所述存储单元包括:
读取模块,用于将所述配置文件读取到至目标系统内存中;
存储模块,用于在所述目标系统内存中将所述配置文件按照预设格式进行存储,得到目标对象。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的数据的集成方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至6中任意一项所述的数据的集成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111425011.0A CN114138745A (zh) | 2021-11-26 | 2021-11-26 | 数据的集成方法、装置、存储介质及处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111425011.0A CN114138745A (zh) | 2021-11-26 | 2021-11-26 | 数据的集成方法、装置、存储介质及处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114138745A true CN114138745A (zh) | 2022-03-04 |
Family
ID=80389058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111425011.0A Pending CN114138745A (zh) | 2021-11-26 | 2021-11-26 | 数据的集成方法、装置、存储介质及处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114138745A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114637761A (zh) * | 2022-03-10 | 2022-06-17 | 马上消费金融股份有限公司 | 业务对象生成方法及装置 |
-
2021
- 2021-11-26 CN CN202111425011.0A patent/CN114138745A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114637761A (zh) * | 2022-03-10 | 2022-06-17 | 马上消费金融股份有限公司 | 业务对象生成方法及装置 |
CN114637761B (zh) * | 2022-03-10 | 2024-03-19 | 马上消费金融股份有限公司 | 业务对象生成方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106897342B (zh) | 一种数据校验方法和设备 | |
CN109634682B (zh) | 应用程序的配置文件更新方法及装置 | |
CN109828993B (zh) | 一种统计数据的查询方法及装置 | |
CN110895544B (zh) | 一种接口数据处理方法、装置、系统及存储介质 | |
CN107609011B (zh) | 一种数据库记录的维护方法和装置 | |
CN111784468A (zh) | 一种账户关联方法、装置及电子设备 | |
CN114138745A (zh) | 数据的集成方法、装置、存储介质及处理器 | |
CN114297204A (zh) | 一种异构数据源的数据存储、检索方法及装置 | |
US10901972B2 (en) | Table partition configuration method, apparatus and system for database system | |
CN112527792A (zh) | 一种数据存储方法、装置、设备和存储介质 | |
CN110888723A (zh) | 定时任务处理方法及装置 | |
CN110019544B (zh) | 数据查询方法及系统 | |
CN110968555A (zh) | 维度数据处理方法和装置 | |
CN111078905A (zh) | 一种数据处理方法、装置、介质以及设备 | |
CN110019507B (zh) | 数据同步的方法及装置 | |
CN109299125B (zh) | 数据库更新方法及装置 | |
CN114281461A (zh) | 一种可配置数据源属性的管理方法、设备及介质 | |
CN114138787A (zh) | 一种条码识别方法、设备及介质 | |
CN110019296B (zh) | 数据库查询脚本的生成方法、装置、存储介质及处理器 | |
CN111143711A (zh) | 对象搜索方法及系统 | |
CN108062329B (zh) | 一种数据导入方法及装置 | |
CN112749189A (zh) | 数据查询方法及装置 | |
CN106776652B (zh) | 数据处理方法及装置 | |
CN110969461A (zh) | 公众号信息的处理方法及装置、存储介质、处理器 | |
CN109867079B (zh) | 立体库的控制方法、控制装置、存储介质和处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |