CN112965952B - 一种数据资产处理方法及装置 - Google Patents
一种数据资产处理方法及装置 Download PDFInfo
- Publication number
- CN112965952B CN112965952B CN202110174955.9A CN202110174955A CN112965952B CN 112965952 B CN112965952 B CN 112965952B CN 202110174955 A CN202110174955 A CN 202110174955A CN 112965952 B CN112965952 B CN 112965952B
- Authority
- CN
- China
- Prior art keywords
- data asset
- attribute
- difference
- data
- version database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012986 modification Methods 0.000 claims description 33
- 230000004048 modification Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 239000000872 buffer Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009699 differential effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000033772 system development Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据资产处理方法及装置,涉及数据处理领域,可用于金融领域及其他领域,所述方法包括:遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,并确定各数据资产在所述核心版本数据库与所述变更版本数据库之间的差异;根据所述差异生成各所述数据资产的数据资产差异版本,形成差异版本数据库;对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询及修改。本申请能够利用建立的差异版本数据库对数据资产进行查询及修改。
Description
技术领域
本申请涉及数据处理领域,可用于金融领域及其他领域,具体是一种数据资产处理方法及装置。
背景技术
随着数据挖掘技术的快速发展,数据资产的重要性不断提升。在实际应用中,数据资产往往需要保存不同版本以体现其发展历史及价值。传统方式中,技术人员往往会对每个版本的每个数据资产进行全量存储,从而造成数据冗余,浪费硬件资源。
此外,现有技术往往采用关系型数据库对数据资产进行存储,由于采用关系型数据库对数据资产进行存储时,往往需要存储预留空间以便进行数据更新,从而造成硬件资源浪费。
发明内容
针对现有技术中的问题,本申请提供一种数据资产处理方法及装置,能够利用建立的差异版本数据库对数据资产进行查询及修改。
为解决上述技术问题,本申请提供以下技术方案:
第一方面,本申请提供一种数据资产处理方法,包括:
遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;其中,相同的数据资产名称具有相同的主键值;
根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,并确定各数据资产在所述核心版本数据库与所述变更版本数据库之间的差异;所述差异包括所述数据资产对应的各属性在所述核心版本数据库与所述变更版本数据库之间的差异;
根据所述差异生成各所述数据资产的数据资产差异版本,形成差异版本数据库;
对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询及修改。
进一步地,所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询,包括:
获取核心版本数据库中的待查数据资产的主键值及属性;
根据所述待查数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
确定所述差异数据资产的所述差异属性对应的属性值。
进一步地,对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行修改,包括:
获取核心版本数据库中的待改数据资产的主键值及属性;
根据所述待改数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
修改所述差异数据资产的所述差异属性对应的属性值,并记录下修改时间;所述修改包括对所述差异属性对应的属性值的变更、删除及新增。
进一步地,根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,包括:
将核心版本数据库中的全部数据资产主键值与所述变更版本数据库中的全部数据资产主键值进行匹配;
若匹配上,分别针对每一主键值进行属性匹配。
进一步地,所述的数据资产处理方法,还包括:
若所述主键值的各属性对应的属性值全部匹配成功,则将所述核心版本数据库中的数据资产复制到新建数据资产核心版本中;
若所述主键值的各属性对应的属性值未全部匹配成功,则将所述变更版本数据库中的数据资产复制到新建数据资产核心版本中。
第二方面,本申请提供一种数据资产处理装置,包括:
遍历赋值单元,用于遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;其中,相同的数据资产名称具有相同的主键值;
差异确定单元,用于根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,并确定各数据资产在所述核心版本数据库与所述变更版本数据库之间的差异;所述差异包括所述数据资产对应的各属性在所述核心版本数据库与所述变更版本数据库之间的差异;
差异版本生成单元,用于根据所述差异生成各所述数据资产的数据资产差异版本,形成差异版本数据库;
查询修改单元,用于对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询及修改。
进一步地,所述查询修改单元,包括:
待查主键属性获取模块,用于获取核心版本数据库中的待查数据资产的主键值及属性;
待查差异属性确定模块,用于根据所述待查数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
属性值确定模块,用于确定所述差异数据资产的所述差异属性对应的属性值。
进一步地,所述查询修改单元,包括:
待改主键属性获取模块,用于获取核心版本数据库中的待改数据资产的主键值及属性;
待改差异属性确定模块,用于根据所述待改数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
属性值修改模块,用于修改所述差异数据资产的所述差异属性对应的属性值,并记录下修改时间;所述修改包括对所述差异属性对应的属性值的变更、删除及新增。
进一步地,所述差异确定单元,包括:
主键匹配模块,用于将核心版本数据库中的全部数据资产主键值与所述变更版本数据库中的全部数据资产主键值进行匹配;
属性匹配模块,用于当所述主键值成功匹配时,分别针对每一主键值进行属性匹配。
进一步地,所述的数据资产处理装置,还包括:
第一资产复制单元,用于当所述主键值的各属性对应的属性值全部匹配成功时,将所述核心版本数据库中的数据资产复制到新建数据资产核心版本中;
第二资产复制单元,用于当所述主键值的各属性对应的属性值未全部匹配成功时,将所述变更版本数据库中的数据资产复制到新建数据资产核心版本中。
第三方面,本申请提供一种电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述数据资产处理方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述数据资产处理方法的步骤。
针对现有技术中的问题,本申请提供的数据资产处理方法及装置,能够利用差异版本数据库记录核心版本数据库与变更版本数据库之间所存在的差异,对同时存在于核心版本数据库与变更版本数据库中完全相同的数据资产进行清理,节省了硬件资源;采用以上对数据资产处理的方法,可以实现对数据资产不同版本的管理,利于对数据资产进行查询及修改。
附图说明
图1为本申请实施例中数据资产处理方法的流程图之一;
图2为本申请实施例中查询数据资产的流程图;
图3为本申请实施例中修改数据资产的流程图;
图4为本申请实施例中匹配数据资产的流程图;
图5为本申请实施例中数据资产处理方法的流程图之二;
图6为本申请实施例中数据资产处理装置的结构图之一;
图7为本申请实施例中查询修改单元的结构图之一;
图8为本申请实施例中查询修改单元的结构图之二;
图9为本申请实施例中差异确定单元的结构图;
图10为本申请实施例中数据资产处理装置的结构图之二;
图11为本申请实施例中的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请所述的数据资产处理方法及装置可用于金融领域,也可用于除金融领域之外的任意领域,本申请不对所述的数据资产处理方法及装置的应用领域做出限定。
参见图1,为了能够利用差异版本数据库记录核心版本数据库与变更版本数据库之间所存在的差异,对同时存在于核心版本数据库与变更版本数据库中完全相同的数据资产进行清理,实现对数据资产不同版本的管理,利于对数据资产进行查询及修改,本申请提供一种数据资产处理方法,包括:
S101:遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;其中,相同的数据资产名称具有相同的主键值;
可以理解的是,在实际业务场景中,数据资产维护人员常会对数据资产进行变更、删除及新增。为了保存数据资产的各历史版本,数据资产维护人员在变更、删除及新增数据资产时,往往不会在数据资产历史版本上直接进行,而是会复制数据资产历史版本,而后在复制版本的基础上变更、删除及新增数据资产,形成数据资产的各变更版本,从而保留数据资产历史版本的原始样貌,方便后续查阅。然而,上述操作方式不免会重复存储部分数据资产,造成数据资产存储冗余,浪费存储资源。为解决该问题,本申请实施例可以从各数据资产历史版本中选取一个最能体现数据资产核心参量以及重要参量的数据资产核心版本,放入核心版本数据库中。
需要说明的是,核心版本数据库中包括有大量的数据资产核心版本,这些数据资产核心版本可能记载有不同业务领域的数据资产,这些数据资产可能是出于不同的统计目的进行的生成。其中,有些数据资产针对相同的业务领域,记载了相关的业务内容,这些数据资产具有相同的数据资产名称,也具有相同的主键值。例如,数据资产名称可以为境外代理业务系统,该数据资产下可以对应有多个属性,包括系统开发技术平台、系统开发工具及业务总负责人等。
在该例中,“境外代理业务系统”作为一个数据资产,其核心版本已存储于核心版本数据库中,当对其中部分属性对应的属性值进行变更或删除时,会产生若干变更版本,存储于变更版本数据库中。
S102:根据主键值将核心版本数据库中的数据资产与变更版本数据库中的数据资产进行匹配,并确定各数据资产在核心版本数据库与变更版本数据库之间的差异;
可以理解的是,上述差异可能包括数据资产对应的各属性在核心版本数据库与变更版本数据库之间的差异;也可能包括存在于数据资产变更版本,但原本并不存在于数据资产核心版本数据库中的数据资产。
S103:根据差异生成各数据资产的数据资产差异版本,形成差异版本数据库;
可以理解的是,根据主键值将存储于变更版本数据库中的数据资产与存储于核心版本数据库中的数据资产匹配上后,可以获知存储于变更版本数据库中的数据资产与存储于核心版本数据库中的数据资产之间的差异,从而根据差异生成数据资产差异版本。数据资产差异版本中只记载差异内容,而不再记载数据资产核心版本与数据资产变更版本中的相同内容。在生成数据资产差异版本后,可以将对应的数据资产变更版本删除,使得相同内容仅存储一次,节约存储资源。
S104:对核心版本数据库及差异版本数据库中的数据资产进行查询及修改。
可以理解的是,形成数据资产差异版本以后,可以直接利用核心版本数据库及差异版本数据库查询及修改数据资产,无需通过变更版本数据库,即可呈现不同历史版本以及最终版本的数据资产。
从上述描述可知,本申请提供的数据资产处理方法,能够利用差异版本数据库记录核心版本数据库与变更版本数据库之间所存在的差异,对同时存在于核心版本数据库与变更版本数据库中完全相同的数据资产进行清理,节省了硬件资源;采用以上对数据资产处理的方法,可以实现对数据资产不同版本的管理,利于对数据资产进行查询及修改。
参见图2,对核心版本数据库及差异版本数据库中的数据资产进行查询,包括:
S201:获取核心版本数据库中的待查数据资产的主键值及属性;
S202:根据待查数据资产的主键值及属性在数据资产差异版本库中确定与主键值对应的差异数据资产及与属性对应的差异属性;
可以理解的是,当需要查询某一数据资产的当前情况以及历史情况时,可以先获取核心版本数据库中该待查数据资产的主键值及属性。根据获取到的该待查数据资产的主键值及属性在差异版本数据库中找到对应的数据资产差异版本(可理解为差异数据资产)以及对应的差异属性。所谓差异属性是指相对于核心版本数据库中该待查数据资产的属性而言发生变化的属性,这些变化可以包括属性值的变更、删除及新增。
S203:确定差异数据资产的差异属性对应的属性值。
可以理解的是,通过匹配主键值以及属性可以根据发生变化的属性值,将待查数据资产中对应的属性值替换,最后对外输出替换后的查询结果,获得待查数据资产的当前情况;如不替换则可以获得待查数据资产的历史情况。
从上述描述可知,本申请提供的数据资产处理方法,能够对核心版本数据库及差异版本数据库中的数据资产进行查询。
参见图3,对核心版本数据库及差异版本数据库中的数据资产进行修改,包括:
S301:获取核心版本数据库中的待改数据资产的主键值及属性;
S302:根据待改数据资产的主键值及属性在数据资产差异版本库中确定与主键值对应的差异数据资产及与属性对应的差异属性;
可以理解的是,当需要修改某一数据资产的当前情况时,可以先获取核心版本数据库中该待改数据资产的主键值及属性。根据获取到的该待改数据资产的主键值及属性在差异版本数据库中找到对应的数据资产差异版本(可理解为差异数据资产)以及对应的差异属性。所谓差异属性同样是指相对于核心版本数据库中该待改数据资产的属性而言发生变化的属性,这些变化可以包括属性值的变更、删除及新增。
S303:修改差异数据资产的差异属性对应的属性值,并记录下修改时间。
可以理解的是,通过匹配主键值以及属性可以根据发生变化的属性值,将待查数据资产中对应的属性值替换,最后对外输出替换后的查询结果,获得待查数据资产的当前情况;如不替换则可以获得待查数据资产的历史情况。
需要说明的是,上述修改包括对差异属性对应的属性值的变更、删除及新增;有时也可包括新增或删除某属性。
从上述描述可知,本申请提供的数据资产处理方法,能够对核心版本数据库及差异版本数据库中的数据资产进行修改。
参见图4,根据主键值将核心版本数据库中的数据资产与变更版本数据库中的数据资产进行匹配,包括:
S401:将核心版本数据库中的全部数据资产主键值与变更版本数据库中的全部数据资产主键值进行匹配;
可以理解的是,在进行匹配时,可以先对主键值进行匹配,由于一个数据资产对应一个主键值,因此,根据主键值对核心版本数据库中的全部数据资产与变更版本数据库中的全部数据资产进行遍历匹配,可以将核心版本数据库中的全部数据资产与变更版本数据库中的全部数据资产相互对应,剩余没有匹配成功的主键值或为核心版本数据库中不存在的数据资产,或为变更版本数据库中不存在的数据资产。
S402:若匹配上,则分别针对每一主键值进行属性匹配;
可以理解的是,主键值匹配成功以后,还需分别针对每一主键值进行属性匹配,以便获知属性值在数据资产核心版本与据资产变更版本之间的差异。
S403:若未匹配上,则确定核心版本数据库中的数据资产在变更版本数据库中不存在或变更版本数据库中的数据资产在核心版本数据库中不存在。
从上述描述可知,本申请提供的数据资产处理方法,能够根据主键值将核心版本数据库中的数据资产与变更版本数据库中的数据资产进行匹配。
参见图5,本申请所述的数据资产处理方法,还包括:
S501:判断主键值的各属性对应的属性值是否全部匹配成功;
S502:若主键值的各属性对应的属性值全部匹配成功,则将核心版本数据库中的数据资产复制到新建数据资产核心版本中;
S503:若主键值的各属性对应的属性值未全部匹配成功,则将变更版本数据库中的数据资产复制到新建数据资产核心版本中。
可以理解的是,在实际业务中,有时经过一段较长时间的数据资产维护后,变更版本数据库中已经形成了很多数据资产变更版本,有些数据资产变更版本已经和最初选定的数据资产核心版本相去甚远,这种情况下可能需要重新确立一新的数据资产核心版本,并将其放入核心版本数据库中,也就是进行数据资产核心版本替换。
为了在进行数据资产核心版本替换时,不对数据资产造成丢失,需要将原有的数据资产核心版本中的数据资产与重新选定的一个版本中的数据资产进行匹配。需要说明的是,这一版本来源于变更版本数据库。在匹配过程中,有些属性的属性值与其对应的变更版本中的属性值全部匹配,对于具有这样一些属性的数据资产,可以将核心版本数据库中的数据资产直接复制到新建数据资产核心版本中,否则需要将变更版本数据库中的数据资产复制到新建数据资产核心版本中,以存储数据资产的最新版本,从而实现数据资产核心版本的替换。
从上述描述可知,本申请提供的数据资产处理方法,能够完成对数据资产核心版本的替换。
基于同一发明构思,本申请实施例还提供了一种数据资产处理装置,可以用于实现上述实施例所描述的方法,如下面的实施例所述。由于数据资产处理装置解决问题的原理与数据资产处理方法相似,因此数据资产处理装置的实施可以参见基于软件性能基准确定方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
参见图6,为了能够利用差异版本数据库记录核心版本数据库与变更版本数据库之间所存在的差异,对同时存在于核心版本数据库与变更版本数据库中完全相同的数据资产进行清理,实现对数据资产不同版本的管理,利于对数据资产进行查询及修改,本申请提供一种数据资产处理装置,包括:
遍历赋值单元601,用于遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;其中,相同的数据资产名称具有相同的主键值;
差异确定单元602,用于根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,并确定各数据资产在所述核心版本数据库与所述变更版本数据库之间的差异;所述差异包括所述数据资产对应的各属性在所述核心版本数据库与所述变更版本数据库之间的差异;
差异版本生成单元603,用于根据所述差异生成各所述数据资产的数据资产差异版本,形成差异版本数据库;
查询修改单元604,用于对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询及修改。
参见图7,所述查询修改单元604,包括:
待查主键属性获取模块701,用于获取核心版本数据库中的待查数据资产的主键值及属性;
待查差异属性确定模块702,用于根据所述待查数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
属性值确定模块703,用于确定所述差异数据资产的所述差异属性对应的属性值。
参见图8,所述查询修改单元604,包括:
待改主键属性获取模块801,用于获取核心版本数据库中的待改数据资产的主键值及属性;
待改差异属性确定模块802,用于根据所述待改数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
属性值修改模块803,用于修改所述差异数据资产的所述差异属性对应的属性值,并记录下修改时间;所述修改包括对所述差异属性对应的属性值的变更、删除及新增。
参见图9,所述差异确定单元602,包括:
主键匹配模块901,用于将核心版本数据库中的全部数据资产主键值与所述变更版本数据库中的全部数据资产主键值进行匹配;
属性匹配模块902,用于当所述主键值成功匹配时,分别针对每一主键值进行属性匹配。
参见图10,所述的数据资产处理装置,还包括:
第一资产复制单元1001,用于当所述主键值的各属性对应的属性值全部匹配成功时,将所述核心版本数据库中的数据资产复制到新建数据资产核心版本中;
第二资产复制单元1002,用于当所述主键值的各属性对应的属性值未全部匹配成功时,将所述变更版本数据库中的数据资产复制到新建数据资产核心版本中。
从硬件层面来说,为了能够利用差异版本数据库记录核心版本数据库与变更版本数据库之间所存在的差异,对同时存在于核心版本数据库与变更版本数据库中完全相同的数据资产进行清理,实现对数据资产不同版本的管理,利于对数据资产进行查询及修改,本申请提供一种用于实现所述数据资产处理方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
处理器(Processor)、存储器(Memory)、通讯接口(Communications Interface)和总线;其中,所述处理器、存储器、通讯接口通过所述总线完成相互间的通讯;所述通讯接口用于实现所述数据资产处理装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输;该逻辑控制器可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该逻辑控制器可以参照实施例中的数据资产处理方法的实施例,以及数据资产处理装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
可以理解的是,所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中,数据资产处理方法的部分可以在如上述内容所述的电子设备侧执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通讯模块(即通讯单元),可以与远程的服务器进行通讯连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通讯链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
图11为本申请实施例的电子设备9600的系统构成的示意框图。如图11所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图11是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
一实施例中,数据资产处理方法功能可以被集成到中央处理器9100中。其中,中央处理器9100可以被配置为进行如下控制:
S101:遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;其中,相同的数据资产名称具有相同的主键值;
S102:根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,并确定各数据资产在所述核心版本数据库与所述变更版本数据库之间的差异;所述差异包括所述数据资产对应的各属性在所述核心版本数据库与所述变更版本数据库之间的差异;
S103:根据所述差异生成各所述数据资产的数据资产差异版本,形成差异版本数据库;
S104:对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询及修改。
从上述描述可知,本申请提供的数据资产处理方法,能够利用差异版本数据库记录核心版本数据库与变更版本数据库之间所存在的差异,对同时存在于核心版本数据库与变更版本数据库中完全相同的数据资产进行清理,节省了硬件资源;采用以上对数据资产处理的方法,可以实现对数据资产不同版本的管理,利于对数据资产进行查询及修改。
在另一个实施方式中,数据资产处理装置可以与中央处理器9100分开配置,例如可以将数据复合传输装置数据资产处理装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现数据资产处理方法的功能。
如图11所示,该电子设备9600还可以包括:通讯模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图11中所示的所有部件;此外,电子设备9600还可以包括图11中没有示出的部件,可以参考现有技术。
如图11所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通讯功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通讯模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通讯模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通讯终端的情况相同。
基于不同的通讯技术,在同一电子设备中,可以设置有多个通讯模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通讯模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的数据资产处理方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的数据资产处理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
S101:遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;其中,相同的数据资产名称具有相同的主键值;
S102:根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,并确定各数据资产在所述核心版本数据库与所述变更版本数据库之间的差异;所述差异包括所述数据资产对应的各属性在所述核心版本数据库与所述变更版本数据库之间的差异;
S103:根据所述差异生成各所述数据资产的数据资产差异版本,形成差异版本数据库;
S104:对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询及修改。
从上述描述可知,本申请提供的数据资产处理方法,能够利用差异版本数据库记录核心版本数据库与变更版本数据库之间所存在的差异,对同时存在于核心版本数据库与变更版本数据库中完全相同的数据资产进行清理,节省了硬件资源;采用以上对数据资产处理的方法,可以实现对数据资产不同版本的管理,利于对数据资产进行查询及修改。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据资产处理方法,其特征在于,包括:
遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;其中,相同的数据资产名称具有相同的主键值;
根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,并确定各数据资产在所述核心版本数据库与所述变更版本数据库之间的差异;
根据所述差异生成各所述数据资产的数据资产差异版本,形成差异版本数据库;
其中,对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询及修改;
对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询,包括:
获取核心版本数据库中的待查数据资产的主键值及属性;
根据所述待查数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
确定所述差异数据资产的所述差异属性对应的属性值。
2.根据权利要求1所述的数据资产处理方法,其特征在于,对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行修改,包括:
获取核心版本数据库中的待改数据资产的主键值及属性;
根据所述待改数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
修改所述差异数据资产的所述差异属性对应的属性值,并记录下修改时间;所述修改包括对所述差异属性对应的属性值的变更、删除及新增。
3.根据权利要求1所述的数据资产处理方法,其特征在于,根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,包括:
将核心版本数据库中的全部数据资产主键值与所述变更版本数据库中的全部数据资产主键值进行匹配;
若匹配上,分别针对每一主键值进行属性匹配。
4.根据权利要求3所述的数据资产处理方法,其特征在于,还包括:
若所述主键值的各属性对应的属性值全部匹配成功,则将所述核心版本数据库中的数据资产复制到新建数据资产核心版本中;
若所述主键值的各属性对应的属性值未全部匹配成功,则将所述变更版本数据库中的数据资产复制到新建数据资产核心版本中。
5.一种数据资产处理装置,其特征在于,包括:
遍历赋值单元,用于遍历数据资产的核心版本数据库及变更版本数据库中的数据资产,并对各数据资产赋予主键值;其中,相同的数据资产名称具有相同的主键值;
差异确定单元,用于根据所述主键值将所述核心版本数据库中的数据资产与所述变更版本数据库中的数据资产进行匹配,并确定各数据资产在所述核心版本数据库与所述变更版本数据库之间的差异;
差异版本生成单元,用于根据所述差异生成各所述数据资产的数据资产差异版本,形成差异版本数据库;
查询修改单元,用于对所述核心版本数据库及所述差异版本数据库中的所述数据资产进行查询及修改;
其中,所述查询修改单元,包括:
待查主键属性获取模块,用于获取核心版本数据库中的待查数据资产的主键值及属性;
待查差异属性确定模块,用于根据所述待查数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
属性值确定模块,用于确定所述差异数据资产的所述差异属性对应的属性值。
6.根据权利要求5所述的数据资产处理装置,其特征在于,所述查询修改单元,包括:
待改主键属性获取模块,用于获取核心版本数据库中的待改数据资产的主键值及属性;
待改差异属性确定模块,用于根据所述待改数据资产的主键值及属性在所述数据资产差异版本库中确定与所述主键值对应的差异数据资产及与所述属性对应的差异属性;
属性值修改模块,用于修改所述差异数据资产的所述差异属性对应的属性值,并记录下修改时间;所述修改包括对所述差异属性对应的属性值的变更、删除及新增。
7.根据权利要求5所述的数据资产处理装置,其特征在于,所述差异确定单元,包括:
主键匹配模块,用于将核心版本数据库中的全部数据资产主键值与所述变更版本数据库中的全部数据资产主键值进行匹配;
属性匹配模块,用于当所述主键值成功匹配时,分别针对每一主键值进行属性匹配。
8.根据权利要求7所述的数据资产处理装置,其特征在于,还包括:
第一资产复制单元,用于当所述主键值的各属性对应的属性值全部匹配成功时,将所述核心版本数据库中的数据资产复制到新建数据资产核心版本中;
第二资产复制单元,用于当所述主键值的各属性对应的属性值未全部匹配成功时,将所述变更版本数据库中的数据资产复制到新建数据资产核心版本中。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至4任一项所述的数据资产处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至4任一项所述的数据资产处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110174955.9A CN112965952B (zh) | 2021-02-09 | 2021-02-09 | 一种数据资产处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110174955.9A CN112965952B (zh) | 2021-02-09 | 2021-02-09 | 一种数据资产处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112965952A CN112965952A (zh) | 2021-06-15 |
CN112965952B true CN112965952B (zh) | 2024-02-27 |
Family
ID=76284331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110174955.9A Active CN112965952B (zh) | 2021-02-09 | 2021-02-09 | 一种数据资产处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112965952B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871373A (zh) * | 2019-01-31 | 2019-06-11 | 北京明略软件系统有限公司 | 一种数据存储方法和装置、计算机可读存储介质 |
CN110292775A (zh) * | 2019-07-01 | 2019-10-01 | 网易(杭州)网络有限公司 | 获取差异数据的方法及装置 |
CN112130882A (zh) * | 2020-09-29 | 2020-12-25 | 中国银行股份有限公司 | 版本更新的方法及装置 |
-
2021
- 2021-02-09 CN CN202110174955.9A patent/CN112965952B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871373A (zh) * | 2019-01-31 | 2019-06-11 | 北京明略软件系统有限公司 | 一种数据存储方法和装置、计算机可读存储介质 |
CN110292775A (zh) * | 2019-07-01 | 2019-10-01 | 网易(杭州)网络有限公司 | 获取差异数据的方法及装置 |
CN112130882A (zh) * | 2020-09-29 | 2020-12-25 | 中国银行股份有限公司 | 版本更新的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112965952A (zh) | 2021-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113342330B (zh) | 前端工程生成方法及装置 | |
CN112394932A (zh) | 浏览器网页自动换肤方法及装置 | |
CN112396511B (zh) | 分布式风控变量数据处理方法、装置及系统 | |
CN114153856A (zh) | 主机数据双写方法及装置 | |
CN111930690B (zh) | 文件生成方法及装置 | |
CN111367561B (zh) | 软件程序远程开发方法及装置 | |
CN112965952B (zh) | 一种数据资产处理方法及装置 | |
CN116701413A (zh) | 主数据处理方法及装置 | |
CN115421976A (zh) | 异地备灾数据处理方法及装置 | |
CN116233254A (zh) | 业务切流方法、装置、计算机设备和存储介质 | |
CN115495519A (zh) | 报表数据加工方法及装置 | |
WO2016172948A1 (zh) | 路由信息配置方法及装置 | |
CN113434423B (zh) | 接口测试方法及装置 | |
CN112035162B (zh) | 配置文件批量修改方法及装置 | |
CN114490402A (zh) | 一种报文字段合法性检查方法及装置 | |
CN114840576A (zh) | 数据标准匹配方法及装置 | |
CN114374614A (zh) | 网络拓扑配置方法及装置 | |
CN113987289A (zh) | 基于知识图谱的综合管廊管理方法及装置 | |
CN112685557B (zh) | 可视化信息资源管理方法及装置 | |
CN113312331A (zh) | 数据迁移方法、装置、系统、电子设备及计算机可读介质 | |
CN114726921B (zh) | 单元化架构下的数据处理方法及装置 | |
CN117743651B (zh) | 通讯录加载的优化方法和装置 | |
CN113342501B (zh) | 系统故障处理方法及装置 | |
CN117435402A (zh) | 备份策略磁带机调度方法及装置 | |
CN112860683B (zh) | 数据集实时清理方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |