CN113886404A - 更新数据的方法、装置、电子设备和存储介质 - Google Patents
更新数据的方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113886404A CN113886404A CN202010636657.2A CN202010636657A CN113886404A CN 113886404 A CN113886404 A CN 113886404A CN 202010636657 A CN202010636657 A CN 202010636657A CN 113886404 A CN113886404 A CN 113886404A
- Authority
- CN
- China
- Prior art keywords
- data
- current
- data structure
- historical
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000008859 change Effects 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 34
- 230000007246 mechanism Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 101150109818 STU1 gene Proteins 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 101100366988 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) stu-1 gene Proteins 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开关于更新数据的方法、装置、电子设备和存储介质，所述方法包括：获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自数据源的历史数据集合的历史数据结构存在的差异；按照当前数据结构相对于历史数据结构的差异信息确定相应的目标字段；根据目标字段更新数据仓库中定义的结构体字段，更新后的结构体字段中包含当前数据结构的结构信息，上述当前数据集合中的数据在按照结构信息构造后被数据仓库的下游数据任务调用。
Description
技术领域
本公开涉及数据仓库领域，尤其涉及更新数据的方法、装置、电子设备和存储介质。
背景技术
作为为企业的决策制定过程提供数据支持的战略集合，数据仓库(DW，DataWarehouse)被广泛用于对多种业务数据进行筛选和整合，以便于数据集市(DM，Data Mart)执行数据分析、数据挖掘、数据报表等下游数据任务。数据仓库通常将与其相连的数据库(DB，Data Base)等存储对象作为自身的数据源(DS，Data Source)，以从数据源处获取与业务相关的原始数据。
当数据源对应的业务发生诸如软件版本更新、功能调整等变化时，输入数据仓库的原始数据构成的数据集合的数据结构也会发生相应的变化，此时，若数据仓库中对应于上述数据结构的结构体不进行相应的更新，则调用该结构体的下游任务可能会出现报错。因此为保证数据仓库的持续稳定产出，需要对数据仓库中的结构体进行及时更新。
发明内容
本公开提供了更新数据的方法、装置、电子设备和存储介质，以至少解决相关技术中的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提出一种更新数据的方法，包括：
获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异；
按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段；
根据所述目标字段更新所述数据仓库中定义的结构体字段，更新后的所述结构体字段中包含所述当前数据结构的结构信息，所述当前数据集合中的数据在按照所述结构信息构造后被所述数据仓库的下游数据任务调用。
可选的，所述获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异，包括：
在所述数据源中的原始数据周期性输入所述数据仓库的情况下，检测当前输入周期内输入的所述当前数据集合的当前数据结构与前一输入周期内输入的所述历史数据集合的历史数据结构存在的差异；或者，
在针对所述当前数据集合的数据任务报错的情况下，检测所述数据仓库中当前数据集合的当前数据结构与历史数据集合的历史数据结构存在的差异。
可选的，所述获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异，包括：
在通过协议缓冲区机制对来自所述数据源的数据进行序列化和反序列化处理的情况下，获取所述数据源对应的数据结构定义文件的变更日志，并从所述变更日志中读取所述当前数据结构与所述历史数据结构存在的差异；或者，
在通过可扩展标记语言机制或JS对象简谱机制对数据源中的原始数据进行序列化和反序列化处理的情况下，解析当前输入周期内输入的原始数据构成的所述当前数据集合的当前数据结构，以及前一输入周期内输入的历史数据构成的所述历史数据集合的历史数据结构；通过比较所述当前数据结构与所述历史数据结构确定二者存在的差异。
可选的，所述按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段，包括：
按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的变更字段；
将所述变更字段中所含的预定义的必备字段、与业务相关的业务核心字段和/或业务执行过程中的高频使用字段确定为目标字段。
可选的，所述根据所述目标字段更新所述数据仓库中定义的结构体字段，包括：
利用所述目标字段创建当前结构体字段，使所述当前结构体字段包含对应于所述目标字段的嵌套字段；
将所述数据仓库中定义的历史结构体字段替换为所述当前结构体字段。
根据本公开实施例的第二方面，提出一种更新数据的装置，包括：
差异确定模块，被配置为获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异；
字段确定模块，被配置为按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段；
数据更新模块，被配置为根据所述目标字段更新所述数据仓库中定义的结构体字段，更新后的所述结构体字段中包含所述当前数据结构的结构信息，所述当前数据集合中的数据在按照所述结构信息构造后被所述数据仓库的下游数据任务调用。
可选的，所述差异确定模块，包括：
周期性检测单元，被配置为在所述数据源中的原始数据周期性输入所述数据仓库的情况下，检测当前输入周期内输入的所述当前数据集合的当前数据结构与前一输入周期内输入的所述历史数据集合的历史数据结构存在的差异；或者，
报错检测单元，被配置为在针对所述当前数据集合的数据任务报错的情况下，检测所述数据仓库中当前数据集合的当前数据结构与历史数据集合的历史数据结构存在的差异。
可选的，所述差异确定模块，还包括：
日志检测单元，被配置为在通过协议缓冲区机制对来自所述数据源的数据进行序列化和反序列化处理的情况下，获取所述数据源对应的数据结构定义文件的变更日志，并从所述变更日志中读取所述当前数据结构与所述历史数据结构存在的差异；或者，
结构解析单元，被配置为在通过可扩展标记语言机制或JS对象简谱机制对数据源中的原始数据进行序列化和反序列化处理的情况下，解析当前输入周期内输入的原始数据构成的所述当前数据集合的当前数据结构，以及前一输入周期内输入的历史数据构成的所述历史数据集合的历史数据结构；通过比较所述当前数据结构与所述历史数据结构确定二者存在的差异。
可选的，所述字段确定模块，包括：
变更字段确定单元，被配置为按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的变更字段；
目标字段确定单元，被配置为将所述变更字段中所含的预定义的必备字段、与业务相关的业务核心字段和/或业务执行过程中的高频使用字段确定为目标字段。
可选的，所述数据更新模块，包括：
结构体创建单元，被配置为利用所述目标字段创建当前结构体字段，使所述当前结构体字段包含对应于所述目标字段的嵌套字段；
结构体替换单元，被配置为将所述数据仓库中定义的历史结构体字段替换为所述当前结构体字段。
根据本公开实施例的第三方面，提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的更新数据的方法。
根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的更新数据的方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的更新数据的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的实施例，因为原始数据的数据结构随业务发生变化后会相应的影响数据仓库中当前数据集合的数据结构，所以通过检测当前数据结构与历史数据结构之间的差异能够及时获知原始数据的数据结构变化，并基于上述差异更新当前的结构体，保证了在原始数据的数据结构发生变化后的当前数据结构能够满足下游数据任务对当前数据集合中的当前数据的调用需求，从而有效保证了数据仓库的持续稳定产出，一定程度上提升了数据仓库的整体业务能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是包含数据仓库的数据中心架构示意图；
图2是根据本公开的实施例示出的一种更新数据的方法流程图；
图3是根据本公开的实施例示出的另一种更新数据的方法流程图；
图4是根据本公开的实施例示出的一种周期性更新结构体字段的时间轴示意图；
图5-图9分别是根据本公开的一个或多个实施例示出的一种或多种更新数据的装置的示意框图；
图10是根据本公开的实施例示出的一种电子设备的结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
作为为企业的决策制定过程提供数据支持的战略集合，数据仓库被广泛用于对多种业务数据进行筛选和整合，以便于数据集市执行数据分析、数据挖掘、数据报表等下游数据任务。数据仓库通常将与其相连的数据库等存储对象作为自身的数据源，以从数据源处获取与业务相关的原始数据。通常，数据仓库及与其相连的数据库和数据集市构成数据中心，常见的数据中心架构示意图可参见图1。如图1所示，作为数据仓库的数据来源，数据源中的原始数据通常具有确定的数据结构，而且数据源可以有多个，如图中的DB1-BDn。数据源中的原始数据经过ETL(Extract-Transform-Load，抽取-转换-加载)处理后按照预定义的数据结构存储在数据仓库中，当与其相连的多个数据集市DM1-DMm需要调用数据仓库中的某些数据执行数据任务时，通常会由数据仓库按照对应于原始数据的当前数据结构的结构体(Struct)对这部分数据进行组织后提供给数据集市。
当与数据源相连的目标应用发生软件更新、功能调整或人为对目标应用中原始数据的数据结构进行更改时，都可能导致原始数据的数据结构发生变化。此时，为保证数据仓库的下游数据任务正常运行，即保证数据仓库的持续稳定输出，需要按照变化后的数据结构相应的更新数据仓库中的结构体，以保证按照正确格式构造当前数据集合中的数据并提供给数据集市执行下游数据任务。
为此，本公开提出了一种更新数据的方法，以解决上述技术问题。图2是根据本公开的实施例示出的一种更新数据的方法流程图；所述方法应用于数据仓库，可以包括：
步骤202，获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异。
对于本公开方案所涉及到的数据源，其对应的存储对象可以有多种形式，例如，可以为Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL等关系型数据库，也可以为NoSQL、Cloudant、MongoDB、Redis、HBase等非关系性数据库，还可以为其他形式的外部数据，本公开对此并不进行限制。
在一实施例中，对上述当前数据结构与历史数据结构之间差异的检测时机可以有多种可能。作为一示例性实施例，在数据源中的原始数据周期性输入数据仓库的情况下，可以检测当前输入周期内输入的当前数据集合的当前数据结构与前一输入周期内输入的历史数据集合的历史数据结构存在的差异。对于周期性输入原始数据的数据仓库，在每次输入新的原始数据之后都能够对当前数据集合的当前数据结构与历史数据集合的历史数据结构之间的差异进行及时的检测，实现对机构数据仓库内结构体的及时调整，从根本上避免了仍按照原有结构体组织数据结构发生变化后的当前数据集合中的数据可能导致的下游数据任务报错，从而有效保证了数据仓库的稳定性。
作为另一示例性实施例，在针对当前数据集合的数据任务报错的情况下，可以检测数据仓库中当前数据集合的当前数据结构与历史数据集合的历史数据结构存在的差异。此时，虽然已经出现数据任务报错，但能够根据报错及时更新当前结构体以避免后续数据任务继续报错，一定程度上保证了数据仓库的稳定性。
在一实施例中，可以采用多种机制对来自数据源的原始数据进行序列化和反序列化处理。作为一示例性实施例，可以通过Protocol Buffer(PB，协议缓冲区)机制对来自所述数据源的数据进行序列化和反序列化处理，此时，需要通过数据结构定义文件预先定义数据格式。因此，可以获取数据源对应的数据结构定义文件的变更日志，并从变更日志中读取当前数据结构与历史数据结构存在的差异。因为采用Protocol Buffer机制的待处理数据与数据结构定义文件相互分离，所以仅读取数据量较少的数据结构定义文件的变更日志即可获取数据结构的差异信息；而且对数据结构定义文件的解析效率较高，从而对当前数据结构与历史数据结构所存在差异的检测效率也较高。
作为另一示例性实施例，可以通过XML(Extensible Markup Language，可扩展标记语言)机制或JSON(JavaScript Object Notation，JS对象简谱)机制对数据源中的原始数据进行序列化和反序列化处理，此时，数据结构的相关信息即包含在序列化之后的数据中。因此，可以解析当前输入周期内输入的原始数据构成的当前数据集合的当前数据结构，以及前一输入周期内输入的历史数据构成的历史数据集合的历史数据结构；然后通过比较当前数据结构与历史数据结构确定二者存在的差异。在上述XML或JSON机制下，可以通过解析数据集合直接获取当前数据结构和历史数据结构，再对二者进行比较有助于得到更加准确的差异比较结果，从而有助于提高数据结构差异检测的准确性。
步骤204，按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段。
在一实施例中，可以根据当前数据结构相对于历史数据结构的差异信息确定相应的变更字段；然后将变更字段中所含的预定义的必备字段、与业务相关的业务核心字段和/或业务执行过程中的高频使用字段确定为目标字段。此时，上述必备字段、业务核心字段和目标字段可以认为是数据仓库的重要字段，仅将数据仓库的全部变更字段中的部分重要字段作为目标字段用于更新结构体字段，在保证有效更新的基础性上减少了被更新结构体字段的数据量，相应的减少了更新结构体字段的工作量。
在另一实施例中，可以将全部的变更字段均确定为目标字段，进而更新全部变更字段对应的结构体字段，此时能够实现对结构体字段的全面更新，更新后的结构体字段能够完全反映原始数据发生变化后的当前数据结构，便于对数据仓库的结构体字段进行更新溯源和后期维护。
步骤206，根据所述目标字段更新所述数据仓库中定义的结构体字段，更新后的所述结构体字段中包含所述当前数据结构的结构信息，所述当前数据集合中的数据在按照所述结构信息构造后被所述数据仓库的下游数据任务调用。
在一实施例中，可以利用目标字段创建当前结构体字段，使当前结构体字段包含对应于目标字段的嵌套字段，再将数据仓库中定义的历史结构体字段替换为当前结构体字段。此时，创建的当前结构体字段中的嵌套字段即对应于目标字段，而且替换后的当前结构体字段能够满足下游数据任务对当前数据集合中数据的特定调用需求。
通过本公开的上述实施例，检测当前数据结构与历史数据结构之间的差异以及时获知原始数据所对应当前数据集合的当前数据结构，并基于上述差异更新数据仓库中的结构体字段，保证了在原始数据的数据结构发生变化后，对应于当前数据结构的当前结构体字段能够满足下游数据任务对当前数据集合中的当前数据的调用需求，从而有效保证了数据仓库的持续稳定产出，一定程度上提升了数据仓库的整体业务能力。
将原始数据输入数据仓库的过程可以是周期性进行的，相应的，对结构体字段进行更新也可以是周期性进行的。下面结合图3所示实施例的一种周期性更新结构体字段的时间轴示意图，对某一目标应用运行过程中产生的原始数据周期性输入数据仓库并更新结构体的过程进行详细说明。在该实施例中，以数据仓库采用Protocol Buffer机制对来自所述数据源的数据进行序列化和反序列化处理为例进行说明。
如图3所示，首先，在目标应用上线时会预先定义Protocol Buffer机制的原始PB定义文件，用于将数据源中的原始数据序列化为二进制数据流以输入至数据仓库，并将相应的二进制数据流反序列化为原始数据。在目标应用的整个生命周期中对目标应用进行的软件更新、功能调整或人为对目标应用的产生原始数据的数据结构进行的更改，都可能导致PB定义文件发生相应的变化，因此可以通过检测当前PB定义文件与前一周期的历史PB定义文件之间是否存在差异来确定当前原始数据的数据结构是否发生变更。
在目标应用上线一段时间后的第一输入时刻进行第一次数据输入，即将应用上线时刻至第一输入时刻这一时间段内产生的原始数据统一经过ETL处理后输入数据仓库。然后在第一次数据输入完成后的第一检测时刻，检测当前PB定义文件与原始PB定义文件是否存在差异：若存在差异，则对数据仓库内的当前结构体字段进行相应的更新；否则，若不存在差异，则继续沿用当前结构体字段。
在第一输入时刻之后经过预设时间段的第二输入时刻进行第二次数据输入，即将上述第一输入时刻至第二输入时刻这一时间段内产生的原始数据统一经过ETL处理后输入数据仓库。值得说明的是，上述第二输入时刻与第一输入时刻之间的时间间隔(即第一输入周期)的大小可以根据业务类型、业务需求、数据仓库性能以及下游数据任务的需求等具体情况确定，如可以为1小时、12小时、1天、1星期、1月等，本身申请对此并不进行限制。在第二次数据输入完成后的第二检测时刻，检测当前PB定义文件与第一检测时刻后的PB定义文件(可能为原始PB定义文件，也可能为更新后的PB定义文件)是否存在差异：若存在差异，则对数据仓库内的当前结构体字段进行相应的更新；否则，若不存在差异，则继续沿用当前结构体字段。
同样的，在第二输入时刻之后经过预设时间段的第三输入时刻进行第三次数据输入，第三次数据输入及第三检测时刻进行的第三次PB定义文件检测的具体过程同第二次并无本质区别，不再赘述。
由上述分析可见，在第i(其中，i为正整数)输入周期内的第i检测时刻检测的是第i次输入的原始数据对应的当前PB定义文件与第i-1检测时刻后的历史PB定义文件之间的差异，因此只要在第i+1次输入时刻之前完成第i次检测并在必要时对结构体字段进行相应的更新，即可保证第i+1输入周期内下游数据任务所需的数据能够被数据仓库使用最新的结构体字段进行组织得到，而不会影响下游数据任务的正常进行。因此，第i检测时刻只需要位于第i输入时刻和第i+1输入时刻之间(即第i输入周期内)即可，至于从第i此数据输入完成至进行第i此检测之间的时间间隔，可以根据实际应用场景及需求进行调整。例如，第i检测时刻可以为与第i输入时刻间隔预设时间段的时间点，如第i检测时刻后的1小时；第i检测时刻也可以为与第i输入时刻间隔第i输入周期的预设比例的时间点，如第i输入时刻和第i+1输入时刻的中间时刻等，本公开对此并不进行限制。
对应于图3所示的周期性输入原始数据并进行检测PB定义文件差异检测的实施例，下面结合图4所示的另一种更新数据的方法交互流程图，对数据仓库在第i输入周期(下称当前输入周期)内通过本公开的技术方案对结构体进行更新的过程进行详细描述。该方法应用于数据仓库，如图3所示，可以包括以下步骤：
步骤402，将数据源的原始数据输入数据仓库。
数据仓库接收数据源输入的原始数据的过程，即为数据仓库将第i-1输入时刻至第i输入时刻这一时间段内产生的原始数据统一经过ETL处理后输入数据仓库的过程，具体的ETL处理及输入过程可以参见相关技术中公开的内容，此处不再赘述。
步骤404，判断当前数据结构相对于历史数据结构是否存在结构变更。
因为该实施例采用Protocol Buffer机制对来自所述数据源的数据进行序列化和反序列化处理，因此可以先获取数据源对应的PB定义文件的变更日志，然后从更日志中读取当前数据结构与历史数据结构存在的差异。
在一实施例中，上述PB定义文件的变更日志可以仅在当前数据结构与历史数据结构存在差异的情况下生成，以便降低当前数据结构与历史数据结构不存在差异时的日志生成及维护成本。此时，可以先确定在第i输入周期内是否生成了变更日志：若生成了变更日志，则说明当前数据结构与历史数据结构存在差异，此时，可以解析该变更日志以获取有效的差异信息并转入步骤406；若未生成变更日志，则说明当前数据结构与历史数据结构不存在差异，转入步骤414。另外，因为通常数据结构变更并不频繁，因此只需要查看有无变更日志自产生即可获知当前数据结构与历史数据结构是否存在差异，有效减少了差异检测的无效操作。
在另一实施例中，上述PB定义文件的变更日志可以在第i输入时刻的第i次数据输入完成后生成。此时可以在确定出当前输入周期内的变更日志后解析该变更日志，以获取相应的差异信息：若解析获取的差异信息为有效差异信息，则说明当前数据结构与历史数据结构存在差异，转入步骤406；否则，若解析出的差异信息为空信息或无效信息，则说明当前数据结构与历史数据结构不存在差异，转入步骤414。
当然，在数据仓库通过XML机制或JSON机制对数据源中的原始数据进行序列化和反序列化处理的情况下，可以直接解析当前输入周期内输入的原始数据构成的当前数据集合的当前数据结构，并解析前一输入周期内输入的历史数据构成的历史数据集合的历史数据结构；然后通过比较当前数据结构与历史数据结构确定二者存在的差异，具体过程不再赘述。此时，通过直接解析数据集合直观的获知当前数据结构和历史数据结构，有助于得到更加准确的差异比较结果。
步骤406，判断是否存在对应于差异信息的重要字段。
已知第i输入时刻输入原始数据构成的当前数据集合的当前数据结构与第i-1输入时刻输入原始数据构成的历史数据集合的历史数据结构存在差异。此时，可以先利用前述步骤404解析变更日志得到的差异信息先确定相应的变更字段。该变更字段即为第i输入时刻输入的原始数据相对于第i-1输入时刻输入的原始数据发生变化的字段。例如，第i-1输入时刻输入的原始数据对应的字段为stu_i-1[name，num，score]，而第i输入时刻输入的原始数据对应的字段为stu_i[name，age，num，score]，则此时的变更字段即为“age”。
在一实施例中，可以判断确定出的变更字段中是否存在重要字段，其中，重要字段可以包括数据仓库自身运行过程中需要的字段，如数据仓库中预定义的必备字段等；也可以包括业务运行过程中需要的字段，如与业务相关的业务核心字段、业务执行过程中的高频使用字段等。此时，上述必备字段、核心字段和目标字段可以认为是数据仓库的重要字段，仅将这部分重要字段作为目标字段用于更新结构体字段，在保证更新有效的基础性上减少了被更新结构体的数据量，相应的减少了更新结构体字段的工作量。
在上述变更字段中确定出的重要字段可以有一个或多个，在确定出多个重要字段的情况下，各个重要字段可以为相同类型的字段，也可以为不同类型的字段，本公开对于重要字段的个数及类型并不进行限制。重要字段是会对数据仓库或下游数据任务正常运行产生影响的字段，按照此时的重要字段进行后续结构体字段的更新，能够在尽量少的更新基础上保证数据仓库和业务的正常运行。若确定出存在对应于差异信息的重要字段，则转入步骤408；否则，若确定出不存在对应于差异信息的重要字段，则转入步骤414。
在另一实施例中，可以直接将确定出的全部变更字段确定为重要字段，然后转入步骤408。此时，后续更新过程中会相应的将变更字段对应的结构体字段全部更新，从而使更新后的结构体更加详细的反映原始数据的数据结构变化，便于对数据仓库的结构体进行更新溯源和后期维护。
步骤408，抽取重要字段创建新的结构体字段。
在确定出差异信息对应的重要字段后，可以在数据仓库的所有字段中抽取上述重要字段。例如，可以根据差异信息确定重要字段的开始位置和结束位置，然后按照预设的抽取规则将开始位置和结束位置之间的字段抽取出来构成新的字段，即被抽取的字段。
例如，可以使用Python语言中的字段截取函数slice(start，stop)抽取字段，对大于等于start的位置至小于stop的位置的字段进行抽取。其他编程语言的具体抽取过程可以参见相关技术中公开的内容，本公开对于重要字段的具体抽取方式并不进行限制。
抽取出重要字段后，基于抽取的重要字段创建新的结构体字段。可以理解的是，若重要字段为上述差异信息对应的全部变更字段，则创建的新的结构体字段对应于发生变更的全部原始数据的数据结构；若重要字段为上述差异信息对应的全部变更字段中的部分重要字段，则创建的新的结构体字段对应于发生变更的部分重要原始数据的数据结构。
仍以上述变更字段为“age”的场景为例：在变更发生之前，上述原始数据在数据仓库中对应的结构体字段stu1的创建过程如下，
struct stu{
char*name；//姓名
int num；//学号
float score；//成绩
}；
struct stu stu1；
当上述变更发生后，原始数据中新增了年龄“age”字段，相应的，针对变更后的原始数据可以在数据仓库中创建对应的新的结构体字段stu11，过程如下，
struct stu{
char*name；//姓名
int age；//年龄
int num；//学号
float score；//成绩
}；
struct stu stu11；
需要说明的是，上述新创建的结构体字段命名为“stu11”是为了与原有结构体字段“stu1”加以区分以便说明，在实际应用中，可以将新创建的结构体字段命名为与需要替换的历史结构体字段相同的结构体字段名称，以便直接替换原有结构体字段的同时不需要更改数据仓库中与该结构体字段相关的其他代码，从而简化结构体字段的更新操作。例如该实施例中可以将新创建的结构体字段命名为“stu1”。原有结构体字段stu1包含三个成员：name、num和score，而新创建的结构体字段stu11包含4个成员：name、age、num和score。可见，新创建的结构体字段stu11体现了上述第i输入时刻输入的原始数据相对于第i-1输入时刻输入的原始数据新增了年龄“age”字段这一更新。
步骤410，利用新创建的结构体替换历史结构体字段。
在使用更新后的重要字段创建新的结构体字段后，可以使用新的结构体字段替换原有的历史结构体字段，可以理解的是，上述替换过程是具有针对性的，即新创建的结构体字段用于替换与其对应的历史结构体字段。
由针对图3的上述分析可知，结构体字段的替换过程也是结构体字段周期性迭代的过程。因为软件更新、业务功能调整或数据结构更改等变化存在不确定性，所以对于第i输入周期新创建的结构体字段而言，被其替换的历史结构体字段可以有多种可能。例如，在当前输入周期内被替换的历史结构体字段可以为前一输入周期内更新的结构体字段，也可以为在前一输入周期之前的其他输入周期内更新的结构体字段，还可以为前i-1个输入周期内均未被更新的对应于原始PB定义文件的结构体字段。也就是说，只要是当前输入周期之前的最新结构体字段，都可能在当前输入周期内被替换以实现更新。例如，可以使用上述新创建的结构体字段stu11替换历史结构体字段stu1，从而实现对历史结构体字段stu1的更新。
上述替换过程可以为实际存储空间及逻辑关系的替换，即删除历史结构体字段stu1，并在历史结构体字段对应的存储空间内创建新的结构体字段stu11；上述替换过程也可以仅为逻辑关系的替换，即在新的存储空间内创建新的结构体字段stu11后实现stu11与关联结构体字段之间的逻辑关系，并将历史结构体字段stu1删除以回收相应的存储空间。
步骤412，使用当前结构体字段组织当前数据集合中的数据。
在上述替换完成后，前一输入周期对应的历史结构体字段中需要被更新的结构体字段被相应的替换为当前输入周期内利用上述重要字段新创建的结构体字段，此时，替换后的新的结构体字段和未替换的历史结构体字段共同构成当前结构体字段。数据仓库可以使用当前结构体字段对当前数据集合中的数据进行合理组织，并提供给数据集市用于下游数据任务。
步骤414，使用历史结构体字段组织当前数据结合中的数据。
此时，当前数据结构与历史数据结构不存在差异，或者存在差异但差异信息对应的变更字段中不存在会对数据仓库或下游数据任务正常运行产生影响的重要字段，因此可以继续沿用前一输入周期对应的历史结构体字段。此时可以认为历史结构体字段即为当前输入周期的当前结构体字段，即在当前输入周期输入原始数据后不需要对历史结构体字段进行更新操作。
在上述步骤412-步骤414中，无论使用更新后的当前结构体字段还是沿用前一输入周期对应的历史结构体字段，使用结构体字段将当前数据集合中的数据组织成当前结构体字段对应的预设格式并提供给数据集市用于下游数据任务的过程，与相关技术中公开的常规组织过程并不存在本质区别，因此上述具体组织过程可以参见相关技术中公开的内容，本公开对此并不进行限制。
与前述更新数据的方法的实施例相对应地，本公开还提出了更新数据的装置的实施例。
图5-图9分别是根据本公开的一个或多个实施例示出的一种或多种更新数据的装置的示意框图。本实施例所示的更新数据的装置可以适用于数据仓库，例如，数据仓库可以包括数据库服务器、ETL服务器、调度服务器、报表服务器、BI(Business Intelligence，商业智能)门户服务器和或接口服务器等部分。
如图5所示，所述更新数据的装置可以包括：
差异确定模块501，被配置为获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异；
字段确定模块502，被配置为按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段；
数据更新模块503，被配置为根据所述目标字段更新所述数据仓库中定义的结构体字段，更新后的所述结构体字段中包含所述当前数据结构的结构信息，所述当前数据集合中的数据在按照所述结构信息构造后被所述数据仓库的下游数据任务调用。
可选的，如图6所示，所述差异确定模块501，可以包括：
周期性检测单元501A，被配置为在所述数据源中的原始数据周期性输入所述数据仓库的情况下，检测当前输入周期内输入的所述当前数据集合的当前数据结构与前一输入周期内输入的所述历史数据集合的历史数据结构存在的差异；或者，
报错检测单元501B，被配置为在针对所述当前数据集合的数据任务报错的情况下，检测所述数据仓库中当前数据集合的当前数据结构与历史数据集合的历史数据结构存在的差异。
可选的，如图7所示，所述差异确定模块501，还可以包括：
日志检测单元501C，被配置为在通过协议缓冲区机制对来自所述数据源的数据进行序列化和反序列化处理的情况下，获取所述数据源对应的数据结构定义文件的变更日志，并从所述变更日志中读取所述当前数据结构与所述历史数据结构存在的差异；或者，
结构解析单元501D，被配置为在通过可扩展标记语言机制或JS对象简谱机制对数据源中的原始数据进行序列化和反序列化处理的情况下，解析当前输入周期内输入的原始数据构成的所述当前数据集合的当前数据结构，以及前一输入周期内输入的历史数据构成的所述历史数据集合的历史数据结构；通过比较所述当前数据结构与所述历史数据结构确定二者存在的差异。
可选的，所述字段确定模块502，可以包括：
变更字段确定单元502A，被配置为按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的变更字段；
目标字段确定单元502B，被配置为将所述变更字段中所含的预定义的必备字段、与业务相关的业务核心字段和/或业务执行过程中的高频使用字段确定为目标字段。
可选的，如图9所示，所述数据更新模块503，可以包括：
结构体创建单元503A，被配置为利用所述目标字段创建当前结构体字段，使所述当前结构体字段包含对应于所述目标字段的嵌套字段；
结构体替换单元503B，被配置为将所述数据仓库中定义的历史结构体字段替换为所述当前结构体字段。
本公开的实施例还提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的更新数据的方法。
本公开的实施例还提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的更新数据的方法。
本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的更新数据的方法。
图10是根据本公开的实施例示出的一种电子设备的示意框图。例如，电子设备1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图10，电子设备1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1018。
处理组件1002通常控制电子设备1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述更新数据的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为电子设备1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在电子设备1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当电子设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当电子设备1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1018发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为电子设备1000提供各个方面的状态评估。例如，传感器组件1014可以检测到电子设备1000的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1000的显示器和小键盘，传感器组件1014还可以检测电子设备1000或电子设备1000一个组件的位置改变，用户与电子设备1000接触的存在或不存在，电子设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1018被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1018经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1018还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在本公开一实施例中，电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述更新数据的方法。
在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由电子设备1000的处理器1020执行以完成上述更新数据的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。
Claims (10)
1.一种更新数据的方法，其特征在于，包括：
获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异；
按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段；
根据所述目标字段更新所述数据仓库中定义的结构体字段，更新后的所述结构体字段中包含所述当前数据结构的结构信息，所述当前数据集合中的数据在按照所述结构信息构造后被所述数据仓库的下游数据任务调用。
2.根据权利要求1所述的方法，其特征在于，所述获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异，包括：
在所述数据源中的原始数据周期性输入所述数据仓库的情况下，检测当前输入周期内输入的所述当前数据集合的当前数据结构与前一输入周期内输入的所述历史数据集合的历史数据结构存在的差异；或者，
在针对所述当前数据集合的数据任务报错的情况下，检测所述数据仓库中当前数据集合的当前数据结构与历史数据集合的历史数据结构存在的差异。
3.根据权利要求1所述的方法，其特征在于，所述获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异，包括：
在通过协议缓冲区机制对来自所述数据源的数据进行序列化和反序列化处理的情况下，获取所述数据源对应的数据结构定义文件的变更日志，并从所述变更日志中读取所述当前数据结构与所述历史数据结构存在的差异；或者，
在通过可扩展标记语言机制或JS对象简谱机制对数据源中的原始数据进行序列化和反序列化处理的情况下，解析当前输入周期内输入的原始数据构成的所述当前数据集合的当前数据结构，以及前一输入周期内输入的历史数据构成的所述历史数据集合的历史数据结构；通过比较所述当前数据结构与所述历史数据结构确定二者存在的差异。
4.根据权利要求1所述的方法，其特征在于，所述按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段，包括：
按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的变更字段；
将所述变更字段中所含的预定义的必备字段、与业务相关的业务核心字段和/或业务执行过程中的高频使用字段确定为目标字段。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标字段更新所述数据仓库中定义的结构体字段，包括：
利用所述目标字段创建当前结构体字段，使所述当前结构体字段包含对应于所述目标字段的嵌套字段；
将所述数据仓库中定义的历史结构体字段替换为所述当前结构体字段。
6.一种更新数据的装置，其特征在于，包括：
差异确定模块，被配置为获取数据仓库中来自数据源的当前数据集合的当前数据结构与来自所述数据源的历史数据集合的历史数据结构存在的差异；
字段确定模块，被配置为按照所述当前数据结构相对于所述历史数据结构的差异信息确定相应的目标字段；
数据更新模块，被配置为根据所述目标字段更新所述数据仓库中定义的结构体字段，更新后的所述结构体字段中包含所述当前数据结构的结构信息，所述当前数据集合中的数据在按照所述结构信息构造后被所述数据仓库的下游数据任务调用。
7.根据权利要求6所述的装置，其特征在于，所述差异确定模块，包括：
周期性检测单元，被配置为在所述数据源中的原始数据周期性输入所述数据仓库的情况下，检测当前输入周期内输入的所述当前数据集合的当前数据结构与前一输入周期内输入的所述历史数据集合的历史数据结构存在的差异；或者，
报错检测单元，被配置为在针对所述当前数据集合的数据任务报错的情况下，检测所述数据仓库中当前数据集合的当前数据结构与历史数据集合的历史数据结构存在的差异。
8.根据权利要求6所述的装置，其特征在于，所述差异确定模块，还包括：
日志检测单元，被配置为在通过协议缓冲区机制对来自所述数据源的数据进行序列化和反序列化处理的情况下，获取所述数据源对应的数据结构定义文件的变更日志，并从所述变更日志中读取所述当前数据结构与所述历史数据结构存在的差异；或者，
结构解析单元，被配置为在通过可扩展标记语言机制或JS对象简谱机制对数据源中的原始数据进行序列化和反序列化处理的情况下，解析当前输入周期内输入的原始数据构成的所述当前数据集合的当前数据结构，以及前一输入周期内输入的历史数据构成的所述历史数据集合的历史数据结构；通过比较所述当前数据结构与所述历史数据结构确定二者存在的差异。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的更新数据的方法。
10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的更新数据的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010636657.2A CN113886404A (zh) | 2020-07-03 | 2020-07-03 | 更新数据的方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010636657.2A CN113886404A (zh) | 2020-07-03 | 2020-07-03 | 更新数据的方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113886404A true CN113886404A (zh) | 2022-01-04 |
Family
ID=79011910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010636657.2A Pending CN113886404A (zh) | 2020-07-03 | 2020-07-03 | 更新数据的方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113886404A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116303834A (zh) * | 2023-05-19 | 2023-06-23 | 北京弘维大数据技术有限公司 | 一种数据仓库历史数据存储与处理方法、系统和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100235335A1 (en) * | 2009-03-11 | 2010-09-16 | Heman Sandor Abc | Column-store database architecture utilizing positional delta tree update system and methods |
| CN106503091A (zh) * | 2016-10-12 | 2017-03-15 | 济南浪潮高新科技投资发展有限公司 | 一种可变数据结构自动同步匹配的实现方法 |
| CN108829727A (zh) * | 2018-05-09 | 2018-11-16 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN109033186A (zh) * | 2018-06-27 | 2018-12-18 | 东软集团股份有限公司 | 数据一致性检测方法、装置、存储介质及电子设备 |
| CN109885581A (zh) * | 2019-03-14 | 2019-06-14 | 苏州达家迎信息技术有限公司 | 数据库的同步方法、装置、设备及存储介质 |
| CN110489401A (zh) * | 2019-08-26 | 2019-11-22 | 浪潮通用软件有限公司 | 一种数据库对象的部署方法及装置 |
| CN110502563A (zh) * | 2019-08-26 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 一种多数据源的数据的处理方法及装置、存储介质 |
| CN110990390A (zh) * | 2019-12-02 | 2020-04-10 | 东莞中国科学院云计算产业技术创新与育成中心 | 数据协同处理方法、装置、计算机设备和存储介质 |
| CN111061788A (zh) * | 2019-11-26 | 2020-04-24 | 江苏瑞中数据股份有限公司 | 一种基于云架构的多源异构数据转换整合系统及其实现方法 |
-
2020
- 2020-07-03 CN CN202010636657.2A patent/CN113886404A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100235335A1 (en) * | 2009-03-11 | 2010-09-16 | Heman Sandor Abc | Column-store database architecture utilizing positional delta tree update system and methods |
| CN106503091A (zh) * | 2016-10-12 | 2017-03-15 | 济南浪潮高新科技投资发展有限公司 | 一种可变数据结构自动同步匹配的实现方法 |
| CN108829727A (zh) * | 2018-05-09 | 2018-11-16 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN109033186A (zh) * | 2018-06-27 | 2018-12-18 | 东软集团股份有限公司 | 数据一致性检测方法、装置、存储介质及电子设备 |
| CN109885581A (zh) * | 2019-03-14 | 2019-06-14 | 苏州达家迎信息技术有限公司 | 数据库的同步方法、装置、设备及存储介质 |
| CN110489401A (zh) * | 2019-08-26 | 2019-11-22 | 浪潮通用软件有限公司 | 一种数据库对象的部署方法及装置 |
| CN110502563A (zh) * | 2019-08-26 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 一种多数据源的数据的处理方法及装置、存储介质 |
| CN111061788A (zh) * | 2019-11-26 | 2020-04-24 | 江苏瑞中数据股份有限公司 | 一种基于云架构的多源异构数据转换整合系统及其实现方法 |
| CN110990390A (zh) * | 2019-12-02 | 2020-04-10 | 东莞中国科学院云计算产业技术创新与育成中心 | 数据协同处理方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116303834A (zh) * | 2023-05-19 | 2023-06-23 | 北京弘维大数据技术有限公司 | 一种数据仓库历史数据存储与处理方法、系统和装置 |
| CN116303834B (zh) * | 2023-05-19 | 2024-03-08 | 北京弘维大数据技术有限公司 | 一种数据仓库历史数据存储与处理方法、系统和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9942690B2 (en) | Method and device for information push | |
| CN109447125B (zh) | 分类模型的处理方法、装置、电子设备及存储介质 | |
| CN106339384B (zh) | 存储过程的转换方法及装置 | |
| CN111857806A (zh) | 权限配置文件更新方法、装置、电子设备及存储介质 | |
| CN112765135B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113886404A (zh) | 更新数据的方法、装置、电子设备和存储介质 | |
| CN114356891A (zh) | 数据迁移方法、设备、存储介质及程序产品 | |
| US11797218B2 (en) | Method and device for detecting slow node and computer-readable storage medium | |
| CN115729609A (zh) | 配置库信息规范性检查方法、装置、设备及存储介质 | |
| CN114036917A (zh) | 报告生成方法、装置、计算机设备及存储介质 | |
| CN112333233B (zh) | 事件信息的上报方法、装置、电子设备及存储介质 | |
| CN114546992A (zh) | 数据库迁移方法、装置、存储介质和电子设备 | |
| CN112017640B (zh) | 唤醒决策方法、装置、电子设备及存储介质 | |
| CN111259675B (zh) | 基于神经网络计算的方法和装置 | |
| CN109981406B (zh) | 测试方法、装置、系统和计算机可读存储介质 | |
| CN112988822A (zh) | 数据查询方法、装置、设备、可读存储介质以及产品 | |
| CN114356902A (zh) | 工业数据质量管理方法及装置 | |
| CN112269730A (zh) | 异常日志检测方法、异常日志检测装置及存储介质 | |
| CN113378022A (zh) | 一种站内搜索平台、搜索方法和相关装置 | |
| CN112286609B (zh) | 用于管理智能终端的快捷设置项的方法和装置 | |
| CN112632279B (zh) | 一种确定用户标签的方法及相关装置 | |
| CN115237462A (zh) | 资源库处理方法、装置、电子设备及存储介质 | |
| CN115982193A (zh) | 账户关系记录处理方法、装置 | |
| CN113986648A (zh) | 执行于应用程序的方法、装置、电子设备及存储介质 | |
| CN116910097A (zh) | 规则匹配方法、装置、服务器以及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |