CN108073595A - 一种在olap数据库实现数据更新和快照的方法及装置 - Google Patents
一种在olap数据库实现数据更新和快照的方法及装置 Download PDFInfo
- Publication number
- CN108073595A CN108073595A CN201610991953.8A CN201610991953A CN108073595A CN 108073595 A CN108073595 A CN 108073595A CN 201610991953 A CN201610991953 A CN 201610991953A CN 108073595 A CN108073595 A CN 108073595A
- Authority
- CN
- China
- Prior art keywords
- row
- data
- tables
- line identifier
- timestamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004048 modification Effects 0.000 claims abstract description 160
- 238000012986 modification Methods 0.000 claims abstract description 160
- 230000008859 change Effects 0.000 claims abstract description 34
- 238000003780 insertion Methods 0.000 claims description 8
- 230000037431 insertion Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种在OLAP数据库实现数据更新的方法及装置，该方法包括：在数据表中增加行标识列以及时间戳列，行标识列用于记录数据表中各行的行标识，时间戳列用于记录数据表中各行的修改时间；当接收到修改指令时，在数据表中确定待修改行；根据修改指令对待修改行进行修改并在待修改行的时间戳列写入当前修改时间，生成第一新增行；将第一新增行插入数据表中；当接收到读取数据指令时，根据读取数据指令在数据表中获得至少一个结果行，在至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将结果表中去除行标识列以及时间戳列的部分返回给用户。本发明还公开了一种在OLAP数据库实现数据快照的方法及装置。
Description
技术领域
本发明涉及数据库领域，具体涉及一种在OLAP数据库实现数据更新和快照的方法及装置。
背景技术
在传统的软件开发中，单机数据库(例如Oracle数据库、SQL Server数据库等)在数据存储和数据计算中扮演着极其关键的作用，但传统单机数据库在存储和计算上无法实现横向扩展，即不能通过增加硬件的方式来存储、计算更多的数据，所以在处理海量数据时就捉襟见肘了。因此，出现了分布式的关系型数据仓库，OLAP(Online AnalyticalProcessing，联机分析处理)数据库是一种成熟的分布式关系型数据仓库的解决方案，但是OLAP数据库的特点是以读优化为主，不擅长修改，即只支持数据的插入和读取，不支持数据的修改更新，而在很多场景下，用户希望像传统数据库一样，可以对OLAP数据库里的表做单行或者多行数据的修改操作。
另外，在很多业务场景下有这样的一个需求，用户希望得到数据库里某张表在之前某个时间点的状态，即快照，目的可能是为了将表的数据恢复到那个时间点，也可能是为了了解之前版本的信息或者是为了做一些版本对比，但是，目前在OLAP数据库中没有获得快照的功能。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的在OLAP数据库实现数据更新和快照的方法及装置，本发明的技术方案如下：
一种在OLAP数据库实现数据更新的方法，所述方法包括：
在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
当接收到修改指令时，在所述数据表中确定待修改行；
根据所述修改指令对所述待修改行进行修改并在所述待修改行的时间戳列写入当前修改时间，生成第一新增行；
将所述第一新增行插入所述数据表中；
当接收到读取数据指令时，根据所述读取数据指令在所述数据表中获得至少一个结果行，在所述至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将所述结果表中去除所述行标识列以及所述时间戳列的部分返回给用户。
相应的，所述方法还包括：
当接收到增加指令时，根据所述增加指令生成第二新增行，在所述第二新增行的行标识列写入相应的行标识，在所述第二新增行的时间戳列写入当前修改时间；
将所述第二新增行插入所述数据表中。
相应的，所述在所述数据表中确定待修改行，包括：
根据所述修改指令在所述数据表中获得至少一个修改待选行，在所述至少一个修改待选行中取每个行标识对应的具有最新修改时间的行作为待修改行。
一种在OLAP数据库实现数据快照的方法，所述方法包括：
在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
接收读取快照指令，所述读取快照指令中包括一个时间点；
在所述数据表中查找在所述时间戳列中的修改时间小于或等于所述时间点的行作为快照待选行；
在所述快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，将所述快照表中去除所述行标识列以及所述时间戳列的部分返回给用户。
相应的，所述方法还包括：
当在所述数据表中未查找到在所述时间戳列中的修改时间小于或等于所述时间点的行时，产生未查找到快照的提示。
一种在OLAP数据库实现数据更新的装置，所述装置包括：
第一增加单元，用于在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
确定单元，用于当接收到修改指令时，在所述数据表中确定待修改行；
修改单元，用于根据所述修改指令对所述待修改行进行修改并在所述待修改行的时间戳列写入当前修改时间，生成第一新增行；
第一插入单元，用于将所述第一新增行插入所述数据表中；
读取单元，用于当接收到读取数据指令时，根据所述读取数据指令在所述数据表中获得至少一个结果行，在所述至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将所述结果表中去除所述行标识列以及所述时间戳列的部分返回给用户。
相应的，所述装置还包括：
第二增加单元，用于当接收到增加指令时，根据所述增加指令生成第二新增行，在所述第二新增行的行标识列写入相应的行标识，在所述第二新增行的时间戳列写入当前修改时间；
第二插入单元，用于将所述第二新增行插入所述数据表中。
相应的，所述确定单元具体用于：
根据所述修改指令在所述数据表中获得至少一个修改待选行，在所述至少一个修改待选行中取每个行标识对应的具有最新修改时间的行作为待修改行。
一种在OLAP数据库实现数据快照的装置，所述装置包括：
增加单元，用于在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
接收单元，用于接收读取快照指令，所述读取快照指令中包括一个时间点；
查找单元，用于在所述数据表中查找在所述时间戳列中的修改时间小于或等于所述时间点的行作为快照待选行；
快照单元，用于在所述快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，将所述快照表中去除所述行标识列以及所述时间戳列的部分返回给用户。
相应的，所述装置还包括：
提示单元，用于当在所述数据表中未查找到在所述时间戳列中的修改时间小于或等于所述时间点的行时，产生未查找到快照的提示。
借由上述技术方案，本发明提供的在OLAP数据库实现数据更新和快照的方法及装置，通过在数据表中记录各行的行标识以及修改时间，在需要修改数据时，对待修改行进行修改，且保持待修改行的行标识保持不变并在待修改行中记录最新的修改时间，当用户读取数据时，针对每个行标识返回具有最新修改时间的数据返回给用户，对于用户来说读取得到的都是修改后的数据，和数据已经实际进行了修改的效果相同，满足了在OLAP数据库中实现数据更新的需求。另外，当用户读取快照时，返回每一行标识小于或等于快照时间点且具有最新修改时间的数据返回给用户，从而实现了在OLAP数据库中读取快照的功能。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例中提供的在OLAP数据库实现数据更新的方法实施例的流程图；
图2示出了本发明实施例中数据表的示意图；
图3示出了本发明实施例中一种对数据表进行修改的示意图；
图4示出了本发明实施例中另一种对数据表进行修改的示意图；
图5示出了本发明实施例中对数据表进行增加的示意图；
图6示出了本发明实施例中对数据表进行读取的示意图；
图7示出了本发明实施例中提供的在OLAP数据库实现数据快照的方法实施例的流程图；
图8示出了本发明实施例中读取数据快照的示意图；
图9示出了本发明实施例中提供的在OLAP数据库实现数据更新的装置实施例的示意图；
图10示出了本发明实施例中提供的在OLAP数据库实现数据快照的装置实施例的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明实施例作进一步详细的说明。
本发明的主要目的在于让用户可以像操作传统单机数据库一样，在基于Hadoop(一种分布式系统基础架构)的OLAP数据库上，对表数据进行单行或多行修改、更新操作，以克服OLAP数据库最大的缺陷；另外，本发明的目的还在于使用户在使用OLAP数据库时可以用很简单的方式得到任何表在任意时间点的快照。
参见图1所示，示出了本发明实施例中提供的在OLAP数据库实现数据更新的方法实施例，可以包括以下步骤：
步骤101：在数据表中增加行标识列以及时间戳列，行标识列用于记录数据表中各行的行标识，时间戳列用于记录数据表中各行的修改时间。
首先在数据表中增加两个隐藏列：行标识列以及时间戳列，隐藏列即对于用户来说这两列是透明的，用户并不知道这两列的存在，其中，行标识列用于记录数据表中各行的行标识，时间戳列用于记录数据表中各行的修改时间。
参见图2所示，为一种在数据表中增加行标识列以及时间戳列的示例，图2中左表为原始的数据表，在用户建立原始的数据表时可以增加行标识列以及时间戳列，生成图2中右表所示的更新后的数据表，可以看出原始的数据表中不同的数据行均具有不同的行标识，而时间戳列则记录了各行的修改时间。
步骤102：当接收到修改指令时，在数据表中确定待修改行。
在本发明一些可能的实现方式中，在数据表中确定待修改行的具体实现可以包括：
根据修改指令在数据表中获得至少一个修改待选行，在至少一个修改待选行中取每个行标识对应的具有最新修改时间的行作为待修改行。
步骤103：根据修改指令对待修改行进行修改并在待修改行的时间戳列写入当前修改时间，生成第一新增行。
步骤104：将第一新增行插入数据表中。
在用户需要修改数据表中某一行或某些行时，可以向数据库发送修改指令，修改指令中包括了确定待修改行的条件。在本实施例中，第一新增行表示对待修改行进行修改后的数据行，待修改行可以为一个或多个，第一新增行也可以为一个或多个。
参见图3所示，例如需要将图2右表中所示的数据表中的“技术部”修改为“软件部”，则首先根据修改指令在图2右表所示的数据表中查找获得部门列中为“技术部”的行作为修改待选行，即将行标识为“01”和“02”的行确定为修改待选行，而此时数据表中行标识为“01”和“02”的行均只存在一行数据，则这两行数据即为这两个行标识对应的具有最新修改时间的行，被确定为待修改行，将待修改行根据修改指令进行修改后，行标识保持不变，在时间戳列写入当前修改时间，插入数据表，生成图3所示的数据表，这样数据表中同一行标识会存在多个修改时间不同的行。
参见图4所示，又例如在上述修改的基础上(即图3所示的数据表的基础上)将“张三”的年龄修改为“31”，则首先根据修改指令在图3所示的数据表中查找姓名列为“张三”的行，即将行标识为“01”的行确定为修改待选行，而此时行标识为“01”的行有两行数据，则需要在这两个修改待选行中选取该行标识对应的具有最新修改时间的行作为待修改行(即图3所示的数据表中的倒数第二行为此次修改的待修改行)，将待修改行根据修改指令进行修改后，行标识保持不变，在时间戳列写入当前修改时间，插入数据表，生成图4所示的数据表。
另外，在本发明一些可能的实现方式中，还可以在数据表中增加数据行，增加数据行的实现方式可以包括：
当接收到增加指令时，根据增加指令生成第二新增行，在第二新增行的行标识列写入相应的行标识，在第二新增行的时间戳列写入当前修改时间；
将第二新增行插入数据表中。
在本实施例中，第二新增行为根据增加指令所生成的行，第二新增行可以为一个或多个。
参见图5所示，根据增加指令可以生成图5所示的数据表中的最后一行，在该行的行标识列写入新的行标识，在该行的时间戳列写入当前修改时间，将该行插入数据表，生成图5所示的数据表，完成在数据表中增加数据行。
步骤105：当接收到读取数据指令时，根据读取数据指令在数据表中获得至少一个结果行，在至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将结果表中去除行标识列以及时间戳列的部分返回给用户。
在用户需要读取数据表中的数据时，在所需要读取的数据中每一个行标识取具有最新修改时间的版本返回给用户，而对于用户来说行标识列以及时间戳列是透明的，则返回给用户的数据表是不包含行标识列以及时间戳列的，这样，对于用户来说读取到的都是修改后的数据，相当于已经进行了数据更新。
参见图6所示，假设读取数据指令需要读取当前全部数据，则在图5所示的数据表中查找获得全部的行均作为结果行，每个行标识对应的具有最新修改时间的行组成结果表，即图5所示的数据表中的倒数第一、二、三、五行组成结果表，将结果表中的行标识列以及时间戳列去除生成如图6所示的数据表即为返回给用户的结果，这样用户得到的是每个行标识对应的最新数据。
另外，基于本实施例还可以实现在OLAP数据库中进行数据快照，实现数据快照的方式可以包括：
接收读取快照指令，读取快照指令中包括一个时间点；
在数据表中查找在时间戳列中的修改时间小于或等于时间点的行作为快照待选行；
在快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，将快照表中去除行标识列以及时间戳列的部分返回给用户。
而当在数据表中未查找到在时间戳列中的修改时间小于或等于时间点的行时，产生未查找到快照的提示。
关于实现数据快照的相关说明可以参见后续实施例，在本实施例中暂不展开说明。
这样，通过在数据表中记录各行的行标识以及修改时间，在需要修改数据时，对待修改行进行修改，且保持待修改行的行标识保持不变并在待修改行中记录最新的修改时间，当用户读取数据时，针对每个行标识返回具有最新修改时间的数据返回给用户，对于用户来说读取得到的都是修改后的数据，和数据已经实际进行了修改的效果相同，满足了在OLAP数据库中实现数据更新的需求。另外，当用户读取快照时，返回每一行标识小于或等于快照时间点且具有最新修改时间的数据返回给用户，从而实现了在OLAP数据库中读取快照的功能。
参见图7所示，示出了本发明实施例中提供的在OLAP数据库实现数据快照的方法实施例，可以包括以下步骤：
步骤701：在数据表中增加行标识列以及时间戳列，行标识列用于记录数据表中各行的行标识，时间戳列用于记录数据表中各行的修改时间。
本步骤的具体实现与上述实施例中的步骤101类似，相关说明可以参见上述实施例，在此不再赘述。
步骤702：接收读取快照指令，读取快照指令中包括一个时间点。
步骤703：在数据表中查找在时间戳列中的修改时间小于或等于时间点的行作为快照待选行。
步骤704：在快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，将快照表中去除行标识列以及时间戳列的部分返回给用户。
在本发明的一些可能的实现方式中，当在数据表中未查找到在时间戳列中的修改时间小于或等于时间点的行时，产生未查找到快照的提示。
在用户需要读取数据表的快照时，通过读取快照指令给定一个时间点，首先根据数据表时间戳列中的修改时间获得小于或等于该时间点的至少一行作为快照待选行，快照待选行中可能存在具有同一行标识的多行数据，然后在快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，类似的，由于行标识列以及时间戳列对于用户是透明的，因此将快照表中去除行标识列以及时间戳列的部分返回给用户，通过这种方式，用户就得到了数据表在某个时间点的快照。
参见图8所示，假设读取快照指令中包括的时间点为“2016-10-0900:00:00”，首先在图8的左表中获得时间戳小于该时间点的行，则在图8的左表中去除最后两行的数据行作为快照待选行，在快照待选行中行标识为“01”和行标识为“02”的行均有两行，行标识为“03”的行有一行，则每个行标识均取具有最新修改时间的行组成快照表，在快照表中去除行标识列以及时间戳列，生成图8右表所示的数据表返回给用户，作为该时间点的快照。
另外，基于本实施例还可以实现在OLAP数据库中进行数据更新，实现数据更新的方式可以包括：
当接收到修改指令时，在数据表中确定待修改行；根据修改指令对待修改行进行修改并在待修改行的时间戳列写入当前修改时间，生成第一新增行；将第一新增行插入数据表中。其中，在数据表中确定待修改行的具体实现可以包括：根据修改指令在数据表中获得至少一个修改待选行，在至少一个修改待选行中取每个行标识对应的具有最新修改时间的行作为待修改行。
当接收到增加指令时，根据增加指令生成第二新增行，在第二新增行的行标识列写入相应的行标识，在第二新增行的时间戳列写入当前修改时间；将第二新增行插入数据表中。
当接收到读取数据指令时，根据读取数据指令在数据表中获得至少一个结果行，在至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将结果表中去除行标识列以及时间戳列的部分返回给用户。
关于在OLAP数据库中进行数据更新的方法可以参见上述实施例的说明，在此不再赘述。
这样，通过在数据表中记录各行的行标识以及修改时间，当用户读取快照时，返回每一行标识小于或等于快照时间点且具有最新修改时间的数据返回给用户，从而实现了在OLAP数据库中读取快照的功能。另外，在需要修改数据时，对待修改行进行修改，且保持待修改行的行标识保持不变并在待修改行中记录最新的修改时间，当用户读取数据时，针对每个行标识返回具有最新修改时间的数据返回给用户，对于用户来说读取得到的都是修改后的数据，和数据已经实际进行了修改的效果相同，满足了在OLAP数据库中实现数据更新的需求。
参见图9所示，示出了本发明实施例中提供的在OLAP数据库实现数据更新的装置实施例，可以包括：
第一增加单元901，用于在数据表中增加行标识列以及时间戳列，行标识列用于记录数据表中各行的行标识，时间戳列用于记录数据表中各行的修改时间。
确定单元902，用于当接收到修改指令时，在数据表中确定待修改行。
在本发明的一些可能的实现方式中，确定单元可以具体用于：
根据修改指令在数据表中获得至少一个修改待选行，在至少一个修改待选行中取每个行标识对应的具有最新修改时间的行作为待修改行。
修改单元903，用于根据修改指令对待修改行进行修改并在待修改行的时间戳列写入当前修改时间，生成第一新增行。
第一插入单元904，用于将第一新增行插入数据表中。
读取单元905，用于当接收到读取数据指令时，根据读取数据指令在数据表中获得至少一个结果行，在至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将结果表中去除行标识列以及时间戳列的部分返回给用户。
在本发明的一些可能的实现方式中，本实施例还可以包括：
第二增加单元，用于当接收到增加指令时，根据增加指令生成第二新增行，在第二新增行的行标识列写入相应的行标识，在第二新增行的时间戳列写入当前修改时间；
第二插入单元，用于将第二新增行插入数据表中。
所述在OLAP数据库实现数据更新的装置包括处理器和存储器，上述第一增加单元、确定单元、修改单元、第一插入单元和读取单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来在OLAP数据库实现数据更新。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
这样，通过在数据表中记录各行的行标识以及修改时间，在需要修改数据时，对待修改行进行修改，且保持待修改行的行标识保持不变并在待修改行中记录最新的修改时间，当用户读取数据时，针对每个行标识返回具有最新修改时间的数据返回给用户，对于用户来说读取得到的都是修改后的数据，和数据已经实际进行了修改的效果相同，满足了在OLAP数据库中实现数据更新的需求。
参见图10所示，示出了本发明实施例中提供的在OLAP数据库实现数据快照的装置实施例，可以包括：
增加单元1001，用于在数据表中增加行标识列以及时间戳列，行标识列用于记录数据表中各行的行标识，时间戳列用于记录数据表中各行的修改时间。
接收单元1002，用于接收读取快照指令，读取快照指令中包括一个时间点。
查找单元1003，用于在数据表中查找在时间戳列中的修改时间小于或等于时间点的行作为快照待选行。
快照单元1004，用于在快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，将快照表中去除行标识列以及时间戳列的部分返回给用户。
在本发明一些可能的实现方式中，本实施例还可以包括：
提示单元，用于当在数据表中未查找到在时间戳列中的修改时间小于或等于时间点的行时，产生未查找到快照的提示。
所述在OLAP数据库实现数据快照的装置包括处理器和存储器，上述增加单元、接收单元、查找单元和快照单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来在OLAP数据库实现数据快照。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
这样，通过在数据表中记录各行的行标识以及修改时间，当用户读取快照时，返回每一行标识小于或等于快照时间点且具有最新修改时间的数据返回给用户，从而实现了在OLAP数据库中读取快照的功能。另外，在需要修改数据时，对待修改行进行修改，且保持待修改行的行标识保持不变并在待修改行中记录最新的修改时间，当用户读取数据时，针对每个行标识返回具有最新修改时间的数据返回给用户，对于用户来说读取得到的都是修改后的数据，和数据已经实际进行了修改的效果相同，满足了在OLAP数据库中实现数据更新的需求。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：
在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
当接收到修改指令时，在所述数据表中确定待修改行；
根据所述修改指令对所述待修改行进行修改并在所述待修改行的时间戳列写入当前修改时间，生成第一新增行；
将所述第一新增行插入所述数据表中；
当接收到读取数据指令时，根据所述读取数据指令在所述数据表中获得至少一个结果行，在所述至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将所述结果表中去除所述行标识列以及所述时间戳列的部分返回给用户。
本申请还提供了另一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：
在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
接收读取快照指令，所述读取快照指令中包括一个时间点；
在所述数据表中查找在所述时间戳列中的修改时间小于或等于所述时间点的行作为快照待选行；
在所述快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，将所述快照表中去除所述行标识列以及所述时间戳列的部分返回给用户。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种在OLAP数据库实现数据更新的方法，其特征在于，所述方法包括：
在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
当接收到修改指令时，在所述数据表中确定待修改行；
根据所述修改指令对所述待修改行进行修改并在所述待修改行的时间戳列写入当前修改时间，生成第一新增行；
将所述第一新增行插入所述数据表中；
当接收到读取数据指令时，根据所述读取数据指令在所述数据表中获得至少一个结果行，在所述至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将所述结果表中去除所述行标识列以及所述时间戳列的部分返回给用户。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当接收到增加指令时，根据所述增加指令生成第二新增行，在所述第二新增行的行标识列写入相应的行标识，在所述第二新增行的时间戳列写入当前修改时间；
将所述第二新增行插入所述数据表中。
3.根据权利要求1所述的方法，其特征在于，所述在所述数据表中确定待修改行，包括：
根据所述修改指令在所述数据表中获得至少一个修改待选行，在所述至少一个修改待选行中取每个行标识对应的具有最新修改时间的行作为待修改行。
4.一种在OLAP数据库实现数据快照的方法，其特征在于，所述方法包括：
在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
接收读取快照指令，所述读取快照指令中包括一个时间点；
在所述数据表中查找在所述时间戳列中的修改时间小于或等于所述时间点的行作为快照待选行；
在所述快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，将所述快照表中去除所述行标识列以及所述时间戳列的部分返回给用户。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当在所述数据表中未查找到在所述时间戳列中的修改时间小于或等于所述时间点的行时，产生未查找到快照的提示。
6.一种在OLAP数据库实现数据更新的装置，其特征在于，所述装置包括：
第一增加单元，用于在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
确定单元，用于当接收到修改指令时，在所述数据表中确定待修改行；
修改单元，用于根据所述修改指令对所述待修改行进行修改并在所述待修改行的时间戳列写入当前修改时间，生成第一新增行；
第一插入单元，用于将所述第一新增行插入所述数据表中；
读取单元，用于当接收到读取数据指令时，根据所述读取数据指令在所述数据表中获得至少一个结果行，在所述至少一个结果行中取每个行标识对应的具有最新修改时间的行组成结果表，将所述结果表中去除所述行标识列以及所述时间戳列的部分返回给用户。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二增加单元，用于当接收到增加指令时，根据所述增加指令生成第二新增行，在所述第二新增行的行标识列写入相应的行标识，在所述第二新增行的时间戳列写入当前修改时间；
第二插入单元，用于将所述第二新增行插入所述数据表中。
8.根据权利要求6所述的装置，其特征在于，所述确定单元具体用于：
根据所述修改指令在所述数据表中获得至少一个修改待选行，在所述至少一个修改待选行中取每个行标识对应的具有最新修改时间的行作为待修改行。
9.一种在OLAP数据库实现数据快照的装置，其特征在于，所述装置包括：
增加单元，用于在数据表中增加行标识列以及时间戳列，所述行标识列用于记录所述数据表中各行的行标识，所述时间戳列用于记录所述数据表中各行的修改时间；
接收单元，用于接收读取快照指令，所述读取快照指令中包括一个时间点；
查找单元，用于在所述数据表中查找在所述时间戳列中的修改时间小于或等于所述时间点的行作为快照待选行；
快照单元，用于在所述快照待选行中取每个行标识对应的具有最新修改时间的行组成快照表，将所述快照表中去除所述行标识列以及所述时间戳列的部分返回给用户。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
提示单元，用于当在所述数据表中未查找到在所述时间戳列中的修改时间小于或等于所述时间点的行时，产生未查找到快照的提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610991953.8A CN108073595B (zh) | 2016-11-10 | 2016-11-10 | 一种在olap数据库实现数据更新和快照的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610991953.8A CN108073595B (zh) | 2016-11-10 | 2016-11-10 | 一种在olap数据库实现数据更新和快照的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108073595A true CN108073595A (zh) | 2018-05-25 |
| CN108073595B CN108073595B (zh) | 2020-09-18 |
Family
ID=62154766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610991953.8A Expired - Fee Related CN108073595B (zh) | 2016-11-10 | 2016-11-10 | 一种在olap数据库实现数据更新和快照的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108073595B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109388646A (zh) * | 2018-10-16 | 2019-02-26 | 新华三大数据技术有限公司 | 数据处理方法及装置 |
| CN111475517A (zh) * | 2020-03-06 | 2020-07-31 | 平安科技（深圳）有限公司 | 数据更新方法、装置、计算机设备及存储介质 |
| CN111797108A (zh) * | 2020-07-17 | 2020-10-20 | 西安数据如金信息科技有限公司 | 一种更新分析数据库的方法及装置 |
| CN115544048A (zh) * | 2022-11-29 | 2022-12-30 | 福建慧政通信息科技有限公司 | 一种监督数据变化的方法及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1349089A2 (en) * | 2002-03-19 | 2003-10-01 | Network Appliance, Inc. | System and method for managing a plurality of snapshots of a file system |
| US20050256897A1 (en) * | 2004-05-11 | 2005-11-17 | Oracle International Corporation | Providing the timing of the last committed change to a row in a database table |
| CN101064630A (zh) * | 2006-04-24 | 2007-10-31 | 华为技术有限公司 | 一种数据同步方法及系统 |
| CN102663117A (zh) * | 2012-04-18 | 2012-09-12 | 中国人民大学 | 面向数据库与Hadoop混合平台的OLAP查询处理方法 |
-
2016
- 2016-11-10 CN CN201610991953.8A patent/CN108073595B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1349089A2 (en) * | 2002-03-19 | 2003-10-01 | Network Appliance, Inc. | System and method for managing a plurality of snapshots of a file system |
| US20050256897A1 (en) * | 2004-05-11 | 2005-11-17 | Oracle International Corporation | Providing the timing of the last committed change to a row in a database table |
| CN101064630A (zh) * | 2006-04-24 | 2007-10-31 | 华为技术有限公司 | 一种数据同步方法及系统 |
| CN102663117A (zh) * | 2012-04-18 | 2012-09-12 | 中国人民大学 | 面向数据库与Hadoop混合平台的OLAP查询处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 钟会玲: "基于近邻传播聚类分析的医生处方数据研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109388646A (zh) * | 2018-10-16 | 2019-02-26 | 新华三大数据技术有限公司 | 数据处理方法及装置 |
| CN111475517A (zh) * | 2020-03-06 | 2020-07-31 | 平安科技（深圳）有限公司 | 数据更新方法、装置、计算机设备及存储介质 |
| CN111475517B (zh) * | 2020-03-06 | 2024-02-20 | 平安科技（深圳）有限公司 | 数据更新方法、装置、计算机设备及存储介质 |
| CN111797108A (zh) * | 2020-07-17 | 2020-10-20 | 西安数据如金信息科技有限公司 | 一种更新分析数据库的方法及装置 |
| CN115544048A (zh) * | 2022-11-29 | 2022-12-30 | 福建慧政通信息科技有限公司 | 一种监督数据变化的方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108073595B (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107957957B (zh) | 测试用例的获取方法和装置 | |
| US10860616B2 (en) | Test data management | |
| CN108073595A (zh) | 一种在olap数据库实现数据更新和快照的方法及装置 | |
| CN106649316A (zh) | 一种视频推送方法及装置 | |
| CA2957674C (en) | Testing insecure computing environments using random data sets generated from characterizations of real data sets | |
| CN107391544B (zh) | 列式存储数据的处理方法、装置、设备及计算机储存介质 | |
| CN107729330A (zh) | 获取数据集的方法和装置 | |
| CN109634682A (zh) | 应用程序的配置文件更新方法及装置 | |
| US7908243B2 (en) | Considering transient data also in reports generated based on data eventually stored in a data-warehouse | |
| CN109657427A (zh) | 权限控制的方法及装置 | |
| CN104714957A (zh) | 一种表结构的变更方法及装置 | |
| CN104765775B (zh) | 一种日志保存方法及装置 | |
| CN107609011A (zh) | 一种数据库记录的维护方法和装置 | |
| CN102779161A (zh) | 基于rdf知识库的语义标注方法 | |
| CN106294530B (zh) | 规则匹配的方法和系统 | |
| CN109582476A (zh) | 数据处理方法、装置及系统 | |
| CN108062323B (zh) | 一种日志读取方法及装置 | |
| CN108829790A (zh) | 一种数据批处理方法、装置及系统 | |
| CN117492670A (zh) | 日志打印序列的确定方法、装置及电子设备 | |
| CN110019497A (zh) | 一种数据读取方法及装置 | |
| CN108241620A (zh) | 查询脚本的生成方法及装置 | |
| CN116431601A (zh) | 数据表创建方法及设备 | |
| CN111125087A (zh) | 数据的存储方法及装置 | |
| PURDILĂ et al. | MR-Tree-A Scalable MapReduce Algorithm for Building Decision Trees. | |
| CN115293243A (zh) | 数据资产智能匹配的实现方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing Applicant before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200918 |