CN105740058B - 一种数据转换方法及装置 - Google Patents

一种数据转换方法及装置 Download PDF

Info

Publication number
CN105740058B
CN105740058B CN201410765490.4A CN201410765490A CN105740058B CN 105740058 B CN105740058 B CN 105740058B CN 201410765490 A CN201410765490 A CN 201410765490A CN 105740058 B CN105740058 B CN 105740058B
Authority
CN
China
Prior art keywords
data
object run
storing data
sequence number
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410765490.4A
Other languages
English (en)
Other versions
CN105740058A (zh
Inventor
李勇
朱俊华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huawei Digital Technologies Co Ltd
Original Assignee
Hangzhou Huawei Digital Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huawei Digital Technologies Co Ltd filed Critical Hangzhou Huawei Digital Technologies Co Ltd
Priority to CN201410765490.4A priority Critical patent/CN105740058B/zh
Publication of CN105740058A publication Critical patent/CN105740058A/zh
Application granted granted Critical
Publication of CN105740058B publication Critical patent/CN105740058B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例公开了一种数据转换方法及装置,该方法包括:接收目标操作指令,目标操作指令携带有需要操作数据的数据信息,目标操作指令为插入操作指令或非插入操作指令;将该需要操作数据的数据信息存储至联机事务处理系统;当进行数据转换时,将联机事务处理系统中存储的该数据信息对应的数据转换至联机分析处理系统。实施本发明实施例,可以提高数据转换效率。

Description

一种数据转换方法及装置
技术领域
本发明涉及计算机技术领域,具体涉及一种数据转换方法及装置。
背景技术
在联机事务处理(On Line Transaction Processing,OLTP)系统和联机分析处理(On Line Analytical Processing,OLAP)系统融合的行列混合存储系统中,OLAP查询在OLAP系统中进行。但对数据的操作却在OLTP系统中进行,因此,为了使OLAP查询时能够查询到更新的数据,需要将OLTP系统中更新的数据转换到OLAP系统中。目前,将OLTP系统中的数据转换到OLAP系统中的一种方法为:将OLTP系统中的所有数据全部转换到OLAP系统中。
上述方法中,将OLTP系统中的数据转换到OLAP系统中时,不仅将从上次转换到本次转换期间有更新的数据进行转换,而且将从上次转换到本次转换期间未更新的数据也进行转换,这将增加数据转换时间,从而降低了数据转换效率。
发明内容
本发明实施例公开了一种数据转换方法及装置,用于提高数据转换效率。
本发明实施例第一方面公开一种数据转换方法,包括:
接收目标操作指令,所述目标操作指令携带有需要操作数据的数据信息,所述目标操作指令为插入操作指令或非插入操作指令;
将所述数据信息存储至OLTP系统;
当进行数据转换时,将所述OLTP系统中存储的所述数据信息对应的数据转换至OLAP系统。
结合本发明实施例第一方面,在本发明实施例第一方面的第一种可能的实现方式中,当所述目标操作指令为非插入操作指令时,所述数据信息包括存储数据和所述存储数据的行序列号;
所述将所述OLTP系统中存储的所述数据信息对应的数据转换至OLAP系统包括:
根据所述存储数据和所述存储数据的行序列号从OLAP系统中查找所述存储数据;
将所述OLAP系统中的所述存储数据设置为无效数据。
结合本发明实施例第一方面,在本发明实施例第一方面的第二种可能的实现方式中,当所述目标操作指令为非插入操作指令时,所述数据信息包括存储数据和所述存储数据的行序列号;
所述方法还包括:
判断所述目标操作指令是否为非插入操作指令;
当所述目标操作指令为非插入操作指令时,根据所述存储数据和所述存储数据的行序列号从OLAP系统中查询所述存储数据的列序列号和所述存储数据的列文件标识;
存储所述存储数据的行序列号、所述存储数据的列序列号和所述存储数据的列文件标识;
所述将所述OLTP系统中存储的所述数据信息对应的数据转换至OLAP系统包括:
根据所述存储数据的行序列号、所述存储数据的列序列号和所述存储数据的列文件标识将所述OLAP系统中的所述存储数据设置为无效数据。
结合本发明实施例第一方面,在本发明实施例第一方面的第三种可能的实现方式中,当所述目标操作指令为插入操作指令时,所述数据信息包括插入数据和所述插入数据插入行的行序列号;
所述将所述OLTP系统中存储的所述数据信息对应的数据转换至OLAP系统包括:
根据所述插入数据插入行的行序列号将所述插入数据存储至OLAP系统。
结合本发明实施例第一方面以及本发明实施例第一方面的第一种至第三种中任一种可能的实现方式,在本发明实施例第一方面的第四种可能的实现方式中,所述接收目标操作指令之后,所述方法还包括:
在所述OLTP系统中执行所述目标操作指令。
本发明实施例第二方面公开一种数据转换装置,包括:
接收单元,用于接收目标操作指令,所述目标操作指令携带有需要操作数据的数据信息,所述目标操作指令为插入操作指令或非插入操作指令;
OLTP系统,用于存储所述接收单元接收的目标操作指令携带的数据信息;
转换单元,用于当进行数据转换时,将所述OLTP系统中存储的所述数据信息对应的数据转换至OLAP系统。
结合本发明实施例第二方面,在本发明实施例第二方面的第一种可能的实现方式中,当所述目标操作指令为非插入操作指令时,所述数据信息包括存储数据和所述存储数据的行序列号;
所述转换单元包括:
查找子单元,用于根据所述存储数据和所述存储数据的行序列号从OLAP系统中查找所述存储数据;
设置子单元,用于将所述OLAP系统中所述查找子单元查找到的所述存储数据设置为无效数据。
结合本发明实施例第二方面,在本发明实施例第二方面的第二种可能的实现方式中,当所述目标操作指令为非插入操作指令时,所述数据信息包括存储数据和所述存储数据的行序列号;
所述装置还包括:
判断单元,用于判断所述接收单元接收的所述目标操作指令是否为非插入操作指令;
查询单元,用于当所述判断单元的判断结果为是时,根据所述接收单元接收的目标操作指令携带的所述存储数据和所述接收单元接收的目标操作指令携带的所述存储数据的行序列号从OLAP系统中查询所述存储数据的列序列号和所述存储数据的列文件标识;
存储单元,用于存储所述接收单元接收的目标操作指令携带的所述存储数据的行序列号、所述查询单元查询到的所述存储数据的列序列号和所述查询单元查询到的所述存储数据的列文件标识;
所述转换单元,具体用于根据所述存储单元存储的所述存储数据的行序列号、所述存储单元存储的所述存储数据的列序列号和所述存储单元存储的所述存储数据的列文件标识将所述OLAP系统中的所述存储数据设置为无效数据。
结合本发明实施例第二方面,在本发明实施例第二方面的第三种可能的实现方式中,当所述目标操作指令为插入操作指令时,所述数据信息包括插入数据和所述插入数据插入行的行序列号;
所述转换单元,具体用于根据所述插入数据插入行的行序列号将所述插入数据存储至OLAP系统。
结合本发明实施例第二方面以及本发明实施例第二方面的第一种至第三种中任一种可能的实现方式,在本发明实施例第二方面的第四种可能的实现方式中,所述装置还包括:
执行单元,用于在所述OLTP系统中执行所述接收单元接收的目标操作指令。
现有方法中,将OLTP系统中的数据转换到OLAP系统中时,不仅将从上次转换到本次转换期间有更新的数据进行转换,而且将从上次转换到本次转换期间未更新的数据也进行转换。本发明实施例中,将OLTP系统中的数据转换到OLAP系统中时,只对与目标操作携带的需要操作数据的数据信息对应的数据进行转换,而对目标操作指令未涉及的数据未进行转换,即只对从上次转换到本次转换期间有更新的数据进行转换,而对未更新的数据不进行转换,因此,可以提高数据转换效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种数据转换方法的流程图;
图2是本发明实施例公开的另一种数据转换方法的流程图;
图3是本发明实施例公开的一种数据转换装置的结构图;
图4是本发明实施例公开的另一种数据转换装置的结构图;
图5是本发明实施例公开的又一种数据转换装置的结构图;
图6是本发明实施例公开将OLTP系统中的数据转换到OLAP系统中的过程。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种数据转换方法及装置,用于提高数据转换效率。以下分别进行详细说明。
请参阅图1,图1是本发明实施例公开的一种数据转换方法的流程图。如图1所示,该数据转换方法可以包括以下步骤。
S101、接收目标操作指令,目标操作指令携带有需要操作数据的数据信息,目标操作指令为插入操作指令或非插入操作指令。
S102、将目标操作指令携带的需要操作数据的数据信息存储至OLTP系统。
本实施例中,存储系统接收到目标操作指令之后,将目标操作指令携带的需要操作数据的数据信息存储至OLTP系统,以便进行数据转换时调用。
S103、当进行数据转换时,将OLTP系统中存储的目标操作指令携带的需要操作数据的数据信息对应的数据转换至OLAP系统。
本实施例中,当进行数据转换,即将OLTP系统中的数据转换至OLAP系统时,将OLTP系统中存储的多个操作指令携带的需要操作数据的数据信息对应的数据全部转换至OLAP系统。其中,目标操作指令是存储系统接收的多个操作指令中的任意一个。
本实施例中,触发数据转换的方式可以为定时触发,也可以为条件触发,还可以为其它触发方式,本实施例不作限定。
作为一种可能的实施方式,当目标操作指令为非插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括存储数据和该存储数据的行序列号;
将OLTP系统中存储的目标操作指令需要操作数据的数据信息对应的数据转换至OLAP系统的方式具体为:
根据该存储数据和该存储数据的行序列号从OLAP系统中查找该存储数据;
将OLAP系统中的该存储数据设置为无效数据。
本实施例中,当目标操作指令为非插入操作指令时,目标操作指令携带有存储数据和该存储数据的行序列号。其中,存储数据是在接收到目标操作指令之前,已经被存储在存储系统中的数据。
本实施例中,非插入操作指令可以包括更新操作指令和删除操作指令,当目标操作指令为更新操作指令时,目标操作指令还携带有更新数据。其中,更新数据将用于替换存储系统中存储的该存储数据。当目标操作指令为更新操作指令时,在进行数据转换时,不仅需要将OLAP系统中存储的该存储数据设置为无效数据,而且还需要将更新数据存储至OLAP系统。其中,存储数据携带有特殊的标记,用于表明该数据需要被删除。
作为一种可能的实施方式,当目标操作指令为插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括插入数据和该插入数据插入行的行序列号;
将OLTP系统中存储的目标操作指令需要操作数据的数据信息对应的数据转换至OLAP系统的方式具体为:
根据该插入数据插入行的行序列号将该插入数据存储至OLAP系统。
现有方法中,将OLTP系统中的数据转换到OLAP系统中时,不仅将从上次转换到本次转换期间有更新的数据进行转换,而且将从上次转换到本次转换期间未更新的数据也进行转换。在图1所描述的数据转换方法中,将OLTP系统中的数据转换到OLAP系统中时,只对与目标操作携带的需要操作数据的数据信息对应的数据进行转换,而对目标操作指令未涉及的数据未进行转换,即只对从上次转换到本次转换期间有更新的数据进行转换,而对未更新的数据不进行转换,因此,可以提高数据转换效率。
请参阅图2,图2是本发明实施例公开的另一种数据转换方法的流程图。如图2所示,该数据转换方法可以包括以下操作。
S201、接收目标操作指令,目标操作指令携带有需要操作数据的数据信息,目标操作指令为插入操作指令或非插入操作指令。
S202、将目标操作指令携带的需要操作数据的数据信息存储至OLTP系统。
本实施例中,存储系统接收到目标操作指令之后,将目标操作指令携带的需要操作数据的数据信息存储至OLTP系统,以便进行数据转换时调用。
S203、在OLTP系统中执行目标操作指令。
本实施例中,存储系统接收到目标操作指令之后,将在OLTP系统中执行目标操作指令。
S204、判断目标操作指令是否为非插入操作指令,当目标操作指令为非插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括存储数据和该存储数据的行序列号,根据该存储数据和该存储数据的行序列号从OLAP系统中查询该存储数据的列序列号和该存储数据的列文件标识,存储该存储数据的行序列号、该存储数据的列序列号和该存储数据的列文件标识。
本实施例中,存储系统接收到目标操作指令之后,将判断目标操作指令是否为非插入操作指令,当目标操作指令为非插入操作指令时,目标操作指令携带有存储数据和该存储数据的行序列号,其中,存储数据是在接收到目标操作指令之前,已经被存储在存储系统中的数据,表明在OLAP系统中已存储有该存储数据。因此,根据该存储数据和该存储数据的行序列号从OLAP系统中查询该存储数据的列序列号和该存储数据的列文件标识,并将存储该存储数据的行序列号、该存储数据的列序列号和该存储数据的列文件标识,以便进行数据转换时调用。其中,步骤S202、步骤S203和步骤S204可以并行执行。
本实施例中,非插入操作指令可以包括更新操作指令和删除操作指令,当目标操作指令为更新操作指令时,目标操作指令还携带有更新数据。其中,更新数据将用于替换存储系统中存储的该存储数据。
S205、当进行数据转换时,将OLTP系统中存储的目标操作指令携带的需要操作数据的数据信息对应的数据转换至OLAP系统。
本实施例中,当进行数据转换,即将OLTP系统中的数据转换至OLAP系统时,将OLTP系统中存储的多个操作指令携带的需要操作数据的数据信息对应的数据全部转换至OLAP系统。其中,目标操作指令是存储系统接收的多个操作指令中的任意一个。
本实施例中,触发数据转换的方式可以为定时触发,也可以为条件触发,还可以为其它触发方式,本实施例不作限定。
作为一种可能的实施方式,当目标操作指令为非插入操作指令时,将OLTP系统中存储的目标操作指令需要操作数据的数据信息对应的数据转换至OLAP系统的方式具体为:
根据该存储数据和该存储数据的行序列号从OLAP系统中查找该存储数据,并将OLAP系统中的该存储数据设置为无效数据;或
根据该存储数据的行序列号、该存储数据的列序列号和该存储数据的列文件标识将OLAP系统中的该存储数据设置为无效数据。
本实施例中,当目标操作指令为非插入操作指令时,OLTP系统中存储有目标操作指令携带的存储数据和该存储数据的行序列号,存储系统存储有目标操作指令携带的该存储数据的行序列号、该存储数据的列序列号和该存储数据的列文件标识。在进行数据转换时,可以利用OLTP系统存储的该存储数据和该存储数据的行序列号将OLAP系统中的该存储数据设置为无效数据,也可以利用存储系统存储的该存储数据的行序列号、该存储数据的列序列号和该存储数据的列文件标识将OLAP系统中的该存储数据设置为无效数据。但利用存储系统存储的该存储数据的行序列号、该存储数据的列序列号和该存储数据的列文件标识,比利用OLAP系统中存储的该存储数据和该存储数据的行序列号能够更快的将OLAP系统中存储的该存储数据设置为无效数据。其中,存储数据携带有特殊的标记,用于表明该数据需要被删除。
本实施例中,当目标操作指令为更新操作指令时,在进行数据转换时,不仅需要将OLAP系统中存储的该存储数据设置为无效数据,而且还需要将更新数据存储至OLAP系统。
举例说明,将OLTP系统中的数据转换到OLAP系统的过程可以如图6所示,假设T1时刻在OLTP系统中生成的行数据集为row_data_1,T2时刻在OLTP系统中生成的行数据集为row_data_2,当将OLTP系统中的数据转换到OLAP系统时,row_data_1转换为File group 1,row_data_2转换为File group 2。在OLAP系统中存储数据时,按照列序列号进行存储,即将File group 1和File group 2中属于同一列的数据存储在一起,如将属于列序列号为o_orderkey的1-1文件和2-1文件存储在一起、将属于列序列号为o_custkey的1-2文件和2-2文件存储在一起、将属于列序列号为o_price的1-3文件和2-3文件存储在一起。其中,列序列号为o_orderkey中存储的是每行的行序列号,1-1中的第一个1指row_data_1。当进行数据转换时,第二存储器中存储的一个非插入操作指令的操作信息是o_custkey_1-2{013,014},其中,o_custkey为列序列号,013和014是行序列号,1-2中的1为以行数据存储时的行文件标识、2为以列数据存储时的列文件标识,通过o_custkey_1-2{013,014}可以查找到需要操作的数据为3和9,查找到后,可以讲3和9设置为无效数据。其中,将o_custkey包括1-2中的数据设置为无效数据的方式可以通过1-2上面的小方框中的数据来体现,如第一个1表示1-2中的6为有效数据、第二个1表示1-2中的1为有效数据、第一个0表示1-2中的行序列号013对应的3为无效数据、第三个1表示1-2中的9为有效数据、第二个0表示1-2中行序列号018对应的3为无效数据。
作为一种可能的实施方式,当目标操作指令为插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括插入数据和该插入数据插入行的行序列号;
将OLTP系统中存储的目标操作指令需要操作数据的数据信息对应的数据转换至OLAP系统的方式具体为:
根据该插入数据插入行的行序列号将该插入数据存储至OLAP系统。
现有方法中,将OLTP系统中的数据转换到OLAP系统中时,不仅将从上次转换到本次转换期间有更新的数据进行转换,而且将从上次转换到本次转换期间未更新的数据也进行转换。在图2所描述的数据转换方法中,将OLTP系统中的数据转换到OLAP系统中时,只对与目标操作携带的需要操作数据的数据信息对应的数据进行转换,而对目标操作指令未涉及的数据未进行转换,即只对从上次转换到本次转换期间有更新的数据进行转换,而对未更新的数据不进行转换,因此,可以提高数据转换效率。
请参阅图3,图3是本发明实施例公开的一种数据转换装置的结构图。如图3所示,该数据转换装置300可以包括:
接收单元301,用于接收目标操作指令,目标操作指令携带有需要操作数据的数据信息,目标操作指令为插入操作指令或非插入操作指令;
OLTP系统302,用于存储接收单元301接收的目标操作指令携带的数据信息;
转换单元303,用于当进行行列转换时,将OLTP系统302中存储的该数据信息对应的数据转换至OLAP系统。
作为一种可能的实施方式,当目标操作指令为非插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括存储数据和该存储数据的行序列号;
转换单元303可以包括:
查找子单元3031,用于根据OLTP系统302存储的该存储数据和OLTP系统302存储的该存储数据的行序列号从OLAP系统中查找该存储数据;
设置子单元3032,用于将OLAP系统中查找子单元3031查找到的存储数据设置为无效数据。
作为一种可能的实施方式,当目标操作指令为插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括插入数据和该插入数据插入行的行序列号;
转换单元303,具体用于根据该插入数据插入行的行序列号将该插入数据存储至OLAP系统。
作为一种可能的实施方式,该数据转换装置300还可以包括:
执行单元304,用于在OLTP系统中执行接收单元301接收的目标操作指令。
现有方法中,将OLTP系统中的数据转换到OLAP系统中时,不仅将从上次转换到本次转换期间有更新的数据进行转换,而且将从上次转换到本次转换期间未更新的数据也进行转换。在图3所描述的数据转换装置中,将OLTP系统中的数据转换到OLAP系统中时,只对与目标操作携带的需要操作数据的数据信息对应的数据进行转换,而对目标操作指令未涉及的数据未进行转换,即只对从上次转换到本次转换期间有更新的数据进行转换,而对未更新的数据不进行转换,因此,可以提高数据转换效率。
请参阅图4,图4是本发明实施例公开的另一种数据转换装置的结构图。如图4所示,该数据转换装置400可以包括:
接收单元401,用于接收目标操作指令,目标操作指令携带有需要操作数据的数据信息,目标操作指令为插入操作指令或非插入操作指令;
OLTP系统402,用于存储接收单元401接收的目标操作指令携带的数据信息;
转换单元403,用于当进行数据转换时,将OLTP系统402中存储的该数据信息对应的数据转换至OLAP系统。
作为一种可能的实施方式,当目标操作指令为非插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括存储数据和该存储数据的行序列号;
该数据转换装置400还可以包括:
判断单元404,用于判断接收单元401接收的目标操作指令是否为非插入操作指令;
查询单元405,用于当判断单元404的判断结果为是时,根据接收单元401接收的目标操作指令携带的存储数据和接收单元401接收的目标操作指令携带的存储数据的行序列号从OLAP系统中查询该存储数据的列序列号和该存储数据的列文件标识;
存储单元406,用于存储接收单元401接收的目标操作指令携带的存储数据的行序列号、查询单元405查询到的存储数据的列序列号和查询单元405查询到的存储数据的列文件标识;
转换单元403,具体用于根据存储单元406存储的存储数据的行序列号、存储单元406存储的存储数据的列序列号和存储单元406存储的存储数据的列文件标识将OLAP系统中的该存储数据设置为无效数据。
作为一种可能的实施方式,当目标操作指令为插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括插入数据和该插入数据插入行的行序列号;
转换单元403,具体用于根据该插入数据插入行的行序列号将该插入数据存储至OLAP系统。
作为一种可能的实施方式,该数据转换装置400还可以包括:
执行单元407,用于在OLTP系统中执行接收单元401接收的目标操作指令。
现有方法中,将OLTP中系统的数据转换到OLAP系统中时,不仅将从上次转换到本次转换期间有更新的数据进行转换,而且将从上次转换到本次转换期间未更新的数据也进行转换。在图4所描述的数据转换装置中,将OLTP系统中的数据转换到OLAP中时,只对与目标操作携带的需要操作数据的数据信息对应的数据进行转换,而对目标操作指令未涉及的数据未进行转换,即只对从上次转换到本次转换期间有更新的数据进行转换,而对未更新的数据不进行转换,因此,可以提高数据转换效率。
请参阅图5,图5是本发明实施例公开的又一种数据转换装置的结构图。如图5所示,该数据转换装置500可以输入装置501、第一存储器502、第二存储器503、处理器504、第三存储器505和输出装置506,其中,处理器504与输入装置501、处理器504与第一存储器502、处理器504与第二存储器503、处理器504与第三存储器505、处理器504与输出装置506之间可以通过总线或其它方式连接,其中,本实施例中是以总线连接的方式为例。其中:
输入装置501,用于接收目标操作指令,目标操作指令携带有需要操作数据的数据信息,目标操作指令为插入操作指令或非插入操作指令;
第一存储器502,用于存储目标操作指令携带的需要操作数据的数据信息;
第二存储器503中存储有一组程序代码,处理器504用于调用第二存储器503中存储的程序代码执行以下操作:
当进行数据转换时,将第一存储器502中存储的该数据信息对应的数据转换至OLAP系统。
作为一种可能的实施方式,当目标操作指令为非插入操作指令时,目标操作指令携带的需要操作数据的数据信息可以包括存储数据和该存储数据的行序列号;
处理器504将第一存储器502中存储的该数据信息对应的数据转换至OLAP系统的方式具体为:
根据存储数据和该存储数据的行序列号从OLAP系统中查找该存储数据;
将OLAP系统中的该存储数据设置为无效数据。
作为一种可能的实施方式,当目标操作指令为非插入操作指令时,目标操作指令携带的需要操作数据的数据信息可以包括存储数据和该存储数据的行序列号;
处理器504还用于调用第二存储器503中存储的程序代码执行以下操作:
判断目标操作指令是否为非插入操作指令;
当目标操作指令为非插入操作指令时,根据该存储数据和该存储数据的行序列号从OLAP系统中查询该存储数据的列序列号和该存储数据的列文件标识;
第三存储器505,用于存储该存储数据的行序列号、该存储数据的列序列号和该存储数据的列文件标识;
处理器504将第一存储器502中存储的该数据信息对应的数据转换至OLAP系统的方式具体为:
根据该存储数据的行序列号、该存储数据的列序列号和该存储数据的列文件标识将OLAP系统中的该存储数据设置为无效数据。
作为一种可能的实施方式,当目标操作指令为插入操作指令时,目标操作指令携带的需要操作数据的数据信息包括插入数据和该插入数据插入行的行序列号;
处理器504将第一存储器502中存储的该数据信息对应的数据转换至OLAP系统的方式具体为:
根据该插入数据插入行的行序列号将该插入数据存储至OLAP系统。
作为一种可能的实施方式,输入装置501接收目标操作指令之后,处理器504还用于调用第二存储器503中存储的程序代码执行以下操作:
在OLTP系统中执行目标操作指令。
作为一种可能的实施方式,输出装置506,用于发送消息。
在图5所描述的数据转换装置中,将OLTP系统中的数据转换到OLAP系统中时,只对与目标操作携带的需要操作数据的数据信息对应的数据进行转换,而对目标操作指令未涉及的数据未进行转换,即只对从上次转换到本次转换期间有更新的数据进行转换,而对未更新的数据不进行转换,因此,可以提高数据转换效率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上对本发明实施例公开的数据转换方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种数据转换方法,其特征在于,包括:
接收目标操作指令,所述目标操作指令携带有需要操作数据的数据信息,所述目标操作指令为插入操作指令或非插入操作指令;
将所述数据信息存储至联机事务处理系统;
当进行数据转换时,将所述联机事务处理系统中存储的所述数据信息对应的数据转换至联机分析处理系统;
当所述目标操作指令为非插入操作指令时,所述数据信息包括存储数据和所述存储数据的行序列号;
所述方法还包括:
判断所述目标操作指令是否为非插入操作指令;
当所述目标操作指令为非插入操作指令时,根据所述存储数据和所述存储数据的行序列号从联机分析处理系统中查询所述存储数据的列序列号和所述存储数据的列文件标识;
存储所述存储数据的行序列号、所述存储数据的列序列号和所述存储数据的列文件标识;
所述将所述联机事务处理系统中存储的所述数据信息对应的数据转换至联机分析处理系统包括:
根据所述存储数据的行序列号、所述存储数据的列序列号和所述存储数据的列文件标识将所述联机分析处理系统中的所述存储数据设置为无效数据。
2.如权利要求1所述的方法,其特征在于,当所述目标操作指令为插入操作指令时,所述数据信息包括插入数据和所述插入数据插入行的行序列号;
所述将所述联机事务处理系统中存储的所述数据信息对应的数据转换至联机分析处理系统包括:
根据所述插入数据插入行的行序列号将所述插入数据存储至联机分析处理系统。
3.如权利要求1-2任一项所述的方法,其特征在于,所述接收目标操作指令之后,所述方法还包括:
在所述联机事务处理系统中执行所述目标操作指令。
4.一种数据转换装置,其特征在于,包括:
接收单元,用于接收目标操作指令,所述目标操作指令携带有需要操作数据的数据信息,所述目标操作指令为插入操作指令或非插入操作指令;
联机事务处理系统,用于存储所述接收单元接收的目标操作指令携带的数据信息;
转换单元,用于当进行数据转换时,将所述联机事务处理系统中存储的所述数据信息对应的数据转换至联机分析处理系统;
当所述目标操作指令为非插入操作指令时,所述数据信息包括存储数据和所述存储数据的行序列号;
所述装置还包括:
判断单元,用于判断所述接收单元接收的目标操作指令是否为非插入操作指令;
查询单元,用于当所述判断单元的判断结果为是时,根据所述接收单元接收的目标操作指令携带的所述存储数据和所述接收单元接收的目标操作指令携带的所述存储数据的行序列号从联机分析处理系统中查询所述存储数据的列序列号和所述存储数据的列文件标识;
存储单元,用于存储所述接收单元接收的目标操作指令携带的所述存储数据的行序列号、所述查询单元查询到的所述存储数据的列序列号和所述查询单元查询到的所述存储数据的列文件标识;
所述转换单元,具体用于根据所述存储单元存储的所述存储数据的行序列号、所述存储单元存储的所述存储数据的列序列号和所述存储单元存储的所述存储数据的列文件标识将所述联机分析处理系统中的所述存储数据设置为无效数据。
5.如权利 要求4所述的装置,其特征在于,当所述目标操作指令为插入操作指令时,所述数据信息包括插入数据和所述插入数据插入行的行序列号;
所述转换单元,具体用于根据所述插入数据插入行的行序列号将所述插入数据存储至联机分析处理系统。
6.如权利 要求4-5任一项所述的装置,其特征在于,所述装置还包括:
执行单元,用于在所述联机事务处理系统中执行所述接收单元接收的目标操作指令。
CN201410765490.4A 2014-12-11 2014-12-11 一种数据转换方法及装置 Expired - Fee Related CN105740058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410765490.4A CN105740058B (zh) 2014-12-11 2014-12-11 一种数据转换方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410765490.4A CN105740058B (zh) 2014-12-11 2014-12-11 一种数据转换方法及装置

Publications (2)

Publication Number Publication Date
CN105740058A CN105740058A (zh) 2016-07-06
CN105740058B true CN105740058B (zh) 2019-03-26

Family

ID=56241282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410765490.4A Expired - Fee Related CN105740058B (zh) 2014-12-11 2014-12-11 一种数据转换方法及装置

Country Status (1)

Country Link
CN (1) CN105740058B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6006216A (en) * 1997-07-29 1999-12-21 Lucent Technologies Inc. Data architecture for fetch-intensive database applications
CN103440245A (zh) * 2013-07-15 2013-12-11 西北工业大学 数据库系统的行列混合存储方法
CN103838787A (zh) * 2012-11-27 2014-06-04 阿里巴巴集团控股有限公司 一种对分布式数据仓库进行更新的方法和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8407183B2 (en) * 2007-12-21 2013-03-26 Sap Ag Business intelligence data extraction on demand
CN102938097B (zh) * 2012-09-28 2016-09-28 用友网络科技股份有限公司 用于联机分析处理系统的数据处理装置和数据处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6006216A (en) * 1997-07-29 1999-12-21 Lucent Technologies Inc. Data architecture for fetch-intensive database applications
CN103838787A (zh) * 2012-11-27 2014-06-04 阿里巴巴集团控股有限公司 一种对分布式数据仓库进行更新的方法和设备
CN103440245A (zh) * 2013-07-15 2013-12-11 西北工业大学 数据库系统的行列混合存储方法

Also Published As

Publication number Publication date
CN105740058A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
US9787706B1 (en) Modular architecture for analysis database
CN109416694A (zh) 包括资源有效索引的键值存储系统
CN110134800A (zh) 一种文档关系可视化处理方法及装置
CN103902698A (zh) 一种数据存储系统和存储方法
CN106557272B (zh) 一种高效的传感器历史数据归档方法
CN110795697B (zh) 逻辑表达式的获取方法、装置、存储介质以及电子装置
CN102640151A (zh) 信息系统中转换后的数据的高吞吐量、可靠复制
CN105447167B (zh) 分布式系统中节点缓存数据的处理方法及装置
CN103440285B (zh) 大型手机游戏系统及其数据库更新方法
EP3387525B1 (en) Learning from input patterns in programing-by-example
CN107239467B (zh) 基于数据库的数据处理方法及装置
Jensen et al. PTrie: data structure for compressing and storing sets via prefix sharing
CN108520065A (zh) 命名实体识别语料库的构建方法、系统、设备及存储介质
CN103077198B (zh) 一种操作系统及其文件缓存定位方法
CN101937395B (zh) 一种用于漏洞检测的检测对象程序特征提取方法
CN105740058B (zh) 一种数据转换方法及装置
CN106055646A (zh) 一种并发哈希表的无锁操作方法
CN103049246B (zh) 一种矩阵数据元素标识连续化方法和系统
CN105740997A (zh) 一种控制任务流程的方法、装置及数据库管理系统
Eyal-Salman et al. Identifying traceability links between product variants and their features
CN104932982B (zh) 一种消息访存的编译方法及相关装置
CN104182218B (zh) 一种星上计算机延时指令存储及执行方法
CN104376054A (zh) 一种持久化实例对象的处理方法及装置
CN106372089B (zh) 确定词语位置的方法及装置
CN102970245A (zh) 数据传输方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190326

Termination date: 20201211