CN104408164B - 基于SSAS Tabular数据分析处理方法及装置 - Google Patents
基于SSAS Tabular数据分析处理方法及装置 Download PDFInfo
- Publication number
- CN104408164B CN104408164B CN201410743007.2A CN201410743007A CN104408164B CN 104408164 B CN104408164 B CN 104408164B CN 201410743007 A CN201410743007 A CN 201410743007A CN 104408164 B CN104408164 B CN 104408164B
- Authority
- CN
- China
- Prior art keywords
- data
- data table
- storage
- snapshot
- tables
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 120
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000005055 memory storage Effects 0.000 claims description 25
- 238000013316 zoning Methods 0.000 claims description 5
- 238000000151 deposition Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于SSAS Tabular数据分析处理方法及装置。该方法包括：确定待混合存储的数据表；将待混合存储的数据表的存储模式设置为混合存储模式；在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表；对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式；基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理。通过本发明，解决了基于SSAS Tabular进行数据分析过程中占有存储空间大，处理效率低的问题。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种基于SSAS Tabular数据分析处理方法及装置。
背景技术
SSAS Tabular是软件开发商在2012年推出的新的数据分析引擎。SSAS Tabular是采用内存存储的技术，能够更快的进行数据分析。但是，当SSAS Tabular分析数据量过大并超过内存的承载能力时，就无法继续使用内存存储进行数据分析，只能使用老的磁盘存储的方式进行数据分析。即SSAS Tabular进行数据分析过程中占有存储空间大，导致处理效率低。
针对现有技术中基于SSAS Tabular进行数据分析过程中占有存储空间大，处理效率低的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种基于SSAS Tabular数据分析处理方法及装置，以解决现有技术中基于SSAS Tabular进行数据分析过程中占有存储空间大，处理效率低的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种基于SSAS Tabular数据分析处理方法。
根据本发明的基于SSAS Tabular数据分析处理方法包括：确定待混合存储的数据表；将待混合存储的数据表的存储模式设置为混合存储模式，其中，混合存储模式为包括内存存储模式和磁盘存储模式的存储模式；在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表，其中，历史数据表存储有待混合存储的数据表的所有数据，历史数据表存储模式为磁盘存储模式，快照数据表存储待混合存储的数据表的最近一个预设时间周期的数据，快照数据表存储模式为内存存储模式；对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式；以及基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据 表中的数据执行数据分析处理。
进一步地，确定待混合存储的数据表之前，该方法还包括：将SSAS Tabular数据分析处理模式设置为混合处理模式，其中，混合处理模式为包括内存数据分析处理模式和磁盘数据分析处理模式的处理模式。
进一步地，在根据历史数据表和快照数据表预先设置的数据分析处理设置模式对数据执行分析处理之后，该方法还包括：将历史数据表的数据分析处理模式设置为需要处理模式；获取历史数据表和快照数据表预先设置的数据分析处理设置模式；以及根据历史数据表和快照数据表预先设置的数据分析处理设置模式对对待混合存储的数据表中的数据执行分析处理。
进一步地，将待混合存储的数据表的存储模式设置为混合存储模式包括：对待混合存储的数据表配置预设时间周期；以及根据预设时间周期对待混合存储的数据表中的数据进行存储，其中，将处于预设时间周期内的数据存储为内存存储模式，将不处于预设时间周期内的数据存储为磁盘存储模式。
进一步地，在根据历史数据表和快照数据表的数据处理设置模式对数据执行分析处理之后，该方法还包括：获取待查询数据；判断待查询数据对应的时间周期是否处于快照数据表内的时间周期；如果待查询数据对应的时间周期处于快照数据表内的时间周期，在快照数据表中执行数据查询处理；以及如果待查询数据对应的时间周期不处于快照数据表内的时间周期，在历史数据表中执行数据查询处理。
进一步地，如果待查询数据对应的时间周期不属于快照数据表内的时间周期，在历史数据表执行数据查询处理包括：接收连接指令，其中，连接指令用于指示连接至历史数据表；根据连接指令连接至历史数据表；以及在历史数据表中对待查询数据执行数据查询。
为了实现上述目的，根据本发明的另一方面，提供了一种基于SSAS Tabular数据分析处理装置。
根据本发明的基于SSAS Tabular数据分析处理装置包括：确定单元，用于确定待混合存储的数据表；第一设置单元，用于将待混合存储的数据表的存储模式设置为混合存储模式，其中，混合存储模式为包括内存存储模式和磁盘存储模式的存储模式；分区单元，用于在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表，其中，历史数据表存储有待混合存储的数据表的所有数据，历史数据表存储模式为磁盘存储模式，快照数据表存储待混合存储的数据表的最近一个预设时间周期的数据，快照数据表存储模式为内存存储模式；第二设置单元，用于对历史数据表和快照数据表的数据分析处理模式 进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式；以及第一执行单元，用于基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理。
进一步地，该装置还包括：配置单元，用于对待混合存储的数据表配置预设时间周期；以及存储单元，用于根据预设时间周期对待混合存储的数据表中的数据进行存储，其中，将处于预设时间周期内的数据存储为内存存储模式，将不处于预设时间周期内的数据存储为磁盘存储模式。
进一步地，该装置还包括：获取单元，用于获取待查询数据；判断单元，用于判断待查询数据对应的时间周期是否处于快照数据表内的时间周期；第二执行单元，用于在待查询数据对应的时间周期处于快照数据表内的时间周期的情况下，在快照数据表中执行数据查询处理；以及第三执行单元，用于在待查询数据对应的时间周期不处于快照数据表内的时间周期的情况下，在历史数据表中执行数据查询处理。
进一步地，第三执行单元包括：接收模块，用于接收连接指令，其中，连接指令用于指示连接至历史数据表；连接模块，用于根据连接指令连接至历史数据表；以及查询模块，用于在历史数据表中对待查询数据执行数据查询。
通过本发明，采用以下步骤：确定待混合存储的数据表；将待混合存储的数据表的存储模式设置为混合存储模式；在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表；对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式；以及基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理，解决了现有技术中基于SSAS Tabular进行数据分析过程中占有存储空间大，处理效率低的问题，进而达到了提高了基于SSAS Tabular进行数据分析处理效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明第一实施例的基于SSAS Tabular数据分析处理方法的流程图；
图2是根据本发明第二实施例的基于SSAS Tabular数据分析处理方法的流程图；以及
图3是根据本发明实施例的基于SSAS Tabular数据分析处理装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明的实施例，提供了一种基于SSAS Tabular数据分析处理方法。
图1是根据本发明第一实施例的基于SSAS Tabular数据分析处理方法的流程图。如图1所示，该方法包括如下的步骤S101至步骤S105：
步骤S101，确定待混合存储的数据表。
在众多数据表中确定需要进行混合存储的数据表。
优选地，对存储的数据量较大的数据表或者存储的数据量超过一定的阈值的数据表确定为需要进行混合存储的数据表。
在本发明实施例提供的基于SSAS Tabular数据分析处理方法中，在确定待混合存储的数据表之前，该方法还包括：将SSAS Tabular数据分析处理模式设置为混合处理模式，其中，混合处理模式为包括内存数据分析处理模式和磁盘数据分析处理模式的处理模式。
将SSAS Tabular数据分析处理模式设置成混合模式，有两种可选，InMemroyWithDirectQuery和DirectQueryWithInMemory，该二种方式为混合处理模式。
步骤S102，将待混合存储的数据表的存储模式设置为混合存储模式。
将确定出待混合存储的数据表的存储模式设置为混合存储模式，其中，混合存储模式为包括内存存储模式和磁盘存储模式的存储模式。
优选地，将待混合存储的数据表的存储模式设置为混合存储模式包括：对待混合存储的数据表配置预设时间周期；以及根据预设时间周期对待混合存储的数据表中的数据进行存储，其中，将处于预设时间周期内的数据存储为内存存储模式，将不处于预设时间周期内的数据存储为磁盘存储模式。
例如，对待混合存储的数据表配置预设时间周期为1天，即最近一天内的数据进行内存存储；对不处于最近一天内的数据进行磁盘存储。
步骤S103，在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表。
对待混合存储的数据表进行分区，得到历史数据表，该历史数据表包含数据仓库中对于该待混合存储的数据表的所有数据，并且设置该历史数据表存储模式为磁盘存储模式。
对待混合存储的数据表进行分区，得到快照数据表，该快照数据表包含数据仓库中对于该待混合存储的数据表的最近一个预设时间周期的数据，并且设置该快照数据表存储模式为内存存储模式。
步骤S104，对历史数据表和快照数据表的数据分析处理模式进行设置。
对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式。
即对待混合存储的数据表进行分区，得到历史数据表，将历史数据表的数据分析处理模式设置为不需要处理模式；对待混合存储的数据表进行分区，得到快照数据表，将快照数据表的数据分析处理模式设置为默认需要处理模式。
步骤S105，基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理。
基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理。
可选地，基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式设置为需要处理模式的数据表中的数据进行数据分析处理。
可选地，在本发明实施例提供的基于SSAS Tabular数据分析处理方法中，该方法还包括：将历史数据表的数据分析处理模式设置为需要处理模式；获取历史数据表和快照数据表预先设置的数据分析处理设置模式；以及根据历史数据表和快照数据表预先设置的数据分析处理设置模式对对待混合存储的数据表中的数据执行分析处理。
再需要对历史数据表中的数据进行数据分析处理时，通过将历史数据表的数据分析处理模式设置为需要处理模式，对历史数据表中的数据进行数据分析处理。
本发明实施例提供的基于SSAS Tabular数据分析处理方法，通过确定待混合存储的数据表；将待混合存储的数据表的存储模式设置为混合存储模式；在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表；对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式；以及基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理，解决了现有技术中基于SSAS Tabular进行数据分析过程中占有存储空间大，处理效率低的问题，进而达到了提高了基于SSAS Tabular进行数据分析处理效率的效果。
图2是根据本发明第二实施例的基于SSAS Tabular数据分析处理方法的流程图。图2可以作为图1所示实施例的一种优选实施方式。如图2所示，该方法包括如下的步骤S201至步骤S209：
步骤S201，确定待混合存储的数据表。
该步骤同步骤S101，这里不再赘述。
步骤S202，将待混合存储的数据表的存储模式设置为混合存储模式，其中，混合存储模式为包括内存存储模式和磁盘存储模式的存储模式。
该步骤同步骤S102，这里不再赘述。
步骤S203，在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表，其中，历史数据表存储有待混合存储的数据表的所有数据，历史数据表存储模式为磁盘存储模式，快照数据表存储待混合存储的数据表的最近一个预设时间周期的数据，快照数据表存储模式为内存存储模式。
该步骤同步骤S103，这里不再赘述。
步骤S204，对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式。
该步骤同步骤S104，这里不再赘述。
步骤S205，基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理。
该步骤同步骤S105，这里不再赘述。
步骤S206，获取待查询数据。
获取外部输入的待查询数据。
步骤S207，判断待查询数据对应的时间周期是否处于快照数据表内的时间周期。
判断外部输入的待查询数据对应的时间周期是否处于快照数据表内的时间周期。
步骤S208，如果待查询数据对应的时间周期处于快照数据表内的时间周期，在快照数据表中执行数据查询处理。
如果外部输入的待查询数据对应的时间周期处于快照数据表内的时间周期，在快照数据表中执行数据查询处理。
例如，快照数据表存储的数据为最近一天的数据，外部输入的待查询数据对应的时间周期处于最近一天内，则在快照数据表中执行数据查询处理。
通过该步骤，实现了查询数据的高效查询，提高了数据查询的处理速度。
步骤S209，如果待查询数据对应的时间周期不处于快照数据表内的时间周期，在历史数据表中执行数据查询处理。
如果外部输入的待查询数据对应的时间周期不处于快照数据表内的时间周期，在历史数据表中执行数据查询处理。
例如，历史数据表存储的数据为所有数据，外部输入的待查询数据对应的时间周期不处于快照数据表内的时间周期，则在快照数据表中执行数据查询处理。
具体地，在历史数据表中执行数据查询处理包括：接收连接指令，其中，连接指令用于指示连接至历史数据表；根据连接指令连接至历史数据表；以及在历史数据表中对待查询数据执行数据查询。
在历史数据表中执行数据查询处理，在SSAS Tabular的连接字符串里，连接字符串里使用的Option选项为：DirectQueryMode＝DirectQuery or DirectQueryMode＝In-Memory，通过选择使用DirectQuery查询模式，则在历史数据表中执行数据查询处理。上述的连接指令，即是将查询模式切换至DirectQuery查询模式的指令，通过连接至历史数据表，从而在历史数据表中执行数据查询处理。
本发明实施例提供的基于SSAS Tabular数据分析处理方法，确定待混合存储的数据表；将待混合存储的数据表的存储模式设置为混合存储模式；在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表；对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式；以及基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理，获取待查询数据；判断待查询数据对应的时间周期是否处于快照数据表内的时间周期；如果待查询数据对应的时间周期处于快照数据表内的时间周期，在快照数据表中执行数据查询处理；如果待查询数据对应的时间周期不处于快照数据表内的时间周期，在历史数据表中执行数据查询处理。通过本发明，采用混合存储的模式，对最近一个时间周期的数据进行内存存储模式，使其高效的进行内存分析和查询，对于整个历史周期的数据，采用磁盘存储的模式进行分析，并在外层的连接字符串里进行相应分区查询的有效控制，从而实现了频繁查询数据的内存存储并高效查询，非频繁查询的历史数据的磁盘存储，同时满足高性能和大存储的优点。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种基于SSAS Tabular数据分析处理装置，需要说明的是，本发明实施例的基于SSAS Tabular数据分析处理装置可以用于执行本发明实施例所提供的用于基于SSAS Tabular数据分析处理方法。以下对本发明实施例提供的基于SSASTabular数据分析处理装置进行介绍：
图3是根据本发明实施例的基于SSAS Tabular数据分析处理装置的示意图。如图3所示，该装置包括：确定单元10，第一设置单元20、分区单元30、第二设置单元40和第一执行单元50。
确定单元10，用于确定待混合存储的数据表。
第一设置单元20，用于将待混合存储的数据表的存储模式设置为混合存储模式，其中，混合存储模式为包括内存存储模式和磁盘存储模式的存储模式。
分区单元30，用于在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表，其中，历史数据表存储有待混合存储的数据表的所有数据，历史数据表存储模式为磁盘存储模式，快照数据表存储待混合存储的数据表的最近一个预设时间周期的数据，快照数据表存储模式为内存存储模式。
第二设置单元40，用于对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式。
第一执行单元50，用于基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理。
优选地，在本发明实施例提供的基于SSAS Tabular数据分析处理装置中，该装置还包括：配置单元，用于对待混合存储的数据表配置预设时间周期；以及存储单元，用于根据预设时间周期对待混合存储的数据表中的数据进行存储，其中，将处于预设时间周期内的数据存储为内存存储模式，将不处于预设时间周期内的数据存储为磁盘存储模式。
优选地，在本发明实施例提供的基于SSAS Tabular数据分析处理装置中，该装置还包括：获取单元，用于获取待查询数据；判断单元，用于判断待查询数据对应的时间周期是否处于快照数据表内的时间周期；第二执行单元，用于在待查询数据对应的时间周期处于快照数据表内的时间周期的情况下，在快照数据表中执行数据查询处理；以及第三执行单元，用于在待查询数据对应的时间周期不处于快照数据表内的时间周期的情况下，在历史数据表中执行数据查询处理。
可选地，第三执行单元包括：接收模块，用于接收连接指令，其中，连接指令用于指示连接至历史数据表；连接模块，用于根据连接指令连接至历史数据表；以及查询模块，用于在历史数据表中对待查询数据执行数据查询。
本发明实施例提供的基于SSAS Tabular数据分析处理装置，通过确定单元10确定待混合存储的数据表；第一设置单元20将待混合存储的数据表的存储模式设置为混合存储模式，其中，混合存储模式为包括内存存储模式和磁盘存储模式的存储模式；分区单元30在将待混合存储的数据表的存储模式设置为混合存储模式之后，对待混合存储的数据表进行分区，得到历史数据表和快照数据表，其中，历史数据表存储有待混合存储的数据表的所有数据，历史数据表存储模式为磁盘存储模式，快照数据表存储待混合存储的数据表的最近一个预设时间周期的数据，快照数据表存储模式为内存 存储模式；第二设置单元40对历史数据表和快照数据表的数据分析处理模式进行设置，其中，将历史数据表的数据分析处理模式设置为不需要处理模式，将快照数据表的数据分析处理模式设置为默认需要处理模式；第一执行单元50基于SSAS Tabular根据历史数据表和快照数据表的数据分析处理模式对历史数据表和快照数据表中的数据执行数据分析处理，解决了现有技术中基于SSASTabular进行数据分析过程中占有存储空间大，处理效率低的问题，进而达到了提高了基于SSAS Tabular进行数据分析处理效率的效果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于SSAS Tabular数据分析处理方法，其特征在于，包括：
确定待混合存储的数据表；
将所述待混合存储的数据表的存储模式设置为混合存储模式，其中，所述混合存储模式为包括内存存储模式和磁盘存储模式的存储模式；
在将所述待混合存储的数据表的存储模式设置为混合存储模式之后，对所述待混合存储的数据表进行分区，得到历史数据表和快照数据表，其中，所述历史数据表存储有所述待混合存储的数据表的所有数据，所述历史数据表存储模式为磁盘存储模式，所述快照数据表存储所述待混合存储的数据表的最近一个预设时间周期的数据，所述快照数据表存储模式为内存存储模式；
对所述历史数据表和所述快照数据表的数据分析处理模式进行设置，其中，将所述历史数据表的数据分析处理模式设置为不需要处理模式，将所述快照数据表的数据分析处理模式设置为默认需要处理模式；以及基于SSAS Tabular根据所述历史数据表和所述快照数据表的数据分析处理模式对所述历史数据表和所述快照数据表中的数据执行数据分析处理。
2.根据权利要求1所述的方法，其特征在于，确定待混合存储的数据表之前，所述方法还包括：
将SSAS Tabular数据分析处理模式设置为混合处理模式，其中，所述混合处理模式为包括内存数据分析处理模式和磁盘数据分析处理模式的处理模式。
3.根据权利要求1所述的方法，其特征在于，在根据所述历史数据表和所述快照数据表预先设置的数据分析处理设置模式对数据执行分析处理之后，所述方法还包括：
将所述历史数据表的数据分析处理模式设置为需要处理模式；
获取所述历史数据表和所述快照数据表预先设置的数据分析处理设置模式；以及根据所述历史数据表和所述快照数据表预先设置的数据分析处理设置模式对对所述待混合存储的数据表中的数据执行分析处理。
4.根据权利要求1所述的方法，其特征在于，将所述待混合存储的数据表的存储模式设置为混合存储模式包括：
对所述待混合存储的数据表配置预设时间周期；以及根据预设时间周期对所述待混合存储的数据表中的数据进行存储，其中，将处于所述预设时间周期内的数据存储为内存存储模式，将不处于所述预设时间周期内的数据存储为磁盘存储模式。
5.根据权利要求1所述的方法，其特征在于，在根据所述历史数据表和所述快照数据表的数据处理设置模式对数据执行分析处理之后，所述方法还包括：
获取待查询数据；
判断所述待查询数据对应的时间周期是否处于所述快照数据表内的时间周期；
如果所述待查询数据对应的时间周期处于所述快照数据表内的时间周期，在所述快照数据表中执行数据查询处理；以及如果所述待查询数据对应的时间周期不处于所述快照数据表内的时间周期，在所述历史数据表中执行数据查询处理。
6.根据权利要求5所述的方法，其特征在于，如果所述待查询数据对应的时间周期不属于快照数据表内的时间周期，在所述历史数据表执行数据查询处理包括：
接收连接指令，其中，所述连接指令用于指示连接至所述历史数据表；
根据所述连接指令连接至所述历史数据表；以及在所述历史数据表中对所述待查询数据执行数据查询。
7.一种基于SSAS Tabular数据分析处理装置，其特征在于，包括：
确定单元，用于确定待混合存储的数据表；
第一设置单元，用于将所述待混合存储的数据表的存储模式设置为混合存储模式，其中，所述混合存储模式为包括内存存储模式和磁盘存储模式的存储模式；
分区单元，用于在将所述待混合存储的数据表的存储模式设置为混合存储模式之后，对所述待混合存储的数据表进行分区，得到历史数据表和快照数据表，其中，所述历史数据表存储有所述待混合存储的数据表的所有数据，所述历史数据表存储模式为磁盘存储模式，所述快照数据表存储所述待混合存储的数据表的最近一个预设时间周期的数据，所述快照数据表存储模式为内存存储模式；
第二设置单元，用于对所述历史数据表和所述快照数据表的数据分析处理模式进行设置，其中，将所述历史数据表的数据分析处理模式设置为不需要处理模式，将所述快照数据表的数据分析处理模式设置为默认需要处理模式；以及第一执行单元，用于基于SSASTabular根据所述历史数据表和所述快照数据表的数据分析处理模式对所述历史数据表和所述快照数据表中的数据执行数据分析处理。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
配置单元，用于对所述待混合存储的数据表配置预设时间周期；以及存储单元，用于根据预设时间周期对所述待混合存储的数据表中的数据进行存储，其中，将处于所述预设时间周期内的数据存储为内存存储模式，将不处于所述预设时间周期内的数据存储为磁盘存储模式。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
获取单元，用于获取待查询数据；
判断单元，用于判断所述待查询数据对应的时间周期是否处于所述快照数据表内的时间周期；
第二执行单元，用于在所述待查询数据对应的时间周期处于所述快照数据表内的时间周期的情况下，在所述快照数据表中执行数据查询处理；以及第三执行单元，用于在所述待查询数据对应的时间周期不处于所述快照数据表内的时间周期的情况下，在所述历史数据表中执行数据查询处理。
10.根据权利要求9所述的装置，其特征在于，所述第三执行单元包括：
接收模块，用于接收连接指令，其中，所述连接指令用于指示连接至所述历史数据表；
连接模块，用于根据所述连接指令连接至所述历史数据表；以及查询模块，用于在所述历史数据表中对所述待查询数据执行数据查询。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410743007.2A CN104408164B (zh) | 2014-12-05 | 2014-12-05 | 基于SSAS Tabular数据分析处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410743007.2A CN104408164B (zh) | 2014-12-05 | 2014-12-05 | 基于SSAS Tabular数据分析处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104408164A CN104408164A (zh) | 2015-03-11 |
| CN104408164B true CN104408164B (zh) | 2018-05-18 |
Family
ID=52645795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410743007.2A Active CN104408164B (zh) | 2014-12-05 | 2014-12-05 | 基于SSAS Tabular数据分析处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104408164B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107943927B (zh) * | 2017-11-21 | 2018-10-16 | 清华大学 | 一种分布式存储系统中多维数据的存储模式转换方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101141623A (zh) * | 2007-10-17 | 2008-03-12 | 华中科技大学 | 一种基于p2p技术的视频点播节目缓存方法 |
| CN102200972A (zh) * | 2010-03-24 | 2011-09-28 | 腾讯科技（北京）有限公司 | 一种数据库维护方法和设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4804233B2 (ja) * | 2006-06-09 | 2011-11-02 | 株式会社日立製作所 | ストリームデータ処理方法 |
-
2014
- 2014-12-05 CN CN201410743007.2A patent/CN104408164B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101141623A (zh) * | 2007-10-17 | 2008-03-12 | 华中科技大学 | 一种基于p2p技术的视频点播节目缓存方法 |
| CN102200972A (zh) * | 2010-03-24 | 2011-09-28 | 腾讯科技（北京）有限公司 | 一种数据库维护方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104408164A (zh) | 2015-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11005815B2 (en) | Priority allocation for distributed service rules | |
| CN104102475B (zh) | 分布式并行任务处理的方法、装置及系统 | |
| US10135727B2 (en) | Address grouping for distributed service rules | |
| CN104866366B (zh) | 应用程序清理方法及装置 | |
| CN103297985B (zh) | 基站配置方法及系统 | |
| CN106897284A (zh) | 电子书籍的推荐方法及装置 | |
| CN104461737B (zh) | 一种内存管理方法和装置 | |
| CN109147788A (zh) | 本地语音库的更新方法及装置 | |
| CN106961454A (zh) | 文件下载方法、装置及终端设备 | |
| CN106027459B (zh) | 一种访问控制列表的查询方法及装置 | |
| CN107463441A (zh) | 一种线程数量控制方法及设备 | |
| CN104750872A (zh) | 一种业务对象的查询方法及装置 | |
| CN106713004A (zh) | 一种路由器适配方法及系统 | |
| CN110473120A (zh) | 基于工业互联网的微服务异构再生系统、方法及存储介质 | |
| CN104408164B (zh) | 基于SSAS Tabular数据分析处理方法及装置 | |
| CN106708615A (zh) | 一种应用的管理方法及终端 | |
| CN110532267A (zh) | 字段的确定方法、装置、存储介质及电子装置 | |
| CN109388552A (zh) | 启动应用程序的时长的确定方法、装置及存储介质 | |
| CN113064677B (zh) | 应用运行方法及装置、存储介质及电子装置 | |
| CN106933907A (zh) | 数据表扩展指标的处理方法及装置 | |
| CN104461938B (zh) | 数据读取方法和装置 | |
| CN105939271B (zh) | 查找acl表项的方法及装置 | |
| CN104731329A (zh) | 一种用户笔迹颜色处理的方法和装置 | |
| CN109145124A (zh) | 信息的存储方法、装置、存储介质及电子装置 | |
| CN104536800B (zh) | 一种虚拟机放置方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: SSAS Tabular based data analyzing and processing method and device Effective date of registration: 20190531 Granted publication date: 20180518 Pledgee: Shenzhen Black Horse World Investment Consulting Co.,Ltd. Pledgor: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Registration number: 2019990000503 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CP02 | Change in the address of a patent holder |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Patentee after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Patentee before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240604 Granted publication date: 20180518 |
|
| PP01 | Preservation of patent right |