CN104166739B - 分析数据库的指标文件处理方法及装置 - Google Patents

分析数据库的指标文件处理方法及装置 Download PDF

Info

Publication number
CN104166739B
CN104166739B CN201410453740.0A CN201410453740A CN104166739B CN 104166739 B CN104166739 B CN 104166739B CN 201410453740 A CN201410453740 A CN 201410453740A CN 104166739 B CN104166739 B CN 104166739B
Authority
CN
China
Prior art keywords
database
index file
subregion
data
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410453740.0A
Other languages
English (en)
Other versions
CN104166739A (zh
Inventor
洪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201410453740.0A priority Critical patent/CN104166739B/zh
Publication of CN104166739A publication Critical patent/CN104166739A/zh
Application granted granted Critical
Publication of CN104166739B publication Critical patent/CN104166739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/235—Update request formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分析数据库的指标文件处理方法及装置。该方法包括：对第一数据库中的指标数据进行处理；在第二数据库中创建第二分区，第二数据库是存储分析数据库中所有历史数据的数据库；将第一指标文件复制至第二分区相对应的指标文件中；将第一指标文件替换第二分区中相对应的指标文件；对第二数据库中的指标文件进行元数据维护，更新第二数据库，解决了分析数据库在进行维度或指标处理的同时进行同步会消耗分析数据库的资源，导致分析数据库自带的同步功能不稳定的问题，达到了同步功能稳定并且耗费资源少的效果。

Description

分析数据库的指标文件处理方法及装置
技术领域
本发明涉及数据处理领域，具体而言，涉及一种分析数据库的指标文件处理方法及装置。
背景技术
数据库是一个单位或是一个应用领域的通用数据处理系统，它存储的是属于企业和事业部门、团体和个人的有关数据的集合。数据库中的数据是为众多用户所共享其信息而建立的，已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据库中的数据；多个用户可以同时共享数据库中的数据资源，即不同的用户可以同时存取数据库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用户之间信息通信的要求。
分析数据库常用适当的统计分析方法对收集来的大量数据进行分析，将它们汇总和理解消化，以求最大化地开发数据的功能、发挥数据的作用。分析数据库为了提取有用的信息和形成结论会对数据加以详细研究和概括总结。分析数据库常进行维度处理和指标处理，随着时间的增长，分析数据库系统里的某些维度表会极剧增大，如跟广告相关的来源的大维度表或者是存储指标的事实维度表，都会随着时间有明显的增长。当维度表中数据量增大到一定的量级时，例如，超过千万或亿，分析数据库对维度表和指标处理的同时进行同步会消耗分析数据库的资源，增大系统内存压力，导致分析数据库自带的同步功能不稳定，但现有技术里没有相关的解决方案。
针对分析数据库在进行维度或指标处理的同时进行同步会消耗分析数据库的资源，导致分析数据库自带的同步功能不稳定的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种分析数据库的指标文件处理方法及装置，以解决分析数据库在进行维度或指标处理的同时进行同步会消耗分析数据库的资源，导致分析数据库自带的同步功能不稳定的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种分析数据库的指标文件处理方法。根据本发明的分析数据库的指标文件处理方法包括：对第一数据库中的指标数据进行处理，其中，第一数据库保存了一个时间处理周期的数据并且存储在分析数据库中，第一数据库包括第一分区，第一分区包括第一指标文件，指标数据存储在第一指标文件中；在第二数据库中创建第二分区，其中，第二分区与第一分区是相对应的分区，第二数据库是存储分析数据库中所有历史数据的数据库；将第一指标文件复制至第二分区相对应的指标文件中；将第一指标文件替换第二分区中相对应的指标文件；对第二数据库中的指标文件进行元数据维护，更新第二数据库。
进一步地，对第二数据库中的指标文件进行元数据维护，更新第二数据库包括：分离第二数据库与第二数据库中的指标文件；更新第二数据库；在第二数据库中加载第二数据库中分离的指标文件。
进一步地，对第二数据库中的指标文件进行元数据维护，更新第二数据库包括：修改第二数据库中第二分区对应指标文件中文件的文件名；更新第二数据库中第二分区对应指标文件中的文件清单，其中，文件清单是统计了第二数据库第二分区中所有指标文件的文件名；将第二数据库的数据版本更改为第一数据库的数据版本；更新第二数据库。
进一步地，对第二数据库中的指标文件进行元数据维护，更新第二数据库包括：获取第二数据库中相对应的指标文件的版本信息；修改第二数据库中相对应的指标文件的版本信息；更新第二数据库。
进一步地，更新第二数据库之后还包括：在第二数据库中进行数据查询；判断数据查询过程是否报错；在数据查询过程报错的情况下，将第一指标文件复制至第二分区相对应的指标文件中；将第一指标文件替换第二分区中相对应的指标文件；对第二数据库中的指标文件进行元数据维护，更新第二数据库。
为了实现上述目的，根据本发明的另一方面，提供了一种分析数据库的指标文件处理装置。该装置包括：处理单元，用于对第一数据库中的指标数据进行处理，其中，第一数据库保存了一个时间处理周期的数据并且存储在分析数据库中，第一数据库包括第一分区，第一分区包括第一指标文件，指标数据存储在第一指标文件中；创建单元，用于在第二数据库中创建第二分区，其中，第二分区与第一分区是相对应的分区，第二数据库是存储分析数据库中所有历史数据的数据库；复制单元，用于将第一指标文件复制至第二分区相对应的指标文件中；替换单元，用于将第一指标文件替换第二分区中相对应的指标文件；第一更新单元，用于对第二数据库中的指标文件进行元数据维护，更新第二数据库。
进一步地，第一更新单元包括：分离模块，用于分离第二数据库与第二数据库中的指标文件；第一更新模块，用于更新第二数据库；加载模块，用于在第二数据库中加载第二数据库中分离的指标文件。
进一步地，第一更新单元包括：修改模块，用于修改第二数据库中第二分区对应指标文件中文件的文件名；第二更新模块，用于更新第二数据库中第二分区对应指标文件中的文件清单，其中，文件清单是统计了第二数据库第二分区中所有指标文件的文件名；更改模块，用于将第二数据库的数据版本更改为第一数据库的数据版本；第三更新模块，用于更新第二数据库。
进一步地，第一更新单元包括：获取模块，用于获取第二数据库中相对应的指标文件的版本信息；修改模块，用于修改第二数据库中相对应的指标文件的版本信息；第四更新模块，用于更新第二数据库。
进一步地，第一更新单元之后还包括：查询单元，用于对第二数据库中进行数据查询；判断单元，用于判断数据查询过程是否报错；复制单元，用于在数据查询过程报错的情况下，将第一指标文件复制至第二分区相对应的指标文件中；替换单元，用于将第一指标文件替换第二分区中相对应的指标文件；第二更新单元，用于对第二数据库中的指标文件进行元数据维护，更新第二数据库。
通过本发明，采用对第一数据库中的指标数据进行处理；在第二数据库中创建第二分区；将第一指标文件复制至第二分区相对应的指标文件中；将第一指标文件替换第二分区中相对应的指标文件；对第二数据库中的指标文件进行元数据维护，更新第二数据库，解决了分析数据库在进行维度或指标处理的同时进行同步会消耗分析数据库的资源，导致分析数据库自带的同步功能不稳定的问题，达到了同步功能稳定并且耗费资源少的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的分析数据库的指标文件处理方法的第一实施例的流程图；
图2是根据本发明的分析数据库的指标文件处理方法的第二实施例的流程图；
图3是根据本发明的分析数据库的指标文件处理方法的第三实施例的流程图；
图4是根据本发明的分析数据库的指标文件处理装置的第一实施例的示意图；
图5是根据本发明的分析数据库的指标文件处理装置的第二实施例的示意图；以及
图6是根据本发明的分析数据库的指标文件处理装置的第三实施例的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是根据本发明的分析数据库的指标文件处理方法的第一实施例的流程图。如图1所示，该方法包括如下的步骤S101至步骤S105：
步骤S101，对第一数据库中的指标数据进行处理，其中，第一数据库保存了一个时间处理周期的数据并且存储在分析数据库中，第一数据库包括第一分区，第一分区包括第一指标文件，指标数据存储在第一指标文件中。
对第一数据库中的指标数据进行处理，即根据接收到的处理条件，对指标数据按照处理条件进行处理，经过处理后得到的处理结果存储在第一分区中的第一指标文件中。
分析数据库是可以对数据进行在线统计、数据在线分析、随即查询等发掘信息数据价值的工作，是数据库产品一个重要的分支。
该第一指标文件就是分析数据库中的事实表，事实表编辑每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务。所产生的数据，事实数据表通常包含大量的行。事实数据表的主要特点是包含数字数据，并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性维度表的主键，而维度表包含事实记录的特性。事实数据表不应该包含描述性的信息，也不应该包含除数字度量字段及使事实与维度表中对应项的相关索引字段之外的任何数据。包含在事实数据表中的“度量值”有两种：一种是可以累计的度量值，另一种是非累计的度量值。最有用的度量值是可累计的度量值，其累计起来的数字是非常有意义的。
一般来说，一个事实数据表都要和一个或多个维度表相关联，用户在利用事实数据表创建多维数据集时，可以使用一个或多个维度表。
步骤S102，在第二数据库中创建第二分区，其中，第二分区与第一分区是相对应的分区，第二数据库是存储分析数据库中所有历史数据的数据库。
历史数据库是存储了分析数据库中所有的历史数据，在历史数据库中按照第一分区相同分区的策略进行创建第二分区。
数据库分区是一种物理数据库设计技术，创建数据库分区是很常见的一种操作。虽然分区技术可以实现很多效果，但其主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。分区主要有两种形式：水平分区，这种形式分区是对表的行进行分区，通过这样的方式不同分组里面的物理列分割的数据集得以组合，从而进行个体分割或集体分割。所有在表中定义的列在每个数据集中都能找到，所以表的特性依然得以保持。举个简单例子：一个包含十年发票记录的表可以被分区为十个不同的分区，每个分区包含的是其中一年的记录。垂直分区，这种分区方式一般来说是通过对表的垂直划分来减少目标表的宽度，使某些特定的列被划分到特定的分区，每个分区都包含了其中的列所对应的行。
步骤S103，将第一指标文件复制至第二分区相对应的指标文件中。
对第一数据库中的指标数据进行处理，指标数据存储在第一指标文件中，将第一指标文件复制至第二分区相对应的指标文件中。
例如，根据接收的处理过滤条件，对第一数据库中命名为8月1日的指标文件中的指标数据进行处理，处理结束，命名为8月1日的指标文件内容是已经处理后的指标数据。将命名为8月1日的指标文件复制至第二数据库中相对应的命名为8月1日的指标文件中。
步骤S104，将第一指标文件替换第二分区中相对应的指标文件。
上对第一数据库中的指标数据进行处理，指标数据存储在第一指标文件中，将第一指标文件复制至第二分区相对应的指标文件中，将第一指标文件替换第二分区中相对应的指标文件。
例如，根据接收的处理过滤条件，对第一数据库中命名为8月1日的指标文件中的指标数据进行处理，处理结束，命名为8月1日的指标文件内容是已经处理后的指标数据。将第一数据库中命名为8月1日的指标文件复制至第二数据库中相对应的命名也为8月1日的指标文件中。并且将第一数据库中命名为8月1日的指标文件替换第二数据库中相对应的命名为8月1日的指标文件。
步骤S105，对第二数据库中的指标文件进行元数据维护，更新第二数据库。
元数据是指在数据库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理，为数据库的发展和使用提供方便。元数据是一种二进制信息，用以对存储在公共语言运行库可移植可执行文件(PE)或存储在内存中的程序进行描述。将您的代码编译为PE文件时，便会将元数据插入到该文件的一部分中，而将代码转换为Microsoft中间语言(MSIL)并将其插入到该文件的另一部分中。在模块或程序集中定义和引用的每个类型和成员都将在元数据中进行说明。当执行代码时，运行库将元数据加载到内存中，并引用它来发现有关代码的类、成员、继承等信息。
第一指标文件替换第二分区中相对应的指标文件，对第二数据库中被替换后的指标文件进行元数据维护，更新第二数据库。
例如，元数据维护的一种具体实现步骤，修改info.x.xml，其中，info.x.xml是指标分区元数据文件，替换掉分区元数据文件的全部内容。修改分区元文件的元数据文件，其中，元数据文件表示该分区里存储的所有文件。将快照数据库里的相应字段进行替换数据版本修改成快照数据库里的数据版本，其中，数据版本用于与data文件对应，对象版本对象版本不变，对象版本用于与Info.X.xml里的X对象版本对应。更改LastProcessed，EstimatedSize信息，LastProcessed，EstimatedSize等更改后，元数据信息更准确。
本发明的实施例中提供的一种分析数据库的指标文件处理方法，该方法采用对第一数据库中的指标数据进行处理；在第二数据库中创建第二分区；将第一指标文件复制至第二分区相对应的指标文件中；将第一指标文件替换第二分区中相对应的指标文件；对第二数据库中的指标文件进行元数据维护，更新第二数据库，解决了分析数据库在进行维度或指标处理的同时进行同步会消耗分析数据库的资源，导致分析数据库自带的同步功能不稳定的问题，达到了同步功能稳定并且耗费资源少的效果。
图2是根据本发明的分析数据库的指标文件处理方法的第二实施例的流程图。如图2所示，该方法包括如下的步骤S201至步骤S208：
步骤S201，对第一数据库中的指标数据进行处理。
该步骤同上述步骤S101。
步骤S202，在第二数据库中创建第二分区。
该步骤同上述步骤S102。
步骤S203，将第一指标文件复制至第二分区相对应的指标文件中。
该步骤同上述步骤S103。
步骤S204，将第一指标文件替换第二分区中相对应的指标文件。
该步骤同上述步骤S104。
步骤S205，对第二数据库中的指标文件进行元数据维护。
该步骤同上述步骤S105。
步骤S206，分离第二数据库与第二数据库中的指标文件。
具体的，Detach操作将指标文件从分析数据库上分离。代码示例：
<Detach xmlns＝"http://schemas.microsoft.com/analysisservices/2003/engine">
<Object>
<DatabaseID>WebDissectorAS_000217_Snapshot</DatabaseID>
</Object>
</Detach>
通过此操作，将指标文件从分析数据库中分离。
步骤S207，更新第二数据库。
本发明的实施例中提供的一种分析数据库的指标文件处理方法，该方法采用对第一数据库中的指标数据进行处理；在第二数据库中创建第二分区；将第一指标文件复制至第二分区相对应的指标文件中；将第一指标文件替换第二分区中相对应的指标文件；对第二数据库中的指标文件进行元数据维护，分离第二数据库与第二数据库中的指标文件，更新第二数据库，在第二数据库中加载第二数据库中分离的指标文件，解决了分析数据库中通过复制被替换指标文件后，未能成功更新的问题，达到了成功对分析数据库进行更新的效果。
步骤S208，在第二数据库中加载第二数据库中分离的指标文件。
具体的，Attach操作在分析数据库上加载分离的指标文件。代码示例：
<Attach xmlns＝"http://schemas.microsoft.com/analysisservices/2003/engine">
<Folder>C:\ProgramFiles\MicrosoftSQLServer\MSAS11.MSSQLSERVER\OLAP\Dat a\WebDissectorAS_000217_Snapshot.0.db\</Folder>
<ReadWriteModexmlns＝"http://schemas.microsoft.com/analysisservices/2008/engine/100">ReadWrite</ReadWriteMode>
</Attach>
通过此操作，在分析数据库中加载分离的指标文件。对数据库进行Detach操作后再Attach操作后，使分析数据库能刷新master.vmp主元数据文件，存储所有对象的全局唯一标识号以及版本号等信息，刷新数据库后，便可以进行数据查询。
图3是根据本发明的分析数据库的指标文件处理方法的第二实施例的流程图。如图3所示，该方法包括如下的步骤S301至步骤S310：
步骤S301，对第一数据库中的指标数据进行处理。
该步骤同上述步骤S101。
步骤S302，在第二数据库中创建第二分区。
该步骤同上述步骤S102。
步骤S303，将第一指标文件复制至第二分区相对应的指标文件中。
该步骤同上述步骤S103。
步骤S304，将第一指标文件替换第二分区中相对应的指标文件。
该步骤同上述步骤S104。
步骤S305，对第二数据库中的指标文件进行元数据维护，更新第二数据库。
该步骤同上述步骤S105。
步骤S306，在第二数据库中进行数据查询。
步骤S307，判断数据查询过程是否报错。
步骤S308，在数据查询过程报错的情况下，将第一指标文件复制至第二分区相对应的指标文件中。
第二数据库接收到数据查询指令，执行数据查询，如果查询过程中，如果出现查询报错的情况，将第一数据库中第一指标文件复制至第二分区相对应的指标文件中。
步骤S309，将第一指标文件替换第二分区中相对应的指标文件。
第二数据库接收到数据查询指令，执行数据查询，如果查询过程中，如果出现查询报错的情况，将第一数据库中第一指标文件复制至第二分区相对应的指标文件中。并将第一数据库中第一指标文件替换第二分区中相对应的指标文件。
步骤S310，对第二数据库中的指标文件进行元数据维护，更新第二数据库。
该步骤同上述步骤S105。
本发明的实施例中提供的一种分析数据库的指标文件处理方法，该方法采用对第一数据库中的指标数据进行处理；在第二数据库中创建第二分区；将第一指标文件复制至第二分区相对应的指标文件中；将第一指标文件替换第二分区中相对应的指标文件；对第二数据库中的指标文件进行元数据维护，更新第二数据库，在第二数据库中进行数据查询；判断数据查询过程是否报错；在数据查询过程报错的情况下，将第一指标文件复制至第二分区相对应的指标文件中；将第一指标文件替换第二分区中相对应的指标文件；对第二数据库中的指标文件进行元数据维护，更新第二数据库，解决了分析数据库在进行指标文件复制替换并元数据维护后，未同步成功的问题，达到了保证分析数据库的一种新的同步方法能够同步成功并能够保证数据查询性能稳定的效果。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图4是根据本发明的分析数据库的指标文件处理装置的第一实施例的示意图。如图4所示，该分析数据库的指标文件处理装置包括：处理单元10、创建单元20、复制单元30、替换单元40和第一更新单元50。
处理单元10，用于对第一数据库中的指标数据进行处理，其中，第一数据库保存了一个时间处理周期的数据并且存储在分析数据库中，第一数据库包括第一分区，第一分区包括第一指标文件，指标数据存储在第一指标文件中。
创建单元20，用于在第二数据库中创建第二分区，其中，第二分区与第一分区是相对应的分区，第二数据库是存储分析数据库中所有历史数据的数据库。
复制单元30，用于将第一指标文件复制至第二分区相对应的指标文件中。
替换单元40，用于将第一指标文件替换第二分区中相对应的指标文件。
第一更新单元50，用于对第二数据库中的指标文件进行元数据维护，更新第二数据库。
本发明的实施例中提供的一种分析数据库的指标文件处理装置，该装置处理单元10用于对第一数据库中的指标数据进行处理；创建单元20用于在第二数据库中创建第二分区第二数据库是存储分析数据库中所有历史数据的数据库；复制单元30用于将第一指标文件复制至第二分区相对应的指标文件中；替换单元40用于将第一指标文件替换第二分区中相对应的指标文件；第一更新单元50用于对第二数据库中的指标文件进行元数据维护，更新第二数据库，解决了分析数据库在进行维度或指标处理的同时进行同步会消耗分析数据库的资源，导致分析数据库自带的同步功能不稳定的问题，达到了同步功能稳定并且耗费资源少的效果。
图5是根据本发明的分析数据库的指标文件处理装置的第一实施例的示意图。如图5所示，该分析数据库的指标文件处理装置包括：处理单元10、创建单元20、复制单元30、替换单元40和第一更新单元50。第一更新单元50还包括：分离模块501、第一更新模块502和加载模块503。
处理单元10、创建单元20、复制单元30、替换单元40和第一更新单元50的作用与上述实施例中作用相同，在此不再赘述。
分离模块501，用于分离第二数据库与第二数据库中的指标文件。
第一更新模块502，用于更新第二数据库。
加载模块503，用于在第二数据库中加载第二数据库中分离的指标文件。
本发明的实施例中提供的一种分析数据库的指标文件处理装置，该装置处理单元10用于对第一数据库中的指标数据进行处理；创建单元20用于在第二数据库中创建第二分区第二数据库是存储分析数据库中所有历史数据的数据库；复制单元30用于将第一指标文件复制至第二分区相对应的指标文件中；替换单元40用于将第一指标文件替换第二分区中相对应的指标文件；第一更新单元50用于对第二数据库中的指标文件进行元数据维护，更新第二数据库，分离模块501用于分离第二数据库与第二数据库中的指标文件，第一更新模块502用于更新第二数据库，加载模块503用于在第二数据库中加载第二数据库中分离的指标文件，，解决了分析数据库在进行维度或指标处理的同时进行同步会消耗分析数据库的资源，导致分析数据库自带的同步功能不稳定的问题，解决了分析数据库中通过复制被替换指标文件后，未能成功更新的问题，达到了成功对分析数据库进行更新的效果。
图6是根据本发明的分析数据库的指标文件处理装置的第一实施例的示意图。如图6所示，该分析数据库的指标文件处理装置包括：处理单元10、创建单元20、复制单元30、替换单元40、第一更新单元50、查询单元60、判断单元70、复制单元80、替换单元90和第二更新单元100。
处理单元10、创建单元20、复制单元30、替换单元40和第一更新单元50的作用与上述实施例中作用相同，在此不再赘述。
查询单元60，用于对第二数据库中进行数据查询。
判断单元70，用于判断数据查询过程是否报错。
复制单元80，用于在数据查询过程报错的情况下，将第一指标文件复制至第二分区相对应的指标文件中。
替换单元90，用于将第一指标文件替换第二分区中相对应的指标文件。
第二更新单元100，用于对第二数据库中的指标文件进行元数据维护，更新第二数据库。
本发明的实施例中提供的一种分析数据库的指标文件处理装置，该装置处理单元10用于对第一数据库中的指标数据进行处理；创建单元20用于在第二数据库中创建第二分区第二数据库是存储分析数据库中所有历史数据的数据库；复制单元30用于将第一指标文件复制至第二分区相对应的指标文件中；替换单元40用于将第一指标文件替换第二分区中相对应的指标文件；第一更新单元50用于对第二数据库中的指标文件进行元数据维护更新第二数据库；查询单元60用于对第二数据库中进行数据查询；判断单元70用于判断数据查询过程是否报错；复制单元80用于在数据查询过程报错的情况下将第一指标文件复制至第二分区相对应的指标文件中；替换单元90用于将第一指标文件替换第二分区中相对应的指标文件；第二更新单元100用于对第二数据库中的指标文件进行元数据维护，更新第二数据库，解决了分析数据库在进行指标文件复制替换并元数据维护后，未同步成功的问题，达到了保证新的分析数据库同步方法能够同步成功并能够保证数据查询性能稳定的效果。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分析数据库的指标文件处理方法，其特征在于，包括：
对第一数据库中的指标数据进行处理，其中，所述第一数据库保存了一个时间处理周期的数据并且存储在分析数据库中，所述第一数据库包括第一分区，所述第一分区包括第一指标文件，所述指标数据存储在所述第一指标文件中；
在第二数据库中创建第二分区，其中，所述第二分区与所述第一分区是相对应的分区，所述第二数据库是存储分析数据库中所有历史数据的数据库；
将所述第一指标文件复制至所述第二分区中相对应的指标文件中；
将所述第一指标文件替换所述第二分区中相对应的指标文件；以及
对所述第二数据库中的指标文件进行元数据维护，更新所述第二数据库；
其中，所述第一指标文件包括所述分析数据库中的事实数据表。
2.根据权利要求1所述的方法，其特征在于，对所述第二数据库中的指标文件进行元数据维护，更新所述第二数据库还包括：
分离所述第二数据库与所述第二数据库中的指标文件；
更新所述第二数据库；以及
在所述第二数据库中加载所述第二数据库中分离的指标文件。
3.根据权利要求1所述的方法，其特征在于，对所述第二数据库中的指标文件进行元数据维护，更新所述第二数据库包括：
修改所述第二数据库中第二分区对应指标文件中文件的文件名；
更新所述第二数据库中第二分区对应指标文件中的文件清单，其中，所述文件清单是统计了所述第二数据库第二分区中所有指标文件的文件名；
将所述第二数据库的数据版本更改为所述第一数据库的数据版本；以及
更新所述第二数据库。
4.根据权利要求1所述的方法，其特征在于，对所述第二数据库中的指标文件进行元数据维护，更新所述第二数据库包括：
获取所述第二数据库中相对应的指标文件的版本信息；
修改所述第二数据库中相对应的指标文件的版本信息；以及
更新所述第二数据库。
5.根据权利要求1所述的方法，其特征在于，更新所述第二数据库之后还包括：
在所述第二数据库中进行数据查询；
判断所述数据查询过程是否报错；
在所述数据查询过程报错的情况下，将所述第一指标文件复制至所述第二分区相对应的指标文件中；
将所述第一指标文件替换所述第二分区中相对应的指标文件；以及
对所述第二数据库中的指标文件进行元数据维护，更新所述第二数据库。
6.一种分析数据库的指标文件处理装置，其特征在于，包括：
处理单元，用于对第一数据库中的指标数据进行处理，其中，所述第一数据库保存了一个时间处理周期的数据并且存储在分析数据库中，所述第一数据库包括第一分区，所述第一分区包括第一指标文件，所述指标数据存储在所述第一指标文件中；
创建单元，用于在第二数据库中创建第二分区，其中，所述第二分区与所述第一分区是相对应的分区，所述第二数据库是存储分析数据库中所有历史数据的数据库；
复制单元，用于将所述第一指标文件复制至所述第二分区相对应的指标文件中；
替换单元，用于将所述第一指标文件替换所述第二分区中相对应的指标文件；以及
第一更新单元，用于对所述第二数据库中的指标文件进行元数据维护，更新所述第二数据库；
其中，所述第一指标文件包括所述分析数据库中的事实数据表。
7.根据权利要求6所述的装置，其特征在于，第一更新单元包括：
分离模块，用于分离所述第二数据库与所述第二数据库中的指标文件；
第一更新模块，用于更新所述第二数据库；以及
加载模块，用于在所述第二数据库中加载所述第二数据库中分离的指标文件。
8.根据权利要求6所述的装置，其特征在于，第一更新单元包括：
修改模块，用于修改所述第二数据库中第二分区对应指标文件中文件的文件名；
第二更新模块，用于更新所述第二数据库中第二分区对应指标文件中的文件清单，其中，所述文件清单是统计了所述第二数据库第二分区中所有指标文件的文件名；
更改模块，用于将所述第二数据库的数据版本更改为所述第一数据库的数据版本；以及
第三更新模块，用于更新所述第二数据库。
9.根据权利要求6所述的装置，其特征在于，第一更新单元包括：
获取模块，用于获取所述第二数据库中相对应的指标文件的版本信息；
修改模块，用于修改所述第二数据库中相对应的指标文件的版本信息；以及
第四更新模块，用于更新所述第二数据库。
10.根据权利要求6所述的装置，其特征在于，第一更新单元之后还包括：
查询单元，用于对所述第二数据库中进行数据查询；
判断单元，用于判断所述数据查询过程是否报错；
复制单元，用于在所述数据查询过程报错的情况下，将所述第一指标文件复制至所述第二分区相对应的指标文件中；
替换单元，用于将所述第一指标文件替换所述第二分区中相对应的指标文件；以及
第二更新单元，用于对所述第二数据库中的指标文件进行元数据维护，更新所述第二数据库。
CN201410453740.0A 2014-09-05 2014-09-05 分析数据库的指标文件处理方法及装置 Active CN104166739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410453740.0A CN104166739B (zh) 2014-09-05 2014-09-05 分析数据库的指标文件处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410453740.0A CN104166739B (zh) 2014-09-05 2014-09-05 分析数据库的指标文件处理方法及装置

Publications (2)

Publication Number Publication Date
CN104166739A CN104166739A (zh) 2014-11-26
CN104166739B true CN104166739B (zh) 2017-12-19

Family

ID=51910552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410453740.0A Active CN104166739B (zh) 2014-09-05 2014-09-05 分析数据库的指标文件处理方法及装置

Country Status (1)

Country Link
CN (1) CN104166739B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484398B (zh) * 2014-12-12 2018-02-02 北京国双科技有限公司 数据表中的数据聚合方法和装置
CN109214640B (zh) * 2018-07-02 2022-10-11 土巴兔集团股份有限公司 指标结果的确定方法、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495862A (zh) * 2011-11-24 2012-06-13 神华集团有限责任公司 煤液化装置的数据集成方法和系统
CN102902812A (zh) * 2012-10-22 2013-01-30 飞天诚信科技股份有限公司 一种数据库远程同步的实现方法
CN103139311A (zh) * 2013-03-07 2013-06-05 珠海金山办公软件有限公司 一种文件共享系统、装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495862A (zh) * 2011-11-24 2012-06-13 神华集团有限责任公司 煤液化装置的数据集成方法和系统
CN102902812A (zh) * 2012-10-22 2013-01-30 飞天诚信科技股份有限公司 一种数据库远程同步的实现方法
CN103139311A (zh) * 2013-03-07 2013-06-05 珠海金山办公软件有限公司 一种文件共享系统、装置及方法

Also Published As

Publication number Publication date
CN104166739A (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
US10915528B2 (en) Pluggable storage system for parallel query engines
US7933932B2 (en) Statistics based database population
Silva et al. SQL: From traditional databases to big data
Sumbaly et al. The big data ecosystem at linkedin
US9372882B2 (en) Partitioning online databases
US10180992B2 (en) Atomic updating of graph database index structures
CN104298760B (zh) 一种应用于数据仓库的数据处理方法和数据处理装置
Lightstone et al. Physical Database Design: the database professional's guide to exploiting indexes, views, storage, and more
CN102521225B (zh) 增量数据抽取装置和增量数据抽取方法
CN102651008B (zh) 在关系数据库中组织数据记录的方法和设备
CA3176450A1 (en) Method and apparatus for implementing incremental data consistency
CN107408114B (zh) 基于事务访问模式识别联结关系
US20170255708A1 (en) Index structures for graph databases
CN104899295B (zh) 一种异构数据源数据关联分析方法
CN103853802B (zh) 用于索引电子内容的装置和方法
McKnight Information management: strategies for gaining a competitive advantage with data
US20110078135A1 (en) Database index monitoring system
US20150186481A1 (en) Extract, transform and load (etl) system and method
CN106503274A (zh) 一种数据整合与搜索方法及服务器
CN104111936A (zh) 数据查询方法和系统
CN103077192B (zh) 一种数据处理方法及其系统
CN110457333A (zh) 数据实时更新方法、装置及计算机可读存储介质
CN105095436A (zh) 数据源数据自动建模方法
CN114860727A (zh) 拉链表更新方法及装置
CN104166739B (zh) 分析数据库的指标文件处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Index file processing method and device for analysis database

Effective date of registration: 20190531

Granted publication date: 20171219

Pledgee: Shenzhen Black Horse World Investment Consulting Co.,Ltd.

Pledgor: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

Registration number: 2019990000503

PE01 Entry into force of the registration of the contract for pledge of patent right
CP02 Change in the address of a patent holder

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Patentee after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Patentee before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
PP01 Preservation of patent right

Effective date of registration: 20240604

Granted publication date: 20171219

PP01 Preservation of patent right