CN110704488A - 用于管理数据的方法及相应的系统、计算机设备和介质 - Google Patents

Abstract

本发明提出用于管理数据的方法及相应的系统、计算机设备和介质。用于管理数据的方法包括：对于存储在内存中的每个缓存数据单元，判断所述缓存数据单元的缓存数据是否为冷数据；以及若判断所述缓存数据单元的缓存数据为冷数据，将所述缓存数据单元的缓存数据从所述内存卸载并存储到一闪存中。利用本发明的方案，可减少对内存空间的占用，从而降低硬件成本。

Description

用于管理数据的方法及相应的系统、计算机设备和介质

技术领域

本发明涉及数据处理，更具体而言，涉及一种用于管理数据的方法及相应的系统、计算机设备和计算机可读存储介质。

背景技术

联机分析处理(Online Analytical Processing,OLAP)是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察数据，以达到深入理解数据的目的，因此被广泛应用于多维数据库。

在多维数据库的情况下，数据被存放在一个多维数组中，而不是像关系数据库中那样以记录的形式存放。使用多维数据库能使数据建模更加简单，因为开发人员能够方便地用它来描述出复杂的现实世界结构，而不必忽略现实世界的问题或把问题强行表现成技术上能够处理的形态。因此，利用多维数据库，可以通过多维视图来观察数据。而且，使用多维数据模型能使执行复杂数据处理的时间大大缩短。例如，开发一个服装连锁店信息管理系统时，如果使用关系数据库，则需要建立许多表。例如，一张表用来说明每种款式的服装所具有的颜色和尺寸，另一张表用来建立服装和供应商之间的映射关系并表示它是否已被卖出，另外还需要建立一些表来表示价格变化、各店的库存等等。此外，每成交一笔生意，所有这些表都需要修改。这样，关系数据库很快就会变得笨重而运行缓慢。若使用多维数据模型，可以将这些数据看做是存在于一个“多维立方体(Cube)”中，这个“多维立方体”有足够多的“面”，以便对数据进行完全分类。如此，如款式、颜色、价格、库存等等都能够即时互相映射，能够很迅速地查询和获取数据。而且，由于清除了冗余的数据，多维数据库非常简单，不仅好用，而且更经济。与关系数据库相比，使用多维数据库可以提高数据处理速度，缩短响应时间，提高查询效率。

基于OLAP多维数据库的多维数据模型广泛应用于各种数据，如预算业务相关的数据。据统计，在预算业务中，10％的数据(例如，单价、销量等)是直接录入存储在内存中的、不需要缓存，90％的数据是计算数据(如，销售额、成本、利润、资产负债、现金流等)，需要缓存。例如，可能的是录入单价和销量，需要计算销售额、成本、利润、资产负债、现金流等一系列有关系的数据。缓存数据全都放到内存中会需要很大的内存空间，导致很高的硬件成本，一般企业可能很难承受这样的硬件成本。

发明内容

本发明的目的在于提供一种方案，其将内存和闪存的组合用于缓存数据，通过将缓存数据分为热数据和冷数据并将冷数据存储到闪存中来优化内存的使用，减小所需的内存空间，由此降低硬件成本。

具体地，根据本发明的第一方面，提供一种用于管理数据的方法，其包括：

对于存储在内存中的每个缓存数据单元，

判断所述缓存数据单元的缓存数据是否为冷数据；以及

若判断所述缓存数据单元的缓存数据为冷数据，将所述缓存数据单元的缓存数据从所述内存卸载并存储到一闪存中。

根据本发明的第二方面，提供一种用于管理数据的系统，其包括：

内存；

闪存；和

控制单元，所述控制单元被配置为：对于存储在所述内存中的每个缓存数据单元，

判断所述缓存数据单元的缓存数据是否为冷数据；以及

若判断所述缓存数据单元的缓存数据为冷数据，将所述缓存数据单元的缓存数据从所述内存卸载并存储到所述闪存中。

根据本发明的第三方面，提供一种计算机设备，其包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在由所述处理器执行时导致上述的用于管理数据的方法被执行。

根据本发明的第四方面，提供一种非暂时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致上述的用于管理数据的方法被执行。

根据本发明的方案，把内存中的各缓存数据单元的缓存数据区分为热数据和冷数据，并将被判断为冷数据的缓存数据单元的缓存数据存储到闪存中，而仅将为热数据的缓存数据单元的缓存数据保留在内存中，如此可减少对内存空间的占用，从而降低硬件成本。

附图说明

以示例的方式参考以下附图描述本发明的非限制性且非穷举性实施例，其中：

图1A、1B和1C是示出根据本发明一实施例使用多维数据模型时的多个内存使用状态的示意图；

图2是示意性示出根据本发明一实施例的用于管理数据的方法的流程图；

图3是示出根据本发明一实施例的用于管理数据的系统的示意图。

具体实施方式

为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。

本发明可用于各种可能的数据，如预算业务相关的数据或与可能产生缓存数据的其他业务相关的数据。下面，以全面预算为例对预算业务作简要说明。

全面预算是指通过企业内外部环境的分析，在预测与决策基础上，调配相应的资源，对企业未来一定时期的经营和财务等做出一系列具体计划。全面预算主要在于预算计划的数字化、表格化、明细化的表达，体现了预算的全员、全过程、全部门的特征。按涉及的预算期，全面预算可分为长期预算(如长期销售预算和资本预算，有时还包括长期资本筹措预算和研究与开发预算等)和短期预算(如直接材料预算、现金预算等)；按涉及的内容，全面预算可分为专门预算(如直接材料预算、制造费用预算)和综合预算(如资产负债表预算、利润表预算)；按涉及的业务活动领域，全面预算可分为投资预算(如资本预算)、营业预算(或称经营预算，包括销售预算、生产预算、成本预算等)和财务预算(包括利润表预算、现金预算和资产负债表预算等)。在全面预算业务中，常用的数据维度有年、期间、科目、组织、项目、产业、情景、版本、条线、批次、周期等。用这些维度可以组成业务多维立方体：如实际数录入多维立方体、资产负债多维立方体、利润多维立方体、现金流多维立方体、经营分析多维立方体、财务费用多维立方体、成本费用多维立方体、销售计划多维立方体、销售利润多维立方体、销售成本多维立方体等。

图1A、1B和1C是示出根据本发明一实施例使用多维数据模型时的多个内存使用状态的示意图。该多维数据模型可以用于预算业务相关的数据，例如可以是一个利润多维数据模型，可以被视为一个利润多维立方体。该多维数据模型可以包括3个维度，例如年维度、组织维度和科目维度(未示出)。如所示，年维度包括4个维度成员：2017年、2018年、2019年和2020年；组织维度包括3个维度成员：公司1、公司2和公司3。科目维度可以包括至少1个维度成员，例如营业利润。一旦该多维数据模型被创建，利用该多维数据模型能存放的数据单元的数量是可确定的，并且可以为这些数据单元中的每个建立索引，以便每个数据单元的数据能够通过其索引被访问。在图1A、1B和1C的情况下，对于每个数据单元，其索引可以基于该数据单元的具体年维度、具体组织维度和具体科目维度建立，包含或以其他方式体现该数据单元的具体年维度、具体组织维度和具体科目维度，例如可以为具体年维度+具体组织维度+具体科目维度的形式，如2017年公司1营业利润、2017年公司2营业利润、2017年公司3营业利润、2018年公司1营业利润、2018年公司2营业利润……。一旦该多维数据模型被创建，可以在内存中为预定利用该多维数据模型存放的每个数据单元分配一个内存空间用于存放该数据单元的数据和该数据单元的索引。每个数据单元的索引可以在该数据单元的数据产生之前被存放在分配给该数据单元的内存空间中。另外，每个数据单元的索引一旦被存放在分配给该数据单元的内存空间中，可以始终保留在该内存空间中，而不论该数据单元的数据如何(例如，是否被写入内存、是否被从内存卸载、是否未被产生等)。如此，需要时，每个数据单元的数据总是可以根据已存放在内存中的该数据单元的索引被存放在内存中，例如存放在该数据单元的索引之后。

对于每个数据单元，分配给该数据单元的内存空间除用于存放该数据单元的数据和该数据单元的索引之外，还可以用于存放该数据单元的数据状态。在一个实施例中，每个数据单元可以具有三种数据状态：1)“空”，某个数据单元的数据状态为“空”可以指示该数据单元的数据尚未产生；2)“热”，某个数据单元的数据状态为“热”可以指示该数据单元的数据为热数据、被存储在内存中；3)“冷”，某个数据单元的数据状态为“冷”可以指示该数据单元的数据为冷数据、已被从内存卸载并存储在与内存通信的闪存中。在某个数据单元的数据状态为“冷”的情况下，可以将指示包含该数据单元的数据(如缓存数据)的文件(如缓存文件)在闪存中的存储位置的信息，如包含该数据单元的数据的文件的存储路径，存放在用于该数据单元的内存空间中，以用于后续访问该数据单元的数据。上文所述的闪存可以是任何适于利用闪存(Flash Memory)技术存储电子信息的存储介质，例如固态硬盘(SSD)等。

这里，数据单元应该被理解为对应于能被处理和访问的最小数据单元。每个数据单元的数据可以是：1)无需计算、直接被录入存储的数据，这种数据不需要缓存，可以被称为“录入数据”或“非缓存数据”；或者，2)需要通过计算获得的数据，这种数据需要缓存，可以被称为“计算数据”或“缓存数据”。在例如预算业务的情况下，每个数据单元的数据可以是非缓存数据(录入数据)或缓存数据(计算数据)。在某个数据单元的数据是缓存数据的情况下，该数据单元可以被称为“缓存数据单元”。

在图1A所示的状态下，假设一用户(以下称为“用户A”)请求查询2017年公司1的营业利润，则根据查询请求中指示的年维度(2017年)、组织维度(公司1)和科目维度(营业利润)，基于已存放在内存中的索引可以确定用户A请求查询的数据在内存中的位置，例如图1A最左边标有“缓存空”的内存空间。如示出的，与所确定的内存空间相应的数据单元的数据状态为“空”。在此情况下，可以使用内存实时计算技术根据预定的计算公式获取相关数据并进行实时计算。例如，预定的计算公式可以是：营业利润＝营业收入-营业成本-销售费用-管理费用-财务费用+其他收入；获取的相关数据可以包括：营业收入＝1000、营业成本＝100、销售费用＝100、管理费用＝100、财务费用＝100、其他收入＝100；相应地，计算得到的数据可以是：营业利润＝700。可以将该计算得到的数据按照相应的索引存储到内存中的相应内存空间，并且相应的数据单元的数据状态可以变为“热”，如图1B所示。另外，可以从内存获得该计算得到的数据并将其作为返回结果提供给用户A。在图1B中，最左边标有“缓存热”的内存空间中存放有缓存数据“营业利润：700”，此时该缓存数据是热数据。

图2示意性示出根据本发明一实施例的用于管理数据的方法100。方法100可以包括步骤S101和步骤S102。

在步骤S101，对于存储在内存中的每个缓存数据单元，判断所述缓存数据单元的缓存数据是否为冷数据。

在步骤S101之后，过程进行至步骤S102。

在步骤S102，若判断所述缓存数据单元的缓存数据为冷数据，将所述缓存数据单元的缓存数据从所述内存卸载并存储到一闪存中。

本发明的方法还可以包括：将初始产生的每个缓存数据单元的缓存数据存储到所述内存中。

在一个实施例中，步骤S101的判断缓存数据单元的缓存数据是否为冷数据可以包括：检测缓存数据单元的缓存数据未被访问的持续时间；若该持续时间长于预定时间，则判断该缓存数据单元的缓存数据为冷数据。该预定时间可以根据情况设置，例如可以是数分钟、数小时、数天或更长或更短的时间。根据情况，步骤S101的判断可以周期性地定期进行，例如每N分钟或N小时进行一次(N可以是任何合适的正数)，或者可以按照任何其他合适的时间安排进行。

继续参照图1B，假设图1B中最左边标有“缓存热”的内存空间中存放的缓存数据“营业利润：700”在长于上述预定时间的持续时间内一直未被访问(例如被查询、读取、更新、调用等)，则可以判断该缓存数据为冷数据。此时，可以执行步骤S102，将该缓存数据从内存卸载并以缓存文件的形式存储到一与该内存通信的闪存中，并且相应的数据单元的数据状态可以变为“冷”，如图1C所示。在图1C中，缓存数据“营业利润：700”被存储在不同于内存的闪存中，最左边标有“缓存冷”的内存空间中没有缓存数据。在图1C的情况下，可以将指示包含缓存数据的缓存文件在闪存中的存储位置的信息——如包含缓存数据的缓存文件的存储路径——存放在从其卸载该缓存数据的内存空间中，以用于后续访问该缓存数据。

在一个实施例中，本发明的方法还可以包括：响应于检测对一个感兴趣缓存数据单元的查询，检查所述感兴趣缓存数据单元的缓存数据是否存储在所述内存中；以及，若确定所述感兴趣缓存数据单元的缓存数据未存储在所述内存中，从所述闪存查找所述感兴趣缓存数据单元的缓存数据并将其加载到所述内存中，并且若确定所述感兴趣缓存数据单元的缓存数据存储在所述内存中，从所述内存获取所述感兴趣缓存数据单元的缓存数据。

例如，假设图1B中最左边标有“缓存热”的内存空间中存放了缓存数据“营业利润：700”之后不久，另一用户(以下称为“用户B”)请求查询2017年公司1的营业利润，则根据查询请求中指示的年维度(2017年)、组织维度(公司1)和科目维度(营业利润)，基于已存放在内存中的索引可以确定用户B请求查询的数据在内存中的位置，例如图1B最左边标有“缓存热”的内存空间。如示出的，所确定的内存空间中存放有缓存数据，缓存数据为热数据。在此情况下，可以从内存获得该缓存数据，并将获得的该缓存数据作为返回结果提供给用户B。

再如，在图1C的情况下(即，在图1B中最左边标有“缓存热”的内存空间中存放的缓存数据“营业利润：700”被判断为冷数据并因此被从内存卸载并存储到一闪存中的情况下)，假设又一用户(以下称为“用户C”)请求查询2017年公司1的营业利润，则根据查询请求中指示的年维度(2017年)、组织维度(公司1)和科目维度(营业利润)，基于已存放在内存中的索引可以确定用户C请求查询的数据在内存中的位置，由此可获取指示缓存数据在闪存中的存储位置的信息，并且可据此找到该缓存数据并将其从闪存中加载到相应的内存空间(图1C中最左边标有“缓存冷”的内存空间中)中，另外相应的数据单元的数据状态可以变为“热”，又如图1B所示：在图1B中，最左边标有“缓存热”的内存空间中存放有缓存数据“营业利润：700”，此时该缓存数据是热数据。然后，可以从内存获得该缓存数据并将获得的缓存数据作为返回结果提供给用户C。

图3示意性示出根据本发明一实施例的用于管理数据的系统200。

如图3所示，系统200包括内存201、闪存202和控制单元203。内存201与闪存202均和控制单元203通信地耦合，内存201和闪存202通信地耦合。

在一个实施例中，内存201被配置为用于预定数量的数据单元，如缓存数据单元。对于每个所述缓存数据单元：所述内存具有被分配用于存储所述缓存数据单元的缓存数据和所述缓存数据单元的索引的空间，其中所述缓存数据单元的索引可以是预先确定的，例如在所述缓存数据单元的缓存数据被产生之前被预先确定。

在一个实施例中，控制单元203被配置为：响应于检测对一个感兴趣缓存数据单元的查询，检查所述感兴趣缓存数据单元的缓存数据是否存储在内存201中；以及，若确定所述感兴趣缓存数据单元的缓存数据未存储在内存201中，从闪存202查找所述感兴趣缓存数据单元的缓存数据并将其加载到内存201中。

在一个实施例中，控制单元203进一步被配置为：对于存储在内存201中的每个缓存数据单元，检测该缓存数据单元的缓存数据未被访问的持续时间；以及，若所述持续时间长于预定时间，判断所述缓存数据单元的缓存数据为冷数据。当所述缓存数据单元的缓存数据被判断为冷数据时，控制单元203可以将所述缓存数据单元的缓存数据从内存201卸载并存储到闪存202中。

在一个实施例中，控制单元203进一步被配置为：将初始产生的每个缓存数据单元的缓存数据存储到内存201。

尽管上文结合缓存数据描述了本发明，但本发明的方案可以结合缓存数据所描述的相同方式被应用于非缓存数据。另外，尽管上文结合预算业务描述了本发明，但本发明可以用于其他可能的数据。

上述系统中的控制单元可以执行可本发明的用于管理数据的方法的步骤，如上文结合图1A、图1B、图1C和图2所述。另外，如上文结合本发明的用于管理数据的方法的各步骤所述的各操作和细节可被包括或体现在本发明的用于管理数据的系统中。

应理解，本发明的用于管理数据的系统的控制单元可全部或部分地通过软件、硬件、固件或其组合来实现。所述控制单元可以硬件或固件形式内嵌于计算机设备的处理器中或独立于所述处理器，也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行其预定执行的操作。所述控制单元可以实现为独立的部件或模块，或者可以实现为两个或更多个部件或模块。

本领域普通技术人员应理解，图3中示出的用于管理数据的系统的示意图仅仅是与本发明的方案相关的部分结构的示例性说明框图，并不构成对体现本发明的方案的计算机设备、处理器或计算机程序的限定。具体的计算机设备、处理器或计算机程序可以包括比图中所示更多或更少的部件或模块，或者组合或拆分某些部件或模块，或者可具有不同的部件或模块布置。

在一个实施例中，提供了一种计算机设备，其包括存储器和处理器，所述存储器上存储有可由处理器执行的计算机指令，所述计算机指令在由所述处理器执行时指示所述处理器执行本发明的用于管理数据的方法的各步骤。该计算机设备可以广义地为服务器、终端，或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中，该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的用于管理数据的方法的步骤。

本发明可以实现为一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致本发明的方法的步骤被执行。在一个实施例中，所述计算机程序被分布在网络耦合的多个计算机设备或处理器上，以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作，或者两个或更多个方法步骤/操作，可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行，并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作，或执行两个或更多个方法步骤/操作。

本领域普通技术人员可以理解，本发明的用于管理数据的方法的全部或部分步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成，所述的计算机程序可存储于非暂时性计算机可读存储介质中，该计算机程序被执行时导致本发明的用于管理数据的方法的步骤被执行。根据情况，本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(RAM)、外部高速缓冲存储器等。

以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述，但这些技术特征的任何组合都应当被认为由本说明书涵盖，只要这样的组合不存在矛盾。

尽管结合实施例对本发明进行了描述，但本领域技术人员应理解，上文的描述和附图仅是示例性而非限制性的，本发明不限于所公开的实施例。在不偏离本发明的精神的情况下，各种改型和变体是可能的。

Claims (14)

1.一种用于管理数据的方法，包括：

对于存储在内存中的每个缓存数据单元，

判断所述缓存数据单元的缓存数据是否为冷数据；以及

若判断所述缓存数据单元的缓存数据为冷数据，将所述缓存数据单元的缓存数据从所述内存卸载并存储到一闪存中。

2.根据权利要求1所述的方法，其中，判断所述缓存数据单元的缓存数据是否为冷数据包括：

检测所述缓存数据单元的缓存数据未被访问的持续时间；以及

若所述持续时间长于预定时间，判断所述缓存数据单元的缓存数据为冷数据。

3.根据权利要求1所述的方法，包括：

响应于检测对一个感兴趣缓存数据单元的查询，检查所述感兴趣缓存数据单元的缓存数据是否存储在所述内存中；以及

若确定所述感兴趣缓存数据单元的缓存数据未存储在所述内存中，从所述闪存查找所述感兴趣缓存数据单元的缓存数据并将其加载到所述内存中。

4.根据权利要求1所述的方法，还包括：将初始产生的每个缓存数据单元的缓存数据存储到所述内存中。

5.根据权利要求1所述的方法，其中，所述内存被配置为用于预定数量的缓存数据单元，对于每个所述缓存数据单元：所述内存具有被分配用于存储所述缓存数据单元的缓存数据和所述缓存数据单元的索引的空间，其中所述缓存数据单元的索引是预先确定的。

6.根据权利要求1-5中任一项所述的方法，其中，所述数据包括多维预算数据。

7.一种用于管理数据的系统，包括：

内存；

闪存；和

控制单元，所述控制单元被配置为：对于存储在所述内存中的每个缓存数据单元，

判断所述缓存数据单元的缓存数据是否为冷数据；以及

若判断所述缓存数据单元的缓存数据为冷数据，将所述缓存数据单元的缓存数据从所述内存卸载并存储到所述闪存中。

8.根据权利要求7所述的系统，其中，所述控制单元被配置为：

检测所述缓存数据单元的缓存数据未被访问的持续时间；以及

若所述持续时间长于预定时间，判断所述缓存数据单元的缓存数据为冷数据。

9.根据权利要求7所述的系统，其中，所述控制单元被配置为：

响应于检测对一个感兴趣缓存数据单元的查询，检查所述感兴趣缓存数据单元的缓存数据是否存储在所述内存中；以及

若确定所述感兴趣缓存数据单元的缓存数据未存储在所述内存中，从所述闪存查找所述感兴趣缓存数据单元的缓存数据并将其加载到所述内存中。

10.根据权利要求7所述的系统，其中，所述控制单元被配置为：

将初始产生的每个缓存数据单元的缓存数据存储到所述内存中。

11.根据权利要求7所述的系统，其中，所述内存被配置为用于预定数量的缓存数据单元，对于每个所述缓存数据单元：所述内存具有被分配用于存储所述缓存数据单元的缓存数据和所述缓存数据单元的索引的空间，其中所述缓存数据单元的索引是预先确定的。

12.根据权利要求7-11中任一项所述的系统，其中，所述数据包括多维预算数据。

13.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在由所述处理器执行时导致权利要求1至6中任一项所述的方法被执行。

14.一种非暂时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致权利要求1至6中任一项所述的方法被执行。

Images