CN101021869A - 一种数据价值定量评价方法 - Google Patents

Abstract

本发明公开了一种数据价值定量评价方法，其步骤为：①计算数据本身属性量化值SelfAtt_d、数据供给能力量化值P_d、数据需求状况量化值Acq_d；②根据步骤(1)得到的三个量化值，通过公式(I)得到数据d在时间T_n时的数据价值V(d)_Tn大小；③间隔计算周期t，再重复上述的步骤①～②，如此循环，得到数据在指定时间段的数据价值序列。本发明通过数据的供给能力，数据的需求状况，以及数据本身的属性进行量化分析，得到指定数据在指定时间的数据价值。根据该评价方法所得出的结果可以用来比较数据的重要性，从而为数据调度与管理提供策略依据。本发明可以根据数据价值的特性，调整数据的供给能力，使得数据的供给能力和需求状况达到平衡，从而提高存储资源的利用效率。V(d)_Tn＝SelfAtt_d*P_d*Acq_d＝[N_d ²*(1+M cosθ_d)]*f(t)_d*(size_d/B)(I)。

Description

一种数据价值定量评价方法

技术领域

本发明属于计算机领域的信息存储技术，具体涉及一种数据价值定量评价方法。

背景技术

数据的访问呈现出这样一种规律，即数据的使用或者访问频率并不是一成不变的。有些数据在创建之初，访问频率比较高，但是随着时间的推移，访问频率逐渐变为零；有些数据则在整个存在的阶段持续存在一定的访问频率。有统计表明，大型数据中心中90％以上的数据在创建60天以后，就不再被访问了。如果大量不被访问的数据存在于高端的存储设备之上，必然造成存储资源的浪费。基于这种规律，有必要对存储系统中的每个数据进行量化分析，这种量化的结果能够反映系统中数据的重要性程度，从而能够为数据调度与数据管理提供策略支持。这种根据数据重要性在指定时间对数据进行量化分析的结果，就是数据在指定时间的数据价值。

目前，针对数据价值的评价，没有一个公认的评价模型。现有的数据价值评价体系主要分为两种，一种是以澳大利亚墨尔本大学Daniel Moody等人提出的定性的数据价值评价方式为代表(参见Daniel Moody，Petal，Walsh.Measuring the Value of Information：an Assert Valuation Approach.The seventhEuropean Conference on Information System(ECIS`99)，Copenhagen BusinessSchool，Frederiksberg，Denmark，23-25 June，1999)，这种方式分析了数据价值与数据的共享程度、数据的使用频率、数据与其他数据关联程度等因素的关系；这种方式能够在一定程度上对数据价值进行比较，但是由于没有量化结果，因此该方法只能对同质的属性进行比较，而不能对任意两个数据直接进行比较。另一种是以IBM公司阿尔马登研究中心的Yin Chen等人提出的定量的数据价值评价方法(参见Ying Chen.Information Value for Infor-mation Lifecycle Management.Proceedings of the 2^nd International Confer-enceon Autonomic Computing，2005)，该方法基于数据的历史使用状况的数据价值评价方式，但是这种方式仅仅考虑数据的历史使用情况，对影响数据价值其他方面的因素则没有考虑，因此这种评价方式的结果带有一定的片面性。

发明内容

本发明的目的是提供一种数据价值定量评价方法，该方法能够定量的衡量数据重要程度，从而为数据调度与数据管理提供依据。

本发明提供的数据价值定量评价方法，包括以下步骤：

(1)计算数据本身属性量化值SelfAtt_d、数据供给能力量化值P_d、数据需求状况量化值Acq_d：

(1.1)按照下式计算数据本身属性量化值SelfAtt_d，d表示所考察的数据：

SelfAtt_d＝N_d ²*(1+M cosθ_d)，其中，N_d为在(T_n-t，T_n)时间段内指定数据的用户访问数目，Asc_d为数据关联度，T_n为计算数据价值的时间点，t为计算周期；每个数据每隔t/n时间内被访问的次数组成了一个向量，即A_i(a_i1，a_i2，…a_in)，i＝1，2…p，其中n为将时间周期t等分的数目，a_ij表示数据I在时间段 $(T_n-\frac{n-j}{n}t,$ $T_n-\frac{n-j+1}{n}t)$ 中数据d被访问的次数，j＝0，1，…n-1，而p为系统中数据的总数目；； ${\cos \mathrm{\θ}}_{\mathrm{dj}}=\frac{A_d\·A_j}{\left|A_d\right|\left|A_j\right|},$ d≠j，为数据d与数据j的数据关联度，其中 $A_d\·A_j=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{dk}}{a}_{\mathrm{jk}},\left|A_i\right|=\sqrt{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ik}}^2};$ 从而可以得到向量C_d＝(cosθ_d，1，cosθ_d，2，...，cosθ_d，d-1，cosθ_d，d+1，...，cosθ_d，p)，向量C_d中的每个元素分别表示数据d与系统中其它数据的数据关联度；定义数据d的数据关联度Asc_d是数据d与存储系统中其它数据的数据关联度的综合量化值，采用下面的方法来计算：Asc_d＝(1+Mcosθ_d)，其中M为向量C_d中cosθ_dj大于设定的阈值ε的元素的个数，而 ${\cos \mathrm{\θ}}_d=\frac{\underset{i}{\overset{p}{\mathrm{\Σ}}}{\cos \mathrm{\θ}}_{\mathrm{dj}}}{p-1},i\≠d;$

(1.2)计算数据供给能力量化值P_d

P_d＝Size_d/B_d，其中Size_d表示数据d的大小，B_d表示存放数据d的存储设备所能提供的带宽，它包含了数据d所有副本所能提供的带宽，即若数据d有r个副本，系统能为每个副本所提供的带宽为b_l，则系统能够提供数据d的带宽 $B_d=\underset{l=1}{\overset{r}{\mathrm{\Σ}}}{b}_l;$

(1.3)计算数据需求状况量化值Acq_d

${\mathrm{Acq}}_d=\frac{1}{{\left(\mathrm{\Δ}{T}_d\right)}^2},$ 其中ΔT_d表示数据d上次被访问和现在相距的时间间隔；

(2)根据步骤(1)得到的三个量化值，通过下面的公式得到数据d在时间T_n时的数据价值V(d)_Tn大小：

V(d)_Tn＝SelfAtt_d*P_d*Acq_d＝[N_d ²*(1+M cosθ_d)]*f(t)_d*(size_d/B)；

(3)间隔计算周期t，再重复上述的步骤(1)～(2)，如此循环，得到数据在指定时间段的数据价值序列。

针对以上数据价值评价方法中存在的问题，本发明提出了一种新型的数据价值评价方法。这种评价方法认为影响数据价值的因素包含三个方面，即数据的供给能力，数据的需求状况，以及数据本身的属性，其中数据的供给能力是指存储系统对提供数据的能力，具体包含存储系统所能提供的带宽及数据大小等因素；数据的需求状况则是指用户对该数据的访问状况，用数据访问频率来描述；而数据本身的属性则是指数据能给用户带来多少信息，可以通过数据的访问用户数、数据间的关联程度等因素来表示。同时该评价方式认为数据价值主要由数据本身的属性决定，同时在数据供给能力和数据需求状况的对比关系下进行变化，也即数据价值随数据供给能力增大而减小，随数据需求增大而增大。通过对上述三个方面进行的量化分析，得到指定数据在指定时间的数据价值。根据该评价方法所得出的结果可以用来比较数据的重要性，从而为数据调度与管理提供策略依据。进一步的，根据本发明所阐述内容，可以根据数据价值的特性，调整数据的供给能力，使得数据的供给能力和需求状况达到平衡，从而提高存储资源的利用效率。

附图说明

图1是数据价值序列构建图；

图2是数据关联度量化值构建图。

具体实施方式

下面结合附图和具体的实施方式对本发明做进一步说明。

本发明的技术思路是：寻求一种工程实践性强的数据价值的定量评价方法。该技术通过量化数据属性、数据供给能力和数据需求状况来确定数据在任意时间的数据价值。通过本发明得出的数据价值结果，可用于数据重要性排序，并为数据调度提供依据。

数据价值由数据本身所包含的内容决定的，同时其变化是由数据的供求关系所决定的：数据价值随数据供给能力增大而减小，随数据需求增大而增大。本发明通过对上述三个方面的因素进行量化分析得到数据价值的结果，该结果能够反应数据价值的变化规律。如图1所示，本发明方法包括以下几个步骤：

(1)计算数据本身属性量化值SelfAtt_d、数据供给能力量化值P_d、数据需求状况量化值Acq_d

(1.1)计算数据本身属性量化值SelfAtt_d

数据本身属性对数据价值的影响由两方面因素决定：某一时间段内指定数据d的用户访问数目N_d和数据关联度Asc_d；

计算时，数据的各项属性值取自时间段(T_n-t，T_n)，其中T_n为计算数据价值的时间点，t为计算周期，其值为1天，而T_n-t则表示上次计算数据价值的时间点；

通过存储系统的日志，可以得到在这段时间访问指定数据的用户数目N_d；访问用户数目对数据本身属性量化值的影响用公式U_d＝N_d ²计算；

数据关联度描述的是数据与存储系统中其它所有数据的关联程度；如果一个数据在被访问后的一个充分小的时间内另一个数据也被访问，而且每次如此，则称这两个数据是关联的。数据关联度的计算步骤如图2所示。在计算上，这个充分小的时间选取为t/n，n为将时间周期t等分的数目，根据实际测试，推荐取10，也即这个充分小的时间为1/10天。在时间段(T_n-t，T_n)内，每个数据每隔t/n时间内被访问的次数组成了一个向量，即A_i(a_i1，a_i2…a_in)，i＝1，2…p，其中a_ij表示数据i在时间段 ${(T}_n-\frac{n-j}{n}t,$ $T_n-\frac{n-j+1}{n}t)$ 中数据d被访问的次数，j＝0，1，…n-1，而p为系统中数据的总数目。称 ${\cos \mathrm{\θ}}_{\mathrm{dj}}=\frac{A_d\·A_j}{\left|A_d\right|\left|A_j\right|},$ d≠j为数据d与数据j的数据关联度，其中 $A_d{\·A}_j=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{dk}}{a}_{\mathrm{jk}},$ $\left|A_i\right|=\sqrt{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ik}}^2};$ 从而可以得到向量C_d＝(cosθ _d，1，cosθ_d，2，...，cosθ_d，d-1，cosθ_d，d+1，...cosθ_d，p)，其中向量C_d中的每个元素分别表示数据d与系统中其它数据的数据关联度(不包括数据d本身)。定义数据d的数据关联度Asc_d是数据d与存储系统中其它数据的数据关联度的综合量化值，采用下面的方法来计算：Asc_d＝(1+M cosθ_d)：M为向量C_d中cosθ_dj大于某一阈值ε的元素的个数，而 ${\cos \mathrm{\θ}}_d=\frac{\underset{i}{\overset{p}{\mathrm{\Σ}}}{\cos \mathrm{\θ}}_{\mathrm{dj}}}{p-1},$ i≠d；根据实际测试，我们推荐ε＝0.37；

通过对上述两种因素的量化，得到数据本身属性量化值SelfAtt_d＝U_d*Asc_d＝N_d ²*(1+M cosθ_d)；

(1.2)计算数据供给能力量化值P_d

影响数据供给能力的因素主要包含数据的大小以及系统对该数据所能提供的带宽：数据供给能力增大，数据价值减小；反之，数据供给能力减小，数据价值减小；本发明通过对这两方面因素的综合考量，得出数据供给能力量化值；

数据供给能力量化值用公式P_d＝Size_d/B_d来计算，其中Size_d表示数据d的大小，单位为字节；B_d表示存放数据d的存储设备所能提供的带宽，单位为字节/秒：它包含了数据d所有副本所能提供的带宽，即若数据d有r个副本，系统能为每个副本所提供的带宽为b_i，则系统能够提供数据d的带宽 $B_d=\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{b}_i;$

(1.3)计算数据需求状况量化值Acq_d

影响数据需求状况的因素是用户对该数据的访问特征：对数据访问频率增大，也即数据需求状况增大，则数据价值增大；反之，对数据访问频率减小，也即数据需求状况减小，则数据价值减小；通过考察数据访问的时间间隔，并以此来决定数据需求状况量化值；

数据需求状况量化值用公式 ${\mathrm{Acq}}_d=\frac{1}{{\left(\mathrm{\Δ}{T}_d\right)}^2}$ 来计算，其中ΔT_d表示数据d上次被访问和现在相距的时间间隔；

(2)根据步骤(1)得到的三个量化值，得出数据在某个时刻的数据价值V(d)_Tn

通过步骤(1)中得到的三个量化值，由下面的公式计算得到数据d在时间T_n时的数据价值V(d)_Tn大小：

V(d)_Tn＝SelgAtt_d*P_d*Acq_d＝[N_d ²*(1+M cosθ)]*f(t)_d*(size_d/B)；

(3)间隔计算周期t，再重复上述的步骤(1)～(2)，如此循环，得到数据在指定时间段的数据价值序列。

通过进一步的研究可以得到一个使得数据供需达到平衡的数据价值范围：如果数据在某一时刻的数据价值超过了该指定的范围，则其供给能力超过需求状况；反之，若低于该范围，其供给能力则不能满足当前的数据需求状况。根据本发明所阐述的数据价值定量评价方法，可以通过改变数据的供给能力而改变数据价值的大小，使得数据价值能够始终保持在该指定的范围内。这种方法在客观上保证了数据的供给能力和数据的需求状况保持平衡。

应当理解的是，对本发明技术所在领域的普通技术人员来说，可以根据本发明的技术方案及其构思进行相应的等同改变或替换，而所有这些改变或替换，都应属于本发明所附权利要求的保护范围。

实例：

表1给出了数据D1在2006年11月1日和2006年11月2日中的各项属性，包括数据大小，系统为该数据所提供的带宽，据上次数据访问的时间间隔以及在当天数据访问的用户数目。而表2和表3分别提供了系统中所有数据在这两天内各时间段的访问次数。系统中一共有5个数据，分别为D1，D2，D3，D4以及D5。将一天的时间等分为10段，每段的时间为144分钟(0.1天＝2.4小时＝144分钟)，表2和表3中0～9分别表示一天中的这10个时间段。例如第4个时间段表示从该天的第576分钟到第720分钟这段时间，也即从当天9时36分至12时整这段时间。

表1 数据D1的各项属性

表2 2006年11月1日系统中所有数据在各时间段的访问次数

表3 2006年11月2日系统中所有数据在各时间段的访问次数

下面计算Tn＝2006年11月2日零时零分数据D1的数据价值V(D1)_Tn：

(1)计算数据本身属性量化值、数据供给能力量化值、数据需求状况量化值

(1.1)计算数据D1本身属性量化值SelfAtt_D1

访问用户数目对数据价值量化值为U_D1＝N_D1 ²＝1²＝1；

计算数据D1的数据关联度Asc_D1

数据D1的访问次数向量A4_D1＝(0，0，1，2，0，0，0，1，0，0)；数据D2的访问次数向量A_D2＝(1，0，1，2，0，0，0，1，0，1)；

数据D1与数据D2的关联度为：

${\cos \mathrm{\θ}}_{D1,D2}=$

$\frac{(0*1+0*0+1*1+2*2+0*0+0*0+0*0+1*1+0*0+0*1)}{\sqrt{0^2+0^2+1^2+2^2+0^2+0^2+0^2+1^2+0^2+0^2}*\sqrt{1^2+0^2+1^2+2^2+0^{2+}{0}^2+0^2+1^2+0^2+1^2}}$

$=0.866$

类似的可以计算出数据D1与D3、D4、D5的关联度分别为：

cosθ_D1，D3＝0.274，cosθ_D1，D4＝0，cosθ_D1，D5＝0；

从而得到向量C_D1＝(0.866，0.274，0，0)；由此得到C_D1中cosθ_D1，Di大于等于ε＝0.37的个数M＝1；而

${\cos \mathrm{\θ}}_{D1}=\frac{\underset{i}{\overset{p}{\mathrm{\Σ}}}{\cos \mathrm{\θ}}_{\mathrm{dj}}}{p-1}=\frac{{\cos \mathrm{\θ}}_{D1,D2}+{\cos \mathrm{\θ}}_{D1,D3}+{\cos \mathrm{\θ}}_{D1,D4}+{\cos \mathrm{\θ}}_{D1,D5}}{4}$

$=\frac{0.866+0.274+0+0}{4}=0.285;$

从而得到数据D1的数据关联度Asc_D1＝1+Mcosθ_D1＝1+1*0.285＝1.285；

综上，得到数据D1本身属性量化值SelfAtt_D1

SelfAtt_D1＝N_d ²*(1+M cosθ_d)＝1*1.285＝1.285；

(1.2)计算数据D1供给能力量化值P_D1＝Size_D1/B_D1＝10/1＝1；

(1.3)计算数据D1需求状况量化值 ${\mathrm{Acq}}_d=f{\left(t\right)}_d=\frac{1}{{\left(\mathrm{\Δ}{T}_d\right)}^2}=1/{\left(0.3\right)}^2=11.1;$

(2)计算数据D1在T_n＝2006年11月2日零时零分数据价值V(Dl)_Tn：

V(D1)_Tn＝SelfAtt_d*P_d*Acq_d＝1.285*11.1*1＝14.26.

休眠t＝1天后，通过上述的方法可以得到数据D1在T_n+t＝2006年11月3日零时零分的数据价值V(D1)_Tn+1＝679.6。

Claims (1)

1、一种数据价值定量评价方法，包括以下步骤：

(1)计算数据本身属性量化值SelfAtt_d、数据供给能力量化值P_d、数据需求状况量化值Acq_d：

(1.1)按照下式计算数据本身属性量化值SelfAtt_d，d表示所考察的数据：

SelfAtt_d＝N_d ²*(1+Mcosθ_d)，其中，N_d为在(T_n-t，T_n)时间段内指定数据的用户访问数目，Asc_d为数据关联度，T_n为计算数据价值的时间点，t为计算周期；每个数据每隔t/n时间内被访问的次数组成了一个向量，即A_i(α_i1，α_i2，…α_in)，i＝1，2…p，其中n为将时间周期t等分的数目，α_ij表示数据I在时间段

中数据d被访问的次数，j＝0.1，…n-1，而p为系统中数据的总数目；； $\cos {\text{\θ}}_{\mathrm{dj}}=\frac{A_d\·A_j}{\left|A_d\right|\left|A_j\right|},d\≠j,$ 为数据d与数据j的数据关联度，其中 $A_d\·A_j=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{dk}}{a}_{\mathrm{jk}},$ $\left|A_i\right|=\sqrt{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ik}}^2};$ 从而可以得到向量C_d＝(cosθ_d，1，cosθ_d，2，…，cosθ_d，d-1，cosθ_d，d+1…，cosθ_d，p)，向量C_d中的每个元素分别表示数据d与系统中其它数据的数据关联度；定义数据d的数据关联度Asc_d是数据d与存储系统中其它数据的数据关联度的综合量化值，采用下面的方法来计算：Asc_d＝(1+Mcosθ_d)，其中M为向量C_d中cosθ_dj大于设定的阈值ε的元素的个数，而 $\cos {\mathrm{\θ}}_d=\frac{\underset{i}{\overset{p}{\mathrm{\Σ}}}\cos {\mathrm{\θ}}_{\mathrm{dj}}}{p-1},i\≠d;$

(1.2)计算数据供给能力量化值P_d

P_d＝Size_d/B_d，其中Size_d表示数据d的大小，B_d表示存放数据d的存储设备所能提供的带宽，它包含了数据d所有副本所能提供的带宽，即若数据d有r个副本，系统能为每个副本所提供的带宽为b_i，则系统能够提供数据d的带宽 $B_d=\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{b}_i;$

(1.3)计算数据需求状况量化值Acq_d

$\mathrm{Ac}{q}_d=\frac{1}{{\left({\mathrm{\ΔT}}_d\right)}^2},$ 其中ΔT_d表示数据d上次被访问和现在相距的时间间隔；

(2)根据步骤(1)得到的三个量化值，通过下面的公式得到数据d在时间T_n时的数据价值V(d)_Tn大小：

V(d)_Tn＝SelfAtt_d*P_d*Acq_d＝[N_d ²*(1+Mcosθ_d)]*f(t)_d*(size_d/B)；

(3)间隔计算周期t，再重复上述的步骤(1)～(2)，如此循环，得到数据在指定时间段的数据价值序列。

Images