CN106815743A - 基于熵的数据价值衡量与定价方法 - Google Patents

Abstract

本发明提供了一种基于熵的数据价值衡量与定价方法，包括如下步骤：步骤1：定义数据商品新型的价格函数；步骤2：将数据集抽象成为数据矩阵；步骤3：从数据集的行和属性两个角度来度量数据集的信息量，获得数据集的定价策略。本发明提供的基于熵的数据价值衡量与定价适用性强，数据交易平台只需要收集数据集的浏览点击次数和为获得该数据集支付的成本费用等信息，便可根据本发明中给出的定价方法进行定价；通过大量的实验发现，本发明的度量方法与分类正确率有较高的正相关性，因此本发明的定价策略相较于传统方法更加可靠，且具有较高的针对性。

Description

基于熵的数据价值衡量与定价方法

技术领域

本发明涉及信息服务技术领域，具体地，涉及基于熵的数据价值衡量与定价方法。

背景技术

近年来，信息商品的交易和无线网络的使用正在经历一个巨大的增长。人们对于高质量，可信赖的信息商品的需求与日俱增。信息商品的交易量逐年递增，此类交易服务多数由各大数据提供平台(诸如Microsoft Azure Data Marketplace,Inforchimp等)所提供。这些数据提供平台不仅出售数据和信息商品，同时还搭配出售与数据相关的分析和存储服务。但是，至今在这些平台上，仍然没有一个统一的、明确的信息商品定价策略，这阻碍了信息商品交易的进一步发展。如今，主流的或者被广泛研究的定价策略有三种：

订阅制(Subscription)策略：

订阅制是一种传统的信息商品定价策略。在那些使用该策略的数据交易平台，如Microsoft Azure Data Marketplace，数据购买者并不会真正拥有数据，而是每月缴纳一定的费用，从而获得访问该数据平台上相应数据的权利。比如在Azure平台，数据商品分为两大类：无限制订阅型和有限制订阅型。无限制订阅型数据商品是指用户在每月缴纳一定费用后，可以无限制次数地访问该数据商品。而有限制订阅型数据商品是指用户在每月缴纳一定费用后，只能有限次数地访问该数据商品。缴费是月结制，即每月用完访问次数或者使用时间已到，就只能到下个月重新缴费再获得数据访问权。虽然，对于数据交易平台来说，这种定价策略易于实现，但是如果没有设计好商品价格水平的话，会容易出现套利现象，从而导致平台利益受损。

基于查询(Query)的定价策略：

基于查询的定价策略是收到SQL关系数据库的启发。其交易流程是数据购买者对于自己想要的数据商品，向数据交易平台发起一个查询(Query)。数据交易平台根据该查询将指定数据集的视窗(View)作为结果返回给购买者。其交易费用是由交易平台根据查询复杂度而制定。然而，比较难的是找到一个精确度量查询复杂度的函数，从而比较难制定出交易费用。

捆绑以及区别定价(Bundling and Discrimination)策略：

捆绑定价策略是来自于资本数据交易市场。在资本数据交易市场，数据提供者常常将多种信息商品捆绑在一起，并对不同层次的消费者收取不同的费用。因此，这种定价策略就会产生价格歧视效应。这种定价策略只有在捆绑销售中单个商品之间是呈负相关关系时才会有效，不同的购买者才会愿意以不同的价格购买该捆绑商品。但是如今大多数信息商品都是非文本的数值数据(离散型的或者连续型的)，人们不容易直观地发现这些数据间的相关程度。另外，如今也没有一个量化的方法来度量数据商品中的信息量。因此，数据生产商们也很难对自己的数据商品进行一个合理定价，因此更无法有效地捆绑出售自己的产品。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于熵的数据价值衡量与定价方法。

根据本发明提供的基于熵的数据价值衡量与定价方法，包括如下步骤：

步骤1：定义数据商品新型的价格函数；

步骤2：将数据集抽象成为数据矩阵；

步骤3：从数据集的行和属性两个角度来度量数据集的信息量，获得数据集的定价策略。

优选地，所述步骤1包括：令数据的价格P是数据信息熵H的函数，记为：

P＝f(H) (1)

将一个拥有n个可能的值，记为{x₁,x₂,…,x_n}和概率分布函数为p(X)的离散变量X的熵定义为H(X)：

式中：p(x_i)表示取x_i值时的概率；当存在两个离散变量X,Y，且分别对应有n和m个可能的输出值，记为{x₁,x₂,…,x_n}，{y₁,y₂,…,y_m}，则定义X,Y的联合概率分布函数p(X,Y)，采用联合熵来度量X,Y所共同拥有的信息量，定义为H(X，Y)：

式中：p(x_i,y_j)表示输出值x_i,y_j同时出现的联合概率；n和m为正整数。

优选地，所述步骤2包括：

步骤2.1：将拥有n行记录m列属性的数据集抽象成为一个n×m的数据矩阵X，记为：

令r_i＝(x_i1x_i2…x_im)，r_i表示第i条记录，对应于矩阵X的第i行；其中i＝1,2,…,n；矩阵X的第j列属性记为：其中j＝1,2,…,m。

优选地，所述步骤3包括：

步骤3.1：基于属性的数据集信息度量；

对于单个属性c_j，共有k个可能的值记为利用信息熵来度量属性c_j所含有的信息量：

其中，

式中：H(c_j)表示第j个属性的信息熵，表示第j个属性中第i个值出现的概率，表示第j个属性的第i个值，x_ij表示数据集中第i行第j列的值，表示x_ij是否等于

当数据集中有多个属性需要度量时，采用联合熵，具体地，定义一个属性集合所述属性集合S_k的基于属性的信息量定义为多个属性的联合熵：

式中：H_c(S_k)表示k个属性组成的集合的信息熵，表示在这个属性集合中第k个属性，表示这k个属性组成的信息熵的联合熵；联合公式

2、公式5、公式6求解公式7所定义的多属性的联合熵；

步骤3.2：基于行的数据集信息度量；将拥有n行记录m个属性的数据集X基于行的信息量定义为：

式中：r_i表示第i个数据集中的一条记录；H_r(X)表示数据子集X的信息熵，p(r_i)表示第i条记录出现的概率，

假设在数据交易平台中，给定一个数据集D，数据购买者可能购买整个数据集D，也可能只购买数据集D的子集S，其中子集S可以就是数据集D本身；则基针对数据子集S给出如下定价策略如下：

式中，compensate(D)表示数据平台为获得数据集D所需要向数据拥有者支付的费用，h(D)表示数据集D在整个数据平台中的热度，Price(S)表示欲购买数据子集S的价格，H_r(S)表示S的信息熵，H_r(D)表示数据集D的信息熵，h(D)表示数据集D在数据平台中的热度；其中：

式中，click(D)表示该平台下数据集D点击浏览的次数，click(D_i)表示该平台下数据集D_i点击浏览的次数；D_i表示数据平台中第i个数据集；公式10中分子表示该数据集被点击的次数，分母表示该平台下所有数据集被点击浏览的次数，从而来表示数据集D在整个数据交易平台中的热门程度。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于熵的数据价值衡量与定价方法适用性强，数据交易平台只需要收集数据集的浏览点击次数和为获得该数据集支付的成本费用等信息，便可根据本发明中给出的定价方法进行定价；通过大量的实验发现，本发明的度量方法与分类正确率有较高的正相关性，因此本发明的定价策略相较于传统方法更加可靠，且具有较高的针对性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为某一数据集的记录示意图；

图2为Letter数据集上的分类正确率与基于属性的信息熵的关系示意图；

图3为在Mushroom数据集上的分类正确率与基于属性的信息熵的关系示意图；

图4为在Ecoli数据集上的分类正确率与基于属性的信息熵的关系示意图；

图5为在Vehicle数据集上的分类正确率与基于属性的信息熵的关系示意图；

图6为在Letter数据集上的分类正确率与基于行的信息熵的关系示意图；

图7为在Mushroom数据集上的分类正确率与基于行的信息熵的关系示意图；

图8为在Ecoli数据集上的分类正确率与基于行的信息熵的关系示意图；

图9为在Vehicle数据集上的分类正确率与基于行的信息熵的关系示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

针对现今数据交易平台没有一个精确度量数据商品信息量的方法的问题，本发明提出了一种基于熵的数据价值衡量与定价方法。然后基于该度量方法，为数据交易平台提出一种数据定价机制，即数据的价格P是数据信息熵H的函数，记为：

P＝f(H)(1)

信息论由香浓提出，最初是用来测量信息内容的不确定性的。其中最基本的概念熵(Entropy)，将一个拥有n个可能的值，记为{x₁,x₂,…,x_n}和概率分布函数为p(X)的离散变量X的熵定义为H(X)：

式中：p(x_i)表示取x_i值时的概率；而如果是两个离散变量X,Y，它们分别有n和m个可能的输出值，记为{x₁,x₂,…,x_n}，{y₁,y₂,…,y_m}，以及相应的联合概率分布函数p(X,Y)。那么可以采用联合熵(Joint Entropy)来度量它们所共同拥有的信息量，其定义为H(X，Y)：

式中：p(x_i,y_j)表示x_i,y_j同时出现的联合概率；上述联合熵可以扩展应用到多个离散变量的信息度量。除此以外，上述两种熵也都可以从离散变量的信息度量扩展到连续变量的信息度量，即只需要把求和符号换成积分符号。

一个数据集会有多列属性，每个属性又会出现多个不同的值。而一条记录又是由不同属性的值所组成，如图1所示，通常会把一个拥有n行记录m列属性的数据集抽象成为一个n×m的数据矩阵X：

而第i条记录对应于矩阵X的某一行r_i＝(x_i1x_i2…x_im)，其中i＝1,2,…,n。而第j列属性则对应于矩阵X的某一列其中j＝1,2,…,m。基于上述两种信息熵，从数据集的行和属性两个角度来度量其的信息量。

1)基于属性的数据集信息度量

对于单个属性c_j，共有k个可能的值记为那么可以直接利用信息熵来度量其所含有的信息量：

其中，

式中：H(c_j)表示c_j的信息熵，表示值出现的概率，表示第j个属性的第i个值，x_ij表示数据集中第i行第j列的值，表示x_ij是否等于而对于数据集中多个属性的信息量度量就更加复杂一些，这就需要使用到联合熵。定义一个属性集合那么该属性集合S_k的基于属性的信息量定义为多个属性的联合熵：

式中：H_c(S_k)表示属性集合S_k的信息熵，表示属性集合S_k第k个属性；联合式子(2)(5)(6)便可求出式子(7)所定义的多属性的联合熵。值得注意的是，在一个共有m个属性的数据集中，属性个数为k的属性子集共有个。

在捆绑和区别定价策略中，若将整个数据集看做一个待销售的捆绑商品，那么各个属性便是欲捆绑销售的单个商品，式子(4)已经给出如何度量单个属性信息量的方法。式子(7)给出了如何度量多个属性组成的属性集合的信息量的方法。但是在真实应用场景中，是不可能去计算所有属性子集的信息量。比如一个拥有m个属性的数据集，其共有2^m个属性子集，计算出所有属性子集的信息熵的代价是巨大的。因此，推荐的方式是对于每个属性个数k，从其个属性子集中选取信息熵最大的属性子集作为该属性个数的属性子集代表。那么，最后就一共就会给出m个属性子集及其信息熵。

2)基于行的数据集信息度量

基于行的数据集信息度量可以看成是基于属性的数据集信息度量的一个特例，即当属性个数k＝m时。一个拥有n行记录m个属性的数据集X，其基于行的信息量定义为：

式中：r_i表示第i个数据集中的一条记录；H_r(X)表示数据集X的信息熵，p(r_i)表示第i条记录出现的概率，尽管基于行的信息度量是基于列的信息度量的一种特烈，但是前者能从更加宏观的角度来度量一个数据集的信息分布。

假设在数据交易平台中，给定一个数据集D，数据购买者可能购买整个数据集D，也可能只购买数据集D的子集S(子集S可以就是数据集D本身)，基于上述两种数据度量方式，针对数据子集S给出如下定价策略：

式中，compensate(D)表示数据平台为获得数据集D所需要向数据拥有者支付的费用，h(D)表示数据集D在整个数据平台中的热度，Price(S)表示欲购买数据子集S的价格，H_r(S)表示S的信息熵，H_r(D)表示数据集D的信息熵，h(D)表示数据集D在数据平台中的热度；其中：

式中，click(D)表示该平台下数据集D点击浏览的次数，click(D_i)表示该平台下数据集D_i点击浏览的次数；D_i表示数据平台中第i个数据集；(10)式中分子表示该数据集被点击的次数，分母表示该平台下所有数据集被点击浏览的次数，从而来表示该数据集在整个数据交易平台中的热门程度。因为子集S可以就是数据集D本身，那么上述定价公式(9)也是可以用来为数据集D来定价的。

下面结合具体实施例对本发明中的技术方案做更加详细的说明。

本实施例分别选取了2个离散型有类标数据集和2个连续型有类标数据集作为测试集，数据集详细信息见表1。分别对提出的两个信息度量方法进行了实验。

表1 实验中所用到数据集的详细信息

其中，基于属性的信息度量方法的实验流程如下：

1)对于一个给定的数据集，其有m个属性，采用朴素遍历的方法生成m个具有最大联合熵的数据子集，并记录其相应的联合熵；

2)对于生成的m个属性子集，分别用SVM、DT和LDA三个分类器采取10折交叉验证法进行分类测试，并记录相应数据子集的相应分类器的分类正确率；

3)比较相应数据子集的联合熵和其相应的三个分类器的分类正确率，并绘图。详细实验结果如图2、图3、图4、图5所示。

而基于行的信息度量方法的实验流程如下：

1)对于一个给定的数据集，其共有n行记录。按照原数据集记录条数的10％，20％，30％，40％，50％，60％，70％，80％，90％从原始数据集中随机挑选记录生成9个不同大小的数据子集；

2)对于生成的9个数据子集，分别用SVM、DT和LDA三个分类器采取10折交叉验证法进行分类测试，并记录相应数据子集的相应分类器的分类正确率；

3)比较相应数据子集的基于行的信息熵和其相应的三个分类器的分类正确率，并绘图；详细实验结果如图6、图7、图8、图9所示。

接下来，基于上述测出的信息熵，并假设我们作为数据交易平台已经获得上述四个数据集的所有相关信息(浏览点击次数，获得相应数据及的成本费用等)，给出具体的计算实例，计算结果见表2：

表2 数据集定价计算结果

在机器学习的监督学习里，根据大量实验经验，如果对分类器输入的有效训练信息越多，那么分类器的分类正确率就会越高。即分类正确率往往与有效信息量是成正比的。因此，通过研究分类器正确率与我们的信息度量方法的相关性，来证明本发明提出的信息度量方法是有效的和合理的。首先根据提出的度量方法计算出一些数据集及其相应子集的信息熵，然后用三个主流的分类器：支持向量机(Support Vector Machine,SVM)、决策树(Decision Tree,DT)和线性判别法(Linear Discriminative Analysis,LDA)来测试这些数据集和其子集，记录分类器的分类正确率。通过大量的实验发现，本发明的度量方法与分类正确率有较高的正相关性，这也就说明了本发明的度量方法是合理有效的。

数据交易平台只需要收集数据集的浏览点击次数和为获得该数据集支付的成本费用等信息，便可根据本发明中给出的定价方法进行定价。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种基于熵的数据价值衡量与定价方法，其特征在于，包括如下步骤：

步骤1：定义数据商品新型的价格函数；

步骤2：将数据集抽象成为数据矩阵；

步骤3：从数据集的行和属性两个角度来度量数据集的信息量，获得数据集的定价策略。

2.根据权利要求1所述的基于熵的数据价值衡量与定价方法，其特征在于，所述步骤1包括：令数据的价格P是数据信息熵H的函数，记为：

P＝f(H) (1)

将一个拥有n个可能的值，记为{x₁,x₂,…,x_n}和概率分布函数为p(X)的离散变量X的熵定义为H(X)：

$H\left(X\right)=-{\mathrm{\Σ}}_{i=1}^{n}p\left(x_i\right){\log }_2^{p\left(x_i\right)}---\left(2\right)$

式中：p(x_i)表示取x_i值时的概率；当存在两个离散变量X,Y，且分别对应有n和m个可能的输出值，记为{x₁,x₂,…,x_n}，{y₁,y₂,…,y_m}，则定义X,Y的联合概率分布函数p(X,Y)，采用联合熵来度量X,Y所共同拥有的信息量，定义为H(X，Y)：

$H(X,Y)=-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^{m}p(x_i,y_j){\log }_2^{p\left(x_i,y_j\right)}---\left(3\right)$

式中：p(x_i,y_j)表示输出值x_i,y_j同时出现的联合概率；n和m为正整数。

3.根据权利要求1所述的基于熵的数据价值衡量与定价方法，其特征在于，所述步骤2包括：

步骤2.1：将拥有n行记录m列属性的数据集抽象成为一个n×m的数据矩阵X，记为：

令r_i＝(x_i1 x_i2 … x_im)，r_i表示第i条记录，对应于矩阵X的第i行；其中i＝1,2,…,n；矩阵X的第j列属性记为：其中j＝1,2,…,m。

4.根据权利要求1所述的基于熵的数据价值衡量与定价方法，其特征在于，所述步骤3包括：

步骤3.1：基于属性的数据集信息度量；

对于单个属性c_j，共有k个可能的值记为利用信息熵来度量属性c_j所含有的信息量：

$H\left(c_j\right)=-{\mathrm{\Σ}}_{i=1}^{k}p\left(c_{j_i}\right){\log }_2^{p\left(c_{j_i}\right)}---\left(5\right)$

其中，

$p\left(c_{j_i}\right)=\frac{{\mathrm{\Σ}}_{i=1}^n\mathrm{\δ}(x_{ij},c_{j_i})}{n}---\left(6\right)$

$\mathrm{\δ}(x_{ij},c_{j_i})=\left\{\begin{array}{cc}1,& x_{ij}=c_{j_i}\\ 0,& x_{ij}\≠c_{j_i}\end{array}\right.---\left(7\right)$

式中：H(c_j)表示第j个属性的信息熵，表示第j个属性中第i个值出现的概率，表示第j个属性的第i个值，x_ij表示数据集中第i行第j列的值，表示x_ij是否等于

当数据集中有多个属性需要度量时，采用联合熵，具体地，定义一个属性集合所述属性集合S_k的基于属性的信息量定义为多个属性的联合熵：

$H_c\left(S_k\right)=H(c_{i_1},c_{i_2},...,c_{i_k})---\left(8\right)$

式中：H_c(S_k)表示k个属性组成的集合的信息熵，表示在这个属性集合中第k个属性，表示这k个属性组成的信息熵的联合熵；联合公式2、公式5、公式6求解公式7所定义的多属性的联合熵；

步骤3.2：基于行的数据集信息度量；将拥有n行记录m个属性的数据集X基于行的信息量定义为：

$H_r\left(X\right)=-{\mathrm{\Σ}}_{i=1}^{n}p\left(r_i\right){\log }_2^{p\left(r_i\right)}---\left(9\right)$

式中：r_i表示第i个数据集中的一条记录；H_r(X)表示数据子集X的信息熵，p(r_i)表示第i条记录出现的概率，

假设在数据交易平台中，给定一个数据集D，数据购买者可能购买整个数据集D，也可能只购买数据集D的子集S，其中子集S可以就是数据集D本身；则基针对数据子集S给出如下定价策略如下：

式中，compensate(D)表示数据平台为获得数据集D所需要向数据拥有者支付的费用，h(D)表示数据集D在整个数据平台中的热度，Price(S)表示欲购买数据子集S的价格，H_r(S)表示S的信息熵，H_r(D)表示数据集D的信息熵，h(D)表示数据集D在数据平台中的热度；其中：

$h\left(D\right)=\frac{click\left(D\right)}{\mathrm{\Σ}click\left(D_i\right)}---\left(11\right)$

式中，click(D)表示该平台下数据集D点击浏览的次数，click(D_i)表示该平台下数据集D_i点击浏览的次数；D_i表示数据平台中第i个数据集；公式10中分子表示该数据集被点击的次数，分母表示该平台下所有数据集被点击浏览的次数，从而来表示数据集D在整个数据交易平台中的热门程度。