CN104933052B - 数据真实值的估计方法及数据真实值估计装置 - Google Patents

Abstract

本发明实施例公开了一种数据真实值的估计方法及数据真实值估计装置。本发明实施例的方法包括：基于对不同数据源有不同的可信度及分布模型的假设，将数据源的权重值和数据的估计值统一在一个数学优化模型中，基于该数学优化模型和数据在数据源中的记录值，通过迭代更新运算估计目标数据的真实值，能够有效避免多源异构数据的冲突问题，将数据源的权重值集成在数据的估计值的数学优化模型中，能够减少数据的估计值与真实值之间的偏差，提高数据真实值估计的准确性。

Description

数据真实值的估计方法及数据真实值估计装置

技术领域

本发明涉及数据领域，尤其涉及一种数据真实值的估计方法及数据真实值估计装置。

背景技术

随着信息技术的发展，“大数据”一词越来越多地被提及，大数据被用以描述和定义信息爆炸时代产生的海量数据，如企业在日常运营中生成、累积的用户网络行为数据。

大数据的特点不仅仅是数据规模的大，而且还有一个非常重要的特点是数据的多样性，多样性是指描述同一个对象的数据可能来自不同的数据源，且具有不同的数据表现形式。例如，同一个客户的信息可能存储在同一个公司的多个不同的数据库当中，一个病人的病历记录可能分布在多个不同的医院里，同一个自然现象(台风或者暴雨)在不同的实验室、气象台可能会观测到不同的风力指数等。数据在输入，变换等操作过程中由于人为或者设备的误差可能导致描述同一个对象的数据在不同的数据源中存在误差，缺失甚至是相互冲突的现象。在工业生产或者基于数据分析的决策支持系统中，这种数据的冲突而导致的信息不可靠会引起极其严重的后果，给企业造成重大的损失。所以，从多源异构数据源当中辨识出真实可靠的数据，化解多源数据之间的冲突现象具有非常重要现实意义和应用价值。

数据库研究领域对多源数据的冲突化解问题进行了深入的研究，在数据集成的应用中，提出了一系列的方法来化解多源异构数据的冲突。对于类别型的数据，常用的冲突化解方法是根据投票原则，将多个数据源当中出现次数最多的值作为数据的真实值；对于连续型的数据，常用的冲突化解方法是简单的取多个数据源的数据的中值或者均值作为数据的真实值。

然而，投票、取中值或均值的方法对于过去的应用来讲，一般来说能够满足要求，但是随着科技的发展和应用的变化，这种简单的方法对所有的数据源均等对待的手段就明显不足。对每个数据源都取相等的权重，极有可能得到与真实值偏差严重的不可靠数据。在复杂的现实世界当中，投票、取中值或均值的方法不能判断出不可靠的数据源。例如当出故障的传感器不断发射错误的值或者是网络病毒不断在网络上传播错误的信息时，投票、取中值或均值的方法不能判断出这种不可靠的信息来源，造成对真实值的偏差估计。

发明内容

本发明提供了一种数据真实值的估计方法及数据真实值估计装置，用于提高数据真实值估计的准确性。

第一方面，本发明提供了一种数据真实值的估计方法，该方法包括：

确定数学优化模型，其中，所述数学优化模型基于第一优化参数和第二优化参数构建，所述第一优化参数包括目标数据的估计值，所述第二优化参数包括各个目标数据源的权重值，其中，所述目标数据源包含所述目标数据，所述目标数据在两个以上所述目标数据源的记录值不全相同；

初始化所述第一优化参数和所述第二优化参数；

对所述第一优化参数和所述第二优化参数进行迭代更新运算；

当满足预置的迭代中止条件时，将满足预置的迭代中止条件时得到的所述目标数据的估计值确定为所述目标数据的真实值；

其中，所述对所述第一优化参数和所述第二优化参数进行迭代更新运算，包括：第一迭代更新运算或第二迭代更新运算；

所述第一迭代更新运算包括：

根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述第一优化参数的当前值，更新所述第二优化参数；

在更新所述第二优化参数后，根据所述目标数据在所述各个目标数据源中的记录值和所述第二优化参数的当前值，更新所述第一优化参数；

在更新所述第一优化参数后，返回并顺序执行所述更新所述第二优化参数的步骤和所述更新所述第一优化参数的步骤；

所述第二迭代更新运算包括：

根据所述目标数据在所述各个目标数据源中的记录值和所述第二优化参数的当前值，更新所述第一优化参数；

在更新所述第一优化参数后，根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述第一优化参数的当前值，更新所述第二优化参数；

在更新所述第二优化参数后，返回并顺序执行所述更新所述第一优化参数的步骤和所述更新所述第二优化参数的步骤。

在第一方面的第一种可能的实现方式中，在所述各个目标数据源中，每个目标数据源包含至少一条数据记录，且每条数据记录包含至少一个数据，且，每个目标数据源包含相同数量的数据记录，且，每条数据记录包含相同数量的数据；

所述确定数学优化模型具体为确定如下数学优化模型：

s.t.δ(W)＝1；

其中，

在上式中，v^(*)为目标数据源中所有数据的估计值集合，W表示各个目标数据源的权重值的集合，K表示目标数据源的个数，N表示每个目标数据源包含的数据记录的数量，M表示每条数据记录包含的不同数据类型数据的数量，w_k表示第k个目标数据源的权重值，表示第i条数据记录的第m个数据在第k个目标数据源中的记录值，为用于计算与之间的误差的代价函数，δ(W)为用于对目标数据源的权重值进行约束的约束函数，其中，各个目标数据源的权重值均为实数；

所述初始化所述第一优化参数和所述第二优化参数，包括：

初始化目标数据源中每个数据的估计值和每个目标数据源的权重值；

所述根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述第一优化参数的当前值，更新所述第二优化参数，包括：

所述根据所述数学优化模型，所述每个数据在所述各个目标数据源中的记录值，当前所述每个数据的估计值以及第一公式，更新每个目标数据源的权重值，其中，所述第一公式为：

s.t.δ(W)＝1；

所述根据所述目标数据在所述各个目标数据源中的记录值和所述第二优化参数的当前值，更新所述第一优化参数，包括：

根据所述每个数据在所述各个目标数据源中的记录值，当前每个目标数据源的权重值以及第二公式，更新所述每个数据的估计值，其中，所述第二公式为：

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，

所述δ(W)取如下三种形式中的任意一种：

其中，w_k不小于0，k＝1,2...,K；

其中，w_k不小于0，且p为正整数；

其中，w_k取0或1，且j为不等于0的实数。

结合第一方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，

对于数据类型为离散型变量的数据，满足如下条件：

结合第一方面的第一或第二种可能的实现方式，在第四种可能的实现方式中，对于数据类型为连续型变量的数据，满足如下两个条件中的任一个：

结合第一方面，或第一方面的第一至第四任一种可能的实现方式，在第五种可能的实现方式中，所述方法还包括：

判断所述迭代更新运算过程中的迭代累计次数是否超过预置的门限值，若超过，则判定当前满足预置的迭代中止条件，若不超过，则判定当前不满足预置的迭代中止条件。

结合第一方面的第一至第四任一种可能的实现方式，在第六种可能的实现方式中，所述方法还包括：判断所述迭代更新运算过程中，本次迭代得到的f(v^(*),W)与前次迭代得到的f(v^(*),W)之间的差值是否小于预置阈值；

若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。

第一方面，本发明提供了一种数据真实值估计装置，该装置包括：

第一确定单元，用于确定数学优化模型，其中，所述数学优化模型基于第一优化参数和第二优化参数构建，所述第一优化参数包括目标数据的估计值，所述第二优化参数包括各个目标数据源的权重值，其中，所述目标数据源包含所述目标数据，所述目标数据在两个以上所述目标数据源的记录值不全相同；

初始化单元，用于初始化所述第一优化参数和所述第二优化参数；

迭代更新运算单元，用于对所述第一优化参数和所述第二优化参数进行迭代更新运算；

第二确定单元，用于当满足预置的迭代中止条件时，将满足预置的迭代中止条件时得到的所述目标数据的估计值确定为所述目标数据的真实值；

其中，所述迭代更新运算单元具体用于：根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述第一优化参数的当前值更新所述第二优化参数，在更新所述第二优化参数之后，根据所述目标数据在所述各个目标数据源中的记录值和所述更新后的第二优化参数更新所述第一优化参数，返回并顺序执行所述更新所述第二优化参数的动作和所述更新所述第一优化参数的动作；

或者，

所述迭代更新运算单元具体用于：根据所述目标数据在所述各个目标数据源中的记录值和所述第二优化参数的当前值更新所述第一优化参数，在更新所述第一优化参数之后，根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述更新后的第一优化参数，更新所述第二优化参数，返回并顺序执行所述更新所述第一优化参数的动作和所述更新所述第二优化参数的动作。

在第一方面的第一种可能的实现方式中，在所述各个目标数据源中，每个目标数据源包含至少一条数据记录，且每条数据记录包含至少一个数据，且，每个目标数据源包含相同数量的数据记录，且，每条数据记录包含相同数量的数据；

所述第一确定单元确定的数学优化模型为：

s.t.δ(W)＝1；

其中，

在上式中，v^(*)为目标数据源中所有数据的估计值集合，W表示各个目标数据源的权重值的集合，K表示目标数据源的个数，N表示每个目标数据源包含的数据记录的数量，M表示每条数据记录包含的不同数据类型数据的数量，w_k表示第k个目标数据源的权重值，表示第i条数据记录的第m个数据在第k个目标数据源中的记录值，为用于计算与之间的误差的代价函数，δ(W)为用于对目标数据源的权重值进行约束的约束函数，其中，各个目标数据源的权重值均为实数；

所述初始化单元具体用于：初始化目标数据源中每个数据的估计值和每个目标数据源的权重值；

所述迭代更新运算单元具体用于：

根据所述数学优化模型，所述每个数据在所述各个目标数据源中的记录值，当前所述每个数据的估计值以及第一公式更新每个目标数据源的权重值；根据所述每个数据在所述各个目标数据源中的记录值，当前每个目标数据源的权重值以及第二公式，更新所述每个数据的估计值，

其中，所述第一公式为：

s.t.δ(W)＝1；

所述第二公式为：

结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述数据真实值估计装置还包括：

判断单元，用于判断所述迭代更新运算单元在迭代更新运算过程中的迭代累计次数是否超过预置的门限值，若超过，则判定当前满足预置的迭代中止条件，若不超过，则判定当前不满足预置的迭代中止条件。

结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，所述数据真实值估计装置还包括：

判断单元，用于判断在所述迭代更新运算单元执行迭代更新运算过程中，本次迭代得到的f(v^(*),W)与前次迭代得到的f(v^(*),W)之间的差值是否小于预置阈值，若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。

从以上技术方案可以看出，本发明实施例具有以下优点：

由上可见，本发明实施例基于对不同数据源有不同的可信度(即权重值)及分布模型的假设，将数据源的权重值和数据的估计值统一在一个数学优化模型中，基于该数学优化模型和数据在数据源中的记录值，通过迭代更新运算估计目标数据的真实值，能够有效避免多源异构数据的冲突问题，将数据源的权重值集成在数据的估计值的数学优化模型中，能够减少数据的估计值与真实值之间的偏差，提高数据真实值估计的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种数据真实值的估计方法一个实施例流程示意图；

图2为本发明提供的一种数据真实值的估计方法另一个实施例流程示意图；

图3为本发明提供的一种数据真实值的估计方法再一个实施例流程示意图；

图4为本发明提供的一种数据真实值估计装置一个实施例结构示意图；

图5为本发明提供的一种数据真实值估计装置另一个实施例结构示意图。

具体实施方式

本发明实施例提供了一种数据真实值的估计方法及数据真实值估计装置。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的各个其他实施例，都属于本发明保护的范围。

下面对本发明实施例提供的一种数据真实值的估计方法进行描述，请参阅图1，本发明实施例中的数据真实值的估计方法，包括：

101、确定数学优化模型。

其中，上述数学优化模型基于上述第一优化参数和上述第二优化参数构建，上述第一优化参数包括目标数据的估计值，上述第二优化参数为各个目标数据源的权重值，其中，上述目标数据源包含上述目标数据。

可选地，上述第一优化参数包括目标数据源中除目标数据以外的其它数据的估计值或目标数据源中所有数据的估计值。

本发明实施例将数据源权重和数据的真实值推断问题，统一到一个数学优化模型当中，将现实问题转换为一个数学优化问题。

需要说明的是，上述目标数据记录在两个以上目标数据源中，且目标数据在上述两个以上目标数据源的记录值不全相同。

具体地，上述数学优化模型可以根据目标数据源的个数、目标数据源包含的数据个数以及需要估计的目标数据的个数等因素中的一个或多个进行确定，此处不作限定。

102、初始化上述第一优化参数和上述第二优化参数。

可选地，数据真实值估计装置随机生成上述第一优化参数的初始值和上述第二优化参数的初始值，或者，数据真实值估计装置选取目标数据在某一个目标数据源中的记录值作为上述第一优化参数的初始值，或者，数据真实值估计装置将上述第一优化参数的初始值和上述第二优化参数的初始值分别设定为默认值。当然，数据真实值估计装置也可以通过其它方式初始化上述第一优化参数和上述第二优化参数，此处不作限定。

需要说明的是，在上述第二优化参数中，不同目标数据源的初始化权重值可以相同，也可以不同。

103、对上述第一优化参数和上述第二优化参数进行迭代更新运算。

本发明实施例根据分块坐标下降算法的思想，采用两步反复迭代对上述第一优化参数和上述第二优化参数进行迭代更新运算，并且，在每一步迭代更新运算中，固定不更新的优化参数的值。

具体地，本发明实施例中数据真实值估计装置对上述第一优化参数和上述第二优化参数进行迭代更新运算，包括：第一迭代更新运算或第二迭代更新运算。

其中，上述第一迭代更新运算包括：

A1、数据真实值估计装置根据步骤101确定的数学优化模型，目标数据在上述各个目标数据源中的记录值以及上述第一优化参数的当前值，更新上述第二优化参数；

A2、在更新上述第二优化参数后，数据真实值估计装置根据目标数据在上述各个目标数据源中的记录值和上述第二优化参数的当前值，更新上述第一优化参数，在更新上述第一优化参数后，返回并顺序执行步骤A1和步骤A2。

其中，上述第二迭代更新运算包括：

B1、数据真实值估计装置根据目标数据在上述各个目标数据源中的记录值和上述第二优化参数的当前值，更新上述第一优化参数；

B2、在更新上述第一优化参数后，数据真实值估计装置根据步骤101确定的数学优化模型，目标数据在上述各个目标数据源中的记录值以及上述第一优化参数的当前值，更新上述第二优化参数，在更新上述第二优化参数后，返回并顺序执行步骤B1和步骤B2。

104、当满足预置的迭代中止条件时，将满足预置的迭代中止条件时得到的上述目标数据的估计值确定为该目标数据的真实值。

在步骤103中，每次迭代更新运算将得到更新后的目标数据的估计值，本发明实施例中，当满足预置的迭代中止条件时，数据真实值估计装置将满足预置的迭代中止条件时得到的上述目标数据的估计值确定为该目标数据的真实值。

可选地，数据真实值估计装置判断步骤103的迭代更新运算过程中的迭代累计次数是否超过预置的门限值，若超过，则判定当前满足预置的迭代中止条件，若不超过，则判定当前不满足预置的迭代中止条件。

可选地，数据真实值估计装置判断步骤103的迭代更新运算过程中，本次迭代得到的一个中间数值与前次迭代得到的该中间数据之间的差值是否小于预置阈值，若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。

当然，本发明实施例也可以根据实际需要设定其它迭代中止条件，例如，在需要数据真实值估计装置停止步骤103的迭代更新运算过程时，通过某个与数据真实值估计装置能够实现通讯的设备，向该数据真实值估计装置发送指示迭代中止的指令，数据真实值估计装置在收到该指令时，判定为满足预置的迭代中止条件，在没有收到该指令时，判定为不满足预置的迭代中止条件，本发明实施例不对具体地迭代中止条件进行限定。

需要说明的是，本发明实施例中根据目标数据对目标数据源的权重值进行估计，为了进一步提高目标数据的真实值估计的准确性，本发明实施例还可以根据目标数据源中的多个数据或所有数据对目标数据源的权重值进行估计，以此提高目标数据的真实值估计的准确性，在目标数据的真实值估计的准确性提高的基础上，相应地，进一步提高目标数据的真实值估计的准确性。

由上可见，本发明实施例基于对不同数据源有不同的可信度(即权重值)及分布模型的假设，将数据源的权重值和数据的估计值统一在一个数学优化模型中，基于该数学优化模型和数据在数据源中的记录值，通过迭代更新运算估计目标数据的真实值，能够有效避免多源异构数据的冲突问题，将数据源的权重值集成在数据的估计值的数学优化模型中，能够减少数据的估计值与真实值之间的偏差，提高数据真实值估计的准确性。

下面以一具体应用例对本发明实施例中的数据真实值的估计方法进行描述，在本发明实施例中，数据真实值估计装置对上述第一优化参数和上述第二优化参数进行第一迭代更新运算，且构建如下数学优化模型：

s.t.δ(W)＝1；

其中，

在上式中，v^(*)为目标数据源中所有数据的估计值集合，W表示各个目标数据源的权重值的集合，K表示目标数据源的个数，N表示每个目标数据源包含的数据记录的数量，M表示每条数据记录包含的不同数据类型数据的数量，w_k表示第k个目标数据源的权重值，表示第i条数据记录的第m个数据在第k个目标数据源中的记录值，为用于计算与之间的误差的代价函数，δ(W)为用于对目标数据源的权重值进行约束的约束函数，其中，各个目标数据源的权重值均为实数。

在本发明实施例中，上述各个目标数据源中的每个目标数据源包含至少一条数据记录，且每条数据记录包含至少一个数据，且，每个目标数据源包含相同数量的数据记录，且，每条数据记录包含相同数量的数据。

下面基于上述数学优化模型，对本发明实施例中的数据真实值的估计方法进行描述，请参阅图2，包括：

201、确定数学优化模型。

数据真实值估计装置确定上述数学优化模型。

202、初始化目标数据源中每个数据的估计值和每个目标数据源的权重值。

可选地，数据真实值估计装置随机生成目标数据源中每个数据的估计值和每个目标数据源的权重值，完成对上述每个数据的估计值和上述每个目标数据源的权重值的初始化，或者，针对上述每个数据，数据真实值估计装置选取数据在某一个目标数据源中的记录值作为该数据的初始值，或者，在初始化时，数据真实值估计装置将上述每个数据的估计值和上述每个目标数据源的权重值分别设定为默认值。当然，数据真实值估计装置也可以通过其它方式初始化上述每个数据的估计值和上述每个目标数据源的权重值，此处不作限定。

需要说明的是，不同目标数据源的初始化的权重值可以相同，也可以不同。

203、根据上述数学优化模型，上述每个数据在上述各个目标数据源中的记录值，当前上述每个数据的估计值以及第一公式更新每个目标数据源的权重值；

其中，上述第一公式为：

s.t.δ(W)＝1。

204、根据上述每个数据在上述各个目标数据源中的记录值，当前每个目标数据源的权重值以及第二公式，更新上述每个数据的估计值；

其中，上述第二公式为：

205、判断是否满足预置的迭代中止条件；

数据真实值估计装置判断是否满足预置的迭代中止条件，若满足，则执行步骤206，若不满足，则返回步骤203。

可选地，数据真实值估计装置判断步骤上述第一迭代更新运算过程中的迭代累计次数(即本次流程中，步骤204已执行的次数)是否超过预置的门限值，若超过，则判定当前满足预置的迭代中止条件，若不超过，则判定当前不满足预置的迭代中止条件。

可选地，数据真实值估计装置判断上述第一迭代更新运算过程中，本次迭代得到的一个中间数值与前次迭代得到的该中间数据之间的差值是否小于预置阈值，若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。例如，数据真实值估计装置判断上述迭代更新运算过程中，本次迭代得到的f(v^(*),W)与前次迭代得到的f(v^(*),W)之间的差值是否小于预置阈值，若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。

当然，本发明实施例也可以根据实际需要设定其它迭代中止条件，例如，在需要数据真实值估计装置停止上述第一迭代更新运算过程时，通过某个与数据真实值估计装置能够实现通讯的设备，向该数据真实值估计装置发送指示迭代中止的指令，数据真实值估计装置在收到该指令时，判定为满足预置的迭代中止条件，在没有收到该指令时，判定为不满足预置的迭代中止条件，本发明实施例不对具体地迭代中止条件进行限定。

206、将满足预置的迭代中止条件时得到的上述目标数据的估计值确定为该目标数据的真实值。

可选地，上述δ(W)取如下三种形式中的任意一种：

其中，w_k不小于0，k＝1,2...,K；

其中，w_k不小于0，且p为正整数；

其中，w_k取0或1，且j为不等于0的实数。

可选地，数据类型为离散型变量的数据，上述数据优化模型中的代价函数满足如下条件：

或者，也可以对离散型变量的数据进行二进制编码，然后利用欧氏距离表示上述数据优化模型中的代价函数，具体操作方式如下：假设是一个离散变量，该变量可能有L个可能的值，当前的是第l个值，则可以按如下的方式编码和计算代价函数：

假设编码后的为

则，

其中，表示的转置，表示的转置。

可选地，数据类型为连续型变量的数据，上述数据优化模型中的代价函数满足如下条件两个条件中的任一个：

其中，上述“std”表示对标准差的计算。

需要说明的是，本发明实施例中出现的所有数学符号均表示同一含义。

由上可见，本发明实施例基于对不同数据源有不同的可信度(即权重值)及分布模型的假设，将数据源的权重值和数据的估计值统一在一个数学优化模型中，基于该数学优化模型和数据在数据源中的记录值，通过迭代更新运算估计目标数据的真实值，能够有效避免多源异构数据的冲突问题，将数据源的权重值集成在数据的估计值的数学优化模型中，能够减少数据的估计值与真实值之间的偏差，提高数据真实值估计的准确性。

下面以一具体应用例对本发明实施例中的数据真实值的估计方法进行描述，在本发明实施例中，数据真实值估计装置对上述第一优化参数和上述第二优化参数进行第二迭代更新运算，且构建如下数学优化模型：

s.t.δ(W)＝1；

其中，

在上式中，v^(*)为目标数据源中所有数据的估计值集合，W表示各个目标数据源的权重值的集合，K表示目标数据源的个数，N表示每个目标数据源包含的数据记录的数量，M表示每条数据记录包含的不同数据类型数据的数量，w_k表示第k个目标数据源的权重值，表示第i条数据记录的第m个数据在第k个目标数据源中的记录值，为用于计算与之间的误差的代价函数，δ(W)为用于对目标数据源的权重值进行约束的约束函数，其中，各个目标数据源的权重值均为实数。

在本发明实施例中，上述各个目标数据源中的每个目标数据源包含至少一条数据记录，且每条数据记录包含至少一个数据，且，每个目标数据源包含相同数量的数据记录，且，每条数据记录包含相同数量的数据。

下面基于上述数学优化模型，对本发明实施例中的数据真实值的估计方法进行描述，请参阅图3，包括：

301、确定数学优化模型。

数据真实值估计装置确定上述数学优化模型。

302、初始化目标数据源中每个数据的估计值和每个目标数据源的权重值。

可选地，数据真实值估计装置随机生成目标数据源中每个数据的估计值和每个目标数据源的权重值，完成对上述每个数据的估计值和上述每个目标数据源的权重值的初始化，或者，针对上述每个数据，数据真实值估计装置选取数据在某一个目标数据源中的记录值作为该数据的初始值，或者，在初始化时，数据真实值估计装置将上述每个数据的估计值和上述每个目标数据源的权重值分别设定为默认值。当然，数据真实值估计装置也可以通过其它方式初始化上述每个数据的估计值和上述每个目标数据源的权重值，此处不作限定。

需要说明的是，不同目标数据源的初始化的权重值可以相同，也可以不同。

303、根据上述每个数据在上述各个目标数据源中的记录值，当前每个目标数据源的权重值以及第二公式，更新上述每个数据的估计值；

其中，上述第二公式为：

304、根据上述数学优化模型，上述每个数据在上述各个目标数据源中的记录值，当前上述每个数据的估计值以及第一公式更新每个目标数据源的权重值；

其中，上述第一公式为：

s.t.δ(W)＝1。

305、判断是否满足预置的迭代中止条件；

数据真实值估计装置判断是否满足预置的迭代中止条件，若满足，则执行步骤306，若不满足，则返回步骤303。

可选地，数据真实值估计装置判断步骤上述第一迭代更新运算过程中的迭代累计次数(即本次流程中，步骤304已执行的次数)是否超过预置的门限值，若超过，则判定当前满足预置的迭代中止条件，若不超过，则判定当前不满足预置的迭代中止条件。

可选地，数据真实值估计装置判断上述第一迭代更新运算过程中，本次迭代得到的一个中间数值与前次迭代得到的该中间数据之间的差值是否小于预置阈值，若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。例如，数据真实值估计装置判断上述迭代更新运算过程中，本次迭代得到的f(v^(*),W)与前次迭代得到的f(v^(*),W)之间的差值是否小于预置阈值，若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。

当然，本发明实施例也可以根据实际需要设定其它迭代中止条件，例如，在需要数据真实值估计装置停止上述第一迭代更新运算过程时，通过某个与数据真实值估计装置能够实现通讯的设备，向该数据真实值估计装置发送指示迭代中止的指令，数据真实值估计装置在收到该指令时，判定为满足预置的迭代中止条件，在没有收到该指令时，判定为不满足预置的迭代中止条件，本发明实施例不对具体地迭代中止条件进行限定。

306、将满足预置的迭代中止条件时得到的上述目标数据的估计值确定为该目标数据的真实值。

可选地，上述δ(W)取如下三种形式中的任意一种：

其中，w_k不小于0，k＝1,2...,K；

其中，w_k不小于0，且p为正整数；

其中，w_k取0或1，且j为不等于0的实数。

可选地，数据类型为离散型变量的数据，上述数据优化模型中的代价函数满足如下条件：

或者，也可以对离散型变量的数据进行二进制编码，然后利用欧氏距离表示上述数据优化模型中的代价函数，具体操作方式如下：假设是一个离散变量，该变量可能有L个可能的值，当前的是第l个值，则可以按如下的方式编码和计算代价函数：

假设编码后的为

则，

其中，表示的转置，表示的转置。

可选地，数据类型为连续型变量的数据，上述数据优化模型中的代价函数满足如下条件两个条件中的任一个：

其中，上述“std”表示对标准差的计算。

需要说明的是，本发明实施例中出现的所有数学符号均表示同一含义。

由上可见，本发明实施例基于对不同数据源有不同的可信度(即权重值)及分布模型的假设，将数据源的权重值和数据的估计值统一在一个数学优化模型中，基于该数学优化模型和数据在数据源中的记录值，通过迭代更新运算估计目标数据的真实值，能够有效避免多源异构数据的冲突问题，将数据源的权重值集成在数据的估计值的数学优化模型中，能够减少数据的估计值与真实值之间的偏差，提高数据真实值估计的准确性。

本发明实施例还提供一种数据真实值估计装置，如图4所示，本发明实施例中的数据真实值估计装置400，包括：

第一确定单元401，用于确定数学优化模型，其中，上述数学优化模型基于上述第一优化参数和上述第二优化参数构建，上述第一优化参数包括目标数据的估计值，上述第二优化参数为各个目标数据源的权重值，其中，上述目标数据源包含上述目标数据。

初始化单元402，用于初始化上述第一优化参数和上述第二优化参数；

迭代更新运算单元403，用于对上述第一优化参数和上述第二优化参数进行迭代更新运算。

第二确定单元404，用于当满足预置的迭代中止条件时，将满足预置的迭代中止条件时得到的上述目标数据的估计值确定为该目标数据的真实值。

其中，迭代更新运算单元403具体用于：根据上述数学优化模型，上述目标数据在上述各个目标数据源中的记录值以及上述第一优化参数的当前值更新上述第二优化参数，在更新上述第二优化参数之后，根据上述目标数据在上述各个目标数据源中的记录值和上述更新后的第二优化参数更新上述第一优化参数，返回并顺序执行上述更新上述第二优化参数的动作和上述更新上述第一优化参数的动作；

或者，迭代更新运算单元403具体用于：根据上述目标数据在上述各个目标数据源中的记录值和上述第二优化参数的当前值更新上述第一优化参数，在更新上述第一优化参数之后，根据上述数学优化模型，上述目标数据在上述各个目标数据源中的记录值以及上述更新后的第一优化参数，更新上述第二优化参数，返回并顺序执行上述更新第一优化参数的动作和上述更新上述第二优化参数的动作。

可选地，初始化单元402随机生成上述第一优化参数的初始值和上述第二优化参数的初始值，或者，初始化单元402选取目标数据在某一个目标数据源中的记录值作为上述第一优化参数的初始值，或者，初始化单元402将上述第一优化参数的初始值和上述第二优化参数的初始值分别设定为默认值。当然，初始化单元402也可以通过其它方式初始化上述第一优化参数和上述第二优化参数，此处不作限定。

在一种应用场景中，在上述各个目标数据源中，每个目标数据源包含至少一条数据记录，且每条数据记录包含至少一个数据，且，每个目标数据源包含相同数量的数据记录，且，每条数据记录包含相同数量的数据，则可选地，第一确定单元401确定的数学优化模型为：

s.t.δ(W)＝1；

其中，

在上式中，v^(*)为目标数据源中所有数据的估计值集合，W表示各个目标数据源的权重值的集合，K表示目标数据源的个数，N表示每个目标数据源包含的数据记录的数量，M表示每条数据记录包含的不同数据类型数据的数量，w_k表示第k个目标数据源的权重值，表示第i条数据记录的第m个数据在第k个目标数据源中的记录值，为用于计算与之间的误差的代价函数，δ(W)为用于对目标数据源的权重值进行约束的约束函数，其中，各个目标数据源的权重值均为实数；

初始化单元402具体用于：初始化目标数据源中每个数据的估计值和每个目标数据源的权重值；

迭代更新运算单元403具体用于：根据数学优化模型，每个数据在各个目标数据源中的记录值，当前每个数据的估计值以及第一公式更新每个目标数据源的权重值；根据上述每个数据在上述各个目标数据源中的记录值，当前每个目标数据源的权重值以及第二公式，更新上述每个数据的估计值其中；

其中，上述第一公式为：

s.t.δ(W)＝1；

上述第二公式为：

可选地，在图4所示实施例的基础上，如图5所示，数据真实值估计装置500还包括：

判断单元405，用于判断迭代更新运算单元404在迭代更新运算过程中的迭代累计次数是否超过预置的门限值，若超过，则判定当前满足预置的迭代中止条件，若不超过，则判定当前不满足预置的迭代中止条件。或者，判断单元405用于判断在迭代更新运算单元404执行迭代更新运算过程中，本次迭代得到的f(v^(*),W)与前次迭代得到的f(v^(*),W)之间的差值是否小于预置阈值，若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。

当然，本发明实施例判断单元405也可以根据实际需要设定其它迭代中止条件，例如，在需要迭代更新运算单元404停止迭代更新运算过程时，通过某个与本发明实施例中的数据真实值估计装置能够实现通讯的设备，向本发明实施例中的数据真实值估计装置发送指示迭代中止的指令，判断单元405在数据真实值估计装置收到该指令时，判定为满足预置的迭代中止条件，在数据真实值估计装置没有收到该指令时，判定为不满足预置的迭代中止条件，本发明实施例不对具体地迭代中止条件进行限定。

可选地，上述δ(W)取如下三种形式中的任意一种：

其中，w_k不小于0，k＝1,2...,K；

其中，w_k不小于0，且p为正整数；

其中，w_k取0或1，且j为不等于0的实数。

可选地，数据类型为离散型变量的数据，上述数据优化模型中的代价函数满足如下条件：

或者，也可以对离散型变量的数据进行二进制编码，然后利用欧氏距离表示上述数据优化模型中的代价函数，具体操作方式如下：假设是一个离散变量，该变量可能有L个可能的值，当前的是第l个值，则可以按如下的方式编码和计算代价函数：

假设编码后的为

则，

其中，表示的转置，

表示的转置。

可选地，数据类型为连续型变量的数据，上述数据优化模型中的代价函数满足如下条件两个条件中的任一个：

其中，上述“std”表示对标准差的计算。

需要说明的是，本发明实施例中出现的所有数学符号均表示同一含义。

需要说明的是，本发明实施例中的数据真实值估计装置可以如上述方法实施例中的数据真实值估计装置，可以用于实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实施例中的相关描述，此处不再赘述。

由上可见，本发明实施例基于对不同数据源有不同的可信度(即权重值)及分布模型的假设，将数据源的权重值和数据的估计值统一在一个数学优化模型中，基于该数学优化模型和数据在数据源中的记录值，通过迭代更新运算估计目标数据的真实值，能够有效避免多源异构数据的冲突问题，将数据源的权重值集成在数据的估计值的数学优化模型中，能够减少数据的估计值与真实值之间的偏差，提高数据真实值估计的准确性。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储有程序，该程序执行包括上述方法实施例中记载的部分或全部布置。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以理解上述实施例中的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质例如可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上对本发明所提供的一种数据真实值的估计方法及数据真实值估计装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种数据真实值的估计方法，其特征在于，包括：

确定数学优化模型，其中，所述数学优化模型基于第一优化参数和第二优化参数构建，所述第一优化参数包括目标数据的估计值，所述第二优化参数包括各个目标数据源的权重值，其中，所述目标数据源包含所述目标数据，所述目标数据在两个以上所述目标数据源的记录值不全相同；

初始化所述第一优化参数和所述第二优化参数；

对所述第一优化参数和所述第二优化参数进行迭代更新运算；

当满足预置的迭代中止条件时，将满足预置的迭代中止条件时得到的所述目标数据的估计值确定为所述目标数据的真实值；

其中，所述对所述第一优化参数和所述第二优化参数进行迭代更新运算，包括：第一迭代更新运算或第二迭代更新运算；

所述第一迭代更新运算包括：

根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述第一优化参数的当前值，更新所述第二优化参数；

在更新所述第二优化参数后，根据所述目标数据在所述各个目标数据源中的记录值和所述第二优化参数的当前值，更新所述第一优化参数；

在更新所述第一优化参数后，返回并顺序执行所述更新所述第二优化参数的步骤和所述更新所述第一优化参数的步骤；

所述第二迭代更新运算包括：

根据所述目标数据在所述各个目标数据源中的记录值和所述第二优化参数的当前值，更新所述第一优化参数；

在更新所述第一优化参数后，根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述第一优化参数的当前值，更新所述第二优化参数；

在更新所述第二优化参数后，返回并顺序执行所述更新所述第一优化参数的步骤和所述更新所述第二优化参数的步骤；

所述确定数学优化模型具体为确定如下数学优化模型：

s.t.δ(W)＝1；

其中，

在上式中，v^(*)为目标数据源中所有数据的估计值集合，W表示各个目标数据源的权重值的集合，K表示目标数据源的个数，N表示每个目标数据源包含的数据记录的数量，M表示每条数据记录包含的不同数据类型数据的数量，w_k表示第k个目标数据源的权重值，表示第i条数据记录的第m个数据在第k个目标数据源中的记录值，为用于计算与之间的误差的代价函数，δ(W)为用于对目标数据源的权重值进行约束的约束函数，其中，各个目标数据源的权重值均为实数。

2.根据权利要求1所述的方法，其特征在于，

在所述各个目标数据源中，每个目标数据源包含至少一条数据记录，且每条数据记录包含至少一个数据，且，每个目标数据源包含相同数量的数据记录，且，每条数据记录包含相同数量的数据；

所述初始化所述第一优化参数和所述第二优化参数，包括：

初始化目标数据源中每个数据的估计值和每个目标数据源的权重值；

所述根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述第一优化参数的当前值，更新所述第二优化参数，包括：

所述根据所述数学优化模型，所述每个数据在所述各个目标数据源中的记录值，当前所述每个数据的估计值以及第一公式，更新每个目标数据源的权重值，其中，所述第一公式为：

s.t.δ(W)＝1；

所述根据所述目标数据在所述各个目标数据源中的记录值和所述第二优化参数的当前值，更新所述第一优化参数，包括：

根据所述每个数据在所述各个目标数据源中的记录值，当前每个目标数据源的权重值以及第二公式，更新所述每个数据的估计值，其中，所述第二公式为：

3.根据权利要求2所述的方法，其特征在于，

所述δ(W)取如下三种形式中的任意一种：

其中，w_k不小于0，k＝1,2...,K；

其中，w_k不小于0，且p为正整数；

其中，w_k取0或1，且j为不等于0的实数。

4.根据权利要求2或3所述的方法，其特征在于，

对于数据类型为离散型变量的数据，满足如下条件：

5.根据权利要求2或3所述的方法，其特征在于，

对于数据类型为连续型变量的数据，满足如下两个条件中的任一个：

6.根据权利要求1至3任一项所述的方法，其特征在于，

所述方法还包括：

判断所述迭代更新运算过程中的迭代累计次数是否超过预置的门限值，若超过，则判定当前满足预置的迭代中止条件，若不超过，则判定当前不满足预置的迭代中止条件。

7.根据权利要求2至3任一项所述的方法，其特征在于，

所述方法还包括：判断所述迭代更新运算过程中，本次迭代得到的f(v^(*),W)与前次迭代得到的f(v^(*),W)之间的差值是否小于预置阈值；

若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。

8.一种数据真实值估计装置，其特征在于，包括：

第一确定单元，用于确定数学优化模型，其中，所述数学优化模型基于第一优化参数和第二优化参数构建，所述第一优化参数包括目标数据的估计值，所述第二优化参数包括各个目标数据源的权重值，其中，所述目标数据源包含所述目标数据，所述目标数据在两个以上所述目标数据源的记录值不全相同；

初始化单元，用于初始化所述第一优化参数和所述第二优化参数；

迭代更新运算单元，用于对所述第一优化参数和所述第二优化参数进行迭代更新运算；

第二确定单元，用于当满足预置的迭代中止条件时，将满足预置的迭代中止条件时得到的所述目标数据的估计值确定为所述目标数据的真实值；

其中，所述迭代更新运算单元具体用于：根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述第一优化参数的当前值更新所述第二优化参数，在更新所述第二优化参数之后，根据所述目标数据在所述各个目标数据源中的记录值和所述更新后的第二优化参数更新所述第一优化参数，返回并顺序执行所述更新所述第二优化参数的动作和所述更新所述第一优化参数的动作；

或者，

所述迭代更新运算单元具体用于：根据所述目标数据在所述各个目标数据源中的记录值和所述第二优化参数的当前值更新所述第一优化参数，在更新所述第一优化参数之后，根据所述数学优化模型，所述目标数据在所述各个目标数据源中的记录值以及所述更新后的第一优化参数，更新所述第二优化参数，返回并顺序执行所述更新所述第一优化参数的动作和所述更新所述第二优化参数的动作；

所述第一确定单元确定的数学优化模型为：

s.t.δ(W)＝1；

其中，

在上式中，v^(*)为目标数据源中所有数据的估计值集合，W表示各个目标数据源的权重值的集合，K表示目标数据源的个数，N表示每个目标数据源包含的数据记录的数量，M表示每条数据记录包含的不同数据类型数据的数量，w_k表示第k个目标数据源的权重值，表示第i条数据记录的第m个数据在第k个目标数据源中的记录值，为用于计算与之间的误差的代价函数，δ(W)为用于对目标数据源的权重值进行约束的约束函数，其中，各个目标数据源的权重值均为实数。

9.根据权利要求8所述的数据真实值估计装置，其特征在于，

在所述各个目标数据源中，每个目标数据源包含至少一条数据记录，且每条数据记录包含至少一个数据，且，每个目标数据源包含相同数量的数据记录，且，每条数据记录包含相同数量的数据；

所述初始化单元具体用于：初始化目标数据源中每个数据的估计值和每个目标数据源的权重值；

所述迭代更新运算单元具体用于：

根据所述数学优化模型，所述每个数据在所述各个目标数据源中的记录值，当前所述每个数据的估计值以及第一公式更新每个目标数据源的权重值；根据所述每个数据在所述各个目标数据源中的记录值，当前每个目标数据源的权重值以及第二公式，更新所述每个数据的估计值，

其中，所述第一公式为：

s.t.δ(W)＝1；

所述第二公式为：

10.根据权利要求8或9所述的数据真实值估计装置，其特征在于，

所述数据真实值估计装置还包括：

判断单元，用于判断所述迭代更新运算单元在迭代更新运算过程中的迭代累计次数是否超过预置的门限值，若超过，则判定当前满足预置的迭代中止条件，若不超过，则判定当前不满足预置的迭代中止条件。

11.根据权利要求9所述的数据真实值估计装置，其特征在于，

所述数据真实值估计装置还包括：

判断单元，用于判断在所述迭代更新运算单元执行迭代更新运算过程中，本次迭代得到的f(v^(*),W)与前次迭代得到的f(v^(*),W)之间的差值是否小于预置阈值，若小于预置阈值，则判定当前满足预置的迭代中止条件，若不小于预置阈值，则判定当前不满足预置的迭代中止条件。