CN110704543A - 多类型多平台信息数据自适应融合系统及方法 - Google Patents

Abstract

本发明提供了一种多类型多平台信息数据自适应融合系统及方法，以装备体系的设计、试验、评估等应用需求为背景，用于实现来自多类型/多平台的源数据向具体应用场景的目标数据自适应转换，包括元数据模型、数据自适应处理模型、数据映射模块。根据目标数据的需求，从源数据中提取元数据；以元数据、目标数据需求为输入，自适应地选择数据处理方法，对源数据进行重构、降维等处理；根据目标数据的需求，选择相应的数据映射关系，将自适应处理后的数据映射为目标数据，完成多类型、多平台数据的融合。可提高大数据处理效率，为装备体系的设计、试验、评估等不同的应用需求提供高效的数据支撑。

Description

多类型多平台信息数据自适应融合系统及方法

技术领域

本发明涉及数据处理领域，具体地，涉及一种多类型多平台信息数据自适应融合系统及方法，尤其是可支持基于大数据的装备体系综合设计与评估的自适应数据融合技术。

背景技术

在装备体系综合设计与评估过程中，面临的数据包括实装数据、仿真试验数据、测试数据等多种类型，且数据来自于不同的装备平台，数据种类繁多，结构复杂，来源多样，而且各种需求场景差异度大，为了提供有效、可用、完整的数据内容，需要在构建数据模型的基础上，进一步实现面向应用的数据融合。总体而言，自适应融合技术要求数据融合时，选取表达准确、精度高的数据进行融合，并对融合后的数据进行几何拓扑、空间关系与逻辑一致性处理，使融合后的数据更精确、更全面；而自适应分析时能做到快速响应需求和快速反馈，从而保证融合后的数据在准确性、全面性等方面达到最优。

目前，数据处理一般直接以源数据为对象，根据数据的具体特征，预先指定数据处理方法，实现数据融合处理(余修武、范飞生等，无线传感器网络自适应预测加权数据融合算法，传感技术学报，2017年，第30卷，第5期，772-776页；王春媚等，基于自适应无迹卡尔曼算法的工业物联网数据融合处理，电气传动自动化，2016年，第38卷，第4期，43-47页)。随着装备体系综合设计与评估业务面对的数据呈现出海量性、多样性、高速性等大数据特征，故一般无法从具体的数据去考虑处理方法，而应该更注重某类数据的元数据，从元数据角度考虑数据集成方法，以此作为该类数据针对某个场景需求的数据的处理方法。在此基础上，利用数据自适应处理模型实现数据处理方法的自适应选择，达到准确、全面、高效的数据融合的目的。

与本申请相关的现有技术是专利文献CN108628866A，公开了一种数据融合的方法和装置，根据数据融合需求，确定多个专题表标签及各专题表标签对应的阈值；在多个数据源数据中，获取与各专题表标签对应且满足各专题表标签对应阈值的子数据；融合与各专题表标签对应的子数据，满足了基于同一专题表标签融合不同数据源数据的需求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种多类型多平台信息数据自适应融合系统及方法。

根据本发明提供的一种多类型多平台信息数据自适应融合系统，包括：

元数据结构模块：根据目标数据的应用场景需求，采用实体-属性模型构建元数据结构模型，从源数据中提取元数据；

自适应处理模块：构建数据自适应处理模型，根据数据自适应处理模型对源数据进行数据重构、数据降维，得到自适应处理数据；

数据映射模块：构建数据映射关系，将自适应处理数据根据数据映射关系，映射为目标数据。

优选地，所述元数据结构模型中用实体表示研究对象，属性表示研究对象的关联性数据。

优选地，所述数据自适应处理模型中采用随机森林算法与产生式规则相结合的自适应选择，若数据样本少，则采用产生式规则作为数据处理依据，否则，则先采用产生式规则进行预分类，再采用随机森林算法进行处理。

优选地，所述数据重构、数据降维中，对于单一维度数据进行数据重构，进行数据冲突处理、插值处理、模糊集量化处理中的任一种或任多种处理；

对于多个维度数据进行数据降维，采用主成分分析、多维尺度分析中的任一种或任多种。

优选地，所述关联性数据包括研究对象的核心数据、特征信息、扩展信息、数据类型、数据结构中的任一种或任多种。

根据本发明提供的一种多类型多平台信息数据自适应融合方法，包括：

元数据结构步骤：根据目标数据的应用场景需求，采用实体-属性模型构建元数据结构模型，从源数据中提取元数据；

自适应处理步骤：构建数据自适应处理模型，根据数据自适应处理模型对源数据进行数据重构、数据降维，得到自适应处理数据；

数据映射步骤：构建数据映射关系，将自适应处理数据根据数据映射关系，映射为目标数据。

优选地，所述元数据结构模型中用实体表示研究对象，属性表示研究对象的关联性数据。

优选地，所述数据自适应处理模型中采用随机森林训练与产生式规则相结合的自适应选择，若数据样本少，则采用产生式规则作为数据处理依据，否则，则先采用产生式规则进行预分类，再采用随机森林训练进行处理。

优选地，所述随机森林训练包括以下步骤：

步骤1：将记录有元数据、数据使用场景、对应解决方法的历史记录作为训练样本；

步骤2：元数据、数据使用场景作为特点，对应的解决方法作为结果，开始随机森林算法模型训练；

步骤3：训练过程中，模型记录下数据处理人员对数据的处理方法，并作为新的训练样本。

步骤4：重复1-3，直至随机森林模型训练完成。

优选地，所述数据重构中遇到数据冲突采用以下步骤：

步骤1：分析所要处理的数据样本，得到数据处理后可能出现的所有互斥的假设，构成D-S证据理论中的识别框架U＝{H₁，H₂，...，H_n}，n是假设的个数，H是每一个可能的假设；

步骤2：在识别框架U中，为每一个命题分配证据，并获取假设的基本概率分配函数m(A)，其中m(A)是映射m：2^U→[0，1]下的一个函数，满足

约束条件，A是包含U中一个或多个假设的命题；

步骤3：结合D-S证据理论中的信度函数

和似然函数

构造识别框架中的每个命题的信任区间[Bel(A)，PL(A)]，A和B都是2^U中的命题；

步骤4：利用D-S证据理论合成法则对每个命题的信任度进行合成，根据合成后的结果决策出证据数据的所属命题。

与现有技术相比，本发明具有如下的有益效果：

1、从元数据角度考虑数据集成方法，能够根据目标数据应用场景的要求，准确、全面、高效地实现数据融合。

2、数据融合效率更高，能够根据源数据特征及应用需求，自适应地选择数据处理方法，加快了数据处理进程，从而提高了数据处理效率。

3、具有自学习特点，使得数据处理的准确性、全面性随着学习的过程，将越来越高。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的框架结构示意图；

图2为本发明的数据自适应融合的流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，根据本发明提供的一种多类型/多平台信息数据自适应融合系统，包括元数据结构模型、数据自适应处理模块、数据映射模块，采用单域数据重构，多域数据降维相结合的方法对数据进行自适应融合。首先，根据目标数据的需求，从源数据中提取元数据；其次，以元数据、目标数据需求为输入，自适应地选择数据处理方法，对源数据进行重构、降维等处理；最后，根据目标数据的需求，选择相应的数据映射关系，将自适应处理后的数据映射为目标数据，完成多类型、多平台数据的融合。所述元数据采用实体-属性模型提取。实体是指研究对象，属性是指研究对象的核心数据、特征信息、扩展信息、数据类型、数据结构等。元数据的元素如表一所示。进一步，元数据属性要求包括名称、数据来源、关键字、数据描述、日期、数据类型、数据格式。

表一

所述数据自适应处理模块包括数据自适应处理模型以及数据重构和数据降维处理算法。所述数据自适应处理模型实现数据处理方法的自适应选择，其具体实现方法如下：

1)在数据样本较少的情况下，采用产生式规则作为数据处理的依据，即IF P THENQ。P是产生式的前提，Q是一组结论或操作。

2)在处理大数据时，采用随机森林算法与产生式规则融合的数据自适应处理模型。具体方法是：为了提高自适应处理模型的准确度与计算效率，先对数据集采用产生式规则进行预分类，再根据已训练的随机森林算法根据数据集的特点推荐重构、降维等处理方法，实现大数据自适应处理。

所述随机森林算法模型的训练方法如下：

步骤1：将记录有元数据、数据使用场景员、对应解决方法的历史记录作为训练样本。

步骤2：元数据、数据使用场景作为其特点，对应的解决方法作为其结果，开始随机森林算法模型训练。

步骤3：训练过程中，模型记录下数据处理人员对数据的处理方法，并作为新的训练样本。

步骤3：重复1-3，直至随机森林算法模型训练完成。

所述数据重构、数据降维等具体处理方法如下：

1)对于单域数据进行数据重构，包括数据冲突处理、插值处理、模糊集量化处理等方法。

2)针对高维数据进行数据降维，包括主成份分析(PCA)、多维尺度分析法(MDS)等。

具体地，所述数据冲突处理，利用D-S证据理论处理同一属性值具有不同描述数据的情况。主要步骤如下：

步骤1：分析所要处理的数据样本，得到数据处理后可能出现的所有互斥的假设，构成D-S证据理论中的识别框架U＝{H₁，H₂，...，H_n}。n是假设的个数，H是每一个可能的假设。

步骤2：在识别框架U中，为每一个命题分配证据，并获取它的基本概率分配函数m(A)。m(A)是映射m：2^U→[0，1]下的一个函数，满足

约束条件，A是包含U中一个或多个假设的命题。

步骤3：结合D-S证据理论中的信度函数

和似然函数

构造识别框架中的每个命题的信任区间[Bel(A)，PL(A)]。A和B都是2^U中的命题。

步骤4：最后利用D-S证据理论合成法则对每个命题的信任度进行合成，根据合成后的结果决策出证据数据属于哪一种命题。

所述插值处理，利用拉格朗日插值方法对两个离散数据点之间的值进行估计。

所述模糊集量化处理，利用隶属度函数对模糊数据进行量化处理。

所述映射关系的运算符主要包括二元运算符、多元运算符、自定义运算符。具体如表二所示。

表二

在本实施中，以融合来自于卫星、地基雷达、机载雷达等三个平台的目标信息数据为例，对本发明作示意性阐述。

根据图2所示的流程，首先从源数据中提取目标信息数据的元数据。并将元数据中的数据来源元素记为向量X₁＝{x₁₁，x₁₂，x₁₃}，x₁₁，x₁₂，x₁₃分别表示数据来源为卫星、机载雷达、地基雷达。为了简化说明，元数据中的其它元素不作阐述。同时，将数据的应用场景记为向量X₂＝{x₂₁，x₂₂}，x₂₁，x₂₂分别表示信号特征分析、数据可视化展示。通常，数据存在约束条件，记为向量X₃＝{x₃₁，x₃₂，x₃₃}，x₃₁，x₃₂，x₃₃分别表示无约束、部分约束、完全约束。将上述向量组合成新向量Z＝(X₁，X₂，X₃)。

然后，将向量Z输入数据自适应处理模型，采用产生式规则进行预分类。具体流程如下：

在产生式规则预分类的基础上，采用随机森林算法进一步处理。具体方法如为：将数据处理方法记为变量为Y。将所有历史记录整理为(Z，Y)形式的向量，以此来训练随机森林模型。当新数据集到来时，向模型输入其对应的向量Z′，即可获得模型推荐的处理方法Y′。数据使用人员可以选择接受或拒绝模型的推荐，同时该数据集的向量Z′与最终选择的处理方法Y^*以(Z′，Y^*)的记录入历史纪录库中，供模型未来训练使用。

根据本实施例源数据和目标数据的特点，数据自适应处理模型采用单域数据的数据冲突处理算法完成数据重构。由于重构后的数据，已满足目标数据需求，因此，无需经过映射关系运算，可直接将重构后的数据转换在目标数据。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种多类型多平台信息数据自适应融合系统，其特征在于，包括：

元数据结构模块：根据目标数据的应用场景需求，采用实体-属性模型构建元数据结构模型，从源数据中提取元数据；

自适应处理模块：构建数据自适应处理模型，根据数据自适应处理模型对源数据进行数据重构、数据降维，得到自适应处理数据；

数据映射模块：构建数据映射关系，将自适应处理数据根据数据映射关系，映射为目标数据。

2.根据权利要求1所述的多类型多平台信息数据自适应融合系统，其特征在于，所述元数据结构模型中用实体表示研究对象，属性表示研究对象的关联性数据。

3.根据权利要求1所述的多类型多平台信息数据自适应融合系统，其特征在于，所述数据自适应处理模型中采用随机森林算法与产生式规则相结合的自适应选择，若数据样本少，则采用产生式规则作为数据处理依据，否则，则先采用产生式规则进行预分类，再采用随机森林算法进行处理。

4.根据权利要求1所述的多类型多平台信息数据自适应融合系统，其特征在于，所述数据重构、数据降维中，对于单一维度数据进行数据重构，进行数据冲突处理、插值处理、模糊集量化处理中的任一种或任多种处理；

对于多个维度数据进行数据降维，采用主成分分析、多维尺度分析中的任一种或任多种。

5.根据权利要求2所述的多类型多平台信息数据自适应融合系统，其特征在于，所述关联性数据包括研究对象的核心数据、特征信息、扩展信息、数据类型、数据结构中的任一种或任多种。

6.一种多类型多平台信息数据自适应融合方法，其特征在于，包括：

元数据结构步骤：根据目标数据的应用场景需求，采用实体-属性模型构建元数据结构模型，从源数据中提取元数据；

自适应处理步骤：构建数据自适应处理模型，根据数据自适应处理模型对源数据进行数据重构、数据降维，得到自适应处理数据；

数据映射步骤：构建数据映射关系，将自适应处理数据根据数据映射关系，映射为目标数据。

7.根据权利要求1所述的多类型多平台信息数据自适应融合方法，其特征在于，所述元数据结构模型中用实体表示研究对象，属性表示研究对象的关联性数据。

8.根据权利要求1所述的多类型多平台信息数据自适应融合方法，其特征在于，所述数据自适应处理模型中采用随机森林训练与产生式规则相结合的自适应选择，若数据样本少，则采用产生式规则作为数据处理依据，否则，则先采用产生式规则进行预分类，再采用随机森林训练进行处理。

9.根据权利要求8所述的多类型多平台信息数据自适应融合方法，其特征在于，所述随机森林训练包括以下步骤：

步骤1：将记录有元数据、数据使用场景、对应解决方法的历史记录作为训练样本；

步骤2：元数据、数据使用场景作为特点，对应的解决方法作为结果，开始随机森林算法模型训练；

步骤3：训练过程中，模型记录下数据处理人员对数据的处理方法，并作为新的训练样本。

步骤4：重复1-3，直至随机森林模型训练完成。

10.根据权利要求9所述的多类型多平台信息数据自适应融合方法，其特征在于，所述数据重构中遇到数据冲突采用以下步骤：

步骤1：分析所要处理的数据样本，得到数据处理后可能出现的所有互斥的假设，构成D-S证据理论中的识别框架U＝{H₁,H₂,…,H_n}，n是假设的个数，H是每一个可能的假设；

步骤2：在识别框架U中，为每一个命题分配证据，并获取假设的基本概率分配函数m(A)，其中m(A)是映射m:2^U→[0,1]下的一个函数，满足

约束条件，A是包含U中一个或多个假设的命题；

步骤3：结合D-S证据理论中的信度函数

和似然函数

构造识别框架中的每个命题的信任区间[Bel(A),PL(A)]，A和B都是2^U中的命题；

步骤4：利用D-S证据理论合成法则对每个命题的信任度进行合成，根据合成后的结果决策出证据数据的所属命题。

Images