CN110471903A - 异构系统节点信息汇总方法、数据库生成方法、数据生成方法和装置 - Google Patents

Abstract

本发明公开了一种异构系统节点信息汇总方法和装置，采集来自异构系统不同节点的交互动作信息，经统一编码后，对每一条信息进行克隆，即将交互双方对调，交互方向对调，形成一条交互方向相反的交互动作信息，然后对所有信息进行合并和补全形成数据库。合并和补全时，如果两条数据不完全相同，按字段处理，字段内容相等选其一，不等选大者；对于仅有一条的交互动作信息不做处理；本发明还提供了全球贸易数据库生成方法和装置，无数据节点的数据生成方法和装置，以及无数据报道国家的贸易数据库生成方法和装置。采用本发明能够较准确、全面的推算无数据节点的相关数据，且在一定程度修正数据误差。

Description

异构系统节点信息汇总方法、数据库生成方法、数据生成方法 和装置

技术领域

本发明属于信息技术领域，尤其涉及一种异构系统节点信息汇总方法和装置、全球贸易数据库生成方法和装置、无数据节点的数据生成方法和装置，以及无数据报道国家的贸易数据库生成方法和装置。

背景技术

大数据时代，如何快速准确识别所需要的数据信息和高效使用这些数据信息，是影响研究、分析、决策等工作效率和效果的关键环节。

但是大数据通常来自异构系统，其不仅存在格式不统一，无法进行对比和汇总的问题，还存在数据缺失的问题。举两个常见的例子：

例1：异构系统的信息汇总

当需要对异构系统进行基于汇总信息的控制时，例如智能体任务分配、车辆的路径规划、网络单元的资源占用、全球金融系统的资金流动等均需要从异构的系统节点中汇总信息。由于节点的异构性，需要对不同节点的信息进行统一化；此外，对与交互信息的汇总，其难点在于，交互双方获得了交互动作，但是其中一方或者双方因为某种原因，没有记录在案，因此缺少了完整、全面的交互信息，导致汇总数据不够清晰。

例2：全球贸易大数据的汇总

目前的全球贸易大数据系统最多能查询160多个国家地区的相关数据，且基本没有较复杂的数据分析功能。如，我国国家信息中心2018年1月最新建立的全球贸易大数据系统是目前最先进的，有129个国家地区的数据，但数据系统仅供129个国家的数据查询和简单的对比分析(如年增长率等)。主要原因是许多小国没有相关数据统计或报道，且数据量过大(如一个国家每年的海关数据就过亿)，很难让数据按照分析使用需要的条件编排。

因此，需要设计一种数据处理方法，不仅可以在一定程度修正数据误差，而且可以较准确、全面的推算无数据节点的相关数据，具有统一编码的数据编排也更容易支持复杂的后续智能分析的需求。

发明内容

有鉴于此，本发明提供了一种异构系统节点信息汇总方法，能够较准确、全面的推算无数据节点的相关数据，且在一定程度修正数据误差。

该方法包括：

步骤一、采集来自异构系统不同节点的交互动作信息；交互动作信息包含编码体系的类型值、交互双方、交互方向、交互内容和交互数量；

步骤二、对采用不同编码体系的交互动作信息进行统一编码：

针对交互动作信息中除了编码体系的每个字段X按照其特点进行不同的编码统一处理：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对字段X进行修改；

c、如果数据来源的编码方式不同，且以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，根据交互动作信息中的编码体系字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，从交互动作信息中提取编码体系字段和字段X的当前编码Mx，根据编码体系字段确定字段X 在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码；

步骤三、针对经编码统一处理的每一条交互动作信息，将交互双方对调，交互方向对调，形成一条交互方向相反的交互动作信息；

步骤四、对步骤三处理后的交互动作信息进行合并、补全处理：

找到交互双方、交互内容和交互方向均相同的两条数据，如果两条数据的各段参数均相同，则删除其中一条；如果两条数据不完全相同，则进行合并；合并时，如果某个字段的内容相等，则选其一；如果某个字段的内容不相等，则取数据较大者；如果出现单个数据，则取该数据；对于仅有一条的交互动作信息不做处理；

步骤五、经合并、补全处理的交互动作信息形成数据库。

本发明还提供了一种异构系统节点信息汇总装置，能够较准确、全面的推算无数据节点的相关数据，且在一定程度修正数据误差。

该异构系统节点信息汇总装置包括：信息采集装置、信息汇总装置和数据库；信息汇总装置包括编码统一模块、信息反向克隆模块、信息合并模块；

信息采集装置，用于采集来自异构系统不同节点的交互动作信息；交互动作信息包含编码体系的类型值、交互双方、交互方向、交互内容和交互数量；

编码统一模块，用于对采用不同编码体系的交互动作信息进行统一编码：

针对交互动作信息中除了编码体系的每个字段X按照其特点进行不同的编码统一处理，然后发送给信息反向克隆模块；所述统一处理为：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对字段X进行修改；

c、如果数据来源的编码方式不同，且以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，根据交互动作信息中的编码体系字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，从交互动作信息中提取编码体系字段和字段X的当前编码Mx，根据编码体系字段确定字段X 在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码；

信息反向克隆模块，用于针对经编码统一处理的每一条交互动作信息，将交互双方对调，交互方向对调，形成一条交互方向相反的交互动作信息；

信息合并模块，用于对信息反向克隆模块处理后的交互动作信息进行合并、补全处理，包括：找到交互双方、交互内容和交互方向均相同的两条数据，如果两条数据的各段参数均相同，则删除其中一条；如果两条数据不完全相同，则进行合并；合并时，如果某个字段的内容相等，则选其一；如果某个字段的内容不相等，则取数据较大者；如果出现单个数据，则取该数据；对于仅有一条的交互动作信息不做处理；

经合并、补全处理的交互动作信息发送到所述数据库存储。

本发明还提供了一种全球贸易数据库生成方法，能够较准确、全面的推算无数据报道国的相关数据，且在一定程度修正数据误差。

该方法包括：

步骤一、收集各贸易主体报道的贸易数据；

步骤二、对采用不同编码方式的贸易数据进行统一编码；

步骤三、针对每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

步骤四、将每个贸易主体报道的贸易数据与步骤三形成的与该报道主体相关的新贸易数据进行对比改进；对于仅有一条的贸易数据不做处理；

所述对比改进为：如果两条贸易数据完全相同，则删除其中一条；如果两条贸易数据不同，则进行合并，合并时对于同一字段的数据，内容相等时选其一，不相等时取数据较大者；如果其中一条贸易数据出现了某个字段，而另一条贸易数据中没有，则取该字段内容；

优选地，所述对采用不同编码方式的贸易数据进行统一编码为：

针对贸易数据中除了编码类型字段的每个字段X按照其特点进行不同的编码统一处理：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对贸易数据的相应字段X进行修改；

c、如果数据来源的编码方式不同，则以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为贸易数据在数据库中的记载方式；步骤一收集贸易数据后，根据贸易数据中的编码类型字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为贸易数据在数据库中的记载方式；步骤一收集贸易数据后，从贸易数据中提取编码类型字段和字段X的当前编码Mx，根据编码类型字段确定字段X在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码。步骤五、步骤四处理后的贸易数据形成数据库。

本发明还提供了一种全球贸易数据库生成装置，能够较准确、全面的推算无数据报道国的相关数据，且在一定程度修正数据误差。

该全球贸易数据库生成装置，包括：信息采集装置、信息汇总装置和数据库；信息汇总装置包括编码统一模块、信息反向克隆模块、信息合并模块；

信息采集装置，用于收集各贸易主体报道的贸易数据，发送给编码统一模块；

编码统一模块，用于对采用不同编码方式的贸易数据进行统一编码，发送给信息反向克隆模块；

信息反向克隆模块，用于针对每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

信息合并模块，用于将信息采集装置收集的贸易数据与信息反向克隆模块生成的新贸易数据进行合并、补全处理：找到贸易双方、品类和进出口类别相同的两条数据，如果两条贸易数据完全相同，则删除其中一条；如果两条贸易数据不同，则进行合并，合并时对于同一字段的数据，内容相等时选其一，不相等时取数据较大者；如果其中一条贸易数据出现了某个字段，而另一条贸易数据中没有，则取该字段内容；对于仅有一条的贸易数据不做处理；

经合并、补全处理的贸易数据发送到所述数据库存储。

优选地，所述编码统一模块统一编码的方式为：针对贸易数据中除了编码类型字段的每个字段X按照其特点进行不同的编码统一处理：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对贸易数据的相应字段X进行修改；

c、如果数据来源的编码方式不同，且以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为贸易数据在数据库中的记载方式；步骤一收集贸易数据后，根据贸易数据中的编码类型字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为贸易数据在数据库中的记载方式；步骤一收集贸易数据后，从贸易数据中提取编码类型字段和字段X的当前编码Mx，根据编码类型字段确定字段X在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码。

本发明还提供了如下方法和装置，能够生成无数据节点的数据。无数据节点为异构系统中的一个节点。

本发明的无数据节点的数据生成方法，包括：

步骤一、对于从所有有数据节点获取的每一条节点间的交互动作信息，将交互动作信息内记载的交互双方对调，数据流向对调，形成一条流向相反的新数据；所述交互动作信息包含编码体系的类型值、交互双方、交互数据流向、交互数据内容和交互数据数量；

步骤二、对涉及各个无数据节点的新数据分节点汇总，即形成了各个无数据节点的数据信息库。

本发明的无数据节点的数据生成装置，包括信息反向克隆模块和信息合并模块；

信息反向克隆模块，对于从所有有数据节点获取的每一条节点间的交互动作信息，将交互动作信息内记载的交互双方对调，数据流向对调，形成一条流向相反的新数据；所述交互动作信息包含编码体系的类型值、交互双方、交互数据流向、交互数据内容和交互数据数量；

信息合并模块，用于对涉及各个无数据节点的新数据分节点汇总，即形成了各个无数据节点的数据信息库。

本发明的无数据报道国家的贸易数据库生成方法，包括；

步骤一、对目前各个数据报道国的每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

步骤二，对涉及各个无数据国家的新数据分国家汇总，即形成了各个无数据国家的贸易数据库。

本发明的无数据报道国家的贸易数据库生成装置，包括信息反向克隆模块和信息合并模块；

信息反向克隆模块，对目前各个数据报道国的每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

信息合并模块，用于对涉及各个无数据国家的新数据分国家汇总，即形成了各个无数据国家的贸易数据库。

有益效果：

本发明所提供的数据处理方案，不仅可以在一定程度修正数据误差，而且可以较准确、全面的推算无数据节点的相关数据，数据编排也更容易支持复杂的后续智能分析的需求。其中：

本发明的编码统一方案，没有重新编排新的编码，而是尽可能的借用原来的编码体系，或者通过分析编码规律和相互间的关系，建立转换关系，这样能够保留原编码系统的信息，便于后续分析处理时使用。而且，以字段为单位，不同的字段还可以采用根据其特点设计不同的编码统一方案，可以适应各种复杂、灵活的编码体系。

本发明的数据合并和补全方案，针对数据错、漏、无数据记载的情况，采用数据反向的方式，生成一条新数据，然后再进合并，从而弥补了无相关统计、少统计、无记录的各种情况。

附图说明

图1为本发明实施例一中全球贸易数据库生成方法的流程图。

图2为本发明实施例二中全球贸易数据库生成装置的流程图。

图3为本发明实施例三中异构系统节点信息汇总方法的流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

实施例一

本实施例将本发明用于全球贸易数据库生成，对于有数据报道的国家，可以提高各个数据报道国家的数据准确度；同时，对于无数据国家，可以生成每个无数据国家的相关数据。

如图1所示，该方法包括如下步骤：

步骤一、收集作为贸易主体的各国家或地区报道的贸易数据。贸易数据中包括编码类型、出口方(国家或地区)、进口方(国家或地区)、贸易时间、贸易方式(进口/出口)、涉及的品类(商品/服务类型)。当然根据国家的不同，贸易数据中所含有的内容也不同。

例如，某个国家报道的一条贸易数据的部分字段包括：编码类型 Classification＝H4、时间Year＝2016、贸易方式Trade Flow＝Import、报道国代码 Reporter Code＝4、报道国名称Reporter＝Afghanistan、贸易伙伴代码Partner Code＝32、贸易伙伴名称Partner＝Argentina、贸易内容Commodity＝Waters with added sugar、贸易单位QtyUnit＝Volume in litres、总数量Alt Qty Unit＝396479、贸易数额Trade Value＝462284(US$)，等等。

步骤二、对采用不同编码方式的贸易数据进行统一编码。

不同国家对贸易数据中每个字段的编码方式不一定相同，因此需要进行逐一字段的编码统一。本发明并不是重新设计一种编码方式，针对贸易数据中的每个字段按照其特点进行不同的处理。有些字段沿用原来的编码方式，有些字段进行版本升级，有些字段找到不同编码之间的计算关系，有些字段建立新标准。

下面针对这几种处理方式进行详细描述：

(a)如果数据来源的编码方式相同，可以沿用该编码方式。

例如，各个国家贸易数据对于国家的代码(CODE)采用统一的编码方式，则可以沿用。

(b)对于字段X，如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对贸易数据的相应字段X进行修改

例如，目前我国海关标准存在多个升级版——H1、H2、H3、H4，其相互间存在补充关系，因此需要设计包括这几种版本在内的统一标准，即选用最高版本即可。

如果目前的多个编码是独立关系，可以有2个解决办法——(c)和(d)：

(c)以应用较广泛的标准为统一编码，分析其他编码与这一编码的关系，建立转化对应关系，具体来说：

如果数据来源的编码方式不同，则以其中一种应用较广泛的标准为基准，分析其他编码与这种基准编码之间的规律和相互间的关系，可以建立其余编码方式与基准编码方式之间的编码计算关系，然后以基准编码方式为贸易数据在数据库中的记载方式。

那么步骤一收集贸易数据后，根据贸易数据中的编码类型字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码。

例如，对于某一个字段C，假设编码类型A1为基准编码方式，A1中字段C 对某一品类的编码为100，编码类型B1中字段C对同一品类的编码为120，则可以确定两种编码之间的关系是：对于字段C，A1＝B1-20；在收集到B1编码类型的数据后，根据B1提取A1＝B1-20的计算公式，即得到了字段C在统一编码 A1中的数值。例如，字段C为90，则将这条贸易数据记录到数据库时，字段C 的90替换为70记录到数据库中。

(d)建立一个新标准，里面包含多个编码的特征信息，具体来说：

如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为贸易数据在数据库中的记载方式。

那么，步骤一收集贸易数据后，从贸易数据中提取编码类型字段和字段X 的当前编码Mx，根据编码类型字段确定字段X在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx。采用Yx代替Mx保存该条贸易数据。

例如，对于某一个字段C，假设编码类型A1中对某一品类的编码为100，编码类型B1对同一品类的编码为BL，针对该字段形成新的编码方式为100BL；在收集到贸易数据后，从贸易数据提取编码类型B1和字段C的值BL，根据B1 可以知道字段C的值在新编码中的后两位，因此可以采用BL在新编码方式中进行查询，可以匹配到编码100BL，即得到了字段C在本发明统一编码中的数值100BL，将这条贸易数据记录到数据库时，字段C的BL值替换为100BL记录到数据库中。

步骤三、针对每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据。

本步骤通过对应关系分别形成一套涉及该国与其他国家地区贸易的新数据，具体方法是：对应找出各个贸易伙伴国与该国的各个具体商品或服务的进出口数据，显然，进出口方向要选择与数据报道国相反。如：中国报道的数据中，假设中国进口俄罗斯石油100亿美元，对应形成的新数据，俄罗斯出口中国石油100亿美元。

步骤四、将各个有数据的国家或地区的贸易数据，与经过步骤三形成的新数据合在一起，形成一个数据集。

在这个数据集中，由于数据报道国间相互形成新数据，如果两个国家均没有漏报数据，两国间相同商品进出口贸易数据会出现两条；如果两个国家中有一个国家出现漏报数据，则两国间相同商品进出口贸易数据只会出现1条。而无数据报道的国家或地区，只有该国与各个数据报道国间的数据，且同商品同国家同进出口类型(进口或出口)的数据只可能出现1条。

步骤五、将每个数据报道国的报道数据和步骤三其他数据报道国形成的与该国相关的新贸易数据对比改进。对于无数据地区或国家只有新生成数据，不进行处理。

上述改进方案是：

(1)如果两条贸易数据完全相同，则删除其中一条。这是因为两个国家均完整的报道了相关贸易内容，且内容一致，则因为步骤三的处理，形成了两条一样的数据；

(2)如果两条贸易数据的贸易主体、品类和贸易类型相同，其他字段不完全相同，则需要进行合并。合并时，如果某个字段的内容相等，例如金额和贸易量，则选其一即可；如果某个字段的内容不相等，则只取数据较大者，以弥补该国在某个数据出现少统计的误差；如果出现单个数据，即两条贸易数据中其中一条贸易数据出现了某个字段，而另一条贸易数据中没有，就取该数据，这种情况可能出现在一个国家有相关统计，而伙伴国无相关统计的情况。加入这个数据，有利于填补漏统计国家的相关数据。

对无数据国家或地区而言，只有新形成的数据，其是约160个数据报道国家与该国的贸易数据集，因此，不可能出现两个同类型的数据，没有选择问题，因此对于仅有一条的贸易数据不做处理。这样做的结果是形成了各个无数据国家的进出口数据库。当然，数据中缺少了该国与其他无数据国家间的贸易数据，但160个左右的主要数据报道国家的贸易额占全球贸易数据的95％以上，因此，用这套数据分析该国的贸易情况，应该具有较高的准确度。

步骤六、得到改进后的各个数据报道国的贸易数据库，其中包括改进后的数据报道国数据库和新形成的无数据国家数据库。

由于统一编码、数据准确度提高、无数据国家数据库的形成等原因，经过上述方法处理后形成的全球贸易数据库，显然具有查询范围更广、数据更加完成和准确、数据库更容易通过现代信息技术更新和方便支持相关智能分析系统的复杂分析等优点。

至此，本流程结束。

本实施例的有益效果是，改进和完善各个有数据国家的贸易数据库，为无贸易报道数据库的国家建立贸易数据库，由于国家地区、贸易方式、贸易品类等实现各个国家统一编码，方便软件获取各个具体的数据，几乎可以使数据实现各种模型进行复杂的数据分析。提高了数据库的利用率。

实施例二

本实施例将本发明用于全球贸易数据库生成，提供了一种全球贸易数据库生成装置，如图2所示，其包括：信息采集装置、信息汇总装置和数据库；信息汇总装置包括编码统一模块、信息反向克隆模块、信息合并模块。

信息采集装置，用于收集各贸易主体报道的贸易数据，发送给编码统一模块；

编码统一模块，用于对采用不同编码方式的贸易数据进行统一编码，发送给信息反向克隆模块；

信息反向克隆模块，用于针对每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

信息合并模块，用于将信息采集装置收集的贸易数据与信息反向克隆模块生成的新贸易数据进行合并、补全处理：找到贸易双方、品类和进出口类别相同的两条数据，如果两条贸易数据完全相同，则删除其中一条；如果两条贸易数据不同，则进行合并，合并时对于同一字段的数据，内容相等时选其一，不相等时取数据较大者；如果其中一条贸易数据出现了某个字段，而另一条贸易数据中没有，则取该字段内容；对于仅有一条的贸易数据不做处理；

经合并、补全处理的贸易数据发送到所述数据库存储。

实施例三

基于实施例一和实施例二的描述，本发明方案还可以专门用于无数据报道国家的贸易数据库生成，其包括如下两个步骤：

步骤一、对目前各个数据报道国的每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据。

步骤二，对涉及各个无数据国家的新数据分国家汇总，即形成了各个无数据国家的贸易数据库。

需要说明的是，步骤一所涉及的所有国家的数据首先要是经过统计编码，编码方案可以参见实施例一的描述。

为了实现本方法，本发明还提供了一种无数据报道国家的贸易数据库生成装置，与实施例二类型，包括信息反向克隆模块和信息合并模块；

信息反向克隆模块，对目前各个数据报道国的每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

信息合并模块，用于对涉及各个无数据国家的新数据分国家汇总，即形成了各个无数据国家的贸易数据库。

实施例四

本实施例将本发明用于异构系统节点信息汇总。所述异构系统是指由于多个设备之间需要进行交互，而组成的系统，但节点之间没有预先约定数据存储和发布格式。在该系统中，各节点为智能体，节点之间存在交互动作，本实施例中交互动作内容是发送数据包，各节点维护自己的交互动作信息，其中，发送节点需要记载自己的发送行为、发送对象和发送信息内容，包括发送数据包的类型，发送量、发送所占用的网络资源量等；同理，接收方也需要记录接收行为、发送源和信息内容，包括接收数据包的类型、接收量、占用网络资源量等。控制中心可以定期从各节点收集这些交互信息，作为进行网络资源分配、存储资源分配和任务分配的依据。但是如果其中一方或者双方因为某种原因，没有将信息正确记录在案，则缺少了完整、全面的交互信息，导致控制中心汇总数据不够清晰，进而导致任务分配效果不佳。

将本发明应用于该领域，可以解决汇总数据缺失或者数据不准确的问题。

该方法包括如下步骤：

步骤一、收集来自异构系统不同节点的交互动作信息。

交互动作信息是节点按照自己的编排方式记录的信息。由于节点只是自己记录交互动作信息，节点之间不做交互动作信息的互通，因此节点不同，所记录的交互动作信息中所含有的内容也可以不同，记录方式可以不同。

一般来说，交互动作信息一定会包含编码体系的类型值、交互双方(发送方、接收方)、交互方向(发送、接收)、交互内容(交互的数据类型-视频、音频)和交互数量(交互的数据量)。

步骤二、对采用不同编码体系的交互动作信息进行统一编码。

由于节点不同，其记录交互动作信息时可以采用各自的编码体系。为了实现后续的比对改进和汇总，本步骤需要针对交互动作信息中除了编码体系的每个字段X按照其特点进行不同的编码统一处理。编码体系字段需要保留，用于识别原字段内容所述的编码体系。

本发明并不是重新设计一种编码方式，针对数据中的每个字段按照其特点进行不同的处理。有些字段沿用原来的编码方式，有些字段进行版本升级，有些字段找到不同编码之间的计算关系，有些字段建立新标准。

本实施例中编码统一处理具体为：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、对于字段X，如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对字段X进行修改；

如果目前的多个编码是独立关系，可以有2个解决办法——(c)和(d)：

c、以应用较广泛的标准为统一编码，分析其他编码与这一编码的关系，建立转化对应关系，具体来说：

如果数据来源的编码方式不同，且以其中一种编码方式为基准，分析其他编码与这种基准编码之间的规律和相互间的关系，可以建立其余编码方式与基准编码方式之间的编码计算关系，然后以基准编码方式为交互动作信息在数据库中的记载方式；那么步骤一收集交互动作信息后，根据交互动作信息中的编码体系字段提取相应的编码计算公式，计算得到统一编码；

d、建立一个新标准，里面包含多个编码的特征信息，具体来说：

如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为交互动作信息在数据库中的记载方式；那么，步骤一收集交互动作信息后，从交互动作信息中提取编码体系字段和字段X的当前编码Mx，根据编码体系字段确定字段 X在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx。

步骤三、针对经编码统一处理的每一条交互动作信息，将交互双方对调，交互方向对调，形成一条交互方向相反的交互动作信息。

步骤四、对步骤三处理后的交互动作信息进行合并、补全处理：

找到交互双方、交互内容和交互方向均相同的两条数据，如果因为步骤三的新增，两条数据的各段参数均相同，则删除其中一条。

如果两条数据不完全相同，则需要进行合并；合并时，如果某个字段的内容相等，例如交互数据包数量，则选其一即可；如果某个字段的内容不相等，则只取数据较大者，以弥补某个数据出现少统计的误差；如果出现单个数据，即两条交互动作信息中其中一条出现了某个字段，而另一条中没有出现，就取该数据，这种情况可能出现在一个节点有相关统计，而交互方无相关统计的情况。

如果出现了单条数据，则说明某个节点没有形成相关记录，这条数据是通过步骤三反向生成的，此时保留这条数据，不进行处理。

步骤五、经合并、补全处理的交互动作信息形成数据库。

实施例五

本实施例将本发明用于异构系统节点信息汇总，提供了一种异构系统节点信息汇总装置，组成与实施例二相同，只是每个模块的功能略有不同。该装置包括：信息采集装置、信息汇总装置和数据库；信息汇总装置包括编码统一模块、信息反向克隆模块、信息合并模块；

信息采集装置，用于采集来自异构系统不同节点的交互动作信息；交互动作信息包含编码体系的类型值、交互双方、交互方向、交互内容和交互数量；

编码统一模块，用于对采用不同编码体系的交互动作信息进行统一编码：

针对交互动作信息中除了编码体系的每个字段X按照其特点进行不同的编码统一处理，然后发送给信息反向克隆模块；所述统一处理为：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对字段X进行修改；

c、如果数据来源的编码方式不同，且以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，根据交互动作信息中的编码体系字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，从交互动作信息中提取编码体系字段和字段X的当前编码Mx，根据编码体系字段确定字段X 在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码；

信息反向克隆模块，用于针对经编码统一处理的每一条交互动作信息，将交互双方对调，交互方向对调，形成一条交互方向相反的交互动作信息；

信息合并模块，用于对信息反向克隆模块处理后的交互动作信息进行合并、补全处理，包括：找到交互双方、交互内容和交互方向均相同的两条数据，如果因为步骤三的新增，两条数据的各段参数均相同，则删除其中一条；如果两条数据不完全相同，则需要进行合并；合并时，如果某个字段的内容相等，则选其一；如果某个字段的内容不相等，则取数据较大者；如果出现单个数据，则取该数据；对于仅有一条的交互动作信息不做处理；

经合并、补全处理的交互动作信息发送到所述数据库存储。

实施例六

基于实施例四和实施例五的描述，本方案还可以专门用于无数据节点的数据生成，其包括如下两个步骤：

步骤一、对于从所有有数据节点获取的每一条节点间的交互动作信息，将交互动作信息内记载的交互双方对调，数据流向对调，形成一条流向相反的新数据；所述交互动作信息包含编码体系的类型值、交互双方、交互数据流向、交互数据内容和交互数据数量。

步骤二、对涉及各个无数据节点的新数据分节点汇总，即形成了各个无数据节点的数据信息库。

需要说明的是，步骤一所涉及的所有节点的数据首先要是经过统计编码，编码方案可以参见实施例一的描述。

为了实现本方法，本发明还提供了一种无数据节点的数据生成装置，与实施例五类型，包括信息反向克隆模块和信息合并模块；

信息反向克隆模块，对于从所有有数据节点获取的每一条节点间的交互动作信息，将交互动作信息内记载的交互双方对调，数据流向对调，形成一条流向相反的新数据；

信息合并模块，用于对涉及各个无数据节点的新数据分节点汇总，即形成了各个无数据节点的数据信息库。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种异构系统节点信息汇总方法，其特征在于，包括：

步骤一、采集来自异构系统不同节点的交互动作信息；交互动作信息包含编码体系的类型值、交互双方、交互方向、交互内容和交互数量；

步骤二、对采用不同编码体系的交互动作信息进行统一编码：

针对交互动作信息中除了编码体系的每个字段X按照其特点进行不同的编码统一处理：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对字段X进行修改；

c、如果数据来源的编码方式不同，且以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，根据交互动作信息中的编码体系字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，从交互动作信息中提取编码体系字段和字段X的当前编码Mx，根据编码体系字段确定字段X在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码；

步骤三、针对经编码统一处理的每一条交互动作信息，将交互双方对调，交互方向对调，形成一条交互方向相反的交互动作信息；

步骤四、对步骤三处理后的交互动作信息进行合并、补全处理：

找到交互双方、交互内容和交互方向均相同的两条数据，如果两条数据的各段参数均相同，则删除其中一条；如果两条数据不完全相同，则进行合并；合并时，如果某个字段的内容相等，则选其一；如果某个字段的内容不相等，则取数据较大者；如果出现单个数据，则取该数据；对于仅有一条的交互动作信息不做处理；

步骤五、经合并、补全处理的交互动作信息形成数据库。

2.一种异构系统节点信息汇总装置，其特征在于，包括：信息采集装置、信息汇总装置和数据库；信息汇总装置包括编码统一模块、信息反向克隆模块、信息合并模块；

信息采集装置，用于采集来自异构系统不同节点的交互动作信息；交互动作信息包含编码体系的类型值、交互双方、交互方向、交互内容和交互数量；

编码统一模块，用于对采用不同编码体系的交互动作信息进行统一编码：

针对交互动作信息中除了编码体系的每个字段X按照其特点进行不同的编码统一处理，然后发送给信息反向克隆模块；所述统一处理为：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对字段X进行修改；

c、如果数据来源的编码方式不同，且以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，根据交互动作信息中的编码体系字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为交互动作信息在数据库中的记载方式；步骤一收集交互动作信息后，从交互动作信息中提取编码体系字段和字段X的当前编码Mx，根据编码体系字段确定字段X在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码；

信息反向克隆模块，用于针对经编码统一处理的每一条交互动作信息，将交互双方对调，交互方向对调，形成一条交互方向相反的交互动作信息；

信息合并模块，用于对信息反向克隆模块处理后的交互动作信息进行合并、补全处理，包括：找到交互双方、交互内容和交互方向均相同的两条数据，如果两条数据的各段参数均相同，则删除其中一条；如果两条数据不完全相同，则进行合并；合并时，如果某个字段的内容相等，则选其一；如果某个字段的内容不相等，则取数据较大者；如果出现单个数据，则取该数据；对于仅有一条的交互动作信息不做处理；

经合并、补全处理的交互动作信息发送到所述数据库存储。

3.一种全球贸易数据库生成方法，其特征在于，包括：

步骤一、收集各贸易主体报道的贸易数据；

步骤二、对采用不同编码方式的贸易数据进行统一编码；

步骤三、针对每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

步骤四、将每个贸易主体报道的贸易数据与步骤三形成的与该报道主体相关的新贸易数据进行对比改进；对于仅有一条的贸易数据不做处理；

所述对比改进为：如果两条贸易数据完全相同，则删除其中一条；如果两条贸易数据不同，则进行合并，合并时对于同一字段的数据，内容相等时选其一，不相等时取数据较大者；如果其中一条贸易数据出现了某个字段，而另一条贸易数据中没有，则取该字段内容；

步骤五、步骤四处理后的贸易数据形成数据库。

4.如权利要求3所述的方法，其特征在于，所述对采用不同编码方式的贸易数据进行统一编码为：

针对贸易数据中除了编码类型字段的每个字段X按照其特点进行不同的编码统一处理：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对贸易数据的相应字段X进行修改；

c、如果数据来源的编码方式不同，则以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为贸易数据在数据库中的记载方式；步骤一收集贸易数据后，根据贸易数据中的编码类型字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为贸易数据在数据库中的记载方式；步骤一收集贸易数据后，从贸易数据中提取编码类型字段和字段X的当前编码Mx，根据编码类型字段确定字段X在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码。

5.一种全球贸易数据库生成装置，其特征在于，包括：信息采集装置、信息汇总装置和数据库；信息汇总装置包括编码统一模块、信息反向克隆模块、信息合并模块；

信息采集装置，用于收集各贸易主体报道的贸易数据，发送给编码统一模块；

编码统一模块，用于对采用不同编码方式的贸易数据进行统一编码，发送给信息反向克隆模块；

信息反向克隆模块，用于针对每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

信息合并模块，用于将信息采集装置收集的贸易数据与信息反向克隆模块生成的新贸易数据进行合并、补全处理：找到贸易双方、品类和进出口类别相同的两条数据，如果两条贸易数据完全相同，则删除其中一条；如果两条贸易数据不同，则进行合并，合并时对于同一字段的数据，内容相等时选其一，不相等时取数据较大者；如果其中一条贸易数据出现了某个字段，而另一条贸易数据中没有，则取该字段内容；对于仅有一条的贸易数据不做处理；

经合并、补全处理的贸易数据发送到所述数据库存储。

6.如权利要求5所述的全球贸易数据库生成装置，其特征在于，所述编码统一模块统一编码的方式为：针对贸易数据中除了编码类型字段的每个字段X按照其特点进行不同的编码统一处理：

a、如果数据来源的编码方式相同，则沿用该编码方式；

b、如果数据来源的编码方式属于具有补充关系的几个版本，则选用最新版本，对贸易数据的相应字段X进行修改；

c、如果数据来源的编码方式不同，且以其中一种编码方式为基准，建立其余编码方式与基准编码方式之间的编码计算关系，以基准编码方式为贸易数据在数据库中的记载方式；步骤一收集贸易数据后，根据贸易数据中的编码类型字段提取相应的编码计算公式，计算得到基准编码作为字段X的统一编码；

d、如果数据来源的编码方式不同，且没有计算关系，则将字段X针对同一对象的所有不同编码按照设定顺序首尾相连，形成新的编码方式，作为贸易数据在数据库中的记载方式；步骤一收集贸易数据后，从贸易数据中提取编码类型字段和字段X的当前编码Mx，根据编码类型字段确定字段X在新编码方式中的位置，然后采用Mx在新编码方式中进行匹配，获得对应的新编码Yx，采用Yx代替Mx，形成字段X的统一编码。

7.一种无数据节点的数据生成方法，所述无数据节点为异构系统中的一个节点，其特征在于，包括：

步骤一、对于从所有有数据节点获取的每一条节点间的交互动作信息，将交互动作信息内记载的交互双方对调，数据流向对调，形成一条流向相反的新数据；所述交互动作信息包含编码体系的类型值、交互双方、交互数据流向、交互数据内容和交互数据数量；

步骤二、对涉及各个无数据节点的新数据分节点汇总，即形成了各个无数据节点的数据信息库。

8.一种无数据节点的数据生成装置，所述无数据节点为异构系统中的一个节点，其特征在于，包括信息反向克隆模块和信息合并模块；

信息反向克隆模块，对于从所有有数据节点获取的每一条节点间的交互动作信息，将交互动作信息内记载的交互双方对调，数据流向对调，形成一条流向相反的新数据；所述交互动作信息包含编码体系的类型值、交互双方、交互数据流向、交互数据内容和交互数据数量；

信息合并模块，用于对涉及各个无数据节点的新数据分节点汇总，即形成了各个无数据节点的数据信息库。

9.一种无数据报道国家的贸易数据库生成方法，其特征在于，包括；

步骤一、对目前各个数据报道国的每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

步骤二，对涉及各个无数据国家的新数据分国家汇总，即形成了各个无数据国家的贸易数据库。

10.一种无数据报道国家的贸易数据库生成装置，其特征在于，包括信息反向克隆模块和信息合并模块；

信息反向克隆模块，对目前各个数据报道国的每一条贸易数据，将贸易伙伴双方对调，进出口类型对调，形成一条贸易方向相反的新贸易数据；

信息合并模块，用于对涉及各个无数据国家的新数据分国家汇总，即形成了各个无数据国家的贸易数据库。