CN109711479A - 一种数据处理与融合方法及其应用 - Google Patents

Abstract

一种数据处理与融合方法，包括如下步骤：步骤1：原始设备实时数据采集；步骤2：通过设备数据处理模块实现对采集的数据进行处理；步骤3：数据融合；其特征为：所述原始设备实时数据采集，实现与终端设备通信，获取终端设备的实时数据；所述设备数据处理模块实现将采集的原始数据进行数据结构的统一化和数据的过滤处理；所述数据融合获取设备数据处理模块推送的处理后的数据，根据定义的数据融合规则将数据进行融合，并将融合后的数据包发布到中间件服务器，物联网应用可根据需要订阅面向主题的融合数据包。

Description

一种数据处理与融合方法及其应用

技术领域

本发明涉及一种基于物体标准化描述的面向主题的数据处理与融合方法及其应用，属于物联网技术领域，可以应用于物联网领域的设备数据清洗、标准格式化以及面向主题的数据融合等。

背景技术

物联网近年来得到了迅速的发展。物联网中设备种类越来越多，不同设备种类的数据结构差异性较大，即使是同种设备类型的数据结构和计量单位也会存在差异，因此，面向某一主题的源数据如何标准统一化处理是物联网数据处理需要解决的问题之一，此外，物联网设备采集到的数据中无效不合理的脏数据也需要在数据处理过程中丢弃掉。在物联网应用中，大多数情况下用户需要的不仅仅是某一单一数据，而是面向一个主题的融合数据包，基于多元融合数据包进行智能决策。如何对物联网实时大数据进行自定义配置融合主题，进行实现高效处理和融合，将有用信息反馈给订阅者，进而提供智能决策，是物联网面临的关键问题。

与本发明相关的现有技术一

中国专利申请(申请号：CN201711498039，公开号：CN108052673A)公开一种物联网数据集成与融合中间件系统，该系统提供了一种行业间物联网信息系统的数据集成与融合解决方案。所述系统通过适配器子系统实现与外部多数据源(数据库、文件等)进行交互，获取数据并汇聚到数据源子系统，通过服务器子系统的数据处理进而进入集成融合引擎子系统完成多个数据视图间的数据集成与融合，从原始数据生成新的数据视图。该技术是对各行业多数据源历史数据的统一处理和集成融合展示。

与本专利相关的现有技术二

中国专利申请(申请号：CN201810271872，公开号：CN108491533A)公开了一种数据融合方法、装置、数据处理系统及存储介质，该专利将数据融合功能从数据处理模块提取处理，为数据处理系统各功能模块提供了统一的数据融合装置，降低了代码冗余度，同时使得数据处理模块更专注与数据处理算法，降低了模块耦合度，提升了系统可扩展性。该专利申请旨在解决现有数据处理系统按功能划分的都有数据处理需求的不同功能模块的统一数据融合管理问题。

发明内容

本发明相对现有技术1的不同点在于：本发明是自定义自动化配置数据处理规则(单位转换、过滤规则)和面向主题的融合规则，对上报的实时设备数据进行处理和融合，将融合后的主题数据包发布出来，供订阅者获取融合后的主题数据包。本发明相对现有技术2的不同点在于：本发明是通过自定义配置数据处理和融合规则，实现物联网各领域数据的标准统一化以及为物联网应用用户提供面向物联网应用主题的数据融合包服务。

本发明采取的技术方案是通过下述技术手段来实现的：

一种数据处理与融合方法，该方法是基于物体标准化描述的面向主题的数据处理与融合方法，其包括如下步骤：步骤1：原始设备实时数据采集；步骤2：通过设备数据处理模块实现对采集的数据进行处理；步骤3：数据融合；其特征为：所述原始设备实时数据采集，实现与终端设备通信，获取终端设备的实时数据；所述设备数据处理模块实现将采集的原始数据进行数据结构的统一化和数据的过滤处理；所述数据融合获取设备数据处理模块推送的处理后的数据，根据定义的数据融合规则将数据进行融合，并将融合后的数据包发布到中间件服务器，物联网应用可根据需要订阅面向主题的融合数据包。

此外，本发明还公开一种物联网设备，其特征为：包括上述数据处理与融合方法。

有益效果：

本发明公开了一种基于物体标准化描述的面向主题的数据分析与融合方法，解决了物联网领域海量实时数据处理与使用困难等问题。物体标准化描述定义的物体描述模型即ASAC四段描述模型，允许每个厂商可以给设备定义描述模板，因此，造成了即使是同类设备数据结构、数据单位也存在差异，举个简单例子，比如温度传感器，该类设备最基本的功能就是上报感知到的温度数据，但是不同厂商定义的温度传感器上报的温度key值各不相同，数据单位也不统一，有摄氏度和华氏度两种，当一个项目中应用了不同品牌的温度传感器时，可能采集到的温度数据格式就不相同，此外，对于温度数据不在有效值范围内的数据明显是脏数据，在数据处理时也需要丢弃掉，不需要推送给应用，将处理完成的数据发布到数据融合模块，以支撑后续的面向主题的数据融合规则运行，并为应用层提供面向主题的融合数据包的订阅和推送服务，为物联网多行业多设备海量实时数据应用提供了一种解决方案。

附图说明

图1是基于物体标准化描述的面向主题的数据处理与融合方法的架构图。

图2是基于物体标准化描述的面向主题的数据处理与融合方法数据处理定义的流程图。

图3是基于物体标准化描述的面向主题的数据处理与融合方法面向主题的数据融合规则模板定义的数据流程。

图4为基于物体标准化描述的面向主题的数据处理与融合方法的面向主题的数据融合实例化的流程图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。

基于物体标准化描述的面向主题的数据处理与融合方法可分为三个步骤：(1).基于物体标准化描述的原始设备实时数据采集；(2).通过设备数据处理模块实现对采集的数据进行处理，设备数据处理包括数据结构标准统一化定义管理、数据处理规则管理以及基于物体描述模板的原始数据到标准统一化数据的映射转化关系管理，其中数据处理规则包含单位转换规则和数据过滤规则；(3).数据融合，应用层定义或选择面向主题的数据融合规则进行实例化，实例化验证通过后就可以发出数据融合数据包的订阅请求，当物体上报的数据经过标准化处理以及融合后就会将数据包推送给订阅者以完成服务提供。

下面对每个步骤进行详细介绍：

(1)、原始设备实时数据采集实现与设备终端通信，通信报文载荷体内容部分遵循物联网物体描述标准，获取终端设备实时的数据包，数据包包含了接口名称IFID和上报数据DATA两部分，这两部分的取值是在物体描述ASAC的动作段定义的，比如现有技术中温度传感器上报的数据包{"IFID":"TEMP","DATA":"{'TEMP':30}"}，该数据包中包含IFID和DATA两个数据项内容，在该温度传感器描述ASAC模型中定义了接口名称为TEMP的接口，该接口的返回值参数包括TEMP，数值类型为int，单位为摄氏度℃。原始设备实时数据采集进一步包括基于物体标准化描述的数据采集，物体标准化描述是将物体描述分为ASAC四段，即属性段(Attribute)、状态段(State)、动作段(Action)、能力段(Capability)，通过四段内容对物体进行标准化统一描述，其中属性段包含物体的生产厂商、类型、型号不可变信息，状态段包含物体各类可变的状态信息，动作段定义了物体的通信方式、交互接口和输入输出参数信息，能力段定义了物体语义化的能力信息和数据信息

(2)、设备数据处理包括数据结构标准统一化定义管理、数据处理规则管理以及基于物体描述模板的原始数据到标准统一化数据的映射转化关系管理，其中数据处理规则包含单位转换规则和数据过滤规则。

请参考附图2所述数据处理定义的数据流图。首先获取已经注册的未进行数据结构统一化映射转换的物体描述模板，并逐一进行数据结构统一化映射转换，比如物体描述模板中的上报数据接口上报温度和湿度两项参数，需要判断是否该两项单一主题统一化数据结构模型是否存在，如果存在则逐一映射转换，不存在则需要先定义不存在的单一主题统一化数据结构模型。映射转换涉及到两个步骤，一个是单位转换，一个是数据过滤规则，比如华氏度到摄氏度的转换、小数到百分比的转换、二进制到十进制的转换等等，数据过滤则是指定数据的边界值或是枚举等类型，数据处理规则根据不在范围之内的或不在枚举范围内的原始数据需要丢弃不再做统一化和融合处理。这些都指定完成后，数据的统一化处理流程就完成了。

因此根据附图2中对数据处理定义的数据流程图的描述，通过基于物体描述标准的描述工具将新注册的物体模板推送到数据处理模块，数据处理模块获取未添加映射转换的模板列表，并逐一添加映射转换。添加映射转换时，先判断模板每一接口返回值是否都有对应的标准统一化数据结构，如果没有需要先添加相应的标准统一化数据结构，再为每个接口返回值指定到标准统一化数据结构的映射关系，如果涉及到数据单位不一致则需要指定单位转换规则，没有对应的单位转换规则则需要定义添加，然后就是指定数据过滤规则用于过滤掉错误的数据，上述内容都确定后就可以添加完成该模板数据的处理配置了。

具体处理过程举例来说：首先建立各单一主题的统一化数据结构模型，再通过配置规则实现将原始数据到数据结构模型的映射转换进而实现数据结构统一化。比如温度这一个单一主题，建立数据结构模型：key值为temperature，value值为double类型，精确度为小数点后2位，单位为摄氏度℃；某单位的温度传感器设备描述的设备模板是上报的温度值单位为华氏度℉，监测范围为14～122℉，则对应的映射转换为单位转换，需要选择华氏度到摄氏度的转换规则，该规则已经定义为C＝(F-32)÷1.8；数据过滤处理即根据配置的原始数据监测范围过滤掉错误的数据过程，比如大于最大值或小于最小值的数据。所述数据融合获取设备数据处理模块推送的处理后的数据，根据定义的数据融合规则和实例化进行数据融合，所述数据融合规则定义参见流程图3，比如定义一个空气质量数据融合规则，可以指定数据融合规则模板名称为空气综合质量模板，该融合规则模板包含温度和PM2.5两项数据属性，填写温度temperature属性的计算规则是求多个温度数值的平均数，PM2.5属性的计算规则是求多个PM2.5数值的最大值。数据融合实例化参见流程4，比如定义一个空气综合质量模板的实例化，指定实例化名称为第六会议室的空气质量，上报频率为10分钟，包含了温度和PM2.5两项参数，温度绑定会议室中部署的多个温度传感器(比如3个)，PM2.5绑定会议室中部署的多个PM2.5传感器(比如3个)，绑定完成即完成了实例化定义流程。当该实例化处于运行状态时，实时采集3个温度传感器的数值和3个PM2.5传感器的数值，并进行数据结构统一化处理和数据过滤处理，之后根据定义的融合规则取3个温度数值的平均值，取3个PM2.5数值的最大值，即完成一个融合数据包的内容，根据上报频率要求每10分钟发布一个融合数据包即可。)，并将融合后的数据包发布到中间件服务器，物联网应用可根据需要订阅面向主题的融合数据包。

(3)数据融合模块包括面向主题的数据融合规则模板定义、面向主题的数据融合规则模板库管理、数据融合实例化、数据融合包发布等功能。其中面向主题的数据融合规则模板库管理是所有定义的数据融合规则模板文件，为了便于定义数据融合实例；数据融合实例化是根据选择的面向主题的数据融合规则模板，将其中的每一个属性数据进行实例化设备绑定的过程；数据融合包发布是将所有运行的数据融合实例产生的面向主题的融合数据包发布到消息中间件，应用用户可通过订阅获取融合后的数据包。参见附图3所示，该流程图为面向主题的数据融合规则模板定义的数据流程图。图3为面向主题的数据融合规则模板定义的数据流程，首先定义该主题数据融合规则模板的名称，比如定义一个空气质量数据融合规则，可以指定数据融合规则模板名称为空气综合质量模板，该融合规则模板包含温度和PM2.5两项数据属性，填写温度temperature属性的计算规则是求多个温度数值的平均数，PM2.5属性的计算规则是求多个PM2.5数值的最大值，并指定每个属性中的多个的取值范围，这样就完成了数据融合规则模板的定义。

参见附图4所示，图4为面向主题的数据融合实例化流程，首先需要确定一个实例化名称，指定该实例化运行的属性(比如融合上报的频率)，从面向主题的数据融合规则模板库中选择一个合适的数据融合规则模板，并将数据融合规则模板中定义的每个融合属性取值规则中的统一化数据结构进行实例化设备数据绑定即可完成数据融合实例化流程。比如定义一个空气综合质量模板的实例化，指定实例化名称为第六会议室的空气质量，上报频率为10分钟，包含了温度和PM2.5两项参数，温度绑定会议室中部署的多个温度传感器(比如3个)，PM2.5绑定会议室中部署的多个PM2.5传感器(比如3个)，绑定完成即完成了实例化定义流程。当该实例化处于运行状态时，实时采集3个温度传感器的数值和3个PM2.5传感器的数值，并进行数据结构统一化处理和数据过滤处理，之后根据定义的融合规则取3个温度数值的平均值，取3个PM2.5数值的最大值，即完成一个融合数据包的内容，根据上报频率要求每10分钟发布一个融合数据包即可。定义面向主题的数据融合规则模板需要指定模板名称，再去定义每一个融合属性KEY及取值，取值是根据数据处理后的标准统一化的数据经过简单的映射、算术或逻辑运算或函数调用等方式获得，定义完该融合规则模板中的所有属性KEY及取值即可保存完成该主题数据融合规则模板的定义。

面向主题的数据融合实例化需要确定一个实例化名称，实例化运行属性(比如融合上报频率等)，从面向主题的数据融合规则模板库中选择一个合适的数据融合规则模板，并将数据融合规则模板中定义的每个融合属性取值规则中的标准统一化数据结构进行实例化设备数据绑定即可完成数据融合实例化流程。

此外，本发明还公开一种物联网设备，其特征为：包括上述基于物体标准化描述的面向主题的数据处理与融合方法。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种数据处理与融合方法，该方法是基于物体标准化描述的面向主题的数据处理与融合方法，其包括如下步骤：步骤1：原始设备实时数据采集；步骤2：通过设备数据处理模块实现对采集的数据进行处理；步骤3：数据融合；其特征为：所述原始设备实时数据采集，实现与终端设备通信，获取终端设备的实时数据；所述设备数据处理模块实现将采集的原始数据进行数据结构的统一化和数据的过滤处理；所述数据融合获取设备数据处理模块推送的处理后的数据，根据定义的数据融合规则将数据进行融合，并将融合后的数据包发布到中间件服务器，物联网应用可根据需要订阅面向主题的融合数据包。

2.根据权利要求1所述的数据处理与融合方法，其特征为：所述统一化和数据的过滤处理为：首先建立各单一主题的统一化数据结构模型，再通过配置规则实现将原始数据到数据结构模型的映射转换进而实现数据结构统一化。

3.根据权利要求1所述的数据处理与融合方法，其特征为：所述步骤1进一步包括基于物体标准化描述的数据采集，物体标准化描述是将物体描述分为ASAC四段，即属性段(Attribute)、状态段(State)、动作段(Action)、能力段(Capability)，通过四段内容对物体进行标准化统一描述，其中属性段包含物体的生产厂商、类型、型号不可变信息，状态段包含物体各类可变的状态信息，动作段定义了物体的通信方式、交互接口和输入输出参数信息，能力段定义了物体语义化的能力信息和数据信息。

4.根据权利要求1所述的数据处理与融合方法，其特征为：所述步骤2进一步包括：将采集到的原始数据通过设备数据处理模块中基于已经定义的公知物体描述模板的原始数据到标准统一化数据的映射转化规则进行处理，将结果存储到面向单一主题的数据格式数据库中并为数据融合提供数据源。

5.根据权利要求1所述的数据处理与融合方法，其特征为：所述步骤3进一步包括：应用层定义或选择面向主题的数据融合规则进行实例化，实例化验证通过后就可以发出数据融合数据包的订阅请求，当物体上报的数据经过标准化处理以及融合后就会将数据包推送给订阅者以完成服务提供。

6.一种物联网设备，其特征为：包括上述权利要求1-5任一所述的数据处理与融合方法。