CN109542984A - 一种面向建筑结构试验的异构数据融合方法 - Google Patents

Abstract

本发明公开了一种面向建筑结构试验的异构数据融合方法。不同采集器将采集数据通过各种现场总线传输给上位机，并由上位机接收，然后不同上位机通过异构数据处理程序建立TCP连接将原始数据发送给本地处理软件。最后本地处理软件对各种采集器的数据进行处理，输出特定统一的JSON数据，并进行统一数据存储。本发明提供的面向建筑结构试验的异构数据融合方法在数据接收层面上进行，能对不同类型的数据进行同步接收和存储，能在关系型数据库中结构化数据和非结构化数据对应的JSON数据进行共同关联查询，能实现分析不同采集器的不同性质采集数据之间的关系，实现了同步接收数据并高效存储。

Description

一种面向建筑结构试验的异构数据融合方法

技术领域

本发明涉及了一种建筑数据融合方法，尤其是涉及一种面向建筑结构试验的异构数据融合方法。

背景技术

建筑结构试验是建筑在结构设计、施工和研究过程中的重要环节，通过建筑结构试验可以检测结构设计是否安全可靠。建筑结构试验使用各种采集器对现场数据进行采集,不同厂商生产的采集器需要安装相应的上位机来进行数据采集和接收。由于各种上位机分别进行数据接收和存储，造成各种数据之间相互隔离，不利于对试验数据的统一管理和分析，因此需要设计一种异构数据融合方法将各种采集器的采集数据统一存储。

现有的异构数据融合方法包括联邦数据库法，数据仓库法，虚拟数据库法等等。这些方法大多在数据库层面上进行数据融合，即数据源为各个数据库，且各自存在不足之处，例如联邦数据库法对于数据源的可扩展性很差，数据仓库法对于数据查询的实时性不高，虚拟数据库法的数据查询过程较为复杂。由于在建筑结构试验中，数据源为各种上位机的接收到的实时数据，因此这些方法并不适用。

发明内容

本发明的目的在于提供一种面向建筑结构试验的异构数据融合方法，利用采集器采集试验数据，利用上位机进行数据接收，利用异构数据处理程序将各种原始数据处理成特定统一的JSON数据，最后进行数据的统一存储。

本发明的目的是通过以下技术方案来实现的：

不同采集器将采集数据通过各种现场总线传输给上位机，并由上位机接收，然后不同上位机通过异构数据处理程序建立TCP连接将原始数据发送给本地处理软件。最后本地处理软件对各种采集器的数据进行处理，输出特定统一的 JSON数据，并进行统一数据存储。

本发明的有益效果是：

本发明提供的面向建筑结构试验的异构数据融合方法在数据接收层面上进行。各种上位机接收到采集数据时，将原始数据发送到本地处理软件(一种异构数据处理程序)，本地处理软件将原始数据处理成特定统一的JSON数据，从而消除数据的异构性，最后将JSON数据存储至关系型数据库中。

本发明方法能对不同类型的数据进行同步接收和存储，能在关系型数据库中结构化数据和非结构化数据对应的JSON数据进行共同关联查询，能实现分析不同采集器的不同性质采集数据之间的关系。

本发明能实时接收各采集器的数据并同步转化为特定统一的JSON数据形式；将这些实时数据缓存在本地，并对每个采集器的JSON数据进行合并；最后调用数据库的存储过程对JSON数据进行批量数据存储，实现了同步接收数据并高效存储。

附图说明

图1是本发明所搭建的数据融合系统结构示意图；

图2是本发明异构数据处理程序的流程图。

具体实施方式

下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述。

本发明具体实施如下：

步骤1：建筑结构试验现场部署各种传感器，传感器的采集数据通过采集器接收并传输到上位机上，所有的采集器和上位机通过交换机连接在同一个局域网内；

步骤2：对于每个厂家生产的采集器，上位机上安装对应的上位机软件，上位机软件控制采集器进行数据采集，并接收原始数据；

如图1所示，不同的采集器对于试验现场数据进行采集，并由上位机进行数据接收。一个采集器对应一个上位机。各个不同的上位机均连接到统一异构数据处理程序，经异构数据处理程序的数据融合处理后存储到关系型数据库中。

每个厂商生产的采集器都需要在上位机上安装相应的上位机。由于相同类型的采集器可能有多个，并且由一个上位机软件进行数据接收，因此采集器的数量n可能大于上位机数量m。所有的采集器和上位机都通过交换机连接在一个局域网内。

步骤3：不同的上位机软件接收到原始数据后，将原始数据发送给异构数据处理程序，异构数据处理程序把原始数据转化为统一的JSON数据，并存储至关系型数据库中。

所有的上位机需要与异构数据处理程序建立TCP连接，其中上位机为TCP 客户端，异构数据处理程序为TCP服务端，且异构数据处理程序为每个上位机分配独立的端口进行数据接收。上位机接收到采集器的采集数据后，将原始数据通过TCP连接发送给异构数据处理程序，异构数据处理程序将原始数据封装成特定统一的JSON数据，再将数据统一存储至关系型数据库。异构数据处理程序对于原始数据的处理过程见图2。

如图2所示，异构数据处理程序首先进行数据接收，然后将数据按照结构化和非结构化两种情况进行不同的处理过程。异构数据处理程序对于结构化数据和非结构化数据的判断过程如下：由于异构数据处理程序为每个上位机分配独立的端口进行数据接收，因此接收数据的端口和上位机之间存在一一对应的关系，根据接收数据的端口号可以确定发送数据的上位机，从而确定了采集器类型。根据采集器类型，可以确定采集数据是否为结构化数据，例如加速度采集器的采集数据为结构化数据，音频信号采集器的采集数据为非结构化数据等。

原始数据分为结构化数据和非结构化数据的两种数据，对于这两种数据采用不同的封装处理方式。

A、对于结构化数据的封装处理过程为：

步骤A3.1：接收各条原始数据，根据接收数据的端口号确定原始数据来源于的上位机，进而确定对应的采集器类型；

步骤A3.2：根据原始数据的采集器类型，调用与采集器类型一一对应的接口程序对一条结构化的原始数据进行解析，获取采集器编号、通道号、采样值、单位和采样时间的字段信息；接口程序与采集器类型一一对应。

步骤A3.3：对步骤3.2的解析结果字符串表示，表示方式为各字段信息之间用“-”按顺序拼接，然后计算字符串的MD5值(16位，小写)；

步骤A3.4：将一条结构化的原始数据封装为JSON数据，JSON数据的字段依次包括采集器类型、采集器编号、通道号、采样值、单位、采样时间和MD5 值，其中采集器类型由步骤3.1得到；采集器编号、通道号、采样值、单位、采样时间由步骤3.2得到；MD5值由步骤3.3得到；

一个封装为JSON数据的结构化数据示例，其中采集器类型为NI(表示此采集器生产厂商为NI)，采集器编号为1001(试验现场可能安装了多台NI生产的采集器，使用采集器编号进行区分)，通道号为1(某些采集器存在多个通道号)，采样值为0.3，单位为m，采样时间为“2018-02-28 15:37:00”，MD5 加密值用于保证数据安全。

步骤A3.5：将步骤3.4得到的JSON数据缓存，并对缓存中采集器类型和采集器编号均相同的JSON数据进行合并，合并后的采集器类型和采集器编号字段信息不变，其他字段信息为合并前各字段信息用“-”按顺序拼接后得到的值，只保留合并后的JSON数据，并且将合并前的JSON数据从缓存中删除。

例如对以下两个JSON数据进行合并：

{"采集器类型":"速度","采集器编号":"1","通道号":"1","采样值:"0.5", "单位":"m/s","md5":"2d4e16b9b0501868"},

{"采集器类型":"速度","采集器编号":"1","通道号":"2","采样值:"0.6", "单位":"m/s","md5":"ea8a6ea451444bbe"}

合并后的JSON数据为：

{"采集器类型":"速度","采集器编号":"1","通道号":"1-2", "采样值:"0.5-0.6","单位":"m/s-m/s","md5":"2d4e16b9b0501868- ea8a6ea451444bbe"}。

结构化数据封装后的JSON数据进行存储：提取缓存中的JSON数据(由步骤A3.5或者B3.5得到)，对每条JSON数据，将合并后的字段信息拆成数个合并前的值；然后将步骤4.1提取的JSON数据的采集器类型和采集器编号以及拆开后的值作为参数，调用数据库的存储过程进行存储，存储过程为数据库中预编译的一段代码，接收参数，并进行数据存储。

B、对于非结构化数据的封装处理过程为：

步骤B3.1：接收各条原始数据，根据接收数据的端口号确定原始数据来源于的上位机，进而确定对应的采集器类型；

步骤B3.2：根据原始数据的采集器类型，调用与采集器类型一一对应的接口程序对非结构化的原始数据进行解析，获取采集器编号、采样时间的字段信息；接口程序与采集器类型一一对应。并对接收到的非结构化的原始数据进行编号，在同一个采集器编号下，每次接收到的每一条非结构化数据设置不同的编号；

步骤B3.3：对非结构化数据进行分割，以10KB大小为单位分割成数个二进制块数据，并对每个二进制块数据进行编号，在同一条非结构化数据中，不同的二进制块数据设置不同的二进制块编号；

步骤B3.4：对每个二进制块的字符串形式计算其MD5值(16位，小写)；

步骤B3.5：将每个二进制块封装为JSON数据缓存，JSON数据的字段信息包括：采集器类型、采集器编号、非结构化数据编号、二进制块编号、二进制块数据、采样时间和MD5值，其中采集器类型由步骤B3.1得到；采集器编号、非结构化数据编号、采样时间由步骤B3.2得到；二进制块数据和二进制块编号由步骤B3.3得到；MD5值由步骤B3.4得到。

具体实施中，对于非结构化数据封装后的JSON数据的存储具体为：将JSON 数据的各个字段写入数据库中对应的字段，属于直接写入。

最后，在针对关系型数据库中，以不同采集器下的结构化数据和非结构化数据对应的JSON数据均建立各自的临时表，混合在一起进行关联查询。例如查询某段时间内采集器1的数据(结构化)作为临时表1，采集器2的数据(结构化)作为临时表2，采集器3的数据(非结构化)作为临时表3。然后对这3个临时表以时间字段作为连接条件进行关联查询，从而便于分析三个采集器的采集数据之间的关系。

Claims (5)

1.一种面向建筑结构试验的异构数据融合方法，其特征在于，方法包括如下步骤：

步骤1：建筑结构试验现场部署传感器，传感器的采集数据通过采集器接收并传输到上位机上，所有的采集器和上位机通过交换机连接在同一个局域网内；

步骤2：对于每个厂家生产的采集器，上位机控制采集器进行数据采集，并接收原始数据；

步骤3：接收到原始数据后，将原始数据发送给异构数据处理程序，异构数据处理程序把原始数据转化为特定统一的JSON数据；

步骤4：将JSON数据存储至关系型数据库中。

2.根据权利要求1所述的一种面向建筑结构试验的异构数据融合方法，其特征在于：

步骤3中，上位机与异构数据处理程序之间建立TCP连接，不同的上位机向异构数据处理程序的不同端口数据，其中，上位机为TCP客户端，异构数据处理程序为TCP服务端，接收数据的端口号与各自的上位机一一对应。

3.根据权利要求1所述的一种面向建筑结构试验的异构数据融合方法，其特征在于：

步骤3中的原始数据分为结构化数据和非结构化数据的两种数据，对于这两种数据采用不同的封装处理方式，具体为：

A、对于结构化数据的封装处理过程为：

步骤A3.1：接收各条原始数据，根据接收数据的端口号确定原始数据来源于的上位机，进而确定对应的采集器类型；

步骤A3.2：根据原始数据的采集器类型，调用与采集器类型一一对应的接口程序对一条结构化的原始数据进行解析，获取采集器编号、通道号、采样值、单位和采样时间的字段信息；

步骤A3.3：对步骤3.2的解析结果字符串表示，表示方式为各字段信息之间用“-”按顺序拼接，然后计算字符串的MD5值；

步骤A3.4：将一条结构化的原始数据封装为JSON数据，JSON数据的字段依次包括采集器类型、采集器编号、通道号、采样值、单位、采样时间和MD5值；

步骤A3.5：将步骤3.4得到的JSON数据缓存，并对缓存中采集器类型和采集器编号均相同的JSON数据进行合并，合并后的采集器类型和采集器编号字段信息不变，其他字段信息为合并前各字段信息用“-”按顺序拼接后得到的值，只保留合并后的JSON数据，并且将合并前的JSON数据从缓存中删除。

B、对于非结构化数据的封装处理过程为：

步骤B3.1：接收各条原始数据，根据接收数据的端口号确定原始数据来源于的上位机，进而确定对应的采集器类型；

步骤B3.2：根据原始数据的采集器类型，调用与采集器类型一一对应的接口程序对非结构化的原始数据进行解析，获取采集器编号、采样时间的字段信息；并对接收到的非结构化的原始数据进行编号，在同一个采集器编号下，每次接收到的每一条非结构化数据设置不同的编号；

步骤B3.3：对非结构化数据进行分割，以10KB大小为单位分割成数个二进制块数据，并对每个二进制块数据进行编号，在同一条非结构化数据中，不同的二进制块数据设置不同的二进制块编号；

步骤B3.4：对每个二进制块的字符串形式计算其MD5值；

步骤B3.5：将每个二进制块封装为JSON数据缓存，JSON数据的字段信息包括：采集器类型、采集器编号、非结构化数据编号、二进制块编号、二进制块数据、采样时间和MD5值。

4.根据权利要求1所述的一种面向建筑结构试验的异构数据融合方法，其特征在于：所述的步骤4中，对于结构化数据封装后的JSON数据的存储具体为：

步骤4.1：提取缓存中的JSON数据，对每条JSON数据，将合并后的字段信息拆成数个合并前的值；

步骤4.2：将步骤4.1提取的JSON数据的采集器类型和采集器编号以及拆开后的值作为参数，调用数据库的存储过程进行存储。

5.根据权利要求1所述的一种面向建筑结构试验的异构数据融合方法，其特征在于：所述的步骤4后，进一步针对关系型数据库中结构化数据和非结构化数据对应的JSON数据进行关联查询，具体是以不同采集器下的结构化数据和非结构化数据对应的JSON数据均建立各自的临时表，混合在一起进行关联查询。