CN109542984B - 一种面向建筑结构试验的异构数据融合方法 - Google Patents
一种面向建筑结构试验的异构数据融合方法 Download PDFInfo
- Publication number
- CN109542984B CN109542984B CN201811301234.4A CN201811301234A CN109542984B CN 109542984 B CN109542984 B CN 109542984B CN 201811301234 A CN201811301234 A CN 201811301234A CN 109542984 B CN109542984 B CN 109542984B
- Authority
- CN
- China
- Prior art keywords
- data
- collector
- json
- heterogeneous
- unstructured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 21
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 14
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000012858 packaging process Methods 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 238000013500 data storage Methods 0.000 abstract 1
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向建筑结构试验的异构数据融合方法。不同采集器将采集数据通过各种现场总线传输给上位机,并由上位机接收,然后不同上位机通过异构数据处理程序建立TCP连接将原始数据发送给本地处理软件。最后本地处理软件对各种采集器的数据进行处理,输出特定统一的JSON数据,并进行统一数据存储。本发明提供的面向建筑结构试验的异构数据融合方法在数据接收层面上进行,能对不同类型的数据进行同步接收和存储,能在关系型数据库中结构化数据和非结构化数据对应的JSON数据进行共同关联查询,能实现分析不同采集器的不同性质采集数据之间的关系,实现了同步接收数据并高效存储。
Description
技术领域
本发明涉及了一种建筑数据融合方法,尤其是涉及一种面向建筑结构试验的异构数据融合方法。
背景技术
建筑结构试验是建筑在结构设计、施工和研究过程中的重要环节,通过建筑结构试验可以检测结构设计是否安全可靠。建筑结构试验使用各种采集器对现场数据进行采集,不同厂商生产的采集器需要安装相应的上位机来进行数据采集和接收。由于各种上位机分别进行数据接收和存储,造成各种数据之间相互隔离,不利于对试验数据的统一管理和分析,因此需要设计一种异构数据融合方法将各种采集器的采集数据统一存储。
现有的异构数据融合方法包括联邦数据库法,数据仓库法,虚拟数据库法等等。这些方法大多在数据库层面上进行数据融合,即数据源为各个数据库,且各自存在不足之处,例如联邦数据库法对于数据源的可扩展性很差,数据仓库法对于数据查询的实时性不高,虚拟数据库法的数据查询过程较为复杂。由于在建筑结构试验中,数据源为各种上位机的接收到的实时数据,因此这些方法并不适用。
发明内容
本发明的目的在于提供一种面向建筑结构试验的异构数据融合方法,利用采集器采集试验数据,利用上位机进行数据接收,利用异构数据处理程序将各种原始数据处理成特定统一的JSON数据,最后进行数据的统一存储。
本发明的目的是通过以下技术方案来实现的:
不同采集器将采集数据通过各种现场总线传输给上位机,并由上位机接收,然后不同上位机通过异构数据处理程序建立TCP连接将原始数据发送给本地处理软件。最后本地处理软件对各种采集器的数据进行处理,输出特定统一的 JSON数据,并进行统一数据存储。
本发明的有益效果是:
本发明提供的面向建筑结构试验的异构数据融合方法在数据接收层面上进行。各种上位机接收到采集数据时,将原始数据发送到本地处理软件(一种异构数据处理程序),本地处理软件将原始数据处理成特定统一的JSON数据,从而消除数据的异构性,最后将JSON数据存储至关系型数据库中。
本发明方法能对不同类型的数据进行同步接收和存储,能在关系型数据库中结构化数据和非结构化数据对应的JSON数据进行共同关联查询,能实现分析不同采集器的不同性质采集数据之间的关系。
本发明能实时接收各采集器的数据并同步转化为特定统一的JSON数据形式;将这些实时数据缓存在本地,并对每个采集器的JSON数据进行合并;最后调用数据库的存储过程对JSON数据进行批量数据存储,实现了同步接收数据并高效存储。
附图说明
图1是本发明所搭建的数据融合系统结构示意图;
图2是本发明异构数据处理程序的流程图。
具体实施方式
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述。
本发明具体实施如下:
步骤1:建筑结构试验现场部署各种传感器,传感器的采集数据通过采集器接收并传输到上位机上,所有的采集器和上位机通过交换机连接在同一个局域网内;
步骤2:对于每个厂家生产的采集器,上位机上安装对应的上位机软件,上位机软件控制采集器进行数据采集,并接收原始数据;
如图1所示,不同的采集器对于试验现场数据进行采集,并由上位机进行数据接收。一个采集器对应一个上位机。各个不同的上位机均连接到统一异构数据处理程序,经异构数据处理程序的数据融合处理后存储到关系型数据库中。
每个厂商生产的采集器都需要在上位机上安装相应的上位机。由于相同类型的采集器可能有多个,并且由一个上位机软件进行数据接收,因此采集器的数量n可能大于上位机数量m。所有的采集器和上位机都通过交换机连接在一个局域网内。
步骤3:不同的上位机软件接收到原始数据后,将原始数据发送给异构数据处理程序,异构数据处理程序把原始数据转化为统一的JSON数据,并存储至关系型数据库中。
所有的上位机需要与异构数据处理程序建立TCP连接,其中上位机为TCP 客户端,异构数据处理程序为TCP服务端,且异构数据处理程序为每个上位机分配独立的端口进行数据接收。上位机接收到采集器的采集数据后,将原始数据通过TCP连接发送给异构数据处理程序,异构数据处理程序将原始数据封装成特定统一的JSON数据,再将数据统一存储至关系型数据库。异构数据处理程序对于原始数据的处理过程见图2。
如图2所示,异构数据处理程序首先进行数据接收,然后将数据按照结构化和非结构化两种情况进行不同的处理过程。异构数据处理程序对于结构化数据和非结构化数据的判断过程如下:由于异构数据处理程序为每个上位机分配独立的端口进行数据接收,因此接收数据的端口和上位机之间存在一一对应的关系,根据接收数据的端口号可以确定发送数据的上位机,从而确定了采集器类型。根据采集器类型,可以确定采集数据是否为结构化数据,例如加速度采集器的采集数据为结构化数据,音频信号采集器的采集数据为非结构化数据等。
原始数据分为结构化数据和非结构化数据的两种数据,对于这两种数据采用不同的封装处理方式。
A、对于结构化数据的封装处理过程为:
步骤A3.1:接收各条原始数据,根据接收数据的端口号确定原始数据来源于的上位机,进而确定对应的采集器类型;
步骤A3.2:根据原始数据的采集器类型,调用与采集器类型一一对应的接口程序对一条结构化的原始数据进行解析,获取采集器编号、通道号、采样值、单位和采样时间的字段信息;接口程序与采集器类型一一对应。
步骤A3.3:对步骤3.2的解析结果字符串表示,表示方式为各字段信息之间用“-”按顺序拼接,然后计算字符串的MD5值(16位,小写);
步骤A3.4:将一条结构化的原始数据封装为JSON数据,JSON数据的字段依次包括采集器类型、采集器编号、通道号、采样值、单位、采样时间和MD5 值,其中采集器类型由步骤3.1得到;采集器编号、通道号、采样值、单位、采样时间由步骤3.2得到;MD5值由步骤3.3得到;
一个封装为JSON数据的结构化数据示例,其中采集器类型为NI(表示此采集器生产厂商为NI),采集器编号为1001(试验现场可能安装了多台NI生产的采集器,使用采集器编号进行区分),通道号为1(某些采集器存在多个通道号),采样值为0.3,单位为m,采样时间为“2018-02-28 15:37:00”,MD5 加密值用于保证数据安全。
步骤A3.5:将步骤3.4得到的JSON数据缓存,并对缓存中采集器类型和采集器编号均相同的JSON数据进行合并,合并后的采集器类型和采集器编号字段信息不变,其他字段信息为合并前各字段信息用“-”按顺序拼接后得到的值,只保留合并后的JSON数据,并且将合并前的JSON数据从缓存中删除。
例如对以下两个JSON数据进行合并:
{"采集器类型":"速度","采集器编号":"1","通道号":"1","采样值:"0.5", "单位":"m/s","md5":"2d4e16b9b0501868"},
{"采集器类型":"速度","采集器编号":"1","通道号":"2","采样值:"0.6", "单位":"m/s","md5":"ea8a6ea451444bbe"}
合并后的JSON数据为:
{"采集器类型":"速度","采集器编号":"1","通道号":"1-2", "采样值:"0.5-0.6","单位":"m/s-m/s","md5":"2d4e16b9b0501868- ea8a6ea451444bbe"}。
结构化数据封装后的JSON数据进行存储:提取缓存中的JSON数据(由步骤A3.5或者B3.5得到),对每条JSON数据,将合并后的字段信息拆成数个合并前的值;然后将步骤4.1提取的JSON数据的采集器类型和采集器编号以及拆开后的值作为参数,调用数据库的存储过程进行存储,存储过程为数据库中预编译的一段代码,接收参数,并进行数据存储。
B、对于非结构化数据的封装处理过程为:
步骤B3.1:接收各条原始数据,根据接收数据的端口号确定原始数据来源于的上位机,进而确定对应的采集器类型;
步骤B3.2:根据原始数据的采集器类型,调用与采集器类型一一对应的接口程序对非结构化的原始数据进行解析,获取采集器编号、采样时间的字段信息;接口程序与采集器类型一一对应。并对接收到的非结构化的原始数据进行编号,在同一个采集器编号下,每次接收到的每一条非结构化数据设置不同的编号;
步骤B3.3:对非结构化数据进行分割,以10KB大小为单位分割成数个二进制块数据,并对每个二进制块数据进行编号,在同一条非结构化数据中,不同的二进制块数据设置不同的二进制块编号;
步骤B3.4:对每个二进制块的字符串形式计算其MD5值(16位,小写);
步骤B3.5:将每个二进制块封装为JSON数据缓存,JSON数据的字段信息包括:采集器类型、采集器编号、非结构化数据编号、二进制块编号、二进制块数据、采样时间和MD5值,其中采集器类型由步骤B3.1得到;采集器编号、非结构化数据编号、采样时间由步骤B3.2得到;二进制块数据和二进制块编号由步骤B3.3得到;MD5值由步骤B3.4得到。
具体实施中,对于非结构化数据封装后的JSON数据的存储具体为:将JSON 数据的各个字段写入数据库中对应的字段,属于直接写入。
最后,在针对关系型数据库中,以不同采集器下的结构化数据和非结构化数据对应的JSON数据均建立各自的临时表,混合在一起进行关联查询。例如查询某段时间内采集器1的数据(结构化)作为临时表1,采集器2的数据(结构化)作为临时表2,采集器3的数据(非结构化)作为临时表3。然后对这3个临时表以时间字段作为连接条件进行关联查询,从而便于分析三个采集器的采集数据之间的关系。
Claims (4)
1.一种面向建筑结构试验的异构数据融合方法,其特征在于,方法包括如下步骤:
步骤1:建筑结构试验现场部署传感器,传感器的采集数据通过采集器接收并传输到上位机上,所有的采集器和上位机通过交换机连接在同一个局域网内;
步骤2:对于每个厂家生产的采集器,上位机控制采集器进行数据采集,并接收原始数据;
步骤3:接收到原始数据后,将原始数据发送给异构数据处理程序,异构数据处理程序把原始数据转化为特定统一的JSON数据;
步骤4:将JSON数据存储至关系型数据库中;
步骤3中的原始数据分为结构化数据和非结构化数据的两种数据,对于这两种数据采用不同的封装处理方式,具体为:
A、对于结构化数据的封装处理过程为:
步骤A3.1:接收各条原始数据,根据接收数据的端口号确定原始数据来源于的上位机,进而确定对应的采集器类型;
步骤A3.2:根据原始数据的采集器类型,调用与采集器类型一一对应的接口程序对一条结构化的原始数据进行解析,获取采集器编号、通道号、采样值、单位和采样时间的字段信息;
步骤A3.3:对步骤3.2的解析结果字符串表示,表示方式为各字段信息之间用“-”按顺序拼接,然后计算字符串的MD5值;
步骤A3.4:将一条结构化的原始数据封装为JSON数据,JSON数据的字段依次包括采集器类型、采集器编号、通道号、采样值、单位、采样时间和MD5值;
步骤A3.5:将步骤3.4得到的JSON数据缓存,并对缓存中采集器类型和采集器编号均相同的JSON数据进行合并,合并后的采集器类型和采集器编号字段信息不变,其他字段信息为合并前各字段信息用“-”按顺序拼接后得到的值,只保留合并后的JSON数据,并且将合并前的JSON数据从缓存中删除;
B、对于非结构化数据的封装处理过程为:
步骤B3.1:接收各条原始数据,根据接收数据的端口号确定原始数据来源于的上位机,进而确定对应的采集器类型;
步骤B3.2:根据原始数据的采集器类型,调用与采集器类型一一对应的接口程序对非结构化的原始数据进行解析,获取采集器编号、采样时间的字段信息;并对接收到的非结构化的原始数据进行编号,在同一个采集器编号下,每次接收到的每一条非结构化数据设置不同的编号;
步骤B3.3:对非结构化数据进行分割,以10KB大小为单位分割成数个二进制块数据,并对每个二进制块数据进行编号,在同一条非结构化数据中,不同的二进制块数据设置不同的二进制块编号;
步骤B3.4:对每个二进制块的字符串形式计算其MD5值;
步骤B3.5:将每个二进制块封装为JSON数据缓存,JSON数据的字段信息包括:采集器类型、采集器编号、非结构化数据编号、二进制块编号、二进制块数据、采样时间和MD5值。
2.根据权利要求1所述的一种面向建筑结构试验的异构数据融合方法,其特征在于:
步骤3中,上位机与异构数据处理程序之间建立TCP连接,不同的上位机向异构数据处理程序的不同端口传输数据,其中,上位机为TCP客户端,异构数据处理程序为TCP服务端,接收数据的端口号与各自的上位机一一对应。
3.根据权利要求1所述的一种面向建筑结构试验的异构数据融合方法,其特征在于:所述的步骤4中,对于结构化数据封装后的JSON数据的存储具体为:
步骤4.1:提取缓存中的JSON数据,对每条JSON数据,将合并后的字段信息拆成数个合并前的值;
步骤4.2:将步骤4.1提取的JSON数据的采集器类型和采集器编号以及拆开后的值作为参数,调用数据库的存储过程进行存储。
4.根据权利要求1所述的一种面向建筑结构试验的异构数据融合方法,其特征在于:所述的步骤4后,进一步针对关系型数据库中结构化数据和非结构化数据对应的JSON数据进行关联查询,具体是以不同采集器下的结构化数据和非结构化数据对应的JSON数据均建立各自的临时表,混合在一起进行关联查询。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811301234.4A CN109542984B (zh) | 2018-11-02 | 2018-11-02 | 一种面向建筑结构试验的异构数据融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811301234.4A CN109542984B (zh) | 2018-11-02 | 2018-11-02 | 一种面向建筑结构试验的异构数据融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109542984A CN109542984A (zh) | 2019-03-29 |
CN109542984B true CN109542984B (zh) | 2021-06-04 |
Family
ID=65846062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811301234.4A Active CN109542984B (zh) | 2018-11-02 | 2018-11-02 | 一种面向建筑结构试验的异构数据融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109542984B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111651826A (zh) * | 2020-06-09 | 2020-09-11 | 吉林建筑大学 | 一种基于建筑信息模型技术的建筑工业化系统 |
CN112214436A (zh) * | 2020-09-24 | 2021-01-12 | 电子科技大学 | 一种地下测井数据转换为通用数据格式的解析方法及系统 |
CN112905552A (zh) * | 2021-01-29 | 2021-06-04 | 山东特检鲁安工程技术服务有限公司 | 特种设备异构数据共享方法、系统、服务器及存储设备 |
CN113297296B (zh) * | 2021-05-31 | 2022-08-16 | 西南大学 | 多样式类型数据的json化处理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102880617A (zh) * | 2011-07-15 | 2013-01-16 | 无锡物联网产业研究院 | 物联网实体搜索方法及系统 |
CN106200593A (zh) * | 2016-08-29 | 2016-12-07 | 中国重型机械研究院股份公司 | 一种智能化连铸过程控制系统及其控制方法 |
CN107515913A (zh) * | 2017-08-16 | 2017-12-26 | 武汉智丽丰信息科技有限公司 | 一种多变量数据模型集成构建方法及其可视化交互系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8219552B2 (en) * | 2009-10-07 | 2012-07-10 | International Business Machines Corporation | Information theory based result merging for searching hierarchical entities across heterogeneous data sources |
-
2018
- 2018-11-02 CN CN201811301234.4A patent/CN109542984B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102880617A (zh) * | 2011-07-15 | 2013-01-16 | 无锡物联网产业研究院 | 物联网实体搜索方法及系统 |
CN106200593A (zh) * | 2016-08-29 | 2016-12-07 | 中国重型机械研究院股份公司 | 一种智能化连铸过程控制系统及其控制方法 |
CN107515913A (zh) * | 2017-08-16 | 2017-12-26 | 武汉智丽丰信息科技有限公司 | 一种多变量数据模型集成构建方法及其可视化交互系统 |
Non-Patent Citations (2)
Title |
---|
Multi-source heterogeneous data fusion;Lili Zhang et al.;《2018 International Conference on Artificial Intelligence and Big Data(ICAIBD)》;20180528;全文 * |
一种基于JSON的异构数据查询方法;倪睿熙;《无线电通信技术》;20130228(第1期);第2-3页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109542984A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542984B (zh) | 一种面向建筑结构试验的异构数据融合方法 | |
CN109922038A (zh) | 一种用于电力终端的异常数据的检测方法及装置 | |
CN105677615B (zh) | 一种基于weka接口的分布式机器学习方法 | |
CN201772263U (zh) | 声波管道安全检测系统 | |
CN103368970B (zh) | 一种针对网络目标的自动化安全检测方法 | |
CN104991979A (zh) | 实验室数据处理方法及处理系统 | |
CN103117878A (zh) | 一种基于Nagios的分布式监控系统的设计方法 | |
CN113608969A (zh) | 业务系统运行监控系统及方法 | |
CN105471496B (zh) | 一种基于背向散射曲线的光纤质量自动分析方法及系统 | |
CN110109807B (zh) | 一种空管重要设备的预警维护系统 | |
CN108986144B (zh) | 一种基于arm和fpga的车辆识别追踪方法、系统和装置 | |
CN102457543A (zh) | 一种基于ZigBee与GPRS的无线水文监测系统 | |
CN113157521A (zh) | 用于区块链全生命周期的监控方法和监控系统 | |
CN115833938B (zh) | 同路由光缆的显示方法、装置、设备及存储介质 | |
CN107122359B (zh) | 数据实时跟踪可视化处理方法及装置 | |
CN115549862B (zh) | 基于动态解析的mes系统并发性能测试数据接收方法 | |
CN105574872B (zh) | 基于计算机图像与视觉识别的轨道扣件的检测方法 | |
CN112883098B (zh) | 一种多源异构系统数据融合方法 | |
CN112907111A (zh) | 一种基于物联网技术的监控数据智能采集及分析方法 | |
CN116633870B (zh) | 一种基于云加端模式的运维数据处理系统及方法 | |
CN112613278B (zh) | 市政设备监测信息处理系统及市政设备监测信息处理方法 | |
CN114286203B (zh) | 一种基于大数据的电表核收数据分流处理系统及方法 | |
CN113572852B (zh) | 一种redis信息确定方法、装置、设备及存储介质 | |
CN109936567A (zh) | 登录信息的检测方法、装置、电子设备及存储介质 | |
CN114333246B (zh) | 地质灾害户内警报系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |