CN108228748A - 一种基于Hadoop的钢结构无损云检测系统 - Google Patents

一种基于Hadoop的钢结构无损云检测系统 Download PDF

Info

Publication number
CN108228748A
CN108228748A CN201711389862.8A CN201711389862A CN108228748A CN 108228748 A CN108228748 A CN 108228748A CN 201711389862 A CN201711389862 A CN 201711389862A CN 108228748 A CN108228748 A CN 108228748A
Authority
CN
China
Prior art keywords
data
steel construction
server
module
main website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711389862.8A
Other languages
English (en)
Inventor
洪晓斌
余蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201711389862.8A priority Critical patent/CN108228748A/zh
Publication of CN108228748A publication Critical patent/CN108228748A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种基于Hadoop的钢结构无损云检测系统，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台，所述在线调度模块分别与主站服务器、Hadoop平台及管理服务器相互连接，所述主站服务器分别与关系数据服务器及Hadoop平台的输入端连接，所述Hadoop平台与管理服务器的输入端连接。

Description

一种基于Hadoop的钢结构无损云检测系统
技术领域
本发明涉及云平台系统领域，具体涉及一种基于Hadoop的钢结构无损云检测系统。
背景技术
近年来，受自然因素和人为因素的影响，我国大型钢结构坍塌事故时有发生，这些事故造成了一定数量的人员伤亡和巨大的经济损失，钢结构建筑的安全问题受到社会的广泛关注。因此，应该采取良好有效的检测手段，以便及时地为其提供保养、维护，以保证钢结构健康安全，延长使用年限。
利用先进的传感器检测技术、网络通信技术及计算机技术，虽可实时检测信息的变化，却并不能做到方便快捷的进行检测并迅速得到结果，而且其数据存储方式也均采用关系型数据库，伴随着数据量的不断增加，存储、计算效率会明显下降，海量数据的分析处理会更加困难。除此之外，工作人员对钢结构建筑的检查工作，仍采用传统的笔纸记录，不利于检测信息的储存和管理。
Hadoop是并行技术、分布式技术和网格计算技术发展的产物，是一种为适应大规模数据计算和存储而发展起来的模型架构。Hadoop可在大量廉价硬件设备集群中运行程序，为各应用程序提供可靠稳定的接口来构建高扩展性和高可靠性的分布式系统。因此Hadoop运用在钢结构无损检测中能大大提高检测效率，并具有成本低廉、可靠性高、容错性高、扩展性强、可移植性强等优点。
发明内容
为了克服现有技术中钢结构无损检测方式存在的海量数据的存储效率和计算效率低下的缺陷，本发明提供一种基于Hadoop的钢结构无损云检测系统。
本发明采用如下技术方案：
一种基于Hadoop的钢结构无损云检测系统，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台；
所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器；
所述检查记录模块，连接主站服务器，用于录入并处理人工检查数据得到钢结构健康数据构成第二数据包，并将该第二数据包发送至主站服务器；
所述主站服务器，连接Hadoop平台和关系数据服务器，用于接收并解析第一数据包及第二数据包，得到第一解析结果及第二解析结果；
所述关系数据服务器包括关系型数据库及非关系型数据库，用于将第一解析结果写入非关系型数据库，用于将第二解析结果写入关系型数据库；
所述Hadoop平台，连接管理服务器，用于接收主站服务器的第一及第二解析结果和进行运算的分块作业进行计算；
在线调度模块，与主站服务器、Hadoop平台及管理服务器相互连接，用于实时接收主站服务器、Hadoop平台及管理服务器的数据，根据数据对钢结构健康状况进行查询，并将反馈结果展示给工作人员进行处理；
所述管理服务器，用于实时管理Hadoop平台，并将平台发送的数据信息，发送给在线调度模块，对该数据查询请求进行管理和调度得到各个作业，将各个作业的反馈结果发送给在线调度模块。
所述检查记录模块包括：
人工修正单元：根据工作人员对钢结构损坏情况的原始数据进行微调、修正，以及模式设置；
检查记录单元：用于根据三种模式记录工作人员对钢结构损坏情况的检查记录；
记录上传单元：用于通过网络或接口将现场设备中的记录及修正记录上传至主站服务器。
所述三种模式包括日常检测、经常检测及定期检测。
所述在线调度模块包括：
数据查阅模块，用于发送第一数据查询请求至管理服务器得到第一反馈结果，并使用第一反馈结果更新钢结构实时数据；
图表展示模块，用于发送第二数据查询请求至管理服务器得到第二反馈结果，通过图表引擎将第二反馈结果和历史反馈结果绘制成图表；
数据分析模块，用于发送第三数据查询请求至管理服务器得到第三反馈结果，根据预定对比项分析第三反馈结果并通过图表显示分析结果。
所述实时检测模块包括超声传感器及涡流传感器；
所述实时数据包括钢结构的应变、裂纹、钢结构的涂层厚度及表面温度。
Hadoop平台为服务器集群，包括MapReduce框架、HBase数据库和HDFS文件系统，所述HDFS文件系统位于底部，存储HBase数据库所有存储节点上的数据，最上层为MapReduce框架，由Jobtrakers和Tasktrackers构成。
所述数据解析模块根据UDP协议进行解析。
本发明的有益效果：
使用平台的数据库和框架克服了传统钢结构检测系统随着成千上万的传感器所采集数据的不断增加而引起的存储效率、计算效率快速下降的问题，实现了对海量数据的分布式存储和并行计算，现场设备的在线检测软件工作人员可以随时随地了解实时监检测到的钢结构所处环境和钢结构自身信息等数据并实现反馈，人工检查系统实现了工作人员的无纸化作业，提高了工作效率，使得巡检数据便于管理和监测。
附图说明
图1是本发明的结构示意图；
图2是本发明的Hadoop平台的结构示意图；
图3是本发明数据查阅模块的查询方法流程示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，一种基于Hadoop的钢结构无损云检测系统，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台；
如图2所示，Hadoop平台为服务器集群，包括MapReduce框架、HBase数据库和HDFS文件系统，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System，HDFS)。HDFS有高容错性，并且可以部署在低廉的硬件上；它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了Posix的要求，可以以流的形式访问文件系统中的数据。
Hadoop框架最核心的设计是HDFS和MapReduce。HDFS为海量数据提供了存储，MapReduce则为海量的数据提供了计算。
Hadoop由许多元素构成，其最底部是HDFS文件系统，HDFS文件系统存储Hadoop集群中所有存储节点上的文件。HDFS的上层是MapReduce引擎，该引擎由Jobtrakers和Tasktrackers组成。
所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器；
所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器，缺陷数据包括裂纹及钢结构的应变等缺陷数据。
所述检查记录模块，连接主站服务器，用于录入并处理人工检查数据得到钢结构健康数据构成第二数据包，并将该第二数据包发送至主站服务器；
所述钢结构健康数据包括钢结构整体或各部位的损坏异常情况，例如腐蚀及变形等数据。
所述主站服务器，连接Hadoop平台和关系数据服务器，用于接收并解析第一数据包及第二数据包，得到第一解析结果及第二解析结果；
所述关系数据服务器包括关系型数据库及非关系型数据库，用于将第一解析结果写入HBase非关系型数据库，用于将第二解析结果写入MySQL关系型数据库。
所述在线调度模块，与主站服务器、Hadoop平台及管理服务器相互连接，用于实时接收主站服务器、Hadoop平台及管理服务器的数据，根据数据对钢结构健康状况进行查询，并将反馈结果展示给工作人员进行处理。
所述管理服务器，用于实时管理Hadoop平台，并将平台发送的数据信息，发送给在线调度模块，对该数据查询请求进行管理和调度得到各个作业，将各个作业的反馈结果发送给在线调度模块。
MapReduce框架对海量数据并行处理，将HBase数据库中的数据作为数据输入的来源或输出的目标，采用TableInputFormat、TableOutputForma等接口，把HBase数据库中的Table用作MapReduce作业数据，对数据进行并行计算。MapReduce框架包括Map节点和Reduce节点，其中，若干个Map节点对应一个Reduce节点，首先将需要计算的所有作业分配给所有Map节点进行并行计算，然后再将计算结果集中到各个Reduce节点进行归纳，得到最终计算结果，通过这种方式可以并行处理海量数据，大大提高计算效率。
所述实时检测模块，包括：
超声波传感器，用于实时检测钢结构的实时数据，包括钢结构的应变、裂纹等。
超声传感器的基本工作原理：
采用直接反射式的检测模式。位于传感器前面的被检测物通过将发射的声波部分地发射回传感器的接收器，从而使传感器检测到被测物。
涡流传感器，用于实时检测钢结构的实时数据，包括钢结构的涂层厚度、表面温度等。
涡流传感器的基本工作原理：
涡流的产生将吸收电磁场和震荡器的能量。当金属物体不断靠近传感器端面，能量的被吸收而导致衰减，当衰减达到一定程度时，触发电路将触发开关输出信号，从而达到非接触式检测的目的。
所述主站服务器有两个接口，第一接口连接非关系型数据库，第二接口连接关系型数据库。
所述在线调度模块包括：
数据查阅模块，用于发送第一数据查询请求至管理服务器得到第一反馈结果，并使用第一反馈结果更新钢结构实时数据；
图表展示模块，用于发送第二数据查询请求至管理服务器得到第二反馈结果，通过图表引擎将第二反馈结果和历史反馈结果绘制成图表；
数据分析模块，用于发送第三数据查询请求至管理服务器得到第三反馈结果，根据预定对比项分析第三反馈结果并通过图表显示分析结果。
数据分析模块根据UDP协议和特定规约进行解析，数据分析模块包括单一指标分析和相关指标分析，用户可以选择不同的日期、钢结构部件或传感器位置等对比项进行对比分析，并将分析结果用图表进行显示。
如图3所示，数据查阅模块包括前台的UI线程和后台的工作线程，首先用户在现场设备的UI界面上选择数据查询选项，数据查阅模块处理用户点击操作并将查询请求发送给后台服务器管理服务器，后台启动工作线程定时获取实时数据，并返回查询结果，然后对查询结果进行处理并发送回前台，UI线程刷新UI界面显示查询结果。
上述实施例中，UDP协议全称是用户数据报协议，在网络中它与TCP协议一样用于处理数据包，是一种无连接的协议。该特定规约指超声、涡流传感器规定的第一数据包的解析格式。
所述主站服务器通过网络连接Hadoop平台，主站服务器可以通过局域网、城域网以及个人网来连接Hadoop平台。
本发明的实施例中，所述Hadoop平台为服务器集群。
上述实施例中，服务器集群是指将很多服务器集中起来一起进行同一种服务，在现场端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。
所述检查记录模块包括
人工修正单元：根据工作人员对钢结构损坏情况的原始数据进行微调、修正，以及模式设置；
检查记录单元：用于根据三种模式记录工作人员对钢结构损坏情况的检查记录；
记录上传单元：用于通过网络或接口将现场设备中的记录及修正记录上传至主站服务器。
所述检查记录单元的三种模式为：
日常巡检，工作人员进行每日巡检任务，由用户指定每日巡检任务；
经常巡检，工作人员按预设周期对钢结构部件损坏情况进行巡检，预设周期可以是一周、两周或其他周期，由用户指定；
定期巡检，工作人员按预设时间对规定表格内容进行巡检，规定表格内容也由用户指定，可以包括钢结构各部件损坏程度、温度、天气等信息。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于Hadoop的钢结构无损云检测系统，其特征在于，包括实时检测模块、检查记录模块、主站服务器、关系数据服务器、管理服务器、在线调度模块及Hadoop平台；
所述实时检测模块，连接主站服务器，用于检测并处理钢结构实时缺陷数据得到第一数据包，并将该第一数据包发送至主站服务器；
所述检查记录模块，连接主站服务器，用于录入并处理人工检查数据得到钢结构健康数据构成第二数据包，并将该第二数据包发送至主站服务器；
所述主站服务器，连接Hadoop平台和关系数据服务器，用于接收并解析第一数据包及第二数据包，得到第一解析结果及第二解析结果；
所述关系数据服务器包括关系型数据库及非关系型数据库，用于将第一解析结果写入非关系型数据库，用于将第二解析结果写入关系型数据库；
所述Hadoop平台，连接管理服务器，用于接收主站服务器的第一及第二解析结果和进行运算的分块作业进行计算；
在线调度模块，与主站服务器、Hadoop平台及管理服务器相互连接，用于实时接收主站服务器、Hadoop平台及管理服务器的数据，根据数据对钢结构健康状况进行查询，并将反馈结果展示给工作人员进行处理；
所述管理服务器，用于实时管理Hadoop平台，并将平台发送的数据信息，发送给在线调度模块，对该数据查询请求进行管理和调度得到各个作业，将各个作业的反馈结果发送给在线调度模块。
2.根据权利要求1所述的钢结构无损云检测系统，其特征在于，所述检查记录模块包括：
人工修正单元：根据工作人员对钢结构损坏情况的原始数据进行微调、修正，以及模式设置；
检查记录单元：用于根据三种模式记录工作人员对钢结构损坏情况的检查记录；
记录上传单元：用于通过网络或接口将现场设备中的记录及修正记录上传至主站服务器。
3.根据权利要求2所述的钢结构无损云检测系统，其特征在于，所述三种模式包括日常检测、经常检测及定期检测。
4.根据权利要求1所述的钢结构无损云检测系统，其特征在于，所述在线调度模块包括：
数据查阅模块，用于发送第一数据查询请求至管理服务器得到第一反馈结果，并使用第一反馈结果更新钢结构实时数据；
图表展示模块，用于发送第二数据查询请求至管理服务器得到第二反馈结果，通过图表引擎将第二反馈结果和历史反馈结果绘制成图表；
数据分析模块，用于发送第三数据查询请求至管理服务器得到第三反馈结果，根据预定对比项分析第三反馈结果并通过图表显示分析结果。
5.根据权利要求1所述的钢结构无损云检测系统，其特征在于，所述实时检测模块包括超声传感器及涡流传感器；
所述实时数据包括钢结构的应变、裂纹、钢结构的涂层厚度及表面温度。
6.根据权利要求1所述的钢结构无损云检测系统，其特征在于，Hadoop平台为服务器集群，包括MapReduce框架、HBase数据库和HDFS文件系统，所述HDFS文件系统位于底部，存储HBase数据库所有存储节点上的数据，最上层为MapReduce框架，由Jobtrakers和Tasktrackers构成。
7.根据权利要求4所述的钢结构无损云检测系统，其特征在于，所述数据解析模块根据UDP协议进行解析。
CN201711389862.8A 2017-12-21 2017-12-21 一种基于Hadoop的钢结构无损云检测系统 Pending CN108228748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711389862.8A CN108228748A (zh) 2017-12-21 2017-12-21 一种基于Hadoop的钢结构无损云检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711389862.8A CN108228748A (zh) 2017-12-21 2017-12-21 一种基于Hadoop的钢结构无损云检测系统

Publications (1)

Publication Number Publication Date
CN108228748A true CN108228748A (zh) 2018-06-29

Family

ID=62650004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711389862.8A Pending CN108228748A (zh) 2017-12-21 2017-12-21 一种基于Hadoop的钢结构无损云检测系统

Country Status (1)

Country Link
CN (1) CN108228748A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310736A1 (en) * 2010-11-25 2015-10-29 Panasonic Intellectual Property Corporation Of America Communication device
CN106021613A (zh) * 2016-06-30 2016-10-12 武汉理工大学 一种基于Hadoop的桥梁健康监测系统
CN106850296A (zh) * 2017-02-09 2017-06-13 广东工华高新检测科技有限公司 一种大型复杂空间钢结构无损检测系统及方法
CN106886659A (zh) * 2017-03-21 2017-06-23 湖南联智监测科技有限公司 基于三维激光扫描和云平台的钢结构桥梁虚拟预拼和检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310736A1 (en) * 2010-11-25 2015-10-29 Panasonic Intellectual Property Corporation Of America Communication device
CN106021613A (zh) * 2016-06-30 2016-10-12 武汉理工大学 一种基于Hadoop的桥梁健康监测系统
CN106850296A (zh) * 2017-02-09 2017-06-13 广东工华高新检测科技有限公司 一种大型复杂空间钢结构无损检测系统及方法
CN106886659A (zh) * 2017-03-21 2017-06-23 湖南联智监测科技有限公司 基于三维激光扫描和云平台的钢结构桥梁虚拟预拼和检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
章圣冶: "基于云计算的空间结构健康监测物联网系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN105427193B (zh) 一种基于分布式时序数据服务的大数据分析装置及方法
CN104967629B (zh) 网络攻击检测方法及装置
CN107070692A (zh) 一种基于大数据分析的云平台监控服务系统及方法
CN111275948B (zh) 一种电气火灾消防预警系统
Xhafa et al. Processing and analytics of big data streams with yahoo! s4
US10740206B2 (en) Record-based planning in operational maintenance and service
CN104156296A (zh) 智能监控大规模数据中心集群计算节点的系统和方法
CN114155072B (zh) 基于大数据分析的财务预测模型构建方法及系统
CN104376498A (zh) 一种发电厂生产管理系统及方法
CN104407688A (zh) 基于树回归的虚拟化云平台能耗测量方法及系统
CN106021613A (zh) 一种基于Hadoop的桥梁健康监测系统
CN117372201A (zh) 一种应用于水库的智慧水利数字孪生模型快速构建方法
CN109387242A (zh) 建筑物状态的实时监测系统及其方法
CA3167981C (en) Offloading statistics collection
US20180307218A1 (en) System and method for allocating machine behavioral models
CN110377519A (zh) 大数据系统的性能容量测试方法、装置、设备及存储介质
CN117194919A (zh) 一种生产数据分析系统
CN109460829A (zh) 基于大数据处理及云传输下的智能监测方法及平台
US20170039235A1 (en) Air quality metrology system
CN103595792A (zh) 一种环境污染趋势监控系统
CN108228748A (zh) 一种基于Hadoop的钢结构无损云检测系统
Yang et al. Research and design of sensor data management system based on distributed storage
CN111190790A (zh) 一种基于峰值预测的云计算集群监控方法及系统
TW202042079A (zh) 水質監測系統與控制方法
CN106844147B (zh) 一种监控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629