CN105608231A - 一种基于云端的流数据存储系统及其查询方法 - Google Patents

一种基于云端的流数据存储系统及其查询方法 Download PDF

Info

Publication number
CN105608231A
CN105608231A CN201610079826.0A CN201610079826A CN105608231A CN 105608231 A CN105608231 A CN 105608231A CN 201610079826 A CN201610079826 A CN 201610079826A CN 105608231 A CN105608231 A CN 105608231A
Authority
CN
China
Prior art keywords
data
flow data
clouds
flow
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610079826.0A
Other languages
English (en)
Inventor
胡尊亭
李鹏飞
赵俊涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Jianwei Iot Technology Co Ltd
Original Assignee
Suzhou Jianwei Iot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Jianwei Iot Technology Co Ltd filed Critical Suzhou Jianwei Iot Technology Co Ltd
Priority to CN201610079826.0A priority Critical patent/CN105608231A/zh
Publication of CN105608231A publication Critical patent/CN105608231A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于云端的流数据存储系统，包括物联网层，云端，网关，所述的物联网层与云端物理连接，所述的物联网采集工业自动化生产过程中产生的流数据，并传输到云端；所述的云端包括流数据处理系统、控制器和关系型数据库，所述的云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述的控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。本发明还公开了一种查询方法。本发明可以有效的对数据进行存储以及处理，既可以减小服务器体系的成本，又可以达到实时数据快速查询的效果。

Description

一种基于云端的流数据存储系统及其查询方法
技术领域
本发明涉及一种工业自动化领域，尤其涉及一种工业自动化流数据的云端存储系统以及查询方法。
背景技术
伴随着工业4.0的浪潮，制造业的信息化水平越来越高，在工业自动化生产过程中会相应的产生海量的实时数据，这些数据即是流数据。流数据的持续产生，海量，实时的特性，使得这类数据的存储以及查询异常困难。采用本地化的关系型数据进行处理，会大大延迟数据查询的速度以及存储的数据量。针对此问题，国内外开始了大量的研究。比较传统的做法是在本地采用实时数据库或者实时数据库与关系型数据库集成的做法解决此问题。但是在工业互联网时代显然本地的数据无法发挥其数据的真正价值。另外一种做法是以单独的流数据处理系统对数据文件进行管理从而达到流数据实时处理的效果。这种方法大部分用在消费级互联网领域，而且需要强大的服务器体系做支撑，在工业领域，数据的产生会量远远超过消费级的数据量，而且数据一般只有在某一段时间内算是实时数据，超过这一时间段即是历史数据，而且目前尚未出现巨大的服务器体系。因此采用一种将实时数据与历史数据进行区分存储处理，可以在满足用户查询历史数据的基础上，大大减小流数据处理系统的压力。
发明内容
为了解决流数据的实时查询问题，以及本地存储量有限的问题技术问题，本发明提出了一种基于云端的流数据处理系统及其存储方法，可以解决流数据的实时查询问题，以及本地存储量有限的问题，而且将流数据中实时数据与历史数据进行区分，可以有效的对数据进行存储以及处理，既可以减小服务器体系的成本，又可以达到实时数据快速查询的效果。
本发明提出了一种基于云端的流数据存储系统，包括物联网层，云端，网关，所述的物联网层与云端物理连接，所述的物联网采集工业自动化生产过程中产生的流数据，并传输到云端；所述的云端包括流数据处理系统、控制器和关系型数据库，所述的云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述的控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。
优选地，所述的流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合的数据处理系统。
本发明又提出一种基于云端的流数据存储系统的查询方法，包括如下步骤：
S1.窗口显示类显示实时流数据；
S2.客户端的应用层通过服务端发送数据查询请求；
S3.控制器根据不同的查询的请求从数据库中查询不同的数据；
S4.控制器将查询到的数据发送给数据查询类；
S5.数据查询类将数据传送至数据类；
S6.数据类根据用户的动作显示实时数据或者历史数据。
优选地，步骤S4包括：如果客户端向流数据类发送查询请求，控制器通过流数据库查询实时数据，如果客户端向历史数据类发送查询请求，控制器通过操作关系型数据库查询历史数据。
本发明的技术方案具有以下技术效果：
1.云端存储可以无限存储工业自动化生产过程中的各种数据；
2.可以实现快速查询流数据；
3.可以实现远程在线监控；
4.实现远程数据分析；
5.实时数据以及历史数据有效整合。
附图说明
图1为本发明的基于云端的流数据存储系统的示意图；
图2为本发明的基于云端的流数据存储系统的查询方法示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
工业自动化生产过程中，会产生大量的实时数据，称为流数据，要进行云端流数据的实时查询，需要解决存储以及查询两个方面的问题。在工业领域只有距离当前时刻某一时段的数据才能称为实时数据，超过这一时间段的数据统一称之为历史数据。
如图1所示为本发明的基于云端的流数据存储系统的示意图。本发明提出了一种基于云端的流数据存储系统，包括物联网层，云端，网关，所述的物联网层与云端物理连接，所述的物联网采集工业自动化生产过程中产生的流数据，并传输到云端；所述的云端包括流数据处理系统、控制器和关系型数据库，所述的云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述的控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。
优选地，所述的流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合的数据处理系统。
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。Impala的最大特点就是它的快速，具有以下优点：Impala不需要把中间结果写入磁盘，省掉了大量的I/O开销；省掉了MapReduce作业启动的开销，Impala直接通过相应的服务进程来进行作业调度，速度快了很多；Impala可做更多的查询优化；避免了为支持通用编译而带来的不必要开销；做了很多有针对性的硬件优化；尽可能地将数据和计算分配在同一台机器上进行，减少了网络开销。
本发明的技术方案中，从物联网层采集传输到网关的带有时间戳的数据直接通过Internet传输到云端，这样做的好处是可以减少控制室内已有PC的运行负担，而且PC端只需要从云端获取数据即可进行查询。添加时间戳是为了根据时间查询用户需要的实时数据以及历史数据。
传输到云端的流数据首先被存储到流数据处理系统，这样做是为了能够充分发挥流数据处理系统处理速度以及查询速度快的优势，可以快速的查询到实时数据传输到应用层供用户查询。
本发明通过一个控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。这样做的好处是，可以大大减少流数据库中的数据存储量，加快查询速度。另外一方面可以有效的保存历史数据，供用户查询分析。历史数据存入关系型数据库，供用户查询历史数据
本发明又提出一种基于云端的流数据存储系统的查询方法，
S1.窗口显示类显示实时流数据；
S2.客户端的应用层通过服务端发送数据查询请求；
S3.控制器根据不同的查询的请求从数据库中查询不同的数据；
S4.控制器将查询到的数据发送给数据查询类；
S5.数据查询类将数据传送至数据类；
S6.数据类根据用户的动作显示实时数据或者历史数据。
步骤S4包括：如果客户端向流数据类发送查询请求，控制器通过流数据库查询实时数据，如果客户端向历史数据类发送查询请求，控制器通过操作关系型数据库查询历史数据。
本发明采用B/S的架构实现数据的云端查询。首先云端的最明显的一个作用就是联系远程用户，即用户可以通过移动终端以及PC与云端产生联系，一方面可以实现数据的共享，减少数据孤岛的出现，另外一方面可以将数据与用户进行紧密联系，用户可以在任何地方对自己工厂的数据了如指掌。其次是B/S架构，位于客户端的应用层只需要发送数据查询请求即可，处理通过服务端实现。这样做的好处是大大减小客户端的处理负担，而且可以实现数据随处查看。
其中，窗口显示类用来实时显示流数据，如果用户继续往历史数据方向拖拽显示界面即会继续显示出历史数据，这样做的好处是用户不但可以查看当前的实时数据，还可以持续的查看历史数据，有利于工作人员进行分析。窗口显示类是默认显示从当前时刻到某一时段内的数据，此时是流数据类向控制器发送查询请求，控制器此时会通过操作流数据库查询实时数据，如果用户进行拖拽即出发历史数据类向控制器类发送查询请求，控制器此时会通过操作关系型数据库查询历史数据，
基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (4)

1.一种基于云端的流数据存储系统，其特征在于：包括物联网层，云端，网关，所述的物联网层与云端物理连接，所述的物联网采集工业自动化生产过程中产生的流数据，并传输到云端；所述的云端包括流数据处理系统、控制器和关系型数据库，所述的云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述的控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。
2.根据权利要求1所述的一种基于云端的流数据存储系统，其特征在于：所述的流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合的数据处理系统。
3.根据上述权利要求1或2的一种基于云端的流数据存储系统的查询方法，其特征在于：包括如下步骤：
S1.窗口显示类显示实时流数据；
S2.客户端的应用层通过服务端发送数据查询请求；
S3.控制器根据不同的查询的请求从数据库中查询不同的数据；
S4.控制器将查询到的数据发送给数据查询类；
S5.数据查询类将数据传送至数据类；
S6.数据类根据用户的动作显示实时数据或者历史数据。
4.根据权利要求3所述的一种基于云端的流数据存储系统的查询方法，其特征在于：所述的步骤S4包括如果客户端向流数据类发送查询请求，控制器通过流数据库查询实时数据，如果客户端向历史数据类发送查询请求，控制器通过操作关系型数据库查询历史数据。
CN201610079826.0A 2016-02-03 2016-02-03 一种基于云端的流数据存储系统及其查询方法 Pending CN105608231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610079826.0A CN105608231A (zh) 2016-02-03 2016-02-03 一种基于云端的流数据存储系统及其查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610079826.0A CN105608231A (zh) 2016-02-03 2016-02-03 一种基于云端的流数据存储系统及其查询方法

Publications (1)

Publication Number Publication Date
CN105608231A true CN105608231A (zh) 2016-05-25

Family

ID=55988170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610079826.0A Pending CN105608231A (zh) 2016-02-03 2016-02-03 一种基于云端的流数据存储系统及其查询方法

Country Status (1)

Country Link
CN (1) CN105608231A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649691A (zh) * 2016-12-19 2017-05-10 雷桦松 一种流数据存储方法及装置
CN107392434A (zh) * 2017-06-27 2017-11-24 盛景云（天津）互联网信息服务有限公司 工业大数据平台系统架构及控制流程
CN108664525A (zh) * 2017-04-01 2018-10-16 北京京东尚科信息技术有限公司 用于数据处理服务器的数据处理方法和装置
CN109672734A (zh) * 2018-12-20 2019-04-23 广州市吉华勘测股份有限公司 一种监测处理方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102571617A (zh) * 2012-03-22 2012-07-11 上海中科高等研究院 流数据服务器、流数据传输方法及数据传输系统
US8954459B1 (en) * 2008-06-26 2015-02-10 Experian Marketing Solutions, Inc. Systems and methods for providing an integrated identifier

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954459B1 (en) * 2008-06-26 2015-02-10 Experian Marketing Solutions, Inc. Systems and methods for providing an integrated identifier
CN102571617A (zh) * 2012-03-22 2012-07-11 上海中科高等研究院 流数据服务器、流数据传输方法及数据传输系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
庄雪吟等: "复杂装备状态监测实时流数据处理框架", 《计算机集成制造系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649691A (zh) * 2016-12-19 2017-05-10 雷桦松 一种流数据存储方法及装置
CN108664525A (zh) * 2017-04-01 2018-10-16 北京京东尚科信息技术有限公司 用于数据处理服务器的数据处理方法和装置
CN107392434A (zh) * 2017-06-27 2017-11-24 盛景云（天津）互联网信息服务有限公司 工业大数据平台系统架构及控制流程
CN109672734A (zh) * 2018-12-20 2019-04-23 广州市吉华勘测股份有限公司 一种监测处理方法和系统

Similar Documents

Publication Publication Date Title
WO2015196892A1 (zh) 工业自动化数据的采集方法及装置、系统
CN105608231A (zh) 一种基于云端的流数据存储系统及其查询方法
CN104035392B (zh) 在过程控制系统中的大数据
CN105913847B (zh) 语音控制系统、用户端设备、服务器和中央控制单元
JP6659297B2 (ja) プロセス制御システム内でのアナリティクスのためのストリーミングデータ
CN105427193B (zh) 一种基于分布式时序数据服务的大数据分析装置及方法
US10348581B2 (en) Industrial monitoring using cloud computing
CN105608144B (zh) 一种基于多层模型迭代的大数据分析平台装置及方法
US9697170B2 (en) Collecting and delivering data to a big data machine in a process control system
JP2006164233A (ja) 分散データ駆動型アーキテクチャ環境におけるディレクトリ構造
CN105843895B (zh) 基于Ehcache的数据查询及同步方法，装置及系统
TW201627882A (zh) 先決式資料庫系統及其資料搬移方法
US10484476B2 (en) Distributed data management systems for embedded controllers
CN104049575A (zh) 在过程控制系统中收集并且向大数据机器递送数据
CN105608758A (zh) 一种基于算法组态和分布式流计算的大数据分析平台装置及方法
CN106168963B (zh) 实时流数据的处理方法、装置及服务器
CN106873945A (zh) 基于批处理和流式处理的数据处理架构及数据处理方法
CN112995327B (zh) 一种云平台系统、工厂端、工业云平台及服务对接系统
Ralph et al. Digitalization and digital transformation in metal forming: key technologies, challenges and current developments of industry 4.0 applications
CN106649691A (zh) 一种流数据存储方法及装置
CN112214541A (zh) 一种电力监测数据的深度解耦与数据协同方法
CN110377653A (zh) 一种实时大数据计算与存储方法及系统
CN105005572A (zh) 一种数据库映射方法及装置
CN102750368A (zh) 一种数据库集群数据高速导入方法
US11550297B2 (en) Methods and arrangements for robot device control in a cloud

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160525

WD01 Invention patent application deemed withdrawn after publication