CN106371366A - 基于arm架构的大数据采集与分析平台 - Google Patents

基于arm架构的大数据采集与分析平台 Download PDF

Info

Publication number
CN106371366A
CN106371366A CN201610841876.8A CN201610841876A CN106371366A CN 106371366 A CN106371366 A CN 106371366A CN 201610841876 A CN201610841876 A CN 201610841876A CN 106371366 A CN106371366 A CN 106371366A
Authority
CN
China
Prior art keywords
data
platform
big data
analysis
stm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610841876.8A
Other languages
English (en)
Inventor
金路
鹿林
秦定宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sinovatio Technology LLC
Original Assignee
Nanjing Sinovatio Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sinovatio Technology LLC filed Critical Nanjing Sinovatio Technology LLC
Priority to CN201610841876.8A priority Critical patent/CN106371366A/zh
Publication of CN106371366A publication Critical patent/CN106371366A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24215—Scada supervisory control and data acquisition

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于ARM架构的大数据采集与分析平台，该平台包括：STM硬件平台，用于通过外围协议接口从节点控制器上进行实时数据采集，并通过网口将采集的数据进行解析后发送；中间件，用于将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步；流式计算分析模块，用于采用流式计算模式实时分析中间件传输的数据；云端大数据平台，用于存储流式计算分析模块得到的数据；数据视图展示模块，用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。本发明可以实时采集大批量数据，并进行快速实时分析，并集中存储。

Description

基于ARM架构的大数据采集与分析平台
技术领域
本发明涉及数据采集分析平台，尤其涉及一种基于ARM架构的大数据采集与分析平台。
背景技术
目前，物联网作为下一个重大的互联网革命，所有不同形状和尺寸的设备和机器正在连接至互联网、彼此互连以及连接至人类。基于每年超过100亿台微控制器的出货量，且均可通过互联网相连，大量智能设备应运而生，范围涉及运动传感器、智能家居、设备监控以及环境监测。每天会产生大量的数据，这些数据总是被离散的存储在不同的地方，而且存储容量很小，另一方面很难做到对实时采集的数据进行快速实时分析。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种基于ARM架构的大数据采集与分析平台。
技术方案：本发明所述的基于ARM架构的大数据采集与分析平台包括：
STM硬件平台，用于通过外围协议接口从节点控制器上进行实时数据采集，并通过网口将采集的数据进行解析后发送；
中间件，用于将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步；
流式计算分析模块，用于采用流式计算模式实时分析中间件传输的数据；
云端大数据平台，用于存储流式计算分析模块得到的数据；
数据视图展示模块，用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。
进一步的，所述STM硬件平台具体为基于ARM V7构架的STM32芯片搭建的数据采集硬件平台。所述STM硬件平台的外围协议接口包括SPI、IIC、USB、485、CAN、ADC和RS232接口。所述中间件具体为apache的kafka中间件。所述流式计算分析模块具体为Apache Spark的Spark Streaming流式计算模块。所述云端大数据平台采用Hadoop分布式文件系统实现数据存储。
有益效果：本发明与现有技术相比，其显著优点是：本发明可以实时采集大批量数据，并进行快速实时分析，之后集中存储在HDFS。本发明可以部署在廉价的机器上，提供高吞吐量的数据访问，存储量巨大且是可扩展的。
附图说明
图1是本发明的一个实施例的系统框图。
具体实施方式
如图1所示，本实施例的基于ARM架构的大数据采集与分析平台包括STM硬件平台、中间件、流式计算分析模块、云端大数据平台和数据视图展示模块。
STM硬件平台：STM硬件平台是基于ARM V7构架的STM32芯片搭建的数据采集硬件平台，用于通过外围协议接口(包括SPI、IIC、USB、485、CAN、ADC和RS232接口)从节点控制器上进行实时数据采集，并通过DM9000a网口将采集的数据进行解析后发送。
中间件：由于各个硬件设备以及外围接口数据传输率不同，会造成采集数据的速度和数据处理的速度不一定同步，因此添加一个中间件来作为缓冲，选用apache的kafka作为中间件，各个STM硬件平台作为数据生成者，流式计算分析模块Spark streaming工具作为数据的消费者，将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步。
流式计算分析模块：流式计算分析模块具体为Apache Spark的Spark Streaming流式计算模块，用于采用流式计算模式实时分析中间件传输的数据。Spark Streaming是Apache Spark的一个子项目。Spark是个类似于Apache Hadoop的开源批处理平台，而SparkStreaming则是个实时处理工具，运行在Spark引擎之上，对采集到的数据进行实时分析。
云端大数据平台：云端大数据平台采用Hadoop分布式文件系统(HDFS)实现数据存储，用于存储流式计算分析模块得到的数据。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
数据视图展示模块：数据视图展示模块用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。数据视图展示模块通过Spark Sql对存储在HDFS上的数据进行查询，以数据仪表盘向用户形象的展现数据分析的结果，又可以通过动态交互式的方式帮助用户分析问题。
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于ARM架构的大数据采集与分析平台，其特征在于该平台包括：
STM硬件平台，用于通过外围协议接口从节点控制器上进行实时数据采集，并通过网口将采集的数据进行解析后发送；
中间件，用于将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步；
流式计算分析模块，用于采用流式计算模式实时分析中间件传输的数据；
云端大数据平台，用于存储流式计算分析模块得到的数据；
数据视图展示模块，用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。
2.根据权利要求1所述的基于ARM架构的大数据采集与分析平台，其特征在于：所述STM硬件平台具体为基于ARM V7构架的STM32芯片搭建的数据采集硬件平台。
3.根据权利要求1所述的基于ARM架构的大数据采集与分析平台，其特征在于：所述STM硬件平台的外围协议接口包括SPI、IIC、USB、485、CAN、ADC和RS232接口。
4.根据权利要求1所述的基于ARM架构的大数据采集与分析平台，其特征在于：所述中间件具体为apache的kafka中间件。
5.根据权利要求1所述的基于ARM架构的大数据采集与分析平台，其特征在于：所述流式计算分析模块具体为Apache Spark的Spark Streaming流式计算模块。
6.根据权利要求1所述的基于ARM架构的大数据采集与分析平台，其特征在于：所述云端大数据平台采用Hadoop分布式文件系统实现数据存储。
CN201610841876.8A 2016-09-22 2016-09-22 基于arm架构的大数据采集与分析平台 Pending CN106371366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610841876.8A CN106371366A (zh) 2016-09-22 2016-09-22 基于arm架构的大数据采集与分析平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610841876.8A CN106371366A (zh) 2016-09-22 2016-09-22 基于arm架构的大数据采集与分析平台

Publications (1)

Publication Number Publication Date
CN106371366A true CN106371366A (zh) 2017-02-01

Family

ID=57897985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610841876.8A Pending CN106371366A (zh) 2016-09-22 2016-09-22 基于arm架构的大数据采集与分析平台

Country Status (1)

Country Link
CN (1) CN106371366A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026851A (zh) * 2017-03-22 2017-08-08 西安电子科技大学 一种基于流式数据处理的实时系统保护方法
CN107682432A (zh) * 2017-09-28 2018-02-09 北京京东尚科信息技术有限公司 基于Spark的数据处理系统和方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201410315Y (zh) * 2009-01-09 2010-02-24 湖南华博科技开发有限公司 嵌入式智能加药控制器
CN102592061A (zh) * 2012-03-13 2012-07-18 河北师范大学 基于云计算的中医数据采集诊断中间系统及其实现方法
CN102929827A (zh) * 2012-09-25 2013-02-13 浙江图讯科技有限公司 一种用于面向工矿企业的安全生产云服务平台的无线传感器数据采集集群
CN102955717A (zh) * 2012-11-05 2013-03-06 北京奇虎科技有限公司 在分布式消息处理系统中的消息管理设备和方法
CN104536972A (zh) * 2014-12-03 2015-04-22 北京邮电大学 基于cdn的网页内容感知系统及方法
CN104794577A (zh) * 2015-04-23 2015-07-22 浪潮集团有限公司 一种基于云计算的嵌入式综合服务评价管理系统
CN104882007A (zh) * 2015-05-19 2015-09-02 中国科学院自动化研究所 基于流计算的交通信号控制系统搭建方法及控制系统
CN104950769A (zh) * 2015-06-24 2015-09-30 江阴市利得电气有限公司 一种基于云计算大数据分析的电气设备环境智能监控系统
CN105468735A (zh) * 2015-11-23 2016-04-06 武汉虹旭信息技术有限责任公司 基于移动互联网海量信息的流式预处理系统及其方法
CN105608758A (zh) * 2015-12-17 2016-05-25 山东鲁能软件技术有限公司 一种基于算法组态和分布式流计算的大数据分析平台装置及方法
EP3037901A2 (en) * 2014-12-22 2016-06-29 Rockwell Automation Technologies, Inc. Cloud-based emulation and modeling for automation systems
CN105930373A (zh) * 2016-04-13 2016-09-07 北京思特奇信息技术股份有限公司 一种基于spark streaming的大数据流处理方法和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201410315Y (zh) * 2009-01-09 2010-02-24 湖南华博科技开发有限公司 嵌入式智能加药控制器
CN102592061A (zh) * 2012-03-13 2012-07-18 河北师范大学 基于云计算的中医数据采集诊断中间系统及其实现方法
CN102929827A (zh) * 2012-09-25 2013-02-13 浙江图讯科技有限公司 一种用于面向工矿企业的安全生产云服务平台的无线传感器数据采集集群
CN102955717A (zh) * 2012-11-05 2013-03-06 北京奇虎科技有限公司 在分布式消息处理系统中的消息管理设备和方法
CN104536972A (zh) * 2014-12-03 2015-04-22 北京邮电大学 基于cdn的网页内容感知系统及方法
EP3037901A2 (en) * 2014-12-22 2016-06-29 Rockwell Automation Technologies, Inc. Cloud-based emulation and modeling for automation systems
CN104794577A (zh) * 2015-04-23 2015-07-22 浪潮集团有限公司 一种基于云计算的嵌入式综合服务评价管理系统
CN104882007A (zh) * 2015-05-19 2015-09-02 中国科学院自动化研究所 基于流计算的交通信号控制系统搭建方法及控制系统
CN104950769A (zh) * 2015-06-24 2015-09-30 江阴市利得电气有限公司 一种基于云计算大数据分析的电气设备环境智能监控系统
CN105468735A (zh) * 2015-11-23 2016-04-06 武汉虹旭信息技术有限责任公司 基于移动互联网海量信息的流式预处理系统及其方法
CN105608758A (zh) * 2015-12-17 2016-05-25 山东鲁能软件技术有限公司 一种基于算法组态和分布式流计算的大数据分析平台装置及方法
CN105930373A (zh) * 2016-04-13 2016-09-07 北京思特奇信息技术股份有限公司 一种基于spark streaming的大数据流处理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
褚倩云 等: "基于多传感器信息融合技术的远程智能沼气池监控系统", 《电脑知识与技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026851A (zh) * 2017-03-22 2017-08-08 西安电子科技大学 一种基于流式数据处理的实时系统保护方法
CN107682432A (zh) * 2017-09-28 2018-02-09 北京京东尚科信息技术有限公司 基于Spark的数据处理系统和方法

Similar Documents

Publication Publication Date Title
CN109271412A (zh) 智慧城市的实时流数据处理方法及系统
CN105930384A (zh) 基于Hadoop体系的传感云数据存储系统及其实现方法
CN203466840U (zh) 云服务监控系统
CN104820418B (zh) 一种针对机械臂的嵌入式视觉系统及其使用方法
CN103617287A (zh) 一种分布式环境下的日志管理方法和装置
CN103344648A (zh) 一种基于gpu的钢板表面质量检测方法及系统
CN110502491A (zh) 一种日志采集系统及其数据传输方法、装置
CN106708917A (zh) 一种数据处理方法、装置以及olap系统
CN107480244A (zh) 一种工业数据汇集与处理系统及其处理方法
CN109743356B (zh) 工业互联网数据采集方法及装置、可读存储介质和终端
CN108062555A (zh) 基于Spark流式聚类的监测数据预警系统
CN104572975B (zh) 一种实时数据处理分析系统
US20200174435A1 (en) Energy Information System, and Method and Device for Processing Energy Information
CN106296788A (zh) 一种跨机房集群渲染部署实现系统
CN102857505A (zh) 一种物联网数据总线中间件
CN101902497A (zh) 基于云计算的互联网信息监测系统及方法
CN109740573A (zh) 视频分析方法、装置、设备及服务器
CN106371366A (zh) 基于arm架构的大数据采集与分析平台
CN103970891A (zh) 一种基于情境的用户兴趣信息查询方法
CN107147527A (zh) 一种Linux集群告警的系统及方法
CN105677858A (zh) 一种基于大数据技术框架的数据采集方法及装置
CN105242873A (zh) 云计算系统的性能数据的采集与存储方法及装置
CN201726426U (zh) 基于云计算的互联网信息监测系统
Wang et al. The implementation of a practical agricultural big data system
CN202696825U (zh) 一种机顶盒信息管理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201