CN106709009A - 一种基于云平台的电动车大数据处理系统 - Google Patents

一种基于云平台的电动车大数据处理系统 Download PDF

Info

Publication number
CN106709009A
CN106709009A CN201611213923.0A CN201611213923A CN106709009A CN 106709009 A CN106709009 A CN 106709009A CN 201611213923 A CN201611213923 A CN 201611213923A CN 106709009 A CN106709009 A CN 106709009A
Authority
CN
China
Prior art keywords
data
hbase
hadoop
big data
cloud platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611213923.0A
Other languages
English (en)
Inventor
张悦诚
宋雪桦
孙旭
史昇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengchi Science & Technology Co Ltd Zhenjiang
Original Assignee
Hengchi Science & Technology Co Ltd Zhenjiang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengchi Science & Technology Co Ltd Zhenjiang filed Critical Hengchi Science & Technology Co Ltd Zhenjiang
Priority to CN201611213923.0A priority Critical patent/CN106709009A/zh
Publication of CN106709009A publication Critical patent/CN106709009A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Arrangement Or Mounting Of Propulsion Units For Vehicles (AREA)

Abstract

本发明提供了一种大数据存储和分析的方法，属于智能交通和云平台大数据领域。本发明将Hadoop的大数据处理系统引入车联网数据处理中，利用Hadoop分布式计算模型MapReduce对电动车数据进行分析；通过采用Hadoop的HDFS分布式文件系统，将非结构化的电动车数据存储在面向列的HBase分布式数据库中，解决现有数据处理系统在存储、查询、计算方面的不足；此外，系统还提供了C#网页端和安卓客户端向HBase中存储数据与查询数据的接口，让用户能够实时通过安卓客户端或网页获取ECU的关键参数，使车辆始终保持安全高效地运行。

Description

一种基于云平台的电动车大数据处理系统
技术领域
本发明涉及电动车领域，特别涉及一种大数据存储和分析系统。
背景技术
随着车联网技术的飞速发展，车联网终端传感器的数量越来越多，分布范围越来越广，随之传感器采集的数据量也飞速增长。传统的关系型数据库已经很难满足大规模电动车数据的存储与查询，单台计算机已经很难对大规模数据进行快速有效处理。而且随着对数据实时性要求的不断提高，原有的关系型数据库面对大规模数据查询的压力非常大，本发明将基于Hadoop的大数据处理系统引入车联网数据处理中，可以有效改善原有系统的处理效率。
发明内容
针对现有数据处理系统在存储、查询、计算方面的不足，本发明提供了一种电动车数据处理系统，以提供一种低成本的数据存储系统与高效率的数据计算能力。
系统包括Hadoop集群，HBase分布式数据库，C#网页端访问HBase的接口和安卓客户端访问HBase的接口。
所述Hadoop集群，用来为电动车数据提供存储和计算能力的支持和HDFS分布式文件系统。在其计算能力方面，基于目前应用需求实现了电池安全分析和冷却设备开启时间与电机参数关系分析。在实现电动车电池安全分析时，通过电池温度和电压的平均值和方差来双重判断，确定电池是否正常，由于数据量太大，传统单台计算机处理效率无法满足高速处理要求，需要用到Hadoop集群中的分布式计算模型MapReduce来对大量历史数据进行计算分析；在冷却设备运行时间与不同电机功率作用下的电机温度的分析过程中，通过在R语言建立不同电机功率下，温度与冷却设备开启时间的关系模型，并生成关系数组Map存储到HBase中。
所述HBase分布式数据库，针对存储性能的要求，系统基于solr建立二级索引机制，采用面向列的HBase分布式数据库作为新的数据库对非结构化的电动车数据进行存储，设计用户ID和时间戳作为RowKey，并设计三个列族，分别存储车辆故障数据，电机数据和电池数据，不仅使通过脚本查看数据更加直观，还可以通过具体数据或者列查询到主键从而提高了查询效率。
本系统为C#网页客户端和安卓客户端提供数据访问口。在C#网页端访问接口处封装了各种查询方法，包括通过主键、列、时间戳或者组合查询的方式，使C#网页端通过thrift插件访问HBase数据库时，查询方式更加多样化；系统通过采用HBase提供的原生java API插入数据方法和查询数据的方法，为安卓客户端提供了读写数据的访问接口。
本发明的有益效果：
（1）利用HBase可扩展性的优势，增加了系统所能存储数据的容量；
（2）通过HBase面向列的特点和查询机制，可以提高系统的查询效率；
（3）通过Hadoop集群中的MapReduce分布式计算框架，可以提高数据处理高效率。
附图说明
图1为本系统的总体结构框图
图2为分析电池安全分析的流程图
图3为分析电机温度与功率和冷却设备开启时间关系的流程图
具体实施方式
以下结合附图及实施例对本发明进行进一步说明。
图1为本发明实施例所提供的电动车数据处理系统的总体结构图，如图1所示，通过车内传感器采集电动车数据，然后传感器将采集到的数据通过CAN总线传送到每辆车内的电控系统ECU，ECU通过集成在芯片内的wifi或者GPRS模块将数据发送到Hadoop集群，集群对数据进行预处理并插入到HBase数据库，C#网页端和安卓客户端分别通过Thrift插件和Java API读取和插入数据到HBase使用户通过客户端访问数据，出于电池安全和能耗经济的考虑，基于MapReduce对数据进行处理并传入HBase数据库中。
图1中的Hadoop云计算平台采用5台云服务器搭建完成，其中一个主节点，4个从节点。其中HDFS作为HBase和MapReduce工作任务的共享文件系统，用来作数据存储的底层支持。
如图1所示HBase非关系型数据库，主要存储汽车工况参数，以用户ID作为工况参数表的RowKey，基于Solor构建二级索引机制，可以通过参数查询主键。
如图1所示C#网页端通过Thrift访问HBase，本系统将对多种插入和读取数据的方法进行封装并且内置于C#网站系统中，包括通过主键、列名称、时间戳、Value值以及数据的历史版本数的多种查询机制。
如图1所示安卓客户端通过Java API访问HBase，本发明提供多种数据访问的接口，封装增、删、改、查方法到安卓客户端中并且利用过滤器实现多种查询策略。
如图2所示，基于电池安全，对电池状态进行分析，具体流程如下：
1）首先通过HBase的java接口从HBase获取电池的电压和温度参数并存在文本中。
2）上传上述数据到Hadoop集群中的分布式文件系统HDFS中。
3）基于MapReduce编写计算描述电池电压和温度的平均值。
4）基于MapReduce编写计算描述电池电压和温度的方差。
5）基于MapReduce均值和方差判断均值和方差是否在安全范围内。
6）如果判断电池存在问题，则基于MapReduce计算电机输出功率，并通过GPRS或wifi将数据下发给ECU，使车辆降功率运行。
如图3所示，分析电机温度与功率——冷却设备开启时间的关系图，具体流程如下：
1）首先通过HBase的java接口从HBase获取电机温度，水泵开启时间，风扇开启时间的参数并且存在文本中。
2）在某一特定功率下，基于R语言，以电机温度为因变量，以水泵、风扇等冷却设备的开启时间为自变量建立回归模型，得出一个二元函数。
3） 改变电机功率，在不同电机功率下基于R语言与上述参数建立回归模型。
4）根据上述不同电机功率下的函数关系，生成电机温度的关系Map，存储到HBase分布式数据库中。

Claims (4)

1.一种基于云平台的电动车大数据处理系统，其特征在于：系统由Hadoop集群，HBase分布式数据库，C#网页端访问HBase的接口和安卓客户端访问HBase的接口组成；利用Hadoop分布式计算模型MapReduce对电动车数据进行分析；通过采用Hadoop的HDFS分布式文件系统，将非结构化的电动车数据存储在面向列的HBase分布式数据库中；提供C#网页端和安卓客户端向HBase中存储数据与查询数据的接口。
2.如权利要求1所述的一种基于云平台的电动车大数据处理系统，其特征在于：为满足车辆故障数据、电机数据和电池数据的存储和查询功能，系统基于solr建立二级索引机制，采用HBase作为数据库对电动车数据进行存储，设计用户ID和时间戳作为RowKey。
3.如权利要求1所述的一种基于云平台的电动车大数据处理系统，其特征在于：在C#网页端访问接口处封装了各种查询方法，包括通过主键、列、时间戳或者组合查询的方式，使C#网页端通过thrift插件访问HBase数据库时，查询方式更加多样化；系统通过采用HBase提供的原生java API插入数据方法和查询数据的方法，为安卓客户端提供读写数据的访问接口。
4.如权利要求1所述的一种基于云平台的电动车大数据处理系统，其特征在于：用Hadoop集群中的分布式计算模型MapReduce来对大量历史数据进行计算分析，通过电池温度和电压的平均值和方差来双重判断，确定电池是否正常；基于R语言建立不同电机功率下，温度与水泵，风扇开启时间的关系模型，并且生成关系数组Map存储到HBase中。
CN201611213923.0A 2016-12-26 2016-12-26 一种基于云平台的电动车大数据处理系统 Pending CN106709009A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611213923.0A CN106709009A (zh) 2016-12-26 2016-12-26 一种基于云平台的电动车大数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611213923.0A CN106709009A (zh) 2016-12-26 2016-12-26 一种基于云平台的电动车大数据处理系统

Publications (1)

Publication Number Publication Date
CN106709009A true CN106709009A (zh) 2017-05-24

Family

ID=58896009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611213923.0A Pending CN106709009A (zh) 2016-12-26 2016-12-26 一种基于云平台的电动车大数据处理系统

Country Status (1)

Country Link
CN (1) CN106709009A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862019A (zh) * 2017-10-31 2018-03-30 泰华智慧产业集团股份有限公司 一种基于大数据分析昼伏夜出车辆的方法及装置
CN108398641A (zh) * 2017-11-30 2018-08-14 深圳市科列技术股份有限公司 一种电池数据处理方法和电池数据服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699718A (zh) * 2013-12-10 2015-06-10 阿里巴巴集团控股有限公司 用于快速引入业务数据的方法和装置
CN105138592A (zh) * 2015-07-31 2015-12-09 武汉虹信技术服务有限责任公司 一种基于分布式架构的日志数据存储和检索方法
CN105243063A (zh) * 2014-06-18 2016-01-13 北京新媒传信科技有限公司 信息推荐的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699718A (zh) * 2013-12-10 2015-06-10 阿里巴巴集团控股有限公司 用于快速引入业务数据的方法和装置
CN105243063A (zh) * 2014-06-18 2016-01-13 北京新媒传信科技有限公司 信息推荐的方法和装置
CN105138592A (zh) * 2015-07-31 2015-12-09 武汉虹信技术服务有限责任公司 一种基于分布式架构的日志数据存储和检索方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862019A (zh) * 2017-10-31 2018-03-30 泰华智慧产业集团股份有限公司 一种基于大数据分析昼伏夜出车辆的方法及装置
CN107862019B (zh) * 2017-10-31 2021-01-01 泰华智慧产业集团股份有限公司 一种基于大数据分析昼伏夜出车辆的方法及装置
CN108398641A (zh) * 2017-11-30 2018-08-14 深圳市科列技术股份有限公司 一种电池数据处理方法和电池数据服务器

Similar Documents

Publication Publication Date Title
CN106709035B (zh) 一种电力多维全景数据的预处理系统
WO2021091489A1 (en) Method and apparatus for storing time series data, and server and storage medium thereof
CN101183368B (zh) 联机分析处理中分布式计算及查询海量数据的方法和系统
CN109582667A (zh) 一种基于电力调控大数据的多数据库混合存储方法及系统
CN103440288A (zh) 一种大数据存储方法及装置
CN106777027B (zh) 大规模并行处理行列混合数据存储装置及存储、查询方法
CN106202482A (zh) 一种基于用户行为分析的网站优化方法及系统
CN111159180A (zh) 一种基于数据资源目录构建的数据处理方法及系统
CN103678550A (zh) 一种基于动态索引结构的海量数据实时查询方法
CN106709009A (zh) 一种基于云平台的电动车大数据处理系统
CN104991958A (zh) 一种电力设备监控数据的分析系统及其方法
CN202870852U (zh) 基于云计算的人脸识别系统
CN104572832B (zh) 一种需求元模型构建方法及装置
CN202374293U (zh) 基于云计算的电动汽车充换电数据采集系统
CN115905630A (zh) 一种图数据库查询方法、装置、设备及存储介质
CN107358534A (zh) 社交网络的无偏数据采集系统及采集方法
CN114221983A (zh) 能源物联网物理与信息系统的关键路径确定方法及装置
CN207764844U (zh) 一种数据处理系统
CN109783163A (zh) 一种基于多维数据变量的数据交互方法及平台
Pan et al. Fuzzy optimal energy management for battery electric vehicles concerning equivalent speed
CN116862137A (zh) 基于数据融合的充电桩负荷柔性调度方法及装置
CN103399963A (zh) 基于Hive的优化器优化方法
CN105912621A (zh) 一种区域建筑能耗平台数据存储和查询方法
Hu et al. Application of big data fusion based on cloud storage in green transportation: an application of healthcare
CN103544196A (zh) BigBase高通量大数据在线分析软硬件一体机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170524

WD01 Invention patent application deemed withdrawn after publication