CN112650726A - 一种流式计算行驶行程和充电行程的系统 - Google Patents
一种流式计算行驶行程和充电行程的系统 Download PDFInfo
- Publication number
- CN112650726A CN112650726A CN202011415685.8A CN202011415685A CN112650726A CN 112650726 A CN112650726 A CN 112650726A CN 202011415685 A CN202011415685 A CN 202011415685A CN 112650726 A CN112650726 A CN 112650726A
- Authority
- CN
- China
- Prior art keywords
- real
- data
- streaming
- data cleaning
- time streaming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 43
- 238000004140 cleaning Methods 0.000 claims abstract description 49
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 abstract description 3
- 230000004304 visual acuity Effects 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/1827—Management specifically adapted to NAS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/40—Transportation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Business, Economics & Management (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种流式计算行驶行程和充电行程的系统，其特征在于，包括大数据平台、数据存储模块、车载终端模块、物联网网关、数据清洗模块和实时流式计算引擎；所述数据存储模块连接多个车载终端模块，多个车载终端模块连通同一个物联网网关；所述物联网网关连通多个数据清洗模块，多个数据清洗模块分别对应不同的实时流式计算引擎；所述大数据平台与其中一个实时流式计算引擎相连；与现有技术相比，采用基于大数据平台的flink应用对车辆行驶、充电数据实时汇总统计，有效解决用户体验差问题，可任意增加服务器集群解决算力问题，可适用范围广，可以满足很多新能源领域产品需求。
Description
技术领域
本发明属于车载服务系统技术领域，尤其是一种流式计算行驶行程和充电行程的系统。
背景技术
随着新能源车的越来越普及，车载智能交互越发重要，车辆行驶、充电数据实时展示，可以给予用户更好的使用体验，通过车辆与云平台的实时交互，平台分析统计车辆数据，并及时反馈给用户，实时流式计算使之成为可能。
现有的处理方式是通过离线计算，将用户行驶、充电数据隔日反馈给用户，在用户体验上表现较差，同时随着车辆的增加，海量数据对算力扩展性都有很大的要求，传统统计方式很难满足。
发明内容
本发明是为了克服上述现有技术中的缺陷，提供一种实时统计，支撑海量计算，人机交互体验好的流式计算行驶行程和充电行程的系统。
为了达到以上目的，本发明所采用的技术方案是：一种流式计算行驶行程和充电行程的系统，其特征在于，包括大数据平台、数据存储模块、车载终端模块、物联网网关、数据清洗模块和实时流式计算引擎；所述数据存储模块连接多个车载终端模块，多个车载终端模块连通同一个物联网网关；所述物联网网关连通多个数据清洗模块，多个数据清洗模块分别对应不同的实时流式计算引擎；所述大数据平台与其中一个实时流式计算引擎相连。
作为本发明的一种优选方案，所述数据清洗模块包括并列设置的第一数据清洗模块、第二数据清洗模块和第三数据清洗模块，实时流式计算引擎包括第一实时流式计算引擎、第二实时流式计算引擎和第三实时流式计算引擎。
作为本发明的一种优选方案，所述第一数据清洗模块、第二数据清洗模块和第三数据清洗模块互不干涉。
作为本发明的一种优选方案，所述第一数据清洗模块和第二数据清洗模块同时与第一实时流式计算引擎相连。
作为本发明的一种优选方案，所述第三数据清洗模块同时与第二实时流式计算引擎和第三实时流式计算引擎相连。
作为本发明的一种优选方案，所述第二实时流式计算引擎与第一数据清洗模块相连。
作为本发明的一种优选方案，所述第三实时流式计算引擎与数据存储模块相连。
作为本发明的一种优选方案，所述大数据平台与第二实时流式计算引擎相连。
作为本发明的一种优选方案，所述大数据平台基于Kafka的开源流处理平台。
作为本发明的一种优选方案，所述大数据平台基于flink的开源流处理框架。
本发明的有益效果是，与现有技术相比：采用基于大数据平台的flink应用对车辆行驶、充电数据实时汇总统计，有效解决用户体验差问题，可任意增加服务器集群解决算力问题，可适用范围广，可以满足很多新能源领域产品需求，实时统计，低延时展示，人机交互用户体验好，技术新，支持海量计算，使用了目前主流的实时计算引擎flink,结合kafka，可以满足大数据实时统计分析，易扩展，技术框架不存在性能瓶颈，通过增加服务器集群，可以有效提高计算能力。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图对本发明实施例作详细说明。
如图1所示，一种流式计算行驶行程和充电行程的系统，包括大数据平台、数据存储模块、车载终端模块、物联网网关、数据清洗模块和实时流式计算引擎；数据存储模块连接多个车载终端模块，多个车载终端模块连通同一个物联网网关；物联网网关连通多个数据清洗模块，多个数据清洗模块分别对应不同的实时流式计算引擎；大数据平台与其中一个实时流式计算引擎相连。
大数据平台为Cloudera版本（Cloudera’s Distribution Including ApacheHadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。
数据存储模块为NAS数据存储方式，采用独立于服务器，单独为网络数据存储而开发的一种文件服务器来连接所存储设备，自形成一个网络。
车载终端为车辆监控管理系统的前端设备，包括车载视频服务器、LCD触摸屏、外接摄像机、通话手柄、汽车防盗器，车载终端与数据存储模块相连，且每个车载终端均独立与数据存储模块相连，相邻车载终端之间互不干涉，每个车载终端与存储模块之间通过导线电性连接，存储模块将存储的数据传输至不同的车载终端内。
物联网网关为网关设备，可以实现感知网络与通信网络，以及不同类型感知网络之间的协议转换．既可以实现广域互联．也可以实现局域互联，物联网网关具有设备管理功能，可以管理多个数据清洗模块，物联网网关连接所有的车载终端，物联网网关与所有的车载终端并联，物联网网关对车载终端进行控制。
数据清洗模块是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等，与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
实时流式计算引擎为是由Apache软件基金会开发的开源流处理框架Flink，是用Java和Scala编写的分布式流数据流引擎。
数据清洗模块包括并列设置的第一数据清洗模块、第二数据清洗模块和第三数据清洗模块，实时流式计算引擎包括第一实时流式计算引擎、第二实时流式计算引擎和第三实时流式计算引擎，数据清洗模块将物联网网关中采集和整合的数据进行清洗并传送至实时流式计算引擎中。
第一数据清洗模块、第二数据清洗模块和第三数据清洗模块互不干涉，第一数据清洗模块和第二数据清洗模块同时与第一实时流式计算引擎相连，第三数据清洗模块同时与第二实时流式计算引擎和第三实时流式计算引擎相连。
物联网网关中采集和整合的数据一式三份分别发送至第一数据清洗模块、第二数据清洗模块和第三数据清洗模块内，第一数据清洗模块和第二数据清洗模块同时与第一实时流式计算引擎相连，用于检测第一数据清洗模块和第二数据清洗模块的清洗是否一致，第三数据清洗模块连接第二实时流式计算引擎和第三实时流式计算引擎，且第二实时流式计算引擎与第二实时流式计算引擎与第一数据清洗模块相连，用于检测第一数据清洗模块、第二数据清洗模块和第三数据清洗模块是否清洗一致，第三实时流式计算引擎与数据存储模块相连，通过第三实时流式计算引擎的数据传送至数据存储模块中进行储存。
大数据平台与第二实时流式计算引擎相连，大数据平台基于Kafka的开源流处理平，大数据平台基于flink的开源流处理框架。
大数据平台内的数据传送至第二实时流式计算引擎内，且经过第二实时流式计算引擎后传输至第一实时流式计算引擎内。
通过构建大数据平台，实时消费车辆上报信息，使用流式处理框架，将车辆行驶、充电数据汇总，车辆与云平台即时通讯，云平台将统计数据反馈给车载终端，实现实时统计，低延时展示，人机交互用户体验好，技术新，支持海量计算，使用了目前主流的实时计算引擎flink,结合kafka，可以满足大数据实时统计分析，易扩展，技术框架不存在性能瓶颈，通过增加服务器集群，可以有效提高计算能力。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现；因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种流式计算行驶行程和充电行程的系统，其特征在于，包括大数据平台、数据存储模块、车载终端模块、物联网网关、数据清洗模块和实时流式计算引擎；所述数据存储模块连接多个车载终端模块，多个车载终端模块连通同一个物联网网关；所述物联网网关连通多个数据清洗模块，多个数据清洗模块分别对应不同的实时流式计算引擎；所述大数据平台与其中一个实时流式计算引擎相连。
2.根据权利要求1所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述数据清洗模块包括并列设置的第一数据清洗模块、第二数据清洗模块和第三数据清洗模块，实时流式计算引擎包括第一实时流式计算引擎、第二实时流式计算引擎和第三实时流式计算引擎。
3.根据权利要求2所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述第一数据清洗模块、第二数据清洗模块和第三数据清洗模块互不干涉。
4.根据权利要求2所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述第一数据清洗模块和第二数据清洗模块同时与第一实时流式计算引擎相连。
5.根据权利要求2所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述第三数据清洗模块同时与第二实时流式计算引擎和第三实时流式计算引擎相连。
6.根据权利要求2所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述第二实时流式计算引擎与第一数据清洗模块相连。
7.根据权利要求2所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述第三实时流式计算引擎与数据存储模块相连。
8.根据权利要求2所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述大数据平台与第二实时流式计算引擎相连。
9.根据权利要求1所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述大数据平台基于Kafka的开源流处理平台。
10.根据权利要求1所述的一种流式计算行驶行程和充电行程的系统，其特征在于，所述大数据平台基于flink的开源流处理框架。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011415685.8A CN112650726A (zh) | 2020-12-07 | 2020-12-07 | 一种流式计算行驶行程和充电行程的系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011415685.8A CN112650726A (zh) | 2020-12-07 | 2020-12-07 | 一种流式计算行驶行程和充电行程的系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112650726A true CN112650726A (zh) | 2021-04-13 |
Family
ID=75350309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011415685.8A Pending CN112650726A (zh) | 2020-12-07 | 2020-12-07 | 一种流式计算行驶行程和充电行程的系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112650726A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108984279A (zh) * | 2018-07-02 | 2018-12-11 | 山东汇贸电子口岸有限公司 | 一种面向物联网传统sql开发人员的流式计算方法 |
| CN109165207A (zh) * | 2018-07-16 | 2019-01-08 | 华南农业大学 | 基于Hadoop的饮用水海量数据存储管理方法和系统 |
| CN109587242A (zh) * | 2018-12-05 | 2019-04-05 | 华润置地控股有限公司 | 物联网平台系统及其云端平台和本地终端 |
| CN109743369A (zh) * | 2018-12-24 | 2019-05-10 | 武汉长江通信智联技术有限公司 | 一种基于车联网的实时数据的处理装置、方法及系统 |
| CN109951463A (zh) * | 2019-03-07 | 2019-06-28 | 成都古河云科技有限公司 | 一种基于流计算和新型列式存储的物联网大数据分析方法 |
| CN111708765A (zh) * | 2020-08-13 | 2020-09-25 | 南京北路自动化系统有限责任公司 | 基于大数据微服务的物联网云平台管理系统及方法 |
| CN111858569A (zh) * | 2020-07-01 | 2020-10-30 | 长江岩土工程总公司（武汉） | 基于流式计算的海量数据清洗的方法 |
-
2020
- 2020-12-07 CN CN202011415685.8A patent/CN112650726A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108984279A (zh) * | 2018-07-02 | 2018-12-11 | 山东汇贸电子口岸有限公司 | 一种面向物联网传统sql开发人员的流式计算方法 |
| CN109165207A (zh) * | 2018-07-16 | 2019-01-08 | 华南农业大学 | 基于Hadoop的饮用水海量数据存储管理方法和系统 |
| CN109587242A (zh) * | 2018-12-05 | 2019-04-05 | 华润置地控股有限公司 | 物联网平台系统及其云端平台和本地终端 |
| CN109743369A (zh) * | 2018-12-24 | 2019-05-10 | 武汉长江通信智联技术有限公司 | 一种基于车联网的实时数据的处理装置、方法及系统 |
| CN109951463A (zh) * | 2019-03-07 | 2019-06-28 | 成都古河云科技有限公司 | 一种基于流计算和新型列式存储的物联网大数据分析方法 |
| CN111858569A (zh) * | 2020-07-01 | 2020-10-30 | 长江岩土工程总公司（武汉） | 基于流式计算的海量数据清洗的方法 |
| CN111708765A (zh) * | 2020-08-13 | 2020-09-25 | 南京北路自动化系统有限责任公司 | 基于大数据微服务的物联网云平台管理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111741073B (zh) | 基于5g通信网络的电力数据传输系统 | |
| CN106584450A (zh) | 一种变电站巡检机器人集中监控系统及方法 | |
| CN112698953A (zh) | 一种基于微服务的电网智能运检平台 | |
| CN106326321B (zh) | 大数据交换方法及装置 | |
| CN101902497A (zh) | 基于云计算的互联网信息监测系统及方法 | |
| CN103401704A (zh) | 一种分布式日志采集服务器的实现方案 | |
| CN104468220A (zh) | 电力通信网预警管控平台 | |
| CN102984283A (zh) | 一种电动车辆远程监控与服务系统及方法 | |
| Pevec et al. | Distributed data platform for automotive industry: A robust solution for tackling big challenges of big data in transportation science | |
| CN201839084U (zh) | 电气设备在线监测综合数据统一展示平台 | |
| CN110611898B (zh) | 一种基于物联网的高可靠性车地通信系统 | |
| CN114092059A (zh) | 一种基于云边端协同的智慧养猪管理系统及方法 | |
| CN110161898A (zh) | 一种兼容多智能体的变电站巡视机器人资源共享系统 | |
| CN201726426U (zh) | 基于云计算的互联网信息监测系统 | |
| CN202939486U (zh) | 汽车故障远程诊断系统 | |
| CN103853145A (zh) | 汽车故障远程诊断系统 | |
| CN112650726A (zh) | 一种流式计算行驶行程和充电行程的系统 | |
| CN109659025A (zh) | 一种基于计算机网络的远程医疗系统 | |
| CN108334550A (zh) | 一种基于人力资源管理系统的数据处理系统 | |
| CN107864097B (zh) | 一种用电数据分发方法及系统 | |
| CN203261124U (zh) | 一种智能电网用户侧响应系统 | |
| CN202575584U (zh) | 基于3g通信的电梯运行监控物联网系统 | |
| CN112054926B (zh) | 集群管理方法、装置、电子设备及存储介质 | |
| CN115498765A (zh) | 一种高速响应ems系统 | |
| CN111506565B (zh) | 智慧社区aiot大数据动态可视化分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant after: United New Energy Automobile Co.,Ltd. Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant before: Hozon New Energy Automobile Co., Ltd. Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant after: Hozon New Energy Automobile Co., Ltd. Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang Applicant before: Hozon New Energy Automobile Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |
|
| RJ01 | Rejection of invention patent application after publication |