CN115309795A - 一种车辆大数据分析管理系统 - Google Patents

一种车辆大数据分析管理系统 Download PDF

Info

Publication number
CN115309795A
CN115309795A CN202110496799.8A CN202110496799A CN115309795A CN 115309795 A CN115309795 A CN 115309795A CN 202110496799 A CN202110496799 A CN 202110496799A CN 115309795 A CN115309795 A CN 115309795A
Authority
CN
China
Prior art keywords
vehicle
data
data analysis
management system
vehicle information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110496799.8A
Other languages
English (en)
Inventor
孟凡婧
周威
丁美玲
官雪花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC General Motors Corp Ltd
Pan Asia Technical Automotive Center Co Ltd
Original Assignee
SAIC General Motors Corp Ltd
Pan Asia Technical Automotive Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC General Motors Corp Ltd, Pan Asia Technical Automotive Center Co Ltd filed Critical SAIC General Motors Corp Ltd
Priority to CN202110496799.8A priority Critical patent/CN115309795A/zh
Publication of CN115309795A publication Critical patent/CN115309795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种车辆大数据分析管理系统，其特征在于，所述系统包括：车辆信息采集模块，所述车辆信息采集模块配置成从车辆采集车辆信息数据；在线数据分析模块，所述在线数据分析模块配置成对所述车辆进行在线分析；数据存储模块，所述数据存储模块配置成存储所述车辆信息数据以及所述数据分析模块的分析结果以及历史车辆信息数据；以及离线数据分析模块，所述离线数据分析模块配置成结合所述历史车辆信息数据以及所采集的车辆信息数据对所述车辆进行分析。

Description

一种车辆大数据分析管理系统
技术领域
本发明涉及汽车数据分析领域，具体涉及一种基于Hadoop与vMDM的车辆大数据分析管理系统，其用于提升系统处理数据的效率和性能，实现更灵活、可扩展的数据管理。
背景技术
在汽车研发过程中，为了验证零部件及整车性能、耐久等指标是否满足研发预期并及时发现所研发零部件及整车的潜在不足及故障，会对车辆进行全面的测量和耐久测试，从而获取大量的车辆行为和车辆使用等相关的宝贵信息。近年来，随着测试数据类型的增加以及数据量的急剧扩容和几何级的增长，如何充分利用各种车辆测试数据，搭建合理先进的车辆大数据采集分析管理平台，为广大客户、开发人员及企业决策者提供服务和协助，必将成为未来数字化工作的重要方向。
Hadoop凭借其强大的数据存储和处理能力，已经在大数据分析领域得到了广泛的应用。然而Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中的离线数据，因此主要适用于对实时性要求较低的场景。同时大部分原始的车辆测试数据只有在解析后才能进行数据分析，如CAN消息需基于DBC数据库进行解码，因此需要投入大量人力资源去配置、适应和维护解析文件。
vMDM是vector公司开发的一款车辆数据处理系统并且已在车辆数据分析领域中被广泛使用，其可以在实时在线环境中使车辆测试数据解析文件可随整车电子架构的改变而自动更新，降低了解析文件的维护成本，实现更灵活、可扩展的数据管理。
发明内容
为了解决以上技术问题，根据本发明的一个方面，提供了一种车辆大数据分析管理系统，所述系统包括：车辆信息采集模块，所述车辆信息采集模块配置成从车辆采集车辆信息数据；在线数据分析模块，所述在线数据分析模块配置成对所述车辆进行在线分析；数据存储模块，所述数据存储模块配置成存储所述车辆信息数据以及所述数据分析模块的分析结果以及历史车辆信息数据；以及离线数据分析模块，所述离线数据分析模块配置成结合所述历史车辆信息数据以及所采集的车辆信息数据对所述车辆进行分析。
可选地，根据本发明的一个实施例，所述车辆大数据分析管理系统还包括：显示服务模块，所述显示服务模块配置成显示所述在线数据分析模块以及所述离线数据分析模块分析结果。
可选地，根据本发明的一个实施例，所述车辆信息采集模块借助于代理服务器与所述在线数据分析模块连接。
可选地，根据本发明的一个实施例，所述代理服务器还包括在线文件转换器，其用于基于解析规则实现对车辆信息数据解析及转换，并保存成所述在线数据分析模块所需的数据格式文件。
可选地，根据本发明的一个实施例，所述在线数据分析模块配置成确定所述车辆信息数据是否满足预定规范以及测试需求。
可选地，根据本发明的一个实施例，所述离线数据分析模块包括vMDM服务器，以根据所述历史车辆信息数据对车辆的功能及性能进行规划。
可选地，根据本发明的一个实施例，所述离线数据分析模块还包括离线文件转换器，其用于将不同格式文件转换为统一的MDF格式。
可选地，根据本发明的一个实施例，所述数据存储模块提供Hadoop数据存储以及vMDM数据存储。
本发明还提供了一种车辆，所述车辆配置有如上所述的车辆大数据分析管理系统。
与现有技术相比，本发明开具有以下优点：1.集成验证自动泊车各功能单元的表现，如控制策略，人机交互，泊车效果；2.集成多种泊车场景的2D/3D仿真测试环境；3.系统仿真自动化运行与数据报告的自动生成；4.通过配置调整可自动泊车系统的变量参数，生成复用性的仿真验证工具。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1示出了根据本发明实施例的车辆大数据分析管理系统工作的工作流程图。
图2示出了根据本发明实施例的车辆大数据分析管理系统的框图200。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到，相同的原理可等效地应用于所有类型的应用业务流程编排方法及系统，并且可以在其中实施这些相同的原理，以及任何此类变化不背离本专利申请的真实精神和范围。
而且，在下文描述中，参考了附图，这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、机械、逻辑和结构上的更改。此外，虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或可识别的功能可能是期望和/或有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此，下文描述不应视为在限制意义上的，并且本发明的范围由所附权利要求及其等效物来定义。
图1示出了根据本发明实施例的车辆大数据分析管理系统工作的工作流程图。车辆大数据分析管理系统100包括车辆信息采集模块101、在线数据分析模块102以及数据存储模块103。具体而言，车辆大数据分析管理系统100可以实现在线数据处理以及离线数据处理。车辆信息采集模块101从一个或多个车辆采集车辆数据信息并且通过有线或者无线连接与网络代理服务器相连。网络代理服务器收集车辆数据信息并且可选地通过网络代理服务器上的文件转换器解析车辆数据信息。随后网络代理服务器将解析后的车辆数据信息发送到在线数据分析模块102。在线数据分析模块102可以对数据进行在线分析并存储在在线数据库中并且通过web服务显示给用户。经过分析的数据可以被发送到Hadoop数据服务中心或者vMDM服务器。被发送到Hadoop数据服务中心的数据可以根据所存储的历史文件数据对数据进行离线分析。离线分析可以使用离线文件转换器，使得车辆信息文件被转换为可供vMDM使用的MDF文件。被转换的MDF文件可以进一步发送到vMDM服务器做进一步分析。
本实施例将具体说明在线数据处理。在线数据处理中，车辆信息采集模块将实时采集包括车辆总线数据在内的多种车辆数据，采集的信息除了车辆信息外，车辆信息采集模块还可以自动为这些信息添加包括时间、GPS位置等信息，并可以通过有线或无线网络传输至代理服务器。
代理服务器可以提供在线文件转换器，其在线转换数据原始文件，由在线文件转换器基于解析规则实现对原始文件的解析及信号转换，并保存成数据分析模块所需的数据格式文件。解析后的在线数据会存储到Hadoop数据服务中与历史数据一并统一管理。
在线数据分析模块会会获取这一部分固定格式的文件，并进行简单的数据分析实现在WEB界面上对车辆状态的实时监控。
例如试验质量控制工程师对试验质量进行实时监控，监测试验过程是否满足试验规范。如其中一分析项某规范要求车辆在A位置点时，车速在30-35km/h，挡位为2挡，方向盘转角为60-120°，同时打左转向灯，若实际操作不符合此规范要求则在Web端报警。在线数据分析的逻辑规则会提前由相关业务人员编写并存放于在线数据分析模块。当车辆在进行试验时车辆信息采集模块会采集车辆的CAN总线信息，GPS信息等并上传至代理服务器。在线文件转换器利用DBC文件等解析文件将CAN报文解析成车速、挡位、方向盘转角等信号，供在线数据分析模块使用。在线数据分析模块会对实时解析的数据进行分析并标记出不满足试验规范的动作点，Web端通过调用API接口实时显示试验运行状态，当出现报警时试验质量控制工程师可通知相关试验人员立即终止试验，提高试验监控的质量和效率。
本实施例将具体说明离线数据处理。离线数据处理中，Hadoop系统中存储的数据包含各种格式的历史数据以及由在线文件转换器转换解析得到的某格式在线文件，这两类数据统称为离线数据。针对历史数据，离线文件转换器会根据WEB端数据分析人员的实际请求从Hadoop中获取。针对解析后的在线文件则自动由离线文件转换器从Hadoop中获取。
离线文件转换器会将不同格式的的文件统一转换成MDF格式的文件，并根据特定规则合并生成大的离线MDF格式文件。
这些大的离线MDF格式文件会最终上传至vMDM系统中进行数据预处理，根据用户定义的元数据规则为这些测量数据文件打标签，这样一来用户可以利用元数据作为查询标准迅速查找和过滤保存在系统上的测量数据进行数据分析。
通过数据分析、分类和数据挖掘得到的结果可以以Web Service API的形式输出，方便Web页面的灵活调用。用户可以根据项目需求自定义报告的呈现形式，在Web页面进行快速展示。
例如产品规划工程师对客户的驾驶习惯进行分析，对研发产品的功能及性能进行规划。比如统计START-STOP功能使用的时间分布、地域分布、特定时间内的使用次数等。车辆数据经离线文件转换器处理后会将不同格式的文件统一转换成MDF格式文件，上传至vMDM服务器，并打上标签是否由START-STOP的元数据标签。数据分析工程师可根据元数据筛选带有START-STOP功能的车辆数据，编写分析脚本上传至vMDM服务器进行数据分析。数分析结果将传输至指定服务器，应用服务器根据组织者定制的输出报表样式（例如表格、柱状图、饼状图），对上传的数据进行处理，生成定制化的报表在Web页面上显示。产品规划工程师将根据报表信息对产品的使用情况进行分析，并做出进一步规划。
图2示出了根据本发明实施例的车辆大数据分析管理系统的框图200。车辆大数据分析管理系统200包括：车辆信息采集模块201，其配置成从车辆采集车辆信息数据；在线数据分析模块202，其配置成对所述车辆进行在线分析；数据存储模块203，其配置成存储所述车辆信息数据以及所述数据分析模块的分析结果以及历史车辆信息数据；以及离线数据分析模块204，其配置成结合所述历史车辆信息数据以及所采集的车辆信息数据对所述车辆进行分析。
车辆大数据分析管理系统200还可以包括：显示服务模块205，其配置成显示所述在线数据分析模块以及所述离线数据分析模块分析结果。
在车辆大数据分析管理系统200中，车辆信息采集模块201借助于代理服务器与所述在线数据分析模块连接，其中所述代理服务器还包括在线文件转换器，其用于基于解析规则实现对车辆信息数据解析及转换，并保存成所述在线数据分析模块所需的数据格式文件。
在车辆大数据分析管理系统200中，在线数据分析模块202配置成确定所述车辆信息数据是否满足预定规范以及测试需求。
在车辆大数据分析管理系统200中，离线数据分析模块204包括vMDM服务器，以根据所述历史车辆信息数据对车辆的功能及性能进行规划。离线数据分析模块204还可以包括离线文件转换器，其用于将不同格式文件转换为统一的MDF格式。
在车辆大数据分析管理系统200中，数据存储模块203提供Hadoop数据存储以及vMDM数据存储。
另外，本发明还提供了一种车辆，所述车辆配置有如上所述的车辆大数据分析管理系统。
相较于现有技术，本发明优点在于：设计了一种基于Hadoop与vMDM的车辆大数据分析管理系统，可满足方便解析车辆测试数据，及在线数据实时分析的需求。以ASAM标准格式来安全管理车辆测试数据，实现更灵活、可扩展的数据管理，提升处理数据的效率和性能。
本发明提供的车辆大数据分析管理系统集合了Hadoop与vMDM各自的优势，通过将不同格式的数据文件转换成MDF4标准格式的文件，大大提升了系统处理数据的效率和性能。通过引入vMDM系统，使得车辆测试数据解析文件可随整车电子架构的改变而自动更新，降低了解析文件的维护成本，实现更灵活、可扩展的数据管理。
另外，本发明提供的车辆大数据分析管理系统可通过对车辆测试数据的实时采集、传输及在线分析，实现对车辆的实时监控，为测评中发现问题的分析与解决提供了充分的现场数据支持。通过使用元数据对测试数据进行标准化管理，能够迅速查找和过滤保存在系统上的测量数据，方便未来的数据搜索。
本发明提供的车辆大数据分析管理系统的适用范围广，通过统一的前后台服务，自定义数据分析脚本，调用Web service API，实现各式各样的车辆数分析需求及输出报表的自定义，能够满足多种应用场景。
尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (9)

1.一种车辆大数据分析管理系统，其特征在于，所述系统包括：
车辆信息采集模块，所述车辆信息采集模块配置成从车辆采集车辆信息数据；
在线数据分析模块，所述在线数据分析模块配置成对所述车辆进行在线分析；
数据存储模块，所述数据存储模块配置成存储所述车辆信息数据以及所述数据分析模块的分析结果以及历史车辆信息数据；以及
离线数据分析模块，所述离线数据分析模块配置成结合所述历史车辆信息数据以及所采集的车辆信息数据对所述车辆进行分析。
2.根据权利要求1所述的车辆大数据分析管理系统，其中，所述车辆大数据分析管理系统还包括：
显示服务模块，所述显示服务模块配置成显示所述在线数据分析模块以及所述离线数据分析模块分析结果。
3.根据权利要求2所述的车辆大数据分析管理系统，其中，所述车辆信息采集模块借助于代理服务器与所述在线数据分析模块连接。
4.根据权利要求3所述的车辆大数据分析管理系统，其中，所述代理服务器还包括在线文件转换器，其用于基于解析规则实现对车辆信息数据解析及转换，并保存成所述在线数据分析模块所需的数据格式文件。
5.根据权利要求4所述的车辆大数据分析管理系统，其中，所述在线数据分析模块配置成确定所述车辆信息数据是否满足预定规范以及测试需求。
6.根据权利要求5所述的车辆大数据分析管理系统，其中，所述离线数据分析模块包括vMDM服务器，以根据所述历史车辆信息数据对车辆的功能及性能进行规划。
7.根据权利要求6所述的车辆大数据分析管理系统，其中，所述离线数据分析模块还包括离线文件转换器，其用于将不同格式文件转换为统一的MDF格式。
8.根据权利要求7所述的车辆大数据分析管理系统，其中，所述数据存储模块提供Hadoop数据存储以及vMDM数据存储。
9.一种车辆，所述车辆配置有如权利要求1-8所述的车辆大数据分析管理系统。
CN202110496799.8A 2021-05-07 2021-05-07 一种车辆大数据分析管理系统 Pending CN115309795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110496799.8A CN115309795A (zh) 2021-05-07 2021-05-07 一种车辆大数据分析管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110496799.8A CN115309795A (zh) 2021-05-07 2021-05-07 一种车辆大数据分析管理系统

Publications (1)

Publication Number Publication Date
CN115309795A true CN115309795A (zh) 2022-11-08

Family

ID=83853698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110496799.8A Pending CN115309795A (zh) 2021-05-07 2021-05-07 一种车辆大数据分析管理系统

Country Status (1)

Country Link
CN (1) CN115309795A (zh)

Similar Documents

Publication Publication Date Title
CN110347116A (zh) 一种基于运行数据流的机床状态监测系统与监测方法
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN112307057A (zh) 数据的处理方法及装置、电子设备、计算机存储介质
CN108052358B (zh) 一种分布式部署的系统和方法
CN111274095A (zh) 日志数据处理方法、装置、设备及计算机可读存储介质
CN111917862A (zh) 一种基于云平台的汽车后服务管理系统和方法
CN113946952A (zh) 风机孪生体的生成方法、装置及电子设备
CN104657437A (zh) 推广情况数据的监测方法及装置
CN109445304A (zh) 一种基于车载信号的故障智能分析系统及方法
CN108712306A (zh) 一种信息系统自动化巡检平台和巡检方法
CN115309795A (zh) 一种车辆大数据分析管理系统
CN113704077A (zh) 测试用例生成方法及装置
CN116775464A (zh) 一种整车测试方法及系统
CN116346650A (zh) 一种can信号处理方法、装置、系统及电子设备
CN114168408A (zh) 一种基于物联网的巡检方法、系统、电子设备及存储介质
Steffelbauer SOVD-The Diagnostic Standard of Tomorrow
CN113535575A (zh) 软硬件产品基础环境的基准测试方法及装置
CN111914138A (zh) 基于车联网大数据的工况分析方法、装置和系统
CN113572628A (zh) 数据关联方法、装置、计算设备及计算机存储介质
CN113326243B (zh) 分析日志数据的方法和装置
CN117955994A (zh) 日志汇集方法、装置、存储介质、电子设备及系统
KR101511991B1 (ko) 플랜트 필드 데이터 처리 장치 및 방법
CN113032270B (zh) 一种基于流量对比的白盒仿真测试方法及系统
CN115063905A (zh) 车辆数据的处理方法和装置、存储介质及电子装置
US8612575B2 (en) System and method for object abstraction and logging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination