CN107704487A - 基于车联网的数据分析平台和方法 - Google Patents
基于车联网的数据分析平台和方法 Download PDFInfo
- Publication number
- CN107704487A CN107704487A CN201710698950.XA CN201710698950A CN107704487A CN 107704487 A CN107704487 A CN 107704487A CN 201710698950 A CN201710698950 A CN 201710698950A CN 107704487 A CN107704487 A CN 107704487A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- layer
- car networking
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明提出一种基于车联网的数据分析平台和方法,包括依次连接的数据来源层、数据存储层、数据计算分析层和交互界面。其中,数据来源层通过通信接口抽取所需数据,数据存储层对抽取到的数据进行存储,进而基于分布式架构的数据计算分析层根据任务调度所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果,并由数据存储层存储该分析结果,最后交互界面对分析结果进行展示。该数据分析平台中,数据计算分析层基于分布式架构,从而避免了现有技术中单线程方式分析效率较低的技术问题。
Description
技术领域
本发明涉及大数据一体化平台处理技术领域,尤其涉及一种基于车联网的数据分析平台和方法。
背景技术
数据分析平台,用于针对多个数据源采集数据,进而基于采集的数据进行大数据分析,从而根据分析结果优化车辆的性能。现有技术中,车辆网的数据分析平台多为单线程架构,从而导致数据分析平台的分析效率较低。
随着汽车行业的不断发展,这种单线程的架构已无法满足数据分析的需求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于车联网的数据分析平台,以提高数据分析平台的分析效率。
为达上述目的,本发明一方面实施例提出了一种基于车联网的数据分析平台,包括:
依次连接的数据来源层、数据存储层、数据计算分析层和交互界面;
其中,所述数据来源层,包括车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口,用于通过所述通信接口抽取所需数据;
所述数据存储层,用于对抽取到的数据进行存储;
所述数据计算分析层,基于分布式架构,用于根据任务,调度所需分析资源读取所述数据存储层中存储的数据,得到分析结果;
所述数据存储层,还用于存储所述分析结果;
所述交互界面,用于展示所述分析结果。
在本发明实施例的一种可能的实现方式中,所述数据计算分析层基于Spark云计算架构和/或基于MapReduce计算架构;所述数据计算分析层,包括:
YARN模块,用于调度各任务所占用的分析资源;
Azkaban模块,用于调度各任务的执行顺序。
在本发明实施例的一种可能的实现方式中,所述数据存储层,包括:HIVE数据仓库和HBase分布式存储架构;
所述HBase分布式存储架构,用于以列存储格式存储数据,以及用于将列存储格式转化为表格式存储格式;
所述HIVE数据仓库,用于存储转化后的表格式存储格式的数据,以用于存储所述分析结果。
在本发明实施例的一种可能的实现方式中,所述HBase分布式存储架构包括用于存储的HBase模块,以及用于对需存储的数据进行管理的HDFS模块。
在本发明实施例的一种可能的实现方式中,所述数据计算分析层中的YARN模块,具体用于当所述HDFS模块获取到需存储的数据之后,根据各任务所需处理的数据量,调度各任务所占用的分析资源。
在本发明实施例的一种可能的实现方式中,所述数据计算分析层中的YARN模块,还具体用于将各任务所需处理的数据提供至所述HBase模块进行存储。
在本发明实施例的一种可能的实现方式中,所述数据来源层,包括:DataX组件;
所述DataX组件,用于通过所述车联网数据池的通信接口抽取数据。
在本发明实施例的一种可能的实现方式中,所述数据来源层,包括:Sqoop组件;
所述Sqoop组件,用于通过所述存储车辆相关信息的关系型数据库的通信接口抽取数据。
在本发明实施例的一种可能的实现方式中,所述交互界面,还用于获取用户以拖拽方式,设定的执行逻辑,根据所述执行逻辑生成所述任务。
在本发明实施例的一种可能的实现方式中,所述交互界面为万维网(Web)界面。
本发明实施例的基于车联网的数据分析平台,包括依次连接的数据来源层、数据存储层、数据计算分析层和交互界面。其中,数据来源层通过通信接口抽取所需数据,数据存储层对抽取到的数据进行存储,进而基于分布式架构的数据计算分析层根据任务调度所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果,并由数据存储层存储该分析结果,最后交互界面对分析结果进行展示。该数据分析平台中,数据计算分析层基于分布式架构,从而避免了现有技术中单线程方式分析效率较低的技术问题。
本发明另一方面实施例提出了一种基于车联网的数据分析方法,包括以下步骤:
数据来源层通过车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口抽取所需数据;
数据存储层对抽取到的数据进行存储;
数据计算分析层根据任务,调度分布式架构中所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果;
数据存储层存储所述分析结果,并由交互界面展示所述分析结果。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的一种基于车联网的数据分析平台的结构示意图;
图2为本发明实施例提供的一种基于车联网的数据分析平台的数据流的示意图;
图3为本发明实施例提供的另一种基于车联网的数据分析平台的结构示意图;
图4为本发明实施例提供的另一种基于车联网的数据分析平台的数据流的示意图;
图5示出了适于用来实现本申请实施方式的示例性服务器的框图;以及
图6为本实施例提供的一种基于车联网的数据分析方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于车联网的数据分析平台。
图1为本发明实施例所提供的一种基于车联网的数据分析平台的结构示意图。
如图1所示,基于车联网的数据分析平台,包括依次连接的数据来源层11、数据存储层12、数据计算分析层13和交互界面14。
其中,数据来源层11,包括车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口,用于通过该通信接口抽取所需数据。
数据存储层12,用于对抽取到的数据进行存储。
数据计算分析层13,基于分布式架构,用于根据任务,调度所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果。
数据存储层12,还用于存储该分析结果。
交互界面14,用于展示分析结果。
作为一种可能的实现方式,交互界面14,还用于获取用户以拖拽方式,设定的执行逻辑,根据所述执行逻辑生成所述任务。
为了清楚说明各模块之间的关系,图2为本发明实施例提供的一种基于车联网的数据分析平台的数据流的示意图。
如图2所示,交互界面14向数据来源层11提交任务,数据来源层11根据所述任务,通过通信接口从车联网数据池21和/或存储车辆相关信息的关系型数据库22抽取所需数据。
进而,数据存储层12对抽取到的数据进行存储之后,由数据计算分析层13根据该任务调度所需分析资源读取并处理数据存储层12中存储的数据,得到分析结果,并由数据存储层12存储该分析结果,最后交互界面从数据存储层12读取该对分析结果并进行展示。
其中,数据计算分析层13基于分布式架构,也就是说,具有多个可以并行执行分析过程的分析资源,这些分析资源承载于具有多个服务器的服务器集群上。相较于现有技术中的单线程方式,通过分布式架构中,多个分析资源并行执行分析过程,提高了分析效率。
本实施例中的数据分析平台,为一体化数据分析平台,包括依次连接的数据来源层、数据存储层、数据计算分析层和交互界面。其中,数据来源层通过通信接口抽取所需数据,数据存储层对抽取到的数据进行存储,进而基于分布式架构的数据计算分析层根据任务调度所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果,并由数据存储层存储该分析结果,最后交互界面对分析结果进行展示。该数据分析平台中,数据计算分析层基于分布式架构,从而避免了现有技术中单线程方式分析效率较低的技术问题。
基于上一实施例,本实施例中,该数据计算分析层13基于Spark云计算架构和/或基于映射归约(MapReduce)计算架构。
需要说明的是,Spark和MapReduce均为云计算的通用框架。MapReduce是Hadoop的核心组件之一,Hadoop包括两部分,一是分布式文件系统(HDFS),一部是分布式计算框即MapReduce,两者缺一不可。Spark可以作为Hadoop的替代,执行MapReduce的功能。
如图3所示的本发明实施例提供的另一种基于车联网的数据分析平台的结构示意图,如图3所示,数据计算分析层13,包括:另一种资源协调者(Yet Another ResourceNegotiator,YARN)模块131和Azkaban模块132。
其中,YARN模块131,用于调度各任务所占用的分析资源。
Azkaban模块132,用于调度各任务的执行顺序。这里的Azkaban是一种批量工作流任务调度器的名称,可以在一个工作流内以一个特定的顺序运行一组工作和流程。
进一步地,数据存储层12,包括:HIVE数据仓库121和HBase分布式存储架构122。
其中,HBase分布式存储架构122,用于以列存储格式存储数据,以及用于将列存储格式转化为表格式存储格式。HBase是一个构建在HDFS上的分布式列存储系统。
HIVE数据仓库121,用于存储转化后的表格式存储格式的数据,以用于存储分析结果。HIVE是基于Hadoop的一个数据仓库工具。
HBase分布式存储架构122,包括用于存储的HBase模块1221,以及用于对需存储的数据进行管理的HDFS模块1222。HBase是一个分布式的、面向列的开源数据库。
具体来说,数据计算分析层13中的YARN模块131,具体用于当所述HDFS模块1222获取到需存储的数据之后,根据各任务所需处理的数据量,调度各任务所占用的分析资源。
数据计算分析层13中的YARN模块131,还具体用于将各任务所需处理的数据提供至所述HBase模块1221进行存储。
进一步地,数据来源层11,包括:DataX组件111和Sqoop组件112。
DataX组件111,用于通过车联网数据池21的通信接口抽取数据。DataX是一种数据传递工具。
Sqoop组件112,用于通过存储车辆相关信息的关系型数据库22的通信接口抽取数据。Sqoop是另一种数据传递工具。
为了清楚说明以上各个组件和模块之间的关系,图4为本发明实施例提供的另一种基于车联网的数据分析平台的数据流的示意图。
如图4所示,DataX组件111通过通信接口抽取车联网数据池21的数据,Sqoop组件112通过通信接口抽取存储车辆相关信息的关系型数据库22的数据。
进而,HDFS模块1222对抽取到的文件进行管理,具体来说,HDFS模块1222作为分布式文件系统,主要用于数据管理,生成与HBase模块1221相配合的管理文件,以指示数据存储位置等相关信息。
当HDFS模块1222获取到需存储的数据之后,YARN模块131根据各任务所需处理的数据量,调度各任务所占用的Spark云计算架构133和MapReduce计算架构134的分析资源。进一步地,YARN模块131将各任务所需处理的数据提供至所述HBase模块1221进行存储。另外,Azkaban模块132调度各任务的执行顺序,例如:依据预设顺序从队列中取出任务,作为当前需执行的任务。
作为一种可能的实现方式,HBase模块1221以列存储格式存储数据,另外,HBase模块1221在以列存储格式存储数据之后,将列存储格式转化为表格式存储格式,以使HIVE数据仓库121存储该表格式存储格式的数据。HIVE数据仓库121在Spark云计算架构133和MapReduce计算架构134的分析资源,分析结束得到分析结果时,对该分析结果进行存储。
进而,由交互界面14对分析结果进行可视化地展示。
本实施例的基于车联网的数据分析平台,包括依次连接的数据来源层、数据存储层、数据计算分析层和交互界面。其中,数据来源层通过通信接口抽取所需数据,数据存储层对抽取到的数据进行存储,进而基于分布式架构的数据计算分析层根据任务调度所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果,并由数据存储层存储该分析结果,最后交互界面对分析结果进行展示。该数据分析平台中,数据计算分析层基于分布式架构,从而避免了现有技术中单线程方式分析效率较低的技术问题。
前述实施例提供的基于车联网的数据分析平台承载于服务器集群上。该服务器集群包括多个并行的服务器。图5示出了适于用来实现本申请实施方式的示例性服务器的框图。图5显示的服务器2仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,服务器2以通用计算设备的形式表现。服务器2的组件可以包括但不限于:一个或者多个处理器或者处理单元6,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元6)的总线8。
总线8表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry Standard Architecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association;以下简称:VESA)局域总线以及外围组件互连(Peripheral Component Interconnection;以下简称:PCI)总线。
服务器2典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器2访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。服务器2可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read Only Memory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read Only Memory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线8相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
服务器2也可以与一个或多个外部设备4(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机系统/服务器2交互的设备通信,和/或与使得该计算机系统/服务器2能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,服务器2还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线8与服务器2的其它模块通信。应当明白,尽管图中未示出,可以结合服务器2使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元6通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理。
为了清楚说明前述实施例,本实施例提供了一种基于车联网的数据分析方法,图6为本实施例提供的一种基于车联网的数据分析方法的流程示意图,如图6所示,该方法包括以下步骤:
步骤601,数据来源层通过车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口抽取所需数据。
具体地,交互界面获取用户以拖拽方式,设定的执行逻辑,进而交互界面根据所述执行逻辑生成所述任务。数据来源根据所述任务,通过所述通信接口抽取所需数据。
可选地,数据来源层的DataX组件通过车联网数据池的通信接口抽取数据;以及数据来源层的Sqoop组件通过存储车辆相关信息的关系型数据库的通信接口抽取数据。
步骤602,数据存储层对抽取到的数据进行存储。
具体地,数据存储层的HBase分布式存储架构以列存储格式存储数据,并将列存储格式转化为表格式存储格式,数据存储层的HIVE数据仓库存储转化后的表格式存储格式的数据。
作为一种可能的实现方式,HBase分布式存储架构包括用于存储的HBase模块,以及用于对需存储的数据进行管理的HDFS模块。
数据计算分析层中的YARN模块当所述HDFS模块获取到需存储的数据之后,根据各任务所需处理的数据量,调度各任务所占用的分析资源。数据计算分析层中的YARN模块将各任务所需处理的数据提供至所述HBase模块进行存储。
步骤603,数据计算分析层根据任务,调度分布式架构中所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果。
具体地,数据计算分析层基于Spark云计算架构和/或基于MapReduce计算架构。数据计算分析层的YARN模块度各任务所占用的分析资源;和/或,数据计算分析层的Azkaban模块调度各任务的执行顺序。
步骤604,数据存储层存储所述分析结果,并由交互界面展示所述分析结果。
具体地,数据存储层的HIVE数据仓库存储分析结果,交互界面具体可为Web界面,该Web界面获取HIVE数据仓库存储分析结果并对其进行展示。
本实施例中,数据来源层通过通信接口抽取所需数据,数据存储层对抽取到的数据进行存储,进而基于分布式架构的数据计算分析层根据任务调度所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果,并由数据存储层存储该分析结果,最后交互界面对分析结果进行展示。该数据分析平台中,数据计算分析层基于分布式架构,从而避免了现有技术中单线程方式分析效率较低的技术问题。
需要说明的是,本实施例所提供的方法,对应由前述实施例提供的数据分析平台执行,本实施例对于数据分析平台各功能模块所执行方法不再赘述,具体内容可参见前述实施例中的对应部分。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种基于车联网的数据分析平台,其特征在于,包括依次连接的数据来源层、数据存储层、数据计算分析层和交互界面;
其中,所述数据来源层,包括车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口,用于通过所述通信接口抽取所需数据;
所述数据存储层,用于对抽取到的数据进行存储;
所述数据计算分析层,基于分布式架构,用于根据任务,调度所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果;
所述数据存储层,还用于存储所述分析结果;
所述交互界面,用于展示所述分析结果。
2.根据权利要求1所述的基于车联网的数据分析平台,其特征在于,所述数据计算分析层基于Spark云计算架构和/或基于MapReduce计算架构;所述数据计算分析层,包括:
YARN模块,用于调度各任务所占用的分析资源;
Azkaban模块,用于调度各任务的执行顺序。
3.根据权利要求1所述的基于车联网的数据分析平台,其特征在于,所述数据存储层,包括:HIVE数据仓库和HBase分布式存储架构;
所述HBase分布式存储架构,用于以列存储格式存储数据,以及用于将列存储格式转化为表格式存储格式;
所述HIVE数据仓库,用于存储转化后的表格式存储格式的数据,以及用于存储所述分析结果。
4.根据权利要求3所述的基于车联网的数据分析平台,其特征在于,所述HBase分布式存储架构包括用于存储的HBase模块,以及用于对需存储的数据进行管理的HDFS模块。
5.根据权利要求4所述的基于车联网的数据分析平台,其特征在于,
所述数据计算分析层中的YARN模块,具体用于当所述HDFS模块获取到需存储的数据之后,根据各任务所需处理的数据量,调度各任务所占用的分析资源。
6.根据权利要求5所述的基于车联网的数据分析平台,其特征在于,
所述数据计算分析层中的YARN模块,还具体用于将各任务所需处理的数据提供至所述HBase模块进行存储。
7.根据权利要求1所述的基于车联网的数据分析平台,其特征在于,所述数据来源层,包括:DataX组件;
所述DataX组件,用于通过所述车联网数据池的通信接口抽取数据。
8.根据权利要求1所述的基于车联网的数据分析平台,其特征在于,所述数据来源层,包括:Sqoop组件;
所述Sqoop组件,用于通过所述存储车辆相关信息的关系型数据库的通信接口抽取数据。
9.根据权利要求1-6任一项所述的基于车联网的数据分析平台,其特征在于,所述交互界面,还用于获取用户以拖拽方式,设定的执行逻辑,根据所述执行逻辑生成所述任务;
所述数据来源层,具体用于根据所述任务,通过所述通信接口抽取所需数据。
10.根据权利要求9所述的基于车联网的数据分析平台,其特征在于,所述交互界面为Web界面。
11.一种基于车联网的数据分析方法,其特征在于,包括以下步骤:
数据来源层通过车联网数据池的通信接口和/或存储车辆相关信息的关系型数据库的通信接口抽取所需数据;
数据存储层对抽取到的数据进行存储;
数据计算分析层根据任务,调度分布式架构中所需分析资源读取并处理所述数据存储层中存储的数据,得到分析结果;
数据存储层存储所述分析结果,并由交互界面展示所述分析结果。
12.根据权利要求11所述的基于车联网的数据分析方法,其特征在于,所述数据计算分析层基于Spark云计算架构和/或基于MapReduce计算架构;所述数据计算分析层根据任务,调度分布式架构中所需分析资源读取并处理所述数据存储层中存储的数据,包括:
所述数据计算分析层的YARN模块度各任务所占用的分析资源;
和/或,所述数据计算分析层的Azkaban模块调度各任务的执行顺序。
13.根据权利要求11所述的基于车联网的数据分析方法,其特征在于,所述数据存储层对抽取到的数据进行存储,包括:
所述数据存储层的HBase分布式存储架构以列存储格式存储数据,并将列存储格式转化为表格式存储格式;
所述数据存储层的HIVE数据仓库存储转化后的表格式存储格式的数据。
14.根据权利要求11-13任一项所述的基于车联网的数据分析方法,其特征在于,所述方法还包括:
所述交互界面获取用户以拖拽方式,设定的执行逻辑;
所述交互界面根据所述执行逻辑生成所述任务,以使所述数据来源根据所述任务,通过所述通信接口抽取所需数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710698950.XA CN107704487A (zh) | 2017-08-15 | 2017-08-15 | 基于车联网的数据分析平台和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710698950.XA CN107704487A (zh) | 2017-08-15 | 2017-08-15 | 基于车联网的数据分析平台和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107704487A true CN107704487A (zh) | 2018-02-16 |
Family
ID=61170153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710698950.XA Pending CN107704487A (zh) | 2017-08-15 | 2017-08-15 | 基于车联网的数据分析平台和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107704487A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595605A (zh) * | 2018-04-20 | 2018-09-28 | 上海蓥石汽车技术有限公司 | 一种车联网平台数据库的构建方法 |
CN109542866A (zh) * | 2018-11-20 | 2019-03-29 | 深圳市博实结科技有限公司 | 车辆定位监控云架构、方法、服务器及介质 |
CN111382149A (zh) * | 2020-03-13 | 2020-07-07 | 阳光保险集团股份有限公司 | 财务数据分析系统及方法 |
CN112417838A (zh) * | 2020-12-18 | 2021-02-26 | 北京易车互联信息技术有限公司 | 可配置的自动化报表系统 |
CN113709106A (zh) * | 2021-07-22 | 2021-11-26 | 一汽解放汽车有限公司 | 一种适用于商用车车联网数据的数据分析系统和方法 |
CN114741135A (zh) * | 2022-04-24 | 2022-07-12 | 重庆长安汽车股份有限公司 | 一种自动驾驶目标数据分析系统、方法及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
CN105786864A (zh) * | 2014-12-24 | 2016-07-20 | 国家电网公司 | 一种实现海量数据离线分析的方法 |
-
2017
- 2017-08-15 CN CN201710698950.XA patent/CN107704487A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105786864A (zh) * | 2014-12-24 | 2016-07-20 | 国家电网公司 | 一种实现海量数据离线分析的方法 |
CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
Non-Patent Citations (2)
Title |
---|
张亮等: ""大数据应用部署研究"", 《电信网技术》 * |
胡俊杰: ""基于Hadoop分布式计算的遥感产品生产系统"", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595605A (zh) * | 2018-04-20 | 2018-09-28 | 上海蓥石汽车技术有限公司 | 一种车联网平台数据库的构建方法 |
CN109542866A (zh) * | 2018-11-20 | 2019-03-29 | 深圳市博实结科技有限公司 | 车辆定位监控云架构、方法、服务器及介质 |
CN111382149A (zh) * | 2020-03-13 | 2020-07-07 | 阳光保险集团股份有限公司 | 财务数据分析系统及方法 |
CN112417838A (zh) * | 2020-12-18 | 2021-02-26 | 北京易车互联信息技术有限公司 | 可配置的自动化报表系统 |
CN113709106A (zh) * | 2021-07-22 | 2021-11-26 | 一汽解放汽车有限公司 | 一种适用于商用车车联网数据的数据分析系统和方法 |
CN113709106B (zh) * | 2021-07-22 | 2023-11-07 | 一汽解放汽车有限公司 | 一种适用于商用车车联网数据的数据分析系统和方法 |
CN114741135A (zh) * | 2022-04-24 | 2022-07-12 | 重庆长安汽车股份有限公司 | 一种自动驾驶目标数据分析系统、方法及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107704487A (zh) | 基于车联网的数据分析平台和方法 | |
CN105027126B (zh) | 元数据驱动的实时分析框架 | |
CN107977268A (zh) | 人工智能的异构硬件的任务调度方法、装置及可读介质 | |
CN107918600A (zh) | 报表开发系统及方法、存储介质和电子设备 | |
CN104252472B (zh) | 用于并行化数据处理的方法和装置 | |
CN108416003A (zh) | 一种图片分类方法和装置、终端、存储介质 | |
CN107729210A (zh) | 分布式服务集群的异常诊断方法和装置 | |
CN107391744A (zh) | 数据存储、读取方法、装置及其设备 | |
CN107679564A (zh) | 样本数据推荐方法及其装置 | |
CN104508662B (zh) | 存储分类的系统和方法 | |
CN108319720A (zh) | 基于人工智能的人机交互方法、装置及计算机设备 | |
US11763320B2 (en) | Extraction of a compliance profile for an organization | |
CN110708285B (zh) | 流量监控方法、装置、介质及电子设备 | |
US20150052157A1 (en) | Data transfer content selection | |
CN110249312A (zh) | 数据集成作业转换 | |
CN106919438A (zh) | 一种虚拟化环境中工作流处理方法和框架 | |
CN110457288A (zh) | 数据模型构建方法、装置、设备及计算机可读存储介质 | |
CN107862031A (zh) | 业务处理方法、装置和服务器 | |
US20150161224A1 (en) | Optimized Network Analysis Rendering and User Interfaces | |
US20120035903A1 (en) | Systems And Methods For Simulating A Resource Constrained Process | |
US11138380B2 (en) | Identifying semantic relationships using visual recognition | |
CN106202152B (zh) | 一种云平台的数据处理方法及系统 | |
CN107909284A (zh) | 一种基于gis信息的交易配套分析可视化方法 | |
JP2006302135A (ja) | アプリケーション資産分析プログラム、アプリケーション資産分析方法およびアプリケーション資産分析装置 | |
CN108885686A (zh) | 用于视频分析的基于云的主动调试系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180216 |