CN113886465A - 一种用于汽车物流的大数据分析平台 - Google Patents

Abstract

本发明提供一种用于汽车物流的大数据分析平台，包括：数据集成层、实时流处理层、分布式数据仓库层、数据服务层、业务应用层和数据运营管控层；数据集成层用于采集数据信息；实时流处理层用于对数据信息进行处理；分布式数据仓库层用于对数据信息进行分布式处理和数据存储，并统一资源调度；数据服务层用于对处理后的数据信息进行存储或供前端应用；业务应用层用于对处理后的数据信息进行展示；数据运营管控层用于进行作业调度、应用部署、数据质量监控和系统日志管理。本发明能够将企业数据进行了有效利用，形成真正有价值的数据，为企业的经营决策提供了强大的数据支撑，降低了企业人力成本，实现了企业数据的全面、真实、透明和共享。

Description

一种用于汽车物流的大数据分析平台

技术领域

本发明涉及汽车物流行业大数据分析技术领域，尤其涉及一种用于汽车物流的大数据分析平台。

背景技术

汽车物流企业日常所需报送的报表类型众多，且不定期存在新增需求，报表变更频繁。同时整车运营中心也需关注全国仓储库容情况、整车发运情况、承运商操作质量等，而目前这些数据大部分都依靠人工合成，每日报表耗费大量的人力和时间，且准确性、及时性得不到保证，尤其是在大规模数据提取、分析时遭遇瓶颈，无法有力支持业务部门的管理决策和迎合大数据时代对数据运用的要求。此外，现有的业务系统存在数据透明度不高、信息孤岛情况严重，造成信息不互通、视角不统一，大量的业务系统数据已经无法通过传统的IT技术进行有效的利用。

发明内容

基于此，有必要针对上述技术问题，提供一种用于汽车物流的大数据分析平台。

一种用于汽车物流的大数据分析平台，包括：数据集成层、实时流处理层、分布式数据仓库层、数据服务层、业务应用层和数据运营管控层；所述数据集成层与外部数据库和业务系统连接，用于采集数据信息；所述实时流处理层与所述数据集成层连接，用于对数据信息进行处理；所述分布式数据仓库层与所述数据集成层和实时流处理层连接，用于对数据信息进行分布式处理和数据存储，并统一资源调度；所述数据服务层与所述实时流处理层和分布式数据仓库层连接，用于对处理后的数据信息进行存储或供前端应用；所述业务应用层用于对处理后的数据信息进行展示；所述数据运营管控层分别与所述数据集成层、分布式数据仓库层、数据服务层及业务应用层连接，用于进行作业调度、应用部署、数据质量监控和系统日志管理。

在其中一个实施例中，所述数据集成层包括oracle中间库、hive库、kafka消息队列、sqoop组件和logstash日志组件；所述oracle中间库与所述业务系统连接，通过实时同步工具将业务数据同步到所述kafka消息队列中，通过所述sqoop组件向所述hive库中定时采集所述业务数据；所述logstash日志组件用于生成消息日志。

在其中一个实施例中，所述实时流处理层包括有spark streaming框架和streamsets工具；所述spark streaming框架用于构建所述数据信息的框架；所述stream sets工具用于对所述数据信息进行加工处理。

在其中一个实施例中，所述分布式数据仓库层包括有：ODS操作数据层、DW明细仓库层、DMK指标层、DMR应用层和DIM维度层；所述ODS操作数据层与所述DW明细仓库层连接，用于根据数据信息建立目标表、STG表和HIS表，将非结构化数据转换为结构化数据，并进行存储；所述DW明细仓库层与所述DMK指标层连接，用于按照分析主题设计数据模型，并对数据信息进行清洗加工，获取明细数据；所述DMK指标层与所述DMR应用层连接，用于根据前端报表需求进行数据的汇总分析，根据模型需求形成业务指标数据，并进行主题数据的挖掘；所述DIM维度层分别与所述ODS操作数据层、DW明细仓库层、DMK指标层和DMR应用层连接，用于存放维度数据。

在其中一个实施例中，所述分布式仓库层具体包括：批处理引擎、SQL引擎、资源调度管理模块、数据安全控制模块、分布式文件系统和分布式关系数据存储模块；所述批处理引擎用于对数据信息进行分布式处理；所述SQL查询引擎用于对数据信息进行查询；所述资源调度管理模块用于调度集群调度；所述数据安全控制模块用于进行细粒度权限的控制；所述分布式文件系统和分布式关系数据存储模块用于存储加工后的数据信息。

在其中一个实施例中，所述批处理引擎包括有MapReduce引擎和Spark引擎；所述SQL查询引擎包括有Hive引擎、Impala引擎和Presto引擎；所述资源调度管理模块为YARN资源调度管理器；所述数据安全控制模块为Sentry监控工具；所述分布式文件系统为HDFS分布式文件系统；所述分布式关系数据存储为KUDU存储引擎。

在其中一个实施例中，所述数据服务层包括有主题分析模型、预警模型、自助取数模块、搜索引擎模块、机器学习模块和Oracle数据库；所述主题分析模块用于根据处理后的数据信息进行主题分析；所述预警模块用于对运营状况进行预警；所述自助取数模块用于自动获取数据信息；所述搜索引擎模块用于根据检索关键字获取数据信息；所述Oracle数据库用于存储数据信息，供前端调用。

在其中一个实施例中，所述业务应用层包括显示器、数据门户、移动应用、明细数据查询端口、restful接口和数据分析工具。

在其中一个实施例中，所述数据运营管控层包括有元数据管理模块、作业调度模块、应用部署模块、数据质量管控模块、监控模块和系统日志管理模块。

相比于现有技术，本发明的优点及有益效果在于：

1、本发明通过引入大数据技术，构建了企业统一的大数据平台，将各个业务系统的数据利用大数据采集技术定时采集到大数据平台中，进行集中存储和管理，同时建立统一的数据标准，将各个业务系统的数据进行有效地整合。

2、本发明能够根据业务部门报表需求，确定指标的统一口径，建立科学的指标体系；在大数据平台中利用平台分布式计算技术进行数据的加工处理，定时生成业务部门所需要的报表，从而处理大规模的结构化及非结构化的数据，并且具有较好的扩展性，可以解决数据日益增长带来的性能问题，并且对数据的时效性和准确性提供了极大的保障，不再依赖人工进行数据的处理及报表的填报，减少了很大一部分报表填报的人力成本。

3、本发明经过加工处理的最终数据还可以为业务部门提供多样化的呈现方式，在pc端、移动端、大屏端均可进行数据的查阅，满足了业务部门不同岗位人员多样化的数据需求。

附图说明

图1为一个实施例中一种用于汽车物流的大数据分析平台的结构示意图；

图2为一个实施例中一种用于汽车物流的大数据分析平台的整体技术架构图；

图3为一个实施例中一种用于汽车物流的大数据分析平台的业务分析体系图。

附图中，数据集成层10、oracle中间库11、hive库12、kafka消息队列13、sqoop组件14、logstash日志组件15、实时流处理层20、spark streaming框架21、stream sets工具22、分布式数据仓库层30、批处理引擎31、SQL引擎32、资源调度管理模块33、数据安全控制模块34、分布式文件系统35、分布式关系数据存储模块36、数据服务层40、主题分析模型41、预警模型42、自助取数模块43、搜索引擎模块44、机器学习模块45、Oracle数据库46、业务应用层50、显示器51、数据门户52、移动应用53、明细数据查询端口54、restful接口55、数据分析工具56、数据运营管控层60、元数据管理模块61、作业调度模块62、应用部署模块63、数据质量管控模块64、监控模块65和系统日志管理模块66。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在一个实施例中，如图1和图2所示，提供了一种用于汽车物流的大数据分析平台，包括：数据集成层10、实时流处理层20、分布式数据仓库层30、数据服务层40、业务应用层50和数据运营管控层60；数据集成层10与外部数据库和业务系统连接，用于采集数据信息；实时流处理层20与数据集成层10连接，用于对数据信息进行处理；分布式数据仓库层30与数据集成层10和实时流处理层20连接，用于对数据信息进行分布式处理和数据存储，并统一资源调度；数据服务层40与实时流处理层20和分布式数据仓库层30连接，用于对处理后的数据信息进行存储或供前端应用；业务应用层50用于对处理后的数据信息进行展示；数据运营管控层60分别与数据集成层10、实时流处理层20、分布式数据仓库层30、数据服务层40及业务应用层50连接，用于进行作业调度、应用部署、数据质量监控和系统日志管理。

在本实施例中，通过数据集成层10与外部数据库和业务系统连接，采集数据信息；实时流处理层20与数据集成层连接，用于对数据信息进行处理，分布式数据仓库层30与数据集成层10和实时流处理层20连接，对数据信息进行分布式处理和数据存储，并统一资源调度；数据服务层40与实时流处理层20和分布式数据仓库层30连接，对处理后的数据信息进行存储或供前端应用；业务应用层50对处理后的数据信息进行展示，数据运营管控层60分别与数据集成层10、分布式数据仓库层30、数据服务层40及业务应用层50连接，进行作业调度、应用部署、数据质量监控和系统日志管理，能够将企业数据进行了有效利用，形成真正有价值的数据，为企业的经营决策提供了强大的数据支撑，降低了企业人力成本，实现了企业数据的全面、真实、透明和共享。

具体地，大数据架构方面以Hadoop开源技术框架为基础，构建统一的大数据分析平台，进行数据的采集、存储、清洗整合、建模、汇总加工及报表展示。系统整体架构支持万兆网络，且具有统一调度资源、快速布置、分布式计算和存储、动态扩展等特点。

其中，数据集成层10包括oracle中间库11、hive库12、kafka消息队列13、sqoop组件14和logstash日志组件15；oracle中间库11与业务系统连接，通过实时同步工具将业务数据同步到kafka消息队列13中，通过sqoop组件14向hive库12中定时采集业务数据；logstash日志组件13用于生成消息日志。

具体地，核心数据源主要来自于业务系统关系数据库中，大数据平台不直接连接业务系统数据库，而是通过中间库进行数据的过渡，业务系统数据库的数据利用实时同步工具将生产库数据实时同步到中间库中，然后，大数据平台采用sqoop组件从中间库定时采集数据，从而增加了业务系统数据库的安全性，减轻数据库的压力，保证了数据库的稳定性。

其中，实时流处理层20包括有spark streaming框架21和stream sets工具22；spark streaming框架21用于构建数据信息的框架；stream sets工具22用于对数据信息进行加工处理。

其中，分布式数据仓库层30包括有：ODS操作数据层、DW明细仓库层、DMK指标层、DMR应用层和DIM维度层；ODS操作数据层与DW明细仓库层连接，用于根据数据信息建立目标表、STG表和HIS表，将非结构化数据转换为结构化数据，并进行存储；DW明细仓库层与DMK指标层连接，用于按照分析主题设计数据模型，并对数据信息进行清洗加工，获取明细数据；DMK指标层与DMR应用层连接，用于根据前端报表需求进行数据的汇总分析，根据模型需求形成业务指标数据，并进行主题数据的挖掘；DIM维度层分别与ODS操作数据层、DW明细仓库层、DMK指标层和DMR应用层连接，用于存放维度数据。

具体地，从源系统采集到大数据平台的原始数据底层采用分布式文件系统hdfs机芯存储，上层通过hive进行数据的建模。

其中，分布式仓库层30具体包括：批处理引擎31、SQL引擎32、资源调度管理模块33、数据安全控制模块34、分布式文件系统35和分布式关系数据存储模块36；批处理引擎31用于对数据信息进行分布式处理；SQL查询引擎32用于对数据信息进行查询；资源调度管理模块33用于调度集群调度；数据安全控制模块34用于进行细粒度权限的控制；分布式文件系统35和分布式关系数据存储模块36用于存储加工后的数据信息。

其中，批处理引擎31包括有MapReduce引擎和Spark引擎；SQL查询引擎包括有Hive引擎、Impala引擎和Presto引擎；资源调度管理模块为YARN资源调度管理器；数据安全控制模块为Sentry监控工具；分布式文件系统为HDFS分布式文件系统；分布式关系数据存储为KUDU存储引擎。

具体地，可以通过hiveql进行数据仓库ETL程序的开发，开发工具选用kettle开源工具，底层使用MapReduce计算引擎，设置多并发运行，集群资源通过YARN进行调度，hive表通过sentry机芯细粒度权限的控制。

其中，数据服务层40包括有主题分析模型41、预警模型42、自助取数模块43、搜索引擎模块44、机器学习模块45和Oracle数据库46；主题分析模型41用于根据处理后的数据信息进行主题分析；预警模型42用于对运营状况进行预警；自助取数模块43用于自动获取数据信息；搜索引擎模块44用于根据检索关键字获取数据信息；Oracle数据库46用于存储数据信息，供前端调用。

具体地，搜索引擎采用Elastic search引擎，还可以设置MySQL和TiDB数据库，形成关系数据集市，用于从Oracle数据库46抽取相关的数据给用户。

具体地，经过ETL加工后的结果数据存储在hive中，根据业务需求，部分数据会进一步同步到Oracle数据库中，供前端应用，一部分数据由前端报表工具定时从hive抽取到缓存中，再由前端进行调用。

其中，业务应用层50包括显示器51、数据门户52、移动应用53、明细数据查询端口54、restful接口55和数据分析工具56。

具体地，显示器51用于显示用户需要的数据信息；数据门户52设置有若干门户组件，通过门户组件展示对应的数据信息；移动应用53设置有对应的应用程序，便于用户使用；明细数据查询端口54用于查询明细数据；restful接口用于连接前端服务；数据分析工具56用于根据数据信息进行对应的分析，获取分析结论，便于用户查看。

具体地，前端报表可以以表格、图形、各种仪表盘等多种形式进行呈现，支持PC端、移动端和大屏等不同终端的数据展示功能。

在一个实施例中，如图3所示，基于汽车物流行业的特性，梳理业务，识别出关键的业务指标，设置业务分析体系，例如，设计总览、财务、运输、仓储和市场五大分析模块，确定时间、组织、产品、地区、运输方式、车型组、车型、业务属性、承运商和客户分析维度。通过总览分析模块在整体层面对整车运营中心的经营状况进行阐述与预警，并实时监控企业发运主要情况、企业KPI指标、企业DTD时效及企业重点业务监控。财务模块从业务角度出发，分利润、收入、成本、现金流、结算和市场拓展视角，按时间、业务属性、组织、品牌、项目及客户等维度，分析整车物流模板经营状况、资金回收情况和市场拓展情况。运输分析模块主要包括概览、订单管理分析、运输效率分析、质量管理分析和供方管理分析等，多维度对企业订单、运输、质量和供方进行深入解析。仓储分析模块要分析仓储的构成、利用率和库龄情况，多维度对企业仓储能力进行深入解析。市场分析模块主要分析市场的信息收集情况、市场占有情况、产值完成情况、利润完成情况和客户的扩展情况及管理情况等。

其中，数据运营管控层60包括有元数据管理模块61、作业调度模块62、应用部署模块63、数据质量管控模块64、监控模块65和系统日志管理模块66。

具体地，元数据管理模块61用于管理系统信息、业务信息，便于用户导航数据仓库以及定位有用信息；作业调度模块62用于创建进程、分配资源；应用部署模块63用于分配程序；数据质量管控模块64，通过运用标准化的数据质量规范，实时监控，在线考评，强化数据质量事中控制，事后评价，降低因数据问题给企业造成的损失，提升决策分析依据的准确性和实用性；监控模块65用于实时监控企业发运主要情况、企业KPI指标、企业DTD(DocumentType Definition，文档类型定义)时效以及企业重点业务监控；系统日志管理模块66用于管理系统中硬件、软件和系统问题的信息。

显然，本领域的技术人员应该明白，上述本发明的各模块可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种用于汽车物流的大数据分析平台，其特征在于，包括：

数据集成层、实时流处理层、分布式数据仓库层、数据服务层、业务应用层和数据运营管控层；

所述数据集成层与外部数据库和业务系统连接，用于采集数据信息；

所述实时流处理层与所述数据集成层连接，用于对数据信息进行处理；

所述分布式数据仓库层与所述数据集成层和实时流处理层连接，用于对数据信息进行分布式处理和数据存储，并统一资源调度；

所述数据服务层与所述实时流处理层和分布式数据仓库层连接，用于对处理后的数据信息进行存储或供前端应用；

所述业务应用层用于对处理后的数据信息进行展示；

所述数据运营管控层分别与所述数据集成层、分布式数据仓库层、数据服务层及业务应用层连接，用于进行作业调度、应用部署、数据质量监控和系统日志管理。

2.根据权利要求1所述的一种用于汽车物流的大数据分析平台，其特征在于，所述数据集成层包括oracle中间库、hive库、kafka消息队列、sqoop组件和logstash日志组件；所述oracle中间库与所述业务系统连接，通过实时同步工具将业务数据同步到所述kafka消息队列中，通过所述sqoop组件向所述hive库中定时采集所述业务数据；所述logstash日志组件用于生成消息日志。

3.根据权利要求1所述的一种用于汽车物流的大数据分析平台，其特征在于，所述实时流处理层包括有spark streaming框架和stream sets工具；所述spark streaming框架用于构建所述数据信息的框架；所述stream sets工具用于对所述数据信息进行加工处理。

4.根据权利要求1所述的一种用于汽车物流的大数据分析平台，其特征在于，所述分布式数据仓库层包括有：ODS操作数据层、DW明细仓库层、DMK指标层、DMR应用层和DIM维度层；

所述ODS操作数据层与所述DW明细仓库层连接，用于根据数据信息建立目标表、STG表和HIS表，将非结构化数据转换为结构化数据，并进行存储；

所述DW明细仓库层与所述DMK指标层连接，用于按照分析主题设计数据模型，并对数据信息进行清洗加工，获取明细数据；

所述DMK指标层与所述DMR应用层连接，用于根据前端报表需求进行数据的汇总分析，根据模型需求形成业务指标数据，并进行主题数据的挖掘；

所述DIM维度层分别与所述ODS操作数据层、DW明细仓库层、DMK指标层和DMR应用层连接，用于存放维度数据。

5.根据权利要求4所述的一种用于汽车物流的大数据分析平台，其特征在于，所述分布式仓库层具体包括：批处理引擎、SQL引擎、资源调度管理模块、数据安全控制模块、分布式文件系统和分布式关系数据存储模块；

所述批处理引擎用于对数据信息进行分布式处理；

所述SQL查询引擎用于对数据信息进行查询；

所述资源调度管理模块用于调度集群调度；

所述数据安全控制模块用于进行细粒度权限的控制；

所述分布式文件系统和分布式关系数据存储模块用于存储加工后的数据信息。

6.根据权利要求5所述的一种用于汽车物流的大数据分析平台，其特征在于，所述批处理引擎包括有MapReduce引擎和Spark引擎；所述SQL查询引擎包括有Hive引擎、Impala引擎和Presto引擎；所述资源调度管理模块为YARN资源调度管理器；所述数据安全控制模块为Sentry监控工具；所述分布式文件系统为HDFS分布式文件系统；所述分布式关系数据存储为KUDU存储引擎。

7.根据权利要求1所述的一种用于汽车物流的大数据分析平台，其特征在于，所述数据服务层包括有主题分析模型、预警模型、自助取数模块、搜索引擎模块、机器学习模块和Oracle数据库；所述主题分析模块用于根据处理后的数据信息进行主题分析；所述预警模块用于对运营状况进行预警；所述自助取数模块用于自动获取数据信息；所述搜索引擎模块用于根据检索关键字获取数据信息；所述Oracle数据库用于存储数据信息，供前端调用。

8.根据权利要求1所述的一种用于汽车物流的大数据分析平台，其特征在于，所述业务应用层包括显示器、数据门户、移动应用、明细数据查询端口、restful接口和数据分析工具。

9.根据权利要求1所述的一种用于汽车物流的大数据分析平台，其特征在于，所述数据运营管控层包括有元数据管理模块、作业调度模块、应用部署模块、数据质量管控模块、监控模块和系统日志管理模块。

Images