CN107977450A - 基于视频大数据的道路交通分析综合应用平台 - Google Patents
基于视频大数据的道路交通分析综合应用平台 Download PDFInfo
- Publication number
- CN107977450A CN107977450A CN201711339471.5A CN201711339471A CN107977450A CN 107977450 A CN107977450 A CN 107977450A CN 201711339471 A CN201711339471 A CN 201711339471A CN 107977450 A CN107977450 A CN 107977450A
- Authority
- CN
- China
- Prior art keywords
- data
- video
- layer
- module
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了基于视频大数据的道路交通分析综合应用平台。涉及视频大数据道路交通分析平台技术领域，包括服务层、平台管理层、应用层；服务层包括应用服务器集群、数据库服务器集群；平台管理层包括视频数据处理模块、视频数据分析模块、视频数据挖掘模块、视频数据管理模块、视频数据综合应用模块；应用服务器集群为平台管理层、应用层提供服务功能；数据库服务器集群为平台管理层、应用层提供数据存储、数据获取功能。本发明通过服务层、平台管理层、应用层基于大数据的处理方式，实现了对道路交通的监测和快速处理，解决了现有技术中由于交通网络数据量大很难快速有效处理的问题。
Description
技术领域
本发明属于视频大数据道路交通分析平台技术领域，特别是涉及基于视频大数据的道路交通分析综合应用平台。
背景技术
随着城市经济的快速发展以及人们的生活水平的不断提高，道路交通的负载越来越重。虽然道路基础设施也在不断的改善，但是交通拥挤和交通事故出现的频率也越来越高，从而给人们出行带来了极大的不便。为改善上述局面，个尘世积极推广实施个重要交通道口区域安装视频监控设备，试图通过视频实时监控道路的拥挤以及对交通事故的紧急处理。但由于现在交通网络的不断扩张，传统的服务器已经不能满足处理的需要。
鉴于交通安全的需要，基于大数据视频处理道路交通问题成为人们解决上述问题的一种方法。“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。
从技术上看，大数据[1]与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代[4]》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法)大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。
本发明致力于采用视频大数据的道路交通综合分析平台解决传统技术中由于交通网络数据量大很难快速有效处理的问题。
发明内容
本发明的目的在于提供基于视频大数据的道路交通分析综合应用平台，通过服务层、平台管理层、应用层基于大数据的处理方式，实现了对道路交通的监测和快速处理，解决了现有技术中由于交通网络数据量大很难快速有效处理的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为基于视频大数据的道路交通分析综合应用平台，包括服务层、平台管理层、应用层；所述服务层包括应用服务器集群、数据库服务器集群；所述平台管理层包括视频数据处理模块、视频数据分析模块、视频数据挖掘模块、视频数据管理模块、视频数据综合应用模块；所述应用层包括道路交通监测模块、道路交通信息检索模块、道路交通应急预案模块；所述应用服务器集群为平台管理层、应用层提供服务功能；所述数据库服务器集群为平台管理层、应用层提供数据存储、数据获取功能；所述平台管理层采用Ambari平台管理；所述Ambari平台管理采用ZooKeeper集群进行平台配置与调度；所述Ambari平台管理包括数据集成层、文件存储层、数据存储层、编程模型层、数据分析层；所述数据集成层采用Java NIO传输数据库数据至平台管理层；所述文件存储层采用HDFS进行文件存储；所述Java NIO传输的数据在数据存储层采用HCatalog进行元数据管理；文件存储层传输的数据在数据存储层采用Hbase进行数据存储、采用Redis进行数据缓存；所述编程模型层采用MapReduce、Yarn、Samza、storm编程模型；所述MapReduce与Yarn编程模型采用Hive进行数据；所述Samza与storm编程模型采用Pig进行数据分析。
其中，所述道路交通监测模块通过安装在交通道路上的无线摄像头获取视频信息；所述无线摄像头包括摄像机；所述摄像机上集成无线传输模块。
其中，所述道路交通监测模块获取的视频信息在平台管理层经视频数据处理模块处理、视频数据挖掘模块挖掘分析后存储到安装在数据库服务器集群上的数据库内。
其中，其特征在于，所述道路交通信息检索模块进行道路交通信息检索时，传递检索信息至视频数据管理模块；所述视频数据管理模块根据所述检索信息从数据库中检索视频信息；所述视频检索信息经视频数据分析模块分析处理后传递至应用层。
其中，所述视频数据管理模块从数据库中获取视频信息；所述视频信息传送至视频数据挖掘模、视频数据分析模块进行挖掘、分析；所述视频数据综合应用模块获取经视频数据挖掘模块挖掘后的视频信息；所述视频数据综合应用模块获取经视频数据分析模块分析后的视频信息；所述视频数据综合应用模块对视频信息综合处理后向道路交通紧急预案模块提供紧急交通处理预案。
本发明具有以下有益效果：
本发明服务层、平台管理层、应用层基于大数据的处理方式，实现了对道路交通的监测和快速处理，解决了现有技术中由于交通网络数据量大很难快速有效处理的问题。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于视频大数据的道路交通分析综合应用平台结构示意图；
图2为本发明的平台管理层数据处理流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-2所示，本发明为基于视频大数据的道路交通分析综合应用平台，包括服务层、平台管理层、应用层；服务层包括应用服务器集群、数据库服务器集群；平台管理层包括视频数据处理模块、视频数据分析模块、视频数据挖掘模块、视频数据管理模块、视频数据综合应用模块；应用层包括道路交通监测模块、道路交通信息检索模块、道路交通应急预案模块；应用服务器集群为平台管理层、应用层提供服务功能；数据库服务器集群为平台管理层、应用层提供数据存储、数据获取功能；平台管理层采用Ambari平台管理；Ambari平台管理采用ZooKeeper集群进行平台配置与调度；Ambari平台管理包括数据集成层、文件存储层、数据存储层、编程模型层、数据分析层；数据集成层采用JavaNIO传输数据库数据至平台管理层；文件存储层采用HDFS进行文件存储；JavaNIO传输的数据在数据存储层采用HCatalog进行元数据管理；文件存储层传输的数据在数据存储层采用Hbase进行数据存储、采用Redis进行数据缓存；编程模型层采用MapReduce、Yarn、Samza、storm编程模型；MapReduce与Yarn编程模型采用Hive进行数据；Samza与storm编程模型采用Pig进行数据分析。
其中，道路交通监测模块通过安装在交通道路上的无线摄像头获取视频信息；无线摄像头包括摄像机；摄像机上集成无线传输模块。
其中，道路交通监测模块获取的视频信息在平台管理层经视频数据处理模块处理、视频数据挖掘模块挖掘分析后存储到安装在数据库服务器集群上的数据库内。
其中，道路交通信息检索模块进行道路交通信息检索时，传递检索信息至视频数据管理模块；视频数据管理模块根据检索信息从数据库中检索视频信息；视频检索信息经视频数据分析模块分析处理后传递至应用层。
其中，视频数据管理模块从数据库中获取视频信息；视频信息传送至视频数据挖掘模、视频数据分析模块进行挖掘、分析；视频数据综合应用模块获取经视频数据挖掘模块挖掘后的视频信息；视频数据综合应用模块获取经视频数据分析模块分析后的视频信息；视频数据综合应用模块对视频信息综合处理后向道路交通紧急预案模块提供紧急交通处理预案。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (5)
1.基于视频大数据的道路交通分析综合应用平台，其特征在于，包括服务层、平台管理层、应用层；
所述服务层包括应用服务器集群、数据库服务器集群；
所述平台管理层包括视频数据处理模块、视频数据分析模块、视频数据挖掘模块、视频数据管理模块、视频数据综合应用模块；
所述应用层包括道路交通监测模块、道路交通信息检索模块、道路交通应急预案模块；
所述应用服务器集群为平台管理层、应用层提供服务功能；所述数据库服务器集群为平台管理层、应用层提供数据存储、数据获取功能；
所述平台管理层采用Ambari平台管理；所述Ambari平台管理采用ZooKeeper集群进行平台配置与调度；所述Ambari平台管理包括数据集成层、文件存储层、数据存储层、编程模型层、数据分析层；所述数据集成层采用Java NIO传输数据库数据至平台管理层；所述文件存储层采用HDFS进行文件存储；所述Java NIO传输的数据在数据存储层采用HCatalog进行元数据管理；文件存储层传输的数据在数据存储层采用Hbase进行数据存储、采用Redis进行数据缓存；所述编程模型层采用MapReduce、Yarn、Samza、storm编程模型；所述MapReduce与Yarn编程模型采用Hive进行数据；所述Samza与storm编程模型采用Pig进行数据分析。
2.根据权利要求1所述的基于视频大数据的道路交通分析综合应用平台，其特征在于，所述道路交通监测模块通过安装在交通道路上的无线摄像头获取视频信息；所述无线摄像头包括摄像机；所述摄像机上集成无线传输模块。
3.根据权利要求1所述的基于视频大数据的道路交通分析综合应用平台，其特征在于，所述道路交通监测模块获取的视频信息在平台管理层经视频数据处理模块处理、视频数据挖掘模块挖掘分析后存储到安装在数据库服务器集群上的数据库内。
4.根据权利要求1所述的基于视频大数据的道路交通分析综合应用平台，其特征在于，所述道路交通信息检索模块进行道路交通信息检索时，传递检索信息至视频数据管理模块；所述视频数据管理模块根据所述检索信息从数据库中检索视频信息；所述视频检索信息经视频数据分析模块分析处理后传递至应用层。
5.根据权利要求1所述的基于视频大数据的道路交通分析综合应用平台，其特征在于，所述视频数据管理模块从数据库中获取视频信息；所述视频信息传送至视频数据挖掘模、视频数据分析模块进行挖掘、分析；所述视频数据综合应用模块获取经视频数据挖掘模块挖掘后的视频信息；所述视频数据综合应用模块获取经视频数据分析模块分析后的视频信息；所述视频数据综合应用模块对视频信息综合处理后向道路交通紧急预案模块提供紧急交通处理预案。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711339471.5A CN107977450A (zh) | 2017-12-14 | 2017-12-14 | 基于视频大数据的道路交通分析综合应用平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711339471.5A CN107977450A (zh) | 2017-12-14 | 2017-12-14 | 基于视频大数据的道路交通分析综合应用平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107977450A true CN107977450A (zh) | 2018-05-01 |
Family
ID=62006405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711339471.5A Pending CN107977450A (zh) | 2017-12-14 | 2017-12-14 | 基于视频大数据的道路交通分析综合应用平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107977450A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033130A (zh) * | 2018-06-04 | 2018-12-18 | 温州市图盛科技有限公司 | 一种区块链电力数据存储系统 |
| CN114567561A (zh) * | 2022-01-21 | 2022-05-31 | 广东集东洲信息发展有限公司 | 一种基于大数据处理的视频处理系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875074A (zh) * | 2015-12-10 | 2017-06-20 | 北京航天长峰科技工业集团有限公司 | 基于大数据的信息分析研判系统 |
| CN107277470A (zh) * | 2017-08-10 | 2017-10-20 | 四川天翼网络服务有限公司 | 一种网络联动管理方法及数字化警务联动管理方法 |
-
2017
- 2017-12-14 CN CN201711339471.5A patent/CN107977450A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875074A (zh) * | 2015-12-10 | 2017-06-20 | 北京航天长峰科技工业集团有限公司 | 基于大数据的信息分析研判系统 |
| CN107277470A (zh) * | 2017-08-10 | 2017-10-20 | 四川天翼网络服务有限公司 | 一种网络联动管理方法及数字化警务联动管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZZLCHN: "Hadoop2.x生态系统及技术架构图", 《BBSMAX》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033130A (zh) * | 2018-06-04 | 2018-12-18 | 温州市图盛科技有限公司 | 一种区块链电力数据存储系统 |
| CN114567561A (zh) * | 2022-01-21 | 2022-05-31 | 广东集东洲信息发展有限公司 | 一种基于大数据处理的视频处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107241512B (zh) | 基于手机数据的城际交通出行方式判断方法和设备 | |
| CN110008413B (zh) | 一种交通出行问题查询方法和装置 | |
| US9197710B1 (en) | Temporal based data string intern pools | |
| CN107729413A (zh) | 基于大数据的区域交通智能管理系统 | |
| CN105681768A (zh) | 一种通过通信数据实现人流实时监控的方法 | |
| CN107465656A (zh) | 一种基于云计算的安防监控大数据处理方法及系统 | |
| CN105631026A (zh) | 一种安全数据分析系统 | |
| CN104036025A (zh) | 一种基于分布式的海量日志采集系统 | |
| CN107800808A (zh) | 一种基于Hadoop架构的数据存储系统 | |
| CN108665206A (zh) | 一种智慧物流云平台系统 | |
| CN107844274A (zh) | 基于超融合存储系统的硬件资源管理方法、装置及终端 | |
| CN102610101B (zh) | 一种采集交通事件信息的方法 | |
| CN107577724A (zh) | 一种大数据处理方法 | |
| US11176816B2 (en) | Intelligent cloud traffic control system and traffic control method | |
| CN112181955A (zh) | 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法 | |
| CN109410576A (zh) | 多源数据融合的路况分析方法、装置、存储介质及系统 | |
| CN107767253A (zh) | 一种税务信息管理平台、方法及系统 | |
| CN107977450A (zh) | 基于视频大数据的道路交通分析综合应用平台 | |
| WO2022143017A1 (zh) | 一种交通数据仓库的构建方法、装置、存储介质及终端 | |
| CN102404406A (zh) | 基于私有云存储的海洋实时数据同步系统 | |
| CN107453948A (zh) | 一种网络测量数据的存储方法及系统 | |
| CN104732078B (zh) | 基于云平台的医疗信息分级存储方法 | |
| CN106257447A (zh) | 云存储服务器的视频存储及检索方法、视频云存储系统 | |
| CN116450620B (zh) | 面向多源多域时空基准数据的数据库设计方法及系统 | |
| CN110377757A (zh) | 一种实时知识图谱构建系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180501 |