CN103237045B - 大规模实时交通数据的并行处理系统和并行处理方法 - Google Patents
大规模实时交通数据的并行处理系统和并行处理方法 Download PDFInfo
- Publication number
- CN103237045B CN103237045B CN201310057203.XA CN201310057203A CN103237045B CN 103237045 B CN103237045 B CN 103237045B CN 201310057203 A CN201310057203 A CN 201310057203A CN 103237045 B CN103237045 B CN 103237045B
- Authority
- CN
- China
- Prior art keywords
- traffic data
- real time
- time traffic
- server
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title abstract description 4
- 238000004891 communication Methods 0.000 claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 64
- 238000004364 calculation method Methods 0.000 claims description 53
- 238000013500 data storage Methods 0.000 claims description 26
- 238000007726 management method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 18
- 230000002085 persistent effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 239000012141 concentrate Substances 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Abstract
本发明涉及一种大规模实时交通数据的并行处理系统和大规模实时交通数据的并行处理方法。其中，大规模实时交通数据的并行处理系统包括通信服务器组，用于接收前端监测设备采集的实时交通数据，对接收到的实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；交通数据发布/订阅器，用于建立实时交通数据发布/订阅消息队列，接收并缓存由通信服务器组转发的实时交通数据，向订阅实时交通数据的不同的分发目的地进行实时交通数据的分发。本发明的大规模实时交通数据的并行处理系统和处理方法能，能够增强交通数据实时采集及海量交通数据处理的能力，同时满足交通业务发展下的扩展性需求。
Description
技术领域
本发明涉及交通信息处理领域的智能交通系统，特别涉及一种大规模实时交通数据的并行处理系统和并行处理方法。
背景技术
智能交通系统是将先进的信息技术、数据通讯传输技术、电子传感技术、电子控制技术以及计算机处理技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合运输和管理系统。智能交通系统主要由交通数据采集设备、远程通信网络、交通数据中心、交通信息服务及应用四大部分构成。其中，承担交通数据汇聚与处理的交通数据中心，一方面通过通信网络接收来自众多不同监测设备（如车载GPS、路口感应装置、视频摄像头等）采集的实时交通数据，另一方面通过对交通数据的分析处理为交通信息服务提供支撑，是整个智能交通系统的核心。
目前的交通数据中心在数据通信及数据处理方面大都基于单机的系统，面向单一采集手段获得的交通数据，同时由于一般采用阻塞式的数据通信及串行化的处理技术，在满足大量采集设备与交通数据中心间实时数据通信及大规模交通数据高速处理等需求方面暴露出诸多不足，人们往往只好通过采购昂贵的高配置服务器、甚至小型机来提升性能以完成处理任务。此外，当前交通数据中心大都是面向特定的交通业务处理需求而建，当处理需求发生变化以及增加新的处理需求后难以扩展，有时甚至需要推到重建，从而造成交通数据中心建设在计算资源和数据资源等方面的巨大浪费。
随着城市道路建设及监测技术等的不断发展，监测的交通覆盖范围、采集的交通数据类型及交通数据数量都在不断的扩大；同时，随着交通业务的发展和对交通研究的不断深入，对交通数据的处理需求（如实时路况测算、交通流分析、交通诱导、违法车辆自动识别、特定车辆管控、交通数据挖掘等）也将不断增加，需要更加强大的交通数据处理能力和计算速度。为此，系统将不得不频繁的进行软硬件升级，从而使得交通数据中心的建设及维护成本不断加剧，也必将极大地阻碍智能交通系统的建设与发展。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
为了满足大规模、流式交通数据的不间断通信及实时处理需求，解决相应系统在通信容量、处理性能及系统扩展性等方面的问题，本发明提供一种大规模实时交通数据的并行处理系统和并行处理方法。
为了上述目的，本发明提供如下技术方案：
根据本发明的一方面，一种大规模实时交通数据的并行处理系统，包括：
通信服务器组，用于通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；
交通数据发布/订阅器，与所述通信服务器组连接，用于按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由所述通信服务器组转发的所述实时交通数据，向订阅所述实时交通数据的不同的所述分发目的地进行所述实时交通数据的分发。
根据本发明的另一方面，一种大规模实时交通数据的并行处理方法，其特征在于，包括：
通信服务器组通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；
交通数据发布/订阅器按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由所述通信服务器组转发的所述实时交通数据，向订阅所述实时交通数据的不同的所述分发目的地进行所述实时交通数据的分发。
本发明的大规模实时交通数据的并行处理系统和处理方法能够实时接收及分发来自大量前端交通监测设备采集的交通数据，满足大规模、流式交通数据的不间断通信及实时处理需求，并适应前端设备数量的扩展；能够满足交通管理业务中基于交通数据进行业务计算的多样化需求，以并行处理方式进行基于实时交通数据和历史交通数据的多业务计算，支持通过服务器扩展方式提高处理性能；能够存储海量历史交通数据并提供查询访问接口，便于其他交通应用系统使用。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1表示本发明的大规模实时交通数据的并行处理系统的一种实施方式的结构图；
图2表示本发明中通信服务器模块结构图
图3表示本发明中计算服务器集群模块结构图；
图4表示本发明的大规模实时交通数据的并行处理方法的一种实施方式的流程图；
图5表示本发明中通信服务器的处理流程图；
图6表示本发明中计算服务器集群的处理流程图。
具体实施方式
下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
参见附图1所示，为本发明的大规模实时交通数据的并行处理系统的一种实施方式的结构图。
本实施方式的大规模实时交通数据的并行处理系统20通信服务器组21和交通数据发布/订阅器22。其中，通信服务器组21用于通过网络长连接并行地接收前端监测设备10采集的实时交通数据，对接收到的实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器22进行转发。前端设备10例如可以包括感应线圈、摄像头、车载GPS、RFID标签的一种或多种。
交通数据发布/订阅器22，与通信服务器组21连接，用于按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由通信服务器组21转发的实时交通数据，向订阅实时交通数据的不同的分发目的地进行实时交通数据的分发。
通过通信服务器组21与交通数据发布/订阅器22之间的数据交互，能够接收及分发来自大量前端交通监测设备采集的数据。
作为一种优选方案，大规模实时交通数据的并行处理系统20还可以包括计算机服务集群24和历史交通数据存储装置23。其中，计算服务器集群24与交通数据发布/订阅器22连接，用于并行执行基于交通数据发布/订阅器的实时交通数据及历史交通数据存储装置24存储的历史交通数据的多个业务计算，每个业务计算以多线程并行计算的方式执行。多个业务计算实现相应的交通管理业务逻辑，如实时路况统计的计算、套牌车分析的计算等，计算结果将直接发送到相关的交通业务应用系统中。
历史交通数据存储装置23与交通数据发布/订阅器22连接，用于接收交通数据发布/订阅器22的实时交通数据并集中进行持久化存储。
在该优选方案中，交通数据发布/订阅器22实现了通信服务器组21和计算服务器集群24及历史交通数据存储装置23间的交通数据中转传输，使得通信服务器组21不必考虑交通数据的多目的地分发问题，从而减轻其负担；交通数据发布/订阅器22同时负责交通数据的可靠传递，从而解决因网络故障或计算服务器242或历史交通数据存储装置23故障而不能按时接收数据的问题。计算服务器集群24以并行方式运行基于实时交通数据及海量历史交通数据的多个业务计算程序，从而实现大规模交通数据高速处理，并可通过增加计算服务器数量方式满足新的交通业务计算需求以及适应由于数据规模增大带来的计算量增大的情况；历史交通数据存储装置23可实现海量的结构化数据和相关文件（如车辆图片文件等）的管理并满足计算服务器集群中业务计算程序对历史交通数据的快速查询及提取的需求。
在一种实施方式中，通信服务器组21可以包括两台以上具有相同功能的通信服务器211，如图2所示，每个通信服务器211可以包括连接管理器2111和数据收发器2112。其中，连接管理器2111用于监听前端监测设备10的连接请求，建立长连接，并且将新建立的长连接分派给不同的数据收发器2112进行处理。
在一种实施方式中，连接管理器2111可以包括连接监听模块、连接建立模块和连接分派模块。
连接监听模块负责以非阻塞异步通知的方式监听前端监测设备10的长连接请求；连接建立模块负责接收连接请求和建立长连接；连接分派模块负责根据数据收发器的已分派情况选取待分派的数据收发器，将新建立的连接分派给该数据收发器。
数据收发器2112用于接收前端监测设备10发送的实时交通数据，检验接收到的实时交通数据的正确性，并从不同类型的实时交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，转发给交通数据发布/订阅器22，同时组装应答数据包，发送给前端监测设备10。
在一种实施方式中，数据收发器2112可以包括连接接收模块、数据接收模块、数据转发模块和故障处理模块。
连接接收模块负责接收连接管理器分派的与前端监测设备的长连接；数据接收模块负责接收和校验数据，从不同类型的交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，并向前端监测设备返回应答信息；数据转发模块负责将交通数据包发送给交通数据发布/订阅器；故障处理模块负责对与前端监测设备和交通数据发布/订阅器的连接故障进行处理，记录日志，并进行数据缓冲和重连重传。
在一种实施方式中，大规模实时交通数据的并行处理系统20中的计算服务器集群24可以包括业务计算管理调度服务器241和业务计算服务器242，如图3所示。其中，业务计算管理调度服务器242用于管理业务计算服务器242，接收及加载不同业务计算程序到业务计算服务器242并记录加载日志，存储业务计算程序文件，监控业务计算程序的执行状态及其所在的并行计算节点的资源消耗情况，捕获计算服务器的故障并加载业务计算程序到其他可用计算服务器，管理集群中计算服务器242的加入与退出。
业务计算服务器242用于接收业务计算管理调度服务器241的用于部署及控制业务计算程序运行状态的控制指令，部署及控制业务计算程序运行，接收来自交通数据发布/订阅器22的实时交通数据以及从历史交通数据存储装置23读取的历史交通数据，采用多线程并行处理方式运行基于大规模交通数据的业务计算程序，向业务计算管理调度服务器241汇报业务计算程序的运行状态及所述业务计算服务器的资源占用情况。作为一种优选方案，业务计算服务器242可以根据其CPU的核数来决定采用的多线程处理并行处理方式。
作为一种实施方式，大规模实时交通数据的并行处理系统20中的历史交通数据存储装置23可以包括存储服务器和磁盘阵列。其中，存储服务器可以包括数据库服务模块和文件服务模块。
数据库服务模块采用数据库软件分区功能存储实时交通数据中的海量结构化交通数据并提供用于结构化交通数据查询与提取的第一应用程序接口。文件服务模块存储实时交通数据包含的相关文件数据，并提供第二应用程序接口用于文件查找。
磁盘阵列用于持久化存储交通数据。
参见附图4所示，为本发明的大规模实时交通数据的并行处理方法的一种实施方式的流程图。
该实施方式的大规模实时交通数据的并行处理方法包括：
S10：通信服务器组21通过网络长连接并行地接收前端监测设备10采集的实时交通数据，对接收到的实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器22进行转发。
S20：交通数据发布/订阅器22按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由通信服务器组21转发的实时交通数据，向订阅实时交通数据的不同的分发目的地进行实时交通数据的分发。
作为一种优选方案，大规模实时交通数据的并行处理方法还可以包括：
S30：计算服务器集群24并行执行基于交通数据发布/订阅器的实时交通数据及历史交通数据存储装置23存储的历史交通数据的多个业务计算，每个业务计算以多线程并行计算的方式执行；
S40：历史交通数据存储装置23接收交通数据发布/订阅器22的实时交通数据并集中进行持久化存储。
参见图5所示，作为一种实施方式，大规模实时交通数据的并行处理方法中，步骤S10可以具体包括：
S11：通信服务器组21中每个通信服务器211的连接管理器2111监听前端监测设备10的连接请求，建立长连接，并且将新建立的长连接分派给不同的数据收发器2112进行处理；
S12：通信服务器组21中每个通信服务器211的数据收发器2112接收前端监测设备10发送的实时交通数据，检验接收到的实时交通数据的正确性，并从不同类型的实时交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，转发给交通数据发布/订阅器22，同时组装应答数据包，发送给前端监测设备10。
参见图6所示，作为一种实施方式，大规模实时交通数据的并行处理方法中，步骤S30可以具体包括：
S31：业务计算管理调度服务器241管理业务计算服务器接收及加载不同业务计算程序到业务计算服务器242并记录加载日志，存储业务计算程序文件，监控业务计算程序的执行状态及其所在的并行计算节点的资源消耗情况，捕获计算服务器的故障并加载业务计算程序到其他可用的计算服务器，管理集群中计算服务器的加入与退出；
S31：业务计算服务器242接收业务计算管理调度服务器241的用于部署及控制业务计算程序运行状态的控制指令，部署及控制业务计算程序运行，接收来自交通数据发布/订阅器22的实时交通数据以及从历史交通数据存储装置23读取历史交通数据，采用多线程并行处理方式运行基于大规模交通数据的业务计算程序，向业务计算管理调度服务器241汇报业务计算程序的运行状态及业务计算服务器242的资源占用情况。
作为一种实施方式，大规模实时交通数据的并行处理方法中的步骤S40还可以包括：
S41：历史交通数据存储装置23的存储服务器中的数据库服务模块采用数据库软件分区功能存储实时交通数据中的海量结构化交通数据并提供用于结构化交通数据查询与提取的第一应用程序接口；历史交通数据存储装置的存储服务器中的文件服务模块存储实时交通数据包含的相关文件数据，并提供第二应用程序接口用于文件查找。例如，文件服务模块可以采用合并存储与多级索引方式来存储实时交通数据包含的相关文件数据，并提供REST(REpresentationStateTransfer)形式的第二应用程序接口。
S42：历史交通数据存储装置23的磁盘阵列持久化存储交通数据。
采用本发明的大规模实时交通数据的并行处理系统和大规模实时交通数据的并行处理方法能够产生如下的有益技术效果：
（1）本发明能够接收及分发来自大量前端交通监测设备采集的数据，并支持对海量交通数据进行实时处理及持久化存储与访问，满足智能交通系统中交通数据中心在数据通信及数据处理方面的技术需求。
（2）本发明能够面向不同的交通业务计算需求，以并行处理方式进行基于实时交通数据和历史交通数据的多业务计算，从而促进交通数据的共享，提高交通业务计算的处理性能并降低处理成本。
（3）本发明能够通过扩展通信服务器和计算服务器的方式增强交通数据通信及实时处理能力，从而快速适应交通监测设备及交通数据种类及规模的不断发展。
上面对本发明的一些实施方式进行了详细的描述。如本领域的普通技术人员所能理解的，本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算设备（包括处理器、存储介质等）或者计算设备的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在了解本发明的内容的情况下运用他们的基本编程技能就能实现的，因此不需在此具体说明。
此外，显而易见的是，在上面的说明中涉及到可能的外部操作的时候，无疑要使用与任何计算设备相连的任何显示设备和任何输入设备、相应的接口和控制程序。总而言之，计算机、计算机系统或者计算机网络中的相关硬件、软件和实现本发明的前述方法中的各种操作的硬件、固件、软件或者它们的组合，即构成本发明的设备及其各组成部件。
因此，基于上述理解，本发明的目的还可以通过在任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备可以是公知的通用设备。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者设备的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储或者传输这样的程序产品的介质也构成本发明。显然，所述存储或者传输介质可以是本领域技术人员已知的，或者将来所开发出来的任何类型的存储或者传输介质，因此也没有必要在此对各种存储或者传输介质一一列举。
在本发明的设备和方法中，显然，各部件或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本发明的等效方案。还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。同时，在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。
Claims (8)
1.一种大规模实时交通数据的并行处理系统，其特征在于，包括：
通信服务器组，用于通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；
交通数据发布/订阅器，与所述通信服务器组连接，用于按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由所述通信服务器组转发的所述实时交通数据，向订阅所述实时交通数据的不同的所述分发目的地进行所述实时交通数据的分发；
计算服务器集群，与所述交通数据发布/订阅器连接，用于并行执行基于交通数据发布/订阅器的所述实时交通数据及历史交通数据存储装置存储的历史交通数据的多个业务计算，每个所述业务计算以多线程并行计算的方式执行；
历史交通数据存储装置，与所述交通数据发布/订阅器连接，用于接收交通数据发布/订阅器的所述实时交通数据并集中进行持久化存储。
2.根据权利要求1所述的大规模实时交通数据的并行处理系统，其特征在于：
所述通信服务器组包括两台以上具有相同功能的通信服务器，每个所述通信服务器包括：
连接管理器，用于监听所述前端监测设备的连接请求，建立长连接，并且将新建立的长连接分派给不同的数据收发器进行处理；
数据收发器，用于接收所述前端监测设备发送的实时交通数据，检验接收到的所述实时交通数据的正确性，并从不同类型的所述实时交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，转发给所述交通数据发布/订阅器，同时组装应答数据包，发送给所述前端监测设备。
3.根据权利要求1所述的大规模实时交通数据的并行处理系统，其特征在于，所述计算服务器集群包括业务计算管理调度服务器和业务计算服务器，
其中：
所述业务计算管理调度服务器用于管理所述业务计算服务器，接收及加载不同业务计算程序到所述业务计算服务器并记录加载日志，存储业务计算程序文件，监控业务计算程序的执行状态及其所在的并行计算节点的资源消耗情况，捕获计算服务器的故障并加载业务计算程序到其他可用计算服务器，管理集群中计算服务器的加入与退出；
所述业务计算服务器用于接收所述业务计算管理调度服务器用于部署及控制业务计算程序运行状态的控制指令，部署及控制业务计算程序运行，接收来自交通数据发布/订阅器的实时交通数据以及从历史交通数据存储装置读取的历史交通数据，采用多线程并行处理方式运行基于大规模交通数据的业务计算程序，向所述业务计算管理调度服务器汇报业务计算程序的运行状态及所述业务计算服务器的资源占用情况。
4.根据权利要求1所述的大规模实时交通数据的并行处理系统，其特征在于，所述历史交通数据存储装置包括：
存储服务器，包括数据库服务模块和文件服务模块；所述数据库服务模块采用数据库软件分区功能存储所述实时交通数据中的海量结构化交通数据并提供用于结构化交通数据查询与提取的第一应用程序接口；
所述文件服务模块存储所述实时交通数据包含的相关文件数据，并提供用于文件查找的第二应用程序接口；
磁盘阵列，用于持久化存储交通数据。
5.一种大规模实时交通数据的并行处理方法，其特征在于，包括：
通信服务器组通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发；
交通数据发布/订阅器按照不同类型的实时交通数据以及不同的分发目的地建立实时交通数据发布/订阅消息队列，接收并缓存由所述通信服务器组转发的所述实时交通数据，向订阅所述实时交通数据的不同的所述分发目的地进行所述实时交通数据的分发；
计算服务器集群并行执行基于交通数据发布/订阅器的所述实时交通数据及历史交通数据存储装置存储的历史交通数据的多个业务计算，每个所述业务计算以多线程并行计算的方式执行；
历史交通数据存储装置接收交通数据发布/订阅器的所述实时交通数据并集中进行持久化存储。
6.根据权利要求5所述的大规模实时交通数据的并行处理方法，其特征在于：
通信服务器组通过网络长连接并行地接收前端监测设备采集的实时交通数据，对接收到的所述实时交通数据进行校验与解析，分拣不同类型实时交通数据并向交通数据发布/订阅器进行转发具体包括：
通信服务器组中每个通信服务器的连接管理器监听所述前端监测设备的连接请求，建立长连接，并且将新建立的长连接分派给不同的数据收发器进行处理；
通信服务器组中每个通信服务器的数据收发器接收所述前端监测设备发送的实时交通数据，检验接收到的所述实时交通数据的正确性，并从不同类型的所述实时交通数据中提取需要参与业务计算和持久化存储的数据，重新组装成交通数据包，转发给所述交通数据发布/订阅器，同时组装应答数据包，发送给所述前端监测设备。
7.根据权利要求5所述的大规模实时交通数据的并行处理方法，其特征在于，所述计算服务器集群包括业务计算管理调度服务器和业务计算服务器；
所述计算服务器集群并行执行基于所述实时交通数据及所述历史交通数据存储装置存储的历史交通数据的多个业务计算的步骤具体包括：
业务计算管理调度服务器管理业务计算服务器，接收及加载不同业务计算程序到业务计算服务器并记录加载日志，存储业务计算程序文件，监控业务计算程序的执行状态及其所在的并行计算节点的资源消耗情况，捕获计算服务器的故障并加载业务计算程序到其他可用计算服务器，管理集群中计算服务器的加入与退出；
业务计算服务器接收所述业务计算管理调度服务器用于部署及控制业务计算程序运行状态的控制指令，接收来自交通数据发布/订阅器的实时交通数据以及从历史交通数据存储装置读取的历史交通数据，采用多线程并行处理方式运行业务计算程序，向业务计算管理调度服务器汇报业务计算程序的运行状态及所述业务计算服务器的资源占用情况。
8.根据权利要求5所述的大规模实时交通数据的并行处理方法，其特征在于，历史交通数据存储装置接收交通数据发布/订阅器的所述实时交通数据并集中进行持久化存储的步骤具体包括：
历史交通数据存储装置的存储服务器中的数据库服务模块采用数据库软件分区功能存储所述实时交通数据中的海量结构化交通数据并提供用于结构化交通数据查询与提取的第一应用程序接口，历史交通数据存储装置的存储服务器中的文件服务模块提供用于文件查找的第二应用程序接口；
历史交通数据存储装置的磁盘阵列持久化存储交通数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310057203.XA CN103237045B (zh) | 2013-02-22 | 2013-02-22 | 大规模实时交通数据的并行处理系统和并行处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310057203.XA CN103237045B (zh) | 2013-02-22 | 2013-02-22 | 大规模实时交通数据的并行处理系统和并行处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103237045A CN103237045A (zh) | 2013-08-07 |
| CN103237045B true CN103237045B (zh) | 2015-12-09 |
Family
ID=48885061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310057203.XA Expired - Fee Related CN103237045B (zh) | 2013-02-22 | 2013-02-22 | 大规模实时交通数据的并行处理系统和并行处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103237045B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103680143B (zh) * | 2013-12-30 | 2015-09-23 | 北京世纪高通科技有限公司 | 一种交通信息处理方法和装置 |
| CN103856353B (zh) * | 2014-03-06 | 2018-01-26 | 上海爱数信息技术股份有限公司 | 一种业务日志数据访问与统计分析的方法及装置 |
| CN103929472A (zh) * | 2014-03-21 | 2014-07-16 | 珠海多玩信息技术有限公司 | 数据处理方法、装置及系统 |
| US20160210313A1 (en) * | 2015-01-16 | 2016-07-21 | Futurewei Technologies, Inc. | System for high-throughput handling of transactions in a data-partitioned, distributed, relational database management system |
| CN104778245B (zh) * | 2015-04-09 | 2018-11-27 | 北方工业大学 | 基于海量车牌识别数据的相似轨迹挖掘方法及装置 |
| CN105847063A (zh) * | 2016-05-12 | 2016-08-10 | 中国联合网络通信集团有限公司 | 核心网数据管理方法和系统 |
| CN107666399A (zh) * | 2016-07-28 | 2018-02-06 | 北京京东尚科信息技术有限公司 | 一种监控数据的方法和装置 |
| CN106412048B (zh) * | 2016-09-26 | 2020-01-21 | 北京东土科技股份有限公司 | 基于智能交通云控制系统的信息处理方法及装置 |
| CN106355878B (zh) * | 2016-09-26 | 2019-11-08 | 北京东土科技股份有限公司 | 基于智能交通云控制系统的协同控制方法及装置 |
| CN106251620B (zh) * | 2016-09-26 | 2019-01-25 | 北京东土科技股份有限公司 | 基于智能交通云控制系统的中心系统 |
| CN106528792A (zh) * | 2016-11-10 | 2017-03-22 | 福州智永信息科技有限公司 | 基于多层缓存机制的大数据采集和高速处理方法及系统 |
| CN106790436B (zh) * | 2016-12-05 | 2019-12-20 | 青岛海信网络科技股份有限公司 | 一种基于云架构的交通系统监控方法和控制中心云服务器 |
| DE102017217444B4 (de) * | 2017-09-29 | 2024-03-07 | Volkswagen Ag | Verfahren und System zum Aktualisieren eines Steuerungsmodells für eine automatische Steuerung zumindest einer mobilen Einheit |
| JP6928870B2 (ja) * | 2017-10-20 | 2021-09-01 | トヨタ自動車株式会社 | 車両および演算システム |
| CN107945558A (zh) * | 2017-12-21 | 2018-04-20 | 路斌 | 一种基于北斗位置服务的看路方法及系统 |
| CN108833499B (zh) * | 2018-05-28 | 2021-05-28 | 北京浩一科技有限公司 | 超文本传输协议的数据处理方法及装置、服务器 |
| CN109064750B (zh) * | 2018-09-28 | 2021-09-24 | 深圳大学 | 城市路网交通估计方法及系统 |
| CN109272752B (zh) * | 2018-10-11 | 2021-03-02 | 南威软件股份有限公司 | 一种路口车辆图片采集系统的传输方法及传输系统 |
| CN109617824B (zh) * | 2018-11-08 | 2022-08-02 | 中国联合网络通信集团有限公司 | 数据采集方法、装置及服务器 |
| CN109560893B (zh) * | 2018-11-08 | 2022-04-15 | 中国联合网络通信集团有限公司 | 数据校验方法、装置及服务器 |
| CN110046132B (zh) * | 2019-04-15 | 2022-04-22 | 苏州浪潮智能科技有限公司 | 一种元数据请求处理方法、装置、设备及可读存储介质 |
| CN110147373B (zh) * | 2019-05-23 | 2021-06-22 | 泰康保险集团股份有限公司 | 数据处理方法、装置以及电子设备 |
| CN110245191B (zh) * | 2019-06-18 | 2021-07-02 | 政采云有限公司 | 数据处理方法及装置 |
| CN110751747A (zh) * | 2019-10-22 | 2020-02-04 | 东软睿驰汽车技术（沈阳）有限公司 | 一种数据处理方法及装置 |
| CN110969849A (zh) * | 2019-11-28 | 2020-04-07 | 北京以萨技术股份有限公司 | 一种道路车辆大数据可视化展示方法、系统、终端及介质 |
| CN112115726A (zh) * | 2020-09-18 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 机器翻译方法、装置、电子设备和可读存储介质 |
| CN111866191B (zh) * | 2020-09-24 | 2020-12-22 | 深圳市易博天下科技有限公司 | 消息事件的分发方法、分发平台、系统及服务器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261766A (zh) * | 2008-03-12 | 2008-09-10 | 四川通安实业有限公司 | 城市交通信号控制实时三维图像监控平台 |
| CN202663505U (zh) * | 2012-06-14 | 2013-01-09 | 百年金海安防科技有限公司 | 基于3g网络传输的智能交通视频采集监控系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8547975B2 (en) * | 2011-06-28 | 2013-10-01 | Verisign, Inc. | Parallel processing for multiple instance real-time monitoring |
-
2013
- 2013-02-22 CN CN201310057203.XA patent/CN103237045B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261766A (zh) * | 2008-03-12 | 2008-09-10 | 四川通安实业有限公司 | 城市交通信号控制实时三维图像监控平台 |
| CN202663505U (zh) * | 2012-06-14 | 2013-01-09 | 百年金海安防科技有限公司 | 基于3g网络传输的智能交通视频采集监控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103237045A (zh) | 2013-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103237045B (zh) | 大规模实时交通数据的并行处理系统和并行处理方法 | |
| CN110099099B (zh) | 针对地面信息港的空间信息微服务封装及服务集成方法 | |
| CN101207550B (zh) | 负载均衡系统及多种业务实现负载均衡的方法 | |
| CN103873279B (zh) | 一种服务器管理方法,及装置 | |
| CN107067365A (zh) | 基于深度学习的分布嵌入式实时视频流处理系统及方法 | |
| CN101902497B (zh) | 基于云计算的互联网信息监测系统及方法 | |
| CN103995807B (zh) | 一种基于Web架构下海量数据查询和二次处理的方法 | |
| CN103795793A (zh) | 一种基于双服务器集群的道路车辆监控平台系统 | |
| CN103516802A (zh) | 一种实现跨异构虚拟交换机无缝迁移的方法和装置 | |
| CN106850258A (zh) | 一种日志管理系统、方法及装置 | |
| CN103941662A (zh) | 一种基于云计算的任务调度系统和调度方法 | |
| CN107612984B (zh) | 一种基于互联网的大数据平台 | |
| CN112788074A (zh) | 数据发送方法、处理方法、接收方法及其设备、存储介质 | |
| CN106789270A (zh) | 一种信息系统集中运维管理的实现方法及系统 | |
| CN103150324A (zh) | 一种基于链式处理的数据收集系统及其方法 | |
| CN109977125A (zh) | 一种基于网络安全的大数据安全分析平台系统 | |
| CN102194317A (zh) | 一种多节点智能交通微云计算方法 | |
| CN106131227A (zh) | 负载平衡方法、元数据服务器系统及负载平衡系统 | |
| CN108156225A (zh) | 基于容器云平台的微应用监控系统和方法 | |
| CN113468221A (zh) | 一种基于kafka消息数据总线的系统集成方法 | |
| Pevec et al. | Distributed data platform for automotive industry: A robust solution for tackling big challenges of big data in transportation science | |
| Chaari et al. | Towards a distributed computation offloading architecture for cloud robotics | |
| CN108574729A (zh) | 一种智能变电站云系统 | |
| CN110232136A (zh) | 一种基于云计算的大数据处理系统 | |
| CN106843081A (zh) | 一种基于云计算的物流集中监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151209 Termination date: 20190222 |