CN108171971A - 基于Spark Streaming的车辆实时监控方法及系统 - Google Patents

基于Spark Streaming的车辆实时监控方法及系统 Download PDF

Info

Publication number
CN108171971A
CN108171971A CN201711361389.2A CN201711361389A CN108171971A CN 108171971 A CN108171971 A CN 108171971A CN 201711361389 A CN201711361389 A CN 201711361389A CN 108171971 A CN108171971 A CN 108171971A
Authority
CN
China
Prior art keywords
information
vehicle
real time
home location
spark streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711361389.2A
Other languages
English (en)
Inventor
严其松
贺珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Fiberhome Digtal Technology Co Ltd
Original Assignee
Wuhan Fiberhome Digtal Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Fiberhome Digtal Technology Co Ltd filed Critical Wuhan Fiberhome Digtal Technology Co Ltd
Priority to CN201711361389.2A priority Critical patent/CN108171971A/zh
Publication of CN108171971A publication Critical patent/CN108171971A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于Spark Streaming的车辆实时监控方法和系统，属于大数据技术领域。所述方法包括；利用Kafka消息队列传输及存储所述实时交通数据；通过Spark Streaming从所述Kafka消息队列中拉取所述实时交通数据，实时计算单位时间内的车流量和车辆归属地信息，并将所述单位时间内的车流量和所述车辆归属地信息进行批量存储。将Kafka消息队列和Spark Streaming关联起来，利用消息队列的方式进行数据采集和传输，并利用分布式的流处理Spark Streaming进行数据处理，提供车联网中实时车辆的数据查询。

Description

基于Spark Streaming的车辆实时监控方法及系统
技术领域
本发明涉及大数据技术领域，尤其涉及基于Spark Streaming的车辆实时监控方法和系统。
背景技术
Spark Streaming是基于Apache Spark的流式计算引擎，建立在Spark上的实时计算框架，通过它提供的API和基于内存的高速执行引擎，用户可以结合流式、批处理和交换式进行查询和实时计算。具有吞吐量大、受Yarn调度，接受Resource Manager管理、SparkStreaming on Yarn稳定性更优、且支持Streaming SQL的优点。
目前的流式海量数据已经应用到多个平台中，如大众点评实时平台、1号店实时平台、爱奇艺实时采集计算平台和百度分布式交互查询系统PINGO等，对于车联网中还没有相应的海量数据实时监控系统。
发明内容
本发明实施例提出了一种基于Spark Streaming的车辆实时监控方法及系统，在车联网下部署不同的服务器，完成对车联网中车辆的实时监控。
本发明实施例提供一种基于Spark Streaming的车辆实时监控方法，所述方法包括：
采集实时交通数据；
利用Kafka消息队列传输及存储所述实时交通数据；；
通过Spark Streaming从所述Kafka消息队列中拉取所述实时交通数据，实时计算单位时间内的车流量和车辆归属地信息，并将所述单位时间内的车流量和所述车辆归属地信息进行批量存储。
其中，所述实时计算单位时间内的车流量和车辆归属地信息，具体包括：
记录车辆通行的时间信息和车牌信息；
根据所述时间信息判断单位时间内的车流量，根据所述车牌信息和车辆归属地数据库，判断所述车辆的归属地信息。
进一步的，所述方法还包括：根据用户的查询请求，查询单位时间的车流量信息和/或车辆的归属地信息，所述查询请求包括时间信息和/或车牌信息，所述时间信息包括当前时间信息或历史时间信息。
进一步的，所述查询请求还包括区域信息，查询所述区域内出现车辆的归属地信息。
其中，所述车辆归属地信息包括卡口信息编号属性、全国县市属性和车辆总数据量属性。
本发明实施例还提供了一种基于Spark Streaming的车辆实时监控系统，所述系统包括数据采集服务器、大数据集群和缓存服务器；
所述数据采集服务器利用TDU模块采集实时交通数据；
所述大数据集群连接所述缓存服务器，将所述实时交通数据进行传输到所述缓存服务器进行缓存；
所述大数据集群通过Spark Streaming从所述缓存服务器的Kafka消息队列中拉取实时交通数据，实时计算单位时间内的车流量和车辆归属地信息，并将所述单位时间内的车流量和所述车辆归属地信息发送给所述缓存服务器进行批量存储。
具体的，所述大数据集群包括Kafka服务器和Spark Streaming服务器；
所述Kafka服务器对所述实时交通数据进行传输，并将所述实时交通数据缓存到所述缓存服务器；
所述Spark Streaming服务器包括拉起模块、计算模块和发送模块；
所述拉起模块，通过Spark Streaming从所述缓存服务器的Kafka消息队列中拉取实时交通数据；
所述计算模块用于记录车辆通行的时间信息和车牌信息，根据所述时间信息判断单位时间内的车流量，根据所述车牌信息和车辆归属地数据库，判断所述车辆的归属地信息；
所述发送模块，将所述计算模块计算得到的所述单位时间内的车流量和所述车辆归属地信息发送给所述缓存服务器。
进一步的，所述大数据集群还包括查询服务器，连接所述缓存服务器；
根据用户的查询请求，在所述缓存服务器中查询单位时间的车流量信息和/或车辆的归属地信息，所述查询请求包括时间信息和/或车牌信息，所述时间信息包括当前时间信息或历史时间信息。
进一步的，所述查询请求还包括区域信息，查询所述区域内出现车辆的归属地信息。
具体的，所述缓存服务器部署有HBase数据库或者Oracle数据库。
有益效果如下：
本方案将Kafka消息队列和Spark Streaming关联起来，利用消息队列的方式进行数据采集和传输，并利用分布式的流处理Spark Streaming进行数据处理，提供车联网中实时车辆的数据查询，可以将计算的结果数据和中间交换数据根据业务需求存放在HBase数据库或者Oracle数据库中，方便中间件进行调用。
附图说明
下面将参照附图描述本发明的具体实施例，其中：
图1示出了本发明实施例一中基于Spark Streaming的车辆实时监控方法流程图；
图2示出了本发明实施例二中基于Spark Streaming的车辆实时监控系统的结构示意图；
图3示出了本发明实施例二中基于Spark Streaming的车辆实时监控系统的另一结构示意图。
具体实施方式
为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
Spark Streaming的基本原理是将Stream数据分成小的时间片段(几秒钟到几分钟)，以类似batch批处理的方式来处理这些小部分数据。Spark针对持续性数据流的抽象称为DStream(DiscretizedStream)，一个Dstream是一个微批处理(microbatching)的RDD(弹性分布式数据集)；而RDD则是一种分布式数据集，能够以两种方式并行运作，分别是任意函数和滑动窗口数据的转换。
Kafka是设计独特的消息队列，具有非常高的吞吐能力，以及强大的扩展性，Kafka是设计目的是分布式、高吞吐、高扩展。Kafka是一个消息发布订阅系统，分为Producer、Broker、Consumer几个模块。Producer向某个Topic发布消息，发往Kafka数据由Broker进行存储和转发，Consumer订阅某个Topic的消息，进而一旦有新的关于某个Topic的消息，Broker会传递给订阅它的所有Consumer。在Kafka中，消息是按Topic组织的，每个Topic又会分为多个Partition，这样便于管理数据和进行负载均衡，负载均衡通过Zookeeper来做的。
实施例一
图1示出了本发明实施例提供的基于Spark Streaming的车辆实时监控方法，具体包括：
步骤101：采集实时交通数据；
具体的，利用前端相机抓拍图片，通过TDU模块上传平台，采集实时交通数据。
步骤102：利用Kafka消息队列存储实时交通数据；
步骤103：通过Spark Streaming从Kafka消息队列中拉取实时交通数据，实时计算单位时间内的车流量和车辆归属地信息；
其中，实时计算单位时间内的车流量和车辆归属地信息，具体包括：
记录车辆通行的时间信息和车牌信息；
根据时间信息判断单位时间内的车流量，根据车牌信息和车辆归属地数据库，判断车辆的归属地信息。
本发明实施例中会统计车辆的通行情况，如通行的时间信息及该车辆的车牌信息，进而可以根据时间信息统计一天内某个时刻通行车辆的数量，也可以统计某个区域内通行车辆的归属地信息。
步骤104：将单位时间内的车流量和车辆归属地信息进行批量存储。
另外，本发明实施例还提供了查询功能；
根据用户的查询请求，查询单位时间的车流量信息和/或车辆的归属地信息，该查询请求包括时间信息和/或车牌信息，时间信息包括当前时间信息或历史时间信息。也就是说，本发明中，可以查询历史交通数据，也可以查询当前实时交通数据。
其中，查询请求还可以包括区域信息，能够查询某区域内出现车辆的归属地信息，便于统计各个区域的车辆通行情况。
需要说明的是，本发明中，车辆归属地信息包括卡口信息编号属性、全国县市属性和车辆总数据量属性，对于存储的数据库来说，该车辆归属地信息的量级是较大的，该量级为卡口信息、全国县市及车辆总数量的三者之积，其中，卡口信息编号有86个，全国县市有436个，而车辆总数据量也不小。
实际中，实时计算流程的整个架构是一个比较长的过程，包括数据采集、数据的传输、计算、存储等。首先设置一定策略利用TDU模块实时采集，然后同步到Kafka消息队列中；对于需要实时计算的应用，一般通过Storm和Spark Streaming等流式计算框架从消息队列中拉取消息，完成相关的过滤和计算，最后存到HBase、Oracle等数据库中；对于实时性要求不高的应用，通过Flume系统直接Sink到HDFS中，然后一般通过ETL、Spark SQL和批处理的MR作业等抽取到HBase、Oracle等数据库中。
为便于说明，本发明提供了一个例子来描述基于Spark Streaming的车辆实时监控方法；
首先，初始化全国车辆归属地相关信息，例如鄂A，所属地是湖北省武汉市等信息；
初始化hibernate来读取本地库保存的小时流量统计和车辆归属地两个表的结果，由于数据性能的问题，初始化中只初始化当天数据，并把初始化数据构造成initRDD，最后把initRDD分布式化；
然后，构造StreamingContext对象，来对接Kafka接受来的数据流，并根据所属创建curRDD；
把curRDD根据所属的时间条件和所属归属地情况转化为车流量的vehicleFlowRDD和车辆归属地carbelongRDD；
利用Spark Streaming的累加器函数updateStateByKey把initRDD和curRDD根据条件进行累加；
每隔固定周期时间，把统计结果保存到持久化层，如HBase数据库或者Oracle数据库；
对外提供车辆小时流量统计和车辆的归属地统计查询接口，出于性能优化的考虑，查询的时候查询当天可以查询持久化层，而查询历史统计结果则查询数据库Postgresql。
本方案提供的基于Spark Streaming的车辆实时监控方法，将Kafka消息队列和Spark Streaming关联起来，利用消息队列的方式进行数据采集和传输，并利用分布式的流处理Spark Streaming进行数据处理，提供车联网中实时车辆的数据查询，可以将计算的结果数据和中间交换数据根据业务需求存放在HBase数据库或者Oracle数据库中，方便调用。
实施例二
本方案提供的基于Spark Streaming的车辆实时监控系统，需要部署各种不同类型的服务器，如采集服务器、缓存服务器，在每一种类型的服务器部署完成之后，都可以通过阿里云镜像的功能，创建一个能随时使用的镜像，这样在扩展服务器的时候就不需要重新安装软件，直接通过镜像创建服务器就可以了。
下面结合图2和图3，给出本方案提供的基于Spark Streaming的车辆实时监控系统，包括数据采集服务器201、大数据集群202和缓存服务器203；
数据采集服务器201利用TDU模块采集实时交通数据；
大数据集群202连接缓存服务器203，将实时交通数据传输到缓存服务器203进行缓存，通过Spark Streaming从缓存服务器203的Kafka消息队列中拉取实时交通数据，实时计算单位时间内的车流量和车辆归属地信息，并将单位时间内的车流量和车辆归属地信息发送给缓存服务器203进行批量存储。
实际应用中，缓存服务器部署有HBase数据库或者Oracle数据库。
具体的，本发明中，Spark Streaming服务器包括拉起模块、计算模块和发送模块；
拉起模块，通过Spark Streaming从缓存服务器的Kafka消息队列中拉取实时交通数据；
计算模块用于记录车辆通行的时间信息和车牌信息，根据时间信息判断单位时间内的车流量，根据车牌信息和车辆归属地数据库，判断车辆的归属地信息；
发送模块，将计算模块计算得到的单位时间内的车流量和车辆归属地信息发送给缓存服务器。
进一步的，本发明基于Spark Streaming的车辆实时监控系统还包括查询服务器，连接缓存服务器；
根据用户的查询请求，在缓存服务器中查询单位时间的车流量信息和/或车辆的归属地信息，查询请求包括时间信息和/或车牌信息，时间信息包括当前时间信息或历史时间信息。
其中，查询请求还包括区域信息，查询区域内出现车辆的归属地信息。
本发明提供的基于Spark Streaming的车辆实时监控系统，将Kafka消息队列和Spark Streaming关联起来，利用消息队列的方式进行数据采集和传输，并利用分布式的流处理Spark Streaming进行数据处理，提供车联网中实时车辆的数据查询，可以将计算的结果数据和中间交换数据根据业务需求存放在HBase数据库或者Oracle数据库中，方便调用。
为了描述的方便，以上装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于Spark Streaming的车辆实时监控方法，其特征在于，所述方法包括：
采集实时交通数据；
利用Kafka消息队列传输及存储所述实时交通数据；
通过Spark Streaming从所述Kafka消息队列中拉取所述实时交通数据，实时计算单位时间内的车流量和车辆归属地信息，并将所述单位时间内的车流量和所述车辆归属地信息进行批量存储。
2.如权利要求1所述的方法，其特征在于，所述实时计算单位时间内的车流量和车辆归属地信息，具体包括：
记录车辆通行的时间信息和车牌信息；
根据所述时间信息判断单位时间内的车流量，根据所述车牌信息和车辆归属地数据库，判断所述车辆的归属地信息。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：根据用户的查询请求，查询单位时间的车流量信息和/或车辆的归属地信息，所述查询请求包括时间信息和/或车牌信息，所述时间信息包括当前时间信息或历史时间信息。
4.如权利要求3所述的方法，其特征在于，所述查询请求还包括区域信息，查询所述区域内出现车辆的归属地信息。
5.如权利要求1-4任一所述的方法，其特征在于，所述车辆归属地信息包括卡口信息编号属性、全国县市属性和车辆总数据量属性。
6.一种基于Spark Streaming的车辆实时监控系统，其特征在于，所述系统包括数据采集服务器、大数据集群和缓存服务器；
所述数据采集服务器利用TDU模块采集实时交通数据；
所述大数据集群连接所述缓存服务器，将所述实时交通数据传输到所述缓存服务器进行缓存；
所述大数据集群通过Spark Streaming从所述缓存服务器的Kafka消息队列中拉取实时交通数据，实时计算单位时间内的车流量和车辆归属地信息，并将所述单位时间内的车流量和所述车辆归属地信息发送给所述缓存服务器进行批量存储。
7.如权利要求6所述的系统，其特征在于，所述大数据集群包括Kafka服务器和SparkStreaming服务器；
所述Kafka服务器对所述实时交通数据进行传输，并将所述实时交通数据缓存到所述缓存服务器；
所述Spark Streaming服务器包括拉起模块、计算模块和发送模块；
所述拉起模块，通过Spark Streaming从所述缓存服务器的Kafka消息队列中拉取实时交通数据；
所述计算模块用于记录车辆通行的时间信息和车牌信息，根据所述时间信息判断单位时间内的车流量，根据所述车牌信息和车辆归属地数据库，判断所述车辆的归属地信息；
所述发送模块，将所述计算模块计算得到的所述单位时间内的车流量和所述车辆归属地信息发送给所述缓存服务器。
8.如权利要求6或7所述的系统，其特征在于，所述大数据集群还包括查询服务器，连接所述缓存服务器；
根据用户的查询请求，在所述缓存服务器中查询单位时间的车流量信息和/或车辆的归属地信息，所述查询请求包括时间信息和/或车牌信息，所述时间信息包括当前时间信息或历史时间信息。
9.如权利要求8所述的系统，其特征在于，所述查询请求还包括区域信息，查询所述区域内出现车辆的归属地信息。
10.如权利要求6-9任一所述的系统，其特征在于，所述缓存服务器部署有HBase数据库或者Oracle数据库。
CN201711361389.2A 2017-12-18 2017-12-18 基于Spark Streaming的车辆实时监控方法及系统 Pending CN108171971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711361389.2A CN108171971A (zh) 2017-12-18 2017-12-18 基于Spark Streaming的车辆实时监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711361389.2A CN108171971A (zh) 2017-12-18 2017-12-18 基于Spark Streaming的车辆实时监控方法及系统

Publications (1)

Publication Number Publication Date
CN108171971A true CN108171971A (zh) 2018-06-15

Family

ID=62522112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711361389.2A Pending CN108171971A (zh) 2017-12-18 2017-12-18 基于Spark Streaming的车辆实时监控方法及系统

Country Status (1)

Country Link
CN (1) CN108171971A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101330A (zh) * 2018-08-06 2018-12-28 百度在线网络技术（北京）有限公司 数据获取方法、装置和系统
CN109257370A (zh) * 2018-10-22 2019-01-22 武汉极意网络科技有限公司 验证请求的处理系统
CN109345823A (zh) * 2018-09-19 2019-02-15 连云港杰瑞电子有限公司 一种基于大数据的智能交通数据分析系统
CN109408568A (zh) * 2018-09-18 2019-03-01 安徽四创电子股份有限公司 一种基于深度学习的车辆结构化信息提取方法
CN109558450A (zh) * 2018-10-30 2019-04-02 中国汽车技术研究中心有限公司 一种基于分布式架构的汽车远程监控方法和装置
CN109977158A (zh) * 2019-02-28 2019-07-05 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
CN110187829A (zh) * 2019-04-22 2019-08-30 上海蔚来汽车有限公司 一种数据处理方法、装置、系统及电子设备
CN110209668A (zh) * 2019-04-29 2019-09-06 苏宁云计算有限公司 基于流计算的维表关联方法、装置、设备及可读存储介质
CN110287215A (zh) * 2019-05-20 2019-09-27 湖南大学 基于希尔伯特曲线的大规模区域目标实时查找方法
CN110287189A (zh) * 2019-06-25 2019-09-27 浪潮卓数大数据产业发展有限公司 一种基于spark streaming处理流动车辆数据的方法及系统
CN110390330A (zh) * 2019-07-25 2019-10-29 网链科技集团有限公司 电动自行车车牌识别系统及方法
CN111143158A (zh) * 2019-12-04 2020-05-12 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111367953A (zh) * 2020-03-30 2020-07-03 中国建设银行股份有限公司 一种资讯数据的流式处理方法及装置
CN112069240A (zh) * 2020-08-29 2020-12-11 北京明略昭辉科技有限公司 基于Spark Streaming的数据同步方法及系统
CN112700072A (zh) * 2021-03-24 2021-04-23 同盾控股有限公司 交通状况预测方法、电子设备和存储介质
CN112788123A (zh) * 2020-12-31 2021-05-11 新奥数能科技有限公司 车辆监控系统
CN113220473A (zh) * 2021-04-21 2021-08-06 中国科学院空天信息创新研究院 数据存储方法及系统
CN116483830A (zh) * 2023-03-29 2023-07-25 深圳市未来智能网联交通系统产业创新中心 一种分布式智能网联汽车数据处理系统架构

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065459A (zh) * 2011-10-18 2013-04-24 上海宝康电子控制工程有限公司 基于Web地理信息系统技术的智能交通综合管控平台系统
CN103198687A (zh) * 2013-03-29 2013-07-10 毕晓光 限行提示方法及系统
CN106056086A (zh) * 2016-06-02 2016-10-26 江苏华通晟云科技有限公司 基于快速学习框架的车辆品牌型号识别方法
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法
CN106548626A (zh) * 2016-12-07 2017-03-29 云赛智联股份有限公司 一种基于地理信息技术的综合管理平台
CN106777703A (zh) * 2016-12-19 2017-05-31 杭州讯阳科技有限公司 一种公交乘客实时分析系统及其构建方法
CN106982416A (zh) * 2017-03-21 2017-07-25 深圳广联赛讯有限公司 确定车辆归属地的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065459A (zh) * 2011-10-18 2013-04-24 上海宝康电子控制工程有限公司 基于Web地理信息系统技术的智能交通综合管控平台系统
CN103198687A (zh) * 2013-03-29 2013-07-10 毕晓光 限行提示方法及系统
CN106056086A (zh) * 2016-06-02 2016-10-26 江苏华通晟云科技有限公司 基于快速学习框架的车辆品牌型号识别方法
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法
CN106548626A (zh) * 2016-12-07 2017-03-29 云赛智联股份有限公司 一种基于地理信息技术的综合管理平台
CN106777703A (zh) * 2016-12-19 2017-05-31 杭州讯阳科技有限公司 一种公交乘客实时分析系统及其构建方法
CN106982416A (zh) * 2017-03-21 2017-07-25 深圳广联赛讯有限公司 确定车辆归属地的方法和装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101330A (zh) * 2018-08-06 2018-12-28 百度在线网络技术（北京）有限公司 数据获取方法、装置和系统
CN109408568A (zh) * 2018-09-18 2019-03-01 安徽四创电子股份有限公司 一种基于深度学习的车辆结构化信息提取方法
CN109345823A (zh) * 2018-09-19 2019-02-15 连云港杰瑞电子有限公司 一种基于大数据的智能交通数据分析系统
CN109345823B (zh) * 2018-09-19 2021-11-05 连云港杰瑞电子有限公司 一种基于大数据的智能交通数据分析系统
CN109257370A (zh) * 2018-10-22 2019-01-22 武汉极意网络科技有限公司 验证请求的处理系统
CN109257370B (zh) * 2018-10-22 2020-11-03 武汉极意网络科技有限公司 验证请求的处理系统
CN109558450A (zh) * 2018-10-30 2019-04-02 中国汽车技术研究中心有限公司 一种基于分布式架构的汽车远程监控方法和装置
CN109977158A (zh) * 2019-02-28 2019-07-05 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
CN109977158B (zh) * 2019-02-28 2023-03-31 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
CN110187829A (zh) * 2019-04-22 2019-08-30 上海蔚来汽车有限公司 一种数据处理方法、装置、系统及电子设备
CN110209668A (zh) * 2019-04-29 2019-09-06 苏宁云计算有限公司 基于流计算的维表关联方法、装置、设备及可读存储介质
CN110287215A (zh) * 2019-05-20 2019-09-27 湖南大学 基于希尔伯特曲线的大规模区域目标实时查找方法
CN110287189A (zh) * 2019-06-25 2019-09-27 浪潮卓数大数据产业发展有限公司 一种基于spark streaming处理流动车辆数据的方法及系统
CN110287189B (zh) * 2019-06-25 2022-05-24 浪潮卓数大数据产业发展有限公司 一种基于spark streaming处理流动车辆数据的方法及系统
CN110390330A (zh) * 2019-07-25 2019-10-29 网链科技集团有限公司 电动自行车车牌识别系统及方法
CN111143158A (zh) * 2019-12-04 2020-05-12 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111143158B (zh) * 2019-12-04 2023-05-16 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111367953A (zh) * 2020-03-30 2020-07-03 中国建设银行股份有限公司 一种资讯数据的流式处理方法及装置
CN112069240A (zh) * 2020-08-29 2020-12-11 北京明略昭辉科技有限公司 基于Spark Streaming的数据同步方法及系统
CN112788123A (zh) * 2020-12-31 2021-05-11 新奥数能科技有限公司 车辆监控系统
CN112700072B (zh) * 2021-03-24 2021-06-29 同盾控股有限公司 交通状况预测方法、电子设备和存储介质
CN112700072A (zh) * 2021-03-24 2021-04-23 同盾控股有限公司 交通状况预测方法、电子设备和存储介质
CN113220473A (zh) * 2021-04-21 2021-08-06 中国科学院空天信息创新研究院 数据存储方法及系统
CN113220473B (zh) * 2021-04-21 2024-03-22 中国科学院空天信息创新研究院 数据存储方法及系统
CN116483830A (zh) * 2023-03-29 2023-07-25 深圳市未来智能网联交通系统产业创新中心 一种分布式智能网联汽车数据处理系统架构
CN116483830B (zh) * 2023-03-29 2024-04-26 深圳市未来智能网联交通系统产业创新中心 一种分布式智能网联汽车数据处理系统架构

Similar Documents

Publication Publication Date Title
CN108171971A (zh) 基于Spark Streaming的车辆实时监控方法及系统
US10505814B2 (en) Centralized resource usage visualization service for large-scale network topologies
CN108335075A (zh) 一种面向物流大数据的处理系统及方法
KR101910537B1 (ko) 서비스 처리 방법, 시스템 및 장치
US9647904B2 (en) Customer-directed networking limits in distributed systems
CN105681768B (zh) 一种通过通信数据实现人流实时监控的方法
CN109951463A (zh) 一种基于流计算和新型列式存储的物联网大数据分析方法
CN108768716B (zh) 一种微服务路径选择方法及装置
WO2017198227A1 (zh) 一种交互式网络电视系统及用户数据实时获取方法
CN110147398A (zh) 一种数据处理方法、装置、介质和电子设备
CN109284195A (zh) 一种实时画像数据计算方法及系统
KR20170106648A (ko) 대용량 네트워크 데이터의 처리 기법
CN107067365A (zh) 基于深度学习的分布嵌入式实时视频流处理系统及方法
JP2016541183A (ja) 分散システムにおける顧客志向ネットワークの限界
EP2272009A1 (en) System and method for tracking usage
CN1972311A (zh) 一种基于集群均衡负载的流媒体服务器系统
CN103414608B (zh) 快速的web流量采集统计系统和方法
US9792334B2 (en) Large-scale processing and querying for real-time surveillance
CN102404567A (zh) 一种网络监控视频流按需实时转码的系统和方法
CN101006727A (zh) 分布式多媒体服务器系统和多媒体信息发布方法及其程序和记录介质
US11567930B2 (en) Adaptive data retrieval with runtime authorization
CN101246646A (zh) 一种基于Web服务的E-Police系统架构
CN107332685A (zh) 国网云中应用的一种基于大数据运维日志的方法
CN108270860A (zh) 环境质量在线监测数据的采集系统及方法
CN105049509A (zh) 一种集群调度方法、负载均衡器以及集群系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180615