CN107729524A - 一种浮动车数据的实时评价方法及系统 - Google Patents

一种浮动车数据的实时评价方法及系统 Download PDF

Info

Publication number
CN107729524A
CN107729524A CN201711025704.4A CN201711025704A CN107729524A CN 107729524 A CN107729524 A CN 107729524A CN 201711025704 A CN201711025704 A CN 201711025704A CN 107729524 A CN107729524 A CN 107729524A
Authority
CN
China
Prior art keywords
evaluation index
index value
floating car
real
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711025704.4A
Other languages
English (en)
Inventor
灏ゆ尝
尤波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Century Qualcomm Technology Co Ltd
Original Assignee
Shenyang Century Qualcomm Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Century Qualcomm Technology Co Ltd filed Critical Shenyang Century Qualcomm Technology Co Ltd
Priority to CN201711025704.4A priority Critical patent/CN107729524A/zh
Publication of CN107729524A publication Critical patent/CN107729524A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种浮动车数据的实时评价方法及系统,涉及交通技术领域,解决现有技术中无法对浮动车数据进行实时评价的问题。本方案为:在与数据源建立通信连接后,并从数据源中实时获取浮动车数据;将实时获取的浮动车数据存入分布式消息系统中;对从分布式消息系统中获取的浮动车数据进行实时计算,得到第一评价指标值;根据页面查询请求实时展示第一评价指标值。本发明应用于浮动车数据的实时评价中。

Description

一种浮动车数据的实时评价方法及系统
技术领域
本发明涉及交通技术领域,尤其涉及一种浮动车数据的实时评价方法及系统。
背景技术
近几年,我国进入了城市化的高速发展阶段,随着城市化的不断加快,交通拥堵问题愈演愈烈,基于交通路况的产品也是层出不穷,交通路况在交通中地位越来越重。作为交通路况输出的原材料,认清浮动车数据的各方面指标尤为重要。
现有技术中所存在的对浮动车数据的评价装置,主要是以离线评价为主,具体的:通过获取浮动车的历史数据,对该历史数据进行评价分析,然后根据评价分析的结果判断浮动车数据的可靠性或正确性。然而,这种离线评价装置仅仅能够做一些浮动车数据的简单测试,并不能对浮动车数据进行实时评价,从而也无法为后续交通路况的判断提供数据依据。
因此,能够提供一种实时评价浮动车数据的方法是目前亟需解决的技术问题。
发明内容
本发明的实施例提供一种浮动车数据的实时评价方法及系统,解决现有技术中无法对浮动车数据进行实时评价的问题。
为达到上述目的,本发明的实施例采用如下技术方案:
本发明实施例的第一方面,提供一种浮动车数据的实时评价方法,所述方法包括:
在与数据源建立通信连接后,并从所述数据源中实时获取浮动车数据;
将实时获取的所述浮动车数据存入分布式消息系统中;
对从分布式消息系统中获取的所述浮动车数据进行实时计算,得到第一评价指标值;
根据页面查询请求实时展示所述第一评价指标值。
进一步优选的,所述方法还包括:
将所述第一评价指标值存入至数据库中;
从所述数据库中获取第一设定时间段内的第一评价指标值,并对所述第一评价指标值分析,得到第二评价指标值;
根据页面查询请求输出所述第二评价指标值。
进一步优选的,所述方法还包括:
将所述第一评价指标值存入分布式消息系统中,将所述分布式消息系统中的第一评价指标值持久化至分布式文件系统中;
从所述分布式文件系统中获取第二设定时间段内的第一评价指标值,并对所述第一评价指标值分析,得到第三评价指标值;
根据页面查询请求输出所述第三评价指标值。
优选的,所述对从分布式消息系统中获取的所述浮动车数据进行实时计算,得到第一评价指标值,包括:
获取评价指标;
根据从分布式消息系统中获取的所述浮动车数据实时计算所述评价指标,得到第一评价指标值。
优选的,所述浮动车数据包括:车辆编号、位置信息、行驶方向、行驶时间、行驶速度以及车辆状态标识。
本发明实施例的第二方面,提供一种浮动车数据的实时评价系统,所述系统包括:
接入层模块,用于在与数据源建立通信连接后,并从所述数据源中实时获取浮动车数据;
第一处理层模块,包括:分布式消息系统单元和分布式实时计算系统单元;其中:
所述分布式消息系统单元,用于将实时获取的所述浮动车数据存入分布式消息系统中;
所述分布式实时计算系统单元,用于对从分布式消息系统中获取的所述浮动车数据进行实时计算,得到第一评价指标值;
展示层模块,用于根据页面查询请求实时展示所述第一评价指标值。
进一步优选的,所述评价系统还包括:
第二处理层模块,用于将所述第一评价指标值存入至数据库中;
离线层模块,用于从所述数据库中获取第一设定时间段内的第一评价指标值,并对所述第一评价指标值分析,得到第二评价指标值;
所述展示层模块,还用于根据页面查询请求输出所述第二评价指标值。
进一步优选的,所述评价系统还包括:
所述第二处理层模块,还用于将所述第一评价指标值存入分布式消息系统中;
持久层模块,用于将所述分布式消息系统中的第一评价指标值持久化至分布式文件系统中;
所述离线层模块,还用于从所述分布式文件系统中获取第二设定时间段内的第一评价指标值,并对所述第一评价指标值分析,得到第三评价指标值;
所述展示层模块,还用于根据页面查询请求输出所述第三评价指标值。
优选的,所述分布式实时计算系统单元,具体用于:
获取评价指标;
根据从分布式消息系统中获取的所述浮动车数据实时计算所述评价指标,得到第一评价指标值。
本发明实施例的第三方面,提供一种计算机存储介质,包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如第一方面所述的浮动车数据的实时评价方法。
本发明实施例提供的一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面所述的浮动车数据的实时评价方法。
相比于现有技术,本发明实施例提供的浮动车数据的实时评价方法及系统,通过在与数据源建立通信连接后,并从数据源中实时获取浮动车数据;将实时获取的所述浮动车数据存入分布式消息系统中;对从分布式消息系统中获取的浮动车数据进行实时计算,得到第一评价指标值;根据第一评价指标值,按照设定的可视化格式实时展示。该方案提供了一种流式的处理过程,具体的:通过实时的获取浮动车数据,实时的传输浮动车数据、实时的计算得到第一评价指标值以及实时的展现该第一评价指标值,从而避免了现有技术中无法对浮动车数据进行实时评价的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种评价系统架构图;
图2为本发明实施例提供的一种浮动车数据的实时评价方法的流程图;
图3为本发明实施例提供的第一评价指标值展示结果图;
图4为本发明实施例提供的车辆数的计算流程图;
图5为本发明实施例提供的车辆数的可视化展示结果图;
图6为本发明实施例提供的数据量的计算流程图;
图7为本发明实施例提供的空重车比重的计算流程图;
图8为本发明实施例提供的平均回传周期的计算流程图;
图9为本发明实施例提供的车辆总里程的计算流程图;
图10为本发明实施例提供的数据异常率的计算流程图;
图11为本发明实施例提供的数据延迟时间的计算流程图;
图12为本发明实施例提供的一种浮动车数据的实时评价系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于清楚描述本发明实施例的技术方案,在本发明的实施例中,采用了“第一”、“第二”等字样对功能或作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
本发明实施例中主要采用的是分布式实时计算系统(STORM),来实时评价浮动车数据,该STORM是一个开源分布式实时计算系统,它可以实时可靠地处理流数据。STORM集群主要由一个主节点和一群工作节点(worker node)组成,通过Zookeeper进行协调。其中,主节点通常运行一个后台程序-Nimbus,用于响应分布在集群中的节点,分配任务和监测故障。而该工作节点同样会运行一个后台程序-Supervisor,用于收听工作指派并基于要求运行工作进程。每个工作节点都是topology中一个子集的实现。而Nimbus和Supervisor之间的协调则通过Zookeeper系统或者集群。该Zookeeper是完成Supervisor和Nimbus之间协调的服务,而应用程序实现实时的逻辑则被封装进STORM中的“topology”。topology则是一组由Spouts(数据源)和Bolts(数据操作)通过Stream Groupings进行连接的图。这里对于上述出现的术语就不作介绍了,具体的可以参照现有技术中的解释。
本发明实施例提供一种评价系统架构图,如图1所示,该评价系统大体包含:接入层、处理层、持久层、离线层、控制层以及展示层。其中:该接入层通过各种协议适配数据源供应商,接入数据;处理层用于第一评价指标的实时计算;持久层用于使用hadoop作为持久化存储,使用mysql作为热数据存储;离线层用于基于hadoop做各类离线、准实时计算;控制层用于调度进行各维度、各功能评价指标;例如:历史结果展示定制、月度报表预加载以及年度报表生成预加载等。展示层用于提供可视化页面以及基于数据的其他服务。其中:展示层的一些页面查询请求是通过控制层到持久层里查询数据的,该控制层执行一些定时任务,和执行页面的请求。例如:要展示月报功能,控制层会定时器进行一个月一次的计算,计算使用的数据在持久层里,同时计算结果又存在持久层。页面要查看月报时,页面发起请求给控制层,控制层到持久层里取月报数据返回给页面进行展示。对于图中的英文名字的解释具体参照下文中的内容。
本发明实施例提供一种浮动车数据的实时评价方法,如图2所示,该方法包括:
101、在与数据源建立通信连接后,并从数据源中实时获取浮动车数据。
其中,上述的实时是指以设定好的周期不断地接入浮动车数据,例如:以5s为周期不间断的接入浮动车数据。
示例性的,上述的数据源是指数据库应用程序所使用的数据库或者数据库服务器。例如,这里的数据源可以是浮动车公司中的数据库应用程序所使用的数据库,也可以是该浮动车数据公司中的数据库服务器。
示例性的,上述的浮动车数据可以是出租车数据,也可以是公交车数据。该浮动车数据包括:车辆编号、位置信息、行驶方向、行驶时间、行驶速度以及车辆状态标识。其中,车辆状态标识用于表示车辆为空车或重车状态,该车辆状态标识可以用0或1来表示,0表示车辆为空车状态,1表示车辆为重车状态,相反亦可,这里的0和1仅仅是一种示例并非限定,在实际的应用中还可以采用其他的标识来表示。
示例性的,上述的与数据源建立通信连接,具体可以是标准的各种应用协议,也可以是双方自定义的协议,这里不进行限定,在具体的实践中可以优选HTTP协议。具体的,可以通过客户端或服务端的方式接入数据源,从服务器中获取浮动车数据源。
102、将实时获取的浮动车数据存入分布式消息系统中。
随着互联网行业的发展和IT技术在行业内的广泛应用,许多互联网企业的服务器每天产生海量的日志。如天翼阅读平台每天产生的PV日志有上亿条;淘宝网每天的用户行为日志达数TB大小。而上述的分布式消息系统是一个能够存储海量数据的消息系统。
示例性的,上述的分布式消息系统包括但不限于:分布式发布订阅消息系统(下文简称:Kafka)、日志收集系统Flume、数据收集系统Chukwa、Facebook开源的日志收集系统Scribe以及分布式消息中间件MetaQ。
优选的,本方案中采用Kafka来存储浮动车数据。
103、对从分布式消息系统中获取的浮动车数据进行实时计算,得到第一评价指标值。
示例性的,上述的步骤103具体包括以下内容:
103a、获取评价指标。
103b、根据从分布式消息系统中获取的浮动车数据实时计算评价指标,得到第一评价指标值。
示例性的,上述的评价指标包括但不限于:车辆数、数据量、平均回传周期、空重车数量、空重车变化、平均速度以及数据异常率等。这里的实时计算评价指标是指,设定周期计算一次,例如每分钟计算一次,该每分钟统计的可以是前5分钟的数据。例如:05分统计的是01、02、03、04、05(或者00、01、02、03、04)共5分钟的数据。
车辆数是指周期内非重复车辆ID的数量;数据量是指周期内所有车辆的GPS点的数量;平均回传周期是指周期内所有回传周期的平均值;空重车车数量包括:空车状态车辆数和重车状态车辆数,其中:空车状态车辆数是指周期内一直维持空车状态的车辆数,重车状态车辆数是指周期内一直维持重车状态的车辆数;空重车变化包括空—>重状态变化的车辆数和重—>空状态变化车辆数,其中:空—>重状态变化的车辆数是指周期内出现空车向重车变化的车辆数,进一步的还可以通过周期内空—>重状态变化的车辆数与周期内的车辆总数得到空—>重状态变化比重;重—>空状态变化的车辆数是指周期内出现重车向空车变化的车辆数,进一步的还可以通过周期内重—>空状态变化的车辆数与周期内的车辆总数得到重—>空状态变化比重 ;平均速度是指周期内所有GPS点瞬时速度的平均值,数据异常率是指数据不合格的概率。
104、根据页面查询请求实时展示第一评价指标值。
示例性的,上述的页面查询请求可以是用户的输入操作,也可以是设备的自己触发操作。通过该输入或触发操作使得该评价系统来实时展示第一评价指标值。
示例性的,上述的步骤104中可以按照曲线的形式展示第一评价指标,也可以按照图表的形式展示第一评价指标。对于按照曲线的形式展现具体见下文,而按照图表的形式展示参照图3所示。
如图3所示,为本发明实施例提供的以图表的形式展示的第一评价指标值。用户可以通过图表的形式查看第一评价指标值。其中,图3中的数据源包括了从不同的15个浮动车公司所获取的浮动车数据源,所呈现的第一评价指标值中也相应的为该15个公司的各个评价指标值,从而用户参考了这15种不同的评价指标值可以得出他们之间的差异,从而来判断哪些数据源较为真实且可用。
相比于现有技术,本发明实施例提供的浮动车数据的实时评价方法,通过在与数据源建立通信连接后,并从数据源中实时获取浮动车数据;将实时获取的所述浮动车数据存入分布式消息系统中 ;对从分布式消息系统中获取的浮动车数据进行实时计算,得到第一评价指标值 ;根据第一评价指标值,按照设定的可视化格式实时展示。该方案提供了一种流式的处理过程,具体的:通过实时的获取浮动车数据,实时的传输浮动车数据、实时的计算得到第一评价指标值以及实时的展现该第一评价指标值,从而避免了现有技术中无法对浮动车数据进行实时评价的问题。
进一步优选的,该方法还包括:
105、将第一评价指标值存入至数据库中。
106、从数据库中获取第一设定时间段内的第一评价指标值,并对第一评价指标值分析,得到第二评价指标值。
107、根据页面查询请求输出第二评价指标值。
优选的,上述的步骤105中将第一评价指标值存入至系数据库mysql中。
基于上述的105-107可以实现在短期时间段内对第一评价指标值分析,得到第二评价指标值。例如:可以获得过去三个月内的车辆数或数据量等第二评价指标值。
进一步优选的,该方法还包括:
108、将第一评价指标值存入分布式消息系统中,将分布式消息系统中的第一评价指标值持久化至分布式文件系统中。
109、从分布式文件系统中获取第二设定时间段内的第一评价指标值,并对第一评价指标值分析,得到第三评价指标值。
110、根据页面查询请求输出第三评价指标值。
其中,上述的第二时间段的时间长度大于第一时间段的时间长度。
上述的分布式文件系统(HDFS)是一个高度容错性的系统,适合部署在廉价的机器上。该HDFS能提供高吞吐量的数据访问,非常适合那些有着超大数据集的应用程序。本方案中采用HDFS可以实现数据的持久化,而供离线分析使用。
基于上述的108-110可以实现在长期时间段内对第一评价指标值分析,得到第三评价指标值。例如:可以获得过去三年内的车辆数或数据量等第三评价指标值。
基于上述的评价指标,下面给出各个评价指标值的计算过程。
示例性的,如图4所示,对于车辆数的计算过程包括以下步骤:
STEP01、解析数据源数据
STEP02、缓存5分钟时间戳数据
STEP03、累计车辆总数
STEP04、输出结果
通过上述的步骤STEP01-STEP04的步骤所得到的车辆数的可视化展示结果参照图5,其中,图5中给出的是3种(图中用A、B、C表示)不同的数据源所得到的结果。
示例性的,如图6所示,对于数据量的计算过程包括以下步骤:
STEP11、解析数据源数据
STEP12、缓存5分钟时间戳数据
STEP13、累计GPS总数
STEP14、输出结果
通过上述的步骤STEP11-STEP14的步骤所得到的车辆数的可视化展示结果和图5的展示形式类似,这里不再展示结果。
示例性的,如图7所示,对于空重车比重的计算过程包括以下步骤:
STEP21、解析数据源数据
STEP22、缓存5分钟时间戳数据
STEP23、判断车辆是否为空重车
STEP24、分别统计空重车总量
STEP25、输出结果
示例性的,上述的输出结果的空车比重为:重车比重为:其中:α表示空车比重,β表示重车比重,x表示空车个数,y表示重车个数,n车辆总数。
示例性的,上述的步骤23判断车辆是否为空车或重车,可以参照浮动车数据中的空重车标识来确定。
通过上述的步骤STEP21-STEP25的步骤所得到的车辆数的可视化展示结果和图5的展示形式类似,这里不再展示结果。
示例性的,如图8所示,对于平均回传周期的计算过程包括以下步骤:
STEP31、解析数据源数据
STEP32、缓存5分钟时间戳数据
STEP33、计算单车回传周期
STEP34、累计全部车辆回传周期总时长和车辆总数
STEP35、计算数据源平均回传周期
STEP36、输出结果
示例性的,上述的单车回传周期可以参照以下计算公式:
其中,公式一中的Ci为车辆i的回传周期,Tn为第n次回传的时间。
示例性的,上述的平均回传周期可以参照下面的公式二:
其中,公式二中的Ci为车辆i的回传周期,num_n为车辆数。
通过上述的步骤STEP31-STEP36的步骤所得到的车辆数的可视化展示结果和图5的展示形式类似,这里不再展示结果。
示例性的,如图9所示,对于车辆总里程的计算过程包括以下步骤:
STEP41、解析数据源数据
STEP42、缓存5分钟时间戳数据
STEP43、累计车辆总里程
STEP44、输出结果
通过上述的步骤STEP41-STEP44的步骤所得到的车辆数的可视化展示结果和图5的展示形式类似,这里不再展示结果。
示例性的,如图10所示,对于数据异常率的计算过程包括以下步骤:
STEP51、解析数据源数据
STEP52、缓存5分钟时间戳数据
STEP53、判断数据是否合格
STEP54、如果不合格,累计异常数据条数
STEP55、输出结果
通过上述的步骤STEP51-STEP55的步骤所得到的车辆数的可视化展示结果和图5的展示形式类似,这里不再展示结果。
示例性的,上述的STEP53中的判断数据是否合格具体可以参加以下方法:浮动车数据中的位置信息(经纬度)在中国范围内;行驶速度是小于200km/h;数据延迟时间小于900s,同时满足这3个条件的数据即为合格数据,反之只要有一个条件不满足则该车辆的浮动车数据为不合格数据。
示例性的,如图11所示,对于数据延迟时间的计算过程包括以下步骤:
STEP61、解析数据源数据
STEP62、缓存5分钟时间戳数据
STEP63、判断延迟时间是否在900秒以内
STEP64、如果在之内,累计总延迟时长和延迟数据条数
STEP65、计算平均延迟时间
STEP66、输出结果
示例性的,上述的延迟时间是指数据GPS点对应的时间与接收到数据时系统的时间的差值,比如9:00的时候接收到的数据的GPS时间为8:58,则延迟时间为2分钟即120s。需要注意的是,判断数据的延迟时间首先要满足数据是设定时间内的,例如15分钟内的,15分钟以外的数据不计入计算数据延迟时间。
通过上述的步骤STEP51-STEP55的步骤所得到的车辆数的可视化展示结果和图5的展示形式类似,这里不再展示结果。
下面将基于图2对应的浮动车数据的实时评价方法的实施例中的相关描述对本发明实施例提供的一种浮动车数据的实时评价系统进行介绍。以下实施例中与上述实施例相关的技术术语、概念等的说明可以参照上述的实施例,这里不再赘述。
本发明实施例提供一种浮动车数据的实时评价系统,如图12所示,该系统7包括:接入层模块71、第一处理层模块72以及展示模块73,其中:
接入层模块71,用于在与数据源建立通信连接后,并从数据源中实时获取浮动车数据。
示例性的,上述的数据源是指数据库应用程序所使用的数据库或者数据库服务器。例如,这里的数据源可以是浮动车公司中的数据库应用程序所使用的数据库,也可以是该浮动车数据公司中的数据库服务器。
示例性的,上述的浮动车数据可以是出租车数据,也可以是公交车数据。该浮动车数据包括:车辆编号、位置信息、行驶方向、行驶时间、行驶速度以及车辆状态标识。其中,车辆状态标识用于表示车辆为空车或重车状态,该车辆状态标识可以用0或1来表示,0表示车辆为空车状态,1表示车辆为重车状态,相反亦可,这里的0和1仅仅是一种示例并非限定,在实际的应用中还可以采用其他的标识来表示。
示例性的,上述的与数据源建立通信连接,具体可以是标准的各种应用协议,也可以是双方自定义的协议,这里不进行限定,在具体的实践中可以优选HTTP协议。具体的,可以通过客户端或服务端的方式接入数据源,从服务器中获取浮动车数据源。
第一处理层模块72,包括:分布式消息系统单元721和分布式实时计算系统单元722;其中:
分布式消息系统单元721,用于将实时获取的所述浮动车数据存入分布式消息系统中。
分布式实时计算系统单元722,用于对从分布式消息系统中获取的浮动车数据进行实时计算,得到第一评价指标值。
示例性的,上述的分布式消息系统包括但不限于:分布式发布订阅消息系统(下文简称:Kafka)、日志收集系统Flume、数据收集系统Chukwa、Facebook开源的日志收集系统Scribe以及分布式消息中间件MetaQ。
优选的,本方案中采用Kafka来存储浮动车数据。
优选的,上述的分布式实时计算系统单元722,具体用于:
接收评价指标。
根据从分布式消息系统中获取的浮动车数据实时计算评价指标,得到第一评价指标值。
示例性的,上述的评价指标包括但不限于:车辆数、数据量、平均回传周期、空重车数量、空重车变化、平均速度以及数据异常率等。这里的实时计算评价指标是指,设定周期计算一次,例如每分钟计算一次,该每分钟统计的可以是前5分钟的数据。例如:05分统计的是01、02、03、04、05(或者00、01、02、03、04)共5分钟的数据。
展示层模块73,用于根据页面查询请求实时展示第一评价指标值。
其中,上述的实时是指以设定好的周期不断地接入浮动车数据,例如:以5s为周期不间断的接入浮动车数据。
示例性的,上述的页面查询请求可以是用户的输入操作,也可以是设备的自己触发操作。通过该输入或触发操作使得该评价系统来实时展示第一评价指标值。
如图3所示,为本发明实施例提供的以图表的形式展示的第一评价指标值。用户可以通过图表的形式查看第一评价指标值。其中,图3中的数据源包括了从不同的15个浮动车公司所获取的浮动车数据源,所呈现的第一评价指标值中也相应的为该15个公司的各个评价指标值,从而用户参考了这15种不同的评价指标值可以得出他们之间的差异,从而来判断哪些数据源较为真实且可用。
进一步优选的,如图12所示,该评价系统7还包括:
第二处理层模块74,用于将第一评价指标值存入至数据库中。
离线层模块75,用于从数据库中获取第一设定时间段内的第一评价指标值,并对第一评价指标值分析,得到第二评价指标值。
展示层模块73,还用于根据页面查询请求输出第二评价指标值。
进一步优选的,如图12所示,该评价系统还包括:
第二处理层模块74,用于将第一评价指标值存入分布式消息系统中。
持久层模块76,用于将分布式消息系统中的第一评价指标值持久化至分布式文件系统中。
离线层模块75,还用于从分布式文件系统中获取第二设定时间段内的第一评价指标值,并对第一评价指标值分析,得到第三评价指标值。
展示层模块73,用于根据页面查询请求输出第三评价指标值。
相比于现有技术,本发明实施例提供的浮动车数据的实时评价系统,通过在与数据源建立通信连接后,并从数据源中实时获取浮动车数据;将实时获取的所述浮动车数据存入分布式消息系统中;对从分布式消息系统中获取的浮动车数据进行实时计算,得到第一评价指标值;根据第一评价指标值,按照设定的可视化格式实时展示。该方案提供了一种流式的处理过程,具体的:通过实时的获取浮动车数据,实时的传输浮动车数据、实时的计算得到第一评价指标值以及实时的展现该第一评价指标值,从而避免了现有技术中无法对浮动车数据进行实时评价的问题。
本发明实施例提供一种计算机存储介质,包括计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如上文及图2所示的浮动车数据的实时评价方法。
示例性的,计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘,硬盘、磁带)、光介质(例如,DVD)或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
本发明实施例提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如上文及图2所示的浮动车数据的实时评价方法。
示例性的,上述的计算机程序产品包括一个或多个计算机指令。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的评价系统,可以通过其它的方式实现。例如,以上所描述评价系统的实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种浮动车数据的实时评价方法,其特征在于,所述方法包括:
在与数据源建立通信连接后,并从所述数据源中实时获取浮动车数据;
将实时获取的所述浮动车数据存入分布式消息系统中;
对从分布式消息系统中获取的所述浮动车数据进行实时计算,得到第一评价指标值;
根据页面查询请求实时展示所述第一评价指标值。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第一评价指标值存入至数据库中;
从所述数据库中获取第一设定时间段内的第一评价指标值,并对所述第一评价指标值分析,得到第二评价指标值;
根据页面查询请求输出所述第二评价指标值。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第一评价指标值存入分布式消息系统中,将所述分布式消息系统中的第一评价指标值持久化至分布式文件系统中;
从所述分布式文件系统中获取第二设定时间段内的第一评价指标值,并对所述第一评价指标值分析,得到第三评价指标值;
根据页面查询请求输出所述第三评价指标值。
4.根据权利要求1所述的方法,其特征在于,所述对从分布式消息系统中获取的所述浮动车数据进行实时计算,得到第一评价指标值,包括:
获取评价指标;
根据从分布式消息系统中获取的所述浮动车数据实时计算所述评价指标,得到第一评价指标值。
5.根据权利要求1)4任一项所述的方法,其特征在于,所述浮动车数据包括:车辆编号、位置信息、行驶方向、行驶时间、行驶速度以及车辆状态标识。
6.一种浮动车数据的实时评价系统,其特征在于,所述系统包括:
接入层模块,用于在与数据源建立通信连接后,并从所述数据源中实时获取浮动车数据;
第一处理层模块,包括:分布式消息系统单元和分布式实时计算系统单元;其中:
所述分布式消息系统单元,用于将实时获取的所述浮动车数据存入分布式消息系统中;
所述分布式实时计算系统单元,用于对从分布式消息系统中获取的所述浮动车数据进行实时计算,得到第一评价指标值;
展示层模块,用于根据页面查询请求实时展示所述第一评价指标值。
7.根据权利要求6所述的评价系统,其特征在于,所述评价系统还包括:
第二处理层模块,用于将所述第一评价指标值存入至数据库中;
离线层模块,用于从所述数据库中获取第一设定时间段内的第一评价指标值,并对所述第一评价指标值分析,得到第二评价指标值;
所述展示层模块,还用于根据页面查询请求输出所述第二评价指标值。
8.根据权利要求6所述的评价系统,其特征在于,所述评价系统还包括:
所述第二处理层模块,还用于将所述第一评价指标值存入分布式消息系统中;
持久层模块,用于将所述分布式消息系统中的第一评价指标值持久化至分布式文件系统中;
所述离线层模块,还用于从所述分布式文件系统中获取第二设定时间段内的第一评价指标值,并对所述第一评价指标值分析,得到第三评价指标值;
所述展示层模块,还用于根据页面查询请求输出所述第三评价指标值。
9.根据权利要求6所述的评价系统,其特征在于,所述分布式实时计算系统单元,具体用于:
获取评价指标;
根据从分布式消息系统中获取的所述浮动车数据实时计算所述评价指标,得到第一评价指标值。
10.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求1)5中任一项所述的浮动车数据的实时评价方法。
11.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1)5中任一项所述的浮动车数据的实时评价方法。
CN201711025704.4A 2017-10-27 2017-10-27 一种浮动车数据的实时评价方法及系统 Pending CN107729524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711025704.4A CN107729524A (zh) 2017-10-27 2017-10-27 一种浮动车数据的实时评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711025704.4A CN107729524A (zh) 2017-10-27 2017-10-27 一种浮动车数据的实时评价方法及系统

Publications (1)

Publication Number Publication Date
CN107729524A true CN107729524A (zh) 2018-02-23

Family

ID=61201884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711025704.4A Pending CN107729524A (zh) 2017-10-27 2017-10-27 一种浮动车数据的实时评价方法及系统

Country Status (1)

Country Link
CN (1) CN107729524A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085048A (zh) * 2019-06-04 2019-08-02 湖南智慧畅行交通科技有限公司 一种基于gps数据的公交车实时到离站点计算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050268307A1 (en) * 1999-05-10 2005-12-01 Apple Computer, Inc. Distributing and synchronizing objects
CN100463407C (zh) * 2006-12-25 2009-02-18 北京世纪高通科技有限公司 一种实时动态交通信息采集处理发布的方法和系统
CN103902838A (zh) * 2014-04-17 2014-07-02 北京泰乐德信息技术有限公司 一种基于云计算的tmis车流测定方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050268307A1 (en) * 1999-05-10 2005-12-01 Apple Computer, Inc. Distributing and synchronizing objects
CN100463407C (zh) * 2006-12-25 2009-02-18 北京世纪高通科技有限公司 一种实时动态交通信息采集处理发布的方法和系统
CN103902838A (zh) * 2014-04-17 2014-07-02 北京泰乐德信息技术有限公司 一种基于云计算的tmis车流测定方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085048A (zh) * 2019-06-04 2019-08-02 湖南智慧畅行交通科技有限公司 一种基于gps数据的公交车实时到离站点计算方法

Similar Documents

Publication Publication Date Title
Suryani et al. Dynamic simulation model of air cargo demand forecast and terminal capacity planning
EP3444763A1 (en) Cumulative model for scheduling and resource allocation for airline operations
CN104169950B (zh) 利用面向批处理的计算的数据库系统
CN109754594A (zh) 一种路况信息获取方法及其设备、存储介质、终端
US20170046653A1 (en) Planning of transportation requests
Wang et al. A big data approach for smart transportation management on bus network
CN103067297B (zh) 一种基于资源消耗预测的动态负载均衡方法及装置
CN107945507A (zh) 行程时间预测方法及装置
CN107851105A (zh) 具有副本位置选择的分布式存储系统
CN104035926A (zh) 一种互联网信息的投放和系统
Ram et al. SMARTBUS: A web application for smart urban mobility and transportation
US11593735B2 (en) Automated and efficient personal transportation vehicle sharing
CN105956723A (zh) 基于数据挖掘的物流信息管理方法
Liu et al. Shared Autonomous Taxi System and Utilization of Collected Travel‐Time Information
CN107274215A (zh) 航班价格预测方法、装置、设备和存储介质
Ma et al. Public transportation big data mining and analysis
CN110837979B (zh) 基于随机森林的安全驾驶风险预测方法及装置
WO2022142064A1 (zh) 驾驶评估方法、装置及非暂态计算机可读存储介质
US20200356927A1 (en) Balancing acquisition and engagement for transportation providers and transportation requesters over multiple time horizons
CN107729524A (zh) 一种浮动车数据的实时评价方法及系统
WO2019030221A1 (en) TRANSPORT NETWORK USER REQUEST PREDICTION
Klundert et al. ASAP: The after-salesman problem
CN104956420B (zh) 用于列车晚点的腕表通知
CN109583634A (zh) 一种基于现代投资组合理论的外卖配送路径选择方法
CN111105176B (zh) 数据处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223