CN109471907A - 一种基于卡口数据的行车规律分析系统和方法 - Google Patents

Abstract

本发明公开了一种基于卡口数据的行车规律分析系统和方法，所述系统包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，其中，kafka服务器用于获取和存储卡口数据流；NiFi数据处理与分发系统通过consumerKafka组件从kafka服务器获取卡口数据流，通过putkudu组件将卡口数据流发送到kudu数据库；spark服务器技术系统从kudu数据库获取卡口数据，基于所述卡口数据对指定车辆执行行车规律分析。本发明将kafka服务器、Nifi、kudu数据库和spark相结合，从行车数据的存储、传输、检索和分析等方面都具有明显改善。

Description

一种基于卡口数据的行车规律分析系统和方法

技术领域

本公开属于城市智慧交通技术领域，尤其涉及一种基于卡口数据的行车规律分析系统和方法。

背景技术

近年来，随着各地智能交通信息系统工程的持续建设和投入，交通设施设备大量增加，尤其是卡口系统的数量快速增长，这导致卡口系统产生的过车数据迅速膨胀，产生了海量的过车数据。

将实时数据存放在kafka或RabbitMQ等其他消息中间件中，能够解决实时数据存储的问题，但在数据量巨大的前提下，kafka最长仅能保存一星期，数据只能做流式计算，例如一个城市有几千个卡口，每个卡口有8个摄像头，视频落地，视频分析后的车牌数据汇聚是的并发压力很大。

传统的存储方式Oracle，能够解决普通应用的SQL查询，但是对10亿以上的数据量查询速度比较慢，做集群成本太高。Elasticsearch能够解决大数据量查询的问题，但是数据分析方面较为薄弱。Hdfs存储能够进行离线计算，但是耗时比较长。

综上，现有的存储方式均不能兼顾数据的存储、查询和分析的效率，不能适应于公安部门，因此，公安部门在利用过车数据分析嫌疑车辆和嫌疑人侦查打击过程中，对过车数据的综合分析的效率和准确度提出了更高的要求。

发明内容

为克服上述现有技术的不足，本公开提供了一种基于卡口数据的行车规律分析系统和方法，所述系统包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，采用kafka服务器存储实时数据，通过NiFi将kafka中的数据读入到kudu数据库中实现历史海量数据的存储，同时借助spark数据分析引擎执行行车规律分析，从数据读取和分析效能方面都具有明显改善，有助于公安部门快速获取行车分析结果。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

一种基于卡口数据的行车规律分析系统，包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，其中，

kafka服务器用于获取和存储卡口数据流；Apache NiFi数据处理与分发系统通过consumerKafka组件从kafka服务器获取卡口数据流，通过putkudu组件将卡口数据流发送到kudu数据库；

spark服务器技术系统从kudu数据库获取卡口数据，基于所述卡口数据对指定车辆执行行车规律分析。

进一步地，所述spark服务器技术系统从kudu数据库获取卡口数据后，首先执行数据预处理：

获取一段时间内的卡口过车数据，执行行转列操作，得到以车牌号为主键的卡口数据，然后按时间排序；

循环遍历排序后的卡口数据，获取每两个卡口之间的时间间隔数据集；

对每两个卡口之间的时间间隔数据集进行聚类分析，得到每两个卡口之间的合理间隔时间。

进一步地，所述得到每两个卡口之间的合理间隔时间包括：

对于每两个卡口之间的时间间隔数据集，通过聚类分析得到两类：正常过车时间和异常过车时间；取两类分界对应的时间间隔作为合理间隔时间。

进一步地，所述行程划分具体为：

获取所述指定车辆的按时间排序的过车数据，依次判断相邻两个卡口之间的过车时间是否超过相应的合理间隔时间，若超过，则将所述两个卡口划分到不同的行程中。

进一步地，所述行车规律分析包括：

对于所述指定车辆划分后的所有行程，提取出发点和结束点；

根据所述出发点和结束点对应的地理坐标，进行聚类分析，得到这段时间的落脚点。

一个或多个实施例提供了一种基于卡口数据的行车规律分析方法，包括以下步骤：

接收一段时间内的卡口过车数据，处理得到以车牌号为主键按时间排序的过车数据；

获取每两个卡口之间的时间间隔数据集并进行聚类分析，得到每两个卡口之间的合理间隔时间；

当接收到针对指定车辆的行程规律分析指令时，基于所述合理间隔时间对所述指定车辆进行行程划分，基于划分后的行程进行行车规律分析。

进一步地，所述得到每两个卡口之间的合理间隔时间包括：

对于每两个卡口之间的时间间隔数据集，通过聚类分析得到两类：正常过车时间和异常过车时间；取两类分界对应的时间间隔作为合理间隔时间。

进一步地，所述行程划分具体为：

获取所述指定车辆的按时间排序的过车数据，依次判断相邻两个卡口之间的过车时间是否超过相应的合理间隔时间，若超过，则将所述两个卡口划分到不同的行程中。

进一步地，所述行车规律分析包括：

对于所述指定车辆划分后的所有行程，提取出发点和结束点；

根据所述出发点和结束点对应的地理坐标，进行聚类分析，得到这段时间的落脚点。

以上一个或多个技术方案存在以下有益效果：

本公开提供的基于卡口数据的行车规律分析系统包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，采用kafka服务器存储实时数据，通过NiFi将kafka中的数据读入到kudu数据库中实现历史海量数据的存储，同时借助spark数据分析引擎执行行车规律分析，从数据读取和分析效能方面都具有明显改善；

Kudu数据库对随机读写和数据分析操作的支持都很好，采用该数据库进行历史海量数据的存储，可以直接对Kudu中的数据进行交互式分析，降低了系统复杂度，并且延迟被大大缩短(0～10s)；

在行车规律分析方面，还引入了聚类方法识别两两卡口之间的合理通过时间，以合理通过时间为基准，快速准确地划分行程，从而识别落脚点；相较于传统的根据经验进行行程划分，本公开的方法更为客观和有效，效率更高；

本公开综合考虑了数据存储、传输、读取、检索和分析效能等方面，有助于提高公安民警侦查、研判分析的效率。

附图说明

构成本公开的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例一基于卡口数据的行车规律分析系统的框架图；

图2为本公开实施例一基于卡口数据的行车规律分析方法的流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于卡口数据的行车规律分析系统，包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，其中，

kafka服务器用于获取和存储卡口数据流。

对卡口数据进行识别并存储在kafka上；来源不限于kafka或者Oracle数据库，只要能拿到过车数据即可。

NiFi数据处理与分发系统，包括consumerKafka组件和putkudu组件；通过consumerKafka组件从kafka服务器获取卡口数据流，通过putkudu组件将卡口数据流发送到kudu数据库。

spark服务器技术系统，从kudu数据库获取卡口数据，基于所述卡口数据对指定车辆执行行车规律分析。

所述基于所述卡口数据对指定车辆行车规律分析包括：

步骤1：获取一段时间内的卡口过车数据，处理得到以车牌号为主键按时间排序的过车数据；

所述步骤1具体包括：

步骤1.1：基于存在于kudu中的卡口过车数据，取出近3个月时间，对过车数据行转列操作，得到以车牌号为键，过车时间集合为值的数据，并存储到kudu新表plate_cross_info；

步骤1.2：将plate_cross_info表中的车牌时间进行按时间排序处理，存储到新表plate_cross_order表。

步骤2：获取每两个卡口之间的时间间隔数据集并进行聚类分析，得到每两个卡口之间的合理间隔时间；

所述步骤2具体包括：

步骤2.1：循环plate_cross_order所有的行，将时间拆分成两两卡口及时间格式，保存到新表trans_interval,表结构如表1；

表1 trans_interval表数据结构示例

ID	卡口1	卡口2	时间(秒)
				1234	4389	4490	60

步骤2.2：建立行程模型，计算两两卡口的合理间隔时间；

通过spark获取trans_interval的所有值，通过聚类算法计算出经过两个卡口的合理的间隔时间：

(1)时间差集合用Spark Kmeans算法聚类，经过实践分析，聚两类是合理的结果，一类是正常过车时间，一类是异常过车时间。

(2)经过不断迭代，最终计算出两两卡口通过的合理时间，并将两两卡口的合理时间间隔保存到kudu数据库的justified_interval表中，如表2，以此数据间隔作为依据分拆车辆行程的依据。

表2 justified_interval表数据结构示例

ID	卡口1_卡口2	合理时间(秒)
			12	4389_4490	50

步骤3：当接收到针对指定车辆的行程规律分析指令时，基于所述合理间隔时间对所述指定车辆进行行程划分，基于划分后的行程进行行车规律分析。

所述步骤3具体包括：

步骤3.1：找出指定车辆在设定时间范围内的所有卡口过车数据，按照通过时间进行排序；

步骤3.2：对过车数据分组，得到每天经过的所有卡口数据；

步骤3.3：对每天的卡口数据集合每两个卡口计算通过时间差；

步骤3.4：然后用卡口1、卡口2的时间差和justified_interval表中的时间差作比较；

步骤3.5：若不符合这个合理通过时间，则可以划分出新的行程；若符合合理通过时间，则这两个卡口可算作同一个行程；

步骤3.6：进而就可以把每一天中所有的卡口划分成多个行程；

步骤3.7：基于多天的行程规律数据进行落脚点预测；1)基于上一步骤得到指定时间范围内的所有划分后的行程数据；

2)将所有行程的出发点和结束点提取出来，结合卡点GPS坐标，对所有出现的卡点进行聚类并结合kd_tree近邻分析，具体地，基于指定范围内所有行程的出发点和结束点进行聚类分析，得到多个落脚点的类簇；结合kd_tree近邻分析，判断各类簇中的多个落脚点是否属于同一地点。

一般来说，有正常行驶规律的车辆，落脚点一般是住处和单位，可以先从聚两类入手分析，针对行程点较多且分散的数据，可以聚3类或者4类，例如：家和单位，以及经常去的购物中心等。，得出该段时间经常出现的卡点位置坐标。一个小区或办公区通常有多个车库出入口，车辆每次进入或出来的车库口可能会不同，因此，对于同一地点(同一小区、写字楼、办公区、商场等)，可能存在多个落脚卡口位置。因而结合kdtree能够对距离相近的卡口点分析，进一步判断是否属于一地点，例如同属于住处、写字楼、或商场等。再结合落脚的时间信息，预测出车辆在何时落脚在什么地方。

实际工作中，还可划分地域或时间段。例如：仅提取早高峰或晚高峰时间段的落脚点卡口数据进行分析，从而更准确地获取工作地点和住处；或者，仅针对某个或某些城市提取落脚点卡口数据，分析该车辆在某个城市或某些城市之间的行车规律。

实施例二

本实施例的目的是提供一种计算装置。

一种基于卡口数据的行车规律分析方法，包括以下步骤：

步骤1：接收一段时间内的卡口过车数据，处理得到以车牌号为主键按时间排序的过车数据；

步骤2：获取每两个卡口之间的时间间隔数据集并进行聚类分析，得到每两个卡口之间的合理间隔时间；

步骤3：当接收到针对指定车辆的行程规律分析指令时，基于所述合理间隔时间对所述指定车辆进行行程划分，基于划分后的行程进行行车规律分析。

所述步骤2具体包括：

对于每两个卡口之间的时间间隔数据集，通过聚类分析得到两类：正常过车时间和异常过车时间；取两类分界对应的时间间隔作为合理间隔时间。

所述步骤3中行程划分具体为：

获取所述指定车辆的按时间排序的过车数据，依次判断相邻两个卡口之间的过车时间是否超过相应的合理间隔时间，若超过，则将所述两个卡口划分到不同的行程中。

所述步骤3中行车规律分析具体为：

对于所述指定车辆划分后的所有行程，提取出发点和结束点；

根据所述出发点和结束点对应的地理坐标，进行聚类分析，得到这段时间的落脚点。

以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。

以上一个或多个实施例具有以下技术效果：

本公开提供的基于卡口数据的行车规律分析系统包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，采用kafka服务器存储实时数据，通过NiFi将kafka中的数据读入到kudu数据库中实现历史海量数据的存储，同时借助spark数据分析引擎执行行车规律分析，从数据读取和分析效能方面都具有明显改善；

Kudu数据库对随机读写和数据分析操作的支持都很好，采用该数据库进行历史海量数据的存储，可以直接对Kudu中的数据进行交互式分析，降低了系统复杂度，并且延迟被大大缩短(0～10s)；

在行车规律分析方面，还引入了聚类方法识别两两卡口之间的合理通过时间，以合理通过时间为基准，快速准确地划分行程，从而识别落脚点；相较于传统的根据经验进行行程划分，本公开的方法更为客观和有效，效率更高；

本公开综合考虑了数据存储、传输、读取、检索和分析效能等方面，有助于提高公安民警侦查、研判分析的效率。

本领域技术人员应该明白，上述本申请的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本申请不限制于任何特定的硬件和软件的结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本申请的具体实施方式进行了描述，但并非对本申请保护范围的限制，所属领域技术人员应该明白，在本申请的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本申请的保护范围以内。

Claims (9)

1.一种基于卡口数据的行车规律分析系统，其特征在于，包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，其中，

kafka服务器用于获取和存储卡口数据流；NiFi数据处理与分发系统通过consumerKafka组件从kafka服务器获取卡口数据流，通过putkudu组件将卡口数据流发送到kudu数据库；

spark服务器技术系统从kudu数据库获取卡口数据，基于所述卡口数据对指定车辆执行行车规律分析。

2.如权利要求1所述的一种基于卡口数据的行车规律分析系统，其特征在于，所述spark服务器技术系统从kudu数据库获取卡口数据后，首先执行数据预处理：

获取一段时间内的卡口过车数据，执行行转列操作，得到以车牌号为主键的卡口数据，然后按时间排序；

循环遍历排序后的卡口数据，获取每两个卡口之间的时间间隔数据集；

对每两个卡口之间的时间间隔数据集进行聚类分析，得到每两个卡口之间的合理间隔时间。

3.如权利要求2所述的一种基于卡口数据的行车规律分析系统，其特征在于，所述得到每两个卡口之间的合理间隔时间包括：

对于每两个卡口之间的时间间隔数据集，通过聚类分析得到两类：正常过车时间和异常过车时间；取两类分界对应的时间间隔作为合理间隔时间。

4.如权利要求2所述的一种基于卡口数据的行车规律分析方法，其特征在于，所述行程划分具体为：

获取所述指定车辆的按时间排序的过车数据，依次判断相邻两个卡口之间的过车时间是否超过相应的合理间隔时间，若超过，则将所述两个卡口划分到不同的行程中。

5.如权利要求4所述的一种基于卡口数据的行车规律分析方法，其特征在于，所述行车规律分析包括：

对于所述指定车辆划分后的所有行程，提取出发点和结束点；

根据所述出发点和结束点对应的地理坐标，进行聚类分析，得到这段时间的落脚点。

6.一种基于卡口数据的行车规律分析方法，其特征在于，包括以下步骤：

接收一段时间内的卡口过车数据，处理得到以车牌号为主键按时间排序的过车数据；

获取每两个卡口之间的时间间隔数据集并进行聚类分析，得到每两个卡口之间的合理间隔时间；

当接收到针对指定车辆的行程规律分析指令时，基于所述合理间隔时间对所述指定车辆进行行程划分，基于划分后的行程进行行车规律分析。

7.如权利要求6所述的一种基于卡口数据的行车规律分析方法，其特征在于，所述得到每两个卡口之间的合理间隔时间包括：

对于每两个卡口之间的时间间隔数据集，通过聚类分析得到两类：正常过车时间和异常过车时间；取两类分界对应的时间间隔作为合理间隔时间。

8.如权利要求6所述的一种基于卡口数据的行车规律分析方法，其特征在于，所述行程划分具体为：

获取所述指定车辆的按时间排序的过车数据，依次判断相邻两个卡口之间的过车时间是否超过相应的合理间隔时间，若超过，则将所述两个卡口划分到不同的行程中。

9.如权利要求8所述的一种基于卡口数据的行车规律分析方法，其特征在于，所述行车规律分析包括：

对于所述指定车辆划分后的所有行程，提取出发点和结束点；

根据所述出发点和结束点对应的地理坐标，进行聚类分析，得到这段时间的落脚点。