CN104991929A

CN104991929A - 一种交通流数据收集方法及系统

Info

Publication number: CN104991929A
Application number: CN201510377214.5A
Authority: CN
Inventors: 李海军
Original assignee: Han Santian; Shi Chaoneng
Current assignee: Han Santian; Shi Chaoneng
Priority date: 2015-06-30
Filing date: 2015-06-30
Publication date: 2015-10-21

Abstract

本发明公开了一种交通流数据收集方法及系统，涉及交通领域数据收集。本发明方法包括：获取交通流原始数据；按照预设模板提取所述交通流原始数据的原始信息；将所提取的原始信息转换为统一格式并存储。本发明还公开了一种交通流数据收集系统。本申请技术方案实现了交通领域中信息的整合及信息的标准化，不仅可为交通管理者和建设者提供有效的基础数据，获得可靠、有用的分析数据，还可以促进和不断完善交通业务的服务水平。

Description

一种交通流数据收集方法及系统

技术领域

本发明涉及交通领域数据收集，尤其涉及一种针对交通流(卡口、违法)数据收集方法及系统。

背景技术

在今天的大交通IT环境中，信息化建设在交通领域遍地开花，各厂商卡口、违法设备已遍布在城市道路上发挥着各自功能作用，基本上都已接入到网络环境中，由于建设初期，全国没有统一进行规划，各省市县各自为政建立了各自的交通安全管理平台，大小平台很多，厂商也较多，设备种类也较多，相关设备产生的信息标准不一，信息中字典都也无法统一，相关信息也是千奇百怪，一个厂家只能用这个厂家的平台，其他厂家设备如果想接入需要专门进行接口开发，由于设备随着新技术的发展各厂商设备的硬件、软件版本也不断升级，导致一套平台的建设涉及多版本，多厂家，多种设备，多标准、多版本等维护，即便能把各类数据接入平台中，需要大量定制，故障和稳定性较差，对运维人员要求变得越来越高，对管理者提出了很大的挑战，各种突发故障排除起来也越来随着近些年来的信息化建设越困难，对信息分析及大数据分析变的越来越困难，关联分析、大数据相关分析的需求也越来越迫切，而这一切都需要把信息进行标准化的处理。

步骤的加快，要建设一个稳定、可靠的交通安全管理平台，各项标准化的要求也随之而来，如何实现交通信息标准化，这个问题就摆在各厂家及建设者面前。虽然国家相关部门进行规范化的要求，由于存在新老系统，新老设备等问题，各地在建设过程中完全遵循标准变得不可操作，迫切需要一个方法来帮助解决新老系统原始数据、新老设备数据、各厂家平台格式不一、各厂家字典不一、数据类型不一问题，使其标准化程。

发明内容

本发明所要解决的技术问题是，提供一种交通流数据收集方法及系统，以解决现有交通流数据格式、类型复杂多样无法整合的问题。

为了解决上述技术问题，本发明公开了一种交通流数据收集方法，该方法包括：

获取交通流原始数据；

按照预设模板提取所述交通流原始数据的原始信息；

将所提取的原始信息转换为统一格式并存储。

可选地，上述方法中，获取交通流数据的方式包括远程获取和/或本地获取。

可选地，上述方法中远程获取交通流数据包括从如下一种或几种位置获取：

消息中间件、文件传输协议FTP、共享目录、数据库。

可选地，上述方法中，本地程获取交通流数据包括从如下一种或几种位置获取：

本地目录、本地文件。

本发明还公开了一种交通流数据收集系统，该系统包括：

收集单元，获取交通流原始数据；

提取单元，按照预设模板提取所述交通流原始数据的原始信息；

转换单元，将所提取的原始信息转换为统一格式并存储。

可选地，上述系统中，所述收集单元获取交通流数据的方式包括远程获取和/或本地获取。

可选地，上述系统中，远程获取交通流数据包括从如下一种或几种位置获取：

消息中间件、文件传输协议FTP、共享目录、数据库。

可选地，上述系统中，本地程获取交通流数据包括从如下一种或几种位置获取：

本地目录、本地文件。

本申请技术方案实现了交通领域中信息的整合及信息的标准化，不仅可为交通管理者和建设者提供有效的基础数据，获得可靠、有用的分析数据，还可以促进和不断完善交通业务的服务水平。

附图说明

图1为本发明实施例提供的数据收集过程工作原理图；

图2为本发明实施例提供的收集配置模板工作原理图；

图3为本发明实施例提供的收集插件模板工作原理图；

图4为本发明实施例提供的数据收集引擎工作原理图；

图5为本发明实施例中通过对本地文件各类格式jpg、txt、ini、一条记录多jpg等文件的示意图；

图6为本发明实施例中将本地文件转换成的简单格式信息示意图；

图7为本发明实施例中标准化操作示意图；

图8为本发明实施例中标准化字段字典转换示意图；

图9为本发明实施例中常见jpg文件类型示意图；

图10为本发明实施例中txt和记录长度不一时，jpg文件示意图；

图11为本发明实施例中最后几位按顺序不一致类型的示意图；

图12为本发明实施例中日期毫秒不一致同条记录类型的示意图；

图13为本发明实施例中日期分开类型的示意图；

图14为本发明实施例中Txt和jpg共存且中文及无规律字符存在，jpg文件示意图；

图15为本发明实施例中INI和jpg共存类型示意图；

图16为本发明实施例中规律性不强类示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

目前，在交通领域中信息的整合及信息的标准化对交通安全的运行和管理极其重要，不仅可为交通管理者和建设者提供有效的基础数据，获得可靠、有用的分析数据，还可以促进和不断完善交通业务的服务水平。

因此，本实施例提供一种交通流数据收集方法，可以对各原始交通流数据进行有效及精确的信息标准化的收集，以满足复杂数据的信息整合需求。本实施例提供的交通流数据收集方法，主要包括以下操作：

获取交通流数据(本实施例中的交通流数据至少包括交通卡口和违法数据等)；

通过标准化方式将各种获取原始数据转化成同一种格式实现。

利用数据处理引擎对源数据可自动匹配进行映射转换实现。

利用自动化过程对原始缺失信息进行补全，对原始信息字典进行转合规字典处理。

通过收集引擎可针对原始信息进行加工处理后可自动分发卡口，违法数据进行存储。

其中，获取交通流数据的方式可以通过主动或被动方式，本实施例不作特别限定。

另外，获取的交通流数据有多种来源，例如，本地数据、远程数据(db、ftp、share)和消息中间件数据。

其中，本地数据可以是第三方格式的图片(jpg)一张或多张，也可以是文本(int类型)+图片名称命名方式、或者txt文件+图片名称命名方式，又或者图片记录隐藏在图片字节方式等进行数据收集过程。

远程数据可以针对数据通过自动化配置获取针对oracle、sqlserver、mysql等主流的数据进行收集。

可以远程对FTP(File Transfer Protocol，文件传输协议)数据进行远程自动化配置采集。

可以远程对共享目录(share)下的进行远程自动化收集。

消息中间件数据的获取可以从第三方通信中获取。例如，可针对webservice方式，获取xml数据信息。

通过配置模板和模板插件进行原始信息格式转换可实时将原始数据进行属性的一一映射和转换。

按照上述方法操作时，在格式转换的过程中，如果需要对原始缺失信息进行补全，则对原始信息字典要进行转合规字典处理。即收集到的原始信息，由于部分属性缺失和原始的字典不统一，需对部分属性字典进行转换，在标准化格式过程中，对于部分字段属性缺失，字典不标准的情况，收集引擎对缺失信息和字典要进行自动配置识别转换、自动补全入库。

其中，字典补全方式可参见如下：

原始非标--〉标准映射

属性补全方式：进行Default，可参见如下：

以下是本实施例提供的一种平台卡口、违法标准属性的举例说明。

表1为标准化卡口属性表：

表2为标准化违法属性表：

下面结合附图和具体应用，对上述方法作进一步详细说明。

首先，结合介绍交通流数据的具体获取过程，该过程如图1所示，包括如下操作：

模块101、收集工具模块；

在本模块中，包括远程登陆工具集、本地工具集。远程登陆工具主要是针对消息中间件、FTP、share目录、DB(oracle、mysql、sqlserver)数据库客户端登陆工具；本地工具集主要是指针对本地目录、文件(txt,ini,jpg)的读取工具箱，从而很好的为获取数据提供一个可靠的通道。

模块102、数据源配置模块；

本模块中，提供工具集登陆信息的自定义配置模板，通过此配置可自动生成前台页面，提供自动化UI配置界面，供用户添加配置信息保存模板，为收集引擎提供基础登陆配置信息、目录相关配置信息，由于第三方数据源较多且事先也无法直接相关配置信息，往往都是现场进行配置，有这样一个可配置模板，可灵活应对很多场景，且界面提供相关对配置在线验证功能，为收集引擎减少由于配置问题导致异常提高了可靠的保障。

配置模板本模块提供了：本地文件、ftp、db等

本地文件模板样例如下：

<？xml version＝'1.0'encoding＝"UTF‐8"？>

<value>C:\Users\admin\Desktop\选图\选图\新建文件夹(5)</value>

</entry>

<value>d:\files\</value>

</entry>

</plugin>

根据类型获取固定配置模板。

可对模板制定类型<plugin type＝'local'>，例如解析模板中描述TXT等信息。

需要制定本地文件制定路径<value>C:\Users\admin\Desktop\选图\选图\新建文件夹(5)</value>

需要制定本地文件目标移动路径<value>d:\files\</value>

根据原始信息ftp属性(机器ip账号端口密码数据目录等)即可建立FTP模板，具体地，FTP模板样例如下：

<？xml version＝'1.0'encoding＝"UTF‐8"？>

</entry>

</entry>

</entry>

<value>admin</value>

</entry>

<value>admin</value>

</entry>

</entry>

</entry>

</entry>

<value>lesta</value>

</entry>

</plugin>

其中，可对模板制定类型<plugin type＝'ftp'>，并且需要对ftp相关信息进行配置。

DB模板样例如下：

<？xml version＝'1.0'encoding＝"UTF‐8"？>

</entry>

<value>select id,hphm,wzsj from VIO_DATA t where t.id>:m</value>

</entry>

</entry>

</entry>

</entry>

</entry>

</entry>

</entry>

</plugin>

其中，可对模板制定类型<plugin type＝'oracle'>

并且需要对type类型相关信息进行配置。

根据上述配置信息可生成UI配置界面，由于采用xml方式同时提供配置存储方式。

模块103、插件模板；

本模块中插件有两种类型模板：卡口插件模板、违法插件模板。

卡口插件模板示例如下：

违法插件模板示例如下：

此模版配置针对第三方厂商信息数据的定义及对标准化信息的映射关系的有结构的定义，为收集引擎提供可识别的语义。

模块104、收集引擎模块；

此模块为核心模块，主要工作是把获得原始信息根据插件模板配置信息进行加工处理成标准的卡口信息或违法信息，输出标准卡口格式、违法格式信息，保存到数据库中。

下面结合附图2，对本发明的具体应用进行说明。

本发明实施例包含了收集配置模板，其工作原理如图2所示，包括：

本地配置模板201，用于对本地文件信息进行配置和初始化，以便确保收集引擎的工作在正确的模式；

FTP配置模板202，用于对ft下的文件信息进行配置和初始化，以便确保收集引擎的工作在正确的模式；

Db配置模板203，用于对db信息进行配置和初始化，以便确保收集引擎的工作在正确的模式

消息中间件配置模板204，用于对消息中间件信息进行配置和初始化，以便确保收集引擎的工作在正确的模式；

下面结合附图3，说明插件模板配置的工作原理。

插件头信息301，对插件头进行定义(position:位置信息、Separator:分割符信息、match:匹配信息、serial:字段合并信息、offset:初始截取信息、floder:白名单信息、type：信息类型0文件1 txt/ini 2正则)；

具体如下：

卡口属性映射302，通过对头信息定义按照索引顺序对原始信息进行和卡口标准化字段进行一一映射；

违法属性映射303，通过对头信息定义按照索引顺序对原始信息进行和违法标准化字段进行一一映射；

插件模板304，通过对头信息定义和卡口属性映射、违法属性映射配置形成了插件模板配置。

下面结合附图4，对本发明实施例中数据收集引擎的工作原理。

Db数据源401、401_1，此db数据源包括oracle、mysql、sqlserver中提供待采集源的卡口、违法等数据表信息。

例如：401_1 sql语句信息:

select s.id as id,s.device_no as sbbh,s.offence_time as jgsj,obj_velocity asclsd,s.licence_plate as hphm,i.image from offence_snap s left join offence_image i ons.id＝i.relate_id where s.offence_code is NULL and s.id>:m

offence_snap/offence_snap表信息为db中相关数据源信息表。其中id讲是按照id顺序通过调度器秩序进行。本地讲对最近采集后的最大id进行本地保存及对sql语句的:M进行替换从而实现持续采集最新记录。

本地文件源数据402、402_1(如图5所示)，通过对本地文件各类格式jpg、txt、ini、一条记录多jpg等文件进行获取，通过插件信息的配置对文件进行合并规则定义，通过各类对文件操作工具集及合并技术转换成简单的格式信息，如图6所示。

ftp文件源数据403，同本地一样原理，通过远程登陆工具获取文件信息进行简单格式信息转换。

标准化过程404，标准过程的实现是一个复杂的过程，涉及到本地文件、ftp文件、db数据信息、中间件信息等及其不同格式相关的加工、处理过程。

涉及到第三方数据源、插件头信息、插件信息、字典映射、多数据合并、文件类型处理、图片多种存在形态、默认值、卡口、违法等信息自动转换及其中信息的各种异常信息的处理过程，各类型的数据工具使用、数据过滤等一系列复杂过程。

其中，核心算法如下：

R = n * {\underset{t o o l s}{Σ} x} + &Integral; \underset{index}{i} {f i e l d} + \underset{m a p {a, b}}{Σ} A + \underset{d e f a u l t}{&Integral;} d {f i e l d}

N：n种

field为系统标准化字段i原始信息索引顺序标号，对应标准字段的映射标识。

R:标准化后信息(卡口、违法系统属性)。

插件头信息405：仅做收集信息配置。

标准字段映射406，对标准化过程做索引指定映射、默认值赋值、字典的标准化转换操作。

具体地，非标准化转换为标准的操作原理如图7所示。

标准化字段字典转换407，由于各厂家信息和字典标准不一，需进行字典的转换例如HPYS字段。此原理如图8所示。

具体实施过程中常用场景举例：

常见jpg文件类型如图9所示。

txt和记录长度不一，jpg没有规律类型，如图10所示。

最后几位按顺序不一致类型，如图11所示。

日期毫秒不一致同条记录类型，如图12所示。

日期分开类型，如图13所示。

Txt和jpg共存且中文及无规律字符存在，jpg文件示意图如图14所示。

TXT文件样例：

[RESULT]

车牌＝鲁UDTAHH

颜色＝蓝牌

时间＝2012-08-13 17:02:57 624

时间ST＝DC07080001000D001100020039007002B7

地点＝南环路电警

方向＝东向西

卡口名称＝卡口名称

卡口编码＝卡口编码

公司名称＝银江

公司编码＝公司编码

设备名称＝设备名称

设备编码＝设备编码

相机名称＝相机名称

相机编码＝相机编码

单位名称＝单位名称

单位编码＝单位编码

设备类型名称＝电子警察和卡口

设备类型编码＝设备类型编码

车道＝1

车道名＝12

速度＝0

车辆类型＝小型车

违章＝1

违章闯红灯＝1

红灯时间＝11

红灯时间毫秒＝11640

红灯开始时间＝2012-08-13 17:02:45 984

红灯开始时间ST＝DC07080001000D00110002002D00D80314

车牌图＝20120813-170257-8624#车牌(鲁UDTAHH)颜色(蓝牌)地点(南环路电警)车道(12)方向(东向西)闯红灯(11秒)＝.jpg

图像数＝1

录像数＝1

图0时刻ST＝DC07080001000D001100020039007002B7

图0文件＝20120813-170257-8624#车牌(鲁UDTAHH)颜色(蓝牌)地点(南环路电警)车道(12)方向(东向西)闯红灯(11秒).jpg

录像文件＝20120813-170257-8624#车牌(鲁UDTAHH)颜色(蓝牌)地点(南环路电警)车道(12)方向(东向西)闯红灯(11秒).avi

轨迹＝直行

INI和jpg共存类型，如图15所示：

规律性不强类，如图16所示。

目录中卡口有违法，违法有卡口相关嵌套记录种类：

记录无规律、字典无规律种类转换为有规律。

具体如下：

常用数据库配置如下：

字典自动转换如下：

属性无值自动填充如下：

时间格式配置如下：

从上述实施例可以看出，本申请技术方案基于多厂家设备交通数据提供了一种接入方案，将各厂家不合规数据统一标准化，从而便于交通流数据的分析。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种交通流数据收集方法，其特征在于，该方法包括：

获取交通流原始数据；

按照预设模板提取所述交通流原始数据的原始信息；

将所提取的原始信息转换为统一格式并存储。

2.如权利要求1所述的方法，其特征在于，获取交通流数据的方式包括远程获取和/或本地获取。

3.如权利要求2所述的方法，其特征在于，远程获取交通流数据包括从如下一种或几种位置获取：

消息中间件、文件传输协议FTP、共享目录、数据库。

4.如权利要求2所述的方法，其特征在于，本地程获取交通流数据包括从如下一种或几种位置获取：

本地目录、本地文件。

5.一种交通流数据收集系统，其特征在于，该系统包括：

收集单元，获取交通流原始数据；

转换单元，将所提取的原始信息转换为统一格式并存储。

6.如权利要求5所述的系统，其特征在于，所述收集单元获取交通流数据的方式包括远程获取和/或本地获取。

7.如权利要求6所述的系统，其特征在于，远程获取交通流数据包括从如下一种或几种位置获取：

消息中间件、文件传输协议FTP、共享目录、数据库。

8.如权利要求6所述的系统，其特征在于，本地程获取交通流数据包括从如下一种或几种位置获取：

本地目录、本地文件。