CN102355471B - 一种双源分布式车辆位置数据采集的方法及其系统 - Google Patents

Abstract

一种双源分布式车辆位置数据采集的方法及其系统，该方法主要是在FCD数据采集平台上增加数据处理转换流程，统一数据格式。基于该方法提出的系统包括FCD数据采集前端、设置有车辆位置数据采集对接组件的边缘FCD数据采集平台、精密式车辆位置数据采集前端和中心精密式车辆位置数据采集平台；边缘FCD数据采集平台通过IP数据传输网络与中心精密式车辆位置数据采集平台连接；FCD数据采集前端通过GPRS数据传输网络与边缘FCD数据采集平台连接，精密式车辆位置数据采集前端通过GPRS数据传输网络与中心精密式车辆位置数据采集平台连接。本发明实现了两种格式和采集方式完全不同的系统的数据采集，有效降低了现有国内路况采集部署方式不兼容问题，满足了实际需求。

Description

一种双源分布式车辆位置数据采集的方法及其系统

技术领域

本发明属于汽车车载网络通讯领域，具体涉及一种集采用“浮动车辆数据”和“精密式”车辆位置数据采集方式的双源分布式车辆位置数据采集方法及系统。

背景技术

国内汽车环境的飞速发展，各种车辆数量的逐步攀升，对城市的交通状况带来严峻考验，应运而生的各种基于城市道路状况的服务越来越受到重视，但是道路状况数据的采集需要一定的准确度和覆盖度。目前国内提供基于道路状况数据搜集还基本依赖于GPS轨迹点位置搜集为核心，使用最为广泛的方式是基于“浮动车辆数据(Floating Car Data，FCD)。该技术主要是通过实时分布在城市中的不断移动的行业车辆、私家车辆等来搜集位置点、车辆速度等信息，通过网络传输至业务数据中心，将该类信息汇总融合，获得基于此的城市实时路况信息。“浮动车辆数据”道路交通信息采集技术存在以下问题：1、需要数据样本量大，由于FCD技术以“轨迹点”样本为依据，需要大量的样本汇总，车辆数量在一个系统中要1万～3万部，投资成本巨大；2、数据样本准确度不足，由于FCD技术以“轨迹点”样本为依据，会出现“GPS位置漂移”，采样周期数据遗漏等问题，导致据此汇总的道路交通状况不准，对实时路况发布产生影响。

上海雷腾软件有限公司开发的“精密式”车辆位置数据采集系统解决了FCD技术遇到的上述问题。它将FCD方式在采集前端、网络数据传输和采集后端都进行调整，前端通过预处理动作，提高采样频率，配合内置矢量地图，修正和提取出“段样本”而非“轨迹点样本”进行上报；网络数据传输部分进行数据压缩，携带除轨迹点更多的路况信息；后端通过数据还原，将采集样本调整为需要的汇总数据。从而提供一种采集数据更加精确、覆盖密度更大的车辆位置数据采集系统。

但在实际的商业运维和部署条件下，“精密式”车辆位置数据采集系统遇到了现实问题：1、“精密式”车辆位置数据采集系统可以部署在新的客户服务领域，然而旧有的客户服务领域仍然要求保留FCD数据采集系统，产生了替换成本；2、被保留的FCD数据采集系统被客户要求按照多节点方式部署，解决统一部署时带来的大数据量传输和汇总处理给平台带来的性能压力。

发明内容

本发明的目的就在于提供一种双源分布式车辆位置数据采集的方法及其系统，可以实现两种格式和采集方式完全不同的系统的数据采集，解决现有“FCD数据采集系统”部署只能为集中方式的问题，以及“FCD数据采集系统”与“精密式车辆位置数据采集系统”的混合部署问题。

为实现上述目的，本发明提供了一种双源分布式车辆位置数据采集的方法，包括以下步骤：

步骤A：浮动车数据FCD采集前端采用FCD样本采集处理方式，将采集的FCD数据通过GPRS数据网络传输至FCD数据采集平台，所述FCD数据包含GPS位置点、采样时间、车速等信息；

步骤B：精密式数据采集前端采用精密式样本采集处理方式，将采集的精密式车辆位置数据，除GPS位置点、采样时间、车速，还包含路况、路口红绿灯、车行道等信息，通过GPRS数据网络传输至精密式车辆位置数据采集平台；

步骤C：FCD数据采集平台接收存储FCD数据，经过数据处理，通过IP数据网络传输至精密式车辆位置数据采集平台；

步骤D：精密式车辆位置数据采集平台接收精密式数据采集前端传输的数据和FCD数据采集平台传输的数据，对所有数据进行还原、统一存储和融合汇总。

优选地，所述步骤C中，数据处理进一步包括以下步骤：

步骤C1：根据FCD数据采集平台的数据存储方式，进行文本方式数据抽取或数据库接口方式数据抽取；

步骤C2：对抽取的数据进行预处理；

步骤C3：对预处理的数据进行压缩格式转换，转换为符合精密式车辆位置采集平台的数据格式内容；

步骤C4：采用“引擎式”多线程并发处理，将数据进行传输。

优选地，所述步骤C2中，预处理进一步包括以下步骤：首先对数据进行过滤分析；然后配合内置矢量地图，将样本做“校准”和“段样本化”处理，修正和提取出“段样本”而非“轨迹点样本”。

优选地，所述步骤C3中，压缩格式转换方式为：将FCD数据采集方式中使用字节定义数据内容的方式转换为按照取值范围匹配的比特位定义。

优选地，所述步骤C4中，“引擎式”多线程并发处理进一步包括以下步骤：首先将压缩格式转换后的数据存入处理数据样本缓冲池；然后根据“引擎”性能监控情况，通过任务调度，将数据样本存入空闲的发“引擎”发送队列中，以待发送。

优选地，所述步骤D中，数据还原方式为：根据精密式车辆位置采集平台定义的数据格式内容，将比特位数据按照取值范围定义，还原车辆位置信息。

为了实现上述目的，本发明还提供了一种采用上述双源分布式车辆位置数据采集方法的系统，其特征在于：

包括FCD数据采集前端1、边缘FCD数据采集平台2、精密式车辆位置数据采集前端3和中心精密式车辆位置数据采集平台4；所述边缘FCD数据采集平台2设置车辆位置数据采集对接组件5；所述边缘FCD数据采集平台2通过IP数据传输网络与所述中心精密式车辆位置数据采集平台4连接；所述FCD数据采集前端1通过GPRS数据传输网络与所述边缘FCD数据采集平台2连接，所述精密式车辆位置数据采集前端3通过GPRS数据传输网络与所述中心精密式车辆位置数据采集平台4连接。

优选地，所述车辆位置数据采集对接组件5，包括FCD抽取模块51、采集样本处理模块52和引擎式并发处理模块53。

优选地，所述FCD抽取模块51，包括文本方式抽取单元511和数据库方式抽取单元512。

优选地，所述采集样本处理模块52，包括采样分析过滤单元521、地图矢量软件单元522、数据压缩格式转换单元523、任务调度单元524和性能监控单元525。

上述技术方案的有益之处在于：实现了“FCD数据采集”与“精密式车辆位置数据采集”两种格式和采集方式完全不同的系统的数据采集。解决了“FCD数据采集系统”部署只能为集中方式的问题以及“FCD数据采集系统”与“精密式车辆位置数据采集系统”的混合部署问题，而非简单的后者替换前者。有效降低了现有国内路况数据采集方式带来的部署高替换投入，部署方式不兼容问题，满足了客户和实际商业运维需求，大幅度提升车辆位置数据的样本采集密度，为路况数据发布提供了坚实基础。

附图说明

图1是本发明所述方法的技术流程图；

图2是本发明所述方法流程步骤C中数据处理的技术流程图；

图3是本发明所述方法中“校准”及“段样本化”的技术流程图；

图4是本发明所述方法中“引擎式”多线程并发处理的技术原理图；

图5是本发明所述系统的结构示意图；

图6是本发明所述系统中车辆位置数据采集对接组件的结构示意图；

图中，FCD：浮动车辆数据；GPRS：通用分组无线服务技术；socket：网络套接字。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明做进一步的详细描述。

图1所示为本发明的数据采集方法流程图，其步骤如下：

步骤A：浮动车数据FCD采集前端采用FCD样本采集处理方式，将采集的FCD数据，包含GPS位置点、采样时间、车速等信息，通过GPRS数据网络传输至FCD数据采集平台；

步骤B：精密式数据采集前端采用精密式样本采集处理方式，将采集的精密式车辆位置数据，除GPS位置点、采样时间、车速，还包含路况、路口红绿灯、车行道等信息，通过GPRS数据网络传输至精密式车辆位置数据采集平台；

步骤C：FCD数据采集平台接收存储FCD数据，经过数据处理，通过IP数据网络传输至精密式车辆位置数据采集平台；

步骤D：精密式车辆位置数据采集平台接收精密式数据采集前端传输的数据和FCD数据采集平台传输的数据，对所有数据进行还原，还原方式为根据精密式车辆位置采集平台定义的数据格式内容，将比特位数据按照取值范围定义，还原车辆位置信息；然后进行数据的统一存储和融合汇总。

图2所示为步骤C中，数据处理的进一步操作流程：

步骤C1：根据FCD数据采集平台的数据存储方式，进行文本方式数据抽取或数据库接口方式数据抽取；

步骤C2：对抽取的数据进行预处理；

步骤C3：对预处理的数据进行压缩格式转换，转换为符合精密式车辆位置采集平台的数据格式内容；

步骤C4：采用“引擎式”多线程并发处理，将数据进行传输。

所述步骤C2中，预处理进一步包括以下步骤：首先对数据进行过滤分析；然后配合内置矢量地图，将样本做“校准”和“段样本化”处理，修正和提取出“段样本”而非“轨迹点样本”。“校准”及“段样本化”的技术流程如图3所示，“浮动车数据”样本的标准采集周期为30秒/次，上报周期为60秒/次，相比于精密式车辆位置采集技术，在样本精确度和范围上远不够标准，需要“校准”和“段样本”化。设置一个阈值，例如处理周期为5分钟样本数据，“校验”技术是将GPS位置点与地图矢量的位置点对准，由此判断该点是否为基于道路的“标准点”，非“标准点”数据将被屏蔽，解决GPS位置“漂移”和“反向误报”的问题。在5分钟周期中的“点样本”根据矢量地图汇聚为“段样本”，从而实现数据样本平滑性，扩大了样本数据覆盖密度。

所述步骤C3中，压缩格式转换方式为：将FCD数据采集方式中使用字节定义数据内容的方式转换为按照取值范围匹配的比特位定义，剔除了不必要的网络数据传输浪费。由于“浮动车”数据只包含GPS位置点、采样时间或者车速基本信息，相比于精密式车辆位置数据采集技术中需要的其它较多信息，例如“路口红绿灯”、“车行道”等并不能提供，因此可以将此类信息在格式转换时候根据传输协议设为变长内容而无需传输。例如相对当前GPS位置的偏移经纬度取值无需再用8个字节传输，而是压缩为2个16比特位分别代表经度偏移值和纬度偏移值，从数据传输量上减少了比特位浪费。

所述步骤C4中，“引擎式”多线程并发处理进一步包括以下步骤：首先将压缩格式转换后的数据存入处理数据样本缓冲池；然后根据“引擎”性能监控情况，通过任务调度，将数据样本存入空闲的发“引擎”发送队列中，以待发送。“引擎”式多线程并发处理技术原理如图4所示，在“引擎”内部，对数据队列中位置数据包放入不同socket，实现同时发送；而转换成符合精密式车辆位置采集系统格式的数据会根据当时各个“引擎”的性能负载，将发送任务分配至相关“引擎”，充分发挥最大处理性能。根据“引擎”性能负载进行调度的依据方法是：1、剩余可用“发送”socket数目最大的引擎优先调度；2、剩余可用“发送”socket数目相同的引擎，上一个发送周期最短的引擎优先调度；3、无可用“发送”socket的引擎时，“睡眠”固定时间间隔。

图5所示为一种采用上述数据采集方法的双源分布式车辆位置数据采集系统，包括FCD数据采集前端1、边缘FCD数据采集平台2、精密式车辆位置数据采集前端3和中心精密式车辆位置数据采集平台4；边缘FCD数据采集平台2设置车辆位置数据采集对接组件5；边缘FCD数据采集平台2通过IP数据传输网络与中心精密式车辆位置数据采集平台4连接；FCD数据采集前端1通过GPRS数据传输网络与边缘FCD数据采集平台2连接，精密式车辆位置数据采集前端3通过GPRS数据传输网络与中心精密式车辆位置数据采集平台4连接。

具体部署方式如下：在原有客户部署节点处，引入“车辆位置数据采集对接组件5”，保留原客户部署的FCD数据采集平台2架构不发生变动，原有客户部署节点的FCD数据采集前端1仍然将车辆位置数据以“浮动车数据”采集样本方式上报至FCD数据采集平台2，最大限度不影响原有环境发生变化。以此类推，当有其它客户部署节点时候，只要在其中增加“车辆位置数据采集对接组件5”即可。在新增加的客户部署节点处部署精密式车辆位置数据采集平台4，可以提供给新安装精密式车辆位置数据采集前端3进行上报数据样本。基于此结构，实现了FCD数据采集平台2和新的精密式车辆位置数据采集平台4的无缝融合，而无需由后者完全替代前者。车辆位置数据采集对接组件5内置于FCD数据采集平台2中，作为数据搜集转换的桥梁，连接两种格式和采集方式完全不同的系统；同时，可以作为采集数据传输枢纽，将浮动车数据采集平台2作为边缘型采集节点。基于此的分布式部署方式，大幅度提升车辆位置数据的样本采集密度，为路况数据发布提供了坚实基础。

下面结合数据采集流程，对本实施例中的核心部分车辆位置数据采集对接组件的组成和功能进行说明。

图6所示为车辆位置数据采集对接组件5的结构示意图。它包括FCD抽取模块51、采集样本处理模块52和引擎式并发处理模块53。

车辆位置数据采集对接组件5包含“对内”和“对外”两个部分接口。对内部分接口完成的核心业务是将FCD数据采集平台2中的数据进行抽取，抽取的方式取决于客户部署的FCD数据采集平台2的数据存储方式，可分为：xml等文本方式和数据库接口方式。这部分功能主要由FCD抽取模块51来完成，它包括文本方式抽取单元511和数据库方式抽取单元512。文本方式抽取单元511功能如下：提供xml或文本导入接口，读取其文本格式内容，分析后转换，缓存至车辆位置数据采集对接组件5，供后续预处理和发送。数据库方式抽取单元512功能如下：提供数据库导入接口，配合ODBC或JDBC方式，读取数据库相关表记录，分析后转换，缓存至车辆位置数据采集对接组件5，供后续预处理和发送。

对外部分接口完成的核心业务是将处理后的“浮动车数据”进行发送，提供给精密式车辆位置数据采集平台4进行存储处理。这部分功能主要由引擎式并发处理模块53来完成。引擎式并发处理模块53功能包括：1、数据格式压缩与还原：将“浮动车数据”样本按照比特位转换，而非使用字节方式进行网络传输；同理接收后将比特位还原成样本数据。2、“引擎式”多线程并发处理：车辆位置数据采集对接组件充分利用设备的硬件环境，可以配置跟CPU数量相同的处理“引擎”，实现大并发量数据报文的发送，等价于多个“浮动车数据”采集前端上报至平台。

原有的“浮动车数据”采集系统只是将前端采集的数据样本直接上报至后端平台，而数据样本只包含GPS位置点、采集样本时间，或者根据GPS位置点和采集样本时间计算出来的车辆速度。在精密式车辆位置数据采集体系结构中，进行了全方面调整，在采集前端就对数据样本进行了预处理，因此双源分布式车辆位置数据采集系统的车辆位置数据采集对接组件5的一个重要处理模块就是将“浮动车数据”前端采集的数据样本进行“预处理”，将其转换为精密式车辆位置数据采集架构中后端平台“识别”的格式内容。这部分功能由采集样本处理模块52完成，它包括采样分析过滤单元521、地图矢量软件单元522、数据压缩格式转换单元523、任务调度单元524和性能监控单元525。

采集样本处理模块52的数据处理流程如下：

首先处理通过FCD抽取模块51处理缓存的“浮动车数据”样本信息，采样分析过滤单元521配合地图矢量软件单元522，将样本信息做“校准”、“段样本化”。其次，数据压缩格式转换单元523对处理过的数据样本进行压缩格式转换。最后，经过压缩格式转换后的数据样本被送入处理数据样本缓冲池，通过任务调度单元524配合“引擎”性能监控单元525，按照调度的依据方法，将数据样本放入到空闲的发“引擎”发送队列中。

至此已结合实施例对本发明进行了描述。熟悉本领域的人员应当理解，在不脱离本发明的范围和精神的情况下，可以容易地对所述实施例作出各种其它修改。因此，附属权利要求的范围并不限于上述说明，而是要广义地解释权利要求。

Claims (9)

1.一种双源分布式车辆位置数据采集的方法，其特征在于，包括以下步骤：

步骤(A)：浮动车数据FCD采集前端采用FCD样本采集处理方式，将采集的FCD数据通过GPRS数据网络传输至FCD数据采集平台，所述FCD数据包含GPS位置点、采样时间和车速信息；

步骤(B)：精密式数据采集前端采用精密式样本采集处理方式，将采集的精密式车辆位置数据，除GPS位置点、采样时间和车速，还包含路况、路口红绿灯和车行道信息，通过GPRS数据网络传输至精密式车辆位置数据采集平台；

步骤(C)：FCD数据采集平台接收存储FCD数据，经过数据处理，通过IP数据网络传输至精密式车辆位置数据采集平台；

步骤(D)：精密式车辆位置数据采集平台接收精密式数据采集前端传输的数据和FCD数据采集平台传输的数据，对所有数据进行还原、统一存储和融合汇总；

其中所述步骤(C)中，数据处理包括以下步骤：

步骤(C1)：根据FCD数据采集平台的数据存储方式，进行文本方式数据抽取或数据库接口方式数据抽取；

步骤(C2)：对抽取的数据进行预处理；所述预处理包括：首先对数据进行过滤分析；然后配合内置矢量地图，将样本做“校准”和“段样本化”处理，修正和提取出“段样本”而非“轨迹点样本”。

2.根据权利要求1所述的双源分布式车辆位置数据采集的方法，其特征在于：所述步骤(C)中，数据处理在步骤(C2)后进一步包括以下步骤：

步骤(C3)：对预处理的数据进行压缩格式转换，转换为符合精密式车辆位置采集平台的数据格式内容；

步骤(C4)：采用“引擎式”多线程并发处理，将数据进行传输。

3.根据权利要求2所述的双源分布式车辆位置数据采集的方法，其特征在于：所述步骤(C3)中，压缩格式转换方式为：将FCD数据采集方式中使用字节定义数据内容的方式转换为按照取值范围匹配的比特位定义。

4.根据权利要求2所述的双源分布式车辆位置数据采集的方法，其特征在于：所述步骤(C4)中，“引擎式”多线程并发处理进一步包括以下步骤：首先将压缩格式转换后的数据存入处理数据样本缓冲池；然后根据“引擎”性能监控情况，通过任务调度，将数据样本存入空闲的发“引擎”发送队列中，以待发送。

5.根据权利要求1所述的双源分布式车辆位置数据采集的方法，其特征在于：所述步骤(D)中，数据还原方式为：根据精密式车辆位置采集平台定义的数据格式内容，将比特位数据按照取值范围定义，还原车辆位置信息。

6.一种双源分布式车辆位置数据采集系统，其特征在于，包括：FCD数据采集前端(1)，边缘FCD数据采集平台(2)、精密式车辆位置数据采集前端(3)和中心精密式车辆位置数据采集平台(4)；所述边缘FCD数据采集平台(2)设置车辆位置数据采集对接组件(5)；所述边缘FCD数据采集平台(2)通过IP数据传输网络与所述中心精密式车辆位置数据采集平台(4)连接；所述FCD数据采集前端(1)通过GPRS数据传输网络与所述边缘FCD数据采集平台(2)连接，所述精密式车辆位置数据采集前端(3)通过GPRS数据传输网络与所述中心精密式车辆位置数据采集平台(4)连接；其中：

所述车辆位置数据采集对接组件(5)包括FCD抽取模块(51)和采集样本处理模块(52)；

所述FCD抽取模块(51)，用于根据边缘FCD数据采集平台(2)的数据存储方式，进行文本方式数据抽取或数据库接口方式数据抽取；

所述采集样本处理模块（52），包括采样分析过滤单元(521)和地图矢量软件单元(522)；其中，所述采样分析过滤单元(521)用于对数据进行过滤分析，还用于配合地图矢量软件单元(522)，将样本做“校准”和“段样本化”处理，修正和提取出“段样本”而非“轨迹点样本”。

7.根据权利要求6所述的双源分布式车辆位置数据采集系统，其特征在于：所述车辆位置数据采集对接组件(5)，还包括引擎式并发处理模块(53)。

8.根据权利要求7所述的双源分布式车辆位置数据采集系统，其特征在于：所述FCD抽取模块(51)，包括文本方式抽取单元(511)和数据库方式抽取单元(512)。

9.根据权利要求7所述的双源分布式车辆位置数据采集系统，其特征在于：所述采集样本处理模块(52)，还包括数据压缩格式转换单元(523)、任务调度单元(524)和性能监控单元(525)。

Images