CN103294775A - 基于地理时空约束的警务云图像识别车辆管控系统 - Google Patents

Abstract

本发明公开了一种基于地理时空约束的警务云图像识别车辆管控系统，包括图像数据采集分解模块、图像检索模块、数据存储模块和地理信息服务模块；其特征在于所述图像数据采集分解模块负责采集道路图像，撷取图像中车辆特征，并将图像中车辆特征信息传输给数据存储模块；所述数据存储模块用于存储道路图像以及关于图像中车辆特征信息的图像特征元数据；所述图像检索模块，用于响应请求方的图像检索请求，根据请求方的图像检索请求以图像特征元数据与地理时空约束相混合的图像检索模式获取符合图像检索请求的检索结果，并将检索结果反馈给请求方；所述地理信息服务模块用于响应请求方的车辆定位请求，通过地理信息平台服务的地图服务器获取车辆空间位置信息，并将车辆空间位置信息反馈给请求方。

Description

基于地理时空约束的警务云图像识别车辆管控系统

技术领域

本发明属于图像识别技术领域，具体涉及一种经过卡口、视频监控等设备的车辆管控系统，尤其涉及地理信息系统技术、图像识别技术、警务云技术、图像检索技术的车辆管控系统。

背景技术

近年来，在公安部的统一领导和部署下，全国各级公安机关积极推进平安城市建设，目前已安装了2000多万台监控摄像机，其中公安机关可控的监控摄像机也超过百万台，在突发事件处置、刑事案件侦破和反恐维稳斗争中发挥了巨大作用，视频图像已逐步成为发现犯罪线索、搜集犯罪资料、提取犯罪证据的重要资源。尤其在侦查破案过程中，视频监控技术已成为公安机关继刑侦、技侦、网侦之后的重要技术手段。如何快速采集、快速调阅海量视频，如何迅速发现视频监控系统中有价值的办案线索，如何自动分析识别危害公共安全的人员和行为、如何准确分析定位视频线索中的行为轨迹，从而增强公安机关快速反应、协同作战和精确打击的能力，提升社会治安动态防控水平，已成为当前维护公共安全的一项重要而紧迫任务。

汽车也因其快速性、机动性受到了犯罪分子的青睐，驾车作案成为犯罪分子跨区域实施流窜犯罪的主要作案方式。而驾车作案基本上又以团伙作案为主，采用假车牌、套牌车，作案空间跨度大，连续性强，往往形成系列性案件，传统的侦查手段已无法适应此类案件的侦查需要。如何对车辆图像进行有效识别，如何对车辆轨迹进行有效跟踪成为此类案件侦查的关键。

发明内容

本发明目的在于提供一种基于地理时空约束的警务云图像识别车辆管控系统，解决了现有技术中道路图像中由于汽车快速性、机动性导致车辆无法进行有效识别等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于地理时空约束的警务云图像识别车辆管控系统，包括图像数据采集分解模块、图像检索模块、数据存储模块和地理信息服务模块；其特征在于所述图像数据采集分解模块负责采集道路图像，撷取图像中车辆特征，并将图像中车辆特征信息传输给数据存储模块；所述数据存储模块用于存储道路图像以及关于图像中车辆特征信息的图像特征元数据；所述图像检索模块，用于响应请求方的图像检索请求，根据请求方的图像检索请求以图像特征元数据与地理时空约束相混合的图像检索模式获取符合图像检索请求的检索结果，并将检索结果反馈给请求方；所述地理信息服务模块用于响应请求方的车辆定位请求，通过地理信息平台服务的地图服务器获取车辆空间位置信息，并将车辆空间位置信息反馈给请求方。

优选的，所述图像数据采集分解模块提取的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征。

优选的，所述系统中以图像特征元数据与地理时空约束相混合的图像检索模式为请求方进行车辆图像检索时，图像检索模块根据输入的车辆图像特征与地理信息服务模块通讯，获取某一时间段内该车辆的空间位置信息；具体首先根据车辆图像特征找到在该时段车辆出现的第一点，根据车辆出现第一点的空间位置通过临近分析找出与该点连通的所有点集，在所属点集对应的车辆图像特征集内查找所需检索的车辆，找到车辆在空间上的第二点，以此类推找出其他点，直至超出检索时段。

优选的，所述系统还包括图像增强模块，所述图像增强模块根据将图像检索模块检索出的结果在地图上形成空间点，并将空间点按照时间的先后顺序串联，形成被检索车辆的空间轨迹；根据轨迹路径找到经过道路卡口但未被图像数据采集分解模块采集或分解出汽车图像的点位A1；根据轨迹时段，检索A1点所有图像特征缺失的记录；在缺失记录中根据图像特征重新检索匹配，找到相应的图像数据，补充到数据存储模块的相应图像特征元数据中。

优选的，所述系统中图像数据采集分解模块设置有训练学习状态和图像识别状态；当处于训练学习状态时，图像数据采集分解模块通过训练学习模式形成车辆特征模型库，为在线的图像识别提供比对参数；当处于图像识别状态时，图像数据采集分解模块根据车辆特征模型库，提取分析经过相应图像数据采集分解模块所处的卡口、视频监控的车辆特征。

优选的，所述地理信息服务模块采用全国统一警用地理信息平台服务的地图服务器。

优选的，所述数据存储模块内构建图像元数据库，所述图像元数据库的字段包括：

根据车辆图像形成的车辆特征码、车辆经过卡口、视频的时间、车辆经过卡口、视频监控所在的空间经纬度、卡口、视频监控设备的唯一编码、识别出来的车牌号码、识别出来的车辆颜色、识别出来的车辆型号、其他车辆特征集合。

本发明提供了一种图像数据采集分解模块，通过模块内CUDA编程模型提取图像特征，将图像内容进行分解。经过图像识别模型，提取经过卡口、监控视频的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征等，形成车辆图像信息的元数据，将车辆图像数据及车辆图像元数据分类存储在警务云存储模块内。再通过地理信息时空约束，在缩小了图像检索的范围同时，将图像检索出的结果在地图上形成空间点，将这些空间点按照时间的先后顺串联，形成被检索车辆的空间轨迹。

本发明克服了现有技术存在的缺陷，提供基于地理时空约束的警务云图像识别车辆管控系统。通过地理信息系统技术、图像识别技术、警务云技术、图像检索技术对车辆进行管控，从而提高了车辆图像的识别效率。

具体的技术方案中，本发明基于地理时空约束的警务云图像识别车辆管控系统提供了基于地理信息系统的车辆轨迹分析方法，包括图像数据采集分解模块、图像检索服务器、警务云存储模块、警用地理信息服务器、车辆管控应用服务器五个部分，其中所述图像数据采集分解模块采用基于GPU计算，通过CUDA编程模型解决大量并行化的问题，增加图像特征的分解速度，提高图像匹配率。同时以分布式的图像数据采集分解模块并行计算，减轻服务器集中处理的计算压力与网络带宽压力。

所述图像检索服务器采用图像特征元数据与地理时空约束相混合的图像检索模式，通过地理时空约束缩小图像检索范围，再根据图像特征元数据对所需图像进行检索。所述的警务云存储模块是指基于私有云的警务公安网络分布式的存储方式，提供图像信息数据的存储。

所述的警用地理信息服务器是由公安部门提供的安装全国统一警用地理信息平台服务的地图服务器，可以为车辆管控提供空间位置服务及空间分析服务。所述的车辆管控应用服务器是基于警用地理信息服务器提供的GIS功能实现图像信息的空间化，利用图像检索服务器提供的图像检索服务，实现对车辆的车型识别、车辆轨迹跟踪、套牌车的识别等功能，满足公安、交管等部门对车辆的管控需求。

本系统采用B/S架构模式，图像识别在前端图像数据采集分解模块内部完成，经过算法改进的图像识别模型，提取经过卡口、监控视频的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征等，形成车辆图像信息的元数据，将车辆图像数据及车辆图像元数据分类存储在警务云存储模块内。车辆管控系统再从警务云存储模块中检索所需数据进行分析。

所述车辆管控系统功能包括以下2个部分：

1、前端图像分解数据采集功能

1）训练学习

训练学习功能是前端图像数据采集分解模块部署初期，通过训练学习模式,对过往车辆进行车辆特征的提取，形成车辆特征模型库，为在线的图像识别提供比对参数。

2）图像分解识别

根据车辆特征模型库，提取分析经过卡口、视频监控的车辆特征。使用经过算法改进的图像识别模型，提取经过卡口、监控视频的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征等，形成车辆图像信息的元数据，将车辆图像数据及车辆图像元数据分类存储在警务云存储模块内。

3）图像分解接口服务

由若干个前端图像数据采集分解模块组成图像分解采集集群，分布于各个图像采集管理单元内。每个图像分解采集模块以REST API方式对外提供服务，服务包括图片的存储、智能图像分解、车辆图像信息预警等服务。

2、图像检索分析功能

1）车辆图像检索分析

业务人员选择车辆图像检索分析时，系统需要根据输入的车辆图像特征检索某一时间段内该车辆的空间位置。在这种工作模式下，系统首先根据车辆图像特征找到在该时段车辆出现的第一点，根据车辆出现第一点的空间位置通过临近分析找出与该点连通的所有点集，在所属点集对应的车辆图像特征集内查找所需检索的车辆，找到车辆在空间上的第二点，以此类推找出第三、四点等，直至超出检索时段。

通过地理时空约束，在缩小了图像检索的范围同时，将图像检索出的结果在地图上形成空间点，将这些空间点按照时间的先后顺串联，形成被检索车辆的空间轨迹。

2）车辆轨迹增强图像检索

根据车辆在地理时空的轨迹，推导出车辆所经过的路线，对在部分图像特征识别不准确的车辆图像特征进行补充。实现的程序步骤：

a、服务器检索出车辆在空间上的轨迹点位，形成轨迹路径；

b、根据轨迹路径找到经过卡口但未检索出图像的点位A1；

c、根据轨迹时段，检索A1点所有图像特征缺失的记录；

d、在缺失记录中根据图像特征重新检索匹配，找到相应的图像数据，补充到图像特征元数据库内。

3）套牌车辆识别

根据前端图像分解采集的图像特征元数据，通过车型、车牌照、颜色与交管部门登记的车辆进行比较，当车牌照与登记的车型、颜色不服时，即可判定为套牌车辆，系统自动报警并记录套牌车辆信息，便于后续处理。

4）实施交通路况

通过前端图像采集分解模块，采集车速、经过视频卡口车辆的数目与道路最大通行量做比较，形成实施交通路况数据，通过地理信息技术以不同的颜色级别标识到对应的道路上。

本发明旨在解决公安、交管等部门在车辆管控的过程中存在的实际问题，依靠地理信息系统技术、图像识别技术、警务云技术、图像检索技术，根据管理的不同需求，对车辆特征、轨迹进行分析，对车辆图像进行有效识别及对车辆轨迹进行有效跟踪，具有自己独有的特色。

相对于现有技术中的方案，本发明的优点是：

1、充分利用GPU计算能力，通过CUDA编程模型解决大量并行化的问题，增加图像特征的分解速度，提高图像匹配率。同时以分布式的图像数据采集分解模块并行计算，减轻服务器集中处理的计算压力与网络带宽压力。

2、由若干个前端图像数据采集分解模块组成图像分解采集集群，分布于各个图像采集管理单元内，每个图像分解采集模块以REST API方式对外提供服务。

3、采用地理时空约束的图像检索分析方式，将车辆活动的地理时空特征与图像特征元数据检索相结合，通过地理时空约束缩小了图像检索范围，有效的提高了海量图像检索的速度与准确度。

4、本发明采用的B/S架构，所有的数据保存在警务云存储模块中，便于海量图像数据的管理与跟踪。

5、独特的图像元数据库，将车辆特征与空间、时间结合起来，通过多维对图像数据进行元数据描述。

本发明提供了一种基于地理时空约束的警务云图像识别车辆管控系统，包括图像数据采集分解模块、图像检索服务器、警务云存储模块、警用地理信息服务器、车辆管控应用服务器五个部分；系统通过图像数据采集分解模块将采集的图像进行分解，形成图像索引与图像特征存储在警务云内；车辆管控应用部分基于警用地理信息服务器提供的GIS功能实现图像信息的空间化，利用图像检索服务器提供的图像检索服务，实现对车辆的车型识别、车辆轨迹跟踪、套牌车的识别等功能，满足公安、交管等部门对车辆的管控需求。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为基于地理时空约束的警务云图像识别车辆管控系统的组成；

图2为图像数据采集分解模块集群构成图；

图3为图像数据采集分解识别流程图；

图4为车辆图像检索分析流程图；

图5为车辆轨迹增强图像检索流程图；

图6为实时交通路况流程图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

如图1所示，该基于地理时空约束的警务云图像识别车辆管控系统，包括图像数据采集分解模块、图像检索服务器、警务云存储模块、警用地理信息服务器、车辆管控应用服务器五个部分，所述的图像数据采集分解模块采用基于GPU计算的图像数据采集分解模块，通过CUDA编程模型解决大量并行化的问题，增加图像特征的分解速度，提高图像匹配率。同时以分布式的图像数据采集分解模块并行计算，减轻服务器集中处理的计算压力与网络带宽压力；所述的图像检索服务器采用图像特征元数据与地理时空约束相混合的图像检索模式，通过地理时空约束缩小图像检索范围，再根据图像特征元数据对所需图像进行检索；所述的警务云存储模块是指基于私有云的警务公安网络分布式的存储方式，提供图像信息数据的存储；所述的警用地理信息服务器是由公安部门提供的安装全国统一警用地理信息平台服务的地图服务器，可以为车辆管控提供空间位置服务及空间分析服务；所述的车辆管控应用服务器是基于警用地理信息服务器提供的GIS功能实现图像信息的空间化，利用图像检索服务器提供的图像检索服务，实现对车辆的车型识别、车辆轨迹跟踪、套牌车的识别等功能，满足公安、交管等部门对车辆的管控需求。

系统采用B/S架构模式，图像识别在前端的图像数据采集分解模块内部完成，经过算法改进的图像识别模型，提取经过卡口、监控视频的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征等，形成车辆图像信息的元数据，将车辆图像数据及车辆图像元数据分类存储在警务云存储模块内。车辆管控系统再从警务云存储模块中检索所需数据进行分析。

如图2所示，道路图像采集通过部署在道路卡口、视频监控上的原有网络高清一体摄像机完成，高清摄像机抓拍车辆图片后，传送至图像数据采集分解模块内，由图像数据采集分解模块根据车辆图片进行分解识别、图像特征提取、图像存储及对外界接口，根据道路上车流压力的不同，可配置多个前端图像分解模块形成集群。

如图3所示，道路图像中车辆特征信息分解通过模块内内置算法完成，模块接收一体摄像机传入的车辆图像后，将车辆图像像素化提取出车辆的边界，根据边界提取后的像素信息进行车头识别或车尾识别，提取车辆的特征数据与训练好的车辆特征库进行对比，形成车辆牌照信息、车辆特征信息（包括车牌、车型、车辆颜色、车辆前脸特征、车尾特征、车内内饰特征等）、空间坐标信息，并将这些信息保存成车辆特征元数据，并对外提供REST服务。

如图4所示，车辆图像的检索分析是根据输入的车辆图像特征检索某一时间段内该车辆的空间位置。在这种工作模式下，系统首先根据车辆图像特征找到在该时段车辆出现的第一点，根据车辆出现第一点的空间位置通过临近分析找出与该点连通的所有点集，在所属点集对应的车辆图像特征集内查找所需检索的车辆，找到车辆在空间上的第二点，以此类推找出第三、四点等，直至超出检索时段。

通过地理时空约束，在缩小了图像检索的范围同时，将图像检索出的结果在地图上形成空间点，将这些空间点按照时间的先后顺串联，形成被检索车辆的空间轨迹。

如图5所示，车辆轨迹增强图像检索是根据车辆在地理时空的轨迹，推导出车辆所经过的路线，对在部分图像特征识别不准确的车辆图像特征进行补充。实现的程序步骤如下：

a、服务器检索出车辆在空间上的轨迹点位，形成轨迹路径；

b、根据轨迹路径找到经过卡口但未检索出图像的点位A1；

c、根据轨迹时段，检索A1点所有图像特征缺失的记录；

d、在缺失记录中根据图像特征重新检索匹配，找到相应的图像数据，补充到图像特征元数据库内。

如图6所示，实施交通路况是通过前端图像采集分解模块，采集车速、经过视频卡口车辆的数目与道路最大通行量做比较，形成实施交通路况数据，通过地理信息技术以不同的颜色级别标识到对应的道路上。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于地理时空约束的警务云图像识别车辆管控系统，包括图像数据采集分解模块、图像检索模块、数据存储模块和地理信息服务模块；其特征在于所述图像数据采集分解模块负责采集道路图像，撷取图像中车辆特征，并将图像中车辆特征信息传输给数据存储模块；所述数据存储模块用于存储道路图像以及关于图像中车辆特征信息的图像特征元数据；所述图像检索模块，用于响应请求方的图像检索请求，根据请求方的图像检索请求以图像特征元数据与地理时空约束相混合的图像检索模式获取符合图像检索请求的检索结果，并将检索结果反馈给请求方；所述地理信息服务模块用于响应请求方的车辆定位请求，通过地理信息平台服务的地图服务器获取车辆空间位置信息，并将车辆空间位置信息反馈给请求方。

2.根据权利要求1所述的基于地理时空约束的警务云图像识别车辆管控系统，其特征在于所述图像数据采集分解模块提取的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征。

3.根据权利要求1所述的基于地理时空约束的警务云图像识别车辆管控系统，其特征在于所述系统中以图像特征元数据与地理时空约束相混合的图像检索模式为请求方进行车辆图像检索时，图像检索模块根据输入的车辆图像特征与地理信息服务模块通讯，获取某一时间段内该车辆的空间位置信息；具体首先根据车辆图像特征找到在该时段车辆出现的第一点，根据车辆出现第一点的空间位置通过临近分析找出与该点连通的所有点集，在所属点集对应的车辆图像特征集内查找所需检索的车辆，找到车辆在空间上的第二点，以此类推找出其他点，直至超出检索时段。

4.根据权利要求3所述的基于地理时空约束的警务云图像识别车辆管控系统，其特征在于所述系统还包括图像增强模块，所述图像增强模块根据将图像检索模块检索出的结果在地图上形成空间点，并将空间点按照时间的先后顺序串联，形成被检索车辆的空间轨迹；根据轨迹路径找到经过道路卡口但未被图像数据采集分解模块采集或分解出汽车图像的点位A1；根据轨迹时段，检索A1点所有图像特征缺失的记录；在缺失记录中根据图像特征重新检索匹配，找到相应的图像数据，补充到数据存储模块的相应图像特征元数据中。

5.根据权利要求1所述的基于地理时空约束的警务云图像识别车辆管控系统，其特征在于所述系统中图像数据采集分解模块设置有训练学习状态和图像识别状态；当处于训练学习状态时，图像数据采集分解模块通过训练学习模式形成车辆特征模型库，为在线的图像识别提供比对参数；当处于图像识别状态时，图像数据采集分解模块根据车辆特征模型库，提取分析经过相应图像数据采集分解模块所处的卡口、视频监控的车辆特征。

6.根据权利要求1所述的基于地理时空约束的警务云图像识别车辆管控系统，其特征在于所述地理信息服务模块采用全国统一警用地理信息平台服务的地图服务器。

7.根据权利要求1所述的基于地理时空约束的警务云图像识别车辆管控系统，其特征在于所述数据存储模块内构建图像元数据库，所述图像元数据库的字段包括：

根据车辆图像形成的车辆特征码、车辆经过卡口、视频的时间、车辆经过卡口、视频监控所在的空间经纬度、卡口、视频监控设备的唯一编码、识别出来的车牌号码、识别出来的车辆颜色、识别出来的车辆型号、其他车辆特征集合。

Images