CN109949351A - 基于视频结构化监控的目标车辆行驶轨迹提取装置及方法 - Google Patents

Abstract

本发明提供了一种基于视频结构化监控的目标车辆行驶轨迹提取装置及方法，该提取方法包括：步骤1，视频获取装置实时采集到道路路口监控的视频流数据，并传输至智能处理装置；步骤2，智能处理装置提取视频结构化文本数据以及与视频结构化文本数据相关联的关键视频帧数据；步骤3，用户通过前端监控展示装置发送检索请求至云端分析服务装置；步骤4，云端分析服务装置根据检索请求确认目标车辆，检索出指定时间段内目标车辆的视频结构化文本数据和相关联的关键视频帧数据；生成目标车辆的行驶轨迹；步骤5，前端监控展示装置进行目标车辆的行驶轨迹展示。本发明具有设计科学、实用性强、查找效率高和节省人力成本的优点。

Description

基于视频结构化监控的目标车辆行驶轨迹提取装置及方法

技术领域

本发明涉及目标车辆行驶轨迹快速绘制技术领域，具体的说，涉及了一种基于视频结构化监控的目标车辆行驶轨迹提取装置及方法。

背景技术

视频监控系统经历了模拟监控阶段、数字监控阶段、网络监控阶段的不断发展，已与人们的日常生活息息相关，成为安防领域的重要方向。进入21世纪，随着物联网、机器学习、人工智能等技术的不断成熟，视频监控领域进入了以视频结构化为代表的智能视频监控时代。

虽然，目前全国范围内的视频监控网络已经基本铺设完成，但是其中监控摄像头质量参差不齐，监控视频量巨大，找到有价值监控信息花费时间长、精力多、难度大等都是影响视频监控系统应用的重大难题。

目前已经有人提出了智能摄像头、智能监控系统：专利201721511649.5公开一种视频分析系统，包括视频接入平台、视频共享平台、应用平台和视频联网平台，将视频接入视频专网，实现视频资源的整合，运用智能分析计算，为安防领域提供一种基于海量视频的立体安防系统。

专利201720297401.7公开一种智能视频监控分析系统，设置了主控单元、视频分析单元、外界交互单元和供电单元等四部分，通过对运动目标检测算法的研究分析与改进，结合达芬奇技术DM6446硬件平台的双核高速图像处理优点，构建了基于DM6446硬件平台的智能视频监控分析系统，具备低功耗、高智能化、高处理速度、稳定性强的特点。

但是，二者对于网络摄像头、高清摄像头改装智能摄像头花费巨大，短期难以实现。还存在视频结构化应用场景单调，展示效果不够直观的问题。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供一种设计科学、实用性强、查找效率高和节省人力成本的基于视频结构化监控的目标车辆行驶轨迹提取装置及方法。

为了实现上述目的，本发明所采用的技术方案是：一种基于视频结构化监控的目标车辆行驶轨迹提取装置，包括视频获取装置、智能处理装置、云端分析服务装置和前端监控展示装置；

所述视频获取装置，分别与所述智能处理装置和所述前端监控展示装置相连，用于将实时采集到道路路口监控的视频流数据传输至所述智能处理装置和所述前端监控展示装置；

所述智能处理装置，与所述云端分析服务装置相连，用于将所述视频流数据转换为视频结构化文本数据和关键视频帧数据，并传输至所述云端分析服务装置；

所述云端分析服务装置，与所述前端监控展示装置相连，用于根据所述视频结构化文本数据、关键视频帧数据和地图数据，生成目标车辆行驶轨迹的地图服务数据，并返回至所述前端视频监控展示装置；

所述前端监控展示装置，用于向所述云端分析服务装置发送检索请求，并进行所述视频流数据和所述目标车辆行驶轨迹的地图服务数据的展示。

基于上述，所述智能处理装置包括第一AI智能分析模块和GPS定位模块。

基于上述，所述智能处理装置包括第一AI智能分析模块和北斗定位模块。

基于上述，所述云端分析服务装置包括第二AI智能分析模块和地图服务模块。

一种基于视频结构化监控的目标车辆行驶轨迹提取方法，利用上述基于视频结构化监控的目标车辆行驶轨迹提取装置，包括以下步骤：

步骤1，所述视频获取装置实时采集到道路路口监控的视频流数据，并传输至所述智能处理装置；

步骤2，所述智能处理装置根据步骤1获得的所述视频流数据，提取视频结构化文本数据以及与所述视频结构化文本数据相关联的关键视频帧数据，并传输至所述云端分析服务装置进行关联存储；

步骤3，用户通过所述前端监控展示装置发送检索请求至所述云端分析服务装置；

步骤4，所述云端分析服务装置根据所述检索请求确认目标车辆，检索出指定时间段内目标车辆的视频结构化文本数据和相关联的关键视频帧数据；

从所述视频结构化文本数据和所述关键视频帧数据中，得到不同时间点目标车辆的位置坐标信息，结合地图数据生成目标车辆的行驶轨迹，并将目标车辆的行驶轨迹返回至所述前端监控展示装置；

步骤5，所述前端监控展示装置进行目标车辆的行驶轨迹展示。

基于上述，所述检索请求至少包括指定时间段和目标车辆的车牌号码。

基于上述，所述智能处理装置包括第一AI智能分析模块和GPS定位模块；

所述步骤2具体包括以下步骤：

步骤2.1，接收所述视频获取装置发送的道路路口监控的视频流数据；

步骤2.2，所述第一AI智能分析模块将所述视频流数据切分为单帧图片，提取所述单帧图片中的视频结构化文本数据，所述视频结构化文本数据包括车辆的车牌、颜色和型号；

步骤2.3，所述GPS定位模块提供所述视频获取装置的位置坐标信息；

步骤2.4，生成结构化关键视频帧数据并传输所述云端分析服务装置进行关联存储，所述结构化关键视频帧数据为包含所述视频结构化文本数据和所述位置坐标信息的关键视频帧数据。

基于上述，所述云端分析服务装置包括第二AI智能分析模块和地图服务模块；

所述步骤4具体包括以下步骤：

步骤4.1，所述第二AI智能分析模块根据所述前端监控展示装置发送的检索请求进行目标车辆的检索，得到指定时间段内的目标车辆的视频结构化文本数据和关键视频帧数据；

步骤4.2，根据所述GPS定位模块得到的所述视频获取装置的位置坐标信息，以及所述视频获取装置的摄像头参数信息，计算出目标车辆在地图上的位置坐标信息；

步骤4.3，结合所述地图服务模块，将目标车辆的位置坐标信息映射到城市路网中；

步骤4.4，在城市路网中绘制目标车辆的行驶轨迹；

步骤4.5，将目标车辆的行驶轨迹传输至所述前端监控展示装置进行展示。

基于上述，在绘制目标车辆的行驶轨迹时：

若所述视频获取装置实时采集到目标车辆在道路各个路口监控的视频流数据，根据结构化关键视频帧数据在城市路网中的映射，依次连接得到目标车辆行驶轨迹的可信路径。

基于上述，在绘制目标车辆的行驶轨迹时：

若道路某几个路口监控的视频流数据缺失，根据结构化关键视频帧数据在城市路网中的映射，依次连接不能得到目标车辆行驶轨迹的可信路径；

则根据最短路径算法、时间最短路径算法和最优路径算法，得到目标车辆行驶轨迹的疑似路径。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明提供了一种基于视频结构化监控的目标车辆行驶轨迹提取装置及方法，通过对现有监控系统的升级改造，提供了一种完整的智能监控解决方案；

在交通、公安侦查时，本发明用于对嫌疑目标车辆行驶轨迹快速绘制，能够帮助交通案件和侦查案件的侦破和提供相关证据，减少了执法人员人工观看视频时间，将使用者从繁重的人工视频查找观看中解脱出来，提高了检索分析效率和案件侦破效率，大大提高了监控视频中目标车辆的查找效率和结构化数据的应用效率；

同时结合地图位置服务，将目标车辆的行驶轨迹信息在所述前端监控展示装置进行可视化的展示，方便分析，提高了表现效果。

综上所述，本发明具有设计科学、实用性强、查找效率高和节省人力成本优点。

附图说明

图1是本发明的视频结构化智能监控系统装置的结构示意图。

图2是本发明的提取方法的流程示意图。

图3是本发明的获取结构化关键视频帧数据的流程示意图。

图4是本发明的目标车辆轨迹提取的流程示意图。

图5是本发明的车辆结构化数据充足时目标车辆轨迹提取的示意图。

图6是本发明的目标车辆可信路径的示意图。

图7是本发明的车辆结构化数据部分缺失时目标车辆轨迹提取的示意图。

图8是本发明的目标车辆疑似路径的示意图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

实施例1

如附图1-附图4所示，一种基于视频结构化监控的目标车辆行驶轨迹提取装置，包括视频获取装置、智能处理装置、云端分析服务装置和前端监控展示装置；

所述视频获取装置，分别与所述智能处理装置和所述前端监控展示装置相连，用于将实时采集到道路路口监控的视频流数据传输至所述智能处理装置和所述前端监控展示装置；

所述智能处理装置，与所述云端分析服务装置相连，用于将所述视频流数据转换为视频结构化文本数据和关键视频帧数据，并传输至所述云端分析服务装置；

所述云端分析服务装置，与所述前端监控展示装置相连，用于根据所述视频结构化文本数据、关键视频帧数据和地图数据，生成目标车辆行驶轨迹的地图服务数据，并返回至所述前端视频监控展示装置；

所述前端监控展示装置，用于向所述云端分析服务装置发送检索请求，并进行所述视频流数据和所述目标车辆行驶轨迹的地图服务数据的展示。

本实施例给出了一种视频获取装置的具体实施方式，所述视频获取装置继续采用原有的安防视频监控网络中的监控摄像头网络，获取所需的视频流监控信息，并将监控的视频流传输到所述智能处理装置。

本实施例还给出了一种智能处理装置的具体实施方式，所述智能处理装置安装在传统监控摄像头后，包括第一AI智能分析模块和GPS定位模块，或者第一AI智能分析模块和北斗定位模块，主要用于对传统的视频监控系统中视频流进行处理，将视频流数据实时处理为结构化文本数据，方便查询和分析，并将结构化的文本数据传输到所述云端分析服务装置进行存储和分析；GPS定位模块或者北斗定位模块用于提供监控摄像头的位置坐标信息。所述智能处理装置将获取的目标结构化数据添加位置坐标信息传输到所述云端分析服务装置。

本实施例还给出了一种云端分析服务装置的具体实施方式，所述云端分析服务装置包括第二AI智能分析模块和地图服务模块，主要用于接受所述智能处理装置传输的视频结构化信息，所述第二AI智能分析模块按照所述前端视频监控展示装置的检索请求对视频结构化文本数据和关键视频帧数据进行智能分析，结合所述地图服务模块提供的地图数据部分，将关键视频帧数据映射在城市路网中，提取目标车辆的行驶轨迹数据，生成目标车辆的行驶轨迹的地图服务数据，并反馈给所述前端视频监控展示装置。

本实施例还给出了一种前端展示装置的具体实施方式，所述前端展示装置是在原有视频监控系统上升级改造而来的，除了能够正常的接受到原有的视频流进行观看外，还结合地理信息的位置服务，将监控摄像头信息可视化的展示在地图上，并根据所述云端分析服务反馈的结果，在地图上展示目标车辆的行驶轨迹信息。由于关键视频帧数据映射在城市路网中，对于，用户还可以点击监控摄像头位置，在城市路网观看由所述云端分析服务装置传输的关键视频帧数据。

一种基于视频结构化监控的目标车辆行驶轨迹提取方法，利用上述基于视频结构化监控的目标车辆行驶轨迹提取装置，包括以下步骤：

步骤1，所述视频获取装置实时采集到道路路口监控的视频流数据，并传输至所述智能处理装置；

步骤2，所述智能处理装置根据步骤1获得的所述视频流数据，提取视频结构化文本数据以及与所述视频结构化文本数据相关联的关键视频帧数据，并传输至所述云端分析服务装置进行关联存储；

具体包括以下步骤：

步骤2.1，接收所述视频获取装置发送的道路路口监控的视频流数据；

步骤2.2，所述第一AI智能分析模块将所述视频流数据切分为单帧图片，提取所述单帧图片中的视频结构化文本数据，所述视频结构化文本数据包括车辆的车牌、颜色和型号；

步骤2.3，所述GPS定位模块提供所述视频获取装置的位置坐标信息；

步骤2.4，生成结构化关键视频帧数据并传输所述云端分析服务装置进行关联存储，所述结构化关键视频帧数据为包含所述视频结构化文本数据和所述位置坐标信息的关键视频帧数据；

步骤3，用户通过所述前端监控展示装置发送检索请求至所述云端分析服务装置；

所述检索请求至少包括指定时间段和目标车辆的车牌号码，还可以包括目标车辆的颜色、型号等信息，以确定需要检索的目标车辆；

步骤4，所述云端分析服务装置根据所述检索请求确认目标车辆，检索出指定时间段内目标车辆的视频结构化文本数据和相关联的关键视频帧数据；

从所述视频结构化文本数据和所述关键视频帧数据中，得到不同时间点目标车辆的位置坐标信息，结合地图数据生成目标车辆的行驶轨迹，并将目标车辆的行驶轨迹返回至所述前端监控展示装置；

具体包括以下步骤：

步骤4.1，所述第二AI智能分析模块根据所述前端监控展示装置发送的检索请求进行目标车辆的检索，得到指定时间段内的目标车辆的视频结构化文本数据和关键视频帧数据；

步骤4.2，根据所述GPS定位模块得到的所述视频获取装置的位置坐标信息，以及所述视频获取装置的摄像头参数信息，计算出目标车辆在地图上的位置坐标信息；

步骤4.3，结合所述地图服务模块，将目标车辆的位置坐标信息映射到城市路网中；

步骤4.4，在城市路网中绘制目标车辆的行驶轨迹；

步骤4.5，将目标车辆的行驶轨迹传输至所述前端监控展示装置；

步骤5，所述前端监控展示装置进行目标车辆的行驶轨迹展示。

实施例2

本实施例与实施例1的区别在于：当目标车辆被提取的结构化数据充足时，保证目标车辆在各个路口都有结构化关键视频帧图片被抓拍，在绘制目标车辆的行驶轨迹时：

如附图5和附图6所示，若所述视频获取装置实时采集到目标车辆在道路各个路口监控的视频流数据，根据结构化关键视频帧数据在城市路网中的映射，依次连接得到目标车辆行驶轨迹的可信路径。

实施例3

本实施例与实施例1的区别在于：在绘制目标车辆的行驶轨迹时：

如附图7和附图8所示，若道路某几个路口监控的视频流数据缺失，根据部分结构化关键视频帧数据在城市路网中的映射，依次连接不能得到目标车辆行驶轨迹的可信路径；

则根据最短路径算法、时间最短路径算法和最优路径算法，得到目标车辆行驶轨迹的疑似路径。

也就是说，当目标车辆被提取的结构化数据不充足时，由于摄像头缺失、损坏等各种意外导致不能保证目标车辆在各个路口都有结构化关键视频帧图片被抓拍，在进行行驶轨迹分析时出现多种疑似可能，可以将缺失数据部分进行最短路径、时间最短路径、最优路径等各种算法分析，得到疑似路径。

其中，最短路径、时间最短路径、最优路径等各种算法采用现有算法，最短路径算法可以采用Dijkstra算法，Bellman-Ford算法，Floyd算法和SPFA算法等；时间最短路径算法可以采用论文《城市交通时间最短路径计算模型及应用仿真》公开的基于交通信号的路口延迟和时间最短路径的计算模型及改进算法等；最优路径算法可以采用ptystudio系统等。

实施例4

本实施例给出了一种逃逸车辆轨迹查询方法，本实施具体应用在交通行业。例如，对于交通案件，交警部门接到报案，有嫌疑目标车辆肇事逃逸，可以通过绘制目标车辆的行驶轨迹快速锁定嫌疑车辆；具体包括以下步骤：

步骤01，在事发地点监控视频完整的情况下，调取事发地点的监控信息，确定嫌疑目标车辆的车牌、颜色和型号等信息；

在事发地点缺失监控视频的情况下，可以根据报案人描述的时间、地点、车辆信息，快速分析确认嫌疑目标车辆的车牌、颜色和型号等信息；

步骤02，侦查人员根据目标车辆描述和肇事逃逸的时间段，通过所述前端监控展示装置向所述云端分析服务装置发送检索请求；

快速检索出相应时间段内的目标车辆的视频结构化文本数据以及与所述视频结构化文本数据相关联的关键视频帧数据，生成目标车辆的行驶轨迹，并将目标车辆的行驶轨迹返回至所述前端监控展示装置；确认目标车辆出现的时间、位置信息；

步骤03，根据检索出的目标车辆的相关结构化信息，生成目标车辆的行驶轨迹，快速锁定目标车辆的当前位置；

在目标车辆不能快速锁定的情况下，也可调取目标车辆的历史轨迹信息，分析比对目标常去地点，有的放矢进行调查。

实施例5

本实施例给出了一种绘制嫌疑目标的车辆行驶轨迹的方法，具体在公安刑侦方向的应用。

例如，对于刑事案件中的目标嫌疑对象，可以通过绘制嫌疑目标的车辆行驶轨迹，发现其生活、出行规律及偏好地点从中找到关键侦破线索。具体包括以下步骤：

步骤001，根据侦查人员指定的目标嫌疑对象，确认该目标嫌疑对象所驾驶的目标车辆信息，以及需要确认目标车辆轨迹的指定时间段；

目标车辆信息包括车牌、颜色、型号等；

步骤002，通过所述前端监控展示装置向所述云端分析服务装置发送检索请求；

检索云存储中的结构化数据，快速检索出相应时间段内的目标车辆的视频结构化文本数据以及与所述视频结构化文本数据相关联的关键视频帧数据，快速确认包含目标车辆的关键帧信息；

步骤003，根据检索请求中的指定时间段，绘制目标车辆的行驶轨迹，并返回至所述前端监控展示装置进行展示；

步骤004，根据目标车辆的行驶轨迹叠加信息，收集整理目标车辆的生活轨迹、兴趣偏好等，从中找出可疑信息，帮助案件侦破。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (10)

1.一种基于视频结构化监控的目标车辆行驶轨迹提取装置，其特征在于：包括视频获取装置、智能处理装置、云端分析服务装置和前端监控展示装置；

所述视频获取装置，分别与所述智能处理装置和所述前端监控展示装置相连，用于将实时采集到道路路口监控的视频流数据传输至所述智能处理装置和所述前端监控展示装置；

所述智能处理装置，与所述云端分析服务装置相连，用于将所述视频流数据转换为视频结构化文本数据和关键视频帧数据，并传输至所述云端分析服务装置；

所述云端分析服务装置，与所述前端监控展示装置相连，用于根据所述视频结构化文本数据、关键视频帧数据和地图数据，生成目标车辆行驶轨迹的地图服务数据，并返回至所述前端视频监控展示装置；

所述前端监控展示装置，用于向所述云端分析服务装置发送检索请求，并进行所述视频流数据和所述目标车辆行驶轨迹的地图服务数据的展示。

2.根据权利要求1所述的基于视频结构化监控的目标车辆行驶轨迹提取装置，其特征在于：所述智能处理装置包括第一AI智能分析模块和GPS定位模块。

3.根据权利要求1所述的基于视频结构化监控的目标车辆行驶轨迹提取装置，其特征在于：所述智能处理装置包括第一AI智能分析模块和北斗定位模块。

4.根据权利要求1所述的基于视频结构化监控的目标车辆行驶轨迹提取装置，其特征在于：所述云端分析服务装置包括第二AI智能分析模块和地图服务模块。

5.一种基于视频结构化监控的目标车辆行驶轨迹提取方法，利用上述权利要求1所述基于视频结构化监控的目标车辆行驶轨迹提取装置，其特征在于，包括以下步骤：

步骤1，所述视频获取装置实时采集到道路路口监控的视频流数据，并传输至所述智能处理装置；

步骤2，所述智能处理装置根据步骤1获得的所述视频流数据，提取视频结构化文本数据以及与所述视频结构化文本数据相关联的关键视频帧数据，并传输至所述云端分析服务装置进行关联存储；

步骤3，用户通过所述前端监控展示装置发送检索请求至所述云端分析服务装置；

步骤4，所述云端分析服务装置根据所述检索请求确认目标车辆，检索出指定时间段内目标车辆的视频结构化文本数据和相关联的关键视频帧数据；

从所述视频结构化文本数据和所述关键视频帧数据中，得到不同时间点目标车辆的位置坐标信息，结合地图数据生成目标车辆的行驶轨迹，并将目标车辆的行驶轨迹返回至所述前端监控展示装置；

步骤5，所述前端监控展示装置进行目标车辆的行驶轨迹展示。

6.根据权利要求5所述的提取方法，其特征在于：所述检索请求至少包括指定时间段和目标车辆的车牌号码。

7.根据权利要求5所述的提取方法，其特征在于：所述智能处理装置包括第一AI智能分析模块和GPS定位模块；

所述步骤2具体包括以下步骤：

步骤2.1，接收所述视频获取装置发送的道路路口监控的视频流数据；

步骤2.2，所述第一AI智能分析模块将所述视频流数据切分为单帧图片，提取所述单帧图片中的视频结构化文本数据，所述视频结构化文本数据包括车辆的车牌、颜色和型号；

步骤2.3，所述GPS定位模块提供所述视频获取装置的位置坐标信息；

步骤2.4，生成结构化关键视频帧数据并传输所述云端分析服务装置进行关联存储，所述结构化关键视频帧数据为包含所述视频结构化文本数据和所述位置坐标信息的关键视频帧数据。

8.根据权利要求7所述的提取方法，其特征在于：所述云端分析服务装置包括第二AI智能分析模块和地图服务模块；

所述步骤4具体包括以下步骤：

步骤4.1，所述第二AI智能分析模块根据所述前端监控展示装置发送的检索请求进行目标车辆的检索，得到指定时间段内的目标车辆的视频结构化文本数据和关键视频帧数据；

步骤4.2，根据所述GPS定位模块得到的所述视频获取装置的位置坐标信息，以及所述视频获取装置的摄像头参数信息，计算出目标车辆在地图上的位置坐标信息；

步骤4.3，结合所述地图服务模块，将目标车辆的位置坐标信息映射到城市路网中；

步骤4.4，在城市路网中绘制目标车辆的行驶轨迹；

步骤4.5，将目标车辆的行驶轨迹传输至所述前端监控展示装置进行展示。

9.根据权利要求7所述的提取方法，其特征在于：在绘制目标车辆的行驶轨迹时：

若所述视频获取装置实时采集到目标车辆在道路各个路口监控的视频流数据，根据结构化关键视频帧数据在城市路网中的映射，依次连接得到目标车辆行驶轨迹的可信路径。

10.根据权利要求7所述的提取方法，其特征在于：在绘制目标车辆的行驶轨迹时：

若道路某几个路口监控的视频流数据缺失，根据结构化关键视频帧数据在城市路网中的映射，依次连接不能得到目标车辆行驶轨迹的可信路径；

则根据最短路径算法、时间最短路径算法和最优路径算法，得到目标车辆行驶轨迹的疑似路径。