CN110738366B - 一种室外盲区行为预测方法 - Google Patents
一种室外盲区行为预测方法 Download PDFInfo
- Publication number
- CN110738366B CN110738366B CN201910961999.9A CN201910961999A CN110738366B CN 110738366 B CN110738366 B CN 110738366B CN 201910961999 A CN201910961999 A CN 201910961999A CN 110738366 B CN110738366 B CN 110738366B
- Authority
- CN
- China
- Prior art keywords
- target
- time
- camid
- road network
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000006399 behavior Effects 0.000 claims description 62
- 230000008520 organization Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 5
- 238000013334 tissue model Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Computer Graphics (AREA)
- Human Resources & Organizations (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种室外盲区行为预测方法，其步骤包括：1)根据目标区域的摄像头产生的历史交通视频数据生成历史移动轨迹；2)生成的历史移动轨迹分析交通视频数据的时空关系，建立路网模型；3)基于目标区域摄像头采集的实时交通视频数据识别既定目标行为当前状态，包括位置、速度、方向；4)如果既定目标进入盲区，则基于所述路网模型及既定目标行为状态，预测既定目标在盲区环境下的行为。本发明能够基于实时交通视频数据快速识别既定目标当前行为状态，从而在盲区环境下对既定目标行为进行有效预测。
Description
技术领域
本发明属于时空大数据分析技术领域，具体涉及一种室外盲区行为预测方法。
背景技术
行为预测是计算机视觉和图像处理领域的热点研究问题之一，近年来已经取得了很大进展，并在行为理解、意图识别、人群流量预测、人机交互、逃犯追捕等许多应用中都取得了成功。
目前的行为预测方法主要是从给定的连续视频帧中识别既定目标的行为状态，如位置、方向、速度等，从而估计目标在后续视频帧的状态。这意味这些方法需要已知一组捕获了既定目标状态的视频帧序列，这组视频帧应该尽可能保证在时间上连续，且预测结果是未来较短时段内既定目标的行为。
然而，在真实的室外环境中，障碍物遮挡、光照条件差(如光线过强或者过弱)、监控设备损坏或不在工作状态等情况十分常见，造成了监控设备的盲区。因而在真实室外环境下，通常难以获取持续捕获既定目标的连续视频帧序列，甚至导致较长时间的目标丢失。因此，需要提出一种室外盲区环境下的行为预测方法。
目前行为预测相关的专利文献包括：
《一种行为预测方法》(中国专利申请号201811473054.4)：该专利申请将样本数据表示为One-Hot Encoding编码和Label Encoding编码融合而成的多维特征码，采用生成对抗网络丰富已有标签数据，将多个模型集成得到带权重的集成模型并对数据进行分类，从而预测行为。该方案旨在平衡样本的不均衡问题，提高预测精度。
《一种行为预测方法及装置》(中国专利申请号201810580780.X)：该专利申请根据多个已知目标及其特征信息，确定既定目标与已知目标的相似度，从而根据已知目标的历史行为预测既定目标的行为。该方案旨在利用历史数据提高预测精度。
《行为预测系统和行为预测方法》(中国专利申请号201810419426.9)：该专利申请针对室内环境下的个体行为进行预测，以优化目标所处环境下各个电气设备的工作状态，提高环境的智能化水平。
《出行行为预测方法及装置》(中国专利申请号201611043051.8)：该专利申请基于历史出行数据的离散化建立决策树，以对个体出行行为进行精细化预测。该方案旨在提高预测精度，避免偶然事件的影响。
《基于神经网络的行为预测方法》(中国专利申请号201510162201.6)：该专利申请引入自标注增量极速学习算法进行行为预测，旨在提高预测精度。
以上专利申请文献均存在隐藏的假设条件，假设目标行为的历史数据充分而完整。忽略了在障碍物遮挡、光照条件差(如光线过强或者过弱)、监控设备损坏或不在工作状态等情况造成的目标行为数据缺失问题。因此，以上专利申请文献无法在室外盲区环境下进行目标行为预测。
发明内容
在真实的室外环境中，障碍物遮挡、光照条件差(如光线过强或者过弱)、监控设备损坏或不在工作状态等情况造成了监控设备在监控既定目标时存在盲区。因而，难以获取持续捕获既定目标行为状态的连续视频帧序列，甚至较长时间的目标丢失，导致既定目标的行为数据缺失。在这种情况下，现有的行为预测方法难以有效预测既定目标的行为。本发明基于时空大数据实时处理和交互分析平台(GEO-STRIA)，提供了一种室外盲区环境下的行为预测方法。
GEO-STRIA平台接收实时车辆数据、道路交通流数据、地理信息空间数据等多源异构的海量数据。平台使用统一数据模型表达、组织这些带有时空特性的多源异构的海量数据。平台采用时空优化的内外存协同实时多级存贮与索引技术存储数据，基于原子时空操作语法树的地理时空大数据操作算子对数据进行并行化处理，基于时空可视化及操作语法树进行实时交互分析。
本发明的目的是利用平台资源实时挖掘数据的时空关系，提供一种室外盲区环境下的行为预测方法。
为了达到上述目的，本发明所述方法包括如下步骤：
步骤1.将目标城镇主干道交通摄像头产生的历史视频数据接入GEO-STRIA平台并按照统一数据组织模型存储；将城镇主干道交通摄像头产生的实时视频数据接入GEO-STRIA平台并按照统一数据组织模型表达。
步骤2.基于步骤1存储的历史交通视频数据生成历史移动轨迹。
步骤3.基于步骤2生成的历史移动轨迹分析交通视频数据的时空关系，建立路网模型。
步骤4.基于步骤1接入的实时交通视频数据识别既定目标行为当前状态，包括位置、速度、方向。
步骤5.如果既定目标进入盲区，基于步骤3的路网模型及步骤4的既定目标行为状态，预测既定目标在盲区环境下的行为。
步骤6.如果既定目标没有进入盲区，重复步骤4，为步骤5做准备。
各步骤的关键步骤介绍如下。首先介绍步骤1的时空数据组织模型。根据时空数据的特点和采样数据类型，将其划分为四种基本类型。每种类型的时空数据组织模型如下：
(1.1)时空属性的采样参数值对象组织模型表示为
geoTimeParaValue＝(objID∈string,spatialRange∈string,tp∈timePeriod,
schemaValue∈schemaValueString)
其中，objID是地理实体对象的标识。spatialRange是地理空间对象的空间信息，spatialRange可以是一个点(如某交叉路口)、线(如某条机场跑道)或者区域(如某敏感区域)。tp是一个时间点或时间段，而schemaValue则是地理空间对象在时间范围tp和空间范围spatialRange下的状态参数值。schemaedValue是带有模式描述信息的状态值，表示为参数字符串(schemaValueString)的形式。
(1.2)连续空间对象组织模型表示为
movingObj＝(objID∈string,spatialRange∈string,Fc:t∈timePeriod→loc(obj))
其中，objID是地理实体对象的标识。spatialRange是地理实体对象的空间信息，可以是一个点(如车辆)、线(如河流)或者区域(如火灾区域)。t是时间点，loc(obj)是地理实体对象的空间位置信息或几何形状。Fc:t→loc(obj)是从时间到空间位置的连续函数，即地理实体对象的空间位置或几何形状随着时间连续地发生变化，如连续变化的火灾区域。
(1.3)跳变空间对象组织模型表示为
hoppingObj＝(objID∈string,spatialRange∈string,Fu:t∈timePeriod→loc(obj))
其中，objID是地理实体对象的标识。spatialRange是地理实体对象的空间信息，可以是一个点(如车辆)、线(如河流)或者区域(如火灾区域)。t是时间点，loc(obj)是地理实体对象的空间位置信息或几何形状。Fu:t→loc(obj)是从时间到空间位置的非连续函数，即地理实体对象的空间位置或几何形状随着时间突变地发生变化。
(1.4)快照空间对象组织模型表示为
snapshotObj＝(objID∈string,spatialRange∈string,t∈timeInstant,loc(obj))。
其中，objID是地理实体对象的标识。spatialRange是地理实体对象的空间信息，通常是一个区域。t是时间点，loc(obj)是地理实体对象的空间位置信息。快照空间对象是带有时间戳的空间对象。
步骤2基于历史交通视频数据生成历史移动轨迹的具体步骤如下：
(2.1)从交通视频数据中识别移动目标的标识符，如车辆车牌号码。
(2.2)根据移动目标的标识符对数据进行聚类，得到若干簇。
(2.3)对每一簇内数据按时间顺序排序，产生对应移动目标的历史轨迹。
步骤3基于历史移动轨迹建立路网模型的具体步骤如下：
(3.1)基于交通摄像头及其位置信息构建路网的节点。
(3.2)基于历史轨迹构建路网节点之间的边，建立路网模型。使用历史轨迹而非直接连接相邻节点可以区分单向、双向道路。本发明的路网模型不依赖第三方路网，可以保障方法的可用性，且减轻从第三方获取路网模型带来的匹配与校验工作。
步骤4基于实时交通视频数据识别既定目标行为状态的具体步骤如下：
(4.1)基于实时交通视频数据抽取既定目标的位置信息。
(4.2)基于实时交通视频数据识别既定目标的移动方向。
(4.3)基于既定目标当前轨迹的时空信息(即轨迹上每个点的时间戳和空间位置)计算既定目标的平均移动速度。
(4.4)基于既定目标平均移动速度拟合速度曲线。
步骤5基于路网模型及既定目标行为状态在盲区环境下预测目标行为的具体步骤如下：
(5.1)判断既定目标是否进入监控盲区。
(5.2)当既定目标进入盲区时，基于既定目标的行为状态和建立的路网模型预测既定目标可能的移动轨迹。
(5.3)基于拟合的速度曲线预测未来的移动速度，然后根据既定目标可能的移动轨迹和既定目标未来的移动速度预测既定目标穿越盲区的时间。
与现有技术相比，本发明所述方法的有益效果在于：
基于GEO-STRIA平台，快速分析历史交通视频数据时空关系，生成道路模型；同时基于实时交通视频数据快速识别既定目标当前行为状态；从而可以在盲区环境下对既定目标行为进行有效预测。
附图说明
图1是基于时空大数据平台GEO-STRIA的室外盲区行为预测方法流程图。
图2是基于历史交通视频数据的轨迹生成流程图。
图3是基于历史轨迹的路网模型生成流程图。
图4是基于实时交通视频数据的既定目标行为状态识别流程图。
图5是既定目标穿越盲区的轨迹预测流程图。
具体实施方式
以下结合附图对本发明所述室外盲区行为预测方法进行详细地描述。依照以下详细描述，相关领域的技术人员能够实现所述方法。以下描述的具体实施方式仅用于解释和说明本发明所述方法，其他没有创新性增量的实例也属于本发明保护范围之内。
本发明提出一种基于时空大数据平台GEO-STRIA的室外盲区行为预测方法。参见图1，所述方法包括如下流程：
步骤1.将城镇主干道交通摄像头产生的视频数据接入GEO-STRIA平台并按照统一数据组织模型存储；将城镇主干道交通摄像头产生的实时视频数据接入GEO-STRIA平台并按照统一数据组织模型表达。
步骤2.基于步骤1存储的历史交通视频数据生成历史移动轨迹。
(2.1)从交通视频数据识别移动目标标识符，如车辆车牌号码。
(2.2)根据移动目标标识符对数据进行聚类。
(2.3)类内数据按时间顺序排序，产生历史轨迹。
步骤3.基于步骤2生成的历史移动轨迹建立路网模型。
(3.1)基于交通摄像头及其位置信息构建路网的节点。
(3.2)基于轨迹构建路网节点之间的边，建立路网模型。
步骤4.基于步骤1接入的实时交通视频数据识别既定目标行为状态，包括位置、速度、方向。
(4.1)基于交通视频数据抽取既定目标的位置信息。
(4.2)基于交通视频数据识别既定目标的移动方向。
(4.3)基于既定目标当前轨迹的时空信息计算既定目标的平均移动速度。
(4.4)基于既定目标平均移动速度拟合速度曲线。
步骤5.如果既定目标进入盲区，基于步骤3的路网模型及步骤4的既定目标行为状态，预测既定目标在盲区环境下的行为。
(5.1)判断既定目标是否进入监控盲区。
(5.2)当目标进入盲区时，基于既定目标的行为状态和建立的路网模型预测既定目标可能的移动轨迹。
(5.3)基于拟合的速度曲线预测未来的移动速度，然后根据既定目标可能的移动轨迹和既定目标未来的移动速度预测既定目标穿越盲区的时间。
步骤6.如果目标没有进入盲区，重复步骤4，为步骤5做准备。
下面详细解释步骤1。
近年来，城镇主干道部署了大量交通摄像头，可以采集过往行人、车辆等移动目标的视频数据。这些交通视频数据带有时空特性，属于时空大数据的一种。本发明将历史交通视频数据和实时交通视频数据接入时空大数据平台GEO-STRIA，以统一的数据组织模型进行管理和存储。时空数据主要可分为四种类型：带时空属性的采样参数值对象，用以描述对应于某个空间对象和时间对象的状态参数值；随时间连续变化的空间对象，称为连续空间对象，这类对象的空间位置、地理几何形状及面积随着时间的变化而连续地动态变化；随时间间断变化的空间对象，称为跳变空间对象，这类对象的空间位置及地理几何形状随着时间的变化而间断地发生跳变；带时间印的空间对象，称为快照空间对象，这类数据对象是带有时间印记的空间对象。GEO-STRIA平台针对不同空间对象的四类时空数据定义了如下数据组织模型，空间对象obj主要可分为点、线、区间。
带时空属性的采样参数值对象组织模型表示为
geoTimeParaValue＝(objID∈string,objFeature∈string,tp∈timePeriod,
schemaValue∈schemaValueString)
连续空间对象组织模型表示为
movingObj＝(objID∈string,objFeature∈string,F:t∈timeInstant→loc(obj)∈X×Y)
跳变空间对象组织模型表示为
hoppingObj＝(objID∈string,objFeature∈string,tp∈timePeriod→loc(obj)∈X×Y)
快照空间对象组织模型表示为
snapshotObj＝(objID∈string,objFeature∈string,t∈timeInstant,loc(obj)∈X×Y)
详细解释步骤2，基于历史交通视频数据生成历史移动轨迹。生成轨迹的流程参见图2。
在城镇各主干道部署的交通摄像头采集的过往移动目标的视频数据中，可识别移动目标的唯一特征，映射出表示移动目标的唯一标识符号。以车辆为例，其他类型的移动目标(如人)也属于本发明保护范围之内。可通过图像识别技术识别车辆的车牌号码作为其标识符。识别后的车牌数据可以使用快照空间对象组织模型来表达。车辆作为空间对象可抽象为点，则数据组织模型为d＝(objID,objFeature,t,loc)，其中objID使用车辆车牌号码plateNo进行唯一标识，objFeature使用t时刻捕捉车辆的交通摄像头唯一标识符camID表达，loc为车辆的位置信息。于是可得d＝(plateNo,camID,t,loc)。
按照移动目标的唯一标识符，对数据进行聚类。数据将被聚为m类，m为所有摄像头捕获的非重复移动目标的数量。类内元素都是同一移动目标的数据。聚类按如下公式进行，Ci是第i个类：
将类内数据按时间排序，得到移动目标的轨迹。即车辆i的轨迹表示为：
其中|Ci|是集合Ci所含数据的数量。
详细解释步骤3，基于步骤2生成的历史移动轨迹建立路网模型G＝(NS,ES)，其中NS是节点集合，ES是节点之间边的集合。生成路网模型的流程参见图3。每个交通摄像头有唯一标志符号和位置信息。第i个摄像头可以唯一表示为ci＝(camIDi,loci)；其中camIDi是ci的唯一标识符，loci＝(xi,yi)是ci的位置信息，用经纬度坐标表示。每个交通摄像头ci抽象为路网的一个节点ni。节点ni内存储camIDi和loci，以camIDi作为节点唯一标识符。
路网节点与摄像头节点是一一对应的，摄像头的ID是唯一的。因此本发明用摄像头ID作为路网节点的ID。对每个路网节点ni进行如下操作：筛选出包含节点唯一标识符ni.camID的历史轨迹，组成集合
根据轨迹上与ni.camID相邻的摄像头标识符dk-1.camID和dk+1.camID，建立相应节点间的有向边。具体来说，对于上述dk，如果k＝1，则构建dk.camID与dk+1.camID间的边，记为e＝(ni,n’)，其中dk+1.camID是节点n’的唯一标识符；如果k＝jm，则构建dk-1.camID与dk.camID间的边，记为边e＝(n”,ni)，其中dk-1.camID是节点n”的唯一标识符；如果1<k<jm，则分别构建dk.camID与dk+1.camID间的边e’＝(ni,n’)和dk-1.camID与dk.camID间的边e”＝(n”,ni)，其中dk+1.camID是节点n’的唯一标识符，dk-1.camID是节点n”的唯一标识符。遍历所有路网节点，进行上述操作，则得到了路网模型。
详细解释步骤4，基于步骤1接入的实时交通视频数据识别既定目标的行为状态。识别既定目标行为状态的流程参见图4。
假设既定目标为车辆，其他目标类型的预测方法也属于本发明保护范围之内。从最新到达的交通视频数据中识别既定目标obj的唯一特征，映射出表示既定目标的唯一标识符号。仍然以车辆为例，识别的车牌号码作为其标识符。当前时刻识别后的车牌数据仍然使用快照空间对象组织模型来表达，记为ds＝(plateNo,camID,t,loc)，于是有objID＝ds.plateNo。
利用滑动窗口机制处理识别的车牌数据，可根据步骤2生成的同类别目标的历史轨迹分布来设定滑动窗口大小。在当前窗口内，从不同来源的识别车牌数据计算关于既定目标的当前轨迹T＝(d1,d2,…,ds-1,ds)，其中di.plateNo＝di+1.plateNo(i＝1,2,…,s-1)，且d1.t<d2.t<…<ds-1.t<ds.t。
根据最后捕获到既定目标的摄像头位置信息，获取既定目标的当前位置信息ds.loc。
计算既定目标的方向信息，记作s-1维方向向量
其中
是摄像头ds-1.camID到ds.camID的方向。
计算既定目标的速度信息，记作s-1维速度向量
对第i个分量(i＝1,2,…,s-1)的计算公式如下：
根据(t1,2,v1,2),(t2,3,v2,3),…,(ts-1,s,vs-1,s)拟合既定目标在当前窗口内的速度曲线v＝f(t)，其中ti,i+1＝di.t+(di+1.t-di.t)/2。使用线性拟合、多项式拟合、指数拟合、对数拟合和幂拟合等方法对速度进行拟合。对每种拟合结果计算拟合度，衡量拟合结果和实际数据的吻合程度。对于线性拟合方法，可采用拟合优度R2衡量吻合程度。拟合优度计算公式如下，其中vi,i+1是前文所述既定目标在di.camID与di+1.camID之间的平均速度，
是拟合曲线拟合速度，
是既定目标在轨迹T上的平均速度：
对于多项式拟合、指数拟合、对数拟合和幂拟合四种非线性拟合方法，可利用拟合度R’衡量吻合程度。拟合度计算公式如下，其中vi,i+1和
的含义与上文一致：
R2和R’越大，吻合程度越高。根据R2和R’选择拟合程度最好的速度拟合曲线。也可采用其他拟合方法或衡量拟合结果和实际数据吻合程度的度量指标。
详细解释步骤5，如果既定目标进入盲区，基于步骤3的路网模型、同类目标的历史轨迹及步骤4的既定目标行为状态，预测既定目标在盲区环境下的行为。
(5.1)判断既定目标是否进入监控盲区。
(5.1.1)判断摄像头拍摄区域是否是盲区。一方面障碍物遮挡、光照条件差(如光线过强或者过弱)的摄像头无法产生正常的数据。如障碍物遮挡下的摄像头通常会持续产生静态障碍物的图像或者视频。光照条件差的摄像头则会持续产生低质量、难以识别的图像或者视频。另一方面，损坏或不在工作状态的摄像头将无法产生数据或者产生非正常数据。因此可以根据摄像头产生数据的情况实时判断摄像头拍摄区域是否属于盲区。
(5.1.2)判断既定目标是否进入盲区。满足以下任意一个条件，则认为既定目标是否进入盲区。
(1)已知既定目标当前轨迹T＝(d1,d2,…,ds-1,ds)，除ds-1.plateNo外，摄像头ds.plateNo相邻且连通的其他摄像头(即既定目标可以通过摄像头ds.plateNo直达的任意一个摄像头)都是盲区摄像头。
(2)已知既定目标当前轨迹T＝(d1,d2,…,ds-1,ds)，摄像头ds.plateNo相邻且连通的其他摄像头中存在至少一个盲区摄像头，且既定目标丢失时间超过阈值(阈值可根据历史数据或者用户需要设定)。
(5.2)当目标进入盲区时，基于既定目标的行为状态和建立的路网模型预测既定目标可能的移动轨迹：
(5.2.1)首先，预测既定目标穿过盲区的轨迹。既定目标穿越盲区的轨迹预测流程参见图5。基于步骤4生成的既定目标当前轨迹T＝(d1,d2,…,ds-1,ds)，ds为当前采集窗口内既定目标经过的第s个摄像头获取的该目标的交通视频数据，ds-1的交通视频数据采集时间小于ds的交通视频数据采集时间，在路网G＝(NS,ES)上找到唯一标识符为ds.camID的节点，记作nlast。确定当前盲区范围内障碍物遮挡、光照条件差(如光线过强或者过弱)、损坏或不在工作状态的交通摄像头对应的节点集合BNS。记非盲区范围内的节点集合为UNS。值得注意的是，在路网上可能存在多个盲区，因此
假设路网G上存在i个盲区BNS1,BNS2,…,BNSi，则BNS1∪BNS2∪…∪BNSi∪UNS＝NS。预测既定目标穿过任一盲区BNSk∈{BNS1,BNS2,…,BNSi}的轨迹等价于计算以nlast为起点满足如下要求的路径集合
该问题可以转换为路网G上计算以nlast为起点、以BNSk内任意节点指向的每一个盲区范围外的节点为终点的最短路径，其中路径上除了起点与终点外的节点均是盲区BNSk内的节点。该问题的具体计算过程如下：
(5.2.1.1)计算所有以当前盲区BNSk内任意节点指向的盲区范围外的节点
记为终点集合TSk，其中ES是路网模型G中边的集合：
(5.2.1.2)使用邻接矩阵M存储节点集合LN＝BNSk∪TSk∪{nlast}及其间的边，其中|LN|表示集合LN包含节点的数量：
M＝(aij)|LN|*|LN|
其中aij代表是否存在节点np指向nq的有向边(np∈LN，nq∈LN)，即
(5.2.1.3)计算起点nlast到集合TSk内每个终点的最短距离，从而得到既定目标在盲区内可能的行为轨迹集合
集合
保留了所有可能的轨迹，基于集合
预测最长穿行时间和最短穿行时间。
(5.2.1.3.1)记已处理节点的集合为A，将A初始化为A＝{nlast}，未处理节点的集合U＝BNSk∪TSk，满足A∪U＝LN。A的初始值只包含一个节点，后续计算过程中会逐步添加节点。
(5.2.1.3.2)计算起点nlast到集合LN内每个节点的距离，存为向量Dis，即
Dis＝(dis(nlast,nlast),dis(nlast,n1),dis(nlast,n2),…,dis(nlast,n|LN-1|))|LN|
其中|LN-1|是集合LN-{nlast}包含节点的数量，中|LN|是集合LN包含节点的数量，dis(nlast,nq)表示nlast到nq的距离(nq∈U)，即
且dis(nlast,nlast)＝0。
(5.2.1.3.3)计算向量Dis中非零的最小分量dis(nlast,nq)，如果nq∈TSk，则将P＝(nlast,nq)加入
(5.2.1.3.4)将nq从U中移除，将nq加入A。
(5.2.1.3.5)计算nq指向的节点集合NSq：
(5.2.1.3.6)对任意n∈NSq，如果dis(nlast,nq)+dis(nq,n)<dis(nlast,n)，则将dis(nlast,n)的值更新为dis(nlast,nq)+dis(nq,n)。
(5.2.1.3.7)重复(5.1.3.7)，直到NSq的每个节点都已处理完毕。
(5.2.1.3.8)计算向量Dis中U的每个节点对应的分量的最小值，即计算nlast到U的每个节点的距离的最小值：
如果nw∈TS，则将dis(nlast,nw)对应的轨迹P加入
(5.2.1.3.9)将nw从U中移除，将nw加入A。
(5.2.1.3.10)如果
结束结算；否则，重复(5.1.1.3.5)-(5.1.1.3.10)。
也可以使用其他最小路径算法。
(5.2.2)接下来，从步骤2生成的历史移动轨迹中筛选与既定目标同类型目标的移动轨迹集合
将既定目标的当前轨迹T＝(d1,d2,…,ds-1,ds)与集合
内的轨迹进行匹配。可以利用相似度sim衡量匹配程度。对路径集合
中的每条路径Pi，如果
且
则pi的相似历史轨迹为空(记作φ)，且排序得分为0。如果
且Pi∈Hobj，选取最大相似度作为路径Pi的排序得分。根据排序得分对集合
中的路径进行排序。
相似度的计算公式如下：
其中
是T和Hj的最长公共子序列，|ComTra(T,Hj)|和|T|分别是序列ComTra(T,Hj)的长度和序列T的长度。
用户可以根据需要对排序得分进行筛选，获得最可能的前k条轨迹。
(5.3)基于拟合的速度曲线预测未来的移动速度，预测既定目标穿越盲区的时间：
对(5.2.1)预测的每条轨迹
预测既定目标穿过盲区耗费的时间。
(5.3.1)对任意
根据步骤4利用(t1,2,v1,2),(t2,3,v2,3),…,(ts-1,s,vs-1,s)拟合既定目标的最佳速度曲线v＝f(t)，预测既定目标在Pi上的速度。如前文所述，记
利用v＝f(t)预测
时刻的平均速度
将与Pi最相似的历史轨迹的时间序列平移后估计时刻
(5.3.2)计算
(5.3.3)预测既定目标选择轨迹
的时穿越盲区的时间tpre：
tpre＝t(nlast,nlast+1)+t(nlast+1,nlast+2)+…+t(nlast+k-1,nlast+k)
其中，
(5.3.4)预测既定目标穿越盲区的最短和最长时间。基于(5.2.1)-(5.2.3)，可以计算既定目标选择任意可能的轨迹时穿越盲区的时间，筛选出其中的最小值和最大值，即可预测既定目标穿越盲区的最短和最长时间。
至此，可以在室外环境存在障碍物遮挡、光照条件差(如光线过强或者过弱)、监控设备损坏或不在工作状态等情况下有效预测既定目标的行为。即，当既定目标进入盲区后，计算出既定目标在盲区内可能穿行的轨迹及概率，并得到走出盲区后达到的第一个交通摄像头。同时，可以预测相应轨迹穿越盲区所耗费的时间。
以上所述仅为介绍本发明的实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内，所做的任何修改、等同替换(如车辆替换为行人、使用不同的拟合方法/拟合程度度量指标、使用不同的最小路径算法等)、改进等，均应包含在本发明保护的范围之内。
Claims (8)
1.一种室外盲区行为预测方法，其步骤包括：
1)根据目标区域的摄像头产生的历史交通视频数据生成历史移动轨迹；
2)生成的历史移动轨迹分析交通视频数据的时空关系，建立路网模型；其中，所述路网模型为G＝(NS,ES)，NS是路网中的节点集合，ES是节点之间边的集合，第i个摄像头表示为ci＝(camIDi,loci)，camIDi是ci的唯一标识符，loci＝(xi,yi)是ci的位置信息，每个摄像头ci抽象为路网的一个节点ni，节点ni内存储camIDi和loci，以camIDi作为节点ni唯一标识符；得到所述路网模型的方法为：对每个路网节点ni，筛选出包含节点唯一标识符ni.camID的历史轨迹，组成集合
根据轨迹上与ni.camID相邻的摄像头标识符dk-1.camID和dk+ 1.camID，建立相应节点间的有向边，即对于上述dk，如果k＝1，则构建dk.camID与dk+1.camID间的边，记为e＝(ni,n’)，其中dk+1.camID是节点n’的唯一标识符；如果k＝jm，则构建dk- 1.camID与dk.camID间的边，记为边e＝(n”,ni)，其中dk-1.camID是节点n”的唯一标识符；如果1<k<jm，则分别构建dk.camID与dk+1.camID间的边e’＝(ni,n’)和dk-1.camID与dk.camID间的边e”＝(n”,ni)，其中dk+1.camID是节点n’的唯一标识符，dk-1.camID是节点n”的唯一标识符；遍历所有路网节点，则得到所述路网模型；
3)基于目标区域摄像头采集的实时交通视频数据识别既定目标行为当前状态，包括位置、速度、方向；
4)如果既定目标进入盲区，则基于所述路网模型及既定目标行为状态，预测既定目标在盲区环境下的行为。
2.如权利要求1所述的方法，其特征在于，历史交通视频数据的数据组织模型为d＝(objID,objFeature,t,loc)；其中，d为移动目标，objID为移动目标d的唯一标识，objFeature为t时刻捕捉移动目标d的摄像头的唯一标识符，loc为移动目标d在t时刻的位置信息。
3.如权利要求2所述的方法，其特征在于，移动目标d为具有时空属性的采样参数值对象geoTimeParaValue、连续空间对象movingObj、跳变空间对象hoppingObj或快照空间对象snapshotObj。
4.如权利要求3所述的方法，其特征在于，步骤1)中，首先根据移动目标d的不同类型对所述历史交通视频数据分别进行存储，然后基于存储的历史交通视频数据生成历史移动轨迹；其中，时空属性的采样参数值对象组织模型表示为geoTimeParaValue＝(objID,spatialRange,tp,schemaValue)；连续空间对象组织模型表示为movingObj＝(objID,spatialRange,Fc:t→loc(obj))；跳变空间对象组织模型表示为hoppingObj＝(objID,spatialRange,Fu:t→loc(obj))；快照空间对象组织模型表示为snapshotObj＝(objID,spatialRange,t,loc(obj))；其中，objID是地理实体对象的标识，spatialRange是地理空间对象的空间信息，tp是一个时间点或时间段，schemaValue是地理空间对象在时间范围tp和空间范围spatialRange下的状态参数值，loc(obj)是地理实体对象的空间位置信息或几何形状，Fc:t→loc(obj)是从时间到空间位置的连续函数，Fu:t→loc(obj)是从时间到空间位置的非连续函数。
5.如权利要求1所述的方法，其特征在于，生成所述历史移动轨迹的方法为：首先从历史交通视频数据中识别移动目标的标识符；然后根据移动目标的标识符对数据进行聚类，得到若干簇；然后对每一簇内数据按时间顺序排序，产生对应移动目标的历史轨迹。
6.如权利要求1所述的方法，其特征在于，建立所述路网模型的方法为：首先基于各所述摄像头的位置信息构建路网的节点；然后基于历史轨迹构建路网节点之间的边，建立路网模型。
7.如权利要求1所述的方法，其特征在于，识别既定目标行为当前状态的方法为：首先基于实时交通视频数据抽取既定目标的位置信息以及识别既定目标的移动方向；然后基于既定目标当前轨迹的时空信息计算既定目标的平均移动速度；然后基于既定目标的平均移动速度拟合速度曲线。
8.如权利要求1所述的方法，其特征在于，预测既定目标在盲区环境下的行为的方法为：
41)基于既定目标的行为状态和路网模型预测既定目标穿过任一盲区的路径集合
42)从历史移动轨迹中筛选与既定目标同类型目标的移动轨迹集合
将既定目标的当前轨迹与集合
内的轨迹进行匹配；如果
且
则pi的相似历史轨迹为空，且排序得分为0；如果
且Pi∈Hobj，选取最大相似度作为路径Pi的排序得分；根据排序得分对集合
中的路径进行排序，然后集合
中保留排序得分最高的前k条轨迹；
43)对于每条轨迹
预测既定目标穿过盲区耗费的时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910961999.9A CN110738366B (zh) | 2019-10-11 | 2019-10-11 | 一种室外盲区行为预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910961999.9A CN110738366B (zh) | 2019-10-11 | 2019-10-11 | 一种室外盲区行为预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110738366A CN110738366A (zh) | 2020-01-31 |
| CN110738366B true CN110738366B (zh) | 2023-01-17 |
Family
ID=69269866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910961999.9A Active CN110738366B (zh) | 2019-10-11 | 2019-10-11 | 一种室外盲区行为预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738366B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000100A (zh) * | 2020-08-26 | 2020-11-27 | 德鲁动力科技(海南)有限公司 | 机器人的充电系统及方法 |
| CN114523978B (zh) * | 2020-11-03 | 2024-01-16 | 上海汽车集团股份有限公司 | 一种后方道路模型生成方法及装置 |
| CN114500952A (zh) * | 2022-02-14 | 2022-05-13 | 深圳市中壬速客信息技术有限公司 | 园区动态监控的控制方法、装置、设备和计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760958A (zh) * | 2016-02-24 | 2016-07-13 | 电子科技大学 | 一种基于车联网的车辆轨迹预测方法 |
| CN108245863A (zh) * | 2018-02-05 | 2018-07-06 | 宋彦震 | 滑雪盲区安全提示系统及其控制方法 |
| CN109034448A (zh) * | 2018-06-14 | 2018-12-18 | 重庆邮电大学 | 基于车辆轨迹语义分析和深度信念网络的轨迹预测方法 |
| WO2019145018A1 (en) * | 2018-01-23 | 2019-08-01 | Siemens Aktiengesellschaft | System, device and method for detecting abnormal traffic events in a geographical location |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6882287B2 (en) * | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
| CN106251625B (zh) * | 2016-08-18 | 2019-10-01 | 上海交通大学 | 大数据环境下立体城市交通路网全局状态预测方法 |
| CN109714709B (zh) * | 2019-02-25 | 2020-12-25 | 北京化工大学 | 一种基于历史信息的失联车辆位置预测方法和系统 |
-
2019
- 2019-10-11 CN CN201910961999.9A patent/CN110738366B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760958A (zh) * | 2016-02-24 | 2016-07-13 | 电子科技大学 | 一种基于车联网的车辆轨迹预测方法 |
| WO2019145018A1 (en) * | 2018-01-23 | 2019-08-01 | Siemens Aktiengesellschaft | System, device and method for detecting abnormal traffic events in a geographical location |
| CN108245863A (zh) * | 2018-02-05 | 2018-07-06 | 宋彦震 | 滑雪盲区安全提示系统及其控制方法 |
| CN109034448A (zh) * | 2018-06-14 | 2018-12-18 | 重庆邮电大学 | 基于车辆轨迹语义分析和深度信念网络的轨迹预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于道路网络的移动目标数据库模型;于秀兰等;《软件学报》;20030923;第14卷(第09期);全文 * |
| 基于交通路网的移动对象数据模型;赵慧等;《系统仿真学报》;20080920;第20卷(第18期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738366A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Santhosh et al. | Anomaly detection in road traffic using visual surveillance: A survey | |
| Xu et al. | Deep learning for multiple object tracking: a survey | |
| CN110738366B (zh) | 一种室外盲区行为预测方法 | |
| US10964031B2 (en) | Video analysis methods and apparatus | |
| CN112560609B (zh) | 路况预估方法、建立路况预估模型的方法及对应装置 | |
| US8294763B2 (en) | Method for building and extracting entity networks from video | |
| Castellano et al. | Crowd detection in aerial images using spatial graphs and fully-convolutional neural networks | |
| CN108898520B (zh) | 基于轨迹数据的学生安全监控方法和系统 | |
| KR101720781B1 (ko) | 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법 | |
| CN105405150A (zh) | 基于融合特征的异常行为检测方法和装置 | |
| CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
| Singh et al. | Eval: Explainable video anomaly localization | |
| CN117437599B (zh) | 面向监控场景的行人异常事件检测方法和系统 | |
| CN104134067A (zh) | 基于智能视觉物联网的道路车辆监控系统 | |
| CN114372503A (zh) | 一种集群车辆运动轨迹预测方法 | |
| Farooq et al. | Unsupervised video surveillance for anomaly detection of street traffic | |
| CN116592903B (zh) | 车路协同环境下群体偏好的生态驾驶路径实时规划方法 | |
| CN117953009A (zh) | 一种基于时空特征的群体性人员轨迹预测方法 | |
| Brax et al. | Finding behavioural anomalies in public areas using video surveillance data | |
| CN117078718A (zh) | 基于DeepSORT的高速公路场景中多目标车辆跟踪方法 | |
| CN114078319A (zh) | 一种检测交通事故隐患地点的方法及装置 | |
| CN112651992A (zh) | 一种轨迹追踪方法及系统 | |
| Sankaranarayanan et al. | Pre-processing framework with virtual mono-layer sequence of boxes for video based vehicle detection applications | |
| Zhang et al. | A Multiple Instance Learning and Relevance Feedback Framework for Retrieving Abnormal Incidents in Surveillance Videos. | |
| KR102382560B1 (ko) | 차량번호 인식기반 교통정보 통합 분석지원 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |