CN113190711A - 地理场景中视频动态对象轨迹时空检索方法及系统 - Google Patents

Abstract

一种地理场景中视频动态对象轨迹时空检索方法及系统，对视频图像中动态对象的检测、位置标记及子图提取并跟踪，获取动态对象轨迹信息；进行动态对象的连续单帧瞬时定位，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；对同一运动对象进行多相机连续定位，实现全局轨迹的获取；构建检索条件，给出轨迹样本与检索条件匹配的模型；分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将检索条件与全局轨迹进行匹配查询。本发明实现对跨相机运动目标全场景时空一体化检索，为视频GIS时空数据分析与可视化提供支持。

Description

地理场景中视频动态对象轨迹时空检索方法及系统

技术领域

本发明涉及视频与地理场景数据组织、地理场景中视频检索与视频动态对象检索等技术领域，具体涉及一种地理场景中视频动态对象轨迹时空检索方法及系统。

背景技术

监控视频能够记录地理场景中动态对象(行人、车辆等)的时序运动行为，刻画其运动轨迹。轨迹是动态对象活动路线的抽象概括，具有位置、方向等丰富的时空信息，通过轨迹检索可提升视频对象查询分析效率。由于不同监控相机视域存在空间隔断，导致出现在不同镜头中的动态对象轨迹时空不连续，检索困难。另一方面，视频GIS通过视频与地理信息融合，已经实现多相机视频图像的空间检索查询。在此基础上，如何基于统一的地理时空描述，发展视频目标轨迹层面的空间化检索方法，从轨迹数据中挖掘出对应不同潜在应用价值的内容，已经成为时空数据管理分析领域的一个重要研究课题。

与返回特定图像集合的视频图像检索不同，视频轨迹检索返回特定动态对象轨迹集合。当前的轨迹检索研究多聚焦于对图像内容本身的检索分析，忽视了相机时域之间的空间拓扑关系，无法对跨相机运动目标进行全场景时空一体化检索。因此，急需发展能够将视频轨迹与地理场景进行一体化描述与关联分析的检索方法，将多相机视频目轨迹作为独立地理对象进行检索，获得感兴趣相机、视频与轨迹集合。基于上述分析，亟需发展一种地理场景中视频动态对象轨迹时空检索的技术方案。

发明内容

为此，本发明提供一种地理场景中视频动态对象轨迹时空检索方法及系统，以解决由于不同监控相机视域存在空间隔断，导致出现在不同镜头中的动态对象轨迹时空不连续，检索困难，以及现有的轨迹检索研究多聚焦于对图像内容本身的检索分析，忽视了相机时域之间的空间拓扑关系，无法对跨相机运动目标进行全场景时空一体化检索的问题。

为了实现上述目的，本发明提供如下技术方案：第一方面，提供一种地理场景中视频动态对象轨迹时空检索方法，包括以下步骤：

对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；

基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的连续单帧瞬时定位，通过在每个相机的视域中，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；

基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；

基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；

基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；

基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，对视频图像中动态对象的检测采用的算法为Mask-RCNN，对视频图像中动态对象的跟踪采用的算法为CSRT。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述局部轨迹为所有的单帧瞬时空间位置的排列组合。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述跨相机重识别，及对同一运动对象进行多相机连续定位，包括以下步骤：

1)记Obj为地理场景中所有动态对象的总集合，在第k个相机视域中共有N_k个动态对象，每个动态对象在该相机拍摄范围内的局部轨迹为C_k,i，则C_k,i的表达式如下：

Obj＝{C_k,i,(k＝1,2…L)(i＝1,2,…,N_k)}

C_k,i＝{P_k,i,j,(j＝1,2,…,n)}

P_k,i,j表示第k个相机中第i个动态对象，在其出现的第j个视频帧中所在的地理空间位置；

2)当同一动态对象出现于不同的相机视域中，为表现动态对象跨相机关联情况，记L_o表示地理场景中动态对象的实际总数，每个动态对象在地理场景中的全局轨迹为Cube_i。Cube_i表达式如下：

Cube_i＝{C_k1,i,C_k2,i…C_ko,i…,(k1,k2,…ko)∈(1,2…L)}

Obj＝{Cube_i(i＝1,2,…,L_o)}(L_o≤L)

其中,Obj仍为地理场景中所有动态对象的总集合，Cube_i表示第i个动态对象在地理场景中的全局轨迹，由该动态对象在相机中的k1,k2,…ko局部轨迹为C_k1,i,C_k2,i…C_ko,i。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述空间约束的轨迹检索模式包括线检索、面检索、运动方向检索和相机路径检索；

所述时间约束包括描述动态对象出现时间和描述动态对象在地理场景中运动快慢的两种类型。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索在线检索模式下的步骤包括：

a1)分析检索线段与每个相机视域的空间关系：当检索线段与一个或者多个相机视域相交时，将对应的相机选出，并依照检索线段与相机视域的交点对检索线段进行分段，获得对应于每个相机的子检索线段；

a2)对于每个符合条件的相机，设置线检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis，将每个相机对应的子检索线段与该相机内局部轨迹比对，判断该相机视域内的每个局部轨迹与对应的子检索线段是否相似。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索在面检索模式下的步骤包括：

b1)分析检索面与每个相机视域的空间关系：若检索面与一个或多个相机视域交集不为空，将对应的相机选出；

b2)对于每个符合条件的相机，判断该相机中每个动态对象轨迹与检索面是否匹配。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索在运动方向检索约束条件下的步骤包括：

c1)对于每个相机中的局部轨迹进行运动方向分析：获取动态对象在该相机视域内的入口点与出口点；

c2)设置方向参数r₀，获取动态对象的运动方向Dir，分析运动方向Dir与检索条件是否匹配。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索在相机路径检索模式下的步骤包括：

d1)对相机路径向量O_i进行分解，得到通过的相机集合C_i(i＝1,2…)；

d2)分别返回每个相机中的所有动态对象。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，在空间检索的基础上，继续筛选符合时间约束的对象，实现视频对象轨迹逐相机时空检索；

对于时间段落检索，设检索时间段落为ΔT，若当前视频动态对象出现时间段落与ΔT交集不为空，则满足时间约束条件；

对于平均速度检索，通过计算动态对象在其所属相机视域内的地理空间平均速度，与检索条件比对，判断是否满足时间约束条件。

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，所述逐相机检索，对于不同的时空约束条件，全局轨迹检索步骤包括：

e)对于线检索，直接设置检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis，对每个动态对象全局轨迹与检索线段进行匹配，忽略相机间的盲区；

f)对于面检索，直接判断每个动态对象全局轨迹与检索面的之间的拓扑关系，忽略相机间的盲区，匹配返回检索结果；

g)对于运动方向检索，对每个动态对象全局轨迹，分析该轨迹在整个地理空间场景中的入口点与出口点的相对位置，设置方向参数r₀，获取动态对象的运动方向Dir，分析其与检索条件是否匹配；

h)对于相机路径检索，对每个条动态对象全局轨迹，获取其通过相机的次序O_i，与检索条件O_C进行比对，当O_i中的某个非空子集与O_C相同，确定当前全局轨迹与检索条件匹配；

i)对于相机路径检索，对每个条动态对象全局轨迹，获取其通过相机的次序O_i，与检索条件O_C进行比对，当O_i中的某个非空子集与O_C相同，确定当前全局轨迹与检索条件匹配；

j)在空间检索的基础上，继续筛选符合时间约束的轨迹对象，实现全局轨迹时空检索.

作为地理场景中视频动态对象轨迹时空检索方法的优选方案，对于时间段落检索：设检索时间段落为ΔT，设当前动态对象的全局轨迹Cube_i，若其所包含的任意一个局部轨迹C_k,i在其对应相机中的出现时间与检索时间段ΔT的交集不为空，那么当前动态对象满足时间约束条件；

对于平均速度检索进行如下处理：

k1)对于相机视域重叠的部分只取一个相机内的轨迹，避免重复计算；

k2)对相机间盲区，进行动态对象轨迹盲区推演，最后通过连接相机视域内的局部轨迹与盲区推演轨迹，计算当前动态对象全局轨迹

并与检索条件比对匹配。

第二方面，提供一种地理场景中视频动态对象轨迹时空检索系统，采用第一方面或其任意可能实现方式的地理场景中视频动态对象轨迹时空检索方法，该检索系统包括：

相机标定模块，用于对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；

局部轨迹生成模块，用于基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的单帧瞬时定位得到局部轨迹；

全局轨迹生成模块，用于基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；

检索条件构建模块，用于基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；

逐相机检索模块，基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；

全局检索模块，基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。

本发明具有如下优点：通过对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的连续单帧瞬时定位，通过在每个相机的视域中，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。本发明实现了对跨相机运动目标进行全场景时空一体化检索，通过将计算机视觉领域的视频目标检测、跟踪、重识别技术与地理空间分析相结合，辅助用户检索管理视频动态对象，理解视频内容；为视频GIS时空数据分析与可视化提供支持；同时为新型计算机科学技术在地理信息科学领域的应用提供借鉴与参考。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本发明实施例中提供的一种地理场景中视频动态对象轨迹时空检索方法流程图；

图2为本发明实施例中提供的一种动态对象瞬时位置、局部轨迹、全局轨迹示意图；

图3为本发明实施例中提供的一种轨迹线与检索线段相似性计算示意图；

图4为本发明实施例中提供的一种动态对象轨迹方向计算示意图；

图5为本发明实施例中提供的一种视频目标播放时间重排序示意图；

图6为本发明实施例中提供的一种检索线段分割示意图；

图7为本发明实施例中提供的一种相机盲区轨迹推演示意图；

图8为本发明实施例中提供的一种地理场景中视频动态对象轨迹时空检索方法架构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1，提供一种地理场景中视频动态对象轨迹时空检索方法，包括以下步骤：

S1、对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；

S2、基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的连续单帧瞬时定位，通过在每个相机的视域中，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；

S3、基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；

S4、基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；

S5、基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；

S6、基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。

本实施例中，对视频图像中动态对象的检测采用的算法为Mask-RCNN。Mask RCNN提出于2018年，是在Faster-RCNN的基础上改进后被用于解决图像实例分割的问题，能确定图片中各个目标的位置和类别，给出像素级预测。所谓实例分割，指的是对场景内的每种兴趣对象进行分割，无论它们是否属于同一类别——比如模型可以从街景视频中识别车辆、人员等单个目标。

本实施例中，对视频图像中动态对象的跟踪采用的算法为CSRT。CSRT能对运动画面有较好跟踪。

本实施例中，步骤S2中，所述局部轨迹为所有的单帧瞬时空间位置的排列组合。

步骤S3，所述的跨相机重识别并对同一运动对象进行多相机连续定位，其效果图如图2所示，具体包括以下步骤：

S30：记Obj为地理场景中所有动态对象的总集合，在第k个相机视域中共有N_k个动态对象，每个动态对象在该相机拍摄范围内的局部轨迹为C_k,i。C_k,i的表达式如下：

Obj＝{C_k,i,(k＝1,2…L)(i＝1,2,…,N_k)}

C_k,i＝{P_k,i,j,(j＝1,2,…,n)}

I_k,i,j与P_k,i,j分别表示第k个相机中第i个动态对象，在其出现的第j个视频帧中，所在的地理空间位置。

S31、同一动态对象可能出现于不同的相机视域中，为表现动态对象跨相机关联情况，记L_o表示地理场景中动态对象的实际总数，每个动态对象在地理场景中的全局轨迹为Cube_i。Cube_i表达式如下：

Cube_i＝{C_k1,i,C_k2,i…C_ko,i…,(k1,k2,…ko)∈(1,2…L)}

Obj＝{Cube_i(i＝1,2,…,L_o)}(L_o≤L)

其中,Obj仍为地理场景中所有动态对象的总集合，Cube_i表示第i个动态对象在地理场景中的全局轨迹，由该动态对象在相机中的k1,k2,…ko局部轨迹为C_k1,i,C_k2,i…C_ko,i。

具体的，步骤S4所述的从空间约束包括以下了四类空间约束的轨迹检索模式：线检索、面检索、运动方向检索、相机路径检索。步骤S4所述的时间约束有两种类型，一种是描述动态对象出现时间的，另一种是描述动态对象在地理场景中运动快慢的。时间检索条件通常与前述几种空间检索条件联合给出，构成时空约束，实现轨迹时空检索。空间约束具体包括以下内容：

S40、基于线检索的空间约束，通过绘制检索线段作为检索条件，分析动态对象时空轨迹与检索线段的相似度，匹配获得符合条件的轨迹作为检索结果。轨迹线与检索线段相似性计算，其效果图如图3所示：

轨迹线与检索线段相似性计算过程如下：

(1)设置如下三个参数以构建匹配模型：轨迹线与检索线段夹角Angle、轨迹线在检索线段上投影长度与检索线段长度比值Rate、轨迹线与检索线段偏离距离Dis。

(2)三个参数的计算方法如下：

Angle:

其中，Angle为向量

与向量

的夹角。

Rate：

其中，AB至检索线段MN的投影为MQ，Rate即线段MQ与线段MN长度的比值。

Dis:

其中，D_i表示轨迹段落AB之间的轨迹点到检索线段的距离,n代表A、B之间轨迹点的个数，Dis代表A、B之间所有轨迹点到检索线段距离的平均值。

匹配获得符合条件的轨迹，匹配算法如下：

(1)遍历所有动态对象的轨迹点，寻找并标记每个动态对象轨迹对应于检索线段两端最近的两点信息(动态对象的ID、轨迹坐标、帧数)；

(2)两点组成的向量与检索线段向量的夹角Angle及该向量在检索线段向量的投影与检索线段长度的比值Rate满足一定的阈值；

(3)将该轨迹线加入到待匹配轨迹组；

(4)遍历待匹配轨迹组；

(5)计算每条轨迹两端点之间所有轨迹点到检索线段的平均距离Dis；

(6)Dis满足预先界定的阈值条件；

(7)轨迹与检索线段匹配成功。

S41、基于空间约束的面检索，通过绘制闭合凸多边形作为检索面，分析动态对象轨迹与多边形的拓扑关系(相交、相离)，获得符合条件的动态对象作为检索结果。具体的匹配算法如图4所示。

面检索的具体的匹配算法过程入下：

记当前的检索面为Rec。

对每条轨迹C_k,i，依次判断其中的每个轨迹点P_k,i,j是否在Rec内。

如果某个点在Rec内，说明当前的轨迹与Rec存在相交的拓扑关系。

轨迹与检索面匹配成功，终止对当前动态对象中剩余轨迹点的判断。

如果不满足(2),不必执行(3)(4)(5)继续进行当前动态对象中剩余轨迹点的判断。

S42、基于空间约束的运动方向检索，使用自然语言描述的地理运动方向信息将此类描述信息转化为空间化的模型，与动态对象的时空轨迹匹配获得检索结果。自然语言采用格式化输入：

From Direction1 To Direction2

{Direction1,Direction2}＝{"East","West","North","South",}

其中，若Direction1与Direction2只取"East","West"或"North","South"，视为在"East-southdirection"或"North-southdirection"运动方向的动态对象检索；其它情况下，视为对"Oblique direction"运动方向的动态对象检索。

为获得Direction1与Direction2的数值，如图5所示计算每个动态对象时空轨迹在地理空间中的起点与终点连线，获得该连线与正东方向的正切值tanα。给出地理方向描述阈值r₀(0<r₀<1)，通过判断|tanα|与r₀、1/r₀的大小关系，判断动态对象轨迹在地理空间中的运动方向Dir，与检索条件进行匹配。

S43、基于空间约束的相机路径检索，对每个动态对象轨迹，构建其在地理空间中通过的相机路径向量O_i，并给出O_i的所有非空子向量集合O_i-s。O_i与O_i-s的关系举例描述如下：

O_i＝{(C₁→C₂→C₃)}

O_i-s＝{(C₁→C₂→C₃),(C₁→C₂),(C₂→C₃),(C₁→C₃)}

其中C₁,C₂,C₃为相机标识。相机路径检索条件记为O_C，若O_C与当前对象的相机路径子向量集O_i-s中的任意元素相同，则当前动态对象轨迹与检索条件匹配成功。

本实施例中，S5所述的逐相机检索，对于不同的时空约束条件，逐相机检索的具体步骤如下：

S50、对于线检索，逐相机检索的具体步骤如下：

(1)分析检索线段与每个相机视域的空间关系：当检索线段与一个或者多个相机视域相交时，将对应的相机选出，并依照检索线段与相机视域的交点对检索线段进行分段，获得对应于每个相机的子检索线段,具体见图6。

(2)对于每个符合条件的相机，设置线检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis。

(3)将每个相机对应的子检索线段与该相机内局部轨迹比对，判断该相机视域内的每个局部轨迹与对应的子检索线段是否相似。

S51、对于面检索，逐相机检索的具体步骤如下：

(1)分析检索面与每个相机视域的空间关系：若检索面与一个或多个相机视域交集不为空，将对应的相机选出。

(2)对于每个符合条件的相机，判断该相机中每个动态对象轨迹与检索面是否匹配。

S52、对于运动方向检索，逐相机检索的具体步骤如下：

(1)需要对每个相机中的局部轨迹进行运动方向分析：获取动态对象在该相机视域内的入口点与出口点。

(2)设置方向参数r₀，获取动态对象的运动方向Dir，分析其与检索条件是否匹配。

S52、对于相机路径检索，需要对相机路径向量O_i进行分解，得到通过的相机集合C_i(i＝1,2…)，分别返回每个相机中的所有动态对象。

S53、在空间检索的基础上，继续筛选符合时间约束的对象，实现视频对象轨迹逐相机时空检索。对于时间段落检索，设检索时间段落为ΔT，若当前视频动态对象出现时间段落与ΔT交集不为空，则满足时间约束条件。对于平均速度检索，通过计算动态对象在其所属相机视域内的地理空间平均速度，与检索条件比对，判断是否满足时间约束条件。

本实施例中，S6所述的全局轨迹检索，对于不同的时空约束条件，全局轨迹检索的具体步骤如下：

S60、对于线检索，直接设置检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis，对每个动态对象全局轨迹与检索线段进行匹配(忽略相机间的盲区)。

S61、对于面检索，直接判断每个动态对象全局轨迹与检索面的之间的拓扑关系(忽略相机间的盲区)，匹配返回检索结果。

S62、对于运动方向检索，对每个动态对象全局轨迹，分析该轨迹在整个地理空间场景中的入口点与出口点的相对位置，设置方向参数r₀，获取动态对象的运动方向Dir，分析其与检索条件是否匹配。

S63、对于相机路径检索，对每个条动态对象全局轨迹，获取其通过相机的次序O_i，与检索条件O_C进行比对，当O_i中的某个非空子集与O_C相同，说明当前全局轨迹与检索条件匹配。

S64、在空间检索的基础上，继续筛选符合时间约束的轨迹对象，实现全局轨迹时空检索。

S65、对于时间段落检索，具体步骤如下：

(1)设检索时间段落为ΔT，设当前动态对象的全局轨迹Cube_i。

(2)若其所包含的任意一个局部轨迹C_k,i在其对应相机中的出现时间与检索时间段ΔT的交集不为空，那么当前动态对象满足时间约束条件。

(3)对于平均速度检索：由于相机间存在视域的重叠与盲区，且大多数动态对象都存在跨相机运动。为有效计算动态对象在整个地理空间中的平均速度

。需要进行如下处理：

①对于相机视域重叠的部分只取一个相机内的轨迹，避免重复计算。

②对相机间盲区，需要进行动态对象轨迹盲区推演，具体如图7所示。已知1号相机视域为区域A，2号相机视域为区域B，当前动态对象在1号相机的局部轨迹C_1,i和在2号相机的局部轨迹C_2,i。假定动态对象从A区域向B区域运动，用有向线段连接动态对象离开A区域的最后一个轨迹点与进入B区域的第一个轨迹点，并计算两点的时间差与欧式距离，求得相机盲区轨迹C_1-2,i。

③最后通过连接相机视域内的局部轨迹与盲区推演轨迹，计算当前动态对象全局轨迹

，与检索条件比对匹配。

实施例2

参见图8，本发明还提供一种地理场景中视频动态对象轨迹时空检索系统，采用实施例1或其任意可能实现方式的地理场景中视频动态对象轨迹时空检索方法，该检索系统包括：

相机标定模块1，用于对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；

局部轨迹生成模块2，用于基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的单帧瞬时定位得到局部轨迹；

全局轨迹生成模块3，用于基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；

检索条件构建模块4，用于基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；

逐相机检索模块5，基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；

全局检索模块6，基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。

需要说明的是，上述地理场景中视频动态对象轨迹时空检索系统各模块/单元之间的信息交互、执行过程等内容，由于与本申请实施例中的方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述。

本发明通过对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的连续单帧瞬时定位，通过在每个相机的视域中，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。本发明实现了对跨相机运动目标进行全场景时空一体化检索，通过将计算机视觉领域的视频目标检测、跟踪、重识别技术与地理空间分析相结合，辅助用户检索管理视频动态对象，理解视频内容；为视频GIS时空数据分析与可视化提供支持；同时为新型计算机科学技术在地理信息科学领域的应用提供借鉴与参考。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“模块”或“平台”。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，包括以下步骤：

对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；

基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的连续单帧瞬时定位，通过在每个相机的视域中，将动态对象的所有瞬时空间位置的时序组合得到局部轨迹；

基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；

基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；

基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；

基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。

2.根据权利要求1所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，对视频图像中动态对象的检测采用的算法为Mask-RCNN，对视频图像中动态对象的跟踪采用的算法为CSRT。

3.根据权利要求2所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述局部轨迹为所有的单帧瞬时空间位置的排列组合。

4.根据权利要求3所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述跨相机重识别，及对同一运动对象进行多相机连续定位，包括以下步骤：

1)记Obj为地理场景中所有动态对象的总集合，在第k个相机视域中共有N_k个动态对象，每个动态对象在该相机拍摄范围内的局部轨迹为C_k,i，则C_k,i的表达式如下：

Obj＝{C_k,i,(k＝1,2…L)(i＝1,2,…,N_k)}

C_k,i＝{P_k,i,j,(j＝1,2,…,n)}

P_k,i,j表示第k个相机中第i个动态对象，在其出现的第j个视频帧中所在的地理空间位置；

2)当同一动态对象出现于不同的相机视域中，为表现动态对象跨相机关联情况，记L_o表示地理场景中动态对象的实际总数，每个动态对象在地理场景中的全局轨迹为Cube_i，Cube_i表达式如下：

Cube_i＝{C_k1,i,C_k2,i…C_ko,i…,(k1,k2,…ko)∈(1,2…L)}

Obj＝*Cube_i(i＝1,2,…,L_o)+(L_o≤L)

其中,Obj仍为地理场景中所有动态对象的总集合，Cube_i表示第i个动态对象在地理场景中的全局轨迹，由该动态对象在相机中的k1,k2,…ko局部轨迹为C_k1,i,C_k2,i…C_ko,i。

5.根据权利要求4所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述空间约束的轨迹检索模式包括线检索、面检索、运动方向检索和相机路径检索；

所述时间约束包括描述动态对象出现时间和描述动态对象在地理场景中运动快慢的两种类型。

6.根据权利要求5所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述逐相机检索在线检索模式下的步骤包括：

a1)分析检索线段与每个相机视域的空间关系：当检索线段与一个或者多个相机视域相交时，将对应的相机选出，并依照检索线段与相机视域的交点对检索线段进行分段，获得对应于每个相机的子检索线段；

a2)对于每个符合条件的相机，设置线检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis，将每个相机对应的子检索线段与该相机内局部轨迹比对，判断该相机视域内的每个局部轨迹与对应的子检索线段是否相似；

所述逐相机检索在面检索模式下的步骤包括：

b1)分析检索面与每个相机视域的空间关系：若检索面与一个或多个相机视域交集不为空，将对应的相机选出；

b2)对于每个符合条件的相机，判断该相机中每个动态对象轨迹与检索面是否匹配；

所述逐相机检索在运动方向检索模式下的步骤包括：

c1)对于每个相机中的局部轨迹进行运动方向分析：获取动态对象在该相机视域内的入口点与出口点；

c2)设置方向参数r₀，获取动态对象的运动方向Dir，分析运动方向Dir与检索条件是否匹配；

所述逐相机检索在相机路径检索模式下的步骤包括：

d1)对相机路径向量O_i进行分解，得到通过的相机集合C_i(i＝1,2…)；

d2)分别返回每个相机中的所有动态对象。

7.根据权利要求6所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，在空间检索的基础上，继续筛选符合时间约束的对象，实现视频对象轨迹逐相机时空检索；

对于时间段落检索，设检索时间段落为ΔT，若当前视频动态对象出现时间段落与ΔT交集不为空，则满足时间约束条件；

对于平均速度检索，通过计算动态对象在其所属相机视域内的地理空间平均速度，与检索条件比对，判断是否满足时间约束条件。

8.根据权利要求5所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，所述逐相机检索，对于不同的时空约束条件，全局轨迹检索步骤包括：

e)对于线检索，直接设置检索约束参数：角度参数Angle、比值参数Rate、距离参数Dis，对每个动态对象全局轨迹与检索线段进行匹配，忽略相机间的盲区；

f)对于面检索，直接判断每个动态对象全局轨迹与检索面的之间的拓扑关系，忽略相机间的盲区，匹配返回检索结果；

g)对于运动方向检索，对每个动态对象全局轨迹，分析该轨迹在整个地理空间场景中的入口点与出口点的相对位置，设置方向参数r₀，获取动态对象的运动方向Dir，分析其与检索条件是否匹配；

h)对于相机路径检索，对每个条动态对象全局轨迹，获取其通过相机的次序O_i，与检索条件O_C进行比对，当O_i中的某个非空子集与O_C相同，确定当前全局轨迹与检索条件匹配；

i)对于相机路径检索，对每个条动态对象全局轨迹，获取其通过相机的次序O_i，与检索条件O_C进行比对，当O_i中的某个非空子集与O_C相同，确定当前全局轨迹与检索条件匹配；

j)在空间检索的基础上，继续筛选符合时间约束的轨迹对象，实现全局轨迹时空检索。

9.根据权利要求8所述的一种地理场景中视频动态对象轨迹时空检索方法，其特征在于，对于时间段落检索：设检索时间段落为ΔT，设当前动态对象的全局轨迹Cube_i，若其所包含的任意一个局部轨迹C_k,i在其对应相机中的出现时间与检索时间段ΔT的交集不为空，那么当前动态对象满足时间约束条件；

对于平均速度检索进行如下处理：

k1)对于相机视域重叠的部分只取一个相机内的轨迹，避免重复计算；

k2)对相机间盲区，进行动态对象轨迹盲区推演，最后通过连接相机视域内的局部轨迹与盲区推演轨迹，计算当前动态对象全局轨迹

并与检索条件比对匹配。

10.一种地理场景中视频动态对象轨迹时空检索系统，采用如权利要求1至9任一项所述的地理场景中视频动态对象轨迹时空检索方法，其特征在于，该检索系统包括：

相机标定模块，用于对视频图像中动态对象的检测、位置标记及子图提取，基于跟踪算法对所述动态对象进行跟踪，并获取动态对象的轨迹信息；

局部轨迹生成模块，用于基于相机标定的结果，构建图像-地理空间映射模型，进行所述动态对象的单帧瞬时定位得到局部轨迹；

全局轨迹生成模块，用于基于动态对象重识别算法进行跨相机重识别，对同一运动对象进行多相机的连续定位，实现全局轨迹的获取；

检索条件构建模块，用于基于空间约束与时间约束，构建检索条件，并给出轨迹样本与所述检索条件匹配的模型；

逐相机检索模块，基于逐相机检索，通过分析检索条件与相机视域的空间关系，选出与检索条件匹配的相机，实现检索条件与每个相机中的视频轨迹匹配查询；

全局检索模块，基于全局轨迹检索，通过分析已构建的视频对象全局轨迹，将所述检索条件与全局轨迹进行匹配查询。

Images