CN105630897B - 一种内容感知的地理视频多层次关联方法 - Google Patents

Abstract

本发明涉及一种内容感知的地理视频多层次关联方法，包括以下步骤：a）统一多源地理视频的结构特征；b）解析以轨迹对象为载体的时空变化共性特征，建立结合内容语义和统一参考基准下地理语义的关联要素视图；c）提取包含时空变化特征的地理视频数据集，建立数据到关联要素的规则函数映射；d）基于规则判别地理视频数据实例的关联性并计算关联距离，依据关联层次属性逐层聚集地理数据并根据关联距离排序集合内数据对象。本发明可以支持综合地理视频内容相似和统一参考基准下地理相关的全局关联，进而提升监控网络系统中多路地理视频背后所蕴含的非连续和跨区域监控场景中多尺度复杂行为事件的认知计算能力与信息表达效率。

Description

一种内容感知的地理视频多层次关联方法

技术领域

本发明属于地理空间数据处理技术领域，特别是涉及一种内容感知的地理视频多层次关联方法。

背景技术

地理视频(GeoVideo)是包含地理时空参考信息的视频数据。作为时空表达的新媒体，地理视频影像具有对地理空间动态、实时和真实感表达的优势，符合人类直观感知和认知特点，已成为当前公共安全事件监测和应急管理所广泛采用的重要地理空间数据类型。在监控网络基础设施大规模建设的背景下，以非结构化流媒体为源数据形式地理视频已包含总量PB级甚至EB级的历史档案和实时接入的大规模密集型视频流，其动态、海量、非结构化的复杂数据集兼具体量大、类型多、变化速度快的外部特征和高维关联、低价值密度、非平稳的内部特征。应急管理的实时性、综合性与知识性亟需有效的地理视频处理技术，支持数据的快速整合，特别是数据中信息与知识的高效理解。

特定摄像机所获取的地理视频数据是动态城市环境在特定尺度“时空窗口”(即摄像机成像的局域时空范围和视角)中的映射，反映城市环境不同的并行变化片段，视频数据内容因此具有相对于地理环境的时空局域性。但是，监控网络系统中面向城市地理环境整体获取的多路地理视频具有多时空尺度、多视角以及多方位全局展示城市地理监控场景的独特性。由于人们对复杂公共安全事件的认知是一个随时空尺度增长而层级递进的过程，面向城市地理环境整体获取的多路地理视频由此具有其独特的信息与知识价值，即数据内容背后对应的局部小尺度、阶段中尺度和多阶段联合的全局大尺度共同构成的多尺度复杂公共安全事件信息。

然而，长期以来，监控视频的管理多采取以行政区划为数据组织单元，以交管、公安等职能部门为组织单位的数据流分散、独立存档模式，形成了地理区域间孤立的数据集；传统地理视频处理方法也主要局限于以摄像机为处理单位，将每一个摄像机获取的视频数据作为基本数据对象和独立处理单元。随着城市环境日趋复杂，公共安全事件逐步呈现出时间上多频次、空间上跨区域的多尺度流动性，以及多阶段演化、单体引发群体等多因素复杂性的新特征。这些特征一方面使涉案地理视频的时空范围从局部扩大到整体，迫使现有数据组织管理方式下的视频数据的处理范围和数据量急剧膨胀，大数据量和低价值密度的矛盾日益突出；另一方面还使涉案视频的内容特征从局部图像相似发展为全局内容相关，且相关性呈现地理空间局部稠密与全局稀疏特征。现有分散独立存档和局部解析分析的地理视频数据处理模式因而割裂了数据内容的整体性，严重制约了其知识的高效表达能力。因此，为支持涉案地理视频数据的高效整合和公共安全事件的深度理解，针对公共安全事件跨时空区域的分散性和地理视频自身内容与现有处理方式的局域性特征，如何实现提升数据价值密度的同时，建立地理视频在局部图像(图像序列)小尺度和地理空间大尺度间的全局关联成为发挥其安防价值的前提，因而也是当前地理视频处理技术亟需解决的关键问题。

地理空间数据关联的要点是关联要素的确定和映射规则的建立。地理视频作为一种典型的地理空间数据，其现有关联方法主要集中在地理信息系统(GeographicInformation System,GIS)和计算机两个领域。

(1)GIS领域的相关方法主要面向地理视频与空间数据的关联，其中，空间数据主要采用全球定位系统(Global Positioning System,GPS)获取的摄像机时空参考信息。根据关联要素的不同，可以分为基于时间戳索引的时间关联模式和基于摄像机定位信息的位置关联模式。

由于GIS长期面向具有结构性、体量有限性和静态持久性特征的传统空间数据进行表达、组织存储和管理研究，在数据结构上不仅几乎没有涉及非结构化数据类型，也缺乏对空间和属性信息连续综合变化的地理对象或地学现象的成熟表达方法。因此，难以实现结构化地理实体数据和与之异构的，具有非结构化、连续并无限增长特性的流质地理视频数据的统一表达、管理和分析。地理视频和地理实体间矛盾与对立的数据特征使传统VideoGIS长期将地理视频作为一个整体表达为地理实体数据的多媒体属性，GIS领域的地理视频关联方法中所采用的关联要素也由此局限于拍摄地理视频的摄像机时空参考信息，进而在整体视频流的数据粒度层次建立时间维度或空间位置维度的摄像机时空参考元数据关联映射。这些关联方法虽然为地理视频影像与时间点/空间位置的映射和交互检索等提供了外部关联的基础，但相较于含义丰富的高维视频内容，其支持关联信息项单一，仅适用于将整体地理视频数据与摄像机GPS时间或定位信息间的相互调用与查询，难以支持视频内容中监控对象、监控区域与地理环境信息的关联，特别是难以支持低价值密度的地理视频内容中非连续和跨区域监控场景动态演化过程的关联。

(2)计算机领域的相关研究虽然面向视频内容，但主要侧重于以视频图像中所能识别的实体对象(包括图形对象和语义实体对象)为关联要素，从局部时空关系角度，建立其在单帧视频图像内或连续有限视频帧间的时空关联映射。

计算机领域的研究虽然涉及视频内容中图形对象、语义对象及其时空关系，但由于其主要面向特定场景中对象识别、跟踪和事件探测等微观尺度或小尺度中的局域问题，在数据的关联方法中主要采用实体对象的距离和方位等空间关系为关联要素，进而在视频帧的粒度层次建立独立视频帧间对象特征的相似性关联或连续视频序列中对象的局部空间关联。这些关联方法缺乏对面向复杂动态监控场景的视频内容在地理空间宏观格局中的语义和语境思考，难以支持跨时空区域问题所需要的语义关联，特别是离散时空窗口下面向多尺度地理问题的视频内容关联。由于与局部数据对应的是对象在特定地点的短时行为，因此难以实现对数据中所蕴含的多尺度复杂行为事件信息的理解。

发明内容

本发明的目的在于提供一种内容感知的地理视频多层次关联方法。具体针对多时空尺度城市环境下整体获取的多路地理视频，提供一种面向数据内容时空变化的地理视频多层次语义关联方法。所述时空变化是指公共安全监测重点关注并能通过序列图像的特征增量解析的人类活动和活动依托的地理环境变化，具体包括地理实体对象的位置迁移、对象外观形态的改变以及对象所处背景环境结构特征的改变。

本发明的技术方案包括以下步骤：

一种内容感知的地理视频多层次关联方法，其特征在于：基于三个结构粒度层次的地理视频数据对象：

对象一：地理视频帧(GeoVideo Frame,GVF)，用于解析地理视频内容时空变化的最小结构粒度；

对象二：地理视频镜头(GeoVideo Shot,GVS)，用于记录时空变化特征并用于建立地理视频数据关联关系的基本结构粒度；

对象三：地理视频镜头组(GeoVideo Shot Group,GVSG)，用于保存多层次关联结果的结构粒度，称为地理视频镜头组；具体包括以下步骤：

步骤1，地理视频结构解析：结构化各路待处理地理视频数据为统一特征项表达的GVF序列；GVF对象以栅格图像为基础数据，以各项特征项为元数据；根据现有图像处理算法处理需要，将特征项统一表达为成像特征、结构特征、图像特征和应用特征四类；统一的特征项用于支持步骤2中基于图像特征增量的时空变化解析；其中，GVF统一表达的特征项包括以下4类：

步骤1a，成像特征项：记录摄像机成像的时空参考信息，用于成像空间到地理空间的映射；

步骤1b，结构特征项：记录GVF图像实例化固有属性，作为视频内容解析的前提条件；

步骤1c，图像特征项：记录GVF图像的可视特征，用于视频内容解析；

步骤1d，应用特征项：记录专题领域应用相关的图像分割约束条件与分割规则，作为视频内容解析的约束条件。

步骤2，地理视频内容解析：依次解析步骤1输出的统一特征项表达的各路GVF序列数据内容，提取内容中的共性时空变化特征；包括状态变化的地理实体解析步骤，以及针对经过地理实体解析步骤处理后得到的地理实体进行的地理实体的行为过程解析步骤；采用面向对象的方法保存时空变化特征为地理实体对象和行为过程对象；

其中，所述地理实体对象以状态图像集为载体，记录其描述对象个体特征的内容语义项和描述各状态统一基准下位置特征的地理语义项；

其中，所述行为过程对象以时空轨迹为载体，记录其描述行为动作类型的内容语义项和描述统一基准下位置关系变化模式的地理语义项；

并且，创建对象实例的同时，保存其与原始地理视频帧的解析映射关系；语义解析用于提取融合内容语义和统一参考基准下地理语义的时空变化特征，作为步骤3语义清洗的参考信息和步骤4语义关联的关联要素。

步骤3，地理视频语义清洗：基于步骤2解析得到的两类时空变化特征，从步骤1输出的各路GVF序列数据中提取包含时空变化特征对象的地理视频数据集，构建为GVS；所述GVS对象以连续GVF子序列为基础数据，以时空变化特征对象为语义元数据；语义清洗实现对有效地理视频数据的提取并建立地理视频数据到语义关联要素的规则函数映射。

步骤4，地理视频语义关联。利用步骤3构建的GVS语义元数据的内容相似性和地理相关性，生成基于多层次事件的GVS语义关联关系，所述事件指公共安全监测任务中呈现专题特征的时空变化集，所述多层次指用户能从“随时空尺度增长而扩大的时空变化集”中层级递进理解的时空变化的专题特征；利用关系的层次性逐层递进地聚合关联GVS，构建为GVSG，所述GVSG对象以关联的GVS为基础数据，以相应层次的事件对象为语义元数据；保存GVSG作为已知信息用于后续数据组织与检索。

在上述的一种内容感知的地理视频多层次关联方法，所述步骤2中，状态变化的地理实体解析的实现方式包括以下步骤：

步骤2.1，提取地理实体状态前景图像。采用运动目标检测通用技术，包括按照基本原理划分的适用于固定成像窗口的背景差分法、帧间差分法、光流法等和适用于变化成像窗口的全局运动估计与补偿建模法中的一种或多种组合，从GVF图像中解析出地理实体对象的个体状态。

步骤2.2，优化地理实体状态信息。采用图像去噪通用技术，包括形态学算子、均值滤波、中值滤波、维纳滤波等中的一种或多种组合，补偿步骤2.1提取结果中错检、漏检的像素，强化地理实体的状态信息。

步骤2.3，全局冗余的对象特征识别与状态映射。利用专题领域分类器对全局范围内提取的地理实体状态进行地理实体对象个体识别，保存每个地理实体对象为描述个体特征的一组内容语义项和一组对应各状态的位置的地理语义项，每个状态的位置包括像素位置、空间位置和语义位置，所述空间位置基于全局统一的时空参考基准表达，所述语义位置基于全局统一的定位空间划分域表达，同时保存语义位置在定位空间划分域中的层次关系和联通关系。

在上述的一种内容感知的地理视频多层次关联方法，所述步骤2中，地理实体的行为过程解析的实现方式包括以下子步骤：

步骤2.4，提取地理实体移动行为轨迹。采用运动目标跟踪通用技术，包括按照跟踪要素划分的基于轮廓的跟踪法、基于特征的跟踪法、基于区域的跟踪法和基于模型的跟踪法等中的一种或多种组合，从GVF序列中跟踪地理实体对象在二维图像空间包含时间标签的序列点轨迹，轨迹数据的优点是兼具变化过程的内容要素和时空要素。

步骤2.5，优化轨迹形态。采用移动平均法平滑步骤2.4提取结果中的序列点，用以去除轨迹抖动。

步骤2.6，增强轨迹时空特征。利用GVF的成像特征和结构特征将步骤2.5处理结果中二维图像空间的点序列轨迹映射到统一时空参考基准的高维特征空间，所述高维特征至少包括三维空间和时间；统一的时空参考基准用于将时空离散分布变化过程映射到统一地理框架中，提供全局关联和整体解析的基础。

步骤2.7，划分连续轨迹片段。通过设置全局时空评价值从步骤2.6映射结果中划分出连续轨迹片段，其中，n为高维特征空间的维数，Si为轨迹在第i维特征空间上的特征值区间；EVAL用以控制全局多轨迹时空特征的区分度。

步骤2.8，增强轨迹语义。对步骤2.7划分结果中的连续轨迹片段，逐一挖掘其内容语义和统一参考基准下的地理语义：

步骤2.8.1，对时空特征增强的连续轨迹片段，计算其局部结构特征和全局统计特征，利用现有基于上述特征阈值的专题行为模型判别所对应的专题动作类型，保存T_{OID_4d}、特征阈值和动作类型为轨迹内容语义；

步骤2.8.2，利用轨迹结构特征、轨迹运动趋势与语义位置的相对空间关系变化判别轨迹运动模式，所述轨迹运动模式包括以语义位置为参照的离开/抵达、来自/去往、接近/远离、进/出/穿越、经过/伴随/绕过、环绕/折返、徘徊/穿梭，保存轨迹运动模式和所参照的语义位置为轨迹地理语义。

在上述的一种内容感知的地理视频多层次关联方法，所述步骤3的实现方式包括以下子步骤：

步骤3.1，抽取有效数据集。依次抽取原始GVF序列中与各地理实体对象状态具有解析映射关系的GVF对象，精简有效数据；

步骤3.2，构建GVS数据对象。提取步骤3.1抽取结果中与任意行为过程对象具有解析映射关系的连续GVF构建GVS对象；保存各GVF全局唯一编码为GVS的基础数据的同时，保存行为过程对象及相应地理实体对象为该GVS的语义元数据。当不同行为过程对象所对应的GVF序列存在区间重叠时，本发明方法以行为过程对象的完整性为评价指标，允许不同GVS对象重复引用步骤3.1抽取结果中的GVF的FID。

在上述的一种内容感知的地理视频多层次关联方法，所述步骤4的实现方式包括以下子步骤：

步骤4.1，建立面向任务的事件层次。所述事件层次包括共性特征：事件标签E、事件规则Ru；根据公共安全监测对时空变化的理解任务，设定事件层次创建与各层次对应、具有层次关系的事件标签E＝{e1,e2,...,eN}；抽取GVS语义元数据(GVS_s)为内容语义元组(T_c)和地理语义元组(T_g)，即GVS_s＝{T_c,T_g},T_c＝{SC_e,SC_b},T_g＝{SG_e,SG_b}；从T_c的相似性和(或)T_g的相关性角度建立从GVS_s到各层次事件标签E的映射关系Ru＝{r1,r2,...,rN}，其中，

其中，T_c的相似性通过内容特征项差值判别；T_g的相关性通过轨迹运动模式参考位置的时空分布距离和位置概念的层次关系以及联通关系判别。

步骤4.2，解析基于事件层次的GVS语义元数据关联关系。基于各GVS_s语义项取值，以Ru作为关联性的判别依据，解析判别各GVS_s在各事件层次的关联性；保存满足任一层次事件规则rn,n＝{1,2,…,N}的两两GVS_s的关联关系Rij(if_i≠j)，将相应事件层次标签赋值为其关联属性，即Rij＝{en}；

步骤4.3，元数据语义关联的GVS层次聚合。根据Rij关联属性的层次性，自底向上，依次聚合GVS，高层次的聚合过程继承低层次的聚合结果，构建为多层次GVSG对象，保存各GVS全局唯一编码为GVSG的基础数据；

对各事件层次中的聚集单元，通过计算在事件层次n中的语义距离：Dijn,i≠j,n＝{1,2,…,N}进行排序，Dijn采用如下公式：

其中，ΔT_ij为两两GVS_s在统一时间参考基准和时间粒度下的时间距离，sgn(ΔT_ij)为ΔT_ij的时间次序，其正负决定语义距离的方向；|Δt_{cn_ij}|和|Δt_{gn_ij}|分别为两两GVS_s在rn映射中内容语义项差值和地理语义项差值；W_t,W_c,W_g为给定权重向量；保存以该层次事件标签en、事件规则rn和排序的GVS_s为构成项的事件对象，为该GVSG的语义元数据。

本发明具有如下优点：从公共安全监测重点关注的时空变化角度提供了一个面向地理视频内容的关联要素视图，提供了关联要素的解析方法与数据的关联方法。在建立地理视频数据与关联特征规则映射的同时，突出了地理视频面向公共安全事件内容特征，避免了直接理解原始数据的冗繁细节，解决了现有地理视频关联方法关联粒度单一、关联要素单一，无法处理地理视频内容低价值密度特征的问题；同时，利用兼具空间、时间和属性特征的轨迹对象作为关联要素语义解析的载体，融合了内容语义和统一参考基准下的地理语义，为现有地理视频关联方法难以面向数据内容实现局部图像(图像序列)小尺度和地理空间大尺度间的全局关联问题提供了解决方案。本发明方法可以提高网络监控环境地理视频数据中多尺度安全事件的理解效率，也有助于发展多地理视频面向事件任务的关联约束组织检索策略。

附图说明

图1本发明方法原理示意图。

图2本发明方法步骤流程图。

图3a本发明方法实施例处理过程示意图(统一数据格式、内存形式和特征项表达的结构化地理视频帧序列图)。

图3b本发明方法实施例处理过程示意图(作为关联要素的地理视频时空变化特征示意图)。

图3c本发明方法实施例处理过程示意图(规则映射到关联要素的地理视频镜头示意图)。

图3d本发明方法实施例处理过程示意图(多层次事件关联的地理视频镜头组示意图)。

具体实施方式

本发明针对多时空尺度城市环境下整体获取的多路地理视频，提供一种数据内容感知的地理视频多层次语义关联方法。

以下结合附图阐述本发明方案原理。

如图1所示，本发明技术方案的原理是：针对现有方法采用单一时空标签关联导致关联能力不足的问题，面向地理视频内容时空变化的共性特征，解析综合地理视频内容语义和统一参考基准下地理语义的多元关联要素，保存为地理视频语义元数据；在此过程中，采用统一地理框架中融合空间、时间和属性信息的轨迹对象作为关联要素的载体，不仅降低了地理视频内容在时间、空间和属性上信息关联的复杂度，还克服了时空属性分立对于挖掘地理视频内容变化过程关联性的局限；可以挖掘地理视频在局部图像(图像序列)小尺度和地理空间大尺度间的全局关联关系。然后，从地理视频内容相似和地理相关的角度，建立基于多层次事件的地理视频语义元数据关联映射，并依据映射关系逐层递进地聚合关联地理视频。

本发明方法中，地理视频内容的时空变化指公共安全监测重点关注且能通过序列图像的特征增量解析的人类活动和活动依托的地理环境变化，具体包括地理实体对象的位置迁移、对象外观形态的改变以及对象所处背景环境结构特征的改变。

以下结合实施例并附图详细说明本发明技术方案。

如图2所示，本发明方法的步骤流程是首先面向公共安全监测重点关注的时空变化，解析地理视频内容的共性变化特征；然后，基于与变化特征的解析关系清洗原始地理视频数据并构建地理视频数据关联所采用的基本结构粒度，记录基本结构粒度数据对象和变化特征的函数关系，保存变化特征为语义元数据；在此基础上，以变化特征为关联要素，面向任务建立变化特征项与事件规则的多层次形式化映射；最后，基于映射关系并利用解析获取的各特征值判别地理视频数据的关联性、计算关联距离，并依据关联关系层次聚集。特别地，本发明利用融合空间、时间和属性信息的轨迹对象作为变化特征的载体，不仅降低了地理视频内容在时间、空间和属性上信息关联的复杂度，还克服了时空属性分立对于处理地理视频内容变化过程信息上的局限；可以实现综合地理视频内容相似和统一参考基准下地理相关的全局关联，进而支持监控网络系统中多路地理视频背后所蕴含的非连续和跨区域监控场景中多尺度复杂行为事件的认知计算能力与信息表达效率。

本发明方法的处理流程将依次涉及三个结构粒度层次的地理视频数据对象：

对象一：将用于解析地理视频内容时空变化的最小结构粒度，称为地理视频帧(GeoVideo Frame,GVF)；

对象二：将用于记录时空变化特征并用于建立地理视频数据关联关系的基本结构粒度，称为地理视频镜头(GeoVideo Shot,GVS)；从GVF到GVS层次：①在视频数据层面可视为从图像到图像序列的扩展；②在视频内容层面则对应了从静态状态到动态过程的记录。

对象三：将用于保存关联结果的结构粒度，称为地理视频镜头组(GeoVideo ShotGroup,GVSG)。从GVS到GVSG层次：①在视频数据层面可视为从小尺度、局部连续的视频序列到跨时空区间地理视频集的扩展；②在视频内容层面则对应了从特定地点的短时动态过程到跨时空区域、多尺度复杂事件信息的表达。相对于传统由单摄像头记录的物理上连续的视频对象，地理视频镜头组可视为一个更广义的虚拟视频对象，该对象的“广义性”指从对“数据获取物理连续性”的支持扩展到对“数据内容逻辑相关性”的支持，可以包含来自相同或不同摄像机的地理视频镜头。

本发明实施例面向室内公共安全监控专题，以“入室盗窃”可疑人员移动行为监控任务。相较于室外环境，室内环境具有更为立体的空间拓扑结构、更加复杂且空间密集的功能语义划分与语义关系。

如图3所示，本发明实施例的实现过程包括以下步骤：

步骤1，接入各路待处理原始地理视频数据的同时，将其结构化为统一特征项表达的地理视频帧序列(GVF)(图3a))。原始地理视频数据可以是实时接入的监控视频流，也可以是分布式存储的监控视频档案，原始地理视频可能由于数据获取设备、传输条件和存储环境的不同，在数据格式、数据内容、数据精度和时空分辨率等方面存在差异。地理视频结构化即以摄像机为处理单位，对接入的原始数据进行信息抽取和格式转换的预处理：将具有差异性数据特征的原始监控视频统一转换为以栅格图像为基础数据，并统一信息特征项信息的地理视频帧序列，序列内部的地理视频帧按照时间次序组织，以数组形式存储。

地理视频结构化的预处理过程的目的是为“基于图像特征增量的时空变化解析”提供统一形式的数据基础构型，以便于利用现有图像处理算法进行快速、自动的分析处理。

本发明实施例的地理视频帧以BMP为基础栅格图像存储格式，并统一记录以下4类特征项：

步骤1a，成像特征项：帧对象统一时空参考基准下成像时刻、摄像机位置、方位、姿态；

步骤1b，结构特征项：帧对象的编码格式、帧率、码率、尺寸、分辨率；

步骤1c，图像特征项：帧图像的颜色特征组、几何特征组、纹理特征组；

步骤1d，应用特征项：实体对象“人员”、“建筑结构”、“室内功能空间”等的图像分割约束条件与分割规则。

步骤2，解析各路GVF序列数据内容包含的时空变化特征：“状态变化的地理实体”和“地理实体的行为过程”。采用面向对象的方法保存时空变化特征为地理实体对象和行为过程对象，所述地理实体对象以状态图像集为载体，记录其描述对象个体特征的内容语义项(SC_e)和描述各状态统一基准下位置特征的地理语义项(SG_e)；所述行为过程对象以时空轨迹为载体，记录其描述行为动作类型的内容语义项(SC_b)和描述统一基准下位置关系变化模式的地理语义项(SG_b)；创建对象实例的同时，保存其与原始地理视频帧的解析映射关系(图3b))。

本发明实施例解析的状态变化的地理实体主要为“人员”对象，执行以下解析步骤：

步骤2.1，采用现有运动目标检测技术，从GVF图像中解析出“人员”对象的个体状态。现有运动目标检测方法根据基本原理可主要划分为适用于固定成像窗口的背景差分法、帧间差分法、光流法等和适用于变化成像窗口的全局运动估计与补偿建模法。其中，背景差分法既能满足对人员状态位置和轮廓的提取需求，也很好地适应室内监控场景实例中各摄像机位置、姿态和成像参数等成像特征项固定，监控场景背景扰动小的特点，因此，本发明实例采用一种被广泛使用的背景差分法(Stauffer C,Grimson E.Tracking-BasedAutomatic Object Recognition[J].Artificial Intelligence Laboratory,Massachusetts Institute of Technology,Cambridge,MA http://www.ai.mit.edu,2001:133-134)提取“人员”状态的前景图像。

步骤2.2，采用现有图像去噪技术，对“人员”状态的前景图像进行优化处理，去除由于移动速率不均衡而可能出现的状态内部空洞或轮廓的扩大现象。现有图像去噪可以采用包括形态学算子和各类滤波算法执行。其中，本发明实例考虑形态学算子能较好地针对状态信息的局域性，去除状态内部空洞的像素和轮廓扩大的像素，因此，本发明实例采用形态学算子，具体针对每一幅人员状态前景图像，依次采用向下采样、竖直方向膨胀、竖直方向腐蚀和向上采样4个形态学算子的组合去除噪声，强化对象状态。

步骤2.3，全局冗余的对象特征识别与状态映射。利用专题领域分类器对全局范围内提取的地理实体状态进行“人员”个体识别；专题领域分类器通过应用特征项关联，每个“人员”对象记录为：

步骤2.3a：表达个体特征的一组内容语义项(SC_e)

全局对象唯一标识码OID；

类型编码：ACE；

专题对象类型：enum{外来人员，本地人员}；

性别：enum{男，女}；

年龄段：enum{儿童，少年，青年，中年，老年}；

脸型：enum{圆型，方型，梨型，长型，钻石型，心型}；

着装：{类型，款式，花色}；

发型：{enum{长，中长，短}，enum{直，卷}}；

体型：{enum{高，中等，矮}，enum{胖，瘦}}；

体表特殊标记；

步骤2.3b：一组对应各状态的位置的地理语义项(SG_e)，定位像素点可选择如对象矩形外轮廓底边中点等特征点：

{位置}

位置i＝{像素位置，空间位置，语义位置}

像素位置：{Xi,Yi}；

空间位置：{xi,yi,zi}；

语义位置：{建筑结构部件，室内功能空间}；

i.像素位置基于图像局部空间表达；

ii.空间位置基于全局统一的时空参考基准，如常用投影坐标系统高斯－克吕投影等，同时，统一空间粒度，即统一精度和单位，如常用的米；空间位置通过像素位置和帧对象成像特征中的摄像机位置、方位、姿态求解获得；

iii.语义位置以城市地理标识语言OGC CityGML和室内多维位置信息标识语言OGC IndoorGML的国际标准中室内对象类型的概念，包括为室内功能空间位置和建筑结构部件位置；语义位置通过空间位置与基于全局统一的室内定位空间划分域的关系求解获得；同时保存语义位置在全局统一的室内定位空间划分域中层次关系和联通关系。

本发明实施例解析的地理实体的行为过程主要为“人员”对象的移动行为过程，以行为轨迹为特征载体，执行以下解析步骤：

步骤2.4，采用现有运动目标跟踪技术，从GVF序列中跟踪“人员”对象的移动行为轨迹。现有运动目标跟踪方法根据跟踪要素可主要划分为基于轮廓的跟踪法、基于特征的跟踪法、基于区域的跟踪法和基于模型的跟踪法等。其中，考虑“人员”对象显著视觉外观特征体现在颜色信息上(如服装、发色等)，因此，本发明实施例采用一种基于运动物体颜色信息进行跟踪的算法(Bradski G R.Computer vision face tracking for use in aperceptual user interface[J].1998)从各连续GVF序列中提取“人员”对象在局部成像空间包含时间标签的序列点轨迹{T_OID}，提取的任意一段轨迹数据表达为：

步骤2.5，采用移动平均法(Moving Average Method)平滑{T_OID}中的序列点，用以去除轨迹抖动；考虑轨迹点的等价性和误差的随机性，本实施例采用各元素的权重都相等的简单移动平均法，时距项数N＝3，即对每个点的处理以前后两个点为参照，保存各优化后的点序列为{T_OID}’，任意一段轨迹数据表达为：

步骤2.6，利用GVF元数据中的成像特征项和结构特征项，将{T_OID}’映射到高维空间，本实施例采用拍摄视频时相机的空间参考和摄像机成像参数将{T_OID}’映射到统一时空参考基准的三维空间和时间特征空间(X,Y,Z,T)，得到4维特征空间中的轨迹点序列{T_4d}，任意一段轨迹数据表达为：

其中，统一的时空参考基准用于将时空离散分布行为过程映射到统一地理框架中，提供全局特征关联和整体内容解析的基础。

步骤2.7，以全局最小为指标(Si为轨迹在第i维特征空间上的特征值区间)，从{T_4d}中划分连续轨迹片段集合{T_4d}’，任意一段轨迹数据表达为：

其中，全局最小的EVAL保证多轨迹间最大的时空区分度。

步骤2.8，对集合{T_4d}’中的轨迹，逐一计算其结构特征和统计特征，并创建与之相应的移动行为过程对象，本实施例计算以下特征项：

结构特征项：局部方位、转角、速度、加速度；

统计特征项：结构特征的全局最值、均值、方差；

基于特征特征值依次执行以下子步骤：

步骤2.8.1，利用基于以上特征作为参数的模糊行为模式识别模型(王晓峰,张大鹏,王绯,等.基于语义轨迹的视频事件探测[J].计算机学报,2010,10:009.；窦丽莎.GPS轨迹信息的语义挖掘[D].山东理工大学,2013)，挖掘轨迹中停留、步行、跑步的行为动作，模型中对应各动作类型的参数取值由历史统计数据确定，保存T_{OID_4d}、特征阈值和动作类型为行为过程对象的内容语义项；

步骤2.8.2，利用轨迹结构特征、统计特征轨迹运动趋势与语义位置的相对空间关系变化判别轨迹运动模式，所述轨迹运动模式包括以语义位置为参照的离开/抵达、来自/去往、接近/远离、进/出/穿越、经过/伴随/绕过、环绕/折返、徘徊/穿梭，保存轨迹运动模式和所参照的语义位置为行为过程对象的地理语义。

步骤3，依据步骤2解析获得的特征信息，清洗步骤1中结构化的原始GVF序列，构建地理视频镜头(GVS)(图3c))。公共安全监测重点关注的时空变化在监控网多路地理视频内容中存在全局稀疏的低价值密度特征，影响对监控要点的展示和理解。地理视频语义清洗即从各路原始GVF序列中提取直接记录时空变化特征的地理视频数据集；同时，估计复杂监控场景中地理视频内容还具有时空变化特征局部稠密的特点，使包含时空变化特征的局部地理视频集与特征对象间存在多对多的映射，不利于建立数据集间规则的关联关系。为此，本发明方法采用两步策略构建GVS，本发明实施例执行以下子步骤：

步骤3.1，依次抽取原始GVF序列中与各“人员”对象状态具有解析映射关系的GVF对象集，保存为用于地理视频关联的基础数据集，完整有效数据的提取；

步骤3.2，提取步骤3.1抽取结果中与任意“人员”对象的移动行为过程具有解析映射关系的连续GVF构建GVS对象；保存各GVF全局唯一编码(FID)为GVS的基础数据的同时，保存移动行为过程对象及相应“人员”对象为该GVS的语义元数据；当不同行为过程对象所对应的GVF序列存在区间重叠时，本实施例以移动行为过程对象的完整性为评价指标，允许不同GVS对象重复引用步骤3.1抽取结果中的GVF，完成从“局部地理视频集与变化特征间多对多的映射关系”到“GVS与移动行为过程对象多对一的函数关系”的简化。

步骤4，利用语义元数据的内容相似性和地理相关性，生成基于多层次事件的GVS语义关联关系(图3d))：其中，事件指公共安全监测任务中呈现专题特征的时空变化集；多层次指用户能从“随时空尺度增长而扩大的时空变化集”中层级递进理解的时空变化的专题特征；内容相似性通过内容特征项差值判别；地理相关性通过轨迹运动模式参考位置的时空分布距离和位置概念的层次关系以及联通关系判别。

利用语义关系的层次性逐层递进地聚合关联GVS，构建为地理视频镜头组(GVSG)，GVSG对象以关联的GVS为基础数据，以相应层次的事件对象为语义元数据；保存GVSG作为已知信息用于后续数据组织与检索。

具体地，本发明实施例执行以下子步骤：

步骤4.1，建立面向“入室盗窃”专题中可疑人员移动行为监控任务的事件层次。根据该任务设定专题事件层次，并从关联要素内容相似和(或)地理相关角度形式化多层次事件规则如下：

事件层次N＝4；

事件标签E＝{e1,e2,e3,e4}；

e1＝可疑人员入侵；

e2＝可疑人员多视角监控中的移动行为；

e3＝可疑人员持续活动；

e4＝可疑人员协作入侵活动；

语义元数据GVSs到事件标签E的映射Ru＝{r1,r2,r3,r4}；

r1:GVSs,

(T_c.SCe.专题对象类型＝外来人员)∧

(T_g.SG_e.语义位置＝大门)∧

(T_g.SG_b.轨迹运动模式＝进/出)；

r2:(GVSsi,GVSsj),

(T_c.SCe.专题对象类型＝外来人员)∧

r3:(GVSsi,GVSsj),

(T_c.SCe.专题对象类型＝外来人员)∧

(T_ci.SCe.OID＝T_cj.SCe.OID)；

r4:(GVSsi,GVSsj),

(T_ci.SCe.OID≠T_cj.SCe.OID)∧

(max|T_gi.SC_b.T_{OID_4d}-T_gj.SC_b.T_{OID_4d}|<σ)。

步骤4.2，解析基于事件层次的GVS语义元数据(GVSs)关联关系。基于各GVS_s语义项取值，以Ru作为关联性的判别依据，解析判别各GVS_s在各事件层次的关联性；保存满足任一层次事件规则rn,n＝{1,2,…,N}的两两GVS_s的关联关系Rij(if_i≠j)，将相应事件层次标签赋值为其关联属性，即Rij＝{en}。根据步骤4.1建立的事件规则，本发明实施例中5个地理视频镜头GCS-C01-01、GCS-C01-02、GCS-C02-02、GCS-Cn-02、GCS-Cn-04可建立如下语义元数据关联：

R_{(01-01:01-01)}:{e1}；

R_{(01-02:01-02)}:{e1}；

R_{(01-01:01-02)}:{e4}；

R_{(01-01:02-02)}:{e2,e3}；

R_(01-01:n-04):{e1,e3}；

R_(01-02:n-02):{e3}；

R_(02-02:n-04):{e3}；

步骤4.3，元数据语义关联的GVS层次聚合。根据Rij关联属性的层次性，自底向上，依次聚合GVS，高层次的聚合过程继承低层次的聚合结果，构建为多层次GVSG对象，保存各GVS全局唯一编码(SID)为GVSG的基础数据；对各事件层次中的聚集单元，通过计算在事件层次n中的语义距离(Dijn,i≠j,n＝{1,2,…,N})排序，Dijn采用如下公式：

其中，ΔT_ij为两两GVS_s在统一时间参考基准和时间粒度下的时间距离，sgn(ΔT_ij)为ΔT_ij的时间次序，其正负决定语义距离的方向；|Δt_{cn_ij}|和|Δt_{gn_ij}|分别为两两GVS_s在rn映射中内容语义项差值和地理语义项差值；W_t,W_c,W_g为给定权重向量；保存以该层次事件标签en、事件规则rn和排序的GVS_s为构成项的事件对象，为该GVSG的语义元数据。

根据步骤4.2建立的元数据语义关联关系，自e1到e4，本发明实施例中5个地理视频镜头GCS-C01-01、GCS-C01-02、GCS-C02-02、GCS-Cn-02、GCS-Cn-04可依次构建4个层次的GVSG对象；同时，从简单展示变化流程的角度给定W_t＝1,W_c＝W_g＝0，即根据时间次序对各层次中GVS排序，可得：

层次e1:GVSG-e1-01＝{GCS-C01-01}；

GVSG-e1-02＝{GCS-C01-02}；

层次e2:GVSG-e2-01＝{GCS-C01-01,GCS-C02-02}；

层次e3:GVSG-e3-01＝{{GCS-C01-01,GCS-C02-02},GCS-Cn-04}；

GVSG-e3-02＝{GCS-C01-02,GCS-Cn-02}

层次e4:GVSG-e4-01＝{{GCS-C01-01,GCS-C02-02,GCS-Cn-02},

{GCS-C01-02,GCS-Cn-04}}

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种内容感知的地理视频多层次关联方法，其特征在于：基于三个结构粒度层次的地理视频数据对象：

对象一：地理视频帧(GeoVideo Frame,GVF)，用于解析地理视频内容时空变化的最小结构粒度；

对象二：地理视频镜头(GeoVideo Shot,GVS)，用于记录时空变化特征并用于建立地理视频数据关联关系的基本结构粒度；

对象三：地理视频镜头组(GeoVideo Shot Group,GVSG)，用于保存多层次关联结果的结构粒度，称为地理视频镜头组；具体包括以下步骤：

步骤1，地理视频结构解析：结构化各路待处理地理视频数据为统一特征项表达的GVF序列；GVF对象以栅格图像为基础数据，以各项特征项为元数据；根据现有图像处理算法处理需要，将特征项统一表达为成像特征、结构特征、图像特征和应用特征四类；统一的特征项用于支持步骤2中基于图像特征增量的时空变化解析；其中，GVF统一表达的特征项包括以下4类：

类1a，成像特征项：记录摄像机成像的时空参考信息，用于成像空间到地理空间的映射；

类1b，结构特征项：记录GVF图像实例化固有属性，作为视频内容解析的前提条件；

类1c，图像特征项：记录GVF图像的可视特征，用于视频内容解析；

类1d，应用特征项：记录专题领域应用相关的图像分割约束条件与分割规则，作为视频内容解析的约束条件；

步骤2，地理视频内容解析：依次解析步骤1输出的统一特征项表达的各路GVF序列数据内容，提取内容中的共性时空变化特征；包括状态变化的地理实体解析步骤，以及针对经过地理实体解析步骤处理后得到的地理实体进行的地理实体的行为过程解析步骤；采用面向对象的方法保存时空变化特征为地理实体对象和行为过程对象；

其中，所述地理实体对象以状态图像集为载体，记录其描述对象个体特征的内容语义项和描述各状态统一基准下位置特征的地理语义项；

其中，所述行为过程对象以时空轨迹为载体，记录其描述行为动作类型的内容语义项和描述统一基准下位置关系变化模式的地理语义项；

并且，创建对象实例的同时，保存其与原始地理视频帧的解析映射关系；语义解析用于提取融合内容语义和统一参考基准下地理语义的时空变化特征，作为步骤3语义清洗的参考信息和步骤4语义关联的关联要素；

步骤3，地理视频语义清洗：基于步骤2解析得到的两类时空变化特征，从步骤1输出的各路GVF序列数据中提取包含时空变化特征对象的地理视频数据集，构建为GVS；GVS对象以连续GVF子序列为基础数据，以时空变化特征对象为语义元数据；语义清洗实现对有效地理视频数据的提取并建立地理视频数据到语义关联要素的规则函数映射；

步骤4，地理视频语义关联；利用步骤3构建的GVS语义元数据的内容相似性和地理相关性，生成基于多层次事件的GVS语义关联关系，所述事件指公共安全监测任务中呈现专题特征的时空变化集，所述多层次指用户能从“随时空尺度增长而扩大的时空变化集”中层级递进理解的时空变化的专题特征；利用关系的层次性逐层递进地聚合关联GVS，构建为GVSG，GVSG对象以关联的GVS为基础数据，以相应层次的事件对象为语义元数据；保存GVSG作为已知信息用于后续数据组织与检索。

2.根据权利要求1所述的一种内容感知的地理视频多层次关联方法，其特征在于：所述步骤2中，状态变化的地理实体解析的实现方式包括以下步骤：

步骤2.1，提取地理实体状态前景图像；采用运动目标检测通用技术，包括按照基本原理划分的适用于固定成像窗口的背景差分法、帧间差分法、光流法和适用于变化成像窗口的全局运动估计与补偿建模法中的一种或多种组合，从GVF图像中解析出地理实体对象的个体状态；

步骤2.2，优化地理实体状态信息；采用图像去噪通用技术，包括形态学算子、均值滤波、中值滤波、维纳滤波中的一种或多种组合，补偿步骤2.1提取结果中错检、漏检的像素，强化地理实体的状态信息；

步骤2.3，全局冗余的对象特征识别与状态映射；利用专题领域分类器对全局范围内提取的地理实体状态进行地理实体对象个体识别，保存每个地理实体对象为描述个体特征的一组内容语义项和一组对应各状态的位置的地理语义项，每个状态的位置包括像素位置、空间位置和语义位置，所述空间位置基于全局统一的时空参考基准表达，所述语义位置基于全局统一的定位空间划分域表达，同时保存语义位置在定位空间划分域中的层次关系和联通关系。

3.根据权利要求1所述的一种内容感知的地理视频多层次关联方法，其特征在于：所述步骤2中，地理实体的行为过程解析的实现方式包括以下子步骤：

步骤2.4，提取地理实体移动行为轨迹；采用运动目标跟踪通用技术，包括按照跟踪要素划分的基于轮廓的跟踪法、基于特征的跟踪法、基于区域的跟踪法和基于模型的跟踪法中的一种或多种组合，从GVF序列中跟踪地理实体对象在二维图像空间包含时间标签的序列点轨迹，轨迹数据的优点是兼具变化过程的内容要素和时空要素；

步骤2.5，优化轨迹形态；采用移动平均法平滑步骤2.4提取结果中的序列点，用以去除轨迹抖动；

步骤2.6，增强轨迹时空特征；利用GVF的成像特征和结构特征将步骤2.5处理结果中二维图像空间的点序列轨迹映射到统一时空参考基准的高维特征空间，所述高维特征至少包括三维空间和时间；统一的时空参考基准用于将时空离散分布变化过程映射到统一地理框架中，提供全局关联和整体解析的基础；

步骤2.7，划分连续轨迹片段；通过设置全局时空评价值从步骤2.6映射结果中划分出连续轨迹片段，其中，n为高维特征空间的维数，Si为轨迹在第i维特征空间上的特征值区间；EVAL用以控制全局多轨迹时空特征的区分度；

步骤2.8，增强轨迹语义；对步骤2.7划分结果中的连续轨迹片段，逐一挖掘其内容语义和统一参考基准下的地理语义：

步骤2.8.1，对时空特征增强的连续轨迹片段，计算其局部结构特征和全局统计特征，利用现有基于特征阈值的专题行为模型判别所对应的专题动作类型，保存T_{OID_4d}、特征阈值和动作类型为轨迹内容语义,T_{OID_4d}表示连续轨迹片段的4维特征空间中的轨迹点序列；

步骤2.8.2，利用轨迹结构特征、轨迹运动趋势与语义位置的相对空间关系变化判别轨迹运动模式，所述轨迹运动模式包括以语义位置为参照的离开/抵达、来自/去往、接近/远离、进/出/穿越、经过/伴随/绕过、环绕/折返、徘徊/穿梭，保存轨迹运动模式和所参照的语义位置为轨迹地理语义。

4.根据权利要求1所述的一种内容感知的地理视频多层次关联方法，其特征在于：所述步骤3的实现方式包括以下子步骤：

步骤3.1，抽取有效数据集；依次抽取原始GVF序列中与各地理实体对象状态具有解析映射关系的GVF对象，精简有效数据；

步骤3.2，构建GVS数据对象；提取步骤3.1抽取结果中与任意行为过程对象具有解析映射关系的连续GVF构建GVS对象；保存各GVF全局唯一编码为GVS的基础数据的同时，保存行为过程对象及相应地理实体对象为该GVS的语义元数据；当不同行为过程对象所对应的GVF序列存在区间重叠时，以行为过程对象的完整性为评价指标，允许不同GVS对象重复引用步骤3.1抽取结果中的GVF的FID,FID指全局唯一编码。

5.根据权利要求1所述的一种内容感知的地理视频多层次关联方法，其特征在于：所述步骤4的实现方式包括以下子步骤：

步骤4.1，建立面向任务的事件层次；所述事件层次包括共性特征：事件标签E、事件规则Ru；根据公共安全监测对时空变化的理解任务，设定事件层次创建与各层次对应、具有层次关系的事件标签E＝{e1,e2,...,eN}；抽取GVS语义元数据(GVS_s)为内容语义元组(T_c)和地理语义元组(T_g)，即GVS_s＝{T_c,T_g},T_c＝{SC_e,SC_b},T_g＝{SG_e,SG_b}；从T_c的相似性和/或T_g的相关性角度建立从GVS_s到各层次事件标签E的映射关系Ru＝{r1,r2,...,rN}，其中，

其中，T_c的相似性通过内容特征项差值判别；T_g的相关性通过轨迹运动模式参考位置的时空分布距离和位置概念的层次关系以及联通关系判别；

步骤4.2，解析基于事件层次的GVS语义元数据关联关系；基于各GVS_s语义项取值，以Ru作为关联性的判别依据，解析判别各GVS_s在各事件层次的关联性；保存满足任一层次事件规则rn,n＝{1,2,…,N}的两两GVS_s的关联关系Rij，将相应事件层次标签赋值为其关联属性，即Rij＝{en}，i≠j；

步骤4.3，元数据语义关联的GVS层次聚合；根据Rij关联属性的层次性，自底向上，依次聚合GVS，高层次的聚合过程继承低层次的聚合结果，构建为多层次GVSG对象，保存各GVS全局唯一编码为GVSG的基础数据；

对各事件层次中的聚集单元，通过计算在事件层次n中的语义距离：Dijn,i≠j,n＝{1,2,…,N}进行排序，Dijn采用如下公式：

其中，ΔT_ij为两两GVS_s在统一时间参考基准和时间粒度下的时间距离，sgn(ΔT_ij)为ΔT_ij的时间次序，其正负决定语义距离的方向；|Δt_{cn_ij}|和|Δt_{gn_ij}|分别为两两GVS_s在rn映射中内容语义项差值和地理语义项差值；W_t,W_c,W_g为给定权重向量；保存以该层次事件标签en、事件规则rn和排序的GVS_s为构成项的事件对象，为该GVSG的语义元数据。