CN106960027A - 空间信息辅助的无人机视频大数据多时相关联分析方法 - Google Patents

Abstract

本发明公开了一种空间信息辅助的无人机视频大数据多时相关联分析方法，通过实时采集和编码视频，获取无人机空间信息和摄像机参数等辅助信息，将辅助信息同时记录到压缩码流中；分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则，并度量关联系数；通过时序保持的场景归类将同一场景的多时相视频按原有采集时间的顺序组织到一起。采用本发明方法可从不同时间拍摄到的不同场面的海量无人机视频大数据中，快速、可靠地定位与同一场面关联的多时相视频，为灾害现场的变化检测提供依据。

Description

空间信息辅助的无人机视频大数据多时相关联分析方法

技术领域

本发明属于视频分析技术领域，涉及一种无人机视频分析方法，具体涉及一种空间信息辅助的无人机视频大数据多时相关联分析方法。

技术背景

近年，自然灾害多发频发，对社会经济与安全的威胁十分严峻。低空无人机以其机动灵活、实时性强、低成本等优势，迅速成为快速获取地理数据的有效平台。无人机灾害应急测量系统快速探查灾情，掌握受损地物空间信息，能够完成地质灾害监测、应急救援和灾情评估任务，为地质灾害预防与救援方案制定快速提供准确依据。

在地震地质灾害中，灾害现场会出现滑坡、房屋倒塌、地貌变形等各种改变，及时监测这些变化对灾害过程动态监视、灾情评估、应急救援具有重要作用。完成这一工作需要从不同时间拍摄的不同场面的海量无人机视频大数据中，快速配准同一场面的多时相视频，进而通过变化检测技术判别地质灾害造成的地貌变化。许多经典的航拍视频配准算法都基于光流约束，该算法建立在帧间只有微小的平移量的基础上，当无人机机动、摄像机镜头摆动造成图像间存在较大位置角度变化时，算法性能会急剧降低。由于在图像发生几何变化和灰度畸变下表现出良好的稳定性，基于局部不变特征的图像配准算法近年来得到普遍关注，所谓不变特征是指在图像在几何变化、光照变化、噪声干扰时仍保持稳定性的图像局部特征点或特征区域。然而，灾害前后的图像变化不仅反映在几何变化和光照变化上，更主要的是前背景内容信息的根本变化，这类算法应用于灾害场景的图像配准中依然存在极大局限性。

总之，既然自然灾害给场景的地貌形态和景物内容造成了彻底的改变，传统的基于视频内容分析的方法无法胜任不同时间拍摄到的同一地理位置的多时相视频的关联分析任务。因此，必须发展面向灾害救援的无人机视频大数据多时相关联分析技术。

发明内容

为了解决上述技术问题，本发明提供了一种空间信息辅助的无人机视频大数据多时相关联分析方法。

本发明所采用的技术方案是：一种空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于，包括以下步骤：

步骤1：实时采集和编码视频，获取无人机的辅助信息，将辅助信息同时记录到压缩码流中；

步骤2：分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则，并度量关联系数；

步骤3：时序保持的场景归类，即将同一场景的多时相视频按原有采集时间的顺序组织到一起。

相对于现有的无人机视频处理方法，本发明具有以下优点和积极效果：

(1)本发明方法能够从不同时间拍摄的不同场面的海量无人机视频大数据中，快速找出同一场面的多时相视频，从而为灾害现场的变化检测(如地震地质灾害中滑坡、房屋倒塌、地貌变形等)奠定基础；

(2)本发明巧妙地借助了空间信息的帮助，具有便捷、高效、可靠、实现代价低的优点。

附图说明

图1：本发明具体实施例中同一位置反向拍摄的视频间不存在覆盖区域与不同位置相向拍摄的视频间反而存在覆盖区域示意图；

图2：本发明具体实施例中同一位置前后两次摄像间的覆盖区域与不同位置前后两次摄像间的覆盖区域示意图；

图3：本发明具体实施例中同一位置摄像时重叠区域随着方位角的扩大而下降的情况示意图；

图4：本发明具体实施例中不同位置摄像时、摄像方位从相交－>交点距离增加－>不相交－>完全反向这一过程引起重叠区域逐步下降的情况示意图；

图5：本发明具体实施例的原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

多时相视频间是否包含公共场景不仅取决于拍摄位置，而且还与拍摄方位有关，例如，在同一位置反向拍摄的视频间不存在覆盖区域(如图1(A)所示)，不同位置相向拍摄的视频间反而存在覆盖区域(如图1(B)所示)。进一步分析，如图2(A)所示，同一位置前后两次摄像间的覆盖区域取决于方位角与摄像机视场的关系，方位角应落在视场范围内才可能存在公共区域；如图2(B)所示，不同位置前后两次摄像间的覆盖区域取决于交点距离与摄像机景深的关系，如果交点距摄像点太远而超出了景深范围，即使摄像方位相交也不能采集到交点位置的图像。为便于理解，图3示意了同一位置摄像时重叠区域随着方位角的扩大而下降的情况；图4示意了不同位置摄像时、摄像方位从相交－>交点距离增加－>不相交－>完全反向这一过程引起重叠区域逐步下降的情况。

根据上述原理，本发明提出的空间信息辅助的无人机视频大数据多时相关联分析方法包含两个阶段：采集阶段和分析阶段。在采集阶段，每帧图像的头部同时记录无人机的空间信息和摄像机参数，空间信息包含无人机位置、拍摄方向、拍摄角度、无人机高度；摄像机参数包含相机视场和景深。分析阶段利用记录的空间信息，结合摄像机性能参数，建立推理规则判断多时相视频间是否存在关联及关联程度。基于这一思路，请见图5，本发明所采用的技术方案包括以下步骤：

步骤1：实时采集和编码视频，获取无人机空间信息和摄像机参数等辅助信息，将辅助信息同时记录到压缩码流中；

其具体实施要点进一步说明如下：

①无人机空间信息包含无人机位置、拍摄方向、拍摄角度、无人机高度；

②摄像机参数包含相机视场和景深；

③辅助信息复合到每帧压缩码流的头部；

④无人机空间信息通过集成的GPS导航仪、飞行控制系统传感器等专门的测量设备及时数字化采集。

步骤2：分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则，并度量关联系数；

其具体实施要点进一步说明如下：

①采集点相同与否根据记录的位置信息判断；若位置的欧氏距离在预设门限1km内则判为同一采集点；

②若采集点相同，且相同两幅图像的摄像方位夹角小于摄像机视场的1/2，判断为关联，否则不关联；

关联系数R为：

其中，A为摄像机的方位夹角，根据摄像方向和角度确定；V为摄像机的视场参数；

若采集点不同，且两幅图像的摄像方位交点离采集点的距离小于摄像机景深，判断为关联，否则不关联；

关联系数R为：

其中，D为摄像机的交点距离，根据无人机位置、高度、摄像方向和角度确定，当摄像方位相向时，交点可认为是两采集点间直线上的任意位置；L为摄像机的景深参数。

其具体实现包括以下子步骤：

步骤3.1：提取所有视频帧携带的位置信息；

步骤3.2：对位置信息采用kNN算法聚类，聚类结果为场景数目以及每帧视频所归属的场景；

步骤3.3：将同一场景的视频按逻辑或物理的方式组织在一起；逻辑方式为索引，不改变物理存储空间，物理方式改变物理存储空间，按需采用；

步骤3.4：采用步骤2中的方法，计算同一场景中每两两多时相视频帧间的关联系数，作为两帧视频记录的场面存在交集的依据。

步骤3：时序保持的场景归类，即将同一场景的多时相视频按原有采集时间的顺序组织到一起。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于，包括以下步骤：

步骤1：实时采集和编码视频，获取无人机的辅助信息，将辅助信息同时记录到压缩码流中；

步骤2：分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则，并度量关联系数；

步骤3：时序保持的场景归类，即将同一场景的多时相视频按原有采集时间的顺序组织到一起。

2.根据权利要求1所述的空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于：步骤1的所述获取无人机的辅助信息包括无人机空间信息、摄像机参数信息；所述无人机空间信息包含无人机位置、拍摄方向、拍摄角度、无人机高度；所述摄像机参数信息包含相机视场信息和景深信息。

3.根据权利要求1所述的空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于：步骤1中辅助信息复合到每帧压缩码流的头部。

4.根据权利要求1所述的空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于：步骤2中采集点相同与否根据记录的位置信息判断，若位置的欧氏距离在预设门限内则判为同一采集点。

5.根据权利要求1所述的空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于：步骤2中所述分采集点相同与不同两种情况，建立任意两幅多时相图像间关联的判断规则；

若采集点相同，且相同两幅图像的摄像方位夹角小于摄像机视场的1/2，判断为关联，否则不关联；

关联系数R为：

$R=\frac{V/2-A}{V/2}$

其中，A为摄像机的方位夹角，根据摄像方向和角度确定；V为摄像机的视场参数；

若采集点不同，且两幅图像的摄像方位交点离采集点的距离小于摄像机景深，判断为关联，否则不关联；

关联系数R为：

$R=\frac{L-D}{L}$

其中，D为摄像机的交点距离，根据无人机位置、高度、摄像方向和角度确定，当摄像方位相向时，交点可认为是两采集点间直线上的任意位置；L为摄像机的景深参数。

6.根据权利要求1-5任意一项所述的空间信息辅助的无人机视频大数据多时相关联分析方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：提取所有视频帧携带的位置信息；

步骤3.2：对位置信息采用kNN算法聚类，聚类结果为场景数目以及每帧视频所归属的场景；

步骤3.3：按照实际需要，将同一场景的视频按逻辑或物理的方式组织在一起；其中逻辑方式为索引，不改变物理存储空间；物理方式改变物理存储空间；

步骤3.4：采用步骤2中的方法，计算同一场景中每两两多时相视频帧间的关联系数，作为两帧视频记录的场面存在交集的依据。