CN103870598A - 一种无人机侦察视频信息提取与分层编目方法 - Google Patents

Abstract

本发明公开一种无人机侦察视频内容编目提取方法，属于视频检索技术领域。首先对无人机侦察视频提取关键帧与拼接视频全景图，实现对视频主要内容的提取，然后根据提取的图像及视频本身的辅助数据进行分层的，可基于应用拓展的编目。本发明可用于无人机侦察视频的检索，可实现基于视频内容的、高效的、全方位的检索。

Description

一种无人机侦察视频信息提取与分层编目方法

技术领域

本发明属于视频检索技术领域，具体涉及一种无人机侦察视频信息提取与分层编目方法。

背景技术

现有的基于遥感图像数据的编目标准，有美国联邦地理数据委员会曾制定一系列美国国家地理空间数据标准，包括数字地理空间元数据内容标准、遥感条带数据内容标准、数字地理空间元数据内容标准——遥感元数据扩展等，其目的是方便数据生产商与数据用户之间实现数据共享，从而支持国家空间数据基础设施建设。国内也曾制定航天遥感数据编目检索方法，包含对卫星分类、传感器分类、日期分类、覆盖范围分类及应用领域分类的编目。

以上提及的编目标准是面向遥感数据的普遍特性，且主要针对遥感数据的文本元数据，不能满足无人机侦察视频基于内容的应用需求。无人机侦察视频是遥感视频中的一类，是无人机侦察任务时获取的基础数据，同时也是诸多科研的重要情报来源。由于无人机成像载荷种类多、侦察范围广，使得无人机侦察视频数据量大，内容丰富。并且无人机侦察视频除去自身视频信息外，视频成像时期的测控数据及其他相关辅助数据对于后期情报提取、数据同步的工作有重要作用。鉴于以上，时间维与空间二维组合的无人机侦察视频相异于传统的一维数据，因此传统的数据编目方式难以支持无人机侦察视频的内容应用管理与检索。

无人机侦察视频的编目需与视频内容紧密结合。基于视频内容的应用技术主要有关键帧提取与视频拼接。提取视频关键帧可形成高度概括视频的视频摘要，这些关键帧保留了原始视频的主要内容而省略大量细节，在无人机侦察视频的应用上，提取关键帧可以在无需观看整个视频的情况下一览无人机侦察任务所飞行的主要路线的主要侦察情报，减少视频检索的时间。视频序列的全景图拼接图，实现视频到图像的全局映射，提高检索的效率。

但是至今，以上提及的文本元数据编目与基于视频内容的技术尚未形成系统的结合。在无人机侦察视频的检索应用中，将元数据与视频内容结合作为分类依据、索引条目会提高检索的效率，更符合用户的应用习惯，从而增加无人机侦察视频的有效利用率。

发明内容

本发明的目的是为了提高无人机侦察视频检索的效率与用户交互性，系统友好性，通过针对无人机视频的关键内容提取及与相关辅助信息元数据的编目设计，实现减少信息冗余的基于视频内容的高效视频检索。

本发明方法在基于内容视频分析、处理和检索技术的基础上，结合无人机的遥感测控的数据信息与任务应用，自动提取无人机侦察视频的视频结构、时空信息、视觉内容信息及对视频内容的理解信息等特征作为索引，辅以传统的基于文本的视频检索方式，能够满足无人机侦察视频编目的自动化和人机交互需求，提高检索效率。

本发明提供一种用于无人机侦察视频信息提取与分层编目方法，具体步骤如下：

第一步，提取无人机侦察视频关键帧与拼接无人机侦察视频；

提取的关键帧内容主要包括场景转换的关键转折帧及其相关辅助信息，所拼接的视频拼接图主要为场景转换后可以进行拼接的全景图。

第二步，无人机侦察视频内容分层编目设计，编目对象包括：根据第一步中所提取的关键帧图像、视频拼接图以及无人机侦察视频原数据和相关的辅助数据。

编目设计分为3层，分别为无人机侦察视频通用信息层、无人机侦察视频测控信息层和无人机侦察视频内容信息层，编目可根据应用需求向下拓展。

本发明方法的优点和积极效果在于：

（1）提取的无人机侦察视频的关键图像帧与拼接图可以有效概括该视频的内容；

（2）设计的视频内容与视频相关辅助数据的结合可以全方位的表示视频；

（3）利用视频、图像内容、测控信息及相关辅助信息的联合编目可实现对无人机侦察视频基于内容的、全方位、可拓展的高效检索。

因此，使用本发明方法能提高视频检索效率，实现无人机侦察视频内容的基于内容的、全方位的高效检索。

附图说明

图1是本发明无人机侦察视频信息提取与分层编目方法的整体步骤图；

图2是本发明步骤一中所设计提取及拼接流程图；

图3是本发明步骤二中所设计的编目系统整体图；

具体实施方式

下面结合附图，对本发明的具体实施方法进行详细说明。

本发明的无人机侦察视频信息提取与分层编目方法，整体流程图如图1所示，包括以下几个步骤：

第一步，提取无人机侦察视频关键帧与拼接无人机侦察视频。

该步骤包括从无人机侦察视频数据中提取视频帧，并对所提取的视频帧进行判断是否能进行拼接或者为关键帧。

提取的关键帧内容主要包括场景转换的关键转折帧及其相关辅助信息，所拼接的视频拼接图主要为场景转换后可以进行拼接的全景图：

第一步的步骤流程如图2所示，

步骤1.1，提取视频帧，若提取成功则进行到步骤1.2，若提取失败，则表示该视频已提取完毕，视频提取工作结束；

步骤1.2，对提取成功的视频帧进行判断，若为该视频的第一帧，则先设定为初始全景拼接图I0，并回到步骤1.1，进行下一视频帧提取；若不为视频的第一帧，则对该视频帧图像提取特征点，并与全景图进行特征点匹配与图像拼接；

步骤1.3，若步骤1.2中全景图拼接成功，则以新拼接的全景图更新替换原有的全景图，并回到步骤1.1；若拼接失败，则将所提取的视频帧设定为关键帧，并输出之前已完成拼接的全景图。

第二步，无人机侦察视频内容分层编目设计。

编目对象包括：根据第一步中所提取的关键帧图像、视频拼接图以及无人机侦察视频原数据和相关的辅助数据。

编目设计分为3层，分别为无人机侦察视频通用信息层、无人机侦察视频测控信息层和无人机侦察视频内容信息层，编目可根据应用向下拓展。

如图3所示，为无人机侦察视频的内容编目整体系统，下面对编目的三个方面进行具体说明：

步骤2.1，无人机侦察视频通用信息层编目设计。

无人机侦察视频的通用信息层是指视频的一般属性，用于表达该视频最基本的性质，如表1所示，包括如视频的名字、大小、时长、拍摄时间、存储时间、格式类型等，可从视频本身读取。本层编目可实现对无人机侦察视频针对名字、拍摄与存储时间的视频一般属性检索。

表1无人机侦察视频通用信息层编目表

步骤2.2，无人机侦察视频测控信息层编目设计。

无人机侦察视频测控信息层如图3所示，向下分为两层，包括无人机飞行期间的自身及外部环境的测控数据，如表2，表3所示。自身测控信息包括如无人机的型号、任务载荷类型、飞行时间、飞行高度、地理位置等，外部环境测控信息包括如温度、天气状况、空气颗粒度等，由无人机的传感器获取，以上数据可从无人机侦察视频的辅助数据中读取。本层编目实现视频与测控数据的联合记录存储，确保视频图像情报的客观性与真实性，可准确还原无人机飞行时视频图像与测控数据同步状态，实现数据与飞机状态及外部环境的高度同步，便于基于测控数据情报的视频检索。

表2无人机侦察视频测控信息层——无人机测控信息编目表

表3无人机侦察视频测控信息层——外部环境测控信息编目表

步骤2.3，无人机侦察视频内容信息层编目设计。无人机侦察视频的内容信息层是指能够充分表示视频内容的数据信息，如图3所示，向下可分为3层，包括第一步中所提取关键帧图像、视频拼接图以及对视频中的出现的地域类型描述。如表4所示，为对地域的编目，如表5、6所示，为对所提取的视频关键帧图像与所拼接的视频全景图的相关元数据信息进行编目分类，图像编目包括图像名称、图像大小、图像格式、图像类型、图像源数据的视频名称、关键帧图像对应的视频时间位置等。本层编目可将对视频的检索转变为对图像及相关文本信息的检索，在省去观察整个视频寻找目标信息的时间同时实现对视频内容的检索，从而提高视频检索的效率与准确性。

表4无人机侦察视频内容信息层——地域信息编目表

表5无人机侦察视频内容信息层——拼接图编目表

表6无人机侦察视频内容信息层——关键帧编目表

以上3个步骤分别得到的无人机侦察视频的通用信息层、测控信息层以及内容信息层的编目数据最终存入无人机侦察视频检索系统中，作为索引以用于实现无人机视频的检索。采用本发明方法能够实现对无人机侦察视频的高效检索，提高检索的准确性。

Claims (7)

1.无人机侦察视频信息提取与分层编目方法，包括以下几个步骤：

第一步，提取无人机侦察视频关键帧与拼接无人机侦察视频；

具体包括：

步骤1.1，提取视频帧，若提取成功则进行到步骤1.2，若提取失败，则表示该视频已提取完毕，视频提取工作结束；

步骤1.2，对提取成功的视频帧进行判断，若为该视频的第一帧，则先设定为初始全景拼接图I0，并回到步骤1.1，进行下一视频帧提取；若不为视频的第一帧，则对该视频帧图像提取特征点，并与全景图进行特征点匹配与图像拼接；

步骤1.3，若步骤1.2中全景图拼接成功，则以新拼接的全景图更新替换原有的全景图，并回到步骤1.1；若拼接失败，则将所提取的视频帧设定为关键帧，并输出之前已完成拼接的全景图；

第二步，无人机侦察视频内容分层编目设计；

具体包括：

步骤2.1，无人机侦察视频通用信息层编目设计；

无人机侦察视频的通用信息层编目包括视频编号、视频名字、大小、格式、视频时长、拍摄时间、存储时间、存储路径、图像宽度、图像高度、帧速率、数据速率，上述数据通过无人机侦察视频获取，设定编目字符类型，形成无人机侦察视频通用信息层编目表；

步骤2.2，无人机侦察视频测控信息层编目设计；

无人机侦察视频测控信息层编目向下分为两层，包括无人机测控信息编目、外部环境测控信息编目，无人机测控信息编目包括侦察任务、无人机型号、任务载荷、最低飞行高度、最高飞行高度、GPS轨迹，上述数据通过无人机侦察视频的辅助数据中获取，设定编目字符类型，形成无人机测控信息编目表；外部环境测控信息编目包括温度、可见度、空气颗粒分布、湿度，上述数据通过无人机的传感器获取，设定编目字符类型，形成外部环境测控信息编目表；

步骤2.3，无人机侦察视频内容信息层编目设计；

无人机侦察视频内容信息层编目包括地域信息编目、拼接图编目、关键帧编目，

地域信息编目包括地域类型，设定编目字符类型，形成地域信息编目表；

拼接图编目包括图像编号、图像名称、图像大小、图像格式、图像宽度、图像高度、图像类型、创建时间、飞行高度、飞机经度、飞机纬度，设定编目字符类型，形成拼接图编目表；

关键帧编目包括图像编号、图像名称、图像大小、图像格式、图像宽度、图像高度、创建时间、图像关联视频时间、图像类型、平台方位角、平台俯仰角、飞机经度、飞机纬度、飞机横滚角、飞机真航向、飞机俯仰角，设定编目字符类型，形成关键帧编目表；

将上述无人机侦察视频通用信息层、无人机侦察视频测控信息层、无人机侦察视频内容信息层中的编目表存入无人机侦察视频检索系统。

2.根据权利要求1所述的无人机侦察视频信息提取与分层编目方法，所述的无人机侦察视频通用信息层编目表如下所示：

表1无人机侦察视频通用信息层编目表

3.根据权利要求1所述的无人机侦察视频信息提取与分层编目方法，所述的无人机测控信息编目表如下所示：

表2无人机侦察视频测控信息层——无人机测控信息编目表

4.根据权利要求1所述的无人机侦察视频信息提取与分层编目方法，所述的外部环境测控信息编目表如下所示：

表3无人机侦察视频测控信息层——外部环境测控信息编目表

5.根据权利要求1所述的无人机侦察视频信息提取与分层编目方法，所述的地域信息编目表如下所示：

表4无人机侦察视频内容信息层——地域信息编目表

6.根据权利要求1所述的无人机侦察视频信息提取与分层编目方法，所述的拼接图编目表如下所示：

表5无人机侦察视频内容信息层——拼接图编目表

7.根据权利要求1所述的无人机侦察视频信息提取与分层编目方法，所述的外部环境测控信息编目表如下所示：

表6无人机侦察视频内容信息层——关键帧编目表

Images