CN109614998A - 基于深度学习的陆标数据库制备方法 - Google Patents

Abstract

基于深度学习的陆标数据库制备方法，首先确定基本数据源，然后根据大气辐射、天气、光照，对基本数据源进行图像数据扩充与仿真建模，并筛选特征稳定的备选陆标，最后制备陆标特征数据库，其中，一级特征由深度卷积神经网络提取，二级特征由SIFT算法提取，并将每一图像中心与对应的位置坐标相关联。

Description

基于深度学习的陆标数据库制备方法

技术领域

本发明涉及自主导航技术领域，特别是基于深度学习的陆标数据库制备方法。

背景技术

基于光学陆标信息测量的自主导航方式自主性强、精度高，成为近年来各国学者研究的热点。自主光学陆标导航方式能大大减少操作的复杂性，降低任务的费用，简化探测器的地面支持系统，大大增加探测效率，即使在与地面通信联络完全中断的条件下，仍然能够自主地完成位置、姿态的确定，具有较强的生存能力，成为未来任务必然的和最重要的技术手段之一。美国、日本、欧盟均在快速发展光学导航技术，光学陆标导航在临近空间飞行器、低轨道卫星、探月、火星探测探测器上得到了研究和应用。光学陆标导航可以提高临近空间飞行器、近地轨道飞行器高精度自主导航的精度，成为未来任务必然的和最重要的技术手段之一。

当前对陆标特征识别提出了高动态响应变化、数据海量存储与处理等要求。传统的方法难以适应，视觉特征识别方法的快速性、准确性、有效性有待进一步提升。深度学习在民用图像处理领域有着出色表现，以ImageNet挑战赛的最好成绩为例，图像检测率达66％，分类准确率达97％。同时，智能芯片等硬件实现技术发展迅速，形成了基于嵌入式GPU、高性能NPU、FPGA的多种解决方案，为智能算法运算提供了良好基础。基于深度学习的地标特征识别等研究，可有效解决飞行器在使用过程中面临的“复杂图像识别与检索”等短板问题，实现智能光学导航能力的跨越发展。

陆标数据库制备技术是基于深度学习的陆标光学自主导航系统中的关键技术之一，先进的陆标数据库制备技术有利于提高导航系统的性能。而利用深度学习技术可以提高陆标数据库制备的快速性，智能性，是实现陆标智能识别的基础。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了基于深度学习的陆标数据库制备方法，可以为基于深度学习的地标特征识别提供基础。

本发明的技术解决方案是：基于深度学习的陆标数据库制备方法，包括如下步骤：

(1)确定基本数据源；

(2)根据大气辐射、天气、光照，对基本数据源进行图像数据扩充与仿真建模，并筛选特征稳定的备选陆标；

(3)制备陆标特征数据库，其中，一级特征由深度卷积神经网络提取，二级特征由SIFT算法提取，并将每一图像中心与对应的位置坐标相关联。

所述的确定基本数据源的方法为：

(1)设摄像机视场角为FOV，飞行器高度为h，得到摄像机拍摄到的地面视场宽度GFOV为

(2)采用我国遥感卫星拍摄的高分辨率对地图像，并进行图像处理，得到地标数据或者利用Google地球得到全球高清图像获取地标。

所述的图像数据扩充与仿真建模的方法为：

(1)几何变换；

(2)对遥感图像成像过程中的噪声进行建模，生产噪声图像数据；

(3)模拟不同的光照环境，通过对应的成像模型生成不同环境下的图像数据；

(4)进行图像运动模糊模拟。

所述的几何变换包括翻转变换、缩放变换、旋转变换、图像剪裁、色彩对比度变换。

所述的筛选特征稳定的备选陆标的方法为：

(1)从景象类型的层面筛选出适合用于检索匹配的陆标类型；

(2)从图像层面筛选出同一陆标类型下适合用于检索匹配的图像；

所述的从景象类型的层面筛选出适合用于检索匹配的陆标类型以及从图像层面筛选出同一陆标类型下适合用于检索匹配的图像的方法为：

(1)将N张遥感陆标图像随机分为五组，每组包含的图像数目相同，其中，四组作为训练图像，剩余的一个组作为测试图像；

(2)使用训练图像对构造的检索与匹配深度卷积神经网络进行训练；

(3)使用测试图像对训练好的网络模型进行测试，获得每个测试图像的检索精度；

(4)将所有测试图像按照检索精度从大到小进行排序，转入步骤(1)，再次将N张遥感陆标图像进行随机分组，共进行M次随机分组；

(5)对M次随机分组得到的不同测试图像的检索精度进行统计分析，筛选得到不适合用于检索的陆标类型、同一陆标类型下适合用于检索匹配的图像。

所述的从景象类型的层面筛选出适合用于检索匹配的陆标类型以及从图像层面筛选出同一陆标类型下适合用于检索匹配的图像的过程中可以采用支持向量机、朴素贝叶斯法、K近邻法、决策树、卷积神经网络。

所述的制备陆标特征数据库的方法为：

(1)利用深度卷积神经网络进行特征学习和哈希编码学习或哈希函数学习，获得陆标特征二进制码，作为陆标特征的一级特征；

(2)对深度卷积神经网络地标图像特征编码生成128位二进制特征，提取各图像的特征，作为陆标特征的二级特征；

(3)制备陆标特征数据库，包括编号、二进制码、SIFT特征向量、图像中心位置坐标，并按照位置经度递增顺序存放。

所述的对深度卷积神经网络地标图像特征编码生成128位二进制特征，提取各图像的特征，作为陆标特征的二级特征为利用SIFT方法实现。

本发明与现有技术相比的优点在于：

针对传统方法是对图像进行特征点的提取、建立特征点数据库的问题，本发明通过采用深度学习技术完成陆标数据库的筛选、构建，提高了数据库制备的智能性，快速性，并利用SIFT构建精细的特征向量，有利于陆标特征的精细匹配。

附图说明

图1为基于深度学习的陆标数据库制备方法流程图。

具体实施方式

针对传统方法是对图像进行特征点的提取、建立特征点数据库的问题，本发明通过采用深度学习技术完成陆标数据库的筛选、构建，提高了数据库制备的智能性，快速性，并利用SIFT构建精细的特征向量，有利于陆标特征的精细匹配。

首先确定基本数据源，然后为了提高适应性，根据大气辐射、天气、光照等影响机理，对数据数据扩充与仿真建模，由于地球上的一些陆标尽管相对稳定，但受气候，人为等因素影响，也存在一定的变化，而陆标导航的精度也主要取决于陆标数据库的精度，因此，需要筛选出特征稳定的备选陆标；最后制备陆标特征数据库，一级特征由深度卷积神经网络提取，二级特征由SIFT算法提取，同时将每一图像中心与其对应的位置坐标相关联，以便于实现大规模数据库高精度快速检索与精细匹配。下面结合附图对本发明方法进行更详细的解释和说明，如图1所示为基于深度学习的陆标数据库制备方法流程图。

1、基本数据源

当摄像机视场角为FOV，假设此时飞行器高度为h，则摄像机拍摄到的地面视场宽度(GFOV)计算式为：

通过上式计算，可得地面景物的视场宽度。按此方法可初步确定地面地标数据库中参考图像所对应的地理范围大小。接下来，可采用以下两种方法获取地标数据：

(1)采用我国遥感卫星拍摄的高分辨率对地图像，并进行图像处理，得到地标数据。

(2)利用Google地球得到全球高清图像，通过自动提取与人工标定相结合的方式获取地标，根据对应的地理位置信息可构建地标数据库。由于地标数据库只包含线段特征及其经纬度信息，所需存储量较小。

2、图像数据扩充与仿真建模

实际拍摄的遥感图像可能因大气辐射、天气、光照等原因呈现多种多样的变化，上面得到的基本数据库相对来说还是较少，无法包含不同情形下的变化数据，需要通过图像变换和对不同条件仿真建模的方法扩充数据库，采用的方法如下：

(1)几何变换。包括，翻转变换：沿着水平、垂直方向翻转图像；缩放变换：按照一定的比例放大、缩小图像；旋转变换：由于实际拍摄的图像角度多样，需要对源数据库的图像进行随机旋转；图像剪裁：在图像的不同位置剪裁出不同大小的图像块，再缩放到原图像大小；色彩对比度变换：在图像的HSV颜色空间，保持色调H不变，改变饱和度S和明度V。

(2)对遥感图像成像过程中常涉及到的噪声进行建模，生产噪声图像数据。

(3)模拟不同的光照环境，通过对应的成像模型生成不同环境下的图像数据。

(4)图像运动模糊模拟：无人机拍摄的图像可能会是带有模糊的，需要对数据库的照片进行运动模糊仿真处理。

3、具有长期稳定性特征的陆标筛选

首先根据人的经验采集N张适合用于图像检索的遥感陆标图像，N张图像中有C种不同类型的陆标，这N张图像都被看作是可用的陆标图像显然是不正确的，根据人的经验会错误地把许多不适合用于检索匹配的图像标记为适合检索的，因此N张图像中就会有许多不适合用于检索匹配的陆标图像，所以还需要进一步从这N张陆标图像中筛选出具有长期稳定性特征的图像用于检索与匹配。

陆标筛选技术主要包括两个层面的筛选：

(1)从景象类型的层面筛选出适合用于检索匹配的陆标类型，如相比于沙漠这一景象来说，山脉是更适合用于检索匹配的，因为沙漠虽然有可能会暂时呈现具有一定风貌的景象特征，但是它是容易变换的，相比之下山脉的景象特征更加稳定；

(2)从图像层面筛选出同一类型陆标景象下适合用于检索匹配的图像，如海岸线陆标中，相对于简单、单一的海岸线来讲，结构比较复杂的海岸线更适合用于检索匹配。

本方法构造一个神经网络来同时实现上述两个层面的陆标图像筛选。N张陆标图像一开始都被假定为适合用于检索匹配的，通过不断的网络训练测试，筛选出其中适合用于检索匹配的图像，这是典型的弱监督训练方式。

本方法基于一个分类卷积神经网络实现具有长期稳定性特征的陆标筛选。采用残差卷积神经网络作为分类网络，分类网络实现的是两分类，一类是正样本，表示的是具有长期稳定性特征的陆标图像；一类是负样本，表示的是不具有长期稳定性特征的陆标图像。为了获得用于训练分类网络的正负样本，采用弱监督的训练方式，从N张陆标图像多次随机采样选取出训练集和测试集训练检索与匹配网络来获得正负样本。

具体地，将N张陆标图像随机划分为五组，四组为训练集，余下的一组为测试集，使用训练集训练检索与匹配网络，然后使用训练好的网络模型对测试集进行测试，得到每张陆标图像的检索精度，记录下来。重复十次上面的划分训练和测试步骤，对记录下来的图像的检索精度进行统计分析，从而获得用于训练分类网络的正样本和负样本。

使用正负样本对分类残差卷积神经网络进行训练，然后将训练好的分类网络模型对N张遥感陆标图像进行测试，被分类为正样本的表示筛选出的符合要求的具有长期稳定性特征的陆标图像；被分类为负样本的表示需要剔除的不符合检索与匹配要求的陆标图像。

具体实现方法：

构造一个神经网络同时实现上述两个层面的图像筛选。具体实现步骤如下：

(1)将N张遥感陆标图像随机分为五组，每组包含的图像数目相同。将其中的四组作为训练图像，剩余的一个组作为测试图像。

(2)使用训练图像对构造的检索与匹配深度卷积神经网络进行训练。

(3)使用测试图像对训练好的网络模型进行测试，获得每个测试图像的检索精度。

(4)将所有测试图像按照检索精度从大到小进行排序，记录下来。

返回步骤(1)，再次将N张遥感陆标图像进行随机分组，一共进行十次随机分组，并对不同的测试图像进行检测。

十次记录下来的不同测试图像的检索精度进行统计分析，通过分析测试图像的检索精度可以得出：(1)可以筛选出不适合用于检索的陆标类型(即景象的类型)。如果某种陆标类型不适合用于检索匹配，那么这种陆标图像的测试精度大多数情况下都是很低的。于是，设定一个阈值Q，如果在某一类型的陆标图像中，有百分之八十的图像测试精度低于阈值Q，那么就将该陆标类型的所有图像标记为负样本(用于后续分类网络的训练)。(2)在确定某一陆标类型适用于检索之后，接下来进一步筛选出该类型陆标图像下适合用于检索匹配的图像。剔除上一步骤中标记为负样本的全部图像，统计分析余下的适合用于检索的陆标图像：如果某一陆标类型的图像在某一角度或者某一姿态下适合检索，那么它的检索精度就会很高；相反，如果该陆标类型的图像在某一角度或姿态下不适合检索，那么它的检索精度就会很低，或者由于当时拍摄的光照、成像质量等其他因素导致图像不适合用于检索。此时，需要对某一类型的陆标图像中有哪些图像适合用于检索(或不适合用于检索)进行判别。具体地，本项目将每次检索精度都大于0.5的图像标记为正样本，每次检索精度都小于0.5的图像标记为负样本，舍弃那些检索精度在不同的测试中既大于0.5又小于0.5的遥感陆标图像。

按照上述策略，通过十次对数据集进行随机分组训练测试，就可将数据集中一部分遥感陆标图像划分为正样本和负样本。正样本代表具有长期稳定性特征的陆标图像，负样本代表不具有稳定性特征的陆标图像。然后构造一个基于卷积神经网络的分类网络，使用得到的正负样本对其进行训练，从而使训练好的分类网络具备陆标筛选能力。将训练好的分类网络应用到整个数据集N张遥感陆标图像中，就可以筛选出具有长期稳定性特征的陆标图像(被分类为正样本)，剔除掉不适合用于检索匹配的陆标图像(被分类为负样本)。

对图像数据进行分类可以采用经典的基于机器学习的方法，如支持向量机、朴素贝叶斯法、K近邻法、决策树等等，也可以采用深度学习中的卷积神经网络。AlexKrizhevsky于2012年使用他提出的卷积神经网络结构AlexNet在当年以绝对优势取得了Imagenet比赛冠军，自此，卷积神经网络被广泛的应用于图像分类中，各种先进的、有效的卷积神经网络结构也相继被提出来，因此推荐使用卷积神经网络来实现遥感陆标图像的分类。

4、地标图像的特征数据库构建

为使视觉导航系统能够在广域地理范围内实现自主导航，需要构建相应的大规模地标数据库作为支撑。直接存储所有地标图像数据需要占用大量存储空间，不利于对数据库进行实时操作和对当前地标图像进行快速检索和匹配。考虑到地标图像的检索和匹配实际上利用的是从图像中抽取出的有效特征，而不是原始图像数据，在构建地标数据库时采用事先提取和存储每一地标图像特征数据的策略，同时将每一图像特征数据与其对应的位置坐标相关联。

为对大规模数据库实现特定地标的高精度快速检索与匹配，需要所提取的图像特征具备两方面的性能：即很强的信息表达能力和较低的数据维度。实现上述目标的方案如下：

(1)利用深度卷积神经网络进行特征学习和哈希编码学习(或哈希函数学习)，获得陆标特征二进制码，作为陆标特征的一级特征。

(2)对深度卷积神经网络地标图像特征编码生成128位二进制特征，即简化了特征表示，又可提升特征的抽象性和语义性，但是同时也会减弱特征对目标的定位能力。为解决这一问题利用SIFT方法，提取各图像的特征，作为陆标特征的二级特征。

特征数据库结构如表1所示，数据库由编号，二进制码，SIFT特征向量和图像中心位置坐标组成，并按照位置经度递增顺序存放。

如表1数据库结构

在上述两级特征表示中，二进制编码特征作为第一级，其目的是用来从大规模数据库中快速地检索出一些候选的可能地标；SIFT用来对这些可能地标图像进行进一步匹配和定位，提高陆标导航定位。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (10)

1.基于深度学习的陆标数据库制备方法，其特征在于包括如下步骤：

(1)确定基本数据源；

(2)根据大气辐射、天气、光照，对基本数据源进行图像数据扩充与仿真建模，并筛选特征稳定的备选陆标；

(3)制备陆标特征数据库，其中，一级特征由深度卷积神经网络提取，二级特征由SIFT算法提取，并将每一图像中心与对应的位置坐标相关联。

2.根据权利要求1所述的基于深度学习的陆标数据库制备方法，其特征在于：所述的确定基本数据源的方法为：

(1)设摄像机视场角为FOV，飞行器高度为h，得到摄像机拍摄到的地面视场宽度GFOV为

(2)采用我国遥感卫星拍摄的高分辨率对地图像，并进行图像处理，得到地标数据或者利用Google地球得到全球高清图像获取地标。

3.根据权利要求1或2所述的基于深度学习的陆标数据库制备方法，其特征在于：所述的图像数据扩充与仿真建模的方法为：

(1)几何变换；

(2)对遥感图像成像过程中的噪声进行建模，生产噪声图像数据；

(3)模拟不同的光照环境，通过对应的成像模型生成不同环境下的图像数据；

(4)进行图像运动模糊模拟。

4.根据权利要求3所述的基于深度学习的陆标数据库制备方法，其特征在于：所述的几何变换包括翻转变换、缩放变换、旋转变换、图像剪裁、色彩对比度变换。

5.根据权利要求1或2所述的基于深度学习的陆标数据库制备方法，其特征在于：所述的筛选特征稳定的备选陆标的方法为：

(1)从景象类型的层面筛选出适合用于检索匹配的陆标类型；

(2)从图像层面筛选出同一陆标类型下适合用于检索匹配的图像；

6.根据权利要求5所述的基于深度学习的陆标数据库制备方法，其特征在于：所述的从景象类型的层面筛选出适合用于检索匹配的陆标类型以及从图像层面筛选出同一陆标类型下适合用于检索匹配的图像的方法为：

(1)将N张遥感陆标图像随机分为五组，每组包含的图像数目相同，其中，四组作为训练图像，剩余的一个组作为测试图像；

(2)使用训练图像对构造的检索与匹配深度卷积神经网络进行训练；

(3)使用测试图像对训练好的网络模型进行测试，获得每个测试图像的检索精度；

(4)将所有测试图像按照检索精度从大到小进行排序，转入步骤(1)，再次将N张遥感陆标图像进行随机分组，共进行M次随机分组；

(5)对M次随机分组得到的不同测试图像的检索精度进行统计分析，筛选得到不适合用于检索的陆标类型、同一陆标类型下适合用于检索匹配的图像。

7.根据权利要求5所述的基于深度学习的陆标数据库制备方法，其特征在于：所述的从景象类型的层面筛选出适合用于检索匹配的陆标类型以及从图像层面筛选出同一陆标类型下适合用于检索匹配的图像的过程中可以采用支持向量机、朴素贝叶斯法、K近邻法、决策树、卷积神经网络。

8.根据权利要求1或2所述的基于深度学习的陆标数据库制备方法，其特征在于：所述的制备陆标特征数据库的方法为：

(1)利用深度卷积神经网络进行特征学习和哈希编码学习或哈希函数学习，获得陆标特征二进制码，作为陆标特征的一级特征；

(2)对深度卷积神经网络地标图像特征编码生成128位二进制特征，提取各图像的特征，作为陆标特征的二级特征；

(3)制备陆标特征数据库，包括编号、二进制码、SIFT特征向量、图像中心位置坐标，并按照位置经度递增顺序存放。

9.根据权利要求7所述的基于深度学习的陆标数据库制备方法，其特征在于：所述的对深度卷积神经网络地标图像特征编码生成128位二进制特征，提取各图像的特征，作为陆标特征的二级特征为利用SIFT方法实现。

10.一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现如权利要求1-权利要求9任一所述方法的步骤。