CN107273502A - 一种基于空间认知学习的图像地理标注方法 - Google Patents

Abstract

本发明请求保护一种基于空间认知学习的图像地理标注方法,涉及深度学习及图像分类标注领域。该方法包括：对图像进行预处理，使训练集和验证集符合深度学习工具的输入格式；利用深度学习工具构建卷积神经网络，使用全局平均池化层学习图像特征的空间分布；使用训练集进行端到端的训练，使网络自动学习图像的地理特征，在训练过程修改网络的参数，使全局平均池化层对地理特征有高的敏感度；保存训练模型并用验证集对模型进行验证；使用保存好的训练模型对新的测试对象进行计算，得到图像的地理标注。本发明从输入图像中自动地学习图像中的地理特征，避免了人工选取特征的干扰，在大规模的图像地理特征学习任务中实现了自动、高效的特征学习。

Description

一种基于空间认知学习的图像地理标注方法

技术领域

本发明属于深度学习及图像分类标注领域，具体涉及一种基基于空间认知学习的图像地理标注方法。

背景技术

图像标注，即依据图像中所包含的图像特征来完成对图像内容的自动标注，是图像检索的一种重要的实现方式。相比于对图像低层内容如颜色、形状和纹理的索引和检索，图像标注能够实现对图像内容的索引，跨越了计算机所依赖的底层特征和人类对图像语义理解的语义鸿沟问题，使得图像能够像文本一样被索引和检索，在医学、遥感、建筑、购物等领域都有实际的应用需求。

随着近年来互联网技术的发展，大规模的带有标签的数据集的出现、计算机硬件的发展等因素，使得机器学习有了质的飞跃，其中的一个代表是深度学习。与传统的浅层学习相比，深度学习的网络层次更深、网络更大，其特征学习能力和表达能力更强，使用深度学习的算法训练出的网络模型在计算机视觉的多个识别任务中取得了令人惊叹的成绩。

深度卷积神经网络作为深度学习广泛运用的一种模型结构，在学习图像特征的任务上，有着得天独厚的优势。自然图像的一个重要固有特征是图像的平移不变性，即从图像的一个位置学习到的特征可以被运用到图像中的其他位置，在不同的图像中，这种特性依然存在。在卷积神经网络中，网络利用卷积核对图像进行卷积操作，在图像中的不同位置学习不同的参数值以学习不同的特征，利用不同的卷积核的组合来学习图像中隐含的图像特征。

现有的关于图像地理标注的研究中，地理标注的产生大多基于已有的地理线索(如GPS信息、地理位置等)，并在已有线索的基础上挖掘图像和地理线索中隐含的各种信息。然而，很少有研究关注地理图像的内容本身中对于地理特征的表达和学习。因此，本发明专注于从地理图像中学习地理特征的表达，避免了手工选取特征的干扰，从大规模图像中自动、高效地学习地理特征，并最终完成图像的地理标注。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种避免了人工选取特征的干扰，在大规模的图像地理特征学习任务中实现了自动、高效的特征学习的基于空间认知学习的图像地理标注方法。本发明的技术方案如下：

一种基于空间认知学习的图像地理标注方法，其包括以下步骤：

101、对所采集的大规模图像数据进行预处理，使训练集和验证集符合深度学习工具的输入格式；

102、利用深度学习工具构建卷积神经网络，使用全局平均池化层学习图像特征的空间分布；

103、使用训练集对卷积神经网络进行端到端的训练，使网络自动学习图像的地理特征，在训练过程修改网络的参数，使全局平均池化层对地理特征所在区域的模型参数权重高于其他区域；

104、保存训练好的模型并用验证集对模型的正确率进行验证；

105、使用保存好的训练模型对新的测试对象进行正确率计算，得到图像的地理标注。

进一步的，所述步骤101采集的图像数据集包含对已知的图像地理特征的正确标注，表现为文件标签或标注，所采集的图像包含多个不同的地理特征类别。

进一步的，所述将图像分为训练集和验证集的方法是随机选取同一类别图像的70％组成训练集，剩余的30％组成验证集，对图像进行处理的步骤包括裁剪、图像缩放、图像翻转、对图像色彩进行失真操作，以保证图像的输入大小能被卷积神经网络处理。

进一步的，所述步骤102在深度学习工具下构建深度卷积神经网络，根据所设计的深度卷积神经网络的结构，搭建网络从输入到输出的迭代模型，并设置网络中间隐藏层的层数、每一层的功能、每层中包含的卷积核大小和数量、每一层的激活函数，选择同时适当的学习率大小、学习率下降算法、误差优化算法、参数更新算法。

进一步的，在卷积神经网络的构建过程中，将全局平局池化层作为地理特征空间认知学习器加入到网络，使其处于最后的分类层之前，代替卷积神经网络中常用的全连接层。

进一步的，所述步骤103将处理好的训练集图像导入卷积神经网络模型中，驱动模型进行端到端的迭代训练，在训练过程中，网络中各隐藏层自动地学习输入图像的地理特征，并根据误差优化算法自动地调整卷积核的参数和权重，在网络参数调整过程中，全局平局池化层根据学习到的图像特征在空间上的分布，将地理特征所在区域的权重进行特别设置，使其权重高于图像中的其他区域，实现对图像地理特征的空间认知学习。

进一步的，所述步骤104保存训练好的模型并用验证集对模型的正确率进行验证，具体包括；在不断的迭代训练网络模型过程中，模型的训练误差逐渐减小到一个设定值时，结束模型的训练，利用深度学习工具相应的工具包，将训练得到的网络模型和参数全部保存下来，使用处理好的验证集对已保存的网络模型进行准确率验证，得到模型对于验证集图像识别的准确率，从而得到网络模型对于图像地理标注的准确率。

进一步的，使用保存好的训练模型对新的测试对象进行正确率计算，得到图像的地理标注，具体包括：使用新的图像作为测试对象，将其输入已保存的卷积神经网络模型中进行计算，卷积神经网络模型根据图像计算出的在分类层中的概率值得到的结果是5个带有百分比的地理标签，其中百分比最高的标签即为模型自动计算出的该图像的地理标签，从而完成了图像的地理标注任务。

本发明的优点及有益效果如下：

本发明根据图像固有的特征的平移不变性，本发明利用已有标签的地理图像，在深度学习的思想下，结合对图像特征的空间认知学习，挖掘图像中地理特征的在图像中的空间分布，通过端到端的网络模型训练过程调整网络的参数并着重强调图像地理特征所在区域的参数权重值，使网络结构对于地理特征有特别的敏感度。相比于已有的通过手工选取图像地理特征来进行标注的方法，本发明提出的方法能从输入图像中自动化地学习图像中的地理特征，避免了人工选取特征的干扰，在大规模的图像地理特征学习任务中实现了自动、高效的特征学习，并给出图像相应的地理标注，为地理图像的搜索、获取等任务带来了新的研究思路。

附图说明

图1是本发明提供优选实施例的的基于空间认知学习实现图像地理标注的方法的流程图；

图2是图像预处理的步骤。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

针对已有的技术中缺少一种对图像地理标注的有效的自动标注方法，本发明的目的在于提供一种基于空间认知学习的图像地理标注方法，利用深度学习的思想，结合对图像特征的空间认知学习，用于自动化地学习图像中的地理特征和特征在图像中的空间分布，实现图像的地理特征标注任务，本发明的技术方案如下：一种基于空间认知学习的图像地理标注方法，所述空间认知学习在于识别出图像中的地理特征在图像中的位置，使该区域在图像中具有相比于其他区域更大的权重，以突出图像的地理特征，使最终的标注更倾向于图像的地理特征，其包括以下步骤：

S1、对所采集的图像数据集进行图像预处理，将图像分为训练集和验证集，使所有图像的格式符合深度学习工具的输入格式，使图像的大小、形状、色彩符合卷积神经网络的结构；

S2、利用深度学习工具构建一个对空间认知有学习力的卷积神经网络，使用全局平均池化层对图像特征的空间分布进行学习，卷积神经网络的卷积层和池化层提取输入图像的地理特征，利用这些学习到的图像特征作为图像地理标注的基础和依据；

S3、使用训练集，通过深度学习的工具进行端到端的卷积神经网络迭代训练，在训练过程中调整网络中的参数和全局平均池化层的参数，使网络更好地拟合输入图像的地理特征；

S4、将训练得到的网络模型保存，使用验证集对得到的网络模型进行验证，得到网络模型对图像地理标注的准确率；

S5、使用新的图像作为已保存的模型的输入，得到图像的地理标注作为输出，以最终实现图像的地理标注任务。

进一步地，所述步骤S1中，所采集的图像数据集包含对已知的图像地理特征的正确标注，表现为文件标签或标注，所采集的图像包含多个不同的地理特征类别。将图像分为训练集和验证集的方法是随机选取同一类别图像的70％组成训练集，剩余的30％组成验证集。对图像进行处理的步骤包括裁剪、图像缩放、图像翻转、对图像色彩进行失真操作，以保证图像的输入大小能被卷积神经网络处理。

所述步骤S2中，卷积神经网络的构建包括网络结构包含的层数、每一层的功能、每一层中卷积核的大小和数量，以其他限定卷积神经网络结构的参数。卷积神经网络主要包括输入层、卷积层、池化层、全局平均池化层、分类层，输入层表示输入的图像；卷积层和池化层交替组合以进行图像特征的提取和学习；全局平均池化层作为图像的空间认知学习器，学习图像中地理特征在图像空间的位置；分类层作为最后一层给出了卷积神经网络对于图像的分类结果。

所述步骤S3中，卷积神经网络通过端到端的迭代训练层次化地提取图像的地理特征，并根据误差反向传播法调整网络中的参数，使网络中的参数逐渐拟合图像的地理特征。在网络参数调整过程中，全局平局池化层根据学习到的图像特征在空间上的分布，将地理特征所在区域的权重进行特别设置，使其权重高于图像中的其他区域，实现对图像地理特征的空间认知学习。

所述步骤S4中，在神经网络能较好的拟合图像的地理特征后，即网络的训练误差较小且稳定后，结束网络的训练过程，将训练所得的网络结构和网络中的参数通过深度学习工具进行保存，并使用验证集对保存下来的网络模型进行验证，得到模型对于验证集图像识别的准确率，从而得到网络模型对于图像地理标注的准确率。

所述步骤S5中，新的图像作为测试对象，输入已保存的模型中进行单独的计算过程，根据模型分类层给出的分类结果和概率值，得到图像的地理标注作为输出，从而最终实现图像的地理标注。

图1示出了本发明的基于深度学习实现图像地理标注的方法的流程图,具体步骤如下：

(1)对所采集的带有标注的图像进行预处理，使图像的大小、形状、色彩符合设计的卷积神经网络的结构，将随机选取出的70％的图像作为训练集，将预处理后的图像通过深度学习工具的工具包制作成能够处理的格式。

(2)在深度学习工具下构建深度卷积神经网络，根据所设计的深度卷积神经网络的结构，搭建网络从输入到输出的迭代模型，并设置网络中间隐藏层的层数、每一层的功能、每层中包含的卷积核大小和数量、每一层的激活函数，选择同时适当的学习率大小、学习率下降算法、误差优化算法、参数更新算法。

在卷积神经网络的构建过程中，将全局平局池化层作为地理特征空间认知学习器加入到网络，使其处于最后的分类层之前，代替卷积神经网络中常用的全连接层。全局平均池化层与全连接层相比，全局平均池化的一个优点是它强化了特征图和分类类别之间的对应关系，使分类结果更加直接地从卷积后的特征图中导出，因此特征图的映射可以容易地被理解为某一类别的置信图。另一个优点是，全局平均池化中没有需要优化的参数，在该层中避免了过拟合的问题。此外，全局平均池化计算出了特征的空间信息，因此这种方法使输入图像的空间不变性更好地被网络保存下来。

(3)将处理好的训练集图像导入模型中，驱动模型进行端到端的迭代训练。在训练过程中，网络中各隐藏层自动地学习输入图像的地理特征，并根据所选择的误差优化算法自动地调整卷积核的参数和权重。在网络参数调整过程中，全局平局池化层根据学习到的图像特征在空间上的分布，将地理特征所在区域的权重进行特别设置，使其权重高于图像中的其他区域，实现对图像地理特征的空间认知学习。

(4)在不断的迭代训练网络模型过程中，模型的训练误差逐渐减小，说明网络模型正在逐步地学习到输入图像的地理特征，在适当的时候，结束模型的训练。利用深度学习工具相应的工具包，将训练得到的网络模型和参数全部保存下来，使用处理好的验证集对已保存的网络模型进行准确率验证，得到模型对于验证集图像识别的准确率，从而得到网络模型对于图像地理标注的准确率。

(5)使用新的图像作为测试对象，将其输入已保存的模型中进行计算，模型根据图像计算出的在分类层中的概率值得到的结果是5个带有百分比的地理标签，其中百分比最高的标签即为模型自动计算出的该图像的地理标签，从而完成了图像的地理标注任务。

图2示出了图像进行预处理的步骤，具体如下：

(1)对图像进行裁剪、缩放：由于图像采集自互联网中，图像大小不一，将采集的图像裁剪到设计的卷积神经网络能处理的大小，如299×299，单位为像素。有的图像提供了图像主要内容所在的边界框，则根据该边界线进行裁剪，若图像中没有边界信息，则自动根据图像中心位置裁剪图像的85％。图像裁剪后，根据实际情况，将图像缩放到299×299。

(2)对图像进行随机翻转：翻转是使图像内容发生水平或垂直的镜像变化，例如原本在左边的目标经过水平翻转后将会出现在图像的右边。随机选取一些图像进行翻转能够使同一种图像特征在图像中以不同的形式展现，如果神经网络仍旧能够对各种形态的图像特征进行识别，则证明网络对同一种特征有足够的泛化能力。

(3)对图像进行色彩的失真操作：对色彩的失真操作将使自然图像的颜色产生一定的变化，对于同一种图像特征，同时处理失真后的图像和原图，能降低色彩对特征的影响，使网络更专注于图像特征的结构而不是图像的色彩。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于空间认知学习的图像地理标注方法，其特征在于，包括以下步骤：

101、对所采集的大规模图像数据进行预处理，使训练集和验证集符合深度学习工具的输入格式；

102、利用深度学习工具构建卷积神经网络，使用全局平均池化层学习图像特征的空间分布；

103、使用训练集对卷积神经网络进行端到端的训练，使网络自动学习图像的地理特征，在训练过程修改网络的参数，使全局平均池化层对地理特征所在区域的模型参数权重高于其他区域；

104、保存训练好的模型并用验证集对模型的正确率进行验证；

105、使用保存好的训练模型对新的测试对象进行正确率计算，得到图像的地理标注。

2.根据权利要求1所述的基于空间认知学习的图像地理标注方法，其特征在于，所述步骤101采集的图像数据集包含对已知的图像地理特征的正确标注，表现为文件标签或标注，所采集的图像包含多个不同的地理特征类别。

3.根据权利要求2所述的基于空间认知学习的图像地理标注方法，其特征在于，所述将图像分为训练集和验证集的方法是随机选取同一类别图像的70％组成训练集，剩余的30％组成验证集，对图像进行处理的步骤包括裁剪、图像缩放、图像翻转、对图像色彩进行失真操作，以保证图像的输入大小能被卷积神经网络处理。

4.根据权利要求1-3之一所述的基于空间认知学习的图像地理标注方法，其特征在于，所述步骤102在深度学习工具下构建深度卷积神经网络，根据所设计的深度卷积神经网络的结构，搭建网络从输入到输出的迭代模型，并设置网络中间隐藏层的层数、每一层的功能、每层中包含的卷积核大小和数量、每一层的激活函数，选择同时适当的学习率大小、学习率下降算法、误差优化算法、参数更新算法。

5.根据权利要求4所述的基于空间认知学习的图像地理标注方法，其特征在于，在卷积神经网络的构建过程中，将全局平局池化层作为地理特征空间认知学习器加入到网络，使其处于最后的分类层之前，代替卷积神经网络中常用的全连接层。

6.根据权利要求4所述的基于空间认知学习的图像地理标注方法，其特征在于，所述步骤103将处理好的训练集图像导入卷积神经网络模型中，驱动模型进行端到端的迭代训练，在训练过程中，网络中各隐藏层自动地学习输入图像的地理特征，并根据误差优化算法自动地调整卷积核的参数和权重，在网络参数调整过程中，全局平局池化层根据学习到的图像特征在空间上的分布，将地理特征所在区域的权重进行特别设置，使其权重高于图像中的其他区域，实现对图像地理特征的空间认知学习。

7.根据权利要求6所述的基于空间认知学习的图像地理标注方法，其特征在于，所述步骤104保存训练好的模型并用验证集对模型的正确率进行验证，具体包括；在不断的迭代训练网络模型过程中，模型的训练误差逐渐减小到一个设定值时，结束模型的训练，利用深度学习工具相应的工具包，将训练得到的网络模型和参数全部保存下来，使用处理好的验证集对已保存的网络模型进行准确率验证，得到模型对于验证集图像识别的准确率，从而得到网络模型对于图像地理标注的准确率。

8.根据权利要求7所述的基于空间认知学习的图像地理标注方法，其特征在于，使用保存好的训练模型对新的测试对象进行正确率计算，得到图像的地理标注，具体包括：使用新的图像作为测试对象，将其输入已保存的卷积神经网络模型中进行计算，卷积神经网络模型根据图像计算出的在分类层中的概率值得到的结果是5个带有百分比的地理标签，其中百分比最高的标签即为模型自动计算出的该图像的地理标签，从而完成了图像的地理标注任务。