CN115934966A - 基于遥感影像推荐信息的自动标注方法 - Google Patents

Abstract

本发明提供一种基于遥感影像推荐信息的自动标注方法，属于遥感影像标注领域，该方法包括：构建自动化标注模型，标注模型包括推荐模块、标注模块和反馈模块，其中，推荐模块包含遥感知识图谱；获取遥感样本和遥感任务，将遥感任务输入推荐模块，利用遥感知识图谱进行推荐，得到遥感任务对应的推荐标注项，之后将遥感样本输入标注模块，基于推荐标注项对遥感样本进行标注，得到遥感样本的标注结果；利用反馈模块对标注结果进行评价，得到反馈信息；根据反馈信息更新标注模型。本发明能达到精准标注，避免资源浪费，且能够缩短标注时的时间，本发明中的自动化标注模型能持续的更新，达到自动标注的结果。

Description

基于遥感影像推荐信息的自动标注方法

技术领域

本发明涉及遥感影像标注领域，具体涉及一种基于遥感影像推荐信息的自动标注方法。

背景技术

遥感影像是空间信息的重要数据之一，广泛用于地质与洪涝灾害监测、农业与森林资源调查、土地利用与城市规划和军事领域。随着我国空间科学和对地观测技术的发展，遥感影像数据的数据年呈现指数增长的趋势，对海量遥感影像数据的有效管理变得日益重要。

遥感影像标注是遥感影像分析和理解的重要内容之一，它是通过提取遥感影像的底层视觉特征，通过一些机器学习模型来学习这些底层视觉特征与高层语义之间的联系来，从而实现将一些语义标签自动标注给遥感影像，例如，通过遥感影像自动标注过程，可以自动地标注出海量遥感影像中居民区、农田、商业区、沙漠、森林等等。遥感影像的自动标注是对遥感影像语义的理解，也是对海量遥感影像进行类别编目和检索的重要技术基础。

对遥感影像的自动标注工作可以看做是对遥感影像的广义的自动分类工作，即在对遥感影像进行自动标注工作之前，需要先确定需要标注的遥感影像所对应的类别标签(即文本标签)有哪些，然后将不同的遥感影像与不同的类别标签对应联系起来。

遥感影像的标注是后续遥感影像应用的基础，如遥感影像的场景应用等，而不同的遥感影像应用所需的标注信息也不尽相同，但目前的标注方法均是对遥感影像进行大范围的标注，时而在应用时会有标注信息的缺失，并且会增加许多额外的标注工作量，存在资源浪费的情况。

发明内容

基于上述技术问题，本发明提供一种基于基于遥感影像推荐信息的自动标注方法，将知识图谱融入标注流程，先根据遥感影像的后续应用生成推荐标注项，然后再对遥感影像进行标注，该方法能达到精准标注，避免资源浪费，且能够缩短标注时的时间，该方法中的自动化标注模型能持续的更新，达到自动标注的结果。

本发明提供一种基于遥感影像推荐信息的自动标注方法，该方法包括：

S1 构建自动化标注模型，标注模型包括推荐模块、标注模块和反馈模块，其中，推荐模块包含遥感知识图谱；

S2 获取遥感样本和遥感任务，将遥感任务输入推荐模块，利用遥感知识图谱进行推荐，得到遥感任务对应的推荐标注项，之后将遥感样本输入标注模块，基于推荐标注项对遥感样本进行标注，得到遥感样本的标注结果；

S3 利用反馈模块对标注结果进行评价，得到反馈信息；

S4 根据反馈信息更新标注模型。

于本发明一具体实施例中，遥感知识图谱的构建过程为：

获取遥感知识，包括文本知识和图像知识；

基于文本知识进行遥感本体的识别，构建实体；

基于图像知识中的空间位置和文本知识中的本体坐标和属性信息，进行实体间的关系抽取；

将实体、实体间的关系形成多个三元组，并将三元组之间进行链接，完成遥感知识图谱的构建。

于本发明一具体实施例中，遥感任务包括场景任务、用户需求任务和遥感影像处理任务。

于本发明一具体实施例中，标注模块包括深度卷积网络。

于本发明一具体实施例中，步骤S3具体为：

反馈模块包含评价函数，基于评价函数对标注结果进行评价，得到评价值；

基于评价值生成反馈信息。

于本发明一具体实施例中，评价值为1或-1，反馈信息为标注结果为优或标注结果为不良，具体为：

当评价值为1，则反馈信息为标注结果为优

当评价值为-1，则反馈信息为标注结果为不良。

于本发明一具体实施例中，当评价值为-1时，将反馈信息反馈至推荐模块，对遥感知识图谱进行补充，并重复步骤S2-S3，直至评价值为1。

于本发明一具体实施例中，对遥感知识图谱进行补充具体为：

基于推理策略对关系和实体进行推理，对遥感知识图谱进行静态补充；

基于图神经网络预测新的实体，并给每个新实体设计相应的辅助三元组，以得到新的实体的向量，对遥感知识图谱进行动态补充。

于本发明一具体实施例中，推理策略为强化学习的路径推理。

于本发明一具体实施例中，图神经网络包括传输模型和输出模型，其中，输出模型为TransE模型。

本发明的有益效果为：本发明提供一种基于遥感影像推荐信息的自动标注方法，该方法包括：构建自动化标注模型，标注模型包括推荐模块、标注模块和反馈模块，其中，推荐模块包含遥感知识图谱；获取遥感样本和遥感任务，将遥感任务输入推荐模块，利用遥感知识图谱进行推荐，得到遥感任务对应的推荐标注项，之后将遥感样本输入标注模块，基于推荐标注项对遥感样本进行标注，得到遥感样本的标注结果；利用反馈模块对标注结果进行评价，得到反馈信息；根据反馈信息更新标注模型。本发明将知识图谱融入标注流程，先根据遥感影像的后续应用生成推荐标注项，然后再对遥感影像进行标注，该方法能达到精准标注，避免资源浪费，且能够缩短标注时的时间，该方法中的自动化标注模型能持续的更新，达到自动标注的结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种基于遥感影像推荐信息的自动标注方法，该方法包括：

S1 构建自动化标注模型，标注模型包括推荐模块、标注模块和反馈模块，其中，推荐模块包含遥感知识图谱；

S2 获取遥感样本和遥感任务，将遥感任务输入推荐模块，利用遥感知识图谱进行推荐，得到遥感任务对应的推荐标注项，之后将遥感样本输入标注模块，基于推荐标注项对遥感样本进行标注，得到遥感样本的标注结果；

S3 利用反馈模块对标注结果进行评价，得到反馈信息；

S4 根据反馈信息更新标注模型。

构建自动化标注模型，该模型包括三个模块，分别为推荐模块、标注模块和反馈模块，三个模块之间串联连接，其中，推荐模块中包含遥感知识图谱。

初始的遥感知识图谱需人为构建，其构建过程如下：

步骤一，设计图谱模式，包括概念层设计、属性定义和遥感领域规则定义。

根据概念层和属性来明确遥感知识图谱的知识来源，并获取遥感知识，包括文本知识和图像知识，文本知识为典型遥感影像的类型相关的背景知识、典型遥感影像的目标对象的信息知识、基础地理信息知识等，图像知识为多源遥感影像中空间位置信息知识等。

图谱模式的设计也为遥感本体的设计。本体将现实世界的对象抽象成概念，并对概念通过属性与属性约束进行明确，规范化的描述。本体由类（也称作概念），子类，属性，属性约束构成。类是对特定领域的概念抽象，例如，“遥感影像”代表所有可获得的影像，“高分辨率遥感影像”是“遥感影像”的一个子类。属性是对类的描述，可对类进行拓展并约束构建的知识图谱，例如“高分辨率遥感影像分辨率高于10米”、“低层住宅的高度小于10米”。本体对知识与数据进行结构化组织，将数据赋予语义关联。需要注意的是，概念与实体容易混淆，在同一本体下，遥感实体也可能是一个抽象概念；例如遥感卫星可以是一个抽象概念，也可以是遥感平台的一个实例。

步骤二，实体构建和关系抽取。

实体构建具体为：利用词汇挖掘方法识别文本知识中的重要短语和词汇，并依次进行实体识别、实体归类和实体链接对遥感本体进行分析来构建实体。

词汇挖掘方法为无监督挖掘方法，目的是从文本知识中挖掘出尽可能多的高质量词汇，无监督挖掘方法通过计算候选短语的统计指标特征来挖掘遥感领域短语，流程包括：（1）候选短语生成；（2）统计特征计算；（3）质量评分；（4）排序输出。

实体识别具体为采用深度学习方法进行实体标注，目的为抽取文本知识中的信息，包括遥感地物名称、位置、建筑名称、人名、道路名称等等，实体识别也可称为命名实体识别。

实体归类为将实体分类为预定义的类别，主要包括实体类、时间类、数字类和其它小类等。

实体链接是指将实体指称链接至给定知识库中的目标实体的过程，包括：实体指称识别、候选实体生成和实体消歧。

关系抽取具体为：基于图像知识中的空间位置和文本知识中的本体坐标和属性信息，进行实体间的关系抽取。可采用基于机器学习的关系抽取方法或采用深度学习的关系抽取方法。

需要明确的是，当利用深度学习进行关系抽取时，可有两种方法，一种为在进行实体构建之后进行关系抽取，例如Pinline模型；一种为将实体构建和关系抽取两个任务同时建模，在训练的过程中同时优化，例如Joint模型。

步骤三，完成遥感知识图谱的构建。

将实体、实体间的关系结构化表示，形成多个三元组，形式为“实体1，关系，实体2”，并将三元组之间进行链接，完成遥感知识图谱的构建。

获取遥感任务和遥感样本，遥感样本带有真实标签，需要明确的是，一幅遥感样本对应一个遥感任务，遥感任务包括场景任务、用户需求任务和遥感影像处理任务，遥感任务也可以是其它有关遥感影像应用的任务。

将遥感任务输入推荐模块，根据遥感任务的需求描述与遥感知识图谱进行比对，基于文本相似度选取目标实体，并根据遥感知识图谱中的关系链接选取与目标实体相近的邻近实体，由于遥感知识图谱中的实体均包含标注信息，以及关系，目标实体中包含标注信息，将目标实体、邻近实体的标注信息作为推荐标注项。

其中，文本相似度的计算方法可以是欧氏距离、曼哈顿距离、余弦相似度、Jacard相似度、皮尔森相关系数和汉明距离等。

将遥感样本和推荐标注项输入标注模块，标注模块可以是任何一种对遥感样本进行标注的模型，例如VGG16模型，具体采用何种模型则根据推荐标注项来决定，以对遥感样本进行精确标注。并基于推荐标注项选取遥感样本所需要提取的图像特征，通过标注模块对特征进行提取，进而得到遥感样本的标签信息，即标注结果。

反馈模块包含评价函数，基于评价函数对标注结果进行评价，得到评价值，基于评价值生成反馈信息。评价函数如下：

其中，的范围是[0,1]，表示第个遥感样本的标注结果，代表第个遥感样本标注结果的数目，表示第个遥感样本的真实标签，代表第个遥感样本真实标签的数目，，为遥感样本的数目。该评价函数具体指的是遥感样本的标注结果与真实标签的相似度。

其中，表示第个标签在标注结果中的数目，表示第个标签在真实标签中的数目。

基于上述评价函数得到评价值，设定一预设阈值，当评价函数大于预设阈值时，评价值为1，当评价函数小于预设阈值时，评价值为-1。其中，本实施例中预设阈值为0.6。

根据评价值的数值，反馈信息为标注结果为优或标注结果为不良，具体为：

当评价值为1，则反馈信息为标注结果为优

当评价值为-1，则反馈信息为标注结果为不良。

当评价值为-1时，将反馈信息反馈至推荐模块，对遥感知识图谱进行补充，并重复步骤S2-S3，直至评价值为1。

对遥感知识图谱进行补充主要为一个预测问题，即预测出三元组中缺失的部分。所以可分成3个子任务：头实体预测、关系预测和尾实体预测。具体的遥感知识图谱补充过程包括两部分：

（1）基于推理策略对关系和实体进行推理，对遥感知识图谱进行静态补充。

推理策略可以为强化学习的路径推理，也可以是其它方法的推理策略。该推理策略的目的为寻找实体之间的关系路径。即实体是已知的，通过强化学习模型的隐含层的权重和偏置作为实体之间的隐含关系，以此对遥感知识图谱进行静态补充。

（2）基于图神经网络预测新的实体，并给每个新实体设计相应的辅助三元组，以得到新的实体的向量，对遥感知识图谱进行动态补充。

图神经网络包括传输模型和输出模型，其中，输出模型可以是TransE模型，也可以是其它输出模型。图神经网络包括图结构，图结构由节点和边构成。

利用图神经网络对遥感知识图谱进行动态补充包括三个步骤：

A. 学习低维度的向量表示

将遥感知识图谱中的实体和关系映射到低维连续的向量空间，为实体和关系学习出一个低维度的向量表示，该低维度的向量表示包含语义信息。并同时应用图神经网络将图谱中的拓扑结构信息和属性特征信息进行整合，使每个实体在进行低维度的向量表示学习时，能将与其相关的其他实体中的信息进行利用，从而学习得到更完整更丰富的实体、关系的低维度向量表示。

B. 基于学习得到的低维度的向量表示进行推理

在学习低维度的向量表示时，将自动捕捉、推理所需的特征，通过训练学习，使遥感知识图谱在低维连续的向量空间中自动实现推理。

C. 基于学习得到的低维度的向量表示进行链接预测

在对实体和关系进行低维度的向量表示学习时，利用图神经网络为实体引入邻实体和对应关系的信息，具体可以是引入一个自动编码器，包括实体编码器和解码器，实体编码器将每个实体映射到一个真值向量，解码器为一个评分函数，解码器根据节点表示重建图的边，即根据实体的向量表示重建实体之间的关系。

上述步骤可学得更全面的实体表示，从而预测实体之间的链接关系，对遥感知识图谱进行动态补充。

本发明的有益效果为：本发明提供一种基于遥感影像推荐信息的自动标注方法，该方法包括：构建自动化标注模型，标注模型包括推荐模块、标注模块和反馈模块，其中，推荐模块包含遥感知识图谱；获取遥感样本和遥感任务，将遥感任务输入推荐模块，利用遥感知识图谱进行推荐，得到遥感任务对应的推荐标注项，之后将遥感样本输入标注模块，基于推荐标注项对遥感样本进行标注，得到遥感样本的标注结果；利用反馈模块对标注结果进行评价，得到反馈信息；根据反馈信息更新标注模型。本发明将知识图谱融入标注流程，先根据遥感影像的后续应用生成推荐标注项，然后再对遥感影像进行标注，该方法能达到精准标注，避免资源浪费，且能够缩短标注时的时间，该方法中的自动化标注模型能持续的更新，达到自动标注的结果。

Claims (10)

1.一种基于遥感影像推荐信息的自动标注方法，其特征在于，该方法包括：

S1 构建自动化标注模型，标注模型包括推荐模块、标注模块和反馈模块，其中，推荐模块包含遥感知识图谱；

S2 获取遥感样本和遥感任务，将遥感任务输入推荐模块，利用遥感知识图谱进行推荐，得到遥感任务对应的推荐标注项，之后将遥感样本输入标注模块，基于推荐标注项对遥感样本进行标注，得到遥感影像的标注结果；

S3 利用反馈模块对标注结果进行评价，得到反馈信息；

S4 根据反馈信息更新自动化标注模型。

2.根据权利要求1所述的方法，其特征在于，遥感知识图谱的构建过程为：

获取遥感知识，包括文本知识和图像知识；

基于文本知识进行遥感本体的识别，构建实体；

基于图像知识中的空间位置和文本知识中的本体坐标和属性信息，进行实体间的关系抽取；

将实体、实体间的关系形成多个三元组，并将三元组之间进行链接，完成遥感知识图谱的构建。

3.根据权利要求2所述的方法，其特征在于，遥感任务包括场景任务、用户需求任务和遥感影像处理任务。

4.根据权利要求2所述的方法，其特征在于，标注模块包括深度卷积网络。

5.根据权利要求2所述的方法，其特征在于，步骤S3具体为：

反馈模块包含评价函数，基于评价函数对标注结果进行评价，得到评价值；

基于评价值生成反馈信息。

6. 根据权利要求5所述的方法，其特征在于，评价值为1或-1，反馈信息为标注结果为优或标注结果为不良，具体为：

当评价值为1，则反馈信息为标注结果为优

当评价值为-1，则反馈信息为标注结果为不良。

7.根据权利要求6所述的方法，其特征在于，当评价值为-1时，将反馈信息反馈至推荐模块，对遥感知识图谱进行补充，并重复步骤S2-S3，直至评价值为1。

8.根据权利要求7所述的方法，其特征在于，对遥感知识图谱进行补充具体为：

基于推理策略对关系和实体进行推理，对遥感知识图谱进行静态补充；

基于图神经网络预测新的实体，并给每个新实体设计相应的辅助三元组，以得到新的实体的向量，对遥感知识图谱进行动态补充。

9.根据权利要求8所述的方法，其特征在于，推理策略为强化学习的路径推理。

10.根据权利要求8所述的方法，其特征在于，图神经网络包括传输模型和输出模型，其中，输出模型为TransE模型。

Images