CN113312925B - 一种基于自强化学习的遥感影像文本生成及优化方法 - Google Patents

一种基于自强化学习的遥感影像文本生成及优化方法 Download PDF

Info

Publication number
CN113312925B
CN113312925B CN202110713496.7A CN202110713496A CN113312925B CN 113312925 B CN113312925 B CN 113312925B CN 202110713496 A CN202110713496 A CN 202110713496A CN 113312925 B CN113312925 B CN 113312925B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
text generation
model
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110713496.7A
Other languages
English (en)
Other versions
CN113312925A (zh
Inventor
夏鲁瑞
林郁
李森
陈雪旗
张占月
王鹏
任昊利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202110713496.7A priority Critical patent/CN113312925B/zh
Publication of CN113312925A publication Critical patent/CN113312925A/zh
Application granted granted Critical
Publication of CN113312925B publication Critical patent/CN113312925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于自强化学习的遥感影像文本生成及优化方法。所述的一种基于自强化学习的遥感影像文本生成及优化方法包括如下步骤：步骤S1、遥感影像语义理解特征提取；步骤S2、获取训练集，对文本生成模型进行预训练，提取文本生成模型参数；步骤S3、将提取的特征向量、先验文本库、预训练后的文本生成模型参数以及用户的任务需求，输入到遥感影像文本生成网络，通过深度学习自然语言处理技术，将提取的特征向量表示的图像特征信息还原为文本描述。本发明采用基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本，提高遥感影像生成模型的训练效果，促使参数向期望值收敛，提高生成描述的准确性。

Description

一种基于自强化学习的遥感影像文本生成及优化方法
技术领域
本发明涉及遥感影像文本生成技术领域，特别涉及一种基于自强化学习的遥感影像文本生成及优化方法。
背景技术
现代航天遥感技术的高速进步，使得遥感卫星日趋成熟、遥感数据获取量成倍增长。然而，目前人们对航天遥感影像的推理与理解以检测和分类为主，其结果与高层信息之间仍存在较大差距。因此，面对如此海量的遥感影像数据，亟需具备与遥感影像获取速度相匹配的解译能力，如何在浩瀚的遥感影像中挖掘提取出高价值信息成为遥感领域进一步探索研究的方向。
航天遥感影像语义理解技术主要是指通过特征提取模型对遥感影像的低层特征进一步抽象，挖掘能够体现其本质属性的信息作为特征，利用更高层次的特征信息对遥感影像进行描述和表达，以便于对遥感影像进行准确理解和分析，同时避免冗余信息对实际应用造成不良影响，进而准确高效地完成影像分类、目标识别和检测等任务的方法。在上述基于影像智能化解译的空间信息智能一体化处理技术中，航天遥感影像语义理解技术的主要目的是通过挖掘遥感影像特征信息，生成可供遥感影像文本生成的特征向量，是航天遥感影像语义理解与文本生成技术的重要基础。
遥感影像语义理解与文本生成技术虽然取得了一定突破，但是图像描述领域存在几个关键问题悬而未决，始终制约着该技术进一步发展。主要的问题如下：
(1)遥感影像文本生成技术在训练阶段和验证阶段使用的评价指标不匹配。在训练阶段常用交叉熵损失作为损失函数训练模型参数，但是验证阶段使用的是BLEU(Bilingual Evaluation Understudy，双语评价方法)、ROUGE(Recall-OrientedUnderstudy for Gisting Evaluation，基于召回率的相似性度量方法)、CIDEr(Consensus-based Image Description Evaluation，一致性图像描述评估)、SPICE(Semantic Propositional Image Caption Evaluation，语义命题图像字幕评价)等评价指标，导致模型生成的描述性语句与训练样本在语义结构上可能存在差异，从而造成训练时损失值较低的语句在测试时难以取得相应效果。
(2)遥感影像文本生成模型无法进行误差修正。在训练阶段，每个时间步长的输入都源于训练文本中真实的描述，而生成描述语句的时候，每个生成的单词依赖于先前生成的单词，如果某个单词生成的质量较差，存在误差积累现象(Exposure bias)。
针对上述问题，解决思路是在训练时也采用相同的评价指标，即以CIDEr、SPICE的值作为训练阶段的损失函数，之所以不用BLEU和ROUGE作为损失函数是因为这两个指标更适用于机器翻译，在图像描述领域以CIDEr和SPICE作为主要评价指标更能代表模型的性能。通过最大化评价指标使得训练阶段和验证阶段相匹配。
计划采样法是一种经典的解决序列生成任务中训练和测试时输入数据分布不一致问题的方法，然而，由于生成文本描述的动作是不可微的，因此难以直接通过反向传播(Backpropagation)算法对损失函数进行优化。强化学习(Reinforcement Learning)能够直接用来优化不可微分的评价标准，因而可以较为理想地解决上述问题。
策略梯度(Policy Gradient)法是强化学习领域的经典算法。然而其模型容易收敛到局部最小值，收敛耗时更久，尤其对于遥感影像，因其特征不明显导致模型更容易陷入局部最优，生成的描述质量欠佳。
发明内容
本发明提供了一种基于自强化学习的遥感影像文本生成及优化方法，该方法对遥感影像语义理解与文本生成模型进行优化。
为了达到上述目的，本发明提供的一种基于自强化学习的遥感影像文本生成及优化方法，包括如下步骤：
步骤S1、遥感影像语义理解特征提取：将经过星上数据预处理及切片处理的航天遥感影像输入特征提取网络，提取对遥感影像进行语义理解的特征向量；
步骤S2、通过遥感影像获取训练集，对由所述遥感影像文本生成网络构成的文本生成模型进行预训练，提取文本生成模型参数；
步骤S3、将提取的特征向量、先验文本库、预训练后的文本生成模型参数以及用户的任务需求，输入到遥感影像文本生成网络，通过深度学习自然语言处理技术，将提取的特征向量表示的图像特征信息还原为文本描述；
所述先验文本库为训练集中附带的对应遥感影像的文本描述；
所述预训练后的文本生成模型参数为预训练特征提取模型参数；
所述遥感影像文本生成网络将图像特征信息还原为文本描述包括如下步骤：
步骤S31、通过遥感影像文本生成网络将将图像特征信息还原为单词；
步骤S32、通过自强化模块对生成的单词进行优化，采用基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本：在由所述遥感影像文本生成网络构成的文本生成模型中，通过文本生成的过程中，将所述先验文本库中采样的单词不断地与文本生成模型中生成的单词进行比较，奖励描述准确的单词，抑制描述不准确及错误的单词，以提高训练过程的收敛速度，并优化文本生成描述的质量。
优选地，所述步骤S32中的采用所述基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本，具体步骤为：
步骤S321、初始化参数，并根据策略采样；
文本生成模型定义为智能体agent，先验文本中的描述词和遥感影像特征定义为“环境”，模型参数θ看作策略pθ，生成单词的评价指标看作奖励值Rt，执行的动作看作预测的下一个单词；每经历一个动作，agent更新内部状态，每正确生成一个单词序列，agent得到一个正向激励；
步骤S322、计算期望函数；
期望函数表示为：
L(θ)＝-EW-p[R(W)]
其中，W＝(W1,W2,...,Wt)，Wt表示t时刻从文本生成模型采样的单词，R(W)表示生成单词的评价指标，也即强化学习中的奖励值，训练的目标是最小化负期望函数；
步骤S323、引入策略梯度算法计算期望梯度：
Figure BDA0003133869800000041
式中，pθ(W)表示表示单词采样过程中的模型参数,
Figure BDA0003133869800000042
表示表示对θ计算期望梯度；
对于minibatch中每个训练样例有：
Figure BDA0003133869800000043
步骤S324、计算基线减小方差；
在策略梯度算法中引入基线来减小方差，得到每个动作对于基线的奖励：
Figure BDA0003133869800000044
由于基线b可以是不依赖于动作Wt的任意函数，期望梯度
Figure BDA0003133869800000045
不受基线b影响，并且能够减小梯度估计的方差；
对于每个训练样例，采用单个采样W～pθ近似估计期望梯度：
Figure BDA0003133869800000046
根据链式法则和模型参数pθ可得：
Figure BDA0003133869800000047
其中，St是经过GRU注意力机制后文本生成模型的输入，则有：
Figure BDA0003133869800000048
上式计算了期望函数关于输入的梯度值，其中Wt 1是单词的one-hot向量表示，Ht代表t时刻的隐状态；
步骤S325、计算奖励值Rt并更新模型参数θ；
为了在不额外增加大量参数的前提下提升模型性能，自强化学习通过采用遥感影像文本生成过程中生成单词的奖励值作为基线；当生成单词优于基线时，该单词得到正向激励，否则，该单词得到抑制，以此更新模型参数；
步骤S326、当达到最大迭代次数时，输出模型参数；否则返回步骤S321。
优选地，所述步骤S325具体为通过束搜索计算概率最大单词的奖励值作为基线，具体为：
梯度方程表示为：
Figure BDA0003133869800000051
其中，R(W')代表基于束搜索算法获得的生成单词的奖励；
计算奖励值的方法为束搜索法，具体为：
定义超参数束宽，设为k，在每个时间步长上计算概率最大的k个单词并计算其奖励值，计算公式为：
Figure BDA0003133869800000052
式中，
Figure BDA0003133869800000053
表示使得pθ取得最大值所对应的变量点x或x的集合，Wt 2表示t时刻从模型采样的2个单词，Wt k表示t时刻从模型采样的k个单词；
当束宽k取2时，束搜索虽未必能够获得全局最优值，但是相较于贪婪搜索扩大了搜索空间，且计算量远小于穷举搜索，此时梯度方程为：
Figure BDA0003133869800000054
优选地，所述步骤S2中对由所述遥感影像文本生成网络构成的文本生成模型进行预训练具体为：采用交叉熵函数作为基于GRU注意力机制的包括GRU注意力网络模型的文本生成模型的损失函数，对模型进行初步训练，使遥感影像文本生成算法评价指标初步收敛。
优选地，所述步骤S31包括如下步骤：
步骤S311、建立GRU注意力网络模型；
步骤S312、通过GRU注意力网络模型获取注意力值，并将其作为LSTM语言网络的权重；
步骤S313、将所述GRU注意力网络模型获得的注意力值输入到所述LSTM语言网络对特征解码，输出单词和状态；
步骤S314、单词和状态经过Softmax函数，用SoftMax函数计算每个单词在(0，1)区间的映射，取值最大的作为输出，生成每个单词。
本发明能够取得下列有益效果：
本发明在遥感影像文本生成过程中，采用自强化学习模型梯度计算，使用此方法，生成单词若优于通过束搜索计算的基线，模型会获得正向激励，反之模型会被抑制。通过该算法提高遥感影像生成模型的训练效果，促使参数向期望值收敛，提高生成描述的准确性。
在基于策略梯度算法的自强化学习算法的基础上，引入基于自强化学习的遥感影像文本生成算法对模型进行训练优化。考虑到模型训练初期，生成的单词准确度低，用来作为基线效果较差，因此考虑先以交叉熵函数作为模型的损失函数，对模型进行初步训练，当算法评价指标基本收敛时，再通过束搜索计算概率最大单词的奖励值作为基线，进一步提升模型的性能和评价指标。
附图说明
图1为本发明的一种基于自强化学习的遥感影像文本生成及优化方法的航天遥感影像文本生成技术的流程图；
图2为本发明的一种基于自强化学习的遥感影像文本生成及优化方法的获得遥感影像文本生成模型的特征向量的流程图；
图3为本发明的一种基于自强化学习的遥感影像文本生成及优化方法的流程图；
图4为本发明的一种基于自强化学习的遥感影像文本生成及优化方法的基于RSICD数据集的评价指标变化曲线的对比图；
图5为本发明的一种基于自强化学习的遥感影像文本生成及优化方法的基于UCM数据集的评价指标变化曲线的对比图；
图6为本发明的一种基于自强化学习的遥感影像文本生成及优化方法的基于Sydney数据集的评价指标变化曲线的对比图；
图7为本发明的一种基于自强化学习的遥感影像文本生成及优化方法的基于自强化学习算法生成的描述语句与基于GRU注意力机制的算法生成的描述语句进行对比的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的问题，提供了一种基于自强化学习的遥感影像文本生成及优化方法。
遥感影像文本生成的流程是：通过特征提取模型提取遥感影像的特征图，将提取出的特征图和训练集中的描述信息共同输入到文本生成模型中进行训练，得到文本生成结果。为了提升文本生成结果，在文本生成模型的基础上，加入基于策略梯度法的自强化学习技术，通过在文本生成的过程中，将所述先验文本库中采样的单词不断地和与生成的单词进行比较，奖励描述准确的单词，抑制描述不准确及错误的单词，以提高训练过程的收敛速度，并优化生成描述的质量。
如图1、图2及图3所示，本发明的一种基于自强化学习的遥感影像文本生成及优化方法包括如下步骤：
步骤S1、遥感影像语义理解特征提取：将经过星上数据预处理及切片处理的航天遥感影像输入特征提取网络，提取对遥感影像进行语义理解的特征向量。
生成可供遥感影像文本生成的特征向量，是航天遥感影像语义理解与文本生成技术的重要基础。其主要特点体现在：经过星上数据预处理及切片后的遥感影像无需经过其他预处理方法，直接输入遥感影像语义理解模型，通过特征提取网络获取遥感影像高级语义特征，直接输出可供遥感影像文本生成模型使用的特征信息。获得遥感影像文本生成模型的特征向量的流程图如图2所示。
步骤S2、通过遥感影像获取训练集，对由所述遥感影像文本生成网络构成的文本生成模型进行预训练，提取文本生成模型参数；
步骤S3、将提取的特征向量、先验文本库、预训练后的文本生成模型参数以及用户的任务需求，输入到遥感影像文本生成网络，通过深度学习自然语言处理技术，将提取的特征向量表示的图像特征信息还原为文本描述。
所述先验文本库为训练集中附带的对应遥感影像的文本描述；
所述预训练后的文本生成模型参数为预训练特征提取模型参数。
航天遥感影像文本生成技术主要指利用语义理解模型获得的遥感影像特征向量和先验文本库信息，通过深度学习自然语言处理技术，将特征信息还原为文本描述，进而快速准确地完成在轨产品智能生成与分发，能够实现在轨任务的智能执行与信息智能处理，输出高质高效服务产品，可直接供用户使用，是计算机理解和处理遥感影像的高级处理方式。其主要特点体现在：卫星可以通过语义理解技术获取的特征信息，结合先验知识，独立生成可供用户直接使用的情报产品，这些产品可以是处理后的遥感影像、文本信息甚至声音，根据用户的不同需求产生对应的信息。因为无需下传地面经由判读员人工处理获得的产品，信息的时效性极大提高。航天遥感影像文本生成技术流程图如图1所示。
所述遥感影像文本生成网络将图像特征信息还原为文本描述包括如下步骤：
步骤S31、通过遥感影像文本生成网络将将图像特征信息还原为单词；
步骤S32、通过自强化模块对生成的单词进行优化，采用基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本：在由所述遥感影像文本生成网络构成的文本生成模型中，通过文本生成的过程中，将所述先验文本库中采样的单词不断地与文本生成模型中生成的单词进行比较，奖励描述准确的单词，抑制描述不准确及错误的单词，以提高训练过程的收敛速度，并优化文本生成描述的质量。
所述步骤S32中的所述基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本，具体步骤为：
步骤S321、初始化参数，并根据策略采样；
文本生成模型定义为智能体agent，先验文本中的描述词和遥感影像特征定义为“环境”，模型参数θ看作策略pθ，生成单词的评价指标看作奖励值Rt，执行的动作看作预测的下一个单词；每经历一个动作，agent更新内部状态，每正确生成一个单词序列，agent得到一个正向激励；
步骤S322、计算期望函数；
期望函数可表示为：
L(θ)＝-EW-p[R(W)]
其中，W＝(W1,W2,...,Wt)，Wt表示t时刻从文本生成模型采样的单词，R(W)表示生成单词的评价指标，也即强化学习中的奖励值，训练的目标是最小化负期望函数；
步骤S323、引入策略梯度算法计算期望梯度：
Figure BDA0003133869800000091
式中，pθ(W)表示表示单词采样过程中的模型参数,
Figure BDA0003133869800000092
表示表示对θ计算期望梯度；
实际应用中，可通过单个蒙特卡洛抽样从pθ中抽样Wt近似以获得期望梯度；
对于minibatch(mini-batch,小批量,从训练数据中选出一批数据)中每个训练样例有：
Figure BDA0003133869800000093
步骤S324、计算基线减小方差；
在策略梯度算法中引入基线(baseline)来减小方差，得到每个动作对于基线的奖励：
Figure BDA0003133869800000094
由于基线b可以是不依赖于动作Wt的任意函数，期望梯度
Figure BDA0003133869800000095
不受基线b影响，并且能够减小梯度估计的方差；
对于每个训练样例，采用单个采样W～pθ近似估计期望梯度：
Figure BDA0003133869800000096
根据链式法则和模型参数pθ可得：
Figure BDA0003133869800000097
其中，St是经过GRU注意力机制后文本生成模型的输入，则有：
Figure BDA0003133869800000098
上式计算了期望函数关于输入的梯度值，其中Wt 1是单词的one-hot向量表示，Ht代表t时刻的隐状态；
步骤S325、计算奖励值Rt并更新模型参数θ；
为了在不额外增加大量参数的前提下提升模型性能，自强化学习通过采用遥感影像文本生成过程中生成单词的奖励值作为基线；当生成单词优于基线时，该单词得到正向激励，否则，该单词得到抑制，以此更新模型参数；
步骤S326、当达到最大迭代次数时，输出模型参数；否则返回步骤S321。
所述步骤S325中，计算奖励值有几种常用方法，如穷举搜索(ExhaustiveSearch)、贪婪搜索(Greedy Search)和束搜索(Beam search)。其中穷举搜索表示穷举所有可能的输出单词，并从中找出输出条件概率最大的单词。这种方法虽然可以保证全局最优，但是随着单词丰富程度增加，模型计算复杂度激增，不适用于遥感影像文本生成领域。
贪婪搜索法在测试阶段生成每个单词的时候，使用贪婪解码获取概率最大的单词来生成句子，计算公式如下：
Figure BDA0003133869800000101
使用贪婪搜索算法作为基线能够在增加模型参数最少的条件下，对模型进行优化，大大提高了模型训练的效率，在自然场景图像描述领域具有较好的效果。但是该算法本质上没有从全局最优的角度生成文本描述，对于场景复杂的遥感影像，难以从宏观角度生成准确的描述语句。
束搜索算法是贪婪搜索的改进，为通过束搜索计算概率最大单词的奖励值作为基线，具体为：
梯度方程表示为：
Figure BDA0003133869800000102
其中，R(W')代表基于束搜索算法获得的生成单词的奖励；
计算奖励值的方法为束搜索(Beam search)法，具体为：
定义超参数束宽(Beam size)，设为k，在每个时间步长上计算概率最大的k个单词并计算其奖励值，计算公式为：
Figure BDA0003133869800000103
式中，
Figure BDA0003133869800000104
表示使得pθ取得最大值所对应的变量点x或x的集合，Wt 2表示t时刻从模型采样的2个单词，Wt k表示t时刻从模型采样的k个单词；Wt表示t时刻从模型采样的单词，因为这里设定取时间步长上k个单词计算概率最大的那个，所以上标1,2…,k依次表示时间步长上的k个单词。
当束宽k取2时，束搜索虽未必能够获得全局最优值，但是相较于贪婪搜索扩大了搜索空间，且计算量远小于穷举搜索，此时梯度方程为：
Figure BDA0003133869800000111
本发明提供的一种基于所述的一种基于自强化学习的遥感影像文本生成及优化方法的优化方法，对于输入的遥感影像，首先通过基于深层残差网络的特征提取技术生成特征图，并且与训练数据集中的文本库共同输入至文本生成网络；在文本生成网络中，根据GRU注意力机制计算区域的注意力值，作为LSTM语言网络的权重；当模型训练到一定程度后，引入自强化学习对参数进一步优化，通过束搜索法计算奖励值作为策略梯度中的基线，生成准确单词时模型得到正向激励，生成不准确或错误单词时模型被抑制，以此更新模型参数，提高描述的准确性和评价指标分数。
所述遥感影像文本生成网络步骤S31中对由所述遥感影像文本生成网络构成的文本生成模型进行预训练具体为：采用交叉熵函数作为基于GRU注意力机制的包括GRU注意力网络模型的文本生成模型的损失函数，对模型进行初步训练，使遥感影像文本生成算法评价指标初步收敛。
GRU注意力机制的文本生成模型由GRU注意力网络和LSTM文本生成网络组成。LSTM语言网络对输入的遥感影像会输出不同的单词。
所述步骤S31包括如下步骤：
步骤S311、建立GRU注意力网络模型；
步骤S312、通过GRU注意力网络模型获取注意力值，并将其作为LSTM网络的权重；
步骤S313、将所述GRU注意力网络模型获得的注意力值输入到所述LSTM语言网络对特征解码，输出单词和状态；
步骤S314、单词和状态经过Softmax(归一化指数函数)函数，用SoftMax函数计算每个单词在(0，1)区间的映射，取值最大的作为输出，生成每个单词。
其中，所述GRU注意力网络对输入的特征图和特征图中文本信息的单词计算权重系数，增加对重点区域的选择和关注度，并将所述GRU注意力网络获得的注意力值及隐状态输入到所述LSTM语言网络，输出单词和状态；
所述GRU注意力网络遵循以下公式：
Figure BDA0003133869800000121
所述LSTM语言网络遵循以下公式：
Figure BDA0003133869800000122
其中，
Figure BDA0003133869800000127
和
Figure BDA0003133869800000128
分别代表GRU注意力网络t时刻的输入和隐状态，
Figure BDA0003133869800000129
表示GRU注意力网络t-1时刻的隐状态，
Figure BDA00031338698000001210
和
Figure BDA00031338698000001211
分别代表LSTM语言网络t时刻的输入和隐状态，
Figure BDA00031338698000001212
表示LSTM语言网络t-1时刻的隐状态，隐状态是用于控制LSTM网络每层输出的值；
GRU注意力网络满足以下公式：
Figure BDA0003133869800000123
该式表示，GRU注意力网络的输入
Figure BDA00031338698000001213
由三部分组成，分别是：(t-1)时刻LSTM语言网络的隐状态
Figure BDA00031338698000001214
输入特征图的平均池化特征
Figure BDA00031338698000001217
和已生成单词的编码WdΠt。
所述GRU注意力网络中对特征图的权重计算公式为：
Figure BDA0003133869800000124
αi,t＝Softmax(mi,t)
Figure BDA0003133869800000125
其中，αi,t为特征图中的关注度权重，
Figure BDA00031338698000001215
为t时刻遥感影像特征图的动态表示，i表示输入遥感影像的第i个区域，K代表特征图的个数，用于计算平均池化特征，mi,t表示t时刻第i个区域的特征图，Wfm，WHm和
Figure BDA00031338698000001216
均是网络参数，f为特征图的平均池化特征，m表示特征图表；
GRU注意力网络输出的状态值和图像特征图构成了LSTM语言网络的输入，状态值为经过GRU网络权重系数计算后的输出值，图像特征图为数据集的图像特征图：
Figure BDA0003133869800000126
Figure BDA0003133869800000134
表示GRU注意力网络t时刻的隐状态，
Figure BDA0003133869800000135
表示t时刻平均池化了的特征图；
t时刻GRU注意力网络和LSTM语言网络输出的任一单词的概率分布为：
Figure BDA0003133869800000131
Figure BDA0003133869800000132
其中，Y1:T指代单词序列(Y1,Y2,...Yt...YT)，p(Yt|Y1:t-1)代表每个time step的条件分布，p(Y1:T)指完整的条件分布，Wp和bp分别是GRU注意力网络和LSTM文本生成网络构成的模型的权重和偏差；偏差指的是每层网络计算过程中的偏置b；
以交叉熵函数作为GRU注意力网络和LSTM文本生成网络构成的模型优化的损失函数：
Figure BDA0003133869800000133
所述GRU注意力网络的计算单元中，通过计算重置门Rt和候选状态
Figure BDA0003133869800000139
之间的关系，以及更新门Zt和当前状态Ht之间的关系来控制该计算单元的输出；计算单元指的是GRU网络每一层中的计算节点；
重置门Rt的计算如下：
Rt＝σ(WRXt+URHt-1+bR)
此时候选状态
Figure BDA0003133869800000136
如下：
Figure BDA0003133869800000137
其中，Xt代表t时刻的输入，Ht-1代表历史状态，WR和UR为重置门的参数矩阵，bR和bH为偏置，WH和UH表示表示候选状态的计算矩阵，Rt表示表示重置门计算后的值；
更新门Zt和当前状态Ht的关系如下：
Zt＝σ(WZXt+UZHt-1+bZ)
式中，σ表示sigmoid激活函数，WZ和UZ表示更新门的参数矩阵，，bZ表示更新门计算时的偏置；
更新门Zt用来控制当前状态Ht需要从历史状态(t-1)时刻的Ht-1中保留的信息以及从候选状态
Figure BDA0003133869800000138
中接收新信息；
此时的状态Ht计算如下：
Figure BDA0003133869800000141
上式表示了GRU注意力网络的当前状态；
将GRU注意力网络的当前状态整理，当前状态Ht和历史状态(t-1)时刻的Ht-1之间同时存在线性和非线性关系，能够在一定程度上缓解梯度弥散现象；
Ht＝Zt⊙Ht-1+(1-Zt)⊙tanh(WHXt+UH(Rt⊙Ht-1)+bH)
此时，GRU注意力网络的输出Yt表示如下：
Yt＝σ(W·Ht)
式中，W表示GRU网络的参数矩阵，是对更新门和重置门参数矩阵的宏观表示。
在每个文本生成单元，前一时刻LSTM语言网络的隐状态，输入特征图的平均池化特征，前一个文本生成单元生成单词的编码共同作为GRU注意力网络的输入，GRU注意力网络经过计算获得每个预选区域的权重，再经过LSTM语言网络对特征解码，经过Softmax函数后生成每个单词，并将该单词和状态作为下一个GRU注意力网络的输入；循环往复，直到生成最后一个单词。本发明能够取得下列有益效果：
本发明针对遥感影像文本生成算法模型测试阶段存在的误差累积、评价指标不对应以及难以直接通过反向传播优化参数的问题，改进了基于自强化学习的遥感影像文本生成优化方法。创新点包括：
(1)提出一种基于强化学习的遥感影像文本生成优化方法
在强化学习策略梯度算法的基础上，引入束搜索算法计算遥感影像文本生成算法中已生成单词的评价指标，并将其作为模型基线与生成单词对比以获得奖励值，生成准确单词时模型得到正向激励，生成不准确或错误单词时模型被抑制，从而优化参数提高模型性能。
(2)基于自强化学习优化方法设计并实现了遥感影像文本生成算法
基于自强化学习优化方法，设计并实现了遥感影像文本生成算法，以深层残差网络提取遥感影像特征图，以基于GRU注意力机制的区域关注算法作为文本解码器，结合基于自强化学习的优化方法，充分挖掘遥感影像包含的信息，将输入的遥感影像输出为准确详实的文本描述。
本发明在遥感影像文本生成过程中，采用自强化学习模型梯度计算，使用此方法，生成单词若优于通过束搜索计算的基线，模型会获得正向激励，反之模型会被抑制。通过该算法提高遥感影像生成模型的训练效果，促使参数向期望值收敛，提高生成描述的准确性。
在基于策略梯度算法的自强化学习算法的基础上，引入基于自强化学习的遥感影像文本生成算法对模型进行训练优化。考虑到模型训练初期，生成的单词准确度低，用来作为基线效果较差，因此考虑先以交叉熵函数作为模型的损失函数，对模型进行初步训练，当算法评价指标基本收敛时，再通过束搜索计算概率最大单词的奖励值作为基线，进一步提升模型的性能和评价指标。
为评估本发明提出的基于自强化学习的遥感影像文本生成算法的效果，进行如下实验：以深层残差网络作为图像编码器，以引入GRU注意力机制的LSTM语言网络作为文本解码器，先通过监督学习基于交叉熵损失函数以2e-5的学习率对模型预训练50轮，使模型达到一个较为稳定的状态，再通过自强化学习算法优化评价指标进一步优化模型参数，学习率大小设为1e-5再训练30轮，并把验证集上评价指标最高的模型作为最终测试模型，最后将该模型的评价指标与未加入自强化学习的遥感影像文本生成模型的评价指标进行对比。实验所用遥感影像数据集为RSICD、UCM Captions和Sydney，采用的评价指标为BLEU、ROUGE、CIDEr和SPICE。
数据集包括RSICD(Remote Sensing Image Captioning Dataset，遥感影像语义理解数据集)，UCM-Caption(University of California，Merced Dataset，加州大学默塞德分校制作的数据集)数据集，Sydney数据集。
RSICD数据集从谷歌地球，百度地图，MapABC，天地图(Tianditu)收集了10921幅遥感影像，每幅影像有5条描述语句。该数据集包含30个类别。其中遥感影像尺寸固定为224*224像素。这个数据集是目前遥感影像描述任务中最大的数据集，数据集中的样本图像具有较高的类内多样性和较低的类间差异性。
UCM-Caption数据集是基于UCM_Merced大学的土地利用数据集，影像来源于美国地质调查局的国家地图城市区域。共包含2100幅遥感影像，数据集中含有21个类别。每幅遥感的分辨率为256*256像素，每幅影像同样有5条描述语句。
评价指标包括BLEU、ROUGE、CIDEr、SPICE。
Sydney数据集全称是Sydney-Captions数据集。该数据集基于Sydney数据集，共有613幅遥感影像，包含7个类别。每幅影像分辨率为500*500像素，并且同样采用5条不同的语句描述。所有影像都是从谷歌地球中澳大利亚悉尼的18000*14000像素的遥感影像中制作的。
BLEU是机器翻译领域最常用的评价指标之一，于2002由IBM公司年提出，为评价翻译语句和参考语句之间的关联性。
ROUGE能够用来反映获得描述的准确程度，通过计算n-gram在对照描述和待评价描述中的共现概率获得。
CIDEr是专门设计评价图像描述问题的指标，它通过Term Frequency InverseDocument Frequency(TF-IDF)计算每个n-gram的权重，用于评价描述的一致性。
SPICE也是专门设计用于评价图像描述问题，不同于前面三种基于n元组的指标，SPICE使用图的语义表示编码描述中的目标，属性和关系。
实验结果如表1、表2、表3所示：
表1 RSICD实验结果
Figure BDA0003133869800000161
表2 UCM_Captions实验结果
Figure BDA0003133869800000162
表3 Sydney_Captions实验结果
Figure BDA0003133869800000171
可以发现，在三个数据集中，使用本发明提出的基于自强化学习算法对遥感影像文本生成模型进行优化训练后，评价指标均有大幅增长，其中CIDEr值显著提高。这是因为束搜索计算奖励值时以CIDEr值为基准，因此可以直接优化该指标，其他指标也因此有相应提升，证明了本发明提出的基于自强化学习的遥感影像文本生成算法效果显著。
为观察基于自强化学习的遥感影像语义理解与文本生成算法评价指标随训练过程的变化趋势，因为共训练了80轮，故每训练8轮计算一次评价指标，分别绘制三个数据集遥感影像语义理解与文本生成技术的评价指标变化曲线：
图4、图5及图6展示了基于自强化学习的遥感影像语义理解与文本生成算法的评价指标变化曲线，横坐标表示训练率，纵坐标表示各项评价指标的值，用不同颜色的曲线表示不同评价指标。可以发现，随着训练次数增加，各项指标在初始阶段快速上升，当训练率到达50％左右时，模型基本收敛，此时预训练模型训练完毕，增加训练次数也难以有较大提升。而当训练率达到60％以后，采用自强化学习算法对模型进行优化，此时模型评价指标再次获得大幅上涨，以CIDEr曲线的涨幅最为显著，虽然对于不同数据集涨幅和涨势略有不同，但是整体趋势足以说明基于自强化学习的算法能够在原有模型基础上，大幅提升算法性能。
为直观展示本发明提出的自强化学习算法的实际效果，将基于自强化学习算法生成的描述语句与基于GRU注意力机制的算法生成的描述语句进行对比，部分结果如图7所示。
图7中共六幅图，上左图采用GRU注意力机制的描述为“在路边有一些绿矮丛和白色建筑的草地”，而采用本发明的自强化学习算法的文字描述为“有一些绿矮丛和白色沙坑的草地，一些道路穿过这片草地。
上中图采用GRU注意力机制的描述为“路边的公园里有一些绿色树木和一个池塘”，而采用本发明的自强化学习算法的文字描述为“路边和河边的公园周围有一些建筑和绿色树木”。
上右图采用GRU注意力机制的描述为“在操场周围有一些绿色树木和建筑”，而采用本发明的自强化学习算法的文字描述为“在有一个足球场的操场周围有一些绿色树木和建筑”。
下左图采用GRU注意力机制的描述为“飞机场里停有一些飞机”，而采用本发明的自强化学习算法的文字描述为“飞机场的航站楼里停有一些飞机”。
下中图采用GRU注意力机制的描述为“四个网球场被一些植被包围着”，而采用本发明的自强化学习算法的文字描述为“两个网球场整齐地布置着，且被一些植被及建筑包围着”。
下右图采用GRU注意力机制的描述为“这是一个密集的居住区，一栋栋的房子整齐地布置着”，而采用本发明的自强化学习算法的文字描述为“这是一个密集的居住区，一栋栋的房子整齐地布置着在两条道路旁”。
可以发现，基于GRU注意力机制的遥感影像文本生成算法虽然已经能够准确识别出目标并给出目标和场景之间的位置关系，但是只能给出较为普通的场景描述，难以进一步给出更精准的描述；而该模型经过本发明提出的基于自强化学习的强化学习算法进一步优化训练后，对于目标和场景间的位置关系有了更准确的表达能力，尤其是寻找多个目标之间的联系时取得了更好的效果，从客观和主观角度证明了算法的优越性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于自强化学习的遥感影像文本生成及优化方法，其特征在于，包括如下步骤：
步骤S1、遥感影像语义理解特征提取：将经过星上数据预处理及切片处理的航天遥感影像输入特征提取网络，提取对遥感影像进行语义理解的特征向量；
步骤S2、通过遥感影像获取训练集，对由遥感影像文本生成网络构成的文本生成模型进行预训练，提取文本生成模型参数；
步骤S3、将提取的特征向量、先验文本库、预训练后的文本生成模型参数以及用户的任务需求，输入到遥感影像文本生成网络，通过深度学习自然语言处理技术，将提取的特征向量表示的图像特征信息还原为文本描述；
所述先验文本库为训练集中附带的对应遥感影像的文本描述；
所述预训练后的文本生成模型参数为预训练特征提取模型参数；
所述遥感影像文本生成网络将图像特征信息还原为文本描述包括如下步骤：
步骤S31、通过遥感影像文本生成网络将图像特征信息还原为单词；
步骤S32、通过自强化模块对生成的单词进行优化，采用基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本：在由所述遥感影像文本生成网络构成的文本生成模型中，通过文本生成的过程中，将所述先验文本库中采样的单词不断地与文本生成模型中生成的单词进行比较，奖励描述准确的单词，抑制描述不准确及错误的单词，以提高训练过程的收敛速度，并优化文本生成描述的质量。
2.根据权利要求1所述的一种基于自强化学习的遥感影像文本生成及优化方法，其特征在于，所述步骤S32中的采用所述基于策略梯度算法的自强化学习遥感影像文本生成算法生成文本，具体步骤为：
步骤S321、初始化参数，并根据策略采样；
文本生成模型定义为智能体agent，先验文本中的描述词和遥感影像特征定义为“环境”，模型参数θ看作策略pθ，生成单词的评价指标看作奖励值Rt，执行的动作看作预测的下一个单词；每经历一个动作，agent更新内部状态，每正确生成一个单词序列，agent得到一个正向激励；
步骤S322、计算期望函数；
期望函数表示为：
L(θ)＝-EW-p[R(W)]
其中，W＝(W1,W2,...,Wt)，Wt表示t时刻从文本生成模型采样的单词，R(W)表示生成单词的评价指标，也即强化学习中的奖励值，训练的目标是最小化负期望函数；
步骤S323、引入策略梯度算法计算期望梯度：
Figure FDA0003133869790000021
式中，pθ(W)表示表示单词采样过程中的模型参数,
Figure FDA0003133869790000022
表示表示对θ计算期望梯度；
对于minibatch中每个训练样例有：
Figure FDA0003133869790000023
步骤S324、计算基线减小方差；
在策略梯度算法中引入基线来减小方差，得到每个动作对于基线的奖励：
Figure FDA0003133869790000024
由于基线b可以是不依赖于动作Wt的任意函数，期望梯度
Figure FDA0003133869790000025
不受基线b影响，并且能够减小梯度估计的方差；
对于每个训练样例，采用单个采样W～pθ近似估计期望梯度：
Figure FDA0003133869790000026
根据链式法则和模型参数pθ可得：
Figure FDA0003133869790000027
其中，St是经过GRU注意力机制后文本生成模型的输入，则有：
Figure FDA0003133869790000028
上式计算了期望函数关于输入的梯度值，其中Wt 1是单词的one-hot向量表示，Ht代表t时刻的隐状态；
步骤S325、计算奖励值Rt并更新模型参数θ；
为了在不额外增加大量参数的前提下提升模型性能，自强化学习通过采用遥感影像文本生成过程中生成单词的奖励值作为基线；当生成单词优于基线时，该单词得到正向激励，否则，该单词得到抑制，以此更新模型参数；
步骤S326、当达到最大迭代次数时，输出模型参数；否则返回步骤S321。
3.根据权利要求2所述的一种基于自强化学习的遥感影像文本生成及优化方法，其特征在于，所述步骤S325具体为通过束搜索计算概率最大单词的奖励值作为基线，具体为：
梯度方程表示为：
Figure FDA0003133869790000031
其中，R(W')代表基于束搜索算法获得的生成单词的奖励；
计算奖励值的方法为束搜索法，具体为：
定义超参数束宽，设为k，在每个时间步长上计算概率最大的k个单词并计算其奖励值，计算公式为：
Figure FDA0003133869790000032
式中，
Figure FDA0003133869790000033
表示使得pθ取得最大值所对应的变量点x或x的集合，Wt 2表示t时刻从模型采样的2个单词，Wt k表示t时刻从模型采样的k个单词；
当束宽k取2时，束搜索虽未必能够获得全局最优值，但是相较于贪婪搜索扩大了搜索空间，且计算量远小于穷举搜索，此时梯度方程为：
Figure FDA0003133869790000034
4.根据权利要求1所述的一种基于自强化学习的遥感影像文本生成及优化方法，其特征在于，所述步骤S2中对由所述遥感影像文本生成网络构成的文本生成模型进行预训练具体为：采用交叉熵函数作为基于GRU注意力机制的包括GRU注意力网络模型的文本生成模型的损失函数，对模型进行初步训练，使遥感影像文本生成算法评价指标初步收敛。
5.根据权利要求1所述的一种基于自强化学习的遥感影像文本生成及优化方法，其特征在于，所述步骤S31包括如下步骤：
步骤S311、建立GRU注意力网络模型；
步骤S312、通过GRU注意力网络模型获取注意力值，并将其作为LSTM语言网络的权重；
步骤S313、将所述GRU注意力网络模型获得的注意力值输入到所述LSTM语言网络对特征解码，输出单词和状态；
步骤S314、单词和状态经过Softmax函数，用SoftMax函数计算每个单词在(0，1)区间的映射，取值最大的作为输出，生成每个单词。
CN202110713496.7A 2021-06-25 2021-06-25 一种基于自强化学习的遥感影像文本生成及优化方法 Active CN113312925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110713496.7A CN113312925B (zh) 2021-06-25 2021-06-25 一种基于自强化学习的遥感影像文本生成及优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110713496.7A CN113312925B (zh) 2021-06-25 2021-06-25 一种基于自强化学习的遥感影像文本生成及优化方法

Publications (2)

Publication Number Publication Date
CN113312925A CN113312925A (zh) 2021-08-27
CN113312925B true CN113312925B (zh) 2022-10-28

Family

ID=77380461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110713496.7A Active CN113312925B (zh) 2021-06-25 2021-06-25 一种基于自强化学习的遥感影像文本生成及优化方法

Country Status (1)

Country Link
CN (1) CN113312925B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953779B (zh) * 2023-03-03 2023-06-16 中国科学技术大学 基于文本对抗生成网络的无监督图像描述生成方法
CN117197701B (zh) * 2023-11-07 2024-02-13 广州天地林业有限公司 基于图像分析的保护区环境空间特征分析方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619313B (zh) * 2019-09-20 2023-09-12 西安电子科技大学 遥感图像判别性描述生成方法
CN111126282B (zh) * 2019-12-25 2023-05-12 中国矿业大学 一种基于变分自注意力强化学习的遥感图像内容描述方法
CN111832501B (zh) * 2020-07-20 2023-09-29 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的遥感影像文本智能描述方法

Also Published As

Publication number Publication date
CN113312925A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
Wang et al. Network pruning using sparse learning and genetic algorithm
KR101855597B1 (ko) 계층적 회귀 신경망을 이용하여 비디오 문절을 캡셔닝하기 위한 시스템 및 방법
CN113302634A (zh) 学习语境感知预测关键短语的系统和方法
CN110503192A (zh) 资源有效的神经架构
Deng et al. Image captioning using DenseNet network and adaptive attention
CN107562812A (zh) 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN106557563B (zh) 基于人工智能的查询语句推荐方法及装置
CN112905801B (zh) 基于事件图谱的行程预测方法、系统、设备及存储介质
CN113312925B (zh) 一种基于自强化学习的遥感影像文本生成及优化方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN112733997B (zh) 基于woa-lstm-mc的水文时间序列预测优化方法
El Mohadab et al. Predicting rank for scientific research papers using supervised learning
CN113140254A (zh) 元学习药物-靶点相互作用预测系统及预测方法
CN115019123A (zh) 一种遥感图像场景分类的自蒸馏对比学习方法
Mu et al. Auto-CASH: A meta-learning embedding approach for autonomous classification algorithm selection
CN116955730A (zh) 一种特征提取模型的训练方法、内容推荐的方法及装置
EP4298556A1 (en) Granular neural network architecture search over low-level primitives
CN113590971B (zh) 一种基于类脑时空感知表征的兴趣点推荐方法及系统
CN110502613A (zh) 一种模型训练方法、智能检索方法、装置和存储介质
CN117036834B (zh) 基于人工智能的数据分类方法、装置及电子设备
CN113837232A (zh) 一种基于样本选择和加权损失函数的黑盒模型蒸馏方法
CN116975434A (zh) 内容推荐方法以及相关设备
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN113420680B (zh) 一种基于gru注意力的遥感影像区域关注与文本生成方法
CN116721327A (zh) 一种基于泛化界的神经网络架构搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant