CN111931738B - 用于遥感影像的神经网络模型预训练方法、装置 - Google Patents

用于遥感影像的神经网络模型预训练方法、装置 Download PDF

Info

Publication number
CN111931738B
CN111931738B CN202011038698.8A CN202011038698A CN111931738B CN 111931738 B CN111931738 B CN 111931738B CN 202011038698 A CN202011038698 A CN 202011038698A CN 111931738 B CN111931738 B CN 111931738B
Authority
CN
China
Prior art keywords
observation
neural network
network model
value
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011038698.8A
Other languages
English (en)
Other versions
CN111931738A (zh
Inventor
袁媛
林蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011038698.8A priority Critical patent/CN111931738B/zh
Publication of CN111931738A publication Critical patent/CN111931738A/zh
Application granted granted Critical
Publication of CN111931738B publication Critical patent/CN111931738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于遥感影像的神经网络模型预训练方法、装置，所述方法包括：将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；对时间序列添加环境模拟噪声；元素变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；训练完毕后，将带有标签的遥感影像输入神经网络模型进行学习。采用上述技术方案，可以利用大量无标签样本初始化神经网络模型，降低神经网络模型对标记样本的依赖，提高神经网络模型学习的实用性；将添加环境模拟噪声之前的原始值作为训练目标，降低噪声对模型的干扰作用，提高模型的稳定性和分类结果的准确度。

Description

用于遥感影像的神经网络模型预训练方法、装置
技术领域
本发明涉及数据处理领域，尤其涉及用于遥感影像的神经网络模型预训练方法、装置。
背景技术
遥感影像的时间序列通常由同一地理位置进行多次重复观测而获取的遥感影像按照时间顺序排序所形成。时间序列相关数据记录地表覆盖状态随时间的变化过程，其中蕴含了丰富的植被物候、种植模式等规律性信息。可以用于提高植被等地表覆盖状态分类的可靠性。
现有技术中，通常是直接采用带有标签的遥感影像输入神经网络模型之中进行训练学习。但在实践之中，神经网络模型的充分训练学习需要海量的标记样本才有可能得以实现，而这些标记样本只能通过地面调查或人工目视解译的方式获取，其人力、物力成本极高，且标记样本的数量和质量往往难以满足深度学习模型的训练要求，导致深度学习的技术优势难以充分发挥，所以在遥感影像领域应用神经网络模型进行分类，现阶段仍然还处于理论阶段。
发明内容
发明目的：本发明旨在提供一种用于遥感影像的神经网络模型预训练方法、装置，以期解决神经网络模型的训练高度依赖海量标记样本的问题。
技术方案：本发明提供一种用于遥感影像的神经网络模型预训练方法，包括：将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；所述原始值包括观测地点的原始光谱值和对应的时间信息；对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列；将观测时间序列中的元素变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；训练完毕后，将带有标签的遥感影像时间序列输入神经网络模型进行学习。
具体的，对观测地点的遥感影像进行逐像素提取得到原始光谱值，并结合对应的时间信息作为观测地点的原始值，将原始值按照时间排序得到时间序列；对原始值的原始光谱信息进行噪声剔除和标准化处理。
具体的，挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。
具体的，将光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量。
具体的，将光谱值采用以下公式映射为K维向量：
Qi=ciW，
其中，ci表示按照观测时间序列排序的第i个光谱值，Qi表示映射得到的第i个光谱值编码向量，W表示可训练的变换矩阵；
将时间信息采用以下公式编码为P维向量：
Figure 342064DEST_PATH_IMAGE001
Figure 610234DEST_PATH_IMAGE002
，
其中，ti表示按照观测时间排序的第i个观测值对应的时间信息，Ti 表示编码得到的第i个时间信息编码向量，Ti (p)表示Ti的第p维元素；
将光谱值编码向量Qi和时间信息编码向量Ti按照以下任意一种公式进行组合得到观测编码向量：
Zi=Qi+Ti；Zi= [Qi,Ti ]，
其中，Zi表示第i个观测编码向量。
具体的，将得到的观测编码向量序列输入至神经网络模型，在所述神经网络模型学习观测编码向量序列全部光谱值和时间信息后，得到观测编码向量对应的隐藏状态向量；所述神经网络模型为双向循环神经网络。
具体的，采用以下公式计算预测光谱值与对应的原始光谱值之间的误差，并作为损失函数用于训练神经网络模型：
Figure 54991DEST_PATH_IMAGE003
，
其中，oj表示添加环境模拟噪声的观测光谱值对应的第j个原始光谱值，
Figure 156939DEST_PATH_IMAGE004
表示第j 个原始光谱值对应的预测光谱值，N表示添加环境模拟噪声的原始光谱值的数量；
通过最小化损失函数MSELoss，更新神经网络模型的模型参数，当满足训练停止条件时停止训练。
具体的，将带有任意标签的任意观测地点的遥感影像作为学习样本，输入神经网络模型进行学习。
本发明提供一种用于遥感影像的神经网络模型预训练装置，包括：提取单元、自监督单元、预测单元、训练单元和学习单元，其中：
所述提取单元，用于将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；所述原始值包括观测地点的原始光谱值和对应的时间信息；
所述自监督单元，用于对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列；
所述预测单元，用于将观测时间序列中的元素变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；
所述训练单元，用于将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；
所述学习单元，用于训练完毕后，将带有标签的遥感影像输入神经网络模型进行学习。
具体的，所述自监督单元，用于挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。
有益效果：与现有技术相比，本发明具有如下显著优点：采用自监督训练学习方式，神经网络模型可以从海量的无标签的遥感影像时间序列中挖掘有价值的规律性信息，降低神经网络模型对标记样本的依赖，提高神经网络模型学习的实用性，在使用少量的标记样本完成神经网络模型的训练学习后，可以有效地实际应用于地表覆盖状态分类；将添加环境模拟噪声之前的原始值作为训练目标，降低噪声对模型的干扰作用，提高模型的稳定性和分类结果的准确度。
附图说明
图1为本发明提供的用于遥感影像的神经网络模型预训练方法的流程示意图；
图2为本发明提供的观测编码向量输入至神经网络模型的流程示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1，其为本发明提供的用于遥感影像的神经网络模型预训练方法的流程示意图，包括具体步骤。
步骤1，将观测地点的遥感影像按照时间排序得到包括原始值的时间序列。
本发明实施例中，所述原始值包括观测地点的原始光谱值和对应的时间信息。
在具体实施中，对观测地点重复多次进行观测获取的遥感影像，按照时间顺序排序，多个原始值可以形成时间序列，其中原始值是指每次对观测地点的遥感影像进行观测而获得的信息组合（o，t），o表示原始光谱值，t表示获取原始光谱值时所对应的时间信息，t可以采用年积日的方式表示时间信息，也即每年可以作为一个观测周期或者时间序列的周期。
本发明实施例中，对观测地点的遥感影像进行逐像素提取得到原始光谱值，并结合对应的时间信息作为观测地点的原始值，将原始值按照时间前后顺序排序得到时间序列；对原始值的原始光谱信息进行噪声剔除处理和标准化。
在具体实施中，原始光谱值是通过对遥感影像进行逐像素提取得到的。通常获取的信息是受到观测地点实际环境噪声影响的，因此需要进行噪声剔除，去除受云、雪、阴影干扰而发生异常的光谱值。为了便于后续的数据处理，提升模型训练学习的效率，可以对时间序列中的原始光谱值进行标准化处理，标准化方式可以是极差标准化，也可以是其他的标准化方式。
步骤2，对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列。
在具体实施中，通过对时间序列中原始值的原始光谱值添加噪声以模拟环境，进而可以得到观测值。因为，在实际应用神经网络模型时，环境所带来的噪声是影响地表覆盖状态分类结果准确度的主要障碍，通过添加噪声模拟云、雨、阴影等环境情形，建立自监督学习任务，可以训练神经网络模型识别环境噪声。同时，更重要的是，由于是人为选定添加噪声，因此是预先明确知晓是哪些原始光谱值用于模拟环境噪声，可以更好地引导模型通过观测时间序列的上下文信息识别环境噪声并恢复出其原始值，能十分有效地降低噪声对神经网络模型的干扰作用，提高模型的准确度。
本发明实施例中，挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。
在具体实施中，挑选的时间序列的预设部分可以是部分或全部，挑选后经过环境模型后作为观测值（对光谱值进行调整，对应的时间信息保持不变）。其中，光谱值添加正噪声后不再添加负噪声，添加负噪声后不再添加正噪声。例如，按照15%的比例随机挑选时间序列中的原始值，对已选定的原始值的原始光谱值按照50%的概率对其添加正噪声，另外50%的概率对其添加负噪声（也可以预设哪些部分或者多少比例添加噪声，不适用随机方式）。正噪声即大于0，负噪声即小于0。在添加噪声后，观测时间序列中并不一定需要排除未添加噪声的原始值。
步骤3，将观测时间序列中的元素（观测值以及未添加环境模型噪声的原始值）变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量。
本发明实施例中，将光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量。
本发明实施例中，将得到的观测编码向量序列输入至神经网络模型，在所述神经网络模型学习观测编码向量序列全部光谱值和时间信息后，得到观测编码向量对应的隐藏状态向量；所述神经网络模型为双向循环神经网络。
在具体实施中，神经网络模型可以是自注意力神经网络模型或循环神经网络模型等，或者其他同样可以学习序列中各个元素之间的结构关系以及序列上下文特征的神经网络模型。
在具体实施中，为了可以将观测时间序列输入神经网络模型进行学习，可以将观测值以及未添加环境模型噪声的原始值转换为向量（观测编码向量）。在输入神经网络模型之后，神经网络模型经过学习输入的观测编码向量后，可以获得具有观测编码向量上下文信息的光谱值特征以及时间特征，并且相应的可以获得观测编码向量对应的深度网络特征（隐藏状态向量）。
本发明实施例中，将光谱值采用以下公式映射为K维向量：
Qi=ciW，
其中，ci表示按照观测时间序列排序的第i个光谱值（包括观测光谱值和原始光谱值），Qi表示映射得到的第i个光谱值编码向量，W表示可训练的变换矩阵，可以后续在神经网络模型训练的过程中作为模型参数进行更新；
将时间信息采用以下公式编码为P维向量：
Figure 664144DEST_PATH_IMAGE001
Figure 129148DEST_PATH_IMAGE002
，
其中，ti表示按照观测时间排序的第i个观测值对应的时间信息，Ti 表示编码得到的第i个时间信息编码向量，Ti (p)表示Ti的第p维元素，具体维度可以由实际情况确定，k为自然数，其数值由p的数值计算而来，例如p为1时k为0，p为2时k为1，p为3时k为1，p为4时k为2，p为5时k为2，以此类推，p为偶数时采用公式中的sin函数进行计算，p为奇数时采用公式中的cos函数进行计算，ω依据公式中所给的计算方式计算得到；
将光谱值编码向量Qi和时间信息编码向量Ti按照以下任意一种公式进行组合得到观测编码向量：
Zi=Qi+Ti；Zi= [Qi,Ti ]，
其中，Zi表示第i个观测编码向量，包括观测值以及未添加环境模型噪声的原始值变化得到的。
在具体实施中，W作为可训练的变换矩阵，在后续的对神经网络模型进行训练时，可以作为参数相应的更新调整，以期达到模型可以通过观测值识别原始值的功能。维度K和维度P可以由用户依据实际情况而设置，可以相同也可以不相同，但采用向量直接相加的组合方式时，需要相同。
在具体实施中，观测光谱值、原始光谱值和对应的时间信息转换为向量后进行组合的方式包括相加和拼接，分别对应上述的两个公式。形成观测编码向量后，可以获得观测编码向量序列，用于输入神经网络模型。
参阅图2，其为本发明提供的观测编码向量输入至神经网络模型的流程示意图，其中适用的神经网络模型是双向循环神经网络（Bi-LSTM）。
步骤4，将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练。
在具体实施中，由于隐藏状态向量体现观测编码向量序列全部的光谱值特征和时间信息特征，可以反映整个序列所蕴含的地表覆盖状态的变化规律，因此可以用于作为训练的参考。
在具体实施中，将隐藏状态向量通过全连接层映射到原始光谱值的维度，将全连接层的输出作为神经网络模型的预测值，也即神经网络模型预测的原始值，用于地表覆盖状态分类的依据。
本发明实施例中，采用以下公式计算预测光谱值与对应的原始光谱值之间的误差，并作为损失函数用于训练神经网络模型：
Figure 179143DEST_PATH_IMAGE003
，
其中，oj表示添加环境模拟噪声的观测光谱值对应的第j个原始光谱值，
Figure 311047DEST_PATH_IMAGE004
表示第j 个原始光谱值对应的预测光谱值，N表示添加环境模拟噪声的原始光谱值的数量；
通过最小化损失函数MSELoss，更新神经网络模型的模型参数，当满足训练停止条 件时停止训练，
Figure 961340DEST_PATH_IMAGE005
和oj是对应的。
在具体实施中，将均方误差（Mean Square Error，MSE）作为神经网络模型训练的损失函数，j取值范围为1～N，可以取端点值。停止条件是预测光谱值与对应的原始光谱值之间的误差大小，通过训练更新模型参数直到误差数值小于停止条件规定的数值。据此达到模型可以通过观测值识别原始值的功能，进而可以有效地实际应用于地表覆盖状态分类。
步骤5，训练完毕后，将带有标签的遥感影像时间序列输入神经网络模型进行学习。
本发明实施例中，将经过预训练的神经网络模型的模型参数作为初始值，将带有任意标签的任意观测地点的遥感影像时间序列作为学习样本，输入神经网络模型，对所有模型参数进行更新。
在具体实施中，由于在先用于训练的序列无需进行标记，因此可以输入海量的序列数据进行训练，训练完毕的神经网络模型可以有效掌握遥感影像的时间序列中有价值的规律性信息，降低神经网络模型对标记样本的依赖。
在具体实施中，后续为了实际将神经网络模型应用于特定的地表覆盖状态分类，可以输入标记样本进行训练，标记样本的观测地点可以与在先用于训练的观测地点不相同，标签也可以是任意的，例如，在先用于训练的遥感影像的观测地点可以是南京，后续标记样本的遥感影像的观测地点可以是上海，观测地点的不同不影响神经网络模型的有效学习和有效分类应用。提高神经网络模型学习的实用性，在使用少量的标记样本完成神经网络模型的训练学习后，可以有效地实际应用于地表覆盖状态分类。
在具体实施中，将经过预训练的神经网络模型用于地表覆盖状态分类时，可以将神经网络模型的输出层改进为适用于分类任务的输出层。在具体实施中，将图2所示的最后一个全连接层替换为平均池化层，然后输入一个全连接层及softmax函数进行分类，得到对应的土地覆盖类型。
本发明还提供一种用于遥感影像的神经网络模型预训练装置，包括：提取单元、自监督单元、预测单元、训练单元和学习单元，其中：
所述提取单元，用于将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；所述原始值包括观测地点的原始光谱值和对应的时间信息；
所述自监督单元，用于对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列；
所述预测单元，用于将观测时间序列中的元素变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；
所述训练单元，用于将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；
所述学习单元，用于训练完毕后，将带有标签的遥感影像时间序列输入神经网络模型进行学习。
本发明实施例中，所述提取单元，用于对观测地点的遥感影像进行逐像素提取得到原始光谱值，并结合对应的时间信息作为观测地点的原始值，将原始值按照时间排序得到时间序列；对原始值的原始光谱信息进行噪声剔除处理和标准化。
所述自监督单元，用于挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。
所述预测单元，用于将光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量。
所述预测单元，用于将光谱值采用以下公式映射为K维向量：
Qi=ciW，
其中，ci表示按照观测时间序列排序的第i个光谱值，Qi表示映射得到的第i个光谱值编码向量，W表示可训练的变换矩阵；
将时间信息采用以下公式编码为P维向量：
Figure 712259DEST_PATH_IMAGE001
Figure 131607DEST_PATH_IMAGE002
，
其中，ti表示按照观测时间排序的第i个观测值对应的时间信息，Ti 表示编码得到的第i个时间信息编码向量，Ti (p)表示Ti的第p维元素；
将向量Qi和向量Ti按照以下任意一种公式进行组合得到观测编码向量：
Zi=Qi+Ti；Zi= [Qi,Ti ]，
其中，Zi表示第i个观测编码向量。
所述预测单元，将得到的观测编码向量序列输入至神经网络模型，在所述神经网络模型学习观测编码向量序列全部光谱值和时间信息后，得到观测编码向量对应的隐藏状态向量；所述神经网络模型为双向循环神经网络。
所述训练单元，用于采用以下公式计算预测光谱值与对应的原始光谱值之间的误差，并作为损失函数用于训练神经网络模型：
Figure 434413DEST_PATH_IMAGE006
，
其中，oj表示添加环境模拟噪声的观测光谱值对应的第j个原始光谱值，
Figure 588314DEST_PATH_IMAGE004
表示第j 个原始光谱值对应的预测光谱值，N表示添加环境模拟噪声的原始光谱值的数量；
通过最小化损失函数MSELoss，更新神经网络模型的模型参数，当满足训练停止条件时停止训练。
所述学习单元，用于将经过预训练的神经网络模型的模型参数作为初始值，将带有任意标签的任意观测地点的遥感影像时间序列作为学习样本，输入神经网络模型，对所有模型参数进行更新。

Claims (9)

1.一种用于遥感影像的神经网络模型预训练方法，其特征在于，包括：
将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；所述原始值包括观测地点的原始光谱值和对应的时间信息；
对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列；
将观测时间序列中的光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量，将观测编码向量输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；
将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；
训练完毕后，将带有标签的遥感影像时间序列输入神经网络模型进行学习。
2.根据权利要求1所述的用于遥感影像的神经网络模型预训练方法，其特征在于，所述将观测地点的遥感影像按照时间排序得到包括原始值的时间序列，包括：
对观测地点的遥感影像进行逐像素提取得到原始光谱值，并结合对应的时间信息作为观测地点的原始值，将原始值按照时间排序得到时间序列；
对原始值的原始光谱信息进行噪声剔除处理和标准化。
3.根据权利要求2所述的用于遥感影像的神经网络模型预训练方法，其特征在于，所述对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列，包括：
挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。
4.根据权利要求3所述的用于遥感影像的神经网络模型预训练方法，其特征在于，所述将观测时间序列中的光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量，包括：
将光谱值采用以下公式映射为K维向量：
Qi=ciW，
其中，ci表示按照观测时间序列排序的第i个光谱值，Qi表示映射得到的第i个光谱值编码向量，W表示可训练的变换矩阵；
将时间信息采用以下公式编码为P维向量：
Figure DEST_PATH_IMAGE001
Figure 429013DEST_PATH_IMAGE002
，
其中，ti表示按照观测时间排序的第i个观测值对应的时间信息，Ti 表示编码得到的第i个时间信息编码向量，Ti (p)表示Ti的第p维元素，k为自然数，k的数值由p的数值计算而来；
将光谱值编码向量Qi和时间信息编码向量Ti按照以下任意一种公式进行组合得到观测编码向量：
Zi=Qi+Ti；Zi= [Qi,Ti ]，
其中，Zi表示第i个观测编码向量。
5.根据权利要求4所述的用于遥感影像的神经网络模型预训练方法，其特征在于，所述将观测编码向量输入至神经网络模型，获取观测编码向量对应的隐藏状态向量，包括：
将得到的观测编码向量序列输入至神经网络模型，在所述神经网络模型学习观测编码向量序列全部光谱值和时间信息后，得到观测编码向量对应的隐藏状态向量；所述神经网络模型为双向循环神经网络。
6.根据权利要求5所述的用于遥感影像的神经网络模型预训练方法，其特征在于，所述基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练，包括：
采用以下公式计算预测光谱值与对应的原始光谱值之间的误差，并作为损失函数用于训练神经网络模型：
Figure DEST_PATH_IMAGE003
，
其中，oj表示添加环境模拟噪声的观测光谱值对应的第j个原始光谱值，
Figure 197380DEST_PATH_IMAGE004
表示第j个原 始光谱值对应的预测光谱值，N表示添加环境模拟噪声的原始光谱值的数量；
通过最小化损失函数MSELoss，更新神经网络模型的模型参数，当满足训练停止条件时停止训练。
7.根据权利要求6所述的用于遥感影像的神经网络模型预训练方法，其特征在于，所述训练完毕后，将带有标签的遥感影像时间序列输入神经网络模型进行学习，包括：
将经过预训练的神经网络模型的模型参数作为初始值，将带有任意标签的任意观测地点的遥感影像时间序列作为学习样本，输入神经网络模型，对所有模型参数进行更新。
8.一种用于遥感影像的神经网络模型预训练装置，其特征在于，包括：提取单元、自监督单元、预测单元、训练单元和学习单元，其中：
所述提取单元，用于将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；所述原始值包括观测地点的原始光谱值和对应的时间信息；
所述自监督单元，用于对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列；
所述预测单元，用于将观测时间序列中的光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量，将观测编码向量输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；
所述训练单元，用于将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；
所述学习单元，用于训练完毕后，将带有标签的遥感影像输入神经网络模型进行学习。
9.根据权利要求8所述的用于遥感影像的神经网络模型预训练装置，其特征在于，所述自监督单元，用于挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。
CN202011038698.8A 2020-09-28 2020-09-28 用于遥感影像的神经网络模型预训练方法、装置 Active CN111931738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011038698.8A CN111931738B (zh) 2020-09-28 2020-09-28 用于遥感影像的神经网络模型预训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011038698.8A CN111931738B (zh) 2020-09-28 2020-09-28 用于遥感影像的神经网络模型预训练方法、装置

Publications (2)

Publication Number Publication Date
CN111931738A CN111931738A (zh) 2020-11-13
CN111931738B true CN111931738B (zh) 2021-01-26

Family

ID=73334598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011038698.8A Active CN111931738B (zh) 2020-09-28 2020-09-28 用于遥感影像的神经网络模型预训练方法、装置

Country Status (1)

Country Link
CN (1) CN111931738B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862700B (zh) * 2021-01-16 2023-10-27 西北工业大学 一种基于噪声注意力的高光谱遥感图像盲去噪方法
CN115545334B (zh) * 2022-10-25 2024-04-02 石河子大学 土地利用类型预测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008854A (zh) * 2019-03-18 2019-07-12 中交第二公路勘察设计研究院有限公司 基于预训练dcnn的无人机影像公路地质灾害识别方法
CN110321864A (zh) * 2019-07-09 2019-10-11 西北工业大学 基于多尺度裁剪机制的遥感图像文字说明生成方法
CN110942013A (zh) * 2019-11-22 2020-03-31 佛山科学技术学院 一种基于深度神经网络的卫星影像特征提取方法及系统
CN110991625A (zh) * 2020-03-02 2020-04-10 南京邮电大学 基于循环神经网络的地表异常现象遥感监测方法、装置
CN111028160A (zh) * 2019-11-21 2020-04-17 西北工业大学 一种基于卷积神经网络的遥感图像噪声抑制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008854A (zh) * 2019-03-18 2019-07-12 中交第二公路勘察设计研究院有限公司 基于预训练dcnn的无人机影像公路地质灾害识别方法
CN110321864A (zh) * 2019-07-09 2019-10-11 西北工业大学 基于多尺度裁剪机制的遥感图像文字说明生成方法
CN111028160A (zh) * 2019-11-21 2020-04-17 西北工业大学 一种基于卷积神经网络的遥感图像噪声抑制方法
CN110942013A (zh) * 2019-11-22 2020-03-31 佛山科学技术学院 一种基于深度神经网络的卫星影像特征提取方法及系统
CN110991625A (zh) * 2020-03-02 2020-04-10 南京邮电大学 基于循环神经网络的地表异常现象遥感监测方法、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Long Short-Term Memory Neural Networks for Online Disturbance Detection in Satellite Image Time Series;Yun-Long Kong等;《remote sensing》;20180313;第1-13页 *
基于循环神经网络模型的遥感影像时间序列分类及变化检测方法研究;林蕾;《中国博士论文数据库》;20190415(第04期);第25-99页 *

Also Published As

Publication number Publication date
CN111931738A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
Zhuo et al. Physics-augmented deep learning to improve tropical cyclone intensity and size estimation from satellite imagery
CN111931738B (zh) 用于遥感影像的神经网络模型预训练方法、装置
CN112070078B (zh) 基于深度学习的土地利用分类方法及系统
CN112749627A (zh) 一种基于多源遥感影像的烟草动态监测的方法和装置
Kumpf et al. Visual analysis of the temporal evolution of ensemble forecast sensitivities
CN113312993B (zh) 一种基于PSPNet的遥感数据土地覆盖分类方法
CN112215393B (zh) 基于自适应时空尺度选择的降水数值预报后处理订正方法
CN117272247B (zh) 一种应用于数字孪生智慧乡村的数据集成方法及系统
CN113205014B (zh) 一种基于图像锐化的时序数据耕地提取方法
CN112464766A (zh) 一种农田地头自动识别方法及系统
CN109389156A (zh) 一种图像定位模型的训练方法、装置及图像定位方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
Manepalli et al. Emulating numeric hydroclimate models with physics-informed cGANs
CN114821155A (zh) 一种基于可变形nts-net神经网络的多标签分类方法及系统
Jin et al. Deep learning for seasonal precipitation prediction over China
CN111242134A (zh) 一种基于特征自适应学习的遥感影像地物分割方法
CN114266932A (zh) 一种基于自学习的遥感多光谱数据半监督标注方法
CN101876993B (zh) 一种地基数字云图的纹理特征抽取和检索方法
CN114792349B (zh) 基于半监督生成对抗网络的遥感影像转换地图迁移方法
WO2023131949A1 (en) A versatile crop yield estimator
Hakim et al. Automatic rain detection system based on digital images of CCTV cameras using convolutional neural network method
CN111325384B (zh) 一种结合统计特征和卷积神经网络模型的ndvi预测方法
Pisoni et al. Artificial Neural Networks to reconstruct incomplete satellite data: application to the Mediterranean Sea Surface Temperature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant