CN115346124B - 一种水稻制图的方法、装置、设备及可读存储介质 - Google Patents

一种水稻制图的方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN115346124B
CN115346124B CN202211069308.2A CN202211069308A CN115346124B CN 115346124 B CN115346124 B CN 115346124B CN 202211069308 A CN202211069308 A CN 202211069308A CN 115346124 B CN115346124 B CN 115346124B
Authority
CN
China
Prior art keywords
image
data
radar
rice
spot data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211069308.2A
Other languages
English (en)
Other versions
CN115346124A (zh
Inventor
李建元
金佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou City University
Original Assignee
Hangzhou City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou City University filed Critical Hangzhou City University
Priority to CN202211069308.2A priority Critical patent/CN115346124B/zh
Publication of CN115346124A publication Critical patent/CN115346124A/zh
Application granted granted Critical
Publication of CN115346124B publication Critical patent/CN115346124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种水稻制图的方法、装置、设备及可读存储介质，所述方法包括：获取在水稻生长周期内一幅光影影像和多幅雷达影像；对预处理后的光影影像进行打标处理，分别将预处理后的光影影像、预处理后的雷达影像和打标后的光影影像进行切分，分别得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；利用光学影像图斑数据、雷达影像图斑数据和谱聚类算法，得到全局标签图斑数据；构建目标模型，对目标模型进行训练，得到训练好的目标模型，利用训练好的目标模型进行水稻制图。本发明采用有限的光学影像和雷达影像组成时间序列，设计深度神经网络架构并进行端到端的学习，达到有效融合光学和微波两种模态提升水稻种植区域提取精度的目标。

Description

一种水稻制图的方法、装置、设备及可读存储介质
技术领域
本申请涉及遥感图像农业应用技术领域，尤其涉及一种水稻制图的方法、装置、设备及可读存储介质。
背景技术
基于遥感影像时间序列的农作物遥感监测方法，能有效地监测农作物整个生命周期，已成为目前的主流发展方向。但基于遥感影像时间序列的水稻遥感监测方法应用前提是在水稻特定生长周期内能获得基于一定时间间隔的(如8天)数据质量良好的年内遥感影像时序数据集。在水稻生长周期内，由于云雨和雾霾等天气因素限制，所建立的年内遥感影像时序数据集在某些地区可能不够完整连续。同时由于我国耕地破碎化程度比较高，基于MODIS等250米以上的空间分辨率遥感数据难以实现农作物分布的有效监测，势必要求开展较高空间分辨率数据，如10米Sentinel影像数据的遥感监测。然而，较高空间分辨率数据通常难以兼具高时间分辨率的优点。因此如何合理地利用有限的遥感影像时间序列数据，从中选取合适的遥感影像特征，成为农作物遥感技术发展的核心问题。
机器学习方法尤其是基于深度神经网络的机器学习方法已经在人脸识别、自动驾驶、机器人等图像识别相关领域取得了巨大的成就，有的甚至已经超过人类目前的识别水平。然而在深度学习取得巨大成就的同时，人们发现把其应用到实际问题中却困难重重。首先是标注数据的问题，目前的深度学习方法需要大量的标注数据来进行训练,但是实际应用中数据获取往往是困难的。例如针对Sentinel中分辨率遥感影像进行水稻监测时，中分辨率遥感影像由于人眼解译难，要想获取质量较高的标注数据，往往需要耗费大量人力物力，从而阻碍了深度学习技术在遥感影像识别领域的落地。
发明内容
本发明的目的在于提供一种水稻制图的方法、装置、设备及可读存储介质，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了一种水稻制图的方法，所述方法包括：
获取在水稻生长周期内的历史影像，所述历史影像包括一幅第一影像和多幅第二影像，第一影像为水稻在第一预设月份下的光学影像，多幅第二影像为水稻在不同第二预设月份下的雷达影像；
对所述第一影像和所述第二影像进行预处理，并对预处理后的第一影像进行打标处理，得到打标后的第一影像，分别将预处理后的第一影像、预处理后的第二影像和打标后的第一影像进行切分，分别得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；
将所述光学影像图斑数据、所述雷达影像图斑数据在进行拼接，得到多个拼接图斑数据，根据多个所述拼接图斑数据和谱聚类算法，得到全局标签图斑数据；
构建目标模型，所述目标模型包括两个Unet网络，根据所述光学影像图斑数据、所述雷达影像图斑数据和两个所述Unet网络，得到光学影像特征和雷达影像特征，根据所述光学影像特征、雷达影像特征、全局标签图斑数据和标签图斑数据对所述目标模型进行训练，得到训练好的目标模型；
获取待监测区域的水稻对应的一幅光学影像和多幅雷达影像，基于待监测区域的水稻对应的一幅光学影像和多幅雷达影像和所述训练好的目标模型，完成待监测区域的水稻制图。
第二方面，本申请实施例提供了一种水稻制图的装置，所述装置包括获取模块、切分模块、拼接模块、构建模块和制图模块。
获取模块，用于获取在水稻生长周期内的历史影像，所述历史影像包括一幅第一影像和多幅第二影像，第一影像为水稻在第一预设月份下的光学影像，多幅第二影像为水稻在不同第二预设月份下的雷达影像；
切分模块，用于对所述第一影像和所述第二影像进行预处理，并对预处理后的第一影像进行打标处理，得到打标后的第一影像，分别将预处理后的第一影像、预处理后的第二影像和打标后的第一影像进行切分，分别得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；
拼接模块，用于将所述光学影像图斑数据、所述雷达影像图斑数据在进行拼接，得到多个拼接图斑数据，根据多个所述拼接图斑数据和谱聚类算法，得到全局标签图斑数据；
构建模块，用于构建目标模型，所述目标模型包括两个Unet网络，根据所述光学影像图斑数据、所述雷达影像图斑数据和两个所述Unet网络，得到光学影像特征和雷达影像特征，根据所述光学影像特征、雷达影像特征、全局标签图斑数据和标签图斑数据对所述目标模型进行训练，得到训练好的目标模型；
制图模块，用于获取待监测区域的水稻对应的一幅光学影像和多幅雷达影像，基于待监测区域的水稻对应的一幅光学影像和多幅雷达影像和所述训练好的目标模型，完成待监测区域的水稻制图。
第三方面，本申请实施例提供了一种水稻制图的设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述水稻制图的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述水稻制图的方法的步骤。
本发明的有益效果为：
1、本发明采用有限的光学影像和雷达影像组成时间序列，设计深度神经网络架构并进行端到端的学习，达到有效融合光学和微波两种模态提升水稻种植区域提取精度的目标。
2、针对标注难问题，尤其是中分辨率光学影像的标注难问题，本发明采用了多任务学习的深度学习网络架构，用于避免过拟合问题并提升泛化能力。同时，本发明还设计了一种基于多阶规范割的全局隐标签提取方法，可以学习到影像空间邻近关系和光谱相似性，进而生成全局隐标签；此外，多任务训练的目标是使得模型既能够达成较高的水稻提取精度，同时又能具备尽可能对齐全局隐标签的能力。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中所述的水稻制图的方法流程示意图；
图2是本发明实施例中所述的水稻制图的系统结构示意图；
图3是本发明实施例中所述的水稻制图的设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有特别说明，本申请中用到的各种原材料、试剂、仪器和设备等，均可通过市场购买得到或者可通过现有方法制备得到。
实施例1
如图1所示，本实施例提供了一种水稻制图的方法，该方法包括步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。
步骤S1、获取在水稻生长周期内的历史影像，所述历史影像包括一幅第一影像和多幅第二影像，第一影像为水稻在第一预设月份下的光学影像，多幅第二影像为水稻在不同第二预设月份下的雷达影像；
在本步骤中，收集一副在水稻生长周期6到9月的期间内，云含量5％以下的光学影像；分别在6月中、7月中、8月中、9月中收集一幅雷达影像，得到4幅雷达影像；
步骤S2、对所述第一影像和所述第二影像进行预处理，并对预处理后的第一影像进行打标处理，得到打标后的第一影像，分别将预处理后的第一影像、预处理后的第二影像和打标后的第一影像进行切分，分别得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；
本步骤的具体实施步骤包括步骤S21、步骤S22和步骤S23；
步骤S21、对所述第一影像进行第一预处理，所述第一预处理包括大气校正和几何校正，得到预处理后的第一影像；对每幅所述第二影像进行第二预处理，所述第二预处理包括轨道校正、辐射定标、Deburst、成极化矩阵C2和雷达多视处理，得到预处理后的第二影像；
步骤S22、在所述预处理后的第一影像上进行打标操作，将其分类为水稻、其他农作物、建筑物、林地、水体和其他，将打标后的第一影像记为标签数据；
在本步骤中，通过人工打标的方式完成打标；
步骤S23、将所述预处理后的第一影像、每幅所述预处理后的第二影像和所述标签数据均切分成相同大小的斑块，得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据。
步骤S3、将所述光学影像图斑数据、所述雷达影像图斑数据在进行拼接，得到多个拼接图斑数据，根据多个所述拼接图斑数据和谱聚类算法，得到全局标签图斑数据；
本步骤的具体实施步骤包括步骤S31、步骤S32、步骤S33、步骤S34和步骤S35；
步骤S31、将所述光学影像图斑数据、所述雷达影像图斑数据在波段维度上进行拼接，得到多个拼接图斑数据；
步骤S32、将每个所述拼接图斑数据分别输入谱聚类算法中，所述谱聚类算法采用规范割集准则，得到每个所述拼接图斑数据对应的第一聚类结果，所述第一聚类结果包括多个类，将所述第一聚类结果中包括的每一个类记为一个一阶隐标签；
本步骤可以理解为：例如每个第一聚类结果中包括K个类，每一个类就是一个一阶隐标签；
步骤S33、将全部的所述类随机划分为预设的组数，每组包含的类的数量相同，将每组分别输入所述谱聚类算法中，得到每组对应的第二聚类结果，所述第二聚类结果包括多个类，将所述第二聚类结果中包括的每一个类记为一个二阶隐标签；
本步骤可以理解为：例如每个第一聚类结果中包括K个类，假设有N个第一聚类结果，则具有K*N个类，将K*N个类进行划分成G组，每组包括K*N/G个类，再将每组分别输入所述谱聚类算法中；
步骤S34、将所有的所述二阶隐标签输入所述谱聚类算法中，得到所述二阶隐标签对应的第三聚类结果，所述第三聚类结果包括多个类，将所述第三聚类结果中包括的每一个类记为一个全局隐标签；
步骤S35、基于所述全局隐标签与所述二阶隐标签的对应关系，以及所述二阶隐标签与所述一阶隐标签的对应关系，将所述全局隐标签映射到所述拼接图斑数据中的每一个像素，生成全局标签图斑数据。
在本步骤中，全局标签图斑数据的类别数与全局隐标签的个数相同，将全局隐标签的个数记为B；
本实施例设计了一种基于多阶规范割的全局隐标签提取方法，可以学习到影像空间邻近关系和光谱相似性，进而生成全局隐标签；
步骤S4、构建目标模型，所述目标模型包括两个Unet网络，根据所述光学影像图斑数据、所述雷达影像图斑数据和两个所述Unet网络，得到光学影像特征和雷达影像特征，根据所述光学影像特征、雷达影像特征、全局标签图斑数据和标签图斑数据对所述目标模型进行训练，得到训练好的目标模型；
在本步骤中，根据所述光学影像图斑数据、所述雷达影像图斑数据和两个所述Unet网络，得到光学影像特征和雷达影像特征的具体实施步骤包括步骤S41、步骤S42和步骤S43；
步骤S41、构建目标模型，所述目标模型包括两个Unet网络；
在本步骤中，每个所述Unet网络包括编码器、过渡层和上采样单元，所述编码器包括4个编码器单元，每个所述编码器单元包括两个2维卷积层和一个池化层，所述过渡层包括两个2d卷积层，所述上采样单元包括反卷积、特征拼接和2维卷积；
步骤S42、将所述光学影像图斑数据和所述雷达影像图斑数据分别进行边缘镜像扩充处理，依次得到处理后的光学影像图斑数据和处理后的雷达影像图斑数据；
在本步骤中，具有多个处理后的光学影像图斑数据和多个处理后的雷达影像图斑数据，然后将多个处理后的光学影像图斑数据分批次输入到Unet网络中；
步骤S43、将所述处理后的光学影像图斑数据分批次输入一个Unet网络中，得到光学影像特征，将所述处理后的光雷达影像图斑数据分批次输入另一个Unet网络中，得到雷达影像特征。
在本步骤中，根据所述光学影像特征、雷达影像特征、全局标签图斑数据和标签图斑数据对所述目标模型进行训练，得到训练好的目标模型的具体实施步骤包括步骤S44、步骤S45、步骤S46和步骤S47；
步骤S44、将所述光学影像特征和所述雷达影像特征进行拼接，得到融合特征；
步骤S45、将所述融合特征输入第一预设个数的1*1的卷积中，输出第一特征，将所述融合特征输入第二预设个数的1*1的卷积中，输出第二特征；
在本步骤中，将融合特征输入B个1*1的卷积中，得到第一特征；将融合特征输入6个1*1的卷积中，得到第二特征；
步骤S46、计算所述第一特征与所述全局标签图斑数据之间的第一交叉熵损失值；计算所述第二特征与所述标签图斑数据之间第二交叉熵损失值；根据所述第一交叉熵损失值和所述第二交叉熵损失值构建总损失；
在本步骤中，计算所述第一特征与所述全局标签图斑数据之间的第一交叉熵损失值loss1；计算所述第二特征与所述标签图斑数据之间第二交叉熵损失值loss2；根据所述第一交叉熵损失值和所述第二交叉熵损失值构建总损失loss；
loss＝α*loss1+(1-α)*loss2，其中α＝0.3；
步骤S47、以总损失值最小化为目标训练所述目标模型，训练完成后得到训练好的目标模型。
在本步骤中，可以设定停止训练的条件，例如可以为总损失值达到预设的阈值，具体的停止训练的条件可根据用户的需求进行自定义设置，本实施例不做赘述；
目前，受天气因素制约，常常难以获取作物特定生长周期的高质量光学影像，选择合适的信息补充源并进行信息融合是必要的。合成孔径雷达(SAR)影像由于具有全天候、全天时、高时间分辨率的采集特点，对于水体和植被具有明显的后向散射差异，在水稻种植区域提取场景下是恰当的信息补充。而本发明采用有限的光学影像和SAR影像组成时间序列，设计深度神经网络架构并进行端到端的学习，达到有效融合光学和微波两种模态提升水稻种植区域提取精度的目标；
训练完成之后，即可利用训练好的目标模型进行水稻制图；
步骤S5、获取待监测区域的水稻对应的一幅光学影像和多幅雷达影像，基于待监测区域的水稻对应的一幅光学影像和多幅雷达影像和所述训练好的目标模型，完成待监测区域的水稻制图。
本步骤的具体实施步骤包括步骤S51、步骤S52、步骤S53和步骤S54；
步骤S51、将待监测区域的水稻对应的一幅光学影像记为第三影像，将待监测区域的水稻对应的每一幅雷达影像记为第四影像；
在本步骤中，收集一副待监测区域的水稻在生长周期6到9月的期间内，云含量5％以下的光学影像，即第三影像；同时分别在6月中、7月中、8月中、9月中收集一幅雷达影像，得到4幅雷达影像，即4幅第四图像；
步骤S52、对所述第三影像和每一幅所述第四影像均进行预处理，得到预处理之后的第三影像和预处理之后的第四影像；
在本步骤中，按照步骤S21的方法分别进行预处理，得到一幅预处理之后的第三影像和四幅预处理之后的第三影像；
步骤S53、将所述预处理后的第三影像和每幅所述预处理后的第四影像切分成固定大小的斑块，得到待监测区域的水稻对应的光学影像图斑数据和待监测区域的水稻对应的雷达影像图斑数据；
步骤S54、待监测区域的水稻对应的光学影像图斑数据和待监测区域的水稻对应的雷达影像图斑数据输入所述训练好的目标模型中，输出第三特征，所述第三特征最大值所在的维度为待监测区域的水稻对应的光学影像图斑数据中像素的类别，根据所述类别进行水稻制图。
通过以上实施例可知，针对标注难问题，尤其是中分辨率光学影像的标注难问题，本发明采用了多任务学习的深度学习网络架构，用于避免过拟合问题并提升泛化能力。同时，本发明还设计了一种基于多阶规范割的全局隐标签提取方法，可以学习到影像空间邻近关系和光谱相似性，进而生成全局隐标签；此外，多任务训练的目标是使得模型既能够达成较高的水稻提取精度，同时又能具备尽可能对齐全局隐标签的能力。
实施例2
如图2所示，本实施例提供了一种水稻制图的装置，所述装置包括获取模块701、切分模块702、拼接模块703、构建模块704和制图模块705。
获取模块701，用于获取在水稻生长周期内的历史影像，所述历史影像包括一幅第一影像和多幅第二影像，第一影像为水稻在第一预设月份下的光学影像，多幅第二影像为水稻在不同第二预设月份下的雷达影像；
切分模块702，用于对所述第一影像和所述第二影像进行预处理，并对预处理后的第一影像进行打标处理，得到打标后的第一影像，分别将预处理后的第一影像、预处理后的第二影像和打标后的第一影像进行切分，分别得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；
拼接模块703，用于将所述光学影像图斑数据、所述雷达影像图斑数据在进行拼接，得到多个拼接图斑数据，根据多个所述拼接图斑数据和谱聚类算法，得到全局标签图斑数据；
构建模块704，用于构建目标模型，所述目标模型包括两个Unet网络，根据所述光学影像图斑数据、所述雷达影像图斑数据和两个所述Unet网络，得到光学影像特征和雷达影像特征，根据所述光学影像特征、雷达影像特征、全局标签图斑数据和标签图斑数据对所述目标模型进行训练，得到训练好的目标模型；
制图模块705，用于获取待监测区域的水稻对应的一幅光学影像和多幅雷达影像，基于待监测区域的水稻对应的一幅光学影像和多幅雷达影像和所述训练好的目标模型，完成待监测区域的水稻制图。
在本公开的一种具体实施方式中，所述切分模块702，还包括第一预处理单元7021、打标单元7022和第一切分单元7023。
第一预处理单元7021，用于对所述第一影像进行第一预处理，所述第一预处理包括大气校正和几何校正，得到预处理后的第一影像；对每幅所述第二影像进行第二预处理，所述第二预处理包括轨道校正、辐射定标、Deburst、成极化矩阵C2和雷达多视处理，得到预处理后的第二影像；
打标单元7022，用于在所述预处理后的第一影像上进行打标操作，将其分类为水稻、其他农作物、建筑物、林地、水体和其他，将打标后的第一影像记为标签数据；
第一切分单元7023，用于将所述预处理后的第一影像、每幅所述预处理后的第二影像和所述标签数据均切分成固定大小的斑块，得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据。
在本公开的一种具体实施方式中，所述拼接模块703，还包括第一拼接单元7031、第一聚类单元7032、第二聚类单元7033、第三聚类单元7034和生成单元7035。
第一拼接单元7031，用于将所述光学影像图斑数据、所述雷达影像图斑数据在波段维度上进行拼接，得到多个拼接图斑数据；
第一聚类单元7032，用于将每个所述拼接图斑数据分别输入谱聚类算法中，所述谱聚类算法采用规范割集准则，得到每个所述拼接图斑数据对应的第一聚类结果，所述第一聚类结果包括多个类，将所述第一聚类结果中包括的每一个类记为一个一阶隐标签；
第二聚类单元7033，用于将全部的所述类随机划分为预设的组数，每组包含的类的数量相同，将每组分别输入所述谱聚类算法中，得到每组对应的第二聚类结果，所述第二聚类结果包括多个类，将所述第二聚类结果中包括的每一个类记为一个二阶隐标签；；
第三聚类单元7034，用于将所有的所述二阶隐标签输入所述谱聚类算法中，得到所述二阶隐标签对应的第三聚类结果，所述第三聚类结果包括多个类，将所述第三聚类结果中包括的每一个类记为一个全局隐标签；
生成单元7035，用于基于所述全局隐标签与所述二阶隐标签的对应关系，以及所述二阶隐标签与所述一阶隐标签的对应关系，将所述全局隐标签映射到所述拼接图斑数据中的每一个像素，生成全局标签图斑数据。
在本公开的一种具体实施方式中，所述构建模块704，还包括构建单元7041、扩充单元7042和第一输入单元7043。
构建单元7041，用于构建目标模型，所述目标模型包括两个Unet网络；
扩充单元7042，用于将所述光学影像图斑数据和所述雷达影像图斑数据分别进行边缘镜像扩充处理，依次得到处理后的光学影像图斑数据和处理后的雷达影像图斑数据；
第一输入单元7043，用于将所述处理后的光学影像图斑数据分批次输入一个Unet网络中，得到光学影像特征，将所述处理后的光雷达影像图斑数据分批次输入另一个Unet网络中，得到雷达影像特征。
在本公开的一种具体实施方式中，所述构建模块704，还包括第二拼接单元7044、第二输入单元7045、计算单元7046和训练单元7047。
第二拼接单元7044，用于将所述光学影像特征和所述雷达影像特征进行拼接，得到融合特征；
第二输入单元7045，用于将所述融合特征输入第一预设个数的1*1的卷积中，输出第一特征，将所述融合特征输入第二预设个数的1*1的卷积中，输出第二特征；
计算单元7046，用于计算所述第一特征与所述全局标签图斑数据之间的第一交叉熵损失值；计算所述第二特征与所述标签图斑数据之间第二交叉熵损失值；根据所述第一交叉熵损失值和所述第二交叉熵损失值构建总损失；
训练单元7047，用于以总损失值最小化为目标训练所述目标模型，训练完成后得到训练好的目标模型。
在本公开的一种具体实施方式中，所述制图模块705，还包括标记单元7051、第二预处理单元7052、第二切分单元7053和制图单元7054。
标记单元7051，用于将待监测区域的水稻对应的一幅光学影像记为第三影像，将待监测区域的水稻对应的每一幅雷达影像记为第四影像；
第二预处理单元7052，用于对所述第三影像和每一幅所述第四影像均进行预处理，得到预处理之后的第三影像和预处理之后的第四影像；
第二切分单元7053，用于将所述预处理后的第三影像和每幅所述预处理后的第四影像切分成固定大小的斑块，得到待监测区域的水稻对应的光学影像图斑数据和待监测区域的水稻对应的雷达影像图斑数据；
制图单元7054，用于待监测区域的水稻对应的光学影像图斑数据和待监测区域的水稻对应的雷达影像图斑数据输入所述训练好的目标模型中，输出第三特征，所述第三特征最大值所在的维度为待监测区域的水稻对应的光学影像图斑数据中像素的类别，根据所述类别进行水稻制图。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例，本公开实施例还提供了一种水稻制图的设备，下文描述的水稻制图的设备与上文描述的水稻制图的方法可相互对应参照。
图3是根据一示例性实施例示出的水稻制图的设备800的框图。如图3所示，该水稻制图的设备800可以包括：处理器801，存储器802。该水稻制图的设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该水稻制图的设备800的整体操作，以完成上述的水稻制图的方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该水稻制图的设备800的操作，这些数据例如可以包括用于在该水稻制图的设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该水稻制图的设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，该水稻制图的设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的水稻制图的方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的水稻制图的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由该水稻制图的设备800的处理器801执行以完成上述的水稻制图的方法。
实施例4
相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的水稻制图的方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的水稻制图的方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种水稻制图的方法，其特征在于，包括：
获取在水稻生长周期内的历史影像，所述历史影像包括一幅第一影像和多幅第二影像，第一影像为水稻在第一预设月份下的光学影像，多幅第二影像为水稻在不同第二预设月份下的雷达影像；
对所述第一影像和所述第二影像进行预处理，并对预处理后的第一影像进行打标处理，得到打标后的第一影像，分别将预处理后的第一影像、预处理后的第二影像和打标后的第一影像进行切分，分别得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；
将所述光学影像图斑数据、所述雷达影像图斑数据再进行拼接，得到多个拼接图斑数据，根据多个所述拼接图斑数据和谱聚类算法，得到全局标签图斑数据；
构建目标模型，所述目标模型包括两个Unet网络，根据所述光学影像图斑数据、所述雷达影像图斑数据和两个所述Unet网络，得到光学影像特征和雷达影像特征，根据所述光学影像特征、雷达影像特征、全局标签图斑数据和标签图斑数据对所述目标模型进行训练，得到训练好的目标模型；
获取待监测区域的水稻对应的一幅光学影像和多幅雷达影像，基于待监测区域的水稻对应的一幅光学影像和多幅雷达影像和所述训练好的目标模型，完成待监测区域的水稻制图；
对所述第一影像和所述第二影像进行预处理，并对预处理后的第一影像进行打标处理，得到打标后的第一影像，分别将预处理后的第一影像、预处理后的第二影像和打标后的第一影像进行切分，分别得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据，包括：
对所述第一影像进行第一预处理，所述第一预处理包括大气校正和几何校正，得到预处理后的第一影像；对每幅所述第二影像进行第二预处理，所述第二预处理包括轨道校正、辐射定标、Deburst、成极化矩阵C2和雷达多视处理，得到预处理后的第二影像；
在所述预处理后的第一影像上进行打标操作，将其分类为水稻、其他农作物、建筑物、林地、水体和其他，将打标后的第一影像记为标签数据；
将所述预处理后的第一影像、每幅所述预处理后的第二影像和所述标签数据均切分成固定大小的斑块，得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；
将所述光学影像图斑数据、所述雷达影像图斑数据在进行拼接，得到多个拼接图斑数据，根据多个所述拼接图斑数据和谱聚类算法，得到全局标签图斑数据，包括：
将所述光学影像图斑数据、所述雷达影像图斑数据在波段维度上进行拼接，得到多个拼接图斑数据；
将每个所述拼接图斑数据分别输入谱聚类算法中，所述谱聚类算法采用规范割集准则，得到每个所述拼接图斑数据对应的第一聚类结果，所述第一聚类结果包括多个类，将所述第一聚类结果中包括的每一个类记为一个一阶隐标签；
将全部的所述类随机划分为预设的组数，每组包含的类的数量相同，将每组分别输入所述谱聚类算法中，得到每组对应的第二聚类结果，所述第二聚类结果包括多个类，将所述第二聚类结果中包括的每一个类记为一个二阶隐标签；
将所有的所述二阶隐标签输入所述谱聚类算法中，得到所述二阶隐标签对应的第三聚类结果，所述第三聚类结果包括多个类，将所述第三聚类结果中包括的每一个类记为一个全局隐标签；
基于所述全局隐标签与所述二阶隐标签的对应关系，以及所述二阶隐标签与所述一阶隐标签的对应关系，将所述全局隐标签映射到所述拼接图斑数据中的每一个像素，生成全局标签图斑数据；
构建目标模型，所述目标模型包括两个Unet网络，根据所述光学影像图斑数据、所述雷达影像图斑数据和两个所述Unet网络，得到光学影像特征和雷达影像特征，包括：
构建目标模型，所述目标模型包括两个Unet网络；
将所述光学影像图斑数据和所述雷达影像图斑数据分别进行边缘镜像扩充处理，依次得到处理后的光学影像图斑数据和处理后的雷达影像图斑数据；
将所述处理后的光学影像图斑数据分批次输入一个Unet网络中，得到光学影像特征，将所述处理后的光雷达影像图斑数据分批次输入另一个Unet网络中，得到雷达影像特征。
2.一种水稻制图的装置，其特征在于，包括：
获取模块，用于获取在水稻生长周期内的历史影像，所述历史影像包括一幅第一影像和多幅第二影像，第一影像为水稻在第一预设月份下的光学影像，多幅第二影像为水稻在不同第二预设月份下的雷达影像；
切分模块，用于对所述第一影像和所述第二影像进行预处理，并对预处理后的第一影像进行打标处理，得到打标后的第一影像，分别将预处理后的第一影像、预处理后的第二影像和打标后的第一影像进行切分，分别得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；
拼接模块，用于将所述光学影像图斑数据、所述雷达影像图斑数据再进行拼接，得到多个拼接图斑数据，根据多个所述拼接图斑数据和谱聚类算法，得到全局标签图斑数据；
构建模块，用于构建目标模型，所述目标模型包括两个Unet网络，根据所述光学影像图斑数据、所述雷达影像图斑数据和两个所述Unet网络，得到光学影像特征和雷达影像特征，根据所述光学影像特征、雷达影像特征、全局标签图斑数据和标签图斑数据对所述目标模型进行训练，得到训练好的目标模型；
制图模块，用于获取待监测区域的水稻对应的一幅光学影像和多幅雷达影像，基于待监测区域的水稻对应的一幅光学影像和多幅雷达影像和所述训练好的目标模型，完成待监测区域的水稻制图；
切分模块，包括：
第一预处理单元，用于对所述第一影像进行第一预处理，所述第一预处理包括大气校正和几何校正，得到预处理后的第一影像；对每幅所述第二影像进行第二预处理，所述第二预处理包括轨道校正、辐射定标、Deburst、成极化矩阵C2和雷达多视处理，得到预处理后的第二影像；
打标单元，用于在所述预处理后的第一影像上进行打标操作，将其分类为水稻、其他农作物、建筑物、林地、水体和其他，将打标后的第一影像记为标签数据；
第一切分单元，用于将所述预处理后的第一影像、每幅所述预处理后的第二影像和所述标签数据均切分成固定大小的斑块，得到光学影像图斑数据、雷达影像图斑数据和标签图斑数据；
拼接模块，包括：
第一拼接单元，用于将所述光学影像图斑数据、所述雷达影像图斑数据在波段维度上进行拼接，得到多个拼接图斑数据；
第一聚类单元，用于将每个所述拼接图斑数据分别输入谱聚类算法中，所述谱聚类算法采用规范割集准则，得到每个所述拼接图斑数据对应的第一聚类结果，所述第一聚类结果包括多个类，将所述第一聚类结果中包括的每一个类记为一个一阶隐标签；
第二聚类单元，用于将全部的所述类随机划分为预设的组数，每组包含的类的数量相同，将每组分别输入所述谱聚类算法中，得到每组对应的第二聚类结果，所述第二聚类结果包括多个类，将所述第二聚类结果中包括的每一个类记为一个二阶隐标签；
第三聚类单元，用于将所有的所述二阶隐标签输入所述谱聚类算法中，得到所述二阶隐标签对应的第三聚类结果，所述第三聚类结果包括多个类，将所述第三聚类结果中包括的每一个类记为一个全局隐标签；
生成单元，用于基于所述全局隐标签与所述二阶隐标签的对应关系，以及所述二阶隐标签与所述一阶隐标签的对应关系，将所述全局隐标签映射到所述拼接图斑数据中的每一个像素，生成全局标签图斑数据；
构建模块，包括：
构建单元，用于构建目标模型，所述目标模型包括两个Unet网络；
扩充单元，用于将所述光学影像图斑数据和所述雷达影像图斑数据分别进行边缘镜像扩充处理，依次得到处理后的光学影像图斑数据和处理后的雷达影像图斑数据；
第一输入单元，用于将所述处理后的光学影像图斑数据分批次输入一个Unet网络中，得到光学影像特征，将所述处理后的光雷达影像图斑数据分批次输入另一个Unet网络中，得到雷达影像特征。
3.一种水稻制图的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现权利要求1所述水稻制图的方法的步骤。
4.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1所述水稻制图的方法的步骤。
CN202211069308.2A 2022-09-02 2022-09-02 一种水稻制图的方法、装置、设备及可读存储介质 Active CN115346124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211069308.2A CN115346124B (zh) 2022-09-02 2022-09-02 一种水稻制图的方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211069308.2A CN115346124B (zh) 2022-09-02 2022-09-02 一种水稻制图的方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN115346124A CN115346124A (zh) 2022-11-15
CN115346124B true CN115346124B (zh) 2023-05-30

Family

ID=83956643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211069308.2A Active CN115346124B (zh) 2022-09-02 2022-09-02 一种水稻制图的方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115346124B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118506040B (zh) * 2024-07-12 2024-10-18 中国科学院空天信息创新研究院 遥感图像的聚类方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304775B (zh) * 2017-12-26 2021-06-11 北京市商汤科技开发有限公司 遥感图像识别方法、装置、存储介质以及电子设备
CN114202691B (zh) * 2021-12-09 2022-10-04 广东省科学院广州地理研究所 基于遥感图像的水稻识别方法、装置以及设备
CN114612896B (zh) * 2022-03-07 2023-01-03 广东省科学院广州地理研究所 基于遥感图像的水稻产量预测方法、装置以及设备
CN115760701A (zh) * 2022-10-20 2023-03-07 电子科技大学 一种土地变化检测方法及装置

Also Published As

Publication number Publication date
CN115346124A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
Kawamura et al. Discriminating crops/weeds in an upland rice field from UAV images with the SLIC-RF algorithm
Zhao et al. Rapeseed seedling stand counting and seeding performance evaluation at two early growth stages based on unmanned aerial vehicle imagery
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
US20200250427A1 (en) Shadow and cloud masking for agriculture applications using convolutional neural networks
US11455794B2 (en) System and method for orchard recognition on geographic area
CN115346124B (zh) 一种水稻制图的方法、装置、设备及可读存储介质
Wang et al. Research on image capture technology of intelligent terminal and multi exposure fusion to improve the resilience of agriculture production systems
Lyu et al. Development of phenotyping system using low altitude UAV imagery and deep learning
Li et al. A pseudo-siamese deep convolutional neural network for spatiotemporal satellite image fusion
CN115760886A (zh) 基于无人机鸟瞰图的地块划分方法、装置及相关设备
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
CN115761529A (zh) 图像处理方法和电子设备
Mohamad et al. A screening approach for the correction of distortion in UAV data for coral community mapping
Hong et al. Multitemporal greenhouse mapping for high-resolution remote sensing imagery based on an improved YOLOX
Niu et al. YOLO-plum: A high precision and real-time improved algorithm for plum recognition
EP4034862B1 (en) Plant identification in the presence of airborne particulates
CN117173631A (zh) 一种生物多样性的监控方法和系统
CN116597317A (zh) 遥感图像变化检测数据生成方法、装置、设备及介质
CN108985154B (zh) 基于影像聚集度的小尺寸地物亚像元定位方法和系统
CN115526816A (zh) 遥感图像处理方法、存储介质和电子设备
Buttar Satellite Imagery Analysis for Crop Type Segmentation Using U-Net Architecture
Hannuna et al. Agriculture disease mitigation system
Liu et al. MAE-YOLOv8-based small object detection of green crisp plum in real complex orchard environments
CN115346009B (zh) 基于高光谱数据和倾斜三维数据的地理实体语义建模方法
Zhong et al. Improving land surface phenology extraction through space-aware neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant