CN115731473A - 面向农田植物非正常变化的遥感图像分析方法 - Google Patents
面向农田植物非正常变化的遥感图像分析方法 Download PDFInfo
- Publication number
- CN115731473A CN115731473A CN202211369317.3A CN202211369317A CN115731473A CN 115731473 A CN115731473 A CN 115731473A CN 202211369317 A CN202211369317 A CN 202211369317A CN 115731473 A CN115731473 A CN 115731473A
- Authority
- CN
- China
- Prior art keywords
- farmland
- ssim
- time
- image
- mse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 24
- 238000003703 image analysis method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000011161 development Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 230000005856 abnormality Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 238000003306 harvesting Methods 0.000 abstract 1
- 238000010191 image analysis Methods 0.000 abstract 1
- 230000002093 peripheral effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明属农田植物状态检测遥感图像分析技术领域，为提出利用同一纬度空间上周围农田青苗长势、时间上长势的变化来预测农田应有的状态，与周围对比后，检测是否存在提前收割青苗的行为的方法，能减少人工成本，提高分析准确度，本发明，面向农田植物非正常变化的遥感图像分析方法，步骤如下：数据集构建；分析预测是从时间、空间2个维度，以及结合空间4个尺度下的特征，预测出农田发展态势，得到一个农田t,l,i的发展预测图；统计单个图像的相似性；统计区域图像的相似性均值和方差S；对比输出，采用5S方法检验异常，计算目标值是否在相似度均值加上正负5个方差的范围内，如果超出即为异常。本发明主要应用于农田状态分析统计场合。
Description
技术领域
本发明是一种面向农田植物状态检测的遥感图像分析方法，具体来讲，是一种依据农田时序图像、临近位置农田图像，来分析农田植物的非正常变化的方法。
背景技术
粮食生产的过程监控是一个非常重要的研究方向，及时发现农田植物的非正常变化是其中一个重要内容。目前，这一工作主要是人力完成，这会受到人们主观因素的影响；而且农田面积十分广阔，所以对人力的消耗很大。利用遥感卫星对地面农田的影像进行自动化分析具备客观、快速的效果，而且节省了人力。
如果要实现遥感卫星对农田进行自动化检测分析的话，需要解决如下2个主要问题。
1、由于卫星遥感地面存在间隔周期问题，每次所拍的地面图像，需要目标识别、匹配，是否是农田；
2、如何预测出农田植物成长的趋势图片，实时了解农田实际状态图片，寻找预测和实际之间的差别，从而知道是否存在农田植物的非正常变化的情况。
其中，第一步目标识别和匹配是遥感领域常见工作，已有大量相关解决方案。第二步，需要预测出农田植物成长的趋势，并对比发现是否存在非正常变化的任务，查阅相关论文、专利，未见有相关的资料。
发明内容
为克服现有技术的不足，基于现有的遥感技术，本发明旨在提出利用同一纬度空间上周围农田植物长势、时间上长势的变化来预测农田应有的状态，与周围对比后，检测是否存在非正常变化的方法。该方法可以自动分析遥感图像，减少人工成本，提高分析准确度。为此，本发明采取的技术方案是，面向农田植物非正常变化的遥感图像分析方法，步骤如下：
数据集构建：利用资源卫星公开数据构建数据集，在此基础上，利用现有成熟的遥感图像农田语义识别算法，对农田进行识别，把农田图像按照时间t、同纬度l以及同时间维度的区域内农田编号i进行归类；
分析预测是从往年数据、以及今年数据中，挖掘时间、空间2个维度，以及结合空间4个尺度下的特征，预测出农田发展态势，得到一个今年农田t,l,i的发展预测图，其中4个尺度是指未下采样、下采样1次、下采样2次和下采样3次这样的4个尺度；
统计单个图像的相似性；
统计区域图像的相似性均值和方差S；
对比输出，采用5S方法检验异常，计算目标值是否在相似度均值加上正负5个方差的范围内，如果超出即为异常。
具体步骤如下：
1、数据集构建：
步骤1-1、下载卫星的免费公开数据；
步骤1-2、使用现有成熟遥感图像农田语义识别算法，把下地面的农田进行识别，客观的把所有图像中的农田识别出来，并分割；
步骤1-3、利用卫星图像自带的图像维度、经度、时间等信息，把所有农田的编号匹配好，从而得到各个农田在固定观测周期下的一系列照片；同时也是以农田的编号为序列，得到同纬度l、同时间t下，附近农田的一系列照片；
步骤1-4、图像大小、角度归一化；
步骤1-5、从时间和空间两个角度，建立农田发展的整体数据集；
2、分析预测：
步骤2-1、以一个编号t,l,i的农田为单独样本编号，依次读取其在上述数据集中的时间集和空间集的信息；
步骤2-2、对数据集中的农田图像，在时间分辨率上，划分为5天间距，5天内的同一农田的图像采用一张；
步骤2-3、采用动作识别领域的双流多尺度的主体结构，双流对应空间流、时间流，空间流尺度设置为4个尺度。提取去年该农田对应今年待预测时间相关的两组图片集，一是去年待预测农田对应今年待预测时间段前期时间10张图片；二是去年待预测农田对应今年待预测时间下，纬度正负不超过0.5度、时间相差不超过5天、直线距离为最近排名前100的农田照片集，构成D(t,l,i)，作为主体结构的输入；
找出该农田需要预测的时间段的去年实际图像，作为主体结构的输出；
训练得到双流多尺度的主体结构M(t,l,i)。
步骤2-4、把待检测的(t,l,i)农田今年度的预测时间段，提取今年该农田待预测时间相关的两组图片集，一是今年待预测时间段前期时间10张图片；二是今年待预测时间下，纬度正负不超过0.5度、时间相差不超过5天、直线距离为最近排名前100的农田照片集，构成D(t,l,i)，作为训练好的主体结构M(t,l,i)的输入，预测得到本年度该预测时间段的效果图Ipre(t,l,i)；
3、统计单个图像的相似性
步骤3-1、下载当前目标区域的真实图片，经过步骤1中的步骤1-1～步骤1-4的步骤处理后，以步骤2-4的为对应关系的话，就得到Ireal(t,l,i)，其中t为2022年6月1号～6月5号，l为第3号农田的纬度(正负小于0.5度)，i是编号，就是第3号农田。由于步骤1-4的归一化，所以Ireal(t,l,i)和Ipre(t,l,i)为大小、方向一致的图片，像素的总数都是tp。
步骤3-1、从资源卫星免费公开数据源处，下载农田图像，所述农田图像经过步骤1中的步骤1-1～步骤1-4的步骤处理后，得到Ireal(t,l,i)，其中t为2022年6月1号～6月5号；l为第3号农田的纬度；i是编号，由于步骤1-4的归一化，所以Ireal(t,l,i)和Ipre(t,l,i)为大小、方向一致的图片，像素的总数都是tp；
步骤3-2、统计Ipre(t,l,i)与Ireal(t,l,i)的相似度指标，相似度指标由损失函数LMSE和损失函数LSSIM构成：
LSSIM＝1-SSIM(Ipre(t,l,i),Ireal(t,l,i))
其中，符号tp为两个对比图像中所含像素的总数，j是第j个像素，它从1～tp,符号SSIM为structural similarity index measurement指标，是一种衡量两幅图像结构相似度的新指标，其值越大越好‘
这样就得到LMSE(t,l,i)和LSSIM(t,l,i)；
4、统计区域图像的相似性均值和方差
步骤4-1、依据步骤3-1～步骤3-2的方法，对同一时间区域t、同一纬度区域内l、离第i号农田的地理位置最近的100幅农田目标ni＝1～100，计算它们各自的LMSE(t,l,i,ni)和LSSIM(t,l,i,ni)；
步骤4-2、计算这100个值的平均值LavgMSE(t,l,i)和LavgSSIM(t,l,i)
步骤4-3、计算这100个值的方差LvarMSE(t,l,i)和LvarSSIM(t,l,i)；
5、对比输出：采用5S方法检验异常，计算目标值是否在相似度均值加上正负5个方差的范围内，如果超出即为异常：
步骤5-1、计算对于目标(t,l,i)的指标LMSE的阈值上限LupMSE(t,l,i)和下限LdownMSE(t,l,i):`
LupMSE(t,l,i)＝LavgMSE(t,l,i)+5*LvarMSE(t,l,i)
LdownMSE(t,l,i)＝LavgMSE(t,l,i)-5*LvarMSE(t,l,i)
步骤5-2、计算对于目标(t,l,i)的指标LSSIM的阈值上限LupSSIM(t,l,i)和下限LdownSSIM(t,l,i):`
LupSSIM(t,l,i)＝LavgSSIM(t,l,i)+5*LvarSSIM(t,l,i)
LdownSSIM(t,l,i)＝LavgSSIM(t,l,i)-5*LvarSSIM(t,l,i)
步骤5-3、如果步骤3得到的目标目标(t,l,i)的LMSE(t,l,i)不在LupMSE(t,l,i)～LdownMSE(t,l,i)之间，或者LSSIM(t,l,i)不在LupSSIM(t,l,i)～LdownSSIM(t,l,i)之间，那么怀疑这个纬度为l、时间段为t、编号为i的农田出现异常，很可能被提前收割，程序向使用者发出报警。
所谓成熟遥感图像农田语义识别算法，是使用U-Net方案，把所有图像中的农田识别出来，并分割。
本发明的特点及有益效果是：
本发明利用同一纬度空间上周围农田植物长势、时间上长势的变化来预测农田应有的状态，与周围对比后，检测是否非正常变化的情况，因而本发明能够实现自动化的依据农田的历史信息、农田附近的目前的状况，预测农田应有的状况，发现农田的异常，自动报警。从而保证粮食的安全，减少人们的工作，提高工作的效率。
附图说明：
图1为本发明一种具体实施例的整体流程图；
图2为本发明一种具体实施例的在步骤2-4中的单个数据学习或者测试时的结构图。
具体实施方式
本发明基于现有的遥感技术，提出了一款利用同一纬度空间上周围农田植物长势、时间上长势的变化来预测农田应有的状态，与周围对比后，检测是否存在非正常变化的算法。该算法可以自动分析遥感图像，减少人工成本，提高分析准确度。
其主要模块有：数据集构建、分析预测、统计单个图像的相似性、统计区域图像的相似性均值和方差、对比输出等5个模块。
1、数据集构建是利用中国资源卫星中心网站上的高分2号卫星的免费公开数据构建数据集，网址是：http://www.cresda.com/CN/index.shtml；在此基础上，利用现有成熟的遥感图像农田语义识别算法，对农田进行识别，把农田图像按照时间(t)、同纬度(l)以及同时间维度的区域内农田编号(i)进行归类。
步骤1-1、下载高分2号卫星的免费公开数据；
步骤1-2、使用现有成熟遥感图像农田语义识别算法，把下地面的农田目进行识别，例如使用《基于遥感影像和卷积神经网络的农田及道路信息提取》(中国农业大学学报2022,27(6)：182～191)中的U-Net方案，客观的把所有图像中的农田识别出来，并分割；
步骤1-3、利用高分2号卫星图像自带的图像维度、经度、时间等信息，把所有农田的编号匹配好，从而得到各个农田在固定观测周期下的一系列照片；同时也是以农田的编号为序列，得到同纬度l、同时间t下，附近农田的一系列照片，本项目中设置为同一纬度(纬度正负不超过0.5度)、时间相差不超过5天、直线距离为最近排名前100的农田照片集。这两组照片可以从时间和空间的两个角度为预测同一个编号的农田最近的发展状况提供信息。
步骤1-4、图像大小、角度归一化，此为公知内容，在此不再赘述。
步骤1-5、从时间和空间两个角度，建立农田发展的整体数据集。至此，该数据集的建立全部可以自动编程客观建立。
2、分析预测是从往年数据、以及今年数据中，挖掘时间、空间2个维度，以及结合空间4个尺度下的特征，预测出农田发展态势，得到一个今年农田t,l,i的发展预测图，其中4个尺度是指未下采样、下采样1次、下采样2次和下采样3次这样的4个尺度；
步骤2-1、以一个编号(t,l,i)的农田为单独样本编号，依次读取其在上述数据集中的时间集和空间集的信息；
步骤2-2、对数据集中的农田图像而言，本发明在时间分辨率上，划分为5天间距(高分2号的回访时间是5天)，5天内的同一农田的图像采用一张即可。
步骤2-3、采用动作识别领域的双流多尺度的主体结构，例如Skeleton MotionRecognition Based on Multi-Scale Deep Spatio-Temporal Features.Appl.Sci.2022,12,1028，双流多尺度是常见的动作识别方法，本发明中双流对应本发明的空间流、时间流，尺度设置为4个尺度。提取去年该农田对应今年待预测时间相关的两组图片集，一是去年待预测农田对应今年待预测时间段前期时间10张图片；二是去年待预测农田对应今年待预测时间下，同一纬度(纬度正负不超过0.5度)、时间相差不超过5天、直线距离为最近排名前100的农田照片集，构成D(t,l,i)，作为主体结构的输入；并找出该农田需要预测的时间段的去年实际图像，作为主体结构的输出；
例如：需要预测2022年6月2号的第3号农田的图像，那么就在时间集上，读取时间集上，第3号农田在2021年5月25日～5月30日的一张、2021年5月20日～5月25日的一张、2021年5月15日～5月20日的一张、2021年5月10日～5月15日的一张、2021年5月5日～5月10日的一张、2021年5月1日～5月5日的一张、2021年4月25日～4月30日的一张、2021年4月20日～4月25日的一张、2021年4月15日～4月20日的一张、2021年4月10日～4月15日的一张，共计连续间隔为5天的图像共计10张，作为时间流的输入。
在空间集上，读取2021年6月1号～6月5号的第3号农田的同一纬度下最近100张农田的图像，并分成4个尺度。即把所有图片进行下采样3次，降低分辨率，与原先本身的图像成为同一图片在4个尺度上的图片。这些作为是空间流输入。
同时，读取2021年6月1号～6月5号的第3号农田的实际图，作为是输出，用于训练。
这样就构成一条训练数据，然后把所有2021年6月1号～6月5号，在这个纬度下的，以3号农田最近的100个农田(每个农田又有100个最近的100个农田，这样就是100条数据集)数据，构建为了训练M(t,l,i)的数据集D(t,l,i)，其中t为2022年6月1号～6月5号，l为第3号农田的纬度(正负小于0.5度)，i是编号，就是第3号农田。
训练得到双流多尺度的主体结构M(t,l,i)。
步骤2-4、把待检测的(t,l,i)农田今年度的预测时间段，提取今年该农田待预测时间相关的两组图片集，一是今年待预测时间段前期时间10张图片；二是今年待预测时间下，同一纬度(纬度正负不超过0.5度)、时间相差不超过5天、直线距离为最近排名前100的农田照片集，构成D(t,l,i)，作为训练好的主体结构M(t,l,i)的输入，预测得到本年度该预测时间段的效果图Ipre(t,l,i)。
例如需要预测2022年6月2号的第3号农田的图像，那么就在时间集上，读取时间集上，第3号农田在2022年5月25日～5月30日的一张、2022年5月20日～5月25日的一张、2022年5月15日～5月20日的一张、2022年5月10日～5月15日的一张、2022年5月5日～5月10日的一张、2022年5月1日～5月5日的一张、2022年4月25日～4月30日的一张、2022年4月20日～4月25日的一张、2022年4月15日～4月20日的一张、2022年4月10日～4月15日的一张，共计连续10张，作为时间集的输入。在空间集上，读取2022年6月1号～6月5号的第3号农田的同一纬度下最近100张农田的图像，并分成4个尺度。这些作为是输入。输入到M(t,l,i)后，得到对应图像Ipre(t,l,i)。
3、统计单个图像的相似性
步骤3-1、下载当前目标区域的真实图片，经过步骤1中的步骤1-1～步骤1-4的步骤处理后，以步骤2-4的为对应关系的话，就得到Ireal(t,l,i)，其中t为2022年6月1号～6月5号，l为第3号农田的纬度(正负小于0.5度)，i是编号，就是第3号农田。由于步骤1-4的归一化，所以Ireal(t,l,i)和Ipre(t,l,i)为大小、方向一致的图片，像素的总数都是tp。
步骤3-2、统计Ipre(t,l,i)与Ireal(t,l,i)的相似度指标，相似度指标由损失函数LMSE和损失函数LSSIM构成。
LSSIM＝1-SSIM(Ipre(t,l,i),Ireal(t,l,i))
其中，符号tp为两个对比图像中所含像素的总数，j是第j个像素，它从1～tp,符号SSIM为structural similarity index measurement指标，是一种衡量两幅图像结构相似度的新指标，其值越大越好，最大为1，此为公知内容。
这样就得到LMSE(t,l,i)和LSSIM(t,l,i)。
4、统计区域图像的相似性均值和方差
步骤4-1、依据步骤3-1～步骤3-2的方法，对同一时间区域t、同一纬度区域内l、离第i号农田的地理位置最近的100幅农田目标(ni＝1～100)，计算它们各自的LMSE(t,l,i,ni)和LSSIM(t,l,i,ni)。
步骤4-2、计算这100个值的平均值LavgMSE(t,l,i)和LavgSSIM(t,l,i)
步骤4-3、计算这100个值的方差LvarMSE(t,l,i)和LvarSSIM(t,l,i)，方差计算为公知内容，在此不再赘述。
5、对比输出。采用5S方法检验异常，计算目标值是否在相似度均值加上正负5个方差(S)的范围内，如果超出即为异常。
步骤5-1、计算对于目标(t,l,i)的指标LMSE的阈值上限LupMSE(t,l,i)和下限LdownMSE(t,l,i):`
LupMSE(t,l,i)＝LavgMSE(t,l,i)+5*LvarMSE(t,l,i)
LdownMSE(t,l,i)＝LavgMSE(t,l,i)-5*LvarMSE(t,l,i)
步骤5-2、计算对于目标(t,l,i)的指标LSSIM的阈值上限LupSSIM(t,l,i)和下限LdownSSIM(t,l,i):`
LupSSIM(t,l,i)＝LavgSSIM(t,l,i)+5*LvarSSIM(t,l,i)
LdownSSIM(t,l,i)＝LavgSSIM(t,l,i)-5*LvarSSIM(t,l,i)
步骤5-3、如果步骤3得到的目标(t,l,i)的LMSE(t,l,i)不在LupMSE(t,l,i)～LdownMSE(t,l,i)之间，或者LSSIM(t,l,i)不在LupSSIM(t,l,i)～LdownSSIM(t,l,i)之间，那么怀疑这个纬度为l、时间段为t、编号为i的农田出现异常，程序向使用者发出报警。如果2个指标有一个在其中，那么就不发出报警。
通过实现本发明，就可以自动化的依据农田的历史信息、农田附近的目前的状况，预测农田应有的状况，发现农田的异常，自动报警。从而保证粮食的安全，减少人们的工作，提高工作的效率。
下面结合附图1和附图2，进一解释本发明内容。
本发明基于现有的遥感技术，提出了一款利用同一纬度空间上周围农田植物长势、时间上长势的变化来预测农田应有的状态，与周围对比后，检测是否存在非正常变化的算法。该算法可以自动分析遥感图像，减少人工成本，提高分析准确度。
如图1所示，其主要模块有：数据集构建、分析预测、统计单个图像的相似性、统计区域图像的相似性均值和方差、对比输出等5个模块。
1、数据集构建是利用中国资源卫星中心网站上的高分2号卫星的免费公开数据构建数据集，网址是：http://www.cresda.com/CN/index.shtml；在此基础上，利用现有成熟的遥感图像农田语义识别算法，对农田进行识别，把农田图像按照时间(t)、同纬度(l)以及农田编号(i)进行归类。
步骤1-1、下载高分2号卫星的免费公开数据；
步骤1-2、使用现有成熟遥感图像农田语义识别算法，把下地面的农田目进行识别，例如使用《基于遥感影像和卷积神经网络的农田及道路信息提取》(中国农业大学学报2022,27(6)：182～191)中的U-Net方案，客观的把所有图像中的农田识别出来，并分割，标上每幅图上各个农田的编号；
步骤1-3、利用高分2号卫星图像自带的图像维度、经度、时间等信息，把所有农田的编号匹配好，从而得到各个农田在固定观测周期下的一系列照片；同时也是以农田的编号为序列，得到同纬度l、同时间t下，附近农田的一系列照片，本项目中设置为同一纬度(纬度正负不超过0.5度)、时间相差不超过5天、直线距离为最近排名前100的农田照片集。这两组照片可以从时间和空间的两个角度为预测同一个编号的农田最近的发展状况提供信息。
步骤1-4、图像大小、角度归一化，此为公知内容，在此不再赘述。
步骤1-5、从时间和空间两个角度，建立农田发展的整体数据集。至此，该数据集的建立全部可以自动编程客观建立。
2、分析预测是从时间、空间2个维度，以及结合空间4个尺度下的特征，预测出农田发展态势，得到一个农田(t,l,i)的发展预测图。
步骤2-1、以一个编号(t,l,i)的农田为单独样本编号，依次读取其在上述数据集中的时间集和空间集的信息；
步骤2-2、对数据集中的农田图像而言，本发明时间分辨率划分为5天间距(高分2号的回访时间是5天)，5天内的同一农田的图像采用一张即可。
步骤2-3、采用动作识别领域的双流多尺度的主体结构，例如Skeleton MotionRecognition Based on Multi-Scale Deep Spatio-Temporal Features.Appl.Sci.2022,12,1028，双流多尺度是常见的动作识别方法，本发明中双流对应本发明的空间流、时间流，尺度设置为4个尺度，提取去年该农田对应今年待预测时间相关的两组图片集，一是去年待预测农田对应今年待预测时间段前期时间10张图片；二是去年待预测农田对应今年待预测时间下，同一纬度(纬度正负不超过0.5度)、时间相差不超过5天、直线距离为最近排名前100的农田照片集，构成D(t,l,i)，作为主体结构的输入；并找出该农田需要预测的时间段的去年实际图像，作为主体结构的输出；
例如：需要预测2022年6月2号的第3号农田的图像，那么就在时间集上，读取时间集上，第3号农田在2021年5月25日～5月30日的一张、2021年5月20日～5月25日的一张、2021年5月15日～5月20日的一张、2021年5月10日～5月15日的一张、2021年5月5日～5月10日的一张、2021年5月1日～5月5日的一张、2021年4月25日～4月30日的一张、2021年4月20日～4月25日的一张、2021年4月15日～4月20日的一张、2021年4月10日～4月15日的一张，共计连续间隔为5天的图像共计10张，作为时间集的输入。
在空间集上，读取2021年6月1号～6月5号的第3号农田的同一纬度下最近100张农田的图像，并分成4个尺度。这些作为是输入。如图2所示，所谓4个尺度是指把所有图片进行下采样3次，降低分辨率，得到下采样1次的尺度2的图片、下采样2次的尺度3的图片，下采样3次的尺度的图片，这样与原先本身的图像一起成为同一图片在4个尺度上的图片。如果是原先一个图片是16*16个像素的话，尺度1的图片的大小就是16*16本身，尺度2的图片就是8*8，尺度3的图片就是4*4，尺度4的图片就是2*2，这样在不同的尺度上，后期分析时就可以从不同的空间尺度上进行分析了，比如开始时尺度1图片中一个像素代表的是1米，尺度2图片中一个像素代表的就是2米，尺度3图片中一个像素代表的就是4米，尺度4图片中一个像素代表的就是8米。把空间集图片进行下采样3次，降低分辨率，与原先本身的图像成为同一图片在4个尺度上的图片。
同时，读取2021年6月1号～6月5号的第3号农田的实际图，作为是输出，用于训练。
这样就构成一条训练数据，然后把所有2021年6月1号～6月5号，在这个纬度下的，以3号农田最近的100个农田(每个农田又有100个最近的100个农田，这样就是100条数据集)数据，构建为了训练M(t,l,i)的数据集D(t,l,i)，其中t为2022年6月1号～6月5号，l为第3号农田的纬度(正负小于0.5度)，i是编号，就是第3号农田。
重复图2的方式100次，把拥有100条训练数据集的D(t,l,i)，输入到M(t,l,i)，训练得到双流多尺度的主体结构M(t,l,i)，训练的具体过程如Skeleton MotionRecognition Based on Multi-Scale Deep Spatio-Temporal Features.Appl.Sci.2022,12,1028中所解释。
步骤2-4、如图2所示，把待检测的(t,l,i)农田今年度的预测时间段，提取今年该农田待预测时间相关的两组图片集，一是今年待预测时间段前期时间10张图片；二是今年待预测时间下，同一纬度(纬度正负不超过0.5度)、时间相差不超过5天、直线距离为最近排名前100的农田照片集，构成D(t,l,i)，作为训练好的主体结构M(t,l,i)的输入，预测得到本年度该预测时间段的效果图Ipre(t,l,i)；
例如需要预测2022年6月2号的第3号农田的图像，那么就在时间集上，读取时间集上，第3号农田在2022年5月25日～5月30日的一张、2022年5月20日～5月25日的一张、2022年5月15日～5月20日的一张、2022年5月10日～5月15日的一张、2022年5月5日～5月10日的一张、2022年5月1日～5月5日的一张、2022年4月25日～4月30日的一张、2022年4月20日～4月25日的一张、2022年4月15日～4月20日的一张、2022年4月10日～4月15日的一张，共计连续10张，作为时间集的输入。在空间集上，读取2022年6月1号～6月5号的第3号农田的同一纬度下最近100张农田的图像，并分成4个尺度。这些作为是输入。输入到M(t,l,i)后，得到对应图像Ipre(t,l,i)。
3、统计单个图像的相似性
步骤3-1、下载当前目标区域的真实图片，经过步骤1中的步骤1-1～步骤1-4的步骤处理后，该真实图片被预处理完成，得到Ireal(t,l,i)。继续以步骤2-4中的例子为例，即从中国资源卫星中心网站上的高分2号卫星的免费公开数据源处，下载2022年6月2号的第3号农田的图像，该原始图像经过步骤1中的步骤1-1～步骤1-4的步骤处理后，得到Ireal(t,l,i)，其中t为2022年6月1号～6月5号；l为第3号农田的纬度；i是编号，就是第3号农田。由于步骤1-4的归一化，所以Ireal(t,l,i)和Ipre(t,l,i)为大小、方向一致的图片，像素的总数都是tp。
步骤3-2、统计Ipre(t,l,i)与Ireal(t,l,i)的相似度指标，相似度指标由损失函数LMSE和损失函数LSSIM构成。
LSSIM＝1-SSIM(Ipre(t,l,i),Ireal(t,l,i))
其中，符号tp为两个对比图像中所含像素的总数，j是第j个像素，它从1～tp,符号SSIM为structural similarity index measurement指标，是一种衡量两幅图像结构相似度的新指标，其值越大越好，最大为1，此为公知内容。
这样就得到LMSE(t,l,i)和LSSIM(t,l,i)。
4、统计区域图像的相似性均值和方差
步骤4-1、依据步骤3-1～步骤3-2的方法，对同一时间区域t、同一纬度区域内l、离第i号农田的地理位置最近的100幅农田目标(ni＝1～100)，计算它们各自的LMSE(t,l,i,ni)和LSSIM(t,l,i,ni)。
步骤4-2、计算这100个值的平均值LavgMSE(t,l,i)和LavgSSIM(t,l,i)
步骤4-3、计算这100个值的方差LvarMSE(t,l,i)和LvarSSIM(t,l,i)，方差计算为公知内容，在此不再赘述。
5、对比输出。采用5S方法检验异常，计算目标值是否在相似度均值加上正负5个方差(S)的范围内，如果超出即为异常。
步骤5-1、计算对于目标(t,l,i)的指标LMSE的阈值上限LupMSE(t,l,i)和下限LdownMSE(t,l,i):`
LupMSE(t,l,i)＝LavgMSE(t,l,i)+5*LvarMSE(t,l,i)
LdownMSE(t,l,i)＝LavgMSE(t,l,i)-5*LvarMSE(t,l,i)
步骤5-2、计算对于目标(t,l,i)的指标LSSIM的阈值上限LupSSIM(t,l,i)和下限LdownSSIM(t,l,i):`
LupSSIM(t,l,i)＝LavgSSIM(t,l,i)+5*LvarSSIM(t,l,i)
LdownSSIM(t,l,i)＝LavgSSIM(t,l,i)-5*LvarSSIM(t,l,i)
步骤5-3、如果步骤3得到的目标(t,l,i)的LMSE(t,l,i)不在LupMSE(t,l,i)～LdownMSE(t,l,i)之间，或者LSSIM(t,l,i)不在LupSSIM(t,l,i)～LdownSSIM(t,l,i)之间，那么怀疑这个纬度为l、时间段为t、编号为i的农田出现非正常变化，程序向使用者发出报警。如果2个指标有一个在其中，那么就不发出报警。
3S、5S为质量体系认证里面的知识，S为这一组数据的整体方差，如果同组数据有超过平均值正负3S为不合格数据、以及正负5S为不合格数据的检验方法(Q算法)。
通过实现本发明，就可以自动化的依据农田的历史信息、农田附近的目前的状况，预测农田应有的状况，发现农田的异常，自动报警。从而保证粮食的安全，减少人们的工作，提高工作的效率。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种面向农田非正常变化问题的遥感图像分析方法，其特征是，步骤如下：
数据集构建：利用资源卫星公开数据构建数据集，在此基础上，利用遥感图像农田语义识别算法，对农田进行识别，把农田图像按照时间t、同纬度l以及同时间维度的区域内农田编号i进行归类；
分析预测是从往年数据、以及今年数据中，挖掘时间、空间2个维度，以及结合空间4个尺度下的特征，预测出农田发展态势，得到一个今年农田t,l,i的发展预测图，其中4个尺度是指未下采样、下采样1次、下采样2次和下采样3次这样的4个尺度；
利用资源卫星公开数据构建数据集得到实际农田图，利用遥感图像农田语义识别算法，分析和分割出农田图像；
统计发展预测图和实际农田图像的相似性均值和方差S；
对比输出，采用5S方法检验异常，计算目标值是否在相似度均值加上正负5个方差的范围内，如果超出即为非正常变化。
2.如权利要求1所述的面向农田非正常变化问题的遥感图像分析方法，其特征是，具体步骤如下：
1)、数据集构建：
步骤1-1、下载卫星的免费公开数据；
步骤1-2、使用遥感图像农田语义识别算法，把下地面的农田进行识别，把所有图像中的农田识别出来，并分割；
步骤1-3、利用卫星图像自带的图像维度、经度、时间信息，把所有农田的编号匹配好，从而得到各个农田在固定观测周期下的一系列照片；同时也是以农田的编号为序列，得到同纬度l、同时间t下，附近农田的一系列照片；
步骤1-4、图像大小、角度归一化；
步骤1-5、从时间和空间两个角度，建立农田发展的整体数据集；
2)、分析预测：
步骤2-1、以一个编号t,l,i的农田为单独样本编号，依次读取其在上述数据集中的时间集和空间集的信息；
步骤2-2、对数据集中的农田图像而言，在时间上的分辨率划分为5天间距，即5天内的同一农田的采用一张图像；
步骤2-3、采用动作识别领域的双流多尺度的主体结构，双流对应空间流、时间流，空间上的尺度设置为4个尺度；
然后，找出跟去年该农田对应今年待预测时间相关的两组图片集，一是去年该农田对应今年待预测时间段前期时间10张图片；二是去年该农田对应今年待预测时间下，纬度正负不超过0.5度、时间相差不超过5天、直线距离为最近排名前100的农田照片集；构成D(t,l,i)，作为主体结构的输入；
然后，找出需要目前预测的时间段的去年实际图像，作为主体结构的输出；
然后，训练得到双流多尺度的主体结构M(t,l,i)，每个模型预测各自t、l下的第i号农田图像；
步骤2-4、把待检测的(t,l,i)农田今年度的预测时间段前期时间10张和纬度正负不超过0.5度、时间相差不超过5天、直线距离为最近排名前100的农田照片集中的100张图片，分析成4个尺度，作为训练好的主体结构M(t,l,i)的输入，预测得到本年度该农田预测时间段的效果图Ipre(t,l,i)；
3)、统计实际图像与预测图片的相似性
步骤3-1、从资源卫星免费公开数据源处下载实际农田图像，所述农田图像经过步骤1中的步骤1-1～步骤1-4的步骤处理后，得到Ireal(t,l,i)，纬度误差正负小于0.5；
步骤3-2、统计Ipre(t,l,i)与Ireal(t,l,i)的相似度指标，相似度指标由损失函数LMSE和损失函数LSSIM构成：
LSSIM＝1-SSIM(Ipre(t,l,i),Ireal(t,l,i))
其中，符号tp为两个对比图像中所含像素的总数，j是第j个像素，它从1～tp,符号SSIM为structural similarity index measurement指标，是一种衡量两幅图像结构相似度的新指标，其值越大越好；
4)、统计区域图像的相似性均值和方差
步骤4-1、依据步骤3-1～步骤3-2的方法，对同一时间区域t、同一纬度区域内l、离第i号农田的地理位置最近的100幅农田目标ni＝1～100，计算它们各自的LMSE(t,l,i,ni)和LSSIM(t,l,i,ni)；
步骤4-2、计算这100个值的平均值LavgMSE(t,l,i)和LavgSSIM(t,l,i)
步骤4-3、计算这100个值的方差LvarMSE(t,l,i)和LvarSSIM(t,l,i)；
5)、对比输出：采用5S方法检验异常，计算目标值是否在相似度均值加上正负5个方差的范围内，如果超出即为异常：
步骤5-1、计算对于目标(t,l,i)的指标LMSE的阈值上限LupMSE(t,l,i)和下限LdownMSE(t,l,i):`
LupMSE(t,l,i)＝LavgMSE(t,l,i)+5*LvarMSE(t,l,i)
LdownMSE(t,l,i)＝LavgMSE(t,l,i)-5*LvarMSE(t,l,i)
步骤5-2、计算对于目标(t,l,i)的指标LSSIM的阈值上限LupSSIM(t,l,i)和下限LdownSSIM(t,l,i):`
LupSSIM(t,l,i)＝LavgSSIM(t,l,i)+5*LvarSSIM(t,l,i)
LdownSSIM(t,l,i)＝LavgSSIM(t,l,i)-5*LvarSSIM(t,l,i)
步骤5-3、如果步骤3得到的目标目标(t,l,i)的LMSE(t,l,i)不在LupMSE(t,l,i)～LdownMSE(t,l,i)之间，或者LSSIM(t,l,i)不在LupSSIM(t,l,i)～LdownSSIM(t,l,i)之间，那么怀疑这个纬度为l、时间段为t、编号为i的农田出现非正常变化，程序向使用者发出报警。
3.如权利要求2所述的面向农田非正常变化问题的遥感图像分析方法，其特征是，所谓成熟遥感图像农田语义识别算法，是使用U-Net方案，把所有图像中的农田识别出来，并分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211369317.3A CN115731473B (zh) | 2022-10-28 | 面向农田植物非正常变化的遥感图像分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211369317.3A CN115731473B (zh) | 2022-10-28 | 面向农田植物非正常变化的遥感图像分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115731473A true CN115731473A (zh) | 2023-03-03 |
| CN115731473B CN115731473B (zh) | 2024-05-31 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN112818818A (zh) * | 2021-01-28 | 2021-05-18 | 电子科技大学 | 一种基于affpn的新型超高清遥感图像变化检测方法 |
| CN112906662A (zh) * | 2021-04-02 | 2021-06-04 | 海南长光卫星信息技术有限公司 | 一种遥感图像变化检测方法、装置、设备及存储介质 |
| US20210271934A1 (en) * | 2018-09-06 | 2021-09-02 | Terrafuse, Inc. | Method and System for Predicting Wildfire Hazard and Spread at Multiple Time Scales |
| CN114067219A (zh) * | 2021-11-11 | 2022-02-18 | 华东师范大学 | 一种基于语义分割与超像素分割融合的农田作物识别方法 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210271934A1 (en) * | 2018-09-06 | 2021-09-02 | Terrafuse, Inc. | Method and System for Predicting Wildfire Hazard and Spread at Multiple Time Scales |
| WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN112818818A (zh) * | 2021-01-28 | 2021-05-18 | 电子科技大学 | 一种基于affpn的新型超高清遥感图像变化检测方法 |
| CN112906662A (zh) * | 2021-04-02 | 2021-06-04 | 海南长光卫星信息技术有限公司 | 一种遥感图像变化检测方法、装置、设备及存储介质 |
| CN114067219A (zh) * | 2021-11-11 | 2022-02-18 | 华东师范大学 | 一种基于语义分割与超像素分割融合的农田作物识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105785411B (zh) | 一种基于区域划分的异常轨迹检测方法 | |
| CN104156734B (zh) | 一种基于随机蕨分类器的全自主在线学习方法 | |
| CN110458195B (zh) | 一种基于多判据融合的异常数据甄别方法 | |
| CN110097536A (zh) | 基于深度学习和霍夫变换的六边形螺栓松动检测方法 | |
| CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN112508105A (zh) | 一种采油机故障检测与检索方法 | |
| CN110909652B (zh) | 纹理特征优选的农作物种植结构月尺度动态提取方法 | |
| CN115439654B (zh) | 动态约束下的弱监督农田地块精细化分割方法及系统 | |
| CN114639064B (zh) | 一种水位识别方法及装置 | |
| CN107610119A (zh) | 基于直方图分解的带钢表面缺陷精准检测方法 | |
| CN112418128A (zh) | 地表水监控管理系统及方法 | |
| CN116310853A (zh) | 一种基于多源数据的中小城市边缘区提取方法 | |
| CN109960972B (zh) | 一种基于中高分辨率时序遥感数据的农林作物识别方法 | |
| CN117171533B (zh) | 一种地理测绘作业数据实时采集处理方法及系统 | |
| CN112084941A (zh) | 一种基于遥感图像的目标检测与识别方法 | |
| CN112614121A (zh) | 一种多尺度小目标设备缺陷识别监测方法 | |
| CN115731473B (zh) | 面向农田植物非正常变化的遥感图像分析方法 | |
| CN115731473A (zh) | 面向农田植物非正常变化的遥感图像分析方法 | |
| CN116702588A (zh) | 一种基于多源数据的风电场关键气象因子预报方法及系统 | |
| CN106886609B (zh) | 街区式农村居民地遥感快速标注方法 | |
| CN113269464B (zh) | 一种生态恢复评估方法和生态恢复评估装置 | |
| CN113255440B (zh) | 一种基于机器学习的农作物叶片异常检测方法及系统 | |
| Kumar et al. | Application of PSPNET and fuzzy Logic for wheat leaf rust disease and its severity | |
| CN113516850A (zh) | 基于空间句法分析的管道沿线交通流量数据采集方法 | |
| Kembhavi et al. | Low-cost image processing system for evaluating pavement surface distress |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |