CN114440835B - 多特征和模型耦合的牧畜遥感监测方法、系统及存储介质 - Google Patents
多特征和模型耦合的牧畜遥感监测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114440835B CN114440835B CN202210108392.8A CN202210108392A CN114440835B CN 114440835 B CN114440835 B CN 114440835B CN 202210108392 A CN202210108392 A CN 202210108392A CN 114440835 B CN114440835 B CN 114440835B
- Authority
- CN
- China
- Prior art keywords
- herd
- data
- livestock
- monitoring
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 107
- 244000144972 livestock Species 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 79
- 244000144980 herd Species 0.000 claims abstract description 174
- 238000013135 deep learning Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000009966 trimming Methods 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 241000283690 Bos taurus Species 0.000 description 12
- 241001494479 Pecora Species 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000009304 pastoral farming Methods 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 244000025254 Cannabis sativa Species 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 241000392362 Sinonovacula Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 241000282832 Camelidae Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000283074 Equus asinus Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Abstract
本发明公开了一种多特征和模型耦合的牧畜遥感监测方法、系统及存储介质，涉及对地监测领域。具体步骤如下：采集监测数据，监测数据为监测区域内当期高分遥感影像和背景高分遥感影像；建立基于深度学习的牧畜群检测模型；通过牧畜群检测模型对监测数据进行检测，得到牧畜群分布数据；利用基于高斯拉普拉斯梯度差和面向对象的方法提取监测数据的牧畜斑点，形成牧畜斑点分布数据；用牧畜斑点分布数据对牧畜群分布数据进行校验和增强，形成增强的牧畜群监测结果，再通过人工辅助修边，形成精准的牧畜群数据及其内部所包含的牧畜斑点数据。本发明可以精准、高效掌握牧畜群的分布信息，有效监测评估了区域牧畜的资源量和区域载畜压力。
Description
技术领域
本发明涉及对地监测技术领域，更具体的说是涉及一种多特征和模型耦合的牧畜遥感监测方法、系统及存储介质。
背景技术
目前对牧畜数量和放牧活动的监管多依托逐级填报统计、入户调查、无人机抽查、在线视频或穿戴式设备监控等方式。其中逐级填报方式存在一定漏报、虚报、瞒报的可能，数据质量难以有保障；入户调查统计方式成本高，只能采取抽样估算，难以全面实施；在线视频或穿戴式设备方式通常只能安装在出入口、羊圈等区域，可操作性差，且投入和运维成本高。
随着遥感技术的发展，基于卫星遥感的牧畜监测评估成为了一个新的方向。但是大部分都集中在理论载畜量的监测(基于卫星遥感监测评估草地的生物量，从而间接估算理论载畜量)，鲜有实际载畜方面的研究和应用。随着亚米级高分卫星技术、无人机技术等探测技术的发展以及人工智能等识别技术的发展，出现了基于无人机的大型哺乳动物、牛羊等家畜的监测识别。但是这种基于无人机的方法，一方面从技术上来说，由于无人机拍摄的分辨率很高(可达到亚分米级别)，图像上牧畜的尺寸足够大、信息也丰富，因此技术难度比较小；从经济可行性来说，无人机航拍代价大，依然只能通过抽样的方式开展，难以全面开展。因此发展一种基于高分卫星的牧畜遥感监测方法非常必要，无论是从经济上，还是从拓展微小目标的遥感监测识别技术来说都非常有意义。
规则集、面向对象等传统方法可综合各种知识和规则，机理性强，但对成像条件、经验知识、特征参数等非常敏感，普适性、可迁移性要差。深度学习等机器学习方法是基于样本的自学习训练，可以弥补传统方法的不足，但是由于深度学习方法对“小目标”的识别精度不高，仅约30％的水平。而牛羊等牧畜更小，在亚米级的卫星遥感影像上，表现为典型的“微小目标”，相对来说属于一种“微弱信号”，识别监测难度非常大，因此基于深度学习的方法对其的识别精度必然更低。由此可见，单纯依靠深度学习方法或传统方法中的一种难以实现牧畜的精准监测，对本领域技术人员来说，如何将深度学习和面向对象两者的优势相结合进行牧畜遥感监测，是亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种多特征和模型耦合的牧畜遥感监测方法、系统及存储介质，以解决背景技术中存在的问题，精准、高效掌握草原牧区牛、羊等牧畜群的类型、分布、数量、大体规模等信息。
为了实现上述目的，本发明采用如下技术方案：一方面，提供一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法，具体步骤包括如下：
采集监测数据，所述监测数据为监测区域内当期高分遥感影像和背景高分遥感影像；
建立基于深度学习的牧畜群检测模型；
通过所述牧畜群检测模型对所述监测数据进行检测，得到牧畜群分布数据；
利用基于高斯拉普拉斯梯度差和面向对象的方法提取所述监测数据的牧畜斑点，形成牧畜斑点分布数据；
通过所述牧畜斑点分布数据对所述牧畜群分布数据进行校验和增强，形成增强的牧畜群监测结果，针对增强的牧畜群监测结果通过人工辅助修边，形成最终牧畜群数据和牧畜群内部的牧畜斑点数据。
可选的，还包括对所述监测数据进行预处理，预处理方法为几何精纠正和图像增强，其中图像增强通过双边滤波算法实现图像增强。
通过采用上述技术方案，具有以下有益的技术效果：对遥感影像进行几何精纠正，可以确保影像之间有较高的几何配准精度，以确保监测成果数据的质量；通过双线性滤波可突出牧畜信息，同时有效抑制噪声等的干扰。
可选的，所述建立基于深度学习的牧畜群检测模型的步骤为：
选取高分遥感影像，利用人工解译勾绘影像上的牧畜群边界范围，形成牧畜群样本斑块，并对所述牧畜群样本斑块标注牧畜类型编码；
将标注好的基于高分遥感影像的牧畜群样本斑块导出为训练样本数据；
利用所述训练样本数据进行深度学习模型训练，得到所述牧畜群检测模型。
可选的，所述基于高斯拉普拉斯梯度差的方法提取所述监测数据的牧畜斑点的步骤为：
通过高斯拉布拉斯梯度对所述监测数据进行增强处理，得到预处理后的当期高分影像的梯度图和背景高分影像的梯度图；
对所述预处理后的当期高分影像的梯度图和背景高分影像的梯度图进行差值计算，并基于梯度差阈值进行牧畜斑点提取；针对亮色牧畜，选择梯度差大于第一阈值的斑点对象作为潜在牧畜斑点；针对暗色牧畜，选择梯度差小于第二阈值的斑点对象作为潜在牧畜斑点。
通过采用上述技术方案，具有以下有益的技术效果：由于牧畜在高分遥感影像上是典型的微小目标，即便是亚米级高分遥感影像上通常也只有三五个像元大小，属于典型的微弱信号，很容易受噪声、辐射条件等的影响，因此进行图像增强处理，抑制噪声，消除误差。
可选的，梯度差的计算公式为：
其中，
表示行列号为i、j的像元在当期高分遥感影像的梯度值，
表示行列号为i、j的像元对应的半径为r的邻域范围内背景高分遥感影像的梯度的最大或最小值，针对亮色牧畜提取，采用最大值；针对暗色牧畜提取，采用最小值。
可选的，还包括人工辅助修正，对所述增强的牧畜群监测结果的矢量边界进行修正。
另一方面，提供一种基于深度学习与面向对象相结合的牧畜高分遥感监测系统，包括依次连接的数据采集模块、数据预处理模块、监测提取模块、数据融合与人工辅助修正模块；其中，
所述数据采集模块，用于采集监测数据，所述监测数据为监测区域内当期高分遥感影像和背景高分遥感影像；
所述数据预处理模块，用于对所述监测数据进行预处理，得到第一数据；
所述监测提取模块，用于对所述第一数据提取牧畜群和牧畜斑点；
所述数据融合与人工辅助修正模块，通过牧畜斑点分布数据对牧畜群分布数据进行校验和增强，形成增强的牧畜群监测结果，针对增强的牧畜群监测结果通过人工辅助修边，形成最终牧畜群数据和牧畜群内部的牧畜斑点数据。
可选的，所述监测提取模块包括牧畜群检测提取模块和牧畜斑点检测提取模块，所述牧畜群检测提取模块，用于建立基于深度学习的牧畜群检测模型，通过所述牧畜群检测模型对所述第一数据进行检测，得到牧畜群分布数据；所述牧畜斑点检测提取模块，用于利用基于高斯拉普拉斯梯度差和面向对象的方法提取所述第一数据的牧畜斑点，形成牧畜斑点分布数据。
可选的，所述数据预处理模块包括几何校正模块和图像增强模块，所述几何校正模块和图像增强模块均与所述数据采集模块相连。
最后，提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法的步骤。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种多特征和模型耦合的牧畜遥感监测方法、系统及存储介质，具有以下有益的技术效果：
(1)与入户调查、视屏监控等方法比，本发明方法操作简单、代价小、成本低，可以显著降低牧畜监管成本，实现了一种全新的牧畜监管技术手段，有效支撑禁牧区实现禁牧、草畜平衡区实现草畜平衡以及退牧还草奖补政策等的科学执行；
(2)同时综合深度学习方法和面向对象的方法优势，建立了一种深度学习方法与面向对象方法相融合的监测方法，实现多种方法的协同增强监测；
(3)精准、高效掌握草原牧区牛、羊等牧畜群的类型、分布、数量、大体规模等信息，从而有效监测评估区域牧畜的资源量和区域载畜压力，支撑实现草原区牧畜的精准监管，为退牧还草奖补科学执行、禁牧区实现禁牧、草畜平衡区实现草畜平衡等草原区牧业和生态环境保护政策等的深入贯彻执行提供可靠的技术支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程图；
图2为本发明的基于高斯拉普拉斯梯度差提取牧畜斑点的方法流程图；
图3(a)为本发明的某一时刻典型牧畜群样本截图示例图；
图3(b)为本发明的另一时刻典型牧畜群样本截图示例图；
图4(a)为本发明的图像增强前的原图；
图4(b)为本发明的普通低通滤波效果图；
图4(c)为本发明的对原图进行双边滤波后的效果图；
图5(a)为本发明的LoG梯度处理前的原始图像示例图；
图5(b)为本发明的LoG梯度处理后的LoG梯度图；
图6为本发明的数据融合与人工辅助修正的流程图；
图7为本发明的实验验证效果图；
图8为本发明的系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法，如图1所示，具体步骤包括如下：
S1、采集监测数据，监测数据为监测区域内当期高分遥感影像和背景高分遥感影像；
S2、建立基于深度学习的牧畜群检测模型；
S3、通过牧畜群检测模型对监测数据进行检测，得到牧畜群分布数据；
S4、利用基于高斯拉普拉斯梯度差和面向对象的方法提取监测数据的牧畜斑点，形成牧畜斑点分布数据；
S5、通过牧畜斑点分布数据对牧畜群分布数据进行校验和增强，形成增强的牧畜群监测结果，针对增强的牧畜群监测结果通过人工辅助修边，形成最终牧畜群数据和牧畜群内部的牧畜斑点数据。
本发明方法的原理为：虽然牧畜个体在遥感影像上尺度很小，而深度学习方法又对微小目标检测精度低。但是深度学习具有检出率高、自动化程度高，可方便根据样本迁移学习和提升，对成像条件、经验知识、特征参数等不敏感的特点，因此可用于牧畜群的初步筛查。特别是考虑牧畜分布上表现为明显的斑点群分布特征，因此可以把“牧畜群”作为标注和训练的基本单元，一方面实现信号的增强(尺寸、纹理等信息都得到丰富和增强)，同时也充分利用牧畜点群分布特征，实现基于“牧畜群”的深度学习，从而进一步提高精度。
然后，在深度学习检测的牧畜群分布数据基础上，再利用多期数据，基于牧畜在时空上的不固定特征(同一个位置可能一期有牧畜斑点群，另一期则没有牧畜斑点群或者牧畜斑点群的形态不一样)、“点群”分布特征(呈现聚集、有一定数量的邻居等)等特征和机理，利用面向对象这种机理模型方法，对检测的“牧畜群”进行进一步的增强校验，提高精度。基于上述两步已经将牧畜群的分布的大体边界范围锁定(但是可能边界不是非常精准)，后续仅需要辅以非常少量的人工辅助修边，便可以形成最终的“牧畜群+牧畜点”精细监测结果。
进一步的，采集监测数据的要求是：
(1)影像分辨率：由于牛、羊等牧畜本身尺寸较小，因此需要挑选优于1米的亚米级的高分遥感影像数据，最好为多光谱。
(2)影像时相：如果不需要监测一年中某个特殊时节(比如冬天)的牧畜数量，一般情况下，都是挑选该区域云雪少、植被较好时节的遥感影像。对本实施例来说采集6-8月份左右的影像数据较好。
(3)背景影像：用于比对分析的背景影像在影像分辨率、影像时相上挑选原则与当期影像是一样的。需要特别注意的是尽量选择与当期影像时间间隔近的其他时刻影像，以避免因时间间隔太久而地物已经发生了很大的变化，从而影响监测。
进一步的，为确保影像之间有较高的几何配准精度，以确保监测成果数据的质量，需要对遥感影像进行几何精纠正，并且要求纠正误差平原区小于2个像元，山区小于3个像元。
进一步的，S2中建立基于深度学习的牧畜群检测模型的步骤为：
S21、选取高分遥感影像，利用人工解译勾绘影像上的牧畜群边界范围，形成牧畜群样本斑块，并对所述牧畜群样本斑块标注牧畜类型编码；
S22、将标注好的高分遥感影像样本导出为训练样本数据。具体的，
S23、利用训练样本数据对深度学习网络模型进行训练，得到牧畜群检测模型。具体的，
(1)牧畜群样本标注
考虑牧畜本身尺度非常小，自身内部纹理等信息有限，因此采用以“群”为基本标注单元，对典型牧畜群进行标注，以实现样本内部信息的丰富和增强。需要特别注意的是：
A、样本的选择：为了提高深度学习模型的普适性，应综合从不同牧畜类型(比如牛、羊、马、驴、骆驼等)、不同地理区域类型(比如荒漠草原、草甸草原等)、不同时相遥感影像(比如春夏秋冬等不同季节)、不同的分布形状(比如呈现线条形、圆形、扇形等)、不同分布情形(位于畜圈或房屋附近、位于道路上、位于草地上、位于水边或饮水点等)等多个方面，选取典型性、代表性的样本。本实施例典型牧畜群样本示例如图3(a)、图3(b)所示，为同一个区域不同时刻的两个羊群影像截图。
B、样本的数量：模型精度和普适性与样本数量息息相关。通常样本数量越多，模型的精度和普适性也越高。但是样本越多，标注样本的工作量大，模型训练的计算量也越大。因此，实际操作时，根据预期工作需求以及预期的代价，选择适宜的样本数量。基于实验发现，通常每个不同方面，至少要有300个以上牧畜群样本，才能具备一定的应用级效果。
C、卫星遥感影像的选择：鉴于牧畜尺度比较小，至少要选择利用亚米级的高分卫星遥感影像数据进行样本的标注。
D、样本的标注方式：基于高分遥感影像，利用人工解译勾绘边界范围，并标注样本斑块的类型编码的方式进行。标注时应将聚集在同一个区域附近的同种类型的牧畜斑点集，勾绘成一个牧畜群样本斑块。斑块的边界为包含这些斑点的最小外包多边形。样本的类型编码为牧畜的类型。
E、样本的标注策略：由于模型训练时，是将带有样本的影像导出为小图片进行训练。因此标注时，一旦对某景遥感影像(Imgi)上的某个区域的某个牧畜群(Splj)标注为样本，则需要将该景遥感影像(Imgi)上该样本(Splj)周边W米范围内的所有邻居牧畜群都标注出来。W为最后导出的训练样本图片的尺寸(对于分辨率为1米的遥感影像，如果导出训练样本图片的大小为512*512像元，则W为512米)。
(2)训练样本的导出
基于上一步标注好的样本和各样本对应的高分遥感影像，将标注好的样本，导出为训练样本数据。需要特别注意的是：
A、训练样本的导出格式：以8比特无符号tif作为导出的训练样本图片数据格式，以像元分类图片(Classified Tile)为导出的样本元数据格式。
B、训练样本图片的尺寸：导出的样本图片的尺寸应根据目标对象在遥感影像上的尺寸确定：通常适合取刚好大于目标对象的平均尺寸。同时，为了深度学习训练方便，通常设定为尺寸长宽均为2n大小的图片。对于牧畜群来说，由于牧畜群的尺寸大小一般不大于500米，因此对于1米分辨率的遥感影像上的牧畜群，样本图片的尺寸设置为512*512像元为宜。
C、滑动步长(Stide)：在本实施例中设置为样本图片尺寸的一半。比如对于512*512像元尺寸的样本图片，步长设置为256像元。
D、样本的增强：为提高样本数量，实现对样本的增强，可以基于现有标注样本，通过基于一定角度做多次旋转的方式，来形成多个样本。比如以30度为角度，做11次旋转增强。
(3)模型的训练与建立
基于导出的牧畜群训练样本数据，利用适宜类型的深度学习模型，反复的进行训练学习，最终得到训练好的最优的牧畜群检测深度学习模型。其中需要特别注意的是：由于高分影像上牧畜尺度比较小(仅有三五个像元)，且不像汽车、舰船、文字、人脸等具有规则的形态信息和丰富的内部纹理信息，因此对象检测类(Object Detection)、对象分类(Object Classification)、实例分割(Instance Segementaion)等类别的深度学习模型难以有效适用，需要以牧畜群作为整体单元，用像元分类(Pixel Classification)类别的深度学习模型进行模训练。
基于已经训练好的牧畜群深度学习模型，直接利用当期遥感影像数据，进行牧畜群的检测提取，形成基于深度学习模型提取的牧畜群分布数据。
进一步的，S4中基于高斯拉普拉斯梯度差的方法提取牧畜斑点的步骤如图2所示，具体步骤为：
S41、通过高斯拉布拉斯梯度对监测数据进行增强处理，得到预处理后的灰度和梯度图；
S42、对预处理后的灰度和梯度图基于梯度差阈值进行牧畜斑点提取，选择梯度差大于阈值Tα(针对亮色牧畜)或小于阈值Tβ(针对暗色牧畜)的斑点对象作为潜在牧畜斑点。
由于牧畜在高分遥感影像上是典型的微小目标，即便是亚米级高分遥感影像上通常也只有三五个像元大小，属于典型的微弱信号，很容易受噪声、辐射条件等的影响。因此需要通过图像增强处理，增强牧畜斑点信息。主要是通过两个步骤对图像进行增强处理：
S411、基于双边滤波的增强：滤波主要是消除噪声的干扰。鉴于牧畜本身尺寸比较小，采用双边滤波算法(Bilateral Filter)，既能增强牧畜斑点，同时也能抑制噪声。对图像进行双边滤波增强处理后的增强图像示例如图4(a)-图4(c)所示。
S412、基于高斯拉布拉斯梯度的增强：梯度是一种相对值，一方面可以消除由于成像条件、传感器等方面差异对图像绝对值带来的误差；另一方面可以对边缘、斑点等小目标实现增强。特别需要注意的是：鉴于牧畜在高分影像上，呈现小斑点分布，采用基于5*5的高斯拉普拉斯算子的梯度，既能实现牧畜斑点的增强，又最大限度的屏蔽噪声、背景的影响，具有较好的效果。LoG梯度示例如图5(a)-图5(b)所示。
基于梯度差阈值进行牧畜斑点提取的具体步骤如下：
S421、梯度差计算：计算当期遥感影像与背景影像的梯度差值。其中需要特别注意的是：为避免因为两期影像几何配准误差的影响，可以用当期影像像元的梯度减去该像元邻域内背景影像最大值(提取白色的牛羊等亮色牧畜目标用最大值)或最小值(提取黑色的牛羊等暗色牧畜目标用最小值)。其计算公式为：
其中，
表示行列号为i、j的像元在当期高分遥感影像的梯度值，
表示行列号为i、j的像元对应的半径为r的邻域范围内背景高分遥感影像的梯度的最大值(提取白色的牛羊等亮色牧畜目标用最大值)或最小值(提取黑色的牛羊等暗色牧畜目标用最小值)。
S422、基于梯度差阈值的牧畜斑点提取：针对白色的牛羊等亮色的牧畜目标，选择梯度差大于阈值(Tα)的斑点作为潜在牧畜斑点；针对黑色的牛羊等暗色目标，选择梯度差小于阈值(Tβ)的斑点对象作为潜在牧畜斑点。其中需要特别注意的是：阈值的设定可以基于梯度差影像的统计直方图进行设置(比如以百分位数或者n倍标准差位数作为阈值)，也可综合专家经验进行设置。
进一步的，S5中进行数据融合，这一步主要是同时综合深度学习方法和面向对象的方法优势、综合牧畜“点群”聚集分布以及“动态变化(梯度变化)”等时空分布特征，对基于深度学习的“牧畜群”检测结果与基于梯度差的“牧畜斑点”检测结果进行相互校验与增强，形成增强的“牧畜群”分布数据，如图6所示，主要方法是：利用“牧畜斑点”分布数据对深度学习检测的“牧畜群”分布数据进行校验和增强，即通过空间叠加分析，删除所包含的牧畜斑点数量(或斑点密度)、斑点累计面积过低或过高的“牧畜群”，形成增强的“牧畜群”分布数据。
更进一步的，还包括人工辅助修正，对增强的牧畜群监测结果的矢量边界进行修正。从而形成最终的“牧畜群+牧畜斑点”精准分布矢量数据。由于深度学习提取的原始“牧畜群”矢量边界通常比较破碎、也可能不够精准。因此，利用人工辅助修正，逐个对增强后的“牧畜群”矢量边界进行修边，形成最终的“牧畜群”分布成果数据；最后利用空间分析，提取位于修正的“牧畜群”内部的斑点，形成最终的“牧畜斑点”。
虽然此步骤中需要一些人工辅助参与，但是人工参与的工作量在整个工作量中占比非常小，自动化程度、效率方面没有因为人工参与而受到大的影响，因此仍然具有很大的应用价值。一方面是因为牧畜群遥感监测最有难度、工作量最大的部分是找到哪个地方有牧畜群，一旦找到之后，勾画其边界这个工作量相比较小；另一方面是通常牧畜群的分布密度也比较小，一般约1群/平方公里，因此一个区域需要解译勾画的牧畜群数量也不多。
具体的，利用本发明方法对内蒙锡林郭勒盟的锡林郭勒草原保护区的核心保护区所在区域进行牧畜高分遥感监测应用，其应用结果如表1所示，内蒙锡林郭勒盟的锡林郭勒草原保护区的核心保护区所在区域的应用效果示例如图7所示。
表1
本发明实施例2公开了一种基于深度学习与面向对象相结合的牧畜高分遥感监测系统，如图8所示，包括依次连接的数据采集模块、数据预处理模块、监测提取模块、数据融合与人工辅助修正模块；其中，
数据采集模块，用于采集监测数据，监测数据为监测区域内当期高分遥感影像和背景高分遥感影像；
数据预处理模块，用于对监测数据进行预处理，得到第一数据；
监测提取模块，用于对第一数据提取牧畜群和牧畜斑点；
数据融合与人工辅助修正模块，通过牧畜斑点分布数据对牧畜群分布数据进行校验和增强，形成增强的牧畜群监测结果，针对增强的牧畜群监测结果通过人工辅助修边，形成最终牧畜群数据和牧畜群内部的牧畜斑点数据。
进一步的，监测提取模块包括牧畜群检测提取模块和牧畜斑点检测提取模块，牧畜群检测提取模块，用于建立基于深度学习的牧畜群检测模型，通过牧畜群检测模型对第一数据进行检测，得到牧畜群分布数据；牧畜斑点检测提取模块，用于利用基于高斯拉普拉斯梯度差和面向对象的方法提取第一数据的牧畜斑点，形成牧畜斑点分布数据。
数据预处理模块包括几何校正模块和图像增强模块，几何校正模块和图像增强模块均与数据采集模块相连。
最后，提供一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法，其特征在于，具体步骤包括如下：
采集监测数据，所述监测数据为监测区域内当期高分遥感影像和背景高分遥感影像；
建立基于深度学习的牧畜群检测模型；
通过所述牧畜群检测模型对所述监测数据进行检测，得到牧畜群分布数据；
利用基于高斯拉普拉斯梯度差和面向对象的方法提取所述监测数据的牧畜斑点，形成牧畜斑点分布数据；
通过所述牧畜斑点分布数据对所述牧畜群分布数据进行校验和增强，形成增强的牧畜群监测结果，针对增强的牧畜群监测结果通过人工辅助修边，形成最终牧畜群数据和牧畜群内部的牧畜斑点数据。
2.根据权利要求1所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法，其特征在于，还包括对所述监测数据进行预处理，预处理方法为几何精纠正和图像增强，其中图像增强通过双边滤波算法实现图像增强。
3.根据权利要求1所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法，其特征在于，所述建立基于深度学习的牧畜群检测模型的步骤为：
选取高分遥感影像，利用人工解译勾绘影像上的牧畜群边界范围，形成牧畜群样本斑块，并对所述牧畜群样本斑块标注牧畜类型编码；
将标注好的基于高分遥感影像的牧畜群样本斑块导出为训练样本数据；
利用所述训练样本数据进行深度学习模型训练，得到所述牧畜群检测模型。
4.根据权利要求1所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法，其特征在于，所述基于高斯拉普拉斯梯度差的方法提取所述监测数据的牧畜斑点的步骤为：
通过高斯拉布拉斯梯度对所述监测数据进行增强处理，得到预处理后的当期高分影像的梯度图和背景高分影像的梯度图；
对所述预处理后的当期高分影像的梯度图和背景高分影像的梯度图进行差值计算，并基于梯度差阈值进行牧畜斑点提取；针对亮色牧畜，选择梯度差大于第一阈值的斑点对象作为潜在牧畜斑点；针对暗色牧畜，选择梯度差小于第二阈值的斑点对象作为潜在牧畜斑点。
5.根据权利要求4所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法，其特征在于，梯度差的计算公式为：
其中，
表示行列号为i、j的像元在当期高分遥感影像的梯度值，
表示行列号为i、j的像元对应的半径为r的邻域范围内背景高分遥感影像的梯度的最大值或最小值，针对亮色牧畜提取，采用最大值；针对暗色牧畜提取，采用最小值。
6.根据权利要求1所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法，其特征在于，还包括人工辅助修正，对所述增强的牧畜群监测结果的矢量边界进行修正。
7.一种基于深度学习与面向对象相结合的牧畜高分遥感监测系统，其特征在于，包括依次连接的数据采集模块、数据预处理模块、监测提取模块、数据融合与人工辅助修正模块；其中，
所述数据采集模块，用于采集监测数据，所述监测数据为监测区域内当期高分遥感影像和背景高分遥感影像；
所述数据预处理模块，用于对所述监测数据进行预处理，得到第一数据；
所述监测提取模块，用于对所述第一数据提取牧畜群和牧畜斑点；
所述数据融合与人工辅助修正模块，通过牧畜斑点分布数据对牧畜群分布数据进行校验和增强，形成增强的牧畜群监测结果，针对增强的牧畜群监测结果通过人工辅助修边，形成最终牧畜群数据和牧畜群内部的牧畜斑点数据。
8.根据权利要求7所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测系统，其特征在于，所述监测提取模块包括牧畜群检测提取模块和牧畜斑点检测提取模块，所述牧畜群检测提取模块，用于建立基于深度学习的牧畜群检测模型，通过所述牧畜群检测模型对所述第一数据进行检测，得到牧畜群分布数据；所述牧畜斑点检测提取模块，用于利用基于高斯拉普拉斯梯度差和面向对象的方法提取所述第一数据的牧畜斑点，形成牧畜斑点分布数据。
9.根据权利要求7所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测系统，其特征在于，所述数据预处理模块包括几何校正模块和图像增强模块，所述几何校正模块和图像增强模块均与所述数据采集模块相连。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的一种基于深度学习与面向对象相结合的牧畜高分遥感监测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210108392.8A CN114440835B (zh) | 2022-01-28 | 2022-01-28 | 多特征和模型耦合的牧畜遥感监测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210108392.8A CN114440835B (zh) | 2022-01-28 | 2022-01-28 | 多特征和模型耦合的牧畜遥感监测方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114440835A CN114440835A (zh) | 2022-05-06 |
| CN114440835B true CN114440835B (zh) | 2022-09-27 |
Family
ID=81372249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210108392.8A Active CN114440835B (zh) | 2022-01-28 | 2022-01-28 | 多特征和模型耦合的牧畜遥感监测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114440835B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973022A (zh) * | 2022-06-20 | 2022-08-30 | 中国科学院空天信息创新研究院 | 基于高空间分辨率遥感影像的畜牧业牲畜监测提取方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111467074A (zh) * | 2020-05-18 | 2020-07-31 | 北京海益同展信息科技有限公司 | 用于检测牲畜状态的方法和装置 |
| CN113673586A (zh) * | 2021-08-10 | 2021-11-19 | 北京航天创智科技有限公司 | 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 |
| CN113885060A (zh) * | 2021-09-26 | 2022-01-04 | 中国农业科学院草原研究所 | 基于无人机遥感技术的放牧强度监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6664897B2 (en) * | 1998-03-09 | 2003-12-16 | William R. Pape | Method and system for livestock data collection and management |
-
2022
- 2022-01-28 CN CN202210108392.8A patent/CN114440835B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111467074A (zh) * | 2020-05-18 | 2020-07-31 | 北京海益同展信息科技有限公司 | 用于检测牲畜状态的方法和装置 |
| CN113673586A (zh) * | 2021-08-10 | 2021-11-19 | 北京航天创智科技有限公司 | 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 |
| CN113885060A (zh) * | 2021-09-26 | 2022-01-04 | 中国农业科学院草原研究所 | 基于无人机遥感技术的放牧强度监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114440835A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ke et al. | A review of methods for automatic individual tree-crown detection and delineation from passive remote sensing | |
| CN111626277B (zh) | 一种基于治超站交调指标分析的车辆跟踪方法及装置 | |
| CN104881865A (zh) | 基于无人机图像分析的森林病虫害监测预警方法及其系统 | |
| CN110889327B (zh) | 一种基于热红外图像的水域周边排污口智能检测方法 | |
| Veljanovski et al. | Object-based image analysis of VHR satellite imagery for population estimation in informal settlement Kibera-Nairobi, Kenya | |
| CN113920453A (zh) | 一种基于深度学习的猪只体尺体重估测方法 | |
| CN105976392B (zh) | 基于最大输出概率的车辆轮胎检测方法及装置 | |
| CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
| Giuliani et al. | Using crowdsourced web content for informing water systems operations in snow-dominated catchments | |
| CN112966665A (zh) | 路面病害检测模型训练方法、装置和计算机设备 | |
| CN113781537B (zh) | 一种轨道弹条扣件缺陷识别方法、装置和计算机设备 | |
| Jiang et al. | HISTIF: A new spatiotemporal image fusion method for high-resolution monitoring of crops at the subfield level | |
| CN114440835B (zh) | 多特征和模型耦合的牧畜遥感监测方法、系统及存储介质 | |
| Yin et al. | Individual tree parameters estimation for chinese fir (cunninghamia lanceolate (lamb.) hook) plantations of south china using UAV Oblique Photography: Possibilities and Challenges | |
| Qi et al. | Integrating change vector analysis, post-classification comparison, and object-oriented image analysis for land use and land cover change detection using RADARSAT-2 polarimetric SAR images | |
| Anjos et al. | Change detection techniques using multisensor data | |
| CN111723656A (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| CN112528962B (zh) | 一种基于高分卫星遥感影像的牧区牛马群的监测方法 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN112541487B (zh) | 基于亚米级高分卫星遥感影像的牧区羊群的自动监测方法 | |
| Wirthgen et al. | Level-set based infrared image segmentation for automatic veterinary health monitoring | |
| CN111899512B (zh) | 结合天际线观测的车辆轨迹提取方法、系统及存储介质 | |
| CN110969875B (zh) | 一种用于道路交叉口交通管理的方法及系统 | |
| Chung et al. | Applying image processing technology to region area estimation | |
| CN117689481B (zh) | 一种基于无人机视频数据自然灾害保险处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |