CN114092418A - 农田作物无人机影像的阴影检测方法 - Google Patents
农田作物无人机影像的阴影检测方法 Download PDFInfo
- Publication number
- CN114092418A CN114092418A CN202111311953.6A CN202111311953A CN114092418A CN 114092418 A CN114092418 A CN 114092418A CN 202111311953 A CN202111311953 A CN 202111311953A CN 114092418 A CN114092418 A CN 114092418A
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- gray
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及农田环境下遥感影像的阴影区域检测方法,具体为农田作物无人机影像的阴影检测方法,解决现有阴影检测算法在复杂农田场景下难以提取不规则、碎片化阴影的问题。结合无人机影像的阴影/非阴影区颜色特性,利用双通道差值和G波段增强构造新型灰度图,使用最大类间方差法对灰度图进行自动阈值分割,获取阴影检测结果。以航摄获取的无人机影像进行实验,结果表明,所提方法检测结果更接近真实阴影,平均总体精度为0.9868,平均F1分数为0.9567。
Description
技术领域
本发明涉及农田场景下无人机遥感影像的阴影区域检测方法,具体为农作物无人机影像的阴影检测算法。
背景技术
近年来,随着遥感技术的广泛应用,遥感影像成为对地表目标测量与信息提取的一种重要手段。无人机遥感技术因其灵活性强、影像数据分辨率高、作业周期短、成本低等优势为精准农业监测技术的发展提供有力支撑,如利用无人机影像进行杂草和作物识别、长势评估、产量预测等。阴影作为农业无人机遥感影像中普遍存在的现象,对图像质量有很大负面影响,严重干扰后期植株识别、作物分类、杂草去除等工作。因此,对遥感影像尤其是复杂农田环境下无人机影像的阴影区域进行检测具有重要意义。
目前,许多研究者都致力于研究遥感影像数据中的阴影检测与去除,精确的阴影检测是阴影去除的重要前提。Robles等提出了一种基于多通道统计的无人机影像阴影检测方法,有效提高了沥青和混凝土区域中阴影检测的精度。Samara 等提出了一种基于区域的阴影自动检测方法,能高效自动识别密集城区遥感影像中的阴影。Luo等提出了一种多任务学习框架下的边缘感知空间金字塔融合网络,实现了城区遥感影像显著性阴影检测。Jin等提出了一种面向对象的超高空间分辨率遥感影像的阴影检测方法,用新的阴影检测指标实现大型建筑物阴影的自动精确检测。Fang等提出了一种基于图像饱和度和近红外信息的归一化差异阴影检测指标来检测建筑物阴影,能有效区分建筑物阴影和其他暗区地面目标。Zhou 等采用改进的阴影指数结合颜色空间和近红外波段检测出复杂城区高分辨率遥感图像中的阴影。现无针对农田场景的阴影检测算法,且现有针对典型城区大型阴影相关算法对因植株叶片交错纵横、互相遮挡而形成杂乱无章、不规则、碎片化的农田阴影检测并不适用。
发明内容
本发明为了解决现有阴影检测算法在复杂农田场景下难以提取不规则、碎片化阴影的问题,提供了一种农田作物无人机影像的阴影检测方法。通过分离无人机RGB影像的各通道并进行双通道差值和G波段增强处理,以构造阴影区域与非阴影区域具有显著差异的新型灰度图像,进行阈值分割和图像形态学处理后得到阴影检测结果,实现大田中不规则、碎片化阴影的有效提取。
本发明是采用如下的技术方案实现的:农田作物无人机影像的阴影检测方法,包括以下步骤:首先,将原始RGB图像的三个通道分离,并对各通道灰度值进行组合加权运算,以构造新型灰度图像;其次,对新型灰度图像进行阈值求取与分割,将图像分为阴影区域与非阴影区域,实现阴影区域初步检测,得到二值掩膜图像;最后利用图像形态学运算进行优化,以输出最终阴影检测结果。
上述的农田作物无人机影像的阴影检测方法,构造新型灰度图像的具体过程为:Gray=|B-G|+|R-G|+k×G,其中,Gray为新型灰度图像;G代表原始RGB影像的绿色波段;B代表原始RGB影像的蓝色波段;R代表影原始RGB 影像红色波段;k为参数。
上述的农田作物无人机影像的阴影检测方法,使用最大类间方差法对新型灰度图像进行阈值求取与分割,任意选取一个灰度值作为阈值T,则将灰度图像中所有像素点分成两部分,即非阴影区域与阴影区域,用NS、S分别表示;假设灰度图像有L个灰度级,则非阴影区域的灰度级范围为[1,…,T],阴影区域的灰度级范围为[T+1,…,L],非阴影区域与阴影区域出现的概率 其中,pi为新型灰度图像的概率分布,且N为新型灰度图像像素点总数,即N={n1+n2+…+nL};则NS与S的平均灰度级为 其中μτ为新型灰度图像的平均灰度级,则NS与S的类内方差为 进而得类间方差使Q达到最大值的阈值T为最佳阈值,利用最佳阈值对新型灰度图像进行分割得到二值掩膜图像,小于阈值的像素点为黑色,表示阴影区域,大于阈值的部分为白色,表示非阴影区域。
上述的农田作物无人机影像的阴影检测方法,使用图像形态学方法对二值掩膜图像进行优化处理,具体过程为: 其中,I为二值掩膜图像,O为形态结构元素,Iopen为通过形态结构元素O开运算得到的检测结果,Iclose为在Iopen的基础上通过将形态结构元素O闭运算得到的最终阴影检测结果。
上述的农田作物无人机影像的阴影检测方法,参数k值介于0.6~0.8。
本发明提出一种农田作物无人机影像的阴影检测方法,实现阴影区域的精确检测。主要贡献有:(1)利用双通道差值和G波段增强构造新型灰度图,实现了影像中阴影区域与非阴影区域的显著分离;(2)解决了现有阴影检测算法在复杂农田场景下难以提取不规则、碎片化阴影的问题。
附图说明
图1为阴影检测算法流程图。
图2为实验影像图。
图3为ROI1阴影检测结果图。
图4为ROI2阴影检测结果图。
图5为ROI3阴影检测结果图。
图6为典型检测错误图。
图7为kappa系数随参数k变化图。
具体实施方式
阴影检测算法
阴影检测算法流程图如图1所示,包括三个主要步骤。首先,将原始RGB 图像的三个通道分离,并对各通道灰度值进行组合加权等运算,以构造新型灰度图像;其次,使用最大类间方差法对新型灰度图像进行阈值求取与分割,将图像分为阴影区域与非阴影区域,实现阴影区域初步检测;最后利用图像形态学运算进行优化,以输出最终阴影检测结果。
新型灰度图构造法
阴影是由物体部分或全部遮挡住太阳直射光线而产生的,受太阳高度角和方位角的影像,遥感影像中阴影不可避免。根据彩色遥感影像颜色特性分析,RGB 色彩空间的红色(R)、绿色(G)、蓝色(B)分量具有很高的相关性(B-R:0.78,R-G: 0.98,G-B:0.94)。具体表现为:地物在绿光波段的反射率略低于红光波段的反射率,遥感影像的红光波段与绿光波段具有很高的相关性;同样,地物在蓝光波段的反射率略低于绿光波段的反射率,遥感影像的蓝光波段与绿光波段具有很高的相关性。对大量农田场景下的无人机影像在RGB颜色空间分布分析中发现,阴影区域具有较低的R、G、B分量,土壤具有较高的R、G、B分量,植被的R、G、B分量介于阴影和土壤之间,且绿色分量较高。利用减法运算可增加不同地物间光谱反射率以及在两个波段上变化趋势相反时的反差,可将RGB影像的绿光波段与蓝光波段差值和红光波段与绿光波段差值相结合,从而使土壤与植被的强度位于同一波段内,实现阴影区域与非阴影区域的分离。考虑到农田场景下遥感影像绿色分量的特殊性,通过增加绿色分量的权重,使阴影区域与非阴影区域的对比度更显著,进而提高阴影检测的精度。
基于以上分析,本发明基于无人机RGB影像的红色、绿色、蓝色三个波段图像直接构造新型灰度图像,提出一种新的映射关系,计算公式如下式(1)所示。
Gray=|B-G|+|R-G|+k×G (1)
其中,Gray为新型灰度图构造法计算得到的新型灰度图像;G代表原始RGB 影像的绿色波段;B代表原始RGB影像的蓝色波段;R代表影原始RGB影像红色波段;k为参数。
阈值分割
通过新型灰度图构造法得到新型灰度图像后,对其进行阈值分割得到初步检测结果。相对于手动阈值方法,自动阈值方法具有更大的优势,由于经过新型灰度图构造法得到的新型灰度图像的直方图具有明显的双峰分布形式,本发明采用 Otsu方法即最大类间方差法对新型灰度图像进行阈值求取与分割。
现在任意选取一个灰度值作为阈值T,则可以将新型灰度图像中所有像素点分成两部分,即非阴影区域与阴影区域,用NS、S分别表示。假设新型灰度图像有L个灰度级,则非阴影区域的灰度级范围为[1,…,T],阴影区域的灰度级范围为[T+1,…,L],非阴影区域与阴影区域出现的概率如下式(2)和(3)所示。
其中μτ为新型灰度图像的平均灰度级。则NS与S的类内方差如下式(6) 和(7)所示。
进而得类间方差如下式(8)所示。
使Q达到最大值的阈值T为最佳阈值,利用最佳阈值对新型灰度图像进行分割得到二值掩膜图像,小于阈值的像素点为黑色,表示阴影区域,大于阈值的部分为白色,表示非阴影区域。
形态学处理
由于初步检测完的图像不可避免地存在一些微小毛刺、碎片、孔洞,为了保证阴影提取的完整性,提升阴影检测的整体效果,本发明使用图像形态学方法对阈值分割后的二值掩膜图像进行优化处理。具体而言,利用形态学开运算填补孔洞,利用闭运算去除微小毛刺和碎片,如下式(9)和(10)所示。经过形态学优化处理之后,可得到阴影检测最终结果。
其中,I为二值掩膜图像,O为形态结构元素,Iopen为通过形态结构元素O 开运算得到的检测结果,Iclose为在Iopen的基础上通过将形态结构元素O闭运算得到的最终阴影检测结果。
实验与分析
实验数据
为验证本发明所提算法的有效性,本实验采用大疆“精灵PHANTOM 4RTK”无人机,配备1英寸CMOS、有效像素2000万的相机,该相机照片最大分辨率为4864pixel×3648pixel(4:3)、5472pixel×3648pixel(3:2)。航摄地点为国家玉米产业技术体系忻州综合试验站试验示范基地,该地的经纬度为东经112° 43′、北纬38°27′,选取包含不同植被种植区(图2(a))中的三组实验数据为例,分别如图2(b)、2(c)、2(d)所示。其中,图2(b)为ROI1向日葵植株无人机影像,尺寸为370×330像素;图2(c)为ROI2玉米植株无人机影像,尺寸为370×330像素;图2(d)为ROI3树木无人机影像,尺寸为370× 330像素。另外,图2(e)、2(f)、2(g)分别为图2(b)、2(c)、2(d)人工标记真实阴影图像,黑色代表阴影区域,白色代表非阴影区域。
实验设置及评价指标
将本发明阴影检测算法于上述三组实验数据中进行实验,在新型灰度图构造算法中,参数k取0.7。并分别与基于LAB颜色空间的图像阴影检测方法、基于 YCbCr颜色空间的图像阴影检测方法及基于HSV彩色空间的图像阴影检测方法进行对比实验。
为了进一步评价本发明所提方法的检测精度,本发明使用用户精度(Pt和Pb)、生产者精度(Ut和Ub)、总体精度(OA)及F1分数这六个评价指标进行阴影检测结果评价,计算公式如下:
其中,TP表示阴影像素被正确识别为阴影的数量,TN表示非阴影像素被正确识别为非阴影的数量,FP表示非阴影像素被识别为阴影的数量,FN表示阴影像素被识别为非阴影的数量。
实验结果
不同阴影检测算法在ROI1、ROI2、ROI3三组实验中的阴影检测结果分别如图3、图4、图5所示;不同阴影检测算法在ROI1、ROI2、ROI3三组实验中的阴影检测评价指标数据结果分别如表1、表2、表3所示:
表1ROI1评价指标结果
表2ROI2评价指标结果
表3ROI3评价指标结果
实验分析
基于图3、图4、图5检测结果做定性分析,利用基于LAB颜色空间的图像阴影检测方法得到的检测结果如图3(a)、4(a)、5(a)所示,提取的阴影边界模糊,存在比较严重的漏检现象与椒盐现象;利用基于YCbCr颜色空间的图像阴影检测方法得到的检测结果如图3(b)、4(b)、5(b)所示,阴影边界模糊,阴影误检现象严重,大部分非阴影区被误判为阴影区域,如6(a)灰色道路和部分深绿色树木区域被误判为阴影区域;利用基于HSV彩色空间的图像阴影检测法得到的检测结果如图3(c)、4(c)、5(c)所示,存在阴影漏检现象且阴影形态破碎、检测不完整,如6(b)深绿色树木与阴影区域混淆,难以区分阴影区域与非阴影区域。本发明所提方法检测结果如图3(d)、4(d)、5(d)所示,得到的阴影边界清楚,漏检和误检现象极少,阴影提取完整,更接近人工标定的真实阴影。通过以上与其他三种基于颜色空间的阴影检测方法的对比分析,直观地看出本发明所提的阴影检测方法检测效果更好。
基于表1、表2、表3评价指标结果做定量分析,本发明方法在三组实验中平均用户精度和平均生产者精度分别为0.9862和0.9636;总体精度分别为0.9861、 0.9850、0.9894,平均总体精度为0.9868;F1分数分别为0.9492、0.9646、0.9563,平均F1分数为0.9567;与其他三种方法相比,总体检测精度提高4.6%、7.9%、 9.7%。本发明所提检测方法阴影漏检与误检较少,阴影检测精度明显提高,优于其他三种阴影检测方法,具有更显著优势。
参数讨论
由于参数设置的敏感性,通过调整参数k的值,分析了关键参数k对该方法性能的影响。所提方法的kappa系数和参数k之间的关系如图7所示,选择k的范围为0.1~0.9,步长间隔为0.1,可见k值大小对kappa系数有显著影响。选择上述ROI1、ROI2、ROI3实验样本进行分析,当系数k从0.1到0.9时,kappa 系数在三个样本中几乎呈现一致变化趋势,且k=0.7具有最优值。进一步将该方法于多个样本中进行实验,发现k值介于0.6~0.8阴影检测性能较好。
Claims (5)
1.农田作物无人机影像的阴影检测方法,其特征在于:包括以下步骤:首先,将原始RGB图像的三个通道分离,并对各通道灰度值进行组合加权运算,以构造新型灰度图像;其次,对新型灰度图像进行阈值求取与分割,将图像分为阴影区域与非阴影区域,实现阴影区域初步检测,得到二值掩膜图像;最后利用图像形态学运算进行优化,以输出最终阴影检测结果。
2.根据权利要求1所述的农田作物无人机影像的阴影检测方法,其特征在于:构造新型灰度图像的具体过程为:Gray=|B-G|+|R-G|+k×G,其中,Gray为新型灰度图像;G代表原始RGB影像的绿色波段;B代表原始RGB影像的蓝色波段;R代表影原始RGB影像红色波段;k为参数。
3.根据权利要求2所述的农田作物无人机影像的阴影检测方法,其特征在于:使用最大类间方差法对新型灰度图像进行阈值求取与分割,任意选取一个灰度值作为阈值T,则将灰度图像中所有像素点分成两部分,即非阴影区域与阴影区域,用NS、S分别表示;假设灰度图像有L个灰度级,则非阴影区域的灰度级范围为[1,…,T],阴影区域的灰度级范围为[T+1,…,L],非阴影区域与阴影区域出现的概率其中,pi为新型灰度图像的概率分布,且N为新型灰度图像像素点总数,即N={n1+n2+…+nL};则NS与S的平均灰度级为 其中μτ为新型灰度图像的平均灰度级,则NS与S的类内方差为 进而得类间方差 使Q达到最大值的阈值T为最佳阈值,利用最佳阈值对新型灰度图像进行分割得到二值掩膜图像,小于阈值的像素点为黑色,表示阴影区域,大于阈值的部分为白色,表示非阴影区域。
5.根据权利要求2或3或4所述的农田作物无人机影像的阴影检测方法,其特征在于:参数k值介于0.6~0.8。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111311953.6A CN114092418A (zh) | 2021-11-08 | 2021-11-08 | 农田作物无人机影像的阴影检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111311953.6A CN114092418A (zh) | 2021-11-08 | 2021-11-08 | 农田作物无人机影像的阴影检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114092418A true CN114092418A (zh) | 2022-02-25 |
Family
ID=80299174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111311953.6A Pending CN114092418A (zh) | 2021-11-08 | 2021-11-08 | 农田作物无人机影像的阴影检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114092418A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117237384A (zh) * | 2023-11-16 | 2023-12-15 | 潍坊科技学院 | 一种智慧农业种植作物的视觉检测方法及系统 |
-
2021
- 2021-11-08 CN CN202111311953.6A patent/CN114092418A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117237384A (zh) * | 2023-11-16 | 2023-12-15 | 潍坊科技学院 | 一种智慧农业种植作物的视觉检测方法及系统 |
CN117237384B (zh) * | 2023-11-16 | 2024-02-02 | 潍坊科技学院 | 一种智慧农业种植作物的视觉检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dorj et al. | An yield estimation in citrus orchards via fruit detection and counting using image processing | |
WO2020258899A1 (zh) | 一种基于高分遥感影像的山地景观建筑提取方法和设备 | |
CN108009542B (zh) | 油菜大田环境下杂草图像分割方法 | |
CN106951836B (zh) | 基于先验阈值优化卷积神经网络的作物覆盖度提取方法 | |
CN109410171B (zh) | 一种用于雨天图像的目标显著性检测方法 | |
CN114067207A (zh) | 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法 | |
CN103177445B (zh) | 基于分段阈值图像分割及光斑识别的室外番茄识别方法 | |
CN109145848B (zh) | 一种麦穗计数方法 | |
CN110376202B (zh) | 基于成像高光谱技术的茶树炭疽病病斑识别方法 | |
CN110309781A (zh) | 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法 | |
CN110598619A (zh) | 一种利用无人机影像进行果树识别和计数的方法和系统 | |
CN105631903A (zh) | 基于rgbw特征空间图割算法的遥感图像水体提取方法、装置 | |
Ji et al. | In-field automatic detection of maize tassels using computer vision | |
CN115147746B (zh) | 基于无人机遥感图像的盐碱地质识别方法 | |
CN114596495B (zh) | 一种基于Sentinel-2A遥感影像溜砂坡判识与自动提取方法 | |
CN109886146B (zh) | 基于机器视觉检测的洪灾信息遥感智能采集方法及设备 | |
Zhang et al. | Yield estimation of citrus fruit using rapid image processing in natural background | |
CN108764284A (zh) | 一种对松树病死木的高分辨率影像的分类去噪方法及系统 | |
CN108364011A (zh) | PolSAR图像多级特征提取与无监督分类方法 | |
CN114778483A (zh) | 用于监测山地的遥感影像近红外波段地形阴影校正方法 | |
CN114092418A (zh) | 农田作物无人机影像的阴影检测方法 | |
CN107103295A (zh) | 光学遥感影像云检测方法 | |
CN116563721B (zh) | 基于分层分类思想的烟田提取方法 | |
CN112183489A (zh) | 一种松材变色立木识别定位方法、装置、设备及存储介质 | |
CN116721385A (zh) | 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |