CN112818880A - 基于深度学习的航拍图像植被提取与分类方法 - Google Patents

基于深度学习的航拍图像植被提取与分类方法 Download PDF

Info

Publication number
CN112818880A
CN112818880A CN202110166879.7A CN202110166879A CN112818880A CN 112818880 A CN112818880 A CN 112818880A CN 202110166879 A CN202110166879 A CN 202110166879A CN 112818880 A CN112818880 A CN 112818880A
Authority
CN
China
Prior art keywords
vegetation
image
map
shadow
connected domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110166879.7A
Other languages
English (en)
Other versions
CN112818880B (zh
Inventor
周斌
赵明举
张王卫
张亚超
代传垒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Science and Technology
Original Assignee
Zhengzhou University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Science and Technology filed Critical Zhengzhou University of Science and Technology
Priority to CN202110166879.7A priority Critical patent/CN112818880B/zh
Publication of CN112818880A publication Critical patent/CN112818880A/zh
Application granted granted Critical
Publication of CN112818880B publication Critical patent/CN112818880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习的航拍图像植被提取与分类方法,该方法包括：获取植被的多光谱图像，并根据多光谱图像得到植被指数特征图、植被RGB图像和DEM图像；基于DEM图像得到地形特征图；基于植被RGB图像得到颜色特征图、纹理特征图、植被差异特征图；将植被RGB图像、地形特征图、植被指数特征图、颜色特征图、纹理特征图、植被差异特征图输入神经网络中，得到植被细粒度分割图。本发明可以结合了植被阴影的形状和角点数量、地形、颜色、纹理等特征对植被进行分类，提高了植被细粒度分类的精度。

Description

基于深度学习的航拍图像植被提取与分类方法
技术领域
本发明涉及人工智能、无人机航拍领域，具体涉及一种基于深度学习的航拍图像植被提取与分类方法。
背景技术
随着无人机应用领域的不断拓展，利用无人机对地表进行地物提取，已经成为一种重要的方式，多光谱遥感不仅可以根据影像的形态和结构的差异判别地物，还可以根据光谱特性的差异判别地物，扩大了遥感的信息量，可以获得比常规方法更为丰富的图像，也为地物影像计算机识别与分类提供了可能。目前对于多光谱图像进行植被提取，存在表征能力及泛化能力弱，样本类别极度不平衡的问题，且对于植被的细粒度分割更加困难，通常表现为阔叶林、针叶林等类别的分割出现大量错误，难以区分不同的植被。
发明内容
为了解决上述问题，本发明提出一种基于深度学习的航拍图像植被提取与分类方法，该方法包括：
步骤一，获取植被的航拍多光谱图像，并根据航拍多光谱图像得到植被指数特征图、植被RGB图像和DEM图像；
步骤二，基于DEM图像得到地形特征图；基于植被RGB图像得到颜色特征图、纹理特征图、植被差异特征图、植被二值图；其中，根据纹理特征图获取植被区域的局部纹理特征图，根据植被RGB图像得到植被阴影区域的平均明度值，识别植被阴影区域的形状并统计植被阴影区域的角点数量；根据局部纹理特征图、植被阴影区域的平均明度值、形状、单位面积角点数量对植被二值图中植被区域像素点的像素值进行不同程度的增大，得到植被差异特征图；
步骤三，将植被RGB图像、地形特征图、植被指数特征图、颜色特征图、纹理特征图、植被差异特征图输入神经网络中，得到植被细粒度分割图。
进一步的，对多光谱图像进行真彩色合成得到植被RGB图像。
进一步的，利用RDLS算法对DEM图像进行处理，得到地形特征图。
进一步的，所述植被指数特征图为比值植被指数特征图或归一化植被指数特征图。
进一步的，基于像素点间的相似度将植被RGB图像中的像素点划分为若干类别得到颜色特征图。
进一步的，纹理特征图的获取方法为：植被RGB图像经过灰度转换得到灰度图，根据灰度图中每个像素点的灰度共生矩阵得到该像素点的纹理特征值，所有像素点的纹理特征值构成纹理特征图。
进一步的，所述植被差异特征图的具体获取方法为：
基于植被RGB图像得到植被阴影二值图，对植被二值图、植被阴影二值图进行连通域分析，得到植被连通域、植被阴影连通域，为每个植被连通域匹配一个植被阴影连通域；对于每个植被连通域：获取该植被连通域的局部纹理特征图I1，获取与该植被连通域相匹配的植被阴影连通域并基于该植被阴影连通域得到植被阴影区域图像，获取该植被阴影区域图像的阴影形状、平均明度值K、单位面积角点数量N，根据阴影形状得到数值S，图像I1中每个像素点的像素值都乘S*N*K得到该植被连通域对应的局部植被差异特征图；所有植被连通域对应的局部植被差异特征图映射到植被二值图中得到植被差异特征图。
进一步的，所述为每个植被连通域匹配一个植被阴影连通域具体为：基于植被连通域、植被阴影连通域之间的距离与植被连通域、植被阴影连通域最小外接矩形宽的差值进行植被连通域、植被阴影连通域的匹配。
进一步的，植被阴影图像的形状的获取方法为：将植被阴影区域图像送入形状识别网络中进行形状识别，得到植被阴影区域图像的形状；植被阴影区域图像的形状包括四边形、圆形、竖叉形，对应的S值分别为第一数值、第二数值、第三数值。
进一步的，植被细粒度分割图的获取过程为：植被RGB图像与地形特征图进行联合，得到第一联合图像；植被指数特征图、颜色特征图、纹理特征图、植被差异特征图进行联合，得到第二联合图像；第一联合图像经过第一编码器的特征提取得到第一特征图，第二联合图像经过第二编码器的特征拟合得到第二特征图，第一特征图与第二特征图联合后输入第二解码器，经过第二解码器的上采样与特征提取，得到植被细粒度分割图。
本发明的有益效果在于：
1.本发明通过设计植被差异特征，从植被指数，植被纹理，植被阴影的形状、角点数量等特征来综合区分不同的植被，且所选特征有效且易提取。
2.本发明设计并联结构的多语义分割神经网络，通过地形特征与植被的其他特征进行特征融合来更细粒度地区分不同地形下的植被类别，提高了植被的识别精度。
3.本发明通过度量学习来得到植被的颜色特征，可以有效地区分植被RGB图像中的不同颜色，进而提高植被的细粒度分类精度。
附图说明
图1为本发明的实施流程图。
具体实施方式
为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明进行详细描述。
本发明主要对无人机航拍的多光谱图像进行植被的提取与细粒度分类，提高本发明对不同植被类别的识别能力，其实施流程如图1所示。
实施例：
步骤一，无人机搭载多光谱相机，对感兴趣区域进行正射拍摄，并存储航拍的正射多光谱图像，需要注意的是，无人机进行图像拍摄时要保证拍摄方向一致，避免因拍摄方向不一致导致后续对拍摄的图像进行处理时出现错误，实施者可基于图像拼接技术保证所拍摄图像的方向一致；多光谱包含多个波段，包含近红外波段(IR)、红波段(R)、绿波段(G)、蓝波段(B)；根据多光谱图像得到植被指数特征图、植被RGB图像和DEM图像，具体地：
植被指数特征图的获取过程为：本发明中植被指数特征图为比值植被指数特征图或归一化植被指数特征图，多光谱图像中近红外通道图像与红色通道图像相比得到比值植被指数特征图；近红外通道图像减去红色通道图像得到差值图像，近红外通道图像与红色通道图像相加得到和图像，差值图像与和图像相比得到归一化植被指数特征图。
根据彩色合成原理，可选择同一目标的单个多光谱数据合成一幅彩色图像，具体的合成波段因光谱相机类型的不同而不同，当合成图像的红绿蓝三色与三个多光谱段相吻合，这幅图像就再现了地物的彩色原理，就称为真彩色合成；对于人眼来说，真彩色合成更符合人的直观感受，更能区分不同的地物类别，因此，对多光谱图像进行真彩色合成，得到植被RGB图像。
DEM数据是指数字高程模型(Digital Elevation Model)，简称DEM，是通过有限的地形高程数据实现对地面地形的数字化模拟(即地形表面形态的数字化表达)，是用一组有序数值阵列形式表示地面高程的一种实体地面模型，是数字地形模型(Digital TerrainModel，简称DTM)的一个分支，其它各种地形特征值均可由此派生。
获取DEM图像数据的方法有多种，实施例选择根据航空或航天影像即多光谱图像，通过摄影测量途径获取,如立体坐标仪观测及空三加密法、解析测图、数字摄影测量等等；具体的根据多光谱图像获取DEM图像的方法是公知的，本发明不再赘述。
步骤二，基于DEM图像得到地形特征图；基于植被RGB图像得到颜色特征图、纹理特征图、植被差异特征图；具体地：
采用RDLS算法求解DEM图像中的地面起伏度，根据地面起伏度得到地形特征图，具体的地形特征图的获取过程为：设定一个第一窗口，实施例中第一窗口大小设置为5*5，对DEM图像进行滑窗，步幅设置为5，对每次滑窗后第一窗口内的值进行分析，对于滑窗后得到的每个第一窗口：将第一窗口记为H，在第一窗口H寻找最大值max(H)、最小值min(H)，并设定阈值G，实施例中G的经验取值为25，该阈值表示最大起伏，对于第一窗口H内的每个像素点：V表示该像素点的值，当该像素点满足max(H)-V<G时，该像素点为平原区域像素点；统计第一窗口H内平原区域像素点的数量P′以及第一窗口H内像素点总数量P，对第一窗口H内的所有像素点进行重新赋值，即第一窗口H内所有像素点的值相同且重新赋予的值为
Figure BDA0002935392700000031
滑窗结束后即可得到地形特征图。
颜色特征图的获取过程为：颜色特征图的获取采用度量学习方法，度量植被RGB图像中像素点与像素点的相似度，进行区分不同类型的植被，实施例中基于深度神经网络进行像素点相似度的度量，具体地，植被RGB图像经过展平Flatten操作后得到形状为[h*w，3]的张量，h，w分别为植被RGB图像的高、宽，输入颜色识别网络中，经过网络的处理后得到h*w个32维的特征向量，然后每个32维的特征向量都与数据库中存储的特征向量进行余弦相似度的计算，根据得到的余弦相似度判断每个32维特征向量即每个像素点分别对应的颜色类别，并将像素点的像素值用相应颜色类别的索引值代替，若该像素点对应的32维特征向量与数据库中存储的特征向量都不相似，则将该像素点的像素值标为0，最终，得到单通道的颜色特征图；其中，颜色识别网络的训练过程为：
颜色识别网络采用全连接网络，最后一层用于分类；前面多层全连接网络首先将像素点的像素值进行张量映射，得到形状为[h*w，3]的张量，h*w为该网络训练的样本批次大小，3表示一个像素点对应的R、G、B三个通道的3个值，将张量映射到高维空间，得到h*w个高维特征向量，实施例中维数为32维；最后一层全连接层的输入为高维特征向量，将高维特征向量映射到样本空间，输出为高维特征向量属于各个颜色类别的概率，分类函数采用softmax函数。
大多植被为绿色，考虑到植被颜色会受到季节、植被类型的影响，因此实施者需要根据情况确定网络的标签，实施例中颜色识别网络的标签为：红色(255,0,0)、浅绿色(144,238,144)、碧绿色(127,255,170)、暗绿色(0,100,0)、纯绿色(0,128,0)、草坪绿(124,252,0)、黄色(255,255,0)，即7个颜色类别，对应的索引分别为1、2、3、4、5、6、7；括号中的值为R、G、B三个通道的3个值；训练集中包括多张植被RGB图像，植被RGB图像中植被的颜色应与上述7类颜色相近；网络训练采用AM-softmax损失函数进行分类训练；实施者可选择使用其他损失函数，如CosFace、ArcFace等损失函数，最终以余弦相似度进行度量。
颜色识别网络训练完毕后，构建数据库，存储上述7个颜色类别的RGB值分别对应的高维特征向量。
需要注意的是，颜色识别网络的输入数据要经过归一化处理，加快网络的收敛；训练好的颜色识别网络的最后一个隐藏层的输出为高维特征向量。
纹理特征图的获取过程为：对植被RGB图像进行灰度转换得到灰度图，灰度图中的每个像素点基于其邻域都得到一个灰度共生矩阵，具体的，设置第二窗口，第二窗口分别以灰度图中的每个像素点为中心点进行滑动，得到多个滑窗区域，计算每个滑窗区域的灰度共生矩阵，每个滑窗区域对应的灰度共生矩阵即为该滑窗区域中心像素点对应的灰度共生矩阵；灰度共生矩阵的计算方法是公知的，本发明不再赘述，对于灰度图中的每个像素点：根据该像素点对应的灰度共生矩阵得到该像素点的纹理特征值；灰度图中所有像素点的纹理特征值构成纹理特征图，纹理特征图与植被RGB图像大小相同；其中，纹理特征图中包括一种纹理特征值，该种纹理特征值是灰度共生矩阵多种特征值中的任意一种；实施例中纹理特征图中包括的纹理特征值为灰度共生矩阵的熵特征，熵是图像所包括的信息量的度量，表示图像中纹理的非均匀程度或复杂程度，灰度共生矩阵中元素分散分布时，熵较大；纹理信息也属于图像的信息，是一个随机性的度量，熵越大，纹理越复杂。
植被差异特征图的获取过程为：
首先进行植被、植被阴影的提取，实施例中植被的提取利用卷积神经网络对植被RGB图像进行语义分割提取植被RGB图像中所有的植被，语义分割属于周知技术，本发明不再赘述，语义分割后得到植被二值图，植被二值图中值为1的区域为植被区域，值为0的区域为非植被区域；对植被二值图进行连通域分析，得到植被连通域集合。
植被阴影的提取：本发明所述植被阴影指的是植被阻挡阳光而投落在地面的阴影，对植被RGB图像进行植被阴影提取，阴影提取为公知技术，比如利用HSV色彩空间转换提取植被RGB图像中的植被阴影区域，得到植被阴影二值图，植被阴影二值图中值为1的区域为植被阴影区域，值为0的区域为非植被阴影区域；对植被阴影二值图进行连通域分析，得到植被阴影连通域集合。
对植被二值图、植被阴影二值图进行连通域分析可采用四连通或八连通的分析方式，进行连通域分析的同时还可消除其中误检测得到的较小的植被阴影区域。
得到植被连通域集合和植被阴影连通域集合后进行植被连通域和植被阴影连通域的匹配：
对于植被连通域集合中的每个植被连通域：在该植被连通域中寻找四个点，四个点分别为D1(xmax,y1)、D2(xmin,y2)、D3(x1,ymax)、D4(x2,ymin)，横坐标为xmax的点构成第一点集，y1为第一点集中所有点纵坐标的平均值；横坐标为xmin的点构成第二点集，y2为第二点集中所有点纵坐标的平均值；纵坐标为ymax的点构成第三点集，x1为第三点集中所有点横坐标的平均值；纵坐标为ymin的点构成第四点集，x2为第四点集中所有点横坐标的平均值；获取植被阴影连通域集合中每个植被阴影连通域质心的坐标，对于每个植被阴影连通域，计算该植被阴影连通域质心与该植被连通域的四个点之间的欧式距离，选择四个欧式距离中值最小的欧式距离作为该植被连通域与该植被阴影连通域之间的距离；最终可得到该植被连通域与每个植被阴影连通域之间的距离。
获取该植被连通域的最小外接矩形以及每个植被阴影连通域的最小外接矩形，计算该植被连通域最小外接矩形的高与每个植被阴影连通域最小外接矩形高的差值的绝对值；根据距离和差值的绝对值计算该植被连通域与每个植被阴影连通域的匹配度，Ui＝Li+Mi，Ui表示该植被连通域与第i个植被阴影连通域的匹配度，Li表示该植被连通域与第i个植被阴影连通域之间的距离，Mi表示该植被连通域与第i个植被阴影连通域的最小外接矩形宽的差值的绝对值；按照上述方法得到多个匹配度，与该植被连通域之间匹配度最小的植被阴影连通域为与该植被连通域相匹配的植被阴影连通域。
按照上述方法可得到与每个植被连通域相匹配的植被阴影连通域。
其次，对植被二值图中的植被区域进行重新赋值，具体地，根据植被连通域对纹理特征图进行相应位置局部纹理特征图提取，对于每个植被连通域：获取该植被连通域的局部纹理特征图I1，获取与该植被连通域匹配的植被阴影连通域，根据该植被阴影连通域得到植被阴影区域图像，获取该植被阴影区域图像的平均明度值K并判断植被阴影区域图像的形状，根据植被阴影区域图像的形状得到数值S；对该植被阴影区域图像进行角点检测，得到角点数量，角点数量与该植被阴影连通域面积的比值即单位面积角点数量为N；则图像I1中每个像素点的像素值都乘S*N*K得到该植被连通域对应的局部植被差异特征图；多个植被连通域对应的局部植被差异特征图映射到植被二值图中得到植被差异特征图。
草木植物低矮无阴影；灌木不高，阴影不明显；针叶林的阴影为竖叉状；阔叶林阴影为圆形状；因此，可以根据阴影的形状来区分不同的植被；进行角点检测的原因为不同的阴影形状会导致角点数量出现较大偏差，角点数量也可以作为本发明植被分类的辅助特征。
植被阴影区域图像的平均明度值的获取方法为：植被阴影二值图与植被RGB图像相乘，得到植被阴影区域图像，将植被阴影区域图像转换到HSV颜色空间并获取植被阴影明度图，基于植被阴影明度图得到该植被阴影区域图像的平均明度值。
HSV颜色空间是一种比较直观的颜色模型，这个模型中颜色的参数分别是：色调H，饱和度S，明度V，取值范围为：0≤H≤360，0≤S≤1，0≤V≤1；之所以选取HSV颜色空间是因为该空间可以很好的表示植被阴影的深浅程度，对于植被的细分有很大作用，对于阴影程度而言，阴影越接近树木区域，植被阴影明度图的像素值越大。
获取植被阴影连通域的外接矩形，利用外接矩形对植被阴影二值图进行裁剪得到植被阴影区域图像；植被阴影区域图像的形状的获取方法为：对植被阴影区域图像进行插值处理后送入形状识别网络中进行形状识别，得到植被阴影区域图像的形状；植被阴影区域图像的形状包括四边形、圆形、竖叉形，对应的S值分别为1、2、3。其中，形状识别网络为卷积神经网络，实施者可采用现有的ResNet、MobileNet等预训练模型，最后接全连接层输出每一张植被阴影区域图像的阴影形状；其中，形状识别网络的训练方法为：以不同形状的植被阴影区域图像构建训练数据集，植被阴影形状包括四边形、圆形、竖叉形，分别用数字0,1,2代替，并通过one-hot编码后输入形状识别网络中作为该网络的标签；损失函数采用交叉熵损失函数；训练该网络对植被阴影区域图像进行分类识别，输出植被阴影的形状。
插值处理的目的为将多个植被阴影区域图像调整到固定的尺寸，经验尺寸为64*64，插值算法有很多，比如最近邻插值法、双线性插值法等。
需要注意的是，对植被阴影区域图像进行角点检测之前需要先对植被阴影区域图像进行插值处理，角点检测算法可以采用harris角点检测算法、USAN或SUSAN角点检测算法等。
至此，得到植被差异特征图。
步骤三，将植被RGB图像、地形特征图、植被指数特征图、颜色特征图、纹理特征图、植被差异特征图输入神经网络中，得到植被细粒度分割图；具体地：
植被RGB图像与地形特征图进行Concatenate联合操作，得到第一联合图像；将地形特征图融入到植被提取与分类中，可以有效区分位于不同地形上的植被，进而提高植被的细粒度分割精度。
植被指数特征图、颜色特征图、纹理特征图、植被差异特征图进行Concatenate联合操作，得到第二联合图像；第一联合图像和第二联合图像为四通道图像；为方便网络的收敛，对第一联合图像和第二联合图像进行归一化处理后送入植被分割网络中，植被分割网络包括第一编码器和第一解码器、第二编码器和第二解码器，具体地，第一联合图像经过第一编码器的特征提取得到第一特征图，第一解码器对第一特征图进行上采样与特征提取，输出为地形分割图；第二联合图像经过第二编码器的特征拟合得到第二特征图，第一特征图与第二特征图联合后输入第二解码器，经过第二解码器的上采样与特征提取，得到植被细粒度分割概率图，植被细粒度分割概率图经过argmax操作得到植被细粒度分割图；植被细粒度分割图为灰度整型图像，实施者可通过渲染进行上色，方便可视化。
其中，植被分割网络的训练过程为：
对于植被而言，其植被的类型通常受到研究区域的影响，但大多都存在纹理、颜色、地形的区别，因此，实施例中某区域植被的分布情况为：
存在于平原区：阔叶林1、乔木园地、苗圃；
存在于山地丘陵区：灌木林、阔叶林2、未成林地、针叶林；
其中，阔叶林1指位于平原或山麓处的阔叶林，以槐树、杨树为主；阔叶林2指生长于山地中的阔叶林，以桦木、山杨、蒙古栎为主；针叶林以油松林为主，表征为鲜红颜色；灌木林是以灌木为主体的植被类型；乔木园地指苹果、杏等果园为主的经济林；苗圃包括杨树苗、柳树苗、槐树苗；未成林地指人工栽种的以侧柏为主的未成林地。
制作标签：阔叶林1、阔叶林2、针叶林、灌木林、乔木园地、苗圃、未成林地分别以标签数字1、2、3、4、5、6、7代替，另外通常还应包含一个其他类别，通过数字0表示。对植被RGB图像中的像素点按照上述设置的数字标签进行标注。
同时，标注地形分割图，由于该分支是辅助植被提取与分类的，因此标注图像可按下述进行标注：平原、山地丘陵分别用像素值1、2代替，其它用像素值0代替。
需要注意的是，第一联合图像和第二联合图像输入植被分割网络之前需要先进行切片处理，若直接输入到植被分割网络中，显存往往是不够的，如联合图像分辨率为1024*1024，可选择切为4张512*512大小的图，作为植被分割网络的输入。切片方法有多种，包括均匀切割、重叠切割等，实施者可自由选择使用哪种切割方法。
将得到的第一联合图像、第二联合图像以及制作的标签送入植被分割网络中进行训练，优选的，损失函数采用Categorical Focal loss，该损失函数主要是为了解决单阶段目标检测中正、负样本比例严重失衡的问题，这种损失函数减少了训练中大量简单的负样本的权重，也可以理解为一种困难的样本挖掘；该函数在原始基础上加入一个因子，其中γ>0减少了容易分类样本的损失，将更多的注意力放在困难的、错误分类的样本上，此外，还加入了平衡因子α，以平衡正、负样本比例的不平衡。在语义分割领域同样存在类别不平衡问题，该函数用于测量地面真实(gt)和预测(pr)之间的分类焦点损失，其公式如下：
L(gt,pr)＝-gt*α*(1-pr)γ*log(pr)
α为加权因子，γ用于调节(1-pr)的聚焦参数。
以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明，凡是在精神和原则之内对本发明做出的修改与变动，皆在本发明保护范围内。

Claims (10)

1.一种基于深度学习的航拍图像植被提取与分类方法，其特征在于，该方法包括：
步骤一，获取植被的航拍多光谱图像，并根据航拍多光谱图像得到植被指数特征图、植被RGB图像和DEM图像；
步骤二，基于DEM图像得到地形特征图；基于植被RGB图像得到颜色特征图、纹理特征图、植被差异特征图、植被二值图；其中，根据纹理特征图获取植被区域的局部纹理特征图，根据植被RGB图像得到植被阴影区域的平均明度值，识别植被阴影区域的形状并统计植被阴影区域的角点数量；根据局部纹理特征图、植被阴影区域的平均明度值、形状、单位面积角点数量对植被二值图中植被区域像素点的像素值进行不同程度的增大，得到植被差异特征图；
步骤三，将植被RGB图像、地形特征图、植被指数特征图、颜色特征图、纹理特征图、植被差异特征图输入神经网络中，得到植被细粒度分割图。
2.如权利要求1所述的方法，其特征在于，对多光谱图像进行真彩色合成得到植被RGB图像。
3.如权利要求1所述的方法，其特征在于，利用RDLS算法对DEM图像进行处理，得到地形特征图。
4.如权利要求1所述的方法，其特征在于，所述植被指数特征图为比值植被指数特征图或归一化植被指数特征图。
5.如权利要求1所述的方法，其特征在于，基于像素点间的相似度将植被RGB图像中的像素点划分为若干类别得到颜色特征图。
6.如权利要求1所述的方法，其特征在于，纹理特征图的获取方法为：植被RGB图像经过灰度转换得到灰度图，根据灰度图中每个像素点的灰度共生矩阵得到该像素点的纹理特征值，所有像素点的纹理特征值构成纹理特征图。
7.如权利要求6所述的方法，其特征在于，所述植被差异特征图的具体获取方法为：
基于植被RGB图像得到植被阴影二值图，对植被二值图、植被阴影二值图进行连通域分析，得到植被连通域、植被阴影连通域，为每个植被连通域匹配一个植被阴影连通域；对于每个植被连通域：获取该植被连通域的局部纹理特征图I1，获取与该植被连通域相匹配的植被阴影连通域并基于该植被阴影连通域得到植被阴影区域图像，获取该植被阴影区域图像的阴影形状、平均明度值K、单位面积角点数量N，根据阴影形状得到数值S，图像I1中每个像素点的像素值都乘S*N*K得到该植被连通域对应的局部植被差异特征图；所有植被连通域对应的局部植被差异特征图映射到植被二值图中得到植被差异特征图。
8.如权利要求7所述的方法，其特征在于，所述为每个植被连通域匹配一个植被阴影连通域具体为：基于植被连通域、植被阴影连通域之间的距离与植被连通域、植被阴影连通域最小外接矩形宽的差值进行植被连通域、植被阴影连通域的匹配。
9.如权利要求7所述的方法，其特征在于，植被阴影图像的形状的获取方法为：将植被阴影区域图像送入形状识别网络中进行形状识别，得到植被阴影区域图像的形状；植被阴影区域图像的形状包括四边形、圆形、竖叉形，对应的S值分别为第一数值、第二数值、第三数值。
10.如权利要求1所述的方法，其特征在于，植被细粒度分割图的获取过程为：植被RGB图像与地形特征图进行联合，得到第一联合图像；植被指数特征图、颜色特征图、纹理特征图、植被差异特征图进行联合，得到第二联合图像；第一联合图像经过第一编码器的特征提取得到第一特征图，第二联合图像经过第二编码器的特征拟合得到第二特征图，第一特征图与第二特征图联合后输入第二解码器，经过第二解码器的上采样与特征提取，得到植被细粒度分割图。
CN202110166879.7A 2021-02-05 2021-02-05 基于深度学习的航拍图像植被提取与分类方法 Active CN112818880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110166879.7A CN112818880B (zh) 2021-02-05 2021-02-05 基于深度学习的航拍图像植被提取与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110166879.7A CN112818880B (zh) 2021-02-05 2021-02-05 基于深度学习的航拍图像植被提取与分类方法

Publications (2)

Publication Number Publication Date
CN112818880A true CN112818880A (zh) 2021-05-18
CN112818880B CN112818880B (zh) 2022-09-30

Family

ID=75862126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110166879.7A Active CN112818880B (zh) 2021-02-05 2021-02-05 基于深度学习的航拍图像植被提取与分类方法

Country Status (1)

Country Link
CN (1) CN112818880B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569782A (zh) * 2021-08-04 2021-10-29 沭阳协润电子有限公司 基于人工智能与激光雷达的自由流速度估计方法及系统
CN117274359A (zh) * 2023-10-13 2023-12-22 扬州大学 一种作物群体的株高测算方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985247A (zh) * 2018-07-26 2018-12-11 北方工业大学 多光谱图像城市道路识别方法
CN110059553A (zh) * 2019-03-13 2019-07-26 中国科学院遥感与数字地球研究所 利用光学遥感影像判识潜在滑坡阶段植被异常特征的方法
CN111242224A (zh) * 2020-01-16 2020-06-05 贵州省草业研究所 一种基于无人机提取分类样本点的多源遥感数据分类方法
CN112052757A (zh) * 2020-08-24 2020-12-08 中国气象局沈阳大气环境研究所 火烧迹地信息提取方法、装置、设备和存储介质
CN112203072A (zh) * 2020-09-30 2021-01-08 赖慧芳 一种基于深度学习的航拍图像水体提取方法与系统
CN112287892A (zh) * 2020-11-23 2021-01-29 中国电建集团成都勘测设计研究院有限公司 基于无人机高光谱和机器学习算法的乔木生物量测算方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985247A (zh) * 2018-07-26 2018-12-11 北方工业大学 多光谱图像城市道路识别方法
CN110059553A (zh) * 2019-03-13 2019-07-26 中国科学院遥感与数字地球研究所 利用光学遥感影像判识潜在滑坡阶段植被异常特征的方法
CN111242224A (zh) * 2020-01-16 2020-06-05 贵州省草业研究所 一种基于无人机提取分类样本点的多源遥感数据分类方法
CN112052757A (zh) * 2020-08-24 2020-12-08 中国气象局沈阳大气环境研究所 火烧迹地信息提取方法、装置、设备和存储介质
CN112203072A (zh) * 2020-09-30 2021-01-08 赖慧芳 一种基于深度学习的航拍图像水体提取方法与系统
CN112287892A (zh) * 2020-11-23 2021-01-29 中国电建集团成都勘测设计研究院有限公司 基于无人机高光谱和机器学习算法的乔木生物量测算方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
K. THEMISTOCLEOUS: "DEM modeling using RGB-based vegetation indices from UAV images", 《SEVENTH INTERNATIONAL CONFERENCE ON REMOTE SENSING AND GEOINFORMATION OF THE ENVIRONMENT (RSCY2019)》 *
YINGHUI QUAN ET AL.: "A Novel Image Fusion Method of Multi-Spectral and SAR Images for Land Cover Classification", 《REMOTE SENSING》 *
蔡林菲: "基于多模型融合的优势树种分类研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *
邱新彩 等: "结合地统计学与Landsat 8影像的乔木林地上碳储量估算", 《中南林业科技大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569782A (zh) * 2021-08-04 2021-10-29 沭阳协润电子有限公司 基于人工智能与激光雷达的自由流速度估计方法及系统
CN117274359A (zh) * 2023-10-13 2023-12-22 扬州大学 一种作物群体的株高测算方法和系统
CN117274359B (zh) * 2023-10-13 2024-04-19 扬州大学 一种作物群体的株高测算方法和系统

Also Published As

Publication number Publication date
CN112818880B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN113592882B (zh) 一种基于无人机多源遥感的树冠提取方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
AU2020103026A4 (en) A Single Tree Crown Segmentation Algorithm Based on Super-pixels and Topological Features in Aerial Images
CN113591766B (zh) 一种无人机多源遥感的树种识别方法
CA2656595C (en) Remote sensing and probabilistic sampling based forest inventory method
US8111924B2 (en) Remote sensing and probabilistic sampling based method for determining the carbon dioxide volume of a forest
CN109063754B (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
CN111462223B (zh) 基于Sentinel-2影像的江淮地区大豆和玉米种植面积识别方法
CN112818880B (zh) 基于深度学习的航拍图像植被提取与分类方法
CN112131946B (zh) 光学遥感影像植被和水体信息自动提取方法
CN112699756B (zh) 一种基于高光谱图像的茶叶原产地识别方法和系统
Liu et al. Deep learning based research on quality classification of shiitake mushrooms
CN110516648B (zh) 基于无人机遥感和模式识别的苎麻株数识别方法
CN107330875A (zh) 基于遥感图像正反向异质性的水体周边环境变化检测方法
Bhookya et al. Yield estimation of chilli crop using image processing techniques
CN107292328A (zh) 多尺度多特征融合的遥感影像阴影检测提取方法及系统
CN111008664A (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN114241321A (zh) 高分遥感图像平顶建筑快速精准识别方法
Zhang et al. Yield estimation of citrus fruit using rapid image processing in natural background
CN109740645A (zh) 一种适用于高分一号影像的cart决策树分类方法
CN108492288A (zh) 基于随机森林的多尺度分层采样的高分卫星影像变化检测方法
Suarez et al. Learning image vegetation index through a conditional generative adversarial network
CN102231190A (zh) 冲洪积扇信息的自动提取方法
CN115953685A (zh) 多层多尺度分割的农用大棚类型信息提取方法及系统
CN115471753A (zh) 一种结合专家知识和机器学习的树种精细分层分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant