CN112203072A - 一种基于深度学习的航拍图像水体提取方法与系统 - Google Patents

一种基于深度学习的航拍图像水体提取方法与系统 Download PDF

Info

Publication number
CN112203072A
CN112203072A CN202011064488.6A CN202011064488A CN112203072A CN 112203072 A CN112203072 A CN 112203072A CN 202011064488 A CN202011064488 A CN 202011064488A CN 112203072 A CN112203072 A CN 112203072A
Authority
CN
China
Prior art keywords
water body
image
feature map
map
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011064488.6A
Other languages
English (en)
Inventor
赖慧芳
曾强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011064488.6A priority Critical patent/CN112203072A/zh
Publication of CN112203072A publication Critical patent/CN112203072A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于深度学习的航拍水体提取方法与系统。采集多光谱图像，同过真彩色合成得到RGB图像，经颜色空间转换得到色调图和灰度图像。根据水体特征指数得到水体特征图F1。根据灰度共生矩阵得到灰度图像的能量纹理特征图和熵纹理特征图，并结合色调图得到水体细粒度特征图F2。将RGB图像和F1、F2输入训练好的语义提取编码器，得到特征图F3。计算RGB图像的若干个颜色矩并输入FC全连接，输出若干个神经元，神经元和对应的特征图相乘，最后经解码器提取水体特征，输出水体分割图。

Description

一种基于深度学习的航拍图像水体提取方法与系统
技术领域
本申请涉及人工智能领域，具体涉及一种基于深度学习的航拍图像水体提取方法与系统。
背景技术
随着无人机应用领域的不断拓展，利用无人机对地表进行地物提取，已经成为一种重要的应用方式。我们不仅可以根据多光谱遥感图像的形态和结构的差异判别地物，还可以根据其光谱特性的差异区别地物，为地物影像计算机识别与分类提供了可能。目前对于多光谱图像的水体提取，存在表征能力、泛化能力弱，样本类别极度不平衡的问题，且对于水体的细粒度分割更加困难，通常表现为池塘、河流、湖泊等类别的分割出现大量错误，难以区分不同的水体。
发明内容
针对以上问题，本发明提出一种基于深度学习的航拍图像水体提取方法与系统。采集多光谱图像，同过真彩色合成得到RGB图像，经颜色空间转换得到色调图和灰度图像。根据水体特征指数得到水体特征图F1。根据灰度共生矩阵得到灰度图像的能量纹理特征图和熵纹理特征图，并结合色调图得到水体细粒度特征图F2。将RGB图像和F1、F2输入训练好的语义提取编码器，得到特征图F3。计算RGB图像的若干个颜色矩并输入FC全连接，输出若干个神经元，神经元和对应的特征图相乘，最后经解码器提取水体特征，输出水体分割图。
一种基于深度学习的航拍图像水体提取方法，其特征在于，该方法包括：
步骤S1：无人机采集多光谱图像，通过真彩色合成得到RGB图像，将RGB图像转换为HSV空间，得到H通道的色调图；由RGB图像转换得到灰度图像；
步骤S2：计算多光谱图像的水体特征指数，得到水体特征图F1；根据灰度共生矩阵得到灰度图像的能量纹理特征图、熵纹理特征图，结合色调图、能量纹理特征图、熵纹理特征图得到水体细粒度特征图F2；计算RGB图像的颜色矩；
步骤S3：将RGB图像、颜色矩、F1、F2输入水体提取模块，所述水体提取模块包括语义提取编码器、语义提取解码器、FC全连接。
将RGB图像与F1、F2特征联合形成多通道图像ImageA，输入语义提取编码器，语义提取编码器提取输入数据的特征，得到特征图F3，将RGB图像的颜色矩输入FC全连接，输出多个神经元，将F3中每个像素的值和对应神经元的值相乘后输入语义提取解码器，检测水体并输出水体分割图。
所述水体特征指数的计算方法包括：水体归一化指数NDWI＝(p(Green)-p(NIR))/(p(Green)+p(NIR))，其中p(Green)为绿色波段图像，p(NIR)为近红外波段图像。
所述得到水体细粒度特征图F2的方法包括：
根据公式
Figure BDA0002713358050000011
得到水体细粒度特征图F2。x×y为F2中像素数量，F2(x,y)为水体细粒度特征图中第x行、第y列像素的像素值，H(x,y)为色调图中第x行、第y列像素的色调值；Image(x,y)为灰度图像中第x行、第y列像素的灰度值；Entropy(x,y)为熵纹理特征图图中第x行、第y列像素的像素值，Energy(x,y)为能量纹理特征图中第x行、第y列像素的像素值；θ为色调调节系数、δ为熵调节系数、ε为能量调节系数。
所述水体提取模块的训练方法为：采用若干张ImageA和其对应RGB图像的颜色矩为数据集；人工标注出ImageA中每个像素的类别，属于池塘的像素标注为1，属于河流的像素标注为2，属于湖泊的像素标注为3，其他像素标注为0，生成标注数据。
采用Focalloss作为损失函数：L(gt,pr)＝-gt×α×(1-pr)γ×log(pr)进行训练；α为加权因子，γ为聚焦参数，gt为真实值，pr为预测值；使用超参数搜索对α和γ进行优化，得到最优的α和γ值。
一种基于深度学习的航拍图像水体提取系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如一种基于深度学习的航拍图像水体提取方法所述的步骤。
本发明和现有技术相比有如下有益效果：
(1)本发明通过灰度共生矩阵得到灰度图像的能量纹理特征和熵纹理特征来增强不同水体类别的纹理特征，通过色调来增强不同水体的颜色特征，得到水体细粒度特征图F2，提高了网络的水体提取能力及细粒度分割能力。
(2)本发明利用全连接网络对提取的颜色矩进行特征映射，并以端到端的方式集成到卷积神经网络中，提高了编码器的表征能力，提升了水体提取模块对颜色的敏感性。
附图说明
图1为方法流程图。
图2为水体提取模块结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一：
本发明的主要目的是实现对多光谱图像中水体部分的分割。
为了实现本发明所述内容，本发明设计了一种基于深度学习的航拍图像水体提取方法与系统，方法流程图如图1所示。
步骤S1：
首先通过无人机进行航拍，采集多光谱图像。多光谱图像包含的信息比RGB图像更加丰富，可以更好地提取水体的纹理、颜色等特征。
利用采集到的多光谱图像进行真彩色合成。真彩色合成是指多光谱遥感图像彩色合成处理时，选取与红、绿、蓝三种原色的波长相同或近似的三个波段，合成一个颜色近似于地面景物真实颜色的RGB图像。
将RGB图像转换为HSV空间，转换方法是多样且公知的，本发明不进行限制。HSV图像包括色调H，饱和度S，明度V，其取值范围为：0≤H≤360，0≤S≤1，0≤V≤1。
不同的水体，如湖泊、河流、池塘等，其色调有一定的差别，所以本发明提取HSV图像中的H通道，生成色调图，进行后续的处理。
为了提取水体的纹理信息，需要灰度图像，所以把RGB图像转化为灰度图像，其方法是多样且公知的，本发明不进行限制。本实施例通过浮点法得到灰度图像，灰度图像中像素灰度值计算方法为：Gray＝R*0.3+G*0.59+B*0.11。其中Gray为灰度图像中一个像素的灰度值，R、G、B为RGB图像中对应像素的R、G、B值，最终得到灰度图像。
步骤S2:
计算多光谱图像的水体特征指数，提取多光谱影像的特定波段进行归一化差值处理，以凸显影像中的水体信息。方法是多样且公知的，本发明不对选用的水体特征指数进行限制。可以使用NDWI(水体归一化指数)、MNDWI(改进的归一化差异水体指数)等。本实施例采用NDWI，其计算公式为：
NDWI＝(p(Green)-p(NIR))/(p(Green)+p(NIR))。其中p(Green)为多光谱图像提取绿色波段得到的图像，p(NIR)为多光谱图像提取近红外波段得到的图像。得到水体特征图F1。
创建一个5×5的滑动窗口，令滑动窗口在灰度图像上滑动，计算窗口中5×5灰度图像0°、45°、90°、135°四个方向的灰度共生矩阵，将四个灰度共生矩阵相加并求平均值，得到平均灰度共生矩阵。
令滑动窗口在灰度图像上滑动，计算窗口中图像的平均灰度共生矩阵，并求出平均灰度共生矩阵的能量特征值。将能量特征值赋给窗口中心的像素，最后得到能量纹理特征图。
同理，令滑动窗口在灰度图像上滑动，计算窗口中图像的平均灰度共生矩阵，并求出平均灰度共生矩阵的熵特征值。将熵特征值赋给窗口中心的像素，最后得到熵纹理特征图。
根据水体特征增强模型，结合色调图，能量纹理特征图，熵纹理特征图，得到水体细粒度特征图F2。能量和熵纹理特征图可以很好地体现图像的纹理特征，色调图有助于区分不同种类的水体。
水体特征增强模型为：
Figure BDA0002713358050000031
Figure BDA0002713358050000032
每个图像中有x×y个像素，F2(x,y)为水体细粒度特征图中第x行、第y列像素的像素值，H(x,y)为色调图中第x行、第y列像素的色调值；Image(x,y)为灰度图像中第x行、第y列像素的灰度值；Entropy(x,y)为熵纹理特征图中第x行、第y列像素的像素值，Energy(x,y)为能量纹理特征图中第x行、第y列像素的像素值，θ为色调调节系数、δ为熵调节系数、ε为能量调节系数。最后输出水体细粒度特征图F2。需要说明的是θ、δ、ε可由实施者根据实际情况设置，本实施例中设置的θ＝0.4、δ＝0.3、ε＝0.3。
本发明需要将图像输入神经网络中处理，若直接输入到网络，显存一般是不够的，所以需要对输入图像进行切割处理。本实施例中图像分辨率为1024*1024，可选择切为4张512*512大小的图。切割方法是多样且公知的，如均匀切割、重叠切割，本发明不对切割方法进行限制，实施者可自由选择。
颜色矩是一种简单有效的颜色特征表示方法，有一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)等，颜色信息主要分布于低阶矩中，所以用一阶矩，二阶矩和三阶矩足以表达图像的颜色分布。将RGB图像切割后，分别提取R、G、B三个通道的一阶矩、二阶矩、三阶矩特征，一张RGB图像输出9个颜色矩。
步骤S3：
将RGB图像与F1、F2进行联合，即进行Concatenate操作，最终得到五通道图像ImageA。
人工标注ImageA中每个像素的类别。属于池塘的像素标注为1，属于河流的像素标注为2，属于湖泊的像素标注为3，其他像素标注为0。
本发明通过水体提取模块检测水体，并分割出属于水体的像素。所以先要进行水体提取模块的训练。水体提取模块结构图如图2，包括语义提取编码器、语义提取解码器、FC全连接。
训练所用数据集为得到的若干张ImageA和其对应RGB图像的颜色矩。
将ImageA归一化后输入语义提取编码器中，语义提取编码器是对ImageA进行特征提取，因为需要特征图和神经元一一对应，所以输出为9个特征图F3。
FC全连接起到特征映射的作用，将9个颜色矩输入FC全连接中，最终输出9个神经元。
语义提取解码器起到上采样与特征提取的作用，将神经元的值和对应F3中每个像素的值分别相乘，并输入语义提取解码器，检测水体并输出水体分割图。
需要说明的是语义提取编码器产生的特征图数量要与FC全连接输出的神经元数量一致，以保证水体提取模块的正常运行。
损失函数采用Focalloss，该函数主要是为了解决单阶段目标检测中正、负样本比例严重失衡的问题。这种损失函数减少了训练中大量简单的负样本的权重。其公式如下：
L(gt,pr)＝-gt*α*(1-pr)γ*log(pr)。
其中α为加权因子，γ为聚焦参数，gt为真实值，pr为水体分割模块输出的预测值。其中γ>0是为了减少容易分类样本的损失，将更多的注意力放在困难的、错误分类的样本上。此外，还加入了平衡因子α，以解决正、负样本比例的不平衡问题。
对于上述α和γ进行超参数搜索，得到最优的α和γ取值，即可得到最优的损失函数。
超参数搜索方法是多样且公知的，本发明不进行限制。实施者可采用(Hyperband)、随机搜索(RandomSearch)等方法进行搜索，搜索策略如下：每种方法搜索10次，每次训练20个周期，搜索策略采用最大化测试集IoU指标，搜索空间为FocalLoss的两个参数：α，其取值范围为[0,2]；γ，其取值范围为[0，5]。需要说明的是，搜索次数及周期可由实施者根据实际情况自由选择，本发明不做限制。本实施例搜索出的最优值为α＝0.5、γ＝2.0。
将RGB图像、颜色矩、F1、F2输入训练好的水体提取模块，检测属于各种水体的像素，输出水体分割图像，该图像为灰度整型图像，实施者可再通过渲染来进行上色。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的航拍图像水体提取方法，其特征在于，该方法包括：
步骤S1：无人机采集多光谱图像，通过真彩色合成得到RGB图像，将RGB图像转换为HSV空间，得到H通道的色调图；由RGB图像转换得到灰度图像；
步骤S2：计算多光谱图像的水体特征指数，得到水体特征图F1；根据灰度共生矩阵得到灰度图像的能量纹理特征图、熵纹理特征图，结合色调图、能量纹理特征图、熵纹理特征图得到水体细粒度特征图F2；计算RGB图像的颜色矩；
步骤S3：将RGB图像、颜色矩、F1、F2输入水体提取模块，所述水体提取模块包括语义提取编码器、语义提取解码器、FC全连接；
将RGB图像与F1、F2特征联合形成多通道图像ImageA，输入语义提取编码器；
语义提取编码器提取输入数据的特征，得到特征图F3；
将RGB图像的颜色矩输入FC全连接，输出多个神经元；
将F3中每个像素的值和对应神经元的值相乘后输入语义提取解码器，检测水体并输出水体分割图。
2.如权利要求1所述的方法，其特征在于，所述水体特征指数的计算方法包括：
水体归一化指数NDWI＝(p(Green)-p(NIR))/(p(Green)+p(NIR))，其中p(Green)为绿色波段图像，p(NIR)为近红外波段图像。
3.如权利要求1所述的方法，其特征在于，所述得到水体细粒度特征图F2的方法包括：
根据公式
Figure FDA0002713358040000011
得到水体细粒度特征图F2；
x×y为F2中像素数量，F2(x,y)为水体细粒度特征图中第x行、第y列像素的像素值，H(x,y)为色调图中第x行、第y列像素的色调值；Image(x,y)为灰度图像中第x行、第y列像素的灰度值；Entropy(x,y)为熵纹理特征图图中第x行、第y列像素的像素值，Energy(x,y)为能量纹理特征图中第x行、第y列像素的像素值；δ为熵调节系数、ε为能量调节系数。
4.如权利要求1所述的方法，其特征在于，所述水体提取模块的训练方法为：
采用若干张ImageA和其对应RGB图像的颜色矩为数据集；
人工标注出ImageA中每个像素的类别，属于池塘的像素标注为1，属于河流的像素标注为2，属于湖泊的像素标注为3，其他像素标注为0，生成标注数据；
采用Focalloss作为损失函数进行训练。
5.如权利要求4所述的方法，其特征在于，所述Focalloss为：
L(gt,pr)＝-gt×α×(1-pr)γ×log(pr)，α为加权因子，γ为聚焦参数，gt为真实值，pr为预测值；
利用超参数搜索对α和γ进行优化，得到最优的α和γ值。
6.一种基于深度学习的航拍图像水体提取系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN202011064488.6A 2020-09-30 2020-09-30 一种基于深度学习的航拍图像水体提取方法与系统 Withdrawn CN112203072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011064488.6A CN112203072A (zh) 2020-09-30 2020-09-30 一种基于深度学习的航拍图像水体提取方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011064488.6A CN112203072A (zh) 2020-09-30 2020-09-30 一种基于深度学习的航拍图像水体提取方法与系统

Publications (1)

Publication Number Publication Date
CN112203072A true CN112203072A (zh) 2021-01-08

Family

ID=74012602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011064488.6A Withdrawn CN112203072A (zh) 2020-09-30 2020-09-30 一种基于深度学习的航拍图像水体提取方法与系统

Country Status (1)

Country Link
CN (1) CN112203072A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818880A (zh) * 2021-02-05 2021-05-18 郑州科技学院 基于深度学习的航拍图像植被提取与分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818880A (zh) * 2021-02-05 2021-05-18 郑州科技学院 基于深度学习的航拍图像植被提取与分类方法
CN112818880B (zh) * 2021-02-05 2022-09-30 郑州科技学院 基于深度学习的航拍图像植被提取与分类方法

Similar Documents

Publication Publication Date Title
CN108009542B (zh) 油菜大田环境下杂草图像分割方法
KR101697183B1 (ko) 인공위성 영상과 랜덤포레스트 분류기 결합을 이용한 자동 하천 검출 시스템 및 방법
CN106570485B (zh) 一种基于深度学习的筏式养殖遥感图像场景标注方法
CN109934154A (zh) 一种遥感影像变化检测方法及检测装置
CN106709517A (zh) 红树林识别方法及系统
Sun et al. Object-oriented land cover classification using HJ-1 remote sensing imagery
Bhookya et al. Yield estimation of Chilli crop using image processing techniques
CN110516648B (zh) 基于无人机遥感和模式识别的苎麻株数识别方法
CN112203072A (zh) 一种基于深度学习的航拍图像水体提取方法与系统
Cai et al. Perception preserving decolorization
CN109376719B (zh) 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法
CN112818880B (zh) 基于深度学习的航拍图像植被提取与分类方法
CN113989799A (zh) 一种宫颈异常细胞识别方法、装置和电子设备
CN112330562B (zh) 一种异构遥感图像变换方法及系统
Sannakki et al. SVM-DSD: SVM based diagnostic system for the detection of pomegranate leaf diseases
Mahalakshmi et al. Automated crop inspection and pest control using image processing
CN115908155A (zh) Nsst域结合gan及尺度相关系数的低照度图像增强及去噪方法
Yuan et al. Color image quality assessment with multi deep convolutional networks
CN103871084A (zh) 蓝印花布图案识别方法
CN117333494B (zh) 基于深度学习的秸秆覆盖率检测方法及系统
Jiang Region Enhancement Methods of Color Blurred Image Based on Visual Communication
Bhattad et al. Novel H-Unet Approach for Cropland Change Detection Using CLCD
CN113269789B (zh) 一种遥感图像无监督域自适应的水陆分割方法
CN113298746B (zh) 一种基于机器学习算法的有监督假彩色图像合成方法
Kusnandar et al. A Novel Method for Optimizing Color Selection Using the Hadamard Product Technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210108