CN111985329B - 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法 - Google Patents

基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法 Download PDF

Info

Publication number
CN111985329B
CN111985329B CN202010686704.4A CN202010686704A CN111985329B CN 111985329 B CN111985329 B CN 111985329B CN 202010686704 A CN202010686704 A CN 202010686704A CN 111985329 B CN111985329 B CN 111985329B
Authority
CN
China
Prior art keywords
edge
image
pixel
value
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010686704.4A
Other languages
English (en)
Other versions
CN111985329A (zh
Inventor
张烨
陈威慧
樊一超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010686704.4A priority Critical patent/CN111985329B/zh
Publication of CN111985329A publication Critical patent/CN111985329A/zh
Application granted granted Critical
Publication of CN111985329B publication Critical patent/CN111985329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于FCN‑8s和改进Canny边缘检测的遥感图像信息提取方法，首先利用FCN‑8s网络反卷积获取遥感图像地物像素区域图，然后对其进行加权平均灰度化处理，接着利用改进的Canny边缘检测获取灰度化后地物像素区域图上的目标地物边缘轮廓图，即利用综合考虑空间信息和色彩信息的双边滤波对灰度化后的图像进行去噪、平滑，然后计算平滑后图像中各点的梯度值和梯度方向，接着对梯度幅值进行改进的非极大值抑制处理以及图像线性边缘增强，获得候选边缘，紧接着采用基于最小类内均方差准则的自适应阈值算法获取最佳阈值，将最佳阈值作为选取高阈值、低阈值的基础，最后应用双阈值检测和连接边缘得到遥感图像目标地物的精细边缘轮廓图。本发明高效、适应性好。

Description

基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法
技术领域
本发明涉及一种基于FCN-8s和改进的Canny边缘检测提取遥感图像信息的方法。
技术背景
遥感图像包含的地物信息丰富，其中涉及的地物轮廓线条复杂，而精准提取目标地物的边缘轮廓则有助于后续研究的顺利进行。遥感图像的目标区域(前景区域)和背景区域的像素灰度值往往存在差异，而边缘是图像最基本的特征，根据图像的灰度值差异提取地物边缘轮廓信息成为遥感图像处理的有效方法之一。但目前遥感图像目标地物的轮廓边缘获取主要是单纯地利用传统边缘检测算子，通过人为设置判定阈值来达到检测、获取图像中目标物边缘这一目的，获得的结果往往不够精细。特别是当所拍摄的图像中，目标物所处的位置、光照条件等发生变化导致图像灰度产生较大变化时，所得到的检测边缘结果就会带有较大偏差。
发明内容
针对上述问题，本发明提出一种图像分割精准、算法适应性强的基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法。
本发明首先利用FCN-8s网络反卷积获取遥感图像地物像素区域图，然后对其进行加权平均灰度化处理，接着利用改进的Canny边缘检测获取灰度化后地物像素区域图上的目标地物边缘轮廓图，即利用综合考虑空间信息和色彩信息的双边滤波对灰度化后的图像进行去噪、平滑，然后计算平滑后图像中各点的梯度值和梯度方向，接着对梯度幅值进行改进的非极大值抑制处理以及图像线性边缘增强，获得候选边缘，紧接着采用基于最小类内均方差准则的自适应阈值算法获取最佳阈值，将最佳阈值作为选取高阈值、低阈值的基础，最后应用双阈值检测和连接边缘得到遥感图像目标地物的精细边缘轮廓图。
为实现上述目的，本发明采用以下技术方案：
一种基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法，包括如下步骤：
步骤一，构建FCN-8s网络；
一)改进卷积层；
为了在输入任意尺寸的彩色遥感图像时，得到图像中目标物体所属的像素范围，本发明将传统CNN网络的全连接层换成卷积层，进行卷积运算。
设输入图片为M×N，卷积核为n×n，偏置为b1，卷积后的特征图为矩阵F，激活函数为S(t)，得：
式中，Fij为矩阵F中元素；Mij和Cij是卷积过程中输入层与卷积核相对应的元素。
同时，为了避免网络收敛速度慢、梯度消失等问题，本发明采用LeaKy ReLU单元函数即h(x)激活函数来代替S型激活函数(Sigmoid函数)以提高网络泛化性能，有：
二)改进池化层；
在卷积层运算后，为避免网络参数过多造成过拟合，本发明利用中间值池化法，完成对卷积特征的采样，即有：
其中，池化域大小为c×c；偏置为b2；c为每次的移动步长；S为池化后的特征图。
三)构造上采样层；
为保证输出和输入图像具有相同尺寸，本发明在池化操作后，对网络进行上采样运算，以实现图像尺寸的扩充，有：
式中，Y为经过上采样生成的与原图像尺寸相同的图像；k为特征图矩阵F的个数；f为卷积核函数；代表卷积核运算。
在经过全卷积和上采样过程后，可以得到和原图大小一致的包含各种地物轮廓的像素区域图，但是这个结果往往很粗糙，会损失很多细节，故本发明对网络增加跳跃结构将最后一层的预测(有更丰富的全局信息)和更浅层的预测(有更多的局部细节)结合起来，使得网络在遵守全局预测的同时进行局部预测，以优化最终结果，即FCN-32s是在直接分类完成之后进行的上采样，则在pool3的结果加上两倍上采样pool4与四倍上采样conv7即可得到FCN-8s网络。
步骤二，利用训练好的FCN-8s网络识别遥感图像上地物的类别，并通过反卷积得到精细的对应类别所在的像素区域；
步骤三，对彩色地物像素区域图进行灰度化；
本发明利用加权平均值法对彩色地物像素区域图进行灰度化处理。由于人眼对RGB三颜色的感应强弱各不相同，所以本发明对图像的RGB三颜色进行加权平均处理，即有：
Gray(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j) (5)
步骤四，利用改进Canny边缘检测获取目标地物的边缘轮廓图；
本发明利用改进Canny边缘检测获取地物像素区域图上的目标地物边缘轮廓图，具体流程如下：
(一)对图像进行双边滤波；
本发明采用的双边滤波是通过空间距离信息和色彩信息对相邻像素集内像素进行加权平均来计算某一个像素点的新灰度值，从而降低非结构相似像素对目标像素的影响，即有：
其中，
式中，是双边滤波后的目标像素值；/>是任意像素q的权重；p是目标像素的位置；q是任意像素的位置；Ip和Iq分别表示p和q的像素值；σs和σr分别表示滤波半径和滤波模糊度；S是(2σs+1)2的相邻像素集大小；/>是空间距离函数；/>是像素值距离函数，均使用高斯递减函数来定义，即：
由此，空间距离||p-q||很小且像素值距离(即颜色距离)||Ip-Iq||很小时，双边滤波后的像素值受影响非常大，反之，空间距离很大的非结构相似像素输出值受影响极小。
(二)计算平滑后图像中各点的梯度值和梯度方向；
为了计算图像某像素的梯度信息，本发明采用卷积算子分别与滤波后的图像f(x,y)进行卷积计算，可得到图像x方向和y方向的一阶偏导数矩阵为：
然后利用二范数计算图像上点(i,j)处的梯度幅值M(i,j)和梯度方向θ(i,j)：
(三)对图像梯度幅值进行改进的非极大值抑制处理；
图像梯度幅值矩阵中的元素值越大，说明图像中该点的梯度值越大，但这不能说明该点就是图像的边缘。为了更好地确定图像边缘，同时考虑中心像素点自身的梯度大小，本发明利用改进的非极大值抑制来寻找像素点局部最大值，将非极大值点所对应的灰度值设置为0，如此剔除大部分非边缘的点，其流程如下：
首先，将中心像素点的梯度值M(i,j)与该点梯度方向θ(i,j)上相邻两个像素点的梯度值做比较，若其为三者中的最大值，则将该点保留进入下一步，否则将该点视为非边缘点删除。
然后，设TA为梯度幅值矩阵中，，判断上一步骤得到的M(i,j)是否大于TA，若成立，则将其视为准候选边缘点进入下一步骤，否则将该点视为非边缘点删除。
(四)增强图像线性边缘；
为了增强上一步骤得到的图像的线性边缘，本发明通过分析强边缘与噪声的差异以增强图像中的强边缘，即利用边缘接近线性的程度达到此目的，同时提高由于外因素影响的弱边缘灰度值，其实现流程如下：
首先在经上述步骤处理后的图像中选定一个半径为R的圆形邻域，计算边缘上的边缘点X到圆心O与圆域范围内边缘线质心m所在直线的投影距离D，然后将0≤|D|≤0.5的点视为中间点C，|D|≥1的点视为周围点Hi(i＝1,2)，接着通过中间点数和周围点数的差值(l＝C-H1-H2)计算边缘线的线性程度，将边缘点的灰度值分为备选前景和备选背景，即当l＞0时，该边缘点的灰度值为备选前景，当l≤0时，该边缘点的灰度值为备选背景，从而增强图像的边缘灰度值。
(五)利用自适应阈值算法获取最佳阈值，确定最终边缘；
经过上述步骤后，图像内的强边缘已经在当前获取的边缘图像内，但是一些虚边缘可能也在边缘图像内，这些虚边缘可能是真实图像产生的，也可能是由噪声产生的，若为后者，必须剔除。
本发明利用最小类内均方差准则自适应确定最佳阈值，然后利用最佳阈值获取高阈值max Val和低阈值min Val，接着根据当前边缘像素的梯度值(即梯度幅值)与双阈值的关系，判断边缘的属性，确定最终的边缘，具体流程为：
(1)利用最小类内均方差准则自适应确定最佳阈值；
设在图像F中，灰度级为L+1，灰度值为i的像素点数为ni，i的取值范围为[0,L]，则总像素点数为：
各灰度值出现的概率为：
以灰度值K为界点，将灰度值在[0,K]的像素归为A区域，将灰度值在(K,L]的像素归为B区域，则区域A和区域B的概率分别为：
区域A和区域B的平均灰度分别为：
整幅图像的平均灰度υ为：
区域A和区域B的类内均方差为：
已知K∈[0,L]，通过改变K值，并利用式(22)计算类内均方差，使得类内均方差σ达到最小值的K值即为最佳阈值。然后设高阈值max Val等于最佳阈值，再利用maxVal＝λ×minVal，λ∈(2,3)，得到低阈值min Val。
(2)判断当前边缘的属性；
本发明利用以下规则判断当前边缘的属性，即：
①如果当前边缘像素的梯度值大于或者等于max Val，则将当前边缘像素标记为强边缘；
②如果当前边缘像素的梯度值介于max Val和min Val之间，则将当前边缘像素标记为虚边缘，待进一步处理；
③如果当前边缘像素的梯度值小于或者等于min Val，则抑制当前边缘像素。
(3)处理虚边缘；
本发明通过判断虚边缘与强边缘是否连接来处理虚边缘，即若虚边缘与强边缘连接，则将该边缘处理为强边缘；若该边缘与强边缘无连接，则将该边缘视为伪边缘，进行抑制。
由此，通过利用双阈值检测和连接边缘得到遥感图像目标地物的精细边缘轮廓图。
优选地，步骤(一)所述的空间距离信息的权重设置是距离越远，权重越小；色彩信息的权重设置是色彩差别越大，权重越小。
本发明的优点是：
本发明基于FCN-8s网络和改进Canny边缘检测算法，提出了一种获取遥感图像目标地物精细边缘轮廓的方法。其突出特点有：其一，利用FCN-8s网络获取遥感图像地物像素区域图，FCN-8s网络一方面可以接受任意大小的输入图像，且不要求所有的训练图像和测试图像具有同样的尺寸，另一方面它更为高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。其二，利用改进Canny边缘检测获取地物像素区域图上的目标地物边缘轮廓图。其中，对Canny边缘检测算法的改进主要体现在：①利用双边滤波对图像进行去噪，相比其他滤波方式在达到平滑图像的效果之余还能够较好地保护图像边缘细节信息；②在对图像梯度幅值进行非极大值抑制处理时，考虑了中心像素点自身的梯度大小，从而使得获取的中心像素点更具说服力；③利用基于最小类内均方差准则的自适应阈值算法获取最佳阈值，很好地规避了传统Canny边缘检测人为设置高低阈值的不足，提高了算法的适应性。
附图说明
图1是本发明的技术路线图；
图2是本发明的FCN网络的简单结构示意图；
图3是本发明的梯度方向示意图；
图4是本发明的线性边缘增强窗口图；
图5是本发明的改进的非极大值抑制处理流程图。
具体实施方式
为了验证本发明提出的方法的可行性和优越性，现参照附图并结合应用场景对本发明做进一步的阐述：
一种基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法，包括如下步骤：
步骤一，构建FCN-8s网络；
一)改进卷积层；
为了在输入任意尺寸的彩色遥感图像时，得到图像中目标物体所属的像素范围，本发明将传统CNN网络的全连接层换成卷积层，进行卷积运算。
设输入图片为M×N，卷积核为n×n，偏置为b1，卷积后的特征图为矩阵F，激活函数为S(t)，得：
式中，Fij为矩阵F中元素；Mij和Cij是卷积过程中输入层与卷积核相对应的元素。
同时，为了避免网络收敛速度慢、梯度消失等问题，本发明采用LeaKy ReLU单元函数即h(x)激活函数来代替S型激活函数(Sigmoid函数)以提高网络泛化性能，有：
二)改进池化层；
在卷积层运算后，为避免网络参数过多造成过拟合，本发明利用中间值池化法，完成对卷积特征的采样，即有：
其中，池化域大小为c×c；偏置为b2；c为每次的移动步长；S为池化后的特征图。
三)构造上采样层；
为保证输出和输入图像具有相同尺寸，本发明在池化操作后，对网络进行上采样运算，以实现图像尺寸的扩充，有：
式中，Y为经过上采样生成的与原图像尺寸相同的图像；k为特征图矩阵F的个数；f为卷积核函数；代表卷积核运算。
在经过全卷积和上采样过程后，可以得到和原图大小一致的包含各种地物轮廓的像素区域图，但是这个结果往往很粗糙，会损失很多细节，故本发明对网络增加跳跃结构将最后一层的预测(有更丰富的全局信息)和更浅层的预测(有更多的局部细节)结合起来，使得网络在遵守全局预测的同时进行局部预测，以优化最终结果，即FCN-32s是在直接分类完成之后进行的上采样，则在pool3的结果加上两倍上采样pool4与四倍上采样conv7即可得到FCN-8s网络。
步骤二，利用训练好的FCN-8s网络识别遥感图像上地物的类别，并通过反卷积得到精细的对应类别所在的像素区域；
步骤三，对彩色地物像素区域图进行灰度化；
本发明利用加权平均值法对彩色地物像素区域图进行灰度化处理。由于人眼对RGB三颜色的感应强弱各不相同，所以本发明对图像的RGB三颜色进行加权平均处理，即有：
Gray(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j) (5)
步骤四，利用改进Canny边缘检测获取目标地物的边缘轮廓图；
本发明利用改进Canny边缘检测获取地物像素区域图上的目标地物边缘轮廓图，具体流程如下：
(一)对图像进行双边滤波；
本发明采用的双边滤波是通过空间距离信息(距离越远，权重越小)和色彩信息(色彩差别越大，权重越小)对相邻像素集内像素进行加权平均来计算某一个像素点的新灰度值，从而降低非结构相似像素对目标像素的影响，即有：
其中，
式中，是双边滤波后的目标像素值；/>是任意像素q的权重；p是目标像素的位置；q是任意像素的位置；Ip和Iq分别表示p和q的像素值；σs和σr分别表示滤波半径和滤波模糊度；S是(2σs+1)2的相邻像素集大小；/>是空间距离函数；/>是像素值距离函数，均使用高斯递减函数来定义，即：
由此，空间距离||p-q||很小且像素值距离(即颜色距离)||Ip-Iq||很小时，双边滤波后的像素值受影响非常大，反之，空间距离很大的非结构相似像素输出值受影响极小。
(二)计算平滑后图像中各点的梯度值和梯度方向；
为了计算图像某像素的梯度信息，本发明采用卷积算子分别与滤波后的图像f(x,y)进行卷积计算，可得到图像x方向和y方向的一阶偏导数矩阵为：
然后利用二范数计算图像上点(i,j)处的梯度幅值M(i,j)和梯度方向θ(i,j)：
(三)对图像梯度幅值进行改进的非极大值抑制处理；
图像梯度幅值矩阵中的元素值越大，说明图像中该点的梯度值越大，但这不能说明该点就是图像的边缘。为了更好地确定图像边缘，同时考虑中心像素点自身的梯度大小，本发明利用改进的非极大值抑制来寻找像素点局部最大值，将非极大值点所对应的灰度值设置为0，如此剔除大部分非边缘的点，其流程如下：
首先，将中心像素点的梯度值M(i,j)与该点梯度方向θ(i,j)上相邻两个像素点的梯度值做比较，若其为三者中的最大值，则将该点保留进入下一步，否则将该点视为非边缘点删除。
然后，设TA为梯度幅值矩阵中，中心像素点以及与之相邻的8个像素点的梯度平均值，判断上一步骤得到的M(i,j)是否大于TA，若成立，则将其视为准候选边缘点进入下一步骤，否则将该点视为非边缘点删除。
(四)增强图像线性边缘；
为了增强上一步骤得到的图像的线性边缘，本发明通过分析强边缘与噪声的差异以增强图像中的强边缘，即利用边缘接近线性的程度达到此目的，同时提高由于外因素影响的弱边缘灰度值，其实现流程如下：
首先在经上述步骤处理后的图像中选定一个半径为R的圆形邻域，计算边缘上的边缘点X到圆心O与圆域范围内边缘线质心m所在直线的投影距离D，然后将0≤|D|≤0.5的点视为中间点C，|D|≥1的点视为周围点Hi(i＝1,2)，接着通过中间点数和周围点数的差值(l＝C-H1-H2)计算边缘线的线性程度，将边缘点的灰度值分为备选前景和备选背景，即当l＞0时，该边缘点的灰度值为备选前景，当l≤0时，该边缘点的灰度值为备选背景，从而增强图像的边缘灰度值。
(五)利用自适应阈值算法获取最佳阈值，确定最终边缘；
经过上述步骤后，图像内的强边缘已经在当前获取的边缘图像内，但是一些虚边缘可能也在边缘图像内，这些虚边缘可能是真实图像产生的，也可能是由噪声产生的，若为后者，必须剔除。
本发明利用最小类内均方差准则自适应确定最佳阈值，然后利用最佳阈值获取高阈值max Val和低阈值min Val，接着根据当前边缘像素的梯度值(即梯度幅值)与双阈值的关系，判断边缘的属性，确定最终的边缘，具体流程为：
(1)利用最小类内均方差准则自适应确定最佳阈值；
设在图像F中，灰度级为L+1，灰度值为i的像素点数为ni，i的取值范围为[0,L]，则总像素点数为：
各灰度值出现的概率为：
以灰度值K为界点，将灰度值在[0,K]的像素归为A区域，将灰度值在(K,L]的像素归为B区域，则区域A和区域B的概率分别为：
区域A和区域B的平均灰度分别为：
整幅图像的平均灰度υ为：
区域A和区域B的类内均方差为：
已知K∈[0,L]，通过改变K值，并利用式(22)计算类内均方差，使得类内均方差σ达到最小值的K值即为最佳阈值。然后设高阈值max Val等于最佳阈值，再利用max Val＝λ×min Val，λ∈(2,3)，得到低阈值min Val。
(2)判断当前边缘的属性；
本发明利用以下规则判断当前边缘的属性，即：
①如果当前边缘像素的梯度值大于或者等于max Val，则将当前边缘像素标记为强边缘；
②如果当前边缘像素的梯度值介于max Val和min Val之间，则将当前边缘像素标记为虚边缘，待进一步处理；
③如果当前边缘像素的梯度值小于或者等于min Val，则抑制当前边缘像素。
(3)处理虚边缘；
本发明通过判断虚边缘与强边缘是否连接来处理虚边缘，即若虚边缘与强边缘连接，则将该边缘处理为强边缘；若该边缘与强边缘无连接，则将该边缘视为伪边缘，进行抑制。由此，通过利用双阈值检测和连接边缘得到遥感图像目标地物的精细边缘轮廓图。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法，包括如下步骤：
步骤一，构建FCN-8s网络；
一)改进卷积层；
为了在输入任意尺寸的彩色遥感图像时，得到图像中目标物体所属的像素范围，将传统CNN网络的全连接层换成卷积层，进行卷积运算；
设输入图片为M×N，卷积核为n×n，偏置为b1，卷积后的特征图为矩阵F，激活函数为S(t)，得：
式中，Fij为矩阵F中元素；Mij和Cij是卷积过程中输入层与卷积核相对应的元素；
同时，为了避免网络收敛速度慢、梯度消失问题，采用LeaKy ReLU单元函数即h(x)激活函数来代替S型激活函数Sigmoid函数以提高网络泛化性能，有：
二)改进池化层；
在卷积层运算后，为避免网络参数过多造成过拟合，利用中间值池化法，完成对卷积特征的采样，即有：
其中，池化域大小为c×c；偏置为b2；c为每次的移动步长；E为池化后的特征图；
三)构造上采样层；
为保证输出和输入图像具有相同尺寸，在池化操作后，对网络进行上采样运算，以实现图像尺寸的扩充，有：
式中，Y为经过上采样生成的与原图像尺寸相同的图像；k为特征图矩阵F的个数；f为卷积核函数；代表卷积核运算；
在经过全卷积和上采样过程后，得到和原图大小一致的包含各种地物轮廓的像素区域图，但是这个结果往往很粗糙，会损失很多细节，故对网络增加跳跃结构将有更丰富的全局信息的最后一层的预测和有更多的局部细节的更浅层的预测结合起来，使得网络在遵守全局预测的同时进行局部预测，以优化最终结果，即FCN-32s是在直接分类完成之后进行的上采样，则在pool3的结果加上两倍上采样pool4与四倍上采样conv7即可得到FCN-8s网络；
步骤二，利用训练好的FCN-8s网络识别遥感图像上地物的类别，并通过反卷积得到精细的对应类别所在的像素区域；
步骤三，对彩色地物像素区域图进行灰度化；
利用加权平均值法对彩色地物像素区域图进行灰度化处理；由于人眼对RGB三颜色的感应强弱各不相同，所以对图像的RGB三颜色进行加权平均处理，即有：
Gray(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j) (5)
步骤四，利用改进Canny边缘检测获取目标地物的边缘轮廓图；
利用改进Canny边缘检测获取地物像素区域图上的目标地物边缘轮廓图，具体流程如下：
(一)对图像进行双边滤波；
采用的双边滤波是通过空间距离信息和色彩信息对相邻像素集内像素进行加权平均来计算某一个像素点的新灰度值，从而降低非结构相似像素对目标像素的影响，即有：
其中，
式中，是双边滤波后的目标像素值；/>是任意像素q的权重；p是目标像素的位置；q是任意像素的位置；Ip和Iq分别表示p和q的像素值；σs和σr分别表示滤波半径和滤波模糊度；S是(2σs+1)2的相邻像素集大小；/>是空间距离函数；/>是像素值距离函数，均使用高斯递减函数来定义，即：
由此，空间距离||p-q||很小且像素值距离即颜色距离||Ip-Iq||很小时，双边滤波后的像素值受影响非常大，反之，空间距离很大的非结构相似像素输出值受影响极小；
(二)计算平滑后图像中各点的梯度值和梯度方向；
为了计算图像某像素的梯度信息，采用卷积算子分别与滤波后的图像f(x,y)进行卷积计算，可得到图像x方向和y方向的一阶偏导数矩阵为：
然后利用二范数计算图像上点(i,j)处的梯度幅值M(i,j)和梯度方向θ(i,j)：
(三)对图像梯度幅值进行改进的非极大值抑制处理；
图像梯度幅值矩阵中的元素值越大，说明图像中点(i,j)的梯度值越大，但这不能说明点(i,j)就是图像的边缘；为了更好地确定图像边缘，同时考虑中心像素点自身的梯度大小，利用改进的非极大值抑制来寻找像素点局部最大值，将非极大值点所对应的灰度值设置为0，如此剔除大部分非边缘的点，其流程如下：
首先，将中心像素点的梯度值M(i,j)与点(i,j)的梯度方向θ(i,j)上相邻两个像素点的梯度值做比较，若其为三者中的最大值，则将点(i,j)保留进入下一步，否则将点(i,j)视为非边缘点删除；
然后，设TA为梯度幅值矩阵中的最大元素，判断上一步骤得到的M(i,j)是否大于TA，若成立，则将其视为准候选边缘点进入下一步骤，否则将点(i,j)视为非边缘点删除；
(四)增强图像线性边缘；
为了增强步骤(三)得到的图像的线性边缘，通过分析强边缘与噪声的差异以增强图像中的强边缘，即利用边缘接近线性的程度达到此目的，同时提高由于外因素影响的弱边缘灰度值，其实现流程如下：
首先在经上述步骤处理后的图像中选定一个半径为R的圆形邻域，计算边缘上的边缘点X到圆心O与圆域范围内边缘线质心m所在直线的投影距离D，然后将0≤|D|≤0.5的点视为中间点C，|D|≥1的点视为周围点Hi，i＝1,2，接着通过中间点数和周围点数的差值l＝C-H1-H2计算边缘线的线性程度，将边缘点的灰度值分为备选前景和备选背景，即当l＞0时，该边缘点的灰度值为备选前景，当l≤0时，该边缘点的灰度值为备选背景，从而增强图像的边缘灰度值；
(五)利用自适应阈值算法获取最佳阈值，确定最终边缘；
利用最小类内均方差准则自适应确定最佳阈值，然后利用最佳阈值获取高阈值maxVal和低阈值min Val，接着根据当前边缘像素的梯度值与双阈值的关系，判断边缘的属性，确定最终的边缘，具体流程为：
(1)利用最小类内均方差准则自适应确定最佳阈值；
设在图像F中，灰度级为L+1，灰度值为i的像素点数为ni，i的取值范围为[0,L]，则总像素点数为：
各灰度值出现的概率为：
以灰度值K为界点，将灰度值在[0,K]的像素归为A区域，将灰度值在(K,L]的像素归为B区域，则区域A和区域B的概率分别为：
区域A和区域B的平均灰度分别为：
整幅图像的平均灰度υ为：
区域A和区域B的类内均方差为：
已知K∈[0,L]，通过改变K值，并利用式(22)计算类内均方差，使得类内均方差σ达到最小值的K值即为最佳阈值；然后设高阈值max Val等于最佳阈值，再利用maxVal＝λ×minVal，λ∈(2,3)，得到低阈值min Val；
(2)判断当前边缘的属性；
利用以下规则判断当前边缘的属性，即：
①如果当前边缘像素的梯度值大于或者等于max Val，则将当前边缘像素标记为强边缘；
②如果当前边缘像素的梯度值介于max Val和min Val之间，则将当前边缘像素标记为虚边缘，待进一步处理；
③如果当前边缘像素的梯度值小于或者等于min Val，则抑制当前边缘像素；
(3)处理虚边缘；
通过判断虚边缘与强边缘是否连接来处理虚边缘，即若虚边缘与强边缘连接，则将该边缘处理为强边缘；若该边缘与强边缘无连接，则将该边缘视为伪边缘，进行抑制；通过利用双阈值检测和连接边缘得到遥感图像目标地物的精细边缘轮廓图。
2.如权利要求1所述的基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法，其特征在于：步骤(一)所述的空间距离信息的权重设置是距离越远，权重越小；色彩信息的权重设置是色彩差别越大，权重越小。
CN202010686704.4A 2020-07-16 2020-07-16 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法 Active CN111985329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010686704.4A CN111985329B (zh) 2020-07-16 2020-07-16 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010686704.4A CN111985329B (zh) 2020-07-16 2020-07-16 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法

Publications (2)

Publication Number Publication Date
CN111985329A CN111985329A (zh) 2020-11-24
CN111985329B true CN111985329B (zh) 2024-03-29

Family

ID=73439555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010686704.4A Active CN111985329B (zh) 2020-07-16 2020-07-16 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法

Country Status (1)

Country Link
CN (1) CN111985329B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734654B (zh) * 2020-12-23 2024-02-02 中国科学院苏州纳米技术与纳米仿生研究所 一种图像处理方法、装置、设备和存储介质
CN112991374B (zh) * 2021-03-31 2024-05-24 芯算一体(深圳)科技有限公司 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN113112516A (zh) * 2021-04-01 2021-07-13 广东拓斯达科技股份有限公司 图像边缘特征库构建方法、装置、计算机设备及存储介质
CN113781482B (zh) * 2021-11-11 2022-02-15 山东精良海纬机械有限公司 一种复杂环境下机械零件裂纹缺陷检测方法及系统
CN114240986A (zh) * 2021-11-12 2022-03-25 东莞拓斯达技术有限公司 图像处理方法、终端设备及计算机可读存储介质
CN114359149B (zh) * 2021-12-06 2024-09-03 河南大学 基于实时图像边缘增强的坝岸险情视频检测方法及系统
CN114897788B (zh) * 2022-04-14 2024-03-29 江南大学 一种基于引导滤波及离散差分的纱线卷装毛羽检测方法
CN114677525B (zh) * 2022-04-19 2024-05-31 上海海洋大学 一种基于二值图像处理的边缘检测方法
CN114842354B (zh) * 2022-05-06 2024-03-22 自然资源部第一海洋研究所 高分辨率遥感影像边缘线快速精确检测方法
CN115170975A (zh) * 2022-05-12 2022-10-11 广东省科学院广州地理研究所 基于遥感图像的河口浑浊带识别方法、装置及设备
CN115170992B (zh) * 2022-09-07 2022-12-06 山东水发达丰再生资源有限公司 一种废钢料场散落料的图像识别方法及系统
CN115375917B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 一种目标边缘特征提取方法、装置、终端及存储介质
CN115731253A (zh) * 2022-11-16 2023-03-03 刘梓航 一种图像边缘提取方法、系统、设备及介质
CN116168028B (zh) * 2023-04-25 2023-06-23 中铁电气化局集团有限公司 低可见度下基于边缘滤波的高铁原始图像处理方法和系统
CN116206163B (zh) * 2023-05-04 2023-07-04 中科三清科技有限公司 一种气象卫星遥感云图检测分析处理方法
CN116433700B (zh) * 2023-06-13 2023-08-18 山东金润源法兰机械有限公司 一种法兰零件轮廓视觉定位方法
CN116883270B (zh) * 2023-07-04 2024-03-22 广州医科大学附属第四医院(广州市增城区人民医院) 一种碎石手术软镜清晰化成像系统
CN116703958B (zh) * 2023-08-03 2023-11-17 山东仕达思医疗科技有限公司 显微图像的边缘轮廓检测方法、系统、设备和存储介质
CN116758077B (zh) * 2023-08-18 2023-10-20 山东航宇游艇发展有限公司 一种冲浪板表面平整度在线检测方法及系统
CN116934905B (zh) * 2023-09-18 2023-11-17 晨达(广州)网络科技有限公司 网络图像实时处理方法
CN117694107B (zh) * 2023-12-28 2024-07-02 广东若铂智能机器人有限公司 一种扰动下串型水果用机器人智能避障采摘方法
CN117576139B (zh) * 2024-01-17 2024-04-05 深圳市致佳仪器设备有限公司 一种基于双边滤波的边缘及角点检测方法及系统
CN118446979A (zh) * 2024-05-06 2024-08-06 梦石科技(北京)有限公司 一种用于血管管径优化的血管精确定位方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578418A (zh) * 2017-09-08 2018-01-12 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
CN108022233A (zh) * 2016-10-28 2018-05-11 沈阳高精数控智能技术股份有限公司 一种基于改进型Canny算子的工件边缘提取方法
CN109389612A (zh) * 2018-08-31 2019-02-26 南京理工大学 一种城轨列车受电弓滑板边缘检测方法
CN109903301A (zh) * 2019-01-28 2019-06-18 杭州电子科技大学 一种基于多级特征信道优化编码的图像轮廓检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022233A (zh) * 2016-10-28 2018-05-11 沈阳高精数控智能技术股份有限公司 一种基于改进型Canny算子的工件边缘提取方法
CN107578418A (zh) * 2017-09-08 2018-01-12 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
CN109389612A (zh) * 2018-08-31 2019-02-26 南京理工大学 一种城轨列车受电弓滑板边缘检测方法
CN109903301A (zh) * 2019-01-28 2019-06-18 杭州电子科技大学 一种基于多级特征信道优化编码的图像轮廓检测方法

Also Published As

Publication number Publication date
CN111985329A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111985329B (zh) 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN108629343B (zh) 一种基于边缘检测和改进Harris角点检测的车牌定位方法和系统
CN109741356B (zh) 一种亚像素边缘检测方法及系统
CN109658424B (zh) 一种改进的鲁棒二维otsu阈值图像分割方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN116823686B (zh) 一种基于图像增强的夜间红外与可见光图像融合方法
CN112907460B (zh) 一种遥感图像增强方法
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
CN109754440A (zh) 一种基于全卷积网络和均值漂移的阴影区域检测方法
AU2020103470A4 (en) Shadow Detection for High-resolution Orthorectificed Imagery through Multi-level Integral Relaxation Matching Driven by Artificial Shadows
CN117475145B (zh) 融合多重注意力机制的多尺度遥感影像语义分割方法及系统
CN116071339A (zh) 一种基于改进鲸鱼算法优化svm的产品缺陷识别方法
CN104766287A (zh) 一种基于显著性检测的模糊图像盲复原方法
CN107609537B (zh) 一种基于hsv空间水面图像特征的水岸线检测方法
CN112288780B (zh) 多特征动态加权的目标跟踪算法
Xu et al. Improved Canny Edge Detection Operator
CN113592740A (zh) 一种基于人工智能的气密性检测中图像噪声去除方法
CN117853510A (zh) 基于双边滤波和自适应阈值的Canny边缘检测方法
CN113205494A (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
CN109063749B (zh) 一种基于角点辐射域的鲁棒卷积核数量适配方法
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
CN113792746B (zh) 基于Yolo V3的探地雷达图像目标检测方法
CN109064425A (zh) 一种自适应非局部总变分的图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant