CN116486273A - 一种小样本遥感图像水体信息提取方法 - Google Patents
一种小样本遥感图像水体信息提取方法 Download PDFInfo
- Publication number
- CN116486273A CN116486273A CN202310732786.5A CN202310732786A CN116486273A CN 116486273 A CN116486273 A CN 116486273A CN 202310732786 A CN202310732786 A CN 202310732786A CN 116486273 A CN116486273 A CN 116486273A
- Authority
- CN
- China
- Prior art keywords
- image
- linear
- slope
- edge
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Nonlinear Science (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种小样本遥感图像水体信息提取方法，包括：对原始图像进行预处理；通过边缘评估指标选择预处理图像输入边缘提取算子，得到丰富语义信息的边缘图像；构造双流神经网络模型；通过调整双流神经网络模型的模型超参数，选择优化器与损失函数，提高训练模型的训练精度；将具有丰富语义信息的边缘图像，与原始图像作为输入项，对模型进行训练；将边缘图像作为输入项可以通过边缘语义，优化水体提取边界；模型训练完毕后得到遥感图像水体提取模型；遥感图像输入该模型可以提取出水体信息；本申请在水体像素与背景像素的差距较小时，仍能精确分割河流与背景，达到精确度较高的水体识别目的。
Description
技术领域
本发明涉及遥感图像水体信息提取技术领域，尤其涉及一种小样本遥感图像水体信息提取方法。
背景技术
现阶段进行遥感图像水体信息提取的主要方法为水体指数方法，除此以外有传统图像处理算法、决策树法、支持向量机法等方法。但目前研究方法仍存在诸多缺陷，如水体指数法存在阴影的误区,由于高分辨率遥感图像信息繁杂很容易下降精度;其中传统图像处理算法当图像较大时，需要遍历的灰度值数量较多，计算效率会降低，图像特征信息繁多阈值难以界定。而传统机器学习的决策树、支持向量机等方法当水体像素与背景像素的差距较小时，很容易提取非水体信息造成精度下降。当前面对遥感图像这样一种高分辨率、大跨度、混合要素过多的图片，以往的深度学习图像分割方法提取水体信息困难，所需数据集庞大、且精度较低。
为此本发明提出一种小样本遥感图像水体信息提取方法。
发明内容
为了解决上述问题，本发明提出一种小样本遥感图像水体信息提取方法，以更加确切地解决上述所述的问题。
本发明通过以下技术方案实现的：
本发明提出一种小样本遥感图像水体信息提取方法，包括：
对原始图像进行预处理，图像预处理方法依次包含：灰度化、灰度变化、降噪和边缘提取；
通过边缘评估指标选择预处理图像输入边缘提取算子，得到丰富语义信息的边缘图像；
构造双流神经网络模型，将经过大型源域ImageNet数据集预训练学习丰富语义信息的模型参数迁移至双流骨架网络，使所述双流骨架网络具备知识先验；
通过调整双流神经网络模型的模型超参数，选择优化器与损失函数，提高训练模型的训练精度；
将具有丰富语义信息的边缘图像，与原始图像作为输入项，且通过边缘语义，优化水体提取边界。
进一步的，所述的小样本遥感图像水体信息提取方法，所述灰度化包括：
对原始图片中的图像经过RGB模型处理，生成用RGB数据代表的图像；
对RGB数据图像进行灰度化得到灰度图像。
进一步的，所述的小样本遥感图像水体信息提取方法，所述灰度变化包括：
对所述灰度图像进行线性变换，得到线性灰度图像；线性变换的线性公式中截距的取值范围由所述灰度图像的灰度均值确定；
所述线性公式中线性斜率的取值范围由所述线性灰度图像的灰度直方图所对应的斜率关系模型和所述灰度图像的灰度均值确定，所述斜率关系模型为所述线性灰度图像的灰度直方图所对应的直方曲线图的曲线斜率和线性斜率的关系模型；遍历线性变换的线性公式中的所述线性斜率和所述截距，最终获取效果最好的灰度线性变化的效果图。
进一步的，所述的小样本遥感图像水体信息提取方法，所述线性公式为：
；
其中，是线性变化后灰度图像的第/>个像素点的灰度值，/>是线性变化前灰度图像的第/>个像素点的灰度值，/>是线性公式中的线性斜率，/>是截距；
线性公式中线性斜率影响线性灰度变换后图像的对比度，截距/>影响线性灰度变换后图像的亮度，也即影响线性变换后图像的灰度，图像对比度越大，该图像的灰度直方图对应的直方曲线图的曲线斜率越小；图像对比度越小，该图像的灰度直方图对应的直方曲线图的曲线斜率越大，而线性斜率/>的取值影响图像的对比度，线性斜率/>越大，图像的对比度越大，则图像的灰度直方图所对应的直方曲线图的曲线斜率就越小；因为不同灰度图像的线性斜率/>的取值范围不同，将线性斜率的取值范围进行归一化，以应对不同灰度图像的线性斜率/>的取值范围的需要，归一化后的线性斜率：
；
其中，为线性斜率首次缩放后的取值范围内的最大线性斜率，/>的取值范围为/>；
曲线斜率和归一化后的线性斜率的值成反比，归一化后的线性斜率越大，曲线斜率越小；归一化后的线性斜率越小，曲线斜率越大，建立斜率关系模型，该斜率关系模型为线性灰度图像的灰度直方图所对应的直方曲线图的曲线斜率和线性斜率的关系模型，该斜率关系模型为：
；
其中，为归一化的线性斜率，/>为线性灰度图像的灰度直方图对应的直方曲线图的曲线斜率。
进一步的，所述的小样本遥感图像水体信息提取方法，所述通过边缘评估指标选择预处理图像输入边缘提取算子，得到丰富语义信息的边缘图像步骤中，所述边缘提取算子包括：
根据水体信息的特征，定义图像内水体信息的边缘密度为：
；
其中，M表示图像的长度，N表示图像的宽度，表示边缘图像中像素点（x,y）的值，/>=1表示边缘，/>=0表示背景，定义每个像素点的边缘密度为：
；其中G为边缘图像的大小。
进一步的，所述的小样本遥感图像水体信息提取方法，包括采用边缘提取算子对边缘图像进行边缘提取后，得到的边缘图像，对边缘图像的边缘密度，为了增强边缘提取算子的性能，通过平均梯度和信息熵作为评价指标，所述平均梯度定义公式为：
；
其中，为图像的平均梯度，/>为图像中像素点（x,y）的灰度值，/>和分别是关于/>的x方向和y方向的两阶差分值，根据公式可知，平均梯度越大时，图像边缘越容易分辨。
进一步的，所述的小样本遥感图像水体信息提取方法，所述信息熵定义公式为：
；
其中，为信息熵，信息熵越大，说明图像包含的边缘信息越多。
进一步的，所述的小样本遥感图像水体信息提取方法，所述通过调整双流神经网络模型的模型超参数，选择优化器与损失函数，提高训练模型的训练精度步骤中，所述训练模型包括：VGG16网络模型，利用VGG16网络模型对边缘图像进行特征提取，得到维度为H×W×C的空间特征，记为，其中，H为空间特征的高度，W为空间特征的宽度，C为空间特征的通道数；对空间特征从全局信息和多尺度空间信息进行不同尺度信息提取，在与原空间特征/>进行拼接，得到融合后的多尺度池化特征，记为/>；对特征/>进行全局平均池化操作，获取全局特征/>，其中，全局特征/>的第n个分量的计算方式为：
；
其中表示特征/>位置的标量值；
全局特征在经过全连接层后，得到特征/>，
；
w、b分别代表全连接层的权重参数和偏置项；
采用Sigmoid函数将全连接层的输出进行归一化处理，得到每张原始图像中每个标签属于当前图像的概率集合/>，最终得到原始图像的多标签分类后的类别标签。
本发明的有益效果：
本发明提出的小样本遥感图像水体信息提取方法相较于以往的深度学习图像分割方法，本项目可以克服深度学习必须使用庞大数据集进行训练模型精度的弊端，相较于以往的深度学习模型，本申请模型能够关注语义细节，对微小河流分支进行分割，同时本申请方法通过像素级操作提取水体区域，不需要如传统图像处理算法,通过繁多的图像特征信息界定阈值，且当水体像素与背景像素的差距较小时，仍能精确分割河流与背景，达到精确度较高的水体识别目的；
本发明提出的灰度化方法中先将原始图片中的图像经过RGB模型处理，生成用RGB数据代表的图像，以减少计算量，随后在灰度变化方法中，通过对取值区间进行限定，判断限定范围内的灰度直方图图像，有效减少试错次数，故本发明实施例对灰度线性变换的线性公式中截距和线性斜率的取值范围进行缩放，从而以得到最适合的线性公式，得到图像增强效果最好的线性灰度图像；
本发明提出的边缘提取算子，与传统得到经典算子和Canny算子做对比得出，在本申请的边缘提取算子中，在运算时间上略低于经典算子，明显低于采用双边滤波的Canny算子，表明在算法复杂程度上没有明显增加，平均梯度低于Canny算子，但也处于较高水平，说明检测到的边缘清晰完整，信息熵明显高于经典算子和Canny算子，在信息量上高于其他算子，说明检测到的边缘包含更多的信息，总体而言，本申请的方法在没有增加计算量的前提下，明显提高信息量，同时边缘的清晰度和完整度也有提升。
附图说明
图1为本发明的小样本遥感图像水体信息提取方法的流程图；
图2为本发明的小样本遥感图像水体信息提取方法的流程示意图；
图3为本发明的小样本遥感图像水体信息提取方法中灰度变化效果示意图；
图4为本发明的小样本遥感图像水体信息提取方法的双流网络模型的整体结构示意图。
具体实施方式
为了更加清楚完整的说明本发明的技术方案，下面结合附图对本发明作进一步说明。
请参考图1-图4，本发明提出一种小样本遥感图像水体信息提取方法；
在本实施方式中一种小样本遥感图像水体信息提取方法，包括：
S1：对原始图像进行预处理，图像预处理方法依次包含：灰度化、灰度变化、降噪和边缘提取；
S2：通过边缘评估指标选择预处理图像输入边缘提取算子，得到丰富语义信息的边缘图像；
S3：构造双流神经网络模型，将经过大型源域ImageNet数据集预训练学习丰富语义信息的模型参数迁移至双流骨架网络，使所述双流骨架网络具备知识先验；
S31：通过调整双流神经网络模型的模型超参数，选择优化器与损失函数，提高训练模型的训练精度；
S4：将具有丰富语义信息的边缘图像，与原始图像作为输入项，且通过边缘语义，优化水体提取边界。
在本实施例中，本申请首先对所获取到的遥感图像进行预处理，然后将预处理后的图像以及标签输入VGG-Mobile Net模型之中进行训练，其中，图像预处理方法包含：灰度化、灰度变换、降噪、边缘提取；模型由两个预训练骨干网络通过合理构造获得，训练完成后，将预处理后的遥感边缘图像与遥感图像输入到该模型中进行预测，得到最终的水体信息图像；其中，遥感数字图像成像过程中，会由于外部环境和内部系统等因素的干扰产生噪声，一般可以分为外部噪声和内部噪声。在图像采集过程中，因为天气(如雷电干扰)、宇宙中间电磁辐射等原因产生的噪声被称为外部噪声。内部噪声主要来源于两部分:一是光电子噪声，产生于图像从光子到电子的转换过程;二是电子噪声，处理信号时由阻性器件中电子随机热运动产生，对于不同类型的噪声需要不同的处理方法，在遥感图像中，噪声类型一般可以分为椒盐噪声和高斯噪声；一般情况下，噪声像素的灰度值会明显大于或者小于周围像素的灰度值，因此可以利用图像局部区域灰度值的统计特性(如均值、中值)去噪，首先求取待处理像素邻域区域内灰度值的均值、中值等，得到新的灰度值，然后将其赋给待处理像素，通过对整幅图像进行窗口扫描，达到去除噪声的目的；常用的滤除噪声方法有均值滤波、中值滤波等，在本实施例中，具体的采用K近邻均值滤波，K近邻均值滤波是边缘保持平滑滤波较为常用的方法，K近邻均值滤波的思想是找出待处理像素邻域内 K个与该邻域中心像素灰度值最接近的像素，然后取这K个像素的平均灰度值作为待处理像素的新值。K近邻均值滤波在去除高斯噪声、椒盐噪声时，对图像清晰度的保持具有很好效果。
在一个实施例中，对原始图像进行灰度化处理的方法包括：
对原始图片中的图像经过RGB模型处理，生成用RGB数据代表的图像；
对RGB数据图像进行灰度化得到灰度图像。
进一步的，在灰度化处理后进行灰度变化，灰度变化方法包括：
对所述灰度图像进行线性变换，得到线性灰度图像；线性变换的线性公式中截距的取值范围由所述灰度图像的灰度均值确定；
所述线性公式中线性斜率的取值范围由所述线性灰度图像的灰度直方图所对应的斜率关系模型和所述灰度图像的灰度均值确定，所述斜率关系模型为所述线性灰度图像的灰度直方图所对应的直方曲线图的曲线斜率和线性斜率的关系模型；遍历线性变换的线性公式中的所述线性斜率和所述截距，最终获取效果最好的灰度线性变化的效果图。
线性公式为：
；
其中，是线性变化后灰度图像的第/>个像素点的灰度值，/>是线性变化前灰度图像的第/>个像素点的灰度值，/>是线性公式中的线性斜率，/>是截距；
线性公式中线性斜率影响线性灰度变换后图像的对比度，截距/>影响线性灰度变换后图像的亮度，也即影响线性变换后图像的灰度，图像对比度越大，该图像的灰度直方图对应的直方曲线图的曲线斜率越小；图像对比度越小，该图像的灰度直方图对应的直方曲线图的曲线斜率越大，而线性斜率的取值影响图像的对比度，线性斜率/>越大，图像的对比度越大，则图像的灰度直方图所对应的直方曲线图的曲线斜率就越小；因为不同灰度图像的线性斜率/>的取值范围不同，将线性斜率的取值范围进行归一化，以应对不同灰度图像的线性斜率/>的取值范围的需要，归一化后的线性斜率：
；
其中，为线性斜率首次缩放后的取值范围内的最大线性斜率，/>的取值范围为/>；
曲线斜率和归一化后的线性斜率的值成反比，归一化后的线性斜率越大，曲线斜率越小；归一化后的线性斜率越小，曲线斜率越大，建立斜率关系模型，该斜率关系模型为线性灰度图像的灰度直方图所对应的直方曲线图的曲线斜率和线性斜率的关系模型，该斜率关系模型为：
；
其中，为归一化的线性斜率，/>为线性灰度图像的灰度直方图对应的直方曲线图的曲线斜率。
在本实施例中，为了解决常用的对灰度图像进行先行线性灰度化时小型公式中的斜率和截距的取值范围太大导致的遍历次数过大，计算量过大的问题；本发明实施例利用自然图像灰度化后的灰度图像的灰度均值、灰度线性变换后线性灰度图像的直方图对应的直方曲线图的曲线斜率和线性斜率得到灰度线性变换的线性公式中的截距和线性斜率的取值范围，该取值范围已经相对较小，遍历取值范围内的截距和线性斜率得到多张线性灰度图像，并根据线性灰度图像的灰度直方图的特征从多张线性灰度图像中选取出灰度增强图像，达到了减少遍历次数、提高计算速度的目的；同时灰度线性变换的线性公式随着线性斜率和截距的改变也会随之改变，对于同一张灰度图像基于不同线性公式进行不同的灰度线性变换，不同的参数对应的线性公式不同，其对图像的改善程度也不一样，不同的参数即为线性斜率和截距；本发明实施例想要找到一个灰度线性变换后图像增强效果最好的图像，需要不断的遍历线性公式中的截距和线性斜率，而一个一个参数代入线性公式，再根据线性公式得到线性灰度图像，这个过程较为繁琐，因为参数的取值有很多个从而导致试错次数很大；我们可以对取值区间进行限定，判断限定范围内的灰度直方图图像，有效减少试错次数，故本发明实施例对灰度线性变换的线性公式中截距和线性斜率的取值范围进行缩放，从而以得到最适合的线性公式，得到图像增强效果最好的线性灰度图像。
在一个实施例中，所述通过边缘评估指标选择预处理图像输入边缘提取算子，得到丰富语义信息的边缘图像步骤中，所述边缘提取算子包括：
根据水体信息的特征，定义图像内水体信息的边缘密度为：
；
其中，M表示图像的长度，N表示图像的宽度，表示边缘图像中像素点（x,y）的值，/>=1表示边缘，/>=0表示背景，定义每个像素点的边缘密度为：
；
其中G为边缘图像的大小。
包括采用边缘提取算子对边缘图像进行边缘提取后，得到的边缘图像，对边缘图像的边缘密度，为了增强边缘提取算子的性能，通过平均梯度和信息熵作为评价指标，所述平均梯度定义公式为：
；
其中，为图像的平均梯度，/>为图像中像素点（x,y）的灰度值，/>和/>分别是关于/>的x方向和y方向的两阶差分值，根据公式可知，平均梯度越大时，图像边缘越容易分辨。
所述信息熵定义公式为：
；
其中，为信息熵，信息熵越大，说明图像包含的边缘信息越多。
在本实施例中，与传统得到经典算子和Canny算子做对比得出，在本申请的边缘提取算子中，在运算时间上略低于经典算子，明显低于采用双边滤波的Canny算子，表明在算法复杂程度上没有明显增加，平均梯度低于Canny算子，但也处于较高水平，说明检测到的边缘清晰完整，信息熵明显高于经典算子和Canny算子，在信息量上高于其他算子，说明检测到的边缘包含更多的信息，总体而言，本申请的方法在没有增加计算量的前提下，明显提高的信息量，同时边缘的清晰度和完整度也有提升。
在一个实施例中，在通过调整双流神经网络模型的模型超参数，选择优化器与损失函数，提高训练模型的训练精度步骤中，所述训练模型包括：VGG16网络模型，利用VGG16网络模型对边缘图像进行特征提取，得到维度为H×W×C的空间特征，记为，其中，H为空间特征的高度，W为空间特征的宽度，C为空间特征的通道数；对空间特征从全局信息和多尺度空间信息进行不同尺度信息提取，在与原空间特征/>进行拼接，得到融合后的多尺度池化特征，记为/>；对特征/>进行全局平均池化操作，获取全局特征/>，其中，全局特征/>的第n个分量的计算方式为：
；
其中表示特征/>位置的标量值；
全局特征在经过全连接层后，得到特征/>，
；
w、b分别代表全连接层的权重参数和偏置项；
采用Sigmoid函数将全连接层的输出进行归一化处理，得到每张原始图像中每个标签属于当前图像的概率集合/>，最终得到原始图像的多标签分类后的类别标签。
在另一个实施例中，预训练骨干网络是采用双分支融合的结构，如图4所示；原始图像分支采用VGG16作为基本骨架，构建了5个不同尺度特征输出层，并侧输出尺度特征，边缘图像分支采用ResNet50作为基本骨架，构建了通过四个跳级连接结构组成的语义特征输出层，最终将所有输出特征进行融合（fuse)预测；图中左右两侧分别为基本骨架ResNet50与VGG16模型；边框代表指定的卷积特征提取层，除融合不同大小的立方体所代表尺寸与注释信息一一对应；各立方块上方数字代表卷积层通道数；各箭头代表不同的模型操作。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同物限定。
当然，本发明还可有其它多种实施方式，基于本实施方式，本领域的普通技术人员在没有做出任何创造性劳动的前提下所获得其他实施方式，都属于本发明所保护的范围。
Claims (8)
1.一种小样本遥感图像水体信息提取方法，其特征在于，包括：
对原始图像进行预处理，图像预处理方法依次包含：灰度化、灰度变化、降噪和边缘提取；
通过边缘评估指标选择预处理图像输入边缘提取算子，得到丰富语义信息的边缘图像；
构造双流神经网络模型，将经过大型源域ImageNet数据集预训练学习丰富语义信息的模型参数迁移至双流骨架网络，使所述双流骨架网络具备知识先验；
通过调整双流神经网络模型的模型超参数，选择优化器与损失函数，提高训练模型的训练精度；
将具有丰富语义信息的边缘图像，与原始图像作为输入项，且通过边缘语义，优化水体提取边界。
2.根据权利要求1所述的小样本遥感图像水体信息提取方法，其特征在于，所述灰度化包括：
对原始图片中的图像经过RGB模型处理，生成用RGB数据代表的图像；
对RGB数据图像进行灰度化得到灰度图像。
3.根据权利要求2所述的小样本遥感图像水体信息提取方法，其特征在于，所述灰度变化包括：
对所述灰度图像进行线性变换，得到线性灰度图像；所述线性变换的线性公式中截距的取值范围由所述灰度图像的灰度均值确定；
所述线性公式中线性斜率的取值范围由所述线性灰度图像的灰度直方图所对应的斜率关系模型和所述灰度图像的灰度均值确定，所述斜率关系模型为所述线性灰度图像的灰度直方图所对应的直方曲线图的曲线斜率和线性斜率的关系模型；遍历线性变换的线性公式中的所述线性斜率和所述截距，最终获取效果最好的灰度线性变化的效果图。
4.根据权利要求3所述的小样本遥感图像水体信息提取方法，其特征在于，所述线性公式为：
；
其中，是线性变化后灰度图像的第/>个像素点的灰度值，/>是线性变化前灰度图像的第/>个像素点的灰度值，/>是线性公式中的线性斜率，/>是截距；
线性公式中线性斜率影响线性灰度变换后图像的对比度，截距/>影响线性灰度变换后图像的亮度，也即影响线性变换后图像的灰度，图像对比度越大，该图像的灰度直方图对应的直方曲线图的曲线斜率越小；图像对比度越小，该图像的灰度直方图对应的直方曲线图的曲线斜率越大，而线性斜率/>的取值影响图像的对比度，线性斜率/>越大，图像的对比度越大，则图像的灰度直方图所对应的直方曲线图的曲线斜率就越小；因为不同灰度图像的线性斜率/>的取值范围不同，将线性斜率的取值范围进行归一化，以应对不同灰度图像的线性斜率/>的取值范围的需要，归一化后的线性斜率：
；
其中，为线性斜率首次缩放后的取值范围内的最大线性斜率，/>的取值范围为；
曲线斜率和归一化后的线性斜率的值成反比，归一化后的线性斜率越大，曲线斜率越小；归一化后的线性斜率越小，曲线斜率越大，建立斜率关系模型，该斜率关系模型为线性灰度图像的灰度直方图所对应的直方曲线图的曲线斜率和线性斜率的关系模型，该斜率关系模型为：
；
其中，为归一化的线性斜率，/>为线性灰度图像的灰度直方图对应的直方曲线图的曲线斜率。
5.根据权利要求1所述的小样本遥感图像水体信息提取方法，其特征在于，所述通过边缘评估指标选择预处理图像输入边缘提取算子，得到丰富语义信息的边缘图像步骤中，所述边缘提取算子包括：
根据水体信息的特征，定义图像内水体信息的边缘密度为：
；
其中，M表示图像的长度，N表示图像的宽度，表示边缘图像中像素点（x,y）的值，/>=1表示边缘，/>=0表示背景，定义每个像素点的边缘密度为：
；
其中G为边缘图像的大小。
6.根据权利要求5所述的小样本遥感图像水体信息提取方法，其特征在于，包括采用边缘提取算子对边缘图像进行边缘提取后，得到的边缘图像，设置边缘图像的边缘密度为，为了增强边缘提取算子的性能，通过平均梯度和信息熵作为评价指标，所述平均梯度定义公式为：
；
其中，为图像的平均梯度，/>为图像中像素点（x,y）的灰度值，/>和分别是关于/>的x方向和y方向的两阶差分值，根据公式可知，平均梯度越大时，图像边缘越容易分辨。
7.根据权利要求6所述的小样本遥感图像水体信息提取方法，其特征在于，所述信息熵定义公式为：
；
其中，为信息熵，信息熵越大，说明图像包含的边缘信息越多。
8.根据权利要求1所述的小样本遥感图像水体信息提取方法，其特征在于，所述通过调整双流神经网络模型的模型超参数，选择优化器与损失函数，提高训练模型的训练精度步骤中，所述训练模型包括：VGG16网络模型，利用VGG16网络模型对边缘图像进行特征提取，得到维度为H×W×C的空间特征，记为，其中，H为空间特征的高度，W为空间特征的宽度，C为空间特征的通道数；对空间特征从全局信息和多尺度空间信息进行不同尺度信息提取，在与原空间特征/>进行拼接，得到融合后的多尺度池化特征，记为/>；对特征/>进行全局平均池化操作，获取全局特征/>，其中，全局特征/>的第n个分量的计算方式为：
；
其中表示特征/>位置的标量值；
全局特征在经过全连接层后，得到特征/>，
；
w、b分别代表全连接层的权重参数和偏置项；
采用Sigmoid函数将全连接层的输出进行归一化处理，得到每张原始图像中每个标签属于当前图像的概率集合/>，最终得到原始图像的多标签分类后的类别标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732786.5A CN116486273B (zh) | 2023-06-20 | 2023-06-20 | 一种小样本遥感图像水体信息提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732786.5A CN116486273B (zh) | 2023-06-20 | 2023-06-20 | 一种小样本遥感图像水体信息提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116486273A true CN116486273A (zh) | 2023-07-25 |
| CN116486273B CN116486273B (zh) | 2023-09-01 |
Family
ID=87227174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310732786.5A Active CN116486273B (zh) | 2023-06-20 | 2023-06-20 | 一种小样本遥感图像水体信息提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486273B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958122A (zh) * | 2023-08-24 | 2023-10-27 | 北京东远润兴科技有限公司 | Sar图像评估方法、装置、设备及可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610141A (zh) * | 2017-09-05 | 2018-01-19 | 华南理工大学 | 一种基于深度学习的遥感图像语义分割方法 |
| CN109359725A (zh) * | 2018-10-24 | 2019-02-19 | 北京周同科技有限公司 | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 |
| CN109800736A (zh) * | 2019-02-01 | 2019-05-24 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
| CN110415236A (zh) * | 2019-07-30 | 2019-11-05 | 深圳市博铭维智能科技有限公司 | 一种基于双流神经网络的复杂地下管道的异常检测方法 |
| CN110781775A (zh) * | 2019-10-10 | 2020-02-11 | 武汉大学 | 一种多尺度特征支持的遥感影像水体信息精确分割方法 |
| CN111860353A (zh) * | 2020-07-23 | 2020-10-30 | 北京以萨技术股份有限公司 | 基于双流神经网络的视频行为预测方法、装置及介质 |
| US11099275B1 (en) * | 2020-04-29 | 2021-08-24 | Tsinghua University | LiDAR point cloud reflection intensity complementation method and system |
| CN113298837A (zh) * | 2021-07-27 | 2021-08-24 | 南昌工程学院 | 一种图像边缘提取方法、装置、存储介质及设备 |
| WO2022052367A1 (zh) * | 2020-09-10 | 2022-03-17 | 中国科学院深圳先进技术研究院 | 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质 |
| US11521377B1 (en) * | 2021-10-26 | 2022-12-06 | Nanjing University Of Information Sci. & Tech. | Landslide recognition method based on laplacian pyramid remote sensing image fusion |
| CN115760814A (zh) * | 2022-11-25 | 2023-03-07 | 山东师范大学 | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 |
-
2023
- 2023-06-20 CN CN202310732786.5A patent/CN116486273B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610141A (zh) * | 2017-09-05 | 2018-01-19 | 华南理工大学 | 一种基于深度学习的遥感图像语义分割方法 |
| CN109359725A (zh) * | 2018-10-24 | 2019-02-19 | 北京周同科技有限公司 | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 |
| CN109800736A (zh) * | 2019-02-01 | 2019-05-24 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
| CN110415236A (zh) * | 2019-07-30 | 2019-11-05 | 深圳市博铭维智能科技有限公司 | 一种基于双流神经网络的复杂地下管道的异常检测方法 |
| CN110781775A (zh) * | 2019-10-10 | 2020-02-11 | 武汉大学 | 一种多尺度特征支持的遥感影像水体信息精确分割方法 |
| US11099275B1 (en) * | 2020-04-29 | 2021-08-24 | Tsinghua University | LiDAR point cloud reflection intensity complementation method and system |
| CN111860353A (zh) * | 2020-07-23 | 2020-10-30 | 北京以萨技术股份有限公司 | 基于双流神经网络的视频行为预测方法、装置及介质 |
| WO2022052367A1 (zh) * | 2020-09-10 | 2022-03-17 | 中国科学院深圳先进技术研究院 | 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质 |
| CN113298837A (zh) * | 2021-07-27 | 2021-08-24 | 南昌工程学院 | 一种图像边缘提取方法、装置、存储介质及设备 |
| US11521377B1 (en) * | 2021-10-26 | 2022-12-06 | Nanjing University Of Information Sci. & Tech. | Landslide recognition method based on laplacian pyramid remote sensing image fusion |
| CN115760814A (zh) * | 2022-11-25 | 2023-03-07 | 山东师范大学 | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| QIQING LI; JIANWEN MA; HASIBAGAN; XIUZHEN HAN;: "《Spectral and spatial feature integrated method for edge information extraction from high resolution remote sensing image》", 《IGARSS 2003. 2003 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM. PROCEEDINGS (IEEE CAT. NO.03CH37477)》 * |
| 张建; 王智宏; 温坚: "《微小尺寸精度图像处理检测系统的研究》", 《仪器仪表学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958122A (zh) * | 2023-08-24 | 2023-10-27 | 北京东远润兴科技有限公司 | Sar图像评估方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116486273B (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
| CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
| CN113610024B (zh) | 一种多策略的深度学习遥感影像小目标检测方法 | |
| CN113516126A (zh) | 一种基于注意力特征融合的自适应阈值场景文本检测方法 | |
| CN116486273B (zh) | 一种小样本遥感图像水体信息提取方法 | |
| CN117197686A (zh) | 一种基于卫星影像的高标准农田地块边界自动识别方法 | |
| CN111275732B (zh) | 一种基于深度卷积神经网络的前景对象图像分割方法 | |
| CN116630971A (zh) | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 | |
| CN112070717A (zh) | 基于图像处理的输电线路覆冰厚度检测方法 | |
| CN115033721A (zh) | 基于大数据的图像检索方法 | |
| CN112800968B (zh) | 一种基于hog分块的特征直方图融合对饮水区域猪的身份识别办法 | |
| CN115700737A (zh) | 一种基于视频监控的溢油检测方法 | |
| CN117475327A (zh) | 一种城市中基于遥感图像的多目标检测定位方法和系统 | |
| CN108537266A (zh) | 一种深度卷积网络的织物纹理疵点分类方法 | |
| CN115457611B (zh) | 一种基于特征解耦网络的静脉识别方法 | |
| CN114663658B (zh) | 一种具备跨域迁移能力的小样本aoi表面缺陷检测方法 | |
| CN116228795A (zh) | 一种基于弱监督学习的超高分辨率医学图像分割方法 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| Li et al. | A novel convolutional neural network for pavement crack segmentation | |
| CN111784584A (zh) | 一种基于深度学习的绝缘子遥感影像超分辨率方法 | |
| Chen | Applications research of improved genetic algorithm in image denoising | |
| CN118071749B (zh) | 一种钢材表面缺陷检测模型的训练方法及系统 | |
| Ying | Image detail enhancement method of advertisement logo based on visual communication | |
| Didenko et al. | Thermal Image Super-Resolution Methods Using Neural Networks. | |
| CN115861134B (zh) | 一种天基背景下星图处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |