CN112288744B - 基于整型推理量化cnn的sar图像变化检测方法 - Google Patents

基于整型推理量化cnn的sar图像变化检测方法 Download PDF

Info

Publication number
CN112288744B
CN112288744B CN202011407382.1A CN202011407382A CN112288744B CN 112288744 B CN112288744 B CN 112288744B CN 202011407382 A CN202011407382 A CN 202011407382A CN 112288744 B CN112288744 B CN 112288744B
Authority
CN
China
Prior art keywords
integer
quantization
inference
layer
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011407382.1A
Other languages
English (en)
Other versions
CN112288744A (zh
Inventor
王蓉芳
王良
陈佳伟
尚荣华
焦李成
冯婕
刘波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Publication of CN112288744A publication Critical patent/CN112288744A/zh
Application granted granted Critical
Publication of CN112288744B publication Critical patent/CN112288744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于整型推理量化CNN的SAR图像变化检测方法，其步骤为：(1)生成源域SAR图像的训练集；(2)构建整型推理量化卷积神经网络；(3)利用整型推理量化算法，对整型推理量化卷积神经网络进行模拟量化训练；(4)对待检测的SAR图像进行检测。本发明引入整型推理量化算法，在训练过程中将特征值和权重值由32位浮点型数据转换为低比特的整型数据，在不影响变化检测正确率的前提下，降低变化检测对计算资源的要求，促进变化检测算法在通用的嵌入式移动平台中的应用优点。可对农作物的生长、城市的规划布局、自然灾害等进行监测。

Description

基于整型推理量化CNN的SAR图像变化检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及雷达图像处理技术领域中的一种基于整型推理量化CNN(卷积神经网络，Convolutional Neural Network)的SAR(合成孔径雷达，Synthetic Aperture Radar)图像变化检测方法。本发明利用两幅时相图和差异图作为整型推理量化CNN的输入，用于检测来自同一区域的两幅合成孔径雷达SAR图像中的区域性差异，可在灾情分析、农业调查、资源监测、打击效果评估等民用核军用邻域进行监测。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)图像变化检测(ChangeDetection,CD)通过对同一场景在不同时间获取的两幅或者多幅SAR图像进行对比，分析图像间的差异，从而获得所需的变化信息。决策者可通过识别出的变化信息，根据具体应用，做出进一步的决策指导。SAR具有高分辨率、全天候、全天时、不受大气和日照条件影响的成像优势，是变化检测数据的主要来源。SAR图像变化检测技术在灾情分析、农业调查、资源监测、打击效果评估等民用和军用领域有着十分广阔的应用前景。传统的变化检测方法主要包括三步：影像预处理、生成差异图以及对差异图进行分析，从而获得最终的二值变化检测图。生成差异图最常用的方法是对数比值(Log-Ratio，LR)算子，和基于LR算子的改进方法。但这种基于像素点的差异图构造方法容易受到相干斑噪声和配准误差的影响。而且对于经典的三步流程变化检测方法，检测结果的精度对预处理和差异图的依赖很大。如果在预处理以及产生差异图的过程中造成信息损失，尤其是一些微弱变化的区域，一旦丢失会导致后续的步骤都无法检测出该位置的变化信息。
西北工业大学在其申请的专利文献“基于双通道卷积神经网络的多时相SAR图像变化检测方法”(专利申请号：2016103016867，申请公布号：CN106023154A)中提出一种基于双通道卷积神经网络的多时相SAR图像变化检测方法。该方法的步骤是：首先构造出两个结构相同的CNN模型。然后随机挑选部分样本点，人为标定这些样本点的变化检测结果，将这些样本点和标定检测结果作为训练CNN的训练数据。最后使用训练好的CNN对未分类的样本进行变化检测获得最终的变化检测结果。该方法存在的不足之处在于，在训练深度神经网络时只考虑提高变化检测的正确率，为了获取更高的SAR图像变化检测正确率，必然将网络模型设计的过于复杂，带来的计算资源高消耗，而导致SAR图像变化检测技术无法在内存和计算资源受限的嵌入式移动平台中进行应用。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出了一种基于整型推理量化CNN的SAR图像变化检测方法，用于解决现有技术中模型过于复杂而导致计算资源高消耗的不足。
实现本发明目的的技术思路是：现有技术在实现对SAR图像的变化检测过程中，为了追求高的变化检测正确率，增加卷积神经网络的深度，导致模型过于复杂对计算资源高消耗。通常卷积神经网络的特征值和权重值均为32位浮点型数据，导致训练好的卷积神经网络对输入的待检测的SAR图像进行变化检测时，基于32位浮点型数据的神经网络模型存储内存过大对计算资源的消耗过高。本发明方法利用整型推理量化算法，在训练过程中，对搭建的CNN变化检测网络进行整型推理量化，将量化前的32位浮点型的网络参数整型推理量化为低比特的整型数据，在保持变化检测精度的前提下，降低模型的规模，促进变化检测算法在通用的嵌入式移动平台中的应用。
本发明的具体步骤包括如下：
(1)生成源域SAR图像的训练集：
(1a)读入同一地区不同时间的两幅SAR图像并依次对其进行配准和几何校正，得到预处理后的图像I1和I2；
(1b)利用对数比值LR公式，计算预处理后的两幅图像I1和I2中相同位置像素的差异值，将所有像素的差异值组成差异图ID；
(1c)利用归一化公式，对图像I1、I2和ID分别进行最大最小归一化处理，得到归一化处理之后的图像R1、R2和RD；
(1d)分别以归一化处理后的图像R1、R2和RD中每一个像素点为中心，取其相邻11×11个像素组成的像素块，再将图像R1、R2和RD的像素块在第三维度进行堆叠操作，组成矩阵大小为11×11×3的样本集；
(1e)利用基于边界的样本选择方法，选取出边界集、变化集和非变化集中的样本个数，将所有的样本组成源域训练集；
(2)构建整型推理量化卷积神经网络：
搭建一个由输入层、9个串联的模块和一个输出层组成的整型推理量化卷积神经网络；其中:
第1个模块的结构依次为：整型推理量化卷积层，批量归一化层和非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为64个，卷积核大小设置为3×3；
第2个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为64个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2；
第3个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为128个，卷积核大小设置为3×3；
第4个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为128个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2；
第5个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层、，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3；
第6个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3；
第7个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2；
第8个模块的结构依次为：整型推理量化全连接层和非线性激活ReLU层；
第9个模块的结构依次为：整型推理量化全连接层和非线性激活ReLU层；
(3)利用整型推理量化算法，对整型推理量化卷积神经网络进行模拟量化训练：
(3a)设置整型推理量化卷积神经网络模型训练参数如下：
将整型推理量化卷积神经网络的学习率设置为0.0001；
将整型推理量化卷积神经网络的批处理大小设置为512；
将整型推理量化卷积神经网络的损失函数设置为交叉熵损失函数；
将整型推理量化卷积神经网络的优化算法设置为误差反向播算法；
(3b)将训练集中的所有样本依次输入到整型推理量化卷积神经网络中的输入层，第1模块中的整型推理量化卷积层对输入的每个样本进行32位浮点型卷积操作，统计输出的特征图的均值μ和方差σ，利用参数合并公式，合并第1模块中的整型推理量化卷积层的当前权重值和量归一化层当前的可学习参数，得到合并后的权重值，利用整型推理量化算法，将第1模块中的整型推理量化卷积层中的32位浮点型数据的特征图和合并后的权重值分别量化为低比特的整型数据，进行低比特整型数据卷积操作；
(3c)采用与步骤(3b)相同的方法，整型推理量化卷积神经网络中第2、3、4、5、6、7模块中的整型推理量化卷积层依次对上一层整型推理量化卷积层输出的特征图做前向推理操作，
(3d)将第7模块输出的特征图输入到第8模块中的整型推理量化全连接层，利用整型推理量化算法，将第8模块中的整型推理量化全连接层的权重值和输入的特征图量化为低比特的整型数据，得到输入特征图和权重值进行第8模块中的整型推理量化全连接层计算操作后的低比特整型数据输出，将第8模块中的整型推理量化全连接层的输出作为第8模块中的非线性激活ReLU层的输入，第8模块中的非线性激活ReLU层的输出作为第9模块中的整型推理量化全连接层的输入，利用整型推理量化算法，执行与第8模块中的整型推理量化全连接层中同样的操作，非线性激活ReLU层的输出经过一个Softmax函数得到整型推理量化卷积神经网络的输出；
(3e)在反向传播过程中，整型推理量化卷积神经网络的所有参数仍保存为32为浮点型数据，利用梯度下降算法，更新整型推理量化神经网络的所有参数，直至整型推理量化卷积神经网络收敛，整型推理量化卷积神经网络的训练结束，利用整型推理量化算法，对所有的权重参数进行一次整型量化操作，得到训练好的整型推理量化卷积神经网络；
(4)对待检测的SAR图像进行检测：
采用与步骤(1a)至步骤(1d)相同的方法，对待检测的目标域SAR图像进行处理，将处理后的目标域数据输入到训练好的整型推理量化卷积神经网络中，输出变化检测性能检测指标。
本发明与现有技术相比具有以下优点：
由于本发明利用整型推理量化算法，对整型推理量化卷积神经网络进行模拟量化训练，在保持同等精度的条件下，通过压缩、编码等方式减小网络规模，降低模型尺寸，克服了现有技术中模型过于复杂而导致计算资源高消耗的不足，使得本发明可实现在内存和计算资源受限的嵌入式移动平台中进行SAR图像变化检测。
附图说明
图1为本发明的流程图；
图2为本发明的结果图，其中，图2(a)为本发明待检测的SAR图像的参考图，图2(b)为未进行整型推理量化时的变化检测结果图，图2(c)为进行十六位整型推理量化时的变化检测结果图，图2(d)为进行八位整型推理量化时的变化检测结果图，图2(e)为四位整型推理量化时的变化检测结果图。
具体实施方式
下面结合附图对本发明做进一步描述。
参照图1，对本发明的实施步骤做进一步描述。
步骤1，生成源域SAR图像的训练集。
第1步，读入同一地区不同时间的两幅SAR图像并依次对其进行配准和几何校正，得到预处理后的图像I1和I2。
第2步，利用对数比值LR公式，计算预处理后的两幅图像I1和I2中相同位置像素的差异值，将所有像素的差异值组成差异图ID。所述的对数比值LR公式如下：
ID＝abs(log(I1+1)-log(I2+1))
其中，log(·)表示取其对数值操作，abs(·)表示取绝对值操作。
第3步，利用归一化公式，对图像I1、I2和ID分别进行最大最小归一化处理，得到归一化处理之后的图像R1、R2和RD。所述的归一化公式如下：
Figure BDA0002812480310000061
其中，R表示归一化处理后的SAR图像，I表示归一化处理前的SAR图像，max(·)和min(·)分别表示取最大值和最小值操作。
第4步，分别以归一化处理后的图像R1、R2和RD中每一个像素点为中心，取其相邻11×11个像素组成的像素块，再将图像R1、R2和RD的像素块在第三维度进行堆叠操作，组成矩阵大小为11×11×3的样本集。
利用基于边界的样本选择方法，选取出边界集、变化集和非变化集中的样本个数，将所有的样本组成源域训练集。
所述基于边界的样本选择方法的步骤如下：
第1步，通过Canny边缘检测算法，提取源域参考图的参考图的变化与非变化的边界；
第2步，对变化与非变化边界进行膨胀处理，将膨胀处理之后得到的膨胀区域定义为边界集ΩB、参考图中非边界集的变化区域定义为变化集ΩC、参考图中非边界集的非变化区域定义为非变化集ΩU；
第3步，利用下述的样本选择公式，分别选取边界集、变化集和非变化集中的样本个数：
Figure BDA0002812480310000062
Figure BDA0002812480310000063
SNu＝SN-SNB-SNC
其中，SNB、SNC、SNU分别表示边界集、变化集和非变化集中样本的个数，SN表示源域训练样本的总数，|·|表示分别求边界集、变化集、非变化集中样本个数的操作，NS表示参考图中像素点的总数。
步骤2，构建整型推理量化卷积神经网络。
搭建一个由输入层、9个串联的模块和一个输出层组成的整型推理量化卷积神经网络；其中：
第1个模块的结构依次为：整型推理量化卷积层，批量归一化层和非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为64个，卷积核大小设置为3×3。
第2个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为64个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2。
第3个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为128个，卷积核大小设置为3×3。
第4个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为128个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2。
第5个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层、，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3。
第6个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3。
第7个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2。
第8个模块的结构依次为：整型推理量化全连接层和非线性激活ReLU层。
第9个模块的结构依次为：整型推理量化全连接层和非线性激活ReLU层。
步骤3，利用整型推理量化算法，对整型推理量化卷积神经网络进行模拟量化训练。
设置整型推理量化卷积神经网络模型训练参数如下：
将整型推理量化卷积神经网络的学习率设置为0.0001。
将整型推理量化卷积神经网络的批处理大小设置为512。
将整型推理量化卷积神经网络的损失函数设置为交叉熵损失函数。
将整型推理量化卷积神经网络的优化算法设置为误差反向播算法。
将训练集中的所有样本依次输入到整型推理量化卷积神经网络中的输入层，第1模块中的整型推理量化卷积层对输入的每个样本进行32位浮点型卷积操作，统计输出的特征图的均值μ和方差σ，利用参数合并公式，合并第1模块中的整型推理量化卷积层的当前权重值和量归一化层当前的可学习参数，得到合并后的权重值，利用整型推理量化算法，将第1模块中的整型推理量化卷积层中的32位浮点型数据的特征图和合并后的权重值分别量化为低比特的整型数据，进行低比特整型数据卷积操作。
所述的参数合并公式如下：
Figure BDA0002812480310000081
Figure BDA0002812480310000082
其中，W'表示合并后的权重值，γ，β表示批量归一化层的可学习参数，ε表示避免分子为0的一个常量，W表示合并前的权重值，b'表示合并后的偏差。所述的整型推理量化算法是由下述公式实现的：
Figure BDA0002812480310000083
Figure BDA0002812480310000084
其中，q表示整型推理量化卷积神经网络中的第1、2、3、4、5、6、7模块中的整型推理量化卷积层和第8、9模块中的整型推理量化全连接层的特征值和权重值经过整型推理量化后的整型数据，n表示量化为整型数据的位数，r表示整型推理量化卷积神经网络中的第1、2、3、4、5、6、7模块中的整型推理量化卷积层和第8、9模块中的整型推理量化全连接层的特征值和权重值未经过整型推理量化前的浮点型数据，round(·)表示就近取整操作，S表示量化尺度系数；
所述量化尺度系数S是由下式计算得到的：
Figure BDA0002812480310000085
其中，abs(·)表示对数据取绝对值操作，rmax、rmin表示整型推理量化卷积神经网络中的第1、2、3、4、5、6、7模块中的整型推理量化卷积层和第8、9模块中的整型推理量化全连接层的特征值和权重值未经过整型推理量化前的浮点型数据中的最大值和最小值。
采用与第1模块中相同的操作方法，整型推理量化卷积神经网络中第2、3、4、5、6、7模块中的整型推理量化卷积层依次对上一层整型推理量化卷积层输出的特征图做前向推理操作。
将第7模块输出的特征图输入到第8模块中的整型推理量化全连接层，利用整型推理量化算法，将第8模块中的整型推理量化全连接层的权重值和输入的特征图量化为低比特的整型数据，得到输入特征图和权重值进行第8模块中的整型推理量化全连接层计算操作后的低比特整型数据输出，将第8模块中的整型推理量化全连接层的输出作为第8模块中的非线性激活ReLU层的输入，第8模块中的非线性激活ReLU层的输出作为第9模块中的整型推理量化全连接层的输入，利用整型推理量化算法，执行与第8模块中的整型推理量化全连接层中同样的操作，非线性激活ReLU层的输出经过一个Softmax函数得到整型推理量化卷积神经网络的输出。
在反向传播过程中，整型推理量化卷积神经网络的所有参数仍保存为32为浮点型数据，利用梯度下降算法，更新整型推理量化神经网络的所有参数，直至整型推理量化卷积神经网络收敛，整型推理量化卷积神经网络的训练结束，利用整型推理量化算法，对所有的权重参数进行一次整型量化操作，得到训练好的整型推理量化卷积神经网络。
步骤4，对待检测的目标域SAR图像进行检测。
采用与步骤1中第1步至第4步相同的方法，对待检测的目标域SAR图像进行处理，将处理后的目标域数据输入到训练好的整型推理量化卷积神经网络中，输出变化检测性能检测指标。
下面结合仿真实验对本发明效果做进一步说明。
1.仿真实验条件：
本发明的仿真实验平台采用Intel i9-9700k CPU处理器、3.6GHz主频、64G内存、2×NVIDIA GTX1080Ti显卡，运行Ubuntu14.04版本64位系统的PC机，软件平台为Pytorch，编程语言为Python语言。
2.仿真内容与结果分析：
本发明仿真实验中的源域训练样本是采用本发明步骤1的方法由包括时相1和时相2的黄河农田A图生成。黄河农田A图的数据集是通过加拿大Radarsat-2卫星分别在2008年6月(时相1)和2009年6月(时相2)在黄河入海口地区获得的，和两张图像的分辨率均为8米，两张图像的尺寸大小均为291×306个像素。
利用步骤2构建整型推理量化卷积神经网络模型。
利用步骤3整型推理量化算法，对整型数据的位数分别采用32位浮点型数据、16位整型数据、8位整型数据、4位整型数据对整型推理量化卷积神经网络进行模拟量化训练。
本发明仿真实验中的目标域数据是采用本发明步骤4的方法由包括时相1和时相2的黄河农田B图生成，其变化检测参考图如图2(a)所示，其大小为350×400个像素。黄河农田B图的数据集是通过加拿大Radarsat-2卫星分别在2008年6月(时相1)和2009年6月(时相2)在黄河入海口地区获得的，两张图像的分辨率均为8米，两张图像的尺寸大小均为350×400个像素。将处理后的目标域数据输入到训练好的整型推理量化卷积神经网络中，输出变化检测性能检测指标，得到变化检测结果图。其中，图2(b)为本发明采用32位浮点型数据对黄河农田B的变化检测的结果图,其大小为350×400个像素；图2(c)为本发明采用16位整型数据对黄河农田B的变化检测的结果图，其大小为350×400个像素；图2(d)为本发明采用8位整型数据对黄河农田B的变化检测的结果图，其大小为350×400个像素；图2(e)为本发明采用4位整型数据对黄河农田B的变化检测的结果图，其大小为350×400个像素；
下面结合图2的结果图对本发明的效果做进一步的描述。
由图2(b)、2(c)、2(d)和2(e)可以看出，16位整型数据、8位整型数据、4位整型数据相比32位浮点型数据获得的变化检测结果，从视觉效果图没有明显的差异，证明本发明的变化检测效果在进行整型推理量化前后，所提出的整型推理量化，将32位浮点型数据整型推理量化为16位、8位、4位的整型数据，对变化检测性能指标无明显降低，并降低了模型尺寸。
下面利用3个评价指标(FP，FN，Kappa系数)分别对本发明提出的16位、8位、4位整型数据整型推理量化卷积神经网络和32位浮点型数据整型推理量化卷积神经网络获得的变化检测结果进行一个量化评价。FP表示在参考图中属于非变化类，但在变化检测结果图中将像素点错分为变化类的个数；FN表示在参考图中属于变化类，但在变化检测结果图中将像素点错分为非变化类的个数；TP表示参考图属于变化类，检测结果也属于变化类的样本点个数；TN表示参考图属于非变化类，检测结果也属于非变化类的样本点个数；Kappa系数用于衡量实际的变化检测结果图与参考图的一致性程度，Kappa系数排除了偶然一致的情况，比简单的一致百分比更加鲁棒，能够比较客观地衡量检测结果与参考图的一致的程度。当Kappa系数越接近于1时，表示分类性能越好。利用下面公式，计算Kappa系数，将所有计算结果绘制成表1：
Kappa系数的计算公式如下：
Figure BDA0002812480310000111
其中，PRA表示实际的一致率，PRE表示理论的一致率，其计算公式如下：
Figure BDA0002812480310000112
Figure BDA0002812480310000113
其中，N表示SAR图像总像素点数。
表1.本发明仿真实验获得的变化检测结果一览表
方法 FP FN Kappa系数
32位浮点型数据 769 3591 81.75
16位整型数据 797 3584 81.68
8位整型数据 816 3470 82.16
4位整型数据 585 3813 81.34
结合表1可以看出，8位整型数据的Kappa系数为82.16，高于32位浮点型数据的Kappa系数，16位整型数据、4位整型数据的Kappa系数为81.75、81.34略低于32位浮点型数据的Kappa系数，证明本发明在不明显损失变化检测性能指标的前提下，可以利用整型推理量化算法对变化检测模型的参数进行整型推理量化，降低变化检测模型参数的复杂度。
以上仿真实验表明：本发明方法利用整型推理量化算法，在训练过程中，对搭建的CNN变化检测网络进行整型推理量化，将量化前的32位浮点型网络参数整型推理量化为低比特的整型数据，解决了现有技术方法中存在的模型过于复杂而导致计算资源高消耗的问题，本发明方法利用整型推理量化算法，在训练过程中，对搭建的CNN变化检测网络进行整型推理量化，将量化前的32位浮点型的网络参数整型推理量化为低比特的整型数据，在保持SAR图像变化检测精度的前提下，降低模型的规模，促进变化检测算法在通用的嵌入式移动平台中的应用，是一种有效的SAR图像变化检测方法。

Claims (4)

1.一种基于整型推理量化CNN的SAR图像变化检测方法，其特征在于，利用整型推理量化算法，对构建的卷积神经网络进行模拟量化训练，将整型推理量化卷积神经网络的特征值和权重值量化为低比特的整型数据保存；该方法的步骤包括如下：
(1)生成源域SAR图像的训练集：
(1a)读入同一地区不同时间的两幅SAR图像并依次对其进行配准和几何校正，得到预处理后的图像I1和I2；
(1b)利用对数比值LR公式，计算预处理后的两幅图像I1和I2中相同位置像素的差异值，将所有像素的差异值组成差异图ID；
(1c)利用归一化公式，对图像I1、I2和ID分别进行最大最小归一化处理，得到归一化处理之后的图像R1、R2和RD；
(1d)分别以归一化处理后的图像R1、R2和RD中每一个像素点为中心，取其相邻11×11个像素组成的像素块，再将图像R1、R2和RD的像素块在第三维度进行堆叠操作，组成矩阵大小为11×11×3的样本集；
(1e)利用基于边界的样本选择方法，选取出边界集、变化集和非变化集中的样本个数，将所有的样本组成源域训练集；
所述基于边界的样本选择方法的步骤如下：
第一步，通过Canny边缘检测算法，提取源域参考图的参考图的变化与非变化的边界；
第二步，对变化与非变化边界进行膨胀处理，将膨胀处理之后得到的膨胀区域定义为边界集ΩB、参考图中的非边界集的变化区域定义为变化集ΩC、参考图中非边界集的非变化区域定义为非变化集ΩU；
第三步，利用下述的样本选择公式，分别选取边界集、变化集和非变化集中的样本个数：
Figure FDA0003972943340000021
Figure FDA0003972943340000022
SNu＝SN-SNB-SNC
其中，SNB、SNC、SNU分别表示边界集、变化集和非变化集中样本的个数，SN表示源域训练样本的总数，|·|表示分别求边界集、变化集、非变化集中样本个数的操作，NS表示参考图中像素点的总数；
(2)构建整型推理量化卷积神经网络：
搭建一个由输入层、9个串联的模块和一个输出层组成的整型推理量化卷积神经网络；其中：
第1个模块的结构依次为：整型推理量化卷积层，批量归一化层和非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为64个，卷积核大小设置为3×3；
第2个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为64个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2；
第3个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为128个，卷积核大小设置为3×3；
第4个模块的结构依次为：整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为128个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2；
第5个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层、，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3；
第6个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3；
第7个模块的结构依次为整型推理量化卷积层、批量归一化层、非线性激活ReLU层、最大池化层，将整型推理量化卷积层的卷积核个数设置为256个，卷积核大小设置为3×3，最大池化层的池化窗口大小设置为2×2；
第8个模块的结构依次为：整型推理量化全连接层和非线性激活ReLU层；
第9个模块的结构依次为：整型推理量化全连接层和非线性激活ReLU层；
(3)利用整型推理量化算法，对整型推理量化卷积神经网络进行模拟量化训练：
(3a)设置整型推理量化卷积神经网络模型训练参数如下：
将整型推理量化卷积神经网络的学习率设置为0.0001；
将整型推理量化卷积神经网络的批处理大小设置为512；
将整型推理量化卷积神经网络的损失函数设置为交叉熵损失函数；
将整型推理量化卷积神经网络的优化算法设置为误差反向播算法；
(3b)将训练集中的所有样本依次输入到整型推理量化卷积神经网络中的输入层，第1模块中的整型推理量化卷积层对输入的每个样本进行32位浮点型卷积操作，统计输出的特征图的均值μ和方差σ；利用参数合并公式，合并第1模块中的整型推理量化卷积层的当前权重值和量归一化层当前的可学习参数，得到合并后的权重值；利用整型推理量化算法，将第1模块中的整型推理量化卷积层中的32位浮点型数据的特征图与合并后的权重值分别量化为低比特的整型数据，进行低比特整型数据卷积操作；
所述参数合并公式如下：
Figure FDA0003972943340000031
Figure FDA0003972943340000032
其中，W'表示合并后的权重值，γ，β表示批量归一化层的可学习参数，ε表示避免分子为0的一个常量，W表示合并前的权重值，b'表示合并后的偏差；
(3c)采用与步骤(3b)相同的方法，整型推理量化卷积神经网络中第2、3、4、5、6、7模块中的整型推理量化卷积层依次对上一层整型推理量化卷积层输出的特征图做前向推理操作；
(3d)将第7模块输出的特征图输入到第8模块中的整型推理量化全连接层，利用整型推理量化算法，将第8模块中的整型推理量化全连接层的权重值和输入的特征图量化为低比特的整型数据，得到输入特征图和权重值进行第8模块中的整型推理量化全连接层计算操作后的低比特整型数据输出；将第8模块中的整型推理量化全连接层的输出作为第8模块中的非线性激活ReLU层的输入，第8模块中的非线性激活ReLU层的输出作为第9模块中的整型推理量化全连接层的输入，利用整型推理量化算法，执行与第8模块中的整型推理量化全连接层中同样的操作，非线性激活ReLU层的输出经过一个Softmax函数得到整型推理量化卷积神经网络的输出；
(3e)在反向传播过程中，整型推理量化卷积神经网络的所有参数仍保存为32为浮点型数据，利用梯度下降算法，更新整型推理量化神经网络的所有参数，直至整型推理量化卷积神经网络收敛，整型推理量化卷积神经网络的训练结束，利用整型推理量化算法，对所有的权重参数进行一次整型量化操作，得到训练好的整型推理量化卷积神经网络；
(4)对待检测的SAR图像进行检测：
采用与步骤(1a)至步骤(1d)相同的方法，对待检测的目标域SAR图像进行处理，将处理后的目标域数据输入到训练好的整型推理量化卷积神经网络中，输出变化检测性能检测指标。
2.根据权利要求1所述的基于整型推理量化CNN的SAR图像变化检测方法，其特征在于，步骤(1b)中所述的对数比值LR公式如下：
ID＝abs(log(I1+1)-log(I2+1))
其中，log(·)表示取其对数值操作，abs(·)表示取绝对值操作。
3.根据权利要求1所述的基于整型推理量化CNN的SAR图像变化检测方法，其特征在于，步骤(1c)中所述的归一化公式如下：
Figure FDA0003972943340000041
其中，R表示归一化处理后的SAR图像，I表示归一化处理前的SAR图像，max(·)和min(·)分别表示取最大值和最小值操作。
4.根据权利要求1所述的基于整型推理量化CNN的SAR图像变化检测方法，其特征在于，步骤(3b)、步骤(3d)中所述整型推理量化算法是由下述公式实现的：
Figure FDA0003972943340000051
Figure FDA0003972943340000052
其中，q表示整型推理量化卷积神经网络中的第1、2、3、4、5、6、7模块中的整型推理量化卷积层和第8、9模块中的整型推理量化全连接层的特征值和权重值经过整型推理量化后的整型数据，n表示量化为整型数据的位数，r表示整型推理量化卷积神经网络中的第1、2、3、4、5、6、7模块中的整型推理量化卷积层和第8、9模块中的整型推理量化全连接层的特征值和权重值未经过整型推理量化前的浮点型数据，round(·)表示就近取整操作，S表示量化尺度系数：
所述的所述量化尺度系数S是由下式计算得到的：
Figure FDA0003972943340000053
其中，abs(·)表示对数据取绝对值操作，rmax、rmin表示整型推理量化卷积神经网络中的第1、2、3、4、5、6、7模块中的整型推理量化卷积层和第8、9模块中的整型推理量化全连接层的特征值和权重值未经过整型推理量化前的浮点型数据中的最大值和最小值。
CN202011407382.1A 2020-08-24 2020-12-02 基于整型推理量化cnn的sar图像变化检测方法 Active CN112288744B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010856561 2020-08-24
CN2020108565617 2020-08-24

Publications (2)

Publication Number Publication Date
CN112288744A CN112288744A (zh) 2021-01-29
CN112288744B true CN112288744B (zh) 2023-04-07

Family

ID=74425921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011407382.1A Active CN112288744B (zh) 2020-08-24 2020-12-02 基于整型推理量化cnn的sar图像变化检测方法

Country Status (1)

Country Link
CN (1) CN112288744B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177471A (zh) * 2021-04-28 2021-07-27 Oppo广东移动通信有限公司 动作检测方法、装置、电子设备及存储介质
CN116524322B (zh) * 2023-04-10 2024-07-12 北京盛安同力科技开发有限公司 基于深度神经网络的sar图像识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794729A (zh) * 2015-05-05 2015-07-22 西安电子科技大学 基于显著性引导的sar图像变化检测方法
CN108765465A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 一种无监督sar图像变化检测方法
CN108846381A (zh) * 2018-07-06 2018-11-20 西安电子科技大学 基于最大边缘度量学习的sar图像变化检测方法
CN109902745A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种基于cnn的低精度训练与8位整型量化推理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620093B2 (en) * 2010-03-15 2013-12-31 The United States Of America As Represented By The Secretary Of The Army Method and system for image registration and change detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794729A (zh) * 2015-05-05 2015-07-22 西安电子科技大学 基于显著性引导的sar图像变化检测方法
CN108765465A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 一种无监督sar图像变化检测方法
CN108846381A (zh) * 2018-07-06 2018-11-20 西安电子科技大学 基于最大边缘度量学习的sar图像变化检测方法
CN109902745A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种基于cnn的低精度训练与8位整型量化推理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep Learning for Change Detection in Remote Sensing Images;Lazhar Khelifi等;《IEEE Access 》;20200708;全文 *
Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation;Hao Wu等;《arXiv》;20200420;全文 *
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference;Benoit Jacob等;《arXiv》;20171215;全文 *
结合深度学习和超像元的高分遥感影像变化检测;王艳恒等;《中国图象图形学报》;20200616;全文 *

Also Published As

Publication number Publication date
CN112288744A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112836610B (zh) 一种基于遥感数据的土地利用变化与碳储量定量估算方法
CN113128134B (zh) 一种矿区生态环境演变驱动因子权重量化分析方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN110427654B (zh) 一种基于敏感状态的滑坡预测模型构建方法及系统
CN112288744B (zh) 基于整型推理量化cnn的sar图像变化检测方法
CN115439654B (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN107895136B (zh) 一种煤矿区域识别方法及系统
CN118332521B (zh) 一种基于粒子群优化随机森林的地壳形变时序模拟方法
CN107680081B (zh) 基于卷积神经网络的高光谱图像解混方法
CN113673599A (zh) 一种基于校正原型学习的高光谱影像分类方法
CN113096070A (zh) 一种基于MA-Unet的图像分割方法
CN116879192B (zh) 基于卫星遥感数据的水华预测方法、装置、设备及介质
CN111027508A (zh) 一种基于深层神经网络的遥感图像覆被变化检测方法
CN110490061A (zh) 一种遥感影像特征的不确定性建模与度量方法
CN117451639A (zh) 一种基于遥感数据的水体叶绿素浓度反演方法
CN116129280B (zh) 一种遥感影像雪检测的方法
CN107358625A (zh) 基于SPP Net和感兴趣区域检测的高分辨SAR图像变化检测方法
CN116701875A (zh) 一种特高压交流输电线路可听噪声概率预测方法及系统
CN116229288A (zh) 基于无人机多光谱影像的城市河道tsm浓度反演方法
CN115909332A (zh) 一种基于通道特征加强的农业遥感图像语义分割方法
CN112819813B (zh) 一种地下管线智能识别方法、装置及存储介质
CN116934603A (zh) 测井曲线缺失段补全方法、装置、存储介质及电子设备
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN110751632B (zh) 基于卷积神经网络的多尺度图像质量检测方法
CN118521008A (zh) 基于深度学习注意力机制的玉米产量预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant