CN109886238A - 基于语义分割的无人机航拍图像变化检测算法 - Google Patents
基于语义分割的无人机航拍图像变化检测算法 Download PDFInfo
- Publication number
- CN109886238A CN109886238A CN201910155274.0A CN201910155274A CN109886238A CN 109886238 A CN109886238 A CN 109886238A CN 201910155274 A CN201910155274 A CN 201910155274A CN 109886238 A CN109886238 A CN 109886238A
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- picture
- image
- domain
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 118
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 230000008859 change Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 claims description 9
- 235000013399 edible fruits Nutrition 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000007480 spreading Effects 0.000 claims description 5
- 238000003892 spreading Methods 0.000 claims description 5
- 238000011160 research Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000000153 supplemental effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明的基于语义分割的无人机航拍图像变化检测算法，利用无人机在两个不同时间段对同一地点进行拍摄采集图像数据，获得原始图片，其特征在于包括如下步骤：S1、制作标签编码集；S2、制作训练集；S3、训练生成语义分割网络；S4、获得两张语义分割结果图；S5、获得变化检测结果。本发明的算法充分利用到了图像的语义级别的特征，由于构造了一些辅助训练集训练，使得训练出来的网络能学到一些广义的特征，最终的检测效果也比利用传统的手工特征精度要高；本发明的方法最终变化结果除了可以判断是否发生了变化外，还可以检测出变化的类别，目前可以识别出16种变化类别，更符合实际研究问题中针对变化检测的一些需求。
Description
技术领域
本发明属于无人机航拍影像处理技术领域，具体涉及基于语义分割的无人机航拍图像变化检测算法。
背景技术
变化检测是通过对地物或者现象进行多次观测从而识别其状态变化的过程，目前多时相影像的变化检测技术已经广泛的应用到土地调查，城市研究，生态系统检测，灾害检测等应用中。
目前为止，主流的变化检测框架主要有两类，一种是基于像素点的变化检测算法，这种主要是通过对同一地区两个不同时间的图像进行逐像素点的比较生成差异图，然后对生成的差异图进行图像分割的操作，最后得到变化结果图。这类方法一般直观，快速，但是对于噪声特别敏感，而且只能反映变化和未变化的信息图。第二类方法是基于目标的变化检测算法，这类算法主要是基于图像的光谱特性，纹理，大小和其他拓扑特征将图像划分成许多小区域，然后再对这些小区域进行比较得到最终的变化结果。这类方法由于首先对图像进行了分割，所以对像素点噪声的没有那么敏感，同时由于考虑到了周围像素之间的特征关系，所以一般来说精度会比第一类算法高。但是这种方法对分割结果过于依赖，同时由于都是基于对象的检测，对细节的保留往往做的不够好。
现有专利201610163983.X《基于深度学习和SIFI特征的SAR图像变化检测》主要是利用尺度不变特征变化方法提取图像的SIFT特征，然后将SIFT特征作为样本训练一个神经网络，利用传统的影像代数法得到特征差异图，提取差异图中每个像素的邻域特征来作为测试数据，输入到训练好的神经网络中进行测试，输出最终的变化检测结果；主要的流程是读入影像-影像归一化-构造训练特征-将特征降维并输入到深度神经网络中-计算两幅图像的对数比值差异图像-构造对数比值差异图像的领域特征样本矩阵-检测对数比值差异图像-输出检测类别；该发明主要是利用了SIFT特征对于图像噪声的稳定性，克服了SAR图像斑点噪声的影响，提高了SAR图像变化检测的准确率；该发明虽然利用到了神经网络，但是它的输入特征主要还是用的传统的SIFT特征，没有利用到图像的语义级别的特征，图像的语义级别是指算法在对图像中要素分类的时候就知道像素所代表的实际地物，知道它的语义信息，而不是像传统方法那样分出类别后靠人再去定义每个类别是什么，网络结构也是简单的受限玻尔兹曼机，没有完全发挥深度神经网络在图像处理上面的优势。同时该发明最终的结果还是只能识别出变化的区域，即判断是否发生了变化，无法识别出变化的类别。
发明内容
针对现有技术的不足要解决的问题有两点，一是充分利用神经网络在图像处理当中的优势，提高变化检测的精度，二是能端到端的识别出典型地物的变化形式，即在不需要人工交互的情况下，自动的识别变化区域的类别。
为实现上述目的，本发明提供基于语义分割的无人机航拍图像变化检测算法，利用无人机在两个不同时间段对同一地点进行拍摄采集图像数据，获得原始图片，其特征在于包括如下步骤：
S1、制作标签编码集：对原始图片进行标注获得带标签编码的图片；
S2、制作训练集：对带标签编码的图片进行数据预处理，得到输入到语义分割网络中进行训练的训练集图片；
S3、训练生成语义分割网络：将预处理好的的图片送入到设计的语义分割网络中进行语义分割操作，生成训练好的语义分割网络模型文件；
S4、获得两张语义分割结果图：将待检测的两个时间段的图片分别输入到S3步骤训练好的语义分割网络模型中，得到两张语义分割结果图；该结果作为后续变化判断的基本条件；
S5、获得变化检测结果：经过S4步骤的处理后，每个相时的图像都会得到一个语义级别的分割结果，即图像中每一个像素都会有对应的一个标签编码，对每个像素的标签编码进行对比，做分类后的变化检测，得到变化检测结果。
具体地，所述步骤S1中对原始图片进行标注获得带标签编码的图片的具体方法为：
打开航拍图片，使用图片标注软件进行地物勾画分类，将原始图片上所有像素分成预先设定好的类别，并生成一张带有标注记号的新图片，将不同类别的像素以不同的数据进行保存。
进一步地，所述步骤S2中对带标签编码(标签编码)的图片进行数据预处理的具体方法包括如下步骤：
步骤21：随机裁剪原图和带标签编码的图片，(因为无人机图像通常像素级别都很大(通常为4864×3648)，无法直接用于语义分割网络训练，所以)首先要先将图像进行随机裁剪，裁剪成合适数量(354张+1张)的合适(224×224)大小的图片，无法整处的剩余部分做补零处理继续生成1张设定合适(224×224)大小图片；
步骤22：图片进行数据增强，为了增强语义分割网络的鲁棒性以及语义分割网络的训练精度，我们对裁剪好的图片进行数据增强，具体操作有随机Gamma变换、旋转、模糊、随机添加噪声中的一种或几种的组合；
S23、获取验证集，对带标签编码的图片进行数据预处理后的图片构成的训练集中获取其中的设定合适比例数量的图片做为验证集，用来后续选择最佳的语义分割网络。
具体地，所述步骤S3中生成训练好的语义分割网络模型的具体方法包括如下步骤：
S31、对基于DenseASPP的网络模型进行改进，首先初始化网络的所有参数；
S32、将训练集输入到设计好的网络中进行训练，其中网络包括一个基础卷积网络之后衔接一个多级扩张卷积层，其感受野采用3
×3的核(Kernel)来作为扩张基准，其扩张率d<24；基础网络输入图片大小为合适的设定值(224×224)，通过各级扩张卷积组合，特征图上的神经元再对多个尺度的语义信息做标签编码，其中不同的中级特征图对来自不同尺度的信息做标签编码，最终输出非常密集覆盖大范围语义信息的特征；
其标签编码结果存放在与该图一样尺寸的全零辅助图片中；
优化函数选择批次梯度下降法Batch Gradient Descent，Batch大小设置为合适的数值，网络迭代合适的次数进行训练；
S33、每次训练用之前步骤S2获取的验证集来测试网络，每次迭代保存验证精度最高的参数模型作为最佳模型。
具体地，所述步骤S4中，得到两张语义分割结果图的具体方法包括如下步骤：
S41、图像读取，读入需要检测的两个时间段的的无人机采集的原始图像；
S42、图像处理，将输入图像进行边界补零的操作，使得长和高都是设定尺寸(224)的整数倍。然后以一定的步长裁剪成一张张设定尺寸(224×224)大小的图片，同时生成一个与该图一样尺寸的全零辅助图片，用来存放预测的结果；
S43、图像的语义分割，将裁剪好的图像依次送入到训练好的模型进行预测，经过基础网络处理后数据可以表示DenseASPP全连接后的结果：
其中，di为扩张率，di∈{3,6,12,18,24},i＝1,2,3,4,5，是扩张卷积层，h是隐藏层的感受野，下标3代表3×3卷积，x代表当前隐藏层的神经节点，k代表卷积核；
然后将网络输出的预测结果存放在相对应的辅助图片位置上，依次进行直到预测完整张大图，保证原图和标签编码对应；最后再对图像进行切割，切割成原先图片的尺寸来完成整个预测的流程。
具体地，所述步骤S5中，获得变化检测结果的具体方法如下：
经过步骤S4后，需要预测的两张图片中的每个像素都有了对应的标签编码，标签编码主要通过生成特定的图像，在该图像中，每个像素存储的数值代表原始图像中该像素位置所属类别，使用时可以通过读取该标签编码图像，并将所得数值根据标签编码列表进行对照，即根据需要的研究目标，对两张图片中每个像素进行逐一对比，得出变化检测结果。
优选地，在所述步骤S5之前还包括获取兴趣域图步骤，其中包含原始图像中兴趣域的连通域信息；
所述步骤S5中对每个像素的标签编码进行对比，做分类后的变化检测的具体方法包括如下步骤：
结合步骤S4得到的两张语义分割结果图和得到的原始图像中兴趣域图，包含兴趣域的连通域信息图，对兴趣域图做像素级比对判断，目的是提高分割结果即两张语义分割结果图的置信度，得到变化检测结果，具体比对判断方法为：根据步骤S4得到的两张语义分割结果图与得到的原始图像中兴趣域的连通域信息图做结果匹配，若连通域信息图同时存在于两张语义分割结果图和兴趣域图中，即标志两张语义分割结果图(表达的图像信息)的置信度高；若连通域信息图在两张语义分割结果图中而不在兴趣域图中也标记为高置信度结果，若连通域信息图不在两张语义分割结果图中在兴趣域图中，再根据角点去判断其几何关系是否符合兴趣域场景在获得带标签编码的图片中已被标记的内容，符合，即标记为高置信度结果，不符合则弃置；并将所得两张语义分割结果图与获取到的兴趣域图进行对照，即根据兴趣域的变化得出最终的变化检测结果。
进一步地，获取兴趣域的连通域的方法如下：
使用传统图像算法，根据原始图像的灰度图筛选出兴趣域的连通域。
本发明主要是受到图像语义分割的启发，通常的语义分割的任务主要应用于小场景的语义分割，比如说分割出车辆、行人、沙发、窗户等一些小型目标，通过语义分割，每个目标会自动的获取一个标签编码，传统分割方式包含阈值分割(即定义阈值，将低于差值高于阈值的像素进行分割)、边缘分割(先进行轮廓检测，然后基于轮廓进行分割)、直方图分割(构建影像直方图，根据直方图波峰波谷进行分割)等方法，与前述传统的分割方相比，本发明的分割结果具有更多的语义信息，即是指除了将具有相同性质的像素分割到一起，同时还知道所分割像素集合所代表的实际要素。本发明的出发点就是更深入地发挥深度学习神经网络在语义理解方面的能力，利用航拍大数据学习强大和通用的场景变化检测模型。
本发明实现上述目的的思路是：将传统的小场景的语义分割网络移植到航拍影像的语义分割当中，小场景语义分割网络就是指通常用来进行常规图像分割的网络结构，小场景语义分割网络和本发明的语义分割网络它们只是处理的数据集不同，网络结构是相同的；所述移植就是指借用了小场景语义分割的方法，是在应用上进行了拓展；本发明首先需要解决的是训练集问题，目前只有少数标注的数据集，所以采用自行标注的办法，通过软件践行地物勾画分类，人为的增加大量数据集来提高我们网络的训练精度，然后通过对经典的语义分割网络结果进行微调，微调指根据网络训练精度，调整神经网络的学习率、衰减等参数，以及添加dropout层以降低过拟合等，使其适用于航拍影像的语义分割，因航拍影像的拍摄角度、尺度等因素与常规图像具有较大不同，使用现有网络不能对其正确分类，所以通过网络训练及微调，使模型能够在航拍数据上也获得较好的效果，即更高的分类精度；只需要把两段时间的图片(前后不同时间、相同空间位置的图像)分别送入到我们训练好的神经网络当中，就可以输出每个图像的像素级别的分类，即图片中的每个像素点都会有一个对应的类别标签编码(标签编码)。最后再对两张图片进行分类后比较法，得出变化的区域以及变化的类别。
总之，本发明的方法充分利用到了图像的语义级别的特征，由于构造了一些辅助训练集训练，使得训练出来的网络能学到一些广义的特征，最终的检测效果也比利用传统的手工特征精度要高；本发明的方法最终变化结果除了可以判断是否发生了变化外，还可以检测出变化的类别，目前可以识别出16种变化类别，更符合实际研究问题中针对变化检测的一些需求。
附图说明
图1为本发明的实施例1算法流程示意图；
图2为本发明的实施例2算法流程示意图；
图3为给出的一组用本发明的实施例2所述的算法处理的样本的前一时间点(时相1)原始图的示意图；
图4为给出的一组用本发明的实施例2所述的算法处理的样本的前一时间点(时相1)语义分割结果的示意图；
图5为给出的一组用本发明的实施例2所述的算法处理的样本的后一时间点(时相2)原始图的示意图；
图6为给出的一组用本发明的实施例2所述的算法处理的样本的后一时间点(时相2)语义分割结果的示意图；
图7为给出的一组用本发明的实施例2所述的算法处理的样本的后一时间点(时相2)兴趣域的示意图；
图8为给出的一组用本发明的实施例2所述的算法处理的样本的变化结果图的示意图。
其中1-蓝布模拟的违章扩建建筑；对判断违章扩建建筑进行模拟判断。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
图1为本实施例的基于语义分割的无人机航拍图像变化检测算法流程示意图，本发明提供基于语义分割的无人机航拍图像变化检测算法，利用无人机在两个不同时间段(时相1和时相2)对同一地点进行拍摄采集图像数据，获得原始图片，通过本发明的算法处理后的输出图片结果不受无人机采集图像时从不同角度、不同经纬度采集的数据的影响，其特征在于包括如下步骤：
S1、制作标签编码集：对原始图片进行标注获得带标签编码的图片；
S2、制作训练集：对带标签编码的图片进行数据预处理，得到输入到语义分割网络中进行训练的训练集图片；图片的数量在10000张-100000张之间，本实施例中为50000张。
S3、训练生成语义分割网络：将预处理好的的图片送入到设计的语义分割网络中进行语义分割操作，生成训练好的语义分割网络模型文件；
S4、获得两张语义分割结果图：将待检测的两个时间段的图片分别输入到S3步骤训练好的语义分割网络模型中，得到两张语义分割结果图；该两张语义分割结果图作为后续变化判断的基本条件；
S5、获得变化检测结果：经过S4步骤的处理后，每个相时的图像都会得到一个语义级别的分割结果，即图像中每一个像素都会有对应的一个标签编码，对每个像素的标签编码进行对比，做分类后的变化检测，得到变化检测结果。
所述步骤S1中对原始图片进行标注获得带标签编码的图片的具体方法为：
打开航拍图片，使用图片进行地物勾画分类，标注软件具体为PYTHON的labelme工具包，将原始图片上所有像素分成预先设定好的类别，并生成一张带有标注记号的新图片，将不同类别的像素以不同的数据(就是标签编码)进行保存。本实施例中每一个像素都会有对应的一个标签编码(或标签编码类别)，具体为0-4类别中的一个，其中植被标注为1类别，建筑标注为2类别，水体标注为3类别，道路标注为4类别，其余地物视为背景标注为0类别。
所述步骤S2中对带标签编码的图片进行数据预处理的具体方法为包括如下步骤：
步骤21：随机裁剪原图和带标签编码的图片，因为无人机图像通常像素级别都很大，本实施例中为4864×3648，无法直接用于语义分割网络训练，所以首先要先将图像进行随机裁剪，裁剪成合适数量的合适大小的图片，无法整除的剩余部分做补零处理继续生成1张合适大小的图片(本实施例中为224×224)；本实施例中图片合适数量为354张加1张，确定数量原则与原始航拍图像大小有关，原始图像越大，裁剪成的数量越多，反之越小；本实施例中合适大小的图片为224×224，确定大小原则是一般将图像大小变成2的整数冥，例如：32×32、64×64、128×128等，不要太大。
步骤S22：图片进行数据增强，为了增强语义分割网络的鲁棒性以及语义分割网络的训练精度，我们对裁剪好的图片进行数据增强，具体操作有随机Gamma变换、旋转、模糊、随机添加噪声中的一种或几种的组合；本实施例中进行了随机Gamma变换、旋转、模糊。
S23、获取验证集，对带标签编码的图片进行数据预处理后的图片构成的训练集中获取其中的合适比例数量的图片做为验证集，用来后续选择最佳的语义分割网络。由于训练数据量限制，所以本实施例遵循7：3的经验拆分，7分用来训练模型，3分用来评估模型性能，本实施例合适比例为30％。其它实施例中可以为20％或25％或35％或40％，甚至更多。选择最佳的语义分割网络的方法可以通过人工调参，持续观察输出分割效果，最终确定分割网络，基本上是经验性的。
所述步骤S3中生成训练好的语义分割网络模型的具体方法包括如下步骤：
S31、对基于DenseASPP的网络模型进行改进，首先初始化网络的所有参数；
S32、将训练集输入到设计好的网络中进行训练，其中网络包括一个基础卷积网络之后衔接一个多级扩张卷积层，其感受野采用3×3的核(Kernel)来作为扩张基准，其扩张率d<24；基础网络输入图片大小为合适的设定值(224×224)，通过各级扩张卷积组合，特征图上的神经元再对多个尺度的语义信息做标签编码，所述标签编码就是前述的0-4，其中“植被”标注为1，“建筑”标注为2，“水体”标注为3，“道路”标注为4，“其余地物”视为背景标注为0；最终输出非常密集覆盖大范围语义信息的特征；
其标签编码结果存放在与该图一样尺寸的全零辅助图片中；
具体地，网络包括一个encoder网络以及一个对应的decoder网络来衔接像素级的分类层；这里的像素级分类层主要是指语义分割网络结构的decoder部分。encoder语义分割网络主要负责图像特征的提取，decoder语义分割网络则根据提取到的特征对特征向量进行分类以确定其所属类别，同时将分类结果根据保存的参数对应到原始图像的位置上，以获得像素的分类。encoder网络输入图片大小为224×224，经过13个卷积层和5个池化层以及添加的一个dropout层以降低过拟合后压缩成3×3(另一个实施例中为8×8)大小的特征图；然后decoder网络使用保存的最大池化索引上采样，得到稀疏的特征图；再将特征图与可训练的解码滤波器族卷积得到致密的特征图；最后再用一个softmax层输出多分类的结果，对每个像素进行分类；decoder网络包括13个卷积层，5个上采样层，一个层以及一个softmax层；
优化函数选择批次梯度下降法Batch Gradient Descent，Batch大小设置为合适的数值，网络迭代合适的次数进行训练；本实施例中大小设置为10，网络迭代20次进行训练；实际操作中，另外的实施例中会设置不同数字，试验观察输出效果，Batch可以设置5、6、7…20、21，甚至更大，网络迭代10、11…20、21，甚至更大，具体不固定，一切要看实际处理结果而定。
S33、每次训练用之前步骤S2获取的验证集来测试网络，每次迭代保存验证精度最高的参数模型作为最佳模型。
所述步骤S4中，得到两张语义分割结果图的具体方法包括如下步骤：
S41、图像读取，读入需要检测的两个时间段的的无人机采集的原始图像；
S42、图像处理，将输入图像进行边界补零的操作，使得长和高都是合适尺寸(本实施例中为224)的整数倍。然后以一定的步长裁剪成一张张合适尺寸(本实施例中为224×224)大小的图片，同时生成一个与该图一样尺寸的全零辅助图片，用来存放预测的结果；补零的操作是神经语义分割网络里的一项基本操作，主要是在输入图像经过卷积运算之后对像素进行填充，以防止特征图像尺寸越来越小；之所以进行补零(padding)操作是因为我们输入的航拍影像图像的尺寸比较大，而且长和宽都不一定刚好是尺寸224的整数倍，所以我们首先进行将图像边界补零的padding操作，使得长和宽都恰好是尺寸224的整数倍；
S43、图像的语义分割，将裁剪好的图像依次送入到训练好的模型进行预测，经过基础网络处理后数据可以表示DenseASPP全连接后的结果：
其中，di为扩张率，di∈{3,6,12,18,24},i＝1,2,3,4,5，是扩张卷积层，h是隐藏层的感受野，下标3代表3×3卷积，x代表当前隐藏层的神经节点，k代表卷积核；
然后将网络输出的预测结果存放在相对应的辅助图片位置上，依次进行直到预测完整张大图，保证原图和标签编码对应；最后再对padding操作完的大图进行切割，切割成原先图片的尺寸来完成整个预测(按顺序进行等步长的裁剪成224×224的小图后送入到语义分割网络之中)的流程。
所述步骤S5中，获得变化检测结果的具体方法如下：
经过步骤S4后，需要预测的两张图片中的每个像素都有了对应的标签编码，标签编码主要通过生成特定的图像，在该图像中，每个像素存储的数值代表原始图像中该像素位置所属类别，使用时可以通过读取该标签编码图像，并将所得数值根据标签编码列表进行对照，即根据需要的研究目标，对两张图片中每个像素进行逐一对比，得出变化检测结果。标签编码列表就是根据“植被”标注为1，“建筑”标注为2，“水体”标注为3，“道路”标注为4，“其余地物”视为背景标注为0，做的一个小表格，如表1所示：
表1
具体地，两张图片中每一个像素都会有对应的一个标签编码具体为0-4中的一个，对每个像素的标签编码0、1、2、3、4进行对比，得到检测结果；
实际操作中每个像素存储的标签编码即标签编码具体为0-4可以用不同的颜色替代，颜色在可视化的时进行自定义。本实施例中定义0-白色，1-绿色，2-砖红色，3-银色，4-深灰色。
本实施例的基于语义分割的无人机航拍图像变化检测算法还包括保存步骤：分别保存分割结果图，判断结果图，以及对比变化后的变化结果图。
目前可以识别出16种变化检测结果：植被-建筑，植被-道路，植被-水体，建筑-植被，建筑-道路，建筑-水体，道路-植被，道路-建筑，道路-水体，水体-植被，水体-建筑，水体-道路,植被新增，建筑新建，道路新建，水体新增；如表2所示：
表2
本发明的变化检测整个流程看似比较复杂，比如，进行数据标注(图片标签编码的标注)，网络训练都是比较耗时的过程，但是在实际应用中，不一定每次都需要进行整套的完整流程，具体来说，前三个步骤是预处理和网络训练部分，在准备阶段已经根据自己的训练集标注训练出了一个性能比较优秀的网络，由于神经网络学到的特征有很强的通用性，所以在已训练出了一个性能比较优秀的网络的情况下直接从第四个步骤(即图1中虚线矩形框所标注的区域)开始进行就能获得较好的检测效果。
当然，如果研究目的对当前区域的变化检测精度要求比较高时候，可以进行前三个步骤，人为的标注一小部分当前区域的图像，然后更新网络的模型使得网络对该区域的学习能力更强。
实施例2
图2为本实施例的基于语义分割的无人机航拍图像变化检测算法流程示意图，与实施例1相比较而言，本实施例的基于语义分割的无人机航拍图像变化检测算法不同之处在于所述步骤S5之前还包括获取兴趣域的连通域步骤：获得原始图像中兴趣域的连通域信息；
所述步骤S5中对每个像素的标签编码进行对比，做分类后的变化检测的具体方法与实施例1不同，包括如下步骤：
结合步骤S4得到的两张语义分割结果图和得到的原始图像中兴趣域图，包含兴趣域的连通域信息图，对兴趣域图做像素级比对判断(目的在于提高步骤S4得到的两张语义分割结果图的置信度)，得到变化检测结果，具体比对判断方法为：根据步骤S4得到的两张语义分割结果图与得到的原始图像中兴趣域的连通域信息图做结果匹配，若连通域信息图同时存在于两张语义分割结果图和兴趣域图中，即标志两张语义分割结果图的置信度高；若连通域信息图在两张语义分割结果图中而不在兴趣域图中也标记为高置信度结果，若连通域信息图不在两张语义分割结果图中在兴趣域图中，再根据角点去判断其几何关系是否符合兴趣域场景在获得带标签编码的图片中已被标记的内容，符合，即标记为高置信度结果，不符合则弃置；并将所得两张语义分割结果图与获取到的兴趣域图进行对照，即根据兴趣域的变化得出最终的变化检测结果。本实施例中实际操作中每个像素存储的标签编码即标签编码具体为0-4可以用不同的颜色替代，颜色在可视化的时进行自定义，本实施例中定义0-背景-白色，1-绿植-绿色，2-屋顶-砖红色，3-人行横道-黄色，4-车道-砖黄色，还包括5-兴趣域-蓝色。
所述的角点根据连通域中存储像素数组的下标以及图像的灰度值进行判断，例如，在二值图像的矩阵中，对于某个像素点，只要所在行或所在列其它点像素值为0，则将此点标记为角点，并将此点8邻域内的像素归纳为角点域。
具体获取兴趣域的连通域的方法如下：
使用传统图像算法，根据原始图像的灰度图筛选出兴趣域的连通域。获取连通域的方法具体如下：采用Two-Pass算法对图像连通域进行分析，初期设置像素阈值筛选出感兴趣目标的大致区域，接着将图像转置为灰度图像，用标签编码组记录下没有个像素点的灰度的变化度，之后备份一份图片，将备份的图片转置为二值图片，再用Two-Pass算法等价标签编码像素点之间的位置关系，例如，设在二值图中值为0的像素点q为起始点，q+1也为0的点与q相邻标记为1，将周边像素值为0的点遍历完，计数为q+n，则判定为q与q+n之间所有的像素都在同一区域，若灰度值接近，并且两个像素点之间的位置标签编码为在同一区域，则将这样判定为一个区域内的所有像素点作为结果输出存出在数组中，之后所有的域结果都从此结果数组进行查找。
本实施例的无人机航拍图像变化检测算法，还包括保存步骤：分别保存两张语义分割结果图和得到的原始图像中兴趣域图，判断结果图，以及对比变化后的变化结果图。
其余内容同实施例1。
图3-图8给出一组样本用实施例2所述的基于语义分割的无人机航拍图像变化检测算法处理结果的示意图，此处用蓝布模拟违章扩建建筑，对判断违章扩建建筑进行模拟判断。
Claims (11)
1.基于语义分割的无人机航拍图像变化检测算法，利用无人机在两个不同时间段对同一地点进行拍摄采集图像数据，获得原始图片，其特征在于包括如下步骤：
S1、制作标签集：对原始图片进行标注获得带标签的图片；
S2、制作训练集：对带标签的图片进行数据预处理，得到输入到语义分割网络中进行训练的训练集图片；
S3、训练生成语义分割网络：将预处理好的的图片送入到设计的语义分割网络中进行语义分割操作，生成训练好的语义分割网络模型文件；
S4、获得两张语义分割结果图：将待检测的两个时间段的图片分别输入到S3步骤训练好的语义分割网络模型中，得到两张语义分割结果图；该结果作为后续变化判断的基本条件；
S5、获得变化检测结果：经过S4步骤的处理后，每个相时的图像都会得到一个语义级别的分割结果，即图像中每一个像素都会有对应的一个标签，对每个像素的标签进行对比，做分类后的变化检测，得到变化检测结果。
2.根据权利要求1所述的无人机航拍图像变化检测算法，其特征在于，所述步骤S1中对原始图片进行标注获得带标签的图片的具体方法为：
打开航拍图片，使用图片标注软件进行地物勾画分类，将原始图片上所有像素分成预先设定好的类别，并生成一张带有标注记号的新图片，将不同类别的像素以不同的数据进行保存。
3.根据权利要求2所述的无人机航拍图像变化检测算法，其特征在于所述步骤S2中对带标签的图片进行数据预处理的具体方法包括如下步骤：
步骤21：随机裁剪原图和带标签的图片，首先要先将图像进行随机裁剪，裁剪成合适数量的合适大小的图片，无法整处的剩余部分做补零处理继续生成1张合适大小图片；
步骤S22：图片进行数据增强，为了增强语义分割网络的鲁棒性以及语义分割网络的训练精度，我们对裁剪好的图片进行数据增强，具体操作有随机Gamma变换、旋转、模糊、随机添加噪声中的一种或几种的组合；
S23、获取验证集，对带标签的图片进行数据预处理后的图片构成的训练集中获取其中的设定合适比例数量的图片做为验证集，用来后续选择最佳的语义分割网络。
4.根据权利要求1或3所述的无人机航拍图像变化检测算法，其特征在于所述步骤S3中生成训练好的语义分割网络模型文件的具体方法包括如下步骤：
S31、对基于DenseASPP的网络模型进行改进，首先初始化网络的所有参数；
S32、将训练集输入到设计好的网络中进行训练，其中网络包括一个基础卷积网络之后衔接一个多级扩张卷积层，其感受野采用3×3的核来作为扩张基准，其扩张率d<24；基础网络输入图片大小为合适的设定值，通过各级扩张卷积组合，特征图上的神经元再对多个尺度的语义信息做标签编码，其中不同的中级特征图对来自不同尺度的信息做标签编码，最终输出非常密集覆盖大范围语义信息的特征；
其标签结果存放在与该图一样尺寸的全零辅助图片中；
优化函数选择批次梯度下降法Batch Gradient Descent，Batch大小设置为合适的数值，网络迭代合适的次数进行训练；
S33、每次训练用之前步骤S2获取的验证集来测试网络，每次迭代保存验证精度最高的参数模型作为最佳模型。
5.根据权利要求4所述的无人机航拍图像变化检测算法，其特征在于所述步骤S4中，得到两张语义分割结果图的具体方法包括如下步骤：
S41、图像读取，读入需要检测的两个时间段的的无人机采集的原始图像；
S42、图像处理，将输入图像进行边界补零的操作，使得长和高都是合适尺寸的整数倍。然后以一定的步长裁剪成一张张合适尺寸大小的图片，同时生成一个与该图一样尺寸的全零辅助图片，用来存放预测的结果；
S43、图像的语义分割，将裁剪好的图像依次送入到训练好的模型进行预测，经过基础网络处理后数据可以表示DenseASPP全连接后的结果：
其中，di为扩张率，di∈{3,6,12,18,24},i＝1,2,3,4,5，是扩张卷积层，h是隐藏层的感受野，下标3代表3×3卷积，x代表当前隐藏层的神经节点，k代表卷积核；
然后将网络输出的预测结果存放在相对应的辅助图片位置上，依次进行直到预测完整张大图，保证原图和标签对应；最后再对图像进行切割，切割成原先图片的尺寸来完成整个预测的流程。
6.根据权利要求1、2、3、5所述的无人机航拍图像变化检测算法，其特征在于所述步骤S5中，获得变化检测结果的具体方法如下：
经过步骤S4后，需要预测的两张图片中的每个像素都有了对应的标签，标签主要通过生成特定的图像，在该图像中，每个像素存储的数值代表原始图像中该像素位置所属类别，使用时可以通过读取该标签图像，并将所得数值根据标签编码列表进行对照，即根据需要的研究目标，对两张图片中每个像素进行逐一对比，得出变化检测结果。
7.根据权利要求4所述的无人机航拍图像变化检测算法，其特征在于所述步骤S5中，获得变化检测结果的具体方法如下：
经过步骤S4后，需要预测的两张图片中的每个像素都有了对应的标签，标签主要通过生成特定的图像，在该图像中，每个像素存储的数值代表原始图像中该像素位置所属类别，使用时可以通过读取该标签图像，并将所得数值根据标签列表进行对照，即根据需要的研究目标，对两张图片中每个像素进行逐一对比，得出变化检测结果。
8.根据权利要求1或7所述的无人机航拍图像变化检测算法，其特征在于在所述步骤S5之前还包括获取兴趣域图步骤，其中包含原始图像中兴趣域的连通域信息；
所述步骤S5中对每个像素的标签进行对比，做分类后的变化检测的具体方法包括如下步骤：
结合步骤S4得到的两张语义分割结果图和得到的原始图像中兴趣域图，包含兴趣域的连通域信息图，对兴趣域图做像素级比对判断，目的是提高分割结果即两张语义分割结果图的置信度，得到变化检测结果，具体比对判断方法为：根据步骤S4得到的两张语义分割结果图与得到的原始图像中兴趣域的连通域信息图做结果匹配，若连通域信息图同时存在于两张语义分割结果图和兴趣域图中，即标志两张语义分割结果图的置信度高；若连通域信息图在两张语义分割结果图中而不在兴趣域图中也标记为高置信度结果，若连通域信息图不在两张语义分割结果图中在兴趣域图中，再根据角点去判断其几何关系是否符合兴趣域场景在获得带标签的图片中已被标记的内容，符合，即标记为高置信度结果，不符合则弃置；并将所得两张语义分割结果图与获取到的兴趣域图进行对照，即根据兴趣域的变化得出最终的变化检测结果。
9.根据权利要求6所述的无人机航拍图像变化检测算法，其特征在于在所述步骤S5之前还包括获取兴趣域图步骤，其中包含原始图像中兴趣域的连通域信息；
所述步骤S5中对每个像素的标签进行对比，做分类后的变化检测的具体方法包括如下步骤：
结合步骤S4得到的两张语义分割结果图和得到的原始图像中兴趣域图，包含兴趣域的连通域信息图，对兴趣域图做像素级比对判断，目的是提高分割结果即两张语义分割结果图的置信度，得到变化检测结果，具体比对判断方法为：根据步骤S4得到的两张语义分割结果图与得到的原始图像中兴趣域的连通域信息图做结果匹配，若连通域信息图同时存在于两张语义分割结果图和兴趣域图中，即标志两张语义分割结果图的置信度高；若连通域信息图在两张语义分割结果图中而不在兴趣域图中也标记为高置信度结果，若连通域信息图不在两张语义分割结果图中在兴趣域图中，再根据角点去判断其几何关系是否符合兴趣域场景在获得带标签的图片中已被标记的内容，符合，即标记为高置信度结果，不符合则弃置；并将所得两张语义分割结果图与获取到的兴趣域图进行对照，即根据兴趣域的变化得出最终的变化检测结果。
10.根据权利要求8所述的无人机航拍图像变化检测算法，其特征在于获取兴趣域的连通域的方法如下：
使用传统图像算法，根据原始图像的灰度图筛选出兴趣域的连通域。
11.根据权利要求9所述的无人机航拍图像变化检测算法，其特征在于获取兴趣域的连通域的方法如下：
使用传统图像算法，根据原始图像的灰度图筛选出兴趣域的连通域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910155274.0A CN109886238A (zh) | 2019-03-01 | 2019-03-01 | 基于语义分割的无人机航拍图像变化检测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910155274.0A CN109886238A (zh) | 2019-03-01 | 2019-03-01 | 基于语义分割的无人机航拍图像变化检测算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109886238A true CN109886238A (zh) | 2019-06-14 |
Family
ID=66930213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910155274.0A Pending CN109886238A (zh) | 2019-03-01 | 2019-03-01 | 基于语义分割的无人机航拍图像变化检测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886238A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766007A (zh) * | 2019-10-28 | 2020-02-07 | 深圳前海微众银行股份有限公司 | 证件遮挡检测方法、装置、设备及可读存储介质 |
| CN110782469A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 一种视频帧图像分割方法、装置、电子设备及存储介质 |
| CN110930417A (zh) * | 2019-11-26 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法和装置、图像分割方法和装置 |
| CN110956366A (zh) * | 2019-11-13 | 2020-04-03 | 科大国创软件股份有限公司 | 一种装维质检中分光器施工一致性检验方法 |
| CN111144478A (zh) * | 2019-12-25 | 2020-05-12 | 电子科技大学 | 一种穿帮镜头的自动检测方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111259898A (zh) * | 2020-01-08 | 2020-06-09 | 西安电子科技大学 | 基于无人机航拍图像的农作物分割方法 |
| CN111291800A (zh) * | 2020-01-21 | 2020-06-16 | 青梧桐有限责任公司 | 房屋装修类型分析方法、系统、电子设备及可读存储介质 |
| CN111931782A (zh) * | 2020-08-12 | 2020-11-13 | 中国科学院上海微系统与信息技术研究所 | 语义分割方法、系统、介质及装置 |
| CN111967473A (zh) * | 2020-06-29 | 2020-11-20 | 山东浪潮通软信息科技有限公司 | 基于图像分割和模板匹配的粮库仓储情况监测方法 |
| CN112464745A (zh) * | 2020-11-09 | 2021-03-09 | 中国科学院计算机网络信息中心 | 一种基于语义分割的地物识别与分类方法和装置 |
| CN112488020A (zh) * | 2020-12-10 | 2021-03-12 | 西安交通大学 | 基于无人机航拍数据的水环境污染情况检测评估装置 |
| CN112801929A (zh) * | 2021-04-09 | 2021-05-14 | 宝略科技(浙江)有限公司 | 一种用于建筑物变化检测的局部背景语义信息增强方法 |
| CN112861732A (zh) * | 2021-02-10 | 2021-05-28 | 东北林业大学 | 一种生态环境脆弱区土地监测方法、系统及装置 |
| CN113505798A (zh) * | 2021-06-22 | 2021-10-15 | 浙江工业大学 | 一种时变数据的特征提取与追踪方法 |
| CN113763358A (zh) * | 2021-09-08 | 2021-12-07 | 合肥中科类脑智能技术有限公司 | 基于语义分割的变电站渗漏油和金属锈蚀检测方法及系统 |
| CN115546671A (zh) * | 2022-11-01 | 2022-12-30 | 北京数字政通科技股份有限公司 | 一种基于多任务学习的无人机变化检测方法及其系统 |
| CN116452983A (zh) * | 2023-06-12 | 2023-07-18 | 合肥工业大学 | 一种基于无人机航拍影像的国土地貌变化快速发现方法 |
| CN116912205A (zh) * | 2023-07-13 | 2023-10-20 | 上海频准激光科技有限公司 | 一种基于神经网络模型的光纤熔接质量预测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416353A (zh) * | 2018-02-03 | 2018-08-17 | 华中农业大学 | 基于深度全卷积神经网络的大田稻穗快速分割方法 |
| CN108564587A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于全卷积神经网络的大范围遥感影像语义分割方法 |
| CN109063569A (zh) * | 2018-07-04 | 2018-12-21 | 北京航空航天大学 | 一种基于遥感影像的语义级变化检测方法 |
| CN109145730A (zh) * | 2018-07-13 | 2019-01-04 | 安徽大学 | 一种遥感影像中矿区自动语义分割方法 |
| CN109377480A (zh) * | 2018-09-27 | 2019-02-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习的耕地变化检测方法 |
| CN109389051A (zh) * | 2018-09-20 | 2019-02-26 | 华南农业大学 | 一种基于卷积神经网络的建筑物遥感图像识别方法 |
-
2019
- 2019-03-01 CN CN201910155274.0A patent/CN109886238A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416353A (zh) * | 2018-02-03 | 2018-08-17 | 华中农业大学 | 基于深度全卷积神经网络的大田稻穗快速分割方法 |
| CN108564587A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于全卷积神经网络的大范围遥感影像语义分割方法 |
| CN109063569A (zh) * | 2018-07-04 | 2018-12-21 | 北京航空航天大学 | 一种基于遥感影像的语义级变化检测方法 |
| CN109145730A (zh) * | 2018-07-13 | 2019-01-04 | 安徽大学 | 一种遥感影像中矿区自动语义分割方法 |
| CN109389051A (zh) * | 2018-09-20 | 2019-02-26 | 华南农业大学 | 一种基于卷积神经网络的建筑物遥感图像识别方法 |
| CN109377480A (zh) * | 2018-09-27 | 2019-02-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习的耕地变化检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| MAOKE YANG ET AL.: "DenseASPP for Semantic Segmentation in Street Scenes", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| MAOKE YANG ET AL.: "DenseASPP for Semantic Segmentation in Street Scenes", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 16 December 2018 (2018-12-16), pages 3684 - 3692 * |
| 龙玄耀等: "基于图像分割的城市变化检测", 《地球信息科学》 * |
| 龙玄耀等: "基于图像分割的城市变化检测", 《地球信息科学》, vol. 10, no. 01, 15 February 2008 (2008-02-15), pages 121 - 127 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782469A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 一种视频帧图像分割方法、装置、电子设备及存储介质 |
| CN110766007A (zh) * | 2019-10-28 | 2020-02-07 | 深圳前海微众银行股份有限公司 | 证件遮挡检测方法、装置、设备及可读存储介质 |
| CN110766007B (zh) * | 2019-10-28 | 2023-09-22 | 深圳前海微众银行股份有限公司 | 证件遮挡检测方法、装置、设备及可读存储介质 |
| CN110956366A (zh) * | 2019-11-13 | 2020-04-03 | 科大国创软件股份有限公司 | 一种装维质检中分光器施工一致性检验方法 |
| CN110930417A (zh) * | 2019-11-26 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法和装置、图像分割方法和装置 |
| CN110930417B (zh) * | 2019-11-26 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法和装置、图像分割方法和装置 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111144478B (zh) * | 2019-12-25 | 2022-06-14 | 电子科技大学 | 一种穿帮镜头的自动检测方法 |
| CN111144478A (zh) * | 2019-12-25 | 2020-05-12 | 电子科技大学 | 一种穿帮镜头的自动检测方法 |
| CN111259898A (zh) * | 2020-01-08 | 2020-06-09 | 西安电子科技大学 | 基于无人机航拍图像的农作物分割方法 |
| CN111259898B (zh) * | 2020-01-08 | 2023-03-24 | 西安电子科技大学 | 基于无人机航拍图像的农作物分割方法 |
| CN111291800A (zh) * | 2020-01-21 | 2020-06-16 | 青梧桐有限责任公司 | 房屋装修类型分析方法、系统、电子设备及可读存储介质 |
| CN111967473A (zh) * | 2020-06-29 | 2020-11-20 | 山东浪潮通软信息科技有限公司 | 基于图像分割和模板匹配的粮库仓储情况监测方法 |
| CN111931782B (zh) * | 2020-08-12 | 2024-03-01 | 中国科学院上海微系统与信息技术研究所 | 语义分割方法、系统、介质及装置 |
| CN111931782A (zh) * | 2020-08-12 | 2020-11-13 | 中国科学院上海微系统与信息技术研究所 | 语义分割方法、系统、介质及装置 |
| CN112464745A (zh) * | 2020-11-09 | 2021-03-09 | 中国科学院计算机网络信息中心 | 一种基于语义分割的地物识别与分类方法和装置 |
| CN112464745B (zh) * | 2020-11-09 | 2023-07-07 | 中国科学院计算机网络信息中心 | 一种基于语义分割的地物识别与分类方法和装置 |
| CN112488020A (zh) * | 2020-12-10 | 2021-03-12 | 西安交通大学 | 基于无人机航拍数据的水环境污染情况检测评估装置 |
| CN112488020B (zh) * | 2020-12-10 | 2023-09-19 | 西安交通大学 | 基于无人机航拍数据的水环境污染情况检测评估装置 |
| CN112861732A (zh) * | 2021-02-10 | 2021-05-28 | 东北林业大学 | 一种生态环境脆弱区土地监测方法、系统及装置 |
| CN112801929A (zh) * | 2021-04-09 | 2021-05-14 | 宝略科技(浙江)有限公司 | 一种用于建筑物变化检测的局部背景语义信息增强方法 |
| CN113505798A (zh) * | 2021-06-22 | 2021-10-15 | 浙江工业大学 | 一种时变数据的特征提取与追踪方法 |
| CN113505798B (zh) * | 2021-06-22 | 2024-03-22 | 浙江工业大学 | 一种时变数据的特征提取与追踪方法 |
| CN113763358B (zh) * | 2021-09-08 | 2024-01-09 | 合肥中科类脑智能技术有限公司 | 基于语义分割的变电站渗漏油和金属锈蚀检测方法及系统 |
| CN113763358A (zh) * | 2021-09-08 | 2021-12-07 | 合肥中科类脑智能技术有限公司 | 基于语义分割的变电站渗漏油和金属锈蚀检测方法及系统 |
| CN115546671A (zh) * | 2022-11-01 | 2022-12-30 | 北京数字政通科技股份有限公司 | 一种基于多任务学习的无人机变化检测方法及其系统 |
| CN116452983A (zh) * | 2023-06-12 | 2023-07-18 | 合肥工业大学 | 一种基于无人机航拍影像的国土地貌变化快速发现方法 |
| CN116452983B (zh) * | 2023-06-12 | 2023-10-10 | 合肥工业大学 | 一种基于无人机航拍影像的国土地貌变化快速发现方法 |
| CN116912205A (zh) * | 2023-07-13 | 2023-10-20 | 上海频准激光科技有限公司 | 一种基于神经网络模型的光纤熔接质量预测方法 |
| CN116912205B (zh) * | 2023-07-13 | 2024-03-08 | 上海频准激光科技有限公司 | 一种基于神经网络模型的光纤熔接质量预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886238A (zh) | 基于语义分割的无人机航拍图像变化检测算法 | |
| CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
| US10984532B2 (en) | Joint deep learning for land cover and land use classification | |
| EP3614308B1 (en) | Joint deep learning for land cover and land use classification | |
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN107292339B (zh) | 基于特征融合的无人机低空遥感影像高分地貌分类方法 | |
| CN106446933B (zh) | 基于上下文信息的多目标检测方法 | |
| CN109615024A (zh) | 一种岩石种类智能区分识别及定位方法 | |
| CN105512684B (zh) | 基于主成分分析卷积神经网络的车标自动识别方法 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN109583425A (zh) | 一种基于深度学习的遥感图像船只集成识别方法 | |
| CN107679250A (zh) | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 | |
| CN108875595A (zh) | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 | |
| CN106683102B (zh) | 基于脊波滤波器和卷积结构学习模型的sar图像分割方法 | |
| CN106845418A (zh) | 一种基于深度学习的高光谱图像分类方法 | |
| Qu et al. | A pedestrian detection method based on yolov3 model and image enhanced by retinex | |
| CN111291639B (zh) | 基于分层变分自编码的跨源舰船特征融合学习与识别方法 | |
| CN107392130A (zh) | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 | |
| CN106611423B (zh) | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 | |
| CN107145836A (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
| CN109766823A (zh) | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 | |
| CN106909902A (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
| CN105427309A (zh) | 面向对象高空间分辨率遥感信息提取的多尺度分层处理方法 | |
| CN107590515A (zh) | 基于熵率超像素分割的自编码器的高光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |
|
| RJ01 | Rejection of invention patent application after publication |