CN114202671A - 一种图像预测优化处理方法及装置 - Google Patents

一种图像预测优化处理方法及装置 Download PDF

Info

Publication number
CN114202671A
CN114202671A CN202111361807.4A CN202111361807A CN114202671A CN 114202671 A CN114202671 A CN 114202671A CN 202111361807 A CN202111361807 A CN 202111361807A CN 114202671 A CN114202671 A CN 114202671A
Authority
CN
China
Prior art keywords
classification
neural network
convolutional neural
deep learning
classification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111361807.4A
Other languages
English (en)
Inventor
付波霖
刘曼
邓良超
孙习东
范冬林
何宏昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202111361807.4A priority Critical patent/CN114202671A/zh
Publication of CN114202671A publication Critical patent/CN114202671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像预测优化处理方法及装置，属于图像处理领域，方法包括：对多个无人机影像进行预处理；将多个深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，将各个训练样本进行扩充处理，得到扩充后的训练样本集合，在卷积神经网络中进行参数配置优化，通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络，并进行影像预测分类，得到多种分类结果，对多种分类结果进行融合处理，对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。能够对多种分类结果进行融合处理，融合的分类结果更为准确和全面，再对融合的分类结果进行扩展裁剪处理，能够消除明显的拼接痕迹。

Description

一种图像预测优化处理方法及装置
技术领域
本发明主要涉及图像处理技术领域，具体涉及一种图像预测优化处理方法及装置。
背景技术
卷积神经网络是一种广泛使用的深度学习模型，是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，包含卷积层和池化层。卷积神经网络在计算机视觉领域的许多研究中都取得了出色的性能，例如图像分类、人脸识别和行人检测等。近年来，基于深度学习的方法已应用于高光谱图像分类、大规模土地覆盖分类、场景分类和遥感领域的目标检测等，其性能优于传统方法。
参考现有科学文献中利用深度学习的分类研究，卷积神经网络是将图像分割成一定尺寸进行逐像素图像分类预测，并进行分类结果的拼接，最终结果中会产生明显的拼接痕迹，导致分类结果有误。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种图像预测优化处理方法及装置。
本发明解决上述技术问题的技术方案如下：一种图像预测优化处理方法，包括如下步骤：
导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；
导入多个无人机影像，并分别对多个所述无人机影像进行预处理；
将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合；
将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；
基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络，所述卷积神经网络包括多个深度学习模型；
通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；
对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
对多种分类结果进行融合处理，得到融合的分类结果；
对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
本发明的有益效果是：通过扩充的训练样本对卷积神经网络进行训练，通过训练后的卷积神经网络进行影像预测分类，并能够对多种分类结果进行融合处理，融合的分类结果更为准确和全面，再对融合的分类结果进行扩展裁剪处理，能够消除明显的拼接痕迹。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述卷积神经网络包括多个深度学习模型，所述多个深度学习模型为SegNet模型、PSPNet模型、RAUNet模型和DeepLabV3plus模型；
通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络，具体为：
通过扩充后的训练样本集合按照设置的迭代次数分别对SegNet模型、PSPNet模型、RAUNet模型和DeepLabV3plus模型进行多分类训练和单分类训练，得到训练后的卷积神经网络。
采用上述进一步方案的有益效果是：卷积神经网络由多个深度学习模型组合而成，解决了目前单个模型进行预测分类时存在局限性的问题，去除了部分区域分类结果存在差异的问题。
本发明解决上述技术问题的另一技术方案如下：一种图像预测优化处理装置，包括：
导入模块，用于导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；导入多个无人机影像，并分别对多个所述无人机影像进行预处理；
预处理模块，用于将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合；将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；
模型优化模块，用于基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络；
训练模块，用于通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
分类优化模块，用于对多种分类结果进行融合处理，得到融合的分类结果；对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
本发明解决上述技术问题的另一技术方案如下：一种图像预测优化处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的图像预测优化处理方法。
附图说明
图1为本发明实施例提供的图像预测优化处理方法的流程示意图；
图2为本发明实施例提供的图像预测优化处理方法的另一流程示意图；
图3为本发明实施例提供的图像预测优化处理装置的功能模块框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例1：
如图1所示，一种图像预测优化处理方法，包括如下步骤：
导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；标签的制作依据无人机影像与实测数据来制作深度学习语义标签。
导入多个无人机影像，并分别对多个所述无人机影像进行预处理；选取Pix4DMapper软件、ArcGIS10.5软件、ENVI 5.4软件对无人机影像进行预处理。
将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合。
将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；为增加样本数量，对影像与标签数据分割成256*256、128*128像素大小，并在分割过程中对影像及样本数据进行翻转、通道互换、随机旋转等增强处理。
基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络；在卷积神经网络的各个模型中添加条件随机场，将网络输出概率图作为一元势函数的输入，将原始的无人机影像作为二元势函数的输入，通过最小化散度距离的平均场近似估计方法，迭代产生分割结果；模型优化器算法设置为Adam，初始学习率设置为0.001，动量参数设置为0.8；损失函数设置为Categorical_crossentropy loss。
通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；
对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
对多种分类结果进行融合处理，得到融合的分类结果；
对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
上述实施例中，通过扩充的训练样本对卷积神经网络进行训练，通过训练后的卷积神经网络进行影像预测分类，并能够对多种分类结果进行融合处理，融合的分类结果更为准确和全面，再对融合的分类结果进行扩展裁剪处理，能够消除明显的拼接痕迹。
具体地，所述卷积神经网络包括多个深度学习模型，所述多个深度学习模型包括SegNet模型、PSPNet模型、RAUNet模型和DeepLabV3plus模型；
通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络，具体为：
通过扩充后的训练样本集合按照设置的迭代次数分别对SegNet模型、PSPNet模型、RAUNet模型和DeepLabV3plus模型进行多分类训练和单分类训练，得到训练后的卷积神经网络。
为提高对无人机影像的分类精度，分别对SegNet、PSPNet、RAUNet和DeepLabV3plus四种模型进行多分类与单分类训练。为达到稳定的训练精度，对每种方案进行50次迭代训练。
具体地，对训练后的卷积神经网络进行影像预测分类，得到多种分类结果：选取迭代训练中训练精度最高的权重记录分别对单分类与多分类方案进行分类预测；
上述实施例中，卷积神经网络由多个深度学习模型组合而成，解决了目前单个模型进行预测分类时存在局限性的问题，去除了部分区域分类结果存在差异的问题。
具体地，所述对多种分类结果进行融合处理，得到融合的分类结果的过程包括：
根据软投票法预测各个深度学习模型输出分类结果对应的概率，从计算得到的各个概率中选择最大概率对应的分类结果；
根据硬投票法预测各个深度学习模型输出类别最多对应的分类结果；
根据最优结果融合法对最大概率对应的分类结果和类别最多对应的分类结果进行融合，得到融合的分类结果。
将SegNet、PSPNet、RAUNet和DeepLabV3plus四种卷积神经网络的分类结果进行软投票、硬投票与最优结果融合三种方式进行整合。基于概率最大的软投票法是指将四种模型中每个像素的概率进行平均，形成新的类别概率，再采用Softmax层以最大概率对应的类别输出最终结果，每个类别的预测概率如公式(1)—(2)所示；基于类别最多的硬投票法是将四种深度学习模型预测验证影像的结果，逐像素地按照所设比例进行计算，计算过程如公式(3)所示；基于最优结果的融合法是以每类别最高识别精度的模型的结果融合成最终结果计算过程如公式(4)所示。
具体地，所述根据软投票法预测各个深度学习模型输出分类结果对应的概率，从计算得到的各个概率中选择最大概率对应的分类结果，具体为：
通过式(1)预测各个深度学习模型输出分类结果对应的概率，所述式(1)为：
Figure BDA0003359570820000061
其中，Pn1为预测单分类的模型Mn输出分类结果n的概率，Pi2为另外三个单分类的模型Mi输出分类结果n的概率，
Figure BDA0003359570820000071
为另外三个单分类模型Mi中每个无人机影像像素的概率进行平均值计算；
通过式(2)从计算得到的各个概率中选择最大概率对应的分类结果，所述式(2)为：
P＝Max{P1,P2,P3……Pn}，
其中，P为最大概率对应的分类结果，并采用Softmax层以最大概率对应的类别输出最终结果。
具体地，所述根据硬投票法预测各个深度学习模型输出类别最多对应的分类结果，具体为：
通过式(3)预测各个深度学习模型输出类别最多对应的分类结果，所述式(3)为：
Y＝Majority{Y1,Y2,Y3……Ym}，
其中，Ym为第m种模型预测的分类结果。
具体地，所述根据最优结果融合法对最大概率对应的分类结果和类别最多对应的分类结果进行融合，得到融合的分类结果，具体为：
通过式(4)对最大概率对应的分类结果和类别最多对应的分类结果进行融合，所述式(4)为：
Figure BDA0003359570820000072
其中，Xn为第n种分类结果，
Figure BDA0003359570820000073
为多种分类结果进行叠加。
具体地，所述对预测的分类结果进行扩展裁剪处理，得到整幅遥感影像，具体为：
通过Ii＝(M1,M2,M3,M4)将扩展裁剪处理分为四个处理阶段，即计算扩展裁剪时的四个顶点的坐标M1、M2、M3和M4；
设(xi,yi)为预测无人机影像时的随机点坐标，img_size为预测时的步长，
点M1的计算过程为M1＝(xi+img_size/4,yi+img_size/4)，
点M2的计算过程为M2＝(xi+3·img_size/4,yi+img_size/4)，
点M3的计算过程为M3＝(xi+3·img_size/4,yi+3·img_size/4)
点M4的计算过程为M4＝(xi+img_size/4,yi+3·img_size/4)，
并重复执行M1至M4，直至得到整幅遥感影像。
下面比较一下优化前与优化后的分类结果，优化前公式如下：
通过I＝(P1,P2,P3,P4)将无人机影像预测过程分为四个处理阶段，即计算预测影像的四个顶点的坐标P1、P2、P3和P4；
点P1的计算过程为P1＝(xi,yi)，即：
点P2的计算过程为P2＝(xi+img_size,yi)，即：
点P3的计算过程为P3＝(xi+img_size,yi+img_size)，即：
点P4的计算过程为P4＝(xi,yi+img_size)，即：
通过比较优化前与优化后的分类结果，优化后的分类结果选取的是预测结果中心部分的结果，从而能够消除明显的拼接痕迹。
下面举实例说明上述过程：
以模型输入影像大小为256*256为例，①模型预测遥感影像时，以步长为128的方式剪裁遥感影像成大小为128*128的影像；②然后通过镜像的操作将大小为128*128的影像扩展至大小为256*256的影像；③模型对大小为256*256的影像进行预测；④再将预测后的大小为256*256的影像按中间部分剪裁为大小为128*128的影像，最后按①的相应位置拼接再模型预测影像上；⑤最后重复①-④，直至模型预测完整幅遥感影像。
具体地，得到整幅遥感影像后，还包括步骤：
构建评价指标，通过所述评价指标检验所述融合的分类结果。
下面具体说明构建评价指标的过程：
对以上分类结果建立混淆矩阵，采用F1分数与Kappa来验证模型对植被的分类情况，计算过程如式(4)—(6)所示，
Figure BDA0003359570820000091
Figure BDA0003359570820000092
Figure BDA0003359570820000093
其中，PAB是指实际类别为A预测类别为B的数量，PBA是指实际类别为B预测类别为A的数量，PBB是指实际类别为B预测类别也为B的数量。
选用T检验与McNemar卡方检验评估模型间的显著性水平，T检验公式如式(7)—(8)所示，
Figure BDA0003359570820000094
其中，Po是每一类正确分类的样本数量之和除以总样本数。
Figure BDA0003359570820000095
其中，XA、XB为两个分类方案的均值；σA、σB为两个分类方案的标准差，γ为两个分类方案的相关系数，m为总样本数。
McNemar卡方检验公式如式(9)—(10)所示，
当A+B≥40时，使用如下公式:
Figure BDA0003359570820000096
当A+B<40时，使用如下公式:
Figure BDA0003359570820000097
其中，“A”指的是在第一个分类方案中被预测为正确的类，但在第二个分类方案中被预测为错误的类的变量的数量，而“B”指的是在第一个分类方案中被预测为错误的类，但在第二个分类方案中被预测为正确的类的变量的数量。
综上所述，通过计算以上指标可以定量评价无人机影像分类模型的分类能力以及分类精度差异，同时还可以分析分类方案之间的显著性差异。
如图2所示，一种图像预测优化处理方法以及评价分类结果的整个过程为：
步骤一：依据实测数据制作深度学习语义标签；
步骤二：对无人机影像进行预处理；
步骤三：将步骤一与二数据进行匹配，形成训练样本集合；
步骤四：对训练样本进行分割；
步骤五：对卷积神经网络进行优化，添加条件随机场；
步骤六：设置卷积神经网络的最佳参数；
步骤七：进行深度学习训练；
步骤八：进行影像预测分类；
步骤九：对多种分类结果进行融合处理；
步骤十：对最终的分类结果进行优化处理(即后处理)；
步骤十一：构建深度学习模型分类结果评价指标；
步骤十二：将步骤十分类结果与实测数据进行对比，按照评价指标进行模型评判。
实施例2：
如图3所示，一种图像预测优化处理装置，包括：
导入模块，用于导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；导入多个无人机影像，并分别对多个所述无人机影像进行预处理；
预处理模块，用于将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合；将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；
模型优化模块，用于基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络；
训练模块，用于通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
分类优化模块，用于对多种分类结果进行融合处理，得到融合的分类结果；对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
实施例3：
一种图像预测优化处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的图像预测优化处理方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像预测优化处理方法，其特征在于，包括如下步骤：
导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；
导入多个无人机影像，并分别对多个所述无人机影像进行预处理；
将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合；
将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；
基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络；
通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；
对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
对多种分类结果进行融合处理，得到融合的分类结果；
对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
2.根据权利要求1所述的图像预测优化处理方法，其特征在于，所述卷积神经网络包括多个深度学习模型，所述多个深度学习模型为SegNet模型、PSPNet模型、RAUNet模型和DeepLabV3plus模型；
通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络，具体为：
通过扩充后的训练样本集合按照设置的迭代次数分别对SegNet模型、PSPNet模型、RAUNet模型和DeepLabV3plus模型进行多分类训练和单分类训练，得到训练后的卷积神经网络。
3.根据权利要求2所述的图像预测优化处理方法，其特征在于，所述对多种分类结果进行融合处理，得到融合的分类结果的过程包括：
根据软投票法预测各个深度学习模型输出分类结果对应的概率，从计算得到的各个概率中选择最大概率对应的分类结果；
根据硬投票法预测各个深度学习模型输出类别最多对应的分类结果；
根据最优结果融合法对最大概率对应的分类结果和类别最多对应的分类结果进行融合，得到融合的分类结果。
4.根据权利要求3所述的图像预测优化处理方法，其特征在于，所述根据软投票法预测各个深度学习模型输出分类结果对应的概率，从计算得到的各个概率中选择最大概率对应的分类结果，具体为：
通过式(1)预测各个深度学习模型输出分类结果对应的概率，所述式(1)为：
Figure FDA0003359570810000021
其中，Pn1为预测单分类的模型Mn输出分类结果n的概率，Pi2为另外三个单分类的模型Mi输出分类结果n的概率，
Figure FDA0003359570810000022
为另外三个单分类的模型Mi中每个像素的概率进行平均值计算；
通过式(2)从计算得到的各个概率中选择最大概率对应的分类结果，所述式(2)为：
P＝Max{P1,P2,P3……Pn}，
其中，P为最大概率对应的分类结果。
5.根据权利要求3所述的图像预测优化处理方法，其特征在于，所述根据硬投票法预测各个深度学习模型输出类别最多对应的分类结果，具体为：
通过式(3)预测各个深度学习模型输出类别最多对应的分类结果，所述式(3)为：
Y＝Majority{Y1,Y2,Y3……Ym}，
其中，Ym为第m种算法预测的分类结果。
6.根据权利要求3所述的图像预测优化处理方法，其特征在于，所述根据最优结果融合法对最大概率对应的分类结果和类别最多对应的分类结果进行融合，得到融合的分类结果，具体为：
通过式(4)对最大概率对应的分类结果和类别最多对应的分类结果进行融合，所述式(4)为：
Figure FDA0003359570810000031
其中，Xn为第n种分类结果，
Figure FDA0003359570810000032
为多种分类结果进行叠加。
7.根据权利要求3所述的图像预测优化处理方法，其特征在于，所述对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像，具体为：
通过Ii＝(M1,M2,M3,M4)将扩展裁剪处理分为四个处理阶段，即计算扩展裁剪时的四个顶点的坐标M1、M2、M3和M4；
设(xi,yi)为随机点的坐标，
点M1坐标的计算过程为M1＝(xi+img_size/4,yi+img_size/4)，
点M2坐标的计算过程为M2＝(xi+3·img_size/4,yi+img_size/4)，
点M3坐标的计算过程为M3＝(xi+3·img_size/4,yi+3·img_size/4)
点M4坐标的计算过程为M4＝(xi+img_size/4,yi+3·img_size/4)，并重复执行M1至M4，直至得到整幅遥感影像。
8.根据权利要求1所述的图像预测优化处理方法，其特征在于，得到幅遥感影像后，还包括步骤：
构建评价指标，通过所述评价指标检验所述融合的分类结果。
9.一种图像预测优化处理装置，其特征在于，包括：
导入模块，用于导入预先制作的多个深度学习语义标签，所述深度学习语义标签为根据实测数据得到的标签；导入多个无人机影像，并分别对多个所述无人机影像进行预处理；
预处理模块，用于将多个所述深度学习语义标签匹配至预处理的各个无人机影像上，得到多个训练样本，通过多个训练样本得到训练样本集合；将所述训练样本集合中的各个训练样本进行扩充处理，得到扩充后的训练样本集合；
模型优化模块，用于基于卷积神经网络，在所述卷积神经网络中进行参数配置优化，得到优化后的卷积神经网络；
训练模块，用于通过扩充后的训练样本集合对优化后的卷积神经网络进行深度学习分类训练，得到训练后的卷积神经网络；对训练后的卷积神经网络进行影像预测分类，得到多种分类结果；
分类优化模块，用于对多种分类结果进行融合处理，得到融合的分类结果；对融合的分类结果进行扩展裁剪处理，得到整幅遥感影像。
10.一种图像预测优化处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，实现如权利要求1至8任一项所述的图像预测优化处理方法。
CN202111361807.4A 2021-11-17 2021-11-17 一种图像预测优化处理方法及装置 Pending CN114202671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111361807.4A CN114202671A (zh) 2021-11-17 2021-11-17 一种图像预测优化处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111361807.4A CN114202671A (zh) 2021-11-17 2021-11-17 一种图像预测优化处理方法及装置

Publications (1)

Publication Number Publication Date
CN114202671A true CN114202671A (zh) 2022-03-18

Family

ID=80647823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111361807.4A Pending CN114202671A (zh) 2021-11-17 2021-11-17 一种图像预测优化处理方法及装置

Country Status (1)

Country Link
CN (1) CN114202671A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882272A (zh) * 2022-04-22 2022-08-09 成都飞机工业（集团）有限责任公司 一种航空制造件全角度投影图像面片属性融合分析方法
CN114972947A (zh) * 2022-07-26 2022-08-30 之江实验室 一种基于模糊语义建模的深度场景文本检测方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882272A (zh) * 2022-04-22 2022-08-09 成都飞机工业（集团）有限责任公司 一种航空制造件全角度投影图像面片属性融合分析方法
CN114972947A (zh) * 2022-07-26 2022-08-30 之江实验室 一种基于模糊语义建模的深度场景文本检测方法和装置
CN114972947B (zh) * 2022-07-26 2022-12-06 之江实验室 一种基于模糊语义建模的深度场景文本检测方法和装置

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN111191732B (zh) 一种基于全自动学习的目标检测方法
CN111126488B (zh) 一种基于双重注意力的图像识别方法
CN110197205B (zh) 一种多特征来源残差网络的图像识别方法
CN109740676B (zh) 基于相似目标的物体检测迁移方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
EP3690741B1 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
US20210326638A1 (en) Video panoptic segmentation
CN110837836A (zh) 基于最大化置信度的半监督语义分割方法
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
KR20200095336A (ko) 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치
CN115471739A (zh) 基于自监督对比学习的跨域遥感场景分类与检索方法
CN117237733A (zh) 一种结合自监督和弱监督学习的乳腺癌全切片图像分类方法
CN111539444A (zh) 一种修正式模式识别及统计建模的高斯混合模型方法
CN103927550A (zh) 一种手写体数字识别方法及系统
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN114139631B (zh) 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN115661860A (zh) 一种狗行为动作识别技术的方法、装置、系统及存储介质
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN115457332A (zh) 基于图卷积神经网络和类激活映射的图像多标签分类方法
CN111709442A (zh) 一种面向图像分类任务的多层字典学习方法
US11829442B2 (en) Methods and systems for efficient batch active learning of a deep neural network
CN114202671A (zh) 一种图像预测优化处理方法及装置
CN114170446A (zh) 一种基于深层融合神经网络的温度、亮度特征提取方法
CN117636183A (zh) 一种基于自监督预训练的小样本遥感图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination