CN114067118A - 一种航空摄影测量数据的处理方法 - Google Patents

一种航空摄影测量数据的处理方法 Download PDF

Info

Publication number
CN114067118A
CN114067118A CN202210029892.2A CN202210029892A CN114067118A CN 114067118 A CN114067118 A CN 114067118A CN 202210029892 A CN202210029892 A CN 202210029892A CN 114067118 A CN114067118 A CN 114067118A
Authority
CN
China
Prior art keywords
semantic
contour
optimal
category
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210029892.2A
Other languages
English (en)
Other versions
CN114067118B (zh
Inventor
范建峰
高伟
阚晓云
王伟立
熊小龙
曾雄
杨建锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xiaoyun Technology Co ltd
Original Assignee
Hubei Xiaoyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xiaoyun Technology Co ltd filed Critical Hubei Xiaoyun Technology Co ltd
Priority to CN202210029892.2A priority Critical patent/CN114067118B/zh
Publication of CN114067118A publication Critical patent/CN114067118A/zh
Application granted granted Critical
Publication of CN114067118B publication Critical patent/CN114067118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及航空摄影测量数据处理技术领域,具体涉及一种航空摄影测量数据的处理方法。方法包括:将第二训练数据集输入到训练好的第一语义分割网络中,得到第二训练数据集中对应的各非完全语义分割图像;对各非完全语义分割图像中的各语义类别进行轮廓提取,进而得到各最优轮廓的轮廓特征描述向量;将各轮廓特征描述向量输入到训练好的分类网络中,得到对应的分类类别,进而得到对应的预测语义区域轮廓;利用各预测语义区域轮廓对第二训练数据集的标签进行标注;利用所述标签数据对第二语义分割网络进行训练,得到训练好的第二语义分割网络,进而对目标航空摄影测量数据进行语义分割。本发明克服了语义分割网络准确率下降的问题。

Description

一种航空摄影测量数据的处理方法
技术领域
本发明涉及航空摄影测量数据处理技术领域,具体涉及一种航空摄影测量数据的处理方法。
背景技术
现有的对航空摄影测量数据进行语义分割时,通常采用神经网络方式进行处理。但是由于语义分割网络的标注成本过高,会耗费大量的人力资源;并且在实际使用过程中所获取的航空摄影测量数据场景较为复杂,因此采用人工的方式难以完整准确地标注出神经网络训练时所需的标签数据,导致进行训练后的语义分割处理效果较差,准确率较低。
发明内容
为了解决现有技术中利用单一网络对航空摄影测量数据进行语义分割的准确率较低的问题,本发明的目的在于提供一种航空摄影测量数据的处理方法,所采用的技术方案具体如下:
本发明提供了一种航空摄影测量数据的处理方法包括以下步骤:
获得第一训练数据集和第二训练数据集,所述第一训练数据集为多个地形场景下所采集到的多张航空摄影测量数据,所述第二训练数据集为不包含第一训练数据集的航空摄影测量数据的多张航空摄影测量数据;
利用第一训练数据集对第一语义分割网络进行训练,得到训练好的第一语义分割网络;将第二训练数据集中的各航空摄影测量数据输入到训练好的第一语义分割网络中,得到第二训练数据集中各航空摄影测量数据对应的非完全语义分割图像;所述非完全语义分割图像为仅部分像素点具有对应的语义类别的语义分割图像;
对各非完全语义分割图像中的各语义类别进行轮廓提取,得到各语义类别对应的各最优轮廓对应的轮廓特征描述向量;
将各最优轮廓对应的各轮廓特征描述向量输入到训练好的分类网络中,得到各轮廓特征描述向量对应的分类类别;根据各轮廓特征描述向量对应的分类类别,得到各轮廓特征描述向量对应的预测语义区域轮廓,所述预测语义区域轮廓用于预测轮廓区域内的像素点的语义类别;
利用各非完全语义分割图像对应的各语义类别对应的各预测语义区域轮廓,对第二训练数据集中各航空摄影测量数据对应的各像素点的类别进行标注;
利用第二训练数据集与第二训练数据集中的各航空摄影测量数据对应的标签数据对第二语义分割网络进行训练,得到训练好的第二语义分割网络,利用训练好的第二语义分割网络对目标航空摄影测量数据进行语义分割。
优选的,所述利用第一训练数据集对第一语义分割网络进行训练,得到训练好的第一语义分割网络,包括:
对第一训练数据集中各航空摄影测量数据对应的部分像素点的类别标注,得到第一训练数据集中各航空摄影测量数据对应的标签数据;
利用第一训练数据集、第一训练数据集中各航空摄影测量数据对应的标签数据以及交叉熵损失函数对第一语义分割网络进行训练,得到训练好的第一语义分割网络。
优选的,对各非完全语义分割图像中的各语义类别进行轮廓提取,得到各语义类别对应的最优轮廓,包括:
对于任一非完全语义分割图像中的任一语义类别:
利用不同的初始聚类个数对该非完全语义分割图像中该语义类别的像素点进行聚类,得到各初始聚类个数对应的各聚类集合;
对各初始聚类个数对应的各聚类集合进行轮廓提取,得到各初始聚类个数对应的各聚类集合的轮廓;
根据各初始聚类个数对应的各聚类集合的轮廓,选择出最优的初始聚类个数取值,记为最优数量;将最优数量对应的各轮廓记为对应的各最优轮廓。
优选的,所述根据各初始聚类个数对应的各聚类集合的轮廓,选择出最优的初始聚类个数取值,包括:
计算不同初始聚类个数对应的离散度综合评价指标;
根据不同初始聚类个数对应的离散度综合评价指标,构建二维散点图像;
将二维散点图像中梯度稳定处对应的初始聚类个数作为最优数量。
优选的,离散度综合评价指标的计算公式为:
Figure 916680DEST_PATH_IMAGE001
其中,
Figure 655091DEST_PATH_IMAGE002
为第c个语义类别中K个轮廓的离散度综合评价指标,
Figure 193520DEST_PATH_IMAGE003
为第c个语义类别对应的第k个轮廓的离散度,K为初始聚类个数的取值;
Figure 515917DEST_PATH_IMAGE003
的计算公式为:
Figure 63573DEST_PATH_IMAGE004
其中,N为第k个轮廓区域内第c个语义类别的像素点的个数,
Figure 155026DEST_PATH_IMAGE005
为第k个轮廓区域内第c个语义类别对应的像素点中第n个像素点的坐标,
Figure 192252DEST_PATH_IMAGE006
为第c个语义类别对应的第k个轮廓的质心点坐标,
Figure 346153DEST_PATH_IMAGE007
为距离。
优选的,所述得到任一最优轮廓对应的轮廓特征描述向量,包括:
以该最优轮廓区域内的质心点为原点构建直角坐标系;
在直角坐标系中以原点为起点构建预设数量的射线;
获取各射线与该最优轮廓的交点,将各交点的灰度值与该最优轮廓区域内的质心点的灰度值进行比较,若交点灰度值大于等于质心点灰度值,则将对应的交点标记为1;若交点灰度值小于质心点灰度值,则将对应的交点标记为0;
将各个交点对应的标记值进行排序,构建该最优轮廓的二进制表示,记为该最优轮廓对应的轮廓特征描述向量。
优选的,根据任一轮廓特征描述向量对应的分类类别,得到对应的预测语义区域轮廓,包括:
计算该轮廓特征描述向量对应的最优轮廓区域内为对应类别的各像素点与质心点的最大距离,根据所述最大距离和该轮廓特征描述向量对应的分类类别计算得到第一半径;
以该轮廓特征描述向量对应的最优轮廓内的质心点为圆点,以第一半径为圆的半径,构建第一圆形预测语义轮廓区域;
根据该轮廓特征描述向量对应的最优轮廓区域内为对应类别的各像素点与质心点的最小距离,计算得到第二半径;
以轮廓特征描述向量对应的最优轮廓内的质心点为圆点,以第二半径为圆的半径,构建第二圆形预测语义轮廓区域;
根据第一圆形预测语义轮廓区域、第一圆形预测语义轮廓区域和该最优轮廓区域,得到预测语义区域轮廓。
优选的,计算得到第一半径的计算公式为:
Figure 822134DEST_PATH_IMAGE008
其中,
Figure 440197DEST_PATH_IMAGE009
为第c个语义类别对应的第k个最优轮廓对应的第一半径,
Figure 586007DEST_PATH_IMAGE010
为分类网络输出的分类类别,
Figure 121812DEST_PATH_IMAGE011
为分类类别
Figure 808008DEST_PATH_IMAGE010
对应的置信度,e为自然常数,
Figure 483840DEST_PATH_IMAGE012
为预设参数,
Figure 190765DEST_PATH_IMAGE013
为第k个最优轮廓区域内第c个语义类别对应的像素点中第n各像素点的坐标,
Figure 381575DEST_PATH_IMAGE014
为第k个最优轮廓区域内第c个语义类别对应的第k个轮廓的质心点坐标,
Figure 809145DEST_PATH_IMAGE007
为距离,max()为最大值。
优选的,利用各非完全语义分割图像对应的各语义类别对应的各预测语义区域轮廓,对第二训练数据集中各航空摄影测量数据对应的各像素点的类别进行标注,包括:
对于第二训练数据集对应的任一非完全语义分割图像对应的任一语义类别对应的任一预测语义区域轮廓:将该预测语义区域轮廓内的各像素点标注为该轮廓对应的语义类别;
将第二训练数据集中各航空摄影测量数据对应的各语义类别对应的各预测语义区域轮廓内的各像素点的邻域图信息输入到训练好的孪生网络分支中,得到对应的各像素点的第一特征向量;
将第二训练数据集中各航空摄影测量数据中未被标注的像素点的邻域图信息输入到训练好的孪生网络分支中,得到对应像素点的第二特征向量;
选择与各第二特征向量的余弦相似度最大的存储特征向量,所述存储特征向量包括各第一特征向量和训练孪生网络时得到的特征向量;
根据各存储特征向量对应的语义类别,对各第二特征向量对应的像素点的类别进行标注。
本发明实施例具有如下有益效果:
本发明首先利用第一训练数据集与有限的标注信息对第一语义分割网络进行训练,得到训练好的第一语义分割网络,然后根据训练好的第一语义分割网络和训练好的分类网络,得到第二训练数据集中的各航空摄影测量数据对应的各预测语义区域轮廓,最后利用第二训练数据集中的各航空摄影测量数据对应的各预测语义区域轮廓,对第二训练数据集中各航空摄影测量数据对应的各像素点的类别进行标注,进而利用第二训练数据集与第二训练数据集中的各航空摄影测量数据对应的标签数据对第二语义分割网络进行训练,得到训练好的第二语义分割网络。本发明利用训练好的第二语义分割网络对航空摄影测量数据进行处理。本发明基于图像所携带的信息进行标签的预测和优化,无需多航空摄影测量数据迭代训练,从而克服了因场景复杂性过高而带来的语义分割网络准确率下降的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明的一种航空摄影测量数据的处理方法的流程图;
图2为本发明的最优轮廓与其射线示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功能效果,以下结合附图及较佳实施例,对依据本发明提出的一种航空摄影测量数据的处理方法进行详细说明如下。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种航空摄影测量数据的处理方法的具体方案。
一种航空摄影测量数据的处理方法实施例:
如图1所示,本实施例的一种航空摄影测量数据的处理方法包括以下步骤:
步骤S1, 获得第一训练数据集和第二训练数据集,所述第一训练数据集为多个地形场景下所采集到的多张航空摄影测量数据,所述第二训练数据集为不包含第一训练数据集的航空摄影测量数据的多张航空摄影测量数据。
本实施例中航空摄影测量数据是通过无人机或遥感卫星进行采集得到的,其采集到的数据以遥感图像的形式表示。
为了克服由于航空摄影的场景复杂而带来的语义分割网络准确率下降的问题,本实施例构建了一种标注成本低,且准确率更高的语义分割网络(即本实施例中的第二语义分割网络),用于对航空摄影测量数据(遥感图像)进行处理。
本实施例首先获得第一训练数据集和第二训练数据集,所述第一训练数据集为多个地形场景下所采集到的多张航空摄影测量数据,用于对后续的第一语义分割网络进行训练;所述第二训练数据集为不包含第一训练数据集中的各航空摄影测量数据的多张航空摄影测量数据,用于对第二语义分割网络进行训练。
步骤S2,利用第一训练数据集对第一语义分割网络进行训练,得到训练好的第一语义分割网络;将第二训练数据集中的各航空摄影测量数据输入到训练好的第一语义分割网络中,得到第二训练数据集中各航空摄影测量数据对应的非完全语义分割图像;所述非完全语义分割图像为仅部分像素点具有对应的语义类别的语义分割图像。
本实施例的步骤S2主要包括:构建训练好的第一语义分割网络,然后利用训练好的第一语义分割网络对第二训练数据集中各航空摄影测量数据进行处理,得到第二训练数据集中各航空摄影测量数据对应的非完全语义分割图,具体为:
本实施例首先构建第一语义分割网络,其第一语义分割网络为编码器-解码器结构,输入为航空摄影测量数据(即遥感图像),输出为航空摄影测量数据对应的非完全语义分割图像,所述非完全语义分割图像具体指的是仅部分像素点具有对应语义类别的语义分割图像。
本实施例中第一语义分割网络的训练过程具体为:为减轻数据标注过程的标注任务工作量,本实施例允许在标注时仅对航空摄影测量数据中的部分像素点进行类别标注,即得到航空摄影测量数据对应的标签数据是不完整的;本实施例利用第一训练数据集对第一语义分割网络进行训练,因此先对第一训练数据集中各航空摄影测量数据中的部分像素点进行类别标注,具体地,将未标注的像素点类别设置为0,标注的像素点类别设置为1,2,3…等正整数,其中1,2,3…为不同的类别;本实施例基于经验将类别的数量设置为20类,其中标注数据应当经过One-hot编码进行处理。本实施例中所述的类别数量可以根据实际需要进行设置。本实施例中第一语义分割网络训练时的损失函数采用的是交叉熵损失函数,所述交叉熵损失函数为公知技术,在此就不再赘述。
本实施例利用第一训练数据集、第一训练数据集中各航空摄影测量数据对应的标签数据以及交叉熵损失函数对第一语义分割网络进行训练,得到训练好的第一语义分割网络。
然后,本实施例将第二训练数据集中各航空摄影测量数据输入到训练好的第一语义分割网络中,输出得到第二训练数据集中各航空摄影测量数据对应的非完全语义分割图像。所述非完全语义分割图像包含多个语义类别,一个语义类别对应着非完全语义分割图像中的多个像素点。
步骤S3,对各非完全语义分割图像中的各语义类别进行轮廓提取,得到各语义类别对应的各最优轮廓对应的轮廓特征描述向量。
本实施例中步骤S3主要包括:对非完全语义分割图中各语义类别进行聚类和轮廓提取等处理,进而得到非完全语义分割图中各语义类别对应的各轮廓特征描述向量。接下来本实施例以第二训练数据集中任一航空摄影测量数据对应的非完全语义分割图像中的任一语义类别为例对获取轮廓特征描述向量的过程进行分析,具体为:
本实施例基于该航空摄影测量数据所对应的非完全语义分割图像,将该非完全语义分割图像中属于该语义类别的像素点进行聚类,并对得到的多个聚类集合进行轮廓提取;本实施例采用多边形逼近法来实现轮廓提取,具体可通过cv2.approxPolyDP()函数来实现轮廓提取;本实施例将最终获取的轮廓表示为
Figure 136221DEST_PATH_IMAGE015
,其中
Figure 14047DEST_PATH_IMAGE016
为第
Figure 629836DEST_PATH_IMAGE016
个语义类别,
Figure 251311DEST_PATH_IMAGE017
为轮廓索引(即聚类集合索引),所以
Figure 698472DEST_PATH_IMAGE015
表示为第
Figure 356987DEST_PATH_IMAGE016
个语义类别对应的第
Figure 86171DEST_PATH_IMAGE017
个聚类集合的轮廓。本实施例中
Figure 917861DEST_PATH_IMAGE017
的取值范围为
Figure 688370DEST_PATH_IMAGE018
内的整数,即一共有K个聚类集合,其中K为自己设置的超参数。本实施例在避免将零散像素点划分为轮廓的情况下,将
Figure 376841DEST_PATH_IMAGE019
的最大值设置为5,具体可根据实际需要进行设置。本实施例中多边形逼近算法为公知技术,在此就不再赘述。
本实施例确定了
Figure 232801DEST_PATH_IMAGE019
的最大值后,对
Figure 868182DEST_PATH_IMAGE020
进行遍历(max=5),具体地,获取不同的K值(即不同的初始聚类个数),本实施例以其中任一初始聚类个数为例,将该初始聚类个数作为
Figure 86674DEST_PATH_IMAGE021
积累算法的聚类集合的个数,然后对该语义类别的像素点进行聚类,得到该初始聚类个数对应的各聚类集合;对得到的各聚类集合聚类集合分别进行轮廓提取,得到各聚类集合对应的轮廓。本实施例对不同取值的K进行上述过程的处理,得到各初始聚类个数对应的各聚类集合的轮廓;然后分别对不同初始聚类个数对应的各聚类集合的轮廓进行分析,从中选取出一个最优的初始聚类个数,即最优数量,进而将最优数量对应的各个轮廓记为最优轮廓,即最优轮廓的个数为最优数量。本实施例中获取最优数量的方法具体为:
本实施例分别对不同初始聚类个数得到的各聚类集合的轮廓构成进行分析,对各轮廓区域内的该语义类别的像素点进行离散度计算,所述离散度以距离表征,具体表示为
Figure 149308DEST_PATH_IMAGE022
,其中
Figure 226985DEST_PATH_IMAGE003
为第c个语义类别对应的第k个轮廓的离散度,N为轮廓区域内第c个语义类别的像素点的个数,
Figure 728374DEST_PATH_IMAGE005
为第k个轮廓区域内第c个语义类别对应的像素点中第n个像素点的坐标,
Figure 4634DEST_PATH_IMAGE006
为第c个语义类别对应的第k个轮廓的质心点坐标,
Figure 441432DEST_PATH_IMAGE023
Figure 363995DEST_PATH_IMAGE005
Figure 544441DEST_PATH_IMAGE006
之间的距离;本实施例根据由不同初始聚类个数得到各聚类集合的轮廓对应的离散度,进而得到不同初始聚类个数对应的离散度综合评价指标,所述离散度综合评价指标的计算公式为
Figure 675208DEST_PATH_IMAGE024
,其中
Figure 141961DEST_PATH_IMAGE002
为第c个语义类别中K个轮廓的离散度综合评价指标,K为初始聚类个数的取值。
本实施例根据不同的初始聚类个数对应的离散度综合评价,可获取关于“
Figure 194231DEST_PATH_IMAGE025
”的二维散点图像,其中随着初始聚类个数(即K值)的增加,梯度稳定处对应的K值为最优的初始聚类个数取值,即最优数量;本实施例中梯度稳定的标准是通过判断梯度绝对值是否小于设置的梯度阈值,若梯度绝对值小于设置的梯度阈值,则判定该梯度稳定并且若后续的梯度也稳定情况下,将该梯度处对应的初始聚类个数的取值作为最优数量。本实施例将所述梯度阈值设置为
Figure 709526DEST_PATH_IMAGE026
,具体可根据实际需要进行设置。
至此,本实施例获取了基于最优数量对该语义类别的像素点进行划分得到的各最优轮廓。为了得到各最优轮廓对应的轮廓特征描述向量,本实施例分别对各最优轮廓进行处理,从而得到对应的轮廓特征描述向量。接下来本实施例以得到任一最优轮廓对应的轮廓特征描述向量为例,首先以最优轮廓区域内的质心点为中心点,构建
Figure 22695DEST_PATH_IMAGE027
个射线,其中
Figure 598033DEST_PATH_IMAGE027
的取值是基于所需空间信息精度获取的,本实施例设置
Figure 137599DEST_PATH_IMAGE028
,具体可根据实际需要进行设置;然后根据M的取值,可以得到
Figure 518902DEST_PATH_IMAGE027
个射线对应的夹角,即
Figure 624261DEST_PATH_IMAGE029
,其中
Figure 573762DEST_PATH_IMAGE030
取值范围为
Figure 695564DEST_PATH_IMAGE031
,本实施例所述射线对应的夹角为射线方向与直角坐标系中
Figure 818241DEST_PATH_IMAGE032
轴正方向的夹角,所述直角坐标系原点为最优轮廓区域的中心点。具体为:
本实施例根据所述夹角,在对应的坐标系中构建出
Figure 981369DEST_PATH_IMAGE027
条射线,所述射线以中心点为起始点,并基于夹角确定射线的方向,从而可获取
Figure 960827DEST_PATH_IMAGE027
条射线与对应最优轮廓的
Figure 271722DEST_PATH_IMAGE027
个交点;本实施例将
Figure 135773DEST_PATH_IMAGE027
个交点的灰度值分别与中心点的灰度值进行比较,若交点灰度值大于等于质心点灰度值,则将对应的交点标记为1;若交点灰度值小于质心点灰度值,则将对应的交点标记为0。本实施例将各个交点对应的标记值按照对应射线的夹角由小到大进行排列,进而构建出对应的二进制表示,所述二进制表示共有
Figure 12462DEST_PATH_IMAGE027
位,本实施例将二进制表示作为该最优轮廓对应的轮廓特征描述向量。
本实施例考虑到所述中心点和交点的坐标可能不为整数,因此其灰度值采用双线性插值法来获取,所述双线性插值法为公知技术,在此不再赘述。本实施中在最优轮廓区域内构建M个向量如图2所示,图中1为射线,射线上的箭头为射线的方向;2为射线与最优轮廓的交点;椭圆为最优轮廓。
本实施例根据上述过程可以得到的各非完全语义分割图像中各语义类别对应的最优轮廓对应的轮廓特征描述向量,非完全语义分割图像的各个最优轮廓也可以说是对应航空摄影测量数据的各个最优轮廓,因此也可以记为第二训练数据集中各航空摄影测量数据对应的各语义类别对应的最优轮廓对应的轮廓特征描述向量,即一个航空摄影测量数据中有多个语义类别的像素点,每个语义类别对应最优数量个最优轮廓,每个最优轮廓对应的一个轮廓特征描述向量。
S4,将各最优轮廓对应的各轮廓特征描述向量输入到训练好的分类网络中,得到各轮廓特征描述向量对应的分类类别;根据各轮廓特征描述向量对应的分类类别,得到各轮廓特征描述向量对应的预测语义区域轮廓,所述预测语义区域轮廓用于预测轮廓区域内的像素点的语义类别。
为了降低语义分割网络的标注成本,节省人力资源,以及数据预处理的时间成本,本实施例通过将轮廓特征描述向量输入到标注压力较小的分类网络中,根据其得到的置信度信息生成该轮廓特征描述向量对应的预测语义区域轮廓,进而对航空摄影测量数据中未进行标注的像素点的类别进行预测标注。所述预测语义区域轮廓内的像素点均为对应的语义类别。
本实施例根据任一最优轮廓对应的轮廓特征描述向量生成对应的预测语义区域轮廓的方法具体为:
首先本实施例构建分类网络,所述分类网络为编码器-全连接层结构,分类网络输入为步骤S3得到的各轮廓特征描述向量,输出为轮廓特征描述向量对应的分类类别。
分类网络相较于语义分割的标注任务,分类网络的标注任务相对较为简单,因此可节省大量人力资源;本实施例中分类网络训练的过程具体为:本实施例采用多个轮廓特征描述向量作为分类网络的训练数据集,以各轮廓特征描述向量对应的轮廓的语义类别作为标注数据,所述语义类别的数量与训练第一语义分割网络时标注的类别数量相同,即本实施例中为20个类别;训练分类网络的损失函数采用交叉熵损失函数。
然后本实施例以最优轮廓中心点为圆心生成第一圆形预测语义轮廓区域
Figure 366083DEST_PATH_IMAGE033
,其第一圆形预测语义轮廓区域的半径(即第一半径)的计算公式为:
Figure 101958DEST_PATH_IMAGE008
其中,
Figure 628754DEST_PATH_IMAGE009
为第c个语义类别对应的第k个最优轮廓对应的第一半径,
Figure 297633DEST_PATH_IMAGE010
为分类网络输出的分类类别,
Figure 759838DEST_PATH_IMAGE013
为第k个最优轮廓区域内第c个语义类别对应的像素点中第n各像素点的坐标,
Figure 600319DEST_PATH_IMAGE014
为第k个最优轮廓区域内第c个语义类别对应的第k个轮廓的质心点坐标,
Figure 602910DEST_PATH_IMAGE034
为分类类别中语义分割类别对应的置信度(即分类网络得到的分类类别的置信度),e为自然常数,
Figure 595137DEST_PATH_IMAGE012
为预设参数,本实施例将
Figure 352877DEST_PATH_IMAGE012
设置为100,具体可根据实际需要进行设置。
Figure 594503DEST_PATH_IMAGE035
表示的是当分类网络输出的语义类别与分类类别一致时为1,否则语义类别与分类类别差距越大则
Figure 338468DEST_PATH_IMAGE035
越小,即
Figure 575414DEST_PATH_IMAGE009
趋向于0;
Figure 176160DEST_PATH_IMAGE034
的取值范围为
Figure 108343DEST_PATH_IMAGE036
;当g越大时,说明分类网络输出的分类越准确,即
Figure 780633DEST_PATH_IMAGE009
越大;
Figure 544190DEST_PATH_IMAGE037
为第k个最优轮廓内各第c个语义类别的像素点与最优轮廓区域内的中心点的最大距离,即说明了第c个语义类别的像素点所存在的最大范围。
最后以轮廓中心点为圆心生成第二圆形预测语义轮廓区域
Figure 253520DEST_PATH_IMAGE038
,其第二圆形预测语义轮廓区域的半径(即第二半径)的计算公式为
Figure 735317DEST_PATH_IMAGE039
,其中
Figure 712762DEST_PATH_IMAGE009
为第c个语义类别对应的第k个最优轮廓对应的第二半径,
Figure 268509DEST_PATH_IMAGE040
为第k个最优轮廓内各第c个语义类别的像素点与最优轮廓区域内的中心点的最小距离,即第二圆形预测语义轮廓区域内的各像素点的类别均不是第c个语义类别;进而本实施例以
Figure 476636DEST_PATH_IMAGE041
构成的区域作为该最优轮廓对应的预测语义区域,其轮廓为预测语义区域轮廓,其中
Figure 508046DEST_PATH_IMAGE042
表示对应的最优轮廓区域,用于排除
Figure 131925DEST_PATH_IMAGE043
构成的区域中不属于该最优轮廓区域内的像素点。
S5,利用各非完全语义分割图像对应的各语义类别对应的各预测语义区域轮廓,对第二训练数据集中各航空摄影测量数据对应的各像素点的类别进行标注。
为了对第二训练数据集中各航空摄影测量数据的所有像素点进行标注,本实施例利用孪生网络对各个像素点进行像素点特征相似度评估,进而对各像素点进行标注,以提高标注的准确率。
本实施例对第二训练数据集中各航空摄影测量数据的所有像素点进行标注具体过程为:
本实施例首先构建一个孪生网络,所述孪生网络的分支为编码器-全连接层,训练好的孪生网络的输入为各像素点的邻域图像信息,网络的输出为对应像素点的语义类别,本实施例中可以采用已知语义类别的像素点的邻域图像信息作为样本对孪生网络进行训练。本实施例中所述像素点的邻域图像信息为对应像素点周围16*16范围内的像素点信息。
本实施例基于步骤
Figure 870074DEST_PATH_IMAGE044
所获取的预测语义区域轮廓,将第二训练数据集中各航空摄影测量数据对应的各预测语义区域轮廓内的像素点均标注为对应的语义类别,然后将预测语义区域轮廓内的各像素点的邻域图信息通过孪生网络分支得到对应的第一特征向量。
对于各航空摄影测量数据中未被标注的像素点,本实施例将其像素点的邻域图像信息送入到训练好的孪生网络分支中获取其对应的第二特征向量,然后选择与第二特征向量的余弦相似度最大的存储特征向量,并根据最接近的存储特征向量对应的语义类别为对应的未被标注的像素点进行标注。所述存储特征向量包括训练孪生网络是已知语义类别的像素点对应的特征向量和第一特征向量。本实施例中孪生网络为现有技术,在此就不再赘述。
本实施例根据上述方法可以为第二训练数据集中各航空摄影测量数据的所有像素点进行类别标注,即各航空摄影测量数据对应的完整的标签数据。
步骤S6,利用第二训练数据集与第二训练数据集中的各航空摄影测量数据对应的标签数据对第二语义分割网络进行训练,得到训练好的第二语义分割网络,利用训练好的第二语义分割网络对目标航空摄影测量数据进行语义分割。
本实施例根据步骤S5获取到了第二训练数据集中的各个航空摄影测量数据对应的完整的标签数据,然后基于第二训练数据集与各航空摄影测量数据对应的完整标签数据对第二语义分割网络进行训练,训练好的第二语义分割网络;本实施例中得到第二语义分割网络训练方式与第一语义分割网络的训练方式一致,但其两者的航空摄影测量数据存在区别,并且第二训练数据集对应的各航空摄影测量数据的标签数据为完整的标签数据,因此提高了网络训练的准确性,进而得到更加准确的语义分割数据。
得到训练好的第二语义分割网络后,利用训练好的第二语义分割网络,对目标航空摄影测量数据进行语义分割。
本实施例首先利用第一训练数据集与有限的标注信息对第一语义分割网络进行训练,得到训练好的第一语义分割网络,然后根据训练好的第一语义分割网络和训练好的分类网络,得到第二训练数据集中的各航空摄影测量数据对应的各预测语义区域轮廓,最后利用第二训练数据集中的各航空摄影测量数据对应的各预测语义区域轮廓,对第二训练数据集中各航空摄影测量数据对应的各像素点的类别进行标注,进而利用第二训练数据集与第二训练数据集中的各航空摄影测量数据对应的标签数据对第二语义分割网络进行训练,得到训练好的第二语义分割网络。本实施例利用训练好的第二语义分割网络对航空摄影测量数据进行处理。本实施例基于图像所携带的信息进行标签的预测和优化,无需多航空摄影测量数据迭代训练,从而克服了因场景复杂性过高而带来的语义分割网络准确率下降的问题。
需要说明的是: 以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种航空摄影测量数据的处理方法,其特征在于,该方法包括以下步骤:
获得第一训练数据集和第二训练数据集,所述第一训练数据集为多个地形场景下所采集到的多张航空摄影测量数据,所述第二训练数据集为不包含第一训练数据集的航空摄影测量数据的多张航空摄影测量数据;
利用第一训练数据集对第一语义分割网络进行训练,得到训练好的第一语义分割网络;将第二训练数据集中的各航空摄影测量数据输入到训练好的第一语义分割网络中,得到第二训练数据集中各航空摄影测量数据对应的非完全语义分割图像;所述非完全语义分割图像为仅部分像素点具有对应的语义类别的语义分割图像;
对各非完全语义分割图像中的各语义类别进行轮廓提取,得到各语义类别对应的各最优轮廓对应的轮廓特征描述向量;
将各最优轮廓对应的各轮廓特征描述向量输入到训练好的分类网络中,得到各轮廓特征描述向量对应的分类类别;根据各轮廓特征描述向量对应的分类类别,得到各轮廓特征描述向量对应的预测语义区域轮廓,所述预测语义区域轮廓用于预测轮廓区域内的像素点的语义类别;
利用各非完全语义分割图像对应的各语义类别对应的各预测语义区域轮廓,对第二训练数据集中各航空摄影测量数据对应的各像素点的类别进行标注;
利用第二训练数据集与第二训练数据集中的各航空摄影测量数据对应的标签数据对第二语义分割网络进行训练,得到训练好的第二语义分割网络,利用训练好的第二语义分割网络对目标航空摄影测量数据进行语义分割。
2.根据权利要求1所述的一种航空摄影测量数据的处理方法,其特征在于,所述利用第一训练数据集对第一语义分割网络进行训练,得到训练好的第一语义分割网络,包括:
对第一训练数据集中各航空摄影测量数据对应的部分像素点的类别标注,得到第一训练数据集中各航空摄影测量数据对应的标签数据;
利用第一训练数据集、第一训练数据集中各航空摄影测量数据对应的标签数据以及交叉熵损失函数对第一语义分割网络进行训练,得到训练好的第一语义分割网络。
3.根据权利要求1所述的一种航空摄影测量数据的处理方法,其特征在于,对各非完全语义分割图像中的各语义类别进行轮廓提取,得到各语义类别对应的最优轮廓,包括:
对于任一非完全语义分割图像中的任一语义类别:
利用不同的初始聚类个数对该非完全语义分割图像中该语义类别的像素点进行聚类,得到各初始聚类个数对应的各聚类集合;
对各初始聚类个数对应的各聚类集合进行轮廓提取,得到各初始聚类个数对应的各聚类集合的轮廓;
根据各初始聚类个数对应的各聚类集合的轮廓,选择出最优的初始聚类个数取值,记为最优数量;将最优数量对应的各轮廓记为对应的各最优轮廓。
4.根据权利要求3所述的一种航空摄影测量数据的处理方法,其特征在于,所述根据各初始聚类个数对应的各聚类集合的轮廓,选择出最优的初始聚类个数取值,包括:
计算不同初始聚类个数对应的离散度综合评价指标;
根据不同初始聚类个数对应的离散度综合评价指标,构建二维散点图像;
将二维散点图像中梯度稳定处对应的初始聚类个数作为最优数量。
5.根据权利要求4所述的一种航空摄影测量数据的处理方法,其特征在于,离散度综合评价指标的计算公式为:
Figure DEST_PATH_IMAGE001
其中,
Figure 248898DEST_PATH_IMAGE002
为第c个语义类别中K个轮廓的离散度综合评价指标,
Figure 258049DEST_PATH_IMAGE003
为第c个语义类别对应的第k个轮廓的离散度,K为初始聚类个数的取值;
Figure 241048DEST_PATH_IMAGE003
的计算公式为:
Figure 229733DEST_PATH_IMAGE004
其中,N为第k个轮廓区域内第c个语义类别的像素点的个数,
Figure DEST_PATH_IMAGE005
为第k个轮廓区域内第c个语义类别对应的像素点中第n个像素点的坐标,
Figure 778526DEST_PATH_IMAGE006
为第c个语义类别对应的第k个轮廓的质心点坐标,
Figure 928884DEST_PATH_IMAGE007
为距离。
6.根据权利要求1所述的一种航空摄影测量数据的处理方法,其特征在于,所述得到任一最优轮廓对应的轮廓特征描述向量,包括:
以该最优轮廓区域内的质心点为原点构建直角坐标系;
在直角坐标系中以原点为起点构建预设数量的射线;
获取各射线与该最优轮廓的交点,将各交点的灰度值与该最优轮廓区域内的质心点的灰度值进行比较,若交点灰度值大于等于质心点灰度值,则将对应的交点标记为1;若交点灰度值小于质心点灰度值,则将对应的交点标记为0;
将各个交点对应的标记值进行排序,构建该最优轮廓的二进制表示,记为该最优轮廓对应的轮廓特征描述向量。
7.根据权利要求1所述的一种航空摄影测量数据的处理方法,其特征在于,根据任一轮廓特征描述向量对应的分类类别,得到对应的预测语义区域轮廓,包括:
计算该轮廓特征描述向量对应的最优轮廓区域内为对应类别的各像素点与质心点的最大距离,根据所述最大距离和该轮廓特征描述向量对应的分类类别计算得到第一半径;
以该轮廓特征描述向量对应的最优轮廓内的质心点为圆点,以第一半径为圆的半径,构建第一圆形预测语义轮廓区域;
根据该轮廓特征描述向量对应的最优轮廓区域内为对应类别的各像素点与质心点的最小距离,计算得到第二半径;
以轮廓特征描述向量对应的最优轮廓内的质心点为圆点,以第二半径为圆的半径,构建第二圆形预测语义轮廓区域;
根据第一圆形预测语义轮廓区域、第一圆形预测语义轮廓区域和该最优轮廓区域,得到预测语义区域轮廓。
8.根据权利要求7所述的一种航空摄影测量数据的处理方法,其特征在于,计算得到第一半径的计算公式为:
Figure 664759DEST_PATH_IMAGE008
其中,
Figure 129239DEST_PATH_IMAGE009
为第c个语义类别对应的第k个最优轮廓对应的第一半径,
Figure 391593DEST_PATH_IMAGE010
为分类网络输出的分类类别,
Figure 588219DEST_PATH_IMAGE011
为分类类别
Figure 608127DEST_PATH_IMAGE010
对应的置信度,e为自然常数,
Figure 174500DEST_PATH_IMAGE012
为预设参数,
Figure 166727DEST_PATH_IMAGE013
为第k个最优轮廓区域内第c个语义类别对应的像素点中第n各像素点的坐标,
Figure 190047DEST_PATH_IMAGE014
为第k个最优轮廓区域内第c个语义类别对应的第k个轮廓的质心点坐标,
Figure 697251DEST_PATH_IMAGE007
为距离,max()为最大值。
9.根据权利要求1所述的一种航空摄影测量数据的处理方法,其特征在于,利用各非完全语义分割图像对应的各语义类别对应的各预测语义区域轮廓,对第二训练数据集中各航空摄影测量数据对应的各像素点的类别进行标注,包括:
对于第二训练数据集对应的任一非完全语义分割图像对应的任一语义类别对应的任一预测语义区域轮廓:将该预测语义区域轮廓内的各像素点标注为该轮廓对应的语义类别;
将第二训练数据集中各航空摄影测量数据对应的各语义类别对应的各预测语义区域轮廓内的各像素点的邻域图信息输入到训练好的孪生网络分支中,得到对应的各像素点的第一特征向量;
将第二训练数据集中各航空摄影测量数据中未被标注的像素点的邻域图信息输入到训练好的孪生网络分支中,得到对应像素点的第二特征向量;
选择与各第二特征向量的余弦相似度最大的存储特征向量,所述存储特征向量包括各第一特征向量和训练孪生网络时得到的特征向量;
根据各存储特征向量对应的语义类别,对各第二特征向量对应的像素点的类别进行标注。
CN202210029892.2A 2022-01-12 2022-01-12 一种航空摄影测量数据的处理方法 Active CN114067118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210029892.2A CN114067118B (zh) 2022-01-12 2022-01-12 一种航空摄影测量数据的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210029892.2A CN114067118B (zh) 2022-01-12 2022-01-12 一种航空摄影测量数据的处理方法

Publications (2)

Publication Number Publication Date
CN114067118A true CN114067118A (zh) 2022-02-18
CN114067118B CN114067118B (zh) 2022-04-15

Family

ID=80230829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210029892.2A Active CN114067118B (zh) 2022-01-12 2022-01-12 一种航空摄影测量数据的处理方法

Country Status (1)

Country Link
CN (1) CN114067118B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785824A (zh) * 2022-04-06 2022-07-22 郑州润声电子科技有限公司 一种智能物联网大数据传输方法及系统
CN114898098A (zh) * 2022-06-27 2022-08-12 北京航空航天大学 脑组织图像分割方法
CN115456855A (zh) * 2022-11-11 2022-12-09 湖北晓雲科技有限公司 一种无人机辅助倾斜摄影图像采集系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063723A (zh) * 2018-06-11 2018-12-21 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN109087303A (zh) * 2018-08-15 2018-12-25 中山大学 基于迁移学习提升语义分割模型效果的框架
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109378052A (zh) * 2018-08-31 2019-02-22 透彻影像(北京)科技有限公司 图像标注的预处理方法及系统
CN109472313A (zh) * 2018-11-14 2019-03-15 四川大学 一种提升深度学习识别b超图像稳定性的方法
CN110705403A (zh) * 2019-09-19 2020-01-17 平安科技(深圳)有限公司 细胞分类方法、装置、介质及电子设备
CN111507343A (zh) * 2019-01-30 2020-08-07 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置
CN112883900A (zh) * 2021-03-12 2021-06-01 中科三清科技有限公司 遥感影像裸地反演可视图的方法及装置
US20210327126A1 (en) * 2018-10-31 2021-10-21 Shenzhen University 3D Object Reconstruction Method, Computer Apparatus and Storage Medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063723A (zh) * 2018-06-11 2018-12-21 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109087303A (zh) * 2018-08-15 2018-12-25 中山大学 基于迁移学习提升语义分割模型效果的框架
CN109378052A (zh) * 2018-08-31 2019-02-22 透彻影像(北京)科技有限公司 图像标注的预处理方法及系统
US20210327126A1 (en) * 2018-10-31 2021-10-21 Shenzhen University 3D Object Reconstruction Method, Computer Apparatus and Storage Medium
CN109472313A (zh) * 2018-11-14 2019-03-15 四川大学 一种提升深度学习识别b超图像稳定性的方法
CN111507343A (zh) * 2019-01-30 2020-08-07 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置
CN110705403A (zh) * 2019-09-19 2020-01-17 平安科技(深圳)有限公司 细胞分类方法、装置、介质及电子设备
CN112883900A (zh) * 2021-03-12 2021-06-01 中科三清科技有限公司 遥感影像裸地反演可视图的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785824A (zh) * 2022-04-06 2022-07-22 郑州润声电子科技有限公司 一种智能物联网大数据传输方法及系统
CN114785824B (zh) * 2022-04-06 2024-05-14 深圳前海用友力合科技服务有限公司 一种智能物联网大数据传输方法及系统
CN114898098A (zh) * 2022-06-27 2022-08-12 北京航空航天大学 脑组织图像分割方法
CN114898098B (zh) * 2022-06-27 2024-04-19 北京航空航天大学 脑组织图像分割方法
CN115456855A (zh) * 2022-11-11 2022-12-09 湖北晓雲科技有限公司 一种无人机辅助倾斜摄影图像采集系统

Also Published As

Publication number Publication date
CN114067118B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN114067118B (zh) 一种航空摄影测量数据的处理方法
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN111460984B (zh) 一种基于关键点与梯度均衡损失的全局车道线检测方法
CN111814654B (zh) 基于马尔可夫随机场的远程塔台视频目标挂标牌方法
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN102073748B (zh) 一种基于视觉关键词的遥感影像语义检索方法
CN112036231B (zh) 一种基于车载视频的车道线和路面指示标志检测与识别方法
CN108427919B (zh) 一种基于形状引导显著性模型的无监督油罐目标检测方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN110458022A (zh) 一种基于域适应的可自主学习目标检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN115661569A (zh) 一种高精度的细粒度sar目标检测方法
CN117635628B (zh) 一种基于上下文注意力和边界感知引导的海陆分割方法
Sun et al. Image target detection algorithm compression and pruning based on neural network
CN115100406A (zh) 一种基于超像素处理的权重信息熵模糊c均值聚类方法
CN118279320A (zh) 基于自动提示学习的目标实例分割模型建立方法及其应用
CN116758401B (zh) 基于深度学习和遥感图像的城市内河水质评估方法
CN116403071B (zh) 基于特征重构的少样本混凝土缺陷检测方法及装置
CN116844040A (zh) 一种基于双流结构的小样本遥感图像场景分类方法
Dornaika et al. A comparative study of image segmentation algorithms and descriptors for building detection
Zhang et al. Point clouds classification of large scenes based on blueprint separation convolutional neural network
CN116843719A (zh) 一种基于独立搜索孪生神经网络的目标跟踪方法
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant