CN113239829A - 基于空间占用概率特征的跨维度遥感数据目标识别方法 - Google Patents
基于空间占用概率特征的跨维度遥感数据目标识别方法 Download PDFInfo
- Publication number
- CN113239829A CN113239829A CN202110550692.7A CN202110550692A CN113239829A CN 113239829 A CN113239829 A CN 113239829A CN 202110550692 A CN202110550692 A CN 202110550692A CN 113239829 A CN113239829 A CN 113239829A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- dimensional image
- network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于空间占用概率特征的跨维度遥感数据目标识别方法,属于遥感图像目标识别技术领域。本发明是为了解决目前没有一种有效的跨维度特征描述方法能够实现遥感数据中同一地物目标的二维图像数据与三维点云数据的关联问题。本发明首先训练二维图像的空间占用概率特征提取网络和三维点云的空间占用概率特征提取网络,然后对遥感数据中的二维图像数据和三维点云数据进行同类特征提取,即空间占用概率特征,最终基于空间占用概率特征实现遥感数据中同一地物目标的二维和三维数据之间的跨维度目标识别,即实现同一地物目标的二维图像数据与三维点云数据的关联。主要用于遥感数据的目标识别。
Description
技术领域
本发明涉及遥感数据目标识别方法,属于遥感图像目标识别技术领域。
背景技术
长期以来,基于遥感图像的地物信息提取和识别技术在民生和国防领域有着广泛的应用需求。随着遥感领域的技术发展及应用需求提高,相较于传统可见光波段的相机所获取的二维图像数据,激光雷达等遥感扫描设备所获取的三维点云数据在立体空间中对遥感目标能够进行更加完善的三维描述,不管在民事还是军事领域都具有更重大的意义。因此,为充分利用激光雷达等设备及传统可见光波段的相机所获得的全部地物信息,需要将同一地物目标的二维图像数据与三维点云数据进行关联。由于二维图像和三维点云具有不同的维度特征,导致目前并没有有效的跨维度特征描述方法用于实现两者的关联,因此对上述跨维度遥感数据进行同类特征提取并依据该特征进行跨维度目标识别具有重要意义。
发明内容
本发明是为了解决目前没有一种有效的跨维度特征描述方法能够实现遥感数据中二维图像数据与三维点云数据的关联的问题。
基于空间占用概率特征的跨维度遥感数据目标识别方法,包括以下步骤:
S1:对二维图像遥感数据进行预处理:将二维图像遥感数据输入实例分割网络,并依据实例分割结果对遥感数据进行目标提取;
S2:对三维点云遥感数据进行预处理:将三维点云输入点云目标检测网络,依据目标检测结果对三维点云遥感数据进行目标分割;
S3:将S1处理后的图像输入二维图像的空间占用概率特征的深度学习网络,提取二维图像的空间占用概率Ftest-2D;
S4:将S2处理后的三维点云输入三维点云的空间占用概率特征的深度学习网络;提取三维点云的空间占用概率Ftest-3D;
S5:将S3和S4中得到的空间占用概率特征Ftest-2D和Ftest-3D输入分类器进行目标识别,实现二维图像数据与三维点云数据的关联。
进一步地,S1所述的实例分割网络采用PANET。
进一步地,S2所述的点云目标检测网络采用3D-BONET。
进一步地,S3所述的二维图像的空间占用概率特征的深度学习网络为OccupancyNetwork-2D网络,即Onet-2D,其训练过程包括以下步骤:
S301、构建二维图像数据集Mpre-2D,二维图像数据集Mpre-2D包括一个二维图像训练数据集Mtr-2D和一个二维图像测试数据集Mtest-2D;
S302、训练Onet-2D:
将二维图像训练数据集Mtr-2D中的二维图像数据输入Onet-2D,Onet-2D首先采用带有超强通道注意力模块ECA的RESNET18残差网络对输入的二维图像数据进行特征提取,得到1*256的特征F1;
其次,随机生成一个单位体积的采样点云立方体,将点云立方体中每个点的x、y、z坐标输入一个三层的mlp多层神经网络,并转置,得到256*N的特征F2;
然后将F1和F2分别输入至少一个条件批量标准化模块,所述的条件批量标准化模块即CBN模块;具体过程包括以下步骤:
将从二维图像提取到的1*256的特征F1输入mlp多层神经网络,得到N*256的特征F3,并与从三维点云中提取到的特征F2进行.*运算,得到特征F4,再将F4与二维图像特征F1通过mlp多层神经网络后得到N*256的特征F3进行相加运算,得到N*256的特征F5;再将F5进行最大池化操作,得到1*256的特征F6,再进行卷积操作和sigmoid操作得到最终的N*256的特征F7;
当条件批量标准化模块大于一个时,将从二维图像提取到的1*256的特征F1输入mlp多层神经网络,得到N*256的特征F3,并与从前一个条件批量标准化模块得到的特征F7进行.*运算,得到特征F4,再将F4与二维图像特征F1通过mlp多层神经网络得到N*256的特征F3进行相加运算,得到N*256的特征F5;再将F5进行最大池化操作,得到1*256的特征F6,再进行卷积操作和sigmoid得到新的N*256的特征F7;
最后,将F7输入mlp多层神经网络即可得到N*3的点云形式的预测结果;将训练集中的根据地物目标实际尺寸绘制的三维模型进行处理,得到真值点云,将真值点云与预测结果进行比对并计算loss值;
经过迭代最终完成训练得到训练好的Onet-2D。
进一步地,构建二维图像数据集Mpre-2D的过程包括以下步骤:
将获得的二维图像遥感数据输入实例分割网络,并依据实例分割结果对遥感数据进行目标提取,得到每幅图中只有一个对象的二维图像数据集Mpre-2D,将二维图像数据集Mpre-2D分为二维图像训练数据集Mtr-2D和二维图像测试数据集Mtest-2D;训练数据集Mtr-2D中包含地物目标的二维图像以及对应的根据该地物目标实际尺寸绘制的三维模型,测试数据集Mtest-2D中只包含地物目标的二维图像。
进一步地,S4所述的三维点云的空间占用概率特征的深度学习网络为OccupancyNetwork-3D网络,即Onet-3D,其训练过程包括以下步骤:
S401、构建三维点云数据集Mpre-3D,三维点云数据集Mpre-3D包括一个三维点云训练数据集Mtr-3D和一个三维点云测试数据集Mtest-3D;
S402、训练Onet-3D:
将三维点云训练数据集Mtr-3D中的三维点云数据输入Onet-3D;Onet-3D首先采用pointnet点云特征提取网络对输入的三维点云数据进行特征提取,得到得到1*256的特征f1;
其次,随机生成一个单位体积的采样点云立方体,将点云立方体中每个点的x、y、z坐标输入一个三层的mlp多层神经网络,并转置,得到256*N的特征f2;
然后将f1和f2分别输入至少一个条件批量标准化模块,所述的条件批量标准化模块即CBN模块;具体过程包括以下步骤:
将从二维图像提取到的1*256的特征f1输入mlp多层神经网络,得到N*256的特征f3,并与从三维点云中提取到的特征f2进行.*运算,得到特征f4,再将f4与二维图像特征f1通过mlp多层神经网络得到N*256的特征f3进行相加运算,得到N*256的特征f5;再将f5进行最大池化操作,得到1*256的特征f6,再进行卷积操作和sigmoid操作得到最终的N*256的特征f7;
当条件批量标准化模块大于一个时,将从二维图像提取到的1*256的特征f1输入mlp多层神经网络,得到N*256的特征f3,并与从前一个条件批量标准化模块得到的特征f7进行.*运算,得到特征f4,再将f4与二维图像特征f1通过mlp多层神经网络得到N*256的特征f3进行相加运算,得到N*256的特征f5;再将f5进行最大池化操作,得到1*256的特征f6,再进行卷积操作和sigmoid得到新的N*256的特征f7;
最后,将f7输入mlp多层神经网络即可得到N*3的点云形式的预测结果;将训练集中的根据该地物目标实际尺寸绘制的三维模型进行处理,得到真值点云,将真值点云与预测结果进行比对得到loss值;
经过迭代最终完成训练得到训练好的Onet-3D。
进一步地,Occupancy Network-3D网络采用pointnet点云特征提取网络对输入的三维点云数据进行特征提取的过程包括以下步骤:
将输入网络的N*3真实点云数据通过input transform模块,然后再通过一个二层的mlp多层神经网络,得到N*64的特征F'1;
将特征F'1输入feature transform模块,然后再通过一个三层的mlp多层神经网络,得到N*1024的特征F'2;
对N*1024的特征F'2进行最大池化操作,得到1*1024的特征F'3,再通过一个二层的mlp多层神经网络,得到1*256的特征f1。
进一步地,构建三维点云数据集Mpre-3D的过程包括以下步骤:
将获得的三维点云遥感数据输入点云目标检测网络,依据目标检测结果对三维点云遥感数据进行目标分割,得到每个文件中只包含一个对象的三维点云数据集Mpre-3D,三维点云数据集Mpre-3D分为三维点云训练数据集Mtr-3D和三维点云测试数据集Mtest-3D。训练数据集Mtr-3D中包含地物目标的三维点云以及对应的根据该地物目标实际尺寸绘制的三维模型,测试数据集Mtest-3D中只包含地物目标的三维点云。
进一步地,S5所述的分类器采用pointnet++点云分类网络,采用pointnet++点云分类网络进行目标识别的过程包括以下步骤:
(1)、将S3和S4得到的数组形式的空间占用概率转换成点云形式,并设置点云中点的数量为定值m,若点云中的点数>m则进行下采样操作,若点云中的点数<m则进行上采样操作。
(2)、将上述预处理后的点云数据输入到pointnet++点云分类网络中;依据最终提取到的1*k的特征进行分类,即实现了二维图像数据与三维点云数据的关联。
进一步地,所述的分类器的训练过程包括以下步骤:
S501、提取二维图像数据集Mpre-2D中的二维图像测试数据集Mtest-2D,以及三维点云数据集Mpre-3D中的三维点云测试数据集Mtest-3D;
S502、将二维图像测试数据集Mtest-2D输入到Onet-2D中,提取二维图像数据的空间占用概率特征,得到数组形式的空间占用概率Ftest-2D。
将三维点云测试数据集Mtest-3D输入到Onet-3D中,提取三维点云数据的空间占用概率特征,得到数组形式的空间占用概率Ftest-3D;
S503、将二维图像中提取到的空间占用概率特征对应的点云作为输入数据输入到pointnet++网络中,并将提取到的特征用作类特征;将三维点云中提取到的空间占用概率点云作为目标数据输入到pointnet++网络中,将提取到的特征与类特征进行匹配,并计算准确率,反复迭代实现分类器的训练;
或者,
将三维点云中提取到的空间占用概率特征对应的点云作为输入数据输入到pointnet++网络中,并将提取到的特征用作类特征;将二维图像中提取到的空间占用概率点云作为目标数据输入到pointnet++网络中,将提取到的特征与类特征进行匹配,并计算准确率,反复迭代实现分类器的训练。
有益效果:
本发明首先训练二维图像的空间占用概率特征提取网络和三维点云的空间占用概率特征提取网络,然后对遥感数据中的二维图像数据和三维点云数据进行同类特征提取,即空间占用概率特征,最终基于空间占用概率特征实现遥感数据中同一地物目标的二维和三维数据之间的跨维度目标识别,即实现同一地物目标的二维图像数据与三维点云数据的关联。本发明可以很好的解决目前不能对二维图像数据与三维点云数据进行有效关联的问题,关联准确率可以达到80%。
附图说明
图1为具体实施方式一的流程示意图;
图2是二维图像实例分割方法PANET的示意图;
图3是三维点云目标检测方法3D-BONET的示意图;
图4是基于二维图像的空间占用概率特征提取方法Occupancy Network-2D的网络示意图;
图5是基于三维点云的空间占用概率特征提取方法Occupancy Network-3D的网络示意图;
图6是点云分类网络pointnet++的网络示意图。
具体实施方式
具体实施方式一:结合图1说明本实施方式,
本实施方式所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,包括以下步骤:
步骤一:对二维图像遥感数据进行预处理。
首先对获得的二维图像遥感数据进行预处理:将二维图像遥感数据输入实例分割网络,并依据实例分割结果对遥感数据进行目标提取,得到每幅图中只有一栋楼的二维图像数据集Mpre-2D,其中又分为二维图像训练数据集Mtr-2D和二维图像测试数据集Mtest-2D。训练数据集Mtr-2D中包含地物目标的二维图像以及对应的根据该建筑物实际尺寸绘制的三维模型,测试数据集Mtest-2D中只包含地物目标的二维图像。
步骤二:对三维点云遥感数据进行预处理。
对通过激光雷达等途径获得的三维点云遥感数据进行预处理:将三维点云输入点云目标检测网络,依据目标检测结果对三维点云遥感数据进行目标分割,得到每个文件中只包含一栋楼的点云数据的三维点云数据集Mpre-3D,其中又分为三维点云训练数据集Mtr-3D和三维点云测试数据集Mtest-3D。训练数据集Mtr-3D中包含地物目标的三维点云以及对应的根据该建筑物实际尺寸绘制的三维模型,测试数据集Mtest-3D中只包含地物目标的三维点云。
步骤三:训练二维图像的空间占用概率特征提取网络。
将二维图像训练数据集Mtr-2D中的图像输入深度学习网络中,训练用于提取二维图像的空间占用概率特征的深度学习网络;
所述的二维图像训练数据集的训练数据包括建筑物的真实二维遥感图像以及根据该建筑物实际尺寸绘制的三维仿真模型。
步骤四:训练三维点云的空间占用概率特征提取网络。
将三维点云训练数据集Mtr-3D中的点云文件输入深度学习网络中,训练用于提取三维点云的空间占用概率特征的深度学习网络;
所述的三维点云训练数据集的训练数据包括建筑物的真实三维点云数据以及根据该建筑物实际尺寸绘制的三维仿真模型;
步骤五:基于二维图像的空间占用概率特征提取。
将二维图像测试数据集Mtest-2D输入到步骤三中训练好的网络中,提取二维图像数据的空间占用概率特征,得到数组形式的空间占用概率Ftest-2D。
步骤六:基于三维点云的空间占用概率特征提取。
将三维点云测试数据集Mtest-3D输入到步骤四中训练好的网络中,提取三维点云数据的空间占用概率特征,得到数组形式的空间占用概率Ftest-3D。
步骤七:跨维度目标识别。将步骤五和步骤六中得到的来自不同维度遥感数据的空间占用概率特征Ftest-2D和Ftest-3D输入分类器进行目标识别。
实际上,遥感数据预处理环节包括步骤一和步骤二两步:步骤一为二维图像遥感数据的预处理步骤;步骤二为三维点云遥感数据的预处理步骤。
步骤一中采用PANET方法对二维图像的实例进行分割。如图2所示,PANET方法的结构主要分为特征金字塔模块、动态特征池化模块和全连接层模块,以二维图像数据作为输入进行实例分割。实例分割网络使用的损失函数L包括分类误差、检测误差和分割误差:
L=Lcls+Lbox+Lmask
其中,对于每一个ROI,mask分支定义一个K*m*2维的矩阵表示K个不同的分类对于每一个m*m的区域,对于每一个类都有一个。对于每一个像素,都是用sigmod函数进行求相对熵,得到平均相对熵误差Lmask。对于每一个ROI,如果检测得到ROI属于哪一个分类,就只使用哪一个分支的相对熵误差作为误差值进行计算。
步骤二中采用3D-BONET方法对三维点云进行目标检测。如图3所示,3D-BONET为对三维点云数据进行实例分割提供了一个新框架,以三维点云为输入进行目标检测。3D-BONET的损失函数定义为L:
L=Lsem+Lbbox+Lbbs+Lpmask
其中
前期网络训练包括步骤三和步骤四两步:步骤三为训练基于二维图像的空间占用概率特征提取网络的过程;步骤四为训练基于三维点云的空间占用概率特征提取网络的过程。
步骤三中采用Occupancy Network-2D(Onet-2D)方法,使用步骤一中得到的训练数据Mtr-2D来训练基于二维图像的空间占用概率特征提取网络,如图4所示。空间占用概率为理想情况下每个点是否为模型内的点的概率,用3D物体的占用函数fθ(pij,xi):R3→{0,1}来表示,并通过Onet-2D网络来得到这个3D函数。该神经网络给每个位置p分配一个在0到1之间的占用概率,相当于一个用于二分类的神经网络,而本发明关注的是对象表面的决策边界。Onet-2D参数训练的具体步骤为:
首先,将训练集中的二维图像数据输入网络,使用带有超强通道注意力模块ECA的RESNET18残差网络对输入的二维图像数据进行特征提取,得到1*256的特征F1。超强通道注意力模块ECA是一种避免了维度缩减、并有效捕获了跨通道交互的模块:将RESNET18残差网络提取到的H*W*C的特征在不降低维度的情况下进行逐通道全局平均池化,然后通过大小为k1的快速一维卷积实现每个通道及其k1个近邻的跨通道交互,其中内核大小k1代表本地跨通道交互的覆盖范围,即有多少个相近邻参与一个通道的注意力预测,输出同样为H*W*C的特征。
其次,随机生成一个单位体积的采样点云立方体(这一步首先随机生成一个采样点云立方体,然后通过后续的训练步骤为每个采样点配置空间占用概率,逐渐将其训练为“三维仿真模型”的形状),将点云立方体中每个点的x、y、z坐标(N*3)输入一个三层的mlp多层神经网络(3→64→256),并转置,得到256*N的特征F2。
然后将上述两个特征分别输入至少一个条件批量标准化模块(CBN模块),优选为5个CBN。条件批量标准化模块(CBN模块):将从二维图像提取到的1*256的特征F1输入mlp多层神经网络,得到N*256的特征F3,并与从三维点云中提取到的特征F2进行.*运算(两个矩阵对应元素相乘),得到特征F4,再将F4与二维图像特征F1通过mlp多层神经网络得到N*256的特征F3进行相加运算,得到N*256的特征F5;再将F5进行最大池化操作,得到1*256的特征F6,再进行卷积操作和sigmoid操作得到最终的N*256的特征F7;
当条件批量标准化模块大于一个时,将从二维图像提取到的1*256的特征F1输入mlp多层神经网络,得到N*256的特征F3,并与从前一个条件批量标准化模块得到的特征F7进行.*运算,得到特征F4,再将F4与二维图像特征F1通过mlp多层神经网络得到N*256的特征F3进行相加运算,得到N*256的特征F5;再将F5进行最大池化操作,得到1*256的特征F6,再进行卷积操作和sigmoid得到新的N*256的特征F7;
最后,将F7输入mlp多层神经网络即可得到N*3的点云形式的预测结果。将训练集中的根据该建筑物实际尺寸绘制的三维模型进行处理,得到该建筑物的真值点云,与预测结果进行比对即可得到loss值。
为了学习神经网络的参数,考虑在生成的单位体积点云立方体中随机采样点,对于第i个样本,采样K个点,然后评估这些位置的小批量损失LB(θ)如下所示:
其中fθ(pij,xi)是空间占用概率函数,以xi和pij作为输入,通过设定的阈值,判断第i个样本的第j个采样点是否为模型内的点,xi是第i个样本的观测值,pij是第i个样本的第j个采样点为模型内的点的概率,oij是点云的真实位置,L是计算交叉熵损失。
步骤四中采用Occupancy Network-3D(Onet-3D)方法,使用步骤二中得到的训练数据Mtr-3D来训练基于三维点云的空间占用概率特征提取网络,如图5所示。步骤四大体上的训练步骤与步骤三相同,不同之处在于,由于网络输入由二维图像变为三维点云,因此输入编码部分发生了变化:在步骤四中采用pointnet点云特征提取方法:
首先,将输入网络的N*3真实点云数据通过input transform模块,然后再通过一个二层的mlp多层神经网络(3→64),得到N*64的特征F'1。
然后,将特征F'1输入feature transform模块,然后再通过一个三层的mlp多层神经网络(64→128→1024),得到N*1024的特征F'2。input transform模块和featuretransform模块的结构如图5所示,先将输入通过一个T-Net网络得到一个3*3或64*64的矩阵,然后与输入做矩阵乘法,得到N*3或N*64的特征,其功能均为加强特征提取能力。对N*1024的特征F'2进行最大池化操作,得到1*1024的特征F'3,再通过一个二层的mlp多层神经网络(512→256),得到1*256的特征。
步骤五和步骤六分别使用步骤三和步骤四中训练好的Occupancy Network-2D和Occupancy Network-3D网络对不同维度的遥感数据进行空间占用概率特征提取,以二维图像遥感数据和三维点云遥感数据分别作为输入,输出数组形式的二维图像的空间占用概率特征和数组形式的三维点云的空间占用概率特征。
步骤七的分类器采用pointnet++点云分类网络实现:
(1)、首先对待分类点云进行预处理。将步骤五和步骤六中得到的数组形式的不同维度数据的空间占用概率转换成点云形式,并设置点云中点的数量为定值m,若点云中的点数>m则进行下采样操作,若点云中的点数<m则进行上采样操作(将点云中的点单纯进行复制,直至达到目标数量m,对点云信息无影响)。
(2)、将上述预处理后的点云数据输入到图6所示的点云分类网络中。点云分类网络结构与步骤四中的点云编码器结构相同,依据最终提取到的1*k的特征进行分类,即实现了二维图像数据与三维点云数据的关联。
该过程将将二维图像中提取到的空间占用概率特征对应的点云作为输入数据输入到点云分类网络pointnet++网络中,并将提取到的特征用作类特征;将三维点云中提取到的空间占用概率点云作为目标数据输入到pointnet++网络中,将提取到的特征与类特征进行匹配,并计算准确率,反复迭代实现分类器的训练。(这一步骤中二维图像中提取到的空间占用概率特征和三维点云中提取到的空间占用概率特征位置可互换,即均可作为输入数据和目标数据);
分类器中使用的pointnet++点云特征提取网络对输入的三维点云数据进行特征提取的过程包括以下步骤:
将输入网络的N*3点云数据通过input transform模块,然后再通过一个二层的mlp多层神经网络,得到N*64的特征F”1;
将特征F”1输入feature transform模块,然后再通过一个三层的mlp多层神经网络,得到N*1024的特征F”2;
对N*1024的特征F”2进行最大池化操作,得到1*1024的特征F”3,再通过一个三层的mlp多层神经网络,得到1*k的特征F”4;k为点云分类的类别数。
上述基于pointnet++点云分类网络的分类器通过对不同维度遥感数据进行跨维度特征提取得到的点云形式的空间占用概率进行特征提取,而后通过特征相似度排序实现遥感数据中同一地物不同维度数据的识别。在实际使用时,将二维图像数据经过步骤一的预处理,然后输入二维图像的空间占用概率特征提取网络提取二维图像的空间占用概率;同时将三维点云数据经过步骤二的预处理,然后输入三维点云的空间占用概率特征提取网络提取三维点云的空间占用概率;然后将二维图像的空间占用概率和三维点云的空间占用概率转换成点云形式,送入分类器进行分类,实现二维图像数据与三维点云数据的关联。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,包括以下步骤:
S1:对二维图像遥感数据进行预处理:将二维图像遥感数据输入实例分割网络,并依据实例分割结果对遥感数据进行目标提取;
S2:对三维点云遥感数据进行预处理:将三维点云输入点云目标检测网络,依据目标检测结果对三维点云遥感数据进行目标分割;
S3:将S1处理后的图像输入二维图像的空间占用概率特征的深度学习网络,提取二维图像的空间占用概率Ftest-2D;
S4:将S2处理后的三维点云输入三维点云的空间占用概率特征的深度学习网络;提取三维点云的空间占用概率Ftest-3D;
S5:将S3和S4中得到的空间占用概率特征Ftest-2D和Ftest-3D输入分类器进行目标识别,实现二维图像数据与三维点云数据的关联。
2.根据权利要求1所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,S1所述的实例分割网络采用PANET。
3.根据权利要求2所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,S2所述的点云目标检测网络采用3D-BONET。
4.根据权利要求1、2或3所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,S3所述的二维图像的空间占用概率特征的深度学习网络为OccupancyNetwork-2D网络,即Onet-2D,其训练过程包括以下步骤:
S301、构建二维图像数据集Mpre-2D,二维图像数据集Mpre-2D包括一个二维图像训练数据集Mtr-2D和一个二维图像测试数据集Mtest-2D;
S302、训练Onet-2D:
将二维图像训练数据集Mtr-2D中的二维图像数据输入Onet-2D,Onet-2D首先采用带有超强通道注意力模块ECA的RESNET18残差网络对输入的二维图像数据进行特征提取,得到1*256的特征F1;
其次,随机生成一个单位体积的采样点云立方体,将点云立方体中每个点的x、y、z坐标输入一个三层的mlp多层神经网络,并转置,得到256*N的特征F2;
然后将F1和F2分别输入至少一个条件批量标准化模块,所述的条件批量标准化模块即CBN模块;具体过程包括以下步骤:
将从二维图像提取到的1*256的特征F1输入mlp多层神经网络,得到N*256的特征F3,并与从三维点云中提取到的特征F2进行.*运算,得到特征F4,再将F4与二维图像特征F1通过mlp多层神经网络后得到N*256的特征F3进行相加运算,得到N*256的特征F5;再将F5进行最大池化操作,得到1*256的特征F6,再进行卷积操作和sigmoid操作得到最终的N*256的特征F7;
当条件批量标准化模块大于一个时,将从二维图像提取到的1*256的特征F1输入mlp多层神经网络,得到N*256的特征F3,并与从前一个条件批量标准化模块得到的特征F7进行.*运算,得到特征F4,再将F4与二维图像特征F1通过mlp多层神经网络得到N*256的特征F3进行相加运算,得到N*256的特征F5;再将F5进行最大池化操作,得到1*256的特征F6,再进行卷积操作和sigmoid得到新的N*256的特征F7;
最后,将F7输入mlp多层神经网络即可得到N*3的点云形式的预测结果;将训练集中的根据地物目标实际尺寸绘制的三维模型进行处理,得到真值点云,将真值点云与预测结果进行比对并计算loss值;
经过迭代最终完成训练得到训练好的Onet-2D。
5.根据权利要求4所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,构建二维图像数据集Mpre-2D的过程包括以下步骤:
将获得的二维图像遥感数据输入实例分割网络,并依据实例分割结果对遥感数据进行目标提取,得到每幅图中只有一个对象的二维图像数据集Mpre-2D,将二维图像数据集Mpre-2D分为二维图像训练数据集Mtr-2D和二维图像测试数据集Mtest-2D;训练数据集Mtr-2D中包含地物目标的二维图像以及对应的根据该地物目标实际尺寸绘制的三维模型,测试数据集Mtest-2D中只包含地物目标的二维图像。
6.根据权利要求4所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,S4所述的三维点云的空间占用概率特征的深度学习网络为Occupancy Network-3D网络,即Onet-3D,其训练过程包括以下步骤:
S401、构建三维点云数据集Mpre-3D,三维点云数据集Mpre-3D包括一个三维点云训练数据集Mtr-3D和一个三维点云测试数据集Mtest-3D;
S402、训练Onet-3D:
将三维点云训练数据集Mtr-3D中的三维点云数据输入Onet-3D;Onet-3D首先采用pointnet点云特征提取网络对输入的三维点云数据进行特征提取,得到得到1*256的特征f1;
其次,随机生成一个单位体积的采样点云立方体,将点云立方体中每个点的x、y、z坐标输入一个三层的mlp多层神经网络,并转置,得到256*N的特征f2;
然后将f1和f2分别输入至少一个条件批量标准化模块,所述的条件批量标准化模块即CBN模块;具体过程包括以下步骤:
将从二维图像提取到的1*256的特征f1输入mlp多层神经网络,得到N*256的特征f3,并与从三维点云中提取到的特征f2进行.*运算,得到特征f4,再将f4与二维图像特征f1通过mlp多层神经网络得到N*256的特征f3进行相加运算,得到N*256的特征f5;再将f5进行最大池化操作,得到1*256的特征f6,再进行卷积操作和sigmoid操作得到最终的N*256的特征f7;
当条件批量标准化模块大于一个时,将从二维图像提取到的1*256的特征f1输入mlp多层神经网络,得到N*256的特征f3,并与从前一个条件批量标准化模块得到的特征f7进行.*运算,得到特征f4,再将f4与二维图像特征f1通过mlp多层神经网络得到N*256的特征f3进行相加运算,得到N*256的特征f5;再将f5进行最大池化操作,得到1*256的特征f6,再进行卷积操作和sigmoid得到新的N*256的特征f7;
最后,将f7输入mlp多层神经网络即可得到N*3的点云形式的预测结果;将训练集中的根据该地物目标实际尺寸绘制的三维模型进行处理,得到真值点云,将真值点云与预测结果进行比对得到loss值;
经过迭代最终完成训练得到训练好的Onet-3D。
7.根据权利要求6所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,Occupancy Network-3D网络采用pointnet点云特征提取网络对输入的三维点云数据进行特征提取的过程包括以下步骤:
将输入网络的N*3真实点云数据通过input transform模块,然后再通过一个二层的mlp多层神经网络,得到N*64的特征F'1;
将特征F'1输入feature transform模块,然后再通过一个三层的mlp多层神经网络,得到N*1024的特征F'2;
对N*1024的特征F'2进行最大池化操作,得到1*1024的特征F'3,再通过一个二层的mlp多层神经网络,得到1*256的特征f1。
8.根据权利要求7所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,构建三维点云数据集Mpre-3D的过程包括以下步骤:
将获得的三维点云遥感数据输入点云目标检测网络,依据目标检测结果对三维点云遥感数据进行目标分割,得到每个文件中只包含一个对象的三维点云数据集Mpre-3D,三维点云数据集Mpre-3D分为三维点云训练数据集Mtr-3D和三维点云测试数据集Mtest-3D;训练数据集Mtr-3D中包含地物目标的三维点云以及对应的根据该地物目标实际尺寸绘制的三维模型,测试数据集Mtest-3D中只包含地物目标的三维点云。
9.根据权利要求7所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,S5所述的分类器采用pointnet++点云分类网络,采用pointnet++点云分类网络进行目标识别的过程包括以下步骤:
(1)、将S3和S4得到的数组形式的空间占用概率转换成点云形式,并设置点云中点的数量为定值m,若点云中的点数>m则进行下采样操作,若点云中的点数<m则进行上采样操作;
(2)、将上述预处理后的点云数据输入到pointnet++点云分类网络中;依据最终提取到的1*k的特征进行分类,即实现了二维图像数据与三维点云数据的关联。
10.根据权利要求9所述的基于空间占用概率特征的跨维度遥感数据目标识别方法,其特征在于,所述的分类器的训练过程包括以下步骤:
S501、提取二维图像数据集Mpre-2D中的二维图像测试数据集Mtest-2D,以及三维点云数据集Mpre-3D中的三维点云测试数据集Mtest-3D;
S502、将二维图像测试数据集Mtest-2D输入到Onet-2D中,提取二维图像数据的空间占用概率特征,得到数组形式的空间占用概率Ftest-2D;
将三维点云测试数据集Mtest-3D输入到Onet-3D中,提取三维点云数据的空间占用概率特征,得到数组形式的空间占用概率Ftest-3D;
S503、将二维图像中提取到的空间占用概率特征对应的点云作为输入数据输入到pointnet++网络中,并将提取到的特征用作类特征;将三维点云中提取到的空间占用概率点云作为目标数据输入到pointnet++网络中,将提取到的特征与类特征进行匹配,并计算准确率,反复迭代实现分类器的训练;
或者,
将三维点云中提取到的空间占用概率特征对应的点云作为输入数据输入到pointnet++网络中,并将提取到的特征用作类特征;将二维图像中提取到的空间占用概率点云作为目标数据输入到pointnet++网络中,将提取到的特征与类特征进行匹配,并计算准确率,反复迭代实现分类器的训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110550692.7A CN113239829B (zh) | 2021-05-17 | 2021-05-17 | 基于空间占用概率特征的跨维度遥感数据目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110550692.7A CN113239829B (zh) | 2021-05-17 | 2021-05-17 | 基于空间占用概率特征的跨维度遥感数据目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113239829A true CN113239829A (zh) | 2021-08-10 |
CN113239829B CN113239829B (zh) | 2022-10-04 |
Family
ID=77137890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110550692.7A Active CN113239829B (zh) | 2021-05-17 | 2021-05-17 | 基于空间占用概率特征的跨维度遥感数据目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113239829B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763539A (zh) * | 2021-09-09 | 2021-12-07 | 哈尔滨工业大学(深圳) | 一种基于图像和三维输入的隐式函数三维重建方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120182392A1 (en) * | 2010-05-20 | 2012-07-19 | Irobot Corporation | Mobile Human Interface Robot |
US20130034305A1 (en) * | 2011-08-04 | 2013-02-07 | University Of Southern California | Image-based crack quantification |
CN103984936A (zh) * | 2014-05-29 | 2014-08-13 | 中国航空无线电电子研究所 | 用于三维动态目标识别的多传感器多特征融合识别方法 |
CN104881671A (zh) * | 2015-05-21 | 2015-09-02 | 电子科技大学 | 一种基于2D-Gabor的高分遥感影像局部特征提取方法 |
US20170344807A1 (en) * | 2016-01-15 | 2017-11-30 | Digital Signal Corporation | System and Method for Detecting and Removing Occlusions in a Three-Dimensional Image |
US20190065824A1 (en) * | 2016-04-04 | 2019-02-28 | Fugro N.V. | Spatial data analysis |
CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
CN111259733A (zh) * | 2020-01-02 | 2020-06-09 | 武汉理工大学 | 一种基于点云图像的船舶识别方法及装置 |
CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
CN112287939A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技(深圳)有限公司 | 三维点云语义分割方法、装置、设备及介质 |
CN112307992A (zh) * | 2020-11-04 | 2021-02-02 | 北京大学深圳研究生院 | 一种基于无人机可见光遥感的红树植物自动识别方法 |
-
2021
- 2021-05-17 CN CN202110550692.7A patent/CN113239829B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120182392A1 (en) * | 2010-05-20 | 2012-07-19 | Irobot Corporation | Mobile Human Interface Robot |
US20130034305A1 (en) * | 2011-08-04 | 2013-02-07 | University Of Southern California | Image-based crack quantification |
CN103984936A (zh) * | 2014-05-29 | 2014-08-13 | 中国航空无线电电子研究所 | 用于三维动态目标识别的多传感器多特征融合识别方法 |
CN104881671A (zh) * | 2015-05-21 | 2015-09-02 | 电子科技大学 | 一种基于2D-Gabor的高分遥感影像局部特征提取方法 |
US20170344807A1 (en) * | 2016-01-15 | 2017-11-30 | Digital Signal Corporation | System and Method for Detecting and Removing Occlusions in a Three-Dimensional Image |
US20190065824A1 (en) * | 2016-04-04 | 2019-02-28 | Fugro N.V. | Spatial data analysis |
CN111027401A (zh) * | 2019-11-15 | 2020-04-17 | 电子科技大学 | 一种摄像头和激光雷达融合的端到端目标检测方法 |
CN111259733A (zh) * | 2020-01-02 | 2020-06-09 | 武汉理工大学 | 一种基于点云图像的船舶识别方法及装置 |
CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
CN112287939A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技(深圳)有限公司 | 三维点云语义分割方法、装置、设备及介质 |
CN112307992A (zh) * | 2020-11-04 | 2021-02-02 | 北京大学深圳研究生院 | 一种基于无人机可见光遥感的红树植物自动识别方法 |
Non-Patent Citations (5)
Title |
---|
DAVID GRIFFITHS 等: ""A review on deep learning techniques for 3D sensed data classification"", 《HTTPS://WWW.MDPI.COM/2072-4292/11/12/1499》 * |
LIN LI 等: ""An Improved RANSAC for 3D Point Cloud Plane Segmentation Based on Normal Distribution Transformation Cells"", 《HTTPS://WWW.MDPI.COM/2072-4292/9/5/433》 * |
周洁等: "无人机遥感在塑料大棚识别中的方法研究", 《中国农业信息》 * |
牛辰庚等: "基于点云数据的三维目标识别和模型分割方法", 《图学学报》 * |
路红等: "一种自适应运动目标检测方法", 《电子测量与仪器学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763539A (zh) * | 2021-09-09 | 2021-12-07 | 哈尔滨工业大学(深圳) | 一种基于图像和三维输入的隐式函数三维重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113239829B (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kannojia et al. | Effects of varying resolution on performance of CNN based image classification: An experimental study | |
CN109376804B (zh) | 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 | |
CN107766894B (zh) | 基于注意力机制和深度学习的遥感图像自然语言生成方法 | |
CN107239751B (zh) | 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 | |
CN110321910B (zh) | 面向点云的特征提取方法、装置及设备 | |
CN111310666B (zh) | 一种基于纹理特征的高分辨率影像地物识别与分割方法 | |
CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
CN110619352A (zh) | 基于深度卷积神经网络的典型红外目标分类方法 | |
CN111028327B (zh) | 一种三维点云的处理方法、装置及设备 | |
WO2022083335A1 (zh) | 一种基于自我注意力机制的行为识别方法 | |
CN112036454B (zh) | 一种基于多核密集连接网络的图像分类方法 | |
CN111832650A (zh) | 基于生成对抗网络局部聚合编码半监督的图像分类方法 | |
CN113674334A (zh) | 基于深度自注意力网络和局部特征编码的纹理识别方法 | |
CN116168295B (zh) | 一种岩性遥感智能解译模型建立方法及解译方法 | |
CN113240040A (zh) | 一种基于通道注意力深度网络的极化sar图像分类方法 | |
CN112017192A (zh) | 基于改进U-Net网络的腺体细胞图像分割方法及系统 | |
CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
Bogacz et al. | Period classification of 3D cuneiform tablets with geometric neural networks | |
Dumka et al. | Advanced digital image processing and its applications in big data | |
CN113239829B (zh) | 基于空间占用概率特征的跨维度遥感数据目标识别方法 | |
CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
Roy et al. | Classification of massive noisy image using auto-encoders and convolutional neural network | |
Wu | CNN-Based Recognition of Handwritten Digits in MNIST Database | |
CN112613354A (zh) | 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |