CN115457120A - 一种gps拒止条件下的绝对位置感知方法与系统 - Google Patents
一种gps拒止条件下的绝对位置感知方法与系统 Download PDFInfo
- Publication number
- CN115457120A CN115457120A CN202110558026.8A CN202110558026A CN115457120A CN 115457120 A CN115457120 A CN 115457120A CN 202110558026 A CN202110558026 A CN 202110558026A CN 115457120 A CN115457120 A CN 115457120A
- Authority
- CN
- China
- Prior art keywords
- image
- natural
- skyline
- panoramic
- dem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 238000003708 edge detection Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 51
- 238000005070 sampling Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 101710082751 Carboxypeptidase S1 homolog A Proteins 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000003704 image resize Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 239000013585 weight reducing agent Substances 0.000 claims description 2
- 208000023445 Congenital pulmonary airway malformation Diseases 0.000 claims 6
- 238000003754 machining Methods 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 2
- 238000012800 visualization Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 201000005569 Gout Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种GPS拒止条件下的绝对位置感知方法与系统，该方法包含以下步骤：步骤A：通过摄像头旋转特定角度拍摄的图像进行360°环形拼接，将离散图像拼接成一张全景图；步骤B：基于Deeplabv3+改进的语义分割方法，从步骤A所形成的自然全景图像中提取天际线；步骤C：采用OpenGL可视化DEM数据形成渲染图，使用Canny算子对渲染图进行边缘检测输出天际线；步骤D：通过使用VGG16作为自然图像与DEM图像天际线特征编码器，并结合孪生神经网络输出这两类天际线之间的相似度，从而感知自身位置。本发明针对在GPS拒止条件的军事应用等情况下需要在地面上感知自我位置的难题，开展确定自身位置的研究，实现不依赖GPS和初始位置、误差不随时间增加的绝对定位的目标。
Description
技术领域
本发明属于图像信息处理领域，具体涉及一种在GPS拒止条件下的绝对位置感知方法与系统。
背景技术
现在的定位，一般使用的都是GPS、北斗等卫星定位技术，但是某些特定的情况下，这些卫星定位的技术是使用不了的，比如在战时状态，卫星等电子设备是首要打击目标，一旦被摧毁，则无法进行定位，届时，所有的武器设备、飞机、车辆等均无法知晓自身位置；在野外的时候，由于受到干扰导致卫星信号较弱，导致GPS等卫星技术无法使用，也无法进行定位。因此，发明一种不依赖于GPS，能够进行自我定位的技术，显得尤为重要。
不依赖于GPS等卫星的定位技术，李银伢等人(专利公开号为CN109579841A)公开了一种GPS拒止条件下车载消防高载荷旋翼无人机高精度定位方法，通过拉绳式位移传感器和轴角编码器来对车载无人机的进行高精度定位，但是这种定位仅仅是定位无人机的高度，而不是无人机的位置；王维平等人(专利公开号为CN110068335A)公开了一种GPS拒止环境下无人机集群实时定位方法及系统，通过检测并匹配所捕捉到的图像彼此之间的显著特征，对共性特征进行三角化，形成稀疏重构，生成所有无人机都可以访问的全局地图，该方法只能确定无人机之间的相对位置，并不能确定无人机的绝对位置。
近年来，在GPS拒止条件的绝对定位，大多数都是基于天际线来进行，因为自然界中的天际线具有唯一性、稳定性等特征，天际线在自然界中很长的一段时间内，都不会进行改变，且每个地方的天际线几乎都具有差异，因此能很好的作为定位的特征。目前，Tzeng等人提出了一种在沙漠环境中(载于The 18th International Conferenceon InformationFusion，2013年，第3卷)，基于DEM和天际线的图像视觉定位系统，该系统无需使用任何元数据，如GPS读数、相机焦距或视场，仅利用公共可获得的数字高程模型(DEM)，在沙漠中快速准确地定位照片，但是精度不高。
在此背景下，研究一种准确性高、不依赖于GPS信息，仅根据自然环境提供的信息，比如天际线，来进行绝对位置定位的方法尤为重要。
发明内容
本发明所要解决的技术问题是提供一种GPS拒止条件下的绝对位置感知方法与系统，通过采用自然界固有的天际线特征，并结合DEM(数字高程数据)，来进行天际线的检索匹配，从而实现在GPS拒止条件下的绝对位置定位，并将其进行系统集成，形成一套完整的系统。
本发明所采用的技术方案如下：
一种在GPS拒止条件下的绝对位置感知方法，该方法包括以下步骤：
步骤A：将车载摄像头所采集的离散自然图像，进行360°的环形拼接成自然全景图像；
步骤B：采用基于Deeplabv3+改进的语义分割网络，从自然全景图像中提取自然图像全景天际线；
步骤C：基于遥感中心，获得位置待感知区域的DEM数据，采用OpenGL将DEM数据形成渲染图，使用Canny算子对渲染图进行边缘检测输出DEM图像全景天际线；
步骤D：采用迁移学习的方法，采用VGG16作为孪生神经网络的特征编码器，利用所述孪生神经网络输出自然图像全景天际线与DEM图像全景天际线之间的相似度，作为匹配的结果，从而根据天际线匹配结果感知自身位置。
进一步地，所述步骤A的具体处理过程如下：
步骤A1：利用球形相机在侦察车上以固定视点，每次间隔40°拍摄，旋转一周，获得9张自然图像；
步骤A2：将待拼接的自然图像分别投影到同一坐标系，柱面投影的公式如下：
其中，(x,y)表示像素点在自然图像中的原始坐标，(x、,y、)表示柱面投影后的坐标，(widht,height)分别表示自然图像的宽高，f表示相机焦距；
为了保证拼接后的视觉一致性，需要将待拼接的图像分别投影到一个标准的坐标系；
由于柱面坐标的变换相对简单，并且投影图像与其投影到圆柱表面的位置无关，用其描述的柱面全景图像可在水平方向上满足360度环视，具有较好的视觉效果，所以可采用柱面投影完成图像拼接；
步骤A3：使用SIFT算子，对相邻自然图像之间的特征点进行识别，然后对采集得到的9张自然图像进行特征匹配，以经过特征匹配后的图像作为待拼接图像；
通过使用SIFT算法，该方法对进行特征匹配的图像输入的的顺序、方向、尺度和亮度变化不敏感，对不属于全景图的噪声图像也不敏感，能够将多张自然图像之间的特征点迅速识别出来，完成自然图像特征点间的精确匹配。
步骤A4：通过建立拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像。
通过利用拉普拉斯金字塔使各个频带上的特征与细节都保留并融合在一起，从而获得自然图像拼接结果。
进一步地，通过建立拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像，具体步骤如下：
步骤A41：建立待拼接图像的高斯金字塔；
步骤A42：利用高斯金字塔的每一层图像，减去其上一层经过上采样以及高斯卷积后的扩展图像得到LP，再将重叠区域的LP相同层采用加权平均的方法进行合并，LP表示拉普拉斯金字塔；
步骤A43：将合并后的LP从顶层开始进行扩展，将其扩展图像与下一层的合并LP相加得到下一层的融合图像；
步骤A44：逐层递推完成图像融合，获得初步的自然图像拼接结果；
步骤A45：将步骤A44拼接得到的初步自然全景图像从中间分开，形成两张图像p1和p2；
步骤A46：将p2设为第二次拼接的首部，将p1设置为尾部，采用SIFT算子，得到p2和p1图像重叠部分的特征子，进行匹配，获得新的特征匹配后的图像，作为待拼接图像；
步骤A47：通过建立拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像实现对图像p2和p1的无缝融合，去除图像首尾重叠，从而得到最终的自然图像拼接结果。
通过线性扫描拼接好的全景图像最左一列和最右一列，识别出左上、右上、左下、右下四个角点，利用角点进行透视变换矫正图像。
拼接得到的全景图像中存在左右像素级不对齐的问题，因此引入了透视变换机制，实现图像的自动校直，使得左右像素点的对齐问题得到解决；
进一步地，所述步骤B的具体处理过程如下：步骤B1：将Deeplabv3+语义分割网络中的主干网络ResNet-101替换成GhostNet网络，且GhostNet网络总共由101个GhostBottleNeck模块堆叠而成，将自然全景图像输入经过基于Deeplabv3+改进的语义分割网络，得到自然图像的分割特征图Fnature；
GhostNet网络相对ResNet-101网络而言，采用了深度可分离卷积，参数和计算量均大幅减少，且对天际线的检测效果影响很小。GhostNet网络是由GhostModule堆叠组成GhostBottleNeck模块，然后由GhostBottleNeck模块继续堆叠从而组成GhostNet网络。GhostModule首先对输入进行一个普通卷积操作，得到本征特征图，然后对本征特征图上的每一个通道，进行线性深度可分离卷积操作，得到Ghost特征图，最后将本征特征图和Ghost特征图进行特征图融合，得到GhostModule输出的最终特征图，这样做的优点在于可减少普通卷积产生的冗余信息，保证特征提取相对有效的情况下减少参数量和计算量；GhostBottleNeck模块对输入特征图F首先进行一次GhostModule得到特征图F1，然后对特征图F1进行Batch normalization以及Relu函数激活后，再经过GhostModule得到特征图F2，并经过一次Batch normalization，得到特征图F3，最终将特征图F3和特征图F进行concat操作，即可得到一个GhostBottleNeck模块最终的输出特征图FGout；
对于DeepLabV3+语义分割网络，其是以ResNet-101为主干网络，但ResNet-101中参数的冗余和计算量均较大。为此，本系统提出了在DeepLabV3+语义分割网络中以GhostNet作为特征提取网络，GhostNet网络相对ResNet-101网络而言，参数和计算量均大幅减少，且对天际线的检测效果影响很小，从而形成轻量化的DeepLabV3+语义分割网络。
GhostNet网络与残差网络结构类似，其是由GhostModule堆叠组成GhostBottleNeck模块，然后由GhostBottleNeck模块继续堆叠从而组成GhostNet网络。GhostModule首先对输入图像进行一个普通卷积操作，得到本征特征图，然后对本征特征图上的每一个通道，进行线性深度可分离卷积操作，得到Ghost特征，最后将本征特征图和Ghost特征进行特征融合，得到最终的特征图，这样做的优点在于可减少普通卷积产生的冗余信息，保证特征提取相对有效的情况下减少参数量和计算量。
步骤B2：特征增强；
利用CCAM模块对分割特征图Fnature进行信息增强，得到增强特征图FMOut；
采用CCAM(Convolutional Chanel Attention Modules)模块对分割特征图Fnature分别通过全局平均池化和全局最大池化将每个通道的特征信息压缩成一个特征值，从而得到过全局平均池化特征图FMGA和全局最大池化特征图FMGM，并按通道进行拼接得到特征图FMs；
然后将特征图FMs输入到Conv-BN-ReLU结构中，Conv使用卷积对输入特征图FMs进行降维及特征提取；利用线性层进行升维得到特征图FMEx，并将特征图FMEx先按通道分解成线性全局平均池化特征图FMEGA和线性全局最大池化特征图FMEGM，将FMEGA和FMEGM逐像素相加，并用sigmoid激活后得到最终的通道特征图FMChannel，最后将通道特征图FMChannel和分割特征图Fnature按通道相乘后得到输出增强特征图FMOut。
进一步地，利用区域注意力模块对增强特征图FMOut进行噪声去除后，再进行池化和卷积操作，得到天际线的初始特征图FMIni；
现有天际线检测算法提取的天际线特征图存在较多噪声，从而影响了利用动态规划进行天际线特征提取的效果。针对该问题，采用了一种区域注意力模块CAAM(Convolution Area Attention Modules)，模块结构如图8所示，用以增强天际线区域特征。
所述区域注意力模块由掩膜分支Mask branch和主线分支Trunk branch组成；所述掩膜分支Mask branch的输出端和主线分支Trunk branch的输出端相加；
所述主线分支Trunk branch直接将输入的图像传输到输出端；
所述掩膜分支Mask branch采用U-Net结构，即先用编码器对输入的图像进行下采样，然后解码器对特征图进行上采样逐渐恢复特征尺度。
具体过程如下：
步骤B3：对增强特征图FMOut先经过一次Maxpooling和BottleNeck的下采样，得到特征图F1，再经过一次Maxpooling和BottleNeck的下采样，得到特征图F2；
步骤B4：对特征图F2进行一次BottleNeck的上采样，得到特征图F3；
步骤B5：将特征图F1与特征图F3按通道拼接后，使用BottleNeck和双线性插值进行两次上采样，得到特征图FMUp；
特征图FMUp尺度与增强特征图FMOut的尺度相同；
步骤B6：将特征图FMUp经过卷积降低特征维度后输出单通道区域概率特征图FMSingle，并使用sigmoid将概率值归一化到[0,1]之间；将单通道区域概率特征图FMSingle作为区域注意力信息先与Trunk branch按通道逐点相乘再相加，输出即为经过区域增强的特征图FMArea，具体计算公式如下：
H(x)＝(x+f(I(x)))×I(x)
式中，H(x)为CCAM模块输出的概率特征图，f(I(x))为Mask branch的输出特征图，I(x)为CCAM模块输入的特征图；
步骤B7：经过GhostNet网络、CCAM模块、CAAM注意力机制后，通过卷积和池化操作，即可得到天际线的初始特征图FMIni。
进一步地，使用SCPA模块对采集的自然图像进行预处理得到特征图FMBinary，并利用特征图FMBinary与初始特征图FMIni进行融合，将融合后的结果经过两次RCU操作和1*1Conv的卷积操作，再进行上采样，得到最终的天际线语义分割特征图；
将最终的天际线语义分割特征图的阈值设为0.95，即概率值大于0.95点的设为1，小于0.95点的即为0，得到最终输出的自然全景天际线图像；
其中，RCU包括四个串联的卷积核，大小依次为3*1、1*3、3*1、1*3，前三个卷积核的卷积操作采用BN(Batch Normalization)进行归一化后，再采用Relu函数进行激活，最后一个卷积核的卷积操作采用BN归一化后，再与RCU的输入部分进行叠加得到输出。
通过使用SCPA模块，该模块可参考论文《A skyline detection algorithm foruse in different weather and environmental conditions》(载于IEEE InternationalConference on Electro Information Technology，2016年)。本发明技术方案中，使用了SCPA模块中的预处理和搜索梯度局部最大值两部分。
使用SCPA模块对采集的自然图像进行预处理是首先将输入彩色图像转化为灰度图，然后利用山区图像远处区域灰度值大于近处区域灰度值的特点，对灰度图中的每个采样列进行处理得到对应列的像素梯度：
对采样列中的每个点判断与当前点距离为2的上下灰度差是否大于0，是则将该点标记为1否则标记为0；然后从标记为1的连续区域中找出像素梯度最大位置作为候选点以此抑制其余非极大值；最终对所有采样列处理后得到二值梯度信息图FMBinary；
Gm(y)＝f(m·p,y+2)-f(m·p,y+2)；
(xm,yk)＝arg max(G(y))；(xm,yk)∈Area(xm,k)
式中，f(m·p,y)表示位置为(m·p,y)在灰度图中的值，p指采样间隔。Gm(y)为第m列采样列位置的灰度梯度，gm(y)为梯度标签，(xm,yk)即为所在区域梯度的最大值。
进一步地，对基于Deeplabv3+改进的语义分割网络训练时，采用步骤A中拼接得到的自然全景图像，对全景图像中天际线进行标签制作，，得到训练集，训练集大小为150张全景自然图像，尺寸大小为800*600；
训练周期为150个epochs，训练的batchsize设置为8，并使用随机梯度下降算法对基于Deeplabv3+改进的语义分割网络的参数进行优化，初始学习率为0.001并且使用余弦降火方式调整学习率，动量momentum设置为0.9，权重下降weightDecay设置为0.0005；；
在训练时，将经过GhostNet网络与CCAM注意力机制后形成的天际线特征图FMOut，与区域标签信息进行损失计算来优化Mask branch分支的权重参数。CAAM的Mask branch采用二值交差熵作为损失函数，具体公式如下所示：
式中，N为将区域概率图展开成向量后的总长度，y为区域标签，
为Mask branch的预测值。
进一步地，所述步骤C的具体处理过程如下：
步骤C1：DEM数据的读取与转换；
首先需读取数据并将其存储为矩阵形式；使用GDAL的GDALDataset类中的GetGeoTransform()方法获取得到DEM数据的坐标信息，得到的信息以数组形式存储，获取一组关键系数，并由公式将矩阵行列号与地理坐标进行转换：
X＝gt[0]+col*gt[1]+row*gt[2]
Y＝gt[3]+col*gt[4]+row*gt[5]
其中，col、row分别表示列号与行号；gt[i]表示获取到的六个关键系数，gt[0]、gt[3]表示图像坐标(0,0)处的地理坐标，gt[1]、gt[5]分别表示图像x轴和y轴的分辨率，gt[2]、gt[4]则表示图像旋转系数，XY表示地理坐标；
利用这些参数，不仅可分割获得矩阵形式的DEM数据，也可以得到矩阵任意点的实际地理坐标。
步骤C2：透视图生成；
步骤C21：使用OpenGL中vmath库的frustum函数，通过设置近平面矩形、远平面的距离和近平面的距离来生成一个透视投影矩阵，用模型上点的位置信息来替代模型上点的颜色信息，生成没有深度信息的普通透视图；
步骤C22：将片元到观察点的距离值输出到颜色缓存，获得一个以观察点为基准点的地表距离场在屏幕上的二维投影，即距离图，投影变换后的z值如下式所示：
其中，-f、-n分别为远、近平面距离。
可以发现这是一个非线性函数，在近裁剪平面附近zndc值变化比较大，精确度较好；而在远裁剪平面附近，有一段距离内，zndc近乎持平，精确度较低。
步骤C23：将距离zndc和深度zeye转化为线性关系，得到：
为实现此深度的可视化，以及后期从深度图中提取场景的天际线和山脊线信息，则需将距离zndc和深度zeye转化为线性的关系；
由于结果是负数，不能直接当成灰度值使用，否则场景全会变成黑色，因此我们需要进行取其负值作为深度值：
最后对上式得到的深度值归一化到[0,1]范围内，即可得到深度和灰度呈线性关系的距离图。
步骤C3：DEM天际线提取：
步骤C31：首先通过Canny算法，对DEM图像采用Sobel算子计算其水平方向和竖直方向的一阶导数，即可得到DEM图像在水平方向和竖直方向的梯度图，最终可得到这两幅梯度图边界的梯度和方向；如下所示：
Gx和Gy表示x和y方向的梯度，Edge_Gradient和Angle表示梯度和方向。
步骤C32：非极大值抑制。
判断像素点梯度与此点梯度前后两个方向的两个点梯度大小即可判断此点是否为其邻域内的局部最大梯度点，如果不是局部最大梯度点，则排除；
步骤C33：采用双阈值检测和滞后边界的方法，将大于阈值上界的点被认定为强边缘，低于阈值下界的被认定为不是边缘，对在阈值上下界中间的点(成为弱边缘)进行滞后跟踪，即与强边缘相连的弱边缘被认定为边缘，否则被认定为非边缘。
进一步地，所述步骤D的具体处理过程如下：
步骤D1：天际线特征提取；
采用VGG16作为孪生神经网络的特征编码器，将两张天际线图像输入到孪生神经网络中，通过VGG16的特征编码器分别将输入映射到新的空间，形成天际线图像在新的空间中的表示，即编码后的天际线特征；
这种操作主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。比如，3个步长为1的3×3卷积核的一层层叠加作用可看成一个大小为7的感受野(其实就表示3个3×3连续卷积相当于一个7×7卷积)，其参数总量为3×(9×C^2)，如果直接使用7×7卷积核，其参数总量为49×C^2，这里C指的是输入和输出的通道数。很明显，27×C^2小于49×C^2，即减少了参数，而且3×3卷积核有利于更好地保持图像性质。其中，VGG16模型的参数采用的是官方已训练好的参数模型。
步骤D2：DEM离散特征数据库建立；
将每一幅DEM图像resize成224*224*3的尺寸，然后通过孪生神经网络，对DEM中的每一幅全景图像进行特征编码，得到一个7*7*512的特征图，并对其进行离线存储到csv文件中；
步骤D3：特征匹配；
将自然全景图像resize成224*224*3的标准尺寸后，输入到孪生神经网络，计算得到其特征图FFinal，尺寸为7*7*512；遍历DEM离线特征数据库，计算特征图FFinal与DEM离散特征数据库中每一个特征图的欧氏距离；选取相似度最高(欧式距离最小)的DEM点作为定位点。
另一方面，一种在GPS拒止条件下的绝对位置感知系统，包括：
自然全景图像采集与拼接单元：将车载摄像头所采集的离散自然图像，进行360°的环形拼接成自然全景图像；
自然图像全景天际线提取单元：采用基于Deeplabv3+改进的语义分割网络，从自然全景图像中提取自然图像全景天际线；
DEM图像全景天际线提取单元：基于遥感中心，获得位置待感知区域的DEM数据，采用OpenGL将DEM数据形成渲染图，使用Canny算子对渲染图进行边缘检测输出DEM图像全景天际线；
位置感知单元：采用迁移学习的方法，采用VGG16作为孪生神经网络的特征编码器，利用所述孪生神经网络输出自然图像全景天际线与DEM图像全景天际线之间的相似度，作为匹配的结果，从而根据天际线匹配结果感知自身位置；
所述自然全景图像采集与拼接单元、自然图像全景天际线提取单元、DEM图像全景天际线提取单元以及位置感知单元采用上述的一种在GPS拒止条件下的绝对位置感知方法进行数据处理。
有益效果
本发明提供了一种在GPS拒止条件下的绝对位置感知方法与系统，该方法包含以下步骤：步骤A：通过摄像头旋转特定角度拍摄的图像进行360°环形拼接，实现将分散的图像拼接成一张全景图；步骤B：通过采用基于Deeplabv3+改进的语义分割方法，从步骤A所形成的的自然全景图像中提取天际线；步骤C：采用OpenGL可视化DEM数据形成渲染图，然后使用Canny算子对渲染图进行边缘检测输出天际线；步骤D：采用迁移学习的方法，通过使用VGG16作为自然图像与DEM图像天际线特征的编码器，然后结合孪生神经网络，输出这两类天际线之间的相似度，作为匹配的结果，从而根据天际线感知自身位置；步骤E：将各个子系统进行系统集成，使用Qt进行用户界面的编写，形成完整的系统。本发明提出了一整套的系统，在GPS拒止的条件下，通过选取自然界已有的天际线作为特征，并结合DEM数据，应用深度学习来进行天际线的匹配检索，从而完成绝对位置的自定位，该方法具有速度较快、精度高的效果，可应用于军事战争中，GPS等卫星被摧毁时的自定位，也可应用于侦查等领域，通过图像来确定绝对位置，应用前景广泛。
附图说明
图1为本发明实例中在GPS拒止条件下的绝对位置感知方法的流程图；
图2为本发明实例中自然全景图像天际线提取时所用的DeepLabv3+网络示意图；
图3为本发明实例中天际线检所匹配时采用的孪生神经网络示意图；
图4为利用DEM数据得到的效果图和DEM全景天际线图像，其中，(a)为DEM数据中某一个点经过OpenGL渲染之后的效果图，(b)为从DEM中提取得到的360°全景天际线图像；
图5为实施例1中摄像头采集得到的相关离散图像，(a)-(i)依次为旋转40°、80°、120°、160°、200°、240°、280°、320°、360°；
图6为实施例1中拼接好的全景自然图像；
图7为实施例1中全景自然图像中提取得到的天际线图像；
图8为实施例1中的匹配结果，以热力图的形式显示；
图9为实施例2中摄像头采集得到的相关离散图像，(a)-(i)依次为旋转40°、80°、120°、160°、200°、240°、280°、320°、360°；
图10为实施例2中拼接好的全景自然图像；
图11为实施例2中全景自然图像中提取得到的天际线图像；
图12为实施例2中的匹配结果，以热力图的形式显示；
图13为实施例3中摄像头采集得到的相关离散图像，(a)-(i)依次为旋转40°、80°、120°、160°、200°、240°、280°、320°、360°；
图14为实施例3中拼接好的全景自然图像；
图15为实施例3中全景自然图像中提取得到的天际线图像；
图16为实施例3中的匹配结果，以热力图的形式显示。
具体实施方式
下面结合附图说明对本发明做进一步说明：
实施例1：
本实施例是针对于车载摄像头在野外实验区域，所采集到的自然图像，整体实施流程如图1所示，其自定位评估按如下步骤进行：
步骤A：将离散图像拼接成360°全景图像
车载摄像头每隔40°转动一次，则拍摄一周形成9张图像[如图5(a)-(i)]所示，并记录此时的经纬度坐标，该例采样点的经纬度坐标为(113.271711°E,28.372615°N)。为了保证拼接的效果，每张图像中均有一定的重合区域。接下来，将所采集到的图像进行柱面投影，通过SIFT算法找到每一张离散图像的特征点进行图像匹配。
完成图像匹配后，构建待拼接图像的拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像，但是此时得到的自然全景图像头部和尾部有一部分的重叠区域，因此使用二次拼接的方法去除冗余，然后截取最大的矩形区域，得到最后的自然全景图像如图6所示。
步骤B：待步骤A完成后，即可得到自然全景图像，对于图像天际线部分，通过Photoshop软件对天际线单独着色，从而进行标签制作，然后对轻量化DeepLabV3+语义分割网络进行训练，待得到网络的模型参数后，即可输入待匹配的自然全景图像，网络模型如图2所示。输入到网络中，即可得到最终的天际线图像，如图7所示。
步骤C：将待测试区域的DEM数据通过GDAL库进行读取，然后通过opengl渲染出DEM数据的三维模型，接下来对表面模型进行渲染，生成渲染图，最终通过Canny算法，来实现DEM中天际线的提取，为了节约图像检索匹配的时间，DEM中天际线的提取属于离线进行，DEM中天际线提取效果如图4所示。
步骤D：采用孪生神经网络，使用VGG16作为编码器，来进行天际线图像的特征编码器，网络结构如图3所示。其中，VGG16的模型参数使用的是官方训练好的参数。首先对在步骤C中从DEM中提取得到的天际线图像进行特征编码，并将编码后的特征向量进行存储，从而在以后的测试中，可重复的使用。对在步骤A中拼接好的自然全景图像，也使用该孪生神经网络进行特征编码成特征向量V。最后，对自然全景图像形成的特征向量V与DEM中所形成的天际线特征向量进行欧式距离的计算，欧氏距离越小，则代表两根天际线的相似程度越大，从而说明定位点最接近于该点。同时，根据欧式距离的大小，画出定位的热力图像，如图8所示，可进行直观的观察。该例中，通过所发明的定位方法，得到的定位位置的经纬度坐标为(113.271500°E,28.372300°N)，与真实地点经纬度之间的误差为40.65米，满足相关军事应用对GPS拒止条件下的位置定位要求。
实施例2：
本实施例是针对于车载摄像头在野外实验区域，所采集到的自然图像，整体实施流程如图1所示，其自定位评估按如下步骤进行：
步骤A：离散图像拼接成360°全景图像
在实验时，车载摄像头每隔40°转动一次，则拍摄一周形成9张图像[如图9(a)-(i)]所示，并记录此时的经纬度坐标，该例采样点的经纬度坐标为(113.242855°E,28.359405°N)。为了保证拼接的效果，每张图像中均有一定的重合区域。接下来，将所采集到的图像进行柱面投影，通过SIFT算法找到每一张离散图像的特征点进行图像匹配。
完成图像匹配后，构建待拼接图像的拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像，但是此时得到的自然全景图像头部和尾部有一部分的重叠区域，因此使用二次拼接的方法去除冗余，然后截取最大的矩形区域，得到最后的自然全景图像如图10所示。
步骤B：待步骤A完成后，即可得到自然全景图像，对于图像天际线部分，通过Photoshop软件对天际线单独着色，从而进行标签制作，然后对轻量化DeepLabV3+语义分割网络进行训练，待得到网络的模型参数后，即可输入待匹配的自然全景图像，网络模型如图2所示。输入到网络中，即可得到最终的天际线图像，如图11所示。
步骤C：将待测试区域的DEM数据通过GDAL库进行读取，然后通过opengl渲染出DEM数据的三维模型，接下来对表面模型进行渲染，生成渲染图，最终通过Canny算法，来实现DEM中天际线的提取，为了节约图像检索匹配的时间，DEM中天际线的提取属于离线进行，DEM中天际线提取效果如图4所示。
步骤D：采用孪生神经网络，使用VGG16作为编码器，来进行天际线图像的特征编码器，网络结构如图3所示。其中，VGG16的模型参数使用的是官方训练好的参数。首先对在步骤C中从DEM中提取得到的天际线图像进行特征编码，并将编码后的特征向量进行存储，从而在以后的测试中，可重复的使用。对在步骤A中拼接好的自然全景图像，也使用该孪生神经网络进行特征编码成特征向量V。最后，对自然全景图像形成的特征向量V与DEM中所形成的天际线特征向量进行欧式距离的计算，欧氏距离越小，则代表两根天际线的相似程度越大，从而说明定位点最接近于该点。同时，根据欧式距离的大小，画出定位的热力图像，如图12所示，可进行直观的观察。该例中，通过所发明的定位方法，得到的定位位置的经纬度坐标为(113.243100°E,28.360100°N)，与真实地点经纬度之间的误差为80.91米，满足相关军事应用对GPS拒止条件下的位置定位要求。
实施例3：
本实施例是针对于车载摄像头在野外实验区域，所采集到的自然图像，整体实施流程如图1所示，其自定位评估按如下步骤进行：
步骤A：离散图像拼接成360°全景图像
在实验时，车载摄像头每隔40°转动一次，则拍摄一周形成9张图像[如图13(a)-(i)]所示，并记录此时的经纬度坐标，该例采样点的经纬度坐标为(113.243975°E,28.363742°N)。为了保证拼接的效果，每张图像中均有一定的重合区域。接下来，将所采集到的图像进行柱面投影，通过SIFT算法找到每一张离散图像的特征点进行图像匹配。
完成图像匹配后，构建待拼接图像的拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像，但是此时得到的自然全景图像头部和尾部有一部分的重叠区域，因此使用二次拼接的方法去除冗余，然后截取最大的矩形区域，得到最后的自然全景图像如图14所示。
步骤B：待步骤A完成后，即可得到自然全景图像，对于图像天际线部分，通过Photoshop软件对天际线单独着色，从而进行标签制作，然后对轻量化DeepLabV3+语义分割网络进行训练，待得到网络的模型参数后，即可输入待匹配的自然全景图像，网络模型如图2所示。输入到网络中，即可得到最终的天际线图像，如图15所示。
步骤C：将待测试区域的DEM数据通过GDAL库进行读取，然后通过opengl渲染出DEM数据的三维模型，接下来对表面模型进行渲染，生成渲染图，最终通过Canny算法，来实现DEM中天际线的提取，为了节约图像检索匹配的时间，DEM中天际线的提取属于离线进行，DEM中天际线提取效果如图4所示。
步骤D：采用孪生神经网络，使用VGG16作为编码器，来进行天际线图像的特征编码器，网络结构如图3所示。其中，VGG16的模型参数使用的是官方训练好的参数。首先对在步骤C中从DEM中提取得到的天际线图像进行特征编码，并将编码后的特征向量进行存储，从而在以后的测试中，可重复的使用。对在步骤A中拼接好的自然全景图像，也使用该孪生神经网络进行特征编码成特征向量V。最后，对自然全景图像形成的特征向量V与DEM中所形成的天际线特征向量进行欧式距离的计算，欧氏距离越小，则代表两根天际线的相似程度越大，从而说明定位点最接近于该点，同时，根据欧式距离的大小，画出定位的热力图像，如图16所示，可进行直观的观察。该例中，通过所发明的定位方法，得到的定位位置的经纬度坐标为(113.244100°E,28.363900°N)，与真实地点经纬度之间的误差为21.41米，满足相关军事应用对GPS拒止条件下的位置定位要求。
本发明实例还提供了一种在GPS拒止条件下的绝对位置感知系统，包括：
自然全景图像采集与拼接单元：将车载摄像头所采集的离散自然图像，进行360°的环形拼接成自然全景图像；
自然图像全景天际线提取单元：采用基于Deeplabv3+改进的语义分割网络，从自然全景图像中提取自然图像全景天际线；
DEM图像全景天际线提取单元：基于遥感中心，获得位置待感知区域的DEM数据，采用OpenGL将DEM数据形成渲染图，使用Canny算子对渲染图进行边缘检测输出DEM图像全景天际线；
位置感知单元：采用迁移学习的方法，采用VGG16作为孪生神经网络的特征编码器，利用所述孪生神经网络输出自然图像全景天际线与DEM图像全景天际线之间的相似度，作为匹配的结果，从而根据天际线匹配结果感知自身位置；
所述自然全景图像采集与拼接单元、自然图像全景天际线提取单元、DEM图像全景天际线提取单元以及位置感知单元采用上述的一种在GPS拒止条件下的绝对位置感知方法进行数据处理。
应当理解，本发明各个实施例中的功能单元模块可以集中在一个处理单元中，也可以是各个单元模块单独物理存在，也可以是两个或两个以上的单元模块集成在一个单元模块中，可以采用硬件或软件的形式来实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种在GPS拒止条件下的绝对位置感知方法，其特征在于，该方法包括以下步骤：
步骤A：将车载摄像头所采集的离散自然图像，进行360°的环形拼接成自然全景图像；
步骤B：采用基于Deeplabv3+改进的语义分割网络，从自然全景图像中提取自然图像全景天际线；
步骤C：基于遥感中心，获得位置待感知区域的DEM数据，采用OpenGL将DEM数据形成渲染图，使用Canny算子对渲染图进行边缘检测输出DEM图像全景天际线；
步骤D：采用迁移学习的方法，采用VGG16作为孪生神经网络的特征编码器，利用所述孪生神经网络输出自然图像全景天际线与DEM图像全景天际线之间的相似度，作为匹配的结果，从而根据天际线匹配结果感知自身位置。
2.根据权利要求1所述的一种在GPS拒止条件下的绝对位置感知方法，其特征在于，所述步骤A的具体处理过程如下：
步骤A1：利用球形相机在侦察车上以固定视点，每次间隔40°拍摄，旋转一周，获得9张自然图像；
步骤A2：将待拼接的自然图像分别投影到同一坐标系，柱面投影的公式如下：
其中，(x,y)表示像素点在自然图像中的原始坐标，(x、,y、)表示柱面投影后的坐标，(widht,height)分别表示自然图像的宽高，f表示相机焦距；
步骤A3：使用SIFT算子，对相邻自然图像之间的特征点进行识别，然后对采集得到的9张自然图像进行特征匹配，以经过特征匹配后的图像作为待拼接图像；
步骤A4：通过建立拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像。
3.根据权利要求2所述的一种在GPS拒止条件下的绝对位置感知方法，其特征在于，通过建立拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像，具体步骤如下：
步骤A41：建立待拼接图像的高斯金字塔；
步骤A42：利用高斯金字塔的每一层图像，减去其上一层经过上采样以及高斯卷积后的扩展图像得到LP，再将重叠区域的LP相同层采用加权平均的方法进行合并，LP表示拉普拉斯金字塔；
步骤A43：将合并后的LP从顶层开始进行扩展，将其扩展图像与下一层的合并LP相加得到下一层的融合图像；
步骤A44：逐层递推完成图像融合，获得初步自然全景图像；
步骤A45：将步骤A44拼接得到的初步自然全景图像从中间分开，形成两张图像p1和p2；
步骤A46：将p2设为第二次拼接的首部，将p1设置为尾部，采用SIFT算子，得到p2和p1图像重叠部分的特征子，进行匹配，获得新的特征匹配后的图像，作为待拼接图像；
步骤A47：通过建立拉普拉斯金字塔，将待拼接图像分别分解到不同的空间频带上，在各空间频率层上分别进行合并融合，获得自然全景图像实现对图像p2和p1的无缝融合，去除图像首尾重叠，从而得到最终的自然图像拼接结果。
4.根据权利要求1所述的一种在GPS拒止条件下的绝对位置感知方法，其特征在于，所述步骤B的具体处理过程如下：步骤B1：将Deeplabv3+语义分割网络中的主干网络ResNet-101替换成GhostNet网络，且GhostNet网络总共由101个GhostBottleNeck模块堆叠而成，将自然全景图像输入经过基于Deeplabv3+改进的语义分割网络，得到自然图像的分割特征图Fnature；
步骤B2：特征增强；
利用CCAM模块对分割特征图Fnature进行信息增强，得到增强特征图FMOut；
采用CCAM模块对分割特征图Fnature分别通过全局平均池化和全局最大池化将每个通道的特征信息压缩成一个特征值，从而得到过全局平均池化特征图FMGA和全局最大池化特征图FMGM，并按通道进行拼接得到特征图FMs；
然后将特征图FMs输入到Conv-BN-ReLU结构中，Conv使用卷积对输入特征图FMs进行降维及特征提取；利用线性层进行升维得到特征图FMEx，并将特征图FMEx先按通道分解成线性全局平均池化特征图FMEGA和线性全局最大池化特征图FMEGM，将FMEGA和FMEGM逐像素相加，并用sigmoid激活后得到最终的通道特征图FMChannel，最后将通道特征图FMChannel和分割特征图Fnature按通道相乘后得到输出增强特征图FMOut。
5.根据权利要求4所述的一种在GPS拒止条件下的绝对位置感知方法，其特征在于，利用区域注意力模块对增强特征图FMOut进行噪声去除后，再进行池化和卷积操作，得到天际线的初始特征图FMIni；
所述区域注意力模块由掩膜分支Mask branch和主线分支Trunk branch组成；所述掩膜分支Mask branch的输出端和主线分支Trunk branch的输出端相加；
所述主线分支Trunk branch直接将输入的图像传输到输出端；
所述掩膜分支Mask branch采用U-Net结构，即先用编码器对输入的图像进行下采样，然后解码器对特征图进行上采样逐渐恢复特征尺度。
具体过程如下：
步骤B3：对增强特征图FMOut先经过一次Maxpooling和BottleNeck的下采样，得到特征图F1，再经过一次Maxpooling和BottleNeck的下采样，得到特征图F2；
步骤B4：对特征图F2进行一次BottleNeck的上采样，得到特征图F3；
步骤B5：将特征图F1与特征图F3按通道拼接后，使用BottleNeck和双线性插值进行两次上采样，得到特征图FMUp；
步骤B6：将特征图FMUp经过卷积降低特征维度后输出单通道区域概率特征图FMSingle，并使用sigmoid将概率值归一化到[0,1]之间；将单通道区域概率特征图FMSingle作为区域注意力信息先与Trunk branch按通道逐点相乘再相加，输出即为经过区域增强的特征图FMArea，具体计算公式如下：
H(x)＝(x+f(I(x)))×I(x)
式中，H(x)为CCAM模块输出的概率特征图，f(I(x))为Mask branch的输出特征图，I(x)为CCAM模块输入的特征图；
步骤B7：经过GhostNet网络、CCAM模块、CAAM注意力机制后，通过卷积和池化操作，即可得到天际线的初始特征图FMIni。
6.根据权利要求5所述的一种在GPS拒止条件下的绝对位置感知方法，其特征在于，使用SCPA模块对采集的自然图像进行预处理得到特征图FMBinary，并利用特征图FMBinary与初始特征图FMIni进行融合，将融合后的结果经过两次RCU操作和1*1Conv的卷积操作，再进行上采样，得到最终的天际线语义分割特征图；
将最终的天际线语义分割特征图的阈值设为0.95，即概率值大于0.95点的设为1，小于0.95点的即为0，得到最终输出的自然全景天际线图像；
其中，RCU包括四个串联的卷积核，大小依次为3*1、1*3、3*1、1*3，前三个卷积核的卷积操作采用BN(Batch Normalization)进行归一化后，再采用Relu函数进行激活，最后一个卷积核的卷积操作采用BN归一化后，再与RCU的输入部分进行叠加得到输出；使用SCPA模块对采集的自然图像进行预处理是首先将输入彩色图像转化为灰度图，然后利用山区图像远处区域灰度值大于近处区域灰度值的特点，对灰度图中的每个采样列进行处理得到对应列的像素梯度：
对采样列中的每个点判断与当前点距离为2的上下灰度差是否大于0，是则将该点标记为1否则标记为0；然后从标记为1的连续区域中找出像素梯度最大位置作为候选点以此抑制其余非极大值；最终对所有采样列处理后得到二值梯度信息图FMBinary；
Gm(y)＝f(m·p,y+2)-f(m·p,y+2)；
(xm,yk)＝arg max(G(y))；(xm,yk)∈Area(xm,k)
式中，f(m·p,y)表示位置为(m·p,y)在灰度图中的值，p指采样间隔。Gm(y)为第m列采样列位置的灰度梯度，gm(y)为梯度标签，(xm,yk)即为所在区域梯度的最大值。
7.根据权利要求1所述的一种在GPS拒止条件下的绝对位置感知方法，其特征在于，对基于Deeplabv3+改进的语义分割网络训练时，采用步骤A中拼接得到的自然全景图像，对全景图像中天际线进行标签制作，得到训练集，训练集大小为150张全景自然图像，尺寸大小为800*600；
训练周期为150个epochs，训练的batchsize设置为8，并使用随机梯度下降算法对基于Deeplabv3+改进的语义分割网络的参数进行优化，初始学习率为0.001并且使用余弦降火方式调整学习率，动量momentum设置为0.9，权重下降weightDecay设置为0.0005；
在训练时，将经过GhostNet网络与CCAM注意力机制后形成的天际线特征图FMOut，与区域标签信息进行损失计算来优化Mask branch分支的权重参数。CAAM的Mask branch采用二值交差熵作为损失函数，具体公式如下所示：
式中，N为将区域概率图展开成向量后的总长度，y为区域标签，
为Mask branch的预测值。
8.根据权利要求1所述的一种在GPS拒止条件下的绝对位置感知方法，其特征在于，所述步骤C的具体处理过程如下：
步骤C1：DEM数据的读取与转换；
首先读取数据并将其存储为矩阵形式，使用GDAL的GDALDataset类中的GetGeoTransform()方法获取得到DEM数据的坐标信息，得到的信息以数组形式存储，获取一组关键系数，并由公式将矩阵行列号与地理坐标进行转换：
X＝gt[0]+col*gt[1]+row*gt[2]
Y＝gt[3]+col*gt[4]+row*gt[5]
其中，col、row分别表示列号与行号；gt[i]表示获取到的六个关键系数，gt[0]、gt[3]表示图像坐标(0,0)处的地理坐标，gt[1]、gt[5]分别表示图像x轴和y轴的分辨率，gt[2]、gt[4]则表示图像旋转系数，XY表示地理坐标；
步骤C2：透视图生成；
步骤C21：使用OpenGL中vmath库的frustum函数，通过设置近平面矩形、远平面的距离和近平面的距离来生成一个透视投影矩阵，用模型上点的位置信息来替代模型上点的颜色信息，生成没有深度信息的普通透视图；
步骤C22：将片元到观察点的距离值输出到颜色缓存，获得一个以观察点为基准点的地表距离场在屏幕上的二维投影，即距离图，投影变换后的z值如下式所示：
其中，-f、-n分别为远、近平面距离；
步骤C23：将距离zndc和深度zeye转化为线性关系，得到：
步骤C3：DEM天际线提取：
步骤C31：首先通过Canny算法，对DEM图像采用Sobel算子计算其水平方向和竖直方向的一阶导数，即可得到DEM图像在水平方向和竖直方向的梯度图，最终可得到这两幅梯度图边界的梯度和方向；如下所示：
Gx和Gy表示x和y方向的梯度，Edge_Gradient和Angle表示梯度和方向；
步骤C32：非极大值抑制
判断像素点梯度与此点梯度前后两个方向的两个点梯度大小即可判断此点是否为其邻域内的局部最大梯度点，如果不是局部最大梯度点，则排除；
步骤C33：采用双阈值检测和滞后边界的方法，将大于阈值上界的点被认定为强边缘，低于阈值下界的被认定为不是边缘，对在阈值上下界中间的点(成为弱边缘)进行滞后跟踪，即与强边缘相连的弱边缘被认定为边缘，否则被认定为非边缘。
9.根据权利要求1所述的一种在GPS拒止条件下的绝对位置感知方法，其特征在于，所述步骤D的具体处理过程如下：
步骤D1：天际线特征提取；
采用VGG16作为孪生神经网络的特征编码器，将两张天际线图像输入到孪生神经网络中，通过VGG16的特征编码器分别将输入映射到新的空间，形成天际线图像在新的空间中的表示，即编码后的天际线特征；
步骤D2：DEM离散特征数据库建立；
将每一幅DEM图像resize成224*224*3的尺寸，然后通过孪生神经网络，对DEM中的每一幅全景图像进行特征编码，得到一个7*7*512的特征图，并对其进行离线存储到csv文件中；
步骤D3：特征匹配；
将自然全景图像resize成224*224*3的标准尺寸后，输入到孪生神经网络，计算得到其特征图FFinal，尺寸为7*7*512；遍历DEM离线特征数据库，计算特征图FFinal与DEM离散特征数据库中每一个特征图的欧氏距离；选取相似度最高的DEM点作为定位点。
10.一种在GPS拒止条件下的绝对位置感知系统，其特征在于，包括：
自然全景图像采集与拼接单元：将车载摄像头所采集的离散自然图像，进行360°的环形拼接成自然全景图像；
自然图像全景天际线提取单元：采用基于Deeplabv3+改进的语义分割网络，从自然全景图像中提取自然图像全景天际线；
DEM图像全景天际线提取单元：基于遥感中心，获得位置待感知区域的DEM数据，采用OpenGL将DEM数据形成渲染图，使用Canny算子对渲染图进行边缘检测输出DEM图像全景天际线；
位置感知单元：采用迁移学习的方法，采用VGG16作为孪生神经网络的特征编码器，利用所述孪生神经网络输出自然图像全景天际线与DEM图像全景天际线之间的相似度，作为匹配的结果，从而根据天际线匹配结果感知自身位置；
所述自然全景图像采集与拼接单元、自然图像全景天际线提取单元、DEM图像全景天际线提取单元以及位置感知单元采用权利要求1-9任一项所述的一种在GPS拒止条件下的绝对位置感知方法进行数据处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110558026.8A CN115457120A (zh) | 2021-05-21 | 2021-05-21 | 一种gps拒止条件下的绝对位置感知方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110558026.8A CN115457120A (zh) | 2021-05-21 | 2021-05-21 | 一种gps拒止条件下的绝对位置感知方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115457120A true CN115457120A (zh) | 2022-12-09 |
Family
ID=84294915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110558026.8A Pending CN115457120A (zh) | 2021-05-21 | 2021-05-21 | 一种gps拒止条件下的绝对位置感知方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115457120A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309080A (zh) * | 2023-05-11 | 2023-06-23 | 武汉纺织大学 | 一种无人机视频拼接方法 |
-
2021
- 2021-05-21 CN CN202110558026.8A patent/CN115457120A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309080A (zh) * | 2023-05-11 | 2023-06-23 | 武汉纺织大学 | 一种无人机视频拼接方法 |
| CN116309080B (zh) * | 2023-05-11 | 2023-08-11 | 武汉纺织大学 | 一种无人机视频拼接方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102414452B1 (ko) | 목표 검출 및 목표 검출 네트워크의 훈련 | |
| Laskar et al. | Camera relocalization by computing pairwise relative poses using convolutional neural network | |
| CN109636742B (zh) | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 | |
| WO2022000862A1 (zh) | 鱼眼图像中的对象检测方法、装置及存储介质 | |
| CN111476159B (zh) | 一种基于双角回归的检测模型训练、检测方法及装置 | |
| CN109871823B (zh) | 一种结合旋转框和上下文信息的卫星图像舰船检测方法 | |
| CN114565860B (zh) | 一种多维度增强学习合成孔径雷达图像目标检测方法 | |
| CN114821357A (zh) | 一种基于transformer的光学遥感目标检测方法 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| Marcu et al. | A multi-stage multi-task neural network for aerial scene interpretation and geolocalization | |
| Toriya et al. | SAR2OPT: Image alignment between multi-modal images using generative adversarial networks | |
| Huang et al. | A multispectral and multiangle 3-D convolutional neural network for the classification of ZY-3 satellite images over urban areas | |
| CN112686184A (zh) | 基于神经网络的遥感房屋变化检测方法 | |
| CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| Farahnakian et al. | Deep convolutional neural network-based fusion of rgb and ir images in marine environment | |
| CN117671509B (zh) | 遥感目标检测方法、装置、电子设备及存储介质 | |
| CN114821087A (zh) | 一种深度图像关键点的检测与描述模型及方法 | |
| CN113408540B (zh) | 一种合成孔径雷达图像叠掩区提取方法及存储介质 | |
| CN115457120A (zh) | 一种gps拒止条件下的绝对位置感知方法与系统 | |
| CN111274936B (zh) | 多光谱图像地物分类方法、系统、介质及终端 | |
| CN116682105A (zh) | 一种毫米波雷达和视觉特征注意力融合的目标检测方法 | |
| CN115861922A (zh) | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 | |
| CN112131925B (zh) | 一种多通道特征空间金字塔的构造方法 | |
| Yuan et al. | Graph neural network based multi-feature fusion for building change detection | |
| CN115424140A (zh) | 星载海量图像数据分布式协同快速高精度处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |