CN112489119A - 一种增强可靠性的单目视觉定位方法 - Google Patents
一种增强可靠性的单目视觉定位方法 Download PDFInfo
- Publication number
- CN112489119A CN112489119A CN202011522140.7A CN202011522140A CN112489119A CN 112489119 A CN112489119 A CN 112489119A CN 202011522140 A CN202011522140 A CN 202011522140A CN 112489119 A CN112489119 A CN 112489119A
- Authority
- CN
- China
- Prior art keywords
- feature
- bilinear
- layer
- conv5
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000002708 enhancing effect Effects 0.000 title abstract description 8
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims description 47
- 238000011176 pooling Methods 0.000 claims description 30
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 27
- 230000004807 localization Effects 0.000 description 15
- 238000012549 training Methods 0.000 description 14
- 230000004913 activation Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 101150064138 MAP1 gene Proteins 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 235000000832 Ayote Nutrition 0.000 description 1
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 240000001980 Cucurbita pepo Species 0.000 description 1
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 235000015136 pumpkin Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种增强可靠性的单目视觉定位方法,包括以下步骤:(1)通过深度卷积神经网络DCNN对输入图像提取特征图;(2)提出一种多层融合的双线性模型从特征图中进行特征嵌入得到特征向量;(3)使用一个可靠性感知的姿态回归层从特征向量中回归输入图像的相机位置和朝向的预测值和不确定度。与现有技术相比,本发明具有预测结果可靠性更强,准确性更高等优点。
Description
技术领域
本发明涉及视觉定位领域,提出了一种增强可靠性的单目视觉定位方法。
背景技术
视觉定位,又称相机重定位,是指输入一张图片计算这个图像对应相机6DoF(6Degree of Freedom)的相机姿态,因此,也被称为相机姿态回归或者相机姿态估计。在增强现实、自动驾驶、机器人等领域,由视觉传感器的图像获得视觉传感器在3D世界的位置是执行下一步任务(例如虚拟内容显示、路径规划、人机交互等)的基础。由于视觉传感器成本低且应用广泛,基于视觉的定位方法是重要的实用价值。
视觉定位问题在SLAM和Structure from Motion等系统领域有着很长的历史。借助SLAM和Structure from Motion系统构建一个描绘场景的3D模型,给定一张图像,提取它的局部特征与3D模型上的点云特征进行匹配(2D-3D匹配),根据匹配关系求解PnP问题得到给定图像在场景中的相机姿态。这类需要构建场景结构3D模型的方法被称为基于结构的方法,由于采用多视几何对场景进行精确建模,这类方法的定位精确最高。另一种无需建立3D模型的方法是基于检索的方法,它通过一个地理位置图像数据库存储场景图像和对应的位置标签,给定一张图像使用图像检索技术识别数据库中与给定图像最相似的图像,用检索到的图像的位置标签近似给定图像的位置。为了获得更精确的位置信息,可以检索多张图像,用多张图像的位置信息近似给定图像的位置。基于检索的视觉定位方法,又被称为场景识别,通常用于大尺度场景的粗糙定位。而对于城市及的大尺度的视觉定位任务,通常是基于检索方法和基于结构方法结合的方法,也就是首先检索与输入图像最相似的N张图像,使用基于结构的方法求出输入图像的对应的相机姿态。这种方法无疑进一步增加了存储成本和计算负担。
在深度学习广泛应用之前,无论是基于结构的方法还是基于检索的方法,通常都是使用手工特征,例如SIFT、ORB等。在深度学习兴起之后,基于结构的方法使用的局部特征由手工提取的局部特征被CNN的局部特征取代,基于检索的方法则使用CNN提取的全局图像描述符,CNN强大的表征能力进一步提高了视觉定位的性能,尤其是在光照变化等场景下的定位精度,但是存储成本、计算负担与传统方法相比没有明显优势。另一方面,基于深度学习端到端的视觉定位成为了研究热点,这种方法被称为相机姿态回归。相机姿态回归方法使用CNN直接回归6DoF的相机姿态,以PoseNet为代表的相机姿态回归方法,在训练时需要使用Structure from Motion等方法生成Ground Truth,而在推断时只需要存储网络模型,无需额外的数据存储,且由于CNN能够并行运算,基于深度学习的方法具有占用空间小、推断速度快的优势。但是当前深度学习的视觉定位方法在模型层面存在不可靠的因素,例如使用平均池化和全连接层将CNN提取的特征图进行特征嵌入,然而平均池化使得一些与视觉定位无关的视觉元素被聚合到特征向量中而产生不可靠的结果。因此当前的视觉定位方法存在定位精度低,定位结果不可靠的缺点。
发明内容
本发明解决的问题:克服现有技术的不足,提供一种增强可靠性的单目视觉定位方法,提高姿态回归方法的精确度,实现相比现有方法更高精确度和更高可靠性的视觉定位,且具有传感器成本低、运算速度快等优点。
最近的理论证明视觉定位网络模型的姿态回归层的权重是一组基姿态的集合,从CNN提取的特征图嵌入的特征向量是基姿态的权重,输出的定位结果是基姿态的加权。当前深度学习的视觉定位方法使用平均池化和全连接层将CNN提取的特征图进行特征嵌入得到用于回归相机姿态的特征向量,然而平均池化使得一些与视觉定位无关的视觉元素被聚合到特征向量中而产生不可靠的结果,因此这种特征嵌入方法对于视觉定位任务而言并不可靠。特征嵌入应该关注能够区分相机姿态变化的视觉区域从而得到更精确的相机姿势估计,同时这些视觉区域应该是在不同位置采集的内容相似的两幅图像具有显著区别的视觉区域。从这些视觉区域对应的特征图嵌入得到的特征向量才能得到可靠的定位结果。此外,基姿态集合,即姿态回归层的权重,是通过随机梯度下降优化方法从训练数据中学习的对数据中可能存在的相机姿态的近似,因此基姿态集合,即全连接的回归层存在模型不确定性。因此,估计结果的不确定性并且尽可能地提高定位结果的可靠性是非常重要的。
为了解决当前视觉定位网络模型在特征嵌入和姿态回归层中存在不可靠因素的问题,本发明提出一种能够增强定位结果可靠性的特征嵌入模块以及一种基于随机采样的姿态回归层,有效地提升了定位结果的可靠性和精确度。
本发明的技术方案为:
本发明的一种基于可区分性特征的单目视觉定位方法,如图1所示,包括以下步骤:
(1)通过34层的残差卷积神经网络模型即ResNet34的全卷积层对输入图像提取特征图;
(2)采用一种多层融合的双线性模型从特征图中进行特征嵌入得到特征向量;
(3)使用一个可靠性感知的姿态回归层,从特征向量随机采样t组特征向量并输入到全连接的回归层输出t组3维向量和t组4维向量,计算t组向量的均值和协方差得到3维均值向量、4维均向量值、维度为3x3的协方差矩阵和维度为4x4的协方差矩阵,3维均值向量和4维均值向量作为分别表示拍摄图像的相机在场景中的位置和朝向,3x3协方差的迹为位置的不确定度,4x4协方差的迹为朝向的不确定度;此外,根据单位四元数的定义,对表示相机朝向的4维向量最后需要进行L2-Normalize操作使得4维向量的2范数为1,完成视觉定位任务。
所述步骤(1)具体实现过程包括:
首先对输入图像进行预处理,即将输入图像所有像素值除以255,使得所有像素值的取值范围为[0,1],然后分别减去和除以从ImageNet数据集上计算的均值和方差,最后将输入图像的大小调整为256x256输入到特征提取网络中,使用去除全局平均池化和Softmax分类层的ResNet34作为特征提取网络,256x256输入图像经过第一个卷积层conv1输出128x128特征图,后续四个卷积层conv2-5由基础残差块串联组成,基础残差块是由两个3x3卷积组成的残差块,卷积层conv2包含两个基础残差块,输入128x128的特征图输出64x64特征图,卷积层conv3包含四个基础残差块,输入64x64的特征图输出32x32特征图,卷积层conv4包含六个基础残差块,输入32x32的特征图输出16x16特征图,卷积层conv5包含四个基础残差块,输入16x16的特征图输出8x8特征图。
所述步骤(2)具体实现包括:
引入双线性池化技术进行特征增强,双线性池化通过计算来自CNN的特征图的外积来形成全局特征向量;为了降低参数量并防止过拟合,使用一种分解的双线性池化:
其中,x是CNN输出的特征图,z是双线性池化从特征图x聚合得到的特征向量,U,V为低秩投影矩阵。将分解的双线性特征聚合方法应用于两种不同特征的融合,提出一个多层融合的双线性模型,多层融合的双线性模型通过将ResNet34最后残差块conv5_3输出的双线性特征与前两个残差块conv5_1和conv5_2输出的特征进行双线性融合得到多层融合的双线性特征;由于来自较深层的特征图有与目标任务更相关的语义信息,而最后一个卷积层的双线性特征图能够进一步增强与有与目标任务相关的视觉区域的特征激活,因此利用最后一层的双线性特征与相对浅层的特征进行双线性特征融合以保证能够学习到更多与任务相关的特征;最后使用一个投用矩阵将融合特征投影到特定维度的特征空间,用于相机姿态回归,完整的多层融合的双线性模型写成:
其中,χ,γ,分别是ResNet34最后三个残差块conv5_3、conv5_2和conv5_1输出的特征图,P是用于特征嵌入的投影矩阵,concat表示级联操作,U,V,S,D分别是特征图的投影矩阵,利用上述的多层双线性模型从特征图中嵌入得到多层融合的特征向量。
给定输入图像I的相机姿态表示相机的位置,表示相机的朝向,由于朝向的参数化形式不同,维度r可能取不同的值,则视觉定位任务可以方程其中基于CNN的绝对姿态回归任务可以被分为三个阶段:第一阶段是从图像I中提取特征F(I),特征提取通常使用经典CNN模型(例如VGG、ResNet等)的全卷积部分;第二阶段是将提取的特征图嵌入到一个高维空间中的向量记作E(F(I)),嵌入通常对应于网络倒数第三层的全局平均池化和倒数第二层的全连接层的输出;最后一个阶段是一个从嵌入空间到相机姿态空间的投影,最后一个阶段通常对应于网络最后的全连接层。根据上述阶段,视觉定位方程L可以展开为:
结合上式,绝对相机姿态回归方法是在学习一个基姿态的集合β={(cj,rj)},训练图像的姿态可以用基姿态的线性组合表示。根据输入图像的内容计算得到基姿态的权重,在姿态回归的第一阶段F(I)得到特征图的集合,第二阶段E(F(I))将特征图嵌入到一个高维空间的向量其中通过特征激活情况计算得到,表示输入图像对应每个基姿态的重要性。
从公式(3)可知,姿态回归方法的精确度,主要取决于的基姿态集合β={(cj,rj)}和特征嵌入向量因此,提升基于姿态回归的视觉定位方法的关键在于网络是否能够从训练数据中学习到有效的基姿态以及特征嵌入向量使得基姿态仿射组合近似于真实的相机姿态。
为了从特征图中嵌入到具有视觉定位区分性的特征,本发明利用双线性池化技术进行特征增强。双线性池化通过计算来自CNN的特征图的外积来形成全局特征向量。在视觉定位中,双线性池化能够抑制与视觉定位任务无关区域中的特征图激活,有助于网络模型将更多的注意力集中与视觉定位有关的视觉区域。为了降低计算量和防止过拟合,本发明引入一个投影矩阵对双线性池化的结果进行降维,而投影矩阵可以使用两个低秩矩阵近似可得一种分解的双线性模型.基于分解的双线性池化,本发明提出了一个多层融合的双线性模型,该模型通过将ResNet最后一个残差块conv5_3输出的双线性特征与前两个残差块conv5_1和conv5_2的特征进行融合得到多层融合的双线性特征。多层融合结合了更多的特征信息,进一步增强了特征区分性。本发多层融合的双线性模型具体结构如图1所示,ResNet34最后一个残差块conv5_3输出的特征图被投影到维度为d的特征图1_0和特征图1_1,两个特征图执行哈达玛积操作得双线性特征图1,对双线性特征图1池化和l2-normalize操作得到双线性特征向量1;对ResNet34倒数第三个残差块conv5_1和倒数第二个残差块conv5_2分别投影到两个维度为d的特征图2和特征图3,特征图2、3分别与双线性特征图1执行哈达玛积操作得到双线性特征图2和双线性特征图3,分别对双线性特征图2、3池化和l2-normalize操作得到双线性特征2、3;串联双线性特征1、2和3得到多层融合双线性特征;最后使用一个投影矩阵将多层融合的双线性特征投影到维度为n的特征空间,用于相机姿态回归。其中n和d为超参数,一般可设n=2048和d=8192。
所述步骤(3)具体实现包括:
使用一个基于随机采样的回归层从特征嵌入模块输出的特征向量中回归7维向量并计算位置和朝向的不确定度。7维向量的前三位表示位置而后四位表示朝向,其中需要L2-Normalize操作使向量后四位称为为一个有意义的表示朝向的四元数。本发明提出的基于随机采样的回归层的具体实现为,对特征嵌入模块输出的特征向量进行t次概率为0.5的Dropout,得到t组特征向量,然后从这t组特征向量中回归t组相机位置和朝向向量,计算t组向量的均值作为最终的定位结果,分别计算t组位置向量和t组朝向向量的协方差,将协方差的迹为位置和朝向的不确定度。
与现有技术相比,本发明的创新之处在于:提出了增强当前基于深度学习的视觉定位算法可靠性的方法并提升了视觉定位的精确度。在特征嵌入模块,引入双线性模型技术进行特征增强并利用最后一层的双线性特征与相对浅层的特征进行特征融合来学习更多与任务相关的特征,提升了特征嵌入的可靠性。在姿态回归层,通过多次从基姿态的集合随机采样,减少姿态回归层的不确定性的影响,提升了定位结果的可靠性。
附图说明
图1为本发明的增强可靠性的单目视觉定位网络模型示意图;
图2为本发明的视觉定位方法构建过程示意图;
图3为本发明的多层融合的双线性模型示意图。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
如图2所示,一种基于可区分性特征的深度学习视觉定位方法的实施过程,主要包括图像数据采集、创建三维模型获取相机姿态、模型实现与训练以及模型部署四个部分。
首先,使用相机沿着可能的定位路线采集连续的单目图像数据。然后,利用增量Structure from Motion方法从这些连续的单目图像序列中获得相机的标定结果、图像对应的相机姿态以及3D点云模型,整个过程包括匹配搜索和场景重建两个主要的阶段。匹配搜索阶段,输入连续的单目图像序列,首先进行特征提取和匹配,然后进行几何验证确保一对匹配图像上的对应特征点对应同一个场景点,最终输出几何验证后的匹配图像对集合和场景图。场景重建阶段,匹配搜索阶段生成的场景图用作重建阶段的输入,该阶段通过仔细选择的两视图重建进行初始化,然后逐步注册新图像,对场景点进行三角测量,过滤离群值并使用bundle adjustment细化重建结果,最终输出相机的标定结果、图像对应的相机姿态以及3D点云模型,将输入图像和输出的图像对应的相机姿态的作为模型训练的标注数据。
在模型层面,提出一种增强特征区分性的多层融合的特征嵌入模块从CNN提取的特征图中进行特征嵌入得到用于回归相机姿态的特征向量。多层融合的特征嵌入模块以双线性池化为基础。双线性池化计算两个特征向量的外积来建模特征交互,双线性池化的公式化定义为:
其中,为CNN提取的特征图,特征图中每个位置对应的特征向量为 其中h,w和c为特征图的高、宽和维度,S是特征图对应的空间点的位置集合。然而双线性模型输出的维度通常很大,过大的特征维度增加了计算量且有过拟合风险。为了降低维度通常可以使用一个投影矩阵进行降维,则双线性池化可以被改写为:
其中为降维后的特征向量,b为偏差项,其中d为降维之后的维度, 为从W的第j列被reshape为c×c的矩阵。将Wj R进行矩阵分解进一步减少参数量,Wj R可以用两个矩阵的乘近似,即Wj R=UjVj T,其中Uj,分别为秩为1的向量,则公式(5)可以重写分解的形式:
其中,Sum表示求向量的和,此处还包括对空间位置S的特征值进行求和,°表示哈达玛积,即元素级的相乘。令U,V为分别由Uj,Vj组成的低秩投影矩阵,则公式(3.02)重写为分解的双线性池化:
为了进一步增加模型表征能力和避免过度拟合,可以在投影操作之后添加非线性激活(如tanh或ReLU)和Dropout。采用分解的双线性池化代替了传统的平均池化以增强特征的可区分性,从而促使网络在输入图像与视觉定位任务相关的视觉区域有更大的特征激活。
早期的双线性模型的输入是来自两种不同的输入,因此被称为双线性模型。因此,可将分解的双线性模型
应用于两种不同特征的融合,假设有两个不同的输入特征图χ和γ,则可得到双线性融合的特征向量z为:
上式也可以理解为将特征χ和γ分别用两个投影矩阵U和S投影到同一个特征空间,然后进行特征融合。
深层的卷积滤波器可以用作弱的部分属性检测器,来自不同卷积层的激活可以视为不同部分属性的表示。因此,对不同卷积层的特征交互进行建模可以帮助网络提取更多区分特征。基于这种观察,对来自多个卷积层的特征进行双线性特征融合,以计算不同的部分属性的交互关系。提出了一个多层融合的双线特征模型,它通过将ResNet最后一个卷积块conv5_3输出的双线性特征与ResNet中前两个块conv5_1和conv5_2的特征相结合进行融合得到多层融合的双线性特征。由于来自较深层的特征图具有与目标任务更相关的语义信息,因此利用最后一层的双线性特征作为公式(10)的输入之一与相对浅层的特征进行特征融合以保证能够学习到更多的与任务相关的特征。因此,多层融合的双线性模型为:
其中χ,γ,分别是ResNet34最后三个残差块conv5_3、conv5_2和conv5_1输出的特征图,P是用于特征嵌入的投影矩阵,concat表示级联操作,而U,V,S,D分别是特征图的投影矩阵。
本发明提出的基于随机采样的姿态回归层利用Dropout以概率0.5从基姿态集合中采样t次,最终的相机姿态为t次采样结果计算出相机姿态的均值,则最终的相机姿态为:
其中表示t次采样结果计算出相机位置矩阵,表示t次采样结果计算出相机朝向矩阵,i表示第i次采样。对于不确定度而言,假设采样结果满足单峰的高斯分布,矩阵的轨迹tr(A)是矩阵A主对角线元素的总和,具有旋转不变性,可以有效地表示高斯分布的不确定性,因此定位结果的不确定度可以通过单峰高斯分布的协方差矩阵的迹表示,则定位结果的可靠性呗定位为:
其中L表示损失函数,t和q分别表示输入图片的相机位置和朝向的真值,则是对应的越策结果,γ是距离范数,此处令γ=2。和分别表示为位置和朝向预测的不确定度,定义为自然数指数的形式能够保证不确定度始终为正数。和是可学习参数,能通过网络训练过程中学习合适数值,自动平衡位置和朝向的学习。和初始值设为0.0和-3.0。
本发明采用ResNet34用作特征提取器。提出的多层融合的双线性池化模块替换ResNet34网络中最后一个卷积层之后的全局平均池化层和全连接层作为特征嵌入模块,并使用来自最后三个残差块conv5_1,conv5_2和conv5_3的特征图作为模块的输入,将ResNet34网络中softmax分类层替换为本发明提出的基于随机采样的姿态回归层,姿态回归层在训练时只进行一次随机采样并回归,在测试时进行本发明中提出的基于随机采样的姿态回归并计算不确定度,完整的网络结构如图3所示。在该多层融合双线性池化模块中,设置超参数d=8192和n=2048,即此模块生成2048维特征向量,随机采样次数t设置为100。训练完成的模型可被用于输入图像的相机姿态估计。使用Places数据集的预训练权重进行初始化,利用采集的训练集数据集进行训练,测试集进行测试。使用PyTorch来实现算法模型,使用学习速率为5e-4且权重衰减为5e-4的SGD优化器,使用11GB的NVIDIA RTX 2080Ti上进行训练,batch size设为64,将输入图像重新缩放为256×256像素,并使用从ImageNet数据集计算出的均值和标准差进行归一化。在训练时使用随机裁剪,而在测试时使用中心裁剪;完成模型训练之后,只需保存模型即可完成对场景中任意的输入图像进行相机姿态估计。
本发明提出的方法在公开的室外数据集Cambridge Landmarks和室内数据集7Scenes是目前单目视觉定位方法中性能最优的方法,表1和表2分别是当前主流的深度学习视觉定位方法模型PoseNet、Beyasian PoseNet、PoseLSTM、PoseNet(learn weight)、Geometirc PoseNet、MapNet以及本发明提出的模型在不同场景下相机位置和朝向预测精确度的比较结果,相机位置的单位为米(m),相机朝向的单位为度(°)。在室外数据集Cambridge Landmarks中,本发明在相机位置和朝向精确度两个指标中均为最优的结果,而在室内数据集7Scenes中,相机位置的精确度在“Office”场景下略弱于GeometricPoseNet,在“Chess”和“Office”两个场景下略弱于MapNet,相机的朝向准确度的在“chess”、“offcie”、“Pumpkin”和“Red Kitchen”场景下弱于MapNet,但是GeometricPosNet在训练时需要点云模型而MapNet需要输入图像对,本发明的方法只需要输入一张图片且本发明的相机位置和朝向精确度在所有只需要一张图片的模型中均为最优的。通过对特征图激活的可视化可以发现本发明方法能够使得特征图的激活集中在对于视觉定位任务而言相关的视觉区域,而不会错误地激活在草地、树木、天空等对定位而言不相关的视觉区域,提高了视觉定位结果的可靠性和精度。此外,本发明提出的可靠性感知的姿态回归层不仅可以减少模型过拟合风险,还能对预测结果进行不确定度预测,对不可靠预测起到风险提示的作用。相比现有方法,本发明有更高的精确度,同时在特征嵌入和姿态回归层保证了网络预测的可靠性并能够给出预测结果的不确定度。
表1不同方法在Cambridge landmarks数据集的性能对比
表2不同方法在7Scenes数据集的性能对比
Claims (3)
1.一种基于增强可靠性的单目视觉定位方法,其特征在于,包括以下步骤:
(1)通过34层的残差卷积神经网络模型即ResNet34的全卷积层对输入图像提取特征图;
(2)采用一种多层融合的双线性模型从特征图中进行特征嵌入得到特征向量;
(3)使用一个可靠性感知的姿态回归层,从特征向量随机采样t组特征向量并输入到全连接的回归层输出t组3维向量和t组4维向量,计算t组向量的均值和协方差得到3维均值向量、4维均向量值、维度为3x3的协方差矩阵和维度为4x4的协方差矩阵,3维均值向量和4维均值向量作为分别表示拍摄图像的相机在场景中的位置和朝向,3x3协方差的迹为位置的不确定度,4x4协方差的迹为朝向的不确定度;此外,根据单位四元数的定义,对表示相机朝向的4维向量最后需要进行L2-Normalize操作使得4维向量的2范数为1,完成视觉定位任务。
2.根据权利要求1所述的一种基于增强可靠性的单目视觉定位方法,其特征在于,所述步骤(1)具体实现过程包括:
首先对输入图像进行预处理,即将输入图像所有像素值除以255,使得所有像素值的取值范围为[0,1],然后分别减去和除以从ImageNet数据集上计算的均值和方差,最后将输入图像的大小调整为256x256输入到特征提取网络中,使用去除全局平均池化和Softmax分类层的ResNet34作为特征提取网络,256x256输入图像经过第一个卷积层conv1输出128x128特征图,后续四个卷积层conv2-5由基础残差块串联组成,基础残差块是由两个3x3卷积组成的残差块,卷积层conv2包含两个基础残差块,输入128x128的特征图输出64x64特征图,卷积层conv3包含四个基础残差块,输入64x64的特征图输出32x32特征图,卷积层conv4包含六个基础残差块,输入32x32的特征图输出16x16特征图,卷积层conv5包含四个基础残差块,输入16x16的特征图输出8x8特征图。
3.根据权利要求1所述的一种基于增强可靠性的单目视觉定位方法,其特征在于,所述步骤(2)具体实现包括:
引入双线性池化技术进行特征增强,双线性池化通过计算来自CNN的特征图的外积来形成全局特征向量;为了降低参数量并防止过拟合,使用一种分解的双线性池化:
其中,x是CNN输出的特征图,z是双线性池化从特征图x聚合得到的特征向量,U,V为低秩投影矩阵,将分解的双线性特征聚合方法应用于两种不同特征的融合,提出一个多层融合的双线性模型,多层融合的双线性模型通过将ResNet34最后残差块conv5_3输出的双线性特征与前两个残差块conv5_1和conv5_2输出的特征进行双线性融合得到多层融合的双线性特征;利用最后一层的双线性特征与相对浅层的特征进行双线性特征融合以保证能够学习到更多与任务相关的特征;最后使用一个投影矩阵将融合特征投影到特定维度的特征空间,用于相机姿态回归,完整的多层融合的双线性模型写成:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011522140.7A CN112489119B (zh) | 2020-12-21 | 2020-12-21 | 一种增强可靠性的单目视觉定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011522140.7A CN112489119B (zh) | 2020-12-21 | 2020-12-21 | 一种增强可靠性的单目视觉定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112489119A true CN112489119A (zh) | 2021-03-12 |
CN112489119B CN112489119B (zh) | 2023-01-31 |
Family
ID=74915247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011522140.7A Active CN112489119B (zh) | 2020-12-21 | 2020-12-21 | 一种增强可靠性的单目视觉定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112489119B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516053A (zh) * | 2021-05-28 | 2021-10-19 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
CN114004971A (zh) * | 2021-11-17 | 2022-02-01 | 北京航空航天大学 | 一种基于单目图像和先验信息的3d目标检测方法 |
CN114783069A (zh) * | 2022-06-21 | 2022-07-22 | 中山大学深圳研究院 | 基于步态识别对象的方法、装置、终端设备及存储介质 |
US20230077353A1 (en) * | 2021-08-31 | 2023-03-16 | University Of South Florida | Systems and Methods for Classifying Mosquitoes Based on Extracted Masks of Anatomical Components from Images |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180231871A1 (en) * | 2016-06-27 | 2018-08-16 | Zhejiang Gongshang University | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF |
CN109685115A (zh) * | 2018-11-30 | 2019-04-26 | 西北大学 | 一种双线性特征融合的细粒度概念模型及学习方法 |
CN110738673A (zh) * | 2019-10-21 | 2020-01-31 | 哈尔滨理工大学 | 基于实例分割的视觉slam方法 |
CN110825899A (zh) * | 2019-09-18 | 2020-02-21 | 武汉纺织大学 | 融合颜色特征和残差网络深度特征的服装图像检索方法 |
CN111536970A (zh) * | 2020-05-08 | 2020-08-14 | 中国航空工业集团公司西安航空计算技术研究所 | 一种用于低能见度大尺度场景的红外惯性组合导航方法 |
US20200273190A1 (en) * | 2018-03-14 | 2020-08-27 | Dalian University Of Technology | Method for 3d scene dense reconstruction based on monocular visual slam |
CN111627065A (zh) * | 2020-05-15 | 2020-09-04 | Oppo广东移动通信有限公司 | 一种视觉定位方法及装置、存储介质 |
-
2020
- 2020-12-21 CN CN202011522140.7A patent/CN112489119B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180231871A1 (en) * | 2016-06-27 | 2018-08-16 | Zhejiang Gongshang University | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF |
US20200273190A1 (en) * | 2018-03-14 | 2020-08-27 | Dalian University Of Technology | Method for 3d scene dense reconstruction based on monocular visual slam |
CN109685115A (zh) * | 2018-11-30 | 2019-04-26 | 西北大学 | 一种双线性特征融合的细粒度概念模型及学习方法 |
CN110825899A (zh) * | 2019-09-18 | 2020-02-21 | 武汉纺织大学 | 融合颜色特征和残差网络深度特征的服装图像检索方法 |
CN110738673A (zh) * | 2019-10-21 | 2020-01-31 | 哈尔滨理工大学 | 基于实例分割的视觉slam方法 |
CN111536970A (zh) * | 2020-05-08 | 2020-08-14 | 中国航空工业集团公司西安航空计算技术研究所 | 一种用于低能见度大尺度场景的红外惯性组合导航方法 |
CN111627065A (zh) * | 2020-05-15 | 2020-09-04 | Oppo广东移动通信有限公司 | 一种视觉定位方法及装置、存储介质 |
Non-Patent Citations (1)
Title |
---|
LEI ZHOU 等: "Matrix Classifier On Dynamic Functional Connectivity For Mci Identification", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516053A (zh) * | 2021-05-28 | 2021-10-19 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
CN113516053B (zh) * | 2021-05-28 | 2024-05-14 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
US20230077353A1 (en) * | 2021-08-31 | 2023-03-16 | University Of South Florida | Systems and Methods for Classifying Mosquitoes Based on Extracted Masks of Anatomical Components from Images |
CN114004971A (zh) * | 2021-11-17 | 2022-02-01 | 北京航空航天大学 | 一种基于单目图像和先验信息的3d目标检测方法 |
CN114783069A (zh) * | 2022-06-21 | 2022-07-22 | 中山大学深圳研究院 | 基于步态识别对象的方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112489119B (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112489119B (zh) | 一种增强可靠性的单目视觉定位方法 | |
US10650042B2 (en) | Image retrieval with deep local feature descriptors and attention-based keypoint descriptors | |
CN111047548B (zh) | 姿态变换数据处理方法、装置、计算机设备和存储介质 | |
CN109166144B (zh) | 一种基于生成对抗网络的图像深度估计方法 | |
WO2020170014A1 (en) | Object counting and instance segmentation using neural network architectures with image-level supervision | |
CN110458939A (zh) | 基于视角生成的室内场景建模方法 | |
CN110619638A (zh) | 一种基于卷积块注意模块的多模态融合显著性检测方法 | |
CN108960059A (zh) | 一种视频动作识别方法及装置 | |
CN112085835B (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
CN101976461A (zh) | 一种新的户外增强现实无标跟踪注册算法 | |
CN112784782B (zh) | 一种基于多视角双注意网络的三维物体识别方法 | |
CN115222896B (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
CN114596474B (zh) | 一种融合多模态信息的单目深度估计方法 | |
CN116152334A (zh) | 图像处理方法及相关设备 | |
CN115222954A (zh) | 弱感知目标检测方法及相关设备 | |
CN117522990B (zh) | 基于多头注意力机制和迭代细化的类别级位姿估计方法 | |
Li et al. | Sparse-to-local-dense matching for geometry-guided correspondence estimation | |
CN113963040A (zh) | 一种基于深度特征一致性的点云配准方法及系统 | |
CN113112547A (zh) | 机器人及其重定位方法、定位装置及存储介质 | |
CN114792401A (zh) | 行为识别模型的训练方法、装置、设备及存储介质 | |
Shantia et al. | Indoor localization by denoising autoencoders and semi-supervised learning in 3D simulated environment | |
CN112561947A (zh) | 一种图像自适应运动估计方法及应用 | |
CN116797640A (zh) | 一种面向智能伴行巡视器的深度及3d关键点估计方法 | |
CN116399360A (zh) | 车辆路径规划方法 | |
Alhamazani et al. | 3DCascade-GAN: Shape completion from single-view depth images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |