CN115100237A - 一种巡检机器人视觉里程计方法 - Google Patents
一种巡检机器人视觉里程计方法 Download PDFInfo
- Publication number
- CN115100237A CN115100237A CN202210482290.2A CN202210482290A CN115100237A CN 115100237 A CN115100237 A CN 115100237A CN 202210482290 A CN202210482290 A CN 202210482290A CN 115100237 A CN115100237 A CN 115100237A
- Authority
- CN
- China
- Prior art keywords
- depth
- network
- frame
- image
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000007689 inspection Methods 0.000 title claims abstract description 29
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 230000003287 optical effect Effects 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 6
- 230000006872 improvement Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 2
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 230000007704 transition Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种巡检机器人视觉里程计方法，包括获取机器人相机内部参数；在机器人运行过程中通过可见光相机截取图像；选取截取图像中的相邻两帧记为源帧和目标帧；将源帧输入至无监督深度估计网络得到预测深度；无监督深度估计网络进行密集模块的轻量化改进；利用光流网络对源帧和目标帧预测前向光流和后向光流，根据前后光流一致性原则筛选得到优质匹配特征点对；通过三角测量获得计算深度；将预测深度和计算深度根据尺度对齐方法进行帧间尺度对齐，获得尺度一致机器人定位轨迹。与现有技术相比，本发明实现机器人在巡检过程中的高效定位，避免因定位精度不足导致的巡检结果失效，节约巡检资源，在电厂巡检任务中具有较高的实际使用价值。
Description
技术领域
本发明涉及机器人视觉领域，尤其是涉及一种巡检机器人视觉里程计方法。
背景技术
电力行业中，智能巡检机器人在越来越多的电力场景中辅助或替代人工完成常规的巡检任务，但现有的机器人巡检定位技术大多依靠固定轨道或者标识，无法在复杂环境中进行移动巡检。通常，机器人携带视觉传感器进行检测，那么利用视觉里程计进行定位不仅节省成本，也能提高机器人移动的自主性和有效性。现有的方法中，有采用将视觉里程计看作归类问题，使用CNN处理输入图像，实现视觉里程计；还有将循环神经网络和CNN结合，增加图像序列的时序建模，端到端地实现位姿估计。但是，上述监督学习方式的真值数据集获取成本较高，且监督训练数据集数量有限，泛化性较低。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种巡检机器人视觉里程计方法，利用无监督学习方式实现单目视觉里程计，而且具有良好的精度和可靠性。
本发明的目的可以通过以下技术方案来实现：
一种巡检机器人视觉里程计方法，包括以下步骤：
S1、对机器人安装的可见光相机进行标定，获取相机内部参数；
S2、在机器人运行过程中通过可见光相机获取的视频按设定时间截取图像；
S3、选取截取图像中的相邻两帧，前一帧图像标记为源帧Is，后一帧图像标记为目标帧It；
S4、将源帧Is输入至无监督深度估计网络，得到预测深度Ds；所述无监督深度估计网络中加入基于DenseNet理论的密集模块，并且进行密集模块的轻量化改进，在密集模块中通过跳跃连接将每一处理单元的输出特征级联至最后密集模块最后；
S5、利用光流网络对源帧Is和目标帧It预测前向光流和后向光流，根据前后光流一致性原则筛选得到优质匹配特征点对；所述光流网络采用LiteFlowNet网络模型；
S6、根据优质匹配特征点对通过三角测量获得计算深度D′s；
S7、将预测深度Ds和计算深度D′s根据尺度对齐方法进行帧间尺度对齐，获得尺度一致机器人定位轨迹。
进一步地，步骤S1中，可见光相机采用棋盘格标定法进行内参标定。
进一步地，所述无监督深度估计网络采用了编码器-解码器形式，所述编码器包括一个步长为2的7×7卷积层、一个步长为2的3×3池化层，四个密集模块，以及每个密集模块对应的过度层，每个过度层包括一个1×1卷积层和一个3×3卷积层。
进一步地，无监督深度估计网络中，密集模块包括四个处理单元，每个处理单元包括依次设置的批量化归一层、ReLU激活函数层、1×1卷积层和3×3卷积层，每个处理单元通过跳跃连接将该处理单元输出的特征级联至密集模块的最后。
进一步地，所述无监督深度估计网络中引入了网络特征度量损失函数，利用网络特征度量损失函数的反向传播训练网络，所述网络特征度量损失函数包括合成损失、深度损失和收敛损失。
进一步地，所述合成损失Lf的表达式为：
式中：φ(p)为图像的特征表示，s下标表示源帧，t下标表示合成帧。
进一步地，所述深度损失Ld的表达式为：
式中：φ(p)为图像的特征表示，
表示一阶微分算子，p表示图像像素，e表示指数底数，I(p)位图像的像素表示。
进一步地，所述收敛损失Lc的表达式为：
式中：φ(p)为图像的特征表示，
表示二阶微分算子，p表示图像像素。
进一步地，步骤S5中，采用N-best选取策略筛选优质匹配特征点对。
进一步地，步骤S7中，设定尺度对齐因子St进行帧间匹配尺度对齐，其表达式为：
式中：N表示特征点数量，
表示第t帧第i处像素的预测深度，
表示第t帧第i处像素的计算深度，M表示图像帧的数量。
与现有技术相比，本发明具有以下有益效果：
1、本发明的视觉里程计基于无监督深度估计网络与多视几何算法，并且在无监督深度估计网络中应用了轻量化的密集模块，可以更好地预测图像深度，具有准确率高、泛化性强以及网络模型参数量少的优点，针对大场景下图像深度估计具有更好的鲁棒性，适用于电厂复杂环境下的巡检机器人定位。
2、本发明针对单目视觉里程计固有的尺度漂移问题，设计了尺度对齐原则。该原则可以有效地从第一帧图像开始对齐图像流帧间尺度，从而维持机器人巡检轨迹的尺度一致性，避免因尺度问题导致机器人无法准确定位。
3、本发明特征度量损失应用于无监督深度估计网络的训练中，针对网络模型对场景细节纹理不足、光照不稳定等区域的图像深度学习能力具有极大的提高；本发明针对单度损失无法创建有效监督信号训练网络的缺陷进行改进，提高了网络训练的质量，并将网络融入视觉里程计方法中，提高了方法的准确性。
附图说明
图1为本发明的整体框架图。
图2是本发明构建的深度估计网络模型示意图。
图3为本发明改进的密集模块的结构示意图。
图4a是本发明针对的单目视觉里程计固有的尺度丢失问题。
图4b是本发明解决尺度问题后单目视觉里程计定位轨迹。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供了一种巡检机器人视觉里程计方法，对智能巡检机器人利用单目可见光相机获取的图像序列进行实时地定位，具体包括以下步骤：
步骤一：对机器人安装的可见光相机进行标定，利用棋盘格标定法，获取相机内参。
步骤二：机器人运行过程中通过可见光相机获取的视频按固定时间截取图像，并将截取的图像存入服务器中，无监督深度估计网络模型部署在服务器端；
步骤三：在服务器内选取截取图像中的相邻两帧将大小调整至大小调整为640×480，并将前一帧图像标记为源帧Is，后一帧图像标记为目标帧It。源帧输入至无监督深度估计网络，获取预测深度Ds。
步骤四：利用光流网络对源帧Is和目标帧It预测前向光流和后向光流，根据前后光流一致性原则筛选得到优质匹配特征点对；光流网络采用LiteFlowNet网络模型。
步骤五：根据优质匹配特征点对通过三角测量获得计算深度D′s。
步骤六：将预测深度Ds和计算深度D′s根据尺度对齐方法进行帧间尺度对齐，获得尺度一致机器人定位轨迹。
步骤七：将尺度一致定位轨迹发送至机器人本体，使得机器人获取自身定位信息。
本实施例中无监督深度估计网络采用DenseNet，并且对其进行密集模块的轻量化改进，在密集模块中通过跳跃连接将每一个处理单元的输出特征级联至密集模块的最后，具体如下：
如图2所示，无监督深度估计网络的基本结构采用了编码器-解码器形式。编码器由一个步长为2的7×7卷积层、一个步长为2的3×3池化层，以及四个密集模块及其各自相邻的三个过渡层(Tansition Layer)组成。过渡层包含了一个1×1卷积层和一个3×3卷积层，目的是为了保证级联至后层的特征图尺寸一致。解码器依次包含一个1×1的卷积层、一个2×2的双线性上采样层和四个上采样模块。在上采样模块中，包含了两组3×3卷积层和一个2×2双线性上采样层。在编码器与解码器之间添加了跳跃连接，保证特征传递的流通。
如图3所示，本实施例中对每个密集模块(Dense Block)进行了轻量化的改进，结合实际场景需求，简化密集模块连接方式，减小网络计算资源消耗的同时，确保网络对场景细节编码能力。密集模块包括四个处理单元，每个处理单元包括依次设置的批量化归一层(BN)、ReLU激活函数层、1×1卷积层和3×3卷积层。在每个密集模块中，不再需要将当前处理单元的输出特征级联至往后的每一个处理单元，只需通过跳跃连接将该处理单元输出的特征级联至最后，即只有最后一个处理单元采取了DenseNet相同的操作。
x0～x3表示每一个处理单元的特征；密集模块的参数k，即增长率，表示每一处理单元级联至最后的特征图的数量；D0～D3为非线性变换函数，定义如下：
xl＝Dl-1(x0，x1，...，xl-1)，l＝1，2，3
式中，l表示每个处理单元的序号。
因此，在密集模块中，每一个处理单元的输出经过非线性优化函数Dl作用后都产生k个特征图，因此，一个密集模块的输出就有k0+(l-1)k个特征图作为下一模块的输入，其中k0是模块输入层l0的特征通道数。在视觉里程计场景下，轻量化的密集模块已足够保留场景的特征信息，能够降低特征冗余，减小模型参数，相较于传统的模型，保证了网络的灵活性和特征的持续性。
本实施例在无监督深度估计网络的训练过程中，提出了网络特征度量损失函数，利用其反向传播训练网络，提高网络对场景细节的学习能力和深度恢复能力。网络特征度量损失函数由合成损失、深度损失和收敛损失组成，具体展开图下：
(1)合成损失
根据视图合成理论，设ps为源帧中某一像素的齐次坐标，
为合成帧中对应像素的齐次坐标，那么根据相机位姿和深度值可得：
式中：K表示相机的内参矩阵；Ds表述源帧中网络输出的像素深度；
表示源帧至目标帧的位姿矩阵。
由上式，通过源帧的特征图可得合成特征图
因此，特征图合成损失函数的表达式为：
式中：φ(p)表示图像的特征表示，s下标表示源帧，t下标表示合成帧。
(2)深度损失
为了保证网络在场景的弱纹理区域依然能学习到梯度变化较大的特征，引入了深度损失函数：
式中：
表示一阶微分算子，p表示图像像素，e表示指数底数，I(p)位图像的像素表示。
(3)收敛损失
为了平滑特征梯度，引入对二阶梯度的惩罚项，即收敛损失：
式中：
表示二阶微分算子。
综上，特征度量损失Lfm的表达式如下：
Lfm＝λfLf+λdLd+λcLc
式中：λf为合成损失权重；λd为深度损失权重；λc为收敛损失权重。对应于不同的损失，根据在实际应用中不同的需求设立不同的权重。
网络训练中，深度估计网络训练采用Adam优化器。1阶矩估计指数衰减率设置为β1＝0.9；2阶矩估计指数衰减率设置为β2＝0.999；学习率设置为α＝1e-4(e表示指数，表示将前面的数字乘10的负4次幂)；批规模(Batch size)设置为4；密集模块增长率k设置为12。合成损失权重λf设置为1；深度损失权重λd设置为1e-3；收敛损失权重λc设置为1e-3；光度损失权重λph设置为5；深度一致性损失权重λdc设置为1。
综上，本实施例的无监督深度估计网络从①网络训练损失函数；②更深的网络层数；③更少的网络训练参数三个方面进行改进，提高深度估计网络算法的准确度。
改进密集模块是在DenseNet基础上，通过改进层与层之间特征传递的方式，使浅层特征以最大程度保留，对图像细节有更好的估计效果，同时使用过渡模块、上采样模块和跳跃连接结构提升了网络特征传递能力。
深度估计网络在基本结构上采用了编码器-解码器形式，通过复用浅层特征，提升网络对场景细节信息的编码能力，使得深度估计网络获取更精细的图像特征表达。在编码器部分，结合了改进密集模块结构，在网络训练参数与特征复用之间达到了最优平衡。
本实施例中，步骤四的具体展开如下：
首先，采用前后光流一致性准则，筛选优质的光流匹配。一致性越高，匹配精度越高。对于相邻图像对(Is，It)，设前向光流为
后向光流为
光流一致性计算为：
式中：pf为前后向光流中像素对应关系；ω为光流中像素执行变换操作的参数；p为图像中像素点。
然后，根据上述计算式，通过常规的N-Best选取策略，筛选出表现最好的N对2D-2D匹配点
i和j表示像素上标索引。
本实施例中，步骤六的具体展开如下：
首先，利用非线性优化的方式求解PnP，计算相机初始位姿在李群SE(3)上的表示T′，主要计算公式如下：
考虑某个经光流前后一致性筛选出的空间点，它的齐次坐标为pi＝(Xi，Yi，Zi)T。它在源帧中的归一化平面齐次投影点坐标为ui＝(ui，vi)T。由单目相机的理论模型可知，二者的关系如式：
siui＝KTpi
式中，si为该3D点的深度，K为单目相机内参矩阵。
由于相机观测和实际计算存在一定误差，将该3D点由初始位姿变换T′重投影，重投影处的像素位置与目标帧It中的观测位置存在误差，即重投影误差。基于此构建非线性优化问题，如下式
式中，n表示投影点数量，T＊表示位姿变换矩阵，u表示第i个空间点在像素平面的投影，si表示第i个空间点的深度，i表示第i个空间点，pi表示第i个空间点的齐次坐标。
使用李代数构建无约束优化，通过BA(Bundle Adjustment)进行求解，获得初始位姿T′。
然后，利用尺度对齐原则将计算深度与网络预测深度进行对齐，固定全局定位轨迹尺度，获得尺度一致机器人定位轨迹，展开如下：
第0帧图像在第i处的预测深度为
通过三角测量获得的对应的计算深度为
那么，令
作为初始尺度对齐因子。其中，N表示特征点数量。随后，对每一帧执行相同的操作，即
其中，N表示特征点数量，
表示第t帧第i处像素的预测深度，
表示第t帧第i处像素的计算深度，M表示图像帧的数量。
若相邻图像序列Is和It间的尺度对齐因子保持一致，即认为ss≈st，那么随着帧间匹配尺度对齐的约束传递，位姿的全局尺度得到固定。最终输出全局一致的轨迹T＝[R，t]。
尺度未对齐的轨迹与尺度对齐的轨迹对比如图4a和图4b所示。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种巡检机器人视觉里程计方法，其特征在于，包括以下步骤：
S1、对机器人安装的可见光相机进行标定，获取相机内部参数；
S2、在机器人运行过程中通过可见光相机获取的视频按设定时间截取图像；
S3、选取截取图像中的相邻两帧，前一帧图像标记为源帧Is，后一帧图像标记为目标帧It；
S4、将源帧Is输入至无监督深度估计网络，得到预测深度Ds；所述无监督深度估计网络中加入基于DenseNet理论的密集模块，并且进行密集模块的轻量化改进，在密集模块中通过跳跃连接将每一处理单元的输出特征级联至最后密集模块最后；
S5、利用光流网络对源帧Is和目标帧It预测前向光流和后向光流，根据前后光流一致性原则筛选得到优质匹配特征点对；所述光流网络采用LiteFlowNet网络模型；
S6、根据优质匹配特征点对通过三角测量获得计算深度D′s；
S7、将预测深度Ds和计算深度D′s根据尺度对齐方法进行帧间尺度对齐，获得尺度一致机器人定位轨迹。
2.根据权利要求1所述的一种巡检机器人视觉里程计方法，其特征在于，步骤S1中，可见光相机采用棋盘格标定法进行内参标定。
3.根据权利要求1所述的一种巡检机器人视觉里程计方法，其特征在于，所述无监督深度估计网络采用了编码器-解码器形式，所述编码器包括一个步长为2的7×7卷积层、一个步长为2的3×3池化层，四个密集模块，以及每个密集模块对应的过度层，每个过度层包括一个1×1卷积层和一个3×3卷积层。
4.根据权利要求1所述的一种巡检机器人视觉里程计方法，其特征在于，无监督深度估计网络中，密集模块包括四个处理单元，每个处理单元包括依次设置的批量化归一层、ReLU激活函数层、1×1卷积层和3×3卷积层，每个处理单元通过跳跃连接将该处理单元输出的特征级联至密集模块的最后。
5.根据权利要求1所述的一种巡检机器人视觉里程计方法，其特征在于，所述无监督深度估计网络中引入了网络特征度量损失函数，利用网络特征度量损失函数的反向传播训练网络，所述网络特征度量损失函数包括合成损失、深度损失和收敛损失。
6.根据权利要求5所述的一种巡检机器人视觉里程计方法，其特征在于，所述合成损失Lf的表达式为：
式中：φ(p)为图像的特征表示，s下标表示源帧，t下标表示合成帧。
7.根据权利要求5所述的一种巡检机器人视觉里程计方法，其特征在于，所述深度损失Ld的表达式为：
式中：φ(p)为图像的特征表示，
表示一阶微分算子，p表示图像像素，e表示指数底数，I(p)位图像的像素表示。
8.根据权利要求5所述的一种巡检机器人视觉里程计方法，其特征在于，所述收敛损失Lc的表达式为：
式中：φ(p)为图像的特征表示，
表示二阶微分算子，p表示图像像素。
9.根据权利要求1所述的一种巡检机器人视觉里程计方法，其特征在于，步骤S5中，采用N-best选取策略筛选优质匹配特征点对。
10.根据权利要求1所述的一种巡检机器人视觉里程计方法，其特征在于，步骤S7中，设定尺度对齐因子St进行帧间匹配尺度对齐，其表达式为：
式中：N表示特征点数量，
表示第t帧第i处像素的预测深度，
表示第t帧第i处像素的计算深度，M表示图像帧的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210482290.2A CN115100237A (zh) | 2022-05-05 | 2022-05-05 | 一种巡检机器人视觉里程计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210482290.2A CN115100237A (zh) | 2022-05-05 | 2022-05-05 | 一种巡检机器人视觉里程计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100237A true CN115100237A (zh) | 2022-09-23 |
Family
ID=83287366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210482290.2A Pending CN115100237A (zh) | 2022-05-05 | 2022-05-05 | 一种巡检机器人视觉里程计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100237A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392228A (zh) * | 2023-12-12 | 2024-01-12 | 华润数字科技有限公司 | 视觉里程计算方法、装置、电子设备及存储介质 |
-
2022
- 2022-05-05 CN CN202210482290.2A patent/CN115100237A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392228A (zh) * | 2023-12-12 | 2024-01-12 | 华润数字科技有限公司 | 视觉里程计算方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490919B (zh) | 一种基于深度神经网络的单目视觉的深度估计方法 | |
| CN110782490B (zh) | 一种具有时空一致性的视频深度图估计方法及装置 | |
| CN111325794A (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
| CN104794728B (zh) | 由多幅图像重构人脸实时三维数据的方法 | |
| CN107909150B (zh) | 基于逐块随机梯度下降法在线训练cnn的方法与系统 | |
| CN110264526B (zh) | 一种基于深度学习的场景深度和摄像机位置姿势求解方法 | |
| CN115187638B (zh) | 一种基于光流遮罩的无监督单目深度估计方法 | |
| CN109272493A (zh) | 一种基于递归卷积神经网络的单目视觉里程计方法 | |
| CN113762358B (zh) | 一种基于相对深度训练的半监督学习三维重建方法 | |
| CN112767467B (zh) | 一种基于自监督深度学习的双图深度估计方法 | |
| CN111354030B (zh) | 嵌入SENet单元的无监督单目图像深度图生成方法 | |
| CN111914618B (zh) | 基于对抗式相对深度约束网络的三维人体姿态估计方法 | |
| CN113610912B (zh) | 三维场景重建中低分辨率图像单目深度估计系统及方法 | |
| CN110517309A (zh) | 一种基于卷积神经网络的单目深度信息获取方法 | |
| CN108171249A (zh) | 一种基于rgbd数据的局部描述子学习方法 | |
| CN112767486A (zh) | 基于深度卷积神经网络的单目6d姿态估计方法及装置 | |
| CN112509106A (zh) | 文档图片展平方法、装置以及设备 | |
| CN110349209A (zh) | 基于双目视觉的振捣棒定位方法 | |
| CN114526728A (zh) | 一种基于自监督深度学习的单目视觉惯导定位方法 | |
| CN115100237A (zh) | 一种巡检机器人视觉里程计方法 | |
| Basak et al. | Monocular depth estimation using encoder-decoder architecture and transfer learning from single RGB image | |
| CN112116646B (zh) | 一种基于深度卷积神经网络的光场图像深度估计方法 | |
| CN117788544A (zh) | 一种基于轻量级注意力机制的图像深度估计方法 | |
| CN116152442B (zh) | 一种三维点云模型生成方法及装置 | |
| CN112561979A (zh) | 一种基于深度学习的自监督单目深度估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |