CN110490928A - 一种基于深度神经网络的相机姿态估计方法 - Google Patents
一种基于深度神经网络的相机姿态估计方法 Download PDFInfo
- Publication number
- CN110490928A CN110490928A CN201910603891.2A CN201910603891A CN110490928A CN 110490928 A CN110490928 A CN 110490928A CN 201910603891 A CN201910603891 A CN 201910603891A CN 110490928 A CN110490928 A CN 110490928A
- Authority
- CN
- China
- Prior art keywords
- network
- pose
- sub
- light stream
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度神经网络的相机姿态估计方法,步骤如下:1)构建相机姿态估计网络;2)构建无监督训练方案,利用估计的深度图、帧间相对位姿及光流从输入的前后帧图像中分别重建出相应的图像,利用输入图像和重建图像之间的光度误差构建网络的损失函数;3)位姿估计模块与光流估计模块共享特征提取部分,加强特征对于帧间的几何联系;4)输入待训练单视点视频,输出对应帧间相对位姿,通过最优化手段降低损失函数来训练模型,以至网络达到收敛。本发明所提出的模型通过输入单视点视频序列输出对应序列的相机位姿,训练过程以一种端到端无监督的方式进行,通过光流与位姿联合训练,提高位姿估计性能。
Description
技术领域
本发明属于计算机视觉领域,涉及相机姿态估计方法,尤其是一种基于深度神经网络的相机姿态估计方法。
背景技术
相机姿态估计,作为即时定位与建图(SLAM)技术中最重要的部分,在过去的几十年引起了计算机视觉领域以及机器人社区的广泛关注。目前已被广泛地应用于各种机器人的GPS全球定位系统、惯性导航系统(INS)等各个方面。
传统的姿态估计算法诸如ORB-SLAM、VINS-mono等虽然能达到相当高的精度,然而这些算法对于经常无法应对场景的变化,对于纹理较为稀疏的图像处理效果也会大打折扣。卷积神经网络(CNN)已经在目标检测、跟踪等传统计算机视觉任务中获得了较好的效果,利用CNN从输入图像序列中提取特征并回归位姿已经成为近年来的热门。利用CNN来进行相机位姿估计主要有2类:有监督位姿估计与无监督位姿估计。相比于需要位姿标签进行训练的有监督方法,基于无监督估计的位姿方法可以最大程度的利用训练数据。
基于深度学习的位姿估计方法十分依赖于提取的特征,特征表示的性质决定了位姿估计的效果,利用与图像表面信息相关的特征训练的位姿网络往往在陌生场景中表现的较差。所以相机位姿估计任务是一项十分依赖于几何特征的任务。
发明内容
本发明基于深度神经网络的相机姿态估计方法,采用无监督训练方式,通过引入光流和位姿联合训练策略,使得提取的特征具备场景几何特征并且提高位姿估计的精度。
本发明为解决其技术问题采用如下技术方案:
所述的相机姿态估计网络,包含有三个子网络,深度估计子网络、光流估计子网络、位姿估计子网络。
其中深度估计子网络采用层叠卷积神经网络、光流估计子网络采用反卷积网络结构,位姿估计子网络采用全连接层组合。
输入单视点视频的连续两帧视图It-1,It,深度估计子网络输出t时刻的深度图Dt,光流子网络输出帧间光流ft-1→t,位姿子网络输出帧间相对位姿Tt→t-1。
利用空间投影关系得到t帧坐标在t-1帧坐标上的投影p′t-1:
p′t-1=KTt→t-1Dt(pt)K-1pt
其中p′t-1为投影在It-1上的坐标,K为相机内参,Tt→t-1为估计的相机位姿,pt为It上的坐标,Dt(pt)为在pt的深度。
通过光流坐标几何关系得到t-1帧坐标在t帧坐标上的投影p′t:
p′t=ft-1→t(pt-1)+pt-1
其中p′t为投影在It上的坐标,ft-1→t(pt-1)为在pt-1处的光流,pt-1为It-1上的坐标。
得到相应的投影坐标p′t-1和p′t后,利用双线性插值分别从t-1帧It-1,t帧It中合成I′t及I′t-1。通过构建原图像和重建图像之间的光度误差来构建基础监督损失:
L=∑s|I′t-It|+|I′t-1-It-1l
其中L为损失函数,It和It-1为输入的原图,I′t和I′t-1为重建的视图,s为不同分辨率下的图像。
利用光流提取输入两帧之间几何关联的特性,对位姿子网络与光流子网络做一个联合训练即用同一个特征抓取网络给两个子网络输送特征。利用光流估计做一个辅助过程,抓取带有几何信息的特征来对位姿估计任务做一个加强。
输入一定分辨率下的单目视频序列,输出其对应两帧之间的相对位姿。同时利用最优化的手段对损失函数进行降低,直至降低至模型收敛,得到最优化的模型参数。
本发明的优点和有益效果如下:
1、本发明提出的一种深度神经网络的相机姿态估计方法。本发明基于无监督深度学习,训练过程中不需要已知的位姿标签,可以最大幅度利用训练数据。
2、本发明网络结构包含3个子网络,3个子网络利用几何约束同时以端到端的方式进行训练而不需要后处理。
3、本发明通过利用位姿估计与光流估计进行联合训练,能够有效的提取到几何信息,提高了位姿估计的性能。
4、本发明的位姿估计模型能够在测试阶段以绝对尺度恢复出视频序列的位姿,能够应用在现实世界中。
附图说明
图1为本发明相机姿态估计方法的网络结构图;
图2为位姿估计全局轨迹图。
具体实施方式
下面结合附图并通过具体实施例对本发明作进一步详述,以下实施例只是描述性的,不是限定性的,不能以此限定本发明的保护范围。
本发明基于深度神经网络的相机姿态估计方法,采用无监督训练方式,通过引入光流和位姿联合训练策略,使得提取的特征具备场景几何特征并且提高位姿估计的精度。
具体步骤如下:
1)构建相机姿态估计网络,如图1所示,模型基于层叠卷积神经网络结构设计,包含卷积层,反卷积层及全连接层等;
本发明位姿估计网络主要由3个子网络组成,包含深度估计子网络、光流估计子网络、位姿估计子网络。
其中深度估计子网络采用DispNet作为主体部分,其中前端编码网络部分采用层叠卷积网络,两层相同的卷积层组成一个卷积块,编码部分一共有4组卷积块,其中卷积核大小均为3*3;后端解码网络部分采用上采样卷积层与卷积层层叠组成,上采样卷积将低分辨率的特征图放大到原先的两倍大小进行卷积操作,解码网络部分的卷积核大小也为3*3。深度子网络的激活函数均为Relu(线性修正单元)。
位姿子网络由特征提取子网络与全连接网络组成,特征提取子网络为5层卷积层组成,对输入的RGB进行特征提取,同时为位姿子网络提供特征去估计帧间相对位姿。位姿估计器将提取的特征图进行展平后输入至两组层叠全连接网络中,两组全连接网络分别输出位姿的旋转量(rotation)与平移量(translation),其中全连接层的输出分别为512、512、3。
光流子网络采用解码器结构,网络主要由反卷积层与卷积层层叠组成,卷积核均为3*3,激活函数为与深度子网络一致,也是采用Relu激活函数。
构建无监督训练方案,输入单视点视频连续两帧,神经网络输出对应前一帧深度图、帧间相对位姿、光流。利用估计的深度图、帧间相对位姿及光流从输入的前后帧图像中分别重建出相应的图像。利用输入图像和重建图像之间的光度误差构建网络的监督损失函数;
输入一定分辨率下的单视点视频的连续两帧视图It-1,It,深度估计子网络输出t时刻的深度图Dt,光流子网络输出帧间光流ft-1→t,位姿子网络输出帧间相对位姿Tt→t-1。由于本发明以端到端无监督的方式训练整个位姿估计网络框架,故需要构建监督信号分别对3个子网络进行监督。
给定估计的深度图Dt与帧间相对位姿Tt→t-1,利用相机坐标系与世界坐标系及前后图像之间的投影关系,可以得到t帧坐标在t-1帧坐标上的投影p′t-1,具体公式如下:
p′t-1=KTt→t-1Dt(pt)K-1pt
其中p′t-1为投影在It-1上的坐标,K为相机内参,Tt→t-1为估计的相机位姿,pt为It上的坐标,Dt(pt)为在pt的深度。得到投影坐标p′t-1,利用双线性插值可以由输入图像It-1中重建出I′t。通过对输入的It与重建的I′t之间的光度误差作为损失函数来监督位姿子网络与深度子网络。
其中L1为损失函数,It为输入的原图,I′t为重建的视图,s为不同分辨率下的图像。
对于光流子网络,从输入帧中估计出ft-1→t,利用光流与前后帧坐标之间的关系,可以计算得到t-1帧坐标在t帧坐标上的投影p′t:
p′t=ft-1→t(pt-1)+pt-1
其中p′t为投影在It上的坐标,ft-1→t(pt-1)为在pt-1处的光流,pt-1为It-1上的坐标。
与上述重建步骤相似,利用p′t与It,可以重建出I′t-1。通过对输入的It-1与重建的I′t-1之间的光度误差作为损失函数来监督光流子网络。
其中L2为损失函数,It-1为输入的原图,I′t-1为重建的视图,s为不同分辨率下的图像。
综上,位姿网络由L1与L2来监督3个子网络,并且在训练过程中不需要位姿的标签。
3)位姿估计模块与光流估计模块共享特征提取部分,加强特征对于帧间的几何联系;
由图1所示,位姿子网络与光流子网络共享特征提取子网络,特征提取网络在训练过程中能够提取兼容于两个任务的特征。对于相机位姿估计,提取的特征应该是与场景几何相关联的,因为它需要部署到未知场景中。通过光流训练,特征提取网络从连续两帧之间找到对应的几何关联性,同时位姿估计子网络能够利用带有几何信息的特征来提取出更加鲁棒的位姿。
4)输入待训练单视点视频,输出对应帧间相对位姿,按照上述步骤构建损失函数,通过最优化手段降低损失函数来训练模型,以至网络达到收敛。
本发明采用的单视点视频为KITTI,KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办,是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像(stereo),光流(optical flow),视觉测距(visualodometry),3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。本发明采用KITTI的视觉里程计(visual odometry)数据划分,该数据划分提供了11个带有位姿标签的视频序列,本发明利用00-08序列作为训练序列,09-10作为测试评估的序列。KITTI图片的原始分辨率为1242x375,首先对输入图片进行数据增强操作,防止过拟合,具体包含轻度的仿射变形、随机水平旋转、随机尺度抖动、随机对比度、亮度、饱和度和锐度等。为了减小数据的计算量,将图像缩小至416x128输入至网络中。
本发明采用tensorflow深度学习框架进行实验,具体的参数如下图所示:
参数名 | 参数值 |
优化器(optimizer) | Adamβ<sub>1</sub>=晦.9,β<sub>2</sub>=晦.99. |
学习率(learningrate) | 0.0001 |
批处理大小(batch-size) | 6 |
训练轮数(epoch) | 30 |
输入图像分辨率 | 128x416 |
图2为位姿估计全局轨迹图
模型训练至收敛后在利用KITTI Odometry评估指标进行评估,本发明主要在序列9上进行评估,评估轨迹图如图2所示。其中Ground Truth表示官方提供的位姿基准标签,ORB-SLAM为传统SLAM方法,Ours为本发明结果。由轨迹图所示,本发明提出的方法相比较于传统方法,更接近于基准标签。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (6)
1.一种基于深度神经网络的相机姿态估计方法,其特征在于:以无监督深度学习方式构建相机姿态估计整体网络框架,通过在网络内联合训练光流估计网络与姿态估计网络,提取带有场景几何信息的特征,估计出更加鲁棒的相机姿态。
2.根据权利要求1所述的基于深度神经网络的相机姿态估计方法,其特征在于:包括如下步骤:
1)构建相机姿态估计网络;
2)构建无监督训练方案;
3)位姿估计模块与光流估计模块共享特征提取部分,加强特征对于帧间的几何联系;
4)输入待训练单视点视频,输出对应帧间相对位姿,按照上述步骤构建损失函数,通过最优化手段降低损失函数来训练模型,以至网络达到收敛。
3.根据权利要求2所述的基于深度神经网络的相机姿态估计方法,其特征在于:步骤1)所述的相机姿态估计网络包括三个子网络,分别为深度估计子网络、光流估计子网络、位姿估计子网络。
4.根据权利要求3所述的基于深度神经网络的相机姿态估计方法,其特征在于:深度估计子网络采用层叠卷积神经网络、光流估计子网络采用反卷积网络结构,位姿估计子网络采用全连接层组合。
5.根据权利要求2所述的基于深度神经网络的相机姿态估计方法,其特征在于:步骤2)构建无监督训练方案具体为:输入单视点视频的连续两帧视图It-1,It,深度估计子网络输出t时刻的深度图Dt,光流子网络输出帧间光流ft-1→t,位姿子网络输出帧间相对位姿Tt→t-1,利用空间投影关系得到t帧坐标在t-1帧坐标上的投影p′t-1:
p′t-1=KTt→t-1Dt(pt)K-1pt
其中p′t-1为投影在It-1上的坐标,K为相机内参,Tt→t-1为估计的相机位姿,pt为It上的坐标,Dt(pt)为在pt的深度;
通过光流坐标几何关系得到t-1帧坐标在t帧坐标上的投影p′t:
p′t=ft-1→t(pt-1)+pt-1
其中p′t为投影在It上的坐标,ft-1→t(pt-1)为在pt-1处的光流,pt-1为It-1上的坐标;
得到相应的投影坐标p′t-1和p′t后,利用双线性插值分别从t-1帧It-1,t帧It中合成I′t及I′t-1,通过构建原图像和重建图像之间的光度误差来构建基础监督损失:
其中L为损失函数,It和It-1为输入的原图,I′t和I′t-1为重建的视图,s为不同分辨率下的图像。
6.根据权利要求2所述的基于深度神经网络的相机姿态估计方法,其特征在于:步骤3)具体为:利用光流提取输入两帧之间几何关联的特性,对位姿子网络与光流子网络做一个联合训练,用同一个特征抓取网络给两个子网络输送特征,利用光流估计做一个辅助过程,抓取带有几何信息的特征来对位姿估计任务做一个加强。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910603891.2A CN110490928B (zh) | 2019-07-05 | 2019-07-05 | 一种基于深度神经网络的相机姿态估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910603891.2A CN110490928B (zh) | 2019-07-05 | 2019-07-05 | 一种基于深度神经网络的相机姿态估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110490928A true CN110490928A (zh) | 2019-11-22 |
CN110490928B CN110490928B (zh) | 2023-08-15 |
Family
ID=68546110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910603891.2A Active CN110490928B (zh) | 2019-07-05 | 2019-07-05 | 一种基于深度神经网络的相机姿态估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110490928B (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080699A (zh) * | 2019-12-11 | 2020-04-28 | 中国科学院自动化研究所 | 基于深度学习的单目视觉里程计方法及系统 |
CN111105432A (zh) * | 2019-12-24 | 2020-05-05 | 中国科学技术大学 | 基于深度学习的无监督端到端的驾驶环境感知方法 |
CN111127557A (zh) * | 2019-12-13 | 2020-05-08 | 中国电子科技集团公司第二十研究所 | 一种基于深度学习的视觉slam前端位姿估计方法 |
CN111127522A (zh) * | 2019-12-30 | 2020-05-08 | 亮风台(上海)信息科技有限公司 | 基于单目相机的深度光流预测方法、装置、设备及介质 |
CN111179628A (zh) * | 2020-01-09 | 2020-05-19 | 北京三快在线科技有限公司 | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 |
CN111260680A (zh) * | 2020-01-13 | 2020-06-09 | 杭州电子科技大学 | 一种基于rgbd相机的无监督位姿估计网络构建方法 |
CN111325797A (zh) * | 2020-03-03 | 2020-06-23 | 华东理工大学 | 一种基于自监督学习的位姿估计方法 |
CN111340867A (zh) * | 2020-02-26 | 2020-06-26 | 清华大学 | 图像帧的深度估计方法、装置、电子设备及存储介质 |
CN111353509A (zh) * | 2020-03-31 | 2020-06-30 | 广西大学 | 一种视觉slam系统的关键点提取器生成方法 |
CN111402246A (zh) * | 2020-03-20 | 2020-07-10 | 北京工业大学 | 一种基于联合网络的眼底图像分类方法 |
CN111539988A (zh) * | 2020-04-15 | 2020-08-14 | 京东方科技集团股份有限公司 | 一种视觉里程计实现方法、装置和电子设备 |
CN111583340A (zh) * | 2020-04-28 | 2020-08-25 | 西安交通大学 | 基于卷积神经网络降低单目相机位姿估计误差率的方法 |
CN111739078A (zh) * | 2020-06-15 | 2020-10-02 | 大连理工大学 | 一种基于上下文注意力机制的单目无监督深度估计方法 |
CN112270691A (zh) * | 2020-10-15 | 2021-01-26 | 电子科技大学 | 一种基于动态滤波器网络的单目视频结构和运动预测方法 |
CN112308918A (zh) * | 2020-10-26 | 2021-02-02 | 杭州电子科技大学 | 一种基于位姿解耦估计的无监督单目视觉里程计方法 |
CN112396657A (zh) * | 2020-11-25 | 2021-02-23 | 河北工程大学 | 一种基于神经网络的深度位姿估计方法、装置及终端设备 |
CN112529944A (zh) * | 2020-12-05 | 2021-03-19 | 东南大学 | 一种基于事件相机的端到端无监督光流估计方法 |
CN112613609A (zh) * | 2020-12-18 | 2021-04-06 | 中山大学 | 基于联合位姿优化的神经辐射场增强方法 |
CN112907620A (zh) * | 2021-01-25 | 2021-06-04 | 北京地平线机器人技术研发有限公司 | 相机位姿的估计方法、装置、可读存储介质及电子设备 |
CN113129370A (zh) * | 2021-03-04 | 2021-07-16 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
CN113139910A (zh) * | 2020-01-20 | 2021-07-20 | 复旦大学 | 一种视频补全方法 |
CN113160294A (zh) * | 2021-03-31 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 图像场景深度的估计方法、装置、终端设备和存储介质 |
CN113313742A (zh) * | 2021-05-06 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像深度估计方法、装置、电子设备及计算机存储介质 |
CN113450410A (zh) * | 2021-06-29 | 2021-09-28 | 浙江大学 | 一种基于对极几何的单目深度和位姿联合估计方法 |
CN114066987A (zh) * | 2022-01-12 | 2022-02-18 | 深圳佑驾创新科技有限公司 | 一种相机位姿估计方法、装置、设备及存储介质 |
CN114170286A (zh) * | 2021-11-04 | 2022-03-11 | 西安理工大学 | 一种基于无监督深度学习的单目深度估计方法 |
CN114663509A (zh) * | 2022-03-23 | 2022-06-24 | 北京科技大学 | 一种关键点热力图引导的自监督单目视觉里程计方法 |
CN114663496A (zh) * | 2022-03-23 | 2022-06-24 | 北京科技大学 | 一种基于卡尔曼位姿估计网络的单目视觉里程计方法 |
CN115174817A (zh) * | 2022-09-05 | 2022-10-11 | 深圳深知未来智能有限公司 | 一种基于深度学习的混合防抖方法及系统 |
CN116310408A (zh) * | 2022-11-29 | 2023-06-23 | 北京大学 | 一种建立事件相机与帧相机数据关联的方法及装置 |
CN117197229A (zh) * | 2023-09-22 | 2023-12-08 | 北京科技大学顺德创新学院 | 一种基于亮度对齐的多阶段估计单目视觉里程计方法 |
WO2024051184A1 (zh) * | 2022-09-07 | 2024-03-14 | 南京逸智网络空间技术创新研究院有限公司 | 一种基于光流遮罩的无监督单目深度估计方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015154601A1 (zh) * | 2014-04-08 | 2015-10-15 | 中山大学 | 一种基于无特征提取的紧致sfm三维重建方法 |
CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
CN108491763A (zh) * | 2018-03-01 | 2018-09-04 | 北京市商汤科技开发有限公司 | 三维场景识别网络的无监督训练方法、装置及存储介质 |
-
2019
- 2019-07-05 CN CN201910603891.2A patent/CN110490928B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015154601A1 (zh) * | 2014-04-08 | 2015-10-15 | 中山大学 | 一种基于无特征提取的紧致sfm三维重建方法 |
CN108491763A (zh) * | 2018-03-01 | 2018-09-04 | 北京市商汤科技开发有限公司 | 三维场景识别网络的无监督训练方法、装置及存储介质 |
CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
Non-Patent Citations (1)
Title |
---|
YULIANG ZOU ET AL.: "DF-Net: Unsupervised Joint Learning of Depth and Flow using Cross-Task Consistency"", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION》 * |
Cited By (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080699B (zh) * | 2019-12-11 | 2023-10-20 | 中国科学院自动化研究所 | 基于深度学习的单目视觉里程计方法及系统 |
CN111080699A (zh) * | 2019-12-11 | 2020-04-28 | 中国科学院自动化研究所 | 基于深度学习的单目视觉里程计方法及系统 |
CN111127557A (zh) * | 2019-12-13 | 2020-05-08 | 中国电子科技集团公司第二十研究所 | 一种基于深度学习的视觉slam前端位姿估计方法 |
CN111105432B (zh) * | 2019-12-24 | 2023-04-07 | 中国科学技术大学 | 基于深度学习的无监督端到端的驾驶环境感知方法 |
CN111105432A (zh) * | 2019-12-24 | 2020-05-05 | 中国科学技术大学 | 基于深度学习的无监督端到端的驾驶环境感知方法 |
CN111127522A (zh) * | 2019-12-30 | 2020-05-08 | 亮风台(上海)信息科技有限公司 | 基于单目相机的深度光流预测方法、装置、设备及介质 |
CN111127522B (zh) * | 2019-12-30 | 2024-02-06 | 亮风台(上海)信息科技有限公司 | 基于单目相机的深度光流预测方法、装置、设备及介质 |
CN111179628A (zh) * | 2020-01-09 | 2020-05-19 | 北京三快在线科技有限公司 | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 |
CN111179628B (zh) * | 2020-01-09 | 2021-09-28 | 北京三快在线科技有限公司 | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 |
CN111260680A (zh) * | 2020-01-13 | 2020-06-09 | 杭州电子科技大学 | 一种基于rgbd相机的无监督位姿估计网络构建方法 |
CN111260680B (zh) * | 2020-01-13 | 2023-01-03 | 杭州电子科技大学 | 一种基于rgbd相机的无监督位姿估计网络构建方法 |
CN113139910B (zh) * | 2020-01-20 | 2022-10-18 | 复旦大学 | 一种视频补全方法 |
CN113139910A (zh) * | 2020-01-20 | 2021-07-20 | 复旦大学 | 一种视频补全方法 |
CN111340867A (zh) * | 2020-02-26 | 2020-06-26 | 清华大学 | 图像帧的深度估计方法、装置、电子设备及存储介质 |
CN111340867B (zh) * | 2020-02-26 | 2022-10-18 | 清华大学 | 图像帧的深度估计方法、装置、电子设备及存储介质 |
CN111325797A (zh) * | 2020-03-03 | 2020-06-23 | 华东理工大学 | 一种基于自监督学习的位姿估计方法 |
CN111325797B (zh) * | 2020-03-03 | 2023-07-25 | 华东理工大学 | 一种基于自监督学习的位姿估计方法 |
CN111402246A (zh) * | 2020-03-20 | 2020-07-10 | 北京工业大学 | 一种基于联合网络的眼底图像分类方法 |
CN111353509A (zh) * | 2020-03-31 | 2020-06-30 | 广西大学 | 一种视觉slam系统的关键点提取器生成方法 |
CN111353509B (zh) * | 2020-03-31 | 2022-08-16 | 广西大学 | 一种视觉slam系统的关键点提取器生成方法 |
CN111539988B (zh) * | 2020-04-15 | 2024-04-09 | 京东方科技集团股份有限公司 | 一种视觉里程计实现方法、装置和电子设备 |
CN111539988A (zh) * | 2020-04-15 | 2020-08-14 | 京东方科技集团股份有限公司 | 一种视觉里程计实现方法、装置和电子设备 |
CN111583340B (zh) * | 2020-04-28 | 2023-03-31 | 西安交通大学 | 基于卷积神经网络降低单目相机位姿估计误差率的方法 |
CN111583340A (zh) * | 2020-04-28 | 2020-08-25 | 西安交通大学 | 基于卷积神经网络降低单目相机位姿估计误差率的方法 |
CN111739078A (zh) * | 2020-06-15 | 2020-10-02 | 大连理工大学 | 一种基于上下文注意力机制的单目无监督深度估计方法 |
CN112270691A (zh) * | 2020-10-15 | 2021-01-26 | 电子科技大学 | 一种基于动态滤波器网络的单目视频结构和运动预测方法 |
CN112270691B (zh) * | 2020-10-15 | 2023-04-21 | 电子科技大学 | 一种基于动态滤波器网络的单目视频结构和运动预测方法 |
CN112308918A (zh) * | 2020-10-26 | 2021-02-02 | 杭州电子科技大学 | 一种基于位姿解耦估计的无监督单目视觉里程计方法 |
CN112308918B (zh) * | 2020-10-26 | 2024-03-29 | 杭州电子科技大学 | 一种基于位姿解耦估计的无监督单目视觉里程计方法 |
CN112396657A (zh) * | 2020-11-25 | 2021-02-23 | 河北工程大学 | 一种基于神经网络的深度位姿估计方法、装置及终端设备 |
CN112529944A (zh) * | 2020-12-05 | 2021-03-19 | 东南大学 | 一种基于事件相机的端到端无监督光流估计方法 |
CN112613609B (zh) * | 2020-12-18 | 2022-05-06 | 中山大学 | 基于联合位姿优化的神经辐射场增强方法 |
CN112613609A (zh) * | 2020-12-18 | 2021-04-06 | 中山大学 | 基于联合位姿优化的神经辐射场增强方法 |
CN112907620A (zh) * | 2021-01-25 | 2021-06-04 | 北京地平线机器人技术研发有限公司 | 相机位姿的估计方法、装置、可读存储介质及电子设备 |
CN112907620B (zh) * | 2021-01-25 | 2024-06-28 | 北京地平线机器人技术研发有限公司 | 相机位姿的估计方法、装置、可读存储介质及电子设备 |
CN113129370A (zh) * | 2021-03-04 | 2021-07-16 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
CN113129370B (zh) * | 2021-03-04 | 2022-08-19 | 同济大学 | 结合生成数据和无标注数据的半监督物体位姿估计方法 |
CN113160294A (zh) * | 2021-03-31 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 图像场景深度的估计方法、装置、终端设备和存储介质 |
CN113313742A (zh) * | 2021-05-06 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像深度估计方法、装置、电子设备及计算机存储介质 |
CN113450410A (zh) * | 2021-06-29 | 2021-09-28 | 浙江大学 | 一种基于对极几何的单目深度和位姿联合估计方法 |
CN113450410B (zh) * | 2021-06-29 | 2022-07-26 | 浙江大学 | 一种基于对极几何的单目深度和位姿联合估计方法 |
CN114170286A (zh) * | 2021-11-04 | 2022-03-11 | 西安理工大学 | 一种基于无监督深度学习的单目深度估计方法 |
CN114170286B (zh) * | 2021-11-04 | 2023-04-28 | 西安理工大学 | 一种基于无监督深度学习的单目深度估计方法 |
CN114066987A (zh) * | 2022-01-12 | 2022-02-18 | 深圳佑驾创新科技有限公司 | 一种相机位姿估计方法、装置、设备及存储介质 |
CN114663496B (zh) * | 2022-03-23 | 2022-10-18 | 北京科技大学 | 一种基于卡尔曼位姿估计网络的单目视觉里程计方法 |
CN114663509A (zh) * | 2022-03-23 | 2022-06-24 | 北京科技大学 | 一种关键点热力图引导的自监督单目视觉里程计方法 |
CN114663496A (zh) * | 2022-03-23 | 2022-06-24 | 北京科技大学 | 一种基于卡尔曼位姿估计网络的单目视觉里程计方法 |
CN115174817A (zh) * | 2022-09-05 | 2022-10-11 | 深圳深知未来智能有限公司 | 一种基于深度学习的混合防抖方法及系统 |
WO2024051184A1 (zh) * | 2022-09-07 | 2024-03-14 | 南京逸智网络空间技术创新研究院有限公司 | 一种基于光流遮罩的无监督单目深度估计方法 |
CN116310408B (zh) * | 2022-11-29 | 2023-10-13 | 北京大学 | 一种建立事件相机与帧相机数据关联的方法及装置 |
CN116310408A (zh) * | 2022-11-29 | 2023-06-23 | 北京大学 | 一种建立事件相机与帧相机数据关联的方法及装置 |
CN117197229A (zh) * | 2023-09-22 | 2023-12-08 | 北京科技大学顺德创新学院 | 一种基于亮度对齐的多阶段估计单目视觉里程计方法 |
CN117197229B (zh) * | 2023-09-22 | 2024-04-19 | 北京科技大学顺德创新学院 | 一种基于亮度对齐的多阶段估计单目视觉里程计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110490928B (zh) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110490928A (zh) | 一种基于深度神经网络的相机姿态估计方法 | |
CN114782691B (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
CN109191491B (zh) | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 | |
CN110490919B (zh) | 一种基于深度神经网络的单目视觉的深度估计方法 | |
US10553026B2 (en) | Dense visual SLAM with probabilistic surfel map | |
CN111311666B (zh) | 一种融合边缘特征和深度学习的单目视觉里程计方法 | |
CN106846359B (zh) | 基于视频序列的运动目标快速检测方法 | |
CN109671120A (zh) | 一种基于轮式编码器的单目slam初始化方法及系统 | |
CN111626159B (zh) | 一种基于注意力残差模块和支路融合的人体关键点检测方法 | |
CN106780592A (zh) | 基于相机运动和图像明暗的Kinect深度重建算法 | |
CN102075686B (zh) | 一种鲁棒的实时在线摄像机跟踪方法 | |
Tang et al. | Single image dehazing via lightweight multi-scale networks | |
Zheng et al. | Deep learning for event-based vision: A comprehensive survey and benchmarks | |
CN114663496B (zh) | 一种基于卡尔曼位姿估计网络的单目视觉里程计方法 | |
CN113450410B (zh) | 一种基于对极几何的单目深度和位姿联合估计方法 | |
CN112233179B (zh) | 一种视觉里程计测量方法 | |
CN103413352A (zh) | 基于rgbd多传感器融合的场景三维重建方法 | |
CN112308918B (zh) | 一种基于位姿解耦估计的无监督单目视觉里程计方法 | |
CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和系统 | |
CN111105451B (zh) | 一种克服遮挡效应的驾驶场景双目深度估计方法 | |
CN113538667A (zh) | 动态场景光场重建方法及装置 | |
CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
CN103839280B (zh) | 一种基于视觉信息的人体姿态跟踪方法 | |
Min et al. | Coeb-slam: A robust vslam in dynamic environments combined object detection, epipolar geometry constraint, and blur filtering | |
Al Ismaeil et al. | Real-time enhancement of dynamic depth videos with non-rigid deformations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |