CN113902847B - 基于三维特征约束的单目深度图像位姿优化方法 - Google Patents

基于三维特征约束的单目深度图像位姿优化方法 Download PDF

Info

Publication number
CN113902847B
CN113902847B CN202111182817.1A CN202111182817A CN113902847B CN 113902847 B CN113902847 B CN 113902847B CN 202111182817 A CN202111182817 A CN 202111182817A CN 113902847 B CN113902847 B CN 113902847B
Authority
CN
China
Prior art keywords
frame
camera
pose
dimensional
monocular depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111182817.1A
Other languages
English (en)
Other versions
CN113902847A (zh
Inventor
李锐剑
谭钧耀
吕文涛
赵希亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiwu Intelligent Technology Shanghai Co ltd
Original Assignee
Daiwu Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiwu Intelligent Technology Shanghai Co ltd filed Critical Daiwu Intelligent Technology Shanghai Co ltd
Priority to CN202111182817.1A priority Critical patent/CN113902847B/zh
Publication of CN113902847A publication Critical patent/CN113902847A/zh
Application granted granted Critical
Publication of CN113902847B publication Critical patent/CN113902847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及三维稠密重建技术领域,具体涉及一种基于三维特征约束的单目深度图像位姿优化方法,包括:S100、提取所述多帧单目深度图像的特征点,生成特征点地图,所有特征点均不相同,且每一特征点被所述单目深度相机至少观测到一次;S200、对每一特征点在所述特征点地图中的世界坐标,以及所述多帧单目深度图像中的每一帧的相机位姿进行优化;S300、根据所述第一欧式距离、所述第二欧式距离和所述帧fi的新位姿生成误差函数,并求解非线性最小二乘问题,得到优化后的相机位姿。

Description

基于三维特征约束的单目深度图像位姿优化方法
技术领域
本发明涉及三维稠密重建技术领域,具体涉及一种基于三维特征约束的单目深度图像位姿优化方法。
背景技术
在三维稠密重建领域,常用的输入设备为单目深度相机,使用单目深度相机进行三维建模时,一般首先对重建过程分段,然后配准固定数量的连续帧,组成一段,再扩展段的首尾,以段为整体进行段与段之间的匹配、验证和优化。采用基于彩色点云配准的方法,该方法使用稠密的光度误差作为优化项,这就导致帧间位姿估计趋向于得到每对内点颜色误差平均的结果,而不关注两帧图像间稀疏特征点的匹配,使得配准后的点云出现细节模糊的情况。
此外,传统方法大多只考虑局部特征匹配,当同一特征点在不同的时间段被多次观察,将作为不同的独立特征,产生多个优化变量,而事实上他们都对应同一个特征点。在优化时,这些优化变量基于局部的观测值被分别优化,变量之间没有建立联系,无法分享信息,只能得到局部最优解。当进行全局重建,被反复观测的特征时常出现错位重影。
最后,单纯基于视觉特征点的全局集束调整算法在面对白墙、天花板等场景时难以提取有效特征,对应的位姿在优化过程中被丢弃,导致重建结果的缺失。
因此,有必要提供一种优化方法,消除建模结果细节上的错位、重影,实现鲁棒的、完整的全局三维建模。
发明内容
解决的技术问题
针对现有技术所存在的上述缺点,本发明提供了一种基于三维特征约束的单目深度图像位姿优化方法,消除建模结果细节上的错位、重影,实现鲁棒的、完整的全局三维建模。
技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
本发明提供了一种基于三维特征约束的单目深度图像位姿优化方法,用于对多帧单目深度图像进行优化,并且所述多帧单目深度图像通过单目深度相机采集,并基于三维点云配准生成,其特征在于,包括:
S100、提取所述多帧单目深度图像的特征点,生成特征点地图,所有特征点均不相同,且每一特征点被所述单目深度相机至少观测到一次;
S200、对每一特征点在所述特征点地图中的世界坐标,以及所述多帧单目深度图像中的每一帧的相机位姿进行优化,具体为:
S201、选取被所述单目深度相机观测次数大于等于两次的特征点,最小化其世界坐标到所有观测值之间的欧式距离,得到第一欧式距离;
S202、对所述特征点地图中的每一个特征点,最小化其世界坐标到所述三维点云的欧氏距离,得到第二欧式距离;
S203、统计所述多帧单目深度图像中的每一帧中包含的被所述单目深度相机观测次数大于等于两次的特征点的数量q,选取q<15的帧fi,通过约束所述帧fi与其前后相邻的两帧的相对位姿,使得所述帧fi的位姿接近所述单目深度相机的初始位姿,得到所述帧fi的新位姿;
S300、根据所述第一欧式距离、所述第二欧式距离和所述帧fi的新位姿生成误差函数,并求解非线性最小二乘问题,得到优化后的相机位姿。
进一步地,步骤S100具体为:
S101、对所述多帧单目深度图像中的每一帧提取1000个ORB特征,根据每一个二维特征点对应单目深度图像中的深度值,通过所述单目深度相机的内参得到三维特征点;
S102、若存在非零深度值,将对应的三维特征点标记为有效特征点,否则标记为失效特征点;
S103、根据时间顺序,利用ORB特征匹配算法将第i帧数据中的有效特征点与第1,2,…,i-1帧中的有效特征点进行匹配;
S104、所述单目深度相机对所有有效特征点进行观测,并建立所述特征点地图,当一个有效特征点被首次观测,则将其加入所述特征点地图,当一个有效特征点被多次观察,则仅修改所述特征点地图中对应的该有效特征点的被观测次数属性。
进一步地,步骤S201采用的最小化公式为:
其中,表示当特征点Pk在第i帧被观测到时,其在第i帧相机系下的三维坐标,表示特征点Pk在世界系下的三维坐标,Ti(·)表示从第i帧相机系到世界系的变换,ρ(·)表示胡伯损失,Ti表示第i帧单目深度图像的相机位姿。
进一步地,步骤S202采用的最小化公式为:
其中,为第i帧单目深度图像的相机位姿初值,cloud(p)表示返回所述三维点云中离p最近的点。
进一步地,通过位姿图优化误差项计算所述帧fi与其前后相邻的两帧之间的误差,所述位姿图优化误差项表示为:
其中,e6×1是一个六维误差向量,前三维表示平移误差,后三维表示旋转误差,与/>分别表示第i帧与第j帧在世界系的坐标,/>表示世界系到第i帧相机系的旋转矩阵,表示第j帧在第i帧相机系的坐标,/>表示第j帧到第i帧的旋转四元数,/>表示第j帧相机系到世界系的旋转四元数,[·]xyz表示取四元数的虚数部分,第i帧表示所述帧fi,第j帧表示所述帧fi前后相邻的两帧。
基于同一发明构想,本发明还提供了一种室内三维建模方法,使用上述任一项所述的基于三维特征约束的单目深度图像位姿优化方法得到优化后的相机位姿,并通过所述优化后的相机位姿进行室内三维建模。
进一步地,所述通过所述优化后的相机位姿进行室内三维建模,具体为:
基于所述优化后的相机位姿,利用TSDF算法得到三维建模结果,所述TSDF算法包括:
将空间划分为等大的三维网格,根据所述优化后的相机位姿和内参,将任意体素x投影到所述优化后的相机位姿中,获取其在所述优化后的相机位姿中的测量距离Ddepth(x),并计算任意体素x到单目深度相机的真实距离Dreal(x);定义tsdfi(x)为对体素x的第i次的观测值,有:
其中,t为截断距离,根据TSDF定义,当Ddepth(x)与Dreal(x)的距离差小于t,tsdfi(x)返回(-1,1)之间的值,否则返回±1;
根据下式:
其中,Wi(x)=Wi-1(x)+wi(x),wi(x)为对体素x的第i次的观测权重;
在每个所述优化后的相机位姿处对体素x的TSDF值进行更新;当所有所述优化后的相机位姿更新结束,得到一个全局数据立方体,每一个体素x中的值代表该体素x到重建表面的距离,其中正负交界的位置就是全局数据立方体表面的位置,提取所有的表面得到三维建模结果。
有益效果
本发明提供的技术方案,与已知的公有技术相比,具有如下有益效果:首先,本发明针对三维建模提出了优化细节和保持结构性的算法,避免了特征优化对模型结构的影响。其次,本发明通过对特征的全局追踪,消除了建模结果细节上的错位、重影,同时对特征追踪失效的帧保持其原有位姿,实现精细、鲁棒、完整的全局三维建模。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于三维特征约束的单目深度图像位姿优化方法步骤示意图;
图2为本发明一实施例提供的基于三维特征约束的单目深度图像位姿优化方法另一步骤示意图;
图3为本发明一实施例提供的基于三维特征约束的单目深度图像位姿优化方法又一步骤示意图;
图4为本发明一实施例提供的室内三维建模方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1和图3,本发明一实施例提供了一种基于三维特征约束的单目深度图像位姿优化方法,包括如下步骤:
S100、提取所述多帧单目深度图像的特征点,生成特征点地图,所有特征点均不相同,且每一特征点被所述单目深度相机至少观测到一次;
S200、对每一特征点在所述特征点地图中的世界坐标,以及所述多帧单目深度图像中的每一帧的相机位姿进行优化,具体为:
S201、选取被所述单目深度相机观测次数大于等于两次的特征点,最小化其世界坐标到所有观测值之间的欧式距离,得到第一欧式距离;
S202、对所述特征点地图中的每一个特征点,最小化其世界坐标到所述三维点云的欧氏距离,得到第二欧式距离;
S203、统计所述多帧单目深度图像中的每一帧中包含的被所述单目深度相机观测次数大于等于两次的特征点的数量q,选取q<15的帧fi,通过约束所述帧fi与其前后相邻的两帧的相对位姿,使得所述帧fi的位姿接近所述单目深度相机的初始位姿,得到所述帧fi的新位姿;
S300、根据所述第一欧式距离、所述第二欧式距离和所述帧fi的新位姿生成误差函数,并求解非线性最小二乘问题,得到优化后的相机位姿。
在本实施例中,如图2所示,对于步骤S100,具体为:
S101、对所述多帧单目深度图像中的每一帧提取1000个ORB特征,根据每一个二维特征点对应单目深度图像中的深度值,通过所述单目深度相机的内参得到三维特征点;
S102、若存在非零深度值,将对应的三维特征点标记为有效特征点,否则标记为失效特征点;
S103、根据时间顺序,利用ORB特征匹配算法将第i帧数据中的有效特征点与第1,2,…,i-1帧中的有效特征点进行匹配;
S104、所述单目深度相机对所有效特征点进行观测,并建立所述特征点地图,当一个有效特征点被首次观测,则将其加入所述特征点地图,当一个有效特征点被多次观察,则仅修改所述特征点地图中对应的该有效特征点的被观测次数属性。
对于上述步骤的解释如下:对于第1帧,将所有的有效特征点加入特征点地图,对于第i帧(i>1),我们根据匹配结果,如果在第j帧(j<i)中有匹配的特征,说明该特征已经存在于特征点地图中,只需在对应的特征点上记录该次观测,对于无法找到匹配的特征点,则作为新的特征点加入特征点地图。
在本实施例中,不同于传统方法仅优化重投影误差,本发明引入了三个误差项,下面将分别进行详细说明。假设单目深度图像有n帧,特征点地图中共有m个特征点,待优化变量为每个特征点的世界坐标和每帧的相机位姿Ti
首先,步骤S201表示三维特征点约束,其采用的最小化公式一般为:
其中,表示当特征点Pk在第i帧被观测到时,其在第i帧相机系下的三维坐标,表示特征点Pk在世界系下的三维坐标,Ti(·)表示从第i帧相机系到世界系的变换,ρ(·)表示胡伯损失,可以降低误差较大的点对优化的干扰,Ti表示第i帧单目深度图像的相机位姿。
其次,步骤S202表示三维结构约束,其采用的最小化公式为:
其中,为第i帧单目深度图像的相机位姿初值,cloud(p)表示返回所述三维点云中离p最近的点。我们期望特征点在不同观测中离得近的同时不偏离三维结构,实现优化细节同时保持建模结果的结构性。
最后,对于步骤S203,统计每一帧能够观测到的特征点地图中观测次数大于等于2的特征点的数量q。对q<15的帧fi,认为fi是缺乏特征的,因此移除所有关于fi的误差项,根据相机位姿初值约束帧fi与fi-1,fi+1的相对位姿。即当某一帧追踪的特征过少,我们约束其位姿使其与前后两帧的相对位姿使其接近于初始值,确保优化结果不会变差,通过位姿图优化误差项计算所述帧fi与其前后相邻的两帧之间的误差,所述位姿图优化误差项表示为,具体的误差项如下:
其中e6×1是一个六维误差向量,前三维表示平移误差,后三维表示旋转误差。分别表示第i帧与第j帧在世界系的坐标,/>表示世界系到第i帧相机系的旋转矩阵,/>表示第j帧在第i帧相机系的坐标,/>表示第j帧到第i帧的旋转四元数,/>表示第j帧相机系到世界系的旋转四元数,[·]xyz表示取四元数的虚数部分,第i帧表示所述帧fi,第j帧表示所述帧fi前后相邻的两帧。
以fi到fi-1的误差为例,因为有这两帧的相对位置初值,还设这两帧的世界位姿(包括平移量和旋转量)为未知数。因此希望在优化过程中,根据这两帧的世界位姿计算出的相对位姿和已知的相对位姿初值之间的误差要尽量小。
基于同一发明构想,本发明还提供了一种室内三维建模方法,使用上述任一项所述的基于三维特征约束的单目深度图像位姿优化方法得到优化后的相机位姿,并通过所述优化后的相机位姿进行室内三维建模。
在本实施例中,参阅图4,所述通过所述优化后的相机位姿进行室内三维建模,具体为:
基于所述优化后的相机位姿,利用TSDF算法得到三维建模结果,所述TSDF算法包括:
将空间划分为等大的三维网格,根据所述优化后的相机位姿和内参,将任意体素x投影到所述优化后的相机位姿中,获取其在所述优化后的相机位姿中的测量距离Ddepth(x),并计算任意体素x到单目深度相机的真实距离Dreal(x);定义tsdfi(x)为对体素x的第i次的观测值,有:
其中,t为截断距离,根据TSDF定义,当Ddepth(x)与Dreal(x)的距离差小于t,tsdfi(x)返回(-1,1)之间的值,否则返回±1;
根据下式:
其中,Wi(x)=Wi-1(x)+wi(x),wi(x)为对体素x的第i次的观测权重;
在每个所述优化后的相机位姿处对体素x的TSDF值进行更新;当所有所述优化后的相机位姿更新结束,得到一个全局数据立方体,每一个体素x中的值代表该体素x到重建表面的距离,其中正负交界的位置就是全局数据立方体表面的位置,提取所有的表面得到三维建模结果。
本发明的优点在于:首先,本发明针对三维建模提出了优化细节和保持结构性的算法,避免了特征优化对模型结构的影响。其次,本发明通过对特征的全局追踪,消除了建模结果细节上的错位、重影,同时对特征追踪失效的帧保持其原有位姿,实现精细、鲁棒、完整的全局三维建模。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (3)

1.一种基于三维特征约束的单目深度图像位姿优化方法,用于对多帧单目深度图像进行优化,并且所述多帧单目深度图像通过单目深度相机采集,并基于三维点云配准生成,其特征在于,包括:
S100、提取所述多帧单目深度图像的特征点,生成特征点地图,所有特征点均不相同,且每一特征点被所述单目深度相机至少观测到一次;
S200、对每一特征点在所述特征点地图中的世界坐标,以及所述多帧单目深度图像中的每一帧的相机位姿进行优化,具体为:
S201、选取被所述单目深度相机观测次数大于等于两次的特征点,最小化其世界坐标到所有观测值之间的欧式距离,得到第一欧式距离;
S202、对所述特征点地图中的每一个特征点,最小化其世界坐标到所述三维点云的欧氏距离,得到第二欧式距离;
S203、统计所述多帧单目深度图像中的每一帧中包含的被所述单目深度相机观测次数大于等于两次的特征点的数量q,选取q<15的帧fi,通过约束所述帧fi与其前后相邻的两帧的相对位姿,使得所述帧fi的位姿接近所述单目深度相机的初始位姿,得到所述帧fi的新位姿;
S300、根据所述第一欧式距离、所述第二欧式距离和所述帧fi的新位姿生成误差函数,并求解非线性最小二乘问题,得到优化后的相机位姿;
步骤S201采用的最小化公式为:
其中,表示当特征点Pk在第i帧被观测到时,其在第i帧相机系下的三维坐标,/>表示特征点Pk在世界系下的三维坐标,Ti(·)表示从第i帧相机系到世界系的变换,ρ(·)表示胡伯损失,Ti表示第i帧单目深度图像的相机位姿;
步骤S202采用的最小化公式为:
其中,为第i帧单目深度图像的相机位姿初值,cloud(p)表示返回所述三维点云中离p最近的点;
通过位姿图优化误差项计算所述帧fi与其前后相邻的两帧之间的误差,所述位姿图优化误差项表示为:
其中,e6×1是一个六维误差向量,前三维表示平移误差,后三维表示旋转误差,与/>分别表示第i帧与第j帧在世界系的坐标,/>表示世界系到第i帧相机系的旋转矩阵,/>表示第j帧在第i帧相机系的坐标,/>表示第j帧到第i帧的旋转四元数,/>表示第j帧相机系到世界系的旋转四元数,[·]xyz表示取四元数的虚数部分,第i帧表示所述帧fi,第j帧表示所述帧fi前后相邻的两帧。
2.根据权利要求1所述的基于三维特征约束的单目深度图像位姿优化方法,其特征在于,步骤S100具体为:
S101、对所述多帧单目深度图像中的每一帧提取1000个ORB特征,根据每一个二维特征点对应单目深度图像中的深度值,通过所述单目深度相机的内参得到三维特征点;
S102、若存在非零深度值,将对应的三维特征点标记为有效特征点,否则标记为失效特征点;
S103、根据时间顺序,利用ORB特征匹配算法将第i帧数据中的有效特征点与第1,2,…,i-1帧中的有效特征点进行匹配;
S104、所述单目深度相机对所有有效特征点进行观测,并建立所述特征点地图,当一个有效特征点被首次观测,则将其加入所述特征点地图,当一个有效特征点被多次观察,则仅修改所述特征点地图中对应的该有效特征点的被观测次数属性。
3.一种室内三维建模方法,其特征在于,使用如权利要求1-2中任一项所述的基于三维特征约束的单目深度图像位姿优化方法得到优化后的相机位姿,并通过所述优化后的相机位姿进行室内三维建模;所述通过所述优化后的相机位姿进行室内三维建模,具体为:
基于所述优化后的相机位姿,利用TSDF算法得到三维建模结果,所述TSDF算法包括:
将空间划分为等大的三维网格,根据所述优化后的相机位姿和内参,将任意体素x投影到所述优化后的相机位姿中,获取其在所述优化后的相机位姿中的测量距离Ddepth(x),并计算任意体素x到单目深度相机的真实距离Dreal(x);定义tsdfi(x)为对体素x的第i次的观测值,有:
其中,t为截断距离,根据TSDF定义,当Ddepth(x)与Dreal(x)的距离差小于t,tsdfi(x)返回(-1,1)之间的值,否则返回±1;
根据下式:
其中,Wi(x)=Wi-1(x)+wi(x),wi(x)为对体素x的第i次的观测权重;
在每个所述优化后的相机位姿处对体素x的TSDF值进行更新;当所有所述优化后的相机位姿更新结束,得到一个全局数据立方体,每一个体素x中的值代表该体素x到重建表面的距离,其中正负交界的位置就是全局数据立方体表面的位置,提取所有的表面得到三维建模结果。
CN202111182817.1A 2021-10-11 2021-10-11 基于三维特征约束的单目深度图像位姿优化方法 Active CN113902847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111182817.1A CN113902847B (zh) 2021-10-11 2021-10-11 基于三维特征约束的单目深度图像位姿优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111182817.1A CN113902847B (zh) 2021-10-11 2021-10-11 基于三维特征约束的单目深度图像位姿优化方法

Publications (2)

Publication Number Publication Date
CN113902847A CN113902847A (zh) 2022-01-07
CN113902847B true CN113902847B (zh) 2024-04-16

Family

ID=79191461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111182817.1A Active CN113902847B (zh) 2021-10-11 2021-10-11 基于三维特征约束的单目深度图像位姿优化方法

Country Status (1)

Country Link
CN (1) CN113902847B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237544B (zh) * 2023-11-13 2024-01-26 天津云圣智能科技有限责任公司 一种训练数据的生成方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109472820A (zh) * 2018-10-19 2019-03-15 清华大学 单目rgb-d相机实时人脸重建方法及装置
CN110728717A (zh) * 2019-09-27 2020-01-24 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110827395A (zh) * 2019-09-09 2020-02-21 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
WO2021077720A1 (zh) * 2019-10-25 2021-04-29 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统
CN113052908A (zh) * 2021-04-16 2021-06-29 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113256789A (zh) * 2021-05-13 2021-08-13 中国民航大学 一种三维实时人体姿态重建方法
CN113362377A (zh) * 2021-06-29 2021-09-07 东南大学 一种基于单目相机的vo加权优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014112055A (ja) * 2012-12-05 2014-06-19 Denso It Laboratory Inc カメラ姿勢の推定方法およびカメラ姿勢の推定システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109472820A (zh) * 2018-10-19 2019-03-15 清华大学 单目rgb-d相机实时人脸重建方法及装置
CN110827395A (zh) * 2019-09-09 2020-02-21 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
CN110728717A (zh) * 2019-09-27 2020-01-24 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
WO2021077720A1 (zh) * 2019-10-25 2021-04-29 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统
CN113052908A (zh) * 2021-04-16 2021-06-29 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113256789A (zh) * 2021-05-13 2021-08-13 中国民航大学 一种三维实时人体姿态重建方法
CN113362377A (zh) * 2021-06-29 2021-09-07 东南大学 一种基于单目相机的vo加权优化方法

Also Published As

Publication number Publication date
CN113902847A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN111428575B (zh) 一种基于孪生网络的针对模糊目标的跟踪方法
GB2581374A (en) 3D Face reconstruction system and method
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN110163818A (zh) 一种用于海事无人机的低照度视频图像增强方法
CN107967675B (zh) 一种基于自适应投影移动最小二乘的结构化点云去噪方法
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
WO2024103890A1 (zh) 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质
CN107610219A (zh) 一种三维场景重构中几何线索感知的像素级点云稠密化方法
Huang et al. Towards unsupervised single image dehazing with deep learning
CN113902847B (zh) 基于三维特征约束的单目深度图像位姿优化方法
CN110766782A (zh) 基于多无人机视觉协同的大型施工场景实时重构方法
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
CN112991504B (zh) 一种改进的基于tof相机三维重建的补空洞方法
CN114463521A (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN107610216B (zh) 基于粒子群优化多视角立体点云生成方法及应用的摄像机
CN111260706B (zh) 一种基于单目相机的稠密深度图计算方法
CN117523100A (zh) 基于神经网络与多视图一致性的三维场景重建方法和装置
CN117501313A (zh) 基于深度神经网络的毛发渲染系统
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN110796181B (zh) 基于纹理的文物病害高精度自动提取方法
CN112465984A (zh) 一种基于双层过滤的单目相机序列图像三维重构方法
CN116878524A (zh) 一种基于金字塔l-k光流与多视角几何约束的动态slam稠密地图构建方法
CN115063485B (zh) 三维重建方法、装置及计算机可读存储介质
CN115588133A (zh) 适用于动态环境的视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant