CN114419246A - 一种空间目标即时稠密重建方法 - Google Patents

一种空间目标即时稠密重建方法 Download PDF

Info

Publication number
CN114419246A
CN114419246A CN202111507866.8A CN202111507866A CN114419246A CN 114419246 A CN114419246 A CN 114419246A CN 202111507866 A CN202111507866 A CN 202111507866A CN 114419246 A CN114419246 A CN 114419246A
Authority
CN
China
Prior art keywords
image
rgb
map
depth map
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111507866.8A
Other languages
English (en)
Inventor
牟金震
盛延平
李爽
孙俊
曹姝清
彭杨
武海雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN202111507866.8A priority Critical patent/CN114419246A/zh
Publication of CN114419246A publication Critical patent/CN114419246A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种空间目标即时稠密重建方法，包含：S1、通过深度相机获取空间目标的RGB‑D图像，将该图像的深度图转化为对应的点云，得到点云中各点的三维坐标与法向量，利用迭代最近点算法初始化相邻深度图的位姿，并使用面元表示空间目标的稠密模型；S2、以几何误差/光度一致性为约束条件，将当前帧的深度图/彩色图与所述稠密模型预测的先前帧的深度图/彩色图进行配准，估计当前时刻的相机姿态；S3、对当前帧进行编码，比对当前帧与数据库存储的先前帧的编码值，判断是否更新关键帧；判断空间目标的翻滚运动是否存在闭环，若存在闭环，将当前帧向最相似的关键帧配准，应用变形图优化稠密模型，消除累积误差。

Description

一种空间目标即时稠密重建方法
技术领域
本发明涉及空间智能操控领域，特别涉及一种空间目标即时稠密重建方法。
背景技术
随着航天技术的发展，人类对外太空资源的探索和开发越来越深入。航天器发生故障、失效或完成任务后被抛弃，将在空间自由漂浮，即成为太空垃圾。因此，以传统航天器的在轨维护、空间目标清理、空间碎片清理、太空攻防等为目的的空间目标捕获技术成为了空间机器人领域新的发展方向。而获取目标的准确位置信息是实现对其进行检测、逼近、交会对接及维修等操作的前提。因此，采用空间目标三维重建技术来获取目标三维信息显得尤为重要。
针对空间目标三维重建，传统方法一般使用直线特征进行空间目标三维重建，重建生成的稀疏点云能够提供的三维信息非常局限。此外，空间目标存在结构对称、纹理重复的特点，传统方法在拍摄角度间隔较大的2帧图像匹配时，错误匹配点数量多，从而导致重建错误。多视图三维重建是通过输入不同视角下拍摄到的图片序列，经过自标定、特征跟踪、稀疏重建、稠密重建、表面重建的图像处理管线，最终生成精细三维模型的过程。对于计算资源有限、实时观测目标的空间平台而言，多视图三维重建的实时性低，达不到即时重建的需求。随着深度相机的发展，基于RGB-D图像的空间目标实时三维重建成为一种可能。但，传统的基于RGB-D图像实时稠密三维重建方法，在小范围场景中重建效果较好，面临大范围空间场景，其局限性有三维网格限制了重建场景的尺度、严重依赖于场景中几何特征的丰富程度、无法实现闭环优化等。
发明内容
本发明的目的是提供一种空间目标即时稠密重建方法，基于面元重建与变形图优化，通过位姿初始化、位姿跟踪、闭环检测等步骤，即时重建出稠密的空间目标精细化三维模型。通过本发明能够为后续空间目标捕获提供更多的三维信息。
为了达到上述目的，本发明提供一种空间目标即时稠密重建方法，包含：
S1、通过深度相机获取空间目标的RGB-D图像，将所述RGB-D图像的深度图转化为对应的点云，得到点云中各点的三维坐标与法向量，利用迭代最近点算法匹配相邻深度图三维点云的初始化位姿，并使用面元表示空间目标的稠密模型；
S2、以几何误差/光度一致性为约束条件，将当前帧RGB-D图像的深度图/彩色图与所述稠密模型预测的先前帧RGB-D图像的深度图/彩色图进行配准，估计当前时刻的相机姿态；
S3、对当前帧进行编码，比对当前帧与数据库中存储的关键帧的编码值，判断空间目标的翻滚运动是否存在闭环；若存在闭环，将当前帧向关键帧配准，应用变形图优化稠密模型消除累积误差。
可选的，步骤S1包含：
S1.1、令深度相机在设定时间内采集连续的深度图数据流Di、彩色图数据流Ci；利用深度相机的内参数K，将深度图转化为对应的三维点云Zi；i∈[1,n]。
S1.2、基于迭代最近点算法，匹配相邻深度图三维点云的初始化位姿；
令Zi、Zi-1为与相邻深度图Di、Di-1对应的三维点云，设T是位姿初始化矩阵，T的初始值为单位矩阵：
Figure BDA0003404941760000021
其中，Pt与Pt-1表示与Zi、Zi-1对应的三维点云初始化位姿；Rt是3×3旋转矩阵，tt是3×1平移向量；T和扰动量
Figure BDA0003404941760000022
相关联：
Figure BDA0003404941760000023
Figure BDA0003404941760000024
是待优化参数，
Figure BDA0003404941760000025
为将李代数中的一个成员映射到李群中的一个成员的矩阵指数函数；
S1.3、使用面元表示空间目标的稠密模型；所述面元为覆盖在空间目标表面的圆片，所有面元的集合构成空间目标的稠密模型M。
可选的，步骤S2包含：
S2.1、定义图像空间域、像素点的齐次表示形式与彩色图像的强度；
定义图像空间域
Figure BDA0003404941760000031
深度像素d:
Figure BDA0003404941760000032
彩色像素c:
Figure BDA0003404941760000033
定义一个像素点u∈Ω的3D反投影为p(u,D)＝K-1υd(u)，D表示深度图；d(u)表示像素点u的微分；υ为像素点u的齐次表示形式；一个3D点p＝[x,y,z]T，的透射投影为u＝π(Kp)，其中
Figure BDA0003404941760000034
表示去齐次操作，其中x,y,z分别表示三维点云的x轴、y轴与z轴坐标；彩色图像C的像素c(u)＝[c1,c2,c3]T的强度定义为I(u,C)＝c(u)Tb，其中b＝[0.114,0.299,0.587]T，c1,c2,c3表示像素的3个通道值；
S2.2、以几何误差为约束条件，将当前帧的深度图与所述稠密模型预测的先前帧的深度图进行配准，估计当前时刻的相机姿态；
令当前帧深度图为
Figure BDA0003404941760000035
通过稠密模型预测的前一帧深度图为
Figure BDA0003404941760000036
将
Figure BDA0003404941760000037
与
Figure BDA0003404941760000038
进行配准，该配准的几何误差代价函数为：
Figure BDA0003404941760000039
其中，
Figure BDA00034049417600000310
是深度图
Figure BDA00034049417600000311
的第k个顶点的反投影，vk和nk是深度图的第k个顶点在t-1时刻对应的顶点和法线；
S23、以光度一致性为约束条件，将当前帧的彩色图与所述稠密模型预测的先前帧的彩色图进行配准，估计当前时刻的相机姿态；
令当前帧的彩色图为
Figure BDA00034049417600000312
稠密模型预测的前一帧为
Figure BDA00034049417600000313
将
Figure BDA00034049417600000314
与
Figure BDA00034049417600000315
进行配准，该配准的光度一致性误差代价函数为：
Figure BDA00034049417600000316
Figure BDA00034049417600000317
表示像素点u在深度图
Figure BDA00034049417600000318
的反投影；
Figure BDA00034049417600000319
表示像素点u在彩色图
Figure BDA00034049417600000320
的强度。
可选的，步骤S2还包含：
S24、设计自适应变化的权重因子，根据深度图和彩色图配准时有效匹配对的比重进行加权，实现位姿联合跟踪；
所述自适应变化的权重因子为：
Figure BDA0003404941760000041
其中wrgb表示权重，Trgbc表示彩色图配准时像素的匹配数目，Ticpc表示点云配准时的匹配数目；
调整深度图和彩色图配准的动态加权执行位姿跟踪，该跟踪的代价函数为：
Figure BDA0003404941760000042
可选的，步骤S3包含：
S31、令x为空间目标当前帧RGB-D图像I的一个像素点，像素点x的红、绿、蓝、深度通道的值分别记为IR(x)，IG(x)，IB(x)，ID(x)；将F＝{fi}，i∈{R,G,B,D}定义为一个随机编码条件：
Figure BDA0003404941760000043
τi通过随机函数产生；像素点x对应的二进制编码块为bF＝fRfGfBfD∈B4；
S32、从所述RGB-D图像I中选取n个像素点，RGB-D图像I能够由所述随机编码条件编码为
Figure BDA0003404941760000044
其中n个像素点的位置由随机函数产生；
S33、计算数据库ε中每幅关键帧RGB-D图像J与当前帧RGB-D图像I的BLockHD距离，判断关键帧RGB-D图像J与当前帧RGB-D图像I的相似度；所述BLockHD距离的计算公式为
Figure BDA0003404941760000045
其中
Figure BDA0003404941760000046
为RGB-D图像J的二进制编码，符号≡为异或运算；
其中数据库ε存储有关键帧RGB-D图像J对应的索引项εj，εj包含：二进制编码块
Figure BDA0003404941760000051
深度图
Figure BDA0003404941760000052
彩色图
Figure BDA0003404941760000053
相机位姿
Figure BDA0003404941760000054
与时间戳
Figure BDA0003404941760000055
S34、将
Figure BDA0003404941760000056
的值与设定的阈值γ进行比较的值与设定的阈值γ进行比较，若ζI＞γ，则当前帧RGB-D图像I作为关键帧，并存储当前帧RGB-D图像I对应的索引项至数据库ε中；
S35、设定阈值σ，若ζI＜σ，说明检测到空间目标的闭环，将图像I的深度图/彩色图向与图像I相似度最高的关键帧的深度图/彩色图配准；
S36、应用变形图的变形操作优化稠密模型消除累积误差。
可选的，步骤S36包含：
S361、从重建模型M上均匀抽样多个节点得到变形图G，变形图各节点之间按照存储的时间顺序进行连接；变形图中第n个节点Gn的参数包含：时间戳
Figure BDA0003404941760000057
位置
Figure BDA0003404941760000058
四个邻接点的集合N(Gn)、优化量旋转矩阵
Figure BDA0003404941760000059
和平移向量
Figure BDA00034049417600000510
Figure BDA00034049417600000511
N(Gn)＝{Gn±1，Gn±2}；
S362、变形图的变形操作由下式完成：
Figure BDA00034049417600000512
其中，变形图采用控制节点方式，即Gn对应的面元只受
Figure BDA00034049417600000513
和
Figure BDA00034049417600000514
控制；用I(Ms)表示面元Ms的一组控制节点序号，
Figure BDA00034049417600000515
分别表示变形图中变形后的面元、未变形的面元；
Figure BDA00034049417600000516
分别表示变形图中变形面元的法向量、未变形面元的法向量；φ表示变形操作；权值ωn(Ms)定义如下：
Figure BDA00034049417600000517
其中dmax是面元到Ms最邻近节点的欧氏距离；||·||2表示2范数；
可选的，步骤S362中所述变形操作完成后，建立满足约束集合Π的约束，基于变形后的变形图来更新稠密模型；所述约束集合Π包含以下约束条件：
第一约束条件：仿射变换的旋转参量正交
Figure BDA0003404941760000061
其中，
Figure BDA0003404941760000062
表示仿射变换的旋转参量，I表示单位矩阵；
Figure BDA0003404941760000063
表示F范数；
第二约束条件：邻接点之间保持最小距离
Figure BDA0003404941760000064
Figure BDA0003404941760000065
和
Figure BDA0003404941760000066
分别表示仿射变换旋转矩阵和平移参量，
Figure BDA0003404941760000067
和
Figure BDA0003404941760000068
分别变形图节点存储的旋转矩阵和平移向量；
第三约束条件：使形变后一对约束中的源点准确地投向目标点:
Figure BDA0003404941760000069
Figure BDA00034049417600000610
表示源点，
Figure BDA00034049417600000611
表示目标点；
Figure BDA00034049417600000612
表示2范数，φ(·)表示变形图的变形操作；
第四约束条件：最小化形变后约束中的目标点的移动量，即源点投向目标点，而目标点本身应该保持固定：
Figure BDA00034049417600000613
局部闭环检测的总代价函数为：
Figure BDA00034049417600000614
wf，wr，wc表示权值。
可选的，约束集合Π中的每个元素Πp都是一个元组，表示为
Figure BDA00034049417600000615
其中,μ为从像素平面Ω均匀采样得到的子集；
Figure BDA00034049417600000616
和
Figure BDA00034049417600000617
是世界坐标系下的三维坐标，下标d表示目标点，下标s表示源点；Η表示相对变换矩阵；
Figure BDA0003404941760000071
表示当前帧的深度图；
Figure BDA0003404941760000072
表示像素点u在深度图的反投影；
步骤S362执行完后，相机的位姿P更新为
Figure BDA0003404941760000073
可选的，wf＝1，wr＝2，wc＝10。
可选的，所述稠密模型预测的先前帧RGB-D图像为：从数据库ε寻找的，与当前帧RGB-D图像的存储时间小于设定时间阈值的关键帧RGB-D图像中，与当前帧RGB-D图像具有最小BlockHD距离的RGB-D图像。
与现有技术相比，本发明的有益效果在于：
1)本发明使用低功耗、低成本的深度相机，通过不断优化相机轨迹或者特征点的方式来提高轨迹估计精度，使用变形图优化重建模型的方式来提高重建和位姿估计的精度。
2)本发明通过选取关键帧并仅将关键帧存储在数据库的方式，减少了传统方法的计算量，加快了算法的处理速度。
3)本发明的闭环的检测可以有效的检测到空间目标的回环，通过闭环检测建立优化约束提高了稠密重建模型和位姿估计的精度；
4)本发明通过重建模型预测先前帧，提高空间目标重建效率、精度的同时，克服了对参考帧的依赖，能够适应空间目标的长时间跟踪。
附图说明
为了更清楚地说明本发明技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：
图1为本发明的空间目标即时稠密重建方法流程图；
图2为本发明稠密模型示意图；
图3为本发明中重建稠密模型与变形图执行变形操作的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本发明提供一种空间目标即时稠密重建方法，如图1所示，包含：
S1、通过深度相机获取空间目标的RGB-D图像，将所述RGB-D图像的深度图转化为对应的点云，得到点云中各点的三维坐标与法向量，利用迭代最近点算法匹配相邻深度图三维点云的初始化位姿，并使用面元表示空间目标的稠密模型；
步骤S1包含：
S1.1、令深度相机在设定时间内采集连续的深度图数据流Di、彩色图数据流Ci；利用深度相机的内参数K，将深度图转化为对应的三维点云Zi；i∈[1,n]。
S1.2、基于迭代最近点算法，匹配相邻点云图的初始化位姿；
令Zi、Zi-1为与相邻深度图Di、Di-1对应的三维点云，设T是位姿初始化矩阵，T的初始值为单位矩阵：
Figure BDA0003404941760000091
其中，Pt与Pt-1表示与Zi、Zi-1对应的三维点云初始化位姿；Rt是3×3旋转矩阵，tt是3×1平移向量；T和扰动量
Figure BDA0003404941760000092
相关联：
Figure BDA0003404941760000093
Figure BDA0003404941760000094
是待优化参数，
Figure BDA0003404941760000095
为将李代数中的一个成员映射到李群中的一个成员的矩阵指数函数；
S1.3、使用面元表示空间目标的稠密模型；所述面元为覆盖在空间目标表面的圆片，所有面元的集合构成空间目标的稠密模型M。
设效空间目标为刚体，在数据采集过程中不会发生形变。假设相机位置朝向固定，在其工作视场范围内，能够采集到目标的连续深度图像和彩色图像。所使用的重建单位“面元”是一个小圆片，如图2所示。所有面元的集合组成了空间目标的稠密模型M，单个面元由MS表示，每个面元存储了以下参数：位置
Figure BDA0003404941760000096
法向量
Figure BDA0003404941760000097
彩色图的颜色
Figure BDA0003404941760000098
位姿跟踪权重
Figure BDA0003404941760000099
面元半径
Figure BDA00034049417600000910
初始化时间戳
Figure BDA00034049417600000911
以及最近一次更新的时间戳
Figure BDA00034049417600000917
S2、以几何误差/光度一致性为约束条件，将当前帧RGB-D图像的深度图/彩色图与所述稠密模型预测的先前帧RGB-D图像的深度图/彩色图进行配准，估计当前时刻的相机姿态；
步骤S2包含：
S2.1、定义图像空间域、像素点的齐次表示形式与彩色图像的强度；
定义图像空间域
Figure BDA00034049417600000913
深度像素d:
Figure BDA00034049417600000914
彩色像素c:
Figure BDA00034049417600000915
定义一个像素点u∈Ω的3D反投影为p(u,D)＝K-1υd(u)，D表示深度图；d(u)表示像素点u的微分；υ为像素点u的齐次表示形式；一个3D点p＝[x,y,z]T，的透射投影为u＝π(Kp)，其中
Figure BDA00034049417600000916
表示去齐次操作，其中x,y,z分别表示三维点云的x轴、y轴与z轴坐标；彩色图像C的像素c(u)＝[c1,c2,c3]T的强度定义为I(u,C)＝c(u)Tb，其中b＝[0.114,0.299,0.587]T，c1,c2,c3表示像素的3个通道值；
S2.2、以几何误差为约束条件，将当前帧的深度图与所述稠密模型预测的先前帧的深度图进行配准，估计当前时刻的相机姿态；
令当前帧深度图为
Figure BDA0003404941760000101
通过稠密模型预测的前一帧深度图为
Figure BDA0003404941760000102
将
Figure BDA0003404941760000103
与
Figure BDA0003404941760000104
进行配准，该配准的几何误差代价函数为：
Figure BDA0003404941760000105
其中，
Figure BDA0003404941760000106
是深度图
Figure BDA0003404941760000107
的第k个顶点的反投影，vk和nk是深度图的第k个顶点在t-1时刻对应的顶点和法线。
本发明的数据库ε存储有多个关键帧RGB-D图像J对应的索引项εj，εj包含：二进制编码块
Figure BDA0003404941760000108
深度图
Figure BDA0003404941760000109
彩色图
Figure BDA00034049417600001010
相机位姿
Figure BDA00034049417600001011
与时间戳
Figure BDA00034049417600001012
关于如何预测先前帧，请参见后继步骤S33中的表述。
S23、以光度一致性为约束条件，将当前帧的彩色图与所述稠密模型预测的先前帧的彩色图进行配准，估计当前时刻的相机姿态；
令当前帧的彩色图为
Figure BDA00034049417600001013
稠密模型预测的前一帧为
Figure BDA00034049417600001014
将
Figure BDA00034049417600001015
与
Figure BDA00034049417600001016
进行配准，该配准的光度一致性误差代价函数为：
Figure BDA00034049417600001017
Figure BDA00034049417600001018
表示像素点u在深度图
Figure BDA00034049417600001019
的反投影；
Figure BDA00034049417600001020
表示像素点u在彩色图
Figure BDA00034049417600001021
的强度。
步骤S2还包含：
S24、设计自适应变化的权重因子，根据深度图和彩色图配准时有效匹配对的比重进行加权，实现位姿联合跟踪；
由于空间的光照特性，配准时深度图和彩色图可能会面临不同程度的失效，如图像模糊会影响彩色信息的配准，深度图空洞会影响深度信息的配准。为执行高效的位姿跟踪，本发明设计自适应变化的权重因子，根据深度图像和彩色图像配准时有效匹配对的比重进行加权。所述自适应变化的权重因子为：
Figure BDA0003404941760000111
其中wrgb表示权重，Trgbc表示彩色图配准时像素的匹配数目，Ticpc表示点云配准时的匹配数目。
调整深度图和彩色图配准的动态加权执行位姿跟踪，该跟踪的代价函数为：
Figure BDA0003404941760000112
可知当配准中对应的像素匹配数目多时，光度一致性在位姿跟踪中所占的比重大；当配准中点云匹配数目多时，几何一致性在姿态跟踪中所占的比重大。
S3、如图3所示，对当前帧进行编码，比对当前帧与数据库中存储的关键帧的编码值，判断空间目标的翻滚运动是否存在闭环；若存在闭环，将当前帧向关键帧配准，应用变形图优化稠密模型消除累积误差。
步骤S3包含：
S31、令x为空间目标当前帧RGB-D图像I的一个像素点，像素点x的红、绿、蓝、深度通道的值分别记为IR(x)，IG(x)，IB(x)，ID(x)；将F＝{fi}，i∈{R,G,B,D}定义为一个随机编码条件：
Figure BDA0003404941760000113
τi通过随机函数产生；像素点x对应的二进制编码块为bF＝fRfGfBfD∈B4；
S32、从所述RGB-D图像I中选取n个像素点，RGB-D图像I能够由所述随机编码条件编码为
Figure BDA0003404941760000114
其中n个像素点的位置由随机函数产生；
S33、计算数据库ε中每幅关键帧RGB-D图像J与当前帧RGB-D图像I的BLockHD距离，判断关键帧RGB-D图像J与当前帧RGB-D图像I的相似度；所述BLockHD距离的计算公式为
Figure BDA0003404941760000115
其中
Figure BDA0003404941760000116
为RGB-D图像J的二进制编码，符号≡为异或运算；
BLockHD距离也用于步骤S2.2中预测先前帧RGB-D图像，预测步骤包含：从数据库ε寻找与当前帧RGB-D图像的存储时间(时间戳)小于设定时间阈值的关键帧RGB-D图像；从寻找到的关键帧RGB-D图像选取与当前帧RGB-D图像具有最小BlockHD距离的RGB-D图像作为预测的先前帧。
S34、将
Figure BDA0003404941760000121
的值与设定的阈值γ进行比较的值与设定的阈值γ进行比较，若ζI＞γ，则当前帧RGB-D图像I作为关键帧，并存储当前帧RGB-D图像I对应的索引项至数据库ε中；
S35、设定阈值σ，若ζI＜σ，说明检测到空间目标的闭环，将图像I的深度图/彩色图向与图像I相似度最高的关键帧的深度图/彩色图配准；
S36、应用变形图的变形操作优化稠密模型消除累积误差。
步骤S36包含：
S361、从重建模型M上均匀抽样多个节点得到变形图G，变形图各节点之间按照存储的时间顺序进行连接；变形图中第n个节点Gn的参数包含：时间戳
Figure BDA0003404941760000122
位置
Figure BDA0003404941760000123
四个邻接点的集合N(Gn)、优化量旋转矩阵
Figure BDA0003404941760000124
和平移向量
Figure BDA0003404941760000125
Figure BDA0003404941760000126
N(Gn)＝{Gn±1，Gn±2}；
S362、变形图的变形操作由下式完成：
Figure BDA0003404941760000127
其中，变形图采用控制节点方式，即Gn对应的面元只受
Figure BDA0003404941760000128
和
Figure BDA0003404941760000129
控制；用I(Ms)表示面元Ms的一组控制节点序号，
Figure BDA00034049417600001210
分别表示变形图中变形后的面元、未变形的面元；
Figure BDA00034049417600001211
分别表示变形图中变形面元的法向量、未变形面元的法向量；φ表示变形操作；权值ωn(Ms)定义如下：
Figure BDA0003404941760000131
其中dmax是面元到Ms最邻近节点的欧氏距离；||·||2表示2范数；
步骤S362中所述变形操作完成后，建立约束集合Π的约束，基于变形后的变形图来更新稠密模型。所述约束集合Π包含以下约束条件：
第一约束条件：仿射变换的旋转参量正交
Figure BDA0003404941760000132
其中，
Figure BDA0003404941760000133
表示仿射变换的旋转参量，I表示单位矩阵；
Figure BDA0003404941760000134
表示F范数；
第二约束条件：邻接点之间保持最小距离
Figure BDA0003404941760000135
Figure BDA0003404941760000136
和
Figure BDA0003404941760000137
分别表示仿射变换旋转矩阵和平移参量，
Figure BDA0003404941760000138
和
Figure BDA0003404941760000139
分别变形图节点存储的旋转矩阵和平移向量；
第三约束条件：使形变后一对约束中的源点准确地投向目标点:
Figure BDA00034049417600001310
Figure BDA00034049417600001311
表示源点，
Figure BDA00034049417600001312
表示目标点；
Figure BDA00034049417600001313
表示2范数，φ(·)表示变形图的变形操作；
第四约束条件：最小化形变后约束中的目标点的移动量，即源点投向目标点，而目标点本身应该保持固定：
Figure BDA00034049417600001314
局部闭环检测的总代价函数为：
Figure BDA00034049417600001315
wf，wr，wc表示权值。
约束集合Π中的每个元素Πp都是一个元组，表示为
Figure BDA0003404941760000141
其中,μ为从像素平面Ω均匀采样得到的子集；
Figure BDA0003404941760000142
和
Figure BDA0003404941760000143
是世界坐标系下的三维坐标，下标d表示目标点，下标s表示源点；Η表示相对变换矩阵；
Figure BDA0003404941760000144
表示当前帧的深度图；
Figure BDA0003404941760000145
表示像素点u在深度图的反投影；
步骤S362执行完后，相机的位姿P更新为
Figure BDA0003404941760000146
本发明的实施例中，wf＝1，wr＝2，wc＝10。
与传统的空间目标重建方法相比，本发明将空间目标的重建效率提高了35％，重建精度提高了20％。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种空间目标即时稠密重建方法，其特征在于，包含：
S1、通过深度相机获取空间目标的RGB-D图像，将所述RGB-D图像的深度图转化为对应的点云图，得到点云图中各点的三维坐标与法向量，利用迭代最近点算法匹配相邻点云图来初始化位姿，并使用面元表示空间目标的稠密模型；
S2、以几何误差/光度一致性为约束条件，将当前帧RGB-D图像的深度图/彩色图与所述稠密模型预测的先前帧RGB-D图像的深度图/彩色图进行配准，估计当前时刻的相机姿态；
S3、对当前帧进行编码，比对当前帧与数据库中存储的关键帧的编码值，判断空间目标的翻滚运动是否存在闭环；若存在闭环，将当前帧向最相似的关键帧配准，应用变形图优化稠密模型消除累积误差。
2.如权利要求1所述的空间目标即时稠密重建方法，其特征在于，步骤S1包含：
S1.1、令深度相机在设定时间内采集连续的深度图数据流Di、彩色图数据流Ci；利用深度相机的内参数K，将深度图转化为对应的三维点云Zi；i∈[1,n]；
S1.2、基于迭代最近点算法，匹配相邻三维点云图来初始化位姿；
令Zi、Zi-1为与相邻深度图Di、Di-1对应的三维点云，设T是位姿初始化矩阵，T的初始值为单位矩阵：
Pt＝TPt-1，
Figure FDA0003404941750000011
其中，Pt与Pt-1表示与Zi、Zi-1对应的初始化位姿；Rt是3×3旋转矩阵，tt是3×1平移向量；T和扰动量
Figure FDA0003404941750000012
相关联：
Figure FDA0003404941750000013
Figure FDA0003404941750000014
是待优化参数，
Figure FDA0003404941750000015
为将李代数中的一个成员映射到李群中的一个成员的矩阵指数函数；
S1.3、使用面元表示空间目标的稠密模型；所述面元为覆盖在空间目标表面的圆片，所有面元的集合构成空间目标的稠密模型M。
3.如权利要求2所述的空间目标即时稠密重建方法，其特征在于，步骤S2包含：
S2.1、定义图像空间域、像素点的齐次表示形式与彩色图像的强度；
定义图像空间域
Figure FDA0003404941750000021
深度像素
Figure FDA0003404941750000022
彩色像素
Figure FDA0003404941750000023
定义一个像素点u∈Ω的3D反投影为p(u,D)＝K-1υd(u)，D表示深度图；d(u)表示像素点u的微分；υ为像素点u的齐次表示形式；一个3D点p＝[x,y,z]T，的透射投影为u＝π(Kp)，其中
Figure FDA0003404941750000024
表示去齐次操作，其中x,y,z分别表示三维点云的x轴、y轴与z轴坐标；彩色图像C的像素c(u)＝[c1,c2,c3]T的强度定义为I(u,C)＝c(u)Tb，其中b＝[0.114,0.299,0.587]T，c1,c2,c3表示像素的3个通道值；
S2.2、以几何误差为约束条件，将当前帧的深度图与所述稠密模型预测的先前帧的深度图进行配准，估计当前时刻的相机姿态；
令当前帧深度图为
Figure FDA0003404941750000025
通过稠密模型预测的前一帧深度图为
Figure FDA0003404941750000026
将
Figure FDA0003404941750000027
与
Figure FDA0003404941750000028
进行配准，该配准的几何误差代价函数为：
Figure FDA0003404941750000029
其中，
Figure FDA00034049417500000210
是深度图
Figure FDA00034049417500000211
的第k个顶点的反投影，vk和nk是深度图的第k个顶点在t-1时刻对应的顶点和法线；
S23、以光度一致性为约束条件，将当前帧的彩色图与所述稠密模型预测的先前帧的彩色图进行配准，估计当前时刻的相机姿态；
令当前帧的彩色图为
Figure FDA00034049417500000212
稠密模型预测的前一帧为
Figure FDA00034049417500000213
将
Figure FDA00034049417500000214
与
Figure FDA00034049417500000215
进行配准，该配准的光度一致性误差代价函数为：
Figure FDA00034049417500000216
其中
Figure FDA00034049417500000217
表示像素点u在深度图
Figure FDA00034049417500000218
的反投影；
Figure FDA00034049417500000219
表示像素点u在彩色图
Figure FDA00034049417500000220
的强度。
4.如权利要求3所述的空间目标即时稠密重建方法，其特征在于，步骤S2还包含：
S24、设计自适应变化的权重因子，根据深度图和彩色图配准时有效匹配对的比重进行加权，实现空间目标位姿联合跟踪；
所述自适应变化的权重因子为：
Figure FDA0003404941750000031
其中wrgb表示权重，Trgbc表示彩色图配准时像素的匹配数目，Ticpc表示点云配准时的匹配数目；
调整深度图和彩色图配准的动态加权执行位姿跟踪，该跟踪的代价函数为：
Figure FDA0003404941750000032
5.如权利要求1所述的空间目标即时稠密重建方法，其特征在于，步骤S3包含：
S31、令x为空间目标当前帧RGB-D图像I的一个像素点，像素点x的红、绿、蓝、深度通道的值分别记为IR(x)，IG(x)，IB(x)，ID(x)；将F＝{fi}，i∈{R,G,B,D}定义为一个随机编码条件：
Figure FDA0003404941750000033
τi通过随机函数产生；像素点x对应的二进制编码块为bF＝fRfGfBfD∈B4；
S32、从所述RGB-D图像I中选取n个像素点，RGB-D图像I能够由所述随机编码条件编码为
Figure FDA0003404941750000034
其中n个像素点的位置由随机函数产生；
S33、计算数据库ε中每幅关键帧RGB-D图像J与当前帧RGB-D图像I的BLockHD距离，判断关键帧RGB-D图像J与当前帧RGB-D图像I的相似度；所述BLockHD距离的计算公式为
Figure FDA0003404941750000035
其中
Figure FDA0003404941750000036
为RGB-D图像J的二进制编码，符号≡为异或运算；
其中数据库ε存储有关键帧RGB-D图像J对应的索引项εj，εj包含：二进制编码块
Figure FDA0003404941750000041
深度图
Figure FDA0003404941750000042
彩色图
Figure FDA0003404941750000043
相机位姿
Figure FDA0003404941750000044
与时间戳
Figure FDA0003404941750000045
S34、将
Figure FDA0003404941750000046
的值与设定的阈值γ进行比较，若ζI＞γ，则当前帧RGB-D图像I作为关键帧，并存储当前帧RGB-D图像I对应的索引项至数据库ε中；
S35、设定阈值σ，若ζI＜σ，说明检测到空间目标的闭环，将图像I的深度图/彩色图向与图像I相似度最高的关键帧的深度图/彩色图配准；
S36、应用变形图的变形操作优化稠密模型消除累积误差。
6.如权利要求5所述的空间目标即时稠密重建方法，其特征在于，步骤S36包含：
S361、从重建模型M上均匀抽样多个节点得到变形图G，变形图各节点之间按照重建的时间顺序进行连接；变形图中第n个节点Gn的参数包含：时间戳
Figure FDA0003404941750000047
位置
Figure FDA0003404941750000048
四个邻接点的集合N(Gn)、优化量旋转矩阵
Figure FDA0003404941750000049
和平移向量
Figure FDA00034049417500000410
Figure FDA00034049417500000411
N(Gn)＝{Gn±1，Gn±2}；
S362、变形图的变形操作由下式完成：
Figure FDA00034049417500000412
其中，变形图采用控制节点方式，即Gn对应的面元只受
Figure FDA00034049417500000413
和
Figure FDA00034049417500000414
控制；用I(Ms)表示面元Ms的一组控制节点序号，
Figure FDA00034049417500000415
分别表示变形图中变形后的面元、未变形的面元；
Figure FDA00034049417500000416
分别表示变形图中变形面元的法向量、未变形面元的法向量；权值ωn(Ms)定义如下：
Figure FDA0003404941750000051
其中dmax是面元到Ms最邻近节点的欧氏距离；||·||2表示2范数。
7.如权利要求6所述的空间目标即时稠密重建方法，其特征在于，步骤S362中所述变形操作完成后，建立满足约束集合Π的约束，基于变形后的变形图来更新稠密模型；所述约束集合Π包含以下约束条件：
第一约束条件：仿射变换的旋转参量正交
Figure FDA0003404941750000052
其中，
Figure FDA0003404941750000053
表示仿射变换的旋转参量，I表示单位矩阵；
Figure FDA0003404941750000054
表示F范数；
第二约束条件：邻接点之间保持最小距离
Figure FDA0003404941750000055
Figure FDA0003404941750000056
和
Figure FDA0003404941750000057
分别表示仿射变换旋转矩阵和平移参量，
Figure FDA0003404941750000058
和
Figure FDA0003404941750000059
分别变形图节点存储的旋转矩阵和平移向量；
第三约束条件：使形变后一对约束中的源点准确地投向目标点:
Figure FDA00034049417500000510
Figure FDA00034049417500000511
表示源点，
Figure FDA00034049417500000512
表示目标点；
Figure FDA00034049417500000513
表示2范数；φ(·)表示变形图的变形操作；
第四约束条件：最小化形变后约束中的目标点的移动量，即源点投向目标点，而目标点本身应该保持固定：
Figure FDA00034049417500000514
局部闭环检测的总代价函数为：
Figure FDA00034049417500000515
wf，wr，wc表示权值。
8.如权利要求7所述的空间目标即时稠密重建方法，其特征在于，约束集合Π中的每个元素Πp都是一个元组，表示为
Figure FDA0003404941750000061
其中，μ为从像平面Ω均匀采样得到的子集；
Figure FDA0003404941750000067
和
Figure FDA0003404941750000063
是世界坐标系下的三维坐标，下标d表示目标点，下标s表示源点；Η表示相对变换矩阵，由旋转和平移矩阵组成；
Figure FDA0003404941750000064
表示当前帧的深度图；
Figure FDA0003404941750000065
表示像素点u在深度图的反投影；
步骤S362执行完后，相机的位姿P更新为
Figure FDA0003404941750000066
9.如权利要求7所述的空间目标即时稠密重建方法，其特征在于，wf＝1，wr＝2，wc＝10。
10.如权利要求5所述的空间目标即时稠密重建方法，其特征在于，所述稠密模型预测的先前帧RGB-D图像为：从数据库ε寻找的，与当前帧RGB-D图像的存储时间小于设定时间阈值的关键帧RGB-D图像中，与当前帧RGB-D图像具有最小BlockHD距离的RGB-D图像。
CN202111507866.8A 2021-12-10 2021-12-10 一种空间目标即时稠密重建方法 Pending CN114419246A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111507866.8A CN114419246A (zh) 2021-12-10 2021-12-10 一种空间目标即时稠密重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111507866.8A CN114419246A (zh) 2021-12-10 2021-12-10 一种空间目标即时稠密重建方法

Publications (1)

Publication Number Publication Date
CN114419246A true CN114419246A (zh) 2022-04-29

Family

ID=81266343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111507866.8A Pending CN114419246A (zh) 2021-12-10 2021-12-10 一种空间目标即时稠密重建方法

Country Status (1)

Country Link
CN (1) CN114419246A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147491A (zh) * 2022-09-02 2022-10-04 山东西曼克技术有限公司 用于agv小车的搬运目标位姿信息估计方法
CN116824070A (zh) * 2023-08-31 2023-09-29 江西求是高等研究院 一种基于深度图像的实时三维重建方法及系统
CN117710469A (zh) * 2024-02-06 2024-03-15 四川大学 一种基于rgb-d传感器的在线稠密重建方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147491A (zh) * 2022-09-02 2022-10-04 山东西曼克技术有限公司 用于agv小车的搬运目标位姿信息估计方法
CN116824070A (zh) * 2023-08-31 2023-09-29 江西求是高等研究院 一种基于深度图像的实时三维重建方法及系统
CN116824070B (zh) * 2023-08-31 2023-11-24 江西求是高等研究院 一种基于深度图像的实时三维重建方法及系统
CN117710469A (zh) * 2024-02-06 2024-03-15 四川大学 一种基于rgb-d传感器的在线稠密重建方法及系统
CN117710469B (zh) * 2024-02-06 2024-04-12 四川大学 一种基于rgb-d传感器的在线稠密重建方法及系统

Similar Documents

Publication Publication Date Title
CN108416840B (zh) 一种基于单目相机的三维场景稠密重建方法
CN114419246A (zh) 一种空间目标即时稠密重建方法
CN111325797B (zh) 一种基于自监督学习的位姿估计方法
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN107980150B (zh) 对三维空间建模
CN108010081B (zh) 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN104517289B (zh) 一种基于混合摄像机的室内场景定位方法
Li et al. Object detection in the context of mobile augmented reality
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN106803275A (zh) 基于相机位姿估计和空间采样的2d全景视频生成
CN112001926A (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
Zhu et al. Ponderv2: Pave the way for 3d foundataion model with a universal pre-training paradigm
CN114612525A (zh) 基于网格分割与双地图耦合的机器人rgb-d slam方法
KR101766823B1 (ko) 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법
CN112767481B (zh) 一种基于视觉边缘特征的高精度定位及建图方法
Xuan et al. Maskvo: Self-supervised visual odometry with a learnable dynamic mask
CN114049423A (zh) 一种自动的真实感三维模型纹理映射方法
CN110400349B (zh) 基于随机森林的小场景下机器人导航跟踪恢复方法
Kemp et al. Multi-modal tracking using texture changes
Del-Tejo-Catalá et al. Probabilistic pose estimation from multiple hypotheses
Luo et al. Visual odometry based on the pixels grayscale partial differential
Chen et al. An End-to-End Network for Upright Adjustment of Panoramic Images
Liao et al. VI-NeRF-SLAM: a real-time visual–inertial SLAM with NeRF mapping
Cao et al. Make object connect: A pose estimation network for UAV images of the outdoor scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination