CN115810037A - 一种基于三维图像分段多模式优化的方法、设备、介质和系统 - Google Patents
一种基于三维图像分段多模式优化的方法、设备、介质和系统 Download PDFInfo
- Publication number
- CN115810037A CN115810037A CN202210771021.8A CN202210771021A CN115810037A CN 115810037 A CN115810037 A CN 115810037A CN 202210771021 A CN202210771021 A CN 202210771021A CN 115810037 A CN115810037 A CN 115810037A
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- data
- key frame
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003709 image segmentation Methods 0.000 title claims description 5
- 238000010586 diagram Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 16
- 230000009466 transformation Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 238000005259 measurement Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种基于分段优化策略的三维扫描图像优化方法，该方法包括：获取三维扫描图像，对所述图像进行帧间运动估计；将所述图像分为多段数据，并对所述每段数据进行位姿优化；从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对所述每段数据之间进行优化；固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，本方法采用分段多模式优化策略，能够在不同的抽象层数上对问题进行建模，实现快速准确优化；采用局部‑全局‑局部的多模式优化策略，减少数据处理量，提高帧间匹配效率和精度。
Description
本申请是申请号为202110625611.5的分案申请，该母案的申请日为2021年06月04日，发明名称为一种结合几何和纹理的在线匹配优化方法和三维扫描系统。
技术领域
本发明属于图像识别领域，更具体地说，涉及一种基于三维图像分段多模式优化的方法、设备、介质和系统。
背景技术
近年来，三维扫描作为一种快速三维数字化技术被越来越多地应用在各个领域，包括逆向工程、工业检测、计算机视觉、CG制作等等，特别是在当前发展迅猛的3D打印和智能制造领域，三维扫描作为前端三维数字化和三维视觉传感技术，已经成为产业链上的重要一环；同时，各类应用在三维扫描的成本、实用性、精确性和可靠性等诸多方面提出了更高的要求。
由于传统的三维扫描方式中，比如直接法，直接用像素灰度进行匹配，导致系统对光学变化的适应性较差，受环境干扰比较大，配准结果不稳定，并且位姿估计偏差较大，同时传统方法中，在进行优化时，将所有的帧一起优化，数据处理量很大，存在优化效率低下的问题。
发明内容
本申请提供了一种基于分段优化策略的三维扫描图像优化方法和三维扫描系统，本发明解决其技术问题所采用的技术方案是：一种基于分段优化策略的三维扫描图像优化方法，所述方法包括：
获取三维扫描图像，对所述图像进行帧间运动估计；
将所述图像分为多段数据，并对所述每段数据进行位姿优化；
从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；
固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。
进一步地，所述关键帧的提取，包括：若当前图像帧能表达全局信息，则当前图像帧作为预设关键帧；或者，若当前图像帧与上一图像帧能匹配上，但该当前图像帧却无法与预设的参考关键帧匹配时，则将将当前图像帧的前一图像帧作为预设关键帧；或者，若当前图像帧与上一图像帧及预设的参考关键帧均匹配，且该当前图像帧与预设的参考关键帧的重叠率满足预设条件，则将当前图像帧作为预设关键帧。
所述回环信息，包括：将各相邻的关键帧进行匹配，在匹配成功并且重叠率达到设定的阈值时，则确定形成相应的回环，获取所述相应回环信息。
进一步的，本申请还提供一种基于分段优化策略的三维扫描图像优化设备，所述设备包括：获取模块，用于获取三维扫描图像；帧间运动估计模块，用于对所述图像进行帧间运动估计；分段多模式优化模块，用于从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；及用于固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。
进一步的，本申请还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现所述方法的步骤。
进一步的，本申请还提供一种应用于在线匹配优化方法的三维扫描系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
实施本发明的基于分段优化策略的三维扫描图像优化方法和系统，通过采用分段多模式优化策略，对所述图像数据进行分段处理，并从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对所述每段数据之间进行优化，并且固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，能够在不同的抽象层数上对问题进行建模，实现快速准确优化。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的一个实施例中的一种基于三维图像分段多模式优化的方法的流程图；
图2是三维扫描系统的典型光路示意图；
图3是本发明的一个实施例中的一种结合几何和纹理的在线匹配优化的流程细节示意图；
图4是融合构网后的效果示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
请参考图1，该方法包括：
获取三维扫描图像，对所述图像进行帧间运动估计；
将所述图像分为多段数据，并对所述每段数据进行位姿优化；
从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；
固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。
本发明方案还包括：
S1、获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像。
具体的，请参考图2，其为三维扫描系统的典型光路示意图，当前存在两个光路，其中，光束A为结构光，且，光束A以白光穿透特定编码图案后，将进一步投射到被测物体。光束B为纹理照明光，且，光束B以白光直接投射到被测物体。另外，在光束B投射的同时，摄像装置将开启拍照功能，其曝光时间与光束投射的时间脉冲严格同步。需要说明的是，在完成对光束A的单次投射的同时，摄像装置也完了对光束A投射的物体的单次拍照。紧接着光束B开启投射，并由摄像装置对光束B投射的物体完成单次拍照。以上为测量过程的单个周期。当以一定重复频率反复的进行上述过程，同时三维扫描装置和被测物体的相对位置和相对角度连续变化，即可完成对物三维扫描装置结构的连续测量。
可选地，在其中一个实施例中，上述的三维扫描装置将应用于连续快速测量模式下，当前模式下，光束A、B将采用交替投射的方式，完成对被测物体的测量。其中，上述的三维扫描装置发出的光束将以高功率短脉冲的形式输出，这也为后续的高精度测量提供了良好的基础。需要说明的是，当前实施例中，光束A的瞬时功率可达千瓦量级，脉宽在百微秒量级；光束B的瞬时功率为百瓦量级，脉宽在百微秒量级；光束A、B之间的时间差和两者的相机曝光时间均为百微秒量级。
S2、采用逐步求精的策略，将当前帧的所对应的深度纹理图像与样本帧所对应的深度纹理图像进行特征匹配，以对所述深度传感器的初步位姿进行估计。
具体地，步骤S2中，所述对所述深度传感器的初步位姿进行估计，包括：
S21、针对所述深度纹理图像中，当前所需匹配的各个图像帧，获取与所述图像帧相适应的样本帧；
S22、针对各所述图像帧和样本帧，提取相应的图像特征数据，并在所述图像帧和对应的样本帧之间进行图像特征匹配，得到多个初始特征对；
S23、从所述多个初始特征对中筛选出初始变换矩阵，并根据所述初始变换矩阵对所述深度传感器的初步位姿进行估计。
具体的，本申请考虑从拍摄到的RGB图像中提取SIFT特征，并基于提取到的SIFT特征，在当前帧和样本帧之间进行特征匹配。需要说明的是，SIFT是一种广泛应用的特征检测器和描述符，在特征点描述的细致与稳定程度上明显高于其他特征。在SIFT匹配过程中，通过在图像帧Fi中查找最近邻得到帧Fj的每个关键点的最佳候选匹配。这种暴力匹配方法可得到帧Fj与帧Fi之间的N对初始特征对，用向量(U；V)表示，这些特征对中包含正确数据(Inliers)也包含异常数据(Outliers)。为了能够从匹配到的这些特征对中筛选出正确数据，本申请利用RANSAC算法从包含异常数据的样本数据集筛选有效样本数据。RANSAC算法的思想是：从N中随机抽选一组RANSAC样本并计算变换矩阵(r；t)，根据(r；t)，计算满足预设误差度量函数(见下述的公式(1))的一致性点集的个数，即内点Inliers的个数f，见下述的公式(2)。如此循环迭代，得到最大f的一致集，再通过一致集计算得到最优的变换矩阵：
其中，I(Ui,Vi,r,t)表示第i个匹配点对(Ui,Vi)在当前(r；t)的约束下能够满足预设的条件阈值d、θ，满足则I＝1，否则I＝0。NPi，NQi分别表示三维点Pi,Qi的单位法向量。N为匹配点对的总数量。f(r,t)为内点的个数。
S3、结合几何约束与纹理约束对步骤S2估计得到的初步位姿进行优化，得到精化后的帧间运动估计。
具体的，步骤S3中，所述结合几何约束与纹理约束对步骤S2估计得到的初步位姿进行优化，得到精化后的帧间运动估计，包括：
S31、以所述初始变换矩阵为优化目标，根据下述公式构建初始优化函数E1：
其中，G为几何约束，L为纹理约束，ω为纹理约束的置信度，κi,j为匹配点对集合，p为图像帧i的三维点，q为三维点p在图像帧j中的对应点，m为预设的匹配点对总数量。
具体的，结合几何与光学约束，当前实施例中的最小化的目标包括两部分：一是每个目标点与其对应源点的切线平面之间的距离，一是每个目标点与其对应源点梯度误差，二者将根据实际应用分配不同的权重w。
在当前帧Fi与样本帧Fj对应的匹配点集κi,j中，假设，p＝(px,py,pz,1)T为源点云，q＝(px,py,pz,1)T为与p对应的目标点云，n＝(nx,ny,nz,1)T是单位法向量，gp为源点云p的梯度值，gq为目标点云q的梯度值，m为匹配点对个数，在对上述的公式(3)进行迭代优化的时候，每次迭代的目标是找到最优的(ropt；topt)，其中，(ropt；topt)满足下式：
S32、使用非线性的优化方法对所述优化目标进行迭代优化计算，并在达到预设的迭代结束条件时，基于最后一次迭代输出的最优变换矩阵，得到精化后的帧间运动估计。
具体的，为了求解上述构建的目标函数，本实施例中将初始变换矩阵定义为六个参数的向量：即ξ＝(α,β,γ,a,b,c)，则初始变换矩阵就可线性表示为：
其中，Tk是最后一次迭代的变换估计，当前使用高斯牛顿法(Jr TJr+λI)ξ＝-JrTr求解参数ξ，并将参数ξ应用到Tk以更新T，其中，r是残差，Jr是雅克比矩阵。
在其中一个实施例中，预设的迭代结束条件可以为到达预设的最大迭代次数等，不同实施例中可以根据实际的应用场景进行灵活调整。
上述实施例中，融合了几何以及光学双重约束，充分利用纹理信息，提出对纹理影像进行计算求解，得到对光照不敏感、抗干扰能力强的特征值来替代未加工的像素强度，使系统对光学变化的适应性更强，配准结果更加稳健。
S4、将通过帧间运动估计得到的数据进行分段处理，得到多个数据段，并每个所述数据段中的位姿进行优化；其中，各所述数据段中均包括多个图像帧。
S5、针对各个数据段，分别从所述数据段中包括的多个图像帧中选取一个关键帧，结合各所述关键帧和回环信息，进行段和段之间的联立优化。
可选地，关键帧的提取需要满足以下几种情况中的至少一种：
(1)每N个图像帧中至少有一个关键帧，以通过所述关键帧表达全局信息。
(2)在当前图像帧与上一图像帧能匹配上，但该当前图像帧却无法与预设的参考关键帧匹配时，该当前图像帧的前一图像帧将被添加到预设的关键帧集，以保证轨迹跟踪的连续性。
(3)虽然在当前图像帧与上一图像帧能匹配上，同时该当前图像帧也能够与预设的参考关键帧相匹配，但，该当前图像帧却与预设的参考关键帧的重叠率不够，此时，需要将该当前图像帧添加到预设的关键帧集，以保证相邻关键帧之间存在重叠。
在其中一个实施例中，深度传感器的绝对位姿估计，随着时间的累积将存在较大的位姿误差，且实施步骤S4的局部优化措施后，段和段之间的位姿信息不具备全局一致性，累积误差仍然存在，此时，为了克服上述存在的问题，本实施例中利用回环信息和各所述关键帧，进行段和段之间的联立优化。需要说明的是，回环信息通常直接基于图像或者基于特征进行计算得到。在一个实施例中，为了得到准确的回环信息，本申请采用帧间匹配的方法，将各相邻的关键帧进行两两匹配，且在匹配成功、以及重叠率达到设定的阈值时，则形成相应的回环。
另外，由于关键帧贯穿整个跟踪过程，可以充分体现全局，为了提高位姿优化效率，本实施例中的全局优化并不是所有帧都参与，而是从每个数据段中选取一帧代表该数据段，此图像帧统称为关键帧，再结合回环信息进行全局优化，此时通过全局优化可快速消除大部分的累积误差。
上述实施例中，基于分段多模式优化策略，能够在不同的抽象层数上对问题进行建模，实现快速准确优化。
S6、针对各个数据段，分别固定相应数据段中关键帧的位姿，并对所述数据段内其他图像帧的位姿进行优化，得到全局一致的过渡平滑的运动轨迹图。
具体的，当前通过全局位姿图的优化，已经完成了对关键帧的位姿的更新。然而，为了得到全局一致的过渡平滑的运动轨迹，当前局部范围内的位姿也需要更新。因此，本实施例中采用分层的思想，并没有同时优化所有的图像帧，将每段关键帧的位姿进行固定，仅优化段内其他图像帧的位姿。
S7、结合通过所述深度传感器测量得到的相对位姿、以及通过所述运动轨迹图估计得到的绝对位姿，构建相应的目标优化函数。
S8、将预设的惩罚因子融入所述目标优化函数中，通过迭代变换估计，对在进行帧间匹配时，随着扫描帧数的累积增加，随之所产生的累积误差进行消除，并进行融合构网。
E2＝∑i,jρ(e2(pi,pj；∑i,j,Ti,j))； (6)
其中，将估计得到的绝对位姿作为一个节点，pi表示节点i，pj表示节点j；Ti,j表示节点i与节点j之间的相对位姿，∑i,j表示对所有约束对进行加和；e2(pi,pj；∑i,j,Ti,j)＝e(pi,pj；Ti,j)T∑i,j -1e(pi,pj；Ti,j)，e(pi,pj；Ti,j)＝Ti,j-pi -1pj；ρ为融入的惩罚因子。
在其中一个实施例中，
u＝d2，d为重建物体的表面直径。其中，考虑到一个适当的惩罚函数可以在不增加额外计算成本的情况下良好的进行校验与筛选，当前实施例中选用的是M估计中的Geman-mclure函数，即
由于上述的公式(6)难以直接优化，当前假设关系l，并假定目标优化函数E2为：
E2＝∑i,jl(e2(pi,pj；∑i,j,Ti,j)+∑i,jψ(l)； (7)
其中，已知
最小化公式E2，对l求偏导即可得到
在实际计算的时候，将l看作置信度，且由于残差较小的约束对所产生的误差权重更高，更可信；相反，残差较大的约束对更加不可信，以此达到校验，实现剔除的目的，得到鲁棒的优化效果。此外，参数μ的选取也至关重要，μ＝d2，代表重建物体的表面直径，控制残差对目标显著影响的范围。较大的μ使目标函数更平滑，并允许更多的对应项参与优化,。随着μ减小，目标函数变得更尖锐，更多异常匹配被剔除，参与优化的数据更精确。
为了求解这个非线性平方误差函数问题，当前实施例中同样按照公式(5)对变换矩阵进行转化，考虑到位姿图中，只有少部分的节点存在直接边的联系，即姿态图的稀疏性，同时为了数值的稳定性，当前实施例中采用稀疏的BA算法来求解，稀疏BA通常使用LM方法进行优化，LM在高斯牛顿的基础上加入了一个正定对角阵，即通过(JrTJr+λI)ξ＝-JrTr来求解ξ。
需要说明的是，快速优化后的效果如图4(c)所示，再进行融合构网，效果如图4(d)所示。
在一个实施例中，还提供了一种应用于所述的在线匹配优化方法的三维扫描系统，所述系统包括：
获取模块，用于获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像；
帧间运动估计模块，用于采用逐步求精的策略，将当前帧的所对应的深度纹理图像对与样本帧所对应的深度纹理图像对进行特征匹配，以对所述深度传感器的初步位姿进行估计，并结合几何约束与纹理约束对估计得到的初步位姿进行优化，得到精化后的帧间运动估计；
多模式优化模块，用于将通过帧间运动估计得到的数据进行分段处理，得到多个数据段，并每个所述数据段中的位姿进行优化；其中，各所述数据段中均包括多个图像帧；针对各个数据段，分别从所述数据段中包括的多个图像帧中选取一个关键帧，结合各所述关键帧和回环信息，进行段和段之间的联立优化，以及固定相应数据段中关键帧的位姿，并对所述数据段内其他图像帧的位姿进行优化，得到全局一致的过渡平滑的运动轨迹图；
累积误差消除模块，用于结合通过所述深度传感器测量得到的相对位姿、以及通过所述运动轨迹图估计得到的绝对位姿，构建相应的目标优化函数；还用于将预设的惩罚因子融入所述目标优化函数中，通过迭代变换估计，对在进行帧间匹配时，随着扫描帧数的累积增加，随之所产生的累积误差进行消除，并进行融合构网。
在一个实施例中，所述深度传感器包括投射模块和深度信息采集模块，所述投射模块用于投射白光或特定波长的结构光束到被测物体的表面，所述深度信息采集模块用于在所述投射模块投射结构光束时，采集被测物体表面的深度信息；所述摄像装置包括纹理信息采集模块，所述纹理信息采集模块用于在摄像装置投射纹理照明光束到被测物体的表面时，采集被测物体表面的纹理信息。
这里，所述结构光束和所述纹理照明光束交替投射，并在完成对所述结构光束的单次投射时，由所述深度信息采集模块完成对被测物体表面的深度信息的采集，并随之开启对所述纹理照明光束的投射，以及由所述摄像装置对纹理照明光束投射的被测物体表面的纹理信息进行单次采集；
以上为被测物体表面的纹理信息和深度信息的测量过程的单个周期，当以一定的重复频率反复的进行上述测量过程时，所述摄像装置、深度传感器和被测物体之间的相对位置和相对角度将发生连续变化，即可完成对所述被测物体结构的连续测量。
在一个实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项在线匹配优化方法的步骤。
在一个实施例中，还提供了一种应用于的在线匹配优化方法的三维扫描设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
实施本发明的一种结合几何和纹理的在线匹配优化方法和三维扫描系统，一方面融合了几何以及光学双重约束，充分利用纹理信息，提出对纹理影像进行计算求解，得到对光照不敏感、抗干扰能力强的特征值来替代未加工的像素强度，使系统对光学变化的适应性更强，配准结果更加稳健。另一方面，采用逐步求精的策略，将复杂问题进行分解简化，先通过特征初步估计位姿，再对位姿进行精化处理，逐步得到精确的位姿估计。另外，在后续建立的优化目标函数中加入惩罚因子，在不增加额外计算成本的情况下，可以对不同约束对进行良好的校验与筛选，确保优化的准确与稳定，并且采用分段多模式优化策略，能够在不同的抽象层数上对问题进行建模，实现快速准确优化。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (6)
1.一种基于三维图像分段多模式优化的方法，其特征在于，所述方法包括：
获取三维扫描图像，对所述图像进行帧间运动估计；
将所述图像分为多段数据，并对所述每段数据进行位姿优化；
从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；
固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。
2.根据权利要求1所述的方法，其特征在于，从所述每段数据中选取一个关键帧，包括：
若当前图像帧能表达全局信息，则当前图像帧作为预设关键帧；
或者，
若当前图像帧与上一图像帧能匹配上，但该当前图像帧却无法与预设的参考关键帧匹配时，则将将当前图像帧的前一图像帧作为预设关键帧；
或者，
若当前图像帧与上一图像帧及预设的参考关键帧均匹配，且该当前图像帧与预设的参考关键帧的重叠率满足预设条件，则将当前图像帧作为预设关键帧。
3.根据权利要求1所述的方法，其特征在于，所述回环信息，包括：
将各相邻的关键帧进行匹配，在匹配成功并且重叠率达到设定的阈值时，则确定形成相应的回环，获取所述相应回环信息。
4.一种三维图像扫描设备，其特征在于，所述设备包括：
获取模块，用于获取三维扫描图像；
帧间运动估计模块，用于对所述图像进行帧间运动估计；
分段多模式优化模块，用于：从所述每段数据中选取一个关键帧，结合所述关键帧以及回环信息，对段与段之间进行优化；
固定所述每段数据的所述关键帧，对所述每段数据内的其他图像帧进行优化，得到全局运动轨迹图。
5.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至3任一项所述的方法的步骤。
6.一种三维扫描系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210771021.8A CN115810037A (zh) | 2021-06-04 | 2021-06-04 | 一种基于三维图像分段多模式优化的方法、设备、介质和系统 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210771021.8A CN115810037A (zh) | 2021-06-04 | 2021-06-04 | 一种基于三维图像分段多模式优化的方法、设备、介质和系统 |
| CN202110625611.5A CN113284176B (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110625611.5A Division CN113284176B (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115810037A true CN115810037A (zh) | 2023-03-17 |
Family
ID=77283462
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210771022.2A Pending CN115810038A (zh) | 2021-06-04 | 2021-06-04 | 一种三维图像匹配优化方法、介质和系统 |
| CN202210772666.3A Pending CN115170634A (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法、设备、介质和系统 |
| CN202110625611.5A Active CN113284176B (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 |
| CN202210771021.8A Pending CN115810037A (zh) | 2021-06-04 | 2021-06-04 | 一种基于三维图像分段多模式优化的方法、设备、介质和系统 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210771022.2A Pending CN115810038A (zh) | 2021-06-04 | 2021-06-04 | 一种三维图像匹配优化方法、介质和系统 |
| CN202210772666.3A Pending CN115170634A (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法、设备、介质和系统 |
| CN202110625611.5A Active CN113284176B (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230237693A1 (zh) |
| EP (1) | EP4350627A1 (zh) |
| CN (4) | CN115810038A (zh) |
| WO (1) | WO2022252362A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704587B (zh) * | 2023-08-02 | 2023-10-20 | 山东建筑大学 | 融合纹理信息和深度信息的多人头部姿态估计方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010081B (zh) * | 2017-12-01 | 2021-12-17 | 中山大学 | 一种基于Census变换和局部图优化的RGB-D视觉里程计方法 |
| CN108537876B (zh) * | 2018-03-05 | 2020-10-16 | 清华-伯克利深圳学院筹备办公室 | 三维重建方法、装置、设备及存储介质 |
| US11170224B2 (en) * | 2018-05-25 | 2021-11-09 | Vangogh Imaging, Inc. | Keyframe-based object scanning and tracking |
| CN109658449B (zh) * | 2018-12-03 | 2020-07-10 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN112802096A (zh) * | 2019-11-14 | 2021-05-14 | 北京三星通信技术研究有限公司 | 实时定位和建图的实现装置和方法 |
| CN111105460B (zh) * | 2019-12-26 | 2023-04-25 | 电子科技大学 | 一种室内场景三维重建的rgb-d相机位姿估计方法 |
| CN112541423A (zh) * | 2020-12-09 | 2021-03-23 | 北京理工大学重庆创新中心 | 一种同步定位与地图构建方法和系统 |
-
2021
- 2021-06-04 CN CN202210771022.2A patent/CN115810038A/zh active Pending
- 2021-06-04 CN CN202210772666.3A patent/CN115170634A/zh active Pending
- 2021-06-04 CN CN202110625611.5A patent/CN113284176B/zh active Active
- 2021-06-04 CN CN202210771021.8A patent/CN115810037A/zh active Pending
- 2021-07-19 WO PCT/CN2021/107088 patent/WO2022252362A1/zh active Application Filing
- 2021-07-19 EP EP21943719.1A patent/EP4350627A1/en active Pending
-
2023
- 2023-03-14 US US18/121,573 patent/US20230237693A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN115810038A (zh) | 2023-03-17 |
| US20230237693A1 (en) | 2023-07-27 |
| EP4350627A1 (en) | 2024-04-10 |
| CN113284176A (zh) | 2021-08-20 |
| WO2022252362A1 (zh) | 2022-12-08 |
| CN113284176B (zh) | 2022-08-16 |
| CN115170634A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Self-supervised learning with geometric constraints in monocular video: Connecting flow, depth, and camera | |
| Liu et al. | Unsupervised Learning of Scene Flow Estimation Fusing with Local Rigidity. | |
| Tang et al. | Ba-net: Dense bundle adjustment network | |
| Wu et al. | Pointpwc-net: A coarse-to-fine network for supervised and self-supervised scene flow estimation on 3d point clouds | |
| CN114782691B (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
| Zhang et al. | Go-slam: Global optimization for consistent 3d instant reconstruction | |
| Shi et al. | Calibrcnn: Calibrating camera and lidar by recurrent convolutional neural network and geometric constraints | |
| Yan et al. | Dense visual SLAM with probabilistic surfel map | |
| Schenk et al. | RESLAM: A real-time robust edge-based SLAM system | |
| US11651581B2 (en) | System and method for correspondence map determination | |
| CN111951201A (zh) | 一种无人机航拍图像拼接方法、装置和存储介质 | |
| CN113658337A (zh) | 一种基于车辙线的多模态里程计方法 | |
| Zhuang et al. | Degeneracy in self-calibration revisited and a deep learning solution for uncalibrated slam | |
| Guadagnino et al. | Fast sparse LiDAR odometry using self-supervised feature selection on intensity images | |
| CN113284176B (zh) | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 | |
| CN116468769A (zh) | 一种基于图像的深度信息估计方法 | |
| Baur et al. | Real-time 3D LiDAR flow for autonomous vehicles | |
| Johari et al. | Depthinspace: Exploitation and fusion of multiple video frames for structured-light depth estimation | |
| CN110533733B (zh) | 一种基于计算鬼成像的自动搜索目标深度的方法 | |
| CN116309775A (zh) | 一种将基于多基的深度补全网络与slam融合的方法 | |
| Wang et al. | A practical stereo depth system for smart glasses | |
| Wang et al. | FlowNorm: A learning-based method for increasing convergence range of direct alignment | |
| Chen et al. | MetaComp: Learning to Adapt for Online Depth Completion | |
| Wu et al. | KN-SLAM: Keypoints and Neural Implicit Encoding SLAM | |
| Liu et al. | JOAStereo: Joint Learning Structured Light and Reconstruction for Generalizable Active Stereo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |