CN113284176B - 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 - Google Patents
一种结合几何和纹理的在线匹配优化方法和三维扫描系统 Download PDFInfo
- Publication number
- CN113284176B CN113284176B CN202110625611.5A CN202110625611A CN113284176B CN 113284176 B CN113284176 B CN 113284176B CN 202110625611 A CN202110625611 A CN 202110625611A CN 113284176 B CN113284176 B CN 113284176B
- Authority
- CN
- China
- Prior art keywords
- depth
- texture
- frame
- image
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 14
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000002156 mixing Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种结合几何和纹理的在线匹配优化方法和三维扫描系统，该方法包括：获取一一对应的深度纹理图像对，深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像；采用逐步求精的策略，将当前帧的深度纹理图像与样本帧的深度纹理图像对进行特征匹配，以对深度传感器的初步位姿进行估计；结合几何约束与纹理约束对估计得到的初步位姿进行优化，得到精化后的帧间运动估计；将通过帧间运动估计得到的数据进行分段处理，针对分段得到的每一个数据段，在相应数据段中选取一个关键帧，采用局部‑全局‑局部的多模式优化策略，在消除由累计误差造成的总体偏差之后，进行融合构网。本方法能够提高帧间匹配效率和精度。
Description
技术领域
本发明属于图像识别领域，更具体地说，涉及一种结合几何和纹理的在线匹配优化方法和三维扫描系统。
背景技术
近年来，三维扫描作为一种快速三维数字化技术被越来越多地应用在各个领域，包括逆向工程、工业检测、计算机视觉、CG制作等等，特别是在当前发展迅猛的3D打印和智能制造领域，三维扫描作为前端三维数字化和三维视觉传感技术，已经成为产业链上的重要一环；同时，各类应用在三维扫描的成本、实用性、精确性和可靠性等诸多方面提出了更高的要求。
由于传统的三维扫描方式中，比如直接法，直接用像素灰度进行匹配，导致系统对光学变化的适应性较差，受环境干扰比较大，配准结果不稳定，并且位姿估计偏差较大，同时传统方法中，在进行优化时，将所有的帧一起优化，数据处理量很大，存在优化效率低下的问题。另外，传统的方法缺少有效的惩罚机制，不能很好的筛选错误的匹配或者置信度不高的结果。
发明内容
本发明提供了一种能够提高扫描效率的结合几何和纹理的在线匹配优化方法和三维扫描系统，。
本发明解决其技术问题所采用的技术方案是：一种结合几何和纹理的在线匹配优化方法，所述方法包括：
S1、获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像；
S2、采用逐步求精的策略，将当前帧的所对应的深度纹理图像与样本帧所对应的深度纹理图像进行特征匹配，以对所述深度传感器的初步位姿进行估计；
S3、结合几何约束与纹理约束对步骤S2估计得到的初步位姿进行优化，得到精化后的帧间运动估计；
S4、将通过帧间运动估计得到的数据进行分段处理，得到多个数据段，并每个所述数据段中的位姿进行优化；其中，各所述数据段中均包括多个图像帧；
S5、针对各个数据段，分别从所述数据段中包括的多个图像帧中选取一个关键帧，结合各所述关键帧和回环信息，进行段和段之间的联立优化；
S6、针对各个数据段，分别固定相应数据段中关键帧的位姿，并对所述数据段内其他图像帧的位姿进行优化，得到全局一致的过渡平滑的运动轨迹图；
S7、结合通过所述深度传感器测量得到的相对位姿、以及通过所述运动轨迹图估计得到的绝对位姿，构建相应的目标优化函数；
S8、将预设的惩罚因子融入所述目标优化函数中，通过迭代变换估计，对在进行帧间匹配时，随着扫描帧数的累积增加，随之所产生的累积误差进行消除，并进行融合构网。
本发明公开的应用于所述的在线匹配优化方法的三维扫描系统，所述系统包括：
获取模块，用于获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像；
帧间运动估计模块，用于采用逐步求精的策略，将当前帧的所对应的深度纹理图像对与样本帧所对应的深度纹理图像对进行特征匹配，以对所述深度传感器的初步位姿进行估计，并结合几何约束与纹理约束对估计得到的初步位姿进行优化，得到精化后的帧间运动估计；
多模式优化模块，用于将通过帧间运动估计得到的数据进行分段处理，得到多个数据段，并每个所述数据段中的位姿进行优化；其中，各所述数据段中均包括多个图像帧；针对各个数据段，分别从所述数据段中包括的多个图像帧中选取一个关键帧，结合各所述关键帧和回环信息，进行段和段之间的联立优化，以及固定相应数据段中关键帧的位姿，并对所述数据段内其他图像帧的位姿进行优化，得到全局一致的过渡平滑的运动轨迹图；
累积误差消除模块，用于结合通过所述深度传感器测量得到的相对位姿、以及通过所述运动轨迹图估计得到的绝对位姿，构建相应的目标优化函数；还用于将预设的惩罚因子融入所述目标优化函数中，通过迭代变换估计，对在进行帧间匹配时，随着扫描帧数的累积增加，随之所产生的累积误差进行消除，并进行融合构网。
本发明公开的一种应用于在线匹配优化方法的三维扫描设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的结合几何和纹理的在线匹配优化方法的步骤。
实施本发明的结合几何和纹理的在线匹配优化方法和三维扫描系统，一方面融合了几何以及光学双重约束，充分利用纹理信息，提出对纹理影像进行计算求解，得到对光照不敏感、抗干扰能力强的特征值来替代未加工的像素强度，使系统对光学变化的适应性更强，配准结果更加稳健。另一方面，采用逐步求精的策略，将复杂问题进行分解简化，先通过特征初步估计位姿，再对位姿进行精化处理，逐步得到精确的位姿估计。另外，在后续建立的优化目标函数中加入惩罚因子，在不增加额外计算成本的情况下，可以对不同约束对进行良好的校验与筛选，确保位姿优化的准确与稳定，并且采用分段多模式优化策略，能够在不同的抽象层数上对问题进行建模，实现快速准确优化。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的一个实施例中的一种结合几何和纹理的在线匹配优化方法的流程图；
图2是三维扫描系统的典型光路示意图；
图3是本发明的一个实施例中的一种结合几何和纹理的在线匹配优化的流程细节示意图；
图4是融合构网后的效果示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
请参考图1，其为本发明的一个实施例中的一种结合几何和纹理的在线匹配优化方法的流程图，该方法包括：
S1、获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像。
具体的，请参考图2，其为三维扫描系统的典型光路示意图，当前存在两个光路，其中，光束A为结构光，且，光束A以白光穿透特定编码图案后，将进一步投射到被测物体。光束B为纹理照明光，且，光束B以白光直接投射到被测物体。另外，在光束B投射的同时，摄像装置将开启拍照功能，其曝光时间与光束投射的时间脉冲严格同步。需要说明的是，在完成对光束A的单次投射的同时，摄像装置也完了对光束A投射的物体的单次拍照。紧接着光束B开启投射，并由摄像装置对光束B投射的物体完成单次拍照。以上为测量过程的单个周期。当以一定重复频率反复的进行上述过程，同时三维扫描装置和被测物体的相对位置和相对角度连续变化，即可完成对物三维扫描装置结构的连续测量。
可选地，在其中一个实施例中，上述的三维扫描装置将应用于连续快速测量模式下，当前模式下，光束A、B将采用交替投射的方式，完成对被测物体的测量。其中，上述的三维扫描装置发出的光束将以高功率短脉冲的形式输出，这也为后续的高精度测量提供了良好的基础。需要说明的是，当前实施例中，光束A的瞬时功率可达千瓦量级，脉宽在百微秒量级；光束B的瞬时功率为百瓦量级，脉宽在百微秒量级；光束A、B之间的时间差和两者的相机曝光时间均为百微秒量级。
S2、采用逐步求精的策略，将当前帧的所对应的深度纹理图像与样本帧所对应的深度纹理图像进行特征匹配，以对所述深度传感器的初步位姿进行估计。
具体地，步骤S2中，所述对所述深度传感器的初步位姿进行估计，包括：
S21、针对所述深度纹理图像中，当前所需匹配的各个图像帧，获取与所述图像帧相适应的样本帧；
S22、针对各所述图像帧和样本帧，提取相应的图像特征数据，并在所述图像帧和对应的样本帧之间进行图像特征匹配，得到多个初始特征对；
S23、从所述多个初始特征对中筛选出初始变换矩阵，并根据所述初始变换矩阵对所述深度传感器的初步位姿进行估计。
具体的，本申请考虑从拍摄到的RGB图像中提取SIFT特征，并基于提取到的SIFT特征，在当前帧和样本帧之间进行特征匹配。需要说明的是，SIFT是一种广泛应用的特征检测器和描述符，在特征点描述的细致与稳定程度上明显高于其他特征。在SIFT匹配过程中，通过在图像帧Fi中查找最近邻得到帧Fj的每个关键点的最佳候选匹配。这种暴力匹配方法可得到帧Fj与帧Fi之间的N对初始特征对，用向量(U；V)表示，这些特征对中包含正确数据(Inliers)也包含异常数据(Outliers)。为了能够从匹配到的这些特征对中筛选出正确数据，本申请利用RANSAC算法从包含异常数据的样本数据集筛选有效样本数据。RANSAC算法的思想是：从N中随机抽选一组RANSAC样本并计算变换矩阵(r；t)，根据(r；t)，计算满足预设误差度量函数(见下述的公式(1))的一致性点集的个数，即内点Inliers的个数f，见下述的公式(2)。如此循环迭代，得到最大f的一致集，再通过一致集计算得到最优的变换矩阵：
其中，I(Ui,Vi,r,t)表示第i个匹配点对(Ui,Vi)在当前(r；t)的约束下能够满足预设的条件阈值d、θ，满足则I＝1，否则I＝0。NPi，NQi分别表示三维点Pi,Qi的单位法向量。N为匹配点对的总数量。f(r,t)为内点的个数。
S3、结合几何约束与纹理约束对步骤S2估计得到的初步位姿进行优化，得到精化后的帧间运动估计。
具体的，步骤S3中，所述结合几何约束与纹理约束对步骤S2估计得到的初步位姿进行优化，得到精化后的帧间运动估计，包括：
S31、以所述初始变换矩阵为优化目标，根据下述公式构建初始优化函数E1：
其中，G为几何约束，L为纹理约束，ω为纹理约束的置信度，κi,j为匹配点对集合，p为图像帧i的三维点，q为三维点p在图像帧j中的对应点，m为预设的匹配点对总数量。
具体的，结合几何与光学约束，当前实施例中的最小化的目标包括两部分：一是每个目标点与其对应源点的切线平面之间的距离，一是每个目标点与其对应源点梯度误差，二者将根据实际应用分配不同的权重w。
在其中一个实施例中，具体的，在当前帧Fi与样本帧Fj对应的匹配点集κi,j中，假设，p＝(px,py,pz,1)T为源点云，q＝(qx,qy,qz,1)T为与p对应的目标点云，n＝(nx,ny,nz,1)T是单位法向量，gp为源点云p的梯度值，gq为目标点云q的梯度值，m为匹配点对个数，在对上述的公式(3)进行迭代优化的时候，每次迭代的目标是找到最优的(ropt；topt)，其中，(ropt；topt)满足下式：
S32、使用非线性的优化方法对所述优化目标进行迭代优化计算，并在达到预设的迭代结束条件时，基于最后一次迭代输出的最优变换矩阵，得到精化后的帧间运动估计。
具体的，为了求解上述构建的目标函数，本实施例中将初始变换矩阵定义为六个参数的向量：即ξ＝(α,β,γ,a,b,c)，则初始变换矩阵就可线性表示为：
其中，Tk是最后一次迭代的变换估计，当前使用高斯牛顿法Jr TJrξ＝-Jr Tr求解参数ξ，并将参数ξ应用到Tk以更新T，其中，r是残差，Jr是雅克比矩阵。
在其中一个实施例中，预设的迭代结束条件可以为到达预设的最大迭代次数等，不同实施例中可以根据实际的应用场景进行灵活调整。
上述实施例中，融合了几何以及光学双重约束，充分利用纹理信息，提出对纹理影像进行计算求解，得到对光照不敏感、抗干扰能力强的特征值来替代未加工的像素强度，使系统对光学变化的适应性更强，配准结果更加稳健。
S4、将通过帧间运动估计得到的数据进行分段处理，得到多个数据段，并每个所述数据段中的位姿进行优化；其中，各所述数据段中均包括多个图像帧。
S5、针对各个数据段，分别从所述数据段中包括的多个图像帧中选取一个关键帧，结合各所述关键帧和回环信息，进行段和段之间的联立优化。
可选地，关键帧的提取需要满足以下几种情况中的至少一种：
(1)每N个图像帧中至少有一个关键帧，以通过所述关键帧表达全局信息。
(2)在当前图像帧与上一图像帧能匹配上，但该当前图像帧却无法与预设的参考关键帧匹配时，该当前图像帧的前一图像帧将被添加到预设的关键帧集，以保证轨迹跟踪的连续性。
(3)虽然在当前图像帧与上一图像帧能匹配上，同时该当前图像帧也能够与预设的参考关键帧相匹配，但，该当前图像帧却与预设的参考关键帧的重叠率不够，此时，需要将该当前图像帧添加到预设的关键帧集，以保证相邻关键帧之间存在重叠。
在其中一个实施例中，深度传感器的绝对位姿估计，随着时间的累积将存在较大的位姿误差，且实施步骤S4的局部优化措施后，段和段之间的位姿信息不具备全局一致性，累积误差仍然存在，此时，为了克服上述存在的问题，本实施例中利用回环信息和各所述关键帧，进行段和段之间的联立优化。需要说明的是，回环信息通常直接基于图像或者基于特征进行计算得到。在一个实施例中，为了得到准确的回环信息，本申请采用帧间匹配的方法，将各相邻的关键帧进行两两匹配，且在匹配成功、以及重叠率达到设定的阈值时，则形成相应的回环。
另外，由于关键帧贯穿整个跟踪过程，可以充分体现全局，为了提高位姿优化效率，本实施例中的全局优化并不是所有帧都参与，而是从每个数据段中选取一帧代表该数据段，此图像帧统称为关键帧，再结合回环信息进行全局优化，此时通过全局优化可快速消除大部分的累积误差。
上述实施例中，基于分段多模式优化策略，能够在不同的抽象层数上对问题进行建模，实现快速准确优化。
S6、针对各个数据段，分别固定相应数据段中关键帧的位姿，并对所述数据段内其他图像帧的位姿进行优化，得到全局一致的过渡平滑的运动轨迹图。
具体的，当前通过全局位姿图的优化，已经完成了对关键帧的位姿的更新。然而，为了得到全局一致的过渡平滑的运动轨迹，当前局部范围内的位姿也需要更新。因此，本实施例中采用分层的思想，并没有同时优化所有的图像帧，将每段关键帧的位姿进行固定，仅优化段内其他图像帧的位姿。
S7、结合通过所述深度传感器测量得到的相对位姿、以及通过所述运动轨迹图估计得到的绝对位姿，构建相应的目标优化函数。
S8、将预设的惩罚因子融入所述目标优化函数中，通过迭代变换估计，对在进行帧间匹配时，随着扫描帧数的累积增加，随之所产生的累积误差进行消除，并进行融合构网。
具体的，步骤S8中，在将预设的惩罚因子融入所述目标优化函数时，所述目标优化函数E2的表达公式具体为：
E2＝∑i,jρ(e2(pi,pj；∑i,j,Ti,j))； (6)
其中，将估计得到的绝对位姿作为一个节点，pi表示节点i，pj表示节点j；Ti,j表示节点i与节点j之间的相对位姿，∑i,j表示对所有约束对进行加和；e2(pi,pj；∑i,j,Tij)＝e(pi,pj；Ti,j)T∑i,j -1e(pi,pj；Ti,j)，e(pi,pj；Ti,j)＝Ti,j-pi -1pj；ρ为融入的惩罚因子。
在其中一个实施例中，
u＝d2，d为重建物体的表面直径。其中，考虑到一个适当的惩罚函数可以在不增加额外计算成本的情况下良好的进行校验与筛选，当前实施例中选用的是M估计中的Geman-mclure函数，即
由于上述的公式(6)难以直接优化，当前假设关系l，并假定目标优化函数E2为：
E2＝∑i,jl(e2(pi,pj；∑i,j,Ti,j))+∑i,jψ(l)； (7)
其中，已知
最小化公式E2，对l求偏导即可得到
在实际计算的时候，将l看作置信度，且由于残差较小的约束对所产生的误差权重更高，更可信；相反，残差较大的约束对更加不可信，以此达到校验，实现剔除的目的，得到鲁棒的优化效果。此外，参数μ的选取也至关重要，μ＝d2，代表重建物体的表面直径，控制残差对目标显著影响的范围。较大的μ使目标函数更平滑，并允许更多的对应项参与优化,。随着μ减小，目标函数变得更尖锐，更多异常匹配被剔除，参与优化的数据更精确。
为了求解这个非线性平方误差函数问题，当前实施例中同样按照公式(5)对变换矩阵进行转化，考虑到位姿图中，只有少部分的节点存在直接边的联系，即姿态图的稀疏性，同时为了数值的稳定性，当前实施例中采用稀疏的BA算法来求解，稀疏BA通常使用LM方法进行优化，LM在高斯牛顿的基础上加入了一个正定对角阵，即通过(Jr TJr+λI)ξ＝-Jr Tr来求解ξ。
需要说明的是，快速优化后的效果如图4(c)所示，再进行融合构网，效果如图4(d)所示。
在一个实施例中，还提供了一种应用于所述的在线匹配优化方法的三维扫描系统，所述系统包括：
获取模块，用于获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像；
帧间运动估计模块，用于采用逐步求精的策略，将当前帧的所对应的深度纹理图像对与样本帧所对应的深度纹理图像对进行特征匹配，以对所述深度传感器的初步位姿进行估计，并结合几何约束与纹理约束对估计得到的初步位姿进行优化，得到精化后的帧间运动估计；
多模式优化模块，用于将通过帧间运动估计得到的数据进行分段处理，得到多个数据段，并每个所述数据段中的位姿进行优化；其中，各所述数据段中均包括多个图像帧；针对各个数据段，分别从所述数据段中包括的多个图像帧中选取一个关键帧，结合各所述关键帧和回环信息，进行段和段之间的联立优化，以及固定相应数据段中关键帧的位姿，并对所述数据段内其他图像帧的位姿进行优化，得到全局一致的过渡平滑的运动轨迹图；
累积误差消除模块，用于结合通过所述深度传感器测量得到的相对位姿、以及通过所述运动轨迹图估计得到的绝对位姿，构建相应的目标优化函数；还用于将预设的惩罚因子融入所述目标优化函数中，通过迭代变换估计，对在进行帧间匹配时，随着扫描帧数的累积增加，随之所产生的累积误差进行消除，并进行融合构网。
在一个实施例中，所述深度传感器包括投射模块和深度信息采集模块，所述投射模块用于投射白光或特定波长的结构光束到被测物体的表面，所述深度信息采集模块用于在所述投射模块投射结构光束时，采集被测物体表面的深度信息；所述摄像装置包括纹理信息采集模块，所述纹理信息采集模块用于在摄像装置投射纹理照明光束到被测物体的表面时，采集被测物体表面的纹理信息。
这里，所述结构光束和所述纹理照明光束交替投射，并在完成对所述结构光束的单次投射时，由所述深度信息采集模块完成对被测物体表面的深度信息的采集，并随之开启对所述纹理照明光束的投射，以及由所述摄像装置对纹理照明光束投射的被测物体表面的纹理信息进行单次采集；
以上为被测物体表面的纹理信息和深度信息的测量过程的单个周期，当以一定的重复频率反复的进行上述测量过程时，所述摄像装置、深度传感器和被测物体之间的相对位置和相对角度将发生连续变化，即可完成对所述被测物体结构的连续测量。
在一个实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项在线匹配优化方法的步骤。
在一个实施例中，还提供了一种应用于的在线匹配优化方法的三维扫描设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
实施本发明的一种结合几何和纹理的在线匹配优化方法和三维扫描系统，一方面融合了几何以及光学双重约束，充分利用纹理信息，提出对纹理影像进行计算求解，得到对光照不敏感、抗干扰能力强的特征值来替代未加工的像素强度，使系统对光学变化的适应性更强，配准结果更加稳健。另一方面，采用逐步求精的策略，将复杂问题进行分解简化，先通过特征初步估计位姿，再对位姿进行精化处理，逐步得到精确的位姿估计。另外，在后续建立的优化目标函数中加入惩罚因子，在不增加额外计算成本的情况下，可以对不同约束对进行良好的校验与筛选，确保优化的准确与稳定，并且采用分段多模式优化策略，能够在不同的抽象层数上对问题进行建模，实现快速准确优化。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (8)
1.一种结合几何和纹理的在线匹配优化方法，其特征在于，所述方法包括：
S1、获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像；
S2、采用逐步求精的策略，将当前帧的所对应的深度纹理图像与样本帧所对应的深度纹理图像进行特征匹配，以对所述深度传感器的初步位姿进行估计；
S3、结合几何约束与纹理约束对步骤S2估计得到的初步位姿进行优化，得到精化后的帧间运动估计；
S4、将通过帧间运动估计得到的数据进行分段处理，得到多个数据段，并每个所述数据段中的位姿进行优化；其中，各所述数据段中均包括多个图像帧；
S5、针对各个数据段，分别从所述数据段中包括的多个图像帧中选取一个关键帧，结合各所述关键帧和回环信息，进行段和段之间的联立优化；
S6、针对各个数据段，分别固定相应数据段中关键帧的位姿，并对所述数据段内其他图像帧的位姿进行优化，得到全局一致的过渡平滑的运动轨迹图；
S7、结合通过所述深度传感器测量得到的相对位姿、以及通过所述运动轨迹图估计得到的绝对位姿，构建相应的目标优化函数；
S8、将预设的惩罚因子融入所述目标优化函数中，通过迭代变换估计，对在进行帧间匹配时，随着扫描帧数的累积增加，随之所产生的累积误差进行消除，并进行融合构网。
2.根据权利要求1所述的方法，其特征在于，步骤S2中，所述对所述深度传感器的初步位姿进行估计，包括：
S21、针对所述深度纹理图像中，当前所需匹配的各个图像帧，获取与所述图像帧相适应的样本帧；
S22、针对各所述图像帧和样本帧，提取相应的图像特征数据，并在所述图像帧和对应的样本帧之间进行图像特征匹配，得到多个初始特征对；
S23、从所述多个初始特征对中筛选出初始变换矩阵，并根据所述初始变换矩阵对所述深度传感器的初步位姿进行估计。
3.根据权利要求2所述的方法，其特征在于，步骤S3中，所述结合几何约束与纹理约束对步骤S2估计得到的初步位姿进行优化，得到精化后的帧间运动估计，包括：
S31、以所述初始变换矩阵为优化目标，根据下述公式构建初始优化函数E1：
其中，G为几何约束，L为纹理约束，ω 为纹理约束的置信度，κi,j为匹配点对集合，p为图像帧i的三维点，q为三维点p在样本帧j中的对应点，m为预设的匹配点对总数量；
S32、使用非线性的优化方法对所述优化目标进行迭代优化计算，并在达到预设的迭代结束条件时，基于最后一次迭代输出的最优变换矩阵，得到精化后的帧间运动估计。
4.根据权利要求1-3任一项所述的方法，其特征在于，步骤S8中，在将预设的惩罚因子融入所述目标优化函数时，所述目标优化函数E2的表达公式具体为：
E2＝∑i,jρ(e2(pi,pj；∑i,j,Ti,j))；
其中，将估计得到的绝对位姿作为一个节点，pi表示节点i，pj表示节点j；Ti,j表示节点i与节点j之间的相对位姿，∑i,j表示对所有约束对进行加和；e2(pi,pj；∑i,j,Tij)＝e(pi,pj；Ti,j)T∑i,j -1e(pi,pj；Ti,j)，e(pi,pj；Ti,j)＝Ti,j-pi -1pj；ρ为融入的惩罚因子。
5.一种应用于权利要求1-4任一项所述的在线匹配优化方法的三维扫描系统，其特征在于，所述系统包括：
获取模块，用于获取一一对应的深度纹理图像对，所述深度纹理图像对包括经由深度传感器采集的深度图像，以及经由摄像装置采集的纹理图像；
帧间运动估计模块，用于采用逐步求精的策略，将当前帧的所对应的深度纹理图像对与样本帧所对应的深度纹理图像对进行特征匹配，以对所述深度传感器的初步位姿进行估计，并结合几何约束与纹理约束对估计得到的初步位姿进行优化，得到精化后的帧间运动估计；
多模式优化模块，用于将通过帧间运动估计得到的数据进行分段处理，得到多个数据段，并每个所述数据段中的位姿进行优化；其中，各所述数据段中均包括多个图像帧；针对各个数据段，分别从所述数据段中包括的多个图像帧中选取一个关键帧，结合各所述关键帧和回环信息，进行段和段之间的联立优化，以及固定相应数据段中关键帧的位姿，并对所述数据段内其他图像帧的位姿进行优化，得到全局一致的过渡平滑的运动轨迹图；
累积误差消除模块，用于结合通过所述深度传感器测量得到的相对位姿、以及通过所述运动轨迹图估计得到的绝对位姿，构建相应的目标优化函数；还用于将预设的惩罚因子融入所述目标优化函数中，通过迭代变换估计，对在进行帧间匹配时，随着扫描帧数的累积增加，随之所产生的累积误差进行消除，并进行融合构网。
6.根据权利要求5所述的系统，其特征在于，所述深度传感器包括投射模块和深度信息采集模块，所述投射模块用于投射白光或特定波长的结构光束到被测物体的表面，所述深度信息采集模块用于在所述投射模块投射结构光束时，采集被测物体表面的深度信息；所述摄像装置包括纹理信息采集模块，所述纹理信息采集模块用于在摄像装置投射纹理照明光束到被测物体的表面时，采集被测物体表面的纹理信息。
7.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至4任一项所述的方法的步骤。
8.一种应用于在线匹配优化方法的三维扫描设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法的步骤。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210771021.8A CN115810037A (zh) | 2021-06-04 | 2021-06-04 | 一种基于三维图像分段多模式优化的方法、设备、介质和系统 |
| CN202210771022.2A CN115810038A (zh) | 2021-06-04 | 2021-06-04 | 一种三维图像匹配优化方法、介质和系统 |
| CN202110625611.5A CN113284176B (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 |
| CN202210772666.3A CN115170634A (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法、设备、介质和系统 |
| EP21943719.1A EP4350627A4 (en) | 2021-06-04 | 2021-07-19 | GEOMETRY- AND TEXTURE-BASED ONLINE FITTING OPTIMIZATION METHOD AND THREE-DIMENSIONAL SCANNING SYSTEM |
| PCT/CN2021/107088 WO2022252362A1 (zh) | 2021-06-04 | 2021-07-19 | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 |
| US18/121,573 US20230237693A1 (en) | 2021-06-04 | 2023-03-14 | Online matching and optimization method combining geometry and texture, 3d scanning device, system and non-transitory storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625611.5A CN113284176B (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210771021.8A Division CN115810037A (zh) | 2021-06-04 | 2021-06-04 | 一种基于三维图像分段多模式优化的方法、设备、介质和系统 |
| CN202210772666.3A Division CN115170634A (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法、设备、介质和系统 |
| CN202210771022.2A Division CN115810038A (zh) | 2021-06-04 | 2021-06-04 | 一种三维图像匹配优化方法、介质和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113284176A CN113284176A (zh) | 2021-08-20 |
| CN113284176B true CN113284176B (zh) | 2022-08-16 |
Family
ID=77283462
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210772666.3A Pending CN115170634A (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法、设备、介质和系统 |
| CN202210771022.2A Pending CN115810038A (zh) | 2021-06-04 | 2021-06-04 | 一种三维图像匹配优化方法、介质和系统 |
| CN202210771021.8A Pending CN115810037A (zh) | 2021-06-04 | 2021-06-04 | 一种基于三维图像分段多模式优化的方法、设备、介质和系统 |
| CN202110625611.5A Active CN113284176B (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210772666.3A Pending CN115170634A (zh) | 2021-06-04 | 2021-06-04 | 一种结合几何和纹理的在线匹配优化方法、设备、介质和系统 |
| CN202210771022.2A Pending CN115810038A (zh) | 2021-06-04 | 2021-06-04 | 一种三维图像匹配优化方法、介质和系统 |
| CN202210771021.8A Pending CN115810037A (zh) | 2021-06-04 | 2021-06-04 | 一种基于三维图像分段多模式优化的方法、设备、介质和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230237693A1 (zh) |
| EP (1) | EP4350627A4 (zh) |
| CN (4) | CN115170634A (zh) |
| WO (1) | WO2022252362A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704587B (zh) * | 2023-08-02 | 2023-10-20 | 山东建筑大学 | 融合纹理信息和深度信息的多人头部姿态估计方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010081A (zh) * | 2017-12-01 | 2018-05-08 | 中山大学 | 一种基于Census变换和局部图优化的RGB-D视觉里程计方法 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| WO2019170164A1 (zh) * | 2018-03-05 | 2019-09-12 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
| US20190362157A1 (en) * | 2018-05-25 | 2019-11-28 | Vangogh Imaging, Inc. | Keyframe-based object scanning and tracking |
| CN111105460A (zh) * | 2019-12-26 | 2020-05-05 | 电子科技大学 | 一种室内场景三维重建的rgb-d相机位姿估计方法 |
| CN112541423A (zh) * | 2020-12-09 | 2021-03-23 | 北京理工大学重庆创新中心 | 一种同步定位与地图构建方法和系统 |
| CN112802096A (zh) * | 2019-11-14 | 2021-05-14 | 北京三星通信技术研究有限公司 | 实时定位和建图的实现装置和方法 |
-
2021
- 2021-06-04 CN CN202210772666.3A patent/CN115170634A/zh active Pending
- 2021-06-04 CN CN202210771022.2A patent/CN115810038A/zh active Pending
- 2021-06-04 CN CN202210771021.8A patent/CN115810037A/zh active Pending
- 2021-06-04 CN CN202110625611.5A patent/CN113284176B/zh active Active
- 2021-07-19 WO PCT/CN2021/107088 patent/WO2022252362A1/zh active Application Filing
- 2021-07-19 EP EP21943719.1A patent/EP4350627A4/en active Pending
-
2023
- 2023-03-14 US US18/121,573 patent/US20230237693A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010081A (zh) * | 2017-12-01 | 2018-05-08 | 中山大学 | 一种基于Census变换和局部图优化的RGB-D视觉里程计方法 |
| WO2019170164A1 (zh) * | 2018-03-05 | 2019-09-12 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
| US20190362157A1 (en) * | 2018-05-25 | 2019-11-28 | Vangogh Imaging, Inc. | Keyframe-based object scanning and tracking |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN112802096A (zh) * | 2019-11-14 | 2021-05-14 | 北京三星通信技术研究有限公司 | 实时定位和建图的实现装置和方法 |
| CN111105460A (zh) * | 2019-12-26 | 2020-05-05 | 电子科技大学 | 一种室内场景三维重建的rgb-d相机位姿估计方法 |
| CN112541423A (zh) * | 2020-12-09 | 2021-03-23 | 北京理工大学重庆创新中心 | 一种同步定位与地图构建方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230237693A1 (en) | 2023-07-27 |
| CN115810038A (zh) | 2023-03-17 |
| WO2022252362A1 (zh) | 2022-12-08 |
| CN115810037A (zh) | 2023-03-17 |
| CN115170634A (zh) | 2022-10-11 |
| EP4350627A1 (en) | 2024-04-10 |
| EP4350627A4 (en) | 2024-10-16 |
| CN113284176A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Unsupervised Learning of Scene Flow Estimation Fusing with Local Rigidity. | |
| Chen et al. | Self-supervised learning with geometric constraints in monocular video: Connecting flow, depth, and camera | |
| Zubizarreta et al. | Direct sparse mapping | |
| Zhang et al. | Go-slam: Global optimization for consistent 3d instant reconstruction | |
| CN113674416B (zh) | 三维地图的构建方法、装置、电子设备及存储介质 | |
| US11651581B2 (en) | System and method for correspondence map determination | |
| Schenk et al. | RESLAM: A real-time robust edge-based SLAM system | |
| Yan et al. | Dense visual SLAM with probabilistic surfel map | |
| Kaya et al. | Uncertainty-aware deep multi-view photometric stereo | |
| CN110610486A (zh) | 单目图像深度估计方法及装置 | |
| CN111951201A (zh) | 一种无人机航拍图像拼接方法、装置和存储介质 | |
| Guadagnino et al. | Fast sparse LiDAR odometry using self-supervised feature selection on intensity images | |
| CN113284176B (zh) | 一种结合几何和纹理的在线匹配优化方法和三维扫描系统 | |
| Hirner et al. | FC-DCNN: A densely connected neural network for stereo estimation | |
| Zhang et al. | Improved feature point extraction method of ORB-SLAM2 dense map | |
| WO2017154045A1 (en) | 3d motion estimation device, 3d motion estimation method, and program | |
| Wang et al. | A practical stereo depth system for smart glasses | |
| CN110533733B (zh) | 一种基于计算鬼成像的自动搜索目标深度的方法 | |
| Wang et al. | FlowNorm: A learning-based method for increasing convergence range of direct alignment | |
| Fan et al. | Unsupervised depth completion and denoising for rgb-d sensors | |
| Chen et al. | MetaComp: Learning to Adapt for Online Depth Completion | |
| Kaviani et al. | Semi-Supervised 3D hand shape and pose estimation with label propagation | |
| Yao et al. | Non-learning stereo-aided depth completion under mis-projection via selective stereo matching | |
| Kumar et al. | Image calibration using ensemble of transformer and CNN-based frameworks | |
| Wilf et al. | Cumulative Evidence for Scene Change Detection and Local Map Updates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |