CN113643436A - 一种深度数据拼接融合方法及装置 - Google Patents
一种深度数据拼接融合方法及装置 Download PDFInfo
- Publication number
- CN113643436A CN113643436A CN202110973804.XA CN202110973804A CN113643436A CN 113643436 A CN113643436 A CN 113643436A CN 202110973804 A CN202110973804 A CN 202110973804A CN 113643436 A CN113643436 A CN 113643436A
- Authority
- CN
- China
- Prior art keywords
- data
- depth
- depth data
- sensor
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 42
- 239000002356 single layer Substances 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种深度数据拼接融合方法及装置,其中所述方法包括通过位姿标定方法计算立体标定板上所有特征点在全局世界参考系的坐标以及传感器坐标系的坐标之间的关系,求解出两个坐标系之间的刚体变化矩阵;测量每个传感器的所有深度数据;通过刚体变化矩阵将所有深度数据从传感器坐标系换算到全局世界参考系之中,得到三维点云数据;将三维点云数据经过网格规整化处理、重叠数据处理、深度数据插值处理以及有效缺失像素填充处理,得到单层深度数据的深度图像。所述装置包括:数据处理模块,数据采集模块,计算模块,本申请提供的方法及装置,解决了数据拼接后存在局部点多层重叠冗余的问题,有效提高多视角深度数据拼接的效率及精度。
Description
技术领域
本申请涉及图像拼接领域,特别涉及一种深度数据拼接融合方法及装置。
背景技术
在3D视觉工程项目中,常常需要对待测物体进行良好的3D成像,以便于后续对拍摄物体进行3D测量和3D检测,但是目前市场上大部分的3D相机具有着精度高但视场小或视场大但精度低等的特点。
为了能够较低成本的实现高精度,大视场的3D成像,通常需采用多个传感器在不同视角下进行拍摄,然后对多个视角下的深度数据进行拼接融合以获取大范围的高精度3D成像结果。
现有深度数据拼接方法主要有三种:第一,通过高精密运动平台、激光跟踪仪或经纬仪等精密装置辅助获取多个传感器的位姿关系,然后将多视角数据进行拼接,此方法所用装置价格高昂,存在成本高的缺点;第二,通过粘贴标记点,多个传感器拍摄要求具有公共视野,然后根据重叠区域的标记点计算拼接矩阵,此方法存在贴点步骤繁琐及易损坏被测物等缺点;第三,通过迭代最近点算法进行俩俩拼接,此方法既要求存在重叠区域,存在累计误差,又存在对数据初始位置要求严格等缺点。
发明内容
为了解决现有技术中运用精密装置辅助成本高、贴点标记步骤繁琐复杂且容易破坏被测物品、迭代最近点算法对数据初始位置要求严格等问题,本申请提供了一种深度数据拼接融合方法及装置。
第一方面,本申请提供了一种深度数据拼接融合方法,所述方法的步骤包括:
采用位姿标定方法,计算在全局世界参考系中立体标定板上所有特征点的坐标以及在传感器坐标系中立体标定板上所有特征点的坐标之间的关系,求解出全局世界参考系与每个传感器坐标系之间的刚体变化矩阵;
测量每个所述传感器的所有深度数据;其中要求所有所述传感器的视野合集完全覆盖所述所有深度数据。
通过所述刚体变化矩阵将所述每个传感器的所有深度数据从传感器坐标系换算到全局世界参考系之中,得到三维点云数据;
将所述三维点云数据经过点云数据网格规整化处理、重叠数据处理、深度数据插值处理以及有效缺失像素填充处理,得到单层深度数据的深度图像。S4:测量每个所述传感器的所有深度数据;
进一步的,所述求解出全局世界参考系与每个传感器坐标系之间的刚体变化矩阵的步骤包括:
在全局世界参考系中扫描立体标定板上所有特征点,得到所述立体标定板上所有特征点的全局世界参考系的三维坐标点集;
分别扫描每个传感器对应的立体标定板上所有特征点,得到所述立体标定板上所有特征点的传感器坐标系的三维坐标点集;
将所述全局世界参考系的三维坐标点集与所述传感器坐标系的三维坐标点集之中的对应点匹配,通过采用最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特算法中的至少一种优化算法计算所述全局世界参考系的三维坐标点集与所述传感器坐标系的三维坐标点集,得到全局世界参考系与传感器坐标系之间的旋转平移变换关系式,将所述关系式变形得到刚体变化矩阵。
进一步的,所述点云数据网格规整化处理的步骤包括:
根据传感器输入深度数据的分辨率以及求解的点云数据在X/Y方向的边界值,将所述三维点云数据坐标映射到一张像素网格上,得到一张深度图像。
进一步的,所述重叠数据处理的步骤包括:
在所述深度图像上寻找重叠区域;
对所述重叠区域采用求最大值、最小值、均值、中值、优先级、图像中心中的至少一种方式进行处理,得到单层深度数据的深度图像。
进一步的,所述深度数据插值处理的步骤包括:
对所述单层深度数据的深度图像中的像素进行邻域坐标划分;
对整数坐标处像素邻域的深度值采用加权平均、线性插值、近邻插值中的至少一种方法计算,得到整数像素坐标处的深度数据。
进一步的,所述有效缺失像素填充处理的步骤包括:
在所述单层深度数据的深度图像中寻找有效的缺失像素;
根据当前像素与其邻域有效像素的分布情况,对有效缺失像素像素邻域的深度值采用加权平均、线性插值、近邻插值中的至少一种方法计算,得到有效缺失像素的深度值。
第二方面,本申请还提供了一种深度数据拼接融合装置,所述装置包括:
数据处理模块,所述数据处理模块被配置用于扫描测量立体标定板上所有特征点的全局世界参考系坐标以及传感器坐标系坐标;
数据采集模块,所述数据采集模块被配置用于获取各传感器的所有深度数据;
位姿标定计算模块,所述位姿标定计算模块被配置用于计算全局世界参考坐标系与传感器坐标系间的刚体变换关系;
第一计算模块,所述第一计算模块被配置用于将所有深度数据通过刚体变换关系从传感器坐标系计算到全局世界参考坐标系中;
第二计算模块,所述第二计算模块被配置用于计算点云数据拼接及网格规整化、重叠数据、深度数据插值以及有效缺失像素填充。
进一步的,所述装置还包括数据分析模块,所述数据分析模块被配置用于在所述深度图像上寻找重叠区域。
进一步的,所述装置还包括第三计算模块,所述第三计算模块被配置用于对单层深度数据的深度图像中的像素进行邻域坐标划分。
本申请提供了一种深度数据拼接融合方法及装置,无需运用高成本精密仪器,且无需破坏被测物品,对数据初始位置的要求不严格,且针对数据拼接后存在局部点多层重叠冗余的现象提出高速高精的多视角数据融合方法,以此获取表面光顺、细节清晰的单层深度数据拼接结果,有效提高多视角深度数据拼接的效率及精度。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一种深度数据拼接融合方法的流程图;
图2为本申请一种深度数据拼接融合方法的刚体变换后网格规整化处理示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
近年来,3D成像在工业和消费者应用中变得重要,技术人员利用3D成像技术研发出三维扫描仪、3D相机等设备广泛应用于各行各业。具有3D成像功能的机器视觉系统可以更快,更准确地检查生产现场的组件。在消费者领域,3D成像为媒体提供更大的图像深度。
3D成像受到最复杂成像设备的启发:眼睛。
3D成像依赖于立体摄影,我们可以从熟悉的来源观察:人类视觉系统。人类看到两只眼睛略微分开的东西。除了由例如标准二维电视屏幕再现的水平和垂直信息之外,这项技术允许机器感知深度。
由于眼睛是分开的,每个人都从不同的角度看世界。快速覆盖一只眼睛,然后另一只眼睛,每次都表现出微妙但明显的角度差异。人类在视觉中感知的维度来自大脑将不同的图像组合成一个整体成为视差现象。
每个3D镜头都使用两个摄像头,每个镜头捕捉的图像略微偏离另一个镜头。因此,3D图像包含的信息量是2D图像的两倍。编辑图像以显示,同时保持完整的数据保真度。眼睛不能自己处理两组图像:每只眼睛处理它自己的一组图像。
左眼和右眼的图像在大脑中结合,以再现深度感。
3D成像可以用于广泛应用-分析,测量和定位部件是最重要的。然而,为了获得最佳结果,设计一个具有必要性和环境约束的系统至关重要。可以通过主动或被动方法实现3D成像。主动系统使用诸如飞行时间、结构光和干涉测量等方法,这些方法通常需要在拍摄环境中进行高度控制。被动方法包括焦点深度和光场。
在基于快照的方法中,同时捕获的两个快照之间的差异用于计算到对象的距离,这称为被动立体成像。可以通过移动单个摄像头来实现,但使用两规格相同的摄像头效率更高。
相比之下,主动快照方法可以包含解释可视数据的其他技术。活动快照可以使用飞行时间,通过测量光船舶到目标对象时经过的时间返回传播器,将3D数据编码到每个像素中。
另一种产生3D形状数据的成功方法是激光三角测量。在激光三角测量中,使用单个相机来从投射到物体表面上的激光图案导出高度变化,然后观察这些图案在从相机角度观察时如何移动。即使使用单个相机并且没有三角测量,通过观察物体在靠近或远离相机时如何缩放,仍然可以感知物距。
根据可用的项目和技术,3D成像也可以以其他方式实现。无论采用何种方法,结果都是可靠的可视化数据,可用于提高关键流程的性能,尤其是在工业中。
深度数据拼接的目标是将多个有重叠区域的深度数据进行融合,得到完整的深度图像。数据拼接方法在航空航天、军事应用、医学图像分析、遥感图像处理等多个领域有着广泛的应用。
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率,利于监测。
图像融合作为信息融合的一个分支,是当前信息融合研究中的一个热点。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一幅,或者一列的形式给出。而图像融合是将2张或2张以上的图像信息的融合到1张图像上,使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。图像融合的目标是在实际应用目标下将相关信息最大合并的基础上减少输出的不确定度和冗余度。图像融合的优点很明显,它能扩大图像所含有的时间空间信息,减少不确定性,增加可靠性,改进系统的鲁棒性能。最早的图像融合工作可以追溯到20世纪80年代中期,BurtPJ最早使用拉普拉斯金字塔方法对双筒望远镜图像进行了融合,1995年,LiH最先运用小波方法对图像进行融合,这对图像融合技术产生了巨大的推进。经过长期的实践,从事图像融合的工作者对图像融合的方法和手段有了一定的共识,提出了图像融合需要遵守的3个基本原则:
1)融合后图像要含有所有源图像的明显突出信息;
2)融合后图像不能加入任何的人为信息;
3)对源图像中不感兴趣的信息,如噪声要尽可能多地抑制其出现在融合图像中。
高效的图像融合方法可以根据需要综合处理多源通道的信息,从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合,消除多传感器信息之间可能存在的冗余和矛盾,以增强影像中信息透明度,改善解译的精度、可靠性以及使用率,以形成对目标的清晰、完整、准确的信息描述。
这诸多方面的优点使得图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在计算机视觉方面。
一般情况下,图像融合由低到高分为三个层次:数据级融合、特征级融合、决策级融合。数据级融合也称像素级融合,是指直接对传感器采集来得数据进行处理而获得融合图像的过程,它是高层次图像融合的基础,也是目前图像融合研究的重点之一。这种融合的优点是保持尽可能多得现场原始数据,提供其它融合层次所不能提供的细微信息。
像素级融合中有空间域算法和变换域算法,空间域算法中又有多种融合规则方法,如逻辑滤波法,灰度加权平均法,对比调制法等;变换域中又有金字塔分解融合法,小波变换法。其中的小波变换是当前最重要,最常用的方法。
在特征级融合中,保证不同图像包含信息的特征,如红外光对于对象热量的表征,可见光对于对象亮度的表征等等。
决策级融合主要在于主观的要求,同样也有一些规则,如贝叶斯法,D-S证据法和表决法等。
融合算法常结合图像的平均值、熵值、标准偏差、平均梯度;平均梯度反映了图像中的微小细节反差与纹理变化特征,同时也反映了图像的清晰度。目前对图像融合存在两个问题:最佳小波基函数的选取和最佳小波分解层数的选取。
本申请提供了一种深度数据拼接融合方法如图1,图1为本申请一种深度数据拼接融合方法的流程图,所述方法的步骤包括:
S1:采用位姿标定方法,计算在全局世界参考系中立体标定板上所有特征点的坐标以及在传感器坐标系中立体标定板上所有特征点的坐标之间的关系,求解出全局世界参考系与每个传感器坐标系之间的刚体变化矩阵;
搭建工作平台,准备立体标定板。标定板是在机器视觉、图像测量、摄影测量、三维重建等应用中,为校正镜头畸变;确定物理尺寸和像素间的换算关系;以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,需要建立相机成像的几何模型,通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算,可以得出相机的几何模型,从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。其中所述立体标定板可以为包括但不限于角点靶标、球体靶标、锥体靶标等立体标定板。
进一步的,所述求解出全局世界参考系与每个传感器坐标系之间的刚体变化矩阵的步骤包括:
在全局世界参考系中扫描立体标定板上所有特征点,得到所述立体标定板上所有特征点的全局世界参考系的三维坐标点集;
分别扫描每个传感器对应的立体标定板上所有特征点,得到所述立体标定板上所有特征点的传感器坐标系的三维坐标点集;
将所述全局世界参考系的三维坐标点集与所述传感器坐标系的三维坐标点集之中的对应点匹配,通过采用包括但不限于最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特算法等优化算法计算所述全局世界参考系的三维坐标点集与所述传感器坐标系的三维坐标点集,得到全局世界参考系与传感器坐标系之间的旋转平移变换关系式,将所述关系式变形得到刚体变化矩阵:
S2:测量每个所述传感器的所有深度数据;其中要求所有所述传感器的视野合集完全覆盖所述所有深度数据。
S3:通过所述刚体变化矩阵将所述每个传感器的所有深度数据从传感器坐标系换算到全局世界参考系之中,得到三维点云数据;
S4:将所述三维点云数据经过点云数据网格规整化处理、重叠数据处理、深度数据插值处理以及有效缺失像素填充处理,得到单层深度数据的深度图像。
进一步的,如图2,图2为本申请一种深度数据拼接融合方法的刚体变换后网格规整化处理示意图,其中,所述点云数据网格规整化处理的步骤包括:
根据传感器输入深度数据X/Y/Z方向的分辨率以及求解的点云数据在X/Y方向的边界值,将所述三维点云数据坐标映射到一张像素网格上,得到一张深度图像。
考虑到海量点云数据的稠密性以及单个点的独立性,在本实施例中还可进一步根据点云数据的数据量和可调用的GPU资源分配和调取GPU进行并行计算,减轻系统CPU的处理压力,提升了点云数据迭代匹配的工作效率。
进一步的,所述重叠数据处理的步骤包括:
在所述深度图像上寻找重叠区域;当对所有的点云数据向深度图像进行投影时,将会出现同一个像素网格处出现多个点云数据的情况,这样的像素就是所述的重叠区域。
对所述重叠区域采用包括但不限于求最大值、最小值、均值、中值、优先级、图像中心中等方式进行处理,得到单层深度数据的深度图像。
图像插值就是利用已知邻近像素点的灰度值或RGB图像中的三色值来产生未知像素点的灰度值,以便由原始图像再生出具有更高分辨率的图像。插值是对原图像的像素重新分布,从而来改变像素数量的一种方法。在图像放大过程中,像素也相应地增加,增加的过程就是“插值”发生作用的过程,“插值”程序自动选择信息较好的像素作为增加、弥补空白像素的空间,而并非只使用临近的像素,所以在放大图像时,图像看上去会比较平滑、干净。插值几乎应用于所有需要进行图像缩放功能的领域内,如数码相机、图像处理软件。
进一步的,所述深度数据插值处理的步骤包括:
对所述单层深度数据的深度图像中的像素进行邻域坐标划分;
对整数坐标处像素邻域的深度值采用包括但不限于加权平均、线性插值、近邻插值中等方法计算,得到整数像素坐标处的深度数据。
为了能够方便后续深度图像的测量或检测功能,一般需要对深度图像中的缺失像素进行填充,目前现有的深度图像的缺失像素填充方法主要包括:全局填充方法,即利用深度图像的全局特征深度值对缺失像素进行填充;线性填充方法,即利用缺失像素左右邻域的有效像素进行线性插值,或者利用缺失像素的上下邻域像素进行线性插值,或者利用缺失像素上下邻域及左右邻域的有效像素进行线性插值。
进一步的,所述有效缺失像素填充处理的步骤包括:
在所述单层深度数据的深度图像中寻找有效的缺失像素;在对连续点云数据向深度图像进行映射时,会出现一个像素网格内有多个映射点的情况,也会出现某个像素网格内无映射点的情况。当一个像素内无映射点时,该像素将成为无效像素。但对连续点云向深度图像进行映射时,无效像素点本身可能是存在深度信息的,只是由于其对应的点云进入邻域像素内,导致邻域像素存在多个映射点,而当前像素无映射点。这种像素就称为有效的缺失像素。
根据当前像素与其邻域有效像素的分布情况,对有效缺失像素像素邻域的深度值采用包括但不限于加权平均、线性插值、近邻插值中等方法计算,得到有效缺失像素的深度值。
本申请还提供了一种深度数据拼接融合装置,所述装置包括:
数据处理模块,所述数据处理模块被配置用于扫描测量立体标定板上所有特征点的全局世界参考系坐标以及传感器坐标系坐标;
数据采集模块,所述数据采集模块被配置用于获取各传感器的所有深度数据;
位姿标定计算模块,所述位姿标定计算模块被配置用于计算全局世界参考坐标系与传感器坐标系间的刚体变换关系;
第一计算模块,所述第一计算模块被配置用于将所有深度数据通过刚体变换关系从传感器坐标系计算到全局世界参考坐标系中;
第二计算模块,所述第二计算模块被配置用于计算点云数据拼接及网格规整化、重叠数据、深度数据插值以及有效缺失像素填充。
进一步的,所述装置还包括数据分析模块,所述数据分析模块被配置用于在所述深度图像上寻找重叠区域。
进一步的,所述装置还包括第三计算模块,所述第三计算模块被配置用于对单层深度数据的深度图像中的像素进行邻域坐标划分。
在一种实施例中处理重叠区域时,可按照某种规则从单一像素网格内的点集中选出或计算出一个点表征整个重叠点集,多元化方案选择,兼顾速度与精度需求。
在一种实施例中深度数据插值处理时,替代方法可为各种常见的数值插值算法,以更高的算法耗时换取更佳的插值结果。
本申请提供了一种深度数据拼接融合方法及装置,无需运用高成本精密仪器,且无需破坏被测物品,对数据初始位置的要求不严格;采用位姿标定计算模块进行标定拼接,操作简单方便,一次标定即可准确获取多个传感器的位姿关系,拼接过程不会产生累积误差,多视角深度数据拼接的精度较高;且针对数据拼接后存在局部点多层重叠冗余的现象提出高速高精的多视角数据融合方法,以此获取表面光顺、细节清晰的单层深度数据拼接结果,有效提高多视角深度数据拼接的效率及精度。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种深度数据拼接融合方法,其特征在于,所述方法包括:
采用位姿标定方法,计算在全局世界参考系中立体标定板上所有特征点的坐标以及在传感器坐标系中立体标定板上所有特征点的坐标之间的关系,求解出全局世界参考系与每个传感器坐标系之间的刚体变化矩阵;
测量每个传感器的所有深度数据;
通过所述刚体变化矩阵将所述每个传感器的所有深度数据从传感器坐标系换算到全局世界参考系之中,得到三维点云数据;
将所述三维点云数据经过点云数据网格规整化处理、重叠数据处理、深度数据插值处理以及有效缺失像素填充处理,得到单层深度数据的深度图像。
2.根据权利要求1所述的一种深度数据拼接融合方法,其特征在于,取所有所述传感器的视野合集,所述合集完全覆盖所述所有深度数据。
3.根据权利要求1-2任意一项所述的一种深度数据拼接融合方法,其特征在于,所述求解出全局世界参考系与每个传感器坐标系之间的刚体变化矩阵的步骤包括:
在全局世界参考系中扫描立体标定板上所有特征点,得到所述立体标定板上所有特征点的全局世界参考系的三维坐标点集;
分别扫描每个传感器对应的立体标定板上所有特征点,得到所述立体标定板上所有特征点的每个传感器坐标系的三维坐标点集;
将所述全局世界参考系的三维坐标点集与所述传感器坐标系的三维坐标点集之中的对应点匹配,通过采用最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特算法中的至少一种优化算法计算所述全局世界参考系的三维坐标点集与所述传感器坐标系的三维坐标点集,得到全局世界参考系与传感器坐标系之间的旋转平移变换关系式,将所述关系式变形得到刚体变化矩阵。
4.根据权利要求3所述的一种深度数据拼接融合方法,其特征在于,所述点云数据网格规整化处理的步骤包括:
根据传感器输入深度数据的分辨率以及求解的点云数据在X/Y方向的边界值,将所述三维点云数据坐标映射到一张像素网格上,得到一张深度图像。
5.根据权利要求4所述的一种深度数据拼接融合方法,其特征在于,所述重叠数据处理的步骤包括:
在所述深度图像上寻找重叠区域;
对所述重叠区域采用求最大值、最小值、均值、中值、优先级、图像中心中的至少一种方式进行处理,得到单层深度数据的深度图像。
6.根据权利要求5所述的一种深度数据拼接融合方法,其特征在于,所述深度数据插值处理的步骤包括:
对所述单层深度数据的深度图像中的像素进行邻域坐标划分;
对整数坐标处像素邻域的深度值采用加权平均、线性插值、近邻插值中的至少一种方法计算,得到整数像素坐标处的深度数据。
7.根据权利要求6所述的一种深度数据拼接融合方法,其特征在于,所述有效缺失像素填充处理的步骤包括:
在所述单层深度数据的深度图像中寻找有效的缺失像素;
根据当前像素与其邻域有效像素的分布情况,对有效缺失像素像素邻域的深度值采用加权平均、线性插值、近邻插值中的至少一种方法计算,得到有效缺失像素的深度值。
8.一种应用于权利要求1所述方法的深度数据拼接融合装置,其特征在于,所述装置包括:
数据处理模块,所述数据处理模块被配置用于扫描测量立体标定板上所有特征点的全局世界参考系坐标以及传感器坐标系坐标;
数据采集模块,所述数据采集模块被配置用于获取各传感器的所有深度数据;
位姿标定计算模块,所述位姿标定计算模块被配置用于计算全局世界参考坐标系与传感器坐标系间的刚体变换关系;
第一计算模块,所述第一计算模块被配置用于将所有深度数据通过刚体变换关系从传感器坐标系计算到全局世界参考坐标系中;
第二计算模块,所述第二计算模块被配置用于计算点云数据拼接及网格规整化、重叠数据、深度数据插值以及有效缺失像素填充。
9.根据权利要求8所述的一种深度数据拼接融合装置,其特征在于,所述装置还包括数据分析模块,所述数据分析模块被配置用于在所述深度图像上寻找重叠区域。
10.根据权利要求8所述的一种深度数据拼接融合装置,其特征在于,所述装置还包括第三计算模块,所述第三计算模块被配置用于对单层深度数据的深度图像中的像素进行邻域坐标划分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110973804.XA CN113643436B (zh) | 2021-08-24 | 2021-08-24 | 一种深度数据拼接融合方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110973804.XA CN113643436B (zh) | 2021-08-24 | 2021-08-24 | 一种深度数据拼接融合方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113643436A true CN113643436A (zh) | 2021-11-12 |
CN113643436B CN113643436B (zh) | 2024-04-05 |
Family
ID=78423586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110973804.XA Active CN113643436B (zh) | 2021-08-24 | 2021-08-24 | 一种深度数据拼接融合方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113643436B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820761A (zh) * | 2022-05-07 | 2022-07-29 | 北京毅能博科技有限公司 | 基于图像显微扫描平台xy方向夹角测量与运动补偿方法 |
CN116128736A (zh) * | 2023-04-19 | 2023-05-16 | 广东三姆森科技股份有限公司 | 一种扫描成像方法、装置、设备及介质 |
CN116228831A (zh) * | 2023-05-10 | 2023-06-06 | 深圳市深视智能科技有限公司 | 耳机接缝处的段差测量方法及系统、校正方法、控制器 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930603A (zh) * | 2010-08-06 | 2010-12-29 | 华南理工大学 | 中高速传感器网络图像数据融合的方法 |
US20160171765A1 (en) * | 2014-12-10 | 2016-06-16 | Dassault Systemes | Texturing a 3d modeled object |
US20160259052A1 (en) * | 2015-03-05 | 2016-09-08 | Navico Holdings As | Methods and apparatuses for reconstructing a 3d sonar image |
US20160300383A1 (en) * | 2014-09-10 | 2016-10-13 | Shenzhen University | Human body three-dimensional imaging method and system |
CN107067470A (zh) * | 2017-04-05 | 2017-08-18 | 东北大学 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
CN107346425A (zh) * | 2017-07-04 | 2017-11-14 | 四川大学 | 一种三维纹理照相系统、标定方法及成像方法 |
CN108765548A (zh) * | 2018-04-25 | 2018-11-06 | 安徽大学 | 基于深度相机的三维场景实时重建方法 |
CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
CN110782498A (zh) * | 2019-09-26 | 2020-02-11 | 北京航空航天大学 | 一种视觉传感网络的快速通用标定方法 |
CN111968238A (zh) * | 2020-08-22 | 2020-11-20 | 晋江市博感电子科技有限公司 | 基于动态融合算法的人体彩色三维重建方法 |
-
2021
- 2021-08-24 CN CN202110973804.XA patent/CN113643436B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930603A (zh) * | 2010-08-06 | 2010-12-29 | 华南理工大学 | 中高速传感器网络图像数据融合的方法 |
US20160300383A1 (en) * | 2014-09-10 | 2016-10-13 | Shenzhen University | Human body three-dimensional imaging method and system |
US20160171765A1 (en) * | 2014-12-10 | 2016-06-16 | Dassault Systemes | Texturing a 3d modeled object |
US20160259052A1 (en) * | 2015-03-05 | 2016-09-08 | Navico Holdings As | Methods and apparatuses for reconstructing a 3d sonar image |
CN107067470A (zh) * | 2017-04-05 | 2017-08-18 | 东北大学 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
CN107346425A (zh) * | 2017-07-04 | 2017-11-14 | 四川大学 | 一种三维纹理照相系统、标定方法及成像方法 |
CN108765548A (zh) * | 2018-04-25 | 2018-11-06 | 安徽大学 | 基于深度相机的三维场景实时重建方法 |
CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
CN110782498A (zh) * | 2019-09-26 | 2020-02-11 | 北京航空航天大学 | 一种视觉传感网络的快速通用标定方法 |
CN111968238A (zh) * | 2020-08-22 | 2020-11-20 | 晋江市博感电子科技有限公司 | 基于动态融合算法的人体彩色三维重建方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820761A (zh) * | 2022-05-07 | 2022-07-29 | 北京毅能博科技有限公司 | 基于图像显微扫描平台xy方向夹角测量与运动补偿方法 |
CN114820761B (zh) * | 2022-05-07 | 2024-05-10 | 北京毅能博科技有限公司 | 基于图像显微扫描平台xy方向夹角测量与运动补偿方法 |
CN116128736A (zh) * | 2023-04-19 | 2023-05-16 | 广东三姆森科技股份有限公司 | 一种扫描成像方法、装置、设备及介质 |
CN116128736B (zh) * | 2023-04-19 | 2023-08-15 | 广东三姆森科技股份有限公司 | 一种扫描成像方法、装置、设备及介质 |
CN116228831A (zh) * | 2023-05-10 | 2023-06-06 | 深圳市深视智能科技有限公司 | 耳机接缝处的段差测量方法及系统、校正方法、控制器 |
CN116228831B (zh) * | 2023-05-10 | 2023-08-22 | 深圳市深视智能科技有限公司 | 耳机接缝处的段差测量方法及系统、校正方法、控制器 |
Also Published As
Publication number | Publication date |
---|---|
CN113643436B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11354840B2 (en) | Three dimensional acquisition and rendering | |
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
CN113643436B (zh) | 一种深度数据拼接融合方法及装置 | |
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
TW201724026A (zh) | 基於場景之拍攝圖像而產生合併、融合三維點雲 | |
CN105488775A (zh) | 一种基于六摄像机环视的柱面全景生成装置及方法 | |
CN113205592B (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
CN110517209B (zh) | 数据处理方法、装置、系统以及计算机可读存储介质 | |
WO2016018392A1 (en) | Three dimensional scanning system and framework | |
CN110517211B (zh) | 一种基于梯度域映射的图像融合方法 | |
CN104732557A (zh) | 一种地面激光扫描仪彩色点云生成方法 | |
CN115345942A (zh) | 空间标定方法、装置、计算机设备和存储介质 | |
JP2022024688A (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
Yamaguchi et al. | Superimposing thermal-infrared data on 3D structure reconstructed by RGB visual odometry | |
CN114485953A (zh) | 温度测量方法、装置及系统 | |
CN115205491A (zh) | 一种手持多视图三维重建的方法及装置 | |
Furferi et al. | A RGB-D based instant body-scanning solution for compact box installation | |
CN117450955B (zh) | 基于空间环形特征的薄型物体三维测量方法 | |
CN114529681A (zh) | 一种手持双相机建筑物温度场三维模型构建方法和系统 | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
JP2016114445A (ja) | 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置 | |
CN107103620B (zh) | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 | |
CN115588127A (zh) | 一种机载激光点云与多光谱影像融合的方法 | |
CN115797466A (zh) | 一种快速的三维空间标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |