CN112001926A - 基于多维语义映射rgbd多相机标定方法、系统及应用 - Google Patents
基于多维语义映射rgbd多相机标定方法、系统及应用 Download PDFInfo
- Publication number
- CN112001926A CN112001926A CN202010634136.3A CN202010634136A CN112001926A CN 112001926 A CN112001926 A CN 112001926A CN 202010634136 A CN202010634136 A CN 202010634136A CN 112001926 A CN112001926 A CN 112001926A
- Authority
- CN
- China
- Prior art keywords
- rgbd
- cameras
- dimensional
- camera
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000013507 mapping Methods 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000003416 augmentation Effects 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Abstract
本发明属于图像处理和计算机视觉技术领域，公开了一种基于多维语义映射RGBD多相机标定方法、系统及应用，采用硬同步触发机制同步获取多路RGBD相机同一时钟下彩色图像数据和深度图像数据；基于RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像，获取RGBD多相机之间的初始位姿；然后，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；最后，采用ICP算法得到RGBD多相机之间的精确位姿。本发明具有较高的标定精度，能够在复杂场景下实现RGBD多相机的精确标定。
Description
技术领域
本发明属于图像处理和计算机视觉技术领域，尤其涉及一种基于多维语义映射RGBD多相机标定方法、系统及应用。
背景技术
随着小型化、低成本以及高性能的视觉设备出现及发展，给生活带来极大的便捷。其中，最具代表的一类视觉设备是RGBD相机(如：微软的Kinect、Intel的RealSense以及Asus Xtion Pro Live)。RGBD相机不仅能提供彩色图像，还能提供对应场景的深度图像，并且深度精度范围从几毫米到几厘米。因此，吸引了越来越多研究员使用RGBD相机来解决特定视觉问题并取得了不错成果。当前主要的应用场景包括：利用RGBD相机实时重建静态场景以及动态场景来生成全息交互视频；将其深度测距传感器应用到机器人导航领域，来帮助机器人感知环境；结合深度传感器应用到运动捕捉，来避免从彩色图像中获取运动信息难问题等等。由于RGBD相机成本低，以及RGBD多相机能够填补遮挡区域、增大相机的空间覆盖范围等特性，越来越多的研究使用RGBD多相机来解决上述问题。使用RGBD多相机解决视觉问题，前提需要能够精确标定出相机之间的位姿关系。因此，RGBD多相机之间位姿的精确标定，成为了计算机视觉和模式识别领域研究的热点技术之一。
尽管RGBD多相机标定长期以来受到了学业界和产业界的广泛关注，但精确标定RGBD多相机之间位姿仍然是一个非常具有挑战性的问题。根据RGBD多相机标定方法的不同，当前研究主要分为两类方法：第一类基于不同场景特征的RGBD多相机标定方法。基于不同场景特征的方法主要是选取便于鲁棒提取标志物的特征来对RGBD多相机进行标定。2014年Li等人提出了基于人体关节点的RGBD多相机标定方法。该方法首先通过关节点提取算法获得每个RGBD相机视角下人体的三维关节点，然后根据骨架特性进行每个相机的数据关联，最后求解出RGBD多相机到的内参。2015年Aaron等人提出基于移动单个球体的RGBD多相机内参和外参标定方法。该方法通过在深度图和彩色图使用目标检测和跟踪算法来得到球体的3D中心点坐标以及彩色图像上的像素坐标，根据提取得到的3D点和彩色图2D点来标定出RGBD多相机的内参和外参。这类基于不同场景的RGBD多相机标定方法，虽然可以得到RGBD相机的位姿，但是由于受到环境噪声的影响。该方法容易导致RGBD多相机关键点匹配错误问题，从而影响RGBD多相机的标定结果。第二类基于算法优化和改进的RGBD多相机标定方法。基于算法优化和改进的方法主要是对现有RGBD多相机算法进行改进和优化，来进一步提升标定的效果。2014年Afzal等人提出基于光束平差法和迭代最近点的联合算法BAICP+来求解RGBD多相机位姿。该方法通过结合二维视觉和三维形状信息，来联合最小化目标函数，从而得到RGBD多相机之间的位姿关系。BAICP+算法虽然可以标定出RGBD多相机之间位姿，但是算法在求解过程需要人为调整二维视觉和三维形状信息的权重。因此，该方法不便于在实际场景下对RGBD多相机进行标定。因此，当前存在的方法不能很有效、精确求解出RGBD多相机位姿关系。
通过上述分析，现有技术存在的问题及缺陷为：现有RGBD相机之间距离相差较大以及视角相差较大情况下RGBD多相机标定精度差。
解决以上问题及缺陷的难度为：
解决上述问题的难度在于通过结合RGBD相机能够同时获取彩色图和深度图的特性，以较小的计算复杂度来得到较鲁棒和准确的RGBD多相机标定结果。本文专利提出的基于多维语义映射的RGBD多相机标定方法，充分结合了RGBD相机的彩色图语义信息以及三维空间的深度信息，在较小的计算量情况下，得到较鲁棒和准确的RGBD多相机标定结果。
解决以上问题及缺陷的意义为：
本文提出的基于多维语义映射的RGBD多相机标定方法，解决了RGBD多相机在距离相差较大以及视角相差较大情况下，RGBD多相机难精确、鲁棒标定问题。该方法对于学术界和工业界都有着比较重大的意义和价值。本文提出的方法为解决RGBD多相机精确、鲁棒标定提供了新思路；同时，利用本文提出的方法，较鲁棒、精确标定出RGBD多相机的位姿，并在此精确标定的基础上来进一步研究相关RGBD多相机视觉问题，加快了RGBD多相机视觉问题的研究。同时，进一步推进RGBD多相机相关应用产品的落地，包括：全息技术、辅助人体治疗、体感游戏等等。
发明内容
针对现有技术存在的问题，本发明提供了一种基于多维语义映射RGBD多相机标定方法、系统及应用。
本发明是这样实现的，一种基于多维语义映射RGBD多相机标定方法，所述基于多维语义映射RGBD多相机标定方法包括：
采用硬同步触发机制同步获取多路RGBD相机同一时钟下彩色图像数据和深度图像数据；
基于二维码与光束平差法的RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法得到RGBD多相机之间的初始位姿；
基于多维语义映射的迭代最近点ICP算法，在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；在相邻相机之间重叠区域的基础上，采用ICP算法得到RGBD多相机之间的精确位姿。
进一步，所述基于多维语义映射RGBD多相机标定方法还包括：
步骤一，使用同步触发线来同步RGBD多相机的时钟，同步拍摄放置在相机共视区域的标定板彩色图像，将获取的彩色图像做灰度变换处理，并利用自适应阈值方式对图像进行分割，利用Suzuki算法对分割后的图像进行轮廓提取，并通过Douglas-Peucker算法选取轮廓近似为四边形的最外围四边形；对提取后的四边形做仿射变换，并根据其信息得到彩色图像中二维码的角点位置以及ID信息；
步骤二，求解RGBD多相机之间的初始位姿，二维码标定在世界坐标系下的位置为点pi(i＝1，…，N)，对应在彩色图像上像素坐标系中的位置为(ui，vi)(i＝1，…，N)，使用DLT算法构建方程来求解相机的位姿；
步骤三，全局优化求解RGBD多相机之间的位姿关系，在步骤二得到的相机之间位姿基础，并结合世界坐标系下的三维点Pi(i＝1，…，N)以及对应的像素坐标
旋转和平移的增广矩阵的李代数表示为ξ，对应的世界坐标到像素标定的表达式为h，使用光束平差法构建代价函数，全局优化RGBD多相机之间的位姿；
步骤四，根据二维语义信息和三维空间信息构建相邻相机之间空间重叠点云；
步骤五，对步骤四得到的重叠点云做预处理操作；
步骤六，对相邻相机点云做配准处理来精确求解出RGBD多相机之间位姿关系。
进一步，所述步骤二使用DLT算法构建方程来求解相机的位姿，其中方程的表示形式为：
在求解相机之间位姿过程中，求解旋转和变换矩阵构成的增广矩阵，总共包含12个未知数；采集至少6对三维点与二维点的对应点，使用SVD法来对方程求解，得到RGBD相机之间的位姿关系。
进一步，所述步骤三构建的代价函数为：
进一步，所述步骤四首先使用目标检测算法或者语义分割算法，获取二维彩色图像中感兴趣区域的位置Mc(c＝1，…，C)，其中Mc表示感兴趣区域在第c个相机获取的彩色图像中对应的行xc、列yc、宽wc、高hc信息；然后，根据彩色相机和深度相机之间的变换矩阵，将二维彩色图语义信息与三维深度空间数据关联，从而得到图像中感兴趣区域对应的深度信息Dc(c＝1，…，C)；接着，利用步骤三求解得到的RGBD相机到世界坐标系变换矩阵
并结合相机的内参得到世界坐标系到图像坐标系的变换矩阵
将RGBD多相机中第c个相机得到的二维彩色图像感兴区域变换到相邻第c+1相机所在的像素坐标系下；判断变换到相机c+1后的像素(ui，vi)是否在该相机的感兴区域Mc+1内，如果在Mc+1内则两边相机同时保留该点信息；反之，则相邻相机去除该点信息；遍历第c个相机感兴趣区域内的所有像素，确定出相邻相机之间空间点云重叠区域；最后，按照上述方法直到确定出所有相邻相机的空间点云重叠区域：
进一步，所述步骤五首先使用体素化网格的方法来对点云做下采样处理，将精细化的点云放入到三维坐标系中，并计算出在坐标系每个方向的最大值，得到包围点云的立方体；将点云数据空间划分来得到一定数量相同大小的立方体栅格，并检测每个立方体中存在的数据，如果存在点云数据，则计算出立体空间中的中心点，反之则删除该立方体；设置固定大小的阈值，选择以立方体中心点小于设定阈值范围内的空间点，反之则去除立体空间中的点云；然后使用Kd-Tree方法来构建下采样后点云的拓扑结构，寻找下采样后点云最稀疏的维度，并在选择的维度上寻找切分点；在切分后的两个子平面上继续寻找最稀疏的维度；按照此方法一直寻找，最终构建出由k维数据表示的点云数据节点，最后，使用局部表面拟合的方法来求解点云的法向量；在空间点(xi，yi，zi)处法向量的余弦分别为(a，b，c)，得到法向量计算的约束方程，计算出点云的法向量；其中，点云法向量的约束方程为：
进一步，所述步骤六包括选取步骤五中相邻相机的两组点云集，分别设为源点云集H和目标点云集Q，并引入步骤三得到的相机之间位姿关系；计算目标数据点集与源数据点集的重心，对两个点集进行重心平移化处理；在经过初始变换矩阵变换后，设H中一点Hi，使用距离度量方法在目标数据点集中寻找距离Hi距离最近的点Qi作为匹配点，构成匹配点集；对匹配上的点对计算对应的欧氏距离平方和，并将结果作为误差目标函数：根据已知误差目标函数，通过四元数法来计算误差函数最小值；构造两个点云的协方差矩阵，求解出两组点云的变换矩阵，并将结果到更新待匹配点集H；重新寻找源点集与目标点集的对应点，重复上述步骤，直到误差目标函数变化小于设定的阈值或者超过设定的最大迭代次数。
本发明的另一目的在于提供一种运行所述基于多维语义映射RGBD多相机标定系统，所述基于多维语义映射RGBD多相机标定系统包括：
图像数据获取模块，采用硬同步触发机制同步获取多路RGBD相机同一时钟下的彩色图像数据和深度图像数据；
初始位姿处理模块，用于在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；
空间点重叠区域获取模块，用于在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；
精确位姿处理模块，用于采用ICP算法来得到RGBD多相机之间的精确位姿。
本发明的另一目的在于提供给RGBD相机，所述RGBD相机安装有所述的基于多维语义映射RGBD多相机标定系统。
本发明的另一目的在于提供给机器人，所述机器人安装有所述的基于多维语义映射RGBD多相机标定系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：但本发明提出的方法，在初始RGBD相机位姿基础上，结合二维彩色图语义信息和三维深度空间信息可以精确求解出RGBD多相机之间的位姿关系。本发明能够有效得到相邻相机之间空间点云的重叠区域，实现了相邻相机点云的精细化。经过实验验证和分析，该发明的算法能够得到较高的RGBD多相机标定精度，并在复杂场景下取得较好的效果。
与现有的技术相比，本发明在RGBD多相机初始位姿的基础上，结合二维彩色图语义信息以及三维深度空间信息，提高了RGBD多相机在复杂环境下标定精度；并且基于多维语义映射的RGBD多相机标定，实现了相邻RGBD相机空间点云的精细化处理。本发明基于多维语义映射的RGBD多相机标定，通过结合RGBD相机的彩色图语义信息和深度空间图像，解决了RGBD多相机在相距较远以及视角相差较大情况下难精确配准问题；该多维语义映射方法根据彩色图语义信息和深度空间信息，实现了相邻RGBD相机之间空间重叠区域的精细化；基于多维语义映射方法，设计并完成了一个RGBD多相机标定系统，并且经过实验评估该系统能较好地实现RGBD多相机之间的标定。该发明具有较高的标定精度，能够在复杂场景下实现RGBD多相机的精确标定。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于多维语义映射RGBD多相机标定方法流程图。
图2是本发明实施例提供的基于多维语义映射RGBD多相机标定系统的结构示意图；
图2中：1、图像数据获取模块；2、初始位姿处理模块；3、空间点重叠区域获取模块；4、精确位姿处理模块。
图3是本发明实施例提供的基于多维语义映射RGBD多相机标定方法实现流程图。
图4是本发明实施例提供的二维码标定板检测示意图。
图5是本发明实施例提供的多维语义映射算法的示意图。
图6是本发明实施例提供的点云配准算法示意图。
图7是本发明实施例提供的应用到三个RGBD相机的标定合成结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于多维语义映射RGBD多相机标定方法、系统及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的基于多维语义映射RGBD多相机标定方法包括以下步骤：
S101：同步获取多路RGBD相机彩色图像和深度图像的数据；采用硬同步触发机制，使所有的相机在同一时钟下采集数据；
S102：基于二维码与光束平差法的RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换(Direct Linear Transform，DLT)、光束平差算法来得到RGBD多相机之间的初始位姿；
S103：基于多维语义映射的迭代最近点ICP(Iterative Closest Point，ICP)算法，在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；在相邻相机之间重叠区域的基础上，采用ICP算法来得到RGBD多相机之间的精确位姿。
本发明提供的基于多维语义映射RGBD多相机标定方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的基于多维语义映射RGBD多相机标定方法仅仅是一个具体实施例而已。
如图2所示，本发明提供的基于多维语义映射RGBD多相机标定系统包括：
图像数据获取模块1，采用硬同步触发机制同步获取多路RGBD相机同一时钟下的彩色图像数据和深度图像数据；
初始位姿处理模块2，用于在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；
空间点重叠区域获取模块3，用于在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；
精确位姿处理模块4，用于采用ICP算法来得到RGBD多相机之间的精确位姿。
下面结合附图对本发明的技术方案作进一步的描述。
如图3所示，本发明提供的基于多维语义映射RGBD多相机标定方法具体包括以下步骤：
步骤一，使用同步触发线来同步RGBD多相机的时钟，同步拍摄放置在相机共视区域的标定板彩色图像。将获取的彩色图像做灰度变换处理，并利用自适应阈值方式对图像进行分割。利用Suzuki算法对分割后的图像进行轮廓提取，并通过Douglas-Peucker算法选取轮廓近似为四边形的最外围四边形。对提取后的四边形做仿射变换，并根据其信息得到彩色图像中二维码的角点位置以及ID信息。其中，二维码标定板检测算法流程如图4所示。
步骤二，求解RGBD多相机之间的初始位姿。这里假定二维码标定在世界坐标系下的位置为点pi(i＝1，…，N)，对应在彩色图像上像素坐标系中的位置为(ui，vi)(i＝1，…，N)。使用DLT算法构建方程来求解相机的位姿，其中方程的表示形式为：
在求解相机之间位姿过程中，主要是求解旋转和变换矩阵构成的增广矩阵，总共包含12个未知数。因此，这个需要采集至少6对三维点与二维点的对应点。使用SVD法来对方程求解，得到RGBD相机之间的位姿关系。
步骤三，全局优化求解RGBD多相机之间的位姿关系。在步骤二得到的相机之间位姿基础，并结合世界坐标系下的三维点Pi(i＝1，…，N)以及对应的像素坐标
这里假定旋转和平移的增广矩阵的李代数表示为ξ，对应的世界坐标到像素标定的表达式为h。使用光束平差法来构建代价函数，全局优化RGBD多相机之间的位姿。其中，构建的代价函数为：
步骤四，根据二维语义信息和三维空间信息构建相邻相机之间空间重叠点云，如图5所示。首先使用目标检测算法或者语义分割算法，来获取二维彩色图像中感兴趣区域的位置Mc(c＝1，…，C)，其中Mc表示感兴趣区域在第c个相机获取的彩色图像中对应的行xc、列yc、宽wc、高hc信息。然后，根据彩色相机和深度相机之间的变换矩阵，来将二维彩色图语义信息与三维深度空间数据关联，从而得到图像中感兴趣区域对应的深度信息Dc(c＝1，…，C)。接着，利用步骤三求解得到的RGBD相机到世界坐标系变换矩阵
并结合相机的内参得到世界坐标系到图像坐标系的变换矩阵
将RGBD多相机中第c个相机得到的二维彩色图像感兴区域变换到相邻第c+1相机所在的像素坐标系下。判断变换到相机c+1后的像素(ui，vi)是否在该相机的感兴区域Mc+1内，如果在Mc+1内则两边相机同时保留该点信息。反之，则相邻相机去除该点信息。遍历第c个相机感兴趣区域内的所有像素，来确定出相邻相机之间空间点云重叠区域。最后，按照上述方法直到确定出所有相邻相机的空间点云重叠区域：
步骤五，对步骤四得到的重叠点云做预处理操作。首先使用体素化网格的方法来对点云做下采样处理。将精细化的点云放入到三维坐标系中，并计算出在坐标系每个方向的最大值，从而得到包围点云的立方体；将点云数据空间划分来得到一定数量相同大小的立方体栅格，并检测每个立方体中存在的数据，如果存在点云数据，则计算出立体空间中的中心点，反之则删除该立方体；设置固定大小的阈值，选择以立方体中心点小于设定阈值范围内的空间点，反之则去除立体空间中的点云。然后使用Kd-Tree方法来构建下采样后点云的拓扑结构。寻找下采样后点云最稀疏的维度，并在选择的维度上寻找切分点；在切分后的两个子平面上继续寻找最稀疏的维度；按照此方法一直寻找，最终构建出由k维数据表示的点云数据节点。最后，使用局部表面拟合的方法来求解点云的法向量。假定在空间点(xi，yi，zi)处法向量的余弦分别为(a，b，c)，可以得到法向量计算的约束方程，从而计算出点云的法向量。其中，点云法向量的约束方程为：
步骤六，对相邻相机点云做配准处理来精确求解出RGBD多相机之间位姿关系，如图6所示。选取步骤五中相邻相机的两组点云集，分别设为源点云集H和目标点云集Q，并引入步骤三得到的相机之间位姿关系；计算目标数据点集与源数据点集的重心，对两个点集进行重心平移化处理；在经过初始变换矩阵变换后，设H中一点Hi，使用距离度量方法在目标数据点集中寻找距离Hi距离最近的点Qi作为匹配点，构成匹配点集；对匹配上的点对计算对应的欧氏距离平方和，并将结果作为误差目标函数：根据已知误差目标函数，通过四元数法来计算误差函数最小值；构造两个点云的协方差矩阵，来求解出两组点云的变换矩阵，并将结果到更新待匹配点集H；重新寻找源点集与目标点集的对应点，重复上述步骤，直到误差目标函数变化小于设定的阈值或者超过设定的最大迭代次数。
下面结合实验对本发明的技术效果作详细的描述。
本发明针对不同场景下RGBD相机的标定任务进行了性能评估，我们对该发明的性能进行了定性分析，实验效果如图7所示(图中展示了标定结束后，点云合并在一起的效果)。可以直观地看到该发明的算法在不同环境下能标定出RGBD多相机之间位姿关系，而且从效果可看出图像可以做到无缝衔接。总体上看，该算法对不同环境下的RGBD多相机能取得较好的标定效果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于多维语义映射RGBD多相机标定方法，其特征在于，所述基于多维语义映射RGBD多相机标定方法包括：
采用硬同步触发机制同步获取多路RGBD相机同一时钟下彩色图像数据和深度图像数据；
基于二维码与光束平差法的RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；
基于多维语义映射的迭代最近点ICP算法，在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；在相邻相机之间重叠区域的基础上，采用ICP算法得到RGBD多相机之间的精确位姿。
2.如权利要求1所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述基于多维语义映射RGBD多相机标定方法还包括：
步骤一，使用同步触发线来同步RGBD多相机的时钟，同步拍摄放置在相机共视区域的标定板彩色图像，将获取的彩色图像做灰度变换处理，并利用自适应阈值方式对图像进行分割，利用Suzuki算法对分割后的图像进行轮廓提取，并通过Douglas-Peucker算法选取轮廓近似为四边形的最外围四边形；对提取后的四边形做仿射变换，并根据其信息得到彩色图像中二维码的角点位置以及ID信息；
步骤二，求解RGBD多相机之间的初始位姿，二维码标定在世界坐标系下的位置为点pi(i＝1，…，N)，对应在彩色图像上像素坐标系中的位置为(ui，vi)(i＝1，…，N)，使用DLT算法构建方程来求解相机的位姿；
步骤三，全局优化求解RGBD多相机之间的位姿关系，在步骤二得到的相机之间位姿基础，并结合世界坐标系下的三维点Pi(i＝1，…，N)以及对应的像素坐标
旋转和平移的增广矩阵的李代数表示为ξ，对应的世界坐标到像素标定的表达式为h，使用光束平差法构建代价函数，全局优化RGBD多相机之间的位姿；
步骤四，根据二维语义信息和三维空间信息构建相邻相机之间空间重叠点云；
步骤五，对步骤四得到的重叠点云做预处理操作；
步骤六，对相邻相机点云做配准处理来精确求解出RGBD多相机之间位姿关系。
3.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤二使用DLT算法构建方程来求解相机的位姿，其中方程的表示形式为：
在求解相机之间位姿过程中，求解旋转和变换矩阵构成的增广矩阵，总共包含12个未知数；采集至少6对三维点与二维点的对应点，使用SVD法来对方程求解，得到RGBD相机之间的位姿关系。
4.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤三构建的代价函数为：
5.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤四首先使用目标检测算法或者语义分割算法，获取二维彩色图像中感兴趣区域的位置Mc(c＝1，…，C)，其中Mc表示感兴趣区域在第c个相机获取的彩色图像中对应的行xc、列yc、宽wc、高hc信息；然后，根据彩色相机和深度相机之间的变换矩阵，将二维彩色图语义信息与三维深度空间数据关联，从而得到图像中感兴趣区域对应的深度信息Dc(c＝1，…，C)；接着，利用步骤三求解得到的RGBD相机到世界坐标系变换矩阵
并结合相机的内参得到世界坐标系到图像坐标系的变换矩阵
将RGBD多相机中第c个相机得到的二维彩色图像感兴区域变换到相邻第c+1相机所在的像素坐标系下；判断变换到相机c+1后的像素(ui，vi)是否在该相机的感兴区域Mc+1内，如果在Mc+1内则两边相机同时保留该点信息；反之，则相邻相机去除该点信息；遍历第c个相机感兴趣区域内的所有像素，确定出相邻相机之间空间点云重叠区域；最后，按照上述方法直到确定出所有相邻相机的空间点云重叠区域：
6.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤五首先使用体素化网格的方法来对点云做下采样处理，将精细化的点云放入到三维坐标系中，并计算出在坐标系每个方向的最大值，得到包围点云的立方体；将点云数据空间划分来得到一定数量相同大小的立方体栅格，并检测每个立方体中存在的数据，如果存在点云数据，则计算出立体空间中的中心点，反之则删除该立方体；设置固定大小的阈值，选择以立方体中心点小于设定阈值范围内的空间点，反之则去除立体空间中的点云；然后使用Kd-Tree方法来构建下采样后点云的拓扑结构，寻找下采样后点云最稀疏的维度，并在选择的维度上寻找切分点；在切分后的两个子平面上继续寻找最稀疏的维度；按照此方法一直寻找，最终构建出由k维数据表示的点云数据节点，最后，使用局部表面拟合的方法来求解点云的法向量；在空间点(xi，yi，zi)处法向量的余弦分别为(a，b，c)，得到法向量计算的约束方程，计算出点云的法向量；其中，点云法向量的约束方程为：
7.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤六包括选取步骤五中相邻相机的两组点云集，分别设为源点云集H和目标点云集Q，并引入步骤三得到的相机之间位姿关系；计算目标数据点集与源数据点集的重心，对两个点集进行重心平移化处理；在经过初始变换矩阵变换后，设H中一点Hi，使用距离度量方法在目标数据点集中寻找距离Hi距离最近的点Qi作为匹配点，构成匹配点集；对匹配上的点对计算对应的欧氏距离平方和，并将结果作为误差目标函数：根据已知误差目标函数，通过四元数法来计算误差函数最小值；构造两个点云的协方差矩阵，求解出两组点云的变换矩阵，并将结果到更新待匹配点集H；重新寻找源点集与目标点集的对应点，重复上述步骤，直到误差目标函数变化小于设定的阈值或者超过设定的最大迭代次数。
8.一种运行权利要求1～7任意一项所述基于多维语义映射RGBD多相机标定方法的基于多维语义映射RGBD多相机标定系统，其特征在于，所述基于多维语义映射RGBD多相机标定系统包括：
图像数据获取模块，采用硬同步触发机制同步获取多路RGBD相机同一时钟下的彩色图像数据和深度图像数据；
初始位姿处理模块，用于在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；
空间点重叠区域获取模块，用于在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；
精确位姿处理模块，用于采用ICP算法来得到RGBD多相机之间的精确位姿。
9.一种RGBD相机，其特征在于，所述RGBD相机安装有权利要求8所述的基于多维语义映射RGBD多相机标定系统。
10.一种机器人，其特征在于，所述机器人安装有权利要求8所述的基于多维语义映射RGBD多相机标定系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010634136.3A CN112001926B (zh) | 2020-07-04 | 2020-07-04 | 基于多维语义映射rgbd多相机标定方法、系统及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010634136.3A CN112001926B (zh) | 2020-07-04 | 2020-07-04 | 基于多维语义映射rgbd多相机标定方法、系统及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112001926A true CN112001926A (zh) | 2020-11-27 |
| CN112001926B CN112001926B (zh) | 2024-04-09 |
Family
ID=73467579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010634136.3A Active CN112001926B (zh) | 2020-07-04 | 2020-07-04 | 基于多维语义映射rgbd多相机标定方法、系统及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001926B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734844A (zh) * | 2021-01-08 | 2021-04-30 | 河北工业大学 | 一种基于正八面体的单目6d位姿估计方法 |
| CN113077519A (zh) * | 2021-03-18 | 2021-07-06 | 中国电子科技集团公司第五十四研究所 | 一种基于人体骨架提取的多相机外参自动标定方法 |
| CN113870358A (zh) * | 2021-09-17 | 2021-12-31 | 聚好看科技股份有限公司 | 一种多个3d相机联合标定的方法及设备 |
| CN114071114A (zh) * | 2022-01-17 | 2022-02-18 | 季华实验室 | 事件相机、深度事件点图获取方法、装置、设备及介质 |
| CN115695441A (zh) * | 2022-09-27 | 2023-02-03 | 西安电子科技大学 | 基于p2p技术的三维人体虚拟社交系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN110223348A (zh) * | 2019-02-25 | 2019-09-10 | 湖南大学 | 基于rgb-d相机的机器人场景自适应位姿估计方法 |
-
2020
- 2020-07-04 CN CN202010634136.3A patent/CN112001926B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN110223348A (zh) * | 2019-02-25 | 2019-09-10 | 湖南大学 | 基于rgb-d相机的机器人场景自适应位姿估计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周杰;安平;郑帅;严徐乐;左一帆;: "飞行时间深度相机和彩色相机的联合标定", 信号处理, no. 01 * |
| 陈震;马龙;张聪炫;黎明;吴俊?;江少锋;: "基于语义分割的双目场景流估计", 电子学报, no. 04 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734844A (zh) * | 2021-01-08 | 2021-04-30 | 河北工业大学 | 一种基于正八面体的单目6d位姿估计方法 |
| CN113077519A (zh) * | 2021-03-18 | 2021-07-06 | 中国电子科技集团公司第五十四研究所 | 一种基于人体骨架提取的多相机外参自动标定方法 |
| CN113870358A (zh) * | 2021-09-17 | 2021-12-31 | 聚好看科技股份有限公司 | 一种多个3d相机联合标定的方法及设备 |
| CN114071114A (zh) * | 2022-01-17 | 2022-02-18 | 季华实验室 | 事件相机、深度事件点图获取方法、装置、设备及介质 |
| CN115695441A (zh) * | 2022-09-27 | 2023-02-03 | 西安电子科技大学 | 基于p2p技术的三维人体虚拟社交系统及方法 |
| CN115695441B (zh) * | 2022-09-27 | 2024-03-29 | 西安电子科技大学 | 基于p2p技术的三维人体虚拟社交系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112001926B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN110458939B (zh) | 基于视角生成的室内场景建模方法 | |
| CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
| CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
| CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
| Ding et al. | Automatic registration of aerial imagery with untextured 3d lidar models | |
| CN107301654A (zh) | 一种多传感器的高精度即时定位与建图方法 | |
| CN103247075B (zh) | 基于变分机制的室内环境三维重建方法 | |
| CN110097553A (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| CN109598765A (zh) | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 | |
| CN111899328B (zh) | 一种基于rgb数据与生成对抗网络的点云三维重建方法 | |
| Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
| McIlroy et al. | Kinectrack: Agile 6-dof tracking using a projected dot pattern | |
| CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及系统 | |
| Hou et al. | Octree-Based Approach for Real-Time 3D Indoor Mapping Using RGB-D Video Data | |
| CN115830116A (zh) | 一种鲁棒视觉里程计方法 | |
| CN106157321A (zh) | 基于平面表面高动态范围图像的真实点光源位置测算方法 | |
| Li et al. | A real-time indoor visual localization and navigation method based on tango smartphone | |
| Wang et al. | Research on panoramic image registration approach based on spherical model | |
| Chen et al. | 360ORB-SLAM: A Visual SLAM System for Panoramic Images with Depth Completion Network | |
| He | Research on outdoor garden scene reconstruction based on PMVS Algorithm | |
| Yang et al. | Fast matching algorithm for sparse star points based on improved Delaunay subdivision | |
| Zhou et al. | Object detection and spatial location method for monocular camera based on 3D virtual geographical scene | |
| CN116805355B (zh) | 一种抗场景遮挡的多视图立体重建方法 | |
| Dong et al. | Binocular vision based 3D reconstruction of ocean waves and position coordinate measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |