CN116894907A - 一种rgbd相机纹理贴图优化方法及系统 - Google Patents
一种rgbd相机纹理贴图优化方法及系统 Download PDFInfo
- Publication number
- CN116894907A CN116894907A CN202311159460.4A CN202311159460A CN116894907A CN 116894907 A CN116894907 A CN 116894907A CN 202311159460 A CN202311159460 A CN 202311159460A CN 116894907 A CN116894907 A CN 116894907A
- Authority
- CN
- China
- Prior art keywords
- camera
- texture
- depth
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005457 optimization Methods 0.000 title claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000004040 coloring Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 63
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种RGBD相机纹理贴图优化方法及系统，包括以下步骤：对RGB纹理相机及深度相机进行标定，利用LM算法对标定后的内参和外参进行优化，对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参；分别获取深度图像和RGB彩色纹理图像；利用优化后的参数，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，利用RGB彩色纹理图像对深度图像形成的三维点云进行贴图；判断初次赋色后的深度图像中的位置点是否需要重新赋色；若是，对当前赋色点重新赋色；否则，将RGB彩色纹理图像中的像素点与对应的位置点进行匹配，完成贴图。解决纹理图与深度图匹配后纹理关系错位的问题。将深度信息与颜色信息结合起来；实现深度图和纹理图的准确映射。
Description
技术领域
本发明涉及图像优化技术领域，尤其涉及一种RGBD相机纹理贴图优化方法及系统。
背景技术
RGBD相机是一种能够同时提供彩色图像（RGB）和深度图像（D）的摄像机。深度图像通过计算摄像机与场景中物体的距离而获得，为计算机视觉任务提供了额外的空间信息。纹理贴图是一种将图像贴合到三维物体表面以增强真实感的技术。在计算机图形学和增强现实应用中，纹理贴图广泛用于模拟物体的外观。
然而，使用RGBD相机进行纹理贴图时存在一些挑战。首先，RGBD相机的深度图像可能受到噪声、遮挡或不完整数据的影响，这可能导致生成的纹理贴图存在不连续或失真的区域。其次，由于物体的形状和纹理的变化，对纹理贴图进行合理的映射和对齐也是一项具有挑战性的任务。传统的纹理贴图方法可能无法有效地解决这些问题。
例如，现有技术中专利号CN109816731A名称为：一种rgb和深度信息精确配准的方法的申请文件中，通过对深度传感器和RGB传感器之间的相对位置和姿态进行准确的标定，建立了坐标间的转换关系。然后，在获取RGB和深度图像后，利用标定参数对深度图像进行空间对齐，确保RGB图像和深度图像之间的像素点精确匹配。通过这种配准技术，可以快速地获得具有高精度的RGBD图像数据，为后续的计算机视觉任务提供可靠的输入。然而，该专利仅给出了RGB和Depth间的配准转换关系，对于可能受到噪声、遮挡或视角遮挡的数据并未进行处理。并且，该过程只是在进行参数优化时仅对RGB彩色纹理相机以及深度相机间的转换关系进行了优化，只适用于RGB图像与深度传感数据的简单配准结合，局限于数据维度小，计算量少的图像配准中，当适用RGBD相机进行纹理图和深度图像集合时，该配准方法并不适用，另一方面，该种方法对于出现局部区域遮挡的情况时，形成的图像容易出现局部错位的现象，因此也不能适用。
因此，RGBD相机纹理贴图中，如何能保证两种相机的参数的高度匹配以及如何能在出现噪声、遮挡或视角遮挡的数据时，保证纹理图与深度图像的融合的准确度，是急需解决的问题。
发明内容
因此，本发明的目的在于提供一种RGBD相机纹理贴图优化方法及系统，通过对相机内参的优化和对纹理贴图进行局部的调整，解决纹理图与深度图匹配后纹理关系错位的问题。将深度信息与颜色信息结合起来；实现深度图和纹理图的准确映射。
本发明提供一种一种RGBD相机纹理贴图优化方法，包括以下步骤：
对RGB纹理相机及深度相机进行标定，利用LM算法对标定后的内参和外参进行优化，对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参；
获取深度图像和RGB彩色纹理图像；
利用优化后的内参和最终优化后的外参，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，利用RGB彩色纹理图像对深度图像形成的三维点云进行贴图；
所述贴图过程包括：
将RGB彩色纹理图像中的像素点与深度图像对应的位置点进行匹配，完成初次赋色；
继续判断当前赋色点是否为距离深度相机坐标系欧氏距离最小的近点；若是近点，则对当前赋色点重新赋色；若不是近点，按照初次赋色结果，完成贴图。
进一步优选的，所述贴图过程还包括如下所述的初次赋色过程：
创建两个与RGB彩色纹理图像大小相同的单通道Mat矩阵记为：第一矩阵和第二矩阵；
遍历深度图像中的所有位置点，利用第一矩阵记录当前深度图像中与RGB彩色纹理图像当前像素位置对应的点云序号；利用第二矩阵记录深度图像中与当前像素位置对应的深度值；
当找到深度图像中位置点对应RGB彩色纹理相机的映射的像素点/>时，对像素点/>对应的点云序号的位置点进行初次赋色。
进一步优选的，所述继续判断当前赋色点是否为距离深度相机坐标系欧氏距离最小的近点；若是近点，则对当前赋色点重新赋色；若不是近点，按照初次赋色结果，完成贴图，包括如下过程：
遍历深度图像中的所有位置点，判断深度图像中当前位置点是否已经赋色，若已进行赋色，则判断当前位置点对应的深度值与初次赋色后在第二矩阵中记录的深度值的差值是否小于第一预设阈值，当大于第一预设阈值时，不对当前像素位置对应的深度图进行赋色；
当小于第一预设阈值时，计算当前位置点深度值与第二矩阵中存储的深度值的差值，选取差值最小的点作为近点，进行重新赋色。
进一步优选的，所述利用LM算法对标定后的内参和外参进行优化，包括以下优化过程：
利用深度相机和RGB纹理相机采集同一黑白棋盘格标定板；将棋盘格标定板角点的世界坐标投影到像素坐标下；
通过RGB彩色纹理相机和深度相机间的转换关系，将投影到像素坐标系下的角点转换到RGB彩色纹理相机的像素坐标系下；
利用LM算法迭代优化标定后的RGB彩色纹理相机的内参和外参；
对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参。
进一步优选的，所述计算RGB彩色纹理相机与深度相机优化后的外参时，选定黑白棋标定板中任意位置的旋转矩阵作为初始值，按照下一位置的旋转矩阵与当前选定位置的旋转矩阵的差值不超过第二预设阈值的原则，迭代求解后进行均值计算，得到最终优化后的旋转矩阵。
进一步优选的，RGB彩色纹理相机和深度相机间的转换关系通过如下公式（1）计算：
（1）
其中，Hrgb为RGB彩色纹理相机的位姿；Hleft为深度相机的位姿；
进一步优选的，所述利用LM算法迭代优化标定后的RGB彩色纹理相机的内参以及外参时，采用如下公式（2）计算：
（2）
其中，表示RGB彩色纹理相机优化后相机内参和畸变，/>表示深度相机优化后的相机内参和畸变，/>表示RGB相机每个标定位置外参矩阵，/>表示深度相机每个标定位置外参矩阵，/>表示不同的标定板位置，/>表示棋盘格标定板角点个数，/>表示RGB彩色纹理相机标定板图像提取的角点像素坐标，/>表示深度相机标定板图像提取的角点像素坐标，表示转换后的重投影角点像素坐标。
进一步优选的，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，将RGB彩色纹理图像利用深度图像形成的三维点云进行贴图时，包括以下过程：
通过深度相机相对于RGB彩色纹理相机的转换关系，将深度相机的相机坐标系下的坐标转换到RGB纹理相机的相机坐标系下，转换关系如公式(6)所示：
（3）
将转换到RGB彩色纹理相机的相机坐标系下的点与的比值投影到归一化平面上，使用优化后的RGB纹理相机内参/>转换到RGB彩色纹理相机的像素坐标系上，得到每一个点对应的像素位置/>转换关系如公式(7)所示：
（4）
其中，表示RGB彩色纹理相机在相机坐标系下/>值。
本发明还提供一种RGBD相机纹理贴图优化系统，用于实施上述RGBD相机纹理贴图优化方法的步骤，包括RGB纹理相机、深度相机、相机参数优化模块、赋色模块、贴图模块；
所述RGB纹理相机用于获取RGB彩色纹理图像；
所述深度相机用于获取深度图像；
所述相机参数优化模块用于对RGB纹理相机及深度相机进行标定，利用LM算法对标定后的内参和外参进行优化，对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参；
所述贴图模块，利用优化后的内参和最终优化后的外参，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，利用RGB彩色纹理图像对深度图像形成的三维点云进行贴图；
所述赋色模块，用于在贴图过程中，将RGB彩色纹理图像中的像素点与深度图像对应的位置点进行匹配，完成初次赋色；
继续判断当前赋色点是否为距离深度相机坐标系欧氏距离最小的近点；若是近点，则对当前赋色点重新赋色；若不是近点，按照初次赋色结果，完成贴图。
进一步优选的，所述赋色模块还包括第一矩阵和第二矩阵；
所述第一矩阵和第二矩阵与RGB彩色纹理图像大小相同，所述第一矩阵用于遍历深度图像中的所有位置点时，记录当前深度图像中与RGB彩色纹理图像当前像素位置对应的点云序号；
所述第二矩阵用于记录深度图像中与当前像素位置对应的深度值；
当找到深度图像中位置点对应RGB彩色纹理相机映射的像素点/>时，对像素点对应的点云序号的位置点进行初次赋色。
本发明提供的RGBD相机纹理贴图优化方法及系统，相比于现有技术，至少具有以下优点：
1、利用莱文伯格－马夸特方法模型对标定的内参以及外参进行优化，由于RGB彩色纹理图像的分辨率远大于深度图像的分辨率，因此，按照本申请的优化方法实现内外参整体优化后即可获得最佳贴图匹配点；
2、由于深度相机与纹理相机视野不同，导致所生成的深度图与纹理图并不完全对应，在进行纹理贴图时会出现一个深度图像中的像素点对应多个RGB彩色纹理图像上的像素点，因此本申请中设置了赋色判断过程，对匹配点是否为近点进行判断后，进行赋色，通过对纹理贴图进行局部的调整，解决纹理图与深度图匹配后纹理关系错位的问题。将深度信息与颜色信息结合起来；实现深度图和纹理图的准确映射。
附图说明
图1为本发明的RGBD相机纹理贴图优化方法的流程示意图；
图2为本发明中RGB纹理相机与深度相机参数优化前旋转矩阵的向量示意图；
图3为本发明中RGB纹理相机与深度相机参数优化前平移向量示意图；
图4为参数优化后旋转矩阵示意图；
图5为参数优化后平移向量示意图；
图6深度相机与纹理相机视野差示意图；
图7 为RGBD相机纹理贴图中深度图像；
图8为RGB彩色相机纹理图；
图9为现有贴图方法中贴图后的效果图；
图10为本申请贴图方法贴图后的效果图；
图11为本发明的RGBD相机纹理贴图优化系统示意图。
具体实施方式
以下通过附图和具体实施方式对本发明作进一步的详细说明。
如图1所示，本发明一方面实施例提供的一种RGBD相机纹理贴图优化方法，包括以下步骤：
S1、对RGB纹理相机及深度相机进行标定，利用LM算法对标定后的内参和外参进行优化，对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参；
S2、分别获取深度图像和RGB彩色纹理图像；
S3、利用优化后的内参和最终优化后的外参，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，利用RGB彩色纹理图像对深度图像形成的三维点云进行贴图；
所述贴图过程包括：将RGB彩色纹理图像中的像素点与深度图像对应的位置点进行匹配，完成初次赋色；
继续判断当前赋色点是否为距离相机坐标系欧氏距离最小的近点；若是近点，则对当前赋色点重新赋色；否则，将RGB彩色纹理图像中的像素点与对应的位置点进行匹配，完成贴图。
在S1中，对RGB纹理相机及深度相机进行标定，所述利用LM算法对标定后的内参和外参进行优化，包括以下过程：
1、标定过程
棋盘格标定板尽量覆盖深度相机中左相机以及RGB彩色纹理相机的整个视野来标定其内参，通过标定图像对相机进行标定获取其内参。
需要说明的是，本申请中深度相机为双目相机，布设时如图6深度相机在左侧，纹理相机在右侧设置，因此，本实施例中按照此种位置关系，定义深度相机的左相机为基准相机，建立与RGB彩色纹理相机的参数转换关系；如果深度相机设置在纹理相机的右侧，在进行标定时，需要按照深度相机的右相机为基准设置，标定和优化的原理相同，在此不再赘述。
2、优化过程
所述利用LM（Levenberg–Marquardt algorithm莱文伯格－马夸特 ）算法对标定后的内参和外参进行优化，包括以下优化过程：
S201、利用深度相机和RGB纹理相机采集同一黑白棋盘格标定板；将棋盘格标定板角点的世界坐标投影到像素坐标下；
S202、通过RGB彩色纹理相机和深度相机间的转换关系，将投影到像素坐标系下的角点坐标，转换到RGB彩色纹理相机的像素坐标系下；
S203、利用LM算法迭代优化标定后的RGB彩色纹理相机的内参和外参；
S204、对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参。
在S201中，RGB彩色纹理相机和深度相机间的转换关系通过如下公式（1）计算：
（1）
其中，Hrgb为RGB彩色纹理相机的位姿；Hleft为深度相机的位姿；
在S203中，所述利用LM算法迭代优化标定后的RGB彩色纹理相机的内参以及外参时，采用如下公式（2）计算：
（2）
其中，表示RGB彩色纹理相机优化后相机内参和畸变，/>表示深度相机优化后的相机内参和畸变，/>表示每个标定位置外参矩阵，/>表示不同的标定板位置，/>表示棋盘格标定板角点个数，/>表示RGB彩色纹理相机标定板图像提取的角点像素坐标，/>表示深度相机标定板图像提取的角点像素坐标，/>表示转换后的重投影角点像素坐标。/>，/>转换过程如公式(3)所示：
（3）
其中，，/>分别表示RGB彩色纹理和深度相机标定的初始内参和畸变，/>，分别表示RGB彩色纹理和深度相机在相机坐标系下值，/>表示棋盘格标定板角点世界坐标。
在S204中，对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参，其中，外参包括旋转矩阵和平移矩阵，其中平移矩阵只需进行求和平均即可得到其均值。对于迭代计算RGB彩色纹理相机与深度相机优化后的旋转矩阵均值时，选定黑白棋标定板中任意位置的旋转矩阵作为初始值，按照下一位置的旋转矩阵与当前选定位置的旋转矩阵的差值不超过第二预设阈值的原则，迭代求解后进行均值计算，得到最终优化后的旋转矩阵。具体算法如下所示：
优化前后两相机的转换矩阵如图2-5所示，图2和图3分别为参数优化前转换矩阵的旋转矩阵和平移向量，图2和图4中虚线Rx点划线Ry和实线Rz，分别表示X、Y、Z的旋转分量；图3和图5中X\Y\Z分别表示X、Y、Z的平移分量，可以看出，参数优化前计算的两相机的转换关系有明显的波动。因两相机的世界坐标位置固定不变，转换关系应为参数优化后的图4和图5所示，两相机的转换关系波动较小。两相机间转换关系求解的准确性与纹理贴图效果密切相关。
3、贴图过程
S3中，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，利用RGB彩色纹理图像对深度图像形成的三维点云进行贴图；其中，像素点与位置点的匹配过程如下所示：
通过优化后的深度相机相对于RGB彩色纹理相机的转换关系，将深度相机的相机坐标系下的坐标转换到RGB纹理相机的相机坐标系下，转换关系如公式(6)所示：
（6）
将转换到RGB彩色纹理相机的相机坐标系下的点与的比值投影到归一化平面上，使用优化后的RGB纹理相机内参/>转换到RGB彩色纹理相机的像素坐标系上，得到每一个点对应的像素位置/>转换关系如公式(7)所示：
（7）
其中，表示RGB彩色纹理相机在相机坐标系下/>值。
由于深度相机与纹理相机视野不同，导致所生成的深度图与纹理图并不完全对应，在进行纹理贴图时会出现多个深度图像中的位置点对应一个RGB彩色纹理图像上的像素点，示意图如图6所示，A和B标记点为深度图像中的一个像素点映射到彩色纹理相机上的两个点，由此可见，A点和B点在常规贴图时，容易被赋色为同一颜色。只有当识别出该像素点对应近点A时，才会避免位置点B被错误赋色。
4、赋色过程
在S3中，还包括所述所述贴图过程还包括如下所述的初次赋色过程：
创建两个与RGB彩色纹理图像大小相同的单通道Mat矩阵记为：第一矩阵mark_index和第二矩阵mark_depth；
遍历深度图像中的所有位置点，利用第一矩阵记录当前深度图像中与RGB彩色纹理图像当前像素位置对应的点云序号；利用第二矩阵记录深度图像中与当前像素位置对应的深度值；
当找到深度图像中像素点对应RGB彩色纹理相机的映射点/>时，对/>对应的点云序号的位置点进行初次赋色；
记录当前点云序号到第一矩阵中，记录当前的深度值到第二矩阵中。
进一步优选的，所述继续判断当前赋色点是否为距离深度相机的相机坐标系的近点，包括如下过程：需要说明的是，在初次赋色时，深度相机，每个位置点的深度值将记录在第二矩阵中，而深度值就表示距离深度相机坐标系的欧氏距离，因此，仅需对深度值进行再次比较即可对当前赋色点是否为近点进行判断，具体包括：
遍历深度图像中的所有位置点，判断深度图像中当前位置点是否已经赋色，若已进行赋色，则判断像素点对应的深度值与之前第二矩阵中记录的深度值的差值是否小于第一预设阈值。当大于第一预设阈值时，不对当前像素位置对应的深度图进行赋色；
当小于第一预设阈值时，选取当前点深度值与第二矩阵中存储的深度值的差值最小的点进行赋色。由于RGB彩色纹理图像的分辨率远大于深度图像的分辨率，因此在点云渲染时，需选取深度图像中一个点对应RGB纹理图像中3×3的像素范围进行近点判断，将选取的3×3像素范围中的每个深度值与mark_depth存储的深度值做差，选择深度差值最小的点进行赋色。
RGBD相机纹理贴图过程所需深度图像，如图7所示，RGB彩色纹理图像8所示。通过参考发明专利CN109816731A中转换关系贴图后的记过如图9所示，可以看见在图中框选处的彩色问题已经出现错位贴图，图中方框位置1和2为错误位置。通过上述所有优化后最终贴图结果如图10所示，优化后的纹理贴图将错位情况进行了消除。
如图11所示，本发明还提供一种RGBD相机纹理贴图优化系统，用于实施上述RGBD相机纹理贴图优化方法的步骤，包括RGB纹理相机、深度相机、相机参数优化模块、赋色模块、贴图模块；
所述RGB纹理相机用于获取RGB彩色纹理图像；
所述深度相机用于获取深度图像；
所述相机参数优化模块用于对RGB纹理相机及深度相机进行标定，利用LM算法对标定后的内参和外参进行优化，对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参；
所述贴图模块，利用优化后的内参和最终优化后的外参，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，利用RGB彩色纹理图像对深度图像形成的三维点云进行贴图；
所述赋色模块，用于在贴图过程中，将RGB彩色纹理图像中的像素点与深度图像对应的位置点进行匹配，完成初次赋色；
继续判断当前赋色点是否为距离深度相机坐标系欧氏距离最小的近点；若是近点，则对当前赋色点重新赋色；若不是近点，按照初次赋色结果，完成贴图。
进一步优选的，所述赋色模块还包括第一矩阵和第二矩阵；
所述第一矩阵和第二矩阵与RGB彩色纹理图像大小相同，所述第一矩阵用于遍历深度图像中的所有位置点时，记录当前深度图像中与RGB彩色纹理图像当前像素位置对应的点云序号；
所述第二矩阵用于记录深度图像中与当前像素位置对应的深度值；
当找到深度图像中像素点对应RGB彩色纹理相机的映射点/>时，对/>对应的点云序号的位置点进行初次赋色；记录当前点云序号到第一矩阵中，记录当前的深度值到第二矩阵中。
在对点云进行RGB彩色纹理赋色时，需要保证纹理图像贴图的准确性。多数研究人员在进行参数优化时仅对RGB彩色纹理相机以及深度相机间的转换关系进行了优化，而并未对相机标定内参进行优化。本发明专利对对相机标定的内参以及RGB彩色纹理相机以及深度相机间的转换关系均进行优化，同时对重复赋色进行了最近点赋色优化来保证贴图的准确性。
显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种RGBD相机纹理贴图优化方法，其特征在于，包括以下步骤：
对RGB纹理相机及深度相机进行标定，利用LM算法对标定后的内参和外参进行优化，对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参；
获取深度图像和RGB彩色纹理图像；
利用优化后的内参和最终优化后的外参，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，利用RGB彩色纹理图像对深度图像形成的三维点云进行贴图；
所述贴图过程包括：
将RGB彩色纹理图像中的像素点与深度图像对应的位置点进行匹配，完成初次赋色；
继续判断当前赋色点是否为距离深度相机坐标系欧氏距离最小的近点；若是近点，则对当前赋色点重新赋色；若不是近点，按照初次赋色结果，完成贴图。
2.根据权利要求1所述的RGBD相机纹理贴图优化方法，其特征在于，所述贴图过程还包括如下所述的初次赋色过程：
创建两个与RGB彩色纹理图像大小相同的单通道Mat矩阵记为：第一矩阵和第二矩阵；
遍历深度图像中的所有位置点，利用第一矩阵记录当前深度图像中与RGB彩色纹理图像当前像素位置对应的点云序号；利用第二矩阵记录深度图像中与当前像素位置对应的深度值；
当找到深度图像中位置点对应RGB彩色纹理相机的映射的像素点/>时，对像素点/>对应的点云序号的位置点进行初次赋色。
3.根据权利要求2所述的RGBD相机纹理贴图优化方法，其特征在于，所述继续判断当前赋色点是否为距离深度相机坐标系欧氏距离最小的近点；若是近点，则对当前赋色点重新赋色；若不是近点，按照初次赋色结果，完成贴图，包括如下过程：
遍历深度图像中的所有位置点，判断深度图像中当前位置点是否已经赋色，若已进行赋色，则判断当前位置点对应的深度值与初次赋色后在第二矩阵中记录的深度值的差值是否小于第一预设阈值，当大于第一预设阈值时，不对当前像素位置对应的深度图进行赋色；
当小于第一预设阈值时，计算当前位置点深度值与第二矩阵中存储的深度值的差值，选取差值最小的点作为近点，进行重新赋色。
4.根据权利要求1所述的RGBD相机纹理贴图优化方法，其特征在于，所述利用LM算法对标定后的内参和外参进行优化，包括以下优化过程：
利用深度相机和RGB纹理相机采集同一黑白棋盘格标定板；将棋盘格标定板角点的世界坐标投影到像素坐标下；
通过RGB彩色纹理相机和深度相机间的转换关系，将投影到像素坐标系下的角点转换到RGB彩色纹理相机的像素坐标系下；
利用LM算法迭代优化标定后的RGB彩色纹理相机的内参和外参；
对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参。
5.根据权利要求4所述的RGBD相机纹理贴图优化方法，其特征在于，所述计算RGB彩色纹理相机与深度相机优化后的外参时，选定黑白棋标定板中任意位置的旋转矩阵作为初始值，按照下一位置的旋转矩阵与当前选定位置的旋转矩阵的差值不超过第二预设阈值的原则，迭代求解后进行均值计算，得到最终优化后的旋转矩阵。
6.根据权利要求4所述的RGBD相机纹理贴图优化方法，其特征在于，RGB彩色纹理相机和深度相机间的转换关系通过如下公式（1）计算：
（1）
其中，Hrgb为RGB彩色纹理相机的位姿；Hleft为深度相机的位姿。
7.根据权利要求5所述的RGBD相机纹理贴图优化方法，其特征在于，所述利用LM算法迭代优化标定后的RGB彩色纹理相机的内参以及外参时，采用如下公式（2）计算：
（2）
其中，表示RGB彩色纹理相机优化后相机内参和畸变，/>表示深度相机优化后的相机内参和畸变，/>表示RGB相机每个标定位置外参矩阵，/>表示深度相机每个标定位置外参矩阵，/>表示不同的标定板位置，/>表示棋盘格标定板角点个数，/>表示RGB彩色纹理相机标定板图像提取的角点像素坐标，/>表示深度相机标定板图像提取的角点像素坐标，/>表示转换后的重投影角点像素坐标。
8.根据权利要求6所述的RGBD相机纹理贴图优化方法，其特征在于，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，将RGB彩色纹理图像利用深度图像形成的三维点云进行贴图时，包括以下过程：
通过深度相机相对于RGB彩色纹理相机的转换关系，将深度相机的相机坐标系下的坐标转换到RGB纹理相机的相机坐标系下，转换关系如公式(6)所示：
（6）
将转换到RGB彩色纹理相机的相机坐标系下的点与的比值投影到归一化平面上，使用优化后的RGB纹理相机内参/>转换到RGB彩色纹理相机的像素坐标系上，得到每一个点对应的像素位置/>转换关系如公式(7)所示：
（7）
其中，表示RGB彩色纹理相机在相机坐标系下Z值。
9.一种RGBD相机纹理贴图优化系统，用于实施上述权利要求1-8中任意一项所述RGBD相机纹理贴图优化方法的步骤，其特征在于，包括RGB纹理相机、深度相机、相机参数优化模块、赋色模块、贴图模块；
所述RGB纹理相机用于获取RGB彩色纹理图像；
所述深度相机用于获取深度图像；
所述相机参数优化模块用于对RGB纹理相机及深度相机进行标定，利用LM算法对标定后的内参和外参进行优化，对优化后的外参迭代计算均值，将迭代结果作为最终优化后的外参；
所述贴图模块，利用优化后的内参和最终优化后的外参，查找深度图像中与RGB彩色纹理图像的像素点对应的位置点，利用RGB彩色纹理图像对深度图像形成的三维点云进行贴图；
所述赋色模块，用于在贴图过程中，将RGB彩色纹理图像中的像素点与深度图像对应的位置点进行匹配，完成初次赋色；
继续判断当前赋色点是否为距离深度相机坐标系欧氏距离最小的近点；若是近点，则对当前赋色点重新赋色；若不是近点，按照初次赋色结果，完成贴图。
10.根据权利要求9所述的RGBD相机纹理贴图优化系统，其特征在于，所述赋色模块还包括第一矩阵和第二矩阵；
所述第一矩阵和第二矩阵与RGB彩色纹理图像大小相同，所述第一矩阵用于遍历深度图像中的所有位置点时，记录当前深度图像中与RGB彩色纹理图像当前像素位置对应的点云序号；
所述第二矩阵用于记录深度图像中与当前像素位置对应的深度值；
当找到深度图像中位置点对应RGB彩色纹理相机映射的像素点/>时，对像素点/>对应的点云序号的位置点进行初次赋色。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311159460.4A CN116894907B (zh) | 2023-09-11 | 2023-09-11 | 一种rgbd相机纹理贴图优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311159460.4A CN116894907B (zh) | 2023-09-11 | 2023-09-11 | 一种rgbd相机纹理贴图优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116894907A true CN116894907A (zh) | 2023-10-17 |
| CN116894907B CN116894907B (zh) | 2023-11-21 |
Family
ID=88313805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311159460.4A Active CN116894907B (zh) | 2023-09-11 | 2023-09-11 | 一种rgbd相机纹理贴图优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894907B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994357A (zh) * | 2024-04-03 | 2024-05-07 | 江苏开放大学（江苏城市职业学院） | 一种基于时序性的多深度相机联合优化方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2081754A1 (en) * | 1992-10-29 | 1994-04-30 | Marke Boenke | Method and system for color film separation preprocess using electronic object-based choking and spreading procedures including object combining operations |
| CN104657103A (zh) * | 2015-03-16 | 2015-05-27 | 哈尔滨工业大学 | 基于深度摄像机的手持cave投影系统 |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN113112588A (zh) * | 2021-04-07 | 2021-07-13 | 中国电建集团贵州电力设计研究院有限公司 | 基于rgb-d深度相机重建的地下管井三维可视化方法 |
| US20220101639A1 (en) * | 2019-02-01 | 2022-03-31 | Siemens Aktiengesellschaft | Dense 6-dof pose object detector |
| US20220174261A1 (en) * | 2020-12-01 | 2022-06-02 | Looking Glass Factory, Inc. | System and method for processing three dimensional images |
| US20220169381A1 (en) * | 2020-11-30 | 2022-06-02 | Saudi Arabian Oil Company | Deep learning-based localization of uavs with respect to nearby pipes |
| CN114898061A (zh) * | 2022-05-26 | 2022-08-12 | 石河子大学 | 一种基于飞走双模视觉信息的输电走廊快速重建方法 |
| CN114996814A (zh) * | 2022-06-15 | 2022-09-02 | 河海大学 | 一种基于深度学习与三维重建的家具设计系统 |
| CN115330734A (zh) * | 2022-08-18 | 2022-11-11 | 南京邮电大学 | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 |
-
2023
- 2023-09-11 CN CN202311159460.4A patent/CN116894907B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2081754A1 (en) * | 1992-10-29 | 1994-04-30 | Marke Boenke | Method and system for color film separation preprocess using electronic object-based choking and spreading procedures including object combining operations |
| CN104657103A (zh) * | 2015-03-16 | 2015-05-27 | 哈尔滨工业大学 | 基于深度摄像机的手持cave投影系统 |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| US20220101639A1 (en) * | 2019-02-01 | 2022-03-31 | Siemens Aktiengesellschaft | Dense 6-dof pose object detector |
| US20220169381A1 (en) * | 2020-11-30 | 2022-06-02 | Saudi Arabian Oil Company | Deep learning-based localization of uavs with respect to nearby pipes |
| US20220174261A1 (en) * | 2020-12-01 | 2022-06-02 | Looking Glass Factory, Inc. | System and method for processing three dimensional images |
| CN113112588A (zh) * | 2021-04-07 | 2021-07-13 | 中国电建集团贵州电力设计研究院有限公司 | 基于rgb-d深度相机重建的地下管井三维可视化方法 |
| CN114898061A (zh) * | 2022-05-26 | 2022-08-12 | 石河子大学 | 一种基于飞走双模视觉信息的输电走廊快速重建方法 |
| CN114996814A (zh) * | 2022-06-15 | 2022-09-02 | 河海大学 | 一种基于深度学习与三维重建的家具设计系统 |
| CN115330734A (zh) * | 2022-08-18 | 2022-11-11 | 南京邮电大学 | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 |
Non-Patent Citations (2)
| Title |
|---|
| YINGCHUN FAN ET AL.: "Blitz-SLAM: A semantic SLAM in dynamic environments", 《PATTERN RECOGNITION》 * |
| 沈婷婷: "真三维模型重建技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994357A (zh) * | 2024-04-03 | 2024-05-07 | 江苏开放大学（江苏城市职业学院） | 一种基于时序性的多深度相机联合优化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116894907B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ishikawa et al. | Lidar and camera calibration using motions estimated by sensor fusion odometry | |
| CN111862179B (zh) | 三维对象建模方法与设备、图像处理装置及介质 | |
| CN109767474B (zh) | 一种多目相机标定方法、装置及存储介质 | |
| US10176595B2 (en) | Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof | |
| JP6764533B2 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| CN111429533B (zh) | 一种相机镜头畸变参数估计装置及方法 | |
| CN116894907B (zh) | 一种rgbd相机纹理贴图优化方法及系统 | |
| CN108154536A (zh) | 二维平面迭代的相机标定法 | |
| CN114078093A (zh) | 一种图像校正方法、智能终端及存储介质 | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
| CN112929626A (zh) | 一种基于智能手机影像的三维信息提取方法 | |
| CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
| CN113129384A (zh) | 基于一维编码靶标的双目视觉系统灵活标定方法 | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN111383254A (zh) | 一种深度信息获取方法、系统及终端设备 | |
| CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN105513074A (zh) | 一种羽毛球机器人相机标定方法 | |
| CN112017259B (zh) | 一种基于深度相机与热像仪的室内定位与建图方法 | |
| CN111968182B (zh) | 一种双目相机非线性模型参数的标定方法 | |
| CN116385561A (zh) | 一种摄像头与激光雷达标定方法 | |
| CN117152330A (zh) | 一种基于深度学习的点云3d模型贴图方法和装置 | |
| CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
| CN115311369A (zh) | 一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |