CN116363226A - 一种实时的多相机多投影仪3d成像处理方法及装置 - Google Patents
一种实时的多相机多投影仪3d成像处理方法及装置 Download PDFInfo
- Publication number
- CN116363226A CN116363226A CN202310291143.1A CN202310291143A CN116363226A CN 116363226 A CN116363226 A CN 116363226A CN 202310291143 A CN202310291143 A CN 202310291143A CN 116363226 A CN116363226 A CN 116363226A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- projector
- calibration
- precision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 125
- 238000006243 chemical reaction Methods 0.000 claims abstract description 71
- 238000005259 measurement Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 84
- 239000000919 ceramic Substances 0.000 claims description 74
- 238000013519 translation Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000007639 printing Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 4
- 230000010363 phase shift Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 239000002023 wood Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000001314 profilometry Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
本发明公开了一种实时的多相机多投影仪3D成像处理方法及装置，涉及三维成像技术领域，该方法包括搭建多相机多投影仪三维测量平台；对单相机单投影仪测量系统中的相机和投影仪进行标定；基于标定得到的所有相机的内部参数和畸变系数，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计；对重建标准件进行重建；基于参考坐标系完成多相机多投影仪三维测量平台的整体标定，将待测物体放置于重建范围内，将世界坐标系建立在参考相机坐标系上，根据相机间的位置转换矩阵，获得待测物体的多视角融合点云。本发明不需要增加相机数量来实现系统整体标定参数的优化，整体结构简单，维护性强。
Description
技术领域
本发明涉及三维成像技术领域，具体涉及一种实时的多相机多投影仪3D成像处理方法及装置。
背景技术
在机器视觉领域，相比传统的二维图像处理技术，三维成像技术由于其包含深度信息的特点，成为了近年来的研究热点，被广泛应用于工业生产、生命医学、消费电子等领域。随着科技的发展和软硬件的迭代升级，三维测量技术的精度、速度、量程都有了较大程度的提高。当前阶段的三维成像技术主要包括基于伪相机法的结构光系统标定方法和基于结构光的相位测量轮廓术(简称PMP)。
在基于伪相机法的单相机单投影仪结构光系统标定方法中，首先采用张氏标定法获取相机标定参数，包括相机内部参数、畸变系数和靶标平面到相机的外部参数，然后使用相机标定参数赋予投影仪获取图片的能力，将投影仪视为一个逆向的相机，并用相机标定的方法来标定投影仪，从而获取系统整体标定参数；在PMP方法中，投影仪将一系列编码好的光栅条纹图案投射到被测物体上，并触发摄像机采集这些经物体表面调制后的条纹图案，进而根据这些图案所包含的深度信息结合系统整体标定参数计算出物体表面的三维坐标。但是，由于视场的限制，当前的三维成像技术大多限制在单视角测量，对于同个物体的多视角重建的研究还不够完善。
当前，在多视角三维重建的研究中，最为常用的有两种方案：第一种是基于点云拼接的多视角重建，即使用单套结构光系统，在改变设备和被测物体的相对视角下进行多次重建，并使用ICP(Iterative Closest Point，最近点迭代算法)之类的点云配准算法将不同视角下的点云拼接成一个整体，然而，该套方案测量次数较多，配准用时较长，无法完成动态实时重建；第二种是基于多相机多投影仪组成的多光源三维测量系统，通过系统整体标定将不同视角下的点云数据转换到参考坐标系中，从而得到直接合并的多视角点云数据，与第一种方案相比，该套方案无需拼接流程，整体耗时短，更适用于高速测量场景，但为了实现基于光束平差法的系统整体高精度标定，该套方案需要使用较多数量的设备来保证相邻相机间有较大部分的重叠视场，在实际生产应用过程中，较多的设备会导致系统整体的标定流程复杂，可维护性差，从而影响其实用性。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种实时的多相机多投影仪3D成像处理方法及装置，不需要增加相机数量来实现系统整体标定参数的优化，整体结构简单，维护性强。
为达到以上目的，本发明提供的一种实时的多相机多投影仪3D成像处理方法，具体包括以下步骤：
搭建由计算机和多个单相机单投影仪测量系统组成的多相机多投影仪三维测量平台，并创建工业标定板、自制立体标定板和重建标准件，所述单相机单投影仪测量系统包括1台相机和1台投影仪；
对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵；
基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计；
基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差；
基于参考坐标系完成多相机多投影仪三维测量平台的整体标定，将待测物体放置于重建范围内，将世界坐标系建立在参考相机坐标系上，根据相机间的位置转换矩阵，获得待测物体的多视角融合点云。
在上述技术方案的基础上，
所述多相机多投影仪三维测量平台包括2个单相机单投影仪测量系统，且其中一单相机单投影仪测量系统包括第一相机和第一投影仪，另一单相机单投影仪测量系统包括第二相机和第二投影仪；
所述第一相机和第二相机的镜头的视场间无重叠，且工作距离相等；
所述第一投影仪和第二投影仪的镜头的工作距离相等。
在上述技术方案的基础上，
所述自制立体标定板的创建方式为，在一块表面平整、厚度均匀的木板两侧贴上相同的标定图案打印纸，并将标定图案打印纸的位置对齐，获取自制立体标定板反面靶标坐标系，到自制立体标定板正面靶标坐标系的转换矩阵；
所述重建标准件为高精度哑光陶瓷平板和高精度哑光陶瓷球。
在上述技术方案的基础上，所述对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵，具体步骤包括：
基于工业标定板和张氏标定法，获取相机采集的工业标定板标定图像中的特征点，并建立成像模型求解相机标定参数：
其中，ρ表示比例因子，(u,v)为工业标定板标定图像中的特征点像素坐标，(XW,YW,ZW)是标定点在靶标坐标系下的三维坐标，A表示3*3的相机内参矩阵，[R T]表示靶标坐标系到相机坐标系的转换矩阵，R为3*3的旋转矩阵，T为3*1的平移矩阵；
使用LM算法对相机的标定参数进行优化，优化目标为标定图像的特征点像素的重投影误差，从而获取相机的畸变系数；
标定出投影仪的内部参数、畸变系数，以及靶标坐标系到投影仪坐标系的转换矩阵；
基于靶标坐标系到相机坐标系的转换矩阵，以及靶标坐标系到投影仪坐标系的转换矩阵，计算得到单个单相机单投影仪测量系统中，投影仪坐标系到相机坐标系的位置转换矩阵。
在上述技术方案的基础上，
在对相机进行标定时，工业标定板上的标定图像为浅灰色圆点标定图；
在对投影仪进行标定时，投影仪的投影图案为棋盘格标定图，且投影仪的标定图案特征点的二维像素坐标为预先设置，且标定图案特征点的三维世界坐标通过相机的标定参数计算得到。
在上述技术方案的基础上，所述基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计，具体包括：
基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以第一相机坐标系为参考坐标系，获取第二相机坐标系到参考坐标系的位置转换矩阵的初始估计，计算方式为：
其中，第一相机的拍摄侧为自制立体标定板的正面，第二相机的拍摄侧为自制立体标定板的反面，[R′ T′]表示第二相机坐标系到参考坐标系的位置转换矩阵的初始估计，R′为3*3正交旋转矩阵，T′为3*1平移矩阵，0为1*3零矩阵，[Rc1 Tc1]表示自制立体标定板正面靶标坐标系到第一相机坐标系的转换矩阵，[Rb Tb]表示自制立体标定板反面靶标坐标系到自制立体标定板正面靶标坐标系的转换矩阵，[Rc2 Tc2]表示自制立体标定板反面靶标坐标系到第二相机坐标系的转换矩阵。
在上述技术方案的基础上，所述基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差，其中，基于PMP方法和三角测量法对重建标准件进行重建，具体步骤包括：
计算机控制投影仪投射编码后的光栅图像至重建标准件表面，多相机多投影仪三维测量平台中的相机依次采集重建标准件的表面图像；
基于数字图像处理方法对采集的表面图像进行去噪处理，并对处理后的表面图像进行解码，计算出重建范围内全部像素点的绝对相位值，解码方式为互补格雷码加四步相移；
结合绝对相位值和标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵，使用三角测量法求解出全部像素点对应的三维点坐标。
在上述技术方案的基础上，所述基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差，具体步骤包括：
将高精度哑光陶瓷平板放置在重建范围的中心，并使第一相机拍摄高精度哑光陶瓷平板的正面，第二相机拍摄高精度哑光陶瓷平板的反面；
基于PMP方法和三角测量法，获取高精度哑光陶瓷平板的正面点云和反面点云，并进行滤波处理；
将高精度哑光陶瓷平板的反面点云的参考坐标系从第二相机坐标系变更为第一相机坐标系，计算方式为：
其中，(XC21,YC21,ZC21)表示高精度哑光陶瓷平板的反面点云在第一相机坐标系下的坐标，(XC2,YC2,ZC2)表示高精度哑光陶瓷平板的反面点云在第二相机坐标系下的坐标；
根据高精度哑光陶瓷平板的正面点云在第一相机坐标系下的坐标(XC1,YC1,ZC1)，并基于点云处理算法，拟合高精度哑光陶瓷平板的正面点云，输出平面方程；
基于(XC21,YC21,ZC21)到高精度哑光陶瓷平板正面的拟合平面的距离方差，优化外参初值中的旋转矩阵R′，优化方式为：
JT*J*h＝JTE
其中，J表示旋转向量r′的雅可比矩阵，3*3正交旋转矩阵R′经过罗德里格斯变换得到3*1的旋转向量r′，h表示r′的迭代矢量，E表示残差矩阵；
将高精度哑光陶瓷球放置在重建范围的中心，并使第一相机拍摄高精度哑光陶瓷球的前方，第二相机拍摄高精度哑光陶瓷球的后方；
基于PMP方法和三角测量法对高精度哑光陶瓷球进行重建，获取高精度哑光陶瓷球前方点云在第一相机坐标系下的坐标(XG1,YG1,ZG1)，以及高精度哑光陶瓷球后方点云在第二相机坐标系下的坐标(XG2,YG2,ZG2)；
使用优化后的旋转矩阵R′和未优化的平移矩阵T′，获取高精度哑光陶瓷球后方点云在第一相机坐标系下的坐标(XG21,YG21,ZG21)；
基于点云处理算法，拟合高精度哑光陶瓷球的球面点云，输出第一相机坐标系下高精度哑光陶瓷球前方点云的球心坐标(XSC1,YSC1,ZSC1)，以及高精度哑光陶瓷球后方点云的球心坐标(XSC2,YSC2,ZSC2)，并计算球心距ΔT：
其中，球心距ΔT为T′在三个分量上的误差，矫正误差即可得到高精度的平移矩阵T，计算方式为T＝T′+ΔT；
输出优化后的第二相机坐标系到第一相机坐标系的位置变换矩阵[R T]。
在上述技术方案的基础上，
在基于PMP方法和三角测量法对重建标准件进行重建时，单个单相机单投影仪测量系统中相机与投影仪之间的触发方式为相互外触发方式；
所述相互外触发方式为当投影仪投射完成当前图像后触发相机采集投射的图像，并当相机采集完成投射的当前图像后，投影仪投射下一张图像，依此类推。
本发明提供的一种实时的多相机多投影仪3D成像处理装置，包括：
搭建模块，其用于搭建由计算机和多个单相机单投影仪测量系统组成的多相机多投影仪三维测量平台，并创建工业标定板、自制立体标定板和重建标准件，所述单相机单投影仪测量系统包括1台相机和1台投影仪；
标定模块，其用于对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵；
获取模块，其用于基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计；
重建模块，其用于基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差；
执行模块，其用于基于参考坐标系完成多相机多投影仪三维测量平台的整体标定，将待测物体放置于重建范围内，将世界坐标系建立在参考相机坐标系上，根据相机间的位置转换矩阵，获得待测物体的多视角融合点云。
与现有技术相比，本发明的优点在于：由于不需要有点云拼接流程，使得所需拍摄图片数量少，重建时间短，可实现动态场景的实时三维重建；同时，由于不需要多相机间有重叠视场，在重建范围相同的情况下，不需要增加相机数量来实现系统整体标定参数的优化，所需的设备数量少，硬件成本低，系统整体结构简单，安装灵活方便，维护性强。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种实时的多相机多投影仪3D成像处理方法的流程图；
图2为本发明中多相机多投影仪三维测量平台的结构示意图；
图3为多相机位置转换矩阵的求解原理图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。
参见图1所示，本发明实施例提供一种实时的多相机多投影仪3D成像处理方法，用以解决三维成像时重建时间长且系统复杂等问题，具体包括以下步骤：
S1：搭建由计算机和多个单相机单投影仪测量系统组成的多相机多投影仪三维测量平台，并创建工业标定板、自制立体标定板和重建标准件，所述单相机单投影仪测量系统包括1台相机和1台投影仪；即在通常情况下，搭建的多相机多投影仪三维测量平台中的相机和投影仪数量均大于或等于2两台，且不同单相机单投影仪测量系统的相机间无需有视场重叠。在具体的实施过程中，应提前启动计算机连接设备，测试相机的图像采集功能和投影仪的投影功能，并调节好工作距离。
在一种可能的实施方式中，参见图2所示，本发明中的多相机多投影仪三维测量平台包括2个单相机单投影仪测量系统，且其中一单相机单投影仪测量系统包括第一相机和第一投影仪，另一单相机单投影仪测量系统包括第二相机和第二投影仪；第一相机和第二相机的镜头的视场间无重叠，且工作距离相等；第一投影仪和第二投影仪的镜头的工作距离相等。且相机和投影仪采用正对放置的形式。图2中，C1表示第一相机，C2表示第二相机，P1表示第一投影仪，P2表示第一投影仪，中间的圆球表示待测物体。
本发明中，自制立体标定板的创建方式为，在一块表面平整、厚度均匀的木板两侧贴上相同的标定图案打印纸，并将标定图案打印纸的位置对齐，获取自制立体标定板反面靶标坐标系，到自制立体标定板正面靶标坐标系的转换矩阵；重建标准件为高精度哑光陶瓷平板和高精度哑光陶瓷球。
S2：对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵；
在对单相机单投影仪测量系统中的相机和投影仪进行标定的过程中，相机和投影仪的成像模型均类似于小孔成像模型。具体的，对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵，具体步骤包括：
S201：基于工业标定板和张氏标定法，获取相机采集的工业标定板标定图像中的特征点，并建立成像模型求解相机标定参数：
其中，ρ表示比例因子，(u,v)为工业标定板标定图像中的特征点像素坐标，(XW,YW,ZW)是标定点在靶标坐标系下的三维坐标，ZW默认为0，A表示3*3的相机内参矩阵，[R T]表示靶标坐标系到相机坐标系的转换矩阵，R为3*3的旋转矩阵，T为3*1的平移矩阵；
S202：使用LM算法(一种迭代求函数极值的算法)对相机的标定参数进行优化，优化目标为标定图像的特征点像素的重投影误差，从而获取相机的畸变系数；
S203：标定出投影仪的内部参数、畸变系数，以及靶标坐标系到投影仪坐标系的转换矩阵；需要说明的是，在投影仪标定阶段，投影仪的标定图案特征点的二维像素坐标为预先设置，且标定图案特征点的三维世界坐标可通过相机的标定参数计算得到，原理与上述根据成像模型求解相机标定参数相同，之后便可用相机标定的方法，标定出投影仪的内部参数、畸变系数，以及靶标坐标系到投影仪坐标系的转换矩阵。
S204：基于靶标坐标系到相机坐标系的转换矩阵，以及靶标坐标系到投影仪坐标系的转换矩阵，计算得到单个单相机单投影仪测量系统中，投影仪坐标系到相机坐标系的位置转换矩阵。
本发明中，在对相机进行标定时，工业标定板上的标定图像为浅灰色圆点标定图；在对投影仪进行标定时，投影仪的投影图案为棋盘格标定图；且在投影仪标定阶段，投影仪投影标定图案到工业标定板上，并基于数字图像相关方法分离出投影仪标定所需图像。使用浅灰色标定图可提高分离后的图像的标定点提取成功率，而不同的标定点提取方式(圆点和棋盘格)可减小两种图案重叠时的识别干扰。
本发明中的标定主要分为两个步骤：多相机位置转换矩阵的初始估计和基于标准件立体约束的参数优化。通过具体的实验证明，基于本发明所实现的直径为25.4162mm的高精度哑光陶瓷球的多视角重建的测量精度约为42.631um，能够实现高精度的多视角三维重建。
S3：基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计；该步骤具体为：
参见图3所示，基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以第一相机坐标系为参考坐标系，获取第二相机坐标系到参考坐标系的位置转换矩阵的初始估计，计算方式为：
其中，第一相机的拍摄侧为自制立体标定板的正面，第二相机的拍摄侧为自制立体标定板的反面，
表示第二相机坐标系到参考坐标系的位置转换矩阵的初始估计，R′为3*3正交旋转矩阵，T′为3*1平移矩阵，0为1*3零矩阵，[Rc1 Tc1]表示自制立体标定板正面靶标坐标系到第一相机坐标系的转换矩阵，[Rb Tb]表示自制立体标定板反面靶标坐标系到自制立体标定板正面靶标坐标系的转换矩阵，[Rc2 Tc2]表示自制立体标定板反面靶标坐标系到第二相机坐标系的转换矩阵。
S4：基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差；
本发明中，基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差，其中，基于PMP方法和三角测量法对重建标准件进行重建，具体步骤包括：
S401：计算机控制投影仪投射编码后的光栅图像至重建标准件表面，多相机多投影仪三维测量平台中的相机依次采集重建标准件的表面图像；
S402：基于数字图像处理方法对采集的表面图像进行去噪处理，并对处理后的表面图像进行解码，计算出重建范围内全部像素点的绝对相位值，解码方式为互补格雷码加四步相移；
S403：结合绝对相位值和标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵，使用三角测量法求解出全部像素点对应的三维点坐标。
本发明中，基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差，具体步骤包括：
S411：将高精度哑光陶瓷平板放置在重建范围的中心，并使第一相机拍摄高精度哑光陶瓷平板的正面，第二相机拍摄高精度哑光陶瓷平板的反面；
S412：基于PMP(相位测量轮廓术)方法和三角测量法，获取高精度哑光陶瓷平板的正面点云和反面点云，并基于点云处理算法进行滤波处理；
S413：将高精度哑光陶瓷平板的反面点云的参考坐标系从第二相机坐标系变更为第一相机坐标系，计算方式为：
其中，(XC21,YC21,ZC21)表示高精度哑光陶瓷平板的反面点云在第一相机坐标系下的坐标，(XC2,YC2,ZC2)表示高精度哑光陶瓷平板的反面点云在第二相机坐标系下的坐标；
S414：根据高精度哑光陶瓷平板的正面点云在第一相机坐标系下的坐标(XC1,YC1,ZC1)，并基于点云处理算法，拟合高精度哑光陶瓷平板的正面点云，输出平面方程；
S415：基于(XC21,YC21,ZC21)到高精度哑光陶瓷平板正面的拟合平面的距离方差，优化外参初值中的旋转矩阵R′，优化方式为：
JT*J*h＝JTE
其中，J表示旋转向量r′的雅可比矩阵，3*3正交旋转矩阵R′经过罗德里格斯变换得到3*1的旋转向量r′，h表示r′的迭代矢量(即旋转向量r′在每个分量上的迭代方向和步长)，E表示残差矩阵，即基于当前旋转向量计算得到的距离方差，最小化E是一个非线性最小二乘问题，可通过Levenberg-Marquardt算法求解，从而获得精度较高的旋转矩阵R′；
理想状态下，转换后的两个平面是相互平行的，但自制立体标定板的制作精度与常用工业标定板有着较大差距，第二相机到第一相机的位置转换矩阵
存在较大误差，使得两个平面并不平行，因此可基于最小化平板反面重建点(XC21,YC21,ZC21)到高精度哑光陶瓷平板正面的拟合平面的距离方差，从而优化外参初值中的旋转矩阵R′，平移矩阵T′仅影响平均距离，因而不参与优化。
S416：将高精度哑光陶瓷球放置在重建范围的中心，并使第一相机拍摄高精度哑光陶瓷球的前方，第二相机拍摄高精度哑光陶瓷球的后方；
S417：基于PMP方法和三角测量法对高精度哑光陶瓷球进行重建，获取高精度哑光陶瓷球前方点云在第一相机坐标系下的坐标(XG1,YG1,ZG1)，以及高精度哑光陶瓷球后方点云在第二相机坐标系下的坐标(XG2,YG2,ZG2)；
S418：使用优化后的旋转矩阵R′和未优化的平移矩阵T′，获取高精度哑光陶瓷球后方点云在第一相机坐标系下的坐标(XG21,YG21,ZG21)；即参照上述将高精度哑光陶瓷平板的反面点云的参考坐标系从第二相机坐标系变更为第一相机坐标系的公式，使用优化后的旋转矩阵R′和未优化的平移矩阵T′，获取高精度哑光陶瓷球后方点云在第一相机坐标系下的坐标(XG21,YG21,ZG21)。
S419：基于点云处理算法，拟合高精度哑光陶瓷球的球面点云，输出第一相机坐标系下高精度哑光陶瓷球前方点云的球心坐标(XSC1,YSC1,ZSC1)，以及高精度哑光陶瓷球后方点云的球心坐标(XSC2,YSC2,ZSC2)，并计算球心距ΔT：
其中，球心距ΔT为T′在三个分量上的误差，矫正误差即可得到高精度的平移矩阵T，计算方式为T＝T′+ΔT；
S410：输出优化后的第二相机坐标系到第一相机坐标系的位置变换矩阵[R T]。
S5：基于参考坐标系完成多相机多投影仪三维测量平台的整体标定，将待测物体放置于重建范围内，将世界坐标系建立在参考相机坐标系上，根据相机间的位置转换矩阵，获得待测物体的多视角融合点云。
即将待测物体放置于重建范围中心，获取待测物体的多视角点云后，即可根据上述将高精度哑光陶瓷平板的反面点云的参考坐标系从第二相机坐标系变更为第一相机坐标系的公式，以及优化后的[R T]，输出待测物体的多视角融合点云。
本发明中，在基于PMP方法和三角测量法对重建标准件进行重建时，单个单相机单投影仪测量系统中相机与投影仪之间的触发方式为相互外触发方式；相互外触发方式为当投影仪投射完成当前图像后触发相机采集投射的图像，并当相机采集完成投射的当前图像后，投影仪投射下一张图像，依此类推。
具体的，本发明中，第一相机和第二相机均为JAIGO-5000M-USB相机，投影仪为德州仪器DLP LightCrafter4500，相机和投影仪的工作距离均设置在550mm；标定阶段使用的工业标定板为14*11的圆形图案标定板，圆心距为30mm，自制立体标定板为11*8的圆形图案标定板，圆心距为20mm，自制立体标定板反面有着相同规格的标定图案且前后对齐；相位测量阶段使用的条纹序列图的编码方式为七位互补格雷码加四步相移；参数优化阶段使用的高精度哑光陶瓷平板的规格为150mm*150mm*5mm，平面度为0.05mm，高精度哑光陶瓷球直径为25.4162mm，球圆度为0.00105mm。
在具体的实施过程中，对高精度哑光陶瓷球重建时，采用本发明所述方法的单视角重建的测量精度分别为40.439um、39.193um，多视角重建的测量精度约为42.631um，多视角重建的精度与单视角的精度相近，说明本发明的有效性和准确性。
本发明由多个单相机单投影仪测量系统组成，各单相机单投影仪测量系统相机间无需视场重叠；对于单个单相机单投影仪测量系统内的相机使用张氏标定法进行标定，投影仪使用伪相机法进行标定；通过立体标定板获取多相机间位置转换矩阵的初始估计，并通过三维重建标准件，基于其立体约束来最小化误差；通过在重建过程中将世界坐标系建立在参考相机坐标系上，基于其他相机到参考相机的位置转换矩阵来实现多视角点云融合。本发明无需点云拼接流程、无需多相机间有视场重叠，在重建范围相同的情况下，可使用相对较少的设备实现高精度的实时多视角三维重建，系统整体结构简单，硬件成本低，安装灵活方便，可维护性强。
本发明实施例提供的一种实时的多相机多投影仪3D成像处理装置，包括搭建模块、标定模块、获取模块、重建模块和执行模块。
搭建模块用于搭建由计算机和多个单相机单投影仪测量系统组成的多相机多投影仪三维测量平台，并创建工业标定板、自制立体标定板和重建标准件，所述单相机单投影仪测量系统包括1台相机和1台投影仪；标定模块用于对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵；获取模块用于基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计；重建模块用于基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差；执行模块用于基于参考坐标系完成多相机多投影仪三维测量平台的整体标定，将待测物体放置于重建范围内，将世界坐标系建立在参考相机坐标系上，根据相机间的位置转换矩阵，获得待测物体的多视角融合点云。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
Claims (10)
1.一种实时的多相机多投影仪3D成像处理方法，其特征在于，具体包括以下步骤：
搭建由计算机和多个单相机单投影仪测量系统组成的多相机多投影仪三维测量平台，并创建工业标定板、自制立体标定板和重建标准件，所述单相机单投影仪测量系统包括1台相机和1台投影仪；
对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵；
基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计；
基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差；
基于参考坐标系完成多相机多投影仪三维测量平台的整体标定，将待测物体放置于重建范围内，将世界坐标系建立在参考相机坐标系上，根据相机间的位置转换矩阵，获得待测物体的多视角融合点云。
2.如权利要求1所述的一种实时的多相机多投影仪3D成像处理方法，其特征在于：
所述多相机多投影仪三维测量平台包括2个单相机单投影仪测量系统，且其中一单相机单投影仪测量系统包括第一相机和第一投影仪，另一单相机单投影仪测量系统包括第二相机和第二投影仪；
所述第一相机和第二相机的镜头的视场间无重叠，且工作距离相等；
所述第一投影仪和第二投影仪的镜头的工作距离相等。
3.如权利要求2所述的一种实时的多相机多投影仪3D成像处理方法，其特征在于：
所述自制立体标定板的创建方式为，在一块表面平整、厚度均匀的木板两侧贴上相同的标定图案打印纸，并将标定图案打印纸的位置对齐，获取自制立体标定板反面靶标坐标系，到自制立体标定板正面靶标坐标系的转换矩阵；
所述重建标准件为高精度哑光陶瓷平板和高精度哑光陶瓷球。
4.如权利要求3所述的一种实时的多相机多投影仪3D成像处理方法，其特征在于，所述对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵，具体步骤包括：
基于工业标定板和张氏标定法，获取相机采集的工业标定板标定图像中的特征点，并建立成像模型求解相机标定参数：
其中，ρ表示比例因子，(u,v)为工业标定板标定图像中的特征点像素坐标，(XW,YW,ZW)是标定点在靶标坐标系下的三维坐标，A表示3*3的相机内参矩阵，[R T]表示靶标坐标系到相机坐标系的转换矩阵，R为3*3的旋转矩阵，T为3*1的平移矩阵；
使用LM算法对相机的标定参数进行优化，优化目标为标定图像的特征点像素的重投影误差，从而获取相机的畸变系数；
标定出投影仪的内部参数、畸变系数，以及靶标坐标系到投影仪坐标系的转换矩阵；
基于靶标坐标系到相机坐标系的转换矩阵，以及靶标坐标系到投影仪坐标系的转换矩阵，计算得到单个单相机单投影仪测量系统中，投影仪坐标系到相机坐标系的位置转换矩阵。
5.如权利要求4所述的一种实时的多相机多投影仪3D成像处理方法，其特征在于：
在对相机进行标定时，工业标定板上的标定图像为浅灰色圆点标定图；
在对投影仪进行标定时，投影仪的投影图案为棋盘格标定图，且投影仪的标定图案特征点的二维像素坐标为预先设置，且标定图案特征点的三维世界坐标通过相机的标定参数计算得到。
6.如权利要求3所述的一种实时的多相机多投影仪3D成像处理方法，其特征在于，所述基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计，具体包括：
基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以第一相机坐标系为参考坐标系，获取第二相机坐标系到参考坐标系的位置转换矩阵的初始估计，计算方式为：
其中，第一相机的拍摄侧为自制立体标定板的正面，第二相机的拍摄侧为自制立体标定板的反面，[R′ T′]表示第二相机坐标系到参考坐标系的位置转换矩阵的初始估计，R′为3*3正交旋转矩阵，T′为3*1平移矩阵，0为1*3零矩阵，[Rc1 Tc1]表示自制立体标定板正面靶标坐标系到第一相机坐标系的转换矩阵，[Rb Tb]表示自制立体标定板反面靶标坐标系到自制立体标定板正面靶标坐标系的转换矩阵，[Rc2 Tc2]表示自制立体标定板反面靶标坐标系到第二相机坐标系的转换矩阵。
7.如权利要求6所述的一种实时的多相机多投影仪3D成像处理方法，其特征在于，所述基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差，其中，基于PMP方法和三角测量法对重建标准件进行重建，具体步骤包括：
计算机控制投影仪投射编码后的光栅图像至重建标准件表面，多相机多投影仪三维测量平台中的相机依次采集重建标准件的表面图像；
基于数字图像处理方法对采集的表面图像进行去噪处理，并对处理后的表面图像进行解码，计算出重建范围内全部像素点的绝对相位值，解码方式为互补格雷码加四步相移；
结合绝对相位值和标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵，使用三角测量法求解出全部像素点对应的三维点坐标。
8.如权利要求7所述的一种实时的多相机多投影仪3D成像处理方法，其特征在于，所述基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差，具体步骤包括：
将高精度哑光陶瓷平板放置在重建范围的中心，并使第一相机拍摄高精度哑光陶瓷平板的正面，第二相机拍摄高精度哑光陶瓷平板的反面；
基于PMP方法和三角测量法，获取高精度哑光陶瓷平板的正面点云和反面点云，并进行滤波处理；
将高精度哑光陶瓷平板的反面点云的参考坐标系从第二相机坐标系变更为第一相机坐标系，计算方式为：
其中，(XC21,YC21,ZC21)表示高精度哑光陶瓷平板的反面点云在第一相机坐标系下的坐标，(XC2,YC2,ZC2)表示高精度哑光陶瓷平板的反面点云在第二相机坐标系下的坐标；
根据高精度哑光陶瓷平板的正面点云在第一相机坐标系下的坐标(XC1,YC1,ZC1)，并基于点云处理算法，拟合高精度哑光陶瓷平板的正面点云，输出平面方程；
基于(XC21,YC21,ZC21)到高精度哑光陶瓷平板正面的拟合平面的距离方差，优化外参初值中的旋转矩阵R′，优化方式为：
JT*J*h＝JTE
其中，J表示旋转向量r′的雅可比矩阵，3*3正交旋转矩阵R′经过罗德里格斯变换得到3*1的旋转向量r′，h表示r′的迭代矢量，E表示残差矩阵；
将高精度哑光陶瓷球放置在重建范围的中心，并使第一相机拍摄高精度哑光陶瓷球的前方，第二相机拍摄高精度哑光陶瓷球的后方；
基于PMP方法和三角测量法对高精度哑光陶瓷球进行重建，获取高精度哑光陶瓷球前方点云在第一相机坐标系下的坐标(XG1,YG1,ZG1)，以及高精度哑光陶瓷球后方点云在第二相机坐标系下的坐标(XG2,YG2,ZG2)；
使用优化后的旋转矩阵R′和未优化的平移矩阵T′，获取高精度哑光陶瓷球后方点云在第一相机坐标系下的坐标(XG21,YG21,ZG21)；
基于点云处理算法，拟合高精度哑光陶瓷球的球面点云，输出第一相机坐标系下高精度哑光陶瓷球前方点云的球心坐标(XSC1,YSC1,ZSC1)，以及高精度哑光陶瓷球后方点云的球心坐标(XSC2,YSC2,ZSC2)，并计算球心距ΔT：
其中，球心距ΔT为T′在三个分量上的误差，矫正误差即可得到高精度的平移矩阵T，计算方式为T＝T′+ΔT；
输出优化后的第二相机坐标系到第一相机坐标系的位置变换矩阵[R T]。
9.如权利要求8所述的一种实时的多相机多投影仪3D成像处理方法，其特征在于：
在基于PMP方法和三角测量法对重建标准件进行重建时，单个单相机单投影仪测量系统中相机与投影仪之间的触发方式为相互外触发方式；
所述相互外触发方式为当投影仪投射完成当前图像后触发相机采集投射的图像，并当相机采集完成投射的当前图像后，投影仪投射下一张图像，依此类推。
10.一种实时的多相机多投影仪3D成像处理装置，其特征在于，包括：
搭建模块，其用于搭建由计算机和多个单相机单投影仪测量系统组成的多相机多投影仪三维测量平台，并创建工业标定板、自制立体标定板和重建标准件，所述单相机单投影仪测量系统包括1台相机和1台投影仪；
标定模块，其用于对单相机单投影仪测量系统中的相机和投影仪进行标定，标定得到相机和投影仪的内部参数、畸变系数，以及投影仪坐标系到相机坐标系的位置转换矩阵；
获取模块，其用于基于标定得到的所有相机的内部参数和畸变系数，使用自制立体标定板，以任一相机坐标系为参考坐标系，获取其它相机到参考坐标系的位置转换矩阵的初始估计；
重建模块，其用于基于PMP方法和三角测量法对重建标准件进行重建，并根据重建标准件的立体约束，来最小化其它相机到参考坐标系的位置转换矩阵的初始估计的误差；
执行模块，其用于基于参考坐标系完成多相机多投影仪三维测量平台的整体标定，将待测物体放置于重建范围内，将世界坐标系建立在参考相机坐标系上，根据相机间的位置转换矩阵，获得待测物体的多视角融合点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310291143.1A CN116363226A (zh) | 2023-03-23 | 2023-03-23 | 一种实时的多相机多投影仪3d成像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310291143.1A CN116363226A (zh) | 2023-03-23 | 2023-03-23 | 一种实时的多相机多投影仪3d成像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116363226A true CN116363226A (zh) | 2023-06-30 |
Family
ID=86918559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310291143.1A Pending CN116363226A (zh) | 2023-03-23 | 2023-03-23 | 一种实时的多相机多投影仪3d成像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363226A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862999A (zh) * | 2023-09-04 | 2023-10-10 | 华东交通大学 | 一种双摄像机三维测量的标定方法、系统、设备和介质 |
-
2023
- 2023-03-23 CN CN202310291143.1A patent/CN116363226A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862999A (zh) * | 2023-09-04 | 2023-10-10 | 华东交通大学 | 一种双摄像机三维测量的标定方法、系统、设备和介质 |
| CN116862999B (zh) * | 2023-09-04 | 2023-12-08 | 华东交通大学 | 一种双摄像机三维测量的标定方法、系统、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816703B (zh) | 一种基于相机标定和icp算法的点云配准方法 | |
| WO2018076154A1 (zh) | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 | |
| JP5132832B1 (ja) | 計測装置および情報処理装置 | |
| Anwar et al. | Projector calibration for 3D scanning using virtual target images | |
| US8836766B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
| CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
| JP5999615B2 (ja) | カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム | |
| CN110207614B (zh) | 一种基于双远心相机匹配的高分辨高精度测量系统及方法 | |
| CN110378969B (zh) | 一种基于3d几何约束的汇聚式双目相机标定方法 | |
| Douxchamps et al. | High-accuracy and robust localization of large control markers for geometric camera calibration | |
| CN107610183B (zh) | 一种条纹投影相位高度转换映射模型的标定方法 | |
| CN109945841B (zh) | 一种无编码点的工业摄影测量方法 | |
| CN113129430B (zh) | 基于双目结构光的水下三维重建方法 | |
| JP2011086111A (ja) | 撮像装置校正方法及び画像合成装置 | |
| WO2020199439A1 (zh) | 基于单双目混合测量的三维点云计算方法 | |
| CN112489109B (zh) | 一种三维成像系统方法、装置及三维成像系统 | |
| CN115861445B (zh) | 一种基于标定板三维点云的手眼标定方法 | |
| CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
| CN116363226A (zh) | 一种实时的多相机多投影仪3d成像处理方法及装置 | |
| CN113865514B (zh) | 一种线结构光三维测量系统标定方法 | |
| CN115880369A (zh) | 线结构光3d相机和线阵相机联合标定的装置、系统及方法 | |
| CN111023999B (zh) | 一种基于空间编码结构光的稠密点云生成方法 | |
| CN115265407A (zh) | 基于立体视觉与模型恢复的金属材料三维形貌测量方法 | |
| CN112648936A (zh) | 基于差分投影的立体视觉检测方法及检测装置 | |
| JP6061631B2 (ja) | 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |