CN112489109A - 一种三维成像系统方法、装置及三维成像系统 - Google Patents

Abstract

本发明涉及一种三维成像方法、装置和三维成像系统，通过基于标定物图像和第一参数，利用光束平差法对第一子系统的第一参数进行优化，得到所述第一子系统的最优参数并对第一子系统进行标定，基于标定物的投影条纹图和第二参数，利用光束平差法对第二子系统的第二参数进行优化，得到第二子系统的最优参数并对第二子系统进行标定，分别利用标定后的第一子系统和第二子系统对被测物进行三维成像，再融合第一子系统基于立体视觉成像得到的第一三维图和第二子系统基于结构光成像得到的第二三维图，通过融合两种不同成像方式的三维图，提高被测物三维图像构建的全面性和精度。

Description

一种三维成像系统方法、装置及三维成像系统

技术领域

本发明涉及三维成像领域，尤其是涉及一种三维成像方法、装置和三维成像系统。

背景技术

现有的三维成像方法往往利用投影设备将条纹图像投射到待测物上，产生不同调制的结构光图像，通过摄像设备获取带有调制信息的结构光图像并进行解调，得到物体的三维信息，实现物体的三维测量。

但条纹投影方式受限于其有限的视场和物体的遮挡、镜面反射等问题，很难获得复杂物体完整的三维信息，三维成像效果较差。

发明内容

本申请实施例提供了一种三维成像方法、装置和三维成像系统，可以提高三维成像的精度。

第一方面，本申请实施例提供了一种三维成像方法及装置，包括以下步骤：

应用于三维成像系统；所述三维成像系统包括投影设备、远心相机和至少两个相机；

其中，所述远心相机和所述至少两个相机形成用于采集多角度物体图像的第一子系统；所述投影设备用于投射条纹图，所述至少两个相机用于采集多角度投影条纹图，所述投影设备和所述至少两个相机形成用于采集多角度投影条纹图的第二子系统；

所述方法包括以下步骤：

获取所述第一子系统采集的标定物图像；

获取所述第一子系统的第一参数；其中，所述第一参数包括所述远心相机和所述每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量；

基于所述标定物图像和所述第一参数，利用光束平差法对所述第一参数进行优化，得到所述第一子系统的最优参数并对所述第一子系统进行标定；

获取所述第二子系统采集的标定物的投影条纹图；

获取所述第二子系统的第二参数；其中，所述第二参数包括所述投影设备和所述每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量；

基于所述标定物的投影条纹图和所述第二参数，利用光束平差法对所述第二参数进行优化，得到所述第二子系统的最优参数并对所述第二子系统进行标定；

利用标定后的第一子系统采集被测物图像并进行三维成像，得到第一三维图；

利用标定后的第二子系统采集被测物投影条纹图并进行三维成像，得到第二三维图；

融合所述第一三维图和所述第二三维图，得到所述被测物的三维成像图。

第二方面，本申请实施例提供了一种三维成像装置，应用于三维成像系统；所述三维成像系统包括投影设备、远心相机和至少两个相机；

其中，所述远心相机和所述至少两个相机形成用于采集多角度物体图像的第一子系统；所述投影设备用于投射条纹图，所述至少两个相机用于采集多角度投影条纹图，所述投影设备和所述至少两个相机形成用于采集多角度投影条纹图的第二子系统；

所述三维成像装置包括：

第一图像获取模块，用于获取所述第一子系统采集的标定物图像；

第一参数获取模块，用于获取所述第一子系统的第一参数；其中，所述第一参数包括所述远心相机和所述每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量；

第一标定模块，用于基于所述标定物图像和所述第一参数，利用光束平差法对所述第一参数进行优化，得到所述第一子系统的最优参数并对所述第一子系统进行标定；

第二图像获取模块，用于获取所述第二子系统采集的标定物的投影条纹图；

第二参数获取模块，用于获取所述第二子系统的第二参数；其中，所述第二参数包括所述投影设备和所述每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量

第二标定模块，用于基于所述标定物的投影条纹图和所述第二参数，利用光束平差法对所述第二参数进行优化，得到所述第二子系统的最优参数并对所述第二子系统进行标定；

第一三维图获取模块，用于利用标定后的第一子系统采集被测物图像并进行三维成像，得到第一三维图；

第二三维图获取模块，用于利用标定后的第二子系统采集被测物投影条纹图并进行三维成像，得到第二三维图；

三维图融合模块，用于融合所述第一三维图和所述第二三维图，得到所述被测物的三维成像图。

第三方面，本申请实施例提供了一种三维成像系统，包括远心相机、投影设备、分光镜、至少两个相机和如上述的三维成像装置，所述远心相机垂直设置在被测物上方，所述投影设备以与被测物形成第一夹角的方式设置在所述被测物侧上方，所述分光镜位于所述投影设备的光轴上；所述三维成像装置分别与所述远心相机、所述投影设备和所述至少两个相机连接；

所述投影设备用于投影具有设定编码规则的条纹光，所述投影设备投射的条纹光经分光镜折射后以垂直被测物表面的方式投射到被测物表面上；

所述三维成像装置用于根据所述远心相机、所述投影设备和所述至少两个相机采集到的图像，对所述被测物进行三维成像。

在本申请实施例中，通过设置远心相机和至少两个相机，以采集多角度的被测物图像，避免由于遮挡或视场问题导致采集图像缺失，影响三维成像效果；基于标定物图像和第一参数，利用光束平差法对第一子系统的第一参数进行优化，得到所述第一子系统的最优参数并对第一子系统进行标定，基于标定物的投影条纹图和第二参数，利用光束平差法对第二子系统的第二参数进行优化，得到第二子系统的最优参数并对第二子系统进行标定，分别利用标定后的第一子系统和第二子系统对被测物进行三维成像，再融合第一子系统基于立体视觉成像得到的第一三维图和第二子系统基于结构光成像得到的第二三维图，避免条纹投影时受到遮挡或视场有限等问题而导致采集图像缺失，影响三维成像效果，通过融合两种不同成像方式的三维图，提高被测物三维图像构建的全面性和精度。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为相机标定过程的示意图；

图2为本发明一个示例性的实施例中一种应用场景的示意图；

图3为本发明一个示例性的实施例中一种三维成像方法的流程图；

图4为本发明一个示例性的实施例中一种三维成像装置的结构示意图；

图5为本发明一个示例性的实施例中一种三维成像系统的结构示意图；

图6为本发明另一个示例性的实施例中一种三维成像系统的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

如图1所示，相机标定是指建立相机图像像素位置与场景点位置之间的关系，根据相机成像模型，由特征点在图像坐标与世界坐标的对应关系，求解相机的参数。

空间点P由世界坐标系转换为图像坐标系的过程，包括以下两个步骤：首先，将空间点由世界坐标系转换为相机坐标系，再由相机坐标系转换为图像坐标系。

世界坐标系也称测量坐标系，为三维直角坐标系，用于描述相机和待测物体的空间位置。

相机坐标系为三维直角坐标系，其原点c是镜头的光心，X、Y轴分别与像平面两边平行，Z轴为镜头的光轴,即相机主轴。

像平面为由x坐标轴和y坐标轴形成的二维平面(即p点所在平面)即图像坐标系所在的二维平面，主轴与像平面的交点p即为主点。C点到p点的距离即为相机的焦距。

本申请实施例三维成像方法可以应用于如图2所示的三维成像系统中，三维成像系统包括投影设备1、远心相机2、至少两个相机(相机31和相机32)和分光镜4；

远心相机2垂直设置在被测物上方，投影设备1以与被测物形成第一夹角的方式设置在被测物侧上方，分光镜4位于投影设备1的光轴上，投影设备1用于投影具有设定编码规则的条纹光，投影设备1投射的条纹光经分光镜4折射后以垂直被测物表面的方式投射到被测物表面上。其中，投影设备1投射的条纹光经分光镜4折射后与远心相机2处于同一光轴上。

至少两个相机(相机31和相机32)分别设置在被测物的不同侧，用于获取不同角度的被测物图像。

远心相机和至少两个相机形成用于采集物体图像的第一子系统；投影设备和至少两个相机形成用于采集投影条纹图的第二子系统。

需要说明的是，在本申请实施例中，被测物始终处于远心相机、至少两个相机和投影设备的景深范围内。

可以理解的是，本申请实施例中投影设备1与分光镜4之间的夹角并不限定大小，只要投影设备1投射的条纹光经分光镜4折射后与远心相机处于同一光轴上即可。

如图3所示，本申请实施例提供了一种三维成像方法，包括以下步骤：

步骤S1：获取第一子系统采集的标定物图像；

标定物可以为棋盘标定板或其它尺寸已知的物体，通过获取标点物图像并建立标定物上各点与标点物图像上各点的对应关系，从而得到相机的内参矩阵、畸变参数、旋转矩阵和平移向量。

标定物图像包括远心相机和至少两个相机采集的多个角度的标定物图像。

步骤S2：获取第一子系统的第一参数；

第一参数是指将三维世界中的坐标点转换为二维图像点所需的转换参数。第一参数包括远心相机和每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量。

内参矩阵用于将三维的相机坐标转换为二维的图像坐标，内参矩阵

其中，(x₀，y₀)为主点的像平面坐标，主点为相机主轴与像平面的交点，s为坐标轴倾斜参数，f_x、f_y为相机的焦距；通常情况下，f_x和f_y的值相同。

外参用于确定相机坐标系与世界坐标系之间的相对位置关系，其包括平移向量T＝(T_x,T_y,T_z)和旋转矩阵R＝R(α,β,γ)。

相机坐标与世界坐标之间的转换关系为：P_C＝RP_W+T。其中，P_W为P点的世界坐标，P_C为P点的相机坐标，α为绕相机坐标系x轴的旋转角度，β为绕相机坐标系y轴的旋转角度，γ为绕相机坐标系z轴的旋转角度。

畸变参数包括径向畸变参数和切向畸变参数，畸变是指相机由于设计、制作、装配所引起的像点偏离其理想位置点。畸变参数可根据特征点在图像上的真实坐标和利用针孔模型计算得到的理想点坐标进行求解。

优选地，在对远心相机和每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量进行求解时，对于其中存在相互影响的多个参数，先对各个参数进行初始化，得到各参数的初值，再分别对每一个参数进行单独优化，从而避免各参数之间的耦合，影响成像精度。

步骤S3：基于标定物图像和第一参数，利用光束平差法对第一参数进行优化，得到第一子系统的最优参数并对第一子系统进行标定；

光束平差法是指将相机的姿态和测量点的世界坐标作为未知参数，以不同角度的图片的特征点坐标作为输入数据，通过最小化理想点与该特征点的误差，对第一参数进行非线性优化，从而得到第一子系统的最优参数。

步骤S4：获取第二子系统采集的标定物的投影条纹图；

投影设备投影一组具有设定编码规则的条纹图案，至少两个相机采集标定物的投影条纹图。

步骤S5：获取第二子系统的第二参数；其中，第二参数包括投影设备和每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量；

通过根据投射的条纹光的编码规则，对采集的标定物的投影条纹图进行解码，从而得到第二子系统的第二参数。

步骤S6：基于标定物的投影条纹图和第二参数，利用光束平差法对第二参数进行优化，得到第二子系统的最优参数并对第二子系统进行标定；

光束平差法是指将相机的姿态和测量点的世界坐标作为未知参数，以不同角度的投影条纹图的特征点坐标作为输入数据，通过最小化理想点与该特征点的误差，对第二参数进行非线性优化，从而得到第二子系统的最优参数。

步骤S7：利用标定后的第一子系统采集被测物图像并进行三维成像，得到第一三维图；

第一三维图为基于视觉成像原理，根据远心相机和至少两个相机采集到的三幅以上的图像进行三维成像得到的三维图，其成像区域全面、可以得到更加丰富的被测物信息。

步骤S8：利用标定后的第二子系统采集被测物投影条纹图并进行三维成像，得到第二三维图；

第二三维图为基于结构光成像原理，根据投影条纹图进行三维成像得到的三维图像，其精度较高，适应性较好。

步骤S9：融合第一三维图和第二三维图，得到被测物的三维成像图。

第一三维图的成像区域更加广阔，第二三维图的成像精度较高，通过对第一三维图和第二三维图进行融合互补，可以有效扩展被测物三维图像的成像区域，提高成像精度。

具体地，对于不同成像区域的第一三维图和第二三维图，在融合时可以以精度较高的第一三维图作为基础，对于第一三维图中缺失或模糊的图像区域，从第二三维图该区域的图像信息进行补充，从而得到完整的被测物三维图像。

在本申请实施例中，通过设置远心相机和至少两个相机，以采集多角度的被测物图像，避免由于遮挡或视场问题导致采集图像缺失，影响三维成像效果；基于标定物图像和第一参数，利用光束平差法对第一子系统的第一参数进行优化，得到第一子系统的最优参数并对第一子系统进行标定，基于标定物的投影条纹图和第二参数，利用光束平差法对第二子系统的第二参数进行优化，得到第二子系统的最优参数并对第二子系统进行标定，分别利用标定后的第一子系统和第二子系统对被测物进行三维成像，再融合第一子系统基于立体视觉成像得到的第一三维图和第二子系统基于结构光成像得到的第二三维图，避免条纹投影时受到遮挡或视场有限等问题而导致采集图像缺失，影响三维成像效果，通过融合两种不同成像方式的三维图，提高被测物三维图像构建的全面性和精度。

在一个示例性的实施例中，获取第一子系统的第一参数的步骤，包括：

对投影设备、远心相机和每一个相机进行单独标定，得到第一子系统的第一参数。

具体地，对投影设备进行单独标定的步骤包括：

利用远心相机采集标定物的第二条纹图；

利用相移法获取第二条纹图进行解相，得到包裹相位；

利用空间相位展开法对包裹相位进行相位展开，得到绝对相位；

根据绝对相位建立投影设备和远心相机之间的映射关系，实现对投影设备的标定。

相移法是通过投影一系列相移光栅图像编码，通过反正切计算得到[-π，π]之间的包裹相位，从而确定物体表面的特征点在第二条纹图上的相对位置或者绝对位置。

空间相位展开法用于对包裹相位进行相位展开，通过比较前后两个点的相位值，对于差值小于-π，则对后一点的相位值加上2π，若大于π，则后一点的相位值减去2π，从而得到一个连续的相位分布图。

由于远心相机与投影设备的投射光轴与远心相机处于同一光轴上，利用远心相机采集标定物的第二投影条纹图来辅助进行投影设备的标定，并根据远心相机和每一个相机采集的图像，利用相移法和空间相位展开法获取各条纹图的绝对相位，建立投影设备和每一个相机之间的映射关系，实现对投影设备的标定。

在一个示例性的实施例中，至少两个相机为移轴相机；其中，每一个移轴相机的对焦平面、镜头平面和像平面相交于同一条直线；

第一参数还包括每一个相机的沙姆矩阵、第一主从相对平移向量和第一主从相对旋转矩阵；

获取第一参数的步骤包括：

获取与标定物图像对应的每一个相机的姿态，得到每一个相机的沙姆矩阵；

以远心相机作为主相机，根据标定物图像获取第一主从相对平移向量、第一主从相对旋转矩阵；

对焦平面为相机能够清晰成像的点所在平面，又称物平面。

相机的姿态是指相机的拍摄角度和相机在世界坐标系中的坐标。

移轴相机的镜头与安装胶片的后背能通过软性连接体(如皮腔)进行移位或扭转来改变影像的透视效果和清晰度范围，可以在保持相机水平水平时通过旋转移轴相机上的移轴钮，把镜头的像平面中心相对胶片的平面中心向上或向下移位，从而使镜头的焦距在能拍到完整物体的前提下，把物体的顶部(在地面拍摄时)或底部(在高处拍摄时)按构图需要移到图面中合适的位置，而物体的垂直线条在照片中始终保持垂直，从而避免了用普通相机仰拍而形成垂直线倾斜的现象。

沙姆定律是指当相机的对焦平面、镜头平面和像平面相交于同一条直线时，所有清晰成像的点会落在另一平面，从而可以得到清晰范围最大的拍摄图像。在本申请实施例中，通过限定每一个移轴相机的对焦平面、镜头平面和像平面相交于同一条直线，提高移轴相机拍摄的图像的清晰度。

第一主从相对平移向量、第一主从相对旋转矩阵用于确定主相机和从相机之间的相对位置关系，具体地，可以根据远心相机和每一个相机采集的图像，通过建立两个图像上各点之间的映射关系，得到第一主从相对平移向量和第一主从相对旋转矩阵。

具体地，利用光束平差法对第一子系统的第二参数进行优化，得到第一子系统的最优参数的步骤包括：

按照以下方式，获取远心相机的重投影误差：

其中，

为远心相机第j个标定板的重投影误差，

为第j个标定板在世界坐标系的三维坐标，K_TC为远心相机的内参数矩阵，D_TC为远心相机的畸变参数，

为第j个标定板的旋转矩阵，

为第j个标定板的平移向量，

为第j个标定板的二维坐标；

按照以下方式获取第i个相机的重投影误差：

其中，

为第i个相机第j个标定板的重投影误差，

为第i个相机的内参数矩阵，

为第i个相机的畸变参数，

为第j个标定板的主从相对旋转矩阵，

为第j个标定板的主从相对平移向量，

为第i个相机的旋转矩阵，

为第i个相机的沙姆矩阵，

为第i个相机第j个标定板的二维坐标；

按照以下方式，对第一子系统的目标函数进行最小化：

其中，ξ₂为第一子系统的最小化后的目标函数，m为标定板个数，n为相机个数；

根据第一子系统的最小化后的目标函数，得到第一子系统的最优参数。

通过利用第一主从相对平移向量和第一主从相对旋转矩阵建立远心相机和每一个相机的约束关系，避免单独三维成像系统中各组件单独标定时的误差累计，导致标定不准确的问题；基于远心相机和每一个相机的内参矩阵、畸变参数、旋转矩阵、平移向量、第一主从相对平移向量和第一主从相对旋转矩阵，利用光束平差法构建第一子系统的目标函数并进行最小化，得到第一子系统的最优参数，从而实现第一子系统的准确标定。

在一个示例性的实施例中，第二参数还包括每一个相机的沙姆矩阵、第二主从相对平移向量和第二主从相对旋转矩阵；

获取第二参数的步骤包括：

获取与投影条纹图对应的每一个相机的姿态，得到每一个相机的沙姆矩阵；

利用远心相机采集标定物的第二投影条纹图；

以投影设备作为主相机，根据投影条纹图和第二投影条纹图获取第二主从相对平移向量和第二主从相对旋转矩阵。

第二主从相对平移向量、第二主从相对旋转矩阵用于确定主相机和从相机之间的相对位置关系。在本申请实施例中，由于远心相机与投影设备的投射光轴与远心相机处于同一光轴上，利用远心相机采集标定物的第二投影条纹图来辅助进行投影设备的标定，并根据远心相机和每一个相机采集的图像，建立两个图像上各点之间的映射关系，得到第二主从相对平移向量和第二主从相对旋转矩阵。

重投影误差是指特征点在像平面的估计值与观测值的差，其中，特征点在像平面的估计值即为三维空间的坐标分别除以Z轴坐标后得到的二维坐标，通过利用重投影误差构建目标函数并对该目标函数进行最小化，从而实现相机参数的优化。

具体地，利用光束平差法对第二参数进行优化，得到第二子系统的最优参数的步骤包括：

按照以下方式，获取投影设备的重投影误差：

其中，

为投影设备第j个标定板的重投影误差，

为第j个标定板在世界坐标系的三维坐标点，K_P为投影设备的内参数矩阵，D_P为投影设备的畸变参数，

为投影设备第j个标定板的旋转矩阵，

为投影设备第j个标定板的平移向量，

为第j个标定板的二维坐标；

按照以下方式，获取第i个相机的重投影误差：

其中，

为第i个相机第j个标定板的重投影误差，

为第i个相机的内参数矩阵，

为第i个相机的畸变参数，

为第i个相机第j个标定板的主从相对旋转矩阵，

为第i个相机第j个标定板的主从相对平移向量，

为第i个相机的旋转矩阵，

为第i个相机的沙姆矩阵，

为第i个相机第j个标定板的二维坐标；

按照以下方式，对第二子系统的目标函数进行最小化：

其中，ξ₂为第二子系统的最小化后的目标函数，m为标定板个数，n为相机个数；

根据第二子系统的最小化后的目标函数，得到第二子系统的最优参数。

通过利用第二主从相对平移向量和第二主从相对旋转矩阵建立投影设备和每一个相机的约束关系，避免单独三维成像系统中各组件单独标定时的误差累计，导致标定不准确的问题；基于投影设备和每一个相机的内参矩阵、畸变参数、旋转矩阵、平移向量、第二主从相对平移向量和第二主从相对旋转矩阵，利用光束平差法构建第一子系统的目标函数并进行最小化，得到第二子系统的最优参数，从而实现第二子系统的准确标定。

在一个示例性的实施例中，在利用光束平差法对第二参数进行优化的步骤之前，还包括：

利用相移法对投影条纹图进行解相，得到包裹相位；

利用空间相位展开法对包裹相位进行相位展开，建立投影条纹图中各图像像素点的映射关系并剔除投影条纹图中的错误匹配点和离群点。

离群点为与投影条纹图中其它像素点存在显著不同的数据点，错误匹配点为投影条纹图中未能建立映射关系的像素点。

通过建立投影条纹图中各图像像素点的映射关系并剔除投影条纹图中的错误匹配点和离群点，降低后续优化过程的计算数据量，提高优化效率和精度。

在一个实施例中，融合第一三维图和第二三维图，得到被测物的三维成像图的步骤包括：

基于第二三维图获取被测物的第一三维信息；

对于第二三维图缺失的成像区域，基于第一三维图获取被测物的第二三维信息；

根据第一三维信息和第二三维信息，构建被测物的三维成像图。

三维信息可以是指三维图中各特征点的位置坐标、灰度值等信息。

通过对利用成像区域更加广阔的第一三维图补充第二三维图中缺失的成像区域，得到更加全面的被测物三维成像图。

如图4所示，本申请实施例还提供了一种三维成像装置，应用于三维成像系统；三维成像系统包括投影设备、远心相机和至少两个相机；

其中，远心相机和至少两个相机形成用于采集多角度物体图像的第一子系统；投影设备用于投射条纹图，至少两个相机用于采集多角度投影条纹图，投影设备和至少两个相机形成用于采集多角度投影条纹图的第二子系统；

三维成像装置包括：

第一图像获取模块1，用于获取第一子系统采集的标定物图像；

第一参数获取模块2，用于获取第一子系统的第一参数；其中，第一参数包括远心相机和每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量；

第一标定模块3，用于基于标定物图像和第一参数，利用光束平差法对第一参数进行优化，得到第一子系统的最优参数并对第一子系统进行标定；

第二图像获取模块4，用于获取第二子系统采集的标定物的投影条纹图；

第二参数获取模块5，用于获取第二子系统的第二参数；其中，第二参数包括投影设备和每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量

第二标定模块6，用于基于标定物的投影条纹图和第二参数，利用光束平差法对第二参数进行优化，得到第二子系统的最优参数并对第二子系统进行标定；

第一三维图获取模块7，用于利用标定后的第一子系统采集被测物图像并进行三维成像，得到第一三维图；

第二三维图获取模块8，用于利用标定后的第二子系统采集被测物投影条纹图并进行三维成像，得到第二三维图；

三维图融合模块9，用于融合第一三维图和第二三维图，得到被测物的三维成像图。

需要说明的是，上述实施例提供的三维成像装置在执行三维成像方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分为不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的三维成像装置与三维成像方法属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

如图5所示，本申请实施例还提供了一种三维成像系统，包括投影设备100、远心相机200、至少两个相机301、302、分光镜400和如上述的三维成像装置500，远心相机200垂直设置在被测物上方，投影设备100以与被测物形成第一夹角的方式设置在被测物侧上方，分光镜400位于投影设备100的光轴上；三维成像装置500分别与远心相机200、投影设备100和至少两个相机301、302连接。

投影设备100用于投影具有设定编码规则的条纹光，投影设备100投射的条纹光经分光镜400折射后以垂直被测物表面的方式投射到被测物表面上。

其中，投影设备100投射的条纹光经分光镜400折射后与远心相机200处于同一光轴上；三维成像装置500用于根据远心相机200、投影设备100和至少两个相机301、302采集到的图像，对被测物进行三维成像。

如图6所示，在一个优选的实施例中，三维成像系统包括4个移轴相机301、302、303、304，4个移轴相机中每两个的镜头相对，分别设置在被测物的上方、下方、左方和右方。

移轴相机的镜头与安装胶片的后背能通过软性连接体(如皮腔)进行移位或扭转来改变影像的透视效果和清晰度范围，可以在保持相机水平水平时通过旋转移轴相机上的移轴钮，把镜头的像平面中心相对胶片的平面中心向上或向下移位，从而使镜头的焦距在能拍到完整物体的前提下，把物体的顶部(在地面拍摄时)或底部(在高处拍摄时)按构图需要移到图面中合适的位置，而物体的垂直线条在照片中始终保持垂直，从而避免了用普通相机仰拍而形成垂直线倾斜的现象。

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请的描述中，除非另有说明，“若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (10)

1.一种三维成像方法，其特征在于，应用于三维成像系统；所述三维成像系统包括投影设备、远心相机和至少两个相机；

其中，所述远心相机和所述至少两个相机形成用于采集多角度物体图像的第一子系统；所述投影设备用于投射条纹图，所述至少两个相机用于采集多角度投影条纹图，所述投影设备和所述至少两个相机形成用于采集多角度投影条纹图的第二子系统；

所述方法包括以下步骤：

获取所述第一子系统采集的标定物图像；

获取所述第一子系统的第一参数；其中，所述第一参数包括所述远心相机和所述每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量；

基于所述标定物图像和所述第一参数，利用光束平差法对所述第一参数进行优化，得到所述第一子系统的最优参数并对所述第一子系统进行标定；

获取所述第二子系统采集的标定物的投影条纹图；

获取所述第二子系统的第二参数；其中，所述第二参数包括所述投影设备和所述每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量；

基于所述标定物的投影条纹图和所述第二参数，利用光束平差法对所述第二参数进行优化，得到所述第二子系统的最优参数并对所述第二子系统进行标定；

利用标定后的第一子系统采集被测物图像并进行三维成像，得到第一三维图；

利用标定后的第二子系统采集被测物投影条纹图并进行三维成像，得到第二三维图；

融合所述第一三维图和所述第二三维图，得到所述被测物的三维成像图。

2.根据权利要求1所述的三维成像方法，其特征在于，所述至少两个相机为移轴相机，每一个移轴相机的对焦平面、镜头平面和像平面相交于同一条直线；

所述第一参数还包括每一个相机的沙姆矩阵、第一主从相对平移向量和第一主从相对旋转矩阵；

所述获取第一参数的步骤包括：

获取与所述标定物图像对应的每一个相机的姿态，得到每一个相机的沙姆矩阵；

以远心相机作为主相机，根据所述标定物图像获取所述第一主从相对平移向量、第一主从相对旋转矩阵；

所述利用光束平差法对所述第一子系统的第二参数进行优化，得到所述第一子系统的最优参数的步骤包括：

按照以下方式，获取远心相机的重投影误差：

其中，

为远心相机第j个标定板的重投影误差，

为第j个标定板在世界坐标系的三维坐标，K_TC为远心相机的内参数矩阵，D_TC为远心相机的畸变参数，

为第j个标定板的旋转矩阵，

为第j个标定板的平移向量，

为第j个标定板的二维坐标；

按照以下方式获取第i个相机的重投影误差：

其中，

为第i个相机第j个标定板的重投影误差，

为第i个相机的内参数矩阵，

为第i个相机的畸变参数，

为第j个标定板的主从相对旋转矩阵，

为第j个标定板的主从相对平移向量，

为第i个相机的旋转矩阵，

为第i个相机的沙姆矩阵，

为第i个相机第j个标定板的二维坐标；

按照以下方式，对所述第一子系统的目标函数进行最小化：

其中，ξ₂为所述第一子系统的最小化后的目标函数，m为标定板个数，n为相机个数；

根据所述第一子系统的最小化后的目标函数，得到所述第一子系统的最优参数。

3.根据权利要求1所述的三维成像方法，其特征在于，所述至少两个相机为移轴相机，每一个移轴相机的对焦平面、镜头平面和像平面相交于同一条直线；

所述第二参数还包括每一个相机的沙姆矩阵、第二主从相对平移向量和第二主从相对旋转矩阵；

所述获取第二参数的步骤包括：

获取与所述投影条纹图对应的每一个相机的姿态，得到每一个相机的沙姆矩阵；

利用远心相机采集标定物的第二投影条纹图；

以投影设备作为主相机，根据所述投影条纹图和所述第二投影条纹图获取所述第二主从相对平移向量和第二主从相对旋转矩阵；

所述利用光束平差法对所述第二参数进行优化，得到所述第二子系统的最优参数的步骤包括：

按照以下方式，获取投影设备的重投影误差：

其中，

为投影设备第j个标定板的重投影误差，

为第j个标定板在世界坐标系的三维坐标点，K_P为投影设备的内参数矩阵，D_P为投影设备的畸变参数，

为投影设备第j个标定板的旋转矩阵，

为投影设备第j个标定板的平移向量，

为第j个标定板的二维坐标；

按照以下方式，获取第i个相机的重投影误差：

其中，

为第i个相机第j个标定板的重投影误差，

为第i个相机的内参数矩阵，

为第i个相机的畸变参数，

为第i个相机第j个标定板的主从相对旋转矩阵，

为第i个相机第j个标定板的主从相对平移向量，

为第i个相机的旋转矩阵，

为第i个相机的沙姆矩阵，

为第i个相机第j个标定板的二维坐标；

按照以下方式，对所述第二子系统的目标函数进行最小化：

其中，ξ₂为所述第二子系统的最小化后的目标函数，m为标定板个数，n为相机个数；

根据所述第二子系统的最小化后的目标函数，得到第二子系统的最优参数。

4.根据权利要求1所述的三维成像方法，其特征在于，获取所述第一子系统的第一参数的步骤，包括：

对所述投影设备、远心相机和每一个相机进行单独标定，得到所述第一子系统的第一参数。

5.根据权利要求4所述的三维成像方法，其特征在于，所述对投影设备进行单独标定的步骤包括：

利用远心相机采集标定物的第二条纹图；

利用相移法获取所述第二条纹图进行解相，得到包裹相位；

利用空间相位展开法对所述包裹相位进行相位展开，得到绝对相位；

根据所述绝对相位建立所述投影设备和所述远心相机之间的映射关系，实现对所述投影设备的标定。

6.根据权利要求1所述的三维成像方法，其特征在于，在利用光束平差法对所述第二参数进行优化的步骤之前，还包括：

利用相移法对所述投影条纹图进行解相，得到包裹相位；

利用空间相位展开法对所述包裹相位进行相位展开，建立所述投影条纹图中各图像像素点的映射关系并剔除所述投影条纹图中的错误匹配点和离群点。

7.根据权利要求1所述的三维成像方法，其特征在于，所述第一三维图和所述第二三维图的成像区域不同；

所述融合所述第一三维图和所述第二三维图，得到所述被测物的三维成像图的步骤包括：

基于所述第二三维图获取被测物的第一三维信息；

对于所述第二三维图缺失的成像区域，基于所述第一三维图获取被测物的第二三维信息；

根据所述第一三维信息和所述第二三维信息，构建被测物的三维成像图。

8.根据权利要求1所述的三维成像方法，其特征在于，所述三维成像系统还包括分光镜；

所述远心相机垂直设置在被测物上方，所述投影设备以与被测物形成第一夹角的方式设置在所述被测物侧上方，所述分光镜位于所述投影设备的光轴上，所述投影设备用于投影具有设定编码规则的条纹光，所述投影设备投射的条纹光经分光镜折射后以垂直被测物表面的方式投射到被测物表面上。

9.一种三维成像装置，其特征在于，应用于三维成像系统；所述三维成像系统包括投影设备、远心相机和至少两个相机；

其中，所述远心相机和所述至少两个相机形成用于采集多角度物体图像的第一子系统；所述投影设备用于投射条纹图，所述至少两个相机用于采集多角度投影条纹图，所述投影设备和所述至少两个相机形成用于采集多角度投影条纹图的第二子系统；

所述三维成像装置包括：

第一图像获取模块，用于获取所述第一子系统采集的标定物图像；

第一参数获取模块，用于获取所述第一子系统的第一参数；其中，所述第一参数包括所述远心相机和所述每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量；

第一标定模块，用于基于所述标定物图像和所述第一参数，利用光束平差法对所述第一参数进行优化，得到所述第一子系统的最优参数并对所述第一子系统进行标定；

第二图像获取模块，用于获取所述第二子系统采集的标定物的投影条纹图；

第二参数获取模块，用于获取所述第二子系统的第二参数；其中，所述第二参数包括所述投影设备和所述每一个相机的内参矩阵、畸变参数、旋转矩阵和平移向量

第二标定模块，用于基于所述标定物的投影条纹图和所述第二参数，利用光束平差法对所述第二参数进行优化，得到所述第二子系统的最优参数并对所述第二子系统进行标定；

第一三维图获取模块，用于利用标定后的第一子系统采集被测物图像并进行三维成像，得到第一三维图；

第二三维图获取模块，用于利用标定后的第二子系统采集被测物投影条纹图并进行三维成像，得到第二三维图；

三维图融合模块，用于融合所述第一三维图和所述第二三维图，得到所述被测物的三维成像图。

10.一种三维成像系统，其特征在于，包括远心相机、投影设备、分光镜、至少两个相机和如权利要求9所述的三维成像装置，所述远心相机垂直设置在被测物上方，所述投影设备以与被测物形成第一夹角的方式设置在所述被测物侧上方，所述分光镜位于所述投影设备的光轴上；所述三维成像装置分别与所述远心相机、所述投影设备和所述至少两个相机连接；

所述投影设备用于投影具有设定编码规则的条纹光，所述投影设备投射的条纹光经分光镜折射后以垂直被测物表面的方式投射到被测物表面上；

所述三维成像装置用于根据所述远心相机、所述投影设备和所述至少两个相机采集到的图像，对所述被测物进行三维成像。

Images