CN109341527A - 一种自动阴影补偿的结构光投影三维测量系统及方法 - Google Patents

Abstract

一种自动阴影补偿的结构光投影三维测量系统，包括CCD相机、投影仪、可显示不同背景光的测量平台和计算机；所述测量平台用于为被测量物提供背景光，所述测量平台上表面为光滑平面，所述测量平台的正上方设有支撑架，所述CCD相机和投影仪设在支撑架上，所述CCD相机的光轴垂直于测量平台，所述CCD相机和投影仪分别与计算机电连接，CCD相机用于获取背景图像和被测量物图像后并将背景图像和被测量物图像传输至计算机，投影仪用于从倾斜方向向测量平台投射结构光，所述计算机对被测量物图像进行阴影补偿后并利用相移法得到被测量物的三维测量数据。本发明提高了机器视觉技术采用结构光方式测量的可靠性与准确性。

Description

一种自动阴影补偿的结构光投影三维测量系统及方法

技术领域

本发明涉及光学检测技术领域，具体涉及一种自动阴影补偿的结构光投影三 维测量系统及方法。

背景技术

近年来，计算机视觉技术已经成为一门单独的学科在科学研究与实际中生活 不断发展，三维重建是计算机视觉最重要的内容以及热点研究方向之一，也是数 字图像相关技术最重要的应用之一，三维重建是指对三维物体建立适合计算机表 示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基 础,也是在计算机中建立表达客观世界的虚拟现实的关键技术；具体地，三维重 建是指利用计算机通过二维世界中的图像来重建具有真实感的三维空间中的的 立体模型，客观世界是我们生活的三维空间世界。三维重建基于立体视觉原理， 力求从二维图像中恢复三维空间信息，旨在达到从图像中理解世界的目的，在虚 拟现实、计算机动画、三维测量、军事模拟等方面都有重要应用。

随着机器视觉技术的快速发展，在工业生产中越来越多地应用视觉方法进行 自动化检测及测量。针对一些精细工件品质的筛选与三维尺寸测量，必须使用机 器视觉系统进行非接触式测量。目前主要的非接触测量方案分为双目视觉与结构 光投影。前者通常适用于大场景的三维重构，后者由于可以利用相位信息使测量 精度提高，适合小目标短距离的三维测量。然而考虑到结构光投射角度，被测物 表面有孔洞等问题，此方案不可避免会出现阴影干扰的现象，阴影干扰会导致测 量出现误差，影响测量效果。因此解决阴影干扰问题是提高结构光方式测量的可 靠性与准确性的一个重要的研究方向。

发明内容

本发明目的在于克服现有技术的缺点与不足，提供了一种自动阴影补偿的结 构光投影三维测量系统，以提高机器视觉技术采用结构光方式测量的可靠性与准 确性。

为实现上述目的，本发明采用的技术方案如下：

一种自动阴影补偿的结构光投影三维测量系统，包括CCD相机、投影仪、可 显示不同背景光的测量平台和计算机；所述测量平台用于为被测量物提供背景 光，所述测量平台上表面为光滑平面，所述测量平台的正上方设有支撑架，所述 CCD相机和投影仪设在支撑架上，所述CCD相机的光轴垂直于测量平台，所述CCD 相机和投影仪分别与计算机电连接，CCD相机用于获取背景图像和被测量物图像 后并将背景图像和被测量物图像传输至计算机，投影仪用于从倾斜方向向测量平 台投射结构光，所述计算机对被测量物图像进行阴影补偿后并利用相移法得到被 测量物的三维测量数据。

由上可知，本发明工作原理如下：首先通过投影仪用于从倾斜方向向测量平 台投射结构光，利用CCD相机获取具有结构光条纹的背景图像，接着将被测量物 放置测量平台上或者上方，并利用CCD相机获取具有结构光条纹的被测量物图 像，接着利用测量平面显示背景光，CCD相机获取无结构光投射的被测量物图像， CCD相机将背景图像和被测量物图像和无结构光图像传输至计算机，计算机对被 测量物图像进行阴影补偿后并利用相移法得到被测量物的三维测量数据。

综上可知，本发明通过在结构光投影的情况下获得具有结构光条纹的背景图 像和被测量物图像，然后计算机对被测量物图像进行阴影补偿后并利用相移法得 到被测量物的三维测量数据，避免了阴影对结构光投影三维测量效果的影响，提 高了机器视觉技术采用结构光方式测量的可靠性与准确性。

作为本发明的一种改进，所述测量平台为LED背光测量平台，所述LED背光 测量平台在不显示背景光时呈黑色背景色，所述LED背光测量平台与计算机电连 接，由计算机控制LED背光测量平台发光。

作为本发明的一种改进，所述测量平台上设有红外传感器，红外传感器与计 算机电连接，红外传感器用于获取测量平台上的被测量物信号，计算机根据红外 传感器获得的被测量物信号而控制CCD相机和投影仪动作。

作为本发明的一种改进，还包括皮带传动机构，皮带传动机构包括传动带和 由电机驱动的传动轮，所述传动带为透明传动带，所述透明传动带水平设置，所 述测量平台设在透明传动带上带面的下方。

本发明还提供一种自动阴影补偿的结构光投影三维测量方法。

一种利用上述自动阴影补偿的结构光投影三维测量系统进行结构光投影三 维测量方法，包括以下步骤：

对CCD相机和投影仪进行标定，得到CCD相机光心与测量平面的垂直距离l， CCD相机光心与投影仪光心的间距d；

将测量平面设置显示白色背景光，投影仪向测量平面投射N幅正弦条纹结构 光，其中相邻正弦条纹结构光的相位差为π/2，N大于或等于3，并利用CCD相 机先后采集N张不同相位的背景条纹图像back_i,i值对应为1、2......N；

将测量平面设置显示白色背景光，被测量物放置在测量平面中，投影仪向测 量平面投射N幅正弦条纹结构光，其中相邻正弦条纹结构光的相位差为π/2，N 大于或等于3，并利用CCD相机先后采集N张不同相位的物体条纹图像obj_i,i 值对应为1、2......N；

将测量平面设置显示背景光，利用CCD相机采集无结构光投射下的物体图像origin，并得到物体图像origin的二值掩膜图像mask；

利用二值掩膜图像mask、背景条纹图像back_i和物体条纹图像obj_i进行 图像运算阴影补偿处理，得到补偿后物体图像objfin_i；

获得背景条纹图像back_i和补偿后物体图像objfin_i的像素灰度值矩阵， 分别为I_back和I_fin；

利用相移法的相位公式，分别求得背景条纹图像back_i和补偿后物体图像objfin_i的像素相位值，相位公式为：

式中I为图像的像素灰度值矩阵，I(x,y)为图像中第x行第y列的像素灰度 值，将I_back和I_fin代入式(1)分别得到背景条纹图像back_i和补偿后物体图像 objfin_i的像素相位值为和

将背景条纹图像back_i和补偿后物体图像objfin_i的对应像素相位值相减 得到两者每个像素相位差为：

利用式(2)代入相位差高度映射公式(3)，得到被测量物每个像素的Z 轴坐标，Z轴坐标即高度数据h(x,y)的值为：

其中f为条纹频率，被测量物每个像素的x轴、y轴坐标与图像像素的x轴、 y轴坐标相同，即可得到被测量物每个像素的三维坐标。

进一步地，所述步骤“将测量平面设置显示背景光，利用CCD相机采集无结 构光投射下的物体图像origin，并得到物体图像origin的二值掩膜图像mask” 包括以下子步骤：

a.在白背景光下，利用CCD相机采集一张无结构光投射的被测量物白背景 光物体图像origin_white,获取白背景光物体图像origin_white的灰度直方图， 得到被测物的灰度级集合{Pi，i＝1,2...n}，设定一个灰度阈值T；

b.若灰度级集合{Pi，i＝1,2...n}的每个值都大于或等于T，则设置在黑背 景光下，利用CCD相机采集一张无结构光投影的被测量物黑背景光物体图像 origin_black，对黑背景光物体图像origin_black用阈值T进行二值化处理， 得到二只掩膜图像mask；

c.若灰度级集合{Pi，i＝1,2...n}中的值既有大于T的也有小于T的，则设 置在黑背景光下，利用CCD相机采集一张无结构光投影的被测量物黑背景光物体 图像origin_black，对白背景光物体图像origin_white和黑背景光物体图像 origin_black分别用阈值T进行二值化处理后并相加，得到二值掩膜图像mask；

d.若灰度级集合{Pi，i＝1,2...n}的每个值都小于或等于T，则对白背景光 物体图像origin_white用阈值T进行二值化处理，得到二值掩膜图像mask。

进一步地，所述步骤“利用二值掩膜图像mask、背景条纹图像back_i和物 体条纹图像obj_i进行阴影补偿算法处理，得到补偿后物体图像objfin_i”包 括以下子步骤：

对二值掩膜图mask取反得到反向图像maskinv；

用二值掩膜图像mask与背景条纹图像back_i进行图像代数乘法运算，得到 去除物体后的阴影背景条纹图像backnew_i；

用反向图像maskinv与物体条纹图像obj_i进行图像代数乘法运算，得到物 体的物体无阴影图像objnew_i；

用阴影背景条纹图像backnew_i与物体无阴影图像objnew_i进行图像代数 加法运算，最终得到补偿阴影区域信息后的补偿后物体图像objfin_i。

进一步地，所述N的值为4。

与现有技术相比，本发明具有以下优点：

本发明通过在结构光投影的情况下获得具有结构光条纹的背景图像和被测 量物图像，然后计算机对被测量物图像进行阴影补偿后并利用相移法得到被测量 物的三维测量数据，避免了阴影对结构光投影三维测量效果的影响，并且本发明 可以实现对多色彩物体的阴影补偿，提高了机器视觉技术采用结构光方式测量的 可靠性与准确性。

附图说明

图1为本发明自动阴影补偿的结构光投影三维测量系统的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。可以理解的是，此处所描述 的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是， 为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例

请参考图1，一种自动阴影补偿的结构光投影三维测量系统，包括CCD相机 10、投影仪20、可显示不同背景光的测量平台30和计算机40；所述测量平台 30用于为被测量物提供背景光，所述测量平台30上表面为光滑平面，所述测量 平台30的正上方设有支撑架50，所述CCD相机10和投影仪20设在支撑架50 上，所述CCD相机10的光轴垂直于测量平台30，所述CCD相机10和投影仪20 分别与计算机40电连接，CCD相机10用于获取背景图像和被测量物图像后并将 背景图像和被测量物图像传输至计算机40，投影仪20用于从倾斜方向向测量平 台30投射结构光，所述计算机40对被测量物图像进行阴影补偿后并利用相移法 得到被测量物的三维测量数据。

由上可知，本发明工作原理如下：首先通过投影仪用于从倾斜方向向测量平 台投射结构光，利用CCD相机获取具有结构光条纹的背景图像，接着将被测量物 放置测量平台上或者上方，并利用CCD相机获取具有结构光条纹的被测量物图 像，接着利用测量平面显示背景光，CCD相机获取无结构光投射的被测量物图像， CCD相机将背景图像和被测量物图像和无结构光图像传输至计算机，计算机对被 测量物图像进行阴影补偿后并利用相移法得到被测量物的三维测量数据。

综上可知，本发明通过在结构光投影的情况下获得具有结构光条纹的背景图 像和被测量物图像，然后计算机对被测量物图像进行阴影补偿后并利用相移法得 到被测量物的三维测量数据，避免了阴影对结构光投影三维测量效果的影响，提 高了机器视觉技术采用结构光方式测量的可靠性与准确性。

在本实施例中，所述测量平台30为LED背光测量平台，所述LED背光测量 平台在不显示背景光时呈黑色背景色，所述LED背光测量平台与计算机40电连 接，由计算机40控制LED背光测量平台发光。通过计算机控制LED背光测量平 台可以发出不同颜色的背景光，LED背光测量平台可以根据被测量物的颜色选择 显示最优背景光，一定程度下降低被测量物颜色对测量系统的影响。

在本实施例中，所述测量平台30上设有红外传感器60，红外传感器60与 计算机40电连接，红外传感器60用于获取测量平台30上的被测量物信号，计 算机40根据红外传感器60获得的被测量物信号而控制CCD相机10和投影仪20 动作。当红外传感器感应到测量平台上有被测量物，红外传感器则将感应信号发 送至计算机，则计算机控制投影仪投射结构光，及CCD相机拍照，从而可以实现 自动化测量控制。

在本实施例中，还包括皮带传动机构70，皮带传动机构70包括传动带71 和由电机驱动的传动轮72，所述传动带70为透明传动带，所述透明传动带70 水平设置，所述测量平台30设在透明传动带71上带面的下方。在对被测量物进 行测量时，被测量物可以放置在透明传动带的上带面上，透明传动带的颜色没有 对测量系统产生影响，同时皮带传动机构可以将被测量物进行输送和转移，而且 通过计算机可以控制电机定时启动和停止，而实现测量过程的自动化。

一种利用上述自动阴影补偿的结构光投影三维测量系统进行结构光投影三 维测量方法，包括以下步骤：

S1.对CCD相机和投影仪进行标定，得到CCD相机光心与测量平面的垂直距 离l，CCD相机光心与投影仪光心的间距d；

S2.将测量平面设置显示白色背景光，投影仪向测量平面投射N幅正弦条纹 结构光，其中相邻正弦条纹结构光的相位差为π/2，N大于或等于3，并利用CCD 相机先后采集N张不同相位的背景条纹图像back_i,i值对应为1、2......N；

S3.将测量平面设置显示白色背景光，被测量物放置在测量平面中，投影仪 向测量平面投射N幅正弦条纹结构光，其中相邻正弦条纹结构光的相位差为π /2，N大于或等于3，并利用CCD相机先后采集N张不同相位的物体条纹图像 obj_i,i值对应为1、2......N；

S4.将测量平面设置显示背景光，利用CCD相机采集无结构光投射下的物体 图像origin，并得到物体图像origin的二值掩膜图像mask；

S5.利用二值掩膜图像mask、背景条纹图像back_i和物体条纹图像obj_i 进行图像运算阴影补偿处理，得到补偿后物体图像objfin_i；

S6.获得背景条纹图像back_i和补偿后物体图像objfin_i的像素灰度值矩 阵，分别为I_back和I_fin；

S7.利用相移法的相位公式，分别求得背景条纹图像back_i和补偿后物体图 像objfin_i的像素相位值，相位公式为：

式中I为图像的像素灰度值矩阵，I(x,y)为图像中第x行第y列的像素灰度 值，将I_back和I_fin代入式(1)分别得到背景条纹图像back_i和补偿后物体图像objfin_i的像素相位值为和

S8.将背景条纹图像back_i和补偿后物体图像objfin_i的对应像素相位值 相减得到两者每个像素相位差为：

S9.利用式(2)代入相位差高度映射公式(3)，得到被测量物每个像素的 Z轴坐标，Z轴坐标即高度数据h(x,y)的值为：

其中f为条纹频率，被测量物每个像素的x轴、y轴坐标与图像像素的x轴、 y轴坐标相同，即可得到被测量物每个像素的三维坐标。

在本实施例中，所述步骤“将测量平面设置显示背景光，利用CCD相机采集 无结构光投射下的物体图像origin，并得到物体图像origin的二值掩膜图像 mask”包括以下子步骤：

a.在白背景光下，利用CCD相机采集一张无结构光投射的被测量物白背景 光物体图像origin_white,获取白背景光物体图像origin_white的灰度直方图， 得到被测物的灰度级集合{Pi，i＝1,2...n}，设定一个灰度阈值T；

b.若灰度级集合{Pi，i＝1,2...n}的每个值都大于或等于T，则设置在黑背 景光下，利用CCD相机采集一张无结构光投影的被测量物黑背景光物体图像 origin_black，对黑背景光物体图像origin_black用阈值T进行二值化处理， 得到二只掩膜图像mask；

c.若灰度级集合{Pi，i＝1,2...n}中的值既有大于T的也有小于T的，则设 置在黑背景光下，利用CCD相机采集一张无结构光投影的被测量物黑背景光物体 图像origin_black，对白背景光物体图像origin_white和黑背景光物体图像 origin_black分别用阈值T进行二值化处理后并相加，得到二值掩膜图像mask；

d.若灰度级集合{Pi，i＝1,2...n}的每个值都小于或等于T，则对白背景光 物体图像origin_white用阈值T进行二值化处理，得到二值掩膜图像mask。

通过对被测物表面颜色灰度级的判断来确定显示背景光方案，当被测量物的 表面有多种差异大的颜色时，通过黑背景光和白背景光互补，能有效减少被测量 物的表面颜色对测量效果的影响，从而提高测量的准确性。

在本实施例中，所述步骤“利用二值掩膜图像mask、背景条纹图像back_i 和物体条纹图像obj_i进行阴影补偿算法处理，得到补偿后物体图像objfin_i” 包括以下子步骤：

对二值掩膜图mask取反得到反向图像maskinv；

用二值掩膜图像mask与背景条纹图像back_i进行图像代数乘法运算，得到 去除物体后的阴影背景条纹图像backnew_i；

用反向图像maskinv与物体条纹图像obj_i进行图像代数乘法运算，得到物 体的物体无阴影图像objnew_i；

用阴影背景条纹图像backnew_i与物体无阴影图像objnew_i进行图像代数 加法运算，最终得到补偿阴影区域信息后的补偿后物体图像objfin_i。

在本实施例中，所述N的值为4。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施 例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替 代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种自动阴影补偿的结构光投影三维测量系统，其特征在于：包括CCD相机、投影仪、可显示不同背景光的测量平台和计算机；所述测量平台用于为被测量物提供背景光，所述测量平台上表面为光滑平面，所述测量平台的正上方设有支撑架，所述CCD相机和投影仪设在支撑架上，所述CCD相机的光轴垂直于测量平台，所述CCD相机和投影仪分别与计算机电连接，CCD相机用于获取背景图像和被测量物图像后并将背景图像和被测量物图像传输至计算机，投影仪用于从倾斜方向向测量平台投射结构光，所述计算机对被测量物图像进行阴影补偿后并利用相移法得到被测量物的三维测量数据。

2.根据权利要求1所述的自动阴影补偿的结构光投影三维测量系统，其特征在于：所述测量平台为LED背光测量平台，所述LED背光测量平台在不显示背景光时呈黑色背景色，所述LED背光测量平台与计算机电连接，由计算机控制LED背光测量平台发光。

3.根据权利要求1所述的自动阴影补偿的结构光投影三维测量系统，其特征在于：所述测量平台上设有红外传感器，红外传感器与计算机电连接，红外传感器用于获取测量平台上的被测量物信号，计算机根据红外传感器获得的被测量物信号而控制CCD相机和投影仪动作。

4.根据权利要求1所述的自动阴影补偿的结构光投影三维测量系统，其特征在于：还包括皮带传动机构，皮带传动机构包括传动带和由电机驱动的传动轮，所述传动带为透明传动带，所述透明传动带水平设置，所述测量平台设在透明传动带上带面的下方。

5.一种利用权利要求1至4任一所述自动阴影补偿的结构光投影三维测量系统进行结构光投影三维测量方法，其特征在于包括以下步骤：

对CCD相机和投影仪进行标定，得到CCD相机光心与测量平面的垂直距离l，CCD相机光心与投影仪光心的间距d；

将测量平面设置显示白色背景光，投影仪向测量平面投射N幅正弦条纹结构光，其中相邻正弦条纹结构光的相位差为π/2，N大于或等于3，并利用CCD相机先后采集N张不同相位的背景条纹图像back_i,i值对应为1、2......N；

将测量平面设置显示白色背景光，被测量物放置在测量平面中，投影仪向测量平面投射N幅正弦条纹结构光，其中相邻正弦条纹结构光的相位差为π/2，N大于或等于3，并利用CCD相机先后采集N张不同相位的物体条纹图像obj_i,i值对应为1、2......N；

将测量平面设置显示背景光，利用CCD相机采集无结构光投射下的物体图像origin，并得到物体图像origin的二值掩膜图像mask；

利用二值掩膜图像mask、背景条纹图像back_i和物体条纹图像obj_i进行图像运算阴影补偿处理，得到补偿后物体图像objfin_i；

获得背景条纹图像back_i和补偿后物体图像objfin_i的像素灰度值矩阵，分别为I_back和I_fin；

利用相移法的相位公式，分别求得背景条纹图像back_i和补偿后物体图像objfin_i的像素相位值，相位公式为：

式中I为图像的像素灰度值矩阵，I(x,y)为图像中第x行第y列的像素灰度值，将I_back和I_fin代入式(1)分别得到背景条纹图像back_i和补偿后物体图像objfin_i的像素相位值为和

将背景条纹图像back_i和补偿后物体图像objfin_i的对应像素相位值相减得到两者每个像素相位差为：

利用式(2)代入相位差高度映射公式(3)，得到被测量物每个像素的Z轴坐标，Z轴坐标即高度数据h(x,y)的值为：

其中f为条纹频率，被测量物每个像素的x轴、y轴坐标与图像像素的x轴、y轴坐标相同，即可得到被测量物每个像素的三维坐标。

6.根据权利要求5所述的结构光投影三维测量方法，其特征在于：所述步骤“将测量平面设置显示背景光，利用CCD相机采集无结构光投射下的物体图像origin，并得到物体图像origin的二值掩膜图像mask”包括以下子步骤：

a.在白背景光下，利用CCD相机采集一张无结构光投射的被测量物白背景光物体图像origin_white,获取白背景光物体图像origin_white的灰度直方图，得到被测物的灰度级集合{Pi，i＝1,2...n}，设定一个灰度阈值T；

b.若灰度级集合{Pi，i＝1,2...n}的每个值都大于或等于T，则设置在黑背景光下，利用CCD相机采集一张无结构光投影的被测量物黑背景光物体图像origin_black，对黑背景光物体图像origin_black用阈值T进行二值化处理，得到二只掩膜图像mask；

c.若灰度级集合{Pi，i＝1,2...n}中的值既有大于T的也有小于T的，则设置在黑背景光下，利用CCD相机采集一张无结构光投影的被测量物黑背景光物体图像origin_black，对白背景光物体图像origin_white和黑背景光物体图像origin_black分别用阈值T进行二值化处理后并相加，得到二值掩膜图像mask；

d.若灰度级集合{Pi，i＝1,2...n}的每个值都小于或等于T，则对白背景光物体图像origin_white用阈值T进行二值化处理，得到二值掩膜图像mask。

7.根据权利要求5所述的结构光投影三维测量方法，其特征在于：所述步骤“利用二值掩膜图像mask、背景条纹图像back_i和物体条纹图像obj_i进行阴影补偿算法处理，得到补偿后物体图像objfin_i”包括以下子步骤：

对二值掩膜图mask取反得到反向图像maskinv；

用二值掩膜图像mask与背景条纹图像back_i进行图像代数乘法运算，得到去除物体后的阴影背景条纹图像backnew_i；

用反向图像maskinv与物体条纹图像obj_i进行图像代数乘法运算，得到物体的物体无阴影图像objnew_i；

用阴影背景条纹图像backnew_i与物体无阴影图像objnew_i进行图像代数加法运算，最终得到补偿阴影区域信息后的补偿后物体图像objfin_i。

8.根据权利要求5所述的结构光投影三维测量方法，其特征在于：所述N的值为4。