CN111652823A - 一种基于颜色信息的结构光测量高反射率物体的方法 - Google Patents

Abstract

本发明提供一种基于颜色信息的结构光测量高反射率物体的方法，其能够根据物体的颜色信息区分图像中镜面反射区域和漫反射区域并标记出图像中的高光区域，根据反射分离理论对高光区域进行去高光处理。根据图像的纹理信息对去除高光后的图像进行修复。本发明能够解决实际生活中拍摄照片出现的高光问题，并且还原出去除高光的场景。与传统的方法相比，该方法不需要拍摄大量的图片，大大提高了图像处理的效率。实验表明本方法还可运用与结构光三维测量方法。

Description

一种基于颜色信息的结构光测量高反射率物体的方法

技术领域

本发明涉及一种结构光测量方法，具体涉及结构光用于高反射率物体的测量领域。

背景技术

随着社会的发展，技术的革新。由于结构光的三维形貌测量技术具有高精度、高效率且由于非接触式检测对被测物体的损害非常低的优点，该技术越来越多的应用于各行各业。在结构光三维测量中，需要对被测物体投射编码条纹，由编码条纹投射在物体表面从而携带了物体表面的三维纹理信息，通过CCD相机接收图像，而图像条纹的灰度变化即反应了被测物体表面的三维形貌。然而在实际测量过程中，由于某些物体表面对光的反射率过强，而导致图像中产生高光。高光不仅仅使相机饱和，丢失物体表面的纹理信息，同时高光的存在还会影响到后续对图像的处理，影响图像条纹边缘轮廓的提取。而实际的工业测量中，大部分的测量对象往往为高反射率物体。针对这一现状，最早的解决方法是在物体表面喷涂一层降低反射的涂层，然后再进行测量，由于此类方法需要再物体表面喷涂涂层可能会导致测量误差和物体表面损坏等诸多不利结果。另外，也有方法采用减小曝光时间和曝光次数从而达到去除高光的效果，但是这种方法具有一定的盲目性。此外，还有采用在相机和投影前增加偏振片的方法，该方法虽然可以一定程度的去除高光，但由于增加的偏振片不仅仅削弱了强反射的光强，同时也削弱了漫反射的光强，这样就导致了图像中噪声的影响更大，同时加装偏振片也增加了整个实验系统的复杂程度。本发明提供了一种基于颜色信息去除图像中高光的测量方法且该方法简单易于实现。

发明内容

本发明提出了一种基于颜色信息的结构光高反射率物体的测量方法，能有效的去除图像中的高光，解决结构光无法测量高反射率物体的问题。

本发明目的通过如下技术方案实现：

基于颜色信息的结构光高反射率物体的测量方法，该方法包括如下步骤：

1. 图像采集：首先使用标定好的单目结构光系统获得条纹投影下高反射率物体的图像。

2. 图像高光定位：由于高反射率物体表面的特殊性质，在使用结构光系统测量这类材料时容易使得相机饱和从而产生图像中的高光区域，破环原有条纹所携带的形状、颜色、纹理等特征，对后续的三维重构产生很大影响。所以需要对图像进行去高光处理。

首先计算图像每个像素RGB通道的最小值，用每个像素RGB三通道值减去最小值得到近似无镜面图像（SF图）。公式为：

（1）

对SF图像进行修正补偿得到MSF图像，计算公式为：

（2）

其中

，N为像素点的个数。通过比较原图像的像素强度和MSF图像的像素强度，设置一个阈值t用以判断高光像素和漫反射像素。判断方式如下式：

（3）

其次，需要继续判断这两个像素是不连续像素还是噪声。首先需要定义像素色度，色度公式为：

（4）

当分析像素是否为不连续像素时，在单一颜色均匀的表面两个相邻像素点的色度值变化非常小，高光像素也是这样。因此，计算并定义RGB三通道的色度差：

（5）

通过设置阈值方式，当某个通道的色度差值大于这个阈值时，则为不连续像素，反之则为噪声或者高光像素。

此外，还需要分析这相邻两个像素为噪声还是高光像素。由于噪声像素的最大色度是一个定值，而相邻的强反射像素的最大色度值一定不相等。所以只需要比较这两个像素的最大色度

。若相等，则为噪声，若不相等，至少有一个像素为高光像素

3. 高光区域的去除：由于合成图像中式

（6）

成立，其中

为漫反射色度。可通过该式求得漫反射系数

（7）

为了计算漫反射系数

的值，需要知道漫反射色度的值

，该点的最大漫反射色度的值是很难获得的。通过估计的方式计算该像素点的最大漫反射色度，估计方法为

（8）

然后即可求得该点的漫反射分量，用该分量代替该点像素值即可去除高光。

4. 图像修复：由于金属等材料的高反射率特性会导致去除高光后原高光区域会变成黑色，这是由于高光像素中镜面分量过大而漫反射分量基本没有所导致的，这样也会破坏条纹所携带的纹理信息需要对处理后的图像进行修复。修复方法如下：

首先根据使用Bézier曲线拟合技术修复图像的边缘轮廓为后续的样本填充方案提供更精确的样本块相似度，从而提高修复的准确性。其次计算待修复样本块的优先级决定填充顺序，计算匹配块与样本块的相似度和几何距离决定最佳匹配块，最后按顺序进行填充待修复区域。

曲线拟合技术主要用于修复条纹的边缘，为后续样本填充不出错提供一种处理方案，本实验主要采用一次Bézier曲线拟合技术，其公式如下：

（9）

样本填充方法用于处理经过曲线拟合条纹边缘后的图像，其确定最优匹配块主要根据两个指标：（1）匹配块与待填充区域的相似度，（2）匹配块与待填充区域的几何距离。

（1）匹配块与待填充区域的相似度：主要通过RGB三通道的颜色相似度决定，计算公式如下：

(10)

（2）匹配块与待填充区域的几何距离：匹配块与带填充区域中心点的几何距离，其公式如下：

(11)

本发明提供一种基于颜色信息的结构光测量高反射率物体的方法。通过物体表面的颜色信息，确定图像中饱和像素的区域，根据反射分离的方法分离镜面反射和漫反射。对反射分离方法破环的图像原有信息部分，采用样本曲线拟合和样本填充的方法对图像进行修复。相对于现有的方法，该方法具有以下优点：该方法不需要拍摄大量的图片，大大提高了图像处理的效率。所需实验设备简单，成本低。且该方法适用测量范围广，可根据实际应用需求测量高反射率金属工件，扩展了结构光方法运用前景。

附图说明

图1实验整体流程图

图2实验系统结构图

图3正常情况下的陶瓷酒瓶

图4条纹投影下的陶瓷碗

图5去高光后的陶瓷酒瓶

图6去高光后的条纹投影下的陶瓷碗

图7修复后的陶瓷酒瓶

图8修复后的条纹投影下的陶瓷碗

图9 canny算子对条纹投影下陶瓷碗的边缘提取

图10 canny算子对修复后条纹投影下陶瓷碗的边缘提取

具体实施方案

下面将结合附图对本发明的具体实施作详细叙述。

1.图像采集：整个系统操作流程如图1所示，首先通过系统标定的方法对图2所示系统中的相机和投影仪进行标定，标定结束，采集所需要的图像。

2.高光像素定位：对采集到的图像，首先进行图像高光的定位，分别用图像RGB通道减去每个通道的最小值获得近似无镜面图像（SF图）。通过公式（2）获得MSF图。根据公式（3）设置阈值t=5，当原图像的像素值减去MSF图像的像素值大于阈值5则判定该点的像素为不连续像素。如下式：

（12）

其中不连续像素包括镜面像素、颜色跳变像素和噪声。我们需要进一步区分这些像素，找出镜面像素。由于镜面像素的色度变化非常小，所以该方法通过设计判断两相邻像素的色度差值来判定像素为颜色跳变像素或不连续像素。如下式：

（13）

判断完之后还需要区分镜面像素和噪声，由于噪声的最大漫反射色度是不变的，该方法即根据这个原理区分镜面像素和噪声。

3.高光去除：由于镜面像素被精确定位，接下来需要通过反射分离方法进行漫反射和镜面反射分量分离。该方法通过公式（6）获得像素点的漫反射分量，由于该公式中某一点最大漫反射色度是很难得知的，我们通过公式（8）可以近似估计最大漫反射色度，且该方法也是目前估计最大漫反射色度效果最好的。通过该方法获得本次实验对陶瓷酒瓶的色度阈值估计值为0.4，而陶瓷碗的色度阈值估计值为0.46。最后通过公式（6）获得镜面像素的漫反射分量如下式：

(14)

由于该方法是通过减法去除图像中的高光，对于高反射率物体便面成像，其像素镜面分量几乎占据了整个像素，导致图像进行高光去除之后出现如图5所示的黑色像素区域，这种黑色区域完全破坏了结构光条纹所携带的纹理信息。需要进行条纹纹理信息的修复。

4.图像修复：首先，根据一次的Bézier曲线拟合技术修复条纹的边缘轮廓，

（15）

该方法通过选择被破环条纹完好区域的边缘上两点进行修复破环区域。其次通过像素填充的方式进行图像修复，主要通过匹配块相似度和距离修正因子判定最优匹配块。匹配块的相似度通过公式（10）确定如下：

（16）

距离修正因子则为距离的倒数。采用迭代的方法完成对整张图像中破损区域的修复。其修复结果如图7和图8所示。

最后通过canny算子分别对原图和修复后图像提取条纹边缘，其结果如图9和10所示。从其结果可以清晰看出，条纹修复信息完整，且修复后图像忠于原图像。并且证明该方法可以用于实际的结构光对高反射率物体的测量。

Claims (6)

1.一种基于颜色信息的结构光测量高反射率物体的方法，其特征在于，包括步骤：

对获得的物体图像进行去高光处理，准确获得图像中的高光区域，对标记好的高光区域进行高光去除处理；

由于采用的高光去除处理使用的是由像素的值减去镜面分量后获得该像素的漫反射分量，对于高光像素其镜面分量占据像素值中较大的一部分，所以在去除镜面分量后可能获得的漫反射分量很小，导致该高光区域去除高光后变成黑色区域，需要对这类情况进行图像修复；进行图像修复时，根据图像的纹理信息对高光去除后的图像进行修复，以此还原去除高光的真实场景。

2.根据权利要求1所述基于颜色信息的结构光测量高反射率物体的方法，其特征在于，通过计算原图像的图像强度和MSF图像强度差值

粗略的分类饱和像素和漫反射像素；其中饱和像素由三个部分构成，分别为镜面像素、颜色跃变像素和噪声；粗略分类像素公式为：

（1）

其中i=1，2，3。

3.对所得像素进行精细分类：通过计算相邻像素RGB通道的色度距离和像素点的最大漫反射色度将上述粗略分类的镜面像素细分为高光像素、颜色变化像素和噪声；由于颜色变化像素色度距离较大，判断颜色跃变像素通过如下公式：

（2）

若不满足上式，则说明像素为镜面像素或噪声；由于噪声的最大漫反射色度是恒定的，通过判断相邻像素的最大漫反射色度即可区分高光像素和噪声。

4.去除图像中的高光：成功判断出镜面像素之后，需要对镜面像素进行漫反射和镜面反射分量分离；从而得到所需要的镜面像素中的漫反射分量代替镜面像素；公式如下：

（3）

由于上式中

是很难得到的，采用如下估计方式：

（4）。

5.曲线拟合技术用于修复图像中黑白条纹的边缘区域：由于高光区域的去除破环了条纹的完整性，这会影响到后期对条纹的提取，从而导致测量误差；所以对于去除高光后的图片首先进行条纹边缘纹理修复，通过曲线拟合技术修复去除高光后待修复区域的投影条纹边缘信息；公式如下：

（5）

通过一次曲线拟合的方式，由上而下的进行条纹边缘修复。

6.根据权利要求4所述基于颜色信息的结构光测量高反射率物体的方法，其特征在于，对于修复完边缘纹理信息的图像，通过计算样本块匹配的方式进行修复剩下待修复区域；主要计算匹配块与样本块的相似度和几何距离；

计算匹配块与样本块的相似度公式如下：

(6)

计算匹配块与样本块的几何距离公式如下：

(7)

判断该匹配块是否为最佳匹配块公式如下：

（8）

判断出最优匹配块后，即将该匹配块填充到该待修复区域；然后再继续进行下一个待修复区域样本块的选取，后继续寻找最佳匹配块；如此迭代，直至修复完整个待修复区域。

Images