CN105678713A

CN105678713A - 基于线性扩散板与反射分量分离理论的高光去除方法

Info

Publication number: CN105678713A
Application number: CN201610076239.6A
Authority: CN
Inventors: 孙晓明; 蔡瑛芙; 于晓洋; 王平靖; 赵丹
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2016-02-03
Filing date: 2016-02-03
Publication date: 2016-06-15
Anticipated expiration: 2036-02-03
Also published as: CN105678713B

Abstract

本发明属于三维结构光测量领域，具体涉及一种基于线性扩散板与反射分量分离理论的高光去除方法；该方法应用了线性扩散板与反射分量分离理论，其中，线性扩散板放置在投影仪与被测物之间，反射分量分离理论首先建立待处理图像信息模型，然后建立待处理图像漫反射与强反射色度模型，再依次建立归一化图像模型，建立非强反射图像模型，确定强反射像素点，最后处理强反射像素区域；本发明将线性扩散板与反射分量分离理论进行软硬有机结合，使二者彼此支持，实现线性扩散板或反射分量分离理论单独存在时，都不具有的抑制高光的作用，从而降低高光部分对三维重构的影响。

Description

基于线性扩散板与反射分量分离理论的高光去除方法

技术领域

本发明属于三维结构光测量领域，具体涉及一种基于线性扩散板与反射分量分离理论的高光去除方法。

背景技术

上世纪70年代以来，编码光三维测量技术在高速检测、产品开发、质量控制、反求工程等领域得到广泛的应用和发展，其具有高精度、高效率、非接触等优点。在编码光三维测量中，需要在物体表面投射条纹，条纹携带了物体表面的三维信息，条纹的灰度变化反映了物体表面轮廓的变化。然而在实际工业测量中，条纹截面的灰度变化会受到很多因素的干扰，其中高光是影响最为强烈的一个因素。高光的存在不仅可能会使相机饱和，丢失条纹灰度变化信息，而且还将改变原有漫反射条纹的灰度分布，从而影响条纹中心提取的准确性。去高光问题目前已是利用光学方法测量金属陶瓷等强反射物体所面临的一个难点与共性问题。

现有的基于漫反射与镜面反射的分离高光抑制方法中，双色模型只适用于非导体材质，不适用于金属表面。极化方法在入射角接近90度时,金属表面的菲涅耳系数才有少许变化，易造成相机的饱和。而在避免和减少镜面反射方法中，单独使用多光源、多角度、多曝光、喷雾法、光度学等方法仍然存在着高光区域重叠部分不能完全去除、不能满足测量的精度需求、对金属表面造成腐蚀等问题。总之,在编码光三维测量领域，现有的方法仍然无法克服高光成分对三维重构的影响。

发明内容

针对上述问题，本发明公开了一种基于线性扩散板与反射分量分离理论的高光去除方法，该方法将线性扩散板与反射分量分离理论进行软硬有机结合，使二者彼此支持，实现线性扩散板或反射分量分离理论单独存在时，都不具有的抑制高光的作用，从而降低高光部分对三维重构的影响。

本发明的目的是这样实现的：

基于线性扩散板与反射分量分离理论的高光去除方法，包括以下步骤：

步骤a、在投影仪与被测物之间加入线性扩散板；

步骤b、建立待处理图像信息模型；

步骤c、建立待处理图像漫反射与强反射色度模型；

步骤d、建立归一化图像模型；

步骤e、建立非强反射图像模型；

步骤f、确定强反射像素点；

步骤g、处理强反射像素区域。

上述基于线性扩散板与反射分量分离理论的高光去除方法，步骤b到步骤g具体为：

步骤b、建立待处理图像信息模型

待处理图像表示为：

A_R(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_R(λ)dλ+β(X)∫_ΩB(λ)Q_R(λ)dλ

A_G(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_G(λ)dλ+β(X)∫_ΩB(λ)Q_G(λ)dλ

A_B(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_B(λ)dλ+β(X)∫_ΩB(λ)Q_B(λ)dλ

其中，A(X)为图像强度，α(X)为漫反射加权因子，β(X)为强反射加权因子，X＝{x,y}为像素点坐标，T(λ,X)为漫反射功率谱，B(λ)为强反射功率谱，Q(λ)为传感器灵敏度，下角标R、G、B分别表示图像的红色通道、绿色通道、以及蓝色通道；

令：

D_R(X)＝∫_ΩT(λ,X)B(λ)Q_R(λ)dλ

D_G(X)＝∫_ΩT(λ,X)B(λ)Q_G(λ)dλ

D_B(X)＝∫_ΩT(λ,X)B(λ)Q_B(λ)dλ

S_R＝∫_ΩB(λ)Q_R(λ)dλ

S_G＝∫_ΩB(λ)Q_G(λ)dλ

S_B＝∫_ΩB(λ)Q_B(λ)dλ

有：

A_R(X)＝α(X)D_R(X)+β(X)S_R

A_G(X)＝α(X)D_G(X)+β(X)S_G

A_B(X)＝α(X)D_B(X)+β(X)S_B

步骤c、建立待处理图像漫反射与强反射色度模型

定义图像色度为：

I_{R} (X) = \frac{A_{R} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

I_{G} (X) = \frac{A_{G} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

I_{B} (X) = \frac{A_{B} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

在像素中只有漫反射的条件下，β(X)＝0，此像素的色度表达式为：

M_{R} (X) = \frac{D_{R} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

M_{G} (X) = \frac{D_{G} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

M_{B} (X) = \frac{D_{B} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

在像素中只有强反射的条件下，α(X)＝0，此像素的色度表达式为：

K_{R} = \frac{S_{R}}{S_{R} + S_{G} + S_{B}}

K_{G} = \frac{S_{G}}{S_{R} + S_{G} + S_{B}}

K_{B} = \frac{S_{B}}{S_{R} + S_{G} + S_{B}}

此时有：

A_R(X)＝m_d(X)M_R(X)+m_s(X)K_R

A_G(X)＝m_d(X)M_G(X)+m_s(X)K_G

A_B(X)＝m_d(X)M_B(X)+m_s(X)K_B

其中，m_d(X)M_R(X)、m_d(X)M_G(X)、m_d(X)M_B(X)为漫反射分量，m_s(X)K_R、m_s(X)K_G、m_s(X)K_B为强反射分量，并且有：

m_d(X)＝α(X)[D_R(X)+D_G(X)+D_B(X)]

m_s(X)＝β(X)(S_R+S_G+S_B)

步骤d、建立归一化图像模型

归一化的图像可以表示为：

A_R′(X)＝A_R(X)/K_R′

A′_G(X)＝A_G(X)/K′_G

A_B′(X)＝A_B(X)/K_B′

其中，A′(X)为归一化的图像强度，K′为强反射分量的色度估计值；

步骤e、建立非强反射图像模型

定义经过颜色补偿之后的图像为非强反射图像，定义式如下：

{\tilde{A}}_{R} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{R} (X)

{\tilde{A}}_{G} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{G} (X)

{\tilde{A}}_{B} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{B} (X)

其中，为非强反射图像的强度，为非强反射图像的漫反射色度，为非强反射图像的漫反射加权因子；

步骤f、确定强反射像素点

步骤f1、确定非漫反射像素

的像素为非漫反射像素，其中，d()为导数微分运算，log()为取对数运算；

步骤f2、判断以下条件是否同时满足：

Δ_{R} = I_{R}^{'} (X) - I_{R}^{'} (X - 1) > \overset{&OverBar;}{R}

Δ_{G} = I_{G}^{'} (X) - I_{G}^{'} (X - 1) > \overset{&OverBar;}{G}

Δ_{B} = I_{B}^{'} (X) - I_{B}^{'} (X - 1) > \overset{&OverBar;}{B}

如果满足，步骤f结束；

如果不满足，进入步骤f3；

步骤f3、判断以下条件是否满足：

max(K_R(X)、K_G(X)、K_B(X))＝max(K_R(X-1)、K_G(X-1)、K_B(X-1))

如果满足，则像素X为噪声像素；

如果不满足，则像素X为强反射像素；

按照此步骤将所有像素处理完毕，即可标记出被测图像中所有强反射像素区域Ω；

步骤g、处理强反射像素区域

步骤g1、根据强反射像素区域Ω，按照以下公式确定源区域Φ：

Φ＝A(X)-Ω

进而确定强反射像素区域Ω与源区域Φ的边界σΩ；

步骤g2、边界σΩ上的每个像素点o对应一个采样模块ψ_o，计算边界σΩ上每一个像素点o的优先级P(o)，对于区域ψ_o：其优先级可以表示为：

P(o)＝C(o)×D(o)

其中，C(o)为置信度，D(o)为数据项，并且有：

C (o) = \frac{Σ_{o &Element; ψ_{o} \cap Ω} C (o)}{| ψ_{o} |}

D (o) = \frac{| &dtri; I_{o}^{&perp;} \cdot n_{o} |}{α}

其中，|ψ_o|是采样窗口ψ_o的面积，α为规范化因子，⊥代表正交操作；n_o是点o正交于边界σΩ的单位正交向量，是o点处的照度；

步骤g3、寻找满足以下公式的像素：

ψ_{\hat{q}} = \arg \min_{ψ_{q} &Element; Φ} d (ψ_{\hat{p}}, ψ_{q})

其中，q均为像素点，为优先级最高的采样模块，表示优先级最高的采样模块与采样模块ψ_q的像素的平方差的和，为满足条件的源模块；在找到符合条件的源模块后，用源模块中的像素点按照对应关系代替模块的像素点；反复迭代，直到强反射像素区域Ω都处理完毕。

有益效果：本发明将线性扩散板与反射分量分离理论进行软硬有机结合，使二者彼此支持，实现线性扩散板或反射分量分离理论单独存在时，都不具有的抑制高光的作用，从而降低高光部分对三维重构的影响。

附图说明

图1是在投影仪与被测物之间加入线性扩散板的原理图。

图2是在投影仪与被测物之间加入线性扩散板的实物图。

图3是大理石捣蒜罐照片。

图4是未加入线性扩散板条件下的大理石捣蒜罐三维重构图。

图5是加入线性扩散板条件下的大理石捣蒜罐三维重构图。

图6是本发明方法得到的大理石捣蒜罐三维重构图。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细描述。

本实施例的基于线性扩散板与反射分量分离理论的高光去除方法，包括以下步骤：

步骤a、在投影仪与被测物之间加入线性扩散板，原理图如图1所示，实物图如图2所示；

步骤b、建立待处理图像信息模型

待处理图像表示为：

A_R(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_R(λ)dλ+β(X)∫_ΩB(λ)Q_R(λ)dλ

A_G(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_G(λ)dλ+β(X)∫_ΩB(λ)Q_G(λ)dλ

A_B(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_B(λ)dλ+β(X)∫_ΩB(λ)Q_B(λ)dλ

令：

D_R(X)＝∫_ΩT(λ,X)B(λ)Q_R(λ)dλ

D_G(X)＝∫_ΩT(λ,X)B(λ)Q_G(λ)dλ

D_B(X)＝∫_ΩT(λ,X)B(λ)Q_B(λ)dλ

S_R＝∫_ΩB(λ)Q_R(λ)dλ

S_G＝∫_ΩB(λ)Q_G(λ)dλ

S_B＝∫_ΩB(λ)Q_B(λ)dλ

有：

A_R(X)＝α(X)D_R(X)+β(X)S_R

A_G(X)＝α(X)D_G(X)+β(X)S_G

A_B(X)＝α(X)D_B(X)+β(X)S_B

步骤c、建立待处理图像漫反射与强反射色度模型

定义图像色度为：

I_{R} (X) = \frac{A_{R} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

I_{G} (X) = \frac{A_{G} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

I_{B} (X) = \frac{A_{B} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

M_{R} (X) = \frac{D_{R} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

M_{G} (X) = \frac{D_{G} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

M_{B} (X) = \frac{D_{B} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

K_{R} = \frac{S_{R}}{S_{R} + S_{G} + S_{B}}

K_{G} = \frac{S_{G}}{S_{R} + S_{G} + S_{B}}

K_{B} = \frac{S_{B}}{S_{R} + S_{G} + S_{B}}

此时有：

A_R(X)＝m_d(X)M_R(X)+m_s(X)K_R

A_G(X)＝m_d(X)M_G(X)+m_s(X)K_G

A_B(X)＝m_d(X)M_B(X)+m_s(X)K_B

m_d(X)＝α(X)[D_R(X)+D_G(X)+D_B(X)]

m_s(X)＝β(X)(S_R+S_G+S_B)

步骤d、建立归一化图像模型

归一化的图像可以表示为：

A_R′(X)＝A_R(X)/K_R′

A′_G(X)＝A_G(X)/K′_G

A_B′(X)＝A_B(X)/K_B′

其中，A′(X)为归一化的图像强度，K′为强反射分量的色度估计值；在本实施例中：

K_{R}^{'} - K_{G}^{'} = K_{B}^{'} = \frac{1}{3}

步骤e、建立非强反射图像模型

{\tilde{A}}_{R} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{R} (X)

{\tilde{A}}_{G} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{G} (X)

{\tilde{A}}_{B} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{B} (X)

步骤f、确定强反射像素点

步骤f1、确定非漫反射像素

步骤f2、判断以下条件是否同时满足：

Δ_{R} = I_{R}^{'} (X) - I_{R}^{'} (X - 1) > \overset{&OverBar;}{R}

Δ_{G} = I_{G}^{'} (X) - I_{G}^{'} (X - 1) > \overset{&OverBar;}{G}

Δ_{B} = I_{B}^{'} (X) - I_{B}^{'} (X - 1) > \overset{&OverBar;}{B}

如果满足，步骤f结束；

如果不满足，进入步骤f3；

步骤f3、判断以下条件是否满足：

max(K_R(X)、K_G(X)、K_B(X))＝max(K_R(X-1)、K_G(X-1)、K_B(X-1))

如果满足，则像素X为噪声像素；

如果不满足，则像素X为强反射像素；

步骤g、处理强反射像素区域

Φ＝A(X)-Ω

进而确定强反射像素区域Ω与源区域Φ的边界σΩ；

P(o)＝C(o)×D(o)

其中，C(o)为置信度，D(o)为数据项，并且有：

C (o) = \frac{Σ_{o &Element; ψ_{o} \cap Ω} C (o)}{| ψ_{o} |}

D (o) = \frac{| &dtri; I_{o}^{&perp;} \cdot n_{o} |}{α}

步骤g3、寻找满足以下公式的像素：

ψ_{\hat{q}} = \arg \underset{ψ_{q} &Element; Φ}{m i n} d (ψ_{\hat{p}}, ψ_{q})

为了验证本发明方法的有效性，在不同条件下对大理石捣蒜罐进行三维重构。其中，图3是大理石捣蒜罐照片，图4是未加入线性扩散板条件下的大理石捣蒜罐三维重构图，图5是加入线性扩散板条件下的大理石捣蒜罐三维重构图，图6是本发明方法得到的大理石捣蒜罐三维重构图。对比这几幅图可以发现，随着线性扩散板与反射分量分离理论的逐步施行，高光区域逐渐减小，最终实施本发明基于线性扩散板与反射分量分离理论的高光去除方法后，已经彻底消除高光对于三维重构的影响。

为了进一步验证本专利方法的有效性，分别对陶瓷瓶、陶瓷盘、陶瓷罐进行高光去除实验，实验结果下表所示：

从表中的结果可以看出，本发明基于线性扩散板与反射分量分离理论的高光去除方法实施后，图片中的高光像素数目大幅降低。对于陶瓷瓶、陶瓷盘、以及陶瓷罐，高光像素分别降低了约44倍、41倍、以及33倍，充分验证了本发明方法的有效性。

Claims

1.基于线性扩散板与反射分量分离理论的高光去除方法，其特征在于，包括以下步骤：

步骤a、在投影仪与被测物之间加入线性扩散板；

步骤b、建立待处理图像信息模型；

步骤c、建立待处理图像漫反射与强反射色度模型；

步骤d、建立归一化图像模型；

步骤e、建立非强反射图像模型；

步骤f、确定强反射像素点；

步骤g、处理强反射像素区域。

2.根据权利要求1所述的基于线性扩散板与反射分量分离理论的高光去除方法，其特征在于，步骤b到步骤g具体为：

步骤b、建立待处理图像信息模型

待处理图像表示为：

A_R(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_R(λ)dλ+β(X)∫_ΩB(λ)Q_R(λ)dλ

A_G(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_G(λ)dλ+β(X)∫_ΩB(λ)Q_G(λ)dλ

A_B(X)＝α(X)∫_ΩT(λ,X)B(λ)Q_B(λ)dλ+β(X)∫_ΩB(λ)Q_B(λ)dλ

令：

D_R(X)＝∫_ΩT(λ,X)B(λ)Q_R(λ)dλ

D_G(X)＝∫_ΩT(λ,X)B(λ)Q_G(λ)dλ

D_B(X)＝∫_ΩT(λ,X)B(λ)Q_B(λ)dλ

S_R＝∫_ΩB(λ)Q_R(λ)dλ

S_G＝∫_ΩB(λ)Q_G(λ)dλ

S_B＝∫_ΩB(λ)Q_B(λ)dλ有：

A_R(X)＝α(X)D_R(X)+β(X)S_R

A_G(X)＝α(X)D_G(X)+β(X)S_G

A_B(X)＝α(X)D_B(X)+β(X)S_B

步骤c、建立待处理图像漫反射与强反射色度模型

定义图像色度为：

I_{R} (X) = \frac{A_{R} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

I_{G} (X) = \frac{A_{G} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

I_{B} (X) = \frac{A_{B} (X)}{A_{R} (X) + A_{G} (X) + A_{B} (X)}

M_{R} (X) = \frac{D_{R} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

M_{G} (X) = \frac{D_{G} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

M_{B} (X) = \frac{D_{B} (X)}{D_{R} (X) + D_{G} (X) + D_{B} (X)}

K_{R} = \frac{S_{R}}{S_{R} + S_{G} + S_{B}}

K_{G} = \frac{S_{G}}{S_{R} + S_{G} + S_{B}}

K_{B} = \frac{S_{B}}{S_{R} + S_{G} + S_{B}}

此时有：

A_R(X)＝m_d(X)M_R(X)+m_s(X)K_R

A_G(X)＝m_d(X)M_G(X)+m_s(X)K_G

A_B(X)＝m_d(X)M_B(X)+m_s(X)K_B

m_d(X)＝α(X)[D_R(X)+D_G(X)+D_B(X)]

m_s(X)＝β(X)(S_R+S_G+S_B)

步骤d、建立归一化图像模型

归一化的图像可以表示为：

A′_R(X)＝A_R(X)/K′_R

A′_G(X)＝A_G(X)/K′_G

A′_B(X)＝A_B(X)/K′_B

步骤e、建立非强反射图像模型

{\tilde{A}}_{R} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{R} (X)

{\tilde{A}}_{G} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{G} (X)

{\tilde{A}}_{B} (X) = {\tilde{m}}_{d} (X) {\tilde{M}}_{B} (X)

步骤f、确定强反射像素点

步骤f1、确定非漫反射像素

步骤f2、判断以下条件是否同时满足：

Δ_{R} = I_{R}^{'} (X) - I_{R}^{'} (X - 1) > \overset{&OverBar;}{R}

Δ_{G} = I_{G}^{'} (X) - I_{G}^{'} (X - 1) > \overset{&OverBar;}{G}

Δ_{B} = I_{B}^{'} (X) - I_{B}^{'} (X - 1) > \overset{&OverBar;}{B}

如果满足，步骤f结束；

如果不满足，进入步骤f3；

步骤f3、判断以下条件是否满足：

max(K_R(X)、K_G(X)、K_B(X))＝max(K_R(X-1)、K_G(X-1)、K_B(X-1))

如果满足，则像素X为噪声像素；

如果不满足，则像素X为强反射像素；

步骤g、处理强反射像素区域

Φ＝A(X)-Ω

进而确定强反射像素区域Ω与源区域Φ的边界σΩ；

P(o)＝C(o)×D(o)

其中，C(o)为置信度，D(o)为数据项，并且有：

C (o) = \frac{Σ_{o &Element; ψ_{o} \cap Ω} C (o)}{| ψ_{o} |}

D (o) = \frac{| &dtri; I_{o}^{&perp;} \cdot n_{o} |}{α}

步骤g3、寻找满足以下公式的像素：

ψ_{\hat{q}} = \arg \underset{ψ_{q} &Element; Φ}{m i n} d (ψ_{\hat{p}}, ψ_{q})