CN101813522B - 基于表面几何特性的结构光重建颜色校正方法 - Google Patents

Abstract

基于表面几何特性的结构光重建颜色校正方法，本发明涉及结构光颜色信息重建过程中的一种颜色校正方法。其步骤是：(a)利用结构光系统获取被测表面采样点的三维数据和颜色数据，依次将每个采样点作为中心采样点，根据中心采样点和其邻域内多个采样点的三维数据拟合空间曲面，在其上过中心采样点作切面。(b)以切面表征表面局部几何特性，针对切面作入射光强分析和反射光强分析，计算出中心采样点的颜色校正系数。(c)利用各中心采样点的颜色校正系数校正颜色数据。本方法在结构光系统获取三维数据和颜色数据的基础上，直接根据三维数据分析表面几何特性及其对颜色数据的影响，修正该影响，得到真实颜色信息。本方法在工业和民用领域有着广阔的应用前景。

Description

基于表面几何特性的结构光重建颜色校正方法

技术领域：

本发明涉及视觉测量与重建技术领域，尤其涉及结构光颜色信息重建过程中的一种颜色校正方法。

背景技术：

在逆向工程、快速原形等领域，获取物体三维信息和颜色信息进而完成物体表面形状和颜色的重建有着迫切的需求。视觉测量以图像为基础获取物体三维信息和颜色信息，是满足上述需求最为有效的手段，具有非接触、高效高速、高度自动化、低成本等优点，可应用于医学、考古、服装、雕刻、汽车、家电等行业。

视觉三维测量技术包括结构光、立体图像、全息法、激光雷达等多种原理，其中结构光法具有成本低、分辨率高和速度快的优势并最具实用性。结构光法向物体投射光图案，采集编码图像后根据三角法得到物体表面三维坐标。

在诸多三维数字化应用中除了对三维信息的需求还存在对颜色信息的需求。

目前，一些研究机构对颜色信息获取技术做出了研究。通常可将颜色获取技术分为扫描法和图像法。扫描法投射不同波长的光条，分析反射光条的R、G、B分量值，从而获取光条上点的颜色信息，通过扫描完成全部颜色信息的获取。图像法在白光条件下拍摄物体表面的彩色图像，从像素中提取全部采样点的颜色信息。

在扫描法方面，加拿大NRCC研究中心研制的彩色激光三维扫描仪，分别投射R、G、B激光光条，拍摄相应的分量灰度图像，合成颜色信息。主要应用于考古学对化石表面的形貌和颜色分析；日本Minoalta的Vi9i系列便携式激光扫描仪，也采用类似的思路，在黑白CCD前加装旋转阵列滤光片，分别采集滤光后的R、G、B分量。扫描法具有较高的准确度，但每幅图像只能获取一个光条上的颜色信息。因此需要拍摄多幅图像才能完成整体颜色信息的采集，计算量庞大、效率较低。

在图像法方面，IBM技术中心采用五个位置各异的场景照明光源，分别采集五幅彩色图像。根据数据点在五幅图像中不同的R、G、B值，结合投射方向对颜色信息进行修正；斯坦福大学分别在开启和关闭照明光源的情况下拍摄两幅彩色图像，结合表面粗糙度特性，对颜色信息进行修正；天津大学拍摄物体的24位彩色图像，直接在彩色图像中提取采样点对应像素的颜色信息；专利200810052246.8提供了一种双摄像机颜色渲染方法，易于实现且渲染准确度较高。图像法减小了计算量，提高了效率，但均未考虑物体表面三维几何特性对成像颜色的影响，如何获取真实颜色进行颜色重建成为需要解决的问题。

发明内容：

本发明的目的在于针对结构光颜色重建方法的不足，提供一种物体表面重建颜色校正方法，基于表面的几何特性进行光强分析、计算颜色校正系数，进而得到准确的被测表面颜色信息。

为实现上述目的，本发明的技术方案是提供一种基于表面几何特性的结构光重建颜色校正方法，步骤包括：

1.利用结构光系统获取被测表面采样点的三维数据和颜色数据，依次将每个采样点作为中心采样点，根据中心采样点和其邻域内多个采样点的三维数据拟合空间曲面，在空间曲面上过中心采样点作切面。

2.以切面表征被测表面局部几何特性，针对切面作入射光强分析和反射光强分析，进而计算出中心采样点的颜色校正系数。

3.利用各中心采样点的颜色校正系数校正其颜色数据。

所述的基于表面几何特性的结构光重建颜色校正方法，在第1步中，三维数据以空间坐标(x，y，z)存储、颜色数据以(R，G，B)值存储。以空间坐标(x，y，z)存储的三维信息便于表面几何特性分析，以(R，G，B)值存储的颜色信息便于校正。

所述的基于表面几何特性的结构光重建颜色校正方法，在第1步中，中心采样点的领域定义为，与中心采样点距离最小的4个采样点。中心采样点结合4个相邻采样点拟合的空间曲面能够准确地反映中心采样点处的局部表面几何特性。

所述的基于表面几何特性的结构光重建颜色校正方法，在第2步中，入射光强分析为：投影仪投射的光能总量一定，则单位面积上的入射光强与总投射面积成反比，总投射面积与入射距离和入射角有关。在入射角确定的前提下，总投射面积与入射距离的平方成正比，因此入射光强与入射距离的平方成反比；在入射距离确定的前提下，总投射面积与入射角正弦值的平方成反比，因此入射光强与入射角正弦值的平方成正比。综合考虑每个中心采样点切面的入射距离和入射角，可计算出入射光强校正系数。被测表面几何特性变化带来了中心采样点切面的入射距离和入射角变化，从而带来了入射光强变化，导致了中心采样点的颜色信息受到入射光强变化的影响，上述分析可消除这种影响。

所述的基于表面几何特性的结构光重建颜色校正方法，在第2步中，反射光强分析为：被测表面反射至摄像机的反射光强符合朗伯(Lambert)模型。据此可计算每个中心采样点切面反射光强校正系数。被测表面几何特性变化带来了中心采样点切面的反射角变化，从而带来了反射光强变化，导致了中心采样点的颜色信息受到反射光强变化的影响，上述分析可消除这种影响。

所述的基于表面几何特性的结构光重建颜色校正方法，在第2步中，中心采样点的颜色校正系数由入射光强校正系数和反射光强校正系数相乘得出。

所述的基于表面几何特性的结构光重建颜色校正方法，在第3步中，中心采样点的颜色数据(R，G，B)值与相应的颜色校正系数相乘，再线性拉伸到[0，1]之间，得到校正后的颜色数据。

所述的入射距离为中心采样点与投影仪镜头中心之间的距离；入射角为中心采样点和投影仪镜头中心连线与切面的夹角。

有益效果：

1.本发明在结构光系统获取三维数据和颜色数据的基础上，直接根据三维数据分析表面几何特性及其对颜色数据的影响，进而修正该影响，得到校正的真实颜色信息。现有的结构光系统以获取物体三维信息为主要目的。随着逆向工程需求的发展，结构光系统的发展趋势是，获取物体三维信息的同时，获取颜色信息进而完成物体表面形状和颜色的重建。目前，获取颜色信息的手段主要有扫描法和图像法，但均未考虑表面三维几何特性对颜色信息的影响。为此，本发明在结构光系统的基础上，提出了一种利用结构光系统获取的三维信息校正获取的颜色信息的方法。该方法的优点在于：①三维信息直接来源于结构光系统而无需另外获取；②被测表面三维几何特性会对各局部的入射光强和反射光强产生影响，该影响导致各局部的颜色信息失真。校正前的颜色信息的R、G、B分量误差可达0.3(R、G、B分量的取值范围在0到1之间)，校正后的颜色信息的R、G、B分量误差均小于0.02。而人眼对R、G、B分量的分辨率约为0.02，即人眼无法分辨校正后的颜色信息误差，因而能获得良好的视觉效果。利用本方法获取的颜色信息与实际被测表面趋于一致。

2.本发明中三维数据以空间坐标(x，y，z)存储，而不以极坐标等其它形式存储，便于确定中心采样点及其临域、便于拟合空间曲面；颜色数据以(R，G，B)值存储，而不以(H，S，I)值等其它形式存储，便于通过颜色校正系数校正R、G、B分量而完成颜色信息的校正，而无须分别考虑颜色信息的色调、饱和度、强度等。此外，根据被测表面某采样点的三维信息(x，y，z)，对应计算该点位于彩色图像上的颜色信息(R，G，B)，整合即得到三维-颜色信息(x，y，z-R，G，B)，便于完成物体表面形状和颜色的重建。

3.本发明选取与中心采样点距离最小的4个采样点作为中心采样点的领域，优点是：①与中心采样点距离最近的点能够最准确地反映中心采样点局部的三维几何特性；②如果选取的采样点个数小于4，则不能完整地反映中心采样点附近各方向的三维几何特性；如果选取的采样点个数大于4，则拟合的曲面不仅仅反映中心采样点局部三维几何特性而受其它局部影响。此外，选择4采样点降低了运算的复杂程度，加快了程序的运行速度。

4.被测表面的颜色信息受到多种因素的影响，其中入射光强影响是主要因素之一。被测表面的三维几何特性变化直接影响表面各局部的入射光强，进而造成被测表面不同局部的相同颜色在入射光强大的局部变得鲜艳，反之则变得暗淡。这样就使得被测表面的颜色信息与实际情况存在偏差。因而需要对被测表面的入射光强进行分析和校正。现有的颜色信息获取方法均未对此进行校正。

结构光系统以投影仪为光源，由于投影仪投射的光强分布均匀，入射光的波长一定，则被测表面入射光强受总投射面积影响，总投射面积与入射距离、入射角成空间几何关系，因此，综合入射距离和入射角的影响计算入射光强校正系数可校正由于入射光强变化带来的颜色信息误差。利用本发明方法校正后，各局部的入射光强趋于一致，说明本方法有效校正了入射光强差异对颜色信息的影响。

5.被测表面的颜色信息受到多种因素的影响，其中反射光强影响是主要因素之一。被测表面的三维几何特性变化直接影响表面各局部的反射光强，进而造成被测表面不同局部的相同颜色在反射光强大的局部变得鲜艳，反之则变得暗淡。这样就使得被测表面的颜色信息与实际情况存在偏差。因而需要对被测表面的反射光强进行分析和校正。现有的颜色信息获取方法均未对此进行校正。

结构光系统以摄像机获取图像，图像来自于被测表面的反射光，反射光强符合朗伯(Lambert)模型，因此，由反射角计算反射光强校正系数可校正由于反射光强变化带来的颜色信息误差。利用本发明方法校正后，各局部的反射光强趋于一致，说明本方法有效校正了反射光强差异对颜色信息的影响。

6.被测表面的颜色信息受入射光强和反射光强影响，入射光强校正系数校正了入射光强的影响，反射光强校正系数校正了反射光强的影响，因此本发明中将二者相乘后综合校正了入射光强和反射光强的影响，得到的颜色校正系数可校正颜色信息误差。

7.将中心采样点的颜色数据(R，G，B)值与相应的颜色校正系数相乘可分别校正R、G、B分量受到的入射光强和反射光强影响。但相乘后R、G、B分量的取值范围超出0到1之间，因此，本发明采用线性拉伸的方法使R、G、B分量的取值范围介于0到1之间，保证校正后的颜色数据(R，G，B)值处于正常范围内，可以正常显示。

8.目前，对于结构光系统，投影仪与被测表面间的入射距离和入射角尚无定义。本发明定义入射距离为中心采样点与投影仪镜头中心之间的距离，可准确反映投影仪与被测表面间的距离关系，进而准确反映被测表面局部入射光强随距离的变化关系；本发明定义入射角为中心采样点和投影仪镜头中心连线与切面的夹角，可准确反映投影仪与被测表面间的角度关系，进而准确反映被测表面局部入射光强随角度的变化关系。

附图说明：

图1是拟合曲面及其切面的示意图。

图2是入射光强与入射距离关系分析图。

图3是入射光强与入射角关系分析图。

具体实施方式：

实施例1：

基于表面几何特性的结构光重建颜色校正方法，该方法包括步骤：

(1)利用结构光系统获取被测表面采样点的三维数据和颜色数据，依次将每个采样点作为中心采样点，根据中心采样点和其邻域内多个采样点的三维数据拟合空间曲面，在空间曲面上过中心采样点作切面；

(2)以切面表征被测表面局部几何特性，针对切面作入射光强分析和反射光强分析，进而计算出中心采样点的颜色校正系数；

(3)利用各中心采样点的颜色校正系数校正其颜色数据。

在第(1)步中，三维数据以空间坐标(x，y，z)存储；颜色数据以(R，G，B)值存储。

在第(1)步中，中心采样点的领域为，与中心采样点距离最小的4个采样点。

在第(2)步中，入射光强分析为：投影仪投射的光能总量一定，则单位面积上的入射光强与总投射面积成反比，总投射面积与入射距离和入射角有关，在入射角确定的前提下，总投射面积与入射距离的平方成正比，因此入射光强与入射距离的平方成反比；在入射距离确定的前提下，总投射面积与入射角正弦值的平方成反比，因此入射光强与入射角正弦值的平方成正比，据此可计算入射光强校正系数。

在第(2)步中，反射光强分析为：被测表面反射至摄像机的反射光强符合朗伯(Lambert)模型，据此可计算反射光强校正系数。

在第(2)步中，中心采样点的颜色校正系数由入射光强校正系数和反射光强校正系数相乘得出。

在第(3)步中，中心采样点的颜色数据(R，G，B)值与相应的颜色校正系数相乘，再线性拉伸到[0，1]之间，得到校正后的颜色数据。

入射距离为中心采样点与投影仪镜头中心之间的距离；入射角为中心采样点和投影仪镜头中心连线与切面的夹角。

实施例2：

本发明在结构光系统中实施，以下分6个方面说明。

1.现有的颜色重建方法将彩色图像上的颜色信息直接赋给其对应的被测表面采样点，使得重建的颜色信息与实际情况存在偏差。因而需要对被测表面进行光强分析，进而校正颜色误差。

2.图1所示为根据中心采样点和其邻域采样点拟合的空间曲面，以及空间曲面上过中心采样点的切面，图中O为中心采样点(切点)，P、Q|、R|、S为4个邻域采样点。空间曲面能够准确地反映中心采样点处的局部表面几何特性；切面能够准确地反映中心采样点相对于投影仪镜头中心和摄像机镜头中心的空间位置关系。

3.入射光强分析。投影仪投射的光能总量一定，则单位面积上的入射光强与总投射面积成反比，总投射面积与入射距离和入射角有关。

(1)入射光强与入射距离的关系分析。如图2所示，图中O为投影仪镜头中心，1代表切面1，2代表切面2。在入射角确定的前提下，总投射面积与入射距离的平方成正比，因此入射光强与入射距离的平方成反比。切面1和切面2的入射距离分别为L₁和L₂，则两平面上单位面积入射光强I_i1和I_i2的关系如式(1)

$\frac{I_{\mathrm{iL}1}}{I_{\mathrm{iL}2}}=\frac{L_2^2}{L_1^2}---\left(1\right)$

(2)入射光强与入射距离的关系分析。如图3所示，图中O为投影仪镜头中心，1代表切面1，2代表切面2。在入射距离确定的前提下，总投射面积与入射角正弦值的平方成反比，因此入射光强与入射角正弦值的平方成正比。切面1和切面2的入射角分别为θ₁和θ₂，则两平面上单位面积入射光强I_i1和I_i2的关系如式(2)

$\frac{I_{\mathrm{i\θ}1}}{I_{\mathrm{i\θ}2}}=\frac{{\sin }^2{\mathrm{\θ}}_1}{{\sin }^2{\mathrm{\θ}}_2}---\left(2\right)$

(3)综合式(1)和式(2)，两不同几何特性切面的入射光强比如式(3)

$A=\frac{I_{i1}}{I_{i2}}=\frac{I_{\mathrm{iL}1}\×I_{\mathrm{i\θ}1}}{I_{\mathrm{iL}2}\×I_{\mathrm{i\θ}2}}=\frac{{L_2}^2\×{\sin }^2{\mathrm{\θ}}_1}{{L_1}^2\×{\sin }^2{\mathrm{\θ}}_2}---\left(3\right)$

若以切面2作为基准，则A为切面1的入射光强校正系数。

4.反射光强分析。对于常见的表面粗糙度，反射光强可用朗伯(Lambert)模型表示，如式(4)

I_r＝K_d×I_i×sinγ(4)

式中K_d为反射率、I_i为入射光强、γ为反射角。

来自于切面1和切面2的反射光线的反射角分别为γ₁和γ₂，则反射光强I_r1和I_r2的关系如式(5)

$B=\frac{I_{r1}}{I_{r2}}=\frac{\sin {\mathrm{\γ}}_1}{{\sin \mathrm{\γ}}_2}---\left(5\right)$

若以切面2作为基准，则B为切面1的入射光强校正系数。

5.综合式(3)和式(5)，中心采样点的颜色校正系数由入射光强校正系数和反射光强校正系数相乘得出，如式(6)

$C=A\·B=\frac{{L_2}^2\×{\sin }^2{\mathrm{\θ}}_1\×{\sin \mathrm{\γ}}_1}{{L_1}^2\×{\sin }^2{\mathrm{\θ}}_2\×{\sin \mathrm{\γ}}_2}---\left(6\right)$

若以切面2作为基准，则C为切面1的颜色校正系数。

6.任选一个中心采样点切面作为基准，设其颜色校正系数为1。再利用式(6)计算其它中心采样点切面的颜色校正系数C_i。用各中心采样点的颜色校正系数C_i分别乘以相应的颜色信息(R，G，B)值即可得校正的颜色信息(C_i·R，C_i·G，C_i·B)，最后利用线性拉伸法将颜色信息拉伸至[0，1]之间即可得真实的颜色信息。

Claims (3)

1.一种基于表面几何特性的结构光重建颜色校正方法，其特征是：该方法包括步骤：

(1) 利用结构光系统获取被测表面采样点的三维数据和颜色数据，依次将每个采样点作为中心采样点，根据中心采样点和其邻域内多个采样点的三维数据拟合空间曲面，在空间曲面上过中心采样点作切面；

(2) 以切面表征被测表面局部几何特性，针对切面作入射光强分析和反射光强分析，进而计算出中心采样点的颜色校正系数；所述的入射光强分析为：投影仪投射的光能总量一定，则单位面积上的入射光强与总投射面积成反比，总投射面积与入射距离和入射角有关，在入射角确定的前提下，总投射面积与入射距离的平方成正比，因此入射光强与入射距离的平方成反比；在入射距离确定的前提下，总投射面积与入射角正弦值的平方成反比，因此入射光强与入射角正弦值的平方成正比，据此可计算入射光强校正系数A；所述的反射光强分析为：被测表面反射至摄像机的反射光强符合朗伯(Lambert)模型，据此可计算反射光强校正系数B；

所述的入射距离为中心采样点与投影仪镜头中心之间的距离；入射角为中心采样点和投影仪镜头中心连线与切面的夹角；

(3) 利用各中心采样点的颜色校正系数校正其颜色数据，中心采样点的颜色校正系数C由入射光强校正系数A和反射光强校正系数B相乘得出：

式中L ₁ 和L ₂ 表示两个不同几何特性的切面1和切面2的入射距离； 和

表示两个不同几何特性的切面1和切面2的入射角；来自于切面1和切面2的反射光线的反射角分别为

和

；

中心采样点的颜色数据R, G, B值与相应的颜色校正系数相乘，再线性拉伸到[0, 1]之间，得到校正后的颜色数据。

2.根据权利要求1所述的基于表面几何特性的结构光重建颜色校正方法，其特征是：在第(1)步中，三维数据以空间坐标x, y, z存储；颜色数据以R, G, B值存储。

3.根据权利要求1或2所述的基于表面几何特性的结构光重建颜色校正方法，其特征是：在第(1)步中，中心采样点的邻域为，中心采样点结合与中心采样点距离最小的4个采样点所拟合的空间曲面覆盖的区域，该空间曲面反映中心采样点处的局部表面几何特性。

Images