CN100561118C - 三维数字化测量中的一种颜色渲染方法 - Google Patents

Abstract

本发明属于计算机三维测量技术领域，具体涉及三维数字化测量中的一种颜色渲染方法，由视觉测量系统中的单色摄像机以及与其相配合的视觉测量器件提取被测对象的空间三维坐标，其特征在于，将另一台彩色摄像机置于靠近视觉测量系统中的摄像机的位置，利用此台彩色摄像机采集被测对象的颜色信息，并为由视觉测量系统中的摄像机采集得到的空间三维坐标匹配颜色信息，得到彩色三维数据，实现三维数字化测量中颜色渲染。本发明提到的方法只要在现有视觉测量系统基础上进行简单改造，即添加一台专门进行彩色信息获取的彩色摄像机，然后进行像素匹配标定，就能实现较高精度的颜色渲染，并且通过调整彩色摄像机镜头可适用于近距离和远距离测量系统。

Description

三维数字化测量中的一种颜色渲染方法

技术领域

本发明属于计算机三维测量技术领域，具体涉及三维数字化测量中的一种颜色渲染方法。

背景技术

常见的视觉测量技术主要包括：结构光视觉法、立体视觉法、相位光栅法和光影轮廓法等。这些技术的发展和完善，推动着三维数字化技术的发展。三维数字化技术被广泛应用于，如：工业制造与设计、模具行业、计算机辅助设计、多媒体及虚拟现实、艺术品数字化及制造、安防系统和医疗工程等各个领域。随着三维数字化测量技术的深入应用，在许多行业中，不仅要求获得三维形貌数据，更需要获取三维数据的颜色信息，如动画设计、文物鉴赏、考古学和三维照相技术等。三维颜色信息获取技术一般称为：颜色渲染或彩色贴图技术。含有颜色信息的三维模型可以更真实地将物体再现于计算机屏幕，并更细致地展示三维细节信息。因此，三维数字化技术随着颜色渲染技术的发展将得到更广泛的应用。

目前，在颜色渲染技术上已有相关研究，如：美国Arius3D公司采用三色激光器投射到物体上，根据各自的反射光强求解物体的颜色，并结合激光三角法得到的三维坐标，实现三维颜色渲染；专利200510015151.5开发了一种针对结构光被动扫描方式的颜色渲染方法，提高了普通扫描线颜色渲染的效率，但因三维数据采集系统和颜色渲染采用同一个彩色摄像机，而一般的彩色摄像机的解析度较低、采集稳定性不高，在进行较远距离的三维测量时，会因此出现大量三维噪声信息；以上两种颜色渲染方法适用于结构光视觉测量方法。加拿大Inspect公司采用相位光栅方法采集物体三维信息，然后拍摄二维彩色照片进行三维物体的纹理贴图，这种方法的颜色渲染精度不好控制，易于发生贴图变形。

发明内容

本发明鉴于目前颜色渲染方法的应用缺点，提供一种应用于三维数字化测量技术中的较为通用、简单易于实现、并且渲染精度较高的方法。这种方法可称为双摄像机颜色渲染方法。

为此，本发明采用如下的技术方案：

三维数字化测量中的一种颜色渲染方法，由视觉测量系统中的单色摄像机以及与其相配合的视觉测量器件提取被测对象的空间三维坐标，其特征在于，将另一台彩色摄像机置于靠近视觉测量系统中的摄像机的位置，利用此台彩色摄像机采集被测对象的颜色信息，并为由视觉测量系统中的摄像机采集得到的空间三维坐标匹配颜色信息，得到彩色三维数据，实现三维数字化测量中颜色渲染。

作为优选实施方式，本发明按照以下步骤进行三维数据的颜色渲染：

(1)在视觉测量系统中的单色摄像机和彩色摄像机的公共视场内，在任意6-9个位置摆放平面靶标，每次摆放时两摄像机均采集靶标图像，并分别进行图像处理、提取靶标特征点，利用采集到的靶标特征点，分别对两摄像机进行Zhang的摄像机标定，得到两摄像机的内部参数矩阵(A)及镜头的径向和切向四个畸变量，其中内部参数矩阵(A)由摄像机焦距f_x，f_y和像面中心坐标u_o，v_o组成；

(2)以在该6-9个位置中的任意一个位置摆放的平面靶标建立的坐标系为世界坐标，建立两个摄像机和世界坐标系的位置转换关系；

(3)由两个摄像机和世界坐标系的位置转换关系，求解两摄像机之间的位置关系R和T，并建立像素匹配模型，

$\left\{\begin{array}{c}{u}_2=\frac{m_4+z_{c1}(m_1{U}_1+m_2{V}_1+m_3)}{m_{12}+z_{c1}(m_9{U}_1+m_{10}{V}_1+m_{11})}\\ v_2=\frac{m_8+z_{c1}(m_5{U}_1+m_6{V}_1+m_7)}{m_{12}+z_{c1}(m_9{U}_1+m_{10}{V}_1+m_{11})}\end{array}\right.$

其中U₁＝(u₁-u_o1)/f_x1，V₁＝(v₁-v_o1)/f_y1，f_x1，f_y1为单色摄像机的有效焦距，(u_o1，v_o1)为像面中心坐标，(u₁，v₁)为单色摄像机的图像上点p₁的理想坐标；(u₁，v₂)为p₁对应的彩色摄像机匹配点p₂的理想坐标； $\left(\begin{array}{cccc}{m}_1& m_2& m_3& m_4\\ m_5& m_6& m_7& m_8\\ m_9& m_{10}& m_{11}& m_{12}\end{array}\right)=A_2\left(\begin{array}{cc}R& T\end{array}\right),$ R，T为两摄像机之间的位置转换系数；z_c1＝r₁₇x₀+r₁₈y₀+r₁₉z₀+t₁₃，r₁₇、r₁₈、r₁₉、t₁₃为R₁和T₁的部分元素，R₁和T₁为单色摄像机与世界坐标系之间的位置关系转换系数，(x₀，y₀，z₀)为p₁点对应的三维空间坐标；

(4)利用视觉测量系统进行三维数字化测量，对于单色摄像机像面上的点，得到其三维空间坐标；

(5)对视觉测量系统的单色摄像机像面上的点进行去畸变换，得到其对应的理想像素坐标，将求解得到的单色摄像机对应的理想像素坐标，以及标定得到参数代入到像素匹配模型中，得到彩色摄像机对应的理想匹配点；

(6)对彩色摄像机的理想匹配点进行畸变处理，得到实际对应的图像坐标；

(7)在彩色摄像机拍摄的彩色图像中定位该实际图像坐标点，该点对应的颜色数据即为所述的三维空间坐标点应具有的颜色信息，从而得到完整的彩色三维数据。

上述颜色渲染防腐中，可以采用循环逼近法对对视觉测量系统的单色摄像机像面上的点进行去畸变换。

本发明提供的方法只要在现有视觉测量系统基础上进行简单改造，即添加一台专门进行彩色信息获取的彩色摄像机，然后进行像素匹配标定，就能实现较高精度的颜色渲染，并且通过调整彩色摄像机镜头可适用于近距离和远距离测量系统。

附图说明

图1本发明提供的双摄像机颜色渲染方法所采用的设备的结构示意图；

图2本发明所采用的双像素匹配原理示意图；

图3双摄像机颜色渲染模型标定示意图。

附图标记说明：1计算机  2彩色摄像机  3单色摄像机  4三维测量系统  5平面靶标

具体实施方式

下面结合附图和实施例，对本发明做进一步详述。

1.双摄像机颜色渲染法的系统构成

图1是本发明提出的双摄像机颜色渲染方法所采用的设备的结构图，其中视觉测量系统中的单色摄像机配合其他视觉测量器件负责空间三维坐标(x，y，z)的提取，另外，添加一台彩色CCD摄像机专门负责采集R、G、B的24位信息，并为采集得到的三维坐标点正确匹配颜色信息，得到最终彩色三维数据(x，y，z)-(R，G，B)。为了能让两台摄像机获取被测物相同角度的图像，如图1所示：(1)尽量采用两摄像机靠近的结构，两摄像机的中心线之间有一个较小的夹角；(2)要保证彩色摄像机的视场涵盖单色摄像机的视场，这样可以尽量多的获取每个空间点的颜色信息，这样就要根据单色摄像机的测量视场选择恰当的彩色摄像机镜头。

2.双摄像机颜色渲染法像素匹配原理

确定两摄像机的像素匹配关系是进行颜色渲染的关键技术。对于已标定好的三维测量系统，在一次测量过程中，某测量点在单色摄像机像面上的理想坐标为p₁(u₁，v₁)，其对应于一个已知的世界坐标点p(x₀，y₀，z₀)，如图2所示。假设以下参数均为已知：两摄像机的内部参数矩阵A₁和A₂(A为3×3矩阵)；两者和世界坐标系的位置转换关系：R₁和T₁、R₂和T₂(R为3×3矩阵，描述刚性变换过程中的旋转变换；T为3×1矢量，描述刚性变换的平移变换)。对于单色摄像机，其满足，

$s_1\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)=A_1\left(R_1{T}_1\right)\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\\ 1\end{array}\right)=A_1\left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)---\left(1\right)$

$A_1=\left(\begin{array}{ccc}{f}_{x1}& 0& u_{o1}\\ 0& f_{y1}& v_{o1}\\ 0& 0& 1\end{array}\right)$ $\left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)=R_1\left(\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right)+T_1$ $R_1=\left(\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{14}& r_{15}& r_{16}\\ r_{17}& r_{18}& r_{19}\end{array}\right)T_1=\left(\begin{array}{c}{t}_{11}\\ t_{12}\\ t_{13}\end{array}\right)$

其中s₁为比例因子；f_x1，f_y1为单色摄像机的有效焦距(以像素为单位)，(u_o1，v_o1)为像面中心坐标，(x_c1，y_c1，z_c1)为单色摄像机坐标系下的三维坐标；r₁₁，r₁₂…r₁₉为旋转变换R₁的矩阵元素，t₁₁，t₁₂，t₁₃为旋转变换T₁的矢量元素。对于彩色摄像机，也有类似的关系式。另外，由式(1)可得下式，其中U₁＝(u₁-u_o1)/f_x1，V₁＝(v₁-v_o1)/f_y1。

$\left\{\begin{array}{c}{x}_{c1}=z_{c1}{U}_1\\ y_{c1}=z_{c1}{V}_1\end{array}\right.---\left(2\right)$

联合两摄像机和世界坐标系之间的关系，可得两摄像机之间的位置关系R和T为，

$\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right)=R\left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)+T$ $\left\{\begin{array}{c}R=R_2{R^{-1}}_1\\ T=T_2-R_2{R}_1^{-1}{T}_1\end{array}\right.---\left(3\right)$

联合彩色摄像机满足的类似于式(1)的关系式，以及式(2)、(3)可得对应于彩色摄像机的理想匹配点p₂(u₂，v₂)，

$\left\{\begin{array}{c}{u}_2=\frac{m_4+z_{c1}(m_1{U}_1+m_2{V}_1+m_3)}{m_{12}+z_{c1}(m_9{U}_1+m_{10}{V}_1+m_{11})}\\ v_2=\frac{m_8+z_{c1}(m_5{U}_1+m_6{V}_1+m_7)}{m_{12}+z_{c1}(m_9{U}_1+m_{10}{V}_1+m_{11})}\end{array}\right.---\left(4\right)$

其中 $\left(\begin{array}{cccc}{m}_1& m_2& m_3& m_4\\ m_5& m_6& m_7& m_8\\ m_9& m_{10}& m_{11}& m_{12}\end{array}\right)=A_2\left(\begin{array}{cc}R& T\end{array}\right),$ z_c1＝r₁₇x₀+r₁₈y₀+r₁₉z₀+t₁₃、U₁＝(u₁-u_o1)/f_x1，V₁＝(v₁-v_o1)/f_r1。r₁₇、r₁₈、t₁₉、t₁₃为R₁和T₁的部分元素。把彩色摄像机采集图像上的像素点(u₂，v₂)对应的颜色信息(r，g，b)赋予点p(x₀，y₀，z₀)，从而实现颜色渲染。而以上考虑的仅是理想摄像机模型，实际摄像机模型需要考虑镜头畸变，一般需要考虑镜头的径向和切向四个畸变量k₁，k₂，p₁，p₂；考虑四个畸变量的畸变模型，即由理想像素坐标(u，v)到实际像素坐标(u_d，v_d)的转换关系为，

$\left\{\begin{array}{c}{u}_d=u+(u-u_o)[k_{1}r+k_2{r}^2+2p_{2}U+2p_{1}V]+p_{2}r{f}_x\\ v_d=v+(v-v_o)[k_{1}r+k_2{r}^2+2p_{2}U+2p_{1}V]+p_{1}r{f}_y\\ U=(u-u_o)/f_x,V=(v-v_o)/f_y,r=U^2+V^2\end{array}\right.---\left(5\right)$

通过以上分析可知，只要两摄像机的内部参数(包括畸变量)、两者和世界坐标系的位置转换关系只要确定，就能通过(4)和(5)式实现颜色渲染技术。而这些参数的确定可以通过标定过程实现。

3.双颜色渲染模型的标定

采用Zhang的摄像机标定法(也称为：不确定视角的摄像机标定法，具体过程参见文献：Zhang Zhengyou，A Flexible new technique for camera calibration，IEEEtransactions on pattern analysis and machine intelligence 2000；22(11)：1330-1334.)，同时对两摄像机进行标定。如图3所示，摆放平面靶标在二者的公共视场内若干位置(一般6-9个位置)，两个摄像机采集每个位置的靶标图像，并通过图像处理方法提取靶标特征点(具体处理过程参见专利申请200610014481.7)，采用Zhang的摄像机标定法分别对两摄像机进行标定，得到各自的内部参数矩阵和镜头畸变量：A₁和A₂，k₁₁，k₁₂，p₁₁，p₁₂和k₂₁，k₂₂，p₂₁，p₂₂；同时得到每个平面靶标和摄像机坐标之间的位置关系R_i和T₁。其中以第一个平面靶标建立的坐标系作为世界坐标系，其中x和y分别为靶标面内的横向和竖向，z向垂直平面靶标，并于x和y构成右手坐标系。则该位置靶标和两摄像机之间的位置关系，分别为两摄像机和世界坐标系的位置转换关系：R₁和T₁、R₂和T₂。从而实现双颜色渲染模型的标定。

Open Source Computer Vision Library，是Intel Corporation的开源计算机视觉库，提供了图像处理和计算机视觉方面的很多通用算法，其中就包括zhang的摄像机标定方法，可以借助库中提供的CalibrateCamera2函数，代入采集到的各个位置的靶标特征点进行摄像机标定，开放库的下载地址为：http://sourceforge.net/projects/opencvlibrary。

4.具体实施步骤

采用以下步骤对本发明的颜色渲染法进行实施：

(1)建立双颜色渲染方法的系统结构，即建立双摄像机采集系统或在原来视觉测量系统中增添RGB24位彩色摄像机，其中单色摄像机和其他设备组建三维坐标采集系统，彩色摄像机专门负责彩色图像采集，进行颜色渲染。彩色摄像机和单色摄像机采取尽量靠近的摆放方式，并采用适当的镜头保证彩色摄像机视场涵盖单色摄像机；

(2)在单色和彩色摄像机的公共视场内，任意摆放平面靶标6-9个位置，每次摆放时两摄像机均采集靶标图像，并分别进行图像处理、提取靶标特征点，利用采集到的靶标特征点，分别对两摄像机进行Zhang的摄像机标定；并以第一次摆放的平面靶标建立的坐标系为世界坐标，从而标定出以下参数：两摄像机的内部参数矩阵和镜头畸变量：A₁和A₂，k₁₁，k₁₂，p₁₁，p₁₂和k₂₁，k₂₂，p₂₁，p₂₂；两摄像机和世界坐标系的位置转换关系：R₁和T₁、R₂和T₂。

(3)以世界坐标系为中间坐标系，由两摄像机和世界坐标系的位置转换关系，求解两摄像机之间的位置关系：R＝R₂R^-1 ₁， $T=T_2-R_2{R}_1^{-1}{T}_1;$

(4)使用单色摄像机建立的视觉测量采集系统进行三维坐标的测量，在一次测量过程中，单色摄像机像面上某点p₁(u_d1，v_d1)可以得到其三维坐标p(x₀，y₀，z₀)；

(5)对单色摄像机像面上的点p₁(u_d1，v_d1)进行去畸变换，得到其对应的理想像素坐标(u₁，v₁)。由于畸变模型给出的是理想像素坐标求解实际像素坐标的公式，因此，去畸变换需要对畸变模型公式进行反解，由于畸变模型为理想像素坐标的高次方程，这里采用循环逼近法进行求解。具体过程为：

假设循环开始U₀＝(u_d1-u_o1)/f_u1，V₀＝(v_d1-v_o1)/f_v1；则第i+1步循环的结果可以用第i步结果表示为：

U_i+1＝[U₀-2p₁U_iV_i-p₂(r+2U_iU_i)]/(1+k₁r+k₂r²)    (6)

V_i+1＝[V₀-2p₂U_iV_i-p₁(r+2V_iV_i)]/(1+k₁r+k₂r²)

图像坐标(u′_i+1，v′_i+1)可以计算如下，

u′_i+1＝U_i+1f_u+u_o1    v′_i+1＝V_i+1f_v+v_o1       (7)

代入到畸变模型公式求解畸变图像坐标(u_d，i+1，v_d，i+1)，当和初始畸变图像坐标(u_d，v_d)之差在精度要求范围内(例如：小于0.1像素)时停止循环，最终得到的(u′_i+1，v′_i+1)为理想像素坐标(u₁，v₁)。

(6)将求解得到的单色摄像机对应的理想像素坐标(u₁，v₁)，以及标定得到参数代入到双摄像机颜色渲染方法的像素匹配模型中，得到彩色摄像机对应的理想匹配点(u₂，v₂)；

(7)将彩色摄像机的理想匹配点(u₂，v₂)代入到彩色摄像机的畸变模型中，得到实际对应的图像坐标(u_d2，v_d2)；在彩色摄像机拍摄的彩色图像中定位(u_d2，v_d2)坐标点，该点对应的颜色数据(r₀，g₀，b₀)为三维坐标点p(x₀，y₀，z₀)应具有的颜色信息，从而得到完整的三维数据(x₀，y₀，z₀)-(r₀，g₀，b₀)，实现该点的颜色渲染；

(8)遍历模型的每个测量点，均按照步骤(4)-(7)进行求解，从而实现整个测量模型的颜色渲染过程。

在实际试验中，首先验证了本发明颜色渲染模型的核心算法——像素匹配算法的精确性。首先，使用经过标定的两摄像机分别采集某一位置的平面靶标。提取两摄像机采集得到的靶标特征点坐标；使用单色摄像机采集到的靶标特征点像素坐标值和标定参数，计算得到彩色摄像机对应的匹配像素坐标，把这些值与彩色摄像机提取到的靶标特征点像素坐标值进行比对，得到像素距离偏差的最大值为0.368像素，最小值为0.007像素，平均值为0.136像素，均方差为0.072像素。从这些值可以看出双颜色渲染的像素匹配算法具有较高的精度，能够满足一般测量的需求。

Claims (2)

1.三维数字化测量中的一种颜色渲染方法，由视觉测量系统中的单色摄像机以及与其相配合的视觉测量器件提取被测对象的空间三维坐标，其特征在于，将另一台彩色摄像机置于靠近视觉测量系统中的摄像机的位置，利用此台彩色摄像机采集被测对象的颜色信息，并为由视觉测量系统中的摄像机采集得到的空间三维坐标匹配颜色信息，得到彩色三维数据，实现三维数字化测量中颜色渲染，包括以下步骤：

(1)在视觉测量系统中的单色摄像机和彩色摄像机的公共视场内，在任意6-9个位置摆放平面靶标，每次摆放时两摄像机均采集靶标图像，并分别进行图像处理、提取靶标特征点，利用采集到的靶标特征点，分别对两摄像机进行Zhang的摄像机标定，得到两摄像机的内部参数矩阵(A)及镜头的径向和切向四个畸变量，其中内部参数矩阵(A)由摄像机焦距f_x，f_y和像面中心坐标u_o，v_o组成；

(2)以在该6-9个位置中的任意一个位置摆放的平面靶标建立的坐标系为世界坐标，建立两个摄像机和世界坐标系的位置转换关系；

(3)由两个摄像机和世界坐标系的位置转换关系，求解两摄像机之间的位置关系R和T，并建立像素匹配模型，

$\left\{\begin{array}{c}{u}_2=\frac{m_4+z_{c1}(m_1{U}_1+m_2{V}_1+m_3)}{m_{12}+z_{c1}(m_9{U}_1+m_{10}{V}_1+m_{11})}\\ v_2=\frac{m_8+z_{c1}(m_5{U}_1+m_6{V}_1+m_7)}{m_{12}+z_{c1}(m_9{U}_1+m_{10}{V}_1+m_{11})}\end{array}\right.$

其中U₁＝(u₁-u_o1)/f_x1，V₁＝(v₁-v_o1)/f_y1，f_x1，f_y1为单色摄像机的有效焦距，(u_o1，v_o1)为像面中心坐标，(u₁，v₁)为单色摄像机的图像上点p₁的理想坐标；(u₂，v₂)为p₁对应的彩色摄像机匹配点p₂的理想坐标； $\left(\begin{array}{cccc}{m}_1& m_2& m_3& m_4\\ m_5& m_6& m_7& m_8\\ m_9& m_{10}& m_{11}& m_{12}\end{array}\right)=A_2\left(\begin{array}{cc}R& T\end{array}\right),$ R，T为两摄像机之间的位置转换系数；z_c1＝r₁₇x₀+r₁₈y₀+r₁₉z₀+t₁₃，r₁₇、r₁₈、r₁₉、t₁₃为R₁和T₁的部分元素，R₁和T₁为单色摄像机与世界坐标系之间的位置关系转换系数，(x₀，y₀，z₀)为p₁点对应的三维空间坐标；

(4)利用视觉测量系统进行三维数字化测量，对于单色摄像机像面上的点，得到其三维空间坐标；

(5)对视觉测量系统的单色摄像机像面上的点进行去畸变换，得到其对应的理想像素坐标，将求解得到的单色摄像机对应的理想像素坐标，以及标定得到参数代入到像素匹配模型中，得到彩色摄像机对应的理想匹配点；

(6)对彩色摄像机的理想匹配点进行畸变处理，得到实际对应的图像坐标；

(7)在彩色摄像机拍摄的彩色图像中定位该实际图像坐标点，该点对应的颜色数据即为所述的三维空间坐标点应具有的颜色信息，从而得到完整的彩色三维数据。

2.根据权利要求1所述的颜色渲染方法，其特征在于，采用循环逼近法对视觉测量系统的单色摄像机像面上的点进行去畸变换。

Images