CN1687700A - 立体视觉盘煤方法 - Google Patents

Abstract

本发明公开了一种用于测量煤场存煤的立体视觉盘煤方法：首先在煤堆上方安装成对摄像机，并测得摄像机光心和光学平台的距离，用摄像机对其进行拍摄，沿光轴方向将摄像机边移动边拍摄，再以摄像机中心连线及光轴为参照，对煤堆拍摄，得到煤堆图像，通过构成煤堆图像的像点变换得到理论像点，再运算得到消除畸变后的煤堆图像并对其进行边缘检测，提取边缘点信息，以摄像机图像中边缘点的9领域为匹配模版，计算匹配模版与所覆盖子图之间的相似程度或相关系数，选择共轭点并和它在左右摄像图像上投影点的关系，获得其空间位置，拟合出煤堆的空间曲面，并计算出煤堆的体积和重量；本发明具有高测量精度低测量设备成本等优点。

Description

立体视觉盘煤方法

                            技术领域

本发明采用计算机立体视觉原理测量大型煤场存煤量的方法，尤其涉及一种立体视觉盘煤方法。

                            背景技术

目前燃煤电厂盘煤一般采用人工计量方法，即先用推土机对煤场存煤进行整形，使其外观形体近似于梯形，再用经纬仪和米尺进行人工丈量，根据经验，简单计算或估算。这种方法，不仅耗费大量工时和人力，而且计量也不准确，严重制约了企业的现代化管理。近年来针对大型煤场存煤，一些火电厂采用激光三角法对煤场进行测量，激光三角法测距传感器安装在龙门吊的小车上，借助龙门吊上小车的行走对煤场平面进行扫描，完成数据采集，并通过计算机实现储量计算和图形绘制。此方法能实现煤场的自动测量，但是此方法要使用龙门吊等大型设备，设备成本高，同时此方法采用单点采样，然后根据一组采样数据计算堆积体积，其测量时间较长。

                            发明内容

本发明提供一种能够提高计量准确性、缩短测量时间并能降低成本的准确快速立体视觉盘煤方法。

本发明采用如下技术方案：

一种用于测量煤场存煤的立体视觉盘煤方法：

(1)在煤堆上方安装成对摄像机，调整摄像机，使摄像机光轴和光学平台垂直，并测得摄像机光心和光学平台的距离Z，以光学平台上的点作为参考点，用摄像机对其进行拍摄，得到一组点((u₁，v₁)，(u₂，v₂)，.......，(u_n，v_n))；然后，沿光轴方向将摄像机移动一段距离d，再对光学平台进行拍摄，得到第二组点((u₁’，v₁’)，(u₂’，v₂’)，.......，(u_n’，v_n’))，利用公式

$Q(u_1^{\′}+k_1(u_1^{\′2}+v_1^{\′2})+k_2{(u_1^{\′2}+v_1^{\′2})}^2-u_1+k_1(u_1^2+v_1^2)+k_2{(u_1^2+v_1^2)}^2)+d(u_1+k_1(u_1^2+v_1^2)+k_2{(u_1^2+v_1^2)}^2)=0$

$Q(v_1^{\′}+k_3(u_1^{\′2}+v_1^{\′2})+k_4{(u_1^{\′2}+v_1^{\′2})}^2-v_1+k_3(u_1^2+v_1^2)+k_4{(u_1^2+v_1^2)}^2)+d(u_1+k_3(u_1^2+v_1^2)+k_4{(u_1^2+v_1^2)}^2)=0$

$Q(u_n^{\′}+k_1(u_n^{\′2}+v_n^{\′2})+k_2{(u_n^{\′2}+v_n^{\′2})}^2-u_n+k_1(u_n^2+v_n^2)+k_2{(u_n^2+v_n^2)}^2)+d(u_n+k_1(u_n^2+v_n^2)+k_2{(u_n^2+v_n^2)}^2)=0$

$Q(v_n^{\′}+k_3(u_n^{\′2}+v_n^{\′2})+k_4{(u_n^{\′2}+v_n^{\′2})}^2-v_n+k_3(u_n^2+v_n^2)+k_4{(u_n^2+v_n^2)}^2)+d(u_n+k_3(u_n^2+v_n^2)+k_4{(u_n^2+v_n^2)}^2)=0$

得到摄像机的径向畸变参数k1、k2、k3和k4，

(2)以摄像机中心连线为X轴，光轴为Z轴，对煤堆进行拍摄，得到煤堆图像，

(3)对构成煤堆图像的像点(u，v)进行如下运算，得到理论像点位置(u’，v’)：

$\left\{\begin{array}{c}{u}^{\′}=u+{\mathrm{\δ}}_x(u,v)=u+u[k_1(u^2+v^2)+k_2{(u^2+v^2)}^2]\\ v^{\′}=v+{\mathrm{\δ}}_y(u.v)=u+v[k_3(u^2+v^2)+k_4{(u^2+v^2)}^2]\end{array}\right.,$

对理论像点(u’，v’)进行图像线性插值运算，得到消除畸变后的煤堆图像，上述图像线性插值运算可以采用《数值分析基础》中公开的方法(作者：关治  陆金甫高等教育出版社  出版日期：1998年5月第1版)，

(4)对消除畸变后的煤堆图像进行边缘检测，提取边缘点信息，

(5)以摄像机图像中边缘点的9领域为匹配模版T，在该点位于另一摄像机图像的外极线上逐点移动，计算匹配模版T与所覆盖子图之间的相似程度D(T，S)或相关系数C(T，S)，

相似程度： $D(T,S)=\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+l}{\mathrm{\Σ}}}{[S(i,j)-T(i,j)]}^2$

相关系数： $C(T,S)=\frac{\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+L}{\mathrm{\Σ}}}S(i,j)T(i,j)}{{\left[\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+L}{\mathrm{\Σ}}}S{(i,j)}^2\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+L}{\mathrm{\Σ}}}T{(i,j)}^2\right]}^{1/2}}$

以能使相关性函数取得全局最大值的点为匹配点，该一对点成为共轭点对，

(6)选择多个角点在两图像中的共轭点，两两连接各个角点，做各共轭点之间连线灰度的相关系数，点点之间的灰度相关系数大于0.8时计一票，得票数大于4/5角点数的共轭点为正确匹配共轭点，

(7)根据共轭点P(X，Y，Z)和它在左右摄像图像上的投影点(u₁，v₁)和(u₂，v₂)的关系，

$\left\{\begin{array}{c}{u}_1=-\frac{f}{Z}X\\ v_1=-\frac{f}{Z}X\end{array}\right.\left\{\begin{array}{c}{u}_2=-\frac{f}{Z}(X-d)\\ v_2=-\frac{f}{Z}Y\end{array}\right.$

得到共轭点P的坐标 $Z=\frac{d*f}{u_2-u_1}$

$\left\{\begin{array}{c}X=-\frac{d}{u_2-u_1}{u}_1\\ Y=-\frac{d}{u_2-u_1}{v}_1\end{array}\right.,$ 获得共轭点的空间位置，

(8)利用共轭点的空间位置信息，采用三角贝泽尔插值拟合出煤堆的空间曲面，并计算出煤堆的体积合重量。

与现有技术相比，本发明具有如下优点：

煤场是指其形状不规则的堆积体。即其处于水平面之上，其顶部和四周均由多个数量不等的二次曲面连接而成，构成物体的堆积表面；其二次曲面可以用函数Z＝F(x，y)描述。Z＝F(x，y)与Z＝0所围成的图形体积就是煤堆的体积，因此只要得到煤场表面的二次曲线方程就可以通过计算求得煤堆的体积。本发明采用计算机立体视觉方法对堆积物进行体积测量：采样采用摄像机拍摄这种面采样方法，能在短时间内对堆积场进行采样，大大缩短了采样时间；采用登高方法通过线性方程对摄像机非线性参数进行标定，并利用标定结果对图像进行预处理，减少了成像误差；在计算机图像匹配过程中，采用外极线方程，提高了匹配效率，同时采用点点间的图像灰度的对应对共轭点进行筛选，大大提高了匹配的精度；并对系统进行误差分析，并得出最合理的布局方案，提高测量精度。因此此方法能快速的对煤场存煤进行盘点，整个系统由一台计算机和几台摄像机和一些安装支架构成，和激光三角法相比，测量设备成本较低。

                            附图说明

图1是本发明系统框图。

图2是本发明立体视觉模型示意图。

                            具体实施方式

实施例1

一种用于测量煤场存煤的立体视觉盘煤方法：

(1)在煤堆上方安装成对摄像机，调整摄像机，使摄像机光轴和光学平台垂直，并测得摄像机光心和光学平台的距离Z，以光学平台上的点作为参考点，用摄像机对其进行拍摄，得到一组点((u₁，v₁)，(u₂，v₂)，.......，(u_n，v_n))；然后，沿光轴方向将摄像机移动一段距离d，再对光学平台进行拍摄，得到第二组点((u₁’，v₁’)，(u₂’，v₂’)，.......，(u_n’，v_n’))，利用公式

$Q(u_1^{\′}+k_1(u_1^{\′2}+v_1^{\′2})+k_2{(u_1^{\′2}+v_1^{\′2})}^2-u_1+k_1(u_1^2+v_1^2)+k_2{(u_1^2+v_1^2)}^2)+d(u_1+k_1(u_1^2+v_1^2)+k_2{(u_1^2+v_1^2)}^2)=0$

$Q(v_1^{\′}+k_3(u_1^{\′2}+v_1^{\′2})+k_4{(u_1^{\′2}+v_1^{\′2})}^2-v_1+k_3(u_1^2+v_1^2)+k_4{(u_1^2+v_1^2)}^2)+d(u_1+k_3(u_1^2+v_1^2)+k_4{(u_1^2+v_1^2)}^2)=0$

$Q(u_n^{\′}+k_1(u_n^{\′2}+v_n^{\′2})+k_2{(u_n^{\′2}+v_n^{\′2})}^2-u_n+k_1(u_n^2+v_n^2)+k_2{(u_n^2+v_n^2)}^2)+d(u_n+k_1(u_n^2+v_n^2)+k_2{(u_n^2+v_n^2)}^2)=0$

$Q(v_n^{\′}+k_3(u_n^{\′2}+v_n^{\′2})+k_4{(u_n^{\′2}+v_n^{\′2})}^2-v_n+k_3(u_n^2+v_n^2)+k_4{(u_n^2+v_n^2)}^2)+d(u_n+k_3(u_n^2+v_n^2)+k_4{(u_n^2+v_n^2)}^2)=0$

得到摄像机的径向畸变参数k1、k2、k3和k4，

(2)以摄像机中心连线为X轴，光轴为Z轴，对煤堆进行拍摄，得到煤堆图像，

(3)对构成煤堆图像的像点(u，v)进行如下运算，得到理论像点位置(u’，v’)：

$\left\{\begin{array}{c}{u}^{\′}=u+{\mathrm{\δ}}_x(u,v)=u+u[k_1(u^2+v^2)+k_2{(u^2+v^2)}^2]\\ v^{\′}=v+{\mathrm{\δ}}_y(u,v)=u+v[k_3(u^2+v^2)+k_4{(u^2+v^2)}^2]\end{array}\right.,$

对理论像点(u’，v’)进行图像线性插值运算，得到消除畸变后的煤堆图像，上述图像线性插值运算可以采用《数值分析基础》中公开的方法(作者：关治  陆金甫高等教育出版社  出版日期：1998年5月第1版)，

(4)对消除畸变后的煤堆图像进行边缘检测，提取边缘点信息，

(5)以摄像机图像中边缘点的9领域为匹配模版T，在该点位于另一摄像机图像的外极线上逐点移动，计算匹配模版T与所覆盖子图之间的相似程度D(T，S)或相关系数C(T，S)，

相似程度： $D(T,S)=\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+l}{\mathrm{\Σ}}}{[S(i,j)-T(i,j)]}^2$

相关系数： $C(T,S)=\frac{\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+L}{\mathrm{\Σ}}}S(i,j)T(i,j)}{{\left[\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+L}{\mathrm{\Σ}}}S{(i,j)}^2\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+L}{\mathrm{\Σ}}}T{(i,j)}^2\right]}^{1/2}}$

以能使相关性函数取得全局最大值的点为匹配点，该一对点成为共轭点对，

(6)选择多个角点在两图像中的共轭点，两两连接各个角点，做各共轭点之间连线灰度的相关系数，点点之间的灰度相关系数大于0.8时计一票，得票数大于4/5角点数的共轭点为正确匹配共轭点，

(7)根据共轭点P(X，Y，Z)和它在左右摄像图像上的投影点(u₁，v₁)和(u₂，v₂)的关系，

$\left\{\begin{array}{c}{u}_1=-\frac{f}{Z}X\\ v_1=-\frac{f}{Z}X\end{array}\right.\left\{\begin{array}{c}{u}_2=-\frac{f}{Z}(X-d)\\ v_2=-\frac{f}{Z}Y\end{array}\right.$

得到共轭点P的坐标 $Z=\frac{d*f}{u_2-u_1}$

$\left\{\begin{array}{c}X=-\frac{d}{u_2-u_1}{u}_1\\ Y=-\frac{d}{u_2-u_1}{v}_1\end{array}\right.,$ 获得共轭点的空间位置，

(8)利用共轭点的空间位置信息，采用三角贝泽尔插值拟合出煤堆的空间曲面，并计算出煤堆的体积合重量。

实施例2

本实施例采用如下操作步骤：

(1)摄像机标定：确定世界坐标系、摄像机坐标系、图像坐标系之间的关系

测试系统使用前经过标定，安装在支架上的摄像机，需要通过调节才能符合模型需要，我们标定的目的是确定安装在支架上的摄像机构成的摄像机坐标系和世界坐标系之间的旋转平移关系，并通过调节支架上的多角度调节架，使各摄像机坐标系和世界坐标系之间只存在平移关系，以适合上述立体视觉模型同时使体积计算最简化。摄像机成像中世界坐标系、摄像机坐标系和图像坐标的关系可以表示如下：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_{2}X=\mathrm{MX}---\left(7\right)$

其中摄像机的内参数方程M₁已知，需要计算的是旋转矩阵R和平移矩阵T。定标实验中，在观测场中选定一组已知世界坐标的空间点，由这些点的世界坐标和其在摄像机成像平面上的投影坐标即可根据下列公式计算出摄像机的投影矩阵M。并通过M得到旋转矩阵和平移矩阵。根据旋转矩阵调节多向角度调节架，通过多次标定调节工作，使摄像机坐标系和世界坐标系之间只存在平移关系。

$K=\left[\begin{array}{ccccccccccc}{X}_{u1}& Y_{u1}& Z_{u1}& 1& 0& 0& 0& 0& -u_1{X}_{u1}& -u_1{Y}_{u1}& -u_1{Z}_{u1}\\ 0& 0& 0& 0& X_{u1}& Y_{u1}& Z_{u1}& 1& -v_1{X}_{u1}& -v_1{Y}_{u1}& -v_1{Z}_{u1}\\ \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·& \·& \·\\ X_{\mathrm{un}}& Y_{\mathrm{un}}& Z_{\mathrm{un}}& 1& 0& 0& 0& 0& -u_n{X}_{\mathrm{un}}& -u_n{Y}_{\mathrm{un}}& -u_n{Z}_{\mathrm{un}}\\ 0& 0& 0& 0& X_{\mathrm{un}}& Y_{\mathrm{un}}& Z_{\mathrm{un}}& 1& -v_n{X}_{\mathrm{un}}& -v_n{Y}_{\mathrm{un}}& -v_n{Z}_{\mathrm{un}}\end{array}\right]$

U＝[u₁ v₁ u₂ v₂.. .. .. .. ..u_n v_v]^T

M＝(K^TK)^-1K^TU

(2)用高精度摄像机(CCD在100万像素以上，测量精度和像素分辨率有直接关系，详细见下面误差分析)对煤堆在多个角度(本文采用左右两个角度，左右两摄像机具有相同的焦距f，其光轴相互平行，并垂直于他们的中心连线。摄像机坐标系分别以中心连线为X轴，光轴为Z轴，两摄像机距离为d.)进行拍摄，得到一系列煤堆图像

(3)对摄像机所得图像进行预处理，消除由畸变引起的误差，使摄像机符合小孔成像模型。

在此系统中，摄像机采用小孔模型(中心投影模型)，即假设透镜孔径很小，则空间物点，透镜中心，像点在一条直线上，三者的关系可以表示为

$\left\{\begin{array}{c}u=\frac{f}{Z}X\\ v=\frac{f}{Z}Y\end{array}\right.$

然而摄像机在实际拍摄中其光学镜头不能达到模型要求，故实际拍摄到的图像存在畸变：径向畸变，薄棱镜畸变，离心畸变。畸变和所处图像位置的关系如下：

$\left\{\begin{array}{c}{\mathrm{\δ}}_x(x,y)=x[k_1(x^2+y^2)+k_2{(x^2+y^2)}^2]+(p_1(3x^2+y^2)+2p_2\mathrm{xy})+s_1(x^2+y^2)\\ {\mathrm{\δ}}_y(x,y)=y[k_3(x^2+y^2)+k_4{(x^2+y^2)}^2]+(p_2(3x^2+y^2)+2p_1\mathrm{xy})+s_2(x^2+y^2)\end{array}\right.$

其中k1，k2，k3，k4是径向畸变系数，p1，p2是薄棱镜畸变系数，而s1，s2是离心畸变系数。本系统根据摄像机沿光轴轴线平移的等高特性对摄像机畸变进行标定，利用标定的参数对图片进行预处理，从而消除畸变误差的影响。由于径向畸变是透镜畸变的主要来源，因此系统主要对径向畸变进行校正。

等高特性即是指在摄像机坐标系下，Z坐标相等的点投影到平移前后摄像机成像平面所成的一对像点的连线的延长线交于一点。其坐标可以表示为(0，0，-(Z_i+d+f))，其中Z表示摄像机坐标系下Z轴坐标为Z_i的点，d是摄像机平移的距离，f是摄像机的焦距。

根据上述结论，可以得到下列线性方程组对摄像机的非线性畸变进行标定

$Q(u_1^{\′}+k_1(u_1^{\′2}+v_1^{\′2})+k_2{(u_1^{\′2}+v_1^{\′2})}^2-u_1+k_1(u_1^2+v_1^2)+k_2{(u_1^2+v_1^2)}^2)+d(u_1+k_1(u_1^2+v_1^2)+k_2{(u_1^2+v_1^2)}^2)=0$

$Q(v_1^{\′}+k_3(u_1^{\′2}+v_1^{\′2})+k_4{(u_1^{\′2}+v_1^{\′2})}^2-v_1+k_3(u_1^2+v_1^2)+k_4{(u_1^2+v_1^2)}^2)+d(u_1+k_3(u_1^2+v_1^2)+k_4{(u_1^2+v_1^2)}^2)=0$

$Q(u_n^{\′}+k_1(u_n^{\′2}+v_n^{\′2})+k_2{(u_n^{\′2}+v_n^{\′2})}^2-u_n+k_1(u_n^2+v_n^2)+k_2{(u_n^2+v_n^2)}^2)+d(u_n+k_1(u_n^2+v_n^2)+k_2{(u_n^2+v_n^2)}^2)=0$

$Q(v_n^{\′}+k_3(u_n^{\′2}+v_n^{\′2})+k_4{(u_n^{\′2}+v_n^{\′2})}^2-v_n+k_3(u_n^2+v_n^2)+k_4{(u_n^2+v_n^2)}^2)+d(u_n+k_3(u_n^2+v_n^2)+k_4{(u_n^2+v_n^2)}^2)=0$

由上式可以求出摄像机非线性畸变的主要来源径向畸变的畸变参数。利用径向畸变参数通过图像与处理从而消除图像由于径向畸变带来的误差。

(4)对图像进行边缘检测，提取边缘点信息。

边缘信息是物体信息的主要来源，在数字图像中常用以下算子和图像做卷积实现图像边缘检测 $\left|\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right|.$

(5)寻找图像对的极线方程，利用极线方程缩小搜索范围，寻找图像对中的共轭点。同时采用点点之间的灰度相关的投票机制对共轭点进行筛选。

对于给定的左右两个摄像机，左侧摄像机成像平面上的任意一点p₁，他所对应的空间点P在右侧摄像机成像平面上的投影必然在p₁和左右两摄像机光学中心所构成的平面上，此平面和右侧摄像机成像平面的交线为p₁在右侧摄像机上的外极线，采用外极线方程，可以把图像匹配由一个面缩小为这个面上的一条直线，大大减少了匹配的计算量，提高匹配效率。

利用立体视觉技术确定三维信息的关键是找出目标物体上一点在左、右图像内投影的对应点，这就是我们所说的立体匹配问题。作为立体视觉的中心问题，研究者们对于对应点的匹配已提出许多算法，常用的匹配算法有灰度特征匹配算法、灰度相关算法、松弛算法、等等，在本系统中，将基于灰度的特征匹配和模板匹配相结合，实现了较高的匹配精度和匹配速度。

匹配算法由两大部分组成：一是相似度量；二是搜索匹配点。本系统以摄像机图像1中某一特征点的9领域为匹配模版T，在该点位于摄像机图像2的外极线上逐点移动，计算T与所覆盖子图之间的相似程度D(T，S)和相关系数C(T，S)。

$D(T,S)=\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+l}{\mathrm{\Σ}}}{[S(i,j)-T(i,j)]}^2$

$C(T,S)=\frac{\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+L}{\mathrm{\Σ}}}S(i,j)T(i,j)}{{\left[\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+l}{\mathrm{\Σ}}}S{(i,j)}^2\underset{i=m}{\overset{m+k}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+L}{\mathrm{\Σ}}}T{(i,j)}^2\right]}^{1/2}}$

若其中存在一点其相似程度最高，也就是相关性函数取得全局最大值，则判断该点为匹配点，这一对点成为共轭点对。

在匹配过程中，经常会出现相似点，即摄像机图像2中匹配值最大点并不是真正的匹配点，而是一个和该点灰度特征信息非常相似的点，在此情况下，就出现了匹配误差。本系统采用点点灰度相关多点投票机制，对此类点进行剔除。方案如下：选择多个角点在两图像中的共轭点，两两连接各个角点，做各共轭点之间连线灰度的相关系数，当点点之间的灰度相关系数大于一定阈值时，这两点就得到一票，当焦点得票数大于4/5角点数时，该共轭点对为正确匹配点。利用这些正确匹配的角点作为标准点，对图像中所有共轭点进行检验，得到更精确的共轭点对。

(6)求取共轭点相对应空间点的空间坐标。

立体视觉是仿照人类利用双目线索感知距离的方法，实现对三维信息的感知，在实现上采用三角测量的方法，运用两个或多个摄像机对同一景物从不同位置成像，并进而从视差中计算出距离

采用针孔摄像机模型根据相似三角形关系容易得到空间点到摄像机的投影关系如下：

$\left\{\begin{array}{c}u=\frac{f}{Z}X\\ v=\frac{f}{Z}Y\end{array}\right.$

在煤场测量系统中用两摄像机对图像进行采集，左右两摄像机具有相同的焦距f，其光轴相互平行，并垂直于他们的中心连线。摄像机坐标系分别以中心连线为X轴，光轴为Z轴，两摄像机距离为d.在上述左右摄像机的放置下，空间点P的坐标(X，Y，Z)和它在左右图像上的投影点(u₁，v₁)和(u₂，v₂)有如下关系：

$\left\{\begin{array}{c}{u}_1=-\frac{f}{Z}X\\ v_1=-\frac{f}{Z}Y\end{array}\right.\left\{\begin{array}{c}{u}_2=-\frac{f}{Z}(X-d)\\ v_2=-\frac{f}{Z}Y\end{array}\right.$

由前两式容易求得： $Z=\frac{d*f}{u_2-u_1}$

进而求得 $\left\{\begin{array}{c}X=-\frac{d}{u_2-u_1}{u}_1\\ Y=-\frac{d}{u_2-u_1}{v}_1\end{array}\right.$

从上面叙述中，可以看到，知道场景中一点P，分别在左右图像上产生像点(这一对像点称为共轭对)，就可以确定原来空间中点的位置。

(7)重建煤堆立体表面和计算煤堆体积，

由于实验所得的数据是散乱的数据点，采用三角Bezier插值进行拟合^[7]，首先对散乱数据点的三角剖分：建立无序散乱数据点间三角拓扑关系，实现数据点的有序化。由于三维散乱数据点之间拓扑关系的复杂性，对其直接剖分的理论和方法尚不完善，一般仍以投影域三角剖分为主，投影域分为平面域和球面域两种类型。这里假设存在一个平面使三维散乱点与其上的二维投影点一一对应，此时可将三维散乱点投影到该平面上，在二维平面上对投影点做三角剖分，再将三角剖分结果映射回三维空间。然后对散乱数据点进行三角Bezier曲面插值。在三角网格的每个三角形上构造初始二变量的三次三角Bezier曲面片，再将每个三角曲面片升阶到四次，然后将每个曲面片进行C-T(clough-tocher)分割，调整每个子曲面片的控制顶点，使整个组合曲面达到一阶几何(GC1)连续。

(8)系统误差分析和系统合理安装

立体视觉原理上可以精确的测量出物体的空间位置，然而由于CCD摄像机拍摄得到的图像是非连续的，它是以像元为单元一组离散数据，故在测量中存在最小分辨率误差，由公式(4)可以推导出两摄像机由于CCD引起的最小分辨率误差ΔZ和CCD像素大小Δδ的关系为：

$\left\{\begin{array}{c}\mathrm{\Δ}{Z}_1=\left|\frac{{Z_1}^2\mathrm{\Δ\δ}}{\mathrm{fX}+Z_1\mathrm{\Δ\δ}}\right|\\ \mathrm{\Δ}{Z}_2=\left|\frac{{Z_2}^2\mathrm{\Δ\δ}}{f(X-d)-Z_2\mathrm{\Δ\δ}}\right|\end{array}\right.---\left(7\right)$

由公式可以看出立体视觉的分辨率误差随物体和摄像机间距离Z增加而变大，同时分别以X＝0和X＝d为对称轴，对称分布。

由于在立体视觉系统中，只要有一个摄像机能分辨出距离变化，整个立体视觉系统就能的分辨出距离变化，故立体视觉系统的分辨率误差为两条曲线中的较小值，即ΔZ＝min(ΔZ₁，ΔZ₂)，可以看出在X＝d/2时，其分辨率误差达到最大值ΔZ_max：

$\mathrm{\Δ}{Z}_{\max }=\left|\frac{2Z^2\mathrm{\Δ\δ}}{\mathrm{fd}+\mathrm{Z\Δ\δ}}\right|---\left(8\right)$

同时由图1的立体关系可以得到，立体视觉测量范围W和Z的关系为：

$Z=\frac{f(W+d)}{S}---\left(9\right)$

其中S为像平面宽度，由式(8)，(9)可以得到分辨率和测量范围之间的关系如下：

$\mathrm{\Δ}{Z}_{\max }=\left|\frac{2f{(W+d)}^2\mathrm{\Δ\δ}}{S^{2}d+S(W+d)\mathrm{\Δ\δ}}\right|---\left(10\right)$

因为S(W+d)Δδ<<S²d，故

$\mathrm{\&Delta;}{Z}_{\max }\&ap;\left|\frac{2f{(W+d)}^2\mathrm{\&Delta;\&delta;}}{S^{2}d}\right|=\left|\frac{2f{(W/\sqrt{d}+\sqrt{d})}^2\mathrm{\&Delta;\&delta;}}{S^2}\right|---\left(11\right)$

由式(11)可以看出，在其他因素确定的情况下，当 达到最小值时，既d＝W时其分辨率误差最小为：

$\mathrm{\&Delta;}{Z}_{\max }=\left|\frac{8\mathrm{fW\&Delta;\&delta;}}{S^2}\right|---\left(12\right)$

根据式(9)和式(12)其相对分辨率误差为：

$\frac{\mathrm{\&Delta;}{Z}_{\max }}{Z}=\left|\frac{4\mathrm{\&Delta;\&delta;}}{S}\right|---\left(13\right)$

式(12)(13)表明，在d＝W布局情况下，立体视觉系统的绝对分辨率误差和测量范围成正比，而其相对分辨率误差完全由摄像机特性决定。

Claims (1)

1、一种用于测量煤场存煤的立体视觉盘煤方法，其特征在于：

(1)在煤堆上方安装成对摄像机，调整摄像机，使摄像机光轴和光学平台垂直，并测得摄像机光心和光学平台的距离Z，以光学平台上的点作为参考点，用摄像机对其进行拍摄，得到一组点((u₁，v₁)，(u₂，v₂)，.......，(u_n，v_n))；然后，沿光轴方向将摄像机移动一段距离d，再对光学平台进行拍摄，得到第二组点((u₁’，v₁’)，(u₂’，v₂’)，.......，(u_n’，v_n’))，利用公式

$Q(u_1^{\&prime;}+k_1(u_1^{\&prime;2}+v_1^{\&prime;2})+k_2{(u_1^{\&prime;2}+v_1^{\&prime;2})}^2-u_1+k_1(u_1^2+v_1^2)+k_2{(u_1^2+v_1^2)}^2)+d(u_1+k_1(u_1^2+v_1^2)+k_2(u_1^2+v_1^2))=0$

$Q(v_1^{\&prime;}+k_3(u_1^{\&prime;2}+v_1^{\&prime;2})+k_4{(u_1^{\&prime;2}+v_1^{\&prime;2})}^2-v_1+k_3(u_1^2+v_1^2)+k_4{(u_1^2+v_1^2)}^2)+d(u_1+k_1(u_1^2+v_1^2)+k_4(u_1^2+v_1^2))=0$

........

$Q(u_n^{\&prime;}+k_1(u_n^{\&prime;2}+v_n^{\&prime;2})+k_2{(u_n^{\&prime;2}+v_n^{\&prime;2})}^2-u_n+k_1(u_n^2+v_n^2)+k_2{(u_n^2+v_n^2)}^2)+d(u_n+k_1(u_n^2+v_n^2)+k_2(u_n^2+v_n^2))=0$

$Q(v_n^{\&prime;}+k_3(u_n^{\&prime;2}+v_n^{\&prime;2})+k_4{(u_n^{\&prime;2}+v_n^{\&prime;2})}^2-v_n+k_3(u_n^2+v_n^2)+k_4{(u_n^2+v_n^2)}^2)+d(u_n+k_3(u_n^2+v_n^2)+k_4{(u_n^2+v_n^2)}^2)=0$

得到摄像机的径向畸变参数k1、k2、k3和k4，

(2)以摄像机中心连线为X轴，光轴为Z轴，对煤堆进行拍摄，得到煤堆图像，

(3)对构成煤堆图像的像点(u，v)进行如下运算，得到理论像点位置(u’，v’)：

$\left\{\begin{array}{c}{u}^{\&prime;}=u+{\mathrm{\&delta;}}_x(u,v)=u+u[k_1(u^2+v^2)+k_2{(u^2+v^2)}^2]\\ v^{\&prime;}=v+{\mathrm{\&delta;}}_y(u,v)=u+v[k_3(u^2+v^2)+k_4{(u^2+v^2)}^2]\end{array}\right.,$

对理论像点(u’，v’)进行图像线性插值运算，得到消除畸变后的煤堆图像，

(4)对消除畸变后的煤堆图像进行边缘检测，提取边缘点信息，

(5)以摄像机图像中边缘点的9领域为匹配模版T，在该点位于另一摄像机图像的外极线上逐点移动，计算匹配模版T与所覆盖子图之间的相似程度D(T，S)或相关系数C(T，S)，

相似程度： $D(T,S)=\underset{i=m}{\overset{m+k}{\mathrm{\&Sigma;}}}\underset{j=n}{\overset{n+l}{\mathrm{\&Sigma;}}}{[S(i,j)-T(i,j)]}^2$

相关系数： $C(T,S)=\frac{\underset{i=m}{\overset{m+k}{\mathrm{\&Sigma;}}}\underset{j=n}{\overset{n+L}{\mathrm{\&Sigma;}}}S(i,j)T(i,j)}{{\left[\underset{i=m}{\overset{m+k}{\mathrm{\&Sigma;}}}\underset{j=n}{\overset{n+L}{\mathrm{\&Sigma;}}}{S(i,j)}^2\underset{i=m}{\overset{m+k}{\mathrm{\&Sigma;}}}\underset{j=n}{\overset{n+L}{\mathrm{\&Sigma;}}}{T(i,j)}^2\right]}^{1/2}}$ 以能使相关性函数取得全局最大值的点为匹配点，该一对点成为共轭点对，

(6)选择多个角点在两图像中的共轭点，两两连接各个角点，做各共轭点之间连线灰度的相关系数，点点之间的灰度相关系数大于0.8时计一票，得票数大于4/5角点数的共轭点为正确匹配共轭点，

(7)根据共轭点P(X，Y，Z)和它在左右摄像图像上的投影点(u₁，v₁)和(u₂，v₂)的关系，

$\left\{\begin{array}{c}{u}_1=-\frac{f}{Z}X\\ v_1=-\frac{f}{Z}Y\end{array},,\right.\left\{\begin{array}{c}{u}_2=-\frac{f}{Z}(X-d)\\ v_2=-\frac{f}{Z}Y\end{array}\right.$

得到共轭点P的坐标 $Z=\frac{d*f}{u_2-u_1}$ $\left\{\begin{array}{c}X=-\frac{d}{u_2-u_1}{u}_1\\ Y=-\frac{d}{u_2-u_1}{v}_1\end{array}\right.,$ 获得共轭点的空间位置，

(8)利用共轭点的空间位置信息，采用三角贝泽尔插值拟合出煤堆的空间曲面，并计算出煤堆的体积和重量。

Images