CN102609983B - 一种基于图像及立体视觉的闪电三维图像重建方法 - Google Patents

Abstract

本发明提出一种基于图像及立体视觉的闪电三维图像重建方法，通过对多个站点、同一时刻获得的闪电图像进行处理得到闪电的三维空间信息。该方法具体包括：通过对相距较远的复数个相机进行同一世界坐标系下的标定，得到相机的内参数矩阵和外参数矩阵；对于多个站点获取闪电图像，采用改进的K均值聚类法从图像中提取闪电部分，采用闪电灰度梯度特征进一步提取闪电轮廓；利用极线约束和闪电轮廓曲线斜率互相关进行图像匹配；利用双目立体视觉测量数学模型计算闪电匹配点的空间坐标，完成闪电图像的三维图像重建，为研究闪电的产生、发展过程提供支持。

Description

一种基于图像及立体视觉的闪电三维图像重建方法

技术领域

本发明涉及一种基于图像及立体视觉的闪电三维图像重建方法，适用于对空间中的自由曲线状物体进行空间定位并进行三维重建。

背景技术

雷电产生巨大的破坏作用，而且目前人类还无法控制和阻止它的产生。雷电灾害被联合国有关部门列为“最严重的十种自然灾害之一”。

雷电探测设备主要是利用闪电回击辐射的声、光、电磁场特性来遥测闪电回击放电参数，因此在探测技术上，雷电监测定位方法可分为声学法、光学法和电磁场法。地基和空基雷电探测的目的是确定雷电的空间发生位置及主要特征参数，为雷电定位和预测提供数据，并不能提供雷电物理基础研究所需要的雷电产生、发展过程信息。自然雷电的发生具有很大的随机性和瞬时性，只有通过加深对雷电放电时空演变特征、复杂形态的认识，才能揭示闪电放电的发生发展过程。

目前雷电定位主要采用VLF和LF进行云闪及地闪的定位，用于监测闪电发生的区域，难以获得闪电的发生、发展过程。

发明内容

本发明要解决的是提供一种一整套的基于图像及立体视觉的闪电三维图像重建方法，可通过同一时刻不同地点获得的多幅闪电图像获取闪电的三维空间信息，为研究闪电的产生、发展过程提供信息。

本发明的技术构思在于如何实现相距较远的两台或多台摄像机的完整标定方法，从背景复杂的图像中分割出闪电部分，和如何实现对这些摄像机拍摄的闪电图片的匹配，并且利用立体视觉系统计算出空间点的坐标，以实现三维立体定位。

为了达到上述发明目的，本发明提供了完整的解决方案，包括以下步骤：

S1：对两台或多台相机进行远距离的统一世界坐标系的标定，求出每台相机的内参数矩阵和每台相机相对于世界坐标系的旋转矩阵和平移矩阵；

S2：用两台或多台相机同时拍下天空中闪电的图像；

S3：去除图像中背景信息，得到闪电部分，对闪电部分的双轮廓抽取出只包含一个像素的中心曲线，作为最终的轮廓曲线；

S4：对闪电轮廓利用极线约束和斜率互相关进行图像匹配；

S5：利用双目立体视觉测量数学模型求出空间三维点的坐标。

所述相机标定包括，将靶标铅直放置于相机前方，以其中一台相机所在地建立世界坐标系，其它相机所在地放置靶标的位置建立相应的伪世界坐标系；世界坐标系和伪世界坐标系均以水平面为基准，且其X轴、Y轴、Z轴的朝向完全相同。

所述闪电轮廓抽取包括，对图像灰度用K均值聚类法将图像分割成1，2，..，n层图像，第n层为闪电的部分；同时对传统的K均值聚类法进行改进：考虑第n-1层中每个点对聚类贡献的权重，设定权重阈值，取出权重大于阈值的点；第n-1层图像中，图像矩阵(i，j)处的点的权重d(i，j)的定义如下：

$d(i,j)=\frac{1}{I(i,j)-C_{n-1}}$

其中，C_n-1为第n-1层聚类中心的灰度值，I(i，j)为图像矩阵(i，j)处的灰度值。

所述闪电轮廓抽取还包括：利用差分算子计算图像的横向梯f₁(i，j)和纵向梯度f₂(i，j)；在每一行中，对单独这一行的所有的像素的梯度值构成的离散序列求出其中梯度为极值的像素；若这一行中两个极值像素点满足下列条件：列号小的像素是极大值，列号大的像素是极小值，并且两个像素之间没有其他极值点；则这两个极值像素点之间的所有像素均为闪电点；在每一列中，对单独这一列的所有的像素的梯度构成的离散序列求出其中梯度为极值的像素；若这一列中两个极值像素点满足下列条件：行号小的像素是极大值，行号大的像素是极小值，并且两个像素之间没有其他极值点；则这两个极值像素点之间的所有像素均为闪电点；对得到的闪电部分，抽取出闪电部分的双轮廓中心曲线，得到每幅图像中用轮廓曲线序列点E(m，k)表示的点；

E(m，k)表示图像中第m条闪电分支轮廓曲线上的第k个顺序点，E_l(m，k)、E_r(m，k)分别表示左、右图像上的点；用XE(m，k)表示这个点在像素坐标系下的横坐标，用YE(m，k)表示这个点在像素坐标系下的纵坐标，BE(m，k)表示这个点的灰度；

横向梯f₁(i，j)和纵向梯f₂(i，j)的计算公式如下：

f₁(i，j)＝I(i，j)-I(i，j-1)

f₂(i，j)＝I(i，j)-I(i-1，j)

其中I(i，j)为图像矩阵(i，j)位置处的像素灰度值。

所述的步骤S4还包括：

S4-1：获取极线约束方程：多台摄像机是两两分为一组，每一组中的相机分别称作左相机和右相机，左相机拍摄的图像称为左图像，右相机拍摄到的图像称为右图像；对左图像中得到的闪电的边缘曲线上的每一点利用基本矩阵F求出其在右图像上的极线方程；

记待匹配象素点d_l为左图像矩阵(i，j)位置处的点在像素坐标系下的齐次坐标，dl＝[j，i，1]’，记Q为这个点在右图像上对应的极线方程，则Q的表达式如下：

Q＝F·d_l

得到的Q是一个包含三个元素的列向量；

图像像素坐标系下，Q可表示y＝ax+b的形式，记Q(i)(i＝1，2，3)代表Q的第i个元素，则：

a＝-Q(1)/Q(2)

b＝-Q(3)/Q(2)

若极线垂直于x轴，则应把Q表示为x＝c的形式：

c＝-Q(3)/Q(1)

S4-2：对右图像极线约束得到候选匹配点；将左图像中待匹配闪电点P_l0表示成如权利4所描述的轮廓曲线序列点的形式，P_l0＝El(m，k)；在右图像中极线与闪电轮廓曲线相交得到至少一个交点，与右图像第n条闪电分支相交于点P_rn，将交点表示成轮廓曲线序列点的形式P_rn＝E_r(n，g)；经过极线约束后，候选匹配点为P_rn所在的曲线上以P_rn为中心的总数目为h的点序列E_r(n，g+i)(-(h-1)/2＜i＜(h-1)/2)；

S4-3：获得最终匹配点：为了建立P_l0和如S4-2中所述的候选匹配点的匹配关系，将以P_l0为中心的的邻域曲线与以候选匹配点为中心的领域曲线进行相似度比较，相似度是根据斜率互相关方式计算，所有候选匹配点中邻域曲线与P_l0的邻域曲线相似度最大的点P_rmax，且相似度满足阈值要求的点就是最终匹配点；左图像上的点E_l(p，a)的领域曲线和和右图像上的点E_r(q，b)的领域曲线相似度的计算公式如下：

$\mathrm{cc}=\underset{i=-(w-1)/2}{\overset{(w-1)/2}{\mathrm{\Σ}}}{[I(X{E}_l(p,a+i),{\mathrm{YE}}_l(p,a+i))-T({\mathrm{XE}}_r(q,b+i),{\mathrm{YE}}_r(q,b+i))]}^2$

其中I(x，y)为左图像在像素坐标系下坐标为(x，y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率，I(XE_l(p，a+i)，YE_l(p，a+i))的计算公式如下：

I(XE_l(p，a+i)，YE_l(p，a+i))＝(YE_l(p，a+i)-YE_l(p，a+i1))/(XE_l(p，a+i)-XE_l(p，a+i-1))

T(x，y)为右图像在像素坐标系下坐标为(x，y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率。

本发明通过同一时刻不同地点获得的多幅闪电图像获取闪电的三维空间信息，重构闪电的三维图像，为研究闪电的产生、发展过程提供支持。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1是基于立体视觉的闪电三维信息采样示意图。

图2为像素坐标系和图像坐标系的说明图。

图3为闪电轮廓曲线抽取流程图。

图4为闪电点匹配示意图。

图5为闪电点匹配流程图。

具体实施方式

本发明具体实时方式包括以下步骤：

S1：对两台或多台相机进行远距离的统一世界坐标系的标定，求出每台相机的内参数矩阵和每台相机相对于世界坐标系的旋转矩阵和平移矩阵；

S2：用两台或多台相机同时拍下天空中闪电的图像；

S3：去除图像中背景信息，得到闪电部分，对闪电部分的双轮廓抽取出只包含一个像素的中心曲线，作为最终的轮廓曲线；

S4：对闪电轮廓利用极线约束和斜率互相关进行图像匹配；

S5：利用双目立体视觉测量数学模型求出空间三维点的坐标。

其中所述步骤S1包括：

S1-1：为了节约靶标的成本，在其中一台相机所在地将黑白方格的靶标铅直放置于相机前方，并且把在此靶标上建立一个三维坐标系，靶标平面的平面坐标系的两个坐标轴作为三维坐标系其中两个坐标轴，垂直于靶标平面的直线作为第三个坐标轴，然后把这个三维坐标系竖直平移到水平面上，作为公共的世界坐标系；在其他的相机所在地都建立一个伪世界坐标系，这些伪世界坐标系的位置就是稍后我们放置靶标的位置。世界坐标系和伪世界坐标系均以水平面为基准，且其X轴、Y轴、Z轴的朝向完全相同。

S1-2：测量出世界坐标系和伪世界坐标系的水平距离，测量出黑白靶标中心点在世界坐标系和各伪世界坐标系下的三维坐标。

S1-3：每一台相机拍摄数量大于或等于3的靶标的照片，拍摄的时候靶标不动，每拍一幅照片，相机移动一次，但是相机不能只作平移运动，而应该有远近和拍摄角度的变化。

S1-4：对得到的n幅图像求出其黑白相间的角点在各自图像坐标系下的坐标。

S1-5：对每一台相机而言，由S1-2中测得的靶标的黑白相间的角点的三维坐标和S1-4中得到的n幅图像中黑白相间的角点在各自图像坐标系下的坐标求出内参数矩阵，并且求出每一次相机的位置相机坐标系相对于世界坐标系下的旋转矩阵和平移矩阵，这里我们取相机最后一次位置时的旋转矩阵和平移矩阵，并且我们就此固定下相机的位置。

其中所述步骤S3包括：

S3-1：对图像作灰度阈值预处理，灰度阈值结合分割闪电图像的需要，设为120；用K均值聚类法把预处理后的图像分割成1，2，..，n层图像，第n层为闪电的部分；同时对传统的K均值聚类法进行改进：考虑第n-1层中每个点对聚类的贡献的权重，设定权重阈值，取出权重大于阈值的点。最后得到包含一部分无法去掉的背景和闪电部分的图像。第n-1层图像中，图像矩阵(i，j)处的点的权重d(i，j)的定义如下：

$d(i,j)=\frac{1}{I(i,j)-C_{n-1}}$

其中，C_n-1为第n-1层聚类中心的灰度值，I(i，j)为图像矩阵(i，j)处的灰度值。

S3-2：对S3-1中得到的图像作如下处理：对权利3中所述得到的图像作如下处理：利用差分算子计算图像的横向梯f₁(i，j)和纵向梯度f₂(i，j)。在每一行中，单独这一行的所有的像素的梯度值构成的离散序列求出其中梯度为极值的像素，若这一行中的两个极值像素点满足下列条件：列号小的像素是极大值，列号大的像素是极小值，并且两个像素之间没有其他极值点。则这两个极值像素点之间的所有像素均为闪电点。在每一列中，单独这一列的所有的像素的梯度构成的离散序列求出其中梯度为极值的像素，若这一列中两个极值像素点满足下列条件：行号小的像素是极大值，行号大的像素是极小值，并且两个像素之间没有其他极值点。则这两个极值像素点之间的所有像素均为闪电点。记下所有满足条件的极值像素点对的位置信息，用于提取闪电部分双轮廓曲线的中心轮廓曲线。

横向梯f₁(i，j)和纵向梯f₂(i，j)的计算公式如下：

f₁(i，j)＝I(i，j)-I(i，j-1)

f₂(i，j)＝I(i，j)-I(i-1，j)

其中I(i，j)为图像矩阵(i，j)位置处的像素灰度值。

S3-3：建立一个轮廓曲线图像矩阵，矩阵初始时元素全为0。对S3-2中所描述的满足条件的一对极值像素点：若这对像素的行数相同，记这对像素的所在行数为i，这对像素所在的列数分别为lj，rj，则把轮廓曲线图像(i，(lj+rj)/2)处的像素赋值为255；若这对像素的列数相同，记像素段的所在列数为j，这对像素所在行数分别为ui，di，则把轮廓曲线图像矩阵中((ui+di)/2，j)处的像素赋值为255。最后，得到的轮廓曲线图像矩阵中的元素值不为0的所有点构成的曲线就是闪电部分的双轮廓曲线的中心曲线。

S3-4：将中心轮廓曲线上的点表示成轮廓曲线序列点的形式：第m条闪电分支轮廓曲线上第k个顺序点为E(m，k)。用XE(m，k)表示这个点在像素坐标系下的横坐标，用YE(m，k)表示这个点在像素坐标系下的纵坐标，像素坐标系的说明如图2所示。E_l(m，k)表示左图像上的点，E_r(m，k)表示右图像上的点。XE_l(m，k)、YE_l(m，k)分别为E_l(m，k)在像素坐标系下的横坐标、纵坐标。XE_r(m，k)、YE_r(m，k)分别为E_r(m，k)在像素坐标系下的横坐标、纵坐标。

其中所述步骤S4包括：

S4-1：对左相机(多台摄像机也是两两分为一组，每一组中的相机分别称作左相机和右相机，以后不再赘述)拍摄的左图像(与此相对右图像就是右相机拍摄到的图像)中得到的闪电的边缘曲线上的每一点利用基本矩阵F求出其在右图像上的极线方程。

记待匹配象素点d_l为左图像矩阵(i，j)位置处的点在像素坐标系下的齐次坐标，dl＝[j，i，1]’，记Q为这个点在右图像上对应的极线方程，则Q的表达式如下：

Q＝F×d_l

得到的Q是一个包含三个元素的列向量。

图像像素坐标系下，Q可表示y＝ax+b的形式，记Q(i)(i＝1，2，3)代表Q的第i个元素，则：

a＝-Q(1)/Q(2)

b＝-Q(3)/Q(2)

若极线垂直于x轴，则应把Q表示为x＝c的形式：

c＝-Q(3)/Q(1)

S4-2：对右图像极线约束得到候选匹配点。将左图像中待匹配闪电点Pl0表示成如步骤S3-4所描述的轮廓曲线序列点的形式，Pl0＝E_l(m，k)。在右图像中极线与闪电轮廓曲线相交得到至少一个交点，与右图像第n条闪电分支相交于点P_rn，将交点表示成轮廓曲线序列点的形式P_rn＝E_r(n，g)。经过极线约束后，候选匹配点为P_rn所在的曲线上以P_rn为中心的总数目为h的点序列E_r(n，g+i)(-(h-1)/2＜i＜(h-1/2)。

S4-3：最终匹配点。为了建立P_l0和如S4-2中所述的候选匹配点的匹配关系，将以P_l0为中心的的邻域曲线与以候选匹配点为中心的邻域曲线进行相似度比较，相似度是根据斜率互相关方式计算，所有候选匹配点中邻域曲线与P_l0的邻域曲线相似度最大的点P_rmax就是最终匹配点。左图像上的点E_l(p，a)的领域曲线和右图像上的点E_r(q，b)的领域曲线相似度的计算公式如下：

$\mathrm{CC}=\underset{i=-(w-1)/2}{\overset{(w-1)/2}{\mathrm{\Σ}}}{[I(X{E}_l(p,a+i),{\mathrm{YE}}_l(p,a+i))-T({\mathrm{XE}}_r(q,b+i),\mathrm{YEr}(q,b+i))]}^2$

其中I(x，y)为左图像在像素坐标系下坐标为(x，y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率，I(XE_l(p，a+i)，YE_l(p，a+i))的计算公式如下：

I(XE_l(p，a+i)，YE_l(p，a+i))＝(YE_l(p，a+i)-YE_l(p，a+i-1))/(XE_l(p，a+i)-XE_l(p，a+i-1))

T(x，y)为右图像在像素坐标系下坐标为(x，y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率。

S4-1中的基本矩阵F包括由两台相机组成的立体视觉测量系统的所有参数，即两个相机内部参数A_l、A_r和视觉系统的结构参数R、T，其中R、T分别是两台相机以其中一台为参考的旋转矩阵和平移矩阵。如果pl和pr为对应图像点，则满足p_r’＊F＊p_l＝0，并且Q_r＝F＊p_l为对应于p_l的极线，Q_l＝F＊p_r为对应于p_r的极线。基本矩阵可以表示为：

$F={A_r}^{-T}*S*R*{A_l}^{-1}$

其中S为反对称矩阵，记T＝[tx，ty，tz]^T，则S的表达式如下：

$S={\left[T\right]}_{\×}=\left[\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right]$

S4-3中提出的基于极线约束和区域匹配的匹配方法提高了匹配的精度，减小了误匹配的可能，S4-3提出的基于斜率互相关方式的特征匹配的方法是结合闪电匹配的具体情况而提出的方法，比基于其他的特征的匹配方法提高了匹配精度，有效地减少了虚假匹配。

其中所述步骤S5包括：

S5-1：对左右相机拍摄到的闪电图像的点的坐标分别用相应的相机的部分内参数从像素坐标系变换到图像坐标系。变换方法如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/\mathrm{dX}& 0& u_0\\ 0& 1/\mathrm{dY}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$

其中，(u，v)表示以像素为单位的图像坐标系的坐标，(X，Y)表示以mm为单位的图像坐标系的坐标，在X，Y坐标系中，原点O定义在相机光轴与图像平面的交点，该点一般位于图像中心处，但由于某些原因，也会有偏离，若O在u，v坐标系中坐标为(u₀，v₀)，每一个像素在X轴与Y轴方向上的物理尺寸为dX，dY。

S5-2：由相机透视变换模型，用左相机的另外一部分内参数(相机有效焦距f1)列出空间三维点在左相机坐标系下的坐标[z，y，z]’变换到左相机拍摄到的闪电照片在左图像坐标系下的坐标[X_l，Y_l]’的方程，记为方程①；同理对右相机列出空间三维点在右相机坐标系下的坐标[x_r，y_r，z_r]’变换到右相机拍摄到的闪电照片在右图像坐标系下的坐标[X_r，Y_r]’的方程，记为方程②。

$S_l\left[\begin{array}{c}{X}_l\\ Y_l\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_l& 0& 0\\ 0& f_l& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$ ①

$S_r\left[\begin{array}{c}{X}_r\\ Y_r\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_r& 0& 0\\ 0& f_r& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]$ ②

其中f_l、f_r分别为左右相机的有效焦距。

S5-3：由左右相机相对于世界坐标系的旋转矩阵和平移矩阵求出以其中一台相机为参考，这里以左相机为参考，两台相机之间的旋转矩阵和平移矩阵，记为M_lr＝[R T]，R，T的表达式如下：

$R=R_r*R_l^{-1}$

$T=T_r-R_r*{R_l}^{-1}*T_l$

其中，R_l、T_l为左相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵，R_r、T_r为右相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵。

S5-4：如步骤S5-3所述，用M_lr列出空间三维点坐标点在左相机坐标系下的坐标[x，y，z，1]’变换到右相机坐标系的坐标[x_r，y_r，z_r]’，记为方程③。

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=M_{\mathrm{lr}}\left[\begin{array}{c}x\\ y\\ z\\ z\end{array}\right]$ ③

S5-5：联立方程①、②、③，解出用闪电点用左右图像坐标系下的二维坐标和左右相机的内外参数表示的坐标，此坐标是在左相机坐标系下的三维点的坐标。

S5-6：将步骤S5-5得到的闪电点在左相机坐标系下的坐标，用左相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵，求出空间三维点在世界坐标系下的空间坐标。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于多幅图像及立体视觉的闪电三维图像重建方法，其特征在于，所述方法包括以下步骤： 

S1:复数个相机标定：靶标位置固定，改变相机相对于靶标的距离及拍摄角度，确定相机内外参数； 

S2:闪电图像获取：获取不同位置、同一时刻的多幅闪电图像； 

S3:闪电轮廓抽取：去除图像中背景信息，抽取闪电部分，对闪电部分的双轮廓抽取出其中心曲线作为最终的轮廓曲线；包括：利用差分算子计算图像的横向梯度f₁(i,j)和纵向梯度f₂(i,j)；在每一行中，对单独这一行的所有的像素的梯度值构成的离散序列求出其中梯度为极值的像素；若这一行中两个极值像素点满足下列条件：列号小的像素是极大值，列号大的像素是极小值，并且两个像素之间没有其他极值点；则这两个极值像素点之间的所有像素均为闪电点；在每一列中，对单独这一列的所有的像素的梯度构成的离散序列求出其中梯度为极值的像素；若这一列中两个极值像素点满足下列条件：行号小的像素是极大值，行号大的像素是极小值，并且两个像素之间没有其他极值点；则这两个极值像素点之间的所有像素均为闪电点；对得到的闪电部分，抽取出闪电部分的双轮廓中心曲线，得到每幅图像中用轮廓曲线序列点E(m,k)表示的点； 

E(m,k)表示图像中第m条闪电分支轮廓曲线上的第k个顺序点，E_l(m,k)、E_r(m,k)分别表示左、右图像上的点；用XE(m,k)表示这个点在像素坐标系下的横坐标，用YE(m,k)表示这个点在像素坐标系下的纵坐标，BE(m,k)表示这个点的灰度； 

横向梯度f₁(i,j)和纵向梯度f₂(i,j)的计算公式如下： 

f₁(i,j)=I(i,j)-I(i,j-1) 

f₂(i,j)=I(i,j)-I(i-1,j) 

其中I(i,j)为图像矩阵（i,j）位置处的像素灰度值； 

S4:闪电匹配：以其中一幅图像中的闪电点作为待匹配点在另一幅图 像中进行极线约束得到候选匹配点，然后利用闪电曲线斜率互相关进行最终匹配；包括： 

S4-1:获取极线约束方程：多台摄像机是两两分为一组，每一组中的相机分别称作左相机和右相机，左相机拍摄的图像称为左图像，右相机拍摄到的图像称为右图像；对左图像中得到的闪电的边缘曲线上的每一点利用基本矩阵F求出其在右图像上的极线方程； 

记待匹配像 素点d_l为左图像矩阵（i,j）位置处的点在像素坐标系下的齐次坐标,d_l=[j,i,1]’，记Q为这个点在右图像上对应的极线方程，则Q的表达式如下： 

Q=F·d_l

得到的Q是一个包含三个元素的列向量； 

图像像素坐标系下，Q可表示y=ax+b的形式，记Q(i)(i=1,2,3)代表Q的第i个元素，则: 

a=-Q(1)/Q(2) 

b=-Q(3)/Q(2) 

若极线垂直于x轴，则应把Q表示为x=c的形式： 

c=-Q(3)/Q(1) 

S4-2:对右图像极线约束得到候选匹配点；将左图像中待匹配闪电点P_l0表示成轮廓曲线序列点的形式,P_l0=E_l(m,k)；在右图像中极线与闪电轮廓曲线相交得到至少一个交点，与右图像第n条闪电分支相交于点P_rn，将交点表示成轮廓曲线序列点的形式P_rn=E_r(n,g)；经过极线约束后，候选匹配点为P_rn所在的曲线上以P_rn为中心的总数目为h的点序列E_r(n,g+i)(-(h-1)/2<i<(h-1)/2)； 

S4-3:获得最终匹配点：为了建立P_l0和如S4-2中所述的候选匹配点的匹配关系，将以P_l0为中心的邻域曲线与以候选匹配点为中心的邻 域曲线进行相似度比较，相似度是根据斜率互相关方式计算，所有候选匹配点中 邻域曲线与P_l0的邻域曲线相似度最大的点P_rmax，且相似度满足阈值要求的点就是最终匹配点；左图像上的点E_l(p,a)的邻 域曲线和右图像上的点E_r(q,b)的邻 域曲线相似度的计算公式如下： 

其中I(x,y)为左图像在像素坐标系下坐标为(x,y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率，w为候选匹配点的数量； 

I(XE_l(p,a+i),YE_l(p,a+i))的计算公式如下： 

I(XE_l(p,a+i),YE_l(p,a+i))=(YE_l(p,a+i)-YE_l(p,a+i-1))/(XE_l(p,a+i)-XE_l(p,a+i-1)) 

T(x,y)为右图像在像素坐标系下坐标为(x,y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率 ；

S5:匹配点空间定位：根据立体视觉数学模型计算出空间点在世界坐标系下的坐标，完成闪电三维重建。 

2.根据权利要求1所述的基于多幅图像及立体视觉的闪电三维图像重建方法，其特征在于，所述相机标定包括，将靶标铅直放置于相机前方，以其中一台相机所在地建立世界坐标系，其它相机所在地放置靶标的位置建立相应的伪世界坐标系；世界坐标系和伪世界坐标系均以水平面为基准，且其X轴、Y轴、Z轴的朝向完全相同。 

3.根据权利要求1或2所述的基于多幅图像及立体视觉的闪电三维图像重建方法，其特征在于，所述闪电轮廓抽取包括，对图像灰度用K均值聚类法将图像分割成1,2, …,n层图像，第n层为闪电的部分；同时对传统的K均值聚类法进行改进：考虑第n-1层中每个点对聚类贡献的权重，设定权重阈值，取出权重大于阈值的点；第n-1层图像中，图像矩阵（i,j）处的点的权重d(i,j)的定义如下： 

其中，C_n-1为第n-1层聚类中心的灰度值，I(i,j)为图像矩阵（i,j）处的灰度值。 

Images