CN103712604A - 一种光学多目标三维空间定位方法及系统 - Google Patents

Abstract

一种光学多目标三维空间定位方法及系统，该方法包括步骤：将具有一维传感器的两个线阵相机和面阵相机标定；使用两个线阵相机和面阵相机同时对目标进行数据采集，获取两幅一维图像数据和一幅二维图像数据；将所述一维图像数据分别进行峰值提取处理，得到其中的目标数量及一维坐标；根据所得到的目标的一维坐标在所述二维图像数据中进行搜索，得到目标在二维图像中的坐标位置；及，根据上述获得的一维坐标和二维坐标，结合标定过程得到的坐标转换关系来重建目标点的空间三维坐标。本发明利用线阵相机中的目标点目标辅助面阵相机的目标点提取，避免了传统对二维图像数据进行全图搜索的情况，数据搜索速度快，对于多目标点的识别与匹配过程较快。

Description

一种光学多目标三维空间定位方法及系统

技术领域

本发明涉及对多个目标进行三维空间定位技术，具体是一种光学多目标三维空间定位方法及系统。

背景技术

目前行业上进行三维空间定位主要有光学和电磁学两种方式。电磁学方法容易受到电磁干扰，在某些环境下无法使用。

光学方法中常见的是使用两个二维光学传感器（例如面阵CCD或者CMOS）进行拍摄，但这种方法需要从整幅二维图像上提取出多个目标点，就要几乎对整幅图像进行检索，来匹配目标点的像位置，耗时较长。也有完全使用一维光学传感器（线阵CCD），对多目标进行识别，这样至少需要4个一维光学传感器才能实现多目标的同时检测，而且在摆放上有一定要求，不能用一个简单的弧形结构来定位。

发明内容

为了避免现有三维空间定位技术的上述不足，提高定位速度，本发明提供一种光学多目标三维空间定位方法及系统，其利用两个一维传感器获取的数据来辅助二维传感器上信号的提取，以此在保证精度的同时达到提高速度的目的。

本发明光学多目标三维空间定位方法，包括以下步骤：

（1）、将具有一维传感器的两个线阵相机和具有二维传感器的面阵相机标定；

（2）、使用两个线阵相机分别从两个方向对目标进行数据采集（拍摄），获取两幅一维图像数据；

（3）、同时通过面阵相机对该目标进行数据采集，获得一幅二维图像数据；

（4）、将步骤（2）得到的每一幅一维图像数据分别进行峰值提取处理，得到其中的目标数量及一维坐标；

（5）、根据步骤（4）得到的目标的一维坐标，在步骤（3）所获得的二维图像数据中进行搜索，得到目标在二维图像中的坐标位置，以及图像中的目标点与一维传感器中尖峰的对应关系；

（6）、根据步骤（4）中的两组一维坐标和步骤（5）中的二维坐标，结合标定过程得到的坐标转换关系来重建目标点的空间三维坐标。

其中，所述步骤（4）中峰值提取处理之前，进一步对所述一维图像数据进行滤波处理。

所述步骤（5）中进行搜索之前，进一步对所述二维图像数据进行低通滤波，并通过自适应阈值将图像进行二值化。搜索之后，利用区域增长的方法，获得目标点的光斑范围，用重心法求得此光斑的中心位置，作为目标点的图像坐标。

步骤（6）中，所述的坐标转换关系是指：由一定数量的已知坐标点对所述线阵相机和所述面阵相机进行标定后，得到相机的内外方位元素，进而得到相机坐标系和世界坐标系的转换关系。

步骤（6）的三维空间坐标重建方法具体为：根据标定过程中得到的相机坐标系和世界坐标系的关系联立方程组，并求出其最小二乘解。

步骤（1）中所述标定和步骤（6）重建过程中可以采用直接线性变换（DLT）方法。

所述两个线阵相机和面阵相机呈弧形定位，可测量范围为三者可拍摄范围的交集。

实现上述方法的一种光学多目标三维空间定位系统，包括：

信号处理模块，用于对图像信号进行处理及三维坐标重建；

连接于信号处理模块输出端的显示模块；

连接于信号处理模块输入端的线阵CCD采集卡和面阵CCD采集卡；

经过标定的用于采集目标的一维图像数据的两个线阵相机，连接于线阵CCD采集卡的输入端；及

经过标定的用于采集目标的二维图像数据的面阵相机，连接于面阵CCD采集卡的输入端。

其中，所述线阵相机含有一维传感器和柱面透镜，柱面透镜的中心对准在一维传感器的中心，并且一维传感器距离柱面透镜镜的距离约等于焦距；所述面阵相机含有二维传感器和球面透镜，球面透镜的中心对准在二维传感器的中心，并且二维传感器距离球面透镜的距离约等于焦距。

所述信号处理模块由计算机或其他图像信号处理芯片构成，用于对信号进行处理及三维坐标重建。可使用终端显示器作为显示模块，将信号处理模块的结果显示出来。

本发明对于现有技术的有益效果如下：

本发明利用线阵相机中的目标点目标辅助面阵相机的目标点提取，对于数据的搜索速度较快，对于多目标点的识别与匹配过程较快。

在预先对各个相机进行标定之后，即可获得了各个相机相对于世界坐标系的关系，也可以通过一定数据获得两个一维传感器（线阵CCD）数据与二维传感器（面阵CCD）数据的一定联系。根据这个联系，就可以通过优先处理的一维传感器数据来定位二维传感器数据的检索起始点，避免了要对二维图像数据进行全图搜索的情况，这样在很大程度上提高了对一幅图像的处理速度。

同样通过这个联系，可以自然的将两个一维传感器（线阵CCD）和一个二维传感器（面阵CCD）上的光斑建立对应关系，据此对应关系进行多目标点的识别与匹配，省去了遍历所有可能组合，来寻找正确组合方式的必要。

附图说明

图1是本发明系统框图；

图2是本发明一实施例中的相机CCD与测量目标点的空间位置摆放关系示意图；

图3是本发明的数据处理流程框图。

具体实施方式

下面结合附图对本发明作进一步详细的描述。

参照图1、2，本发明实现三维空间定位的系统主要包括：信号处理模块107，连接于信号处理模块107的显示模块108，连接于信号处理模块107输入端的线阵CCD采集卡105和面阵CCD采集卡106，与线阵CCD采集卡105输入端连接的两个线阵相机C1，以及与面阵CCD采集卡106输入端连接的面阵相机C2。

两个线阵相机C1和面阵相机C2均经过标定处理，两个线阵相机C1用于采集目标的两个方向的一维图像数据，面阵相机C2用于采集目标的第三方向的二维图像数据。

信号处理模块107可由计算机或其他图像信号处理芯片构成，用于对图像信号进行处理及三维坐标重建。可使用终端显示器作为显示模块108，将信号处理模块107的结果显示出来。

线阵相机C1含有一维传感器101（如线阵CCD）和柱面透镜103等。柱面透镜103的中心对准在一维传感器101的中心，并且一维传感器101距离柱面透镜镜103的距离约等于焦距。由于目标点距离柱面镜头103的距离较远，可视为在无限远处，这样的像会聚焦在该透镜的焦平面上，也就是一维传感器上。

面阵相机C2含有二维传感器102（如面阵CCD）和球面透镜104等。球面透镜104的中心对准在二维传感器102的中心，并且二维传感器102距离球面透镜104的距离约等于焦距。由于目标点距离球面镜头的距离较远，可视为在无限远处，这样的像会聚焦在该透镜的焦平面上，也就是二维传感器（面阵CCD）上。

两个一维传感器101获取的一维图像数据通过线阵CCD采集卡105传输至信号处理模块107，二维传感器102获取的二维图像数据通过面阵CCD采集卡106传输至信号处理模块107，信号处理模块107根据图像处理程序依次操作；首先，处理两个一维传感器的数据，据此处理结果来分析二维传感器的数据，再进行目标点的三维空间坐标重建。

上述两个线阵相机C1和面阵相机C2摆放方式是多样的，可以如图2所示，但不受限于此。图2中，两个线阵相机C1和面阵相机C2呈弧形定位，面阵相机C2位于两个线阵相机C1的两边，两个线阵相机C1垂直摆放，即两个一维传感器101垂直摆放，201为所要检测的目标点，它将会在每个一维传感器101上形成一条像线202，同时会在二维传感器102（面阵相机C2中）上形成一个像点203。

上述两个线阵相机C1和面阵相机C2可测量范围为三个镜头可拍摄范围的交集。互相垂直摆放的两个一维传感器101可以有效的对目标点在二维传感器102上成像的位置提供参考信息。在信号处理模块107中首先对两个一维传感器101的信号进行滤波处理，由于滤光片的存在，可以轻松的提取出目标点的一维位置；根据这两个一维位置来确定对二维传感器102滤波后图像的检索起始位置，这样就可以得到每一个目标点的两个一维坐标x⁽¹⁾，x⁽²⁾和一个二维坐标(x,y)。再结合对相机标定的结果，就可以重建出目标点的三维空间坐标。

参照处理流程图3，步骤如下：

步骤301、对两幅一维图像数据分别滤波处理。滤波过程由于在镜头外加装了红外滤光片的原因，使得本身波形就比较理想，只需要进行自适应的阈值选择，将目标点的信号峰保留，而将其它的噪声信号去除掉即可；

步骤302、对一幅二维图像数据进行滤波处理。滤波过程包括低通滤波将噪声信号去除，通过自适应阈值将图像进行二值化，仅留下白色的目标点的像和黑色的背景；

步骤303、从滤波后的两幅一维图像数据中分别提取到4个一维坐标。滤波后的信号仅剩下目标点的4个信号峰，分别计算每个峰的重心坐标，将其作为该目标点在该线阵相机上的坐标；

步骤304、利用线阵相机中的目标点目标辅助面阵相机的目标点提取。由于相机摆放位置的相对关系是固定的，对一个目标点来说，其线阵坐标与面阵坐标之间有一定关系，对线阵相机的信号处理较快，于是将线阵坐标作为已知，用来推算其面阵坐标的存在范围，以减小搜索范围；

步骤305、将步骤303过程中所提取的两组一维坐标（4个一维坐标/组），通过步骤304给出了该目标点的一个存在范围，从滤波后的二维图像数据的该存在范围内搜索目标点，并将所有目标点所成像的像素位置通过重心法计算其中心，进而得到目标点的二维坐标；

步骤306、预先相机标定，得到一组转换矩阵（3个相机/组）；

步骤307、通过步骤306得到一组转换矩阵，该一组转换矩阵结合步骤303所提取的两组一维坐标、步骤305得到的一组二维坐标一起重建为一组目标点的三维空间坐标。

本发明中对相机标定和三维重建的具体过程包括以下过程：

（1）大地坐标到相机坐标的变换

设大地坐标系O_wX_wY_wZ_w、相机坐标系O_cX_cY_cZ_c和图像坐标系O₁xy。(X_c,Y_c,Z_c)为标志点在相机坐标系中的坐标，(X_w,Y_w,Z_w)为标志点的大地坐标，(x,y)为像点在图像坐标系中的坐标，(X_t,Y_t,Z_t)为相机透镜中心在大地坐标系中的坐标。为推导大地坐标系和相机坐标系间的变换关系，增加辅助坐标系OUVW，相机透镜中心在辅助坐标系中的坐标为。

$\begin{array}{ccccccc}{X}_c& & r_{11}& r_{12}& r_{13}& X_w& X_t\\ Y_c& =& r_{21}& r_{22}& r_{23}& Y_w& Y_t\\ Z_c& & r_{31}& r_{32}& r_{33}& Z_w& Z_t\end{array}$

$\begin{array}{ccccccc}& X_w& & & X_w& & U_0\\ R& Y_w& T& R& Y_w& =& V_0\\ & Z_w& & & Z_w& & W_0\end{array}---\left(1\right)$

（2）大地坐标和二维传感器（面阵CCD）上像坐标的关系

根据针孔成像原理，像平面上的像点(x,y)和标志点在相机坐标系上坐标(X_c,Y_c,Z_c)的

为：

$\begin{array}{ccc}x=f\frac{X_c}{Z_c},& y& f\frac{Y_c}{Z_c}---\left(2\right)\end{array}$

当考虑到相机镜头的主光轴不能恰好穿过图像坐标系的原点时有（设(x₀,y₀)是相机坐标系的Z_c轴与图像坐标系的交点。）：

$\begin{array}{cccccc}x& x_0& =f\frac{X_c}{Z_c};& y& y_0& f\frac{Y_c}{Z_c}\end{array}---\left(3\right)$

将（1）代入（3）中可得

$x=\frac{\begin{array}{cc}{L}_1{X}_w+L_2{Y}_w& L_3{Z}_w+L_4\end{array}}{\begin{array}{cc}{L}_5{X}_w+L_6{Y}_w& L_7{Z}_w+1\end{array}}$

                                                  (4)

$y=\frac{\begin{array}{cc}{L}_8{W}_w+L_9{Y}_w& L_{10}{Z}_w+L_{11}\end{array}}{\begin{array}{cc}{L}_5{X}_w+L_6{Y}_w& L_7{Z}_w+1\end{array}}$

其中，L系数与相机内外方位元素的关系为：

$L_1=\frac{(\begin{array}{cc}{x}_0{r}_{31}& f{r}_{11}\end{array})}{W_0},$

$L_2=\frac{\left(\begin{array}{cc}{x}_0{r}_{32}& f{r}_{12}\end{array}\right)}{W_0},$

                                                   （5）

$L_3=\frac{\left(\begin{array}{cc}{x}_0{r}_{33}& f{r}_{13}\end{array}\right)}{W_0},$

$\begin{array}{cc}{L}_4=x_0& f\frac{U_0}{W_0},\end{array}$

$L_5=\frac{r_{31}}{W_0},$

$L_6=\frac{r_{32}}{W_0},---\left(6\right)$

$L_7=\frac{r_{33}}{W_0},$

$L_8=\frac{\left(\begin{array}{cc}{y}_0{r}_{31}& f{r}_{11}\end{array}\right)}{W_0},$

$L_9=\frac{\left(\begin{array}{cc}{y}_0{r}_{32}& f{r}_{12}\end{array}\right)}{W_0},---\left(7\right)$

$L_{10}=\frac{\left(\begin{array}{cc}{y}_0{r}_{33}& f{r}_{13}\end{array}\right)}{W_0},$

$L_{11}=\begin{array}{cc}{y}_0& f\frac{U_0}{W_0},\end{array}$

（3）大地坐标和一维传感器（线阵CCD）上像坐标的关系

一维传感器（线阵CCD）只能测量一维信息，与传感器垂直的y方向上的坐标无法获取。最终得到的公式为

$x=\frac{\begin{array}{cc}{L}_1{X}_w+L_2{Y}_w& L_3{Z}_w+L_4\end{array}}{\begin{array}{cc}{L}_5{X}_w+L_6{Y}_w& L_7{Z}_w+1\end{array}}---\left(8\right)$

其中L₁L₇仍与式（5）、（6）相同。

（4）相机内外方位元素标定

A.一维传感器（线阵CCD）中的内外方位元素求取

求L系数。在整个测量空间内分布着若干个控制点，这些控制点的空间三维坐标通过经纬仪精确测定，它们在各个线性相机中的像坐标都可以测定，由控制点的像坐标和空间三维坐标的关系，即满足式（8），反算出每一个相机的内外方位元素。从式（5）、（6），给出了相机的内外方位元素和L系数的关系，因此求解L系数就是决定相机内外方位元素。

重新整理式（8）可得：

L₁X_w+L₂y_w L₃z_w+L₄ xL₅X_w+xL₆Y_w xL₇Z_w x    （9）

选取至少7个控制点组成至少7个方程才能得出唯一解。

写成矩阵形式：

ML=B                       （10）

其中：

$M=\begin{array}{ccccccc}{X_w}^{\left(1\right)}& {Y_w}^{\left(1\right)}& {Z_w}^{\left(1\right)}& 1& x^{\left(1\right)}{X_w}^{\left(1\right)}& x^{\left(1\right)}{Y_w}^{\left(1\right)}& x^{\left(1\right){Z_w}^{\left(1\right)}}\\ {X_w}^{\left(2\right)}& {Y_w}^{\left(2\right)}& {Z_w}^{\left(2\right)}& 1& x^{\left(2\right)}{X_w}^{\left(2\right)}& x^{\left(2\right)}{Y_w}^{\left(2\right)}& x^{\left(2\right)}{Z_w}^{\left(2\right)}\\ .& & & & & & \\ .& & & & & & \\ .& & & & & & \\ {X_w}^{\left(m\right)}& {Y_w}^{\left(m\right)}& {Z_w}^{\left(m\right)}& 1& x^{\left(m\right)}{X_w}^{\left(m\right)}& x^{\left(m\right)}{Y_w}^{\left(m\right)}& x^{\left(m\right)}{Z_w}^{\left(m\right)}\end{array}$

L=L₁ L₂ L₃ L₄ L₅ L₆ L₇ ^T

${B=x^{\left(1\right)}{x}^{\left(2\right)}\·\·\·x^{\left(m\right)}}^T$

通过求超定方程组的最小二乘解减小系统误差：

M^TML=M^TB

求解相机内外方位元素。

由R为单位正交矩阵可得：

结合式（5）、（6）可得

${W_0}^2=\frac{1}{\begin{array}{cc}{L_5}^2+{L_6}^2& {L_7}^2\end{array}}$

L₁L₅+L₂L₆ L₃L₇+ x₀/W₀ ²

f²=W₀ ²(L₁ ² L₂ ²+L₃ ²)x₀ ²

U₀=(L₄ x₀)W₀/f

r₃₁=W₀L₅

r₃₂=W₀L₆

r₃₃=W₀L₇

$r_{11}=\frac{L_1{W}_0+x_0{r}_{31}}{f}$

$r_{12}=\frac{L_2{W}_0+x_0{r}_{32}}{f}$

$r_{13}=\frac{L_3{W}_0+x_0{r}_{33}}{f}$

$\begin{array}{cccc}{r}_{21}& & r_{31}& r_{11}\\ r_{22}& =& r_{32}& r_{12}\\ r_{23}& & r_{33}& r_{13}\end{array}$

B.二维传感器（面阵CCD）中的内外方位元素求取

L系数计算方式与一维传感器（线阵CCD）相同，只是此时有11个系数，至少选取6个控制点12个方程。根据L系数计算相机内外方位系数的方法也与上面相同

（5）重构三维坐标

利用两个面和一条直线的交点计算标志点的世界坐标。由两个一维传感器（线阵CCD）和一个二维传感器（面阵CCD）的像坐标可以得到：

$x=\frac{\begin{array}{cc}{L}_1{X}_w+L_2{Y}_w& L_3{Z}_w+L_4\end{array}}{\begin{array}{cc}{L}_5{X}_w+L_6{Y}_w& L_7{Z}_w+1\end{array}}$

$y=\frac{\begin{array}{cc}{L}_8{W}_w+L_9{Y}_w& L_{10}{Z}_w+L_{11}\end{array}}{\begin{array}{cc}{L}_5{X}_w+L_6{Y}_w& L_7{Z}_w+1\end{array}}$

$x^{\left(1\right)}=\frac{\begin{array}{cc}{L_1}^{\left(1\right)}{X}_w+{L_2}^{\left(1\right)}{Y}_w& {L_3}^{\left(1\right)}{Z}_w+{L_4}^{\left(1\right)}\end{array}}{\begin{array}{cc}{L_5}^{\left(1\right)}{X}_w+{L_6}^{\left(1\right)}{Y}_w& {L_7}^{\left(1\right)}{Z}_w+1\end{array}}$

$x^{\left(2\right)}=\frac{\begin{array}{cc}{L_1}^{\left(2\right)}{X_w}^{\left(2\right)}+{L_2}^{\left(2\right)}{Y}_w& {L_3}^{\left(2\right)}{Z}_w+{L_4}^{\left(2\right)}\end{array}}{\begin{array}{cc}{L_5}^{\left(2\right)}{X}_w+{L_6}^{\left(2\right)}{Y}_w& {L_7}^{\left(2\right)}{Z}_w+1\end{array}}$

将上式整理成矩阵方程的形式为：

NW=C

其中：

$N=\begin{array}{cccccc}x{L}_5& L_1& x{L}_6& L_2& x{L}_7& L_3\\ x{L}_5& L_8& y{L}_6& L_9& y{L}_7& L_{10}\\ x^{\left(1\right)}{L_5}^{\left(1\right)}& {L_1}^{\left(1\right)}& x^{\left(1\right)}{L_6}^{\left(1\right)}& {L_2}^{\left(1\right)}& x^{\left(1\right)}{L_7}^{\left(1\right)}& {L_3}^{\left(1\right)}\\ x^{\left(2\right)}{L_5}^{\left(2\right)}& {L_1}^{\left(2\right)}& x^{\left(2\right)}{L_6}^{\left(2\right)}& {L_2}^{\left(2\right)}& x^{\left(2\right)}{L_7}^{\left(2\right)}& {L_3}^{\left(2\right)}\end{array}$

$W=\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}$

$C=\begin{array}{cc}{L}_4& x\\ L_{11}& y\\ {L_4}^{\left(1\right)}& x^{\left(1\right)}\\ {L_4}^{\left(2\right)}& x^{\left(2\right)}\end{array}$

求其最小二乘解为W满足：

N^TNW=N^TC。

本发明在上述标定和重建过程中使用了直接线性变换（DLT）的方法，但并不受限于此，其目的在于建立起相机坐标系和世界坐标系的关系。

本发明是一种综合利用了一维传感器（线阵CCD）和二维传感器（面阵CCD）的优点，来提升速度的三维空间定位方法，在相机的放置与组合上并不受限于上述的例子的限制。

Claims (9)

1.一种光学多目标三维空间定位方法，其特征在于，包括以下步骤：

（1）、将具有一维传感器的两个线阵相机和具有二维传感器的面阵相机标定；

（2）、使用两个线阵相机分别从两个方向对目标进行数据采集，获取两幅一维图像数据；

（3）、同时通过面阵相机对该目标进行数据采集，获得一幅二维图像数据；

（4）、将步骤（2）得到的每一幅一维图像数据分别进行峰值提取处理，得到其中的目标数量及一维坐标；

（5）、根据步骤（4）得到的目标的一维坐标，在步骤（3）所获得的二维图像数据中进行搜索，得到目标在二维图像中的坐标位置，以及图像中的目标点与一维传感器中尖峰的对应关系；

（6）、根据步骤（4）中的两组一维坐标和步骤（5）中的二维坐标，结合标定过程得到的坐标转换关系来重建目标点的空间三维坐标。

2.根据权利要求1所述的方法，其特征在于，所述步骤（4）中峰值提取处理之前，进一步对所述一维图像数据进行滤波处理。

3.根据权利要求1所述的方法，其特征在于，所述步骤（5）中进行搜索之前，进一步对所述二维图像数据进行低通滤波，并通过自适应阈值将图像进行二值化。

4.根据权利要求1所述的方法，其特征在于，步骤（6）中所述的坐标转换关系是指：由一定数量的已知坐标点对所述线阵相机和所述面阵相机进行标定后，得到相机的内外方位元素，进而得到相机坐标系和世界坐标系的转换关系。

5.根据权利要求1所述的方法，其特征在于，所述两个线阵相机和面阵相机呈弧形定位，可测量范围为三者可拍摄范围的交集。

6.根据权利要求1所述的方法，其特征在于，步骤（1）所述标定过程和步骤（6）重建过程中采用直接线性变换（DLT）方法。

7.实现权利要求1-6任何一项所述方法的一种光学多目标三维空间定位系统，其特征在于，包括：

信号处理模块，用于对图像信号进行处理及三维坐标重建；

连接于信号处理模块输出端的显示模块；

连接于信号处理模块输入端的线阵CCD采集卡和面阵CCD采集卡；

经过标定的用于采集目标的一维图像数据的两个线阵相机，连接于线阵CCD采集卡的输入端；及

经过标定的用于采集目标的二维图像数据的面阵相机，连接于面阵CCD采集卡的输入端。

8.根据权利要求7所述的系统，其特征在于，所述线阵相机含有一维传感器和柱面透镜，柱面透镜的中心对准在一维传感器的中心，并且一维传感器距离柱面透镜镜的距离约等于焦距；所述面阵相机含有二维传感器和球面透镜，球面透镜的中心对准在二维传感器的中心，并且二维传感器距离球面透镜的距离约等于焦距。

9.根据权利要求7或8所述的系统，其特征在于，所述信号处理模块包括计算机和图像处理芯片。

Images