CN103577697A - 基于道路表面点云数据的fod检测方法 - Google Patents

Abstract

本发明涉及三维点云图像物体检测技术，发明了一种从激光扫描设备获取的大量点云数据中自动检测跑道入侵异物的方法。本发明针对上述存在的问题，提供一种从激光扫描设备获取的大量点云数据中自动检测跑道入侵异物的方法。通过将激光扫描仪获取的点云数据转变为跑到坐标的点云数据，判断其中垂直方向上的物体数据大小，来判断是否为入侵异物。本发明设计了一套完整的数据处理和入侵异物检测的方法，且没有特殊的硬件设备要求，达到快速的、准确的、自适应能力强的跑道平面入侵异物检测的效果。

Description

基于道路表面点云数据的FOD检测方法

技术领域

本发明涉及三维点云图像物体检测技术，发明了一种从激光扫描设备获取的大量点云数据中自动检测跑道入侵异物的方法。 

背景技术

在飞机起降过程中，跑道上存在的入侵异物（Foreign Object Debris,FOD）可能对航班的安全造成重大的威胁。潜在的危害轻则损坏机身，重则造成空难，机毁人亡。因此，为了确保航班的安全，入侵物必须及时被发现、识别，并根据其威胁等级做出相应的处理。威胁航空安全的跑道入侵物可以小至3cm直径，在上千米长的跑道上使用人工排查的方式，效率低下，且入侵物被忽略的可能性较高。因此使用一种自动化系统来高效准确地发现并排除跑道入侵物，对机场的安全运行有重要意义。 

现有的FOD自动检测设备使用的技术主要是图像技术和雷达技术。图像技术对可见光的依赖较强。即便使用红外设备，受限制的因素，诸如分辨率、自动检测的准确率等，也比较多，因此没有被广泛使用。相比之下，较为广泛使用的技术是雷达检测。探测器发射不同波长的雷达波，根据回波信号判断异物的存在。但是雷达回波信号本身较复杂，直观度较差。且易受杂波和二次反射等影响，准确度和精度都有限制。 

激光扫描三维成像技术是一种在正在逐渐兴起的新技术，其使用大量的激光点探测出物体表面的形状和反射强度，并生成物体表面的三维点云图像。应用在机场跑道环境中，使用点距小于3cm的扫描生成的点云图像，可以无遗失地记录下跑道路面存在的FOD（包括任何出现在机场跑道不适当的位置或可能会损坏飞机或伤害机场工作人员和乘客的物体：如松散的零件，路面上的碎片，饮食用品，建材，石头，沙子，行李，甚至野生动物）。但是直接生成的点云 数据并不能自动发现FOD（不能区别入侵物和道面），因此需要一种方法，能从大量的点云数据中检测FOD的存在并定位。 

在机场飞机起降应用环境中，主要有三个方面的问题给检测方法提出了更高的要求。首先，理想的方法应该在第一时间发现入侵物，入侵物停留的时间越长，造成损害的可能性越大。其次，为了系统整体稳定有序运行，检测的结果不能遗漏跑道上存在的入侵物，也不能过分强调不遗漏而出现过多的把安全误判成危险的错误。最后，室外环境不同于实验室理想环境，地面并不是完美的平面，雾霾雨雪等天气可能带来能见度下降、路面环境变化等问题在实际应用中必须面对。 

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，如手动平面寻找，手动感兴趣区域选择，处理速度慢等问题，提供一种从激光扫描设备获取的大量点云数据中自动检测跑道入侵异物的方法。通过将激光扫描仪获取的点云数据转变为跑到坐标的点云数据，判断其中垂直方向上的物体数据大小，来判断是否为入侵异物。达到快速的、准确的、自适应能力强的跑道平面入侵异物检测的效果。 

本发明采用的技术方案如下： 

一种基于跑道点云数据的FOD检测方法包括： 

步骤1：将激光扫描设备固定在工作位置，让扫描仪扫描面面对跑道，启动激光扫描设备获取点云数据；并通过RANSAC算法对跑道平面数据进行提取，区分跑道平面数据及其他数据；计算跑道平面参数； 

步骤2：根据跑道平面参数计算出h、θ_L和θ_W，根据激光扫描仪设备姿态参数(l,w,h,θ_L,θ_W,θ_H)生成三维变换矩阵T，根据三维变换矩阵T将扫描仪坐标系下的跑道平面原始点云数据(x,y,z)转换为跑道坐标系下的跑道坐标系点云数据(x',y',z')； 

步骤3：当某一物体直径z'>k进入跑道工作区，则判定当前物体为入侵异物，所述k为最小异物阈值；当出现至少是个物体直径z'>k时，则返回步骤1,计算并更新跑道平面参数，校正系统参数。 

所述步骤1区分跑道平面数据及其他数据，具体方式是：根据点云数据，采用RANSAC算法，区分其中点云数据是跑道平面数据还是背景数据，其中输入参数中观测数据指的是扫描仪获取的点云数据，即序列离散的三位空间中的点；适用于数据的当前平面匹配模型，即激光扫描仪设备当前姿态下道面对应平面方程为aX+bY+cZ=1；适用于模型的最少数据个数，即采样点数量范围是3到10；算法迭代次数范围是20到100；用于决定数据是否适应于模型的阀值t是1cm到10cm，即判定一个点是否在跑道平面上；判定模型是否适用于数据集的数据数目输出，即认为平面模型匹配良好所需最少匹配点的数量d范围在所有点数量的50%到80%，当当前点云数据和当前平面匹配模型距离小于t，则表示是跑道平面数据；否则，为背景数据。 

所述步骤2具体步骤是： 

步骤21：根据激光扫描仪设备参数(l,w,h,θ_L,θ_W,θ_H)，L方向和W方向的移动距离(l,w,h)由已经由激光扫描仪设备的安装点确定，生成三维变换矩阵T： 

$T=\left[\begin{array}{cc}& l\\ R& w\\ & h\\ 0& 1\end{array}\right]---\left(1\right)$

其中R是三维旋转矩阵 

$R=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\θ}}_L& -\sin {\mathrm{\θ}}_L\\ 0& \sin {\mathrm{\θ}}_L& \cos {\mathrm{\θ}}_L\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_W& 0& \sin {\mathrm{\θ}}_W\\ 0& 1& 0\\ -\sin {\mathrm{\θ}}_W& 0& \cos {\mathrm{\θ}}_W\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_H& -\sin {\mathrm{\θ}}_H& 0\\ \sin {\mathrm{\θ}}_H& \cos {\mathrm{\θ}}_H& 0\\ 0& 0& 1\end{array}\right]---\left(2\right);$

步骤22：扫描仪获取的原始点云数据(x,y,z)乘以变换矩阵T，得到跑道坐标系(x',y',z')； 

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=T\left[\begin{array}{c}x\\ y\\ z\end{array}\right]---\left(3\right)$

其中x’对应

轴上的位置；y’对应

轴上的位置，且w₁<y'<w₂；z’对应点

轴上的位置，且完美跑道平面下z'=0，而在实际中|z|<τ，τ表示跑道平整度误差范围。 

所述步骤21中绕

轴的旋转角度θ_H有三种方法确定： 

（1）手动设定；（2）使用远距离激光扫描设备的检测系统会扫描到跑道边灯，满足h>P（P地表高度）的条件，快速滤出边灯数据，然后计算使所有边灯连线与

轴平行的转角θ_H；（3）距离较近的道面检测设备会扫描到跑道路沿，然后计算使路沿与

轴平行的转角θ_H。 

所述步骤2中当前物体为入侵异物之后，还包括通过跑道平面应返回的激光强度值来判断物体尺寸判定，具体过程：对于检测出的入侵异物进行返回强度值判定，对于与跑道平面返回的强度值进行比较，当差值大于阈值X，则判定为异物。 

所述步骤2中当前物体为入侵异物之后，还包括通过入侵物体尺寸判定，具体过程是： 

根据入侵异物尺寸为种子点，采用区域生长算法，将相邻孤立的物体点合并，组成入侵异物区域；当入侵异物区域最小直径大于k，则判定为入侵异物，否则为干扰噪音。 

所述的一种基于跑道点云数据的FOD检测方法，其特征在于所述步骤2中当前物体为入侵异物之后，还包括通过入侵异物的表面曲率判定，具体步骤是：对于入侵异物结合附近相邻点，计算出该点处最大曲率κ_Max，若κ_Max大于曲率阈值门限，所述曲率阈值门限取跑道路面最大曲率值的3倍，相邻范围半径是3-6cm。 

综上所述，由于采用了上述技术方案，本发明的有益效果是： 

1）激光扫描设备属于精密仪器，一般情况下需要在安装设备时精确控制设备姿态（包括三个旋转自由度θ_L,θ_W,θ_H和一个移动自由度h）。然而精确控制设备姿态需要精密的测量仪器，复杂的操作，这给系统的安装带来了不便。本发明方法使用任意平面模型代表道面（非水平面）。首先计算出在设备当前姿态下道面对应平面的参数，然后检测扫描数据中的点，判断如果在平面内就表示道面，在平面上则表示入侵异物。使用这样的技术方案，自适应能力强，没有对设备姿态高精度的要求，也可以适用于非水平道面。通过降低设备安装姿态精度需求的自适应调整算法。使用该算法能够根据设备当前的姿态自动调整系统参数，大大降低了安装时对姿态精度的需求。 

2）传统的激光测绘检测方案可以简化为：（1）将设备架设在特定姿态使得水平道面的检测数据在高度为-h₀的平面上（设备点为坐标系原点）；（2）从所有数据中寻找偏离-h₀平面的距离超过k的点，满足h>-h₀+k的点代表入侵异物，其中k表示最小异物直径。而本设计设备安装过程中，本发明安装的姿态是通过对点云数据进行平面匹配的随机抽样点检测RANSAC(RANdom SAmple Consensus)计算进行反馈，并指引调整激光扫描仪设备姿态，让激光扫描仪设备架设方便快捷。 

3）如果设备的姿态有较大偏差，或者为了使设备安装在更好的姿态（可扫描更大道面面积且生成数据在水平面上），算法同时也提供一个反馈指引纠正设备姿态，包括一个垂直高度

上的移动距离h、一个绕

轴旋转角度θ_L和一个绕轴旋转角度θ_W。在L方向和W方向的移动距离(l,w)由已经由设备的安装点确定，一般是已知信 息。 

4）简化了设备在安装时的需求，为设备提供了良好的姿态自适应和自我检测功能，使整个系统的使用更灵活、便捷和稳定。 

5）检测方法速度快，对计算机设备要求低，满足了机场应用中第一时间发现FOD的需求。 

6）针对恶劣环境和道路情况提出了补充算法，提高了检测方法的稳定性和正确率，也使得整个道面FOD检测系统的识别能力和环境适应能力得到增强。 

7）本方法区分与传统系统在于，系统不仅仅局限于水平道面，寻找平面的操作也是自动完成的。 

附图说明

本发明将通过例子并参照附图的方式说明，其中： 

图1跑道平面坐标系示意图。 

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。 

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。 

本发明相关说明： 

1、本发明中包括计算机、激光扫描仪、云台，激光扫描仪采集跑道里面信息，并将采集到的数据发送至计算机，计算机根据接收到数据输出控制参数，控制云台转动，从而带动激光扫描仪转动。其中激光扫描仪放置在云台上。 

2、如图1所示，建立跑道平面坐标系，当前激光扫描仪设备参数（(l,w,h,θ_L,θ_W,θ_H)），其中l表示激光扫描仪设备在跑道长度方向

距离初始位置的参数，w表示激光扫描仪设备在跑道宽度方向

上距离初始位置的参数，h表示激光扫描仪设备在跑道垂直高度方向

距离初始位置的参数，θ_L表示激光扫描设备绕轴旋转角度，θ_W表示激光扫描设备绕

轴旋转角度，θ_H表示激光扫描设备绕

轴的旋转角度。其中l、w都是在固定激光扫描仪时已知参数（即激光扫描仪的工作位置），θ_L、θ_W和h是通过RANSAC算法得到（后续详细介绍），θ_H通过三种方法获得。具体为：（1）手动调整；（2）使用远距离激光扫描设备的检测系统会扫描到跑道边灯，满足h>P（P地表高度）的条件，快速滤出边灯数据，然后计算使所有边灯连线与

轴平行的转角θ_H；（3）距离较近的道面检测设备会扫描到跑道路沿，然后计算使路沿与

轴平行的转角θ_H。 

3、本设计中激光扫描仪扫描仪检测跑道工作区范围是宽度方向从w₁到w₂；跑道长度方向从l₁道l₂,垂直方向固定为h，一般透射到跑道平面上。本发明中涉及的入侵异物认为是落到了跑道平面上。除过跑道平面数据外的数据都认为是其他数据（背景数据）。 

4、RANSAC算法（参照http://en.wikipedia.org/wiki/RANSAC）主要作用是从点云数据中提取道面（x，y，z）数据并计算道面点数据参数。其中将道面数据（点到跑道平面的具体小于（1cm到10cm）范围内，还未将入侵异物与真正道面道面区分开）与背景数据区分开之后，在采用平面匹配方程aX+bY+cZ=1，计算得到a、b、c参数，进而将其透射至WL坐标系中，得到θ_L，θ_W。具体过程是： 

步骤1： 

一、输入参数： 

1）观测数据指的是扫描仪获取的点云数据，即序列离散的三位空间中的点； 

2）适用于模型的最少数据个数，即采样点数量n范围是3到10；算法迭代次数m范围是20到100； 

3）用于决定数据是否适应于模型的阀值t是1cm到10cm，即判定一个点是否在跑道平面上； 

4）判定模型是否适用于数据集的数据数目输出，即认为平面模型匹配良好所需最少匹配点的数量d范围在所有点数量的50%到80%， 

当当前点云数据和当前平面匹配模型距离小于t，则表示是跑道平面数据；否则，为背景数据。 

二、输出参数 

适用于数据的当前平面匹配模型，即激光扫描仪设备当前姿态下道面对应平面方程为aX+bY+cZ=1；（a,b,c）是最佳匹配平面模型的参数； 

三：当点云数据中某个点与当前平面模型匹配的距离小于t（点云数据某一点到跑道平面距离小于t），则认为是跑到平面的数据，否则认为是背景数据。当符合当前平面模型的点云数据个数大于d。根据“符合当前模型的点集，计算当前最佳平面模型”即得到a、b、c三个参数。通过a、b、c三个参数获得θ_L，θ_W。 

3、本发明具体步骤包括： 

步骤1：将激光扫描设备固定在初始位置，让扫描仪扫描面面对跑道，启动激光扫描设备获取点云数据；采用RANSAC算法通过点云数据对跑道平面数据进行提取，区分跑道平面数据及其他数据；计算跑道平面参数； 

步骤2：根据激光扫描仪设备参数(l,w,h,θ_L,θ_W,θ_H)生成三维变换矩阵T， 

$T=\left[\begin{array}{cc}& l\\ R& w\\ & h\\ 0& 1\end{array}\right]---\left(1\right)$

其中R是三维旋转矩阵 

$R=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\&theta;}}_L& -\sin {\mathrm{\&theta;}}_L\\ 0& \sin {\mathrm{\&theta;}}_L& \cos {\mathrm{\&theta;}}_L\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\&theta;}}_W& 0& \sin {\mathrm{\&theta;}}_W\\ 0& 1& 0\\ -\sin {\mathrm{\&theta;}}_W& 0& \cos {\mathrm{\&theta;}}_W\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\&theta;}}_H& -\sin {\mathrm{\&theta;}}_H& 0\\ \sin {\mathrm{\&theta;}}_H& \cos {\mathrm{\&theta;}}_H& 0\\ 0& 0& 1\end{array}\right]---\left(2\right);$

步骤22：扫描仪获取的原始点云数据(x,y,z)乘以变换矩阵T，得到跑道坐标系(x',y',z')； 

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\end{array}\right]=T\left[\begin{array}{c}x\\ y\\ z\end{array}\right]---\left(3\right)$

满足其中x’对应

轴上的位置；y’对应

轴上的位置，且w₁<y'<w₂；z’对应点 

轴上的位置，且完美跑道平面下z'=0，而在实际中|z|<τ，τ表示跑道平整度误差范围。 

步骤3：当某一物体直径z'>k，则判定当前物体为入侵异物，所述k为最小异物阈值；当出现大量入侵异物点，则返回步骤1,计算并更新跑道平面参数; 

步骤4：计算机以P为时间周期，循环执行步骤1。 

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。 

Claims (7)

1.一种基于跑道点云数据的FOD检测方法，其特征在于包括：

步骤1：将激光扫描设备固定在工作位置，让扫描仪扫描面面对跑道，启动激光扫描设备获取点云数据；并通过RANSAC算法对跑道平面数据进行提取，区分跑道平面数据及其他数据；计算跑道平面参数；

步骤2：根据跑道平面参数计算出                                               

、

和

，根据激光扫描仪设备姿态参数

生成三维变换矩阵T，根据三维变换矩阵T将扫描仪坐标系下的跑道平面原始点云数据转换为跑道坐标系下的跑道坐标系点云数据；

步骤3：当某一物体直径

进入跑道工作区，则判定当前物体为入侵异物，所述k为最小异物阈值；当出现至少是个物体直径

时，则返回步骤1,计算并更新跑道平面参数，校正系统参数。

2.根据权利要求1所述的基于跑道点云数据的FOD检测方法，其特征在于所述步骤1区分跑道平面数据及其他数据，具体方式是：根据点云数据，采用RANSAC算法，区分其中点云数据是跑道平面数据还是背景数据，其中输入参数中观测数据指的是扫描仪获取的点云数据，即序列离散的三位空间中的点；适用于数据的当前平面匹配模型，即激光扫描仪设备当前姿态下道面对应平面方程为aX+bY+cZ = 1；适用于模型的最少数据个数，即采样点数量范围是3到10；算法迭代次数范围是20到100；用于决定数据是否适应于模型的阀值t是1cm到10cm，即判定一个点是否在跑道平面上；判定模型是否适用于数据集的数据数目输出，即认为平面模型匹配良好所需最少匹配点的数量d范围在所有点数量的50%到80%，当当前点云数据和当前平面匹配模型距离小于t，则表示是跑道平面数据；否则，为背景数据。

3.根据权利要求1所述的基于跑道点云数据的FOD检测方法，其特征在于所述步骤2具体步骤是：

步骤21：根据激光扫描仪设备参数

，L方向和W方向的移动距离由已经由激光扫描仪设备的安装点确定，生成三维变换矩阵T：

                              （1）

其中R是三维旋转矩阵

  （2）；

步骤22：扫描仪获取的原始点云数据

乘以变换矩阵T，得到跑道坐标系

；

                                   （3）

其中x’对应

轴上的位置；y’对应

轴上的位置，且

；z’对应点轴上的位置，且完美跑道平面下 

，而在实际中

，

表示跑道平整度误差范围。

4.根据权利要求1至3之一所述的基于跑道点云数据的FOD检测方法，其特征在于所述步骤21中绕

轴的旋转角度有三种方法确定：

（1）手动设定；（2）使用远距离激光扫描设备的检测系统会扫描到跑道边灯，满足

（P地表高度）的条件，快速滤出边灯数据，然后计算使所有边灯连线与

轴平行的转角

；（3）距离较近的道面检测设备会扫描到跑道路沿，然后计算使路沿与轴平行的转角

。

5.根据权利要求1至3之一所述的基于跑道点云数据的FOD检测方法，其特征在于所述步骤2中当前物体为入侵异物之后，还包括通过跑道平面应返回的激光强度值来判断物体尺寸判定，具体过程：对于检测出的入侵异物进行返回强度值判定，对于与跑道平面返回的强度值进行比较，当差值大于阈值X，则判定为异物。

6.根据权利要求1至3之一所述的基于跑道点云数据的FOD检测方法，其特征在于所述步骤2中当前物体为入侵异物之后，还包括通过入侵物体尺寸判定，具体过程是：

根据入侵异物尺寸为种子点，采用区域生长算法，将相邻孤立的物体点合并，组成入侵异物区域；当入侵异物区域最小直径大于k，则判定为入侵异物，否则为干扰噪音。

7.根据权利要求1至3之一所述的基于跑道点云数据的FOD检测方法，其特征在于所述步骤2中当前物体为入侵异物之后，还包括通过入侵异物的表面曲率判定，具体步骤是：对于入侵异物结合附近相邻点，计算出该点处最大曲率

，若大于曲率阈值门限，所述曲率阈值门限取跑道路面最大曲率值的3倍，相邻范围半径是3-6cm。

Images