CN109458928A - 基于扫描振镜和事件相机激光线扫描3d检测方法及系统 - Google Patents

Abstract

本发明属于3D检测与测量领域，特别涉及一种基基于扫描振镜和事件相机激光线扫描3D检测方法及系统。本发明利用扫描振镜将激光线反射至待测物体，实现激光线扫描；采用事件相机采集从待测物体上反射的激光线信号信息，储存并输出待测物体上亮度发生变化的像素点及相应的时刻点；通过扫描振镜与事件相机之间的相对位置及步骤二输出的像素点、该像素点相应的时刻点对应的扫描振镜转角，计算该时刻激光线扫描的待测物体处空间点的位置坐标；重复上述步骤，完成待测物体所有空间点坐标，从而得到待测物体的3D点云数据。解决了目前3D方案中在帧率、分辨率、抗光照性能存在的局限。

Description

基于扫描振镜和事件相机激光线扫描3D检测方法及系统

技术领域

本发明属于3D检测与测量领域，特别涉及一种基于扫描振镜和事件相机激光线扫描3D检测方法及系统。

背景技术

随着机器视觉、智能制造、安防和物流的迅猛发展，非接触式快速三维重构技术成为一大研究热点。目前主流的3D方案主要是双目RGB方案、结构光方案、TOF方案，三种方案在帧率、分辨率、抗光照性能各有局限：

1、双目方案深度信息依赖纯软件算法得出，此算法复杂度高，难度很大，处理芯片需要很高的计算性能，在昏暗环境下以及特征不明显的情况下并不适用。

2、结构光方案深度图像分辨率可以做得比较高，但容易受光照影响，室外环境基本不能使用；而且需要多张照片完成编码、解码，大幅降低了检测速率，只适合用来测静态物体，不适合测动态物体。

3、TOF方案抗干扰性能好，视角更宽，但深度图像分辨率很低，做一些简单避障和视觉导航可以用，不适合高精度场合。

发明内容

为了解决目前3D方案中在帧率、分辨率、抗光照性能存在的局限，本发明提供一种基于扫描振镜和事件相机激光线扫描3D检测方法及系统。

事件相机与传统相机不同，只是输出拍摄区域内亮度的变化，一旦拍摄区域内有亮度发生变化，事件相机将以非常高的帧率将检测出来的亮度发生增加或者减少的像素点及时间点数据输出，其响应频率和动态范围都极高，事件响应时间可小于1微秒，动态范围在100dB以上。本发明扫描方式完全依据事件相机的刷新数据和扫描振镜的位置来计算三维信息，不需要复杂的编码和解码等过程来得到条纹的实际投影位置，求解三维点云时，算法简洁，计算量小，对处理器的要求也大幅降低。

本发明的技术解决方案为提供一种基于扫描振镜和事件相机激光线扫描3D检测方法，包括以下步骤：

步骤一：利用扫描振镜将激光线反射至待测物体，实现激光线扫描；

步骤二：采用事件相机采集从待测物体上反射的激光线信号信息，储存并输出待测物体上亮度发生变化的像素点及相应的时刻点；

步骤三：通过扫描振镜与事件相机之间的相对位置及步骤二输出的像素点、该像素点相应的时刻点对应的扫描振镜转角，计算该时刻激光线扫描的待测物体处空间点的位置坐标；

步骤四：重复步骤三，完成待测物体所有空间点坐标，从而得到待测物体的3D点云数据。

进一步地，步骤三具体为：

3.1)、定义事件相机坐标系与扫描振镜坐标系，并建立两个坐标系的转换关系；

(X,Y,Z)^T＝R(x,y,z)^T (1)

其中XYZ为事件相机坐标系，xyz为扫描振镜坐标系，T、R为转换矩阵；

3.2)、根据扫描振镜在事件相机输出像素对应时刻的机械转角，确定该时刻下的投影平面位置；

其中，θ_t为此时投影平面与事件相机坐标系XZ面夹角；

3.3)、设待测物体上的一点在事件相机坐标系下的坐标为(x，y，z)，在扫描振镜坐标系下的坐标为(X，Y，Z)，由针孔成像模型得：

Zc是事件相机内部参数，结合公式(1)、(2)、(3)，计算得到待测物体上的待测点在事件相机坐标系下的坐标(x，y，z)。

进一步地，步骤3.1)具体为：

3.11)、定义事件相机坐标系：以事件相机光学镜镜头光心为原点，以与事件相机图像平面平行的面为xy面；z轴过光心并与事件相机图像平面垂直；

3.12)、定义扫描振镜坐标系：以扫描振镜中心为原点，转轴方向为Z轴，振镜位于初始位置处，反射激光线传输形成面，在该面中与Z轴垂直的线为X轴，Y轴通过右手坐标系确定；

扫描振镜初始位置为：扫描振镜没有工作，即镜面没有发生扭转的位置。

3.13)、通过标定得到事件相机与扫描振镜的相对位置，即得到步骤3.11)与3.12)定义的事件相机坐标系与扫描振镜坐标系的转换关系。

进一步地，为了进一步提高检测精度，控制激光线间隔输出，使得激光线在扫描振镜的一个扫描周期内按一定间隔扫描待测物体的部分区域。

进一步地，在扫描振镜工作的第一个周期内，控制激光线，在扫描振镜扫描i_n,0、i_n+1,0位置时间段内实现扫描，扫描i_n,1至i_n,m及i_n+1,1至i_n+1,m位置的时间段内不工作；其中i_n,0、i_n+1,0为事件相机可连续分辨的两个时间段内分别响应的第一列像素；i_n,1、i_n,m、i_n+1,1、i_n+1,m分别为事件相机可连续分辨的两个时间段内分别响应的第二及第m+1列像素；

在扫描振镜工作的第二个周期内，控制激光器在扫描振镜扫描i_n,1、i_n+1,1位置时间段内工作，扫描i_n,0、i_n,2至i_n,m，及i_n+1,0、i_n+1,2至i_n+1,m位置的时间段内不工作，其中m≥1，i_n,2，i_n+1,2分别为事件相机可连续分辨的两个时间段内分别响应的第三列像素；

如此类推；

在扫描振镜工作的第m个周期内，控制激光器在扫描振镜扫描i_n,m、i_n+1,m位置时间段内工作，扫描i_n,0至i_n,m-1，及i_n+1至i_n+1,m-1位置的时间段内不工作，其中i_n,m-1及i_n+1,m-1分别为事件相机可连续分辨的两个时间段内分别响应的第m列像素。完成待测物体各个位置的扫描。

本发明还提供一种实现上述方法的基于扫描振镜和事件相机激光线扫描3D检测系统，其特殊之处在于：包括线激光器、扫描振镜、事件相机及计算装置；

上述扫描振镜位于线激光器的出射光路中，且激光线方向与扫描振镜的转轴方向一致；扫描振镜绕转轴旋转，将激光线反射至待测物体；

上述事件相机用于采集从待测物体上反射的激光线信号，储存并输出待测物体上亮度发生变化的像素点及相应的时刻点；

上述计算装置上存储算法程序，程序运行时，实现以下过程：

步骤1、确定扫描振镜与事件相机之间的相对位置，提取事件相机输出的待测物体在激光线扫描处的像素点及在同一时刻扫描振镜转角；

步骤2、根据扫描振镜与事件相机之间的相对位置及扫描振镜转角、事件相机输出的待测物体在激光线扫描处的像素点，计算在该时刻，待测物体上激光线扫描处空间点的位置坐标。

进一步地，步骤1与步骤2具体为：

a)、定义事件相机坐标系与扫描振镜坐标系，并建立两个坐标系的转换关系；

(X,Y,Z)^T＝R(x,y,z)^T (1)

其中XYZ为事件相机坐标系，xyz为扫描振镜坐标系，T、R为转换矩阵；

b)、根据扫描振镜在某一时刻的机械转角，确定该时刻下的投影平面位置；

其中，θ_t为此时投影平面与事件相机坐标系XZ面夹角；

c)、设待测物体上的一点在事件相机坐标系下的坐标为(x，y，z)，在扫描振镜坐标系下的坐标为(X，Y，Z)，由针孔成像模型得：

Zc是事件相机内部参数，结合公式(1)、(2)、(3)，计算得到待测物体上的待测点在事件相机坐标系下(x，y，z)坐标。

进一步地，步骤a)具体为：

a1)、事件相机坐标系：以事件相机光学镜头光心为原点，以与事件相机图像平面平行的面为xy面；z轴过光心并与事件相机图像平面垂直；

a2)、扫描振镜坐标系：以扫描振镜中心为原点，转轴方向为Z轴，振镜位于初始位置处，反射激光线传输形成面，在该面中与Z轴垂直的线为X轴，Y轴通过右手坐标系确定；

a3)、根据步骤a1)与a2)定义的事件相机与扫描振镜的坐标系，标定事件相机与扫描振镜的相对位置，得到事件相机坐标系与扫描振镜坐标系的转换关系。

进一步地，上述计算装置为计算机、片上系统、FPGA或MCU等计算单元。

本发明的有益效果是：

1、高速：本发明基于事件相机与扫描振镜完成检测，事件相机的响应速度极快，三维扫描的速度也可以达到极快的速度；同时事件相机只需检测并传输激光线扫描处像素变化数据，输出数据少，数据传输速度快；计算处理时算法简单，运算所需时间也大幅降低，所以可远超过目前常用的三维扫描的速度。

2、本发明扫描方式完全依据事件相机的刷新数据和扫描振镜的位置来计算三维信息，不需要复杂的编码和解码等过程来得到条纹的实际投影位置，求解三维点云时，算法简洁，计算量小，对处理器的要求也大幅降低。

3、抗强光：由于事件相机输出的是亮度变化，且动态范围高，所以对于一些强光灯来说，并不影响实际的三维扫描。

4、低功耗：目前事件相机的功耗都比较低，而且在线扫描方式下，可以短时间集中更多的能量，单点平均后所需要光能量大大降低，会比TOF和其他结构光方式具备更低的光功率消耗，而且，由于计算不需要复杂寻找位置的算法，对计算量要求降低，也有助于减少功耗。

附图说明

图1为实施例一中基于扫描振镜和事件相机激光线扫描3D检测系统示意图；

图2为实施例一中事件相机坐标系；

图3为实施例一中扫描振镜坐标系；

图4为实施例一中事件相机响应频率与扫描振镜扫描频率原理示意图；

图5为实施例二中事件相机响应频率与扫描振镜扫描频率原理示意图；

图中附图标记为：1-线激光器，2-扫描振镜，3-待测物体，4-事件相机。

具体实施方式

以下结合附图及具体实施例对本发明做进一步的描述。

实施例一

如图1所示，本实施例基于扫描振镜和事件相机激光线扫描3D检测系统主要包括线激光器1、扫描振镜2和事件相机4组成，线激光器1持续工作，并入射到扫描振镜2上，激光线方向与扫描振镜2的转轴方向一致，扫描振镜2绕其转轴旋转，即可反射线激光至待测物体3，实现激光线扫描；事件相机4采集从待测物体3上反射的激光线信号信息，实现对待测物体3的3D检测，检测方法具体如下：

扫描振镜2的运动为：

其中，θ_t为t时刻扫描振镜的转角，A为扫描振镜的转角幅值，f为扫描振镜的扫描频率，为扫描振镜的初始相位。

t_-时刻，线激光器1工作，振镜转角为θ_t-，线激光照亮待测物体上一线性区域L_t-；时刻t，线激光器1工作，振镜转角为θ_t，该时刻线激光照亮待测物体上一线性区域L_t，则t时刻事件相机会检测到待测物体L_t-线性区域变暗，线性区域L_t变亮，并输出相应的时刻点与有变化的像素点(u-，v-，u，v，t)，通过振镜转角(θ_t，t)与事件相机输出的待测物体上亮度变亮的像素点(u，v，t)，即可得到t时刻，待测物体上激光线扫描处空间点的位置坐标。由于事件相机有极高的响应速率，在扫描振镜反射的激光线在待测物体上扫描移动的过程中，事件相机会不断输出变化的像素点与时刻点数据，时刻点把振镜扫描线的位置与事件相机输出像素点的变化对映起来，即激光线完成待测物体的一次扫描，便可得到待测物体的3D点云信息，极大提高了3D扫描速率。

具体通过下述方法计算待测点空间位置：

首先定义两个坐标系：

事件相机坐标系：以事件相机光学镜头光心为原点，xy面与事件相机图像平面平行，z轴过光心并与事件相机图像平面垂直；

扫描振镜坐标系：以扫描振镜中心为原点，转轴方向为Z轴，振镜位于初始位置处，反射激光线传输形成面，在该面中与Z轴垂直的线为X轴，Y轴通过右手坐标系确定。

其次，3D扫描的扫描振镜与事件相机完成定位后，通过标定明确事件相机和扫描振镜的相对位置，即可得到两坐标系的坐标系转换公式：

(X,Y,Z)^T＝R(x,y,z)^T+T (1)

其中T和R为转换矩阵，其中R为旋转矩阵，T为平移矩阵。

t时刻，振镜的机械转角为θ_t/2，此时反射线激光照亮的面即投影平面与扫描振镜坐标系XZ面的夹角为θ_t，投影平面的位置为：

提取事件相机此时刻输出的图像平面坐标，任取待测物上的一点，设其在事件相机坐标系下的坐标为(x，y，z)，在扫描振镜坐标系下的坐标为(X，Y，Z)，由针孔成像模型得：

其中Zc是摄像机内部参数，由摄像机决定。

联立公式(1)、(2)、(3)，可得到空间点(x,y,z)坐标。

重复上述计算过程，来得到待测物体上所有空间点坐标，从而得到待测物体的3D点云信息，完成待测物体的3D检测。

实施例二

谐振式扫描振镜可靠性高，所需驱动力小，转角大，常用在激光扫描过程中。事件相机响应速率虽然极快，但毕竟有限，若扫描振镜扫描频率过高，可能会降低精度，如图4，t_n和t_n+1是事件相机可连续分辨的两个时间段，扫描的区域分别为i_n和i_n+1，若每个时间段有多列像素同时响应，即时刻t_n和t_n+1相当于是条纹扫描，不再是激光线扫描，事件相机不再能精确检测出t_n和t_n+1时间段内扫描振镜扫描过条纹区域的细节。

本实施例提出一种解决因上述原因带来的3D检测精度低问题的方法：控制线激光器输出，让扫描振镜间隔扫描，实现每个时间段事件像机只有单列像素响应，用多个扫描周期完成一次3D扫描检测，这样帧率虽然会降低，但可保证检测精度。如图5示：扫描振镜工作的第一个周期，控制线激光器在扫描振镜扫描i_n,0、i_n+1,0位置时间段内工作，扫描i_n,1至i_n,m及i_n+1,1至i_n+1,m位置的时间段内不工作，这样事件相机只输出待测物体i_n,0、i_n+1位置3D检测数据；第二扫描周期，控制激光器在扫描振镜扫描i_n,1、i_n+1,1位置时间段内工作，扫描i_n,0、i_n,2至i_n,m，及i_n+1,0、i_n+1,2至i_n+1,m位置的时间段内不工作，这样事件相机只输出待测物体i_n,1、i_n+1,1位置3D检测数据，如此类推，至第m+1个扫描周期，完成待测物体各个位置的3D检测，其中m≥1，且扫描周期数为m+1，满足线激光扫描的每个时间段事件相机只有单列像素响应。

Claims (9)

1.一种基于扫描振镜和事件相机激光线扫描3D检测方法，其特征在于，包括以下步骤：

步骤一：利用扫描振镜将激光线反射至待测物体，实现激光线扫描；

步骤二：采用事件相机采集从待测物体上反射的激光线信号信息，储存并输出待测物体上亮度发生变化的像素点及相应的时刻点；

步骤三：通过扫描振镜与事件相机之间的相对位置及步骤二输出的像素点、该像素点相应的时刻点对应的扫描振镜转角，计算该时刻激光线扫描的待测物体处空间点的位置坐标；

步骤四：重复步骤三，完成待测物体所有空间点坐标计算，从而得到待测物体的3D点云数据。

2.根据权利要求1所述的基于扫描振镜和事件相机激光线扫描3D检测方法，其特征在于，步骤三具体为：

3.1)、定义事件相机坐标系与扫描振镜坐标系，并建立两个坐标系的转换关系；

(X,Y,Z)^T＝R(x,y,z)^T+T (1)

其中XYZ为事件相机坐标系，xyz为扫描振镜坐标系，T、R为转换矩阵；

3.2)、根据扫描振镜在事件相机输出像素对应时刻的机械转角，确定该时刻下的投影平面位置；

其中，θ_t为此时投影平面与事件相机坐标系XZ面夹角；

3.3)、设待测物体上的一点在事件相机坐标系下的坐标为(x，y，z)，在扫描振镜坐标系下的坐标为(X，Y，Z)，由针孔成像模型得：

Zc是事件相机内部参数，结合公式(1)、(2)、(3)，计算得到待测物体上的待测点在事件相机坐标系下的坐标(x，y，z)。

3.根据权利要求2所述的基于扫描振镜和事件相机激光线扫描3D检测方法，其特征在于，步骤3.1)具体为：

3.11)、定义事件相机坐标系：以事件相机光学镜头光心为原点，以与事件相机图像平面平行的面为xy面；z轴过光心并与事件相机图像平面垂直；

3.12)、定义扫描振镜坐标系：以扫描振镜中心为原点，转轴方向为Z轴，振镜位于初始位置处，反射激光线传输形成面，在该面中与Z轴垂直的线为X轴，Y轴通过右手坐标系确定；

3.13)、通过标定得到事件相机与扫描振镜的相对位置，即得到步骤3.11)与3.12)定义的事件相机坐标系与扫描振镜坐标系的转换关系。

4.根据权利要求1所述的基于扫描振镜和事件相机激光线扫描3D检测方法，其特征在于：控制激光线间隔输出，使得激光线在扫描振镜的一个扫描周期内按一定间隔扫描待测物体的部分区域。

5.根据权利要求4所述的基于扫描振镜和事件相机激光线扫描3D检测方法，其特征在于：

在扫描振镜工作的第一个周期内，控制激光线，在扫描振镜扫描i_n,0、i_n+1,0位置时间段内实现扫描，扫描i_n,1至i_n,m及i_n+1,1至i_n+1,m位置的时间段内不工作；其中i_n,0、i_n+1,0为事件相机可连续分辨的两个时间段内分别响应的第一列像素；i_n,1、i_n,m、i_n+1,1、i_n+1,m分别为事件相机可连续分辨的两个时间段内分别响应的第二及第m+1列像素；

在扫描振镜工作的第二个周期内，控制激光器在扫描振镜扫描i_n,1、i_n+1,1位置时间段内工作，扫描i_n,0、i_n,2至i_n,m，及i_n+1,0、i_n+1,2至i_n+1,m位置的时间段内不工作，其中m≥1，i_n,2，i_n+1,2分别为事件相机可连续分辨的两个时间段内分别响应的第三列像素；

在扫描振镜工作的第m个周期内，控制激光器在扫描振镜扫描i_n,m、i_n+1,m位置时间段内工作，扫描i_n,0至i_n,m-1，及i_n+1至i_n+1,m-1位置的时间段内不工作，其中i_n,m-1及i_n+1,m-1分别为事件相机可连续分辨的两个时间段内分别响应的第m列像素；

如此类推，完成待测物体各个位置的扫描。

6.一种实现权利要求1-5任一所述方法的基于扫描振镜和事件相机激光线扫描3D检测系统，其特征在于：包括线激光器(1)、扫描振镜(2)、事件相机(4)及计算装置；

所述扫描振镜(2)位于线激光器(1)的出射光路中，且激光线方向与扫描振镜(2)的转轴方向一致；扫描振镜(2)绕转轴旋转，将激光线反射至待测物体；

所述事件相机(4)用于采集从待测物体上反射的激光线信号，储存并输出待测物体上亮度发生变化的像素点及相应的时刻点；

所述计算装置上存储算法程序，程序运行时，实现以下过程：

步骤1、确定扫描振镜与事件相机之间的相对位置，提取事件相机输出的待测物体在激光线扫描处的像素点及在同一时刻扫描振镜转角；

步骤2、根据扫描振镜与事件相机之间的相对位置及扫描振镜转角、事件相机输出的待测物体在激光线扫描处的像素点，计算在该时刻，待测物体上激光线扫描处空间点的位置坐标；

步骤3：重复步骤2，完成待测物体所有空间点坐标计算，从而得到待测物体的3D点云数据。

7.根据权利要求7所述的基于扫描振镜和事件相机激光线扫描3D检测系统，其特征在于：

步骤1与步骤2具体为：

a)、定义事件相机坐标系与扫描振镜坐标系，并建立两个坐标系的转换关系；

(X,Y,Z)^T＝R(x,y,z)^T+T (1)

其中XYZ为事件相机所在坐标系，xyz为扫描振镜所在坐标系，T、R为转换矩阵；

b)、根据扫描振镜在某一时刻的机械转角，确定该时刻下的投影平面位置；

其中，θ_t为此时投影平面与事件相机坐标系XZ面夹角；

c)、设待测物体上的一点在事件相机坐标系下的坐标为(x，y，z)，在扫描振镜坐标系下的坐标为(X，Y，Z)，由针孔成像模型得：

Zc是事件相机内部参数，结合公式(1)、(2)、(3)，计算得到待测物体上的待测点在事件相机坐标系下的坐标(x，y，z)。

8.根据权利要求8所述的基于扫描振镜和事件相机激光线扫描3D检测系统，其特征在于：步骤a)具体为：

a1)、定义事件相机坐标系：以事件相机光学镜头光心为原点，以与事件相机图像平面平行的面为xy面；z轴过光心并与事件相机图像平面垂直；

a2)、定义扫描振镜坐标系：以扫描振镜中心为原点，转轴方向为Z轴，振镜位于初始位置处，反射激光线传输形成面，在该面中与Z轴垂直的线为X轴，Y轴通过右手坐标系确定；

a3)、根据步骤a1)与a2)定义的事件相机与扫描振镜的坐标系，标定事件相机与扫描振镜的相对位置，得到事件相机坐标系与扫描振镜坐标系的转换关系。

9.根据权利要求7所述的基于扫描振镜和事件相机激光线扫描3D检测系统，其特征在于：所述计算装置为计算机、片上系统、FPGA或MCU。