CN112365585B

CN112365585B - 一种基于事件相机的双目结构光三维成像方法

Info

Publication number: CN112365585B
Application number: CN202011329545.9A
Authority: CN
Inventors: 杨涛; 彭磊; 雷浩; 王丛华; 李欢欢; 周翔
Original assignee: Gedian Technology Shenzhen Co ltd
Current assignee: Gedian Technology Shenzhen Co ltd
Priority date: 2020-11-24
Filing date: 2020-11-24
Publication date: 2023-09-12
Anticipated expiration: 2040-11-24
Also published as: CN112365585A

Abstract

本发明公开了一种基于事件相机的双目结构光三维成像方法，包含以下步骤：构建基于事件相机的双目结构光三维成像系统；标定双目结构光三维成像系统；标定双目相机的事件流；投射结构光，采集获取事件流；利用事件流进行匹配重建。该方法相比传统的双目线结构光和点结构光方法，本方法拥有更高的效率和更低的功耗；本方法的匹配计算复杂度低，效率更高，对计算的硬件要求更低，便于实现移动端的实时计算；具有更好的鲁棒性和精度，可以适用复杂场景，特别是复杂反射率场景，本方法拥有更优良的表现，从而扩展其应用场景。

Description

一种基于事件相机的双目结构光三维成像方法

技术领域：

本发明涉及一种基于事件相机的双目结构光三维成像方法，主要使用结构光配合事件相机的事件信息进行高精度的三维重建，属于光学三维测量领域。

背景技术：

传统的结构光按结构光的形态可以分为点结构光、线结构光和面结构光，这些方案都使用三角成像原理进行三维成像。按照系统的组成，可以分为单目系统和双目系统。在单目结构光系统中，只有一个相机，其三维重建依赖于结构光和相机之间的三角关系。在双目系统中，有两个相机，其三维重建依赖于相机和相机之间的三角关系。单目结构光系统的计算更为简单，速度快，但是标定更为复杂，精度相对较低。双目结构光系统的标定更为便捷、精度更高，但是其匹配算法较为复杂。

双目结构光的匹配算法是双目结构光三维成像体统重要的组成部分，其在很大程度上决定了系统的成像速度和精度。在以伪随机点阵结构光为代表的基于特征匹配的双目算法往往复杂度较大，并且精度较低。常用的特征提取算法包括：HARRIS，SUSAN，FAST，SIFT算法等，在匹配过程中，根据其搜索范围，分为局部、半局部和全局算法，不同的搜索范围的时间代价和匹配误差均有不同。对比而言，基于相位匹配的双目条纹投影结构光系统，是用语义清楚简单的相位图进行匹配，精度更高，但同时因为需要采集更多的图像，因而速度更慢。

事件相机是受生物启发的传感器，工作原理与传统的相机有很大的差别。相比于以固定的帧率采集图像，这种相机通多测量每个像素的亮度变化来输出异步信号(包括事件，位置和亮度变化的符号)。事件相机与传统相机相比具有很多的优点:高的动态测量范围，高时间分辨率，低功耗，不受运动模糊的影响。在高速、高动态范围的场景下有着广阔的应用空间。

现有的基于事件相机的单目线扫描结构光的三维成像系统，采用可扫描的线激光和事件相机进行结合，进而完成三维成像。这种系统标定复杂，同时线扫描系统的很容易受到温度、气压等变化的影响，使得其扫描的重复性改变，进而导致标定参数失效。

本专利主要利用新型的事件相机，使用基于事件的匹配方法，提高双目结构光的匹配精度和效率。

发明内容：

本发明的目的是提高双目结构光三维成像的精度和效率，一种基于事件相机的双目结构光三维成像方法。

一种基于事件相机的双目结构光三维成像方法，包含以下步骤：

(一)构建基于事件相机的双目结构光三维成像系统；

(二)标定双目结构光三维成像系统；

(三)标定双目相机的事件流；

(四)投射结构光，采集获取事件流；

(五)利用事件流进行匹配重建。

所述步骤(一)中，

基于基于事件相机的双目结构光三维成像系统，如图1所示，系统包含由左右事件相机(2和6)构成的双目系统，用于采集双目事件流信息，所述的事件相机包含用于成像的镜头。所述激光器4，还包含用于整形和准直的光学附件，激光器的光束经过棱镜3后，在y方向上被拉伸为一字线激光。激光经过MEMS微镜的反射照射在被测物1上。所述MEMS微镜可以在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描。

所述双目系统，可以是平行光轴放置，也可以是交叉光轴放置。

所述棱镜，可以选用任何能将点激光拉伸为线激光的棱镜，包含但不限于柱面镜、鲍威尔棱镜。

所述MEMS微镜，可以选用的类型包含但不限于电热、电磁、静电原理的微镜，只要可以带动激光束完成对物体的扫描。

在本发明的另一个实施方案中，使用电机驱动的机械振镜替代MEMS微镜，仍然能达到设计效果。

在本发明的另一个实施方案中，MEMS微镜可以同时绕x和y两个轴向往复摆动，此时去掉棱镜3，仍然可以达到设计效果。

在本发明的另一个实施方案中，去掉棱镜3，使用两轴的机械振镜同时绕x和y两个轴向往复摆动，仍然可以达到设计效果。

所述步骤(二)中，

将事件相机置于图像采集模式，采集标定板图像，利用标定算法标定双目系统的内参和外参。所述标定方法可以使用业内通用的任何方法，不影响本专利的实施和效果。

所述步骤(三)中，

保证两个相机已经启动，并开始采集事件流左右相机的事件流E_L(i,x_i,y_i,t_i)和E_R(i,x_i,y_i,t_i)，其中x_i和y_i表示光线变化超过阈值(即被激活，也即事件发生)的像素的像素坐标系下的坐标，t_i表示被激活的时间。将LED灯珠，或者激光器照射到被测物上，点亮光源，然后迅速关闭光源。利用灯光开、关两个事件，对齐左右相机的事件流。所述的光源，响应事件需在纳秒级。

所述步骤(四)中，包含以下子步骤，

1)投射结构光到物体表面

将被测物放置在系统设计的测量范围内，使用前述结构光投射器投射结构光，根据被测物表面的纹理特征，适当调整结构光的能量输出，使得线结构光的亮度兼顾光刀质量和清晰度。

2)采集事件流

开始采集事件流左右相机的事件流E_L(i,x_i,y_i,t_i)和E_R(i,x_i,y_i,t_i)，所述的事件流需要和步骤(三)中的事件流是同一个事件流，即不能中断。中断后需要重新执行步骤(三)的标定过程。

3)进行全场扫描，持续采集事件流

使用前述的方法，控制光束进行扫描，并持续采集事件流。

所述步骤(五)中，包含以下子步骤：

1)遍历事件流，对事件流进行滤波

在两个事件流E_L(i,x_i,y_i,t_i)和E_R(i,x_i,y_i,t_i)中，单个事件流中相同的t_i代表这些像素同时被激活，通常目标事件至少是多个彼此相连的像素组成，对于孤立的像素，应作为噪声予以剔除。

2)遍历事件流，将事件按时间戳进行分组

按照时间戳将所有的事件进行分组。所述时间戳t_i为左右相机事件流根据步骤(三)进行统一之后的t_i。

3)对结构光的特征进行提取

每一组的事件，按照像素坐标进行重建，提取结构光的特征。所述结构光特征为线结构光的中心。对于部分事件相机，还可以输出事件像素的灰度值，如果有灰度信息，可以使用灰度信息更加精准的提取线的重心等高阶特征。遍历所接收到的事件流，重复上述特征提取操作。

4)极线校正

使用步骤(二)中的标定参数，对事件流进行极线校正，以保证相同事件是航对齐的。

本步骤的和1)、2)、3)没有特定的先后顺序关联，只要在步骤5)之前完成即可。

5)匹配视差

对事件进行逐行匹配，得到不同时间的视差，并组成视差图。

6)三维重建

使用前述的视差图和步骤(二)中的标定参数进行三维重建。

在本发明的另一个实施方案中，使用多个激光器、多个棱镜和多个MEMS微镜的方法，同时投射多个线结构光，或者其他方式实现多个线激光的投射，只要线激光在空间是分立的，而物体深度变化又不至于造成相机视角彼此之间的混淆。这样的好处是可以进一步提高效率。

本发明的积极效果

本发明旨在提高双目结构光的匹配精度和效率，可以实现

相比传统的结构光本方法有以下有益效果：

1)相比传统的双目线结构光和点结构光方法，本方法拥有更高的效率和更低的功耗。

2)相比传统的双目面结构光算法，本方法的匹配计算复杂度低，效率更高，对计算的硬件要求更低，便于实现移动端的实时计算。

3)相比传统的双目面结构光，本方法具有更好的鲁棒性和精度，可以适用复杂场景，特别是复杂反射率场景，本方法拥有更优良的表现，从而扩展其应用场景。

与既有的基于事件相机和扫描线激光的单目三维测量系统相比：

1)本方法的标定过程更为简便。

2)本方法不会受到线结构光扫描系统的影响，在不同环境下具有更好的可靠性和稳定性。

附图说明

图1基于事件相机的双目三维成像系统。1被测物；2右事件相机；3棱镜；4激光器；5MEMS微镜；6左事件相机。

具体实施方式

本发明利用新型事件相机，使用包含结构光信息的事件流进行高效的三维重建。为了实现发明目的，本方案给出如下示例技术方案：

(一)构建基于事件相机的双目结构光三维成像系统

如图1所示，搭建双目结构光三维成像系统，本示例采用交叉光轴设置，结构光投射系统采用单轴MEMS微镜配合半导体激光器和柱面镜，实现高集成度的，线激光投射扫描系统(绕y轴的往复摆动扫描)。其扫描的频率f和事件相机的有效时间分辨率Δt，以及事件相机的横向空间分辨率H(像素数)满足如下关系：

f＝1/(Δt*H)

需要注意的是，线激光在扫描时，应该是匀速移动的。如果MEMS微镜工作在谐振状态下，应该对其进行非线性的校正，以保证扫描过程中，光刀是匀速线性运动的(在x方向上)。

(二)标定双目结构光三维成像系统

使用通用的张正友标定法，对双目相机的内参和外参数进行标定。内参包含了左右相机的焦距和主点位置(fx,fy,cx,cy)和畸变系数([k1,k2,p1,p2,k3])。外参包含了右相机到左相机的旋转和平移矩阵RT。

(三)标定双目相机的事件流

为了将左右相机的事件流的事件轴进行对齐，进行如下的标定过程：

保证两个相机已经启动，并开始采集事件流左右相机的事件流E_L(i,x_i,y_i,t_i)和E_R(i,x_i,y_i,t_i)，将LED灯珠，或者激光器照射到被测物上，点亮光源，然后迅速关闭光源。所述的光源，响应事件需在纳秒级。利用灯光开、关两个事件，对齐左右相机的事件流。以左相机的事件戳为基准：

其中，t_Δ为灯光“开”“关”两个事件的在左右相机时间戳差的平均值(以左为基准)。

(四)投射结构光，采集获取事件流

1)投射结构光到物体表面

2)采集事件流

3)进行全场扫描，持续采集事件流

使用前述的方法，控制光束进行扫描，并持续采集事件流。

(五)利用事件流进行匹配重建

1)遍历事件流，对事件流进行滤波

2)遍历事件流，将事件按时间戳进行分组

按照时间戳将所获得全部事件进行分组。所述时间戳t_i为左右相机事件流根据步骤(三)进行统一之后的t_i。

3)对结构光的特征进行提取

每一个相机的每一组事件e(i,x_i,y_i)，按照像素坐标进行重建，提取结构光的特征。所述结构光特征为线结构光的中心。提取方法是：遍历每一个y所对应的(x_i，y_i＝y)，求x_i的平均值作为其中心。得到该处的事件坐标为/>此时每一行都只有一个事件(多线扫描时，有多个事件)。

4)极线校正

使用步骤(二)中的标定参数，对事件流进行极线校正，以保证相同事件是航对齐的。经过极线约束后，左右相机的事件坐标为和/>事件的个数减少，使得每一行只有一个事件(多线有多个)，并且还是物体表面的同一个点在左右相机中的事件坐标在同一时刻，同一y坐标处。

5)匹配视差

对事件进行逐行匹配，得到不同时间的视差，并组成视差图。视差的计算为：

6)三维重建

使用前述的视差图和步骤(二)中的标定参数进行三维重建。其中深度为：

这里f是标定出的焦距，d是基线距。

此时，X和Y的信息可以根据系统标定得到的内外参数和Z进行计算，从而建立三维点云：

其中，x,y是相机坐标系坐标。

从而完成一次三维重建，实施的过程中，可以根据具体的情况，每次重建一帧的点云，也可以是点云流的方式，实时计算传输。

虽然已经详细的描述和显示了一些具体实施方案，但本发明不受所述实施方案的限制，也可以以下权利要求书限定的主和范围内的其他方式实现。具体来说，应该了解在不偏离本发明范围的情况下，可使用其他实施方案，并可以进行功能修改。

在列举若干工具的装置权利要求中,这些工具中的一些可由一个相同的硬件项目实现。相互不同的从属权利要求中叙述或不同的实施方案中描述了特定量度这一事实,并不表示不能使用这些量度的组合以使有点突出。

应强调,在本说明书中使用术语“包括/包含(comprises/comprising)”时,其被理解为规定存在所述的特征、整数、步骤或组分,但不排除存在或添加一个或多个其它特征、整数、步骤、组分或其群组。

上文和下文描述的方法的特征可以软件实施,且可通过执行计算机可执行指令而在数据处理系统或其它处理工具上执行。指令可以是程序代码,其从存储介质或经由计算机网络从另一台计算机载入内存(例如RAM)。或者,所述的特征可由硬连线电路代替软件实现,或由硬连线电路和软件组合实现。

Claims

1.一种基于事件相机的双目结构光三维成像方法，其特征在于，包含双目系统和激光器；所述双目系统由左事件相机和右事件相机构成；所述双目系统用于采集双目事件流信息；所述激光器用于发射光束；

包含以下步骤：(一)构建基于事件相机的双目结构光三维成像系统；(二)标定双目结构光三维成像系统；(三)标定双目相机的事件流；(四)投射结构光，采集获取事件流；(五)利用事件流进行匹配重建；

所述步骤(一)中，所述双目结构光三维成像系统还包含棱镜和MEMS微镜；所述激光器的光束经过棱镜后，在y方向上被拉伸为一字线激光，激光经过MEMS微镜的反射照射在被测物上；所述M E M S微镜在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描。

2.如权利要求1所述的双目结构光三维成像方法，其特征在于，所述双目系统，是平行光轴放置，或者是交叉光轴放置；所述棱镜，选用任何能将点激光拉伸为线激光的棱镜，包含柱面镜、鲍威尔棱镜；所述MEMS微镜，选用的类型包含电热、电磁、静电原理的微镜，用于带动激光束完成对物体的扫描。

3.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(一)中，所述双目结构光三维成像系统还包含棱镜和电机驱动的机械振镜；所述激光器的光束经过棱镜后，在y方向上被拉伸为一字线激光，激光经过机械振镜的反射照射在被测物上；所述机械振镜在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描。

4.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(一)中，所述双目结构光三维成像系统还包含M E M S微镜或者电机驱动的机械振镜；所述MEMS微镜同时绕x和y两个轴向往复摆动，激光器的激光经过MEMS微镜的反射照射在被测物上；所述MEMS微镜在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描；或者所述电机驱动的机械振镜同时绕x和y两个轴向往复摆动，激光器的激光经过机械振镜的反射照射在被测物上；所述机械振镜在电流或电压信号的驱动下，绕y轴往复运动，从而带动激光束对物体进行扫描。

5.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(二)中，将事件相机置于图像采集模式，采集标定板图像，利用标定算法标定双目系统的内部参数和外部参数。

6.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(三)中，保证两个相机已经启动，并开始采集事件流左事件相机和右事件相机的事件流EL(i，xi，yi，ti)和ER(i，xi，yi，ti)，其中xi和yi表示光线变化超过阈值，即事件发生的像素的像素坐标系下的坐标，ti表示被激活的时间；将LED灯珠，或者激光器照射到被测物上，点亮光源，然后迅速关闭光源；利用灯光开、灯光关两个事件，对齐左事件相机和右事件相机的事件流；所述的光源，响应事件需在纳秒级。

7.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(四)中，包含以下子步骤，1)投射结构光到物体表面，将被测物放置在系统设计的测量范围内，使用前述结构光投射器投射结构光，根据被测物表面的纹理特征，适当调整结构光的能量输出，使得线结构光的亮度兼顾光刀质量和清晰度；2)采集事件流，开始采集事件流左事件相机和右事件相机的事件流EL(i，xi，yi，ti)和ER(i，xi，yi，ti)，所述的事件流需要和步骤(三)中的事件流是同一个事件流，即不能中断；中断后需要重新执行步骤(三)的标定过程；3)进行全场扫描，持续采集事件流，使用前述的方法，控制光束进行扫描，并持续采集事件流。

8.如权利要求2所述的双目结构光三维成像方法，其特征在于，所述步骤(五)中，包含以下子步骤：1)遍历事件流，对事件流进行滤波，在两个事件流EL(i，xi，yi，ti)和ER(i，xi，yi，ti)中，单个事件流中相同的ti代表这些像素同时被激活，通常目标事件至少是多个彼此相连的像素组成，对于孤立的像素，应作为噪声予以剔除；2)遍历事件流，将事件按时间戳进行分组，按照时间戳将所有的事件进行分组；所述时间戳ti为左事件相机和右事件相机事件流根据步骤(三)进行统一之后的ti；3)对结构光的特征进行提取，每一组的事件，按照像素坐标进行重建，提取结构光的特征；所述结构光特征为线结构光的中心；对于部分事件相机，还可以输出事件像素的灰度值，如果有灰度信息，可以使用灰度信息更加精准的提取线的重心等高阶特征；遍历所接收到的事件流，重复上述特征提取操作；4)极线校正，使用步骤(二)中的标定参数，对事件流进行极线校正，以保证相同事件是航对齐的；本步骤的和1)、2)、3)没有特定的先后顺序关联，只要在步骤5)之前完成即可；5)匹配视差，对事件进行逐行匹配，得到不同时间的视差，并组成视差图；6)三维重建，使用前述的视差图和步骤(二)中的标定参数进行三维重建。

9.基于权利要求3所述双目结构光三维成像方法的双目结构光三维成像系统，其特征在于：包含双目系统和激光器；所述双目系统由左事件相机和右事件相机构成；所述双目系统用于采集双目事件流信息；所述激光器用于发射光束。