CN112525107B - 一种基于事件相机的结构光三维测量方法 - Google Patents

Abstract

本发明公开了一种基于事件相机的结构光三维测量方法，包含以下步骤：构建基于事件相机的结构光三维测量系统；标定结构光测量系统；投射结构光，采集获取事件流；利用事件流进行三维重建；提高扫描速度，相比传统方法，本方法可以数十倍的提升扫描的效率。有利于拓展点、线结构光使用场景。本方法降低对硬件的压力，有助于降低系统的成本。降低系统功耗，本方法在读取、传输、处理上，所需要的处理的信息更少，因而可以有效的降低功耗。

Description

一种基于事件相机的结构光三维测量方法

技术领域：

本发明涉及一种基于事件相机的结构光三维成像方法，主要使用结构光配合事件相机的事件信息进行高效的三维重建，属于光学三维测量领域。

背景技术：

传统的结构光按结构光的形态可以分为点结构光、线结构光和面结构光。经典的点结构光向物体表面投射单个光点，线结构光向物体表面投射单条线，然后从另外一个角度拍摄结构光信息，进而从图像中解析计算得到深度信息。点结构光和线结构光虽然效率远低于面结构光，但由于具有优异的鲁棒性，因而在工业生产中应用非常普遍。如何提高点、线结构光的效率是一个重要的技术更新方向。

在传统的点、线结构光中由于所使用的传统相机是固定帧率、全局曝光的，但实际上每次点和线结构光信息在传感器全局像素中所占的比例很小，大部分像素是无效的，但这些无效的像素仍然占用了带宽资源和处理器资源。这是导致这类结构光效率低的主要因素。

事件相机是受生物启发的传感器，工作原理与传统的相机有很大的差别。相比于以固定的帧率采集图像，这种相机通多测量每个像素的亮度变化来输出异步信号(包括事件，位置和亮度变化的符号)。事件相机与传统相机相比具有很多的优点:高的动态测量范围，高时间分辨率，低功耗，不受运动模糊的影响。在高速、高动态范围的场景下有着广阔的应用空间。

现有的基于事件相机和线扫描结构光的三维成像系统，采用可扫描的线激光和事件相机进行结合，进而完成三维成像。这种系统标定复杂，同时线扫描系统的很容易受到温度、气压等变化的影响，使得其扫描的重复性改变，进而导致标定参数失效。

本专利主要利用新型的事件相机来提高点、线结构光的三维测量效率。

发明内容：

本发明的目的是提高传统点、线结构光三维测量的效率，提出一种一种基于事件相机的结构光三维测量方法。

一种基于事件相机的结构光三维测量方法，包含以下步骤：

(一)构建基于事件相机的结构光三维测量系统；

(二)标定结构光测量系统；

(三)投射结构光，采集获取事件流；

(四)利用事件流进行三维重建。

所述步骤(一)中，

基于事件相机的结构光三维测量系统，如图1所示(点结构光系统类似)，包含一个结构光投射器和一个事件相机，以及其他辅助部件，辅助部件包含但不限于：控制器、计算机、电源、数据线。

所述结构光投射器，可以投射点结构光或者线结构光。所述投射器包含光源、以及用于对光形态进行调整的光学系统。所述结构光投射器可以使用激光器或者LED作为光源。

所述事件相机是可以每个像素独立工作，输出事件流的事件相机。所述事件相机还包含了用于成像的光学镜头。

所述结构光投射器和事件相机之间可以是交叉光轴放置；也可以是平行光轴放置。

在本发明的另一个实施方案中，三维测量系统可由多个和结构光投射器和多个事件相机进行组合构成。

所述步骤(二)中，包含以下步骤：

1)标定相机的内参。获得焦距、主点位置、像素大小等内参。

2)标定结构光的参数，以获得结构光特征在相机中的像素坐标与深度的换算关系。

所述的步骤1)和2)的先后顺序不影响本发明的实施和效果。

步骤2)中，如果是点结构光，需要标定出光线的方程；如果是线结构光，需要标定出光刀平面的方程；如果结构光是可扫描的结构光，可将其等效为一个虚拟的相机，标定出其等效的参数。所述步骤2)中可使用不同的标定方法，不影响本方法的实施和效果。

所述步骤(三)包含以下步骤：

1)投射结构光到物体表面

保证被测物尽量在系统设计的工作距离范围内，使用前述结构光投射器投射结构光，根据被测物表面的纹理特征，适当调整结构光的能量输出，以使得结构光在物体表面尽量明显同时又保证结构光的特征质量。所述的保证结构光的特征质量是点结构光的光斑大小(越小越好)，线结构光的线宽(越细越好)。

2)采集事件流

在事件相机中，被激活的像素以流的形式传出。事件流至少包含(x_i,y_i,t_i)信息，其中x_i和y_i表示光线变化超过阈值(即被激活，也即事件发生)的像素的像素坐标系下的坐标，t_i表示被激活的时间。

3)进行全场扫描，持续采集事件流

对于静态的结构光投射系统：

使结构光测量系统与被测物之间产生横向(x方向，见图1)相对运动，以实现对一个区域的完成扫描。

4)完成扫描，停止采集事件流

完成一次扫描后，停止事件流的采集，准备进行数据处理。

所述步骤(四)包含以下步骤

1)遍历事件流，对事件流进行滤波

相同的t_i代表这些像素同时被激活，即这些像素在物体表面的采样点同时被结构光照亮。一般情况下，同时会有多个像素被同时激活，而且这些像素是彼此相邻的。对于孤立的事件，应作为噪声予以剔除。

2)遍历事件流，将事件按事件戳t_i进行分组

按照时间戳t_i将所有的事件进行分组，处理时，以组为单位进行。

3)对结构光的特征进行提取

每一组的事件，按照像素坐标进行重建，提取结构光的特征。所述结构光的特征为点结构光的中心，线结构光的中心。对于部分事件相机，还可以输出事件像素的灰度值，如果有灰度信息，可以使用灰度信息更精准的按照点的重心，线的重心等进行高阶特征进行亚像素的提取。遍历每一组数据，重复上述特征提取操作。

4)三维重建

按照步骤(二)中的标定参数进行三维点云的重建，完成一次三维扫描。

重复步骤(三)、(四)进行下一次扫描。

在本发明的另一个实施方案中，结构光投射器可以投射多个点或多个线，只要他们在空间是分立的，而物体深度变化又不至于造成彼此之间的混淆。此时在步骤(二)中需要对他们分别进行标定，在步骤(四)中的步骤3)需要进行分别提取，在步骤(四)中的步骤4)中使用对应的参数进行重建。这样的好处是可以进一步提高效率。

本发明的积极效果

本发明旨在提高点、线结构光的效率，相比传统的点、线结构光本方法有以下有益效果：

1)与传统的线结构光方法相比，本方法可以提高扫描速度，相比传统方法，本方法可以数十倍的提升扫描的效率。有利于拓展点、线结构光使用场景。同时，本方法降低对硬件的压力，有助于降低系统的成本。此外，本方法在读取、传输、处理上，所需要的处理的信息更少，因而可以有效的降低功耗。

2)与已经存在的基于事件相机的扫描线结构光方法相比，本方法的算法复杂度更低，系统更简单、可靠。同时本方法在无需进行面测量的场景，如轮廓测量、焊缝跟踪、流水线产品检测等场景具有更高的效率和稳定性。

附图说明

图1线结构光测量系统。

1被测物；2线结构光投射器；3事件相机

图2系统标定方案示意图

具体实施方式

本发明利用新型事件相机，使用包含结构光信息的事件流进行高效的三维重建。为了实现发明目的，本方案给出如下示例技术方案：

(一)构建基于事件相机的结构光三维测量系统

系统结构如图1所示，一个用于投射线结构光的投射器，由激光器、聚焦透镜和柱面镜所组成。激光器发出的光束经过聚焦以后，入射到柱面镜上，进而将点激光整形为线激光，然后投射到物体表面。事件相机(以下简称相机)，从另外一个角度进行拍摄，两者之间为交叉光轴放置，光轴夹角设置在30°以内。相机选用和激光投射器相接近视场角的镜头进行成像。在设置好之后，将两者的位置进行固连，以保证在使用过程中，两者之间的位置不会发生变化从而导致标定参数失效。

(二)标定结构光测量系统

1)标定相机的内参。获得焦距、主点位置、像素大小等内参。

首先调整相机的焦距和光圈，保证在标定距离处有良好的成像条件，然后国定焦距和光圈。开始标定。本示例方案使用张正友标定法，将相机设置为图像模式(区别于事件模式)，通过多次拍摄棋盘格标定板，然后进行角点提取，将已知的角点空间坐标带入相机的模型，求解得到相机的内参矩阵。

2)标定结构光的参数，以获得结构光特征在相机中的像素坐标与深度的换算关系。

如图2所示，将结构光投射到与标定板共面的平面上，通过相机同时拍摄结构光和标定板图案。变换标定板的位姿，多次拍摄。利用结构光中心一系列点的空间坐标自身共面、以及单次拍摄与标定板特征点共面这两个共面约束，求解出求解出结构光平面的方程在相机坐标系的形式，完成标定。

3)将标定板放置在精密位移台上，以使得位移台的x方向和所建立的相机坐标的的x轴方向尽量相同。以方便下面进行物体扫描。使标定在x方向进行不同位置的图像采集，通过标定板坐标系的移动，建立位移台x轴和相机坐标系x轴之间的空间变换关系。

所述的步骤1)和2)和3)的先后顺序不影响本发明的实施和效果。

(三)投射结构光，采集获取事件流

1)投射结构光到物体表面

将被测物放置在系统设计的测量范围内，使用前述结构光投射器投射结构光，根据被测物表面的纹理特征，适当调整结构光的能量输出，使得线结构光的亮度兼顾光刀质量和清晰度。

2)采集事件流

采集事件流(x_i,y_i,t_i)信息，其中x_i和y_i表示光线变化超过阈值(即被激活，也即事件发生)的像素的像素坐标系下的坐标，t_i表示被激活的时间。

3)进行全场扫描，持续采集事件流

使用精密位移台匀速移动被测物，移动的速度为v，以进行扫描，同时持续的采集事件流信息。

4)完成扫描，停止采集事件流

完成一次扫描后，停止事件流的采集，准备进行数据处理。

(四)利用事件流进行三维重建

1)遍历事件流，对事件流进行滤波

在事件流E(i,x_i,y_i,t_i)中相同的t_i代表这些像素同时被激活，对于孤立的事件，应作为噪声予以剔除。

2)遍历事件流，将事件按事件戳进行分组

按照时间戳将所有的事件进行分组，处理时，以组为单位进行，每一组事件e(i,x_i,y_i)都包含若干个点的索引坐标。

3)对结构光的特征进行提取

对于事件e(i,x_i,y_i)，对于每个y_i，求若干个x_i的平均值

作为其中心。

4)三维重建

根据相机的标定参数，建立相机主点位置和

所构成空间直线的方程。其与光刀平面的空间交点坐标的深度z作为p点的深度值。

按照上述方法，求解出所有e(i,x_i,y_i)中所有y_i对应的z坐标，进而得到其世界坐标系下的坐标(x，y，z)。

按照上述方法，求解一下个事件组的三维点云。

将所有的事件的点云进行拼接融合，融合的方法是，以第一个事件为基准，后面的每一个事件的z坐标不变，而x坐标需要加上其位移量，新的坐标计算方法为：

x′＝x+αvt，y′＝y+βvt

其中，αv为v在相机坐标系x轴方向上的投影速度，βv为v在相机坐标系y轴方向上的投影速度。t为该事件发生的事件与第一个基准事件发生的事件差。从而得到新的坐标(x′,y′,z)。

进而完成整个事件流E(i,x_i,y_i,t_i)所对应的点云，即完成一次扫描的点云重建。

对于新的扫描，重复步骤(三)、(四)。

虽然已经详细的描述和显示了一些具体实施方案，但本发明不受所述实施方案的限制，也可以以下权利要求书限定的主和范围内的其他方式实现。具体来说，应该了解在不偏离本发明范围的情况下，可使用其他实施方案，并可以进行功能修改。

在列举若干工具的装置权利要求中,这些工具中的一些可由一个相同的硬件项目实现。相互不同的从属权利要求中叙述或不同的实施方案中描述了特定量度这一事实,并不表示不能使用这些量度的组合以使有点突出。

应强调,在本说明书中使用术语“包括/包含(comprises/comprising)”时,其被理解为规定存在所述的特征、整数、步骤或组分,但不排除存在或添加一个或多个其它特征、整数、步骤、组分或其群组。

上文和下文描述的方法的特征可以软件实施,且可通过执行计算机可执行指令而在数据处理系统或其它处理工具上执行。指令可以是程序代码,其从存储介质或经由计算机网络从另一台计算机载入内存(例如RAM)。或者,所述的特征可由硬连线电路代替软件实现,或由硬连线电路和软件组合实现。

Claims (6)

1.一种基于事件相机的结构光三维测量方法，其特征在于，包含以下步骤：

(一)构建基于事件相机的结构光三维测量系统；

(二)标定结构光测量系统；

(三)投射结构光，采集获取事件流；

(四)利用事件流进行三维重建；

对结构光的特征进行提取方法是，对于事件e(i,x_i,y_i)，对于每个y_i，求若干个x_i的平均值

作为其中心；

所述三维重建的方式为：

1)根据相机的标定参数，建立相机主点位置和

所构成空间直线的方程；其与光刀平面的空间交点坐标的深度z作为p点的深度值；

按照上述方法，求解出所有e(i,x_i,y_i)中所有y_i对应的z坐标，进而得到其世界坐标系下的坐标(x，y，z)；

2)按照上述方法，求解一下个事件组的三维点云；

3)将所有的事件的点云进行拼接融合，融合的方法是，以第一个事件为基准，后面的每一个事件的z坐标不变，而x坐标需要加上其位移量，新的坐标计算方法为：

x′＝x+αvt，y′＝y+βvt；

其中，αv为v在相机坐标系x轴方向上的投影速度，βv为v在相机坐标系y轴方向上的投影速度；t为该事件发生的事件与第一个基准事件发生的事件差；从而得到新的坐标(x′,y′,z)；

进而完成整个事件流E(i,x_i,y_i,t_i)所对应的点云，即完成一次扫描的点云重建。

2.如权利要求1所述的结构光三维测量方法，其特征在于，所述步骤(一)中：

所述结构光三维测量系统，包含若干个结构光投射器和若干个事件相机；

所述结构光投射器，投射点结构光或者线结构光；所述投射器包含光源、以及用于对光形态进行调整的光学系统；所述结构光投射器使用激光器或者LED作为光源；

所述事件相机每个像素独立工作，输出事件流的事件相机；所述事件相机还包含了用于成像的光学镜头；

所述结构光投射器和事件相机之间可以是交叉光轴放置；或者是平行光轴放置。

3.如权利要求1所述的结构光三维测量方法，其特征在于，所述步骤(二)中，包含以下步骤：

1)标定相机的内部参数；内部参数包括焦距、主点位置、像素大小；

2)标定结构光的内部参数，以获得结构光特征在相机中的像素坐标与深度的换算关系；如果是点结构光，需要标定出光线的方程；如果是线结构光，需要标定出光刀平面的方程。

4.如权利要求1所述的结构光三维测量方法，其特征在于，所述步骤(三)包含以下步骤：

1)投射结构光到物体表面；

保证被测物在系统设计的工作距离范围内，使用前述结构光投射器投射结构光，根据被测物表面的纹理特征，调整结构光的能量输出，以使得结构光在物体表面明显同时又保证结构光的特征质量；所述的保证结构光的特征质量是点结构光的光斑大小，使光斑越小越好，线结构光的线宽，使线宽越细越好；

2)采集事件流；

在事件相机中，被激活的像素以流的形式传出；事件流至少包含(x_i,y_i,t_i)信息，其中x_i和y_i表示光线变化超过阈值，即被激活，也即事件发生的像素的像素坐标系下的坐标，t_i表示被激活的时间；

3)进行全场扫描，持续采集事件流

使结构光测量系统与被测物之间产生横向相对运动，即x方向相对运动，以实现对一个区域的完成扫描；

4)完成扫描，停止采集事件流

完成一次扫描后，停止事件流的采集，准备进行数据处理。

5.如权利要求1所述的结构光三维测量方法，其特征在于，所述步骤(四)包含以下步骤

1)遍历事件流，对事件流进行滤波

相同的t_i代表这些像素同时被激活，即这些像素在物体表面的采样点同时被结构光照亮；一般情况下，同时会有多个像素被同时激活，而且这些像素是彼此相邻的；对于孤立的事件，应作为噪声予以剔除；

2)遍历事件流，将事件按事件戳t_i进行分组

按照时间戳t_i将所有的事件进行分组，处理时，以组为单位进行；

3)对结构光的特征进行提取

每一组的事件，按照像素坐标进行重建，提取结构光的特征；所述结构光的特征为点结构光的中心，线结构光的中心；对于部分事件相机，输出事件像素的灰度值；如果有灰度信息，使用灰度信息按照点的重心，线的重心进行高阶特征进行亚像素的提取；遍历每一组数据，重复上述特征提取操作；

4)三维重建

按照步骤(二)中的标定参数进行三维点云的重建，完成一次三维扫描；

重复步骤(三)、(四)进行下一次扫描。

6.如权利要求3所述的结构光三维测量方法，其特征在于，标定方法包含了以下步骤：

1)标定相机的内参；获得内部参数，内部参数包括焦距、主点位置、像素大小；

首先调整相机的焦距和光圈，保证在标定距离处有良好的成像条件，然后固定焦距和光圈；开始标定；使用张正友标定法，将相机设置为图像模式，通过多次拍摄棋盘格标定板，然后进行角点提取，将已知的角点空间坐标带入相机的模型，求解得到相机的内参矩阵；

2)标定结构光的参数，以获得结构光特征在相机中的像素坐标与深度的换算关系；

将结构光投射到与标定板共面的平面上，通过相机同时拍摄结构光和标定板图案；变换标定板的位姿，多次拍摄；利用结构光中心一系列点的空间坐标自身共面、以及单次拍摄与标定板特征点共面这两个共面约束，求解出求解出结构光平面的方程在相机坐标系的形式，完成标定；

3)将标定板放置在精密位移台上，以使得位移台的x方向和所建立的相机坐标的的x轴方向相同；以方便下面进行物体扫描；使标定在x方向进行不同位置的图像采集，通过标定板坐标系的移动，建立位移台x轴和相机坐标系x轴之间的空间变换关系。

Images