CN114659466A

CN114659466A - 一种基于事件相机的边移结构光三维测量方法

Info

Publication number: CN114659466A
Application number: CN202210325015.XA
Authority: CN
Inventors: 赵宏; 鲍勍慷; 张春伟; 张天宇; 刘发恒; 李健; 李旭锋
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2022-03-30
Filing date: 2022-03-30
Publication date: 2022-06-24
Anticipated expiration: 2042-03-30
Also published as: CN114659466B

Abstract

本发明公开了一种基于事件相机的边移结构光三维测量方法，该方法使用结构光投影设备投影边移结构光图案序列至被测物体表面，由事件相机采集事件流，使用事件流数据计算被测物表面三维点云。本方法使用的边移结构光图案序列能够提高全场扫描的效率，便捷地实现动态三维测量。本方法将事件流数据转化为相位数据，借助成熟的相位解包裹算法，解决匹配歧义的问题。本方法操作方式简单、系统稳定性强、适应能力强。

Description

一种基于事件相机的边移结构光三维测量方法

技术领域

本发明属于光学三维测量技术领域，具体涉及一种基于事件相机的边移结构光三维测量方法。

背景技术

全场动态三维形貌、形变测量在航空航天、机械制造等领域需求广泛。结构光法使用结构光投影设备和传统相机进行三维测量。为了实现动态测量，往往需要使用高速相机。但高速相机的价格高昂，使得这一技术难以得到广泛应用。另外，传统相机以帧为单位产生和传输数据，其中包含大量的无用数据，浪费了大量硬件资源。而事件相机可以只记录和传输灰度变化达到设定阈值的像素数据，显著提高了数据采集的效率，适合运用于动态测量。现有的基于事件相机的三维测量方法多采用线激光扫描的方案。这种方案扫描速度慢，测量效率低，并且系统标定复杂，不利于使用。

发明内容

为了克服上述现有技术的缺点，本发明提出一种测量效率高、操作简便的基于事件相机的边移结构光三维测量方法。

一种基于事件相机的边移结构光三维测量方法，包括以下步骤：

S1、对边移结构光图案序列进行编码；使用结构光投影设备以设定的时间间隔投影边移结构光图案序列至被测物体表面，由事件相机采集事件流，得到事件流数据；

S2、利用时间信息对事件流数据进行分组，得到多组事件流数据；

S3、用属于同一次全场扫描的多组事件流数据创建包裹相位图，并对包裹相位图进行相位解包裹得到解包裹相位图；

S4、用解包裹相位图、结构光投影设备和事件相机的内外参数计算出被测物体表面的三维点云。

进一步的，S1中，若结构光投影设备和事件相机横向布置，边移结构光图案序列的编码方式为：

边移结构光图案有N行M列个像素，编码具有周期性，周期为p个像素；

4≤p≤M，每p列为一个周期，第i幅图案S_i(x,y)的编码公式为：

当1≤i≤p-1时，

当i＝p时，

S_i(x,y)＝1

当p+1≤i≤2p-1时，

当i＝2p时，

S_i(x,y)＝0

其中x为像素的横坐标(1≤x≤M)，y为像素的纵坐标(1≤y≤N)，mod(x,p)表示x对p取余，S_i(x,y)＝1表示该像素为亮，S_i(x,y)＝0表示该像素为暗。

进一步的，S1中，若结构光投影设备和事件相机纵向布置，边移结构光图案序列的编码方式为：

4≤p≤N，每p行为一个周期，第i幅图案S_i(x,y)的编码公式为：

当1≤i≤p-1时，

当i＝p时，

S_i(x,y)＝1

当p+1≤i≤2p-1时，

当i＝2p时，

S_i(x,y)＝0

其中x为像素的横坐标(1≤x≤M)，y为像素的纵坐标(1≤y≤N)，mod(y,p)表示y对p取余，S_i(x,y)＝1表示该像素为亮，S_i(x,y)＝0表示该像素为暗。

进一步的，S1中，编码生成2p幅图案，若进行单次测量，则只投影前p幅图案，若进行连续动态测量，则循环投影2p幅图案直至测量停止。

进一步的，S2中，事件相机采集的事件流数据包括被激活像素的坐标及其被激活的时间，根据被激活的时间对事件流数据进行分组，每组的时长为投影边移结构光图案的时间间隔的0.5至1.5倍，每p组事件流数据属于同一次全场扫描，p为移结构光图案的周期。

进一步的，S3包括以下步骤：

S3.1、创建一个P行Q列的矩阵并填入无效值，其中P为事件相机的像素的行数，Q为事件相机的像素的列数；

S3.2、遍历属于同一次全场扫描的p组事件流数据，对第k组数据(1≤k≤p)，根据边移结构光的特征提取出事件中心的坐标，将事件中心的坐标处的值设为

得到包裹相位图，p为边移结构光图案的周期。

进一步的，S4中，用空间相位解包裹法进行相位解包裹。

进一步的，在执行S1之前，对结构光投影设备和事件相机的内外参数进行标定，标定时将结构光投影设备视为逆相机，通过建立三维空间中的标志点、结构光投影设备的像素及事件相机的像素之间的映射关系，使用双目标定算法完成标定。

与现有技术相比，本发明至少具有以下有益技术效果：

本发明使用结构光投影设备投影边移结构光图案序列至被测物体表面，用事件相机采集事件流，得到事件流数据，使用事件流数据计算被测物表面三维点云，边移结构光图案序列中有多条边同时移动，与单线激光扫描方法相比提高了全场扫描的效率；边移结构光图案序列的首尾两幅图案依然满足边移规律，循环投影图案序列即可实现动态测量；操作方式简单、系统稳定性强、适应能力强。

进一步的，本发明将事件流数据转化为相位数据，借助成熟的相位解包裹算法，建立起结构光投影设备的像素与事件相机的像素之间的一一映射的关系，避免了匹配歧义的问题。

进一步的，本发明采用空间相位解包裹法进行相位解包裹，只需要包裹相位图本身，而不需要其他信息即可进行相位解包裹。

附图说明

图1为本发明流程图；

图2为结构光投影设备和事件相机横向布置时边移结构光图案序列的示意图；

图3为结构光投影设备和事件相机纵向布置时边移结构光图案序列的示意图；

图4为结构光投影设备和事件相机横向布置时投影设备像素阵列与相位值之间的关系的示意图；

图5为结构光投影设备和事件相机纵向布置时投影设备像素阵列与相位值之间的关系的示意图。

具体实施方式

为了使本发明的目的和技术方案更加清晰和便于理解，以下结合附图和实施例，对本发明进行进一步的详细说明，此处所描述的具体实施例仅用于解释本发明，并非用于限定本发明。

本实施例使用结构光投影设备投影边移结构光图案序列至被测物体表面，由事件相机采集事件流，使用事件流数据计算被测物表面三维点云。本实施例使用的结构光投影设备为DLP投影仪，可以实现数千甚至数万Hz的投影帧率。

参照图1，一种基于事件相机的边移结构光三维测量方法，包括以下步骤：

步骤1、使用结构光投影设备以固定时间间隔投影边移结构光图案序列至被测物体表面，由事件相机采集事件流，得到事件流数据；

步骤2、利用时间信息对事件流数据进行分组，得到多组事件流数据；

步骤3、使用属于同一次全场扫描的多组事件流数据创建包裹相位图，并使用相位解包裹算法对其进行相位解包裹得到解包裹相位图；

步骤4、使用解包裹相位图、结构光投影设备和事件相机的内外参数计算出被测物体表面的三维点云。

在本发明进一步的实施例中，步骤1中的边移结构光图案序列的编码方式为：

若结构光投影设备和事件相机横向布置，需满足4≤p≤M，每p列为一个周期，第i幅图案S_i(x,y)的编码公式为：

当1≤i≤p-1时，

当i＝p时，

S_i(x,y)＝1

当p+1≤i≤2p-1时，

当i＝2p时，

S_i(x,y)＝0

其中x为像素的横坐标(1≤x≤M)，y为像素的纵坐标(1≤y≤N)，mod(x,p)表示x对p取余，S_i(x,y)＝1表示该像素为亮，S_i(x,y)＝0表示该像素为暗；

第i幅图案的第一个周期为：

当i＝1时：第1列为亮，第2至p列为暗；

当2≤i≤p-2时：第1至i列为亮，第i+1至p列为暗；

当i＝p-1时：第1至p-1列为亮，第p列为暗；

当i＝p时：第1至p列为亮；

当i＝p+1时：第1列为暗，第2至p列为亮；

当p+2≤i≤2p-2时：第1至i-p列为暗，第i-p+1至p列为亮；

当i＝2p-1时：第1至p-1列为暗，第p列为亮；

当i＝2p时：第1至p列为暗；

若结构光投影设备和事件相机纵向布置，需满足4≤p≤N，每p行为一个周期，第i幅图案S_i(x,y)的编码公式为：

当1≤i≤p-1时，

当i＝p时，

S_i(x,y)＝1

当p+1≤i≤2p-1时，

当i＝2p时，

S_i(x,y)＝0

其中x为像素的横坐标(1≤x≤M)，y为像素的纵坐标(1≤y≤N)，mod(y,p)表示y对p取余，S_i(x,y)＝1表示该像素为亮，S_i(x,y)＝0表示该像素为暗；

第i幅图案的第一个周期为：

当i＝1时：第1行为亮，第2至p行为暗；

当2≤i≤p-2时：第1至i行为亮，第i+1至p行为暗；

当i＝p-1时：第1至p-1行为亮，第p行为暗；

当i＝p时：第1至p行为亮；

当i＝p+1时：第1行为暗，第2至p行为亮；

当p+2≤i≤2p-2时：第1至i-p行为暗，第i-p+1至p行为亮；

当i＝2p-1时：第1至p-1行为暗，第p行为亮；

当i＝2p时：第1至p行为暗；

上述编码方式共生成2p幅图案，若只进行单次测量，则只需投影上述前p幅图案，若进行连续动态测量，则循环投影上述2p幅图案直至测量停止，每投影p幅图案视为一次全场扫描，可以得到p组事件流数据，计算一次被测物体表面的三维点云。

为便于展示图案，本实施例中，M为12，N为8，p为4。若结构光投影设备和事件相机横向布置，则边移结构光图案序列如图2所示。若结构光投影设备和事件相机纵向布置，则边移结构光图案序列如图3所示。相邻两幅边移结构光图案之间只有少数不相邻的列或行发生亮度变化。该边移结构光图案序列包含8幅图案，每投影4幅图案即可扫描整个测量表面，完成一次测量。若只进行单次测量，则只需投影上述前4幅图案；若进行连续动态测量，则循环投影上述8幅图案直至测量停止，完成连续多次测量。实际操作中M、N和p由结构光投影设备的分辨率决定。对边移结构光图案进行水平镜像或垂直镜像而产生的图案，均落入本发明权利要求书的保护范围之内。

在本发明进一步的实施例中，以固定时间间隔投影边移结构光图案序列的每一幅图案，事件相机采集的事件流数据包含被激活像素的坐标及其被激活的时间，利用时间信息对事件流数据进行分组，每组的时长为投影边移结构光图案的时间间隔的0.5至1.5倍，每p组数据属于一次全场扫描。由于相邻两幅边移结构光图案之间只有少数不相邻的列或行发生亮度变化，所以在投影边移结构光图案序列时，每投影一幅图案都会由事件相机记录下物体表面上亮度变化超过阈值的点的信息，包含其在事件相机像素阵列上的坐标及其发生亮度变化的时间。由于事件相机产生的数据是连续的数据流，需要利用时间信息对事件流数据进行分组。事件是由投影边移结构光图案序列产生的，所以每组事件流数据的时长应与投影图案的时间间隔大致相等，但由于设备灵敏度不同、存在误差等原因，每组事件流数据的时长在投影图案的时间间隔的0.5至1.5倍之间均为合理。绘制事件数目关于时间的直方图，此图中的极大值点对应的时刻与投影图案的时刻对应，极大值点之间的时间间隔应为投影图案的时间间隔的0.5至1.5倍。根据这些信息对事件流数据进行分组，使每组数据包含直方图中的一个峰。每p组事件流数据属于一次全场扫描，可以计算一次被测物表面三维点云。若为单次测量，则使用前p组数据计算一次被测物表面三维点云即可；若为连续动态测量，则使用每p组数据计算一次被测物表面三维点云，直到剩余不足p组数据。

在本发明进一步的实施例中，使用每次全场扫描的p组事件流数据创建包裹相位图，并使用相位解包裹算法对其进行相位解包裹得到解包裹相位图，使用解包裹相位图以及结构光投影设备和事件相机的内外参数计算出被测物体表面的三维点云。

使用每次全场扫描的p组事件流数据创建包裹相位图的方法为：

(1)创建一个P行Q列的相位图矩阵并填入无效值nan，其中P为事件相机的像素的行数，Q为事件相机的像素的列数；

(2)遍历属于同一次全场扫描的p组事件流数据，对第k组数据(1≤k≤p)，根据边移结构光的特征提取出事件中心的坐标，将相位图矩阵的这些坐标处的值设为

得到包裹相位图。

边移结构光图案有多条边同时扫描被测物体，投影图案时会在同一时刻激活事件相机像素阵列上的多条曲线(即产生了事件)，事件相机会输出被激活像素的坐标和它们被激活的时间。事件相机像素阵列上被激活的曲线可能具有多个像素宽度，因此需要提取出事件的中心坐标，提取方法可以是计算每条被激活的曲线的几何中心坐标。本实施例将事件流数据转化为相位数据的目的是借助成熟的相位解包裹算法，使用相位编码建立起结构光投影设备的像素与事件相机的像素之间的一一映射关系，避免匹配歧义的问题。为便于展示图案，本实施例中M为12，N为8，p为4。若结构光投影设备和事件相机横向布置，则投影设备像素阵列与相位值之间的关系的示意图如图4所示。图4展示的阵列代表投影设备的像素阵列，方格内的数字代表该像素被赋予的相位值，最上方的数字代表每一列像素的编号。当投影边移结构光图案序列的第k幅图案时(k＝1,2,3,4)，图4中编号为k的列会由于亮度产生变化激活事件相机像素阵列中的某些像素，为了建立事件相机像素阵列中这些被激活的像素与投影设备像素阵列中编号为k的列的对应关系，将投影设备像素阵列中编号为k的列的相位值

赋予事件相机像素阵列中这些被激活的像素，即将所创建的相位图矩阵中的事件中心坐标处的值设为

若结构光投影设备和事件相机纵向布置，则投影设备像素阵列与相位值之间的关系的示意图如图5所示。图5展示的阵列代表投影设备的像素阵列，方格内的数字代表该像素被赋予的相位值，最左方的数字代表每一行像素的编号。当投影边移结构光图案序列的第k幅图案时(k＝1,2,3,4)，图5中编号为k的行会由于亮度产生变化激活事件相机像素阵列中的某些像素，为了建立事件相机像素阵列中这些被激活的像素与投影设备像素阵列中编号为k的行的对应关系，将投影设备像素阵列中编号为k的行的相位值

一次全场扫描包含p＝4组事件流数据，其中第k(k＝1,2,3,4)组数据是由投影设备像素阵列中编号为k的列(图4)或编号为k的行(图5)的亮度变化而产生的事件。所以，要赋予第k组数据的事件中心以投影设备像素阵列中编号为k的列(图4)或编号为k的行(图5)的相位值。由于投影图案的周期性，相位的编码也具有周期性，产生的相位图为包裹相位图。现有的相位解包裹算法可以对其解包裹，得到解包裹相位图。使用解包裹相位图以及结构光投影设备和事件相机的内外参数，利用现有的结构光三维求解方法计算出被测物体表面的三维点云。

在本发明进一步的实施例中，所使用的相位解包裹算法为空间相位解包裹法。现有的相位解包裹算法有多种，其中空间相位解包裹法只需要包裹相位图本身而不需要其他信息即可进行相位解包裹，所以本实施例使用空间相位解包裹法进行相位解包裹。空间相位解包裹法解得的解包裹相位是相对于某一参考点的相对相位，确定参考点的绝对相位值后，即可得到绝对的解包裹相位图以用于三维点云的计算。参考点的绝对相位值的确定方法有多种，可以固定参考点的位置并提前获取其绝对相位值，也可以根据空间几何约束确定其绝对相位值。

在本发明进一步的实施例中，结构光投影设备和事件相机的内外参数需要提前标定。本实施例采用结构光三维测量系统的标定方法，通过建立三维空间中的标志点、结构光投影设备的像素及事件相机的像素之间的映射关系，使用双目标定算法完成标定。标定结构光投影设备和事件相机内外参数的方法有多种，本实施例使用逆相机法，将结构光投影设备视为逆相机，使其投影编码图案至标定板表面，并使用事件相机进行拍摄，通过分析事件相机所采集的事件流数据建立起三维空间中的标志点、结构光投影设备的像素及事件相机的像素之间的映射关系，最终使用传统的双目标定算法如张氏标定法，标定出结构光投影设备和事件相机的内外参数，其包括结构光投影设备与事件相机之间的相对位姿关系。结合标定结果和计算所得的解包裹相位图，使用基于三角关系的结构光三维求解方法即可计算出被测物体表面的三维点云。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims

1.一种基于事件相机的边移结构光三维测量方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于事件相机的边移结构光三维测量方法，其特征在于，所述S1中，若结构光投影设备和事件相机横向布置，边移结构光图案序列的编码方式为：

4≤p≤M，每p列为一个周期，第i幅图案S_i(x,y)的编码公式为：

当1≤i≤p-1时，

当i＝p时，

S_i(x,y)＝1

当p+1≤i≤2p-1时，

当i＝2p时，

S_i(x,y)＝0

3.根据权利要求1所述的一种基于事件相机的边移结构光三维测量方法，其特征在于，所述S1中，若结构光投影设备和事件相机纵向布置，边移结构光图案序列的编码方式为：

4≤p≤N，每p行为一个周期，第i幅图案S_i(x,y)的编码公式为：

当1≤i≤p-1时，

当i＝p时，

S_i(x,y)＝1

当p+1≤i≤2p-1时，

当i＝2p时，

S_i(x,y)＝0

4.根据权利要求2或3所述的一种基于事件相机的边移结构光三维测量方法，其特征在于，所述S1中，编码生成2p幅图案，若进行单次测量，则只投影前p幅图案，若进行连续动态测量，则循环投影2p幅图案直至测量停止。

5.根据权利要求1所述的一种基于事件相机的边移结构光三维测量方法，其特征在于，所述S2中，事件相机采集的事件流数据包括被激活像素的坐标及其被激活的时间，根据被激活的时间对事件流数据进行分组，每组的时长为投影边移结构光图案的时间间隔的0.5至1.5倍，每p组事件流数据属于同一次全场扫描，p为移结构光图案的周期。

6.根据权利要求5所述的一种基于事件相机的边移结构光三维测量方法，其特征在于，所述S3包括以下步骤：

得到包裹相位图，p为边移结构光图案的周期。

7.根据权利要求1所述的一种基于事件相机的边移结构光三维测量方法，其特征在于，所述S4中，用空间相位解包裹法进行相位解包裹。

8.根据权利要求1所述的一种基于事件相机的边移结构光三维测量方法，其特征在于，在执行S1之前，对结构光投影设备和事件相机的内外参数进行标定，标定时将结构光投影设备视为逆相机，通过建立三维空间中的标志点、结构光投影设备的像素及事件相机的像素之间的映射关系，使用双目标定算法完成标定。