CN116977449A - 一种基于闪烁棋盘格的复眼事件相机主动标定方法 - Google Patents

Abstract

本发明公开了一种基于闪烁棋盘格的复眼事件相机主动标定方法，包括如下步骤：首先，利用LCD屏播放闪烁的棋盘格图案，构成一个特征点构造装置，然后将由事件相机组成的复眼装置固定于二维转台上，控制二维转台的转动，使得各个事件相机依次对准LCD屏，采集棋盘格图像信息，完成标定，同时根据转动的角度可建立不同事件相机坐标系之间的联系。本发明利用二维转台调整复眼事件相机位姿，采集不同角度的棋盘格事件信息，以达到简便，快速和低成本标定复眼事件相机的目的，且本发明使用高斯滤波的方法，减小了噪声影响，使得标定更加精确。

Description

一种基于闪烁棋盘格的复眼事件相机主动标定方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于闪烁棋盘格的复眼事件相机主动标定方法。

背景技术

长期以来，人们对单孔径光学成像的原理已有了较为全面、详尽的研究和了解，并把它广泛地应用于各种光学成像仪器中。但在目标的方位和距离检测方面，单个相机难以同时实现大视场和高分辨率，因而采用多个相机组成相机阵列，模拟昆虫复眼进行多孔径成像，从而获得大视场高分辨率。但是基于帧的传统相机输出带宽过大，若应用于构造复眼，则将产生庞大的数据，现有硬件难以支撑。事件相机是一种受生物启发的新型视觉传感器，有时也称动态视觉传感器。相比于以固定帧率采集图像的标准相机，它具有低延迟、高动态范围、低功耗、高时间分辨率和输出带宽低等特点，是构造复眼相机的最佳选择之一。当我们用事件相机代替复眼中的“小眼”负责场景信息的采集时，由于每个事件相机对比于昆虫的一只小眼在分辨率和视野方面都要强多，所以仿生复眼视觉系统可以同时实现大视场和高分辨率的特点。

在测量前，需要对事件相机进行标定。空间物体表面某点的三维位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型中的参数就是摄像机参数，标定精度的高低，直接影响着机器视觉系统的精度。目前事件相机标定方法主要有以下几种：将事件相机与传统相机结合，使用同一个镜头，通过对传统相机进行标定，从而间接获得事件相机内参；使用带同步闪烁的LED的标定板生成的标定板图片，再使用张正有标定法标定；在显示器中产生闪烁的标定板生成的标定板图片，再使用张正有标定法标定。以上方法适用于单个事件相机的标定，但对于多个事件相机构成的事件相机组，则效果较差，效率低 ，且无法建立各个事件相机坐标系之间的联系。

发明内容

为解决上述问题，本发明采用LCD屏构造标靶，并采用二维转台控制相机的位姿对各个相机进行标定，再根据二维转台的转角建立不同事件相机坐标系之间的联系，最终实现事件相机组的标定。

本发明提供了本发明提供了一种基于闪烁棋盘格的复眼事件相机主动标定方法，具体包括有以下步骤：

S1、建立基于LCD屏的标定装置：标定装置包括有LCD屏、事件相机、二维转台、底座和复眼事件相机组，所述的LCD屏竖直固定于地面上，LCD屏中有闪烁的棋盘格图案，所述的二维转台可左右或上下旋转，所述的二维转台固定在底座上；所述事件相机均匀固定在半球形框架上；复眼事件相机组固定于二维转台上；测得正对LCD屏与二维转台转轴之间的距离为d;

S2、事件流采集：以二维转台旋转中心为原点O，LCD屏法向为X轴，棋盘格纵向建立Y轴，与X轴与Y轴垂直的方向作为Z轴，从而建立世界坐标系 O-XYZ；然后控制二维转台转动，将其中一个事件相机对准棋盘格，控制棋盘格闪烁，用事件相机进行采记录事件流E。依次使用每个事件相机采集事件流数据，储存于事件流数据集中，并记录每次转台转动的横向转角和纵向转角/>，以顺时针转向为正；

S3、图像重建：将收集到的事件信息合成事件帧。由于时事件相机只记录像素极性的变化，故图像中的每个像素只能是+1/0/-1，代表这里会发生正/否/负事件。考虑到屏幕反光等因素造成的因素造成噪声干扰，本专利使用高斯滤波去除噪声影响；

S4、相机标定：重建得到的棋盘格图像，提取特征点，利用张正有标定法对每个相机进行标定，得到事件相机的参数矩阵。

S5、建立相机坐标系之间的联系：

世界坐标系与事件相机m坐标系建立关系：

世界坐标系与事件相机m坐标系建立关系：

式中：分别为事件相机m坐标系与世界坐标的变换矩阵，/>分别为事件相机n坐标系与世界坐标的变换矩阵，经过转台旋转后，根据相对运动若假设相机不动，LCD屏绕相机转动相应角度，世界坐标点/>变为/>，其中：

由上述两式可知，以世界坐标系下的特征点及其旋转平移后的特征点为媒介，就可以求取两事件相机间的变换矩阵，可以建立复眼中不同事件相机间的坐标变换关系。

所述S2中，为了使标定所得的参数更接近真值，在事件相机正对LCD屏采集完事件信息后，再稍微转动当前相机，使得其在不同角度采集事件信息，合成不同角度的棋盘格图像。由于这些转动角度不用于建立不同事件相机坐标系间联系，故不记录；

所述S2中，事件相机输出的事件的属性包括：时间、像素位置、及与亮度变化相关的极性；其中，极性包括正极性与负极性；若当前像素位置的亮度大于等于前一时间的亮度，则产生正极性事件；若当前像素位置的亮度小于前一时间的亮度，则产生负极性事件；若当前像素位置的亮度等于前一时间的亮度，则不产生事件。

所述S3中，高斯滤波的具体步骤为：对于待处理的事件，使用二维高斯核：

式中：为该事件与其他事件的空间距离，/>为该事件与其他事件的时间戳距离。

将事件流用二维高斯核进行卷积，得到该事件的真实事件概率。

式中：表示卷积运算，/>是事件间的空间距离/>及时间距离/>的标准差，与事件相机分辨率和事件流的时间间隔相关。

如下式所示，当事件概率小于阈值时，认为该事件为背景事件；当事件数大于阈值/>时，认为该事件为真实事件。基于事件的滤波方法，滤除噪声干扰，保证事件触发的有效性。

所述S4中，根据透视投影模型，将二维平面的任意点与三维空间上的对应的点信息进行匹配，其投影关系式为

其中，从世界坐标系到相机坐标系的转化，外参数包括旋转矩阵R和平移向量t，

分别表示旋转矩阵R的元素，/>表示平移向量t的元素，相机内参矩阵K包括等效焦距/>主点/>表示世界坐标系中特征点/>的三维坐标，/>表示特征点对应的二维图像中的点/>的坐标。

本发明的优点：

（1）、本发明利用二维转台调整复眼事件相机位姿，采集不同角度的棋盘格事件信息，以达到简便，快速和低成本标定复眼事件相机的目的；

（2）、本发明使用高斯滤波的方法，减小了噪声影响，使得标定更加精确。

附图说明

图1是基于闪烁棋盘格的复眼事件相机主动标定装置示意图。

图2是本发明特征点在世界坐标系 O-XYZ中的三维图，根据相对运动，将相机视作固定，特征点移动示意图。

附图中：1、LCD显示屏；2、事件相机；3、二维转台；4、底座。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示，本发明提供一种基于闪烁棋盘格的复眼事件相机主动标定技术，具体包括有以下步骤：

（1）建立基于LCD屏的标定装置：如图1所示，标定装置包括有LCD屏1、事件相机2、二维转台3、底座4和复眼事件相机组，所述的LCD屏1竖直固定于地面上，LCD屏1中有闪烁的棋盘格图案，闪烁频率为200 Hz，所述的二维转台3具有两个自由度，可左右或上下旋转，其底座4固定；所述事件相机2均匀固定在半球形框架上；复眼事件相机组固定于二维转台3上；测得正对LCD屏1与二维转台3转轴之间的距离为d;

（2）事件流采集：以二维转台3旋转中心为原点O，LCD屏法1向为X轴，棋盘格纵向建立Y轴，与X轴与Y轴垂直的方向作为Z轴，从而建立世界坐标系 O-XYZ；然后控制二维转台3转动，将其中一个事件相机2对准棋盘格，控制棋盘格闪烁，用事件相机2进行采记录事件流E。依次使用每个事件相机2采集事件流数据，储存于事件流数据集中，并记录每次转台转动的横向转角和纵向转角/>，以顺时针转向为正；

（3）图像重建：将收集到的事件信息合成事件帧。由于时事件相机2只记录像素极性的变化，故图像中的每个像素只能是+1/0/-1，代表这里会发生正/否/负事件。考虑到屏幕反光等因素造成的因素造成噪声干扰，本发明使用高斯滤波去除噪声影响。

（4）相机标定：重建得到的棋盘格图像，提取特征点，利用张正有标定法对每个相机2进行标定，得到事件相机2的参数矩阵。

（5）建立相机坐标系之间的联系：

世界坐标系与事件相机m坐标系建立关系：

世界坐标系与事件相机n坐标系建立关系：

式中：分别为事件相机m坐标系与世界坐标的变换矩阵，/>别为事件相机n坐标系与世界坐标的变换矩阵，经过转台旋转后，根据相对运动若假设相机不动，LCD屏绕相机转动相应角度，世界坐标点/>变为/>，其中：

由上述两式可知，以世界坐标系下的特征点及其旋转平移后的特征点为媒介，就可以求取两事件相机间的变换矩阵，可以建立复眼中不同事件相机2间的坐标变换关系。

所述S2中，为了使标定所得的参数更接近真值，在事件相机2正对LCD屏1采集完事件信息后，分别在左右，俯角仰角方向转动10°，对于每个事件相机2额外采集4次事件信息，额外合成4张不同角度的棋盘格图像。

所述S2中，事件相机2输出的事件的属性包括：时间、像素位置、及与亮度变化相关的极性；其中，极性包括正极性与负极性；若当前像素位置的亮度大于等于前一时间的亮度，则产生正极性事件；若当前像素位置的亮度小于前一时间的亮度，则产生负极性事件；若当前像素位置的亮度等于前一时间的亮度，则不产生事件。

所述S3中，高斯滤波的具体步骤为：对于待处理的事件，使用二维高斯核：

式中：为该事件与其他事件的空间距离，/>为该事件与其他事件的时间戳距离。

将事件流用二维高斯核进行卷积，得到该事件的真实事件概率。

式中：表示卷积运算，/>是事件间的空间距离/>及时间距离/>的标准差，与事件相机分辨率和事件流的时间间隔相关。

如下式所示，当事件概率小于阈值时，认为该事件为背景事件；当事件数大于阈值/>时，认为该事件为真实事件。基于事件的滤波方法，滤除噪声干扰，保证事件触发的有效性。

所述S4中，根据透视投影模型，将二维平面的任意点与三维空间上的对应的点信息进行匹配，其投影关系式为

其中，从世界坐标系到相机坐标系的转化，外参数包括旋转矩阵R和平移向量t，分别表示旋转矩阵R的元素，/>表示平移向量t的元素，相机内参矩阵K包括等效焦距/>，主点/>表示世界坐标系中特征点/>的三维坐标，/>表示特征点对应的二维图像中的点/>的坐标。

尽管参考附图详地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (5)

1.一种基于闪烁棋盘格的复眼事件相机主动标定方法，其特征在于，包括如下步骤：

S1、建立基于LCD屏的标定装置：标定装置包括有LCD屏（1）、事件相机（2）、二维转台（3）、底座（4）和复眼事件相机组，所述的LCD屏（1）竖直固定于地面上，LCD屏（1）中有闪烁的棋盘格图案，所述的二维转台（3）可左右或上下旋转，所述的二维转台（3）固定在底座（4）上；所述事件相机（2）均匀固定在半球形框架上；复眼事件相机组固定于二维转台（3）上；测得正对LCD屏（1）与二维转台（3）转轴之间的距离为d;

S2、事件流采集：以二维转台（3）旋转中心为原点O，LCD屏（1）法向为X轴，棋盘格纵向建立Y轴，与X轴与Y轴垂直的方向作为Z轴，从而建立世界坐标系 O-XYZ；然后控制二维转台（3）转动，将其中一个事件相机（2）对准棋盘格，控制棋盘格闪烁，用事件相机（2）进行采记录事件流E；依次使用每个事件相机（2）采集事件流数据，储存于事件流数据集中，并记录每次转台转动的横向转角和纵向转角/>，以顺时针转向为正；

S3、图像重建：将收集到的事件信息合成事件帧；由于时事件相机只记录像素极性的变化，故图像中的每个像素只能是+1/0/-1，代表这里会发生正/否/负事件；

S4、相机标定：重建得到的棋盘格图像，提取特征点，利用张正有标定法对每个相机进行标定，得到事件相机的参数矩阵；

S5、建立相机坐标系之间的联系：

世界坐标系与事件相机m坐标系建立关系：

，

世界坐标系与事件相机n坐标系建立关系：

，

上式中：分别为事件相机m坐标系与世界坐标的变换矩阵，/>分别为事件相机n坐标系与世界坐标的变换矩阵，经过转台旋转后，根据相对运动，若假设相机不动，LCD屏（1）绕相机转动相应角度，世界坐标点/>变为/>，其中：

，

由R和T可知，以世界坐标系下的特征点及其旋转平移后的特征点为媒介，求取两事件相机间的变换矩阵，建立复眼中不同事件相机间的坐标变换关系。

2.根据权利要求1所述的一种基于闪烁棋盘格的复眼事件相机主动标定方法，其特征在于，所述S2中，为了使标定所得的参数更接近真值，在事件相机正对LCD屏采集完事件信息后，再稍微转动当前相机，使得其在不同角度采集事件信息，合成不同角度的棋盘格图像。

3.根据权利要求2所述的一种基于闪烁棋盘格的复眼事件相机主动标定方法，其特征在于，所述S2中，事件相机输出的事件的属性包括：时间、像素位置、及与亮度变化相关的极性；其中，极性包括正极性与负极性；若当前像素位置的亮度大于等于前一时间的亮度，则产生正极性事件；若当前像素位置的亮度小于前一时间的亮度，则产生负极性事件；若当前像素位置的亮度等于前一时间的亮度，则不产生事件。

4.根据权利要求3所述的一种基于闪烁棋盘格的复眼事件相机主动标定方法，其特征在于，所述的S3中事件信息的处理采用高斯滤波处理，高斯滤波的具体步骤为：对于待处理的事件，使用二维高斯核：

，

式中：为该事件与其他事件的空间距离，/>为该事件与其他事件的时间戳距离；

将事件流用二维高斯核进行卷积，得到该事件的真实事件概率；

，

式中：表示卷积运算，/>是事件间的空间距离/>及时间距离/>的标准差，与事件相机分辨率和事件流的时间间隔相关；

，

当事件概率小于阈值时，认为该事件为背景事件；当事件数大于阈值/>时，认为该事件为真实事件，基于事件的滤波方法，滤除噪声干扰，保证事件触发的有效性。

5.根据权利要求1所述的一种基于闪烁棋盘格的复眼事件相机主动标定方法，其特征在于，所述的S4中的相机标定为：根据透视投影模型，将二维平面的任意点与三维空间上的对应的点信息进行匹配，其投影关系式为

，

其中，从世界坐标系到相机坐标系的转化，外参数包括旋转矩阵R和平移向量t，

分别表示旋转矩阵R的元素，/>表示平移向量t的元素，相机内参矩阵K包括等效焦距/>主点/>表示世界坐标系中特征点/>的三维坐标，/>表示特征点对应的二维图像中的点/>的坐标。