CN116990963B - 一种复眼事件相机的设计方法及装置 - Google Patents

Abstract

本发明公开了一种复眼事件相机的设计方法及装置，该方法包括以下步骤：子孔径分割大视场步骤，将一个半球形视场分割为多个子孔径对应的子视场；子视场映射到事件相机视场步骤，将子视场逐一对应到每个事件相机；球面事件相机布局平面化步骤。本发明拥有全方位的视觉感知能力，利用事件相机低数据带宽高速动态观测的特性，实现低数据带宽事件流数据的获取，利用多孔径成像系统大视场高分辨的特性，实现大视场高分辨率动态观测，解决了单一事件相机视场过小和传统多孔径成像系统数据带宽过大无法实时处理的问题。同时，本发明使用平面复眼结构代替传统的球面复眼结构，缩小结构体积的同时减小了复眼事件相机的制造难度。

Description

一种复眼事件相机的设计方法及装置

技术领域

本发明涉及光学仿生技术领域，尤其涉及一种复眼事件相机的设计方法及装置。

背景技术

面对大视场、长时间、超高帧数的高速动态目标测量，传统的基于CMOS相机或CCD相机的高带宽增加了工作量，使测量过程复杂化，无法满足关键参数实时测量的需求。

事件相机是一种新型的视觉传感模式，其受到生物视网膜启发的基于事件的传感器，提供了连续的输出异步事件流，可解决上述的带宽问题。事件相机相对于单个像素，仅在接受到的光强度发生改变时才输出事件信息，事件相机输出的每一个数据都包括事件的地址(对应像素位置)和事件的性质(变亮还是变暗)。它输出的每个事件都包含——一个像素位置，一个用对数强度表示正或负变化的极性位，以及一个以微秒为单位的时间戳。那么每个事件就可以被表示成，/>是事件所在像素的横坐标，/>是事件所在像素的纵坐标，/>是时间戳，/>是事件的极性，标志着事件光强的改变，且/>。这样不会像传统摄像机那样产生大量冗余数据和多余的计算。然而，当前的事件相机的视场都较小，无法满足大视场测量的需求。

单相机的视场范围有限，无法准确及时的锁定目标，同时单一视角图像分辨率有限，无法获取更多的目标信息，不利于目标参数的测量。多孔径成像系统中，每个相机可以看作一个独立的单孔径系统，遵循相应的光学规律。孔径之间具有重叠的视场，增加了单个相机的通光孔径，在增大视场的同时保证分辨率。多孔径结构中外层首先是一层曲面列阵化的镜头结构，与镜头对应的是一层传感器列阵，每个镜头与之对应的传感器构成一个成像通道，成像通道由球面支撑体进行固定支撑。通过处于各个方位的成像通道将物空间分为若干个视场，每个成像通道对应一个视场，并对该视场内的物体进行捕获，由探测器完成对所成像的采集。各通道采集的图像，依据重叠信息及逆行融合拼接。孔径合成可以有效扩展成像的视场和分辨率，然而，受限于单个相机的体积，球面多孔径成像系统结构体积通常较大，同时，由于相机数目的增多，数据带宽也随之大幅增加，因此基于传统相机的多孔径成像系统很难用于实时预警或测量领域。

发明内容

为解决上述问题，本发明拟将事件相机的低数据量、低时延、高动态的特性与多孔径的大视场高分辨特性相融合，实现大视场、高分辨率、低数据量、低时延、高动态事件流数据的获取。同时，在结构设计上，本发明将传统的球面复眼结构优化为结构体积更小的平面复眼结构，有效缩小了复眼事件相机系统的结构体积。

本发明提供了一种复眼事件相机的设计方法，包括如下步骤：

S1、子孔径分割大视场，将一个半球形视场分割为多个子孔径对应的子视场，其中，视场分割的策略是从边缘视场到中央视场逐次收缩；

S2、子视场映射到事件相机视场，视场分割完成以后，根据子视场与事件相机视场的关系，将子视场映射到事件相机视场上，且保证相邻事件相机视场有部分重合，从而获得每个子视场所对应事件相机在半球面上的位置，完成复眼大视场光学系统的初步设计；

S3、半球面事件相机布局平面化，类似于菲涅尔透镜结构原理，保留事件相机在半球面上的倾斜角度的同时，尽可能的减小事件相机相对于与半球底面的高度，使全部事件相机几乎处于同一平面上，将曲面结构平面化可以较大程度的减小结构尺寸；

S4、平面事件相机组结构优化，由于压缩后结构可能存在一定的干涉，且视场会发生一定的变化，因此有必要在平面上对事件相机组的空间位置进行二次变换，改变事件相机的倾角以及位置，使其获得与半球面事件相机组相类似的视野范围。

本发明还提供了一种复眼事件相机的设计方法的装置，包括：大视场事件流数据获取单元，平面式复眼事件相机支架和事件相机安装平台，事件相机安装平台上设置有支架安装孔和事件相机排线孔，且支架安装孔安装平面板式事件相机支架或半球壳式事件相机支架。

大视场事件流数据获取单元，获取大视场、低带宽、低时延、高动态事件流数据，由多组按照不同角度排列的事件相机构成。

平面式复眼事件相机支架，根据预先计算好的事件相机组安装位置及角度订制，用于安装事件相机组。

本发明的优点：本发明拥有全方位的视觉感知能力，利用事件相机低数据带宽高速动态观测的特性，实现低数据带宽事件流数据的获取，利用多孔径成像系统大视场高分辨的特性，实现大视场高分辨率动态观测，解决了单一事件相机视场过小和传统多孔径成像系统数据带宽过大无法实时处理的问题。同时，本发明使用平面复眼结构代替传统的球面复眼结构，缩小结构体积的同时减小了复眼事件相机的制造难度。

附图说明

图1是本发明一种复眼事件相机的设计方法流程示意图。

图2是事件相机立体视场示意图。

图3是本发明大视场分割正面视角示意图。

图4是本发明大视场分割背面视角示意图。

图5是平面板式复眼事件相机支架结构示意图。

图6是平面板式复眼事件相机结构示意图。

图7是半球壳式复眼事件相机与平面板式复眼事件相机的结构厚度对比图。

附图标记：1-事件相机的视场范围，2-事件相机的水平视场角，3-事件相机的垂直视场角，4-事件相机，5-事件相机光轴，6-支架安装孔，7-事件相机排线孔，8-事件相机安装平台，9-平面板式事件相机支架，10-半球壳式事件相机支架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-7所示，该实施例提供了一种复眼事件相机的设计方法，可用于获取大视场事件流数据，包括如下步骤：

S1、子孔径分割大视场，其中，视场分割的策略是从边缘视场到中央视场逐次收缩。

该步骤中，将一个半球形大视场分割为多个子孔径对应的子视场，大视场分割子视场数目的计算公式如下所示：

其中，，

先将取整后，再通过计算公式/>计算得到期望子视场数目，/>为半球壳式事件相机支架10的球心到期望视场最远端的距离，/>为半球壳式事件相机支架10的半径，/>为事件相机的水平视场角2，/>为事件相机的垂直视场角3，/>为期望水平方向视场重叠范围，/>为期望竖直方向视场重叠范围，可通过设定合理的/>、/>值，适当减小中央视场的重叠面积，优化子视场的数量及位置。

为了便于直观体现出公式n中各个参数对最终设计的影响，设各参数值分别为

；

由上述各个参数，根据公式n前半部分，可计算出沿着半球壳底面将大视场沿圆周分割的子视场数目为12个，即：

而在竖直方向上，沿圆周分割大视场的子视场组共有个，即：

最后，将大视场余下的顶面视场作为一个单独的子视场。

根据上述计算过程，最终可得分割的子视场数目个，即：

S2、子视场映射到事件相机视场，视场分割完成以后，根据子视场与事件相机视场的关系，将子视场映射到事件相机视场上。

如图2所示，在无遮挡的情况下，事件相机的视场范围1可以用一个虚拟的四棱锥来表示。若某一横截面平行于四棱锥的底面，则此横截面一定为矩形。类似地，如果某一物平面垂直于摄像机光轴5，即与像平面相互平行，则此物平面也一定为矩形。此矩形的长和宽/>与物距/>、事件相机的水平视场角1为/>、事件相机的垂直视场角3为/>的数学关系如下所示：

由于S1分割大视场过程中已将事件相机4各项参数以及物距考虑进去，所以所需事件相机4数目也就是S1中子视场的数目，分为三组共25台。其中，第一组12台安装于半球壳式事件相机支架10的底边圆周上部，相邻两台间夹角为，并事件相机光轴5指向球心且与底面夹角为/>；第二组与第一组类似，12台事件相机4的两两间夹角为/>，光轴指向球心且与底面夹角为/>；最后一组仅由一台事件相机4构成，安装与半球壳式事件相机支架的最顶端。

S3、半球面事件相机布局平面化，类似于菲涅尔透镜结构原理，保留事件相机4在半球面上的倾斜角度的同时，尽可能的减小事件相机相对于与半球底面的高度。

在本实施例中，将三组25台事件相机4沿着竖直方向平移到半球壳底面上即完成这一步骤。

S4、平面事件相机组结构优化，由于压缩后结构可能会存在一定的干涉，且视场会发生一定的变化，因此有必要在平面上对事件相机组的空间位置进行二次变换，改变事件相机4的倾角以及位置，使其获得与半球面事件相机组相类似的视野范围。

在本实施例中，圆形的平面板式相机支架9直径与半球壳式事件相机支架10底面直径相同，在第一组事件相机4平移到平面后，将第一组事件相机4移动到平面板支架边缘，改变其倾角，使其光轴与平面板间夹角略大于度，为/>，使底部视场边界略高于平面板所在的平面；随后将第二组事件相机4适当向边缘移动并向上平移1cm，以减小彼此之间和与第一组事件相机4之间的干涉，随后调整其光轴与平面板间的夹角为/>；最后将中心处的一台事件相机向上平移1cm即完成结构优化过程。

本实施例还提供一种复眼事件相机装置，包括：大视场事件流数据获取单元，平面板式事件相机支架9和事件相机安装平台8，事件相机安装平台8上设置有支架安装孔6和事件相机排线孔7，且支架安装孔6安装平面板式事件相机支架9或半球壳式事件相机支架10。

大视场事件流数据获取单元，可用于获取大视场、低数据量、低时延、高动态事件流数据，由多组按照不同角度排列的事件相机构成。

平面板式事件相机支架9，根据预先计算好的事件相机组安装位置及角度定做，用于安装事件相机组。

上述实施例记载的一种复眼事件相机的设计方法及装置，该装置可用于获取大视场、高分辨率、低数据量、低时延、高动态的事件流数据。

尽管参考附图详地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (8)

1.一种复眼事件相机的设计方法，其特征在于，包括如下步骤：

S1、子孔径分割大视场，将一个半球形视场分割为多个子孔径对应的子视场，其中，视场分割的策略是从边缘视场到中央视场逐次收缩；

S2、子视场映射到事件相机视场，视场分割完成以后，根据子视场与事件相机视场的关系，将子视场映射到事件相机视场上，且保证相邻事件相机视场有部分重合，从而获得每个子视场所对应事件相机在半球面上的位置，完成复眼大视场光学系统的初步设计；

S3、半球面事件相机布局平面化，保留事件相机在半球面上的倾斜角度的同时，尽可能的减小事件相机相对于半球底面的高度，使全部事件相机几乎处于同一平面上，将曲面结构平面化可以较大程度的减小结构尺寸；

S4、平面事件相机组结构优化，在平面上对事件相机组的空间位置进行二次变换，改变事件相机的倾角以及位置，使其获得与半球面事件相机组相类似的视野范围。

2.根据权利要求1所述的一种复眼事件相机的设计方法，其特征在于，所述S1中，半球形视场分割为子视场数目的计算公式如下所示：

，

其中，，

，

先将取整后，再通过计算公式/>计算得到期望子视场数目，为半球壳式事件相机支架的球心到期望视场最远端的距离，单位为cm，/>为半球壳式事件相机支架的半径，单位为cm，/>为事件相机的水平视场角，/>为事件相机的垂直视场角，/>为期望水平方向视场重叠范围，/>为期望竖直方向视场重叠范围，通过设定合理的/>，适当减小中央视场的重叠面积，优化子视场的数量及位置。

3.根据权利要求2所述的一种复眼事件相机的设计方法，其特征在于，所述S2中，子视场映射到事件相机视场的方法如下：

采用球形仿生复眼的结构时，所有事件相机排布在半球壳表面，且光轴都经过半球壳的球心，以此为基础，S1中分割出的子视场表现为沿着半球壳底面逐层向上，且除顶点处外每层的子视场数目相同，顶点处划分为一个子视场；

事件相机将安装在子视场几何中点与半球壳球心连线与球壳表面交点的位置，将处在相对于半球壳底面倾角相同的事件相机分为一组，方便后续结构优化。

4.根据权利要求3所述的一种复眼事件相机的设计方法，其特征在于，所述S3中的半球面事件相机布局平面化的方法如下：

保持水平方向每台事件相机的相对位置不变，压缩竖直方向每台事件相机与半球壳底面间的距离，使位于球面上的每台事件相机在压缩至平面上时，其相对于半球壳底面的倾角等于压缩后其相对于平面的倾角。

5.根据权利要求4所述的一种复眼事件相机的设计方法，其特征在于，所述S4中的平面事件相机组结构优化的方法如下：

将半球面事件相机直接压缩至平面后，事件相机尺寸不会发生变化，而平面的表面积显著小于半球面的表面积，且平面板没有足够的内部空间，因此，当出现这一情况时，可在不改变事件相机倾角的情况下，以组为单位适当扩大事件相机与圆形平面板圆心间的距离。

6.一种应用于权利要求5所述的一种复眼事件相机的设计方法的装置，其特征在于，包括大视场事件流数据获取单元、平面板式复眼事件相机支架和事件相机安装平台，其中，事件相机安装平台上设置有支架安装孔和事件相机排线孔，且支架安装孔安装平面板式事件相机支架或半球壳式事件相机支架；

大视场事件流数据获取单元，获取大视场、低数据量、低时延、高动态事件流数据，由多组按照不同角度排列的事件相机构成；

平面板式复眼事件相机支架，根据预先计算好的事件相机组安装位置及角度定做，用于安装事件相机组。

7.根据权利要求6所述的一种复眼事件相机的设计方法的装置，其特征在于，大视场事件流数据获取单元实现方式包括：根据所需观测的距离和视场范围以及期望使用的事件相机的各项参数，将大视场划分为与单台事件相机视场相匹配的多个子视场；然后将所有事件相机参照子视场与大视场间的相对位置关系安装于一个半球壳式事件相机支架的表面，安装时使每台事件相机的光轴都经过半球壳式事件相机支架的球心；最后，在确保结构不会冲突的情况下将位于半球壳表面的事件相机沿着半球壳顶点与底面圆心连线方向压缩至同一平面板上。

8.根据权利要求6所述的一种复眼事件相机的设计方法的装置，其特征在于，复眼事件相机支架结构包括：在确定每台事件相机的形状特征以及其在平面板上的安装位置和倾角以后，预先在平面板上制作对应位置和倾角以及与事件相机形状相匹配的安装平台，并在平面板上倾角不同的两组事件相机之间预留将事件相机排线引导至平面板背面的孔和用于安装平面板事件相机支架的螺纹孔，除圆心处仅有一个排线引导孔对应一台事件相机以外，其余位置每个排线引导孔均对应其前后两台事件相机。