CN114286024A - 基于动态视觉传感器的光学偏振信息模型构建方法及装置 - Google Patents

Abstract

本发明涉及传感器模型中的仿生技术领域，提供一种基于动态视觉传感器的光学偏振信息模型构建方法及装置。该模型构建方法包括：S1、获取与水平方向夹角分别为0°、45°、90°、135°四个方向的场景偏振光强度分布，并将所述四个方向的场景偏振光强度分布输入动态视觉传感器；S2、所述动态视觉传感器输出四个偏振方向的事件流信息；S3、通过所述事件流信息构建模型。本发明通过获取事件流的偏振信息，可以将原本事件流中难以区分的阴影干扰直接去除，同时结合动态视觉传感器的高时间分辨率、高动态范围的特点，可以高速获取高动态场景的偏振信息。

Description

基于动态视觉传感器的光学偏振信息模型构建方法及装置

技术领域

本发明涉及传感器模型中的仿生技术领域，尤其涉及一种基于动态视觉传感器的光学偏振信息模型构建方法及装置。

背景技术

随着机器视觉的不断发展，对于图像的采集、处理、识别等过程的实时性要求越来越高。传统帧相机受限于软硬件条件，帧率一般为15～200fps，在高速运动的场景中会产生运动模糊的现象。与此同时，在高动态的工作场景下会产生过曝与欠曝的现象，丢失场景部分细节信息。动态视觉传感器是一种新兴的生物视觉传感器，动态视觉传感器通过检测每一像素点的事件亮度变化，在亮度变化超过设定阈值时异步输出像素地址事件流数据。动态视觉传感器则具有高时间分辨率、高动态范围的特点，由于每一像素的异步输出特性，没有帧率的概念其响应时间可达到微秒级别，由于其检测光强对数的变化，其动态范围可达140dB。

动态视觉传感器的特性使其在诸多领域具有优势，比如在图像信息处理方面，关注的是图像中的“边”、“角”等纹理边缘信息，传统帧相机得到的图像存在很多冗余信息，增加了计算量和对硬件水平的要求，动态视觉传感器可以直接输出稀疏的运动边缘信息简化计算。此外，动态视觉传感器在视觉导航定位方向有应用潜力，在实际应用场景中由于剧烈运动、光照条件变化、平台功耗限制等影响，传统帧相机存在运动模糊、过曝欠曝等限制，运动剧烈时检测的有效特征点减少，造成视觉信息不可靠，动态视觉传感器则可以弥补这些不足。

但是动态视觉传感器的实际场景应用还存在问题，其输出缺少物体表面颜色、纹理等信息，在实际应用中易受光照条件变化、阴影等信息干扰。由于目标物体和其阴影都可以引起相似的事件流信息，同时难以去除，但是考虑其光学偏振特性，在偏振仿生动态视觉传感器模型下，可以获得高动态范围、高时间分辨率的光学偏振信息，同时区分目标物体和阴影，为后续实际应用去除阴影干扰。因此，如何利用动态视觉传感器获得光学偏振信息，从而实现事件流阴影去除，为后续应用排除干扰是亟待解决的问题。

发明内容

本发明提供一种基于动态视觉传感器的光学偏振信息模型构建方法及装置，用以解决现有技术中动态视觉传感器易受光照条件变化、阴影等信息干扰的缺陷，从而实现事件流阴影去除，为后续应用排除干扰。

本发明提供一种基于动态视觉传感器的光学偏振信息模型构建方法，包括：

S1、获取与水平方向夹角分别为0°、45°、90°、135°四个方向的场景偏振光强度分布，并将所述四个方向的场景偏振光强度分布输入动态视觉传感器；

S2、所述动态视觉传感器输出四个偏振方向的事件流信息；

S3、通过所述事件流信息构建模型。

根据本发明提供的一种基于动态视觉传感器的光学偏振信息模型构建方法，所述S1具体包括：

利用成像机构、准直机构以及偏振机构组成的前端偏振分孔径系统，将入射光转化为四个方向的线偏振光，并将其分布在动态视觉传感器焦平面的四个区域。

根据本发明提供的一种基于动态视觉传感器的光学偏振信息模型构建方法，所述S1具体包括：

通过分焦平面技术，将输入光转化为四个方向的线偏振光，并将所述四个方向的线偏振光输入到动态视觉传感器焦平面的不同像元位置。

根据本发明提供的一种基于动态视觉传感器的光学偏振信息模型构建方法，所述S3具体包括：

S31、通过所述事件流信息确定光学偏振信息；

S32、利用所述光学偏振信息去除阴影事件。

根据本发明提供的一种基于动态视觉传感器的光学偏振信息模型构建方法，所述S31具体包括：

利用所述事件流信息通过以下公式计算事件偏振矢量以及偏振度，获得光学偏振信息：

公式(1)中，I₀、I₉₀为偏振方向为0°和90°的光强度初始值(若无，则设置为1)，N为一定时间窗内的事件数量，e₀、e₉₀为偏振方向为0°和90°的事件，c为动态视觉传感器的最小对比度阈值，p_i为事件eⁱ的极性，I为计算的总光强；

公式(2)中，Q为X轴方向直线偏振光分量；

公式(3)中，I₄₅为偏振方向为45°的光强度初始值(若无，则设置为1)，U为45°方向直线偏振光分量，e₄₅为偏振方向为45°的事件；

公式(4)中，P为事件偏振度。

根据本发明提供的一种基于动态视觉传感器的光学偏振信息模型构建方法，所述S32具体包括：

通过公式(1)～公式(4)确定目标物体和阴影之间偏振度存在的差异从而实现事件流阴影去除。

本发明还提供一种基于动态视觉传感器的光学偏振信息模型装置，包括：

线偏振光装置，用于将入射光转化为与水平方向的夹角分别为0°、45°、90°、135°的四个偏振方向的偏振光强度分布；

动态视觉传感器，用于将所述四个偏振方向的偏振光强度分布转化为四个偏振方向的事件流信息；

处理装置，用于通过所述四个偏振方向的事件流信息构建模型。

根据本发明提供的一种基于动态视觉传感器的光学偏振信息模型装置，所述线偏振光装置为分孔径光学系统，所述分孔径光学系统包括：

成像机构，用于接收入射光并输入到准直机构；

准直机构，用于接收成像机构输入光，并转化为平行光输入到偏振机构；

偏振机构，用于接收准直机构的平行光，并转化为与水平方向的夹角为0°、45°、90°、135°的四个偏振方向的线偏振光，并将其分布在所述动态视觉传感器焦平面的四个区域。

根据本发明提供的一种基于动态视觉传感器的光学偏振信息模型装置，所述线偏振光装置为分焦平面偏振成像装置。

根据本发明提供的一种基于动态视觉传感器的光学偏振信息模型装置，所述动态视觉传感器包括：

感光器，用于接收入射光信号，并转换为电信号；

差分电路，用于将所述感光器转换得到的间隔时刻的电信号进行差分，并输出差值；

比较器，用于对比所述差值与阈值，若所述差值超过所述阈值则输出一个事件信号。

本发明提供的一种基于动态视觉传感器的光学偏振信息模型构建方法及装置，利用分孔径光学系统或分焦平面技术，将入射光分解为四个方向的线偏振光，进而通过动态视觉传感器获得四个偏振方向的事件流信息，通过事件流信息构建模型。本发明通过获取事件流的偏振信息，可以将原本事件流中难以区分的阴影干扰直接去除，同时结合动态视觉传感器的高时间分辨率、高动态范围的特点，可以高速获取高动态场景的偏振信息。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于动态视觉传感器的光学偏振信息模型构建方法的流程示意图；

图2是本发明提供的基于动态视觉传感器的光学偏振信息模型装置的模块示意图；

图3是本发明提供的分孔径光学系统的结构示意图；

图4是本发明提供的分焦平面偏振成像装置的结构示意图；

图5是本发明提供的动态视觉传感器的电路结构示意图；

图6是事件触发模式的曲线图；

图7是事件流数据格式表格；

附图标记：

11：成像机构； 12：准直机构； 13：偏振机构；

2：分焦平面偏振成像装置；

31：感光器； 32：差分电路； 33：比较器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图4描述本发明的一种基于动态视觉传感器的光学偏振信息模型构建方法。该模型构建方法包括：

步骤一、获取与水平方向夹角分别为0°、45°、90°、135°四个方向的场景偏振光强度分布，并将四个方向的场景偏振光强度分布输入动态视觉传感器；

步骤二、动态视觉传感器输出四个偏振方向的事件流信息；

步骤三、通过事件流信息构建模型。

具体来说，步骤一中可采用分孔径光学系统或分焦平面技术来输出与水平方向的夹角分别为0°、45°、90°、135°四个偏振方向的偏振光强度分布。

利用成像机构11、准直机构12以及偏振机构13组成的前端偏振分孔径系统，将入射光转化为四个方向的线偏振光，并将其分布在动态视觉传感器焦平面的四个区域。当使用分焦平面技术时，将输入光通过分焦平面偏振成像装置2转化为四个方向的线偏振光，并将四个方向的线偏振光输入到动态视觉传感器焦平面的不同像元位置。应当理解的是，获取四个偏振方向的偏振光强度分布也可以采用其他技术获取，本发明不局限于上述技术手段。

步骤三具体包括：

S31、通过事件流信息确定光学偏振信息；

S32、利用光学偏振信息去除阴影事件。

其中，步骤S31具体包括：

利用事件流信息通过以下公式计算事件偏振矢量以及偏振度，获得光学偏振信息：

公式(1)中，I₀、I₉₀为偏振方向为0°和90°的光强度初始值(若无，则设置为1)，N为一定时间窗内的事件数量，e₀、e₉₀为偏振方向为0°和90°的事件，c为动态视觉传感器的最小对比度阈值，p_i为事件eⁱ的极性，I为计算的总光强；

公式(2)中，Q为X轴方向直线偏振光分量；

公式(3)中，I₄₅为偏振方向为45°的光强度初始值(若无，则设置为1)，U为45°方向直线偏振光分量，e₄₅为偏振方向为45°的事件；

公式(4)中，P为事件偏振度。

步骤S32具体包括：

通过公式(1)～公式(4)确定目标物体和阴影之间偏振度存在的差异从而实现事件流阴影去除。具体来说，通过如下三个步骤来实现：

1、通过公式(4)计算一定时间窗口的事件偏振度P。

2、通过设定偏振度差异阈值，得到事件坐标滤波模板，允许通过偏振度差异较大的目标事件，过滤偏振度差异较小的阴影事件。

3、将之前时间窗口内的事件通过事件坐标滤波模板，得到目标事件，达到去除阴影事件流的效果。

本发明提供的一种基于动态视觉传感器的光学偏振信息模型构建方法及装置，利用分孔径光学系统或分焦平面技术，将入射光分解为四个方向的线偏振光，进而通过动态视觉传感器获得四个偏振方向的事件流信息，通过事件流信息构建模型。本发明通过获取事件流的偏振信息，可以将原本事件流中难以区分的阴影干扰直接去除，同时结合动态视觉传感器的高时间分辨率、高动态范围的特点，可以高速获取高动态场景的偏振信息。

如图2-4所示，本发明还提供一种基于动态视觉传感器的光学偏振信息模型装置。该模型装置包括：线偏振光装置、动态视觉传感器和处理装置。

其中，线偏振光装置，用于将入射光转化为与水平方向的夹角分别为0°、45°、90°、135°的四个偏振方向的偏振光强度分布；

动态视觉传感器，用于将四个偏振方向的偏振光强度分布转化为四个偏振方向的事件流信息，通过将动态视觉传感器的相邻4个像元作为一组，控制其分别输入4个方向的偏振光，即可获得四个偏振方向的事件流信息；

处理装置，用于通过四个偏振方向的事件流信息构建模型。

在本发明的其中一个实施例中，线偏振光装置为分孔径光学系统。如图3所示，分孔径光学系统包括：成像机构11、准直机构12和偏振机构13。

其中，成像机构11主要由一个光学系统组成，用于接收入射光并输入到准直机构；

准直机构12主要由一个光学系统组成，用于接收成像机构输入光，并转化为平行光输入到偏振机构；

偏振机构13主要由四个方向的线偏振片和四个相同的光学系统组成，用于接收准直机构的平行光，并转化为与水平方向的夹角为0°、45°、90°、135°的四个偏振方向的线偏振光，并将其分布在动态视觉传感器焦平面的四个区域。

在本发明的其中一个实施例中，如图4所示，线偏振光装置为分焦平面偏振成像装置2。

在本发明的其中一个实施例中，如图5所示，动态视觉传感器的典型像元结构包括：感光器31、差分电路32和比较器33。

其中，感光器31，用于接收入射光信号，并转换为电信号；

差分电路32，用于将感光器31转换得到的间隔时刻的电信号进行差分，并输出差值，也即可以将前后时刻的电信号进行差分，输出差值；

比较器33，用于对比差分电路32得到的差值与预设阈值，若差值超过阈值则输出一个事件信号。

如图6所示，单一像元动态视觉传感器的事件触发模式，随时间异步输出事件流信息，当入射的光强对数变化超出设定阈值时，输出事件包括事件极性(即包括“变亮”、“变暗”)和时间戳。如图7所示，典型事件流信息的数据格式，每个事件包括时间戳、像素平面坐标和事件极性。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于动态视觉传感器的光学偏振信息模型构建方法，其特征在于，包括：

S1、获取与水平方向夹角分别为0°、45°、90°、135°四个方向的场景偏振光强度分布，并将所述四个方向的场景偏振光强度分布输入动态视觉传感器；

S2、所述动态视觉传感器输出四个偏振方向的事件流信息；

S3、通过所述事件流信息构建模型。

2.根据权利要求1所述的基于动态视觉传感器的光学偏振信息模型构建方法，其特征在于，所述S1具体包括：

利用成像机构、准直机构以及偏振机构组成的前端偏振分孔径系统，将入射光转化为四个方向的线偏振光，并将其分布在动态视觉传感器焦平面的四个区域。

3.根据权利要求1所述的基于动态视觉传感器的光学偏振信息模型构建方法，其特征在于，所述S1具体包括：

通过分焦平面技术，将输入光转化为四个方向的线偏振光，并将所述四个方向的线偏振光输入到动态视觉传感器焦平面的不同像元位置。

4.根据权利要求1所述的基于动态视觉传感器的光学偏振信息模型构建方法，其特征在于，所述S3具体包括：

S31、通过所述事件流信息确定光学偏振信息；

S32、利用所述光学偏振信息去除阴影事件。

5.根据权利要求4所述的基于动态视觉传感器的光学偏振信息模型构建方法，其特征在于，所述S31具体包括：

利用所述事件流信息通过以下公式计算事件偏振矢量以及偏振度，获得光学偏振信息：

公式(1)中，I₀、I₉₀为偏振方向为0°和90°的光强度初始值(若无，则设置为1)，N为一定时间窗内的事件数量，e₀、e₉₀为偏振方向为0°和90°的事件，c为动态视觉传感器的最小对比度阈值，p_i为事件eⁱ的极性，I为计算的总光强；

公式(2)中，Q为X轴方向直线偏振光分量；

公式(3)中，I₄₅为偏振方向为45°的光强度初始值，U为45°方向直线偏振光分量，e₄₅为偏振方向为45°的事件；

公式(4)中，P为事件偏振度。

6.根据权利要求5所述的基于动态视觉传感器的光学偏振信息模型构建方法，其特征在于，所述S32具体包括：

通过公式(1)～公式(4)确定目标物体和阴影之间偏振度存在的差异从而实现事件流阴影去除。

7.一种基于动态视觉传感器的光学偏振信息模型装置，其特征在于，包括：

线偏振光装置，用于将入射光转化为与水平方向的夹角分别为0°、45°、90°、135°的四个偏振方向的偏振光强度分布；

动态视觉传感器，用于将所述四个偏振方向的偏振光强度分布转化为四个偏振方向的事件流信息；

处理装置，用于通过所述四个偏振方向的事件流信息构建模型。

8.根据权利要求7所述的基于动态视觉传感器的光学偏振信息模型装置，其特征在于，所述线偏振光装置为分孔径光学系统，所述分孔径光学系统包括：

成像机构，用于接收入射光并输入到准直机构；

准直机构，用于接收成像机构输入光，并转化为平行光输入到偏振机构；

偏振机构，用于接收准直机构的平行光，并转化为与水平方向的夹角为0°、45°、90°、135°的四个偏振方向的线偏振光，并将其分布在所述动态视觉传感器焦平面的四个区域。

9.根据权利要求7所述的基于动态视觉传感器的光学偏振信息模型装置，其特征在于，所述线偏振光装置为分焦平面偏振成像装置。

10.根据权利要求7所述的基于动态视觉传感器的光学偏振信息模型装置，其特征在于，所述动态视觉传感器包括：

感光器，用于接收入射光信号，并转换为电信号；

差分电路，用于将所述感光器转换得到的间隔时刻的电信号进行差分，并输出差值；

比较器，用于对比所述差值与阈值，若所述差值超过所述阈值则输出一个事件信号。

Images