CN112399032A - 一种基于检测器的脉冲式图像传感器的光流获取方法 - Google Patents

Abstract

一种基于检测器的脉冲式图像传感器的光流获取方法，由两个镜像对称的子单元组成，每个子单元中，用两个相邻的区间测量光强，其中一个区间经过低通滤波器延迟，可以看做是两个区间在不同时间的关系得到的，输出是两个子单元乘法器的差分信号；计算时，首先要统一数据格式，每个事件都需要记录时间t，位置（x,y）和极性为正（+）或负（‑），根据效果设定并调整阈值T；该方法将脉冲传感器信号处理为DVS稀疏数据的形式，并可用于类似Reichardt检测器原理判断物体运动方向，进而得到光流；计算资源占用较少，功耗更低，耗时更短，能够实现光流的实时计算。

Description

一种基于检测器的脉冲式图像传感器的光流获取方法

技术领域

本发明属于图像处理算法领域，尤其涉及针对脉冲式图像传感器的运动检测用到的光流算法即一种基于检测器的脉冲式图像传感器的光流获取方法。

背景技术

运动检测是视频处理和计算机视觉领域的一项常见任务，光流计算是实现运动检测的一种方法。在自动驾驶汽车和机器人导航等应用领域中，检测算法必须实时完成，且因为设备本身对功耗和计算能力存在限制。

光流用来代表场景中出现的运动模式，它通常表现为每个时间步长上的向量场，给每个像素标示代表运动方向和速度的向量。已有的光流计算方法，是从传统的基于帧的相机中获得。一般来说连续的帧是高度相关的，即存在大量冗余数据。这些冗余数据在捕捉处理中需要被删除，因此浪费了时间和计算资源。

用脉冲式高速相机模拟动态视觉传感器，使之具有稀疏的输出，即只输出变化事件。并采用基于相关关系的Reichardt运动检测模型，有更低的功耗和计算要求，以及更快的反应时间。

发明内容

针对现有技术存在的问题，本发明一种基于检测器的脉冲式图像传感器的光流获取方法，对不能直接生成灰度信息的脉冲式图像传感器输出信号进行转换，通过将其转换为DVS稀疏事件的形式，经过类似Reichardt检测器得到事件点的运动方向，进而得到光流。

一种基于检测器的脉冲式图像传感器的光流获取方法，由两个镜像对称的子单元组成，每个子单元中，用两个相邻的区间测量光强，其中一个区间经过低通滤波器延迟，可以看做是两个区间在不同时间的关系得到的，输出是两个子单元乘法器的差分信号。

f(x,y,t)是位置(x,y)在时刻t时的光强，Δx，Δy是相邻单元的补偿量，Δt为时延，则Reichardt检测器的输出为：

其中x’=x+Δx，y’=y+Δy，t=t+Δt；如果|RD(f, x, y, t, t’)|超过阈值T _RD，说明探测方向沿着±(Δx, Δy)，方向取决于符号，静止物体由于差值接近0所以不会被探测到。

对一个位置为（x,y）的像素，取一段较小的时间t_s，统计其脉冲数，与其邻近的t_s内的脉冲数相减，超过一定阈值就认为有触发事件，并且保留相减的符号，高速脉冲信号转变成DVS动态事件信号，记做e_(x,y)。

为了简化计算，只取8个方向的分量，也就是v₁=(-1,-1)，v₂=(0,-1)，v₃=(1,-1)，v₄=(-1,0)，v₅=(1,0)，v₆=(-1,1)，v₇=(0,1)，v₈=(1,1)，计算资源足够丰富时，也可根据实际情况增加候选方向的数量，这样输出一个带有非零向量的事件流，用DVS事件的输出来表示式（1），检测方向的阈值为T_DVS，用log表示DVS的事件信号，则对应运动或亮度的变化可记做Δ f(x,y,t)，则触发的关系式可以写作：

其中t’=t+Δt，假设在（x,y）位置，t ₂ 时刻的事件与邻近位置的某点在t ₁ 时刻的同极性事件相匹配，t ₂ =t ₁ +Δt ₁ ，t ₃ =t ₂ +Δt ₂ ，则式（1）可以写成：

(x,y,t₂)和(x’,y’,t₁)处的事件相匹配，则表明

是正数且比(T_DVS)²大；因为在t₂时刻(x’,y’)没有产生事件，式（3）中的第二项可近似为0，所以DVS输出事件可以用Reichardt检测器的方式判断运动方向，也就是计算光流。

一种基于检测器的脉冲式图像传感器的光流获取方法，将不能直接还原灰度的脉冲传感器信号做了处理，处理为DVS稀疏数据的形式，并可用于类似Reichardt检测器原理判断物体运动方向，进而得到光流；该方法计算资源占用较少，功耗更低，耗时更短，能够实现光流的实时计算。

附图说明

图1是 Reichardt检测器原理示意图；

图2 是候选方向示意图。

具体实施方式

下面结合本发明中的附图，对本发明中的技术方案进行进一步清楚完整的描述。

一种基于检测器的脉冲式图像传感器的光流获取方法，如图1所示，由两个镜像对称的子单元组成，每个子单元中，用两个相邻的区间测量光强，其中一个区间经过低通滤波器延迟，可以看做是两个区间在不同时间的关系得到的，输出是两个子单元乘法器的差分信号。

f(x,y,t)是位置(x,y)在时刻t时的光强，Δx，Δy是相邻单元的补偿量，Δt为时延，则Reichardt检测器的输出为：

其中x’=x+Δx，y’ =y+Δy，t=t+Δt；如果|RD(f, x, y, t, t’)|超过阈值T _RD，说明探测方向沿着±(Δx, Δy)，方向取决于符号，静止物体由于差值接近0所以不会被探测到。

对一个位置为（x,y）的像素，取一段较小的时间t_s，统计其脉冲数，与其邻近的t_s内的脉冲数相减，超过一定阈值就认为有触发事件，并且保留相减的符号，高速脉冲信号转变成DVS动态事件信号，记做e_(x,y)。

为了简化计算，只取8个方向的分量，也就是v₁=(-1,-1)，v₂=(0,-1)，v₃=(1,-1)，v₄=(-1,0)，v₅=(1,0)，v₆=(-1,1)，v₇=(0,1)，v₈=(1,1)，如图2所示。计算资源足够丰富时，也可根据实际情况增加候选方向的数量，这样输出一个带有非零向量的事件流，用DVS事件的输出来表示式（1），检测方向的阈值为T_DVS，用log表示DVS的事件信号，则对应运动或亮度的变化可记做Δf(x,y,t)，则触发的关系式可以写作：

其中t’=t+Δt，假设在（x,y）位置，t ₂ 时刻的事件与邻近位置的某点在t ₁ 时刻的同极性事件相匹配，t ₂ =t ₁ +Δt ₁ ，t ₃ =t ₂ +Δt ₂ ,则式（1）可以写成：

(x,y,t₂)和(x’,y’,t₁)处的事件相匹配，则表明

是正数且比(T_DVS)²大；因为在t₂时刻(x’,y’)没有产生事件，式（3）中的第二项可近似为0，所以DVS输出事件可以用Reichardt检测器的方式判断运动方向，也就是计算光流。

在实际操作中，首先要统一数据格式，每个事件都需要记录时间t，位置（x,y）和极性为正（+）或负（-），根据效果设定并调整阈值T，开始时可取T=10。

算法流程梳理如下：

将位置在（x,y）触发的事件记做e_(x,y)，同时记录其相对应的触发时间t和极性p；

对v∈{v₁,…,v₈}依次带入8个方向；

使(x’,y’)=(x,y)-v；

使(t’,p’)=e_(x’,y’)；

如果0<t-t’≤T且p=p’，则运算完毕，输出事件(t,x,y,v)，否则带入下一个v，重复直到找到合适的v为止。

Claims (1)

1.一种基于检测器的脉冲式图像传感器的光流获取方法，其特征在于：由两个镜像对称的子单元组成，每个子单元中，用两个相邻的区间测量光强，其中一个区间经过低通滤波器延迟，可以看做是两个区间在不同时间的关系得到的，输出是两个子单元乘法器的差分信号；

f(x,y,t)是位置(x,y)在时刻t时的光强，Δx，Δy是相邻单元的补偿量，Δt为时延，则Reichardt检测器的输出为：

其中x’=x+Δx，y’=y+Δy，t=t+Δt；如果|RD(f, x, y, t, t’)|超过阈值T _RD，说明探测方向沿着±(Δx, Δy)，方向取决于符号，静止物体由于差值接近0所以不会被探测到；

对一个位置为（x,y）的像素，取一段较小的时间t_s，统计其脉冲数，与其邻近的t_s内的脉冲数相减，超过一定阈值就认为有触发事件，并且保留相减的符号，高速脉冲信号转变成DVS动态事件信号，记做e_(x,y)；

简化计算，只取8个方向的分量，即v₁=(-1,-1)，v₂=(0,-1)，v₃=(1,-1)，v₄=(-1,0)，v₅=(1,0)，v₆=(-1,1)，v₇=(0,1)，v₈=(1,1)，计算资源足够丰富时，也可根据实际情况增加候选方向的数量，输出一个带有非零向量的事件流，用DVS事件的输出来表示式（1），检测方向的阈值为T_DVS，用log表示DVS的事件信号，则对应运动或亮度的变化可记做Δf(x,y,t)，则触发的关系式可以写作：

其中t’=t+Δt，假设在（x,y）位置，t ₂ 时刻的事件与邻近位置的某点在t ₁ 时刻的同极性事件相匹配，t ₂ =t ₁ +Δt ₁ ，t ₃ =t ₂ +Δt ₂ ，则式（1）可以写成：

(x,y,t₂)和(x’,y’,t₁)处的事件相匹配，则表明

是正数且比(T_DVS)²大；因为在t₂时刻(x’,y’)没有产生事件，式（3）中的第二项可近似为0，所以DVS输出事件可以用Reichardt检测器的方式判断运动方向，也就是计算光流。

Images