CN111931752B - 一种基于事件相机的动态目标检测方法 - Google Patents

Abstract

本发明公开了一种基于事件相机的动态目标检测方法，包括如下步骤：S1：对事件相机输出的事件流进行积分滚动更新，形成事件流三维矩阵；S2：对步骤S1中形成的事件流三维矩阵进行滤波处理，去除噪声信号；S3：计算步骤S2中去除噪声信号后事件流三维矩阵的每个像素的运动量，提取出动态边缘点；S4：对步骤S3中检测到的边缘点进行集合归类，对未被归类的边缘点进行像素填充，划分出动态物体。本发明以事件流形式提供连续的运动物体检测，可达到毫秒级运动响应，响应速度更快；且不受高速运动物体运动模糊效应的影响，使用价值更高；还能够提供更高的动态范围，在强光、逆光、明暗变化剧烈的场景下可提供更有效的检测，适用范围更广。

Description

一种基于事件相机的动态目标检测方法

技术领域

本发明涉及一种动态目标检测方法，具体涉及一种基于事件相机的动态目标检测方法，属于计算机视觉技术领域。

背景技术

事件相机是一款新型传感器，不同于传统相机拍摄一幅完整的图像，事件相机拍摄的是“事件”，可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。

事件相机的最基本的原理，即：当某个像素的亮度变化累计达到一定阈值后，输出一个事件。这里强调几个概念：a) 亮度变化：说明事件相机的输出和变化有关，而与亮度的绝对值没有关系；b) 阈值：当亮度变化达到一定程度时，将输出数据，这个阈值是相机的固有参数。

事件相机的事件具有三要素：时间戳、像素坐标与极性。一个事件表达的是“在什么时间，哪个像素点，发生了亮度的增加或减小”。当场景中由物体运动或光照改变造成大量像素变化时，会产生一系列的事件，这些事件以事件流(Events stream)方式输出。事件流的数据量远小于传统相机传输的数据，且事件流没有最小时间单位，所以不像传统相机定时输出数据，具有低延迟特性。

目标检测是一种在图像中找出目标的位置和大小的计算机视觉技术。该技术可以应用于人工智能系统、车辆辅助驾驶系统、目标行为分析、智能视频监控等领域。

普通相机与事件相机的输出信息差别示意图参见图1，由图可见，传统相机可以采集一段时间内像素的亮度值积累，受到感光和数据读取速率的限制，帧率非常有限，对于高速运动的物体存在运动模糊和响应时间长的问题。而事件相机是一种特殊的只对像素亮度变化敏感的相机，可以提供微秒级的响应信号，反应速度和动态范围大大优于现有的普通相机，因而很适合应用在高动态目标检测的场合。

发明内容

本发明的目的是针对现有技术中存在的上述问题，提供了一种适用于在事件相机获取的事件流数据中检测出动态目标的方法。

为了实现上述目标，本发明采用如下的技术方案：

一种基于事件相机的动态目标检测方法，包括如下步骤：S1：对事件相机输出的事件流进行积分滚动更新，形成事件流三维矩阵；S2：对步骤S1中形成的事件流三维矩阵进行滤波处理，去除噪声信号；S3：计算步骤S2中去除噪声信号后事件流三维矩阵的每个像素的运动量，提取出动态边缘点；S4：对步骤S3中检测到的边缘点进行集合归类，对未被归类的边缘点进行像素填充，划分出动态物体。

优选地，前述步骤S1中，所述的事件相机是一种对像素亮度变化事件进行感知的传感器，其输出形式为流式输出的事件流编码。事件流中的每个事件可以用一个四元组(x,y,timestamp,polarity)来表示，其中x、y为事件发生的像素点二维坐标，timestamp为事件产生的时间戳，单位为毫秒；polarity为事件信号的极性，亮度降低超过阈值为-1，亮度升高超过阈值为+1，亮度变化未超过阈值时，则不产生事件。

由于这种流式的事件数据形式不便于计算机程序处理，故为其构造一个三维矩阵形式的事件三维数组E，其三维坐标分别为timestamp、x、y，数据元素的取值表示事件的极性，即：

timestamp方向的长短即事件流积分时间，应按照待检测目标的运动速度来决定。对于高速运动的物体，可取积分时间为10ms。每次进行检测时，应采用滚动更新的策略更新事件流三维矩阵，即删去所有时刻先于当前时刻-10ms的数据点，同时插入最新的事件流数据。

更优选地，前述步骤S2中，现有的事件相机传感器噪声显著大于传统图像传感器，因而必须经过滤波才能更好地进行下一步计算。考虑到事件相机的主要背景噪声符合泊松分布，其噪声点的产生具有独立性，即单个噪点的产生与周边点不相关、与当前点在此时刻之前的状态不相关。因此，可以考虑使用统计滤波的方式将其去除。由运动物体产生的真实亮度变化信号是具有相关性的，因此真实信号在事件三维矩阵上必然是时空聚合的，即物体在空间上聚合，运动在时间上聚合。而噪声信号是独立分布的，时空上的距离在绝大多数情况下要比真实信号更大。因此，考虑使用距离最近点距离的方式对事件数据进行统计滤波，分离真实信号和噪声信号。具体的步骤如下：

S2.1：对每个事件点，按照邻域扩展的方式逐步搜索其邻域，对找到的第一个点（即最接近的事件）计算其欧氏距离：

S2.2：遍历整个事件点的最近欧氏距离表，并计算欧氏距离分布的平均值和标准差；

S2.3：对距离最近点欧氏距离大于均值+标准差的数据点，将其作为离群噪声点去除；

S2.4：取保留下来的事件点，作为滤波后的三维事件矩阵，输入下一步计算。

本方法中采用三维欧氏距离作为标准，且，离群噪声点判断方法是使用均值+标准差，判断标准会根据特定相机、特定事件流的噪声分布进行自适应调整，具有更加灵活和准确的优势。

再优选地，前述步骤S3中，根据事件相机的特性，在运动时能够产生事件信号的像素点应为物体的边缘点投影像素。

每个边缘像素在每个时刻形成一个事件点，随着时间增加，在时空域中构成一个运动曲线，与相邻边缘点一起，再构成一个运动曲面，则像素点在x、y轴上的运动速度即为该曲面的斜率，即曲面在x、y方向上的偏导。

考虑到本方法计算的积分时间极短（10ms），而物体运动是有惯性的，其运动速度在极短的时间内不易改变，故可作出一个合理设定：每个像素点在一个积分周期内运动速度设为一常数。

考虑到在这样极短的时间间隔下，待计算的运动目标本身形状也很难发生改变，故可作出第二个合理设定：设定待检测的运动目标在极短的时间内为刚体，即某像素点的运动速度与周边一个小时空域内点的运动速度是一致的。

基于以上两点假设，可得出在极短的积分时间内，某点及周围时空邻域内的点所构成的运动曲面为一平面。该点的运动速度，即为该平面在x、y方向上对时间的偏导数。

计算某点附近平面偏导数的计算方法包括以下两步：

S3.1：对成像范围内的所有点进行扫描，设其在三维矩阵中的坐标为(x，t，t+△t]，记该空间邻域包围的事件点集为S；

S3.2：在该时空邻域内，使用最小二乘法在事件点(x,y)附近拟合平面参数；

S3.3：对每个点，根据平面参数计算平面x、y方向上的偏导，得出运动速度；

S3.4：设定一个运动速度阈值T，对于运动速度大于阈值的点，将其记为运动目标边缘点。

进一步优选地，前述运动速度阈值T的选取可参考以下公式：

其中f为事件相机的焦距，V为预期检测出的目标运动速度，d为目标到事件相机的典型距离，Nx、Ny为事件相机在x、y方向上一个单位长度内的像素数。

且，前述步骤S4中，具体的像素填充和划分动态物体边缘点包括以下步骤：

S4.1：扫描上一步检测到的所有边缘点；

S4.2：若其尚未被归入某个边缘点集合，则为其单独创建一个边缘点集；若已被归入某个边缘点集，则跳过不做处理；

S4.3：采用宽度优先搜索的方式，搜索其所有邻接的边缘点，并全部归入到该边缘点集内；

S4.4：若该边缘点集构成一个闭合曲线，则将内部像素与该边缘点集一起构成一个运动目标集合；

S4.5：若该边缘点集未构成一个闭合曲线，则信息不足以判断运动目标是在曲线的哪一侧，此时只将边缘点集构成一个运动目标集合；

S4.6 对剩余的边缘点，回到S4.2继续处理，如此循环往复。

本发明的有益之处在于：

本发明使用事件相机的事件流作为原始数据，并在一定时间内积分形成事件三维矩阵，然后通过一系列数据处理和算法计算从中提取出高速运动的动态目标。相较于使用传统相机的帧差法和背景去除法等方法，具有以下优点：

1. 可以通过事件流的形式提供连续的运动物体检测，可达到毫秒级的运动响应，而传统方法通常只能提供十到几十毫秒级别的响应，相较于传统方法具有响应速度更快的优势；

2. 本发明的方法形成的是一个三维的事件矩阵，因而检测更加准确；而且，噪声点判断方法是使用均值+标准差，判断标准是会根据特定相机、特定事件流的噪声分布进行自适应调整的，具有更加灵活、准确的优势；

3. 本发明的方法基于事件相机可以对像素亮度变化敏感，而不受高速运动物体运动模糊效应的影响，可以将事件相机所捕捉到的像素亮度变化进行事件流编码并处理，而传统方法在拍摄高动态的图像时会不可避免地产生运动模糊，因此本发明具有更高的使用价值；

4. 本发明的方法能够提供更高的动态范围，在强光、逆光、明暗变化剧烈的场景下均可提供更有效的检测，检测范围更广，适用于更多的场合。

附图说明

图1是普通相机与事件相机输出信息的差别示意图；

图2是本发明一实施例的整体方法流程图；

图3是本发明一实施例的圆形物体沿x轴方向移动产生的事件流积分形成的事件三维矩阵图；

图4是本发明一实施例的带有示意噪声信号的事件积分三维矩阵在xy方向投影图；

图5是本发明一实施例从事件点邻域中拟合平面并提取出的运动速度在时空域直角坐标系中的速度示意图；

图6是本发明一实施例的对闭合边缘曲线的内部填充策略示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

本实施例的动态目标检测方法，如图2所示，该图展示了本发明的整体方法流程步骤，具体包括以下步骤：

S1：对事件相机输出的事件流进行积分滚动更新，形成事件流三维矩阵；

S2：对步骤S1中形成的事件流三维矩阵进行滤波处理，去除噪声信号；

S3：计算步骤S2中去除噪声信号后事件流三维矩阵的每个像素的运动量，提取出动态边缘点；

S4：对步骤S3中检测到的边缘点进行集合归类，对未被归类的边缘点进行像素填充，划分出动态物体。

可知，本实施例中的事件相机是一种对像素亮度变化事件进行感知的传感器，其输出形式为流式输出的事件流编码。在步骤S1中，事件流中的每个事件可以用一个四元组(x,y,timestamp,polarity)来表示，由于这种流式的事件数据形式不便于计算机程序处理，故为其构造一个三维矩阵形式的事件三维数组E，其三维坐标分别为timestamp、x、y，数据元素的取值表示事件的极性，即：

其中x、y为事件发生的像素点二维坐标，timestamp为事件产生的时间戳，单位为毫秒；polarity为事件信号的极性，亮度降低超过阈值为-1，亮度升高超过阈值为+1，亮度变化未超过阈值时，则不产生事件。timestamp方向的长短即事件流积分时间，应按照待检测目标的运动速度来决定。对于高速运动的物体，可取积分时间为10ms。每次进行检测时，应采用滚动更新的策略更新事件流三维矩阵，即删去所有时刻先于当前时刻-10ms的数据点，同时插入最新的事件流数据。

如图3所示，该图展示了一圆形物体沿x轴负方向移动产生的事件流积分形成的事件三维矩阵，其中，深黑色为亮度增加事件、浅灰色为亮度降低事件。对每一特定时刻t而言，圆形物体x轴负方向侧边沿，将产生亮度增加事件（从无物体到有物体），x轴正方向侧边沿，将产生亮度降低事件（从有物体到无物体），因此三维矩阵在每一时刻t的切片将体现为一半边深黑色、半边浅灰色的圆形。随着时间t增长，这一圆形也将随着物体的移动而向x轴负方向运动，在整个xyt三维空间形成一个倾斜的圆柱形曲面。

现有的事件相机传感器噪声显著大于传统图像传感器，因而必须经过滤波才能更好地进行下一步计算。所以，在步骤S2中，考虑到事件相机的主要背景噪声符合泊松分布，其噪声点的产生具有独立性，即单个噪点的产生与周边点不相关并且与当前点在此时刻之前的状态不相关。因此，可以考虑使用统计滤波的方式将其去除。

由运动物体产生的真实亮度变化信号是具有相关性的，因此真实信号在事件三维矩阵上必然是时空聚合的（物体在空间上聚合，运动在时间上聚合）；而噪声信号是独立分布的，在时空上的距离绝大多数情况下要比真实信号更大。因此，带有示意噪声信号的时间积分三维矩阵在x，y方向上的投影如图4所示，图3中xyt空间的移动事件形成的圆柱面在t方向上压缩，在xy平面上形成一系列平移的圆形，其他空间点带有随机的点状噪声信号。亮度增加事件噪声体现为黑色散点，亮度降低事件噪声体现为浅灰色散点。

考虑使用距离最近点距离的方式对事件数据进行统计滤波，分离真实信号和噪声信号。具体的步骤如下：

S2.1：对每个事件点，按照邻域扩展的方式逐步搜索其邻域，对找到的第一个点（即最接近的事件）计算其欧氏距离：

；

S2.2：遍历整个事件点的最近欧氏距离表，并计算欧氏距离分布的平均值和标准差；

S2.3：对距离最近点欧氏距离大于均值+标准差的数据点，将其作为离群噪声点去除；

S2.4：取保留下来的事件点，作为滤波后的三维事件矩阵，输入下一步计算。

可以理解的是，根据事件相机的特性，在运动时能够产生事件信号的像素点应为物体的边缘点投影像素。

具体到本实施例中，如图5所示，每个边缘像素在每个时刻形成一个事件点，随着时间t增加，在时空域中构成一个运动曲线，与相邻边缘点一起，再构成一个运动曲面。记物体上一个边缘点在一小段运动时间dt内x、y方向上的位移分别为dx、dy，则像素点在x、y轴上的运动速度Vx=dx/dt，Vy=dy/dt同时也是该曲面在这一点附近的梯度，亦即曲面在x、y方向上的偏导。

考虑到本方法计算的积分时间极短（10ms），而物体运动是有惯性的，其运动速度在极短的时间内不易改变，故可作出一个合理设定：每个像素点在一个积分周期内运动速度设为一常数。而在这样极短的时间间隔下，待计算的运动目标本身形状也很难发生改变，故可作出第二个合理设定：设定待检测的运动目标在极短的时间内为刚体，即某像素点的运动速度与周边一小时空域内的点运动速度是一致的。

基于以上两点假设，可得出在极短的积分时间内，某点及周围时空邻域内的点所构成的运动曲面为一平面。该点的运动速度，即为该平面在x、y方向上对时间的偏导数。

参见图5，计算某点附近拟合平面偏导数的计算方法包括以下两步：

S3.1：对成像范围内的所有点进行扫描，设其在三维矩阵中的坐标为(x,y,t),取其一个小范围的时空邻域，记其空间邻域尺度为ε×ε，时间维度为[t-△t, t+△t]，记该空间邻域包围的事件点集为S；

S3.2：在该时空邻域内，使用最小二乘法在事件点(x,y)附近拟合平面参数；

S3.3：对每个点，根据平面参数计算平面x、y方向上的偏导，得出运动速度；

S3.4：设定一个运动速度阈值，对于运动速度大于阈值的点，将其记为运动目标边缘点。

运动速度阈值T的选取可参考以下公式：

其中f为事件相机的焦距，V为预期检测出的目标运动速度，d为目标到事件相机的典型距离，Nx、Ny为事件相机在x、y方向上一个单位长度内的像素数。

为了构成一个运动目标集合，因此要对前面步骤所提取出的动态边缘点进行集合归类，并对未被归类的边缘点进行像素填充，填充策略图如图6所示，其中实线表示的是已经被识别为运动目标的边缘点，虚线表示的是传感器成像边缘。结合步骤S4，具体的像素填充和划分动态物体边缘点包括以下步骤：

S4.1：扫描上一步检测到的所有边缘点；

S4.2：若其尚未被归入某个边缘点集合，则为其单独创建一个边缘点集；若已被归入某个边缘点集，则跳过不做处理；

S4.3：采用宽度优先搜索的方式，搜索其所有邻接的边缘点，并全部归入到该边缘点集内；

S4.4：若该边缘点集构成一个闭合曲线，则将内部像素与该边缘点集一起，构成一个运动目标集合；

S4.5：若该边缘点集未构成一个闭合曲线，则信息不足以判断运动目标是在曲线的哪一侧，此时只将边缘点集构成一个运动目标集合；

S4.6：对剩余的边缘点，回到S4.2继续处理，如此循环往复。

综上，本发明的动态目标检测方法设计了一种以事件流作为原始数据，并在一定时间内积分形成事件三维矩阵，然后通过一系列数据处理和算法计算从中提取出高速运动的动态目标。通过事件流的形式提供连续的运动物体检测，可达到毫秒级的运动响应，而传统方法通常只能提供十到几十毫秒级别的响应，相较于传统方法具有响应速度更快的优势。本方法不受高速运动物体运动模糊效应的影响，而传统方法在拍摄高动态的图像时会不可避免地产生运动模糊。本发明的方法形成的是一个三维的事件矩阵，因而检测更加准确；而且，噪声点判断方法是使用均值+标准差，判断标准是会根据特定相机、特定事件流的噪声分布进行自适应调整的，具有更加灵活、准确的优势；并且，本方法能够提供更高的动态范围，在强光、逆光、明暗变化剧烈的场景下可提供更有效的检测，检测范围更广，可以适用于更多的场合。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (7)

1.一种基于事件相机的动态目标检测方法，其特征在于，包括如下步骤：

S1：事件流滚动积分：对事件相机输出的事件流进行积分滚动更新，形成事件流三维矩阵；

S2：噪声信号滤波：对步骤S1中形成的事件流三维矩阵进行滤波处理，去除噪声信号；

S3：事件点运动计算：计算步骤S2中去除噪声信号后事件流三维矩阵的每个像素的运动量，提取出动态边缘点；

S4：动态物体像素填充：对步骤S3中检测到的边缘点进行集合归类，对未被归类的边缘点进行像素填充，划分出动态物体。

2.根据权利要求1所述的一种基于事件相机的动态目标检测方法，其特征在于，所述步骤S1中，事件流中的每个事件用一个四元组（x,y,timestamp,polarity）来表示，构造一个三维矩阵形式的事件三维数组E，其三维坐标分别为timestamp、x、y，数据元素的取值表示事件的极性，即：

其中x、y为事件发生的像素点二维坐标，timestamp为事件产生的时间戳，单位为毫秒；polarity为事件信号的极性，亮度降低超过阈值为-1，亮度升高超过阈值为+1，亮度变化未超过阈值时，则不产生事件；

timestamp方向的长短为事件流积分时间，按照待检测目标的运动速度来决定：对于高速运动的物体，积分时间为10ms；每次进行检测时，采用滚动更新的策略更新事件流三维矩阵，即删去所有时刻先于当前时刻-10ms的数据点，同时插入最新的事件流数据。

3.根据权利要求1所述的一种基于事件相机的动态目标检测方法，其特征在于，所述步骤S2中，使用统计滤波的方式将事件流三维矩阵的噪声信息进行去除，具体的步骤如下：

S2.1：对事件相机捕捉到的每个事件点，按照邻域扩展的方式逐步搜索其邻域，对找到的第一个点，即最接近的事件，计算其欧氏距离：

S2.2：遍历整个事件点的最近欧氏距离表，并计算欧氏距离分布的平均值和标准差；

S2.3：对距离最近点欧氏距离大于均值与标准差之和的数据点，将其作为离群噪声点去除；

S2.4：取保留下来的事件点，作为滤波后的三维事件矩阵，输入下一步计算。

4.根据权利要求1所述的一种基于事件相机的动态目标检测方法，其特征在于，所述步骤S3中，事件相机在运动时能够产生事件信号的像素点为物体的边缘点投影像素；

每个像素点在一个积分周期内运动速度设为一常数，且，待检测的运动目标在极短的时间内为刚体，即某像素点的运动速度与周边一小时空域内的点运动速度是一致的；

在极短的积分时间内，某点及周围时空邻域内的点所构成的运动曲面为一平面；该点的运动速度，即为该平面在x、y方向上对时间的偏导数。

5.根据权利要求4所述的一种基于事件相机的动态目标检测方法，其特征在于，

某点附近平面偏导数的计算方法包括以下步骤：

S3.1：对成像范围内的所有点进行扫描，设其在三维矩阵中的坐标为(x,y,t),取其一个小范围的时空邻域，记其空间邻域尺度为ε×ε，时间维度为[t-△t, t+△t]，记该空间邻域包围的事件点集为S；

S3.2：在该时空邻域内，使用最小二乘法在事件点(x,y)附近拟合平面参数；

S3.3：对每个点，根据平面参数计算平面x、y方向上的偏导，得出运动速度；

S3.4：设定一个运动速度阈值T，对于运动速度大于阈值的点，将其记为动态边缘点。

6.根据权利要求5所述的一种基于事件相机的动态目标检测方法，其特征在于，所述步骤S3.4中，运动速度阈值T的选取依据为：

其中f为事件相机的焦距，V为预期检测出的目标运动速度，d为目标到事件相机的典型距离，Nx、Ny为事件相机在x、y方向上一个单位长度内的像素数。

7.根据权利要求1所述的一种基于事件相机的动态目标检测方法，其特征在于，所述步骤S4中，像素填充和划分动态物体边缘点具体包括以下步骤：

S4.1：扫描步骤S3中检测到的所有边缘点；

S4.2：若其尚未被归入某个边缘点集合，则为其单独创建一个边缘点集；若已被归入某个边缘点集，则跳过不做处理；

S4.3：采用宽度优先搜索的方式，搜索其所有邻接的边缘点，并全部归入到该边缘点集内；

S4.4：若该边缘点集构成一个闭合曲线，则将内部像素与该边缘点集一起构成一个运动目标集合；

S4.5：若该边缘点集未构成一个闭合曲线，则信息不足以判断运动目标是在曲线的哪一侧，此时只将边缘点集构成一个运动目标集合；

S4.6：对剩余的边缘点，重新输入到步骤S4.2继续处理，如此循环往复。

Images