CN117237676B

CN117237676B - 一种核电厂基于事件相机对小目标掉落轨迹的处理方法

Info

Publication number: CN117237676B
Application number: CN202311481897.XA
Authority: CN
Inventors: 施卫华; 陆炜伟; 洪诗鑫; 陆斌; 王永鹏; 郑静; 林修弘; 顾旭升; 臧彧; 王程; 王小可
Original assignee: Cnnp Zhangzhou Energy Co ltd
Current assignee: Cnnp Zhangzhou Energy Co ltd
Priority date: 2023-11-09
Filing date: 2023-11-09
Publication date: 2024-03-01
Anticipated expiration: 2043-11-09
Also published as: CN117237676A

Abstract

本发明属于事件相机的目标检测与跟踪领域，具体涉及一种核电厂基于事件相机对小目标掉落轨迹的处理方法，该方法包括：步骤S1、根据检测到的运动物体的事件信号，进行运动信息分析；步骤S2、采用RANSAC方法，对观测数据进行相似轨迹的合并；步骤S3、根据步骤S2优化后的检测结果和优化的RANSAC拟合轨迹，通过插值获得轨迹参数；步骤S4、根据步骤S1的运动参数和步骤S3的轨迹参数，判断检测目标是否为掉落物体，对非掉落物体进行过滤。本发明方法能够有效解决事件相机在核电厂内对运动物体的观测不连续问题，合并属于同一个物体但不连续的轨迹，生成连续完整的运动轨迹。

Description

一种核电厂基于事件相机对小目标掉落轨迹的处理方法

技术领域

本发明属于事件相机的目标检测与跟踪领域，具体涉及一种核电厂基于事件相机对小目标掉落轨迹的处理方法。

背景技术

事件相机各个像素独立异步工作，输出大量稀疏不均匀的事件信号。只有当像素位置的亮度改变超过阈值时才输出事件信号。数学模型如下：

位置为u＝{x,y}的像素点在时间t的亮度增益记作：

ΔL(u,t)＝L(u,t)-L(u,t-Δt)

其中L＝log(I)表示亮度值的对数，Δt表示微小的时间间隔，当亮度值的对数在短时间内改变超过阈值时，事件相机则会输出一个事件。

|ΔL|＝|L(u,t)-L(u,t-Δt)|＞C

其中C表示事件相机硬件设备上可设定的亮度变化阈值。

事件相机的输出事件e可以表示为四元组的形式：

e＝{x,y,t,p}

其中x,y表示发生事件的像素位置，t表示事件发生的时间戳，p表示事件的极性。极性表示亮度的变化方向，p＝1表示变亮，p＝-1表示变暗。

事件流是一段时间内事件相机输出事件的集合，表示为：

其中N是事件的数量。

事件相机因为其高时间分辨率、高动态范围、低延迟、低功耗等优点常被用来检测高速运动的物体和应对挑战性的场景。理想情况下，运动物体产生的事件在时间和空间上都是稠密的。在核电厂内，使用事件相机目标检测实际应用时，由于核电厂内部光照条件不理想，需要检测的意外掉落物体积小、运动快、与背景反差小，有时事件相机对运动物体的观测是不连续的，即有少部分的物体运动产生的事件未被响应。事件相机对运动目标的非连续识别结果会导致轨迹跟踪中断，无法对运动物体数量、完整的运动轨迹进行有效的分析处理。

在核电厂内，事件相机对运动物体的观测不连续的原因包括但不限于：

(1)检测的小目标在核电厂内的运动过程中，由于旋转、碰撞等情况，导致在某一时刻物体暴露在相机视野中的截面小于一个像素点，导致相机未能响应这种小于一个像素点的亮度变化。

(2)核电厂内有频闪光源等导致大量噪点的设备，大量的噪点会掩盖由运动物体产生的事件。

(3)核电厂内检测区域环境的复杂性，可能存在极端的弱光、强光或者二者同时存在的高对比度情况，超过了事件相机传感器的检测能力。

(4)检测的目标与核电厂内背景的对比度较低，这导致物体的运动对背景的亮度值改变微小到超出事件相机的检测范围。

(5)检测的目标体积小，距离事件相机远。

(6)检测的目标在运动过程中被核电厂内的人、围栏或设备遮挡，消失在事件相机的观察视野中。

(7)核电厂内环境的复杂性使得事件相机单一的阈值设定不能适合所有场景，这也会影响事件的响应。低阈值导致事件响应灵敏，事件数量增多，运动物体产生的事件容易被掩盖；高阈值导致只有明显的亮度值改变才会产生事件，需要物体与背景的对比度高，从而部分运动过程因为没有达到阈值所以未被响应。

(8)目前事件相机目标检测技术通常是根据连续的若干事件(称为处理窗口)生成特征图，对特征图应用计算机视觉相关算法，对运动目标检测。在实际应用时，特征图会进行去噪、去模糊、运动补偿等操作，也可能会导致运动信息稀疏的部分丢失，造成运动信息的不连续。

事件相机不同于传统相机的工作模式，数据处理对象是大量连续事件构成的事件流而不是图像帧，并且事件相机具有高时间分辨率、高动态范围的特性，对于运动是敏感的，对光照的条件要求较低。针对上述可能导致事件相机观测不连续问题，需要进行算法优化处理来解决事件相机对运动物体的观测不连续问题和对运动目标轨迹的还原和预测，并满足准确性和高效性的要求。

发明内容

本发明的目的在于提供一种核电厂基于事件相机对小目标掉落轨迹的处理方法，该方法能够有效解决事件相机在核电厂内对运动物体的观测不连续问题，合并属于同一个物体但不连续的轨迹，生成连续完整的运动轨迹。

实现本发明目的的技术方案：

一种核电厂基于事件相机对小目标掉落轨迹的处理方法，所述方法包括：

步骤S1、根据检测到的运动物体的事件信号，进行运动信息分析；

步骤S2、采用RANSAC算法，对观测数据进行相似轨迹的合并；

步骤S3、根据步骤S2优化后的检测结果和优化的RANSAC拟合轨迹，通过插值获得轨迹参数；

步骤S4、根据步骤S1的运动参数和步骤S3的轨迹参数，判断检测目标是否为掉落物体，对非掉落物体进行过滤。

进一步地，所述步骤S1包括：

步骤S11、根据检测到的运动物体的事件信号，在设置的事件处理窗口内生成运动特征图矩阵；

步骤S12、根据检测到的运动物体的事件信号，在运动特征图矩阵上计算其运动参数。

进一步地，所述步骤S11具体为：通过固定事件数量和固定时间两种模式相结合的方式，设置事件处理窗口，在事件处理窗口内根据运动特征图生成运动特征图矩阵。

进一步地，所述运动特征图矩阵包括平均时间特征图矩阵、最新时间特征图矩阵、时间方差特征图矩阵、由平均时间特征图矩阵、最新时间特征图矩阵、时间方差特征图矩阵组成的三通道特征图矩阵；

各个矩阵的计算公式分别为：

平均时间特征图矩阵：

最新时间特征图矩阵：

时间方差特征图矩阵：

三通道特征图矩阵：

T＝[T^avg,T^rec,T^var] (4)

其中，T表示平均时间特征图、最新时间特征图、时间方差特征图三个单通道组合的三通道特征图矩阵，T^avg表示基于平均时间生成的特征图矩阵，表示位置(i,j)上事件时间戳的平均值；T^rec表示基于最新时间生成的特征图矩阵，/>表示位置(i,j)上事件时间戳的最大值；T^var表示基于时间方差生成的特征图矩阵，/>表示位置(i,j)上事件的时间戳的方差；L_ij表示像素位置(i,j)上的事件数量，t表示事件时间，t^avg表示位置(i,j)上事件时间戳的平均值，ζ_ij表示位置(i,j)上事件的时间戳集合。

进一步地，所述步骤S12包括：

步骤S12.1、对步骤S11中生成的运动特征图矩阵进行填充操作，使得卷积后的特征图矩阵大小与原矩阵大小相同；

步骤S12.2、对步骤S11中生成的运动特征图矩阵进行卷积操作计算梯度，获得特征图速度矩阵、加速度矩阵。

进一步地，所述步骤S12.2包括：

步骤S12.2.1、对步骤S11中生成的运动特征图矩阵分别用卷积核做卷积操作计算时间梯度，时间梯度取倒数可得x，y轴方向上的速度矩阵，即水平速度矩阵V_x和垂直速度矩阵V_y，合并水平速度矩阵V_x和垂直速度矩阵V_y得到在成像平面上的速度矩阵V；

步骤S12.2.2、对速度矩阵V分别用卷积核做卷积操作计算时间梯度，时间梯度取倒数可得x，y轴方向上的加速度矩阵，即水平加速度矩阵A_x和垂直加速度矩阵A_y，合并水平加速度矩阵A_x和垂直加速度矩阵A_y得到在成像平面上的加速度矩阵A。

进一步地，所述步骤S2包括：

步骤S21、采用RANSAC算法，生成多项式模型的参数，获得RANSAC拟合轨迹；

步骤S22、通过评分函数确定漏检事件，目标检测结果优化，获得优化的RANSAC拟合轨迹；

步骤S23、根据RANSAC算法判断的外点数量和目标检测结果优化中的漏检事件数量，进行收敛性判断。

进一步地，所述步骤S21包括：

步骤S21.1、随机采样目标检测结果导出的事件集中的一些样本子集；

步骤S21.2、用多项式模型匹配样本子集，通过多项式拟合估计出多项式模型的参数；

步骤S21.3、根据多项式模型将检测到的事件分为内点和外点，计算内点占总点数的比例，评价估计出的多项式模型的参数；

步骤S21.4、判断是否达到预先设定的迭代最大次数，确定多项式模型的参数。

进一步地，所述步骤S22中评分函数的公式为：

ρ(e,f_R)＝dis(pos_e,f_R)+λdis(v_e,v)+γdis(a_e,a) (5)

其中，ρ为评分函数，dis为距离函数，f_R为步骤S21中RANSAC算法生成的多项式数学模型；a表示多项式模型的加速度，v表示多项式模型的速度；e为在原始的事件流中没有被检测认为是运动目标的事件，a_e表示e的加速度，v_e表示e的速度，pos_e表示e的像素位置；λ,γ为正则项系数。

进一步地，所述步骤S22具体为：当评分函数ρ小于预先设定的阈值时认为该事件为漏检事件，将该事件添加到检测结果中，优化更新目标检测结果；然后将更新后的检测结果作为RANSAC算法的输入，迭代步骤S21运行，直到收敛或迭代至最大次数；获得优化的RANSAC拟合轨迹。

进一步地，所述步骤S23具体为：RANSAC算法判断的外点数量小于阈值或下降率趋于0，或目标检测优化过程中检测到的漏检事件数量小于阈值或趋于0，判定收敛。

进一步地，所述步骤S3具体为：根据步骤S2优化的RANSAC拟合轨迹，通过运动方向和轨迹信息，插值模拟未观测到的事件，生成连续完整的运动轨迹。

进一步地，所述步骤S4包括：

步骤S41、根据运动参数和轨迹参数，进行特征提取，将检测目标在相机成像平面内的速度转化为真实世界中运动速度，根据真实世界中检测目标的运动速度，判断检测目标是否为掉落物体，对非掉落物体进行过滤；

步骤S42、根据检测目标参数与掉落物体运动模型，建立分类器，计算检测目标为掉落物体的概率，根据检测目标为掉落物体的概率，对检测目标进行自动识别和分类。

进一步地，所述步骤S41中将检测目标在相机成像平面内的速度转化为真实世界中运动速度的计算公式为：

y＝kv_y+b (9)

其中，y为检测目标在成像平面上的垂直运动距离，k为特征系数，v_y，v_z分别表示真实世界中检测目标在垂直和光轴方向上的速度分量，Z’表示检测目标在光轴上投影的初始位置，Δt表示时间间隔，g表示重力加速度，f表示相机焦距。

进一步地，所述步骤S41具体为：通过特征系数k和检测目标在相机成像平面内关于像素的运动速度，计算真实世界中检测目标的垂直分量v_y，从而根据真实世界中检测目标的垂直分量v_y，计算真实世界中检测目标的垂直分量v_y在一段时间间隔中的变化量，从而得到真实世界中检测目标垂直方向的加速度，将真实世界中检测目标垂直方向的加速度与重力加速度进行比较，判断检测目标是否为掉落物体；考虑到空气对掉落物的阻力，当真实世界中检测目标垂直方向的加速度大于重力加速度的50％时，判断检测目标为掉落物体；将检测目标进行分类，分为掉落物体和非掉落物体，对非掉落物体进行过滤。

进一步地，所述步骤S42中，掉落物体运动模型包括支持向量机、决策树模型。

进一步地，所述步骤S42还包括：将分类器与实时监测系统相结合，对运动物体进行即时分析和识别，实现对运动物体的实时监测和分类。

本发明的有益技术效果在于：

1、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，通过对检测到的多个运动目标的轨迹进行分析处理，解决事件相机在以核电厂为代表的挑战性环境下对运动物体的观测不连续问题，合并属于同一个物体但不连续的轨迹，生成连续完整的运动轨迹，并将目标物体的运动轨迹还原和可视化展示。在分析物体运动轨迹的同时，降低观察噪声对目标检测的干扰，对检测结果优化，增强目标检测的鲁棒性，为运动物体的轨迹预测提供支持。特别的，本技术针对掉落物体(类自由落体运动)进行了额外的分析与处理，能够利用已有的不连续的观察结果对掉落物体进行判断。

2、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，利用运动物体轨迹的时空一致性的特点，通过事件数据中不同维度的时间特征，生成运动特征图，从多维度分析事件的运动信息，从而起到过滤噪点的作用；并且使用随机样本一致性(RANSAC)算法，可以显著降低噪点对轨迹生成的影响，减少事件相机在核电厂内观测中噪点的干扰。

3、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，通过RANSAC算法建立物体掉落轨迹的数学模型，根据检测结果与数学模型之间的匹配程度对目标检测结果优化，过滤由噪点产生的错误检测结果，减少事件相机在核电厂内由于环境和噪点产生的误检和误报(图6)。

4、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，针对核电厂内掉落物体(类自由落体运动)进行了额外的分析与处理，能够利用已有的不连续的观察结果对掉核电厂内落物体进行判断。

5、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，提出一种在事件时间特征图上计算物体运动方向、速度、加速度的方法，并且这种方法仅使用了少量的卷积操作和标量运算，因此相比于基于深度学习的方法计算效率是高的。

6、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，使用平均时间、最新时间、时间方差的三通道特征图，使得运动物体与背景亮度差异明显。

7、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，使用RANSAC算法，在事件相机观测不完整的情况下，根据多个独立的检测结果计算目标的运动模型，基于检测结果与运动模型的匹配度，可以合并属于同一个物体但不连续的检测结果(图5)，生成连续完整的运动轨迹。为掉落物体的目标检测和轨迹跟踪提供新思路。

8、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，通过基于事件流的分析方式，能够获取更多的物体运动信息，使得小目标的运动信息能够被准确获取。

9、本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，主要是基于事件流的，充分利用了事件的时间信息，所需的计算量较小，算法效率高，可用于实时处理，为事件相机的事件流处理提供新思路。

附图说明

图1为事件相机在多噪点的复杂场景下，原始事件流数据生成的平均时间特征图(未滤波、去噪)。背景中含有大量噪点，导致小目标产生的事件轨迹不清晰。

图2为事件相机观测不连续的情况下，原始事件流数据生成的平均时间特征图(未滤波、去噪)。小目标产生的事件是不连续且稀疏的，在图中不能观测到完整的运动轨迹。

图3为事件相机在多噪点的复杂场景下，对平均时间特征图应用检测算法获得的特征图。大量噪点对小目标检测造成干扰。

图4为事件相机观测不连续的情况下，对平均时间特征图应用检测算法获得的特征图。检测算法会将同一物体的运动过程检测为多个运动目标。此外，由于检测的目标是小物体，观测不连续会对检测效果产生影响。

图5为事件相机观测不连续的情况下，采用本发明方法对同一运动物体产生的多个检测结果分析，生成连续完整的运动轨迹特征图。

图6为在有噪点导致误检的情况下，采用本发明方法对检测结果分析，降低观察噪声对目标检测的干扰，生成连续完整的运动轨迹特征图。

图7为加入事件方差生成的特征图。方差信息可以增强运动目标产生的事件的特征。

图8为核电厂内光源和背景噪声掩盖大部分运动物体事件对检测造成干扰。

图9为核电厂内由于围栏遮挡和背景噪声仅获取部分运动信息的情况。

图10为核电厂内由于人员遮挡仅获取部分运动信息的情况。

图11为相机成像模型图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

本发明提供的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，具体包括以下步骤：

步骤S1、根据检测到的运动物体的事件信号，进行运动信息分析

步骤S11、生成运动特征图矩阵。

根据检测到的运动物体的事件信号，在设置的窗口内生成运动特征图，特征图包括：

(1)基于平均时间戳生成的特征图；

(2)基于最新时间戳生成的特征图；

(3)基于时间方差生成的特征图。

其中，(1)、(2)、(3)生成的特征图都是单通道的，矩阵元素的值分别为对应像素位置上在事件窗口内的事件时间平均值、最大值和方差。运动特征图由上述三个单通道特征图组合为一个三通道的特征图，可视化特征图如图7所示，运动物体与背景亮度差异明显。通过以下公式计算获得各个特征图矩阵及三通道特征图矩阵：

平均时间特征图矩阵：

最新时间特征图矩阵：

时间方差特征图矩阵：

三通道特征图矩阵：

T＝[T^avg,T^rec,T^var] (4)

信噪比：

其中，N为事件数量，N_noise表示噪声数量。

处理窗口包括固定事件数量和固定时间两种模式。固定事件数量模式当累积的事件数量到达阈值时，则将窗口内的事件生成特征图，这种模式可以避免在固定时间模式中，由于时间窗口内产生的事件较少导致的信噪比过高或信息不足的问题。固定时间模式每隔固定的时间将累积的事件生成特征图，这种模式可以避免在事件响应速率较低或较快的情况下，固定事件数量模式所获取的事件时间跨度太小或太大导致的信息冗余和信息不足问题。

本方法的处理窗口为固定事件数量和固定时间两种模式相结合，设置多个时间阈值和数量阈值，例如25ms，50ms，75ms的时间窗口，30000，60000，100000的事件数量窗口。通过设置一个堆栈容器，在分别对不同的窗口处理时，将检测结果的事件信息存入堆栈，不断叠加和去除重复的事件信息，来获取不同事件处理窗口下的检测结果，从而获得更多的运动信息，通过堆栈内的事件(事件信息中包括时间信息)，根据公式(1)-(4)获得三通道特征图矩阵，生成包含运动信息的事件数量较多，且在原始事件流中信噪比较大的三通道特征图。

步骤S12、计算运动参数。

根据检测到的运动物体的事件信号，在运动特征图上计算其运动参数，运动参数包括：

(1)水平速度；

(2)垂直速度；

(3)水平加速度；

(4)垂直加速度；

其中距离单位为像素，例如速度为：像素/秒。

步骤S12.1、对步骤S11中生成的运动特征图矩阵进行填充操作

对步骤S11中生成的特征图矩阵进行Padding(填充)操作，即对矩阵的边界填充预设值，例如0或Inf，目的在于使得卷积后的特征图矩阵大小与原矩阵大小相同。

步骤S12.2、对步骤S11中生成的运动特征图矩阵进行卷积操作计算梯度，获得特征图速度矩阵、加速度矩阵

步骤S12.2.1、对步骤S11中生成的运动特征图矩阵Mat分别用卷积核G_x,G_y做卷积操作计算时间梯度，时间梯度取倒数可得x，y轴方向上的速度矩阵，即水平速度矩阵V_x和垂直速度矩阵V_y，合并水平速度矩阵V_x和垂直速度矩阵V_y得到在成像平面上的速度矩阵V。

Mat可以选择步骤S11中生成的平均时间特征图矩阵T^avg和最新时间特征图矩阵T^rec，T^avg不易受到噪点的干扰，T^rec体现的运动趋势更显著。

步骤S12.2.2、对速度矩阵V分别用卷积核G_x,G_y做卷积操作计算时间梯度，时间梯度取倒数可得x，y轴方向上的加速度矩阵，即水平加速度矩阵A_x和垂直加速度矩阵A_y，合并水平加速度矩阵A_x和垂直加速度矩阵A_y得到在成像平面上的加速度矩阵A。

V和A表示了物体的运动参数，包括方向、速度、加速度。通过速度和加速度信息可以计算运动方向和运动趋势等信息。

对特征图进行卷积操作计算梯度时，卷积核可以使用梯度算子或基于统计的方法。以3×3大小的Sobel卷积为例：

其中，Mat是步骤S11中生成的时间特征图的矩阵，Mat可以选择S11中生成的平均时间特征图矩阵T^avg和最新时间特征图矩阵T^rec，T^avg不易受到噪点的干扰，T^rec体现的运动趋势更显著。

Conv表示卷积操作，V_x表示水平速度矩阵，V_y表示垂直速度矩阵，V表示速度矩阵；A_x表示水平加速度矩阵，A_y表示垂直加速度矩阵，A表示加速度矩阵。

步骤S2、采用RANSAC算法，对观测数据进行相似轨迹的合并

步骤S21、采用RANSAC算法，生成多项式模型的参数，获得RANSAC拟合轨迹

随机样本一致性(RANSAC)是一种迭代算法，用于从一组包含异常值的观察数据中估计数学模型的参数，降低异常值对估计值产生影响。检测结果通常不是绝对精准的，存在误检、漏检等情况(图6)，这导致观察数据是不完全的，且包含异常值。因此需要使用RANSAC算法在轨迹拟合的过程中，同时完善目标检测结果，再使用优化后的目标检测结果拟合运动轨迹，反复迭代直到收敛。

输入为观测数据、数学模型(如果是类抛物运动可以根据自由落体的物理模型建模)，输出为匹配观测数据的数学模型和对应的样本集。在事件相机相似轨迹的合并任务中，输入是目标检测结果导出的事件集和预先设置的加入正则项的二次多项式模型，每个事件包括位置信息和时间信息；输出为二次多项式模型的参数，和对应二次多项式模型的事件。基本流程如下：

步骤S21.1、随机采样目标检测结果导出的事件集中的一些子集，子集中的元素是事件，包含(x,y,t,p)，其中x表示事件在像素坐标系中的横坐标，y表示事件在像素的纵坐标，t表示事件发生的时间戳，p表示事件的极性。

步骤S21.2、用多项式模型匹配样本子集，通过多项式拟合估计出多项式模型的参数。

步骤S21.3、评价估计出的多项式模型的参数

将每个检测到的事件作为一个点，计算所有点到多项式模型的距离，根据预先设置的阈值d，将距离小于等于d的点分为内点，将距离大于d的点分为外点。计算内点占总点数的比例k。如果k大于预先设定的期望值k*，则认为当前模型是可接受的，并返回模型参数，算法结束。如果k小于预先设定的期望值k*，则认为当前模型是不可接受的，保存算法当前最优的参数，算法继续，执行步骤21.4。

步骤S21.4、判断是否达到预先设定的迭代最大次数

最大值是根据任务的实时性和精度需要手动设定的。

如果没有达到最大迭代次数，则迭代步骤21.1-步骤21.3。如果达到最大迭代次数则返回保存的最优参数，即多项式模型的参数。

本步骤中获得的多项式模型为一个函数，多项式模型的函数为连续的，保存的多项式模型的参数即表示轨迹的估计。

步骤S22、通过评分函数确定漏检事件，目标检测结果优化，获得优化的RANSAC拟合轨迹

RANSAC算法根据预先设置的多项式模型拟合出物体的运动轨迹，将检测到的事件分为内点和外点，外点为不匹配数学模型的点，在检测结果中将外点作为异常点过滤。在原始事件流中，根据事件与拟合轨迹的时空相似度，加入运动参数的一致性，将可能漏检的事件扩充到检测结果中。通过步骤S21生成的多项式模型参数，设计评分函数，在原始事件流中搜索漏检事件，具体公式如下：

ρ(e,f_R)＝dis(pos_e,f_R)+λdis(v_e,v)+γdis(a_e,a) (5)

其中，ρ为评分函数，dis为距离函数，f_R为步骤S21中RANSAC算法生成的多项式数学模型；a表示多项式模型的加速度，v表示多项式模型的速度；e为在原始的事件流中没有被检测认为是运动目标的事件，a_e表示e的加速度，v_e表示e的速度，pos_e表示e的像素位置。λ,γ为正则项系数。公式(5)中等号右侧的第一项表示事件位置与模型的距离，第二项表示速度距离，第三项表示加速度距离。

根据模型划分的内点的位置和时间信息，根据步骤S12卷积获得的加速度和速度公式，或对内点均匀采样通过速度和加速度公式，可以计算得到模型的加速度a和速度v，e的加速度a_e和速度v_e，

当评分函数ρ小于预先设定的阈值(该阈值可根据实际场景和被检测目标进行调节，影响检测算法的灵敏度)时认为该事件为漏检事件，将该事件添加到检测结果中，即将漏检事件作为检测到的事件，优化更新目标检测结果。然后将更新后的检测结果作为RANSAC算法的输入，迭代步骤S21运行，直到收敛或迭代至最大次数。获得优化的RANSAC拟合轨迹。

步骤S23、根据RANSAC算法判断的外点数量和目标检测结果优化中的漏检事件数量，进行收敛性判断

迭代最大次数通常与任务实时性相关且大于实际迭代次数。判定收敛主要考虑2个方面：

(1)步骤S21中RANSAC算法判断的外点数量小于阈值或下降率趋于0；或，

(2)步骤S22中目标检测优化过程中检测到的漏检事件数量小于阈值或下降率趋于0。

阈值的设置主要考虑到任务的精度和实时性，一定程度上迭代次数越多可获得的精度越高，但是随着迭代次数的增加，每次迭代对精度的提升会减少，同时迭代次数的增加会导致算法效率的降低。阈值通过分析任务需求和实际环境手工设置，判断是否收敛。若收敛，则返回更新后的运动模型和检测结果，算法结束；若不收敛，则继续迭代算法，直到收敛或达到最大迭代次数。

步骤S3、根据步骤S2优化后的检测结果和优化的RANSAC拟合轨迹，通过插值获得轨迹参数

步骤S31、生成完整轨迹

步骤S2中优化后的检测结果只能将漏检的事件信息恢复，但不能恢复其他原因导致事件相机没有观测到的事件信息，如图1-3所示，需要通过算法生成这部分未观测到的事件信息。

由于步骤S2优化后的检测结果是不连续的，根据步骤S2优化的RANSAC拟合轨迹，通过运动方向和轨迹信息，插值模拟未观测到的事件，生成连续完整的运动信息，生成的连续完整的运动轨迹图如图5所示。

步骤S32、可视化处理过程中所有的特征图

通过编程实现上述方法，可视化处理步骤S1-步骤S3中所有的特征图，可视化处理后的特征图如图1-7所示。

在事件相机在多噪点的复杂场景下，原始事件流数据生成的平均时间特征图(未滤波、去噪)中，背景中含有大量噪点，导致小目标产生的事件轨迹不清晰。

在事件相机观测不连续的情况下，原始事件流数据生成的平均时间特征图(未滤波、去噪)中，目标产生的事件是不连续且稀疏的，在特征图中不能观测到完整的运动轨迹。

在事件相机在多噪点的复杂场景下，对平均时间特征图应用检测算法获得的特征图中，大量噪点对小目标检测造成干扰。

在事件相机观测不连续的情况下，对平均时间特征图应用检测算法获得的特征图中，检测算法会将同一物体的运动过程检测为多个运动目标。此外，由于检测的目标是小物体，观测不连续会对检测效果产生影响。

在事件相机观测不连续的情况下，采用本发明方法对同一运动物体产生的多个检测结果分析，能够生成连续完整的运动轨迹特征图。

在有噪点导致误检的情况下，采用本发明方法对检测结果分析，降低观察噪声对目标检测的干扰，能够生成连续完整的运动轨迹特征图。

加入事件方差生成的特征图中，方差信息可以增强运动目标产生的事件的特征，运动物体与背景亮度差异明显。

在未采用本发明方法对运动物体事件进行结果分析时，核电厂内噪声或遮挡对运动物体事件的运动信息造成的干扰，如图8-10所示：

图10为核电厂内由于人员遮挡仅获取部分运动信息的情况。

步骤S4、根据步骤S1的运动参数和步骤S3的轨迹参数，判断检测目标是否为掉落物体，对非掉落物体进行过滤

步骤S41、根据运动参数和轨迹参数，进行特征提取，将检测目标在相机成像平面内的速度转化为真实世界中运动速度，根据真实世界中检测目标的运动速度，判断检测目标是否为掉落物体，对非掉落物体进行过滤。

通过步骤S1计算的运动参数和步骤S3计算的运动轨迹参数，从采集到的数据中提取出关键特征，如运动物体的运动轨迹、平均速度和平均加速度等信息，并结合物体的质量、体积等属性，进一步分析特征，判断检测目标是否符合掉落物体的运动模型，例如，可以将检测目标在相机成像平面内的速度转化为真实世界中的运动速度，真实世界中的运动速度是否具有垂直向下的速度分量、加速度是否接近重力加速度，判断检测目标是否为掉落物体，然后将非掉落的物体过滤。

下面给出实际场景中自由落体物体与相机成像平面上运动轨迹的关系推导，相机成像模型如图11所示。

图11中，左侧为相机内部，右侧为相机外部，中间椭圆形为镜头。f表示相机焦距，Z表示检测目标与镜头之间的距离，y为检测目标在成像平面上的垂直运动距离，Y表示真实世界中检测目标的垂直运动距离，

根据等比三角形性质，检测目标在成像平面上的垂直位移应当正比于检测目标在真实世界的垂直运动速度。推导过程如下：

当检测目标的运动平面和成像平面平行时，根据等比三角形性质，应当满足上式。

根据加速度与位移公式，真实世界中Δt内自由落体垂直方向位移，满足：

光轴方向(向相机靠近或远离)的位移满足：

Z＝Z'+v_zΔt (8)

其中，k为特征系数，v_y，v_z分别表示真实世界中检测目标在垂直和光轴方向上的速度分量，Z’表示检测目标在光轴上投影的初始位置，Δt表示时间间隔，g表示重力加速度。

带入上式可得：

其中，当Δt不变，v_y是变量时，其余各项均为常数项。

由公式(9)可知，在相同时间窗口下(Δt不变)，各个时刻检测目标在成像平面上的垂直位移量y与真实世界中检测目标的垂直分量v_y满足近似的线性关系。将该特征系数k作为轨迹分析的重要特征，通过特征系数k和步骤12中获得的检测目标在相机成像平面内关于像素的运动速度，可以计算真实世界中检测目标的垂直分量v_y，从而可以根据真实世界中检测目标的垂直分量v_y，计算真实世界中检测目标的垂直分量v_y在一段时间间隔中的变化量，从而得到真实世界中检测目标垂直方向的加速度，将真实世界中检测目标垂直方向的加速度与重力加速度进行比较，判断检测目标是否为掉落物体。考虑到空气阻力的影响，当真实世界中检测目标垂直方向的加速度大于重力加速度的50％时，判断检测目标为掉落物体。

将检测目标进行分类，分为掉落物体和非掉落物体；对非掉落物体进行过滤。

步骤S42、根据检测目标参数与掉落物体运动模型，对检测目标进行自动识别和分类。

对检测目标的判断需要对掉落物体的运动过程建立数学模型来判断检测目标是否属于掉落物体，建模和分类使用的检测目标参数主要包括运动方向、速度的方向、加速度方向和大小，以及轨迹等。根据步骤S1获得的运动参数及步骤S3获得的运动轨迹参数与掉落物体运动模型的匹配程度，建立分类器，计算检测目标为掉落物体的概率，以实现对运动物体是否为掉落物体的自动识别和分类。例如，可以使用支持向量机、决策树等算法来进行分类建模，将已知检测目标参数数据集与步骤S1获得的运动参数及步骤S3获得的运动轨迹参数相关联，采集可能的掉落物体或非掉落物体，建立数据集，以训练分类器。分类器根据特征工程提取的参数特征，使用机器学习算法来建立一个决策边界，以区分不同类别的物体。通过计算从已知的数据中学到的决策边界来预测新数据点的类别。具体来说，当有新的检测目标的参数输入时，分类器会根据已学习的模型评估这些参数与掉落物体运动模型的相似性，然后输出一个概率值，表示其属于掉落物体的可能性。根据该概率值，可以采取相应的行动，如触发警报、安全措施或进一步的监测。

在具体实施过程中，可以利用决策树、SVM、神经网络等分类器对运动轨迹是否属于同一物体进行分析，对运动物体建立更精细的运动分析模型。

将分类器与实时监测系统相结合，实现对运动物体的实时监测和分类，以保障安全和环境保护。使用实时数据流处理技术，如Apache Kafka、Apache Storm等技术来实现实时监测系统，能够即时处理来自各种传感器和数据源的信息。通过将分类器嵌入到实时监测系统中(即，将分类器的算法部署到分布式实时计算系统中)，可以对运动物体进行即时分析和识别，以便采取必要的行动来应对潜在的风险或问题。

上面结合附图和实施例对本发明作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。本发明中未作详细描述的内容均可以采用现有技术。

Claims

1.一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述方法包括：

步骤S1、根据检测到的运动物体的事件信号，进行运动信息分析：

步骤S11、根据检测到的运动物体的事件信号，在设置的事件处理窗口内生成运动特征图矩阵：通过固定事件数量和固定时间两种模式相结合的方式，设置事件处理窗口，在事件处理窗口内根据运动特征图生成运动特征图矩阵；

步骤S12、根据检测到的运动物体的事件信号，在运动特征图矩阵上计算其运动参数：

步骤S12.2、对步骤S11中生成的运动特征图矩阵进行卷积操作计算梯度，获得速度矩阵、加速度矩阵；

步骤S2、采用RANSAC算法，对观测数据进行相似轨迹的合并：

步骤S21、采用RANSAC算法，生成多项式模型的参数，获得RANSAC拟合轨迹：

步骤S21.4、判断是否达到预先设定的迭代最大次数，确定多项式模型的参数；

步骤S23、根据RANSAC算法判断的外点数量和目标检测结果优化中的漏检事件数量，进行收敛性判断；

步骤S3、根据步骤S22优化后的目标检测结果和优化的RANSAC拟合轨迹，通过插值获得轨迹参数：根据步骤S22优化的RANSAC拟合轨迹，通过运动方向和轨迹信息，插值模拟未观测到的事件，生成连续完整的运动轨迹；

步骤S4、根据步骤S12的运动参数和步骤S3的轨迹参数，判断检测目标是否为掉落物体，对非掉落物体进行过滤：

2.根据权利要求1所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述运动特征图矩阵包括平均时间特征图矩阵、最新时间特征图矩阵、时间方差特征图矩阵、由平均时间特征图矩阵、最新时间特征图矩阵、时间方差特征图矩阵组成的三通道特征图矩阵；

各个矩阵的计算公式分别为：

平均时间特征图矩阵：

最新时间特征图矩阵：

时间方差特征图矩阵：

三通道特征图矩阵：

T＝[T^avg,T^rec,T^var]

其中，T表示平均时间特征图矩阵、最新时间特征图矩阵、时间方差特征图矩阵三个单通道组合的三通道特征图矩阵，T^avg表示基于平均时间生成的特征图矩阵，表示位置(i,j)上事件时间戳的平均值；T^rec表示基于最新时间生成的特征图矩阵，/>表示位置(i,j)上事件时间戳的最大值；T^var表示基于时间方差生成的特征图矩阵，/>表示位置(i,j)上事件时间戳的方差；L_ij表示像素位置(i,j)上的事件数量，t表示事件时间，t^avg表示事件时间戳的平均值，ζ_ij表示位置(i,j)上事件时间戳集合。

3.根据权利要求2所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述步骤S12.2包括：

步骤S12.2.1、对步骤S11中生成的运动特征图矩阵分别用卷积核做卷积操作计算时间梯度，时间梯度取倒数可得x，y轴方向上的速度矩阵，即水平速度矩阵V_x和垂直速度矩阵V_y，合并水平速度矩阵V_x和垂直速度矩阵V_y得到在相机成像平面上的速度矩阵V；

步骤S12.2.2、对速度矩阵V分别用卷积核做卷积操作计算时间梯度，时间梯度取倒数可得x，y轴方向上的加速度矩阵，即水平加速度矩阵A_x和垂直加速度矩阵A_y，合并水平加速度矩阵A_x和垂直加速度矩阵A_y得到在相机成像平面上的加速度矩阵A。

4.根据权利要求1所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述步骤S22中评分函数的公式为：

ρ(e,f_R)＝dis(pos_e,f_R)+λdis(v_e,v)+γdis(a_e,a)

其中，ρ为评分函数，dis为距离函数，f_R为步骤S21中RANSAC算法生成的多项式模型的参数；a表示多项式模型的加速度，v表示多项式模型的速度；e为在原始的事件流中没有被检测认为是运动目标的事件，a_e表示e的加速度，v_e表示e的速度，pos_e表示e的像素位置；λ,γ为正则项系数。

5.根据权利要求4所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述步骤S22具体为：当评分函数ρ小于预先设定的阈值时认为该事件为漏检事件，将该事件添加到目标检测结果中，优化更新目标检测结果；然后将更新后的目标检测结果作为RANSAC算法的输入，迭代步骤S21运行，直到收敛或迭代至最大次数；获得优化的RANSAC拟合轨迹。

6.根据权利要求1所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述步骤S23具体为：RANSAC算法判断的外点数量小于阈值或下降率趋于0，或目标检测结果优化过程中检测到的漏检事件数量小于阈值或下降率趋于0，判定收敛。

7.根据权利要求1所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述步骤S41中将检测目标在相机成像平面内的速度转化为真实世界中运动速度的计算公式为：

y＝kv_y+b

其中，y为检测目标在相机成像平面上的垂直运动距离，k为特征系数，v_y，v_z分别表示真实世界中检测目标在垂直和光轴方向上的速度分量，Z’表示检测目标在光轴上投影的初始位置，Δt表示时间间隔，g表示重力加速度，f表示相机焦距。

8.根据权利要求7所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述步骤S41具体为：通过特征系数k和检测目标在相机成像平面内关于像素的运动速度，计算真实世界中检测目标的垂直速度分量v_y，从而根据真实世界中检测目标的垂直速度分量v_y，计算真实世界中检测目标的垂直速度分量v_y在一段时间间隔中的变化量，从而得到真实世界中检测目标垂直方向的加速度，将真实世界中检测目标垂直方向的加速度与重力加速度进行比较，判断检测目标是否为掉落物体；当真实世界中检测目标垂直方向的加速度大于重力加速度的50％时，判断检测目标为掉落物体；将检测目标进行分类，分为掉落物体和非掉落物体，对非掉落物体进行过滤。

9.根据权利要求7所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述步骤S42中，掉落物体运动模型包括支持向量机、决策树模型。

10.根据权利要求7所述的一种核电厂基于事件相机对小目标掉落轨迹的处理方法，其特征在于，所述步骤S42还包括：将分类器与实时监测系统相结合，对运动物体进行即时分析和识别，实现对运动物体的实时监测和分类。