CN115511751A - 一种事件流异常事件滤除效果的评估方法 - Google Patents
一种事件流异常事件滤除效果的评估方法 Download PDFInfo
- Publication number
- CN115511751A CN115511751A CN202211344796.3A CN202211344796A CN115511751A CN 115511751 A CN115511751 A CN 115511751A CN 202211344796 A CN202211344796 A CN 202211344796A CN 115511751 A CN115511751 A CN 115511751A
- Authority
- CN
- China
- Prior art keywords
- event
- events
- abnormal
- event stream
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 54
- 238000001914 filtration Methods 0.000 title claims abstract description 32
- 230000000694 effects Effects 0.000 title claims abstract description 22
- 238000011156 evaluation Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000009467 reduction Effects 0.000 claims description 17
- NWQGDIBCFLDHDO-UHFFFAOYSA-N 4-[3-(2-chloro-4,5-difluoro-benzoyl)ureido]-3-trifluoromethoxybenzoic acid Chemical compound FC(F)(F)OC1=CC(C(=O)O)=CC=C1NC(=O)NC(=O)C1=CC(F)=C(F)C=C1Cl NWQGDIBCFLDHDO-UHFFFAOYSA-N 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种事件流异常事件滤除效果的评估方法，涉及事件流的应用技术领域，解决现有方法需要特殊硬件的支撑，受限于固定图形发生器，难以评估滤除方法在不同传感器间的鲁棒性；以及存在计算指标时造成结果不准确等问题，本发方法包括对事件流进行固定长度的分割，对一段事件流中每一个事件使用核函数计算；人工选取只有异常事件的区域，计算区分阈值；对滤除后的事件流计算噪声所占比例，对被滤除的事件计算真实事件所占比例；并进行比较两项指标均低时表示该滤除异常事件方法性能最好。本发明能够采用自然图像对滤除方法进行评估，不再需要固定图形发生器，降低了评估难度。
Description
技术领域
本发明涉及事件流的应用技术领域，具体涉及一种对事件流中异常事件滤除效果的评估方法。
背景技术
动态视觉传感器的像素受生物视觉启发，像素结构主要分为三级，包括电压-电流对数转换单元、变化放大单元和比较单元。而由于像素复杂性的增加，会产生异常事件，类似传统面阵图像的椒盐噪声。但是，动态视觉传感器输出的事件流并非如同面阵图像是一个二维的和传感器分辨率相同的矩阵，而是三维时空稀疏的散点，这样使已有的图像降噪效果评价指标如信噪比无法兼容。
真实事件流的是像素上投影的光强发生改变，像素产生脉冲信号，后经地址事件表达(Adress Event Represent,AER)，以数字形式通过芯片输出电路对事件进行传输，每个事件包含像素坐标、时间戳、光强变化极性等信息。事件流具备时间分辨率高、数据量小、数据形式稀疏等特点。这种数据形式相较传统面阵探测器的帧形式图像有更高的分辨率，更低的数据量。但是，这种数据形式不再是矩阵形式而是点云形式，所以传统的图像处理的指标与评估方法在此无法兼容。
现有事件流异常事件滤除效果评估方法为以下两类，一类是借助外界图像发生器，采集已知图像，之后对异常事件进行提取，分析降噪的效果，Daniel C等人提出在文献《基于事件的异步变化检测图像传感器噪声滤波器评估，(Evaluating noise filteringfor event-based asynchronous change detection image sensors)》提出一种评估动态视觉传感器降噪的方法；另一类为通过三个指标对降噪方法进行量化，分别是信号比(Signal Ratio,SR),噪声比(Noise Ratio,NR)和信噪比(Signal to Noise Ratio,SNR),其计算公式如下所示：
其中Ef为降噪后事件数量，Eo为降噪前事件数量，signal为原始事件流，noise为添加噪声的事件流，Eq可以表示Ef或Eo，当表示Ef时为降噪后的信噪比。
第一类方法中对降噪效果的评价通过两个指标进行评估，分别是滤波后事件的平均信号概率的提升率以及滤波后总事件信号概率与滤波前总事件信号概率的比值。上述的评估方法需要特殊硬件的支撑，并且传感器的类型相对单一。第二种方法是以采集到的事件流为真实事件，而后人工增加随之异常事件，再使用滤除方法处理，之后比较滤除之后的结果，这样的方法并不严谨，因为时间相机中已经包含了异常事件。
上述第一类的评估方法需要特殊硬件的支撑，受限于固定图形发生器，该方法难以复现，只能使用已采集的数据，这就导致传感器的类型相对单一，难以评估滤除方法在不同传感器间的鲁棒性。
上述第二类方法使用时间相机中输出的全部事件流作为真实事件流，人工增加异常事件，这样的方法会将相机原生异常事件忽略，在计算指标时造成结果不准确。
发明内容
本发明为解决现有方法需要特殊硬件的支撑，受限于固定图形发生器，难以评估滤除方法在不同传感器间的鲁棒性；以及存在计算指标时造成结果不准确等问题，提供一种事件流异常事件滤除效果的评估方法。
一种事件流异常事件滤除效果的评估方法，该方法由以下步骤实现：
步骤一、采用核函数PRE(e0)度量一个事件与其他事件的时空相关度；当所述核函数PRE(e0)大于区分阈值PAVE(e)时，则该事件为真实事件；
步骤二、对降噪后的事件流，即：滤除后事件中的每一事件计算核函数PRE(e0)，并与区分阈值PAVE(e)进行比较，确认降噪后事件流中的异常事件，计算噪声所占比例RNIR；
对被滤除后事件中每一事件计算核函数PRE(e0)，并与区分阈值PAVE(e)进行比较，确认被滤除事件流中的真实事件数量；计算真实事件所占比例RRIN；
步骤三、在相同探测器的相同参数设定下，对噪声所占比例RNIR与真实事件所占比例RRIN进行评估，两项指标均低时则滤除异常事件效果好。
本发明的有益效果：本发明所述的方法能够采用自然图像对滤除方法进行评估，不再需要固定图形发生器，降低了评估难度。
本发明方法中采用RNIR与RRIN两项指标进行滤除效果的评估，无需人工增加异常事件，通过两个维度对效果进行评估，既能体现滤除的异常事件比例，也可以保证真实事件的保留情况。
本发明方法是一种能够通过自然场景下事件流评估异常事件滤除效果的方法。该方法提出异常事件的判定方法，能够判定事件是否为异常事件，并通过两个角度对降噪效果进行评价：滤除后事件流中真实事件占比与滤除的异常事件中真实事件占比。理想条件下当两项指标均为0时，该滤除方法为最佳。
附图说明
图1为本发明所述的一种事件流异常事件滤除效果的评估方法的流程图。
具体实施方式
结合图1说明本实施方式，一种事件流异常事件滤除效果的评估方法，事件流是由事件相机输出，由于事件相机像素中存在变化量放大器，该放大器中复位开关存在栅致漏极泄露等情况，导致像素产生异常事件，所以需要滤除事件流中异常事件。但是异常事件的过滤效果需要量化，是一个定量的评价指标。本实施方式即提出一种异常事件滤除效果的评估方法，具体步骤如下：
第1步：对事件流进行固定长度的分割，以提高计算速度；
第2步：对一段事件流中每一个事件使用核函数计算PRE(e0)；
第3步：人工选取只有异常事件的区域，计算区分阈值PAVE(e)；
第4步：对滤除后的事件流计算噪声所占比例RNIR，对被滤除的事件计算真实事件所占比例RRIN；
第5步：在相同探测器与相同参数设定下，比较RNIR与RRIn，两项指标均低时表示该滤除异常事件方法性能最好。
本实施方式中，由于真实事件在时间和空间上具有很高的相关性，时空相关高是由于目标的移动或光强的变化在物理空间和时间是连续的，动态视觉传感器产生事件的像素距离较近，事件间的时间间隔较短；而异常事件的产生是热噪声等因素随机产生，所以，异常事件与其他事件在时间间隔和空间距上是随机的。所以可以通过事件间的相关性来评估该事件是否是异常事件，即该问题转化为对事件相关性的量化与异常事件判定。
首先，一个事件与其他事件的时空相关程度可以采用核函数作为“尺子”进行度量，核函数即：
其中PRE(e0)表示事件e0的真实事件可能性，di与τi是事件e0与事件ei的空间距离与时间间隔，σ1与σ2为核函数的方差。PRE(e0)大于一定阈值时，则该事件认定为真实事件。所以设定相应的区分阈值就可以通过该方法可以统计出事件流中的真实事件与异常事件。
本实施方式中，真实事件与异常事件的区分阈值通过如下方法计算：人工对画面中未产生真实事件的区域进行框选，采用核函数对该区域的异常事件的真实事件可能性进行计算，该区域的平均真实事件可能性设置为该参数下的区分阈值PAVE(e)。针对事件量较大的事件流，可以将事件按固定时间间隔分割，对每一时间段内的事件流进行计算。
之后，对降噪后的事件流的每一事件计算PRE(e0)后与PAVE(e)进行比较，明确降噪后事件流中的真实事件与异常事件，计算噪声所占比例，定义为RNIR,
其中N滤除后事件表示降噪后事件流的事件数量，N异常事件表示该事件流中PRE(e0)＜PAVE(e)的异常事件数量。RNIR的值越小，表示降噪后事件流中异常事件越少，但是为了防止事件流被过度降噪，真实事件受损，所以定义RRIN，为滤除事件中真实事件的比例。计算方法如下：对降噪后的事件流的每一事件计算PRE(e0)后与PAVE(e)进行比较，明确滤除的事件流中的真实事件与异常事件，计算真实事件所占比例RRIN，即：
对降噪效果采用上述两指标进行评价，当RNIR与RRIN均低时，降噪效果好的，具体数值由于探测器不同会有不同。降噪性能对比需要在同一探测器同一设定参数下进行。
本实施方式中，异常事件的评价方式，由核函数与事件流进行卷积，评估每个事件的是异常事件的可能性；
异常事件区分阈值PAVE(e)采用人工对画面中未产生真实事件的区域进行框选，采用核函数对该区域的异常事件的真实事件可能性进行计算，该区域的平均真实事件可能性设置为该参数下的区分阈值；
异常事件滤除效果评估采用RNIR与RRIN两项指标进行评估，性能对比需要在同一探测器同一设定参数下进行。
本实施方式中的事件相关性量化方法可以采用其他各向同性的核函数进行量化，达到同样的目的。
Claims (5)
1.一种事件流异常事件滤除效果的评估方法，其特征是：该方法由以下步骤实现：
步骤一、采用核函数PRE(e0)度量一个事件与其他事件的时空相关度；当所述核函数PRE(e0)大于区分阈值PAVE(e)时，则该事件为真实事件；
步骤二、对降噪后的事件流，即：滤除后事件中的每一事件计算核函数PRE(e0)，并与区分阈值PAVE(e)进行比较，确认降噪后事件流中的异常事件，计算噪声所占比例RNIR；
对被滤除后事件中每一事件计算核函数PRE(e0)，并与区分阈值PAVE(e)进行比较，确认被滤除事件流中的真实事件数量；计算真实事件所占比例RRIN；
步骤三、在相同探测器的相同参数设定下，对噪声所占比例RNIR与真实事件所占比例RRIN进行评估，两项指标均低时则滤除异常事件效果好。
2.根据权利要求1所述的一种事件流异常事件滤除效果的评估方法，其特征在于：步骤一中，所述核函数表示如下：
其中，PRE(e0)表示事件e0的真实事件可能性，ei表示事件流中第i个事件，dt与τi为事件e0与事件ei的空间距离与时间间隔，σ1与σ2为核函数的方差。
3.根据权利要求2所述的一种事件流异常事件滤除效果的评估方法，其特征在于：所述区分阈值PAVE(e)的计算方法为：
人工对事件流中未产生真实事件的区域进行框选，采用核函数对该区域的异常事件的真实事件可能性进行计算，该区域的平均真实事件可能性设置为该参数下的区分阈值PAVE(e)；
针对事件量较大的事件流，将事件按固定时间间隔分割，对每一时间段内的事件流进行计算。
4.根据权利要求1所述的一种事件流异常事件滤除效果的评估方法，其特征在于：步骤二中，所述噪声所占比例RNIR采用下式表示为：
式中，N滤除后事件为降噪后事件流的事件数量，N异常事件为该事件流中PRE(e0)＜PAVE(e)的异常事件数量。
5.根据权利要求1所述的一种事件流异常事件滤除效果的评估方法，其特征在于：步骤二中，所述真实事件所占比例RRIN用下式表示为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211344796.3A CN115511751A (zh) | 2022-10-31 | 2022-10-31 | 一种事件流异常事件滤除效果的评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211344796.3A CN115511751A (zh) | 2022-10-31 | 2022-10-31 | 一种事件流异常事件滤除效果的评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115511751A true CN115511751A (zh) | 2022-12-23 |
Family
ID=84511802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211344796.3A Pending CN115511751A (zh) | 2022-10-31 | 2022-10-31 | 一种事件流异常事件滤除效果的评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115511751A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117667604A (zh) * | 2024-01-31 | 2024-03-08 | 腾讯科技（深圳）有限公司 | 追踪事件的数据监测方法、装置、电子设备及存储介质 |
-
2022
- 2022-10-31 CN CN202211344796.3A patent/CN115511751A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117667604A (zh) * | 2024-01-31 | 2024-03-08 | 腾讯科技（深圳）有限公司 | 追踪事件的数据监测方法、装置、电子设备及存储介质 |
| CN117667604B (zh) * | 2024-01-31 | 2024-05-14 | 腾讯科技（深圳）有限公司 | 追踪事件的数据监测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI405150B (zh) | 視訊移動偵測方法及使用該方法之非暫時性電腦可讀取媒體和攝影機 | |
| CN102096921B (zh) | 基于邻域对数比值及各向异性扩散的sar图像变化检测方法 | |
| KR100835380B1 (ko) | 영상의 경계를 검출하는 방법 및 그 장치와 이를 구현할 수있는 컴퓨터로 읽을 수 있는 기록 매체 | |
| CN103179350B (zh) | 基于场景中的运动水平优化捕获场景的图像帧序列中的图像帧的曝光的相机和方法 | |
| CN109633633B (zh) | 一种基于分段分类增强处理的生命信号增强方法 | |
| CN106128121A (zh) | 基于局部特征分析的车辆排队长度快速检测算法 | |
| CN102113017A (zh) | 使用边缘检测产生深度数据的系统及方法 | |
| US11501536B2 (en) | Image processing method, an image processing apparatus, and a surveillance system | |
| CN103617617A (zh) | 基于功率谱描述的水下图像质量评价测量方法 | |
| CN104616303A (zh) | 一种基于紫外图像的水面溢油检测系统和方法 | |
| CN103632369A (zh) | 块平均清晰度组合无参考水下图像通用性质量检测方法 | |
| CN102340620B (zh) | 基于马氏距离的视频图像背景检测方法 | |
| KR101956250B1 (ko) | 해색 영상을 이용한 해안선 모니터링 장치 및 방법 | |
| CN103324919A (zh) | 基于人脸识别的视频监控系统及其数据处理方法 | |
| CN115511751A (zh) | 一种事件流异常事件滤除效果的评估方法 | |
| CN113409362A (zh) | 高空抛物检测方法和装置、设备及计算机存储介质 | |
| CN110187142A (zh) | 流速监测方法和系统 | |
| Apewokin et al. | Multimodal mean adaptive backgrounding for embedded real-time video surveillance | |
| CN108230607A (zh) | 一种基于区域特征分析的图像火灾探测方法 | |
| JP2009545265A (ja) | コード化アパーチャーセンサのための処理方法 | |
| CN111091093A (zh) | 一种高密度人群的数量估测方法、系统及相关装置 | |
| JP4111660B2 (ja) | 火災検出装置 | |
| TWI381735B (zh) | 影像監視設備之影像處理系統及其影像解析自動調適之方法 | |
| CN116385316B (zh) | 多目标图像动态捕捉方法及相关装置 | |
| CN102510437A (zh) | 基于rgb分量分布的视频图像背景检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |