CN117115451A - 一种基于时空内容相关性的自适应阈值事件相机去噪方法 - Google Patents
一种基于时空内容相关性的自适应阈值事件相机去噪方法 Download PDFInfo
- Publication number
- CN117115451A CN117115451A CN202311119169.4A CN202311119169A CN117115451A CN 117115451 A CN117115451 A CN 117115451A CN 202311119169 A CN202311119169 A CN 202311119169A CN 117115451 A CN117115451 A CN 117115451A
- Authority
- CN
- China
- Prior art keywords
- event
- noise
- real
- camera
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003044 adaptive effect Effects 0.000 title claims description 17
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims description 7
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000005282 brightening Methods 0.000 claims description 4
- 230000008054 signal transmission Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 238000001914 filtration Methods 0.000 abstract description 9
- 238000005286 illumination Methods 0.000 abstract description 7
- 230000003287 optical effect Effects 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012421 spiking Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000283715 Damaliscus lunatus Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000002167 anodic stripping potentiometry Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 206010003664 atrial septal defect Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于时空内容相关性的自适应阈值事件相机去噪方法，方法包括：事件相机输出带有地址、极性及时间戳信息的待判别事件，待判别事件为事件相机输出图像局部像素级亮度变化的异步信号；控制模块计算某一事件与待判别事件的空间距离及时间间隔，确定空间距离和时间间隔的差值的绝对值，根据绝对值设定判别真实事件与噪声的阈值；判断模块根据概率与卷积结果得到通过内容相关性的自适应阈值，结合真实事件概率和自适应阈值，完成待判别事件是真实事件和噪声的判断。本发明利用一个事件流时空相关性与内容相关性及一个事件流的信息自适应调整去噪阈值，在不同光照条件下都能实现良好的去噪效果，滤除大部分噪声的同时保留真实事件。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于时空内容相关性的自适应阈值事件相机去噪方法。
背景技术
神经形态的事件相机因为其高灵敏度，高动态范围，低功耗的优点广泛应用于计算机视觉领域，在许多领域产生了巨大的应用前景；神经形态视觉传感器就是事件相机的一个别名。近年来，以事件相机为代表的iniVation神经形态视觉系统-“事件相机”，与传统的机器视觉系统相比，是受生物启发的智能技术，因此具有前所未有的优势：超低响应延迟，低数据速率，高动态范围和超低功耗。为了获得更高质量的输出，一般会对事件相机进行去噪。大部分现有的去噪算法都基于时空相关性理论，并用一个固定阈值滤除噪声。但在暗光条件下，事件相机会产生大量的噪声，此时传统的去噪算法已经不足以在滤除噪声的同时保留信号，这限制了事件相机在暗光下的实际应用。
现有技术一，无帧动态数字视觉，德尔布鲁克，T(2008)。无帧动态数字视觉。见：安全寿命电子产品国际专题讨论会，日本东京，6年2008月7日至2008年21月26日。东京大学，2008-<>。<>年(Tobi Delbruck.Frame-free dynamic digital vision.In Proceedingsof Intl.Symposium on Secure-Life Electronics,Advanced Electronics for QualityLife and Society,pages 6–7)，传统的图像传感器会产生大量冗余数据，并且时间分辨率受到帧速率的限制。最近在开发完全抛弃帧概念的高性能尖峰事件动态视觉传感器(DVS)方面的突破，然后描述了基于DVS尖峰事件的高效低级过滤和特征提取以及高级对象跟踪的新型数字方法。这些方法筛选事件、标记事件或将其用于对象跟踪。筛选减少了事件数，但提高了信息性事件的比率。标签对事件附加了额外的解释，例如方向或局部光流。跟踪使用事件来跟踪移动对象。处理基于事件进行，并使用事件时间和标识作为计算的基础。用于筛选和标记的常见内存对象是最近过去事件时间的空间映射。处理方法通常将这些过去的事件时间与整数分支逻辑中的当前事件一起使用，以筛选、标记或合成新事件。这些方法在串行数字硬件上直接计算，从而产生了一种新的基于事件和时序的视觉计算方法，虽然有效地将神经计算风格与数字硬件集成在一起。所有代码都是在jAER项目(jaer.wiki.sourceforge.net)中开源的，但是一般会对事件相机进行去噪。大部分现有的去噪算法都基于时空相关性理论，并用一个固定阈值滤除噪声。但在暗光条件下，不能在滤除噪声的同时保留信号。
现有技术二，基于事件的传感器时空相关滤波器设计(Hongjie Liu,ChristianBrandli,Chenghan Li,Shih-Chii Liu,and Tobi Delbruck.Design of aspatiotemporal correlation filter for event-based sensors.In 2015IEEEInternational Symposium on Circuits and Systems(ISCAS),pages 722–725)，公开了在1.10μm CMOS中设计了一个0mW、18ns延迟的混合信号系统，该系统能够滤除基于事件的神经形态传感器中不相关的背景活动。动态视觉传感器输出中的背景活动是由作用于像素中连接到浮动节点的开关上的热噪声和结漏电流引起的。报告的芯片为时空相关事件生成一个通过标志，用于后处理，以减少通信/计算负载并提高信息速率。设计了一种具有128×128阵列和20×20μm2电池的芯片。每个滤波单元将可编程空间子采样与基于电流积分的时间窗口相结合。功率门控用于通过仅激活接收输入事件的单元中的阈值检测和通信电路来最小化功耗。虽然这种相关滤波器芯片针对嵌入式神经形态视觉和听觉系统，其中低平均功耗和低延迟至关重要。但是在暗光条件下，不能在滤除噪声的同时保留信号。
现有技术三，空间时空滤波器，用于降低神经形态视觉传感器的噪声(AlirezaKhodamoradi and Ryan Kastner.O(N)-Space Spatiotemporal Filter for ReducingNoise in Neuromorphic Vision Sensors.pages 1–1)，公开了神经形态视觉传感器是一种受视网膜处理图像方式启发的新兴技术，神经形态视觉传感器仅在像素值变化时报告，而不是像图像传感器那样每帧连续输出该值“普通”主动像素传感器(ASP)；这种从连续采样系统到异步事件驱动系统的转变有效地实现了更快的采样率；它还从根本上改变了传感器接口；特别是，这些传感器是高度对噪声敏感，因为任何额外的事件都会降低带宽，从而有效地降低采样率。介绍了一种具有0(N)记忆复杂度的时空滤波器，用于降低神经形态视觉传感器中的背景活动噪声。虽然与以前的设计相比，设计消耗的内存减少了10倍，错误减少了100倍，过滤器也能够恢复真实事件，并可以传递高达180％的真实事件；但是不能在滤除噪声的同时保留信号，影响了信号的精度。
现有技术四，基于事件密度的动态视觉传感器去噪方法(Yang Feng,Hengyi Lv,Hailong Liu,Yisa Zhang,Yuyao Xiao,and Chengshan Han.Event density baseddenoising method for dynamic vision sensor.Applied Sciences,10(6):2024,2020.)公开了动态视觉传感器(DVS)是一种新型的图像传感器，在汽车和机器人领域具有应用前景。动态视觉传感器在像素原理和输出数据方面与传统图像传感器有很大不同。数据中的后台活动(BA)会影响图像质量，但目前没有统一的指标来评估事件流的图像质量。提出了一种消除背景活动的方法，并提出了一种评估滤波器性能的方法和性能指标：实噪声(NIR)和真实噪声(RIN)。值越低，筛选器越好。这种评估方法不需要固定的图案生成设备，也可以使用自然图像评估滤波器性能；虽然通过对3个滤波器的对比实验，综合性能最优，降低了DVS数据传输所需的带宽，降低了目标提取的计算成本，为DVS在更多领域的应用提供了可能；但是基于时空相关性理论，并用一个固定阈值滤除噪声，影响了信号的精度。
目前现有技术一、现有技术二及现有技术三存在去噪算法基于时空相关性理论，在暗光条件下，不能在滤除噪声的同时保留信号，限制了事件相机在暗光下的实际应用问题，因而，本发明提供一种基于时空内容相关性的自适应阈值事件相机处理方法，在时空相关性的基础上引入了内容相关性，有利于确保在不同光照条件下对事件相机的去噪效果。
发明内容
为了解决上述技术问题，本发明提供了一种基于时空内容相关性的自适应阈值事件相机去噪方法，包括以下步骤：
事件相机输出带有地址、极性及时间戳信息的待判别事件；
控制模块计算某一事件与待判别事件的空间距离及时间间隔，确定判别真实事件的概率；
判断模块根据概率与卷积结果得到通过内容相关性的自适应阈值，结合真实事件概率和自适应阈值，完成待判别事件是真实事件和噪声的判断。
可选的，待判别事件为事件相机输出图像局部像素级亮度变化的异步信号。
可选的，事件相机输出带有地址、极性及时间戳信息的待判别事件的过程，包含以下步骤：
根据事件相机设置阈值，每个像素独立的检测亮度变化，当亮度超过一个阈值，输出带有被激活像素坐标、极性及时间戳的事件；通过两个事件横坐标和纵坐标之差的绝对值判断，确定两个事件具有空间相关性。，通过两个事件时间戳之差的绝对值判断，确定两个事件具有时间相关性。
可选的，被激活像素坐标代表事件发生的位置，时间戳指明事件发生的时间，极性表示了事件的性质，性质表示为+1和-1，+1为变亮事件，-1为变暗事件。
可选的，确定空间距离和时间间隔的绝对值的过程，包含以下步骤：
计算某一事件与待判别事件的空间距离与时间间隔；
以待判别事件为中心，在待判别事件前后连续触发的事件脉冲组成的事件流；
计算得到空间距离和时间间隔的绝对值。
可选的，确定判别真实事件的概率的过程，包含以下步骤：
计算每一个事件的极性，与待判别事件的极性做差；
用一维高斯卷积核与事件流相卷积，得到卷积结果，计算的得到待调整的阈值。
可选的，完成待判别事件是真实事件和噪声的判断的过程，包含以下步骤：
利用预设置的阈值除以待调整的阈值，得到通过内容相关性自适应调整的阈值；
待判别事件通过比较其是真实事件的概率和自适应阈值完成真实事件与噪声的判别。
可选的，当真实事件概率大于自适应阈值，该事件被判别为真实事件，反之为噪声。
可选的，待判别事件是真实事件和噪声的判断的结果可视化处理过程，包含以下步骤：
解析待判别事件中真实事件和噪声的判断结果，并将真实事件和噪声进行区分；
根据真实事件和噪声的关注点的不同，调取不同的可视化显示功能，真实事件的关注点为地址、极性及时间戳信息；噪声的关注点为异步信号传输时的脉冲噪声及光电二极管引起的高斯噪声的光谱数据；
输出真实事件和噪声的对应格式，进行可视化显示。
本发明的首先事件相机输出带有地址、极性及时间戳信息的待判别事件，待判别事件为事件相机输出图像局部像素级亮度变化的异步信号；控制模块计算某一事件与待判别事件的空间距离及时间间隔，确定判别真实事件的概率；判断模块根据概率与卷积结果得到通过内容相关性的自适应阈值，结合真实事件概率和自适应阈值，完成待判别事件是真实事件和噪声的判断；上述方案利用了一个事件流的时空相关性与内容相关性，并利用一个事件流的信息自适应调整去噪阈值，在不同光照条件下都能实现良好的去噪效果，滤除大部分噪声的同时保留真实事件，同时解决了现有技术固定阈值滤除噪声的弊端，在暗光条件下，滤除噪声的同时保留了事件相机输出信息，扩展了事件相机在暗光下的应用范围，在时空相关性的基础上引入内容相关性，有利于确保不同光照条件下对事件相机的去噪效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中基于时空内容相关性的自适应阈值事件相机去噪方法流程图；
图2为本发明实施例6中待判别事件是真实事件和噪声的判断的结果可视化处理过程图；
图3为本发明实施例7中本发明的技术方案与现有技术对比效果图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
实施例1：如图1所示，本发明实施例提供了一种基于时空内容相关性的自适应阈值事件相机去噪方法，包括以下步骤：
S100：事件相机输出带有地址、极性及时间戳信息的待判别事件，待判别事件为事件相机输出图像局部像素级亮度变化的异步信号；
S200：控制模块计算某一事件与待判别事件的空间距离及时间间隔，确定判别真实事件的概率；
S300：判断模块根据概率与卷积结果得到通过内容相关性的自适应阈值，结合真实事件概率和自适应阈值，完成待判别事件是真实事件和噪声的判断；
上述技术方案的工作原理和有益效果为：本实施例首先事件相机输出带有地址、极性及时间戳信息的待判别事件，待判别事件为事件相机输出图像局部像素级亮度变化的异步信号；控制模块计算某一事件与待判别事件的空间距离及时间间隔，确定判别真实事件的概率；判断模块根据概率与卷积结果得到通过内容相关性的自适应阈值，结合真实事件概率和自适应阈值，完成待判别事件是真实事件和噪声的判断；上述方案利用了一个事件流的时空相关性与内容相关性，并利用一个事件流的信息自适应调整去噪阈值，在不同光照条件下都能实现良好的去噪效果，滤除大部分噪声的同时保留真实事件，同时解决了现有技术固定阈值滤除噪声的弊端，在暗光条件下，滤除噪声的同时保留了事件相机输出信息，扩展了事件相机在暗光下的应用范围，在时空相关性的基础上引入内容相关性，有利于确保不同光照条件下对事件相机的去噪效果。本发明实施例实现了概率与阈值对比，在实际应用中需要预先人工设定一个阈值，根据两个事件的空间距离和时间距离进行运算得到两个事件的空间相关性和时间相关性，进行卷积(高斯函数)，对事件的概率求和，得到真实事件的概率，再求得每一个事件的极性，与待判别事件的极性做差，对极性进行卷积，获得待调整的阈值，用设定的阈值除以待调整的阈值，得到自适应阈值。
实施例2：在实施例1的基础上，本发明实施例提供的事件相机输出带有地址、极性及时间戳信息的待判别事件，包含：
事件相机中，每个像素独立的检测亮度变化，当亮度超过一个阈值，输出带有被激活像素坐标、极性及时间戳的事件，被激活像素坐标代表事件发生的位置，时间戳指明事件发生的时间，极性表示了事件的性质，性质表示为+1和-1，+1为变亮事件，-1为变暗事件；
一个事件用公式(1)表示：
ei＝(xi,yi,ti,pi) (1)
其中，xixi被激活像素的横坐标，yiyi表示被激活像素的纵坐标，titi表示被激活像素的时间戳，pipi表示亮度变化的正负，i∈0，1，2，3，…，N；i∈0，1，2，3，…，N；
若两个事件e1＝(x1,y1,t1，p1)e1＝(x1,y1,t1，p1)和e2＝(x2,y2,t2，p2)e2＝(x2,y2,t2，p2)横坐标和纵坐标之差的绝对值小于dN(dN≥1≥1，为参数)，时间戳之差的绝对值小于dt(dt＞0＞0，为参数)，则认为这两个事件具有时空相关性，具体表达式为：
上述技术方案的工作原理和有益效果为：本实施例根据事件相机设置阈值，每个像素独立的检测亮度变化，当亮度超过一个阈值，输出带有被激活像素坐标、极性及时间戳的事件，被激活像素坐标代表事件发生的位置，时间戳指明事件发生的时间，极性表示了事件的性质，性质表示为+1和-1，+1为变亮事件，-1为变暗事件；通过两个事件横坐标和纵坐标之差的绝对值判断，确定两个事件具有空间相关性，通过两个事件时间戳之差的绝对值判断，确定两个事件具有时间相关性；上述方案在时空相关性的基础上，引入了基于运动物体亮度变化的内容相关性，由同一运动物体激活的事件在附近区域引起类似的亮度变化模式，而噪声是随机触发的，具有不同的亮度变化模式；真实事件相比噪声具有更高的内容相关性；从算法的角度出发，为解决暗光条件下传统去噪算法性能下降的问题，提出了基于时空内容相关性的自适应阈值去噪算法。
实施例3：在实施例1的基础上，本发明实施例提供的确定空间距离和时间间隔的绝对值的过程，包含以下步骤：
设待判别事件为e0＝(x0,y0,t0,p0)e0＝(x0,y0,t0,p0)，首先计算第i个事件与待判别事件的空间距离ΔdiΔdi与时间间隔ΔtiΔti，如公式(3)和公式(4)所示；
Δti＝|ti-t0| (4)
将事件相机的输出用脉冲函数的形式表示，如公式(5)所示，其中δ(x,y,t,p)δ(x,y,t,p)为脉冲函数，xx表示脉冲函数中被激活像素的横坐标，yy表示脉冲函数中被激活像素的纵坐标，tt表示脉冲函数中被激活像素的时间戳，pp表示脉冲函数中亮度变化的正负；
以待判别事件为中心，在待判别事件前后连续触发的N个事件脉冲组成的事件流ES(x,y,t,p)ES(x,y,t,p)可以由公式(6)表示；类似的，包含空间距离和时间距离的事件流ES(d,t)ES(d,t)可以由公式(7)表示；
用公式(8)的二维高斯卷积核G(d,t)G(d,t)与公式(7)中的事件流ES(d,t)ES(d,t)相卷积，卷积结果即为待判别事件e0e0是真实事件的概率如公式(9)所示；公式(8)中，σdσd表示空间距离的绝对值，σtσt表示时间间隔的绝对值，作为去噪算法的参数；
其中，i∈0，1，2，3，…，N；i∈0，1，2，3，…，N；
上述技术方案的工作原理和有益效果为：本实施例首先计算某一事件与待判别事件的空间距离与时间间隔，然后以待判别事件为中心，在待判别事件前后连续触发的事件脉冲组成的事件流，最后计算得到空间距离和时间间隔的绝对值；上述方案对于每个待判别事件是噪声还是真实信号的事件，利用一个时间序列而不是单一事件来对其进行时空内容相关性的计算，以待判别事件为中心，计算出空间距离和时间间隔的绝对值，一方面为阈值的设定提供了可靠的参数，另一方面提高了去除噪声的效率。
实施例4：在实施例1的基础上，本发明实施例提供的确定判别真实事件的概率的过程，包含以下步骤：
设定一个阈值THTH并用来鉴别真实事件与噪声；
首先计算待判别事件e0e0与第i个事件之间的极性差异ΔpiΔpi，如公式(10)所示；
Δpi＝|pi-p0| (10)
其中pipi表示第i个事件的极性，p0p0表示待判别事件e0e0的极性；
与包含空间距离和时间距离的事件流类似，包含极性相关性的事件流ES(p)ES(p)通过公式(11)得到，其中δδ为脉冲函数，N表示事件的总和；
然后用一个如式(12)所示的一维高斯卷积核G(p)G(p)与式(11)中的事件流ES(p)ES(p)相卷积，卷积结果用W(p)W(p)表示，如式(13)所示，公式(12)中，σpσp是极性差异的绝对值，为去噪算法的参数；
上述技术方案的工作原理和有益效果为：本实施例首先计算每一个事件的极性，与待判别事件的极性做差；用一维高斯卷积核与事件流相卷积，得到卷积结果，计算的得到待调整的阈值；；上述方案根据绝对值设定判别真实事件与噪声的阈值，让阈值的设定更加符合真实事件与噪声的判别情况，也实现了内容相关性的利用率；同时提高了自适应阈值的调整精度，进一步提高了真实事件与噪声的判别准确率。
实施例5：在实施例1的基础上，本发明实施例提供的完成待判别事件是真实事件和噪声的判断的过程，包含以下步骤：
利用阈值THTH除以公式(13)中卷积的结果，即可得到通过内容相关性自适应调整的阈值TH'TH'，如公式(14)所示。
TH′＝TH/W(p) (14)
由此，待判别事件e0e0通过比较其是真实事件的概率和自适应阈值TH'TH'完成真实事件与噪声的判别，即当真实事件概率大于自适应阈值，该事件被判别为真实事件，反之为噪声，如公式(15)所示；
上述技术方案的工作原理和有益效果为：本实施例首先利用预设置的阈值除以待调整的阈值，得到通过内容相关性自适应调整的阈值；然后待判别事件通过比较其是真实事件的概率和自适应阈值完成真实事件与噪声的判别，即当真实事件概率大于自适应阈值，该事件被判别为真实事件，反之为噪声；上述方案利用了一个事件流的时空相关性与内容相关性，并利用一个事件流的信息自适应调整去噪阈值，在不同光照条件下都能实现良好的去噪效果，滤除大部分噪声的同时保留真实事件。
实施例6：在实施例1的基础上，本发明实施例提供的根据事件相机的布设位置建立光学生物传感器阵列，光学生物传感器阵列中光学生物传感器的误差纠正函数L(k)L(k)的表达式为：
其中：kk表示异步信号的离散频率点，M表示有效异步信号的离散频率点数量，Y表示光导发光体的光通量，E表示光传递阻抗，D(k)D(k)表示恢复函数实际值在异步信号的离散频率点上的幅度值；
光学生物传感器的非线性误差传递函数的表达式为：
其中，表示定征参数，/>表示恢复函数预期取值在异步信号离散频率点上的幅度值；
上述技术方案的工作原理和有益效果为：本实施例采用光学生物传感器阵列中光学生物传感器的误差纠正函数，同时采用了光学生物传感器的非线性误差传递函数；通过误差纠正函数实现了光学生物传感器的误差自动纠正，提升了测定待判别事件中每个像素的亮度变化范围的精度；通过非线性误差传递函数保证了光学生物传感器的高敏感性，也提升了非线性误差的减小。
实施例7：如图2所示，在实施例1的基础上，本发明实施例提供的待判别事件是真实事件和噪声的判断的结果可视化处理过程，包含以下步骤：
S301：解析待判别事件中真实事件和噪声的判断结果，并将真实事件和噪声进行区分；
S302：根据真实事件和噪声的关注点的不同，调取不同的可视化显示功能，真实事件的关注点为地址、极性及时间戳信息；噪声的关注点为异步信号传输时的脉冲噪声及光电二极管引起的高斯噪声等的光谱数据；
S303：输出真实事件和噪声的对应格式，进行可视化显示；
上述技术方案的工作原理和有益效果为：本实施例首先解析待判别事件中真实事件和噪声的判断结果，并将真实事件和噪声进行区分；其次根据真实事件和噪声的关注点的不同，调取不同的可视化显示功能，真实事件的关注点为地址、极性及时间戳信息；噪声的关注点为异步信号传输时的脉冲噪声及光电二极管引起的高斯噪声等的光谱数据；最后输出真实事件和噪声的对应格式，进行可视化显示判断模块；上述方案通过真实事件和噪声的不同关注点，实现了不同格式的可视化显示，提高了用户对识别结果的直观性获取，同时提高了用户体验感，不同的而可视化显示，能够更加的直接区分出真实事件，有助于提高待判别事件是真实事件和噪声的判断的精度。
实施例8：如图3所示，在实施例1-实施例7的基础上，本发明实施例提供的基于时空内容相关性的自适应阈值事件相机去噪方法，与对比文件1、对比文件2、对比文件3及对比文件4进行了对比，通过对比发现本发明利用了一个事件流的时空相关性与内容相关性，并利用一个事件流的信息自适应调整去噪阈值，在不同光照条件下都能实现良好的去噪效果，滤除大部分噪声的同时保留真实事件；其中图3中的(a)表示原始图像，图3中的(b)表示利用本发明的技术方案对原始图像的处理结果，图3中的(c)表示利用对比文件1的技术方案对原始图像的处理结果，图3中的(d)表示利用对比文件2的技术方案对原始图像的处理结果，图3中的(e)表示利用对比文件3的技术方案对原始图像的处理结果，图3中的(f)表示利用对比文件4的技术方案对原始图像的处理结果；
对比文件1Tobi Delbruck.Frame-free dynamic digital vision.InProceedings of Intl.Symposium on Secure-Life Electronics,Advanced Electronicsfor Quality Life and Society,pages 6–7.
对比文件2Hongjie Liu,Christian Brandli,Chenghan Li,Shih-Chii Liu,andTobi Delbruck.Design of a spatiotemporal correlation filter for event-basedsensors.In 2015IEEE International Symposium on Circuits and Systems(ISCAS),pages722–725.
对比文件3Alireza Khodamoradi and Ryan Kastner.O(N)-SpaceSpatiotemporal Filter for Reducing Noise in Neuromorphic VisionSensors.pages1–1.
对比文件4Yang Feng,Hengyi Lv,Hailong Liu,Yisa Zhang,Yuyao Xiao,andChengshan Han.Event density based denoising method for dynamic visionsensor.Applied Sciences,10(6):2024,2020.
上述技术方案的工作原理和有益效果为：本实施例通过对同一原始图像分别利用本发明的技术方案、对比文件1、对比文件2、对比文件3及对比文件4分别进行了去噪处理，通过比较各个附图可知，利用本发明的技术方案处理的去噪效果最佳，实现了真实事件与噪声的准确识别，同时保留了原始异步信号。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，包括以下步骤：
事件相机输出带有地址、极性及时间戳信息的待判别事件；
控制模块计算某一事件与待判别事件的空间距离及时间间隔，确定判别真实事件的概率；
判断模块根据概率与卷积结果得到通过内容相关性的自适应阈值，结合真实事件概率和自适应阈值，完成待判别事件是真实事件和噪声的判断。
2.如权利要求1所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，待判别事件为事件相机输出图像局部像素级亮度变化的异步信号。
3.如权利要求1所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，事件相机输出带有地址、极性及时间戳信息的待判别事件的过程，包含以下步骤：
根据事件相机设置阈值，每个像素独立的检测亮度变化，当亮度超过一个阈值，输出带有被激活像素坐标、极性及时间戳的事件。
4.如权利要求3所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，通过两个事件横坐标和纵坐标之差的绝对值判断，确定两个事件具有空间相关性，通过两个事件时间戳之差的绝对值判断，确定两个事件具有时间相关性。
5.如权利要求3所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，被激活像素坐标代表事件发生的位置，时间戳指明事件发生的时间，极性表示了事件的性质，性质表示为+1和-1，+1为变亮事件，-1为变暗事件。
6.如权利要求1所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，确定空间距离和时间间隔的差值的过程，包含以下步骤：
计算某一事件与待判别事件的空间距离与时间间隔；
以待判别事件为中心，在待判别事件前后连续触发的事件脉冲组成的事件流；
计算得到空间距离和时间间隔的差值。
7.如权利要求1所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，确定判别真实事件的概率的过程，包含以下步骤：
计算每一个事件的极性，与待判别事件的极性做差；
用一维高斯卷积核与事件流相卷积，得到卷积结果，计算的得到待调整的阈值。
8.如权利要求1所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，完成待判别事件是真实事件和噪声的判断的过程，包含以下步骤：
利用预设置的阈值除以待调整的阈值，得到通过内容相关性自适应调整的阈值；
待判别事件通过比较其是真实事件的概率和自适应阈值完成真实事件与噪声的判别。
9.如权利要求8所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，当真实事件概率大于自适应阈值，该事件被判别为真实事件，反之为噪声。
10.如权利要求1所述的基于时空内容相关性的自适应阈值事件相机去噪方法，其特征在于，待判别事件是真实事件和噪声的判断的结果可视化处理过程，包含以下步骤：
解析待判别事件中真实事件和噪声的判断结果，并将真实事件和噪声进行区分；
根据真实事件和噪声的关注点的不同，调取不同的可视化显示功能，真实事件的关注点为地址、极性及时间戳信息；噪声的关注点为异步信号传输时的脉冲噪声及光电二极管引起的高斯噪声的光谱数据；
输出真实事件和噪声的对应格式，进行可视化显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311119169.4A CN117115451B (zh) | 2023-08-31 | 2023-08-31 | 一种基于时空内容相关性的自适应阈值事件相机去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311119169.4A CN117115451B (zh) | 2023-08-31 | 2023-08-31 | 一种基于时空内容相关性的自适应阈值事件相机去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115451A true CN117115451A (zh) | 2023-11-24 |
| CN117115451B CN117115451B (zh) | 2024-03-26 |
Family
ID=88801846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311119169.4A Active CN117115451B (zh) | 2023-08-31 | 2023-08-31 | 一种基于时空内容相关性的自适应阈值事件相机去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115451B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117479031A (zh) * | 2023-12-22 | 2024-01-30 | 珠海燧景科技有限公司 | 一种事件传感器的像素排列结构及去噪方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113810611A (zh) * | 2021-09-17 | 2021-12-17 | 北京航空航天大学 | 一种事件相机的数据模拟方法和装置 |
| CN114169362A (zh) * | 2021-11-15 | 2022-03-11 | 上海大学 | 一种基于时空相关滤波的事件流数据去噪方法 |
| CN115375581A (zh) * | 2022-09-05 | 2022-11-22 | 东南大学 | 基于事件时空同步的动态视觉事件流降噪效果评价方法 |
| CN115442544A (zh) * | 2022-09-05 | 2022-12-06 | 东南大学 | 基于热像素和增强时空相关性的动态视觉事件流降噪方法 |
-
2023
- 2023-08-31 CN CN202311119169.4A patent/CN117115451B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113810611A (zh) * | 2021-09-17 | 2021-12-17 | 北京航空航天大学 | 一种事件相机的数据模拟方法和装置 |
| CN114169362A (zh) * | 2021-11-15 | 2022-03-11 | 上海大学 | 一种基于时空相关滤波的事件流数据去噪方法 |
| CN115375581A (zh) * | 2022-09-05 | 2022-11-22 | 东南大学 | 基于事件时空同步的动态视觉事件流降噪效果评价方法 |
| CN115442544A (zh) * | 2022-09-05 | 2022-12-06 | 东南大学 | 基于热像素和增强时空相关性的动态视觉事件流降噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| YANG FENG等: "Event Density Based Denoising Method for Dynamic Vision Sensor", 《MDPI》, 16 March 2020 (2020-03-16), pages 1 - 18 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117479031A (zh) * | 2023-12-22 | 2024-01-30 | 珠海燧景科技有限公司 | 一种事件传感器的像素排列结构及去噪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115451B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Baldwin et al. | Event probability mask (epm) and event denoising convolutional neural network (edncnn) for neuromorphic cameras | |
| US8179466B2 (en) | Capture of video with motion-speed determination and variable capture rate | |
| CN106851049B (zh) | 一种基于视频分析的场景变更检测方法及装置 | |
| US6434254B1 (en) | Method and apparatus for image-based object detection and tracking | |
| US11631246B2 (en) | Method for outputting a signal from an event-based sensor, and event-based sensor using such method | |
| CN105184818B (zh) | 一种视频监控异常行为检测方法及其检测系统 | |
| CN117115451B (zh) | 一种基于时空内容相关性的自适应阈值事件相机去噪方法 | |
| CN102113017A (zh) | 使用边缘检测产生深度数据的系统及方法 | |
| CN101834986A (zh) | 成像装置、运动体检测方法、运动体检测电路和程序 | |
| CN113408671B (zh) | 一种对象识别方法及装置、芯片及电子设备 | |
| CN108769550B (zh) | 一种基于dsp的图像显著分析系统及方法 | |
| CN110248101B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| EP1367537A2 (en) | Calculating noise estimates of a digital image using gradient analysis | |
| CN113923319B (zh) | 降噪装置、方法、芯片、事件成像装置及电子设备 | |
| US20240064422A1 (en) | Noise filtering for dynamic vision sensor | |
| CN114285962B (zh) | 噪声处理装置、方法、芯片、事件成像装置及电子设备 | |
| CN115442544A (zh) | 基于热像素和增强时空相关性的动态视觉事件流降噪方法 | |
| CN112084826A (zh) | 图像处理方法、图像处理设备以及监控系统 | |
| WO2023025288A1 (zh) | 数据处理方法及装置、电子设备、计算机可读介质 | |
| CN115953719A (zh) | 一种多目标识别的计算机图像处理系统 | |
| CN109918994B (zh) | 一种基于商用Wi-Fi的暴力行为检测方法 | |
| CN112884805A (zh) | 一种跨尺度自适应映射的光场成像方法 | |
| CN110399823B (zh) | 主体跟踪方法和装置、电子设备、计算机可读存储介质 | |
| Nguyen et al. | Joint image deblurring and binarization for license plate images using deep generative adversarial networks | |
| CN111027560B (zh) | 文本检测方法以及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |