CN114285962B - 噪声处理装置、方法、芯片、事件成像装置及电子设备 - Google Patents

噪声处理装置、方法、芯片、事件成像装置及电子设备 Download PDF

Info

Publication number
CN114285962B
CN114285962B CN202111522819.0A CN202111522819A CN114285962B CN 114285962 B CN114285962 B CN 114285962B CN 202111522819 A CN202111522819 A CN 202111522819A CN 114285962 B CN114285962 B CN 114285962B
Authority
CN
China
Prior art keywords
event
events
noise
new
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111522819.0A
Other languages
English (en)
Other versions
CN114285962A (zh
Inventor
柯凌云
任宇迪
乔宁
柯政
张�林
范健均
龚熙文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shizhi Technology Co ltd
Chengdu Shizhi Technology Co ltd
Original Assignee
Shenzhen Shizhi Technology Co ltd
Chengdu Shizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shizhi Technology Co ltd, Chengdu Shizhi Technology Co ltd filed Critical Shenzhen Shizhi Technology Co ltd
Priority to CN202111522819.0A priority Critical patent/CN114285962B/zh
Priority to US18/260,206 priority patent/US20240064422A1/en
Priority to KR1020237001162A priority patent/KR20230078991A/ko
Priority to PCT/CN2021/141813 priority patent/WO2023092798A1/zh
Publication of CN114285962A publication Critical patent/CN114285962A/zh
Application granted granted Critical
Publication of CN114285962B publication Critical patent/CN114285962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种噪声处理装置、方法、芯片、事件成像装置及电子设备。为解决事件成像过程中的噪声问题,本发明噪声过滤方案包括实时接收动态传感器输出的新事件,对接收的新事件进行预处理,获取事件数据信息,所述事件数据信息包括坐标信息;基于坐标信息对新事件进行噪声处理。本发明的噪声过滤技术基于硬件实现,具有并行性、实时性,处理速度快、功耗低等特点,在不影响现有事件成像的优良性能的基础上,噪声过滤手段简洁有效、在硬件上可实施性高、资源占用少且功耗低。

Description

噪声处理装置、方法、芯片、事件成像装置及电子设备
技术领域
本发明涉及一种噪声处理装置、方法、芯片、事件成像装置及电子设备,具体涉及一种基于坐标的、实时有限聚类识别的噪声处理装置、方法、芯片、事件成像装置及电子设备。
背景技术
事件成像是当前热门研究方向,其不需要采集视线内的所有元素,仅采集场景内发生变化的事件,每个像素独立且异步运行,具有实时、低功耗的特点,典型的事件成像装置有动态视觉传感器(Dynamic Vision Sensor,DVS)以及核医学成像。
DVS是一种仿生视觉传感器,采用事件驱动的方式来采集环境中的动态变化,具有极高的时间分辨率和动态范围。与传统的帧相机不同,DVS相机不是以固定的速率捕捉图像,而是异步地测量每像素的亮度变化,并输出一系列事件,编码时间、位置和亮度变化的标志,因此能够快速捕捉环境中的运动目标。
噪声过滤是事件成像领域一个十分重要且基础的课题。正常情况下,只有当检测画面中的物体发生位移时,DVS相机才会产生事件,然而,在具体的应用中,DVS相机通常会受到设计工艺、环境等原因产生的噪声干扰,比如hot pixel、白噪声以及黑暗条件下特殊的黑噪等问题。常见的一些噪声类型有:图1a中均匀分布的噪声称为白噪声,图1b中若干经常出现的特殊点称为hot pixel,图1c中在无光条件下出现的噪声称之为黑噪。
这些非事件噪声对于DVS设备的图像识别,信号获取与甄别分析产生较大的困扰。例如,在静息状态时,DVS设备仍然会产生一些间隔很远、没有关联的离散噪声事件,在激活状态时,噪声的影响仍然存在,严重影响了输出图像质量,这些噪声事件消耗了不必要的网络带宽和存储资源,且增加了脉冲神经网络处理这些噪声事件所需的能耗,严重影响芯片整体功耗和商业应用。因此,对DVS输出事件进行噪声处理具有重要的意义。
现有技术中存在一些针对事件成像的噪声过滤技术,例如,通过存储或积累一定时间窗口内的事件以生成帧图像(或称事件帧),由此可以利用常规的噪声过滤算法进行去噪,但事件成像(如DVS)最大的优势就是不以帧形式输出,从而具有实时、低功耗、高分辨率的特点,而将事件生成事件帧的形式后处理,增加了延时和功耗,使DVS的优点不能得到有效发挥,此外该方法忽略了事件的空间关联性,噪声过滤效果并不佳。
一些方法使用K-SVD字典对图像去噪,但该方法无法满足对DVS输出进行实时噪声处理的需求,以及一些优化的算法中,进一步对事件帧图像进行图像分组,之后对每个区域进行噪声处理,该方法计算过程复杂,需要较高的运算能力,且资源占用大。一些方法采用复杂的数学运算求取距离关系,如平方、平方根运算,然而复杂的运算在硬件中实现难度大,实际应用价值不高。
此外,一些方法基于事件邻域进行噪声处理,比较邻域内事件发生时间与邻域内下一事件发生时间的时间差,并设置时间窗口阈值,若时间差大于时间窗口阈值,则认为该事件为噪声事件并过滤。然而,限定邻域会导致该邻域内事件数量不确定,尤其在目标运动时,事件成像具有很强的连续性,强行限制邻域大小会导致有效事件被过滤,从而造成误判。
一些方法将空间上不孤立、时间上连续的信号进行累加,累加到阈值时输出脉冲信号。然而,累加会产生一定的延迟,降低事件分辨率。同时,一些方法基于时间窗或邻域密度进行噪声处理,通过固定时间窗口,获取一定时间段内的事件,需要统计预定邻域内和预定时间窗内的事件,该方法会造成信息冗余,资源开销大,例如CN107220942A。同时采用邻域密度的方法,确定事件的邻域内和时间窗内的事件密度,在资源有限的情况下难以实施,且延时高。
由此可见,现有技术中针对事件成像的噪声过滤技术运算复杂,且多数还停留在软件或算法层面,复杂的数学运算在硬件中实现困难,实际应用价值不高,且对硬件资源的占用多导致额外的功耗。而计算资源、存储资源和功耗对于事件成像的相机来说是极其宝贵的,DVS的核心竞争力是其低功耗、数据传输带宽小,而大量的硬件存储资源被占用,对硬件(如芯片)设计的功耗、实时性方面,都将大大折扣,额外的功耗和存储资源,对于DVS而言是难以接受的,同时现有的硬件实现方法虽然速度快、实时性高,但空间信息利用不全,导致效果欠佳。
该领域普遍希望针对事件成像的噪声处理技术不影响现有事件成像的优良性能,能够简洁有效,实施性高,在硬件上容易实现,资源占用少,通过消除噪声的事件有效降低系统低功耗。
发明内容
为了解决或缓解上述部分或全部问题,本发明提出一种基于坐标分析的实时噪声处理技术,其具体是通过如下方式实现的:
一种噪声处理装置,该噪声处理装置接收事件成像装置输出的新事件,该新事件的数据信息至少包括新事件的坐标信息,所述噪声处理装置包括:第一存储空间:用于先入先出地存储若干历史事件的数据信息,所述历史事件的数据信息至少包括历史事件的坐标信息;计算模块:分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离;第一判断模块:判断所述坐标距离是否在第一预设范围内,并基于判断结果得到新事件与每个历史事件之间的关系值;求和模块:将第一判断模块得到的新事件与每个历史事件之间的关系值相加,得到所述新事件与所述若干历史事件之间关系值总和;第二判断模块:根据求和模块输出的所述关系值总和与第二预设值之间的大小关系,判定所述新事件为有效事件或者噪声事件。
在某类实施例中,在判断所述新事件是有效事件或者噪声事件之后,从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息。
在某类实施例中,从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息之后,将所述新事件的数据信息存储至所述第一存储空间,其中所述新事件的数据信息至少包括新事件的坐标信息。
在某类实施例中,若所述新事件是有效事件,从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息,并将该新事件的数据信息存储至所述第一存储空间。
在某类实施例中,所述第一存储空间是移位寄存器阵列。
在某类实施例中,所述噪声处理装置还包括输入级缓冲器,用于缓存接收到的新事件;当经所述第二判断模块判定新事件为噪声事件时,则从输入级缓冲器中丢弃或滤除该新事件。
在某类实施例中,所述计算模块,利用加法或/和减法运算,并行地计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离。
在某类实施例中,所述新事件和若干历史事件的数据信息还包括时间信息;
所述噪声处理装置还包括带通滤波模块,所述带通滤波模块基于新事件发生的时间间隔进行带通滤波。
在某类实施例中,所述新事件的时间信息和若干历史事件的时间信息均是事件的时间戳;将新事件的时间戳与所述第一存储空间存储的若干历史事件中最新事件的时间戳相比对,当二者的时间戳间隔大于第一阈值且小于第二阈值时,判定该新事件为有效事件。
在某类实施例中,所述第二预设值为4或5或6或7或8。
一种噪声处理方法,该噪声处理方法包括如下步骤:步骤S1:接收事件成像装置输出的新事件;步骤S2:获取新事件的数据信息,所述新事件的数据信息至少包括新事件的坐标信息;步骤S3:基于若干历史事件的坐标信息和所述新事件的坐标信息,判断所述新事件是有效事件或者噪声事件;其中,历史事件的数据信息先入先出地存储于第一存储空间,所述历史事件的数据信息至少包括历史事件的坐标信息;其中,基于若干历史事件的坐标信息和所述新事件的坐标信息,判断所述新事件是有效事件或者噪声事件,具体包括如下步骤:步骤S301:分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离;步骤S302:判断所述坐标距离是否在第一预设范围内,并基于判断结果得到新事件与每个历史事件之间的关系值;步骤S303:将第一判断模块得到的新事件与每个历史事件之间的关系值相加,得到所述新事件与所述若干历史事件之间关系值总和;根据所述关系值总和与第二预设值之间的大小关系,判定所述新事件为有效事件或者噪声事件。
在某类实施例中,所述第一存储空间是移位寄存器阵列,通过该移位寄存器阵列先入先出地移出历史事件中至少一个事件的数据信息。
在某类实施例中,当从移位寄存器阵列中移出历史事件中至少一个事件的数据信息后,将新事件的数据信息移入该移位寄存器阵列。
在某类实施例中,利用加法或/和减法运算,并行地计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离。
在某类实施例中,所述新事件的数据信息和历史事件的数据信息均包括时间戳;将新事件的时间戳与所述第一存储空间存储的若干历史事件中最新事件的时间戳相比对,当二者的时间戳间隔大于第一阈值且小于第二阈值时,判定该新事件为有效事件。
在某类实施例中,所述第一阈值在2~50微秒之间,所述第二阈值在170~400微秒之间。
一种噪声处理装置,该噪声处理装置接收事件成像装置输出的若干事件,所述若干事件至少包括事件的坐标信息,所述若干事件中包括第一事件,所述噪声处理装置包括:第一存储空间:依据生成或获取所述若干事件的先后顺序,先入先出地存储所述若干事件的坐标信息;第一噪声处理模块:根据所述第一事件的坐标信息与所述第一存储空间中的若干历史事件或/和若干后来事件中每一个历史事件或/和每一个后来事件的坐标信息,计算所述第一事件与所述若干历史事件或/和所述若干后来事件之间的坐标距离;并根据所述第一事件与所述若干历史事件或/和所述若干后来事件之间坐标距离的大小,判断所述第一事件是噪声事件或有效事件。
在某类实施例中,所述噪声处理装置还包括:第一判断模块:判断所述坐标距离是否在第一预设范围内,并基于判断结果得到第一事件与每个历史事件或/和每个后来事件之间的关系值;求和模块:将第一判断模块得到的第一事件与每个历史事件或/和每个后来事件之间的关系值相加,得到所述第一事件与若干历史事件或/和若干后来事件之间的关系值总和;第二判断模块:根据求和模块输出的所述关系值总和与第二预设值之间的大小关系,判定所述第一事件为有效事件或者噪声事件。其中所述第二预设值是用于区分噪声事件和有效事件的预设值。
一种芯片,该芯片中包括如前任意一项所述的噪声处理装置,或者,该芯片应用如前任意一项所述的噪声处理方法。
在某类实施例中,所述芯片为类脑芯片。
在某类实施例中,所述噪声处理装置被实施在专用接口电路中,或被实施为FPGA电路,或通过软硬件相结合方式实施,或所述噪声处理方法通过软件在上位机中实现。
一种事件成像装置,该事件成像装置中包括如前任意一项所述的噪声处理装置,或者,该事件成像装置应用如前任意一项所述的噪声处理方法。
一种电子设备,该电子设备包括事件成像装置,以及如前任意一项所述的噪声处理装置,其中所述的噪声处理装置被配置为用于对所述事件成像装置输出的新事件进行噪声过滤。
本发明部分或全部实施例具有如下有益效果:
(1)本发明的噪声过滤技术基于硬件实现,支持并行性、实时性处理,处理速度快、功耗低;
(2)本发明在硬件实现过程中,采用简单的加/减法运算,运算非常简洁,资源占用少,且在硬件中极易实现,也可应用于软件;
(3)本发明不以帧的形式处理数据,不需要生成帧图像或事件帧,降低事件延迟;
(4)本发明使用有限的缓存,缓存大小可根据需求设置,其存储的事件数量具有确定性,且由于缓存中事件相邻,在较少的资源开销情况下完成去噪,在硬件中也更易实现;并且相比于现有滤波技术,对硬件资源的消耗极低;
(5)本发明不需要统计预定邻域和时间窗内的事件,保证了噪声过滤速度小于事件产生速度,从而保证实时有效的处理;
(6)本发明的基于硬件的实时噪声过滤技术,提升了空间信息利用率,处理效果好。
更多的有益效果将在优选实施例中作进一步的介绍。
以上披露的技术方案/特征,旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括,因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分,该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容,以相互合理组合的方式披露更多的技术方案。
本发明任意位置所披露的所有技术特征所组合出的技术方案,用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
图1a是现有技术中DVS输出中白噪声像素分布示意图;
图1b是现有技术中DVS输出中hot-pixel分布示意图;
图1c是现有技术中DVS输出中黑噪分布示意图;
图2是本发明实施例提供的基于坐标分析的实时噪声过滤方法的场景示意图;
图3是本发明实施例提供的基于坐标分析的实时噪声过滤方法的简化图;
图4是本发明某优选实施例中基于坐标分析的实时噪声过滤装置示意图;
图5是本发明某优选实施例中基于坐标分析的对新事件进行噪声处理的流程图;
图6a是无有效事件时噪声发生的时间间隔分布图谱;
图6b是存在有效事件时所有事件发生的时间间隔分布图谱;
图7a是滤波前噪声关系值的和;
图7b是使用本发明某优选实施例滤波后有效事件与噪声关系值的和;
图8a是滤波前DVS静息状态时的噪声图谱;
图8b 是使用本发明某优选实施例滤波后DVS静息状态的噪声图谱;
图9a 是滤波前DVS激活状态时的噪声图谱;
图9b是使用本发明某优选实施例滤波后DVS激活状态时的噪声图谱;
图10是本发明某优选实施例中硬件的使用资源统计图;
图11a是另一类实施例中滤波前DVS激活状态时的噪声图谱;
图11b是另一类实施例中滤波后DVS激活状态的噪声图谱;
图12是某一类实施例中移位寄存器阵列的数据处理方式。
具体实施方式
由于不能穷尽描述各种替代方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节,一般均属于本领域通过常规手段即可实现的技术目标或技术特征,限于篇幅,本发明不对其详细介绍。
除非是除法的含义,本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记,并不暗示时间或空间上的绝对顺序,也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
本发明会对各种用于组合成各种不同具体实施例的要点进行描述,这些要点将被组合至各种方法、产品中。在本发明中,即便仅在介绍方法/产品方案时所描述的要点,意味着对应的产品/方法方案也明确地包括该技术特征。
本发明中任意位置处描述存在或包括某步骤、模块、特征时,并不暗示这种存在是排它性地唯一存在,本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例;基于本发明中具体实施例描述的要点,本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段,获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。
术语解释:
事件成像:感受视野内的场景变化或环境中光线变化信息(光强或亮度变化信息等),输出像素事件,该像素事件为脉冲或脉冲事件。常见事件成像装置包括但不限于DVS。
有效事件:由目标对象所触发生成的像素事件,这通常是感兴趣的待分析事件,比如肢体轮廓、物体运动等。
噪声事件:由各种类型噪声所触发生成的像素事件。
本发明实施例提供一种噪声过滤方法、装置、芯片及电子设备。其中,该芯片/装置/方法可以集成/应用在各种电子设备中,该电子设备可以为各种终端设备(如手机、智能家居设备、机器人、个人数字助理、汽车或其某个部件、摄像头等)。
参考图2,其是本发明噪声过滤方法的场景示意图。事件成像装置输出像素事件,事件成像装置包括但不限于DVS、PET(正电子发射计算机断层成像)读出装置,下文以DVS为例。然而在现实场景中,在光强不变的情况下,即DVS处于静息状态时,仍然会有噪声产生的噪声事件,以及在光强变化的情况下,即DVS输出有效事件时,在有效像素周围较远区域中分布有噪点,噪声的存在从视觉效果上影响了DVS成像质量,在处理器内部会消耗不必要的功耗。因此,本发明基于噪声处理装置(可以被实施为FPGA、ASIC或其它任意合理方式,比如被实施为DVS和脉冲神经网络处理器之间的接口电路、软硬件结合方式等),筛选出DVS输出中的有效事件,以获得高质量信号,以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
参考图3,其是本发明某实施例提供的基于坐标分析的噪声过滤方法的简化图。针对事件成像装置输出的事件中的噪声,包括如下步骤:
步骤S1:接收事件成像装置输出的新事件。该新事件(也称像素事件)可能是噪声事件,也可能是有效事件,或二者兼有。
步骤S2:获取新事件的数据信息,所述新事件的数据信息至少包括新事件的坐标信息。
每一个新事件可以具有对应的事件数据信息,数据信息可以包括出现事件的坐标信息,举例地坐标信息可以包括像素的横坐标x、纵坐标y,或具有其它维度数量的坐标。该坐标信息可以用于表征检测到事件的传感单元(像素)在事件成像装置中的物理位置。事件成像装置的具体内容为本领域所熟知的技术,此处不再赘述。
步骤S3:基于若干历史事件的坐标信息和所述新事件的坐标信息,判断所述新事件是有效事件或者噪声事件。其中,历史事件的数据信息先入先出地存储于第一存储空间(举例地,移位寄存器阵列或基于RAM实现先入先出的功能),所述历史事件的数据信息至少包括历史事件的坐标信息。
事件成像装置,例如DVS,产生的二维图像事件是单个坐标串行输出,可利用存储介质来动态存储事件成像装置输出的事件。当一个新事件输入或准备输入该存储介质,则存储介质中最先存储的/发生的事件被输出/移除/丢弃。在一个实施例中,可以采用移位寄存器阵列来缓存DVS输出的事件,也可以采用其它方式进行存储,本发明对此不做限定。
对于噪声事件,由于噪声行为通常是随机发生的、难以捉摸的,因此噪声输入事件与缓存内的事件在空间上应该分布比较散乱,即噪声事件的坐标分布是离散的。离散的噪声事件与缓存事件在空间上具有较少的关联特性,距离上间隔较远,很难具有相邻特性,通常表现为一些突兀的像素点。
DVS捕捉动态事件时,运动物体变化是连续的。在DVS中,由目标对象所触发生成的多个像素事件之间,具有关联特性,例如与目标对象运动相关的像素事件在空间中具有较强的邻近特性,即空间中分布邻近的事件较多。因此,通过对邻近事件数量的统计,可以作为噪声事件或有效事件判定的重要依据。
与现有技术中基于邻域密度进行降噪的技术不同,本发明不需要统计预定邻域和预定时间窗内的事件,这可以克服如下缺陷:邻域内事件数量不仅不确定,而且时间窗会加重信息处理延迟,不利于信息处理的实时性要求。本发明使用有限的缓存,缓存大小可根据需求设置,尤其是可以根据最优化方法设计最佳缓存大小。用于存储事件的缓存大小确定后,其存储的事件数量也就确定,且本发明缓存中的事件流(即多个事件),不一定来自同一个邻域,因此更灵活。同时,本发明分析与输入事件从时间角度上相邻的一定数量的在先事件,由于事件时间上相邻(表现为均出现在缓存中),有限的缓存在一定程度上也实现了所谓的时间邻域的筛选,可不必单独分析时间邻域,即时间窗,然后与根据模型训练获取的阈值相比对,从而在较少的资源开销情况下完成去噪。
具体地,步骤S1中,接收事件成像装置输出的新事件具体包括:设置移位寄存器阵列或缓存序列,由于接收的DVS事件是顺序输入的,本发明利用移位寄存器阵列或者流水线缓存,例如,每接收DVS的一个新事件,就将其存入缓存的输入级,原有事件进行顺序移位,存放于输出级的最先或最早发生的事件被输出/移除/丢弃。
需要强调的是将事件移位与现有技术中基于时间窗口的噪声处理技术不同,时间窗表示一定时间间隔,但任意时间窗内,事件的数量不定,可能多也可能少。而本发明则不同,本发明基于移位寄存器阵列或缓存序列,事件数量一定,且新事件与缓存中的最先或最早事件间的时间间隔不定,二者的时间间隔可能长也可能短,且缓存中的事件顺序相邻,该方法在硬件中更易实现,资源开销更低。
此外,本发明某类实施例中,如果输入事件被确定为噪声事件,不需要将其丢弃,而将其放入缓存,以便与下一个到来的事件进行关联判定。该示例中,所有事件均存储缓存,逻辑较为简单。而在另一类实施例中,将该噪声事件丢弃,不将其存入缓存,该示例丢弃噪声事件,降低下一噪声事件被判别为有效事件的几率。
同时本发明中,对于噪声事件,不被输出至处理器/后级系统中(换言之,该噪声事件被滤除),从而避免后级系统对噪声事件的处理,进一步降低系统功耗。
在某类实施例中,步骤S2和步骤S3中“获取新事件的数据信息,所述新事件的数据信息至少包括新事件的坐标信息,基于若干历史事件的坐标信息和所述新事件的坐标信息,判断所述新事件是有效事件或者噪声事件”具体实施方式如图4或/和图5所示。图4是本发明某优选实施例中基于坐标分析的实时噪声过滤装置示意图。图5是本发明某优选实施例中基于坐标分析的实时噪声过滤方法示意图。
参照图4,其公开的是一种噪声处理装置,具体而言是基于坐标分析的实时噪声处理装置。该噪声处理装置接收事件成像装置输出的新事件,该新事件的数据信息至少包括新事件的坐标信息。该噪声处理装置包括:
第一存储空间:用于先入先出地存储若干历史事件的数据信息,所述历史事件的数据信息至少包括历史事件的坐标信息;
优选地,第一存储空间为移位寄存器阵列,其接收动态视觉传感器DVS输出的新事件;并对接收的新事件进行预处理,获取事件数据信息。其中,所述事件数据信息包括坐标信息,接收新事件优选为实时接收。
由于DVS事件是顺序输入,本发明的一个实施例中使用流水线缓存,每接收DVS的一个新事件,就将其存入缓存的输入级,原有事件进行顺序移位,存放于输出级的最先发生/生成/存入的事件被输出/移除/丢弃。
在某类替代的实施例中,所述的移位寄存器阵列支持两路或多路移位操作而非常规的单路移入移除操作,即新事件可以依序存入不同路的移位存储输入级,相应的两路/多路移位存储输出级移除最早存入的事件。该种方案同样属于本发明保护范围内的技术方案,本发明不以此为限。
计算模块:分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离。
优选地,利用加法或/和减法运算,并行计算新事件坐标(x,y)与缓存中存储的在先的若干事件坐标(举例地坐标为(xi,yi)的在先事件)之间的坐标距离dx,y,i为正整数。所述的缓存中在先的若干相邻事件,可以是缓存中的部分或全部事件。其中,在先的若干相邻事件为所述移位寄存器阵列中缓存的至少一事件。
第一判断模块:判断所述坐标距离是否在第一预设范围内,并基于判断结果得到新事件与每个历史事件之间的关系值。
优选地,根据计算模块计算的坐标距离dx,y,判断dx,y是否小于预设距离d0,示例地|x-xi|<d0且|y-yi|<d0,得到新事件与缓存中若干在先事件的关系值。其中,为了提高数据处理速度,第一判断模块可被配置为并行判断。若新事件与缓存中比对事件的关系值小于该值时,认为其为有效事件,关系值为1(以及替代为2,原则地可以是任意正数),否则,该事件为噪声事件,关系值为0(以及替代为-1,原则上可以是任意非正数)。本发明中的关系值,是基于两事件之间的坐标的距离而通过数值表征其远近的概念。如上所述,优选地,在距离大于某范围,认定其关系值为0,否则为某一非0数值。替代地,任意其它合理的表征远近的一对数值(比如0.01与1),均可以作为两事件的关系值,本发明对此不做限定。
坐标距离的计算方式和判断方式可以有多种不同方式,还比如|x-xi|+|y-yi|<d0、|x-xi|<d0或|y-yi|<d0等等。本发明对此距离的计算和判断方式不作限定。此外,有效事件和噪声事件的关系值,也可以设置成相反或不同的数值,比如有效事件的关系值为0,噪声事件的关系值为1,区别在于后续逻辑的判定需要反置,这些均是本领域技术人员容易想到的合理替换手段,本发明对此不作限定。非常容易预见,本发明中任意位置的逻辑判断、数值赋予,均可以根据本发明的构思而合理设置/改变,这种逻辑判断、数值赋予并未脱离本发明的构思,是本发明的等同替代方案,同样属于本发明所要求保护的技术方案。
求和模块:将第一判断模块得到的新事件与每个历史事件之间的关系值相加,得到所述新事件与所述若干历史事件之间关系值总和。
所述历史事件(或称缓存事件),可以是缓存中全部或部分事件。计算新事件与缓存事件的关系值的和,即将该事件与缓存中若干事件的关系值相加。其中,求和模块包括多个加法器,并行计算新事件与缓存事件的关系值的和。因为噪声是随机发生,从而其与缓存中的关系值的和会比较小,而有效事件则与缓存中事件的关系值的和会比较大,据此可以进行噪声和有效事件的判定。
第二判断模块:根据求和模块输出的所述关系值总和与第二预设值之间的大小关系,判定所述新事件为有效事件或者噪声事件。
优选地,根据求和模块的输出,判断所述关系值的和是否大于第二预设值,若大于第二预设值,则判定所述新事件为有效事件,否则所述新事件为噪声事件。其中,为了提高数据处理速度,第二判断模块可被配置为并行判断。
可选地,噪声处理装置还可以包括输出模块:根据第二判断模块的判断结果,输出有效事件。
优选地,第一判断模块与第二判断模块由逻辑门和多路选通器构成,其中逻辑门为与门、或门、异或门、同或门中的一种或几种。
当完成判定时,输出有效事件,而对于噪声事件则不输出,即输出不更新。对于噪声事件,不输出意味着不向后级系统传递事件,对于后级系统而言丢弃了该事件。对于噪声处理装置而言,可以不丢弃该事件,而是仍然存入缓存中,该方法简便有效,进一步减少了操作步骤节省了功耗。而在另一类实施例中,对于噪声处理装置而言,丢弃该事件,不将其存入缓存中。
此外,在计算距离或/和关系值时,可以通过顺序(串行)读/写的方式处理新事件与缓存中的若干事件的距离。优选地,可以通过并行方式计算该距离,或/和完成关系值判断,该类实施例可以更加快速地获得最终判断结果。
该方式在硬件中实现,例如FPGA、ASIC(如专用接口电路)或 IC设计,无论是否为有效事件,当新事件到来时,都将缓存中的数据进行移位处理,从而保证每个事件均和发生在其之前的相邻若干事件进行比较,且该比较过程可以并行比较,同时涉及的计算、判断都是并行处理,具有实时、高速和低功耗的特点,避免了软件进行降噪处理时所需的累加带来的延迟和功耗。
基于硬件的实时噪声过滤装置,实时获取和处理接收的新事件,采用的加/减法运算非常简洁,在硬件中极易实现,且资源占用少,实时性高,能够有效降低DVS传感器的输出功耗。
在某类替代实施例中,当经所述第一判断模块或/和第二判断模块判定事件为噪声事件时,则丢弃或滤除该事件,输出不更新。在某类替代实施例中,移位寄存器阵列包括输入级缓冲器(buffer),用于缓存接收的新事件或脉冲;当经所述第一判断模块或/和第二判断模块判定事件为噪声事件时,则从输入级缓冲器中丢弃或滤除该事件,即该事件不存入移位寄存器阵列或缓存。如此,缓存中存储的若干在先事件均为有效事件。这两种方式比“无论新事件是否为噪声事件均存入缓存”的方法比,要多一个步骤,但该步骤在硬件中也比较容易实施,占用的资源非常少,对系统性能影响不大,且该方法降低下一噪声事件被判别为有效事件的几率。
在某优选实施例中,进一步地,所述事件数据信息包括坐标信息。时间信息包括事件产生的时间t,进一步地,t具体可以为时间戳。作为一个示例,像素事件的事件数据可以基于地址-事件表达(Address-Event Representation,AER)进行表示,也可以采用其它包括坐标信息和时间信息的方式进行表示。
优选地,噪声处理装置还包括:带通滤波模块,所述带通滤波模块基于事件发生的时间间隔进行带通滤波。
进一步地,将新事件的时间戳与所述第一存储空间存储的若干历史事件中最新事件的时间戳相比对,当时间间隔大于第一阈值,且小于第二阈值,认为该事件在时间上是合适的,该事件可以通过带通滤波的筛选,属于有效事件,否则属于噪声事件。在某实施例中,带通滤波方案中,第一阈值所在的范围为2~50μs之间,第二阈值所在的范围为170μs~400μs。
参照图5,是本发明某优选实施例中基于坐标分析对新事件进行噪声处理的流程图,包括如下步骤:
步骤S301:分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离。具体地,计算新事件坐标(x,y)与缓存中在先的若干相邻事件坐标(xi,yi)之间的坐标距离dx,y,其中i为正整数。其中,在先的若干相邻事件为所述移位寄存器阵列中缓存的至少一事件。
在计算坐标距离时,可以利用简单的加法或/和减法运算即求取了新事件与各缓存事件间的距离,使用坐标范围判定的方法避免了现有技术中求距离使用均方根值,或者求平方或者开根号的复杂运算,简化了资源,尤其在硬件中,更易实现。现有技术中的方法,使用复杂的运算,加大了延时。
考虑到噪声事件与其余事件间的相关性较低,独立分布,因此对于事件坐标不在预设阈值距离d0范围内的事件认为是噪声事件。并采用如下步骤,判断新事件为有效事件还是噪声事件:
步骤S302:判断所述坐标距离是否在第一预设范围内,并基于判断结果得到新事件与每个历史事件之间的关系值。设定第一预设范围意味着判断事件是否在依据新事件的坐标而设定的区域(固定形状或动态形状)内。所述第一预设范围并无统一设定标准,可以根据实际需要而设定,比如该范围是数值优化后范围。举例地,判断坐标距离dx,y是否小于预设阈值距离d0,示例地|x-xi|< d0且|y-yi|< d0 ,得到新事件与缓存中在先事件的关系值。
若|x-xi|<d0且|y-yi|<d0,即新事件与缓存中比对事件的距离小于预设距离d0时,认为其为有效事件,关系值为1,并进一步执行步骤S303;否则,判定该事件为噪声事件,关系值为0。
坐标距离可表征坐标关系,其计算方式和判断方式可以有多种不同方式,还比如|x-xi|+|y-yi|< d0、|x-xi|<d0或|y-yi|<d0等等。本发明对此距离的计算和判断方式不作限定。此外,有效事件和噪声事件的关系值,也可以设置成相反或不同的数值,比如有效事件的关系值为0,噪声事件的关系值为1(以及替代为2),区别在于后续逻辑的判定需要反置,这些均是本领域技术人员容易想到的合理替换手段,本发明对此不作限定。优选地,由噪声分析的结果得出预设距离d0,或者利用最优化的手段获得最佳的预设距离d0,同时,设计人员也可根据经验或具体场景实际需求设置该预设距离值。
步骤S303:将第一判断模块得到的新事件与每个历史事件之间的关系值相加,得到所述新事件与所述若干历史事件之间关系值总和;根据所述关系值总和与第二预设值之间的大小关系,判定所述新事件为有效事件或者噪声事件;其中所述第二预设值是用于区分噪声事件和有效事件的预设值。具体地,计算新事件与缓存事件的关系值的和,并判断关系值的和是否大于预设值。若大于预设值,则判定所述新事件为有效事件,否则所述新事件为噪声事件。
当完成判定时,输出有效事件,对于噪声事件则不输出。或者说,当完成判定时,去除或滤除噪声事件。
在某替代实施例中,当判定新事件为噪声事件时,则从缓存中丢弃或去除该事件,输出不更新。在另一替代实施例中,每接收一个新事件或脉冲,就将其存入输入级缓冲器(buffer)/缓存;当判定所述新事件为噪声事件时,则丢弃或滤除该新事件,即该新事件不存入移位寄存器阵列或缓存。如此,缓存中存储的若干在先事件均为有效事件。这两种方式与“无论新事件是否为噪声事件均存入缓存”的方法比,要多一个步骤,但该步骤在硬件中也好实施,占用的资源非常少,同时,该方法能够降低下一噪声事件被判别为有效事件的几率。
进一步地,在某优选实施例中,为了进一步提升噪声滤除效果,前述实时噪声处理方法还包括步骤S4:事件数据信息还包括时间信息,基于时间信息,对新事件进行带通滤波。所述新事件的数据信息和历史事件的数据信息均包括时间戳;将新事件的时间戳与所述第一存储空间存储的若干历史事件中最新事件的时间戳相比对,当二者的时间戳间隔大于第一阈值且小于第二阈值时,判定该新事件为有效事件。
当时间信息和坐标信息均结合起来时,则可以更好地过滤低频噪声等的影响,因此也可以考虑进行联合判定。其中,基于时间信息进行噪声滤波的步骤S4既可以置于步骤S3之前,也可以置于步骤S3之后,也可以同时处理,本发明对此不做限定。
优选地,由于DVS 中真实运动产生的有效事件是连续的,相邻像素间的时间间隔较短,结合噪声事件的独立性,通过对有动态事件发生时的时间关系分析,可以确定动态事件的时间间隔分布范围,远小于噪声的分布范围,取其动态事件的时间间隔最高值求其倒数,即带通频率的高通阈值。
优选地,计算新事件与缓存中相邻事件的时间间隔,即相邻事件发生的时间间隔,对该时间间隔进行带通滤波,以进一步滤除噪声事件。进一步地,将新事件的时间戳与所述在先的若干相邻事件的时间戳相比对,当二者时间间隔大于第一阈值,且小于第二阈值时,认为该事件在时间上是合适的,可认为通过带通滤波的筛选。其中,第一阈值为高通时间窗阈值,具体表示为大于该第一阈值的时间间隔认为是合适的事件,予以保留,而对于小于该第一阈值的时间间隔认为是不合适的事件,如噪声事件,予以滤除或丢弃;第二阈值为低通时间窗阈值,具体表示为小于该第二阈值的时间间隔认为是合适的事件,予以保留,而对于大于该第二阈值的时间间隔认为是不合适的事件,如噪声事件,予以滤除或丢弃。
在时域分析中,普通噪声(例如白噪声、hot pixel)事件发生的时间间隔在一个固定的范围分布,图6a是无有效事件时噪声发生的时间间隔分布图谱,图6b存在有效事件时所有事件发生的时间间隔分布图谱。对于当前相机无有效事件时,噪声发生的时间间隔分布在1 μs~1300 μs(微秒),如图6a所示。根据甄别分析,当相机捕捉动态事件时,相邻事件的时间间隔会降低,如图6b所示,从中可以看出有效事件的时间间隔分布图谱大多小于350μs,因此,可以通过事件间的时间关系,进行带通滤波。
在某类实施例中,带通滤波方案中低通时间窗的阈值范围为170μs~400μs,高通时间窗阈值为2~50μs之间。本发明的一个优选地实施例中,将低通时间窗阈值设为300μs,高通时间窗阈值设为2μs,且经过对比,将带通的阈值范围限制在2μs至300μs进行滤波后,噪声的比例可进一步降低约16.7%。
采用本发明所述的基于硬件的实时噪声过滤技术,以图7a和图7b作为判定噪声的依据,其滤波效果如图8a和图8b、图9a和图9b所示。
图7a和图7b展示了事件与噪声关系值的和,此处以白噪声为例,针对某款DVS,图7a表示噪声关系值的和,图7b表示有效事件与噪声关系值总和,从中可看出噪声的关系值总和均在5以内,因此,此处第二预设值取5作为判定的依据。第二预设值并无统一设定标准,其可以根据DVS的如上实际统计分析的情况而设定,基于发明人的研究认为,在某类优选实施例中,第二预设值为4或5或6或7或8。
图8a和图8b为DVS在静息状态时对噪声的过滤效果对比,其中,图8a表示滤波前DVS静息状态时的噪声图谱,图8b表示在DVS静息状态时采用本发明的噪声过滤技术后的噪声图谱,从中可以看出,采用本发明的基于硬件的实时噪声过滤技术,滤波后噪声基本消除,有效滤除了环境噪声,即在目标对象没有运动时,不产生新事件,有效降低了系统功耗。
图9a和图9b为DVS在激活状态时,即在目标对象运动时,未滤波时的新事件(包括噪声事件和有效事件)与滤波后的新事件(包括噪声事件和有效事件)的对比图,图9a表示滤波后DVS激活状态时的噪声图谱,图9b表示在DVS激活状态时采用本发明的噪声过滤技术后的事件图谱,从中可看出采用本发明所述的基于坐标分析的实时噪声处理技术,对于运动事件的检测没有影响,并且噪声事件的干扰大大减少,运动轨迹基本无损清晰可见,因此有效提高了动作识别的准确度。图10展示了图9b实施例中硬件的使用资源统计图,移位寄存器阵列包含17个12位寄存器,总共寄存器仅六百多个,相比于使用与DVS尺寸规模(通常十万起步,高分辨率DVS可达数千万)线性相关的存储资源方案,本发明通过极少的硬件代价即可获得良好的噪声过滤性能。
图11a展示的是另一实施例中,存在目标对象运动时,未滤波的DVS新事件噪声图谱。与图9b实施例相比,图11b展示了移位寄存器阵列中寄存器数量相比于前一实施例加倍后,经滤波后DVS激活状态时的噪声图谱。不难看出,寄存器数量的改变可以影响滤波效果,该两个具体实施例展示出了更多移位寄存器给滤波性能带来明显的提升。移位寄存器的数量,可以通过最优化的手段来获得。
在图12中,展示的是某类新的实施例中移位寄存器阵列中不同的数据处理方式。与图4所示方案类似,但与之不同的是,该实施例中新事件在移入寄存器阵列前或后,不必立即被判定是否是噪声事件或有效事件,而是移入一定深度后(图中举例地是移入寄存器4时),再对其是有效事件或噪声事件判断。这样做的好处是,该方案不仅考虑历史事件(前述新事件之前就生成的事件,对应寄存器5~n)与“新事件”(对应寄存器4)的关系,还考虑更新的事件(对应寄存器1~3)与该“新事件”(对应寄存器4)的关系,这防止了“新事件”,尤其是运动目标的边缘对应产生的“新事件”,因关系值总和的不足而被误判为噪声事件。
概括地,一种噪声处理装置,该噪声处理装置接收事件成像装置输出的若干事件,所述若干事件至少包括事件的坐标信息,所述若干事件中包括第一事件,所述噪声处理装置包括:第一存储空间:依据生成或获取所述若干事件的先后顺序,先入先出地存储所述若干事件的坐标信息;第一噪声处理模块:根据所述第一事件的坐标信息与所述第一存储空间中的若干历史事件或/和若干后来事件中每一个历史事件或/和每一个后来事件的坐标信息,计算所述第一事件与所述若干历史事件或/和所述若干后来事件之间的坐标距离;并根据所述第一事件与所述若干历史事件或/和所述若干后来事件之间坐标距离的大小,判断所述第一事件是噪声事件或有效事件。
举例地,将若干新事件(包含第一事件)依生成时间先后顺序而将其数据信息(至少包括事件的坐标信息)不断移入第一存储空间(举例地,移位寄存器阵列),当事件成像装置(例如DVS)产生的更多的新事件(本发明称之为后来事件)的数据信息(至少包括事件的坐标信息)移入第一存储空间后(同时意味着第一存储空间中产生历史较久的事件的数据信息被移除,图中最久的历史事件对应寄存器n),依据每个事件各自的坐标信息,计算模块计算所述第一事件与若干历史事件或/和若干后来事件之间的坐标距离,并在第一判断模块中判断所述坐标距离是否在第一预设范围内,并基于判断结果得到第一事件与每个历史事件或/和每个后来事件之间的关系值;求和模块将第一判断模块得到的第一事件与每个历史事件或/和每个后来事件之间的关系值相加,得到所述第一事件与若干历史事件或/和若干后来事件之间的关系值总和;第二判断模块:根据求和模块输出的所述关系值总和与第二预设值之间的大小关系,判定所述第一事件为有效事件或者噪声事件;其中所述第二预设值是用于区分噪声事件和有效事件的预设值。其中,先于所述第一事件生成或存储的事件为历史事件,晚于所述第一事件生成或存储的事件为后来事件。设定第一预设范围意味着判断事件是否在依据新事件的坐标而设定的区域(固定形状或动态形状)内。该类实施例其它未描述内容与先前实施例相同,为避免篇幅过于冗长,此处以引用的方式将先前实施例的全部内容引用于此。
作为前述实施例的一个特例,所述第一事件的数据信息在移入最后一个寄存器(即寄存器n)时,仅计算第一事件的坐标信息与若干后来事件的坐标信息之间的坐标距离,并基于这些坐标距离,判断关系值,计算关系值总和,并最终判定是噪声事件或有效事件。该特例其它内容与前述实施例类似,此处不再赘述。
本发明是对动态视觉传感器采集到的事件数据流进行噪声处理的,动态视觉传感器与传统基于图像帧识别对象的采集方法相比,避免了识别与目标对象或识别任务无关的数据,数据总量减小,降低了对存储资源的需求和网络带宽的消耗,具有低功耗的特点。
本发明可以仅基于事件间的坐标关联关系来实现噪声处理,通过对邻近事件数量的统计,作为噪声或有效事件判定的重要依据,在求取坐标关系时,仅使用减法运算,避免了复杂的求平方和/或平方根运算,资源占用少,尤其对于硬件实现,极大降低了难度,并且噪声处理效果非常有效,有效降低了系统静态功耗和动态功耗。
本发明可以基于时间信息和坐标信息进行噪声处理,该方法可以更好地过滤低频噪声等的影响,进一步提升DVS输出事件的质量,具有更好的等效视觉效果。
本发明所述的噪声处理技术可以集成至DVS中,也可以设于处理器中,也可以被实施在DVS与处理器之间的接口电路中。所述处理器包括但不限于脉冲神经网络处理器、事件驱动处理器、类脑芯片、类脑处理器等。脉冲神经网络处理器或事件驱动处理器与 DVS 事件流是非常契合,都是基于脉冲事件的异步处理,使得系统中只传递少量信息,实现低耗和实时性。本发明实施例还提供一种芯片,被配置为执行如上的步骤S1~S4以及所述的其它全部步骤。
本发明所述的噪声处理技术还可以设于处理器中对DVS产生的事件数据进行预处理,如接口电路,其中该接口电路可以独立存在,也可以与脉冲神经网络处理器或事件驱动处理器集成在单芯片上。其中,该集成可以通过转接板耦接于单芯片,也可以被制造在同一个裸晶中。
一种芯片,其特征在于:该芯片中包括如前任意一项所述的噪声处理装置,或者,该芯片应用如前任意一项所述的噪声处理方法。
一种事件成像装置,该事件成像装置中包括如前任意一项所述的噪声处理装置,或者,该事件成像装置应用如前任意一项所述的噪声处理方法。
一种电子设备,该电子设备包括事件成像装置,以及如前任意一项所述的噪声处理装置,其中所述的噪声处理装置被配置为用于对所述事件成像装置输出的新事件进行噪声过滤。
尽管已经参考本发明的具体特征和实施例描述了本发明,但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例,并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。
因此,说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍,因而应根据最大合理解释原则对所附权利要求解读,并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物,同时还应避免不合常理的解读方式。
为了实现更好的技术效果或出于某些应用的需求,本领域技术人员可能在本发明的基础之上,对技术方案做出进一步的改进。然而,即便该部分改进/设计具有创造性或/和进步性,只要依赖本发明的技术构思,覆盖了权利要求所限定的技术特征,该技术方案同样应落入本发明的保护范围之内。
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征,或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后,容易想到该些替换手段,或者改变技术流程的顺序、物质组织顺序,然后采用了基本相同的手段,解决基本相同的技术问题,达到基本相同的技术效果,因此即便权利要求中明确限定了上述手段或/和顺序,然而该些修饰、改变、替换,均应依据等同原则而落入权利要求的保护范围。
结合本文中所公开的实施例中描述的各方法步骤或模块,能够以硬件、软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (22)

1.一种噪声处理装置,该噪声处理装置接收事件成像装置输出的新事件,该新事件的数据信息至少包括新事件的坐标信息,其特征在于,所述噪声处理装置包括:
第一存储空间:用于先入先出地存储若干历史事件的数据信息,所述历史事件的数据信息至少包括历史事件的坐标信息;
计算模块:分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离;
第一判断模块:判断所述坐标距离是否在第一预设范围内,并基于判断结果得到新事件与每个历史事件之间的关系值;
求和模块:将第一判断模块得到的新事件与每个历史事件之间的关系值相加,得到所述新事件与所述若干历史事件之间关系值总和;
第二判断模块:根据求和模块输出的所述关系值总和与第二预设值之间的大小关系,判定所述新事件为有效事件或者噪声事件。
2.根据权利要求1所述的噪声处理装置,其特征在于:
在判断所述新事件是有效事件或者噪声事件之后,从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息。
3.根据权利要求2所述的噪声处理装置,其特征在于:
从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息之后,将所述新事件的数据信息存储至所述第一存储空间,其中所述新事件的数据信息至少包括新事件的坐标信息。
4.根据权利要求1所述的噪声处理装置,其特征在于:
若所述新事件是有效事件,从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息,并将该新事件的数据信息存储至所述第一存储空间。
5.根据权利要求1所述的噪声处理装置,其特征在于:
所述第一存储空间是移位寄存器阵列。
6.根据权利要求1所述的噪声处理装置,其特征在于:
所述噪声处理装置还包括输入级缓冲器,用于缓存接收到的新事件;
当经所述第二判断模块判定新事件为噪声事件时,则从输入级缓冲器中丢弃或滤除该新事件。
7.根据权利要求1-6任意一项所述的噪声处理装置,其特征在于:
所述计算模块,利用加法或/和减法运算,并行地计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离。
8.根据权利要求1-6任意一项所述的噪声处理装置,其特征在于:
所述新事件和若干历史事件的数据信息还包括时间信息;
所述噪声处理装置还包括带通滤波模块,所述带通滤波模块基于新事件发生的时间间隔进行带通滤波。
9.根据权利要求8所述的噪声处理装置,其特征在于:
所述新事件的时间信息和若干历史事件的时间信息均是事件的时间戳;
将新事件的时间戳与所述第一存储空间存储的若干历史事件中最新事件的时间戳相比对,当二者的时间戳间隔大于第一阈值且小于第二阈值时,判定该新事件为有效事件。
10.根据权利要求1-6任意一项所述的噪声处理装置,其特征在于:
所述第二预设值为4或5或6或7或8。
11.一种噪声处理方法,其特征在于,该噪声处理方法包括如下步骤:
步骤S1:接收事件成像装置输出的新事件;
步骤S2:获取新事件的数据信息,所述新事件的数据信息至少包括新事件的坐标信息;
步骤S3:基于若干历史事件的坐标信息和所述新事件的坐标信息,判断所述新事件是有效事件或者噪声事件;其中,历史事件的数据信息先入先出地存储于第一存储空间,所述历史事件的数据信息至少包括历史事件的坐标信息;
其中,基于若干历史事件的坐标信息和所述新事件的坐标信息,判断所述新事件是有效事件或者噪声事件,具体包括如下步骤:
步骤S301:分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离;
步骤S302:判断所述坐标距离是否在第一预设范围内,并基于判断结果得到新事件与每个历史事件之间的关系值;
步骤S303:将第一判断模块得到的新事件与每个历史事件之间的关系值相加,得到所述新事件与所述若干历史事件之间关系值总和;根据所述关系值总和与第二预设值之间的大小关系,判定所述新事件为有效事件或者噪声事件。
12.根据权利要求11所述的噪声处理方法,其特征在于:
所述第一存储空间是移位寄存器阵列,通过该移位寄存器阵列先入先出地移出历史事件中至少一个事件的数据信息。
13.根据权利要求12所述的噪声处理方法,其特征在于:
当从移位寄存器阵列中移出历史事件中至少一个事件的数据信息后,将新事件的数据信息移入该移位寄存器阵列。
14.根据权利要求11所述的噪声处理方法,其特征在于:
利用加法或/和减法运算,并行地计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离。
15.根据权利要求11-14任意一项所述的噪声处理方法,其特征在于:
所述新事件的数据信息和历史事件的数据信息均包括时间戳;
将新事件的时间戳与所述第一存储空间存储的若干历史事件中最新事件的时间戳相比对,当二者的时间戳间隔大于第一阈值且小于第二阈值时,判定该新事件为有效事件。
16.一种噪声处理装置,该噪声处理装置接收事件成像装置输出的若干事件,所述若干事件至少包括事件的坐标信息,所述若干事件中包括第一事件,其特征在于,所述噪声处理装置包括:
第一存储空间:依据生成或获取所述若干事件的先后顺序,先入先出地存储所述若干事件的坐标信息;
第一噪声处理模块:根据所述第一事件的坐标信息与所述第一存储空间中的若干历史事件或/和若干后来事件中每一个历史事件或/和每一个后来事件的坐标信息,计算所述第一事件与所述若干历史事件或/和所述若干后来事件之间的坐标距离;并根据所述第一事件与所述若干历史事件或/和所述若干后来事件之间坐标距离的大小,判断所述第一事件是噪声事件或有效事件。
17.根据权利要求16所述的噪声处理装置,其特征在于,所述噪声处理装置还包括:
第一判断模块:判断所述坐标距离是否在第一预设范围内,并基于判断结果得到第一事件与每个历史事件或/和每个后来事件之间的关系值;
求和模块:将第一判断模块得到的第一事件与每个历史事件或/和每个后来事件之间的关系值相加,得到所述第一事件与若干历史事件或/和若干后来事件之间的关系值总和;
第二判断模块:根据求和模块输出的所述关系值总和与第二预设值之间的大小关系,判定所述第一事件为有效事件或者噪声事件。
18.一种芯片,其特征在于:该芯片中包括如权利要求1-10、16-17任意一项所述的噪声处理装置。
19.根据权利要求18所述的芯片,其特征在于:所述芯片为类脑芯片。
20.根据权利要求18或19任意一项所述的芯片,其特征在于:所述噪声处理装置被实施在专用接口电路中,或被实施为FPGA电路,或通过软硬件相结合方式实施。
21.一种事件成像装置,其特征在于:该事件成像装置中包括如权利要求1-10、16-17任意一项所述的噪声处理装置。
22.一种电子设备,其特征在于:该电子设备包括事件成像装置,以及如权利要求1-10、16-17任意一项所述的噪声处理装置,其中所述的噪声处理装置被配置为用于对所述事件成像装置输出的新事件进行噪声过滤。
CN202111522819.0A 2021-11-25 2021-12-14 噪声处理装置、方法、芯片、事件成像装置及电子设备 Active CN114285962B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111522819.0A CN114285962B (zh) 2021-12-14 2021-12-14 噪声处理装置、方法、芯片、事件成像装置及电子设备
US18/260,206 US20240064422A1 (en) 2021-11-25 2021-12-27 Noise filtering for dynamic vision sensor
KR1020237001162A KR20230078991A (ko) 2021-11-25 2021-12-27 노이즈 저감 장치, 클러스터 노이즈 저감 장치 및 칩
PCT/CN2021/141813 WO2023092798A1 (zh) 2021-11-25 2021-12-27 动态视觉传感器的噪声过滤

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111522819.0A CN114285962B (zh) 2021-12-14 2021-12-14 噪声处理装置、方法、芯片、事件成像装置及电子设备

Publications (2)

Publication Number Publication Date
CN114285962A CN114285962A (zh) 2022-04-05
CN114285962B true CN114285962B (zh) 2023-04-07

Family

ID=80871944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111522819.0A Active CN114285962B (zh) 2021-11-25 2021-12-14 噪声处理装置、方法、芯片、事件成像装置及电子设备

Country Status (1)

Country Link
CN (1) CN114285962B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412688B (zh) * 2022-10-31 2023-02-03 深圳时识科技有限公司 闪烁噪声过滤方法及装置、传感器、芯片及电子设备
CN116347257A (zh) * 2022-10-31 2023-06-27 深圳时识科技有限公司 融合降噪系统
CN115412687B (zh) * 2022-10-31 2023-03-24 深圳时识科技有限公司 主被动结合的降噪装置、方法、视觉传感器和芯片
CN116757968B (zh) * 2023-08-18 2023-11-24 深圳时识科技有限公司 降噪方法及装置、芯片、事件成像装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726356A (zh) * 2019-01-17 2019-05-07 西安电子科技大学 一种动态视觉传感器的地址事件流数据去噪方法
WO2020229981A1 (en) * 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Dynamic vision sensor with in-pixel digital change detection
CN113269683A (zh) * 2021-04-22 2021-08-17 天津(滨海)人工智能军民融合创新中心 一种基于自适应阈值的局部时空事件流滤波方法与系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934557B2 (en) * 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
CN107147856B (zh) * 2017-03-30 2019-11-22 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置
KR20200115881A (ko) * 2019-03-28 2020-10-08 삼성전자주식회사 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
CN114365187A (zh) * 2019-09-10 2022-04-15 苹果公司 姿态跟踪系统
CN111031266B (zh) * 2019-12-31 2021-11-23 中国人民解放军国防科技大学 基于哈希函数的动态视觉传感器背景活动噪声过滤方法、系统及介质
CN111064865B (zh) * 2019-12-31 2021-08-31 中国人民解放军国防科技大学 一种动态视觉传感器背景活动噪声过滤器及处理器
US11871156B2 (en) * 2020-04-02 2024-01-09 Samsung Electronics Co., Ltd. Dynamic vision filtering for event detection
CN111770290A (zh) * 2020-07-29 2020-10-13 中国科学院长春光学精密机械与物理研究所 一种动态视觉传感器输出事件流降噪方法
CN113408671B (zh) * 2021-08-18 2021-11-16 成都时识科技有限公司 一种对象识别方法及装置、芯片及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726356A (zh) * 2019-01-17 2019-05-07 西安电子科技大学 一种动态视觉传感器的地址事件流数据去噪方法
WO2020229981A1 (en) * 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Dynamic vision sensor with in-pixel digital change detection
CN113269683A (zh) * 2021-04-22 2021-08-17 天津(滨海)人工智能军民融合创新中心 一种基于自适应阈值的局部时空事件流滤波方法与系统

Also Published As

Publication number Publication date
CN114285962A (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN114285962B (zh) 噪声处理装置、方法、芯片、事件成像装置及电子设备
US11631246B2 (en) Method for outputting a signal from an event-based sensor, and event-based sensor using such method
Vasicek et al. Novel hardware implementation of adaptive median filters
CN113923319B (zh) 降噪装置、方法、芯片、事件成像装置及电子设备
CN109461173B (zh) 一种用于时域视觉传感器信号处理的快速角点检测方法
GB2487375A (en) Interest Point Detection using downscaling and Hessian filtering
US20240064422A1 (en) Noise filtering for dynamic vision sensor
JP2015507261A (ja) 非同期光センサに基づいてオプティカルフローを推定する方法
CN104657945A (zh) 复杂背景下多尺度时空联合滤波的红外小目标检测方法
CN111027398A (zh) 行车记录仪视频遮挡检测方法
CN113408671B (zh) 一种对象识别方法及装置、芯片及电子设备
CN114078100A (zh) 聚类降噪装置、方法、芯片、事件成像装置及电子设备
CN113269683B (zh) 一种基于自适应阈值的局部时空事件流滤波方法与系统
Hiraiwa et al. An FPGA based embedded vision system for real-time motion segmentation
CN111064865A (zh) 一种动态视觉传感器背景活动噪声过滤器及处理器
CN104598120A (zh) 颜色取样方法及触控控制装置
CN108305265B (zh) 微弱小目标图像实时处理方法及系统
CN114885074B (zh) 一种基于时空密度的事件相机去噪方法
CN114466153B (zh) 自适应脉冲生成方法、装置、类脑芯片和电子设备
CN115442544A (zh) 基于热像素和增强时空相关性的动态视觉事件流降噪方法
CN117115451B (zh) 一种基于时空内容相关性的自适应阈值事件相机去噪方法
TWI381735B (zh) 影像監視設備之影像處理系統及其影像解析自動調適之方法
Archana et al. Design and analysis of imaging chip using high-speed AXI-interface for MPSOC applications on FPGA platform
US20210350506A1 (en) Method and apparatus for processing image, imaging device and storage medium
Jing-zhong et al. A real-time detection of vehicle's speed based on vision principle and differential detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant