CN113923319A - 降噪装置、方法、芯片、事件成像装置及电子设备 - Google Patents
降噪装置、方法、芯片、事件成像装置及电子设备 Download PDFInfo
- Publication number
- CN113923319A CN113923319A CN202111522469.8A CN202111522469A CN113923319A CN 113923319 A CN113923319 A CN 113923319A CN 202111522469 A CN202111522469 A CN 202111522469A CN 113923319 A CN113923319 A CN 113923319A
- Authority
- CN
- China
- Prior art keywords
- event
- noise reduction
- events
- storage space
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 91
- 238000003384 imaging method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001914 filtration Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 208000012260 Accidental injury Diseases 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种降噪装置、方法、芯片、事件成像装置及电子设备。为了使用最少的硬件资源获得最佳的降噪性能，本发明将事件成像装置的降噪方案分为时域聚类和空域聚类两部分。时域聚类：根据第一存储空间所存储的时间戳信息，确定与待判别事件的时间戳之差在设定范围内的事件，构成第一事件集合；空域聚类：根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；如果所述第一事件集合中有达到预设数量的事件，则待判别事件为有效事件，否则为噪声事件。本发明解决了现有技术对硬件资源消耗高的技术问题，获得了可以高速、准确、超低功耗的降噪效果。
Description
技术领域
本发明涉及一种降噪装置、方法、芯片、事件成像装置及电子设备，具体涉及一种利用时域和空域信息来对事件进行降噪的装置、方法、芯片、事件成像装置及电子设备。
背景技术
事件成像装置解决了传统图像传感器的不足，其捕捉运动画面，没有帧的概念，每个像素独立且异步工作，整个相机视野内，只要有一个像素值变化，就会回传一个事件，在光强较强或较弱（如黑夜），仍能看得很清楚，具有延迟低、实时性强、动态范围大的特点。
事件成像装置通过设定阈值感知事件，每个像素（事件成像单元）感知光强变化，当光强变化超过阈值生成事件或脉冲。阈值通常设得很小，以保证高灵敏性，但同时也容易将外界微小的干扰捕获成噪声事件，因此对噪声极其敏感，而增加阈值，会使得物体运动时的捕获的有效事件数量下降，影响成像效果。
由于所有的事件都是异步发生的，事件的时间戳均不相同，目标物体运动产生的事件具有空间和时间上的连续性，而产生噪声的原因具有随机性，噪声的数量和位置随机，噪声的频率随机。以动态视觉传感器（Dynamic Vision Sensor，DVS）为例，噪声来源多种多样，包括背景活动噪声、热像素（hot pixel）噪声、黑噪声、黑块噪声等。现有的降噪手段大多围绕噪声的随机性和孤立性开展，且多数在停留在软件或算法层面，硬件中实现的较少。
一些方法基于事件邻域进行噪声处理，如时间邻域或/和空间邻域。然而，该方法对hot pixel噪声滤除效果不好，且限定邻域会导致该邻域内事件数量不确定，尤其在目标运动时，事件成像具有很强的连续性，强行限制邻域大小会导致有效事件被过滤，从而造成误判。例如现有技术1：Delbruck, T. (2008, March). Frame-free dynamic digitalvision. In Proceedings of Intl. Symp. on Secure-Life Electronics, AdvancedElectronics for Quality Life and Society (Vol. 1, pp. 21-26)；以及现有技术2：Khodamoradi, A., & Kastner, R. (2018). O(N)-Space Spatiotemporal Filter forReducing Noise in Neuromorphic Vision Sensors. IEEE Transactions on EmergingTopics in Computing, 9(1), 15-23。
另一些方法基于事件密度进行降噪处理，统计在新到达事件的邻域的内的事件个数，从而可以判断事件相关程度，例如现有技术3：CN111770290A：首先进行粗滤波，采用宽松阈值滤除背景噪声，然后进行精细滤波，滤除hot pixel噪声，然而该方法的两步骤都对空间范围的取值具有很高的依赖性，空间范围过大会导致噪声事件被遗漏，滤波效果不好；空间范围过小会导致误判有效事件，有效事件被滤除，影响成像质量。同时，该方法复杂度较高和耗时较长，且对特殊噪声（如黑块噪声）没有进行处理，实用价值相对不足。
现有技术中通常使用与DVS分辨率（比如256×256）线性相关数量的存储空间（比如256×256×32 bit），但对于超低功耗（毫瓦级）的神经拟态（Neuromorphic）芯片而言，即便是如此规模的存储空间所消耗的能量在整个芯片中所占比例也已凸显，理想的DVS降噪方案不应占用较大存储空间等硬件资源。而某些方案，虽然仅占用较少的硬件资源实现降噪，且获得不错的降噪性能，但是该方案可能误伤部分有效事件，其降噪性能还有提升空间。
理想地，本领域期待这样一种降噪方案：能够针对多种类型的噪声，可以高速实时、准确地过滤，同时计算资源和存储资源消耗少、功耗低，且在硬件中容易实现。
发明内容
为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：
一种降噪装置，被用于对事件成像装置输出的输出事件集合进行降噪，所述输出事件集合包括待判别事件，所述输出事件集合中的每个事件至少包括坐标信息和时间戳信息，所述降噪装置包括：第一存储空间，其被配置为：根据事件生成或获取到的先后顺序，先入先出地将所述输出事件集合的坐标信息和时间戳信息存储至第一存储空间中； 时域聚类模块，其被配置为：根据第一存储空间所存储的时间戳信息，确定与待判别事件的时间戳之差在设定范围内的事件，构成第一事件集合；空域聚类模块，其被配置为：根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；如果所述第一事件集合中有达到预设数量的事件，则待判别事件为有效事件，否则为噪声事件。此处的输出事件集合为若干事件所组成的集合。
在某类实施例中，所述第一存储空间被实施为移位寄存器。
在某类实施例中，所述待判别事件是待移入第一存储空间中的新事件，或者，所述待判别事件是在第一存储空间中具有预设移入深度的事件。
在某类实施例中，根据第一存储空间中存储的输出事件集合的时间戳信息与待判别事件的时间戳信息之差，确定第一事件集合；或者，将第一存储空间中的事件划分在不同的窗口内，根据窗口内最早生成或获取的事件的时间戳信息与待判别事件的时间戳信息之差，确定第一事件集合。
在某类实施例中，并行地计算事件的时间戳信息与待判别事件的时间戳信息之差。
在某类实施例中，若第一事件集合或第一存储空间中所存储的第二事件的坐标信息，与待判别事件的坐标信息相同，则至少清空该第二事件的坐标信息。可选地，该清空后的事件可以继续参与第一存储空间中的移位操作。
在某类实施例中，所述降噪装置还包括第二存储空间，根据待判别事件坐标的预设距离范围的大小，确定该第二存储空间中存储单元的数量；依据第一事件集合中事件的坐标信息，将第一事件集合中的事件映射至第二存储空间中对应坐标的存储单元中。
在某类实施例中，映射至第二存储空间中对应坐标的存储单元的值为1，且多次映射至第二存储空间的同一存储单元，并不增加该存储单元的值；如果第一事件集合中没有事件映射至第二存储空间中的某个存储单元，则该存储单元的值为0。进一步地，对第二存储空间中的所有存储单元的值求和，获得关系值总和。
在某类实施例中，所述降噪装置还包括距离关系值计算模块，其被配置为：根据第一事件集合中的事件的坐标信息与待判别事件的坐标信息之间的距离，判断第一事件集合中的该事件是否在待判别事件坐标的预设距离范围以内，若是则第一事件集合中的事件与待判别事件的距离关系值为1，否则为0；所述降噪装置还包括关系值求和模块，其被配置为：对第一事件集合中所有的事件与待判别事件之间的距离关系值求和，得到关系值总和；所述降噪装置还包括噪声判断模块，其被配置为：根据所述关系值总和判断所述待判别事件是否为噪声事件。
在某类实施例中，获取第一存储空间中所包括的第三事件的时间戳信息，以及第一存储空间中最新存入的事件的时间戳信息或待移入第一存储空间中的新事件的时间戳信息，计算二者之间的时间戳之差，若该时间戳之差小于预设的黑噪阈值，则至少判定晚于第三事件之后生成或获取的事件为噪声事件。
在某类实施例中，所述的降噪装置被实施在事件成像装置中，或事件成像装置与神经拟态芯片之间的接口电路中，或FPGA中。
一种降噪方法，被用于对事件成像装置输出的输出事件集合进行降噪，所述输出事件集合包括待判别事件，所述输出事件集合中的每个事件至少包括坐标信息和时间戳信息，其特征在于，所述降噪方法包括如下步骤：根据事件生成或获取到的先后顺序，先入先出地将所述输出事件集合的坐标信息和时间戳信息存储至第一存储空间中； 根据第一存储空间所存储的时间戳信息，确定与待判别事件的时间戳之差在设定范围内的事件，构成第一事件集合；根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；如果所述第一事件集合中有达到预设数量的事件，则待判别事件为有效事件，否则为噪声事件。
在某类实施例中，所述待判别事件是待移入第一存储空间中的新事件，或者，所述待判别事件是在第一存储空间中具有预设移入深度的事件。
在某类实施例中，并行地计算事件的时间戳信息与待判别事件的时间戳信息之差。
在某类实施例中，若第一事件集合或第一存储空间中所存储的第二事件的坐标信息，与待判别事件的坐标信息相同，则至少清空该第二事件的坐标信息。可选地，该清空后的事件可以继续参与第一存储空间中的移位操作。
在某类实施例中，获取第一存储空间中所包括的第三事件的时间戳信息，以及第一存储空间中最新存入的事件的时间戳信息或待移入第一存储空间中的新事件的时间戳信息，计算二者之间的时间戳之差，若该时间戳之差小于预设的黑噪阈值，则至少判定晚于第三事件之后生成或获取的事件为噪声事件。
在某类实施例中，将过滤后的事件：用于判断是否有目标物体运动，或用于基于帧的相机的曝光过程。
一种芯片，其特征在于：该芯片包括如前任意一项所述的降噪装置，或应用如前任意一项所述的降噪方法。
一种事件成像装置，该事件成像装置包括如前任意一项所述的降噪装置，或应用如前任意一项所述的降噪方法。进一步地，所述事件成像装置为DVS，且其自带降噪方案，便于后一级系统直接处理有效事件数据。
一种电子设备，该电子设备包括事件成像装置，该电子设备还包括如前任意一项所述的降噪装置，或应用如前任意一项所述的降噪方法，以实现对事件成像装置输出的事件降噪。
本发明的部分或全部实施例，具有如下有益技术效果：
1、硬件资源消耗低，并且不跟随事件成像装置分辨率的增大而显著增大。进一步，这将降低芯片的硅面积/硅成本，降低芯片静态功耗。在某实施例中，本发明消耗的存储资源仅是现有技术的0.5%。
2、实时性高。由于支持并行计算，因此时间复杂度极低，支持对高速事件流的实时处理。这对于方案能否投入实际应用十分重要。
3、降噪效果突出。本发明可以准确过滤噪声事件，保留有效事件，对有效事件的误伤少。
4、支持多种类型噪声过滤。除了常规噪声外，还可以简单、便捷地过滤黑噪声、黑块噪声。
5、方案易于硬件实现。本发明不涉及迭代运算、消耗大量计算资源的复杂运算，因此易于硬件实现。
更多的有益效果将在优选实施例中作进一步的介绍。
以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。
本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
图1是本发明噪声过滤方案中的时域过滤示意图；
图2是基于窗口的时域过滤示意图；
图3是针对第一事件集合的空域过滤示意图；
图4是某实施例中距离关系值判别示意图；
图5是针对第一事件集合的另一类空域过滤示意图；
图6是针对黑噪声或黑块噪声的过滤方案示意图；
图7是随机噪声被过滤前后的效果图；
图8是实际抛物过程的降噪效果图；
图9是对活动中的人的降噪效果图。
具体实施方式
由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。
除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。
本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例；基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。
部分重要术语及符号解释：
ei：标号为i的事件，其中i为正整数。
diff(e0,ei)：标号为0的新事件与标号为i的事件之间的横坐标、纵坐标差值，是一个向量，比如（1,3）。
d(e0,ei)：简写为d(0,i)，新事件e0的坐标信息（x0,y0）与事件ei的坐标信息（xi,yi）之间的某种距离度量，某种实施例下其可以被定义为一个标量。
R(e0,ei)：简记为R(0,i)，表示新事件e0与事件ei之间的距离关系值。Rs是若干距离关系值的和，称为关系值总和。
xi,yi,ti：分别为标号为i的事件ei的横坐标、纵坐标、时间戳。
事件成像装置：其包括多个事件成像单元，每个成像单元接收外界光线敏感变化而独立触发是否发放事件，其工作方式是异步的，没有传统图像中帧的概念。
神经拟态芯片：也称类脑芯片，其仿照生物神经元的工作方式，推理输入信号。芯片中包括大量神经元电路，在神经元被激活后，会发放脉冲或脉冲事件。
热像素噪声：由于某些事件成像单元不能正常工作，因而会持续产生脉冲事件。
本发明的噪声过滤方案包括时域部分和空域部分，装置方案和对应的方法方案被合并描述。参考图1，其展示的是本发明噪声过滤方案中的时域过滤部分。在时域过滤部分，包括第一存储空间，优选地其被实施为移位寄存器，也可以被实施为遵循先入先出原则的RAM存储器，本发明对此不做限定。
事件成像装置，比如DVS，受噪声干扰或/和运动目标的影响，生成脉冲事件（简称事件）构成的序列，这些输出事件集合通常包括产生事件的成像单元在事件成像装置中的坐标信息（或位置信息），比如横坐标、纵坐标；事件生成时的时间戳信息；以及其它信息，比如极性信息。
新事件e0（待判别事件）为事件成像装置当前最新生成的事件，其坐标为（x0,y0），其时间戳为t0。第一存储空间包括若干存储单元，并被用于存储这些事件的至少坐标信息和时间戳信息。比如第一存储空间有n个存储单元，其存储有事件e1~en中每一个事件的坐标信息和时间戳信息，每个存储单元存储一个事件的坐标信息和时间戳信息，其中n为一正整数。举例而言，事件en被存储在第一存储空间中的信息为（xn,yn,tn），其中（xn,yn）为该事件的坐标信息，tn为时间戳信息，具体对应第n存储单元。虽然第一存储空间只是被用于存储事件的至少时间戳信息和坐标信息，为了简便描述，本发明中可以视第一存储空间存储是对应该时间戳信息和坐标信息的事件。比如，新事件是待移入第一存储空间中的事件。
第一存储空间遵循先入先出的存储原则。举例而言，将存储en坐标信息和时间戳信息的存储单元中的信息移除，然后将事件en-1的坐标信息和时间戳信息写入之前存储en坐标信息和时间戳信息的存储单元，以此类推，将事件e1的坐标信息和时间戳信息写入之前存储e2坐标信息和时间戳信息的存储单元，将新事件e0的坐标信息和时间戳信息写入之前存储e1坐标信息和时间戳信息的存储单元。换言之，按事件生成的顺序（时间戳）或者第一存储空间获取到的顺序，依次将事件的坐标信息和时间戳信息存入第一存储空间的各个存储单元，当然这里各个存储单元存储的信息可以不限于坐标信息和时间戳信息。
此外，本发明中第一存储空间可以是连续的存储空间，也可以是分离的多个子存储空间。比如，坐标信息和时间戳信息可以分开存储，本发明对第一存储空间的实施方式不做限定。
降噪装置还包括时域聚类模块：依据第一时间阈值Tθ，确定待判别事件的第一事件集合。具体地，判断存储在第一存储空间中的事件的时间戳信息（t1 ,t2, t3,…, tn）与新事件的时间戳信息t0之间的差值与第一时间阈值之间的大小关系，找到生成时间最久的且与新事件的时间戳信息t0之间的差值小于第一时间阈值（比如20毫秒）的事件。参考图1，该示例中事件e6是符合该条件的事件，进而第一事件集合被确定为e1~ e6。
确定第一事件集合的方式可以有多种。比如，按照事件e1~en的发生顺序依次计算事件的时间戳与t0差值，并与第一事件阈值比较大小，首次发现前述大小关系翻转处，即可确定第一事件集合。当然，也可以倒序进行判断，比如按照事件en~e1的发生顺序。
替代地，某种判别方式是利用“前进-倒退”方法，可以通过贪心算法（若大小关系不变则成倍增加步长，否则倒退，比如某搜索寻顺序为e1-e2-e4-e8-e16-e12-e14-e13）向前搜索到出现前述大小关系翻转处，这在第一存储空间较大时效率较高。
替代地，也可以利用二分法直接从中间位置处开始判断，n为偶数时中间位置为n/2，n为奇数时中间位置为(n+1)/2或者(n-1)/2，然后逐步缩小范围确定大小关系翻转处。
替代地，并行地将所有大小关系判定出来后，搜寻首次大小关系翻转处，确定第一事件集合。任意合理确定第一事件集合的方法均是可行的，本发明中对此不做限定。
第一事件集合是时域聚类结果，其是存储于第一存储空间中全部事件的子集。然而在图2所示的第二类实施例中，还可以通过划分窗口的方式来确定第一事件集合。这样做的好处是，减少寻找计算前述大小关系的计算量，同时划分窗口的方式具有很高的灵活性，例如，对于慢动作，每个窗口可以短一些，对于快动作，每个窗口可以长一些。可以按照固定存储单元数量（图2中为3个存储单元为一个窗口）划分一个窗口，也可以划分为事件数量不等的若干窗口，可根据实际情况进行划分。
可设定每个窗口的最后一事件的时间戳（t3，t6，t9，…，tn，n为正整数）作为该窗口的时间戳（T1，T2，T3，…，Tk，k为正整数）。计算窗口的时间戳与t0差值，并与第一时间阈值Tθ比较大小，首次发现前述大小关系翻转处，即可确定第一事件集合。比如T2-t0 <Tθ且T3-t0 >Tθ，该种条件可以确定第1~2窗口内的事件（e1~ e6）构成第一事件集合。该实施例与前一类实施例所确定的第一事件集合中的事件可能并不完全相同，因为划分窗口后，粒度变粗，但事件数量的偏差不会超过一个窗口内包含的事件数量，但是好处是计算量的降低。
进一步地，可串行（顺序或者倒序）或/和并行计算各窗口的时间戳与t0的差值，首次发现大小关系翻转处，即可确定第一事件集合。
参考图3，接着将第一事件集合（而非第一存储空间中的所有事件）作为时域聚类结果，参与后续的空域聚类。在某类实施例中，基于新事件e0的坐标信息与第一事件集合中的每一事件（e1~ em）的坐标信息完成空域聚类，并最终判断新事件是噪声事件或者有效事件。
参考图4，新事件e0的坐标为（x0,y0），从空域角度，如果该新事件周围一定范围内，比如（x0±d, y0±d）范围内所发生的事件，与新事件属于同一聚类事件，比如逻辑上认为这些事件属于某目标对象触发的某个区域内事件成像单元的改变，其中d为一实数。当然这里限定的一定范围，可以根据实际应用需要，而设置成多种方式，比如长方形、圆形等等，本发明不以此为限。
继续参考图3，为了完成空域聚类判断，本发明的某类实施例中，在距离关系值计算模块中，可以采取基于距离关系值R（e0,ei）来对信息降维。示例地，在某优选实施例中，从数学上描述如下：
其中，R（e0,ei）（简记为R(0,i)）表示新事件e0与事件ei之间的距离关系值，若新事件e0的坐标信息（x0,y0）与事件ei的坐标信息（xi,yi）之间的距离d(e0,ei)（简记为d(0,i)）在某个设定的距离d以内，则距离关系值为1，否则距离关系值为0，其中i为正整数，d为第一阈值，比如d=8。
显然距离关系值的定义可以是多种多样的，比如数值上可以不必为1与0，还可以是2与0、1与0.01、-1与0，1与-1等等，这些定义可能会导致在判断是否为噪声事件上的逻辑调整乃至逻辑反转，但这些逻辑适应对本领域技术人员而言显而易见的，本发明不以此为限。
此外，显然
的定义也可以是多种多样的，举例地，在某些优选实施例中，其可以被定义为：
，或者为
且
。事实上，原则上任何能表征新事件e0与事件ei的距离远近的量化方式，都可以作为新事件e0与事件ei之间的距离关系值，本发明不以该些例子为限。而至于与第一阈值d比较大小时，是使用“≤”还是“＜”的边界逻辑，也是可以根据需要而做可以形成不同实施例，本发明同样不以此为限。
关系值求和模块对第一事件集合中的所有事件与新事件之间的距离关系值求和，获得关系值总和Rs。基于该关系值总和Rs与第二阈值的比较结果，噪声判断模块判决新事件是噪声事件或者有效事件。比如在前述设定的距离关系值为1和0的实施例中，若关系值总和Rs小于（或≤）第二阈值，则认为新事件为噪声事件，否则认为新事件为有效事件。换言之，这里若判断新事件与第一事件集合中的事件形成了有效聚类即认为该事件是有效事件，否则为噪声事件。
对于有些热像素噪声（hot pixel），其发放（fire）频率极高（数千至数万赫兹），其特征是在很短的时间段内，同一热像素位置会产生很多噪声事件，因此这可能会导致第一事件集合（乃至第一存储空间）中充斥大量这样的热像素事件。因此在某优选实施例中，还可以设置一个坐标去重模块。坐标去重模块将对第一事件集合中的事件进行去重，即将坐标信息相同的事件去重。本发明中，去重的手段或含义可以是仅仅保留坐标信息相同的输出事件集合中的一个，也可是直接过滤掉存在坐标信息相同的全部事件。
若第一事件集合中的事件个数为整数m，在某类实施例中，可以通过计算新事件与第一事件集合中每一事件的横坐标距离和纵坐标距离，若横坐标距离和纵坐标距离均相等，即该事件是相同事件成像单元所发放的事件。当然也可以直接对事件的坐标值进行比对后过滤，还可以设置第三阈值，对相同事件数量大于第三阈值的事件进行去重，本发明不以此为限。设经过过滤后的事件数量为整数m’，其中m’ ≤m。
虽然一个简单的去重方案是前述的根据事件的坐标信息依次一一比对后去重，且前述的整数m一般不会太大，但是方案的时间复杂度是o(m2)，这对实时性会有一定的影响，方案依然有进一步改进的空间。
为了提升去重的时间效率，在某类优选实施例中，在计算新事件e0至少与第一事件集合中的每个事件（e1~ em）的横坐标距离和纵坐标距离后，若某第二事件（可以不止一个，比如e2）的坐标信息与新事件e0的坐标信息完全相等，比如计算新事件e0和事件e2的横、纵坐标差值diff(e0,e2)=（0，0），那么事件e2很有可能就是一个热像素噪声事件，且我们判定其为热像素噪声事件。当然上述距离计算部分可以不限于第一事件集合，其完全可以针对第一存储空间中部分或全部事件，均计算其与新事件的距离，并且至硬件上，该计算完全可以优选为并行计算，对应的时间复杂度则为o(1)。
对于该判定的热像素噪声事件，可以采取不同的方案。进一步地，在某优选实施例中，可以至少将第一事件集合或第一存储空间中的热像素噪声事件清空。本发明中清空的手段或含义，可以是将热像素噪声事件在第一存储空间中至少坐标信息或/和时间戳修改成某些非正常值或非常规值。比如，如果DVS的像素坐标范围在[0~127, 0~127]之间，那么可以将前述事件e2的坐标修改为（129，129）或（-1，-1）等。可选地，该修改后的噪声事件继续参与第一存储空间中的后续事件移位操作。此时对于后续的距离关系值计算以及关系值求和，举例而言，可以采取如下方案：
1、将计算后横坐标距离、纵坐标距离均为0的坐标距离，均修改为使得距离关系值翻转的横坐标距离和纵坐标距离。比如前述例子中，diff(e0,e2)=（0，0）且d=8，可以修改diff(e0,e2)为（9，9），那么修改前R（0,2）=1，修改后R（0,2）=0。
2、在计算距离关系值时，对于diff(e0,ei)=（0,0）这种情况予以特例化。比如前述计算R（0,i）时，若diff(e0,ei)=（0,0），根据前述数学公式的描述，R（e0,ei）本应当为1，然而特例化后，则认为该种情况下R（e0,ei）为0，其中i为正整数。
换言之，应当使得第一存储空间或第一事件集合中的热像素噪声事件不会对在判断别的事件（比如新事件e0）是否为噪声时，增大该事件被判别为有效事件的可能性。前述将R（e0,ei）从1修改为0，正是出于这方面的努力。
为了提升去重的时间效率，在另一类优选实施例中，不必在第一事件集合或第一存储空间中清空热噪声事件。针对坐标信息为（x0，y0）的新事件，举例而言，假定坐标信息在（x0±dx/2，y0±dy/2）范围以内的事件与新事件的距离关系值为1，否则为0，其中dx和dy是预设的正实数。
在该类实施例中，设置一个有dx×dy个存储单元的第二存储空间，该第二存储空间中的每个存储单元可以只存储代表0、1的数值，第二存储空间的坐标范围为[-dx/2~dx/2，-dy/2~dy/2]。计算新事件e0和事件ei的横、纵坐标差值diff(e0,ei)=（xi，yi）后，若坐标（xi，yi）在[-dx/2~dx/2，-dy/2~dy/2]以内，则将第二存储空间坐标为（xi，yi）的存储单元的值计为1；若坐标（xi，yi）在[-dx/2~dx/2，-dy/2~dy/2]之外，则不需要对第二存储空间中的值做任何修改；若第二存储空间坐标为（xi，yi）的存储单元的值已经为1，则并不再增加其计数（不累加1）；因为事件ei极有可能是热像素噪声，某类实施例中，甚至可以将已存储的1置零。
替代地，在某类实施例中，出于某些其它目的，即便允许对某一存储单元中的距离关系值累加计数，然而在计算关系值总和时，因为第二存储空间规模已知，因此可以通过统计第二存储空间中0的个数逆向获取关系值总和Rs。
上述实施例中，直接筛选出距离关系值为1的事件，并在第二存储空间中对应存储距离关系值为1的值。因为最多只能计数1次，第一事件集合中的相同位置处的热像素噪声事件并不能累积距离关系值。
针对新事件的第一事件集合中的所有事件执行如上操作后，将第二存储空间中的所有数值求和，即完成了关系值求和模块的功能，获得关系值总和Rs。优选地，在求和过程中/后，可以同时将已读取的且代表1的存储单元置零。
本发明中，仅仅通过n个存储事件坐标信息和时间戳的存储单元，以及某些实施例中再辅以dx×dy个存储单元，即可实现噪声事件过滤，且这些存储单元的规模基本不受事件成像装置的分辨率影响。数值n+dx×dy（举例而言，256+8×8=320），通常都会远远小于事件成像装置的分辨率规模（举例而言，256×256=65536），因此本发明对硬件资源的消耗远小于已知的某些现有技术，这对实现超低功耗芯片具有重要意义。
参考图5，其是本发明所提出的针对第一事件集合空域过滤的另一类实施例。与图3代表的实施例不同的是，该类实施例不立即判断新事件e0是否是噪声事件，而是在将某一个事件，比如事件e4移入第一存储空间中一定深度后，再对该事件e4（待判别事件）是否为噪声事件进行判断，其判断逻辑与前述的多个实施例相同，此处以引用前述描述的方式将其引入此处，在此不再赘述。其中，在确定第一事件集合时，确定与待判别事件发生的时间差（比如，时间戳的差值）在设定范围内的事件为第一事件集合中的元素。第一事件集合中的事件，可以先于待判别事件发生（e5~em），也可以晚于待判别事件发生（e1~e3）。
移入一定深入后，再判断该事件是否为噪声事件的好处是：运动目标的边缘刚生成的新事件可能因为其附近空间区域所积累的事件不足而在前述实施例中被判别为噪声事件，影响成像效果，而移入一定深度后，则允许后续的事件有机会与之形成有效聚类，因而虽然引入一定延迟但是能有效避免该类事件的误判，提升准确度。
参考图6，其展示的增加黑噪声或黑块噪声的过滤方案。黑噪声或黑块噪声是一种频率尤其高的噪声，是由于事件成像装置对于全部或部分为黑色区块的物体，或者在低光（或无光）条件下频繁的误触发所产生，其特征是噪声事件几乎无间隔连续输出，触发频率远高于正常事件的触发频率，触发周期通常小于10微秒，频率在10万赫兹以上。
在本发明前述实施例中，十分便于实施黑噪声或黑块噪声判别方案。由于第一存储空间中依照时间戳顺序存储了大量的事件，设定某个整数p，第三事件ep与第一存储空间中最新存入事件e1（另一实施例中则为新事件e0）之间的时间差为tp-t1，若tp-t1<Tb，则可以直接判定第三事件ep与事件e1之间的事件均为黑噪声或黑块噪声（高频噪声），否则不是黑噪声或黑块噪声，其中tp和t1分别为第三事件ep与事件e1的时间戳，Tb为第四阈值或黑噪阈值。比如，假定发放频率不低于3微秒的事件为黑噪声，p=100，那么Tb可以设置为300微秒。
借助于本发明显著的噪声过滤效果，对噪声事件和有效事件能有效区分，在有目标物体在事件成像装置前运动，才会输出有效事件，仅有噪声事件而没有目标物体在事件成像装置前运动，则无有效事件输出。基于此，跳出噪声过滤目的本身，本发明可以基于是否检测到有效事件来判断是否有目标物体运动发生，对于后级系统而言，前端如同设置有开（有目标物体运动）、关（无目标物体运动）功能，这在某些应用场景下会有重要或特殊用途。常规过滤方案因无法彻底滤除噪声，总会有不少数量的噪声事件无法被滤除，因而无法实现该功能。
前述的降噪装置被实施在事件成像装置中，或事件成像装置与神经拟态芯片之间的接口电路中，或FPGA中。
此外，针对事件成像装置所生成的事件，除了使用神经拟态计算来处理这些事件外，目前还有一条技术方向是使用传统的人工神经网络来处理所述事件。传统的人工神经网络技术均以帧的形式处理图像或视频信息，而静态的帧图像缺乏物体运动轨迹这种动态信息，而捕捉轨迹信息正是事件成像装置的长处。为了提升人工神经网络的性能，目前一些研究致力于将事件成像装置捕捉的动态信息加入人工神经网络中，以提升网络性能。本发明因为能有效过滤噪声事件，因此所输出的有效事件代表了物体的运动轨迹数据，将优质的轨迹数据送入人工神经网络，可以有效提升人工神经网络的性能表现。
当然，对于过滤后的有效事件的使用可以不限于利用轨迹信息，在某类实施例中，可以是利用事件成像装置的高动态范围（>120dB，传统相机大约是45-90dB），来辅助提升传统基于帧的相机的曝光性能。比如汽车穿越隧道时，光线明暗变化极大，而事件成像装置（比如DVS）可以提前捕捉到传统相机无法看清的过于明亮或过于黑暗处的事物。
此外，本发明还公开：一种芯片，该芯片包括如前任意一项所述的降噪装置，或应用如前任意一项所述的降噪方法。比如，该芯片为神经拟态芯片。
一种事件成像装置，该事件成像装置包括如前任意一项所述的降噪装置，或应用如前任意一项所述的降噪方法。比如，该事件成像装置为DVS。
一种电子设备，该电子设备包括事件成像装置，该电子设备还包括如前任意一项所述的降噪装置，或应用如前任意一项所述的降噪方法，以实现对事件成像装置输出的事件降噪。比如该电子设备为智能家电等。
图7展示的是随机噪声被过滤前后的效果图。在降噪前，事件成像装置输出大量的随机噪声，而采用前述的在第一事件集合中清空热像素的降噪方案后，噪声全部被滤除。
图8展示的是实际抛物过程的降噪效果图。降噪前，伴随物体运动过程中，出现大量的随机噪声。而降噪后，只有代表抛物轨迹的事件被保留。直观地，降噪前后代表运动轨迹的事件基本一致，由此可见本发明降噪方案并未对有效事件造成严重误伤。此外，图7和图8中时间轴的单位是微秒。
图9则展示的是活动中的人的降噪效果图。降噪前，人物周围有不少噪点，但是降噪后，绝大部分的噪点均被消除。以上实施例所取参数如下：第一时间阈值为10毫秒，寄存器长度n=256，距离d=16，第二阈值为6~8。
尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。
因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。
为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。
结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。
Claims (20)
1.一种降噪装置，被用于对事件成像装置输出的输出事件集合进行降噪，所述输出事件集合包括待判别事件，所述输出事件集合中的每个事件至少包括坐标信息和时间戳信息，其特征在于，所述降噪装置包括：
第一存储空间，其被配置为：根据事件生成或获取到的先后顺序，先入先出地将所述输出事件集合的坐标信息和时间戳信息存储至第一存储空间中；
时域聚类模块，其被配置为：根据第一存储空间所存储的时间戳信息，确定与待判别事件的时间戳之差在设定范围内的事件，构成第一事件集合；
空域聚类模块，其被配置为：根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；
如果所述第一事件集合中有达到预设数量的事件，则待判别事件为有效事件，否则为噪声事件。
2.根据权利要求1所述的降噪装置，其特征在于：所述第一存储空间被实施为移位寄存器。
3.根据权利要求1所述的降噪装置，其特征在于：所述待判别事件是待移入第一存储空间中的新事件，或者，所述待判别事件是在第一存储空间中具有预设移入深度的事件。
4.根据权利要求1所述的降噪装置，其特征在于：根据第一存储空间中存储的输出事件集合的时间戳信息与待判别事件的时间戳信息之差，确定第一事件集合；或者，将第一存储空间中的事件划分在不同的窗口内，根据窗口内最早生成或获取的事件的时间戳信息与待判别事件的时间戳信息之差，确定第一事件集合。
5.根据权利要求4所述的降噪装置，其特征在于：并行地计算事件的时间戳信息与待判别事件的时间戳信息之差。
6.根据权利要求1所述的降噪装置，其特征在于：若第一事件集合或第一存储空间中所存储的第二事件的坐标信息，与待判别事件的坐标信息相同，则至少清空该第二事件的坐标信息。
7.根据权利要求1所述的降噪装置，其特征在于：所述降噪装置还包括第二存储空间，根据待判别事件坐标的预设距离范围的大小，确定该第二存储空间中存储单元的数量；依据第一事件集合中事件的坐标信息，将第一事件集合中的事件映射至第二存储空间中对应坐标的存储单元中。
8.根据权利要求7所述的降噪装置，其特征在于：映射至第二存储空间中对应坐标的存储单元的值为1，且多次映射至第二存储空间的同一存储单元，并不增加该存储单元的值；如果第一事件集合中没有事件映射至第二存储空间中的某个存储单元，则该存储单元的值为0。
9.根据权利要求1所述的降噪装置，其特征在于：所述降噪装置还包括距离关系值计算模块，其被配置为：根据第一事件集合中的事件的坐标信息与待判别事件的坐标信息之间的距离，判断第一事件集合中的事件是否在待判别事件坐标的预设距离范围以内，若是则第一事件集合中的事件与待判别事件的距离关系值为1，否则为0；
所述降噪装置还包括关系值求和模块，其被配置为：对第一事件集合中所有的事件与待判别事件之间的距离关系值求和，得到关系值总和；
所述降噪装置还包括噪声判断模块，其被配置为：根据所述关系值总和判断所述待判别事件是否为噪声事件。
10.根据权利要求1所述的降噪装置，其特征在于：获取第一存储空间中所包括的第三事件的时间戳信息，以及第一存储空间中最新存入的事件的时间戳信息或待移入第一存储空间中的新事件的时间戳信息，计算二者之间的时间戳之差，若该时间戳之差小于预设的黑噪阈值，则至少判定晚于第三事件之后生成或获取的事件为噪声事件。
11.根据权利要求1至10任意一项所述的降噪装置，其特征在于：所述的降噪装置被实施在事件成像装置中，或事件成像装置与神经拟态芯片之间的接口电路中，或FPGA中。
12.一种降噪方法，被用于对事件成像装置输出的输出事件集合进行降噪，所述输出事件集合包括待判别事件，所述输出事件集合中的每个事件至少包括坐标信息和时间戳信息，其特征在于，所述降噪方法包括如下步骤：
根据事件生成或获取到的先后顺序，先入先出地将所述输出事件集合的坐标信息和时间戳信息存储至第一存储空间中；
根据第一存储空间所存储的时间戳信息，确定与待判别事件的时间戳之差在设定范围内的事件，构成第一事件集合；
根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；
如果所述第一事件集合中有达到预设数量的事件，则待判别事件为有效事件，否则为噪声事件。
13.根据权利要求12所述的降噪方法，其特征在于：所述待判别事件是待移入第一存储空间中的新事件，或者，所述待判别事件是在第一存储空间中具有预设移入深度的事件。
14.根据权利要求12所述的降噪方法，其特征在于：并行地计算事件的时间戳信息与待判别事件的时间戳信息之差。
15.根据权利要求12所述的降噪方法，其特征在于：若第一事件集合或第一存储空间中所存储的第二事件的坐标信息，与待判别事件的坐标信息相同，则至少清空该第二事件的坐标信息。
16.根据权利要求12所述的降噪方法，其特征在于：获取第一存储空间中所包括的第三事件的时间戳信息，以及第一存储空间中最新存入的事件的时间戳信息或待移入第一存储空间中的新事件的时间戳信息，计算二者之间的时间戳之差，若该时间戳之差小于预设的黑噪阈值，则至少判定晚于第三事件之后生成或获取的事件为噪声事件。
17.根据权利要求12至16任意一项所述的降噪方法，其特征在于：将过滤后的事件：用于判断是否有目标物体运动，或用于基于帧的相机的曝光过程。
18.一种芯片，其特征在于：该芯片包括如权利要求1-10任意一项所述的降噪装置，或应用权利要求12-17任意一项所述的降噪方法。
19.一种事件成像装置，其特征在于：该事件成像装置包括如权利要求1-10任意一项所述的降噪装置，或应用权利要求12-17任意一项所述的降噪方法。
20.一种电子设备，该电子设备包括事件成像装置，其特征在于：该电子设备还包括如权利要求1-11任意一项所述的降噪装置，或应用权利要求12-17任意一项所述的降噪方法，以实现对事件成像装置输出的事件降噪。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111522469.8A CN113923319B (zh) | 2021-12-14 | 2021-12-14 | 降噪装置、方法、芯片、事件成像装置及电子设备 |
| PCT/CN2021/141813 WO2023092798A1 (zh) | 2021-11-25 | 2021-12-27 | 动态视觉传感器的噪声过滤 |
| US18/260,206 US20240064422A1 (en) | 2021-11-25 | 2021-12-27 | Noise filtering for dynamic vision sensor |
| KR1020237001162A KR20230078991A (ko) | 2021-11-25 | 2021-12-27 | 노이즈 저감 장치, 클러스터 노이즈 저감 장치 및 칩 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111522469.8A CN113923319B (zh) | 2021-12-14 | 2021-12-14 | 降噪装置、方法、芯片、事件成像装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113923319A true CN113923319A (zh) | 2022-01-11 |
| CN113923319B CN113923319B (zh) | 2022-03-08 |
Family
ID=79249104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111522469.8A Active CN113923319B (zh) | 2021-11-25 | 2021-12-14 | 降噪装置、方法、芯片、事件成像装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113923319B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115412688A (zh) * | 2022-10-31 | 2022-11-29 | 深圳时识科技有限公司 | 闪烁噪声过滤方法及装置、传感器、芯片及电子设备 |
| CN115412687A (zh) * | 2022-10-31 | 2022-11-29 | 深圳时识科技有限公司 | 主被动结合的降噪装置、方法、视觉传感器和芯片 |
| CN115412686A (zh) * | 2022-10-31 | 2022-11-29 | 深圳时识科技有限公司 | 融合降噪方法及装置、传感器、芯片及电子设备 |
| CN116757968A (zh) * | 2023-08-18 | 2023-09-15 | 深圳时识科技有限公司 | 降噪方法及装置、芯片、事件成像装置和电子设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106491153A (zh) * | 2016-12-29 | 2017-03-15 | 上海联影医疗科技有限公司 | 一种pet散射校正方法、pet成像方法及pet成像系统 |
| CN106991650A (zh) * | 2016-01-21 | 2017-07-28 | 北京三星通信技术研究有限公司 | 一种图像去模糊的方法和装置 |
| CN107025660A (zh) * | 2016-02-01 | 2017-08-08 | 北京三星通信技术研究有限公司 | 一种确定双目动态视觉传感器图像视差的方法和装置 |
| CN107220942A (zh) * | 2016-03-22 | 2017-09-29 | 三星电子株式会社 | 用于动态视觉传感器的图像表示和处理的方法和装置 |
| US20180039601A1 (en) * | 2016-08-02 | 2018-02-08 | Samsung Electronics Co., Ltd. | Event signal processing method and apparatus |
| CN109815876A (zh) * | 2019-01-17 | 2019-05-28 | 西安电子科技大学 | 基于地址事件流特征的手势识别方法 |
| CN111031266A (zh) * | 2019-12-31 | 2020-04-17 | 中国人民解放军国防科技大学 | 基于哈希函数的动态视觉传感器背景活动噪声过滤方法、系统及介质 |
| CN111064865A (zh) * | 2019-12-31 | 2020-04-24 | 中国人民解放军国防科技大学 | 一种动态视觉传感器背景活动噪声过滤器及处理器 |
| CN111770290A (zh) * | 2020-07-29 | 2020-10-13 | 中国科学院长春光学精密机械与物理研究所 | 一种动态视觉传感器输出事件流降噪方法 |
| US20200410272A1 (en) * | 2019-06-26 | 2020-12-31 | Samsung Electronics Co., Ltd. | Vision sensor, image processing device including the vision sensor, and operating method of the vision sensor |
| CN112232356A (zh) * | 2020-11-19 | 2021-01-15 | 中国人民解放军战略支援部队航天工程大学 | 一种基于合群度和边界特征的事件相机去噪方法 |
| CN112262568A (zh) * | 2018-03-14 | 2021-01-22 | 索尼高级视觉传感股份公司 | 具有直接存储器控制的基于事件的视觉传感器 |
| CN113269683A (zh) * | 2021-04-22 | 2021-08-17 | 天津(滨海)人工智能军民融合创新中心 | 一种基于自适应阈值的局部时空事件流滤波方法与系统 |
| CN113408671A (zh) * | 2021-08-18 | 2021-09-17 | 成都时识科技有限公司 | 一种对象识别方法及装置、芯片及电子设备 |
| CN113728616A (zh) * | 2019-04-26 | 2021-11-30 | 索尼半导体解决方案公司 | 事件检测装置、包括事件检测装置的系统和事件检测方法 |
-
2021
- 2021-12-14 CN CN202111522469.8A patent/CN113923319B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991650A (zh) * | 2016-01-21 | 2017-07-28 | 北京三星通信技术研究有限公司 | 一种图像去模糊的方法和装置 |
| CN107025660A (zh) * | 2016-02-01 | 2017-08-08 | 北京三星通信技术研究有限公司 | 一种确定双目动态视觉传感器图像视差的方法和装置 |
| CN107220942A (zh) * | 2016-03-22 | 2017-09-29 | 三星电子株式会社 | 用于动态视觉传感器的图像表示和处理的方法和装置 |
| US20180039601A1 (en) * | 2016-08-02 | 2018-02-08 | Samsung Electronics Co., Ltd. | Event signal processing method and apparatus |
| CN106491153A (zh) * | 2016-12-29 | 2017-03-15 | 上海联影医疗科技有限公司 | 一种pet散射校正方法、pet成像方法及pet成像系统 |
| CN112262568A (zh) * | 2018-03-14 | 2021-01-22 | 索尼高级视觉传感股份公司 | 具有直接存储器控制的基于事件的视觉传感器 |
| CN109815876A (zh) * | 2019-01-17 | 2019-05-28 | 西安电子科技大学 | 基于地址事件流特征的手势识别方法 |
| CN113728616A (zh) * | 2019-04-26 | 2021-11-30 | 索尼半导体解决方案公司 | 事件检测装置、包括事件检测装置的系统和事件检测方法 |
| US20200410272A1 (en) * | 2019-06-26 | 2020-12-31 | Samsung Electronics Co., Ltd. | Vision sensor, image processing device including the vision sensor, and operating method of the vision sensor |
| CN111064865A (zh) * | 2019-12-31 | 2020-04-24 | 中国人民解放军国防科技大学 | 一种动态视觉传感器背景活动噪声过滤器及处理器 |
| CN111031266A (zh) * | 2019-12-31 | 2020-04-17 | 中国人民解放军国防科技大学 | 基于哈希函数的动态视觉传感器背景活动噪声过滤方法、系统及介质 |
| CN111770290A (zh) * | 2020-07-29 | 2020-10-13 | 中国科学院长春光学精密机械与物理研究所 | 一种动态视觉传感器输出事件流降噪方法 |
| CN112232356A (zh) * | 2020-11-19 | 2021-01-15 | 中国人民解放军战略支援部队航天工程大学 | 一种基于合群度和边界特征的事件相机去噪方法 |
| CN113269683A (zh) * | 2021-04-22 | 2021-08-17 | 天津(滨海)人工智能军民融合创新中心 | 一种基于自适应阈值的局部时空事件流滤波方法与系统 |
| CN113408671A (zh) * | 2021-08-18 | 2021-09-17 | 成都时识科技有限公司 | 一种对象识别方法及装置、芯片及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 王含宇: "用于仿生视觉传感器的多方向运动目标识别系统设计", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115412688A (zh) * | 2022-10-31 | 2022-11-29 | 深圳时识科技有限公司 | 闪烁噪声过滤方法及装置、传感器、芯片及电子设备 |
| CN115412687A (zh) * | 2022-10-31 | 2022-11-29 | 深圳时识科技有限公司 | 主被动结合的降噪装置、方法、视觉传感器和芯片 |
| CN115412686A (zh) * | 2022-10-31 | 2022-11-29 | 深圳时识科技有限公司 | 融合降噪方法及装置、传感器、芯片及电子设备 |
| CN115412688B (zh) * | 2022-10-31 | 2023-02-03 | 深圳时识科技有限公司 | 闪烁噪声过滤方法及装置、传感器、芯片及电子设备 |
| CN116757968A (zh) * | 2023-08-18 | 2023-09-15 | 深圳时识科技有限公司 | 降噪方法及装置、芯片、事件成像装置和电子设备 |
| CN116757968B (zh) * | 2023-08-18 | 2023-11-24 | 深圳时识科技有限公司 | 降噪方法及装置、芯片、事件成像装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113923319B (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113923319B (zh) | 降噪装置、方法、芯片、事件成像装置及电子设备 | |
| US20240064422A1 (en) | Noise filtering for dynamic vision sensor | |
| US7612828B2 (en) | Progressive video detection with aggregated block SADS | |
| CN107948465B (zh) | 一种检测摄像头被干扰的方法和装置 | |
| CN114285962B (zh) | 噪声处理装置、方法、芯片、事件成像装置及电子设备 | |
| US10937132B2 (en) | Spike signal-based display method and system | |
| CN111064865B (zh) | 一种动态视觉传感器背景活动噪声过滤器及处理器 | |
| CN111027398A (zh) | 行车记录仪视频遮挡检测方法 | |
| Hung et al. | Speed up temporal median filter for background subtraction | |
| CN114078100A (zh) | 聚类降噪装置、方法、芯片、事件成像装置及电子设备 | |
| CN115442544A (zh) | 基于热像素和增强时空相关性的动态视觉事件流降噪方法 | |
| CN114885074B (zh) | 一种基于时空密度的事件相机去噪方法 | |
| Korakoppa et al. | An area efficient FPGA implementation of moving object detection and face detection using adaptive threshold method | |
| CN109030499A (zh) | 一种适用于目标缺陷连续在线检测防止缺陷数目重复计数的装置及方法 | |
| Yan et al. | Adaptive event address map denoising for event cameras | |
| CN117115451B (zh) | 一种基于时空内容相关性的自适应阈值事件相机去噪方法 | |
| CN109785358B (zh) | 一种基于循环确认机制的抗遮挡红外小目标跟踪方法 | |
| CN115412688B (zh) | 闪烁噪声过滤方法及装置、传感器、芯片及电子设备 | |
| CN115412686B (zh) | 融合降噪方法及装置、传感器、芯片及电子设备 | |
| US8861589B2 (en) | Detection and phase lock of pull-down video | |
| Oliveira et al. | FPGA architecture for static background subtraction in real time | |
| Song et al. | Hummingbird E203 RISC-V processor core-based traffic flow detection system design | |
| CN110084233A (zh) | 一种生产线视频序列中快速捕获目标的方法及系统 | |
| Prudyus et al. | Monitoring of dynamic objects by observation systems of visible range of waves | |
| JP2000059683A (ja) | 画像信号のフェード検出方法及びフェード検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Noise reduction device, method, chip, event imaging device, and electronic device Granted publication date: 20220308 Pledgee: Industrial Bank Co.,Ltd. Shanghai Hongqiao Branch Pledgor: Shanghai Shizhi Technology Co.,Ltd.|Chengdu Shizhi Technology Co.,Ltd. Registration number: Y2024310000093 |