CN115099262A - 时空脉冲信号的上采样方法、装置、设备及存储介质 - Google Patents
时空脉冲信号的上采样方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115099262A CN115099262A CN202210550446.6A CN202210550446A CN115099262A CN 115099262 A CN115099262 A CN 115099262A CN 202210550446 A CN202210550446 A CN 202210550446A CN 115099262 A CN115099262 A CN 115099262A
- Authority
- CN
- China
- Prior art keywords
- pulse signal
- signal
- sampled
- motion
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000005070 sampling Methods 0.000 title claims abstract description 43
- 230000008569 process Effects 0.000 claims description 22
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000003994 retinal ganglion cell Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种时空脉冲信号的上采样方法、装置、设备及存储介质，所述方法包括：采集目标物体的时空脉冲信号；估计所述脉冲信号的运动轨迹，并根据所述运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；将所述上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。根据本申请实施例提供的时空脉冲信号的上采样方法，可以将稀疏的脉冲信号上采样成稠密的脉冲信号，使得上采样后的脉冲信号可靠且有依据，有效解决时空脉冲信号稀疏性带来的问题，为基于脉冲信号的视觉任务提供更多有效数据，提升基于脉冲的下游任务性能。
Description
技术领域
本发明涉及信号处理技术领域，特别涉及一种时空脉冲信号的上采样方法、装置、设备及存储介质。
背景技术
神经形态视觉传感器是一种新型的仿生物视网膜相机。与以固定时间间隔生成完整图像的传统基于帧的相机不同，神经形态相机仅在检测到场景中的亮度变化或累积的亮度绝对值超过设定阈值时才会产生信号。这种采样机制使神经形态视觉传感器具有高时间分辨率、高动态范围和低数据冗余的优点，也被越来越多地用于计算机视觉领域，例如自动驾驶、图像重构、目标检测等任务。尽管神经形态视觉传感器具有很高的时间分辨率，能够捕捉高速运动的物体，但在慢速或低亮度场景中，在很小的时间间隔内，通常只有少数的脉冲信号生成。而有效脉冲的数量直接影响基于脉冲信号的任务性能，例如图像重构、目标检测和识别任务。
对于慢速场景来说，物体的缓慢移动使得短时间内的亮度变化很难超过预设的阈值，因此只会产生少量的脉冲信号。而在低亮度场景中，相机很难捕捉到动态信息，且产生的噪声较多。由于这些场景只能提供稀疏的有效事件并包含噪声，因此基于事件的任务的性能很差。例如，对于图像重建任务，稀疏事件提供的有限信息使得重建的图像无法表达精细的纹理和细节。对于目标检测任务，原始事件中缺少关键信息使得目标难以被检测到。
因此，如何解决脉冲信号稀疏性带来的问题，为基于脉冲的下游任务提供更多有效信号并提升任务性能，是一个亟待解决且有意义的技术问题。
发明内容
本申请实施例提供了一种时空脉冲信号的上采样方法、装置、设备及存储介质。其目的是从稀疏脉冲信号生成稠密的上采样脉冲信号，从而突出运动主体的主要脉冲信号并抑制噪声的生成。本方法可生成更多有效且可靠的数据，并能提升基于脉冲的下游任务性能。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种时空脉冲信号的上采样方法,包括：
采集目标物体的时空脉冲信号；
估计脉冲信号的运动轨迹，并根据运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；
分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；
将上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。
在一个可选地实施例中，采集目标物体的时空脉冲信号，包括：
通过动态视觉传感器采集目标物体的时空脉冲信号；或，
通过超高速全时视觉传感器采集目标物体的时空脉冲信号。
在一个可选地实施例中，估计脉冲信号的运动轨迹，包括：
通过对比度最大化算法估计脉冲信号的运动轨迹；或，
通过最小化平均时间戳算法估计脉冲信号的运动轨迹；或，
将脉冲信号转化为二维图像，并将二维图像输入预设的神经网络模型，得到脉冲信号的运动轨迹。
在一个可选地实施例中，并根据运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号，包括：
当运动轨迹上的脉冲数量大于预设脉冲数量阈值时，运动轨迹对应的脉冲信号为目标物体的主脉冲信号；
当运动轨迹上的脉冲数量小于或等于预设脉冲数量阈值时，运动轨迹对应的脉冲信号为目标物体的噪声信号。
在一个可选地实施例中，分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号，包括：
通过点过程模型分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；或，
通过预设的神经网络模型分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号。
在一个可选地实施例中，通过点过程模型分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号，包括：
通过霍克斯点过程模型对主脉冲信号进行上采样，得到上采样后的主脉冲信号；
通过自校正点过程模型对噪声信号进行上采样，得到上采样后的噪声信号。
第二方面，本申请实施例提供了一种时空脉冲信号的上采样装置，包括：
采集模块，用于采集目标物体的时空脉冲信号；
运动估计模块，用于估计脉冲信号的运动轨迹，并根据运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；
上采样模块，用于分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；
合并模块，用于将上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。
在一个可选地实施例中，运动估计模块，包括：
运动估计单元，用于通过对比度最大化算法估计脉冲信号的运动轨迹；或，
通过最小化平均时间戳算法估计脉冲信号的运动轨迹；或，
将脉冲信号转化为二维图像，并将二维图像输入预设的神经网络模型，得到脉冲信号的运动轨迹；
还包括脉冲信号分类单元，用于当运动轨迹上的脉冲数量大于预设脉冲数量阈值时，运动轨迹对应的脉冲信号为目标物体的主脉冲信号；
当运动轨迹上的脉冲数量小于或等于预设脉冲数量阈值时，运动轨迹对应的脉冲信号为目标物体的噪声信号。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的时空脉冲信号的上采样方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令被处理器执行以实现上述实施例提供的一种时空脉冲信号的上采样方法。
本申请实施例提供的技术方案可以包括以下有益效果：
根据本申请实施例提供的时空脉冲信号的上采样方法，可以将稀疏的脉冲信号上采样成稠密的脉冲信号，从而突出运动主体的主要脉冲信号并抑制噪声的生成。使得上采样后的脉冲信号可靠且有依据，有效解决时空脉冲信号稀疏性带来的问题，为基于脉冲信号的视觉任务提供更多有效数据，提升基于脉冲的下游任务性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种时空脉冲信号的上采样方法的流程示意图；
图2是根据一示例性实施例示出的一种时空脉冲信号的上采样方法的示意图；
图3是根据一示例性实施例示出的一种基于神经形态视觉传感器采集脉冲信号的示意图；
图4是根据一示例性实施例示出的一种脉冲信号的运动轨迹估计示意图；
图5是根据一示例性实施例示出的一种基于点过程模型进行上采样的示意图；
图6是根据一示例性实施例示出的一种根据上采样信号进行任务处理的效果示意图；
图7是根据一示例性实施例示出的一种时空脉冲信号的上采样装置的结构示意图；
图8是根据一示例性实施例示出的一种电子设备的结构示意图；
图9是根据一示例性实施例示出的一种计算机存储介质的示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
目前，神经形态视觉传感器在特殊场景中脉冲信号的稀疏性，对现有的基于脉冲的任务来说是一项艰巨的挑战。为了从根本上解决脉冲信号稀疏性带来的问题，本申请实施例提供了一种时空脉冲信号的上采样方法。
首先通过运动估计算法估计脉冲信号的正确运动轨迹，然后通过每个轨迹上的脉冲数量来区分主要信号和噪声，若轨迹上的脉冲数量大于设定的阈值，则认为该轨迹上的信号为主要脉冲信号，否则为噪声。最后，沿着脉冲的运动轨迹，通过上采样方法分别对两种类型的信号建模，并实现脉冲信号的上采样，可得到最终稠密的上采样信号。
下面将结合附图对本申请实施例提供的基于时空脉冲信号的上采样方法进行详细介绍。参见图1，该方法具体包括以下步骤。
S101采集目标物体的时空脉冲信号。
其中，目标物体是要拍摄的物体，脉冲信号是时空稀疏的离散点集，以脉冲的形式记录并表征场景中的光强信息。通过神经形态视觉传感器采集目标物体的时空脉冲信号，神经形态视觉传感器是模仿视网膜神经节细胞发放脉冲和视网膜感光细胞对亮度变化敏感机理的视觉传感器。发放的时空脉冲信号是时空稀疏的脉冲信号，相对传统固定帧率的相机具有高时间分辨率、高动态范围、低功耗等优势，在自动驾驶、机器人视觉导航定位等领域有着巨大市场应用潜力。
在一个可选地实施方式中，神经形态视觉传感器包括动态视觉传感器，通过动态视觉传感器采集目标物体的时空脉冲信号，动态视觉传感器，采用差分采样机制感知场景中光强的变化，生成异步的脉冲信号，具有高时间分辨率、高动态范围和低功耗的优势。可克服传统相机在高速场景的运动模糊、光照敏感场景的过曝光、弱曝光场景的成像不清晰等缺陷，动态视觉传感器包括但不限于：DVS、DAVIS、ATIS、Celex等。
在一个可选地实施方式中，神经形态视觉传感器包括超高速全时视觉传感器，通过超高速全时视觉传感器采集目标物体的时空脉冲信号。超高速全时视觉传感器，以积分的采样机制感知场景中的绝对光强，定时发放同步的脉冲阵列信号，具有高时间分辨率、清晰纹理和高动态范围的特点。可克服传统相机的高速运动模糊、同时具有高动态成像的能力。
图3是根据一示例性实施例示出的一种基于神经形态视觉传感器采集脉冲信号的示意图，如图3所示，通过神经形态视觉传感器对目标物体也就是要拍摄的物体进行采样，得到采集的物体的时空脉冲信号，神经形态视觉传感器采集的脉冲信号是受场景光强刺激发放并记录的脉冲信号，是时空域上稀疏的离散点集。
S102估计脉冲信号的运动轨迹，并根据运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号。
对采集的时空脉冲信号进行运动估计，得到脉冲信号的运动轨迹。在一种可能的实现方式中，可以采用传统的运动估计算法，针对时空脉冲信号特殊的数据格式所设计，如通过对比度最大化算法估计脉冲信号的运动轨迹，或通过最小化平均时间戳算法估计脉冲信号的运动轨迹。
可选地，还可以采用深度学习方法估计脉冲信号的运动轨迹，例如，将脉冲信号转化为二维图像，并将二维图像输入预设的神经网络模型，进而得到脉冲信号的运动轨迹。其中，预设的神经网络模型可以采用EV-FlowNet神经网络、E-RAFT神经网络或Spike-FlowNet神经网络等。
由运动估计得到脉冲信号的轨迹，即运动轨迹获取的是短时间内的运动方向，将一段持续时间内的运动方向进行拼合构成这段时间的脉冲运动轨迹。
进一步地，根据运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号。其中，主脉冲信号即物体由于运动而被采样到的时空脉冲信号，噪声信号即由于环境光照的不稳定或神经形态视觉传感器电路自身的问题所产生的孤立、无意义信号。
在一种可选地实施方式中，当运动轨迹上的脉冲数量大于预设脉冲数量阈值时，运动轨迹对应的脉冲信号为目标物体的主脉冲信号；当运动轨迹上的脉冲数量小于或等于预设脉冲数量阈值时，运动轨迹对应的脉冲信号为目标物体的噪声信号。
其中，预设脉冲数量阈值可以是固定阈值，依据具体数据的统计结果设定，也可以是自适应阈值，针对不同场景的脉冲信号的运动特征随时调整阈值。本申请实施例对阈值的取值不做具体限定，可根据实际情况自行设定。
图4是根据一示例性实施例示出的一种脉冲信号的运动轨迹估计示意图；如图4所示，获取沿正确轨迹估计的运动轨迹以及沿错误轨迹估计的运动轨迹，分别统计每条轨迹的脉冲数量，轨迹脉冲数量大于阈值的为主脉冲，小于或等于阈值的为噪声。
S103分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号。
在一个可选地实施例中，分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号，包括：通过点过程模型分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号。
例如，通过霍克斯点过程模型对主脉冲信号进行上采样，得到上采样后的主脉冲信号。霍克斯点过程，每一个历史信号都会对当前的信号产生有积极作用，这一作用的大小由历史信号相距当前信号的时间长短决定，越久之前的历史信号对当前信号产生的影响越小。霍克斯点过程适合于主要脉冲信号的上采样，能够参考历史脉冲信号的分布，生成更多可靠有效的主要脉冲信号。
进一步地，通过自校正点过程模型对噪声信号进行上采样，得到上采样后的噪声信号。自校正点过程，随着时间的推移，噪声出现的概率会慢慢增加，但当有新的噪声生成时，这个概率会降低。自校正点过程适合于噪声事件的上采样，以确保不会上采样过多的噪声。
在一个可选地实施例中，通过预设的神经网络模型分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号。其中，预设的神经网络模型可以为循环神经网络、序列到序列的神经网络模型、生成对抗网络等。以稀疏的脉冲信号作为输入，使用神经网络模型上采样脉冲信号，输出稠密的上采样脉冲信号。
图5是根据一示例性实施例示出的一种基于点过程模型进行上采样的示意图；如图5所示，通过霍克斯点过程模型对主要脉冲信号进行上采样，通过自校正点过程模型对噪声信号进行上采样，将上采样后的主要脉冲和噪声信号进行合并，得到上采样后的脉冲信号，可见，上采样后的脉冲信号较稠密。
S104将上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。
得到上采样后的主脉冲信号以及噪声信号后，将二者相加，合并成最终的上采样信号。该方法从稀疏脉冲信号上采样成稠密的脉冲信号，从而突出运动主体的主要脉冲信号并抑制噪声的生成。可生成更多有效且可靠的数据，并能为下游任务服务，提升相应任务性能。
进一步地，将上采样后的稠密脉冲信号输入下游的基于脉冲信号的任务中，例如，基于上采样信号进行图像重构、目标检测、目标识别等。验证上采样脉冲信号的有效性以及上采样对下游任务的提升效果。如图6所示，对原始时空脉冲信号进行上采样，得到稠密的上采样时空脉冲信号，将原始的时空脉冲信号和上采样时空脉冲信号分别输入下游的物体检测任务或图像重构任务，可清晰看出，基于上采样时空脉冲信号的重构图像和物体信号检测都更加清晰，性能更加良好。
为了便于理解本申请实施例提供的时空脉冲信号的上采样方法，下面结合附图2进行说明。
如图2所示，该方法包括采集运动主体的时空脉冲信号，估计采集的脉冲信号的运动轨迹，统计每条运动轨迹上的脉冲数量，与预设的阈值比较，若大于阈值则认为是运动主体的主要脉冲信号，否则为噪声信号。然后对主脉冲信号和噪声信号分别进行上采样，例如，通过霍克斯点过程模型对主脉冲信号进行上采样，得到上采样后的主脉冲信号。通过自校正点过程模型对噪声信号进行上采样，得到上采样后的噪声信号。将上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。将最终的上采样脉冲信号输入下游任务，进行图像重构、目标检测、目标跟踪等。
根据本申请实施例提供的时空脉冲信号的上采样方法，可以将稀疏的脉冲信号上采样成稠密的脉冲信号，从而突出运动主体的主要脉冲信号并抑制噪声的生成。使得上采样后的脉冲信号可靠且有依据，有效解决时空脉冲信号稀疏性带来的问题，为基于脉冲信号的视觉任务提供更多有效数据，提升基于脉冲的下游任务性能。
本申请实施例还提供一种时空脉冲信号的上采样装置，该装置用于执行上述实施例的时空脉冲信号的上采样方法，如图7所示，该装置包括：
采集模块701，用于采集目标物体的时空脉冲信号；
运动估计模块702，用于估计脉冲信号的运动轨迹，并根据运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；
上采样模块703，用于分别对主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；
合并模块704，用于将上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。
在一个可选地实施例中，运动估计模块，包括：
运动估计单元，用于通过对比度最大化算法估计脉冲信号的运动轨迹；或，
通过最小化平均时间戳算法估计脉冲信号的运动轨迹；或，
将脉冲信号转化为二维图像，并将二维图像输入预设的神经网络模型，得到脉冲信号的运动轨迹；
还包括脉冲信号分类单元，用于当运动轨迹上的脉冲数量大于预设脉冲数量阈值时，运动轨迹对应的脉冲信号为目标物体的主脉冲信号；
当运动轨迹上的脉冲数量小于或等于预设脉冲数量阈值时，运动轨迹对应的脉冲信号为目标物体的噪声信号。
需要说明的是，上述实施例提供的时空脉冲信号的上采样装置在执行时空脉冲信号的上采样方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的时空脉冲信号的上采样装置与时空脉冲信号的上采样方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供一种与前述实施例所提供的时空脉冲信号的上采样方法对应的电子设备，以执行上述时空脉冲信号的上采样方法。
请参考图8，其示出了本申请的一些实施例所提供的一种电子设备的示意图。如图8所示，电子设备包括：处理器800，存储器801，总线802和通信接口803，处理器800、通信接口803和存储器801通过总线802连接；存储器801中存储有可在处理器800上运行的计算机程序，处理器800运行计算机程序时执行本申请前述任一实施例所提供的时空脉冲信号的上采样方法。
其中，存储器801可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口803(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线802可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器801用于存储程序，处理器800在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的时空脉冲信号的上采样方法可以应用于处理器800中，或者由处理器800实现。
处理器800可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器800中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器800可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器800读取存储器801中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的时空脉冲信号的上采样方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施例还提供一种与前述实施例所提供的时空脉冲信号的上采样方法对应的计算机可读存储介质，请参考图9，其示出的计算机可读存储介质为光盘900，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的时空脉冲信号的上采样方法。
需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的时空脉冲信号的上采样方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种时空脉冲信号的上采样方法,其特征在于,包括：
采集目标物体的时空脉冲信号；
估计所述脉冲信号的运动轨迹，并根据所述运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；
分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；
将所述上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。
2.根据权利要求1所述的方法，其特征在于，采集目标物体的时空脉冲信号，包括：
通过动态视觉传感器采集所述目标物体的时空脉冲信号；或，
通过超高速全时视觉传感器采集所述目标物体的时空脉冲信号。
3.根据权利要求1所述的方法，其特征在于，估计所述脉冲信号的运动轨迹，包括：
通过对比度最大化算法估计所述脉冲信号的运动轨迹；或，
通过最小化平均时间戳算法估计所述脉冲信号的运动轨迹；或，
将所述脉冲信号转化为二维图像，并将所述二维图像输入预设的神经网络模型，得到脉冲信号的运动轨迹。
4.根据权利要求1所述的方法，其特征在于，并根据所述运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号，包括：
当所述运动轨迹上的脉冲数量大于预设脉冲数量阈值时，所述运动轨迹对应的脉冲信号为目标物体的主脉冲信号；
当所述运动轨迹上的脉冲数量小于或等于预设脉冲数量阈值时，所述运动轨迹对应的脉冲信号为目标物体的噪声信号。
5.根据权利要求1所述的方法，其特征在于，分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号，包括：
通过点过程模型分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；或，
通过预设的神经网络模型分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号。
6.根据权利要求5所述的方法，其特征在于，通过点过程模型分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号，包括：
通过霍克斯点过程模型对所述主脉冲信号进行上采样，得到上采样后的主脉冲信号；
通过自校正点过程模型对所述噪声信号进行上采样，得到上采样后的噪声信号。
7.一种时空脉冲信号的上采样装置，其特征在于，包括：
采集模块，用于采集目标物体的时空脉冲信号；
运动估计模块，用于估计所述脉冲信号的运动轨迹，并根据所述运动轨迹上的脉冲数量确定主脉冲信号以及噪声信号；
上采样模块，用于分别对所述主脉冲信号以及噪声信号进行上采样，得到上采样后的主脉冲信号以及噪声信号；
合并模块，用于将所述上采样后的主脉冲信号以及噪声信号进行合并，生成最终的上采样信号。
8.根据权利要求7所述的装置，其特征在于，所述运动估计模块，包括：
运动估计单元，用于通过对比度最大化算法估计所述脉冲信号的运动轨迹；或，
通过最小化平均时间戳算法估计所述脉冲信号的运动轨迹；或，
将所述脉冲信号转化为二维图像，并将所述二维图像输入预设的神经网络模型，得到脉冲信号的运动轨迹；
还包括脉冲信号分类单元，用于当所述运动轨迹上的脉冲数量大于预设脉冲数量阈值时，所述运动轨迹对应的脉冲信号为目标物体的主脉冲信号；
当所述运动轨迹上的脉冲数量小于或等于预设脉冲数量阈值时，所述运动轨迹对应的脉冲信号为目标物体的噪声信号。
9.一种电子设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的时空脉冲信号的上采样方法。
10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令被处理器执行以实现如权利要求1至6任一项所述的一种时空脉冲信号的上采样方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210550446.6A CN115099262A (zh) | 2022-05-20 | 2022-05-20 | 时空脉冲信号的上采样方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210550446.6A CN115099262A (zh) | 2022-05-20 | 2022-05-20 | 时空脉冲信号的上采样方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115099262A true CN115099262A (zh) | 2022-09-23 |
Family
ID=83289291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210550446.6A Pending CN115099262A (zh) | 2022-05-20 | 2022-05-20 | 时空脉冲信号的上采样方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115099262A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09271024A (ja) * | 1997-02-17 | 1997-10-14 | Canon Inc | 動画像情報伝送方法及び装置 |
| CN106303501A (zh) * | 2016-08-23 | 2017-01-04 | 深圳市捷视飞通科技股份有限公司 | 基于图像稀疏特征匹配的立体图像重构方法及装置 |
| CN110426560A (zh) * | 2019-06-28 | 2019-11-08 | 北京大学 | 一种脉冲阵列信号时空上采样器生成方法 |
| CN113538287A (zh) * | 2021-07-29 | 2021-10-22 | 广州安思创信息技术有限公司 | 视频增强网络训练方法、视频增强方法及相关装置 |
-
2022
- 2022-05-20 CN CN202210550446.6A patent/CN115099262A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09271024A (ja) * | 1997-02-17 | 1997-10-14 | Canon Inc | 動画像情報伝送方法及び装置 |
| CN106303501A (zh) * | 2016-08-23 | 2017-01-04 | 深圳市捷视飞通科技股份有限公司 | 基于图像稀疏特征匹配的立体图像重构方法及装置 |
| CN110426560A (zh) * | 2019-06-28 | 2019-11-08 | 北京大学 | 一种脉冲阵列信号时空上采样器生成方法 |
| CN113538287A (zh) * | 2021-07-29 | 2021-10-22 | 广州安思创信息技术有限公司 | 视频增强网络训练方法、视频增强方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李家宁，田永鸿: "神经形态视觉传感器的研究进展及应用综述", 计算机学报, vol. 44, no. 6, 30 June 2021 (2021-06-30) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | A retina-inspired sampling method for visual texture reconstruction | |
| Baldwin et al. | Time-ordered recent event (tore) volumes for event cameras | |
| JP7357624B2 (ja) | イベントベースセンサからの信号を処理する方法および装置 | |
| CN104205169B (zh) | 基于异步光传感器估计光流的方法 | |
| US11631246B2 (en) | Method for outputting a signal from an event-based sensor, and event-based sensor using such method | |
| Zheng et al. | Deep learning for event-based vision: A comprehensive survey and benchmarks | |
| CN111885368A (zh) | 用于错误检测和校正的系统和方法 | |
| US11501536B2 (en) | Image processing method, an image processing apparatus, and a surveillance system | |
| CN109711318B (zh) | 一种基于视频流的多人脸检测与跟踪方法 | |
| US11871125B2 (en) | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor | |
| US11749004B2 (en) | Event detector and method of generating textural image based on event count decay factor and net polarity | |
| CN113067979A (zh) | 基于仿生式脉冲相机的成像方法、装置、设备及存储介质 | |
| CN107194946B (zh) | 一种基于fpga的红外显著物体检测方法 | |
| CN113329146B (zh) | 一种脉冲相机模拟方法与装置 | |
| CN112511859B (zh) | 一种视频处理方法、装置和存储介质 | |
| CN112487874A (zh) | 一种基于事件相机消除背景噪声的方法及系统 | |
| CN116402852A (zh) | 基于事件相机的动态高速目标追踪方法及装置 | |
| Duan et al. | NeuroZoom: Denoising and super resolving neuromorphic events and spikes | |
| CN116091337B (zh) | 一种基于事件信号神经编码方式的图像增强方法及装置 | |
| JP7384158B2 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
| CN115099262A (zh) | 时空脉冲信号的上采样方法、装置、设备及存储介质 | |
| CN110430340B (zh) | 一种脉冲阵列信号的降噪方法与系统 | |
| CN114550288A (zh) | 基于事件数据的动作识别方法及装置 | |
| El Shair et al. | High Speed Hybrid Object Tracking Algorithm using Image and Event Data | |
| Cao et al. | Noise2Image: Noise-Enabled Static Scene Recovery for Event Cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |