CN114466153A - 自适应脉冲生成方法、装置、类脑芯片和电子设备 - Google Patents

Abstract

本发明提出一种自适应脉冲生成方法、装置、类脑芯片和电子设备。为了解决现有图像转脉冲方法功耗高、灵活性差及不够合理的问题，本发明基于对差帧后的各像素坐标对应的差帧像素值或/和脉冲事件数量，判断是否调整帧率或差帧频率，进一步地判断是否及时终止不合理的进程，本发明的自适应调整方法灵活性高，既能保证在长时间没有变化的环境中低功耗运行，又能在需要的时候迅速捕捉运动变化，还能及时终止不合理的进程，有效消除噪声，具有低功耗、低成本和易实现的特点。本发明适用于人工智能、类脑芯片、边缘计算领域。

Description

自适应脉冲生成方法、装置、类脑芯片和电子设备

技术领域

本发明涉及一种自适应脉冲生成方法、装置、类脑芯片和电子设备，并具体涉及一种将帧图像转换为目标脉冲序列的方法、装置、类脑芯片和电子设备。

背景技术

脉冲神经网络（Spiking Neural Network，SNN），因其丰富的神经动力学特性和脉冲事件的通信方式，在高效处理复杂、稀疏和嘈杂的时空信息方面取得了卓越的性能，是当前最贴近人脑工作模式的神经网络。因其超低功耗、高级智能的前景希望，成为人工智能领域新的研究热点。

当前，在计算机视觉领域出现一种新型的仿生传感器——事件相机，其异步地测量每像素的亮度变化，并输出一系列脉冲事件，具有超高时间分辨率、低功耗的优点，但该技术尚不成熟，在实际应用中仍有诸多不足。而传统的帧图像传感器成像质量好、信噪比高、技术成熟，其以固定的速率捕捉图像，但不能生成脉冲事件（简称脉冲或事件）。

因此需要一种具有高信噪比、低功耗、低成本且易实现的脉冲生成技术以满足SNN处理器的应用需求。将帧图像传感器采集的图像转换为脉冲事件的现有技术，具体可以参考：

现有技术1：CN111898737A；

现有技术2：CN111860786A；

现有技术3：EP3789909A1；

现有技术4 ：CN112464807A。

现有技术1-2为将数值/图像转换为脉冲序列，但其仅着眼于将单个像素值或数值转换成随机脉冲序列，并没有完整的图像转脉冲序列方案，尤其是转换成适于SNN处理器的脉冲序列。

现有技术3-4基于差帧技术，比较两帧不同图像之间的区别生成脉冲事件序列，然而其存在功耗大、实时性不足的问题，且不能排除明显噪声，导致网络性能不佳。

基于此，本发明提出一种自适应脉冲生成方法、装置、类脑芯片和电子设备。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种自适应脉冲生成方法，所述自适应脉冲生成方法包括如下步骤：比较帧图像之间的差异，得到差帧中各像素坐标处的差帧像素值；基于所述差帧像素值，获得与像素坐标对应的脉冲事件数量；至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否对帧图像的生成帧率或差帧频率进行调整。

在某类实施例中，基于脉冲事件数量，生成随机化的目标脉冲序列。

在某类实施例中，预处理步骤，用于对帧图像进行预处理；所述预处理包括尺寸重塑或/和灰度化。

在某类实施例中，当差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率；或者，

当差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率。

在某类实施例中，在降低所述帧率或差帧频率第一时间间隔后，恢复帧率或差帧频率至默认值；或/和，当在第二时间间隔内，差帧像素值的总和或/和脉冲事件数量的总和均小于第一阈值，则降低所述帧率或差帧频率。

在某类实施例中，判断差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值，是否大于第三阈值，若是则不再执行：基于所述差帧像素值，获得与像素坐标对应的脉冲事件数量；或者，判断差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值是否大于第三阈值，若是则不再执行：基于脉冲事件数量，生成经过随机化的目标脉冲序列。

一种自适应脉冲生成装置，用于生成目标脉冲序列，所述自适应脉冲生成装置包括：差帧模块：比较帧图像之间的差异，得到差帧中各像素坐标处的差帧像素值；脉冲事件数量生成模块：基于所述差帧像素值生成与像素坐标对应的脉冲事件数量；随机化模块：基于所述脉冲事件数量，生成随机化的目标脉冲序列；第一判断模块：至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否对帧图像的生成帧率或差帧频率进行调整。

在某类实施例中，第二判断模块，判断所述差帧像素值的总和或/和脉冲事件数量的总和，是否大于第三阈值，若是则终止对脉冲事件的随机化操作。

一种类脑芯片，所述类脑芯片使用如前任意一项所述的自适应脉冲生成方法，或者包括如前任意一项所述的自适应脉冲生成装置。

在某类实施例中，所述自适应脉冲生成方法或自适应脉冲生成装置，被应用于类脑芯片的帧图像传感器接口中。

一种电子设备，该电子设备包括如前任一项所述的自适应脉冲生成装置；或者，该电子设备包括如前任一项所述的类脑芯片。

本发明的部分或全部实施例，具有如下有益技术效果：

1.本发明在生成目标脉冲序列的过程中，可以自适应调整帧率或差帧频率，灵活性高。既能保证在长时间没有变化的环境中低功耗运行，又能在需要的时候迅速捕捉运动变化。

2.本发明可以及时终止不合理的进程（总差帧像素值或总脉冲事件数量过大），有效消除噪声的同时节省功耗。本发明通过控制目标脉冲序列中的脉冲数量，保证SNN处理器实时、高效和稳定地运行。

3.本发明硬件实现友好、成本低，与DVS相比，可直接使用电子设备中的已有摄像头，而不必安装一套新的成像模组和传感器。

4.本发明多个步骤可并行处理，节省资源的同时进一步降低功耗。

更多的有益效果将在优选实施例中作进一步的介绍。

以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。

本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。

附图说明

图1为本发明某优选实施例中自适应脉冲生成方法的流程图；

图2为某实施例中预处理操作包括尺寸重塑和灰度化操作的示意图；

图3为本发明某实施例中自适应脉冲生成方法的示意图；

图4为本发明另一优选实施例中自适应脉冲生成方法的流程图；

图5为本发明某实施例的自适应脉冲生成装置；

图6为本发明某实施例的自适应脉冲生成及处理系统框图；

图7为本发明另一实施例的自适应脉冲生成及处理系统框图。

具体实施方式

由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。

除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。

本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。

本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例；基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。

本发明的帧图像传感器，是可以获取到帧图像的传感器，如CMOS传感器、CCD传感器、灰度传感器等，本发明不以特定类型的图像传感器为限，只要能从其获取帧图像即可。

图1为本发明某优选实施例中自适应脉冲生成方法的流程图，包括如下步骤：

步骤S100：帧图像预处理。

脉冲神经网络的数据集由时空事件流构成，具有稀疏特性。而传统帧图像传感器分辨率较高，转换后生成的脉冲事件数量可能较多，因此可以提前对传感器产生的帧图像进行预处理，以降低事件数量，使产生的目标脉冲序列具有稀疏性。

进一步地，预处理操作可以包括尺寸重塑和灰度化，如图2所示：

步骤S101：对任意帧图像进行尺寸重塑（reshape）。

设帧图像传感器分辨率为（W×H），重塑后帧图像的分辨率（或称目标尺寸）为（W’×H’），其中W和W’表示宽，H和H’表示高度。

在某实施例中，尺寸重塑的方式为下采样，下采样重塑帧图像尺寸的方式实现简单、硬件实现友好。具体地，对原始帧图像中任意像素坐标I(x,y)调整后的像素坐标为I’(x,y) = ⌊x×W/ W’, y×H/ H’⌋，其中，x和y分别为像素的行、列坐标，⌊.⌋表示向下取整。替代地，该向下取整可替换成向上取整。

在另一实施例中，尺寸重塑的方式为裁剪，基于感兴趣的区域，对原始帧图像进行裁剪，得到目标尺寸。例如，裁剪原始帧图像左上角，或者右下角，或者中心等任意感兴趣的区域，本发明裁剪的方式不限于此。

在其它实施例中，尺寸重塑的方式可以为双线性插值、线性或非线性缩放、按比例取值等任意方式，本发明对尺寸重塑的方式不作限定，任意能将原始帧图像调整为目标尺寸的手段均可。

步骤S102：帧图像灰度化（Grayscale）。

通常帧图像是RGB图像，具有三个通道，本发明将RGB图像转换为灰度图像，灰度化的方式可以有多种，本发明不限定具体的灰度化方式，例如，可以提取三个通道中的任一通道中的值为灰度值，也可以取RGB中最大值、平均值或加权平均值为灰度值等。

本发明不限定尺寸重塑和灰度化操作执行的先后顺序，可并行或串行执行，也可仅执行其中一种操作。进一步地，本发明的帧图像预处理操作S100不是必须的，仅在需要时进行。

步骤S200：对帧图像进行差帧操作，得到各像素点的差帧像素值。

具体地，比较帧图像序列中至少两个不同的帧图像或预处理后的帧图像，得到两帧之间图像变化的差帧图像，该差帧图像反应了帧与帧之间的变化/运动信息。

在差帧过程中，得到每个像素点（像素坐标）上的像素值的变化值或变化值的绝对值，或再经过噪声过滤等操作后得到的值，称为差帧像素值。某像素点上，差帧像素值的正负可对应脉冲事件的极性，例如，差帧像素值为正表明像素增强，对应事件极性为正，差帧像素值为负表明像素减弱，对应事件极性为负，反之亦可，本发明不以此为限。

在另一些实施例中，若某像素点上像素值的变化不满足预定条件（比如小于某个门限值）可丢弃该差帧像素值，即置0，这有利于噪声过滤。

对于包含N帧的图像序列，差分操作可顺序执行或并行执行，并行执行能够极大地节省功耗与时间，提升处理效率与实时性。进一步地，可顺序或并行执行相邻两帧之间的差值，也可顺序或并行执行相隔若干帧的两帧之间的差值，本发明不以此为限。

此外，图像序列可以是传感器采集的原始帧图像集合或预处理后的帧图像集合。进一步地，步骤S100与步骤S200顺序可交换，可对帧图像预处理后进行差帧，也可先进行差帧再进行预处理操作。

步骤S300：基于各像素点的差帧像素值生成与像素坐标对应的脉冲事件数量。

根据各像素点的差帧像素值，获得各像素点对应的脉冲事件数量。任意合理的从像素值到脉冲事件数量的转换方法都是可行的，本发明不限制采用何种方式得到差帧后各像素点对应的脉冲事件数量。

例如，差帧后的像素值为m，产生向上或向下取整后的脉冲事件数量，脉冲事件数量可等于|m|向下取整后的值⌊|m|⌋，或向下取整后成比例的值k×⌊|m|⌋，其中k表示比例系数，利用k可进一步降低对应目标脉冲序列中脉冲事件的数量，或者增加对应目标脉冲序列中脉冲事件的数量。进一步地，比例系数k为固定值或可变值，本发明不以此为限。替代地，上述向下取整均可替换为向上取整。

步骤S400：至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否满足第一条件。若满足，则对帧图像传感器的帧图像生成帧率（简称帧率）进行调整，或者调整步骤S200的差帧频率，具体调整方式可以是调高或调低帧率/差帧频率。若不满足条件，则不调整帧率或差帧频率，如图3所示。

对于一个差帧，其包括若干像素，而这些像素各自对应一个差帧像素值或脉冲事件数量；对于一个差帧，其整体差帧像素值或/和对应的整体脉冲事件数量，是这些若干像素对应的差帧像素值或脉冲事件数量构成的集合。基于集合整体，来判断是否调整帧率或差帧频率，可以是对集合采取各种变换、统计、计算等方式而获得具有一定意义的值（比如表征传感器前物体运动的剧烈程度），并基于该值判断是否触发上述调整操作。

进一步地，对于包括预处理步骤S100的实施例，可通过控制步骤S100或/和S200或/和S300进行调整。

进一步地，对各像素坐标对应的脉冲事件数量或差帧像素值进行求和等处理，具体参见步骤S200或S300，该求和过程可顺序执行或并行执行。在硬件中，并行执行简单且功耗、实时性方面都有优势。

所述第一条件包括如下情形中的一种或多种：

当差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率；或者，当差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率。

其中，差帧像素值的总和/差帧对应的脉冲事件数量的总和，是直接对差帧中每个像素值或每个像素对应的脉冲事件数量求和。像素值满足预设条件的差帧像素值的总和/满足预设条件的脉冲事件数量的总和，是设定一个条件（比如像素值≥10，脉冲事件数量≥2），只有满足条件的像素值/脉冲事件数量，才被累加求和。像素值满足预设条件的差帧像素个数的计数值/脉冲事件数量满足预设条件的差帧像素个数的计数值，是设定一个条件（比如像素值≥1或10，脉冲事件数量≥1或2），只有满足条件的像素（坐标），才被累加计数。

其中，对于向下调低情形：例如，差帧的两个帧图像长时间未变化，或者变化不明显，则所有像素的差帧像素值总和小，对应的脉冲生成数量总和小，因此，认为没有待识别的动作或触发存在，降低帧率或差帧频率以降低功耗，如将帧率从30降到1。降低帧率或差帧频率可以是阶梯式的，比如从60到30再到1，相应地此时第一阈值包括多个数值。

对于向上调高情形：例如，当前帧率过低，不能满足对快速运动物体的图像采集，但检测到开始有目标物体运动后，通过提高帧率以减轻差帧后图像出现运动模糊的情形，如将帧率由1提升至30；同样地，提高帧率或差帧频率也可以是阶梯式的，比如从1到30再到60，相应地此时第二阈值包括多个数值。

其中，第一阈值和第二阈值可不同，也可相同。在某些实施例中，决定上调或下调前，参考当前帧率或差帧频率状态是有益的。

在另一实施例中，在降低所述帧率或差帧频率第一时间间隔后，恢复帧率或差帧频率至默认值。沿用前例，默认值可以是前述的30/60，以及10；该实施例允许一定比例的时间段，可以提高检测响应灵敏度。

在另一实施例中，向上调高、向下调低的幅度可根据与阈值比较后的差距成比例调整。例如，第一阈值和第二阈值均指总脉冲事件数量阈值，且均为1000，当差帧后生成的总脉冲事件数量为100，则将帧率有60调整为5，若差帧后生成的总脉冲事件数量为300，则将帧率有60调整为15等。

此外，第一条件还可以拓展为：即在设定时长内，对于不同的差帧，若差帧像素值的总和/像素值满足预设条件的差帧像素值的总和/像素值满足预设条件的差帧像素个数的计数值/差帧对应的脉冲事件数量的总和/满足预设条件的脉冲事件数量的总和/脉冲事件数量满足预设条件的差帧像素个数的计数值，均小于第一阈值，则认为满足条件，降低帧率或差帧频率。该种情况有助于在无目标物体运动情况下降低功耗，同时避免因用户临时无动作而立刻降低帧率或差帧频率而带来的响应迟钝。优选地，在向上调高情形，不设置类似的时长或即便设置时长但该时长极短，因为在需要立刻响应的时候，设置这种时长会人为造成响应迟钝。

等价替代地，将前述每一实施例中，将像素值满足预设条件的差帧像素个数的计数值/脉冲事件数量满足预设条件的差帧像素个数的计数值与第一阈值/第二阈值的判断，替换为上述计数值在整个差帧像素数中的占比，与第一阈值/第二阈值的判断。由于差帧像素数为一个常数，因此区别仅仅在于第一阈值/第二阈值是否除以该常数。这种等价替换也在本发明所欲保护范围之内。

优选地，第一条件用于对降低功耗，尤其是帧图像传感器视场内长时间无运动物体的情况，以及同时还考虑提升帧率或差帧频率以满足用户的瞬时响应需求。为此，可以组合前述的时长、脉冲事件数量、差帧像素值、占比、阶梯阈值等技术手段，这种容易想到的组合和变换，均未脱离本发明的构思且应在本发明所欲保护范围之内。

步骤S500：脉冲事件的随机化。

对于脉冲神经网络（SNN）处理器，其输入数据为时空事件流/脉冲序列，包含每个事件产生的坐标、时间戳，例如为AER（Address Event Representation）事件流、SAER（Serial AER）事件流等。SNN处理器适于接收符合泊松分布的随机脉冲序列，而任意合理的随机化方式均是可行的，比如参考现有技术1-2，本发明不以此为限。

由于时空事件流的稀疏性，本发明对脉冲事件进行随机化，使之符合SNN处理器的信息处理特性。在某实施例中，将所有像素对应的脉冲事件作为一个整体进行随机化，得到目标脉冲序列。在另一实施例中，对每个像素点对应的脉冲事件分别随机化，然后再得到最终的目标脉冲序列。此外，可并行或串行执行每个像素点上脉冲事件的随机化过程，优选为具有低延迟优势的并行方案。

可选地，本发明步骤S400与S500可以并行执行或顺序执行。

如图4所示，在某优选实施例中，在脉冲随机化步骤S500之前还包括步骤S600：基于各像素坐标对应的差帧像素值或/和脉冲事件数量，判断是否满足第二条件，若满足则终止当前进程。终止方式包括丢帧（例如重置/清零当前脉冲事件集合等），或者不进行随机化步骤，本发明不以此为限。

第二条件具体为：判断差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值，是否大于第三阈值，若是则不再执行：基于所述差帧像素值，获得与像素坐标对应的脉冲事件数量；或者，判断差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值是否大于第三阈值，若是则不再执行：基于脉冲事件数量，生成经过随机化的目标脉冲序列。

当帧图像传感器被剧烈晃动或者被戏弄时，在很短时间内，差帧对应的脉冲事件数量的总和/差帧像素值的总和过多，由此产生的输出脉冲序列可能不是后续SNN处理器的有效输入信息，对其进行处理可能会出现不必要的结果输出；同时由于脉冲事件数量过多，处理器容易卡死或增大功耗。因此，在随机化步骤之前，提前滤除变化过快的帧图像，在保证处理器性能的同时降低功耗。

图5是本发明某实施例的自适应脉冲生成装置。本发明还披露一种自适应脉冲生成装置，用于生成目标脉冲序列，所述自适应脉冲生成装置包括：差帧模块：比较帧图像之间的差异，得到差帧中各像素坐标处的差帧像素值；脉冲事件数量生成模块：基于所述差帧像素值生成与像素坐标对应的脉冲事件数量；随机化模块：基于所述脉冲事件数量，生成随机化的目标脉冲序列；第一判断模块：至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否对帧图像的生成帧率或差帧频率进行调整。

在某些实施例中，该自适应脉冲生成装置还包括：预处理模块，用于输入差帧模块的帧图像进行预处理。预处理操作可以包括尺寸重塑或/和灰度化。

在某些实施例中，该自适应脉冲生成装置还包括：第二判断模块，基于各像素坐标对应的差帧像素值或/和脉冲事件数量，判断是否满足第二条件，若满足则终止当前进程。

更多调整策略，可以参考前述方法类实施例，在此以引用的方式将其纳入该实施例中，此处不再赘述。

图6为本发明自适应脉冲生成及处理系统框图，包括依次耦接的帧图像传感器、自适应脉冲生成装置、神经网络处理器。帧图像传感器采集帧图像，自适应脉冲生成装置用于低功耗、快速生成高质量目标脉冲序列，神经网络处理器（如SNN处理器）用于推理以输出分类结果。

其中，自适应脉冲生成装置可独立设置，也可集成于处理器或帧图像传感器。在某些实施例中，自适应脉冲生成装置被实施为帧图像传感器接口。进一步地，帧图像传感器、自适应脉冲生成装置、神经网络处理器被集成在同一芯片上，该芯片同时具备感知与计算能力。

图7为本发明另一自适应脉冲生成及处理系统框图，包括帧图像传感器、自适应脉冲生成装置、事件传感器（如事件相机）和神经网络处理器。自适应脉冲生成装置将帧图像传感器采集帧图像转换为第一目标脉冲序列，事件相机输出第二目标脉冲序列，神经网络处理器接收第一目标脉冲序列或/和第二目标脉冲序列进行处理。同样地，帧图像传感器或事件相机可独立设置，也可与处理器集成在同一个芯片上。

本发明还披露一种芯片，该芯片为类脑芯片或神经形态芯片，该芯片包括如前所述的帧图像传感器接口，或同时包括帧图像传感器接口和事件传感器接口。该芯片使用如前任一项所述的自适应脉冲生成方法，或者包括如前任一项所述的自适应脉冲生成装置。

本发明披露一种电子设备，包括如前所述的芯片，用于低功耗、实时、高性能对环境信号进行响应。本发明方案的功耗极低，适合边缘智能计算，适用于智能家居、物联网、自动驾驶、智能玩具等领域。

尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。

因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。

为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。

所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。

结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (10)

1.一种自适应脉冲生成方法，其特征在于，所述自适应脉冲生成方法包括如下步骤：

比较帧图像之间的差异，得到差帧中各像素坐标处的差帧像素值；

基于所述差帧像素值，获得与像素坐标对应的脉冲事件数量；

至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否对帧图像的生成帧率或差帧频率进行调整。

2.根据权利要求1所述的自适应脉冲生成方法，其特征在于，所述自适应脉冲生成方法还包括如下步骤：

预处理步骤，用于对帧图像进行预处理；所述预处理包括尺寸重塑或/和灰度化。

3.根据权利要求1所述的自适应脉冲生成方法，其特征在于：

当差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率；或者，

当差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值：小于第一阈值则降低帧率或差帧频率，或/和大于第二阈值则提升所述帧率或差帧频率。

4.根据权利要求1所述的自适应脉冲生成方法，其特征在于：

在降低所述帧率或差帧频率第一时间间隔后，恢复帧率或差帧频率至默认值；或/和，当在第二时间间隔内，差帧像素值的总和或/和脉冲事件数量的总和均小于第一阈值，则降低所述帧率或差帧频率。

5.根据权利要求1所述的自适应脉冲生成方法，其特征在于，所述自适应脉冲生成方法还包括：

判断差帧像素值的总和，或像素值满足预设条件的差帧像素值的总和，或像素值满足预设条件的差帧像素个数的计数值，是否大于第三阈值，若是则不再执行：基于所述差帧像素值，获得与像素坐标对应的脉冲事件数量；或者，

判断差帧对应的脉冲事件数量的总和，或满足预设条件的脉冲事件数量的总和，或脉冲事件数量满足预设条件的差帧像素个数的计数值是否大于第三阈值，若是则不再执行：基于脉冲事件数量，生成经过随机化的目标脉冲序列。

6.一种自适应脉冲生成装置，用于生成目标脉冲序列，其特征在于，所述自适应脉冲生成装置包括：

差帧模块：比较帧图像之间的差异，得到差帧中各像素坐标处的差帧像素值；

脉冲事件数量生成模块：基于所述差帧像素值生成与像素坐标对应的脉冲事件数量；

随机化模块：基于所述脉冲事件数量，生成随机化的目标脉冲序列；

第一判断模块：至少基于该差帧的整体差帧像素值或/和对应的整体脉冲事件数量，判断是否对帧图像的生成帧率或差帧频率进行调整。

7.根据权利要求6所述的自适应脉冲生成装置，其特征在于，所述自适应脉冲生成装置还包括：

第二判断模块，判断所述差帧像素值的总和或/和脉冲事件数量的总和，是否大于第三阈值，若是则终止对脉冲事件的随机化操作。

8.一种类脑芯片，其特征在于：

所述类脑芯片使用如权利要求1至5任一项所述的自适应脉冲生成方法，或者包括如权利要求6至7任一项所述的自适应脉冲生成装置。

9.根据权利要求8所述的类脑芯片，其特征在于：

所述自适应脉冲生成方法或自适应脉冲生成装置，被应用于类脑芯片的帧图像传感器接口中。

10.一种电子设备，其特征在于：该电子设备包括如权利要求6-7任一项所述的自适应脉冲生成装置；或者，该电子设备包括如权利要求8-9任一项所述的类脑芯片。

Images