CN110427823A - 基于视频帧与脉冲阵列信号的联合目标检测方法与装置 - Google Patents

Abstract

本发明公开了一种基于视频帧与脉冲阵列信号的联合目标检测方法和装置，该方法包括：将视频帧和脉冲阵列信号作为目标检测的输入；将连续的脉冲阵列信号进行自适应划分；根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；将视频帧与脉冲阵列信号以特征表达形式进行融合；输出检测结果。本发明可有效地利用脉冲阵列信号的高时间分辨率和高动态能力来提供传统相机的目标检测精度，尤其解决高速运动模糊、过曝光或低光照等场景的检测难题。在无人驾驶视觉检测与导航、无人机巡航与定位、机器人视觉导航和视频监控等涉及高速运动领域存在广泛应用潜力。

Description

基于视频帧与脉冲阵列信号的联合目标检测方法与装置

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于视频帧与脉冲阵列信号的联合目标检测方法与装置。

背景技术

目标检测的任务是找出视觉场景中所感兴趣的目标对象，确定它们的位置与大小，是机器视觉领域的核心问题，在无人驾驶视觉检测与导航、无人机巡航与定位、机器人视觉导航和视频监控等领域广泛应用。

视觉传感器相比激光雷达和超声波等，具有高的空间分辨率，同时捕获充足的视频数据，在目标检测任务占重要的地位。传统相机是基于固定曝光时间采样，有固定时间间隔对光强积分构成的视频帧(一般为30-120帧/秒)，在慢速场景和正常光照场景可捕获场景的清晰的纹理细节，然而传统相机的低时间分辨率和低动态光强感知范围，在高速运动场景容易产生运动模糊，在过曝光场景和低光照场景无法清晰成像，使得传统相机在高速运动和光照敏感场景的目标检测面临着重大挑战。此外，基于帧的高速相机存在数据冗余量大、体积大和价格昂贵等劣势。

生物视觉系统具有高清晰、低功耗、鲁棒性强等优势，同时能高效地进行光学信号处理、感知复杂场景和物体三维信息，理解和识别场景。近年来，仿视网膜传感器是模仿生物视网膜视觉通路的成像机理，目前主要有动态视觉传感器(Dynamic Vision Sensor,DVS)和超高速全时视觉传感器(UltraSpeed Fulltime Sensor,UFS)。动态视觉传感器是模拟神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，但无法捕获场景的纹理细节；超高速全时视觉传感器是模拟视网膜中央凹清晰成像的机理，发放的神经脉冲信号是对场景的光强积分超过阈值，以时空稀疏脉冲信号全时记录视觉信息，相比传统固定帧率的相机具有高时间分辨率、高动态氛围等优势，同时相比动态视觉传感器具有捕获场景纹理细节的能力。

人类在视觉传感器上取得了重大的进步，在实际复杂的任务上而远不及生物视觉系统。传统帧率视觉传感器可采集到高清晰的图像，但数据采集存在较大冗余、感光动态范围小、固定帧率的时域分辨率低、在高速运动模糊等缺点。生物视觉系统具有高清晰、低功耗、鲁棒性强等优势，同时能高效地进行光学信号处理、感知复杂场景和物体三维信息，理解和识别场景。动态视觉传感器是模仿神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，在无人驾驶视觉传感器、无人机视觉传感器和机器人视觉导航定位等领域有着巨大市场应用潜力。

因此，如何对时空脉冲阵列进行特征表达，并利用仿视网膜传感器的高时间分辨率、高动态范围来解决传统相机在高速运动、过光照和低光照场景的难以高精度检测的问题，并充分利用传统相机的高空间分辨率成像的优势，是当前亟待解决的问题。同时，开发对视频帧与脉冲阵列的联合目标检测方法与装置是一个亟待解决的问题。

发明内容

针对上述现有技术存在的问题，本发明实施例提供了一种解决至少部分上述问题的基于视频帧与脉冲阵列信号的联合目标检测方法与装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明的第一方面，提供一种基于视频帧与脉冲阵列信号的联合目标检测方法，包括：

将视频帧和脉冲阵列信号作为目标检测的输入；

将连续的脉冲阵列信号进行自适应划分；

根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；

将视频帧与脉冲阵列信号以特征表达形式进行融合；

输出检测结果。

进一步地，所述脉冲阵列信号为仿视网膜传感器采样的脉冲阵列信号，所述脉冲阵列信号表示为在时域和空域的三维空间稀疏离散点阵。

进一步地，所述将连续的脉冲阵列信号进行自适应划分包括依据脉冲时空特性进行自适应时间和空间的划分。

进一步地，所述的同步融合或异步融合检测，依据为脉冲阵列信号划分的频率与视频帧率是否一致，若脉冲阵列信号划分频率与视频帧率相同，则是同步融合；否则是异步融合。

进一步地，所述将视频帧与脉冲阵列信号以特征表达形式进行融合为在检测前端融合或检测算法中融合或后端联合决策进行融合。

进一步地，所述的检测前端融合，即在输出检测算法前将视频帧和脉冲阵列进行融合，包括但不限于：

信号通道叠加，将视频帧的信号通道与脉冲阵列积分帧的通道进行叠加，生成融合帧；

信号通道融合，将视频帧和脉冲阵列信号的积分帧采用互补方法或深度学习方法融合的方式，生成融合帧。

进一步地，所述的检测算法中融合，即在目标检测算法中将视频流与脉冲阵列流进行融合，包括：采用深度学习方法和脉冲神经网络方法的融合，将视频帧和脉冲阵列流分别输入对应的特征子网络，再将子网络流输出到融合子网络进行融合，以实现端到端的的目标检测方法。

进一步地，所述的目标检测算法，包括但不限于：

基于传统帧的目标检测算法，将脉冲阵列信号转换为帧或特征图输入到传统目标检测算法；

基于稀疏点的深度学习网络算法，即在稀疏离散的点阵上进行特征提取与操作。

进一步地，所述的脉冲神经网络方法，采用类脑神经模型在稀疏离散的点阵上进行特征提取与操作，实现运动目标的检测。

进一步地，所述的后端联合决策融合，即将视频帧和脉冲阵列在检测算法中分别的检测结果进行决策输出，包括但不限于：

裁判判决理论融合，将目标检测算法输出的检测框与置信分数，在先验信息进行置信分数的概率动态分配，依据二者概率进行联合决策；

贝叶斯理论决策，将目标检测算法输出的检测框与置信分数，利用先验概率推出当前目标的后验概率进行决策。

进一步地，所述将视频帧与脉冲阵列信号以特征表达形式进行融合，融合的方式包括但不限于：

融合帧的形式，即在输入检测算法前，将脉冲阵列信号在固定时间内进行累积为积分帧，再将视频帧与积分帧进行融合为输入帧；

融合特征图的形式，将视频帧和脉冲阵列以特征图的形式在检测算法中融合；

融合检测结果的形式，将视频帧和脉冲阵列信号分别在检测器中的输出的目标框和置信分数进行融合。

根据本发明的第二方面，提供一种基于视频帧与脉冲阵列信号的联合目标检测装置，包括：

输入模块，用于将视频帧和脉冲阵列信号作为目标检测的输入；

划分模块，用于将连续的脉冲阵列信号进行自适应划分；

检测模块，用于根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；

融合模块，用于将视频帧与脉冲阵列信号以特征表达形式进行融合；

输出模块，用于输出检测结果。

根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现所述的方法。

根据本发明的第四方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现所述的方法。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明提供的基于视频帧与脉冲阵列信号的联合目标检测方法与装置,可有效地利用脉冲阵列信号的高时间分辨率和高动态能力来提供传统相机的目标检测精度，尤其解决高速运动模糊、过曝光或低光照等场景的检测难题。在无人驾驶视觉检测与导航、无人机巡航与定位、机器人视觉导航和视频监控等涉及高速运动领域存在广泛应用潜力。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种基于视频帧与脉冲阵列的联合目标检测方法流程图；

图2为本发明另一实施例提供的一种基于视频帧与脉冲阵列的联合目标检测方法流程图；

图3为本发明实施例提供的传统相机与动态视觉传感器的对比图；

图4为本发明实时例提供的一种基于视频帧与动态视觉传感器的联合目标检测框架图；

图5为本发明实施例提供的一种卷积脉冲神经网络对脉冲阵列信号特征表达结构图；

图6为本发明实施例提供的一种信息融合中动态概率分配图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

为了从根本上解决传统相机在高速运动、过光照和低光照场景的难以高精度检测的问题，本公开的一个实施例，提供了一种基于视频帧与脉冲阵列的联合目标检测方法，如图1所示，包括：

S1:将由传统相机采样的视频帧和仿视网膜传感器采样的脉冲阵列信号作为目标检测的输入；

脉冲阵列信号表示地址事件，脉冲阵列信号表示为在时域和空域的三维空间稀疏离散点阵；将视频帧与脉冲信号联合目标检测，即目标检测的输入源包括由传统相机采样的视频帧和仿视网膜传感器采样的稀疏脉冲离散点阵；

稀疏离散点阵以脉冲阵列信号的形式记录并采样光强信息，可表达视觉场景信息；仿视网膜传感器包括但不限于：

动态视觉传感器，以差分采样形式记录事件来表示光强的变化，具有高时间分辨率和高动态范围；

超高速全时视觉传感器，以积分采样形式发放脉冲表示光强强度，具有高时间分辨率、清晰纹理和高动态范围。

所述的动态视觉传感器在目标检测中的应用，可克服传统相机在高速场景的运动模糊、光照敏感场景的过曝光、弱曝光场景的成像不清晰，动态视觉传感器包括但不限于：DVS、DAVIS、ATIS、Celex等。

所述的超全时视觉传感器在目标检测中应用，可克服传统相机的高速运动模糊、同时也具有高动态成像的能力。

S2:依据目标检测任务的输出频率，将连续的脉冲阵列信号进行自适应划分；

所述脉冲阵列信号的自适应划分，包括依据脉冲时空特性进行自适应时间和空间的划分。

S3:根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；

所述的同步融合或异步融合检测，依据是脉冲阵列信号划分的频率与视频帧率是否一致，若脉冲阵列信号划分频率与视频帧率相同，则目标检测是同步融合；否则目标检测是异步融合。

同步融合，即视频流与脉冲流频率一致，目标检测输出结果频率与二者一致；

异步融合，即视频流与脉冲流频率不一致，目标检测输出频率可依据任务需求进行决策输出。

S4:依据目标检测的精度，将视频帧与脉冲阵列信号以特征表达形式进行融合，可以依据任务需求选择检测前端融合、检测算法中融合或后端联合决策融合；

以特征表达形式进行融合的方式，即视频帧与脉冲流融合的方式，包括但不限于：

融合帧的形式，即在输入检测算法前，将脉冲阵列信号在固定时间内进行累积为积分帧，再将视频帧与积分帧进行融合为输入帧；

融合特征图的形式，将视频帧和脉冲阵列以特征图的形式在检测算法中融合，如将脉冲信号转换为时间特征面；

融合检测结果的形式，将视频帧和脉冲阵列信号分别在检测器中的输出的目标框和置信分数进行融合。

所述的检测前端融合，即在输出检测算法前将视频帧和脉冲阵列进行融合，包括但不限于：

信号通道叠加，将视频帧的信号通道与脉冲阵列积分帧的通道进行叠加，生成融合帧；

信号通道融合，将视频帧和脉冲阵列信号的积分帧采用互补方法或深度学习方法融合的方式，生成融合帧。

所述的检测算法中融合，即在目标检测算法中将视频流与脉冲阵列流进行融合，可采用深度学习方法和脉冲神经网络方法的融合，将视频帧和脉冲阵列流分别输入对应的特征子网络，再将子网络流输出到融合子网络进行融合，以实现端到端的的目标检测方法。

所述的目标检测算法，包括但不限于：

基于传统帧的目标检测算法，将脉冲阵列信号转换为帧或特征图输入到传统目标检测算法，如SSD、Faster-RCNN、YOLO系列等；

基于稀疏点的深度学习网络算法，即在稀疏离散的点阵上进行特征提取与操作，可更好的对时空脉冲阵列进行特征表达，实现端到端的深度学习目标检测算法，如PointNet，PointNet++,PointCNN等。

所述的脉冲神经网络方法，采用类脑神经模型在稀疏离散的点阵上进行特征提取与操作，实现运动目标的检测。

所述的后端联合决策融合，即将视频帧和脉冲阵列在检测算法中分别的检测结果进行决策输出，包括但不限于：

裁判判决理论融合，将目标检测算法输出的检测框与置信分数，在先验信息进行置信分数的概率动态分配，依据二者概率进行联合决策；

贝叶斯理论决策，将目标检测算法输出的检测框与置信分数，利用先验概率推出当前目标的后验概率进行决策。

S5:输出视频帧与脉冲阵列信号的联合目标检测结果，即目标的位置和置信分数。

根据本公开的另一个方面，提供了一种基于视频帧与脉冲阵列信号的联合目标检测装置，包括：

输入模块，用于将视频帧和脉冲阵列信号作为目标检测的输入；

划分模块，用于将连续的脉冲阵列信号进行自适应划分；

检测模块，用于根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；

融合模块，用于将视频帧与脉冲阵列信号以特征表达形式进行融合；

输出模块，用于输出检测结果。

根据本公开的另一个方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的基于视频帧与脉冲阵列的联合目标检测方法。

根据本公开的另一个方面，提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的基于视频帧与脉冲阵列的联合目标检测方法。

本公开另一实施例提供了一种基于视频帧与脉冲阵列的联合目标检测方法，流程图如图2所示，包括如下步骤：

步骤1，将表示地址事件的脉冲信号数据转换为在时域和空域的三维空间稀疏离散点阵，将由传统相机采样的视频帧和仿视网膜传感器采样的稀疏脉冲离散点阵作为目标检测的输入源，从而将视频帧与脉冲信号联合进行目标检测；表示地址事件的脉冲信号数据是动态视觉传感器在受光强变化场景刺激后发放的记录地址事件的脉冲信号，动态视觉传感器相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，具体的对比如图3所示。

步骤2，同步融合，即依据目标检测任务的输出频率，将脉冲阵列与视频帧同步；在视频帧的时间内将连续的脉冲阵列信号进行自适应划分，同时视频帧的目标检测的数据及标签可供脉冲阵列进行视觉任务学习与评价，具体联合检测框架图如图4所示。

步骤3，提取脉冲阵列特征，即对空时稀疏的离散点阵进行视觉任务特征提取，采用两层卷积神经网络进行脉冲阵列信号特征提取；假设脉冲阵列框架分辨率为M*N，输入层为M*N神经元构成，输出层分别由ON和OFF两种极性构成的输出层，LIF神经元发放模型的发放率用来表示脉冲阵列的特征图，如图5所示。

步骤4，检测目标，可采用YOLOv3作为基准，分别将视频帧与脉冲阵列特征图输出到YOLOv3的神经网络框架，输出结果为目标框位置与目标的置信分数。

步骤5，进行联合决策，将两流输出的检测结果采用训练的PR模型来进行动态概率分配，如图6所示。

步骤6，融合目标置信分数，将裁判判决理论(Dempster-Shafer Theory,DST)将目标的置信分数进行融合，同时采用非极大值抑制(Non-Maximum Suppression,NMS)进行目标检测框的融合，输出联合决策的目标检测结果。

本发明可有效地利用脉冲阵列信号的高时间分辨率和高动态能力来提供传统相机的目标检测精度，尤其解决高速运动模糊、过曝光或低光照等场景的检测难题。本发明的新颖性和创造性在于：面向时空域稀疏脉冲信号，非结构稀疏点阵数据；利用了视频帧的高空间分辨率，脉冲阵列信号的高时间分辨率、高动态范围的互补优势；采用了融合决策模式，更佳融合视频流和脉冲阵列流。

在本公开的描述中，如果存在“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等参考术语，则该类参考术语的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。需要说明的是，在本公开的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种基于视频帧与脉冲阵列信号的联合目标检测方法，其特征在于，包括：

将视频帧和脉冲阵列信号作为目标检测的输入；

将连续的脉冲阵列信号进行自适应划分；

根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；

将视频帧与脉冲阵列信号以特征表达形式进行融合；

输出检测结果。

2.根据权利要求1所述的方法，其特征在于，所述脉冲阵列信号为仿视网膜传感器采样的脉冲阵列信号，所述脉冲阵列信号表示为在时域和空域的三维空间稀疏离散点阵。

3.根据权利要求1所述的方法，其特征在于，所述将连续的脉冲阵列信号进行自适应划分包括依据脉冲时空特性进行自适应时间和空间的划分。

4.根据权利要求1所述的方法，其特征在于，所述的同步融合或异步融合检测，依据为脉冲阵列信号划分的频率与视频帧率是否一致，若脉冲阵列信号划分频率与视频帧率相同，则是同步融合；否则是异步融合。

5.根据权利要求1所述的方法，其特征在于，所述将视频帧与脉冲阵列信号以特征表达形式进行融合为在检测前端融合或检测算法中融合或后端联合决策进行融合。

6.根据权利要求5所述的方法，其特征在于，所述的检测前端融合，为在输出检测算法前将视频帧和脉冲阵列进行融合，包括但不限于：

信号通道叠加，将视频帧的信号通道与脉冲阵列积分帧的通道进行叠加，生成融合帧；

信号通道融合，将视频帧和脉冲阵列信号的积分帧采用互补方法或深度学习方法融合的方式，生成融合帧。

7.根据权利要求5所述的方法，其特征在于，所述的检测算法中融合，为在目标检测算法中将视频流与脉冲阵列流进行融合，包括：采用深度学习方法和脉冲神经网络方法的融合，将视频帧和脉冲阵列流分别输入对应的特征子网络，再将子网络流输出到融合子网络进行融合，以实现端到端的的目标检测方法。

8.根据权利要求7所述的方法，其特征在于，所述的目标检测算法，包括但不限于：

基于传统帧的目标检测算法，将脉冲阵列信号转换为帧或特征图输入到传统目标检测算法；

基于稀疏点的深度学习网络算法，为在稀疏离散的点阵上进行特征提取与操作。

9.根据权利要求7所述的方法，其特征在于，所述的脉冲神经网络方法，采用类脑神经模型在稀疏离散的点阵上进行特征提取与操作，实现运动目标的检测。

10.根据权利要求5所述的方法，其特征在于，所述的后端联合决策融合，为将视频帧和脉冲阵列在检测算法中分别的检测结果进行决策输出，包括但不限于：

裁判判决理论融合，将目标检测算法输出的检测框与置信分数，在先验信息进行置信分数的概率动态分配，依据二者概率进行联合决策；

贝叶斯理论决策，将目标检测算法输出的检测框与置信分数，利用先验概率推出当前目标的后验概率进行决策。

11.根据权利要求1所述的方法，其特征在于，所述将视频帧与脉冲阵列信号以特征表达形式进行融合，融合的方式包括但不限于：

融合帧的形式，为在输入检测算法前，将脉冲阵列信号在固定时间内进行累积为积分帧，再将视频帧与积分帧进行融合为输入帧；

融合特征图的形式，将视频帧和脉冲阵列以特征图的形式在检测算法中融合；

融合检测结果的形式，将视频帧和脉冲阵列信号分别在检测器中的输出的目标框和置信分数进行融合。

12.一种基于视频帧与脉冲阵列信号的联合目标检测装置，其特征在于，包括：

输入模块，用于将视频帧和脉冲阵列信号作为目标检测的输入；

划分模块，用于将连续的脉冲阵列信号进行自适应划分；

检测模块，用于根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；

融合模块，用于将视频帧与脉冲阵列信号以特征表达形式进行融合；

输出模块，用于输出检测结果。

13.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-11中任一项所述的方法。

14.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-11中任一项所述的方法。