CN113159277B - 目标检测方法、装置及设备 - Google Patents

Abstract

本发明提供一种目标检测方法、装置及设备，该方法包括：获取红外特征图；根据所述红外特征图，生成脉冲神经网络芯片对应的输入工作帧；将所述输入工作帧发送给所述脉冲神经网络芯片，以使所述脉冲神经网络芯片根据所述输入工作帧进行运算，获得输出工作帧；接收所述脉冲神经网络芯片发送的输出工作帧；根据所述输出工作帧，确定目标检测结果，有效降低环境对检测结果的影响，提高检测结果的准确性，且有效减少神经网络推理时间，提高数据处理速度，进而提高系统实时性，降低数据传输时间消耗和能量消耗。

Description

目标检测方法、装置及设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种目标检测方法、装置及设备。

背景技术

目标检测是一种计算机视觉任务，可看成图像分类与定位的结合，具体是要从图像中检测出目标的位置，现有技术中，目标检测通常是处理器获取可见光摄像头拍摄的图像，进行预处理后采用训练好的目标检测神经网络进行目标检测获得检测结果。

但是，采用可见光摄像头拍摄的图像，容易受环境影响，比如遇到雨雪、雾霾天气，由于环境变差，检测目标被环境信息遮挡，拍摄的图像可用性随之变差，严重影响检测结果的准确性。

发明内容

本发明实施例提供一种目标检测方法、装置及设备，以解决现有技术检测结果容易受拍摄图像时的环境影响导致检测结果不准确的问题。

第一个方面，本发明实施例提供一种目标检测方法，包括：

获取红外特征图；

根据所述红外特征图，生成脉冲神经网络芯片对应的输入工作帧；

将所述输入工作帧发送给所述脉冲神经网络芯片，以使所述脉冲神经网络芯片根据所述输入工作帧进行运算，获得输出工作帧；

接收所述脉冲神经网络芯片发送的输出工作帧；

根据所述输出工作帧，确定目标检测结果。

第二个方面，本发明实施例提供一种目标检测装置，包括：

获取模块，用于获取红外特征图；

处理模块，用于根据所述红外特征图，生成脉冲神经网络芯片对应的输入工作帧；

发送模块，用于将所述输入工作帧发送给所述脉冲神经网络芯片，以使所述脉冲神经网络芯片根据所述输入工作帧进行运算，获得输出工作帧；

接收模块，用于接收所述脉冲神经网络芯片发送的输出工作帧；

确定模块，用于根据所述输出工作帧，确定目标检测结果。

第三个方面，本发明实施例提供一种电子设备，包括：存储器、收发器及至少一个处理器；

所述处理器、所述存储器与所述收发器通过电路互联；

所述处理器与脉冲神经网络芯片连接；

所述存储器存储计算机执行指令；所述收发器，用于接收输入设备发送的原红外热成像数据；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。

本发明实施例提供的目标检测方法、装置及设备，采用红外热成像特征数据进行目标检测，有效降低环境对检测结果的影响，提高检测结果的准确性，且红外热成像设备即使在环境、天气很恶劣的情况下依然可以正常工作，相对于可见光成像设备，能够满足全天候不间断运行的需求，大大提高系统稳定性；还将目标检测模型部署到脉冲神经网络芯片，由脉冲神经网络芯片实现目标检测算法的大部分计算，脉冲神经网络芯片中含有大量计算单元，每个计算单元均可同时独立工作，可实现数据的并行处理，从而有效减少神经网络推理时间，提高数据处理速度，进而提高系统实时性，并且脉冲神经网络芯片采用的是存内计算技术，采用脉冲神经网络芯片作为运算单元，大大减少存储与计算之间的数据传输，从而有效降低数据传输时间消耗和能量消耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的目标检测方法的流程示意图；

图2为本发明一实施例提供的目标检测方法的一种示例性流程示意图；

图3为本发明一实施例提供的目标检测装置的结构示意图；

图4为本发明一实施例提供的目标检测装置的一种示例性结构示意图；

图5为本发明一实施例提供的电子设备的结构示意图；

图6为本发明一实施例提供的目标检测系统的结构示意图；

图7为本发明一实施例提供的人脸检测结果展示示意图；

图8为本发明一实施例提供的目标检测执行流程示意图；

图9为本发明一实施例提供的目标检测模型主干网络结构示意图；

图10为本发明一实施例提供的图9中Convolutional Set层的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个及两个以上，除非另有明确具体的限定。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明一实施例提供一种目标检测方法，用于各种场景下的目标检测处理。本实施例的执行主体为目标检测装置，该装置可以设置在电子设备中，该电子设备可以是任意的计算机设备。

如图1所示，为本实施例提供的目标检测方法的流程示意图，该方法包括：

步骤101，获取红外特征图。

具体的，红外特征图是基于原红外热成像数据预处理后获得的符合目标检测模型输入需求的特征数据，目标检测模型为训练好的且脉冲化的用于目标检测的脉冲神经网络模型，目标检测模型具体脉冲化部分可以根据实际需求设置，可以是部分网络层脉冲化，其余层非脉冲化。

采用红外热成像技术进行目标检测受气候环境影响小，相比于可见光，红外线具有更强的穿透雾、霾、雨、雪等的能力，由于红外热成像技术是利用红外热辐射采集图像，与光线强度无关，不受光线影响，不会存在可见光摄像头在强光、弱光、黑夜等情况下数据可用性变差甚至无法使用的情况。

步骤102，根据红外特征图，生成脉冲神经网络芯片对应的输入工作帧。

具体的，为了适配脉冲神经网络芯片，在获得红外特征图后，需要根据红外特征图，生成脉冲神经网络芯片对应的输入工作帧，具体来说，可以根据红外特征图生成脉冲化特征图(为了区分可以称为第一脉冲化特征图)，进一步根据第一脉冲化特征图，按照脉冲神经网络芯片需要输入工作帧的格式进行编码，获得脉冲神经网络芯片对应的输入工作帧，脉冲神经网络芯片与目标检测装置连接，用于目标检测模型各层的运算。

步骤103，将输入工作帧发送给脉冲神经网络芯片，以使脉冲神经网络芯片根据输入工作帧进行运算，获得输出工作帧。

具体的，在获得脉冲神经网络芯片对应的输入工作帧后，将该输入工作帧发送给脉冲神经网络芯片，脉冲神经网络芯片根据输入工作帧进行相应层的运算处理，获得输出工作帧返回给目标检测装置。

需要说明的是，目标检测模型需要预先进行部署，将目标检测模型的脉冲化网络层部署到脉冲神经网络芯片，从而使得脉冲神经网络芯片可以实现目标检测模型的运算。

示例性的，可以将训练好的原检测模型转化为脉冲神经网络模型，作为目标检测模型，原检测模型的网络结构可以根据实际需求设置，本发明实施例不做限定；对于原检测模型中最后一层卷积层不进行脉冲化，第1层卷积层和中间各层进行脉冲化，目标检测模型的第1层卷积层的输入特征图为非脉冲的，将目标检测模型的第1层卷积层的运算部分部署到目标检测装置，目标检测模型的最后一层卷积层的输入特征图为非脉冲的，将目标检测模型的最后一层卷积层部署到目标检测装置，第1层卷积层和最后一层卷积层之间的各层的运算部分部署到脉冲神经网络芯片，由脉冲神经网络芯片实现目标检测模型的中间各层的运算，目标检测装置负责预处理、首层卷积层和尾层卷积层的运算以及后处理。

采用脉冲神经网络芯片完成目标检测算法的大部分计算，由于脉冲神经网络芯片采用的是存内计算的方式，有效减少了数据在计算单元和内存之间搬运数据的时间，数据通信效率极高，大大减少了数据传输的时间损耗及能量损耗，且脉冲神经网络芯片中含有大量计算单元，每个计算单元均可同时独立工作，可实现数据的并行处理，因此目标检测模型的神经网络中可以同步执行的计算过程可以部署到脉冲神经网络芯片不同的计算单元上进行并行计算，进一步减少网络整体计算时间，加快网络推理速度；并且脉冲神经网络芯片在接收到脉冲信息后才会处于工作状态，其余时间可以处于最小功率状态，相对于无论是否进行计算都处于工作状态的传统处理器，采用脉冲神经网络芯片可进一步降低能量损耗。

步骤104，接收脉冲神经网络芯片发送的输出工作帧。

步骤105，根据输出工作帧，确定目标检测结果。

脉冲神经网络芯片的输出工作帧返回给目标检测装置，目标检测装置则可以接收到脉冲神经网络芯片返回的输出工作帧，并进一步根据输出工作帧来确定目标检测结果，具体来说，目标检测装置将输出工作帧转化为脉冲化特征图(可以称为第二脉冲化特征图)，并进一步将第二脉冲化特征图转换为浮点数值的数据格式的输出特征图，将输出特征图输入到最后一层卷积层进行运算获得最后一层卷积结果，目标检测装置进一步对最后一层卷积结果进行后处理获得目标检测结果，其中，将输出工作帧转换成第二脉冲化特征图的原理是将第一脉冲化特征图转换成输入工作帧的原理的逆过程；目标检测结果可以包括检测到的目标对象的类别、位置、置信度等，具体可以根据实际需求设置；后处理可以包括对输出结果的解码操作、非极大值抑制(Non-Maximum Suppression，简称：NMS)操作等，具体可以根据实际需求设置。

可选地，在获得目标检测结果后，目标检测装置还可以根据目标检测结果进行后续处理，比如对于搜救场景下，可以基于检测到的目标对象的类别，判断是否为被搜救对象，进而根据目标对象的位置采取救援行动。

可选，目标检测装置还可以将目标检测结果发送给显示设备进行显示。

需要说明的是，脉冲神经网络芯片可以根据实际需求选择或设置，脉冲神经网络芯片需要预先进行配置，配置操作只需执行一次，将训练好的原检测模型根据脉冲神经网络芯片及实际需求转化为脉冲神经网络模型作为目标检测模型，然后按照脉冲神经网络芯片对应的配置方式对脉冲神经网络芯片进行配置，将目标检测模型的相应部分的结构和参数写入脉冲神经网络芯片中。脉冲神经网络芯片在工作阶段接收目标检测装置发送的输入工作帧，根据自身配置进行运算，获得输出工作帧发送给目标检测装置，脉冲神经网络芯片的输出工作帧同样具有规定的格式，目标检测装置按照预设的编码格式对输出工作帧进行解码即可获得各工作帧对应的特征图坐标，对每个坐标处的脉冲进行计数，计数结果作为该坐标处的特征值，即可获得输出工作帧对应的第二脉冲化特征图。

本实施例提供的目标检测方法，采用红外热成像特征数据进行目标检测，有效降低环境对检测结果的影响，提高检测结果的准确性，且红外热成像设备即使在环境、天气很恶劣的情况下依然可以正常工作，相对于可见光成像设备，能够满足全天候不间断运行的需求，大大提高系统稳定性；还将目标检测模型部署到脉冲神经网络芯片，由脉冲神经网络芯片实现目标检测算法的大部分计算，脉冲神经网络芯片中含有大量计算单元，每个计算单元均可同时独立工作，可实现数据的并行处理，从而有效减少神经网络推理时间，提高数据处理速度，进而提高系统实时性，并且脉冲神经网络芯片采用的是存内计算技术，采用脉冲神经网络芯片作为运算单元，大大减少存储与计算之间的数据传输，从而有效降低数据传输时间消耗和能量消耗。

为了使本发明的技术方案更加清楚，本发明另一实施例对上述实施例提供的方法做进一步补充说明。

如图2所示，为本实施例提供的目标检测方法的一种示例性流程示意图。

作为一种可实施的方式，在上述实施例的基础上，可选地，获取红外特征图，包括：

步骤1011，获取原红外热成像数据。

具体的，原红外热成像数据是红外热成像设备拍摄获得的图像数据，原红外热成像数据可以是实时从红外热成像设备获取，也可以是预先存储在预设存储区域，在进行目标检测时从该预设存储区域获取。

步骤1012，对原红外热成像数据进行预处理，获得红外特征图。

具体的，原红外热成像数据可能会存在一些噪声、大小不适用于目标检测模型的输入需求等情况，因此需要对原红外热成像数据进行预处理，获得符合目标检测模型输入需求的红外特征图，预处理具体可以包括校正、均衡化、滤波、缩放等，具体可以根据实际需求设置。

为了使预处理的过程更加清楚，对预处理的具体过程做进一步补充说明，作为一种可实施的方式，可选地，对原红外热成像数据进行预处理，获得红外特征图，具体包括：

步骤10121，对原红外热成像数据进行校正，获得校正后数据。

步骤10122，对校正后数据进行均衡化，获得均衡数据。

步骤10123，对均衡数据进行滤波，获得滤波后数据。

步骤10124，对滤波后数据进行缩放填充，获得红外特征图。

具体的，校正方式可以根据实际需求设置，比如可以采用一点校正，一点校正是指对采集到的原红外热成像数据(也可称为原红外热成像图像)进行非均匀性校正，由于红外热成像设备的热成像机芯受制作工艺水平的限制，所成图像容易存在非均匀性噪声，为了减少这种非均匀性噪声的干扰，因此需要对原红外热成像数据进行非均匀性校正；具体的非均匀性校正方式为：原红外热成像数据减去背景数据，也即原红外热成像图像减去背景图像，原红外热成像数据是指热成像机芯挡片落下时采集得到的红外热成像数据，背景数据是指在热成像机芯挡片未落下时采集得到的红外热成像数据；在对原红外热成像数据进行校正后，获得校正后数据。

均衡化方式可以根据实际需求设置，比如可以采用直方图均衡化，直方图均衡化是指对图像(即校正后数据)进行增强，使该图像的直方图分布均匀，从而增大对比度，使得该图像更加清晰；对校正后数据进行均衡化获得均衡数据。

滤波可以根据实际需求设置，图像滤波是指滤除图像(即均衡数据)中的噪声，比如，可以采用中值滤波，在保留该图像边缘特征的同时取得较好的降噪效果，且不会使该图像模糊，中值滤波也即对该图像中待处理像素点(遍历图像每个像素点作为待处理像素点)周围的像素点进行排序，取中值代替该待处理像素点的像素值，比如对于像素点A，周围像素点(包括像素点A本身)有9个像素点，将9个像素点的像素值进行排序，取中间的像素点的像素值作为该像素点A的像素值；对均衡数据进行滤波，获得滤波后数据。

缩放填充是指对图像(即滤波后数据)大小的调整，使得调整后图像符合目标检测模型输入尺寸需求，并对缩放后的空白处进行全0填充，采用缩放填充操作可以保留图像原始尺寸比例特征，有利于目标检测，保证检测结果的准确性；比如，目标检测模型所需的输入尺寸为416*416，而现在滤波后数据尺寸为384*288，则先对滤波后数据等比例缩放为416*312，然后在缩放后图像的两边空白处填充0，补全为所需的416*416输入尺寸，经缩放填充后获得了目标检测模型输入所需的红外特征图，进而目标检测装置可以将红外特征图输入目标检测模型的第1层卷积层进行第1层卷积运算(即第一卷积运算)，将红外特征图转换为脉冲化特征图(即第一脉冲化特征图)，再根据第一脉冲化特征图及预设输入工作帧格式生成脉冲神经网络芯片对应的输入工作帧，并发送给脉冲神经网络芯片，脉冲神经网络芯片进行中间层的运算，获得输出工作帧发送给目标检测装置，目标检测装置则可以根据输出工作帧来确定目标检测结果。

作另为一种可实施的方式，在上述实施例的基础上，可选地，根据红外特征图，生成脉冲神经网络芯片对应的输入工作帧，包括：

对红外特征图进行第一卷积运算，获得第一脉冲化特征图；根据第一脉冲化特征图及预设输入工作帧格式生成脉冲神经网络芯片对应的输入工作帧。

具体的，为了能够适配脉冲神经网络芯片，需要将获取的红外特征图转换成脉冲神经网络芯片对应的输入工作帧，这一转换过程则结合部署在目标检测装置的目标检测模型的第1层卷积层实现，具体来说，目标检测装置将红外特征图输入目标检测模型的第1层卷积层进行第1层卷积运算(即第一卷积运算)，将红外特征图转换为脉冲化特征图(即第一脉冲化特征图)，再根据第一脉冲化特征图及预设输入工作帧格式生成脉冲神经网络芯片对应的输入工作帧，并发送给脉冲神经网络芯片。

预设输入工作帧格式是针对脉冲神经网络芯片的输入需求预先设置的，具体来说，第一脉冲化特征图上每个特征点对应脉冲神经网络芯片的一个输入，将第一脉冲化特征图上所有非0特征点按照脉冲神经网络芯片所规定的工作帧格式编码为对应的工作输入帧。

作为另一种可实施的方式，在上述实施例的基础上，可选地，根据输出工作帧，确定目标检测结果，包括：

根据输出工作帧生成第二脉冲化特征图；将第二脉冲化特征图转换成数值特征图；对数值特征图进行最后一层卷积运算，获得最后一层卷积结果；对最后一层卷积结果进行后处理，获得目标检测结果。

具体的，脉冲神经网络芯片接收到目标检测装置发送的输入工作帧，根据自身配置进行运算，获得输出工作帧发送给目标检测装置，脉冲神经网络芯片的输出工作帧同样具有规定的格式，目标检测装置按照预设的编码格式对输出工作帧进行解码即可获得各工作帧对应的特征图坐标，对每个坐标处的脉冲进行计数，计数结果作为该坐标处的特征值，即可获得输出工作帧对应的第二脉冲化特征图；在获得第二脉冲化特征图后，需要将第二脉冲化特征图转换成数值特征图，比如将第二脉冲化特征图从整型数据格式转换成浮点数值的数据格式，并将该数值特征图输入到最后一层卷积层进行最后一层卷积运算，最后一层卷积部分是部署在目标检测装置中，经最后一层卷积运算获得最后一层卷积结果，最后一层卷积结果为目标检测模型主干神经网络(简称主干网络)的输出结果，输出结果是特征图，其中隐含了检测到的一个或多个候选框区域的类型、位置(比如中心坐标点、长、宽)、置信度等信息，这些信息需要经过后处理解析获得，并进一步获得最终的目标检测结果，也即目标检测装置在获得最后一层卷积结果后，需要对最后一层卷积结果进行后处理来获得目标检测结果，后处理具体可以包括解码操作、非极大值抑制(NMS)等操作，解码操作是指根据主干神经网络预设的输出向量格式对最后一层卷积结果的输出向量进行解密，解码后可获得检测结果的类别、位置置信度等信息；在解码后再对解码得到的结果进行非极大值抑制操作，非极大值抑制操作即根据置信度对同一目标对象的大量候选框(即解码得到的位置信息)进行排序，将重合面积较大且置信度较低的候选框删除的操作，经过非极大值抑制操作可以去除冗余的候选框，从而得到最佳的目标检测结果。

需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。

本实施例提供的目标检测方法，通过对原红外热成像数据进行校正，可以减少红外图像中非均匀性噪声的干扰，进一步提高检测结果的准确性，还通过均衡化对红外图像进行增强，使红外图像的直方图分布均匀，从而增大对比度，使红外图像更清晰，进一步提高检测结果的准确性，再通过图像滤波滤除红外图像中的噪声，在保留图像边缘特征的同时取得较好的降噪效果，且不会使图像产生模糊，更进一步地提高检测结果的准确性；还通过缩放填充来调整红外图像尺寸，可以保留红外图像原始尺寸比例特征，利于目标检测应用，进一步提高检测准确性；还通过第一层卷积层将输入目标检测模型的红外特征图进行脉冲化，并进一步转换成适配脉冲神经网络芯片的输入工作帧，从而可以将目标检测模型的大部分运算由脉冲神经网络芯片完成，有效提高计算速率，降低传输时间损耗及能量损耗。

本发明再一实施例提供一种目标检测装置，用于执行上述实施例的目标检测方法，该目标检测装置可以设置在电子设备中，具体可以设置在电子设备主控制器中或者该目标检测装置即为电子设备的主控制器，该主控制器可以为任何具备调度功能和数据处理功能的控制器，比如单片机、ARM控制器、个人PC等。

如图3所示，为本实施例提供的目标检测装置的结构示意图。该装置30包括：获取模块31、处理模块32、发送模块33、接收模块34和确定模块35。

其中，获取模块，用于获取红外特征图；处理模块，用于根据红外特征图，生成脉冲神经网络芯片对应的输入工作帧；发送模块，用于将输入工作帧发送给脉冲神经网络芯片，以使脉冲神经网络芯片根据输入工作帧进行运算，获得输出工作帧；接收模块，用于接收脉冲神经网络芯片发送的输出工作帧；确定模块，用于根据输出工作帧，确定目标检测结果。

具体的，获取模块可以通过目标检测装置与输入设备(红外热成像设备)之间的接口从输入设备获取原红外热成像数据，根据原红外热成像数据来获得红外特征图并发送给处理模块，处理模块根据红外特征图生成脉冲神经网络芯片对应的输入工作帧发送给发送模块，发送模块将该输入工作帧发送给脉冲神经网络芯片，脉冲神经网络芯片根据输入工作帧进行运算获得输出工作帧发送给目标检测装置的接收模块，接收模块接收到输出工作帧后发送给确定模块，确定模块根据输出工作帧确定目标检测结果。

可选地，也可以是由处理模块根据输出工作帧确定目标检测结果，则接收模块将输出工作帧后发送给处理模块，具体可以根据实际需求设置。

可选地，确定模块还可以将目标检测结果发送给处理模块或其他模块进行后续处理。

关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，且能够达到相同的技术效果，此处将不做详细阐述说明。

为了使目标检测装置的功能更加清楚，本发明又一实施例对上述实施例提供的装置做进一步补充说明。

作为一种可实施的方式，在上述实施例的基础上，可选地，获取模块，具体用于：获取原红外热成像数据；对原红外热成像数据进行预处理，获得红外特征图。

可选地，获取模块还可以包括获取子模块和预处理子模块，获取子模块用于获取原红外热成像数据并发送给预处理子模块，预处理子模块对原红外热成像数据进行预处理，获得红外特征图。

可选地，获取模块，具体用于：对原红外热成像数据进行校正，获得校正后数据；对校正后数据进行均衡化，获得均衡数据；对均衡数据进行滤波，获得滤波后数据；对滤波后数据进行缩放填充，获得红外特征图。

相应地，获取模块可以具体包括：获取子模块、校正子模块、均衡化子模块、滤波子模块和缩放子模块；具体的，获取子模块获取原红外热成像数据并发送给校正子模块，校正子模块对原红外热成像数据进行校正，获得校正后数据并发送给均衡化子模块，均衡化子模块对校正后数据进行均衡化，获得均衡数据并发送给滤波子模块，滤波子模块对均衡数据进行滤波，获得滤波后数据并发送给缩放子模块，缩放子模块对滤波后数据进行缩放填充，获得红外特征图。

作为另一种可实施的方式，在上述实施例的基础上，可选地，处理模块，具体用于：对红外特征图进行第一卷积运算，获得第一脉冲化特征图；根据第一脉冲化特征图及预设输入工作帧格式生成脉冲神经网络芯片对应的输入工作帧。

具体的，目标检测模型的第1层卷积层可以部署在处理模块，处理模块对红外特征图进行第1层卷积运算，获得第一脉冲化特征图，并进一步根据第一脉冲化特征图及预设输入工作帧格式生成脉冲神经网络芯片对应的输入工作帧。

作为另一种可实施的方式，在上述实施例的基础上，可选地，确定模块具体可以用于：根据输出工作帧生成第二脉冲化特征图；将第二脉冲化特征图转换成数值特征图；对数值特征图进行最后一层卷积运算，获得最后一层卷积结果；对最后一层卷积结果进行后处理，获得目标检测结果。

可选地，确定模块还可以具体包括生成子模块、转换子模块、卷积子模块和后处理子模块。

其中，生成子模块用于根据输出工作帧生成第二脉冲化特征图；转换子模块用于将第二脉冲化特征图转换成数值特征图；卷积子模块用于对数值特征图进行最后一层卷积运算，获得最后一层卷积结果；后处理子模块用于对最后一层卷积结果进行后处理，获得目标检测结果。

在一些实施例中，目标检测装置还可以按照其他方式进行单元划分，如图4所示，为本实施例提供的目标检测装置的一种示例性结构示意图。该目标检测装置可以包括预处理单元、热成像数据脉冲化单元、输出脉冲数值化单元和后处理单元。

其中，预处理单元用于获取原红外热成像数据，并对对原红外热成像数据进行校正，获得校正后数据，对校正后数据进行均衡化，获得均衡数据，对均衡数据进行滤波，获得滤波后数据，对滤波后数据进行缩放填充，获得红外特征图；热成像数据脉冲化单元用于对红外特征图进行第一卷积运算，获得第一脉冲化特征图，并根据第一脉冲化特征图及预设输入工作帧格式生成脉冲神经网络芯片对应的输入工作帧，并将输入工作帧发送给脉冲神经网络芯片；脉冲神经网络芯片根据输入工作帧获得输出工作帧发送给目标检测装置的输出脉冲数值化单元；输出脉冲数值化单元用于根据输出工作帧生成第二脉冲化特征图，并将第二脉冲化特征图转换成数值特征图，对数值特征图进行最后一层卷积运算，获得最后一层卷积结果，发送给后处理单元；后处理单元对最后一层卷积结果进行后处理，获得目标检测结果。

需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。

关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，且能够达到相同的技术效果，此处将不做详细阐述说明。

本发明再一实施例提供一种电子设备，用于执行上述实施例提供的方法。该电子设备可以是服务器或其他可实现的计算机设备。

如图5所示，为本实施例提供的电子设备的结构示意图。该电子设备50包括：存储器51、收发器52及至少一个处理器53。

其中，处理器、存储器与收发器通过电路互联；处理器与脉冲神经网络芯片连接；存储器存储计算机执行指令；收发器，用于接收输入设备发送的原红外热成像数据；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上任一实施例提供的方法。

具体的，收发器可以从红外热成像设备接收原红外热成像数据发送给处理器，处理器根据红外特征图，生成脉冲神经网络芯片对应的输入工作帧，并发送给脉冲神经网络芯片，脉冲神经网络芯片根据输入工作帧获得输出工作帧发送给处理器，处理器根据输出工作帧确定目标检测结果。

可选地，处理器还可以将目标检测结果通过收发器发送给输出设备，比如发送给显示器进行显示。

可选地，该电子设备还可以包括脉冲神经网络芯片。

在一示例性实施例中，还可以提供一种目标检测系统，如图6所示，为本实施例提供的目标检测系统的结构示意图，该目标检测系统包括输入设备、主控制器、脉冲神经网络芯片和输出设备。

其中，输入设备为热成像机芯，热成像机芯，热成像机芯可以获取物体的热辐射信息，热成像机芯主要由红外探测器和光学成像物镜组成，可以通过红外探测器上的光敏元件获取红外辐射能量分布图，从而获得红外热成像图(即原红外热成像数据)；输出设备为显示器，用于显示红外热成像图像及目标检测结果；主控制器可以是任何具备调度功能和数据处理的控制器，如单片机、ARM控制器、个人PC等，主控制器负责数据预处理(即上述预处理单元的功能)、输入特征脉冲化(即上述热成像数据脉冲化单元的功能)、输出脉冲数值化(即上述输出脉冲数值化单元的功能)和数据后处理(即上述后处理单元的功能)等功能，具体不再赘述

本发明的电子设备及目标检测系统可以应用于军事(比如无人机检测)、消防、医疗、户外探险(比如户外观察、搜救、夜视、打猎等等)、石油化工(比如高温报警)、工业检测(比如各种恶劣工业环境下的检测)、电力系统监控等领域的目标检测场景，可以基于目标检测进行相应的后续处理。

示例性的，如图7所示，为本实施例提供的人脸检测结果展示示意图，其中，face表示检测到的目标对象的类型，0.8表示置信度。

需要说明的是，本实施例的电子设备能够实现上述任一实施例提供的方法，且能够达到相同的技术效果，在此不再赘述。

本发明又一实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上任一实施例提供的方法。

需要说明的是，本实施例的计算机可读存储介质能够实现上述任一实施例提供的方法，且能够达到相同的技术效果，在此不再赘述。

为了使目标检测流程更加清楚，本发明一实施例以yolov3检测器为例进行详细说明。如图8所示，为本实施例提供的目标检测执行流程示意图，其中，目标检测模型输入图像即上述的红外特征图，目标检测模型主干网络即从第1层卷积层到最后1层卷积层的网络，主干网络输出结果即最后1层卷积层输出结果，包含了检测到一个或多个候选框的坐标位置、类别、置信度等信息，这些信息需要解码获得，解码器即用于对最后1层卷积结果进行解码操作获得各候选框的坐标位置、类别、置信度等信息的模块，如图9所示，为本实施例提供的目标检测模型主干网络结构示意图，其中，类型Convolutional表示卷积层，具体包括Conv2d+BN+LeakyReLU，Conv2d表示2D卷积神经网络层，BN(Batch Normalization)表示批标准化层，LeakyReLU表示激活函数层，Residual表示残差单元，Convolutional Set表示一系列特定卷积层的集合，Up Sampling表示上采样单元，Concatenate表示拼接层，具体的网络结构为现有技术，在此不再赘述，网络中第1层(即图9中最上面的卷积层转化为脉冲神经网络结构后的层)和最后一层(图9中的Predict one、Predict two和Predict three对应的Conv2d层)在主控制器上执行，中间部分在转化为脉冲神经网络结构后部署到脉冲神经网络芯片上执行；如图10所示，为本实施例提供的图9中Convolutional Set层的结构示意图，Convolutional Set层由一系列1*1和3*3的卷积操作组成，1*1的卷积核用于降维，3*3的卷积核用于提取特征，多个卷积核交错达到目的，每个全卷积特征层是有连接的；在yolov3中，解码器就是yolo层，经过对网络输出结果进行解码，即可得到若干个包含坐标、类别、置信度的候选框信息；解码后得到的结果中包含很多冗余候选框，比如一个目标对象检测出了多个可能的位置框，其中只有一个最符合要求，其余的就是冗余候选框，进行非极大值抑制操作可去除冗余候选框，得到需要的目标检测结果。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (6)

1.一种目标检测方法，其特征在于，包括：

获取红外特征图；

对所述红外特征图进行第一卷积运算，获得第一脉冲化特征图，第一脉冲化特征图上每一个特征点对应脉冲神经网络芯片的一个输入；

将第一脉冲化特征图上所有非0特征点按照脉冲神经网络芯片所规定的工作帧格式编码为对应的工作输入帧；

将输入工作帧发送给所述脉冲神经网络芯片，以使所述脉冲神经网络芯片根据所述输入工作帧进行运算，获得输出工作帧；

接收所述脉冲神经网络芯片发送的输出工作帧；

按照预设的编码格式对输出工作帧进行解码获得各工作帧对应的特征图坐标，对每个坐标处的脉冲进行计数，计数结果作为该坐标处的特征值，获得输出工作帧对应的第二脉冲化特征图；

将所述第二脉冲化特征图转换成数值特征图；

对所述数值特征图进行最后一层卷积运算，获得最后一层卷积结果；

对所述最后一层卷积结果进行后处理，获得所述目标检测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取红外特征图，包括：

获取原红外热成像数据；

对所述原红外热成像数据进行预处理，获得所述红外特征图。

3.根据权利要求2所述的方法，其特征在于，对所述原红外热成像数据进行预处理，获得所述红外特征图，包括：

对所述原红外热成像数据进行校正，获得校正后数据；

对所述校正后数据进行均衡化，获得均衡数据；

对所述均衡数据进行滤波，获得滤波后数据；

对所述滤波后数据进行缩放填充，获得所述红外特征图。

4.一种目标检测装置，其特征在于，包括：

获取模块，用于获取红外特征图；

处理模块，用于对所述红外特征图进行第一卷积运算，获得第一脉冲化特征图，第一脉冲化特征图上每一个特征点对应脉冲神经网络芯片的一个输入；将第一脉冲化特征图上所有非0特征点按照脉冲神经网络芯片所规定的工作帧格式编码为对应的工作输入帧；

发送模块，用于将输入工作帧发送给所述脉冲神经网络芯片，以使所述脉冲神经网络芯片根据所述输入工作帧进行运算，获得输出工作帧；

接收模块，用于接收所述脉冲神经网络芯片发送的输出工作帧；

确定模块，用于按照预设的编码格式对输出工作帧进行解码获得各工作帧对应的特征图坐标，对每个坐标处的脉冲进行计数，计数结果作为该坐标处的特征值，获得输出工作帧对应的第二脉冲化特征图；将所述第二脉冲化特征图转换成数值特征图；对所述数值特征图进行最后一层卷积运算，获得最后一层卷积结果；对所述最后一层卷积结果进行后处理，获得所述目标检测结果。

5.根据权利要求4所述的装置，其特征在于，所述获取模块包括：获取子模块和预处理子模块，

所述获取子模块，用于获取原红外热成像数据；

所述预处理子模块，用于对所述原红外热成像数据进行预处理，获得所述红外特征图。

6.一种电子设备，其特征在于，包括：存储器、收发器及至少一个处理器；

所述处理器、所述存储器与所述收发器通过电路互联；

所述处理器与脉冲神经网络芯片连接；

所述存储器存储计算机执行指令；所述收发器，用于接收输入设备发送的原红外热成像数据；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-3任一项所述的方法。

Images