CN117994626A - 脑启发多尺度自适应神经网络目标检测识别方法和系统 - Google Patents

Abstract

本发明提供了一种脑启发多尺度自适应神经网络目标检测识别方法和系统，所述方法包括：对深度神经网络特征图中G组不同尺度范围的潜在目标进行感兴趣区域提取，得到G组不同尺度范围的感兴趣区域特征图；对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图；对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图；基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标；其中，G≥2，且为整数。本发明能够解决现有技术中多尺度目标的检测识别性能较差的技术问题。

Description

脑启发多尺度自适应神经网络目标检测识别方法和系统

技术领域

本发明涉及计算机视觉图像识别技术领域，尤其涉及一种脑启发多尺度自适应神经网络目标检测识别方法和系统。

背景技术

深度学习技术是一种重要的图像目标检测识别方法，其主要作用是对图像或视频内目标进行准确分类或定位，最终结果呈现为以矩形框形式框出图像内目标并给出其分类标签。基于深度学习的图像目标检测识别模型一般由特征提取骨架网络、多尺度特征融合网络、目标分类头网络和目标定位头网络所构成。

但现有用于图像或视频目标检测识别的深度学习方法或模型都存在一个显著问题，即多尺度目标的检测识别问题。受该问题制约，当图像内目标的像素面积比较小或比较大，即当目标尺度大范围变化时，检测识别方法或模型的性能会发生较严重的退化。

特征金字塔网络(Feature Pyramid Network，FPN，CVPR2015)是一种有效提升深度神经网络多尺度目标检测识别性能的方法，该方法在深度学习骨架网络和分类定位网络之间设置一个金字塔状的特征提取融合网络，进而可为图像目标检测识别提供具有不同感受野的多层级特征图。特征金字塔网络(FPN)实现了两种重要功能：(1)图像多尺度特征融合功能(即将具备不同感受野的层级特征图进行多尺度融合)、(2)目标多尺度检测分治功能(即将不同尺度的目标分配在具备适当感受野的层级特征图上进行特征提取与检测识别)。

但特征金字塔网络(FPN)的多尺度特征融合导致检测识别模型参数量较大、计算复杂度较高，进而影响检测识别网络的推理性能。特征金字塔网络(FPN)的目标多尺度分治将不同尺度的目标分配在金字塔结构的不同层级，而低层级特征图语义信息不足制约了小尺度目标检测识别性能的提升。因此，当前广泛使用的特征金字塔网络(FPN)及其各类变体(如BiFPN、PAFPN)在多尺度目标检测识别方面仍然具有较大缺陷。

发明内容

本发明提供了一种脑启发多尺度自适应神经网络目标检测识别方法和系统，能够解决现有技术中多尺度目标的检测识别性能较差的技术问题。

根据本发明的一方面，提供了一种脑启发多尺度自适应神经网络目标检测识别方法，所述方法包括：

对深度神经网络特征图中G组不同尺度范围的潜在目标进行感兴趣区域提取，得到G组不同尺度范围的感兴趣区域特征图；

对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图；

对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图；

基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标；

其中，G≥2，且为整数。

优选的，对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图包括：将G组不同尺度范围的感兴趣区域特征图分别输入至与G组不同尺度范围一一匹配的G组不同感受野的深度神经网络处理模块，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图。

优选的，不同感受野的深度神经网络处理模块可通过不同膨胀率或不同核尺寸的卷积模块进行构建。

优选的，对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图包括：对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图在全部潜在目标数量维度上进行拼接，得到拼接后的多尺度特征图。

优选的，基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标包括：将拼接后的多尺度特征图输入至深度神经网络分类子网络和深度神经网络定位子网络中进行目标检测识别，得到目标的类别和坐标。

根据本发明的另一方面，提供了一种脑启发多尺度自适应神经网络目标检测识别系统，所述系统包括图像采集装置和计算装置；所述图像采集装置用于对目标进行采集，并输入至所述计算装置；所述计算装置用于基于采集的目标获取包含G组不同尺度范围的潜在目标的深度神经网络特征图；用于对深度神经网络特征图中G组不同尺度范围的潜在目标进行感兴趣区域提取，得到G组不同尺度范围的感兴趣区域特征图；用于对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图；用于对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图；还用于基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标；其中，G≥2，且为整数。

优选的，所述图像采集装置为具有可见光模态和/或红外模态的成像采集设备。

优选的，所述图像采集装置为具有多焦距的成像采集设备。

优选的，所述计算装置为工控机或嵌入式计算机。

优选的，所述系统还包括输出显示装置，所述输出显示装置用于接收所述计算装置输出的目标的类别和坐标，并对目标的类别和坐标进行输出显示。

根据本发明的又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的脑启发多尺度自适应神经网络目标检测识别程序，所述处理器执行所述脑启发多尺度自适应神经网络目标检测识别程序时实现上述任一所述方法。

应用本发明的技术方案，对深度神经网络特征图中的潜在目标按尺度相似性分组，得到G组不同尺度范围的潜在目标；然后对其进行感兴趣区域提取；再对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图，通过拼接得到拼接后的多尺度特征图，从而实现目标检测识别，提升了图像或视频目标检测识别任务中的多尺度目标检测识别性能。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明的一种实施例提供的脑启发多尺度自适应神经网络目标检测识别方法的流程图；

图2示出了根据本发明的一种实施例提供的脑启发多尺度自适应神经网络目标检测识别方法的具体框图；

图3示出了根据本发明的一种实施例提供的脑启发多尺度自适应神经网络目标检测识别系统的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

如图1所示，本发明提供了一种脑启发多尺度自适应神经网络目标检测识别方法，所述方法包括：

S10、对深度神经网络特征图中G组不同尺度范围的潜在目标进行感兴趣区域提取，得到G组不同尺度范围的感兴趣区域特征图；

S20、对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图；

S30、对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图；

S40、基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标；

其中，G≥2，且为整数。

本发明对深度神经网络特征图中的潜在目标按尺度相似性分组，得到G组不同尺度范围的潜在目标；然后对其进行感兴趣区域提取；再对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图，通过拼接得到拼接后的多尺度特征图，从而实现目标检测识别，提升了图像或视频目标检测识别任务中的多尺度目标检测识别性能。

根据本发明的一种实施例，在本发明的S10中，通过感兴趣区域提取得到的感兴趣区域特征图的矩阵形状可表示为Nums×Channel×Height×Width。其中，Nums是指网络处理的当前批次图像上全部潜在目标的数量，Channel、Height、Width分别指特征图的通道数、高度、宽度。将Nums、Channel、Height、Width分别简写为N、C、H、W，则感兴趣区域特征图的矩阵形状可简记为N×C×H×W。

根据本发明的一种实施例，在本发明的S10中，不同尺度指的是不同像素面积。也就是说，根据像素面积将深度神经网络特征图中的潜在目标划分为G组，通过感兴趣区域提取后，便可得到G组不同尺度范围的感兴趣区域特征图。

其中，不同尺度分组的感兴趣区域特征图之间的空间尺寸(H×W)不同，同一尺度分组之内的空间尺寸(H×W)相同。不同尺度分组内的感兴趣区域特征图数量可以相同，也可以不同，但全部分组内的感兴趣区域特征图总数与潜在目标的总数相同。

具体地，潜在目标可以是Faster RCNN中经由区域建议网络(RPN)生成，也可以是Sparse RCNN中经由提议框(Proposal Boxes)生成。

根据本发明的一种实施例，在本发明的S20中，对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图包括：将G组不同尺度范围的感兴趣区域特征图分别输入至与G组不同尺度范围一一匹配的G组不同感受野的深度神经网络处理模块，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图。

其中，感兴趣区域特征图的空间尺寸(H×W)越大，则与之匹配的深度神经网络处理模块的感受野也越大。

具体地，不同感受野的深度神经网络处理模块可通过不同膨胀率或不同核尺寸的卷积模块进行构建。

根据本发明的一种实施例，在本发明的S30中，对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图包括：对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图在全部潜在目标数量维度上进行拼接，得到拼接后的多尺度特征图。

具体地，拼接后的多尺度特征图的矩阵形状可表示为N×C×H×W。

根据本发明的一种实施例，在本发明的S40中，基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标包括：将拼接后的多尺度特征图输入至深度神经网络分类子网络和深度神经网络定位子网络中进行目标检测识别，得到目标的类别和坐标。

为了对本发明有进一步地了解，下面结合图2对本发明的脑启发多尺度自适应神经网络目标检测识别方法进行详细说明。

在本实施例中，G＝3，也就是说，将不同尺度范围的潜在目标划分为三个尺度范围，分别为大尺度目标、中尺度目标和小尺度目标。因而通过感兴趣区域提取之后，形成大尺度感兴趣区域特征图、中尺度感兴趣区域特征图和小尺度感兴趣区域特征图，全部感兴趣区域特征图的空间尺寸构成三个尺度分组。然后将大尺度感兴趣区域特征图、中尺度感兴趣区域特征图和小尺度感兴趣区域特征图分别输入至大感受野深度神经网络处理模块(RFDNN-A)、中感受野深度神经网络处理模块(RFDNN-B)和小感受野深度神经网络处理模块(RFDNN-C)中；通过三个不同感受野深度神经网络处理模块处理之后，原本具有不同空间尺寸(H×W)的3组不同尺度范围的感兴趣区域特征图便具有了相同的空间尺寸(H×W)。再对具有相同空间尺寸(H×W)的大、中、小尺度范围的感兴趣区域特征图在全部潜在目标数量维度上进行拼接，得到拼接后的多尺度特征图；最后将拼接后的多尺度特征图输入至深度神经网络分类子网络和深度神经网络定位子网络中进行目标检测识别，得到目标的类别和坐标。

如图3所示，本发明还提供了一种脑启发多尺度自适应神经网络目标检测识别系统，所述系统包括图像采集装置和计算装置；所述图像采集装置用于对目标进行采集，并输入至所述计算装置；所述计算装置用于基于采集的目标获取包含G组不同尺度范围的潜在目标的深度神经网络特征图；用于对深度神经网络特征图中G组不同尺度范围的潜在目标进行感兴趣区域提取，得到G组不同尺度范围的感兴趣区域特征图；用于对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图；用于对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图；还用于基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标；其中，G≥2，且为整数。

本发明对深度神经网络特征图中的潜在目标按尺度相似性分组，得到G组不同尺度范围的潜在目标；然后对其进行感兴趣区域提取；再对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图，通过拼接得到拼接后的多尺度特征图，从而实现目标检测识别，提升了图像或视频目标检测识别任务中的多尺度目标检测识别性能。

根据本发明的一种实施例，所述图像采集装置可以采用具有可见光模态和/或红外模态的成像采集设备。其中，成像采集设备所需图像分辨率可以根据检测识别精度或检测识别计算效率的实际需要进行适时调节。

根据本发明的一种实施例，所述图像采集装置可以采用具有多焦距的成像采集设备，以实现对不同远近目标的清晰成像，从而进一步提高目标多尺度特征的提取分析能力；还可同时输入多种焦距(多种尺度)的图像进行并行处理，并在检测识别子网络中进行特征融合以进一步提升本方法的多尺度目标检测识别性能。

根据本发明的一种实施例，所述计算装置可以采用大中小型的工控机，以提供较高/较快的计算效率；也可以采用轻量型/微型化的嵌入式计算机，以提供集约式/便携化的计算能力。

具体地，根据使用需求，可以对本申请中所述的脑启发多尺度自适应神经网络目标检测识别方法进行模型减枝、定点量化、模型压缩等常用模型轻量化操作，从而使其更适应嵌入式计算机的需求。本申请所述方法包括为适应嵌入式设备而基于常用模型轻量化处理操作进行的相关改进。

根据本发明的一种实施例，所述系统还包括输出显示装置，所述输出显示装置用于接收所述计算装置输出的目标的类别和坐标，并对目标的类别和坐标进行输出显示。

具体地，该系统所采用的输出显示装置为使得本方法在人机交互需求下使用而设置的组件，当需要基于该方法对视野内目标进行检测识别，并向特定人员以图像内边界框标注形式提示目标存在性时，需要该显示输出装置。在无需以图像提示形式进行人机交互或无需人机交互的情形下，不需要该显示输出装置。

本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的脑启发多尺度自适应神经网络目标检测识别程序，所述处理器执行所述脑启发多尺度自适应神经网络目标检测识别程序时实现上述任一所述方法。

综上所述，本发明提供了一种脑启发多尺度自适应神经网络目标检测识别方法和系统，本发明对深度神经网络特征图中的潜在目标按尺度相似性分组，得到G组不同尺度范围的潜在目标；然后对其进行感兴趣区域提取；再对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图，通过拼接得到拼接后的多尺度特征图，从而实现目标检测识别，提升了图像或视频目标检测识别任务中的多尺度目标检测识别性能。

在具体的深度学习模型设计中，需要在特征图求和、拼接等数学运算时对通道(Channel)、高度(Height)、宽度(Width)以上下采样的方式或添加辅助神经网络模块的方式进行适应性调整，以符合矩阵运算的数学约束。但上述方案中略去了这些深度学习模型构建中的常用网络结构和常规操作方法，在实际模型设计中可能需要添加这些常规结构、或实施这些常规操作，以协同配合来实现本申请方案的正常工作。

本发明未详细说明部分为本领域技术人员公知技术。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种脑启发多尺度自适应神经网络目标检测识别方法，其特征在于，所述方法包括：

对深度神经网络特征图中G组不同尺度范围的潜在目标进行感兴趣区域提取，得到G组不同尺度范围的感兴趣区域特征图；

对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图；

对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图；

基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标；

其中，G≥2，且为整数。

2.根据权利要求1所述的方法，其特征在于，对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图包括：将G组不同尺度范围的感兴趣区域特征图分别输入至与G组不同尺度范围一一匹配的G组不同感受野的深度神经网络处理模块，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图。

3.根据权利要求1所述的方法，其特征在于，不同感受野的深度神经网络处理模块可通过不同膨胀率或不同核尺寸的卷积模块进行构建。

4.根据权利要求1所述的方法，其特征在于，对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图包括：对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图在全部潜在目标数量维度上进行拼接，得到拼接后的多尺度特征图。

5.根据权利要求1所述的方法，其特征在于，基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标包括：将拼接后的多尺度特征图输入至深度神经网络分类子网络和深度神经网络定位子网络中进行目标检测识别，得到目标的类别和坐标。

6.一种脑启发多尺度自适应神经网络目标检测识别系统，其特征在于，所述系统包括图像采集装置和计算装置；所述图像采集装置用于对目标进行采集，并输入至所述计算装置；所述计算装置用于基于采集的目标获取包含G组不同尺度范围的潜在目标的深度神经网络特征图；用于对深度神经网络特征图中G组不同尺度范围的潜在目标进行感兴趣区域提取，得到G组不同尺度范围的感兴趣区域特征图；用于对G组不同尺度范围的感兴趣区域特征图的空间尺寸进行处理，得到具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图；用于对具有相同空间尺寸的G组不同尺度范围的感兴趣区域特征图进行拼接，得到拼接后的多尺度特征图；还用于基于拼接后的多尺度特征图进行目标检测识别，得到目标的类别和坐标；其中，G≥2，且为整数。

7.根据权利要求6所述的系统，其特征在于，所述图像采集装置为具有可见光模态和/或红外模态的成像采集设备。

8.根据权利要求6或7所述的系统，其特征在于，所述图像采集装置为具有多焦距的成像采集设备。

9.根据权利要求6-8中任一所述的系统，其特征在于，所述计算装置为工控机或嵌入式计算机。

10.根据权利要求6所述的系统，其特征在于，所述系统还包括输出显示装置，所述输出显示装置用于接收所述计算装置输出的目标的类别和坐标，并对目标的类别和坐标进行输出显示。

11.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的脑启发多尺度自适应神经网络目标检测识别程序，所述处理器执行所述脑启发多尺度自适应神经网络目标检测识别程序时实现权利要求1至5任一所述方法。