CN116012891A - 基于图像增强的多尺度行人检测方法、装置、设备及介质 - Google Patents

Abstract

本申请提出一种基于图像增强的多尺度行人检测方法、装置、电子设备及存储介质，基于图像增强的多尺度行人检测方法包括：对采集到的行人图像集进行标记获得行人图像标签集；对所述行人图像集中的图像进行检测获得行人预测图像集；基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数；基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型；基于所述多尺度行人优化检测模型对包含行人的待检测图像进行检测获得多尺度行人真实图像集。本申请通过构建行人识别损失函数并结合图像增强技术来训练获得多尺度行人优化检测模型，可以有效提高对行人检测的准确度。

Description

基于图像增强的多尺度行人检测方法、装置、设备及介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于图像增强的多尺度行人检测方法、装置、电子设备及存储介质。

背景技术

在目标检测技术的应用场景中，行人检测是一个重要领域。行人检测的主要任务是判断图像或视频中是否存在行人，并检测出行人的具体位置。如今，行人检测被广泛应用于智慧交通，智能监控，人体姿态估计等各个领域。

现有技术中，基于深度学习的行人检测技术取得了重大突破，然而，尽管卷积神经网络在一般的目标检测任务中展现了强大的能力，对于行人检测仍然存在明显不足。在光照变化、行人姿态及尺度变化的复杂环境中，行人检测任务无法实现检测速度与精度的良好平衡，从而导致行人检测结果不够准确高效。

发明内容

鉴于以上内容，有必要提出一种基于图像增强的多尺度行人检测方法、装置、电子设备及存储介质，以解决如何准确高效地获取行人检测结果这一技术问题。

本申请提供一种基于图像增强的多尺度行人检测方法，所述方法包括：

采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集；

依据预设的多尺度行人初始检测模型对所述行人图像集中的图像进行检测获得行人预测图像集；

基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数；

基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型；

基于所述多尺度行人优化检测模型对包含行人的待检测图像进行检测获得多尺度行人真实图像集。

在一些实施例中，所述采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集，包括：

采集多张包含行人的图像作为行人图像集；

依据预设方式对所述行人图像集中各图像上的行人进行包围框标记得到行人图像标签集。

在一些实施例中，所述基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数包括：

基于所述行人预测图像集中各图像上的行人包围框和所述行人图像标签集中各图像上的行人包围框构建边界框损失函数和置信度损失函数；

对所述边界框损失函数和所述置信度损失函数求和后作为行人识别损失函数。

在一些实施例中，所述基于所述行人预测图像集中各图像上的行人包围框和所述行人图像标签集中各图像上的行人包围框构建边界框损失函数和置信度损失函数，包括：

分别计算目标预测包围框和目标标签包围框的宽度、高度和中心点坐标，本方案中将所述行人预测图像集中第t幅图像上第n个行人包围框作为所述目标预测包围框，所述目标标签包围框为所述行人图像标签集中与所述目标预测包围框在位置上相对应的包围框；

计算所述目标预测包围框和所述目标标签包围框的交并比和中心点之间的欧氏距离；

基于所述宽度、高度、交并比和中心点之间的欧氏距离构建边界框损失函数；

统计所述目标预测包围框和所述目标标签包围框的类别置信度；

基于所述类别置信度构建置信度损失函数。

在一些实施例中，所述边界框损失函数满足关系式：

其中，T表示所述行人预测图像集中图像的数量，N_t表示所述行人图像标签集中第t幅图像上的行人包围框的数量，α为所述目标预测包围框和所述目标标签包围框的交并比，v为超参数，ρ表示所述目标预测包围框和所述目标标签包围框的中心点之间的欧氏距离，C_h、C_w和c分别表示能够覆盖所述目标预测包围框和所述目标标签包围框的最小矩形的高度、宽度和对角线长度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框中的对角线长度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框的高度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框的宽度；

所述置信度损失函数满足关系式：

其中，

表示所述目标预测包围框和所述目标标签包围框的类别置信度的差值绝对值，

表示所述行人图像标签集中第t幅图像上第n个行人包围框的类别置信度，即所述目标标签包围框的类别置信度，

为所述目标预测包围框的类别置信度，λ为所述目标预测包围框中没有目标时的置信度惩罚权重。

在一些实施例中，所述超参数v满足关系式：

在一些实施例中，所述基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型，包括：

依据图像增强算法对所述行人图像集中的图像进行图像增强获得行人增强图像集；

将所述行人增强图像集作为训练集输入所述多尺度行人初始检测模型获得输出图像集，并基于所述行人识别损失函数计算所述输出图像集与所述行人图像标签集之间的误差来对所述多尺度行人初始检测模型进行迭代训练后获得多尺度行人优化检测模型。

本申请实施例还提供一种基于图像增强的多尺度行人检测装置，所述装置包括采集模块、检测模块、构建模块、训练模块以及获得模块：

所述采集模块，用于采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集；

所述检测模块，用于依据预设的多尺度行人初始检测模型对所述行人图像集中的图像进行检测获得行人预测图像集；

所述构建模块，用于基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数；

所述训练模块，用于基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型；

所述获得模块，用于基于所述多尺度行人优化检测模型对包含行人的待检测图像进行检测获得多尺度行人真实图像集。

本申请实施例还提供一种电子设备，所述电子设备包括：

存储器，存储至少一个指令；

处理器，执行所述存储器中存储的指令以实现所述的基于图像增强的多尺度行人检测方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于图像增强的多尺度行人检测方法。

本申请通过对采集到的行人图像进行标记来构建行人识别损失函数，并结合图像增强技术来对改进后的多尺度神经网络进行训练获得多尺度行人优化检测模型，从而可以使用较少的模型参数在优化训练效率的基础上提高对行人进行检测的准确度。

附图说明

图1是本申请所涉及的基于图像增强的多尺度行人检测方法的较佳实施例的流程图。

图2是本申请所涉及的基于图像增强的多尺度行人检测装置的较佳实施例的功能模块图。

图3是本申请所涉及的基于图像增强的多尺度行人检测方法的较佳实施例的电子设备的结构示意图。

图4是本申请所涉及的单阶段目标检测网络的组成部分示意图。

图5是本申请所涉及的多尺度行人初始检测模型的组成部分示意图。

图6是本申请所涉及的多尺度行人初始检测模型的网络结构示意图。

具体实施方式

为了能够更清楚地理解本申请的目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所述描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本申请实施例提供一种基于图像增强的多尺度行人检测方法，可应用于一个或者多个电子设备中，电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

电子设备可以是任何一种可与客户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

电子设备还可以包括网络设备和/或客户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。

电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

如图1所示，是本申请基于图像增强的多尺度行人检测方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

在目标检测任务中，被测目标的尺寸大小经常是不固定的，在被测物体尺度相差极大时，模型通常难以对极大和极小的物体同时进行检测，而通过多尺度的特征提取，解决了被测物体尺度变化范围过大的问题，不论被测物大或小，总能被缩放至模型擅长处理的尺度范围内，从而有效提高目标检测模型的检测准确度。

所谓多尺度，实际就是对信号的不同粒度的采样。通常在不同的尺度下可以观察到不同的特征，从而完成不同的任务。粒度更小/更密集的采样可以看到更多的细节，粒度更大/更稀疏的采样可以看到整体的趋势。因此使用多尺度就可以提取更全面的信息，既有全局的整体信息，又有局部的详细信息。比如一幅图像，里面有房子有车有人，在这整张图上提取特征，提取的是整幅图像全局的特征；若只截取图像的一部分，如截取汽车的部分，并将其放大至与原图相同的尺寸，在此时截取后放大的图上提取特征，提取的是整幅图像中汽车部分的详细特征。

S10，采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集。

在一个可选的实施例中，所述采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集，包括：

采集多张包含行人的图像作为行人图像集；

依据预设方式对所述行人图像集中各图像上的行人进行包围框标记得到行人图像标签集。

该可选的实施例中，可通过RGB相机采集多幅包含行人的图像，并将采集到的所有图像作为行人图像集，其中，每张图像中可包括多个行人。所述行人图像集可以表示为：

{Data_t(x,y),t∈[1,T],x∈[1,X],y∈[1,Y]}

其中，Data_t(x,y)表示行人图像集中第t幅图像的第x行第y列的像素信息，T表示行人图像集中的图片数量，X表示行人图像集中图片像素的行数，Y表示行人图像集中图片像素的列数。

该可选的实施例中，可依据人工标注的方式分别对所述行人图像集中各图像上的行人进行包围框标记，并将经过包围框标记的各图像作为行人图像标签集。所述行人图像标签集中各行人包围框满足关系式：

其中，

和

分别表示行人图像标签集中第t幅图像上第n个行人包围框的左上角坐标和右下角坐标，N_t表示所述行人图像标签集中第t幅图像上的行人包围框的数量。

如此，通过采集行人图像并进行行人包围框的标记，可以为后续过程提供准确有效的数据支撑。

S11，依据预设的多尺度行人初始检测模型对所述行人图像集中的图像进行检测获得行人预测图像集。

在一个可选的实施例中，所述预设的多尺度行人初始检测模型由单阶段目标检测网络改进得到，所述单阶段目标检测网络优选的有YOLOX，YOLOv4，YOLOv5等，所述单阶段目标检测网络的网络结构如图4所示，由主干网络、SPP池化模块、特征融合模块、检测头部等多个部分组成。

示例性的，YOLOX的网络结构，其中，YOLOX的网络结构较为复杂，参数量较大、且特征融合结构仅为使用双向特征进行融合操作，不能充分融合不同尺度的图像特征。

该可选的实施例中，如图5所示，为所述预设的多尺度行人初始检测模型的网络结构，由多尺度主干网络、SPP池化模块、多尺度特征融合结构、检测头部等部分组成。

示例性的，以YOLOX为例，主干网络使用轻量级卷积神经网络GhostNet，并且在主干网络的第一个卷积层之后加入多尺度特征提取模块，在特征融合结构中也引入多尺度特征提取模块，其中，所述多尺度特征提取模块可以使用PSA module模块，本方案中对加入多尺度特征提取模块后的YOLOX进行训练，并将训练好的网络模型作为所述预设的多尺度行人初始检测模型。其中，训练过程同YOLOv4，YOLOv5等现有的单阶段目标检测网络的训练过程相一致。

如图6所示，该可选的实施例中，可依据所述多尺度行人初始检测模型对所述行人图像集中的图像依次进行检测。首先，所述行人图像集中的每幅图像经过多尺度主干网络的第一个卷积层进行特征提取并将获得的特征图像输入多尺度特征提取模块PSA module中进行多尺度特征提取，由于此时提取到的各种多尺度特征之间常常存在很多极为相似的冗余特征，因此可通过多层的Ghost Bottleneck将这些冗余特征进行消除，从而在有效减少GhostNet的模型参数和计算量的同时，提高模型的检测效率。

如图6所示，该可选的实施例中，在经过多种尺度的特征提取后得到多种尺寸的特征图，其中选取尺寸为(80,80,40)、(40,40,112)和(20,20,160)三部分的输出特征用于融合，其中(20,20,160)部分进入SPP池化模块，所述SPP池化模块包括13x13、9x9、5x5的三个不同尺度的池化核，用来对(20,20,160)部分进行不同尺度的最大池化处理，这样可以极大地增加感受野，即可视范围，分离出图像中显著的上下文特征，并最终将经过最大池化处理后不同尺度的特征图转化成固定大小的特征向量，然后将这三种固定统一大小的特征的特征向量输入多尺度特征融合模块，而(80,80,40)和(40,40,112)部分分别直接进入多尺度特征融合模块，从而通过多尺度特征融合模块对获得的多种具有不同尺度的特征进行融合。

该可选的实施例中，由所述多尺度行人初始检测模型中的多尺度主干网络和SPP池化模块输入的特征，经过多尺度特征融合模块处理后，得到最终的输出特征head1、head2、head3，将最终的输出特征head1、head2、head3传入检测头部YOLOHead，可获得所述行人图像集中的每幅图像所对应的行人预测图像，本方案中将所有的行人预测图像作为行人预测图像集。

如此，通过获取与所述行人图像集相对应的行人预测图像集，可以为后续过程构建合理的损失函数提供数据支撑，有利于对所述多尺度行人初始检测模型做进一步的优化。

S12，基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数。

在一个可选的实施例中，所述基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数包括：

基于所述行人预测图像集中各图像上的行人包围框和所述行人图像标签集中各图像上的行人包围框构建边界框损失函数和置信度损失函数；

对所述边界框损失函数和所述置信度损失函数求和后作为行人识别损失函数。

该可选的实施例中，可分别计算目标预测包围框和目标标签包围框的宽度、高度和中心点坐标，本方案中将所述行人预测图像集中第t幅图像上第n个行人包围框作为所述目标预测包围框，所述目标标签包围框为所述行人图像标签集中与所述目标预测包围框在对应的图像和对应的位置处的包围框，所述目标标签包围框和所述目标预测包围框一一对应。其中，设所述行人图像标签集中第t幅图像上的第n个行人包围框，即所述目标标签包围框的左下角坐标和右上角坐标分别为

和

则所述目标标签包围框的宽度和高度的计算过程分别为

所述目标预测包围框的宽度和高度分别为

和

计算过程同所述目标标签包围框的宽度和高度的计算过程相一致。

该可选的实施例中，同时根据所述目标标签包围框的左下角坐标和右上角坐标可计算所述目标预测包围框和所述目标标签包围框的交并比α和中心点之间的欧氏距离ρ，其中所述目标预测包围框和所述目标标签包围框的中心点坐标可分别表示为

和

其中，

的计算过程同

的计算过程相一致。

该可选的实施例中，可基于所述宽度、高度、交并比和中心点之间的欧氏距离构建边界框损失函数，所述边界框损失函数满足关系式：

其中，T表示所述行人预测图像集中图像的数量，N_t表示所述行人图像标签集中第t幅图像上的行人包围框的数量，α为所述目标预测包围框和所述目标标签包围框的交并比，v为超参数，ρ表示所述目标预测包围框和所述目标标签包围框的中心点之间的欧氏距离，C_h、C_w和c分别表示能够覆盖所述目标预测包围框和所述目标标签包围框的最小矩形的高度、宽度和对角线长度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框中的对角线长度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框的高度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框的宽度。

该可选的实施例中，所述超参数v满足关系式：

该可选的实施例中，可统计所述目标预测包围框和所述目标标签包围框的类别置信度，并基于所述类别置信度构建置信度损失函数，所述置信度损失函数满足关系式：

其中，

表示所述目标预测包围框和所述目标标签包围框的类别置信度的差值绝对值，

表示所述行人图像标签集中第t幅图像上第n个行人包围框的类别置信度，即所述目标标签包围框的类别置信度，

为所述目标预测包围框的类别置信度，λ为所述目标预测包围框中没有目标时的置信度惩罚权重。

该可选的实施例中，对所述边界框损失函数和所述置信度损失函数求和后作为行人识别损失函数loss(object)，具体为：

loss(object)＝loss(boundingbox)+loss(confidence)

如此，通过构建边界框损失函数和置信度损失函数来共同生成行人识别损失函数，可以综合目标预测包围框和目标标签包围框的多种特征，有利于后续过程据此对神经网络进行训练，从而提高对行人进行识别的准确度。

S13，基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型。

在一个可选的实施例中，所述基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型包括：

依据图像增强算法对所述行人图像集中的图像进行图像增强获得行人增强图像集；

将所述行人增强图像集作为训练集输入所述多尺度行人初始检测模型获得输出图像集，并基于所述行人识别损失函数计算所述输出图像集与所述行人图像标签集之间的误差来对所述多尺度行人初始检测模型进行迭代训练后获得多尺度行人优化检测模型。

该可选的实施例中，可使用图像增强算法对所述行人图像集中的图像进行处理，所述图像增强算法可使用rotate-Cutmix算法，具体过程为：随机生成(x1，x2，y1，y2)(x∈[1,X],y∈[1,Y])，其中X表示行人图像集中图片像素的行数，Y表示行人图像集中图片像素的列数；然后从所述行人图像集中任选两幅图像，记为图像A和图像B，将图像A和图像B进行旋转，如旋转180°，得到图像A’和图像B’，并将图像A’中的(x1，x2，y1，y2)所在的区域替换为图像B’中的(x1，x2，y1，y2)所在的区域得到图像增强后的行人图像，通过多次重复上述过程，可以依据所述行人图像集生成大量区别于所述行人图像集中各图像的新图像作为增强后的行人图像，这些新图像随机融合了所述行人图像集中不同图像之间的特征，因此可以丰富行人图像的多样性，本方案中将所有经过图像增强后的行人图像作为行人增强图像集。

该可选的实施例中，对所述多尺度行人初始检测模型进行迭代训练从而获得多尺度行人优化检测模型的主要过程为：将所述行人增强图像集中的图像依次输入所述多尺度行人初始检测模型，并经过所述多尺度行人初始检测模型检测后输出对应的预测图像，然后根据所述行人识别损失函数计算经过所述多尺度行人初始检测模型输出后的预测图像与所述行人图像标签集中对应图像之间的损失，并通过调整所述多尺度行人初始检测模型中的各类神经元权重以及激活函数等参数来使所述损失进一步降低，从而实现对所述多尺度行人初始检测模型的优化，最终通过迭代训练的方式使所述损失越来越小，在所述损失误差为零时获得训练好的多尺度行人初始检测模型，最终将训练好的多尺度行人初始检测模型作为多尺度行人优化检测模型。

如此，可获得训练好的多尺度行人优化检测模型，从而实现对行人目标的准确检测。

S14，基于所述多尺度行人优化检测模型对包含行人的待检测图像进行检测获得多尺度行人真实图像集。

在一个可选的实施例中，可使用所述多尺度行人优化检测模型对包含行人的待检测图像依次进行检测，从而获得各待检测图像中的目标类别、行人包围框、各行人包围框中的类别置信度，并根据所述目标类别、行人包围框、各行人包围框中的类别置信度实现对行人的准确检测和包围框提取，本方案中将所有经过所述多尺度行人优化检测模型检测后的图像作为多尺度行人真实图像集。

如此，可根据多尺度行人优化检测模型实现对待检测图像的快速检测，提高待检测图像的检测效率。

请参见图2，图2是本申请基于图像增强的多尺度行人检测装置的较佳实施例的功能模块图。基于图像增强的多尺度行人检测装置11包括采集模块110、检测模块111、构建模块112、训练模块113、获得模块114。本申请所称的单元/模块是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各单元/模块的功能将在后续的实施例中详述。

在一个可选的实施例中，采集模块110用于采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集。

在一个可选的实施例中，所述采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集，包括：

采集多张包含行人的图像作为行人图像集；

依据预设方式对所述行人图像集中各图像上的行人进行包围框标记得到行人图像标签集。

该可选的实施例中，可通过RGB相机采集多幅包含行人的图像，并将采集到的所有图像作为行人图像集，其中，每张图像中可包括多个行人。所述行人图像集可以表示为：

{Data_t(x,y),t∈[1,T],x∈[1,X],y∈[1,Y]}

其中，Data_t(x,y)表示行人图像集中第t幅图像的第x行第y列的像素信息，T表示行人图像集中的图片数量，X表示行人图像集中图片像素的行数，Y表示行人图像集中图片像素的列数。

该可选的实施例中，可依据人工标注的方式分别对所述行人图像集中各图像上的行人进行包围框标记，并将经过包围框标记的各图像作为行人图像标签集。所述行人图像标签集中各行人包围框满足关系式：

其中，

和

分别表示行人图像标签集中第t幅图像上第n个行人包围框的左上角坐标和右下角坐标，N_t表示所述行人图像标签集中第t幅图像上的行人包围框的数量。

在一个可选的实施例中，检测模块111用于依据预设的多尺度行人初始检测模型对所述行人图像集中的图像进行检测获得行人预测图像集。

在一个可选的实施例中，所述预设的多尺度行人初始检测模型由单阶段目标检测网络改进得到，所述单阶段目标检测网络优选的有YOLOX，YOLOv4，YOLOv5等，所述单阶段目标检测网络的网络结构如图4所示，由主干网络、SPP池化模块、特征融合模块、检测头部等多个部分组成。

示例性的，YOLOX的网络结构，其中，YOLOX的网络结构较为复杂，参数量较大、且特征融合结构仅为使用双向特征进行融合操作，不能充分融合不同尺度的图像特征。

该可选的实施例中，如图5所示，为所述预设的多尺度行人初始检测模型的网络结构，由多尺度主干网络、SPP池化模块、多尺度特征融合结构、检测头部等部分组成。

示例性的，以YOLOX为例，主干网络使用轻量级卷积神经网络GhostNet，并且在主干网络的第一个卷积层之后加入多尺度特征提取模块，在特征融合结构中也引入多尺度特征提取模块，其中，所述多尺度特征提取模块可以使用PSA module模块，本方案中对加入多尺度特征提取模块后的YOLOX进行训练，并将训练好的网络模型作为所述预设的多尺度行人初始检测模型。其中，训练过程同YOLOv4，YOLOv5等现有的单阶段目标检测网络的训练过程相一致。

如图6所示，该可选的实施例中，可依据所述多尺度行人初始检测模型对所述行人图像集中的图像依次进行检测。首先，所述行人图像集中的每幅图像经过多尺度主干网络的第一个卷积层进行特征提取并将获得的特征图像输入多尺度特征提取模块PSA module中进行多尺度特征提取，由于此时提取到的各种多尺度特征之间常常存在很多极为相似的冗余特征，因此可通过多层的Ghost Bottleneck将这些冗余特征进行消除，从而在有效减少GhostNet的模型参数和计算量的同时，提高模型的检测效率。

如图6所示，该可选的实施例中，在经过多种尺度的特征提取后得到多种尺寸的特征图，其中选取尺寸为(80,80,40)、(40,40,112)和(20,20,160)三部分的输出特征用于融合，其中(20,20,160)部分进入SPP池化模块，所述SPP池化模块包括13x13、9x9、5x5的三个不同尺度的池化核，用来对(20,20,160)部分进行不同尺度的最大池化处理，这样可以极大地增加感受野，即可视范围，分离出图像中显著的上下文特征，并最终将经过最大池化处理后不同尺度的特征图转化成固定大小的特征向量，然后将这三种固定统一大小的特征的特征向量输入多尺度特征融合模块，而(80,80,40)和(40,40,112)部分分别直接进入多尺度特征融合模块，从而通过多尺度特征融合模块对获得的多种具有不同尺度的特征进行融合。

该可选的实施例中，由所述多尺度行人初始检测模型中的多尺度主干网络和SPP池化模块输入的特征，经过多尺度特征融合模块处理后，得到最终的输出特征head1、head2、head3，将最终的输出特征head1、head2、head3传入检测头部YOLOHead，可获得所述行人图像集中的每幅图像所对应的行人预测图像，本方案中将所有的行人预测图像作为行人预测图像集。

在一个可选的实施例中，构建模块112用于基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数。

在一个可选的实施例中，所述基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数包括：

基于所述行人预测图像集中各图像上的行人包围框和所述行人图像标签集中各图像上的行人包围框构建边界框损失函数和置信度损失函数；

对所述边界框损失函数和所述置信度损失函数求和后作为行人识别损失函数。

该可选的实施例中，可分别计算目标预测包围框和目标标签包围框的宽度、高度和中心点坐标，本方案中将所述行人预测图像集中第t幅图像上第n个行人包围框作为所述目标预测包围框，所述目标标签包围框为所述行人图像标签集中与所述目标预测包围框在对应的图像和对应的位置处的包围框，所述目标标签包围框和所述目标预测包围框一一对应。其中，设所述行人图像标签集中第t幅图像上的第n个行人包围框，即所述目标标签包围框的左下角坐标和右上角坐标分别为

和

则所述目标标签包围框的宽度和高度的计算过程分别为

所述目标预测包围框的宽度和高度分别为

和

计算过程同所述目标标签包围框的宽度和高度的计算过程相一致。

该可选的实施例中，同时根据所述目标标签包围框的左下角坐标和右上角坐标可计算所述目标预测包围框和所述目标标签包围框的交并比α和中心点之间的欧氏距离ρ，其中所述目标预测包围框和所述目标标签包围框的中心点坐标可分别表示为

和

其中，

的计算过程同

的计算过程相一致。

该可选的实施例中，可基于所述宽度、高度、交并比和中心点之间的欧氏距离构建边界框损失函数，所述边界框损失函数满足关系式：

其中，T表示所述行人预测图像集中图像的数量，N_t表示所述行人图像标签集中第t幅图像上的行人包围框的数量，α为所述目标预测包围框和所述目标标签包围框的交并比，v为超参数，ρ表示所述目标预测包围框和所述目标标签包围框的中心点之间的欧氏距离，C_h、C_w和c分别表示能够覆盖所述目标预测包围框和所述目标标签包围框的最小矩形的高度、宽度和对角线长度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框中的对角线长度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框的高度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框的宽度。

该可选的实施例中，所述超参数v满足关系式：

该可选的实施例中，可统计所述目标预测包围框和所述目标标签包围框的类别置信度，并基于所述类别置信度构建置信度损失函数，所述置信度损失函数满足关系式：

其中，

表示所述目标预测包围框和所述目标标签包围框的类别置信度的差值绝对值，

表示所述行人图像标签集中第t幅图像上第n个行人包围框的类别置信度，即所述目标标签包围框的类别置信度，

为所述目标预测包围框的类别置信度，λ为所述目标预测包围框中没有目标时的置信度惩罚权重。

该可选的实施例中，对所述边界框损失函数和所述置信度损失函数求和后作为行人识别损失函数loss(object)，具体为：

loss(object)＝loss(boundingbox)+loss(confidence)

在一个可选的实施例中，训练模块113用于基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型。

在一个可选的实施例中，所述基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型包括：

依据图像增强算法对所述行人图像集中的图像进行图像增强获得行人增强图像集；

将所述行人增强图像集作为训练集输入所述多尺度行人初始检测模型获得输出图像集，并基于所述行人识别损失函数计算所述输出图像集与所述行人图像标签集之间的误差来对所述多尺度行人初始检测模型进行迭代训练后获得多尺度行人优化检测模型。

该可选的实施例中，可使用图像增强算法对所述行人图像集中的图像进行处理，所述图像增强算法可使用rotate-Cutmix算法，具体过程为：随机生成(x1，x2，y1，y2)(x∈[1,X],y∈[1,Y])，其中X表示行人图像集中图片像素的行数，Y表示行人图像集中图片像素的列数；然后从所述行人图像集中任选两幅图像，记为图像A和图像B，将图像A和图像B进行旋转，如旋转180°，得到图像A’和图像B’，并将图像A’中的(x1，x2，y1，y2)所在的区域替换为图像B’中的(x1，x2，y1，y2)所在的区域得到图像增强后的行人图像，通过多次重复上述过程，可以依据所述行人图像集生成大量区别于所述行人图像集中各图像的新图像作为增强后的行人图像，这些新图像随机融合了所述行人图像集中不同图像之间的特征，因此可以丰富行人图像的多样性，本方案中将所有经过图像增强后的行人图像作为行人增强图像集。

该可选的实施例中，对所述多尺度行人初始检测模型进行迭代训练从而获得多尺度行人优化检测模型的主要过程为：将所述行人增强图像集中的图像依次输入所述多尺度行人初始检测模型，并经过所述多尺度行人初始检测模型检测后输出对应的预测图像，然后根据所述行人识别损失函数计算经过所述多尺度行人初始检测模型输出后的预测图像与所述行人图像标签集中对应图像之间的损失，并通过调整所述多尺度行人初始检测模型中的各类神经元权重以及激活函数等参数来使所述损失进一步降低，从而实现对所述多尺度行人初始检测模型的优化，最终通过迭代训练的方式使所述损失越来越小，在所述损失误差为零时获得训练好的多尺度行人初始检测模型，最终将训练好的多尺度行人初始检测模型作为多尺度行人优化检测模型。

在一个可选的实施例中，获得模块114用于基于所述多尺度行人优化检测模型对包含行人的待检测图像进行检测获得多尺度行人真实图像集。

在一个可选的实施例中，可使用所述多尺度行人优化检测模型对包含行人的待检测图像依次进行检测，从而获得各待检测图像中的目标类别、行人包围框、各行人包围框中的类别置信度，并根据所述目标类别、行人包围框、各行人包围框中的类别置信度实现对行人的准确检测和包围框提取，本方案中将所有经过所述多尺度行人优化检测模型检测后的图像作为多尺度行人真实图像集。

由以上技术方案可以看出，本申请能够通过对采集到的行人图像进行标记来构建行人识别损失函数，并结合图像增强技术来对改进后的多尺度神经网络进行训练获得多尺度行人优化检测模型，从而可以使用较少的模型参数在优化训练效率的基础上提高对行人进行检测的准确度。

请参见图3，是本申请实施例提供的一种电子设备的结构示意图。电子设备1包括存储器12和处理器13。存储器12用于存储计算机可读指令，处理器13用执行所述储器中存储的计算机可读指令以实现上述任一实施例所述的基于图像增强的多尺度行人检测方法。

在一个可选的实施例中，电子设备1还包括总线、存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于图像增强的多尺度行人检测程序。

图3仅示出了具有存储器12和处理器13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

结合图1，电子设备1中的所述存储器12存储多个计算机可读指令以实现一种基于图像增强的多尺度行人检测方法，所述处理器13可执行所述多个指令从而实现：

采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集；

依据预设的多尺度行人初始检测模型对所述行人图像集中的图像进行检测获得行人预测图像集；

基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数；

基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型；

基于所述多尺度行人优化检测模型对包含行人的待检测图像进行检测获得多尺度行人真实图像集。

具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，电子设备1可以是总线型结构，也可以是星形结构，电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如电子设备1还可以包括输入输出设备、网络接入设备等。

需要说明的是，电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。

其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质可以是非易失性的，也可以是易失性的。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于图像增强的多尺度行人检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是电子设备1的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块(例如执行基于图像增强的多尺度行人检测程序等)，以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。

所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于图像增强的多尺度行人检测方法实施例中的步骤，例如图1所示的步骤。

示例性的，所述计算机程序可以被分割成一个或多个单元/模块，所述一个或者多个单元/模块被存储在所述存储器12中，并由所述处理器13执行，以完成本申请。所述一个或多个单元/模块可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在电子设备1中的执行过程。例如，所述计算机程序可以被分割成采集模块110、检测模块111、构建模块112、训练模块113、获得模块114。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本申请各个实施例所述的基于图像增强的多尺度行人检测方法的部分。

电子设备1集成的单元/模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。

其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存储器及其他存储器等。

进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。

本申请实施例还提供一种计算机可读存储介质(图未示)，计算机可读存储介质中存储有计算机可读指令，计算机可读指令被电子设备中的处理器执行以实现上述任一实施例所述的基于图像增强的多尺度行人检测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。说明书陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种基于图像增强的多尺度行人检测方法，其特征在于，所述方法包括：

采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集；

依据预设的多尺度行人初始检测模型对所述行人图像集中的图像进行检测获得行人预测图像集；

基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数；

基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型；

基于所述多尺度行人优化检测模型对包含行人的待检测图像进行检测获得多尺度行人真实图像集。

2.如权利要求1所述的基于图像增强的多尺度行人检测方法，其特征在于，所述采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集，包括：

采集多张包含行人的图像作为行人图像集；

依据预设方式对所述行人图像集中各图像上的行人进行包围框标记得到行人图像标签集。

3.如权利要求1所述的基于图像增强的多尺度行人检测方法，其特征在于，所述基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数包括：

基于所述行人预测图像集中各图像上的行人包围框和所述行人图像标签集中各图像上的行人包围框构建边界框损失函数和置信度损失函数；

对所述边界框损失函数和所述置信度损失函数求和后作为行人识别损失函数。

4.如权利要求3所述的基于图像增强的多尺度行人检测方法，其特征在于，所述基于所述行人预测图像集中各图像上的行人包围框和所述行人图像标签集中各图像上的行人包围框构建边界框损失函数和置信度损失函数，包括：

分别计算目标预测包围框和目标标签包围框的宽度、高度和中心点坐标，本方案中将所述行人预测图像集中第t幅图像上第n个行人包围框作为所述目标预测包围框，所述目标标签包围框为所述行人图像标签集中与所述目标预测包围框在位置上相对应的包围框；

计算所述目标预测包围框和所述目标标签包围框的交并比和中心点之间的欧氏距离；

基于所述宽度、高度、交并比和中心点之间的欧氏距离构建边界框损失函数；

统计所述目标预测包围框和所述目标标签包围框的类别置信度；

基于所述类别置信度构建置信度损失函数。

5.如权利要求4所述的基于图像增强的多尺度行人检测方法，其特征在于，所述边界框损失函数满足关系式：

其中，T表示所述行人预测图像集中图像的数量，N_t表示所述行人图像标签集中第t幅图像上的行人包围框的数量，α为所述目标预测包围框和所述目标标签包围框的交并比，v为超参数，ρ表示所述目标预测包围框和所述目标标签包围框的中心点之间的欧氏距离，C_h、C_w和c分别表示能够覆盖所述目标预测包围框和所述目标标签包围框的最小矩形的高度、宽度和对角线长度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框中的对角线长度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框的高度，

和

分别表示行人预测图像集和行人图像标签集中第t幅图像上第n个目标预测包围框和对应的目标标签包围框的宽度；

所述置信度损失函数满足关系式：

其中，

表示所述目标预测包围框和所述目标标签包围框的类别置信度的差值绝对值，

表示所述行人图像标签集中第t幅图像上第n个行人包围框的类别置信度，即所述目标标签包围框的类别置信度，

为所述目标预测包围框的类别置信度，λ为所述目标预测包围框中没有目标时的置信度惩罚权重。

6.如权利要求5所述的基于图像增强的多尺度行人检测方法，其特征在于，所述超参数v满足关系式：

7.如权利要求1所述的基于图像增强的多尺度行人检测方法，其特征在于，所述基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型，包括：

依据图像增强算法对所述行人图像集中的图像进行图像增强获得行人增强图像集；

将所述行人增强图像集作为训练集输入所述多尺度行人初始检测模型获得输出图像集，并基于所述行人识别损失函数计算所述输出图像集与所述行人图像标签集之间的误差来对所述多尺度行人初始检测模型进行迭代训练后获得多尺度行人优化检测模型。

8.一种基于图像增强的多尺度行人检测装置，其特征在于，所述装置包括采集模块、检测模块、构建模块、训练模块以及获得模块：

所述采集模块，用于采集多张包含行人的图像获得行人图像集，并对所述包含行人的图像进行标记获得行人图像标签集；

所述检测模块，用于依据预设的多尺度行人初始检测模型对所述行人图像集中的图像进行检测获得行人预测图像集；

所述构建模块，用于基于所述行人预测图像集和所述行人图像标签集构建行人识别损失函数；

所述训练模块，用于基于所述行人图像集、行人图像标签集和所述行人识别损失函数对所述多尺度行人初始检测模型进行训练获得多尺度行人优化检测模型；

所述获得模块，用于基于所述多尺度行人优化检测模型对包含行人的待检测图像进行检测获得多尺度行人真实图像集。

9.一种电子设备，其特征在于，所述电子设备包括：

存储器，存储有计算机可读指令；及

处理器，执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的基于图像增强的多尺度行人检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于图像增强的多尺度行人检测方法。

Images