CN112580443B - 基于嵌入式设备改进CenterNet的行人检测方法 - Google Patents

Abstract

本发明提供一种基于嵌入式设备改进CenterNet的行人检测方法，包括以下步骤：步骤S1：使用BiFPN结构改进优化CenterNet的骨干网络；步骤S2：统计行人数据集标注框宽高比，并据此设置好每个标注框对应的高斯核分布；步骤S3：据步骤S2设置好的高斯核分布宽高比改进训练过程中的高斯核以及损失函数；步骤S4：按步骤S2中统计行人检测框宽高比的数据集进行训练；步骤S5：将训练好的模型进行量化、加速，移植到嵌入式设备；步骤S6：在嵌入式设备上开启服务端，对模型移植后的检测效果进行评估。改进后的CenterNet模型能够有效的提取深度特征，避免复杂的网络结构带来的庞大参数量，在嵌入式设备上有更快的运行速度，同时在行人检测的精度上也得到提升。

Description

基于嵌入式设备改进CenterNet的行人检测方法

技术领域

本发明属于图像检测领域，特别涉及一种骨干网络有效提取特征结构和头部网络及对应损失改进的方法，并使用嵌入式设备实现，最终实现具体效果评测。

背景技术

目标检测是计算机视觉和数字图像处理的一个方向，广泛用于工业检测、航空、航天、智能视频监控等领域，使用计算机视觉检测目标用以减少人力的使用，提高灵活性具有重要意义。在实际应用过程中，虽然大部分网络可以在TPU、GPU等大型运算设备上取得较好的实时性，但是在一些具体场景中需要使用移动设备进行计算，虽然检测领域中单步法中有多种阉割版的网络结构应对这种问题，但是随之带来的是精度的大幅下降。

发明内容

本发明的目的在于克服上述现有技术或算法的缺点，基于CenterNet检测网络提出了一种针对于多行人的可应用于嵌入式设备的检测网络，在保证精度的情况下，减少参数量与计算量。原CenterNet使用的backbone是多层特征融合的DLA34和Hourglass101，这类模型参数量大，前向传播速度较慢，不适合使用在嵌入式这类计算能力有限的设备上，所以根据BiFPN结构提出一种新的特征提取结构，其参数量在嵌入式设备上可以满足实时性的同时，保证了精度不会出现大幅降低。同时针对行人这一特定的类别，通过改进高斯核形式降低因遮挡造成的精度降低。

本发明的一种基于嵌入式设备改进CenterNet的行人检测方法，其包括以下步骤：

S1、将CenterNet的骨干网络按照BiFPN结构重新设计，将下采样过程中不同层次的特征进行放缩，同时按照不同的权值进行融合，在融合之前按照当前层级的输出将被融合层的分辨率进行调整，使分辨率一致，然后按照式

以不同的权值对分辨率相同的特征图进行融合，i表示特征图的层数、j表示对应特征图的权值排序的序号、I_i表示融合过程中的所有被融合前的特征图、w_i为其对应的权值、∑_jw_j表示所有的权值之和、O表示融合后结果特征图的输出、∈为足够小的数；

S2、按照特定的行人数据集统计宽高比，设置每个检测框相对应的高斯核分布，并按照这个方差改进高斯核分布，设原方差为σ_p，公式为：

g_w和g_h为标注框对应的宽和高，Y_xy表示高斯核函数分布形式，

为原输入图像中行人目标中心点下采样后在热力图HeatMap上的对应位置，x、y是围绕这一中心点绘制高斯核的双自变量；

S3、根据步骤S2中的高斯核分布设置focalloss损失函数形式如下：

式中，L_k表示头部网络中HeatMap分支的损失，

表示HeatMap分支相对应Y_xy的预测值，α、β是focalloss的参数，N代表中心点数量，Y_y表示仅在y方向上对损失函数进行衰减；

最终的损失为HeatMap分支损失、offset分支损失与scale损失之和，offset分支损失和scale损失按照原模型损失函数进行设置，最后按照L_det＝L_k+λ_sizeL_size+λ_offL_off将损失进行线性融合，L_det表示三个损失线性相加的总损失、λ_size表示scale分支的损失系数、λ_off表示offset分支损失的系数、L_k表示HeatMap分支的损失、L_size表示scale分支的损失、L_off表示offset分支的损失；

S4、按照步骤S2、S3中修改的网络进行训练，训练过程中使用仿射变换进行预处理，让原始图像经过仿射变换到输入图像的中心，然后通过亮度调节和中心裁剪做数据增强；

S5、将训练好的模型参数用FP16类型进行精度校准，部署到嵌入式设备，并使用TensorRT进行加速；

S6、在嵌入式设备上开启服务，从客户端到嵌入式设备发送评测数据，验证改进后算法的提升。

优选地，所述步骤S1中骨干网络提取特征时，首先将输入图像经过标准的卷积、批标准化、激活层、最大池化处理，然后在经过不同层的残差块后进行下采样，依据这些下采样后的不同层级的特征图进行融合。

优选地，所述步骤S6中评测时，保证在一次评测中输入的图分辨率不变，同时在计算传播时间时，减去因网络传输所损失的时间，只计算预处理、模型推理、后处理、所有分支的预测结果合并的时间，并使用同一批数据评测传播时间。

与现有技术相比，本发明具有以下有益效果：

(1)能够有效的提取深度特征，避免复杂的网络结构带来的庞大参数量；

(2)在保证精度的情况下，能够实现快速推理。

(3)本发明通过统计行人标注框的长宽比，设定了适用于行人的高斯核分布形式，有效的避免了因行人相互遮挡带来的检测精度下降。

附图说明

图1为本发明的的基于嵌入式设备改进CenterNet的行人检测方法的总体流程图；

图2为改进后的CenterNet网络示意图；

图3为BiFPN结构示意图；

图4(a)为行人遮挡图示意图；

图4(b)为对应的高斯核图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的为，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示，本实例是一种基于嵌入式设备改进CenterNet的行人检测方法，其实现步骤如下：

S1、如图3所示，基于BiFPN结构这一能有效提取特征的网络结构，将原CenterNet的骨干网络按照此结构重新设计，同时将下采样过程中不同层次的特征进行放缩按照不同的权值进行融合。首先将输入图像经过标准的卷积、批标准化、激活层、最大池化处理，然后在经过不同层的残差块后进行下采样，依据这些下采样后的不同层级的特征图进行融合。在融合之前按照当前层级的输出将被融合层的分辨率进行调整，使分辨率一致，然后按照式

以不同的权值对分辨率相同的特征图进行融合，式中，i表示特征图的层数、j表示对应特征图的权值排序的序号，I_i表示融合过程中的所有被融合前的特征图、w_i为其对应的权值，是一个可训练的参数，∑_jw_j表示所有的权值之和、O表示融合后结果特征图的输出，∈为足够小的数。图2中展示了本实施例依据BiFPN结构重新设计的CenterNet行人检测模型，从图2的网络结构可以看出，输入图像首先经过一个卷积层Conv1、批标准化Bn1、激活层Relu、最大池化maxpool的结构得到一个64维的特征图，然后使用残差块ResBolock进一步提取特征，分别将残差块下采样输出的特征相对应的进行分辨率调整，并且按图中BiFPN结构进行融合，经过BiFPN结构之后得到对应输入的不同层融合之后的特征，将这些特征经过卷积Conv，可变形卷积DeConv送入到包含HeatMap、offset、scale在内的头部分支，最后再在不同的分支分别进行卷积，得到各个头部检测分支的对应结果。

S2、按照特定的行人数据集统计宽高比，设置每个检测框对应的高斯核分布，并按照这个方差改进高斯核分布，设原方差为σ_p，公式为

g_w和g_h为标注框对应的宽和高，

为原输入图像中行人目标中心点下采样后在热力图HeatMap上的对应位置，x、y是围绕这一中心点绘制高斯核的双自变量，Y_xy表示高斯核函数分布形式。本实施例在行人数据集CrowdHuman上的训练集提取每张图对应的宽高比，计算输入图像反射变换后的大小，并据此重新标定标注框在经过下采样后对应位置的中心点按照上述公式绘制高斯核，原图与绘制的效果分别如图4(a)、图4(b)所示，相比原来的在x和y方向上同分布的形式，更加符合行人检测框的基本形式，可以避免因行人遮挡带来的精度降低。

S3、根据步骤S2中的高斯核分布设置focalloss损失函数形式如下：

式中，L_k表示头部网络中HeatMap分支的损失，

表示HeatMap分支相对应Y_xy的预测值，α、β是focal loss的参数，N代表中心点(检测到的行人)数量，Y_y表示仅在y方向上对损失函数进行衰减。最终的损失为HeatMap分支损失、offset分支损失、scale损失之和，offset分支损失和scale按照原模型损失函数进行设置，最后按照L_det＝L_k+λ_sizeL_size+λ_offL_off将损失进行线性融合，L_det表示三个损失线性相加的总损失，L_k表示HeatMap分支的损失，L_size表示scale分支的损失，L_off表示offset分支的损失，λ_size表示scale分支的损失系数，λ_off表示offset分支损失的系数。本实例中由于只有行人这一个类，所以HeatMap为单通道，同时设置λ_size＝0.1，λ_off＝1进行加权。

S4、按照步骤S2、S3中修改的网络进行训练，训练过程中使用仿射变换进行预处理，即让原始图像经过仿射变换到输入图像的中心，然后通过亮度调节和中心裁剪做数据增强。训练过程中采用固定分辨率256×256，512×512，1024×1024……将图片按照比原有分辨率大且最接近的分辨率通过仿射变换映射到中心位置，这样既能防止图像畸变带来的精度下降，又能不让训练速度减慢，使用数据增强时设置亮度调节在0.5以内，Adam优化训练70个epoch，初始学习率0.1，在第45、60个epoch进行0.01的衰减。

S5、将训练好的模型参数用FP16进行精度校准，部署到嵌入式设备，并使用TensorRT进行加速。首先根据训练的网络进行前向传播，然后根据各头部网络分支的预测结果，输出预测框左上角的位置和右下角的位置。使用TensorRT加速时，将参数用FP16类型进行精度校准,同时通过对卷积层、BN层、偏置层间的横向或纵向合并组成CBR结构，从而减少参数量，在嵌入式设备Jetson TX2上完成部署，调用Jetson TX2的CUDA核计算，其中CUDA版本设为9.2，TensorRT版本设为4.0。

S6、在嵌入式设备上开启服务，从客户端到嵌入式设备发送评测数据，完成算法的实现。本实例评测时，保证在一次评测中输入的图分辨率不变，同时在计算传播时间时，减去因传输所损失的时间，仅计算预处理、模型推理、后处理、结果合并的时间，并使用一批数据评测传播时间，使评测结果可重复得到。本实例数据评测过程中在S5部署的嵌入式设备Jetson TX2上进行测试，首先使用Flask在嵌入式设备上开启服务，接收PC客户端发送的测试数据，其中测试数据选用CrownHuman的全部测试集，最终评测指标包括前向推理时间，即从接收到图片送入模型到计算得检测框左上角位置和右下角位置时的时间，检测精度即AP值，按照交并比0.3计算，最后得到0.786的AP和25.274的平FPS，在行人的检测精度和检测速度上都取得了比原CenterNet模型更佳的效果。

以上所述各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应该理解：其依然能对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于嵌入式设备改进CenterNet的行人检测方法，其特征在于，其包括以下步骤：

S1、将CenterNet的骨干网络按照BiFPN结构重新设计，将下采样过程中不同层次的特征进行放缩，同时按照不同的权值进行融合，在融合之前按照当前层级的输出将被融合层的分辨率进行调整，使分辨率一致，然后按照式

以不同的权值对分辨率相同的特征图进行融合，i表示特征图的层数、j表示对应特征图的权值排序的序号、I_i表示融合过程中的所有被融合前的特征图、w_i为其对应的权值、∑_jw_j表示所有的权值之和、O表示融合后结果特征图的输出、∈为足够小的数；

S2、按照特定的行人数据集统计宽高比，设置每个检测框相对应的高斯核分布，并按照这个方差改进高斯核分布，设原方差为σ_p，公式为：

g_w和g_h为标注框对应的宽和高，Y_xy表示高斯核函数分布形式，

为原输入图像中行人目标中心点下采样后在热力图HeatMap上的对应位置，x、y是围绕这一中心点绘制高斯核的双自变量；

S3、根据步骤S2中的高斯核分布设置focal loss损失函数形式如下：

式中，L_k表示头部网络中HeatMap分支的损失，

表示HeatMap分支相对应Y_xy的预测值，α、β是focal loss的参数，N代表中心点数量，Y_y表示仅在y方向上对损失函数进行衰减；

最终的损失为HeatMap分支损失、offset分支损失与scale损失之和，offset分支损失和scale损失按照原模型损失函数进行设置，最后按照L_det＝L_k+λ_sizeL_size+λ_offL_off将损失进行线性融合，L_det表示三个损失线性相加的总损失、λ_size表示scale分支的损失系数、λ_off表示offset分支损失的系数、L_k表示HeatMap分支的损失、L_size表示scale分支的损失、L_off表示offset分支的损失；

S4、按照步骤S2、S3中修改的网络进行训练，训练过程中使用仿射变换进行预处理，让原始图像经过仿射变换到输入图像的中心，然后通过亮度调节和中心裁剪做数据增强；

S5、将训练好的模型参数用FP16类型进行精度校准，部署到嵌入式设备，并使用TensorRT进行加速；

S6、在嵌入式设备上开启服务，从客户端到嵌入式设备发送评测数据，验证改进后算法的提升。

2.根据权利要求1所述的基于嵌入式设备改进CenterNet的行人检测方法，其特征在于，所述步骤S1中骨干网络提取特征时，首先将输入图像经过标准的卷积、批标准化、激活层、最大池化处理，然后在经过不同层的残差块后进行下采样，依据这些下采样后的不同层级的特征图进行融合。

3.根据权利要求1所述的基于嵌入式设备改进CenterNet的行人检测方法，其特征在于，所述步骤S6中评测时，保证在一次评测中输入的图分辨率不变，同时在计算传播时间时，减去因网络传输所损失的时间，只计算预处理、模型推理、后处理、所有分支的预测结果合并的时间，并使用同一批数据评测传播时间。

Images