CN111709336B - 一种高速公路行人检测方法、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种高速公路行人检测方法、设备及可读存储介质，包括如下步骤：构建参数自适应的损失函数和构建一阶段目标检测算法模型的损失函数LOSS；采用梯度下降法对一阶段目标检测算法模型的权值进行更新，直到模型收敛为止；将训练好的模型在实际系统中完成对高速公路中的行人进行实时检测，在线计算高速公路行人情况。本发明提出的焦点损失函数能够提高目标检测模型的参数自适应性，大幅提高了目标检测的准确率。

Description

一种高速公路行人检测方法、设备及可读存储介质

技术领域

本发明涉及图像识别与计算机视觉技术领域，具体来说，涉及一种高速公路行人检测方法、设备及可读存储介质。

背景技术

高速公路是国家交通运输的重要环节，是国民经济发展的命脉，它的平稳运行维系着人民财产安全与国家经济发展。随着我国经济的高速发展，高速公路里程和交通工具数量随之急剧增加，给高速公路的管理运营带来极大挑战。

传统智能交通系统主要采用计算机视觉和机器学习领域目标检测、目标识别、目标追踪等相关技术，针对监控视频实现道路车辆、行人检测，从而分析道路交通状况和交通事件，这类智能交通系统大多是作为人工的辅助工具进行使用，但是受限于技术格局所取得的效果并不好，尤其是在2014年以前的目标检测等相关技术并不成熟，如DPM等技术难以满足实时、准确、精细的检测要求，同时智能交通系统大多都要全天候24小时运行，此类技术鲁棒性、对复杂环境适应性较差，难以满足实际需求。

随着近年来深度学习算法的逐步演进，人工智能关键技术得到长足发展。在计算机视觉及视频结构化等领域，深度学习带来了前所未有的性能提升，在多个单一视觉任务，如视频分类，人脸识别等，已经取得了超越人类的判别能力。

基于深度学习的智能交通系统迎来了新的发展机遇，智能交通所依赖的目标检测、目标追踪、目标识别等技术都得到了长足进步，尤其是目标检测、细分类等技术在通用领域已经取得巨大成功，在Pascal VOC、MS COCO、KITTI等数据集上得到了优异的成绩。传统的目标检测技术即是采用传统机器学习和计算机视觉进行检测的目标检测算法，这类算法大多需要构建复杂的特征提取过程来获取目标特征对目标进行定位和分类，流程复杂，提取的特征表达能力不强，造成模型鲁棒性较差，这是当时目标检测算法难以实际应用到工业生产中的一个原因。基于深度神经网络的目标检测算法，从特征提取、候选框生成、候选框特征提取、NMS算法等方面对CNN目标检测算法做出了诸多优化。Faster R-CNN算法提出的时候使用了VGGNet[5]提取特征，它只有16层结构，再加深就容易出现特征弥散问题，影响模型训练。到2017年RFCN算法使用ResNet作为骨干网络，解决了梯度弥散的问题，具有较强的语义表达能力，但是容易忽略目标的细节信息，尤其是在小目标方面，因此Lin T Y提出了FPN网络，利用特征金字塔同时获得细节化特征和高语义特征。

但是，由于高速公路场景复杂，需要涵盖主线、支线、收费广场、服务区等不同场景，同时需要应对雨天、雪天、雾天、台风、夜晚等不同天气、不同光照条件，行人、非机动车和周围的机动车辆目标行驶速度过快，容易造成拖影，影响检测，对算法的要求很高；同时通用检测算法大多为了追求准确度牺牲检测速度，难以满足实时检测的要求，而一些能够实时检测的算法在实际应用中的检测准确度比较低。

发明内容

本发明的目的在于提出一种高速公路行人检测方法、设备及可读存储介质，以克服现有技术中存在的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种高速公路行人检测方法，所述方法包括以下步骤：

1)构建高速公路数据集M，训练数据集T，验证数据集V，标注行人类别数C，训练数据批次大小batch，训练批次数batches，学习率l_rate，训练数据集T与验证数据集V之间的比例系数ζ，

其中：V T＝M，C∈N⁺，ζ∈(0,1)，batches∈N⁺,l_rate∈N⁺，batch∈N⁺，表示图像的高和宽，r表示图像的通道数；

2)确定待训练的一阶段目标检测模型，设卷积神经网络深度为L，网络卷积层卷积核集合G，网络输出层采用全连接方式，其卷积核集合A，网络特征图集合U，表示第l层网络中第k个特征图/>对应的网格数量，锚点集合M，具体定义如下：

其中：分别表示第l层网络对应的卷积核、特征图和锚点的高、宽、维度，/>表示第l层网络卷积核的填充大小，/>表示第l层网络卷积步长，f表示卷积神经元的激励函数，Θ表示选取的输入特征，Λ∈N⁺表示第l层网络的锚点总数，Ξ∈N⁺表示输出层节点总数，Φ∈N⁺表示第l层网络特征图总数，Δ∈N⁺表示第l层卷积核的总数；

3)设计参数自适应的焦点损失函数如下：

其中：

表示第l层网络上第i个网格中第j个锚点在图像t_k的行人样本与道路背景样本置信度的损失函数，/>表示行人预测框的损失函数，/>表示行人类别的损失函数，λ∈Q为损失函数/>参数，/>和/>分别表示行人目标和道路背景目标的损失函数，具体如下所示：

表示第l层网络上第i个网格中第j个锚点预测的前景行人概率值，表示相对应的道路背景概率值，/>分别表示第l层网络上第i个网格中第j个锚点的预测框中心点横坐标和纵坐标，/>分别表示行人样本标定框的中心点横坐标与纵坐标；/>分别表示第l层网络上第i个网格中第j个锚点的预测框中心点到该框边界的最短欧式距离，/>分别表示行人样本标定框的中心点到该框边界的最短欧式距离；/>表示第l层网络上第i个网格中第j个锚点预测的行人类别预测值，/>表示行人类别的标定状态，/>表示行人样本进行预测，/>表示是否对道路背景样本进行预测，具体计算如下：

其中，参数α∈(0,1)；iou_j表示锚点m_j在第i个网格中锚点框与行人标定框的交叠率，miou表示最大交叠率；

4)利用步骤3)中的一阶段目标检测算法模型的损失函数，对模型进行梯度下降法训练，直至模型收敛，在系统运行阶段，利用一阶目标检测模型提取图像特征值，并基于K-means聚类方法确定锚点，输出当前视频监测区域的目标检测行人数num∈N⁺，判断是否存在行人。

一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如上所述的高速公路行人检测方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如上所述的高速公路行人检测方法。

本发明的有益效果：本发明针对焦点损失函数在训练过程中需要手动调节超参数，训练过程中的参数不具备自适应性的问题，提出了一种基于半监督学习的深度学习损失函数，该损失函数使用加权法对超参进行改进，使得网络在梯度下降过程中，能够自适应的调节网络超参数，进而提高网络学习效率。

附图说明

图1是卷积神经网络的网络结构图；

图2是卷积神经网络中损失函数结构图；

图3是本发明所述方法的部署流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

损失函数作为卷积神经网络中梯度下降过程的目标函数，直接影响着卷积神经网络的训练结果。而卷积神经网络训练的结果好坏直接关系着目标检测的识别精度，因此对损失函数的设计显现的尤为重要。在一阶段目标检测算法模型训练过程中，网络在图像检测目标时含有大量的高速公路背景对象，高速公路背景对象的损失值虽然很小，但是数量远远超过行人目标，因此在计算损失值时，概率值小的高速公路背景损失值压倒了行人的目标损失值，导致模型精度下降很多，因此在一阶段目标检测算法模型中嵌入焦点损失函数来提高训练精度。而在焦点损失函数中有超参数需要依据经验值去设置，无法依据预测出的类别概率值，自动调节自身的超参大小。

因此，本发明针对焦点损失函数在训练过程中需要手动调节超参数，训练过程中的参数不具备自适应性的问题，公开了一种高速公路行人检测方法，所述方法包括：

步骤1：采集大量的高空摄像头拍摄的图像数据，构建高速公路数据集M的数量为10000，训练数据集T的数量为8000，验证数据集V的数量为2000，标注行人类别数C取值为3，分别为普通行人、路政人员和环卫人员，训练数据批次大小batch取值为4，训练批次数batches取值为1000，学习率l_rate取值为0.001，训练数据集T与验证数据集V之间的比例系数ζ取值为0.25，图像的高h_k＝416，w_k＝416，r＝3且满足所有图像的高、宽、通道数设置一致。

步骤2：确定一阶段目标检测模型为Yolov3，卷积神经网络深度L设置为139，其中卷积核的高、宽和维度设置具体如图1所示，卷积核的填充大小默认为1，卷积步长/>默认为1，卷积神经元的激励函数f默认为leakly_relu激励函数；锚点在每一层网络中都共享，锚点集合M取值为{(10,13),(30,61),(156,198)}，Λ＝3；网络输出层采用全连接方式，其卷积核集合A取值为{(1,1,30),(1,1,30),(1,1,30)}，Ξ＝3。

步骤3：如图2所示，构建参数自适应的焦点损失函数LOSS，参数α取值为0.25，参数λ取值为0.5。

步骤4：利用步骤3中的一阶段目标检测算法模型的损失函数，对模型进行梯度下降法训练，直至模型收敛。如图3所示，利用高速公路安放的摄像头的视频流进行实时检测，输出当前视频监测区域的目标检测行人数，判断高速公路是否存在行人。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种高速公路行人检测方法，其特征在于，所述方法包括以下步骤：

1)构建高速公路数据集W，训练数据集T，验证数据集V，标注行人类别数C，训练数据批次大小batch，训练批次数batches，学习率l_rate，训练数据集T与验证数据集V之间的比例系数ζ，

其中：V∪T＝W，C∈N⁺，ζ∈(0,1)，batches∈N⁺,l_rate∈N⁺，batch∈N⁺，表示图像的高和宽，r表示图像的通道数；

2)确定待训练的一阶段目标检测模型，设卷积神经网络深度为L，网络卷积层卷积核集合G，网络输出层采用全连接方式，其卷积核集合A，网络特征图集合U，表示第l层网络中第k个特征图/>对应的网格数量，锚点集合M，具体定义如下：

其中：分别表示第l层网络对应的卷积核的高、宽、维度，/>表示第l层网络对应的特征图的高、宽、维度，/>表示第l层网络对应的锚点的高和宽，h_a,k,w_a,k,r_a,k表示输出卷积核的高、宽、维度，/>表示第l层网络卷积核的填充大小，/>表示第l层网络卷积步长，f表示卷积神经元的激励函数，Θ表示选取的输入特征，Λ∈N⁺表示第l层网络的锚点总数，Ξ∈N⁺表示输出层节点总数，Φ∈N⁺表示第l层网络特征图总数，Δ∈N⁺表示第l层卷积核的总数；

3)设计参数自适应的焦点损失函数如下：

其中：

表示第l层网络上第i个网格中第j个锚点在图像t_k的行人样本与道路背景样本置信度的损失函数，/>表示行人预测框的损失函数，/>表示行人类别的损失函数，λ∈Q为损失函数/>参数，/>和/>分别表示行人目标和道路背景目标的损失函数，具体如下所示：

表示第l层网络上第i个网格中第j个锚点预测的前景行人概率值，表示相对应的道路背景概率值，/>分别表示第l层网络上第i个网格中第j个锚点的预测框中心点横坐标和纵坐标，/>分别表示行人样本标定框的中心点横坐标与纵坐标；/>分别表示第l层网络上第i个网格中第j个锚点的标定框中心点到该框边界的最短欧式距离，/>分别表示行人样本预测框的中心点到该框边界的最短欧式距离；/>表示第l层网络上第i个网格中第j个锚点预测的行人类别预测值，/>表示行人类别的标定状态，/>表示是否对行人样本进行预测，/>表示是否对道路背景样本进行预测，具体计算如下：

其中，参数α∈(0,1)；iou_j表示锚点m_j在第i个网格中锚点框与行人标定框的交叠率，miou表示最大交叠率；

4)利用步骤2)中的一阶段目标检测模型的损失函数，对模型进行梯度下降法训练，直至模型收敛，在系统运行阶段，利用一阶目标检测模型提取图像特征值，并基于K-means聚类方法确定锚点，输出当前视频监测区域的目标检测行人数num∈N⁺，判断是否存在行人。

2.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1所述的高速公路行人检测方法。

3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1所述的高速公路行人检测方法。