CN109214308A - 一种基于焦点损失函数的交通异常图片识别方法 - Google Patents

Abstract

本发明属于图像识别与计算机视觉技术领域，公开了一种基于焦点损失函数的交通异常图片识别方法，包括：构建基于点损失函数的卷积神经网络，建立图片数据集；对图片数据集进行预处理，使用处理后的图片数据集对卷积神经网络进行训练；使用训练好的卷积神经网络对输入图片进行识别，得到图片所属交通异常类别检测结果；本发明针对道路异常与正常情况数据集类别不均衡、导致卷积神经网络的训练难以进行的情况，使用焦点损失函数替代原有损失函数，使得卷积神经网络能够顺利训练，提高了识别准确度；本发明提供的识别方法可部署在各交通路段的监控系统中，自动对当前路段是否发生交通异常进行识别，从而为交通部门提供及时预警。

Description

一种基于焦点损失函数的交通异常图片识别方法

技术领域

本发明属于图像识别与计算机视觉技术领域，更具体地，涉及一种基于焦点损失函数的交通异常图片识别方法。

背景技术

引起交通事故的原因很多，包括路面积雪、路面破损、起火、堵车、大雾、塌方滑坡等交通异常情况，若能够通过监控对这些原因进行识别，就可以在发生交通事故之前采取相应处理，减少交通事故的发生。

目前主要通过电话以及人工查看监控摄像头的方式对交通异常进行识别，效率低下，需要大量的人力劳动。一种可能的方法是使用计算机视觉技术编写软件，自动检测监控摄像头所拍摄的图片是否包含异常情况。传统的计算机视觉技术需要手动设计特征用于分类，这种方法不仅效率较低，而且在扩充新的分类类别时需要设计新的特征用于识别新的异常类别，降低了系统的维护性。

将深度学习与计算机视觉相结合可以在分类任务中通过训练的方式自动学习出所需要的特征，大大提高了系统的可维护性。因此将深度学习与交通异常情况检测结合起来，建立一个交通异常情况检测系统，自动使用摄像头的实时监控信息进行异常情况的检测，不仅能提高交通预警的及时性，也能节省大量的人力。然而，实际应用场景下获取的交通异常图片与正常图片的比例十分不均衡，会大幅影响训练出的分类器的精度，导致实际检测时准确率低。因此对一种可在正常与异常图片不均衡条件下进行交通异常图片识别的技术具有实际需求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于焦点损失函数的交通异常图片识别方法，其目的在于提高交通异常图片识别的准确率。

为实现上述目的，按照本发明的一个方面，提供了一种基于焦点损失函数的交通异常图片识别方法，包括训练步骤和测试步骤；

训练步骤包括：

(1)建立数据集，包括正常交通状况下的图片以及积雪、路面破损、交通事故、起火、堵车、大雾和塌方滑坡等交通异常状况下的图片；

(2)对上述数据集进行预处理，形成统一尺寸的预处理图像，构成训练集和测试集；训练集图片占比大于测试集图片占比；

(3)构建包括卷积层、批标准化、池化层、全连接层以及输出层的卷积神经网络；

(4)构建用于克服类别不均衡对训练造成影响的焦点损失函数作为卷积神经网络的目标函数；焦点损失函数以卷积神经网络的向量输出和卷积神经网络输入图片对应的异常类别为输入，输出一个常量；

(5)对卷积神经网络进行参数初始化，并使用上述训练集对卷积神经网络进行训练，每轮训练后在测试集上进行测试，当卷积神经网络在测试集上的分类准确率不再提高并满足需求时停止训练；

测试步骤包括：

(i)将需要测试的图片进行裁剪、缩放；

(ii)将缩放后的图片作为卷积神经网络的输入，经过卷积神经网络进行特征提取；

(iii)通过卷积神经网络的全连接层对特征进行线性组合；

(iv)通过输出层将全连接层的输出转换为分类概率；

(v)选取最大的概率值，判断该概率值是否大于给定的阈值，若是，则图片对应的交通异常类型为最大概率值对应的交通异常类别；若否，则图片为正常交通状态下的图片；阈值的范围为[0,1]，可根据实际情况对阈值进行调整，阈值越大，对异常类别的判定越严格，对于不同的类别使用同一个阈值进行判定。

优选地，上述基于焦点损失函数的交通异常图片识别方法，对数据集进行预处理包括：

(2.1)对图片进行随机方向的平移、做随机方向的旋转、随机色彩调整以及随机水平翻转；

(2.2)将翻转后的图片进行裁剪，得到以图片中心点选取较短边为边长的正方形图片；将裁剪后的图片缩放为224×224大小的图片；

(2.3)将整个数据集划分为训练集和测试集。

优选地，上述基于焦点损失函数的交通异常图片识别方法，对图片进行裁剪的裁剪方式为图片中心裁剪或图片四个角裁剪，或这两种裁剪方式的组合。

优选地，上述基于焦点损失函数的交通异常图片识别方法，在利用全连接层对特征进行线性组合前，包括对特征进行批标准化处理的步骤，将图片每个通道中的特征值标准化到设定范围内，以加速训练。

优选地，上述基于焦点损失函数的交通异常图片识别方法，在批标准化处理后、对特征进行线性组合前，还包括：

通过ReLU激活函数筛选出大于0的特征值，利用最大池化层将图片尺寸缩小，所得到的特征在经过若干个中间层后，利用平均池化层对特征值在相邻的预设范围内取平均，使特征具有空间不变性；其中，中间层包括多个瓶颈层。

优选地，上述基于焦点损失函数的交通异常图片识别方法，采用sigmoid函数作为卷积神经网络的输出层，利用sigmoid函数生成分类概率，其输出值直接作为不同异常类别的概率分布。

本发明提供的交通异常图片识别方法，先建立一个基于焦点损失函数的卷积神经网络并进行训练，以经过预处理后的道路实时监控图片为训练好的卷积神经网络的输入，通过卷积神经网络对预处理后的图片进行一系列的卷积运算，得到图像各个通道的特征，再通过全连接层和sigmoid函数输出图片属于各个异常类别的概率，根据最大的概率值来确定图片所属的交通异常类型。总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的基于焦点损失函数的交通异常图片识别方法，针对实际场景中正常交通状况下的图片与异常交通状况下的图片类别不均衡的现象设计焦点损失函数以克服类别不均衡对训练造成的影响；由于实际应用中正常图片的数量是远远大于异常情况图片数量的，若直接使用交叉熵作为卷积神经网络的目标函数会由于类别不平衡的问题导致训练出的网络召回率低；采用本发明的方法，由于所构建的焦点损失函数能够在计算卷积神经网络的损失函数时针对正常类别与异常类别图片的数量不均衡问题以及不同图片的分类难易度进行自适应的权重调整，使损失函数不再被正常类别图片与容易分类的图片主导，解决了由于正常图片与交通异常图片类别不均衡导致的训练收敛困难的问题；

(2)本发明提供的基于焦点损失函数的交通异常图片识别方法，由于卷积神经网络输入尺寸和输出尺寸可灵活调整，因此具有很强的扩展性，当需要检测的图片尺寸发生变化、异常情况数量增加时，只需要对输入或输出层进行略微修改就能继续进行训练，无需重新设计整个卷积神经网络。

(3)采用本发明提供的基于焦点损失函数的交通异常图片识别方法，能够有效利用道路监控摄像头所拍摄的图片，对当前路段是否发生交通异常情况进行识别，从而为交通部门提供及时预警。

附图说明

图1是本发明实施例中采用的卷积神经网络的结构示意图；

图2是本发明实施例中采用的卷积神经网络的中间层结构示意图；

图3是本发明实施例中采用的卷积神经网络的瓶颈层结构示意图；

图4是本发明实施例中采用的卷积神经网络的数据集预处理的流程示意图；

图5是本发明实施例的交通异常图片识别测试流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的基于焦点损失函数的交通异常图片识别方法，建立一个基于焦点损失函数的卷积神经网络，以预处理后的道路实时监控图片为该卷积神经网络的输入，通过该卷积神经网络对预处理后的图片进行一系列的卷积运算得到图像的特征，再通过全连接层和sigmoid函数输出图片属于各个异常类别的概率，根据最大的概率值来确定图片所属的交通异常类型。以下结合图1～5以及实施例来具体阐述，具体包括：

(1)建立图片数据集，具体包括正常交通状况下的图片以及积雪、路面破损、交通事故、起火、堵车、大雾和塌方滑坡等交通异常状况下的图片；实际应用场景下，用于采集交通图像的摄像头可能安装在各种位置，因此对各个角度、各个场景的图片都需要收集。

(2)对数据集进行预处理；实施例中，预处理的流程参照图4，首先对图片进行随机方向的平移、然后做随机方向的旋转、随机色彩调整以及随机水平翻转，将翻转后的图片进行裁剪，得到以图片中心点选取较短边为边长的正方形图片；将裁剪后的图片缩放为224×224大小的图片；最后将整个数据集划分为训练集和测试集，训练集和测试集的划分比例为4：1；

(3)构建用于交通异常图片识别的卷积神经网络，该卷积神经网络包含卷积层、批标准化、池化层、全连接层以及输出层；

卷积层接收尺寸为N×C_in×H×W的图片作为输入，输出尺寸为N×C_out×H_out×W_out的图片，其中N为每次计算的图片数量，C_in为输入图片的通道数量，H和W为输入图片的高度和宽度；C_out为输出图片的通道数量，H_out和W_out为输出图片的高度和宽度；

具体的计算公式如下：

其中bias为偏置，weight为权重，*为互相关运算符，i为当前图片在N张图片中的顺序，j为输出通道数，k为输入通道数；

批标准化：采用下式对4D输入的每个通道执行标准化；

其中，x为输入数值，y为输出数值，E[x]和Var[x]分别是每个通道上数值的均值和方差，γ和β分别为需要学习的方差和均值，ε为一个小的常量，用于保证计算的稳定性，实施例中取1e^-5；通过上述的标准化处理，输出服从均值为β、方差为γ的正态分布，能够加速网络的训练。

池化层采用池化函数对输入进行降采样；

可采用最大池化函数作为池化层的池化函数，计算式为：

也可采用平均池化函数作为池化层的池化函数，计算式为：

其中，stride为池化函数的步长，kH和kW为池化函数的核大小；池化层降低了输入的尺寸，且使输出具有一定的平移不变性。

全连接层用于对输入进行线性组合，并输出指定长度的特征向量；计算式为：y＝ax+b；

当全连接层的输入为一个m维向量，输出为一个n维为向量时，上式中的a为一个n×m维的矩阵，b为一个n维向量。

输出层用于将卷积神经网络的结果输出为所需要的类型，一个优选的实施例采用sigmoid函数作为卷积神经网络的输出层；sigmoid函数是一个值域在(0，1)的非线性函数，其输出值可直接作为不同异常类别的概率分布。

sigmoid函数的公式为：

其中e为自然常数；将sigmoid函数作用于全连接层输出的特征向量上，得到图片属于每个异常类别的概率，即将全连接层的输出结果转换为(0，1)范围内的概率值。

实施例中，在卷积神经网络的中间层中，使用到其他的非线性激活函数，例如正流线型单元(ReLU)对特征值进行筛选，其公式为：ReLU(x)＝max(0,x)。

实施例中，采用构建的卷积神经网络进行交通异常图片识别的流程参照图1；输入图片的尺寸为224×224×3；其中3表示图片为彩色RGB三通道，输入图片首先经过卷积层，经过卷积计算后，得到64个通道的特征；然后通过批标准化操作将每个通道中的特征值标准化到一定范围内以加速训练；再通过ReLU激活函数筛选出大于0的特征值，接着应用最大池化层将图片尺寸缩小到112×112。得到的特征在经过4个中间层后，被送入一个平均池化层，对特征值在相邻的3×3范围内取平均，使特征具有一定的空间不变性；再通过一个全连接层对特征进行线性组合，输出指定长度的特征向量，最后将sigmoid函数作用于输出的特征向量上，得到图片属于每个异常类别的概率。

参照图2，卷积神经网络的中间层包含多个瓶颈层，不同的中间层所包含的瓶颈层的数量不同；实施例中，第一层中间层包含3个瓶颈层，第二次中间层包含4个瓶颈层，第三次中间层包含6个瓶颈层，第四层中间层包含3个瓶颈层，每个瓶颈层的输出与其输入连接到一起作为下一层瓶颈层的输入，由此让特征在深层神经网络中更好地流动，从而学习到更好的高级特征，也防止了深层神经网络中的梯度弥散现象。

参照图3，每个瓶颈层都是由3个卷积层和3个批标准化处理层组合而成；在一个优选的方案中，在每个中间层的第一个瓶颈层的第一个批处理层后有一个最大池化层，用于减小特征的尺寸，学习更加高级的特征。在瓶颈层的最后有一个ReLU函数，用于对特征进行非线性变换，使得整个网络变得非线性，以学会更加复杂的函数映射。

由于在实际应用中，正常交通状况下图片的数量远远大于异常交通状况下的图片数量，直接使用交叉熵作为卷积神经网络的目标函数会由于类别不平衡的问题导致训练出的网络召回率低。为了解决这一问题，本发明对原有交叉熵函数进行了改进，为整个神经网络设计了焦点损失函数。

焦点损失函数为：其中i表示异常类别索引，n表示异常类别数量，mask_i表示图片是否属于第i种异常，若是，则mask_i取1，否则取0；p_i表示图片属于第i个异常类别的概率，α用于平衡正常图片与异常图片的比例，本应用中取0.25，γ用于平衡图片分类的难易程度，本应用中取2。

实测结果表明，通过改进后的目标函数训练出的网络召回率有约5％的提升。对卷积神经网络进行参数初始化，使用预处理过的训练集对卷积神经网络进行训练，使其能够正确对给定图片进行分类。实施例中，使用在ImageNet数据集上训练过的卷积神经网络的参数对所构建的卷积神经网络进行初始化，以有效利用网络从其他数据集中学习到的特征，从而起到对训练进行加速的作用。

训练卷积神经网络的目标是使得神经网络对应的损失函数最小化；通过将x向导数的反方向移动一个步长来减小f(x)，这种技术称为梯度下降法。对于具有多维输入的函数，则需要使用偏导数来进行函数的最小化。对于梯度下降法，需要计算损失函数在所有样本上的梯度，求和后进行参数的更新，当数据量非常大时，使用这种方法需要大量的计算代价。在实际使用中，常随机采样少量的样本，计算损失函数在这些随机样本上的梯度，使用该梯度去逼近整个数据集上的梯度，这种使用部分样本更新参数的方法称为随机梯度下降法。实测证明，这种方法能够有效对参数进行更新。

动量算法是用于加速随机梯度下降法的一种技术，动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿着该方向移动。当新计算出的梯度方向与原有梯度方向相同时，参数更新可以得到加速；当新计算出的梯度方向与原有梯度方向不同时，参数更新会减缓，防止梯度震荡对参数更新造成影响。在一个优选实施例中，使用结合了动量算法的随机梯度下降法对卷积神经网络进行训练，训练时初始学习率设置为0.0001，动量参数设置为0.9，共训练50个epoch，每10个epoch将学习率降低为原来的1/10。

参照图5，采用训练好的卷积神经网络来对交通异常图片进行识别。首先将待识别的图片进行裁剪和缩放，将其缩放到224×224的尺寸，然后将裁剪和缩放后的图片作为卷积神经网络的输入；卷积神经网络首先提取出图片的特征，然后使用全连接层对特征进行线性连接，再通过sigmoid函数输出该图片属于每个交通异常类别的概率；选择最大的概率值，判断该最大的概率值是否大于给定阈值，若大于阈值，则判断图片属于概率值对应的类别；若小于阈值，则判断图片不存在交通异常情况。阈值的范围为[0,1]，默认设置为0.5，也可根据实际情况对阈值进行调整，阈值越大，对异常类别的判定越严格。

实测结果表明，采用本发明提供的这种识别方法，能通过原始道路环境图片准确地识别出图片中的交通异常情况，譬如路面破损、堵车、塌方滑坡、火灾、交通事故、积雪、雾天等，并在图片中进行对应异常类别的标注。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于焦点损失函数的交通异常图片识别方法，包括训练步骤和测试步骤；其特征在于，

训练步骤包括：

(1)建立数据集，包括正常交通状况下的图片以及异常交通状况下的图片；

(2)对所述数据集进行预处理，形成统一尺寸的预处理图像，构成训练集和测试集；训练集图片占比大于测试集图片占比；

(3)构建包括卷积层、批标准化、池化层、全连接层以及输出层的卷积神经网络；

(4)构建用于克服类别不均衡对训练造成影响的焦点损失函数作为卷积神经网络的目标函数；

(5)对卷积神经网络进行参数初始化，并使用所述训练集对卷积神经网络进行训练，每轮训练后在测试集上进行测试，当卷积神经网络在测试集上的分类准确率不再提高时停止训练；

测试步骤包括：

(i)将需要测试的图片进行裁剪、缩放；

(ii)将缩放后的图片作为卷积神经网络的输入，通过卷积神经网络进行特征提取；

(iii)通过卷积神经网络的全连接层对提取的特征进行线性组合；

(iv)通过输出层将全连接层的输出转换为分类概率；

(v)选取最大的概率值，判断该概率值是否大于给定的阈值，若是，则判定图片对应的交通异常类型为最大概率值对应的交通异常类别；若否，则判定图片为正常交通状态下的图片。

2.如权利要求1所述的交通异常图片识别方法，其特征在于，对数据集进行预处理包括：

(2.1)对图片进行随机方向的平移、做随机方向的旋转、随机色彩调整以及随机水平翻转；

(2.2)将翻转后的图片进行裁剪，得到以图片中心点选取较短边为边长的正方形图片，将裁剪后的图片进行缩放；

(2.3)将整个数据集划分为训练集和测试集。

3.如权利要求1或2所述的交通异常图片识别方法，其特征在于，在利用全连接层对特征进行线性组合前，包括对特征进行批标准化处理的步骤，将图片每个通道中的特征值标准化到设定范围内，以加速训练。

4.如权利要求3所述的交通异常图片识别方法，其特征在于，在批标准化处理后、对特征进行线性组合前，还包括：

通过ReLU激活函数筛选出大于0的特征值，利用最大池化层将图片尺寸缩小，所得到的特征在经过若干个中间层后，利用平均池化层对特征值在相邻的预设范围内取平均，使特征具有空间不变性；其中，中间层包括多个瓶颈层。

5.如权利要求1～4任一项所述的交通异常图片识别方法，其特征在于，采用sigmoid函数作为卷积神经网络的输出层，利用sigmoid函数生成分类概率，其输出值直接作为不同异常类别的概率分布。

6.如权利要求1或2所述的交通异常图片识别方法，其特征在于，对图片进行裁剪的裁剪方式为图片中心裁剪或图片四个角裁剪，或这两种裁剪方式的组合。

7.如权利要求1或2所述的交通异常图片识别方法，其特征在于，使用在ImageNet数据集上训练过的卷积神经网络的参数对所构建、卷积神经网络进行参数初始化。

8.如权利要求1或2所述的交通异常图片识别方法，其特征在于，测试步骤(v)中阈值的范围为[0,1]，阈值越大，对异常类别的判定越严格，对于不同的类别使用同一个阈值进行判定。