CN108563977A - 一种高速公路出入口的行人预警方法及系统 - Google Patents

Abstract

本发明公开了一种高速公路出入口的行人预警方法及系统，包括收集行人数据集并制作样本标签文件作为训练样本，用卷积神经网络方法从训练样本中提取行人的特征；根据提取的行人特征迭代训练区域建议网络和目标检测网络，得到行人检测网络模型；实时拍摄公路路况视频并送入训练好的行人检测网络模型，得到行人目标概率和目标边框，则立即报警并提示行人位置信息。本发明在进行实时行人检测的同时确定行人的数量及地理位置，在远距离情况下，检测速度快，准确率高，这样不仅提高高速公路突发事件处理的效率，并且能够避免引入额外的误差，保证了处理的精准性。

Description

一种高速公路出入口的行人预警方法及系统

技术领域

本发明涉及视频物体检测领域，具体涉及一种高速公路出入口的行人预警方法及系统。

背景技术

随着我国高速公路事故严重程度逐年增加，目前已上升居世界第二。交通事故每死亡11人，就有1人死于高速公路，伤亡人数占公路交通事故比例逐年提高。高速公路致死率与死伤比要比国道分别高出15.4％和22.2％。因此，准确把握交通运行状态并及时检测出异常情况，对于交通管理和制定应急策略很有必要性。

降低高速公路交通事故发生率，关键之一是要保证高速公路上只有车辆。如果有人因没有注意到潜在的危险而不小心进入高速公路，交通管理系统可以通过行人预警提醒交通管理者和附近的车辆。也就是说，如果监控系统或汽车摄像头可以捕获行人信息并及时告警，显然可以有效减少事故的发生。目前国内外存在的交通异常状态判别算法主要包括统计算法、平滑滤波算法、突变理论和人工智能事件检测算法等，其中统计算法、平滑滤波算法、突变理论算法的可移植性比较差，结果并不令人满意。人工智能算法在近年来得到极大的发展，特别是深度学习的研究热潮这两年席卷而来，然而目前深度学习方法应用在高速公路交通运行状态的划分还不够细致，并且由于高速公路对速度和准确率要求极高的特殊性，制约着智能交通系统的发展。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种高速公路出入口的行人预警方法及系统。

本发明采用如下技术方案：

一种高速公路出入口的行人预警方法，包括：

收集行人数据集并制作样本标签文件作为训练样本；

用卷积神经网络方法从训练样本中提取行人的特征；

根据提取的行人特征迭代训练区域建议网络和目标检测网络，得到行人检测网络模型；

实时拍摄公路路况视频并送入训练好的行人检测网络模型，一旦检测到较高的行人目标概率和目标边框，则立即报警并提示行人位置信息。

所述样本标签文件为彩色图像，每张图像至少包含一个行人，样本标签文件为1000张。

所述卷积神经网络方法，包括一个神经元接收其它n个神经元的输入信息，通过带权值的连接传递信息，输入之和再与临界值进行比较，最后用激活函数处理输出的单个神经元工作模式；

采用的一个输入层、一个输出层、多个隐含层的神经网络架构；

相邻层之间的神经元采用部分连接而不是全连接，进行局部区域感知和权值共享。

所述激活函数，采用的是ReLu，公式如下：

max(0,x)是目前最符合生物神经激活的函数模型，当输入x小于0处于抑制态，当x大于0呈线性激活态，带有单侧抑制效果和稀疏性质。

所述局部区域感知和权值共享，包括：

采用一定大小的局部感知野的局部连接网络，减少权值参数个数；

在图像的部分不同区域采用同一个卷积核，共享权值参数。

根据提取的行人特征迭代训练区域建议网络和目标检测网络，具体为：

区域建议网络RPN将一个任意大小的图像作为输入，然后用CNN产生可能为目标的建议区域，再输出带有目标得分的行人候选框；

使用3×3大小的卷积核在行人特征图上滑动，得到每个映射位置上三种尺度、三种长宽比的建议区域的行人目标概率和回归边框位置；

目标检测网络包括卷积层、池化层、全连接层，用于候选框的判断分类和精细修正；

两个区域建议网络和目标检测网络通过四步算法来交替优化共享学习特征。

所述四步优化算法，具体为：

第一步：通过反向传播和随机梯度下降算法训练区域建议网络，该网络用ImageNet预训练的模型初始化，并微调用于生成可能为目标的建议区域；

第二步：利用第一步生成的建议区域，由目标检测网络训练一个单独的检测网络用于目标分类和边框回归，这个检测网络同样是由ImageNet预训练的模型初始化；

第三步：利用第二步得到的检测网络再次初始化训练区域建议网络，但固定前面共享的卷积层，并且只微调区域建议网络后面独有的层；

第四步：保持共享的卷积层固定，微调目标检测网络的全连接层，即分类层和回归层，此时两个网络共享相同的卷积层。

三种区域面积尺度分别为128²,256²,512²；三种行人候选框的长宽比分别为1:2、1:1、2:1。

得到行人目标框的具体过程为：

采用非极大值抑制算法，基于多个候选区域确定多个矩形区域；

将所述多个矩形区域对应的特征进行综合，得到所述至少一个区域，并计算得到区域对应的向量特征；

基于所述向量特征，判断区域中的物体是否为行人，判断为真则通过边框回归算法精细修正目标框得到行人目标边框。

一种高速公路出入口行人预警系统，包括：

信息传输模块、信息响应模块及信息处理模块，所述信息传输模块与信息响应模块的输入端相互连接，所述信息传输模块与信息处理模块相互连接，信息处理模块与信息响应模块通过传输模块间接相连，三大模块构成整个行人预警系统；

所述信息传输模块，一方面，用于实时传送高速路况监控信息到信息处理模块，并结合其监控范围标记地理位置；另一方面，用于返回处理结果到信息响应模块，进行预警提示；

所述信息处理模块，用于将获取的信息输入训练得到的检测模型，得到行人目标概率和边框位置，并通过信息传输模块输出到信息响应模块进行预警。

本发明的有益效果：

本发明提供了一种高速公路出入口的行人预警系统，目的是进行实时行人检测的同时确定行人的数量及地理位置，在远距离情况下，检测速度快，准确率高，这样不仅提高了高速公路突发事件处理的效率，并且能够避免引入额外的误差，保证了处理的精度。

附图说明

图1为本发明高速公路出入口的行人预警系统的总流程图；

图2为本发明的行人预警系统的各模块间的信息输入输出流程图；

图3为本发明的行人预警所用方法的一个示意性流程图；

图4为本发明训练模型所用的卷积神经网络结构图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种高速公路出入口的行人预警方法，包括如下步骤：

S1收集行人数据集并制作样本标签文件作为训练样本，行人样本数据集可以通过互联网下载标准数据库获得，也可以通过摄像机自行采集，

对数据样本的要求包括：

一张样本图片中至少包含一位行人；样本具有一定丰富性，包含多种场景、光线强度和行人姿势；行人目标的大小需适中，占全图的比例不超过1/2。

标签文件中的目标框的大小及位置通过实际样本调整，制作标签的要求包括：

对于样本中比例小于1/8和大于1/2的行人目标，舍弃不做标注；对于符合大小比例要求的行人目标，进行标注时每个目标框尽可能地把行人目标各部位包含进去，但是整个目标框的大小不超过原图的1/2。

S2用卷积神经网络方法从训练样本中提取行人的特征；

将样本图像输入到多层的卷积神经网络(Convolutional Neural Network，CNN)当中，提取原始图像的特征。

卷积神经网络(Convolutional Neural Network，CNN)的网络结构类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，由若干卷积单元组成。每个卷积单元可以响应部分连接的周围单元。

卷积神经网络(Convolutional Neural Network，CNN)的优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统检测识别算法中复杂的特征提取和数据重建过程。

卷积神经网络(Convolutional Neural Network，CNN)的一般结构是：

输入图像通过和可训练的卷积核或者称为滤波器和可加偏置进行卷积，卷积后在第一层卷积层产生对应的特征映射图；

然后特征映射图中每组的若干个像素再进行求和，加权值和偏置；

再通过一个激活函数得到对应的第一层池化层的特征映射图；

之后，这些映射图再进过滤波得到第二个卷积层；

这个层级结构再和第一层池化层一样产生第二层池化层；

最终，这些像素值连接成一个向量输入到传统的神经网络中，得到最终的输出。

卷积运算的目的是提取输入的不同特征，一种卷积核提取图像的一种特征，所以一般需要多个卷积核来提取不同的多层特征，每一层又包含多张卷积特征图。同一张特征图上的神经元共用一个卷积核便于减少网络参数的个数。

卷积神经网络(Convolutional Neural Network，CNN)中用来减少网络参数个数的方法主要有两种，包括：

其一，是局部感知野。通过使用局部感受野为10x10的局部连接网络代替原来的全连接网络，使卷积神经网络(Convolutional Neural Network，CNN)中隐含层每个感受野只需要和这10x10的局部图像相连接，从数量级上减少参数数目。

其二，是权值共享。在局部感知野的基础上，每一个神经元存在100个连接权值参数。每个神经元再用同一个卷积核去卷积图像，得到的就只有100个参数，这100个参数是共享的。n种卷积核就有n个特征图，这n个特征图就组成了一层神经元，最终的总参数为100n

S3根据提取的行人特征迭代训练区域建议网络和目标检测网络，得到行人检测网络模型；

根据提取的行人特征迭代训练区域建议网络和目标检测网络，得到行人检测网络模型；

训练的目的是得到一个包含各层参数的模型，可以准确的完成窗口分类和窗口回归两个任务。

具体的说，区域建议网络(Region Proposal Network，RPN)的作用是提取目标候选区域，区域建议网络(Region Proposal Network，RPN)也是由卷积神经网络(Convolutional Neural Network，CNN)构成，可以大大减少区域建议的生成时间。区域建议网络(Region Proposal Network，RPN)的卷积层在所述窗口分类和窗口回归两个任务之间共享。

具体的，区域建议网络(Region Proposal Network，RPN)提取区域建议的基本思想是：

将一个任意大小的图像作为输入，然后使用卷积神经网络(ConvolutionalNeural Network，CNN)直接产生区域建议，再输出矩形建议框的集合，每个框有一个目标得分。

网络全连接到输入卷积特征映射的n×n的空间窗口上，每个滑动窗口映射到一个低维向量上，本实施例采用的是256维的ZF模型。

ReLU(Rectified Linear Units)应用于n×n卷积层的输出，在CNN上额外增加了2个全连接层，即cls分类层和reg回归层。

其中，reg层是预测区域的建议框对应的4个平移缩放参数(x,y,w,h)，cls层是计算每个建议框是目标/非目标的估计概率。

具体地，cls分类层输出的是k+1维的数组p，表示属于k类和背景的概率。本发明中只有行人和背景两种类型，所以输出的是2维数组。对每个感兴趣区域(Region ofInteresting，RoI)输出一个离散型概率分布。

p＝(p₀,p₁,p₂,...p_k)

其中，p是由k+1类的全连接层用Softmax函数计算得到的：

其中，K表示总类别数，z表示给定的输入。

Softmax函数本质就是将一个K维的任意实数向量映射为另一个K维的实数向量，且向量中的每个元素取值都在(0，1)之间，常常用在神经网络的最后一层，作为输出层，来解决多分类问题。

具体地，reg层也就是目标框预测回归层，用来调整候选区的位置，也就是bounding box回归的位移。输出的是一个4×K维的数组：

其中，k表示类别的索引，前两个是指相对于目标区域尺度不变的平移，后两个是指对数空间中相对于目标区域的高与宽，表示分别属于k类时，应该平移缩放的参数。

整个网络采用的是多任务损失函数(Multi-Task Loss Function),表示为cls和reg损失函数的加权和，目的是最小化分类(Object Classifier)和位置回归(BoundingBox Regressor)的两种误差代价。总损失函数表达式为：

其中，i是索引，P_i是判断第i个anchor为行人的概率值大小。若是前景anchor，p_i ^*＝1，如果不是前景anchor，p_i ^*＝0。t_i是边框的四个参数坐标，ti^*是目标anchor相应真实值的边坐标向量。Ncls和Nreg是为了归一化设置的参数，Ncls＝256为分类最小batch的大小，Nreg≈2400为anchors数量，λ＝10为平衡权值。

具体地，L_cls(p,u)＝-logp_u

L_cls是评估分类的损失函数，是由真实的分类u的概率决定。

具体地，

L_reg是评估边框位置的损失函数，是由预估的缩放参数t^u和真实的缩放参数v^u的差值确定：

其中，

其中，

其中，

与平方损失函数相比，smoothL1损失函数对突发情况即异常值不敏感，可以控制梯度量级，降低梯度的不稳定性。

区域建议网络和目标检测网络共享卷积层，是通过反向传播算法(BackPropagation algorithm，BP)和随机梯度下降(Stochastic Gradient Descentalgorithm，SGD)进行训练。具体措施是：

以图像为中心来训练网络，随机采样256个anchors，计算mini-batch的损失函数，其中采样的正负anchors的比例是1:1。如果一个图像中的正样本数小于128，我们就用负样本填补这个mini-batch。

通过从均值为0、标准差为0.01的高斯分布中获取的权重来随机初始化最后一个卷积层后面所有的层，所有共享的卷积层通过对ImageNet分类预训练的模型来初始化。

初始的学习率设置为0.001，动量设置为0.9，权重衰减设置为0.0005。

具体地，反向传播算法(Back Propagation algorithm，BP)是通过误差的传播来求取梯度，利用了链式求导法则。主要思想是：

首先，将训练集数据输入到神经网络的输入层，经过隐含层，最后达到输出层并输出结果，这是神经网络的前向传播过程；

其次，由于神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐含层反向传播，直至传播到输入层；

然后，在反向传播的过程中，根据误差调整各种参数的取值；

最后，不断迭代上述过程，直至收敛。

其中，神经网络在反向传播过程中使用到的变量包括：神经元的权重(weights)、神经元的偏置(bias)、神经元的输入及输出、激活函数(Activate Function)、代价函数(Cost Function)等。

具体地，随机梯度下降(Stochastic Gradient Descent algorithm，SGD)是梯度下降算法的一种迭代求解思路，而梯度下降法(gradient descent)是求解无约束最优化问题的一种常用方法，也是一种迭代算法，每一步需要求解目标函数的梯度向量。

随机第一下降采用的是随机近似，用近似方法来改善梯度下降的时间复杂度问题，通过每个样本来迭代更新一次，在样本量很大的情况下，可能只用七种一部分样本就能得到参数迭代到最优解了。

需要注意的是：标准下降时在权值更新前汇总所有样本得到的标准梯度，随机下降则是通过考察每次训练实例来更新。并且对于步长的取值，随机梯度下降的要比标准梯度下降的小。

使用反向传播算法(Back Propagation algorithm，BP)和随机梯度下降(Stochastic Gradient Descent algorithm，SGD)进行网络参数训练时，反向传播回来的误差可以看做每个神经元的基b的灵敏度，也就是误差对基的变化率，即为导数，定义如下：

其中，E表示误差，u为该节点的全部输入。上述第二个等号是根据求导的链式法则得到的，因为也就是说基的灵敏度和误差E对一个节点全部输入u的导数是相等的。

具体地，对每个神经元运用δ规则进行权值更新的做法是：

对一个给定的神经元，得到它的输入；

然后用这个神经元的δ来进行缩放。用向量的形式表述就是，对于第I层，误差对于该层每一个权值的导数是该层的输入与该层的灵敏度的叉乘；

得到的偏导数乘以一个负学习率即为该层的神经元的权值的更新。

其中，每层的每一个权值组合为矩阵，该层每个神经元的灵敏度δ组合为一个向量的形式。

根据以上所述，要想求得I层的每个神经元对应的权值的权值更新，就需要先求I层的每一个神经节点的灵敏度δ。

具体地，为了求这个灵敏度需要先对下一层的节点求和，也就是对连接到当前层I的感兴趣节点的第I+1层的节点的灵敏度求和得到δ^I+1；

然后乘以这些连接对应的权值W，也就是连接第I层感兴趣节点和第I+1层节点的权值；

再乘以当前层I的该神经元节点的输入u的激活函数f的导数值δ^I。

在上述基础上，由于每个卷积层后面接着一个下采样层，采样层的一个神经元节点对应的灵敏度δ对应于卷积层的输出特征图的一块像素，该块像素大小与采样窗口大小相等。因此，层I中的一个特征图的每个节点只与I+1层中相应特征图的一个节点连接。

具体地，为了有效计算层I的灵敏度，我们采用的做法是：

上采样这个下采样层对应的灵敏度map，使得这个灵敏度map大小与卷积层的图大小一致；

然后再将层I的map的激活值的偏导数与从第I+1层的上采样得到的灵敏度map逐元素相乘；

在下采样层map的权值都取一个相同值β，而且是一个常数。所以只需要将上一个步骤得到的结果乘以一个β就可以完成第I层灵敏度δ的计算。

其中，特征图中每个像素对应一个灵敏度，所以也组成一个map。

具体地，下采样操作(Down sampling)一般用down(.)表示。主要目的是使图像符合显示区域的大小和生成对应图像的缩略图。

对于一幅图像I尺寸为M×N，对其进行s倍下采样，即得到(M/s)×(N/s)尺寸的得分辨率图像，s是M和N的公约数，如果考虑的是矩阵形式的图像，就是把原始图像s×s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的值。

具体地，上采样(Up sampling)操作一般用up(.)表示。主要目的是放大原图像,从而可以在更高分辨率的显示设备上显示。

示例性地，如果采样因子是n的话，它简单的将每个像素水平和垂直方向上拷贝n次，这样就可以恢复原来的大小了。

此外，上采样更常用的方法是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。

共享卷积层在算法层面的实现步骤包括：

首先通过反向传播算法和随机梯度下降算法端到端训练区域建议网络，该网络用ImageNet预训练的模型初始化，并微调用于生成区域建议；

然后利用第一步生成的建议框，由目标检测网络训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化，这时候两个网络还没有共享卷积层；

再用检测网络初始化区域建议网络训练，但固定共享的卷积层，并且只微调区域建议网络独有的层，此时两个网络共享卷积层；

最后保持共享的卷积层固定，微调目标检测网络的全连接层。此时两个网络共享相同的卷积层。

S4利用监控摄像头实时拍摄公路路况视频并送入训练好的检测模型，示例性地，此步骤使用的是本系统的实时信息通信功能，检测到行人目标概率和目标边框，则立即报警并提示行人位置信息。

如图2所示，为本发明的行人预警系统的各模块间的信息输入输出流程图，实现系统的信息通信功能，信息的输入输出包含三个模块，两个过程：

具体地，三个模块是指信息处理模块、信息传输模块、信息响应模块；

两个过程是指采集的原始信息传输到信息处理模块过程、处理后的信息传输到信息响应模块过程。

以上所述三个模块和两个过程构成了本发明的信息通信系统。目的在于完成图像捕捉设备、显示设备和系统程序的无缝对接，以实现在远距离、目标非配合状态下快速检测行人的功能。

一旦监测区域出现行人立即报警并提示其位置相关信息，示例性地，基于以上所述的检测模型，确定监控视频帧中行人的位置。

其中，所述位置表示为所述行人在所述视频帧中的坐标。

在实际场景中，原始图像中可能会包含多个行人，通过本实施例，能够在原始图像中提取多个行人特征信息，并对提取到的多个行人特征信息进行处理，即得到多个紧密包围目标的矩形框。

矩形框的显式功能：一方面体现在行人位置的确定；另一方面体现在行人数量的统计。

如图3所示，为本发明的行人预警的一个示意性流程图。包含了以上所述行人预警方法的判别评价标准和处理步骤流程。

具体地，score得分超出阈值0.7，该区域被认定为行人目标；

score得分低于阈值0.3的被认定为背景；

score得分处于阈值0.3至0.7之间的区域舍弃，歧义性太大，不用于训练。

如图4所示，为本发明训练模型所用的卷积神经网络结构图。包含了卷积层数的设置和每一层的参数设置。

具体地，输入原始图像首先经过预处理、归一化得到三通道的224×224大小的图片，然后输入到卷积神经网络中进行训练；

本发明的卷积神经网络共有五层卷积层，其中第一层卷积层(conv1)、第二层卷积层(conv2)以及第五层卷积层(conv5)都是“Conv+ReLu+Pooling”的形式；

在最后一个卷积层即第五层卷积层(conv5)后面增加了两个全连接层(Fc)，得到特征向量后进行分类和回归。

更具体地，第一层卷积层(conv1)采用的是7×7的卷积核，第二层卷积层(conv2)采用的是5×5的卷积核，其他卷积层采用的均为3×3的卷积核；

在第一层卷积层(conv1)和第二层卷积层(conv2)采用的均为最大池化(Max-Pooling),在第五层卷积层(conv5)采用的均为感兴趣区域池化(ROI-Pooling)；

通过以上所述五层卷积层得到的是一个256维(ZF模型)的6×6大小的特征图。

然后通过两个全连接层，特征映射为4096个一维向量，送入cls和reg层进行物体分类(Object Classification)和边框回归(bbox-Regression)，最终特征映射的向量维数由所要检测的类别数决定。

本发明只需要检测出行人，因此特征向量为一维向量。

卷积层的本质是一种全连接的简化形式：局部连接和权值共享，在大量减少参数数目的同时保留了空间位置信息，并且使训练过程可控。

全连接层(Fc layer)的本质是矩阵向量的乘法，作特征空间的变换，也就是将原始图像数据映射到隐层特征空间，目标向量是源向量的加权和。

全连接层(Fc layer)可以将有用的信息提取整合，把高维变到低维，做隐含语义的显式表达，多层全连接层理论上可以模拟任何非线性变换。

ReLu(Rectified Linear Units)激活函数是一个具有单侧抑制性、稀疏激活性以及相对宽阔的兴奋边界的激活函数。

具体地，ReLu校正激活函数表示为max(0,x)；

表达的含义是：当输入x小于0处于抑制状态，当输入x大于0处于线性激活状态。因此，具有明显的单侧抑制性和相对宽阔的兴奋边界。

稀疏激活性体现在解开特征间缠绕的复杂关系，转换为稀疏特征，使特征具有了鲁棒性，去除无关的噪声。

稀疏特征有更大的线性可分可能性，也就是对非线性映射机制有更小的依赖性。

使用线性神经激活函数的一个重要原因是：减轻梯度下降法训练深度网络时的梯度下降问题。

具体地，所述梯度下降问题，产生原因如下：

根据以上所述的反向传播算法(Back Propagation algorithm，BP)和梯度下降(Gradient Descent algorithm，GD)，误差从输出层反向传播计算梯度时，在各层都要乘当前层的输入神经元值，激活函数的一阶导数，若采用原始的Sigmoid系函数会出现梯度消失问题：

具体地，Sigmoid系函数是一个“S”型的函数，具有双端饱和性，即值域被限制在一定范围内。因此，经过每一层时，误差都是成倍的衰减，一旦进行递推式的多层的反向传播，梯度就会不停的衰减，消失，使得网络学习变慢，也就是梯度消失问题。

而采用ReLu校正激活函数，梯度是1，且只有一端饱和，梯度很好的在反向传播中流动，训练速度得到了很大的提高。

图3和图4是系统中实现行人检测的方法，图2是系统的信息传输过程，图1是整合图2、图3和图4的功能并添加了适应于高速公路这一应用场景的实际情况的系统流程图。

另外，本发明实施例的重点不仅在于提供一种快速的行人预警方法，而且还提供了一整套预警系统，包括端对端的信息服务及处理。

本发明实施例提供的预警系统在装置设备上体现在：可以包括处理器、存储器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图3、图4所示方法的步骤。

本实施例的高速公路出入口的行人预警系统，使用了卷积神经网络提取特征并进行分类和回归，并提供了端对端的信息通信功能，提高了高速公路突发事件的处理能力，并且能够避免引入额外的误差，保证处理的精度，对于健全高速公路监控和管理系统、减少人力资源浪费、准确的把握和控制交通运行状态等问题具有重要意义。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种高速公路出入口的行人预警方法，其特征在于，包括：

收集行人数据集并制作样本标签文件作为训练样本；

用卷积神经网络方法从训练样本中提取行人的特征；

根据提取的行人特征迭代训练区域建议网络和目标检测网络，一旦检测到较高的行人检测网络模型；

实时拍摄公路路况视频并送入训练好的行人检测网络模型，得到行人目标概率和目标边框，则立即报警并提示行人位置信息。

2.根据权利要求1所述的行人预警方法，其特征在于，所述样本标签文件为彩色图像，每张图像至少包含一个行人，样本标签文件为1000张。

3.根据权利要求1所述的行人预警方法，其特征在于，所述卷积神经网络方法，包括一个神经元接收其它n个神经元的输入信息，通过带权值的连接传递信息，输入之和再与临界值进行比较，最后用激活函数处理输出的单个神经元工作模式；

采用的一个输入层、一个输出层、多个隐含层的神经网络架构；

相邻层之间的神经元采用部分连接而不是全连接，进行局部区域感知和权值共享。

4.根据权利要求3所述的行人预警方法，其特征在于，所述激活函数，采用的是ReLu，公式如下：

max(0,x)是目前最符合生物神经激活的函数模型，当输入x小于0处于抑制态，当x大于0呈线性激活态，带有单侧抑制效果和稀疏性质。

5.根据权利要求3所述的行人预警方法，其特征在于，所述局部区域感知和权值共享，包括：

采用一定大小的局部感知野的局部连接网络，减少权值参数个数；

在图像的部分不同区域采用同一个卷积核，共享权值参数。

6.根据权利要求1所述的行人预警方法，其特征在于，根据提取的行人特征迭代训练区域建议网络和目标检测网络，具体为：

区域建议网络RPN将一个任意大小的图像作为输入，然后用CNN产生可能为目标的建议区域，再输出带有目标得分的行人候选框；

使用3×3大小的卷积核在行人特征图上滑动，得到每个映射位置上三种尺度、三种长宽比的建议区域的行人目标概率和回归边框位置；

目标检测网络包括卷积层、池化层、全连接层，用于候选框的判断分类和精细修正；

两个区域建议网络和目标检测网络通过四步算法来交替优化共享学习特征。

7.根据权利要求6所述的行人预警方法，其特征在于，所述四步优化算法，具体为：

第一步：通过反向传播和随机梯度下降算法训练区域建议网络，该网络用ImageNet预训练的模型初始化，并微调用于生成可能为目标的建议区域；

第二步：利用第一步生成的建议区域，由目标检测网络训练一个单独的检测网络用于目标分类和边框回归，这个检测网络同样是由ImageNet预训练的模型初始化；

第三步：利用第二步得到的检测网络再次初始化训练区域建议网络，但固定前面共享的卷积层，并且只微调区域建议网络后面独有的层；

第四步：保持共享的卷积层固定，微调目标检测网络的全连接层，即分类层和回归层，此时两个网络共享相同的卷积层。

8.根据权利要求6所述的行人预警方法，其特征在于，三种区域面积尺度分别为128²,256²,512²；三种行人候选框的长宽比分别为1:2、1:1、2:1。

9.根据权利要求1所述的行人预警方法，其特征在于，得到行人目标框的具体过程为：

采用非极大值抑制算法，基于多个候选区域确定多个矩形区域；

将所述多个矩形区域对应的特征进行综合，得到所述至少一个区域，并计算得到区域对应的向量特征；

基于所述向量特征，判断区域中的物体是否为行人，判断为真则通过边框回归算法精细修正目标框得到行人目标边框。

10.一种实现权利要求1-9任一项所述的行人预警方法的系统，其特征在于，包括：

信息传输模块、信息响应模块及信息处理模块，所述信息传输模块与信息响应模块的输入端相互连接，所述信息传输模块与信息处理模块相互连接，信息处理模块与信息响应模块通过传输模块间接相连，三大模块构成整个行人预警系统；

所述信息传输模块，一方面，用于实时传送高速路况监控信息到信息处理模块，并结合其监控范围标记地理位置；另一方面，用于返回处理结果到信息响应模块，进行预警提示；

所述信息处理模块，用于将获取的信息输入训练得到的检测模型，得到行人目标概率和边框位置，并通过信息传输模块输出到信息响应模块进行预警。