CN109684933A - 一种前方行人窜出马路的预警方法 - Google Patents

Abstract

本发明公开了一种前方行人窜出马路的预警方法，包括步骤：S1、从数据库中寻找已经窜出马路的行人数据，根据该行人的行人轨迹倒推前若干帧准备窜出来的危险图像；根据人的行为模式对上述危险图像进行行为模式分类，由分类结果建立危险图像数据库；S2、对每一类行为模式下行人窜出来的可能性进行统计学概率分析；S3、采用深度学习卷积神经网络对危险图像数据库中的数据进行训练，得到训练模型；S4、利用数据库中的验证样本数据对训练模型中的参数进行调整，得到优化模型；S5、实际应用中，通过优化模型输出的检测概率和统计学概率判断是否对外报警。本发明基于深度卷积神经网络算法和人的行为模式，具有识别准确率高、实时性强的优点。

Description

一种前方行人窜出马路的预警方法

技术领域

本发明涉及统计概率学和行车录像视频监控预警领域，特别涉及一种基于深度学习和人的行为模式的前方行人窜出马路的预警方法。

背景技术

Dariu M.Gavrila等人统计制作了交通事故的数量模型，他们发现行人是交通事故的第二大来源。在行人的道路危险行为模式当中，行人窜出马路最容易发生事故。从上世纪90年代后期开始，科学家们就开始了行人方面的研究，从小波模板行人检测技术到激光雷达等传感器硬件构架等行人辅助检测，再到传统的机器视觉行人检测算法，但是到目前为止，他们大都还只是在做行人“检测”方面的工作。因为行人“预测”是一件比较困难的事情，所以说现在做行人预测方面的还是比较少的，而行人检测却是行人预测必不可少的前提。

经典的基于梯度的HOG和支持向量机(SVM)结合的目标检测算法来检测前景物体，可用拒绝型分类器的级联结构来检测行人。其方法是基于简单规则的分类技术，将行人从明显的道路侧结构物和级联的后一部分分离出来，以达到在杂乱场景中能进行比较乐观的行人检测的目的，但是其存在着实时性不高和准确率不高的不足。

为了解决目标检测中的特征表示的瓶颈问题，有希望的解决方案是利用多通道特征(channel features)，并且该方案已经在行人检测方面取得了令人瞩目的成果。聚集通道特征方法(Aggregated Channel Features(ACF))是通道特征方法的一种变体，其在目标检测任务中具有较好效果。

尽管如此，行人检测仍然是计算机视觉中最具挑战性的问题之一，这是由于：

1、行人的共性特征难以把握。比如说按性别分：有男有女，特征也就不一样。再比如说按年龄段分：有身材矮小的儿童，正在长高的青少年，稳定身材后的壮年和机能慢慢下降的老年。年龄段不一样，特征也就不一样。

2、实时性不强。例如：前方道路旁边的行人冲出马路后才检测出来或者因为延时而没能检测出来等等。

3、准确度不高。比如说部分遮挡的行人窜马路的情况：因为机器没有完整识别出固定的特征值，一个带伞的行人窜出马路时机器没有检测到。

总体上目标对象检测的现有方法，特别是行人检测遵循滑动窗口框架，其通病在于计算复杂，尤其当目标大小变化大的时候，其计算复杂度以集合倍数增长。另一方面，所利用的特征比如说传统的滤波器等都是人工设计的，其与用于检测器训练的分类算法分离。从系统设计的角度来看，这显然是次优的。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种前方行人窜出马路的预警方法，该方法基于深度卷积神经网络算法和人的行为模式，具有识别准确率高、实时性强的优点。

本发明的目的通过以下的技术方案实现：一种前方行人窜出马路的预警方法，包括步骤：

S1、从数据库中寻找已经窜出马路的行人数据，根据该行人的行人轨迹倒推前若干帧准备窜出来的危险图像；根据人的行为模式对上述危险图像进行行为模式分类，由分类结果建立危险图像数据库；

S2、在数据库中，对每一类行为模式下行人窜出来的可能性进行统计学概率分析；

S3、采用深度学习卷积神经网络对危险图像数据库中的数据进行训练，得到训练模型；

S4、将步骤S3中训练模型与步骤S2中统计学概率分析结果进行结合，利用数据库中的验证样本数据对训练模型中的参数进行调整，得到优化模型；

S5、实际应用中，实时采集当前路上行人数据，通过优化模型得到行人窜出来的趋势类危险图片的检测概率，在数据库中调取当前类行为模式下行人窜出来的统计学概率，计算二者的乘积，若乘积超过预警值，则对外报警。

优选的，所述步骤S1中，图像选自BDD-100K数据库。BDD-100K数据库具有一定的随机性，可提高后续的准确性和适用性。

优选的，所述人的行为模式包括低头玩手机窜马路的一类、正常直接冲出去身体呈斜三角形的为一类、抬头看天窜出来的一类、窜出来后退的一类等。

优选的，所述每一类行为模式下行人窜出来的可能性概率计算方法如下：在数据库中统计某类行为模式的总基数，然后统计该行为模式下行人成功窜出马路的占比，该占比即为概率值。

优选的，所述步骤S3中，对危险图像数据库中的图像进行镜像、翻转、截图、拉伸等操作来增加特定的数据集。通过扩充训练的样本数量，可以防止图像样本过少导致的过拟合问题。

优选的，所述步骤S3中，在利用危险图像数据库中的图像进行训练前，先对图像进行图像标注的预处理，步骤是：

收集图像上同车道或相近车道的前方窜马路的行人坐标信息(x,y,w,h)以及行人关键点信息(x_k，y_k),k＝1,…，K，K表示关键点个数，其中(x，y)代表同车道或相近车道的前方窜马路的行人在图像上的中心坐标，(w，h)代表同车道或相近车道的前方窜马路的行人在图像上的宽度和高度，假设同车道或相近车道的前方窜马路的行人在图像上用一个边框(boundingbox)进行标注，定义边框的左下角和右上角坐标分别为(xx1,yy1)(xx2,yy2)，其中有：

归一化的中心点x坐标计算公式：((xx2+xx1)/2)/w；

归一化的中心点y坐标计算公式：((yy2+yy1)/2)/h；

归一化的目标框宽度的计算公式：(xx2-xx1)/w；

归一化的目标框高度的计算公式：(yy2-yy1)/h；

将上述归一化后的数据作为深度学习卷积神经网络的输入。

优选的，在步骤S3采用深度学习卷积神经网络对危险图像数据库中的数据进行训练过程中，将危险图像数据库中的图像划分为训练集、测试集和验证集，训练集用来建立预训练模型，测试集用来测试所述预训练模型同车道或相近车道的前方行人窜马路图像识别的泛化能力，验证集用来控制所述预训练模型的参数。

更进一步的，根据训练集建立预训练模型的步骤是：

根据预处理结果重构同车道或相近车道的前方行人窜马路的检测数据库，构建ImageNet及YOLO v3检测框架的联合数据库以对训练集进行分类学习进而创建预训练的模型；所述ImageNet创建预训练模型中的同车道或相近车道的前方窜马路行人检测模型，并通过YOLO v3检测框架创建预训练模型中的同车道或相近车道的前方窜马路行人对齐模型，并通过损失函数对对齐模型中的参数进行调节以提高所述同车道或相近车道的前方窜马路行人检测模型的鲁棒性，参数调节后的对齐模型即为预训练模型。

更进一步的，在根据训练集建立预训练模型过程中，通过损失函数曲线的情况对对齐模型中的参数进行调节，步骤是：

设定logistic回归损失函数为：

其中，单个样本而言，令y为样本的期望输出，为样本的实际输出；

基于深度学习框架的YOLO v3算法将整个图像划分为s*s个网格，每个网格回归n个图像边框，每个图像边框都包含5个预测值：x,y,w,h和置信度(confidence)。x,y是图像边框的中心坐标，将其与网格单元对齐，使得范围变成0到1；w和h进行归一化。其中每个图像边框对应置信度回归、位置回归、关键点回归，通过调节置信度、位置以及关键点损失的权重，使得模型收敛。从而提高模型的鲁棒性。

这里的关键点可以选择：

A、头部有三个关键点(鼻子、嘴、耳朵)

B、手部有两个关键点(手指、手背)

C、脚部有两个关键点(脚尖、脚掌)

因此总共回归s*s*(B*5+C)。其中s*s为切割图像的网格数。B为网格内检测边界框数。C指的是检测的危险行人窜出马路的类别数量。

更进一步的，在得到预训练模型后，对其进行效果验证，步骤是：对于同车道或相近车道的前方窜马路行人检测模型，使用mAP(mean average precision)进行衡量；对于同车道或相近车道的前方窜马路行人对齐模型，使用欧拉损失进行衡量。

具体的，所述mAP表示训练的整个数据库的平均准确率，是衡量同车道或相近车道的前方窜马路行人检测中同车道或相近车道的前方窜马路行人位置准确度的一个指标，通过IOU(Intersection Over Union，交并比)表示单张数据库图片准确率，

式中，BB_gt为基于训练标签的参考标准框(Ground Truth Box)；BB_dt为机器检测边界框；area()表示面积。最理想情况是完全重叠，即IoU比值为1。

具体的，对于同车道或相近车道的前方窜马路行人对齐模型，使用欧拉损失进行衡量，即是衡量同车道或相近车道的前方窜马路行人模型关键点的坐标信息(x_k，y_k)的准确率；这样通过验证集的衡量，可以相应地调整预训练模型的相关参数，提高同车道或相近车道的前方窜马路行人检测模型和同车道或相近车道的前方窜马路行人对齐模型的检测准确率和对齐准确率。

优选的，所述步骤S4中，利用数据库中的验证样本数据对训练模型中的参数进行调整，调整内容包括：增大批量输入(batch)以减少训练不收敛(nan)的出现，修改学习率(learning_rate),修改最大迭代次数(max_batches)来使损失(Loss)函数减小，同时要防止过拟合现象的发生，修改最后一层卷积层核参数(filters)个数、修改权重衰减(weightdecay)、改动学习率(learningrate)等。以达到更好的匹配效果，如同车道或相近车道的前方窜马路行人检测的准确率。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明对人的行为模式进行分类，对每一类行为模式下行人窜出来的可能性进行统计学概率分析，同时根据分类后的危险图片采用深度学习卷积神经网络进行训练，二者结合得到优化模型，通过该优化模型可对行车过程中前方行人是否要窜出马路进行准确的识别，进而实现预警。

2、本发明在进行模型训练前，对采集的危险样本数据进行扩容，防止图像样本过少导致的过拟合问题。同时对图像进行标注的预处理，预处理的作用是将图像转成机器能够识别的坐标语言，防止过拟合，提高泛化能力。

3、本发明中训练得到前方窜马路行人检测模型和前方窜马路行人对齐模型，分别使用mAP、欧拉损失进行衡量，可以随时根据训练的实时损失曲线进行参数的调整，从而实现更高精度的实时预警。

附图说明

图1是本实施例行人窜马路的前一帧急速危险图像示例图。

图2是本实施例方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图2所示，本实施例一种前方行人窜出马路的预警方法，基于深度学习和人的行为模式，其中深度学习具体是基于卷积神经网络(Convolutional Neural Networks，CNN)，目前卷积神经网络已经在图像识别和其他相关任务中被广泛地研究，通常具有最先进的性能。适当设计的卷积神经网络模型可以学习图像的不变特征，并且基于深度卷积神经网络的对象检测通常时针对特征表示和分类两者联合优化的端对端系统(end-to-end)，可以实现实时性高精度的物体检测。而随着统计概率学的不断发展，利用随机性原则按照特征事情发生之前的和之后的概率来推出基数大的特征事件发生的概率成为了一种科研方面的预测事件的新方向，本发明基于上述思想提出一种具体的针对前方行人窜出马路的预警方法。结合附图2对其步骤详述如下。

S1、建立危险图像数据库

因为BDD-100K数据库具有一定的随机性，故本实施例中从BDD-100K庞大的2018年4月的开源行车视频流数据库中，根据已经窜马路的行人轨迹倒推前两帧准备窜出来的危险图片，如图1所示。这里获取图像的设备可以是智能手机，可以是行车记录仪等有拍摄储存功能的仪器设备。

然后根据人的行为模式进行分类，比如说低头玩手机窜马路的一类、正常直接冲出去身体呈斜三角形的为一类、抬头看天窜出来的一类、窜出来后退的一类。由分类结果建立危险图像数据库。

根据窜出来可能性的统计学概率分析，以低头玩手机窜马路这一行为模式为例，通过BDD-100K数据库统计这种玩手机窜马路行为模式总基数，然后统计成功窜马路的占比，可以发现玩手机的行为模式中，由于过度投入手机的虚拟世界，往往导致窜行概率非常高的。根据这种方法可得到不同行为模式下前两帧危险图片行人窜出马路的概率。

S2、进行神经网络的训练

S2-1、样本扩充与划分

根据步骤S1创建同车道或相近车道的前方行人窜马路的数据集。在BDD-100K数据库上随机挑选具有光照变化、尺度变化和场景变化的同车道或相近车道的前方行人窜马路的危险图像(含不同行为模式的分类概率)，对挑选出来的图像进行镜像、翻转、截图、拉伸等操作来增加特定的数据集。

将这些同车道或相近车道的前方行人窜马路图像的70％划分为训练集、20％划分为测试集和剩下的10％划分为验证集；所述训练集用来建立预训练模型。所述测试集用来测试所述预训练模型同车道或相近车道的前方行人窜马路图像识别的泛化能力，所述验证集用来控制所述预训练模型的参数。

S2-2、图像数据的预处理

数据集中的图像数据都包括：a.图像；b.标签。对训练集、测试集和验证集中的图像进行标注，即收集图像上同车道或相近车道的前方窜马路的行人坐标信息(x,y,w,h)和同车道或相近车道的前方窜马路的行人关键点的坐标信息(x_k，y_k),k＝1,…，K，K表示关键点个数；其中(x，y)代表同车道或相近车道的前方窜马路的行人在图像上的中心坐标，(w，h)代表同车道或相近车道的前方窜马路的行人在图像上的宽度和高度，假设同车道或相近车道的前方窜马路的行人在图像上用一个边框进行标注，定义边框的左下角和右上角坐标分别为(xx1,yy1)(xx2,yy2)，其中有：

归一化的中心点x坐标计算公式：((xx2+xx1)/2)/w；

归一化的中心点y坐标计算公式：((yy2+yy1)/2)/h；

归一化的目标框宽度的计算公式：(xx2-xx1)/w；

归一化的目标框高度的计算公式：(yy2-yy1)/h；

通过上述归一化可以防止过拟合，提高泛化能力，以归一化后的数据作为后面深度学习卷积神经网络的输入。

在测试集和验证集中进行图像标注的预处理可以帮助衡量训练集在完成预训练后图像标注的正确率。

S2-3、根据归一化结果，重构同车道或相近车道的前方行人窜马路的检测数据库。

构建ImageNet及YOLO v3检测框架的联合数据库以对训练集进行分类学习进而创建预训练的模型，所述ImageNet创建预训练模型中的同车道或相近车道的前方窜马路行人检测的模型，并通过YOLO v3检测框架创建预训练模型中的同车道或相近车道的前方窜马路行人的对齐模型，并通过损失函数来提高所述同车道或相近车道的前方窜马路行人检测模型的鲁棒性。

本发明中YOLO v3属于CNN，由卷积层、池化层和全连接层组成。与CNN不同的是，YOLO v3的输出层不再是softmax函数，而是张量(Tensor)。将YOLOV3替换了V2中的Softmaxloss变成Logistic loss，而且每个GT只匹配一个先验框)。YOLO V3不使用Softmax对每个框进行分类，主要考虑因素有两个：Softmax使得每个框分配一个类别(score最大的一个)，而对于Open Images这种数据集，目标可能有重叠的类别标签，因此Softmax不适用于多标签分类；Softmax可被独立的多个logistic分类器替代，且准确率不会下降。分类损失采用binary cross-entropy loss。

本实施例中，损失函数采用logistic回归损失函数，该函数公式为：

基于Darknet深度学习框架的YOLO v3算法将整个图像划分为s*s个网格，每个网格回归n个bounding boxes(图像边框)，每个bounding box(图像边框)都包含5个预测值：x,y,w,h和置信度。x,y就是bounding box的中心坐标，与grid cell对齐(即相对于当前grid cell的偏移值)，使得范围变成0到1；w和h进行归一化(分别除以图像的w和h，这样最后的w和h就在0到1范围)。其中每个boundingbox(图像边框)对应置信度回归(对应损失函数中的confidenceloss)、位置回归(对应损失函数中的locationloss)、关键点回归(对应损失函数中的alignedloss)。

本实施例中YOLO v3算法对每个bounding box通过逻辑回归预测一个物体的得分，如果预测的这个bounding box与真实的边框值大部分重合且比其他所有预测的要好，那么这个值就为1。如果overlap没有达到一个阈值(YOLO v3中这里设定的阈值是0.5)，那么这个预测的bounding box将会被忽略，也就是会显示成没有损失值。

在进行回归运算时，损失函数值越小，说明实际输出和预期输出的差值就越小，也就说明构建的模型越好。如果期望输出y＝1，那么优化目标为minL(y,y_hat)＝min[-log(y_hat)]，显然此时y_hat越大，优化目标会得到最小值。用的是逐层初始化”(layer-wisepre-training)训练机制。

以图1所示行人窜马路的前一帧急速危险图像为例，该图像中选择以下关键点：

A、头部有三个关键点(鼻子、嘴、耳朵)

B、手部有两个关键点(手指、手背)

C、脚部有两个关键点(脚尖、脚掌)

因此总共回归s*s*(B*5+3)。其中s*s为切割图像的网格数。B为网格内检测边界框数，因此本损失函数包含了训练集的位置回归、置信度回归和关键点的回归，通过调节置信度、位置以及关键点损失的权重，使得模型收敛、提高模型的鲁棒性。

S3、对步骤S2训练得到的预训练模型进行验证。

使用所述验证集控制所述预训练模型的参数，对于同车道或相近车道的前方窜马路行人检测模型，使用mAP进行衡量，mAP是衡量同车道或相近车道的前方窜马路行人检测中同车道或相近车道的前方窜马路行人位置准确度的一个指标，表示训练的整个数据库的平均准确率，通过设定不同的交并比(IOU)值来计算出同车道或相近车道的前方窜马路行人检测的准确率和查全率，从而计算得到mAP，即是衡量同车道或相近车道的前方窜马路行人图像上的坐标信息(x，y，w，h)的准确率。

其中IoU的计算公式为：

式中，BB_gt为基于训练标签的参考标准框；BB_dt为机器检测边界框；area()表示面积。

对于同车道或相近车道的前方窜马路行人对齐模型，使用欧拉损失进行衡量。即是衡量同车道或相近车道的前方窜马路行人模型关键点的坐标信息(x_k，y_k)的准确率。欧拉损失的公式是：

欧拉损失(正则化L2)使得损失函数曲线(可以实时显示)在每一次迭代后都会减小。

这样通过验证集的衡量，可以相应地调整预训练模型的相关参数，比如说增大batch以减少nan的出现，修改learning_rate,修改最大迭代次数max_batches来使Loss函数减小，同时要防止过拟合现象的发生，修改最后一层卷积层核参数个数filters、修改weight decay、改动学习率learning rate等等，提高同车道或相近车道的前方窜马路行人检测模型和同车道或相近车道的前方窜马路行人对齐模型的检测准确率和对齐准确率。

S4、将训练好的权重模型文件利用USB数据线导入处理器中，连接上车前的摄像头和扬声器。

S5、在驾驶员行车时，车载摄像头实时地将车前方的视频数据流传送给处理器，由处理器之前导入的权重模型进行神经网络计算的输出，用处理器中的Opencv可视化可以实时识别同车道或相近车道的前方窜马路行人危险行为概率图，该图可从视频流中提取。当基于危险行为模式分类的统计学概率×检测到的行人窜出来的趋势类危险图片的检测概率大于等于百分之75后立刻调用扬声器进行实时的预警。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种前方行人窜出马路的预警方法，其特征在于，包括步骤：

S1、从数据库中寻找已经窜出马路的行人数据，根据该行人的行人轨迹倒推前若干帧准备窜出来的危险图像；根据人的行为模式对上述危险图像进行行为模式分类，由分类结果建立危险图像数据库；

S2、在数据库中，对每一类行为模式下行人窜出来的可能性进行统计学概率分析；

S3、采用深度学习卷积神经网络对危险图像数据库中的数据进行训练，得到训练模型；

S4、将步骤S3中训练模型与步骤S2中统计学概率分析结果进行结合，利用数据库中的验证样本数据对训练模型中的参数进行调整，得到优化模型；

S5、实际应用中，实时采集当前路上行人数据，通过优化模型得到行人窜出来的趋势类危险图片的检测概率，在数据库中调取当前类行为模式下行人窜出来的统计学概率，计算二者的乘积，若乘积超过预警值，则对外报警。

2.根据权利要求1所述的前方行人窜出马路的预警方法，其特征在于，所述人的行为模式包括低头玩手机窜马路的一类、正常直接冲出去身体呈斜三角形的为一类、抬头看天窜出来的一类、窜出来后退的一类；

所述每一类行为模式下行人窜出来的可能性概率计算方法如下：在数据库中统计某类行为模式的总基数，然后统计该行为模式下行人成功窜出马路的占比，该占比即为概率值。

3.根据权利要求1所述的前方行人窜出马路的预警方法，其特征在于，所述步骤S3中，对危险图像数据库中的图像进行镜像、翻转、截图、拉伸操作来增加数据集。

4.根据权利要求1所述的前方行人窜出马路的预警方法，其特征在于，所述步骤S3中，在利用危险图像数据库中的图像进行训练前，先对图像进行图像标注的预处理，步骤是：

收集图像上同车道或相近车道的前方窜马路的行人坐标信息(x,y,w,h)以及行人关键点信息(x_k，y_k),k＝1,…，K，K表示关键点个数，其中(x，y)代表同车道或相近车道的前方窜马路的行人在图像上的中心坐标，(w，h)代表同车道或相近车道的前方窜马路的行人在图像上的宽度和高度，假设同车道或相近车道的前方窜马路的行人在图像上用一个边框进行标注，定义边框的左下角和右上角坐标分别为(xx1,yy1)(xx2,yy2)，其中有：

归一化的中心点x坐标计算公式：((xx2+xx1)/2)/w；

归一化的中心点y坐标计算公式：((yy2+yy1)/2)/h；

归一化的目标框宽度的计算公式：(xx2-xx1)/w；

归一化的目标框高度的计算公式：(yy2-yy1)/h；

将上述归一化后的数据作为深度学习卷积神经网络的输入。

5.根据权利要求1所述的前方行人窜出马路的预警方法，其特征在于，在步骤S3采用深度学习卷积神经网络对危险图像数据库中的数据进行训练过程中，将危险图像数据库中的图像划分为训练集、测试集和验证集，训练集用来建立预训练模型，测试集用来测试所述预训练模型同车道或相近车道的前方行人窜马路图像识别的泛化能力，验证集用来控制所述预训练模型的参数。

6.根据权利要求5所述的前方行人窜出马路的预警方法，其特征在于，根据训练集建立预训练模型的步骤是：

根据预处理结果重构同车道或相近车道的前方行人窜马路的检测数据库，构建ImageNet及YOLO v3检测框架的联合数据库以对训练集进行分类学习进而创建预训练的模型；所述ImageNet创建预训练模型中的同车道或相近车道的前方窜马路行人检测模型，并通过YOLO v3检测框架创建预训练模型中的同车道或相近车道的前方窜马路行人对齐模型，并通过损失函数对对齐模型中的参数进行调节，参数调节后的对齐模型即为预训练模型。

7.根据权利要求6所述的前方行人窜出马路的预警方法，其特征在于，在根据训练集建立预训练模型过程中，通过损失函数曲线的情况对对齐模型中的参数进行调节，步骤是：

设定logistic回归损失函数为：

其中，单个样本而言，令y为样本的期望输出，为样本的实际输出；

基于深度学习框架的YOLO v3算法将整个图像划分为s*s个网格，每个网格回归n个图像边框，每个图像边框都包含5个预测值：x,y,w,h和置信度；x,y是图像边框的中心坐标，将其与网格单元对齐，使得范围变成0到1；w和h代表同车道或相近车道的前方窜马路的行人在图像上的宽度和高度，将其进行归一化，使得范围变成0到1；

其中每个图像边框对应置信度回归、位置回归、关键点回归，通过调节置信度、位置以及关键点损失的权重，使得模型收敛。

8.根据权利要求7所述的前方行人窜出马路的预警方法，其特征在于，关键点选择：

头部有三个关键点，分别是鼻子、嘴、耳朵；

手部有两个关键点，分别是手指、手背；

脚部有两个关键点，分别是脚尖、脚掌；

因此总共回归s*s*(B*5+C)，其中s*s为切割图像的网格数，B为网格内检测边界框数，C指的是检测的危险行人窜出马路的类别数量。

9.根据权利要求5所述的前方行人窜出马路的预警方法，其特征在于，在得到预训练模型后，对其进行效果验证，步骤是：对于同车道或相近车道的前方窜马路行人检测模型，使用mAP进行衡量；对于同车道或相近车道的前方窜马路行人对齐模型，使用欧拉损失进行衡量；

所述mAP表示训练的整个数据库的平均准确率，通过IOU表示单张数据库图片准确率：

式中，BB_gt为基于训练标签的参考标准框；BB_dt为机器检测边界框；area()表示面积。

10.根据权利要求1所述的前方行人窜出马路的预警方法，其特征在于，所述步骤S4中，利用数据库中的验证样本数据对训练模型中的参数进行调整，调整内容包括：增大批量输入，修改最大迭代次数，修改最后一层卷积层核参数个数，修改权重衰减，修改学习率。