CN105631440B

CN105631440B - 一种易受伤害道路使用者的联合检测方法

Info

Publication number: CN105631440B
Application number: CN201610095187.7A
Authority: CN
Inventors: 李克强; 李晓飞; 王建强; 许庆; 王肖; 熊辉; 王雷; 孔周维
Original assignee: Tsinghua University; Chongqing Changan Automobile Co Ltd
Current assignee: Tsinghua University; Chongqing Changan Automobile Co Ltd
Priority date: 2016-02-22
Filing date: 2016-02-22
Publication date: 2019-01-22
Anticipated expiration: 2036-02-22
Also published as: CN105631440A

Abstract

本发明公开了一种易受伤害道路使用者联合检测的方法，包括离线训练阶段和在线目标检测阶段，其中：所述离线训练阶段包括：1)建立易受伤害道路使用者数据库，该数据库分为训练样本集和测试样本集；2)根据所述训练样本集构建能够从背景中分辨易受伤害道路使用者目标的VRU检测器；所述在线目标检测阶段包括：3)利用所述VRU检测器对所述测试样本集中的目标进行分类和定位并输出检测结果。本发明可用于先进驾驶辅助系统中易受伤害道路使用者的保护，也可为无人驾驶车辆的决策提供帮助。

Description

一种易受伤害道路使用者的联合检测方法

技术领域

本发明涉及计算机视觉技术及智能汽车领域，尤其涉及一种车辆行驶环境下易受伤害道路使用者的联合检测方法。

背景技术

在最近一二十年里，先进驾驶辅助系统(如自适应巡航系统，前撞报警系统等)的迅速发展提高了道路交通安全。然而，那些易受伤害道路使用者(英文全称为“VulnerableRoad Users”,简称为“VRU”)，比如行人、骑自行车的人(下文简称为“自行车人”)、骑电动车的人(下文简称为“电动车人”)及其他小型两轮交通工具乘用者等受到的保护依然有限。根据2013年WHO道路安全报告统计，全球近一半的交通事故死亡者为易受伤害道路使用者，而在一些中低收入国家中，最脆弱的行人和自行车人的比例更为突出。考虑到易受伤害道路使用者的速度慢且一般没有特殊保护措施(如安全头盔)，对它们的保护尤为迫切。其中，易受伤害道路使用者的准确检测是保护他们的根本所在。

车辆周边环境感知系统可以使用不同传感器技术，如单目视觉、双目视觉、激光雷达和毫米波雷达等。聚焦于易受伤害道路使用者识别的领域，视觉传感器因其可以获取丰富场景信息的能力而倍受青睐，如颜色及环境上下文信息等。不仅如此，相对于主动传感器，视觉传感器价格低廉，且可以同时处理其他多种任务，如车道线和标志牌检测等。

虽然基于视觉的行人检测已经被研究了很多年，实际应用中由行人姿态、遮挡等带来的挑战问题还依然存在。相对于行人检测，自行车人及电动车人等目标的检测被研究的很少，因为相对于行人，自行车人及电动车人检测面临的挑战更多：自行车、电动车的类型和骑车人的衣着导致自行车人和电动车人的外表变化大，骑车人的姿态变化导致自行车人和电动车人的整体外形变化大，不同的观察角度导致自行车人和电动车人的高宽比变化大，自行车人和电动车人还可能被自己或外部物体遮挡等。

因为行人和骑车人具有相似的外表，已存在的行人检测方法常常将骑车人检测为行人。但是自行车人和电动车人等目标的运动速度比行人快、机动能力比行人高，这就要求驾驶辅助系统和无人驾驶车辆需要给予行人、自行车人、电动车人等目标不同的关注程度。因此，对于先进驾驶辅助系统和无人驾驶车辆来说，清楚的区分行人、自行车人和电动车人等目标是很有必要的。虽然这些易受伤害道路使用者常常同时出现在驾驶环境中，传统的目标检测方法都是将这些目标分开检测，这不仅会造成多次扫描输入图像，还会得到混淆的检测结果，造成无法分清行人、自行车人或电动车人。

因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。

发明内容

本发明的目的在于提供一种易受伤害道路使用者的联合检测方法来克服或至少减轻现有技术中的至少一个上述缺陷。

为实现上述目的，本发明提供一种易受伤害道路使用者联合检测的方法，包括离线训练阶段和在线目标检测阶段，其中：所述离线训练阶段包括：1)建立易受伤害道路使用者数据库，该数据库分为训练样本集和测试样本集；2)根据所述训练样本集构建能够从背景中分辨易受伤害道路使用者目标的VRU检测器；所述在线目标检测阶段包括：3)利用所述VRU检测器对所述测试样本集中的目标进行分类和定位并输出检测结果。

进一步地，所述步骤2)具体包括以下子步骤：21)使用所述训练样本集中的正样本训练上半身检测器；22)根据检测目标上半身位置与真实的目标位置的关系获得多潜在区域参数；23)使用所述训练样本集训练卷积神经网络模型，得到所述CNN模型。

进一步地，所述步骤2)的步骤23)中，利用网络模型对所述训练样本集训练卷积神经网络模型，得到所述CNN模型。

进一步地，所述步骤2)的子步骤22)后还包括：24)以目标召回率为优化函数，使用智能优化算法对所述步骤22)得到的多潜在区域参数进行迭代优化，以能够在检测到的候选目标上半身周围，最大程度地覆盖到整体目标。

进一步地，所述步骤2)的子步骤23)后还包括：25)利用所述CNN模型计算多潜在区域的分类结果及位置信息，以训练回归定位模型。

进一步地，所述步骤21)具体为利用聚合通道特征及AdaBoost分类器训练上半身检测器，以提取可能存在的目标的区域，该区域为所述在线目标检测阶段的检测区域。

进一步地，所述步骤22)的目标上半身位置与真实目标位置的关系为:

式中：U(U_x,U_y,U_w,U_h)为目标上半身位置，G(G_x,G_y,G_w,G_h)为真实目标位置，κ_*为设定的概率密度模型的参数。

进一步地，所述步骤3)具体包括以下子步骤：31)使用所述上半身检测器检测测试样本集中样本图像可能的目标上半身；32)基于所述多潜在区域参数提取目标多潜在区域；33)使用所述CNN模型计算各候选目标的潜在区域的分类结果；34)根据目标各潜在区域的分类结果确定目标类别；35)根据所述目标类别及位置信息，使用所述回归定位模型确定目标位置。

进一步地，所述训练样本集在训练前以及所述测试样本集在检测前还包括白平衡图像预处理步骤。

本发明由于采取以上技术方案，其具有以下优点：1、本发明基于单目视觉输入车载相机图像建立统一的VRU检测器，可以同时检测行人、自行车人及电动车人等易受伤害道路使用者，且可以清楚的区分开来。此过程不需要多次扫描输入图像，不会混淆不同类型的目标，可为先进驾驶辅助系统和无人驾驶车辆的决策提供有效帮助。2、使用人的上半身作为目标候选区域提取的方法，辅以多潜在目标区域的设计与提取，可有效提取并尽可能的覆盖所有潜在的行人、自行车人及电动车人等目标。3、使用深度卷积神经网络作为分类器提取分类特征，并结合目标多潜在区域的分类及位置信息，可实现目标的准确分类及精确定位。本发明可用于先进驾驶辅助系统中易受伤害道路使用者的保护，也可为无人驾驶车辆的决策提供帮助。

附图说明

图1是本发明的系统流程图；

图2是本发明实施例中多潜在区域的示意图；

图3是本发明实施例中卷积神经网络的示意图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

本发明所提供的易受伤害道路使用者联合检测的方法可用于先进驾驶辅助系统中易受伤害道路使用者的保护，也可为无人驾驶车辆的决策提供帮助。通过对易受伤害道路使用者目标(下文简称为“目标”)建立数据库，根据数据库构建能够从背景中分辨目标的VRU检测器，从而通过VRU检测器达到对目标进行检测的目的。目标的类型包括人、低速两轮交通工具乘用者(比如：自行车人)和高速两轮交通工具乘用者(比如：电动车人)。

如图1所示，本实施方式，包括离线训练阶段和在线目标检测阶段，其中：

所述离线训练阶段包括：

1)建立易受伤害道路使用者数据库：易受伤害道路使用者经常出现在道路上，但是相比于行人受到的关注程度，自行车人和电动车人等易受伤害道路使用者几乎没有公开的数据库。KITTI目标检测数据库虽然提供了自行车人的类别，但目标数量很少且标注信息不足。本实施方式建立了易受伤害道路使用者数据库，该数据库包括易受伤害道路使用者等诸多目标类型，且标注了骑车人及交通工具等详细目标信息。该数据库分为训练样本集和测试样本集，均为单目视觉输入的车载相机图像。并且，训练样本集用于训练CNN(Convolutional Neural Network)模型，目前使用的训练样本集的图片超过15000张，仅在离线训练阶段中使用。测试样本集用于测试CNN模型，目前使用的测试样本集的图片约2500张，仅在在线目标检测阶段中使用。

2)根据所述训练样本集构建能够从背景中分辨易受伤害道路使用者目标的VRU检测器。

所述在线目标检测阶段包括：

3)利用所述VRU检测器对所述测试样本集的样本图像中的目标进行分类和定位，以确定目标位置，并输出检测结果。

上述实施方式中是基于单目视觉输入车载相机图像建立统一的VRU检测器，可以同时检测行人、自行车人及电动车人等易受伤害道路使用者，且可以清楚的区分开来。此过程不需要多次扫描输入图像，不会混淆不同类型的目标，可为先进驾驶辅助系统和无人驾驶车辆的决策提供有效帮助。

所述步骤2)具体包括以下子步骤：

21)使用所述训练样本集中的正样本训练上半身检测器，所述上半身检测器能够用于检测样本图像中的目标的上半身(下文简称为“目标上半身”)：所述训练样本集中的图像包括正样本和负样本，其中，正样本是包含目标的图像区域(或片段)，如图2所示，图中示出的多个矩形的目标包围框R₁,R₂,R₃,R₄,R₅为多个正样本标注框。每一个正样本标注框坐标可表示为(x1，y1，w，h)，其中：(x1，y1)表示正样本标注框左上角点在图像坐标系中的坐标值。图像坐标系可以选择样本图像的左上角作为原点，图像的横向为X轴(比如图2示出的从左往右为正方向)，纵向为Y轴(比如图2示出的从下往上为正方向)。w表示为正样本标注框的高度，h表示为正样本标注框的宽度。负样本与正样本相反，是样本图像中不包含上述目标(行人、自行车人和电动车人等)的图像区域。

本实施方式中，定义目标上半身为人身体最上方的正方向，其边长与人的宽度相同，这里的“人”在行人目标中指的是整个目标，在自行车人和电动车人等目标中指的是骑车者。正样本包括目标上半身的图像区域或片段，相对应地，负样本为所述训练样本集中正样本之外的图像区域或片段，即不包含目标上半身的图像区域或片段。该步骤具体为：

首先，提取样本图像的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征、LUV(L表示物体亮度，U和V是色度颜色通道)及梯度幅值特征通道，以构建聚合通道特征图。然后，利用构建好的聚合通道特征图及使用AdaBoost级联分类器训练所述上半身检测器，以提取可能存在目标的区域，该区域为所述在线目标检测阶段的检测区域。

22)根据所述训练样本集中样本中目标上半身位置与真实的目标位置的关系，获得多潜在区域参数多潜在区域参数表示一个上半身位置可以生成多个可能存在目标的区域，能够用于提取样本图像中的多潜在区域。多潜在区域参数的获得具体为：在检测的目标上半身周围定义多个潜在区域，该潜在区域具有固定的数目，旨在尽可能完全的覆盖训练样本中所有的易受伤害道路使用者目标。

本实施方式中，目标上半身与多潜在区域的关系示意图如图2所示，图中的标注框U(U_x,U_y,U_w,U_h)代表目标上半身位置，标注框中：(x，y)分别表示标注框的左上角坐标，w，h分别代表标注框的宽和高。标注框U(U_x,U_y,U_w,U_h)周围画出了五个潜在区域R₁,R₂,R₃,R₄,R₅。定义目标上半身位置U(U_x,U_y,U_w,U_h)与真实的目标位置G(G_x,G_y,G_w,G_h)的关系为：

式中：κ_*为设定的概率密度函数的参数，即一个κ_*包含一组参数(κ_x,κ_y,κ_w,κ_h)，该参数代表目标上半身位置与潜在区域的映射关系。根据目标上半身位置与真实的目标位置的关系统计，可推导出κ_*的概率密度函数，对κ_*的概率密度函数进行顺序重要性采样，比如蒙特卡洛采样方法，可得到具有代表性的多潜在区域参数该多潜在区域参数是κ_*的集合，包含M组κ_*参数，并代表多潜在区域提取过程的参数，可以理解为多潜在区域参数包含M组κ_*，每组κ_*(κ_x,κ_y,κ_w,κ_h)对应一组目标上半身位置到潜在区域的映射。

需要说明的是：R₁,R₂,R₃,R₄,R₅仅仅是举例说明多潜在区域的情况，实际使用各种需要用到几十个潜在区域，比如上述提到的M个。通过上述概率模型可以得到具有代表性的κ_*的集合在测试过程中一个检测的目标上半身位置根据参数就可以映射出M个潜在区域。

23)使用所述训练样本集中样本训练卷积神经网络模型，得到CNN模型，所述CNN模型能够用于对目标周围的潜在区域进行分类和识别。训练卷积神经网络模型的方法具体如下：

利用深度网络模型对所述训练样本集训练卷积神经网络模型，得到所述CNN模型。其中的网络模型结构可以参照CaffeNet网络，但不限于此。训练时，以ImageNet上预训练的网络模型(如bvlc_reference_caffenet网络，但不限于此)为基础使用准备的数据库进行微调，网络结构示意图如图3所示，图3示出的卷积神经网络模型包括输入层(图3中的输入图像)、五个卷积层(图3中的Conv(Convolutional layer)1、Conv(Convolutional layer)2、Conv(Convolutional layer)3、Conv(Convolutional layer)4、Conv(Convolutionallayer)5)和两个全连接层(图3中的FC(Fully connected layer)6、FC(Fully connectedlayer)7)，前一层可将输入数据前向传导到下一层，下一层可将训练输出误差后向传导给上一层。并且，每一层上显示的A×B×C，A×B表示该层特征图的个数，C表示每个特征图的大小，比如：第一层卷积层Conv1大小为55*55*96,96表示该层特征图的个数，55*55表示每个特征图的大小。也就是说，网络输入为拉伸变形后的样本图像(227×227×3)，经过五个卷积层和两个全连接层后输出四种类型的概率分数，包括行人、低速两轮交通工具乘用者(包括自行车人Cyclist、形似自行车的小型电动车乘用者Moped等)、高速两轮交通工具乘用者(形似摩托车的电动车Scooter及摩托车乘用者Motorcyclist等)及背景。所述CNN模型的优点是输入图像像素可以直接得到分类结果，而不需要特意的设计样本特征。为增强所述CNN模型对变化目标变化的识别能力，在训练前正样本会经过旋转、平移及放缩变化，以扩充正样本数量并提高模型对目标变形的适应程度。

上述步骤2)中，子步骤22)后还包括：

24)以目标召回率为优化函数，使用智能优化算法对所述步骤22)得到的多潜在区域参数进行迭代优化，以能够在检测到的候选目标上半身周围，最大程度地覆盖到整体目标。此处的“最大程度”指的是利用多潜在区域参数设计将目标的整体尽可能覆盖完全。虽然步骤22)中可得到M个具有代表性的参数κ_*，但并不能保证这些参数具有足够好的变化性能以达到最大程度地覆盖所有目标的目的。本实施方式中，智能优化算法比如可以但不限于选用遗传算法，通过遗传算法迭代参数，以训练集上平均召回率为优化目标，对已获取的参数κ_*进行进一步的优化改进。

上述步骤2)中，子步骤23)后还包括：

25)利用所述CNN模型计算多潜在区域的分类结果及位置信息，以训练回归定位模型所述回归定位模型能够用于对CNN模型分类和识别出来的目标周围的潜在区域进行分类和识别，并输出检测结果。

训练回归定位模型的方法具体如下：

计算围绕目标上半身提取的多潜在区域的分类结果后，依据非最大抑制原则得到目标类别及位置。因为每个目标的潜在区域个数有限，目标的精确位置并不能够得到。为优化目标定位，对各潜在区域的位置求加权平均得到初始目标位置，再根据初始的目标位置与实际的目标位置的差别训练回归模型，该位置回归模型可实现初试目标位置的优化定位。

上述步骤中，所述训练样本集在训练前还包括白平衡图像预处理步骤，通过白平衡图像预处理步骤，消除图像颜色不均匀的影响。

在线目标检测阶段，首先对输入测试样本集中的样本图像进行预处理，进而使用目标上半身检测器检测图像中可能的目标上半身位置，基于设计的多潜在区域参数提取多潜在区域，继而使用训练的CNN模型计算各潜在目标的分类结果，对比各分类结果确定目标类别，最后回归优化目标位置，得到并输出识别结果。各步骤的详细介绍如下：

所述步骤3)具体包括以下子步骤：

31)使用所述上半身检测器检测测试样本集中样本图像可能的目标上半身：提取输入图像的HOG特征、LUV颜色通道及梯度幅值特征通道，构建聚合通道特征图并使用训练好的AdaBoost级联分类器遍历图像金字塔，识别结果经非最大抑制处理后即为可能存在目标上半身位置。为防止下个步骤中的潜在区域提取过多，影响算法的效率，这里最多选取得分最高的前N个目标上半身作为候选目标上半身。

32)基于所述多潜在区域参数提取目标多潜在区域：围绕目标上半身提取多潜在区域。基于训练过程中设计的多潜在区域参数在每个可能的目标上半身周围提取多潜在区域。因为每个目标上半身周围需要提取M个潜在区域，故共有M×N个潜在区域输入到后面的步骤中。

33)使用所述CNN模型计算各候选目标的潜在区域的分类结果：使用训练的卷积神经网络计算各潜在区域的分类结果。将每个潜在区域输入到训练的CNN模型中，分别计算各自的分类结果。

34)根据目标各潜在区域的分类结果确定目标类别：根据各潜在区域分类结果确定目标类别。每个目标周围可能会存在多个分类得分较高的潜在区域，根据这些区域的分类结果结合它们各自的位置信息，使用非最大抑制原则得到目标类别及大致位置。

35)根据所述目标类别及位置信息，使用所述回归定位模型确定目标位置：根据各潜在区域分类结果及位置信息，使用回归定位模型确定目标位置。每个目标周围可能存在多个分类得分较高的潜在区域，这些潜在区域都对目标所在位置有贡献，某一个区域的位置并不能得到精确的目标位置。结合多个潜在区域的位置及分类信息，使用加权平均的方法得到初始目标位置，接着使用训练过程中得到的定位回归模型优化初始位置得到精确目标位置。

36)输出并显示识别结果，该结果包括目标包围框所在位置及目标类别。该输出结果可进一步使用多目标跟踪方法进行跟踪优化，并得到目标速度及方位信息，为先进驾驶辅助系统和无人驾驶车辆的决策提供有效帮助。

上述步骤中，所述测试样本集在检测前还包括白平衡图像预处理步骤。通过白平衡图像预处理步骤，消除图像颜色不均匀的影响。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种易受伤害道路使用者联合检测的方法，其特征在于，包括离线训练阶段和在线目标检测阶段，其中：

所述离线训练阶段包括：

1)建立易受伤害道路使用者数据库，该数据库分为训练样本集和测试样本集；

2)根据所述训练样本集构建能够从背景中分辨易受伤害道路使用者目标的VRU检测器；

所述在线目标检测阶段包括：

3)利用所述VRU检测器对所述测试样本集中的目标进行分类和定位并输出检测结果；

所述步骤2)具体包括以下子步骤：

21)使用所述训练样本集中的正样本训练上半身检测器；

22)根据检测目标上半身位置与真实的目标位置的关系获得多潜在区域参数；

23)使用所述训练样本集训练卷积神经网络模型得到所述CNN模型；

所述步骤2)的子步骤22)后还包括：

24)以目标召回率为优化函数，使用智能优化算法对所述步骤22)得到的多潜在区域参数进行迭代优化，以便能够在检测到的候选目标上半身周围，最大程度地覆盖到整体目标。

2.如权利要求1所述的易受伤害道路使用者联合检测的方法，其特征在于，所述步骤2)的步骤23)中，利用网络模型对所述训练样本集训练卷积神经网络模型，得到所述CNN模型。

3.如权利要求1所述的易受伤害道路使用者联合检测的方法，其特征在于，所述步骤2)的子步骤23)后还包括：

25)利用所述CNN模型计算多潜在区域的分类结果及位置信息，以训练回归定位模型。

4.如权利要求1所述的易受伤害道路使用者联合检测的方法，其特征在于，所述步骤21)具体为利用聚合通道特征及AdaBoost分类器训练上半身检测器，以提取可能存在的目标的区域，该区域为所述在线目标检测阶段的检测区域。

5.如权利要求3所述的易受伤害道路使用者联合检测的方法，其特征在于，所述步骤3)具体包括以下子步骤：

31)使用所述上半身检测器检测测试样本集中样本图像可能的目标上半身；

32)基于所述多潜在区域参数提取目标多潜在区域；

33)使用所述CNN模型计算各候选目标的潜在区域的分类结果；

34)根据目标各潜在区域的分类结果确定目标类别；

35)根据所述目标类别及位置信息，使用所述回归定位模型确定目标位置。

6.如权利要求5所述的易受伤害道路使用者联合检测的方法，其特征在于，所述训练样本集在训练前以及所述测试样本集在检测前还包括白平衡图像预处理步骤。